CN112995692A - 互动数据处理方法、装置、设备及介质 - Google Patents

Abstract

本申请实施例提供的互动数据处理方法、装置、设备及介质中。服务器在接收到互动请求之后，则通过图形引擎生成与目标互动功能相对应的图形交互数据；并推送给通信连接的用户终端。如此，提供了一种由服务器产出图形交互数据的直播方式。

Description

互动数据处理方法、装置、设备及介质

技术领域

本申请涉及计算机领域，具体而言，涉及一种互动数据处理方法、装置、设备及介质。

背景技术

目前的直播互动场景中，需要由真人主播产出用于推送给观众的直播视频。因此，传统的直播方式中，视频内容的产出严重依赖于主播，从而导致交互流程过于单一无法匹配用户需求。

发明内容

为了克服现有技术中的至少一个不足，第一方面，本申请实施例提供一种互动数据处理方法，应用于服务器，所述服务器与至少一个用户终端通信连接，所述方法包括：

接收所述用户终端的互动请求，其中，所述互动请求包含目标互动功能；

调用图形引擎，获得与所述目标互动功能匹配的图形互动数据；

将所述图形互动数据发送至所述用户终端，以使所述用户终端输出所述图形互动数据。

第二方面，本申请实施例一种互动数据处理方法，应用于与服务器通信连接的用户终端，所述方法包括：

提供一互动界面，其中，所述互动界面显示有配置控件；

响应于对所述配置控件的配置操作，向所述服务器发送互动请求，其中，所述互动配置请求携带有目标互动功能；

接收所述服务器发送的与所述目标互动功能匹配的图形互动数据；

在所述互动界面显示所述图形互动数据。

第三方面，本申请实施例提供一种互动数据处理装置，应用于服务器，所述服务器与至少一个用户终端通信连接，所述互动数据处理装置包括：

请求接收模块，用于接收所述用户终端的互动请求，其中，所述互动请求包含目标互动功能；

数据生成模块，用于调用图形引擎，获得与所述目标互动功能匹配的图形互动数据；

数据发送模块，用于将所述图形互动数据发送至所述用户终端，以使所述用户终端输出所述图形互动数据。

第四方面，本申请实施例提供一种电子设备，所述电子设备包括处理器及存储器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时实现所述的互动数据处理方法。

第五方面，本申请实施例提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现所述的互动数据处理方法。

相对于现有技术而言，本申请具有以下有益效果：

本申请实施例提供的互动数据处理方法、装置、设备及介质中。服务器在接收到互动请求之后，则通过图形引擎生成与目标互动功能相对应的图形交互数据；并推送给通信连接的用户终端。如此，提供了一种由服务器产出图形交互数据的直播方式。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的场景示意图；

图2为本申请实施例提供的服务器结构示意图；

图3为本申请实施例提供的互动数据处理方法步骤流程图之一；

图4为本申请实施例提供的互动数据处理方法步骤流程图之二；

图5为本申请实施例提供的资源调度示意图；

图6为本申请实施例提供的互动数据处理方法步骤流程图之三；

图7为本申请实施例提供的互动数据处理方法步骤流程图之四；

图8为本申请实施例提供的数据传输示意图；

图9为本申请实施例提供的互动数据处理方法步骤流程图之五；

图10为本申请实施例提供的音画同步示意图；

图11为本申请实施例提供的互动数据处理方法步骤流程图之六；

图12为本申请实施例提供的互动数据处理方法步骤流程图之七；

图13为本申请实施例提供的互动界面示意图；

图14为本申请实施例提供的显示效果示意图之一；

图15为本申请实施例提供的显示效果示意图之二；

图16为本申请实施例提供的互动数据处理装置示意图。

图标：100-服务器；200-观众终端；300-主播终端；120-存储器；130-处理器；140-通信装置；401-请求接收模块；402-数据生成模块；403-数据发送模块；501-预览图标；502-内容图标；601-直播画面；602-虚拟形象；701-第一图形区域；702-第二图形区域。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

相关技术中，需要由真人主播产出用于推送给观众的直播视频。因此，传统的直播方式严重依赖于主播。

如图1所示，传统的直播互动场景中，需要包括主播终端300、服务器100以及观众终端200，主播终端300、服务器100以及观众终端200之间通过网络通信连接。

其中，以游戏直播为例，主播可以通过主播终端300上运行的直播软件抓取主播终端300的屏幕画面，然后，编码成直播视频流推送给服务器100。服务器100将主播终端300发送的直播视频流推送给观众终端200。

或者，在唱歌直播中，主播可以通过主播终端300的图像采集装置采集直播视频，然后，将直播视频推送给服务器100。服务器100再将主播终端300发送的直播视频推送给观众终端200。

由此可见，传统的直播互动场景中，直播视频均由主播终端300产出，且视频内容严重依赖于主播，从而导致交互流程过于单一无法匹配用户需求。

鉴于此，本申请实施例提供一种应用于服务器的互动数据处理方法，用于通过服务器产出直播视频，以达到提供一种新的直播互动方式的目的。

其中，该服务器100可以是，但不限于，Web(网站)服务器、FTP(File TransferProtocol，文件传输协议)服务器以及数据服务器等。其中，上述图形引擎可以是，但不限于虚幻引擎、寒霜引擎以及unity引擎等。

为了方便清楚阐述该互动数据处理方法，下面先对上述服务器的结构进行介绍，如图2所示，该服务器包括存储器120、处理器130、通信装置140。

其中，存储器120、处理器130以及通信装置140各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器120中存储有计算机程序。处理器130执行存储器120中存储的计算机程序时，实现该互动数据处理方法。

其中，该存储器120可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器120用于存储程序，该处理器130在接收到执行指令后，执行该程序。该通信装置140用于通过网络收发数据。

该处理器130可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

基于上述服务器的结构，现结合图3所示的互动数据处理方法的步骤流程图，对该方法包括各个步骤进行详细阐述。其中，该服务器与至少一个用户终端通信连接，该互动数据处理方法包括：

步骤S1，接收用户终端的互动请求。

其中，该互动请求包含目标互动功能。作为一种可能的实现方式，该目标功能可以用于指示服务器通过图形引擎渲染生成目标内容的视频数据以及音频数据。

其中，该用户终端可以包括主播终端和/或观众终端。当用户终端为主播终端时，其对应的用户可以是直播平台签约的真人主播，还可以是直播平台的运营人员。

例如，当该用户为直播平台的运营人员时，直播平台的运营人员可以理解为一种真人主播，通过主播终端访问服务器，向服务器发送互动请求，指示服务器生成目标内容的视频数据以及音频数据。

当该用户为直播平台签约的主播时，主播可以通过主播终端访问服务器，向服务器发送互动请求，指示服务器生成目标内容的视频数据以及音频数据，并推动给进入该主播直播间的观众终端。

当然，在一些实施场景中，该互动请求还可以由观众终端发起。

另外，该主播终端与观众终端可以是，但不限于，智能手机、个人电脑(personalcomputer，PC)、平板电脑、个人数字助理(personal digital assistant，PDA)、移动上网设备(mobile Internet device，MID)等。

步骤S2，调用图形引擎，获得与目标互动功能匹配的图形互动数据。

其中，该图形引擎可以用于渲染生成各种虚拟画面，利用生成的虚拟画面，服务器可以开展多种场景形式的直播。如图4所示，步骤S2的一实现方式包括：

S21，调用图形引擎，获得与目标互动功能匹配的音频数据与视频数据。

S22，对音频数据与视频数据进行编码，获得音画同步的图形互动数据。

以虚拟形象进行AI阅读的产品为例，服务器可以通过图形引擎渲染出通过虚拟形象播讲故事的直播画面。由于图形引擎可以生成各种虚拟画面，因此，在本申请实施例中，该服务器可以根据目标内容中的故事主角，渲染对应主角的虚拟形象进行播讲。

以《基督山伯爵》为例，当故事内容主要涉及的角色为爱德蒙·唐泰斯，则通过图形引擎渲染出爱德蒙·唐泰斯的虚拟形象数据以及故事内容的音频数据；然后，将虚拟形象数据与音频数据编码成图形互动数据推送给用户终端，使得用户终端的用户看到的画面内容中，表现为爱德蒙·唐泰斯的虚拟形象在播报《基督山伯爵》。

相对应的，当故事内容主要涉及的角色为唐格拉尔，则通过图形引擎生成唐格拉尔的虚拟形象数据以及故事内容的音频数据；然后，将虚拟形象数据与音频数据编码成推送给用户终端，使得用户终端的用户看到的画面内容中，表现为唐格拉尔的虚拟形象在播报《基督山伯爵》。

当然，上述《基督山伯爵》仅仅是本申请实施例提供的一种示例，还可以根据其他故事内容，渲染生成相匹配的虚拟形象。

步骤S3，将图形互动数据发送至用户终端，以使用户终端输出图形互动数据。

由此可见，在互动数据处理方法的上述步骤，服务器在接收到互动请求之后，则通过图形引擎生成与目标互动功能相对应的图形交互数据；并推送给通信连接的用户终端。如此，提供了一种由服务器产出图形交互数据的直播方式。

在另外一种可能的实现方式中，服务器可以针对相同的故事内容，更换不同的虚拟画面，或者基于相同的虚拟画面更换不同的故事内容。为了实现上述功能，服务器可以提供显示又虚拟画面种类的配置界面供用户进行配置，或者按照预设匹配规则进行自动变更。

例如，同样以上述《基督山伯爵》中的爱德蒙·唐泰斯为例，服务器在检测到节假日时，可以通过图形引擎渲染出携带节假日特征的爱德蒙·唐泰斯虚拟形象。

由此，上述服务器通过图形引擎生成图形交互数据的方式，能够灵活调整图形交互数据的显示内容，提高了对多种直播场景的适应能力。并且，不受限于真人主播的个人的作息习惯，可以随时进行开播。

为使图形交互数据在显示时，能提供良好的交互效果。服务器还可以针对音频数据中的特定语音片段提供对应的交互动作。该当服务器从音频数据中识别到特定语音片段时，则通过图像引擎渲染做出对应交互动作的虚拟形象。

例如，语音片段“热烈鼓掌”对应可以特定的鼓掌动作，语音片段“欢呼雀跃”可以对应特定的舞蹈动作。

并且，考虑到图形引擎在渲染虚拟画面时，需要进行大量的数学运算，因此，图形引擎的正常运行依赖于充足的硬件资源。

为此，该服务器可以包括多个计算节点，其中，各计算节点配置有GPU(GraphicsProcessing Unit，图形处理器)资源，用于运行图形引擎。当然，该服务器还可以调用其他服务器、计算节点或计算集群中的GPU资源运行该图形引擎。

基于上述计算节点，服务器按照图5所示的系统框图为图形引擎调度GPU资源。如图5所示，服务器在接收到用户终端的交互请求之后，先根据该交互请求进行GPU资源调度，查找多个计算节点中是否存在满足资源需求的计算节点。

若存在满足资源需求的计算节点，服务器则在该计算节点上启动图形引擎，输出目标内容的视频数据以及音频数据。

服务器通过对图形引擎输出的视频数据以及音频数据进行云视频加工，获得视频数据以及音频数据编码后的直播视频流后，推送到音视频直播间。例如，服务器通过云加工SDK获取图形引擎输出的视频数据以及音频数，并进行编码。

如此，通过GPU资源调度的方式，使得图形引擎能够正常运行，以保障直播视频的流程度以及清晰度。

在此基础上，作为另外一种实现方式，上述目标互动功能可以是服务器为至少一个用户终端提供的云交互功能。

为实现与服务端提供的云交互功能进行互动，用户终端发送的交互请求中还包括有互动指令。当服务器接收大互动请求之后，调用图形引擎执行该互动指令，然后获得与云交互功能相匹配的图形互动数据。

例如，服务器部署有依赖于图形引擎的互动游戏，使得原本需要在本地运行的互动游戏运行在服务端。由此，使性能一般的用户终端，通过向服务器发送互动游戏提供的互动指令，同样能够玩高性能需求的互动游戏。其中，互动指令用于实现对互动游戏中的游戏角色进行远程控制。

此外，将原本需要在本地运行的互动游戏运行在服务端，还可以使得用户通过同一平台的用户终端玩不同平台的互动游戏。例如，当用户终端是Android平台时，服务器可以部署Windows平台的互动游戏，以实现用户通过Android平台玩Windows平台的互动游戏。

可选地，服务器还可以将与云交互功能相匹配的图形互动数据进行直播。此时，通过互动指令参与云交互的用户终端可以视为主播终端，而观看图形互动数据的用户终端可以视为观众终端。

同样以上述互动游戏为例，假定该互动游戏同时支持4个主播同时在线。该服务器在上述4主播通过主播终端参与游戏互动的过程中，通过图形引擎生成对应的游戏画面；然后，将游戏画面编码成直播视频推动给主播终端，以及进入直播间的观众终端。

由此，使得观众终端的用户能够观看到主播游戏互动时的直播画面。并且，由于互动游戏运行在服务端，主播可以很方便的邀请其他在线主播一同参与到游戏互动中。

此外，在一些互动游戏中，不同玩家之间的画面视角存在差异。针对该类互动游戏，相关直播技术中，作为玩家之一的主播，在本地运行互动游戏，然后将录取的屏幕画面编码成直播视频流推动给观众终端。由于该直播视频流仅来源于主播一端，继而观众无法观看到其他玩家视角下的游戏画面。

鉴于此，该服务器通过图形引擎输出不同主播视角下的游戏画面；然后，将不同主播视角下的游戏画面拼接到一块进行编码，将编码获得的直播视频流推送给进入直播间的观众终端。

同样以上述互动游戏为例，4个主播分别为主播A、主播B、主播C以及主播D。其中，各主播之间的游戏视角存在差异，导致各主播观看到的游戏画面不尽相同。

此时，服务器通过图形引擎获取各主播视角下的游戏画面，然后拼接到一起，得到拼接画面。其中，该拼接画面包括4个区域，分别为1主区域以及3副区域，而主区域的面积最大。在开播之前，主播之间可以约定其中一个主播视角下的游戏画面占据主区域，其余主播视角下的游戏画面则占据副区域。

由此，使得观众终端的用户可以同时观看到4个主播视角下的游戏画面。

为获取图形引擎输出的视频数据以及音频数据，该游戏引擎可以提供有至少2种API，分别为第一API以及第二API(Application Programming Interface，应用程序接口)。请参照图6，提供一种获得上述第一API与上述第二API的可能的实现方式，上述步骤S21的一实现方式包括：

步骤S211，为图形引擎配置第一API以及第二API。

步骤S212，通过第一API获得图形引擎基于目标互动功能生成的音频数据。

步骤S213，通过第二API获得图形引擎基于目标互动功能生成的视频数据。

需要说明的是，对于步骤S212与S213，本申请对其步骤的先后顺序不与限定。

其中，为了方便与图形引擎之间的数据交互以及信令交互，需要在图形引擎输出音频数据以及视频数据之前，对提供的第一API以及第二API进行配置，其配置流程如图7所示。

服务器向图形引擎发送启动指令。其中，该启动指令携带有用于构建第一API的RPC端口。

图形引擎通过RPC端口建立第一API对应的通道。其中，通过第一API对应的通道，图形引擎可以向服务器发送心跳报文，或者接收服务器发送的通知事件。其中，该心跳报文用于告知服务器图形引擎当前的运行状态，该通知事件包括通诸如编码启停、推流启停、加工进度、任务启停等事件，并针对不同的事件分别进行相应的处理。同时，图形引擎还通过第一API对应的通道输出音频数据。

考虑到视频数据的大小远大于音频数据的大小，例如，使用虚幻引擎4输出的DX纹理数据就远大于音频PCM(Pulse Code Modulation，脉冲编码调制)数据的大小，若使用第一API对应的通道传输DX纹理数据，会导致传输效率低下。

为提高视频数据的传输效率，服务器还为图形引擎建立有共享区域，例如，GPU中的显存区域；服务器与图形引擎之间，通过该共享区域构建第二API对应的通道。然后，图形引擎通过第二API对应的通道输出视频数据。

基于共享区域，如图8所示，上述步骤S213的一实现方式包括：

S2131A，当服务器接收到图形引擎已通过第二API将视频数据存储至共享区域的通知时，从共享区域获取视频数据。

再次参见图7，详细的传输流程中，图形引擎将视频数据存储到共享区域，然后，通过第一API告知视频数据在共享内存中的地址。服务器根据该地址从共享区域中读取视频数据。由于视频数据的大小远大于音频数据的大小，该共享区域提高了数据传输效率。

考虑到音频数据与视频数据分别均是由图形引擎单独生成，因此，为了获得音画同步的图形互动数据，请参照图9，上述步骤S22的一实现方式包括：

步骤S221A，根据音频数据具有的时间戳与视频数据具有的时间戳，将音频数据与视频数据进行对齐。

其中，音频数据与视频数据具有相同的播放时长，视频数据则包括多张视频帧，每张视频帧对应一段音频片段。每个音频片段具有时间戳，每张视频帧同样具有时间戳，服务器通过音频片段与视频帧各自的时间戳，将满足音画同步关系的音频片段以及视频帧进行对齐。可选地，该时间戳可以为PTS(Presentation Time Stamp，显示时间戳)，其中，PTS用来告诉播放器该在什么时候显示这一帧的视频帧或者一段音频片段。

步骤S222A，将对齐后的音频数据与视频数据进行编码，获得音画同步的图形互动数据。

如此，避免图形互动数据在显示时，出现声音与画面不同步的现象。

进一步地，如图10所示，服务器还提供有视频数据队列与音频数据队列。其中，视频数据队列用于缓存图形引擎输出的视频数据，音频数据队列用于缓存图形引擎输出的音频数据。

基于上述两队列，服务器从音频队列与视频队列中抽取其中的视频帧以及音频片段进行对齐。

另外，本申请实施例还考虑到图形引擎在输出视频数据时，可能出现丢帧的情况。针对该问题，服务器对视频数据进行检测，当发现存在丢帧时，则根据丢帧位置处的相邻视频帧，生成丢帧位置处的预测视频帧；将预测视频帧发送给用户终端。

在一些直播场景中，主播存在将真实直播画面与虚拟画面相互叠加的需求。例如，在游戏直播时，一些主播想要观众看到的画面中除了游戏画面内容以外，还想显示用于代表主播人物形象的卡通图像。

相关的叠加技术中，采用抓取屏幕的方式，抓取图形引擎输出的画面，并与叠加图形数据进行叠加。然而，发明人研究发现，由于显示屏幕的每个显示单元通常只包括RGB三种通道，因此，采用抓取屏幕的方式所获得的图像未携带有Alpha通道的信息，这就导致与叠加图形数据进行叠加时，抓取的画面会覆盖叠加图形数的画面内容。

鉴于此，在另外一种可能的实现方式中，上述目标互动功能还可以对应有叠加图形数据。为了避免图形引擎输出的图形数据影响到叠加图形数据的显示效果。请参照图11，上述步骤S213的一种实现方式包括：

步骤S2131B，通过第一API指示图形引擎生成具有透明度属性的视频数据。

步骤S2132B，通过第二API获得具有透明度属性的视频数据。

如此，由于该视频数据由服务器通过图形引擎渲染生成，相较于截取自屏幕的画面，该渲染生成的视频数据携带有透明度属性。其中，通过该透明度属性与叠加图形数据进行叠加时，能够避免现有技术中截取屏幕丢失透明度，所以导致的完全遮挡叠加图形数据的画面的问题。

进一步地，上述步骤S22的一实现方式包括：

S221B，将音频数据、具有透明度属性的视频数据与叠加图形数据进行叠加。

示例性的，假定图像A为一叠加图形数据，图像B为具有透明度属性的视频数据，其中，图像B的通明度属性的值为125。图像A与图像B进行叠加时，针对图像B与图像A中相对应的两像素，分别乘以0.5，将乘积相加即可得到叠加后的像素。

S222B，将叠加后的待编码数据进行编码，获得图形互动数据。

由此可见，服务器将携带透明度属性的视频数据与叠加图像数据叠加后所获得的待编码数据中，视频数据的画面不会覆盖叠加图像数据对应的画面。

示例性的，主播在开始直播之前，通过主播终端向服务器发送交互请求。该交互请求包含的目标交互功能，用于指示服务器启动图形引擎渲染出目标虚拟形象。

然后，服务器在接收到主播终端发送的游戏视频后，并不会直接推送到直播间，而是将游戏视频与目标虚拟形象叠加以后，再推送到直播间，使得观众观看到的直播画面中，不仅显示有游戏画面，还显示有目标虚拟形象。

本申请实施例还提供一种应用于用户终端的互动数据处理方法。该应用终端与服务器通过网络通信连接。下面结合图12，对该方法的各步骤进行详细阐述，其中，方法包括：

步骤S101，提供一互动界面。

其中，互动界面显示有配置控件。

步骤S102，响应于对配置控件的配置操作，向服务器发送互动请求。

其中，互动配置请求携带有目标互动功能。

步骤S103，接收服务器发送的与目标互动功能匹配的图形互动数据；

步骤S104，在互动界面显示图形互动数据。

该用户终端包括主播终端和/或观众终端。示例性的，在一种实现方式中，该互动界面如图13所示。该互动界面中的配置控件包括多个虚拟形象的预览图标501以及多个播放内容的内容图标502，其中，各虚拟形象的预览图标501分别对应不同的形象标识，各内容图标502分别对应不同的内容标识。

用户终端响应于用户在该互动界面中的配置操作，将用户选中的虚拟形象对应的形象标识以及播放内容对应的内容标识以目标互动功能的形式发送给服务器。服务器则根据形象标识以及内容标识，由图形引擎生成包括虚拟形象数据以及播放内容音频数据的图形互动数据。

如此，用户终端向服务器发送互动请求，使得服务器通过图形引擎生成与目标互动功能相对应的图形交互数据，并发送给用户终端。用户终端接收图形交互数据进行显示，进而为用户提供更加灵活的交互形式。

在另外一种可能的实现方式中，主播存在将真实直播画面与虚拟画面相互叠加的需求。例如，通过虚拟形象代表主播的人物形象。则该目标互动功能对应有叠加图形数据，例如，该叠加图形数据可以是主播的直播视频数据。

此时，该图形互动数据为服务器将生成的音频数据、视频数据与叠加图形数据相互叠加后的数据。

为了显示该图形互动数据，该互动界面中包括用于显示叠加图形数据对应画面的第一图形显示区域。相对应的，该互动界面中还包括第二图形区域，用于显示服务器生成的视频数据的画面。

在本申请实施例中，主播终端或者观众终端可以在直播开始之前，或者在直播的过程中，向服务器发送包括有目标互动功能的互动请求。其中，该目标互动功能包括主播标识、虚拟形象的形象标识以及显示效果的效果标识。

服务器根据形象标识生成对应的虚拟形象数据，然后将虚拟形象数据与主播标识对应的直播视频数据，按照效果标识对应的显示效果将具有直播视频数据与虚拟形象数据的图形互动数据发送给主播终端和/或观众终端。

其中，服务器提供有多种虚拟形象数据与直播视频数据的显示效果样式。在一种可能的显示效果中，该虚拟形象数据叠加在直播视频数据中。为减小虚拟形象数据对直播视频数据显示效果的影响，服务器生成的虚拟形象视频中携带有透明度属性。如图14所示，通过该透明度属性与直播视频数据进行叠加时，能够避免虚拟形象数据对应的虚拟形象602可以遮挡直播视频数据对应的直播画面601。

如图15所示，在另一种可能的显示效果中，虚拟形象数据在第二图形区域702中进行显示，直播视频数据在第一图形区域701中进行显示。其中，该第二图形区域702可以与第一图形区域701彼此独立、部分重叠、或该第二图形区域702为该第一图形区域701中的一个指定区域。例如，当第一图形区域701为直播视频播放区域时，该第二图形区域702可以为该区域中用于显示主播人物画面的区域。

本申请实施例还提供一种互动数据处理装置，应用于服务器，服务器与至少一个用户终端通信连接。如图16所示，互动数据处理装置包括：

请求接收模块401，用于接收用户终端的互动请求，其中，互动请求包含目标互动功能。

本申请实施例中，该请求接收模块401对应的计算机可执行指令被处理器执行时，实现图3中的步骤S1，关于该请求接收模块401的详细描述可以参考步骤S1的详细描述。

数据生成模块402，用于调用图形引擎，获得与目标互动功能匹配的图形互动数据。

本申请实施例中，该数据生成模块402对应的计算机可执行指令被处理器执行时，实现图3中的步骤S2，关于该数据生成模块402的详细描述可以参考步骤S2的详细描述。

数据发送模块403，用于将图形互动数据发送至用户终端，以使用户终端输出图形互动数据。

本申请实施例中，该数据发送模块403对应的计算机可执行指令被处理器执行时，实现图3中的步骤S3，关于该数据发送模块403的详细描述可以参考步骤S3的详细描述。

本申请实施例还提供一种电子设备，电子设备包括处理器及存储器，存储器存储有计算机程序，计算机程序被处理器执行时实现上述服务器执行的互动数据处理方法。其中，该电子设备可以是上述服务器或者用户终端。

本申请实施例还提供一种存储介质，存储介质存储有计算机程序，计算机程序被处理器执行时，实现上述服务器或者上述用户终端置信度互动数据处理方法。

综上所述，本申请实施例提供的互动数据处理方法、装置、设备及介质中。服务器在接收到互动请求之后，则通过图形引擎生成与目标互动功能相对应的图形交互数据；并推送给通信连接的用户终端。如此，提供了一种由服务器产出图形交互数据的直播方式。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述，仅为本申请的各种实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种互动数据处理方法，其特征在于，应用于服务器，所述服务器与至少一个用户终端通信连接，所述方法包括：

接收所述用户终端的互动请求，其中，所述互动请求包含目标互动功能；

调用图形引擎，获得与所述目标互动功能匹配的图形互动数据；

将所述图形互动数据发送至所述用户终端，以使所述用户终端输出所述图形互动数据。

2.根据权利要求1所述的互动数据处理方法，其特征在于，所述互动请求还包括所述目标互动功能提供的互动指令，所述调用图形引擎，获得与所述目标互动功能匹配的图形互动数据，包括：

调用所述调用图形引擎执行所述互动指令，获得与所述目标互动功能匹配的图形互动数据。

3.根据权利要求1所述的互动数据处理方法，其特征在于，所述调用图形引擎，获得与所述目标互动功能匹配的图形互动数据，包括：

调用图形引擎，获得与所述目标互动功能匹配的音频数据与视频数据；

对所述音频数据与所述视频数据进行编码，获得音画同步的图形互动数据。

4.根据权利要求3所述的互动数据处理方法，其特征在于，所述调用图形引擎，获得与所述目标互动功能匹配的音频数据与视频数据，包括：

为所述图形引擎配置第一API以及第二API；

通过所述第一API获得所述图形引擎基于目标互动功能生成的所述音频数据；

通过所述第二API获得所述图形引擎基于目标互动功能生成的所述视频数据。

5.根据权利要求4所述的互动数据处理方法，其特征在于，所述目标互动功能对应有叠加图形数据，所述通过所述第二API获得所述图形引擎基于目标互动功能生成的所述视频数据，包括：

通过所述第一API指示所述图形引擎生成具有透明度属性的视频数据；

通过所述第二API获得所述具有透明度属性的视频数据；

所述对所述音频数据与所述视频数据进行编码，获得音画同步的图形互动数据，包括：

将所述音频数据、所述具有透明度属性的视频数据与所述叠加图形数据进行叠加；

将叠加后的待编码数据进行编码，获得所述图形互动数据。

6.根据权利要求4所述的互动数据处理方法，其特征在于，所述通过所述第二API获得所述图形引擎基于目标互动功能生成的所述视频数据，包括：

当接收所述图形引擎已通过所述第二API将所述视频数据存储至共享区域的通知时，从所述共享区域获取所述视频数据。

7.根据权利要求3-6任意一项所述的互动数据处理方法，其特征在于，所述对所述音频数据与所述视频数据进行编码，获得音画同步的图形互动数据，包括：

根据所述音频数据具有的时间戳与所述视频数据具有的时间戳，将所述音频数据与所述视频数据进行对齐；

将对齐后的所述音频数据与所述视频数据进行编码，获得音画同步的所述图形互动数据。

8.根据权利要求1所述的互动数据处理方法，其特征在于，所述至少一个用户终端包括主播终端和/或观众终端，所述将所述图形互动数据发送至所述用户终端，包括：

将所述图形互动数据发分别送至所述主播终端和/或与所述观众终端。

9.一种互动数据处理方法，其特征在于，应用于与服务器通信连接的用户终端，所述方法包括：

提供一互动界面，其中，所述互动界面显示有配置控件；

响应于对所述配置控件的配置操作，向所述服务器发送互动请求，其中，所述互动配置请求包含有目标互动功能；

接收所述服务器发送的与所述目标互动功能匹配的图形互动数据；

在所述互动界面显示所述图形互动数据。

10.根据权利要求9所述的互动数据处理方法，其特征在于，所述互动界面包含第一图形显示区域，所述方法还包括：

在所述第一图形显示区域显示叠加图形数据；

其中，所述叠加图形数据与所述目标互动功能具有匹配关系；所述图形互动数据由所述服务器对音频数据、具有透明度属性的视频数据及所述叠加图形数据叠加获得，所述目标互动功能与所述音频数据及所述视频数据具有匹配关系。

11.一种互动数据处理装置，其特征在于，应用于服务器，所述服务器与至少一个用户终端通信连接，所述互动数据处理装置包括：

请求接收模块，用于接收所述用户终端的互动请求，其中，所述互动请求包含目标互动功能；

数据生成模块，用于调用图形引擎，获得与所述目标互动功能匹配的图形互动数据；

数据发送模块，用于将所述图形互动数据发送至所述用户终端，以使所述用户终端输出所述图形互动数据。

12.一种电子设备，其特征在于，所述电子设备包括处理器及存储器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时实现权利要求1-8任意一项所述的互动数据处理方法或者权利要求9-10所述的互动数据处理方法。

13.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1-8任意一项所述的互动数据处理方法或者权利要求9-10所述的互动数据处理方法。

Images