CN111530088B - 一种生成游戏角色的实时表情图片的方法和装置 - Google Patents

Abstract

本发明提供了一种生成游戏角色的实时表情图片的方法和装置，其中该方法包括接收生成实时表情图片的指令；获取第一游戏角色的面部模型数据；实时获取第一游戏用户的第一表情特征数据；依据第一游戏角色的面部模型数据和第一表情特征数据，实时生成第一游戏角色的实时表情数据；和将实时表情数据与当前游戏场景图像数据一起合成渲染出实时表情图片。

Description

一种生成游戏角色的实时表情图片的方法和装置

技术领域

本发明涉及电子游戏领域中的增强现实技术，更具体而言，涉及一种生成游戏角色的实时表情图片的方法和装置。

背景技术

在许多电子游戏系统中，允许用户(即，游戏玩家)对游戏场景图像进行保存并发送来进行聊天互动，这顺应了当今互联网发展的潮流，也使得电子游戏更具趣味性。当前，电子游戏系统中由用户生成的场景图像中的游戏角色通常表情单一，动作僵硬，不能满足现代用户的需要。在本领域中缺少在游戏过程中简便、快捷生成实时表情图片的方法。

发明内容

本发明提供了一种生成游戏角色的实时表情图片的方法，包括接收生成所述实时表情图片的指令；获取第一游戏角色的面部模型数据；实时获取第一游戏用户的第一表情特征数据；依据所述第一游戏角色的面部模型数据和所述第一表情特征数据，实时生成所述第一游戏角色的实时表情数据；和将所述实时表情数据与当前游戏场景图像数据一起合成渲染出所述实时表情图片。

本发明还提供了一种生成游戏角色的实时表情图片的装置，包括用于接收生成所述实时表情图片的指令的模块；用于获取第一游戏角色的面部模型数据的模块；用于实时获取第一游戏用户的第一表情特征数据的模块；用于依据所述第一游戏角色的面部模型数据和所述第一表情特征数据，实时生成所述第一游戏角色的实时表情数据的模块；和用于将所述实时表情数据与当前游戏场景图像数据一起合成渲染出所述实时表情图片的模块。

本发明又提供了一种系统，包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由所述处理器加载并执行时能够实现上面描述的方法。

本发明进一步提供了一种计算机可读介质，其上存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行时能够实现上面描述的方法。

本发明的技术方案通过增强现实技术(AR)实现了实时表情图片(特别是游戏角色的实时表情图片)的制作和生成。相对于现有技术，本发明的方法和装置操作简便、快捷，制作出的表情图片所体现的表情真实、细腻，符合人体面部肌肉运动，并且还能够在电子游戏中实时生成。

附图说明

图1是根据本发明的一个实施例的生成游戏角色的实时表情图片的方法的流程图。

图2是根据本发明的实施例的示例性表情特征系数。

图3是根据本发明的实施例的示例性角色表情数据。

图4A和4B是根据本发明的一个实施例的生成表情图片的界面的示意图。

图5是根据本发明的一个实施例的根据预置表情数据生成表情图片的示意图。

图6是根据本发明的一个实施例的生成实时表情图片的界面的示意图。

图7是根据本发明的一个实施例的生成实时表情图片的示意图。

图8是根据本发明的一个实施例的生成的示例性实时表情图片的示意图。

图9是实施本发明的实施例的示例性电子游戏系统的示意图。

具体实施方式

现在将参照若干示例性实施例来说明本发明的内容。应当理解，说明这些实施例仅是为了使得本领域普通技术人员能够更好地理解并且因此实现本发明的内容，而不是暗示对本发明的范围进行任何限制。

如本文中所使用的，术语“包括”及其变体应当解读为意味着“包括但不限于”的开放式术语。术语“基于”应当解读为“至少部分地基于”。术语“一个实施例”和“一种实施例”应当解读为“至少一个实施例”。术语“另一个实施例”应当解读为“至少一个其他实施例”。

图1示出了根据本发明的一个实施例的生成游戏角色的实时表情图片的方法的流程图，下面依次说明其中的各个步骤。

接收生成实时表情图片的指令

在本发明的实施例中，“游戏角色”指的是电子游戏中的任何虚拟角色，优选地是用户正在操纵的虚拟角色。在本发明的实施例中，“游戏角色的表情图片”指的是呈现出游戏角色的形象，特别是面部表情特征的图片。在本发明的实施例中，“游戏角色的实时表情图片”指的是该表情图片呈现出的游戏角色的面部表情与当前正在操作该游戏角色的用户的实时表情一致。在本发明的实施例中，表情图片还呈现出当前的游戏场景图像。

在本发明的实施例中，参与生成实时表情图片的游戏用户可以是一个或多个。在多个游戏用户参与的情况下，他们可以被分别称为第一游戏用户、第二游戏用户、第三游戏用户等。在本发明的实施例中，由不同游戏用户操纵的游戏角色可以被分别称为第一游戏角色、第二游戏角色、第三游戏角色等。在本发明的实施例中，上述命名规则只是示例性的，还可以使用其他规则。在本发明的实施例中，游戏用户与游戏角色的编号是一一对应的。

在本发明的实施例中，该指令是由游戏用户发出的，例如在与其他游戏用户或NPC(非玩家角色)聊天时或在进行拍照、截屏或录屏时。在本发明的实施例中，该指令由一个游戏用户发出，并且被一个或多个其他游戏用户响应。在本发明的实施例中，游戏用户可以通过多种方式发出指令，包括但不限于点击按钮、勾选选项、打开游戏终端的摄像头模组等。在本发明的实施例中，该指令是由电子游戏系统发出的，例如在游戏用户或游戏情节满足特定条件时。在本发明的实施例中，可以在任何时间生成实时表情图片，优选地，在游戏用户聊天时生成，在此情况下，接收到的指令是在当前游戏的聊天室中触发的实时表情图片的生成指令，以便于给其他游戏用户发送实时表情图片。

在本发明的实施例中，实时表情图片是由一个游戏用户单独制作生成的。在本发明的实施例中，实时表情图片是由多个游戏用户共同制作生成的。在本发明的实施例中，所有游戏用户均可以发送和接收实时表情图片。在本发明的实施例中，“其他游戏用户”包括对端游戏用户，即正在与当前游戏用户进行聊天互动的游戏用户。在本发明的实施例中，对端游戏用户可以是一个或多个。

获取游戏角色的面部模型数据

在本发明的实施例中，可以在任何阶段和场景获取游戏角色的面部模型数据，优选地，在游戏角色被创建时获取游戏角色的面部模型数据。在本发明的实施例中，可以获取一个或多个游戏角色的面部模型数据。在本发明的实施例中，游戏角色的“面部模型数据”即游戏角色的美术制作模型，指的是在进行渲染后呈现出无表情的游戏角色的面部的数据。参见图3，其中示出了游戏角色的示例性美术制作模型。在本发明的实施例中，“模型数据”与“模型”可互换地使用。在本发明的实施例中，游戏角色的美术制作模型由游戏开发人员预置并保存在游戏数据中。在本发明的实施例中，可以以任何数据格式存储面部模型数据。在本发明的实施例中，“预置”与“非预置”或“实时”相对，指的是已经预先制作好而不需要实时制作、生成。

实时获取游戏用户的表情特征数据

在本发明的实施例中，“表情特征数据”指的是能够表示表情的数据的统称。在本发明的实施例中，获取的表情特征数据是实时的。在本发明的实施例中，表情特征数据包括表情特征系数。在本发明的实施例中，表情特征数据还包括旋转矩阵。在本发明的实施例中，可以通过摄像头模组(例如，手机、平板和电脑上的摄像头或摄像机和摄影机等)获取表情特征数据。在本发明的实施例中，可以使用摄像头模组拍摄或检测游戏用户的面部以获取表情特征数据。在本发明的实施例中，表情特征数据是通过摄像头模组由当前游戏用户实时获取的。在本发明的实施例中，摄像头模组是当前游戏用户正在操纵的客户端中的摄像头模组。在本发明的实施例中，可以以任何数据格式存储表情特征数据。在本发明的实施例中，当存在多个游戏用户时，获取的表情特征数据可以被分别称为第一表情特征数据、第二表情特征数据、第三表情特征数据等。在本发明的实施例中，游戏用户、游戏角色与表情特征数据的编号是一一对应的。在本发明的实施例中，当存在多个游戏用户时，摄像头模组是每个游戏用户正在操纵的客户端中的摄像头模组。

在本发明的实施例中，“表情特征系数”指的是能够表示面部特征的数据，其以系数形式描述相对于无表情时面部特征的偏移，进而描述有表情时的面部特征。在本发明的实施例中，旋转矩阵具有本领域技术人员通常理解的含义。在本发明的实施例中，可以使用软件(例如，已知的Ark Platforms Inc.公司的ARKit软件，其功能的详细信息可在http://www.arkit.io/获得)配合摄像头模组获得表情特征系数。例如，由ARKit软件(尤其是ARFaceAnchor模块中的ARBlendShapeLocation功能)以blendShapes属性或参数的形式提供表情特征系数。在本发明的实施例中，还可以以其他软件或其他形式来提供表情特征系数。如本领域中已知的，在ARKit软件中，表情特征系数提供了一个模型，该模型表示一系列面部特征相对于无表情时的偏移系数。如本领域中已知的，ARKit软件目前提供了包括52个系数的表情特征系数，其分布在左眼、右眼、嘴、下巴、眉毛、脸颊、舌头等部位，每个系数为0-1之间的浮点数，其中0表示无表情，而1表示最大程度的表情。图2示出了根据本发明的实施例的示例性表情特征系数，其中显示了睁开和闭合左眼的表情。在本发明的实施例中，可以通过硬件模块(通常是定制的)来实现对ARKit软件和摄像头模组的调用和控制，也可以通过混合了软件和硬件的模块来实现所述调用和控制。

依据面部模型数据和表情特征数据实时生成游戏角色的实时表情数据

在本发明的实施例中，游戏角色的实时表情图片的获得基于游戏角色的实时表情数据。在本发明的实施例中，可以针对不同的游戏用户或不同的游戏角色生成不同的实时表情数据。例如，由于第一游戏用户与第二游戏用户操纵的游戏角色不同，自然生成的实时表情数据也不同。在本发明的实施例中，游戏角色的实时表情数据能够使得游戏角色表现出由表情特征数据表示的表情。在本发明的实施例中，游戏角色的(实时或非实时)表情数据被配置为能够在渲染后生成游戏角色的表情。在本发明的实施例中，游戏角色的“表情数据”与“角色表情数据”可互换地使用，指的是相对于面部模型数据的融合变形数据。在本发明的实施例中，表情数据是一种面部拓扑学的网格结构数据，其包括基础网格信息、顶点、纹理、三角面片信息和游戏角色的各个融合变形信息中的至少一个。在本发明的实施例中，“基础网格信息”、“顶点”、“纹理”和“三角面片信息”具有本领域技术人员通常理解的含义。例如，ARKit软件尤其是ARFaceAnchor模块中的ARFaceGeometry功能规定了面部的基础网格和纹理，并且其中的每个模型数据可以包含1220个顶点和2304个三角面片。在本发明的实施例中，可以根据需要选择顶点和三角面片的数量。在本发明的实施例，还可以通过其他软件或方法限定表情数据。图3示出了根据本发明的实施例的示例性角色表情数据。

由图3可知，游戏角色的表情数据体现了相对于面部模型数据在一个或多个部位的融合变形。在本发明的实施例中，“融合变形信息”记录了上述融合变形的部位和/或程度。在本发明的实施例中，可以根据需要选择进行融合变形处理的部位和/或程度。在本发明的实施例中，上述部位可以与表情特征系数指示的部位相同。在本发明的实施例中，上述程度的取值可以与表情特征系数的取值相同。在本发明的实施例中，选取的进行融合变形处理的部位通常在例如眼睛、嘴巴等对表情影响较大的部位分布较多。

在本发明的实施例中，可以使用软件(例如，已知的Russian3DScanner LLC公司的R3DS Wrap软件，其功能的详细信息可在https://www.russian3dscanner.com/获得)实现“融合变形”处理。在本发明的实施例中，还可以使用其他方法或软件实现上述操作，只要能够实现本发明的目的。与ARKit软件类似，可以编制软件程序、设置硬件模块或软件与硬件混合的模块来实现对R3DS Wrap软件的调用。在本发明的实施例中，调用ARKit软件的模块和调用R3DS Wrap软件的模块可以是相同的模块，也可以是不同的但彼此可以交换数据的模块，还可以是相同系统下的不同模块(可以彼此交换数据)。如本领域中已知的，R3DSWrap软件是一种节点方式的软件，可以通过选取并且连接节点来实现功能。例如，本发明的实施例可以使用R3DS Wrap软件中的融合变形(Blendshapes)节点。

在本发明的实施例中，游戏角色的角色表情数据由面部模型数据与表情特征数据进行插值计算获得。在本发明的实施例中，“插值计算”具有本领域技术人员通常理解的含义。在本发明的实施例中，可以例如通过已知的ERA引擎实现游戏角色的实时表情数据的生成。在本发明的实施例中，可以将获取的表情特征系数以及相关联的旋转矩阵传输到ERA引擎中。在本发明的实施例中，可以通过将面部模型数据与表情特征系数和旋转矩阵进行插值计算，以得到实时的角色表情数据。

在本发明的实施例中，可以采用多种数据格式存储上面生成的角色表情数据。在本发明的实施例中，游戏角色的表情数据不是实时生成的，而是预置的。在本发明的实施例中，游戏角色的表情特征数据不是实时获得的，而是预置的。在本发明的实施例中，可以通过预置的面部模型数据和预置的表情特征数据生成游戏角色的表情数据，这样生成的表情数据也可以被认为是预置的。

将实时表情数据与当前游戏场景图像数据一起合成渲染出实时表情图片

在本发明的实施例中，可以使用本领域中已知的渲染技术生成表情图片。在本发明的实施例中，实时表情数据可以涉及一个或多个游戏用户。在存在多个游戏用户的情况下，例如存在他们操纵的第一游戏角色和第二游戏角色的情况下，可以将与每个游戏角色对应的实时表情数据与当前游戏场景图像数据一起合成渲染出实时表情图片。在本发明的实施例中，参与合成渲染实时表情图片的一个或多个或全部实时表情数据可以是预置的。例如，可以将预置的第一游戏角色的表情数据与当前游戏场景图像数据一起合成渲染出表情图片。再例如，可以将预置的第一游戏角色的表情数据、实时的第二游戏角色的表情数据与当前游戏场景图像数据一起合成渲染出表情图片。在本发明的实施例中，上述预置或非预置的表情数据可以任意组合。

在本发明的实施例中，可以采用多种数据格式存储上面生成的实时表情图片。在本发明的实施例中，可以将实时表情图片按照角色、表情类别、表情描述关键字中的至少一个进行分类存储。在本发明的实施例中，还可以对实时表情图片进行编辑，例如，在其中加入实时输入的音频、文字或图片数据。在本发明的实施例中，任何游戏用户均可以对实时表情图片进行编辑。在本发明的实施例中，只有参与制作生成的游戏用户才可以对实时表情图片进行编辑。在本发明的实施例中，只有发起制作生成的游戏用户才可以对实时表情图片进行编辑。在本发明的实施例中，可以将多个连续合成渲染的实时表情图片保存为视频数据或动画数据。在本发明的实施例中，除了保存实时表情图片之外，还可以分享或下载实时表情图片。

在本发明的实施例中，实时表情图片不仅能够呈现出实时表情数据所代表的表情，而且能够呈现出实时姿态数据所代表的姿态。在本发明的实施例中，实时姿态数据反映了游戏角色的姿态，其包括但不限于身体各部位的量度(长度、宽度等)和位置。在本发明的实施例中，上述游戏角色的姿态与当前操纵其的游戏用户的姿态相同。在本发明的实施例中，获取实时姿态数据的方法包括获取游戏角色的人体模型中的骨骼矩阵数据；和依据游戏角色的面部模型数据、表情特征数据和骨骼矩阵数据，实时生成包括游戏角色的实时表情数据的实时姿态数据。例如，可以通过使用ARKit软件获得上述骨骼矩阵数据。在本发明的实施例中，可以通过ARKit软件和摄像头模组配合使用获得上述骨骼矩阵数据。在本发明的实施例中，与第一游戏用户和第一游戏角色对应的骨骼矩阵数据可以被称为第一骨骼矩阵数据。

在下面特别描述在生成表情图片的场景下本发明的示例性实施例。在电子游戏的用户需要生成表情图片，例如需要进行拍照、截屏或录屏时，用户通过相应的接口进入如图4A和4B所示的界面，其中用户可以对待生成的表情图片中的元素进行选择，通过点击“表情”，可以对待生成的表情图片中的游戏角色的表情进行处理。参见图5，其示出了根据本发明的一个实施例的根据预置表情数据生成表情图片的示意图，其中用户可以选择已经预置的表情数据，以生成相应的表情图片。在图5中，用户通过选择标记为“微笑”的预置的表情数据，游戏角色也表现出相应的表情。游戏用户也可以选择实时表情数据，图6示出了根据本发明的一个实施例的生成实时表情图片的界面的示意图，其中通过勾选“实时表情”选项，游戏用户可以实施本发明的生成实时表情图片的方法。图7示出了根据本发明的一个实施例的生成实时表情图片的示意图，其中游戏角色跟随当前游戏用户的表情，做出了鬼脸的表情。图8示出了根据本发明的一个实施例的生成的示例性实时表情图片的示意图，其中通过点击屏幕右侧的“拍照”按钮，生成如图所示的实时表情图片。在实时表情图片涉及到多个游戏角色时，多个不同游戏用户可以依据上面的操作，各自在自己的游戏客户端进行操作或均在相同的游戏客户端依次进行操作。

图9示出了实施本发明的实施例的示例性电子游戏系统的示意图。游戏用户能够利用本发明的实施例便捷地生成、共享和播放角色的表情或表情图片以及相关的动画。游戏用户能够离线地在游戏的客户端进行相关操作，也可以在玩游戏的同时实时地进行相关操作。作为数据源，用户利用实施了本发明的实施例的软件、硬件或软件与硬件混合的模块，通过摄像设备(例如，苹果公司或华为技术有限公司的销售手机)拍摄自己的面部，并且将所拍摄的面部的照片甚至视频提供给本发明所使用的面部处理装置和表情或表情图片生成装置(例如，ARKit软件和R3DS Wrap软件)。图9所示的游戏客户端是本发明的实施例之一，能够实现对ARKit软件和R3DS Wrap软件的调用和对摄像设备的控制。面部处理装置和表情或表情图片生成装置对所提供的数据进行处理，生成相关模型或表情特征信息，并将相关数据提供给ERA引擎。用户通过游戏系统的客户端进行有关角色和表情或表情图片的相关操作(这些操作可能会调用前述摄像设备和面部处理装置和表情生成装置)，包括自拍、角色表情或表情图片的生成、角色表情传播和角色表情动画的播放、角色表情或动画的保存、角色表情的检索(可以通过ERA引擎执行检索操作)等等。游戏系统的客户端软件通过计算机网络与游戏服务器进行通信，从而能够支持客户端多角色的实时表情同步，以及在用户之间进行角色表情的传播或共享。

本发明各实施例的方法和装置、以及所述方法的步骤和装置的构成模块可以实现为纯粹的软件模块(例如用Java语言来编写的软件程序)，也可以根据需要实现为纯粹的硬件模块(例如专用ASIC芯片或FPGA芯片)，还可以实现为结合了软件和硬件的模块(例如存储有固定代码的固件系统)。

本发明还提供了一种计算机可读介质，其上存储有计算机可读指令，所述指令被执行时可实施本发明各实施例的方法。

本领域普通技术人员可以意识到，以上所述仅为本发明的示例性实施例，并不用于限制本发明。本发明还可以包含各种修改和变化。任何在本发明的精神和范围内作的修改和变化均应包含在本发明的保护范围内。

在权利要求书中规定了各个实施例的各个方面。在下列编号条款中规定了各个实施例的这些和其他方面：

1.一种生成游戏角色的实时表情图片的方法，包括：

接收生成所述实时表情图片的指令；

获取第一游戏角色的面部模型数据；

实时获取第一游戏用户的第一表情特征数据；

依据所述第一游戏角色的面部模型数据和所述第一表情特征数据，实时生成所述第一游戏角色的实时表情数据；和

将所述实时表情数据与当前游戏场景图像数据一起合成渲染出所述实时表情图片。

2.根据条款1所述的方法，其特征在于，实时获取所述第一游戏用户的第一表情特征数据的操作包括：

使用所述第一游戏用户正在操纵的客户端中的摄像头模组获取所述第一游戏用户的表情特征数据。

3.根据条款2所述的方法，其特征在于，进一步包括：

将所述第一游戏角色的面部模型数据和由摄像头模组中获取的所述第一游戏用户的表情特征数据中的表情特征系数与旋转矩阵进行插值计算得到实时表情数据。

4.根据条款1所述的方法，其特征在于，接收生成所述实时表情图片的指令是在当前游戏中的聊天室中触发的所述实时表情图片的生成指令，以给对端游戏用户的客户端发送所述实时表情图片。

5.根据条款1所述的方法，其特征在于，所述第一游戏角色的实时表情数据是相对于所述第一游戏角色的面部模型数据的融合变形数据，包括：基础网格信息、顶点、纹理、三角面片信息和游戏角色的各个融合变形信息中的至少一个。

6.根据条款1所述的方法，其特征在于，进一步包括：

在所述合成渲染的实时表情图片中加入所述第一游戏用户实时输入的音频、文字或图片数据。

7.根据条款1所述的方法，其特征在于，进一步包括：

获取第二游戏角色的面部模型数据；

实时获取第二游戏用户的第二表情特征数据；

依据所述第二游戏角色的面部模型数据和所述第二表情特征数据，实时生成所述第二游戏角色的实时表情数据；和

将所述第一游戏角色的实时表情数据、所述第二游戏角色的实时表情数据与当前游戏场景图像数据一起合成渲染出所述实时表情图片。

8.根据条款1所述的方法，其特征在于，进一步包括：

将多个连续合成渲染的所述实时表情图片保存为视频数据或动画数据。

9.根据条款1所述的方法，其特征在于，进一步包括：

提供接口以保存、分享或下载所述合成渲染的实时表情图片。

10.根据条款1所述的方法，其特征在于，进一步包括：

获取所述第一游戏角色的人体模型中的第一骨骼矩阵数据；和

依据所述第一游戏角色的面部模型数据、所述第一表情特征数据和所述第一骨骼矩阵数据，实时生成包括所述第一游戏角色的实时表情数据的实时姿态数据。

11.根据条款1所述的方法，其特征在于，进一步包括：

获取预置的所述第一游戏角色的表情数据，其中所述预置的第一游戏角色的表情数据由所述第一游戏角色的面部模型数据和预置的所述第一游戏用户的表情特征数据生成；和

将所述预置的第一游戏角色的表情数据与当前游戏场景图像数据一起合成渲染出所述实时表情图片。

12.根据条款1所述的方法，其特征在于，进一步包括：

将所述合成渲染的实时表情图片按照角色、表情类别、表情描述关键字中的至少一个进行分类存储。

13.一种生成游戏角色的实时表情图片的装置，包括：

用于接收生成所述实时表情图片的指令的模块；

用于获取第一游戏角色的面部模型数据的模块；

用于实时获取第一游戏用户的第一表情特征数据的模块；

用于依据所述第一游戏角色的面部模型数据和所述第一表情特征数据，实时生成所述第一游戏角色的实时表情数据的模块；和

用于将所述实时表情数据与当前游戏场景图像数据一起合成渲染出所述实时表情图片的模块。

14.根据条款13所述的装置，其特征在于，实时获取所述第一游戏用户的第一表情特征数据的操作包括：

使用所述第一游戏用户正在操纵的客户端中的摄像头模组获取所述第一游戏用户的表情特征数据。

15.根据条款14所述的装置，其特征在于，进一步包括：

用于将所述第一游戏角色的面部模型数据和由摄像头模组中获取的所述第一游戏用户的表情特征数据中的表情特征系数与旋转矩阵进行插值计算得到实时表情数据的模块。

16.根据条款13所述的装置，其特征在于，接收生成所述实时表情图片的指令是在当前游戏中的聊天室中触发的所述实时表情图片的生成指令，以给对端游戏用户的客户端发送所述实时表情图片。

17.根据条款13所述的装置，其特征在于，所述第一游戏角色的实时表情数据是相对于所述第一游戏角色的面部模型数据的融合变形数据，包括：基础网格信息、顶点、纹理、三角面片信息和游戏角色的各个融合变形信息中的至少一个。

18.根据条款13所述的装置，其特征在于，进一步包括：

用于在所述合成渲染的实时表情图片中加入所述第一游戏用户实时输入的音频、文字或图片数据的模块。

19.根据条款13所述的装置，其特征在于，进一步包括：

用于获取第二游戏角色的面部模型数据的模块；

用于实时获取第二游戏用户的第二表情特征数据的模块；

用于依据所述第二游戏角色的面部模型数据和所述第二表情特征数据，实时生成所述第二游戏角色的实时表情数据的模块；和

用于将所述第一游戏角色的实时表情数据、所述第二游戏角色的实时表情数据与当前游戏场景图像数据一起合成渲染出所述实时表情图片的模块。

20.根据条款13所述的装置，其特征在于，进一步包括：

用于将多个连续合成渲染的所述实时表情图片保存为视频数据或动画数据的模块。

21.根据条款13所述的装置，其特征在于，进一步包括：

用于保存、分享或下载所述合成渲染的实时表情图片的模块。

22.根据条款13所述的装置，其特征在于，进一步包括：

用于获取所述第一游戏角色的人体模型中的第一骨骼矩阵数据的模块；和

用于依据所述第一游戏角色的面部模型数据、所述第一表情特征数据和所述第一骨骼矩阵数据，实时生成包括所述第一游戏角色的实时表情数据的实时姿态数据的模块。

23.根据条款13所述的装置，其特征在于，进一步包括：

用于获取预置的所述第一游戏角色的表情数据的模块，其中所述预置的第一游戏角色的表情数据由所述第一游戏角色的面部模型数据和预置的所述第一游戏用户的表情特征数据生成；和

用于将所述预置的第一游戏角色的表情数据与当前游戏场景图像数据一起合成渲染出所述实时表情图片的模块。

24.根据条款13所述的装置，其特征在于，进一步包括：

用于将所述合成渲染的实时表情图片按照角色、表情类别、表情描述关键字中的至少一个进行分类存储的模块。

25.一种系统，包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由所述处理器加载并执行时能够实现根据条款1-12中任一项所述的方法。

26.一种计算机可读介质，其上存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行时能够实现根据条款1-12中任一项所述的方法。

Claims (22)

1.一种在游戏进行过程中生成游戏角色的实时表情图片的方法，包括：

接收生成所述实时表情图片的指令，包括接收由第一游戏用户发起的与第二游戏用户或NPC一起生成所述实时表情图片的指令；

获取所述第一游戏用户操纵的第一游戏角色的面部模型数据；

实时获取所述第一游戏用户的第一表情特征数据；

依据所述第一游戏角色的面部模型数据和所述第一表情特征数据，实时生成所述第一游戏角色的实时表情数据；

获取所述第二游戏用户操纵的第二游戏角色的面部模型数据；

实时获取所述第二游戏用户的第二表情特征数据；

依据所述第二游戏角色的面部模型数据和所述第二表情特征数据，实时生成所述第二游戏角色的实时表情数据；和

将所述第一游戏角色的实时表情数据、所述第二游戏角色的实时表情数据与实时游戏场景图像数据一起合成渲染出所述实时表情图片，其中所述第一游戏角色和所述第二游戏角色当前处于所述实时游戏场景中。

2.根据权利要求1所述的方法，其特征在于，实时获取所述第一游戏用户的第一表情特征数据的操作包括：

使用所述第一游戏用户正在操纵的客户端中的摄像头模组获取所述第一游戏用户的表情特征数据。

3.根据权利要求2所述的方法，其特征在于，进一步包括：

将所述第一游戏角色的面部模型数据和由摄像头模组中获取的所述第一游戏用户的表情特征数据中的表情特征系数与旋转矩阵进行插值计算得到实时表情数据。

4.根据权利要求1所述的方法，其特征在于，所述第一游戏角色的实时表情数据是相对于所述第一游戏角色的面部模型数据的融合变形数据，包括：基础网格信息、顶点、纹理、三角面片信息和游戏角色的各个融合变形信息中的至少一个。

5.根据权利要求1所述的方法，其特征在于，进一步包括：

在所述合成渲染的实时表情图片中加入所述第一游戏用户实时输入的音频、文字或图片数据。

6.根据权利要求1所述的方法，其特征在于，进一步包括：

将多个连续合成渲染的所述实时表情图片保存为视频数据或动画数据。

7.根据权利要求1所述的方法，其特征在于，进一步包括：

提供接口以保存、分享或下载所述合成渲染的实时表情图片。

8.根据权利要求1所述的方法，其特征在于，进一步包括：

获取所述第一游戏角色的人体模型中的第一骨骼矩阵数据；和

依据所述第一游戏角色的面部模型数据、所述第一表情特征数据和所述第一骨骼矩阵数据，实时生成包括所述第一游戏角色的实时表情数据的实时姿态数据。

9.根据权利要求1所述的方法，其特征在于，进一步包括：

获取预置的所述第一游戏角色的表情数据，其中所述预置的第一游戏角色的表情数据由所述第一游戏角色的面部模型数据和预置的所述第一游戏用户的表情特征数据生成；和

将所述预置的第一游戏角色的表情数据与实时游戏场景图像数据一起合成渲染出所述实时表情图片。

10.根据权利要求1所述的方法，其特征在于，进一步包括：

将所述合成渲染的实时表情图片按照角色、表情类别、表情描述关键字中的至少一个进行分类存储。

11.一种在游戏进行过程中生成游戏角色的实时表情图片的装置，包括：

用于接收生成所述实时表情图片的指令的模块，所述模块接收由第一游戏用户发起的与第二游戏用户或NPC一起生成所述实时表情图片的指令；

用于获取所述第一游戏用户操纵的第一游戏角色的面部模型数据的模块；

用于实时获取所述第一游戏用户的第一表情特征数据的模块；

用于依据所述第一游戏角色的面部模型数据和所述第一表情特征数据，实时生成所述第一游戏角色的实时表情数据的模块；

用于获取所述第二游戏角色的面部模型数据的模块；

用于实时获取所述第二游戏用户的第二表情特征数据的模块；

用于依据所述第二游戏角色的面部模型数据和所述第二表情特征数据，实时生成所述第二游戏角色的实时表情数据的模块；和

用于将所述第一游戏角色的实时表情数据、所述第二游戏角色的实时表情数据与实时游戏场景图像数据一起合成渲染出所述实时表情图片的模块，其中所述第一游戏角色和所述第二游戏角色当前处于所述实时游戏场景中。

12.根据权利要求11所述的装置，其特征在于，实时获取所述第一游戏用户的第一表情特征数据的操作包括：

使用所述第一游戏用户正在操纵的客户端中的摄像头模组获取所述第一游戏用户的表情特征数据。

13.根据权利要求12所述的装置，其特征在于，进一步包括：

用于将所述第一游戏角色的面部模型数据和由摄像头模组中获取的所述第一游戏用户的表情特征数据中的表情特征系数与旋转矩阵进行插值计算得到实时表情数据的模块。

14.根据权利要求11所述的装置，其特征在于，所述第一游戏角色的实时表情数据是相对于所述第一游戏角色的面部模型数据的融合变形数据，包括：基础网格信息、顶点、纹理、三角面片信息和游戏角色的各个融合变形信息中的至少一个。

15.根据权利要求11所述的装置，其特征在于，进一步包括：

用于在所述合成渲染的实时表情图片中加入所述第一游戏用户实时输入的音频、文字或图片数据的模块。

16.根据权利要求11所述的装置，其特征在于，进一步包括：

用于将多个连续合成渲染的所述实时表情图片保存为视频数据或动画数据的模块。

17.根据权利要求11所述的装置，其特征在于，进一步包括：

用于保存、分享或下载所述合成渲染的实时表情图片的模块。

18.根据权利要求11所述的装置，其特征在于，进一步包括：

用于获取所述第一游戏角色的人体模型中的第一骨骼矩阵数据的模块；和

用于依据所述第一游戏角色的面部模型数据、所述第一表情特征数据和所述第一骨骼矩阵数据，实时生成包括所述第一游戏角色的实时表情数据的实时姿态数据的模块。

19.根据权利要求11所述的装置，其特征在于，进一步包括：

用于获取预置的所述第一游戏角色的表情数据的模块，其中所述预置的第一游戏角色的表情数据由所述第一游戏角色的面部模型数据和预置的所述第一游戏用户的表情特征数据生成；和

用于将所述预置的第一游戏角色的表情数据与实时游戏场景图像数据一起合成渲染出所述实时表情图片的模块。

20.根据权利要求11所述的装置，其特征在于，进一步包括：

用于将所述合成渲染的实时表情图片按照角色、表情类别、表情描述关键字中的至少一个进行分类存储的模块。

21.一种系统，包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由所述处理器加载并执行时能够实现根据权利要求1-10中任一项所述的方法。

22.一种计算机可读介质，其上存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行时能够实现根据权利要求1-10中任一项所述的方法。

Images