CN111383313B

CN111383313B - 一种虚拟模型渲染方法、装置、设备及可读存储介质

Info

Publication number: CN111383313B
Application number: CN202010243583.6A
Authority: CN
Inventors: 邱涛; 姜滨; 迟小羽; 张向军; 王铁存; 刘影疏; 吕廷昌; 刘文杰; 陈晨
Original assignee: Goertek Inc
Current assignee: Goertek Inc
Priority date: 2020-03-31
Filing date: 2020-03-31
Publication date: 2023-05-12
Anticipated expiration: 2040-03-31
Also published as: CN111383313A

Abstract

本发明公开了一种虚拟模型渲染方法、装置、设备及可读存储介质，该方法，包括：获取目标用户的现实图像；从现实图像中提取目标用户的运动特征；将运动特征渲染至目标用户对应的用户模型中；输出渲染后的用户模型。该方法可将目标用户的现实动作渲染在用户模型中，也就是说渲染得到的用户模型，可展示现实动作，能够使得其他用户可以在虚拟世界中观察该目标用户的具体动作，能够更好的体验虚拟世界用户当时的状态和信息，能够提升用户的虚拟现实体验。

Description

一种虚拟模型渲染方法、装置、设备及可读存储介质

技术领域

本发明涉及虚拟现实技术领域，特别是涉及一种虚拟模型渲染方法、装置、设备及可读存储介质。

背景技术

虚拟现实技术(Virtual Reality，VR)，又称灵境技术，囊括计算机、电子信息、仿真技术于一体，其基本实现方式是计算机模拟虚拟环境从而给人以环境沉浸感。

随着虚拟现实技术的发展，VR用户越来越多，VR用户不仅可享受虚拟世界带来的乐趣，还可在虚拟世界中进行构思和创作。VR用户在享受创作过程中带来乐趣的同时，更希望把创作过程分享出去，如和同行的交流、提升知名度或关注度等等。但目前的虚拟现实技术还无法满足这一用户需求。

综上所述，如何有效地在虚拟现实体验中展示用户行为等问题，是目前本领域技术人员急需解决的技术问题。

发明内容

本发明的目的是提供一种虚拟模型渲染方法、装置、设备及可读存储介质，通过将目标用户在现实动作渲染在用户模型中，使得其他用户可以在虚拟世界中观察目标用户的具体动作，能够更好的体验虚拟世界用户当时的状态和信息，能够提升用户的虚拟现实体验。

为解决上述技术问题，本发明提供如下技术方案：

一种用户图像处理方法，包括：

获取目标用户的现实图像；

从所述现实图像中提取所述目标用户的运动特征；

将所述运动特征渲染至所述目标用户对应的用户模型中；

输出渲染后的用户模型。

优选地，所述获取目标用户的现实图像，包括：

利用所述目标用户所处体验空间内的摄像头获取所述目标用户的现实图像。

优选地，从所述现实图像中提取所述目标用户的运动特征，包括：

对所述现实图像进行运动关键点特征识别，得到运动特征点和运动描述信息；

将所述运动特征点和所述运动描述信息作为所述运动特征。

优选地，在得到所述运动特征点之后，还包括：

利用所述运动特征点确定颜色采集区域；

从所述现实图像中的所述颜色采集区域中采集所述目标用户的穿着颜色信息；

将所述穿着颜色信息作为穿着特征。

优选地，在所述输出渲染后的用户模型之前，还包括：

将所述穿着特征渲染至所述用户模型中。

优选地，在所述输出渲染后的用户模型之前，还包括：

利用所述目标用户佩戴的虚拟设备中眼球追踪摄像头，采集所述目标用户的眼睛图像；

从所述眼睛图像中获取眼睛状态纹理信息；

将所述眼睛状态纹理信息作为情感特征；

将所述情感特征更新至所述用户模型的眼睛部位。

优选地，在所述输出渲染后的用户模型之前，包括：

利用所述目标用户的虚拟设备获取空间坐标信息；

利用所述空间坐标信息对所述用户模型进行旋转处理。

一种虚拟模型渲染装置，包括：

现实图像获取模块，用于获取目标用户的现实图像；

运动特征提取模块，用于从所述现实图像中提取所述目标用户的运动特征；

个性化模块，用于将所述运动特征渲染至所述目标用户对应的用户模型中；

显示输出模块，用于输出渲染后的用户模型。

一种虚拟现实设备，包括：

三维视觉显示部件，用于现实虚拟环境；

声音部件，用于输入输出声音信息；

交互设备，用于采集交互信息；所述交互部件包括眼球追踪摄像头，眼球追踪摄像头用于采集所述目标用户的眼睛图像；

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述虚拟模型渲染方法的步骤。

一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述虚拟模型渲染方法的步骤。

应用本发明实施例所提供的方法，获取目标用户的现实图像；从现实图像中提取目标用户的运动特征；将运动特征渲染至目标用户对应的用户模型中；输出渲染后的用户模型。

在本方法中，可通过获取目标用户的显示图像，并从现实图像中提取出目标用户的运动特征，然后在渲染目标用户对应的用户模型时，将运动特征渲染在其中。即，本方法可将目标用户的现实动作渲染在用户模型中，也就是说渲染得到的用户模型，可展示现实动作，能够使得其他用户可以在虚拟世界中观察该目标用户的具体动作，能够更好的体验虚拟世界用户当时的状态和信息，能够提升用户的虚拟现实体验。

相应地，本发明实施例还提供了与上述虚拟模型渲染方法相对应的虚拟模型渲染装置、设备和可读存储介质，具有上述技术效果，在此不再赘述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种虚拟模型渲染方法的实施流程图；

图2为本发明实施例中一种现实图像的采集示意图；

图3为本发明实施例中一种运动特征关键点和颜色采集区域的示意图；

图4为本发明实施例中一种虚拟模型渲染装置的结构示意图；

图5为本发明实施例中一种虚拟现实设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明实施例中一种虚拟模型渲染方法的流程图，该方法包括以下步骤：

S101、获取目标用户的现实图像。

这里的现实图像可具体指：在目标用户所处的真实环境中，对目标用户本身拍摄的图像。

也就是说，现实图像中呈现出了目标用户的现实状态，如肢体动作，衣着外貌等。

具体的，可利用目标用户所处体验空间内的摄像头获取目标用户的现实图像。为了采集用户的不同视角对应的图像，在实际应用中，可在体验空间中设置多个摄像头，以采集不同视角对应的图像。具体的，为便于提取目标用户的运动特征，可采用3D摄像头采集图像。

举例说明：可采用如图2所示的3D摄像头(camera1和camera2)来进行现实图像采集，其中camera1和camera2可通过无线通信方式(如蓝牙、WIFI等)与目标用户的头戴设备(即VR设备)进行连接，以便数据交换。

S102、从现实图像中提取目标用户的运动特征。

获取到现实图像之后，可从现实图像中提取出目标用户的运动特征。其中，运动特征可具体为如图3所示的运动关键点(图示深色圆点)对应的信息。

具体的，运动特征的提取过程，包括：

步骤一、对现实图像进行运动关键点特征识别，得到运动特征点和运动描述信息；

步骤二、将运动特征点和运动描述信息作为运动特征。

为了便于描述，下面将上述两个步骤结合起来进行说明。

其中，运动特征点生成和识别可采用OpenCV(一种开源计算机视觉库)生成关键特征点和描述信息，在Camera录制过程中，在处理每帧现实图像时，使用FAST和KNN(k-NearestNeighbor，k最邻近分类算法)算法来进行特征点检测匹配(可取结果权重大的一项作为识别结论)，其中描述信息可采用BRIEF特征属性进行描述说明。

其中，运动特征的信息如下：

下式为位置A到位置B的四元数表示，由四个元素组成的数组(移动过程中，持续更新)：

其中n_x，n_y，n_z为单位向量n的三个分量。四元数q就代表了围绕向量n旋转θ角。

S103、将运动特征渲染至目标用户对应的用户模型中。

其中，用户模型可对应虚拟体验环境为用户设计的3D动画人物模型，即虚拟人物模型。

在渲染用户模型时，将运动特征渲染在目标用户对于的用户模型中，如此，便可使得用户模型能够体现出用户的创作过程。

S104、输出渲染后的用户模型。

特别地，渲染后的用户模型可展示给目标用户，也可展示给其他用户，如与目标用户同处于一个虚拟体验环境中的用户。

需要说明的是，基于上述实施例，本发明实施例还提供了相应的改进方案。在优选/改进实施例中涉及与上述实施例中相同步骤或相应步骤之间可相互参考，相应的有益效果也可相互参照，在本文的优选/改进实施例中不再一一赘述。

优选地，为了达到更好的用户体验，还可将用户在虚拟体验的动作渲染在用户模型中，即使渲染后的用户模型即能够表示用户的虚拟体验中的动作，也可展示用户的现实动作。具体的实现过程，即在执行步骤S104之前，执行以下步骤：

步骤一、利用目标用户的虚拟设备获取空间坐标信息；

步骤二、利用空间坐标信息对用户模型进行旋转处理。

其中，空间坐标信息可具体为6DOF空间坐标信息，基于该6DOF空间坐标信息对用户模型进行对应角度的旋转。

优选地，为了进一步地使得渲染后的用户模型能够更加个性化和定制化。还可结合目标用户的当前穿着对目标模型进行渲染。具体的实现过程，包括：

步骤一、在得到运动特征点之后，利用运动特征点确定颜色采集区域；

步骤二、从现实图像中的颜色采集区域中采集目标用户的穿着颜色信息；

步骤三、将穿着颜色信息作为穿着特征。

由于随着目标用户的运动，在显示图像中，衣着对应的位置以及亮度、颜色等会发生变化，为了使得用户模型与目标用户的穿着更加的匹配，在本实施例中，可在得到运动特征点之后，基于该运动特征点来确定出颜色采集区域，然后对于颜色采集区域从现实图像中进行传输颜色信息采集，并且将穿着颜色信息作为穿着特征。

举例说明，请参考图3，可按照运动特征提取过程中所得到的运动特征点，按照空间距离最近的三个运动特征点在一个圆内规则，获取圆内的颜色信息。其中，颜色信息采用RGB16进制(即RGB矩阵16路进16路，RGB一种颜色标准)表示，如：#CC00FF。

然后将颜色信息作为穿着特征。

相应地，在渲染用户模型时，即在输出渲染后的用户模型之前，还可用将穿着特征渲染至用户模型中。即在用户模型的基础上覆盖上与目标用户匹配的穿着特征(颜色信息)。

优选地，为了使得渲染得到的用户特征更加符合真实用户的情感，而眼睛往往能够流露一个人的真实情感，因此在本实施例中，通过获取用户的眼睛图像对用户模型的眼睛部位进行更新。具体的实现过程，包括：

步骤一、在输出渲染后的用户模型之前，利用目标用户佩戴的虚拟设备中眼球追踪摄像头，采集目标用户的眼睛图像；

步骤二、从眼睛图像中获取眼睛状态纹理信息；

步骤三、将眼睛状态纹理信息作为情感特征；

步骤四、将情感特征更新至用户模型的眼睛部位。

即通过目标用户佩戴的虚拟设备的眼球追踪camera，获取到用户面部的眼睛图像，可按照屏幕刷新率将眼睛状态纹理更新到用户模型的眼睛部位。

将眼睛图像中的眼睛纹理信息作为情感特征对用户模型的眼睛部位进行更新，可使得用户模型能够展示目标用户的真实情感。

特别地，采集目标用户的情感特征可与采集获取用户特征同步，以便用户模型能够切和实际用户体验。对于基于情感特征对用户模型的眼睛部位仅需更新仅需在执行步骤S104之前即可。

相应于上面的方法实施例，本发明实施例还提供了一种虚拟模型渲染装置，下文描述的虚拟模型渲染装置与上文描述的虚拟模型渲染方法可相互对应参照。

参见图4所示，该装置包括以下模块：

现实图像获取模块101，用于获取目标用户的现实图像；

运动特征提取模块102，用于从现实图像中提取目标用户的运动特征；

个性化模块103，用于将运动特征渲染至目标用户对应的用户模型中；

显示输出模块104，用于输出渲染后的用户模型。

应用本发明实施例所提供的装置，获取目标用户的现实图像；从现实图像中提取目标用户的运动特征；将运动特征渲染至目标用户对应的用户模型中；输出渲染后的用户模型。

在本装置中，可通过获取目标用户的显示图像，并从现实图像中提取出目标用户的运动特征，然后在渲染目标用户对应的用户模型时，将运动特征渲染在其中。即，本装置可将目标用户的现实动作渲染在用户模型中，也就是说渲染得到的用户模型，可展示现实动作，能够使得其他用户可以在虚拟世界中观察该目标用户的具体动作，能够更好的体验虚拟世界用户当时的状态和信息，能够提升用户的虚拟现实体验。

在本发明的一种具体实施方式中，现实图像获取模块101，具体用于利用目标用户所处体验空间内的摄像头获取目标用户的现实图像。

在本发明的一种具体实施方式中，运动特征提取模块102，具体用于对现实图像进行运动关键点特征识别，得到运动特征点和运动描述信息；将运动特征点和运动描述信息作为运动特征。

在本发明的一种具体实施方式中，还包括：

穿着特征采集模块，用于在得到运动特征点之后，利用运动特征点确定颜色采集区域；从现实图像中的颜色采集区域中采集目标用户的穿着颜色信息；将穿着颜色信息作为穿着特征。

在本发明的一种具体实施方式中，穿着渲染模块，用于在输出渲染后的用户模型之前，将穿着特征渲染至用户模型中。

在本发明的一种具体实施方式中，还包括：

情感渲染模块，用于在输出渲染后的用户模型之前，利用目标用户佩戴的虚拟设备中眼球追踪摄像头，采集目标用户的眼睛图像；从眼睛图像中获取眼睛状态纹理信息；将眼睛状态纹理信息作为情感特征；

将情感特征更新至用户模型的眼睛部位。

在本发明的一种具体实施方式中，虚拟渲染模块，用于在输出渲染后的用户模型之前，利用目标用户的虚拟设备获取空间坐标信息；利用空间坐标信息对用户模型进行旋转处理。

相应于上面的方法实施例，本发明实施例还提供了一种虚拟现实设备，下文描述的一种虚拟现实设备与上文描述的一种虚拟模型渲染方法可相互对应参照。

参见图5所示，该虚拟现实设备包括：

三维视觉显示部件100，用于现实虚拟环境；

声音部件200，用于输入输出声音信息；

交互设备300，用于采集交互信息；交互部件包括眼球追踪摄像头301，眼球追踪摄像头用于采集目标用户的眼睛图像；

存储器400，用于存储计算机程序；

处理器500，用于执行计算机程序时实现如上述方法实施例所公开的虚拟模型渲染方法的步骤。

其中，三维视觉显示部件可具体为3D展示系统、大型投影系统(如CAVE)或头显(头戴式立体显示器等)；声音部件，可为三维的声音系统以及非传统意义的立体声；交互部件，可包括位置追踪仪、数据手套、3D输入设备(如三维鼠标)、动作捕捉设备、眼动仪、力反馈设备、眼球追踪摄像头以及其他交互设备)。

上文所描述的虚拟模型渲染方法中的步骤可以由虚拟现实设备的结构实现。

相应于上面的方法实施例，本发明实施例还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种虚拟模型渲染方法可相互对应参照。

一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的虚拟模型渲染方法的步骤。

该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

Claims

1.一种虚拟模型渲染方法，其特征在于，包括：

获取目标用户的现实图像；

从所述现实图像中提取所述目标用户的运动特征；

将所述运动特征渲染至所述目标用户对应的用户模型中；

输出渲染后的用户模型；

其中，从所述现实图像中提取所述目标用户的运动特征，包括：

将所述运动特征点和所述运动描述信息作为所述运动特征；

利用所述运动特征点确定颜色采集区域；

将所述穿着颜色信息作为穿着特征。

2.根据权利要求1所述的虚拟模型渲染方法，其特征在于，所述获取目标用户的现实图像，包括：

3.根据权利要求1所述的虚拟模型渲染方法，其特征在于，在所述输出渲染后的用户模型之前，还包括：

将所述穿着特征渲染至所述用户模型中。

4.根据权利要求1所述的虚拟模型渲染方法，其特征在于，在所述输出渲染后的用户模型之前，还包括：

从所述眼睛图像中获取眼睛状态纹理信息；

将所述眼睛状态纹理信息作为情感特征；

将所述情感特征更新至所述用户模型的眼睛部位。

5.根据权利要求1所述的虚拟模型渲染方法，其特征在于，在所述输出渲染后的用户模型之前，包括：

利用所述目标用户的虚拟设备获取空间坐标信息；

利用所述空间坐标信息对所述用户模型进行旋转处理。

6.一种虚拟模型渲染装置，其特征在于，包括：

现实图像获取模块，用于获取目标用户的现实图像；

显示输出模块，用于输出渲染后的用户模型；

其中，所述运动特征提取模块，具体用于对所述现实图像进行运动关键点特征识别，得到运动特征点和运动描述信息；将所述运动特征点和所述运动描述信息作为所述运动特征；

穿着特征采集模块，用于利用所述运动特征点确定颜色采集区域；从所述现实图像中的所述颜色采集区域中采集所述目标用户的穿着颜色信息；将所述穿着颜色信息作为穿着特征。

7.一种虚拟现实设备，其特征在于，包括：

三维视觉显示部件，用于现实虚拟环境；

声音部件，用于输入输出声音信息；

交互设备，用于采集交互信息；所述交互设备包括眼球追踪摄像头，眼球追踪摄像头用于采集所述目标用户的眼睛图像；

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述虚拟模型渲染方法的步骤。

8.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述虚拟模型渲染方法的步骤。