CN106560765A - 一种虚拟现实中内容交互的方法和装置 - Google Patents

Abstract

本发明适用于计算机技术领域，提供了一种虚拟现实中内容交互的方法和装置，旨在解决现有技术中人对虚拟环境的控制被局限在肢体运动或者手动指令的范畴内，以及虚拟环境只能被动接收人的控制指令进行交互反馈的局限性问题。方法包括：获取脑电波信号；解析脑电波信号，得到脑电波信号对应的情感认知信息；根据情感认知信息对虚拟环境执行对应的内容交互。通过本发明的技术方案，实现了在无需进行肢体运动或者手动指令的前提下，直接通过脑电波信号完成对虚拟环境的控制；通过分析脑电波信号主动感知人的情感认知，使虚拟环境主动进行与人的交互反馈，同时也使得交互行为不仅局限于图像与触摸，情感状态和注意力状态等也可以作为交互手段。

Description

一种虚拟现实中内容交互的方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种虚拟现实中内容交互的方法和装置。

背景技术

虚拟现实(Virtual Reality，VR)，是一种可创建和体验虚拟世界(VirtualWorld)的计算机系统。其具体内涵是：综合利用计算机图形系统和各种现实及控制等接口设备，在计算机上生成的、可交互的三维环境中提供沉浸感觉的技术。其中，计算机生成的可交互的三维环境称为虚拟环境(Virtual Environment，VE)。虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统的技术，它利用计算机生成一种模拟环境，利用多源信息融合的交互式三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。

现有的虚拟现实技术通过构建一个虚拟的三维环境，让人对虚拟环境进行观察与探索，并通过动作捕捉等技术，使人能够从虚拟环境中获取一定的反馈。但是人与虚拟环境的交互过程通常都是借助于键盘、鼠标、游戏杆或者深度摄像头等动作识别与捕捉设备，根据人的肢体活动的输入作出相应的交互行为。

在这种情况下，人对虚拟环境的控制是有限的和孤立的，只能通过有限的肢体运动或者手动指令进行操作，虚拟环境对人的交互反馈也是完全被动的。

发明内容

本发明的目的在于提供一种虚拟现实中内容交互的方法和装置，旨在解决现有技术中人对虚拟环境的控制被局限在肢体运动或者手动指令的表达范畴内，以及虚拟环境只能被动接收人的控制指令进行交互反馈的局限性问题。

本发明的第一方面，提供一种虚拟现实中内容交互的方法，包括：

获取脑电波信号；

解析所述脑电波信号，得到所述脑电波信号对应的情感认知信息；

根据所述情感认知信息对虚拟环境执行对应的内容交互。

本发明的第二方面，提供一种虚拟现实中内容交互的装置，包括：

获取模块，用于获取脑电波信号；

解析模块，用于解析所述脑电波信号，得到所述脑电波信号对应的情感认知信息；

交互模块，用于根据所述情感认知信息对虚拟环境执行对应的内容交互。

本发明与现有技术相比存在的有益效果是：通过对获取脑电波信号进行解析，得到脑电波信号对应的情感认知信息，根据情感认知信息对虚拟环境进行内容交互。一方面，实现了在无需进行肢体运动或者手动指令的前提下，直接通过脑电波信号即可完成对虚拟环境的控制，使得人对虚拟环境的控制不再局限在肢体运动或者手动指令的表达范畴内；另一方面，通过分析脑电波信号主动感知人的情感认知，使虚拟环境不再被动反馈人的控制，而是直接根据情感认知信息主动进行与人的交互反馈，同时也使得交互行为不仅局限于图像与触摸，情感状态和注意力状态等也可以作为交互手段。

附图说明

图1是本发明实施例一提供的一种虚拟现实中内容交互的方法的流程图；

图2是本发明实施例二提供的一种虚拟现实中内容交互的方法的流程图；

图3是本发明实施例三提供的一种虚拟现实中内容交互的装置的结构示意图；

图4是本发明实施例四提供的一种虚拟现实中内容交互的装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体附图对本发明的实现进行详细的描述。

实施例一：

图1是本发明实施例一提供的一种虚拟现实中内容交互的方法的流程图，具体包括步骤S101至S103，详述如下：

S101、获取脑电波信号。

脑电波(Electroencephalography，EEG)信号是大脑在进行活动时神经电流的外在表现，它记录大脑活动时的电波变化，是脑神经细胞的电生理活动在大脑皮层或头皮表面的总体反映。

具体地，通过脑波检测设备进行检测，获取脑电波信号。

脑波检测设备可以搭载在虚拟现实设备的头部固定装置中，例如固定头带中，也可以是一个独立的检测设备。

S102、解析脑电波信号，得到该脑电波信号对应的情感认知信息。

具体地，对获取到的脑电波信号进行解析，解析过程可以包括信号过滤、特征提取和算法模式识别等，经过解析后的脑电波信号被转换为对应的情感认知信息，该情感认知信息可以被虚拟现实系统识别并作出响应。

进一步地，情感认知信息可以包括情绪状态信息、注意力焦点信息和意念控制信息等。

人类在情绪波动时会诱发不同的脑电波模式，从脑电波信号中提取出对应的脑电波模式，通过对脑电波模式的解析可以识别出人的情感状态，并可以对情感状态进行分类。

人类对外界刺激的响应同样会反映在脑电波信号上，称之为事件相关电位，由于脑电波的响应通常发生在刺激发生300毫秒之后，因此事件相关电位也被称之为P300电位，当我们对脑电波进行持续观测，可以获取到脑电波P300电位的响应模式。例如，红色灯以0.5秒频率闪烁，蓝色灯以0.7秒频率闪烁，当人的注意力集中观察红色灯时，脑电波电位特征会逐步与红色灯闪烁频率重合，由此可以获知人的注意力的集中方向。因此通过对脑电波信号的解析，可以提取出当前的注意力目标。

人类在进行肢体运动控制的时候，大脑皮层的空间激活程度有所区别，以此作为特征，对脑电波信号的解析，可以提取出人的意念运动状态，并可以转换为控制信号。

S103、根据情感认知信息对虚拟环境执行对应的内容交互。

具体地，虚拟现实设备对识别出的情感认知信息做出响应，执行对虚拟环境的内容交互。

该内容交互可以是对虚拟环境的被动响应，包括但不限于根据人的意念进行对物体的操纵，例如位移和速度等控制；也可以是对虚拟环境的主动反馈，包括但不限于通过注意力焦点实现对菜单的选取等选择性的交互行为，以及根据人的情绪状态主动对虚拟环境进行颜色、声音、光线和天气等相应的改变；同时，还可以是使用同类型虚拟现实设备的人与人之间的社区交互行为，例如兴趣和情绪状态的互相传达等。

本实施例中，通过对获取的脑电波信号进行解析，得到脑电波信号对应的情感认知信息，根据情感认知信息对虚拟环境进行内容交互。一方面，实现了在无需进行肢体运动或者手动指令的前提下，直接通过脑电波信号即可完成对虚拟环境的控制，使得人对虚拟环境的控制不再局限在肢体运动或者手动指令的表达范畴内；另一方面，通过分析脑电波信号主动感知人的情感认知，使虚拟环境不再被动反馈人的控制，而是直接根据情感认知信息主动进行与人的交互反馈，同时也使得交互行为不仅局限于图像与触摸，情感状态和注意力状态等也可以作为交互手段。

实施例二：

图2是本发明实施例二提供的一种虚拟现实中内容交互的方法的流程图，具体包括步骤S201至S205，详述如下：

S201、获取脑电波信号。

脑电波(Electroencephalography，EEG)信号是大脑在进行活动时神经电流的外在表现，它记录大脑活动时的电波变化，是脑神经细胞的电生理活动在大脑皮层或头皮表面的总体反映。

具体地，通过脑波检测设备进行检测，获取脑电波信号。

脑波检测设备可以搭载在虚拟现实设备的头部固定装置中，例如固定头带中，也可以是一个独立的检测设备。

S202、对脑电波信号进行过滤处理，得到过滤掉干扰信号后的稳定信号。

过滤处理的目的是除去脑电波信号中的杂波和干扰，获得相对清晰和纯净的稳定信号。

具体地，过滤处理包括但不限于以下几种处理手段，其可以是其中一种处理手段，也可以是多种手段的组合：

通过时间叠加去除随机干扰信号；

通过主成分分析放大主要脑电波信号，过滤其他干扰信号；

通过低通滤波、高通滤波和带通滤波放大某一个单独频段的脑电波信号，过滤其中无关的部分；

通过工频陷波去除较强频段，例如50Hz-60Hz频段的工频信号干扰。

S203、从稳定信号中提取出能够标识情感认知信息的脑电波特征。

脑电波信号的特征提取包括但不限于以下几种方式，可以使用其中一种方式，也可以是多种方式的组合使用：

通过傅里叶变换将时域信号转换为频域信号，用于对脑电波能量的分析；

通过小波变换实现与傅里叶变换相同的功能，但小波变换的低频区域计算精度比傅里叶变换更高，可用于提取精细的低频特征；

通过希尔伯特变换获取脑电波信号的变化特征；

通过共同空间模式(Common Spatial Pattern，CSP)空间滤波放大不同脑电波信号区间的差异，实现对脑电波信号的细微差别的识别和分类。

具体地，通过特征提取从稳定信号中提取出脑电波特征，该脑电波特征携带具体的情感认知信息的特征，能够标识出对应的情感认知信息。

进一步地，情感认知信息可以包括情绪状态信息、注意力焦点信息和意念控制信息等。

S204、使用特征模型对脑电波特征进行分析，得到该脑电波特征对应的情感认知信息，特征模型为情感认知信息与脑电波特征的对应模型。

特征模型是使用对脑电波信号进行分析后提取出的脑电波特征，通过模式识别算法建立的情感认知信息与脑电波特征的对应模型。模式识别算法包括但不限于神经网络分析(Neural Network Analysis，ANN)、支持向量机(Support Vector Machine，SVM)、线性回归、逻辑回归以及相似聚类等。这些算法可以单独使用，也可以同时使用或者先后使用，以加强算法的识别速度和识别准确率。

具体地，使用该特征模型对步骤S203提取出的脑电波特征进行分析，进一步地，可以采用有监督的学习过程和/或无监督的学习过程对脑电波特征进行模型分析，得到脑电波特征对应的情感认知信息。其中，有监督的学习过程是指基于预定规则和脑电波种类的模型分析过程，采用有监督的学习过程，需要特征模型预先收集一定数量的已知脑电波特征，例如预先收集一百个人在心情愉快状态下的脑电波特征，并进行模式匹配，建立脑电波特征和情感认知信息的分类匹配规则。当使用特征模型对脑电波特征进行分析时，根据特征模型所建立的规则，对脑电波特征进行分析并根据规则进行分类，得到该脑电波特征对应的情感认知信息；无监督的学习过程是指基于脑电波状态的相似度比对归纳过程，采用无监督的学习过程不需要特征模型预先建立分类规则，而是通过对比待分析的脑电波特征的相似度，并进行自动归类，由于是自动聚类，因此对聚类后的脑电波特征的判断标准进行进一步分析，进而从待分析的脑电波特征中获取有价值的的情感认知信息。

需要说明的是，由于特征模型具有自适应能力，会随着特征模型中脑电波特征与情感认知信息的对应率不断增加而不断完善，因此，使用特征模型对脑电波特征进行分析时，对脑电波特征的识别效率和准确率也会不断提高。特别地，当采用大数据对特征模型中的对应率进行积累后，使用特征模型对脑电波特征的分析结果会越来越准确。

S205、根据情感认知信息对虚拟环境执行对应的内容交互。

具体地，虚拟现实设备对步骤S204分析得到的情感认知信息做出响应，执行对虚拟环境的内容交互，通过内容交互实现对虚拟环境的被动响应和主动反馈。

进一步地，该内容交互可以包括根据情绪状态信息和注意力焦点信息对虚拟环境进行内容调节，以及根据意念控制信息对虚拟环境的物体进行控制。

其中，根据情绪状态信息和注意力焦点信息对虚拟环境的内容调节属于对虚拟环境的主动反馈，例如通过注意力焦点进行菜单交互，或者识别用户感兴趣的物品进行后台的大数据分析，包括数据挖掘与心理分析等，或者根据人的情绪状态调整虚拟环境的天气状况、环境氛围和提供音乐等手段调解人的情绪，使人更加放松舒适或更加清醒机敏等；根据意念控制信息对虚拟环境的物体进行控制属于对虚拟环境的被动响应，使得在无需进行肢体运动的前提下，通过感知人的意念实现对虚拟环境的控制，例如控制虚拟环境中虚拟实体或交通工具的速度和方向等。

进一步地，内容交互还可以是使用同类型虚拟现实设备的人与人之间的社区交互行为，例如兴趣和情绪状态的互相传达等，使得人与人的交互行为不仅局限于图像与触摸，情感状态和注意力状态等也可以作为交互手段。

进一步地，通过对收集到的脑电波数据进行大数据挖掘，对人的性格和兴趣等进行大数据预测，能够使反馈交互行为更加精准和多样。

本实施例中，通过对获取的脑电波信号进行过滤处理和脑电波特征提取，并使用特征模型对脑电波特征进行分析，得到该脑电波特征对应的情感认知信息，根据情感认知信息对虚拟环境进行内容交互，实现对虚拟环境的被动响应和主动反馈。一方面，根据意念控制信息对虚拟环境的物体进行控制，实现了在无需进行肢体运动的前提下，通过感知人的意念实现对虚拟环境的控制，使得人对虚拟环境的控制不再局限在肢体运动或者手动指令的表达范畴内；另一方面，根据情绪状态信息和注意力焦点信息对虚拟环境进行内容调节，使得虚拟环境不再局限于被动响应人的控制，而是通过感知人的情绪状态和注意力焦点，主动进行与人的交互反馈，同时也使得交互行为不仅局限于图像与触摸，情感状态和注意力状态等也可以作为交互手段。

实施例三：

图3是本发明实施例三提供的一种虚拟现实中内容交互的装置的结构示意图，为了便于说明，仅示出了与本发明实施例相关的部分。图3示例的一种虚拟现实中内容交互的装置可以是前述实施例一提供的一种虚拟现实中内容交互的方法的执行主体。图3示例的一种虚拟现实中内容交互的装置主要包括：获取模块31、解析模块32和交互模块33。各功能模块详细说明如下：

获取模块31，用于获取脑电波信号；

解析模块32，用于解析脑电波信号，得到该脑电波信号对应的情感认知信息；

交互模块33，用于根据情感认知信息对虚拟环境执行对应的内容交互。

本实施例提供的一种虚拟现实中内容交互的装置中各模块实现各自功能的过程，具体可参考前述图1所示实施例的描述，此处不再赘述。

从上述图3示例的一种虚拟现实中内容交互的装置可知，本实施例中，通过对获取的脑电波信号进行解析，得到脑电波信号对应的情感认知信息，根据情感认知信息对虚拟环境进行内容交互。一方面，实现了在无需进行肢体运动或者手动指令的前提下，直接通过脑电波信号即可完成对虚拟环境的控制，使得人对虚拟环境的控制不再局限在肢体运动或者手动指令的表达范畴内；另一方面，通过分析脑电波信号主动感知人的情感认知，使虚拟环境不再被动反馈人的控制，而是直接根据情感认知信息主动进行与人的交互反馈，同时也使得交互行为不仅局限于图像与触摸，情感状态和注意力状态等也可以作为交互手段。

实施例四：

图4是本发明实施例四提供的一种虚拟现实中内容交互的装置的结构示意图，为了便于说明，仅示出了与本发明实施例相关的部分。图4示例的一种虚拟现实中内容交互的装置可以是前述实施例二提供的一种虚拟现实中内容交互的方法的执行主体。图4示例的一种虚拟现实中内容交互的装置主要包括：获取模块41、解析模块42和交互模块43。各功能模块详细说明如下：

获取模块41，用于获取脑电波信号；

解析模块42，用于解析脑电波信号，得到该脑电波信号对应的情感认知信息；

交互模块43，用于根据情感认知信息对虚拟环境执行对应的内容交互。

进一步地，情感认知信息包括情绪状态信息、注意力焦点信息和意念控制信息。

进一步地，解析模块42包括：

过滤子模块421，用于对脑电波信号进行过滤处理，得到过滤掉干扰信号后的稳定信号；

提取子模块422，用于从稳定信号中提取出能够标识情感认知信息的脑电波特征；

匹配子模块423，用于将脑电波特征与特征模型进行匹配，得到脑电波特征对应的情感认知信息，特征模型为已知情感认知信息对应的预定数量的脑电波特征。

进一步地，匹配子模块423，还用于：

通过有监督的学习过程和/或无监督的学习过程将脑电波特征与特征模型进行匹配，有监督的学习过程为基于预定规则和脑电波种类的模型分析过程，无监督的学习过程为基于脑电波状态的相似度比对归纳过程。

进一步地，交互模块43包括：

调节子模块431，用于根据情绪状态信息和注意力焦点信息对虚拟环境进行内容调节；

控制子模块432，用于根据意念控制信息对虚拟环境的物体进行控制。

本实施例提供的一种虚拟现实中内容交互的装置中各模块实现各自功能的过程，具体可参考前述图2所示实施例的描述，此处不再赘述。

从上述图4示例的一种虚拟现实中内容交互的装置可知，本实施例中，通过对获取的脑电波信号进行过滤处理和脑电波特征提取，并使用特征模型对脑电波特征进行分析，得到该脑电波特征对应的情感认知信息，根据情感认知信息对虚拟环境进行内容交互，实现对虚拟环境的被动响应和主动反馈。一方面，根据意念控制信息对虚拟环境的物体进行控制，实现了在无需进行肢体运动的前提下，通过感知人的意念实现对虚拟环境的控制，使得人对虚拟环境的控制不再局限在肢体运动或者手动指令的表达范畴内；另一方面，根据情绪状态信息和注意力焦点信息对虚拟环境进行内容调节，使得虚拟环境不再局限于被动响应人的控制，而是通过感知人的情绪状态和注意力焦点，主动进行与人的交互反馈，同时也使得交互行为不仅局限于图像与触摸，情感状态和注意力状态等也可以作为交互手段。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每一个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同或者相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

值得注意的是，上述装置实施例中，所包括的各个模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

本领域普通技术人员可以理解，实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘或光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种虚拟现实中内容交互的方法，其特征在于，包括：

获取脑电波信号；

解析所述脑电波信号，得到所述脑电波信号对应的情感认知信息；

根据所述情感认知信息对虚拟环境执行对应的内容交互。

2.根据权利要求1所述的虚拟现实中内容交互的方法，其特征在于，所述情感认知信息包括情绪状态信息、注意力焦点信息和意念控制信息。

3.根据权利要求1或2所述的虚拟现实中内容交互的方法，其特征在于，所述解析所述脑电波信号，得到所述脑电波特征对应的情感认知信息包括：

对所述脑电波信号进行过滤处理，得到过滤掉干扰信号后的稳定信号；

从所述稳定信号中提取出能够标识情感认知信息的脑电波特征；

使用特征模型对所述脑电波特征进行分析，得到所述脑电波特征对应的情感认知信息，所述特征模型为所述情感认知信息与脑电波特征的对应模型。

4.根据权利要求3所述的虚拟现实中内容交互的方法，其特征在于，所述使用特征模型对所述脑电波特征进行分析包括：

通过有监督的学习过程和/或无监督的学习过程，对所述脑电波特征进行模型分析，所述有监督的学习过程为基于预定规则和脑电波种类的模型分析过程，所述无监督的学习过程为基于脑电波状态的相似度比对归纳过程。

5.根据权利要求2所述的虚拟现实中内容交互的方法，其特征在于，所述根据所述情感认知信息对虚拟环境执行对应的内容交互包括：

根据所述情绪状态信息和所述注意力焦点信息对所述虚拟环境进行内容调节；

根据所述意念控制信息对所述虚拟环境的物体进行控制。

6.一种虚拟现实中内容交互的装置，其特征在于，包括：

获取模块，用于获取脑电波信号；

解析模块，用于解析所述脑电波信号，得到所述脑电波信号对应的情感认知信息；

交互模块，用于根据所述情感认知信息对虚拟环境执行对应的内容交互。

7.根据权利要求6所述的虚拟现实中内容交互的装置，其特征在于，所述情感认知信息包括情绪状态信息、注意力焦点信息和意念控制信息。

8.根据权利要求6或7所述的虚拟现实中内容交互的装置，其特征在于，所述解析模块包括：

信号过滤子模块，用于对所述脑电波信号进行过滤处理，得到过滤掉干扰信号后的稳定信号；

特征提取子模块，用于从所述稳定信号中提取出能够标识情感认知信息的脑电波特征；

模型分析子模块，用于使用特征模型对所述脑电波特征进行分析，得到所述脑电波特征对应的情感认知信息，所述特征模型为所述情感认知信息与脑电波特征的对应模型。

9.根据权利要求8所述的虚拟现实中内容交互的装置，其特征在于，所述匹配子模块，还用于：

通过有监督的学习过程和/或无监督的学习过程，对所述脑电波特征进行模型分析，所述有监督的学习过程为基于预定规则和脑电波种类的模型分析过程，所述无监督的学习过程为基于脑电波状态的相似度比对归纳过程。

10.根据权利要求7所述的虚拟现实中内容交互的装置，其特征在于，所述交互模块包括：

调节子模块，用于根据所述情绪状态信息和所述注意力焦点信息对所述虚拟环境进行内容调节；

控制子模块，用于根据所述意念控制信息对所述虚拟环境的物体进行控制。