[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111095170B - 虚拟现实场景及其交互方法、终端设备 - Google Patents

虚拟现实场景及其交互方法、终端设备 Download PDF

Info

Publication number
CN111095170B
CN111095170B CN201980003474.2A CN201980003474A CN111095170B CN 111095170 B CN111095170 B CN 111095170B CN 201980003474 A CN201980003474 A CN 201980003474A CN 111095170 B CN111095170 B CN 111095170B
Authority
CN
China
Prior art keywords
node
information
semantic
environment
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980003474.2A
Other languages
English (en)
Other versions
CN111095170A (zh
Inventor
徐守祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Information Technology
Original Assignee
Shenzhen Institute of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Information Technology filed Critical Shenzhen Institute of Information Technology
Publication of CN111095170A publication Critical patent/CN111095170A/zh
Application granted granted Critical
Publication of CN111095170B publication Critical patent/CN111095170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种虚拟现实场景及其交互方法、终端设备，其中，该虚拟现实场景包括虚拟环境智能体、虚拟角色智能体及语义路径处理单元；语义路径处理单元，用于构建语义路径，该语义路径为绘制在所述虚拟环境智能体的几何图形上的由节点和所述节点之间的有向连接组成的轨迹，节点的信息至少包括节点位置信息、节点行为语义信息及节点环境语义信息；虚拟角色智能体，用于获取语义路径，根据自身任务及所述语义路径进行移动及执行目标动作；虚拟环境智能体，用于根据虚拟角色智能体在语义路径的节点的目标动作的信息得到动作结果信息，并指示语义路径处理单元更新语义路径的节点环境语义信息。本申请实施例能够有效地实现虚拟现实场景中的交互。

Description

虚拟现实场景及其交互方法、终端设备
技术领域
本申请属于虚拟现实技术领域，尤其涉及一种虚拟现实场景及其交互方法、终端设备。
背景技术
现有的虚拟现实场景通常由虚拟角色和虚拟环境组成。虚拟角色指的是通过虚拟现实技术模拟生成的具有人类形象、动物形象或者人为设计的虚幻形象(例如飞龙)的三维模型，它能够模拟人类或者动物的感知及行为方式。正如现实生活中人类和动物需要自身生存环境一样，虚拟角色同样需要其生存环境，而虚拟环境就是虚拟角色的生存环境。通过虚拟角色和虚拟环境的配合呈现，共同构成了具有真实感和沉浸感的虚拟现实场景。
发明内容
有鉴于此，本申请实施例提供了一种虚拟现实场景及其交互方法、终端设备，以解决现有技术中如何方便、有效地实现虚拟现实场景中虚拟角色和虚拟环境的交互的问题。
本申请第一方面提供一种虚拟现实场景，所述虚拟现实场景包括虚拟环境智能体、虚拟角色智能体及语义路径处理单元；
所述语义路径处理单元，用于构建语义路径，所述语义路径为绘制在所述虚拟环境智能体的几何图形上的由节点和所述节点之间的有向连接组成的轨迹，所述节点的信息至少包括节点位置信息、节点行为语义信息及节点环境语义信息；
所述虚拟角色智能体，用于获取所述语义路径，根据自身任务及所述语义路径进行移动，当所述虚拟角色智能体的位置信息与所述语义路径的节点的节点位置信息一致时，根据所述节点的节点行为语义信息及节点环境语义信息，执行目标动作；
所述虚拟环境智能体，用于获取所述虚拟角色智能体在所述语义路径的节点的目标动作的信息，并根据所述目标动作的信息及所述节点的节点环境语义信息，得到动作结果信息；指示所述语义路径处理单元根据所述动作结果信息更新所述语义路径的节点的节点环境语义信息。
本申请第二方面提供一种虚拟现实场景交互方法，所述方法应用于语义路径处理单元，包括：
接收用户指令，构建语义路径，所述语义路径为绘制在虚拟环境智能体的几何图形上的由节点和所述节点之间的有向连接组成的轨迹，所述节点的信息至少包括节点位置信息、节点行为语义信息及节点环境语义信息；
获取虚拟环境智能体的动作结果信息，根据所述动作结果信息更新所述语义路径的节点的节点环境语义信息。
本申请第三方面提供一种虚拟现实场景交互方法，所述方法应用于虚拟角色智能体，包括：
获取语义路径，所述语义路径为绘制在虚拟环境智能体的几何图形上的由节点和所述节点之间的有向连接组成的轨迹，所述节点的信息至少包括节点位置信息、节点行为语义信息及节点环境语义信息；
根据自身的任务及所述语义路径进行移动；
当所述虚拟角色智能体的位置信息与所述语义路径的节点的节点位置信息一致时，根据所述节点的节点行为语义信息及节点环境语义信息，执行目标动作。
本申请第四方面提供一种虚拟现实场景交互方法，所述方法应用于虚拟环境智能体，包括：
获取虚拟角色智能体在语义路径的节点的目标动作的信息，所述语义路径为绘制在所述虚拟环境智能体的几何图形上的由节点和所述节点之间的有向连接组成的轨迹，所述节点的信息至少包括节点位置信息、节点行为语义信息及节点环境语义信息；
根据所述目标动作的信息及所述节点的节点环境语义信息，得到动作结果信息；
指示语义路径处理单元根据所述动作结果信息更新所述语义路径的节点的节点环境语义信息。
本申请第五方面提供一种语义路径处理单元，包括：
指令接收模块，用于接收用户指令，构建语义路径，所述语义路径为绘制在虚拟环境智能体的几何图形上的由节点和所述节点之间的有向连接组成的轨迹，所述节点的信息至少包括节点位置信息、节点行为语义信息及节点环境语义信息；
节点环境语义信息更新模块，用于获取虚拟环境智能体的动作结果信息，根据所述动作结果信息更新所述语义路径的节点的节点环境语义信息。
本申请第六方面提供一种虚拟角色智能体，包括：
语义路径获取模块，用于获取语义路径，所述语义路径为绘制在虚拟环境智能体的几何图形上的由节点和所述节点之间的有向连接组成的轨迹，所述节点的信息至少包括节点位置信息、节点行为语义信息及节点环境语义信息；
移动模块，用于根据自身的任务及所述语义路径进行移动；
目标动作执行模块，用于当所述虚拟角色智能体的位置信息与所述语义路径的节点的节点位置信息一致时，根据所述节点的节点行为语义信息及节点环境语义信息，执行目标动作。
本申请第七方面提供一种虚拟环境智能体，包括：
目标动作的信息获取模块，用于获取虚拟角色智能体在语义路径的节点的目标动作的信息，所述语义路径为绘制在所述虚拟环境智能体的几何图形上的由节点和所述节点之间的有向连接组成的轨迹，所述节点的信息至少包括节点位置信息、节点行为语义信息及节点环境语义信息；
动作结果信息获取模块，用于根据所述目标动作的信息及所述节点的节点环境语义信息，得到动作结果信息；
指示更新模块，用于指示所述语义路径处理单元根据所述动作结果信息更新所述语义路径的节点的节点环境语义信息。
本申请第八方面提供一种终端设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现上述第二方面至第四方面中的任意一种虚拟现实场景交互方法。
本申请第九方面提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，上述计算机程序被处理器执行时实现上述第二方面至第四方面中的任意一种虚拟现实场景交互方法。
本申请第十方面提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第二方面至第四方面中的任意一种虚拟现实场景交互方法。
本申请实施例中，在虚拟现实场景中包括虚拟环境智能体、虚拟角色智能体以及语义路径处理单元，构建了绘制在虚拟环境智能体的几何图形上的由节点和有向连接组成的语义路径，且该语义路径的节点包括节点位置信息、节点行为语义信息及节点环境语义信息。由于该语义路径既能够指导虚拟角色智能体的移动，还能够向虚拟角色智能体传达节点行为语义信息和节点环境语义信息以指导虚拟角色智能体执行目标动作，同时又能够及时获取目标动作对虚拟环境智能体作用产生的动作结果信息，更新语义节点环境语义信息以便虚拟角色智能体进行下一次目标动作的执行决策，即语义路径处理单元构建的语义路径能够作为虚拟角色智能体和虚拟环境智能体的媒介，既能指导虚拟角色智能体的行为决策又能够记录虚拟环境智能体的变化，因此通过该语义路径即能够方便、有效地实现虚拟现实场景中虚拟角色和虚拟环境的交互。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的一种虚拟现实场景的结构示意图；
图2为本申请提供的一种虚拟现实场景的画面示意图；
图3为本申请提供的第一种虚拟现实场景方法的实现流程示意图；
图4-6分别为本申请提供的三种语义路径的示意图；
图7为本申请提供的第二种虚拟现实场景方法的实现流程示意图；
图8为本申请提供的第三种虚拟现实场景方法的实现流程示意图；
图9为本申请提供的一种语义路径处理单元的组成示意图；
图10为本申请提供的一种虚拟角色智能体的组成示意图；
图11为本申请提供的一种虚拟环境智能体的组成示意图；
图12为本申请提供的一种终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例一：
如图1所示为本申请实施例提供的一种虚拟现实场景的结构示意图，其中该虚拟现实场景由虚拟环境智能体11、虚拟角色智能体12及语义路径处理单元13组成，语义路径处理单元13用于构建语义路径131，该语义路径为绘制在所述虚拟环境智能体的几何图形上的由节点和所述节点之间的有向连接组成的轨迹，所述节点的信息至少包括节点位置信息、节点行为语义信息及节点环境语义信息。
在以往的虚拟现实场景中，虚拟角色和虚拟环境为两个分开独立的单元，虽然图形上可以看到虚拟角色和虚拟环境共同处在同一场景画面中，但是虚拟角色的行为实际并没有和其所处的虚拟环境进行交互，需要分别对两个单元进行复杂的程序构建、组合才可能实现看似有交互的配合功能，即现有的虚拟现实场景中，虚拟角色和虚拟环境难以进行方便有效的交互，且虚拟角色也难以根据虚拟环境的具体状态信息进行行为决策。而本申请实施例中，虚拟角色和虚拟环境均为具有三维的几何图形又能够识别、转换语义信息的智能体，分别称为虚拟角色智能体和虚拟环境智能体，通过绘制在虚拟环境智能体的几何图形上的语义路径的节点位置信息、节点行为语义信息及节点环境语义信息，指导虚拟角色智能体在虚拟环境智能体上行走、执行目标动作、并记录该虚拟角色智能体的动作对虚拟环境智能体的影响，即通过语义路径作为虚拟角色智能体和虚拟环境智能体的媒介，方便有效地实现虚拟角色和虚拟环境的交互。
具体来说，本申请实施例的语义路径具有以下三种功能：一是路径本身的功能，解决虚拟角色智能体路由规划的问题；二是序列化虚拟角色智能体行为的功能，解决虚拟角色为执行某项任务的行为规划问题；三是环境语义的功能，通过路径节点给出各位置节点附近相关实体的状态及其变化信息，解决虚拟角色智能体对所处虚拟环境智能体的感知问题。
具体地，所述语义路径处理单元，用于构建语义路径，所述语义路径为绘制在所述虚拟环境智能体的几何图形上的由节点和所述节点之间的有向连接组成的轨迹，所述节点的信息至少包括节点位置信息、节点行为语义信息及节点环境语义信息。
如图2所示为一种虚拟现实场景的画面示意图，该虚拟现实场景的画面由虚拟环境智能体、在虚拟环境智能体上活动的虚拟角色智能体以及绘制在虚拟环境智能体的几何图形上的语义路径组成，该语义路径由语义路径处理单元构建。具体地，该语义路径由节点和节点之间的有向连接组成，其中节点的信息至少包括节点的节点位置信息、节点行为语义信息和节点环境语义信息，该有向连接构成每个节点可出发和进入的方向与距离的信息。具体地，节点的位置信息记录该节点在虚拟环境智能体上的坐标信息；节点行为语义信息记录虚拟角色智能体行走到该节点时需对应完成的行为，可以用对应的行为标识号表示，例如用behaviorState＝28表示此处需要开门或关门的行为；节点环境语义信息实时记录该节点所在位置的虚拟环境智能体的状态信息，可以用对应的状态标识号表示，例如用environmentState＝29表示该节点附近的一个房门为关闭状态。
具体地，所述虚拟角色智能体，用于获取所述语义路径，根据自身任务及所述语义路径进行移动，当所述虚拟角色智能体的位置信息与所述语义路径的节点的节点位置信息一致时，根据所述节点的节点行为语义信息及节点环境语义信息，执行目标动作。
虚拟角色智能体为具有角色外形几何图形信息(例如模拟人图形、动物图形等)且能够根据语义路径的信息及自身的任务自主进行路径规划、行为决策的智能体。虚拟角色智能体获取绘制于虚拟环境智能体上的语义路径，根据自身任务确定所要到达的目标位置，并根据该语义路径进行路径规划，确定到达该目标位置需经过语义路径的目标轨迹，该目标轨迹可以为语义路径的一整条完整轨迹，或者为语义路径中的一部分轨迹。虚拟角色根据规划好的该目标轨迹在语义路径上移动，当虚拟角色智能体检测到自身的位置信息和语义路径的一个节点的节点位置信息一致时，则获取该节点的节点行为语义信息和节点环境语义信息，并根据该节点行为语义信息和节点环境语义信息执行目标动作。例如，当虚拟角色智能体检测到自身的位置信息和语义路径的节点A的节点位置信息一致时，则获取节点A的节点行为语义信息“behaviorState＝28”(表示此处需要开门或关门的行为)和节点环境语义信息“environmentState＝29”(表示该节点附近的一个房门为关闭状态)，并根据该节点行为语义信息和节点环境语义信息确定在节点A需执行的目标动作为开门动作。具体地，虚拟角色智能体执行目标动作后，向虚拟环境智能体发送标识目标动作的信息，该目标动作的信息可以为标识该目标动作的标识号。
具体地，所述虚拟环境智能体，用于获取所述虚拟角色智能体在所述语义路径的节点的目标动作的信息，并根据所述目标动作的信息及所述节点的节点环境语义信息，得到动作结果信息；指示所述语义路径处理单元根据所述动作结果信息更新所述语义路径的节点的节点环境语义信息。
虚拟环境智能体为具有三维模拟环境几何图形信息、且能够感知周围事物并通过执行器作用于周围事物的智能体。虚拟环境智能体获取虚拟角色智能体传达的目标动作的信息及虚拟角色智能体当前所在的节点的节点环境语义信息，通过虚拟环境智能体自身的状态转换公理(即预设的状态转换映射关系，可以为状态转换映射表)，得到该目标动作作用在该虚拟环境智能体后，虚拟环境智能体中与该节点对应的位置的环境状态变化信息，将该信息称为动作结果信息。例如，虚拟角色智能体在节点行为语义信息为“behaviorState＝28”(表示此处需要开门或关门的行为)、节点环境语义信息为“environmentState＝29”(表示该节点附近的一个房门为关闭状态)的节点A处执行了开门动作(动作标识号可为Action_OpenDoor)；虚拟环境智能体获取了该节点的节点环境语义信息“environmentState＝29”和动作标识号“Action_OpenDoor”，通过查询预设的状态转换映射关系，得到开门动作后对应的动作结果信息为房门已打开，根据该动作结果信息更新语义路径上该节点的环境语义信息，即将原来的“environmentState＝29”变更为“environmentState＝30”(表示该节点附近的一个房门为打开状态)。
为了便于理解，作为示例而非限定，以下提供一种虚拟现实场景具体为警卫巡逻场景的应用示例：
该警卫巡逻场景的虚拟环境智能体具体为指定巡逻区域环境，虚拟角色智能体具体为警卫角色，语义路径处理单元构建的语义路径具体为巡逻语义路径。该巡逻语义路径预先绘制在指定巡逻区域环境上，由巡逻节点和巡逻节点之间的有向连接组成，并且该巡逻节点根据其在指定巡逻区域环境的具体位置提前设置了节点位置信息、节点行为语义信息和节点环境语义信息。
其中，节点行为语义信息可以用变量behaviorState存储，behaviorState＝28表示此处需要开门或关门的行为；behaviorState＝29表示此处需要检查窗子的行为；behaviorState＝30表示此处需要根据现场的火情执行火情的紧急处理行为等。
节点环境语义信息可以用变量environmentState存储，environmentState＝29表示该节点附近的一个房门为关闭状态，environmentState＝30表示该节点附近的一个房门为打开状态；environmentState＝31表示该节点附近的一个窗子已经处于破损状态，environmentState＝32表示该节点附近的破损窗子已经修复；environmentState＝33表示该节点附近已经处于火情状态，environmentState＝34表示该节点附近火情已经被处置等。
警卫角色根据语义路径进行路径规划，在语义路径上移动。当警卫角色到达节点行为语义信息为“behaviorState＝28”、节点环境语义信息为“environmentState＝29”的节点A时，警卫角色执行开门动作，指定巡逻区域环境接收该动作的信息，得到房门已打开动作结果信息，并指示巡逻语义路径对应将节点A的节点环境语义信息由“environmentState＝29”变更为“environmentState＝30”。当警卫角色到达节点行为语义信息为“behaviorState＝29”、节点环境语义信息为“environmentState＝31”的节点B时，警卫角色执行窗子修复动作，指定巡逻区域环境接收该动作的信息，得到窗子已修复的动作结果信息，并指示巡逻语义路径对应将节点B的节点环境语义信息由“environmentState＝31”变更为“environmentState＝32”。当警卫角色到达节点行为语义信息为“behaviorState＝30”、节点环境语义信息为“environmentState＝33”的节点C时，警卫角色执行火情处置动作，指定巡逻区域环境接收该动作的信息，得到火情已处置的动作结果信息，并指示巡逻语义路径对应将节点C的节点环境语义信息由“environmentState＝33”变更为“environmentState＝34”。
可以理解地，本申请实施例中的语义路径不仅限于绘制于虚拟环境智能体的陆地图形上的路径，当虚拟环境智能体包含水域图形或者天空图形时，该语义路径也可以为绘制于水域图形上的轨迹或者绘制于天空图形的轨迹。例如，作为一种示例，本申请实施例的虚拟现实场景可以为飞龙活动的超现实场景，该场景的虚拟角色智能体为虚幻形象——飞龙；该场景的虚拟环境智能体的几何图形具体包括江、海等水域图形以及天空图形；语义路径处理单元在江、海等水域图形和天空图形上绘制由节点和节点之间的有向连接组成的轨迹作为语义路径，并在每个节点上设置对应的飞龙需执行的行为的节点行为语义信息、以及每个节点对应的节点环境语义信息；该飞龙可以根据该绘制在虚拟环境智能体的江、海等水域图形或者绘制在虚拟环境智能体的天空图形上的语义路径进行行为决策，实现飞龙的翻江倒海、或者在空中飞行穿梭的超现实场景。
本申请实施例中，在虚拟现实场景中包括虚拟环境智能体、虚拟角色智能体以及语义路径处理单元，构建了绘制在虚拟环境智能体上的由节点和节点之间的有向连接组成的语义路径且该语义路径的节点包括节点位置信息、节点行为语义信息及节点环境语义信息。由于该语义路径既能够指导虚拟角色智能体的移动，还能够向虚拟角色智能体传达节点行为语义信息和节点环境语义信息以指导虚拟角色智能体执行目标动作，同时又能够及时获取目标动作对虚拟环境智能体作用产生的动作结果信息，更新语义节点环境语义信息以便虚拟角色智能体进行下一次目标动作的执行决策，即语义路径处理单元构建的语义路径能够作为虚拟角色智能体和虚拟环境智能体的媒介，既能指导虚拟角色智能体的行为决策又能够记录虚拟环境智能体的变化，因此通过该语义路径即能够方便、有效地实现虚拟现实场景中虚拟角色和虚拟环境的交互。
实施例二：
图3示出了本申请实施例提供的第一种虚拟现实场景交互方法的流程示意图，本申请实施例的执行主体为语义路径处理单元，详述如下：
在S301中，接收用户指令，构建语义路径，所述语义路径为绘制在虚拟环境智能体的几何图形上的由节点和所述节点之间的有向连接组成的轨迹，所述节点的信息至少包括节点位置信息、节点行为语义信息及节点环境语义信息。
接收用户在虚拟现实场景的画面上的点击指令或者触摸指令，构建语义路径。该语义路径由节点和节点之间的有向连接组成，其中节点的信息至少包括节点的节点位置信息、节点行为语义信息和节点环境语义信息，该有向连接构成每个节点可出发和进入的方向与距离的信息。具体地，节点的位置信息记录该节点在虚拟环境智能体上的坐标信息；节点行为语义信息记录虚拟角色智能体行走到该节点时需对应完成的行为，可以用对应的行为标识号表示；节点环境语义信息实时记录该节点所在位置的虚拟环境智能体的状态信息，可以用对应的状态标识号表示。
可选地，所述步骤S301包括：
S30101：接收绘制指令，在所述虚拟环境智能体的几何图形上绘制语义路径的节点和所述节点之间的有向连接。
S30102：接收行为语义信息选择指令，为所述语义路径的节点添加节点行为语义信息。
S30103：接收环境语义选择指令，为所述语义路径的节点添加初始的节点环境语义信息。
在S30101中，接收绘制指令，具体地，接收用户在虚拟环境智能体的几何图形上的节点选择指令(即在虚拟环境智能体上点击选择若干个指定的位置作为语义路径的节点)以及接收用户连接已选择的节点的滑动指令，从而在虚拟环境智能体的几何图形上完成节点和节点之间的有向连接的绘制，即完成语义路径的轨迹绘制。具体地该有向连接可以为双向连接，例如在语义路径的节点A和节点B之间的有向连接可以同时拥有A→B和B→A两个方向供虚拟角色智能体进行移动决策。可选地，该语义路径可以为如图4所示的环形语义路径，也可以为如图5所示的非环形语义路径。可选地，该语义路径还可以为由多个环形语义子路径和/或非环形语义子路径组成的复合路径，如图6所示。
在S30102中，接收用户在已绘制的语义路径的节点上的行为语义信息选择指令，分别为语义路径的每个节点添加节点行为语义信息。
在S30103中，接收用户在已绘制的语义路径的节点上的环境语义信息选择指令，分别为语义路径的每个节点添加初始的节点环境语义信息。
本申请实施例中，由于语义路径处理单元只需简单地接收用户的指令就可在虚拟环境智能体上完成语义路径的构建，而无需复杂的程序编程，因此可以使语义路径的构建更加便捷灵活，降低虚拟现实场景构建的开发难度。
可选地，所述节点的信息还包括节点通行状态信息，对应地，所述步骤S301还包括：
S30104:接收节点通行状态选择指令，为所述语义路径的节点添加节点通行状态信息，其中所述节点通行状态信息包括用于标识所述节点为路径转换节点的第一标识信息、用于标识所述节点为暂停使用节点的第二标识信息。
本申请实施例中，语义路径上的每个节点的信息还包括节点通行状态信息，用于标识该节点能否通行以及该节点是否为符合路径的转换节点。具体地，该节点通行状态信息包括用于标识该节点为路径转换节点的第一标识信息，用于标识该节点为暂停使用节点的第二标识信息。该节点通信状态信息可以用一个变量“nodeState”进行存储，例如，如图6所示，节点Ij为一个路径转换节点，则为该节点Ij添加第一标识信息以标识该节点为路径转换节点，该第一标识信息可以为“nodeState＝3”，并且该节点Ij的信息还包括所有可供选择的下一节点的位置信息(例如I5和J5的位置信息)；设图6中的K1为一个不允许虚拟角色智能体通过的暂停使用节点，则为该节点K1添加第二标识信息，例如令“nodeState＝4”，表示该节点是一个暂停使用节点，说明不能使用该节点作为通行点。若节点即不是路径转换节点又不是暂停使用的节点，则可以直接将节点通行状态信息默认设置为“nodeState＝0”。本申请实施例中，由于节点的信息还包括了节点通信状态信息，能够更准确地指导虚拟角色智能体进行路径规划。
在S302中，获取虚拟环境智能体的动作结果信息，根据所述动作结果信息更新所述语义路径的节点的节点环境语义信息。
当虚拟角色智能体在目标节点上执行目标动作使得虚拟环境智能体的状态发生变化时，即虚拟环境智能体生成动作结果信息时，语义路径处理单元及时获取该动作结果信息，并根据该动作结果信息更新目标节点的节点环境语义信息。例如，节点A上原来的节点环境语义信息为“environmentState＝29”(表示该节点A附近的一个房门为关闭状态)，当虚拟角色智能体在目标节点上执行开门动作后，动作结果信息为房门已打开，根据该动作结果信息更新语义路径上该节点的环境语义信息，即将原来的“environmentState＝29”变更为“environmentState＝30”(表示该节点附近的一个房门为打开状态)。
本申请实施例中，语义路径处理单元通过接收用户的指令构建了语义路径，该语义路径由节点和节点之间的有向连接组成，每个节点携带了节点位置信息、节点行为语义信息及节点环境语义信息等信息，并且节点的节点环境语义信息可以根据虚拟环境智能体的产生的动作结果信息来及时进行更新。由于该语义路径包括节点位置信息和有向连接，因此能够指导虚拟角色智能体进行路径规划和移动；由于该语义路径包括节点行为语义信息和节点环境语义信息，因此能够指导虚拟角色智能体在节点上执行目标动作；由于该语义路径的节点环境语义信息还可以根据虚拟环境智能体的产生的动作结果信息来及时进行更新，因此能够及时记录更新语义节点环境语义信息以便虚拟角色智能体进行下一次目标动作的执行决策；从而，该语义路径能有效地指导虚拟角色智能体在虚拟环境智能体上的行为，方便、有效地实现虚拟现实场景中虚拟角色和虚拟环境的交互。
实施例三：
图7示出了本申请实施例提供的第二种虚拟现实场景交互方法的流程示意图，本申请实施例的执行主体为虚拟角色智能体，该虚拟角色智能体为具有角色外形的几何图形信息(例如模拟的人形图形、动物图形等)，且能够根据语义路径的信息及自身的任务自主进行路径规划、行为决策的智能体。详述如下：
在S701中，获取语义路径，所述语义路径为绘制在虚拟环境智能体的几何图形上的由节点和所述节点之间的有向连接组成的轨迹，所述节点的信息至少包括节点位置信息、节点行为语义信息及节点环境语义信息。
虚拟角色智能体获取语义路径，该语义路径为提前绘制在虚拟环境智能体的几何图形上的由节点和节点之间的有向连接组成的轨迹，该节点的信息至少包括节点位置信息、节点行为语义信息和节点环境语义信息。其中，节点的位置信息记录该节点在虚拟环境智能体上的坐标信息；节点行为语义信息记录虚拟角色智能体行走到该节点时需对应完成的行为，可以用对应的行为标识号表示；节点环境语义信息实时记录该节点所在位置的虚拟环境智能体的状态信息，可以用对应的状态标识号表示。
可选地，虚拟角色智能体从语义路径处理单元中获取语义路径的有序的节点序列组，并且节点序列组中每个元素包括节点的序号、节点的节点位置信息、节点行为语义信息和节点环境语义信息等。可选地，虚拟角色智能体具有视觉识别功能，通过视觉从虚拟现实场景中识别获取绘制好的语义路径轨迹。
在S702中，根据自身的任务及所述语义路径进行移动。
虚拟角色智能体根据自身的任务和获取到的语义路径进行路径规划及移动。例如，设虚拟角色智能体的任务为在指定区域上进行巡逻，则该虚拟角色根据指定区域上包含的语义路径轨迹进行移动。
可选地，所述步骤S702，具体包括：
根据自身的任务、所述语义路径的节点位置信息及节点通行状态信息，进行移动。
可选地，语义路径的节点还包括节点通行状态信息，虚拟角色智能体在进行路径规划时，除了结合自身的任务、语义路径的节点位置信息，还考虑节点通行状态信息，进行移动路径的规划。例如若检测到语义路径中的节点K1的节点通行状态信息为“nodeState＝4”，则说明该节点为暂停使用节点，虚拟角色智能体在进行路径规划时要避开该节点。之后，虚拟角色智能体根据规划好的路径进行移动。
在S703中，当所述虚拟角色智能体的位置信息与所述语义路径的节点的节点位置信息一致时，根据所述节点的节点行为语义信息及节点环境语义信息，执行目标动作。
当虚拟角色智能体检测到自身的位置信息和语义路径其中的一个节点的节点位置信息一致时，说明虚拟角色智能体当前移动到该节点，此时根据该节点的节点行为语义信息和节点环境语义信息，执行目标动作。
具体地，所述步骤S703包括:
S70301:当所述虚拟角色智能体的位置信息与所述语义路径的节点的节点位置信息一致时，根据所述节点行为语义信息，确定目标行为；
当虚拟角色智能体的位置信息和语义路径的一个节点的节点位置信息一致时，获取该节点的节点行为语义信息，确定在该节点上虚拟角色智能体需完成的目标行为。例如，当虚拟角色智能体的位置信息和语义路径的节点A的节点位置信息一致时，则获取节点A的节点行为语义信息“behaviorState＝28”(表示此处需要开门或关门的行为)，确定在该节点上虚拟角色智能体需完成的目标行为为对门的操作行为。
S70302:根据所述目标行为对应的执行基及所述节点环境语义信息，确定目标动作并执行，其中所述执行基为将环境语义信息和目标动作对应存储的二元组。
在虚拟角色智能体中预先存储了每个行为的执行基，该执行基是一个将环境语义信息和目标动作对应存储的二元组(b,z)，表示目标动作b在环境语义信息为z时执行。根据目标行为获取对应的多个执行基，并根据节点环境语义信息查找当前环境语义信息对应的目标动作b。例如，设目标行为是对门的操作行为，虚拟角色智能体中预先存储了该目标行为对应的两个执行基：(开门动作，房门为关闭状态)，(关门动作，房门为开启状态)；设当前的节点环境语义信息为environmentState＝29(表示该节点附近的一个房门为关闭状态)，则虚拟角色智能体根据该节点环境语义信息查询门的操作行为的两个执行基，确定当前要执行的目标动作为开门动作。
具体地，所述执行目标动作，包括：
执行目标动画，并向虚拟环境智能体传达目标动作的信息。
虚拟角色智能体执行开门动作具体是通过让自身运行目标动画，即通过让虚拟角色智能体的几何图形信息发生指定的动态变化来显示该虚拟角色智能体执行了目标动作。例如，若目标动作为开门动作，则播放与开门动作对应存储的目标动画，通过该动画在虚拟场景画面上表现该虚拟角色智能体执行了开门动作。在执行目标动画的同时或者之后，虚拟角色智能体向虚拟环境智能体传达目标动作的信息，可以通过传达目标动作对应的动作标识号来向虚拟环境智能体传达当前该虚拟角色执行了目标动作。
本申请实施例中，虚拟角色智能体通过获取语义路径，根据该语义路径的节点位置信息进行移动，在到达每个节点时，根据语义路径上该节点的节点行为语义信息和节点环境语义信息执行目标动作，即通过语义路径方便有效地指导了虚拟角色在虚拟环境智能体上的行为决策，有效地实现虚拟现实场景中虚拟角色和虚拟环境的交互。
实施例四：
图8示出了本申请实施例提供的第三种虚拟现实场景交互方法的流程示意图，本申请实施例的执行主体为虚拟环境智能体，该虚拟环境智能体为具有三维模拟环境的几何图形信息，且能够感知周围事物并通过执行器作用于周围事物的智能体。详述如下：
在S801中，获取虚拟角色智能体在语义路径的节点的目标动作的信息，所述语义路径为绘制在所述虚拟环境智能体的几何图形上的由节点和所述节点之间的有向连接组成的轨迹，所述节点的信息至少包括节点位置信息、节点行为语义信息及节点环境语义信息。
本申请实施实施例中的语义路径为提前绘制在虚拟环境智能体的几何图形上的由节点和节点之间的有向连接组成的轨迹，该节点的信息至少包括节点位置信息、节点行为语义信息和节点环境语义信息。其中，节点的位置信息记录该节点在虚拟环境智能体上的坐标信息；节点行为语义信息记录虚拟角色智能体行走到该节点时需对应完成的行为，可以用对应的行为标识号表示；节点环境语义信息实时记录该节点所在位置的虚拟环境智能体的状态信息，可以用对应的状态标识号表示。
虚拟环境智能体获取虚拟角色智能体在语义路径的一节点上执行的目标动作的信息，该目标动作的信息可以为目标动作对应的动作标识号。例如，虚拟环境智能体获取虚拟角色智能体在节点A上的执行的开门动作的信息，该动作标识号可以为“Action_OpenDoor”。
在S802中，根据所述目标动作的信息及所述节点的节点环境语义信息，得到动作结果信息。
根据该目标动作的信息和该节点的节点环境语义信息，得到该目标动作作用在该虚拟环境智能体后，虚拟环境智能体中与该节点对应的位置的环境状态变化信息，将该信息称为动作结果信息。
具体地，所述步骤S802包括：
根据所述目标动作的信息及所述节点的节点环境语义信息，查询所述虚拟环境智能体的环境状态转换映射关系，得到动作结果信息。
虚拟环境智能体中预存了环境状态转换映射关系，也可称为虚拟环境智能体的状态转换公理。可选地，该环境状态转换映射关系可以通过状态转换映射表来实现，状态转换映射表的每一项存储了目标动作的信息、执行动作前节点的节点环境语义信息，以及执行该目标动作后对应的动作结果信息。根据获取的目标动作的信息和当前节点的节点环境语义信息，查询该状态转换映射表，可以得到在当前节点执行目标动作后对应的动作结果信息。例如，虚拟环境智能体中预存的状态转换映射表中其中一项对应存储的信息如下：
表1：
Figure BDA0002360164380000161
当虚拟环境智能体获取到虚拟角色在节点A上的目标动作的信息为“Action_OpenDoor”(表示开门动作)，且执行动作前节点的节点环境语义信息为“environmentState＝29”(表示该节点附近的一个房门为关闭状态),则得到对应的动作结果信息为“environmentState＝30”(表示该节点的房门变更为打开状态)。
在S803中，指示语义路径处理单元根据所述动作结果信息更新所述语义路径的节点的节点环境语义信息。
根据该动作结果信息，指示语义路径单元对该节点的节点环境语义信息进行更新。例如，在节点A获得“environmentState＝30”的动作结果信息后，指示语义路径单元将节点A的节点环境语义信息由原来的“environmentState＝29”(表示该节点附近的一个房门为关闭状态)变更为“environmentState＝30”(表示该节点附近的一个房门为打开状态)。
本申请实施中，由于虚拟环境智能体根据在一节点上获取目标动作的信息并得到对应的动作结果信息后，能够指示语义路径单元及时根据该动作结果信息对语义路径的该节点的节点环境语义信息进行更新以便虚拟角色智能体进行下一次目标动作的决策，因此通过该虚拟环境智能体对语义路径的更新记录，即能够方便、有效地实现虚拟现实场景中虚拟角色和虚拟环境的交互。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
实施例五：
本申请实施例还提供一种语义路径处理单元，如图9所示，为了便于说明，仅示出了与本申请实施例相关的部分：
该语义路径处理单元包括：指令接收模块91、节点环境语义更新模块92。其中：
指令接收模块91，用于接收用户指令，构建语义路径，所述语义路径为绘制在虚拟环境智能体的几何图形上的由节点和所述节点之间的有向连接组成的轨迹，所述节点的信息至少包括节点位置信息、节点行为语义信息及节点环境语义信息。
可选地，所述指令接收模块91具体包括绘制模块、行为语义信息选择模块、环境语义选择模块：
绘制模块，用于接收绘制指令，在虚拟环境智能体的几何图形上绘制语义路径的节点和所述节点之间的有向连接；
行为语义信息选择模块，用于接收行为语义信息选择指令，为所述语义路径的节点添加节点行为语义信息；
环境语义选择模块，用于接收环境语义选择指令，为所述语义路径的节点添加初始的节点环境语义信息。
可选地，所述指令接收模块还包括：节点通行状态选择模块，用于接收节点通行状态选择指令，为所述语义路径的节点添加节点通行状态信息，其中所述节点通行状态信息包括用于标识所述节点为路径转换节点的第一标识信息、用于标识所述节点为暂停使用节点的第二标识信息。
节点环境语义信息更新模块92，用于获取虚拟环境智能体的动作结果信息，根据所述动作结果信息更新所述语义路径的节点的节点环境语义信息。
实施例六：
本申请实施例还提供一种虚拟角色智能体，如图10所示，为了便于说明，仅示出了与本申请实施例相关的部分：
该虚拟角色智能体包括：语义路径获取模块101、移动模块102和目标动作执行模块103。其中：
语义路径获取模块101，用于获取语义路径，所述语义路径为绘制在虚拟环境智能体的几何图形上的由节点和所述节点之间的有向连接组成的轨迹，所述节点的信息至少包括节点位置信息、节点行为语义信息及节点环境语义信息。
移动模块102，用于根据自身的任务及所述语义路径进行移动。
可选地，所述移动模块102，具体用于根据自身的任务、所述语义路径的节点位置信息及节点通行状态信息，进行移动。
目标动作执行模块103，用于当所述虚拟角色智能体的位置信息与所述语义路径的节点的节点位置信息一致时，根据所述节点的节点行为语义信息及节点环境语义信息，执行目标动作。
可选地，所述目标动作执行模块103，具体用于当所述虚拟角色智能体的位置信息与所述语义路径的节点的节点位置信息一致时，根据所述节点行为语义信息，确定目标行为；根据所述目标行为对应的执行基及所述节点环境语义信息，确定目标动作并执行，其中所述执行基为将环境语义信息和目标动作对应存储的二元组。
可选地，所述执行目标动作，具体包括：执行目标动画，并向虚拟环境智能体传达目标动作的信息。
实施例七：
本申请实施例还提供一种虚拟环境智能体，如图11所示，为了便于说明，仅示出了与本申请实施例相关的部分：
该虚拟环境智能体包括：目标动作的信息获取模块111、动作结果信息获取模块112和指示更新模块113。其中：
目标动作的信息获取模块111，用于获取虚拟角色智能体在语义路径的节点的目标动作的信息，所述语义路径为绘制在所述虚拟环境智能体的几何图形上的由节点和所述节点之间的有向连接组成的轨迹，所述节点的信息至少包括节点位置信息、节点行为语义信息及节点环境语义信息。
动作结果信息获取模块112，用于根据所述目标动作的信息及所述节点的节点环境语义信息，得到动作结果信息。
可选地，所述动作结果信息获取模块112，具体用于根据所述目标动作的信息及所述节点的节点环境语义信息，查询所述虚拟环境智能体的环境状态转换映射关系，得到动作结果信息。
指示更新模块113，用于指示所述语义路径处理单元根据所述动作结果信息更新所述语义路径的节点的节点环境语义信息。
需要说明的是，上述单元/模块之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
实施例八：
图12是本发明一实施例提供的终端设备的示意图。如图12所示，该实施例的终端设备12包括：处理器120、存储器121以及存储在所述存储器121中并可在所述处理器120上运行的计算机程序122，例如虚拟现实场景交互程序。所述处理器120执行所述计算机程序122时实现上述各个虚拟现实场景交互方法实施例中的步骤，例如图3所示的步骤S301至S302，或例如图7所示的步骤S701至S703，或例如图8所示的步骤S801至S803。或者，所述处理器120执行所述计算机程序122时实现上述各装置实施例中各模块/单元的功能，例如图9所示模块91至92的功能，或例如图10所示模块101至102的功能，或例如图11所示模块111至112的功能。
示例性的，所述计算机程序122可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器121中，并由所述处理器120执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序122在所述终端设备12中的执行过程。例如，所述计算机程序122可以被分割成指令接收模块、节点环境语义信息更新模块；或者所述计算机程序122可以被分割成语义路径获取模块、移动模块、目标动作执行模块；或者所述计算机程序122可以被分割成目标动作的信息获取模块、动作结果信息获取模块、指示更新模块。
所述终端设备12可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器120、存储器121。本领域技术人员可以理解，图12仅仅是终端设备12的示例，并不构成对终端设备12的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器120可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器121可以是所述终端设备12的内部存储单元，例如终端设备12的硬盘或内存。所述存储器121也可以是所述终端设备12的外部存储设备，例如所述终端设备12上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器121还可以既包括所述终端设备12的内部存储单元也包括外部存储设备。所述存储器121用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器121还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (15)

1.一种虚拟现实场景，其特征在于，所述虚拟现实场景包括虚拟环境智能体、虚拟角色智能体及语义路径处理单元；
所述语义路径处理单元，用于接收用户在虚拟现实场景的画面上的指令，构建语义路径，所述语义路径为绘制在所述虚拟环境智能体的几何图形上的由节点和所述节点之间的有向连接组成的轨迹，所述节点的信息至少包括节点位置信息、节点行为语义信息及节点环境语义信息；所述节点行为语义信息记录所述虚拟角色智能体在所述节点上需对应完成的行为，所述行为对应执行基，所述执行基为将环境语义信息和目标动作对应存储的二元组；所述节点环境语义信息记录所述节点对应的虚拟环境智能体的状态信息；
所述虚拟角色智能体，用于获取所述语义路径，根据自身任务及所述语义路径进行移动，当所述虚拟角色智能体的位置信息与所述语义路径的节点的节点位置信息一致时，根据所述节点的节点行为语义信息及节点环境语义信息，执行目标动作；其中，所述根据自身任务及所述语义路径进行移动，包括：根据自身的任务确定指定区域；根据所述指定区域包含的所述语义路径进行移动；
所述虚拟环境智能体，用于获取所述虚拟角色智能体在所述语义路径的节点的目标动作的信息，并根据所述目标动作的信息及所述节点的节点环境语义信息，得到动作结果信息；指示所述语义路径处理单元根据所述动作结果信息更新所述语义路径的节点的节点环境语义信息。
2.一种虚拟现实场景交互方法，其特征在于，所述方法应用于语义路径处理单元，包括：
接收用户指令，构建语义路径，其中，所述接收用户指令具体为接收用户在虚拟现实场景的画面上的指令，所述语义路径为绘制在虚拟环境智能体的几何图形上的由节点和所述节点之间的有向连接组成的轨迹，所述节点的信息至少包括节点位置信息、节点行为语义信息及节点环境语义信息；所述节点行为语义信息记录虚拟角色智能体在所述节点上需对应完成的行为，所述行为对应执行基，所述执行基为将环境语义信息和目标动作对应存储的二元组；所述节点环境语义信息记录所述节点对应的虚拟环境智能体的状态信息；
获取虚拟环境智能体的动作结果信息，根据所述动作结果信息更新所述语义路径的节点的节点环境语义信息。
3.如权利要求2所述的虚拟现实场景交互方法，其特征在于，所述接收用户指令，构建语义路径，包括：
接收绘制指令，在虚拟环境智能体的几何图形上绘制语义路径的节点和所述节点之间的有向连接；
接收行为语义信息选择指令，为所述语义路径的节点添加节点行为语义信息；
接收环境语义选择指令，为所述语义路径的节点添加初始的节点环境语义信息。
4.如权利要求3所述的虚拟现实场景交互方法，其特征在于，所述节点的信息还包括节点通行状态信息，此时，所述接收用户指令，构建语义路径，还包括：
接收节点通行状态选择指令，为所述语义路径的节点添加节点通行状态信息，其中所述节点通行状态信息包括用于标识所述节点为路径转换节点的第一标识信息、用于标识所述节点为暂停使用节点的第二标识信息。
5.一种虚拟现实场景交互方法，其特征在于，所述方法应用于虚拟角色智能体，包括：
获取语义路径，所述语义路径为根据用户在虚拟现实场景的画面上的指令，绘制在虚拟环境智能体的几何图形上的由节点和所述节点之间的有向连接组成的轨迹，所述节点的信息至少包括节点位置信息、节点行为语义信息及节点环境语义信息；所述节点行为语义信息记录所述虚拟角色智能体在所述节点上需对应完成的行为，所述行为对应执行基，所述执行基为将环境语义信息和目标动作对应存储的二元组；所述节点环境语义信息记录所述节点对应的虚拟环境智能体的状态信息；
根据自身的任务及所述语义路径进行移动；具体包括：根据自身的任务确定指定区域；根据所述指定区域包含的所述语义路径进行移动；
当所述虚拟角色智能体的位置信息与所述语义路径的节点的节点位置信息一致时，根据所述节点的节点行为语义信息及节点环境语义信息，执行目标动作。
6.如权利要求5所述的虚拟现实场景交互方法，其特征在于，所述语义路径的节点的信息还包括节点通行状态信息，所述根据自身的任务及所述语义路径进行移动，包括：
根据自身的任务、所述语义路径的节点位置信息及节点通行状态信息，进行移动。
7.如权利要求5所述的虚拟现实场景交互方法，其特征在于，所述当所述虚拟角色智能体的位置信息与所述语义路径的节点的节点位置信息一致时，根据所述节点的节点行为语义信息及节点环境语义信息，执行目标动作，包括：
当所述虚拟角色智能体的位置信息与所述语义路径的节点的节点位置信息一致时，根据所述节点行为语义信息，确定目标行为；
根据所述目标行为对应的执行基及所述节点环境语义信息，确定目标动作并执行。
8.如权利要求5所述的虚拟现实场景交互方法，其特征在于，所述执行目标动作，包括：
执行目标动画，并向虚拟环境智能体传达目标动作的信息。
9.一种虚拟现实场景交互方法，其特征在于，所述方法应用于虚拟环境智能体，包括：
获取虚拟角色智能体在语义路径的节点的目标动作的信息，所述语义路径为根据用户在虚拟现实场景的画面上的指令，绘制在所述虚拟环境智能体的几何图形上的由节点和所述节点之间的有向连接组成的轨迹，所述节点的信息至少包括节点位置信息、节点行为语义信息及节点环境语义信息；所述节点行为语义信息记录所述虚拟角色智能体在所述节点上需对应完成的行为，所述行为对应执行基，所述执行基为将环境语义信息和目标动作对应存储的二元组；所述节点环境语义信息记录所述节点对应的虚拟环境智能体的状态信息；
根据所述目标动作的信息及所述节点的节点环境语义信息，得到动作结果信息；
指示语义路径处理单元根据所述动作结果信息更新所述语义路径的节点的节点环境语义信息。
10.如权利要求9所述的虚拟现实场景交互方法，其特征在于，所述根据所述目标动作的信息及所述节点的节点环境语义信息，得到动作结果信息，包括：
根据所述目标动作的信息及所述节点的节点环境语义信息，查询所述虚拟环境智能体的环境状态转换映射关系，得到动作结果信息。
11.一种语义路径处理单元，其特征在于，包括：
指令接收模块，用于接收用户指令，构建语义路径，其中，所述接收用户指令具体为接收用户在虚拟现实场景的画面上的指令，所述语义路径为绘制在虚拟环境智能体的几何图形上的由节点和所述节点之间的有向连接组成的轨迹，所述节点的信息至少包括节点位置信息、节点行为语义信息及节点环境语义信息；所述节点行为语义信息记录虚拟角色智能体在所述节点上需对应完成的行为，所述行为对应执行基，所述执行基为将环境语义信息和目标动作对应存储的二元组；所述节点环境语义信息记录所述节点对应的虚拟环境智能体的状态信息；
节点环境语义信息更新模块，用于获取虚拟环境智能体的动作结果信息，根据所述动作结果信息更新所述语义路径的节点的节点环境语义信息。
12.一种虚拟角色智能体，其特征在于，包括：
语义路径获取模块，用于获取语义路径，所述语义路径为根据用户在虚拟现实场景的画面上的指令，绘制在虚拟环境智能体的几何图形上的由节点和所述节点之间的有向连接组成的轨迹，所述节点的信息至少包括节点位置信息、节点行为语义信息及节点环境语义信息；所述节点行为语义信息记录所述虚拟角色智能体在所述节点上需对应完成的行为，所述行为对应执行基，所述执行基为将环境语义信息和目标动作对应存储的二元组；所述节点环境语义信息记录所述节点对应的虚拟环境智能体的状态信息；
移动模块，用于根据自身的任务及所述语义路径进行移动；具体包括：根据自身的任务确定指定区域；根据所述指定区域包含的所述语义路径进行移动；
目标动作执行模块，用于当所述虚拟角色智能体的位置信息与所述语义路径的节点的节点位置信息一致时，根据所述节点的节点行为语义信息及节点环境语义信息，执行目标动作。
13.一种虚拟环境智能体，其特征在于，包括：
目标动作的信息获取模块，用于获取虚拟角色智能体在语义路径的节点的目标动作的信息，所述语义路径为根据用户在虚拟现实场景的画面上的指令，绘制在所述虚拟环境智能体的几何图形上的由节点和所述节点之间的有向连接组成的轨迹，所述节点的信息至少包括节点位置信息、节点行为语义信息及节点环境语义信息；所述节点行为语义信息记录所述虚拟角色智能体在所述节点上需对应完成的行为，所述行为对应执行基，所述执行基为将环境语义信息和目标动作对应存储的二元组；所述节点环境语义信息记录所述节点对应的虚拟环境智能体的状态信息；
动作结果信息获取模块，用于根据所述目标动作的信息及所述节点的节点环境语义信息，得到动作结果信息；
指示更新模块，用于指示语义路径处理单元根据所述动作结果信息更新所述语义路径的节点的节点环境语义信息。
14.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，当所述处理器执行所述计算机程序时，使得终端设备实现如权利要求2至10任一项所述方法的步骤。
15.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，当所述计算机程序被处理器执行时，使得终端设备实现如权利要求2至10任一项所述方法的步骤。
CN201980003474.2A 2019-11-25 2019-11-25 虚拟现实场景及其交互方法、终端设备 Active CN111095170B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/120515 WO2021102615A1 (zh) 2019-11-25 2019-11-25 虚拟现实场景及其交互方法、终端设备

Publications (2)

Publication Number Publication Date
CN111095170A CN111095170A (zh) 2020-05-01
CN111095170B true CN111095170B (zh) 2021-01-01

Family

ID=70400271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980003474.2A Active CN111095170B (zh) 2019-11-25 2019-11-25 虚拟现实场景及其交互方法、终端设备

Country Status (3)

Country Link
US (1) US11842446B2 (zh)
CN (1) CN111095170B (zh)
WO (1) WO2021102615A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111773736B (zh) * 2020-07-03 2024-02-23 珠海金山数字网络科技有限公司 一种虚拟角色的行为生成方法及装置
CN112088349B (zh) 2020-07-31 2024-10-29 深圳信息职业技术学院 目标追踪方法、装置、终端设备及存储介质
CN112989324B (zh) * 2021-03-10 2024-07-19 中国民航信息网络股份有限公司 数据交互的方法、装置、电子设备及存储介质
CN113012300B (zh) * 2021-04-02 2024-11-05 北京隐虚等贤科技有限公司 沉浸式互动内容的创建方法、装置以及存储介质
CN114706381A (zh) * 2022-03-04 2022-07-05 达闼机器人股份有限公司 智能体的训练方法、装置、存储介质及电子设备
CN115222926A (zh) * 2022-07-22 2022-10-21 领悦数字信息技术有限公司 用于在虚拟环境中规划路线的方法、装置以及介质
CN116483198B (zh) * 2023-03-23 2024-08-30 广州卓远虚拟现实科技股份有限公司 一种虚拟运动场景的交互控制方法、系统及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101075349A (zh) * 2007-06-22 2007-11-21 珠海金山软件股份有限公司 一种在svg中表达演示动画效果的方法
CN110297697A (zh) * 2018-03-21 2019-10-01 北京猎户星空科技有限公司 机器人动作序列生成方法和装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7664313B1 (en) * 2000-10-23 2010-02-16 At&T Intellectual Property Ii, L.P. Text-to scene conversion
US8447136B2 (en) * 2010-01-12 2013-05-21 Microsoft Corporation Viewing media in the context of street-level images
US10977662B2 (en) * 2014-04-28 2021-04-13 RetailNext, Inc. Methods and systems for simulating agent behavior in a virtual environment
US10406437B1 (en) * 2015-09-30 2019-09-10 Electronic Arts Inc. Route navigation system within a game application environment
US10402690B2 (en) * 2016-11-07 2019-09-03 Nec Corporation System and method for learning random-walk label propagation for weakly-supervised semantic segmentation
CN106940594B (zh) * 2017-02-28 2019-11-22 深圳信息职业技术学院 一种虚拟人及其运行方法
CN107103644B (zh) * 2017-04-21 2019-03-08 腾讯科技（深圳）有限公司 一种虚拟场景中对象的控制方法和装置
CN109582140A (zh) * 2018-11-23 2019-04-05 哈尔滨工业大学 一种基于虚拟现实与眼动追踪的建筑室内寻路要素视觉显著性评估系统与方法
CN109806584A (zh) * 2019-01-24 2019-05-28 网易（杭州）网络有限公司 游戏场景生成方法及装置、电子设备、存储介质
CN109960545B (zh) * 2019-03-29 2022-09-13 网易（杭州）网络有限公司 虚拟对象控制方法、系统、装置、介质及电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101075349A (zh) * 2007-06-22 2007-11-21 珠海金山软件股份有限公司 一种在svg中表达演示动画效果的方法
CN110297697A (zh) * 2018-03-21 2019-10-01 北京猎户星空科技有限公司 机器人动作序列生成方法和装置

Also Published As

Publication number Publication date
WO2021102615A1 (zh) 2021-06-03
US20220277523A1 (en) 2022-09-01
CN111095170A (zh) 2020-05-01
US11842446B2 (en) 2023-12-12

Similar Documents

Publication Publication Date Title
CN111095170B (zh) 虚拟现实场景及其交互方法、终端设备
CN110020633B (zh) 姿态识别模型的训练方法、图像识别方法及装置
US10402731B1 (en) Machine learning for computer generated objects and/or applications
US10607134B1 (en) Artificially intelligent systems, devices, and methods for learning and/or using an avatar's circumstances for autonomous avatar operation
CN111279394B (zh) 虚拟角色的任务执行方法、装置及终端设备
WO2023160051A1 (zh) 虚拟对象的蒙皮处理方法、装置、电子设备、存储介质及计算机程序产品
CN116468831B (zh) 模型处理方法、装置、设备及存储介质
CN116499471B (zh) 一种基于开放场景地图的视觉语言导航方法、装置及介质
CN111744199A (zh) 图像处理方法及装置、计算机可读存储介质、电子设备
Fernandez-Chaves et al. Robot@ VirtualHome, an ecosystem of virtual environments and tools for realistic indoor robotic simulation
Wang et al. An immersive multi-agent system for interactive applications
CN109858402B (zh) 一种图像检测方法、装置、终端以及存储介质
Zong et al. Trajectory planning in 3D dynamic environment with non-cooperative agents via fast marching and Bézier curve
CN114385000A (zh) 智能设备控制方法、装置、服务器和存储介质
CN110163580B (zh) 多任务vr培训场景的创建方法、vr培训系统以及存储介质
KR102610134B1 (ko) 합성 이미지 생성 방법 및 시스템
Gianni et al. ARE: Augmented reality environment for mobile robots
CN116301022A (zh) 基于深度强化学习的无人机集群任务规划方法和装置
Fay et al. Designing new interfaces for submarines: from cognitive work analysis to ecological interface design
CN115357500A (zh) 自动驾驶系统的测试方法、装置、设备和介质
CN111360819B (zh) 机器人的控制方法及装置、计算机设备、存储介质
CN107944337A (zh) 一种低空目标智能跟踪方法及系统、存储介质及电子终端
Guo et al. Object goal visual navigation using semantic spatial relationships
CN112088349B (zh) 目标追踪方法、装置、终端设备及存储介质
Schall et al. Rapid and accurate deployment of fiducial markers for augmented reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant