CN112562088A - 基于用户移动来呈现环境 - Google Patents

Abstract

本公开涉及基于用户移动来呈现环境。在示例性过程中，呈现包括虚拟对象的计算机生成的现实环境，并且检测在物理环境中发生的用户移动。响应于确定所检测到的用户移动朝向该虚拟对象并且该虚拟对象遮挡该物理环境中的真实对象，确定所检测到的用户移动是指向该虚拟对象还是指向该真实对象。根据确定所检测到的用户移动指向该真实对象，该虚拟对象的视觉外观被修改，其中修改该虚拟对象的该视觉外观包括显示呈现该真实对象的至少一部分。根据确定所检测到的用户移动指向该虚拟对象，保持该虚拟对象的该呈现以遮挡该真实对象。

Description

基于用户移动来呈现环境

背景技术

1.技术领域

本公开整体涉及计算机生成的现实系统，并且更具体地涉及用于提供计算机生成的现实环境的技术。

2.相关领域的描述

随着电子设备的功能增加，以及其输出高质量视觉显示的能力的提高，应用程序变得更令人沉浸。一个此类示例是对计算机生成的现实应用程序的主流需求的增加。

发明内容

本文所述的技术可用于提供计算机生成的现实环境并且有利于用户与计算机生成的现实环境的交互。此类技术可选地补充或替换用于提供计算机生成的现实环境的其他方法。此类技术可以改善用户体验，并且使计算机生成的现实界面(例如，3D界面)具有高级功能。

在一些实施方案中，(例如，经由显示设备)呈现包括虚拟对象的计算机生成的现实环境，并且(例如，经由一个或多个传感器)检测在物理环境中发生的用户移动。响应于确定所检测到的用户移动朝向该虚拟对象并且该虚拟对象遮挡该物理环境中的真实对象，确定所检测到的用户移动是指向该虚拟对象还是指向该真实对象。根据确定所检测到的用户移动指向该真实对象，该虚拟对象的视觉外观被修改，其中修改该虚拟对象的该视觉外观包括显示呈现该真实对象的至少一部分。根据确定所检测到的用户移动指向该虚拟对象，保持该虚拟对象的该呈现以遮挡该真实对象。

用于执行这些功能的可执行指令可选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。用于执行这些功能的可执行指令可选地被包括在被配置用于由一个或多个处理器执行的暂态计算机可读存储介质或其他计算机程序产品中。

在一些实施方案中，电子设备包括显示设备、一个或多个传感器、一个或多个处理器以及存储器，该存储器存储被配置为由一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于进行以下操作的指令：经由显示设备呈现包括虚拟对象的计算机生成的现实环境；经由所述一个或多个传感器检测在物理环境中发生的用户移动；并且响应于确定所检测到的用户移动朝向虚拟对象并且该虚拟对象遮挡物理环境中的真实对象进行以下操作：确定所检测到的用户移动是指向虚拟对象还是指向真实对象；根据确定所检测到的用户移动指向真实对象，修改虚拟对象的视觉外观，其中修改虚拟对象的视觉外观包括显示呈现真实对象的至少一部分；并且根据确定所检测到的用户移动指向虚拟对象，保持虚拟对象的呈现以遮挡真实对象。

在一些实施方案中，电子设备包括：用于呈现包括虚拟对象的计算机生成的现实环境的装置；用于检测在物理环境中发生的用户移动的装置；以及用于响应于确定所检测到的用户移动朝向虚拟对象并且该虚拟对象遮挡物理环境中的真实对象进行以下操作的装置：确定所检测到的用户移动是指向虚拟对象还是指向真实对象；根据确定所检测到的用户移动指向真实对象，修改虚拟对象的视觉外观，其中修改虚拟对象的视觉外观包括显示呈现真实对象的至少一部分；并且根据确定所检测到的用户移动指向虚拟对象，保持虚拟对象的呈现以遮挡真实对象。

附图说明

为了更好地理解各种所述实施方案，应该结合以下附图参考下面的具体实施方式，在附图中，类似的附图标号在所有附图中指示对应的部分。

图1A至图1B描绘了在各种计算机生成的现实技术中使用的示例性系统。

图2描绘了示例性物理环境。

图3描绘了根据一些实施方案的示例性计算机生成的现实环境。

图4描绘了根据一些实施方案的示例性计算机生成的现实环境。

图5描绘了根据一些实施方案的示例性计算机生成的现实环境。

图6描绘了根据一些实施方案的示例性计算机生成的现实环境。

图7描绘了根据一些实施方案的示例性计算机生成的现实环境。

图8描绘了根据一些实施方案的示例性计算机生成的现实环境。

图9描绘了根据一些实施方案的示例性计算机生成的现实环境。

图10描绘了根据一些实施方案的示例性计算机生成的现实环境。

图11描绘了根据一些实施方案的用于提供计算机生成的现实环境的示例性过程的流程图。

具体实施方式

以下描述阐述了示例性方法、参数等。此类描述并非意在限制本公开的范围，而是作为对示例性实施方案的描述来提供。

描述了用于与各种计算机生成的现实技术相关地使用此类系统的电子系统和技术的各种实施方案。

物理环境(或真实环境)是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品(或物理对象或真实对象)，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。

相反，计算机生成现实(CGR)环境是指人们经由电子系统感知和/或交互的完全或部分模拟的环境。在CGR中，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。

人可以利用其感官中的任一者来感测CGR对象和/或与CGR对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，音频对象创建3D或空间音频环境，3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。

CGR的示例包括虚拟现实和混合现实。虚拟现实(VR)环境(虚拟环境)是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟、和/或通过在计算机生成的环境内人的物理运动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。

与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，MR环境是完全物理环境作为一端以及VR环境作为另一端之间的任何状况，但不包括这两端。

在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致运动使得虚拟树木相对于物理地面看起来是静止的。

MR的示例包括增强现实和增强虚拟。增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置成在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。

AR环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。

增强虚拟(AV)环境是指其中虚拟或计算机生成的环境结合来自物理环境的一个或多个感官输入的模拟环境。感官输入可以是物理环境的一个或多个特性的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的位置的阴影。

有许多不同类型的电子系统使人能够感测和/或与各种CGR环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置成接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个示例中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置成将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。

图1A和图1B示出了在各种计算机生成的现实技术中使用的示例性系统100。

在一些实施方案中，如图1A所示，系统100包括设备100a。设备100a包括各种部件，诸如处理器102、RF电路104、存储器106、图像传感器108、取向传感器110、麦克风112、位置传感器116、扬声器118、显示器120和触敏表面122。这些部件任选地通过设备100a的通信总线150进行通信。

在一些实施方案中，系统100的元件在基站设备(例如，计算设备，诸如远程服务器、移动设备或膝上型计算机)中实现，并且系统100的其他元件在设计成由用户穿戴的头戴式显示器(HMD)设备中实现，其中设备200与基站设备通信。在一些实施方案中，设备100a在基站设备或HMD设备中实现。

如图1B所示，在一些实施方案中，系统100包括两个(或更多个)通信中的设备，诸如通过有线连接或无线连接。第一设备100b(例如，基站设备)包括处理器102、RF电路104和个存储器106。这些部件可选地通过设备100b的通信总线150进行通信。第二设备100c(例如，头戴式设备)包括各种部件，诸如处理器102、RF电路104、存储器106、图像传感器108、取向传感器110、麦克风112、位置传感器116、扬声器118、显示器120和触敏表面122。这些部件可选地通过设备100c的通信总线150进行通信。

在一些实施方案中，系统100为移动设备。在一些实施方案中，系统100为头戴式显示器(HMD)设备。在一些实施方案中，系统100为可穿戴HUD设备。

系统100包括处理器102和存储器106。处理器102包括一个或多个通用处理器、一个或多个图形处理器、和/或一个或多个数字信号处理器。在一些实施方案中，一个或多个存储器106是存储计算机可读指令的一个或多个非暂态计算机可读存储介质(例如，闪存存储器，随机存取存储器)，所述计算机可读指令被配置为由一个或多个处理器102执行以执行下述技术。

系统100包括RF电路104。RF电路104可选地包括用于与电子设备、网络(诸如互联网、内联网)和/或无线网络(诸如蜂窝网络和无线局域网(LAN))通信的电路。RF电路104可选地包括用于使用近场通信和/或短程通信(诸如

)进行通信的电路。

系统100包括显示器120。在一些实施方案中，显示器120包括第一显示器(例如，左眼显示面板)和第二显示器(例如，右眼显示面板)，每个显示器用于向用户的相应眼睛显示图像。对应的图像同时显示在第一显示器和第二显示器上。可选地，对应的图像包括来自不同视点的相同虚拟对象和/或相同物理对象的表示，从而产生视差效应，该视差效应向用户提供显示器上对象的立体感效应。在一些实施方案中，显示器120包括单个显示器。对于用户的每只眼睛，对应的图像同时显示在单个显示器的第一区域和第二区域上。可选地，对应的图像包括来自不同视点的相同虚拟对象和/或相同物理对象的表示，从而产生视差效应，该视差效应向用户提供单个显示器上对象的立体感效应。

在一些实施方案中，系统100包括用于接收用户输入的一个或多个触敏表面122，诸如轻击输入和轻扫输入。在一些实施方案中，显示器120和触敏表面122形成触敏显示器。

系统100包括图像传感器108。图像传感器108可选地包括一个或多个可见光图像传感器(诸如电荷耦合设备(CCD)传感器)和/或可操作以从真实环境获得物理对象的图像的互补金属氧化物半导体(CMOS)传感器。图像传感器还可选地包括一个或多个红外(IR)传感器，诸如无源IR传感器或有源IR传感器，用于检测来自真实环境的红外光。例如，有源IR传感器包括IR发射器，诸如IR点发射器，用于将红外光发射到真实环境中。图像传感器108还可选地包括一个或多个事件相机，这些事件相机被配置为捕获真实环境中的物理对象的移动。图像传感器108还可选地包括一个或多个深度传感器，这些深度传感器被配置为检测物理对象与系统100的距离。在一些实施方案中，系统100组合使用CCD传感器、事件相机和深度传感器来检测系统100周围的物理环境。在一些实施方案中，图像传感器108包括第一图像传感器和第二图像传感器。第一图像传感器和第二图像传感器可选地被配置为从两个不同的视角捕获真实环境中的物理对象的图像。在一些实施方案中，系统100使用图像传感器108来接收用户输入，诸如手势。在一些实施方案中，系统100使用图像传感器108来检测系统100和/或显示器120在真实环境中的位置和取向。例如，系统100使用图像传感器108来跟踪显示器120相对于真实环境中的一个或多个固定对象的位置和取向。

在一些实施方案中，系统100包括一个或多个麦克风112。系统100使用麦克风112来检测来自用户和/或用户的真实环境的声音。在一些实施方案中，麦克风112包括麦克风阵列(包括多个麦克风)，其任选地串联操作，以便识别环境噪声或在真实环境的空间中定位声源。

系统100包括用于检测系统100和/或显示器120的取向和/或移动的取向传感器110。例如，系统100使用取向传感器110来跟踪系统100和/或显示器120的位置和/或取向的变化，诸如关于真实环境中的物理对象。取向传感器110可选地包括一个或多个陀螺仪和/或一个或多个加速度计。

现在参考图2至图10，描述了用于提供CGR环境的示例性技术。

图2描绘了其中用户正在使用(例如，手持或穿戴)设备200的物理环境。在一些实施方案中，设备为系统100的实施方案，或者可以为系统100的一部分的实施方案，诸如设备100a。在图2所例示的实施方案中，设备200是包括显示器的手持设备(例如，平板电脑)，用户可利用该显示器直接查看物理环境(例如，利用透传视频)。设备200被配置为在该显示器上呈现虚拟对象，使得用户感知叠加在物理环境上方的虚拟对象。在一些实施方案中，第二设备(例如，外部显示器)可以被连接到设备200以提供处理和/或呈现能力。

图2描绘了杯子202A和桌子202B，两者均为物理环境中的物理对象。如以下关于图3至图10所讨论的，用户与CGR环境交互，该CGR环境包括真实对象(或其表示)和虚拟对象两者。

图3从用户使用设备200的视角描绘了CGR环境。如图3所示，设备200呈现(例如，显示)叠加在桌子202B上的虚拟城堡204，使得虚拟城堡204看起来像在桌子202B上安置在杯子202A前面。在一些实施方案中，虚拟城堡204为在物理环境中没有对应物的计算机生成的对象。在结合有透传视频的实施方案中，CGR环境包括使用物理环境的捕获图像生成的桌子202B的表示。

虚拟城堡204是不透明的，并且从用户的视角来看位于杯子202A的前面。在结合有透传视频的实施方案中，设备200显示虚拟城堡204而不显示杯子202A的表示，如果虚拟城堡204不使该杯子模糊，则将使用物理环境的捕获图像来生成该杯子的表示。因此，用户无法看到杯子202A(或者在透传视频的情况下，无法看到杯子202A的表示)。

在图3至图4所示的实施方案中，尽管在CGR环境中无法看到杯子202A，但是用户知道杯子202A的大致位置(例如，因为用户将其放置在图2所示的位置)，并且开始在物理环境中将手206伸向杯子202A。

当用户伸向杯子202A时，设备200使用图像传感器(例如，108个)来检测用户的移动。例如，当手206在物理环境中移向杯子202A时，设备200通过捕获物理环境的图像，使用图像传感器来获得关于手206的信息。在一些实施方案中，图像传感器位于设备200处，设备200外部的设备处，或它们的组合。

响应于检测到用户的移动，设备200确定所检测到的用户移动朝向虚拟城堡204(例如，由于虚拟城堡204在用户和杯子202A之间)。在一些实施方案中，设备200(例如，除了确定所检测到的用户移动朝向虚拟城堡204之外)确定虚拟城堡204遮挡物理杯子202A。

参考图4，当用户最初伸向前方时，可能不清楚用户正在伸向什么。例如，用户可能正在伸向虚拟城堡204、杯子202A、一些其他对象，或者伸向的不是特别的对象。使用关于CGR环境的信息、所获得的关于用户移动的信息(例如，手206的姿势、位置、速度、加速度等)和/或所获得的关于用户的信息(例如，凝视、瞳孔测量、先前的用户行为)，设备200确定如何以与用户的可能意图一致的方式呈现(例如，修改)CGR环境(例如，基于所检测到的用户移动是指向虚拟城堡204还是指向杯子202A)。

如下所述，可以使用各种条件来确定如何呈现CRG环境。这些条件可以基于一个或多个因素，诸如距离、姿势、凝视、速度或瞳孔测量。在一些实施方案中，关于所检测到的用户移动是指向虚拟城堡204还是指向杯子202A来确定确定性级别。例如，如果确定已满足与指向特定对象的用户移动一致的一个条件，则将一定级别的确定性分配给指向该对象的移动。相反，如果确定已满足与指向特定对象的用户移动一致的多个条件，则将较高级别的确定性分配给指向该对象的移动。在一些实施方案中，设备200外部的设备，诸如与设备200通信的基站设备，确定分配给指向对象的移动的确定性级别。

在一些实施方案中，设备200基于用户(例如，206)和虚拟对象(例如，204)之间的距离来呈现CGR环境。例如，设备200确定用户与参考点(例如，虚拟对象或真实对象的位置)之间的距离是否超过阈值(例如，非零)距离。如果距离超过阈值距离(例如，用户的手远离虚拟对象或真实对象)，则设备200确定用户移动未指向位于虚拟对象后面的物理对象(例如，设备200将相对较低的确定性级别分配给指向物理对象的移动)。相反，如果距离未超过阈值距离(例如，用户的手接近虚拟对象或真实对象)，则设备200确定用户移动指向位于虚拟对象后面的物理对象(例如，设备200将较高级别的确定性分配给指向物理对象的用户移动)。

返回图4，响应于检测到用户的移动，设备200确定手206与虚拟城堡204或杯子202A之间的距离超过阈值距离(例如，用户的移动指向杯子202A的确定性较低)。在一些实施方案中，根据该确定，设备200保持虚拟城堡204的视觉外观。例如，设备200不改变虚拟城堡204的不透明度级别。因此，虚拟城堡204保持不透明，并且用户仍然无法看到杯子202A(例如，在结合有透传视频的实施方案中，设备200继续放弃显示杯子202A的表示)。

在图5处，用户继续将手206移向虚拟城堡204。当用户将手206移近虚拟城堡204时，设备200继续使用图像传感器捕获关于手206的信息。响应于检测到用户的移动，设备200更新其关于所检测到的用户移动是指向虚拟城堡204还是指向杯子202A的确定。例如，设备200确定手206与虚拟城堡204或杯子202A之间的距离是否超过阈值距离。在确定该距离未超过阈值距离时，设备200改变虚拟城堡204的视觉外观，如虚拟城堡204的虚线轮廓所指示。设备200通过将虚拟城堡204的全部或一部分的不透明度从初始值(例如，100％)降低至最终值(例如，25％、50％、75％)来修改视觉外观。需注意，图5的虚拟城堡204中的虚线轮廓表示降低的不透明度，从而导致虚拟城堡204变得透明。

在一些实施方案中，设备200至少部分地根据确定姿势对应于杯子202A来改变虚拟城堡204的视觉外观。例如，在图5所示的实施方案中，手206卷曲成杯子202A的形状并且以类似的取向定位，这指示移动指向杯子202A(例如，提高移动指向杯子202A的确定性级别)。

在一些实施方案中，可以使用除了改变不透明度级别之外的技术来修改虚拟对象的视觉外观。例如，修改视觉外观可以包括以下操作中的一个或多个操作：遮盖虚拟对象或其一部分，将溶解图案施加于虚拟对象或其一部分，或将抖动图案施加于虚拟对象或其一部分。例如，修改虚拟城堡204的视觉外观可包括停止显示虚拟城堡204的柱形部分，使得出现孔，从而允许用户看到虚拟城堡204后面的杯子202A。

返回图5，在手206靠近虚拟城堡204或杯子202A的情况下，设备200降低了不透明度级别，以防用户移动实际上指向杯子202A而不是虚拟城堡204。因此，由于虚拟城堡204的降低的不透明度级别，用户可以看到杯子202A，因此用户可以容易地伸向杯子202A。

在图6中，用户继续伸向前方经过虚拟城堡204的正面。当用户将手206移动经过虚拟城堡204以抓取杯子202A时，设备200以更高级别的确定性确定用户移动指向杯子202A。在一些实施方案中，设备200在检测到手206已经行进经过虚拟城堡204的一部分时确定用户移动很可能指向杯子202A。因此，设备200进一步降低虚拟城堡204的不透明度级别，如图6中的虚线轮廓所示。需注意，图6的虚拟城堡204中的虚线轮廓表示比图5中的虚拟城堡204的不透明度级别低的不透明度级别。

如图5至图6所示，设备200根据确定用户移动指向的对象的确定性级别来修改虚拟城堡204的视觉外观。在图5处，设备200以低确定性级别(例如，15％、30％、45％)确定用户移动指向杯子202A。因此，设备200将虚拟城堡204的不透明度级别降低到第一不透明度级别(例如，95％、80％、65％)。在图6处，设备200以高确定性级别(例如，65％、80％、95％)确定用户移动指向杯子202A。因此，设备200将虚拟城堡204的不透明度级别进一步降低到第二不透明度级别(例如，45％、30％、15％)。在一些实施方案中，对确定的确定性级别不影响虚拟对象(例如，204)的视觉外观。例如，在一些实施方案中，当虚拟对象的视觉外观改变时，不透明度级别改变为预先确定的级别，而与确定性级别无关。

图7至图10示出了基于用户移动的CGR环境的示例性表示。类似于图3，图7描绘了在CGR环境中穿戴HMD设备的用户的透视图，其中虚拟城堡204是不透明的并且位于杯子200B的前面，从而防止用户能够看到杯子202A。与图3相比，用户具有不同的姿势(例如，手、脸部、身体等的位置、取向或构型)。例如，在图7所示的实施方案中，手206被取向成手掌向下并且食指伸出，而在图7中，手206被取向成手掌面向侧面并且手指处于卷曲位置。

在图8处，用户伸向虚拟城堡204。设备200使用图像传感器来检测用户的移动。响应于检测到用户的移动，设备200确定用户移动朝向虚拟城堡204。在一些实施方案中，设备200确定虚拟城堡204遮挡杯子202A。

使用通过使用图像传感器获得的关于手206的信息，设备200确定手206的姿势。利用手206的姿势，设备200确定姿势是否对应于附近的对象(例如，手206的阈值距离(例如，非零阈值距离)内的物理或虚拟对象)的特征。

参考图8，设备200确定手206的姿势对应于虚拟城堡204(例如，而不是杯子202A)。例如，设备200确定姿势对应于虚拟城堡204，因为虚拟城堡204具有虚拟按钮208，该虚拟按钮是被提供用于与虚拟对象的用户交互的可激活按钮，并且手206具有伸出的食指。设备200获得表明虚拟按钮208与一个或多个姿势相关联的数据。例如，虚拟按钮208与可能用于激活按钮的手势(例如，伸出食指的手，如图8所示)相关联。基于所获得的数据，设备200确定手206的姿势与这些姿势中的一个姿势相匹配(例如，在阈值内)。因此，设备200确定用户意图与虚拟城堡204交互。在一些实施方案中，设备200对手206的姿势与一个或多个附近的对象(例如，手206的阈值距离内的对象)的对应级别进行排序。设备200确定用户意图与之交互的对象是与手的姿势具有最高对应度的对象。

如图8所示，在确定用户移动指向虚拟城堡204时，设备200保持虚拟城堡204的视觉外观(例如，设备200不降低虚拟城堡204的不透明度级别)。

在图9处，用户通过将手206的食指定位在虚拟按钮208上而朝向虚拟城堡204移动并且激活虚拟按钮208。作为响应，设备200将虚拟城堡204的表示修改为包括旗帜和横幅，如图10所示。在图7至图10中，当设备200继续确定用户意图与虚拟城堡204交互时，在用户移向虚拟城堡204时，设备200保持虚拟城堡204的不透明度级别。在一些实施方案中，如果以超过预先确定的阈值(例如70％、80％、90％)的确定性级别来确定用户意图，则设备200保持虚拟城堡204的不透明度级别。在一些实施方案中，即使确定用户移动指向虚拟城堡204，设备200也降低不透明度级别(例如，降低10％)(例如，HMD以高级别的确定性确定用户意图与虚拟城堡204交互)。在某些实施方案中，如果确定性级别未超过预先确定的阈值，则设备200在用户(例如，手206)接近虚拟城堡204时修改虚拟城堡204的视觉外观，如以上关于图4至图5所讨论的。

在一些实施方案中，响应于检测到用户移动，设备200确定所检测到的用户移动是指向虚拟城堡204还是指向杯子202A，其中该确定基于与用户移动相关联的速度和/或加速度(例如，基于速度的变化，设备200确定手206将在虚拟按钮208处停止移动；基于速度的变化，设备200确定手206将移动经过虚拟按钮208并且在杯子202A处或附近停止)。例如，参考图7至图8，用户将手206移向虚拟城堡204。在一些实施方案中，响应于检测到该移动，设备200确定移动的速度是否超过阈值(例如，非零)速度。如果速度超过阈值速度，则设备200确定用户移动指向杯子202A。在确定用户移动指向杯子202A时，设备200降低虚拟城堡204的不透明度级别。相反，如果速度不超过阈值速度，则设备200确定用户移动指向虚拟城堡204。在确定用户移动指向虚拟城堡204时，设备200保持虚拟城堡204的不透明度级别，或者如果先前已经降低了不透明度级别，则将不透明度级别返回到其完全不透明度级别。例如，用户最初可能快速地伸向前方，这使得设备200降低虚拟城堡204的不透明度级别。然而，随着用户接近虚拟城堡204，用户放慢速度。因此，设备200将虚拟城堡204的不透明度级别提高到完全不透明度级别。

在一些实施方案中，响应于检测到用户移动，设备200确定所检测到的用户移动是指向虚拟城堡204还是指向杯子202A，其中该确定基于用户的凝视。在一些实施方案中，设备200在用户移动时使用图像传感器进行凝视跟踪。例如，参考图7至图8，用户将手206移向虚拟城堡204。在一些实施方案中，响应于检测到移动，设备200确定凝视指向哪个对象。如果凝视指向杯子202A，则设备200确定用户移动指向杯子202A。相反，如果凝视指向虚拟城堡204，则设备200确定用户移动指向虚拟城堡204。

在一些实施方案中，响应于检测到用户移动，设备200确定所检测到的用户移动是指向虚拟城堡204还是指向杯子202A，其中该确定基于瞳孔测量(例如，瞳孔的大小)。例如，参考图7至图9，用户将手206移向虚拟城堡204。在一些实施方案中，响应于检测到移动，设备200确定用户瞳孔大小的变化。瞳孔的大小可以提供用户接近为与目标对象交互的指示。例如，当用户接近虚拟按钮208时，由于激活虚拟按钮208的期望，用户瞳孔的大小可以增大。在一些实施方案中，如果大小的改变超过预先确定的(例如，非零)阈值，则设备200确定用户移动指向附近的对象(例如，虚拟城堡204)。在一些实施方案中，如果大小的变化未超过预先确定的阈值，则设备200确定用户未接近用户意图与之交互的对象。

在一些实施方案中，设备200可以检查一个或多个条件(例如，距离、姿势、速度、凝视、瞳孔测量)，以确定所检测到的用户移动是指向虚拟城堡204还是指向杯子202A。如以上关于图3至图6所讨论的，设备200使用距离条件来确定所检测到的用户移动是指向虚拟城堡204还是指向杯子202A。在一些实施方案中，设备200可以通过检查其他条件来提高确定所检测到的用户移动是指向虚拟城堡204还是指向杯子202A的确定性级别。例如，在图5处，设备200可选地确定手206的姿势是否对应于附近的对象。在一些实施方案中，设备200确定手206的姿势与同杯子202A相关联的姿势相匹配(例如，在阈值内)。在一些实施方案中，通过除了检查距离之外还检查姿势，设备200提高其确定所检测到的用户移动是指向虚拟城堡204还是指向杯子202A的确定性级别。在一些实施方案中，在确定所检测到的用户移动是指向虚拟城堡204还是指向杯子202A时，可以对特定的条件赋予更大的权重。例如，姿势条件的权重可以比距离条件的权重大，反之亦然。因此，如果两个条件暗示不同的对象，则权重更大的条件将确定用户移动指向哪个对象。

现在转向图11，描绘了用于提供CGR环境的示例性过程1100的流程图。可以使用具有显示设备和一个或多个传感器的设备(例如100a、100c或200)来执行过程1100。尽管在图11中以特定顺序描绘了过程1100的框，但是可以以其他顺序执行这些框。方法1100中的一些操作任选地被组合，一些操作的次序任选地被改变，并且一些操作任选地被省略。此外，除了过程1100中所述的操作之外，还可以执行附加的操作。

在框1102处，设备(例如，经由显示设备)呈现包括虚拟对象(例如，204)的CGR环境。在一些实施方案中，显示设备包括不透明显示器，并且呈现CGR环境包括经由不透明显示器呈现虚拟对象和物理环境的透传视频。在一些实施方案中，显示设备包括透明或半透明的显示器(例如，附加的显示器)，通过该透明或半透明的显示器可直接查看物理环境，并且呈现CGR环境包括经由透明或半透明的显示器呈现虚拟对象。

在框1104处，设备(例如，经由一个或多个传感器)检测在物理环境中发生的用户移动(例如，手206的移动)。在一些实施方案中，设备获得表示在物理环境中发生的用户移动的数据。在一些实施方案中，设备(例如，经由一个或多个传感器)检测在物理环境中发生的用户姿势，或者获得表示在物理环境中发生的用户姿势的数据。在一些实施方案中，设备(例如，经由一个或多个传感器)检测用户凝视或者获得表示用户凝视的数据。

在框1106处，设备确定用户移动是否指向物理环境中的真实对象(例如，202A)(例如，在CGR环境中由虚拟对象遮挡的真实对象)。在一些实施方案中，确定用户移动是否指向真实对象包括确定用户移动是指向虚拟对象还是指向真实对象。在一些实施方案中，确定用户移动是否指向真实对象(或者例如虚拟对象)包括预测所检测到的用户移动将在何处停止。在一些实施方案中，使用机器学习算法来执行对用户移动是否指向真实对象(或者例如真实对象)的确定。例如，设备至少部分地基于先前的用户移动(例如，先前的手的姿势或移动速度)来确定用户移动是否指向真实对象。

在一些实施方案中，设备响应于确定用户移动朝向虚拟对象并且该虚拟对象遮挡物理环境中的真实对象来确定用户移动是否指向真实对象(或者例如虚拟对象)。在一些实施方案中，确定用户移动朝向虚拟对象包括确定虚拟对象与用户移动的位置之间的距离不超过阈值距离。在一些实施方案中，确定虚拟对象遮挡物理环境中的真实对象包括确定虚拟对象在CGR环境中与真实对象至少部分地叠置。在一些实施方案中，确定虚拟对象遮挡物理环境中的真实对象包括确定虚拟对象从CGR环境的用户角度至少部分地遮挡真实对象的视图。

在框1108处，根据确定用户移动指向真实对象，设备修改虚拟对象的视觉外观(例如，设备改变虚拟对象的至少一部分的透明度)。

在一些实施方案中，确定用户移动指向真实对象包括确定用户姿势对应于真实对象的特征(例如，用户的手处于与真实对象(或其一部分)的形状相匹配的姿势，这表明用户意图抓取真实对象)。在一些实施方案中，确定用户移动指向真实对象包括确定用户姿势不对应于虚拟对象的特征。例如，如果虚拟对象包括虚拟按钮，则姿势不对应于用户将用来激活(例如，推动)虚拟按钮的手势。

在一些实施方案中，确定所检测到的用户移动指向真实对象包括确定与所检测到的用户移动相关联的速度超过阈值速度。在一些实施方案中，设备确定用户移动随时间推移的速度和/或加速度，以预测用户移动将在何处停止(例如，用户移动是将在虚拟对象的边界还是在真实对象的边界处停止)。在一些实施方案中，确定用户移动指向真实对象包括确定所检测到的用户移动将在相比虚拟对象较接近真实对象的位置停止(例如，所检测到的用户移动将在真实对象的边界内停止)。在一些实施方案中，确定用户移动指向真实对象包括确定用户凝视指向真实对象。

在一些实施方案中，修改虚拟对象的视觉外观包括停止呈现虚拟对象的至少一部分。在一些实施方案中，修改虚拟对象的视觉外观包括呈现真实对象的至少一部分。在具有透明或半透明显示器的实施方案中，呈现真实对象包括通过不在真实对象上方呈现内容(例如，虚拟对象)来允许用户查看真实对象。在一些实施方案中，修改虚拟对象的视觉外观包括：根据确定用户移动以第一置信水平指向真实对象，以第一量值修改虚拟对象的视觉外观(例如，透明度)；并且根据确定用户移动以与第一置信水平不同的第二置信水平指向真实对象，以与第一量值不同的第二量值修改虚拟对象的视觉外观。

在框1110处，根据确定用户移动不指向真实对象(例如，用户移动指向虚拟对象的确定)，设备保持虚拟对象的呈现(例如，设备保持虚拟对象的显示以遮挡真实对象)。在一些实施方案中，确定用户移动指向虚拟对象包括确定用户凝视指向虚拟对象。在一些实施方案中，确定用户移动指向虚拟对象包括确定用户姿势对应于虚拟对象的特征。在一些实施方案中，确定用户移动指向虚拟对象包括确定用户姿势不对应于真实对象的特征。在一些实施方案中，确定用户移动指向虚拟对象包括确定所检测到的用户移动将在相比真实对象较接近虚拟对象的位置停止(例如，所检测到的用户移动将在虚拟对象的边界内停止)。

用于执行上述过程1100的特征的能够执行的指令可选地包括在被配置为由一个或多个处理器(例如，处理器102)执行的暂态或非暂态计算机可读存储介质(例如，存储器106)或其他计算机程序产品中。

上述技术的各方面设想了采集和使用个人信息以提供CGR体验的可能性。此类信息应在用户知情同意的情况下收集。

处理此类个人信息的实体将遵守既定的隐私做法和/或隐私政策(例如，由第三方认证的政策)，这些政策(1)通常被认为符合或超过行业或政府要求，(2)用户可访问，(3)根据需要进行更新，并且(4)符合适用法律。处理此类个人信息的实体将把这些信息用于合理且合法的用途，而不在那些合法用途之外进行共享或销售。

然而，用户可选择性地限制个人信息的访问/使用。例如，用户可选择参与或不参与他们的个人信息的收集。此外，尽管上述技术的各方面设想了个人信息的使用，但是这些技术的各方面可在不需要或不使用个人信息的情况下实现。例如，如果采集了位置信息、用户名和/或地址，它们可被一般化和/或屏蔽，使得它们不唯一地识别个体。

出于解释的目的，前面的描述是通过参考具体实施方案来描述的。然而，上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容，很多修改形式和变型形式都是可能的。选择并描述这些实施方案是为了最好地解释这些技术的原理及其实际应用程序。本领域的其他技术人员由此能够最好地利用这些技术以及具有适合于所预期的特定用途的各种修改的各种实施方案。

虽然参考附图对本公开以及实施方案进行了全面的描述，但应当注意，各种变化和修改对于本领域内的技术人员而言将变得显而易见。应当理解，此类变化和修改被认为被包括在由权利要求书所限定的本公开和实施方案的范围内。

Claims (37)

1.一种方法，所述方法包括：

经由显示设备呈现包括虚拟对象的计算机生成的现实环境；

经由一个或多个传感器检测在物理环境中发生的用户移动；以及

响应于确定所检测到的用户移动朝向所述虚拟对象并且所述虚拟对象遮挡所述物理环境中的真实对象进行以下操作：

确定所检测到的用户移动是指向所述虚拟对象还是指向所述真实对象；

根据确定所检测到的用户移动指向所述真实对象，修改所述虚拟对象的视觉外观，其中修改所述虚拟对象的所述视觉外观包括呈现所述真实对象的至少一部分；以及

根据确定所检测到的用户移动指向所述虚拟对象，保持所述虚拟对象的所述呈现以遮挡所述真实对象。

2.根据权利要求1所述的方法，其中确定所检测到的用户移动朝向所述虚拟对象包括确定所述虚拟对象与所述用户移动的位置之间的距离不超过阈值距离。

3.根据权利要求1所述的方法，还包括：

经由所述一个或多个传感器检测在所述物理环境中发生的用户姿势，其中所述确定所检测到的用户移动指向所述真实对象包括确定所检测到的用户姿势对应于所述真实对象的特征。

4.根据权利要求1所述的方法，还包括：

经由所述一个或多个传感器检测在所述物理环境中发生的用户姿势，其中所述确定所检测到的用户移动指向所述真实对象包括确定所检测到的用户姿势不对应于所述虚拟对象的特征。

5.根据权利要求1所述的方法，其中所述确定所检测到的用户移动指向所述真实对象包括确定与所检测到的用户移动相关联的速度超过阈值速度。

6.根据权利要求1所述的方法，还包括：

经由所述一个或多个传感器检测用户凝视，其中所述确定所检测到的用户移动指向所述真实对象包括确定所检测到的用户凝视指向所述真实对象。

7.根据权利要求1所述的方法，其中修改所述虚拟对象的所述视觉外观包括：

根据确定所检测到的用户移动以第一置信水平指向所述真实对象，以第一量值修改所述虚拟对象的所述视觉外观；以及

根据确定所检测到的用户移动以与所述第一置信水平不同的第二置信水平指向所述真实对象，以与所述第一量值不同的第二量值修改所述虚拟对象的所述视觉外观。

8.根据权利要求1所述的方法，其中确定所述虚拟对象遮挡来自所述物理环境的所述真实对象包括确定所述虚拟对象在所述计算机生成的现实环境中与所述真实对象至少部分地叠置。

9.根据权利要求1所述的方法，其中确定所述虚拟对象遮挡来自所述物理环境的所述真实对象包括确定所述虚拟对象从所述计算机生成的现实环境的用户角度至少部分地阻挡所述真实对象的视图。

10.根据权利要求1所述的方法，其中确定所检测到的用户移动是指向所述虚拟对象还是指向所述真实对象包括预测所检测到的用户移动将在何处停止。

11.根据权利要求1所述的方法，其中修改所述虚拟对象的所述视觉外观包括停止呈现所述虚拟对象的至少一部分。

12.根据权利要求1所述的方法，其中使用机器学习算法来执行对所检测到的用户移动是指向所述虚拟对象还是指向所述真实对象的确定。

13.一种电子设备，所述电子设备包括：

显示设备；和

用于执行根据权利要求1至12中任一项所述的方法的装置。

14.一种计算机可读存储介质，所述计算机可读存储介质存储被配置为由电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：

经由显示设备呈现包括虚拟对象的计算机生成的现实环境；

经由一个或多个传感器检测在物理环境中发生的用户移动；以及

响应于确定所检测到的用户移动朝向所述虚拟对象并且所述虚拟对象遮挡所述物理环境中的真实对象进行以下操作：

确定所检测到的用户移动是指向所述虚拟对象还是指向所述真实对象；

根据确定所检测到的用户移动指向所述真实对象，修改所述虚拟对象的视觉外观，其中修改所述虚拟对象的所述视觉外观包括呈现所述真实对象的至少一部分；以及

根据确定所检测到的用户移动指向所述虚拟对象，保持所述虚拟对象的所述呈现以遮挡所述真实对象。

15.根据权利要求14所述的计算机可读存储介质，其中确定所检测到的用户移动朝向所述虚拟对象包括确定所述虚拟对象与所述用户移动的位置之间的距离不超过阈值距离。

16.根据权利要求14所述的计算机可读存储介质，其中所述一个或多个程序还包括用于以下操作的指令：

经由所述一个或多个传感器检测在所述物理环境中发生的用户姿势，其中所述确定所检测到的用户移动指向所述真实对象包括确定所检测到的用户姿势对应于所述真实对象的特征。

17.根据权利要求14所述的计算机可读存储介质，其中所述一个或多个程序还包括用于以下操作的指令：

经由所述一个或多个传感器检测在所述物理环境中发生的用户姿势，其中所述确定所检测到的用户移动指向所述真实对象包括确定所检测到的用户姿势不对应于所述虚拟对象的特征。

18.根据权利要求14所述的计算机可读存储介质，其中所述确定所检测到的用户移动指向所述真实对象包括确定与所检测到的用户移动相关联的速度超过阈值速度。

19.根据权利要求14所述的计算机可读存储介质，其中所述一个或多个程序还包括用于以下操作的指令：

经由所述一个或多个传感器检测用户凝视，其中所述确定所检测到的用户移动指向所述真实对象包括确定所检测到的用户凝视指向所述真实对象。

20.根据权利要求14所述的计算机可读存储介质，其中修改所述虚拟对象的所述视觉外观包括：

根据确定所检测到的用户移动以第一置信水平指向所述真实对象，以第一量值修改所述虚拟对象的所述视觉外观；以及

根据确定所检测到的用户移动以与所述第一置信水平不同的第二置信水平指向所述真实对象，以与所述第一量值不同的第二量值修改所述虚拟对象的所述视觉外观。

21.根据权利要求14所述的计算机可读存储介质，其中确定所述虚拟对象遮挡来自所述物理环境的所述真实对象包括确定所述虚拟对象在所述计算机生成的现实环境中与所述真实对象至少部分地叠置。

22.根据权利要求14所述的计算机可读存储介质，其中确定所述虚拟对象遮挡来自所述物理环境的所述真实对象包括确定所述虚拟对象从所述计算机生成的现实环境的用户角度至少部分地阻挡所述真实对象的视图。

23.根据权利要求14所述的计算机可读存储介质，其中确定所检测到的用户移动是指向所述虚拟对象还是指向所述真实对象包括预测所检测到的用户移动将在何处停止。

24.根据权利要求14所述的计算机可读存储介质，其中修改所述虚拟对象的所述视觉外观包括停止呈现所述虚拟对象的至少一部分。

25.根据权利要求14所述的计算机可读存储介质，其中使用机器学习算法来执行对所检测到的用户移动是指向所述虚拟对象还是指向所述真实对象的确定。

26.一种电子设备，所述电子设备包括：

一个或多个处理器；和

存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下操作的指令：

经由显示设备呈现包括虚拟对象的计算机生成的现实环境；

经由一个或多个传感器检测在物理环境中发生的用户移动；以及

响应于确定所检测到的用户移动朝向所述虚拟对象并且所述虚拟对象遮挡所述物理环境中的真实对象进行以下操作：

确定所检测到的用户移动是指向所述虚拟对象还是指向所述真实对象；

根据确定所检测到的用户移动指向所述真实对象，修改所述虚拟对象的视觉外观，其中修改所述虚拟对象的所述视觉外观包括呈现所述真实对象的至少一部分；以及

根据确定所检测到的用户移动指向所述虚拟对象，保持所述虚拟对象的所述呈现以遮挡所述真实对象。

27.根据权利要求26所述的电子设备，其中确定所检测到的用户移动朝向所述虚拟对象包括确定所述虚拟对象与所述用户移动的位置之间的距离不超过阈值距离。

28.根据权利要求26所述的电子设备，其中所述一个或多个程序还包括用于以下操作的指令：

经由所述一个或多个传感器检测在所述物理环境中发生的用户姿势，其中所述确定所检测到的用户移动指向所述真实对象包括确定所检测到的用户姿势对应于所述真实对象的特征。

29.根据权利要求26所述的电子设备，其中所述一个或多个程序还包括用于以下操作的指令：

经由所述一个或多个传感器检测在所述物理环境中发生的用户姿势，其中所述确定所检测到的用户移动指向所述真实对象包括确定所检测到的用户姿势不对应于所述虚拟对象的特征。

30.根据权利要求26所述的电子设备，其中所述确定所检测到的用户移动指向所述真实对象包括确定与所检测到的用户移动相关联的速度超过阈值速度。

31.根据权利要求26所述的电子设备，其中所述一个或多个程序还包括用于以下操作的指令：

经由所述一个或多个传感器检测用户凝视，其中所述确定所检测到的用户移动指向所述真实对象包括确定所检测到的用户凝视指向所述真实对象。

32.根据权利要求26所述的电子设备，其中修改所述虚拟对象的所述视觉外观包括：

根据确定所检测到的用户移动以第一置信水平指向所述真实对象，以第一量值修改所述虚拟对象的所述视觉外观；以及

根据确定所检测到的用户移动以与所述第一置信水平不同的第二置信水平指向所述真实对象，以与所述第一量值不同的第二量值修改所述虚拟对象的所述视觉外观。

33.根据权利要求26所述的电子设备，其中确定所述虚拟对象遮挡来自所述物理环境的所述真实对象包括确定所述虚拟对象在所述计算机生成的现实环境中与所述真实对象至少部分地叠置。

34.根据权利要求26所述的电子设备，其中确定所述虚拟对象遮挡来自所述物理环境的所述真实对象包括确定所述虚拟对象从所述计算机生成的现实环境的用户角度至少部分地阻挡所述真实对象的视图。

35.根据权利要求26所述的电子设备，其中确定所检测到的用户移动是指向所述虚拟对象还是指向所述真实对象包括预测所检测到的用户移动将在何处停止。

36.根据权利要求26所述的电子设备，其中修改所述虚拟对象的所述视觉外观包括停止呈现所述虚拟对象的至少一部分。

37.根据权利要求26所述的电子设备，其中使用机器学习算法来执行对所检测到的用户移动是指向所述虚拟对象还是指向所述真实对象的确定。

Images