CN110520821A

CN110520821A - 将输入投射到三维物体表示

Info

Publication number: CN110520821A
Application number: CN201780089787.5A
Authority: CN
Inventors: 内森·巴尔·纽伯
Original assignee: Hewlett Packard Development Co LP
Current assignee: Hewlett Packard Development Co LP
Priority date: 2017-07-18
Filing date: 2017-07-18
Publication date: 2019-11-29
Also published as: EP3574387A1; WO2019017900A1; EP3574387A4; US20210278954A1

Abstract

在一些示例中，一种系统引起输入表面的表示的显示，并且引起三维(3D)物体的表示的显示。响应于通过输入装置在输入表面上进行的输入，该系统基于输入装置相对于参照物的角度，将输入投射到3D物体的表示,并且在所投射的输入和3D物体的表示的交叉处，与3D物体的表示进行交互。

Description

将输入投射到三维物体表示

背景技术

模拟现实系统可用于在显示装置上呈现模拟现实内容。在一些示例中，模拟现实内容包括虚拟现实内容，虚拟现实内容包括用户可使用输入装置与其进行交互的虚拟物体。在进一步的示例中，模拟现实内容包括增强现实内容，增强现实内容包括(由诸如相机之类的图像捕获装置捕获的)真实物体的图像和与真实物体的图像相关联的补充内容。在附加示例中，模拟现实内容包括混合现实内容(也被称为混成现实内容)，其包括合并了可进行交互的真实物体和虚拟物体的图像。

附图说明

参照以下附图描述本公开的一些实施方式。

图1是根据一些示例的包括输入表面和输入装置的布置的框图。

图2和图3是示出了根据一些示例的、将通过输入装置在输入表面上进行的输入投射到三维(3D)物体的表示的截面图。

图4是根据一些示例的对通过输入装置进行的输入进行处理的过程的流程图。

图5是根据进一步的示例的系统的框图。

图6是根据另外的示例的存储机器可读指令的存储介质的框图。

附图中相同的参考数字自始至终指代相似的、但并非一定相同的元素。附图并非一定是按比例绘制的，一些部件的尺寸可能被夸大以更清楚地例示所示出的示例。而且，附图提供与说明书一致的示例和/或实施方式；然而，说明书不限于附图中提供的示例和/或实施方式。

具体实施方式

除非上下文中另外清楚指明，否则本公开中使用的术语“一”或“该”旨在同时也包括复数形式。而且，当在本公开中使用时术语“包含”、“包含”、“具有”指明了所陈述的元素的存在，但不排除其它元素的存在或添加。

模拟现实内容可在多种不同类型的电子装置中的任意电子装置的显示装置上显示。在一些示例中，可在头戴式装置的显示装置上显示模拟现实内容。头戴式装置指的是可佩戴在用户头部并且遮盖用户的单眼或者双眼的任意电子装置(该电子装置包括显示装置)。在一些示例中，头戴式装置可包括缠绕用户头部的带子，以使得可将显示装置设置在用户眼睛前方。在进一步的示例中，头戴式装置可以是电子眼镜的形式，电子眼镜可以以与普通眼镜类似的方式佩戴，区别在于电子眼镜包括用户眼睛前方的显示屏(或多个显示屏)。在其他示例中，头戴式装置可包括接收移动装置的安装结构。在后面的这种示例中，移动装置的显示装置可用于显示内容，而移动装置的电子电路可用于执行处理任务。

当佩戴头戴式装置查看模拟现实内容时，用户可持有可由该用户操纵的输入装置，从而在作为模拟显示内容的一部分的物体上进行输入。在一些示例中，输入装置可包括数码笔，数码笔可包括光笔或任意其他可由用户的手握持的输入装置。使数码笔接触输入表面来进行对应的输入。

传统的使用数码笔的输入技术可能无法在用户正与模拟现实内容中的三维(3D)物体交互时稳定地工作。通常，当使数码笔接触输入表面时，接触点是与所显示的物体发生交互的点。换言之，通过数码笔在输入表面上进行的输入是在二维(2D)空间中发生的，其中，在检测进行输入的位置时，仅考虑数码笔与输入表面之间的接触点在2D空间中的X和Y坐标。当使用诸如上述的2D输入技术与3D空间中描绘的3D物体进行交互时，用户体验可能变差。

根据本公开的一些实施方式，如图1所示，系统包括头戴式装置102或者任意其他类型的、可包括显示3D物体的显示装置106的电子装置。在其他示例中，其他类型的电子装置可包括显示物体的表示的显示装置。在使用过程中，头戴式装置102被佩戴在用户的头部104。

显示装置106可显示3D物体的表示108(以下称为“3D物体表示”108)。3D物体表示可以是3D物体的虚拟表示。物体的虚拟表示可指由计算机或其他机器生成的、是真实物体的模拟的表示，无论真实物体是否存在或者在结构上是否能够存在。在其他示例中，3D物体表示108可以是3D物体的图像，其中该图像可由相机110捕获，相机110可以是头戴式装置102的一部分(或者可替换地，可以是与头戴式装置102分离的装置的一部分)。相机110可捕获真实对象物体(真实世界中存在的物体)的图像，并且在显示器106中生成该对象物体的图像。

尽管图1中仅描绘了一个相机110，但应注意的是，在其他示例中，系统可包括多个相机，无论是作为头戴式装置102的一部分还是多个装置的一部分。

显示装置106中显示的3D物体表示108是将使用根据本公开的一些实施方式的3D输入技术或机制来操纵(修改、选择等等)的对象物体。

如图1中进一步所示，用户的手中持有真实输入装置112。输入装置112可包括电子输入装置或无源输入装置。

电子输入装置的一个示例是数码笔。数码笔包括电子电路，该电子电路被用于帮助检测通过数码笔相对于真实输入表面114进行的输入。在使用过程中，数码笔由用户的手握持，用户的手使数码笔在输入表面114之上移动或者使数码笔移动跨越输入表面114，以进行期望的输入。在一些示例中，数码笔可包括有源元件(例如，传感器、诸如光发射器、电子信号发射器和电磁信号发射器之类的信号发射器等)，有源元件与输入表面114配合，从而引起在特定位置处进行输入，该特定位置为输入装置112进入输入表面114的指定邻近度的位置。指定邻近度可以指与输入装置112的尖端116之间的实际物理接触，或者可替换地可指尖端116与输入表面114之间小于指定距离的邻近度。

可替换地或者附加地，数码笔112还可包括通信接口，以允许数码笔112与诸如头戴式装置102的电子装置或其它电子装置进行通信。数码笔可通过无线方式或者通过有线链路进行通信。

在其他示例中，输入装置112可以是可被用户的手握持同时在输入表面114上进行输入的有源输入装置。在此类示例中，输入表面114能够检测输入装置112的尖端116的接触输入或指定邻近度。

输入表面114可以是电子输入表面或者无源输入表面。输入表面114包括由外壳结构115限定的平面表面(甚或非平面表面)。电子输入表面可包括触敏表面。例如，触敏表面可包括作为诸如平板电脑、智能手机、笔记本电脑等等的电子装置的一部分的触摸屏。可替换地，触敏表面可以是诸如笔记本电脑的触摸板、触控垫的触摸板或者其它触摸板装置之类的触摸板的一部分。

在进一步的示例中，输入表面114可以是无源表面，诸如纸张、桌子的表面等等。在此类示例中，输入装置112可以是可用于在无源输入表面114上进行输入的电子输入装置。

相机110可以是头戴式装置102的一部分或者可以是其它装置的一部分，其可用于捕获输入装置112和输入表面114的图像，或者用于感测输入装置112和输入表面114的位置。在其他示例中，不同于相机110的追踪装置可用于追踪输入装置112和输入表面114的位置，诸如输入装置112和输入表面114各自中的陀螺仪，输入装置112中的相机等等。

基于通过相机110(其可包括一个相机或多个相机和/或其他类型的追踪装置)捕获的输入装置112和输入表面114的信息，显示装置106可显示输入装置112的表示118以及输入表面114的表示120。输入装置表示118可以是通过相机110捕获的输入装置112的图像。可替换地，输入装置表示118可以是输入装置112的虚拟表示，其中，虚拟表示是输入装置112的模拟表示，而不是捕获的输入装置112的图像。

输入表面表示120可以是输入表面114的图像，或者可替换地可以是输入表面114的虚拟表示。

随着用户相对于输入表面114移动输入装置112，通过相机110或其它追踪装置检测此类移动，并且头戴式装置102(或者其它电子装置)使显示的输入装置表示118相对于输入表面表示120移动与输入装置112相对于输入表面114的移动相对应的量。

在一些示例中，显示的输入表面表示120是透明的，无论是完全透明的并且具有可视的边界以指明输入表面表示120的大体位置，还是部分透明的。显示装置108中显示的3D物体表示108在该透明的输入表面表示120后方是可视的。

通过在用户相对于真实输入表面114移动真实输入装置112时相对于输入表面表示120移动输入装置表示118，即使用户正佩戴着头戴式装置102并且因此无法实际看到真实输入装置112和真实输入表面114，用户也获得关于真实输入装置112相对于真实输入表面114的相对移动的反馈。

响应于通过输入装置112在输入表面114上进行的输入，头戴式装置102(或其它电子装置)将输入(沿着代表投射轴的虚线122)投射到3D物体表示108上的交叉点124。输入的沿着投射轴122的投射是基于输入装置112相对于输入表面114的角度进行的。在投射的输入与3D物体表示108的交叉点124处，投射的输入与3D物体表示108进行交互。

显示的输入装置表示118相对于显示的输入表面表示120的方位对应于真实输入装置112相对于真实输入表面114的方位。因此，例如，如果真实输入装置112相对于真实输入表面114具有角度α，则显示的输入装置表示118将相对于显示的输入表面表示120具有角度α。此角度α定义了在输入表面表示120的第一侧上进行的输入投射到位于输入表面表示120的第二侧上的3D物体表示108的交叉点124的投射的投射轴122，其中第二侧与第一侧相对。

图2是输入表面表示120和输入装置表示118的截面侧视图。如图2所描绘的，输入装置表示118具有沿着输入装置表示118的长度延伸的纵向轴202。输入装置表示118相对于输入表面表示120呈一角度，使得输入装置表示118的纵向轴202相对于输入表面表示120的前平面具有角度α。

角度α的取值范围可在大于0°的第一角度与小于180°的第二角度之间。例如，输入装置表示118可相对于输入表面表示120具有锐角，其中该锐角可以是30°、45°、60°或介于0°和90°之间的任意角度。可替换地，输入装置表示118可相对于输入表面表示120具有钝角，其中该钝角可以是120°、135°、140°或大于90°并小于180°的任意角度。

输入装置表示118具有大体沿着输入装置表示118的纵向轴202延伸的正向向量。此正向向量沿着投射轴204通过输入表面表示120投射到3D物体表示108。投射轴204从输入装置表示118的正向向量延伸。

与在输入装置表示118的尖端126和输入表面表示120的前平面之间的交互相对应的输入的3D投射是沿着投射轴204、通过虚拟3D空间(并且通过输入表面表示120)、投射到位于输入表面表示120的与输入装置表示118相对的一侧的3D物体表示108上的交叉点206。投射轴204相对于输入表面表示120的前平面具有角度α。

在投射的输入沿着投射轴204的交叉点206处，投射的输入与3D物体表示108进行交互。例如，交互可包括在交叉点206处绘制3D物体表示108，诸如在3D物体表示108上涂色，或者在3D物体表示108上提供纹理。在其他示例中，交互可包括雕刻3D物体表示108以改变3D物体的形状。在进一步的示例中，投射的输入可用于在3D物体表示108上添加元素，或者从3D物体表示108(例如，通过切割)移除元素。

在一些示例中，3D物体表示108可以是计算机辅助设计(CAD)应用的对象，CAD应用用于生成具有选定属性的物体。在其他示例中，3D物体表示108可以是虚拟现实表示的一部分、增强现实表示的一部分、包括虚拟和增强现实元素的电子游戏的一部分等等。

在一些示例中，3D物体表示108可相对于输入表面表示120在空间中保持固定，因此，随着输入装置表示118移过输入表面表示120的前平面(归因于用户对真实输入装置112的移动)，输入装置表示118可指向3D物体表示108的不同点。检测输入装置表示118相对于输入表面表示120的前平面的不同角度的能力允许输入装置表示118成为可指向3D物体表示108的不同点的3D输入机制。

在3D物体表示108相对于输入表面表示120在空间中保持固定的示例中，3D物体表示108会随着输入表面表示120而移动。可替换地，3D物体表示108可保持静止，而输入表面表示120可相对于3D物体表示108移动。

图2还示出了另一投射轴210，其可对应于用输入装置表示118进行的2D输入。在2D输入的情况下，输入装置表示118的尖端126与输入表面表示120的前平面之间的交互点(例如，具有X、Y坐标)将会是相对于3D物体表示108进行输入的点。投射轴210在交互点下方垂直向下投射。因此，在图2的示例中，由于3D物体表示108的任何部分都不位于交互点下方，所以沿着投射轴210进行的2D输入将不会选择3D物体表示108的任何部分。通常，用输入装置表示118进行的2D输入不会考虑输入装置表示118相对于输入表面表示120的角度。因此，在2D输入的情况下，无论输入装置表示118相对于输入表面表示120的角度如何，交互点处的输入都将会沿着投射轴210垂直向下投射。

图3示出了输入装置表示相对于输入表面表示120保持在两个不同角度的示例。在图3中，输入装置表示118相对于输入表面表示120具有第一角度，这使得对应的输入沿着第一投射轴308被投射到3D物体表示302上的第一交叉点304。在图3中，相同的输入装置表示118相对于输入表面表示120具有第二角度(不同于第一角度)使得对应的输入沿着第二投射轴310被投射到3D物体表示302上的第二交叉点306。注意，相对于输入表面表示120具有两个不同角度的输入装置表示(118和118A)在同一交互点312处进行输入。

前述示例涉及基于输入装置表示118相对于显示的输入表面表示120的角度α对输入进行投射。在其他示例中，诸如当3D物体表示(例如，图2中的108或者图3中的302)相对于输入表面表示120不固定时，投射可基于输入装置表示118相对于不同参照物(例如，参考平面)的角度。参照物相对于3D物体表示是固定的。因此，在一些示例中，一般地，参照物可以是输入表面表示120的前平面，或者在其他示例中可以是不同的参照物。

图4是根据本公开的一些实施方式的3D输入过程的流程图。3D输入过程可由头戴式装置102执行，或者由与头戴式装置102分离并可与头戴式装置102通信的系统执行。

3D输入过程包括：在显示装置(例如，图1中的106)中显示(步骤402)输入表面的表示。例如，可通过相机(例如，图1中的110)或其他追踪装置捕获真实世界中输入表面的位置和方位，并且所显示的输入表面的表示可以具有与真实世界中的输入表面的位置和方位相对应的位置和方位。

3D输入过程还在显示装置中显示(步骤404)3D物体的表示。3D输入过程还显示(步骤406)由用户操纵的输入装置的表示。例如，可通过相机(例如，图1中的110)或其他追踪装置捕获真实世界中输入装置的位置和方位，并且所显示的输入装置的表示可以具有与真实世界中的输入装置的位置和方位相对应的位置和方位。

响应于通过输入装置在输入表面上进行的输入(例如，通过输入装置在输入表面上进行的触摸输入，或者输入装置进入输入表面的指定邻近度)，3D输入过程基于输入装置相对于参照物的角度，将输入投射(步骤408)到3D物体的表示，并且在投射的输入与3D物体的表示的交叉处与3D物体的表示进行交互(步骤410)。响应于投射的输入而与3D物体的表示进行的交互可包括：修改3D物体的表示的一部分，或者选择3D物体的表示的一部分。

可在3D空间中确定输入表面和输入装置各自的方位。例如，诸如基于由相机(例如，图1中的110)捕获的输入表面和输入装置的信息，确定输入表面和输入装置各自的偏移、倾斜和转动。输入表面和输入装置各自的方位(偏移、倾斜和转动)用于确定：(1)输入装置相对于输入表面的实际角度(在输入装置与输入表面之间的交互点处)以及(2)投射轴的方向。可替换地，输入装置的方位可用于确定输入装置相对于参照物的角度以及投射轴的方向。

图5是包括头戴式装置502和处理器504的系统500的框图。处理器504可以是头戴式装置502的一部分，或者可与头戴式装置502分离。处理器可包括微处理器、多核微处理器的核、微控制器、可编程集成电路、可编程门阵列或者其他硬件处理电路。处理器504执行任务可指一个处理器执行任务，或者多个处理器执行任务。

图5示出了处理器504执行各种不同任务，这些任务可在诸如处理器504上运行的机器可读指令(例如，软件或固件)的控制下由处理器504执行。任务包括模拟现实内容显示任务506，其使头戴式装置502显示包括输入表面的表示和3D物体的表示的模拟现实内容。任务进一步包括响应于通过输入装置在输入表面上进行的输入而执行的任务508和任务510。任务508是输入投射任务，其基于输入装置相对于参照物的角度将输入投射到3D物体的表示。任务510是交互任务，其在所投射的输入与3D物体的表示的交叉处与3D物体的表示进行交互。

图6是存储有机器可读指令的非暂态机器可读或计算机可读存储介质600的框图，机器可读指令在运行时使得系统执行各种不同任务。

机器可读指令包括输入表面显示指令602，其引起输入表面的表示的显示。机器可读指令进一步包括3D物体显示指令604，其引起3D物体的表示的显示。机器可读指令进一步包括响应于通过输入装置在输入表面上进行的输入而运行的指令606和608。指令606包括输入投射指令，其基于输入装置相对于参照物的角度将输入投射到3D物体的表示。指令608包括交互指令，其在所投射的输入与3D物体的表示的交叉处与3D物体的表示进行交互。

存储介质600可包括以下的任意一个或一些组合：半导体存储装置，诸如动态或静态随机存取存储器(DRAM或SRAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)和闪存存储器；磁盘，诸如固定硬盘、软盘和可移动硬盘；其他磁性介质，包括磁带；光学介质，诸如光盘(CD)或数码影碟(DVD)；或其他类型的存储装置。注意，上述指令可提供在一个计算机可读或机器可读存储介质上，或者可替换地可提供在分布于可能具有复数节点的大型系统中的多个计算机可读或机器可读存储介质上。此类计算机可读或机器可读存储介质被认为是物品(或者制品)的一部分。物品或制品可指制造的任意单个部件或多个部件。存储介质要么位于运行机器可读指令的机器中，要么位于远程位置，可通过网络从远程位置下载机器可读指令以进行运行。

在前述描述中记载了大量细节以提供对在此公开的主题的理解。然而，可在没有这些细节中的一些细节的情况下实践各实施方式。其他实施方式可包括从上文中讨论的细节进行的修改和变型。随附权利要求书旨在覆盖此类修改和变型。

Claims

1.一种存储指令的非暂态机器可读存储介质，所述指令在运行时使系统：

引起输入表面的表示的显示；

引起三维3D物体的表示的显示；以及

响应于通过输入装置在所述输入表面上进行的输入：

基于所述输入装置相对于参照物的角度，将所述输入投射到所述3D物体的所述表示，并且

在所投射的输入和所述3D物体的所述表示的交叉处，与所述3D物体的所述表示进行交互。

2.如权利要求1所述的非暂态机器可读存储介质，其中，引起输入表面的表示的显示包括：引起触敏表面的表示的显示，并且其中，通过所述输入装置进行的所述输入包括：所述触敏表面上的触摸输入。

3.如权利要求1所述的非暂态机器可读存储介质，其中，所述参照物包括所述输入表面的所述表示的平面。

4.如权利要求1所述的非暂态机器可读存储介质，其中，引起输入表面的表示的显示和引起3D物体的表示的显示是在头戴式装置的显示装置上进行的。

5.如权利要求4所述的非暂态机器可读存储介质，其中，所述输入表面的所述表示包括对应于所述输入表面的虚拟表示，所述输入表面是真实装置的一部分。

6.如权利要求4所述的非暂态机器可读存储介质，其中，所述输入表面的所述表示包括由相机捕获的所述输入表面的图像。

7.如权利要求1所述的非暂态机器可读存储介质，其中，所述指令在运行时使所述系统进一步：

引起所述输入装置的表示的显示；以及

响应于所述输入装置的用户移动，移动所述输入装置的所述表示。

8.如权利要求7所述的非暂态机器可读存储介质，其中，所述投射包括沿着投射轴进行并且通过所述输入表面的所述表示以与所述3D物体的所述表示交叉的投射，所述投射轴沿着所述输入装置的所述表示的纵向轴延伸。

9.如权利要求1所述的非暂态机器可读存储介质，其中，所述指令在运行时使所述系统进一步：

确定所述输入表面的方位和所述输入装置的方位，

其中所述投射是基于所确定的所述输入表面的方位和所确定的所述输入装置的方位。

10.如权利要求1所述的非暂态机器可读存储介质，其中，

响应于在所述输入表面上的第一位置处进行所述输入时所述输入装置相对于所述参照物的第一角度，所述输入被投射到所述3D物体的所述表示上的第一点，并且

响应于在所述输入表面上的所述第一位置处进行所述输入时所述输入装置相对于所述参照物的不同的第二角度，所述输入被投射到所述3D物体的所述表示上的不同的第二点。

11.一种系统，包括：

头戴式装置；以及

处理器，用于：

由所述头戴式装置引起模拟现实内容的显示，所述模拟现实内容包括输入表面的表示和三维3D物体的表示；以及

响应于通过输入装置在所述输入表面上进行的输入：

12.如权利要求11所述的系统，其中，所述投射沿着投射轴进行，通过所述输入表面的所述表示，到达所述3D物体的所述表示，所述投射轴在虚拟3D空间中沿着所述输入装置的纵向轴延伸。

13.如权利要求11所述的系统，其中，所述处理器是所述头戴式装置的一部分，或者是与所述头戴式装置分离的另一装置的一部分。

14.一种方法，包括：

显示输入表面的表示；

显示三维3D物体的表示；

显示由用户操纵的输入装置的表示；以及

响应于通过所述输入装置在所述输入表面上进行的输入：

15.如权利要求14所述的方法，其中，所述输入表面的所述表示、所述3D物体的所述表示以及所述输入装置的所述表示是头戴式装置的显示装置上显示的模拟现实内容的一部分。