[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN110673340A - 增强现实设备的控制方法及增强现实设备 - Google Patents

增强现实设备的控制方法及增强现实设备 Download PDF

Info

Publication number
CN110673340A
CN110673340A CN201910906702.9A CN201910906702A CN110673340A CN 110673340 A CN110673340 A CN 110673340A CN 201910906702 A CN201910906702 A CN 201910906702A CN 110673340 A CN110673340 A CN 110673340A
Authority
CN
China
Prior art keywords
polarization state
virtual image
ambient light
display
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910906702.9A
Other languages
English (en)
Inventor
任红恩
姜滨
迟小羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Optical Technology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN201910906702.9A priority Critical patent/CN110673340A/zh
Publication of CN110673340A publication Critical patent/CN110673340A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种增强显示设备的控制方法及增强现实设备。该方法包括:接收来自偏光片的第一偏振态的环境光,其中第一偏振态的环境光由偏光片对自然光进行过滤得到;获取透明屏上的遮挡对应位置,遮挡对应位置为第一部分第一偏振态的环境光对应在透明屏上的位置;控制透明屏将第一部分第一偏振态的环境光转换为第二偏振态的环境光后出射至分光镜、并透过第二部分第一偏振态的环境光至分光镜;控制显示器显示虚拟图像并出射第一偏振态的虚拟图像光;其中第一部分第一偏振态的环境光用于向用户呈现特定环境对象、且特定环境对象计划遮挡部分虚拟图像光呈现给用户的特定虚拟图像。

Description

增强现实设备的控制方法及增强现实设备
技术领域
本发明涉及显示技术领域,尤其涉及一种增强现实设备的控制方法、一种增强现实设备。
背景技术
目前,可通过视频透视,或光学透视的方式实现增强现实AR技术,以到达现实环境与虚拟世界叠加的效果。
在利用视频透视实现AR技术时,首先通过摄像装置采集现实环境的图像,然后通过处理器将该现实环境的图像转换为数字图像,并在转换的过程中将虚拟世界的虚拟图像叠加到现实环境的图像上,最后将叠加后的图像通过显示器进行显示。但是,对于该方式,处理器的计算量非常大,这导致显示器无法及时显示出现虚拟世界的虚拟图像叠加到现实环境的图像上所形成的图像。另外,该方式的显示效果依赖于摄像装置的采集和处理器的渲染还原能力,而摄像装置在采集过程中不可避免产生一定的畸变,处理器渲染后和还原过程中也会产生一定的失真,这导致显示器最终显示出的图像中的现实环境的图像与真实的现实环境的图像差异较大。
为了解决上述视频透视中存在的问题,通常采用光学透视以实现AR技术。这是因为利用光学透视实现AR技术时,现实环境的图像直接为人眼看到,而无需对现实环境的图像进行转换以及渲染还原。但利用光学透视实现AR技术时,是将虚拟世界的虚拟图像直接叠加到用户看到的现实环境的图像上,这样使得利用光学透视的AR技术所显示的图像中,用户能够清晰的分辨出虚拟图像和现实环境的图像,使得用户体验差。
发明内容
本发明的目的在于提供一种增强现实设备的控制的新技术方案。
根据本发明的第一方面,提供了一种增强现实设备的控制方法,包括:
所述增强现实设备包括偏光片、透明屏、分光镜、显示器、偏光转换反射器以及处理器,所述控制方法包括:
接收来自所述偏光片的第一偏振态的环境光,其中所述第一偏振态的环境光由所述偏光片对自然光进行过滤得到;
获取所述透明屏上的遮挡对应位置,所述遮挡对应位置为第一部分所述第一偏振态的环境光对应在所述透明屏上的位置;
控制所述透明屏将所述第一部分所述第一偏振态的环境光转换为第二偏振态的环境光后出射至所述分光镜、并透过第二部分所述第一偏振态的环境光至所述分光镜;控制所述显示器显示虚拟图像并出射第一偏振态的虚拟图像光;其中所述第一部分所述第一偏振态的环境光用于向用户呈现特定环境对象、且所述特定环境对象计划遮挡部分所述虚拟图像光呈现给用户的特定虚拟图像;
其中,所述分光镜用于透射所述第二部分所述第一偏振态的环境光、透射所述第一偏振态的虚拟图像光,并反射所述第二偏振态的环境光。
可选的,所述方法还包括:
确定显示器上的遮挡区域;
控制所述显示器上除所述遮挡区域以外的区域展示虚拟图像;
其中,来自所述遮挡区域的虚拟图像光计划用于向用户呈现设定虚拟图像、且所述设定虚拟图像计划遮挡呈现给用户的设定环境对象,所述设定环境对象是部分所述第二部分所述第一偏振态的环境光呈现的。
可选的,所述获取所述透明屏上的遮挡对应位置,包括:
获取包含景深信息的环境图像;
根据所述环境图像获取所述透明屏上的所述遮挡对应位置。
可选的,所述方法还包括:
根据所述包含景深信息的环境图像确定所述环境对象的物体种类;
根据所述物体种类生成所述特定虚拟图像。
可选的,所述方法还包括:
实时获取所述用户的头部运动状态信息;
根据所述运动状态信息调整所述特定虚拟图像的显示位置和/或显示状态。
根据本发明的第二方面,提供了一种增强现实设备,包括:
偏光片,用于对自然光进行过滤,以得到第一偏振态的环境光;
透明屏,与所述偏光片平行设置且位于人眼一侧,用于透射第二部分所述第一偏振态的环境光、并将第一部分所述第一偏振态的环境光转换成第二偏振态的环境光;
分光镜,与所述透明屏成第一预设夹角且位于人眼一侧,被配置为透射来自所述透明屏的所述第二部分所述第一偏振态的环境光,反射所述第二偏振态的环境光;
显示器,与所述分光镜成第二预设夹角,用于显示虚拟图像并出射第一偏振态的虚拟图像光;
偏光转换反射器,设于所述分光镜另一侧且与所述显示器分设在所述分光镜的两侧,用于将所述第一偏振态的虚拟图像光转换为第二偏振态的虚拟图像光,并将所述第二偏振态的虚拟图像光反射至所述分光镜;
所述分光镜还用于,透射来自所述显示器的所述第一偏振态的虚拟图像光;所述增强现实设备还包括:
处理器,用于获取所述透明屏上的遮挡对应位置,所述遮挡对应位置为所述第一部分所述第一偏振态的环境光对应在所述透明屏上的位置,并控制所述透明屏将所述第一部分所述第一偏振态的环境光转换为所述第二偏振态的环境光;控制所述显示器显示虚拟图像并出射第一偏振态的虚拟图像光;其中所述第一部分所述第一偏振态的环境光用于向用户呈现特定环境对象、且所述特定环境对象计划遮挡部分虚拟图像光呈现给用户的特定虚拟图像。
可选的,所述处理器,还用于确定显示器上的遮挡区域、并控制所述显示器上除所述遮挡区域以外的区域展示虚拟图像;其中,来自所述遮挡区域的虚拟图像光用于向用户呈现设定虚拟图像、且所述设定虚拟图像计划遮挡呈现给用户的设定环境对象,所述设定环境对象是部分所述第二部分所述第一偏振态的环境光呈现的。
可选的,还包括:
图像采集单元,用于获取包含景深信息的环境图像;
所述处理器,还用于根据所述环境图像获取所述透明屏上的所述遮挡对应位置。
可选的,所述处理器,还用于
根据所述包含景深信息的环境图像确定所述特定环境对象的物体种类;
根据所述物体种类生成所述特定虚拟图像。
可选的,
所述处理器,还用于
实时获取所述用户的头部运动状态信息;
根据所述运动状态信息调整所述特定虚拟图像的显示位置和/或显示状态。
在本实施例中,可获取透明屏上的遮挡对应位置,然后控制透明屏将该遮挡对应位置处的第一部分的第一偏振态的环境光转换为第二偏转状态的环境光后出射至分光镜。此时第二偏转状态的环境光不会进入人眼中。即第一部分第一偏振态的环境光向用户呈现的特定环境对象将不会被用户所看到。在此基础上,控制显示器显示虚拟图像并出射第一偏振态的虚拟图像光,此时,虚拟图像将和现实环境对象(在本实施例中指的是第一偏振态的环境光呈现的对象)高度融合,可向用户提供虚拟图像遮挡现实环境对象的体验感。这样使得用户可清楚的区分出虚拟图像和现实环境对象,这极大的提高了用户的体验。示例性的,本实施例提供的方法的显示效果可如图4所示。
通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍。应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定。对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1是本发明实施例提供的一种增强现实设备的控制方法的流程示意图;
图2是本发明实施例提供的一种增强现实设备的结构示意图;
图3是本发明实施例提供的一种另一种增强现实设备的结构示意图;
图4是本发明实施例提供的一种增强现实设备的显示效果的示意图;
图5是本发明实施例提供的另一种增强现实设备的显示效果的示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
<增强现实设备的控制方法>
如图1所示,本发明实施例提供一种增强现实设备的控制方法,其中,增强现实设备如图2所示,包括偏光片、透明屏、分光镜、显示器、偏光转换发射器以及处理器。
针对于增强现实设备,具体的,透明屏与偏振片平行设置且位于人眼同一侧,偏振片位于透明屏远离人眼的一侧设置;分光镜与透明屏成第一预设夹角α且位于人眼同一侧,分光镜位于透明屏与人眼之间;显示器与分光镜成第二预设夹角β;偏光转换反射器,设于平行于显示器且与显示器分设在分光镜两侧。
需要说明的是,图2中并未示出处理器。可以理解的是处理器可以设置在如图2所示结构的多个位置,只要处理器不要遮挡本实施例中涉及到的各种光即可。另外,本实施例提供的增强现实设备的控制方法由处理器实现。
另外,该增强现实设备可以为:AR眼镜或AR头盔等。
基于上述的增强现实设备,本实施例提供的增强现实设备的控制方法包括如下的S101-S103:
S101、接收来自偏光片的第一偏振态的环境光,其中,第一偏振态的环境光由偏振片对自然光进行过滤得到。
在一个实施例中,偏振片可以为P型偏振片。此时,偏振片用于对自然光进行过滤,得到P偏振态的环境光。基于此可知,当偏振片为P型偏振片时,上述S101中的第一偏振态为P偏振态。
在另一个实施例中,偏振片可以为S型偏振片。此时,偏振片用于对自然光进行过滤,得到S偏振态的环境光。基于此可知,当偏振片为S型偏振片时,上述S101中的第一偏振态为S偏振态。
需要说明的是,偏振片对自然光进行过滤,并不会导致人眼看到的真实环境发生改变。因此,基于第一偏振态的环境光,用户可以看到真实的环境。
S102、获取透明屏上的遮挡对应位置,遮挡对应位置为第一部分第一偏振态的环境光对应在透明屏上的位置。
其中,第一部分第一偏振态的环境光用于向用户呈现特定环境对象、且该特定环境对象计划遮挡部分虚拟图像光呈现给用户的特定虚拟图像。
需要说明的是,特定环境对象为环境中的实体。
在一个实施例中,处理器可从具有增强现实功能的终端中,直接获取上述的遮挡对应位置。
在另一个实施例中,上述获取透明屏上遮挡对应位置还可为处理器自行获取的,具体的获取方式可包括如下步骤S1021和S1022:
S1021、获取包含景深信息的环境图像。
在一个实施例中,上述S1021的具体实现可以为:通过一个图像采集单元(例如双目摄像机,或者TOF摄像机)采集得到环境图像,以及该环境图像对应景深信息。可以理解的是,环境图像的景深信息可以反映出环境图像对应的实体距离透明屏的距离。需要说明的是,图像采集单元所采集的环境图像和对应的景深信息,为从人眼视线方向上的采集得到的。
S1022、根据环境图像获取透明屏上的遮挡对应位置。
在本实施例中,上述S1022的具体实现可以为:获取特定虚拟图像在显示器上的显示位置;基于显示器的坐标系以及透明屏的坐标系之间的转换关系,得到特定虚拟图像对应在透明屏上的位置。在特定虚拟图像对应的景深信息所表征的特定虚拟图像与透明屏之间的视觉距离,小于或等于特定环境对象与透明屏之间的距离时,将特定虚拟图像对应在透明屏上的位置,确定为遮挡对应位置。
在一个例子中,特定虚拟图像可以为一个虚拟的怪兽的图像。
在一个实施例中,上述S1021和S1022所示实施例中,特定虚拟图像可为处理器具有增强现实功能的终端中直接获取。当然,还可以为处理器基于环境图像得到。基于此,在上述S1021和S1022的基础上,本实施例提供的增强现实设备的控制方法还包括如下S1023和S1024:
S1023、根据包含景深信息的环境图像确定环境对象的物体种类。
S1024、根据环境对象的物体种类生成特定虚拟图像。
在本实施例中,上述S1023和S1024的具体实现可以为:处理器获取包含景深信息的环境图像,然后基于识别算法(例如深度学习算法),识别出环境图像中每一环境对象所对应的物体种类。再将识别出的环境图像中每一环境对象所对应的物体种类提交给具有增强现实功能的终端。具有增强现实功能的终端基于自身的功能,选择出特定环境对象所对应的物体种类,同时基于预先存储的物体种类与特定虚拟图像之间的映射关系,获取与特定环境对象的物体种类对应的特定虚拟图像,以及该与特定环境对象的物体种类对应的特定虚拟图像的景深信息,并将获取到的特定虚拟图像和对应的景深信息,发送至增强现实设备。
例如,在具有增强现实功能的终端为一个游戏终端时,具有增强现实功能的终端可基于自身的游戏功能,选择将环境中的沙发作为特定环境对象的物体种类,然后基于沙发生成虚拟的怪兽这一特定虚拟对象。
在一个例子中,具有增强现实功能的终端可以为手机、笔记本电脑、个人数字电脑以及平板电脑等设备。
在一个实施例中,在上述任一实施例的基础上,本发明实施例提供的增强现实设备的控制方法,还包括如下S1025和S1026:
S1025、实时获取用户的头部运动状态信息。
在本实施例中,可以理解的是,用户的头部运动状态信息,即为用户佩戴的增强现实设备的运动状态信息。
S1026、根据运动状态信息调整特定虚拟图像的显示位置和/或显示状态。
在本实施例中,上述的显示位置指的是,特定虚拟图像在显示器中的显示位置,可以理解的是,当特定虚拟图像在显示器中的显示位置发生变化时,该特定虚拟图像在人眼中的呈现的位置也发生变化。
上述的显示状态指的是,特定虚拟图像相对于用户,即增强显示设备的不同角度呈现的特定虚拟图像。
在本实施例中,可根据实时获取到的用户的头部运动状态信息,调整特定虚拟图像的显示位置和/或显示状态,这提高了本实施例提供的增强现实设备的控制方法的智能性。
S103、控制透明屏将第一部分第一偏振态的环境光转换为第二偏振态的环境光后出射至分光镜,并透过第二部分第一偏振态的环境光至分光镜;控制显示器显示虚拟图像并出射第一偏振态的虚拟图像光。其中第一部分第一偏振态的环境光用于向用户呈现特定环境对象、且特定环境对象计划遮挡部分虚拟图像光呈现给用户的特定虚拟图像。
在本实施例中,透明屏可以为LCD显示屏。在透明屏为LCD屏时,该透明屏由液晶矩阵组成。且该透明屏中的液晶可在处理器的控制下发生偏转。在透明屏上的部分液晶在处理器的控制下发生偏转时,该部分液晶透过的光的偏振态将发生变化。例如,当透明屏中一部分的液晶在处理器的控制下偏转90°,且经过偏振片得到第一偏振态的环境光,此时,该部分液晶处对应的第一偏振态的环境光被转换为第二偏振态的环境光。基于此,上述S103中的实现控制透明屏将第一部分第一偏振态的环境光转换为第二偏振态的环境光后出射至分光镜的方式为:控制透明屏上的遮挡对应位置处的液晶偏转90°。
在本实施例中,分光镜可以为PBS分光镜。另外,如图2所示,第一预设夹角记为α,α可以为45°,当然,α还可以为其他角度。分光镜用于出射(即反射)第二偏振态的环境光,以及透射第二部分第一偏振态的环境光。基于此,人眼将不会接收到第二偏振态的环境光,即人眼不会看到特定环境对象。
在本实施例中,显示器通常为微显示器,在一个例子中,显示器可以为LCOS反射式器件。或者,显示器还可以为uOLED或uLED等主动发光的微显示器。需要说明的是,LCOS反射式器件和主动发光微显示器中均包含光学结构,以使其发射出的光线为预设偏振态的光。而在本发明实施例中,这里的预设偏振态为第一偏振态。如2所示,第二预设夹角记为β,β可以为90°,当然,β还可以为其他角度。
另外,以图2为例,本实施例中的显示器出射第一偏振态的虚拟图像光的光路为:显示器出射第一偏振态的虚拟图像光透过分光镜,直达偏光转换反射器;偏光转换反射器将显示器出射的第一偏振态的虚拟图像光,转换为第二偏振态的虚拟图像光,并将该第二偏振态的虚拟图像光反射至分光镜;分光镜将该第二偏振态的虚拟图像光反射至人眼。
以图3为例,本实施例中的显示器出射第一偏振态的虚拟图像光的光路为:显示器出射第一偏振态的虚拟图像光透过分光镜,首次经过1/4波片时,显示器出射第一偏振态的虚拟图像光的振动方向首次偏转45°,此时,该首次偏转后的光的偏振态处于P偏振态和S偏振态之间;首次偏转后的光到达反射镜,并被反射镜反射,以再次到达1/4波片,振动方向再次偏转45°,此时,该再次偏转后的光成为第二偏振态的虚拟图像光;第二偏振态的虚拟图像光直达分光镜,由分光镜将该第二偏振态的虚拟图像光反射至人眼。
需要说明的是,在本实施例中,虚拟图像中包含特定虚拟图像,且虚拟图像中除特定虚拟图像外均为透明的。另外,图2和图3中以带箭头的细线表示第二偏振态的光,以带箭头的粗线表示第二偏振态的光。
在本实施例中,可获取透明屏上的遮挡对应位置,然后控制透明屏将该遮挡对应位置处的第一部分的第一偏振态的环境光转换为第二偏转状态的环境光后出射至分光镜。此时第二偏转状态的环境光不会进入人眼中。即第一部分第一偏振态的环境光向用户呈现的特定环境对象将不会被用户所看到。在此基础上,控制显示器显示虚拟图像并出射第一偏振态的虚拟图像光,此时,虚拟图像将和现实环境对象(在本实施例中指的是第一偏振态的环境光呈现的对象)高度融合,可向用户提供虚拟图像遮挡现实环境对象的体验感。这样使得用户可清楚的区分出虚拟图像和现实环境对象,极大的提高了用户的体验。示例性的,本实施例提供的方法的显示效果可如图4所示。
在上述任一实施例的基础上,本发明实施例提供的增强现实设备的控制方法还包括如下步骤:
S104、确定显示器上的遮挡区域。
在一个实施例中,上述的确定显示器上的遮挡区域的具体实现方式可以为:从具有增强现实功能的终端直接获知的。
在另一个实施例中,上述的确定显示器上的遮挡区域的具体实现方式还可以为:获取特定虚拟图像在显示器上的显示位置;基于显示器的坐标系以及透明屏的坐标系之间的转换关系,得到特定虚拟图像对应在透明屏上的位置。在特定虚拟图像对应的景深信息所表征的特定虚拟图像与透明屏之间的视觉距离,大于特定虚拟图像对应在透明屏上的位置处的特定环境对象与透明屏之间的距离时,将特定虚拟图像对应在透明屏上的位置,确定为遮挡对应位置。
S105、控制显示器上除显示器上的遮挡区域以外的区域展示虚拟图像。
其中,来自上述S104中的遮挡区域的虚拟图像光计划用于呈现设定虚拟图像,且设定虚拟图像计划遮挡呈现给用户的设定环境对象,设定环境对象是部分第二部分第一偏振态的环境光呈现的。即设定环境对象和上述的特定环境对象是不相同的,设定虚拟图像与上述的特定虚拟图像不相同。
在本实施例中,可确定出显示器上的遮挡区域,并控制显示器上除遮挡区域以外的区域展示虚拟图像。这样,可实现设定环境对象遮挡设定虚拟图像的效果。此时,虚拟图像将和现实环境对象(在本实施例中指的是第二部分第一偏振态的环境光呈现的对象)高度融合,可向用户提供虚拟图像被现实环境对象遮挡的体验感。这样使得用户可清楚的区分出虚拟图像和现实环境对象,这进一步的提高了用户的体验。示例性的,本实施例提供的方法的显示效果可如图5所示。其中,图5中所涉及到的剩余第二部分第一偏振态的环境光指的是,第二部分第一偏振态的环境光中除第二部分第一偏振态的环境光之外的环境光。
<增强现实设备>
本发明实施例提供一种增强现实设备,该增强现实设备可以为增强现实眼镜或者增强现实头盔等。该增强显示设备包括:偏光片、透明屏、分光镜、显示器、偏光转换反射器以及处理器。其中:
偏光片,用于对自然光进行过滤,以得到第一偏振态的环境光;
透明屏,与所述偏光片平行设置且位于人眼一侧,用于透射第二部分所述第一偏振态的环境光、并将第一部分所述第一偏振态的环境光转换成第二偏振态的环境光;
分光镜,与所述透明屏成第一预设夹角且位于人眼一侧,被配置为透射来自所述透明屏的所述第二部分所述第一偏振态的环境光,反射所述第二偏振态的环境光;
显示器,与所述分光镜成第二预设夹角,用于显示虚拟图像并出射第一偏振态的虚拟图像光;
偏光转换反射器,设于所述分光镜另一侧且与所述显示器分设在所述分光镜的两侧,用于将所述第一偏振态的虚拟图像光转换为第二偏振态的虚拟图像光,并将所述第二偏振态的虚拟图像光反射至所述分光镜;
所述分光镜还用于,透射来自所述显示器的所述第一偏振态的虚拟图像光;所述增强现实设备还包括:
处理器,用于获取所述透明屏上的遮挡对应位置,所述遮挡对应位置为所述第一部分所述第一偏振态的环境光对应在所述透明屏上的位置,并控制所述透明屏将所述第一部分所述第一偏振态的环境光转换为所述第二偏振态的环境光;控制所述显示器显示虚拟图像并出射第一偏振态的虚拟图像光;其中所述第一部分所述第一偏振态的环境光用于向用户呈现特定环境对象、且特定环境对象计划遮挡部分虚拟图像光呈现给用户的特定虚拟图像。
在一个实施例中,处理器,还用于确定显示器上的遮挡区域、并控制所述显示器上除所述遮挡区域以外的区域展示虚拟图像;其中,来自所述遮挡区域的虚拟图像光用于向用户呈现设定虚拟图像、且设定虚拟图像计划遮挡呈现给用户的设定环境对象,所述设定环境对象是部分所述第二部分所述第一偏振态的环境光呈现的。
在一个实施例中,本实施例提供的增强现实设备还包括:
图像采集单元,用于获取包含景深信息的环境图像;
所述处理器,还用于根据所述环境图像获取所述透明屏上的所述遮挡对应位置。
在一个实施例中,所述处理器,还用于根据所述包含景深信息的环境图像确定所述特定环境对象的物体种类;
根据所述物体种类生成所述特定虚拟图像。
在一个实施例中,所述处理器,还用于
实时获取所述用户的运动状态信息;
根据所述运动状态信息调整所述特定虚拟图像的显示位置和/或显示状态。
需要说明的是,本实施例涉及到的增强现实设备的具体结构可参见上述如图2和如图3所示的结构。另外,本实施提供的增强现实设备中的处理器所实现的具体功能可参见上述实施例提供的增强现实设备的控制方法,这里不再赘述。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是,通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种增强现实设备的控制方法,其特征在于,所述增强现实设备包括偏光片、透明屏、分光镜、显示器、偏光转换反射器以及处理器,所述控制方法包括:
接收来自所述偏光片的第一偏振态的环境光,其中所述第一偏振态的环境光由所述偏光片对自然光进行过滤得到;
获取所述透明屏上的遮挡对应位置,所述遮挡对应位置为第一部分所述第一偏振态的环境光对应在所述透明屏上的位置;
控制所述透明屏将所述第一部分所述第一偏振态的环境光转换为第二偏振态的环境光后出射至所述分光镜、并透过第二部分所述第一偏振态的环境光至所述分光镜;控制所述显示器显示虚拟图像并出射第一偏振态的虚拟图像光;其中所述第一部分所述第一偏振态的环境光用于向用户呈现特定环境对象、且所述特定环境对象计划遮挡部分所述虚拟图像光呈现给用户的特定虚拟图像;
其中,所述分光镜用于透射所述第二部分所述第一偏振态的环境光、透射所述第一偏振态的虚拟图像光,并反射所述第二偏振态的环境光。
2.根据权利要求1所述的控制方法,其特征在于,所述方法还包括:
确定显示器上的遮挡区域;
控制所述显示器上除所述遮挡区域以外的区域展示虚拟图像;
其中,来自所述遮挡区域的虚拟图像光计划用于向用户呈现设定虚拟图像、且所述设定虚拟图像计划遮挡呈现给用户的设定环境对象,所述设定环境对象是部分所述第二部分所述第一偏振态的环境光呈现的。
3.根据权利要求1所述的控制方法,其特征在于,所述获取所述透明屏上的遮挡对应位置,包括:
获取包含景深信息的环境图像;
根据所述环境图像获取所述透明屏上的所述遮挡对应位置。
4.根据权利要求3所述的控制方法,其特征在于,所述方法还包括:
根据所述包含景深信息的环境图像确定所述环境对象的物体种类;
根据所述物体种类生成所述特定虚拟图像。
5.根据权利要求4所述的控制方法,其特征在于,所述方法还包括:
实时获取所述用户的头部运动状态信息;
根据所述运动状态信息调整所述特定虚拟图像的显示位置和/或显示状态。
6.一种增强现实设备,其特征在于,包括:
偏光片,用于对自然光进行过滤,以得到第一偏振态的环境光;
透明屏,与所述偏光片平行设置且位于人眼一侧,用于透射第二部分所述第一偏振态的环境光、并将第一部分所述第一偏振态的环境光转换成第二偏振态的环境光;
分光镜,与所述透明屏成第一预设夹角且位于人眼一侧,被配置为透射来自所述透明屏的所述第二部分所述第一偏振态的环境光,反射所述第二偏振态的环境光;
显示器,与所述分光镜成第二预设夹角,用于显示虚拟图像并出射第一偏振态的虚拟图像光;
偏光转换反射器,设于所述分光镜另一侧且与所述显示器分设在所述分光镜的两侧,用于将所述第一偏振态的虚拟图像光转换为第二偏振态的虚拟图像光,并将所述第二偏振态的虚拟图像光反射至所述分光镜;
所述分光镜还用于,透射来自所述显示器的所述第一偏振态的虚拟图像光;所述增强现实设备还包括:
处理器,用于获取所述透明屏上的遮挡对应位置,所述遮挡对应位置为所述第一部分所述第一偏振态的环境光对应在所述透明屏上的位置,并控制所述透明屏将所述第一部分所述第一偏振态的环境光转换为所述第二偏振态的环境光;控制所述显示器显示虚拟图像并出射第一偏振态的虚拟图像光;其中所述第一部分所述第一偏振态的环境光用于向用户呈现特定环境对象、且所述特定环境对象计划遮挡部分所述虚拟图像光呈现给用户的特定虚拟图像。
7.根据权利要求6所述的增强现实设备,其特征在于,
所述处理器,还用于确定显示器上的遮挡区域、并控制所述显示器上除所述遮挡区域以外的区域展示虚拟图像;其中,来自所述遮挡区域的虚拟图像光用于向用户呈现设定虚拟图像、且所述设定虚拟图像计划遮挡呈现给用户的设定环境对象,所述设定环境对象是部分所述第二部分所述第一偏振态的环境光呈现的。
8.根据权利要求6所述的增强现实设备,其特征在于,还包括:
图像采集单元,用于获取包含景深信息的环境图像;
所述处理器,还用于根据所述环境图像获取所述透明屏上的所述遮挡对应位置。
9.根据权利要求8所述的增强现实设备,其特征在于,
所述处理器,还用于
根据所述包含景深信息的环境图像确定所述特定环境对象的物体种类;
根据所述物体种类生成所述特定虚拟图像。
10.根据权利要求9所述的增强现实设备,其特征在于,
所述处理器,还用于
实时获取所述用户的头部运动状态信息;
根据所述运动状态信息调整所述特定虚拟图像的显示位置和/或显示状态。
CN201910906702.9A 2019-09-24 2019-09-24 增强现实设备的控制方法及增强现实设备 Pending CN110673340A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910906702.9A CN110673340A (zh) 2019-09-24 2019-09-24 增强现实设备的控制方法及增强现实设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910906702.9A CN110673340A (zh) 2019-09-24 2019-09-24 增强现实设备的控制方法及增强现实设备

Publications (1)

Publication Number Publication Date
CN110673340A true CN110673340A (zh) 2020-01-10

Family

ID=69077502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910906702.9A Pending CN110673340A (zh) 2019-09-24 2019-09-24 增强现实设备的控制方法及增强现实设备

Country Status (1)

Country Link
CN (1) CN110673340A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111458881A (zh) * 2020-05-13 2020-07-28 歌尔科技有限公司 一种显示系统及头戴显示设备
CN113703582A (zh) * 2021-09-06 2021-11-26 联想(北京)有限公司 图像显示方法和装置
CN113747626A (zh) * 2020-05-29 2021-12-03 北京小米移动软件有限公司 一种环境光确定方法、装置、终端设备及介质
CN114002869A (zh) * 2021-12-30 2022-02-01 南昌虚拟现实研究院股份有限公司 应用在虚拟现实显示中的光学调整系统
WO2022111668A1 (zh) * 2020-11-30 2022-06-02 华为技术有限公司 实现虚实融合的显示设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103809687A (zh) * 2012-11-06 2014-05-21 索尼电脑娱乐公司 头戴式显示器、运动检测器及方法、图像呈现系统和程序
CN107065196A (zh) * 2017-06-16 2017-08-18 京东方科技集团股份有限公司 一种增强现实显示装置及增强现实显示方法
US20170255017A1 (en) * 2016-03-03 2017-09-07 Disney Enterprises, Inc. Increasing returned light in a compact augmented reality / virtual reality display
CN108333773A (zh) * 2018-04-13 2018-07-27 深圳鸿鑫晶光电有限公司 Ar头戴式显示设备
CN208092341U (zh) * 2017-12-21 2018-11-13 成都理想境界科技有限公司 一种用于头戴显示设备的光学系统
WO2019135165A2 (en) * 2018-01-03 2019-07-11 Khan Sajjad Ali Method and system for occlusion capable compact displays

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103809687A (zh) * 2012-11-06 2014-05-21 索尼电脑娱乐公司 头戴式显示器、运动检测器及方法、图像呈现系统和程序
US20170255017A1 (en) * 2016-03-03 2017-09-07 Disney Enterprises, Inc. Increasing returned light in a compact augmented reality / virtual reality display
CN107065196A (zh) * 2017-06-16 2017-08-18 京东方科技集团股份有限公司 一种增强现实显示装置及增强现实显示方法
CN208092341U (zh) * 2017-12-21 2018-11-13 成都理想境界科技有限公司 一种用于头戴显示设备的光学系统
WO2019135165A2 (en) * 2018-01-03 2019-07-11 Khan Sajjad Ali Method and system for occlusion capable compact displays
CN108333773A (zh) * 2018-04-13 2018-07-27 深圳鸿鑫晶光电有限公司 Ar头戴式显示设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王红等: "光学透视式增强现实显示系统虚实遮挡问题研究", <<中国图象图形学报>> *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111458881A (zh) * 2020-05-13 2020-07-28 歌尔科技有限公司 一种显示系统及头戴显示设备
CN113747626A (zh) * 2020-05-29 2021-12-03 北京小米移动软件有限公司 一种环境光确定方法、装置、终端设备及介质
CN113747626B (zh) * 2020-05-29 2023-08-29 北京小米移动软件有限公司 一种环境光确定方法、装置、终端设备及介质
WO2022111668A1 (zh) * 2020-11-30 2022-06-02 华为技术有限公司 实现虚实融合的显示设备
CN114578554A (zh) * 2020-11-30 2022-06-03 华为技术有限公司 实现虚实融合的显示设备
CN114578554B (zh) * 2020-11-30 2023-08-22 华为技术有限公司 实现虚实融合的显示设备
CN113703582A (zh) * 2021-09-06 2021-11-26 联想(北京)有限公司 图像显示方法和装置
CN114002869A (zh) * 2021-12-30 2022-02-01 南昌虚拟现实研究院股份有限公司 应用在虚拟现实显示中的光学调整系统

Similar Documents

Publication Publication Date Title
CN110673340A (zh) 增强现实设备的控制方法及增强现实设备
US11838518B2 (en) Reprojecting holographic video to enhance streaming bandwidth/quality
US9928655B1 (en) Predictive rendering of augmented reality content to overlay physical structures
US9581820B2 (en) Multiple waveguide imaging structure
US10394317B2 (en) Interaction with holographic image notification
US10228564B2 (en) Increasing returned light in a compact augmented reality/virtual reality display
KR101978896B1 (ko) 스테레오 렌더링 시스템
US9696798B2 (en) Eye gaze direction indicator
US10715791B2 (en) Virtual eyeglass set for viewing actual scene that corrects for different location of lenses than eyes
US11281003B2 (en) Near eye dynamic holography
US10482666B2 (en) Display control methods and apparatuses
US11353955B1 (en) Systems and methods for using scene understanding for calibrating eye tracking
KR20170081244A (ko) 시쓰루 디스플레이에서의 디스플레이 누설 방지
US11367226B2 (en) Calibration techniques for aligning real-world objects to virtual objects in an augmented reality environment
US20200117007A1 (en) Wide field of view occlusion capable augmented reality pancake optics head mounted display
CN111095348A (zh) 基于摄像头的透明显示器
US10444509B2 (en) Near eye diffractive holographic projection method
US10785464B2 (en) Generating three-dimensional imagery
CN114442814A (zh) 一种云桌面的展示方法、装置、设备及存储介质
Itoh et al. OST Rift: Temporally consistent augmented reality with a consumer optical see-through head-mounted display
JP6534972B2 (ja) 映像表示装置、映像表示方法及び映像表示プログラム
US11010865B2 (en) Imaging method, imaging apparatus, and virtual reality device involves distortion
US20130278629A1 (en) Visual feedback during remote collaboration
US20200201044A1 (en) Periodic lenses systems for augmented reality
WO2019061884A1 (zh) 显示设备和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201013

Address after: 261031 north of Yuqing street, east of Dongming Road, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronic office building)

Applicant after: GoerTek Optical Technology Co.,Ltd.

Address before: 266104 Laoshan Qingdao District North House Street investment service center room, Room 308, Shandong

Applicant before: GOERTEK TECHNOLOGY Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200110