[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN115552356A - 头戴式显示装置的跟踪方法和头戴式显示系统 - Google Patents

头戴式显示装置的跟踪方法和头戴式显示系统 Download PDF

Info

Publication number
CN115552356A
CN115552356A CN202180029164.5A CN202180029164A CN115552356A CN 115552356 A CN115552356 A CN 115552356A CN 202180029164 A CN202180029164 A CN 202180029164A CN 115552356 A CN115552356 A CN 115552356A
Authority
CN
China
Prior art keywords
mobile device
pose
hmd
coordinate system
reference coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180029164.5A
Other languages
English (en)
Inventor
马雨欣
徐毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of CN115552356A publication Critical patent/CN115552356A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

提供了一种头戴式显示(HMD)装置的跟踪方法。该方法包括：通过在移动装置上运行位姿跟踪算法，跟踪移动装置在参考坐标系中的位姿；HMD装置的至少一个传感器跟踪移动装置在参考坐标系中的位姿；以及HMD装置基于移动装置的位姿获取HMD装置的定位信息。还提供一种头戴式显示系统。

Description

头戴式显示装置的跟踪方法和头戴式显示系统
技术领域
本申请涉及一种头戴式显示跟踪技术领域，具体涉及一种头戴式显示(headmounted display，HMD)装置的跟踪方法和头戴式显示系统。
背景技术
如今，通过HMD装置执行6自由度(degree-of-freedom，DoF)跟踪具有最小化系统延迟的优点。系统延迟是指，响应于动作，HMD装置的动作和显示变化之间的延迟。大的系统延迟会破坏时间连贯性并导致HMD抖动。直接在HMD装置上处理传感器数据能够最大限度地减少数据传输并减少系统延迟。然而，HMD装置执行6自由度跟踪有两个缺点。第一点，HMD装置需要用某些硬件(例如芯片和内存)处理传感器数据并执行同步定位和地图构建(simultaneous localization and mapping，SLAM)，这样会导致需要更多的硬件部件，更少的工业设计可能性，以及更高的价格。第二点，SLAM包括密集的计算，这样会导致HMD装置上更大的功耗和热量积累。
另一方面，连接到HMD装置上的移动装置执行6自由度跟踪可降低HMD的功耗和热量积累，对HMD装置上的硬件要求更低，为工业设计提供了更大的灵活性。然而，将传感器数据从HMD装置传输到移动装置的处理单元所增加的延迟会破坏HMD装置显示的图像的视觉质量。
因此，本领域现有技术中的问题需要解决。
发明内容
本申请的目的在于提供一种头戴式显示装置的跟踪方法和头戴式显示系统，以解决本领域现有技术中的问题。
本申请的第一方面提供了一种头戴式显示装置的跟踪方法。所述头戴式显示装置的跟踪方法包括：
移动装置跟踪所述移动装置在参考坐标系中的位姿；
所述HMD装置的至少一个传感器跟踪所述移动装置在所述参考坐标系中的所述位姿；以及
所述HMD装置基于所述移动装置的所述位姿获取所述HMD装置的定位信息。
本申请的第二方面提供了一种头戴式显示装置的跟踪方法。所述头戴式显示装置的跟踪方法包括：
移动装置跟踪所述移动装置在参考坐标系中的位姿；以及
所述移动装置的摄像头跟踪所述HMD装置在所述参考坐标系中的位姿。
本申请的第三方面提供一种头戴式显示系统。所述头戴式显示系统包括：
移动装置，用于通过所述移动装置跟踪所述移动装置在参考坐标系中的所述位姿；以及
头戴式显示(HMD)装置，包括至少一个传感器，所述HMD装置用于通过所述至少一个传感器跟踪所述移动装置的所述位姿，以及用于基于所述移动装置的所述位姿获取所述HMD装置在所述参考坐标系中的定位信息。
本申请的第四方面提供一种头戴式显示系统。所述头戴式显示系统包括：
移动装置，所述移动装置包括摄像头，且所述移动装置用于通过所述移动装置跟踪所述移动装置在参考坐标系中的所述位姿；以及
头戴式显示(HMD)装置，其中，所述移动装置进一步用于通过所述摄像头跟踪所述HMD装置。
本申请的第五方面提供一种头戴式显示系统。所述头戴式显示系统包括：至少一个传感器和至少一个内存。所述至少一个处理器用于执行程序指令，以执行以下步骤：移动装置跟踪所述移动装置在参考坐标系中的位姿；头戴式显示(HMD)装置的至少一个传感器跟踪所述移动装置在所述参考坐标系中的所述位姿；以及基于所述移动装置的所述位姿获取所述HMD装置的定位信息。
本申请的第六方面提供一种头戴式显示系统。所述头戴式显示系统包括：至少一个处理器和至少一个内存。所述至少一个处理器用于执行程序指令，以执行以下步骤：移动装置跟踪所述移动装置在参考坐标系中的位姿；以及所述移动装置的摄像头跟踪头戴式显示(HMD)装置在所述参考坐标系中的位姿。
在本申请的HMD装置的跟踪方法和头戴式显示系统中，移动装置的位姿由移动装置自身来跟踪。在这种情况下，HMD装置可以避免因采用位姿跟踪算法跟踪HMD的位姿而带来的大量计算，减轻HMD装置的重量，且降低HMD装置的硬件复杂性和功耗。因此，HMD装置的功耗得到改善，且可以减少散热所需的多余结构和元件。此外，由于移动装置和HMD装置在同一参考坐标系中被跟踪，移动装置可以被用作6自由度控制器。
附图说明
为了更清楚的说明本申请的实施例或现有技术，在在实施例中描述的以下附图将做简要介绍。很明显这些附图仅仅是本申请的一些实施例，本领域技术人员在不付出创造性劳动的前提下可以根据这些附图获得其他附图。
图1是根据本申请实施例中的头戴式显示装置的跟踪方法的流程图。
图2示出了根据本申请实施例中的一些标记，这些标记是为具有已知几何形状的预设图像。
图3是根据本申请另一实施例中的头戴式显示装置的跟踪方法的流程图。
图4是根据本申请实施例中的头戴式显示系统。
图5是根据本申请另一实施例中的头戴式显示系统。
图6是根据本申请又一实施例中的头戴式显示系统。
图7是根据本申请又一实施例中的头戴式显示系统。
图8是根据本申请实施例中的移动装置的框图。
具体实施方式
本申请的实施例以下参考附图详细描述技术事项、结构特征、实现的目的和效果。具体地，本申请实施例中的术语只是为了描述某个实施例的目的，而不是为了限制本申请。
请参考图1，图1是根据本申请实施例中的头戴式显示装置的跟踪方法的流程图。
HMD装置戴在用户的头上。HMD装置用于在设置于用户眼睛前方的显示单元上显示图像。HMD装置是戴在用户头上以为用户提供沉浸式体验的装置。头戴式显示能够使用户对虚拟空间具有沉浸式体验。
在步骤S10中，移动装置跟踪移动装置在参考坐标系中的位姿。
在步骤S10中，移动装置的位姿被移动装置自身跟踪(例如，获取)。具体地，移动装置在参考坐标系中的位姿被移动装置的位姿跟踪模块跟踪。参考坐标系由位姿跟踪模块建立。参考坐标系是移动装置所在的环境的坐标系。位姿跟踪模块可以是用于跟踪移动装置的位姿的传感器模块，或者是用于跟踪移动装置的位姿的位姿跟踪算法。位姿跟踪算法是用于跟踪移动装置的6自由度(Dof)位姿的算法。移动装置的6Dof位姿包括移动装置的3Dof位置和3Dof方向。也就是说，移动装置运行位姿跟踪算法以跟踪(获取)移动装置在参考坐标系中的3Dof位置和3Dof方向。
例如，位姿跟踪算法可以是视觉里程计(visual odometry，VO)算法、视觉惯性里程计(visual inertial odometry，VIO)算法、同步定位和地图构建(SLAM)算法等。
VO算法可以采用迭代最近点(Iterative Closest Point，ICP)和基于随机抽样一致性(Random Sample Consensus，RANSAC)算法从对象的初始启动位置估算对象的六维位置(x、y、z、滚动角、俯仰角，和偏航角)。当前算法可以从一帧中提取关键特征，并将关键特征与参考帧比较。此外，VO算法可以生成与跟踪里程计媲美的里程计。VO算法也可以提供完整的六维里程计，包括x、y、z、滚动角、俯仰角，和偏航角。在VO算法中，移动装置的3Dof位置和3Dof方向是通过分析移动装置的摄像头捕获的连续图像确定的。也就是说，VO算法用于使用连续图像确定等效里程计信息，以实时估算移动装置的移动距离。
VIO是通过仅使用一个或多个摄像头和贴设于摄像头上的一个或多个惯性测量单元(Inertial Measurement Unit，IMU)的输入估算代理(例如空中机器人)的状态(位姿和速度)的过程。VIO是全球定位系统(global positioning system，GPS)和基于激光雷达里程计的唯一可行的替代产品，以实现准确的状态估算。由于摄像头和IMU非常廉价，因此这些类型的传感器在所有的应用中普遍存在。在VIO算法中，IMU应用于VO系统。VIO算法使用VO算法，结合IMU的惯性测量，从连续图像估算移动装置的位姿。IMU用于校正移动装置的快速移动导致图像捕捉不佳的错误。
SLAM是构建和更新未知环境的地图并同时保持跟踪地图内的对象的位置的计算问题。在SLAM算法中，移动装置所在的环境的地图被构建和更新，而移动装置在地图内的位置同时被跟踪。
在步骤S12中，HMD装置的至少一个传感器跟踪移动装置在参考坐标系中的位姿。
至少一个传感器设置在HMD装置上。
在步骤S14中，HMD装置基于移动装置的位姿获取HMD装置的定位信息。
在一个实施例中，至少一个传感器为图像传感器，移动装置包括显示器。移动装置的位姿由HDM装置的图像传感器跟踪。步骤S12包括：通过图像传感器捕获移动装置的显示器显示的至少一个标记的图像来跟踪移动装置在参考坐标系中的位姿。步骤S14包括：HMD装置通过对HMD装置捕获的至少一个标记的图像进行处理来计算并获取HMD装置的定位信息。
具体地，一组2D特征点P_i(i＝0、1、2、3、…)从至少一个标记的图像中被检测到。至少一个标记相对于参考坐标系的位置和方向可以通过使用移动装置的位姿和移动装置的几何信息计算得到。移动装置的几何信息可以从移动装置的生产商或者离线校准过程中获取。因此，每一2D特征点P_i的3D位置可以在参考坐标系中获得。为此目的，至少一个标记的捕获图像上的2D特征点P_i的对应的3D坐标被建立。根据3D坐标可以计算并获取HMD装置在参考坐标系中的位姿；其中，参考坐标系通过移动装置的位姿跟踪模块所建立。在本申请的一个实施例中，HMD装置的位姿可以通过连续使用透视n点(Perspectictive-n-Point)算法而被实时获取(例如，开源库OpenCV具有solvePnP函数)。
图2示出了根据本申请实施例中的一些标记。这些标记为具有已知几何形状的预设图像。如图所示，每一个标记都是具有已知尺寸的几何图元的黑/白图像。可选地，每一个标记都是具有一定数量独特特征的自然彩色图像。移动装置的显示器显示的至少一个标记被提供给HMD装置以跟踪移动装置。
在另一实施例中，至少一个传感器为深度传感器。深度传感器用于感测移动装置的深度数据，并且HMD装置用于通过使用移动装置的深度数据以跟踪移动装置。步骤S12包括：通过深度传感器感测移动装置的深度数据来跟踪移动装置在参考坐标系中的位姿。步骤S14包括：HMD装置基于深度数据获取HMD装置的定位信息。
具体地，例如，深度传感器为飞行时间(Time-of-Flight，ToF)摄像头(传感器)。深度传感器用于感测移动装置的深度数据以检测和跟踪移动装置。尽管环境中有很多可检测的表面，但是移动装置的主体可以通过大小和距离约束等信息被识别。可选地，移动装置的主体可以在HMD装置的初始化过程中被用户识别。例如，用户将移动装置保持在HMD装置上的深度传感器的前面。移动装置的模板图像可以被捕获。模板图像的选择和匹配可以用于估算移动装置的位姿。此外，来自红绿蓝(RGB)摄像头的RGB图像和来自深度传感器的深度图像可以一起使用以提高跟踪移动装置的准确性。例如，移动装置的主体可以通过联合来自RGB图像的轮廓梯度方向和来自深度图像的表面法线方向被获取。此外，来自IMU的数据也可以用于降低计算的复杂性。IMU可以估算移动装置和HMD装置的重力方向。因此，当移动装置的捕获图像与移动装置的模板图像匹配并对齐时，自由参数的数量可以减少。一旦HMD装置可以跟踪移动装置的主体的位姿，可以通过将移动装置到HMD装置的转换应用于移动装置的位姿以计算HMD装置在参考坐标系中的位姿(包括位置和方向)。
综上所述，图1中的实施例提供了两种方法跟踪移动装置在参考坐标系中的位姿。一种方法是采用图像传感器联合移动装置的显示器，另一种方法是采用深度传感器。
在图1的实施例中的HMD装置的跟踪方法中，移动装置的位姿被移动装置自身跟踪。因此，HMD装置可以避免采用位姿跟踪算法跟踪HMD装置(例如，HMD装置自身)的6Dof位姿带来的大量计算，并可减轻HMD装置的重量，以及降低HMD装置的硬件复杂性和功耗。因此，HMD装置的功耗可以得到改善，且可以减少散热所需的多余的结构和元件。此外，由于移动装置和HMD装置在同一个参考坐标系中被跟踪，移动装置可以被用作6Dof控制器。
请参考图3，图3是根据本申请另一实施例中的头戴式显示装置的跟踪方法的流程图。
在步骤S30中，移动装置跟踪移动装置在参考坐标系中的位姿。
在步骤S30中，移动装置的位姿被移动装置自身跟踪(例如，获取)。具体地，移动装置在参考坐标系中的位姿被移动装置中的位姿跟踪模块跟踪。参考坐标系由位姿跟踪模块建立。参考坐标系是移动装置所在的环境的坐标系。位姿跟踪模块可以是用于跟踪移动装置的位姿的传感器模块，或者是用于跟踪移动装置的位姿的位姿跟踪算法。位姿跟踪算法是用于跟踪移动装置的6Dof位姿的算法。移动装置的6Dof位姿包括移动装置的3Dof位置和3Dof方向。也就是说，移动装置运行位姿跟踪算法以跟踪(获取)移动装置在参考坐标系中的3Dof位置和3Dof方向。
例如，位姿跟踪算法可以是视觉里程计(VO)算法、视觉惯性里程计(VIO)算法、同步定位和地图构建(SLAM)算法等。
在步骤S32中，移动装置的摄像头跟踪HMD装置在参考坐标系中的位姿。
HMD装置包括多个标记。标记设置在HMD装置上。步骤S32包括：通过摄像头观测标记来跟踪HMD装置在参考坐标系中的位姿。
在一个实施例中，标记是反射标记，且摄像头是红外(IR)发射摄像头。当IR发射摄像头发射光线时，反射标记反射光线。然后，IR发射摄像头基于反射标记反射的反射光捕获反射标记的二维(2D)图像。通过移动装置的图像处理算法处理2D图像以识别反射标记的位置，进而跟踪HMD装置。移动装置根据反射标记的位置检测并跟踪HMD装置。
在另一实施例中，标记是红外发光二极管(IR LED)，且摄像头是IR摄像头。当IR摄像头感测IR LED发射的IR光线时，IR摄像头基于IR光捕获IR LED的2D图像。通过移动装置的图像处理算法处理2D图像，以识别IR LED的位置，进而跟踪HMD装置。移动装置根据IRLED的位置检测并跟踪HMD装置。
在又一实施例中，移动装置进一步用于通过三维(3D)对象位姿估算方法跟踪HMD装置。
综上所述，图3提供了3种方法跟踪参考坐标系中的HMD装置的位姿。一种方法是利用反射标记联合IR发射摄像头，另一种方法是利用IR LED联合IR摄像头，其他方法是3D对象位姿估算方法。
在图3的实施例的HMD装置的跟踪方法中，移动装置的位姿由移动装置自身跟踪。因此，HMD装置可以避免采用位姿跟踪算法跟踪HMD装置(例如，HMD装置自身)的6Dof位姿带来的大量计算，减轻HMD装置的重量，且降低HMD装置的硬件复杂性以及功耗。因此，HMD装置的功耗可以得到改善，且可以减少散热所需的多余的结构和元件。此外，由于移动装置和HMD装置在同一个参考坐标系中被跟踪，移动装置可以被用作6Dof控制器。此外，HMD装置被移动装置跟踪。这样，HMD装置的功耗可以进一步降低。
请参考图4，图4是根据本申请实施例中的头戴式显示系统。
头戴式显示系统包括移动装置40和头戴式显示(HMD)装置42。移动装置40可以通过通用串行总线(universal serial bus，USB)线缆与HMD装置42通信。可选地，移动装置40可以通过无线保真(wireless fidelity，Wi-Fi)和蓝牙等与HMD装置42通信。
例如，本申请中的移动装置40是智能手机，但是不限于智能手机。移动装置40用于通过自身跟踪(获取)参考坐标系中的移动装置40的位姿。具体地，移动装置40用于通过移动装置40中的位姿跟踪模块跟踪移动装置40(例如移动装置40自身)在参考坐标系中的位姿。参考坐标系是移动装置40所在的环境的坐标系。位姿跟踪模块可以是用于跟踪移动装置40的位姿的传感器模块，或者是用于跟踪移动装置40的位姿的位姿跟踪算法。位姿跟踪算法是用于跟踪移动装置40的6Dof的算法。例如，位姿跟踪算法可以是视觉里程计(VO)算法、视觉惯性里程计(VIO)算法、同步定位和地图构建(SLAM)算法等。移动装置40的6Dof包括移动装置40的3Dof位置和3Dof方向。也就是说，移动装置40运行位姿跟踪算法以跟踪移动装置40在参考坐标系中的3Dof位置和3Dof方向。
例如，HMD装置42可以是增强现实(Augmented Reality，AR)眼镜、混合现实(mixedreality，MR)眼镜、虚拟现实(virtual reality，VR)眼镜等。HMD装置42包括与其连接的至少一个传感器420。HMD装置42用于通过至少一个传感器420跟踪移动装置40，并获取HMD装置42在参考坐标系中的定位信息。
在一个实施例中，移动装置40包括显示器400，至少一个传感器420为图像传感器。显示器400用于显示至少一个标记。图2是根据本申请实施例中的一些标记。这些标记为具有已知几何形状的预设图像。每一个标记都是具有已知尺寸的几何图元的黑/白图像。可选地，每一个标记都是具有一定数量独特特征的自然彩色图像。移动装置40的显示器400显示的至少一个标记被提供给HMD装置42以跟踪移动装置40。
例如，本申请的图像传感器可以是红绿蓝(RGB)摄像头，但是不限于RGB摄像头。图像传感器用于捕获移动装置40的显示器400显示的至少一个标记的图像。HMD装置42用于处理HMD装置42捕获的至少一个标记的图像，以计算和获取HMD装置42在位姿跟踪模块建立的参考坐标系中的定位信息(例如，位置和方向)。
具体地，一组2D特征点P_i(i＝0、1、2、3、…)从至少一个标记的图像中被检测到。至少一个标记相对于参考坐标系的位置和方向可以通过使用移动装置40的位姿和移动装置40的几何信息计算得到。移动装置40的几何信息可以从移动装置40的生产商或者离线校准过程中获取。因此，每一2D特征点P_i的3D位置可以在参考坐标系中获得。为此目的，至少一个标记的捕获图像上的2D特征点P_i的对应的3D坐标被建立。基于3D坐标可以计算并获取HMD装置42在参考坐标系中的位姿；其中，参考坐标系通过移动装置40的位姿跟踪模块建立。在本申请的一个实施例中，HMD装置42的位姿可以连续使用透视n点(Perspectictive-n-Point)算法而被实时获取(例如，开源库OpenCV具有solvePnP函数)。
在另一实施例中，至少一个传感器420为深度传感器。例如，深度传感器为飞行时间(ToF)摄像头(传感器)。深度传感器用于感测移动装置40的深度数据以检测和跟踪移动装置40。尽管环境中有很多可检测的表面，但是移动装置40的主体可以通过大小和距离约束等信息被识别。可选地，移动装置40的主体可以在HMD装置42的初始化过程中被用户识别。例如，用户将移动装置40保持HMD装置42上的深度传感器的前面。移动装置40的模板图像可以被捕获。模板图像的选择和匹配可以被用于估算移动装置40的位姿。此外，来自红绿蓝(RGB)摄像头的RGB图像和来自深度传感器的深度图像可以一起使用以提高跟踪移动装置40的准确性。例如，移动装置40的主体可以通过联合来自RGB图像的轮廓梯度方向和来自深度图像的表面法线方向获取。来自IMU的数据也可以用于降低计算的复杂性。IMU可以估算移动装置40和HMD装置42的重力方向。因此，当移动装置40的捕获图像与移动装置40的模板图像匹配并对齐时，自由参数的数量可以减少。一旦HMD装置42可以跟踪移动装置40的主体的位姿，可以通过将移动装置40到HMD装置42的转换应用于移动装置40的位姿以计算HMD装置42在参考坐标系中的位姿(包括位置和方向)。
在图4的实施例的头戴式显示系统中，移动装置40的位姿被移动装置40自身跟踪。因此，HMD装置42可以避免采用位姿跟踪算法跟踪HMD装置42(例如，HMD装置42自身)的6Dof位姿带来的大量计算，并可减轻HMD装置42的重量，以及降低HMD装置的硬件复杂性和功耗。因此，HMD装置42的功耗可以得到改善，且可以减少散热所需的多余的结构和元件。此外，由于移动装置40和HMD装置42在同一个参考坐标系中被跟踪，移动装置40可以被用作6Dof控制器。
请参考图5，图5是根据本申请另一实施例中的头戴式显示系统。
头戴式显示系统包括移动装置50和头戴式显示(HMD)装置52。
例如，本申请中的移动装置50是智能手机，但是不限于智能手机。移动装置50用于通过自身跟踪(获取)参考坐标系中的移动装置50的位姿。具体地，移动装置50用于通过移动装置50中的位姿跟踪模块跟踪参考坐标系中的移动装置50(例如移动装置50自身)的位姿。参考坐标系是移动装置50所在的环境的坐标系。位姿跟踪模块可以是用于跟踪移动装置50的位姿的传感器模块，或者是用于跟踪移动装置50的位姿的位姿跟踪算法。位姿跟踪算法是用于跟踪移动装置50的6Dof的算法。例如，位姿跟踪算法可以是视觉里程计(VO)算法、视觉惯性里程计(VIO)算法、同步定位和地图构建(SLAM)算法等。移动装置50的6Dof包括移动装置50的3Dof位置和3Dof方向。也就是说，移动装置50运行位姿跟踪算法以跟踪参考坐标系中的移动装置50的3Dof位置和3Dof方向。
移动装置50包括摄像头500，摄像头500可以是前置摄像头或后置摄像头。移动装置50进一步用于通过摄像头500跟踪HMD装置52。
HMD装置52包括多个与其连接的标记520。移动装置50用于通过摄像头500观测标记520来跟踪HMD装置52的位置和方向。本申请的标记520可以以矩阵或者星座(constellation)的方式排列，但是本申请不限于此。标志520位于HMD装置52的3D位置L_i(i＝0、1、2、3、...)。标记520可以设置在HMD装置52的透明塑料材料的后面，以获得更好的产品设计可能性。
在一个实施例中，标记520是反射标记，摄像头500是红外(IR)发射摄像头。当IR发射摄像头发射光线时，反射标记反射光线。然后，IR发射摄像头基于反射光捕获反射标记的2D图像。2D图像被移动装置50上的图像处理算法处理以识别反射标记的位置。移动装置50根据反射标记的位置检测并跟踪HMD装置52。
例如，可以使用颜色阈值技术和强度阈值技术中的至少一者来处理2D图像，以输出二值图像。然后，分析二值图像，以将反射标记识别为2D图像上的斑点。斑点的质心可以被计算为一组2D特征点P_i(i＝0、1、2、3、…)。斑点的质心的2D图像上的2D特征点P_i和对应的3D坐标之间的对应关系可以由匹配算法建立。基于对应关系，HMD装置52在由移动装置50的位姿跟踪模块建立的参考坐标系上的位姿可以使用移动装置50的位姿和对应关系信息计算和获取。在本申请的一个实施例中，HMD装置52的位姿可以连续使用透视n点(Perspectictive-n-Point)算法而被实时获取(例如，开源库OpenCV具有solvePnP函数)。
在另一实施例中，标记520是红外发光二极管(IR LED)，且摄像头500是IR摄像头。IR摄像头感测IR LED发射的IR光线。IR摄像头基于IR光捕获IR LED的2D图像。2D图像由移动装置50上的图像处理算法处理以识别IR LED的位置。移动装置50根据IR LED的位置检测并跟踪HMD装置52。
需要注意的是，用于跟踪移动装置50的摄像头和用于跟踪HMD装置52的摄像头可以相同或者不同。当用于跟踪移动装置50的摄像头和用于跟踪HMD装置52的摄像头相同时，HMD装置52在移动装置50的位姿跟踪模块建立的参考坐标系中的位姿可以通过将移动装置50向HMD装置52的转换应用于移动装置50在参考坐标系中的位姿而被计算出来。当用于跟踪移动装置50的摄像头和用于跟踪HMD装置52的摄像头不同时，两个摄像头之间的转换被应用于移动装置50的位姿，然后移动装置50向HMD装置52的转换被应用于转换后的位姿。
在又一实施例中，移动装置50用于通过3D对象位姿估算方法跟踪HMD装置52。具体地，移动装置52的摄像头500捕获HMD装置52的图像。图像可以是单独的RGB图像、深度图像、或者一对RGB和深度图像。移动装置50用于通过使用3D对象位姿估算方法处理图像，从而跟踪HMD装置52。例如，HMD装置52上的一组2D特征点被识别，且计算机视觉算法被训练，以识别这些特征点。由于2D特征点和对应的3D坐标之间的对应关系可以通过匹配算法建立，HMD装置52在参考坐标系中的位姿可以使用移动装置50的位姿和对应关系信息来计算和获取。在本申请的一个实施例中，HMD装置52的位姿可以连续使用透视n点(Perspectictive-n-Point)算法而被实时获取(例如，开源库OpenCV具有solvePnP函数)。
HMD装置52的估算后的位姿可以用于将虚拟内容渲染到HMD装置52的显示器上。为了减少用户感知的显示延迟，额外的显示图像转换可以基于来自HMD装置52上的IMU的IMU传感器数据而被执行。具体地，当移动装置50向HMD装置52发送显示帧时，显示帧也会与用于渲染虚拟内容的位姿相关联。HMD装置52保持历史IMU数据的短缓冲区(a short bufferof historical IMU data)。一旦HMD装置52完全收到显示帧，从用于渲染显示帧的HMD装置52的位姿到虚拟内容被显示时HMD装置52的位姿的变化可以被计算。显示缓冲区可以被相应的转换以补偿显示延迟。
在图5的实施例的头戴式显示系统中，移动装置50执行跟踪移动装置50的位姿。因此，HMD装置52可以避免采用位姿跟踪算法跟踪HMD装置52(例如，HMD装置52自身)的6Dof位姿带来的大量计算，减轻HMD装置52的重量，且降低HMD装置52的硬件复杂性以及功耗。因此，HMD装置52的功耗可以得到改善，且可以减少散热所需的多余的结构和元件。此外，由于移动装置50和HMD装置52在同一个参考坐标系中被跟踪，移动装置50可以被用作6Dof控制器。此外，移动装置50跟踪HMD装置52。因此，HMD装置52的功耗可以进一步减少。
在本申请实施例的头戴式显示装置的跟踪方法和头戴式显示系统中，移动装置自身跟踪移动装置的位姿。因此，HMD装置可以避免采用位姿跟踪算法跟踪HMD装置(例如，HMD装置自身)的位姿带来的大量计算，减轻HMD装置的重量，且降低HMD装置的硬件复杂性以及功耗。
请参考图6，图6是根据本申请又一实施例中的头戴式显示系统。
头戴式显示系统600包括至少一个处理器602和至少一个内存604。至少一个内存604用于储存程序指令。至少一个处理器602用于执行程序指令以执行以下步骤：移动装置跟踪参考坐标系中的移动装置的位姿；HMD装置的至少一个传感器跟踪参考坐标系中的移动装置的位姿；基于移动装置的位姿获得HMD装置的定位信息。
在一个实施例中，位姿跟踪算法是视觉里程计(VO)算法、视觉惯性里程计(VIO)算法、和同步定位和地图构建(SLAM)算法中的一种。
在一个实施例中，移动装置的位姿是6自由度(6Dof)位姿。
在一个实施例中，移动装置包括显示器，至少一个传感器是图像传感器。HMD装置的至少一个传感器跟踪参考坐标系中的移动装置的位姿的步骤包括：通过经由图像传感器捕获移动装置的显示器显示的至少一个标记的图像来跟踪参考坐标系中的移动装置的位姿。基于移动装置的位姿获取HMD装置的定位信息的步骤包括：通过处理HMD装置捕获的至少一个标记的图像来计算和获取HMD装置的定位信息。
在一个实施例中，至少一个标记是具有已知尺寸的几何图元的黑/白图像，或者具有一定数量独特特征的自然彩色图像。
在一个实施例中，至少一个传感器是深度传感器。通过HMD装置的至少一个传感器跟踪移动装置在参考坐标系中的位姿的步骤包括：通过深度传感器感测移动装置的深度数据来跟踪移动装置在参考坐标系中的位姿。基于移动装置的位姿获取HMD装置的定位信息的步骤包括：基于深度数据获取HMD装置的定位信息。
在一个实施例中，HMD装置是增强现实(AR)眼镜、混合现实(MR)眼镜、和虚拟现实(VR)眼镜中的一种。
详细描述可参考上述实施例，在此不作赘述。
请参考图7，图7是根据本申请又一实施例中的头戴式显示系统。
头戴式显示系统700包括至少一个处理器702和至少一个内存704。至少一个内存704用于储存程序指令。至少一个处理器702用于执行程序指令以执行以下步骤：移动装置跟踪移动装置在参考坐标系中的位姿；以及移动装置中的摄像头跟踪HMD装置在参考坐标系中的位姿。
在一个实施例中，通过位姿跟踪模块建立参考坐标系。
在一个实施例中，位姿跟踪算法是视觉里程计(VO)算法、视觉惯性里程计(VIO)算法、和同步定位和地图构建(SLAM)算法中的一种。
在一个实施例中，移动装置的位姿是6自由度(6Dof)位姿。移动装置的摄像头跟踪HMD装置在参考坐标系中的位姿的步骤包括：通过经由摄像头观测标记来跟踪HMD装置在参考坐标系中的位姿。
在一个实施例中，HMD装置包括多个标记。
在一个实施例中，标记是反射标记，摄像头是红外(IR)发射摄像头。移动装置的摄像头跟踪HMD装置在参考坐标系中的位姿的步骤包括：IR发射摄像头发射光线；IR发射摄像头基于反射标记的反射光捕获反射标记的二维(2D)图像；移动装置中的图像处理算法处理2D图像以识别反射标记的位置；以及根据反射标记的位置跟踪HMD装置。
在一个实施例中，标记是红外发光二极管(IR LED)，且摄像头是IR摄像头。移动装置的摄像头跟踪HMD装置在参考坐标系中的位姿的步骤包括：IR摄像头感测IR LED发射的IR光；IR摄像头基于IR光捕获IR LED的二维(2D)图像；移动装置中的图像处理算法处理2D图像以识别IR LED的位置；以及根据IR LED的位置跟踪HMD装置。
在一个实施例中，移动装置的摄像头跟踪HMD装置在参考坐标系中的位姿的步骤包括：移动装置的摄像头通过三维(3D)对象位姿估算方法跟踪HMD装置在参考坐标系中的位姿。
详细描述可参考上述实施例，在此不再赘述。
请参考图8，图8是根据本申请实施例中的移动装置800的框图。
参考图8，移动装置800可以包括下列一个或多个部件：壳体802、处理器804、存储器806、电路板808，和电源电路810。电路板808设置于壳体802形成的空间内。处理器804和存储器806设置在电路板808上。电源电路610用于给移动装置800的每一电路或装置供电。存储器806用于储存可执行程序代码和位姿跟踪算法。通过读取存储器806中的可执行程序代码，处理器804运行对应可执行程序代码的程序以执行前述任一实施例中的头戴式显示装置的跟踪方法。
处理器804通常控制移动装置800的整体操作，例如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理器804可以包括一个或多个处理器804以执行指令，从而执行上述方法中所有或者部分步骤中的动作。此外，处理器804可以包括一个或多个模块，这些模块促进处理器804和其他部件之间的交互。例如，处理器804可以包括多媒体模块，以促进多媒体部件和处理器804之间的交互。
存储器806用于储存各种类型的数据，以支持移动装置800的操作。这些数据的例子包括在移动装置上操作的任何应用程序和方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器806可用任何类型的易失性存储装置、非易失性存储装置、或者他们的组合实现，例如静态随机存取存储器(static random access memory，SARM)、可电擦除可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、可擦除可编程只读存储器(erasable programmable read-only memory，EPROM)、可编程只读存储器(programmable read-only memory，PROM)、只读存储器(read-only memory，ROM)、磁存储器、闪存、磁盘，或光盘。
电源电路610向移动装置800的各种部件供电。电源电路610可以包括电源管理系统、一个或多个电源，以及与移动装置800的电源的产生、管理和分配相关的其他任何部件。
在示例性实施例中，移动装置800可以由一个或多个专用集成电路(applicationspecific integrated circuit，ASIC)、数字信号处理器(digital signal processor，DSP)数字信号处理装置(digital signal processing device，DSPD)、可编程逻辑装置(programmable logic device，PLD)、现场可编程门阵列(field programmable gatearray，FPGA)、控制器、微控制器、微处理器或其他电子元件来实现，用于执行上述方法。
在示例性实施例中，还提供一种非易失性计算机可读存储介质，该存储介质包括指令，例如包括存储器806中的指令，该指令可以由移动装置800的处理器804执行以执行上述方法。例如，非易失性计算机可读存储介质可以是ROM、随机存取存储器(random accessmemory，RAM)、只读光盘存储器(CD-ROM)、磁带、软盘、光学数据存储装置等。本领域技术人员应当理解，本申请实施例中的每个单元、模块、算法和步骤都是通过电子硬件，或者计算机软件和电子硬件结合来实现的。功能在硬件中运行还是在软件中运行取决于应用的条件和技术方案的设计需求。本领域技术人员可以使用不同的方法来实现针对每个具体应用的功能，但是这样的实现不应超出本申请的范围。
本领域技术人员应当理解，由于上述系统、装置、和模块的工作过程基本相同，可以参考上述实施例中的系统、装置、和模块的工作过程。为便于描述和简单起见，这些工作过程不再赘述。
应当理解的是，本申请实施例中公开的系统可以通过其他方式实现。上述实施例仅是示例性的。模块的划分仅仅基于逻辑功能，而在实现中可存在其他的划分。多个模块或部件可以组合或集成在另一系统中。也有可能省略或跳过某些特征。另一方面，显示或讨论的相互耦合、直接耦合或通信耦合通过一些端口、设备或模块来操作，无论是通过电气、机械或其他种类的形式进行间接地操作或者通信。
用于解释的分离部件在物理上是分离或者不分离的。用于显示的模块是物理模块或者不是物理模块，即位于一个位置或者分布于多个网络模块中。根据实施例的目的使用部分或者全部模块。
此外，每个实施例中的每个功能模块可以集成于一个处理模块，或者在物理上独立，或者与两个或两个以上模块集成于一个处理模块中。
如果软件功能模块作为产品被实现、使用和销售，则该软件功能模块可以储存在计算机中的可读存储介质中。基于这样的理解，本申请提出的技术方案可以基本或者部分以软件产品的形式实现。或者，可以将对现有技术有利的技术方案的一部分以软件产品的形式实现。计算机中的软件产品储存在存储介质中，包括多个命令以使计算机装置(例如个人电脑、服务器，或网络装置)运行本申请实施例中的全部或者部分步骤。存储介质包括U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)、软盘、或其他能够存储程序代码的介质。
尽管已经结合被认为是最实用和优选的实施例来描述了本申请，但是应当理解，本申请不限于所公开的实施例，而是旨在涵盖不偏离所附权利要求最广泛解释的范围的各种情况。

Claims (45)

1.一种头戴式显示(HMD)装置的跟踪方法，其特征在于，包括：
移动装置跟踪所述移动装置在参考坐标系中的位姿；
所述HMD装置的至少一个传感器跟踪所述移动装置在所述参考坐标系中的所述位姿；以及
所述HMD装置基于所述移动装置的所述位姿获取所述HMD装置的定位信息。
2.根据权利要求1所述的方法，其特征在于，所述移动装置包括显示器，且所述至少一个传感器是图像传感器；
所述HMD装置的至少一个传感器跟踪所述移动装置在所述参考坐标系中的所述位姿的步骤包括：
通过所述图像传感器捕获所述移动装置的所述显示器显示的至少一个标记的图像，跟踪所述移动装置在所述参考坐标系中的所述位姿；以及
所述HMD装置基于所述移动装置的所述位姿获取所述HMD装置的定位信息的步骤包括：
所述HMD装置通过对所述HMD装置捕获的至少一个标记的所述图像进行处理，以计算并获取所述HMD装置的定位信息。
3.根据权利要求2所述的方法，其特征在于，所述至少一个标记是具有已知尺寸的几何图元的黑/白图像，或具有一定数量独特特征的自然彩色图像。
4.根据权利要求1所述的方法，其特征在于，所述至少一个传感器是深度传感器；
所述HMD装置的至少一个传感器跟踪所述移动装置在所述参考坐标系中的所述位姿的步骤包括：
通过所述深度传感器感测所述移动装置的深度数据，跟踪所述移动装置在所述参考坐标系中的所述位姿；以及
所述HMD装置基于所述移动装置的所述位姿获取所述HMD装置的所述定位信息的步骤包括：
所述HMD装置基于所述深度数据获取所述HMD装置的所述定位信息。
5.根据权利要求1所述的方法，其特征在于，所述移动装置跟踪移动装置在参考坐标系中的位姿的步骤包括：
通过所述移动装置中的位姿跟踪模块跟踪所述移动装置在所述参考坐标系中的所述位姿，其中，所述参考坐标系通过所述位姿跟踪模块建立。
6.根据权利要求1所述的方法，其特征在于，所述HMD装置是增强现实眼镜、混合现实眼镜，和虚拟现实眼镜中的一种。
7.根据权利要求1所述的方法，其特征在于，所述移动装置的位姿是6自由度位姿。
8.一种头戴式显示(HMD)装置的跟踪方法，其特征在于，包括：
移动装置跟踪所述移动装置在参考坐标系中的位姿；以及
所述移动装置的摄像头跟踪所述HMD装置在所述参考坐标系中的位姿。
9.根据权利要求8所述的方法，其特征在于，所述HMD装置包括多个标记；以及
所述移动装置的摄像头跟踪所述HMD装置在所述参考坐标系中的位姿的步骤包括：
通过所述摄像头观测所述标记，跟踪所述HMD装置在所述参考坐标系中的位姿。
10.根据权利要求9所述的方法，其特征在于，所述标记是反射标记，且所述摄像头是红外发射摄像头；以及
所述移动装置的摄像头跟踪所述HMD装置在所述参考坐标系中的位姿的步骤包括：
所述红外发射摄像头发射光线；
所述红外发射摄像头基于所述反射标记反射的光线捕获所述反射标记的二维图像；
所述二维图像通过所述移动装置的图像处理算法进行处理，以识别所述反射标记的位置；以及
根据所述反射标记的位置跟踪所述HMD装置。
11.根据权利要求9所述的方法，其特征在于，所述反射标记是红外发光二极管，且所述摄像头是红外摄像头；以及
所述移动装置的摄像头跟踪所述HMD装置在所述参考坐标系中的位姿的步骤包括：
所述红外摄像头感测所述红外发光二极管发射的红外光；
所述红外摄像头基于所述红外光捕获所述红外发光二极管的二维图像；
所述二维图像通过所述移动装置的图像处理算法进行处理，以识别所述红外发光二极管的位置；以及
根据所述红外发光二极管的位置跟踪所述HMD装置。
12.根据权利要求8所述的方法，其特征在于，所述移动装置的摄像头跟踪所述HMD装置在所述参考坐标系中的位姿的步骤包括：
通过三维对象位姿估算方法，所述移动装置的所述摄像头跟踪所述HMD装置在所述参考坐标系中的位姿。
13.根据权利要求8所述的方法，其特征在于，所述移动装置跟踪所述移动装置在参考坐标系中的位姿的步骤包括：
通过所述移动装置中的位姿跟踪模块跟踪所述移动装置在所述参考坐标系中的所述位姿；其中，所述参考坐标系通过所述位姿跟踪模块建立。
14.根据权利要求8所述的方法，其特征在于，所述HMD装置是增强现实眼镜、混合现实眼镜、和虚拟现实眼镜中的一种。
15.根据权利要求8所述的方法，其特征在于，所述移动装置的位姿是6自由度位姿。
16.一种头戴式显示系统，其特征在于，包括：
移动装置，用于通过所述移动装置跟踪所述移动装置在参考坐标系中的所述位姿；以及
头戴式显示(HMD)装置，包括至少一个传感器，所述HMD装置用于通过所述至少一个传感器跟踪所述移动装置的所述位姿，以及用于基于所述移动装置的所述位姿获取所述HMD装置在所述参考坐标系中的定位信息。
17.根据权利要求16所述的头戴式显示系统，其特征在于，所述移动装置包括显示器，且所述至少一个传感器是图像传感器；以及
所述图像传感器用于捕获所述移动装置的所述显示器显示的至少一个标记的图像，且所述HMD装置用于处理所述HMD装置捕获的所述至少一个标记的所述图像，以计算和获取所述HMD装置在所述参考坐标系中的所述定位信息。
18.根据权利要求17所述的头戴式显示系统，其特征在于，所述至少一个标记是具有已知尺寸的几何图元的黑/白图像，或具有一定数量独特特征的自然彩色图像。
19.根据权利要求16所述的头戴式显示系统，其特征在于，所述至少一个传感器是深度传感器，所述深度传感器用于感测所述移动装置的深度数据，且所述HMD装置用于使用所述移动装置的所述深度数据跟踪所述移动装置。
20.根据权利要求16所述的头戴式显示系统，其特征在于，所述移动装置用于通过所述移动装置中的位姿跟踪模块跟踪所述移动装置在所述参考坐标系中的所述位姿，其中，所述参考坐标系通过所述位姿跟踪模块建立。
21.根据权利要求16所述的头戴式显示系统，其特征在于，所述HMD装置是增强现实眼镜、混合现实眼镜、和虚拟现实眼镜中的一种。
22.根据权利要求16所述的头戴式显示系统，其特征在于，所述移动装置的位姿是6自由度位姿。
23.一种头戴式显示系统，其特征在于，包括：
移动装置，所述移动装置包括摄像头，且所述移动装置用于通过所述移动装置跟踪所述移动装置在参考坐标系中的所述位姿；以及
头戴式显示(HMD)装置，其中，所述移动装置进一步用于通过所述摄像头跟踪所述HMD装置。
24.根据权利要求23所述的头戴式显示系统，其特征在于，所述HMD装置包括多个标记，且所述移动装置用于通过所述摄像头观测标记来跟踪所述HMD装置的所述位姿。
25.根据权利要求24所述的头戴式显示系统，其特征在于，所述标记是反射标记，且所述摄像头是红外发射摄像头；以及
其中，所述红外发射摄像头发射光线，所述红外发射摄像头基于所述反射标记的反射光捕获所述反射标记的二维图像，所述二维图像通过所述移动装置的图像处理算法进行处理以识别所述反射标记的位置，以及根据所述反射标记的所述位置跟踪所述HMD装置。
26.根据权利要求24所述的头戴式显示系统，其特征在于，所述反射标记是红外发光二极管，且所述摄像头是红外摄像头；以及
其中，所述红外摄像头感测所述红外发光二极管发射的红外光，所述红外摄像头基于所述红外光捕获所述红外发光二极管的二维图像，所述二维图像通过所述移动装置中的图像处理算法进行处理以使识别所述红外发光二极管的位置，以及根据所述红外发光二极管的位置跟踪所述HMD装置。
27.根据权利要求23所述的头戴式显示系统，其特征在于，所述移动装置进一步用于通过三维对象位姿估算方法跟踪所述HMD装置。
28.根据权利要求23所述的头戴式显示系统，其特征在于，所述移动装置用于通过所述移动装置中的位姿跟踪模块跟踪所述移动装置的所述位姿，其中，所述参考坐标系通过所述位姿跟踪模块建立。
29.根据权利要求23所述的头戴式显示系统，其特征在于，所述HMD装置是增强现实眼镜、混合现实眼镜、和虚拟现实眼镜中的一种。
30.根据权利要求23所述的头戴式显示系统，其特征在于，所述移动装置的位姿是6自由度位姿。
31.一种头戴式显示系统，其特征在于，包括：
至少一个处理器；以及
至少一个内存，用于储存程序指令；
其中，所述至少一个处理器用于执行所述程序指令，以执行以下步骤：
移动装置跟踪所述移动装置在参考坐标系中的位姿；
头戴式显示(HMD)装置的至少一个传感器跟踪所述移动装置在所述参考坐标系中的所述位姿；以及
基于所述移动装置的所述位姿获取所述HMD装置的定位信息。
32.根据权利要求31所述的头戴式显示系统，其特征在于，所述移动装置包括显示器，且所述至少一个传感器是图像传感器；以及
其中，所述HMD装置的至少一个传感器跟踪所述移动装置在所述参考坐标系中的所述位姿的步骤包括：
通过所述图像传感器捕获所述移动装置的所述显示器显示的至少一个标记的图像，跟踪所述移动装置在所述参考坐标系中的所述位姿；
所述基于所述移动装置的所述位姿获取所述HMD装置的定位信息的步骤包括：
通过处理所述HMD装置捕获的所述至少一个标记的所述图像，以计算和获取所述HMD装置的所述定位信息。
33.根据权利要求32所述的头戴式显示系统，其特征在于，所述至少一个标记是具有已知尺寸的几何图元的黑/白图像，或具有一定数量独特特征的自然彩色图像。
34.根据权利要求31所述的头戴式显示系统，其特征在于，所述至少一个传感器是深度传感器；以及
所述HMD装置的至少一个传感器跟踪所述移动装置在所述参考坐标系中的所述位姿的步骤包括：
通过所述深度传感器感测所述移动装置的深度数据，跟踪所述移动装置在所述参考坐标系中的所述位姿；以及
所述基于所述移动装置的所述位姿获得所述HMD装置的定位信息的步骤包括：
基于所述深度数据获取所述HMD装置的所述定位信息。
35.根据权利要求31所述的头戴式显示系统，其特征在于，所述移动装置跟踪所述移动装置在参考坐标系中的位姿的步骤包括：
通过所述移动装置中的位姿跟踪模块跟踪所述移动装置在所述参考坐标系中的所述位姿，其中，所述参考坐标系通过所述位姿跟踪模块建立。
36.根据权利要求31所述的头戴式显示系统，其特征在于，所述HMD装置是增强现实眼镜、混合现实眼镜、和虚拟现实眼镜中的一种。
37.根据权利要求31所述的头戴式显示系统，其特征在于，所述移动装置的位姿是6自由度位姿。
38.一种头戴式显示系统，其特征在于，包括：
至少一个处理器；以及
至少一个内存，用于储存程序指令；
其中，所述至少一个处理器用于执行所述程序指令，以执行以下步骤：
移动装置跟踪所述移动装置在参考坐标系中的位姿；以及
所述移动装置的摄像头跟踪头戴式显示(HMD)装置在所述参考坐标系中的位姿。
39.根据权利要求38所述头戴式显示系统，其特征在于，所述HMD装置包括多个标记；以及
所述移动装置的摄像头跟踪所述HMD装置在所述参考坐标系中的位姿的步骤包括：
通过所述相机观测所述标记，跟踪所述HMD装置在所述参考坐标系中的所述位姿。
40.根据权利要求39所述头戴式显示系统，其特征在于，所述标记是反射标记，且所述摄像头是红外发射摄像头；以及
所述移动装置的摄像头跟踪所述参考坐标系中的所述HMD装置的位姿的步骤包括：
所述红外发射摄像头发射光线；
所述红外发射摄像基于所述反射标记反射的光线捕获所述反射标记的二维图像；
所述二维图像通过所述移动装置的图像处理算法进行处理，以识别所述反射标记的位置；以及
根据所述反射标记的位置跟踪所述HMD装置。
41.根据权利要求39所述头戴式显示系统，其特征在于，所述反射标记是红外发光二极管，且所述摄像头是红外摄像头；以及
所述移动装置的摄像头跟踪所述HMD装置在所述参考坐标系中的位姿的步骤包括：
所述红外摄像头感测所述红外发光二极管发射的红外光；
所述红外摄像头基于所述红外光捕获所述红外发光二极管的二维图像；
所述二维图像通过所述移动装置的图像处理算法进行处理，以识别所述红外发光二极管的位置；以及
根据所述红外发光二极管的位置跟踪所述HMD装置。
42.根据权利要求38所述头戴式显示系统，其特征在于，所述移动装置的摄像头跟踪头戴式显示(HMD)装置在所述参考坐标系中的位姿的步骤包括：
通过三维对象位姿估算方法，所述移动装置的所述摄像头跟踪所述HMD装置在所述参考坐标系中的所述位姿。
43.根据权利要求38所述头戴式显示系统，其特征在于，所述移动装置用于通过所述移动装置的位姿跟踪模块跟踪所述移动装置在所述参考坐标系中的所述位姿，其中，所述参考坐标系通过所述位姿跟踪模块建立。
44.根据权利要求38所述头戴式显示系统，其特征在于，所述HMD装置是增强现实眼镜、混合现实眼镜、和虚拟现实眼镜中的一种。
45.根据权利要求38所述头戴式显示系统，其特征在于，所述移动装置的位姿是6自由度位姿。
CN202180029164.5A 2020-06-05 2021-04-26 头戴式显示装置的跟踪方法和头戴式显示系统 Pending CN115552356A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063035242P 2020-06-05 2020-06-05
US63/035,242 2020-06-05
US202063036551P 2020-06-09 2020-06-09
US63/036,551 2020-06-09
PCT/CN2021/090048 WO2021244187A1 (en) 2020-06-05 2021-04-26 Method for tracking head mounted display device and head mounted display system

Publications (1)

Publication Number Publication Date
CN115552356A true CN115552356A (zh) 2022-12-30

Family

ID=78831664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180029164.5A Pending CN115552356A (zh) 2020-06-05 2021-04-26 头戴式显示装置的跟踪方法和头戴式显示系统

Country Status (3)

Country Link
US (1) US20230098910A1 (zh)
CN (1) CN115552356A (zh)
WO (1) WO2021244187A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220414990A1 (en) * 2021-06-25 2022-12-29 Acer Incorporated Augmented reality system and operation method thereof

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4202611A1 (en) * 2021-12-27 2023-06-28 Koninklijke KPN N.V. Rendering a virtual object in spatial alignment with a pose of an electronic device
CN114327066A (zh) * 2021-12-30 2022-04-12 上海曼恒数字技术股份有限公司 虚拟现实屏幕的立体显示方法、装置、设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3417337A4 (en) * 2016-02-18 2019-10-23 Apple Inc. VISIOCASQUE FOR VIRTUAL REALITY AND MIXED FOLLOWING RETURN POSITION, BODY OF USER AND ENVIRONMENT
US10249090B2 (en) * 2016-06-09 2019-04-02 Microsoft Technology Licensing, Llc Robust optical disambiguation and tracking of two or more hand-held controllers with passive optical and inertial tracking
US10146335B2 (en) * 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Modular extension of inertial controller for six DOF mixed reality input
US11740690B2 (en) * 2017-01-27 2023-08-29 Qualcomm Incorporated Systems and methods for tracking a controller
US10496157B2 (en) * 2017-05-09 2019-12-03 Microsoft Technology Licensing, Llc Controlling handheld object light sources for tracking
US11386572B2 (en) * 2018-02-03 2022-07-12 The Johns Hopkins University Calibration system and method to align a 3D virtual scene and a 3D real world for a stereoscopic head-mounted display
US11010921B2 (en) * 2019-05-16 2021-05-18 Qualcomm Incorporated Distributed pose estimation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220414990A1 (en) * 2021-06-25 2022-12-29 Acer Incorporated Augmented reality system and operation method thereof

Also Published As

Publication number Publication date
US20230098910A1 (en) 2023-03-30
WO2021244187A1 (en) 2021-12-09

Similar Documents

Publication Publication Date Title
US11741624B2 (en) Method and system for determining spatial coordinates of a 3D reconstruction of at least part of a real object at absolute spatial scale
US11308347B2 (en) Method of determining a similarity transformation between first and second coordinates of 3D features
US10510149B2 (en) Generating a distance map based on captured images of a scene
US20230098910A1 (en) Method for tracking head mounted display device and head mounted display system
Pintaric et al. Affordable infrared-optical pose-tracking for virtual and augmented reality
KR20220009393A (ko) 이미지 기반 로컬화
CN112652016B (zh) 点云预测模型的生成方法、位姿估计方法及其装置
EP3910451B1 (en) Display systems and methods for aligning different tracking means
US10679376B2 (en) Determining a pose of a handheld object
CN110895676B (zh) 动态对象跟踪
CN113474819A (zh) 信息处理装置、信息处理方法和程序
CN112424832A (zh) 用于检测对象的3d关联的系统与方法
CN110310325B (zh) 一种虚拟测量方法、电子设备及计算机可读存储介质
US11513589B2 (en) Maintaining localization and orientation of electronic headset after loss of slam tracking
CN112424641A (zh) 使用用于立体图像处理的飞行时间技术
US11727658B2 (en) Using camera feed to improve quality of reconstructed images
US20230326074A1 (en) Using cloud computing to improve accuracy of pose tracking
KR20220152012A (ko) 인공 표식의 위치 추정 방법 및 시스템
Pallos et al. Multiple-camera optical glyph tracking
KR20230017088A (ko) 영상 좌표의 불확실성을 추정하는 장치 및 방법
CN115981492A (zh) 三维笔迹生成方法、设备及系统
CN112733617A (zh) 一种基于多模态数据的目标定位方法及系统
JP2016024728A (ja) 情報処理装置、情報処理装置の制御方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination