[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN106768361B - 与vr头戴设备配套的手柄的位置追踪方法和系统 - Google Patents

与vr头戴设备配套的手柄的位置追踪方法和系统 Download PDF

Info

Publication number
CN106768361B
CN106768361B CN201611180100.2A CN201611180100A CN106768361B CN 106768361 B CN106768361 B CN 106768361B CN 201611180100 A CN201611180100 A CN 201611180100A CN 106768361 B CN106768361 B CN 106768361B
Authority
CN
China
Prior art keywords
handle
headset
head
spatial
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611180100.2A
Other languages
English (en)
Other versions
CN106768361A (zh
Inventor
张秀志
周宏伟
孔庆磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Pico Technology Co Ltd
Original Assignee
Beijing Pico Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Pico Technology Co Ltd filed Critical Beijing Pico Technology Co Ltd
Priority to CN201611180100.2A priority Critical patent/CN106768361B/zh
Publication of CN106768361A publication Critical patent/CN106768361A/zh
Application granted granted Critical
Publication of CN106768361B publication Critical patent/CN106768361B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开了与VR头戴设备配套的手柄的位置追踪方法、与VR头戴设备配套的手柄的位置追踪系统、与VR头戴设备配套的手柄、与手柄配套的VR头戴设备、以及VR设备。所述方法包括：所述手柄的外壳上设有红外光源，所述VR头戴设备设有用于拍摄所述红外光源的双目红外摄像头，分别测量手柄和VR头戴设备的空间姿态；根据手柄的空间姿态信息、VR头戴设备的空间姿态信息、以及双目红外摄像头拍摄到的图片信息计算手柄与VR头戴设备的相对位置关系；以及，根据VR头戴设备的空间位置和手柄与VR头戴设备的相对位置关系确定手柄的空间位置。

Description

与VR头戴设备配套的手柄的位置追踪方法和系统
技术领域
本发明涉及虚拟现实技术，具体而言，涉及一种与VR头戴设备配套的手柄的位置追踪方法、一种与VR头戴设备配套的手柄的位置追踪系统、一种与VR头戴设备配套的手柄、一种与手柄配套的VR头戴设备、以及一种VR设备。
背景技术
在VR(Virtual Reality，虚拟现实)技术中，有时需要对手柄进行运动追踪，确定手柄的姿态和空间位置，从而识别用户的动作或操作。
现有技术中，可以通过IMU(inertial measurement unit，惯性测量单元)确定手柄的姿态，但IMU单元无法确定手柄的空间位置。为了确定手柄的空间位置，可以在空间内布置多个摄像头基站，通过摄像头基站拍摄的图像对手柄进行定位，但这种由外而内(Outside-In)的定位方案对空间的要求更大，相对成本更高。
发明内容
本发明的目的在于提供与VR头戴设备配套的手柄的位置追踪方案。
根据本发明的第一方面，提供了一种与VR头戴设备配套的手柄的位置追踪方法，所述手柄的外壳上设有红外光源，所述VR头戴设备设有用于拍摄所述红外光源的双目红外摄像头，所述红外光源具有一个或多个发光点；所述方法包括以下步骤：
分别测量所述手柄和所述VR头戴设备的空间姿态；
根据所述手柄的空间姿态信息、所述VR头戴设备的空间姿态信息、以及所述双目红外摄像头拍摄到的图片信息计算所述手柄与所述VR头戴设备的相对位置关系；以及，
根据所述VR头戴设备的空间位置和所述手柄与所述VR头戴设备的相对位置关系确定所述手柄的空间位置。
可选地，通过所述手柄内置的IMU单元测量所述手柄的空间姿态，通过所述VR头戴设备内置的IMU单元测量所述VR头戴设备的空间姿态。
可选地，所述IMU单元为九轴IMU单元，包括三轴陀螺仪、三轴加速传感器、以及三轴地磁传感器。
可选地，所述手柄包括左手手柄和右手手柄，所述左手手柄和所述右手手柄的红外光源分别具有多个发光点，所述左手手柄和所述右手手柄的发光点的数目和排列形状分别相同或不同。
可选地，所述手柄根据所述双目红外摄像头的同步信号在所述双目红外摄像头的曝光期点亮所述红外光源。
可选地，所述手柄包括左手手柄和右手手柄；
所述VR头戴设备控制所述左手手柄的红外光源和所述右手手柄的红外光源按照奇偶帧交替点亮，根据此期间内所述双目红外摄像头拍摄到的图片信息区分所述左手手柄和右手手柄；或者，
所述VR头戴设备控制所述左手手柄的红外光源或所述右手手柄的红外光源熄灭特定数目的帧数，根据此期间内所述双目红外摄像头拍摄到的图片信息区分所述左手手柄和右手手柄。
根据本发明的第二方面，提供了一种与VR头戴设备配套的手柄的位置追踪系统，所述系统包括设置于所述手柄的外壳上的红外光源，设置于所述VR头戴设备上的双目红外摄像头；
所述系统还包括设置于所述VR头戴设备上的第一IMU单元和手柄位置计算模块，以及设置于所述手柄上的第二IMU单元；
所述第一IMU单元，用于测量所述VR头戴设备的空间姿态；
所述第二IMU单元，用于测量所述手柄的空间姿态；
所述双目红外摄像头，用于拍摄所述红外光源；
所述手柄位置计算模块，用于根据所述手柄的空间姿态信息、所述VR头戴设备的空间姿态信息、以及所述双目红外摄像头拍摄到的图片信息计算所述手柄与所述VR头戴设备的相对位置关系；以及，根据所述VR头戴设备的空间位置和所述手柄与所述VR头戴设备的相对位置关系确定所述手柄的空间位置。
可选地，所述第一IMU单元和所述第二IMU单元为九轴IMU单元，所述九轴IMU单元包括三轴陀螺仪、三轴加速传感器、三轴地磁传感器。
可选地，所述手柄包括左手手柄和右手手柄，所述左手手柄和所述右手手柄的红外光源分别具有多个发光点，所述左手手柄和所述右手手柄的发光点的数目和排列形状分别相同或不同。
可选地，所述手柄还包括红外光源控制模块，所述红外光源控制模块根据所述双目红外摄像头的同步信号在所述双目红外摄像头的曝光期点亮所述红外光源。
根据本发明的第三方面，提供了一种与VR头戴设备配套的手柄，所述手柄包括IMU单元和无线通信模块，所述手柄的外壳上设有用于被追踪的红外光源；
所述IMU单元，用于测量所述手柄的空间姿态；
所述无线通信模块，用于将所述手柄的空间姿态信息发送给所述VR头戴设备。
可选地，所述IMU单元为九轴IMU单元，包括三轴陀螺仪、三轴加速传感器、三轴地磁传感器。
可选地，所述手柄包括左手手柄和右手手柄，所述左手手柄和所述右手手柄的红外光源分别具有多个发光点，所述左手手柄和所述右手手柄的发光点的数目和排列形状分别相同或不同。
根据本发明的第四方面，提供了一种与手柄配套的VR头戴设备，所述VR头戴设备包括VR头戴设备主体和双目红外摄像头模组；
所述VR头戴设备主体包括IMU单元和手柄位置计算模块，所述双目红外摄像头模组包括无线通信模块；
所述IMU单元，用于测量所述VR头戴设备的空间姿态；
所述双目红外摄像头模组，用于拍摄所述手柄的外壳上的红外光源，以及通过所述无线通信模块接收所述手柄的空间姿态信息；
所述手柄位置计算模块，用于根据所述手柄的空间姿态信息、所述VR头戴设备的空间姿态信息、以及所述双目红外摄像头模组拍摄到的图片信息计算所述手柄与所述VR头戴设备的相对位置关系；以及，根据所述VR头戴设备的空间位置和所述手柄与所述VR头戴设备的相对位置关系确定所述手柄的空间位置。
可选地，所述IMU单元为九轴IMU单元，包括三轴陀螺仪、三轴加速传感器、三轴地磁传感器。
可选地，所述VR头戴设备主体和所述双目红外摄像头模组之间通过MIPI/USB总线传输所述双目红外摄像头模组拍摄到的图片信息。
可选地，所述VR头戴设备主体和所述双目红外摄像头模组之间SPI/UART/USB总线传输所述手柄的空间姿态信息和手柄控制命令。
可选地，所述双目红外摄像头模组通过所述无线通信模块向所述手柄发送手柄控制命令。
根据本发明的第五方面，提供了一种VR设备，其特征在于，包括根据前述任一项所述的手柄和根据权利要求14-18任一项所述的VR头戴设备。
本发明的手柄位置追踪方案，在VR头戴设备上设置用于追踪的双目红外摄像头，在手柄上设置用于被追踪的红外光源，通过手柄和头戴设备的空间姿态信息和红外图片信息计算二者的相对位置关系，根据头戴设备的空间位置和二者的相对位置关系确定手柄的空间位置。本发明的手柄位置追踪方案，对外界环境没有要求，更适合于移动虚拟现实应用。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的VR设备的框图。
图2示出了本发明实施例提供的VR头戴设备和手柄的同步过程。
图3示出了本发明实施例提供的区分左右手柄的原理方法。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
参考图1说明本发明实施例提供的VR设备，包括VR头戴设备1、左手手柄4、以及右手手柄3。
左手手柄4的外壳上设有用于被追踪的红外光源41，左手手柄4内置有无线通信模块42和IMU单元43。右手手柄3的外壳上设有用于被追踪的红外光源31，右手手柄3内置有无线通信模块32和IMU单元33。
现有技术中，VR头盔通常包括屏幕、VR引擎、IMU单元等实现VR功能的硬件设模块或软件模块。本发明的VR头戴设备主体10与现有技术中的VR头盔有些类似，包括现有技术中已知的VR头盔的各种常规模块，与之不同的是，本发明的VR头戴设备主体10还内置有手柄位置计算模块12，VR头戴设备主体10的外部还设有双目红外摄像头模组20。在一个实施例中，双目红外摄像头模组20包括双目红外摄像头21和无线通信模块22。双目红外摄像头21包括统一标定后的双红外摄像头，能够同步曝光图像，无线通信模块可以基于2.4G无线传输协议进行开发。
VR头戴设备1的IMU单元11，用于测量VR头戴设备1的空间姿态。
左手手柄4的IMU单元43，用于测量左手手柄4的空间姿态。
右手手柄3的IMU单元33，用于测量右手手柄3的空间姿态。
双目红外摄像头21，用于拍摄左手手柄4的红外光源41和右手手柄3的红外光源31，也就是说，双目红外摄像头21的位置应该使得，当用户佩戴上VR头戴设备1时，双目红外摄像头21能够拍摄到用户双手位置。
双目红外摄像头模组20的无线通信模块22可以分别与左手手柄4的无线通信模块42、右手手柄3的无线通信模块32建立无线连接，以实现VR头戴设备1与左手手柄4的无线通信、以及VR头戴设备1与右手手柄3的无线通信。
VR头戴设备主体10和双目红外摄像头模组20之间通过数据线连接，具体来说，VR头戴设备主体10和双目红外摄像头模组20可以形成两条数据通道，其中一条为SPI/UART/USB总线数据通道，另一条为MIPI/USB总线数据通道。
下面介绍图1所示的VR设备对左手手柄4和右手手柄3的位置追踪的方法和过程。
在VR技术中，一般会确定VR头戴设备的空间位置，从而确定用户当前移动到的位置，本发明利用已知的VR头戴设备空间位置，结合主动红外追踪技术，来确定左右手柄的空间位置。
双目红外摄像头模组20通过无线通信模块20向左手手柄4和右手手柄3分别发送同步信号，左手手柄4和右手手柄3根据同步信号在双目红外摄像头21的曝光期点亮自身的红外光源。双目红外摄像头模组20将拍摄到的图片通过MIPI/USB总线传输到VR头戴设备主体10。
左手手柄4通过无线通信模块42向双目红外摄像头模组20发送左手手柄的空间姿态信息，左手手柄3通过无线通信模块32向双目红外摄像头模组20发送右手手柄的空间姿态信息。双目红外摄像头模组20将接收到的左手手柄的空间姿态信息和右手手柄的空间姿态信息通过SPI/UART/USB总线传输给VR头戴设备主体10。
VR头戴设备主体10的手柄位置计算模块12，根据左右手柄的空间姿态信息、VR头戴设备1的空间姿态信息、以及双目红外摄像头20拍摄到的图片信息分别计算左右手柄与VR头戴设备1的相对位置关系，根据VR头戴设备1的空间位置和左右手柄与所述VR头戴设备的相对位置关系确定左右手柄的空间位置。
这一实施例是通过双目红外摄像头模组直接控制手柄的红外光源进行闪烁，因此VR头戴设备主体部分相对不受限制，可以较为自由的进行设计。
此外，VR头戴设备主体10的VR引擎可能需要控制手柄执行一些特定的动作，例如需要控制手柄中的马达进行震动以模拟真实射击感觉，VR头戴设备10可以通过SPI/UART/USB总线将手柄控制命令传送给双目红外摄像头模组20，由双目红外摄像头模组20的无线通信模块22将手柄控制命令发送到左右手柄。
在一个实施例中，左手手柄4的红外光源41和右手手柄3的红外光源31可以分别具有一个发光点或多个发光点，并且左手手柄4的发光点和右手手柄3的发光点的数目和排列形状可以分别相同或不同。
在一个实施例中，手柄位置计算模块12可以为单独的物理模块，也可以集成在VR头戴设备主体10的处理器中。
在一个实施例中，IMU单元11、IMU单元43、IMU单元33可以选用九轴IMU单元，所述九轴IMU单元包括三轴陀螺仪、三轴加速传感器、三轴地磁传感器。
需要说明的是，在图1所示的实施例中，是在双目红外摄像头模组20中设有用于和手柄通信的无线通信模块22，在其它的实施例中，用于和手柄通信的无线通信模块22也可以设置在VR头戴设备主体10中。
对于本领域技术人员来说，可以通过硬件方式、软件方式或软硬件结合的方式来实现上述追踪与VR头戴设备配套的手柄的位置的方案，这些都属于本发明的保护范围内。
参考图2说明本发明的VR设备的系统同步架构，双目红外摄像头21选用120Hz摄像头，上电后，内部的时钟电路会生成120Hz的同步信号Vsync(例如CMOS Vsync信号)，曝光(Exposure)周期为8.33ms，其中，E1时段(前6.33ms)为静默期，E2时段(后2.0ms)为曝光期，双目红外摄像头21会在E2时段内同步进行曝光。
双目红外摄像头模组20需要通过无线通信模块22将同步信号Vsync发送给左右手柄，由于无线通信模块22不能同时进行收发工作或者其他原因，无线通信模块22发送同步信号Vsync可能会有延迟。出于后续过程同步的需要，在发送同步信号Vsync时，会加入发送时间戳等标志发送时间的数据，也就是说，双目红外摄像头模组20的无线通信模块22实际发送的是含有发送时间数据的同步信号Sync。
由于传输需要时间，左手手柄接收到的同步信号为同步信号L-Sync。左手手柄在根据同步信号L-Sync生成左手手柄红外光源控制信号L-Ctl时，需要考虑发送方的延迟时间和传输所需的时间。具体来说，左手手柄需要将同步信号L-Sync的到达时间往前推定一段时间，使之与同步信号Vsync对齐，然后再向后推定E1时间，在E2时间内产生左手手柄红外光源控制信号L-Ctl，控制左手手柄的红外光源在E2时间内点亮，从而实现了双目红外摄像头21与左手手柄的红外光源同步，左手手柄的红外光源恰好在双目红外摄像头21的曝光期点亮。
同理，由于传输需要时间，右手手柄接收到的同步信号为同步信号R-Sync。右手手柄在根据同步信号R-Sync生成右手手柄红外光源控制信号R-Ctl时，需要考虑发送方的延迟时间和传输所需的时间。具体来说，右手手柄需要将同步信号R-Sync的到达时间往前推定一段时间，使之与同步信号Vsync对齐，然后再向后推定E1时间，在E2时间内产生右手手柄红外光源控制信号R-Ctl，控制右手手柄的红外光源在E2时间内点亮，从而实现了双目红外摄像头21与右手手柄的红外光源同步，右手手柄的红外光源恰好在双目红外摄像头21的曝光期点亮。
在对左右手柄的位置追踪过程中，需要能够区分左手手柄和右手手柄。当左手手柄和右手手柄不同区分的情况出现时，例如当两只手柄处于遮挡状态以后会无法区分两个手柄，本发明实施例提供了以下几种区分左手手柄和右手手柄的技术方案：
第一种方案：对左手手柄的红外光源和右手手柄的红外光源做不同的设计，可以对左手手柄的红外光源的发光点和右手手柄的红外光源的发光点的数目和/或排列形状做不同的设计，例如，左手手柄的发光点排列成半圆形状，右手手柄的发光点排列为圆形形状。通过双目红外摄像头模组拍摄到的图片，VR头戴设备可以区分左手手柄和右手手柄。
第二种方案，在系统同步后，参见图3所示，VR头戴设备1通过无线通信模块22对分别对左手手柄和右手手柄发送控制命令，令左手手柄只在奇数帧点亮红外光源，而右手手柄只在偶数帧点亮红外光源。通过双目红外摄像头模组拍摄到的图片，VR头戴设备1可以区分左手手柄和右手手柄，在VR头戴设备1区分开左右手柄以后，VR头戴设备1可以发送控制命令让左手手柄和右手手柄的红外光源恢复正常闪烁。
第三种方案，在系统同步后，VR头戴设备1通过无线通信模块22对左手手柄或者右手手柄发送灭灯命令，令左手手柄或者右手手柄的红外光源熄灭特定数量的帧数，例如，令左手手柄连续熄灭三帧，左手手柄的红外光源会熄灭25ms左右的时间(8.33ms*3＝24.99ms)，而此期间右手手柄的红外光源一直保证正常闪烁。通过双目红外摄像头模组拍摄到的图片，VR头戴设备1可以区分左手手柄和右手手柄。
上述第二种方式和第三种方式没有使用限制，适用于左手手柄的发光点和右手手柄的发光点的数目和/或排列形状分别相同或不同的情况下。
在一个实施例中，双目红外摄像头模组20分别和左手手柄4、右手手柄3建立250Hz的数据传输通道，每隔4ms向左手手柄和右手手柄请求手柄状态数据，其中，手柄状态数据包括手柄的空间姿态信息，如果双目红外摄像头模组20没有收到某个手柄的手柄状态数据，则在2ms内再次向该手柄发送请求。
在一个实施例中，双目红外摄像头模组和手柄之间为250Hz的数据传输通道，数据载荷为10字节，其中，首字节和末字节用于校验，第1-第5字节用于传输同步信号，VR头戴设备1可以利用第6-9字节来传输手柄控制命令，例如前述控制手柄进行震动的命令，手柄状态数据上传命令、控制左右手柄按照奇偶帧分别进行闪烁的命令，控制左手熄灭特定数目的帧数的命令等等。
本发明的手柄位置追踪方案，在VR头戴设备上设置用于追踪的双目红外摄像头，在手柄上设置用于被追踪的红外光源，通过手柄和头戴设备的空间姿态信息和红外图片信息计算二者的相对位置关系，根据头戴设备的空间位置和二者的相对位置关系确定手柄的空间位置。本发明的手柄位置追踪方案，对外界环境没有要求，更适合于移动虚拟现实应用。
通过本发明的手柄位置追踪方案，可以确定手柄的空间位置，结合手柄的空间姿态信息，实现了由内而外的对手柄的六个自由度的追踪。
基于同样的发明构思，本发明实施例提供了一种与VR头戴设备配套的手柄的位置追踪方法，所述手柄的外壳上设有红外光源，所述VR头戴设备设有用于拍摄所述红外光源的双目红外摄像头，所述红外光源具有一个或多个发光点；所述方法包括以下步骤：
分别测量所述手柄和所述VR头戴设备的空间姿态；
根据所述手柄的空间姿态信息、所述VR头戴设备的空间姿态信息、以及所述双目红外摄像头拍摄到的图片信息计算所述手柄与所述VR头戴设备的相对位置关系；以及，
根据所述VR头戴设备的空间位置和所述手柄与所述VR头戴设备的相对位置关系确定所述手柄的空间位置。
可选地，所述手柄包括左手手柄和右手手柄，所述左手手柄和所述右手手柄的红外光源分别具有多个发光点，所述左手手柄和所述右手手柄的发光点的数目和排列形状分别相同或不同。
可选地，所述手柄根据所述双目红外摄像头的同步信号在所述双目红外摄像头的曝光期点亮所述红外光源。
可选地，所述手柄包括左手手柄和右手手柄；
所述VR头戴设备控制所述左手手柄的红外光源和所述右手手柄的红外光源按照奇偶帧交替点亮，根据此期间内所述双目红外摄像头拍摄到的图片信息区分所述左手手柄和右手手柄；或者，
所述VR头戴设备控制所述左手手柄的红外光源或所述右手手柄的红外光源熄灭特定数目的帧数，根据此期间内所述双目红外摄像头拍摄到的图片信息区分所述左手手柄和右手手柄。
基于同样的发明构思，本发明实施例还提供了一种与VR头戴设备配套的手柄的位置追踪系统，所述系统包括设置于所述手柄的外壳上的红外光源，设置于所述VR头戴设备上的双目红外摄像头；
所述系统还包括设置于所述VR头戴设备上的第一IMU单元和手柄位置计算模块，以及设置于所述手柄上的第二IMU单元；
所述第一IMU单元，用于测量所述VR头戴设备的空间姿态；
所述第二IMU单元，用于测量所述手柄的空间姿态；
所述双目红外摄像头，用于拍摄所述红外光源；
所述手柄位置计算模块，用于根据所述手柄的空间姿态信息、所述VR头戴设备的空间姿态信息、以及所述双目红外摄像头拍摄到的图片信息计算所述手柄与所述VR头戴设备的相对位置关系；以及，根据所述VR头戴设备的空间位置和所述手柄与所述VR头戴设备的相对位置关系确定所述手柄的空间位置。
可选地，所述手柄包括左手手柄和右手手柄，所述左手手柄和所述右手手柄的红外光源分别具有多个发光点，所述左手手柄和所述右手手柄的发光点的数目和排列形状分别相同或不同。
可选地，所述手柄还包括红外光源控制模块，所述红外光源控制模块根据所述双目红外摄像头的同步信号在所述双目红外摄像头的曝光期点亮所述红外光源。
基于同样的发明构思，本发明实施例提供了一种与VR头戴设备配套的手柄，所述手柄包括IMU单元和无线通信模块，所述手柄的外壳上设有用于被追踪的红外光源；
所述IMU单元，用于测量所述手柄的空间姿态；
所述无线通信模块，用于将所述手柄的空间姿态信息发送给所述VR头戴设备。
可选地，所述手柄包括左手手柄和右手手柄，所述左手手柄和所述右手手柄的红外光源分别具有多个发光点，所述左手手柄和所述右手手柄的发光点的数目和排列形状分别相同或不同。
基于同样的发明构思，本发明实施例提供了一种与手柄配套的VR头戴设备，所述VR头戴设备包括VR头戴设备主体和双目红外摄像头模组；
所述VR头戴设备主体包括IMU单元和手柄位置计算模块，所述双目红外摄像头模组包括无线通信模块；
所述IMU单元，用于测量所述VR头戴设备的空间姿态；
所述双目红外摄像头模组，用于拍摄所述手柄的外壳上的红外光源，以及通过所述无线通信模块接收所述手柄的空间姿态信息；
所述手柄位置计算模块，用于根据所述手柄的空间姿态信息、所述VR头戴设备的空间姿态信息、以及所述双目红外摄像头模组拍摄到的图片信息计算所述手柄与所述VR头戴设备的相对位置关系；以及，根据所述VR头戴设备的空间位置和所述手柄与所述VR头戴设备的相对位置关系确定所述手柄的空间位置。
可选地，，所述VR头戴设备主体和所述双目红外摄像头模组之间通过MIPI/USB总线传输所述双目红外摄像头模组拍摄到的图片信息；
可选地，，所述VR头戴设备主体和所述双目红外摄像头模组之间SPI/UART/USB总线传输所述手柄的空间姿态信息和手柄控制命令。
可选地，所述双目红外摄像头模组通过所述无线通信模块向所述手柄发送手柄控制命令。
基于同样的发明构思，本发明实施例提供了一种VR设备，包括根据前述任一项所述的手柄和前述任一项所述的VR头戴设备。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

Claims (19)

1.一种与VR头戴设备配套的手柄的位置追踪方法，其特征在于，所述手柄的外壳上设有红外光源，所述VR头戴设备设有用于拍摄所述红外光源的双目红外摄像头，所述红外光源具有一个或多个发光点；所述方法包括以下步骤：
分别测量所述手柄和所述VR头戴设备的空间姿态；
根据所述手柄的空间姿态信息、所述VR头戴设备的空间姿态信息、以及所述双目红外摄像头拍摄到的图片信息计算所述手柄与所述VR头戴设备的相对位置关系；以及，
根据所述VR头戴设备的空间位置和所述手柄与所述VR头戴设备的相对位置关系确定所述手柄的空间位置。
2.根据权利要求1所述的方法，其特征在于，通过所述手柄内置的IMU单元测量所述手柄的空间姿态，通过所述VR头戴设备内置的IMU单元测量所述VR头戴设备的空间姿态。
3.根据权利要求2所述的方法，其特征在于，所述IMU单元为九轴IMU单元，包括三轴陀螺仪、三轴加速传感器、以及三轴地磁传感器。
4.根据权利要求1所述的方法，其特征在于，所述手柄包括左手手柄和右手手柄，所述左手手柄和所述右手手柄的红外光源分别具有多个发光点，所述左手手柄和所述右手手柄的发光点的数目和排列形状分别相同或不同。
5.根据权利要求1所述的方法，其特征在于，所述手柄根据所述双目红外摄像头的同步信号在所述双目红外摄像头的曝光期点亮所述红外光源。
6.根据权利要求1所述的方法，其特征在于，所述手柄包括左手手柄和右手手柄；
所述VR头戴设备控制所述左手手柄的红外光源和所述右手手柄的红外光源按照奇偶帧交替点亮，根据此期间内所述双目红外摄像头拍摄到的图片信息区分所述左手手柄和右手手柄；或者，
所述VR头戴设备控制所述左手手柄的红外光源或所述右手手柄的红外光源熄灭特定数目的帧数，根据此期间内所述双目红外摄像头拍摄到的图片信息区分所述左手手柄和右手手柄。
7.一种与VR头戴设备配套的手柄的位置追踪系统，其特征在于，所述系统包括设置于所述手柄的外壳上的红外光源，设置于所述VR头戴设备上的双目红外摄像头；
所述系统还包括设置于所述VR头戴设备上的第一IMU单元和手柄位置计算模块，以及设置于所述手柄上的第二IMU单元；
所述第一IMU单元，用于测量所述VR头戴设备的空间姿态；
所述第二IMU单元，用于测量所述手柄的空间姿态；
所述双目红外摄像头，用于拍摄所述红外光源；
所述手柄位置计算模块，用于根据所述手柄的空间姿态信息、所述VR头戴设备的空间姿态信息、以及所述双目红外摄像头拍摄到的图片信息计算所述手柄与所述VR头戴设备的相对位置关系；以及，根据所述VR头戴设备的空间位置和所述手柄与所述VR头戴设备的相对位置关系确定所述手柄的空间位置。
8.根据权利要求7所述的系统，其特征在于，所述第一IMU单元和所述第二IMU单元为九轴IMU单元，所述九轴IMU单元包括三轴陀螺仪、三轴加速传感器、三轴地磁传感器。
9.根据权利要求7所述的系统，其特征在于，所述手柄包括左手手柄和右手手柄，所述左手手柄和所述右手手柄的红外光源分别具有多个发光点，所述左手手柄和所述右手手柄的发光点的数目和排列形状分别相同或不同。
10.根据权利要求7所述的系统，其特征在于，所述手柄还包括红外光源控制模块，所述红外光源控制模块根据所述双目红外摄像头的同步信号在所述双目红外摄像头的曝光期点亮所述红外光源。
11.一种与VR头戴设备配套的手柄，其特征在于，所述手柄包括IMU单元和无线通信模块，所述手柄的外壳上设有用于被追踪的红外光源；
所述IMU单元，用于测量所述手柄的空间姿态；
所述无线通信模块，用于将所述手柄的空间姿态信息发送给所述VR头戴设备以确定所述手柄的空间位置；
其中，所述VR头戴设备确定所述手柄的空间位置包括：
根据所述手柄的空间姿态信息、所述VR头戴设备的空间姿态信息、以及所述VR头戴设备的双目红外摄像头拍摄到的所述红外光源的图片信息计算所述手柄与所述VR头戴设备的相对位置关系；以及，
根据所述VR头戴设备的空间位置和所述手柄与所述VR头戴设备的相对位置关系确定所述手柄的空间位置。
12.根据权利要求11所述的手柄，其特征在于，所述IMU单元为九轴IMU单元，包括三轴陀螺仪、三轴加速传感器、三轴地磁传感器。
13.根据权利要求11所述的手柄，其特征在于，所述手柄包括左手手柄和右手手柄，所述左手手柄和所述右手手柄的红外光源分别具有多个发光点，所述左手手柄和所述右手手柄的发光点的数目和排列形状分别相同或不同。
14.一种与手柄配套的VR头戴设备，其特征在于，所述VR头戴设备包括VR头戴设备主体和双目红外摄像头模组；
所述VR头戴设备主体包括IMU单元和手柄位置计算模块，所述双目红外摄像头模组包括无线通信模块；
所述IMU单元，用于测量所述VR头戴设备的空间姿态；
所述双目红外摄像头模组，用于拍摄所述手柄的外壳上的红外光源，以及通过所述无线通信模块接收所述手柄的空间姿态信息；
所述手柄位置计算模块，用于根据所述手柄的空间姿态信息、所述VR头戴设备的空间姿态信息、以及所述双目红外摄像头模组拍摄到的图片信息计算所述手柄与所述VR头戴设备的相对位置关系；以及，根据所述VR头戴设备的空间位置和所述手柄与所述VR头戴设备的相对位置关系确定所述手柄的空间位置。
15.根据权利要求14所述的VR头戴设备，其特征在于，所述IMU单元为九轴IMU单元，包括三轴陀螺仪、三轴加速传感器、三轴地磁传感器。
16.根据权利要求14所述的VR头戴设备，其特征在于，所述VR头戴设备主体和所述双目红外摄像头模组之间通过MIPI/USB总线传输所述双目红外摄像头模组拍摄到的图片信息。
17.根据权利要求14所述的VR头戴设备，其特征在于，所述VR头戴设备主体和所述双目红外摄像头模组之间SPI/UART/USB总线传输所述手柄的空间姿态信息和手柄控制命令。
18.根据权利要求17所述的VR头戴设备，其特征在于，所述双目红外摄像头模组通过所述无线通信模块向所述手柄发送手柄控制命令。
19.一种VR设备，其特征在于，包括根据权利要求11-13任一项所述的手柄和根据权利要求14-18任一项所述的VR头戴设备。
CN201611180100.2A 2016-12-19 2016-12-19 与vr头戴设备配套的手柄的位置追踪方法和系统 Active CN106768361B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611180100.2A CN106768361B (zh) 2016-12-19 2016-12-19 与vr头戴设备配套的手柄的位置追踪方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611180100.2A CN106768361B (zh) 2016-12-19 2016-12-19 与vr头戴设备配套的手柄的位置追踪方法和系统

Publications (2)

Publication Number Publication Date
CN106768361A CN106768361A (zh) 2017-05-31
CN106768361B true CN106768361B (zh) 2019-10-22

Family

ID=58890787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611180100.2A Active CN106768361B (zh) 2016-12-19 2016-12-19 与vr头戴设备配套的手柄的位置追踪方法和系统

Country Status (1)

Country Link
CN (1) CN106768361B (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018232742A1 (en) * 2017-06-23 2018-12-27 Tencent Technology (Shenzhen) Company Limited METHOD AND DEVICE FOR POINTING AN OBJECT IN A VIRTUAL REALITY (VR) SCENE, AND VR APPARATUS
CN107329593B (zh) * 2017-06-28 2020-10-09 歌尔科技有限公司 一种vr手柄定位方法及装置
CN107219963A (zh) * 2017-07-04 2017-09-29 深圳市虚拟现实科技有限公司 虚拟现实手柄图形空间定位方法和系统
CN107632394A (zh) * 2017-09-21 2018-01-26 上海闻泰电子科技有限公司 去除vr中lcd显示余辉的方法及装置
CN109785381B (zh) * 2018-12-06 2021-11-16 苏州炫感信息科技有限公司 一种光学惯性融合空间定位方法及定位系统
CN111355897B (zh) * 2018-12-24 2023-04-18 海信视像科技股份有限公司 一种灯光控制方法及装置
CN109655789A (zh) * 2018-12-26 2019-04-19 青岛小鸟看看科技有限公司 一种头戴显示系统及其空间定位追踪装置、方法
CN109633632B (zh) * 2018-12-26 2021-11-30 青岛小鸟看看科技有限公司 一种头戴显示设备，手柄及其定位追踪方法
CN109889810A (zh) * 2019-03-27 2019-06-14 上海海事大学 一种用于3d电影拍摄的基于3d拍摄平台的控制系统
CN110567451A (zh) * 2019-09-20 2019-12-13 深圳市丰之健电子科技有限公司 一种人体姿态识别仪装置及其使用方法
CN110767021B (zh) * 2019-11-12 2021-10-08 杭州湖西云百生科技有限公司 一种基于虚拟现实技术的机器人关节置换测试系统
CN111190560B (zh) * 2019-12-24 2022-09-06 青岛小鸟看看科技有限公司 获取硬件垂直同步信号的方法、装置、设备及存储介质
CN111420391A (zh) * 2020-03-04 2020-07-17 青岛小鸟看看科技有限公司 一种头戴显示系统及其空间定位方法
CN111443811A (zh) * 2020-04-02 2020-07-24 重庆爱奇艺智能科技有限公司 一种分离式手柄、虚拟现实设备及虚拟现实追踪系统
CN113518189B (zh) * 2020-04-09 2022-10-18 华为技术有限公司 拍摄方法、系统、电子设备及存储介质
CN112437213A (zh) 2020-10-28 2021-03-02 青岛小鸟看看科技有限公司 图像采集方法、手柄设备、头戴设备及头戴系统
CN114500978B (zh) * 2020-11-12 2023-04-25 海信视像科技股份有限公司 显示设备、手柄以及虚拟目标定位追踪的校准方法
CN114489310B (zh) * 2020-11-12 2025-01-24 海信视像科技股份有限公司 虚拟现实设备以及手柄定位方法
CN114500979B (zh) * 2020-11-12 2023-09-19 海信视像科技股份有限公司 显示设备、控制设备以及同步校准方法
WO2022100288A1 (zh) * 2020-11-12 2022-05-19 海信视像科技股份有限公司 显示设备、手柄以及虚拟目标定位追踪的校准方法
CN112369768B (zh) * 2020-11-13 2023-06-06 歌尔科技有限公司 一种腕带设备及vr系统
CN112527102B (zh) * 2020-11-16 2022-11-08 青岛小鸟看看科技有限公司 头戴式一体机系统及其6DoF追踪方法和装置
CN113225870B (zh) * 2021-03-29 2023-12-22 青岛小鸟看看科技有限公司 Vr设备定位方法及vr设备
CN112926521B (zh) * 2021-03-30 2023-01-24 青岛小鸟看看科技有限公司 基于光源亮灭的眼球追踪方法、系统
CN112926523B (zh) 2021-03-30 2022-07-26 青岛小鸟看看科技有限公司 基于虚拟现实的眼球追踪方法、系统
CN113138666B (zh) * 2021-04-15 2023-04-25 潍坊歌尔电子有限公司 手柄校准方法、手柄、头戴式显示器及存储介质
CN113327244B (zh) * 2021-06-25 2024-09-13 南京爱奇艺智能科技有限公司 一种基于计算机视觉的手柄控制器led灯定位方法和系统
CN113747370B (zh) 2021-08-10 2023-05-02 青岛小鸟看看科技有限公司 数据传输方法、装置、设备及系统
CN114510149B (zh) * 2022-02-15 2022-09-09 深圳市恒必达电子科技有限公司 一种带力量感应的vr及ar体感装置
CN114681907A (zh) * 2022-04-27 2022-07-01 歌尔股份有限公司 定位方法、头戴设备及计算机可读存储介质
CN115082520B (zh) * 2022-06-14 2024-10-11 歌尔股份有限公司 定位追踪方法、装置、终端设备及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156859A (zh) * 2011-04-21 2011-08-17 刘津甦 手部姿态与空间位置的感知方法
CN103207706A (zh) * 2012-01-13 2013-07-17 南京先能光电科技有限公司 双光笔电子白板系统及笔区别方法
CN103777746A (zh) * 2012-10-23 2014-05-07 腾讯科技（深圳）有限公司 一种人机交互方法、终端及系统
CN104090660A (zh) * 2014-05-30 2014-10-08 贺杰 一种基于立体视觉的动作采集和反馈方法及系统
CN104317403A (zh) * 2014-10-27 2015-01-28 黄哲军 一种用于手语识别的可穿戴设备
CN106019265A (zh) * 2016-05-27 2016-10-12 北京小鸟看看科技有限公司 一种多目标定位方法和系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5381158A (en) * 1991-07-12 1995-01-10 Kabushiki Kaisha Toshiba Information retrieval apparatus
JP2000029621A (ja) * 1998-07-10 2000-01-28 Sony Corp コンピュータ装置
JP3631151B2 (ja) * 2000-11-30 2005-03-23 キヤノン株式会社 情報処理装置、複合現実感提示装置及びその方法並びに記憶媒体
JP5868886B2 (ja) * 2013-03-11 2016-02-24 東芝三菱電機産業システム株式会社 ウェアラブルコンピュータ入力装置
US10055018B2 (en) * 2014-08-22 2018-08-21 Sony Interactive Entertainment Inc. Glove interface object with thumb-index controller
US9746921B2 (en) * 2014-12-31 2017-08-29 Sony Interactive Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
US10007339B2 (en) * 2015-11-05 2018-06-26 Oculus Vr, Llc Controllers with asymmetric tracking patterns

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156859A (zh) * 2011-04-21 2011-08-17 刘津甦 手部姿态与空间位置的感知方法
CN103207706A (zh) * 2012-01-13 2013-07-17 南京先能光电科技有限公司 双光笔电子白板系统及笔区别方法
CN103777746A (zh) * 2012-10-23 2014-05-07 腾讯科技（深圳）有限公司 一种人机交互方法、终端及系统
CN104090660A (zh) * 2014-05-30 2014-10-08 贺杰 一种基于立体视觉的动作采集和反馈方法及系统
CN104317403A (zh) * 2014-10-27 2015-01-28 黄哲军 一种用于手语识别的可穿戴设备
CN106019265A (zh) * 2016-05-27 2016-10-12 北京小鸟看看科技有限公司 一种多目标定位方法和系统

Also Published As

Publication number Publication date
CN106768361A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN106768361B (zh) 与vr头戴设备配套的手柄的位置追踪方法和系统
US11467657B2 (en) Synchronization of magnetic sensor sampling frequency for body pose tracking in artificial reality systems
KR102448284B1 (ko) 헤드 마운트 디스플레이 추적 시스템
JP6642432B2 (ja) 情報処理装置及び情報処理方法、並びに画像表示システム
CN110494792B (zh) 外围设备的视觉跟踪
WO2018225187A1 (ja) 情報処理システム、情報処理装置、サーバ装置、画像提供方法および画像生成方法
CN103620527A (zh) 使用动作和语音命令来控制信息显示和远程设备的头戴式计算机
WO2020209088A1 (ja) 複数のマーカを備えたデバイス
JP2021060627A (ja) 情報処理装置、情報処理方法、およびプログラム
CN112822480A (zh) Vr系统及其定位追踪方法
JP7198149B2 (ja) 情報処理装置およびデバイス情報導出方法
CN113383294A (zh) 用于解决六自由度姿态测量中的半球模糊的方法和系统
US11531401B2 (en) Data replacement apparatus, computing device, and program for user and avatar coordination
JP6518645B2 (ja) 情報処理装置および画像生成方法
US11794095B2 (en) Information processing apparatus and device information derivation method
CN105828021A (zh) 基于增强现实技术的特种机器人图像采集控制方法及系统
JP7353773B2 (ja) 複数のマーカを備えたデバイス
JP7193539B2 (ja) データ処理
KR101896239B1 (ko) 모션인식을 이용한 드론 제어 시스템
US20210191516A1 (en) Tactile feedback device and operation method thereof
JP2021071672A (ja) 表示システム、表示方法、及び、表示プログラム
JP7111645B2 (ja) 制御プログラム
JP7613828B2 (ja) 複数のマーカを備えたデバイス
CN118591786A (zh) 用于模拟身体运动的跟踪系统
JP2023120843A (ja) 情報処理装置およびデバイス位置推定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant