CN112781589B

CN112781589B - 一种基于光学数据和惯性数据的位置追踪设备及方法

Info

Publication number: CN112781589B
Application number: CN202110009066.7A
Authority: CN
Inventors: 何元会; 周烽; 胡同杰; 刘昊扬; 戴若犁
Original assignee: BEIJING NOITOM TECHNOLOGY Ltd
Current assignee: BEIJING NOITOM TECHNOLOGY Ltd
Priority date: 2021-01-05
Filing date: 2021-01-05
Publication date: 2021-12-28
Anticipated expiration: 2041-01-05
Also published as: CN112781589A

Abstract

本公开涉及一种基于光学数据和惯性数据的位置追踪设备及方法，该设备包括：光学相机、处理器、拓扑结构相同的多个光学刚体、固定于每个光学刚体内的惯性传感器；光学相机和惯性传感器均与处理器相连接；不同的惯性传感器设置有不同的身份标识。当各光学刚体旋转位于不同位置时，通过惯性传感器采集惯性数据；通过光学相机采集各光学刚体的光学数据；通过处理器接收多个光学数据和惯性数据，以及根据惯性数据和光学数据确定光学刚体和惯性传感器之间的匹配关系，并采用惯性传感器的身份标识标记与该惯性传感器具有匹配关系的光学刚体。本公开能够提升同场的光学刚体的容纳数量。

Description

一种基于光学数据和惯性数据的位置追踪设备及方法

技术领域

本公开涉及动作捕捉技术领域，尤其涉及一种基于光学数据和惯性数据的位置追踪设备及方法。

背景技术

目前，基于光学镜头的室内光学刚体追踪方式，主要依赖光学刚体上的空间拓扑结构来完成光学刚体的位置和姿态追踪；其中，拓扑结构由至少三个光点组成，利用不同的拓扑结构可以识别不同的光学刚体。

在基于拓扑结构识别和追踪光学刚体的位置和姿态的过程中，当有多个光学刚体在同一个追踪区域时，不同的光学刚体需要通过不同的拓扑结构来区分。这样就要求拓扑结构不能太小，否则镜头无法区分光学刚体上的各个光点。但同时也要求拓扑结构不能太大，太大会导致抓握及运动过程中互相碰撞干扰。拓扑结构的大小决定了光学刚体的大小，在拓扑结构的适当大小范围内，同场的异形光学刚体的可追踪数量将受到极大的容量限制。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种基于光学数据和惯性数据的位置追踪设备及方法。

本公开提供了一种基于光学数据和惯性数据的位置追踪设备，包括：光学相机、处理器、拓扑结构相同的多个光学刚体、固定于每个所述光学刚体内的惯性传感器；所述光学相机和所述惯性传感器均与所述处理器相连接；不同的所述惯性传感器设置有不同的身份标识；所述惯性传感器，用于当各所述光学刚体旋转位于不同位置时，采集惯性数据；所述光学相机，用于采集各所述光学刚体的光学数据；所述处理器，用于接收多个所述光学数据和所述惯性数据，以及根据所述惯性数据和所述光学数据确定所述光学刚体和所述惯性传感器之间的匹配关系，并采用所述惯性传感器的身份标识标记与该惯性传感器具有所述匹配关系的光学刚体。

进一步，所述惯性传感器包括：加速度传感器和陀螺仪。

进一步，所述光学刚体上设置有多个发光点，由所述多个发光点组成所述光学刚体的拓扑结构。

本公开提供了一种基于光学数据和惯性数据的位置追踪方法，所述方法应用于上述的基于光学数据和惯性数据的位置追踪设备；所述基于光学数据和惯性数据的位置追踪设备包括：光学相机、处理器、拓扑结构相同的多个光学刚体、固定于每个所述光学刚体内的惯性传感器；所述光学相机和所述惯性传感器均与所述处理器相连接；不同的所述惯性传感器设置有不同的身份标识；所述方法包括：

当各所述光学刚体旋转位于不同位置时，通过所述惯性传感器采集惯性数据；通过所述光学相机采集各所述光学刚体的光学数据；通过所述处理器接收多个所述光学数据和所述惯性数据，以及根据所述惯性数据和所述光学数据确定所述光学刚体和所述惯性传感器之间的匹配关系，并采用所述惯性传感器的身份标识标记与该惯性传感器具有所述匹配关系的光学刚体。

进一步，所述根据所述惯性数据和所述光学数据确定所述光学刚体和所述惯性传感器之间的匹配关系，包括：根据所述惯性数据和所述光学数据各自携带的采集时间，确定采集时间相同的多个所述惯性数据和多个所述光学数据；根据所述惯性数据确定所述惯性传感器的姿态变化量，得到第一姿态变化轨距；根据所述光学数据确定所述光学刚体的姿态变化量，得到第二姿态变化轨距；根据匹配算法，确定任一所述第一姿态变化轨距和任一所述第二姿态变化轨距之间的匹配度；基于所述匹配度确定所述光学刚体和所述惯性传感器之间的匹配关系；其中，具有所述匹配关系的所述惯性传感器为匹配度最高的所述第一姿态变化轨距对应的惯性传感器，具有所述匹配关系的所述光学刚体为匹配度最高的所述第二姿态变化轨距对应的刚学刚体。

进一步，所述方法还包括：根据所述匹配关系记录所述惯性数据和所述光学数据，得到追踪数据；采用所述身份标识标记所述追踪数据。

本公开提供了一种电子设备，包括：处理器和存储装置；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行上述的方法。

本公开提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述方法的步骤。

本公开实施例提供的技术方案与现有技术相比具有如下优点：

本公开实施例提供了一种基于光学数据和惯性数据的位置追踪设备及方法，该设备包括：光学相机、处理器、拓扑结构相同的多个光学刚体、固定于每个光学刚体内的惯性传感器；不同的惯性传感器设置有不同的身份标识；该方法包括：当各光学刚体旋转位于不同位置时，通过惯性传感器采集惯性数据；通过光学相机采集各光学刚体的光学数据；通过处理器接收多个光学数据和惯性数据，以及根据惯性数据和光学数据确定光学刚体和惯性传感器之间的匹配关系，并采用惯性传感器的身份标识标记与该惯性传感器具有匹配关系的光学刚体。本公开实施例提供的光学刚体具有统一的拓扑结构，通过在每个光学刚体内设置具有身份标识的惯性传感器，并采用具有匹配关系的惯性传感器的身份标识来标记光学刚体，实现了利用身份标识区分不同的光学刚体，摆脱了利用不同拓扑结构区分各个光学刚体的限制，从而能够显著提升同场的光学刚体的容纳数量。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例所述基于光学数据和惯性数据的位置追踪设备的结构示意图；

图2为本公开实施例提供的一种光学刚体的正视图；

图3为本公开实施例提供的一种光学刚体的俯视图；

图4为本公开实施例所述基于光学数据和惯性数据的位置追踪方法流程图。

图标：

101-光学刚体；102-惯性传感器；103-光学相机；104-处理器。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

考虑到现有利用拓扑结构标记不同光学刚体的方式，会使同场的异形光学刚体的可追踪数量受到极大的容量限制，当前异形光学刚体的同场可追踪数量大概在二十三个左右。基于此，本公开实施例提供一种基于光学数据和惯性数据的位置追踪设备及方法。为便于理解，首先对本公开实施例提供的基于光学数据和惯性数据的位置追踪设备展开描述。

参照图1所示的基于光学数据和惯性数据的位置追踪设备的结构示意图，该设备可以包括：光学相机103、处理器104、拓扑结构相同的多个光学刚体101(图1中仅示出了两个作为示例)、固定于每个光学刚体101内的惯性传感器102；光学相机103和惯性传感器102均与处理器104相连接。

其中，每个光学刚体101上设置有多个发光点，由多个发光点组成光学刚体101的拓扑结构。其中，发光点可以为被动反光点或主动发光点。本实施例中的多个光学刚体101具有相同的拓扑结构。参照图2和图3，提供了一种具体的光学刚体101，该光学刚体101由四个圆形的发光点组成了拓扑结构；如图2所示的光学刚体的正视图和图3所示的光学刚体的俯视图，可以看出，四个圆形的发光点分布在空间的不同位置，共同构成了光学刚体101的拓扑结构。

在每个光学刚体101内均固定有一个惯性传感器102，且惯性传感器102包括：加速度传感器和陀螺仪。不同的惯性传感器102设置有不同的身份标识。也就是说，一个惯性传感器102对应唯一的一个身份标识，可以通过身份标识区别不同的惯性传感器102。针对每个惯性传感器102，其用于当各光学刚体101旋转位于不同位置时，采集惯性数据。

上述光学相机103用于采集各光学刚体101的光学数据；在实际应用中，光学相机103可以为红外光学相机，光学刚体101上的发光点可以为主动发光的红外灯，在此情况下，光学相机103采集的光学数据为多个红外灯的光学三维点坐标数据。为了便于准确且全面的采集光学刚体的光学数据，本实施例中的光学相机103可以设置至少两个。

上述处理器104，诸如为手机、电脑等具有数据处理能力的设备。该处理器104用于接收多个光学数据和惯性数据，以及根据惯性数据和光学数据确定光学刚体101和惯性传感器102之间的匹配关系，并采用惯性传感器102的身份标识标记与该惯性传感器102具有匹配关系的光学刚体101。

基于上述的基于光学数据和惯性数据的位置追踪设备，本实施例提供一种基于光学数据和惯性数据的位置追踪方法，该方法应用于该设备。如图3所示，基于光学数据和惯性数据的位置追踪方法包括如下步骤：

步骤S302，当各光学刚体旋转位于不同位置时，通过惯性传感器采集惯性数据。可以理解的是，同场可以有多个光学刚体旋转，对于每个光学刚体，可以旋转不同的角度以处于不同的位置，基于此，该光学刚体内的惯性传感器可以随着光学刚体的旋转过程，采集各个位置下的惯性数据。

步骤S304，通过光学相机采集各光学刚体的光学数据。具体的，随着光学刚体的旋转位于不同位置，光学相机采集各个位置下的光学数据；其中，光学数据包括光学刚体上多个发光点的光学三维点坐标数据。

步骤S306，通过处理器接收多个光学数据和惯性数据，以及根据惯性数据和光学数据确定光学刚体和惯性传感器之间的匹配关系，并采用惯性传感器的身份标识标记与该惯性传感器具有匹配关系的光学刚体。

处理器确定光学刚体和惯性传感器之间的匹配关系的具体实现方式可参照如下步骤(1)-(5)：

(1)根据惯性数据和光学数据各自携带的采集时间，确定采集时间相同的多个惯性数据和多个光学数据。考虑到光学相机和惯性传感器之间可能存在时间误差，因此，所确定的多个惯性数据和多个光学数据，既可以为采集时间的两项数据，也可以为采集时间的间隔在预设范围(如5ms)内的两项数据。

(2)根据惯性数据确定惯性传感器的姿态变化量，得到第一姿态变化轨距。旋转的光学刚体为多个，每个光学刚体内的惯性传感器均对应采集一组惯性数据，相应的，每组惯性数据可以确定一个第一姿态变化轨距；基于此，第一姿态变化轨距为多个，分别与各个惯性传感器相对应。

(3)根据光学数据确定光学刚体的姿态变化量，得到第二姿态变化轨距。与第一姿态变化轨距同理，第二姿态变化轨距也为多个，分别与各个光学刚体相对应。

(4)根据匹配算法，确定任一第一姿态变化轨距和任一第二姿态变化轨距之间的匹配度。

(5)基于匹配度确定光学刚体和惯性传感器之间的匹配关系。其中，具有匹配关系的惯性传感器为匹配度最高的第一姿态变化轨距对应的惯性传感器，具有匹配关系的光学刚体为匹配度最高的第二姿态变化轨距对应的刚学刚体。

例如，以第一姿态变化轨距G_i为例，第一姿态变化轨距G_i与每个第二姿态变化轨距均确定有一个匹配度，在多个匹配度中，第一姿态变化轨距G_i与第二姿态变化轨距G_j之间的匹配度最高，则确定第一姿态变化轨距G_i对应的惯性传感器A，与第二姿态变化轨距G_j对应的光学刚体B之间具有匹配关系，匹配关系表示该惯性传感器A是与光学刚体B固定在一起的。

在确定了各个光学刚体与各个惯性传感器之间的匹配关系后，可以根据匹配关系记录惯性数据和光学数据，得到追踪数据；以及采用身份标识标记追踪数据。在此情况下，可以根据身份标识，识别不同光学刚体的追踪数据，极大地方便了后续的数据处理。

综上，上述实施例将不同的光学刚体统一为相同的拓扑结构，通过在每个光学刚体内设置具有身份标识的惯性传感器，并采用具有匹配关系的惯性传感器的身份标识来标记光学刚体，实现了利用身份标识区分不同的光学刚体，摆脱了利用不同拓扑结构区分各个光学刚体的限制，从而能够显著提升同场的光学刚体的容纳数量。在一次实际实验场景中，利用身份标识区分不同的光学刚体的方式，可以将同场的光学刚体的容纳数量提升至二百以上，相比于现有的二十多的数量，有了显著的容量提升，能够适应多人大空间的追踪需求。

根据前述实施例，本公开实施例还提供一种电子设备，其包括：处理器和存储装置；

所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如实施例一中所述的基于光学数据和惯性数据的位置追踪方法。

本发明实施例提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述实施例一中的基于光学数据和惯性数据的位置追踪方法的步骤。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种基于光学数据和惯性数据的位置追踪设备，其特征在于，包括：光学相机、处理器、拓扑结构相同的多个光学刚体、固定于每个所述光学刚体内的惯性传感器；所述光学相机和所述惯性传感器均与所述处理器相连接；不同的所述惯性传感器设置有不同的身份标识；

所述惯性传感器，用于当各所述光学刚体旋转位于不同位置时，采集惯性数据；

所述光学相机，用于采集各所述光学刚体的光学数据；

所述处理器，用于接收多个所述光学数据和所述惯性数据，以及根据所述惯性数据和所述光学数据确定所述光学刚体和所述惯性传感器之间的匹配关系，并采用所述惯性传感器的身份标识标记与该惯性传感器具有所述匹配关系的光学刚体；

其中，所述光学刚体上设置有多个发光点，由所述多个发光点组成所述光学刚体的拓扑结构；

所述根据所述惯性数据和所述光学数据确定所述光学刚体和所述惯性传感器之间的匹配关系，包括：

根据所述惯性数据和所述光学数据各自携带的采集时间，确定采集时间相同的多个所述惯性数据和多个所述光学数据；

根据所述惯性数据确定所述惯性传感器的姿态变化量，得到第一姿态变化轨距；

根据所述光学数据确定所述光学刚体的姿态变化量，得到第二姿态变化轨距；

根据匹配算法，确定任一所述第一姿态变化轨距和任一所述第二姿态变化轨距之间的匹配度；

基于所述匹配度确定所述光学刚体和所述惯性传感器之间的匹配关系；其中，具有所述匹配关系的所述惯性传感器为匹配度最高的所述第一姿态变化轨距对应的惯性传感器，具有所述匹配关系的所述光学刚体为匹配度最高的所述第二姿态变化轨距对应的刚学刚体。

2.根据权利要求1所述的设备，其特征在于，所述惯性传感器包括：加速度传感器和陀螺仪。

3.一种基于光学数据和惯性数据的位置追踪方法，其特征在于，所述方法应用于权利要求1至2任一项所述的基于光学数据和惯性数据的位置追踪设备；所述基于光学数据和惯性数据的位置追踪设备包括：光学相机、处理器、拓扑结构相同的多个光学刚体、固定于每个所述光学刚体内的惯性传感器；所述光学相机和所述惯性传感器均与所述处理器相连接；不同的所述惯性传感器设置有不同的身份标识；其中，所述光学刚体上设置有多个发光点，由所述多个发光点组成所述光学刚体的拓扑结构；所述方法包括：

当各所述光学刚体旋转位于不同位置时，通过所述惯性传感器采集惯性数据；

通过所述光学相机采集各所述光学刚体的光学数据；

通过所述处理器接收多个所述光学数据和所述惯性数据，以及根据所述惯性数据和所述光学数据确定所述光学刚体和所述惯性传感器之间的匹配关系，并采用所述惯性传感器的身份标识标记与该惯性传感器具有所述匹配关系的光学刚体；

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

根据所述匹配关系记录所述惯性数据和所述光学数据，得到追踪数据；

采用所述身份标识标记所述追踪数据。

5.一种电子设备，其特征在于，包括：处理器和存储装置；

所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求3至4任一项所述的方法。

6.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求3至4任一项所述的方法的步骤。