CN114967926A - Ar头显设备，以及ar头显设备与终端设备组合系统 - Google Patents

Abstract

本发明实施例提供了一种AR头显设备，以及AR头显设备与终端设备组合系统，通过多种模块对外界数据进行采集，并且通过处理器以及多个协处理器对数据进行分布式处理，将处理结果输出。AR头显设备与终端设备的结合，提高了增强现实效果，交互性更高，用户体验感更强。

Description

AR头显设备，以及AR头显设备与终端设备组合系统

本案为分案申请，原案申请号：201810859793.0，原案申请日：2018年08月01日。

技术领域

本发明涉及增强现实技术领域，具体而言，涉及一种AR头显设备，以及AR头显设备与终端设备组合系统。

背景技术

AR(Augmented Reality，增强现实)也被称为混合现实，其原理是通过电脑技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。

现有技术中，AR头显设备只能通过较单一的传感器采集数据，并且通过对采集的数据进行处理，根据处理结果进行操控，这样设计交互性不强，用户体验感不好。

发明内容

针对上述现有技术中存在的问题，本发明提供了一种AR头显设备与终端设备组合系统。

第一方面，本发明实施例提供了一种AR头显设备与终端设备组合系统，所述AR头显设备包括AR电源系统、AR通信模块、AR处理模块；

所述终端设备包括终端电源系统、终端通信模块、终端处理模块；

所述AR头显设备与所述终端设备通过所述AR通信模块和所述终端通信模块建立连接。

进一步的，所述AR通信模块为有线通信模块或无线通信模块；

当所述AR通信模块为无线通信模块时，所述AR电源系统包括充电模块和供电模块；

当所述AR通信模块为有线通信模块时，所述AR电源系统至少包括供电模块。

进一步的，所述AR头显设备还包括AR协处理模块，所述终端设备还包括终端协处理模块；

所述AR协处理模块用于与所述AR处理模块和/或所述终端处理模块和/或所述终端协处理模块进行协同处理；

所述终端协处理模块用于与所述终端处理模块和/或所述AR处理模块或所述AR协处理模块进行协同处理。

进一步的，所述AR协处理模块为AR显示处理模块，所述终端协处理模块为终端显示处理模块，所述AR头显设备还包括AR显示模块，所述终端设备还包括终端显示模块；

所述AR显示处理模块、所述AR处理模块、所述终端显示处理模块和所述终端处理模块中的至少一项处理所述AR显示模块和/或所述终端显示模块的数据。

进一步的，所述AR协处理模块为AR空间定位协处理模块，所述终端协处理模块为终端空间定位协处理模块，所述AR头显设备还包括AR空间定位数据采集模块；

所述AR处理模块、所述AR空间定位协处理模块、所述终端处理模块和所述终端空间定位协处理模块中的至少一项处理所述AR空间定位数据采集模块采集的数据，并且传输给所述AR处理模块、所述AR空间定位协处理模块、所述终端处理模块和所述终端空间定位协处理模块中的至少一项。

进一步的，所述AR协处理模块为AR混合现实协处理模块，所述终端协处理模块为终端混合现实协处理模块，所述AR头显设备还包括AR空间定位数据采集模块、AR图像采集模块、AR深度探测模块和AR视线追踪模块；

所述AR混合现实协处理模块和/或所述AR处理模块用于接收所述AR空间定位数据采集模块、AR图像采集模块、AR深度探测模块和AR视线追踪模块采集的数据，由所述AR混合现实协处理模块、所述AR处理模块、所述终端混合现实协处理模块和所述终端处理模块中的至少一项处理所述AR空间定位数据采集模块、AR图像采集模块、AR深度探测模块和AR视线追踪模块采集的数据，并且传输给所述AR处理模块、所述AR混合现实协处理模块、终端处理模块和所述终端空间定位协处理模块中的至少一项。

进一步的，所述AR协处理模块为AR协同混合现实协处理模块，所述终端协处理模块为终端协同混合现实协处理模块，所述AR头显设备还包括AR空间定位数据采集模块、AR图像采集模块、AR深度探测模块和AR视线追踪模块；所述终端设备还包括终端空间定位数据采集模块、终端图像采集模块和终端深度探测模块；

所述AR处理模块、所述AR协同混合现实协处理模块、所述终端处理模块和所述终端协同混合现实协处理模块中的至少一项处理所述AR空间定位数据采集模块、AR图像采集模块、AR深度探测模块和AR视线追踪模块采集的数据以及所述终端空间定位数据采集模块、终端图像采集模块和所述终端深度探测模块采集的数据，并且传输给所述AR处理模块、所述AR协同混合现实协处理模块、所述终端处理模块和所述终端协同混合现实协处理模块中的至少一项。

进一步的，所述AR协处理模块为AR运动行为感知协处理模块，所述终端协处理模块为终端运动行为感知协处理模块，所述AR头显设备还包括AR空间定位数据采集模块、AR运动感知模块、AR深度探测模块、AR视线追踪模块和AR触控模块；所述终端设备还包括终端空间定位数据采集模块、终端运动感知模块、终端深度探测模块和终端触控模块；

所述AR处理模块、所述AR运动行为感知协处理模块、所述终端处理模块和所述终端运动行为感知协处理模块中的至少一项处理所述AR空间定位数据采集模块、AR运动感知模块、AR深度探测模块、AR视线追踪模块和AR触控模块采集的数据以及所述终端空间定位数据采集模块、终端运动感知模块、终端深度探测模块和终端触控模块采集的数据，并且传输给所述AR处理模块、所述AR运动行为感知协处理模块、所述终端运动行为感知协处理模块和所述处理模块中的至少一项。

进一步的，所述AR协处理模块为AR音频处理模块，所述终端协处理模块为终端音频处理模块，所述AR头显设备还包括AR音频模块，所述终端设备还包括终端音频模块；

所述AR处理模块、所述AR音频处理模块、所述终端处理模块和所述终端音频处理模块中的至少一项处理所述AR音频模块以及所述终端音频模块采集的数据，并且传输给所述AR处理模块、所述AR音频处理模块、所述终端音频处理模块和所述终端处理模块中的至少一项处理所述数据，然后通过所述AR音频模块和/或所述终端音频模块输出。

进一步的，所述AR协处理模块、所述AR处理模块、所述终端协处理模块和所述终端处理模块中的至少两项协同处理，实现所述AR头显设备与所述终端设备的协同工作。

本发明实施例带来了以下有益效果：

本发明实施例提供了一种AR头显设备与终端设备组合系统，通过多种模块对外界数据进行采集，并且通过处理器以及多个协处理器对数据进行分布式处理，将处理结果输出。AR头显设备与终端设备的结合，提高了增强现实效果，交互性更高，用户体验感更强。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的地和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例所提供的一种AR头显设备与终端设备组合系统的结构图；

图2为本发明实施例所提供的一种AR头显设备与电脑系统的结构图；

图3为本发明实施例所提供的一种AR头显设备与手机系统的结构图；

图4为本发明实施例所提供的一种带有同步显示功能的AR头显设备与手机系统的结构图；

图5为本发明实施例所提供的一种带有空间定位功能的AR头显设备与手机系统的结构图；

图6为本发明实施例所提供的一种带有混合现实功能的AR头显设备与手机系统的结构图；

图7为本发明实施例所提供的一种带有协同混合现实功能的AR头显设备与手机系统的结构图；

图8为本发明实施例所提供的一种带有运动行为综合感知运算功能的AR头显设备与手机系统的结构图；

图9为本发明实施例所提供的一种带有声场功能的AR头显设备与手机系统的结构图。

具体实施方式

为使本发明实施例的目的地、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

参见图1所示的一种AR头显设备与终端设备组合系统的结构图，该系统具体包括：AR头显设备和终端设备，其中终端设备可以为电脑或者其他移动终端；

所述AR头显设备包括AR电源系统、AR通信模块、AR处理模块和AR协处理模块；

所述终端设备包括终端电源系统、终端通信模块、终端处理模块和终端协处理模块；

所述AR头显设备与终端设备通过AR通信模块和终端通信模块建立连接。

在本发明实施例中，所述AR通信模块可以有线通信模块或无线通信模块；当所述AR通信模块为无线通信模块时，所述AR电源系统包括充电模块和供电模块，但是当所述AR通信模块为有线通信模块时，所述AR电源系统至少需要包括供电模块。

AR头显设备还包括音频模块、图像采集模块、空间定位数据采集模块、运动感知模块、深度探测模块、视线追踪模块或触控模块。

如图2所示，终端设备可以是电脑，电脑上可以配置有通信模块、显示模块、图像采集模块、音频模块、深度探测模块以及触控模块等其他模块。

如图3所示，终端设备可以为手机等移动终端设备，手机上可以配置有通信模块、显示模块、图像采集模块、音频模块、空间定位数据采集模块，运动感知模块、深度探测模块以及触控模块等其他模块。

在本发明另一实施例中，所述终端设备还可以不具备显示模块和/或音频模块和/或空间定位数据采集模块和/或运动感知模块和/或深度探测模块和/或触控模块。

进一步来说，AR处理模块、AR协处理模块与所述终端处理模块和终端协处理模块中的至少一项进行协同处理。

具体来说，其他模块对数据进行采集，然后根据运算复杂度等需求，可以采取以下几种方式对采集到的数据进行处理：1、仅在终端处理模块、终端协处理模块、AR处理模块或AR协处理模块中进行单独运算处理；2、同时在AR头显设备和终端设备进行分布式运算，包括9种方式：①AR处理模块与终端处理模块同时分布处理；②AR协处理模块与终端协处理模块同时分布处理；③AR处理模块与终端协处理模块同时分布处理；④AR协处理模块与终端处理模块同时分布处理；⑤AR处理模块、AR协处理模块、终端处理模块协同处理；⑥AR处理模块、AR协处理模块、终端协处理模块协同处理；⑦AR处理模块、终端处理模块、终端协处理模块协同处理；⑧AR协处理模块、终端处理模块、终端协处理模块协同处理；⑨AR处理模块、AR协处理模块、终端处理模块、终端协处理模块协同处理。以上共有10类数据处理方式。

下面以同时在AR头显设备和终端设备进行分布式运算举例进行说明：

方式1，AR头显设备的各个模块将各自的数据传给AR处理模块后，AR处理模块直接处理其中的一部分数据；同时，AR处理模块将另一部分数据传给终端处理模块进行处理。这样，就实现了在AR处理模块和终端处理模块上同时分布进行数据运算。因为参与处理的两个处理模块是AR眼镜和终端(手机或PC)通用的处理器，所以对数据的处理能力和速度相对较差，但是采用AR处理模块与终端处理模块协同处理方式进行数据运算，运算速度会比仅在某一端使用单一处理模块的运算时间少，效率更高，大约可以提供10％-30％左右。因此，此种协处理方式适用于运算较大，对运算时间要求较高的应用。此外，AR眼镜由于具有AR协处理模块参与，所以对于AR眼镜的AR处理模块的处理器的性能要求可以适当放宽，有利于眼镜端的小型化与轻便化。由于手机或PC的处理器同时分担了协处理的任务，使得AR眼镜的功耗和发热都可以降低，改善头部佩戴体验。

方式2，AR头显设备的各个模块将各自的数据传给AR处理模块后，AR处理模块将其中一部分原始数据传给终端处理模块，终端处理模块通过终端设备总线传给终端协处理模块进行处理；AR处理模块同时将另一部分数据通过总线传给AR协处理模块进行处理。这样，就实现了在AR协处理模块和终端协处理模块上同时分布进行数据运算。AR眼镜和手机或PC都使用协处理模块，因此此种方式是运算速度最快的协同处理方式，适用于大运算量、高实时性特定算法的运算处理。AR眼镜的AR协处理模块可以是主处理器芯片之外的专用硬件IC也可以是处理模块中专门的DSP，亦可以是在通用处理模块中通过专用软件算法实现的——如果是专用硬件IC，会在硬件尺寸上增大面积；如果是在通用处理模块中通过软件实现，可能会增加功耗与运算时间，这两种方式是有其一定不利方面的。该协同处理方式中AR协处理模块最优的实现形式是在通用处理模块(比如CPU)中有一块专门的DSP用来协同处理特定的算法，采用这样的架构，在运算能力和运算速度上以及AR眼镜小型化与功耗方面都有显著优势。

方式3，AR头显设备的各个模块将各自的数据传给AR眼镜的AR处理模块后，AR处理模块直接处理其中的一部分数据；同时，AR处理模块将另一部分数据传给终端处理模块，终端处理模块通过手机(PC)端片上总线传给终端协处理模块进行处理。这样，就实现了在AR处理模块和终端协处理模块上同时分布进行数据运算。由于AR眼镜使用通用处理模块，手机端使用终端协处理模块进行协同运算，所以相比于单一处理方式，整体运算时间会更少，有利于AR眼镜小型化与优化散热的优势。

方式4，AR头显设备的各个模块将各自的数据传给AR处理模块后，AR处理模块将其中一部分数据传给终端处理模块进行处理；AR处理模块同时将另一部分数据通过总线传给AR协处理模块进行处理。这样，就实现了在AR协处理模块和终端处理模块上同时分布进行数据运算。

实施例2

如图4所示，同步显示是AR头显设备与终端设备作为整体系统必不可少的功能需求之一。当所述AR协处理模块为AR显示处理模块，终端协处理模块为终端显示处理模块，所述AR头显设备还包括AR显示模块，所述终端设备还包括终端显示模块时，有两种方式对显示模块的数据进行处理：

方式1，手机、PC、平板电脑或笔记本等终端设备的显示内容经过显示数据接口传给终端显示处理模块(终端协处理模块)处理后，通过有线或无线的方式传给AR眼镜，AR眼镜获得显示内容后经过AR显示处理模块(AR协处理模块)根据自身显示需求和参数进行适配处理，然后通过手机、PC、平板电脑或笔记本等终端设备的终端显示模块输出。

方式2，为了实现更高分辨率更高带宽更低延迟的同步显示功能，我们可以在终端显示处理模块和AR显示处理模块同时分布处理显示数据，流程如下：终端设备将一部分原始显示数据按一定的分配方案传给AR设备，同时终端设备处理另一部分原始显示数据；AR设备接收到一部分原始显示数据后使用自身的AR显示处理模块处理这部分数据；终端显示处理模块处理另一部分原始显示数据，并将处理好的另一部分显示数据传给AR设备；AR设备将自身处理过的一部分显示数据与接收到的终端设备处理好的另一部分显示数据融合、适配、输出。

实施例3

如图5所示，在AR眼镜的特定视野中显示图像时，为了使图像显示在特定的位置，首先，空间定位数据采集模块将采集到空间定位原始数据通过相关数据通信接口传给AR处理模块。根据运算复杂度等需求，将采集到的数据按照预定比例进行数据分割，除AR处理模块保留的部分，其他被分割的数据通过AR处理模块或AR协处理模块传送给终端处理模块和终端协处理模块，AR处理模块、AR协处理模块、终端处理模块、终端协处理模块协同处理空间定位数据采集模块采集到的数据。手机、PC、平板电脑或笔记本等终端设备将视频信息发送至AR眼镜，AR处理模块或AR协处理模块将视频信息与空间定位数据进行混合运算得到最终图像，发送至AR眼镜的显示模块进行图像显示，例如：在真实环境中的桌子上，放置卡通人物；或在视野的正中位置显示视频信息或虚拟图像。

例如，若要实现在用户所处的空间中放置一个虚拟的传送门模型：(1)初始时刻，设备和眼镜端的AR处理模块2和终端处理模块5，通过眼镜上的显示呈现单元，在用户面前呈现传送门模型图像，同时眼镜端的空间定位数据采集模块1实时采集用户所处空间的特征点数据及设备上的陀螺仪等传感器读数；(2)当用户转头或走动时，空间定位数据采集模块1采集到的数据，按照上述提供的10种数据处理方式中的某一种进行处理，计算出用户在真实空间中的位置移动和姿态改变；(3)上述位置和姿态改变信息传输至AR处理模块2和终端处理模块5，这两个处理模块根据用户位置和姿态的变化，计算出此时传送门模型应当在用户视野中的成像状态，并通过显示单元，将新的图像呈现在用户视野中，从而实现将虚拟传送门模型固定在空间某一位置的效果。

实施例4

混合现实同样是增强现实系统常见的功能需求，如图6所示。利用这种架构和模块，我们可以实现在眼镜端人眼看到的现实世界中添加虚拟物体，虚拟物体可以随着人眼球的运动在视场中变换位置等功能，空间定位摄像头捕捉真实图像，通过算法分析真实图像中的特征点信息，推算用户在真实空间中的位置和姿态变化，并将以上位置和姿态变化信息传输至应用层，让用户看到的虚拟物体图像也按照以上位置和姿态变化信息正确成像。

例如，若要在混合现实中实现购物体验：(1)初始时刻，眼镜端的空间定位数据采集模块实时采集用户所处空间的特征点数据及设备上的陀螺仪等传感器读数；眼镜端的深度探测模块探测采集用户所处环境结构，通过算法完成点云拼接，构建出用户所处三维场景的建图；眼镜端和设备端的处理模块通过显示单元在用户面前呈现虚拟商品图像；(2)当用户发生位置和姿态改变时，设备按照实施例4中描述的方法，更新虚拟商品图像信息；(3)用户通过眼镜端的深度探测模块或图像采集模块，构建用户手部三维模型，辅助相应的机器学习算法，实现手势识别；(4)眼镜端的视线追踪模块，实时监测用户双眼注视点的位置变化；(5)当用户看向某一虚拟商品并打算购买时，视线追踪模块提供的注视点信息通过上述10种信息处理方法中的一种，与虚拟的商品相结合，实现选择，用户通过深度探测模块捕捉的特定手势，开启下一流程操作；(6)如果用户想要检索一现实物体(例如朋友穿的一双鞋)，当用户看向该商品并进行(5)中所述操作时，眼镜上的图像采集模块将采集该商品的图像信息，该图像信息通过两个处理单元上传云端服务器，实现商品检索。

实施例5

在实施例4的基础上，利用上手机端的图像采集模块，可以扩展出协同混合现实功能，如图7所示。比如，用户可以使用手机对着用户在眼睛里看到的虚拟物体方向拍照，这样可以通过眼镜端空间定位数据、眼镜端现实世界图像信息和手机端采集到的现实世界图像信息结合，构建出虚拟物体的全息信息，根据需求展现在用户的眼前。实现过程，外部世界图像数据、空间定位数据、手机端采集到的图像数据的处理方式可以参照上述10类数据处理方式。此功能由于需要手机端随时移动，因此系统中另一端一般不会采用PC设备。

此实例可以实现例如第三视角增强现实拍摄的应用：用户A佩戴眼镜，与视野中的虚拟图像进行一定程度的互动(观看、手柄控制交互、位置交互、手势交互、语音交互等)；另一视角上的手机，通过云端服务器，获取用户A眼镜捕捉的互动信息(包含用户A的位置信息变化、用户A与虚拟图像的交互信息等)；通过与手机相连的摄像头，捕捉真实图像；在手机上，将摄像头捕捉的真实图像与虚拟图像结合，实现第三视角捕捉用户A与虚拟图像的互动。

例如，在上述实施例4中的购物场景中，加入6自由度手柄选择功能，并能够针对现实物体实现三维建图，方便检索，因此在上述5条后添加如下描述：(1)手机上的空间定位数据采集模块提取用户所处空间的特征点和手机自身的位置和姿态改变信息，计算出手机的位置移动，从而实现6自由度手柄功能；用户因此可以拿着手机，通过手机所在位置和所指方向，通过上述10种信息处理方式中的一种，计算出用户当前正在指向哪个虚拟商品，从而实现选择；(2)用户对真实物体的检索功能可以通过眼镜端或手机端的图像采集模块配合实现，两个模块分别采集该物体的不同角度的图像信息，提高检索的匹配准确率；(3)为了进一步提高检索的准确程度，用户可以通过手机端的深度探测模块，绕着该物体进行扫描，并通过某一种数据处理方式，运用拼接算法，构建该物体的三维模型，方便后续上传至相应服务器，进行后续商品检索。

实施例6

如图8所示，在眼镜端和手机端利用各种传感器采集到的数据进行融合运算可以很大程度上识别感知用户的行为，结合触控模块7/13获得的触控点击信息以及图像识别手势信息，几乎涵盖了识别所有动作行为的可能性。

眼镜端视线追踪模块用于跟踪识别人眼的运动，比如眨眼睛，视线移动等；

眼镜端空间定位数据采集模块+运动感知模块可以给出用户空间定位信息、头部运动的朝向、扭动速度和空间角度等信息；

手机端的空间定位数据采集模块+运动感知模块可以给出手机端(手部)运动的相应信息，身体的运动信息亦可以通过眼镜+手机两端的IMU数据融合运算建模得到；

眼镜+手机两端的空间定位数据采集模块+深度探测模块用于感知判断使用者(头部或手部)相对于周围环境人、物的距离和相对动作过程。

以上模块涉及到的单独或融合运算可以在处理模块1/2/8/9中的一个或多个中进行。以上架构至少可以实现两方面的功能应用：1、结合触控模块实现丰富的多维度的操控体验，比如用户通过手机、眼镜触摸板或触屏实现对系统的操作；用户也可以通过自身的动作行为实现体感操控；用户亦可以通过眨眼睛等动作来给系统下命令；2、当头戴式虚拟现实产品普及后，可以收集大规模的用户行为姿态数据，从而可以从统计意义上辅助分析人类行为姿态与健康的关系，也可以对研究人类行为提供更丰富的数据样本。此功能由于需要手机端随时移动，因此系统中另一端一般不会采用PC设备。数据运算处理方式可以参考上述的10类数据处理方式。

此实例可以有很多应用，比如：

1)增强现实足球游戏——通过头部运动选择眼前虚拟球场的大致区域，通过追踪眼球视线实现对想操控的球员进行精确选择，然后，用户通过对手机的姿态和触控操作实现对所选球员的行为进行操控。以上过程至少使用到了眼镜端空间定位数据采集模块3、运动感知模块4、视线追踪模块6，手机端运动感知模块11、触控模块13等硬件功能模块。

像很多其他增强现实运动类、驾驶类的游戏都可以是此实例下的应用，比如，增强现实乒乓球游戏，赛车、飞行类游戏等等，在此不一一列举。

2)3D模型设计——设计师或用户在眼镜端通过头部运动实现对眼前虚拟模型的观测角度调整，通过追踪眼球视线选定用户希望更改的模型具体部位，通过在眼镜前进行手势动作实现对虚拟模型的空间3D拉伸或收缩；在手机端通过触控实现对虚拟3D模型某一局部的平面细节绘制。以上过程至少使用到了眼镜端空间定位数据采集模块3、运动感知模块4、深度探测模块5、视线追踪模块6，手机端触控模块13等硬件功能模块。

例如，手机同眼镜连通，实现在现实空间中作画：(1)初始状态，眼镜端的深度探测模块5扫描用户所处空间位置，构建3D空间图像；眼镜上的空间定位数据采集模块3和运动感知模块4配合，实时采集用户所处空间的特征点及陀螺仪等数据，计算用户在现实空间中的移动；以上数据通过上述10中信息处理方式中的某一种，实现信息处理；当用户发生位置和姿态改变时，空间中的虚拟图像信息按照实施例3中所述样例的办法更新；(2)手机端的空间定位数据采集模块10、深度探测模块12和运动感知模块11配合，按照(1)中所述方法，通过算法计算手机的位置和姿态信息，从而手机实现“6自由度”手柄功能，即用户可以自由移动手机，手机的位置和姿态信息能够实时传输给处理模块；(3)用户可以通过点击眼镜端或手机短的触控模块7或13，开始作画；作画的轨迹，会按照手机的移动轨迹(通过空间定位数据采集模块10、深度探测模块12和运动感知模块11按上述办法采集)，配合实现追踪模块6的数据生成。

实施例7

如图9所示，抛开多媒体中显示部分，本系统可以实现具有通用意义的声音环境的构建。其中眼镜端和手机端的声音输入模块一般为麦克风，手机端的声音输出模块一般为1～2个扬声器+1个听筒，眼镜端的声音输出模块可以是2个甚至更多扬声器。

此实例的架构可以实现诸多应用场景。

1)声场构建——音频内容可以通过眼镜和手机(PC)之间进行共享和播放分配，通过使用眼镜端和手机(PC)端的多个声音输出装置，对音频内容进行差异化播放，使得整个系统的声音输出达到让使用者体会到身临其境的效果。比如，构建一个交响乐现场的声音环境，不同乐器的声音通过不同位置声音输出设备进行播放，让用户体会到仿佛置身于交响乐现场的听觉感受。

2)降噪——声音输入模块可以用来对环境干扰音进行降噪。降噪大致可以分为两类场景：第一类为增强现实眼镜用户与其他人进行语音通话的场景，增强现实眼镜用户所在环境的噪声被消除掉，几乎只剩下眼镜端说话人的有效语音信号。实现原理如下：通过使用距离说话人最近的声音输入设备(麦克风)拾取有效通话声音，其他位置(眼镜端或手机端的)的声音输入设备拾取环境不同处的噪声，在通话声音中把其他位置麦克风拾取的噪声反相并叠加传送给另一位通话用户；第二类为增强现实眼镜用户自身享受高品质的有效声音环境而用户所在环境噪音被消除掉，实现原理与第一类场景大致相同。

3)声音虚拟现实系统——用户戴着高度降噪(基本消除任何外界声音)的耳塞，系统通过多个声音输入设备采集环境声音并在对这些声音进行取舍的基础上叠加另外的来自设备端的音源播放给用户；还可实现在声音来源处放置虚拟物体呈现在用户眼前的效果。

4)语音识别——通过眼镜端与手机端麦克风阵列的组合，实现多角度的语音输入，进而实现语音识别的功能。

综上所述，AR头显设备的显示模块一般为双OLED显示屏；；图像采集模块通常为和手机摄像头类似的摄像头模组；空间定位数据采集模块由单或双空间定位摄像头模组和IMU构成；运动感知模块主要指IMU；深度探测模块可以是距离传感器、结构光发射和接收模组、激光阵列发射和接收模组等；视线追踪模块一般为1组视线追踪摄像头模组放在眼睛内侧对着人眼；触控模块为与手机类似的触摸板或者触摸屏。

本发明实施例提供了一种AR头显设备与终端设备组合系统，通过多种模块对外界数据进行采集，并且通过处理器以及多个协处理器对数据进行分布式处理，将处理结果输出。AR头显设备与终端设备的结合，提高了增强现实效果，交互性更高，用户体验感更强。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

需要说明的是，在本发明所提供的实施例中，应该理解到，所揭露系统和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的地。

另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (14)

1.一种AR头显设备，包括：

AR通信模块，所述AR通信模块配置为使所述AR头显设备与终端设备建立连接；

AR处理模块；和

AR空间定位数据采集模块，所述AR空间定位数据采集模块被配置为将采集到的空间定位数据传送给所述AR处理模块。

2.根据权利要求1所述的AR头显设备，其中，所述AR处理模块根据所述采集到的空间定位数据的运算复杂度，将采集到的空间定位数据按照预定比例进行数据分割，保留一部分被分割的数据，并将其它被分割的数据至少传送给终端设备的终端处理模块；所述采集到的空间定位数据至少由所述AR处理模块和所述终端处理模块同时进行分布处理。

3.根据权利要求1所述的AR头显设备，还包括用于采集数据的模块，所述AR空间定位数据采集模块被配置用于采集所述用户所处空间的特征点数据和传感器数据；其中，所述用于采集数据的模块包括：

AR视线追踪模块，被配置用于监测用户的双眼注视点的位置变化；

AR图像采集模块，被配置用于针对所述用户所处空间内的现实对象进行图像采集；

AR深度探测模块，被配置用于探测采集所述用户所处环境结构，以构建出所述用户所处三维场景的建图、以及捕捉并识别所述用户的手势以开启相应的操作；

其中，所述AR处理模块和终端设备的终端处理模块被进一步配置用于在所述AR视线追踪模块监测到所述用户的双眼注视点在所述用户所处空间内的现实对象时，将所述AR图像采集模块所采集的图像信息上传到云端服务器以进行针对所述现实对象的信息检索，以及通过显示单元在所述用户面前呈现相应的虚拟对象的图像。

4.根据权利要求1所述的AR头显设备，还包括AR电源系统。

5.一种AR头显设备与终端设备组合系统，其特征在于，所述AR头显设备被配置为如权利要求1至4中任一项所述的AR头显设备；

所述终端设备包括终端电源系统、终端通信模块、终端处理模块；

所述AR头显设备与所述终端设备通过所述AR通信模块和所述终端通信模块建立连接。

6.根据权利要求5所述的系统，其特征在于，所述AR通信模块为有线通信模块或无线通信模块；

当所述AR通信模块为无线通信模块时，所述AR电源系统包括充电模块和供电模块；

当所述AR通信模块为有线通信模块时，所述AR电源系统至少包括供电模块。

7.根据权利要求5所述的系统，其特征在于，所述AR头显设备还包括AR协处理模块，所述终端设备还包括终端协处理模块；

所述AR协处理模块用于与所述AR处理模块和/或所述终端处理模块和/或所述终端协处理模块进行协同处理；

所述终端协处理模块用于与所述终端处理模块和/或所述AR处理模块或所述AR协处理模块进行协同处理。

8.根据权利要求7所述的系统，其特征在于，所述AR协处理模块为AR显示处理模块，所述终端协处理模块为终端显示处理模块，所述AR头显设备还包括AR显示模块，所述终端设备还包括终端显示模块；

所述AR显示处理模块、所述AR处理模块、所述终端显示处理模块和所述终端处理模块中的至少一项处理所述AR显示模块和/或所述终端显示模块的数据。

9.根据权利要求7所述的系统，其特征在于，所述AR协处理模块为AR空间定位协处理模块，所述终端协处理模块为终端空间定位协处理模块；

所述AR处理模块、所述AR空间定位协处理模块、所述终端处理模块和所述终端空间定位协处理模块中的至少一项处理所述AR空间定位数据采集模块采集的数据，并且传输给所述AR处理模块、所述AR空间定位协处理模块、所述终端处理模块和所述终端空间定位协处理模块中的至少一项。

10.根据权利要求7所述的系统，其特征在于，所述AR协处理模块为AR混合现实协处理模块，所述终端协处理模块为终端混合现实协处理模块；

所述AR混合现实协处理模块和/或所述AR处理模块用于接收所述AR空间定位数据采集模块、AR图像采集模块、AR深度探测模块和AR视线追踪模块采集的数据，由所述AR混合现实协处理模块、所述AR处理模块、所述终端混合现实协处理模块和所述终端处理模块中的至少一项处理所述AR空间定位数据采集模块、AR图像采集模块、AR深度探测模块和AR视线追踪模块采集的数据，并且传输给所述AR处理模块、所述AR混合现实协处理模块、终端处理模块和所述终端空间定位协处理模块中的至少一项。

11.根据权利要求7所述的系统，其特征在于，所述AR协处理模块为AR协同混合现实协处理模块，所述终端协处理模块为终端协同混合现实协处理模块；所述终端设备还包括终端空间定位数据采集模块、终端图像采集模块和终端深度探测模块；

所述AR处理模块、所述AR协同混合现实协处理模块、所述终端处理模块和所述终端协同混合现实协处理模块中的至少一项处理所述AR空间定位数据采集模块、AR图像采集模块、AR深度探测模块和AR视线追踪模块采集的数据以及所述终端空间定位数据采集模块、终端图像采集模块和所述终端深度探测模块采集的数据，并且传输给所述AR处理模块、所述AR协同混合现实协处理模块、所述终端处理模块和所述终端协同混合现实协处理模块中的至少一项。

12.根据权利要求7所述的系统，其特征在于，所述AR协处理模块为AR运动行为感知协处理模块，所述终端协处理模块为终端运动行为感知协处理模块，所述用于采集数据的模块还包括AR运动感知模块和AR触控模块；所述终端设备还包括终端空间定位数据采集模块、终端运动感知模块、终端深度探测模块和终端触控模块；

所述AR处理模块、所述AR运动行为感知协处理模块、所述终端处理模块和所述终端运动行为感知协处理模块中的至少一项处理所述AR空间定位数据采集模块、AR运动感知模块、AR深度探测模块、AR视线追踪模块和AR触控模块采集的数据以及所述终端空间定位数据采集模块、终端运动感知模块、终端深度探测模块和终端触控模块采集的数据，并且传输给所述AR处理模块、所述AR运动行为感知协处理模块、所述终端运动行为感知协处理模块和所述处理模块中的至少一项。

13.根据权利要求7所述的系统，其特征在于，所述AR协处理模块为AR音频处理模块，所述终端协处理模块为终端音频处理模块，所述用于采集数据的模块还包括AR音频模块，所述终端设备还包括终端音频模块；

所述AR处理模块、所述AR音频处理模块、所述终端处理模块和所述终端音频处理模块中的至少一项处理所述AR音频模块以及所述终端音频模块采集的数据，并且传输给所述AR处理模块、所述AR音频处理模块、所述终端音频处理模块和所述终端处理模块中的至少一项处理所述数据，然后通过所述AR音频模块和/或所述终端音频模块输出。

14.根据权利要求7所述的系统，其特征在于，所述AR协处理模块、所述AR处理模块、所述终端协处理模块和所述终端处理模块中的至少两项协同处理，实现所述AR头显设备与所述终端设备的协同工作。

Images