CN116520997B - 一种混合现实的增强显示与交互系统 - Google Patents

Abstract

本发明公开了一种混合现实的增强显示与交互系统，该系统包括物理环境层、系统驱动层、数据存储层、AI框架层、服务构件层以及应用层，各个层级可以布置在同一穿戴设备上，属于混合现实设备技术领域。该系统提升和扩展了AR/MR设备的虚实显示交互能力、透射式近眼显示能力、虚实结合增强显示能力，大幅提升增强现实技术、混合现实技术在工业生产线的作业指导与操控、特种设备维修保障、多种自然环境态势下的应用。另外，该系统具有低成本、低功耗、系统实时性优势强等优点。

Description

一种混合现实的增强显示与交互系统

技术领域

本发明涉及混合现实技术领域，特别是涉及一种混合现实的增强显示与交互系统。

背景技术

从目前全球发展分析，未来世界将展现出智能化、网络化、无人化、多元化等多种形态。混合现实技术（MR）是通过在虚拟环境中引入现实场景信息，将虚拟世界、现实世界和用户之间搭起一个交互反馈信息的桥梁，从而增强用户体验的真实感。混合现实技术是虚拟现实和增强现实技术的深入和强化。

混合现实技术可以将真实环境与虚拟信息叠加显示到同一画面和空间，实现信息间的融合与交互，从而使用户在使用时达到超越现实的感官体验。用户在使用头戴式混合现实增强显示设备时，为了实现对三维模型的多视角查看，需实时定位用户头部位置调节模型渲染。用户可以通过手势向系统发送简单的命令，如选择、移动和删除，还可以表达更复杂的意图，如切换当前交互场景、控制虚拟对象和执行虚拟动作等。

虚实结合的三维场景匹配技术是随着计算机软硬件的发展而开始拥有应用需求的一种新型显示匹配技术。虚实结合技术能够将虚拟环境融合到用户周围的真实场景中,从而提供直观和增强的使用体验;而三维匹配技术在三维空间中拥有更高操作自由度，从而形成更加直观与真实的感受。

混合现实最底层的交互依赖于硬件设备，设备的性能和传感器种类决定了设备拥有的基本交互方式。然而，现有技术中的增强/混合增强（AR/MR）设备的产品以及功能集成能力较差，使得增强/混合增强（AR/MR）设备技术和功能展示居多，工程化的实用产品较少。随着混合现实增强显示技术日新月异的发展，它应用的对象已经不仅仅局限于某一个特定的物体或者某一个特定的环境；它应该具备能够处理应对各种复杂多变环境的能力。

因此，如何提供一种功能集成化高的增强/混合增强（AR/MR）设备，是迫切需要本领域技术人员解决的技术问题。

发明内容

鉴于上述问题，本发明提供用于克服上述问题或者至少部分地解决上述问题的一种混合现实的增强显示与交互系统。

本发明提供了如下方案：

一种混合现实的增强显示与交互系统，包括：

物理环境层，配置为提供系统硬件平台支撑；

系统驱动层，配置为提供整机电源管理、基础文件系统服务，并为上层数据库、AI框架层、服务构件和应用层提供系统运行环境、软硬件资源管理支撑；

数据存储层，配置为提供AI框架层、服务构件和应用的数据库创建、查询、删除、修改操作相关功能支撑；

AI框架层，配置为提供系统智能化服务构件和应用提供核心算法支撑；

服务构件层，配置为连接AI核心算法、数据存储、网络交换、传感设备，同时为系统提供各种资源间互操作、可重用、可组合的服务平台；

应用层，配置为基于混合现实的增强显示与交互。

优选地：所述物理环境层包括信息处理功能域、感知功能域、人机交互功能域以及集成配套功能域，所述信息处理功能域与所述感知功能域之间通过侦察影像接口以及帧同步控制接口连接，所述信息处理功能域与所述人机交互功能域之间通过显示接口、音频输入/输出接口、手势影像接口以及功能按键接口连接。

优选地：所述信息处理功能域包括采用ARM架构核心处理器与RAM存储器、ROM存储器以及电源管理IC构建形成的信息处理单元。

优选地：所述ARM架构核心处理器通过内部接口扩展地磁传感器、陀螺仪、加速度计、环境光传感器等内部传感组件以及北斗定位模组，用于实现环境光线、姿态、位置、方向自身及环境状态信息采集；所述ARM架构核心处理器扩展Wifi/BT无线通信模块，并通过射频接口外接Wifi/BT天线，实现与其他信息化模块的无线组网通信功能。

优选地：所述感知功能域包括两个传感器模组，两个所述传感器模组通过MIPI_CSI接口接入至所述ARM架构核心处理器，所述ARM架构核心处理器通过GPIO口扩展帧同步控制接口，实现两个所述传感器模组采集信号的时间同步。

优选地：所述人机交互功能域包括功能按键、TOF相机传感模组以及双目显示信息功能组件，所述双目显示信息功能组件包括耳机、麦克风以及两个光波导模组。

优选地：所述ARM架构核心处理器通过音频输入输出接口实现所述耳机、所述麦克风模拟音频扩展，通过GPIO接口实现功能按键扩展，通过MIPI_CSI接口和SPI深度传感信息接口实现所述TOF相机传感模组扩展，通过MIPI_DSI显示接口连接双目显示驱动组件，由显示驱动组件进行MIPI信号的双目显示分配，驱动两个所述光波导模组双目成像。

优选地：所述光波导模组包括三极光电体全息光波导显示模组。

优选地：所述系统驱动层包括移动终端操作系统内核以及设备驱动软件；所述数据存储层包括数据库系统、管理工具以及各类表单、记录；所述AI框架层包括由算法框架、网络模型以及图像、语音、文本、态势类算法；所述服务构件层包括系统服务构件、设备服务构件和应用服务构件；所述应用层包括基于混合现实的增强显示与交互系统多样化应用软件。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本申请实施例提供的一种混合现实的增强显示与交互系统，结合了混合现实技术、三维重建技术、手势识别技术、双目成像技术、人机交互技术以及光波导显示技术，形成了集信息处理、融合显示、人机操控、信息通联等信息化功能，以及眼部防护功能于一体的混合现实的增强显示与交互系统。提升和扩展了AR/MR设备的虚实显示交互能力、透射式近眼显示能力、虚实结合增强显示能力，大幅提升增强现实技术、混合现实技术在工业生产线的作业指导与操控、特种设备维修保障、多种自然环境态势下的应用。另外，该系统具有低成本、低功耗、系统实时性优势强等优点。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种混合现实的增强显示与交互系统的结构图;

图2是本发明实施例提供的系统工作原理框图；

图3是本发明实施例提供的系统内部接口关系图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

参见图1、图2、图3，为本发明实施例提供的一种混合现实的增强显示与交互系统，如图1、图2、图3所示，该系统可以包括：

物理环境层，配置为提供系统硬件平台支撑；进一步的，所述物理环境层包括信息处理功能域、感知功能域、人机交互功能域以及集成配套功能域，所述信息处理功能域与所述感知功能域之间通过侦察影像接口以及帧同步控制接口连接，所述信息处理功能域与所述人机交互功能域之间通过显示接口、音频输入/输出接口、手势影像接口以及功能按键接口连接。所述信息处理功能域包括采用ARM架构核心处理器与RAM存储器、ROM存储器以及电源管理IC构建形成的信息处理单元。所述ARM架构核心处理器通过内部接口扩展地磁传感器、陀螺仪、加速度计、环境光传感器等内部传感组件以及北斗定位模组，用于实现环境光线、姿态、位置、方向自身及环境状态信息采集；所述ARM架构核心处理器扩展Wifi/BT无线通信模块，并通过射频接口外接Wifi/BT天线，实现与其他信息化模块的无线组网通信功能。所述感知功能域包括两个传感器模组，两个所述传感器模组通过MIPI_CSI接口接入至所述ARM架构核心处理器，所述ARM架构核心处理器通过GPIO口扩展帧同步控制接口，实现两个所述传感器模组采集信号的时间同步。所述人机交互功能域包括功能按键、TOF相机传感模组以及双目显示信息功能组件，所述双目显示信息功能组件包括耳机、麦克风以及两个光波导模组。所述ARM架构核心处理器通过音频输入输出接口实现所述耳机、所述麦克风模拟音频扩展，通过GPIO接口实现功能按键扩展，通过MIPI_CSI接口和SPI深度传感信息接口实现所述TOF相机传感模组扩展，通过MIPI_DSI显示接口连接双目显示驱动组件，由显示驱动组件进行MIPI信号的双目显示分配，驱动两个所述光波导模组双目成像。所述光波导模组包括三极光电体全息光波导显示模组。

系统驱动层，配置为提供整机电源管理、基础文件系统服务，并为上层数据库、AI框架层、服务构件和应用层提供系统运行环境、软硬件资源管理支撑；

数据存储层，配置为提供AI框架层、服务构件和应用的数据库创建、查询、删除、修改操作相关功能支撑；

AI框架层，配置为提供系统智能化服务构件和应用提供核心算法支撑；

服务构件层，配置为连接AI核心算法、数据存储、网络交换、传感设备，同时为系统提供各种资源间互操作、可重用、可组合的服务平台；

应用层，配置为基于混合现实的增强显示与交互。

进一步的，所述系统驱动层包括移动终端操作系统内核以及设备驱动软件；所述数据存储层包括数据库系统、管理工具以及各类表单、记录；所述AI框架层包括由算法框架、网络模型以及图像、语音、文本、态势类算法；所述服务构件层包括系统服务构件、设备服务构件和应用服务构件；所述应用层包括基于混合现实的增强显示与交互系统多样化应用软件。

本申请提供的系统还可以面向民用，以协助使用者获得优秀的观感体验为目标，将构建开放化的AI应用计算服务架构，依托于大数据、边缘计算等先进计算架构，实现各类AI应用功能拓展，从而提升使用效能。

本申请实施例提供的混合现实的增强显示与交互系统，采用一体化设计，穿戴设备采用模块化、通用化、软硬件解耦的设计思想，形成横向分区、纵向解耦，具备可移植、可增减，具备相互操作性的软硬件体系架构。各个层级即可以布置在同一穿戴设备上。系统自下而上由物理环境、系统驱动、数据存储、AI框架、服务构件以及应用等六个层级构成。

第一，物理环境层。

物理环境层主要由构成系统的感知、信息控制、人机交互功能组件构成，为整个系统提供硬件平台支撑。

物理环境层主要由感知、显示与交互、信息控制和集成配套四个功能域组成。

信息处理功能域是基于混合现实的增强显示与交互系统的信息处理核心功能模块，该模块采用ARM架构核心处理器，与RAM存储器、ROM存储器以及电源管理IC构建信息处理最小系统。核心处理器通过内部接口扩展地磁传感器、陀螺仪、加速度计、环境光传感器等内部传感组件以及北斗定位模组，实现环境光线、姿态、位置、方向等自身及环境状态信息采集。核心处理器扩展Wifi/BT无线通信模块，并通过射频接口外接Wifi/BT天线，实现与其他信息化模块的无线组网通信功能。

感知功能域由两个传感器模组构成，通过MIPI_CSI接口接入至信息处理功能域中的核心处理器，核心处理器通过GPIO口扩展帧同步控制接口，实现双传感器模组采集信号的时间同步。

人机交互功能域由功能按键、TOF相机传感、以及双目显示信息等功能组件构成，实现按键手势、指令输入，以及音频、光波导显示信息输出。其中，核心处理器通过音频输入输出接口实现耳机、麦克风等模拟音频扩展；通过GPIO接口实现功能按键扩展；通过MIPI_CSI接口和SPI深度传感信息接口实现TOF相机传感模组扩展；通过MIPI_DSI显示接口连接双目显示驱动组件，由显示驱动组件进行MIPI信号的双目显示分配，驱动两个光波导模组双目成像。

第二，系统驱动层。

系统驱动层由移动终端操作系统内核和设备驱动软件组成，为各功能器件、通信接口以及传感器组件提供设备驱动服务，提供整机电源管理、基础文件系统服务，为上层数据库、AI框架、服务构件和应用层提供系统运行环境、软硬件资源管理支撑。

第三，数据存储层。

数据存储层由数据库系统、管理工具以及各类表单、记录等组成，为上层AI框架、服务构件和应用提供数据库创建、查询、删除、修改等基本操作相关功能支撑，依据数据类型和专业场景应用需求，可划分为地理信息资源数据库、图元信息数据库、数据字典、AI算法模型库、环境/目标要素模型库、业务应用数据库、过程信息数据库等七个逻辑数据库。

第四，AI框架层。

AI框架层由算法框架、网络模型以及图像、语音、文本、态势类算法组件构成，为基于混合现实的增强显示与交互系统智能化服务构件和应用提供核心算法支撑。支持边-端计算架构及外部算力扩展，根据计算任务实现协同计算。

第五，服务构件层。

服务构件层是基于混合现实的增强显示与交互系统中最为重要的一层，是连接AI核心算法、数据存储、网络交换、传感设备等资源的纽带，为系统提供通用化、灵活的，可实现各种资源间互操作、可重用、可组合的服务平台。服务构件层包含系统服务、设备服务和应用服务三大类构件，同时还包含一个跨层级的AI计算任务迁移调度服务，用于支持边-端计算架构及外部算力扩展，实现协同计算。

第六，应用层。

应用工具层由系统界面和各类终端应用软件组成，建立在服务构件层之上，包含基于混合现实的增强显示与交互系统多样化应用软件，主要包括系统管理、媒体应用、感知应用、态势图应用、情报信息应用。

信息控制功能域与感知功能域之间通过侦察影像接口以及帧同步控制接口连接；与人机交互功能域之间通过显示接口、音频输入/输出接口、手势影像接口以及功能按键接口连接。

在总体方案设计过程中，注重了自主可控设计工作的开展，还可以提供光波导显示模组、嵌入式处理平台、音视频传感器的自主可控设计，以确保方案设计达到自主可控的要求。

表1 核心器件和组件的自主可控设计表

总之，本申请提供的混合现实的增强显示与交互系统，结合了混合现实技术、三维重建技术、手势识别技术、双目成像技术、人机交互技术以及光波导显示技术，形成了集信息处理、融合显示、人机操控、信息通联等信息化功能，以及眼部防护功能于一体的混合现实的增强显示与交互系统。提升和扩展了AR/MR设备的虚实显示交互能力、透射式近眼显示能力、虚实结合增强显示能力，大幅提升增强现实技术、混合现实技术在工业生产线的作业指导与操控、特种设备维修保障、多种自然环境态势下的应用。另外，该系统具有低成本、低功耗、系统实时性优势强等优点。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加上必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (7)

1.一种混合现实的增强显示与交互系统，其特征在于，包括：

物理环境层，配置为提供系统硬件平台支撑；所述物理环境层包括信息处理功能域、感知功能域、人机交互功能域以及集成配套功能域，所述信息处理功能域与所述感知功能域之间通过侦察影像接口以及帧同步控制接口连接，所述信息处理功能域与所述人机交互功能域之间通过显示接口、音频输入/输出接口、手势影像接口以及功能按键接口连接;

系统驱动层，配置为提供整机电源管理、基础文件系统服务，并为上层数据库、AI框架层、服务构件层和应用层提供系统运行环境、软硬件资源管理支撑；所述系统驱动层包括移动终端操作系统内核以及设备驱动软件；所述数据存储层包括数据库系统、管理工具以及各类表单、记录；

数据存储层，配置为提供AI框架层、服务构件和应用的数据库创建、查询、删除、修改操作相关功能支撑；

AI框架层，配置为提供系统智能化服务构件和应用提供核心算法支撑；所述AI框架层包括算法框架、网络模型以及图像、语音、文本、态势类算法；

服务构件层，配置为连接AI核心算法、数据存储、网络交换、传感设备，同时为系统提供各种资源间互操作、可重用、可组合的服务平台；所述服务构件层包括系统服务构件、设备服务构件和应用服务构件；

应用层，配置为基于混合现实的增强显示与交互，所述应用层包括基于混合现实的增强显示与交互系统应用软件。

2.根据权利要求1所述的混合现实的增强显示与交互系统，其特征在于，所述信息处理功能域包括采用ARM架构核心处理器与RAM存储器、ROM存储器以及电源管理IC构建形成的信息处理单元。

3.根据权利要求2所述的混合现实的增强显示与交互系统，其特征在于，所述ARM架构核心处理器通过内部接口扩展内部传感组件以及北斗定位模组，用于实现环境光线、姿态、位置、方向自身及环境状态信息采集，所述内部传感组件包括地磁传感器、陀螺仪、加速度计、环境光传感器；所述ARM架构核心处理器扩展Wifi/BT无线通信模块，并通过射频接口外接Wifi/BT天线，实现与其他信息化模块的无线组网通信功能。

4.根据权利要求2所述的混合现实的增强显示与交互系统，其特征在于，所述感知功能域包括两个传感器模组，两个所述传感器模组通过MIPI_CSI接口接入至所述ARM架构核心处理器，所述ARM架构核心处理器通过GPIO口扩展帧同步控制接口，实现两个所述传感器模组采集信号的时间同步。

5.根据权利要求2所述的混合现实的增强显示与交互系统，其特征在于，所述人机交互功能域包括功能按键、TOF相机传感模组以及双目显示信息功能组件，所述双目显示信息功能组件包括耳机、麦克风以及两个光波导模组。

6.根据权利要求5所述的混合现实的增强显示与交互系统，其特征在于，所述ARM架构核心处理器通过音频输入输出接口实现所述耳机、所述麦克风模拟音频扩展，通过GPIO接口实现功能按键扩展，通过MIPI_CSI接口和SPI深度传感信息接口实现所述TOF相机传感模组扩展，通过MIPI_DSI显示接口连接双目显示驱动组件，所述双目显示驱动组件用于进行MIPI信号的双目显示分配，驱动两个所述光波导模组双目成像。

7.根据权利要求5所述的混合现实的增强显示与交互系统，其特征在于，所述光波导模组包括三极光电体全息光波导显示模组。