CN106780754B

CN106780754B - 一种混合现实方法及系统

Info

Publication number: CN106780754B
Application number: CN201611081032.4A
Authority: CN
Inventors: 李雄杰; 陈木华; 欧阳巨星
Original assignee: Fujian Northern Light Virtual Visual Exhibition Technology Co ltd
Current assignee: Jiangsu Arctic Light Technology Co.,Ltd.
Priority date: 2016-11-30
Filing date: 2016-11-30
Publication date: 2021-06-18
Anticipated expiration: 2036-11-30
Also published as: CN106780754A

Abstract

本发明提供了一种混合现实方法及系统，其中一种混合现实方法包括：利用移动终端获取第一图像；获取与所述第一图像相匹配的虚拟资源，得到第一资源；叠加所述第一图像与所述第一资源，得到第二图像；一种混合现实系统，其特征在于，包括：第一获取单元，用于利用移动终端获取第一图像；第二获取单元，用于获取与第一图像相匹配的虚拟资源，得到第一资源；第一叠加单元，用于叠加所述第一图像与所述第一资源，得到第二图像；显示单元，用于显示所述第二图像；上传单元，用于上传所述虚拟资源至云端。本发明通过叠加现实场景与虚拟场景，使用户能够体验到历史画面、现实画面及未来画面，使用户沉浸在过去、现实及未来的现实世界与虚拟世界之中。

Description

一种混合现实方法及系统

技术领域

本发明涉及虚拟现实领域，特别涉及一种混合现实方法及系统。

背景技术

增强或混合现实技术能够让用户体验大的虚拟世界，例如公园、城市、景色、皇宫等。一些混合现实设备，能够让用户采用现实世界物理移动来作为遍历虚拟世界的方式。然而，直接将混合现实参与者的现实世界物理移动映射到这样大的虚拟世界中的虚拟运动可产生若干个挑战。

申请号为201410130207.0的中国发明专利公开了一种应用混合现实技术的多人合作训练系统，该发明提供一种应用混合现实技术的多人合作训练系统，利用增强现实技术，丰富人机交互过程，建立现实与虚拟世界的数据联系，保证真实的训练效果体验和丰富的训练内容。包括虚拟场景搭建系统、后台数据管理系统和移动增强现实交互系统；其中：虚拟场景搭建系统建立在一个封闭的真实室内空间当中，系统通过真实的道具进行结构设定，通过计算机建模创建虚拟场景，然后通过投影仪将虚拟场景投影到房间中，投影内容包括对房间外貌的改变，道具外部特征的改变，以及移动增强现实交互式的标志点改变，构建一个通过移动增强现实设备进行交互的沉浸式环境。但该方案只适用于室内，同时需要利用到投影仪将虚拟场景投影到房间中，投影仪体积较大，使用过程中存在诸多不便。

发明内容

本发明所要解决的技术问题是：提供了一种混合现实方法及系统，通过叠加所述第一图像与所述第一资源，让用户体验现实场景与虚拟场景相互叠加的画面。

为了解决上述技术问题，本发明采用的技术方案为：

一种混合现实方法，包括以下步骤：

S1：利用移动终端获取第一图像；

S2：获取与所述第一图像相匹配的虚拟资源，得到第一资源；

S3：叠加所述第一图像与所述第一资源，得到第二图像。

本发明还提供了一种混合现实系统，包括：

第一获取单元，用于利用移动终端获取第一图像；

第二获取单元，用于获取与所述第一图像相匹配的虚拟资源，得到第一资源；

第一叠加单元，用于叠加所述第一图像与所述第一资源，得到第二图像；

显示单元，用于显示所述第二图像；

上传单元，用于上传所述虚拟资源至云端。

本发明的有益效果在于：

通过移动终端获取第一图像，获取与所述第一图像相匹配的虚拟资源，得到第一资源；通过所述移动终端即可获取与所述第一图像相匹配的虚拟资源，解决了传统混合现实技术需要利用定位基站(含卫星导航系统)或位置传感器才能体验虚拟现实世界的问题，且不受室内室外的环境限制；通过叠加所述第一图像与所述第一资源，得到第二图像；用户能通过观看所述第二图像，即能体验现实场景与虚拟场景相互叠加的画面，所述画面包括与所述第一图像对应的历史画面、现实画面、未来画面，使用户沉浸在过去未来的现实世界与虚拟世界之中，也可以用来对现实世界进行室内和室外的导航。

附图说明

图1为本发明实施例的一种混合现实方法的流程框图；

图2为本发明实施例的一种混合现实系统的结构框图；

图3为本发明实施例的一种混合现实方法及系统的一种效果图；

图4为本发明实施例的一种混合现实方法及系统的另一种效果图；

标号说明：1、混合现实系统；11、第一获取单元；12、第二获取单元； 13、第一叠加单元。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

本发明最关键的构思在于：通过叠加所述第一图像与所述第一资源，让用户体验现实场景与虚拟场景相互叠加的画面。

请参照图1，本发明提供的一种混合现实方法，包括以下步骤：

S1：利用移动终端获取第一图像；

S3：叠加所述第一图像与所述第一资源，得到第二图像。

从上述描述可知，通过移动终端获取第一图像，获取与所述第一图像相匹配的虚拟资源，得到第一资源；通过所述移动终端即可获取与所述第一图像相匹配的虚拟资源，解决了传统混合现实技术需要利用头盔才能体验虚拟现实世界的问题；通过叠加所述第一图像与所述第一资源，得到第二图像；用户能过观看所述第二图像，即能体验现实场景与虚拟场景相互叠加的画面，所述画面包括与所述第一图像对应的历史画面、现实画面、未来画面，使用户沉浸在过去未来的现实世界与虚拟世界之中。

进一步的，所述S2具体为：

获取所述移动终端的方位信息；

提取所述第一图像的特征；

获取与所述方位信息及所述特征对应的虚拟资源，得到第一资源。

从上述描述可知，通过上述方法获取与所述方位信息及所述特征匹配的虚拟资源，得到第一资源，所述第一资源与所述第一图像精确匹配，使得后续叠加所述第一图像与所述第一资源，可得到精确无缝隙的第二图像。

进一步的，“提取所述第一图像的特征”具体为：灰度化所述第一图像，得到第一灰度图像；根据所述第一灰度图像，提取所述第一灰度图像的特征。

从上述描述可知，灰度化所述第一图像，可避免图像颜色对提取所述第一图像的特征的影响，从而精度地提取出所述第一灰度图像的特征。

进一步的，上述的混合现实方法还包括：显示所述第二图像。

从上述描述可知，将上述叠加得到的第二图像进行显示，可直观地观察到现实场景与虚拟场景相叠加的图像，并且具有画面感。

进一步的，上述的混合现实方法还包括：上传所述虚拟资源至云端。

从上述描述可知，将所述虚拟资源上传至云端，当再获取虚拟资源时，无需重新构建虚拟资源，即可从云端直接获取。

进一步的，上述的混合现实方法还包括：获取3D模型；根据所述3D模型，制作虚拟资源。

从上述描述可知，通过所述3D模型制作虚拟资源，可得到720度的虚拟画面，所述720度虚拟画面可以是连续的面，或者是局部有空缺的面(使用者透过空缺处可看到现实场景)，若所述移动终端能够显示3D画面时，可将720度的虚拟画面与现实3D画面进行叠加，让用户体验具有720度的现实场景与虚拟场景相叠加的画面，使其更具有立体感。

请参照图2，本发明提供的一种混合现实系统1，包括：

第一获取单元11，用于利用移动终端获取第一图像；

第二获取单元12，用于获取与所述第一图像相匹配的虚拟资源，得到第一资源；

第一叠加单元13，用于叠加所述第一图像与所述第一资源，得到第二图像。

从上述描述可知，所述第一获取单元能够利用移动终端获取第一图像，所述第二获取单元能够获取与所述第一图像相匹配的虚拟资源，得到第一资源；通过所述移动终端即可获取与所述第一图像相匹配的虚拟资源，解决了传统混合现实技术需要利用头盔才能体验虚拟现实世界的问题；通过第一叠加单元叠加所述第一图像与所述第一资源，得到第二图像；用户能过观看所述第二图像，即能体验现实场景与虚拟场景相互叠加的画面，所述画面包括与所述第一图像对应的历史画面、现实画面、未来画面，使用户沉浸在过去未来的现实世界与虚拟世界之中。

进一步的，上述的第二获取单元12包括：

第三获取单元，用于获取所述移动终端的方位信息；

提取单元，用于提取所述第一图像的特征；

第四获取单元，用于获取与所述方位信息及所述特征对应的虚拟资源，得到第一资源。

从上述描述可知，通过第四获取单元，获取与所述方位信息及所述特征匹配的虚拟资源，得到第一资源，所述第一资源与所述第一图像精确匹配，使得后续叠加所述第一图像与所述第一资源，可得到精确无缝隙的第二图像。

进一步的，上述的提取单元包括：

灰度化单元，用于灰度化所述第一图像，得到第一灰度图像；

计算单元，用于根据所述第一灰度图像，提取所述第一灰度图像的特征

从上述描述可知，通过灰度化单元，灰度化所述第一图像，可避免图像颜色对提取所述第一图像的特征的影响，从而精度地提取出所述第一灰度图像的特征。

进一步的，上述的混合现实系统1还包括：

第五获取单元：用于获取3D模型；

制作单元，用于根据所述3D模型，制作虚拟资源；

显示单元，用于显示所述第二图像；

上传单元，用于上传所述虚拟资源至云端。

从上述描述可知，通过制作单元，将所述3D模型制作成虚拟资源，可得到 720度的虚拟画面，若所述移动终端能够显示3D画面时，可将720度的虚拟画面与现实3D画面进行叠加，让用户体验具有720度的现实场景与虚拟场景相叠加的画面，使其更具有立体感；通过所述显示单元，显示所述第二图像，可直观地观察到现实场景与虚拟场景相叠加的图像，并且具有画面感；通过所述上传单元将所述虚拟资源上传至云端，当再获取虚拟资源时，无需重新构建虚拟资源，即可从云端直接获取。

请参照图1，本发明的实施例一为：

本发明提供的一种混合现实方法，包括以下步骤：

利用移动终端获取第一图像；

获取与所述第一图像相匹配的虚拟资源，得到第一资源；

叠加所述第一图像与所述第一资源，得到第二图像。

本发明的实施例二为：

与上述实施一的区别在于，本实施例二的混合现实方法还包括：

显示所述第二图像；上传所述虚拟资源至云端；获取3D模型；根据所述 3D模型制作虚拟资源。

从上述描述可知，将上述叠加得到的第二图像进行显示，可直观地观察到现实场景与虚拟场景相叠加的图像，并且具有画面感；将所述虚拟资源上传至云端，当再获取虚拟资源时，无需重新构建虚拟资源，即可从云端直接获取；通过所述3D模型制作虚拟资源，可得到720度的虚拟画面，若所述移动终端能够显示3D画面时，可将720度的虚拟画面与现实3D画面进行叠加，让用户体验具有720度的现实场景与虚拟场景相叠加的画面，使其更具有立体感。

请参照图2，本发明的实施例三为：

本发明提供的一种混合现实系统1，包括：第一获取单元11、第二获取单元12、第一叠加单元13、显示单元、上传单元、第五获取单元和制作单元。

所述第一获取单元11，用于利用移动终端获取第一图像；所述第二获取单元12，用于获取与所述第一图像相匹配的虚拟资源，得到第一资源；所述第一叠加单元13，用于叠加所述第一图像与所述第一资源，得到第二图像；所述显示单元，用于显示所述第二图像；所述上传单元，用于上传所述虚拟资源至云端；所述第五获取单元：用于获取3D模型；所述制作单元，用于根据所述3D 模型，制作虚拟资源；

所述第二获取单元12包括：第三获取单元，用于获取所述移动终端的方位信息；提取单元，用于提取所述第一图像的特征；第四获取单元，用于获取与所述方位信息及所述特征对应的虚拟资源，得到第一资源；

所述的提取单元包括：灰度化单元，用于灰度化所述第一图像，得到第一灰度图像；计算单元，用于根据所述第一灰度图像，提取所述第一灰度图像的特征。

从上述描述可知，所述第一获取单元能够利用移动终端获取第一图像，所述第二获取单元能够获取与所述第一图像相匹配的虚拟资源，得到第一资源；通过所述移动终端即可获取与所述第一图像相匹配的虚拟资源，解决了传统混合现实技术需要利用头盔才能体验虚拟现实世界的问题；通过第一叠加单元叠加所述第一图像与所述第一资源，得到第二图像；通过所述显示单元，显示所述第二图像，可直观地观察到现实场景与虚拟场景相叠加的图像，并且具有画面感；通过所述上传单元将所述虚拟资源上传至云端，当再获取虚拟资源时，无需重新构建虚拟资源，即可从云端直接获取。

请参照图3，本发明的实施例四为：

当用户在故宫前游玩时，利用手机或者平板电脑的摄像头对准故宫时，手机或者平板电脑上的微机电系统能够感知用户所处的方位信息，所述方位信息包括位置和方向信息；同时手机或者平板电脑的相机在获取故宫的图像时，能够自动提取故宫图像的特征；从网络云端获取与所述方位信息及所述特征对应的虚拟资源，得到第一资源；所述虚拟资源包括图像、文字、视频、音频、动画特效中的一种或几种；将所述故宫的图像与所述虚拟资源的第一资源进行叠加，将叠加的第二图像在用户的手机或者平板电脑显示出来，此时用户能够通过手机或者平板电脑上看到百官朝拜的场景；同时通过虚拟资源的动画特效，能够让用户体验到故宫前未来可能出现的画面。

请参照图4，本发明的实施例五为：

当用户在公园游玩时，拿起手机或者平板电脑对准喷水湖准备拍照时，此时手机或者平板电脑上的微机电系统能够感知用户所处的方位信息，所述方位信息包括位置和方向信息；同时手机或者平板电脑的相机在获取喷水湖的图像时，能够自动提取喷水湖图像的特征；从网络云端获取与所述方位信息及所述特征对应的虚拟资源；将所述故宫的图像与所述虚拟资源的进行叠加，将叠加的第二图像在用户的手机或者平板电脑显示出来；虽然此时喷水湖已经没有在喷水，但用户能够通过手机或者平板电脑上看到生动形象的喷水动画，让用户体验此处最繁华的景象。

本发明的实施例六为：

收集现场空间平面图或对现实空间进行实地测量；通过所述平面图或者现场测量数据，得到现有空间结构简化的3D模型；以所述3D模型作为虚拟场景的空间结构基础，构建1：1的虚拟场景；通过摄像机对现实空间进行逐空间位置观察并记录它们的画面特征，并与微机电系记录的方位信息相匹配，形成识别模式数据；将此识别模式数据与虚拟场景进行一一对应，得到虚拟资源；将所述虚拟资源上传至云端；使用者通过智能手机或者平板电脑实时采集的图像，提取图像特征，同时手机或者平板电脑上的微机电系统获取其所位于的方位信息，根据所述图像的特征及所述方位信息，从云端上获取与其对应的虚拟资源，所述虚拟资源包括图像、文字、视频、音频、动画特效中的一种或几种；将所述虚拟资源与手机或者平板电脑采集的图像进行叠加，并在手机或者平板电脑上显示出来。

综上所述，从上述描述可知，通过移动终端获取第一图像，获取与所述第一图像相匹配的虚拟资源，得到第一资源；通过所述移动终端即可获取与所述第一图像相匹配的虚拟资源，解决了传统混合现实技术需要利用头盔才能体验虚拟现实世界的问题；通过叠加所述第一图像与所述第一资源，得到第二图像；用户能过观看所述第二图像，即能体验现实场景与虚拟场景相互叠加的画面，所述画面包括与所述第一图像对应的历史画面、现实画面、未来画面，使用户沉浸在过去未来的现实世界与虚拟世界之中。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种混合现实方法，其特征在于，包括以下步骤：

S1：利用移动终端获取现实场景下的第一图像；

S3：叠加所述第一图像与所述第一资源，得到第二图像；

所述S2具体为：

获取所述移动终端的方位信息,所述方位信息包括位置和方向信息；

提取所述第一图像的特征；

获取与所述方位信息及所述特征对应的虚拟资源，得到第一资源；

“提取所述第一图像的特征”具体为：灰度化所述第一图像，得到第一灰度图像；根据所述第一灰度图像，提取所述第一灰度图像的特征；

还包括：

获取3D模型；根据所述3D模型，制作虚拟资源，所述虚拟资源为720度的虚拟画面，所述720度虚拟画面为局部有空缺的面，所述局部有空缺的面用于使使用者透过空缺处看到现实场景。

2.根据权利要求1所述的一种混合现实方法，其特征在于，还包括：显示所述第二图像。

3.根据权利要求1所述的一种混合现实方法，其特征在于，还包括：上传所述虚拟资源至云端。

4.一种混合现实系统，其特征在于，包括：

第一获取单元，用于利用移动终端获取现实场景下的第一图像；

所述第二获取单元包括：

第三获取单元，用于获取所述移动终端的方位信息,所述方位信息包括位置和方向信息；

提取单元，用于提取所述第一图像的特征；

第四获取单元，用于获取与所述方位信息及所述特征对应的虚拟资源，得到第一资源；

所述提取单元包括：

计算单元，用于根据所述第一灰度图像，提取所述第一灰度图像的特征；

第五获取单元：用于获取3D模型；

制作单元，用于根据所述3D模型，制作虚拟资源，所述虚拟资源为720度的虚拟画面，所述720度虚拟画面为局部有空缺的面，所述局部有空缺的面用于使使用者透过空缺处看到现实场景；

显示单元，用于显示所述第二图像；

上传单元，用于上传所述虚拟资源至云端。