[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN113253843B - 一种基于全景图的室内虚拟漫游实现方法及实现系统 - Google Patents

一种基于全景图的室内虚拟漫游实现方法及实现系统 Download PDF

Info

Publication number
CN113253843B
CN113253843B CN202110564925.9A CN202110564925A CN113253843B CN 113253843 B CN113253843 B CN 113253843B CN 202110564925 A CN202110564925 A CN 202110564925A CN 113253843 B CN113253843 B CN 113253843B
Authority
CN
China
Prior art keywords
virtual
mobile phone
user
display end
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110564925.9A
Other languages
English (en)
Other versions
CN113253843A (zh
Inventor
马琳
温育杜
郭士增
谭学治
孟维晓
叶亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202110564925.9A priority Critical patent/CN113253843B/zh
Publication of CN113253843A publication Critical patent/CN113253843A/zh
Application granted granted Critical
Publication of CN113253843B publication Critical patent/CN113253843B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种基于全景图的室内虚拟漫游实现方法及实现系统，本发明涉及室内虚拟漫游实现方法及实现系统。本发明的目的是为了解决现实当中存在的场景对象结构是非常复杂的，因此在构建三维模型的过程中，很难做到模型和场景的尺寸精准对应，导致贴图渲染后的虚拟环境不够逼真的问题。过程为：步骤一、基于图像和双目视差原理构建三维虚拟空间模型；步骤二、基于步骤一构建三维虚拟空间模型，实现在定点下根据用户头部转动信息实现视野变换；步骤三、陀螺仪检测用户头部状态，通过用户头部状态和蓝牙控制器相结合的方式来实现虚拟视点的位置切换功能。本发明涉及图像处理领域。

Description

一种基于全景图的室内虚拟漫游实现方法及实现系统
技术领域
本发明涉及图像处理领域，是一种利用室内全景图像以及全景图像展示方式，双目视差原理，Android开发等技术来实现室内虚拟漫游的方法。
背景技术
近年来，计算机运算能力提升迅速，基于计算机图形图像处理的虚拟现实技术也迅速发展起来。虚拟现实技术是指利用计算机虚拟一个三维世界，该世界可以使用户具有身临其境般的感觉，用户可以与虚拟的三维世界进行实时的信息交互，该技术具有感知性、交互性、实时性和沉浸性的特点。虚拟现实技术能够为用户提供多种丰富的感官信息，如视觉、听觉、触觉甚至是嗅觉等，给用户提供真实的感受，这是虚拟现实技术特有的感知性特点；交互性指虚拟现实系统支持与用户进行信息交互并对用户需求做出回应；实时性是指虚拟现实技术能根据用户与虚拟环境的互动交流过程，实时分析出用户的需求，并提供相应的回应；沉浸性是虚拟现实最大的技术亮点，它是指虚拟现实技术能够根据外部条件加以具体分析构建出更加真实的环境，让用户有种身临其境的错觉。
虚拟技术拥有的以上这些技术特点使得其在各个行业领域中具有广泛的应用。比如在机械设计中，设计师首先利用虚拟现实技术设计出虚拟机械产品，然后利用虚拟现实的交互性和感知性收集用户虚拟使用该产品的信息以对产品进行优化；在医疗方面，虚拟现实技术可以为医学研究提供复杂手术的数字化实验，通过数字化的实验方式，可以让医疗研究人员节省实验的成本并提高手术练习的安全性；在教育领域，利用虚拟现实技术构建出的虚拟实训基地可以根据教学的需要随意切换教学场景，为学生提供许多虚拟的操作平台，学生可以在平台上反复训练，既提高了教学的趣味性，又降低了教育成本。
在虚拟现实技术的发展中，如何构建虚拟的三维空间一直是该技术的难点和研究的重点。在传统的虚拟现实系统中一般都是先利用计算机构建出虚拟场景的三维模型，再通过后期的贴图，渲染等技术来构建虚拟场景。使用这种方式有许多弊端，比如要做到实时展示三维场景，需要计算机拥有非常强大的计算和图形图像处理能力。近几年来，计算机科学技术的快速发展虽然使得计算机运算能力有了很大的提高，但是这些进步还是难以达到能够提供良好的虚拟现实体验的要求。此外，计算机建立场景的三维几何模型是一个复杂的过程，由于现实当中存在的场景对象结构是非常复杂的，因此在构建模型的过程中，很难做到模型和场景的尺寸精准对应，这就会造成贴图渲染后的虚拟环境不够逼真。
随着图像处理技术的发展，一种基于全景图像的三维建模技术也发展起来。全景图像是一种能够展现超大场景，超宽视角的环境信息的图像，它提供的图像视角远大于人眼视角范围，能够更多的展示场景信息。基于全景图像的虚拟漫游技术将现实世界中的场景通过全景图的方式展现给使用者，通过这种方式，用户可以在某一位置观察到和现实生活中相似的三维场景。此外，在全景图像当中，用户可以对虚拟环境进行360°全方位的浏览观测，这一优点给与用户强烈的沉浸感。另外，通过事先指定路径连续拍摄多个视点下的全景图像，可以实现在指定路径上对虚拟场景进行漫游观察，即实现虚拟环境下的虚拟漫游。
在现实世界中人眼看到的物体是立体的，这是因为人的双眼之间存在一定距离，这一距离的存在使得人眼左右眼睛看到的物体存在一定视差，具有视差的图像在视觉神经中枢进行融合，从而产生具有立体感和层次感立体画面。这种由于左右视差的存在而观察到立体物体的现象称为双目视差原理。
发明内容
本发明的目的是为了解决现实当中存在的场景对象结构是非常复杂的，因此在构建三维模型的过程中，很难做到模型和场景的尺寸精准对应，导致贴图渲染后的虚拟环境不够逼真的问题，而提出一种基于全景图的室内虚拟漫游实现方法及实现系统。
一种基于全景图的室内虚拟漫游实现方法具体过程为：
步骤一、基于图像和双目视差原理构建三维虚拟空间模型；
步骤二、基于步骤一构建三维虚拟空间模型，实现在定点下根据用户头部转动信息实现视野变换；
步骤三、陀螺仪检测用户头部状态，通过用户头部状态和蓝牙控制器相结合的方式来实现虚拟视点的位置切换功能。
优选地，所述步骤一中基于图像和双目视差原理构建三维虚拟空间模型；具体过程为：
步骤一一、利用双目相机拍摄各个视点下的左右视图；
步骤一二、将步骤一一双目相机拍摄的左右视图分别传递给图像显示控件，在显示端分别显示左右视图；
步骤一三、将手机嵌入到VR眼镜，用户佩戴VR眼镜，VR眼镜的左侧镜片显示左视图，VR眼镜的右侧镜片显示右视图。
优选地，所述步骤一二中图像显示控件为两个等大的图像显示控件；
所述两个等大的图像显示控件加载在显示端。
优选地，所述步骤一二中显示端为手机显示端。
优选地，所述步骤二中基于步骤一构建三维虚拟空间模型，实现在定点下根据用户头部转动信息实现视野变换；具体过程为：
步骤二一、对步骤一一双目相机拍摄的同一视点下的多张图像进行拼接，获取全景图片，读取全景图片像素长度，将全景图片按长度分为360份，每一份为一个单位角度；
VR眼镜佩戴者看到的当前左右视图为子图；
步骤二二、VR眼镜佩戴者左右转动头部观看全景图时，根据手机x轴的转动角度计算新的子图的起始坐标；
步骤二三、根据新的子图的起始坐标和新的子图的宽度和高度截取出新的子图并加载到图像显示控件，在手机显示端显示新的子图，VR眼镜佩戴者看到新的子图。
优选地，所述步骤二二中手机x轴的转动角度采用手机内置陀螺仪检测。
优选地，所述步骤三中陀螺仪检测用户头部状态，通过用户头部状态和蓝牙控制器相结合的方式来实现虚拟视点的位置切换功能；具体过程为：
步骤三一、初始化当前视点位置为11，此时读取陀螺仪数据来判断当前视点正前方的方向；
步骤三二、基于步骤三一，蓝牙控制器中设置两个控制按键，分别控制虚拟视点的前进、后退、向左和向右。
优选地，所述步骤三一中初始化当前视点位置为11，此时读取陀螺仪数据来判断当前视点正前方的方向；具体过程为：
当用户头部角度状态小于等于45°或大于315°时认为当前视点的正前方为21位置点，手机显示端接收到前进指令时加载显示21位置点的图片；
当用户头部角度状态在(45，135]区间时认为当前视点正前方为10位置点，手机显示端执行前进指令时加载显示10位置点图片；
当用户头部角度状态在(135，225]区间时认为当前视点正前方为01位置点，手机显示端执行前进指令时加载显示01位置点图片；
当用户头部角度状态在(225，315]区间时认为当前视点正前方为12位置点，手机显示端执行前进指令时加载显示12位置点图片。
优选地，所述步骤三二中基于步骤三一，蓝牙控制器中设置两个控制按键，分别控制虚拟视点的前进、后退、向左和向右；具体过程为：
手机显示端初始的虚拟位置在11位置点，陀螺仪的初始角度为0°，正前方指向21位置点，当控制器按下前进控件时，位置点行数加1，即新位置点变为21，此时显示端向服务端加载位置点21对应的全景图片进行显示；控制器按下后退时位置点行数减1变为01，手机显示端加载位置点01对应的全景图片并显示；
手机显示端初始的虚拟位置在11位置点，向左前方前进具体实现如下：
首先是用户向左转动90°，陀螺仪检测到头部向左转动，此时位置点11的前方视点由位置点21变为10；
其次，蓝牙控制器按下前进控件指示显示端前进，此时位置点的列数减1变为10，显示端加载并显示10位置点下的全景图片实现虚拟视点向左前方前进；
手机显示端初始的虚拟位置在11位置点，向右前方前进具体实现如下：
首先是用户向右转动90°，陀螺仪检测到头部向右转动，此时位置点11的前方视点由位置点21变为12；
其次，蓝牙控制器按下前进控件指示显示端前进，此时位置点的列数加1变为12，显示端加载并显示10位置点下的全景图片实现虚拟视点向右前方前进。
优选地，一种基于全景图的室内虚拟漫游实现系统用于执行权利要求1至权利要求9之一的一种基于全景图的室内虚拟漫游实现方法。
本发明的有益效果为：
本发明的目的在于如何通过室内全景图像快速构建虚拟环境，实现室内虚拟漫游。本文利用双目视差原理通过模拟人类双眼观察现实场景的过程来实现虚拟漫游。首先通过一对相机来搭建双目系统来拍摄左右眼睛视图，并用Android手机将左右视图分别展示出来。当用户通过VR眼镜观察手机上显示的图像时，左右两个视图分别单独各自投影到用户左右眼睛，用户大脑将左右眼睛看到的视图进行融合从而产生立体感。然后通过事先指定路径连续拍摄多个视点下的全景图像，当用户戴上VR眼镜时，利用显示手机上自带的传感器检测用户头部状态，并根据状态显示不同视角下的视图，从而实现在指定路径上对虚拟场景进行漫游观察，做到构建出比较逼真的室内虚拟空间，并实现在虚拟空间中漫游。
附图说明
图1为基于全景图的室内虚拟漫游实现方法示意图；
图2为双目视差原理图；
图3为手机坐标系示意图；
图4为视点跳转方式示意图；
图5为视点切换方式示意图；
图6为显示手机显示界面图。
具体实施方式
具体实施方式一：本实施方式一种基于全景图的室内虚拟漫游实现方法具体过程为：
本发明主要研究利用室内图片构建虚拟空间，并且在Android平台上开发应用以实现室内的虚拟空间漫游，其具体实现系统如图1所示。由于本文中虚拟空间的构建是基于全景图下的，在进行虚拟空间浏览的时候需要大量的全景图片资源来构建不同视点的虚拟环境。如果将这些图片资源都集成到显示手机的应用程序里面会造成程序内存开销增大，程序流畅性下降等问题，因此本文采用动态加载图像资源的方式来构建虚拟空间。即首先在指定路径上利用双目系统采集各个视点下的图像，并利用图像拼接技术将同一视点下的多张图像拼接成全景图像存储到服务器中。嵌在VR眼镜的手机显示端根据接收蓝牙控制手柄的位置移动指令来实时向服务器请求加载相应视点下的全景图像并根据虚拟空间构建规则显示相应视角下的画面，从而实现在虚拟空间中视点的随意切换，实现虚拟空间漫游功能。
步骤一、基于图像和双目视差原理构建三维虚拟空间模型；
步骤二、基于步骤一构建三维虚拟空间模型，实现在定点下根据用户头部转动信息(左右转动头部环视周围信息)实现视野变换；
步骤三、事先按照指定路径连续拍摄多个视点下的全景图像，然后陀螺仪检测用户头部状态，通过用户头部状态和蓝牙控制器相结合的方式来实现虚拟视点的位置切换功能。
步骤二只能在一个点上浏览环境，步骤三实现了在虚拟环境中走动，可以切换到别的视点，就是在步骤二的基础上加入蓝牙控制器来控制位置移动，步骤二只在一个点上，位置是移动不了的；
具体实施方式二：本实施方式与具体实施方式一不同的是，所述步骤一中基于图像和双目视差原理构建三维虚拟空间模型；具体过程为：
本发明虚拟空间构建采用双目视差原理来实现，双目视差原理如图2所示。由于人的双眼在水平方向有一定距离，双眼观看三维环境中的实物时左右眼睛看到的图像有一定差别，人脑接收到这两个具有一定差别的图像后经过视觉神经将其融合从而产生立体感。基于该原理，本发明实现构建虚拟空间的具体做法如下：
步骤一一、利用双目相机来模拟人的双眼分别拍摄各个视点下的具有一定视差的左右(眼睛)视图；
步骤一二、将步骤一一双目相机拍摄的左右视图分别传递给图像显示控件，在显示端(手机屏幕上)分别显示左右(眼睛)视图；
步骤一三、将手机嵌入到VR眼镜，用户佩戴VR眼镜，VR眼镜的左侧镜片显示左视图，VR眼镜的右侧镜片显示右视图；
用户使用VR眼镜浏览虚拟空间时，VR眼镜通过光路将左右视图分别呈递给用户的左右眼睛，用户大脑将左右眼睛看到的视图进行融合从而产生立体感。
其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是，所述步骤一二中图像显示控件为两个等大的图像显示控件；
所述两个等大的图像显示控件加载在显示端(手机屏幕上)。
显示端通过Android平台的图片显示功能，将两个等大的图像显示控件加载在手机显示端。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，所述步骤一二中显示端为手机显示端。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，所述步骤二中基于步骤一构建三维虚拟空间模型，实现在定点下根据用户头部转动信息(左右转动头部环视周围信息)实现视野变换；具体过程为：
步骤二只能在一个点上浏览环境，步骤三实现了在虚拟环境中走动，可以切换到别的视点，就是在步骤二的基础上加入蓝牙控制器来控制位置移动，步骤二只在一个点上，位置是移动不了的；
在现实世界中，用户通过转动头部就可以观看到不同方位的物体，在虚拟现实应用中也应该做到当用户头部转动时虚拟视点发生变化，用户看到不同的视点场景，以此来增强用户的沉浸感。在本发明中使用Android手机和VR眼镜来构建虚拟系统，并使用手机自带的陀螺仪来检测用户头部状态，根据用户头部转动的状态来展示相应的图片资源，从而实现虚拟视点随着用户头部的转动而变换。
陀螺仪传感器能够检测到手机在手机坐标系下沿着x、y、z三个方向偏转的角度，手机坐标系如图3所示。用户戴上VR眼镜时手机坐标系的y轴和眼睛所在直线平行，故用户左右转动头部时相当于手机绕x轴转动。因此本发明在实现检测头部左右转动时采用手机内置陀螺仪读取手机x轴上的转动角度，并将其归一化到(0，360]的区间内，通过转动角度的大小来选择全景图中相应的显示子图，从而实现头部跟踪控制视点切换。由于所采集到的全景图片的高度有限，故头部俯仰切换视点时变化不明显，因此本发明重点研究如何在水平方向切换视点。
课题根据手机x轴转动角度来控制显示子图的步骤如下：
步骤二一、对步骤一一双目相机拍摄的同一视点下的多张图像进行拼接，获取全景图片，读取全景图片像素长度，将全景图片按长度分为360份，每一份为一个单位角度；
VR眼镜佩戴者看到的当前左右视图为子图；
计算出全景图每转动一个单位角度对应的显示子图平移的变化量；
步骤二二、VR眼镜佩戴者左右转动头部观看全景图时，根据手机x轴的转动角度计算新的子图的起始坐标(子图左上角点或左下角点坐标)；
步骤二三、根据新的子图的起始坐标和新的子图的宽度和高度截取出新的子图并加载到图像显示控件，在手机显示端(手机屏幕上)显示新的子图，VR眼镜佩戴者看到新的子图。
通过上述步骤，利用显示端手机陀螺仪实时检测手机x轴转动角度变化并根据变换更改显示器界面显示子图，从而实现了用户转动头部时虚拟视点也给随着变换的功能，提高体验沉浸感。
在实际开发中考虑到一张全景图的长度是有限的，而人物向左或向右转动的角度是无限的，因此按照上面的方式调用子图会使子图超出全景图范围，从而造成应用的闪退。为此，本文使用了大于360°视角的全景图加视点跳转的方式来实现子图加载，具体实现如图4所示。图4的全景图长度大于360°的视角，图A和图B为全景图像中完全相同的子图，若当前显示的子图为图A并且用户头部继续向左转动时则将视点跳动到图B再继续进行头部跟踪视点切换操作；若当前显示的子图为图B且用户头部继续向右转动时则将视点切换到子图A再进行头部跟踪视点切换操作。通过该方式能够很好的解决用户无限左右转动角度而全景图片长度有限的问题，而且跳点过渡自然，具有良好的视觉效果。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，所述步骤二二中手机x轴的转动角度采用手机内置陀螺仪检测(手机x轴的转动角度和全景图转动单位角度一致)。
其它步骤及参数与具体实施方式一至五之一相同。
具体实施方式七：本实施方式与具体实施方式一至六之一不同的是，所述步骤三中事先按照指定路径连续拍摄多个视点下的全景图像，然后陀螺仪检测用户头部状态，通过用户头部状态和蓝牙控制器相结合的方式来实现虚拟视点的位置切换功能；具体过程为：
步骤二只能在一个点上浏览环境，步骤三实现了在虚拟环境中走动，可以切换到别的视点，就是在步骤二的基础上加入蓝牙控制器来控制位置移动，步骤二只在一个点上，位置是移动不了的；
通过检测用户头部转动状态来控制视角切换可以实现在虚拟环境定点下的360°环视，即实现了虚拟环境定点浏览。在现实世界中参观某一室内环境时，人们可以向前后左右等方向前进以参观不同视点下的室内环境。在虚拟应用中为了使用户能够浏览到不同视点下的虚拟空间，也应该能够实现虚拟视点在前后左右等方向的移动以提高沉浸感，即能够实现在虚拟空间漫游。
目前主要实现了视点在前后左右四个方向上的移动。
判断当前视点的前方指向为行方向还是列方向是通过检测用户头部转动状态的角度数据来实现的，具体如图5所示：
步骤三一、在图5中初始化当前视点位置为11，此时读取陀螺仪数据来判断当前视点正前方的方向；
步骤三二、基于步骤三一，蓝牙控制器中设置两个控制按键，分别控制虚拟视点的前进、后退、向左和向右。
其它步骤及参数与具体实施方式一至六之一相同。
具体实施方式八：本实施方式与具体实施方式一至七之一不同的是，所述步骤三一中在图5中初始化当前视点位置为11，此时读取陀螺仪数据来判断当前视点正前方的方向；具体过程为：
当用户头部角度状态小于等于45°或大于315°时认为当前视点的正前方为21位置点，手机显示端接收到前进指令时加载显示21位置点的图片；
当用户头部角度状态在(45，135]区间时认为当前视点正前方为10位置点，手机显示端执行前进指令时加载显示10位置点图片；
当用户头部角度状态在(135，225]区间时认为当前视点正前方为01位置点，手机显示端执行前进指令时加载显示01位置点图片；
当用户头部角度状态在(225，315]区间时认为当前视点正前方为12位置点，手机显示端执行前进指令时加载显示12位置点图片。
其它步骤及参数与具体实施方式一至七之一相同。
具体实施方式九：本实施方式与具体实施方式一至八之一不同的是，所述步骤三二中基于步骤三一，蓝牙控制器中设置两个控制按键，分别控制虚拟视点的前进、后退、向左和向右；具体过程为：
手机显示端初始的虚拟位置在图5所示的11位置点，陀螺仪的初始角度为0°，正前方指向21位置点，当控制器按下前进控件时，位置点行数加1，即新位置点变为21，此时显示端向服务端加载位置点21对应的全景图片进行显示；控制器按下后退时位置点行数减1变为01，手机显示端加载位置点01对应的全景图片并显示；
手机显示端初始的虚拟位置在11位置点，图5所示的，向左前方前进具体实现如下：
首先是用户向左转动90°，陀螺仪检测到头部向左转动，此时位置点11的前方视点由位置点21变为10；
其次，蓝牙控制器按下前进控件指示显示端前进，此时位置点的列数减1变为10，显示端加载并显示10位置点下的全景图片实现虚拟视点向左前方前进；
手机显示端初始的虚拟位置在11位置点，图5所示的，向右前方前进具体实现如下：
首先是用户向右转动90°，陀螺仪检测到头部向右转动，此时位置点11的前方视点由位置点21变为12；
其次，蓝牙控制器按下前进控件指示显示端前进，此时位置点的列数加1变为12，显示端加载并显示10位置点下的全景图片实现虚拟视点向右前方前进。
其它步骤及参数与具体实施方式一至八之一相同。
具体实施方式十：本实施方式一种基于全景图的室内虚拟漫游实现系统，该系统用于执行具体实施方式一至具体实施方式九之一的一种基于全景图的室内虚拟漫游实现方法。
采用以下实施例验证本发明的有益效果：
实施例一：
为验证本文所提方法的可行性，需要选取一个室内实验场景进行实验验证。由于疫情原因本算法最终选取的验证场地为作者居住地客厅。由于实验场景条件限制，本文在室内设置了图5所示的5×3个采样点来拍摄不同视点的全景图片，采集到的全景图片用它们所在行列来唯一标识，并存储到搭建的简易服务器中，显示端使用唯一标识符来加载相应全景图片。为了实现视点之间的切换连续逼真，本文选取的采样点间隔为30cm，符合成人散步时的跨步大小。最终通过在显示手机上的编程开发实现显示效果如图6所示，将显示手机嵌入到VR眼镜中，戴上VR眼镜可以比较逼真的看到和现实场景一致的虚拟空间。在头部转动状态检测和蓝牙手柄控制功能的配合下能够流畅的切换虚拟视点，实现在虚拟空间中漫游。通过实验证明本文提出的利用室内全景图像快速构建虚拟环境，实现室内虚拟漫游的方法是可行的。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (6)

1.一种基于全景图的室内虚拟漫游实现方法，其特征在于：所述方法具体过程为：
步骤一、基于图像和双目视差原理构建三维虚拟空间模型；
步骤二、基于步骤一构建三维虚拟空间模型，实现在定点下根据用户头部转动信息实现视野变换；
步骤三、陀螺仪检测用户头部状态，通过用户头部状态和蓝牙控制器相结合的方式来实现虚拟视点的位置切换功能；
所述步骤二中基于步骤一构建三维虚拟空间模型，实现在定点下根据用户头部转动信息实现视野变换；具体过程为：
步骤二一、对步骤一一双目相机拍摄的同一视点下的多张图像进行拼接，获取全景图片，读取全景图片像素长度，将全景图片按长度分为360份，每一份为一个单位角度；
VR眼镜佩戴者看到的当前左右视图为子图；
步骤二二、VR眼镜佩戴者左右转动头部观看全景图时，根据手机x轴的转动角度计算新的子图的起始坐标；
步骤二三、根据新的子图的起始坐标和新的子图的宽度和高度截取出新的子图并加载到图像显示控件，在手机显示端显示新的子图，VR眼镜佩戴者看到新的子图；
所述步骤三中陀螺仪检测用户头部状态，通过用户头部状态和蓝牙控制器相结合的方式来实现虚拟视点的位置切换功能；具体过程为：
步骤三一、初始化当前视点位置为11，此时读取陀螺仪数据来判断当前视点正前方的方向；
步骤三二、基于步骤三一，蓝牙控制器中设置两个控制按键，分别控制虚拟视点的前进、后退、向左和向右；
所述步骤三一中初始化当前视点位置为11，此时读取陀螺仪数据来判断当前视点正前方的方向；具体过程为：
当用户头部角度状态小于等于45°或大于315°时认为当前视点的正前方为21位置点，手机显示端接收到前进指令时加载显示21位置点的图片；
当用户头部角度状态在(45，135]区间时认为当前视点正前方为10位置点，手机显示端执行前进指令时加载显示10位置点图片；
当用户头部角度状态在(135，225]区间时认为当前视点正前方为01位置点，手机显示端执行前进指令时加载显示01位置点图片；
当用户头部角度状态在(225，315]区间时认为当前视点正前方为12位置点，手机显示端执行前进指令时加载显示12位置点图片；
所述步骤三二中基于步骤三一，蓝牙控制器中设置两个控制按键，分别控制虚拟视点的前进、后退、向左和向右；具体过程为：
手机显示端初始的虚拟位置在11位置点，陀螺仪的初始角度为0°，正前方指向21位置点，当控制器按下前进控件时，位置点行数加1，即新位置点变为21，此时显示端向服务端加载位置点21对应的全景图片进行显示；控制器按下后退时位置点行数减1变为01，手机显示端加载位置点01对应的全景图片并显示；
手机显示端初始的虚拟位置在11位置点，向左前方前进具体实现如下：
首先是用户向左转动90°，陀螺仪检测到头部向左转动，此时位置点11的前方视点由位置点21变为10；
其次，蓝牙控制器按下前进控件指示显示端前进，此时位置点的列数减1变为10，显示端加载并显示10位置点下的全景图片实现虚拟视点向左前方前进；
手机显示端初始的虚拟位置在11位置点，向右前方前进具体实现如下：
首先是用户向右转动90°，陀螺仪检测到头部向右转动，此时位置点11的前方视点由位置点21变为12；
其次，蓝牙控制器按下前进控件指示显示端前进，此时位置点的列数加1变为12，显示端加载并显示10位置点下的全景图片实现虚拟视点向右前方前进。
2.根据权利要求1所述一种基于全景图的室内虚拟漫游实现方法，其特征在于：所述步骤一中基于图像和双目视差原理构建三维虚拟空间模型；具体过程为：
步骤一一、利用双目相机拍摄各个视点下的左右视图；
步骤一二、将步骤一一双目相机拍摄的左右视图分别传递给图像显示控件，在显示端分别显示左右视图；
步骤一三、将手机嵌入到VR眼镜，用户佩戴VR眼镜，VR眼镜的左侧镜片显示左视图，VR眼镜的右侧镜片显示右视图。
3.根据权利要求1或2所述一种基于全景图的室内虚拟漫游实现方法，其特征在于：所述步骤一二中图像显示控件为两个等大的图像显示控件；
所述两个等大的图像显示控件加载在显示端。
4.根据权利要求3所述一种基于全景图的室内虚拟漫游实现方法，其特征在于：所述步骤一二中显示端为手机显示端。
5.根据权利要求4所述一种基于全景图的室内虚拟漫游实现方法，其特征在于：所述步骤二二中手机x轴的转动角度采用手机内置陀螺仪检测。
6.一种基于全景图的室内虚拟漫游实现系统，其特征在于：该系统用于执行权利要求1至权利要求5之一的一种基于全景图的室内虚拟漫游实现方法。
CN202110564925.9A 2021-05-24 2021-05-24 一种基于全景图的室内虚拟漫游实现方法及实现系统 Active CN113253843B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110564925.9A CN113253843B (zh) 2021-05-24 2021-05-24 一种基于全景图的室内虚拟漫游实现方法及实现系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110564925.9A CN113253843B (zh) 2021-05-24 2021-05-24 一种基于全景图的室内虚拟漫游实现方法及实现系统

Publications (2)

Publication Number Publication Date
CN113253843A CN113253843A (zh) 2021-08-13
CN113253843B true CN113253843B (zh) 2023-05-09

Family

ID=77183875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110564925.9A Active CN113253843B (zh) 2021-05-24 2021-05-24 一种基于全景图的室内虚拟漫游实现方法及实现系统

Country Status (1)

Country Link
CN (1) CN113253843B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117234340A (zh) * 2023-11-14 2023-12-15 荣耀终端有限公司 头戴式xr设备用户界面显示方法及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106228538A (zh) * 2016-07-12 2016-12-14 哈尔滨工业大学 基于logo的双目视觉室内定位方法
JP2019207714A (ja) * 2017-05-12 2019-12-05 株式会社コロプラ 情報処理方法、コンピュータ及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4148671B2 (ja) * 2001-11-06 2008-09-10 ソニー株式会社 表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラム
KR101669926B1 (ko) * 2014-02-03 2016-11-09 (주)에프엑스기어 사용자 시점 연동형 영상 처리 장치 및 그 방법
KR101675567B1 (ko) * 2016-03-29 2016-11-22 주식회사 투아이즈테크 파노라마 촬영장치, 파노라마 촬영 시스템, 이를 이용한 파노라마 영상 생성 방법, 컴퓨터 판독가능 기록매체 및 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램
KR20180060236A (ko) * 2016-11-28 2018-06-07 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
US10368047B2 (en) * 2017-02-15 2019-07-30 Adone Inc. Six-degree of freedom video playback of a single monoscopic 360-degree video
CN111405262B (zh) * 2019-01-02 2021-09-14 中国移动通信有限公司研究院 一种视点信息生成方法、装置、系统、设备和介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106228538A (zh) * 2016-07-12 2016-12-14 哈尔滨工业大学 基于logo的双目视觉室内定位方法
JP2019207714A (ja) * 2017-05-12 2019-12-05 株式会社コロプラ 情報処理方法、コンピュータ及びプログラム

Also Published As

Publication number Publication date
CN113253843A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
EP3106963B1 (en) Mediated reality
EP2485119A2 (en) Spatially-correlated multi-display human-machine interface
CN106504339A (zh) 基于虚拟现实的文物3d展示方法
US20170195664A1 (en) Three-dimensional viewing angle selecting method and apparatus
JP6039594B2 (ja) 情報処理装置および情報処理方法
CN104536579A (zh) 交互式三维实景与数字图像高速融合处理系统及处理方法
CN103744518A (zh) 立体交互方法及其显示装置和系统
CN110568923A (zh) 基于Unity3D的虚拟现实交互方法、装置、设备及存储介质
TW201903565A (zh) 用於顯示彈幕的方法、裝置以及非揮發性電腦可讀儲存介質
CN108830941A (zh) 3d导览方法
CN108830944B (zh) 光学透视式三维近眼显示系统及显示方法
Song et al. An immersive VR system for sports education
CN101477702A (zh) 计算机显卡的植入式真三维立体驱动方法
CN102262705A (zh) 实景虚拟现实方法
WO2017062730A1 (en) Presentation of a virtual reality scene from a series of images
CN113253843B (zh) 一种基于全景图的室内虚拟漫游实现方法及实现系统
CN112891940A (zh) 图像数据处理方法及装置、存储介质、计算机设备
CN109908576B (zh) 一种信息模块的呈现方法及装置、电子设备、存储介质
Datta et al. An exploratory analysis of head mounted displays for vr applications
Saggio et al. Augmented reality for restoration/reconstruction of artefacts with artistic or historical value
JP2017069924A (ja) 画像表示装置
Garcia et al. Modifying a game interface to take advantage of advanced I/O devices
Hamadouche Augmented reality X-ray vision on optical see-through head mounted displays
JP7470347B2 (ja) アニメーション制作システム
CN108388351B (zh) 一种混合现实体验系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant