CN105704468A - 用于虚拟和现实场景的立体显示方法、装置及电子设备 - Google Patents

Abstract

本发明提供一种用于虚拟和现实场景的立体显示方法、装置及电子设备，该显示方法包括：获取用户头部位置的实时跟踪数据；当用户的头部位置发生变化时，根据所述实时跟踪数据对虚拟场景的原观察矩阵或原投影矩阵进行变换，得到新的观察矩阵或新的投影矩阵；根据新的观察矩阵或新的投影矩阵，构建并显示虚拟场景的立体图像，从而对虚拟场景的观察视角进行变换，实现虚拟场景下的观察视角与用户头部位置变化后的观察视角同步。本发明实施例可用于3D显示设备中。

Description

用于虚拟和现实场景的立体显示方法、装置及电子设备

技术领域

本发明涉及虚拟现实技术领域，特别涉及一种用于虚拟和现实场景的立体显示方法、装置及电子设备。

背景技术

虚拟与现实简称VR(VirtualReality)，意指通过技术手段创造出一种逼真的虚拟的现实效果。目前，虚拟与现实设备已经逐渐成熟和完善，现已广泛应用在影视和游戏等领域，越来越多的用户开始选择虚拟与现实设备来体验3D(3维，3Dimensions)立体内容。

在用户通过虚拟与现实设备来体验3D立体内容时，为了让用户体验到非常逼真的现实效果，同步观察视角就变得非常重要，即，在用户改变头部的位置从而改变眼睛的观察视角时，用户所观看的3D立体内容的观察方位即虚拟场景的观察视角要随之变化，从而带给用户强烈的代入感和现实感。

现有技术中，大多数虚拟与现实设备是采用头戴式的方式来实现3D显示的，而且在同步观察视角时会给一部分用户带来不适，例如，眼睛不舒服等，从而对整个3D立体内容的体验造成影响。

发明内容

本发明的目的在于提供一种用于虚拟和现实场景的立体显示方法、装置及电子设备，提供了一种新的同步观察视角的方式。

为了达到上述目的，本发明实施例提供一种用于虚拟和现实场景的立体显示方法，包括：

跟踪用户的头部位置，获取用户头部位置的实时跟踪数据；

当用户的头部位置发生变化时，根据所述实时跟踪数据对虚拟场景的原观察矩阵或原投影矩阵进行变换，得到新的观察矩阵或新的投影矩阵；

根据所述新的观察矩阵或新的投影矩阵，构建并显示虚拟场景的立体图像，从而对虚拟场景的观察视角进行变换，实现虚拟场景下的观察视角与用户头部位置变化后的观察视角同步。

其中，

在所述根据所述实时跟踪数据，对虚拟场景的原观察矩阵或原投影矩阵进行变换前，所述方法还包括：

对所述实时跟踪数据进行平滑滤波处理，得到平滑滤波处理后的实时跟踪数据；

所述根据所述实时跟踪数据，对虚拟场景的原观察矩阵或原投影矩阵进行变换包括：

根据所述平滑滤波处理后的实时跟踪数据，对虚拟场景的原观察矩阵或原投影矩阵进行变换。

其中，

所述根据所述实时跟踪数据对虚拟场景的原观察矩阵进行变换，得到新的观察矩阵包括：

根据所述实时跟踪数据，确定用户头部的旋转矩阵；

根据所述用户头部的旋转矩阵、虚拟场景的视差偏转矩阵以及虚拟场景的原观察矩阵，确定新的观察矩阵。

其中，所述方法还包括：

根据预先配置或者根据用户输入的设置参数确定虚拟场景的视间距信息；

根据所述确定的视间距信息确定虚拟场景的视差偏转矩阵。

其中，

所述视差偏转矩阵包括第一视图视差偏转矩阵以及第二视图视差偏转矩阵；述新的观察矩阵包括第一视图观察矩阵和第二视图观察矩阵；

所述根据所述用户头部的旋转矩阵、虚拟场景的视差偏转矩阵以及虚拟场景的原观察矩阵，确定新的观察矩阵的步骤包括：

根据所述用户头部的旋转矩阵、虚拟场景的第一视图视差偏转矩阵以及虚拟场景的原观察矩阵，确定第一视图观察矩阵；以及

根据所述用户头部的旋转矩阵、虚拟场景的第二视图视差偏转矩阵以及虚拟场景的原观察矩阵，确定第二视图观察矩阵；

所述根据所述新的观察矩阵，构建并显示虚拟场景的立体图像的步骤包括：

利用所述第一视图观察矩阵渲染生成虚拟场景的第一视图，并利用所述第二视图观察矩阵渲染生成虚拟场景的第二视图；

根据渲染生成的所述第一视图和第二视图，构建并显示虚拟场景的立体图像。

其中，所述根据所述实时跟踪数据对虚拟场景的原投影矩阵进行变换，得到新的投影矩阵的步骤包括：

根据所述实时跟踪数据，确定虚拟场景的立体图像的投影位置偏移信息；

根据所述确定的投影位置偏移信息和所述虚拟场景的原投影矩阵，构建新的投影矩阵。

其中，所述根据所述实时跟踪数据，确定虚拟场景的立体图像的投影位置偏移信息包括：

根据所述实时跟踪数据和所述原投影矩阵的视点距近投影平面的距离，确定虚拟场景的立体图像的投影位置偏移信息。

其中，

所述新的投影矩阵包括第一视图投影矩阵和第二视图投影矩阵；其中，

所述根据所述确定的投影位置偏移信息和所述虚拟场景的原投影矩阵，构建新的投影矩阵包括：

根据所述确定的投影位置偏移信息和所述原投影矩阵，构建第一视图投影矩阵和第二视图投影矩阵；

所述根据所述新的投影矩阵，构建并显示虚拟场景的立体图像的步骤包括：

利用所述第一视图投影矩阵渲染生成虚拟场景的第三视图，并利用第二视图投影矩阵渲染生成虚拟场景的第四视图；

根据渲染生成的所述第三视图和第四视图，构建并显示虚拟场景的立体图像。

本发明实施例还提供一种用于虚拟和现实场景的立体显示装置，包括：

第一跟踪获取模块，用于跟踪用户的头部位置，获取用户头部位置的实时跟踪数据；

处理模块，用于当用户的头部位置发生变化时，根据所述实时跟踪数据对虚拟场景的原观察矩阵或原投影矩阵进行变换，得到新的观察矩阵或投影矩阵；

立体显示模块，用于根据所述新的观察矩阵或投影矩阵，构建并显示虚拟场景的立体图像，从而对虚拟场景的观察视角进行变换，实现虚拟场景下的观察视角与用户头部位置变化后的观察视角同步。

本发明实施例还提供一种用于虚拟和现实场景的立体显示方法，包括：

跟踪用户的头部位置，获取用户头部位置的实时跟踪数据；

根据用户头部位置的实时跟踪数据，确定用于虚拟场景的模拟鼠标的移动量；

根据所述模拟鼠标的移动量，修改所述模拟鼠标的位置信息，以使实现根据修改后的所述模拟鼠标的位置信息生成并显示虚拟场景的立体图像，从而对虚拟场景的观察视角进行变换，实现虚拟场景下的观察视角与用户头部位置变化后的观察视角同步。

其中，所述根据用户头部位置的实时跟踪数据，确定虚拟场景的模拟鼠标的移动量的步骤包括：

根据所述实时跟踪数据，确定所述用户头部的实时转动角度；

根据所述用户头部的实时转动角度，确定用于虚拟场景的模拟鼠标的移动量。

其中，所述根据所述实时跟踪数据，确定所述用户头部的实时转动角度的步骤包括：

获取用户头部的当前帧的跟踪数据和该用户头部前一帧的跟踪数据；

获取当前帧的跟踪数据和前一帧的跟踪数据的差值，并由所述差值确定所述实时转动角度。

其中，所述根据所述用户头部的实时转动角度，确定用于虚拟场景的模拟鼠标的移动量的步骤包括：

将所述用户头部的实时转动角度与一预设转换系数相乘，得到用于虚拟场景的所述模拟鼠标的移动量。

本发明实施例还提供一种用于虚拟和现实场景的立体显示装置，包括：

第二跟踪获取模块，用于跟踪用户的头部位置，获取用户头部位置的实时跟踪数据；

确定模块，用于根据所述用户头部位置的实时跟踪数据，确定用于虚拟场景的模拟鼠标的移动量；

位置修改模块，用于根据所述模拟鼠标的移动量，修改所述模拟鼠标的位置信息，以使实现根据修改后的所述模拟鼠标的位置信息生成并显示虚拟场景的立体图像，从而对虚拟场景的观察视角进行变换，实现虚拟场景下的观察视角与用户头部位置变化后的观察视角同步。

本发明实施例还提供一种用于虚拟和现实场景的电子设备，包括：

壳体、处理器、存储器、显示器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行以下步骤：

跟踪用户的头部位置，获取用户头部位置的实时跟踪数据；

当用户的头部位置发生变化时，根据所述实时跟踪数据对虚拟场景的原观察矩阵或原投影矩阵进行变换，得到新的观察矩阵或新的投影矩阵；

根据所述新的观察矩阵或投影矩阵，构建并显示虚拟场景的立体图像，从而对虚拟场景的观察视角进行变换，实现虚拟场景下的观察视角与用户头部位置变化后的观察视角同步。

本发明的上述技术方案至少具有如下有益效果：

本发明实施例的用于虚拟和现实场景的立体显示方法、装置及电子设备中，通过跟踪用户的头部位置，在用户头部位置发生变化时，利用用户头部位置的实时跟踪数据对虚拟场景的观察矩阵、投影矩阵或模拟鼠标的位置信息进行变换或修改，从而利用变换或修改后的观察矩阵、投影矩阵或模拟鼠标的位置信息构建虚拟场景的立体图像，从而实现虚拟场景的观察视角与用户头部位置变化后的观察视角的同步，而且，能够在一定程度上减轻用户在使用虚拟与现实设备时在同步观察视角时所产生的不适感，优化用户体验。

附图说明

图1表示本发明实施例一提供的用于虚拟与现实场景的立体显示方法的流程图；

图2表示本发明提供的观察视角的同步方法中用户头部位置的跟踪数据的示意图；

图3表示本发明实施例二提供的用于虚拟与现实场景的立体显示装置的组成结构图；

图4表示本发明实施例三提供的用于虚拟和现实场景的立体显示方法的流程图；

图5表示本发明实施例四提供的用于虚拟和现实场景的立体显示方法的流程图；

图6表示本发明实施例五提供的用于虚拟和现实场景的立体显示方法的流程图；

图7表示本发明实施例五提供的用于虚拟和现实场景的立体显示方法中投影示意图；

图8表示本发明实施例六提供的用于虚拟和现实场景的立体显示装置的组成结构图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明针对现有技术中虚拟和现实场景同步观察视角时会给一部分用户带来不适，影响用户对3D立体内容的体验的问题，提供一种用于虚拟和现实场景的立体显示方法、装置及电子设备，通过跟踪用户的头部位置，在用户头部位置发生变化时，利用用户头部位置的实时跟踪数据对虚拟场景的观察矩阵、投影矩阵或模拟鼠标的位置信息进行变换或修改，从而利用修改后的观察矩阵、投影矩阵或模拟鼠标的位置信息构建虚拟场景的立体图像，进而在一定程度上减轻用户在使用虚拟与现实设备时在同步观察视角时所产生的不适感。此外，本发明实施例所提供了三种不同的用于虚拟和现实场景的立体显示方法来实现虚拟场景下的观察视角与现实用户头部位置变化后的观察视角的同步，可以针对不同的显示场景使用，因此应用范围非常广泛。

首先需要说明的是，本发明的实施例中假设虚拟场景中和真实场景中用户的头部位置的观察转动角度是相同的，并且位置的偏移在结合标尺(Scale)后也是相同的。结合上面的假设，本发明的实施例中，根据真实场景中用户头部位置的跟踪数据，变换虚拟场景中观察的方位，即同步观察视角。

还需要说明的是，本发明实施例可以应用在穿戴式的3D显示场景，还可以应用在裸眼3D显示场景，本发明对此不做限定。

以下对本发明实施例提供的用于虚拟和现实场景的立体显示方法、装置和电子设备进行详细说明。

如图1所示，本发明的实施例一提供一种用于虚拟和现实场景的立体显示方法，

步骤11，跟踪用户的头部位置，获取用户头部位置的实时跟踪数据。

可选的，如果用户是穿戴式的方式观看3D内容，可通过速度传感器或者加速度传感器等传感器件跟踪用户的头部位置从而获取用户头部位置的实时跟踪数据，如果是裸眼3D场景，可通过摄像头跟踪用户的头部位置从而获取用户头部位置的实时跟踪数据，本领域技术人员可以任意选择。

具体的，用户头部位置的实时跟踪数据可以包括头部在三维空间中的实时转动角度，可通过预先建立一三维坐标系，从而获取用户头部相对于X轴的旋转角度、相对于Y轴的旋转角度以及相对于Z轴的旋转角度来共同表示用户头部的实时转动角度。当然，用户头部位置的实时跟踪数据还可包括头部在三维空间的实时平移距离，与实时转动角度类似，在此不做详述。

举例说明，如图2所示，用户头部的实时跟踪数据包括头部在三维空间中的转动角度(Pitch,Yaw,Roll)；其中，Pitch：用户头部相对于x轴的转动角度；Yaw：用户头部相对于y轴的转动角度；Roll：用户头部相对于z轴的转动角度。

步骤12，根据用户头部位置的实时跟踪数据，确定用于虚拟场景的模拟鼠标的移动量。

本实施例提供的立体显示方法可以适用于支持鼠标转动视角的应用场景中，即鼠标的移动可以控制偏转视角。将用户头部位置的实时跟踪数据与鼠标移动量绑定，则可以根据实时跟踪数据，例如用户头部的实时转动角度确定鼠标的移动量。

具体的，其中鼠标可以为虚拟鼠标也可以为实际的鼠标，但是基于不影响3D内容整体画面感的前提，本申请中所指的鼠标一般为虚拟鼠标，即用于虚拟场景中的模拟鼠标。该模拟鼠标是与真实场景的实际鼠标相对应的，实际鼠标移动，该模拟鼠标相应移动，3D内容随模拟鼠标的移动而移动。可以理解的是，模拟鼠标可以是存在显示于虚拟场景中的，也可以是用于控制虚拟场景的视角改变的后台数据。本实施例中，将用户头部位置的改变与模拟鼠标的位置关联，从而改变虚拟场景的视角。

步骤13，根据所述模拟鼠标的移动量，修改所述模拟鼠标的位置信息，以实现根据修改后的所述模拟鼠标的位置信息生成并显示虚拟场景的立体图像，从而对虚拟场景的观察视角进行变换，实现虚拟场景下的观察视角与用户头部位置变化后的观察视角同步。

具体的，得到模拟鼠标的移动量后，修改模拟鼠标的位置信息，从而使得应用程序(例如3D游戏等)控制所述模拟鼠标移动，则游戏画面会由于模拟鼠标的移动而变换，从而达到游戏画面与用户头部的转动同步的目的。

本发明的实施例一提供的立体显示方法中观察视角的同步方法即利用模拟鼠标进行偏转视角的方法，该方法适用于支持鼠标转动视角的应用，例如游戏应用，虽然此方式会影响正常鼠标的操作，但是在游戏的视角转换中，不影响整个管线和流程，更贴近与原游戏本身操控。

优选的，为了避免头部位置数据的突然波动而造成观察视角的突变，进而使得用户产生眩晕感，本发明的具体实施例中，在所述根据所述实时跟踪数据，确定用于虚拟场景的模拟鼠标的移动量前，所述方法还包括：

对所述实时跟踪数据进行平滑滤波处理，得到平滑滤波处理后的实时跟踪数据；

所述根据所述实时跟踪数据，确定用于虚拟场景的模拟鼠标的移动量包括：

根据所述平滑滤波处理后的实时跟踪数据，确定用于虚拟场景的模拟鼠标的移动量。

这样，可以在后续构建并显示立体图像从而改变观察视角时，能够在一定程度上减弱用户的不适感，提升用户体验。

具体的，本发明提供的实施例一中步骤12可以包括：

步骤121，根据所述实时跟踪数据，确定所述用户头部的实时转动角度。

可以理解的是，在很多场景中，例如第一人称射击游戏中，只关注头部关于X轴和Y轴的旋转变换，则可直接根据X轴数据和Y轴数据确定用户头部的实时转动角度。

步骤122，根据所述用户头部的实时转动角度，确定用于虚拟场景的模拟鼠标的移动量。

进一步的，本发明提供的实施例一中步骤11包括：

步骤111，获取用户头部的当前帧的跟踪数据和该用户头部前一帧的跟踪数据；

例如，即取出当前帧的头部跟踪数据中的Pitch(头部绕x轴旋转角度),Yaw(头部绕y轴旋转角度)，作为基准值；再获取前一帧的Pitch，Yaw。根据当前帧的头部跟踪数据和前一帧的跟踪数据能够准确的确定用户头部的转动角度。

步骤112，获取当前帧的跟踪数据和前一帧的跟踪数据的差值，并由所述差值确定所述实时转动角度。

具体的，将当前帧的Pitch(头部绕x轴旋转角度),Yaw(头部绕y轴旋转角度)和前一帧的Pitch(头部绕x轴旋转角度),Yaw(头部绕y轴旋转角度)分别作差，得到ΔPitch，ΔYaw。该ΔPitch，ΔYaw分别为用户头部沿X轴和沿Y轴的实时转动角度。

进一步的，本发明的实施例一中步骤122包括：

步骤1221，将所述用户头部的实时转动角度与一预设转换系数相乘，得到用于虚拟场景的所述模拟鼠标的移动量。

即将上述步骤112得到的ΔPitch，ΔYaw分别乘以一预设转换系数，该预设转换系数为用来转换头部转动角度和鼠标偏移量的转换因子，从而得到Δx,Δy；从而通过Δx,Δy，改变鼠标位置：鼠标.x+＝Δx；鼠标.y+＝Δy；即将模拟鼠标沿X轴移动Δx，沿Y轴移动Δy，即可达到偏转视角的目的，从而实现用户的观察视角的同步。

为了更好的实现上述目的，如图3所示，本发明的实施例二还提供一种用于虚拟和现实场景的立体显示装置，包括：

第二跟踪获取模块21，用于跟踪用户的头部位置，获取用户头部位置的实时跟踪数据；

确定模块22，用于根据用户头部位置的实时跟踪数据，确定用于虚拟场景的模拟鼠标的移动量；

位置修改模块23，用于根据所述模拟鼠标的移动量，修改所述模拟鼠标的位置信息，以使实现根据修改后的所述模拟鼠标的位置信息生成并显示虚拟场景的立体图像，从而对虚拟场景的观察视角进行变换，实现虚拟场景下的观察视角与用户头部位置变化后的观察视角同步。

优选的，本发明提供的实施例二中还可包括：

平滑处理模块，用于对所述实时跟踪数据进行平滑滤波处理，得到平滑滤波处理后的实时跟踪数据；

则，确定模块22用于根据所述平滑滤波处理后的实时跟踪数据，确定用于虚拟场景的模拟鼠标的移动量。

本发明提供的实施例二中确定模块22可包括：

第一确定子模块，用于根据所述实时跟踪数据，确定所述用户头部的实时转动角度；

第二确定子模块，用于根据所述用户头部的实时转动角度，确定用于虚拟场景的模拟鼠标的移动量。

本发明提供的实施例二中第一确定子模块可包括：

数据获取模块，用于获取用户头部的当前帧的跟踪数据和该用户头部前一帧的跟踪数据；

角度获取模块，用于获取当前帧的跟踪数据和前一帧的跟踪数据的差值，并由所述差值确定所述实时转动角度。

本发明的实施例二中第二确定子模块可包括：

移动量确定模块，用于将所述用户头部的实时转动角度与一预设转换系数相乘，得到用于虚拟场景的所述模拟鼠标的移动量。

本发明的实施例二提供的用于虚拟和现实场景的立体显示装置中，利用模拟鼠标的偏转进行观察视角的偏转，从而实现观察视角的同步，优化了用户体验；需要说明的是，该实施例二提供的用于虚拟和现实场景的立体显示装置是应用上述用于虚拟和现实场景的立体显示方法的同步装置，则上述用于虚拟和现实场景的立体显示方法的所有实施例均适用于该同步装置，且均能达到相同或相似的有益效果。

为了更好的实现上述目的，如图4所示，本发明的实施例三还提供一种用于虚拟和现实场景的立体显示方法，包括：

步骤31，跟踪用户的头部位置，获取用户头部位置的实时跟踪数据。

可选的，如果用户是穿戴式的方式观看3D内容，可通过速度传感器或者加速度传感器等传感器件跟踪用户的头部位置从而获取用户头部位置的实时跟踪数据，如果是裸眼3D场景，可通过摄像头跟踪用户的头部位置从而获取用户头部位置的实时跟踪数据，本领域技术人员可以任意选择。

具体的，用户头部位置的实时跟踪数据可以包括头部在三维空间中的实时转动角度，可通过预先建立一三维坐标系，从而获取用户头部相对于X轴的旋转角度、相对于Y轴的旋转角度以及相对于Z轴的旋转角度来共同表示用户头部的实时转动角度。当然，用户头部位置的实时跟踪数据还可包括头部在三维空间的实时平移距离，与实时转动角度类似，在此不做详述。

举例说明，如图2所示，用户头部的实时跟踪数据包括头部在三维空间中的转动角度(Pitch,Yaw,Roll)；其中，Pitch：用户头部相对于x轴的转动角度；Yaw：用户头部相对于y轴的转动角度；Roll：用户头部相对于z轴的转动角度。

步骤32，当用户的头部位置发生变化时，根据所述实时跟踪数据对虚拟场景的原观察矩阵或原投影矩阵进行变换，得到新的观察矩阵或新的投影矩阵。

从原理上来讲，变换原观察矩阵的方式是保持观察场景和物体不动，而改变摄像机(代表用户的眼睛)的观察位置和角度来实现观察视角同步的方式，而变换原投影矩阵的方式是保持摄像机的位置不动，而改变视景体位置来实现观察视角同步的方式。

具体的，根据用户头部位置发生变化时所获取的实时跟踪数据，对虚拟场景的原观察矩阵或原投影矩阵进行变换，该实时跟踪数据可以表征用户头部位置的变化。

需要强调的是，本发明实施例中所述的观察矩阵或投影矩阵，是图形图像处理领域的常规概念，本领域技术人员可以直接毫无疑义的确定，本发明对此不做详述。

步骤33，根据所述新的观察矩阵或新的投影矩阵，构建并显示虚拟场景的立体图像，从而对虚拟场景的观察视角进行变换，实现虚拟场景下的观察视角与用户头部位置变化后的观察视角同步。

本实施例的用于虚拟和现实场景的立体显示方法，通过跟踪用户的头部位置，在用户头部位置发生变化时，利用用户头部位置的实时跟踪数据对虚拟场景的观察矩阵或投影矩阵进行变换，利用变换或修改后的观察矩阵、投影矩阵构建虚拟场景的立体图像，从而实现虚拟场景的观察视角与用户头部位置变化后的观察视角的同步，能够在一定程度上减轻用户在使用虚拟与现实设备时在同步观察视角时所产生的不适感。

较佳的，为了避免头部位置数据的突然波动而造成观察视角的突变，进而使得用户产生眩晕感，本发明的具体实施例中在所述根据所述实时跟踪数据，对虚拟场景的原观察矩阵或原投影矩阵进行变换前，所述方法还包括：

对所述实时跟踪数据进行平滑滤波处理，得到平滑滤波处理后的实时跟踪数据。从而使得步骤,32具体包括：

步骤321，根据所述平滑滤波处理后的实时跟踪数据，对虚拟场景的原观察矩阵或原投影矩阵进行变换。

这样，可以在后续构建并显示立体图像从而改变观察视角时，能够在一定程度上减弱用户的不适感，提升用户体验。

下面分别从对原观察矩阵和原投影矩阵的两方面处理进行具体描述。

具体实施例四

如图5所示，本发明的具体实施例四提供的立体显示方法包括：

步骤41，跟踪用户的头部位置，获取用户头部位置的实时跟踪数据。

具体的，如图2所示，用户头部的实时跟踪数据与实施例一中的实时跟踪数据一致，在此不重复描述。本实施例四中根据实时跟踪数据，改变观察矩阵，从而得到新观察矩阵。

步骤42，当用户的头部位置发生变化时，根据所述实时跟踪数据对虚拟场景的原观察矩阵进行变换，得到新的观察矩阵。

本实施例四中通过改变观察矩阵来进行视角偏转，从而实现观察视角的同步。其中，原观察矩阵也可称为当前观察矩阵，是指在用户头部位置变化时当前的立体图像所应用的观察矩阵，即观察视角还没改变时立体图像所应用的观察矩阵。在本发明的一个实施例中，虚拟场景的原观察矩阵可通过拦截技术获取，关于立体应用场景中的拦截技术不是本申请的重要内容，在此不详细描述。

步骤43，根据所述新的观察矩阵，构建并显示虚拟场景的立体图像，从而对虚拟场景的观察视角进行变换，实现虚拟场景下的观察视角与用户头部位置变化后的观察视角同步。

具体的，在本发明的一个实施例中，得到新观察矩阵后，通过注入技术将新的观察矩阵注入到3D应用的成像流程中，从而达到绘制3D立体内容且实现观察视角同步的目的。

本实施例提供的用于虚拟与显示场景的立体显示方法中，通过改变观察矩阵进行偏转视角的方法适用于在视角转动后，仍然能够正确的观察，没有信息缺失的场景下。该方式改变视角更加科学和准确，特别适用于立体内容即立体图像的场景范围较小的情况。

具体的，本发明的实施例四中上述步骤42包括：

步骤421，根据所述实时跟踪数据，确定用户头部的旋转矩阵；

具体的，基于用户头部位置的实时跟踪数据，例如用户头部的旋转角度，确定用户头部的旋转矩阵分别为X轴的旋转矩阵、Y轴的旋转矩阵以及Z轴的旋转矩阵。需要说明的是，该类旋转矩阵的格式均为预先设定的，本发明中将得到的用户头部的实时跟踪数据进行预定处理后填充到预先设定的矩阵中的预定位置从而构成本实施例需要的用户头部的旋转矩阵。

步骤422，根据所述用户头部的旋转矩阵、虚拟场景的视差偏转矩阵以及虚拟场景的原观察矩阵，确定新的观察矩阵。

从立体成像的原理上来讲，为了构建立体图像，需要首先构建具有水平视差的两幅左右眼图像，为生成视差图像，需移动摄像机位置，即将摄像机在同一水平面上进行偏移，产生左右相机，分别对应人的左眼和右眼。左右相机之间的间距称为视间距。视差偏转矩阵根据视间距确定。

用户头部的旋转矩阵实际为用户的视角偏转矩阵，即观察矩阵的变换包括视角偏转和视差偏转；从而根据视角偏转矩阵、虚拟场景的视差偏转矩阵以及当前虚拟场景的观察矩阵即可得到新的观察矩阵。且新的观察矩阵是相对于新的观察视角而言的。

具体的，本发明提供的实施例四中的上述虚拟场景的视差偏转矩阵的生成步骤包括：

步骤423，根据预先配置或者根据用户输入的设置参数确定虚拟场景的视间距信息；

步骤424，根据所述确定的视间距信息确定虚拟场景的视差偏转矩阵。

可选的，视间距信息sep可以由系统预先设定也可开放给用户自行设定，在此不限定其具体值。其中，sep可认为是左右相机之间的距离，用来表示人的左右眼之间的距离。需要说明的是，上述视差偏差矩阵也为预先设定的格式，本申请需将视间距信息进行预定处理后填充至预先设定的格式中从而构成视差偏转矩阵。

进一步具体的，本发明的实施例四中，所述视差偏转矩阵包括第一视图视差偏转矩阵以及第二视图视差偏转矩阵，也可称为左视图视差偏转矩阵和右视图视差偏转矩阵；所述新的观察矩阵包括第一视图观察矩阵和第二视图观察矩阵，也可称为左视图观察矩阵和右视图观察矩阵；则实施例四中步骤422具体包括：

步骤4221，根据所述用户头部的旋转矩阵、虚拟场景的第一视图视差偏转矩阵以及虚拟场景的原观察矩阵，确定第一视图观察矩阵；以及

步骤4222，根据所述用户头部的旋转矩阵、虚拟场景的第二视图视差偏转矩阵以及虚拟场景的原观察矩阵，确定第二视图观察矩阵；

进一步的，本发明的实施例四中上述步骤43包括：

步骤431，利用所述第一视图观察矩阵渲染生成虚拟场景的第一视图，并利用所述第二视图观察矩阵渲染生成虚拟场景的第二视图；

即分别生成左右眼视差图像。

步骤432，根据渲染生成的所述第一视图和第二视图，构建并显示虚拟场景的立体图像。

具体的，在本发明的一个实施例中，得到新观察矩阵后，利用注入技术将新观察矩阵注入到3D应用的流程中，从而达到绘制3D立体内容且实现观察视角同步的目的。

具体的，本发明的实施例二得到两个新的观察矩阵，则需将两个新的观察矩阵分别注入到应用流程中，从而实现观察视角的同步；即分别根据第一视图观察矩阵和第二视图观察矩阵渲染生成第一视图和第二视图，根据第一视图和第二视图并结合立体显示技术，生成虚拟场景的立体图像并在裸眼立体显示屏上进行显示。

具体的，下面结合一具体实施例对本发明的实施例四的执行步骤进行详细描述：

首先通过拦截技术，获取当前虚拟场景的原观察矩阵V；

然后根据头部跟踪数据Pitch,Yaw,Roll，则可以得到头部分别关于x,y,z轴的旋转矩阵：

${\mathrm{Rotation}}_{Pitch}=\left(\begin{array}{cccc}1& 0& 0& 0\\ 0& \cos \left(Pitch\right)& \sin \left(Pitch\right)& 0\\ 0& -\sin \left(Pitch\right)& \cos \left(Pitch\right)& 0\\ 0& 0& 0& 1\end{array}\right)$

${\mathrm{Rotation}}_{Yaw}=\left(\begin{array}{cccc}cos\left(Yaw\right)& 0& -sin\left(Yaw\right)& 0\\ 0& 1& 0& 0\\ sin\left(Yaw\right)& 0& \cos \left(Yaw\right)& 0\\ 0& 0& 0& 1\end{array}\right)$

${\mathrm{Rotation}}_{Roll}=\left(\begin{array}{cccc}cos\left(Roll\right)& -sin\left(Roll\right)& 0& 0\\ sin\left(Roll\right)& \cos \left(Roll\right)& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right)$

进而可以得到用户头部的旋转矩阵V_Rotation：

V_Rotation＝Rotation_Pitch*Rotation_Yaw*Rotation_Roll

当然，在很多场景(例如第一人称射击游戏)中，我们只关注头部关于x轴和y轴的旋转变换，这样只需要令关于z轴旋转矩阵为单位矩阵：

Rotation_Roll＝E

进一步的，观察矩阵的变换包含：视差偏转变换矩阵V_sep和视角偏转变换矩阵(即用户头部的旋转矩阵)V_Rotation，其中视差偏转矩阵V_sep是指可以理解为在生成视差图像时，需对摄像机分别进行偏移±sep/2(即向第一方向移动sep/2得到左摄像机，向第二方向移动sep/2得到右摄像机)，则左右摄像机的视差偏转矩阵分别为：

$V_{sep\_L}=\left(\begin{array}{cccc}1& 0& 0& -\frac{sep}{2}\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right)$

$V_{sep\_R}=\left(\begin{array}{cccc}1& 0& 0& \frac{sep}{2}\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right)$

既有视差偏转变换V_sep为：

$V_{sep}=\left(\begin{array}{cccc}1& 0& 0& \±\frac{sep}{2}\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right)$

则变换后的观察矩阵V′

V′＝V_Rotation*V_sep*V

具体的，变换后第一视图观察矩阵V′＝V_Rotation*V_{sep_R}*V；相应的，变换后第二视图观察矩阵V′＝V_Rotation*V_{sep_L}*V。将两个V′分别注入应用程序中，使得利用变换后的观察矩阵生成虚拟场景的立体图像，从而达到偏转视角的目的，实现观察视角的同步。

具体实施例五

如图6所示，本发明实施例五还提供一种用于虚拟和现实场景的立体显示方法，包括：

步骤51，跟踪用户的头部位置，获取用户头部位置的实时跟踪数据；

具体的，如图2所示，该实施例五中所指的用户头部的实时跟踪数据与实施例一中所指的用户头部的实时跟踪数据一致，在此不重复描述。

步骤52，当用户的头部位置发生变化时，根据所述实时跟踪数据对虚拟场景的原投影矩阵进行变换，得到新的投影矩阵；

其中，原投影矩阵也可称为当前投影矩阵，是指在用户头部位置变化时当前的立体图像所应用的投影矩阵，即观察视角还没改变时立体图像所应用的投影矩阵。

步骤53，根据所述新的投影矩阵，构建并显示虚拟场景的立体图像，从而对虚拟场景的观察视角进行变换，实现虚拟场景下的观察视角与现实用户头部位置变化后的观察视角同步。

从原理上讲，本发明的实施例五中的方法具体是通过摄像机的观察位置不变，而改变视景体(图像)的位置及角度的方式来实现观察视角的偏转，从而实现观察视角的同步，优化用户体验。

具体的，本发明的实施例五中步骤52包括：

步骤521，根据所述实时跟踪数据，确定虚拟场景的立体图像的投影位置偏移信息；

步骤522，根据所述确定的投影位置偏移信息和所述虚拟场景的原投影矩阵，构建新的投影矩阵。

与实施例三中获取原观察矩阵的方式一致，本发明的实施例五通过拦截技术获取原投影矩阵，其具体的过程不作详细描述。

进一步的，本发明的实施例五中上述步骤521包括：

步骤5211，根据所述实时跟踪数据和所述原投影矩阵的视点距近投影平面的距离，确定虚拟场景的立体图像的投影位置偏移信息。

如图7所示，本发明的实施例五中，投影位置的偏移包括位置的偏移和角度的偏移，即根据用户头部的实时跟踪数据计算角度的偏移，根据原投影矩阵的视点(如图7中摄像机的位置)距当前近投影平面的距离(如图7中所示的Znear)计算位置的偏移。

例如用户头部向左(上)偏转，可以将视景体(图像)的L,R(T，B)向左(上)同时偏移D_H(D_V)，来改变投影的位置和角度，此时向左的偏移量D_H为：D_H＝Z_near*tan(Pitch)，向上的偏移量D_V为：D_V＝Z_near*tan(Yaw)；

其中有Z_near为原投影矩阵P的视点到近投影平面距离，Pitch、Yaw为用户头部跟踪关于x轴和y轴旋转数据(弧度)。

进一步的，本发明的实施例五中所述新的投影矩阵包括第一视图投影矩阵和第二视图投影矩阵，也可称为左视图投影矩阵和右视图投影矩阵；其中本发明的实施例五中上述步骤522包括：

步骤5221，根据所述确定的投影位置偏移信息和所述原投影矩阵，构建第一视图投影矩阵和第二视图投影矩阵。

将当前所述图像的投影位置移动上述计算得到的偏移量，即可得到偏移后的图像的投影位置。需要说明的是，该实施例五中所指的投影矩阵与实施例四中所指的观察矩阵一致，均为按照预先设定的格式进行填充即可得到本实施例五需要的投影矩阵，在此不重复描述。

进一步的，本发明的实施例五中步骤53具体包括：

步骤531，利用所述第一视图投影矩阵渲染生成虚拟场景的第三视图，并利用第二视图投影矩阵渲染生成虚拟场景的第四视图；

步骤532，根据渲染生成的所述第三视图和第四视图，构建并显示虚拟场景的立体图像。本发明实施例五中同样利用注入技术将偏移后图像的投影矩阵注入到应用程序中，实现对观察视角的偏转，从而达到同步偏转视角的目的。

具体的，下面结合一具体实施例对本发明的实施例五提供的立体显示方法进行详细描述：

例如用户头部向左(上)偏转，可以将视景体(图像)的L,R(T，B)向左(上)同时偏移D_H(D_V)，来改变投影的位置和角度，此时向左的偏移量D_H为：D_H＝Z_near*tan(Pitch)，向上的偏移量D_V为：D_V＝Z_near*tan(Yaw)；

其中有Z_near为原投影矩阵P的视点到近投影平面距离，Pitch,Yaw为用户头部跟踪关于x轴和y轴旋转数据(弧度)。

视景体(图像的投影)变换后的结果：

$\left\{\begin{array}{c}{L}^{,}=L+D_H\\ R^{\′}=R+D_H\end{array}\right.$

$\left\{\begin{array}{c}{T}^{,}=T+D_V\\ B^{\′}=B+D_V\end{array}\right.$

以OpenGL为例，如图7所示，left(左)，right(右)，bottom(下)，top(上)定义了裁剪面大小，而Znear和Zfar定义了从摄像机到视锥远近两个裁剪面的距离。由这六个参数可以定义出六个裁剪面构成的锥体，这个锥体通常被称之为视锥体或视景体。

设L＝left，R＝right，B＝bottom，T＝top，Z_near＝near，Z_far＝far，则投影矩阵可表述为：

$P=\left(\begin{array}{cccc}\frac{2Z_{near}}{R-L}& 0& \frac{R+L}{R-L}& 0\\ 0& \frac{2Z_{near}}{T-B}& \frac{T+B}{T-B}& 0\\ 0& 0& -\frac{Z_{near}+Z_{far}}{Z_{far}-Z_{near}}& 0\\ 0& 0& -1& 0\end{array}\right)$

则改变后的投影矩阵P‘为

可将改变后的投影矩阵P‘注入应用程序中，即利用P‘构建虚拟场景的立体图像，从而达到偏转视角的目的，实现观察视角的同步，优化用户体验。

但需要说明的是，在本发明的一个实施例中，在为应用构建虚拟场景的立体图像时，可首先通过拦截技术获取应用本身的投影矩阵，在此基础上，在用户的观察视角发生改变后，以拦截获取的投影矩阵作为原投影矩阵，进行接下来的变换。

为了更好的实现上述目的，如图8所示，本发明的实施例六提供一种用于虚拟和现实场景的立体显示装置，包括：

第一跟踪获取模块61，用于跟踪用户的头部位置，获取用户头部位置的实时跟踪数据；

处理模块62，用于当用户的头部位置发生变化时，根据所述实时跟踪数据对虚拟场景的原观察矩阵或原投影矩阵进行变换，得到新的观察矩阵或投影矩阵；

立体显示模块63，用于根据所述新的观察矩阵或新的投影矩阵，构建并显示虚拟场景的立体图像，从而对虚拟场景的观察视角进行变换，实现虚拟场景下的观察视角与用户头部位置变化后的观察视角同步。

具体的，本发明的实施例六中上述立体显示装置还包括：

第一跟踪获取子模块，用于对所述所述实时跟踪数据进行平滑滤波处理，得到平滑滤波处理后的实时跟踪数据。相应的，处理模块62具体包括：

处理单元，用于根据所述平滑滤波处理后的实时跟踪数据，对虚拟场景的原观察矩阵或原投影矩阵进行变换。

具体的，本发明的实施例六中，处理模块62包括：

第一确定子模块，用于根据所述实时跟踪数据，确定用户头部的旋转矩阵；

第二确定子模块，用于根据所述用户头部的旋转矩阵、虚拟场景的视差偏转矩阵以及虚拟场景的原观察矩阵，确定新的观察矩阵。

具体的，本发明的实施例六中，所述立体显示装置还包括：

参数设置模块，用于根据预先配置或者根据用户输入的设置参数确定虚拟场景的视间距信息；

视差确定模块，用于根据所述确定的视间距信息确定虚拟场景的视差偏转矩阵。

具体的，本发明的实施例六中，所述视差偏转矩阵包括第一视图视差偏转矩阵以及第二视图视差偏转矩阵；述新的观察矩阵包括第一视图观察矩阵和第二视图观察矩阵；

上述第二确定子模块包括：

第一确定单元，用于根据所述用户头部的旋转矩阵、虚拟场景的第一视图视差偏转矩阵以及虚拟场景的原观察矩阵，确定第一视图观察矩阵；以及

第二确定单元，用于根据所述用户头部的旋转矩阵、虚拟场景的第二视图视差偏转矩阵以及虚拟场景的原观察矩阵，确定第二视图观察矩阵；

相应的立体显示模块63包括：

第一显示子模块，用于利用所述第一视图观察矩阵渲染生成虚拟场景的第一视图，并利用所述第二视图观察矩阵渲染生成虚拟场景的第二视图；

第二显示子模块，用于根据渲染生成的所述第一视图和第二视图，构建并显示虚拟场景的立体图像。

具体的，本发明的实施例六中，处理模块62具体包括：

第三确定子模块，用于根据所述所述实时跟踪数据，确定虚拟场景的立体图像的投影位置偏移信息；

构建模块，用于根据所述确定的投影位置偏移信息和所述虚拟场景的原投影矩阵，构建新的投影矩阵。

具体的，本发明的实施例六中，所述第三确定子模块包括：

第三确定单元，用于根据所述实时跟踪数据和所述原投影矩阵的视点距近投影平面的距离，确定虚拟场景的立体图像的投影位置偏移信息。

具体的，本发明的实施例六中，所述新的投影矩阵包括第一视图投影矩阵和第二视图投影矩阵；其中，

上述构建模块包括：

构建单元，用于根据所述确定的投影位置偏移信息和所述原投影矩阵，构建第一视图投影矩阵和第二视图投影矩阵；

相应的，上述立体显示模块63包括：

第三显示子模块，用于利用所述第一视图投影矩阵渲染生成虚拟场景的第三视图，并利用第二视图投影矩阵渲染生成虚拟场景的第四视图；

第四显示子模块，用于根据渲染生成的所述第三视图和第四视图，构建并显示虚拟场景的立体图像。

本发明的实施例六提供的用于虚拟和现实场景的立体显示装置中，分别为通过改变原观察矩阵和原投影矩阵的方式进行观察视角的偏转，从而实现观察视角的同步，优化了用户体验；需要说明的是，该实施例六提供的用于虚拟和现实场景的立体显示装置是应用上述用于虚拟和现实场景的立体显示方法的同步装置，则上述用于虚拟和现实场景的立体显示方法的所有实施例均适用于该用于虚拟和现实场景的立体显示装置，且均能达到相同或相似的有益效果。

但是，在很多情况下(例如OpenGL1.0)通过拦截技术，只能获取到当前的整体变换矩阵(是将世界坐标变换、观察坐标变换以及投影变换相乘得到的结果)，这样我们就不能直接对世界坐标变换、观察坐标变换以及投影变换中的单个变换进行直接修改。

已知，原变换矩阵为M＝P*V*W，其中W为世界坐标变换，V为观察坐标变换，P为投影变换。偏图的整个过程，需要对观察坐标变换V，以及投影矩阵P进行修改。有

M‘＝P’*V‘*W

其中有V‘为改变后的观察坐标变换，P’为改变后的投影坐标变换：

V′＝V_Rotation*V_sep*V

其中，V_Rotation为视角偏转矩阵，V_sep为视差偏转矩阵。

接着有，

M‘＝P’*V_Rotation*V_sep*V*W

＝(P’*V_Rotation*V_sep*P^-1)*P*V*W

＝(P’*V_sep*V_rotation*P^-1)*M

其中，若不在该矩阵变换中偏转视角，则V_rotation＝E，为单位矩阵。

则

M_L＝(P_L*V_{sep_L}*V_rotation*P^-1)*M

M_R＝(P_R*V_{sep_R}*V_rotation*P^-1)*M

其中，M_L和M_R分别为偏转后左右相机的变换矩阵，V_{sep_L}和V_{sep_R}分别为左右相机的视差偏转矩阵，P_L和P_R分别为偏转后左右相机的投影矩阵。在已知投影矩阵的且可以拦截到变换矩阵的M的前提下，就可以通过根据视差偏转矩阵和头部的旋转矩阵，得到变换后的变换矩阵。

也就是说，本发明实施例还提供了一种立体显示方法，包括：

跟踪用户的头部位置，获取用户头部位置的实时跟踪数据；

当用户的头部位置发生变化时，根据所述实时跟踪数据对虚拟场景的原变换矩阵进行变换，得到新的变换矩阵；

根据所述新的变换矩阵，构建并显示虚拟场景的立体图像，从而对虚拟场景的观察视角进行变换，实现虚拟场景下的观察视角与用户头部位置变化后的观察视角同步。

具体的，在本发明的一个实施例中，根据所述实时跟踪数据，确定用户头部的旋转矩阵V_rotation，利用V_rotation、视差偏转矩阵V_sep，和已知的投影矩阵P和它的逆矩阵P^-1，得到新的变换矩阵，进而利用新的变换矩阵构建立体图像。

M_L＝(P_L*V_{sep_L}*V_rotation*P^-1)*M

M_R＝(P_R*V_{sep_R}*V_rotation*P^-1)*M

可以理解的是，上述实施例中使用旋转矩阵进行示例说明，但是本发明不限于此，也可以根据用户头部进行平移时，构建用户头部的平移矩阵，进而利用用户头部的平移矩阵得到新的变换矩阵。本实施例中，旋转矩阵和平移矩阵均可称为位移矩阵。

而在本发明的另一个实施例中，根据所述实时跟踪数据，确定投影位置偏移信息，根据投影位置偏移信息，确定新的投影矩阵，进而同样利用上述公式，其中，V_rotation＝E，为单位矩阵，通过新的投影矩阵，原投影矩阵的逆矩阵，视差偏转矩阵和原变换矩阵，得到新的变换矩阵。

关于如何得到头部的旋转矩阵，视差偏转矩阵、新的投影矩阵等均与前述实施例相同，这里不再详述。

相应的，本发明实施例还提供了一种立体显示装置，包括：

跟踪模块，用于跟踪用户的头部位置，获取用户头部位置的实时跟踪数据；

变换模块，用于当用户的头部位置发生变化时，根据所述实时跟踪数据对虚拟场景的原变换矩阵进行变换，得到新的变换矩阵；

构建模块，用于根据所述新的变换矩阵，构建并显示虚拟场景的立体图像，从而对虚拟场景的观察视角进行变换，实现虚拟场景下的观察视角与用户头部位置变化后的观察视角同步。

具体的，变换模块用于：

当用户的头部位置发生变化时，根据所述实时跟踪数据，确定用户头部的旋转矩阵；

根据用户头部的旋转矩阵、虚拟场景的视差偏转矩和虚拟场景的原变换矩阵，确定新的变换矩阵。

关于各模块的具体执行行为请参见方法实施例，这里不再赘述。

为了更好的实现上述目的，本发明实施例七还提供一种用于虚拟和现实场景的电子设备，包括：

壳体、处理器、存储器、显示器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行以下步骤：

跟踪用户的头部位置，获取用户头部位置的实时跟踪数据；

当用户的头部位置发生变化时，根据所述实时跟踪数据对虚拟场景的原观察矩阵或原投影矩阵进行变换，得到新的观察矩阵或新的投影矩阵；

根据所述新的观察矩阵或投影矩阵，构建并显示虚拟场景的立体图像，从而对虚拟场景的观察视角进行变换，实现虚拟场景下的观察视角与用户头部位置变化后的观察视角同步。

该电子设备以多种形式存在，包括但不限于：

(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等；

(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad；

(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备；

(4)其他具有数据交互功能的电子装置。

需要说明的是，本发明实施例七提供的电子设备是能够应用上述实施例三、实施例四以及实施例五提供的用于虚拟与现实场景的立体显示方法的电子设备，则上述立体显示方法的所有实施例及其有益效果均适用于该电子设备。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (18)

1.一种用于虚拟和现实场景的立体显示方法，其特征在于，包括：

跟踪用户的头部位置，获取用户头部位置的实时跟踪数据；

当用户的头部位置发生变化时，根据所述实时跟踪数据对虚拟场景的原观察矩阵或原投影矩阵进行变换，得到新的观察矩阵或新的投影矩阵；

根据所述新的观察矩阵或新的投影矩阵，构建并显示虚拟场景的立体图像，从而对虚拟场景的观察视角进行变换，实现虚拟场景下的观察视角与用户头部位置变化后的观察视角同步。

2.根据权利要求1所述的立体显示方法，其特征在于，

在所述根据所述实时跟踪数据，对虚拟场景的原观察矩阵或原投影矩阵进行变换前，所述方法还包括：

对所述实时跟踪数据进行平滑滤波处理，得到平滑滤波处理后的实时跟踪数据；

所述根据所述实时跟踪数据，对虚拟场景的原观察矩阵或原投影矩阵进行变换包括：

根据所述平滑滤波处理后的实时跟踪数据，对虚拟场景的原观察矩阵或原投影矩阵进行变换。

3.根据权利要求1所述的立体显示方法，其特征在于，

所述根据所述实时跟踪数据对虚拟场景的原观察矩阵进行变换，得到新的观察矩阵包括：

根据所述实时跟踪数据，确定用户头部的旋转矩阵；

根据所述用户头部的旋转矩阵、虚拟场景的视差偏转矩阵以及虚拟场景的原观察矩阵，确定新的观察矩阵。

4.根据权利要求3所述的立体显示方法，其特征在于，所述方法还包括：

根据预先配置或者根据用户输入的设置参数确定虚拟场景的视间距信息；

根据所述确定的视间距信息确定虚拟场景的视差偏转矩阵。

5.根据权利要求3或4所述的立体显示方法，其特征在于，

所述视差偏转矩阵包括第一视图视差偏转矩阵以及第二视图视差偏转矩阵；述新的观察矩阵包括第一视图观察矩阵和第二视图观察矩阵；

所述根据所述用户头部的旋转矩阵、虚拟场景的视差偏转矩阵以及虚拟场景的原观察矩阵，确定新的观察矩阵的步骤包括：

根据所述用户头部的旋转矩阵、虚拟场景的第一视图视差偏转矩阵以及虚拟场景的原观察矩阵，确定第一视图观察矩阵；以及

根据所述用户头部的旋转矩阵、虚拟场景的第二视图视差偏转矩阵以及虚拟场景的原观察矩阵，确定第二视图观察矩阵；

所述根据所述新的观察矩阵，构建并显示虚拟场景的立体图像的步骤包括：

利用所述第一视图观察矩阵渲染生成虚拟场景的第一视图，并利用所述第二视图观察矩阵渲染生成虚拟场景的第二视图；

根据渲染生成的所述第一视图和第二视图，构建并显示虚拟场景的立体图像。

6.根据权利要求1所述的立体显示方法，其特征在于，所述根据所述实时跟踪数据对虚拟场景的原投影矩阵进行变换，得到新的投影矩阵的步骤包括：

根据所述实时跟踪数据，确定虚拟场景的立体图像的投影位置偏移信息；

根据所述确定的投影位置偏移信息和所述虚拟场景的原投影矩阵，构建新的投影矩阵。

7.根据权利要求6所述的立体显示方法，其特征在于，所述根据所述实时跟踪数据，确定虚拟场景的立体图像的投影位置偏移信息包括：

根据所述实时跟踪数据和所述原投影矩阵的视点距近投影平面的距离，确定虚拟场景的立体图像的投影位置偏移信息。

8.根据权利要求7所述的立体显示方法，其特征在于，

所述新的投影矩阵包括第一视图投影矩阵和第二视图投影矩阵；其中，

所述根据所述确定的投影位置偏移信息和所述虚拟场景的原投影矩阵，构建新的投影矩阵包括：

根据所述确定的投影位置偏移信息和所述原投影矩阵，构建第一视图投影矩阵和第二视图投影矩阵；

所述根据所述新的投影矩阵，构建并显示虚拟场景的立体图像的步骤包括：

利用所述第一视图投影矩阵渲染生成虚拟场景的第三视图，并利用第二视图投影矩阵渲染生成虚拟场景的第四视图；

根据渲染生成的所述第三视图和第四视图，构建并显示虚拟场景的立体图像。

9.根据权利要求7所述的立体显示方法，其特征在于，所述根据所述新的投影矩阵，构建并显示虚拟场景的立体图像的步骤包括：

根据所述新的投影矩阵、原投影矩阵的逆矩阵、视差偏转矩阵和原变换矩阵，得到新的变换矩阵；

根据所述新的变换矩阵，构建并显示虚拟场景的立体图像。

10.一种用于虚拟和现实场景的立体显示装置，其特征在于，包括：

第一跟踪获取模块，用于跟踪用户的头部位置，获取用户头部位置的实时跟踪数据；

处理模块，用于当用户的头部位置发生变化时，根据所述实时跟踪数据对虚拟场景的原观察矩阵或原投影矩阵进行变换，得到新的观察矩阵或投影矩阵；

立体显示模块，用于根据所述新的观察矩阵或新的投影矩阵，构建并显示虚拟场景的立体图像，从而对虚拟场景的观察视角进行变换，实现虚拟场景下的观察视角与用户头部位置变化后的观察视角同步。

11.一种用于虚拟和现实场景的立体显示方法，其特征在于，包括：

跟踪用户的头部位置，获取用户头部位置的实时跟踪数据；

当用户的头部位置发生变化时，根据所述实时跟踪数据，确定用于虚拟场景的模拟鼠标的移动量；

根据所述模拟鼠标的移动量，修改所述模拟鼠标的位置信息，以实现根据修改后的所述模拟鼠标的位置信息生成并显示虚拟场景的立体图像，从而对虚拟场景的观察视角进行变换，实现虚拟场景下的观察视角与用户头部位置变化后的观察视角同步。

12.根据权利要求1所述的立体显示方法，其特征在于，

在所述根据所述实时跟踪数据，确定用于虚拟场景的模拟鼠标的移动量前，所述方法还包括：

对所述实时跟踪数据进行平滑滤波处理，得到平滑滤波处理后的实时跟踪数据；

所述根据所述实时跟踪数据，确定用于虚拟场景的模拟鼠标的移动量包括：

根据所述平滑滤波处理后的实时跟踪数据，确定用于虚拟场景的模拟鼠标的移动量。

13.根据权利要求11或12所述的立体显示方法，其特征在于，所述根据用户头部位置的实时跟踪数据，确定虚拟场景的模拟鼠标的移动量的步骤包括：

根据所述实时跟踪数据，确定所述用户头部的实时转动角度；

根据所述用户头部的实时转动角度，确定用于虚拟场景的模拟鼠标的移动量。

14.根据权利要求13所述的立体显示方法，其特征在于，所述根据所述实时跟踪数据，确定所述用户头部的实时转动角度的步骤包括：

获取用户头部的当前帧的跟踪数据和该用户头部前一帧的跟踪数据；

获取当前帧的跟踪数据和前一帧的跟踪数据的差值，并由所述差值确定所述实时转动角度。

15.根据权利要求13所述的立体显示方法，其特征在于，所述根据所述用户头部的实时转动角度，确定用于虚拟场景的模拟鼠标的移动量的步骤包括：

将所述用户头部的实时转动角度与一预设转换系数相乘，得到用于虚拟场景的所述模拟鼠标的移动量。

16.一种用于虚拟和现实场景的立体显示装置，其特征在于，包括：

第二跟踪获取模块，用于跟踪用户的头部位置，获取用户头部位置的实时跟踪数据；

确定模块，用于根据所述用户头部位置的实时跟踪数据，确定用于虚拟场景的模拟鼠标的移动量；

位置修改模块，用于根据所述模拟鼠标的移动量，修改所述模拟鼠标的位置信息，以使实现根据修改后的所述模拟鼠标的位置信息生成并显示虚拟场景的立体图像，从而对虚拟场景的观察视角进行变换，实现虚拟场景下的观察视角与用户头部位置变化后的观察视角同步。

17.一种用于虚拟和现实场景的立体显示方法，其特征在于，包括：

跟踪用户的头部位置，获取用户头部位置的实时跟踪数据；

当用户的头部位置发生变化时，根据所述实时跟踪数据，确定用户头部的位移矩阵；

根据用户头部的位移矩阵、虚拟场景的视差偏转矩和虚拟场景的原变换矩阵，确定新的变换矩阵；

根据所述新的变换矩阵，构建并显示虚拟场景的立体图像，从而对虚拟场景的观察视角进行变换，实现虚拟场景下的观察视角与用户头部位置变化后的观察视角同步。

18.一种用于虚拟和现实场景的电子设备，其特征在于，包括：

壳体、处理器、存储器、显示器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行以下步骤：

跟踪用户的头部位置，获取用户头部位置的实时跟踪数据；

当用户的头部位置发生变化时，根据所述实时跟踪数据对虚拟场景的原观察矩阵或原投影矩阵进行变换，得到新的观察矩阵或新的投影矩阵；

根据所述新的观察矩阵或投影矩阵，构建并显示虚拟场景的立体图像，从而对虚拟场景的观察视角进行变换，实现虚拟场景下的观察视角与用户头部位置变化后的观察视角同步。