CN118646855A - 基于多层显示屏的裸眼三维显示方法、装置及存储介质 - Google Patents

Abstract

本发明涉及一种基于多层显示屏的裸眼三维显示方法、装置及存储介质，其中方法包括：获取当前双眼的光场视线模型；基于获取的视线模型，获取分别对应于双眼的视点图像；对视点图像进行反透视投影变换，得到多张分解图像，其中，每一张视点图像经反透视投影变换后得到的分解图像的数量与多层显示屏的显示层数一致；将对应于双眼的分解图像输入至训练好的合成模型中，得到多张层级图片，其中，层级图片的数量与显示屏的显示层数一致且一一对应；多层显示屏的各层分别显示各对应的层级图片，从而合成显示对应的双眼画面。与现有技术相比，本发明具有提高观看范围、实时流畅性和分辨率等优点。

Description

基于多层显示屏的裸眼三维显示方法、装置及存储介质

技术领域

本发明涉及裸眼三维显示领域，尤其是涉及一种基于多层显示屏的裸眼三维显示方法、装置及存储介质。

背景技术

现有技术中，通过利用多层的液晶显示器(LCD)来重建物体发出的光场，从而实现无需佩戴特殊眼镜或者其他设备的三维视觉效果。

光场是一种描述光在空间中的分布和传播的物理概念，它包含了光的位置、方向、相位和强度等信息。通过重建光场，可以模拟物体的三维形状、纹理、反射和透射等特性，从而产生逼真的立体图像。其自动立体显示，通常也被称为裸眼3D显示，其呈现理想的定义效果需要极高的空间带宽积(Spatial bandwidth product,SBP)，超出了现有光学显示及数据传输技术的能力。现有方法只能在受限SBP约束下对观看角度和显示分辨率之间进行权衡。现有方法比较主流的就是基于离散视差的光场模拟(如视差壁障[1,2]、多投影仪[3]、视觉像差校正[4,5]、积分成像[6]、定向背光[7,8]、透镜阵列[9]以及它们的系列组合[10,11])，将成像空间分割成不同的方向，以扩大观察角度为代价的是视图的不连续性。与此同时，由于固有视差不充足导致的成像抖动以及其定制化的平面模拟所产生的投影不一致性导致的视差-调焦冲突(vergence-accommodation conflict,VAC)，会使得产生的画面效果不自然流畅，用户观看也会产生一定的方向失调。当显示动态内容时，这种现象尤其严重，可能引起疲劳和眩晕。相比之下，带有偏振子的多层液晶显示器(liquid crystaldisplay,LCD)被认为是一种有效的避免VAC方法，其通过堆叠屏幕来模拟直接深度线索，能提供更自然和舒适的观看体验。这类光场模拟遵循马吕斯定律，可视为层次深度处的光学图样(如采用光强[12]或光相位[13])的线性聚合。然而，尽管屏幕像素级别的对齐确保了物理上连续的空间视差，但这种密集化导致了由于SBP限制而极其受限的立体可视性视野。后续的一些改善的方法也仅仅旨在通过渲染优化层次光学图样提高受限角度的成像质量，例如焦点引导[14,15]和定制加权[16,17]。但所有这些方法都在过于理想化的更远观看距离下重建立体感，其中双目投影被简化为狭窄的(像素级别)移位，而不考虑旋转变形，阻止了观看空间中运动视差的形成。因此带来的严重缺点是视角是非常有限，通常只能在一个很小的范围内观看，否则会出现失真和模糊的现象。

[1]Lanman,D.,Hirsch,M.,Kim,Y.,Raskar,R.:Content-adaptive parallaxbarriers:optimizing dual-layer 3d displays using low-rank light fieldfactorization.In:ACM SIGGRAPH Asia 2010Papers,pp.1–10(2010)

[2]Lv,G.-J.,Wang,Q.-H.,Zhao,W.-X.,Wang,J.:3d display based onparallax barrier with multiview zones.Applied Optics 53(7),1339–1342(2014)

[3]Kawakita,M.,Iwasawa,S.,Sakai,M.,Haino,Y.,Sato,M.,Inoue,N.:3d imagequality of 200-inch glasses-free 3d display system.In:Stereoscopic Displaysand Applications XXIII,vol.8288,pp.63–70(2012).SPIE

[4]Pamplona,V.F.,Oliveira,M.M.,Aliaga,D.G.,Raskar,R.:Tailoreddisplays to compensate for visual aberrations.ACM transactions on graphics(TOG)31(4),1–12(2012)

[5]Huang,F.-C.,Wetzstein,G.,Barsky,B.A.,Raskar,R.:Eyeglasses-freedisplay:towards correcting visual aberrations with computational light fielddisplays.ACM transactions on graphics(TOG)33(4),1–12(2014)

[6]Wetzstein,G.,Lanman,D.R.,Hirsch,M.W.,Raskar,R.:Tensor displays:compressive light field synthesis using multilayer displays with directionalbacklighting(2012)

[7]Fattal,D.,Peng,Z.,Tran,T.,Vo,S.,Fiorentino,M.,Brug,J.andBeausoleil,R.G.,2013.A multi-directional backlight for a wide-angle,glasses-free three-dimensional display.Nature,495(7441),pp.348-351.

[8]Wang,P.,Sang,X.,Yu,X.,Gao,X.,Yan,B.,Liu,B.,Liu,L.,Gao,C.,Le,Y.,Li,Y.,et al.:Demonstration of a low-crosstalk super multi-view light fielddisplay with natural depth cues and smooth motion parallax.Optics express 27(23),34442–34453(2019)

[9]Takaki,Y.,Nago,N.:Multi-projection of lenticular displays toconstruct a256-view super multi-view display.Optics express 18(9),8824–8835(2010)

[10]Nam,D.,Lee,J.-H.,Cho,Y.H.,Jeong,Y.J.,Hwang,H.,Park,D.S.:Flatpanel light-field 3-d display:concept,design,rendering,andcalibration.Proceedings of the IEEE 105(5),876–891(2017)

[11]Hua,J.,Hua,E.,Zhou,F.,Shi,J.,Wang,C.,Duan,H.,Hu,Y.,Qiao,W.,Chen,L.:Foveated glasses-free 3d display with ultrawide field of view via a large-scale2d-metagrating complex.Light:Science&Applications 10(1),213(2021)

[12]Gotoda,H.:A multilayer liquid crystal display forautostereoscopic 3d viewing.In:Stereoscopic Displays and Applications XXI,vol.7524,pp.227–234(2010).SPIE

[13]Lanman,D.,Wetzstein,G.,Hirsch,M.,Heidrich,W.,Raskar,R.:Polarization fields:dynamic light field display using multi-layer lcds.In:Proceedings of the 2011SIGGRAPH Asia Conference,pp.1–10(2011)

[14]Wang,S.,Liao,W.,Surman,P.,Tu,Z.,Zheng,Y.,Yuan,J.:Salience guideddepth calibration for perceptually optimized compressive light field 3ddisplay.In:2018IEEE/CVF Conference on Computer Vision and PatternRecognition,pp.2031–2040(2018)

[15]Takahashi,K.,Kobayashi,Y.,Fujii,T.:From focal stack to tensorlight-field display.IEEE Transactions on Image Processing 27(9),4571–4584(2018)

[16]Chen,D.,Sang,X.,Yu,X.,Zeng,X.,Xie,S.,Guo,N.:Performanceimprovement of compressive light field display with the viewing-position-dependent weight distribution.Optics express 24(26),29781–29793(2016)

[17]Sun,Y.,Li,Z.,Wang,S.,Gao,W.:Depth-assisted calibration onlearning-based factorization for a compressive light field display.OpticsExpress 31(4),5399–5413(2023)

综上所述，现有技术的缺点主要有以下几点：

离散视差的自动立体显示方法会导致图像转换的突变和视觉-调节冲突(VAC)问题，影响观看体验和视觉舒适度。

连续视差的自动立体显示方法通常假设观看者的视场角非常窄，只能在一个很小的范围内观看清晰的立体图像，限制了观看角度和距离的自由度。

现有的自动立体显示方法都需要在有限的空间带宽积(SBP)下权衡观看角度和显示分辨率，难以同时实现高质量和宽视角的立体显示效果。

现有较大可视范围的自动立体显示方法都需要复杂和昂贵的光学系统或数据传输技术，限制了其广泛的商业化应用。

发明内容

本发明的目的就是为了提供一种基于多层显示屏的裸眼三维显示方法、装置及存储介质，有效地利用空间带宽积，提高显示质量和效率，同时具有超宽视角和消除视差-调节冲突的优点。

本发明的目的可以通过以下技术方案来实现：

一种基于多层显示屏的裸眼三维显示方法，包括：

获取当前双眼的光场视线模型；

基于获取的视线模型，获取分别对应于双眼的视点图像；

对视点图像进行反透视投影变换，得到多张分解图像，其中，每一张视点图像经反透视投影变换后得到的分解图像的数量与多层显示屏的显示层数一致；

将对应于双眼的分解图像输入至训练好的合成模型中，得到多张层级图片，其中，所述层级图片的数量与显示屏的显示层数一致且一一对应；

通过多层显示屏的各层分别显示各对应的层级图片。

所述获取双眼的视线模型，包括：

捕捉人眼位置，并校准视线方向；

基于视线方向校准结果，获取视线的方向和范围；

基于视线的方向和范围建立在指定坐标系下的视线模型。

所述基于获取的视线模型，获取分别对应于双眼的视点图像，具体为：基于获取的视线模型从光场数据库获取视点图像。

所述对应于双眼的视点图像为同一时刻的视点图像。

所述对视点图像进行反透视投影变换，得到多张分解图像，包括：

将视点图像从视点投影至多层显示屏的每一个显示层；

将在每一个显示层形成的图像作为对应于该显示层的分解图像。

所述将视点图像从视点反透视投投影至多层显示屏的每一个显示层的过程中，对于单个显示层的过程包括：

给定显示屏所在光场的各个角点坐标和对应当前视线模型所得出的从视点到屏幕所在光场的投影矩阵[R_e|t_e]∈SE3，计算得到变换后的图像角点相对于眼睛的三维坐标以及对应视网膜上的二维成像坐标

其中：R_e为投影矩阵的旋转部分，t_e为投影矩阵的平移部分，f为像素尺度的焦距，W为图像的宽度，H为图像的高度，SE3为三维特殊欧几里德群；

根据变换前的角点坐标解得对应的反透视变换矩阵M∈SE2，实现原图片上的任意像素坐标(p,q)到新图片上的对应变换坐标(p′,q′)，得到变换后的图片：

[p′,q′,1]^T＝M[p,q,1]^T

所述合成模型为神经网络模型。

所述多层显示器的显示层数为3。

一种基于多层显示屏的裸眼三维显示装置，包括存储器、处理器，以及存储于所述存储器中的程序，所述处理器执行所述程序时实现如上述的方法。

一种存储介质，其上存储有程序，所述程序被执行时实现如上述的方法。

与现有技术相比，本发明具有以下有益效果：

1、相比于现有的多层显示器裸眼3D显示技术而言，利用视点跟踪技术，根据观察者的实时位置，实现了超宽视角范围，允许观察者从不同的角度和距离观看三维图像，保证了显示质量的一致性和连续性，增强了三维显示的沉浸感，此外，相对于普通的3D显示技术，还具有包括水平、垂直、运动、聚焦等在内的全连续视差的优点。

2、直接在观察点附近重现场景的连续光场，实现了水平、垂直和运动视差，以及自由聚焦的效果，不需要佩戴任何特殊的眼镜或设备，提高了三维显示的自然性和舒适性。

3、充分利用了空间带宽积的限制，通过对观察点附近的光场进行重现，最大化了显示系统的分辨率，避免了因为视角分割而导致的分辨率损失，提高了三维显示的清晰度和真实度。

4、采用了高效的层级光场重现算法，结合了几何信息和机器学习模型，能够快速地根据观察点的变化，生成相应的层级图样，实现了实时的光场显示，支持动态的三维内容的展示，拓展了三维显示的应用场景。

附图说明

图1为本发明方法的主要步骤流程示意图；

图2为技术路线示意图；

图3为本发明装置的原理框图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

一种基于多层显示屏的裸眼三维显示方法，如图1至图3所示，包括：

(一)获取当前双眼的光场视线模型，包括：

捕捉人眼位置，并校准视线方向；

基于视线方向校准结果，获取视线的方向和范围；

基于视线的方向和范围建立在指定坐标系下的视线模型。

该过程采用人眼位置捕捉模块实现，具体的，该模块采用红外深度摄像头以及人眼追踪算法来实现。

(二)基于获取的视线模型，获取分别对应于双眼的视点图像；

具体为：基于获取的视线模型从光场数据库获取视点图像，其中，对应于双眼的视点图像为同一时刻的视点图像。

一般地，我们基于获取的视线模型产生出视点所处坐标系到光场坐标系的投影矩阵；光场数据库可以是三维计算机图形(CG)模型也可以是神经渲染模型(如神经辐射场、高斯溅射模型)，其接收前述投影矩阵的输入以渲染对应的视点图像。

(三)对视点图像进行反透视投影变换，得到多张分解图像，其中，每一张视点图像经反透视投影变换后得到的分解图像的数量与多层显示屏的显示层数一致；

具体，包括：

将视点图像从视点投影至多层显示屏的每一个显示层；

将在每一个显示层形成的图像作为对应于该显示层的分解图像。

将视点图像从视点反透视投投影至多层显示屏的每一个显示层的过程中，对于单个显示层的过程包括：

给定显示屏所在光场的各个角点坐标和对应当前视线模型所得出的从视点到屏幕所在光场的投影矩阵[R_e|t_e]∈SE3，计算得到变换后的图像角点相对于眼睛的三维坐标以及对应视网膜上的二维成像坐标

其中：R_e为投影矩阵的旋转部分，t_e为投影矩阵的平移部分，f为像素尺度的焦距，W为图像的宽度，H为图像的高度，SE3为三维特殊欧几里德群；

根据变换前的角点坐标解得对应的反透视变换矩阵M∈SE2，实现原图片上的任意像素坐标(p,q)到新图片上的对应变换坐标(p′,q′)，得到变换后的图片：

[p′,q′,1]^T＝M[p,q,1]^T

(四)将对应于双眼的分解图像输入至训练好的合成模型中，得到多张层级图片，其中，层级图片的数量与显示屏的显示层数一致且一一对应；

一般的，合成模型为卷积神经网络模型，所涉及的卷积神经网络模型结构分为输入层、下采样层、上采样层和输出层。输入层接收6通道数的输入表示两个图片的RGB分量。下采样层采用最大池化，上采样层采用双线性差值，每一层下采样层与上采样层都采用跳跃连接以学习残差。每层使用修正线性单元(ReLU)作为非线性激活函数以及批标准化(BN)作为标准化层。

(五)通过多层显示屏的各层分别显示各对应的层级图片。

通过实验验证，如下：

光学性能测试：使用了一台光场相机来采集真实场景的光场数据，并将其输入到本申请的系统中进行显示。通过测量不同视点下的重建图像的视差和清晰度，证明了本申请的系统能够实现连续的水平和垂直视差，以及高分辨率的显示效果。

计算速度测试：在一台英伟达型号为RTX 4090的GPU上用1920×1080的图像分辨率测试本申请所对应裸眼三维显示的仿真算法，测试100次后取平均算得50.2帧率(FPS)的速度，这个指标符合人类认为屏幕实时显示所需要帧率水平。

用户体验评估：此外，还邀请了10名志愿者来体验本申请的系统，并让他们从不同的角度和距离观看重建的三维场景。通过对志愿者的主观评分和客观反应的统计分析，发现以下结果：

本申请的系统能够提供一种自然和舒适的三维观看体验，没有引起任何视觉疲劳或眩晕的现象。

本申请的系统能够实现平滑的图像转换和连续的运动视差，没有出现任何图像断裂或跳变的问题。

本申请的系统能够实现自由聚焦的能力，让志愿者可以在光场内任意点自然聚焦，没有出现任何视差-调节冲突的问题。

本申请的系统能够实现高分辨率的立体显示效果，让志愿者可以清晰地看到三维场景的细节和纹理，没有出现任何模糊或失真的问题。

此外，本申请的基本设计是使用两层液晶显示屏和一个RGB-D摄像机，实现实时的全视差裸眼三维显示。这种设计可以根据不同的需求和条件进行一些变更或替代，例如：

可以使用不同数量或类型的显示屏，如三层或四层液晶显示屏，或者使用有机发光二极管(OLED)显示屏，以提高显示效果或降低成本。

可以使用不同的光场重建算法，如基于机器学习的层次光场分解网络，或者基于视图压缩拟合的方法，以提高重建质量或效率。

可以使用不同的眼动追踪技术，如基于红外光的眼动追踪，或者基于图像处理的眼动追踪，以提高跟踪精度或稳定性。

可以额外添加不同的光学元件，如一些光波导元件，以进一步扩大展现的光场范围。

上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种基于多层显示屏的裸眼三维显示方法，其特征在于，包括：

获取当前双眼的光场视线模型；

基于获取的视线模型，获取分别对应于双眼的视点图像；

对视点图像进行反透视投影变换，得到多张分解图像，其中，每一张视点图像经反透视投影变换后得到的分解图像的数量与多层显示屏的显示层数一致；

将对应于双眼的分解图像输入至训练好的合成模型中，得到多张层级图片，其中，所述层级图片的数量与显示屏的显示层数一致且一一对应；

通层显示屏的各层分别显示各对应的层级图片。

2.根据权利要求1所述的一种基于多层显示屏的裸眼三维显示方法，其特征在于，所述获取双眼的视线模型，包括：

捕捉人眼位置，并校准视线方向；

基于视线方向校准结果，获取视线的方向和范围；

基于视线的方向和范围建立在指定坐标系下的视线模型。

3.根据权利要求1所述的一种基于多层显示屏的裸眼三维显示方法，其特征在于，所述基于获取的视线模型，获取分别对应于双眼的视点图像，具体为：基于获取的视线模型从光场数据库获取视点图像。

4.根据权利要求1所述的一种基于多层显示屏的裸眼三维显示方法，其特征在于，所述对应于双眼的视点图像为同一时刻的视点图像。

5.根据权利要求1所述的一种基于多层显示屏的裸眼三维显示方法，其特征在于，所述对视点图像进行反透视投影变换，得到多张分解图像，包括：

将视点图像从视点反透视投投影至多层显示屏的每一个显示层；

将在每一个显示层形成的图像作为对应于该显示层的分解图像。

6.根据权利要求5所述的一种基于多层显示屏的裸眼三维显示方法，其特征在于，所述将视点图像从视点反透视投投影至多层显示屏的每一个显示层的过程中，对于单个显示层的过程包括：

给定显示屏所在光场的各个角点坐标和对应当前视线模型所得出的从视点到屏幕所在光场的投影矩阵[R_e|t_e]∈SE3，计算得到变换后的图像角点相对于眼睛的三维坐标以及对应视网膜上的二维成像坐标

其中：R_e为投影矩阵的旋转部分，t_e为投影矩阵的平移部分，f为像素尺度的焦距，W为图像的宽度，H为图像的高度，SE3为三维特殊欧几里德群；

根据变换前的角点坐标解得对应的反透视变换矩阵M，实现原图片上的任意像素坐标(p,q)到新图片上的对应变换坐标(p′,q′)，得到变换后的图片：

[p′,q′,1]^T＝M[p,q,1]^T。

7.根据权利要求1所述的一种基于多层显示屏的裸眼三维显示方法，其特征在于，所述合成模型为神经网络模型。

8.根据权利要求1所述的一种基于多层显示屏的裸眼三维显示方法，其特征在于，所述多层显示器的显示层数为3。

9.一种基于多层显示屏的裸眼三维显示装置，包括存储器、处理器，以及存储于所述存储器中的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8中任一所述的方法。

10.一种存储介质，其上存储有程序，其特征在于，所述程序被执行时实现如权利要求1-8中任一所述的方法。