CN115334296B - 一种立体图像显示方法和显示装置 - Google Patents

Abstract

本发明涉及一种立体图像显示方法和显示装置，包括以下步骤：获取带有深度信息的图像源；对带有深度信息的图像源进行图像分割，获得前景图像、后景图像以及背景图像；对背景图像进行边框形变计算，获得待融合背景；将前景图像、后景图像和待融合背景进行融合，获得立体图像；对立体图像进行显示。本发明采用物理性的解决方式对带有深度信息图像源进行图像分割、边框形变计算后，再进行融合处理，以得到立体图像，不会造成晕眩感，而且这种方式不需要改变显示装置的既有架构，具有生产容易性，兼容性高，因此在使用上及产品应用推广上，可以达到降低成本，应用容易的优势，并且不会降低或影响原来的平面显像质量。

Description

一种立体图像显示方法和显示装置

技术领域

本发明涉及立体图像显示方法，更具体地说，涉及一种立体图像显示方法和显示装置。

背景技术

人类眼球在现实世界中看到物体，会产生立体视觉的效果，是来自于光、影效应及视差产生的深度空间，基于这个深度空间，我们感知到物体的前后、速度、景深排列顺序，由大脑组织成了有深度、颜色的立体彩色世界。

基于人类眼球传感器基础，我们使用一些不同的方法及手段，在一个平面的显示画面，创造出可以模拟眼球观看的三维效果。其中，可包括传统的颜色分域法、柱镜光栅法、或者是偏光眼镜、快门眼镜法等。

柱镜光栅、狭缝光栅虽然不需要配戴特殊眼镜，直接用人眼即可观看到立体图像或是视频，但是这两种物理方式，都需要对显示的器件进行光学膜的特殊加工，并且加工后的显示设备，会产生图像的一定程度干扰，例如降低分辨滤、产生穆尔条纹等，并且增加了整个显示设备的成本。

偏光眼镜及快门眼镜，除了显示屏需要特制处理，如贴合3D偏光膜、或是快门眼镜的与显示设备的同步控制器，不论是哪一种方式，都需要额外去配戴特殊眼镜，这些方式在使用上也非常不便利，无法达到实时即看的目的。

这些习知的立体视觉技术与立体显示方法，都具有使用不便利性、加工复杂性、成本增加、以及人体的晕眩不适感，导致了无法大量的推广。

发明内容

本发明要解决的技术问题在于，针对现有技术的缺陷，提供一种立体图像显示方法和显示装置。

本发明解决其技术问题所采用的技术方案是：构造一种立体图像显示方法，包括以下步骤：

获取带有深度信息的图像源；

对所述带有深度信息的图像源进行图像分割，获得前景图像、后景图像以及背景图像；

对所述背景图像进行边框形变计算，获得待融合背景；

将所述前景图像、所述后景图像和所述待融合背景进行融合，获得立体图像；

对所述立体图像进行显示。

在本发明所述的立体图像显示方法中，所述对所述立体图像进行显示包括：

对所述立体图像进行优化处理，获得优化图像；

根据显示装置的显示比例进行显示适配；

在完成显示适配后，对所述优化图像进行显示。

在本发明所述的立体图像显示方法中，所述对所述带有深度信息的图像源进行图像分割，获得前景图像、后景图像以及背景图像包括：

对所述带有深度信息的图像源进行计算，获得图像中的深度与距离关系；

根据所述图像中的深度与距离关系进行图像中心的位置标记；

对所述图像中心的位置标记对应的区域进行分割，获得所述前景图像、所述后景图像以及所述背景图像。

在本发明所述的立体图像显示方法中，所述方法还包括：

在获得所述前景图像和所述后景图像后，将所述前景图像和所述后景图像缓存。

在本发明所述的立体图像显示方法中，所述背景图像包括：可适配折边图像、不可适配折边但可进行边框优化的图像以及不适配折边且不可进行边框优化的图像。

在本发明所述的立体图像显示方法中，若所述背景图像为可适配折边图像，则所述对所述背景图像进行边框形变计算，获得待融合背景包括：

对所述可适配折边图像进行边框计算，获得待裁剪尺寸；

根据所述待裁剪尺寸对所述可适配折边图像进行裁剪，获得裁剪边框；

对所述裁剪边框进行透视变换，获得变换后的图像；

对所述变换后的图像进行HSV转换，获得HSV图像；所述HSV图像为所述融合背景。

在本发明所述的立体图像显示方法中，若所述背景图像为不可适配折边但可进行边框优化的图像，则所述对所述背景图像进行边框形变计算，获得待融合背景包括：

对所述背景图像进行HSV转换，获得HSV图像；所述HSV图像为所述待融合背景。

在本发明所述的立体图像显示方法中，若所述背景图像为不适配折边且不可进行边框优化的图像，则所述对所述背景图像进行边框形变计算，获得待融合背景包括：

将所述背景图像作为所述待融合背景。

在本发明所述的立体图像显示方法中，所述将所述前景图像、所述后景图像和所述待融合背景进行融合，获得立体图像包括：

将所述待融合背景贴回源图像；

将所述后景图像、所述前景图像依次贴回所述源图像，获得所述立体图像。

本发明还提供一种显示装置，包括：

获取单元，用于获取带有深度信息的图像源；

图像分割单元，用于对所述带有深度信息的图像源进行图像分割，获得前景图像、后景图像以及背景图像；

边框计算单元，用于对所述背景图像进行边框形变计算，获得待融合背景；

融合单元，用于将所述前景图像、所述后景图像和所述待融合背景进行融合，获得立体图像；

显示单元，用于对所述立体图像进行显示。

实施本发明的立体图像显示方法和显示装置，具有以下有益效果：立体图像显示方法包括以下步骤：获取带有深度信息的图像源；对带有深度信息的图像源进行图像分割，获得前景图像、后景图像以及背景图像；对背景图像进行边框形变计算，获得待融合背景；将前景图像、后景图像和待融合背景进行融合，获得立体图像；对立体图像进行显示。本发明采用物理性的解决方式对带有深度信息图像源进行图像分割、边框形变计算后，再进行融合处理，以得到立体图像，不会造成晕眩感，而且这种方式不需要改变显示装置的既有架构，具有生产容易性，兼容性高，因此在使用上及产品应用推广上，可以达到降低成本，应用容易的优势，并且不会降低或影响原来的平面显像质量。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例提供的立体图像显示方法的流程示意图；

图2是本发明实施例提供的左右图像测距原理的示意图；

图3是本发明实施例提供的折边示意图；

图4是本发明实施例提供的显示装置的示意图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

参考图1，为本发明提供的立体图像显示方法一可选实施例的流程示意图。

如图1所示，该立体图像显示方法包括以下步骤：

步骤S101、获取带有深度信息的图像源。

一些实施例中，带有深度信息的图像源通常可由图像传感模块并配合深度计算模块获得。其中，对于深度信息的计算方式，可以采用但不限于：立体双目摄像的三角计算法(Stereo Binocular Images)，3D飞时技术(ToF)的时间与距离计算法，或是3D结构光的三角计算法等技术所计算的深度信息。

其中，对于图像传感模块可以采用但不限于单摄像采集装置、双摄像采集装置、三摄像采集装置或者更多摄像头的图像采集装置。可选的，本发明实施例中，带有深度信息的图像源可以为图片，或者也可以为视频。

步骤S102、对带有深度信息的图像源进行图像分割，获得前景图像、后景图像以及背景图像。

一些实施例中，对带有深度信息的图像源进行图像分割，获得前景图像、后景图像以及背景图像包括：对带有深度信息的图像源进行计算，获得图像中的深度与距离关系；根据图像中的深度与距离关系进行图像中心的位置标记；对图像中心的位置标记对应的区域进行分割，获得前景图像、后景图像以及背景图像。

具体的，在获得带有深度信息的图像源(例如为左右图像排列方式(SBS))后，可以通过人工智能的运算，并根据左右图像测距原理(如图2所示)，计算出图像中的深度与距离关系，并根据图像中的深度与距离关系对源图像进行位置标记。其中，具体的计算公式如下：

因此，通过(1)式即可得到：

其中，Z表示深度，T为左右镜头之间的间距，x^l为左镜头的中心点(图2中以坐标表示为(c_xl，c_yl)，x^r为右镜头的中心点(图2中以坐标表示为(c_xr，c_yr)，f表示镜头的焦距。由于f、T、x^l和x^r均为已知，因此，基于于(2)式即可计算得到Z。

其中，人工智能的运算可采用人工智能深度学习CNN算法库进行计算，并且可以通过对多次多张图像进行计算，从而提高标记的准确率。进一步地，在完成图像中心的位置标记后，即可将标记所在的图像区域进行分割，从而可以得到前景图像、后景图像以及背景图像。可选的，对于前景图像、后景图像以及背景图像的划分，可以根据所计算得到的深度值与镜头的相对距离进行划分。其中，深度值与镜头的相对距离较小(近距离)的为前景图像(以位置标记为参照)，深度值与镜头的相对距离中等的为后景图像，深度值与镜头的相对距离最大的为背景图像。其中，深度值与镜头相对距离的大、中、小以可区分前、后、背景图像确定，本发明不作具体限定。

可选的，本发明实施例中，在获得前景图像和后景图像后，将前景图像和后景图像缓存。即完成图像分割，并分割出前景图像和后景图像后，对前景图像和后景图像不需要做图像处理，而是将前景图像和后景图像存储在缓存器中，以备后续图像融合使用。

步骤S103、对背景图像进行边框形变计算，获得待融合背景。

具体的，在步骤S102中分割出背景图像后，本发明实施例中，需要对背景图像进行边框形变计算，以获得可进行融合的背景图像(即待融合背景)。

可选的，本发明实施例中，背景图像包括：可适配折边图像、不可适配折边但可进行边框优化的图像以及不适配折边且不可进行边框优化的图像。

其中，对于不适配折边且不可进行边框优化的图像，本发明对背景图像不作任何处理，而是将不适配折边且不可进行边框优化的图像直接作为待融合背景。对于不可适配折边但可进行边框优化的图像，本发明对不可适配折边但可进行边框优化的图像进行HSV转换，获得HSV图像。具体的，HSV(Hue Saturation Value)，H表示颜色色调，S表示饱和度，V表示明度。其中，该HSV图像即为待融合背景。对于可适配折边图像，本发明则需要先进行折边后，再进行边框优化处理。

一些实施例中，对于可适配折边图像，本发明可采用以下方法进行处理。即对可适配折边图像进行边框计算，获得待裁剪尺寸；根据待裁剪尺寸对可适配折边图像进行裁剪，获得裁剪边框；对裁剪边框进行透视变换，获得变换后的图像；对变换后的图像进行HSV转换，获得HSV图像；HSV图像为融合背景。

其中，对于可适配折边的图像，本发明实施例中，先计算边框大小，然后根据所计算得到的边框宽高裁剪出图片的边框，再将所裁剪出的图片的边框的坐标进行透视变换，最后将透视变换后的边框的RGB转化为HSV，即可获得HSV图像。

具体的，如图3所示，初始值取图片的宽高较小的一边的1/8作为边框的宽w，角度α初始值默认45°，根据三角函数公式计算边框的高h＝w*tan(Radians(α))+0.5。根据计算出的边框宽高裁剪出图片的边框(如示意图的HGFE)，利用透视变换通用公式(如下所示)进行透视变换：

将边框HGFE坐标，变换成边框ABFE坐标，其余三条边框采用相同的方法。在完成透视变化后，将边框图像的RGB转换为HSV，即可得到HSV图像。进一步地，在完成HSV转换后，还可以对V进行直方图均衡化处理，实现对图像的亮度优化调整。

步骤S104、将前景图像、后景图像和待融合背景进行融合，获得立体图像。

一些实施例中，将前景图像、后景图像和待融合背景进行融合，获得立体图像包括：将待融合背景贴回源图像；将后景图像、前景图像依次贴回源图像，获得立体图像。这里的源图像即为分割前的图像。

步骤S105、对立体图像进行显示。

一些实施例中，对立体图像进行显示包括：对立体图像进行优化处理，获得优化图像；根据显示装置的显示比例进行显示适配；在完成显示适配后，对优化图像进行显示。

具体的，在完成图像融合后，本发明还可以对融合后的图像再做透视优化，以使得所得到的立体图像的立体感与背景面积取得相对平衡，提升立体显示效果。可选的，透视优化包括但不限于边界的明亮值、折边的梯度(非45度)及折边的大小尺寸、边界形状等。

进一步地，本发明还可以根据显示装置的显示比例进行适配，以达到最佳的立体显示效果。一些实施例中，可以在显示装置的用户操作界面或者操作接口上，提供一个可以根据用户喜好/习惯的手动调整模式，从而可以使得背景占比面积与图框折边实现手动调整，提升用户使用体验。

参考图4，本发明还提供了一种显示装置，该显示装置可以为立体显示装置，也可以为平面(2D)显示装置。其中，该显示装置可以通过本发明实施例公开的立体图像显示方法进行立体图像显示。

具体的，如图4所示，该显示装置包括：

获取单元401，用于获取带有深度信息的图像源。

图像分割单元402，用于对带有深度信息的图像源进行图像分割，获得前景图像、后景图像以及背景图像。

边框计算单元403，用于对背景图像进行边框形变计算，获得待融合背景。

融合单元404，用于将前景图像、后景图像和待融合背景进行融合，获得立体图像。

显示单元405，用于对立体图像进行显示。

本发明对于立体显示装置，不需要进行复杂的加工，可降低使用成本；基于人眼物理性的透视原理，使观看舒适，不会产生不适反应，也不会有立体图像经常产生的视角差重影问题；不会降低或影响原来的平面(2D)显像质量。

另外，采用本发明的显示装置生产容易，良品率高；对不同的图片兼容性高；基于上述的说明，对于立体显示及摄像整体行业，可以启动容易推广的效果，增进人类对于立体图像的体验感。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM(只读光盘存储器)、或技术领域内所公知的任意其它形式的存储介质中。

以上实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据此实施，并不能限制本发明的保护范围。凡跟本发明权利要求范围所做的均等变化与修饰，均应属于本发明权利要求的涵盖范围。

Claims (5)

1.一种立体图像显示方法，其特征在于，包括以下步骤：

获取带有深度信息的图像源；

对所述带有深度信息的图像源进行图像分割，获得前景图像、后景图像以及背景图像；

对所述背景图像进行边框形变计算，获得待融合背景；所述背景图像包括：可适配折边图像、不可适配折边但可进行边框优化的图像以及不适配折边且不可进行边框优化的图像；所述可适配折边图像的边框的宽高满足：h＝w*tan(Radians(α))+0.5；w为边框的宽，h为边框的高，α＝45°；

若所述背景图像为可适配折边图像，则所述对所述背景图像进行边框形变计算，获得待融合背景包括：对所述可适配折边图像进行边框计算，获得待裁剪尺寸；根据所述待裁剪尺寸对所述可适配折边图像进行裁剪，获得裁剪边框；对所述裁剪边框进行透视变换，获得变换后的图像；对所述变换后的图像进行HSV转换，获得HSV图像；所述HSV图像为所述待融合背景；

若所述背景图像为不可适配折边但可进行边框优化的图像，则所述对所述背景图像进行边框形变计算，获得待融合背景包括：对所述背景图像进行HSV转换，获得HSV图像；所述HSV图像为所述待融合背景；

若所述背景图像为不适配折边且不可进行边框优化的图像，则所述对所述背景图像进行边框形变计算，获得待融合背景包括：将所述背景图像作为所述待融合背景；

将所述前景图像、所述后景图像和所述待融合背景进行融合，获得立体图像；

对所述立体图像进行显示。

2.根据权利要求1所述的立体图像显示方法，其特征在于，所述对所述立体图像进行显示包括：

对所述立体图像进行优化处理，获得优化图像；

根据显示装置的显示比例进行显示适配；

在完成显示适配后，对所述优化图像进行显示。

3.根据权利要求1或2所述的立体图像显示方法，其特征在于，所述方法还包括：

在获得所述前景图像和所述后景图像后，将所述前景图像和所述后景图像缓存。

4.根据权利要求1所述的立体图像显示方法，其特征在于，所述将所述前景图像、所述后景图像和所述待融合背景进行融合，获得立体图像包括：

将所述待融合背景贴回图像源；

将所述后景图像、所述前景图像依次贴回所述图像源，获得所述立体图像。

5.一种显示装置，其特征在于，包括：

获取单元，用于获取带有深度信息的图像源；

图像分割单元，用于对所述带有深度信息的图像源进行图像分割，获得前景图像、后景图像以及背景图像；

边框计算单元，用于对所述背景图像进行边框形变计算，获得待融合背景；所述背景图像包括：可适配折边图像、不可适配折边但可进行边框优化的图像以及不适配折边且不可进行边框优化的图像；所述可适配折边图像的边框的宽高满足：h＝w*tan(Radians(α))+0.5；w为边框的宽，h为边框的高，α＝45°；

若所述背景图像为可适配折边图像，则所述对所述背景图像进行边框形变计算，获得待融合背景包括：对所述可适配折边图像进行边框计算，获得待裁剪尺寸；根据所述待裁剪尺寸对所述可适配折边图像进行裁剪，获得裁剪边框；对所述裁剪边框进行透视变换，获得变换后的图像；对所述变换后的图像进行HSV转换，获得HSV图像；所述HSV图像为所述待融合背景；

若所述背景图像为不可适配折边但可进行边框优化的图像，则所述对所述背景图像进行边框形变计算，获得待融合背景包括：对所述背景图像进行HSV转换，获得HSV图像；所述HSV图像为所述待融合背景；

若所述背景图像为不适配折边且不可进行边框优化的图像，则所述对所述背景图像进行边框形变计算，获得待融合背景包括：将所述背景图像作为所述待融合背景；

融合单元，用于将所述前景图像、所述后景图像和所述待融合背景进行融合，获得立体图像；

显示单元，用于对所述立体图像进行显示。