CN110691228A

CN110691228A - 基于三维变换的深度图像噪声标记方法、装置和存储介质

Info

Publication number: CN110691228A
Application number: CN201910986081.XA
Authority: CN
Inventors: 杨露
Original assignee: Beijing Maigewei Technology Co Ltd
Current assignee: Beijing Megvii Technology Co Ltd; Beijing Maigewei Technology Co Ltd
Priority date: 2019-10-17
Filing date: 2019-10-17
Publication date: 2020-01-14

Abstract

本发明涉及一种基于三维变换的深度图像噪声标记方法、装置和存储介质。该方法包括：获取第一参考视点的深度图像和纹理图像；确定所述纹理图像上的标定像素从所述第一参考视点投影至第二参考视点时的视差；根据所述视差将所述纹理图像从所述第一参考视点投影至所述第二参考视点，并确定所述纹理图像上的所述标定像素与所述纹理图像的投影图像上的对应像素间的像素差值；根据所述像素差值确定所述深度图像中的噪声像素。本发明的技术方案可以准确确定深度图像中的噪声像素，进而保证三维视图构建等应用的准确性。

Description

基于三维变换的深度图像噪声标记方法、装置和存储介质

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种基于三维变换的深度图像噪声标记方法、装置和存储介质。

背景技术

针对特定目标物体，三维视图相较二维视图往往具有更直观和真实的显示效果。在构建三维视图时，通常首先采用左、右两个相机对同一目标物体进行图像采集，获取表示纹理的纹理图像和表示深度的深度图像等信息后，结合相机参数，基于两个相机的采集图像进行视点映射，利用坐标变换关系获得从参考视点映射到虚拟视点的图像平面坐标，再进行三维合成处理等操作。但是，由于深度图像中存在噪声像素，而目前无法对深度图像中的噪声像素进行准确定量判断，使视点映射过程可能是基于具有较大噪声的深度图像进行的，这将影响视点映射的准确性，进而影响三维视图构建的准确性。

发明内容

为了准确确定深度图像中的噪声像素，本发明提供一种基于三维变换的深度图像噪声标记方法、装置和存储介质。

第一方面，本发明提供了一种基于三维变换的深度图像噪声标记方法，该方法包括如下步骤：

获取第一参考视点的深度图像和纹理图像；

确定所述纹理图像上的标定像素从所述第一参考视点投影至第二参考视点时的视差；

根据所述视差将所述纹理图像从所述第一参考视点投影至所述第二参考视点，并确定所述纹理图像上的所述标定像素与所述纹理图像的投影图像上的对应像素间的像素差值；

根据所述像素差值确定所述深度图像中的噪声像素。

第二方面，本发明提供了一种基于三维变换的深度图像噪声标记装置，该装置包括：

获取模块，用于获取第一参考视点的深度图像和纹理图像；

处理模块，用于确定所述纹理图像上的标定像素从所述第一参考视点投影至第二参考视点时的视差；根据所述视差将所述纹理图像从所述第一参考视点投影至所述第二参考视点，并确定所述纹理图像上的所述标定像素与所述纹理图像的投影图像上的对应像素间的像素差值；

判定模块，用于根据所述像素差值确定所述深度图像中的噪声像素。

第三方面，本发明提供了一种基于三维变换的深度图像噪声标记装置，该装置包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如上所述的基于三维变换的深度图像噪声标记方法。

第四方面，本发明提供了一种计算机可读存储介质，该存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的基于三维变换的深度图像噪声标记方法。

本发明提供的基于三维变换的深度图像噪声标记方法、装置和存储介质的有益效果是，在由与第一参考视点对应的相机获得采集图像后，可相应获得表示采集图像中各像素纹理信息的纹理图像以及表示深度信息的深度图像。将纹理图像上各像素从第一参考视点投影至第二参考视点，此时，各像素通常与其投影像素间存在视差，此视差受深度噪声影响。根据此视差可确定将纹理图像从第一参考视点投影至第二参考视点的投影图像，纹理图像上的各标定像素都将在投影图像上产生一个对应像素，由于纹理图像和深度图像中的各像素存在对应关系，可将上述纹理图像标定像素与其投影图像对应像素间的像素差异作为判定与标定像素对应的深度图像像素是否为第一参考视点相机采集图像中深度图像噪声像素的依据。遍历所有像素后，便可确认第一参考视点相机采集图像中的所有深度图像噪声像素，从而可以高效、准确地确定深度图像中噪声像素的分布数量、位置及比例等信息，从而对深度图像进行定量判断，确定其精确度是否满足视点映射等应用的要求，进而保证三维视图构建的准确性。在非常依赖深度图像准确性的应用场景中，对深度图像进行噪声标记对于深度图像质量评估和后续深度图像滤波有重要的参考价值。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的基于三维变换的深度图像噪声标记方法的流程示意图；

图2为视点映射过程的示意图；

图3为视点映射过程的示意图；

图4为本发明实施例的从左参考视点投影至右参考视点的成像示意图；

图5为本发明实施例中标记的噪声像素的示意图；

图6为本发明实施例的基于三维变换的深度图像噪声标记装置的结构框图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，本发明实施例的一种基于三维变换的深度图像噪声标记方法包括如下步骤：

S1、获取第一参考视点的深度图像和纹理图像。

具体地，通常由左、右两个相机模拟人眼分别对特定目标物体进行图像采集，可相应获得表示采集图像中各像素点纹理信息的纹理图像以及表示深度信息的深度图像。第一参考视点可以为左相机对应的图像参考视点，也可以为右相机对应的图像参考视点。

S2、确定所述纹理图像上的标定像素从所述第一参考视点投影至第二参考视点时的视差。

具体地，以左相机对应的图像参考视点为第一参考视点，即左参考视点，右相机对应的图像参考视点为第二参考视点，即右参考视点为例，可基于深度图像中的信息和相机参数实现将纹理图像上各像素从左参考视点投影至右参考视点，此时，各像素与其投影像素间存在视差，此视差受深度噪声影响。

S3、根据所述视差将所述纹理图像从所述第一参考视点投影至所述第二参考视点，并确定所述纹理图像上的所述标定像素与所述纹理图像的投影图像上的对应像素间的像素差值。

具体地，根据此视差确定将纹理图像从左参考视点投影至右参考视点的投影图像，纹理图像上的各标定像素都将在投影图像上产生一个对应像素。由于纹理图像和深度图像中的各像素存在对应关系，可将上述纹理图像标定像素与其投影图像对应像素间的像素差异作为判定与标定像素对应的深度图像像素是否为左参考视点相机采集图像中深度图像噪声像素的依据。

S4、根据所述像素差值确定所述深度图像中的噪声像素。

具体地，遍历所有像素后，便可确认左参考视点相机采集图像中的所有深度图像噪声像素，从而可以高效、准确地确定深度图像中噪声像素的分布数量、位置及比例等信息。

在本实施例中，可以对深度图像进行定量判断，确定其精确度是否满足视点映射等应用的要求，进而保证三维视图构建的准确性。在非常依赖深度图像准确性的应用场景中，对深度图像进行噪声标记对于深度图像质量评估和后续深度图像滤波有重要的参考价值。

同样地，对于右参考视点相机采集图像，也可采用类似的方式对其对应的深度图像中的噪声像素进行标记，以确定噪声像素的定量信息。

需要注意的是，如果采用多个相机进行图像采集，也就是各相机均对应一个参考视点，针对每一个参考视点图像，均可采用类似上述方式对其对应的深度图像中的噪声像素进行标记，以确定噪声像素的定量信息。

可选地，该方法还包括如下步骤：

获取所述第一参考视点和所述第二参考视点对应的相机参数。

所述确定所述纹理图像上的标定像素从所述第一参考视点投影至第二参考视点时的视差包括：

根据所述深度图像和所述相机参数确定所述视差。

可选地，所述相机参数包括所述第一参考视点对应的相机焦距、所述第一参考视点对应的相机光轴和所述第二参考视点对应的相机光轴之间的距离。

所述根据所述深度图像和所述相机参数确定所述视差包括：

根据所述深度图像确定所述标定像素的测量深度值。

根据第一公式确定所述视差，所述第一公式为：

其中，Δd_p表示所述视差，f_x表示所述第一参考视点对应的相机焦距，t_x表示所述第一参考视点对应的相机光轴与所述第二参考视点对应的相机光轴之间的距离，z_l表示深度图像中的所述测量深度值。

具体地，在构建三维视图时，需要进行视点映射。视点映射又称为三维变换(3DWarping)，映射过程主要利用参考视点图像的纹理图像信息、深度图像信息以及获取图像的相机参数，将参考视点图像平面内的各像素点分别映射至虚拟视点图像平面，或称之为投影视点图像平面的像素点。主要分为两步：第一步首先利用图像坐标系到相机坐标系再到世界坐标系的变换关系，将当前参考视点图像平面内的像素坐标映射到三维立体空间的位置坐标；第二步与第一步相反，利用坐标变换关系将得到的三维立体空间的位置坐标映射到虚拟视点的图像平面坐标。

如图2所示，在三维空间XYZ内，以u_lO_lv_l为参考视点图像平面，也就是第一参考视点的纹理图像平面，u_vO_vv_v为投影视点图像平面，或称之为虚拟视点图像平面，也就是第二参考视点的纹理图像平面，以参考视点图像平面中参考像素点p_l(u_l,v_l)映射到投影视点图像平面的虚拟像素点p_v(u_v,v_v)为例对视点映射过程进行说明。其中，各像素点的坐标可理解为纹理图像信息。另外，在本实施例中，为了说明投影关系，将第一参考视点称为参考视点，第二参考视点称为投影视点。

令参考视点对应的相机坐标系内部参数矩阵为A_l，世界坐标系到相机坐标系变换的旋转矩阵为R_l，平移矩阵为T_l。根据图像坐标系与相机坐标系的变换关系，可以将A_l表示为：

其中，f_x ^l、f_y ^l分别表示参考视点对应相机水平和垂直方向的焦距，(O_x ^l,O_y ^l)表示光轴与参考视点图像平面的交点，也就是基准点，可以得到世界坐标系中的位置坐标P_w映射到参考视点图像平面上的参考像素点p_l(u_l,v_l)的关系式：

z_lp_l＝A_l(R_lP_w+T_l)。

其中，z_l为该像素点在参考视点对应的深度图像中的测量深度值，如果深度测量准确，可由深度图像中的量化深度值计算得到。实际景深可从零至无穷大，深度图像中的深度数值是量化过后的数值，范围通常为0至255。其中，获得相机采集图像后，便可获得对应的纹理图像和深度图像，进而获得测量深度值。对上式两边取逆，可以得到世界坐标系中的坐标：

P_w(X,Y,Z)＝R_l ^-1(z_lA_l ^-1p_l-T_l)。

类似地，从投影视点图像平面坐标系到世界坐标系的变换关系可以用同样的类推方法表示为：

P_w(X,Y,Z)＝R_v ^-1(z_vA_v ^-1p_v-T_v)。

联立上面两式，即可得到：

R_l ^-1(z_lA_l ^-1p_l-T_l)＝R_v ^-1(z_vA_v ^-1p_v-T_v)。

对上式进行变换，即可得到映射到投影视点图像平面中的虚拟像素点的坐标：

由于相机通常平行排列，合成的投影视点与参考视点也应该互相平行，且相机参数完全一致，可以得到如下参数：

其中，t_x表示参考视点与投影视点之间的距离，更具体而言，表示参考视点与投影视点在X方向的水平距离，或者说是参考视点对应的相机与投影视点对应的相机的光轴之间的距离。由于相机通常水平排列，因此仅存在水平方向的视差，X方向的水平距离相当于参考视点与投影视点之间的距离。

利用上式可将p_v化简为：

等价于：

由于相机平行排列时仅存在水平视差，因此v_l＝v_v，且投影视点和参考视点对应像素的深度值相等，则有z_l＝z_v，此时，仅需考虑水平方向的相机焦距，而不需要考虑垂直方向的相机焦距，由此上式可进一步化简得到：

其中，Δd_p可以表示参考视点图像和投影视点图像同像素对应的视差，以左相机对应的左参考视点为例，也就是左参考视点图像和由左参考视点图像投影得到的左投影视点图像同像素对应的视差。

可以看到，由于相机通常平行排列，Δd_p可表示参考视点图像中特定像素与投影视点图像中对应像素间横坐标的差值，此时只需在已知的参考视点图像各像素坐标的基础上，基于上述差值对其中的横坐标进行调整，便可获得投影视点各像素坐标，也就是获得投影图像。需要注意的是，此差值通常取绝对值，也就是差值为非负数。

但是，由于参考视点图像对应的深度图像中通常存在噪声，如图3所示，使得参考视点中的一个像素点p_l(u_l,v_l)映射到世界三维坐标系中从P_w(X,Y,Z)变成P_e(X,Y,Z)。

最终映射到投影视点中的位置从p_v(u_v,v_v)变成p_e(u_e,v_e)位置。如果噪声出现在前景、背景边界处，位置的差异可能导致原本前景的像素被映射到背景区域，出现背景区域噪声，而背景的像素被映射到前景位置，造成前景腐蚀，从而影响投影后图像的质量。

在本实施例中，以通过左、右两个相机采集图像为例，基于视点映射过程中视差与相机参数和深度图像信息间的关系，确定纹理图像中各像素与其投影像素间的视差。由于相机参数是确定的，影响视差的因素主要为深度图像中噪声像素。根据此视差进行纹理图像在两个参考视点间的投影，并确定投影产生的像素差异，此像素差异可以反映纹理图像和深度图像中对应像素的噪声情况，据此可以确定深度图像中的噪声像素，从而对深度图像进行定量判断，确定其精确度是否满足视点映射等应用的要求，或者对其后续滤波处理提供参考。从而保证在构建三维视图时，视点映射过程中所使用的深度图像符合精度要求，最终确保三维视图的准确性。

具体地，参见图4所示，两张示例性图片均为特定纹理图像从左参考视点投影至右参考视点的投影图像，可以看到，图中的高亮度区域是投影后由于像素差异关系遮挡所产生的空洞，也就是投影后的纹理和原始图像的纹理不匹配。

可选地，所述根据所述像素差值确定所述深度图像中的噪声像素包括：

对所述像素差值与预设阈值进行比较，当针对所述标定像素的所述像素差值大于或等于所述预设阈值时，将与所述标定像素对应的所述深度图像中的像素标记为所述噪声像素。

具体地，继续以通过左、右两个相机采集图像为例，在通过第一公式确定了左参考视点上特定像素与投影至右参考视点对应像素间的视差后，根据此视差确定纹理图像从左参考视点至右参考视点的投影图像，进一步确定投影图像和纹理图像上各对应像素点的像素差异，将此像素差异与预设阈值进行比较，如果上述像素差异大于或等于预设阈值，说明左参考视点采集图像特定像素的测量深度值可靠性不足，可将与该特定像素对应的深度图像上像素标记为噪声像素。

在本实施例中，通过实验验证，使用50mm的标准中焦镜头，在0.5m的参考视点间距下，设置预设阈值为14时，便可适用于大部分场景较准确地筛选出深度噪声。参见图5所示，(a)至(g)中黑色背景上的白点均为经标记的噪声像素。可以看到，可以获得噪声像素，特别是边界噪声像素的数量、比例与分布位置等信息，这对于深度图像质量评估和后续深度图像滤波有重要的参考价值。

可选地，该方法还包括如下步骤：

确定所述第一参考视点的参考图像与所述第二参考视点的参考图像之间的光照差异，并根据所述光照差异调整所述预设阈值。

可选地，所述根据所述光照差异调整所述预设阈值包括：

当所述光照差异与预设基准值之间的差异增大时，增大所述预设阈值。

当所述光照差异与预设基准值之间的差异减小时，减小所述预设阈值。

具体地，预设阈值与光照差异总体呈正相关性，例如，左、右参考视点图像间的光照差异越大时，预设阈值也越大。可首先设定一个预设基准值，其可以为一个定值，也可以为一个范围。当光照差异等于该值或位于该范围内时，可采用默认的预设阈值。当环境发生变化或其他导致光照差异发生变化的情况出现时，可根据变化的光照差异与预设基准值的关系对预设阈值进行调整，例如若光照差异越来越大，或者说其与预设基准值的差异越来越大时，需要增大预设阈值，反正则减小预设阈值。预设阈值可随光照差异呈等比例变化、指数变化、阶跃变化或符合正相关性的其他函数式变化。特别是对于不同的相机，以及不同的拍摄场景会导致预设阈值选取有所差异。

需要注意的是，当光照差异与预设基准值间距离达到一定值时，说明此时光照差异过大，由于可能导致部分非噪声深度像素被检出为噪声，可不再调整预设阈值。

可选地，该方法还包括如下步骤：

根据所述噪声像素确定所述深度图像中所述噪声像素占所有像素的比值信息和/或所述噪声像素在所述深度图像中的分布区域信息。

具体地，由于深度图像由多个像素点组成，在确定其中的噪声像素后，可以进一步确定深度图像中噪声像素的分布数量、位置及比例等信息，从而对深度图像进行定量判断，确定其精确度是否满足视点映射等应用的要求，进而保证三维视图构建的准确性。

如图6所示，本发明一个实施例的基于三维变换的深度图像噪声标记装置包括：

获取模块，用于获取第一参考视点的深度图像和纹理图像。

处理模块，用于确定所述纹理图像上的标定像素从所述第一参考视点投影至第二参考视点时的视差；根据所述视差将所述纹理图像从所述第一参考视点投影至所述第二参考视点，并确定所述纹理图像上的所述标定像素与所述纹理图像的投影图像上的对应像素间的像素差值。

可选地，所述获取模块还用于：获取所述第一参考视点和所述第二参考视点对应的相机参数。

所述处理模块具体用于：根据所述深度图像和所述相机参数确定所述视差。

所述处理模块具体用于：

根据所述深度图像确定所述标定像素的测量深度值。

根据第一公式确定所述视差，所述第一公式为：

可选地，所述判定模块具体用于：对所述像素差值与预设阈值进行比较，当针对所述标定像素的所述像素差值大于或等于所述预设阈值时，将与所述标定像素对应的所述深度图像中的像素标记为所述噪声像素。

可选地，所述处理模块还用于：确定所述第一参考视点的参考图像与所述第二参考视点的参考图像之间的光照差异，并根据所述光照差异调整所述预设阈值。

可选地，所述处理模块具体用于：当所述光照差异与预设基准值之间的差异增大时，增大所述预设阈值；当所述光照差异与预设基准值之间的差异减小时，减小所述预设阈值。

可选地，所述处理模块还用于：根据所述噪声像素确定所述深度图像中所述噪声像素占所有像素的比值信息和/或所述噪声像素在所述深度图像中的分布区域信息。

在本发明另一实施例中，一种基于三维变换的深度图像噪声标记装置包括存储器和处理器。所述存储器，用于存储计算机程序。所述处理器，用于当执行所述计算机程序时，实现如上所述的基于三维变换的深度图像噪声标记方法。

需要注意的是，该装置可以为服务器、移动终端等计算机装置。

在本发明另一实施例中，一种计算机可读存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的基于三维变换的深度图像噪声标记方法。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims

1.一种基于三维变换的深度图像噪声标记方法，其特征在于，包括：

获取第一参考视点的深度图像和纹理图像；

根据所述像素差值确定所述深度图像中的噪声像素。

2.根据权利要求1所述的基于三维变换的深度图像噪声标记方法，其特征在于，还包括：

获取所述第一参考视点和所述第二参考视点对应的相机参数；

根据所述深度图像和所述相机参数确定所述视差。

3.根据权利要求2所述的基于三维变换的深度图像噪声标记方法，其特征在于，所述相机参数包括所述第一参考视点对应的相机焦距、所述第一参考视点对应的相机光轴和所述第二参考视点对应的相机光轴之间的距离；

所述根据所述深度图像和所述相机参数确定所述视差包括：

根据所述深度图像确定所述标定像素的测量深度值；

根据第一公式确定所述视差，所述第一公式为：

其中，Δd_p表示所述视差，f_x表示所述第一参考视点对应的相机焦距，t_x表示所述第一参考视点对应的相机光轴与所述第二参考视点对应的相机光轴之间的距离，z_l表示所述测量深度值。

4.根据权利要求1至3任一项所述的基于三维变换的深度图像噪声标记方法，其特征在于，所述根据所述像素差值确定所述深度图像中的噪声像素包括：

5.根据权利要求4所述的基于三维变换的深度图像噪声标记方法，其特征在于，还包括：

6.根据权利要求5所述的基于三维变换的深度图像噪声标记方法，其特征在于，所述根据所述光照差异调整所述预设阈值包括：

当所述光照差异与预设基准值之间的差异增大时，增大所述预设阈值；

7.根据权利要求1所述的基于三维变换的深度图像噪声标记方法，其特征在于，还包括：

8.一种基于三维变换的深度图像噪声标记装置，其特征在于，包括：

获取模块，用于获取第一参考视点的深度图像和纹理图像；

9.一种基于三维变换的深度图像噪声标记装置，其特征在于，包括存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器，用于当执行所述计算机程序时，实现如权利要求1至7任一项所述的基于三维变换的深度图像噪声标记方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1至7任一项所述的基于三维变换的深度图像噪声标记方法。