CN107330930B - 三维图像深度信息提取方法 - Google Patents

Abstract

本申请公开了一种三维对象深度提取方法，解决目前3D图像深度信息提取过程中算法过于复杂的问题。该三维对象深度提取方法，通过计算二维平面图像中每个元素图像中相邻像素的相似度，进而得到所述像素的深度。该提取方法是一种快速准确的三维物体深度提取方法，考虑了综合成像(II)和合成孔径积分成像，通过假设3D对象是由许多方面构成的表面，基于Patch‑Match算法开发了深度提取的数学框架。本申请还公开了采用上述三维对象深度提取方法的装置。

Description

三维图像深度信息提取方法

技术领域

本发明涉及光学信息工程领域的信息提取技术，特别涉及三维图像深度信息提取的技术。

背景技术

作为下一代显示技术，近年来三维(3D)成像技术的飞速发展。综合成像(II)(英文为：Integrated imaging(II))涉及其高分辨率和全视差。它与传统的图像处理技术(如超分辨率和图像匹配)兼容。为了实现3D成像和显示。综合成像(II)需要来自3D对象(称为元素图像)的不同视角，这些对象通常由通用综合成像(II)系统中的小透镜阵列拾取。由于使用标准2D图像，可以使用具有小透镜阵列或廉价成像器阵列的单个便宜的相机来构建多尺度3D成像系统。现有技术已经实现了许多研究成果，包括3D显示和自动目标识别。

深度提取被称为综合成像(II)的最重要的问题之一。许多研究者已经注意到综合成像(II)的深度提取。然而，现有技术已经提出的方法存在的缺点是低分辨率元素图像或复杂的算法。

发明内容

根据本申请的一个方面，提出一种三维图像深度信息的提取方法，解决目前三维图像深度信息提取过程中算法过于复杂的问题。该提取方法是一种快速准确的三维物体深度提取方法，考虑了综合成像(II)和合成孔径积分成像(英文为：synthetic apertureintegral imaging)，通过假设三维对象是由许多方面构成的表面，基于Patch-Match算法开发了深度提取的数学框架。

所述三维对象深度提取方法，通过计算二维平面图像中每个元素图像中相邻像素的相似度，进而得到所述像素的深度。

优选地，在计算二维平面图像中每个元素图像中像素的相似度时，假设相邻像素在同一平面上，并用多个小平面对表面进行建模。

优选地，所述计算二维平面图像中每个元素图像中相邻像素的相似度，采用相邻像素传播和随机优化的多循环算法。

优选地，包括将横向像素初始化为随机平面和迭代计算相邻像素的相似度的步骤。

进一步优选地，所述将横向像素初始化为随机平面，包括步骤：

将横向像素初始化为随机平面；

每个像素的初始深度设定为随机值，通过每个像素的表面的法线矢量被设置为随机单位向量。

进一步优选地，所述将横向像素初始化为随机平面，包括如下过程：

通过所述横向像素的深度坐标的平面，由式(5)表示，

z＝f₁▽p_x+f₂▽p_y+f₃ 式(5)

其中，z为所述横向像素的深度坐标，和p_x和p_y为随机平面，f ₁、f₂和f ₃分别如式(6-1)、式(6-2)和式(6-3)所示，

f₁＝-n₁/n₃ 式(6-1)

f₂＝-n₂/n₃式(6-2)

f₃＝(n₁·x₀+n₂·y₀+n₃·z₀)/n₃ 式(6-3)

式(6-1)、式(6-2)和式(6-3)中，n₁、n₂和n₃是标量、是由如式(7)所示的数值向量

表示最小聚合成本所在的所有可能平面，x₀和y₀分别为初始化的所述横向像素的坐标数值，z₀为初始化的所述横向像素的初始深度值，

式(7)中m由式(8)提供，

式(8)中，w用于实现自适应加权，w由式(9)提供；E表示相似性计算因素，E由式(10)提供；▽表示梯度值，W_p表示集中在p的一个方形窗口，

式(9)中，||I_p-I_q||表示两相邻像素p和q间的距离，p为横向像素，q为与p在同一平面内的相邻像素，

E＝α||I_i-I_j||+(1-α)||▽I_i-▽I_j|| 式(10)

式(10)中，I是元素图像中像素的强度，下标i，j是元素图像的索引，I_i，I_j分别表示第i，第j个元素图像中的相应像素的强度，I_i和I_j将投射到相同的空间点，I_i和I_j的坐标由式(11)计算得到，||I_i-I_j||为RGB空间中的I_i和I_j的颜色的曼哈顿距离，▽I_i和▽I_j是像素的灰度值梯度，||▽I_i-▽I_j||表示在I_i和I_j计算的灰度梯度的绝对差，α是没有单位的权重因子，用于平衡颜色和渐变项的影响；

式(11)中，u_i是每个元素图像中对应于坐标为y和z的点的像素的局部坐标。

作为一个具体的实施方式，所述方法在使用综合成像(II)系统的计算机上执行。

进一步优选地，所述迭代计算相邻像素的相似度，包括步骤：

a、初始化一个随机平面内的一个横向像素并计算其深度坐标和向量值，计算其聚合成本，将此聚合成本作为参考聚合成本；

b、计算与步骤a中横向像素在同一平面内的任意一相邻像素的聚合成本；

c、比较步骤a中参考聚合成本与步骤b中相邻像素的聚合成本；

d.将步骤c中比较小的聚合成本对应像素作为新的参考值；

e.将步骤d中新的参考值对应像素设为与该对比参考值的对应像素左上相邻；

f.设定条件：步骤d中新的参考值对应深度值在最大允许范围内；

g.如果步骤f条件成立，则循环执行步骤a到步骤f；

l.步骤f条件不成立，将最后一次循环步骤e中作为图像最左边像素；

m.在步骤l的基础上，图像右下进行下降偶次迭代；

n.根据步骤m的迭代次数计算每个像素的计算次数。

进一步优选地，所述迭代计算相邻像素的相似度，包括空间传播和平面精修的步骤；

所述空间传播的步骤中，相邻像素点设定为在同一个平面上，首先由式(8)评估不同情况的成本m，

式(8)中，p表示当前像素，f_p是其对应的平面的向量，q是p的相邻像素，在p(x₀，y₀)下分别用f_p和f_q计算，以评估这两种情况的成本；检查条件如式(12)所示，

m(x₀，y₀，f_p')<m(x₀，y₀，f_p)； 式(12)

式(12)中的和分别由式(8)得到；

如果式(12)所示的表达式成立，则f_q被接受为p的新向量，即f_p＝f_q；

在奇数迭代中，q是左边和上边界；

在偶数迭代中，q是右边界和下边界；

所述平面精修的步骤中，将f_p转换为法向量n_p，两个参数▽z和▽n被定义为分别限制z₀和n的最大允许变化，z₀'计算为z₀'＝z₀+▽z，其中▽z位于[-▽z^max，▽z^max]，并且n'＝u(n+▽n)，u()表示计算单位向量，▽n位于[-▽n^max，▽n^max]；

最后，通过p和n'得到一个新的f_p'，如果m(x₀，y₀，f_p')<m(x₀，y₀，f_p)，则f_p＝f_p'；

所述平面精修的步骤中，从设置▽z^max＝maxdisp/2开始，其中maxdisp是允许的最大视差，▽n^max＝1，每次细化后，参数将更新为▽z^max＝▽z^max/2、▽n^max＝▽n^max/2；直到▽z^max<resolution/2，得到最小化的分辨率；对于奇数迭代，从图像的左侧开始，向右下进行偶数迭代；

迭代后获得相邻像素的相似度，进而得到所述三维对象的深度。

进一步优选地，z₀以固定值初始化为所有像素，并且在迭代之前添加精修步骤。

根据本申请的一个方面，提供一种由二维图片获得三维图像信息的装置，解决目前3D图像深度信息提取过程中算法过于复杂的问题。该由二维图片获得三维图像信息的装置是一种快速准确的三维物体深度提取装置，考虑了综合成像(II)和合成孔径积分成像(英文为：synthetic aperture integral imaging)，通过假设3D对象是由许多方面构成的表面，基于Patch-Match算法开发了深度提取的数学框架。

所述由二维图片获得三维图像信息的装置包括图片采集单元，图像存储单元和图像处理单元；

所述图片采集单元和图像存储单元电连接，所述图像存储单元和图像处理单元电连接；

所述图像处理单元采用上述所述三维对象深度提取方法中的至少一种，获得二维图片中对象的深度信息，建立三维图像。

本发明所述技术方案的有益效果包括但不限于：

(1)本申请提出了一种三维对象深度提取的新计算方法，该方法计算每个元素图像中像素的相似度，同时将其投影到可能的深度。

(2)本申请提供的三维图像深度信息的提取方法，考虑了表面的连续性，以提高分辨率。

(3)本申请提供的三维图像深度信息的提取方法，用于综合成像(II)系统中，使用补丁匹配方法，大大减少计算量，加快计算速度，可以使应用了本发明算法的设备更加普遍化。

附图说明

图1是本发明3D图像深度信息提取方法原理示意图；其中图1(a)是综合成像(II)的拾取部分的示意图；图1(b)是综合成像(II)的投影部分示意图。

图2是在体表面和自由空间体素的综合成像(II)系统中光传播图。

图3是图像信息提取的3D对象，其中图3(a)是采用综合成像(II)进行成像的对象；图3(b)是采用合成孔径积分成像进行成像的对象。

图4是经过数学软件技术，采用本申请方法成像结果与采用现有技术方法成像结果的对比；其中图4(a)为采用微针的深度信息提取方法得到的结果；图4(b)为采用折反射全向提取方法得到的结果；图4(c)为采用本发明所述方法得到的综合成像(II)结果；图4(d)为采用本发明所述方法得到的合成孔径积分成像结果。

图5是降低白噪音影响后的结果对比；其中图5(a)是降低白噪音影响前的综合成像(II)结果；图5(b)是降低白噪音影响后的综合成像(II)结果；图5(c)是降低白噪音影响前的合成孔径积分成像结果；图5(d))是降低白噪音影响后的合成孔径积分成像结果。

图6是采用本发明3D图像深度信息提取方法的背面投影图；其中图6(a)是图3(a)采用本发明3D图像深度信息提取方法的背面投影图；图6(b)是图3(b)采用本发明3D图像深度信息提取方法的背面投影图。

具体实施方式

下面结合实施例，详细描述本发明的技术方案。

本发明提出了一种用于综合成像(II)系统中3D对象深度提取的新计算方法，计算每个元素图像中像素的相似度，同时将其投影到可能的深度。还考虑到表面的连续性，以提高分辨率。并使用补丁匹配方法加快计算速度。

图1(a)和图1(b)为综合成像(II)的原理示意图。其中图1(a)为综合成像(II)的拾取部分的示意图，图1(b)为综合成像(II)的投影部分示意图。

参照图1(a)，字母A表示三维(3D)物体。Z(大写字母)表示物体和小透镜阵列之间的距离，g表示透镜阵列与像面之间的距离。来自3D物体的光线的强度和方向由小透镜记录在不同的位置。图1(a)中也显示了不同的元素图像，见右侧从上到下的三个图像。

在如图1(b)所示的投影部分中，每个元素图像通过相应的针孔投影到目标空间。在图1(b)中，z(小写字母)表示投影距离，g表示图像与针孔之间的距离。并且这些投影图像在重构平面中被放大了z/g的因子。最后，将这些放大的图像重叠并累积在输出平面的相应像素上。

在图1(a)和图1(b)示出的系统中，投影距离z由实验者设置，因此，当投影距离z与其空间深度Z不匹配，投影图像是模糊的像素。因此，如果已知不同投影距离中的每个像素的模糊度，就可以计算相应的投影距离。

图2是在体表面和自由空间体素的综合成像(II)系统中光传播图。图2显示的是本发明的方法的2D结构，显示的是3D空间中的y-z平面，成像对象被显示为左边的一个面。小透镜阵列在y轴上。而z轴是深度方向。每个小透镜的坐标标记为S_i。成像对象平面被标记为u。u到小透镜阵列的距离是g。如图2所示，当将元素图像投影到z₀平面时，得到的结果图像中的(y₀，z₀)对于其相应像素的高相似性将是清晰的。作为比较，当投影到z₁平面时，(y₁，z₁)是模糊的，因为(y₁，z₁)处和(y₀，z₀)的像素来自对象u上不同部分，如图2中不同的颜色所示。对应于投影的每个像素的局部坐标点可以通过式(1)得到：

其中u_i是每个元素图像中对应于点(y，z)的像素的局部坐标。g是图像平面和小透镜阵列之间的距离。s_i是小透镜的坐标，即小透镜的指数。利用该等式，可以通过等式(1)来估计投影到相同点的像素的相似度。

E＝α||I_i-I_j||+(1-α)||▽I_i-▽I_j|| 式(2)

在这个方程中，E是相似性的评估因子。E越小像素越相似。I是元素图像中像素的强度。下标i，j是元素图像的索引。I_i，I_j分别表示第i，第j个元素图像中的相应像素。I_i和I_j将投射到相同的空间点，它们的坐标由等式(1)计算得到。||I_i-I_j||计算RGB空间中的I_i和I_j的颜色的L1距离(即曼哈顿距离)。▽I是像素的灰度值梯度；||▽Ii-▽Ij||表示在I_i和I_j计算的灰度梯度的绝对差。α是没有单位的权重因子，是用户定义的参数，用于平衡颜色和渐变项的影响。从该等式可以计算投影到相同空间位置的像素之间的相似度。

因此，在3D模式中，可以通过找到Z来提取具有横向点(x，y)的成像对象表面的深度，使得E(x，y，z)在Z＝[Z min，Z max]的范围内最小化。这个假设在数学上的表达如式(3)所示：

可以通过检查所有可能的z来找到答案。然而，利用这种方式发现的可能的z是离散的，受到分辨率的限制。这种方式忽略了表面的连续性，并且在计算上是密集的，要获得亚分辨效果(sub-resolution effect)，需要更多的表面信息。本发明考虑了物体表面的连续性。相邻的像素假设在同一平面上，所以本发明用很多小平面对表面进行建模。

通过(x₀，y₀，z₀)的表面可以表示为式(4)：

n₁x+n₂y+n₃z＝n₁x₀+n₂y₀+n₃z₀ 式(4)

n(n₁，n₂，n₃)是法向量。在本发明，横向像素被称为p(p_x，p_y)，z是要求的深度坐标，所以可以转换式(4)，得到式(5)和(6)：

z＝f₁▽p_x+f₂▽p_y+f₃ 式(5)

f₁＝-n₁/n₃，f₂＝-n₂/n₃，f₃＝(n₁·x₀+n₂·y₀+n₃·z₀)/n₃ 式(6)

因此，找到z的问题变为找到f，而向量f是所有可能的平面中的最小聚合匹配成本之一，可以表达为式(7)：

其中F表示大小无穷大的所有向量的集合。根据向量f匹配p(p_x，p_y)的聚合成本m通过式(8)和式(9)计算得到：

式(9)中，w_p表示以p(p_x，p_y)为中心的平方窗口；w用于实现自适应权值立体匹配，可以克服边缘增殖问题；γ是用户定义的参数；I_p表示图像p的像素强度；I_q表示图像q的像素强度。附近的像素的E也用相同的向量f计算，揭示它们在同一平面中。所有向量F的集合是无限的标签空间，不能采用通常的做法，仅简单地检查所有可能的标签。

本发明提出的3D图像深度信息提取方法，该方法基于Patch-Match，其基本思想是大多数相邻像素应该在同一平面。根据该假设，本发明开发了包含相邻像素传播和随机优化的多循环算法。

基于上述分析，本发明提出的3D图像深度信息提取方法包括以下步骤：

步骤1：初始化

将横向像素p(x₀，y₀)初始化为随机平面；

平面可以通过点和法向量来确定。每个像素的z₀由随机值初始化，并且通过该像素的表面的法线矢量被设置为随机单位向量n(n₁，n₂，n₃)。矢量f可以由正态n和点p(x₀，y₀，z₀)导出。

该横向像素的深度坐标为z(x₀，y₀，z₀)，随机平面表示为p(p_x，p_y)，通过z的平面可表示为：

z＝f₁▽p_x+f₂▽p_y+f₃

其中参见式(6)，f₁＝-n₁/n₃f₂＝-n₂/n₃，f₃＝(n₁·x₀+n₂·y₀+n₃·z₀)/n₃，n是标量，是数值向量

表示最小聚合成本所在的所有可能平面，

该步骤中初始化的横向像素为p(x₀，y₀)，其对应的深度值为z0，其聚合成本m为：

其中，

||I_p-I_q||表示两相邻像素p和q间的距离，p为横向像素，q为与p在同一平面内的相邻像素，w用于实现自适应加权，E表示相同的计算因素，▽表示梯度值，W_p表示一个方形窗口集中在p(px，p_y)。

相同计算因素E可表示为：

E＝α||I_i-I_j||+(1-α)||▽I_i-▽I_j

其中，I是元素图像中像素的强度。下标i，j是元素图像的索引。I_i，I_j分别表示第i，第j个元素图像中的相应像素的强度。I_i和I_j将投射到相同的空间点，它们的坐标由等式(1)计算得到。即对应于投影的每个像素的局部坐标点为：

其中u_i是每个元素图像中对应于点(y，z)的像素的局部坐标。g是图像平面和小透镜阵列之间的距离(参见图1)。s_i是小透镜的坐标，即小透镜的指数。I_i和I_j可利用该公式求得。

||I_i-I_j||计算RGB空间中的I_i和I_j的颜色的L1距离(即曼哈顿距离)。▽I是像素的灰度值梯度；||▽I_i-▽I_j||表示在I_i和I_j计算的灰度梯度的绝对差。α是没有单位的权重因子，是用户定义的参数，用于平衡颜色和渐变项的影响。通过该等式可以计算投影到相同空间位置的像素之间的相似度。

由于有了许多预测值，在这种随机初始化之后，该区域的至少一个带有平面的区域的像素接近正确值。经过一个该平面传递到其他像素的传播步骤，一个好的预测值足以使算法运作起来。

步骤2：迭代

在迭代中，每个像素运行两个阶段：首先是空间传播，其次是平面精修。

(2-1)空间传播

相邻点被假设为与通常想到在同一个平面上。这是传播的关键点。p表示当前像素，f_p是其对应的平面的向量。q是p的相邻像素。式(8)在p(x₀，y₀)下分别用f_p和f_q计算，以评估这两种情况的成本。检查条件m(x₀，y₀，f_p')<m(x₀，y₀，f_p)。

式(12)中的m(x₀，y₀，f_p')和m(x₀，y₀，f_p)分别由式(8)得到；

如果该表达式成立，则f_q被接受为p的新向量，即f_p＝f_q。在奇数迭代中，q是左边和上边界，在偶数迭代中，q是右边界和下边界。

(2-2)平面精修

平面精修的目标是在像素p处改进平面的参数。为了进一步降低式(6)中的Z来提取具有横向点的成像对象表面的深度。

将f_p转换为法向量n_p。两个参数▽z和▽n被定义为分别限制z₀和n的最大允许变化。z₀'计算为z₀'＝z₀+▽z，其中▽z位于[-▽z^max，▽z^max]。并且n'＝u(n+▽n)，u()表示计算单位向量，▽n位于[-▽n^max，▽n^max]。最后，通过p和n'得到一个新的f_p'。如果m(x₀，y₀，f_p')<m(x₀，y₀，f_p)，则f_p＝f_p'。

该方法从设置▽z^max＝maxdisp/2开始，其中maxdisp是允许的最大视差，▽n^max＝1。每次细化后，参数将更新为▽z^max＝▽z^max/2，▽n^max＝▽n^max/2，从而减少搜索范围。我们再次回到特殊传播，直到▽z^max<resolution/2，其中分辨率如文献[DaneshPanah M,JavidiB.“Profilometry and optical slicing by passive three-dimensional imaging[J]”.Optics letters,2009,34(7):1105-1107]所示最小化。对于奇数迭代，从图像的左侧开始，向右下进行偶数迭代。最后的结果是在迭代后获得的。

为了验证这种方法的实用性，提出了两种II型实验。并且还进行检查所有可能的z的常规方法进行比较。首先，在计算机集成成像系统中使用拖拉机的模型作为3D对象。该物体如图3(a)所示。结果具有20×28个元素图像，每个元素图像具有100×100像素。小透镜的焦距为1.5mm。拖拉机的深度为

α设定为0.5，γ设定为5.通过计算，最小深度分辨率为0.005mm。

而在合成孔径积分成像中，元素图像如图3(b)所示。3D对象包括一个构建块，一个娃娃和一个玩具大象，分别位于53-57厘米，89-93厘米和131～136厘米。系统包含6×6透视图。并且图像被捕获在具有5mm间距的规则网格上。相机的焦距为16mm。α设定为0.5，γ设定为5.通过计算，最小深度分辨率为2mm。

该算法在Matlab中计算。通过本文提出的方法接收的结果与常用方法的结果的比较如图所示。在图4(b)和(d)中，底部的水平条纹是背景的折叠。

从这些结果可以看出，这两种方法都在对象部分中表现良好。但是通过常用方法得到的结果如图4(a)和4(b)所示，边肥育相当明显。在本文提出的方法中，如图4(c)和4(d)所示，结果的空白部分充满了白噪声。对这些区域的深度变化不敏感，因为难以区分差异。所以这部分的深度依然是它初始化的价值。对象内部存在一些不准确的一点，需要通过一些更多的迭代来消除这一点。

为了减少白噪声的影响，z₀以固定值初始化为所有像素，并且在迭代之前添加精修步骤。得到如图5所示的更好的结果，白噪声被很好地消除。在图5(a)中，特别是在物体边缘处精确提取拖拉机的深度。但是图5(b)中的物体边缘仍然存在一些白噪声，这可能受到实验条件的限制。

虽然考虑了表面的连续性，但从这个结果来看，深度不断变化并不直观。这可能是由于这种几何模型的较粗糙的分辨率造成的。

为了进一步验证所提出的方法，每个像素被投影到由所提出的方法计算的深度，如图6所示。该步骤中使用的深度是高斯平滑的并且过滤出背景。由于算法尚未优化，计算时间难以评估该方法的计算效率。因此，可以通过核心因子的计算时间来评估m，不需要计算所有z空间；计算资源支付给子分辨率计算。在模拟光场中，maxdisp设置为10mm，分辨率为0.005mm，在该算法中计算了12次迭代。在每次迭代中，在每个像素(f_p，f_q，f_p'，其中q是两个相邻像素)中计算m次4次。与计算每个可能位置的常用方法的10/0.005＝2000倍相比，该方法中每个像素的12×4＝48次计算的m为近40倍。从这个角度来看，提出的算法可以有效地减少计算量。

以上所述，仅是本发明的几种具体实施方式，并非对本发明做任何形式的限制，虽然本发明以较佳实施例揭示如上，然而并非用以限制本发明，任何熟悉本专业的技术人员，在不脱离本申请技术方案的范围内，利用上述揭示的技术内容做出些许的变动或修饰均等同于等效实施案例，均属于技术方案范围内。

Claims (7)

1.一种三维对象深度提取方法，其特征在于，通过计算二维平面图像中每个元素图像中相邻像素的相似度，进而得到所述像素的深度；

所述计算二维平面图像中每个元素图像中相邻像素的相似度，具体为：将横向像素初始化为随机平面和迭代计算相邻像素的相似度的步骤；

所述将横向像素初始化为随机平面，包括步骤：

将横向像素初始化为随机平面；

每个像素的初始深度设定为随机值，通过每个像素的表面的法线矢量被设置为随机单位向量；

所述迭代计算相邻像素的相似度，包括步骤：

a、初始化一个随机平面内的一个横向像素并计算其深度坐标和向量值，计算其聚合成本，将此聚合成本作为参考聚合成本；

b、计算与步骤a中横向像素在同一平面内的任意一相邻像素的聚合成本；

c、比较步骤a中参考聚合成本与步骤b中相邻像素的聚合成本；

d.将步骤c中比较小的聚合成本对应像素作为新的参考值；

e.将步骤d中新的参考值对应像素设为与该对比参考值的对应像素左上相邻；

f.设定条件：步骤d中新的参考值对应深度值在最大允许范围内；

g.如果步骤f条件成立，则循环执行步骤a到步骤f；

l.步骤f条件不成立，将最后一次循环步骤e中作为图像最左边像素；

m.在步骤l的基础上，图像右下进行下降偶次迭代；

n.根据步骤m的迭代次数计算每个像素的计算次数。

2.根据权利要求1所述的三维对象深度提取方法，其特征在于，在计算二维平面图像中每个元素图像中像素的相似度时，假设相邻像素在同一平面上，并用多个小平面对表面进行建模。

3.根据权利要求1所述的三维对象深度提取方法，其特征在于，所述计算二维平面图像中每个元素图像中相邻像素的相似度，采用相邻像素传播和随机优化的多循环算法。

4.根据权利要求1所述的三维对象深度提取方法，其特征在于，所述将横向像素初始化为随机平面，包括如下过程：

通过所述横向像素的深度坐标的平面，由式(5)表示，

z＝f₁▽p_x+f₂▽p_y+f₃ 式(5)

其中，▽表示梯度值，z为所述横向像素的深度坐标，p(p_x，p_y)为随机平面，f₁、f₂和f₃分别如式(6-1)、式(6-2)和式(6-3)所示，

f₁＝-n₁/n₃ 式(6-1)

f₂＝-n₂/n₃ 式(6-2)

f₃＝(n₁·x₀+n₂·y₀+n₃·z₀)/n₃ 式(6-3)

式(6-1)、式(6-2)和式(6-3)中，n(n₁，n₂，n₃)为随机单位向量，f是所有可能的平面中的最小聚合匹配成本，所述最小聚合成本的数值向量

如式(7)所示，x₀和y₀分别为初始化的所述横向像素的坐标数值，z₀为初始化的所述横向像素的初始深度值，

式(7)F表示大小无穷大的所有向量的集合，式(7)中m由式(8)提供，

式(8)中，w用于实现自适应加权，w由式(9)提供；E表示相似性计算因素，E由式(10)提供；▽表示梯度值，W_p表示集中在p的一个方形窗口，

式(9)中，||I_p-I_q||表示两相邻像素p和q间的距离，p为横向像素，q为与p在同一平面内的相邻像素，γ是用户定义的参数；

E＝α||I_i-I_j||+(1-α)||▽I_i-▽I_j|| 式(10)

式(10)中，I是元素图像中像素的强度，下标i，j是元素图像的索引，I_i，I_j分别表示第i，第j个元素图像中的相应像素的强度，I_i和I_j将投射到相同的空间点，I_i和I_j的坐标由式(11)计算得到，‖I_i-I_j‖为RGB空间中的I_i和I_j的颜色的曼哈顿距离，▽I_i和▽I_j是像素的灰度值梯度，‖▽I_i-▽I_j‖表示在I_i和I_j计算的灰度梯度的绝对差，α是没有单位的权重因子，用于平衡颜色和渐变项的影响；

式(11)中，u_i是每个元素图像中对应于坐标为y和z的点的像素的局部坐标，g是图像平面和小透镜阵列之间的距离，s_i是小透镜的坐标，即小透镜的指数。

5.根据权利要求4所述的三维对象深度提取方法，其特征在于，所述迭代计算相邻像素的相似度，包括空间传播和平面精修的步骤；

所述空间传播的步骤中，相邻像素点设定为在同一个平面上，首先由式(8)评估不同情况的成本m，

式(8)中，p表示当前像素，f_p是其对应的平面的向量，q是p的相邻像素，在p下分别用f_p和f_q计算，以评估这两种情况的成本；检查条件如式(12)所示，

m(x₀，y₀，f_q)<m(x₀，y₀，f_p)； 式(12)

式(12)中的m(x₀，y₀，f_q)和m(x₀，y₀，f_p)分别由式(8)得到；

如果式(12)所示的表达式成立，则f_q被接受为p的新向量，即f_p＝f_q；

在奇数迭代中，q是左边和上边界；

在偶数迭代中，q是右边界和下边界；

所述平面精修的步骤中，将f_p转换为法向量n_p，两个参数▽z和▽n被定义为分别限制z₀和n的最大允许变化，z₀'计算为z₀'＝z₀+▽z，其中▽z位于[-▽z^max，▽z^max]，并且n'＝u(n+▽n)，其中u表示计算单位向量，▽n位于[-▽n^max，▽n^max]；

最后，通过p和n'得到一个新的f_p'，如果m(x₀，y₀，f_p')<m(x₀，y₀，f_p)，则f_p＝f_p'；

所述平面精修的步骤中，从设置▽z^max＝maxdisp/2开始，其中maxdisp是允许的最大视差，▽n^max＝1，每次细化后，参数将更新为▽z^max＝▽z^max/2、▽n^max＝▽n^max/2；直到▽z^max<resolution/2，得到最小化的分辨率；对于奇数迭代，从图像的左侧开始，向右下进行偶数迭代；

迭代后获得相邻像素的相似度，进而得到所述三维对象的深度。

6.根据权利要求5所述的三维对象深度提取方法，其特征在于，z₀以固定值初始化为所有像素，并且在迭代之前添加精修步骤。

7.一种由二维图片获得三维图像信息的装置，其特征在于，包括图片采集单元，图像存储单元和图像处理单元；

所述图片采集单元和图像存储单元电连接，所述图像存储单元和图像处理单元电连接；

所述图像处理单元采用权利要求1至6任一项所述三维对象深度提取方法，获得二维图片中对象的深度信息，建立三维图像。

Images