CN103400377A - 一种基于双目立体视觉的三维圆形目标检测和判断方法 - Google Patents

Abstract

一种基于双目立体视觉，对三维圆形的物理目标进行检测和识别判断的三维圆形目标检测方法，包含以下步骤：摄像机标定：得到摄像机参数；图像预处理：对第一图像、第二图像进行预处理；矫正：将第一物理目标图像以及第二物理目标图像校正至同一水平线；二维椭圆检测：得到第一物理目标图像和第二物理目标图像的椭圆参数；椭圆拟合：得到物理目标的连续数学模型；立体匹配：根据连续数学模型，得到第一物理目标图像和第二物理目标图像之间的亚像素级别匹配视差；三维数据生成：得到物理目标的三维数据；非共面性检验：判断物理目标是否为类圆物体；以及圆差异度计算：判断并得到物理目标的具体形状。

Description

一种基于双目立体视觉的三维圆形目标检测和判断方法

技术领域

本发明具体涉及一种基于双目立体视觉，对三维圆形的物理目标进行检测和识别判断的三维圆形目标检测方法。

背景技术

圆形目标检测在图像处理、模式识别、计算机视觉等领域具有重要意义。而目前对圆形目标的检测方法大多基于经典的霍夫变换原理，此类方法需要消耗大量的内存和计算时间，且需要人为预设大量参数，大大影响到了该算法的应用。

还有一系列圆检测方法是基于曲率估计、梯度方向、存在概率图、神经网络等，其在检测的正确率、实时性与算法鲁棒性等方面具有一定的改进，但该类方法都是基于二维图像上的圆形目标检测手段，实际上物理世界的圆形目标经过摄像机投影到二维图像上只有在特定的某些情况下才是标准的圆形。根据针孔摄像机成像原理，在多数情况下物理世界的圆形目标的成像为椭圆，从而导致基于二维数据的圆形目标检测方法失去了效用。

双目立体视觉是一种获取物体真实三维数据的有效方法，因其简单、精确、快速等优点，已经被广泛应用到机器人视觉、工业检测、生物医学等领域。

发明内容

本发明提供了一种基于双目立体视觉的三维圆形目标检测和判断方法，将双目立体视觉应用于检测三维圆形目标，通过两步判断就可以简单有效地检测出三维圆形目标，解决了基于二维数据的检测方法无法正确检测出三维圆形目标的问题。

为了达到上述目的，本发明采用了以下技术方案：

一种采用左、右二台同类型摄像机，基于双目立体视觉，对三维圆形的物理目标进行检测和识别判断的三维圆形目标检测方法，具有这样的特征，包含以下步骤：摄像机标定：采用立体标定算法对二台摄像机进行立体标定，得到摄像机参数；图像预处理：对二台摄像机分别读入的第一图像、第二图像进行预处理；矫正：采用摄像机参数将第一图像中的第一物理目标图像以及第二图像中的第二物理目标图像校正至同一水平线；二维椭圆检测：采用二维椭圆检测算法对第一物理目标图像和第二物理目标图像进行检测，得到椭圆参数；椭圆拟合：根据椭圆参数得到物理目标的连续数学模型，在第一图像、第二图像中分别分离出第一物理目标图像、第二物理目标图像；立体匹配：根据连续数学模型，将第一物理目标图像的第一二维数据以及第二物理目标图像的第二二维数据进行立体匹配，得到第一物理目标图像和第二物理目标图像之间的亚像素级别匹配视差；三维数据生成：将第一二维数据以及亚像素级别匹配视差逆投影到三维空间，得到物理目标的三维数据；非共面性检验：计算三维数据偏离同一平面的程度，判断物理目标是否为类圆形状；以及圆差异度计算：当三维数据点在同一平面时，判断并得到物理目标的具体形状。

进一步，本发明的基于双目立体视觉的三维圆形图标检测方法，还可以具有这样的特征：立体标定算法为张氏棋盘法。

另外，本发明的基于双目立体视觉的三维圆形图标检测方法，还可以具有这样的特征：二维椭圆检测算法为OpenCV中的二维椭圆检测算法。

发明的作用与效果

根据本发明涉及的基于双目立体视觉的三维圆形目标检测和判断方法，其将双目立体视觉应用于检测三维圆形目标，基于双目立体视觉的简单、精确、快速获取物体真实三维数据的优点，不需要大量计算和人为预设大量参数，通过两步判断就可以简单有效地检测出三维物理是否为圆形目标，从根本上解决了基于二维数据检测圆形目标方法的失效问题。

附图说明

图1为本实施例的基于双目立体视觉的三维圆形目标检测和判断方法的过程流程图；

图2为本实施例的采用双目立体视觉获取三维数据的基本原理图；以及

图3为本实施例的基于双目立体视觉的三维圆形目标检测和判断方法中圆差异度计算的原理图。

具体实施方式

以下实施例结合附图对本发明作具体阐述。

图1为本实施例的基于双目立体视觉的三维圆形目标检测和判断方法的过程流程图。

如图1所示的基于双目立体视觉对三维圆形的物理目标进行检测和识别判断的三维圆形目标检测方法的过程流程图，其包含了以下步骤：

1）摄像机标定：采用立体标定算法对二台摄像机进行立体标定，得到摄像机参数，包括内参数和外参数，如图像的中心位置，摄像机的焦距，两摄像机之间的距离，摄像机对图像的畸变系数，坐标转换关系矩阵等。这些参数对图像的校正、矫正，立体匹配获取视差，坐标变换以及三维数据的生成具有重要意义，同时也极大地影响到三维圆形目标检测检测与识别率。

目前有各种各样的立体标定算法可供选择，其中，经典的张氏棋盘法以其简单、快速、准确、鲁棒性强等优点被广泛采用，其主要通过检测棋盘上的角点，再根据摄像机的成像原理与图像畸变模型，将检测到的角点在图像上的位置、尺寸等信息与实际三维世界中的情况进行计算分析，最后求解出立体摄像机组的参数。因此本实施例中采用的立体标定算法为张氏棋盘法。

本实施例中获得的摄像机参数如下：

左摄像机：

摄像机矩阵：

$M_1=\left[\begin{array}{ccc}884.17257964220369& 0& 332.43141332102141\\ 0& 884.17257964220369& 237.92003081410266\\ 0& 0& 1\end{array}\right]---\left(1\right)$

畸变参数矩阵：

$D_1=\left[\begin{array}{ccccc}-0.179769108778110& -4.21940812476743& 0& 0& 27.8673384639677\end{array}\right]---\left(2\right)$

右摄像机：

摄像机参数：

$M_2=\left[\begin{array}{ccc}884.17257964220369& 0& 333.56227036893461\\ 0& 884.17257964220369& 237.59122547730132\\ 0& 0& 1\end{array}\right]---\left(3\right)$

畸变参数矩阵：

$D_2=\left[\begin{array}{ccccc}-0.334514430142980& 1.58659846112079& 0& 0& -13.0812724905665\end{array}\right]---\left(4\right)$

2）图像预处理：对二台摄像机分别读入的第一图像即左图、第二图像即右图进行滤波、去噪、增强等基本的图像预处理。

3）矫正：采用摄像机参数将第一图像中的第一物理目标图像以及第二图像中的第二物理目标图像校正至同一水平线。

4）二维椭圆检测：采用二维椭圆检测算法对第一物理目标图像和第二物理目标图像进行检测，得到椭圆参数。

根据针孔摄像机模型可知，三维物理世界的圆形目标在经过摄像机投影到二维图像中后，通常为椭圆，仅在特定条件下为圆。在二维图像中检测椭圆目前有大量的算法可供选择，本实施例中采用OpenCV（一计算机视觉开源来发库）中二维椭圆检测的经典算法。该算法首先对待检测图像进行边缘检测，然后检测边缘图像的轮廓，最后对闭合的轮廓进行椭圆系数拟合。通过调整椭圆检测的相关参数，该算法能够高精度、高效率地检测出椭圆，并且能够获得中心点坐标(x₀,y₀)、长半轴a、短半轴b、倾斜角度α等参数。当长半轴和短半轴相等，即a=b时，检测的为标准圆。

本实施例中有两个三维物理目标，分别为第一物理目标和第二物理目标。

第一物理目标所获得的一对椭圆参数如下：

中心点(x₀,y₀)：左图：(179,255)；右图：(195,254)。

长半轴a：左图：74；右图：75。

短半轴b：左图：42；右图：42。

倾斜角度α：左图：83.7509°；右图：82.4927°。

第二物理目标所获得的一对椭圆参数如下：

中心点(x₀,y₀)：左图：(61,284)；右图：(74,284)。

长半轴a：左图：41；右图：41。

短半轴b：左图：36；右图：37。

倾斜角度α：左图：166.406°；右图：175.073°。

5）椭圆拟合：根据椭圆参数得到物理目标的连续数学模型，在左图和右图中分别分离出第一物理目标图像、第二物理目标图像。

在获取到椭圆的相关参数后，根据椭圆的标准方程

对其进行适当的旋转、平移。引入参数θ后，椭圆的标准方程可以表示为：

$\left\{\begin{array}{c}x=a\cos \mathrm{\θ}\\ y=b\sin \mathrm{\θ}\end{array}\right.---\left(5\right)$

旋转倾斜角度α后：

$\left\{\begin{array}{c}x=a\cos \mathrm{\α}\cos \mathrm{\θ}-b\sin \mathrm{\α}\sin \mathrm{\θ}\\ y=a\sin \mathrm{\α}\cos \mathrm{\θ}+b\cos \mathrm{\α}\sin \mathrm{\θ}\end{array}\right.---\left(6\right)$

中心点平移到(x₀,y₀)后：

$\left\{\begin{array}{c}x=a\cos \mathrm{\α}\cos \mathrm{\θ}-b\sin \mathrm{\α}\sin \mathrm{\θ}-x_0\\ y=a\sin \mathrm{\α}\cos \mathrm{\θ}+b\cos \mathrm{\α}\sin \mathrm{\θ}-y_0\end{array}\right.---\left(7\right)$

最终，式(7)即为椭圆在图像坐标系中的连续数学表达模型。

6）立体匹配：根据连续数学模型，将第一物理目标图像的第一二维数据以及第二物理目标图像的第二二维数据进行立体匹配，得到第一物理目标图像和第二物理目标图像之间的亚像素级别匹配视差。

图2为本实施例的采用双目立体视觉获取三维数据的基本原理图。

如图2所示，L、R分别为双目立体摄像机中的左、右两台摄像机，焦距同为f，光心分别为O_l和O_r，且两者之间的距离为T，所成像的宽度均为W。假设P为物理世界任意一点，其在该两台摄像机中的成像点分别为P_l、P_r，此两点对应的图像水平坐标分别为x_l、x_r。Z为点P的三维坐标中的深度分量。根据ΔPP_lP_r与ΔPO_lO_r相似的原理，则存在如下关系：

$\frac{Z}{Z-f}=\frac{\stackrel{\‾}{O_l{O}_r}}{\stackrel{\‾}{P_l{P}_r}}=\frac{T}{T-(x_l-\frac{W}{2})-(\frac{W}{2}-x_r)}---\left(8\right)$

经化简后：

$Z=\frac{\mathrm{fT}}{x_l-x_r}---\left(9\right)$

由式（9）可知，在由摄像机标定获得内部参数f与外部参数T后，只需获取点P在两摄像机成像平面内的视差x_l-x_r，即可知道点P与观察点之间的深度信息，然后根据视差x_l-x_r（以象素为单位）与Z（以米为单位）的比例关系，再利用点P所成图像的坐标值(x,y)（以象素为单位），即可获得点P完整的三维信息(X,Y,Z)。

根据椭圆的连续数学模型，可以获取左右量图像中左、右两椭圆亚像素级的坐标(x_l,y_l)、(x_r,y_r)。在立体匹配过程中，由立体匹配公式d＝|x_l-x_r|获取待检测目标的视差数据，且为亚像素级的视差。

7）三维数据生成：将第一二维数据以及亚像素级别匹配视差逆投影到三维空间，得到物理目标的三维数据。

以左图像作为参考图像，对于任意一组(x_l,y_l,d)数据，根据公式（10）可获得待检测目标的三维数据。

$\left[\begin{array}{c}X\\ Y\\ Z\\ W\end{array}\right]=Q\left[\begin{array}{c}{x}_l\\ y_l\\ d\\ 1\end{array}\right]=\left[\begin{array}{cccc}1& 0& 0& -c_x\\ 0& 1& 0& -c_y\\ 0& 0& 0& f\\ 0& 0& -\frac{1}{T_x}& (c_x-c_x^{\text{'}})T_x\end{array}\right]\left[\begin{array}{c}{x}_l\\ y_l\\ d\\ 1\end{array}\right]---\left(10\right)$

其中Q为逆投影矩阵，c_x、c_y、f、T_x、c'_x均为摄像机标定过程获取的参数，分别为：左图像的图像中心横、纵坐标、摄像机焦距、两摄像机相对位移在x轴方向上的分量、右图像中心的横坐标，X、Y、Z则分别为三维数据在三个维度上的坐标值，W是与坐标系选取有关的向量。若以左摄像机坐标系作为三维数据的坐标系，则

即为待检测目标的三维数据。

在本实施例中的逆投影矩阵如下：

$Q=\left[\begin{array}{cccc}1& 0& 0& 332.43141332102141\\ 0& 1& 0& -237.92003081410266\\ 0& 0& 0& 884.17257964220369\\ 0& 0& 0.026645440032478523& 0\end{array}\right]---\left(11\right)$

在三维坐标空间中，圆上的点必须满足圆上的所有点在某一平面上以及该平面与某一个球面相交这两个条件。如式错误！未找到引用源。所示，其中B、C、D为点所在平面的三个参数，(x₀,y₀,z₀)为相交的球的球心坐标，R为球半径。

$\left\{\begin{array}{c}x+\mathrm{By}+\mathrm{Cz}+D=0\\ {(x-x_0)}^2+{(y-y_0)}^2+{(z-z_0)}^2=R^2\end{array}\right.---\left(12\right)$

基于以上两个条件，要正确区分基于双目立体视觉原理逆投影后的三维数据构成的是圆还是椭圆，需要对数据进行两步检验，即非共面性检验与圆差异度计算。

8）非共面性检验：计算三维数据偏离同一平面的程度，判断物理目标是否为类圆形状。

非共面性检验即验证待检测的三维数据偏离某一平面的程度。具体操作过程如下：将所有待检测的三维数据点代入方程x+By+Cz+D＝0中，通过最小二乘法解超定方程，获取参数B、C、D值。然后将所有三维数据点代入ε＝x+By+Cz+中，获得任意一点的平面偏差度ε_i。定义非共面系数P，如式（13）所示，其中n为待检验三维数据点的个数，R为所有待测三维圆/椭圆上点的“半径”，如式（14）所示，x₀、y₀、z₀为待测三维数据的“中心”，即所有点的坐标的平均值。预设非共面性系数阈值P_t，若P＞＝P_t，则三维数据点不在同一个平面上，待检测的目标肯定不是一个圆；若P＜P_t，则三维数据点在同一个平面上，可以得出目标属于类圆物体，有可能是三维椭圆也有可能是三维圆，而检测的目标是否为三维圆则需要进一步的检验。

$P=\frac{1}{R}\sqrt{\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left|{\mathrm{\ϵ}}_i\right|}^2}---\left(13\right)$

$R=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\sqrt{{(x_i-x_0)}^2+{(y_i-y_0)}^2+{(z_i-z_0)}^2}---\left(14\right)$

在本实施例中，第二物理目标非共面系数P＝5.59×10^-15，第一物理目标非共面系数P＝1.93×10^-14，预设的非共面性系数阈值P_t=0.001。第一物理目标和第二物理目标的非共面系数P＜P_t，判断出第一物理目标和第二物理目标都属于类圆物体。

9）圆差异度计算：当三维数据点在同一平面时，判断并得到物理目标的具体形状。

圆差异度即与标准圆的差异程度。通过非共面性检验，可知待检测的数据点形成的图形可能为圆或则椭圆，此时需要通过圆差异度计算来进一步判断识别待检测目标的具体形状。

图3为本实施例的基于双目立体视觉的三维圆形目标检测和判断方法中圆差异度计算的原理图。

如图3所示，假设待检测数据形成的图形为E，C是与E最近似的一个圆，C、E中心重合为点O(x₀,y₀,z₀)，C的半径为R，E上的点到中心点O的距离用R_e表示，则R_ei即为第i个三维数据点(x_i,y_i,z_i)到点O(x₀,y₀,z₀)的距离，在同一微小角度β时，C、E上的弧长分别为l、l_e。l与l_e值之间通常存在一定的差异，通过累积l与l_e之间这一微小差异即可度量C与E之间的差异程度，如式错误！未找到引用源。所示：

$\mathrm{non}-\mathrm{Rd}=\frac{1}{2\mathrm{\πR}}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}|l_{\mathrm{ei}}-l_i|---\left(15\right)$

预设合适的阈值Rd_t，若non-Rd≤Rd_t，则可判断待检测目标为圆，反之，则为椭圆。

在本实施例中，第二物理目标圆差异度系数non-Rd=0.4189，第一物理目标圆差异度系数non-Rd=0.188，预设的推荐阈值Rd_t=0.28～0.30，可以得出第一物理目标圆差异度系数non-Rd=0.188≤Rd_t，第二物理目标圆差异度系数non-Rd=0.4189≥Rd_t，由此可以得出第一物理目标为三维圆，第二物理目标为三维椭圆。

实施例的作用与效果

根据本实施例涉及的基于双目立体视觉的三维圆形目标检测和判断方法，其将双目立体视觉应用于检测三维圆形目标，基于双目立体视觉的简单、精确、快速获取物体真实三维数据的优点，不需要大量计算和人为预设大量参数，通过两步判断就可以简单有效地检测出三维物理是否为圆形目标，从根本上解决了基于二维数据检测圆形目标方法的失效问题。

Claims (3)

1.一种采用左、右二台同类型摄像机，基于双目立体视觉，对三维圆形的物理目标进行检测和识别判断的三维圆形目标检测方法，其特征在于，包含以下步骤：

摄像机标定：采用立体标定算法对所述二台摄像机进行立体标定，得到摄像机参数；

图像预处理：对所述二台摄像机分别读入的第一图像、第二图像进行预处理；

矫正：采用所述摄像机参数将所述第一图像中的第一物理目标图像以及所述第二图像中的第二物理目标图像校正至同一水平线；

二维椭圆检测：采用二维椭圆检测算法对所述第一物理目标图像和所述第二物理目标图像进行检测，得到椭圆参数；

椭圆拟合：根据所述椭圆参数得到所述物理目标的连续数学模型，在所述第一图像、所述第二图像中分别分离出所述第一物理目标图像、所述第二物理目标图像；

立体匹配：根据所述连续数学模型，将第一物理目标图像的第一二维数据以及第二物理目标图像的第二二维数据进行立体匹配，得到所述第一物理目标图像和所述第二物理目标图像之间的亚像素级别匹配视差；

三维数据生成：将所述第一二维数据以及所述亚像素级别匹配视差逆投影到三维空间，得到所述物理目标的三维数据；

非共面性检验：计算所述三维数据偏离同一平面的程度，判断所述物理目标是否为类圆形状；以及

圆差异度计算：当三维数据点在同一平面时，判断并得到所述物理目标的具体形状。

2.根据权利要求1所述的基于双目立体视觉的三维圆形图标检测方法，其特征在于：

其中，所述立体标定算法为张氏棋盘法。

3.根据权利要求1所述的基于双目立体视觉的三维圆形图标检测方法，其特征在于：

其中，所述二维椭圆检测算法为OpenCV中的二维椭圆检测算法。

Images