CN104217435A - 两个相互遮挡的球线性确定拋物折反射摄像机内参数方法 - Google Patents

Abstract

本发明涉及一种利用两个相互遮挡的球线性确定拋物折反射摄像机内参数方法，用抛物折反射摄像机对靶标从不同的方向拍摄5幅图像，该靶标的拋物折反射图像是两相交二次曲线，从图像上提取边界像素点坐标和5幅靶标图像像点坐标，根据像点与对拓像点的关系获得对拓像点，分别拟合曲线方程，球像的两个实交点与对拓球像的两个实交点构成两组对拓像点，由对拓像点的定义，上述两组对拓像点提供图像平面上的一组正交方向消失点，利用正交方向消失点对绝对二次曲线像的约束线性求解摄像机内参数。利用本发明中的靶标可以实现全自动标定,减少了标定过程中由测量引起的误差。由于球的投影轮廓线在图像中可以全部提取，因此提高了摄像机的标定精度。

Description

两个相互遮挡的球线性确定拋物折反射摄像机内参数方法

技术领域

本发明属于计算机视觉领域，涉及一种利用两相互遮挡的球线性求解抛物折反射摄像机内参数的方法。从不同的方向拍摄靶标的5幅图像，通过每幅折反射图像中球像的两个实交点与对拓球像的两个实交点构成的两组对拓像点确定一组正交方向消失点，利用正交方向消失点对绝对二次曲线像的约束线性求解抛物折反射摄像机内参数。

背景技术

计算机视觉的研究目标是使计算机具有通过二维图像认知三维环境信息的能力。这种能力将不仅使机器能感知三维环境中物体的几何信息（形状、位置、姿态、运动等），而且能对它们进行描述、存储、识别与理解。在此过程中必须确定三维标定物和它的二维图像之间的映射过程，为了确定这一映射过程，需要建立摄像机的几何成像模型，这些几何模型的参数称为摄像机参数，计算这些参数的过程就是摄像机标定。摄像机参数可分为内参数和外参数两类。内参数反映摄像机的成像几何特性；外参数表示摄像机相对于世界坐标系的位置和方向。摄像机的标定一般分为传统标定和自标定两种方法，无论哪种标定方法，标定物都是采用一些特殊的几何模型，例如：正方形、三角形、圆、立方体、圆柱、球等等。如何建立这些几何模型与摄像机参数之间的关系尤其是某种线性的关系，是目前摄像机标定所追求的目标，也是目前计算机视觉领域研究的热点之一。

抛物折反射摄像机由一个抛物镜面和一个正交摄像机组成，可视范围大且保持单视点约束，是全景视觉领域研究的热点。文献“Plane-based calibration of central catadioptric cameras”，（Gasparini S, Sturm P, Barreto J P. IEEE 12th International Conference on. IEEE, pp.1195-1202,2009.）先通过中心折反射摄像机下平面网格到它的图像之间的至少三个单应矩阵计算得到绝对二次曲线的像（IAC），再根据IAC与中心折反射摄像机内参数的关系即可得到内参数，但是这种方法需要使用迭代估计。文献“Calibration of central catadioptric cameras using a DLT-like approach”，（Puig L, Bastanlar Y, Sturm P, et al.  International journal of computer vision, vol.93,no.1,pp.101-114,2011.）提出了一种基于三维控制点的标定方法，通过使用Veronese映射对三维点和其图像点的坐标进行了扩展，在扩展坐标的基础上基于DLT——相似方法实现了中心折反射摄像机的标定，但是这类方法需要已知三维点的位置，并且容易从图像中提取其图像点。文献“Catadioptric self-calibration”，（Kang S B.Computer Vision and Pattern Recognition, 2000. Proceedings. IEEE Conference on. IEEE, vol. 1, pp. 201-207,2000.）提出了一种折反射摄像机自标定方法，这类方法的优点是不需要使用标定块，缺点是必须获得图像之间的对应点。而在计算机视觉中，实现一个十分有效的寻找对应点的方法是很困难的。文献“Geometric properties of central catadioptric line images and their application in calibration”，（Barreto J P, Araujo H. Pattern Analysis and Machine Intelligence, IEEE Transactions on, vol. 27, no.8, pp. 1327-1333, 2005.）研究了中心折反射摄像机下直线的像的几何性质，并将这些性质应用于中心折反射摄像机的标定。

球作为一种常见的几何体，其最重要的优点在于无自身遮挡，从任何一个方向看空间中一个球的封闭轮廓线总是一个圆，并且它的投影轮廓线可全部提取。由于球具有丰富的视觉几何特性，因此利用球进行摄像机标定已成为近年来的一个热点。文献“Catadioptric camera calibration using geometric invariants”，（Ying X, Hu Z. Pattern Analysis and Machine Intelligence, IEEE Transactions on, vol.26, no.10, pp. 1260-1271, 2004.）首次提出了利用球标定中心折反射摄像机。他们证明了球在中心折反射摄像机的单位球投影模型下的像为椭圆，并且在非退化情况下一个球的投影二次曲线提供两个不变量。为了降低求解的复杂度，他们提出了一种分步标定方法，该方法至少需要4个球的投影才能完成摄像机的标定。但是该文献提出的标定方法是非线性的，计算的复杂度较高，并且该标定方法只能标定抛物折反射摄像机的部分内参数。文献“Identical projective geometric properties of central catadioptric line images and sphere images with applications to calibration”，（Ying X, Zha H. International Journal of Computer Vision, vol.78, no.1, pp. 89-105, 2008.）介绍了修正绝对二次曲线的像（MIAC）在中心折反射摄像机标定中的作用。他们通过研究球在中心折反射摄像机下的像与MIAC的几何与代数性质提出了两种线性标定算法。它们得出的结论对于对偶形式也是成立的。但是这篇文献中的理论和标定方法对于抛物折反射摄像机的情况是退化的。文献“A calibration method for paracatadioptric camera from sphere images”，（Duan H, Wu Y. Pattern Recognition Letters, vol.33, no.6, pp. 677-684, 2012.）基于圆环点理论提出了一种利用对拓球像标定抛物折反射摄像机的线性方法。但是这篇文献中关于圆环点的像的选取比较复杂。

发明内容

本发明提供了一种制作简单，适用广泛，稳定性好的用于求解抛物折反射摄像机内参数的靶标，该靶标由空间中两个相互遮挡的球构成。在求解抛物折反射摄像机内参数的过程中，需使用抛物折反射摄像机拍摄5幅图像便可线性求解出抛物折反射摄像机的5个内参数。

本发明采用如下技术方案：

本发明是由空间中两个相互遮挡的球构成，用于求解抛物折反射摄像机内参数的靶标，其特征在于仅利用球元素。首先从5幅图像中提取图像边界点和靶标图像边缘点，拟合曲线获得边界曲线和5幅图像中的球像，其次根据像点和对拓像点关系获得对拓像点从而估计对拓球像，分别根据球像与对拓球像的交点确定正交方向的消失点，最后利用正交方向消失点对绝对二次曲线像的约束线性求解摄像机内参数。具体的步骤包括：拟合图像边界及靶标曲线方程，估计                                                幅图像中的对拓球像，确定正交方向的消失点，求解抛物折反射摄像机的5个内参数。

1．拟合图像边界及靶标曲线方程

利用Matlab程序中的函数提取图像边界及靶标图像特征点的坐标，并用最小二乘法拟合获得图像边界曲线方程和每幅图像中的两个球像的曲线方程。

2．估计5幅图像中的对拓球像

空间中的两个相互遮挡的球与（如图1），它们在拋物折反射摄像机的单位球模型下的投影分为两步：第一步，投影为单位视球上的一组平行小圆和一组对拓平行小圆，并且与相交于点，与相交于点，为单位视球的球心（如图2）；第二步，通过摄像机的光心将这两组平行小圆两组平行小圆和分别投影为折反射图像上的两组二次曲线和，并且与相交于点，与相交于点，称可见的二次曲线为球与的像，不可见的二次曲线为球像的对拓球像（如图3）。用Matlab中的函数提取其中一幅图像中的图像边界的像素点坐标，同时提取5幅图像中的球像曲线的边缘点，用最小二乘拟合得到相应的二次曲线方程，这里用表示图像边界曲线的系数矩阵，，表示第幅图像中的两个球像曲线的系数矩阵（为了方便用相同字母表示曲线和它的系数矩阵）。通过获得摄像机内参数矩阵的一个初始估计，从而得到IAC的初始值。取上的一组点，则与它相对应的一组对拓像点可由关系式确定，这里为摄像机的主点。由于点在球像的对拓球像上，因此可用最小二乘拟合得到对拓球像的初始曲线方程，最后通过最小化函数获得的一个估计，其中是Lagrange乘数因子，，，这里表示矩阵的第行第列元素。同理可获得球像的对拓球像的估计。

3．确定正交方向上的消失点

空间中的两个相互遮挡的球与（如图1），它们在单位视球上的投影小圆与的交点和投影小圆与的交点构成一个矩形，于是与为一组正交方向（如图2）。记与方向上的无穷远点分别为与。以虚拟摄像机的光心为投影中心，小圆与的交点的投影为小圆的投影的交点，小圆与的交点的投影为小圆的投影的交点，记与的投影分别为与，则与为一组正交方向消失点，且过两点的直线与过两点的直线交于点，过两点的直线与过两点的直线交于点（如图3）．根据上面分析即可获得第幅图像上的一组正交方向的消失点。

4．求解抛物折反射摄像机的内参数

使用抛物折反射摄像机拍摄5幅图像，由正交方向的消失点对绝对二次曲线的像的约束，线性求解出抛物折反射摄像机的5个内参数，即矩阵，其中是纵横比，是有效焦距，是倾斜因子，是主点的非齐次坐标，它们为抛物折反射摄像机的5个内参数。

本发明优点：

（1）该靶标制作简单，只需将两个球固定在一个支架上，使其具有遮挡效果。

（2）对该靶标的物理尺度没有要求，无需知道球的位置及各点的世界坐标。

（3）该靶标的图像边界点几乎可以全部提取，这样可以提高曲线拟合的精确度，从而标定精度。

 附图说明

图1是用于求解抛物折反射摄像机内参数的靶标示意图。

图2是靶标在单位球上的投影。

图3是靶标在抛物折反射像平面上的投影。

具体实施方式

一种用于求解抛物折反射摄像机内参数的靶标，它是由空间中两个相互遮挡的球构成的。用此新型靶标完成抛物折反射摄像机内参数的求解需要经过以下步骤：从5幅图像中提取图像边界点和靶标图像边缘点，拟合边界点获得边界曲线和5幅图像中的球像，根据像点和对拓像点关系获得对拓像点从而估计对拓球像，分别根据球像与对拓球像的交点确定正交方向的消失点，利用正交方向消失点对IAC的约束线性求解摄像机内参数。利用本发明中的方法对用于实验的拋物折反射摄像机进行标定，具体步骤如下：

1．拟合图像边界及靶标曲线方程

利用Matlab程序中的函数提取图像边界及靶标图像特征点的坐标，并用最小二乘法拟合特征点获得图像边界曲线方程和每幅图像中的两个球像的曲线方程。

2．估计5幅图像中的对拓球像

空间中的两个相互遮挡的球与（如图1），它们在拋物折反射摄像机的单位球模型下的投影分为两步：第一步，投影为单位视球上的一组平行小圆和一组对拓平行，并且与相交于点，与相交于点（如图2）；第二步，通过摄像机的光心将这两组平行小圆两组平行小圆和分别投影为折反射图像上的两组二次曲线和，并且与相交于点，与相交于点，称可见的二次曲线为球与的像，不可见的二次曲线为球像的对拓球像（如图3）。用Matlab中的函数提取其中一幅图像中的图像边界的像素点坐标，同时提取5幅图像中的球像曲线的边缘点，用最小二乘拟合得到相应的二次曲线方程，这里用表示图像边界曲线的系数矩阵，，表示第幅图像中的两个球像曲线的系数矩阵。通过获得摄像机内参数矩阵的初始估计，从而得到IAC的初始值。取上的一组点，则与它对应的一组对拓像点可由关系式确定，这里为摄像机主点的非齐次坐标。由于点在球像的对拓球像上，因此可用最小二乘拟合得到对拓球像的初始曲线方程，最后通过最小化函数获得的一个估计，其中是Lagrange乘数因子，，，这里表示矩阵的第行第列元素。同理可获得球像的对拓球像的估计。

3．确定正交方向上的消失点

空间中的两个相互遮挡的球与（如图1），它们在单位视球上的投影小圆与的交点和投影小圆与的交点构成一个矩形，于是与为一组正交方向（如图2）。记与方向上的无穷远点分别为与。以虚拟摄像机的光心为投影中心，小圆与的交点的投影为小圆的投影的交点，小圆与的交点的投影为小圆的投影的交点，记与的投影分别为与，则与为一组正交方向消失点，且过两点的直线与过两点的直线交于点，过两点的直线与过两点的直线交于点（如图3）．根据上面分析即可获得第幅图像上的一组正交方向的消失点。

4．求解抛物折反射摄像机的内参数

使用抛物折反射摄像机拍摄5幅图像，由正交方向的消失点对IAC的约束，线性求解出抛物折反射摄像机的5个内参数，即矩阵，其中是纵横比，是有效焦距，是倾斜因子，是主点的非齐次坐标，它们为抛物折反射摄像机的5个内参数。 

实施例

本发明提出了利用空间两个相互遮挡的球作为靶标线性确定抛物折反射摄像机的内参数。本发明采用的实验模块结构示意图如图1所示。下面以一实例对本发明的实施方案做出更为详细的描述。

基于空间中两个相互遮挡的球的抛物折反射摄像机标定方法采用的实验模板是空间中两个相互遮挡的球，如图1所示。两个球分别为与，利用本发明中的方法对用于实施的抛物折反射摄像机进行标定，具体步骤如下：

1．拟合图像边界及靶标曲线方程

本发明采用的图像分辨率为个像素，用抛物折反射摄像机拍摄5幅实验图片，读入图像，利用Matlab中的函数提取图像边界及靶标图像特征点的坐标，并用最小二乘算法拟合特征点得到图像中的各条曲线方程。

经以上方法计算图像的边界曲线方程及5幅图像中的球像方程，图像的边界曲线方程的系数矩阵为，第幅图像中的两个球像方程的系数矩阵为，如下：

；

，

；

，

；

，

；

，

；

，

。

 2．估计5幅图像中的对拓球像

空间中的两个相互遮挡的球与（如图1），它们在拋物折反射摄像机的单位球模型下的投影分为两步：第一步，投影为单位视球上的一组平行小圆和一组平行的对拓小圆，并且与相交于点，与相交于点（如图2）；第二步，通过摄像机的光心将这两组平行小圆两组平行小圆和分别投影为折反射图像上的两组二次曲线和，并且与相交于点，与相交于点，称可见的二次曲线为球与的像，不可见的二次曲线为球像的对拓球像（如图3）。5幅图像中的某一幅图像的边界曲线的系数矩阵为，则可获得内参数矩阵的一个初始估计，从而得到IAC的初始值，如下：

第幅图像中的两个球像方程的系数矩阵为，取上的一组点，则与它相对应的一组对拓像点可由关系式确定，这里为摄像机的主点。由于点在球像的对拓球像上，因此可用最小二乘拟合得到对拓球像的初始曲线方程，最后通过最小化函数获得的一个估计，其中是Lagrange乘数因子，，，这里表示矩阵的第行第列元素。同理可获得球像的对拓球像的估计。如下

，

；

，

；

，

；

，

；

，

。

 3．确定正交方向上的消失点

空间中两个相互遮挡的球与（如图1），它们在单位视球上的投影小圆与的交点和投影小圆与的交点构成一个矩形，则与为一组正交方向（如图2）。记与方向上的无穷远点分别为与。以摄像机的光心为投影中心，小圆与的交点的投影为小圆的投影的交点，小圆与的交点的投影为小圆的投影的交点，记与的投影分别为与，则与为一组正交方向消失点，且过两点的直线与过两点的直线交于点，过两点的直线与过两点的直线交于点（如图3）．设第幅图像上两个球像的实交点为，对拓球像的实交点为，正交消失点的齐次坐标为，，，则有方程组（1）和（2）   

                  （1）

                   （2）

通过方程组（1）和（2）便可解得第幅图像上的正交方向消失点，如下

，；

，；

，；

，；

，。

4．求解抛物折反射摄像机的内参数

经过以上步骤得到5组正交方向的消失点，可线性求解出IAC，有

对IAC进行Cholesky分解再求逆便可获得物折反射摄像机内参数矩阵，有，其中纵横比（是矩阵的第行第列的元素），故抛物折反射摄像机的5个内参数分别为：，，，，。

Claims (1)

1.一种利用空间中两个相互遮挡的球线性求解抛物折反射摄像机内参数的方法；靶标由两个相互遮挡的球构成，其特征在于仅利用球元素；首先从5幅图像中提取图像边界点和靶标图像边缘点，拟合曲线获得边界曲线和5幅图像中的球像，其次根据像点和对拓像点关系获得对拓像点从而估计对拓球像，分别根据球像与对拓球像的交点确定正交方向的消失点，最后利用正交方向消失点对绝对二次曲线像的约束线性求解摄像机内参数；具体的步骤包括：拟合图像边界及靶标曲线方程，估计                                                幅图像中的球像与对拓球像，确定正交方向的消失点，求解抛物折反射摄像机的5个内参数；

（1）估计幅图像中的球像与对拓球像

空间中的两个相互遮挡的球与，它们在拋物折反射摄像机的单位球模型下的投影分为两步：第一步，投影为单位视球上的一组平行小圆和一组平行对拓小圆，并且与相交于点，与相交于点，为单位视球的球心；第二步，通过摄像机的光心将这两组平行小圆两组平行小圆和分别投影为折反射图像上的两组二次曲线和，并且与相交于点，与相交于点，称可见的二次曲线为球与的像，不可见的二次曲线为球像的对拓球像；用Matlab中的函数提取其中一幅图像中的图像边界的像素点坐标，同时提取5幅图像中的球像曲线的边缘点，用最小二乘拟合得到相应的二次曲线方程，这里用表示图像边界曲线的系数矩阵，，表示第幅图像中的两个球像曲线的系数矩阵（为了方便用相同的字母表示曲线和它的系数矩阵）；通过获得摄像机内参数矩阵的一个初始估计，从而得到绝对二次曲线的像的初始值；取上的一组点，则与它相对应的一组对拓像点可由关系式确定，这里为摄像机的主点；由于点在球像的对拓球像上，因此可用最小二乘拟合得到对拓球像的初始曲线方程，最后通过最小化函数获得的一个估计，其中是Lagrange乘数因子，，，这里表示矩阵的第行第列元素；同理可获得球像的对拓球像的估计；

（2）确定正交方向的消失点

空间中的两个相互遮挡的球与，它们在单位视球上的投影小圆与的交点和投影小圆与的交点构成一个矩形，于是与为一组正交方向；记与方向上的无穷远点分别为与；以虚拟摄像机的光心为投影中心，小圆与的交点的投影为小圆的投影的交点，小圆与的交点的投影为小圆的投影的交点，记与的投影分别为与，则与为一组正交方向消失点，且过两点的直线与过两点的直线交于点，过两点的直线与过两点的直线交于点．根据上面分析即可获得第幅图像上的一组正交方向的消失点。