CN103268610A - 一种折反射全向相机的统一模型及其标定方法 - Google Patents

Abstract

本发明公开了一种折反射全向相机的统一模型及其标定方法。通过虚拟的单位球、虚拟视点、归一化平面和成像平面构成一个折反射相机的统一模型，在统一模型的基础上，利用折反射全向相机获得的多幅标定板图像来标定模型的参数和标定板与折反射全向相机的位姿关系。本发明在单视点折反射相机存在失准的情况下，该模型的精度远高于传统的单视点折反射相机的统一成像模型。而相比于其他非单视点成像模型，该模型成像模型简单、可操作性强、优化速度快，并且精度和抗噪声性能较好。本发明的标定方法，准确度高、操作方便，而且因为初值的计算使得非线性优化速度快。

Description

一种折反射全向相机的统一模型及其标定方法

技术领域

本发明涉及图像数据、处理分析的方法，尤其是涉及一种折反射全向相机的统一模型及其标定方法。

背景技术

传统相机视场较小，一般不大于180度，为了弥补这种不足，近年来研究人员提出了不同种类的大视场相机，其中具有360度视场的折反射全向相机被广泛运用在机器人导航、视频会议、视频监控和场景重建等领域。折反射全向相机由一个轴对称的旋转镜面和一个普通的透视相机组成，来自物体的光线通过镜面反射后进入透视相机。不同的镜面可以组成具有不同特性的折反射全向相机。

折反射全向相机根据入射光线是否都通过一个虚拟点可以分为：单一视点折反射相机和非单视点折反射相机。单一视点折反射相机所有入射光线通过一个有效视点，文献1（Baker,S.and Nayar,S,"A theory ofcatadioptric image formation,"IEEE International Conference on Computer Vision,1998,pp.35-42）详细的描述的单一视点折反射相机及其成像过程。单一视点折反射相机成像过程简单，且存在一个统一模型可以描述所有单一视点折反射相机的成像模型，文献2（C.Geyer and K.Daniilidis,"A unifying theory for centralpanoramic systems and practical implications,"Computer Vision—ECCV2000,445-461(2000)）详细阐述了单一视点折反射相机的传统统一模型。但是单一视点折反射相机对镜面和透视相机以及两者之间的位姿关系有着严格的要求，尤其是位姿关系，一般单视点折反射相机要求镜面的对称轴和相机的光轴相互对准，且镜面和相机之间的距离一定。当镜面和透视相机之间的位姿关系不满足特定条件的时候，如镜面发生旋转或者平移，使得镜面对称轴和相机光轴不再对准，折反射相机发生失准（misalignment），入射光线不再通过一个固定的有效视点，单一视点折反射相机转换为非单视点折反射相机。在实际当中由于无法测得透视相机的光心的位置，因此相机与镜面之间的位姿关系不可能完全符合单一视点折反射相机的要求，也就是现实当中的折反射相机都或多或少的存在失准。为了描述非单视点折反射相机，不同模型和标定方法被提出。文献3（C.Mei and P.Rives,"Single View Point Omnidirectional Camera Calibration from Planar Grids,"inRobotics and Automation,2007IEEE International Conference on,2007）在统一模型的基础上加入了切向畸变来弥补失准，但是切向畸变只能补偿较小的失准，失准较大时切向畸变无法补偿，使得在失准较大时，标定结果并不理想。文献4（Z.Xiang,B.Sun,and X.Dai,"The Camera Itself as a Calibration Pattern:A NovelSelf-Calibration Method for Non-Central Catadioptric Cameras,"Sensors12,7299-7317(2012).）没有将非单视点折反射相机看成一个整体，而是将镜面和透视相机看成两个部分，标定折反射相机就是标定镜面和透视相机直接的位姿关系，该方法利用镜面边缘和透视相机镜头成像来标定位姿关系，但是该方法的成像模型复杂，透视相机内参需要离线标定。

发明内容

针对背景技术中标定方法的不足，本发明的目的在于提出一种折反射全向相机的统一模型及其标定方法。

本发明采用的技术方案如下：

一、一种折反射全向相机的统一模型：

该模型由虚拟的单位球，虚拟视点，归一化平面П_mu和成像平面П_p组成；以虚拟的单位球中心C_m为中心建立坐标系F_m，以虚拟视点C_p为中心建立坐标系F_p，两坐标系相互平行，归一化平面П_mu为F_p中的z＝1平面，归一化平面П_mu上的点通过径向失真和透视变换投影到成像平面П_p；

所述模型中，有两个坐标系，以虚拟视点C_p为原点的坐标系F_p，和以单位球中心C_m为原点的坐标系F_m，虚拟视点C_p在F_m坐标系中的坐标为(-ξ1,-ξ2,-ξ3)^T；

空间点X_m在世界坐标系F_w中的表示为(X_m)_W=(x_w,y_w,z_w)^T，通过以下过程成像：

（1）空间点从世界坐标系F_w转换到F_m坐标系，

其中R_W和T_w为世界坐标系和F_m坐标系的转换关系，此时空间点在F_m坐标系中的坐标为

（2）将

投影到单位球面上

坐标为(x_s,y_s,z_s)^T，

（3）

从F_m坐标转换到F_p坐标系下

（4）将

投影到归一化平面П_mu的m_u坐标为(x,y,1)^T，

h()为一投影函数；

（5）在归一化平面上加入径向失真以弥补真实系统中透视相机镜头的失真，径向失真函数为径向畸变函数L(ρ)=1+k₁ρ²+k₂ρ⁴+k₃ρ⁶，其中

k₁,k₂,k₃为失真系数，失真后的点其中x′=x*L(ρ),y′=y*L(ρ)；

（6）通过透视变换将归一化平面上的点

投影到成像平面П_p上点p坐标为(u,v,1)^T，

${\mathrm{Km}}_u^{\′}=\left[\begin{array}{ccc}{f}_1\mathrm{\η}& f_1\mathrm{\η\α}& u_0\\ 0& f_2\mathrm{\η}& v_0\\ 0& 0& 1\end{array}\right]m_u^{\′}=k\left(m_u^{\′}\right);$ 其中k()为一投影函数，f₁,f₂是相机的焦距，(u₀,v₀)是相机的主点，α是偏斜，η是一个镜面形状参数，此处的K为归一化平面到成像平面的透视变换矩阵，不再将折反射系统看成是一个独立的镜面和一个独立的相机，而是将之视为一个整体，内参矩阵K包含了相机和镜面的参数，f₁,f₂和η无法单独得到，只能得到γ₁=f₁η，γ₂=f₂η。

二、一种折反射全向相机的统一模型的标定方法

（1）利用折反射全向相机拍摄一组包含方形网格标定板的图像，确保图像中标定板网格清晰，使标定板的成像在所得图像中均匀分布；

（2）提取网格点来计算出模型内参的初始值；

（3）手动提取出标定板网格图像的网格点；

（4）通过内参的初始值和网格点的坐标计算出模型外参的初始值；

（5）利用Levenberg-Marquardt方法最小化重投影误差来优化系统的内外参。

所述步骤（2）中计算内参的初始值的方式为：先假设折反射全向相机为单一视点模型，设k₁≈k₂≈k₃≈α≈ξ1≈ξ2≈0，γ₁≈γ₂=γ，所需要估计的内参为ξ3、γ、u₀、v₀，鉴于ξ3对系统参数的初值计算影响不大，设ξ3=1，主点[u₀,v₀]的初始值估计，先提取图像中镜面边缘，再取图像中镜面的中心为主点的初值，在上述内参初值的假设下，根据统一成像模型，从归一化平面上的点m_u映射到单位球面上的点 ${\left(X_s\right)}_{F_m}={(x_s,y_s,z_s)}^T=h^{-1}\left(m_u\right)=s\left[\begin{array}{c}x\\ y\\ \frac{1}{2}-\frac{1}{2}(x^2+y^2)\end{array}\right],$ s为一比例系数；而m_u=λK^-1p=(x,y,1)^T，所以

λ为比例系数；通过同一条直线上的三个或三个以上的点的成像来求得γ：

坐标系F_m中，空间一条不过原点C_m的直线和原点构成一个平面，其单位法向量为N=(n_x,n_y,n_z)^T，这条直线上的点的向量与N垂直， $h^{-1}{\left(m_u\right)}^{T}N=0\⇔n_x{u}_c+n_y{v}_c+\frac{a_2}{2}-b_2\frac{u_c^2+v_c^2}{2}=0,$ 其中a₂=γn_z，u_c=u-u₀，v_c=v-v₀；

在图像上选取同一直线上的n个点，得到n个线性方程，第i个点对应的u_c，v_c为u_ci，v_ci，i=1..n：

$\left[\begin{array}{cccc}{u}_{c1}& v_{c1}& \frac{1}{2}& -\frac{u_{c1}^2+v_{c1}^2}{2}\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ u_{\mathrm{cn}}& v_{\mathrm{cn}}& \frac{1}{2}& -\frac{u_{\mathrm{cn}}^2+v_{\mathrm{cn}}^2}{2}\end{array}\right]\left[\begin{array}{c}{n}_x\\ n_y\\ a_2\\ b_2\end{array}\right]=0$

方程数大于3时，通过上面的方程得到qn_x，qn_y，qa₂，qb₂，q为一系数，而(qn_x)²+(qn_y)²+(qa₂qb₂)=q²，从而得到q，接着得到n_x，n_y，a₂，b₂， 至此，得到了系统的内参的初值。

所述步骤（4）中计算模型外参的初始值的方式为：外参为标定板和相机系统之间的位姿关系R_W和T_w，沿用内参估计时的假设，k₁≈k₂≈k₃≈α≈ξ1≈ξ2≈0和ξ3=1，结合在单位球上和 ${(\frac{x_s+\mathrm{\ξ}1}{z_s+\mathrm{\ξ}3},\frac{y_s+\mathrm{\ξ}2}{z_s+\mathrm{\ξ}3},1)}^T={(x,y,1)}^T,$ 推导得到： $z_s=-1+\frac{2}{x^2+y^2+1},$ $x_s=\frac{2x}{x^2+y^2+1},$ $y_s=\frac{2y}{x^2+y^2+1},$ 从而 ${\left(X_m\right)}_{F_m}=$ ${\mathrm{\λ}}_4{\left(X_s\right)}_{F_m}={\mathrm{\λ}}_4\left[\begin{array}{c}{x}_s\\ y_s\\ z_s\end{array}\right]={\mathrm{\λ}}_4\left[\begin{array}{c}\frac{2x}{x^2+y^2+1}\\ \frac{2y}{x^2+y^2+1}\\ -1+\frac{2}{x^2+y^2+1}\end{array}\right]=\frac{{2\mathrm{\λ}}_4}{x^2+y^2+1}\left[\begin{array}{c}x\\ y\\ \frac{1}{2}-\frac{x^2+y^2}{2}\end{array}\right]={\mathrm{\λ}}_{4}s(u_c,v_c)\left[\begin{array}{c}\frac{u_c}{\mathrm{\γ}}\\ \frac{v_c}{\mathrm{\γ}}\\ \frac{1}{2}-\frac{u_c^2+v_c^2}{{2\mathrm{\γ}}^2}\end{array}\right],$ 其中λ₄为一系数， $s(u_c,v_c)=\frac{2}{{\left(\frac{u_c}{\mathrm{\γ}}\right)}^2+{\left(\frac{v_c}{\mathrm{\γ}}\right)}^2+1},$ 而又有 ${\left(X_m\right)}_{F_m}=R_W{\left(X_m\right)}_W+T_w=\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right]\left[\begin{array}{c}{x}_W\\ y_W\\ z_W\end{array}\right]+\left[\begin{array}{c}{t}_1\\ t_2\\ t_3\end{array}\right],$ 其中 $R_W=$ $[r_1,r_2,r_3]=\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right],$ $T_w=\left[\begin{array}{c}{t}_1\\ t_2\\ t_3\end{array}\right],$ ${\left(X_m\right)}_W=\left[\begin{array}{c}{x}_W\\ y_W\\ z_W\end{array}\right],$ (X_m)_W为标定板上的点在世界坐标系下的坐标，选世界坐标系F_w，使得z_W=0；根据上面的方程，对空间中的点(X_m)_W=(x_W，y_W，z_W)^T和图像上的对应点p=(u,v,1)^T，得到方程组：

$\left\{\begin{array}{c}{\mathrm{\λ}}_{4}s(u_c,v_c)\frac{u_c}{\mathrm{\γ}}=r_{11}{x}_W+r_{12}{y}_W+t_1\\ {\mathrm{\λ}}_{4}s(u_c,v_c)\frac{v_c}{\mathrm{\γ}}=r_{21}{x}_W+r_{22}{y}_W+t_2\\ {\mathrm{\λ}}_{4}s(u_c,v_c)(\frac{1}{2}-\frac{u_c^2+v_c^2}{{2\mathrm{\γ}}^2})=r_{31}{x}_W+r_{32}{y}_W+t_3\end{array}\right.$

从上面的方程组得到线性方程：AC=0

其中C=(r₁₁,r₁₂,t₁,r₂₁,r₂₂,t₂,r₃₁,r₃₂,t₃)^T，

$A=\left[\begin{array}{ccccccccc}a& b& c& -d& -e& -f& 0& 0& 0\\ 0& 0& 0& g& h& i& -a& -b& -c\\ g& h& i& 0& 0& 0& -d& -e& -f\end{array}\right],$

a=v_cx_W，b=v_cy_W，c=v_c，d=u_cx_W，e=u_cy_W，f=u_c，

$i=(\frac{\mathrm{\γ}}{2}-\frac{u_c^2+v_c^2}{2\mathrm{\γ}}),$

假设标定板上有n个点，X₁，X₂，…，X_n，与之对应图像上有n个点p₁,p₂,…,p_n，列出n组线性方程组,第j个点对应的a,b,c,d,e,f,g,h,i为a_j,b_j,c_j,d_j,e_jf_j,g_j,h_j,i_j,j=1..n：

当n＞6时，通过上述方程组解出C的最小二乘解C′=[c₁,c₂,c₃,c₄,c₅,c₆,c₇,c₈,c₉]^T，接着解出R_W和T_W： $s_4=\sqrt{c_1^2+c_4^2+c_7^2},$ $r_{11}=\frac{c_1}{s_4},$ $r_{12}=\frac{c_2}{s_4},$ $t_1=\frac{c_3}{s_4},$ $r_{21}=\frac{c_4}{s_4},$ $r_{22}=\frac{c_5}{s_4},$ $t_2=\frac{c_6}{s_4},$ $r_{31}=\frac{c_7}{s_4},$ $r_{32}=\frac{c_8}{s_4},$ $t_3=\frac{c_9}{s_4},$ r₁=[r₁₁,r₂₁,r₃₁]^T，r₂=[r₁₂,r₂₂,r₃₂]^T，

R=[r₁,r₂,r₃]，T_W=[t₁,t₂,t₃]^T；对R进行奇异值分解，R=U∑V，取R_W=UV；至此，得到了标定板相对于模型的外参的初值R_W和T_W。

所述步骤（5）重投影误差计算方法：通过统一成像模型，提炼出下面的重投影误差函数F，有n块标定板，第i块标定板的姿态为R_iW，T_iW，板上有m_i个点：

$F(\mathrm{\ξ}1,\mathrm{\ξ}2,\mathrm{\ξ}3,k_1,k_2,k_3,\mathrm{\α},{\mathrm{\γ}}_1,{\mathrm{\γ}}_2,R_{1W},T_{1W},...,R_{\mathrm{nW}},T_{\mathrm{nW}})$

$=\frac{1}{2}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{m_i}{\mathrm{\Σ}}}{[G(\mathrm{\ξ}1,\mathrm{\ξ}2,\mathrm{\ξ}3,k_1,k_2,k_3,\mathrm{\α},{\mathrm{\γ}}_1,{\mathrm{\γ}}_2,R_{\mathrm{iW}},T_{\mathrm{iW}},g_{\mathrm{ij}})-e_{\mathrm{ij}}]}^2$

G为投影函数，将空间点投影到图像上，即前述模型的成像结果，g_ij为空间点的坐标，e_ij为对应图像点的坐标；通过Levenberg-Marquardt方法对F进行非线性优化得到内外参的优化解，使用之前得到的步骤（2）和（4）中的初值作为优化的初值。

本发明具有的有益效果是：

本发明在单视点折反射相机存在失准的情况下，该模型的精度远高于传统的单视点折反射相机的统一成像模型。而相比于其他非单视点成像模型，该模型成像模型简单、可操作性强、优化速度快，并且精度和抗噪声性能较好。本发明的标定方法，准确度高、操作方便，而且因为初值的计算使得非线性优化速度快。

附图说明

图1是改进的折反射相机统一成像模型。

图2是基于新模型的标定方法的流程图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步的描述。

折反射相机由一个透视相机和一个轴对称的旋转镜面组成，不同的镜面可以组成不同特性的折反射全向相机。一般根据是否有单一视点将折反射全向相机分为单视点折反射相机和非单视点折反射全向相机。文献2（C.Geyer and K.Daniilidis,"A unifying theory for central panoramic systems and practical implications,"Computer Vision—ECCV 2000,445-461(2000)）中详细阐述了一种试用于所有单视点的统一成像模型。该统一模型由于其通用性，被广泛的使用在单视点折反射相机的建模和标定中。然而当折反射相机的镜面和透视相机的位置发生偏离时，单视点折反射相机发生失准，转换为了非单视点折反射相机。对失准的情况，传统的统一模型不再适用。为了弥补失准，本专利提出了一种改进的统一成像模型，如图1所示。

如图1所示，该模型由虚拟的单位球，虚拟视点，归一化平面П_mu和成像平面组成П_p；以虚拟的单位球中心C_m为中心建立坐标系F_m，以虚拟视点C_p为中心建立坐标系F_p，两坐标系相互平行，归一化平面П_mu在F_p中，垂直于F_p坐标系的z轴，也就是Z_s方向，且距离原点C_p为1，归一化平面П_mu上的点通过径向失真和透视变换投影到成像平面П_p；

传统的折反射全向相机的统一模型的虚拟视点限制在z方向上，其虚拟视点在F_m中的坐标为(0,0,-ξ3),这使得传统折反射全向相机统一模型不能很好的补偿折反射全向相机的失准。而本发明中的模型，在传统的统一成像模型的基础上加入了虚拟视点另外两个方向的参量ξ1，ξ2，虚拟视点(C_p)在F_m中的坐标为(-ξ1,-ξ2,-ξ3)，使得虚拟视点可以在三维空间自由移动，通过虚拟视点的移动来有效补偿折反射全向相机的失准。

新提出的模型中，有两个坐标系：以虚拟视点C_p为原点的F_p和以单位球中心C_m为原点的F_m，原点C_p在F_m坐标系中的坐标为(-ξ1,-ξ2,-ξ3)^T，在单视点折反射系统时ξ1=0，ξ2=0，ξ3是一个与镜面形状相关的参数。

点X_m在世界坐标系F_w中的表示为(X_m)_W=(x_w,y_w,z_w)^T，通过以下过程成像：

（1）空间点从世界坐标系F_w转换到F_m坐标系，其中R_W和T_w为世界坐标系和F_m坐标系的转换关系，此时空间点在F_m坐标系中的坐标为

（2）将投影到单位球面上

坐标为(x_s,y_s,z_s)^T，

（3）从F_m坐标转换到F_p坐标系下

${\left(X_s\right)}_{F_p}={(X_s+\mathrm{\ξ}1,y_s+\mathrm{\ξ}2,z_s+\mathrm{\ξ}3)}^T.$

（4）将

投影到归一化平面П_mu的m_u坐标为(x,y,1)^T，

h()为投影函数；

（5）在归一化平面上加入径向失真以弥补真实系统中透视相机镜头的失真。径向失真函数为径向畸变函数L(ρ)=1+k₁ρ²+k₂ρ⁴+k₃ρ⁶，其中k₁,k₂,k₃为失真系数，失真后的点

其中x′=x*L(ρ),y′=y*L(ρ)

（6）通过一个普通的透视变换将归一化平面上的点

投影到成像平面上点p坐标为(u,v,1)^T， $p={(u,v,1)}^T={\mathrm{km}}_u^{\′}=\left[\begin{array}{ccc}{f}_1\mathrm{\η}& f_1\mathrm{\η\α}& u_0\\ 0& f_2\mathrm{\η}& v_0\\ 0& 0& 1\end{array}\right]m_u^{\′}=k\left(m_u^{\′}\right).$ 其中k()为一投影函数，f₁,f₂是相机的焦距，(u₀,v₀)是相机的主点，α是偏斜（skew），η是镜面参数。此处的k为归一化平面到成像平面的透视变换矩阵，不再将折反射系统看成是一个独立的镜面和一个独立的相机，而是将之视为一个整体，内参矩阵k包含了相机和镜面的参数，f₁,f₂和η无法单独得到，只能得到γ₁=f₁η，γ₂=f₂η。

2、基于改进的统一成像模型的折反射全向相机的标定方法：

图2给出了折反射全向相机标定方法的技术流程，该方法主要包括5个步骤：

（1）利用折反射全向相机拍摄一组包含标定板（方形网格）的图像，确保图像中标定板网格清晰，且尽量使标定板的成像在所得图像中均匀分布。

（2）计算出模型内参的初始值：

先假设折反射全向相机为单一视点模型，设k₁≈k₂≈k₃≈α≈ξ1≈ξ2≈0，γ₁≈γ₂=γ，所需要估计的内参为ξ3、γ、u₀、v₀，γ为γ₁和γ₂的估计，鉴于ξ3对系统参数的初值计算影响不大，设ξ3=1。主点[u₀,v₀]的初始值估计可以取图像中点，也可人工选定，或者先提取图像中镜面边缘，再取图像中镜面的中心为主点的初值。在上述内参初值的假设下，根据1中的统一成像模型，从归一化平面上的点m_u映射到单位球面上的点 ${\left(X_s\right)}_{F_m}={(x_s,y_s,z_s)}^T=h^{-1}\left(m_u\right)=s\left[\begin{array}{c}x\\ y\\ \frac{1}{2}-\frac{1}{2}(x^2+y^2)\end{array}\right],$ s为一比例系数。而m_u=λK^-1p=(x,y,1)^T，所以

λ为比例系数。可以通过同一条直线上的三个或三个以上的点的成像来求得γ：

坐标系F_m中，空间一条不过原点（c_m）的直线和原点构成一个平面，其单位法向量为N=(n_x,n_y,n_z)^T，这条直线上的点的向量与N垂直， $h^{-1}{\left(m_u\right)}^{T}N=0\⇔n_x{u}_c+n_y{v}_c+\frac{a_2}{2}-b_2\frac{u_c^2+v_c^2}{2}=0,$ 其中a₂=γn_z， $b_2=\frac{n_z}{\mathrm{\γ}},$ u_c=u-u₀，v_c=v-v₀；

在图像上选取同一直线上的n个点，可以得到n个线性方程，u_ci,v_ci,i=1..n分别对应第i个点的u_c和v_c：

$\left[\begin{array}{cccc}{u}_{c1}& v_{c1}& \frac{1}{2}& -\frac{u_{c1}^2+v_{c1}^2}{2}\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ u_{\mathrm{cn}}& v_{\mathrm{cn}}& \frac{1}{2}& -\frac{u_{\mathrm{cn}}^2+v_{\mathrm{cn}}^2}{2}\end{array}\right]\left[\begin{array}{c}{n}_x\\ n_y\\ a_2\\ b_2\end{array}\right]=0$

方程数大于3时，通过上面的方程可以得到qn_x，qn_y，qa₂，qb₂，q为一系数。而(qn_x)²+(qn_y)²+(qa₂qb₂)=q²，从而可以得到q，接着便可以得到n_x，n_y，a₂，b₂，

至此得到了系统的内参的初值。

（3）手动提取出标定板网格图像的网格点。

（4）通过内参的初值和网格点的坐标计算出模型外参的初始：

外参为标定板和相机系统之间的位姿关系R_W和T_w，沿用内参估计时的假设，k₁≈k₂≈k₃≈α≈ξ1≈ξ2≈0和ξ3=1，结合 $z_s^2+y_s^2+x_s^2=1$ （

在单位球上）和 ${(\frac{x_s+\mathrm{\ξ}1}{z_s+\mathrm{\ξ}3},\frac{y_s+\mathrm{\ξ}2}{z_s+\mathrm{\ξ}3},1)}^T={(x,y,1)}^T$ 得到： $z_s=-1+\frac{2}{x^2+y^2+1},$ $x_s=\frac{2x}{x^2+y^2+1},$ $y_s=\frac{2y}{x^2+y^2+1},$ 从而 ${\left(X_m\right)}_{F_m}={\mathrm{\λ}}_4{\left(X_s\right)}_{F_m}={\mathrm{\λ}}_4\left[\begin{array}{c}{x}_s\\ y_s\\ z_s\end{array}\right]={\mathrm{\λ}}_4\left[\begin{array}{c}\frac{2x}{x^2+y^2+1}\\ \frac{2y}{x^2+y^2+1}\\ -1+\frac{2}{x^2+y^2+1}\end{array}\right]=$ $\frac{{2\mathrm{\λ}}_4}{x^2+y^2+1}\left[\begin{array}{c}x\\ y\\ \frac{1}{2}-\frac{x^2+y^2}{2}\end{array}\right]={\mathrm{\λ}}_{4}s(u_c,v_c)\left[\begin{array}{c}\frac{u_c}{\mathrm{\γ}}\\ \frac{v_c}{\mathrm{\γ}}\\ \frac{1}{2}-\frac{u_c^2+v_c^2}{{2\mathrm{\γ}}^2}\end{array}\right],$ 其中λ₄为一系数， $s(u_c,v_c)=\frac{2}{{\left(\frac{u_c}{\mathrm{\γ}}\right)}^2+{\left(\frac{v_c}{\mathrm{\γ}}\right)}^2+1},$ 而又有 ${\left(X_m\right)}_{F_m}=$ $R_W{\left(X_m\right)}_W+T_w=\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right]\left[\begin{array}{c}{x}_W\\ y_W\\ z_W\end{array}\right]+\left[\begin{array}{c}{t}_1\\ t_2\\ t_3\end{array}\right],$ 其中 $R_W=[r_1,r_2,r_3]=\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right],$ $T_w=\left[\begin{array}{c}{t}_1\\ t_2\\ t_3\end{array}\right],$ (X_m)_W为标定板上的点在世界坐标系下的坐标，而世界坐标系可以任意选择，选世界坐标系F_w，使得z_W=0；根据上面的方程，对空间中的点(X_m)_W=(x_W，y_W，z_W)^T和图像上的对应点p=(u,v,1)^T，可以得到方程组：

$\left\{\begin{array}{c}{\mathrm{\λ}}_{4}s(u_c,v_c)\frac{u_c}{\mathrm{\γ}}=r_{11}{x}_W+r_{12}{y}_W+t_1\\ {\mathrm{\λ}}_{4}s(u_c,v_c)\frac{v_c}{\mathrm{\γ}}=r_{21}{x}_W+r_{22}{y}_W+t_2\\ {\mathrm{\λ}}_{4}s(u_c,v_c)(\frac{1}{2}-\frac{u_c^2+v_c^2}{{2\mathrm{\γ}}^2})=r_{31}{x}_W+r_{32}{y}_W+t_3\end{array}\right.$

从上面的方程组可以得到线性方程：AC=0

其中C=(r₁₁,r₁₂,t₁,r₂₁,r₂₂,t₂,r₃₁,r₃₂,t₃)^T，

$A=\left[\begin{array}{ccccccccc}a& b& c& -d& -e& -f& 0& 0& 0\\ 0& 0& 0& g& h& i& -a& -b& -c\\ g& h& i& 0& 0& 0& -d& -e& -f\end{array}\right],$

a=v_cx_W，b=v_cy_W，c=v_c，d=u_cx_W，e=u_cy_W，f=u_c，

$i=(\frac{\mathrm{\γ}}{2}-\frac{u_c^2+v_c^2}{2\mathrm{\γ}}),$

假设标定板上有n个点，X₁，X₂，…，X_n，与之对应图像上有n个点p₁,p₂,…,p_n，可以列出n组线性方程组，第j个点对应的a,b,c,d,e,f,g,h,i为a_j,b_j,c_j,d_j,e_jf_j,g_j,h_j,i_j,j=1..n：

当n＞6时，通过上述方程组可以解出C的最小二乘解C′=[c₁,c₂,c₃,c₄,c₅,c₆,c₇,c₈,c₉]^T，接着可以解出R_W和T_W:

$s_4=\sqrt{c_1^2+c_4^2+c_7^2},$ $r_{11}=\frac{c_1}{s_4},$ $r_{12}=\frac{c_2}{s_4},$ $t_1=\frac{c_3}{s_4},$ $r_{21}=\frac{c_4}{s_4},$ $r_{22}=\frac{c_5}{s_4},$ $t_2=\frac{c_6}{s_4},$ $r_{31}=\frac{c_7}{s_4},$ $r_{32}=\frac{c_8}{s_4},$ $t_3=\frac{c_9}{s_4},$ r₁=[r₁₁,r₂₁,r₃₁]^T，r₂=[r₁₂,r₂₂,r₃₂]^T，

R=[r₁,r₂,r₃]，T_W=[t₁,t₂,t₃]^T。上面得到的R可能不是单位正交矩阵，那么对R进行奇异值分解，R=U∑V，取R_W=UV。至此得到了标定板相对于模型的外参的初值R_W和T_W。

（5）利用Levenberg-Marquardt方法最小化重投影误差来优化系统的内外参。通过本发明的统一成像模型，可以简单的提炼出下面重投影误差函数F（有n块标定板，第i块标定板的姿态为R_iW，T_iW，板上有m_i个点）：

$F(\mathrm{\ξ}1,\mathrm{\ξ}2,\mathrm{\ξ}3,k_1,k_2,k_3,\mathrm{\α},{\mathrm{\γ}}_1,{\mathrm{\γ}}_2,R_{1W},T_{1W},...,R_{\mathrm{nW}},T_{\mathrm{nW}})$

$=\frac{1}{2}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{m_i}{\mathrm{\Σ}}}{[G(\mathrm{\ξ}1,\mathrm{\ξ}2,\mathrm{\ξ}3,k_1,k_2,k_3,\mathrm{\α},{\mathrm{\γ}}_1,{\mathrm{\γ}}_2,R_{\mathrm{iW}},T_{\mathrm{iW}},g_{\mathrm{ij}})-e_{\mathrm{ij}}]}^2$

G为投影函数，将空间点投影到图像上，即前述模型的成像结果，g_ij为空间点的坐标，e_ij为对应图像点的坐标。通过Levenberg-Marquardt方法可以对F进行非线性优化得到内外参的优化解，使用之前得到的步骤（2）和（4）中的初值作为优化的初值。

至此为止，模型的内参和外参的优化结果都已得到，折反射相机的标定也便完成。

实施例：

折反射相机由H3S双曲镜面(a=0.0281m,b=0.0234m)和SONYXCD-SX910CR相机(f_x=1455,f_y=1459,α=0,u₀=639.2,v₀=482.2，分辨率1280×960)组成。通过该折反射相机采集方格数为7×10（交点个数为6×9）的棋盘格图像20幅。

选取图像中镜面边缘，并计算出镜面边缘中心为(u₀,v₀)的初值为(u₀=615.7,v₀=443.9)，选取图像中同一直线上的四个点计算出γ的初值为γ=374.5。此时已经得到模型内参的初始值。

手动提取所有图像中的网格点。

通过网格点和内参的初始值，计算出相应的标定板与系统之间的外参的初值，因为有20幅图，得到20个R_w和T_w初值。

得到内参和外参的初值以后使用Levenberg-Marquardt方法最小化重投影误差来优化系统的内外参。最终得到的系统内参为：γ₁=377.6，γ₂=377.0，u₀=565.7，v₀=406.3，ξ1=0.134，ξ2=0.108，ξ3=0.866，α=0，k₁=-0.0855，k₂=0.0118，k₃=0。以及20个外参R_w和T_w。

最终优化得到的从投影误差为：u方向0.24119像素，v方向0.20202像素。

Claims (5)

1.一种折反射全向相机的统一模型，其特征在于：

该模型由虚拟的单位球，虚拟视点，归一化平面П_mu和成像平面П_p组成；以虚拟的单位球中心C_m为中心建立坐标系F_m，以虚拟视点C_p为中心建立坐标系F_p，两坐标系相互平行，归一化平面П_mu为F_p中的z＝1平面，归一化平面П_mu上的点通过径向失真和透视变换投影到成像平面П_p；

所述模型中，有两个坐标系，以虚拟视点C_p为原点的坐标系F_p，和以单位球中心C_m为原点的坐标系F_m，虚拟视点C_p在F_m坐标系中的坐标为(-ξ1,-ξ2,-ξ3)^T；

空间点X_m在世界坐标系F_w中的表示为(X_m)_W=(x_w,y_w,z_w)^T，通过以下过程成像：

（1）空间点从世界坐标系F_w转换到F_m坐标系，

其中R_W和T_w为世界坐标系和F_m坐标系的转换关系，此时空间点在F_m坐标系中的坐标为 ${\left(X_m\right)}_{F_m}={(x_m,y_m,z_m)}^T;$

（2）将

投影到单位球面上

坐标为(xs,ys,zs)T，

$\frac{{\left(X_m\right)}_{F_m}}{\left|{\left(X_m\right)}_{F_m}\right|}={(x_s,y_s,z_s)}^T;$

（3）

从F_m坐标转换到F_p坐标系下

${\left(X_s\right)}_{F_p}=(x_s+\mathrm{\ξ}1,y_s+$ ${\mathrm{\ξ}2,z_s+\mathrm{\ξ}3)}^T;$

（4）将投影到归一化平面П_mu的m_u坐标为(x,y,1)^T，

${(\frac{x_s+\mathrm{\ξ}1}{z_s+\mathrm{\ξ}3},\frac{y_s+\mathrm{\ξ}2}{z_s+\mathrm{\ξ}3},1)}^T=h\left({\left(X_s\right)}_{F_m}\right)={(x,y,1)}^T,$ h()为一投影函数；

（5）在归一化平面上加入径向失真以弥补真实系统中透视相机镜头的失真，径向失真函数为径向畸变函数L(ρ)=1+k₁ρ²+k₂ρ⁴+k₃ρ⁶，其中

k₁,k₂,k₃为失真系数，失真后的点其中x′=x*L(ρ),y′=y*L(ρ)；

（6）通过透视变换将归一化平面上的点

投影到成像平面П_p上点p坐标为(u,v,1)^T， $p={(u,v,1)}^T={\mathrm{Km}}_u^{\′}=\left[\begin{array}{ccc}{f}_1\mathrm{\η}& f_1\mathrm{\η\α}& u_0\\ 0& f_2\mathrm{\η}& v_0\\ 0& 0& 1\end{array}\right]m_u^{\′}=k\left(m_u^{\′}\right);$ 其中k()为一投影函数，f₁,f₂是相机的焦距，(u₀,v₀)是相机的主点，α是偏斜，η是一个镜面形状参数，此处的K为归一化平面到成像平面的透视变换矩阵，不再将折反射系统看成是一个独立的镜面和一个独立的相机，而是将之视为一个整体，内参矩阵K包含了相机和镜面的参数，f₁,f₂和η无法单独得到，只能得到γ₁=f₁η，γ₂=f₂η。

2.基于权利要求1所述的一种折反射全向相机的统一模型的标定方法，其特征在于，该方法的步骤如下：

（1）利用折反射全向相机拍摄一组包含方形网格标定板的图像，确保图像中标定板网格清晰，使标定板的成像在所得图像中均匀分布；

（2）提取网格点来计算出模型内参的初始值；

（3）手动提取出标定板网格图像的网格点；

（4）通过内参的初始值和网格点的坐标计算出模型外参的初始值；

（5）利用Levenberg-Marquardt方法最小化重投影误差来优化系统的内外参。

3.根据权利要求2所述的一种折反射全向相机的统一模型的标定方法，其特征在于：所述步骤（2）中计算内参的初始值的方式为：先假设折反射全向相机为单一视点模型，设k₁≈k₂≈k₃≈α≈ξ1≈ξ2≈0，γ₁≈γ₂=γ，所需要估计的内参为ξ3、γ、u₀、v₀，鉴于ξ3对系统参数的初值计算影响不大，设ξ31，主点[u₀,v₀]的初始值估计，先提取图像中镜面边缘，再取图像中镜面的中心为主点的初值，在上述内参初值的假设下，根据统一成像模型，从归一化平面上的点m_u映射到单位球面上的点 ${\left(X_s\right)}_{F_m}={(x_s,y_s,z_s)}^T=h^{-1}\left(m_u\right)=s\left[\begin{array}{c}x\\ y\\ \frac{1}{2}-\frac{1}{2}(x^2+y^2)\end{array}\right],$ s为一比例系数；而m_u=λK^-1p=(x,y,1)^T，所以

λ为比例系数；通过同一条直线上的三个或三个以上的点的成像来求得γ：

坐标系F_m中，空间一条不过原点C_m的直线和原点构成一个平面，其单位法向量为N=(n_x,n_y,n_z)^T，这条直线上的点的向量与N垂直，

$\⇔n_x{u}_c+n_y{v}_c+\frac{a_2}{2}-b_2\frac{u_c^2+v_c^2}{2}=0,$ 其中a₂=γn_z， $b_2=\frac{n_z}{\mathrm{\γ}},$ u_c=u-u₀，v_c=v-v₀；

在图像上选取同一直线上的n个点，得到n个线性方程，第i个点对应的u_c，v_c为u_ci，v_ci，i=1..n：

$\left[\begin{array}{cccc}{u}_{c1}& v_{c1}& \frac{1}{2}& -\frac{u_{c1}^2+v_{c1}^2}{2}\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ u_{\mathrm{cn}}& v_{\mathrm{cn}}& \frac{1}{2}& -\frac{u_{\mathrm{cn}}^2+v_{\mathrm{cn}}^2}{2}\end{array}\right]\left[\begin{array}{c}{n}_x\\ n_y\\ a_2\\ b_2\end{array}\right]=0$

方程数大于3时，通过上面的方程得到qn_x，qn_y，qa₂，qb₂，q为一系数，而(qn_x)²+(qn_y)²+(qa₂qb₂)=q²，从而得到q，接着得到n_x，n_y，a₂，b₂，

至此，得到了系统的内参的初值。

4.根据权利要求2所述的一种折反射全向相机的统一模型的标定方法，其特征在于：所述步骤（4）中计算模型外参的初始值的方式为：外参为标定板和相机系统之间的位姿关系R_W和T_w，沿用内参估计时的假设，k₁≈k₂≈k₃≈α≈ξ1≈ξ2≈0和ξ3=1，结合

在单位球上和

推导得到： $z_s=-1+\frac{2}{x^2+y^2+1},$ $x_s=\frac{2x}{x^2+y^2+1},$ $y_s=\frac{2y}{x^2+y^2+1},$ 从而 ${\left(X_m\right)}_{F_m}=$ ${\mathrm{\λ}}_4{\left(X_s\right)}_{F_m}={\mathrm{\λ}}_4\left[\begin{array}{c}{x}_s\\ y_s\\ z_s\end{array}\right]={\mathrm{\λ}}_4\left[\begin{array}{c}\frac{2x}{x^2+y^2+1}\\ \frac{2y}{x^2+y^2+1}\\ -1+\frac{2}{x^2+y^2+1}\end{array}\right]=\frac{{2\mathrm{\λ}}_4}{x^2+y^2+1}\left[\begin{array}{c}x\\ y\\ \frac{1}{2}-\frac{x^2+y^2}{2}\end{array}\right]=$

${\mathrm{\λ}}_{4}s(u_c,v_c)\left[\begin{array}{c}\frac{u_c}{\mathrm{\γ}}\\ \frac{v_c}{\mathrm{\γ}}\\ \frac{1}{2}-\frac{u_c^2+v_c^2}{{2\mathrm{\γ}}^2}\end{array}\right],$ 其中λ₄为一系数， $s(u_c,v_c)=\frac{2}{{\left(\frac{u_c}{\mathrm{\γ}}\right)}^2+{\left(\frac{v_c}{\mathrm{\γ}}\right)}^2+1},$ 而又有 ${\left(X_m\right)}_{F_m}=R_W{\left(X_m\right)}_W+T_w=\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right]\left[\begin{array}{c}{x}_W\\ y_W\\ z_W\end{array}\right]+\left[\begin{array}{c}{t}_1\\ t_2\\ t_3\end{array}\right],$ 其中 $R_W=$ $[r_1,r_2,r_3]=\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right],$ $T_w=\left[\begin{array}{c}{t}_1\\ t_2\\ t_3\end{array}\right],$ ${\left(X_m\right)}_W=\left[\begin{array}{c}{x}_W\\ y_W\\ z_W\end{array}\right],$ (X_m)_W为标定板上的点在世界坐标系下的坐标，选世界坐标系F_w，使得z_W=0；根据上面的方程，对空间中的点(X_m)_W=(x_W，y_W，z_W)^T和图像上的对应点p=(u,v,1)^T，得到方程组：

$\left\{\begin{array}{c}{\mathrm{\λ}}_{4}s(u_c,v_c)\frac{u_c}{\mathrm{\γ}}=r_{11}{x}_W+r_{12}{y}_W+t_1\\ {\mathrm{\λ}}_{4}s(u_c,v_c)\frac{v_c}{\mathrm{\γ}}=r_{21}{x}_W+r_{22}{y}_W+t_2\\ {\mathrm{\λ}}_{4}s(u_c,v_c)(\frac{1}{2}-\frac{u_c^2+v_c^2}{{2\mathrm{\γ}}^2})=r_{31}{x}_W+r_{32}{y}_W+t_3\end{array}\right.$

从上面的方程组得到线性方程：AC=0

其中C=(r₁₁,r₁₂,t₁,r₂₁,r₂₂,t₂,r₃₁,r₃₂,t₃)^T，

$A=\left[\begin{array}{ccccccccc}a& b& c& -d& -e& -f& 0& 0& 0\\ 0& 0& 0& g& h& i& -a& -b& -c\\ g& h& i& 0& 0& 0& -d& -e& -f\end{array}\right],$

a=v_cx_W，b=v_cy_W，c=v_c，d=u_cx_W，e=u_cy_W，f=u_c，

$h=(\frac{\mathrm{\γ}}{2}-\frac{u_c^2+v_c^2}{2\mathrm{\γ}})y_W,$ $i=(\frac{\mathrm{\γ}}{2}-\frac{u_c^2+v_c^2}{2\mathrm{\γ}}),$

假设标定板上有n个点，X₁，X₂，…，X_n，与之对应图像上有n个点p₁,p₂,…,p_n，列出n组线性方程组,第j个点对应的a,b,c,d,e,f,g,h,i为a_j,b_j,c_j,d_j,e_jf_j,g_j,h_j,i_j,j=1..n：

当n＞6时，通过上述方程组解出C的最小二乘解C′=[c₁,c₂,c₃,c₄,c₅,c₆,c₇,c₈,c₉]^T，接着解出R_W和T_W：

$s_4=\sqrt{c_1^2+c_4^2+c_7^2},$ $r_{11}=\frac{c_1}{s_4},$ $r_{12}=\frac{c_2}{s_4},$ $t_1=\frac{c_3}{s_4},$ $r_{21}=\frac{c_4}{s_4},$ $r_{22}=\frac{c_5}{s_4},$ $t_2=\frac{c_6}{s_4},$ $r_{31}=\frac{c_7}{s_4},$ $r_{32}=\frac{c_8}{s_4},$ $t_3=\frac{c_9}{s_4},$ r₁=[r₁₁,r₂₁,r₃₁]^T，r₂=[r₁₂,r₂₂,r₃₂]^T， $r_3=\frac{r_1\×r_2}{|r_1\×r_2|},$ R=[r₁,r₂,r₃]，T_W=[t₁,t₂,t₃]^T；对R进行奇异值分解，R=U∑V，取R_W=UV；至此，得到了标定板相对于模型的外参的初值R_W和T_W。

5.根据权利要求2所述的一种折反射全向相机的统一模型的标定方法，其特征在于：所述步骤（5）重投影误差计算方法：通过统一成像模型，提炼出下面的重投影误差函数F，有n块标定板，第i块标定板的姿态为R_iW，T_iW，板上有m_i个点：

$F(\mathrm{\ξ}1,\mathrm{\ξ}2,\mathrm{\ξ}3,k_1,k_2,k_3,\mathrm{\α},{\mathrm{\γ}}_1,{\mathrm{\γ}}_2,R_{1W},T_{1W},...,R_{\mathrm{nW}},T_{\mathrm{nW}})$

$=\frac{1}{2}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{m_i}{\mathrm{\Σ}}}{[G(\mathrm{\ξ}1,\mathrm{\ξ}2,\mathrm{\ξ}3,k_1,k_2,k_3,\mathrm{\α},{\mathrm{\γ}}_1,{\mathrm{\γ}}_2,R_{\mathrm{iW}},T_{\mathrm{iW}},g_{\mathrm{ij}})-e_{\mathrm{ij}}]}^2$ G为投影函数，将空间点投影到图像上，即前述模型的成像结果，g_ij为空间点的坐标，e_ij为对应图像点的坐标；通过Levenberg-Marquardt方法对F进行非线性优化得到内外参的优化解，使用之前得到的步骤（2）和（4）中的初值作为优化的初值。

Images