CN102298779B - 全景辅助泊车系统的图像配准方法 - Google Patents

Abstract

本发明公开了一种全景辅助泊车系统的图像配准方法，包括以下步骤：（1）采集基准图与待配准图的图像数据；（2）依次进行直方图均衡、高斯平滑滤波预处理；（3）分别采用Hrris角点提取法进行特征点选取；（4）采用Taylor多项式进行亚像素校正；（5）基准图与待配准图的粗匹配；（6）采用Canny算子、Hausdorff距离算法进行基准图与待匹配图的精确匹配；（7）采用仿射变换模型对待匹配图像点进行空间变换处理；（8）将步骤（7）获取到的待匹配图各图像点相对应的仿射变换坐标与步骤（6）中经过精确匹配的基准图进行融合处理，以输出配准图像。因此，本发明计算量较小，精度较高，在拼接过程中鲁棒性较高。

Description

全景辅助泊车系统的图像配准方法

技术领域

本发明涉及图像处理技术，具体为一种图像配准方法，应用于辅助泊车系统中经过校正后的鱼眼图像拼接。 

背景技术

图像配准是确定在相同或不同时间、相同或不同传感器拍摄的两幅或多幅图像之间最佳匹配关系的过程。配准结果给出了两幅图像之间相对位置关系。图像配准是图像分析、图像拼接、图像融合、虚拟现实等许多应用的一个重要步骤。 

传统的泊车辅助系统分为两种，一种为在汽车的车尾安装倒车雷达，以超声波传感器探测汽车周围障碍物，以声音报警。这种方式的缺点为不直观，易误报。一种为在汽车车尾安装摄像头，以驾驶室显示器观察汽车与障碍物的距离。这种方式只能覆盖汽车后方有限的区域，而车两侧和前方区域为盲区，存在安全隐患。在拥塞的情况下容易出现事故。为了扩大驾驶员的视野范围，必须感知汽车四周全景范围，需要多个摄像头之间图像配准和融合。 

发明内容

本发明针对现有技术的不足，提供一种全景辅助泊车系统中鱼眼图像校正后的图像配准的一种方法，该方法计算量较小，精度较高，在拼接过程中鲁棒性较高。 

为实现以上的技术目的，本发明将采取以下的技术方案： 

一种全景辅助泊车系统的图像配准方法，包括以下步骤：(1)采集基准图与待配准图的图像数据；(2)分别对步骤(1)所采集到的基准图和配准图的图像数据依次进行直方图均衡、高斯平滑滤波预处理；(3)分别采用Harris角点提取法对经过步骤(2)所述预处理的基准图和配置图进行特征点选取，并将获取到的特征点对应的角点坐标分别存储；(4)采用Taylor多项式对步骤(3)所提取到的待配准图像的特征点进行亚像素校正，并将获取到的亚像素校正特征点存储；(5)首先在基准图上选取欧式距离大于50像素的特征点作为候选角点，接着在每一个基准图特征点的位置，搜索其对应匹配图的特征点坐标的欧式距离为50像素内的亚像素校正特征点，完成基准图与待配准图的粗匹配；(6)首先采用Canny算子分别对经过步骤(5)所述粗匹配的基准图以及待配准图进行边缘提取二值化，然后采用部分Hausdorff距离算法进行基准图与待匹配图的精确匹配；(7)采用仿射变换模型对经过步骤(6)所述精确匹配后的待匹配图像点进行空间变换处理，获取待匹配图各 图像点相对应的仿射变换坐标；(8)将步骤(7)获取到的待匹配图各图像点相对应的仿射变换坐标与步骤(6)中经过精确匹配的基准图进行融合处理，以输出配准图像。 

根据以上的技术方案，可以实现以下的有益效果： 

(1)本发明运用了亚像素校正方法，对图像进行坐标纠正，提高了匹配精度；(2)部分Hausdorff距离对有严重遮掩或者退化的图像中的部分图像可以产生较好的效果；(3)以角点为中心构建匹配作为Hausdorff距离输入点集大大减少了搜索时间，提高了搜索效率。 

附图说明

图1是本发明图像采集及预处理流程图； 

图2是本发明图像配准算法流程图； 

图3是本发明应用于全景辅助泊车系统的结构示意图。 

具体实施方式

附图非限制性地公开了本实用新型所涉及优选实施例的结构示意图；以下将结合附图详细地说明本实用新型的技术方案。 

如图1至3所示，本发明所述的全景辅助泊车系统的图像配准方法，通过安装在汽车前后左右四路摄像头采集图像，如图3所示。四路摄像头将360°划分为8个区域，其中需要配准的区域有4个，分别为ABCD。采集到数据进行预处理并存储待配准的区域，如图1所示。 

如图2所示，首先选取ABCD中任意一个区域，提取出邻近的两路摄像头配准图像，一幅作为基准图，一幅作为匹配图，分别采用改进的Harris角点提取算法，将获取到的角点坐标分别存储。 

然后使用Taylor多项式对角点进行亚像素校正，存储坐标。 

接着采用粗匹配策略，比较基准图存储的角点坐标的欧氏距离，如果其欧氏距离在50像素以内的角点坐标保留，在50像素以外的坐标删除，然后比较与待匹配图角点之间角点坐标欧氏距离，50像素以内的坐标保留，以外的删除。粗略匹配过后，留下了大于50坐标间距的强角点。然后采用改进的Hausdorff距离进行精确匹配。先对两幅要处理的图像进行Canny边缘提取，较小的阈值取50，较大的阈值取150，并且标出角点的位置，取出匹配图中每个角点为中心，25像素为半径的区域，分别在基准图每个角点为中心，25像素为半径的区域进行Hausdorff距离测度计算。距离小于阈值的两图中心的角点为匹配点。将精确匹配后的角点存储。最后使用最小二乘法对获取到的精确匹配的角点对拟合出仿射变换的参数。利用该参数对匹配图进行仿射变换，并与基准图融合，输出配准结果。 

其中：预处理算法包括直方图均衡与高斯平滑滤波，表述如下： 

A.设灰度级为归一化至范围[0，1]内的连续量，令p_r(r)表示某给定图像中的灰度级概率密度函数，其下标区分输入图像与输出图像的概率密度函数。若对输入灰度级执行如下变换，得到输出灰度级s： 

可知输出灰度级概率密度函数是均匀的，即该变换使图像的灰度级均衡化，结果为获取到一幅动态范围的图像，有较高的对比度。 

B.二维高斯函数： 当r＝±σ时，G(r)＝Ae^1/2＝0.6A；r＜3σ时，G＜0.01用宽度小于2σ²的滤波器，即m＝2×2σ²+1，当σ²＝1/2时，  $G^3=\frac{1}{16}\left(\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right)$ 由连续Gaussian分布求离散模板，需采样、量化，并使模板归一化。 

步骤(3)特征点提取采用改进的Harris角点提取算法，表述如下： 

A.使用一个高斯窗或矩形窗在图像上移动，由模板窗口取得原图像生成2*2的图像二阶导数自相关矩阵C(x，y)，定义如下： 

$C(x,y)=G\left(s\right)\⊗\left[\begin{array}{cc}{I}_x& I_x{I}_y\\ I_x{I}_y& I_y\end{array}\right]$

其中G(s)为高斯模板，I_x为该点在x方向的梯度，I_y为该点在y方向的梯度。对C(x，y)求取特征值λ₁，λ₂建立度量函数R₁，R₁＝det(C)-k(trace(C))²其中det(C)＝λ₁λ₂，trace(C)＝λ₁+λ₂。 

B.再建立度量函数R₂，R₂＝min(λ₁，λ₂)，求取平均值R：R＝(R₁+R₂)/2，根据R的阈值Y，Y＝(R_1max+R_2max)/20，其中R_1max、R_2max为度量函数R₁、R₂的最大值。如果R＞Y则为角点，否则不为角点。 

步骤(4)特征点亚像素校正采用Taylor多项式逼近，表述如下： 

A.假定某个角点的初始位置为(x₀，y₀)，其真正的位置应该为(x₀+s，y₀+t)。 

其中(s，t)为误差值，且(s，t)∈[-0.5，0.5]*[-0.5，0.5]，对该角点使用泰勒多项式近似，得到 

$r(x_0+s,y_0+t)=r+\left(\begin{array}{cc}s& t\end{array}\right)\left(\begin{array}{c}{r}_x\\ r_y\end{array}\right)+\frac{1}{2}\left(\begin{array}{cc}s& t\end{array}\right)\left(\begin{array}{cc}{r}_{\mathrm{xx}}& r_{\mathrm{xy}}\\ r_{\mathrm{xy}}& r_{\mathrm{yy}}\end{array}\right)\left(\begin{array}{c}s\\ t\end{array}\right)$

其中r为所处理的图像函数，r_x，r_y分别为其x，y方向的一阶偏导数，r_xx，r_xy，r_yy分别为其相应方向的二阶偏导数。 

B.根据角点的性质有：r_xxs+r_xyt+r_x＝0，r_xys+r_yyt+r_y＝0 

得到亚像素位置误差 $s=\frac{r_y{r}_{\mathrm{xy}}-r_x{r}_{\mathrm{yy}}}{r_{\mathrm{xx}}{r}_{\mathrm{yy}}-r_{\mathrm{xy}}^2},t=\frac{r_x{r}_{\mathrm{xy}}-r_y{r}_{\mathrm{xx}}}{r_{\mathrm{xx}}{r}_{\mathrm{yy}}-r_{\mathrm{xy}}^2}$

步骤(5)特征点粗匹配采用了一个简单有效的策略，该策略表述如下： 

1、在基准强角点的位置，搜索其对应匹配图角点坐标的欧氏距离为50像素以内的角点。 

2、在基准图上选取候选点的时候，候选角点之间的欧氏距离在50像素外。 

步骤(6)对基准图进行边缘提取二值化，采用的是Canny算子，对于基准图与匹配图方法相同，表述如下： 

A.选取已经高斯滤波后的基准图(匹配图)，计算梯度的大小M和方向0。使用2x2大小的模板作为x和y方向偏微分的一阶近似。局部梯度 

边缘方向O(x，y)＝arctan(G_y/G_x) 

B.对梯度进行非极大抑制：将每个像素点的8邻域分为4个扇形区域，将梯度方向在-22.5°～22.5°和-157.5°～157.5°，22.5°～67.5°和-157.5°～-112.5°，67.5°～112.5°和-112.5°～-67.5°，112.5°～157.5°和-67.5°～-22.5°分成这四个扇区编号为0-3，设中心区域像素值为S[i，j]，将其与0-3号扇区内的两个像素梯度值进行比较，若S[i，j]的梯度值不比这两个像素的梯度值大，则令S[i，j]＝0，将处理后的图像S[i，j]存储在N(i，j)中。 

C.检测和连接边缘，使用2个阈值T1和T2做阈值处理，其中T1＜T2。值大于T2的边缘像素称为强边缘像素即为边缘，T1和T2之间的边缘像素称为弱边缘像素，如果弱边缘像素点的邻接像素中有边缘点，则认为该弱边缘像素点也为边缘点，否则，认为该点为非边缘点。获取到的基准图与待配准图的边缘图像点分别存入A，B两个点集中。 

步骤(7)精确匹配采用改进的Hausdorff距离算法，表述如下： 

A.点集A与B的部分Hausdorff距离定义如下： 

H_k，l(A，B)＝max(h_k(A，B)，h_l(B，A))，1≤k≤p，1≤l≤q 

其中 

k＝<f₁×p>，0≤f₁≤1，l＝<f₂×q>，0≤f₂≤1，<·>表示向下取整运算。 

表示A到B点集的距离按照从小到大的顺序排列，其中序号为k的距离为h_k(A，B)。 

表示B到A点集的距离按照从小到大的顺序排列，其中序号为1的距离为h_l(B，A)，||a-b||表示AB点集中某点a到某点b的距离。这里选取f₁，f₂为0.8。 

B.沿二值化图像边缘，在每个角点为中心的区域，以20*20的矩形区域构建小区域子图像坐标集，分别求取基准图和待配准图部分Hausdorff距离，取距离阈值τ，τ＝3如果距离小于τ，则相应的角点为匹配对，否则不为匹配点，剔除。 

步骤(8)采取仿射变换作为空间变换模型对匹配图处理，表述如下： 

A.六参数仿射变换可以用如下矩阵形式表示： 

$\left[\begin{array}{ccc}{x}_1& y_1& 1\end{array}\right]=\left[\begin{array}{ccc}{x}_0& y_0& 1\end{array}\right]T,T=\left[\begin{array}{ccc}{a}_{11}& a_{12}& 0\\ a_{21}& a_{22}& 0\\ a_{31}& a_{32}& 1\end{array}\right]$

其中(x₁，y₁)，(x₀，y₀)分别为两副处理图像对应点位置坐标。则有： 

$\left[\begin{array}{c}{x}_1\\ y_1\end{array}\right]=\left[\begin{array}{cc}{a}_{11}& a_{21}\\ a_{12}& a_{22}\end{array}\right]\left[\begin{array}{c}{x}_0\\ y_0\end{array}\right]+\left[\begin{array}{c}{a}_{31}\\ a_{32}\end{array}\right]$

转换形式为： 

$x_1=\left[\begin{array}{ccc}{a}_{11}& a_{21}& a_{31}\end{array}\right]\left[\begin{array}{c}{x}_0\\ y_0\\ 1\end{array}\right],y_1=\left[\begin{array}{ccc}{a}_{12}& a_{22}& a_{32}\end{array}\right]\left[\begin{array}{c}{x}_0\\ y_0\\ 1\end{array}\right]$

B.获取到N+1对匹配点，采用最小二乘法拟合最佳参数： 

$\left\{\begin{array}{c}\left[\begin{array}{ccc}{x}_{10}& L& x_{1N}\end{array}\right]=\left[\begin{array}{ccc}{a}_{11}& a_{21}& a_{31}\end{array}\right]\left[\begin{array}{cccc}{x}_{00}& x_{01}& L& x_{0N}\\ y_{00}& y_{01}& L& y_{0N}\\ 1& 1& L& 1\end{array}\right]\\ \left[\begin{array}{ccc}{y}_{10}& L& y_{1N}\end{array}\right]=\begin{array}{}\end{array}\left[\begin{array}{ccc}{a}_{12}& a_{22}& a_{32}\end{array}\right]\left[\begin{array}{cccc}{x}_{00}& x_{01}& L& x_{0N}\\ y_{00}& y_{01}& L& y_{0N}\\ 1& 1& L& 1\end{array}\right]\end{array}\right.$

其中x₁₀ L x_1N与x₀₀ L x_0N为N+1对匹配点坐标。 

由最小二乘法矩阵形式可知：形如Ax＝b的超定方程在最小二乘法下极小意义的解为A^TAx＝A^Tb，可以推出六参数仿射变换参数在最小二乘法下的近似解为： 

$\left\{\begin{array}{c}\left[\begin{array}{ccc}{a}_{11}& a_{21}& a_{31}\end{array}\right]=\left[\begin{array}{ccc}{x}_{10}& L& x_{1N}\end{array}\right]A^T{\left({\mathrm{AA}}^T\right)}^{-1}\\ \left[\begin{array}{ccc}{a}_{21}& a_{22}& a_{32}\end{array}\right]=\left[\begin{array}{ccc}{y}_{10}& L& y_{1N}\end{array}\right]A^T{\left({\mathrm{AA}}^T\right)}^{-1}\end{array}\right.$

其中， $A=\left[\begin{array}{cccc}{x}_{00}& x_{01}& L& x_{0N}\\ y_{00}& y_{01}& L& y_{0N}\\ 1& 1& L& 1\end{array}\right].$

Claims (3)

1.一种全景辅助泊车系统的图像配准方法，其特征在于，包括以下步骤：（1）采集基准图与待配准图的图像数据；（2）分别对步骤（1）所采集到的基准图和待配准图的图像数据依次进行直方图均衡、高斯平滑滤波预处理；（3）分别采用Harris角点提取法对经过步骤（2）所述预处理的基准图和待配准图进行特征点选取，并将获取到的特征点对应的角点坐标分别存储；（4）采用Taylor多项式对步骤（3）所提取到的待配准图像的特征点进行亚像素校正，并将获取到的亚像素校正特征点存储；（5）首先在基准图中选取候选角点，各候选角点之间的欧式距离大于50像素；接着在每一个基准图候选角点的位置，搜索其对应待配准图的特征点坐标，并将两者的欧式距离进行比较，保留50像素内的亚像素校正特征点，完成基准图与待配准图的粗匹配；（6）首先采用Canny算子分别对经过步骤（5）所述粗匹配的基准图以及待配准图进行边缘提取二值化，然后采用部分Hausdorff距离算法进行基准图与待配准图的精确匹配；（7）采用仿射变换模型对经过步骤（6）所述精确匹配后的待配准图像点进行空间变换处理，获取待配准图各图像点相对应的仿射变换坐标；（8）将步骤（7）获取到的待配准图各图像点相对应的仿射变换坐标与步骤（6）中经过精确匹配的基准图进行融合处理，以输出配准图像。

2.根据权利要求1所述全景辅助泊车系统的图像配准方法，其特征在于，步骤（3）所述的Harris角点提取法为：

A）、首先使用模板窗口在原图像上移动，该模板窗口为高斯窗或矩形窗，接着将模板窗口取得的原图像生成2*2的图像二阶导数自相关矩阵                                               

：

其中，

为高斯模板，

为该点在x方向的梯度，

为该点在y方向的梯度；

B）、求取

的特征值

、

，并建立度量函数

：

；其中

,

，k=0.04；

C）、再建立度量函数：

，求取平均值R：

；

D）、选取阈值Y：

，其中

、

分别为度量函数

、

的最大值；

E）、判断R与Y的关系，如果

，则为角点，否则不为角点。

3.根据权利要求1所述全景辅助泊车系统的图像配准方法，其特征在于，步骤（6）所述的精确匹配包括以下步骤：①、计算图像的局部梯度函数M和边缘方向函数O：使用2x2的模板作为二维高斯函数的x和y方向偏微分的一阶近似，则局部梯度函数

，边缘方向函数

；②、对梯度进行非极大抑制：首先，将每个像素点的8邻域分为4个编号为0-3的扇形区域，其中，0号扇形区域的梯度方向为：-22.5°~ 22.5°和-157.5°~157.5°，1号扇形区域的梯度方向为：22.5°~67.5°和-157.5°~-112.5°，2号扇形区域的梯度方向为：67.5°~112.5°和-112.5°~-67.5°，3号扇形区域的梯度方向为：112.5°~157.5°和-67.5°~-22.5°；接着，设中心区域像素为

，将其分别与0-3号扇形区域的两个像素梯度值进行比较，若

的梯度值不比这两个像素的梯度值大，则令

，将

存储于

中，

则为非极大抑制后的图像；③、使用两个阈值T1和T2对做阈值处理，其中T1<T2，值大于T2的边缘像素称为强边缘像素点，则该点为边缘点，T1和T2之间的边缘像素称为弱边缘像素点，再根据边缘连通性进一步判断其是否为边缘点；如果弱边缘像素点的邻接像素中有边缘点 ,则认为该弱边缘像素点也为边缘点，否则，认为该点为非边缘点；获取到的基准图与待配准图的边缘图像点分别存入A,B两个点集中；④、

为部分Hausdorff距离：

， 

表示A到B点集的距离按照从小到大的顺序排列，其中序号为

的距离为，同样B到A点集从小到大序号为

的距离为

；其中

；

；

，

，

分别为

，

的最大值，

表示AB点集中某点a到某点b的距离；⑤、沿二值化图像边缘，构建小区域子图像坐标集，分别求取部分Hausdorff距离，选取

，

为0.8，部分hausdorff距离小于阈值

时的两图中心的角点认为是匹配点，其中，

。

Images