CN101334837A - 一种多方法融合的车牌图像定位方法 - Google Patents

Abstract

本发明涉及了一种多方法融合的车牌定位方法，采取下列步骤：对采集到的车牌图像进行预处理；采用基于数据流修正的自适应模板匹配法获得自适应的匹配模板，并通过模板匹配算法实现车牌图像的粗定位；运用形态梯度方法对粗定位后的车牌图像进行边缘检测，突出车牌的字符区域；针对畸变的车牌图像，采用检测车牌图像中字符主方向的方法进行校正；采用投影法进行精确定位，得到车牌中字符区域的准确位置，实现车牌图像的准确定位。本发明所设计的车牌图像定位方法对环境的适应性要求较低，运算速度高，能满足车牌识别的准确率和实时性要求，为后续的车牌字符分割和识别提供优质的车牌图像。

Description

一种多方法融合的车牌图像定位方法

技术领域

本发明涉及一种多方法融合的车牌(机动车号牌)图像的自动定位方法，属于计算机图像处理、模式识别和智能交通系统(Intelligent Transport System，ITS)控制技术领域，是智能交通系统中的车牌自动识别技术中的重要环节。

背景技术

基于计算机图像处理、模式识别等技术的车牌识别技术引起了研究者们的极大兴趣，由各种车牌识别技术组成的车牌识别系统(License Plate Recognition System，LPRS)也应运而生。

车牌识别系统是一个基于计算机图像处理、模式识别等技术的高度智能化的综合集成系统，作为道路交通管理自动化和车辆检测的重要手段，在道路交通管理和监控中占有非常重要的地位。车牌识别的处理流程包含了车牌图像定位、车牌字符分割、车牌字符识别这三个主要功能模块。

车牌定位的主要任务是从拍摄的车辆图像中定位车牌所在的位置，并把车牌准确地提取出来，供后续的车牌字符分割和识别使用。车牌图像的准确定位是车牌字符正确识别的前提和基础，是车牌识别技术首先要解决的关键问题。车牌图像定位的准确性将直接影响车牌字符分割和识别效果，对整个车牌识别系统的性能起着至关重要的作用。

目前，在车牌图像的定位方法中仍存在很多的难点问题有待进一步解决，如图像背景复杂、车辆种类繁多、光照不均匀、天气变化、环境因素、拍摄图像倾斜的影响，国内外尚无一种性能优越、功能完善的车牌图像定位方法。正因为车牌定位是一个困难的问题，所以单靠一种处理方法是不可能解决的，而要靠多种方法的综合运用才能较好地解决。本发明为此设计了一种快速、有效的多方法融合的车牌图像定位方法。

目前，我国使用的机动车牌照的主要特征为：

①形状特征：车牌边缘是线段围成的有规则的矩形，高宽比固定；

②灰度跳变特征：在车牌区域内部，由于字符本身与牌照底的内部灰度是均匀的，所以贯穿车牌的水平直线呈现连续的峰、谷、峰分布；

③纹理特征：车牌边框内有多个字符，在车牌的矩形区域内存在较丰富的边缘，呈现出一定的纹理特征；

④字符特征：车牌由七个字符排列组成，基本呈水平排列，在矩形内存在比较丰富的边缘特征信息。

车牌图像定位的难点：

①所获取的车辆图像中，含有丰富的自然背景及车身背景信息，同时易受环境、光照条件、天气条件及运动失真和模糊的影响；

②车牌悬挂的不规范，有些车牌出现倾斜或扭曲；

③由于自然或人为的原因，车牌的颜色无法保持为固定的几种颜色，并且在同一车牌内颜色也可能会有较大变化等多方面的因素影响；

④由于拍摄位置的不恰当，有些车牌边缘被遮挡。

由于车牌图像背景的复杂性、车牌特征的多样性及各种因素的影响，迄今仍没有一种完全有效的解决方法，很多方法所获得的满意结果是以耗费时间或降低系统的性能为代价的。而车牌识别系统对识别准确率和实时性要求非常高，这就限制了实际的应用。

发明内容

本发明的目的在于设计一种多方法融合的车牌定位方法以克服现有技术中所存在的上述不足。

本发明采用以下技术方案：

一种多方法融合的车牌图像定位方法，包括以下步骤：

(1)首先对拍摄的车牌图像进行预处理；

(2)采用基于数据流修正的自适应模板匹配法获得自适应的匹配模板，并通过模板匹配算法实现车牌图像的粗定位；

(3)运用形态梯度方法对粗定位后的车牌图像进行边缘检测，突出车牌的字符区域；

(4)针对畸变的车牌图像，采用检测车牌图像中字符主方向的方法进行校正；

(5)采用投影法进行精确定位，得到车牌中字符区域的准确位置。

为解决模板匹配尺寸和运算速度问题，本发明利用数据流修正的方法获取自适应的匹配模板，这样就避免了设置固定模板的缺陷；为了减少模板匹配算法的运算时间，在模板每次移动后，只是减少了最左边一列像素，同时增加了最右边一列像素，中间大部分像素没有变动，从而避免了对大量未变动像素的运算。本发明采用的优化算法，大大节约了运算时间，使模板匹配的效率得到较大提高。

附图说明

图1为本发明所公开的车牌图像定位方法流程图；

图2为同态滤波算法流程图；

图3(a)-3(c)为投影及数据流修正图；

其中：图3(a)为车牌图像的水平投影；

图3(b)为车牌图像中的数据流；

图3(c)为数据流修正示意图；

图4为模板移动过程示意图；

图5为优化的模板匹配法流程图；

图6(a)-(b)为字符方向图；

其中：图6(a)为水平字符方向示意图；

图6(b)为倾斜字符方向示意图。

具体实施方式

本发明提出的一种多方法融合的车牌图像定位方法，运用计算机图像处理的相关技术，实现了快速、准确的车牌定位，满足了车牌识别系统的准确性和实时性要求。

本发明的整个算法处理流程如图1所示。拍摄的车牌图像经过彩色图像灰度化、图像增强、改进的bernsen算法二值化、中值滤波等预处理后，利用本发明中的基于数据流修正的方法获得自适应的匹配模板，并对模板匹配算法进行优化，提高匹配效率；由形态梯度方法进行边缘检测后，利用投影法得到准确的车牌位置。

为了提高处理速度，首先将彩色车牌图像变成灰度图像，转化关系为：

H＝0.299*R+0.587*G+0.114*B(R，G，B为车牌图像的红、绿、蓝分量)

车牌图像在拍摄、传输和处理过程中，由于受到各种因素的影响和干扰，车牌图像的灰度值往往与实际情况不完全匹配，提供的梯度和纹理信息不够。如果用f(x，y)表示一幅图像，入射光强可以用i(x，y)(照度分量)表示，景物被物体的反射率用r(x，y)(反射分量)来表示，则有：f(x，y)＝i(x，y)*r(x，y)。其中，入射光强取决于光源，由于入射光光强分布函数i(x，y)随空间变化较小，在频率域中，函数i(x，y)的频谱主要集中于低频段，反映了成像的环境条件；反射光r(x，y)的频谱主要集中于相对高频段比较宽的范围，反映了物体本身的特性。为此，只要能把图像中相对于i(x，y)和r(x，y)两部分区分开，然后压制较低频段，放大较高频段，就能有效地降低光照不均匀对车牌图像所带来的影响。为此，本发明采用了基于照明反射模型的同态滤波。同态滤波是一种图像亮度范围压缩和对比度增强的频域方法，同态滤波算法的流程图如图2所示，通过对车牌图像进行对数、傅立叶变换、高通滤波、傅立叶反变换、指数运算实现同态滤波算法。同时，考虑照明条件和反射特性，并且兼顾了车牌图像的高频细节和低频分量，因而可以得到较为满意的图像增强效果。

利用改进的Bernsen算法进行二值化处理，该算法的实现步骤：

(1)为了消除个别灰度特异点，算出阈值T₁；T₁取值满足：

$\underset{i=T_1}{\overset{255}{\mathrm{\Σ}}}\mathrm{histogram}\left[i\right]\≥A\×10\%---\left(1\right)$

histogram[i]为原图灰度直方图，A为面积(即图像像素总数)。

(2)计算各点的阈值T₂；

T₂取值满足： $T_2(x,y)=0.5\×(\underset{-w\≤k,l\≤w}{\max }f(x+k,y+l)+\underset{-w\≤k,l\≤w}{\min }f(x+k,y+l))---\left(2\right)$

其中k为所选窗口的宽度，L为所选窗口的高度。

(3)为了尽量避免伪影及笔画断裂现象的产生，引入阈值T₃，用以确定局部考察窗口内极大与极小值的变化；

T₃取值满足： $T_3(x,y)=\underset{-w\≤k,l\≤w}{\max }f(x+k,y+l)-\underset{-w\≤k,l\≤w}{\min }f(x+k,y+l)---\left(3\right)$

其中k为所选窗口的宽度，L为所选窗口的高度。

(4)采用取平均值的滤波方法对阈值曲面进行平滑，尽量避免伪影现象的出现，以消除光照不均等噪声所产生的阈值突变，引入阈值T₄，用以改善二值化效果。

T₄取值满足： $T_4(x,y)=\underset{-w\≤k,l\≤w}{\mathrm{avg}}{T}_2(x+k,y+l)---\left(4\right)$

其中k为所选窗口的宽度，L为所选窗口的高度。

(5)逐点二值化。

a.如果：

f(x，y)＞(1+α)×T₁，b(x，y)＝255

f(x，y)＜(1-α)×T₁，b(x，y)＝0

其中：α∈(0，1)。可取0.2～0.4。

b.如果(1-α)×T₁≤f(x，y)≤(1+α)×T₁，计算T₃(x，y)

当T₃(x，y)＞α×T₁时，则

$b(x,y)=\left\{\begin{array}{cc}0& f(x,y)<T_4(x,y)\\ 255& f(x,y)\&GreaterEqual;T_4(x,y)\end{array}\right.---\left(5\right)$

否则，令T₃(x，y)＝1/2×(T₁+T₄(x，y))，则

$b(x,y)=\left\{\begin{array}{cc}0& f(x,y)<T_3(x,y)\\ 255& f(x,y)\&GreaterEqual;T_3(x,y)\end{array}\right.---\left(6\right)$

该方法能有效地去掉不均匀光照带来的影响。

采用中值滤波(3*3窗口)去除噪声。这种方法不容易造成车牌图像边缘的模糊，具有非常好的抗噪性能。

在经过预处理后的车牌图像中，车牌区域与其它区域具有明显不同的特征，表现为：该区域边缘丰富，在垂直方向连通，水平方向灰度跳变率大。通过观察发现，非车牌区域以水平干扰为主，可利用水平差分方法去掉背景图像的水平干扰，同时突出车牌字符区域。

对差分后的车牌图像进行水平(或垂直)投影，车牌区域会出现不同于背景的连续而均匀的较大投影值，如图3(a)所示。根据实际需要，设定适当的白像素投影阈值，用‘1’表示投影图中白像素值大于阈值的信息，用‘0’表示投影图中白像素值小于阈值的信息。这样就形成了‘0’、‘1’交替的数据流。

当两个连续的‘1’段中间产生‘0’时，其数目比小于阈值的‘0’段数目明显少，且与‘1’之间的距离比较小，说明此时的‘0’是噪声干扰，需对数据流信息进行修正，作变‘0’为‘1’处理，如(7)式所示；当两个连续的‘0’段中间产生‘1’时，其数目比大于阈值的‘1’段数目明显少，且与‘0’之间的距离比较小，说明此时的‘1’是噪声干扰，需对数据流信息进行修正，作变‘1’为‘0’处理，如式(8)所示：

$I_{\mathrm{on}}=\left\{\begin{array}{cc}0& n>4\\ 1& n\&le;4\end{array}\right.---\left(7\right)$

Ion：当前n个“0”信息位，n：连续0的个数。

$I_{1N}=\left\{\begin{array}{cc}1& N>4\\ 0& N\&le;4\end{array}\right.---\left(8\right)$

I_IN：当前N个“1”信息位，N：连续1的个数。

其中：n或N的值将根据不同的投影图和实际需要变动；(7)、(8)式中的“4”是根据车牌定位的实际工程应用来选取的。

随着‘1’段的高度变化，模板的高度也随之变化，从而得到自适应的模板尺寸。

图3(a)-3(c)为投影及数据流修正图所示。可明显看出，第一个起始1的位置和连续最后一个1的位置之间的距离就是模板的高度，即车牌的水平高度。对于不同的车牌图像，随着‘1’段的高度变化，模板的高度也随之变化，从而得到自适应的模板尺寸。将矩形模板在待匹配的车牌图像中移动，不断地计算模板中像素的水平差分累加值，当模板中水平差分累加值达到最大时，就找到了车牌的粗略位置。

由于该算法运算耗时长，不能满足实时性的要求，需要对算法进行优化，从而缩短运算时间。从模板移动过程分析，发现窗口每次移动一个像素，仅去掉了最左边一列的像素，同时加入最右边同样多的一列像素，而其余像素保持不变，模板移动过程如图4所示。因此，在求模板中的差分累加值时，只需考虑移进和移出的两列像素对当前模板内差分累加值的影响，当前模板中像素的水平差分累加值(C值)若大于前一位置的C值，则保留当前模板中的C值，若小于前一位置的C值，则模板中保留前一位置的C值。即模板中只保留水平差分累加值最大的一块区域即可，从而可节省对大量没有变动像素的运算时间。优化的模板匹配法流程图如图5所示。

利用检测车牌字符方向的方法，即分析标准车牌字符与倾斜车牌字符在坐标系中位置的变化与特征，实现对畸变车牌字符的校正(如图6所示)。分析畸变车牌字符图像，发现它们都可以用原始图像坐标(如图6(a))与畸变图像坐标(如图6(b))之间的关系来描述。以字符图像(二维随机向量(X₁，Y₁))中某一点为中心，将字符图像旋转某一角度后形成倾斜的字符图像。这时，倾斜字符图像的像素可以看作某一个新的二维随机向量(X₂，Y₂)的随机样本点。很明显，字符图像的字符像素点总数不变。

从视觉上看原字符图像发生了旋转，但从变换的角度上看只是对原二维随机变量作了一次正交线性变换。两个独立随机变量X，Y各自方差的和不变，但随机变量X，Y各自方差在总的随机样本方差中的比重发生了变化。

为了方便分析随机变量X，Y在随机样本方差中的比重，定义了一个字符主方向判别函数：

$f(X^{\&prime;},Y^{\&prime;})=\frac{\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}({x^{\&prime;}}_i-\stackrel{\&OverBar;}{X^{\&prime;}})}{\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}({y^{\&prime;}}_i-{\stackrel{\&OverBar;}{Y}}^{\&prime;})}---\left(9\right)$

上式中，(X′，Y′)表示判别函数中的横、纵坐标；x′_i表示随机变量X在坐标系中的水平位置；y′_i表示随机变量Y在坐标系中的垂直位置。

对某一倾斜字符图像的坐标进行旋转，使判别函数达到最大。此时，就实现了对畸变车牌字符的校正。

传统的边缘检测算法，如sobel、prewitt算子，都是通过计算图像中小区域像素的差分来实现的，因此在检测边缘的同时也加强了噪声。基于形态梯度的方法进行边缘检测时，虽然对噪声较敏感，但不会加强或放大噪声，有利于车牌中字符区域的精确定位。

采用数学形态学的腐蚀和膨胀运算来解决形态梯度方法如下：

腐蚀运算：

表示用结构元素B来腐蚀A。即B完全包括在A中时B的原点位置的集合。

膨胀运算：

表示用结构元素B来膨胀A。即B关于原点的映射的位移与A至少有一个非零元素相交时B的原点位置的集合。

形态梯度表达式：

$\mathrm{Grad}=\min \left\{\right[A\&CirclePlus;B-A],[A-\left(\mathrm{A\&Theta;B}\right)\left]\right\}---\left(10\right)$

式中：A表示原图中像素，B表示采用的结构元素，Grad表示变换后的形态梯度。

通过对投影图的分析可知，车牌字符位置对应于投影图中连续的波峰区。由于车牌边框和字符之间没有字符，所以边框在投影图中必然对应于波谷位置。因此，只需从下往上搜索水平投影图中两个有较大突变投影值的行号，去掉突变行号上下部分，即去掉了车牌上下边框，得到车牌字符区域的水平位置；采用同样的方法，可得到车牌字符的垂直位置。最终得到车牌字符区域。

Claims (6)

1.一种多方法融合的车牌图像定位方法，其特征为：该方法包括以下步骤：

(1)首先对采集到的车牌图像进行预处理；

(2)采用基于数据流修正的自适应模板匹配法获得自适应的匹配模板，并通过模板匹配算法实现车牌图像的粗定位；

(3)运用形态梯度方法对粗定位后的车牌图像进行边缘检测，突出车牌的字符区域；

(4)针对畸变的车牌图像，采用检测车牌图像中字符主方向的方法进行校正；

(5)采用投影法进行精确定位，得到车牌中字符区域的准确位置，实现车牌图像的准确定位。

2.根据权利要求1所述的车牌图像定位方法，其特征为：对采集到的车牌图像进行预处理，所述预处理包括：

(1)首先在计算机程序中使用以下转换关系式将车牌的彩色图像转换为灰度图像，H＝0.299*R+0.587*G+0.114*B，其中R，G，G，B为在计算机程序中车牌图像所代表的红、绿、蓝分量，H为得到的灰度分量值；

(2)利用改进的Bernsen算法进行二值化处理，根据 $\underset{i=T_1}{\overset{255}{\mathrm{\&Sigma;}}}\mathrm{histogram}\left[i\right]\&GreaterEqual;A\&times;10\%$ 计算出第一阈值T₁，A为图像面积；根据Bernsen算法计算出第二阈值T₂，T₂取值满足： $T_2(x,y)=0.5\&times;(\underset{-w\&le;k,l\&le;w}{\max }f(x+k,y+l)+\underset{-w\&le;k,l\&le;w}{\min }f(x+k,y+l)),$ 其中k为所选窗口的宽度，L为所选窗口的高度；为了尽量避免伪影及笔画断裂现象的产生，引入第三阈值T3，T3取值满足： $T_3(x,y)=\underset{-w\&le;k,l\&le;w}{\max }f(x+k,y+l)-\underset{-w\&le;k,l\&le;w}{\min }f(x+k,y+l),$ 其中k为所选窗口的宽度，L为所选窗口的高度；为确定局部考察窗口内极大与极小值的变化，引入第四阈值T4，T4取值满足： $T_4(x,y)=\underset{-w\&le;k,l\&le;w}{\mathrm{avg}}{T}_2(x+k,y+l),$ 其中k为所选窗口的宽度，L为所选窗口的高度；然后，根据不同阈值的变化进行二值化处理；

(3)在去噪处理中，采用了3*3窗口的中值滤波法。

3.根据权利要求1所述的车牌图像定位方法，其特征为：所述数据流修正的自适应模板匹配法是指：在数据流图中，根据实际需要，设定白像素投影阈值，用‘1’表示水平投影中自像素值大于阈值的信息；用‘0’表示投影图中白像素值小于阈值的信息；

当两个连续的‘1’段中间产生‘0’时，其数目比小于阈值的‘0’段数目少，且与‘1’之间的距离小于设定值，说明此时的‘0’是噪声干扰，需对数据流信息进行修正，作变‘0’为‘1’处理；

当两个连续的‘0’段中间产生‘1’时，其数目比小于阈值的‘1’段数目少，且与‘0’之间的距离小于设定值，说明此时的‘1’是噪声干扰，需对数据流信息进行修正，作变‘1’为‘0’处理；

随着‘1’段的高度变化，模板的高度也随之变化，从而得到自适应的模板尺寸。

4.根据权利要求1所述的车牌图像定位方法，所述形态梯度法边缘检测是指根据数学形态学中腐蚀运算和膨胀运算公式构成形态梯度表达式来进行边缘检测：

(1)腐蚀运算：

表示用结构元素B来腐蚀A，即B完全包括在A中时B的原点位置的集合；

(2)膨胀运算： $A\&CirclePlus;B$ 表示用结构元素B来膨胀A，即B关于原点的映射的位移与A至少有一个非零元素相交时B的原点位置的集合；

(3)选择形态梯度表达式：

$\mathrm{Grad}=\min \left\{\right[A\&CirclePlus;B-A],[A-\left(\mathrm{A\&Theta;B}\right)\left]\right\},$ 使边缘检测的效果更为理想。

5.根据权利要求1所述的车牌图像定位方法，其特征为：针对畸变的车牌字符图像，用原始图像坐标与畸变图像坐标之间的关系来描述，以字符图像中某一点为中心将图像旋转某一角度后，形成畸变车牌字符图像，将畸变车牌字符图像的像素看作某一个新的二维随机向量(X₂，Y₂)的随机样本点，字符图像的字符像素点总数不变；畸变车牌字符图像从变换的角度上看只是对原二维随机变量作了一次正交线性变换，两个独立随机变量X，Y各自方差的和不变，但随机变量X，Y各自方差在总的随机样本方差中的比重发生了变化，

定义一个字符主方向判别函数：

$f(X^{\&prime;},Y^{\&prime;})=\frac{\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}(x_i^{\&prime;}-{\stackrel{\&OverBar;}{X}}^{\&prime;})}{\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}(y_i^{\&prime;}-{\stackrel{\&OverBar;}{Y}}^{\&prime;})}$

上式中，(X′，Y′)表示判别函数中的横、纵坐标，x′_i表示随机变量X在坐标系中的水平位置，y′_i表示随机变量Y在坐标系中的垂直位置；

对某一倾斜字符图像的坐标进行旋转，使判别函数达到最大，此时就实现对畸变车牌字符的校正。

6.根据权利要求1所述的车牌图像定位方法，其特征为：所述投影法是指在车牌图像水平投影图中，车牌中的字符位置对应于投影图中连续的波峰区，由于车牌边框和字符之间没有字符，在投影图中必然对应于波谷位置，因此，只需从下往上搜索水平投影图中两个有较大突变投影值的行号，去掉行号上、下部分就去掉了车牌上下边框，得到了车牌字符区域的水平位置；同理，也可得到车牌字符区域的垂直位置。

Images