CN105117726A - 基于多特征区域累积的车牌定位方法 - Google Patents

Abstract

本发明提供一种基于多特征区域累积的车牌定位方法，包括：预处理；区域提取；车牌粗定位；旋转矫正；精确定位。本发明结合了目前主流算法的优点，克服各自相应的缺点，并提出一种区域累积车牌筛选策略，使得能够适应车牌污损、夜间环境以及多场景等复杂环境。能胜任实际应用的需求。

Description

基于多特征区域累积的车牌定位方法

技术领域

本发明涉及一种车牌定位方法，具体涉及一种基于多特征区域累积的车牌定位方法。

背景技术

车牌识别技术是当前车辆管理智能化的一个重要应用，随着车辆的数目不断地激增，给车辆的管理带来了极大的不便，加之人工成本的增加，传统的人工管理已经不满足现在的需求。车牌识别技术是利用摄像头采集到的包含车牌信息的图像，利用图像处理、模式识别等技术将车牌信息从中提取出来。车牌识别作为车辆管理系统的核心，其识别率一直是众多的研究者们关注的焦点，特别是在不同场景下的车牌识别。由于原始图像一般采集于露天的自然环境中，一般会受到光照、雨雪天气的影响以及车牌本身的污损、形变等因素，使得车牌识别的难度大大增加。一般来说，车牌识别主要分为三个部分：车牌定位、字符分割以及字符识别。其中车牌定位是整个车牌识别的基础也是核心，定位的正确与否决定着整个系统的识别率。当然，车牌定位失败后续的步骤也失去了意义。因此，车牌定位作为车牌识别技术的核心一直吸引着众多学者致力研究，诞生了众多的车牌定位的算法。概括起来，主要有以下几类：基于形态学的车牌定位，它利用车牌本身的字符纹理特征，运用数学形态学操作(膨胀、腐蚀，开/闭运算等)很容易找到车牌所在的区域，配合一定的候选区筛选条件，即可找到车牌的具体位置。但是其不足是其数学形态学本身的结构元素不能自适应，对于不同场景下的车牌定位鲁棒性(Robust)不强；基于形态学的方法容易导致车牌区域与其他噪声边缘粘连，增大定位失败概率；在纹理信息较弱的情况下，特别是夜间，基于形态学的定位方法往往定位失败。基于扫描线的车牌定位的方法，其原理是对预处理后的二值图像以一定间隔的扫描线(水平、竖直方向)检测灰度跳变信息。记录下频繁跳变的区域作为候选区，最终结合车牌先验知识确定最终车牌的位置。该方法具有实现简单、速度快的特点，但只适用于二值化理想或简单场景下的车牌识别，对复杂场景或车牌污损的情形适应性不强。基于颜色的车牌定位是利用我国车牌的背景和字符的固定颜色组合的先验知识，对图像进行特定的颜色查找，最终得到目标颜色区块，从而确定车牌位置。在一般情况下(光照均匀、车牌较干净)，使用该方法定位准确。不适用暗色车牌或夜间颜色失真的场景。

发明内容

本发明的目的是提供基于多特征区域累积的车牌定位方法，使得能够适应车牌污损、夜间环境以及多场景等复杂环境。能胜任实际应用的需求。

本发明提供了如下的技术方案：

基于多特征区域累积的车牌定位方法，包括如下步骤：

预处理；

区域提取；

车牌粗定位；

旋转矫正；

精确定位。

进一步的，预处理包括：灰度化、二值化和边缘检测；

灰度化，基于RGB颜色空间转灰度图的公式如下：

Gray(i，j)＝R(i，j)*0.299+G(i，j)*0.587+B(i，j)*0.114(1)

其中Gray(i,j)为目标图像在点(i,j)上的灰度值，R、G、B为图像三个分量；

二值化：灰度图采用0-255的灰度级来表示一幅图像，像素梯度并不明显，因此不利于对图像进行分割和边缘的提取；同时，为了减少不必要的信息和计算量，我们只使用0和255两个值表示我们关注的目标；一般情况下，0代表背景，255代表关注的目标；二值化的计算公式如下：

$dst(i,j)=\{\begin{array}{ccc}0& if& I(i,j)<threshold\\ 255& if& I(i,j)>threshold\end{array}---\left(2\right);$

边缘检测：采用Sobel算子可以根据需要提取水平方向或竖直方向的边缘信息。

进一步的，区域提取包括：基于边缘特征的连通域提取、基于背景颜色特征的连通域提取、基于字符颜色特征的连通域提取和形成区域累积图。

进一步的，基于边缘特征的连通域提取包括如下步骤：

Step1.对灰度图执行Top-Hat变换，去除高光区域；

Step2.使用Sobel算子检测竖直边缘，破坏水平方向的线段；

Step3.对边缘图进行去噪处理；具体做法为检索边缘图所有的轮廓记为C，任意Ci求取其面积Area(Ci)；若Area(Ci)<minAreaThresh或Area(Ci)>maxAreaThresh则使用黑色像素填充该轮廓，否则保留；其中minAreaThreash和maxAreaThresh表示允许的车牌最小、最大面积。

Step4.构造合适的结构元素，执行闭运算，开运算操作；结构元素的大小一般设定为22×4,具体值也可以根据实验结果进行微调；

Step5.对上述步骤的连通域进行筛选；找出图像所有连通域，根据车牌面积、宽高比例等条件滤除明显不符合车牌特征的区域；

Step6.由上述步骤，最终得到候选区S1。

进一步的，基于背景颜色特征的连通域提取包括如下步骤：

Step1.将原始图像从RGB颜色颜色空间变换至HSV颜色空间，RGB转换HSV的计算公式为：

$s=\left\{\begin{array}{cc}0,& \begin{array}{cc}if& \max =0\end{array}\\ \frac{\max -\min }{\max }=1-\frac{\min }{\max },& otherwise\end{array}\right.$

v＝max；

Step2.检测车牌固有的背景颜色，遍历图像每个像素，若该像素为车牌的固有颜色，则设定该值为255，否则为0；

Step3.对上述图像进行膨胀，使得白色像素连成区域；

Step4.滤除以上面积、宽高比例不满足的连通域；

Step5.由上述步骤，最终得到候选区S2。

进一步的，基于字符颜色特征的连通域提取，具体步骤如下：

Step1.对图像的HSV颜色图检测车牌字符颜色，遍历该图像的每个像素，若为目标像素，则设定该值为255，否则为0；

Step2.对上图二值化，并膨胀图像，使得字符色像素连成区域；

Step3.滤除面积、宽高比不满足的区域；

Step4.由上述步骤，最终得到候选区S3。

进一步的，区域累积具体方法如下：

Step1.创建与原图像尺寸M×N相等的单通道图f(x,y)，并将其所有像素值置零操作,即 ${\mathrm{\&Sigma;}}_{x=0}^{M-1}{\mathrm{\&Sigma;}}_{y=0}^{N-1}f(x,y)=0;$

Step2.将提取的候选区S1,S2,S3归入候选集S，将每个区域S_i作成一个像素值为p的单通道掩模Mask_i(x，y)；

Step3.对图像f(x，y),其中x0,y0,w,h分别为区域Si在图像空间的起始坐标和宽高值；

Step4.对上述的图像f(x，y)，计算区域叠加的层

$layer=\max \left(\underset{x=0}{\overset{M-1}{\mathrm{\&Sigma;}}}\underset{y=0}{\overset{N-1}{\mathrm{\&Sigma;}}}f\right(x,y\left)\right)/p;$

Step5.若layer＝0，则表示在所有的候选区域中没有重叠的区域，此时只取S1中的与车牌最相似的区域作为最终车牌区域；若layer＝1，滤除S中所有没有重叠的区域,即Overlap(S)＝0；若layer＞1,同理滤除Overlap(S)≤1的区域；

Step6.对图像f(x，y)进行二值化，其中阈值最终选出车牌的区域。

本发明的有益效果是：方法结合车牌纹理、背景颜色以及车牌固有的背景及字符颜色搭配等多特征对车牌进行定位。利用形态学获取到车牌的候选区域；利用查找颜色的方法找出车牌候选区块以及字符颜色融合的连通域区块，接着使用一种区域累积的方法滤除所有的较为明显的非车牌区域，继而结合车牌本身特征找到车牌大致的区域。最后，根据该大致区域中的区域叠加得到一个最优的完整车牌区域。基于多特征区域累积的多类型车牌定位的方法结合了目前主流算法的优点，克服各自相应的缺点，并提出一种区域累积车牌筛选策略，使得能够适应车牌污损、夜间环境以及多场景等复杂环境。能胜任实际应用的需求。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明结构示意图；

图2是一个较佳实施例的结构示意图；

图3是Sobel算子边缘提取图；

图4是基于区域累积提取车牌流程图；

图5是基于纹理特征的候选区域；

图6是基于颜色特征的候选区域；

图7是区域累积图。

具体实施方式

如图1-7所示，在本实施例中对于车牌的定位如下：

预处理，由于摄像头采集到的图像往往是基于RGB的颜色图，为了降低图像识别的计算复杂度，往往需要将图像的颜色空间变换到灰度空间。预处理的目的主要是去除或减少非车牌区域的噪声，保留或增强车牌区域的结构特征信息。预处理主要包括灰度化、二值化、边缘检测等步骤。

灰度化：摄像头在采集图像的时候，所采集的数据一般是基于RGB颜色空间的3-通道(channels)的彩色图像。虽然彩色图像可以保存更多的信息，但是必须以牺牲内存和运算速度为代价。在车牌的定位中，需要进行的操作往往是不需要在颜色图下处理的，为了满足实时性的要求，需要将图像进行灰度化处理。

二值化：灰度图采用0-255的灰度级来表示一幅图像，像素梯度并不明显，因此不利于对图像进行分割和边缘的提取。同时，为了减少不必要的信息和计算量，我们只使用0和255两个值表示我们关注的目标。一般情况下，0代表背景，255代表关注的目标。二值化的计算公式如下：

$dst(i,j)=\{\begin{array}{ccc}0& if& I(i,j)<threshold\\ 255& if& I(i,j)>threshold\end{array}---\left(2\right)$

图像二值化主要的难点在于阈值的选择。一般情形下，有两种阈值的选择，一是基于全局的固定阈值，二是自适应阈值法。前者的计算方法是获取灰度图的平均值，然后在平均值的基础之上上下浮动，具体浮动数值参照实际的环境以及二值化的效果而定。自适应算法采用大津法(OTSU)求阈值。OTSU算法主要思想是把图像的灰度数按灰度级分成2个部分，使得两个部分之间的灰度值差异最大，每个部分之间的灰度差异最小，通过方差的计算来寻找一个合适的灰度级别来划分。OTSU算法计算阈值简单可靠性也较高。

边缘检测，在图像分割中常用的边缘检测的算法有Canny算子、Sobel算子、Laplace算子及Robert算子等。相对于其他算子，Sobel算子可以根据需要提取水平方向或竖直方向的边缘信息，在水平方向的边缘和竖直方向的边缘响应效果最好。根据车牌本身的纹理特征，其竖直方向的边缘信息呈规律分布，利于车牌区域的提取。因此本发明采用Sobel算子作为边缘检测子。执行边缘检测效果如图3所示。

在一般的情况下，车牌的纹理信息作为车牌定位的一个重要特征，通过提取车牌的边缘信息，利用数学形态学进行一系列的膨胀、腐蚀，开/闭运算等操作可以获取到车牌多个候选连通域。这种方法简单也高效，但是由于形态学操作存在的一些缺点(如结构元素不能自适应、容易与其他噪声粘连等)使得在某些场景下的车牌定位往往是失败的。因此，仅仅利用纹理信息显然不能达到实际应用中针对不同场景的车牌定位的要求。本发明在基于纹理特征以外，增加对车牌背景及车牌字符颜色特征的考虑。提取出车牌背景颜色的区域和车牌字符颜色的区域，接着使用本发明提出的一种基于区域累积的方法筛选出车牌。基于区域累积的方法原理是将基于纹理、颜色及字符三个部分的特征所提取到的区域进行空间上的累积叠加，根据叠加的层数把所有非车牌区域滤除，最终定位到车牌的实际位置。

基于边缘特征的连通域提取：

车牌的边缘纹理信息是车牌的一个重要特征。车牌区域纹理丰富且具有一定的分布规律，利用这个特点可以很快的确定出车牌位置。但是在实际的应用中，车牌识别使用的场景往往很复杂，也就意味着需要考虑如何有效的滤除背景噪声，从而将类车牌的候选区提取出来。本实施例中采取的做法如下：

Step1.对灰度图执行Top-Hat变换，去除高光区域。

Step2.使用Sobel算子检测竖直边缘，破坏水平方向的线段。

Step3.对边缘图进行去噪处理。具体做法为检索边缘图所有的轮廓记为C，任意Ci求取其面积Area(Ci)。若Area(Ci)<minAreaThresh或Area(Ci)>maxAreaThresh则使用黑色像素填充该轮廓，否则保留。其中minAreaThreash和maxAreaThresh表示允许的车牌最小、最大面积。

Step4.构造合适的结构元素，执行闭运算，开运算操作。结构元素的大小一般设定为22×4,具体值也可以根据实验结果进行微调。

Step5.对上述步骤的连通域进行筛选。找出图像所有连通域，根据车牌面积、宽高比例等条件滤除明显不符合车牌特征的区域。

Step6.由上述步骤，最终得到候选区S1。

基于背景颜色特征的连通域提取：

由于我国车牌的背景颜色相对固定，因此基于颜色特征的车牌定位方法在定位算法中也占有很大的地位。本发明通过检测颜色图中车牌固有的背景色来确定车牌的区域位置。具体算法步骤如下：

Step1.将原始图像从RGB颜色颜色空间变换至HSV颜色空间。RGB转换HSV的计算公式为：

$s=\left\{\begin{array}{cc}0,& \begin{array}{cc}if& \max =0\end{array}\\ \frac{\max -\min }{\max }=1-\frac{\min }{\max },& otherwise\end{array}\right.$

v＝max

Step2.检测车牌固有的背景颜色(假设为蓝色)。遍历图像每个像素，若该像素为蓝色，则设定该值为255，否则为0

Step3.对上述图像进行膨胀，使得白色像素连成区域。

Step4.滤除以上面积、宽高比例不满足的连通域。

Step5.由上述步骤，最终得到候选区S2。

基于字符颜色特征的连通域提取：

在某些情况下，如车牌颜色较淡或者色彩失真，只对车牌背景颜色的检测有时候难以将车牌的所在区域找到。为了使得车牌识别具有较高的适用性，需要对这些场景加以考虑。除了上述车牌背景的检测，字符颜色的检测同样具有分布均匀、纹理信息稳定等特点。本发明通过检测车牌字符特有的颜色来确定车牌区域，具体算法步骤如下：

Step1.对图像的HSV颜色图检测车牌字符颜色(假设为白色)。遍历该图像的每个像素，若为目标像素，则设定该值为255，否则为0.

Step2.对上图二值化，并膨胀图像，使得白色像素连成区域。

Step3.滤除面积、宽高比不满足的区域。

Step4.由上述步骤，最终得到候选区S3。

区域累积图：

在不同的场景下的车牌，如光照、车牌污损、倾斜等条件下。其预处理后得到的车牌区域可能存在车牌不完整、车牌区域断裂的情况。本发明通过以上三个步骤的车牌候选区域S1,S2，S3的提取，利用区域叠加的原理将真正的车牌区域从中准确的提取出来，并在车牌的叠加的区域提取最优的车牌。区域累积具体算法如下：

Step1.创建与原图像尺寸M×N相等的单通道图f(x,y)，并将其所有像素值置零操作,即 ${\mathrm{\&Sigma;}}_{x=0}^{M-1}{\mathrm{\&Sigma;}}_{y=0}^{N-1}f(x,y)=0.$

Step2.将提取的候选区S1,S2,S3归入候选集S，将每个区域S_i作成一个像素值为p的单通道掩模Mask_i(x，y)。

Step3.对图像f(x，y),其中x0,y0,w,h分别为区域Si在图像空间的起始坐标和宽高值。

Step4.对上述的图像f(x，y)，计算区域叠加的层

$layer=\max \left(\underset{x=0}{\overset{M-1}{\mathrm{\&Sigma;}}}\underset{y=0}{\overset{N-1}{\mathrm{\&Sigma;}}}f\right(x,y\left)\right)/p.$

Step5.若layer＝0，则表示在所有的候选区域中没有重叠的区域，此时只取S1中的与车牌最相似的区域作为最终车牌区域；若layer＝1，滤除S中所有没有重叠的区域，即Overlap(S)＝0；若layer＞1,同理滤除Overlap(S)≤1的区域。

Step6.对图像f(x，y)进行二值化。其中阈值最终选出车牌的区域。

最优车牌选择需要从车牌重叠区域中选出一个最优的区域，如图7中车牌区域为灰度最亮的区域。该区域由两层区域叠加，为了确保由于各种原因引起的车牌区域缺损，因此需要在重叠的区域中确定一个最优的区域作为车牌区域。本发明采取的策略为:

Region(LP)＝(top，bottom，left，right)，其中：

top＝灰度最亮的上边界

bottom＝灰度最亮的下边界

letf＝最小左边界

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于多特征区域累积的车牌定位方法，其特征在于，包括如下步骤：

预处理；

区域提取；

车牌粗定位；

旋转矫正；

精确定位。

2.根据权利要求1所述的基于多特征区域累积的车牌定位方法，其特征在于，所述预处理包括：灰度化、二值化和边缘检测；

灰度化，基于RGB颜色空间转灰度图的公式如下：

(1)

其中Gray(i,j)为目标图像在点(i,j)上的灰度值，R、G、B为图像三个分量；

二值化：灰度图采用0-255的灰度级来表示一幅图像，像素梯度并不明显，因此不利于对图像进行分割和边缘的提取；同时，为了减少不必要的信息和计算量，我们只使用0和255两个值表示我们关注的目标；一般情况下，0代表背景，255代表关注的目标；二值化的计算公式如下：

$dst(i,j)=\{\begin{array}{ccc}0& if& I(i,j)<threshold\\ 255& if& I(i,j)>threshold\end{array}---\left(2\right);$

边缘检测：采用Sobel算子可以根据需要提取水平方向或竖直方向的边缘信息。

3.根据权利要求1所述的基于多特征区域累积的车牌定位方法，其特征在于，区域提取包括：基于边缘特征的连通域提取、基于背景颜色特征的连通域提取、基于字符颜色特征的连通域提取和形成区域累积图。

4.根据权利要求3所述的基于多特征区域累积的车牌定位方法，其特征在于，基于边缘特征的连通域提取包括如下步骤：

Step1.对灰度图执行Top-Hat变换，去除高光区域；

Step2.使用Sobel算子检测竖直边缘，破坏水平方向的线段；

Step3.对边缘图进行去噪处理；具体做法为检索边缘图所有的轮廓记为C，任意Ci求取其面积Area(Ci)；若Area(Ci)<minAreaThresh或Area(Ci)>maxAreaThresh则使用黑色像素填充该轮廓，否则保留；其中minAreaThreash和maxAreaThresh表示允许的车牌最小、最大面积。

Step4.构造合适的结构元素，执行闭运算，开运算操作；结构元素的大小一般设定为22×4,具体值也可以根据实验结果进行微调；

Step5.对上述步骤的连通域进行筛选；找出图像所有连通域，根据车牌面积、宽高比例等条件滤除明显不符合车牌特征的区域；

Step6.由上述步骤，最终得到候选区S1。

5.根据权利要求3所述的基于多特征区域累积的车牌定位方法，其特征在于，基于背景颜色特征的连通域提取包括如下步骤：

Step1.将原始图像从RGB颜色颜色空间变换至HSV颜色空间，RGB转换HSV的计算公式为：

Step2.检测车牌固有的背景颜色，遍历图像每个像素，若该像素为车牌的固有颜色，则设定该值为255，否则为0；

Step3.对上述图像进行膨胀，使得白色像素连成区域；

Step4.滤除以上面积、宽高比例不满足的连通域；

Step5.由上述步骤，最终得到候选区S2。

6.根据权利要求3所述的基于多特征区域累积的车牌定位方法，其特征在于，基于字符颜色特征的连通域提取，具体步骤如下：

Step1.对图像的HSV颜色图检测车牌字符颜色，遍历该图像的每个像素，若为目标像素，则设定该值为255，否则为0；

Step2.对上图二值化，并膨胀图像，使得字符色像素连成区域；

Step3.滤除面积、宽高比不满足的区域；

Step4.由上述步骤，最终得到候选区S3。

7.根据权利要求3至6中的任一项所述的基于多特征区域累积的车牌定位方法，其特征在于，区域累积具体方法如下：

Step1.创建与原图像尺寸M×N相等的单通道图f(x,y)，并将其所有像素值置零操作,即 ${\mathrm{\&Sigma;}}_{x=0}^{M-1}{\mathrm{\&Sigma;}}_{y=0}^{N-1}f(x,y)=0;$

Step2.将提取的候选区S1,S2,S3归入候选集S，将每个区域Si作成一个像素值为p的单通道掩模Mask_i(x，y)；

Step3.对图像f（x，y）, ${\mathrm{\&Sigma;}}_{x=x0}^{x0+w}{\mathrm{\&Sigma;}}_{y=y0}^{y0+h}\&lsqb;f(x,y)+{\mathrm{Mask}}_i(x,y)\&rsqb;,$ 其中x0,y0,w,h分别为区域Si在图像空间的起始坐标和宽高值；

Step4.对上述的图像f（x，y），计算区域叠加的层

$layer=\max \left(\underset{x=0}{\overset{M-1}{\mathrm{\&Sigma;}}}\underset{y=0}{\overset{N-1}{\mathrm{\&Sigma;}}}f\right(x,y))/p;$

Step5.若layer＝0，则表示在所有的候选区域中没有重叠的区域，此时只取si中的与车牌最相似的区域作为最终车牌区域；若layer＝1，滤除S中所有没有重叠的区域，即overlap（S）＝0；若layer＞1，同理滤除Overlap（（S））≤1的区域；

Step6.对图像f（x，y）进行二值化，其中阈值最终选出车牌的区域。