CN101118596A - 一种基于支持向量机的车牌倾斜校正方法 - Google Patents

Abstract

本发明公开了一种基于支持向量机的车牌倾斜校正方法，该方法的实施步骤包括进行图像采集、进行灰度处理、进行二值化处理、车牌图像倾斜校正(包括建立图像数据集矩阵、图像矩阵中心化、计算矩阵、计算倾斜向量、通过坐标变换得到倾斜校正后的图像)、图像膨胀修正、图像腐蚀修正。本发明所述的车牌倾斜校正方法支持向量机这一新的机器学习工具应用其中，将车牌图像传统的Hough空间的寻优问题转换为线性矩阵的求解问题，简化了计算，提高了算法效率，避免了倾角等参数最优点搜索过程中的随机性和不稳定性，并且对于边框不清或含有噪声干扰的图像仍能取得较好的效果。

Description

一种基于支持向量机的车牌倾斜校正方法

技术领域

本发明属于智能识别技术领域，具体涉及一种基于支持向量机的车牌倾斜校正方法。

背景技术

车牌自动识别技术是智能交通系统的关键技术之一，其任务是处理、分析汽车车牌照图像、自动识别汽车牌照。车牌识别系统可分为车牌定位、图像预处理、字符分割和字符识别四个部分。车牌倾斜校正是车牌定位和字符分割间的一个重要处理过程。经过车牌定位后所获取的车牌图像不可避免地存在某种程度的倾斜，这种倾斜不仅会给下一步字符分割带来困难，最终也将对车牌识别的正确率造成直接地影响。

车牌的倾斜校正是车牌自动识别技术中一个重要的课题。尽管为了减少车牌倾斜的出现，可以对车牌图像的采集条件和采集设备作一些相应的限定，但仍然难以杜绝车牌倾斜现象的出现。如果不对车牌进行相应的倾斜校正，则会对后续的边框铆钉去除、字符切分处理等带来很大的麻烦，甚至无法处理。即使能够处理也往往会因为信息缺损、车牌字符变形等因素导致得到错误的识别结果。

传统的车牌倾斜校正方法的核心是采用Hough变换方法检测边缘。然而为了能够使用Hough变换方法，必须先大致给出车牌的边缘线。在车牌区域较大、车牌附近干扰比较少、车牌边缘清晰的情况下一般可以较好地检测出边缘；而当车牌较小、车牌附近干扰较多、车牌边缘不清晰等情况下，很难构造出通用的边缘检测算子以适应绝大部分的车牌边缘检测。此外，即使能够得到比较准确的车牌边缘，使用Hough变换也存在计算量大、准确率低的缺点。

因此，包含Hough变换方法在内的现有车牌倾斜校正方法中，图像倾角和相关参数的求解过程均是建立在空间极值点搜索的机理上，其计算量大、算法效率低。所以寻找一种可避免空间寻优，直接通过数值计算确定图像倾角的方法是提高倾斜校正效率的有效手段。

发明内容

本发明的目的是提供一种基于支持向量机的车牌倾斜校正方法，将支持向量机的计算原理应用于车辆车牌的倾斜校正中，来解决现有的车牌倾斜校正方法计算量大、准确率低的问题。

本发明所采用的技术方案是，一种基于支持向量机的车牌倾斜校正方法，该方法按以下步骤实施，

a、采集得到含有车牌的原始图像，

b、对步骤a所得到的车辆原始图像进行灰度判断，若所拍摄到的车辆原始图像为灰度图像，则不进行处理；若所拍摄到的车辆原始图像为真彩色图像，则对车辆原始图像进行灰度转换，得到一幅包含车牌的灰度图像，

c、对步骤b所得到的灰度图像进行二值化处理，将其变为只有“0”“1”值的图像；

d、对步骤c得到的图像进行以下处理，得到校正的车牌图像：

d1、建立步骤c得到的图像的数据集矩阵X_2×N：设N为二值倾斜车牌图像中所有“1”值像素的数量，构造出图像数据集{X_i；Y_i}(i＝1，2，…，N)，其中X_i为输入向量，取像素坐标值[x_i，y_i]^T；输出Y_i取一常数，再将所有输入向量X_i存储到矩阵X_2×N中；

d2、图像矩阵中心化：对图像矩阵X_2×N中每个列向量X_i＝[x_i，y_i]^T进行变换 $x_i^{\′}{=[x_i-\stackrel{\‾}{x},y_i-\stackrel{\‾}{y}]}^T,$

其中 ${[\stackrel{\‾}{x},\stackrel{\‾}{y}]}^T$ 为X_i的均值向量，即图像的中心坐标，图像矩阵X_2×N中心化后列为

d3、计算矩阵Ω：Ω为N×N方阵，其第i行第j列元素为 ${\mathrm{\Ω}}_{\mathrm{ij}}=X_i^{T}X,$ 则

$\mathrm{\Ω}={\stackrel{\‾}{X}}^T\stackrel{\‾}{X},$

d4、计算倾斜向量ω，并对其标准化：

首先利用解式Ωα＝λα求取特征值，求最大特征值|λ|所对应的特征向量α，再用公式 $\mathrm{\ω}=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_i{x}_i^T$ 求取图像倾斜向量ω，并对倾斜向量ω进行标准化：

$x=\frac{\mathrm{\ω}}{\left|\mathrm{\ω}\right|},$

d5、进行坐标变换得到校正后的图像：标准化后的倾斜向量x为2维(x₁，x₂)，构造坐标变换：

$A=\left[\begin{array}{cc}-x_2& x_1\\ x_1& x_2\end{array}\right]$

用 $Y_{2\×N}=A{\stackrel{\‾}{X}}_{2\×N}$ 实现坐标变换，并根据最临近插值法进行校正，得到校正后的基本图像，

e、对步骤d校正后的车牌图像进行图像的膨胀修正，

f、对步骤e修正后的车牌图像进行图像的腐蚀修正，即完成整个校正过程。

本发明的有益效果是，该车牌倾斜校正方法应用了支持向量机的计算原理，将传统的车牌图像Hough空间的寻优问题转换为线性矩阵的求解问题，简化了计算，提高了算法效率，避免了倾角等参数最优点搜索过程中的随机性和不稳定性，同时对车牌图像的边框无特殊要求，对于边框不清或含有噪声干扰的图像仍能取得较好的效果。

附图说明

图1是基于LS-SVM的车牌图像倾斜校正流程图；

图2是待校正的倾斜车牌原始图像；

图3是图像二值化后的车牌图像；

图4是倾斜校正后的车牌图像；

图5是膨胀处理后的车牌图像；

图6是腐蚀处理后的车牌图像。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

支持向量机(SVM)是统计学理论的一种通用学习方法，其基本思想为：首先选择一个非线性变换Φ(□)把n维输入，1维输出样本向量

(x₁，y₁)，(x₂，y₂)，…，(x_i，y_i)，…，(x_l，y_l)

x_i∈□ⁿ，y_i∈□，i＝1，…，l

从原空间映射到高维特征空间F，在此空间构造最优线性回归函数

f(x)＝ω·Φ(x)+b    (1)

同时利用了结构风险最小化原则，引入了间隔的概念，并巧妙地利用原空间的核函数取代高维特征空间的点积运算，避免了复杂计算。

标准支持向量机和最小二乘支持向量机在利用结构风险原则时，在优化目标中选择了不同的损失函数，它们分别为误差ξ_i和误差ξ_i的二范数。

对于标准的支持向量机，优化问题为

$\underset{\mathrm{\ω},b,\mathrm{\ξ}}{\min }\frac{1}{2}{\mathrm{\ω}}^T\mathrm{\ω}+\mathrm{\γ}\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\ξ}}_i---\left(2\right)$

约束条件为：

$\left\{\begin{array}{c}{y}_i[{\mathrm{\ω}}^T\mathrm{\Φ}\left(X_i\right)+b]\≥1-{\mathrm{\ξ}}_i\\ {\mathrm{\ξ}}_i\≥0,i=1,\·\·\·,l\end{array}---\left(3\right)\right.$

对于最小二乘支持向量机，优化问题变为

$\underset{\mathrm{\ω},b,\mathrm{\ξ}}{\min }\frac{1}{2}{\mathrm{\ω}}^T\mathrm{\ω}+\mathrm{\γ}\frac{1}{2}\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{{\mathrm{\ξ}}_i}^2---\left(4\right)$

约束条件为：

y_i[ω^TФ(x_i)+b]＝1-ξ_ii＝1，...，l    (5)

最小二乘支持向量机定义了与标准支持向量机不同的代价函数，并将其不等式约束改为等式约束。求解(4)式的优化问题，可以引入拉格朗日函数：

$L=\frac{1}{2}{\mathrm{\ω}}^T\mathrm{\ω}+\mathrm{\γ}\frac{1}{2}\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\ξ}}_i^2-\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_i\left(y_i\right[{\mathrm{\ω}}^T\mathrm{\Φ}\left(x_i\right)+b]-1+{\mathrm{\ξ}}_i)---\left(6\right)$

其中α_i为拉格朗日乘子，常数γ＞0，它控制对超出误差的样本的惩罚的程度。再根据KKT条件，得到如下等式和约束条件

$\left\{\begin{array}{c}\mathrm{\ω}=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_i{y}_i\mathrm{\Φ}\left(x_i\right)\\ \underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_i{y}_i=0\\ {\mathrm{\α}}_i=\mathrm{\γ}\·{\mathrm{\ξ}}_i\\ y_i[{\mathrm{\ω}}^T\mathrm{\Φ}\left(x_i\right)+b]-1+{\mathrm{\ξ}}_i=0\end{array}\right.---\left(7\right)$

对于i＝1，....l，上式消去ω和ξ得到(8)式的线性系统：

$\left[\begin{array}{cc}0& {\mathrm{\Λ}}^T\\ \mathrm{\Λ}& {\mathrm{ZZ}}^T+{\mathrm{\γ}}^{-1}I\end{array}\right]\left[\begin{array}{c}b\\ \mathrm{\α}\end{array}\right]=\left[\begin{array}{c}0\\ Y\end{array}\right]---\left(8\right)$

其中

$\left\{\begin{array}{c}Z=[\mathrm{\Φ}{\left(x_1\right)}^T{y}_1;\·\·\·;\mathrm{\Φ}{\left(x_i\right)}^T{y}_i]\\ Y={[y_1;\·\·\·;y_i]}^T\\ \mathrm{\Λ}=[1;\·\·\·;1],\mathrm{\ξ}=[{\mathrm{\ξ}}_1;\·\·\·;{\mathrm{\ξ}}_i]\\ \mathrm{\α}=[{\mathrm{\α}}_1;\·\·\·;{\mathrm{\α}}_i]\end{array}\right.---\left(9\right)$

由(8)式，根据Mercer条件，可以令Ω＝ZZ^T，这样就可以使用核函数了。

Ω_kh＝y_ky_hΦ(x_k)^TФ(x_h)＝y_ky_h·K(x_k，x_h)   k，h＝1，...，l    (10)

则(8)式可修改为

因此支持向量的优化问题转化为求解上述线性方程的问题。

由于车牌图像构造的数据集令其输出y_i＝0，并且回归参数b与求取倾斜向量无关，则式(8)可简化为：

|Ω+γ^-1I|α＝0    (12)

若α＝0，则倾斜向量ω＝0，与数据集的实际意义相违背，因此应求α的非零解。

定义λ＝-γ^-1，可转换为以下特征值问题：

Ωα＝λα    (13)

因此，由式(7)可得所求倾斜向量ω为

$\mathrm{\ω}=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_i{x}_i^T---\left(14\right)$

其中α用最大|λ|对应的特征向量。

由此可见，LS-SVM车牌图像倾斜校正实质是通过LS-SVM对像素坐标进行回归，求取矩形图像的倾斜方向参数，再通过坐标变换使原来的坐标旋转到倾斜方向上，各像素在y坐标投影分量的方差达到最小。

如图1所示，为本发明的车牌图像倾斜校正方法流程图，该方法的实施步骤包括进行车牌图像采集、进行图像灰度处理、对图像进行二值化处理、车牌图像倾斜校正、图像膨胀修正、图像腐蚀修正。其中车牌图像倾斜校正包括建立图像数据集矩阵、图像矩阵中心化、计算矩阵、计算倾斜向量、通过坐标变换实现倾斜校正五个小步骤。

实施例

a、将摄像机安装于公路路口、收费站或者停车场的适当位置，在车辆进入摄像范围后进行图像采集，得到含有车牌图像的原始图像，如图2所示。

b、对步骤a所得到的车辆原始图像进行灰度判断，若所拍摄到的车辆原始图像为灰度图像，则不进行处理；若所拍摄到的车辆原始图像为真彩色图像，则对车辆原始图像进行灰度转换，得到一幅包含车牌的灰度图像；

c、对步骤b所得到的灰度图像进行二值化处理，将其变为只有“0”“1”值的图像，便于后续处理，如图3所示。

d、对步骤c得到的图像进行以下处理，并得到校正后的车牌图像：

d1、建立步骤c得到的图像的数据集矩阵X_2×N。设N为二值倾斜车牌图像中所有“1”值像素的数量，构造图像数据集{X_i；Y_i}(i＝1，2，...，N)，其中X_i为输入向量，取像素坐标值[x_i，y_i]^T；输出Y_i取一常数(为方便计算，可取0)。再将所有输入向量X_i存储到矩阵X_2×N中；

d2、图像矩阵中心化，即零均值化。对图像矩阵X_2×N中每个列向量(像素坐标)X_X＝[x_i，y_i]^T进行变换 $x_i^{\′}={[x_i-\stackrel{\‾}{x},y_i-\stackrel{\‾}{y}]}^T.$

其中 ${[\stackrel{\‾}{x},\stackrel{\‾}{y}]}^T$ 为X_i的均值向量，即图像的中心坐标。其目的就是平移图像使图像的中心与坐标原点重合，记图像矩阵X_2×N中心化后列为

d3、计算矩阵Ω。Ω为N×N方阵，其第i行第j列元素为 ${\mathrm{\Ω}}_{\mathrm{ij}}=X_i^{T}X,$ 则：

$\mathrm{\Ω}={\stackrel{\‾}{X}}^T\stackrel{\‾}{X}$

d4、计算倾斜向量ω，并对其标准化。利用解式(13)的求取特征值，求最大特征值|λ|所对应的特征向量α，再用式(14)求取图像倾斜向量ω。

$\mathrm{\ω}=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_i{x}_i^T$

为避免旋转校正时图像发生伸缩，必须对倾斜向量ω进行标准化：

$X=\frac{\mathrm{\ω}}{\left|\mathrm{\ω}\right|}$

d5、进行坐标变换得到倾斜校正的车牌图像。标准化后的倾斜向量x为2维(x₁，x₂)，构造坐标变换：

$A=\left[\begin{array}{cc}-x_2& x_1\\ x_1& x_2\end{array}\right]$

用 $Y_{2\×N}=A{\stackrel{\‾}{X}}_{2\×N}$ 实现坐标变换，并根据最临近插值法进行校正，得到校正后的基本图像，如图4所示。

e、对步骤d校正后的车牌图像进行图像的膨胀修正，修正结果如图5所示。

f、对步骤e修正后的车牌图像再进行图像的腐蚀修正，最终的修正结果如图6所示。

本发明所述的车牌倾斜校正方法将支持向量机这一新的机器学习工具应用其中，将车牌图像Hough空间的寻优问题转换为线性矩阵的求解问题，简化了计算，提高了算法效率，避免了倾角等参数最优点搜索过程中的随机性和不稳定性，并且对于边框不清或含有噪声干扰的图像仍能取得较好的效果。

Claims (1)

1.一种基于支持向量机的车牌倾斜校正方法，其特征在于：该方法按以下步骤实施，

a、采集得到含有车牌的原始图像，

b、对步骤a所得到的车辆原始图像进行灰度判断，若所拍摄到的车辆原始图像为灰度图像，则不进行处理；若所拍摄到的车辆原始图像为真彩色图像，则对车辆原始图像进行灰度转换，得到一幅包含车牌的灰度图像，

c、对步骤b所得到的灰度图像进行二值化处理，将其变为只有“0”“1”值的图像；

d、对步骤c得到的图像进行以下处理，得到校正的车牌图像：

d1、建立步骤c得到的图像的数据集矩阵X_2×N：设N为二值倾斜车牌图像中所有“1”值像素的数量，构造出图像数据集{X_i；Y_i}(i＝1，2，…，N)，其中X_i为输入向量，取像素坐标值[x_i，y_i]^T；输出Y_i取一常数，再将所有输入向量X_i存储到矩阵X_2×N中；

d2、图像矩阵中心化：对图像矩阵X_2×N中每个列向量X_i＝[x_i，y_i]^T进行变换 $x_i^{\′}={[x_i-\stackrel{\‾}{x},y_i-\stackrel{\‾}{y}]}^T,$

其中为X_i的均值向量，即图像的中心坐标，图像矩阵X_2×N中心化后列为

d3、计算矩阵Ω：Ω为N×N方阵，其第i行第j列元素为 ${\mathrm{\Ω}}_{\mathrm{ij}}=X_i^{T}X,$ 则

$\mathrm{\Ω}={\stackrel{\‾}{X}}^T\stackrel{\‾}{X},$

d4、计算倾斜向量ω，并对其标准化：

首先利用解式Ωα＝λα求取特征值，求最大特征值|λ|所对应的特征向量a，再用公式 $\mathrm{\ω}=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_i{x}_i^T$ 求取图像倾斜向量ω，并对倾斜向量ω进行标准化：

$x=\frac{\mathrm{\ω}}{\left|\mathrm{\ω}\right|},$

d5、进行坐标变换得到校正后的图像：标准化后的倾斜向量x为2维(x₁，x₂)，构造坐标变换：

$A=\left[\begin{array}{cc}-x_2& x_1\\ x_1& x_2\end{array}\right]$

用 $Y_{2\×N}=A{\stackrel{\‾}{X}}_{2\×N}$ 实现坐标变换，并根据最临近插值法进行校正，得到校正后的基本图像，

e、对步骤d校正后的车牌图像进行图像的膨胀修正，

f、对步骤e修正后的车牌图像进行图像的腐蚀修正，即完成整个校正过程。

Images