CN104200210B - 一种基于部件的车牌字符分割方法 - Google Patents

Abstract

本发明公开了一种基于部件的车牌字符分割方法，在车牌区域内提取7个字符作为部件，并根据部件外观特征，将其分为汉字字符和字母/数字字符两类，用于组成车牌部件模型。利用垂直边缘检测和形态学处理的方法确定目标候选区域，分别检测车牌中的汉字字符和字母/数字字符。根据字符间隔填充字符。分析字符间的空间位置关系，验证车牌类型。利用检测到的字符位置和大小修正目标候选区域，获取车牌修正区域。通过车牌位置和车牌类型反向修正字符位置，从而准确分割车牌字符。本发明具有易实现、鲁棒性强、适应不同光照条件等优点，不仅可以分割光照条件良好下的车牌，也能够处理含噪车牌。可应用于光照条件不佳或含噪条件下的车牌字符分割。

Description

一种基于部件的车牌字符分割方法

技术领域

本发明涉及车牌字符分割方法领域，具体是一种基于部件的车牌字符分割方法。

背景技术

车牌号码作为车辆的身份信息，是交通管理中对车辆进行处罚、登记和收费的重要凭证。因此，准确获取车牌信息成为交通管理实现智能化的关键。其中车牌字符分割是车牌识别系统中的三大关键技术之一，分割效果的好坏直接影响下一步车牌识别的效果。由于光照条件不佳和噪声干扰，传统的基于连通区域检测和垂直投影的车牌字符分割方法，在字符粘连和光照条件不佳等情况下，存在许多弊端，易造成误分割和漏分割。

利用标准车牌的先验信息，指导车牌字符分割的过程，可以有效解决字符粘连对分割的影响。例如：王兴玲于2006年发表在计算机工程学报上的论文“最大类间方差车牌字符分割的模板匹配算法”，根据字符串的结构和尺寸特征，设计了车牌字符串模板，利用标准车牌的先验信息辅助车牌字符分割。可以解决字符粘连、铆钉等造成的误分割问题。但是该方法依然是基于二值化来确定车牌区域，故存在车牌区域定位不准确等问题，进而影响分割的准确性。

基于这样的思想，申请号为201310317924.x的中国专利申请中也提出了一种基于连通域和模板的字符切分算法，将标准的模板先验信息(标准车牌规格)运用于指导车牌字符分割的过程。但是其初始分割依然是基于二值化后图像的连通区域检测，在实际操作过程中，由于二值化阈值难以选择，车牌边框、铆钉等造成的字符粘连对分割的影响依然存在。

发明内容

本发明的目的是提供一种基于部件的车牌字符分割方法，以克服现有字符分割技术中的不足，提高分割准确率。

为了达到上述目的，本发明所采用的技术方案为：

一种基于部件的车牌字符分割方法，其特征在于：包括以下步骤：

(1)、部件选择：根据车牌的结构，将车牌的七个字符作为车牌的七个部件，从左到右分别设为部件1、部件2、……部件7，并根据车牌字符的外特征将部件分成汉字字符部件和字母/数字字符部件，其中汉字划归为汉字字符部件，字母和数字划归为字母/数字字符部件；

(2)、模板学习：包括车牌模板学习和部件模板学习；从道路交通图像中获取车牌图像块和字符图像块，提取图像块对应的方向梯度直方图特征，采用SVM(支持向量机)分别训练车牌模板和部件模板；

(3)、目标候选区域确定：利用垂直Sobel算子与形态学闭操作获取垂直边缘图像，并通过连通区域检测和纵横比筛选得到目标候选区域；

(4)、字符辅助修正车牌定位：在目标候选区域内进行字符匹配检测，并对缺失字符进行填补，根据检测到的字符及字符间的最大间隔位置进行车牌类型判断，同时依据非空部件字符位置估计车牌位置，完成字符辅助修正车牌定位工作；

(5)、位置约束的车牌字符分割：结合车牌位置及车牌与字符间的空间位置约束关系完成分割过程，并获取字符分割图像块，用于后期字符识别。

所述的一种基于部件的车牌字符分割方法，其特征在于：所述步骤(2)中，模板学习的过程包括以下步骤：

(2.1)、从实际卡口视频中采集训练图像块，手动裁剪车牌图像块作为车牌模板的训练集正例，手动裁剪车牌字符图像块作为部件模板的训练集正例；

(2.2)、特征提取：将车辆图像块和字符图像块表征为方向梯度直方图特征，所述方向梯度直方图首先计算图像中每个像素点的梯度方向，得到图像的梯度方向矩阵，以4×4像素块大小为单元划分梯度方向矩阵，对每个4×4的像素块单元内的梯度方向进行直方图统计，最终得到整个图像块的方向梯度直方图，根据车牌训练图像归一化尺寸72×24像素、部件训练图像归一化尺寸8×16像素，可得车牌模板大小H_plate为18×6，部件模板大小H_part为2×4；

(2.3)、SVM训练车牌模板和部件模板，其中：

车牌模板训练中，对训练车牌模板的正例和负例分别标记为1和0得到标记矩阵，和步骤(2.2)中得到的方向梯度直方图特征构成训练车牌模板的训练数据，采用SVM进行训练，得到车牌模板F_plate和检测阈值th_plate，最终得到车牌模板；

部件模板训练中，部件模板训练同车牌模板训练过程相同，同样采用SVM进行训练，得到汉字部件模板F_chi和字母/数字部件模板F_letter以及对应的部件检测阈值th_chi和th_letter，

记录在当前车牌模板和部件模板尺寸下，各种车牌类型的各部件与车牌的位置约束关系，即各部件左上角顶点坐标与车牌左上角顶点坐标的相对位置，用于指导后期车牌字符分割过程：

R_m＝{rl_mn}＝{rl_m1,rl_m2,rl_m3,rl_m4,rl_m5,rl_m6,rl_m7}

其中，

rl_mn＝p_mn-r_m，m∈{1,2,3}，n∈{1,2,3,4,5,6,7}

这里，m表示车牌类型标号。n表示字符序号，p_mn表示在车牌类型为m时，车牌第n个字符左上角顶点的坐标，r_m表示车牌左上角顶点的坐标，rl_mn表示车牌类型为m时，车牌第n个字符与车牌的相对位置。

所述的一种基于部件的车牌字符分割方法，其特征在于：所述步骤(4)中，字符辅助修正车牌定位包括以下步骤：

(4.1)、适当缩放目标候选区域，得到不同缩放比例下的目标候选区域pyramid_k，以便于模板匹配，其中k表示缩放层数，取值为1、2、3；

(4.2)、对每层目标候选区域pyramid_k，计算其方向梯度直方图特征φ(pyramid_k)；

(4.3)、在3层目标候选区域pyramid_k上分别上进行汉字字符检测和字母/数字字符检测：

letter_k(z_x,y)＝δ(F_letter·φ(z_x,y,H_part),th_letter)，

chi_k(z_x,y)＝δ(F_chi·φ(z_x,y,H_part),th_chi)，

其中：

F∈{F_letter,F_chi}，th∈{th_letter,th_chi}，

这里，z_x,y为目标候选区域pyramid_k内任意一点，H_part为部件模板尺寸，φ(z_x,y,H_part)表示中心在z_x,y，大小为H_part的部件特征块，F_letter表示字母/数字部件模板，F_letter·φ(z_x,y,H_part)表示在位置z_x,y处字母/数字部件模板匹配得分，th_letter为字母/数字部件检测阈值，letter_k(z_x,y)为字母/数字检测结果标记，为1表示匹配成功，为0表示匹配失败，汉字部件检测过程和字母/数字部件检测过程相同，F_chi表示汉字部件模板，th_chi为汉字部件检测阈值，chi_k(z_x,y)为汉字检测结果标记；

(4.4)、利用非极大值抑制进行部件筛选，筛选目标候选区域中可能的汉字部件和字母/数字部件位置，所述的非极大值抑制就是当两个检测到的部件位置拥有共享区域时，将得分最高的位置作为部件位置；

(4.5)、记录每层目标候选区域pyramid_k上检测到的部件个数count_k以及每个部件的位置pbox_k,l＝{pp_k,l,H_part}，其中pp_k,l表示部件左上角顶点坐标，H_part表示部件模板尺寸；

(4.6)、确定count_k最大值count^*所对应最优层pyramid^*的每个部件位置pbox_l，若count^*小于4，则判定步骤S3中得到的目标候选区域为虚警，结束进程，否则继续后续步骤；

(4.7)、在最优层pyramid^*上进行车牌模板匹配，记录匹配得分最高的位置为车牌初始区域rbox＝{rp,H_plate}，其中，rp表示车牌左上角顶点坐标，H_plate表示车牌模板尺寸：

score(z_x,y)＝F_plate·φ(z_x,y,H_plate)，

plate(z_x,y)＝δ(score(z_x,y),th_plate)，

其中，F_plate为车牌模板，H_plate为车牌模板大小，φ(z_x,y,H_plate)表示特征块φ(pyramid)上中心在z_x,y，大小为H_root的区域。score(z_x,y)为z_x,y处车牌模板匹配得分，th_plate为车牌模板检测阈值，plate(z_x,y)为车牌检测结果标记；

(4.8)、判断count^*是否小于7，若是，填补缺失字符，否则直接进行后续步骤；

(4.9)、记录字符填补之后所有字符的位置Pos＝{pos_n}，获取字符排序Det＝{det_n}，det_n∈(letter,chi,null)，并记录检出字符个数Set＝{n,det_n≠null}，用于后续步骤中估计车牌左上角顶点位置；

(4.10)、车牌类型检测：用于检测警用车牌、使馆车牌和民用车牌三种车牌类型，车牌类型的检测是为了确定车牌字符和车牌之间的位置约束关系，以辅助字符分割，具体步骤如下：

(a)、利用非空部件字符(不含填补字符)位置估计车牌左上角顶点位置：

其中，Set表示非空部件集，pos_n为非空部件的位置，rp^*表示最有可能的车牌左上角顶点位置，rl_mn表示车牌类型为m时，车牌第n个字符与车牌的相对位置，对所有非空部件估计出的车牌左上角顶点位置求平均，即可得到rp^*；

(b)、由车牌左上角顶点位置及车牌大小，确定车牌修正区域位置rbox^*＝{rp^*,H_plate}。

所述的一种基于部件的车牌字符分割方法，其特征在于：所述步骤(5)中，位置约束的车牌字符分割包括以下步骤：

(5.1)、根据车牌左上角顶点位置反向修正字符位置：

m∈{1,2,3}，n∈{1,2,3,4,5,6,7}

其中，m表示车牌类型，n表示字符编号，rp^*表示车牌左上角顶点坐标，rl_mn表示车牌与字符间的相对位置，表示修正后的字符左上角顶点坐标；

(5.2)、获得字符边界框

(5.3)、获取字符分割图像块patch_n。

所述的一种基于部件的车牌字符分割方法，其特征在于：所述步骤(4)中，填补缺失字符的过程包括以下步骤：

(a)、确定字符缺失个数：计算车牌左边框和第一个检测部件的水平距离d₁、车牌右边框和最后一个部件边框中心的水平距离d₂、各相邻部件中心点之间的水平距离d_3,t,(t＝1,2...l-1)，根据d₁、d₂、d_3,t以及H_part确定字符缺失个数；

(b)、根据H_part计算字符小间隔的大小；

(c)、根据小间隔大小和字符大小H_part对缺失字符进行填补，这里填补的字符均以null字符表示。

所述的一种基于部件的车牌字符分割方法，其特征在于：所述步骤(4)中，车牌类型判断的过程包括以下步骤：

(a)、定位字符最大间隔的位置：计算车牌初始区域rbox所对应区域的垂直投影直方图，设定阈值th_gap，小于阈值的连通区域称为波谷valley_i，大于阈值的连通区域称为波峰peak_j，分别记录每个波谷和波峰的宽度，其中第i个波谷的宽度记为width_v(i)、第i个波峰的宽度记为width_p(i)，计算每个波谷宽度和其左右波峰宽度的乘积，即prod(i)＝width_v(i)×width_p(i)×width_p(i+1),(i>1)，则prod(i)最大值对应的位置就是字符最大间隔的位置gap，用prod(i)代替width_v(i)来判断字符最大间隔位置，是为了解决相邻字符为1时字符间隔位置超过最大间隔位置的问题；

(b)、根据最大间隔位置gap和第7个车牌字符det₇，即可判断车牌类型m，若gap位于字符1和字符3之间且det₇为汉字，表示警用车牌类型，m＝1，若gap位于字符4之后，表示使馆车牌类型，m＝2，其它情况，默认为民用车牌类型，m＝3。

本发明的车牌字符分割方法具有以下优点：

(1)目标候选区域确定中，通过垂直Sobel算子提取边缘、形态处理和连通区域检测获得连通区域，并利用车牌纵横比等信息对连通区域进行筛选，确定目标候选区域，缩小了模板匹配的范围，提高了字符分割的效率。

(2)字符辅助修正车牌定位中，在目标候选区域内进行字符匹配检测，并对缺失字符进行填补，根据检测到的字符位置及字符间的最大间隔位置进行车牌类型判断，同时依据非空部件字符位置估计车牌位置，完成车牌定位工作，采用此方法提高了车牌定位的准确性。

(3)位置约束的车牌字符分割中，通过结合车牌位置及车牌与字符间的空间位置约束关系完成分割过程，此方法可以避免字符粘连、铆钉等造成的误分割。同时也可以提高分割的准确性。

附图说明

图1为本发明提出的车牌字符分割方法流程图。

图2为本发明实施例中车牌模板训练示意图。其中：图2(a)为道路车辆示意图，图2(b)为车牌训练集示意图，图2(c)为车牌特征示意图，图2(d)为车牌模板示意图。

图3为本发明实施例中字符模板训练示意图。其中：图3(a)为汉字字符训练示意图，图3(b)为字母/数字字符训练示意图。

图4为本发明提出的车牌与字符空间位置关系示意图。其中：图4(a)为警用车牌空间位置关系示意图，图4(b)为使馆车牌空间位置关系示意图，图4(c)为民用车牌空间位置关系示意图。

图5为本发明实施例中字符辅助修正车牌定位示意图。其中：图5(a)为目标候选区域示意图，图5(b)为字符辅助修正车牌定位示意图。

图6为本发明实施例中位置约束的车牌字符分割示意图。其中图6(a)为车牌修正区域示意图，图6(b)位置约束的车牌字符定位示意图，图6(c)为分割的车牌字符图像块。

具体实施方式

下面结合附图及具体实施方式详细介绍本发明。本发明为一种基于部件的车牌字符分割方法，具体流程图如图1所示。本发明的实现方案分为五个主要步骤：部件选择、模板学习、目标候选区域确定、字符辅助修正车牌定位和位置约束的车牌字符分割。下面详细介绍这五个步骤：

步骤S1：部件选择。根据车牌的结构，将车牌的七个字符作为车牌的七个部件，从左到右分别是部件1、部件2、……部件7。并根据车牌字符的外特征将部件分成两类：汉字字符部件和字母/数字字符部件。这里，我们将字母和数字划归为一类，统称为字母/数字字符。

步骤S2：模板学习。模板学习包括车牌模板学习和部件模板学习，具体步骤如下：

步骤S2-1：从实际卡口视频中采集训练图像块。手动裁剪车牌图像块作为车牌模板的训练集正例(如图2(b))，本发明实例使用5000个正例和5000个负例，并将正例和负例归一化为统一尺寸72×24像素。手动裁剪车牌字符图像块作为部件模板的训练集正例(如图3)，本发明实例使用5000个汉字图像块作为正例用于训练汉字部件模板，使用5000个字母/数字图像块作为正例用于训练字母/数字部件模板，汉字部件模板和字母/数字部件模板训练时使用相同的5000个负例，并将正例和负例归一化为统一尺寸8×16像素。

步骤S2-2：特征提取。将车辆图像块和字符图像块表征为方向梯度直方图特征(如图2(c))。所述方向梯度直方图，首先计算图像中每个像素点的梯度方向，得到图像的梯度方向矩阵，以4×4像素块大小为单元划分梯度方向矩阵，对每个4×4的像素块单元内的梯度方向进行直方图统计，最终得到整个图像块的方向梯度直方图。根据车牌训练图像归一化尺寸72×24像素、部件训练图像归一化尺寸8×16像素，可得车牌模板大小H_plate为18×6，部件模板大小H_part为2×4。

步骤S2-3：SVM(Support Vector Machine，支持向量机)训练车牌模板和部件模板。

步骤S2-3-1：车牌模板训练。对训练车牌模板的正例和负例分别标记为1和0得到标记矩阵，和步骤S2-2中得到的特征矩阵构成训练车牌模板的训练数据。采用SVM进行训练，得到车牌模板F_plate和检测阈值th_plate。最终得到的车牌模板如图2(d)所示。

步骤S2-3-2：部件模板训练。部件模板训练同车牌模板训练过程相同，同样采用SVM进行训练，得到汉字部件模板F_chi和字母/数字部件模板F_letter以及对应的部件检测阈值th_chi和th_letter。如图3所示，(a)为汉字部件训练集及所得模板示意图，(b)为字母/数字部件训练集及所得模板示意图。

步骤S2-3-3：记录在当前车牌模板和部件模板尺寸下，三种车牌类型(图4(a)、(b)、(c)分别代表警用车牌、使馆车牌和民用车牌)的各部件与车牌的位置约束关系，即各部件左上角顶点坐标与车牌左上角顶点坐标的相对位置，用于指导后期车牌字符分割过程：

R_m＝{rl_mn}＝{rl_m1,rl_m2,rl_m3,rl_m4,rl_m5,rl_m6,rl_m7}

其中，

rl_mn＝p_mn-r_m，m∈{1,2,3}，n∈{1,2,3,4,5,6,7}

这里，m表示车牌类型标号。n表示字符序号。p_mn表示在车牌类型为m时，车牌第n个字符左上角顶点的坐标，各坐标对应的点如图4(a)、(b)、(c)中所示的p₁₁～p₁₇、p₂₁～p₂₇、p₃₁～p₃₇。r_m表示车牌左上角顶点的坐标，各坐标对应的点如图4(a)、(b)、(c)中所示的r₁、r₂、r₃。rl_mn表示车牌类型为m时，车牌第n个字符与车牌的相对位置。本发明中所述的坐标均为二维坐标，即包括x轴坐标和y轴坐标。

步骤S3：目标候选区域确定。目标候选区域确定采用的是基于垂直边缘特征和形态学处理相结合的方法，具体步骤如下：

步骤S3-1，将输入的彩色车辆图像转成灰度图像。

步骤S3-2，利用垂直Sobel算子获取灰度图像的垂直边缘，得到垂直边缘图。本发明中，Sobel算子的卷积核大小为3。

步骤S3-3，用Ostu方法自适应确定垂直边缘的强度阈值。并根据该阈值对垂直边缘图进行二值化操作，得到二值化边缘图像edge。

步骤S3-4，对edge进行形态学闭操作，以连接相邻点，去除孤立点：

这里，B_rect为17x3矩形结构元素。⊕表示膨胀运算。e表示腐蚀运算。edge^*为形态学闭操作后的二值化边缘图像。

步骤S3-5，函数对edge^*进行连通区域检测，本发明中采用opencv自带的findcounters函数，得到若干连通区域。

步骤S3-6，利用车牌纵横比先验信息对连通区域进行筛选，满足条件的连通区域就作为目标候选区域，如图5(a)所示，为获取的目标候选区域。

步骤S4：字符辅助修正车牌定位。在步骤S3中得到每个目标候选区域上进行字符辅助修正车牌定位，实现车牌精确定位，具体步骤如下：

步骤S4-1：适当缩放目标候选区域，得到不同缩放比例下的目标候选区域pyramid_k，以便于模板匹配，其中k表示缩放层数，取值为1、2、3。

步骤S4-2：对每层目标候选区域pyramid_k，计算其方向梯度直方图特征φ(pyramid_k)。

步骤S4-3：在3层目标候选区域pyramid_k分别上进行汉字字符检测和字母/数字字符检测：

letter_k(z_x,y)＝δ(F_letter·φ(z_x,y,H_part),th_letter)

chi_k(z_x,y)＝δ(F_chi·φ(z_x,y,H_part),th_chi)

其中，

F∈{F_letter,F_chi}，th∈{th_letter,th_chi}

这里，z_x,y为目标候选区域pyramid_k内任意一点。H_part为部件模板尺寸。φ(z_x,y,H_part)表示中心在z_x,y，大小为H_part的部件特征块。F_letter表示字母/数字部件模板。F_letter·φ(z_x,y,H_part)表示在位置z_x,y处字母/数字部件模板匹配得分。th_letter为字母/数字部件检测阈值。letter_k(z_x,y)为字母/数字检测结果标记，为1表示匹配成功，为0表示匹配失败。汉字部件检测过程和字母/数字部件检测过程相同，F_chi表示汉字部件模板。th_chi为汉字部件检测阈值。chi_k(z_x,y)为汉字检测结果标记。

步骤S4-4：利用非极大值抑制进行部件筛选，筛选目标候选区域中可能的汉字部件和字母/数字部件位置。所谓的非极大值抑制就是当两个检测到的部件位置拥有共享区域时，将得分最高的位置作为部件位置。

步骤S4-5：记录每层目标候选区域pyramid_k上检测到的部件个数count_k以及每个部件的位置pbox_k,l＝{pp_k,l,H_part}，其中pp_k,l表示部件左上角顶点坐标，H_part表示部件模板尺寸。

步骤S4-6：确定count_k最大值count^*所对应最优层pyramid^*的每个部件位置pbox_l，若count^*小于4，则判定步骤S3中得到的目标候选区域为虚警，结束进程，否则进行以下步骤。

步骤S4-7，在最优层pyramid^*上进行车牌模板匹配，记录匹配得分最高的位置为车牌初始区域rbox＝{rp,H_plate}，其中，rp表示车牌左上角顶点坐标，H_plate表示车牌模板尺寸：

score(z_x,y)＝F_plate·φ(z_x,y,H_plate)

plate(z_x,y)＝δ(score(z_x,y),th_plate)

其中，F_plate为车牌模板。H_plate为车牌模板大小。φ(z_x,y,H_plate)表示特征块φ(pyramid)上中心在z_x,y，大小为H_root的区域。score(z_x,y)为z_x,y处车牌模板匹配得分。th_plate为车牌模板检测阈值。plate(z_x,y)为车牌检测结果标记。

步骤S4-8，判断count^*是否小于7，若是，填补缺失字符。否则直接进行步骤S4-9。

步骤S4-8-1，确定字符缺失个数。计算车牌左边框和第一个检测部件的水平距离d₁、车牌右边框和最后一个部件边框中心的水平距离d₂、各相邻部件中心点之间的水平距离d_3,t,(t＝1,2...l-1)。根据d₁、d₂、d_3,t以及H_part确定字符缺失个数。

步骤S4-8-2，根据H_part计算字符小间隔的大小。

步骤S4-8-3，根据小间隔大小和字符大小H_part对缺失字符进行填补，这里填补的字符均以“null”字符表示。

步骤S4-9，记录字符填补之后所有字符的位置Pos＝{pos_n}，获取字符排序Det＝{det_n}，det_n∈(letter,chi,null)，并记录检出字符个数Set＝{n,det_n≠null}，用于后续步骤中估计车牌左上角顶点位置。

步骤S4-10，车牌类型检测。本发明可用于检测警用车牌、使馆车牌和民用车牌三种车牌类型，车牌类型的检测是为了确定车牌字符和车牌之间的位置约束关系，以辅助字符分割。具体步骤如下：

步骤S4-10-1，定位字符最大间隔的位置。计算车牌初始区域rbox所对应区域的垂直投影直方图。设定阈值th_gap，小于阈值的连通区域称为波谷valley_i，大于阈值的连通区域称为波峰peak_j。分别记录每个波谷和波峰的宽度，其中第i个波谷的宽度记为width_v(i)、第i个波峰的宽度记为width_p(i)。计算每个波谷宽度和其左右波峰宽度的乘积，即prod(i)＝width_v(i)×width_p(i)×width_p(i+1),(i>1)，则prod(i)最大值对应的位置就是字符最大间隔的位置gap。用prod(i)代替width_v(i)来判断字符最大间隔位置，是为了解决相邻字符为1时字符间隔位置超过最大间隔位置的问题。

步骤S4-10-2，根据最大间隔位置gap和第7个车牌字符det₇，即可判断车牌类型m。若gap位于字符1和字符3之间且det₇为汉字，表示警用车牌类型，m＝1。若gap位于字符4之后，表示使馆车牌类型，m＝2。其它情况，默认为民用车牌类型，m＝3。

步骤S4-11，利用非空部件字符(不含填补字符)位置估计车牌左上角顶点位置：

其中，Set表示非空部件集。pos_n为非空部件的位置。rp^*表示最有可能的车牌左上角顶点位置。rl_mn表示车牌类型为m时，车牌第n个字符与车牌的相对位置。对所有非空部件估计出的车牌左上角顶点位置求平均，即可得到rp^*，如图5(b)所示。

步骤S4-12，由车牌左上角顶点位置和车牌大小，确定车牌修正区域rbox^*＝{rp^*,H_plate}，如图6(a)所示，为经过字符辅助修正后的车牌修正区域示意图。

步骤S5，位置约束的车牌字符分割。步骤S4中描述了根据字符和车牌之间的位置约束关系，用非空部件(不含填补字符)的位置修正车牌位置。同样地，根据这一约束关系可以反向指导字符的分割过程：

步骤S5-1，根据车牌左上角顶点位置反向修正字符位置：

m∈{1,2,3}，n∈{1,2,3,4,5,6,7}

其中，m表示车牌类型，n表示字符编号，rp^*表示车牌左上角顶点坐标，rl_mn表示车牌与字符间的相对位置，表示修正后的字符左上角顶点坐标。

步骤S5-2，获得字符边界框如图6所示，(a)为车牌修正区域，(b)为修正后的字符分割边界框。

步骤S5-3，获取字符分割图像块patch_n，如图6(c)所示。

Claims (5)

1.一种基于部件的车牌字符分割方法，其特征在于：包括以下步骤：

(1)、部件选择：根据车牌的结构，将车牌的七个字符作为车牌的七个部件，从左到右分别设为部件1、部件2、……部件7，并根据车牌字符的外观特征将部件分成汉字字符部件和字母/数字字符部件，其中汉字划归为汉字字符部件，字母和数字划归为字母/数字字符部件；

(2)、模板学习：包括车牌模板学习和部件模板学习；从道路交通图像中获取车牌图像块和字符图像块，提取图像块对应的方向梯度直方图特征，采用SVM(Support VectorMachine，支持向量机)分别训练车牌模板和部件模板；

(3)、目标候选区域确定：利用垂直Sobel算子与形态学闭操作获取垂直边缘图像，并通过连通区域检测和纵横比筛选得到目标候选区域；

(4)、字符辅助修正车牌定位：在目标候选区域内进行字符匹配检测，并对缺失字符进行填补，根据检测到的字符及字符间的最大间隔位置进行车牌类型判断，同时依据非空部件字符位置估计车牌位置，完成字符辅助修正车牌定位工作；

(5)、位置约束的车牌字符分割：结合车牌位置及车牌与字符间的空间位置约束关系完成分割过程，并获取字符分割图像块，用于后期字符识别；

所述步骤(2)中，模板学习的过程包括以下步骤：

(2.1)、从实际卡口视频中采集训练图像块，手动裁剪车牌图像块作为车牌模板的训练集正例，手动裁剪车牌字符图像块作为部件模板的训练集正例；

(2.2)、特征提取：将车辆图像块和字符图像块表征为方向梯度直方图特征，所述方向梯度直方图首先计算图像中每个像素点的梯度方向，得到图像的梯度方向矩阵，以4×4像素块大小为单元划分梯度方向矩阵，对每个4×4的像素块单元内的梯度方向进行直方图统计，最终得到整个图像块的方向梯度直方图，根据车牌训练图像归一化尺寸72×24像素、部件训练图像归一化尺寸8×16像素，可得车牌模板大小H_plate为18×6，部件模板大小H_part为2×4；

(2.3)、SVM训练车牌模板和部件模板，其中：

车牌模板训练中，对训练车牌模板的正例和负例分别标记为1和0得到标记矩阵，和步骤(2.2)中得到的方向梯度直方图特征构成训练车牌模板的训练数据，采用SVM进行训练，得到车牌模板F_plate和检测阈值th_plate，最终得到车牌模板；

部件模板训练中，部件模板训练同车牌模板训练过程相同，同样采用SVM进行训练，得到汉字部件模板F_chi和字母/数字部件模板F_letter以及对应的部件检测阈值th_chi和th_letter，

记录在当前车牌模板和部件模板尺寸下，各种车牌类型的各部件与车牌的位置约束关系，即各部件左上角顶点坐标与车牌左上角顶点坐标的相对位置，用于指导后期车牌字符分割过程：

R_m＝{rl_mn}＝{rl_m1,rl_m2,rl_m3,rl_m4,rl_m5,rl_m6,rl_m7}

其中，

rl_mn＝p_mn-r_m，m∈{1,2,3}，n∈{1,2,3,4,5,6,7}

这里，m表示车牌类型标号，n表示字符序号，p_mn表示在车牌类型为m时，车牌第n个字符左上角顶点的坐标，r_m表示车牌左上角顶点的坐标，rl_mn表示车牌类型为m时，车牌第n个字符与车牌的相对位置。

2.根据权利要求1所述的一种基于部件的车牌字符分割方法，其特征在于：所述步骤(4)中，字符辅助修正车牌定位包括以下步骤：

(4.1)、适当缩放目标候选区域，得到不同缩放比例下的目标候选区域pyramid_k，以便于模板匹配，其中k表示缩放层数，取值为1、2、3；

(4.2)、对每层目标候选区域pyramid_k，计算其方向梯度直方图特征φ(pyramid_k)；

(4.3)、在3层目标候选区域pyramid_k上分别上进行汉字字符检测和字母/数字字符检测：

letter_k(z_x,y)＝δ(F_letter·φ(z_x,y,H_part),th_letter)，

chi_k(z_x,y)＝δ(F_chi·φ(z_x,y,H_part),th_chi)，

其中：

F∈{F_letter,F_chi}，th∈{th_letter,th_chi}，

这里，z_x,y为目标候选区域pyramid_k内任意一点，H_part为部件模板尺寸，φ(z_x,y,H_part)表示中心在z_x,y，大小为H_part的部件特征块，F_letter表示字母/数字部件模板，F_letter·φ(z_x,y,H_part)表示在位置z_x,y处字母/数字部件模板匹配得分，th_letter为字母/数字部件检测阈值，letter_k(z_x,y)为字母/数字检测结果标记，为1表示匹配成功，为0表示匹配失败，汉字部件检测过程和字母/数字部件检测过程相同，F_chi表示汉字部件模板，th_chi为汉字部件检测阈值，chi_k(z_x,y)为汉字检测结果标记；

(4.4)、利用非极大值抑制进行部件筛选，筛选目标候选区域中可能的汉字部件和字母/数字部件位置，所述的非极大值抑制就是当两个检测到的部件位置拥有共享区域时，将得分最高的位置作为部件位置；

(4.5)、记录每层目标候选区域pyramid_k上检测到的部件个数count_k以及每个部件的位置pbox_k＝{pp_k,H_part}，其中pp_k表示部件左上角顶点坐标，H_part表示部件模板尺寸；

(4.6)、确定count_k最大值count^*所对应最优层pyramid^*的每个部件位置pbox_l，若count^*小于4，则判定步骤(3)中得到的目标候选区域为虚警，结束进程，否则继续后续步骤；

(4.7)、在最优层pyramid^*上进行车牌模板匹配，记录匹配得分最高的位置为车牌初始区域rbox＝{rp,H_plate}，其中，rp表示车牌左上角顶点坐标，H_plate表示车牌模板尺寸：

score(z_x,y)＝F_plate·φ(z_x,y,H_plate)，

plate(z_x,y)＝δ(score(z_x,y),th_plate)，

其中，F_plate为车牌模板，H_plate为车牌模板大小，φ(z_x,y,H_plate)表示特征块φ(pyramid)上中心在z_x,y，大小为H_plate的区域，score(z_x,y)为z_x,y处车牌模板匹配得分，th_plate为车牌模板检测阈值，plate(z_x,y)为车牌检测结果标记；

(4.8)、判断count^*是否小于7，若是，填补缺失字符，否则直接进行后续步骤；

(4.9)、记录字符填补之后所有字符的位置Pos＝{pos_n}，n＝1,...,7，获取字符排序Det＝{det_n}，det_n∈(letter,chi,null)，并记录检出字符个数Set＝{n,det_n≠null}，用于后续步骤中估计车牌左上角顶点位置；

(4.10)、车牌类型检测：用于检测警用车牌、使馆车牌和民用车牌三种车牌类型，车牌类型的检测是为了确定车牌字符和车牌之间的位置约束关系，以辅助字符分割，具体步骤如下：

(a)、利用非空部件字符位置估计车牌左上角顶点位置，此时不考虑填补字符的位置估计：

其中，Set表示非空部件集，pos_n为非空部件的位置，rp^*表示最有可能的车牌左上角顶点位置，rl_mn表示车牌类型为m时，车牌第n个字符与车牌的相对位置，对所有非空部件估计出的车牌左上角顶点位置求平均，即可得到rp^*；

(b)、由车牌左上角顶点位置及车牌大小，确定车牌修正区域位置rbox^*＝{rp^*,H_plate}。

3.根据权利要求1所述的一种基于部件的车牌字符分割方法，其特征在于：所述步骤(5)中，位置约束的车牌字符分割包括以下步骤：

(5.1)、根据车牌左上角顶点位置反向修正字符位置：

pp_n ^*＝rp^*+rl_mn，m∈{1,2,3}，n∈{1,2,3,4,5,6,7}

其中，m表示车牌类型，n表示字符编号，rp^*表示车牌左上角顶点坐标，rl_mn表示车牌与字符间的相对位置，表示修正后的字符左上角顶点坐标；

(5.2)、获得字符边界框

(5.3)、获取字符分割图像块patch_n。

4.根据权利要求1或2所述的一种基于部件的车牌字符分割方法，其特征在于：所述步骤(4)中，填补缺失字符的过程包括以下步骤：

(a)、确定字符缺失个数：计算车牌左边框和第一个检测部件的水平距离d₁、车牌右边框和最后一个部件边框中心的水平距离d₂、各相邻部件中心点之间的水平距离d_3,t,(t＝1,2...6)，根据d₁、d₂、d_3,t以及H_part确定字符缺失个数；

(b)、根据H_part计算字符间隔的大小；

(c)、根据字符间隔大小和部件模块尺寸H_part对缺失字符进行填补，这里填补的字符均以null字符表示。

5.根据权利要求1或2所述的一种基于部件的车牌字符分割方法，其特征在于：所述步骤(4)中，车牌类型判断的过程包括以下步骤：

(a)、定位字符最大间隔的位置：计算车牌初始区域rbox所对应区域的垂直投影直方图，设定阈值th_gap，小于阈值的连通区域称为波谷valley_i，大于阈值的连通区域称为波峰peak_j，分别记录每个波谷和波峰的宽度，其中第i个波谷的宽度记为width_v(i)、第i个波峰的宽度记为width_p(i)，计算每个波谷宽度和其左右波峰宽度的乘积，即prod(i)＝width_v(i)×width_p(i)×width_p(i+1),(i>1)，则prod(i)最大值对应的位置就是字符最大间隔的位置gap，用prod(i)代替width_v(i)来判断字符最大间隔位置，是为了解决相邻字符为1时字符间隔位置超过最大间隔位置的问题；

(b)、根据最大间隔位置gap和第7个车牌字符det₇，即可判断车牌类型m，若gap位于字符1和字符3之间且det₇为汉字，表示警用车牌类型，m＝1，若gap位于字符4之后，表示使馆车牌类型，m＝2，其它情况，默认为民用车牌类型，m＝3。