CN110619327A - 一种复杂场景下基于深度学习的实时车牌识别方法 - Google Patents

Abstract

本发明提供一种基于深度学习技术的自然场景下车牌自动化识别的方法。基本原理是，首先以轻量级的MobileNet神经网络作为特征提取网络，加入深度学习物体检测算法SSD(Single Shot Multi‑boxes Detector)中，并在场景车牌图像上训练；然后利用SSD‑MobileNet检测车牌区域并对车牌种类进行分类；其次，针对检测到的车牌区域，利用多阈值二值化操作，通过寻找字符轮廓确定边界点集，对边界点集进行线拟合确定车牌角点，再通过透视变换操作一步校正车牌；最后将车牌送入具有七输出的卷积神经网络，得到全部车牌字符输出。与现有的车牌识别算法相比，本发明基于深度学习技术的车牌检测和定位校正算法更加快速准确，并对复杂自然场景下的车牌检测具有鲁棒性，系统省去了字符分割的操作，减少特征传递损失，端对端的识别网络在保证了准确率的情况下，识别速度大幅度提升，整个系统可以达到实时车牌识别效果，具有实用价值。

Description

一种复杂场景下基于深度学习的实时车牌识别方法

技术领域

本发明属于图像处理技术和文本识别领域，涉及一种利用深度学习技术实现的复杂场景下车牌自动化识别方法。

背景技术

我国机动车保有量的逐年上升，对交通车辆管理工作提出了更高的要求，智能化交通与监控系统在此背景下应运而生。自动化车牌识别技术(Automatic Vehicle LicensePlate Recognition，简称ALPR)在智能化交通与监控系统中起到非常重要的作用，该技术具有广泛的应用场景，如停车场出入控制、道路交通监控、未来无人交通等。ALPR的主要目的是从场景中定位车牌区域，提取车牌字符信息，最终识别车牌字符，经典的ALPR系统流程包括：车牌区域检测、车牌定位、字符分割以及字符识别。

车牌区域检测的主要目的是在整个图像中确定包含车牌的区域，而在大多数情况下，由于拍摄角度问题，场景中的车牌存在角度偏斜，因此车牌定位的目的是在包含车牌的区域内进一步精确定位并校正车牌偏斜等问题，进而得到标准车牌图像。车牌区域检测和车牌精准定位的传统方法是主要通过人工提取车牌的信息特征，如轮廓、颜色、边缘密度、形状纹理等特征，实现车牌区域的提取，但是由于人工提取特征的信息表征能力有限，一方面对于处于不同环境和场景中的车牌，周围复杂的环境将会对车牌区域检测造成很大的干扰，导致定位错误，另一方面由于中国车牌种类多样，人工提取的浅层特征难以满足多种类车牌的挑战。

字符分割的主要目的是将连续的文本切断成一个个的字符，方便后续识别，传统的字符分割技术主要使用寻找连通域、水平垂直投影、特征投影等方法，但由于汉字本身结构和笔画的多样性，连通域和投影等方法极易产生分割错误，不当的字符分割会造成车牌字符信息损失，严重影响到后续车牌的识别工作。

字符识别用于识别车牌字符，常用的方法有模板匹配法、隐藏马克洛夫模型，神经网络等。字符识别的难点主要在于中文字符的识别，由于中文字符笔画多且细，传统识别方法很难捕捉到字符细节信息，造成字符误判。近些年由于卷积神经网络(ConvolutionalNeural Network，CNN)在图像特征表征上的巨大优势，现有的车牌识别系统多采用CNN对每个字符进行按序识别，取得了较好的识别效果，但由于车牌是固定长度，对于每个车牌需要按照字符顺序识别七次，造成了很大的网络冗余，增加了字符识别的时间消耗。

综上所述，ALPR系统中每个步骤都最终识别效果都有着决定性的影响。现存的ALPR方法的车牌区域检测定位对于复杂场景下的抗干扰能力不够，并且每个步骤中多段流水线式的处理方式也造成了字符信息的不断损失，并且识别速度无法达到实时的要求。

发明内容

为解决现存ALPR系统在复杂场景下的识别能力不足、识别车牌种类有限，以及每个步骤中多段式处理方式造成的信息损失、识别速度不高的问题，本发明提出一种新的基于深度学习的自动化车牌识别方法。

本发明的技术方案是：本发明的ALPR系统主要由三部分组成：端对端基于深度学习物体检测方法的车牌区域检测及分类、车牌精准定位与校正、基于CNN的端对端字符识别。该方法首先将改进后的深度学习的物体分类检测算法：单平台多尺度物体区域检测器(Single Shot Multi-box Detector，简称SSD)应用到车牌区域检测中，在复杂背景图像中确定包含车牌区域的同时，给出车牌的类别；然后基于多级阈值二值化操作对车牌精准定位与校正，对于每级二值化车牌区域图像，找出符合字符长宽比和大小先验要求的矩形轮廓，通过这些矩形轮廓进而确定车牌四个边界点集，通过线拟合的方法确定车牌边界线，边界线交点即为车牌四个角点，再通过透视变换完成车牌校正；本发明去掉了传统系统中字符分割的步骤，最后直接将精准定位校正后的完整车牌输入具有七个输出的CNN，同时端对端的实现车牌七个字符的识别。

本发明的步骤如下：

第一步：车牌区域检测分类的网络设置：

以SSD为本发明车牌区域检测及车牌分类算法基础，将SSD中的特征提取网络替换为：轻量级神经网络(MobileNet)，形成更加轻量级的SSD网络：SSD-MobileNet，同时将车牌侯选框的长宽比设置更改为{2,3,4}，使其更加贴合车牌形状，避免不合理长宽比侯选框的计算带来的资源消耗。SSD-MobileNet的网络参数设置过程：首先将该网络在大数据库上进行定位分类预训练以确定合适的网络初始参数；然后再进行迁移学习，在场景车牌数据库上迁移训练，微调网络参数，使其在目标数据集上表现最优，完成SSD-MobileNet网络的参数确定。训练好的SSD-MobileNet为一个端对端的车牌检测分类器，将场景车牌图像输入网络，即可得到车牌区域矩形框坐标以及对应车牌的类别。

第二步：车牌精准定位和校正：

将得到的车牌区域图像首先归一化到同一大小，并根据车牌种类灰度化或反灰度化，保证字符的灰度值大于背景灰度值(即字符的颜色比背景颜色浅)，再对灰度化后的区域图像进行多级阈值的二值化变换，这里基础阈值是基于图像中不同邻域均值自适应确定的，使得一个图片中的每个像素位置处的二值化阈值不是固定不变的，而由其周围邻域像素的分布决定，保证了字符细节，基础阈值减去一个常数C即为最终阈值，通过改变常数C值便可实现多级化阈值要求。用mean(R_i)表示区域R_i内像素的均值，区域R_i的最终阈值th_Ri即为：

对于每级二值化区域图像，寻找符合字符先验条件(长宽比和面积大小)的连通区域矩形框，将这些矩形框的左上角点加入上边点集，将右下角点加入下边点集，将处于图像左边区域的矩形框的左上和左下角点加入左边点集，处于图像右边区域的矩形框的右上和右下角点加入右边点集，然后车牌的四个边界线可利用对应点集经过线拟合得到，边界线的交点即为车牌角点，最后通过透视变换操作校正偏斜车牌。

第三步：车牌端对端字符识别网络：

车牌字符识别采用CNN进行实现，由于CNN在扫描整个车牌图像的过程中，已经对整个图像的内容以及相对位置关系有所了解，本发明采用三组卷积模块和七个并行的全连接层的CNN架构来实现端对端的字符识别，每组卷积模块包括两个卷积层和一个最大值下采样层。网络在纯车牌数据集上进行训练，网络损失函数采用类别交叉熵，当损失函数收敛后，完成网络参数的训练。

本发明的有益效果是：

(1)本发明的车牌区域检测部分采用了基于深度学习的物体检测算法SSD，对复杂环境下的车牌定位有强鲁棒性，利用SSD在多级特征图中设置车牌区域侯选框，实现了对小物体车牌更加精准的定位；并将SSD中的特征提取网络换成轻量级的MobileNet，减少网络参数和检测时间开销。采用了网络端对端的形式，在检测车牌区域的同时，完成车牌的分类。

(2)车牌精准定位与校正部分基于多级阈值二值化方法，精准定位车牌角点，最后使用透视变换操作，一步实现车牌精定位与校正，避免了传统方法中将车牌提取、车牌角度和偏斜问题分开处理的分段式复杂操作，精简车牌处理流程，减少信息损失。

(3)相比于传统方法，本发明去掉了字符分割的步骤，在字符识别部分采用端对端的CNN对所有字符并行识别。本方法减少了车牌中间处理流程带来的字符信息损失，降低了算法复杂度，同时明显提高了字符识别的速度和准确率。

附图说明

图1是本发明的车牌识别系统总体流程图；

图2是本发明涉及的车牌检测分类网络SSD-MobileNet结构示意图；

图3是本发明车牌精准定位与校正的算法流程图；

图4是本发明涉及的字符识别网络结构示意图。

具体实施方式

图1是本发明的车牌识别系统总体流程图。车牌识别流程分为三个步骤：

第一步，车牌区域检测分类网络设置：

以SSD-MobileNet结合的深度学习物体检测算法为本发明中车牌区域检测分类方法，在一个端对端的网络中同时完成车牌区域定位和分类。

图2是车牌检测分类网络SSD-MobileNet的结构示意图。

本方法实现对五种中国车牌进行检测分类(classes＝5)包括：蓝牌、黄牌、白牌、黑牌和新能源车牌。首先将图像送入特征提取网络，特征提取网络部分取MobileNet从第一层全卷积层(Conv1)开始到第7个深度可分离卷积层(Conv_dw7)，将MobileNet最后的两层深度可分离卷积层更换为全卷积层(Conv7-Conv8)，后再加入4个全卷积层(Conv9-Conv12)用于多尺度检测，最后经过非极大值抑制多余框后输出。为了实现多尺度车牌检测，在5个全卷积层(Conv7-Conv12)和MobileNet中第5个深度可分离卷积层的深度卷积层(Conv_dw6)，共6个大小不同的特征图的每个单元中提出默认的不同长宽比的侯选框，根据车牌先验知识(中国车牌标准长宽比≈3.14，长度440cm，宽度140cm)，将侯选框长宽比设置为{2,3,4}，三种长宽比的设置为防止因拍摄角度问题车牌畸变造成长宽比的不确定性，对每个特征图单元中的每个侯选框，通过3×3的小卷积核完成侯选框的分类和位置回归(通过计算相对于真值框的左上角点左边和长宽的偏移值回归候选框)，网络最终的输出可得到车牌位置框的位置和类别。

SSD-MobileNet的网络参数设置过程如下：MobileNet的超参数设置：宽度乘数(WidthMultiplier)＝1，分辨率乘数(Resolution Multiplier)＝224。首先将MobileNet在大数据集ImageNet(该数据集包含超过120万张图像，共含有1000类)上进行分类预训练，确定网络初始参数。然后加入后6个全卷积层(权重参数W～(0,0.03)高斯分布，初始化网络偏置bias为0)，在场景车牌数据集上进行迁移训练，网络的总目标损失函数为定位损失和分类损失加权和，迭代训练直至网络损失函数收敛，完成网络训练。

第二步，车牌精准定位与校正：

从定位到的区域中进一步提取车牌，并校正因拍摄角度造成的车牌偏斜问题，得到标准的车牌图像。首先归一化车牌区域图像：长度136，高度72，根据得到的车牌类别信息，对车牌区域图像进行灰度化(字符是白色的车牌类别)或反灰度化(字符是黑色的车牌类别)预处理，保证字符的灰度值大于背景灰度值(即字符灰度4与背景灰度)。对于车牌区域的灰度图像，采用多级阈值进行二值化操作，将灰度图转化为二值图像，其中采用局部自适应二值化方法，通过改变常数C的取值，这里将C设置为20个均匀分布于[-50,0)的数值，完成20级阈值的二值化。

图3是车牌精准定位与校正的算法流程图。

(1)对于每一级得到的二值图像，寻找所有的连通域轮廓，然后确定其轮廓对应的外接矩形，根据字符先验知识(100<外接矩形面积>1200，高宽比>0.7或者高宽比>3，考虑到字符为“1”以及中文字符不连续的情况)，筛选符合字符先验知识的外接矩形；

(2)将符合要求的外接矩形的左上角点坐标和右下角点坐标分别加入上边界点集和下边界点集，另一方面若矩形框处于图像左边20％的区域，将其左上和左下角点坐标加入左边界点集，若矩形框处于图像右边20％的区域，则将其右上和右下角点加入右边界点集；

(3)对所有阈值二值化后的图像进行如上操作后，可以的得到上下左右四个边界的点集，对着上下边界点集采用对离群点鲁棒性强的休伯损失函数(Huber Loss)的直线拟合方法进行线拟合，对左右边界点集采用最小二乘法进行线拟合，得到车牌四个边界线，计算出边界线交点即为车牌角点位置；

(4)对于车牌四个角点和期望得到的标准车牌的边界角点集：右下角点[136,36]，左下角点[0,36]，右上角点[136,0]，左上角点[0,0]，通过透视变化即可一步得到标准的车牌。

第三步，端对端的字符识别：

采用多输出的卷积神经网络的结构，对全部字符进行识别。

图4是字符识别网络的结构示意图。

网络由三组卷积模块和七个并行的全连接层的CNN架构来实现端对端的字符识别，每组卷积模块包括两个卷积层和一个下采样层，三个模块的卷积层均采用3×3的卷积核，三个模块的特征图个数分别为：32、64和128，所有的下采样层都采用最大值下采样方法，采样区域大小为2×2，最后七个全连接层并行输出七个字符的置信度结果。网络最终的损失函数为七个字符的分类损失之和。将字符识别网络在纯车牌数据集上进行训练，直至损失函数收敛完成网络训练。

本发明设计的车牌检测分类和精定位校准方法的结果基于600张复杂场景车牌图像测试得到，实验环境为：CPU为英特尔酷睿i7四核处理器，主频2.6Ghz，显卡为NVIDIAGeForce GTX965M，显存为4G。与运用其他特征的车牌定位算法比较结果如表1所示。准确率为有效定位图像个数占全部数据集的百分比(有效定位定义为：定位车牌应为标准车牌形式，无明显偏斜、字符缺失的情况，并且分类正确)。从表中可以看到，即使中国车牌的复杂度大于其他国家地区的车牌，本方法仍具有竞争力，在保证定位准确率的基础上，大幅度的提升了定位速度。(处理速度单位：毫秒(ms)，每秒处理的帧数(Frame Per Second，FPS))。

我们也将本发明的车牌识别系统与现有的车牌识别系统进行了对比，结果如表2所示。一方面，本设计的准确率与其他方法相比具有竞争力，另一方面，得益于端对端的车牌检测和识别方法，本发明的车牌识别速度明显提升，可达到实时检测识别的效果，优势明显。

表1与基于不同特征的车牌定位方法性能对比表

表2不同车牌识别系统性能对比表

Claims (1)

1.一种复杂场景下基于深度学习的实时车牌识别方法，其特征在于，包括下述步骤：

第一步：复杂场景图像中车牌区域检测与分类：

采用轻量型的神经网络MobileNet作为特征提取网络加入深度学习物体检测算法SSD(Single Shot Multi-boxes Detector)中实现车牌检测与分类：

(一)在大数据库上进行定位分类预训练以确定网络初始参数；

(二)在场景车牌数据库上迁移训练，微调网络参数，使其在目标数据集上表现最优，完成SSD-MobileNet网络参数的确定；

(三)训练好的SSD-MobileNet是一个端对端的车牌检测分类器，将待检测的场景车牌图像作为网络输入，网络输出得到车牌区域矩形框坐标及对应车牌的类别；

第二步：车牌的精准定位和校正：

(一)对车牌区域图像进行灰度化，保证灰度化后的图像的字符灰度值大于背景灰度值，然后对灰度化后的车牌区域图像采用多阈值的二值化，基础二值化阈值为自适应的邻域均值，多级化的阈值通过在基础阈值上减去常数C确定，不同的常数C值对应不同级；

(二)对于每级二值化区域图像，寻找符合字符形状先验条件的连通域外接矩形框，将这些矩形框的对应角点加入不同的车牌边界点集；

(三)对每个边界点集都进行线拟合，确定上下左右边界线，边界线交点即为车牌角点，最后通过透视变换操作校正车牌；

第三步：车牌端对端字符识别：

采用多输出的卷积神经网络实现车牌中多个字符的一步识别：

(一)将多输出的卷积神经网络在纯车牌数据集中进行训练，当网络损失函数收敛后，完成网络参数的调优；

(二)训练好的多输出卷积神经网络为一个端对端的车牌字符识别器，将精定位校正后的车牌作为网络输入，得到最终识别结果。