CN111126401B - 一种基于上下文信息的车牌字符识别方法 - Google Patents

Abstract

发明公开了一种基于上下文信息的车牌字符识别方法，包括：构建深度神经网络模型，该深度神经网络模型包括快速提取特征网络、上下文信息网络和识别网络，快速提取特征网络、上下文信息网络和识别网络依次连接；通过获取的车牌字符训练样本图像集合，训练所述深度神经网络模型；通过训练后的深度神经网络模型，对待识别的车牌图像进行识别；字符识别结果更加精确，对相似字符的区分能力更强，鲁棒性更高。

Description

一种基于上下文信息的车牌字符识别方法

技术领域

本发明涉及车牌识别技术领域，尤其涉及一种基于上下文信息的车牌字符识别方法。

背景技术

车牌识别是智能交通的核心技术，包含了三个大部分：车牌位置检测，车牌字符分割，车牌字符识别。其中，车牌字符识别是整个技术最重要的一部分，车牌字符识别引擎的质量，直接决定车牌识别技术的整体性能。

车牌字符识别是指对于已经精确分割的单个车牌字符，识别出其真实的字母意义，常用的方法有以下几类：

(1)基于全局特征的方法，该类特征采用全局变换来获取字符的整体特征，使用有序的整体特征或者子集特征来构成特征向量，常见的特征有GABOR变换特征、矩特征、投影特征、笔划密度特征、HARR特征、HOG特征等。这些特征的优点是对局部变化不敏感，抗干扰能力强；其缺点是容易忽略某些重要的局部特征，无法区分相似的字符。

(2)基于局部特征的方法，该类特征是在字符的多个局部区域内，计算相应的特征，使用串联的有序局部特征构成最终的特征向量，主要特征包括局部灰度直方图特征、LBP特征、穿线特征、SIFT特征等。该类特征的优点是区分字符的能力强；其缺点是过分关注字符的局部特征，往往会错误区分具有噪声干扰的字符。

(3)基于深度学习的方法，近年来，深度学习技术凭借着可以模拟人类大脑神经网络，能够进行精确的非线性预测，各个领域都得到了广泛的关注和应用，出现了一批经典的目标识别网络框架，如resnet，densenet，LSTM等，这些经典网络框架通过迁移学习，可以很好地识别车牌字符，但该类技术的缺点是较深的网络虽然识别效果好，但是模型消耗内存很大，运算量很大，较浅的网络模型虽然运行速度快，但是识别准确度一般，尤其对于相似字符的区分能力不足。一幅图像里可能会存在多个车牌，进而存在较多的车牌字符，需要一种速度快，准确率高的深度神经网络模型。

发明内容

基于背景技术存在的技术问题，本发明提出了一种基于上下文信息的车牌字符识别方法，字符识别结果更加精确，对相似字符的区分能力更强，鲁棒性更高。

本发明提出的一种基于上下文信息的车牌字符识别方法，包括：

构建深度神经网络模型，该深度神经网络模型包括快速提取特征网络、上下文信息网络和识别网络，快速提取特征网络、上下文信息网络和识别网络依次连接；

通过获取的车牌字符训练样本图像集合，训练所述深度神经网络模型；

通过训练后的深度神经网络模型，对待识别的车牌图像进行识别。

进一步地，所述快速提取特征网络包括卷积层conv0、残差网络基础结构体resnetblock0和残差网络基础结构体resnetblock1；

卷积层conv0的输入连接到输入的车牌图像上，卷积层conv0的输出接入残差网络基础结构体resnetblock0的输入，残差网络基础结构体resnetblock0的输出接入残差网络基础结构体resnetblock1的输入，残差网络基础结构体resnetblock1的输出接入上下文信息网络输入。

进一步地，所述残差网络基础结构体resnetblock0或残差网络基础结构体resnetblock1均包括卷积层convresnet0、卷积层convresnet1_0、卷积层convresnet1_1、convresnet1_2、合并层eltsum和卷积层conv2；

卷积层convresnet0的输入和卷积层convresnet1_0的输入均连接到该残差基础结构体的输入特征层，卷积层convresnet1_0的输出连接到卷积层convresnet1_1的输入，卷积层convresnet1_1的的输出连接到convresnet1_2的输入，convresnet1_2的输出和卷积层convresnet0的输出均连接到合并层eltsum的输入，合并层eltsum的输出连接到卷积层conv2的输入。

进一步地，所述上下文信息网络包括高度方向上下文信息特征图heightcontext、宽度方向上下文信息特征图widthcontext和综合上下文信息特征图fullcontext；

残差网络基础结构体resnetblock1的输出被分成3路，一路连接到高度方向上下文信息特征图heightcontext的输入，一路连接到宽度方向上下文信息特征图widthcontext输入，最后一路分别与高度上下文信息特征图heightcontext的输出、宽度方向上下文信息特征图widthcontext的输出连接到综合上下文信息特征图fullcontext的输入，综合上下文信息特征图fullcontext的输出连接到识别网络的输入。

进一步地，所述高度方向上下文信息特征图heightcontext的获取步骤如下：

S131：沿高度方向进行切片，切片特征图的名称分别是slice0、slice1....slice7；

S132：对第一个切片特征图slice0进行卷积，得到输出特征图slice0-out；

S133：将输出特征图slice0-out与切片特征图slice1进行逐像素相加，得到新的切片特征图slice1_new；

S134：将新的切片特征图slice1_new进行如步骤S132和步骤S133的操作，将得到的输出特征图slice1-out与切片特征图slice2进行逐像素相加，得到新的切片特征图slice2_new，循环步骤步骤S132和步骤S133，直至得到最后一个新的切片特征图slice7_new；

S135：将slice1_new至slice7_new的所有新的切片特征图，按照高度方向维度进行拼接，得到的输出特征图作为高度方向上下文信息特征图。

进一步地，在所述对第一个切片特征图slice0进行卷积时，通过128个核尺寸是3×128，跨度是1×1的卷积核对第一个切片特征图slice0进行卷积。

进一步地，所述识别网络包括卷积层convrecog0、卷积层convrecog1和卷积层convrecog2；

卷积层convrecog0的输入连接综合上下文信息特征图fullcontext的输出，卷积层convrecog0的输出连接卷积层convrecog1的输入，卷积层convrecog1的输出连接卷积层convrecog2的输入，卷积层convrecog2的输出车牌特征图。

进一步地，所述训练深度神经网络模型，包括：

收集车牌图像，将车牌图像分割成包含单个车牌字符的局部区域图像；

对局部区域图像中的车牌字符进行类别标注，得到车牌字符训练样本图像集合；

设定所述深度神经网络模型的目标损失函数；

将车牌字符训练样本图像集合放置于设定好的深度神经网络模型中，以训练所述深度神经网络模型。

进一步地，所述深度神经网络模型中每一个卷积层后面均带有批量归一化batchnorm层和非线性激活PRelu层。

一种计算机可读储存介质，所述计算机可读存储介质上存储有若干获取分类程序，所述若干获取分类程序用于被处理器调用并执行如下步骤：

构建深度神经网络模型，该深度神经网络模型包括快速提取特征网络、上下文信息网络和识别网络，快速提取特征网络、上下文信息网络和识别网络依次连接；

通过获取的车牌字符训练样本图像集合，训练所述深度神经网络模型；

通过训练后的深度神经网络模型，对待识别的车牌图像进行识别。

本发明提供的一种基于上下文信息的车牌字符识别方法的优点在于：本发明结构中提供的一种基于上下文信息的车牌字符识别方法，采用深度学习技术直接识别车牌字符类别，采用大输入图像尺寸和快速提取特征网络，可以保留更多的字符细节，同时不会增加模型的运算量，采用字符上下文信息，可以更好地抓住字符的局部细节信息，综合利用字符的全局特征信息和局部细节特征信息，字符识别结果更加精确，对相似字符的区分能力更强，鲁棒性更高。

附图说明

图1为本发明一种基于上下文信息的车牌字符识别方法的流程示意图；

图2是深度神经网络模型结构图；

图3是残差网络基础机构体结构图；

图4是高度方向上下文信息网络结构图；

其中，每个模块图形旁边的字母数字，表示当前特征层的名称，当前特征层的特征图尺寸，即：特征图高度×特征图宽度×特征图通道数。

具体实施方式

下面，通过具体实施例对本发明的技术方案进行详细说明，在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。

参照图1，本发明提出的一种基于上下文信息的车牌字符识别方法，如图1所示，包括以下步骤：

S1、设计深度神经网络模型，本发明设计的深度神经网络模型，其主要作用是借助一个较浅的深度神经网络模型，精确识别输入字符。另外，发明所处理的对象是单个车牌字符识别，这是一种很特殊的图像处理任务：首先输入图像很简单，其次部分字符相似度高。因此，综合考虑了车牌字符识别任务的特殊性和卷积神经网络的计算能力，本发明采用的深度神经网络模型如图2所示，该深度神经网络模型包含快速提取特征网络、上下文信息网络、识别网络等。本发明采用的是卷积神经网络(CNN)，特征图尺寸指的是特征图高度×特征图宽度×特征图通道数，核尺寸指的是核宽度×核高度，跨度指的是宽度方向跨度×高度方向跨度，另外，每一个卷积层后面均带有批量归一化层batchnorm和非线性激活PRelu层。该深度神经网络模型的具体设计步骤如下：

S11、设计深度神经网络模型的输入图像，本发明所采用的输入图像是尺寸为128×128的RGB图像，输入图像尺寸越大，其包含的细节越多，越有利于精确分类识别，但同时也会增大深度神经网络模型的存储空间和运算量。

S12、设计快速提取特征网络，快速提取特征网络主要用于快速获取输入图像的具有高度抽象和丰富表达能力的高层特征，高层特征提取的质量直接影响后续字符识别的性能。由步骤S11可知，本发明采用的输入图像尺寸较大，不利于深度神经网络模型的快速运行，因此，需要一种能够提取输入图像特征的高效网络，快速去除较大输入图像尺寸带来的运算量影响。本发明采用的快速提取特征网络如图2所示，所述快速提取特征网络包括卷积层conv0、残差网络基础结构体resnetblock0和残差网络基础结构体resnetblock1；卷积层conv0的输入连接到输入的车牌图像上，卷积层conv0的输出接入残差网络基础结构体resnetblock0的输入，残差网络基础结构体resnetblock0的输出接入残差网络基础结构体resnetblock1的输入，残差网络基础结构体resnetblock1的输出接入上下文信息网络输入。

conv0是一个核尺寸是7×7，跨度是4×4的卷积层，这种大核尺寸大跨度卷积操作的好处是，可以快速降低特征图尺寸，大大降低后续操作的运算量，同时保留更多图像细节；resnetblock0、resnetblock1是两个结构一样的残差网络基础结构体，这是resnet经典网络的精髓，该残差网络基础结构体如图3所示，该残差网络基础结构体包括卷积层convresnet0、卷积层convresnet1_0、卷积层convresnet1_1、convresnet1_2、合并层eltsum和卷积层conv2；卷积层convresnet0的输入和卷积层convresnet1_0的输入均连接到该残差基础结构体的输入特征层，卷积层convresnet1_0的输出连接到卷积层convresnet1_1的输入，卷积层convresnet1_1的的输出连接到convresnet1_2的输入，convresnet1_2的输出和卷积层convresnet0的输出均连接到合并层eltsum的输入，合并层eltsum的输出连接到卷积层conv2的输入。

convresnet0是一个核尺寸是3×3，跨度是2×2的卷积层，convresnet1_0是一个核尺寸是1×1，跨度是1×1的卷积层，该卷积层的作用是降低特征图通道数，减少后续卷积层的运算量，convresnet1_1是一个核尺寸是3×3，跨度是2×2的卷积层，其作用是进一步提取特征，减少输出特征图尺寸；convresnet1_2是一个核尺寸是1×1，跨度是1×1的卷积层，该卷积层的作用是提升特征图通道数，增加特征丰富度；eltsum是两个输入特征图进行逐像素相加的合并层，conv2是一个核尺寸是3×3，跨度是1×1的卷积层，其作用是进行合并特征融合。

S13、设计上下文信息网络，本发明中的车牌字符识别不同于通用的目标识别应用，每个字符的精确识别，不仅和字符整体特征有关系，还和字符的局部特征有关系，尤其是对于相似字符的识别。因此，本发明采用了一种新颖的上下文信息网络，可以综合利用字符的整体特征和局部特征。如图2所示，上下文信息网络包括高度方向上下文信息特征图heightcontext、宽度方向上下文信息特征图widthcontext和综合上下文信息特征图fullcontext；残差网络基础结构体resnetblock1的输出被分成3路，一路连接到高度方向上下文信息特征图heightcontext的输入，一路连接到宽度方向上下文信息特征图widthcontext输入，最后一路分别与高度上下文信息特征图heightcontext的输出、宽度方向上下文信息特征图widthcontext的输出连接到综合上下文信息特征图fullcontext的输入，综合上下文信息特征图fullcontext的输出连接到识别网络的输入，以实现对车牌字符高度、宽度方向的有效识别。

其中，获取综合上下文信息特征图的方法是，按照通道维度对步骤S12的输出特征图、高度方向上下文信息特征图和宽度方向上下文信息特征图进行拼接；高度方向上下文信息特征图和宽度方向上下文信息特征图的获取方法类似，以高度方向的上下文信息网络为例，如图4所示，具体设计步骤如下，其中，步骤S12的输出特征图尺寸是8×8×128：

S131、沿着高度方向进行逐行切片，每一个切片特征图的尺寸是1×8×128，切片特征图的名称分别是slice0、slice1....slice7。

S132、使用128个核尺寸是3×128，跨度是1×1的卷积核对第一个切片特征图slice0进行卷积，得到的输出特征图slice0-out的尺寸是1×8×128。

S133、步骤S132得到的输出特征图slice0-out和切片特征图slice1进行逐像素相加，得到新的切片特征图slice1_new；

S134、对新得到的切片特征图slice1_new进行如同步骤S132和步骤S133的操作，得到新的切片特征图slice2_new，循环步骤S132和步骤S133，按如图4箭头方向进行操作，直到得到最后一个新的切片特征图slice7_new。

S135、集合步骤S131至步骤S134得到的所有的新的切片特征图slice1_new至slice7_new，按照高度方向维度进行拼接，其输出特征图就是高度方向上下文信息特征图。

宽度方向上下文信息特征图进行设计时，沿着宽度方向进行逐行切片，执行步骤S131至S135，即可得到宽度方向上下文信息特征图。

S14、设计识别网络，识别网络主要是在步骤S13获取的综合字符上下文信息特征图fullcontext的基础上，进一步提升特征网络的表达能力，最终识别出字符的真实意义。如图2所示，所述识别网络包括卷积层convrecog0、卷积层convrecog1和卷积层convrecog2；卷积层convrecog0的输入连接综合上下文信息特征图fullcontext的输出，卷积层convrecog0的输出连接卷积层convrecog1的输入，卷积层convrecog1的输出连接卷积层convrecog2的输入，卷积层convrecog2的输出车牌特征图。

其中，convrecog0是一个核尺寸是3×3，跨度是1×1的卷积层，convrecog1是一个核尺寸是3×3，跨度是2×2的卷积层，convrecog2是一个核尺寸是4×4，跨度是1×1的卷积层，输出的车牌特征图尺寸是1×1×74，74是车牌字符的类别数目；

S2、训练深度神经网络模型，主要是通过大量的标注好的车牌字符训练样本图像集合，优化深度神经网络模型参数，使得深度神经网络模型识别性能最优，具体的步骤如下：

S21、获取训练样本图像，主要是收集各种场景，各种光线、各种角度下的车牌图像，使用现有的车牌字符分割方法获取车牌字符局部区域图像，然后标注每一车牌字符的类别，得到车牌字符训练样本图像集合；

S22、设计深度神经网络模型的目标损失函数，目标损失函数采用的是经典的交叉熵损失函数。

S23、训练深度神经网络模型，主要是把标注好的车牌字符训练样本图像集合送入定义好的深度神经网络模型，学习相关的模型参数，以训练所述深度神经网络模型；

S3、使用深度神经网络模型，训练完深度神经网络模型后，接下来就是在实际环境中进行模型使用，对于任意给出的一个车牌字符局部图像，经过深度神经网络模型前向运算后，输出的特征图就是该车牌字符属于每一类的可信度，选择最大可信度的识别结果作为当前车牌字符的最优识别结果。

一种计算机可读储存介质，其特征在于，所述计算机可读存储介质上存储有若干获取分类程序，所述若干获取分类程序用于被处理器调用并执行如下步骤：

构建深度神经网络模型，该深度神经网络模型包括快速提取特征网络、上下文信息网络和识别网络，快速提取特征网络、上下文信息网络和识别网络依次连接；

通过获取的车牌字符训练样本图像集合，训练所述深度神经网络模型；

通过训练后的深度神经网络模型，对待识别的车牌图像进行识别。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于上下文信息的车牌字符识别方法，其特征在于，包括：

构建深度神经网络模型，该深度神经网络模型包括快速提取特征网络、上下文信息网络和识别网络，快速提取特征网络、上下文信息网络和识别网络依次连接；

通过获取的车牌字符训练样本图像集合，训练所述深度神经网络模型；

通过训练后的深度神经网络模型，对待识别的车牌图像进行识别；

所述快速提取特征网络包括卷积层conv0、残差网络基础结构体resnetblock0和残差网络基础结构体resnetblock1；

卷积层conv0的输入连接到输入的车牌图像上，卷积层conv0的输出接入残差网络基础结构体resnetblock0的输入，残差网络基础结构体resnetblock0的输出接入残差网络基础结构体resnetblock1的输入，残差网络基础结构体resnetblock1的输出接入上下文信息网络输入；

所述残差网络基础结构体resnetblock0或残差网络基础结构体resnetblock1均包括卷积层convresnet0、卷积层convresnet1_0、卷积层convresnet1_1、convresnet1_2、合并层eltsum和卷积层conv2；

卷积层convresnet0的输入和卷积层convresnet1_0的输入均连接到该残差基础结构体的输入特征层，卷积层convresnet1_0的输出连接到卷积层convresnet1_1的输入，卷积层convresnet1_1的的输出连接到convresnet1_2的输入，convresnet1_2的输出和卷积层convresnet0的输出均连接到合并层eltsum的输入，合并层eltsum的输出连接到卷积层conv2的输入；

所述上下文信息网络包括高度方向上下文信息特征图heightcontext、宽度方向上下文信息特征图widthcontext和综合上下文信息特征图fullcontext；

残差网络基础结构体resnetblock1的输出被分成3路，一路连接到高度方向上下文信息特征图heightcontext的输入，一路连接到宽度方向上下文信息特征图widthcontext输入，最后一路分别与高度上下文信息特征图heightcontext的输出、宽度方向上下文信息特征图widthcontext的输出连接到综合上下文信息特征图fullcontext的输入，综合上下文信息特征图fullcontext的输出连接到识别网络的输入；

所述识别网络包括卷积层convrecog0、卷积层convrecog1和卷积层convrecog2；

卷积层convrecog0的输入连接综合上下文信息特征图fullcontext的输出，卷积层convrecog0的输出连接卷积层convrecog1的输入，卷积层convrecog1的输出连接卷积层convrecog2的输入，卷积层convrecog2的输出车牌特征图。

2.根据权利要求1所述的基于上下文信息的车牌字符识别方法，其特征在于，所述高度方向上下文信息特征图heightcontext的获取步骤如下：

S131：沿高度方向进行切片，切片特征图的名称分别是slice0、slice1....slice7；

S132：对第一个切片特征图slice0进行卷积，得到输出特征图slice0-out；

S133：将输出特征图slice0-out与切片特征图slice1进行逐像素相加，得到新的切片特征图slice1_new；

S134：将新的切片特征图slice1_new进行如步骤S132和步骤S133的操作，将得到的输出特征图slice1-out与切片特征图slice2进行逐像素相加，得到新的切片特征图slice2_new，循环步骤步骤S132和步骤S133，直至得到最后一个新的切片特征图slice7_new；

S135：将slice1_new至slice7_new的所有新的切片特征图，按照高度方向维度进行拼接，得到的输出特征图作为高度方向上下文信息特征图。

3.根据权利要求2所述的基于上下文信息的车牌字符识别方法，其特征在于，在所述对第一个切片特征图slice0进行卷积时，通过128个核尺寸是3×128，跨度是1×1的卷积核对第一个切片特征图slice0进行卷积。

4.根据权利要求1所述的基于上下文信息的车牌字符识别方法，其特征在于，所述训练深度神经网络模型，包括：

收集车牌图像，将车牌图像分割成包含单个车牌字符的局部区域图像；

对局部区域图像中的车牌字符进行类别标注，得到车牌字符训练样本图像集合；

设定所述深度神经网络模型的目标损失函数；

将车牌字符训练样本图像集合放置于设定好的深度神经网络模型中，以训练所述深度神经网络模型。

5.根据权利要求4所述的基于上下文信息的车牌字符识别方法，其特征在于，所述深度神经网络模型中每一个卷积层后面均带有批量归一化batchnorm层和非线性激活PRelu层。

6.一种计算机可读储存介质，其特征在于，所述计算机可读储存介质上存储有若干获取分类程序，所述若干获取分类程序用于被处理器调用并执行如权利要求1至5任一所述的车牌字符识别方法。

Images