CN110427937A - 一种基于深度学习的倾斜车牌矫正和不定长车牌识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的倾斜车牌矫正和不定长车牌识别方法。该方法分为训练和预测两个步骤，训练阶段为：构建车牌倾斜矫正网络，并使用车牌区域样本图片和对应角点的归一化坐标进行训练；构建不定长车牌号码识别网络，并使用车牌号码区域样本图片和对应的车牌号码进行训练；预测阶段为：将待识别的车牌图片送入车牌倾斜矫正网络预测得到车牌角点信息并进行倾斜矫正；使用目标检测方法定位得到倾斜矫正后车牌区域中的车牌号码区域；将车牌号码区域送入不定长车牌号码识别网络并进行后处理得到车牌号码。本发明不仅能够矫正倾斜车牌，而且能够直接从整体的车牌号码区域进行车牌号码识别；在复杂的真实场景中具有极高的鲁棒性。

Description

一种基于深度学习的倾斜车牌矫正和不定长车牌识别方法

技术领域

本发明涉及车牌图像识别领域，具体涉及一种基于深度学习的倾斜车牌矫正和不定长车牌识别方法。

背景技术

车牌识别应用是图像处理和计算视觉在智慧交通领域的重要应用，其对于车辆监测、协助交通执法和交通事故追溯等方面起到了重要的作用。但是车牌尺寸、拍摄角度、车牌变形、车牌号码长度不同等问题仍然是限制当前车牌识别技术达到极高识别精度的重要因素。

发明内容

为了解决背景技术中的问题，本发明提供了一种基于深度学习的倾斜车牌矫正和不定长车牌识别方法，该方法能够极大程度地降低车牌倾斜变形、拍摄角度不固定对于车牌识别的影响，以极大提高车牌识别应用的鲁棒性和精度，同时该方法使用方法的对不定长车牌进行识别，不仅避免了车牌识别步骤中繁琐和极不稳定的字符分割方法，同时对于号码长度不统一的车牌仍然具有极高的识别精度。

本发明采用的技术方案包括以下步骤：

1)获取车牌区域样本图片，每个车牌区域样本图片中车牌四个角点的归一化坐标作为车牌区域样本标签；

2)构建车牌倾斜矫正网络，使用步骤1)的车牌区域样本图片和车牌区域样本标签训练车牌倾斜矫正网络，完成训练后保存车牌倾斜矫正网络的权重参数数据Q_c，从而得到训练后的车牌倾斜矫正网络；

3)获取车牌号码区域样本图片，每个车牌号码区域样本图片具有一个车牌号码标签，根据字符字典将车牌号码区域样本图片中的每个车牌号码映射至对应的整型标识得到车牌号码标签；

4)构建不定长车牌号码识别网络，使用步骤3)获得的车牌号码区域样本图片和对应的车牌号码标签训练不定长车牌号码识别网络，完成训练后保存不定长车牌号码识别网络的权重参数Q_R，从而得到训练后的不定长车牌号码识别网络；

5)将待检测车牌区域图片输入步骤2)训练后的车牌倾斜矫正网络，预测得到待检测车牌区域图片中车牌四个角点的归一化坐标，然后将归一化坐标转变为绝对坐标后对该待检测车牌区域图片进行倾斜矫正，即得倾斜矫正后的车牌图片；

6)采用目标检测方法获取步骤5)倾斜矫正后的车牌图片中的车牌号码区域，将车牌号码区域输入车牌不定长号码识别网络得到该车牌号码区域的标签预测概率分布矩阵，对标签预测概率分布矩阵进行后处理即得到待检测车牌区域图片的车牌号码，完成车牌识别。

所述步骤1)具体为：车牌区域样本图片包括车牌和背景；以图片左上角作为坐标原点、左上角到右上角为横轴正方向、左上角到左下角为纵轴正方向建立坐标系，获取车牌区域样本图片中车牌四个角点的绝对位置坐标P_i＝(c_i,r_i)，其中i＝0,1,2,3；最后对四个角点的绝对位置坐标进行归一化，得到角点归一化坐标P′_i＝(c′_i,r′_i)，其中i＝0,1,2,3具体过程如下：

c′_i＝c_i/W_org；r′_i＝r_i/H_org

其中W_org和H_org分别为车牌区域样本图片的宽、高。

所述步骤2)具体为：

2.1)构建包括输入归一化层、两个平均池化层、三个卷积层、两个逐元素相加层、平铺层、Dropout层和两个全连接层的车牌倾斜矫正网络；输入归一化层分别输入至第一个平均池化层和第一个卷积层，第一个平均池化层的输出分别连接到第二个卷积层和第三个卷积层，第一个卷积层和第二个卷积层的输出作为第一个逐元素相加层的输入进行逐元素的相加，第一个逐元素相加层的输出作为第二个平均池化层的输入，第二个平均池化层的输出和第三个卷积层的输出共同作为第二个逐元素相加层的输入进行逐元素的相加，第二个逐元素相加层的输出依次经平铺层、Dropout层、第一个全连接层和第二个全连接层得到最终输出结果，即为该车牌区域内车牌四个角点的归一化坐标；

所述的输入归一化层将输入图片逐像素除以255；两个平均池化层均采用大小为3×3、步长为2的池化窗口；三个卷积层均采用32个大小为5×5的卷积核并使用ReLU作为激活函数，其中第二个卷积层的卷积核步长为2，其余两个卷积层的卷积核步长均为4；所有的卷积和池化的填充方式均采用“SAME”填充；第一个全连接层和第二个全连接层的节点数分别为128和8且均采用tanh作为激活函数；

2.2)将步骤1)的样本训练标签按照8:2的比例分为训练集和测试集，并将训练集输入步骤2.1)构建的车牌倾斜矫正网络，采用Adam优化算法训练车牌倾斜矫正网络直到误差达到最小值并保持稳定，则保存此时车牌倾斜矫正网络中的权重参数数据Q_c；其中采用0.005作为初始学习率并以0.95的比例在每10个训练迭代后衰减学习率，损失函数使用平均绝对误差，训练时Dropout层采用0.5的节点保留率。

所述步骤3)中的字符字典为36个字符与整型标识的映射关系，36个字符为10个阿拉伯数字和26个大写英文字母，所述整型标识为0到35的整数。

所述步骤4)具体为：

4.1)构建不定长车牌号码识别网络：不定长车牌号码识别网络包括两个维度转置层、三个外卷积分支、一个临时分支、合并层、卷积层和输出层；第一个维度转置层分别连接至第一个外卷积分支和临时分支，临时分支的输出分别连接至第二个外卷积分支和第三个外卷积分支，三个外卷积分支的输出均连接至合并层进行合并处理，合并层的输出连接至最后一个卷积层并在第三个维度上进行均值处理后删除第三个维度，最后一个卷积层的输出经第二个维度转置层连接至输出层；

所述第一个外卷积分支包括依次连接的卷积层、可分离卷积模块和归一化模块，第二个外卷积分支包括依次连接的卷积层、可分离卷积模块、平均池化层和归一化模块，第三个外卷积分支包括依次连接的平均池化层和归一化模块，临时分支包括依次连接的卷积层和可分离卷积模块；

所述第一个维度转置层为在第2,3维度进行交换，第二个维度转置层为在第1,2维度进行交换；

4.2)将步骤3)获得的数据集按照8:2的比例分为训练集和测试集，将训练集输入步骤4.1)的不定长车牌号码识别网络，使用Adam优化算法训练神经网络，直到深度学习分类网络的误差达到最小值并保持稳定，则保存此时不定长车牌号码识别网络中的权重参数数据Q_r；其中损失函数采用CTC损失，学习率设置为初始值为0.01、衰减速度为3000步、衰减率为0.9的指数衰减法，训练时Dropout层采用0.5的节点保留率，批量归一化层的均值和方差采用0.95的滑动平均系数。

所述的卷积层均采用大小为3×3，步长为1的卷积核，除第二个外卷积分支内的卷积层使用32个卷积核，其余卷积层均使用16个卷积核；所有的池化层均采用大小为3×3，步长为2的池化窗口；第一个外卷积分支、第二个临时分支和第二个外卷积分支的可分离卷积模块的输出通道数依次为32、32、64、，步长依次为4、2、1；每一个卷积操作之后均有一个批量归一化层，批量归一化层后均使用ReLU作为激活函数。

所述步骤4.1)的每个可分离卷积模块包括可分离卷积层、两个卷积层、批量归一化层、合并层和输出层，每个可分离卷积模块的上一层输出分别连接至第一个卷积层和可分离卷积层，可分离卷积层经批量归一化层连接至第二个卷积层，第一个卷积层和第二个卷积层的输出均连接至合并层进行合并处理，合并层的输出连接至输出层；

可分离卷积模块的输入参数包括输入特征图、卷积步长S和输出图像通道数C_out。其中，可分离卷积模块的两个卷积层均采用C_out/2个大小为3×3的卷积核，第一卷积层、第二个卷积层的卷积核步长分别为S和1；可分离卷积层采用大小为3×3，步长为S的卷积核；

所述步骤4.1)的每个归一化模块包括依次连接的Dropout层和均方归一化层，输入归一化模块的特征图I经均方归一化层的如下处理得到特征图I’

其中，I为输入归一化模块的特征图，I’为经均方归一化层处理输出的特征图，H、W、C分别为输入特征图I的高、宽和通道数；其中Dropout层采用0.5的节点保留率

所述步骤5)具体为：

5.1)车牌倾斜矫正网络输出待检测车牌区域图片中车牌四个角点的8个归一化坐标值V′_i，其中i＝0,1,2,3…7，对8个归一化坐标值做如下变换得到8个对应的绝对坐标值V_i：

其中H_org、W_org同步骤1)中H_org、W_org意义一致，分别为车牌倾斜矫正网络输入的待检测车牌区域图片的高、宽；

5.2)将8个绝对坐标值V_i两个为一对依次组成车牌四个角点的绝对坐标P_j，P_j＝(V_j,V_j+1)，其中j＝0,2,4,6；且P_j同步骤1)中的P_i意义一致，表示待检测车牌区域图片中车牌四个角点的绝对坐标位置；

5.3)设定倾斜矫正后车牌的显示宽高，使用显示宽高和四个角点的绝对坐标P_j作为参数依次调用opencv中的getPerspectiveTransform和warpPerspective函数即得待检测车牌区域图片中仅包含车牌部分且倾斜矫正后的车牌图片。

所述步骤6)具体为：采用MobileNet-SSD或Cascade的目标检测方法获取步骤5)中倾斜矫正后的车牌图片中的车牌号码区域，将车牌号码区域输入不定长车牌号码识别网络，得到该车牌号码区域的标签预测概率分布矩阵Adj，对标签预测概率分布矩阵Adj依次使用tensorflow自带的tf.nn.ctc_beam_search_decoder函数和tf.sparse_to_dense函数处理得到中间预测结果，中间预测结果中的每个元素值为车牌号码区域中的车牌号码对应的整形标识，根据字符字典将整形标识映射至对应的车牌号码，即得待检测车牌区域图片的车牌号码，完成车牌识别；

所述标签预测概率分布矩阵Adj的大小为W_text*36，标签预测概率分布矩阵Adj中的每个元素Adj(m,n)表示输入的待测图片中第m列像素是第n类整型标识的概率；其中W_text为车牌号码区域样本图片的宽度，m表示矩阵列下标(m＝0,1,2,3…,W_text-1)，n表示整型标识类别下标(n＝0,1,2…35)，即为36类整型标识中的一种。

本发明的有益效果：

本发明不仅能够精准地矫正倾斜车牌，而且相比较于利用二值化和边缘检测进行字符分割后再进行车牌识别的传统方法，该发明避免了繁杂和鲁棒性差的字符分割步骤，其能够直接从整体的车牌号码区域进行的车牌号码识别，对倾斜和不定长号码的车牌均具有极高的精度，该发明对于车牌识别应用具有极大的使用价值。

附图说明

图1为本发明的流程图。

图2是车牌倾斜矫正网络的结构图。

图3(a)是不定长车牌号码识别网络的可分离卷积模块结构图。

图3(b)是不定长车牌号码识别网络的归一化模块结构图。

图3(c)是不定长车牌号码识别网络的整体结构图。

图4是训练车牌倾斜矫正网络所使用的车牌区域的样本图片示意图。

图5是训练不定长车牌号码识别网络所使用的车牌号码区域样本图片示意图。

图6(a)是无严重倾斜车牌的角点定位示意图。

图6(b)是无严重倾斜车牌的倾斜矫正结果及识别示意图。

图7(a)是较严重倾斜车牌的角点定位示意图。

图7(b)是较严重倾斜车牌的倾斜矫正结果及识别示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的说明。

如图1所示，本发明的具体实施包括训练和预测两个部分，训练部分包括训练车牌倾斜矫正网络和训练不定长车牌号码识别网络。

训练部分的实施过程如下：

步骤一：获取车牌区域的样本图片；每个车牌图片包含其中车牌四个角点的归一化坐标标签。具体过程为：车牌区域样本图片包括车牌和背景；以图片左上角作为坐标原点、左上角到右上角为横轴正方向、左上角到左下角为纵轴正方向建立坐标系，获取车牌区域样本图片中车牌四个角点的绝对位置坐标P_i＝(c_i,r_i)，其中i＝0,1,2,3。最后对四个角点的绝对位置坐标进行归一化，得到角点归一化坐标P′_i＝(c′_i,r′_i),其中i＝0,1,2,3具体过程如下：

c′_i＝c_i/W_org；r′_i＝r_i/H_org

其中W_org和H_org分别为车牌区域样本图片的宽、高。

步骤二：将步骤一获取的车牌区域图片和对应的车牌归一化坐标标签随机分批，采用80％的数据作为训练集，剩下20％的数据作为测试集。

步骤三：构建如图2所示的车牌倾斜矫正网络，使用步骤一的车牌区域的样本图片和归一化坐标标签训练车牌倾斜矫正网络，完成训练后保存车牌倾斜矫正网络的权重参数数据Q_c，获得车牌倾斜矫正网络具体过程为：

3.1)构建车牌倾斜矫正网络：车牌倾斜矫正网络包括输入归一化层、两个平均池化层、三个卷积层、两个逐元素相加层、平铺层、Dropout层和两个全连接层的车牌倾斜矫正网络；输入归一化层分别输入至第一个平均池化层和第一个卷积层，第一个平均池化层的输出分别连接到第二个卷积层和第三个卷积层，第一个卷积层和第二个卷积层的输出作为第一个逐元素相加层的输入进行逐元素的相加，第一个逐元素相加层的输出作为第二个平均池化层的输入，第二个平均池化层的输出和第三个卷积层的输出共同作为第二个逐元素相加层的输入进行逐元素的相加，第二个逐元素相加层的输出依次经平铺层、Dropout层、第一个全连接层和第二个全连接层得到最终输出结果。

输入归一化层即将图片逐像素除以255；两个平均池化层均采用大小为3×3、步长为2的池化窗口；三个卷积层均采用32个大小为5×5的卷积核并使用ReLU作为激活函数，其中第二个卷积层的卷积核步长为2，其余两个卷积核的步长均为4；所有的卷积和池化的填充方式均采用”SAME”填充；两个全连接层的节点数分别为128和8且均采用tanh作为激活函数。

3.2)将步骤二的训练集输入到步骤3.1)构建的车牌倾斜矫正网络，采用0.005作为初始学习率并以0.95的比例在每10个训练迭代后衰减学习率，损失函数使用平均绝对误差，采用Adam优化算法训练车牌倾斜矫正网络直到误差达到最小值并保持稳定，则保存此时车牌倾斜矫正网络中的权重参数数据Q_c，训练时Dropout层采用0.5的节点保留率。

步骤四：获取车牌号码区域样本图片，每个车牌号码区域样本图片具有一个车牌号码标签，根据字符字典将车牌号码标签中的每个号码映射至对应的整型标识得到车牌号码标签，其中字符字典为36个字符(10个阿拉伯数字和26个大写英文字母)与整型标识的映射关系，所述整型标识为0到35的整数。

步骤五：将步骤四获取的车牌号码区域样本图片和对应的号码标签随机分批，采用80％的数据作为训练集，剩下20％的数据作为测试集。

步骤六：构建如图3(c)所示的不定长车牌号码识别网络；使用步骤五的车牌号码区域图片和号码标签训练不定长车牌号码识别网络，完成训练后保存不定长车牌号码识别网络的权重参数Q_R，获得不定长车牌号码识别网络，具体涉及过程为：

6.1)构建不定长车牌号码识别网络：不定长车牌号码识别网络包括两个维度转置层、三个外卷积分支、一个临时分支、合并层、卷积层和输出层；第一个维度转置层分别连接至第一个外卷积分支和临时分支，临时分支的输出分别连接至第二个外卷积分支和第三个外卷积分支，三个外卷积分支的输出均连接至合并层进行合并处理，合并层的输出连接至最后一个卷积层并在第三个维度上进行均值处理后删除第三个维度，最后一个卷积层的输出经第二个维度转置层连接至输出层；

所述第一个外卷积分支包括依次连接的卷积层、可分离卷积模块和归一化模块，第二个外卷积分支包括依次连接的卷积层、可分离卷积模块、平均池化层和归一化模块，第三个外卷积分支包括依次连接的平均池化层和归一化模块，临时分支包括依次连接的卷积层和可分离卷积模块；

所述第一个维度转置层为在第2,3维度进行交换，第二个维度转置层为在第1,2维度进行交换；

所述的卷积层均采用大小为3×3，步长为1的卷积核，除第二个外卷积分支内的卷积层使用32个卷积核，其余卷积层均使用16个卷积核；所有的池化层均采用大小为3×3，步长为2的池化窗口；第一个外卷积分支、第二个临时分支和第二个外卷积分支的可分离卷积模块的输出通道数依次为32、32、64、，步长依次为4、2、1；每一个卷积操作之后均有一个批量归一化层，批量归一化层后均使用ReLU作为激活函数。

如图3(a)所示，每个可分离卷积模块包括可分离卷积层、两个卷积层、批量归一化层、合并层和输出层，每个可分离卷积模块的上一层输出分别连接至第一个卷积层和可分离卷积层，可分离卷积层经批量归一化层连接至第二个卷积层，第一个卷积层和第二个卷积层的输出均连接至合并层进行合并处理，合并层的输出连接至输出层；可分离卷积模块的输入参数包括输入特征图、卷积步长S和输出图像通道数C_out。

其中，可分离卷积模块的两个卷积层均采用C_out/2个大小为3×3的卷积核，第一卷积层、第二个卷积层的卷积核步长分别为S和1；可分离卷积层采用大小为3×3，步长为S的卷积核；

如图3(b)所示，每个归一化模块包括依次连接的Dropout层和均方归一化层，输入归一化模块的特征图I经均方归一化层的如下处理得到特征图I’：

其中，I为输入归一化模块的特征图，I’为经均方归一化层处理输出的特征图，H、W、C分别为输入特征图I的高、宽和通道数；其中Dropout层采用0.5的节点保留率。

6.2)将步骤3)的数据按照8:2的比例分为数据集和测试集并将训练集输入到不定长车牌号码识别网络，Adam优化算法训练神经网络，直到深度学习分类网络的误差达到最小值并保持稳定，则保存此时不定长车牌号码识别网络的权重参数数据Q_r；其中损失函数采用CTC损失，学习率初始化为0.01、衰减速度为3000步、衰减率为0.9的指数衰减法，训练时Dropout层采用0.5的节点保留率，批量归一化层的均值和方差采用0.95的滑动平均系数。

预测部分的实施过程如下：

步骤7：获取车牌区域图片，将其作为车牌倾斜矫正网络的输入，预测得到该车牌区域图片中车牌四个角点的8个归一化坐标值V′_i，其中i＝0,1,2,3…7，对该8个归一化坐标值做如下变换得到8个对应的绝对坐标值V_i：

其中H_org、W_org同步骤一中H_org、W_org意义一致，分别为车牌倾斜矫正网络输入的待检测车牌区域样本图片的高、宽；

之后将8个绝对坐标值V_i两个为一对依次组成车牌4个角点的绝对坐标P_j，P_j＝(V_j,V_j+1)，其中j＝0,2,4,6；且P_j同步骤1)中的P_i意义一致，均表示车牌区域样本图片的中车牌四个角点的绝对坐标位置

最后设定倾斜矫正后车牌的显示宽高，使用该显示宽高和4个角点的绝对坐标P_j作为参数依次调用opencv中的getPerspectiveTransform和warpPerspective函数得到原车牌区域样本图片中仅包含车牌部分且倾斜矫正后的车牌图片。

步骤8：使用MobileNet-SSD或Cascade的目标检测方法获取步骤5)中倾斜矫正后的车牌图片中的车牌号码区域样本图片，将车牌号码区域作为待测图片输入不定长车牌号码识别网络，得到待测图片的标签预测概率分布矩阵Adj，对标签预测概率分布矩阵Adj依次使用tensorflow自带的tf.nn.ctc_beam_search_decoder函数和tf.sparse_to_dense函数处理得到中间预测结果，中间预测结果中的每个元素值为待测图片的车牌号码对应的整形标识，再根据字符字典映射得到待检测车牌区域图片的车牌号码，完成车牌识别；

所述标签预测概率分布矩阵Adj的大小为W_text*36，标签预测概率分布矩阵Adj中的每个元素Adj(m,n)表示输入的待测图片中第m列像素是第n类字符的概率；其中W_text为车牌号码区域样本图片的宽度，m表示矩阵列下标(m＝0,1,2,3…,W_text-1)，n表示字符类别下标(n＝0,1,2…35)。

具体实施例：

本发明分别采用如图4和如图5所示的车牌区域图片和车牌号码区域图片作训练车牌倾斜矫正网络和不定长车牌号码识别网络，其中车牌区域图片不仅包含完整的车牌区域，也包括部分背景区域，且车牌区域图片集不仅包括如图6(a)的倾斜度较低的车牌区域图片，也包括如图7(a)所示因拍摄角度而导致严重变形的车牌区域图片；车牌号码区域图片仅包含车牌号码，不包含任何背景部分，车牌号码区域的样本图片集包含号码长度不定的车牌号码区域图片。

本实施例分别使用14051张车牌区域图片和3506张车牌号码区域训练车牌倾斜矫正网络和不定长车牌号码识别网络，并选取4387张车牌区域图片内分别进行倾斜车牌矫正和不定长车牌号码识别，最终达到96.28％的识别精度。其中如图6(a)和图7(a)所示，倾斜矫正网络能够极为准确的定位车牌角点位置，以保证仿射变换能够将倾斜变形的车牌拉正，且对于变形和倾斜程度不同的车牌均具有极好的效果；同时如图6(b)和7(b)所示，不定长车牌号码识别网络对于不定长车牌号码均具有极好的识别效果。

由上述各个实施例检测结果可见，本发明方法对倾斜和不定长号码的车牌图片均具有极高的识别精度，在车牌识别领域具有较大的应用潜力。

上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (8)

1.一种基于深度学习的倾斜车牌矫正和不定长车牌识别方法，其特征在于，包括以下步骤：

1)获取车牌区域样本图片，每个车牌区域样本图片中车牌四个角点的归一化坐标作为车牌区域样本标签；

2)构建车牌倾斜矫正网络，使用步骤1)的车牌区域样本图片和车牌区域样本标签训练车牌倾斜矫正网络，完成训练后保存车牌倾斜矫正网络的权重参数数据Q_c，从而得到训练后的车牌倾斜矫正网络；

3)获取车牌号码区域样本图片，每个车牌号码区域样本图片具有一个车牌号码标签，根据字符字典将车牌号码区域样本图片中的每个车牌号码映射至对应的整型标识得到车牌号码标签；

4)构建不定长车牌号码识别网络，使用步骤3)获得的车牌号码区域样本图片和对应的车牌号码标签训练不定长车牌号码识别网络，完成训练后保存不定长车牌号码识别网络的权重参数Q_R，从而得到训练后的不定长车牌号码识别网络；

5)将待检测车牌区域图片输入步骤2)训练后的车牌倾斜矫正网络，预测得到待检测车牌区域图片中车牌四个角点的归一化坐标，然后将归一化坐标转变为绝对坐标后对该待检测车牌区域图片进行倾斜矫正，即得倾斜矫正后的车牌图片；

6)采用目标检测方法获取步骤5)倾斜矫正后的车牌图片中的车牌号码区域，将车牌号码区域输入车牌不定长号码识别网络得到该车牌号码区域的标签预测概率分布矩阵，对标签预测概率分布矩阵进行后处理即得到待检测车牌区域图片的车牌号码，完成车牌识别。

2.根据权利要求1所述的一种基于深度学习的倾斜车牌矫正和不定长车牌识别方法，其特征在于：所述步骤1)具体为：车牌区域样本图片包括车牌和背景；以图片左上角作为坐标原点、左上角到右上角为横轴正方向、左上角到左下角为纵轴正方向建立坐标系，获取车牌区域样本图片中车牌四个角点的绝对位置坐标P_i＝(c_i,r_i)，其中i＝0,1,2,3；最后对四个角点的绝对位置坐标进行归一化，得到角点归一化坐标P′_i＝(c′_i,r′_i)，其中i＝0,1,2,3具体过程如下：

c′_i＝c_i/W_org；r′_i＝r_i/H_org

其中W_org和H_org分别为车牌区域样本图片的宽、高。

3.根据权利要求1所述的一种基于深度学习的倾斜车牌矫正和不定长车牌识别方法，其特征在于：所述步骤2)具体为：

2.1)构建包括输入归一化层、两个平均池化层、三个卷积层、两个逐元素相加层、平铺层、Dropout层和两个全连接层的车牌倾斜矫正网络；输入归一化层分别输入至第一个平均池化层和第一个卷积层，第一个平均池化层的输出分别连接到第二个卷积层和第三个卷积层，第一个卷积层和第二个卷积层的输出作为第一个逐元素相加层的输入进行逐元素的相加，第一个逐元素相加层的输出作为第二个平均池化层的输入，第二个平均池化层的输出和第三个卷积层的输出共同作为第二个逐元素相加层的输入进行逐元素的相加，第二个逐元素相加层的输出依次经平铺层、Dropout层、第一个全连接层和第二个全连接层得到最终输出结果；

2.2)将步骤1)的样本训练标签分为训练集和测试集，并将训练集输入步骤2.1)构建的车牌倾斜矫正网络，采用Adam优化算法训练车牌倾斜矫正网络直到误差达到最小值并保持稳定，则保存此时车牌倾斜矫正网络中的权重参数数据Q_c；其中采用0.005作为初始学习率并以0.95的比例在每10个训练迭代后衰减学习率，损失函数使用平均绝对误差，训练时Dropout层采用0.5的节点保留率。

4.根据权利要求1所述的一种基于深度学习的倾斜车牌矫正和不定长车牌识别方法，其特征在于：所述步骤3)中的字符字典为36个字符与整型标识的映射关系，36个字符为10个阿拉伯数字和26个大写英文字母，所述整型标识为0到35的整数。

5.根据权利要求1所述的一种基于深度学习的倾斜车牌矫正和不定长车牌识别方法，其特征在于：所述步骤4)具体为：

4.1)构建不定长车牌号码识别网络：不定长车牌号码识别网络包括两个维度转置层、三个外卷积分支、一个临时分支、合并层、卷积层和输出层；第一个维度转置层分别连接至第一个外卷积分支和临时分支，临时分支的输出分别连接至第二个外卷积分支和第三个外卷积分支，三个外卷积分支的输出均连接至合并层进行合并处理，合并层的输出连接至最后一个卷积层并在第三个维度上进行均值处理后删除第三个维度，最后一个卷积层的输出经第二个维度转置层连接至输出层；

所述第一个外卷积分支包括依次连接的卷积层、可分离卷积模块和归一化模块，第二个外卷积分支包括依次连接的卷积层、可分离卷积模块、平均池化层和归一化模块，第三个外卷积分支包括依次连接的平均池化层和归一化模块，临时分支包括依次连接的卷积层和可分离卷积模块；

所述第一个维度转置层为在第2,3维度进行交换，第二个维度转置层为在第1,2维度进行交换；

4.2)将步骤3)获得的数据集分为训练集和测试集，将训练集输入步骤4.1)的不定长车牌号码识别网络，使用Adam优化算法训练神经网络，直到深度学习分类网络的误差达到最小值并保持稳定，则保存此时不定长车牌号码识别网络中的权重参数数据Q_r；其中损失函数采用CTC损失，学习率设置为初始值为0.01、衰减速度为3000步、衰减率为0.9的指数衰减法，训练时Dropout层采用0.5的节点保留率，批量归一化层的均值和方差采用0.95的滑动平均系数。

6.根据权利要求4所述的一种基于深度学习的倾斜车牌矫正和不定长车牌识别方法，其特征在于：

所述步骤4.1)的每个可分离卷积模块包括可分离卷积层、两个卷积层、批量归一化层、合并层和输出层，每个可分离卷积模块的上一层输出分别连接至第一个卷积层和可分离卷积层，可分离卷积层经批量归一化层连接至第二个卷积层，第一个卷积层和第二个卷积层的输出均连接至合并层进行合并处理，合并层的输出连接至输出层；

其中，可分离卷积模块的两个卷积层均采用C_out/2个大小为3×3的卷积核，第一卷积层、第二个卷积层的卷积核步长分别为S和1；可分离卷积层采用大小为3×3，步长为S的卷积核；

所述步骤4.1)的每个归一化模块包括依次连接的Dropout层和均方归一化层，输入归一化模块的特征图I经均方归一化层的如下处理得到特征图I’

其中，I为输入归一化模块的特征图，I’为经均方归一化层处理输出的特征图，H、W、C分别为输入特征图I的高、宽和通道数。

7.根据权利要求1所述的一种基于深度学习的倾斜车牌矫正和不定长车牌识别方法，其特征在于：所述步骤5)具体为：

5.1)车牌倾斜矫正网络输出待检测车牌区域图片中车牌四个角点的8个归一化坐标值V′_i，其中i＝0,1,2,3…7，对8个归一化坐标值做如下变换得到8个对应的绝对坐标值V_i：

其中H_org、W_org同步骤1)中H_org、W_org意义一致，分别为车牌倾斜矫正网络输入的待检测车牌区域图片的高、宽；

5.2)将8个绝对坐标值V_i两个为一对依次组成车牌四个角点的绝对坐标P_j，P_j＝(V_j,V_j+1)，其中j＝0,2,4,6；且P_j同步骤1)中的P_i意义一致，表示待检测车牌区域图片中车牌四个角点的绝对坐标位置；

5.3)设定倾斜矫正后车牌的显示宽高，使用显示宽高和四个角点的绝对坐标P_j作为参数依次调用opencv中的getPerspectiveTransform和warpPerspective函数即得待检测车牌区域图片中仅包含车牌部分且倾斜矫正后的车牌图片。

8.根据权利要求1所述的一种基于深度学习的倾斜车牌矫正和不定长车牌识别方法，其特征在于：所述步骤6)具体为：采用MobileNet-SSD或Cascade的目标检测方法获取步骤5)中倾斜矫正后的车牌图片中的车牌号码区域，将车牌号码区域输入不定长车牌号码识别网络，得到该车牌号码区域的标签预测概率分布矩阵Adj，对标签预测概率分布矩阵Adj依次使用tensorflow自带的tf.nn.ctc_beam_search_decoder函数和tf.sparse_to_dense函数处理得到中间预测结果，中间预测结果中的每个元素值为车牌号码区域中的车牌号码对应的整形标识，根据字符字典将整形标识映射至对应的车牌号码，即得待检测车牌区域图片的车牌号码，完成车牌识别；

所述标签预测概率分布矩阵Adj的大小为W_text*36，标签预测概率分布矩阵Adj中的每个元素Adj(m,n)表示输入的待测图片中第m列像素是第n类整型标识的概率；其中W_text为车牌号码区域样本图片的宽度，m表示矩阵列下标(m＝0,1,2,3…,W_text-1)，n表示整型标识类别下标(n＝0,1,2…35)。