CN113159158B - 一种基于生成对抗网络的车牌矫正与重构方法及系统 - Google Patents

Abstract

本发明公开了一种基于生成对抗网络的车牌矫正与重构方法及系统。本发明所涉及包括(1)基于VGG16结构的特征提取网络、坐标点预测模块组成的车牌矫正网络(2)由卷积‑反卷积组成的车牌生成器网络、多层卷积块组成的判别器网络构成的生成对抗性车牌重构网络(3)提出一种将车牌矫正网络与车牌重构网络堆叠组合的生成对抗式的车牌网络超分辨率重构网络，大大降低了车牌重构网络的训练难度，从而更有效的对车牌图像进行矫正与高清重构。

Description

一种基于生成对抗网络的车牌矫正与重构方法及系统

技术领域

本发明属于设计图像处理技术领域，特别是涉及一种基于生成对抗网络的车牌矫正与重构方法及系统。

背景技术

车牌识别技术作为智能交通系统的重要组成部分，其主要任务是对采集的车辆图像进行检测分析，提取车牌相关特征信息，并有效识别与判别车辆的关键信息。因此，准确的车牌识别技术在智慧停车场管理系统中显得尤为重要。

由于车牌获取的距离不同、拍摄角度不同，造成车牌在图片中的呈现姿态和外观也大大不同，尤其是获取的车牌图像常存在较大的倾斜和模糊现象，这显著影响了车牌识别准确率的提升。如何对车牌的歪曲进行矫正，模糊进行高清重构已经成为车牌识别领域发展的热门方向，涌现了很多车牌矫正与去模糊方法，但是这些方法在复杂场景中的表现不佳，且鲁棒性较差，只能针对特定的场景进行矫正或重构，有着结果差且输出不直观等等许多缺点。

为了增强倾斜车牌在实际应用的鲁棒性，一般传统方法采取霍夫直线检测与水平投影旋转法，基于深度学习Max提出空间变换网络(STN)来获取投影变换矩阵的六个主要参数，本质为线性的变换，将投影矩阵坐标系中表示的点的位置坐标，映射到原图确定的基的空间，最终得到投影矩阵。从而做到对倾斜、扭曲图像进行矫正；Shi B等提出的预测薄板样条(TPS)，利用TPS插值方法，需要指定对应的控制点坐标，然后根据TPS函数对图像所有像素点进行插值，求得插值之后的位置，从而完成对歪曲图像进行矫正。Silva等通过全局像素特征学习车牌区域的投影变换矩阵的参数,，达到较好的车牌矫正效果。目前，车牌识别与车牌矫正主要存在的两个问题：(1)由于机拍摄角度导致车牌图像在水平与垂直方向存在较大倾斜；(2)由于相机成像或者车牌污损等问题导致车牌图像存在成像模糊、污损、扭曲、遮挡。此类倾斜程度较大且模糊的车牌与正常角度的车牌相比提取特征差距较大，因此为后续车牌识别带来很大的困难。

发明内容

本发明的目的在于提供一种基于生成对抗网络的车牌矫正与重构方法及系统，以解决上述问题。

为实现上述目的，本发明采用以下技术方案：

一种基于生成对抗网络的车牌矫正与重构方法，包括以下步骤：

S1，收集监控设备的车牌图像数据，构建车牌图像训练数据集与测试数据集，并根据收集车牌图像的标签构建高清车牌训练集与测试集；

S2，构建基于深层卷积网络VGG16结构的特征提取网络，获取车牌关键点特征：利用卷积核为1的卷积层代替全连接层，作为分类器，将提取的车牌关键点特征输入分类器，得到分类预测结果；

S3，网络采用SmoothL1Loss损失函数来评估预测结果与标签的距离；

S4，构建卷积-反卷积的车牌生成器网络，卷积部分设计基于ResNet的特征提取网络，得到车牌的字符、纹理特征；反卷积部分设计多层反卷积块组成的车牌分辨率恢复网络，得到车牌重构结果；车牌判别器网络有两阶段层卷积块与一阶段卷积核为1*7的卷积层分类器，用以得到生成网络重构后的车牌特征，由车牌生成器网络与车牌判别器网络构成生成对抗性车牌重构网络；网络损失函数来自生成器网络损失与判别器网络损失之和：

S5，将车牌训练数据集全部输入车牌矫正网络进行训练学习，得到车牌矫正网络模型参数；

S6，将车牌测试数据集输入车牌矫正网络中，加载网络模型得到车牌矫正结果；

S7，将车牌训练数据集矫正后的结果与高清车牌训练数据及全部输入车牌重构网络进行训练学习，得到车牌重构网络模型参数；

S8，将车牌测试数据集矫正后的结果输入车牌重构网络中，加载网络模型得到车牌重构结果。

进一步的，S1中具体为：

首先收集车牌图像数据集，采用公开数据集CCPD与停车场门禁数据集，然后对收集的车牌数据集进行关键点标注与车牌号码标注，生成车牌数据集；再利用已标注好的车牌号码，生成对应的高清车牌图像，将原始车牌图像与生成的高清车牌图像匹配，生成高清车牌数据集；最后划分训练数据集与测试数据集，车牌矫正网络训练时输入车牌数据集，每次输入单张图片与其关键点坐标作为标签；车牌重构网络训练时输入高清车牌数据集中的一对图像，包括原始车牌图像与高清车牌图像，测试时只需输入需重构的车牌原始图像。

进一步的，S2中具体为：基于VGG16的特征提取网络包括六个卷积块Conv1、Conv2、Conv3、Conv4、Conv5、Conv6与分类器loc；六个卷积块皆包含卷积核为3的两个卷积层，分类器由loc由卷积核为1的卷积层组成；其中所有卷积层后都有批归一化层BN、非线性激活层ReLU组成卷积块。

进一步的，S3中具体为：

对网络设计平滑平均绝对误差损失SmoothL1Loss用于评价高维特征向量与真实值的差距；将已获得的车牌训练图像经过预处理后输入至网络，进行前向传播算法计算得到损失；求解目标函数关于特征的偏导数；利用反向传播算法得出梯度进行参数更新学习。

进一步的，具体地，对于真实值y_i与网络预测结果f(x_i)，f表示x与y的映射关系，得优化目标为以下的损失函数：

进一步的，S4中具体为：

构建卷积-反卷积的车牌生成器网络，基于ResNet的生成器特征提取网络由一个卷积层Conv_P1组成；第一个卷积块Conv_P1由卷积核为3的卷积层构成；残差块皆由两个卷积层，其中包括两个卷积核为3的卷积层，其中第一个残差块ResBlock1的输入输出通道设置为64，第二个残差块ResBlock2的输入输出通道设置为128，第三个残差块ResBlock3的输入输出通道设置为256，第二个残差块ResBlock2的输入输出通道设置为512；基于多层反卷积结构的车牌分辨率恢复网络由四个反卷积层组Deconv1、Deconv2、Deconv3、Deconv4组成；四个反卷积层皆由卷积核为3的转置卷积组成；每个反卷积层后都有非线性激活层ReLU组成；通过特征提取网络得到车牌的文字、纹理特征并输入至车牌分辨率恢复网络对车牌分辨率进行恢复，得到重构结果；

构建车牌判别网络，车牌判别网络主要包含两阶段层卷积块与一阶段卷积核为1x7的卷积层分类器；第一层卷积块ConvBlock1由卷积核为3的卷积层与带泄露修正线性单元Leaky ReLU组成；第二层卷积块由四个卷积核为3的卷积层组成，每个卷积层后跟有带泄露修正线性单元Leaky ReLU、批归一化层BN和核大小为2的平均池化层；第三层卷积块由卷积核为1*7的卷积层与Sigmoid激活函数组成，通过判别网络输出生成图片的判别信息。

进一步的，S5中具体为：

生成对抗性车牌重构网络的优化目标函数V为：

其中D为上述的判别器网络，G为上述的生成器网络，x为高清车牌图像，z为输入矫正后车牌图像；训练流程应满足即训练合适的D网络使得目标函数V最小化，之后选取合适的G网络使得目标函数V最大化。设计判别器网络D的损失函数为loss_d，生成器网络G的损失函数为loss_g。

进一步的，具体地，对于真实值y_i与网络预测结果f(x_i)(f表示x与y的映射关系)，可得提出的损失函数为：

将建立的矫正车牌图像数据集与高清车牌图像数据集输入至网络，进行前向传播算法计算得到损失；求解目标函数关于特征的偏导数；利用反向传播算法得出梯度进行参数更新学习。

进一步的，一种基于生成对抗网络的车牌矫正与重构系统，包括

车牌图像数据采集模块用于收集监控设备的车牌图像数据，构建车牌图像训练数据集与测试数据集，并根据收集车牌图像的标签构建高清车牌训练集与测试集；

特征提取网络构建模块用于构建基于深层卷积网络VGG16结构的特征提取网络，获取车牌关键点特征：利用卷积核为1的卷积层代替全连接层，作为分类器，将提取的车牌关键点特征输入分类器，得到分类预测结果；

预测结果与标签的距离评估模块用于网络采用SmoothL1Loss损失函数来评估预测结果与标签的距离；

车牌生成器网络构建模块用于构建卷积-反卷积的车牌生成器网络，卷积部分设计基于ResNet的特征提取网络，得到车牌的字符、纹理特征；反卷积部分设计多层反卷积块组成的车牌分辨率恢复网络，得到车牌重构结果；车牌判别器网络有两阶段层卷积块与一阶段卷积核为1*7的卷积层分类器，用以得到生成网络重构后的车牌特征，由车牌生成器网络与车牌判别器网络构成生成对抗性车牌重构网络；网络损失函数来自生成器网络损失与判别器网络损失之和：

网络模型参数矫正模块用于将车牌训练数据集全部输入车牌矫正网络进行训练学习，得到车牌矫正网络模型参数；

车牌矫正结果模块用于将车牌测试数据集输入车牌矫正网络中，加载网络模型得到车牌矫正结果；

车牌重构网络模型参数模块用于将车牌训练数据集矫正后的结果与高清车牌训练数据及全部输入车牌重构网络进行训练学习，得到车牌重构网络模型参数；

车牌重构结果模块用于将车牌测试数据集矫正后的结果输入车牌重构网络中，加载网络模型得到车牌重构结果。

与现有技术相比，本发明有以下技术效果：

本发明提出了一种基于生成对抗网络的车牌矫正与重构方法，首先利用基于VGG16结构的特征提取网络提取车牌的关键点特征，减少了背景信息的干扰，增强了有效的车牌关键点特征，然后建立了一种生成对抗性车牌重构网络，由卷积-反卷积组成车牌生成器网络与多层卷积块组成判别器网络构成，生成器网络通过卷积-反卷积的架构强化了车牌文字、纹理特征的提取、并有效减弱了噪声的干扰，同时利用生成对抗性网络结构组成车牌重构网络得到更好的图片样本，增加了进一步识别的准确率，最后利用将车牌矫正网络与车牌重构网络堆叠的方式，得到了生成对抗式的车牌网络超分辨率重构网络，大大降低了车牌重构网络的训练难度，并有效的对车牌图像进行矫正与高清重构；

进一步的，加入预训练的重构字符识别网络，并建立判别网络与字符识别网络的双监督策略，有效提升生成网络学习中辨别特征和语义信息的能力；

综上所述，本发明方法不仅能有效定位辨别性特征区域、提取全局结构信息和局部语义信息，能更有效地对车牌进行矫正与重构，具有较好的鲁棒性。

附图说明

图1基于生成对抗网络的车牌矫正与重构网络结构；

图2本发明流程图；

图3测试车牌示意图；

图4为车牌矫正结果图；

图5a和5b为车牌重构结果图。

具体实施方式

以下结合附图对本发明进一步说明：

请参阅图1，本发明提出一种基于生成对抗网络的车牌矫正与重构方法，包括以下步骤：

1.本发明所涉及包括(1)基于VGG16结构的特征提取网络、坐标点预测模块组成的车牌矫正网络(2)由卷积-反卷积组成的车牌生成器网络、多层卷积块组成的判别器网络构成的生成对抗车牌重构网络(3)提出一种将车牌矫正网络与车牌重构网络堆叠组合的生成对抗式的车牌超分辨率重构网络，

2.构建车牌数据集，主要步骤为：

首先收集车牌图像数据集，本发明采用公开数据集CCPD与停车场门禁数据集，然后对收集的车牌数据集进行关键点标注与车牌号码标注，生成车牌数据集；再利用已标注好的车牌号码，生成对应的高清车牌图像，将原始车牌图像与生成的高清车牌图像匹配，生成高清车牌数据集；最后按照一定比例划分训练数据集与测试数据集，车牌矫正网络训练时输入车牌数据集，每次输入单张图片与其关键点坐标作为标签，测试时只需要输入单张车牌图像即可。车牌重构网络训练时输入高清车牌数据集中的一对图像，包括原始车牌图像与高清车牌图像，测试时只需输入需重构的车牌原始图像。

3.构建基于VGG16结构的特征提取网络，利用卷积核为1的卷积层代替全连接层，作为分类器，主要步骤为：

基于VGG16结构的特征提取网络共有13个卷积层，共7个部分，各部分的卷积数目为2,2,2,2,2,2,1层，卷积层中的卷积核大小均为3x3，除了最后分类器卷积层，其余卷积层后都跟有BN归一化层和ReLU激活层，分类器层后跟有Sigmoid激活层。网络前六层对车牌的关键点特征进行提取，得到特征X，通道数为512，再将其输入分类器得到分类结果通道数为4的结果R。基于VGG16特征提取网络参数表如表1所示。

表1基于VGG16特征提取网络参数表

表中M代表64，N代表128。

4.车牌矫正网络采用SmoothL1Loss损失函数来评估预测结果与标签的距离，具体步骤包括：

对网络设计平滑平均绝对误差损失(SmoothL1Loss)Loss_k用于评价高维特征向量与真实值的差距。将已获得的车牌训练图像经过预处理后输入至网络，进行前向传播算法计算得到损失；求解目标函数关于特征的偏导数；利用反向传播算法得出梯度进行参数更新学习；

具体地，对于真实值y_i与网络预测结果f(x_i)(f表示x与y的映射关系)，可得优化目标为以下的损失函数：

5.构建由车牌生成器网络与车牌判别器网络构成生成对抗性车牌重构网络，利用生成对抗性网络的方式增强重构效果，减小背景噪声的影响。具体步骤包括：

将矫正后的车牌图像作为车辆生成器网络的输入，车辆生成器网络由基于ResNet的特征提取网络与反卷积块组成的分辨率恢复网络组成。特征提取网络的残差块数目为2，2，2，2层，残差块中卷积层数为2，卷积核大小为3x3。反卷积块的反卷积层数目为1，1，1，1，前三层反卷积层的卷积核为3x3，且后跟有ReLU激活层，最后一层反卷积层的卷积核为2x2，后跟有Tanh激活层。车牌生成器特征提取网络参数表如表2所示，车牌生成器反卷积分辨率恢复网络参数表如表3所示

表2车牌生成器特征提取网络参数表

表中M代表30，N代表118。

车牌生成器反卷积分辨率恢复网络参数表

表中M代表30，N代表118。

车牌判别网络主要包含两阶段层卷积块与一阶段卷积核为1x7的卷积层分类器。卷积层共有6层，分为三个部分，其卷积层数目为：1，4，1，前五层卷积层的卷积核都为3，第一层后跟有带泄露修正线性单元(Leaky ReLU)，中四层后跟有批归一化层(BN)和核大小为2的平均池化层，最后一层卷积层的卷积核大小为1x7,后跟有Sigmoid激活函数。车牌判别器网络参数表如表4所示

表4车牌判别器网络参数表

表中M代表30，N代表118。

6.对车牌重构网络进行训练，具体步骤包括：

基于生成对抗的车牌重构网络的优化目标函数V为：

其中D为上述的判别器网络，G为上述的生成器网络，x为高清车牌图像，z为输入矫正后车牌图像。训练流程应满足即训练合适的D网络使得目标函数V最小化，之后选取合适的G网络使得目标函数V最大化。设计判别器网络D的损失函数为loss_d，生成器网络G的损失函数为loss_g。

具体地，对于真实值y_i与网络预测结果f(x_i)(f表示x与y的映射关系)，可得提出的损失函数为：

将建立的矫正车牌图像数据集与高清车牌图像数据集输入至网络，进行前向传播算法计算得到损失；求解目标函数关于特征的偏导数；利用反向传播算法得出梯度进行参数更新学习。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图3与图4，图3车牌矫正效果图，图4为车牌重构效果图。

从矫正结果可以发现，车牌矫正网络在CCPD与停车场车牌图像数据集上的矫正会造成一定的车牌分辨率下降，由于CCPD数据集中有较多模糊、变色等车牌图片，导致经过矫正后的车牌分辨率进一步下降，这说明原始车牌图像数据源对矫正后的分辨率有着显著的影响，经过投影变换后的图像如何保持原有的分辨率情况，这在现实中也是一个巨大的挑战；所以本发明提出了车牌重构网络，用于对模糊、变色、遮挡等车牌进行重构，重构结果如图4所示，对于复杂场景下的污损车牌图像，本发明所提的车牌重构网络有着较好的重构能力。同时，本发明将车牌关键点回归网络与车牌重构网络相结合，利用矫正后图像的同分布性质，大大降低了车牌重构网络的训练难度，从而更有效的对车牌图像进行矫正与高清重构。本发明提出的车牌矫正与重构模型对复杂场景下具有较强的鲁棒性，显著提高了车牌识别的精度。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (9)

1.一种基于生成对抗网络的车牌矫正与重构方法，其特征在于，包括以下步骤：

S1，收集监控设备的车牌图像数据，构建普通车牌图像训练数据集与测试数据集，并根据收集车牌图像的标签构建高清车牌训练数据集与测试数据集；其中普通车牌数据集用于训练车牌矫正网络，并对车牌矫正网络进行评估；高清车牌数据集用于训练车牌重构网络，并对车牌重构网络进行评估；

S2，构建基于深层卷积网络VGG16结构的特征提取网络，获取车牌关键点特征：利用卷积核为1的卷积层代替全连接层，作为分类器，将提取的车牌关键点特征输入分类器，得到分类预测结果；

S3，网络采用SmoothL1Loss损失函数来评估预测结果与标签的距离；

S4，构建卷积-反卷积的车牌生成器网络，卷积部分设计基于ResNet的特征提取网络，得到车牌的字符、纹理特征；反卷积部分设计多层反卷积块组成的车牌分辨率恢复网络，得到车牌重构结果；车牌判别器网络有两阶段层卷积块与一阶段卷积核为1*7的卷积层分类器，用以得到生成网络重构后的车牌特征，由车牌生成器网络与车牌判别器网络构成生成对抗性车牌重构网络；网络损失函数来自生成器网络损失与判别器网络损失之和：

S5，将车牌训练数据集全部输入车牌矫正网络进行训练学习，得到车牌矫正网络模型参数；

S6，将车牌测试数据集输入车牌矫正网络中，加载网络模型得到车牌矫正结果；

S7，将车牌训练数据集矫正后的结果与高清车牌训练数据及全部输入车牌重构网络进行训练学习，得到车牌重构网络模型参数；

S8，将车牌测试数据集矫正后的结果输入车牌重构网络中，加载网络模型得到车牌重构结果。

2.根据权利要求1所述的一种基于生成对抗网络的车牌矫正与重构方法，其特征在于，S1中具体为：

首先收集车牌图像数据集，采用公开数据集CCPD与停车场门禁数据集，然后对收集的车牌数据集进行关键点标注与车牌号码标注，生成车牌数据集；再利用已标注好的车牌号码，生成对应的高清车牌图像，将原始车牌图像与生成的高清车牌图像匹配，生成高清车牌数据集；最后划分训练数据集与测试数据集，车牌矫正网络训练时输入车牌数据集，每次输入单张图片与其关键点坐标作为标签；车牌重构网络训练时输入高清车牌数据集中的一对图像，包括原始车牌图像与高清车牌图像，测试时只需输入需重构的车牌原始图像。

3.根据权利要求1所述的一种基于生成对抗网络的车牌矫正与重构方法，其特征在于，S2中具体为：基于深层卷积网络VGG16结构的特征提取网络包括六个卷积块Conv1、Conv2、Conv3、Conv4、Conv5、Conv6与分类器loc；六个卷积块皆包含卷积核为3的两个卷积层，分类器由loc由卷积核为1的卷积层组成；其中所有卷积层后都有批归一化层BN、非线性激活层ReLU组成卷积块。

4.根据权利要求1所述的一种基于生成对抗网络的车牌矫正与重构方法，其特征在于，S3中具体为：

对网络设计平滑平均绝对误差损失SmoothL1Loss用于评价高维特征向量与真实值的差距；将已获得的车牌训练图像经过预处理后输入至网络，进行前向传播算法计算得到损失；求解目标函数关于特征的偏导数；利用反向传播算法得出梯度进行参数更新学习。

5.根据权利要求4所述的一种基于生成对抗网络的车牌矫正与重构方法，其特征在于，具体地，对于真实值y_i与网络预测结果f(x_i)，f表示x与y的映射关系，得优化目标为以下的损失函数：

6.根据权利要求1所述的一种基于生成对抗网络的车牌矫正与重构方法，其特征在于，S4中具体为：

构建卷积-反卷积的车牌生成器网络，基于ResNet的生成器特征提取网络由一个卷积层Conv_P1组成；第一个卷积块Conv_P1由卷积核为3的卷积层构成；残差块皆由两个卷积层，其中包括两个卷积核为3的卷积层，其中第一个残差块ResBlock1的输入输出通道设置为64，第二个残差块ResBlock2的输入输出通道设置为128，第三个残差块ResBlock3的输入输出通道设置为256，第四个残差块ResBlock4的输入输出通道设置为512；基于多层反卷积结构的车牌分辨率恢复网络由四个反卷积层组Deconv1、Deconv2、Deconv3、Deconv4组成；四个反卷积层皆由卷积核为3的转置卷积组成；每个反卷积层后都有非线性激活层ReLU组成；通过特征提取网络得到车牌的文字、纹理特征并输入至车牌分辨率恢复网络对车牌分辨率进行恢复，得到重构结果；

构建车牌判别网络，车牌判别网络主要包含两阶段层卷积块与一阶段卷积核为1x7的卷积层分类器；第一层卷积块ConvBlock1由卷积核为3的卷积层与带泄露修正线性单元Leaky ReLU组成；第二层卷积块由四个卷积核为3的卷积层组成，每个卷积层后跟有带泄露修正线性单元Leaky ReLU、批归一化层BN和核大小为2的平均池化层；第三层卷积块由卷积核为1*7的卷积层与Sigmoid激活函数组成，通过判别网络输出生成图片的判别信息。

7.根据权利要求1所述的一种基于生成对抗网络的车牌矫正与重构方法，其特征在于，S5中具体为：

生成对抗性车牌重构网络的优化目标函数V为：

其中D为上述的判别器网络，G为上述的生成器网络，x为高清车牌图像，z为输入矫正后车牌图像；训练流程应满足即训练合适的D网络使得目标函数V最小化，之后选取合适的G网络使得目标函数V最大化；设计判别器网络D的损失函数为loss_d，生成器网络G的损失函数为loss_g。

8.根据权利要求7所述的一种基于生成对抗网络的车牌矫正与重构方法，其特征在于，具体地，对于真实值y_i与网络预测结果f(x_i)(f表示x与y的映射关系)，可得提出的损失函数为：

将建立的矫正车牌图像数据集与高清车牌图像数据集输入至网络，进行前向传播算法计算得到损失；求解目标函数关于特征的偏导数；利用反向传播算法得出梯度进行参数更新学习。

9.一种基于生成对抗网络的车牌矫正与重构系统，其特征在于，包括

车牌图像数据采集模块用于收集监控设备的车牌图像数据，构建车牌图像训练数据集与测试数据集，并根据收集车牌图像的标签构建高清车牌训练集与测试集；

特征提取网络构建模块用于构建基于深层卷积网络VGG16结构的特征提取网络，获取车牌关键点特征：利用卷积核为1的卷积层代替全连接层，作为分类器，将提取的车牌关键点特征输入分类器，得到分类预测结果；

预测结果与标签的距离评估模块用于网络采用SmoothL1Loss损失函数来评估预测结果与标签的距离；

车牌生成器网络构建模块用于构建卷积-反卷积的车牌生成器网络，卷积部分设计基于ResNet的特征提取网络，得到车牌的字符、纹理特征；反卷积部分设计多层反卷积块组成的车牌分辨率恢复网络，得到车牌重构结果；车牌判别器网络有两阶段层卷积块与一阶段卷积核为1*7的卷积层分类器，用以得到生成网络重构后的车牌特征，由车牌生成器网络与车牌判别器网络构成生成对抗性车牌重构网络；网络损失函数来自生成器网络损失与判别器网络损失之和：

网络模型参数矫正模块用于将车牌训练数据集全部输入车牌矫正网络进行训练学习，得到车牌矫正网络模型参数；

车牌矫正结果模块用于将车牌测试数据集输入车牌矫正网络中，加载网络模型得到车牌矫正结果；

车牌重构网络模型参数模块用于将车牌训练数据集矫正后的结果与高清车牌训练数据及全部输入车牌重构网络进行训练学习，得到车牌重构网络模型参数；

车牌重构结果模块用于将车牌测试数据集矫正后的结果输入车牌重构网络中，加载网络模型得到车牌重构结果。