CN111310751A - 车牌识别方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请提供了车牌识别方法、装置、电子设备和存储介质，涉及车牌识别领域。本申请所提供的车牌识别方法，先将车牌照片输入到特征提取网络，以得到车牌照片的第一特征图；而后将第一特征图输入到空间变换网络，以得到对第一特征图进行旋转后所形成的第二特征图；最后再将第二特征图输入到号码识别网络，以确定车牌照片的识别结果。可见本申请所提供的方法通过在特征提取网络和号码识别网络之间增加了空间变换网络，使得号码识别网络在依据特征图进行车牌号码的识别前，先由空间变换网络对特征图进行了旋转，使得输入到号码识别网络的特征图是经过旋转的，提高了针对具有倾斜车牌的照片进行识别的准确度。

Description

车牌识别方法、装置、电子设备和存储介质

技术领域

本申请涉及车牌识别领域，具体而言，涉及车牌识别方法、装置、电子设备和存储介质。

背景技术

随着信息技术的不断进步，车牌识别技术在各行各业都得到的广泛的应用，车辆停放计时收费技术、嫌犯车辆追踪技术都依赖于车牌识别技术。

相关技术中，车牌识别技术能够在指定的环境下，基本完成对车辆牌照的识别，但现有的车牌识别技术仍有一定的不足。

发明内容

本申请的目的在于提供车牌识别方法、装置、电子设备和存储介质。

本申请所提供的一种车牌识别方法，包括：

将车牌照片输入到特征提取网络，以得到特征提取网络所输出的车牌照片的第一特征图；

将所述第一特征图输入到空间变换网络，以得到空间变换网络所输出的第二特征图；所述第二特征图是所述空间变换网络对第一特征图进行旋转后所形成的；

将第二特征图输入到号码识别网络，以确定车牌照片的识别结果。

在一些实施例中，将车牌照片输入到特征提取网络，以得到特征提取网络所输出的车牌照片的第一特征图，包括：

将车牌照片输入到第一卷积神经网络，以得到第一卷积神经网络所输出的车牌照片的第一子特征图；

将第一子特征图输入到归一化层，以得到归一化层所输出的归一化后的第一子特征图；

将归一化后的第一子特征图输入到第二卷积神经网络，以得到第二卷积神经网络所输出的车牌照片的第一特征图。

在一些实施例中，将车牌照片输入到第一卷积神经网络，以得到第一卷积神经网络所输出的车牌照片的第一子特征图，包括：

将车牌照片输入到第一卷积层，以得到第一卷积层所输出的车牌照片的第二子特征图；

将第二子特征图输入到第一池化层，以得到第一池化层所输出的第一子特征图。

在一些实施例中，将车牌照片输入到第一卷积神经网络，以得到第一卷积神经网络所输出的车牌照片的第一子特征图，包括：

将车牌照片输入到第一卷积层，以得到第一卷积层所输出的车牌照片的第二子特征图；

将第二子特征图输入到第一池化层，以得到第一池化层所输出的降采样后的第二子特征图；

将降采样后的第二子特征图输入到第二卷积层，以得到第二卷积层所输出的第三子特征图；

将第三子特征图输入到第二池化层，以得到第二池化层所输出的车牌照片的第一子特征图。

在一些实施例中，将车牌照片输入到第一卷积层，以得到第一卷积层所输出的车牌照片的第二子特征图，包括：

将车牌照片输入到第一子卷积层，以得到第一卷积识别结果；

将车牌照片输入到第二子卷积层，以得到第二卷积识别结果；第一子卷积层和第二子卷积层的卷积核大小不同；

将第一卷积识别结果和第二卷积识别结果进行叠加，以生成所述车牌照片的第二子特征图。

在一些实施例中，所述第一子卷积层的卷积核为1*1的卷积核，所述第二子卷积层的卷积核为3*3的卷积核；

或，所述第一子卷积层的卷积核为1*1的卷积核，所述第二子卷积层的卷积核为5*5的卷积核；

或，所述第一子卷积层的卷积核为3*3的卷积核，所述第二子卷积层的卷积核为5*5的卷积核。

在一些实施例中，将所述第一特征图输入到空间变换网络，以得到空间变换网络所输出的第二特征图，包括：

将所述第一特征图和预先训练得到的图形变换参数输入到网格生成器，以得到网格生成器所输出的位置变换前的关键点坐标和位置变换后的关键点坐标；

将所述第一特征图、位置变换前的关键点坐标和位置变换后的关键点坐标输入到抽样层，以得到抽样层所输出的第二特征图。

在一些实施例中，将第二特征图输入到号码识别网络，以确定车牌照片的识别结果，包括：

将第二特征图输入到第一长短期记忆网络，以得到第一长短期记忆网络所输出的第一特征向量；

将第一特征向量输入到第二长短期记忆网络，以得到第二长短期记忆网络所输出的第二特征向量；

将第二特征向量输入到连接层，以得到连接层所输出的车牌照片的识别结果。

在一些实施例中，第一长短期记忆网络和第二长短期记忆网络中的至少一个为双向长短期记忆网络。

在一些实施例中，在将车牌照片输入到特征提取网络，以得到特征提取网络所输出的车牌照片的第一特征图之前，还包括：

将样本照片输入到特征提取网络，以得到特征提取网络所输出的样本照片的第三特征图；

将所述第三特征图输入到空间变换网络，以得到空间变换网络所输出的第四特征图；所述第四特征图是所述空间变换网络对第三特征图进行旋转后所形成的；

将第四特征图输入到号码识别网络，以确定样本照片的识别结果；

根据所述样本照片的识别结果与样本照片的标准结果的差别，对特征提取网络、空间变换网络和号码识别网络中的至少一个进行训练。

在一些实施例中，将车牌照片输入到特征提取网络，以得到特征提取网络所输出的车牌照片的第一特征图，包括：

从通过摄像机拍摄到的原始图像中提取车牌照片；

将所述车牌照片缩放至预定大小；

将缩放后的所述车牌照片输入到特征提取网络，以得到特征提取网络所输出的车牌照片的第一特征图。

在一些实施例中，还包括：

从通过摄像机拍摄到的原始图像中提取驾驶员的人脸照片；

将所述人脸照片输入到人脸识别模型中，以确定人脸识别结果；

根据人脸识别结果与车牌照片的识别结果的匹配程度，确定操作方式。

在一些实施例中，根据人脸识别结果与车牌照片的识别结果的匹配程度，确定操作方式，包括：

若人脸识别结果与车牌照片的识别结果的不匹配，则确定操作方式为向车牌照片的识别结果所对应的用户发送提示消息；所述提示消息中携带有驾驶员的人脸照片。

在一些实施例中，若所述车牌照片是通过位于停车场出入口的摄像头拍摄到的，则所述方法还包括：

生成提示消息；所述提示消息中携带有驾驶员的人脸照片；

向识别结果所对应的用户发送提示消息，以使识别结果所对应的用户生成回复指令；

若回复指令中携带有确认指令，则生成抬杆指令，以抬起停车杆。

本申请所提供的一种车牌识别装置，包括：

第一输入模块，用于将车牌照片输入到特征提取网络，以得到特征提取网络所输出的车牌照片的第一特征图；

第二输入模块，用于将所述第一特征图输入到空间变换网络，以得到空间变换网络所输出的第二特征图；所述第二特征图是所述空间变换网络对第一特征图进行旋转后所形成的；

第三输入模块，用于将第二特征图输入到号码识别网络，以确定车牌照片的识别结果。

在一些实施例中，第一输入模块，包括：

第一输入单元，用于将车牌照片输入到第一卷积神经网络，以得到第一卷积神经网络所输出的车牌照片的第一子特征图；

第二输入单元，用于将第一子特征图输入到归一化层，以得到归一化层所输出的归一化后的第一子特征图；

第三输入单元，用于将归一化后的第一子特征图输入到第二卷积神经网络，以得到第二卷积神经网络所输出的车牌照片的第一特征图。

在一些实施例中，第一输入单元，包括：

第一输入子单元，用于将车牌照片输入到第一卷积层，以得到第一卷积层所输出的车牌照片的第二子特征图；

第二输入子单元，用于将第二子特征图输入到第一池化层，以得到第一池化层所输出的第一子特征图。

在一些实施例中，第一输入单元，包括：

第三输入子单元，用于将车牌照片输入到第一卷积层，以得到第一卷积层所输出的车牌照片的第二子特征图；

第四输入子单元，用于将第二子特征图输入到第一池化层，以得到第一池化层所输出的降采样后的第二子特征图；

第五输入子单元，用于将降采样后的第二子特征图输入到第二卷积层，以得到第二卷积层所输出的第三子特征图；

第六输入子单元，用于将第三子特征图输入到第二池化层，以得到第二池化层所输出的车牌照片的第一子特征图。

在一些实施例中，第三输入子单元，包括：

第七输入子单元，用于将车牌照片输入到第一子卷积层，以得到第一卷积识别结果；

第八输入子单元，用于将车牌照片输入到第二子卷积层，以得到第二卷积识别结果；第一子卷积层和第二子卷积层的卷积核大小不同；

叠加子单元，用于将第一卷积识别结果和第二卷积识别结果进行叠加，以生成所述车牌照片的第二子特征图。

在一些实施例中，所述第一子卷积层的卷积核为1*1的卷积核，所述第二子卷积层的卷积核为3*3的卷积核；

或，所述第一子卷积层的卷积核为1*1的卷积核，所述第二子卷积层的卷积核为5*5的卷积核；

或，所述第一子卷积层的卷积核为3*3的卷积核，所述第二子卷积层的卷积核为5*5的卷积核。

在一些实施例中，第二输入模块，包括：

第四输入单元，用于将所述第一特征图和预先训练得到的图形变换参数输入到网格生成器，以得到网格生成器所输出的位置变换前的关键点坐标和位置变换后的关键点坐标；

第五输入单元，用于将所述第一特征图、位置变换前的关键点坐标和位置变换后的关键点坐标输入到抽样层，以得到抽样层所输出的第二特征图。

在一些实施例中，第三输入模块，包括：

第六输入单元，用于将第二特征图输入到第一长短期记忆网络，以得到第一长短期记忆网络所输出的第一特征向量；

第七输入单元，用于将第一特征向量输入到第二长短期记忆网络，以得到第二长短期记忆网络所输出的第二特征向量；

第八输入单元，用于将第二特征向量输入到连接层，以得到连接层所输出的车牌照片的识别结果。

在一些实施例中，第一长短期记忆网络和第二长短期记忆网络中的至少一个为双向长短期记忆网络。

在一些实施例中，装置还包括：

第四输入模块，用于将样本照片输入到特征提取网络，以得到特征提取网络所输出的样本照片的第三特征图；

第五输入模块，用于将所述第三特征图输入到空间变换网络，以得到空间变换网络所输出的第四特征图；所述第四特征图是所述空间变换网络对第三特征图进行旋转后所形成的；

第六输入模块，用于将第四特征图输入到号码识别网络，以确定样本照片的识别结果；

训练模块，用于根据所述样本照片的识别结果与样本照片的标准结果的差别，对特征提取网络、空间变换网络和号码识别网络中的至少一个进行训练。

在一些实施例中，第一输入模块，包括：

第一提取单元，用于从通过摄像机拍摄到的原始图像中提取车牌照片；

缩放单元，用于将所述车牌照片缩放至预定大小；

第九输入单元，用于将缩放后的所述车牌照片输入到特征提取网络，以得到特征提取网络所输出的车牌照片的第一特征图。

在一些实施例中，装置还包括：

第一获取模块，用于从通过摄像机拍摄到的原始图像中提取驾驶员的人脸照片；

第一确定模块，用于将所述人脸照片输入到人脸识别模型中，以确定人脸识别结果；

第二确定模块，用于根据人脸识别结果与车牌照片的识别结果的匹配程度，确定操作方式。

在一些实施例中，第二确定模块，包括：

第一确定单元，若人脸识别结果与车牌照片的识别结果的不匹配，则用于确定操作方式为向车牌照片的识别结果所对应的用户发送提示消息；所述提示消息中携带有驾驶员的人脸照片。

在一些实施例中，若所述车牌照片是通过位于停车场出入口的摄像头拍摄到的，则所述装置还包括：

第一生成模块，用于生成提示消息；所述提示消息中携带有驾驶员的人脸照片；

发送模块，用于向识别结果所对应的用户发送提示消息，以使识别结果所对应的用户生成回复指令；

第二生成模块，用于若回复指令中携带有确认指令，则生成抬杆指令，以抬起停车杆。

本申请所提供的一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行时执行如车牌识别方法的步骤。

本申请所提供的一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如车牌识别方法的步骤。

本申请所提供的车牌识别方法，包括：将车牌照片输入到特征提取网络，以得到特征提取网络所输出的车牌照片的第一特征图；将所述第一特征图输入到空间变换网络，以得到空间变换网络所输出的第二特征图；所述第二特征图是所述空间变换网络对第一特征图进行旋转后所形成的；将第二特征图输入到号码识别网络，以确定车牌照片的识别结果。可见，本申请所提供的方法通过在特征提取网络和号码识别网络之间增加了空间变换网络，使得号码识别网络在依据特征图进行车牌号码的识别前，先由空间变换网络对特征图进行了旋转，使得输入到号码识别网络的特征图是经过旋转的，这种处理方式提高了针对具有倾斜车牌的照片进行识别的准确度。

在一些实施例中，本申请的方案通过在特征提取网络中设置了顺序连接的第一卷积神经网络、归一化层和第二卷积神经网络，使得通过两个卷积神经网络对特征进行提取，提高了提取出的特征的质量，并且，通过在两个卷积神经网络之间设置了归一化层，提高了训练速度和识别的效率，同时也避免发生过拟合的情况。

在一些实施例中，本申请所提供的方案通过在卷积神经网络中设置了池化层，简化了网络计算复杂度，并且提高了提取特征的针对性。

在一些实施例中，本申请所提供的方案中，通过在第一卷积层中同时设置两个并列的子卷积层，进而，在通过第一卷积层提取第二子特征图时，是分别通过第一子卷积层和第二子卷积层对车牌照片的特征进行提取，以得到第一卷积识别结果和第二卷积识别结果，而后再将第一卷积识别结果和第二卷积识别结果进行叠加，以生成所述车牌照片的第二子特征图。这种分别通过两个卷积层进行特征提取，并将特征提取的结果进行叠加的方式，控制了模型计算量，并且保证了一定的识别精度和灵活性。

在一些实施例中，本申请所提供的方案中，还对驾驶员的人脸照片进行了人脸识别，并根据人脸识别结果与车牌照片的识别结果的匹配程度，确定操作方式，使得确定的操作方式是具有足够针对性的，提高了后续处理的准确度和针对性。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所提供的包含有非倾斜车牌的车牌照片的示意图；

图2示出了本申请实施例所提供的包含有倾斜车牌的车牌照片的示意图；

图3示出了本申请实施例所提供的车牌识别方法的基本流程图；

图4示出了本申请实施例所提供的车牌识别方法中，特征提取网络的具体结构图；

图5示出了本申请实施例所提供的车牌识别方法中，第一卷积层在对车牌照片进行特征提取的过程示意图；

图6示出了本申请实施例所提供的车牌识别方法中，空间变换网络的基本结构示意图；

图7示出了本申请实施例所提供的车牌识别方法中，只包含网格生成器和抽样层的空间变换网络的结构示意图；

图8示出了本申请实施例所提供的电子设备的示意图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

相关技术中，车牌识别技术已经在各个领域被广泛的使用。常见的如电子收费(ETC)系统，就是基于车牌识别技术来工作的。一般情况下，车牌识别技术在使用时可以分为两个步骤，分别是：

步骤1，通过摄像头对车牌进行拍照；

步骤2，将拍摄得到的车牌照片输入到车牌识别模型中，以使车牌识别模型输出识别结果。

通常，影响车牌识别准确度的步骤主要是步骤2，因此在步骤2执行前，先要使用大量的样本对车牌识别模型进行训练。训练时，只要用户提供足够多的样本，并且经过适当的调整(调整模型内部的参数，如卷积核的大小)，就能够使得训练完成的车牌识别模型对各种类型(数字、英文、中文)的车牌有着较强的适应能力。具体训练时，训练车牌识别模型所使用的样本都是实际的车牌照片，车牌识别模型能够自动辨识出这些照片中的特点，进而完成自我学习。使用训练完成的车牌识别模型来执行步骤2就能够保证车牌识别模型最终输出的识别结果的准确度，此处，识别结果指的是车牌上的具体字符(如京A123456)。

本申请发明人对相关技术中，使用神经网络技术进行车牌识别的方法进行了大量的试验和分析，认为相关技术中使用神经网络技术进行车牌识别的方法仍有不足之处。主要是，相关技术中已经出现的车牌识别模型，其关注的技术重点都集中在如何准确的从拍摄得到的原始图像中精确的定位出车牌区域(或者说是车牌照片)，以及，如何提高车牌识别模型的精度。

通常，相关技术中已经出现的这些车牌识别模型只能够对车牌照中的标准车牌进行识别。具体来说，是只能够对包含有非倾斜车牌的车牌照片中进行识别。如图1所示，示出了包含有非倾斜车牌的车牌照片的示意图。该图1中，外面矩形是照片边框，里面的矩形是车牌边框，该图1中的车牌号码为“京A123456”。即，非倾斜车牌照片是指车牌上的号码的排列方向与照片的长度方向是平行的车牌照片，或者说是车牌的下边框与照片的下边框是大致平行的车牌照片。

但实际操作中，车牌照片大多是倾斜的(主要是受到拍摄角度的影响)，如图2所示，示出了包含有倾斜车牌的车牌照片的示意图。该图2中，外面矩形是照片边框，里面的矩形是车牌边框，该图2中的车牌号排列方向为如箭头所示，车牌上的号码的排列方向与照片的长度方向是非平行的，或者说，在倾斜车牌照片中，车牌的下边框与照片的下边框是不平行的，或者说车牌的下边框与照片的下边框之间的夹角是大于一定角度的。

直接使用相关技术中的车牌识别模型在对图2中所示的这种倾斜车牌照片进行识别的时候，识别准确度是较低的。经过发明人的分析，认为如果照片中的车牌是倾斜的，则会导致车牌图像的局部特征与训练时的车牌信息之间有着较大的偏移(训练车牌识别模型时通常是使用非倾斜的车牌照片进行的)，导致车牌识别模型无法准确的完成识别。针对该种情况，本申请发明人认为，可以通过对车牌识别模型进行一定程度上的调整，以克服车牌识别模型对倾斜车牌照片的识别准确度过低的问题。

进而，如图3所示，本申请提供了一种车牌识别方法，包括：

S101，将车牌照片输入到特征提取网络，以得到特征提取网络所输出的车牌照片的第一特征图；

S102，将第一特征图输入到空间变换网络，以得到空间变换网络所输出的第二特征图；第二特征图是空间变换网络对第一特征图进行旋转后所形成的；

S103，将第二特征图输入到号码识别网络，以确定车牌照片的识别结果。

步骤S101中，车牌照片可以是通过任意的一种方式获取到的，比如该车牌照片可以是通过各个路口的摄像头采集的车辆的原始图像，而后再从原始图像中提取到车牌照片。也可以是通过在停车场出入口出的摄像头采集的车辆的车牌照片，而后再从原始图像中提取到车牌照片。还可以是通过某种监控摄像头采集的车辆的原始图像，而后再从原始图像中提取到车牌照片。还可以是通过人工摄像头(手动控制的摄像头)采集的车辆的原始图像，而后再从原始图像中提取到车牌照片。当然，在具体实现的时候，可以直接将上述的袁术图像作为车牌照片，也就是，只要是包含有车牌的图像都可以作为步骤S101中的车牌照片。

步骤S101中，特征提取网络主要是由卷积神经网络构成，其作用主要是通过卷积计算的方式从车牌照片中提取出特征信息。比如可以通过特征提取层DCNN对车牌照片进行特征提取，以得到第一特征图。

步骤S102中，第一特征图中的特征是对车牌照片的整体进行描述的，因此，如果车牌照片中包含有倾斜车牌，则第一特征图中关于车牌的区域也依旧是倾斜的。如图2所示，车牌照片分为车牌区域(可以认为是前景区域或目标区域)和非车牌区域(可以认为是背景区域)，则第一特征图也可以分为车牌区域和背景区域，并且，车牌照片中，车牌区域和非车牌区域的相对位置与第一特征图中，车牌区域和非车牌区域的相对位置是基本相同的。换句话说，在第一特征图中，车牌区域依旧是倾斜的。针对这种情况，在步骤S102中就需要使用空间变换网络对第一特征图进行调整(该调整主要是进行旋转操作)，以将车牌区域由原本的倾斜状态调整成非倾斜状态。

而后，在步骤S103中就可以是通过相关技术中已经有的车牌识别方法来完成车牌的识别。通常情况下，步骤S103可以分为如下三个步骤：

步骤1031，将第二特征图进行字符分割，以确定每个字符所对应的字符特征图；

步骤1032，分别将每个字符特征图输入到字符识别模型中，以确定车牌照片的识别结果。

步骤1031中，对字符进行分割的目的是将第二特征图中的每个字符的图像单独提取出来。如果旋转之后的图像如图1所示，则步骤1031进行字符分割的结果就是得到如下几个图像：“京”的图像；“A”的图像；“1”的图像；“2”的图像；“3”的图像；“4”的图像；“5”的图像；“6”的图像。

分割方式可以是采用前景提取，也可以是采用字符分割模型来进行。具体的，在对字符分割时，主要有如下两种方法：基于投影的方法和基于连通域的方法。采用基于投影的方法，主要是根据车牌的灰度投影曲线图和波峰波谷的情况对字符进行分割。采用基于连通域的方法，主要是对车牌图片进行二值化操作之后进行连通域标记，然后根据连通域分析得到每个字符所对应的字符区域。上述这两种方法主要是针对在环境较为良好的场所得到的车牌进行识别，如停车场、收费站等。

步骤1032中，识别的准确度主要是受模型本身的影响，比如选择的模型，模型中各层设置的参数，训练模型所使用的样本数量等。

除了使用模型对字符进行识别以外，还可以使用基于模板匹配的方法来对字符进行识别。基于模板匹配的方法，主要是要预先建立字符模板库(比如，模板库中应当有(0-9的模板，A-Z的模板和其他中文的模板)，并将待识别的字符与模板库中的模板进行匹配，以分别找到每个字符所对应的识别结果。这种基于模板的方法主要是应用在字符形状较为规整的情况下，通常字符模板库中需要预存大量的字符模板，在将字符与模板进行匹配的时候，需要将字符特征图与每个模板进行比较，以计算出该字符与每个模板的相似度，最后再将相似度最高的模板作为该字符的识别结果。识别的结果如：车牌上的某个字符的识别结果为A，车牌上的某个字符的识别结果为2，车牌上的某个字符的识别结果为京等。

如果采用模型识别的方法来实现步骤1032，主要是需要预先准备好大量的字符图片，并采用人工标注的方式标注出每个字符图片的类型(或者说是标注出每个字符图片所对应的标准结果，如该字符图片是1、2或P)等，而后将字符图片和字符图片的类型均输入到号码识别网络中，以使号码识别网络学习每个类型所对应的图片的特征，进而，训练完成后，号码识别网络就能够知晓每个类型所具有的特征了。在使用时，只需要将第二特征图输入到号码识别网络中，就号码识别网络就会输出该第二特征图所对应的每个类型的概率。比如，号码识别网络的输出结果可以是如下表1的形式：

表1

编号	图像编号	类型	概率
				1	第一个图像	A	0.01
2	第一个图像	B	0.05
				3	第一个图像	C	0.91
4	第一个图像	D	0.02

表1中示出了对第一个图像(对字符进行分割所得到的多个字符图像中的一个)进行识别的结果。可见，对第一个图像进行识别的结果中，说明该图像为字符A(全部字符类型中的一个)的概率为0.01；图像为字符B(全部字符类型中的一个)的概率为0.05；图像为字符C(全部字符类型中的一个)的概率为0.91；图像为字符D(全部字符类型中的一个)的概率为0.02。进而，就可以确定第一个图像的识别结果为C。类似的可以按照此种方式对每个字符图像进行识别，也就可以确定出每个字符图像的识别结果了。

在确定了每个字符图像的识别结果后，将每个字符图像的识别结果按照其在车牌照片中的位置的前后顺序进行排列也就能够得到最终的车牌照片的识别结果。比如，如图1所示的车牌照片，号码识别网络所输出的每个字符图像的识别结果可以是：第一个位置的图像识别结果为“京”；第二个位置的图像识别结果为“A”；第三个位置的图像识别结果为“1”；第四个位置的图像识别结果为“2”；第五个位置的图像识别结果为“3”；第六个位置的图像识别结果为“4”；第七个位置的图像识别结果为“5”；第八个位置的图像识别结果为“6”；进而，可以确定最终的车牌照片的识别结果是“京A123456”。

如前文中的说明，通常情况下，车牌照片只是占据原始图像的一部分，如果直接将原始图像输入到特征提取网络中的话，则可能会导致识别不够准确的问题。造成该问题的主要原因是车牌照片的面积太小，导致特征提取网络无法准确的提取到车牌照片的特征。如果直接将原始图像输入到特征提取网络中的话，则特征提取网络可能会提取到大量的背景图像(车牌照片以外区域)的特征。因此，本申请所提供的方法在实现时，可以先从原始图像中提取车牌照片，并将提取到的车牌照片输入到特征提取网络中。考虑到如果只是简单的从原始照片中截取出车牌照片，并将截取出的车牌照片直接输入到特征提取网络，可能导致特征提取的不够完全(因为车牌照片过小)，针对此种情况，可以在车牌照片输入到特征提取网络中之前，先对车牌照片进行适当的缩放(通常是放大)，再将缩放后的车牌照片输入到特征提取网络中，以使输入照片的尺寸适应于模型，以提高识别的准确度。

也就是，步骤S101可以按照如下执行：

从通过摄像机拍摄到的原始图像中提取车牌照片；

将所述车牌照片缩放至预定大小；

将缩放后的所述车牌照片输入到特征提取网络，以得到特征提取网络所输出的车牌照片的第一特征图。

需要说明的是，从原始图像中所提取到的车牌照片如图2所示，是一个显示有倾斜车牌的车牌图像的照片。也就是，在提取车牌照片的时候，通常是按照一定的步长和窗口大小对原始图像进行多次采样，而后，对分别对每次采样的结果(通常，每个采样的结果都是原始图像中的一个小的方形区域)进行识别(可以使用识别模型进行识别)，根据识别的结果确定哪个采样的结果作为车牌照片。在识别车牌照片的时候，可以是基于预存的模板进行识别，也可以是直接使用训练完成的模型进行识别，此处不做过多要求。

将所述车牌照片缩放至预定大小的主要目的是将车牌照片调整到大小适当的范围，以便于后续特征提取网络进行特征提取。

在将所述车牌照片缩放至预定大小时，优选按照如下方式实现：使用如下缩放因子对车牌照片进行缩放：

其中，W_v，H_v分别表示输入的车牌照片的宽和高，通过上述缩放因子对车牌照片进行缩放，可以使得车牌照片的大小限定在D_min和D_max之间。优选的，通过大量数据实验和验证，本申请发明人认为，可以使用如下优选的参数D_min＝288，D_max＝608。

为了提高模型的识别准确度，可以是对特征提取网络的结构进行细化，比如，使用多个卷积神经网络，来使得提取到的特征的针对性更强。但考虑到卷积网络的数量过多则会导致模型训练和识别速度过于缓慢，因此，本方案中，可以在特征提取网络中设置两个卷积网络，并在两个卷积网络之间设置归一化层，以使这两个卷积网络通过归一化层进行连接，此处归一化层的作用是将局部特征图大小进行归一化到0-1之间，加速训练和识别的效率，避免过拟合，通常情况下，归一化层不改变特征图大小。

进而，在使用了两个卷积神经网络和归一化层之后，可以得到如图4所示的网络架构，即，特征提取网络包括顺序连接的第一卷积神经网络、归一化层和第二卷积神经网络。这三部分在工作时是顺序工作的，也就是，步骤S101可以按照如下方式实现：

步骤1011，将车牌照片输入到第一卷积神经网络，以得到第一卷积神经网络所输出的车牌照片的第一子特征图；

步骤1012，将第一子特征图输入到归一化层，以得到归一化层所输出的归一化后的第一子特征图；

步骤1013，将归一化后的第一子特征图输入到第二卷积神经网络，以得到第二卷积神经网络所输出的车牌照片的第一特征图。

其中，第一卷积神经网络和第二卷积神经网络主要是负责进行特征提取的网络，归一化层的作用主要是将局部特征图大小进行归一化到0-1之间，以加快计算效率。

为了对输入的特征图进行压缩，使特征图变小，简化网络计算复杂度，以及进一步提取主要特征，可以是在卷积网络中增加池化层。

比如，第一卷积神经网络可以由顺序连接的第一卷积层、第一池化层组成，进而，步骤1011可以按照如下方式实现：

将车牌照片输入到第一卷积层，以得到第一卷积层所输出的车牌照片的第二子特征图；

将第二子特征图输入到第一池化层，以得到第一池化层所输出的第一子特征图。

此处，第一子特征图是对第二子特征图进行降采样操作后所得到的特征图。

除了在第一卷积神经网络中设置池化层，还可以是增加第一卷积神经网络汇总卷积层的数量，以进一步提高识别的准确度，比如，可以在第一卷积神经网络中设置两个卷积层和两个池化层。

也就是，第一卷积神经网络可以由顺序连接的第一卷积层、第一池化层、第二卷积层和第二池化层所组成。

进而，步骤1011可以按照如下方式实现：

将车牌照片输入到第一卷积层，以得到第一卷积层所输出的车牌照片的第二子特征图；

将第二子特征图输入到第一池化层，以得到第一池化层所输出的降采样后的第二子特征图；

将降采样后的第二子特征图输入到第二卷积层，以得到第二卷积层所输出的第三子特征图；

将第三子特征图输入到第二池化层，以得到第二池化层所输出的车牌照片的第一子特征图。

类似的，第二卷积神经网络中也可以通过设置池化层来降低计算复杂度。

第二卷积神经网络可以由顺序连接的第三卷积层、第三池化层组成。

进而，步骤1013可以按照如下方式实现：

将归一化后的第一子特征图输入到第三卷积层，以得到第三卷积层所输出的车牌照片的第三子特征图；

将第三子特征图输入到第三池化层，以得到第三池化层所输出的车牌照片的第一特征图。

还可以是在第二卷积神经网络中设置两个卷积层和两个池化层，进而，第二卷积神经网络可以由顺序连接的第三卷积层、第三池化层、第四卷积层和第四池化层所组成。

进而，步骤1013可以按照如下方式实现：

将归一化后的第一子特征图输入到第三卷积层，以得到第三卷积层所输出的车牌照片的第三子特征图；

将第三子特征图输入到第三池化层，以得到第三池化层所输出的降采样后的第三子特征图；

将降采样后的第三子特征图输入到第四卷积层，以得到第四卷积层所输出的第四子特征图；

将第四子特征图输入到第四池化层，以得到第四池化层所输出的车牌照片的第一特征图。

上述第一池化层、第二池化层、第三池化层和第四池化层的作用均是降采样，以使特征图变小，简化网络计算复杂度。

在实际使用的时候，卷积核调大，一定程度上会提高计算准确度，但同时会影响计算效率。因此，本方案中，优选在第一卷积层中同时使用两个子卷积层来进行特征提取。也就是，如图5所示，第一卷积层可以由两个子卷积层(第一子卷积层和第二子卷积层)组成。其中，为了保证调整提取特征的是有一定的差别，第一子卷积层和第二子卷积层的卷积核大小应当是不同。

进而，将车牌照片输入到第一卷积层，以得到第一卷积层所输出的车牌照片的第二子特征图，可以按照如下方式实现：

将车牌照片输入到第一子卷积层，以得到第一卷积识别结果；

将车牌照片输入到第二子卷积层，以得到第二卷积识别结果；第一子卷积层和第二子卷积层的卷积核大小不同；

将第一卷积识别结果和第二卷积识别结果进行叠加，以生成所述车牌照片的第二子特征图。

也就是，分别使用第一子卷积层和第二子卷积层对车牌照片进行特征提取，以得到第一卷积识别结果和第二卷积识别结果，此处，第一卷积识别结果和第二卷积识别结果均是以特征图的形式出现，进而，就可以将第一卷积识别结果和第二卷积识别结果进行叠加，以得到第二子特征图。

比如，第一卷积识别结果是h*w*512的特征图(第一卷积识别结果)，第二卷积识别结果是h*w*256的特征图(第二卷积识别结果)。在把这两个特征图叠加在一起后，就可以得到h*w*(512+256)的特征图。这样做的主要目的是不同大小的卷积核可以处理不同范围的局部信息。本段中h和w分别是特征图的高度和宽度；512和256表示特征的维度。

具体实现时，第一子卷积层和第二子卷积层的卷积核可以按照如下方式设置：

所述第一子卷积层的卷积核为1*1的卷积核，所述第二子卷积层的卷积核为3*3的卷积核；

或，所述第一子卷积层的卷积核为1*1的卷积核，所述第二子卷积层的卷积核为5*5的卷积核；

或，所述第一子卷积层的卷积核为3*3的卷积核，所述第二子卷积层的卷积核为5*5的卷积核。

为了保证两个识别结果能够正常叠加，所述第一子卷积层的步长和所述第二子卷积层的步长应当是相同的。具体的，第一子卷积层的步长和所述第二子卷积层的步长可以均是1，或第一子卷积层的步长和所述第二子卷积层的步长可以均是2。

如前文中的说明，空间变换网络的主要作用是对第一特征图进行旋转，如图6所示，示出了空间变换网络的具体结构，通过图6可以看出，空间变换网络主要由三部分组成，分别是定位网络、网格生成器和抽样层。

其中，定位网络的主要作用是根据输入图像生成图形变换参数，网格生成器的主要作用是根据图形变换参数和输入图像，确定位置变换前的关键点坐标和位置变换后的关键点坐标。此处，位置变换前的关键点坐标是输入图像(第一特征图)中的坐标，该坐标通常是由车牌所在区域的四个顶点坐标组成的。位置变换后的关键点坐标是输出图像(第二特征图)中的坐标，对应的，该坐标通常也是由车牌所在区域的四个顶点构成的。实际上，位置变换前的关键点坐标反映了被变换的区域在原图像中的位置，位置变换后的关键点坐标反映了被变换的区域在变换后的图像中的位置。

抽样层的主要作用是根据位置变换前的关键点坐标和位置变换后的关键点坐标对输入图像进行操作，以得到位置变换后的输出图像。

具体的，图形变换参数主要有三种，分别是旋转参数、平移参数和缩放参数，其中，旋转参数是用来控制车牌所在区域旋转角度的参数。平移参数是用来控制车牌所在区域进行左右移动和上下移动的移动幅度的参数。缩放参数是用来控制车牌所在区域进行整体放大或缩小的参数。

在对第一特征图进行旋转的时候，图形变换参数是已经使用样本训练好的了，不需要临时计算。也就是该图形变换参数在使用样本训练好之后，就可以直接存储在系统本地中，以便使用的时候直接获取。即，在使用过程中，空间变换网络的结构如图7所示，包括网格生成器和抽样层，网格生成器在工作时，是直接根据输入的图像和预先训练得到的图形变换参数确定位置变换前的关键点坐标和位置变换后的关键点坐标。

进而，在确定第二特征图的过程中就不需要临时计算图形变换参数了，而是将已经训练好的图形变换参数取出来直接使用。也就是，将所述第一特征图输入到空间变换网络，以得到空间变换网络所输出的第二特征图，包括：

将所述第一特征图和预先训练得到的图形变换参数输入到网格生成器，以得到网格生成器所输出的位置变换前的关键点坐标和位置变换后的关键点坐标；

将所述第一特征图、位置变换前的关键点坐标和位置变换后的关键点坐标输入到抽样层，以得到抽样层所输出的第二特征图。

如前文中的说明，号码识别网络的主要作用是根据学习好的每个类型(结果)所对应的特征，判断输入到该号码识别网络中的图像的识别结果。实现时，可以使用任何一种分类器来进行判别，但本申请发明人经过大量的实验，认为使用长短期记忆网络会更有利于方案的实现，能够提高识别的准确度。

此处，长短期记忆网络(LSTM，Long Short-Term Memory)是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。该长短期记忆网络实际上是一种特殊的RNN(循环神经网络，Recurrent Neural Network)，其具有大部分RNN网络的特性，同时解决了梯度反传过程由于逐步缩减而产生的梯度消失的问题。

进而，在具体实现时，可以只使用一个长短期记忆网络，也就是，步骤S103可以按照如下方式实现：

将第二特征图输入到长短期记忆网络，以得到长短期记忆网络所输出的第一特征向量；

将第一特征向量输入到连接层，以得到连接层所输出的车牌照片的识别结果。

其中，连接层主要是起到分类器的作用，以根据之前学习到的第一特征向量确定出车牌照片的识别结果。

此处长短期记忆网络优选为双向长短期记忆网络。双向长短期记忆网络是由两个相同的长短期记忆网络构成的，一个是正向的长短期记忆网络(该网络主要利用过去的信息)，一个是逆向的长短期记忆网络(该网络主要利用未来的信息)，这样在进行预测的时候，双向长短期记忆网络能够同时考虑前一时刻的信息和后一时刻的信息。进而，通常情况下，双向长短期记忆网络的预测结果会比单向的长短期记忆网络的预测结果更加准确。

在具体实现时，为了保证精度，优选通过两个长短期记忆网络来进行特征提取。也就是，步骤S103可以按照如下方式实现：

将第二特征图输入到第一长短期记忆网络，以得到第一长短期记忆网络所输出的第一特征向量；

将第一特征向量输入到第二长短期记忆网络，以得到第二长短期记忆网络所输出的第二特征向量；

将第二特征向量输入到连接层，以得到连接层所输出的车牌照片的识别结果。

优选的，第一长短期记忆网络和第二长短期记忆网络中的至少一个为双向长短期记忆网络。双向长短期记忆网络是由两个相同的长短期记忆网络构成的，一个是正向的长短期记忆网络(该网络主要利用过去的信息)，一个是逆向的长短期记忆网络(该网络主要利用未来的信息)，这样在进行预测的时候，双向长短期记忆网络能够同时考虑前一时刻的信息和后一时刻的信息。进而，通常情况下，双向长短期记忆网络的预测结果会比单向的长短期记忆网络的预测结果更加准确。

前文中说明了使用携带有空间变换网络的模型来从车牌照片中确定识别结果的过程，下面，对模型整体的训练过程进行说明。本申请所提供的方法中，特征提取网络、空间变换网络和号码识别网络是作为一个整体存在，该模型在训练的时候也是一同进行的训练，而不是分别进行训练。

进而，在将车牌照片输入到特征提取网络，以得到特征提取网络所输出的车牌照片的第一特征图之前，还需要按照如下方式对模型进行训练：

将样本照片输入到特征提取网络，以得到特征提取网络所输出的样本照片的第三特征图；

将所述第三特征图输入到空间变换网络，以得到空间变换网络所输出的第四特征图；所述第四特征图是所述空间变换网络对第三特征图进行旋转后所形成的；

将第四特征图输入到号码识别网络，以确定样本照片的识别结果；

根据所述样本照片的识别结果与样本照片的标准结果的差别，对特征提取网络、空间变换网络和号码识别网络中的至少一个进行训练。

此处的样本照片的拍摄位置应当是与车牌照片的拍摄位置是大致相同的，进而，通过样本照片训练得到的图形变换参数才有参考价值。比如，样本照片和车牌照片可以均是由某个停车场出口处的摄像头拍摄的，又或者是样本照片和车牌照片可以均是由某个高速收费站的摄像头拍摄的。

具体的，特征提取网络、空间变换网络和号码识别网络的具体结构在前文中已经说明，此处不再重复说明。

此处，将第四特征图输入到号码识别网络，以确定样本照片的识别结果中，样本照片的识别结果是每个结果类型所对应的概率，比如，样本照片的识别结果可以是：“1”概率为0.1；“2”概率为0.2；“3”概率为0.6；“4”概率为0.1。

步骤在根据所述样本照片的识别结果与样本照片的标准结果的差别，对特征提取网络、空间变换网络和号码识别网络中的至少一个进行训练，在执行时，首先是需要根据样本照片的识别结果和样本照片的标准结果的差别确定损失函数，之后，再根据损失函数来对特征提取网络、空间变换网络和号码识别网络中的至少一个进行训练。

此处，样本照片的标准结果指的是该样本照片上所实际显示的数字，比如样本照片上显示有数字6，就可以直接将数字6作为该样本照片的标准结果。该标准结果通常是由训练人员人为标注的。

本申请所提供的车牌识别方法在具体使用时，可以是根据车牌照片的识别结果进行更加广泛的应用，下面仅列举两个使用方式：

第一种使用方式，将车牌照片的识别技术与人脸识别技术进行组合，以验证人车是否匹配。

在该种使用方式下，本申请所提供的方法还包括：

步骤201，从通过摄像机拍摄到的原始图像中提取驾驶员的人脸照片；

步骤202，将人脸照片输入到人脸识别模型中，以确定人脸识别结果；

步骤203，根据人脸识别结果与车牌照片的识别结果的匹配程度，确定操作方式。

步骤201中，驾驶员是目标车辆的驾驶员，对目标车辆的车牌进行拍照后得到的照片中包含有步骤S101中的车牌照片，或对目标车辆的车牌进行拍照后得到的照片就是步骤S101中的车牌照片。也就是，人脸照片和车牌照片可以是从同一个原始图像中提取到的。

该驾驶员的人脸照片可以是通过各个路口的摄像头采集的车辆的原始图像，而后再从原始图像中提取到人脸照片。也可以是通过在停车场出入口出的摄像头采集的车辆的人脸照片，而后再从原始图像中提取到人脸照片。还可以是通过某种监控摄像头采集的车辆的原始图像，而后再从原始图像中提取到人脸照片。还可以是通过人工摄像头(手动控制的摄像头)采集的车辆的原始图像，而后再从原始图像中提取到人脸照片。

某种情况下，本方案中的人脸照片和车牌照片可以是通过同一个原始图像中提取到的(人脸照片和车牌照片是位于原始图像中的不同位置)，这样可以提高计算匹配程度的可信度(人脸照片和车牌照片的质量是基本相同的，因此，在计算时可以一定程度上避免由于图像质量的差别而带来的影响)。获取该原始图像的途径优选是通过设置在停车场出入口处的摄像头获取，或者是通过设置在监控机构处的摄像头获取。

在获取到驾驶员的人脸照片后，步骤202中，可以将人脸照片输入到人脸识别模型中，以确定人脸识别结果，此处的人脸识别结果是该人脸照片所对应的人物，比如该人脸照片的识别结果说明驾驶员是“张三”。

具体的，步骤202中，人脸识别模型直接输出的是人脸照片所对应的与每个可能的识别结果的概率，比如，可以得到如下表2：

表2

如表2所示，示出了编号为A的人脸照片所对应的每个识别结果的概率。可以看出概率最高的识别结果是“张三”，进而，就可以确定编号为A的人脸照片的人脸识别结果为“张三”。

进而，步骤203中，人脸识别结果与车牌照片的识别结果的匹配程度就是指车牌照片的识别结果所关联的用户是否是人脸识别结果，如果车牌照片的识别结果所关联的用户与人脸识别结果不同，则说明人脸识别结果与车牌照片的识别结果的匹配程度过低(或者说是二者不匹配)；反之，如果车牌照片的识别结果所关联的用户(可以是指驾驶员或者是乘客)与人脸识别结果相同，则说明人脸识别结果与车牌照片的识别结果的匹配程度较高(或者说是二者匹配)。

如下表3所示，示出了每个车牌照片的识别结果与用户的对应关系。

表3

编号	车牌号	用户
			1	京A123456	张三、李四
2	京A123457	路人甲、路人乙
			3	京A123458	张三、路人丙
4	京A123459	路人甲、路人丙

如表3所示，示出了每个车牌号(车牌照片的识别结果)所对应的用户，在步骤203具体实现的时候，如果人脸识别结果所对应的用户超出了车牌号所对应的用户，则说明人脸识别结果与车牌照片的识别结果的不匹配。

具体来说，按照表3中的情况而言，如果人脸识别结果为张三，车牌号(车牌照片的识别结果)为京A123457，则说明人脸识别结果与车牌照片的识别结果的不匹配(京A123457所对应的用户是路人甲和路人乙，没有张三)。如果人脸识别结果为张三，车牌号(车牌照片的识别结果)为京A123456，则说明人脸识别结果与车牌照片的识别结果的匹配(京A123456所对应的用户是张三、李四，包含了人脸识别结果的张三)。

对应的，确定的操作方式可以根据具体的使用场景来定，比如，操作方式可以是如下操作方式中的任意一个或多个：若人脸识别结果与车牌照片的识别结果的不匹配，则进行报警；此处的报警，可以是向第三方安全机构发送短消息，也可以是向数据库中预存的与车牌号相关联的用户发送提示信息。

若人脸识别结果与车牌照片的识别结果的不匹配，则停止抬起停车杆(停车杆设置在停车场的出口或入口处，只有抬起了停车杆，车辆才能够进入到停车场中，或者是从停车场中离开)。

若人脸识别结果与车牌照片的识别结果的匹配，则抬起停车杆。

上述方案中，采用报警的方式来提示用户的主要目的是如果车辆被盗则第一时间提示对应的用户。进而，步骤203还可以按照如下方式实现：

若人脸识别结果与车牌照片的识别结果的不匹配，则确定操作方式为向车牌照片的识别结果所对应的用户发送提示消息。

此处，向车牌照片的识别结果所对应的用户发送提示消息的目的是对用户进行提示。车牌号(车牌照片的识别结果)和用户的对应关系可以是预先录入到系统中的，通常情况下，应当是将车牌号所对应的车主(用户的一种)建立对应关系。

在确定的操作方式后，本申请所提供的方法还可以包括如下步骤：

生成提示消息；所述提示消息中携带有驾驶员的人脸照片；

向识别结果所对应的用户发送提示消息，以使识别结果所对应的用户生成回复指令；

若回复指令中携带有确认指令，则生成抬杆指令，以抬起停车杆；

若回复指令中携带有报警指令，则生成报警信号。

其中，确认指令表示用户在看到驾驶员的人脸照片后，认为当前的驾驶员是合法的驾驶员，不需要对驾驶员的行为进行干预，进而，系统就可以生成抬杆指令，以抬起停车场的停车杆；对应的，报警指令表示用户在看到驾驶员的人脸照片后，认为当前的驾驶员是不合法的驾驶员，此时需要对驾驶员的行为进行干预，进而，系统就可以生成报警信号，该报警信号可以是向第三方的报警平台发送的，以告知第三方的报警平台当前有危险。该报警信号还可以是向本地的安保系统发送的，以召集安保人员协助处理当前事件。

具体的，向识别结果所对应的用户发送提示消息后，可以是以如下任意一种或多种形式向用户展示提示消息：

文字形式、震动形式、语音形式、浮动窗口形式。

具体的，文字形式的提示消息如：在用户所使用的终端上显示“车辆疑似被盗”的文字内容，以对用户进行提示。

震动形式的提示消息如：驱动用户所使用的终端持续的进行振动，直至用户返回了回复指令。

语音形式的提示消息如：驱动用户所使用的终端自动播放类似“车辆疑似被盗”的语音，以对用户进行提示。

浮动窗口形式的提示消息如：在用户所使用的终端的浮动窗口中显示“车辆疑似被盗”的文字内容，以对用户进行提示。用户通过点击浮动窗口可以直接生成回复指令，以简化用户的操作。

第二种使用方式，将车牌照片的识别技术应用到限行处理中。

在该种使用方式下，本申请所提供的方法还包括：

获取限行规则；

根据车牌照片的识别结果与限行规则的匹配情况，确定操作方式。

其中，限行规则主要反应了当前时间(今天)所对应的限行号码(对尾号是1或6的号码)，进而，车牌照片的识别结果与限行规则的匹配情况就反应了车牌照片的识别结果是否满足现行规则，如果满足的话，则不进行处理；如果不满足的话，则需要对车牌照片的识别结果所对应的驾驶员进行处罚。

与上述方法相对应的，本申请还提供了一种车牌识别装置，包括：

第一输入模块，用于将车牌照片输入到特征提取网络，以得到特征提取网络所输出的车牌照片的第一特征图；

第二输入模块，用于将所述第一特征图输入到空间变换网络，以得到空间变换网络所输出的第二特征图；所述第二特征图是所述空间变换网络对第一特征图进行旋转后所形成的；

第三输入模块，用于将第二特征图输入到号码识别网络，以确定车牌照片的识别结果。

在一些实施例中，第一输入模块，包括：

第一输入单元，用于将车牌照片输入到第一卷积神经网络，以得到第一卷积神经网络所输出的车牌照片的第一子特征图；

第二输入单元，用于将第一子特征图输入到归一化层，以得到归一化层所输出的归一化后的第一子特征图；

第三输入单元，用于将归一化后的第一子特征图输入到第二卷积神经网络，以得到第二卷积神经网络所输出的车牌照片的第一特征图。

在一些实施例中，第一输入单元，包括：

第一输入子单元，用于将车牌照片输入到第一卷积层，以得到第一卷积层所输出的车牌照片的第二子特征图；

第二输入子单元，用于将第二子特征图输入到第一池化层，以得到第一池化层所输出的第一子特征图。

在一些实施例中，第一输入单元，包括：

第三输入子单元，用于将车牌照片输入到第一卷积层，以得到第一卷积层所输出的车牌照片的第二子特征图；

第四输入子单元，用于将第二子特征图输入到第一池化层，以得到第一池化层所输出的降采样后的第二子特征图；

第五输入子单元，用于将降采样后的第二子特征图输入到第二卷积层，以得到第二卷积层所输出的第三子特征图；

第六输入子单元，用于将第三子特征图输入到第二池化层，以得到第二池化层所输出的车牌照片的第一子特征图。

在一些实施例中，第三输入子单元，包括：

第七输入子单元，用于将车牌照片输入到第一子卷积层，以得到第一卷积识别结果；

第八输入子单元，用于将车牌照片输入到第二子卷积层，以得到第二卷积识别结果；第一子卷积层和第二子卷积层的卷积核大小不同；

叠加子单元，用于将第一卷积识别结果和第二卷积识别结果进行叠加，以生成所述车牌照片的第二子特征图。

在一些实施例中，所述第一子卷积层的卷积核为1*1的卷积核，所述第二子卷积层的卷积核为3*3的卷积核；

或，所述第一子卷积层的卷积核为1*1的卷积核，所述第二子卷积层的卷积核为5*5的卷积核；

或，所述第一子卷积层的卷积核为3*3的卷积核，所述第二子卷积层的卷积核为5*5的卷积核。

在一些实施例中，第二输入模块，包括：

第四输入单元，用于将所述第一特征图和预先训练得到的图形变换参数输入到网格生成器，以得到网格生成器所输出的位置变换前的关键点坐标和位置变换后的关键点坐标；

第五输入单元，用于将所述第一特征图、位置变换前的关键点坐标和位置变换后的关键点坐标输入到抽样层，以得到抽样层所输出的第二特征图。

在一些实施例中，第三输入模块，包括：

第六输入单元，用于将第二特征图输入到第一长短期记忆网络，以得到第一长短期记忆网络所输出的第一特征向量；

第七输入单元，用于将第一特征向量输入到第二长短期记忆网络，以得到第二长短期记忆网络所输出的第二特征向量；

第八输入单元，用于将第二特征向量输入到连接层，以得到连接层所输出的车牌照片的识别结果。

在一些实施例中，第一长短期记忆网络和第二长短期记忆网络中的至少一个为双向长短期记忆网络。

在一些实施例中，装置还包括：

第四输入模块，用于将样本照片输入到特征提取网络，以得到特征提取网络所输出的样本照片的第三特征图；

第五输入模块，用于将所述第三特征图输入到空间变换网络，以得到空间变换网络所输出的第四特征图；所述第四特征图是所述空间变换网络对第三特征图进行旋转后所形成的；

第六输入模块，用于将第四特征图输入到号码识别网络，以确定样本照片的识别结果；

训练模块，用于根据所述样本照片的识别结果与样本照片的标准结果的差别，对特征提取网络、空间变换网络和号码识别网络中的至少一个进行训练。

在一些实施例中，第一输入模块，包括：

第一提取单元，用于从通过摄像机拍摄到的原始图像中提取车牌照片；

缩放单元，用于将所述车牌照片缩放至预定大小；

第九输入单元，用于将缩放后的所述车牌照片输入到特征提取网络，以得到特征提取网络所输出的车牌照片的第一特征图。

在一些实施例中，装置还包括：

第一获取模块，用于从通过摄像机拍摄到的原始图像中提取驾驶员的人脸照片；

第一确定模块，用于将所述人脸照片输入到人脸识别模型中，以确定人脸识别结果；

第二确定模块，用于根据人脸识别结果与车牌照片的识别结果的匹配程度，确定操作方式。

在一些实施例中，第二确定模块，包括：

第一确定单元，若人脸识别结果与车牌照片的识别结果的不匹配，则用于确定操作方式为向车牌照片的识别结果所对应的用户发送提示消息；所述提示消息中携带有驾驶员的人脸照片。

在一些实施例中，若所述车牌照片是通过位于停车场出入口的摄像头拍摄到的，则所述装置还包括：

第一生成模块，用于生成提示消息；所述提示消息中携带有驾驶员的人脸照片；

发送模块，用于向识别结果所对应的用户发送提示消息，以使识别结果所对应的用户生成回复指令；

第二生成模块，用于若回复指令中携带有确认指令，则生成抬杆指令，以抬起停车杆。

与上述方法相对应的，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如车牌识别方法的步骤。

如图8所示，为本申请实施例所提供的电子设备示意图，该电子设备1000包括：处理器1001、存储器1002和总线1003，存储器1002存储有执行指令，当电子设备运行时，处理器1001与存储器1002之间通过总线1003通信，处理器1001执行存储器1002中存储的车牌识别方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (30)

1.一种车牌识别方法，其特征在于，包括：

将车牌照片输入到特征提取网络，以得到特征提取网络所输出的车牌照片的第一特征图；

将所述第一特征图输入到空间变换网络，以得到空间变换网络所输出的第二特征图；所述第二特征图是所述空间变换网络对第一特征图进行旋转后所形成的；

将第二特征图输入到号码识别网络，以确定车牌照片的识别结果。

2.根据权利要求1所述的方法，其特征在于，将车牌照片输入到特征提取网络，以得到特征提取网络所输出的车牌照片的第一特征图，包括：

将车牌照片输入到第一卷积神经网络，以得到第一卷积神经网络所输出的车牌照片的第一子特征图；

将第一子特征图输入到归一化层，以得到归一化层所输出的归一化后的第一子特征图；

将归一化后的第一子特征图输入到第二卷积神经网络，以得到第二卷积神经网络所输出的车牌照片的第一特征图。

3.根据权利要求2所述的方法，其特征在于，将车牌照片输入到第一卷积神经网络，以得到第一卷积神经网络所输出的车牌照片的第一子特征图，包括：

将车牌照片输入到第一卷积层，以得到第一卷积层所输出的车牌照片的第二子特征图；

将第二子特征图输入到第一池化层，以得到第一池化层所输出的第一子特征图。

4.根据权利要求2所述的方法，其特征在于，将车牌照片输入到第一卷积神经网络，以得到第一卷积神经网络所输出的车牌照片的第一子特征图，包括：

将车牌照片输入到第一卷积层，以得到第一卷积层所输出的车牌照片的第二子特征图；

将第二子特征图输入到第一池化层，以得到第一池化层所输出的降采样后的第二子特征图；

将降采样后的第二子特征图输入到第二卷积层，以得到第二卷积层所输出的第三子特征图；

将第三子特征图输入到第二池化层，以得到第二池化层所输出的车牌照片的第一子特征图。

5.根据权利要求3或4所述的方法，其特征在于，将车牌照片输入到第一卷积层，以得到第一卷积层所输出的车牌照片的第二子特征图，包括：

将车牌照片输入到第一子卷积层，以得到第一卷积识别结果；

将车牌照片输入到第二子卷积层，以得到第二卷积识别结果；第一子卷积层和第二子卷积层的卷积核大小不同；

将第一卷积识别结果和第二卷积识别结果进行叠加，以生成所述车牌照片的第二子特征图。

6.根据权利要求5所述的方法，其特征在于，

所述第一子卷积层的卷积核为1*1的卷积核，所述第二子卷积层的卷积核为3*3的卷积核；

或，所述第一子卷积层的卷积核为1*1的卷积核，所述第二子卷积层的卷积核为5*5的卷积核；

或，所述第一子卷积层的卷积核为3*3的卷积核，所述第二子卷积层的卷积核为5*5的卷积核。

7.根据权利要求1所述的方法，其特征在于，将所述第一特征图输入到空间变换网络，以得到空间变换网络所输出的第二特征图，包括：

将所述第一特征图和预先训练得到的图形变换参数输入到网格生成器，以得到网格生成器所输出的位置变换前的关键点坐标和位置变换后的关键点坐标；

将所述第一特征图、位置变换前的关键点坐标和位置变换后的关键点坐标输入到抽样层，以得到抽样层所输出的第二特征图。

8.根据权利要求1所述的方法，其特征在于，将第二特征图输入到号码识别网络，以确定车牌照片的识别结果，包括：

将第二特征图输入到第一长短期记忆网络，以得到第一长短期记忆网络所输出的第一特征向量；

将第一特征向量输入到第二长短期记忆网络，以得到第二长短期记忆网络所输出的第二特征向量；

将第二特征向量输入到连接层，以得到连接层所输出的车牌照片的识别结果。

9.根据权利要求8所述的方法，其特征在于，第一长短期记忆网络和第二长短期记忆网络中的至少一个为双向长短期记忆网络。

10.根据权利要求1所述的方法，其特征在于，在将车牌照片输入到特征提取网络，以得到特征提取网络所输出的车牌照片的第一特征图之前，还包括：

将样本照片输入到特征提取网络，以得到特征提取网络所输出的样本照片的第三特征图；

将所述第三特征图输入到空间变换网络，以得到空间变换网络所输出的第四特征图；所述第四特征图是所述空间变换网络对第三特征图进行旋转后所形成的；

将第四特征图输入到号码识别网络，以确定样本照片的识别结果；

根据所述样本照片的识别结果与样本照片的标准结果的差别，对特征提取网络、空间变换网络和号码识别网络中的至少一个进行训练。

11.根据权利要求1所述的方法，其特征在于，将车牌照片输入到特征提取网络，以得到特征提取网络所输出的车牌照片的第一特征图，包括：

从通过摄像机拍摄到的原始图像中提取车牌照片；

将所述车牌照片缩放至预定大小；

将缩放后的所述车牌照片输入到特征提取网络，以得到特征提取网络所输出的车牌照片的第一特征图。

12.根据权利要求11所述的方法，其特征在于，还包括：

从通过摄像机拍摄到的原始图像中提取驾驶员的人脸照片；

将所述人脸照片输入到人脸识别模型中，以确定人脸识别结果；

根据人脸识别结果与车牌照片的识别结果的匹配程度，确定操作方式。

13.根据权利要求12所述的方法，其特征在于，根据人脸识别结果与车牌照片的识别结果的匹配程度，确定操作方式，包括：

若人脸识别结果与车牌照片的识别结果的不匹配，则确定操作方式为向车牌照片的识别结果所对应的用户发送提示消息；所述提示消息中携带有驾驶员的人脸照片。

14.根据权利要求13所述的方法，其特征在于，若所述车牌照片是通过位于停车场出入口的摄像头拍摄到的，则所述方法还包括：

生成提示消息；所述提示消息中携带有驾驶员的人脸照片；

向识别结果所对应的用户发送提示消息，以使识别结果所对应的用户生成回复指令；

若回复指令中携带有确认指令，则生成抬杆指令，以抬起停车杆。

15.一种车牌识别装置，其特征在于，包括：

第一输入模块，用于将车牌照片输入到特征提取网络，以得到特征提取网络所输出的车牌照片的第一特征图；

第二输入模块，用于将所述第一特征图输入到空间变换网络，以得到空间变换网络所输出的第二特征图；所述第二特征图是所述空间变换网络对第一特征图进行旋转后所形成的；

第三输入模块，用于将第二特征图输入到号码识别网络，以确定车牌照片的识别结果。

16.根据权利要求15所述的装置，其特征在于，第一输入模块，包括：

第一输入单元，用于将车牌照片输入到第一卷积神经网络，以得到第一卷积神经网络所输出的车牌照片的第一子特征图；

第二输入单元，用于将第一子特征图输入到归一化层，以得到归一化层所输出的归一化后的第一子特征图；

第三输入单元，用于将归一化后的第一子特征图输入到第二卷积神经网络，以得到第二卷积神经网络所输出的车牌照片的第一特征图。

17.根据权利要求16所述的装置，其特征在于，第一输入单元，包括：

第一输入子单元，用于将车牌照片输入到第一卷积层，以得到第一卷积层所输出的车牌照片的第二子特征图；

第二输入子单元，用于将第二子特征图输入到第一池化层，以得到第一池化层所输出的第一子特征图。

18.根据权利要求16所述的装置，其特征在于，第一输入单元，包括：

第三输入子单元，用于将车牌照片输入到第一卷积层，以得到第一卷积层所输出的车牌照片的第二子特征图；

第四输入子单元，用于将第二子特征图输入到第一池化层，以得到第一池化层所输出的降采样后的第二子特征图；

第五输入子单元，用于将降采样后的第二子特征图输入到第二卷积层，以得到第二卷积层所输出的第三子特征图；

第六输入子单元，用于将第三子特征图输入到第二池化层，以得到第二池化层所输出的车牌照片的第一子特征图。

19.根据权利要求18任一项所述的装置，其特征在于，第三输入子单元，包括：

第七输入子单元，用于将车牌照片输入到第一子卷积层，以得到第一卷积识别结果；

第八输入子单元，用于将车牌照片输入到第二子卷积层，以得到第二卷积识别结果；第一子卷积层和第二子卷积层的卷积核大小不同；

叠加子单元，用于将第一卷积识别结果和第二卷积识别结果进行叠加，以生成所述车牌照片的第二子特征图。

20.根据权利要求19所述的装置，其特征在于，

所述第一子卷积层的卷积核为1*1的卷积核，所述第二子卷积层的卷积核为3*3的卷积核；

或，所述第一子卷积层的卷积核为1*1的卷积核，所述第二子卷积层的卷积核为5*5的卷积核；

或，所述第一子卷积层的卷积核为3*3的卷积核，所述第二子卷积层的卷积核为5*5的卷积核。

21.根据权利要求15所述的装置，其特征在于，第二输入模块，包括：

第四输入单元，用于将所述第一特征图和预先训练得到的图形变换参数输入到网格生成器，以得到网格生成器所输出的位置变换前的关键点坐标和位置变换后的关键点坐标；

第五输入单元，用于将所述第一特征图、位置变换前的关键点坐标和位置变换后的关键点坐标输入到抽样层，以得到抽样层所输出的第二特征图。

22.根据权利要求15所述的装置，其特征在于，第三输入模块，包括：

第六输入单元，用于将第二特征图输入到第一长短期记忆网络，以得到第一长短期记忆网络所输出的第一特征向量；

第七输入单元，用于将第一特征向量输入到第二长短期记忆网络，以得到第二长短期记忆网络所输出的第二特征向量；

第八输入单元，用于将第二特征向量输入到连接层，以得到连接层所输出的车牌照片的识别结果。

23.根据权利要求22所述的装置，其特征在于，第一长短期记忆网络和第二长短期记忆网络中的至少一个为双向长短期记忆网络。

24.根据权利要求15所述的装置，其特征在于，还包括：

第四输入模块，用于将样本照片输入到特征提取网络，以得到特征提取网络所输出的样本照片的第三特征图；

第五输入模块，用于将所述第三特征图输入到空间变换网络，以得到空间变换网络所输出的第四特征图；所述第四特征图是所述空间变换网络对第三特征图进行旋转后所形成的；

第六输入模块，用于将第四特征图输入到号码识别网络，以确定样本照片的识别结果；

训练模块，用于根据所述样本照片的识别结果与样本照片的标准结果的差别，对特征提取网络、空间变换网络和号码识别网络中的至少一个进行训练。

25.根据权利要求15所述的装置，其特征在于，第一输入模块，包括：

第一提取单元，用于从通过摄像机拍摄到的原始图像中提取车牌照片；

缩放单元，用于将所述车牌照片缩放至预定大小；

第九输入单元，用于将缩放后的所述车牌照片输入到特征提取网络，以得到特征提取网络所输出的车牌照片的第一特征图。

26.根据权利要求25所述的装置，其特征在于，还包括：

第一获取模块，用于从通过摄像机拍摄到的原始图像中提取驾驶员的人脸照片；

第一确定模块，用于将所述人脸照片输入到人脸识别模型中，以确定人脸识别结果；

第二确定模块，用于根据人脸识别结果与车牌照片的识别结果的匹配程度，确定操作方式。

27.根据权利要求26所述的装置，其特征在于，第二确定模块，包括：

第一确定单元，若人脸识别结果与车牌照片的识别结果的不匹配，则用于确定操作方式为向车牌照片的识别结果所对应的用户发送提示消息；所述提示消息中携带有驾驶员的人脸照片。

28.根据权利要求27所述的装置，其特征在于，若所述车牌照片是通过位于停车场出入口的摄像头拍摄到的，则所述装置还包括：

第一生成模块，用于生成提示消息；所述提示消息中携带有驾驶员的人脸照片；

发送模块，用于向识别结果所对应的用户发送提示消息，以使识别结果所对应的用户生成回复指令；

第二生成模块，用于若回复指令中携带有确认指令，则生成抬杆指令，以抬起停车杆。

29.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行时执行如权利要求1至14任一所述的车牌识别方法的步骤。

30.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至14任一所述的车牌识别方法的步骤。

Images