CN112883973A

CN112883973A - 车牌识别方法、装置、电子设备和计算机存储介质

Info

Publication number: CN112883973A
Application number: CN202110286997.1A
Authority: CN
Inventors: 蔡晓聪; 侯军; 伊帅
Original assignee: Beijing Sensetime Technology Development Co Ltd
Current assignee: Beijing Sensetime Technology Development Co Ltd
Priority date: 2021-03-17
Filing date: 2021-03-17
Publication date: 2021-06-01

Abstract

本公开实施例提出了一种车牌识别方法、装置、电子设备和计算机存储介质中，该方法包括：获取车牌的图像；对所述车牌的图像进行检测，得到至少一个车牌文本图；对所述至少一个车牌文本图进行文本识别，得到所述车牌号文本。

Description

车牌识别方法、装置、电子设备和计算机存储介质

技术领域

本公开涉及计算机视觉处理技术，尤其涉及一种车牌识别方法、装置、电子设备和计算机存储介质。

背景技术

在相关技术中，对于不同国家的车牌，其车牌号的构成形式有所差异，特别是在车牌号的布局、车牌的背景等方面也有着比较大的差异。一些国家的车牌上不仅记载了车牌号，还记载了除车牌号外的其它内容，针对这些国家的车牌，如何提高车牌识别的准确性，是亟待解决的技术问题。

发明内容

本公开实施例期望提供车牌识别的技术方案。

本公开实施例提供了一种车牌识别方法，所述方法包括：

获取车牌的图像；

对所述车牌的图像进行检测，得到至少一个车牌文本图；

对所述至少一个车牌文本图进行文本识别，得到所述车牌号文本。

在一些实施例中，所述对所述至少一个车牌文本图进行文本识别，得到所述车牌号文本，包括：

在所述车牌文本图为一个的情况下，对一个车牌文本图进行文本识别，得出所述车牌号文本。

在所述车牌文本图包括多个的情况下，对所述多个车牌文本图分别进行文本识别，得到所述多个车牌文本图对应的文本识别结果；

将所述多个车牌文本图对应的文本识别结果进行合并，得到所述车牌号文本。

在所述车牌文本图包括多个，以及多个车牌文本图处于同一行且相间隔设置的情况下，对处于同一行的所述多个车牌文本图分别进行文本识别，得到所述多个车牌文本图对应的文本识别结果；

在一些实施例中，所述获取车牌的图像，包括：

获取车牌的初始图像；

对所述车牌的初始图像进行角点检测，得出所述车牌的角点信息；

基于所述角点信息对所述车牌的初始图像进行矫正处理，得到所述车牌的图像。

在一些实施例中，所述对所述车牌的初始图像进行角点检测，包括基于角点检测模型对所述车牌的初始图像进行角点检测；其中，所述角点检测模型的训练方法包括以下步骤：

将车牌的第一样本图像集输入至所述角点检测模型；

利用所述角点检测模型对所述第一样本图像集进行识别，得到所述第一样本图像集中各样本图像的角点信息；

根据所述第一样本图像集中各样本图像的角点信息和所述第一样本图像集的标注的角点信息，调整所述角点检测模型的网络参数值。

在一些实施例中，所述神经网络的训练方法包括以下步骤：

将所述车牌的第二样本图像集输入至所述神经网络；

利用所述神经网络对所述第二样本图像集进行处理，得到所述第二样本图像集中各个样本图像的车牌文本图；

根据所述第二样本图像集中各个样本图像的车牌文本图和所述第二样本图像集的标注的车牌文本图，调整所述神经网络的网络参数值。

在一些实施例中，将所述车牌的第二样本图像集输入至所述神经网络之前，所述方法还包括：

基于获取到的第一类型车牌的图像以及第二类型车牌的图像，确定所述第二样本图像集，其中，所述第一类型车牌的图像中包含一个车牌号文本，所以第二类型车牌的图像中包括处于同一行且相间隔设置的多个车牌号文本；所述第一类型车牌的图像中包含所述第一类型车牌的图像的标注的车牌文本图，所述第二类型车牌的图像中包含所述第二类型车牌的图像的标注的车牌文本图。

本公开实施例还提供了一种车牌识别装置，所述装置包括：

获取模块，用于获取车牌的图像；

处理模块，用于对所述车牌的图像进行检测，得到至少一个车牌文本图；

识别模块，用于对所述至少一个车牌文本图进行文本识别，得到所述车牌号文本。

在一些实施例中，所述识别模块，用于对所述至少一个车牌文本图进行文本识别，得到所述车牌号文本，包括：

在一些实施例中，所述获取模块，用于获取车牌的图像，包括：

获取车牌的初始图像；

在一些实施例中，所述对所述车牌的初始图像进行角点检测是基于角点检测模型实现的，所述装置还包括第一训练模块，所述第一训练模块，用于：

将车牌的第一样本图像集输入至所述角点检测模型；

在一些实施例中，所述装置还包括第二训练模块，所述第二训练模块，用于：

将所述车牌的第二样本图像集输入至所述神经网络；

在一些实施例中，在将所述车牌的第二样本图像集输入至所述神经网络之前，所述获取模块，还用于：

本公开实施例还提供了一种电子设备，包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，

所述处理器用于运行所述计算机程序以执行上述任意一种车牌识别方法。

本公开实施例还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任意一种车牌识别方法。

本公开实施例提出的车牌识别方法、装置、电子设备和计算机存储介质中，获取车牌的图像；对所述车牌的图像进行检测，得到至少一个车牌文本图；对所述至少一个车牌文本图进行文本识别，得到所述车牌号文本。

可以看出，利用本公开实施例的技术方案，可以从车牌图像中准确地提取车牌号文本图，识别出车牌号文本，即，本公开实施例可以从车牌的整体图像中准确地提取出车牌号文本，即，本公开实施例可以提高车牌识别的准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。

图1为本公开实施例的车牌识别方法的流程图；

图2为本公开实施例的第一类型车牌的示意图；

图3为对图2进行检测得出的车牌号文本的检测框的示意图；

图4为本公开实施例的第二类型车牌的示意图；

图5为对图4进行检测得出的车牌号文本的检测框的示意图；

图6为本公开实施例的角点检测模型的训练方法的流程图；

图7为本公开实施例的神经网络训练方法的流程图；

图8为本公开实施例的车牌识别装置的组成结构示意图；

图9为本公开实施例的电子设备的结构示意图。

具体实施方式

以下结合附图及实施例，对本公开进行进一步详细说明。应当理解，此处所提供的实施例仅仅用以解释本公开，并不用于限定本公开。另外，以下所提供的实施例是用于实施本公开的部分实施例，而非提供实施本公开的全部实施例，在不冲突的情况下，本公开实施例记载的技术方案可以任意组合的方式实施。

需要说明的是，在本公开实施例中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的方法或者装置不仅包括所明确记载的要素，而且还包括没有明确列出的其他要素，或者是还包括为实施方法或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括该要素的方法或者装置中还存在另外的相关要素(例如方法中的步骤或者装置中的单元，例如的单元可以是部分电路、部分处理器、部分程序或软件等等)。

例如，本公开实施例提供的车牌识别方法包含了一系列的步骤，但是本公开实施例提供的车牌识别方法不限于所记载的步骤，同样地，本公开实施例提供的车牌识别装置包括了一系列模块，但是本公开实施例提供的装置不限于包括所明确记载的模块，还可以包括为获取相关信息、或基于信息进行处理时所需要设置的模块。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

本公开实施例可以应用于终端和/或服务器组成的计算机系统中，并可以与众多其它通用或专用计算系统环境或配置一起操作。这里，终端可以是瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统，等等，服务器可以是服务器计算机系统小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

终端、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

在相关技术中，车牌识别是指对摄像机拍摄到的车牌图像自动识别的技术，在对车牌图像识别后，可以将图像识别得到的数据信号传输给数据中心；车牌识别技术可以应用于停车场、称重管理、汽车4S店、高速公路收费口、车辆检测站等场景，示例性地，可以采用车牌识别一体机实现车牌识别，车牌识别一体机可以实现数据采集、车辆管理等功能。

近年来，基于深度学习方法的车牌识别方案陆续出现，逐渐取代了传统的以图像处理为主的识别方式，可以提供比较高的识别精确率。对于中国车牌，目前有许多相关的解决方案，但这些解决方案比较难以迁移到其它国家的车牌识别场景。

一些国家的车牌上不仅记载了车牌号，还记载了除车牌号外的其它内容，针对这些国家的车牌，需要设计特定的车牌识别方案，如何提高车牌识别的准确性，是亟待解决的技术问题；例如，沙特车牌为中东地区的一种典型车牌类型，对于沙特车牌，不仅记载了有阿拉伯数字和英文字母组成的车牌号，还记载了其它内容，沙特车牌的样式与中国车牌差异比较大；在相关技术中，针对沙特车牌的识别方案的识别精确率较低。

针对上述技术问题，在本公开的一些实施例中，提出了一种车牌识别方法，本公开实施例可以应用于智能视频分析、智慧交通、交通监控等场景，示例性地，交通监控场景可以是停车场场景。

图1为本公开实施例的车牌识别方法的流程图，如图1所示，该流程可以包括：

步骤101：获取车牌的图像。

本公开实施例中，车牌的图像可以包括第一区域的图像，第一区域的图像表示车牌号文本所在区域的图像。

本公开实施例中，车牌号文本表示车牌号的文本信息，第一区域表示车牌号文本所在区域；在一些实施例中，上述车牌的图像不仅包括第一区域的图像，还可以包括第二区域的图像，第二区域的图像为车牌号文本的背景图，示例性地，第二区域表示除车牌号外的其它内容所在的区域。

例如，对于图2所示的沙特车牌图像，数字“7653”以及字母“TNJ”表示车牌号，图2中除数字“7653”以及字母“TNJ”的区域还显示有其它内容，即，图2中除数字“7653”以及字母“TNJ”的区域为第二区域；对于图2所示的车牌图像，需要识别数字“7653”以及字母“TNJ”。

在一些实施例中，可以首先通过图像采集装置获取车辆图像，通过对车辆图像进行车牌检测，得到上述车牌图像。示例性地，上述图像采集装置可以是摄像机、抓拍机等设备。

在一些实施例中，可以利用图像采集装置采集图像，然后对采集的图像进行车辆目标检测，得出车辆图像；或者，可以利用图像采集装置采集视频，然后针对视频中的图像进行车辆目标检测，得出车辆图像。

示例性地，可以预先训练车辆检测模型，车辆检测模型用于从图像中检测车辆目标；在得到训练完成的车辆检测模型后，可以将采集的图像或采集的视频中的图像输入至车辆检测模型，利用车辆检测模型对采集的图像或采集的视频中的图像进行处理，得到图像对应的车辆检测框或裁剪出的整体车辆图像，车辆检测框内的图像即为车辆图像。

本公开实施例并不对车辆检测模型的网络结构进行限定，车辆检测模型的网络结构可以是两阶段检测网络结构，例如，车辆检测模型的网络结构为快速区域卷积神经网络(Faster-Regions with Convolutional Neural Network，Faster RCNN)等；车辆检测模型的网络结构也可以是单阶段检测网络结构，例如，车辆检测模型的网络结构为RetinaNet等。

示例性地，在车辆检测模型为基于深度学习的目标检测模型时，车辆检测模型的车辆检测任务可以分为以下两个子任务：目标分类和目标定位。目标分类任务负责判断输入图像或所选择图像区域(Proposals)中是否有车辆出现，输出一系列带分数的标签表明车辆出现在图像或所选择图像区域中的可能性。目标定位任务负责确定图像或所选择图像区域中车辆的位置和范围，输出物体的包围盒、或物体中心、或物体的闭合边界等，通常使用方形检测框来表示车辆的位置信息。

在一些实施例中，可以预先训练车牌检测模型，车牌检测模型用于从车辆图像中检测出车牌图像；在得到训练完成的车牌检测模型后，可以将车辆图像输入至车牌检测模型，利用车牌检测模型对车辆图像进行检测，得到车牌检测框或裁剪出的车牌图像，车牌检测框内的图像即为车牌图像。

本公开实施例并不对车牌检测模型的网络结构进行限定，车牌检测模型的网络结构可以与上述车辆检测模型的网络结构相同，也可以与上述车辆检测模型的网络结构不同。

示例性地，在车牌检测模型为基于深度学习的目标检测模型时，车牌检测模型的车牌检测任务可以分为以下两个子任务：目标分类和目标定位。目标分类任务负责判断车辆图像中是否有车牌出现，输出一系列带分数的标签表明车牌出现在图像或所选择图像区域中的可能性。目标定位任务负责确定车辆图像中车牌的位置和范围，输出物体的包围盒、或物体中心、或物体的闭合边界等，通常使用方形检测框来表示车牌的位置信息。

步骤102：对所述车牌的图像进行检测，得到至少一个车牌文本图。

本公开实施例中，可以将将车牌的图像输入至神经网络，基于神经网络对车牌的图像的处理，得到至少一个车牌文本图。

本公开实施例并不对上述神经网络的网络结构进行限定，示例性地，上述神经网络的网络结构可以是CTPN(Connectionist Text Proposal Network)、EAST (Efficientand Accurate Scene Text)等。

在一些实施例中，至少一个车牌文本图中的每个车牌文本图可以是一个检测框内的图像，检测框中的内容为车牌的文本信息。

在一些实施例中，车牌文本图为一个，一个车牌文本图对应一个检测框，例如，对于图2所示的沙特车牌图像，利用神经网络进行处理后，可以得出图 3所示的第一检测框301，图3中第一检测框301内的图像为车牌文本图，车牌文本图中的内容包含数字“7653”以及字母“TNJ”。

在一些实施例中，车牌文本图包括多个，每个车牌文本图对应一个检测框，例如，对于图4所示的车牌图像，利用神经网络进行处理后，可以得出图5所示的两个检测框，图5中，第二检测框501和第三检测框502内的图像为两个车牌文本图，第二检测框501的内容为数字“7356”，第三检测框502的内容为字母“TNJ”。

在一些实施例中，车牌文本图包括多个，多个车牌文本图处于同一行且相间隔设置，每个车牌文本图对应一个检测框，例如，在图5中，第二检测框501 和第三检测框502内的图像表示处于同一行的两个车牌文本图，第二检测框501 和第三检测框502相间隔设置，即第二检测框501和第三检测框502中间设置有第二区域的图像503。可见，本公开实施例可以识别处于同一行不同位置的车牌号文本图。

步骤103：对至少一个车牌文本图进行文本识别，得到车牌号文本。

本公开的一些实施例中，可以利用光学字符识别(Optical CharacterRecognition，OCR)方法对至少一个车牌文本图进行文本识别，OCR是指利用字符识别方法将形状翻译成计算机文字的过程；即，对文本资料的图像文件进行分析处理，获取文字及版面信息的过程。

本公开的一些实施例中，也可以利用预先训练的文本识别模型对至少一个车牌文本图进行文本识别，示例性地，文本识别模型可以是区域卷积神经网络(Regions withConvolutional Neural Network，RCNN)等。

在实际应用中，步骤101至步骤103可以利用电子设备中的处理器实现，上述处理器可以为特定用途集成电路(Application Specific Integrated Circuit， ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置 (Digital SignalProcessing Device，DSPD)、可编程逻辑装置(Programmable Logic Device，PLD)、现场可编程门阵列(Field－Programmable Gate Array， FPGA)、中央处理器(CentralProcessing Unit，CPU)、控制器、微控制器、微处理器中的至少一种。

可以看出，利用本公开实施例的技术方案，可以从车牌图像中准确地提取车牌号文本图，识别出车牌号文本，即，本公开实施例可以从车牌的整体图像中准确地提取出车牌号文本，即，本公开实施例可以提高车牌识别的准确性；进一步地，如果车牌上不仅记载了车牌号，还记载了除车牌号外的其它内容，利用本公开实施例的技术方案，可以针对车牌图像提取车牌号文本图，识别出车牌号文本。

本公开的一些实施例中，在车牌文本图为一个的情况下，可以对一个车牌文本图进行文本识别，得出车牌号文本；例如，参照图3，可以对第一检测框 301表示的车牌文本图进行文本识别，得出车牌号文本“7653TNJ”。

本公开的一些实施例中，在车牌文本图包括多个的情况下，可以对多个车牌文本图分别进行文本识别，得到多个车牌文本图对应的文本识别结果，然后，将多个车牌文本图对应的文本识别结果进行合并，得到车牌号文本。

本公开的一些实施例中，在车牌文本图包括多个，以及多个车牌文本图处于同一行且相间隔设置的情况下，可以对处于同一行的多个车牌文本图分别进行文本识别，得到多个车牌文本图对应的文本识别结果；例如，参照图5，可以对第二检测框501和第三检测框502所表示的两个车牌文本图处于同一行，且这两个车牌文本图相间隔设置，此时，可以对第二检测框501和第三检测框 502所表示的两个车牌文本图进行文本识别，得出数字“7356”和字母“TNJ”，然后，可以将数字“7356”和字母“TNJ”进行合并，得出车牌号文本“7356TNJ”。

在相关技术中，车牌识别方案仅仅适应于天桥监控场景，在另一些场景如停车场场景、移动交通场景中，车牌图像可能是倾斜的图像或者是在侧视角拍摄的图像，在车牌图像出现倾斜时，可能会导致车牌识别的准确性降低，即，相关技术中的车牌识别方案适用的场景较为单一，无法在多种场景中准确地识别车牌。

针对相关技术中车牌识别方案适用的场景较为单一的问题，在本公开的一些实施例中，可以获取车牌的初始图像；然后，对车牌的初始图像进行角点检测，得出车牌的角点信息；基于角点信息对车牌的初始图像进行矫正处理，得到所述车牌的图像。

在一些实施例中，可以通过对车辆图像对车牌检测，得到车牌的初始图像。

在一些实施例中，角点信息可以是车牌的四个角点的位置信息，车牌的四个角点可以包括左上角点、右上角点、左下角点和右下角点。

在一些实施例中，在得出车牌的角点信息后，可以基于车牌的角点信息，通过透视变换等方法对车牌的初始图像进行矫正，得到矫正后的车牌的图像；这里，矫正后的车牌的图像可以是水平不倾斜的图像。

这里，对车牌的初始图像进行矫正的关键在于根据图像特征检测出图像倾斜方向和倾斜角度，在得出图像倾斜方向和倾斜角度后，可以根据图像倾斜方向和倾斜角度，对车牌的初始图像的各个像素点的位置进行变换，从而得到正后的车牌的图像。在一些实施例中，检测图像倾斜方向和倾斜角度的方法可以包括：基于投影的方法、基于Hough变换的方法等。

可以看出，本公开实施例可以基于车牌的角点信息，对车牌的初始图像进行矫正处理，有利于根据矫正后的车牌的图像，得出准确的车牌号文本；本公开实施例的使用场景较为广泛，可以适用于停车场场景、天桥监控场景、移动交通等场景。

本公开的一些实施例中可以基于角点检测模型对车牌的初始图像进行角点检测；示例性地，可以预先训练角点检测模型，角点检测模型用于从车牌图像中检测出角点信息。

本公开实施例中并不对角点检测模型的网络结构进行限定，角点检测模型的网络结构可以是高分辨率网络(High-Resoultion Net，HRNet)或残差网络 (ResNet)+特征金字塔网络(Feature Pyramid Networks，FPN)。

示例性地，角点检测模型可以是基于灰度图的角点检测模型、基于二值图像的角点检测模型、基于轮廓曲线的角点检测模型；其中，基于灰度图的角点检测模型，可以分析车牌的初始图像的灰度值或灰度曲率，从而确定车牌的初始图像中的角点；基于二值图像的角点检测模型，可以将车牌的初始图像转换为二值图像，分析二值图像的形状特征，从而确定车牌的初始图像中的角点；基于轮廓曲线的角点检测模型，可以分析车牌的初始图像的轮廓曲线的各个像素点的曲率，从而确定车牌的初始图像中的角点。

下面通过附图示例性地说明上述角点检测模型的训练过程。

图6为本公开实施例的角点检测模型的训练方法的流程图，如图6所示，该流程可以包括：

步骤601：获取车牌的第一样本图像集。

本公开实施例中，第一样本图像集包括多个样本图像，第一样本图像集中的样本图像可以包括倾斜的车牌的图像；在一些实施例中，可以从公共数据集中获取第一样本图像集，也可以通过图像采集装置采集得到第一样本图像集。

步骤602：将车牌的第一样本图像集输入至角点检测模型；利用角点检测模型对第一样本图像集进行识别，得到第一样本图像集中各样本图像的角点信息。

步骤603：根据第一样本图像集中各样本图像的角点信息和所述第一样本图像集的标注的角点信息，调整所述角点检测模型的网络参数值。

本公开实施例中，可以根据第一样本图像集中各样本图像的角点信息和第一样本图像集的标注的角点信息确定角点检测模型的损失，然后根据角点检测模型的损失，调整角点检测模型的网络参数值。

步骤604：判断网络参数值调整后的角度检测模型是否满足第一训练结束条件，如果否，则重新执行步骤601至步骤604；如果是，则执行步骤605。

本公开实施例中，第一训练结束条件可以是训练角点检测模型时的迭代次数达到第一设定次数，或者，网络参数值调整后的角点检测模型的损失小于第一设定损失；这里，第一设定次数和第一设定损失可以是预先设置的。

步骤605：将网络参数值调整后的角度检测模型作为训练完成的角点检测模型。

在实际应用中，步骤601至步骤605可以利用电子设备中的处理器实现，上述处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。

可以看出，在本公开实施例中，通过预先训练角点检测模型，可以使训练完成的角点检测模型能够较为准确地检测车牌的角点信息，进而，有利于对车牌的初始图像进行矫正。

本公开的一些实施例中，上述神经网络是基于车牌的第二样本图像集以及第二样本图像集的标注的车牌文本图训练得出的；第二样本图像集的标注的车牌文本图为第二样本图像集中各个样本图像的标注的车牌文本图。

本公开实施例中，第二样本图像集可以包括多个样本图像，在一些实施例中，针对第二样本图像集中的每个样本图像，均可以预先标注出真实的车牌号文本行所在区域，即得到样本图像的标注的车牌文本图。

下面通过附图示例性地说明上述神经网络的训练过程。

图7为本公开实施例的神经网络训练方法的流程图，如图7所示，该流程可以包括：

步骤701：获取车牌的第二样本图像集。

本公开实施例中，可以从公共数据集中获取第二样本图像集，也可以通过图像采集得到第二样本图像集。

步骤702：将车牌的第二样本图像集输入至神经网络；利用神经网络对第二样本图像集进行处理，得到第二样本图像集中各个样本图像的车牌文本图。

步骤703：根据第二样本图像集中各个样本图像的车牌文本图和第二样本图像集的标注的车牌文本图，调整所述神经网络的网络参数值。

本公开实施例中，可以根据第二样本图像集中各个样本图像的车牌文本图和第二样本图像集的标注的车牌文本图确定神经网络的损失，然后根据神经网络的损失，调整神经网络的网络参数值。

步骤704：判断网络参数值调整后的神经网络是否满足第二训练结束条件，如果否，则重新执行步骤701至步骤704；如果是，则执行步骤705。

本公开实施例中，第二训练结束条件可以是训练神经网络时的迭代次数达到第二设定次数，或者，网络参数值调整后的神经网络的损失小于第二设定损失；这里，第二设定次数和第二设定损失可以是预先设置的。

步骤705：将网络参数值调整后的神经网络作为训练完成的神经网络。

在实际应用中，步骤701至步骤705可以利用电子设备中的处理器实现，上述处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。

可以看出，在本公开实施例中，通过预先训练神经网络，可以使训练完成的神经网络能够较为准确地识别车牌号文本所在区域，进而，有利于准确地识别出车牌号文本。

在一些实施例中，在将所述车牌的第二样本图像集输入至所述神经网络之前，还可以基于获取到的第一类型车牌的图像以及第二类型车牌的图像，确定所述第二样本图像集，其中，所述第一类型车牌的图像中包含一个车牌号文本，所以第二类型车牌的图像中包括处于同一行且相间隔设置的多个车牌号文本；所述第一类型车牌的图像中包含所述第一类型车牌的图像的标注的车牌文本图，所述第二类型车牌的图像中包含所述第二类型车牌的图像的标注的车牌文本图。

本公开实施例中，第一类型车牌的车牌号文本是一个整体呈现在一个区域的文本，第二类型的车牌号文本包括多个部分，第二类型的车牌号文本的各个部分呈现在不同区域，第二类型的车牌号文本的各个部分之间有其它内容。

示例性地，第一类型车牌的图像的标注的车牌文本图可以用一个检测框表示，第二类型车牌的图像的标注的车牌文本图可以用多个检测框表示。

这里，上述其它内容表示非车牌号文本的内容，示例性地，车牌的车牌号分为第一部分和第二部分，对于第一类型的车牌，第一部分和第二部分之间并没有其它内容，因此，可以针对第一部分和第二部分标注一个的检测框；对于第二类型的车牌，第一部分和第二部分之间有其它内容，因此，可以针对第一部分和第二部分分别标注一个检测框。

可以理解地，由于第二样本图像集包括第一类型车牌的图像以及第二类型车牌的图像，因而，在输入至神经网络的图像为第一类型车牌的图像时，可以利用神经网络输出一个表示一个整体区域的车牌文本图；在输入至神经网络的图像为第二类型车牌的图像时，可以利用神经网络输出多个车牌文本图；进而，针对第一类型车牌的图像以及第二类型车牌的图像，采用本公开实施例的车牌识别方法，均可以得出对应的车牌号文本所在区域，在一定程度上扩展了本公开实施例的应用范围。

示例性地，图2为第一类型车牌的图像，图2中第一部分为数字“7653”、第二部分为字母“TNJ”，对图2通过神经网络进行处理，可以得出图3所示的第一检测框301。

示例性地，图4为第二类型车牌的图像，图4中第一部分为数字“7356”、第二部分为字母“TNJ”，对图4通过神经网络进行处理，可以得出图5所示的检测结果，图5中共有两个检测框，第二检测框501(对应第一部分)中的内容为数字“7356”，第三检测框502(对应第二部分)中的内容为字母“TNJ”。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

在前述实施例提出的车牌识别方法的基础上，本公开实施例提出了一种车牌识别装置。

图8为本公开实施例的车牌识别装置的组成结构示意图，如图8所示，该装置可以包括获取模块800、处理模块801和识别模块802，其中，

获取模块800，用于获取车牌的图像；

处理模块801，用于对所述车牌的图像进行检测，得到至少一个车牌文本图；

识别模块802，用于对所述至少一个车牌文本图进行文本识别，得到所述车牌号文本。

在一些实施例中，所述识别模块802，用于对所述至少一个车牌文本图进行文本识别，得到所述车牌号文本，包括：

在一些实施例中，所述获取模块800，用于获取车牌的图像，包括：

获取车牌的初始图像；

将车牌的第一样本图像集输入至所述角点检测模型；

将所述车牌的第二样本图像集输入至所述神经网络；

在一些实施例中，在将所述车牌的第二样本图像集输入至所述神经网络之前，所述获取模块800，还用于：

实际应用中，获取模块800、处理模块801、识别模块802、第一训练模块和第二训练模块均可以利用电子设备中的处理器实现，上述处理器可以为ASIC、 DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。

另外，在本实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

具体来讲，本实施例中的一种车牌识别方法对应的计算机程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与一种车牌识别方法对应的计算机程序指令被一电子设备读取或被执行时，实现前述实施例的任意一种车牌识别方法。

基于前述实施例相同的技术构思，参见图9，其示出了本公开实施例提供的一种电子设备9，可以包括：存储器901和处理器902；其中，

所述存储器901，用于存储计算机程序和数据；

所述处理器902，用于执行所述存储器中存储的计算机程序，以实现前述实施例的任意一种车牌识别方法。

在实际应用中，上述存储器901可以是易失性存储器(volatile memory)，例如RAM；或者非易失性存储器(non-volatile memory)，例如ROM，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，并向处理器902提供指令和数据。

上述处理器902可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本公开实施例不作具体限定。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述

本申请所提供的各方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的各产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的各方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims

1.一种车牌识别方法，其特征在于，所述方法包括：

获取车牌的图像；

对所述车牌的图像进行检测，得到至少一个车牌文本图；

2.根据权利要求1所述的方法，其特征在于，所述对所述至少一个车牌文本图进行文本识别，得到所述车牌号文本，包括：

3.根据权利要求1所述的方法，其特征在于，所述对所述至少一个车牌文本图进行文本识别，得到所述车牌号文本，包括：

4.根据权利要求1所述的方法，其特征在于，所述对所述至少一个车牌文本图进行文本识别，得到所述车牌号文本，包括：

5.根据权利要求1-4任一项所述的方法，其特征在于，所述获取车牌的图像，包括：

获取车牌的初始图像；

6.根据权利要求5所述的方法，其特征在于，所述对所述车牌的初始图像进行角点检测，包括基于角点检测模型对所述车牌的初始图像进行角点检测；其中，所述角点检测模型的训练方法包括以下步骤：

将车牌的第一样本图像集输入至所述角点检测模型；

7.根据权利要求1-6任一项所述的方法，其特征在于，所述神经网络的训练方法包括以下步骤：

将所述车牌的第二样本图像集输入至所述神经网络；

8.根据权利要求7所述的方法，其特征在于，将所述车牌的第二样本图像集输入至所述神经网络之前，还包括：

9.一种车牌识别装置，其特征在于，所述装置包括：

获取模块，用于获取车牌的图像；

10.一种电子设备，其特征在于，包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，

所述处理器用于运行所述计算机程序以执行权利要求1至8任一项所述的方法。

11.一种计算机存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至8任一项所述的方法。