CN111144390B

CN111144390B - 一种车牌识别中漏检字符查找方法、系统及电子设备

Info

Publication number: CN111144390B
Application number: CN201911321524.XA
Authority: CN
Inventors: 孙缵; 陈毅成; 张明宇
Original assignee: Wuhan Ruinajie Semiconductor Co ltd
Current assignee: Wuhan Ruinajie Semiconductor Co ltd
Priority date: 2019-12-20
Filing date: 2019-12-20
Publication date: 2023-10-27
Anticipated expiration: 2039-12-20
Also published as: CN111144390A

Abstract

本发明涉及图像识别处理技术领域，公开了一种车牌识别中漏检字符查找方法、系统及电子设备，该查找方法首先获取车牌的字符信息；根据所获取的字符信息确定字符个数，并确定字符矩形的计算范围；根据所确定的计算范围，计算其中所有字符矩形的平均高度和平均宽度；将所有字符矩形的中心点进行直线拟合，并计算出直线系数；根据所得到的平均高度、平均宽度和直线系数，对漏检字符进行查找。本发明能够快速的查找出漏检的字符，还能获得字符的准确定位，提高了车牌识别的准确度。

Description

一种车牌识别中漏检字符查找方法、系统及电子设备

技术领域

本发明涉及图像识别处理技术领域，更具体的说，特别涉及一种车牌识别中漏检字符查找方法、系统及电子设备。

背景技术

在交通监控和停车收费等应用领域，车牌号码的识别是一个必不可少的重要环节。车牌号码识别主要包含图像预处理、字符定位、字符识别和车牌识别等4个环节。其中，图像预处理包括图像的灰度化与二值化。字符定位包括连通域查找、矩形大小过滤和矩形聚类等三个过程。字符识别包括字符图像截取、字符识别和字符过滤等三个过程。车牌识别包括车牌颜色判断、漏检字符查找和车牌号码判断等三个过程。

车牌识别首先需要对车牌的颜色进行判断，这是因为车牌的颜色不同，字符的个数可能也不同，例如蓝/黄色车牌包含7个字符，而绿色新能源车牌则包含8个字符。在判断了车牌颜色后，需要对字符定位环节中漏检的车牌字符进行补查找，包括中间字符的补查找、右侧字符的补查找和左侧字符的补查找。当所有字符补查找完毕后，还需要对最终的字符类进行检查，判断它们是否能够组成一个完整的车牌号码。

由于存在车牌污迹、部分字符与车牌边框相连、字符与铆钉相连等客观原因，经常会出现车牌字符无法通过查找连通域的方式找到的情况，因此需要对这些漏检的字符进行二次查找。其次，由于大部分汉字的笔画都没有连成一个整体，如“川”、“沪”、“鲁”等，因此在查找连通域的过程中也无法准确定位到，这也需要进行二次查找以获得准确定位。另外，为了使流程更加简洁规范，避免出现过多的选择判断，无论连通域查找到的字符中是否包含有汉字字符，都予以剔除，并重新对汉字进行查找定位和识别。因此现有的查找方法都存在漏检字符和字符定位不准的问题。

发明内容

本发明的目的在于针对现有技术存在的技术问题，提供一种车牌识别中漏检字符查找方法、系统及电子设备，能够快速的查找出漏检的字符，还能获得字符的准确定位，提高了车牌识别的准确度。

为了解决以上提出的问题，本发明采用的技术方案为：

一种车牌识别中漏检字符查找方法，该查找方法的具体步骤如下：

步骤a：获取车牌的字符信息；

步骤b：根据所获取的字符信息确定字符个数，并确定字符矩形的计算范围；

步骤c：根据所确定的计算范围，计算其中所有字符矩形的平均高度和平均宽度；

步骤d：将所有字符矩形的中心点进行直线拟合，并计算出直线系数；

步骤e：根据所得到的平均高度、平均宽度和直线系数，对漏检字符进行查找。

进一步地，所述步骤c中包括如下：

步骤S31：判断所有字符是否为“1”，若均为“1”，则执行步骤S32；若不为“1”，则执行步骤S33；

步骤S32：根据车牌颜色确定平均宽度；若车牌颜色为绿色，则取所有字符平均宽度的2倍作为待找字符的平均宽度；若为蓝色或黄色，则取所有字符平均宽度的4倍作为待找字符的平均宽度；

步骤S33：对所有字符矩形的高度求平均值作为待找字符的平均高度，并对宽度求平均值作为待找字符的平均宽度；

步骤S34：将所得到的平均高度保存在变量aver_height中，将平均宽度保存在变量aver_width中。

进一步地，所述步骤d中具体为：

设第i个字符矩形的中心点坐标为其中x代表水平方向，y代表垂直方向；设直线的方程为y＝a×x+b，则计算出系数a和b的值，如公式(1)所示：

其中，N表示字符矩形的总个数。

进一步地，所述步骤e中，具体查找过程如下：

步骤S51：设定滑动窗口的宽度为aver_width，高度为aver_height，滑动窗口中心点所在的直线为y＝a×x+b；

步骤S52：计算滑动窗口中第一个与最后一个的横向和纵向距离；

步骤S53：根据所得到的横向和纵向距离，计算剩下的N-2个滑动窗口的中心点坐标：

步骤S54：根据所确定每个滑动窗口的中心点坐标，将其中的字符图像依次截取出来并进行字符图像识别；

步骤S55：判断是否存在候选字符；若不存在，则表示未找到新的字符；若存在，则执行下一步；

步骤S56：统计所有候选字符出现的次数并选择其中出现次数最多的字符作为漏检字符，将其添加到现有字符列表中，完成漏检字符查找。

进一步地，所述步骤S52和步骤S53中具体包括如下：

设定第一个滑动窗口的中心点坐标以及最后一个滑动窗口的中心点坐标/>通过公式(2)得到横向距离和纵向距离如下：

根据公式(2)所得到的横向距离和纵向距离，通过公式(3)得到剩下的N-2个滑动窗口的中心点坐标，即：

一种车牌识别中漏检字符查找系统，该查找系统包括：

车牌字符获取模块：用于获取车牌的字符信息；

字符个数确定模块：用于根据所获取的字符信息确定字符个数，并确定字符矩形的计算范围；

字符矩形计算模块：根据所确定的计算范围，计算其中所有字符矩形的平均高度和平均宽度；

直线系数计算模块：用于将所有字符矩形的中心点进行直线拟合，并计算出直线系数的值；

漏检字符查找模块：根据所得的到平均高度、平均宽度以及直线系数，对漏检字符进行查找。

进一步地，所述字符矩形计算模块包括如下：

字符排除模块：用于排除字符“1”，当所有字符为“1”时，根据车牌颜色进行宽度的确定；若车牌颜色为绿色，则取所有字符平均宽度的2倍作为待找字符的平均宽度；若为蓝色或黄色，则取其4倍作为待找字符的平均宽度；

平均值计算模块：用于对所有字符矩形的高度和宽度分别求平均值并作为待找字符的平均高度和平均宽度；

变量保存模块：用于将所得到的平均高度和平均宽度分别保存在变量aver_height和变量aver_width中。

进一步地，所述直线系数计算模块中计算直线系数a和b的过程如下：

其中，N表示字符矩形的总个数。

进一步地，所述漏检字符查找模块包括如下：

滑动窗口设定模块：用于设定滑动窗口的宽度为aver_width，高度为aver_height，滑动窗口中心点所在的直线为y＝a×x+b。

横向和纵向距离计算模块：用于计算滑动窗口第一个与最后一个的横向距离和纵向距离；具体为：设定第一个滑动窗口的中心点坐标以及最后一个中心点坐标则两者的横向距离和纵向距离如公式(2)所示：

中心点坐标计算模块：用于计算剩下的N-2个滑动窗口的中心点坐标，如公式(3)所示：

字符图形识别模块：用于根据所确定每个滑动窗口的中心点坐标，将每个滑动窗口中的字符图像依次截取出来，并进行字符图像识别；

候选字符确定模块：用于根据字符图像识别结果确定候选字符；

漏检字符确定模块：用于统计所有候选字符出现的次数并从其中选择出现次数最多的字符作为漏检字符，将其添加到现有字符列表中，完成漏检字符查找。

一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述车牌识别中漏检字符查找方法的以下操作：

步骤a：获取车牌的字符信息；

与现有技术相比，本发明的有益效果在于：

本发明提供的车牌识别中漏检字符查找方法、系统及电子设备，在漏检字符查找过程中，通过设定滑动窗口并使滑动窗口以等距步长在字符图像上滑动，对每一个滑动窗口进行字符图像识别，根据字符图像识别结果找到漏检字符，不仅能够快速的查找出漏检的字符，还能获得字符的准确定位，从而提高了车牌识别的准确度。

附图说明

图1为本发明车牌识别中漏检字符查找方法的流程图。

图2为本发明计算字符矩形的平均高度和平均宽度的流程图。

图3为本发明直线拟合的示意图。

图4为本发明漏检字符查找的流程图。

图5为本发明滑动窗口查找的示意图。

图6为本发明车牌识别中漏检字符查找系统的原理图。

图7为本发明字符矩形计算模块的原理图。

图8为本发明中漏检字符查找模块的原理图。

图9为本发明车牌识别中漏检字符查找方法的硬件设备结构示意图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

参阅图1所示，本发明还提供一种车牌识别中漏检字符查找方法，该查找方法的具体步骤如下：

步骤S1：获取车牌的字符信息。

步骤S2：根据所获取的字符信息确定字符个数，并确定字符矩形计算的范围。

本步骤中，判断已找到的字符个数是否大于4，若大于4，则不考虑车牌左右两侧的字符，只对中间剩下的字符矩形进行计算；若不大于4，则对所有字符矩形进行计算。

步骤S3：根据所确定字符矩形的计算范围，计算其中所有字符矩形的平均高度和平均宽度，具体包括(参阅图2所示)：

步骤S31：判断所有字符是否为“1”，若均为“1”，则根据车牌颜色确定平均宽度，执行步骤S32；若不为“1”，则执行步骤S33。

步骤S32：若车牌颜色为绿色，则取所有字符平均宽度的2倍作为待找字符的平均宽度；若车牌颜色为蓝色或黄色，则取所有字符平均宽度的4倍作为待找字符的平均宽度。

步骤S33：采用取平均值的方法，对所有字符矩形的高度求平均值作为待找字符的平均高度，并对所有字符矩形的宽度求平均值作为待找字符的平均宽度。

上述中，由于字符“1”的宽度比其他字符的宽度小，因此求宽度的平均值时，需要排除所有检测结果为“1”的字符。

步骤S34：将所得到的平均高度保存在变量aver_height中，将所得到的平均宽度保存在变量aver_width中。

步骤S4：将所有字符矩形中心点，采用最小二乘法进行直线拟合(参阅图3中的直线A)，并计算出直线系数a和b的值，具体包括如下：

设第i个字符矩形的中心点坐标为其中x代表水平方向，y代表垂直方向。设直线的方程为y＝a×x+b，则计算出系数a和b的值，如公式(1)所示：

其中，N表示字符矩形(即滑动窗口)的总个数。

步骤S5：根据所得到的平均高度aver_height、平均宽度aver_width以及直线系数a和b，对漏检字符进行查找。所述漏检字符的查找分三步：中间字符查找、右侧字符查找和左侧字符查找，具体查找过程如下(参阅图4所示)：

步骤S51：设定滑动窗口的宽度为aver_width，高度为aver_height，滑动窗口中心点所在的直线为y＝a×x+b。其中，滑动窗口为字符矩形。

步骤S52：计算第一个滑动窗口与最后一个滑动窗口的横向距离和纵向距离。

本步骤中，设定第一个滑动窗口的中心点坐标以及最后一个滑动窗口的中心点坐标/>则第一个滑动窗口与最后一个滑动窗口的横向距离和纵向距离，如公式(2)所示：

步骤S53：根据公式(2)所得到的横向距离和纵向距离，计算剩下的N-2个滑动窗口的中心点坐标。

本步骤中，所述剩下的N-2个滑动窗口的中心点坐标如公式(3)所示：

步骤S54：根据所确定每个滑动窗口的中心点坐标，将每个滑动窗口中的字符图像依次截取出来，并利用图像识别算法对每个字符图像进行识别，确定候选字符。

步骤S55：在识别完所有的字符图形后，判断是否存在候选字符；若不存在，则认为没有找到新的字符；若存在候选字符，则执行下一步。

本步骤中，若识别的结果是一个有效的车牌字符，并且识别概率大于设定的阈值(比如0.93)，则将其作为候选字符。

步骤S56：统计所有候选字符中各个字符出现的次数并从候选字符中选择识别概率最大(次数最多)的字符作为漏检字符，将其添加到现有字符列表中，完成漏检字符查找。

本实施例中，通过制作候选字符统计表，来统计所有候选字符中各个字符出现的次数。所述候选字符统计表包括：字符、次数和x坐标之和，其中“次数”表示候选字符中该字符出现的次数，“x坐标之和”表示候选字符中所有该字符的中心点x坐标之和。通过候选字符统计表确定出现次数最多的字符后，将该字符的“x坐标之和”除以“次数”即是该字符的中心点x坐标值，再依据直线方程y＝a×x+b即可求出字符中心点的y坐标，即完成漏检字符的查找。

下面结合实例对上面漏检字符查找方法进行说明(参阅图5所示)。假设字符“鄂”和字符“M”在连通域查找过程中被找到，而字符“A”则没有被找到，因此需要对这个漏检的字符“A”进行补漏查找。

首先，根据字符“鄂”和字符“M”的位置分别确定第一个滑动窗口的位置(图中虚线框a)和最后一个滑动窗口的位置(图中虚线框e)。假设滑动窗口的总个数为5，则根据第一个滑动窗口的位置和最后一个滑动窗口的位置，可以确定其他3个滑动窗口的位置，分别如图中的虚线框b、虚线框c及虚线框d所示。

确定了5个滑动窗口的位置后，依次将这些滑动窗口中的字符图像截取出来，并进行字符图像识别。若识别的结果是一个有效的车牌字符，并且识别概率大于0.93，则将其作为候选字符。

识别完5个截取出的字符图像后，查看是否存在候选字符，若没有，则认为没有找到字符；若存在候选字符，则统计所有候选字符中各个字符出现的次数，取次数最多的那个字符作为新的字符，并添加到现有字符列表中。

统计候选字符出现次数的流程如下：

1.制定一个用于统计的表格，如下表1所示。其中，“次数”表示候选字符中该字符出现的次数，“x坐标之和”表示候选字符中所有该字符的中心点x坐标之和。

表1候选字符统计表

字符	次数	X坐标之和
			0	0	0
1	0	0
			…	…	…
云	0	0
			浙	0	0

2.遍历候选字符，将每个候选字符添加到候选字符统计表中。

3.遍历候选字符统计表，找到出现次数最多的字符，该字符即是要找的字符，将字符的“x坐标之和”除以“次数”即是该字符的中心点x坐标值，再依据直线方程y＝a×x+b即可求出字符中心点的y坐标。

本实例中，只有黄色虚线框中的图像被识别为字符，因此将该字符“A”作为新的字符添加到字符“鄂”和字符“M”之间。

参阅图6所示，本发明还提供一种车牌识别中漏检字符查找系统，该查找系统包括：

车牌字符获取模块：用于获取车牌的字符信息。

字符个数确定模块：用于根据所获取的字符信息确定字符个数，并确定字符矩形的计算范围。

字符矩形计算模块：根据所确定的计算范围，计算其中所有字符矩形的平均高度和平均宽度。

直线系数计算模块：用于将所有字符矩形的中心点进行直线拟合，并计算出直线系数的值。

所述字符矩形计算模块包括如下(参阅图7所示)：

字符排除模块：用于排除字符“1”，当所有字符为“1”时，根据车牌颜色进行宽度的确定。若车牌颜色为绿色，则取所有字符平均宽度的2倍作为待找字符的平均宽度；若车牌颜色为蓝色或黄色，则取所有字符平均宽度的4倍作为待找字符的平均宽度。

平均值计算模块：用于采用取平均值的方法，对所有字符矩形的高度求平均值作为待找字符的平均高度，并对所有字符矩形的宽度求平均值作为待找字符的平均宽度。

变量保存模块：用于将所得到的平均高度保存在变量aver_height中，将所得到的平均宽度保存在变量aver_width中。

所述直线系数计算模块中计算直线系数a和b的过程如下：

其中，N表示字符矩形(即滑动窗口)的总个数。

所述漏检字符查找模块包括如下(参阅图8所示)：

横向和纵向距离计算模块：用于计算第一个滑动窗口与最后一个滑动窗口的横向距离和纵向距离；具体为：

设定第一个滑动窗口的中心点坐标以及最后一个滑动窗口的中心点坐标/>则第一个滑动窗口与最后一个滑动窗口的横向距离和纵向距离，如公式(2)所示：

字符图形识别模块：用于根据所确定每个滑动窗口的中心点坐标，将每个滑动窗口中的字符图像依次截取出来，并利用图像识别算法对每个字符图像进行识别。

候选字符确定模块：用于在识别完所有的字符图形后，确定候选字符。若识别的结果是一个有效的车牌字符，并且识别概率大于设定的阈值(比如0.93)，则将其作为候选字符。

漏检字符确定模块：用于统计所有候选字符出现的次数并从候选字符中选择出现次数最多的字符作为漏检字符，将其添加到现有字符列表中，完成漏检字符查找。

图9是本发明提供的车牌识别中漏检字符查找方法的硬件设备结构示意图。如图9所示，该设备包括一个或多个处理器以及存储器。以一个处理器为例，该设备还可以包括：输入系统和输出系统。

处理器、存储器、输入系统和输出系统可以通过总线或者其他方式连接，图9中以通过总线连接为例。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例的处理方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理系统。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入系统可接收输入的数字或字符信息，以及产生信号输入。输出系统可包括显示屏等显示设备。

所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个处理器执行时，执行上述任一方法实施例的以下操作：

步骤a：获取车牌的字符信息；

上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例提供的方法。

本申请实施例提供了一种非暂态(非易失性)计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行以下操作：

步骤a：获取车牌的字符信息；

本申请实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行以下操作：

步骤a：获取车牌的字符信息；

本发明提供的车牌识别中漏检字符查找方法、系统及电子设备，通过采用固定大小矩形的滑动窗口并以等距步长在字符图像上滑动，对每一个滑动窗口进行字符图像识别，从而找到漏检字符，使得字符定位更加准确。因为车牌中存在圆点或专用标志，仅根据已找到的字符信息，无法准确确定漏检字符的位置，因此通过在一定的范围内滑动窗口，并对所有窗口内的图像进行识别比较，可以找到字符的最佳位置。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种车牌识别中漏检字符查找方法，其特征在于：该查找方法的具体步骤如下：

步骤a：获取车牌的字符信息；

步骤e：根据所得到的平均高度、平均宽度和直线系数，对漏检字符进行查找；

所述步骤c中包括如下：

步骤S34：将所得到的平均高度保存在变量aver_height中，将平均宽度保存在变量aver_width中；

所述步骤e中，具体查找过程如下：

步骤S51：设定滑动窗口的宽度为aver_width，高度为aver＿height，滑动窗口中心点所在的直线为y＝α*χ+b；

步骤S53：根据所得到的横向和纵向距离，计算剩下的N－2个滑动窗口的中心点坐标：

步骤S56：统计所有候选字符出现的次数并选择其中出现次数最多的字符作为漏检字符，将其添加到现有字符列表中，完成漏检字符查找；

所述步骤S52和步骤S53中具体包括如下：

设定第一个滑动窗口的中心点坐标以及最后一个滑动窗口的中心点坐标通过公式(2)得到横向距离和纵向距离如下：

根据公式(2)所得到的横向距离和纵向距离，通过公式(3)得到剩下的N－2个滑动窗口的中心点坐标，即：

2.根据权利要求1所述的车牌识别中漏检字符查找方法，其特征在于：所述步骤d中具体为：

设第i个字符矩形的中心点坐标为其中x代表水平方向，y代表垂直方向；设直线的方程为y＝α*χ+b，则计算出系数a和b的值，如公式(1)所示：

其中，N表示字符矩形的总个数。

3.一种车牌识别中漏检字符查找系统，其特征在于：该查找系统包括：

车牌字符获取模块：用于获取车牌的字符信息；

漏检字符查找模块：根据所得的到平均高度、平均宽度以及直线系数，对漏检字符进行查找；

所述字符矩形计算模块包括如下：

变量保存模块：用于将所得到的平均高度和平均宽度分别保存在变量aver_height和变量aver_width中；所述漏检字符查找模块包括如下：

滑动窗口设定模块：用于设定滑动窗口的宽度为aver_width，高度为aver＿height，滑动窗口中心点所在的直线为y＝α*χ+b；

中心点坐标计算模块：用于计算剩下的N－2个滑动窗口的中心点坐标，如公式(3)所示：

4.根据权利要求3所述的车牌识别中漏检字符查找系统，其特征在于：所述直线系数计算模块中计算直线系数a和b的过程如下：

其中，N表示字符矩形的总个数。

5.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述权利要求1至2任一项所述的车牌识别中漏检字符查找方法。