CN110309828B - 一种倾斜车牌矫正方法 - Google Patents
一种倾斜车牌矫正方法 Download PDFInfo
- Publication number
- CN110309828B CN110309828B CN201910570623.5A CN201910570623A CN110309828B CN 110309828 B CN110309828 B CN 110309828B CN 201910570623 A CN201910570623 A CN 201910570623A CN 110309828 B CN110309828 B CN 110309828B
- Authority
- CN
- China
- Prior art keywords
- license plate
- character
- formula
- candidate
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012937 correction Methods 0.000 claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 15
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 3
- 238000010845 search algorithm Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 10
- 238000005516 engineering process Methods 0.000 abstract description 6
- 230000000295 complement effect Effects 0.000 abstract 1
- 238000012549 training Methods 0.000 description 8
- 229910052704 radon Inorganic materials 0.000 description 7
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/146—Aligning or centring of the image pick-up or image-field
- G06V30/1475—Inclination or skew detection or correction of characters or of image to be recognised
- G06V30/1478—Inclination or skew detection or correction of characters or of image to be recognised of characters or characters lines
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Character Input (AREA)
- Character Discrimination (AREA)
Abstract
本发明公开了一种倾斜车牌矫正方法，属于智能交通技术领域。它通过深度学习进行车牌字符检测，再将所有候选字符矩形框的中心点两两相连构建图谱，接着统计所有经过字符中心点的线段斜率区间分布情况，最后加权计算得到车牌的倾斜角度，并完成倾斜矫正。本发明通过采用上述技术得到的倾斜车牌矫正方法，将倾斜车牌矫正问题转化为目前已经非常成熟的目标检测问题，可以对常见单行车牌与双行车牌进行倾斜矫正，结合传统倾斜车牌矫正方法与深度学习方法，实现优势互补，可靠性更高，且允许车牌字符的漏检与误检，对需要矫正的倾斜车牌具有高鲁棒性。
Description
技术领域
本发明涉及智能交通技术领域，具体涉及一种倾斜车牌矫正方法。
背景技术
在过去二十年里，智慧交通相关技术发展迅速，其中自动车牌识别技术在识别准确率与效率上都取得了重大突破。然而，对传统的三阶段车牌识别和最新的基于深度学习的车牌识别技术而言，倾斜车牌仍旧是棘手的处理对象。倾斜车牌在实际场景中十分普遍，倾斜车牌矫正有助于拓宽车牌识别技术的适用面，增强车牌识别技术的鲁棒性。
寻求一种高效准确的倾斜车牌矫正方法是该领域亟待解决的问题。目前已有的倾斜车牌矫正方法可以分为两类：基于传统技术的方法和基于深度学习的方法。
基于传统技术的方法利用倾斜车牌所具有的特点，计算倾斜角度以进行后续矫正。传统倾斜车牌矫正方法主要包括：基于Hough变换的方法、基于字符检测分析的方法和基于Radon变换的方法。基于Hough变换的方法通过检测车牌的上下与左右边框计算倾斜矫正参数。但是，该类方法需要车牌具有高对比度的边框，实际条件苛刻，不适用大多数场景。基于Radon变换的方法最为普遍，该类方法对车牌图像在固定区间范围内进行Radon变换,并对变换后的结果求一阶导数绝对值的累加和,将累加和的最大值所对应的Radon变换的角度作为倾斜角度。文献(贾晓丹；李文举；王海姣.一种新的基于Radon变换的车牌倾斜校正方法[J].计算机工程与应用,2008,44(3):245-248.)对车牌图像在[-20°,20°]范围内进行Radon变换，有效矫正了倾斜车牌。发明专利(专利号：201510695122.1，名称：一种倾斜车牌识别方法和装置)在固定区间范围内对字符图像进行仿射变换，结合灰度值分析计算各车牌字符的倾斜角度，从而确定一个整体倾斜角度完成倾斜矫正。发明专利(公开号：CN107563330A，名称：一种监控视频中的水平倾斜车牌矫正方法)利用得到的多个字符区域的上边缘中点、中心点、下边缘中点分别拟合得到三条直线，并分别计算三条直线的水平倾斜角度，最后加权计算得到最终的倾斜角度完成倾斜矫正。但是，除了单行车牌，双行车牌在实际中也很普遍，而该方法显然只适用于单行车牌。
传统方法所存在的问题主要是无法从倾斜车牌上准确分割多个字符区域，这为基于Radon变换和基于字符区域分析的方法增大了难度。目前基于深度学习的方法则通过大量数据样本训练得到矫正参数或矫正结果。文献(J.Wang,H.Huang,X.Qian,J.Cao,andY.Dai,“Sequence recognition of Chinese license plates,”Neurocomputing,vol.317,pp.149-158,Nov.2018.)基于深度学习，将空间变换网络(Spatial TransformerNetwork，STN)用于倾斜车牌矫正，通过大量数据样本训练得到矫正结果。文献(L.Xie,T.Ahmad,L.Jin,Y.Liu,and S.Zhang,“A New CNN-Based Method for Multi-DirectionalCar License Plate Detection,”IEEE Trans.Intell.Transp.vol.19,no.2,pp.507-517,Feb.2018.)基于YOLO训练得到一个可以回归出倾斜车牌四边形包络的新网络模型。但是，深度学习需要准备大量的训练样本，且严重依赖训练样本的质量。
综上所述，目前车牌识别结果纠正方法存在着如下不足：1)部分矫正算法适用于单行车牌，但并不适用于双行车牌；2)部分矫正算法需要车牌具有清晰的边界；3)部分矫正算法需要准确检测字符区域；4)基于深度学习的倾斜矫正方法所具有的鲁棒性由训练样本所决定。
发明内容
为克服现有技术的上述缺点，本发明提出一种倾斜车牌矫正方法。首先利用深度学习进行车牌字符检测，然后将所有字符的中心点两两连接，接着统计所有经过字符中心点的线段斜率区间分布情况，最后加权计算得到车牌的倾斜角度，并完成倾斜矫正。
本发明技术方案如下：
一种倾斜车牌矫正方法，其特征在于，包括如下步骤：
步骤1：先准备车牌字符检测数据集，在每一张车牌上标注每一车牌字符的位置矩形框R与类别标签A，A∈B，B为字符索引表；然后基于准备的数据集训练一个用于车牌字符检测的深度卷积神经网络模型M；
步骤2：将倾斜车牌图像I输入到用于车牌字符检测的深度卷积神经网络模型M，输出候选车牌字符集合H＝{hi|i＝1,2,3…,nH}，其中，nH表示集合H的元素个数，hi表示集合H的第i个候选车牌字符，hi是由(b,t,r)构成的三元组，b表示候选字符的类别标签，b∈B，t表示候选字符的置信度，t∈[0,1]，r是由(x,y,w,h)构成的四元组，r表示候选字符的外接矩形框，x、y、w和h分别表示矩形框的左上角横坐标、左上角纵坐标、宽度和高度；
步骤3：对步骤2得到的车牌字符集合H，将所有字符的中心点两两相连，记Kjl为第j个字符与第l个字符连线段的斜率，由公式(1)计算得到：
其中，(exj,eyj)表示集合H中第j个元素的横、纵坐标，(exl,eyl)表示集合H中第l个元素的横、纵坐标，1≤j≤nH，1≤l≤nH，且j≠l；
步骤4：将步骤3得到的Kjl转换为倾斜角度，并按公式(2)计算所属角度区间：
其中，arctan(*)为反正切函数；bins表示角度区间等分数量；
返回浮点数的最大近似整数值；Rjl指示Kjl所属的角度区间索引；
步骤5：根据步骤4得到的Rjl，按公式(3)统计车牌各字符的区间投票情况：
其中，χ(*)为示性函数，当输入条件为真时返回1，否则返回0；Vjr指示集合H第j个元素在等分区间r内的投票数；
步骤6：确定最终的车牌倾斜率，具体如下：
步骤7：根据步骤6得到的最终车牌倾斜率k，利用beam-search算法找到所有主行方向上的字符，并按横坐标由小到大排序，记第一个字符为Cf，最后一个字符为Cl，然后由Cf的左上角顶点坐标、Cf的左下角顶点坐标和Cl的中点坐标计算仿射矩阵X，并用于车牌的倾斜矫正；
步骤8：算法结束。
所述的一种倾斜车牌矫正方法，其特征在于，所述步骤6具体为：
步骤6.1：根据步骤5得到的Vjr，按公式(4)计算最多票数区间值τ；
步骤6.2：根据步骤6.1所确定的τ，进一步计算各字符对确定最终车牌倾斜率的贡献权值，如公式(5)所示：
其中，Wj为集合H中第j个元素对最终车牌倾斜率的贡献权值；
步骤6.3：根据步骤6.1所确定的τ和步骤6.2所确定的Wj，按公式(6)计算得到最终的车牌倾斜率k：
通过使用本发明的方法，可以对常见单行车牌与双行车牌进行倾斜矫正，结合传统倾斜车牌矫正方法与深度学习方法，实现优势互补。与已有的深度学习相关方法相比，本发明将倾斜车牌矫正问题转化为目前已经非常成熟的目标检测问题，可靠性更高。此外，本发明的方法允许车牌字符的漏检与误检，对需要矫正的倾斜车牌本身要求不苛刻。
附图说明
图1为本发明的输入的倾斜车牌图像；
图2为本发明的由深度卷积神经网络对输入车牌的检测结果可视化图像；
图3为本发明的经过步骤3处理的结果可视化图像；
图4为本发明的步骤6的示意图；
图5为本发明的输出的经矫正后的车牌图像。
具体实施方式
下面结合实施例来详细阐述本发明的倾斜车牌矫正方法的具体实施方式。
步骤1：先准备车牌字符检测数据集，在每一张车牌上标注每一车牌字符的位置矩形框R与类别标签A，A∈B，B为字符索引表；然后基于准备的数据集训练一个用于车牌字符检测的深度卷积神经网络模型M；在本实例中，选择官方的YOLOv3神经网络结构训练得到模型M；
步骤2：将倾斜车牌图像I，如图1所示，输入到车牌字符检测网络M，输出候选车牌字符集合H＝{hi|i＝1,2,3…,nH}，其中，nH表示集合H的元素个数，hi表示集合H的第i个候选车牌字符，hi是由(b,t,r)构成的三元组，b表示候选字符的类别标签，b∈B，t表示候选字符的置信度，t∈[0,1]，r是由(x,y,w,h)构成的四元组，r表示候选字符的外接矩形框，x、y、w和h分别表示矩形框的左上角横坐标、左上角纵坐标、宽度和高度；在本实例中，车牌字符检测结果可视化示意图如图2所示。
步骤3：对步骤2得到的车牌字符集合H，将所有字符的中心点两两相连，如图3所示，记Kjl为第j个字符与第l个字符连线段的斜率，由公式(1)计算得到：
其中，(exj,eyj)表示集合H中第j个元素的横、纵坐标，(exl,eyl)表示集合H中第l个元素的横、纵坐标，1≤j≤nH，1≤l≤nH，且j≠l；
步骤4：将步骤3得到的Kjl转换为倾斜角度，并按公式(2)计算所属角度区间：
其中，arctan(*)为反正切函数；bins表示角度区间等分数量；
返回浮点数的最大近似整数值；Rjl指示Kjl所属的角度区间索引；在本实例中，取bins＝5；
步骤5：根据步骤4得到的Rjl，按公式(3)统计车牌各字符的区间投票情况：
其中，χ(*)为示性函数，当输入条件为真时返回1，否则返回0；Vjr指示集合H第j个元素在等分区间r内的投票数；
步骤6：确定最终的车牌倾斜率，该步骤的示意图如图4所示，具体如下：
步骤6.1：根据步骤5得到的Vjr，按公式(4)计算最多票数区间τ；
步骤6.2：根据步骤6.1所确定的τ，进一步计算各字符对确定最终车牌倾斜率的贡献权值，如公式(5)所示：
其中，Wj为集合H中第j个元素对最终车牌倾斜率的贡献权值；
步骤6.3：根据步骤6.1所确定的τ和步骤6.2所确定的Wj，按公式(6)计算得到最终的车牌倾斜率k：
步骤7：根据步骤6得到的最终车牌倾斜率k，利用beam-search算法找到所有主行方向上的字符，并按横坐标由小到大排序，记第一个字符为Cf，最后一个字符为Cl，然后由Cf的左上角顶点坐标、Cf的左下角顶点坐标和Cl的中点坐标计算仿射矩阵X，并用于车牌的倾斜矫正；在本实例中，经矫正后的车牌图像如图5所示。
步骤8：算法结束。
Claims (1)
1.一种倾斜车牌矫正方法，其特征在于包括如下步骤：
步骤1：先准备车牌字符检测数据集，在每一张车牌上标注每一车牌字符的位置矩形框R与类别标签A，A∈B，B为字符索引表；然后基于准备的数据集训练一个用于车牌字符检测的深度卷积神经网络模型M；
步骤2：将倾斜车牌图像I输入到用于车牌字符检测的深度卷积神经网络模型M，输出候选车牌字符集合H＝{hi|i＝1,2,3…,nH}，其中，nH表示集合H的元素个数，hi表示集合H的第i个候选车牌字符，hi是由(b,t,r)构成的三元组，b表示候选字符的类别标签，b∈B，t表示候选字符的置信度，t∈[0,1]，r是由(x,y,w,h)构成的四元组，r表示候选字符的外接矩形框，x、y、w和h分别表示矩形框的左上角横坐标、左上角纵坐标、宽度和高度；
步骤3：对步骤2得到的车牌字符集合H，将所有字符的中心点两两相连，记Kjl为第j个字符与第l个字符连线段的斜率，由公式(1)计算得到：
其中，(exj,eyj)表示集合H中第j个元素的横、纵坐标，(exl,eyl)表示集合H中第l个元素的横、纵坐标，1≤j≤nH，1≤l≤nH，且j≠l；
步骤4：将步骤3得到的Kjl转换为倾斜角度，并按公式(2)计算所属角度区间：
其中，arctan(*)为反正切函数；bins表示角度区间等分数量；
返回浮点数的最大近似整数值；Rjl指示Kjl所属的角度区间索引；
步骤5：根据步骤4得到的Rjl，按公式(3)统计车牌各字符的区间投票情况：
其中，χ(*)为示性函数，当输入条件为真时返回1，否则返回0；Vjr指示集合H第j个元素在等分区间r内的投票数；
步骤6：确定最终的车牌倾斜率k：
所述步骤6具体为：
步骤6.1：根据步骤5得到的Vjr，按公式(4)计算最多票数区间值τ；
步骤6.2：根据步骤6.1所确定的τ，进一步计算各字符对确定最终车牌倾斜率的贡献权值，如公式(5)所示：
其中，Wj为集合H中第j个元素对最终车牌倾斜率的贡献权值；
步骤6.3：根据步骤6.1所确定的τ和步骤6.2所确定的Wj，按公式(6)计算得到最终的车牌倾斜率k：
步骤7：根据步骤6得到的最终车牌倾斜率k，利用beam-search算法找到所有主行方向上的字符，并按横坐标由小到大排序，记第一个字符为Cf，最后一个字符为Cl，然后由Cf的左上角顶点坐标、Cf的左下角顶点坐标和Cl的中点坐标计算仿射矩阵X，并用于车牌的倾斜矫正；
步骤8：算法结束。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910570623.5A CN110309828B (zh) | 2019-06-27 | 2019-06-27 | 一种倾斜车牌矫正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910570623.5A CN110309828B (zh) | 2019-06-27 | 2019-06-27 | 一种倾斜车牌矫正方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110309828A CN110309828A (zh) | 2019-10-08 |
| CN110309828B true CN110309828B (zh) | 2021-08-17 |
Family
ID=68077797
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910570623.5A Active CN110309828B (zh) | 2019-06-27 | 2019-06-27 | 一种倾斜车牌矫正方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110309828B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110807459B (zh) * | 2019-10-31 | 2022-06-17 | 深圳市捷顺科技实业股份有限公司 | 车牌矫正方法、装置以及可读存储介质 |
| CN111144390B (zh) * | 2019-12-20 | 2023-10-27 | 武汉瑞纳捷半导体有限公司 | 一种车牌识别中漏检字符查找方法、系统及电子设备 |
| CN113435446B (zh) * | 2021-07-07 | 2023-10-31 | 南京云创大数据科技股份有限公司 | 一种基于深度学习的倾斜车牌矫正方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08320990A (ja) * | 1995-05-26 | 1996-12-03 | Japan Radio Co Ltd | 車番読み取り装置 |
| JP5442408B2 (ja) * | 2009-11-26 | 2014-03-12 | 株式会社立山システム研究所 | 画像補正方法 |
| US9344695B2 (en) * | 2011-09-15 | 2016-05-17 | Nec Corporation | Automatic projection image correction system, automatic projection image correction method, and non-transitory storage medium |
| CN103488978B (zh) * | 2013-09-26 | 2017-08-01 | 浙江工业大学 | 一种基于灰度跳变和字符投影间隔模式的车牌定位方法 |
| MY172797A (en) * | 2014-12-15 | 2019-12-12 | Mimos Berhad | A system and method to isolate characters for vehicle license plate recognition |
| CN106780351B (zh) * | 2016-12-09 | 2019-11-29 | 浙江浩腾电子科技股份有限公司 | 一种车牌倾斜矫正方法 |
| CN107563330B (zh) * | 2017-09-04 | 2020-10-16 | 南京邮电大学 | 一种监控视频中的水平倾斜车牌矫正方法 |
| CN107704858A (zh) * | 2017-10-31 | 2018-02-16 | 上海集光安防科技股份有限公司 | 一种车牌倾斜角度的检测算法 |
-
2019
- 2019-06-27 CN CN201910570623.5A patent/CN110309828B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110309828A (zh) | 2019-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111950330B (zh) | 一种基于目标检测的指针式仪表示数检测方法 | |
| WO2017190574A1 (zh) | 一种基于聚合通道特征的快速行人检测方法 | |
| CN106778737B (zh) | 一种车牌矫正方法、装置和一种视频采集装置 | |
| CN110309828B (zh) | 一种倾斜车牌矫正方法 | |
| CN110866430B (zh) | 一种车牌识别方法及装置 | |
| CN103473571B (zh) | 一种人体检测方法 | |
| CN107563330B (zh) | 一种监控视频中的水平倾斜车牌矫正方法 | |
| CN107657639A (zh) | 一种快速定位目标的方法和装置 | |
| CN111666938A (zh) | 一种基于深度学习的两地双车牌检测识别方法及系统 | |
| CN103390164A (zh) | 基于深度图像的对象检测方法及其实现装置 | |
| CN110929710A (zh) | 一种基于视觉的仪表指针读数自动识别方法与系统 | |
| CN103530600A (zh) | 复杂光照下的车牌识别方法及系统 | |
| CN114863136B (zh) | 一种基于对角线网络的无锚框目标检测方法及系统 | |
| CN110490099A (zh) | 一种基于机器视觉的地铁公共地点人流量分析方法 | |
| CN107067813A (zh) | 一种基于图像处理和模式识别的车位引导方法和系统 | |
| CN108256462A (zh) | 一种商场监控视频中的人数统计方法 | |
| CN103065163B (zh) | 一种基于静态图片的快速目标检测识别系统及方法 | |
| CN114170527B (zh) | 一种利用旋转框表示的遥感目标检测方法 | |
| CN107123130A (zh) | 一种基于超像素和混合哈希的核相关滤波目标跟踪方法 | |
| CN113947714A (zh) | 一种视频监控和遥感的多模态协同优化方法及系统 | |
| KR101874968B1 (ko) | 이미지 정보 기반의 시정거리 측정 시스템 및 이를 이용한 시정거리 측정 방법 | |
| CN110969135B (zh) | 自然场景中的车标识别方法 | |
| CN113673534A (zh) | 一种基于Faster RCNN的RGB-D图像果实检测方法 | |
| CN111582270A (zh) | 基于高精度的桥梁区域视觉靶标特征点的识别追踪方法 | |
| CN116188755A (zh) | 一种基于深度学习的仪表角度校正与示数识别装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |