CN112597874B - 信号灯的识别方法、装置及计算机可读存储介质 - Google Patents
信号灯的识别方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112597874B CN112597874B CN202011507831.XA CN202011507831A CN112597874B CN 112597874 B CN112597874 B CN 112597874B CN 202011507831 A CN202011507831 A CN 202011507831A CN 112597874 B CN112597874 B CN 112597874B
- Authority
- CN
- China
- Prior art keywords
- signal lamp
- signal
- group
- lamp group
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000001514 detection method Methods 0.000 claims abstract description 166
- 230000011218 segmentation Effects 0.000 claims abstract description 105
- 238000012544 monitoring process Methods 0.000 claims abstract description 77
- 238000005457 optimization Methods 0.000 claims abstract description 29
- 239000003086 colorant Substances 0.000 claims abstract description 11
- 238000001914 filtration Methods 0.000 claims description 24
- 230000008439 repair process Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 12
- 239000011248 coating agent Substances 0.000 claims description 6
- 238000000576 coating method Methods 0.000 claims description 6
- 238000002834 transmittance Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 4
- 239000000758 substrate Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 18
- 238000012806 monitoring device Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000000737 periodic effect Effects 0.000 description 4
- 230000004069 differentiation Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011166 aliquoting Methods 0.000 description 2
- 238000009500 colour coating Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明实施例提供了一种信号灯的识别方法、装置及计算机可读存储介质。该方法包括：基于信号灯组的区域位置信息从第一监控图像中获取信号灯组图像；基于信号灯组图像进行多标签目标检测以确定信号灯组中的信号灯的颜色，或信号灯组中的信号灯的颜色和形状；基于信号灯组中的信号灯的颜色，对信号灯组中具有目标颜色的信号灯所在的区域进行语义分割；对语义分割的结果进行分割边界优化，并基于分割边界优化后的结果输出信号灯的识别结果。通过本发明，解决了信号灯的准确识别的问题，该方案具有实时、精准的特性，能够很好地满足智能交通对信号灯识别高精准度的要求。
Description
技术领域
本发明实施例涉及视频监控领域，具体而言，涉及一种信号灯的识别方法、装置及计算机可读存储介质。
背景技术
随着视频监控技术的发展，对城市交通状况的监控变得越来越智能化，视频监控结果被应用在各个领域，例如，基于视频监控进行违章抓拍，基于视频监控识别交通路口的信号灯和人流车流情况从而进行智能导航等等。
视频监控的广泛实现，依赖于准确的识别技术，如果识别的结果不准确，势必会造成违章抓拍误判或导航错误。无论是在违章抓拍、智能导航还是在其他涉及道路上车辆、行人的监控场景中，信号灯的准确识别都是至关重要的，如何准确地识别信号灯是目前亟待解决的问题。
发明内容
本发明实施例提供了一种信号灯的识别方法、装置及计算机可读存储介质，以至少解决相关技术中信号灯的准确识别的问题。
根据本发明的一个实施例，提供了一种信号灯的识别方法，包括：基于信号灯组的区域位置信息从第一监控图像中获取信号灯组图像；基于所述信号灯组图像进行多标签目标检测以确定所述信号灯组中的信号灯的颜色，或所述信号灯组中的信号灯的颜色和形状；基于所述信号灯组中的信号灯的颜色，对所述信号灯组中具有目标颜色的信号灯所在的区域进行语义分割；对所述语义分割的结果进行分割边界优化，并基于所述分割边界优化后的结果输出所述信号灯的识别结果。
在至少一个示例性实施例中，在基于信号灯组的区域位置信息从第一监控图像中获取信号灯组图像之前，所述方法还包括：按照预定检测周期，基于第二监控图像进行所述信号灯组的目标检测，得到所述信号灯组的所述区域位置信息。
在至少一个示例性实施例中，按照预定检测周期，基于第二监控图像进行所述信号灯组的目标检测，得到所述信号灯组的所述区域位置信息包括：按照所述预定检测周期采集所述第二监控图像；将所述第二监控图像划分为多个子图像；基于所述多个子图像进行所述信号灯组的目标检测，得到所述多个子图像中的信号灯组检测框；将所述多个子图像中的信号灯组检测框还原到所述第二监控图像上进行融合，得到所述信号灯组的所述区域位置信息。
在至少一个示例性实施例中，划分的所述多个子图像中相邻子图像之间存在部分重叠，将所述多个子图像中的信号灯组检测框还原到所述第二监控图像上进行融合，得到所述信号灯组的所述区域位置信息包括：基于所述多个子图像中的信号灯组检测框的位置将所述信号灯组检测框还原到所述第二监控图像上；在存在重叠或部分重叠的信号灯组检测框的情况下，对重叠或部分重叠的信号灯组检测框进行合并或去重；基于合并或去重后的信号灯组检测框得到所述信号灯组的所述区域位置信息。
在至少一个示例性实施例中，基于信号灯组的区域位置信息从第一监控图像中获取信号灯组图像包括：通过将所述区域位置信息所指示的区域的宽和/或高外扩预定比例或数值，得到目标区域位置信息；基于所述目标区域位置信息从第一监控图像中获取信号灯组图像。
在至少一个示例性实施例中，基于所述信号灯组图像进行多标签目标检测以确定所述信号灯组中的信号灯的颜色，或所述信号灯组中的信号灯的颜色和形状之前，所述方法还包括：基于大气散射模型对所述信号灯组图像进行大气光滤除，其中，所述大气散射模型为x表示像素点的索引，I(x)表示大气光滤除前的信号灯组图像，J(x)表示大气光滤除后的信号灯组图像，A表示大气光值，t(x)表示像素点x处的透射率。
在至少一个示例性实施例中，基于所述信号灯组中的信号灯的颜色，对所述信号灯组中具有目标颜色的信号灯所在的区域进行语义分割之后，所述方法还包括：基于所述多标签目标检测的对应于所述目标颜色的信号灯的检测框对所述语义分割的结果进行约束。
在至少一个示例性实施例中，基于所述多标签目标检测的对应于所述目标颜色的信号灯的检测框对所述语义分割的结果进行约束包括：将所述语义分割的结果中位于对应于所述目标颜色的信号灯的检测框之外的结果滤除。
在至少一个示例性实施例中，对所述语义分割的结果进行分割边界优化包括：基于所述语义分割的结果预测出边缘掩膜和方向掩膜，其中，所述边缘掩膜中携带用于区分边缘像素和非边缘像素的指示信息，所述方向掩膜携带用于指示像素方向的指示信息；基于所述边缘掩膜和所述方向掩膜生成边缘修复掩膜；通过所述边缘修复掩膜对所述语义分割的结果进行映射，得到所述分割边界优化后的结果。
在至少一个示例性实施例中，所述边缘掩膜中，所述边缘像素的指示信息被置为1，所述非边缘像素的指示信息被置为0；基于所述边缘掩膜和所述方向掩膜生成边缘修复掩膜包括：将所述边缘掩膜和所述方向掩膜中的对应元素相乘得到所述边缘修复掩膜。
在至少一个示例性实施例中，基于所述分割边界优化后的结果输出所述信号灯的识别结果包括以下至少之一：基于所述分割边界优化后的结果为具有所述目标颜色的信号灯涂上所述目标颜色；输出所述信号灯组中的所述信号灯的颜色，或所述信号灯组中的所述信号灯的颜色和形状。
在至少一个示例性实施例中，在基于所述信号灯组图像进行多标签目标检测以确定所述信号灯组中的信号灯的颜色和形状的情况下，输出所述信号灯组中的所述信号灯的颜色，或所述信号灯组中的所述信号灯的颜色和形状包括：判断所述信号灯组是混合方向信号灯组还是单方向信号灯组；在所述信号灯组是所述混合方向信号灯组的情况下，输出所述信号灯组中的所述信号灯的颜色和形状；在所述信号灯组是所述单方向信号灯组的情况下，输出所述信号灯组中的所述信号灯的颜色。
根据本发明的另一个实施例，提供了一种信号灯的识别装置，包括：获取模块，设置为基于信号灯组的区域位置信息从第一监控图像中获取信号灯组图像；多标签检测模块，设置为基于所述信号灯组图像进行多标签目标检测以确定所述信号灯组中的信号灯的颜色，或所述信号灯组中的信号灯的颜色和形状；语义分割模块，设置为基于所述信号灯组中的信号灯的颜色，对所述信号灯组中具有目标颜色的信号灯所在的区域进行语义分割；边界优化和输出模块，设置为对所述语义分割的结果进行分割边界优化，并基于所述分割边界优化后的结果输出所述信号灯的识别结果。
根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，通过基于信号灯组的区域位置信息获取信号灯组图像，进而基于该信号灯组图像进行多标签目标检测，能够达到较高的检测召回率，此外，通过基于信号灯组中的信号灯的颜色，对信号灯组中具有目标颜色的信号灯所在的区域进行语义分割，对语义分割的结果进行分割边界优化，并基于分割边界优化后的结果输出信号灯的识别结果，能够保证采集的图像信号灯区域人眼可以清晰分辨，因此，可以解决信号灯的准确识别的问题，该信号灯的识别方案具有实时、精准的特性，能够很好地满足智能交通对信号灯识别高精准度的要求。
附图说明
图1是本发明实施例的一种信号灯的识别方法的监控服务器的硬件结构框图；
图2是根据本发明实施例的信号灯的识别方法的流程图；
图3是根据本发明实施例的信号灯的识别装置的结构框图；
图4是根据本发明实施例的信号灯的识别装置的示例性结构框图；
图5是根据本发明实施例的信号灯的识别方案的应用流程示意图；
图6是根据本发明实施例的图像等分的示意图；
图7是根据本发明实施例的滤除大气光前后的图像效果对比示意图；
图8是根据本发明实施例的分别边界优化网络的示意图；
图9是根据本发明实施例的边缘掩膜、方向掩膜和边缘修复掩膜的示意图；
图10是根据本发明实施例的边缘修复过程的示意图。
具体实施方式
在相关技术中，交通信号灯的识别在多领域都有广泛的应用需求。例如，在违章抓拍场景下，需要利用一系列声光设备，对现场违章人员的行为过程进行自动抓拍取证，而闯红灯行为是违章判罚中的重要分支，利用计算机视觉技术进行闯红灯行为分析目前是一种有效的处理手段。该方法一般需要一定时间内的多帧图像，根据图像中的信号灯状态变化以及车辆的行进轨迹判定是否闯红灯，而闯红灯行为判定需要识别道路中的交通信号灯，并且需要关联多帧图像中的信号灯状态，单张图像不足以判定车辆是否闯红灯，如果信号灯在某帧中状态识别错误，会导致整个闯红灯行为判罚出现偏差，降低了判罚精度。
可见，对于交通信号灯的识别精度和准确度，相关应用场景是具有较高的要求的，而目前的信号灯识别方案尚无法满足较高的识别精度和准确度。为此，本发明实施例提供了一种信号灯的识别方法、装置及计算机可读存储介质，其能够实现高精度的交通信号灯实时识别。
下文中将参考附图并结合实施例来详细说明本发明的实施例。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例中所提供的方法实施例可以在诸如监控服务器、监控平台、监控设备等具有运算功能的装置或装置集合中执行。以运行在监控服务器上为例，图1是本发明实施例的一种信号灯的识别方法的监控服务器的硬件结构框图。如图1所示，监控服务器可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于中央处理器CPU、微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述监控服务器还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述监控服务器的结构造成限定。例如，监控服务器还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的信号灯的识别方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至监控服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括监控服务器的通信供应商提供的无线网络或有线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(RadioFrequency，简称为RF)模块，其用于通过无线方式与互联网中的其他设备进行通讯，也可以为收发端口，其用于通过有线方式与互联网中的其他设备进行通讯。
在本实施例中提供了一种运行于上述诸如监控服务器、监控平台、监控设备等运算装置的信号灯的识别方法，图2是根据本发明实施例的信号灯的识别方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，基于信号灯组的区域位置信息从第一监控图像中获取信号灯组图像。
为了提高灯组中信号灯检测的准确率，在至少一个示例性实施例中，步骤S202可以包括：
通过将所述区域位置信息所指示的区域的宽和/或高外扩预定比例或数值，得到目标区域位置信息；
基于所述目标区域位置信息从第一监控图像中获取信号灯组图像。
在具体实施中，第一监控图像即为待识别图像，一般可以通过监控设备采集，例如，可以通过设置于路口的监控摄像机来采集。
在具体实施中，在步骤S202中使用的信号灯组的区域位置信息，可以是预先存储的区域位置信息，也可以是定期检测获取的区域位置信息。
例如，在至少一个示例性实施例中，步骤S202中使用的信号灯组的区域位置信息可以是定期检测获取的区域位置信息。相应地，在步骤S202之前，所述方法还可以包括：按照预定检测周期，基于第二监控图像进行所述信号灯组的目标检测，得到所述信号灯组的所述区域位置信息。在该过程中，所述第二监控图像一般可以通过监控设备采集，例如，其可以是在预定检测周期到达时监控设备实时采集的监控图像。由于一般情况下监控设备的位置固定，所监控的场景也相对固定，其中的信号灯组本身也是固定的，因此，预定检测周期可以设置一个稍长的时间，例如1个小时，在预定检测周期所控制的两次信号灯组的目标检测之间，可以使用最近一次的目标检测结果(也就是信号灯组的区域位置信息)。对信号灯组进行目标检测，可以是基于目标检测网络根据信号灯组的特征来进行目标检测，具体的目标检测过程可以沿用相关技术中的方法，在此不再赘述。
由于在某些场景下第二监控图像中的灯组相对于第二监控图像总体是极小的目标，例如，900W像素的图像下可能高度<12个像素，直接在大图上进行检测召回率低，故本实施例中，在按照预定检测周期，基于第二监控图像进行所述信号灯组的目标检测的过程中，可以通过以下方式将输入图像进行切分后送入目标检测网络进行目标检测：
按照所述预定检测周期采集所述第二监控图像；
将所述第二监控图像划分为多个子图像，例如，可以将第二监控图像切分成4等分，分别送入目标检测网络；
基于所述多个子图像进行所述信号灯组的目标检测，得到所述多个子图像中的信号灯组检测框；
将所述多个子图像中的信号灯组检测框还原到所述第二监控图像上进行融合，得到所述信号灯组的所述区域位置信息。
考虑到检测的精度以及完整度，在至少一个示例性实施例中，划分的所述多个子图像中相邻子图像之间可以存在部分重叠，例如，上例中切分成四等分的子图像，每个相邻等分之间可以有1/4的交集。相应地，将所述多个子图像中的信号灯组检测框还原到所述第二监控图像上进行融合，得到所述信号灯组的所述区域位置信息可以包括：
基于所述多个子图像中的信号灯组检测框的位置将所述信号灯组检测框还原到所述第二监控图像上；
在存在重叠或部分重叠的信号灯组检测框的情况下，对重叠或部分重叠的信号灯组检测框进行合并或去重，在合并或去重的过程中，由于存在于子图像边缘的结果有可能是被截断的，因而优先选择较大的框作为主要框或优先选择较大的框予以保留；
基于合并或去重后的信号灯组检测框得到所述信号灯组的所述区域位置信息。
步骤S204，基于所述信号灯组图像进行多标签目标检测以确定所述信号灯组中的信号灯的颜色，或所述信号灯组中的信号灯的颜色和形状。
通过多标签目标检测，可以从多个维度检测信号灯组中的信号灯的状态，例如，可以分为以下三个类别的标间进行多标签目标检测：
第一类标签为灯组、信号灯共2个类别；
第二类标签为红、绿、黄、熄灯、混合颜色共5个类别；
第三类标签为圆灯、数字灯、左转、左前、左转调头、右转、右前、直行、直行左转、直行右转、非机动车、非机动车左转、行人、进度条、未知共15个类别。
考虑到在大气光的影响下信号灯的红绿黄三色都会偏向白色，导致了三种颜色信号灯区分度降低，易出现误识别，故在步骤S204进行多标签目标检测之前，可以先对灯组区域进行大气光滤除，从而减少大气光对信号灯颜色造成的偏色影响，并且使得纹理更加清晰。因此，在至少一个示例性实施例中，在步骤S204基于所述信号灯组图像进行多标签目标检测以确定所述信号灯组中的信号灯的颜色，或所述信号灯组中的信号灯的颜色和形状之前，所述方法还可以包括：
基于大气散射模型对所述信号灯组图像进行大气光滤除，其中，所述大气散射模型为x表示像素点的索引，I(x)表示大气光滤除前的信号灯组图像，J(x)表示大气光滤除后的信号灯组图像，A表示大气光值，t(x)表示像素点x处的透射率。其中，大气光值A和透射率t(x)为未知参数，可以通过暗通道先验理论估计出。
通过该方法，通过大气散射模型和暗通道法能够滤除灯组区域的大气光，从而减少环境光对信号灯造成的偏色影响。
步骤S206，基于所述信号灯组中的信号灯的颜色，对所述信号灯组中具有目标颜色的信号灯所在的区域进行语义分割。
为了提高语义分割的准确性，在至少一个示例性实施例中，步骤S206基于所述信号灯组中的信号灯的颜色，对所述信号灯组中具有目标颜色的信号灯所在的区域进行语义分割之后，所述方法还可以包括：
基于所述多标签目标检测的对应于所述目标颜色的信号灯的检测框对所述语义分割的结果进行约束。
在至少一个示例性实施例中，基于所述多标签目标检测的对应于所述目标颜色的信号灯的检测框对所述语义分割的结果进行约束可以包括：
将所述语义分割的结果中位于对应于所述目标颜色的信号灯的检测框之外的结果滤除。
步骤S208，对所述语义分割的结果进行分割边界优化，并基于所述分割边界优化后的结果输出所述信号灯的识别结果。
在至少一个示例性实施例中，在步骤S208中，对所述语义分割的结果进行分割边界优化可以具体包括：
基于所述语义分割的结果预测出边缘掩膜和方向掩膜，其中，所述边缘掩膜中携带用于区分边缘像素和非边缘像素的指示信息，所述方向掩膜携带用于指示像素方向的指示信息；
基于所述边缘掩膜和所述方向掩膜生成边缘修复掩膜；
通过所述边缘修复掩膜对所述语义分割的结果进行映射，得到所述分割边界优化后的结果。
在至少一个示例性实施例中，所述边缘掩膜中，所述边缘像素的指示信息可以被置为1，所述非边缘像素的指示信息可以被置为0；基于所述边缘掩膜和所述方向掩膜生成边缘修复掩膜可以包括：将所述边缘掩膜和所述方向掩膜中的对应元素相乘得到所述边缘修复掩膜。
在至少一个示例性实施例中，步骤S208中基于所述分割边界优化后的结果输出所述信号灯的识别结果可以包括以下至少之一：
基于所述分割边界优化后的结果为具有所述目标颜色的信号灯涂上所述目标颜色，该方法中，由于之前已经对分割结果再进行分割边界优化，因此使用该方法将信号灯涂上目标颜色后的涂色效果会更加贴合；
输出所述信号灯组中的所述信号灯的颜色，或所述信号灯组中的所述信号灯的颜色和形状。
在至少一个示例性实施例中，在基于所述信号灯组图像进行多标签目标检测以确定所述信号灯组中的信号灯的颜色和形状的情况下，输出所述信号灯组中的所述信号灯的颜色，或所述信号灯组中的所述信号灯的颜色和形状可以包括：
判断所述信号灯组是混合方向信号灯组还是单方向信号灯组；
在所述信号灯组是所述混合方向信号灯组的情况下，输出所述信号灯组中的所述信号灯的颜色和形状；
在所述信号灯组是所述单方向信号灯组的情况下，输出所述信号灯组中的所述信号灯的颜色。
该方法基于交通信号灯特性进行逻辑判断输出最终识别结果，通过分析交通信号灯的先验特性，将交通信号灯分成机动车信号灯、非机动车信号灯和行人信号灯，分别进行相应的逻辑判断输出最终结果。
在上述方案中，通过基于信号灯组的区域位置信息获取信号灯组图像，进而基于该信号灯组图像进行多标签目标检测，能够达到较高的检测召回率，此外，通过基于信号灯组中的信号灯的颜色，对信号灯组中具有目标颜色的信号灯所在的区域进行语义分割，对语义分割的结果进行分割边界优化，并基于分割边界优化后的结果输出信号灯的识别结果，能够保证采集的图像信号灯区域人眼可以清晰分辨，因此，可以解决信号灯的准确识别的问题，该信号灯的识别方案具有实时、精准的特性，能够很好地满足智能交通对信号灯识别高精准度的要求。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种信号灯的识别装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图3是根据本发明实施例的信号灯的识别装置的结构框图，如图3所示，该装置包括：获取模块32、多标签检测模块34、语义分割模块36和边界优化和输出模块38。
获取模块32，设置为基于信号灯组的区域位置信息从第一监控图像中获取信号灯组图像。
为了提高灯组中信号灯检测的准确率，在至少一个示例性实施例中，获取模块32可以设置为：通过将所述区域位置信息所指示的区域的宽和/或高外扩预定比例或数值，得到目标区域位置信息；基于所述目标区域位置信息从第一监控图像中获取信号灯组图像。
在具体实施中，第一监控图像即为待识别图像，一般可以通过监控设备采集，例如，可以通过设置于路口的监控摄像机来采集。
在具体实施中，获取模块32所使用的信号灯组的区域位置信息，可以是预先存储的区域位置信息，也可以是定期检测获取的区域位置信息。
例如，在至少一个示例性实施例中，获取模块32所使用的信号灯组的区域位置信息可以是定期检测获取的区域位置信息。相应地，图4是根据本发明实施例的信号灯的识别装置的示例性结构框图，如图4所示，所述装置还可以包括：目标检测模块42，设置为按照预定检测周期，基于第二监控图像进行所述信号灯组的目标检测，得到所述信号灯组的所述区域位置信息。在该过程中，所述第二监控图像一般可以通过监控设备采集，例如，其可以是在预定检测周期到达时监控设备实时采集的监控图像。由于一般情况下监控设备的位置固定，所监控的场景也相对固定，其中的信号灯组本身也是固定的，因此，预定检测周期可以设置一个稍长的时间，例如1个小时，在预定检测周期所控制的两次信号灯组的目标检测之间，可以使用最近一次的目标检测结果(也就是信号灯组的区域位置信息)。对信号灯组进行目标检测，可以是基于目标检测网络根据信号灯组的特征来进行目标检测，具体的目标检测过程可以沿用相关技术中的方法，在此不再赘述。
由于在某些场景下第二监控图像中的灯组相对于第二监控图像总体是极小的目标，例如，900W像素的图像下可能高度<12个像素，直接在大图上进行检测召回率低，故本实施例中，在目标检测模块42按照预定检测周期，基于第二监控图像进行所述信号灯组的目标检测的过程中，可以通过以下方式将输入图像进行切分后送入目标检测网络进行目标检测：
按照所述预定检测周期采集所述第二监控图像；
将所述第二监控图像划分为多个子图像，例如，可以将第二监控图像切分成4等分，分别送入目标检测网络；
基于所述多个子图像进行所述信号灯组的目标检测，得到所述多个子图像中的信号灯组检测框；
将所述多个子图像中的信号灯组检测框还原到所述第二监控图像上进行融合，得到所述信号灯组的所述区域位置信息。
考虑到检测的精度以及完整度，在至少一个示例性实施例中，划分的所述多个子图像中相邻子图像之间可以存在部分重叠，例如，上例中切分成四等分的子图像，每个相邻等分之间可以有1/4的交集。相应地，将所述多个子图像中的信号灯组检测框还原到所述第二监控图像上进行融合，得到所述信号灯组的所述区域位置信息可以包括：
基于所述多个子图像中的信号灯组检测框的位置将所述信号灯组检测框还原到所述第二监控图像上；
在存在重叠或部分重叠的信号灯组检测框的情况下，对重叠或部分重叠的信号灯组检测框进行合并或去重，在合并或去重的过程中，由于存在于子图像边缘的结果有可能是被截断的，因而优先选择较大的框作为主要框或优先选择较大的框予以保留；
基于合并或去重后的信号灯组检测框得到所述信号灯组的所述区域位置信息。
多标签检测模块34，设置为基于所述信号灯组图像进行多标签目标检测以确定所述信号灯组中的信号灯的颜色，或所述信号灯组中的信号灯的颜色和形状。
通过多标签目标检测，可以从多个维度检测信号灯组中的信号灯的状态，例如，可以分为以下三个类别的标间进行多标签目标检测：
第一类标签为灯组、信号灯共2个类别；
第二类标签为红、绿、黄、熄灯、混合颜色共5个类别；
第三类标签为圆灯、数字灯、左转、左前、左转调头、右转、右前、直行、直行左转、直行右转、非机动车、非机动车左转、行人、进度条、未知共15个类别。
考虑到在大气光的影响下信号灯的红绿黄三色都会偏向白色，导致了三种颜色信号灯区分度降低，易出现误识别，故多标签检测模块34在进行多标签目标检测之前，可以先对灯组区域进行大气光滤除，从而减少大气光对信号灯颜色造成的偏色影响，并且使得纹理更加清晰。因此，在至少一个示例性实施例中，多标签检测模块34在基于所述信号灯组图像进行多标签目标检测以确定所述信号灯组中的信号灯的颜色，或所述信号灯组中的信号灯的颜色和形状之前，还可以设置为：
基于大气散射模型对所述信号灯组图像进行大气光滤除，其中，所述大气散射模型为x表示像素点的索引，I(x)表示大气光滤除前的信号灯组图像，J(x)表示大气光滤除后的信号灯组图像，A表示大气光值，t(x)表示像素点x处的透射率。其中，大气光值A和透射率t(x)为未知参数，可以通过暗通道先验理论估计出。
通过该方案，通过大气散射模型和暗通道法能够滤除灯组区域的大气光，从而减少环境光对信号灯造成的偏色影响。
语义分割模块36，设置为基于所述信号灯组中的信号灯的颜色，对所述信号灯组中具有目标颜色的信号灯所在的区域进行语义分割。
为了提高语义分割的准确性，在至少一个示例性实施例中，语义分割模块36基于所述信号灯组中的信号灯的颜色，对所述信号灯组中具有目标颜色的信号灯所在的区域进行语义分割之后，还可以设置为：
基于所述多标签目标检测的对应于所述目标颜色的信号灯的检测框对所述语义分割的结果进行约束。
在至少一个示例性实施例中，基于所述多标签目标检测的对应于所述目标颜色的信号灯的检测框对所述语义分割的结果进行约束可以包括：
将所述语义分割的结果中位于对应于所述目标颜色的信号灯的检测框之外的结果滤除。
边界优化和输出模块38，设置为对所述语义分割的结果进行分割边界优化，并基于所述分割边界优化后的结果输出所述信号灯的识别结果。
在至少一个示例性实施例中，边界优化和输出模块38可以具体设置为：
基于所述语义分割的结果预测出边缘掩膜和方向掩膜，其中，所述边缘掩膜中携带用于区分边缘像素和非边缘像素的指示信息，所述方向掩膜携带用于指示像素方向的指示信息；
基于所述边缘掩膜和所述方向掩膜生成边缘修复掩膜；
通过所述边缘修复掩膜对所述语义分割的结果进行映射，得到所述分割边界优化后的结果。
在至少一个示例性实施例中，所述边缘掩膜中，所述边缘像素的指示信息可以被置为1，所述非边缘像素的指示信息可以被置为0；基于所述边缘掩膜和所述方向掩膜生成边缘修复掩膜可以包括：将所述边缘掩膜和所述方向掩膜中的对应元素相乘得到所述边缘修复掩膜。
在至少一个示例性实施例中，边界优化和输出模块38还可以设置为执行以下至少之一：
基于所述分割边界优化后的结果为具有所述目标颜色的信号灯涂上所述目标颜色，该方法中，由于之前已经对分割结果再进行分割边界优化，因此使用该方法将信号灯涂上目标颜色后的涂色效果会更加贴合；
输出所述信号灯组中的所述信号灯的颜色，或所述信号灯组中的所述信号灯的颜色和形状。
在至少一个示例性实施例中，在基于所述信号灯组图像进行多标签目标检测以确定所述信号灯组中的信号灯的颜色和形状的情况下，边界优化和输出模块38可以设置为通过以下方式输出所述信号灯组中的所述信号灯的颜色，或所述信号灯组中的所述信号灯的颜色和形状：
判断所述信号灯组是混合方向信号灯组还是单方向信号灯组；
在所述信号灯组是所述混合方向信号灯组的情况下，输出所述信号灯组中的所述信号灯的颜色和形状；
在所述信号灯组是所述单方向信号灯组的情况下，输出所述信号灯组中的所述信号灯的颜色。
该方法基于交通信号灯特性进行逻辑判断输出最终识别结果，通过分析交通信号灯的先验特性，将交通信号灯分成机动车信号灯、非机动车信号灯和行人信号灯，分别进行相应的逻辑判断输出最终结果。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在本实施例中，上述计算机可读存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，基于信号灯组的区域位置信息从第一监控图像中获取信号灯组图像；
S2，基于所述信号灯组图像进行多标签目标检测以确定所述信号灯组中的信号灯的颜色，或所述信号灯组中的信号灯的颜色和形状；
S3，基于所述信号灯组中的信号灯的颜色，对所述信号灯组中具有目标颜色的信号灯所在的区域进行语义分割；
S4，对所述语义分割的结果进行分割边界优化，并基于所述分割边界优化后的结果输出所述信号灯的识别结果。
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
在一个示例性实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，基于信号灯组的区域位置信息从第一监控图像中获取信号灯组图像；
S2，基于所述信号灯组图像进行多标签目标检测以确定所述信号灯组中的信号灯的颜色，或所述信号灯组中的信号灯的颜色和形状；
S3，基于所述信号灯组中的信号灯的颜色，对所述信号灯组中具有目标颜色的信号灯所在的区域进行语义分割；
S4，对所述语义分割的结果进行分割边界优化，并基于所述分割边界优化后的结果输出所述信号灯的识别结果。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
以下以一个具体的应用场景为基础，详细描述本发明实施例的信号灯的识别方案。
随着社会不断发展，科技不断进步，城市道路交通管理智能化越来越成熟，传统的交通信号灯接收器需要接线以及而外硬件设施，造成许多不便，此外，许多交通违章智能抓拍系统都强依赖于交通信号灯的检测结果，交通信号灯识别结果错误将导致违章事件误抓漏抓，严重影响交通违章智能抓拍系统的实际性能，故实现一个高精准度的交通信号灯实时识别系统符合当下的迫切需求，本实施例提供了一种高精度的交通信号灯实时识别方法。
图5是根据本发明实施例的信号灯的识别方案的应用流程示意图，如图5所示，该方案包含：输入视频序列、基于大图的信号灯组检测、基于信号灯区域的灯组和小灯检测、红色小灯涂红、输出信号灯识别结果5个流程步骤，以下分别进行详细的举例说明。
(1)基于大图的信号灯组检测
首先，由于在某些场景灯组对于图像是极小的目标，900W像素的图像下高度<12个像素，直接在大图上进行检测召回率低，故将输入图像切分成4等分，且每个相邻等分之间有1/4的交集，分别送入目标检测网络(例如yolov4-tiny)。图6是根据本发明实施例的图像等分的示意图。
其次，将4个子图像得到灯组定位坐标还原到原图上进行融合，融合采用非极大值抑制(Non-Maximum Suppression，简称为NMS)滤除有重叠的检测框(优先选择较大的框，这是由于存在于子图像边缘的结果有可能是被截断的)，最后得到基于大图的灯组检测结果，由于基于大图的目标检测耗时较高不能每帧执行，此外，根据视频信号灯位置只会因为相机抖动而变化，故每间隔1小时执行一次该算法对灯组坐标进行一次修正。
(2)基于信号灯区域的灯组和小灯检测
首先，将基于大图的灯组检测结果高和宽都外扩1/2灯组的宽度。
其次，由于在大气光的影响下信号灯的红绿黄三色都会偏向白色，导致了三种颜色信号灯区分度降低，易出现误识别，故对该区域进行大气光滤除，从而减少大气光对信号灯颜色造成的偏色影响，并且使得纹理更加清晰，大气光滤除方法采用大气散射模型如式(1)：
其中I(x)为原始图像，如图3左侧图像，A为大气光值，t(x)为透射率，J(x)为滤除大气光后的图像，x表示每个像素点，这里只有大气光值A和透射率t(x)为未知参数，可以通过暗通道先验理论估计出，从而可以计算出滤除大气光后的图像J(x)。图7是根据本发明实施例的滤除大气光前后的图像效果对比示意图，图7左侧图像即为滤除大气光前的原始图像I(x)，图7右侧图像即为滤除大气光后的图像J(x)。
接着，对滤除大气光后的图像J(x)进行多标签目标检测，其中第一类标签为灯组、小灯共2个类别，第二类标签为红、绿、黄、熄灯、混合颜色共5个类别，第三类标签为圆灯、数字灯、左转、左前、左转调头、右转、右前、直行、直行左转、直行右转、非机动车、非机动车左转、行人、进度条、未知共15个类别。
(3)红色小灯涂红
首先，对检测得到的每个灯组区域的红色小灯进行语义分割，例如U-NET算法，得到的分割结果先利用先前检测结果中包含在灯组中的红色小灯框进行约束，滤除在红色小灯框外的分割结果。
其次，为了使得红色小灯涂红更加贴合，对分割结果再进行分割边界优化，图8是根据本发明实施例的分别边界优化网络的示意图，如图8所示，主网络由CNN网络和编解码器Encode and Decode组成，通过一个边缘分割分支预测出边缘掩膜，即Boundary Map，边缘像素被置为1，其余区域像素为0，同时通过方向分支预测出每个像素的方向类别，得到方向掩膜(Direction Map)将边缘掩膜Boundary Map和方向掩膜Direction Map对应元素相乘得到边缘修复掩膜，图9是根据本发明实施例的边缘掩膜、方向掩膜和边缘修复掩膜的示意图。图10是根据本发明实施例的边缘修复过程的示意图，如图10所示，将分割结果通过边缘修复掩膜映射后得到边缘修复的结果，修复后的效果如图5中右下图所示。
(4)输出信号灯识别结果
交通信号灯主要分为3种大类，依次为机动车信号灯、非机动车信号灯、行人信号灯，将检测结果中包含非机动车、非机动车左转类别的归为非机动车类，包含行人类别的归为行人类，其余属于机动车信号灯。
下面对这三大类信号灯结果输出策略进行描述：
机动车信号灯：存在两种情况，单方向信号灯组、混合方向信号灯组，通过判断检测结果中灯组内是否包含多个不同方向的小灯检测结果且灯组颜色不为混合颜色，计算出该灯组是否为混合方向灯组，若不为混合灯组，则直接输出灯组的颜色类别(由于灯组包含了小灯的相位信息，故灯组的颜色结果更加准确)，若为混合灯组，则将包含的小灯颜色方向结果依次输出。
非机动车信号灯：存在两种情况，单方向信号灯组、混合方向信号灯组，通过判断检测结果中灯组内是否包含多个不同方向的小灯检测结果且灯组颜色不为混合颜色，计算出该灯组是否为混合方向灯组，若不为混合灯组，则直接输出灯组的颜色类别(由于灯组包含了小灯的相位信息，故灯组的颜色结果更加准确)，若为混合灯组，则将包含的小灯颜色方向结果依次输出。
行人信号灯：仅存在单方向信号灯组，直接输出灯组颜色检测结果。
通过该高精度的交通信号灯实时识别方法，首先，每间隔1小时进行一次基于大图进行图像切分和融合的目标检测方法提供灯组区域，满足灯组区域坐标的高精准度要求，其次，对灯组区域外扩后进行大气光滤除，可以在复杂环境光场景下也有很好的鲁棒性，再对该区域进行灯组、小灯检测，接着，通过目标分割和边缘修复算法对红色小灯进行涂红，保证采集的图像信号灯区域人眼可以清晰分辨，最后，根据交通信号灯的先验特性，将信号灯进行逻辑判断输出最终识别结果，该方法用于交通信号灯识别，具有实时、精准的特性，针对复杂环境光场景也有着较高的鲁棒性，满足智能交通对信号灯识别高精准度的要求。
综上，本发明实施例的方案具有以下优点：
1、本方案提供一种高精度的交通信号灯实时识别方法，首先，每间隔1小时进行一次基于大图进行图像切分和融合的目标检测方法提供灯组区域，其次，滤除灯组区域的大气光，再对该区域进行灯组、小灯检测，接着，通过目标分割和边缘修复算法对红色小灯进行涂红，最后，根据交通信号灯特性进行逻辑判断输出最终识别结果；
2、基于大图进行图像切分和融合的目标检测方法，是将图像切分成相互有着1/4交集的4等分图像，分别进行目标检测后，再融合检测结果；
3、滤除灯组区域的大气光，是通过大气散射模型和暗通道法进行滤除，从而减少环境光对信号灯造成的偏色影响；
4、目标分割和边缘修复算法对红色小灯进行涂红，是通过将目标分割结果进行边缘修复，使得涂红的像素更贴合实际红色小灯像素；
5、交通信号灯特性进行逻辑判断输出最终识别结果，是通过分析交通信号灯的先验特性，将交通信号灯分成机动车信号灯、非机动车信号灯和行人信号灯，分别进行相应的逻辑判断输出最终结果。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (13)
1.一种信号灯的识别方法，其特征在于，包括：
基于信号灯组的区域位置信息从第一监控图像中获取信号灯组图像；
基于所述信号灯组图像进行多标签目标检测以确定所述信号灯组中的信号灯的颜色，或所述信号灯组中的信号灯的颜色和形状；
基于所述信号灯组中的信号灯的颜色，对所述信号灯组中具有目标颜色的信号灯所在的区域进行语义分割；
对所述语义分割的结果进行分割边界优化，并基于所述分割边界优化后的结果输出所述信号灯的识别结果；
基于所述分割边界优化后的结果输出所述信号灯的识别结果包括以下至少之一：基于所述分割边界优化后的结果为具有所述目标颜色的信号灯涂上所述目标颜色；输出所述信号灯组中的所述信号灯的颜色，或所述信号灯组中的所述信号灯的颜色和形状。
2.根据权利要求1所述的方法，其特征在于，在基于信号灯组的区域位置信息从第一监控图像中获取信号灯组图像之前，还包括：
按照预定检测周期，基于第二监控图像进行所述信号灯组的目标检测，得到所述信号灯组的所述区域位置信息。
3.根据权利要求2所述的方法，其特征在于，按照预定检测周期，基于第二监控图像进行所述信号灯组的目标检测，得到所述信号灯组的所述区域位置信息包括：
按照所述预定检测周期采集所述第二监控图像；
将所述第二监控图像划分为多个子图像；
基于所述多个子图像进行所述信号灯组的目标检测，得到所述多个子图像中的信号灯组检测框；
将所述多个子图像中的信号灯组检测框还原到所述第二监控图像上进行融合，得到所述信号灯组的所述区域位置信息。
4.根据权利要求3所述的方法，其特征在于，划分的所述多个子图像中相邻子图像之间存在部分重叠，将所述多个子图像中的信号灯组检测框还原到所述第二监控图像上进行融合，得到所述信号灯组的所述区域位置信息包括：
基于所述多个子图像中的信号灯组检测框的位置将所述信号灯组检测框还原到所述第二监控图像上；
在存在重叠或部分重叠的信号灯组检测框的情况下，对重叠或部分重叠的信号灯组检测框进行合并或去重；
基于合并或去重后的信号灯组检测框得到所述信号灯组的所述区域位置信息。
5.根据权利要求1所述的方法，其特征在于，基于信号灯组的区域位置信息从第一监控图像中获取信号灯组图像包括：
通过将所述区域位置信息所指示的区域的宽和/或高外扩预定比例或数值，得到目标区域位置信息；
基于所述目标区域位置信息从第一监控图像中获取信号灯组图像。
6.根据权利要求1所述的方法，其特征在于，基于所述信号灯组图像进行多标签目标检测以确定所述信号灯组中的信号灯的颜色，或所述信号灯组中的信号灯的颜色和形状之前，还包括：
基于大气散射模型对所述信号灯组图像进行大气光滤除，其中，所述大气散射模型为x表示像素点的索引，I(x)表示大气光滤除前的信号灯组图像，J(x)表示大气光滤除后的信号灯组图像，A表示大气光值，t(x)表示像素点x处的透射率。
7.根据权利要求1所述的方法，其特征在于，基于所述信号灯组中的信号灯的颜色，对所述信号灯组中具有目标颜色的信号灯所在的区域进行语义分割之后，还包括：
基于所述多标签目标检测的对应于所述目标颜色的信号灯的检测框对所述语义分割的结果进行约束。
8.根据权利要求1所述的方法，其特征在于，基于所述多标签目标检测的对应于所述目标颜色的信号灯的检测框对所述语义分割的结果进行约束包括：
将所述语义分割的结果中位于对应于所述目标颜色的信号灯的检测框之外的结果滤除。
9.根据权利要求1所述的方法，其特征在于，对所述语义分割的结果进行分割边界优化包括：
基于所述语义分割的结果预测出边缘掩膜和方向掩膜，其中，所述边缘掩膜中携带用于区分边缘像素和非边缘像素的指示信息，所述方向掩膜携带用于指示像素方向的指示信息；
基于所述边缘掩膜和所述方向掩膜生成边缘修复掩膜；
通过所述边缘修复掩膜对所述语义分割的结果进行映射，得到所述分割边界优化后的结果。
10.根据权利要求9所述的方法，其特征在于，
所述边缘掩膜中，所述边缘像素的指示信息被置为1，所述非边缘像素的指示信息被置为0；
基于所述边缘掩膜和所述方向掩膜生成边缘修复掩膜包括：将所述边缘掩膜和所述方向掩膜中的对应元素相乘得到所述边缘修复掩膜。
11.根据权利要求1所述的方法，其特征在于，在基于所述信号灯组图像进行多标签目标检测以确定所述信号灯组中的信号灯的颜色和形状的情况下，输出所述信号灯组中的所述信号灯的颜色，或所述信号灯组中的所述信号灯的颜色和形状包括：
判断所述信号灯组是混合方向信号灯组还是单方向信号灯组；
在所述信号灯组是所述混合方向信号灯组的情况下，输出所述信号灯组中的所述信号灯的颜色和形状；
在所述信号灯组是所述单方向信号灯组的情况下，输出所述信号灯组中的所述信号灯的颜色。
12.一种信号灯的识别装置，其特征在于，包括：
获取模块，设置为基于信号灯组的区域位置信息从第一监控图像中获取信号灯组图像；
多标签检测模块，设置为基于所述信号灯组图像进行多标签目标检测以确定所述信号灯组中的信号灯的颜色，或所述信号灯组中的信号灯的颜色和形状；
语义分割模块，设置为基于所述信号灯组中的信号灯的颜色，对所述信号灯组中具有目标颜色的信号灯所在的区域进行语义分割；
边界优化和输出模块，设置为对所述语义分割的结果进行分割边界优化，并基于所述分割边界优化后的结果输出所述信号灯的识别结果；
所述输出模块通过如下方式至少之一实现基于所述分割边界优化后的结果输出所述信号灯的识别结果：基于所述分割边界优化后的结果为具有所述目标颜色的信号灯涂上所述目标颜色；输出所述信号灯组中的所述信号灯的颜色，或所述信号灯组中的所述信号灯的颜色和形状。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至11任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011507831.XA CN112597874B (zh) | 2020-12-18 | 2020-12-18 | 信号灯的识别方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011507831.XA CN112597874B (zh) | 2020-12-18 | 2020-12-18 | 信号灯的识别方法、装置及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112597874A CN112597874A (zh) | 2021-04-02 |
| CN112597874B true CN112597874B (zh) | 2024-11-05 |
Family
ID=75199463
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011507831.XA Active CN112597874B (zh) | 2020-12-18 | 2020-12-18 | 信号灯的识别方法、装置及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112597874B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113343873B (zh) * | 2021-06-17 | 2023-07-18 | 亿咖通(湖北)技术有限公司 | 信号灯识别方法、装置、设备、介质及产品 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105930819A (zh) * | 2016-05-06 | 2016-09-07 | 西安交通大学 | 基于单目视觉和gps组合导航系统的实时城区交通灯识别系统 |
| CN107644538A (zh) * | 2017-11-01 | 2018-01-30 | 广州汽车集团股份有限公司 | 交通信号灯的识别方法及装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102018126664A1 (de) * | 2017-10-27 | 2019-05-02 | GM Global Technology Operations LLC | Domänenanpassung durch klassenausgeglichenes selbsttraining mit räumlichen prioren |
| US20190130220A1 (en) * | 2017-10-27 | 2019-05-02 | GM Global Technology Operations LLC | Domain adaptation via class-balanced self-training with spatial priors |
| CN110069986B (zh) * | 2019-03-13 | 2021-11-02 | 北京联合大学 | 一种基于混合模型的交通信号灯识别方法及系统 |
| CN111079563A (zh) * | 2019-11-27 | 2020-04-28 | 北京三快在线科技有限公司 | 交通信号灯识别方法、装置、电子设备和存储介质 |
-
2020
- 2020-12-18 CN CN202011507831.XA patent/CN112597874B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105930819A (zh) * | 2016-05-06 | 2016-09-07 | 西安交通大学 | 基于单目视觉和gps组合导航系统的实时城区交通灯识别系统 |
| CN107644538A (zh) * | 2017-11-01 | 2018-01-30 | 广州汽车集团股份有限公司 | 交通信号灯的识别方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112597874A (zh) | 2021-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3806064B1 (en) | Method and apparatus for detecting parking space usage condition, electronic device, and storage medium | |
| US9171375B2 (en) | Multi-cue object detection and analysis | |
| CN108986465B (zh) | 一种车流量检测的方法、系统及终端设备 | |
| CN104537841A (zh) | 无牌车辆违章检测方法及其检测系统 | |
| CN113887418A (zh) | 车辆违规行驶的检测方法、装置、电子设备及存储介质 | |
| Vani et al. | Intelligent traffic control system with priority to emergency vehicles | |
| CN112349087B (zh) | 一种基于路口信息全息感知的可视化数据输入方法 | |
| CN112597874B (zh) | 信号灯的识别方法、装置及计算机可读存储介质 | |
| CN112084892B (zh) | 一种道路异常事件检测管理装置及其方法 | |
| CN114841910A (zh) | 车载镜头遮挡识别方法及装置 | |
| Arul et al. | Modelling and Simulation of Smart Traffic Light System for Emergency Vehicle using Image Processing Techniques | |
| CN115019242A (zh) | 一种交通场景的异常事件检测方法、装置和处理设备 | |
| CN114332816B (zh) | 道路检测方法及装置、存储介质及电子装置 | |
| CN114693722B (zh) | 一种车辆行驶行为检测方法、检测装置及检测设备 | |
| CN115797880A (zh) | 驾驶行为的确定方法、装置、存储介质及电子装置 | |
| CN115762153A (zh) | 倒车检测方法及装置 | |
| Panda et al. | Application of Image Processing In Road Traffic Control | |
| CN114972731A (zh) | 交通灯检测识别方法及装置、移动工具、存储介质 | |
| CN115797469A (zh) | 信号灯图像处理方法、装置、设备及存储介质 | |
| CN113470012A (zh) | 标线识别方法、装置、存储介质及电子装置 | |
| CN113823095A (zh) | 交通状态的确定方法、装置、存储介质及电子装置 | |
| CN113989731A (zh) | 一种信息的检测方法、计算设备及存储介质 | |
| CN111797728B (zh) | 一种运动物体的检测方法、装置、计算设备及存储介质 | |
| CN116434041B (zh) | 错误感知数据的挖掘方法、装置、设备及自动驾驶车辆 | |
| CN111611938B (zh) | 一种逆行方向确定方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |