CN109740412A

CN109740412A - 一种基于计算机视觉的信号灯故障检测方法

Info

Publication number: CN109740412A
Application number: CN201811334431.6A
Authority: CN
Inventors: 高飞; 吴宗林; 刘远超
Original assignee: Zhejiang Haoteng Electronics Polytron Technologies Inc
Current assignee: Zhejiang Haoteng Electronics Polytron Technologies Inc
Priority date: 2018-11-09
Filing date: 2018-11-09
Publication date: 2019-05-10

Abstract

本发明公开了一种基于计算机视觉的信号灯故障检测方法，其特征在于，包括如下步骤：步骤1)：从已有的交通路口的监控摄像机获取图像进行信号灯标定，得到信号灯区域集合L＝{l_i＝(RL_i,YL_i,BL_i,TP_i)|i＝1,2,3,…,n}，步骤2)：对信号灯状态进行持续采样识别，并维持状态的有序集合S＝{(rs_ij,ys_ij,bs_ij,tp_ij,t_j)|i＝1,2,…,n；j＝1,2,…,m}；步骤3)：根据集合S判断信号灯故障，并将第i个信号灯背板的故障记录为W_i，步骤4)：若W_i≠null，则将W_i发送给管理人员；转步骤2)；本发明的有益效果是：在无需对信号灯本身进行改造的情况下，利用现在的监控摄像机采集到的图像进行分析，实现信号灯故障的检测，具有实时性、便捷性等优点。

Description

一种基于计算机视觉的信号灯故障检测方法

技术领域

本发明涉及计算机图像处理技术领域，具体涉及一种基于视觉的信号灯检测方法。

背景技术

信号灯是否工作正常是智能交通系统的重要环节，它将影响到交通安全性以及为人们正常交通的便利性。如何实时检测信号灯的工作状态，并实时反馈信号灯故障对于保证交通的正常具有重要意义。

为了解决信号灯故障检测的问题，国内外学术界、工业界提出了很多方案，目前绝大多数最成功的方式是在信号灯产品中加入故障检测模块，但这种方法具有固有的缺陷，比如可靠性、与信号灯高度集成性、信号灯断电则无法检测，等等，为此，许多用于信号灯状态检测的计算机视觉方法被提出，其中与本发明较为接近的技术方案包括：发明专利申请号：201510763022.8，专利名称：一种自识别故障交通信号灯系统，公开了一种自识别故障交通信号灯系统,包括交通信号灯,所述交通信号灯能够发出交通信号；所述系统还包括采集车辆闯红灯的图像采集装置、控制器和无线信号发射装置,控制器进行控制,当经过该信号灯的连续的10辆车中有设定阈值以上的车辆闯红灯时；发明专利申请号：201810315357.7，名称：基于无人驾驶平台的交通信号灯检测识别方法及系统，提出一种基于无人驾驶平台的交通信号灯检测识别方法基于HSI分量图，通过样本候选区域特征训练分类器,利用分类器对获取的交通信号灯区域进行分类,获取交通信号灯的状态信息；发明专利申请号：201810174371.X，名称：一种交通信号灯的分割方法，公开了一种交通信号灯的分割方法,针对辅助驾驶、自动驾驶等应用中的交通信号灯检测和识别中,由于分割门限不合理导致的信号灯分割不准确的问题,给出了一种利用一维高斯模型进行信号灯分割的方法；发明专利申请号：CN201810298435.7，名称：一种交通信号灯故障检测方法及系统，公开了一种交通信号灯故障检测方法及系统,根据主信号灯在每个周期内的闪烁频率是否满足预设闪烁频率或颜色变化是否满足预设颜色变化,判断主信号灯是否故障；若主信号灯故障,则关闭主信号灯,同时启动辅助信号灯并发出故障报警信号；发明专利申请号：CN201810126429.3，名称：一种智能识别圆形交通信号灯状态的方法，公开了一种智能识别圆形交通信号灯状态的方法；发明专利申请号：CN201611154612.1，名称：交通信号灯重定位方法及装置，关于一种交通信号灯重定位方法及装置,根据至少两帧短曝光监控图像和预先配置的所述目标交通信号灯的初始信息,确定所述目标交通信号灯的位置偏移量；根据所述目标交通信号灯的初始信息和所述目标交通信号灯的位置偏移量,重新定位所述目标交通信号灯在监控图像中的位置；发明专利申请号： CN201711220616.X，名称：一种基于显著性计算的交通信号灯识别方法，公开了一种基于显著性计算的交通信号灯识别方法,实现信号灯标定偏转后交通信号灯识别；发明专利申请号：CN201810179893.9，名称：一种基于物联网的信号灯故障检测系统，涉及一种基于物联网的信号灯故障检测系统；发明专利申请号：CN201711143943.X，名称：一使用计算机视觉和深度学习进行交通信号灯检测和分类，公开了一种用于检测和分类一个或多个交通信号灯的方法；发明专利申请号：CN201610941081.4，名称：倒计时交通信号灯状态检测方法及基于此方法的监控系统，提供了一种基于视频的倒计时交通信号灯状态检测方法及基于此方法的监控系统；发明专利申请号： CN201711322127.5，名称：基于计算机视觉的交叉口标志标线与信号灯智能感知方法，公开了一种基于计算机视觉的交叉口标志标线与信号灯智能感知方法；实用新型专利申请号：CN201720824130.6名称：一种交通信号灯智能识别系统，公开了一种交通信号灯智能识别系统, 通过视觉识别系统对道路前方的红绿灯信号进行检测识别,根据检测的信息预判车辆能否通过前方路口,并语音提示驾驶员是否适合继续前行,辅助驾驶员安全驾驶通过十字路口；发明专利申请号： CN201710852496.9，名称：一种交通信号灯图像处理方法及交通信号灯图像处理装置，公开了一种交通信号灯图像处理方法及交通信号灯图像处理装置,用以在恢复异常交通信号灯的颜色和形状、避免红灯和黄灯误检；发明专利申请号：CN201711157204.6，名称：一种道路交通信号灯状况智能监控系统，公开了一种道路交通信号灯状况智能监控系统,采用测数、测速和信号灯监控三种信息采集方式对交通信息进行采集；发明专利申请号：CN201711195384.7，名称：一种基于多分类器的交通信号灯的识别方法，涉及一种基于多分类器的交通信号灯的识别方法；发明专利申请号：CN201710774141.2，名称：一种信号灯工作状态检测系统及方法，公开了一种信号灯工作状态检测系统和方法,用于解决信号灯检测容易出现漏检和误检的问题；发明专利申请号：CN201610940701.2，名称：一种基于深度学习的信号灯时长检测方法，公开了一种基于深度学习的信号灯时长检测方法，实时地检测出信号灯时长；发明专利申请号：CN201710284682.7，名称：一种交通信号灯状态提醒方法和移动终端，提供了一种交通信号灯状态提醒方法和移动终端,涉及计算机技术领域；发明专利申请号： CN201710245522.1，名称：一种基于卷积网络的交通信号灯识别算法，提出一种基于卷积网络的交通信号灯识别算法。

综上所述，当前方案主要用于检测信号灯状态，对于红绿黄任意二者同亮同灭等频率问题无法检测，此外，它们都是利用信号灯集成的模块进行检测，无法利用现有设备，为此，本发明提出一种基于计算机视觉的信号灯故障检测方法。

发明内容

针对现有技术中存在的问题，本发明提供了解决上述信号灯故障检测存在的问题的一种基于计算机视觉的信号灯故障检测方法。

本发明的技术方案如下：

一种基于计算机视觉的信号灯故障检测方法，其特征在于，包括如下步骤：

步骤1)：从已有的交通路口的监控摄像机获取图像进行信号灯标定，得到信号灯区域集合L＝{l_i＝(RL_i,YL_i,BL_i,TP_i)|i＝1,2,3,…,n}，其中， l_i表示第i个信号灯背板，n表示信号灯背板数量，RL_i表示第i个信号灯背板区域的红灯信号矩形区域，YL_i表示第i个信号灯背板区域的黄灯信号矩形区域，BL_i表示第i个信号灯背板区域的绿灯信号矩形区域，TP_i表示第i个信号灯类型，TP_i∈TPC且TP_i≠null，TPC表示信号灯种类集合且 TPC＝{null,圆灯，左转箭头灯，直行箭头灯，右转箭头灯}，null表示空值；

步骤2)：对信号灯状态进行持续采样识别，并维持状态的有序集合S＝{(rs_ij,ys_ij,bs_ij,tp_ij,t_j)|i＝1,2,…,n；j＝1,2,…,m}；其中，rs_ij表示第i 个信号灯背板红灯部分在第j个时间t_j时的状态，rs_ij∈{1,0}，rs_ij为1 表示亮，0表示灭，ys_ij表示第i个信号灯背板黄灯部分在第j个时间 t_j时的状态，ys_ij∈{1,0}，ys_ij为1表示亮，0表示灭，bs_ij表示第i个信号灯背板绿灯部分在第j个时间t_j时的状态，bs_ij∈{1,0}，bs_ij为1 表示亮，0表示灭，tp_ij表示实际识别到的第i个信号灯背板在第j个时间t_j时的信号类种类，tp_ij∈TPC，t_j表示第j个采集时间，m表示采集的数量；

步骤3)：根据集合S判断信号灯故障，并将第i个信号灯背板的故障记录为W_i，具体为：对每个信号灯背板l_i，设置W_i＝null；若式(1) 满足，则W_i＝第i个信号灯背板红灯亮度异常；若式(2)满足，则W_i＝第i个信号灯种类异常；若式(3)、(4)或(5)任一个满足，则W_i＝第i个信号灯亮灭频率异常；

其中，RT₀表示在一个信号灯周期内红灯亮起的时间，单位为秒；BT₀表示在一个信号灯周期内绿灯亮起的时间，单位为秒；δ表示调节系数，δ∈(0,1.0]；RTP₀表示在T₀时间段内信号灯种类错误的最小次数； I(·)表示示性函数，若该函数的参数表达式为true，则函数返回值为 1，否则为0；RSB₀表示信号灯背板红灯、黄灯或绿灯区域的任意两个同时亮起的允许的次数阈值；

步骤4)：若W_i≠null，则将W_i发送给管理人员；转步骤2)。

所述的一种基于计算机视觉的信号灯故障检测方法，其特征在于，所述步骤2)具体为：

步骤2.1)：对当前时刻t_k，对采集到的图像截取RL_i区域，若该区域的红色分量平均灰度值小于R₀，则记录rs_ik＝0且tp_ik＝null，否则，采用HOG+SVM识别该区域的信号灯类型并记为tp_ik，且记录rs_ik＝1， tp_ik∈TPC；对采集到的图像截取YL_i区域，若该区域的平均灰度值小于Y₀，则记录ys_ik＝0，否则，记录ys_ik＝1；对采集到的图像截取BL_i区域，若该区域的平均灰度值小于B₀，则记录bs_ik＝0，否则，记录bs_ik＝1；其中，R₀表示红灯区域灰度阈值，Y₀表示黄灯区域灰度阈值，B₀表示绿灯区域灰度阈值；

步骤2.2)：若t_m-t₁<T₀，则将(rs_ik,ys_ik,bs_ik,tp_ik,t_k)添加至集合S的尾部，转步骤2)；否则，将(rs_i1,ys_i1,bs_i1,tp_i1,t₁)从集合S中删除，同时将(rs_ik,ys_ik,bs_ik,tp_ik,t_k)添加至集合S的尾部；其中，T₀表示信号灯状态持续采样的最小时间段，单位为秒；

本发明的有益效果是：在无需对信号灯本身进行改造的情况下，利用现在的监控摄像机采集到的图像进行分析，实现信号灯故障的检测，具有实时性、便捷性等优点。

附图说明

图1为本发明信号灯区域标定示意图。

具体实施方法

下面结合实施实例来详细阐述本发明的具体实施方式。

一种基于计算机视觉的信号灯故障检测方法，具体步骤如下：

步骤1)：从已有的交通路口的监控摄像机获取图像进行信号灯标定，得到信号灯区域集合L＝{l_i＝(RL_i,YL_i,BL_i,TP_i)|i＝1,2,3,…,n}，其中， l_i表示第i个信号灯背板，n表示信号灯背板数量，RL_i表示第i个信号灯背板区域的红灯信号矩形区域，YL_i表示第i个信号灯背板区域的黄灯信号矩形区域，BL_i表示第i个信号灯背板区域的绿灯信号矩形区域，TP_i表示第i个信号灯类型，TP_i∈TPC且TP_i≠null，TPC表示信号灯种类集合且 TPC＝{null,圆灯，左转箭头灯，直行箭头灯，右转箭头灯}，null表示空值；在本实施例中，如图1所示，L包含三个信号灯背板： l₁＝(RL₁,YL₁,BL₁,左转箭头灯),l₂＝(RL₂,YL₂,BL₂,直行箭头灯),l₃＝(RL₃,YL₃,BL₃,右转箭头灯)；

步骤2)：对信号灯状态进行持续采样识别，并维持状态的有序集合S＝{(rs_ij,ys_ij,bs_ij,tp_ij,t_j)|i＝1,2,…,n；j＝1,2,…,m}，其中，rs_ij表示第i 个信号灯背板红灯部分在第j个时间t_j时的状态，rs_ij∈{1,0}，rs_ij为1 表示亮，0表示灭，ys_ij表示第i个信号灯背板黄灯部分在第j个时间 t_j时的状态，ys_ij∈{1,0}，ys_ij为1表示亮，0表示灭，bs_ij表示第i个信号灯背板绿灯部分在第j个时间t_j时的状态，bs_ij∈{1,0}，bs_ij为1 表示亮，0表示灭，tp_ij表示实际识别到的第i个信号灯背板在第j个时间t_j时的信号类种类，tp_ij∈TPC，t_j表示第j个采集时间，m表示采集的数量；

具体为：步骤2.1)：对当前时刻t_k，对采集到的图像截取RL_i区域，若该区域的红色分量平均灰度值小于R₀，则记录rs_ik＝0且tp_ik＝null，否则，采用HOG+SVM识别该区域的信号灯类型并记为tp_ik，且记录 rs_ik＝1，tp_ik∈TPC；对采集到的图像截取YL_i区域，若该区域的平均灰度值小于Y₀，则记录ys_ik＝0，否则，记录ys_ik＝1；对采集到的图像截取BL_i区域，若该区域的平均灰度值小于B₀，则记录bs_ik＝0，否则，记录bs_ik＝1；其中，R₀表示红灯区域灰度阈值，Y₀表示黄灯区域灰度阈值，B₀表示绿灯区域灰度阈值；在本实施例中，R₀＝150，Y₀＝120，B₀＝120；

步骤2.2)：若t_m-t₁<T₀，则将(rs_ik,ys_ik,bs_ik,tp_ik,t_k)添加至集合S的尾部，转步骤2)；否则，将(rs_i1,ys_i1,bs_i1,tp_i1,t₁)从集合S中删除，同时将(rs_ik,ys_ik,bs_ik,tp_ik,t_k)添加至集合S的尾部；其中，T₀表示信号灯状态持续采样的最小时间段，单位为秒；在本实施例中，T₀＝300；

其中，RT₀表示在一个信号灯周期内红灯亮起的时间，单位为秒；BT₀表示在一个信号灯周期内绿灯亮起的时间，单位为秒；δ表示调节系数，δ∈(0,1.0]；RTP₀表示在T₀时间段内信号灯种类错误的最小次数； I(·)表示示性函数，若该函数的参数表达式为true，则函数返回值为 1，否则为0；RSB₀表示信号灯背板红灯、黄灯或绿灯区域的任意两个同时亮起的允许的次数阈值；在本实施例中，RT₀＝35，BT₀＝28，δ＝0.8，RTP₀＝10，RSB₀＝30；

步骤4)：若W_i≠null，则将W_i发送给管理人员；转步骤2)。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims

1.一种基于计算机视觉的信号灯故障检测方法，其特征在于，包括如下步骤：

步骤1)：从已有的交通路口的监控摄像机获取图像进行信号灯标定，得到信号灯区域集合L＝{l_i＝(RL_i,YL_i,BL_i,TP_i)|i＝1,2,3,…,n}，其中，l_i表示第i个信号灯背板，n表示信号灯背板数量，RL_i表示第i个信号灯背板区域的红灯信号矩形区域，YL_i表示第i个信号灯背板区域的黄灯信号矩形区域，BL_i表示第i个信号灯背板区域的绿灯信号矩形区域，TP_i表示第i个信号灯类型，TP_i∈TPC且TP_i≠null，TPC表示信号灯种类集合且TPC＝{null,圆灯，左转箭头灯，直行箭头灯，右转箭头灯}，null表示空值；

步骤2)：对信号灯状态进行持续采样识别，并维持状态的有序集合S＝{(rs_ij,ys_ij,bs_ij,tp_ij,t_j)|i＝1,2,…,n；j＝1,2,…,m}；其中，rs_ij表示第i个信号灯背板红灯部分在第j个时间t_j时的状态，rs_ij∈{1,0}，rs_ij为1表示亮，0表示灭，ys_ij表示第i个信号灯背板黄灯部分在第j个时间t_j时的状态，ys_ij∈{1,0}，ys_ij为1表示亮，0表示灭，bs_ij表示第i个信号灯背板绿灯部分在第j个时间t_j时的状态，bs_ij∈{1,0}，bs_ij为1表示亮，0表示灭，tp_ij表示实际识别到的第i个信号灯背板在第j个时间t_j时的信号类种类，tp_ij∈TPC，t_j表示第j个采集时间，m表示采集的数量；

步骤3)：根据集合S判断信号灯故障，并将第i个信号灯背板的故障记录为W_i，具体为：对每个信号灯背板l_i，设置W_i＝null；若式(1)满足，则W_i＝第i个信号灯背板红灯亮度异常；若式(2)满足，则W_i＝第i个信号灯种类异常；若式(3)、(4)或(5)任一个满足，则W_i＝第i个信号灯亮灭频率异常；

其中，RT₀表示在一个信号灯周期内红灯亮起的时间，单位为秒；BT₀表示在一个信号灯周期内绿灯亮起的时间，单位为秒；δ表示调节系数，δ∈(0,1.0]；RTP₀表示在T₀时间段内信号灯种类错误的最小次数；I(·)表示示性函数，若该函数的参数表达式为true，则函数返回值为1，否则为0；RSB₀表示信号灯背板红灯、黄灯或绿灯区域的任意两个同时亮起的允许的次数阈值；

步骤4)：若W_i≠null，则将W_i发送给管理人员；转步骤2)。

2.根据权利要求1所述的一种基于计算机视觉的信号灯故障检测方法，其特征在于，所述步骤2)中具体为：

步骤2.1)：对当前时刻t_k，对采集到的图像截取RL_i区域，若该区域的红色分量平均灰度值小于R₀，则记录rs_ik＝0且tp_ik＝null，否则，采用HOG+SVM识别该区域的信号灯类型并记为tp_ik，且记录rs_ik＝1，tp_ik∈TPC；对采集到的图像截取YL_i区域，若该区域的平均灰度值小于Y₀，则记录ys_ik＝0，否则，记录ys_ik＝1；对采集到的图像截取BL_i区域，若该区域的平均灰度值小于B₀，则记录bs_ik＝0，否则，记录bs_ik＝1；其中，R₀表示红灯区域灰度阈值，Y₀表示黄灯区域灰度阈值，B₀表示绿灯区域灰度阈值；

步骤2.2)：若t_m-t₁<T₀，则将(rs_ik,ys_ik,bs_ik,tp_ik,t_k)添加至集合S的尾部，转步骤2)；否则，将(rs_i1,ys_i1,bs_i1,tp_i1,t₁)从集合S中删除，同时将(rs_ik,ys_ik,bs_ik,tp_ik,t_k)添加至集合S的尾部；其中，T₀表示信号灯状态持续采样的最小时间段，单位为秒。