CN109886205B - 安全带实时监测方法和系统 - Google Patents
安全带实时监测方法和系统 Download PDFInfo
- Publication number
- CN109886205B CN109886205B CN201910136112.2A CN201910136112A CN109886205B CN 109886205 B CN109886205 B CN 109886205B CN 201910136112 A CN201910136112 A CN 201910136112A CN 109886205 B CN109886205 B CN 109886205B
- Authority
- CN
- China
- Prior art keywords
- image
- safety belt
- detection frame
- coordinates
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000012544 monitoring process Methods 0.000 title claims abstract description 15
- 238000001514 detection method Methods 0.000 claims abstract description 86
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种安全带实时监测方法，包括：采用训练好的卷积神经网络模型对采集的图像进行安全带检测，得到包含置信值的目标检测框；判断置信值是否满足设定阈值，当置信值满足设定阈值后，计算目标检测框在图上像素点的坐标；将所得检测框的各点图像坐标与图像整体区域位置进行对比；当检测框的图像坐标在图像的右下区域时，判定佩戴安全带，否则判定未佩戴安全带。在检测框的置信值满足条件后由位置坐标和图像整体的关系进行判定，可以快速、准确地识别安全带的佩戴情况。
Description
技术领域
本发明涉及安全带的检测技术领域，具体地涉及一种安全带实时监测方法和系统。
背景技术
目前现有检测安全带的方法多从图像视觉角度，以深度学习方法进行检测。
目前，现有技术中，使用一种新型的反馈增量式卷积神经网络训练方法以及信息多分支最终评估值获取方法提高了卷积神经网络的检测精度，同时借助随机多尺度选取安全带目标候选区域方法，提高了检测操作的灵活性，但是使用的卷积神经网络较为落后，效率还是较为低下，不适合大量的图片训练和使用，同时对于候选区域的选取有很大的误差，不能精确地选择司机的位置，也无法快速的检测出安全带的配带情况。
现有技术中还使用haar特征区间检测人脸，根据人脸区域确定前排位置，将前排位置分为主驾驶和副驾驶进行安全带的检测。这种方法效率低，效果差，当前排较复杂时，便不能检测出人脸区域，造成错误的检测。
现有技术中主要存在以下问题：
1.检测算法庞大，检测涉及车辆、车窗及包括安全带在内的许多车内环境，相对不够专一；
2. 依赖驾驶员。基于对驾驶员进行识别后再对安全带进行检测，可能存在过度的依赖性；
3. 光照和色彩。车内环境多种多样，夜间行车也常有，在缺少亮光的情况下检测效果往往不能最好；
4.实时性。不少检测系统位于车外，在特定道路上进行检测，满足不了驾驶员实际各种条件驾驶时报警的需要。
发明内容
为了解决上述技术问题，本发明提出了一种安全带实时监测系统和方法，在检测框的置信值满足条件后由位置坐标和图像整体的关系进行判定，可以快速、准确地识别安全带的佩戴情况。
本发明所采用的技术方案是：
一种安全带实时监测方法，包括以下步骤：
S01：采用训练好的卷积神经网络模型对采集的图像进行安全带检测，得到包含置信值的目标检测框；
S02：判断置信值是否满足设定阈值，当置信值满足设定阈值后，计算目标检测框在图上像素点的坐标；
S03：将所得检测框的各点图像坐标与图像整体区域位置进行对比；
S04：当检测框的图像坐标在图像的右下区域时，判定佩戴安全带，否则判定未佩戴安全带。
优选的技术方案中，所述步骤S03中将图像在像素层面上划分图像整体区域为左上、左下、右上、右下区域。
优选的技术方案中，所述步骤S03中将检测框的右下部分的像素坐标作为检测框在图上像素点的坐标。
优选的技术方案中，所述步骤S04之后还包括，计算检测到目标的次数占检测总次数的比率，当判定未佩戴安全带并且比率低于设定阈值时，进行报警。
本发明还公开了一种安全带实时监测系统，包括：
安全带检测模块，采用训练好的卷积神经网络模型对采集的图像进行安全带检测，得到包含置信值的目标检测框；
检测框坐标计算模块，当判断置信值是否满足设定阈值，当置信值满足设定阈值后，计算目标检测框在图上像素点的坐标；
位置比对模块，将所得检测框的各点图像坐标与图像整体区域位置进行对比；
安全带判定模块，当检测框的图像坐标在图像的右下区域时，判定佩戴安全带，否则判定未佩戴安全带。
优选的技术方案中，所述位置比对模块中将图像在像素层面上划分图像整体区域为左上、左下、右上、右下区域。
优选的技术方案中，所述位置比对模块中将检测框的右下部分的像素坐标作为检测框在图上像素点的坐标。
优选的技术方案中，还包括报警模块，计算检测到目标的次数占检测总次数的比率，当判定未佩戴安全带并且比率低于设定阈值时，进行报警。
与现有技术相比，本发明的有益效果是：
本发明不依赖驾驶员头部识别，依靠多帧累计检测和深度学习模型检测双向保证实时监测，在检测框的置信值满足条件后由位置坐标和图像整体的关系进行判定，可以快速、准确地识别安全带的佩戴情况。
附图说明
下面结合附图及实施例对本发明作进一步描述：
图1为本发明安全带实时监测方法的流程图；
图2为本发明安全带检测的一种示例；
图3为本发明安全带检测的又一种示例；
图4为本发明安全带检测的又一种示例；
图5为本发明安全带检测的又一种示例。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
实施例
如图1所示，一种安全带实时监测方法，包括以下步骤：
S01：采用训练好的卷积神经网络模型对采集的图像进行安全带检测，得到包含置信值的目标检测框；
S02：判断置信值是否满足设定阈值，当置信值满足设定阈值后，计算目标检测框在图上像素点的坐标；
S03：将所得检测框的各点图像坐标与图像整体区域位置进行对比；
S04：当检测框的图像坐标在图像的右下区域时，判定佩戴安全带，否则判定未佩戴安全带。
进行图像识别和目标检测的模型由大量的特殊摄像头捕捉到的合适图片所制成的样本训练而来。在大量含有安全带的样本中依靠检测训练的需求，对黑白图像中的安全带进行标注，区别于未被标注的非安全带部分，以此为卷积神经网络生成用于训练的正负样本的基准。具体的卷积神经网络模型这里并不进行限定，具体的训练方式可以采用现有技术中的训练方式进行训练，这里不再进行赘述。
如图2-5所示，依据深度学习训练出的模型反馈出的包含置信值，反映在图中框上的数值，用以决定该检测目标是否被确认为安全带并进行后续检测，所得检测区域的各点图像坐标与图像整体位置做出对比：具体是根据模型反馈而来的检出目标物体的检测框的在图上像素点的坐标，而得到检测框都为矩形。从检测视野得到的图片从像素层面上将其均分为左上、左下、右上、右下4个涵盖整个图的区域，考虑到驾驶员在驾驶过程的各种实际动作和判断检测到的矩形框因为检测物体特殊而呈现出的多个框并存的情况，本发明选取矩形框的右下部分的像素坐标与整个图的右下区域进行对比，只要检测框右下部分像素坐标处于全图的右下区域，就能决定驾驶员是佩戴安全带的。从而做出是否存在检测目标的最终判定值。
每进行一次单帧的检测，对检测的总次数进行加一。为了实现实时性的同时保证未系安全带的报警正确性，根据检测到目标的次数所占检测总次数的比率的大小保证实时性。通过最终的判断确定是否系上安全带的检测结果，若判定未佩戴安全带并且比率低于设定阈值时，进行报警。在检测完一轮后，无论最终结果如何，对检测次数归零重置，继续下一轮的检测。
图3为阳光照射下的视频采集效果。而图2为夜间无光情况。可以看到采集的图像在有无自然光照下保持一致的检测算法运作。增强了整体系统应用的实际性和普适性。
图4为光照对图像有明显分割差异的示例。只要检测视频中安全带显示在画面中，即可视的。目标或大或小，模型的反馈结果就是客观的。前述以多次检测用比率判断的算法逻辑也保证了监测报警结果最终的正确性。
图5可以看出安全带检测的算法较为单纯，不依赖于先对驾驶员头部进行识别，可以对摄像视野范围内的安全带进行直接的检测。图示中每帧都有多个模型反馈的检测区域，监测算法只要某个区域的置信值和检测框的位置达到设定阈值便可判断该帧的检测结果，继而反馈，支持整个系统的算法。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (4)
1.一种安全带实时监测方法，其特征在于，包括以下步骤：
S01：采用训练好的卷积神经网络模型对采集的图像进行安全带检测，得到包含置信值的目标检测框；
S02：判断置信值是否满足设定阈值，当置信值满足设定阈值后，计算目标检测框在图上像素点的坐标；
S03：将所得检测框的各点图像坐标与图像整体区域位置进行对比；
S04：当检测框的图像坐标在图像的右下区域时，判定佩戴安全带，否则判定未佩戴安全带；
所述步骤S03中将图像在像素层面上划分图像整体区域为左上、左下、右上、右下区域；
所述步骤S03中将检测框的右下部分的像素坐标作为检测框在图上像素点的坐标。
2.根据权利要求1所述的安全带实时监测方法，其特征在于，所述步骤S04之后还包括，计算检测到目标的次数占检测总次数的比率，当判定未佩戴安全带并且比率低于设定阈值时，进行报警。
3.一种安全带实时监测系统，其特征在于，包括：
安全带检测模块，采用训练好的卷积神经网络模型对采集的图像进行安全带检测，得到包含置信值的目标检测框；
检测框坐标计算模块，当判断置信值是否满足设定阈值，当置信值满足设定阈值后，计算目标检测框在图上像素点的坐标；
位置比对模块，将所得检测框的各点图像坐标与图像整体区域位置进行对比；
安全带判定模块，当检测框的图像坐标在图像的右下区域时，判定佩戴安全带，否则判定未佩戴安全带；
所述位置比对模块中将图像在像素层面上划分图像整体区域为左上、左下、右上、右下区域；
所述位置比对模块中将检测框的右下部分的像素坐标作为检测框在图上像素点的坐标。
4.根据权利要求3所述的安全带实时监测系统，其特征在于，还包括报警模块，计算检测到目标的次数占检测总次数的比率，当判定未佩戴安全带并且比率低于设定阈值时，进行报警。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910136112.2A CN109886205B (zh) | 2019-02-25 | 2019-02-25 | 安全带实时监测方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910136112.2A CN109886205B (zh) | 2019-02-25 | 2019-02-25 | 安全带实时监测方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109886205A CN109886205A (zh) | 2019-06-14 |
| CN109886205B true CN109886205B (zh) | 2023-08-08 |
Family
ID=66929146
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910136112.2A Active CN109886205B (zh) | 2019-02-25 | 2019-02-25 | 安全带实时监测方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109886205B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110517261A (zh) * | 2019-08-30 | 2019-11-29 | 上海眼控科技股份有限公司 | 安全带状态检测方法、装置、计算机设备和存储介质 |
| EP3848256A1 (en) * | 2020-01-07 | 2021-07-14 | Aptiv Technologies Limited | Methods and systems for detecting whether a seat belt is used in a vehicle |
| CN111539360B (zh) * | 2020-04-28 | 2022-11-22 | 重庆紫光华山智安科技有限公司 | 安全带佩戴识别方法、装置及电子设备 |
| CN111931642A (zh) * | 2020-08-07 | 2020-11-13 | 上海商汤临港智能科技有限公司 | 一种安全带佩戴检测的方法、装置、电子设备及存储介质 |
| US11975683B2 (en) | 2021-06-30 | 2024-05-07 | Aptiv Technologies AG | Relative movement-based seatbelt use detection |
| CN115123141A (zh) * | 2022-07-14 | 2022-09-30 | 东风汽车集团股份有限公司 | 一种基于视觉的乘员安全带提醒装置及方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2734613A1 (en) * | 2008-08-19 | 2010-02-25 | Digimarc Corporation | Methods and systems for content processing |
| JP2010113506A (ja) * | 2008-11-06 | 2010-05-20 | Aisin Aw Co Ltd | 乗員位置検出装置、乗員位置検出方法及び乗員位置検出プログラム |
| CN106022237A (zh) * | 2016-05-13 | 2016-10-12 | 电子科技大学 | 一种端到端的卷积神经网络的行人检测方法 |
| CN106295601A (zh) * | 2016-08-18 | 2017-01-04 | 合肥工业大学 | 一种改进的安全带检测方法 |
| CN106372662A (zh) * | 2016-08-30 | 2017-02-01 | 腾讯科技（深圳）有限公司 | 安全帽佩戴的检测方法和装置、摄像头、服务器 |
| CN106651886A (zh) * | 2017-01-03 | 2017-05-10 | 北京工业大学 | 一种基于超像素聚类优化cnn的云图分割方法 |
| CN108875577A (zh) * | 2018-05-11 | 2018-11-23 | 深圳市易成自动驾驶技术有限公司 | 目标检测方法、装置及计算机可读存储介质 |
| CN108921159A (zh) * | 2018-07-26 | 2018-11-30 | 北京百度网讯科技有限公司 | 用于检测安全帽的佩戴情况的方法和装置 |
| JP2019016394A (ja) * | 2018-10-03 | 2019-01-31 | セコム株式会社 | 画像処理装置 |
-
2019
- 2019-02-25 CN CN201910136112.2A patent/CN109886205B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2734613A1 (en) * | 2008-08-19 | 2010-02-25 | Digimarc Corporation | Methods and systems for content processing |
| JP2010113506A (ja) * | 2008-11-06 | 2010-05-20 | Aisin Aw Co Ltd | 乗員位置検出装置、乗員位置検出方法及び乗員位置検出プログラム |
| CN106022237A (zh) * | 2016-05-13 | 2016-10-12 | 电子科技大学 | 一种端到端的卷积神经网络的行人检测方法 |
| CN106295601A (zh) * | 2016-08-18 | 2017-01-04 | 合肥工业大学 | 一种改进的安全带检测方法 |
| CN106372662A (zh) * | 2016-08-30 | 2017-02-01 | 腾讯科技（深圳）有限公司 | 安全帽佩戴的检测方法和装置、摄像头、服务器 |
| CN106651886A (zh) * | 2017-01-03 | 2017-05-10 | 北京工业大学 | 一种基于超像素聚类优化cnn的云图分割方法 |
| CN108875577A (zh) * | 2018-05-11 | 2018-11-23 | 深圳市易成自动驾驶技术有限公司 | 目标检测方法、装置及计算机可读存储介质 |
| CN108921159A (zh) * | 2018-07-26 | 2018-11-30 | 北京百度网讯科技有限公司 | 用于检测安全帽的佩戴情况的方法和装置 |
| JP2019016394A (ja) * | 2018-10-03 | 2019-01-31 | セコム株式会社 | 画像処理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109886205A (zh) | 2019-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109886205B (zh) | 安全带实时监测方法和系统 | |
| US10127448B2 (en) | Method and system for dismount detection in low-resolution UAV imagery | |
| US9070023B2 (en) | System and method of alerting a driver that visual perception of pedestrian may be difficult | |
| US20190122059A1 (en) | Signal light detection | |
| CN101633356B (zh) | 检测行人的系统及方法 | |
| CN111553214B (zh) | 一种驾驶员吸烟行为检测方法及系统 | |
| CN102968625B (zh) | 基于轨迹的船舶识别与跟踪方法 | |
| US20160350908A1 (en) | Method and system for detecting sea-surface oil | |
| CN108596129A (zh) | 一种基于智能视频分析技术的车辆越线检测方法 | |
| JP6786279B2 (ja) | 画像処理装置 | |
| CN107437318B (zh) | 一种可见光智能识别算法 | |
| CN106127137A (zh) | 一种基于3d轨迹分析的目标检测识别算法 | |
| CN102915433A (zh) | 基于字符组合的车牌定位和识别方法 | |
| CN105530404B (zh) | 影像识别装置及影像识别方法 | |
| CN102610104B (zh) | 一种车载的前方车辆检测方法 | |
| CN103021179A (zh) | 基于实时监控视频中的安全带检测方法 | |
| CN109624918B (zh) | 一种安全带未系提醒系统及方法 | |
| US20110133510A1 (en) | Saturation-based shade-line detection | |
| CN113140093A (zh) | 一种基于AdaBoost算法的疲劳驾驶检测方法 | |
| Santos et al. | Car recognition based on back lights and rear view features | |
| JP2004086417A (ja) | 横断歩道等における歩行者検出方法及び同装置 | |
| CN107480629A (zh) | 一种基于深度信息的疲劳驾驶检测方法及装置 | |
| CN110569732B (zh) | 一种基于驾驶员监控系统的安全带检测方法以及相应的设备 | |
| CN104361317A (zh) | 一种卡口式视频分析未系安全带行为检测系统及其方法 | |
| CN117523612A (zh) | 一种基于Yolov5网络的密集行人检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PP01 | Preservation of patent right |
Effective date of registration: 20240705 Granted publication date: 20230808 |
|
| PP01 | Preservation of patent right |