[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN114758324A - 安全带佩戴检测方法、装置、存储介质及处理器 - Google Patents

安全带佩戴检测方法、装置、存储介质及处理器 Download PDF

Info

Publication number
CN114758324A
CN114758324A CN202011570898.8A CN202011570898A CN114758324A CN 114758324 A CN114758324 A CN 114758324A CN 202011570898 A CN202011570898 A CN 202011570898A CN 114758324 A CN114758324 A CN 114758324A
Authority
CN
China
Prior art keywords
image
area
wearing
safety belt
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011570898.8A
Other languages
English (en)
Inventor
张赵行
王进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rainbow Software Co ltd
Original Assignee
Rainbow Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rainbow Software Co ltd filed Critical Rainbow Software Co ltd
Priority to CN202011570898.8A priority Critical patent/CN114758324A/zh
Priority to PCT/CN2021/141357 priority patent/WO2022135589A1/zh
Priority to US18/259,381 priority patent/US20240062557A1/en
Priority to DE112021006213.1T priority patent/DE112021006213T5/de
Priority to JP2023539158A priority patent/JP2024500530A/ja
Publication of CN114758324A publication Critical patent/CN114758324A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mechanical Engineering (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Transportation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种安全带佩戴检测方法、装置、存储介质及处理器。该方法包括：获取从交通设备中采集到的目标图像；确定目标图像中的第一图像区域和/或第二图像区域，其中，第一图像区域为目标图像中目标对象的头躯所在的区域，第二图像区域为目标图像中目标对象的脸部所在的区域；根据第一图像区域和/或第二图像区域，确定第三图像区域，其中，第三图像区域为目标图像中的安全带佩戴区域；根据第三图像区域中的图像信息，判断目标图像中安全带的佩戴是否满足预设佩戴要求。通过本申请，解决了相关技术中难以准确判断乘客是否正确佩戴安全带的问题。

Description

安全带佩戴检测方法、装置、存储介质及处理器
技术领域
本申请涉及图像识别技术领域，具体而言，涉及一种安全带佩戴检测方法、装置、存储介质及处理器。
背景技术
随着城市的发展和居民生活水平的提高，对于各式车辆的需求与日俱增，随之而来的是围绕如何保障乘车过程中车内人员安全的技术革新和产业升级。
安全带作为车内人员在行车过程中遇到紧急情况的贴身保护手段，在一些城市，对于运营车辆中副驾驶位置上的乘客也提出了强制性佩戴安全带的要求。因而，如何准确的判断用户是否佩戴安全带也受到更多的关注。
在相关技术中，安全带判别方案以乘客或驾驶员的安全带末端的搭扣是否搭上检测槽为主要判断依据，具体地，将安全带末端和检测槽连接后车辆内部形成检测回路，系统便得到了安全带已经佩戴的反馈。但是，该判断机制不仅增加车内物理器件和系统的复杂度，提高了成本，而且存在检测机制上的漏洞，容易被逃避佩戴安全带的人利用，无法避免相关人员为刻意不佩戴而采用的欺骗手段(如用类似安全带末端的卡扣插入检测槽使系统误以为该位置上的乘客已经系上安全带)。此外，无法对诸如乘坐人员是否正确佩戴安全带等状态进行更深一步的判断。
针对相关技术中难以准确判断乘客是否正确佩戴安全带的问题，目前尚未提出有效的解决方案。
发明内容
本申请提供一种安全带佩戴检测方法、装置、存储介质及处理器，以解决相关技术中难以准确判断乘客是否正确佩戴安全带的问题。
根据本申请的一个方面，提供了一种安全带佩戴检测方法。该方法包括：获取从交通设备中采集到的目标图像；确定目标图像中的第一图像区域和/或第二图像区域，其中，第一图像区域为目标图像中目标对象的头躯所在的区域，第二图像区域为目标图像中目标对象的脸部所在的区域；根据第一图像区域和/或第二图像区域，确定第三图像区域，其中，第三图像区域为目标图像中的安全带佩戴区域；根据第三图像区域中的图像信息，判断目标图像中安全带的佩戴是否满足预设佩戴要求。
可选地，在目标对象的上半身区域出现在目标图像的情况下，目标对象的头躯所在的区域为包含脸部、脖颈、肩膀以及上胸的最小区域；目标对象的脸部所在的区域为包含脸部的最小区域。
可选地，获取从交通设备中采集到的目标图像之前，该方法还包括：获取多张从交通设备中采集到的图像，并对获取到的图像进行是否包含头躯区域的标记，以及对包含头躯区域的图像进行头躯区域位置的标记，得到多张第一标记图像；将多张第一标记图像确定为第一训练集数据，并通过第一训练集数据训练神经网络模型，得到用于检测头躯区域的第一检测器；和/或获取多张从交通设备中采集到的图像，并对获取到的图像进行是否包含脸部区域的标记，以及对包含脸部区域的图像进行脸部区域位置的标记，得到多张第二标记图像；将多张第二标记图像确定为第二训练集数据，并通过第二训练集数据训练神经网络模型，得到用于检测脸部区域的第二检测器。
可选地，在得到第一检测器和第二检测器的情况下，确定目标图像中的第一图像区域包括：通过第一检测器对目标图像进行检测，得到第一图像区域；确定目标图像中的第二图像区域包括：通过第二检测器对目标图像进行检测，得到第二图像区域；在得到第一检测器的情况下，确定目标图像中的第一图像区域包括：通过第一检测器对目标图像进行检测，得到第一图像区域；确定目标图像中的第二图像区域包括：根据目标对象的预设坐姿信息，从第一图像区域中截取得到第二图像区域；在得到第二检测器的情况下，确定目标图像中的第二图像区域包括：通过第二检测器对目标图像进行检测，得到第二图像区域；确定目标图像中的第一图像区域包括：根据目标对象的预设坐姿信息，在目标图像中将第二图像区域向下方、左方以及右方扩展预设区域，得到第一图像区域。
可选地，根据第一图像区域和/或第二图像区域，确定第三图像区域包括：在得到目标图像中的第一图像区域，且得到目标图像中的第二图像区域的情况下，根据安全带正确佩戴时的覆盖区域相对第一图像区域的偏移距离，在目标图像中确定第一安全带佩戴区域，并根据安全带正确佩戴时的覆盖区域相对第二图像区域的偏移距离，在目标图像中确定第二安全带佩戴区域；将第一安全带佩戴区域和第二安全带佩戴区域在目标图像的空间位置上进行平均，得到第三图像区域。
可选地，在根据第一图像区域和/或第二图像区域，确定第三图像区域之前，该方法还包括：获取多张头躯区域图像，并对获取到的图像进行是否包含安全带佩戴区域的标记，以及对包含安全带佩戴区域的图像进行脸部区域位置的标记，得到多张第三标记图像；将多张第三标记图像确定为第三训练集数据，并通过第三训练集数据训练神经网络模型，得到用于检测安全带佩戴区域的第三检测器；在得到目标图像中的第一图像区域，且得到目标图像中的第二图像区域的情况下，根据第一图像区域和/或第二图像区域，确定第三图像区域包括：将第一图像区域在目标图像中的位置、第二图像区域在目标图像中的位置、以及第一图像区域输入第三检测器，检测得到第三图像区域。
可选地，在根据第一图像区域和/或第二图像区域，确定第三图像区域之前，该方法还包括：获取多张头躯区域图像，并对获取到的图像进行是否包含安全带佩戴区域的标记，以及对包含安全带佩戴区域的图像进行安全带佩戴区域位置的标记，得到多张第四标记图像；将多张第四标记图像确定为第四训练集数据，并通过第四训练集数据训练神经网络模型，得到用于检测安全带佩戴区域的第四检测器；在目标图像中检测到第一图像区域的情况下，根据第一图像区域和/或第二图像区域，确定第三图像区域包括：通过第四检测器对第一图像区域进行检测，得到第三图像区域。
可选地，在根据第一图像区域和/或第二图像区域，确定第三图像区域之前，该方法还包括：获取多张包含脸部区域的图像，并对获取到的图像进行是否包含安全带佩戴区域的标记，以及对包含安全带佩戴区域的图像进行安全带佩戴区域位置的标记，得到多张第五标记图像；将多张第五标记图像确定为第五训练集数据，并通过第五训练集数据训练神经网络模型，得到用于检测安全带佩戴区域的第五检测器；在目标图像中检测到第二图像区域的情况下，根据第一图像区域和/或第二图像区域，确定第三图像区域包括：通过第五检测器对第二图像区域进行检测，得到第三图像区域。
可选地，在根据第三图像区域中的图像信息，判断目标图像中安全带的佩戴是否满足预设佩戴要求之前，该方法还包括：获取多张安全带佩戴区域图像，并对获取到的图像进行安全带的佩戴是否满足预设佩戴要求的标记，得到多张第六标记图像；将多张第六标记图像确定为第六训练集数据，并通过第六训练集数据训练神经网络模型，得到用于判断目标图像中的安全带的佩戴是否满足预设佩戴要求的判别器；根据第三图像区域中的图像信息，判断目标图像中安全带的佩戴是否满足预设佩戴要求包括：通过判别器对第三图像区域进行检测，得到安全带的佩戴是否满足预设佩戴要求的结论。
可选地，在根据第三图像区域中的图像信息，判断目标图像中安全带的佩戴是否满足预设佩戴要求之后，该方法还包括：在安全带的佩戴不满足预设佩戴要求的情况下，发出提示信息，其中，提示信息用于提示乘客正确佩戴安全带。
根据本申请的另一方面，提供了一种安全带佩戴检测装置。该装置包括：第一获取单元，用于获取从交通设备中采集到的目标图像；第一确定单元，用于确定目标图像中的第一图像区域和/或第二图像区域，其中，第一图像区域为目标图像中目标对象的头躯所在的区域，第二图像区域为目标图像中目标对象的脸部所在的区域；第二确定单元，用于根据第一图像区域和/或第二图像区域，确定第三图像区域，其中，第三图像区域为目标图像中的安全带佩戴区域；
判断单元，用于根据第三图像区域中的图像信息，判断目标图像中安全带的佩戴是否满足预设佩戴要求。
根据本发明实施例的另一方面，还提供了一种非易失性存储介质，非易失性存储介质包括存储的程序，其中，程序运行时控制非易失性存储介质所在的设备执行一种安全带佩戴检测方法。
根据本发明实施例的另一方面，还提供了一种电子装置，包含处理器和存储器；存储器中存储有计算机可读指令，处理器用于运行计算机可读指令，其中，计算机可读指令运行时执行一种安全带佩戴检测方法。
通过本申请，采用以下步骤：获取从交通设备中采集到的目标图像；确定目标图像中的第一图像区域和/或第二图像区域，其中，第一图像区域为目标图像中目标对象的头躯所在的区域，第二图像区域为目标图像中目标对象的脸部所在的区域；根据第一图像区域和/或第二图像区域，确定第三图像区域，其中，第三图像区域为目标图像中的安全带佩戴区域；根据第三图像区域中的图像信息，判断目标图像中安全带的佩戴是否满足预设佩戴要求，解决了相关技术中难以准确判断乘客是否正确佩戴安全带的问题。通过目标图像中目标对象的头躯所在的区域和/或脸部所在的区域确定安全带佩戴区域，从而判断安全带的佩戴是否满足预设佩戴要求，进而达到了提高判断乘客是否正确佩戴安全带的准确度的效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例提供的安全带佩戴检测方法的流程图；
图2是根据本申请实施例提供的安全带佩戴检测方法中第一图像区域的检测示意图；
图3是根据本申请实施例提供的安全带佩戴检测方法中检测安全带的佩戴是否正确的示意图；
图4是根据相关技术中的图像识别方法检测安全带的佩戴是否正确的示意图；
图5是根据本申请实施例提供的可选的安全带佩戴检测方法的流程图；
图6是根据本申请实施例提供的可选的安全带佩戴检测方法的流程图；
图7是根据本申请实施例提供的可选的安全带佩戴检测方法中检测安全带的佩戴是否正确的示意图；
图8是根据相关技术中的图像识别方法检测安全带的佩戴是否正确的示意图；
图9是根据本申请实施例提供的安全带佩戴检测装置的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请的实施例，提供了一种安全带佩戴检测方法。
图1是根据本申请实施例的安全带佩戴检测方法的流程图。如图1所示，该方法包括以下步骤：
步骤S102，获取从交通设备中采集到的目标图像。
具体地，从交通设备中采集到的目标图像，可以为从交通设备的驾驶舱或乘务舱内的场景图像，其中，交通设备可以为车辆，还可以为机舱、渡轮等需要人员佩戴安全带的设备，本申请实施例不限定交通设备的类型。
步骤S104，确定目标图像中的第一图像区域和/或第二图像区域，其中，第一图像区域为目标图像中目标对象的头躯所在的区域，第二图像区域为目标图像中目标对象的脸部所在的区域。
具体地，目标对象可以为人体，第一图像区域是指在检测人体的头躯时，确定的头躯感兴趣区域(ROI,Region of Interest)，由于头躯检测的英文为Human TorsoDetection，简称HTD，因此，第一图像区域可以简称为HTROI区域，第二图像区域是指检测人脸时，确定的人脸感兴趣区域，由于脸部检测的英文为Face Detection，简称FTD，因此，第二图像区域可以简称为FTROI。
其中，感兴趣区域是指完整图像中某个区域的矩形子图像，以HTROI区域为例，假设完整的目标图像的分辨率为1280×800,若回归出的HTROI区域左上角坐标为(100,100)，右下角的坐标为(350,780)，那么目标图像中HTROI区域指仅包含完整图像中从(100,100)到(350,780)区域中的内容，相当于在目标图像中自(100,100)处截取了一个分辨率为250×680的区域。
可选地，在本申请实施例提供的安全带佩戴检测方法中，在目标图像包含目标对象的上半身区域的情况下，目标对象的头躯所在的区域为包含脸部、脖颈、肩膀以及上胸的最小区域；目标对象的脸部所在的区域为包含脸部的最小区域。
例如，在目标对象为主驾驶位置上的驾驶员时，在整张图像包含主驾驶位置上的驾驶员的上半身的前提下，第一图像区域具体定义为完整包括人脸、脖颈、肩膀以及上胸的最小区域，如图2所示，方框框选的区域即为第一图像区域。第二图像区域，具体定义为在主驾驶位置上的驾驶员的上半身都出现在整张图像的前提下，完整包括人脸的最小区域。
步骤S106，根据第一图像区域和/或第二图像区域，确定第三图像区域，其中，第三图像区域为目标图像中的安全带佩戴区域。
具体地，第三图像区域是指在检测安全带佩戴区域时，确定的安全带佩戴感兴趣区域，由于安全带的英文为Safety Belt，第三图像区域可以简称为SROI。
本申请实施例可以根据安全带在实际场景中的尺寸，通过脸部检测和头躯检测，缩小安全带的检测区域，凸显了安全带自身的特征，提高了安全带佩戴区域的可识别程度。
步骤S108，根据第三图像区域中的图像信息，判断目标图像中安全带的佩戴是否满足预设佩戴要求。
具体地，获取到第三图像区域后，可以将第三图像区域中安全带实际的佩戴位置等信息与安全带正确佩戴的位置等信息进行比较，得到是否正确佩戴安全带的结论。还可以根据包含安全带佩戴区域的多张图像，训练用于判断是否正确佩戴安全带的判别器，从而根据判别器判断是否正确佩戴安全带。
通过本申请实施例，实现了基于视觉的非接触式的人员佩戴安全带状态的识别，在节约设备生产成本的同时，判断人员佩戴安全带的状态的结果更加准确。
本申请实施例提供的安全带佩戴检测方法，通过获取从交通设备中采集到的目标图像；确定目标图像中的第一图像区域和/或第二图像区域，其中，第一图像区域为目标图像中目标对象的头躯所在的区域，第二图像区域为目标图像中目标对象的脸部所在的区域；根据第一图像区域和/或第二图像区域，确定第三图像区域，其中，第三图像区域为目标图像中的安全带佩戴区域；根据第三图像区域中的图像信息，判断目标图像中安全带的佩戴是否满足预设佩戴要求，解决了相关技术中难以准确判断乘客是否正确佩戴安全带的问题。通过目标图像中目标对象的头躯所在的区域和/或脸部所在的区域确定安全带佩戴区域，从而判断安全带的佩戴是否满足预设佩戴要求，进而达到了提高判断乘客是否正确佩戴安全带的准确度的效果。
可选地，在本申请实施例提供的安全带佩戴检测方法中，获取从交通设备中采集到的目标图像之前，该方法还包括：获取多张从交通设备中采集到的图像，并对获取到的图像进行是否包含头躯区域的标记，以及对包含头躯区域的图像进行头躯区域位置的标记，得到多张第一标记图像；将多张第一标记图像确定为第一训练集数据，并通过第一训练集数据训练神经网络模型，得到用于检测头躯区域的第一检测器；和/或获取多张从交通设备中采集到的图像，并对获取到的图像进行是否包含脸部区域的标记，以及对包含脸部区域的图像进行脸部区域位置的标记，得到多张第二标记图像；将多张第二标记图像确定为第二训练集数据，并通过第二训练集数据训练神经网络模型，得到用于检测脸部区域的第二检测器。
需要说明的是，本申请实施例基于卷积神经网络(CNN，Convolutional NeuralNetwork)的检测器的训练集可以通过以下方式获取：在目标对象为车内主驾驶位置的驾驶员的情况下，可以先通过常用的数据获取方式(例如，实际采样)得到车内主驾驶位置场景的多张完整图像，具体地，图像数据量至少包括10000张。然后逐张进行是否包含目标内容的定性标记，并对包含内容的图像继续进行针对目标内容ROI位置定量标记，每个ROI位置的定量标记包含该目标内容在完整图像中的左上、右下二维坐标对以及是否包含目标，所有图像及相关定性、定量标注内容即构成了检测器的训练集。
进一步的，可以通过以下方式训练基于CNN的检测器：在构建神经网络后将训练集中的图像数据按照不同批次随机选择后输入到神经网络，利用网络中的不同权重进行加权操作；经过神经网络输出结果中包括的各种定性、定量结论和其对应的标记数据，与输入数据进行比对，并根据比对误差调整神经网络中权重值，整个过程为一轮训练。经过多轮训练后，神经网络的输出结论会随着权重的调整越来越符合标定的真实结论，当两者差异小于一定程度或者训练次数达到足够多的次数的时候停止训练，根据训练得到的神经网络中的权重确定检测器的参数。
具体地，在目标对象为主驾驶位置上的驾驶员的情况下，在训练用于检测头躯区域的第一检测器(HTROI区域检测器)时，训练集的目标内容为HTROI区域，输入数据为整张车内场景的图像，定量标记内容为HTROI区域的左上、右下坐标对，定性标记内容为是否包括HTROI区域。在训练用于检测脸部区域的第二检测器(FROI区域检测器)时，训练集的目标内容为FROI区域，输入数据为整张车内场景的图像，定量标记内容为FROI区域的左上、右下坐标对，定性标记内容为是否包括FROI区域。
通过本申请实施例，HTROI区域检测器和FROI区域检测器均采用CNN前向推断的方式实现，相比传统图像识别方法识别效果更好，且可以有效的与人工智能硬件的优化方式适配，检测性能更好。
在得到第一检测器和/或第二检测器的情况下，确定第一图像区域的方法有多种，可选地，在本申请实施例提供的安全带佩戴检测方法中，在得到第一检测器和第二检测器的情况下，确定目标图像中的第一图像区域包括：通过第一检测器对目标图像进行检测，得到第一图像区域；确定目标图像中的第二图像区域包括：通过第二检测器对目标图像进行检测，得到第二图像区域。
在得到第一检测器的情况下，确定目标图像中的第一图像区域包括：通过第一检测器对目标图像进行检测，得到第一图像区域；确定目标图像中的第二图像区域包括：根据目标对象的预设坐姿信息，从第一图像区域中截取得到第二图像区域。
在得到第二检测器的情况下，确定目标图像中的第二图像区域包括：通过第二检测器对目标图像进行检测，得到第二图像区域；确定目标图像中的第一图像区域包括：根据目标对象的预设坐姿信息，在目标图像中将第二图像区域向下方、左方以及右方扩展预设区域，得到第一图像区域。
需要说明的是，在一种可选的实施方式中，可以通过基于CNN的方法分别得到HTROI区域检测器和FROI区域检测器，从而根据整张图片的输入直接回归出HTROI区域和FROI区域在目标图像中的二维位置。
在一种可选的实施方式中，也可以先通过CNN的方法得到HTROI区域检测器，通过HTROI区域检测器检测出HTROI区域，再根据人体在主驾驶位置就座时候的大致预知姿态，在HTROI区域的上半部分中间得到FROI区域。
在一种可选的实施方式中，还可以先通过CNN的方法得到FROI区域检测器，通过FROI区域检测器检测出FROI区域，再根据人体在主驾驶位置就座时候的大致预知姿态，将FROI区域向下和向两边扩展得到HTROI区域。
在得到第一图像区域和/或第二图像区域的情况下，确定第三图像区域有多种，可选地，在本申请实施例提供的安全带佩戴检测方法中，根据第一图像区域和/或第二图像区域，确定第三图像区域包括：在得到目标图像中的第一图像区域，且得到目标图像中的第二图像区域的情况下，根据安全带正确佩戴时的覆盖区域相对第一图像区域的偏移距离，在目标图像中确定第一安全带佩戴区域，并根据安全带正确佩戴时的覆盖区域相对第二图像区域的偏移距离，在目标图像中确定第二安全带佩戴区域；将第一安全带佩戴区域和第二安全带佩戴区域在目标图像的空间位置上进行平均，得到第三图像区域。
具体地，如果在目标图像中既检测出了HTROI区域，也检测出了FROI区域，可以分别根据安全带正确佩戴时其覆盖区域相对HTROI区域和FROI区域的偏移在整张图像上设定两个检测人体安全带是否佩戴的SROI区域，将这两个SROI区域进行空间位置上的平均之后得到一个最终的SROI区域，为安全带是否正确佩戴的检测奠定了数据基础。
可选地，在本申请实施例提供的安全带佩戴检测方法中，在根据第一图像区域和/或第二图像区域，确定第三图像区域之前，该方法还包括：获取多张头躯区域图像，并对获取到的图像进行是否包含安全带佩戴区域的标记，以及对包含安全带佩戴区域的图像进行脸部区域位置的标记，得到多张第三标记图像；将多张第三标记图像确定为第三训练集数据，并通过第三训练集数据训练神经网络模型，得到用于检测安全带佩戴区域的第三检测器；在得到目标图像中的第一图像区域和/或第二图像区域的情况下，确定第三图像区域包括：将第一图像区域在目标图像中的位置和/或第二图像区域在目标图像中的位置、以及第一图像区域输入第三检测器，检测得到第三图像区域。
具体地，在目标对象为主驾驶位置上的驾驶员的情况下，在训练用于检测安全带佩戴区域的第三检测器时，其训练集的目标内容为SROI，输入数据为HTROI区域限定的图像范围，定量标记内容为FROI区域在HTROI区域限定图像范围坐标系下的左上、右下坐标对。
进一步的，在得到第三检测器后，可以直接将HTROI区域和FROI区域在图像中的位置坐标(HTROI区域左上、右下两个点的二维坐标值，FDROI左上、右下两个点的二维坐标值，共四个点的二维坐标值)以及整个图像中HTROI区域的图像送入预先训练好的第三检测器中，从而回归出最终的SROI区域进行。
确定第三图像区域的方法有多种，可选地，在本申请实施例提供的安全带佩戴检测方法中，在根据第一图像区域和/或第二图像区域，确定第三图像区域之前，该方法还包括：获取多张头躯区域图像，并对获取到的图像进行是否包含安全带佩戴区域的标记，以及对包含安全带佩戴区域的图像进行安全带佩戴区域位置的标记，得到多张第四标记图像；将多张第四标记图像确定为第四训练集数据，并通过第四训练集数据训练神经网络模型，得到用于检测安全带佩戴区域的第四检测器；在目标图像中检测到第一图像区域的情况下，根据第一图像区域和/或第二图像区域，确定第三图像区域包括：通过第四检测器对第一图像区域进行检测，得到第三图像区域。
具体地，可以通过多张头躯区域图像训练用于检测安全带佩戴区域的第四检测器，训练集的目标内容为STROI区域，输入数据为HTROI区域图像，定量标记内容为SROI区域的左上、右下坐标对，定性标记内容为是否包括SROI区域。进一步的，训练得到第四检测器后，从而通过第四检测器对HTROI区域进行检测，得到STROI区域。
可选地，在本申请实施例提供的安全带佩戴检测方法中，在根据第一图像区域和/或第二图像区域，确定第三图像区域之前，该方法还包括：获取多张包含脸部区域的图像，并对获取到的图像进行是否包含安全带佩戴区域的标记，以及对包含安全带佩戴区域的图像进行安全带佩戴区域位置的标记，得到多张第五标记图像；将多张第五标记图像确定为第五训练集数据，并通过第五训练集数据训练神经网络模型，得到用于检测安全带佩戴区域的第五检测器；在目标图像中检测到第二图像区域的情况下，根据第一图像区域和/或第二图像区域，确定第三图像区域包括：通过第五检测器对第二图像区域进行检测，得到第三图像区域。
具体地，可以通过多张包含脸部区域的图像训练用于检测安全带佩戴区域的第五检测器，训练集的目标内容为STROI区域，输入数据为FROI区域图像，定量标记内容为SROI区域的左上、右下坐标对，定性标记内容为是否包括SROI区域。进一步的，训练得到第五检测器后，从而通过第五检测器对FROI区域进行检测，得到STROI区域。
此外，如果在目标图像中既没有检测出HTROI区域，也没有检测出FROI区域，则认为此时车内没有乘坐人员，此时直接(因无人而)给出未佩戴安全带的判断。
在得到第三区域图像后，根据第三区域图像判断安全带的佩戴状态，可选地，在本申请实施例提供的安全带佩戴检测方法中，在根据第三图像区域中的图像信息，判断目标图像中安全带的佩戴是否满足预设佩戴要求之前，该方法还包括：获取多张安全带佩戴区域图像，并对获取到的图像进行安全带的佩戴是否满足预设佩戴要求的标记，得到多张第六标记图像；将多张第六标记图像确定为第六训练集数据，并通过第六训练集数据训练神经网络模型，得到用于判断目标图像中的安全带的佩戴是否满足预设佩戴要求的判别器；根据第三图像区域中的图像信息，判断目标图像中安全带的佩戴是否满足预设佩戴要求包括：通过判别器对第三图像区域进行检测，得到安全带的佩戴是否满足预设佩戴要求的结论。
具体地，可以基于CNN训练用于判断安全带的佩戴是否满足预设佩戴要求的判别器，其训练集的目标内容为是否正确佩戴安全带的定性结论，输入数据为SROI限定的图像范围，定性标记内容为是否正确佩戴安全带。
进一步的，在得到判别器后，将整个场景图像数据中SROI部分的图像数据送入预先训练好的基于判别器，给出乘坐人是否佩戴安全带的判断。
例如，如图3所示，黑色边框所框选的区域为检测出的HTROI区域，白色边框所框选的区域为检测出的FROI区域，灰色边框所框选的区域为通过FROI区域和HTROI区域得到的SROI区域，将SROI区域的数据送入安全带判别器后，可以得到“With Safety Belt”的正确结论。
而如果不采用本申请实施方式的方案，例如将整张目标图像送入安全带判别器，如图4所示，由于安全带特征相对于人脸或者人体的特征在整张图中较弱，难以被安全带判别器识别，因此在相同的场景下，难以判断出SROI区域，会得到“Without Safety Belt”的错误结论。
可选地，在本申请实施例提供的安全带佩戴检测方法中，在根据第三图像区域中的图像信息，判断目标图像中安全带的佩戴是否满足预设佩戴要求之后，该方法还包括：在安全带的佩戴不满足预设佩戴要求的情况下，发出提示信息，其中，提示信息用于提示乘客正确佩戴安全带。
具体地，如果安全带佩戴错误，会发出乘坐人未正确佩戴安全带，或未佩戴安全带的信息，从而提示乘坐人正确佩戴安全带。
图5是根据本申请实施例的可选的安全带佩戴检测方法的示意图。
本申请实施例的方法可以运行在PC、手机及目前主流的车载嵌入式平台上，其中车载嵌入式平台包括但不局限于ARM架构、DSP架构以及ARM+DSP架构。
如图5所示，该方法包括：
获取车内场景图像数据，在整个车内场景图像数据中进行人体头躯检测(HumanTorso Detection，HTD)，获得人体头躯感兴趣区域(Human Torso ROI，HTROI)。同时，在整个车内场景图像数据中进行人脸检测(Face Detection,FD)，获得人脸感兴趣区域(FaceROI，FROI)。
进一步的，根据HTROI区域和FROI区域的位置关系，估算出安全带佩戴感兴趣区域(Seatbelt ROI，SROI)；也可以直接将HTROI区域和FROI区域在图像中的位置坐标以及整个场景中图像数据中HTROI区域部分的数据送入预先训练好的基于卷积神经网络CNN的回归器中，回归出SROI区域。
需要说明的是，如果HTD和FD中只有一个检测出了ROI区域，也可以只利用该ROI通过位置关系估计出SROI区域；如果HTROI区域和FROI区域都没有检测出来，则认为此时车内没有乘坐人员，此时直接(因无人而)给出未佩戴安全带的判断；
最后，将整个场景图像数据中SROI区域的图像数据送入预先训练好的基于卷积神经网络CNN的安全带判别器，给出乘坐人是否佩戴安全带的判断；如果安全带佩戴错误，也会提示乘坐人未佩戴安全带。
通过本申请实施例，一方面，实现了基于视觉的非接触式的人员佩戴安全带状态的识别，在节约设备生产成本的同时，判断人员佩戴安全带的状态的结果更加准确。另一方面，根据安全带在实际场景中的尺寸，通过脸部检测和头躯检测，缩小安全带的检测区域，凸显了安全带自身的特征，提高了安全带佩戴区域的可识别程度。
图6是根据本申请实施例的可选的安全带佩戴检测方法的示意图。
本申请实施例的方法可以运行在PC、手机及目前主流的车载嵌入式平台上，其中车载嵌入式平台包括但不局限于ARM架构、DSP架构以及ARM+DSP架构。
如图6所示，该方法包括：
在乘坐人员以正常姿势坐在座位上，脸部正视前方的情况下，在整个获取的车内场景数据中采集多帧图像，获得人脸感兴趣区域(Face ROI，FROI)，由于乘坐人员姿势正常，因此每一帧的图像必然可以得到相应的FROI区域。
进一步的，根据多帧图像的FROI区域的位置进行平均，得到平均FROI区域；再根据平均FROI区域，根据预知的FROI区域和SROI的位置关系扩展出的安全带感兴趣区域(ROI,Region of Interest)(Seatbelt ROI，SROI)。
再进一步的，对于之后的每一帧输入的整个车内场景图像，都将其SROI部分的图像数据送入预先训练好的基于CNN的安全带判别器，给出乘坐人是否佩戴安全带的判断；如果安全带佩戴错误，也会提示乘坐人未佩戴安全带；
具体地，如图7所示，白色边框所框选出的区域为检测出的FROI区域，灰色边框所框选出的区域为通过FROI区域预先标定出的SROI，将SROI区域的数据送入CNN的安全带判别器后得到“With Safety Belt”的正确结论。
而如果不采用本申请实施方式的方案，例如将整张目标图像送入安全带判别器，如图8所示，由于安全带特征相对于人脸的特征在整张图中较弱，难以被安全带判别器识别，因此在相同的场景下，难以判断出SROI区域，会得到“Without Safety Belt”的错误结论。
通过本申请实施例，一方面，实现了基于视觉的非接触式的人员佩戴安全带状态的识别，在节约设备生产成本的同时，判断人员佩戴安全带的状态的结果更加准确。另一方面，根据安全带在实际场景中的尺寸，通过脸部检测，缩小安全带的检测区域，凸显了安全带自身的特征，提高了安全带佩戴区域的可识别程度。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例还提供了一种安全带佩戴检测装置，需要说明的是，本申请实施例的安全带佩戴检测装置可以用于执行本申请实施例所提供的用于安全带佩戴检测方法。以下对本申请实施例提供的安全带佩戴检测装置进行介绍。
图9是根据本申请实施例的安全带佩戴检测装置的示意图。如图9所示，该装置包括：第一获取单元10、第一确定单元20、第二确定单元30和判断单元40。
具体地，第一获取单元10，用于获取从交通设备中采集到的目标图像。
第一确定单元20，用于确定目标图像中的第一图像区域和/或第二图像区域，其中，第一图像区域为目标图像中目标对象的头躯所在的区域，第二图像区域为目标图像中目标对象的脸部所在的区域。
第二确定单元30，用于根据第一图像区域和/或第二图像区域，确定第三图像区域，其中，第三图像区域为目标图像中的安全带佩戴区域。
判断单元40，用于根据第三图像区域中的图像信息，判断目标图像中安全带的佩戴是否满足预设佩戴要求。
本申请实施例提供的安全带佩戴检测装置，通过第一获取单元10，用于获取从交通设备中采集到的目标图像；第一确定单元20，用于确定目标图像中的第一图像区域和/或第二图像区域，其中，第一图像区域为目标图像中目标对象的头躯所在的区域，第二图像区域为目标图像中目标对象的脸部所在的区域；第二确定单元30，用于根据第一图像区域和/或第二图像区域，确定第三图像区域，其中，第三图像区域为目标图像中的安全带佩戴区域；判断单元40，用于根据第三图像区域中的图像信息，判断目标图像中安全带的佩戴是否满足预设佩戴要求，解决了相关技术中难以准确判断乘客是否正确佩戴安全带的问题，通过目标图像中目标对象的头躯所在的区域和/或脸部所在的区域确定安全带佩戴区域，从而判断安全带的佩戴是否满足预设佩戴要求，进而达到了提高判断乘客是否正确佩戴安全带的准确度的效果。
可选地，在本申请实施例提供的安全带佩戴检测装置中，在目标图像包含目标对象的上半身区域的情况下，目标对象的头躯所在的区域为包含脸部、脖颈、肩膀以及上胸的最小区域；目标对象的脸部所在的区域为包含脸部的最小区域。
可选地，在本申请实施例提供的安全带佩戴检测装置中，该装置还包括：第二获取单元，用于在获取从交通设备中采集到的目标图像之前，获取多张从交通设备中采集到的图像，并对获取到的图像进行是否包含头躯区域的标记，以及对包含头躯区域的图像进行头躯区域位置的标记，得到多张第一标记图像；第一训练单元，用于将多张第一标记图像确定为第一训练集数据，并通过第一训练集数据训练神经网络模型，得到用于检测头躯区域的第一检测器；和/或第三获取单元，用于获取多张从交通设备中采集到的图像，并对获取到的图像进行是否包含脸部区域的标记，以及对包含脸部区域的图像进行脸部区域位置的标记，得到多张第二标记图像；第二训练单元，用于将多张第二标记图像确定为第二训练集数据，并通过第二训练集数据训练神经网络模型，得到用于检测脸部区域的第二检测器。
可选地，在本申请实施例提供的安全带佩戴检测装置中，第一确定单元20包括第一确定模块和/或第二确定模块，第一确定模块用于在得到第一检测器和第二检测器的情况下，通过第一检测器对目标图像进行检测，得到第一图像区域；第二确定模块用于通过第二检测器对目标图像进行检测，得到第二图像区域；第一确定模块用于在得到第一检测器的情况下，通过第一检测器对目标图像进行检测，得到第一图像区域；第二确定模块用于根据目标对象的预设坐姿信息，从第一图像区域中截取得到第二图像区域；第二确定模块用于在得到第二检测器的情况下，通过第二检测器对目标图像进行检测，得到第二图像区域；第一确定模块用于根据目标对象的预设坐姿信息，在目标图像中将第二图像区域向下方、左方以及右方扩展预设区域，得到第一图像区域。
可选地，在本申请实施例提供的安全带佩戴检测装置中，第二确定单元30包括：第三确定模块，用于在得到目标图像中的第一图像区域，且得到目标图像中的第二图像区域的情况下，根据安全带正确佩戴时的覆盖区域相对第一图像区域的偏移距离，在目标图像中确定第一安全带佩戴区域，并根据安全带正确佩戴时的覆盖区域相对第二图像区域的偏移距离，在目标图像中确定第二安全带佩戴区域；第四确定模块，用于将第一安全带佩戴区域和第二安全带佩戴区域在目标图像的空间位置上进行平均，得到第三图像区域。
可选地，在本申请实施例提供的安全带佩戴检测装置中，该装置还包括：第四获取单元，用于在根据第一图像区域和/或第二图像区域，确定第三图像区域之前，获取多张头躯区域图像，并对获取到的图像进行是否包含安全带佩戴区域的标记，以及对包含安全带佩戴区域的图像进行脸部区域位置的标记，得到多张第三标记图像；第三训练单元，用于将多张第三标记图像确定为第三训练集数据，并通过第三训练集数据训练神经网络模型，得到用于检测安全带佩戴区域的第三检测器；第三确定单元还用于将第一图像区域在目标图像中的位置、第二图像区域在目标图像中的位置、以及第一图像区域输入第三检测器，检测得到第三图像区域。
可选地，在本申请实施例提供的安全带佩戴检测装置中，该装置还包括：第五获取单元，用于在根据第一图像区域和/或第二图像区域，确定第三图像区域之前，获取多张头躯区域图像，并对获取到的图像进行是否包含安全带佩戴区域的标记，以及对包含安全带佩戴区域的图像进行安全带佩戴区域位置的标记，得到多张第四标记图像；第四训练单元，用于将多张第四标记图像确定为第四训练集数据，并通过第四训练集数据训练神经网络模型，得到用于检测安全带佩戴区域的第四检测器；第三确定单元还用于通过第四检测器对第一图像区域进行检测，得到第三图像区域。
可选地，在本申请实施例提供的安全带佩戴检测装置中，该装置还包括：第六获取单元，用于在根据第一图像区域和/或第二图像区域，确定第三图像区域之前，获取多张包含脸部区域的图像，并对获取到的图像进行是否包含安全带佩戴区域的标记，以及对包含安全带佩戴区域的图像进行安全带佩戴区域位置的标记，得到多张第五标记图像；第五训练单元，用于将多张第五标记图像确定为第五训练集数据，并通过第五训练集数据训练神经网络模型，得到用于检测安全带佩戴区域的第五检测器；第三确定单元还用于通过第五检测器对第二图像区域进行检测，得到第三图像区域。
可选地，在本申请实施例提供的安全带佩戴检测装置中，该装置还包括：第七获取单元，用于在根据第三图像区域中的图像信息，判断目标图像中安全带的佩戴是否满足预设佩戴要求之前，获取多张安全带佩戴区域图像，并对获取到的图像进行安全带的佩戴是否满足预设佩戴要求的标记，得到多张第六标记图像；第六训练单元，用于将多张第六标记图像确定为第六训练集数据，并通过第六训练集数据训练神经网络模型，得到用于判断目标图像中的安全带的佩戴是否满足预设佩戴要求的判别器；判断单元40还用于通过判别器对第三图像区域进行检测，得到安全带的佩戴是否满足预设佩戴要求的结论。
可选地，在本申请实施例提供的安全带佩戴检测装置中，该装置还包括：信息发出单元，用于在根据第三图像区域中的图像信息，判断目标图像中安全带的佩戴是否满足预设佩戴要求之后，在安全带的佩戴不满足预设佩戴要求的情况下，发出提示信息，其中，提示信息用于提示乘客正确佩戴安全带。
所述安全带佩戴检测装置包括处理器和存储器，上述第一获取单元10、第一确定单元20、第二确定单元30和判断单元40等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来解决相关技术中难以准确判断乘客是否正确佩戴安全带的问题。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本申请实施例还提供了一种非易失性存储介质，非易失性存储介质包括存储的程序，其中，程序运行时控制非易失性存储介质所在的设备执行一种安全带佩戴检测方法。
本申请实施例还提供了一种电子装置，包含处理器和存储器；存储器中存储有计算机可读指令，处理器用于运行计算机可读指令，其中，计算机可读指令运行时执行一种安全带佩戴检测方法。本文中的电子装置可以是服务器、PC、PAD、手机等。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (13)

1.一种安全带佩戴检测方法，其特征在于，包括：
获取从交通设备中采集到的目标图像；
确定所述目标图像中的第一图像区域和/或第二图像区域，其中，所述第一图像区域为所述目标图像中目标对象的头躯所在的区域，所述第二图像区域为所述目标图像中目标对象的脸部所在的区域；
根据所述第一图像区域和/或所述第二图像区域，确定第三图像区域，其中，所述第三图像区域为所述目标图像中的安全带佩戴区域；
根据所述第三图像区域中的图像信息，判断所述目标图像中安全带的佩戴是否满足预设佩戴要求。
2.根据权利要求1所述的方法，其特征在于，在所述目标对象的上半身区域出现在所述目标图像的情况下，所述目标对象的头躯所在的区域为包含脸部、脖颈、肩膀以及上胸的最小区域；所述目标对象的脸部所在的区域为包含脸部的最小区域。
3.根据权利要求1所述的方法，其特征在于，在获取从交通设备中采集到的目标图像之前，所述方法还包括：
获取多张从所述交通设备中采集到的图像，并对获取到的图像进行是否包含头躯区域的标记，以及对包含所述头躯区域的图像进行头躯区域位置的标记，得到多张第一标记图像；
将所述多张第一标记图像确定为第一训练集数据，并通过所述第一训练集数据训练神经网络模型，得到用于检测所述头躯区域的第一检测器；和/或
获取多张从所述交通设备中采集到的图像，并对获取到的图像进行是否包含脸部区域的标记，以及对包含所述脸部区域的图像进行脸部区域位置的标记，得到多张第二标记图像；
将所述多张第二标记图像确定为第二训练集数据，并通过所述第二训练集数据训练神经网络模型，得到用于检测所述脸部区域的第二检测器。
4.根据权利要求3所述的方法，其特征在于，
在得到所述第一检测器和所述第二检测器的情况下，确定所述目标图像中的所述第一图像区域包括：通过所述第一检测器对所述目标图像进行检测，得到所述第一图像区域；确定所述目标图像中的所述第二图像区域包括：通过所述第二检测器对所述目标图像进行检测，得到所述第二图像区域；
在得到所述第一检测器的情况下，确定所述目标图像中的所述第一图像区域包括：通过所述第一检测器对所述目标图像进行检测，得到所述第一图像区域；确定所述目标图像中的所述第二图像区域包括：根据所述目标对象的预设坐姿信息，从所述第一图像区域中截取得到所述第二图像区域；
在得到所述第二检测器的情况下，确定所述目标图像中的所述第二图像区域包括：通过所述第二检测器对所述目标图像进行检测，得到所述第二图像区域；确定所述目标图像中的所述第一图像区域包括：根据所述目标对象的预设坐姿信息，在所述目标图像中将所述第二图像区域向下方、左方以及右方扩展预设区域，得到所述第一图像区域。
5.根据权利要求1所述的方法，其特征在于，根据所述第一图像区域和/或所述第二图像区域，确定第三图像区域包括：
在得到所述目标图像中的所述第一图像区域，且得到所述目标图像中的所述第二图像区域的情况下，根据安全带正确佩戴时的覆盖区域相对所述第一图像区域的偏移距离，在所述目标图像中确定第一安全带佩戴区域，并根据安全带正确佩戴时的覆盖区域相对所述第二图像区域的偏移距离，在所述目标图像中确定第二安全带佩戴区域；
将所述第一安全带佩戴区域和所述第二安全带佩戴区域在所述目标图像的空间位置上进行平均，得到所述第三图像区域。
6.根据权利要求1所述的方法，其特征在于，在根据所述第一图像区域和/或所述第二图像区域，确定第三图像区域之前，所述方法还包括：
获取多张头躯区域图像，并对获取到的图像进行是否包含安全带佩戴区域的标记，以及对包含所述安全带佩戴区域的图像进行脸部区域位置的标记，得到多张第三标记图像；
将所述多张第三标记图像确定为第三训练集数据，并通过所述第三训练集数据训练神经网络模型，得到用于检测所述安全带佩戴区域的第三检测器；
在得到所述目标图像中的所述第一图像区域，且得到所述目标图像中的所述第二图像区域的情况下，根据所述第一图像区域和/或所述第二图像区域，确定第三图像区域包括：
将所述第一图像区域在所述目标图像中的位置、所述第二图像区域在所述目标图像中的位置、以及所述第一图像区域输入所述第三检测器，检测得到所述第三图像区域。
7.根据权利要求1所述的方法，其特征在于，在根据所述第一图像区域和/或所述第二图像区域，确定第三图像区域之前，所述方法还包括：
获取多张头躯区域图像，并对获取到的图像进行是否包含安全带佩戴区域的标记，以及对包含所述安全带佩戴区域的图像进行安全带佩戴区域位置的标记，得到多张第四标记图像；
将所述多张第四标记图像确定为第四训练集数据，并通过所述第四训练集数据训练神经网络模型，得到用于检测所述安全带佩戴区域的第四检测器；
在所述目标图像中检测到所述第一图像区域的情况下，根据所述第一图像区域和/或所述第二图像区域，确定第三图像区域包括：
通过所述第四检测器对所述第一图像区域进行检测，得到所述第三图像区域。
8.根据权利要求1所述的方法，其特征在于，在根据所述第一图像区域和/或所述第二图像区域，确定第三图像区域之前，所述方法还包括：
获取多张包含脸部区域的图像，并对获取到的图像进行是否包含安全带佩戴区域的标记，以及对包含所述安全带佩戴区域的图像进行安全带佩戴区域位置的标记，得到多张第五标记图像；
将所述多张第五标记图像确定为第五训练集数据，并通过所述第五训练集数据训练神经网络模型，得到用于检测所述安全带佩戴区域的第五检测器；
在所述目标图像中检测到所述第二图像区域的情况下，根据所述第一图像区域和/或所述第二图像区域，确定第三图像区域包括：
通过所述第五检测器对所述第二图像区域进行检测，得到所述第三图像区域。
9.根据权利要求1所述的方法，其特征在于，在根据所述第三图像区域中的图像信息，判断所述目标图像中安全带的佩戴是否满足预设佩戴要求之前，所述方法还包括：
获取多张安全带佩戴区域图像，并对获取到的图像进行安全带的佩戴是否满足预设佩戴要求的标记，得到多张第六标记图像；
将所述多张第六标记图像确定为第六训练集数据，并通过所述第六训练集数据训练神经网络模型，得到用于判断所述目标图像中的安全带的佩戴是否满足预设佩戴要求的判别器；
根据所述第三图像区域中的图像信息，判断所述目标图像中安全带的佩戴是否满足预设佩戴要求包括：
通过所述判别器对所述第三图像区域进行检测，得到所述安全带的佩戴是否满足所述预设佩戴要求的结论。
10.根据权利要求1所述的方法，其特征在于，在根据所述第三图像区域中的图像信息，判断所述目标图像中安全带的佩戴是否满足预设佩戴要求之后，所述方法还包括：
在所述安全带的佩戴不满足所述预设佩戴要求的情况下，发出提示信息，其中，所述提示信息用于提示乘客正确佩戴安全带。
11.一种安全带佩戴检测装置，其特征在于，包括：
第一获取单元，用于获取从交通设备中采集到的目标图像；
第一确定单元，用于确定所述目标图像中的第一图像区域和/或第二图像区域，其中，所述第一图像区域为所述目标图像中目标对象的头躯所在的区域，所述第二图像区域为所述目标图像中目标对象的脸部所在的区域；
第二确定单元，用于根据所述第一图像区域和/或所述第二图像区域，确定第三图像区域，其中，所述第三图像区域为所述目标图像中的安全带佩戴区域；
判断单元，用于根据所述第三图像区域中的图像信息，判断所述目标图像中安全带的佩戴是否满足预设佩戴要求。
12.一种非易失性存储介质，其特征在于，所非易失性存储介质包括存储的程序，其中，所述程序运行时控制所述非易失性存储介质所在的设备执行权利要求1至10中任意一项所述的安全带佩戴检测方法。
13.一种电子装置，其特征在于，包含处理器和存储器，所述存储器中存储有计算机可读指令，所述处理器用于运行所述计算机可读指令，其中，所述计算机可读指令运行时执行权利要求1至10中任意一项所述的安全带佩戴检测方法。
CN202011570898.8A 2020-12-26 2020-12-26 安全带佩戴检测方法、装置、存储介质及处理器 Pending CN114758324A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202011570898.8A CN114758324A (zh) 2020-12-26 2020-12-26 安全带佩戴检测方法、装置、存储介质及处理器
PCT/CN2021/141357 WO2022135589A1 (zh) 2020-12-26 2021-12-24 安全带佩戴检测方法、装置、存储介质及处理器
US18/259,381 US20240062557A1 (en) 2020-12-26 2021-12-24 Method and apparatus for detecting wearing of safety belt, and storage medium and processor
DE112021006213.1T DE112021006213T5 (de) 2020-12-26 2021-12-24 Verfahren und Vorrichtung zur Erkennung des Anlegens eines Sicherheitsgurtes sowie Speichermedium und Prozessor
JP2023539158A JP2024500530A (ja) 2020-12-26 2021-12-24 シートベルト着用検出方法、装置、記憶媒体およびプロセッサ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011570898.8A CN114758324A (zh) 2020-12-26 2020-12-26 安全带佩戴检测方法、装置、存储介质及处理器

Publications (1)

Publication Number Publication Date
CN114758324A true CN114758324A (zh) 2022-07-15

Family

ID=82158845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011570898.8A Pending CN114758324A (zh) 2020-12-26 2020-12-26 安全带佩戴检测方法、装置、存储介质及处理器

Country Status (5)

Country Link
US (1) US20240062557A1 (zh)
JP (1) JP2024500530A (zh)
CN (1) CN114758324A (zh)
DE (1) DE112021006213T5 (zh)
WO (1) WO2022135589A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118411503A (zh) * 2024-06-26 2024-07-30 杭州海康威视系统技术有限公司 目标对象行为检测方法、装置、电子设备及存储介质
CN118411503B (zh) * 2024-06-26 2024-11-12 杭州海康威视系统技术有限公司 目标对象行为检测方法、装置、电子设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105373779B (zh) * 2015-11-10 2018-09-28 北京数字智通科技有限公司 一种车辆安全带智能检测方法及智能检测系统
CN106650567B (zh) * 2016-08-31 2019-12-13 东软集团股份有限公司 一种安全带检测方法和装置
CN106485224B (zh) * 2016-10-13 2019-07-16 北京智芯原动科技有限公司 一种安全带佩戴识别方法及装置
US9878689B1 (en) * 2017-06-30 2018-01-30 Zoox, Inc. Seatbelt system including occupant detector
CN109460699B (zh) * 2018-09-03 2020-09-25 厦门瑞为信息技术有限公司 一种基于深度学习的驾驶员安全带佩戴识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118411503A (zh) * 2024-06-26 2024-07-30 杭州海康威视系统技术有限公司 目标对象行为检测方法、装置、电子设备及存储介质
CN118411503B (zh) * 2024-06-26 2024-11-12 杭州海康威视系统技术有限公司 目标对象行为检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JP2024500530A (ja) 2024-01-09
US20240062557A1 (en) 2024-02-22
WO2022135589A1 (zh) 2022-06-30
DE112021006213T5 (de) 2024-04-04

Similar Documents

Publication Publication Date Title
US11715306B2 (en) System and methods of monitoring driver behavior for vehicular fleet management in a fleet of vehicles using driver-facing imaging device
RU2764646C2 (ru) Система и способы контроля поведения водителя для управления автопарком в парке транспортных средств с использованием устройства формирования изображения, обращенного к водителю
US9101313B2 (en) System and method for improving a performance estimation of an operator of a vehicle
US8744642B2 (en) Driver identification based on face data
JP6421714B2 (ja) 車両制御装置
US11186297B2 (en) Vehicle control system, vehicle control method, and vehicle control program
DE102018005490A1 (de) Fahrerzustands-erkennungsapparat, fahrerzustands-erkennungssystem und fahrerzustands-erkennungsverfahren
US20210182617A1 (en) System and method for detecting abnormal passenger behavior in autonomous vehicles
CN111310650A (zh) 车辆乘坐对象的分类方法、装置、计算机设备和存储介质
DE102019107637A1 (de) Belegungserfassung als Sicherheitsmerkmal für gemeinschaftlich genutzte autonome Fahrzeuge
CN114758324A (zh) 安全带佩戴检测方法、装置、存储介质及处理器
CN109770922B (zh) 嵌入式疲劳检测系统及方法
CA3023698A1 (en) System and methods of monitoring driver behavior for vehicular fleet management in a fleet of vehicles using driver-facing imaging device
WO2021024905A1 (ja) 画像処理装置、モニタリング装置、制御システム、画像処理方法、コンピュータプログラム、及び記憶媒体
US20240087340A1 (en) Vehicle service providing system
EP4394729A1 (en) Seatbelt verification
WO2020261820A1 (ja) 画像処理装置、モニタリング装置、制御システム、画像処理方法、及びプログラム
CN116985820A (zh) 智能座舱系统
CN118288928A (zh) 乘客信息的处理方法及装置
CN118269999A (zh) 一种多模态交互的新能源汽车控制系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination