CN117789307A - 押运违规行为的智能提醒方法、系统和车载电子设备 - Google Patents
押运违规行为的智能提醒方法、系统和车载电子设备 Download PDFInfo
- Publication number
- CN117789307A CN117789307A CN202410078694.4A CN202410078694A CN117789307A CN 117789307 A CN117789307 A CN 117789307A CN 202410078694 A CN202410078694 A CN 202410078694A CN 117789307 A CN117789307 A CN 117789307A
- Authority
- CN
- China
- Prior art keywords
- escort
- behavior
- vehicle
- image
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000006399 behavior Effects 0.000 title claims description 214
- 206010000117 Abnormal behaviour Diseases 0.000 claims abstract description 108
- 238000001514 detection method Methods 0.000 claims abstract description 107
- 238000012549 training Methods 0.000 claims abstract description 19
- 230000002159 abnormal effect Effects 0.000 claims description 36
- 238000010586 diagram Methods 0.000 claims description 35
- 239000013598 vector Substances 0.000 claims description 24
- 230000004927 fusion Effects 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 20
- 230000009471 action Effects 0.000 claims description 14
- 230000005284 excitation Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 11
- 230000006835 compression Effects 0.000 claims description 9
- 238000007906 compression Methods 0.000 claims description 9
- 230000003068 static effect Effects 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000003542 behavioural effect Effects 0.000 claims description 2
- 238000003860 storage Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 6
- 230000001965 increasing effect Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 239000000446 fuel Substances 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000003651 drinking water Substances 0.000 description 2
- 235000020188 drinking water Nutrition 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000002828 fuel tank Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
Abstract
本申请提供一种押运违规行为的智能提醒方法、系统和车载电子设备。应用于车载电子设备的押运违规行为的智能提醒方法，其中，获取押运车上图像采集设备采集到的待检测图像；待检测图像包含押运员行为图像；将待检测图像输入异常行为检测模型，以输出押运员的异常行为信息；异常行为检测模型是利用样本检测图像，以及样本检测图像的押运员异常行为信息进行训练得到的；在异常行为信息的置信度大于用于决策的正常阈值的情况下，则确定违规行为；以及，根据违规行为，进行警报。如此，准确地检测押运员的异常行为，自动监控押运员的违规行为，对违规行为进行自动提醒。
Description
技术领域
本发明涉及车辆运输技术领域，尤其涉及一种押运违规行为的智能提醒方法、系统和车载电子设备。
背景技术
相关技术中的使用安装在押运车内部和周围的摄像头进行实时监控，这些摄像头可以记录押运员的动作、车辆周围的情况以及潜在的威胁，在记录得到押运员的视频数据后，可通过网络传输到专门指挥中心，由监控人员使用指挥中心负责监看和提醒。
但此种方式，不但需要监控人员一直专注于屏幕前监看视频，对网络连接的质量和稳定性要求性高，而且，若是通过隧道或是有信号干扰装置的区域，网络传输受影响会直接无法继续监测和提醒。
发明内容
本申请提供一种改进的押运违规行为的智能提醒方法、系统和车载电子设备。
本申请提供一种押运违规行为的智能提醒方法，应用于车载电子设备，所述押运违规行为的智能提醒方法包括：
获取押运车上图像采集设备采集到的待检测图像；所述待检测图像包含押运员行为图像；
将所述待检测图像输入异常行为检测模型，以输出所述押运员的异常行为信息；所述异常行为检测模型是利用样本检测图像，以及样本检测图像的押运员异常行为信息进行训练得到的；
在所述异常行为信息的置信度大于用于决策的正常阈值的情况下，则确定所述违规行为；
根据所述违规行为，进行警报。
进一步的，所述的押运违规行为的智能提醒方法还包括：
确定所述押运车是否存在异常行驶的潜在风险；
在所述押运车存在所述潜在风险的情况下，更新所述正常阈值为小于所述正常阈值的违规阈值，以及记录所述押运车存在所述潜在风险的情况，并返回继续执行所述获取押运车上图像采集设备采集到的待检测图像的步骤。
进一步的，所述确定所述押运车是否存在异常行驶的潜在风险，包括：获取押运任务执行中押运车的定位位置；判断所述押运车的定位位置与目的地之间的距离是否大于用于反映正常押运的安全距离，以确定所述押运车是否存在异常行驶的潜在风险；
和/或，
所述确定所述押运车是否存在异常行驶的潜在风险，包括：获取押运任务执行中押运车的定位位置；判断述押运车的定位位置是否偏离所述押运任务规定的导航路线，以确定所述押运车是否存在异常行驶的潜在风险；
和/或，
所述确定所述押运车是否存在异常行驶的潜在风险，包括：获取押运任务执行中押运车的当前油耗情况；判断所述押运车的当前油耗情况是否高于异常油耗阈值，以确定所述押运车是否存在异常行驶的潜在风险；
和/或，
所述确定所述押运车是否存在异常行驶的潜在风险，包括：获取押运任务执行中的车辆速度信息；判断所述车辆速度信息的当前车辆速度是否高于异常速度阈值，以确定所述押运车是否存在异常行驶的潜在风险。
进一步的，所述获取押运车上图像采集设备采集到的待检测图像，包括：
在所述押运车处于静止状态的情况下，获取所述押运车内部和周围的图像采集设备采集的待检测图像；所述待检测图像包含押运员行为图像；
所述方法还包括：启动押运车的外部算法，并根据所述违规行为，进行警报；其中，所述根据所述违规行为，进行警报，包括：在所述违规行为是穿戴违规行为的情况下，对所述穿戴违规行为进行警报；和/或，在所述违规行为是枪支违规行为的情况下，对所述枪支违规行为进行警报。
进一步的，所述的押运违规行为的智能提醒方法还包括：获取押运任务执行中的车辆速度信息；相应的，所述根据所述违规行为，进行警报，包括：在所述车辆速度信息为运行速度且所述违规行为是手持移动终端的行为的情况下，对所述手持移动终端的行为进行报警；
和/或，
所述的押运违规行为的智能提醒方法还包括：获取所述押运员相对于押运车的人员相对位置；所述根据所述违规行为，进行警报，包括：在所述人员相对位置处于押运车的外部且所述违规行为是所述押运员手持用于补充能量物品的行为的情况下，对所述押运员手持用于补充能量物品的行为进行警报；
和/或，
所述的押运违规行为的智能提醒方法还包括：获取押运任务执行中押运车的定位位置；相应的，所述根据所述违规行为，进行警报，包括：在所述押运车的定位位置不处于银行网点位置且所述违规行为是所述押运员离开所述押运车相应的用户操作行为的情况下，对所述用户操作行为进行警报。
进一步的，所述异常行为检测模型包括使用YOLO算法的网络结构；所述使用YOLO算法的网络结构包括YOLOv5s网络；所述异常行为检测模型包括主干网络及网络层；所述网络层包括特征融合网络以及检测头网络；
所述将所述待检测图像输入异常行为检测模型，以输出所述押运员的异常行为信息，包括：
通过卷积操作从所述待检测图像中提取押运员的行为特征图；
将所述押运员的行为特征图进行多通道的拆解变换，得到所述押运员行为与所述押运员所处当前环境的全局特征图；
将所述全局特征图输入所述特征融合网络，对不同通道进行加权，得到加权后的行为特征图；
将所述加权后的行为特征图输入所述检测头网络，输出所述押运员的异常行为信息。
进一步的，所述主干网络包括行为特征提取网络；所述行为特征提取网络包括ShuffleNet网络；所述ShuffleNet网络包括特征拼接单元和下采样单元；所述特征拼接单元包括第一分支及第二分支；所述特征拼接单元与所述下采样单元交叉堆叠；
所述通过卷积操作从所述待检测图像中提取押运员的行为特征图，包括：
使用所述特征拼接单元，从所述待检测图像中提取所述押运员行为图像的行为图像特征；对所述行为图像特征，按原始通道数随机且平均地拆分为第一分支及第二分支；使用所述第二分支的卷积，对所述原始通道数进行调整，输出行为特征图的调整后通道数；对所述行为特征图的调整后通道数进行深度可分离卷积，得到第二分支的行为特征图；以及，将所述第二分支的行为特征图与所述第一分支直接向下传递的行为特征图进行拼接，得到拼接后图像；
使用所述下采样单元，对所述待检测图像，进行下采样操作，得到下采样后的行为特征图；
使用所述特征拼接单元，对所述拼接后图像及下采样后的行为特征图重新组合通道，得到通道组合后的行为特征图，作为所述押运员的行为特征图。
进一步的，所述主干网络包括映射变换结构的C3TR模块；所述特征融合网络包括压缩网络和激励网络；所述全局特征提取模型包括所述映射变换结构的C3TR网络；所述将所述押运员的行为特征图进行多通道的拆解变换，得到所述押运员行为与所述押运员所处当前环境的全局特征图，包括：将所述通道组合后的行为特征图的每个通道进行归一化处理，得到归一化后的输入图像；对归一化后输入图像的不同位置，计算当前位置与其他位置的相关权重，生成相应加权向量，得到加权向量后的行为特征图；将加权向量后的行为特征图与所述通道组合后的行为特征图进行第一次残差连接，得到第一残差连接特征；对所述第一残差连接特征进行再次归一化处理，得到再次归一化处理的行为特征图；对再次归一化处理的行为特征图的每个位置的特征向量进行非线性变换和映射，得到变换后的行为特征图；将所述变换后的行为特征图与所述第一残差连接特征再次进行残差连接，得到第二残差连接特征，作为所述押运员行为与所述押运员所处当前环境的全局特征图；
和/或，
所述特征融合网络包括SE通道注意力网络；所述将所述全局特征图输入所述特征融合网络，对不同通道进行加权，得到加权后的行为特征图，包括：将每个通道上的空间特征输入所述特征融合网络，依次进行编码为一个全局特征，进行特征压缩操作，以及经过两个全连接层进行降维和升维，得到维度处理后的行为特征图及激励权重向量；将所述维度处理后的行为特征图与所述激励权重向量相乘进行加权，得到重标定后通道特征，作为所述加权后的行为特征图。
本申请提供一种押运违规行为的智能提醒系统，包括：
图像获取模块，用于获取押运车上图像采集设备采集到的待检测图像；所述待检测图像包含押运员行为图像；
异常检测模块，用于将所述待检测图像输入异常行为检测模型，以输出所述押运员的异常行为信息；所述异常行为检测模型是利用样本检测图像，以及样本检测图像的押运员异常行为信息进行训练得到的；
违规行为确定模块，用于在所述异常行为信息的置信度大于用于决策的正常阈值的情况下，则确定所述违规行为；
警报模块，用于根据所述违规行为，进行警报。
本申请提供一种车载电子设备，包括处理器和存储器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现如上所述的押运违规行为的智能提醒方法。
本申请提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现如上任一项所述的方法。
在一些实施例中，本申请的应用于车载电子设备的押运违规行为的智能提醒方法，其中，获取押运车上图像采集设备采集到的待检测图像；待检测图像包含押运员行为图像；将待检测图像输入异常行为检测模型，以输出押运员的异常行为信息；异常行为检测模型是利用样本检测图像，以及样本检测图像的押运员异常行为信息进行训练得到的；在异常行为信息的置信度大于用于决策的正常阈值的情况下，则确定违规行为；以及，根据违规行为，进行警报。
在本申请实施例中，在押运车上携带具有视频检测功能的车载电子设备，直接在押运车内部由车载电子设备独立完成检测，无需考虑信号及网络问题。并且，通过异常行为检测模型能够实时地对待检测图像进行分析，并准确地检测押运员的异常行为，自动监控押运员的违规行为，对违规行为进行自动提醒。
附图说明
图1所示为本申请实施例的押运违规行为的智能提醒方法的流程示意图；
图2所示为本申请实施例的押运违规行为的智能提醒方法的另一流程示意图；
图3所示为图1所示的押运违规行为的智能提醒方法的异常行为检测模型中的YOLOv5s的网络结构图；
图4所示为图1所示的押运违规行为的智能提醒方法的异常行为检测模型中的改进的YOLO的网络结构图；
图5a所示为图3所示的YOLOv5s的主干网络的ShuffleNetV2基本单元的S_模块(s＝1)的结构图；
图5b所示为图3所示的YOLOv5s的主干网络的ShuffleNetV2基本单元的S_模块(s＝2)的结构图；
图5c所示为图3所示的YOLOv5s的主干网络的基于Transformer编码的结构示意图；
图5d所示为图5c所示的Transformer编码最后一层的C3TR模块的结构示意图；
图5e所示为图3所示的YOLOv5s的特征融合网络的SE通道注意力网络的结构示意图；
图6所示为本申请实施例提供的押运违规行为的智能提醒系统的结构示意图；
图7所示为本申请实施例提供的车载电子设备的模块框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下文的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施例并不代表与本说明书一个或多个实施例相一致的所有实施例。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
为了解决上述对网络连接的质量和稳定性要求性高，以及网络传输受影响会直接无法继续监测和提醒的技术问题，本申请实施例提供一种应用于车载电子设备的押运违规行为的智能提醒方法，其中，
获取押运车上图像采集设备采集到的待检测图像；待检测图像包含押运员行为图像；将待检测图像输入异常行为检测模型，以输出押运员的异常行为信息；异常行为检测模型是利用样本检测图像，以及样本检测图像的押运员异常行为信息进行训练得到的；在异常行为信息的置信度大于用于决策的正常阈值的情况下，则确定违规行为；以及，根据违规行为，进行警报。
在本申请实施例中，在押运车上携带具有视频检测功能的车载电子设备，直接在押运车内部由车载电子设备独立完成检测，无需考虑信号及网络问题。并且，通过异常行为检测模型能够实时地对待检测图像进行分析，并准确地检测押运员的异常行为，自动监控押运员的违规行为，对违规行为进行自动提醒。
本申请实施例应用于车载电子设备为押运车上携带具有视频检测功能的车载电子设备，直接在车内由车载电子设备独立完成检测。此车载电子设备可以作为边缘设备部署。
如图1所示，图1所示为本申请实施例的押运违规行为的智能提醒方法的流程示意图，包括如下步骤110至步骤140：
步骤110，获取押运车上图像采集设备采集到的待检测图像；待检测图像包含押运员行为图像。
上述押运员可以但不限于包括押运驾驶员及除所押运驾驶员以外的其他押运员。
上述图像采集设备用于实现包含押运员行为图像。该图像采集设备还可以但不限于包括车载摄像头及车载摄像机的设备。
上述步骤110中的待检测图像是从图像采集设备采集到视频流可以提取出包含押运员行为视频。上述步骤110可以通过多种方式实现：
在一种方式中，可以实时获取押运车上图像采集设备采集到的待检测图像。
在另一种的方式中，可以达到触发待检测图像的采集条件，获取押运车上图像采集设备采集到的待检测图像。待检测图像的采集条件比如上述押运车存在潜在风险的情况，详细内容请参见下文。
步骤120，将待检测图像输入异常行为检测模型，以输出押运员的异常行为信息；异常行为检测模型是利用样本检测图像，以及样本检测图像的押运员异常行为信息进行训练得到的。
上述异常行为检测模型用于实现将待检测图像中的异常行为作为检测目标，对待检测图像进行检测，产生每个异常行为可能性的概率，这个概率也可以称为置信度。上述异常行为检测模型也可以简称模型。上述异常行为信息还可以但不限于包括异常行为的类别和位置信息。
上述押运违规行为的智能提醒方法还包括：对押运车押运员行为识别数据集采集分拣、标注与划分后，采用如下①至③的步骤训练得到缺陷检测模型：
①、获取押运车内部和周围的图像采集设备拍摄的车载视频；
②、对车载视频进行关键帧截取，获取关键帧图片，作为样本检测图像的数据集；其中，样本检测图像的数据集中押运员的规范行为与违规行为被进行标注，所标注的信息包含类别名称和位置信息；
上述以人工分拣的方式，挑选出所需的含有需要进行目标检测的样本检测图像，获取用于押运车押运员行为识别的上述数据集。
利用标注工具，对样本检测图像中押运员的规范行为与违规行为进行标注，标注的信息包含类别名称和位置信息Xmin(标注框左上角X坐标)、Ymin(标注框左上角Y坐标)、Xmax(标注框右下角X坐标)、以及Ymax(标注框右下角Y坐标)，并以VOC数据格式保存成xml标签文件。
③、将样本检测图像的数据集输入至待训练异常行为检测模型，得到已训练的上述异常行为检测模型。
在一些示例中，对上述数据集进行预处理比如清洗亮度异常、噪声较大和图像模糊的数据，得到预处理后的数据集；更新上述数据集为此预处理后的数据集。并，使用上述数据集内规范行为和违规行为的标注框数量尽量接近符合1:1的比例，然后将样本检测图像的数据集按照3：1：1的数量比例划分出训练集、验证集和测试集。在模型已经设计完毕后，可以在上述划分出的训练集进行训练、在验证集上进行参数选择和早停控制，并在测试集上检验本模型的实际应用效果。如此，可以对待训练异常行为检测模型进行调整优化，得到更优且已训练的上述异常行为检测模型。
步骤130，在异常行为信息的置信度大于用于决策的正常阈值的情况下，则确定违规行为。
上述异常行为信息的置信度大于用于决策的正常阈值时，说明异常行为信息的置信度所判断正确的可能性更高。
步骤140，根据违规行为，进行警报。
本文中的上述步骤140进行警报时，上述方法还包括记录警报情况，以对押运车押运员进行评价，有利于监督，避免潜在隐患。
在本申请实施例中，通过异常行为检测模型进行目标检测，能够对复杂的图像和视频进行高级的智能分析，这使得系统能够更准确地识别和理解押运员的行为，包括异常动作和不寻常的姿势；此外，通过异常行为检测模型能够实时地对视频流进行分析，并准确地检测押运员的异常行为，自动监控押运员的异常行为，自动进行提醒。
如图2所示，图2所示为本申请实施例的押运违规行为的智能提醒方法的另一流程示意图，上述押运违规行为的智能提醒方法还包括步骤101，确定押运车是否存在异常行驶的潜在风险。在押运车存在潜在风险的情况下，执行如下步骤102。在押运车不存在潜在风险的情况，返回继续执行步骤110至步骤140。
步骤102，更新正常阈值为小于正常阈值的违规阈值，以及记录押运车存在潜在风险的情况，并返回继续执行步骤110至步骤140。在执行步骤130时，使用已经更新的违规阈值作为新的阈值，在上述异常行为信息的置信度大于上述违规阈值的情况下，则确定违规行为。在上述押运车不存在潜在风险的情况下，返回继续执行步骤110至步骤140的步骤。
上述更新正常阈值为小于正常阈值的违规阈值目的是使得用于决策的阈值变低。违规阈值用于异常报警且小于正常阈值，也可以称为低阈值。如此，只要稍微有点问题，可以及时的触发警报，提高了警报的灵敏度。
上述更新正常阈值为小于正常阈值的违规阈值的步骤，可以称为异常行为检测模型使用低阈值的状态的步骤，在押运车存在潜在风险时，当前执行步骤可以转跳至上述异常行为检测模型使用低阈值的状态。
上述记录押运车存在潜在风险的情况，是为了后续回溯记录信息，查看不良信息，从而及时地发现隐藏风险。比如，发现押运车押运员是否能够胜任工作。再比如，押运车是否存在油箱漏油等硬件问题。
在本申请实施例中，在押运车存在潜在风险的情况下，当前情况存在很大隐患，非常容易发生不可预知的不良事情，为了避免进一步发生不良事情。此时，任何押运违规行为小的偏差均需要进行警报，需要及时地制止，以提高监控地及时性及有效性。
继续参见图2所示，上述步骤101可以通过如下至少一种实施例实现：
在上述步骤101的第一实施例中，(1)、获取押运任务执行中押运车的定位位置。(2)、判断押运车的定位位置与目的地之间的距离是否大于用于反映正常押运的安全距离，以确定押运车是否存在异常行驶的潜在风险；押运车的定位位置与目的地之间的距离是否大于上述安全距离用于反映当前押运异常，比如押运车被劫或携款逃跑等潜在风险。
示例性的，押运任务开始之后，押运车的GPS(Global Positioning System,全球定位系统)传感器预设好目的地与银行网点的GPS位置信息的安全距离，并实时搜集押运车当前最新的GPS位置信息。若押运车行驶过程中与目的地距离大于安全距离，此时异常行为检测模型会自动跳转低阈值，即若模型对车载摄像头获取的视频信息推理出异常行为，即使此异常行为的置信度很低，只要大于的当前自动跳转的低阈值，也会判定出异常行为，并发出警报。
在上述步骤101的第二实施例中，1)、获取押运任务执行中押运车的定位位置。2)、判断述押运车的定位位置是否偏离押运任务规定的导航路线，以确定押运车是否存在异常行驶的潜在风险。
在上述步骤101的第三实施例中，1)、获取押运任务执行中押运车的当前油耗情况。2)、判断押运车的当前油耗情况是否高于异常油耗阈值，以确定押运车是否存在异常行驶的潜在风险。
传感器搜集到当前油耗情况可以但不限于包括油箱油耗数据。当前油耗情况可以作为押运车速度数据的补充辅助决策，也可以帮助公司管理层决策，加强对押运车管理。
示例性的，本申请实施例结合PCC产品输出的本次押运任务的导航路线和历史油耗情况，分析出押运车驾驶员是否存在不良的驾驶行为以及押运车量状况是否良好，并根据该信息对押运车驾驶员进行评价，以及往后该网点的押运路线选择，同时也能提前检测出押运车是否存在油箱漏油等硬件问题。
在上述步骤101的第四实施例中，1)、获取押运任务执行中的车辆速度信息。2)、判断车辆速度信息的当前车辆速度是否高于异常速度阈值，以确定押运车是否存在异常行驶的潜在风险。
示例性的，在执行押运任务时，押运车内置的传感器可以搜集押运车的当前行驶速度和油箱的每分钟油量变化，针对车辆行驶速度信息，设定异常速度阈值，若传感器检测到当前车辆速度高于异常速度阈值，则模型会将危险驾驶类、紧急逃跑类异常行为跳转到低阈值状态，即此时就算模型对车载视频推理出的以上两类异常行为的置信度很低，只要高于当前低阈值，也会判定以上两类异常行为，也会发出警报，此外，若押运车超过一定时间内未回落到正常行驶速度，也会直接发出警报。
在本申请实施例中，集成押运车速度、油箱油耗数据等辅助异常行为检测模型，通过及时的调整阈值，以降低警报的要求，实现更为灵敏的触发警报。
本申请实施例的押运车可以处于行驶状态比如从银行网点向目的地行驶的过程。押运车也可以处于静止状态比如在银行网点停留装运待运物品。押运车静止状态时的押运员行为与押运车行驶状态时的押运员行为有所区别。因此，可以区分，押运车的外部和外部，相应使用押运车的外部算法和内部算法，实现对押运员行为的检测。在一示例中，可以使用押运车的外部算法和内部算法，实时实现对押运员行为的检测。在另一示例中，当达到触发押运车的外部算法的条件比如押运车处于静止状态时，实现对押运员行为的检测。详细内容请参见下文。
继续结合图1所示，上述步骤140可以采用如下至少一个实施例实现：
上述步骤110进一步可以包括在押运车处于静止状态的情况下，获取押运车内部和周围的图像采集设备采集的待检测图像；待检测图像包含押运员行为图像。
上述图像采集设备可以包括押运车的车身前后左右布置的4个广角的车载摄像头，同时采集押运车四周的影像。
相应的，在上述步骤140的第一实施例中，启动押运车的外部算法，并根据违规行为进行预警；其中，根据违规行为进行预警，包括：在违规行为是穿戴违规行为的情况下，对穿戴违规行为进行警报；和/或，在违规行为是枪支违规行为的情况下，对枪支违规行为进行警报。如此，押运车静止状态时，单独增加异常行为的监控，进而可以减少长时间运行时的数据量。
示例性的，速度为0时，启动押运车外算法并预警，包括穿戴违规行为比如违反穿戴规范告警，枪支违规行为比如违反枪支规范告警，违反行为规范告警等。
在上述押运违规行为的智能提醒方法还包括获取押运任务执行中的车辆速度信息时；相应的，在上述步骤140的第二实施例中，依据车辆速度信息以及押运员的违规行为信息，判断是否报警。进一步的，上述在车辆速度信息为运行速度且违规行为是手持移动终端的行为的情况下，对手持移动终端的行为进行报警。
上述押运任务执行中的车辆速度信息是通过传感器获得的车辆速度。押运任务执行中的车辆速度信息的获取方式可以进一步包括实时获取上述车辆速度信息，或者在将待检测图像输入违规行为检测模型，以输出押运员的违规行为信息之后，获取上述车辆速度信息。
示例性的，可针对实际任务场景制定出规则辅助异常行为检测模型决策，例如，异常行为检测模型检测到押运员在玩手机，同时传感器检测到车辆速度为0，说明此时押运车在等红绿灯或是长距离塞车，则此时对玩手机类异常行为可以忽略，不发出警报；当传感器检测到车辆速度大于0时，恢复玩手机类异常行为的正常检测与判定。
在上述押运违规行为的智能提醒方法还包括：获取押运员相对于押运车的人员相对位置时，相应的，在上述步骤140的第三实施例中，依据人员相对位置以及押运员的违规行为信息，判断是否报警。其中，上述人员相对位置包括处于押运车内或处于押运外部的位置。进一步的，在人员相对位置处于押运车的外部且违规行为是押运员手持用于补充能量物品的行为的情况下，对押运员手持用于补充能量物品的行为进行警报。
上述押运员手持用于补充能量物品的行为用于实现押运员的正常能量补充，但是在押运外部执行警戒任务时需要加强防范。上述押运员手持用于补充能量物品的行为可以但不限于包括捕捉到喝水的配套动作图像(如从押运车上取走水杯，将水杯举起灌入嘴中比如捕捉押运员背影，押运员拧开水杯瓶盖从押运车拿开以及押运员拧开水杯瓶盖放回押运车中)。当然，上述押运员行为图像可以但不限于包括拍摄到车外的押运员图像以及上述捕捉到喝水的配套动作图像。
上述获取押运员相对于押运车的人员相对位置可以进一步包括实时获取上述人员相对位置，或者在将待检测图像输入违规行为检测模型，以输出押运员的违规行为信息之后，获取上述人员相对位置。
示例性的，针对押运员的喝水行为，会进一步检测细分该行为发生在车内还是车外，若喝水行为在车内不会发出预警，而若是检测到该行为是发生在车外，则会发出预警，因为此时大概率是在执行警戒任务当中。
在上述押运违规行为的智能提醒方法还包括：获取押运任务执行中押运车的定位位置时，相应的，在上述步骤140的第四实施例中，依据定位位置以及押运员的违规行为信息，判断是否报警。进一步的，在押运车的定位位置不处于银行网点位置且违规行为是押运员离开押运车相应的用户操作行为的情况下，对用户操作行为进行警报。
在押运车的定位位置不处于银行网点位置说明押运员在押运车内执行押运任务，不能私自离开押运车，因此，上述押运员离开押运车相应的用户操作行为可以但不限于包括押运员离开座位的行为或者解开安全带行为。
上述获取押运任务执行中押运车的定位位置可以进一步包括实时获取上述运车的定位位置，或者在将待检测图像输入违规行为检测模型，以输出押运员的违规行为信息之后，获取上述押运车的定位位置。
示例性的，可以根据押运车上的GPS传感器信息，若押运车当前处于银行网点位置，则异常行为检测模型检测到押运员解开安全带行为不会判定异常行为，若押运车当前与银行网点位置大于安全距离或者押运车的车辆速度大于零，则异常行为检测模型检测到押运员解开安全带行为会直接判定异常行为，并发出警报。
当然上述本申请举例的上述步骤140的多种实施例，是通过本文集成自定义规则，进行警报。其他任何能够对违规行为的警报，均属于本申请实施例的保护范围。
图3所示为图1所示的押运违规行为的智能提醒方法的异常行为检测模型中的YOLOv5s的网络结构图。
结合图1和图2，如图3所示，上述异常行为检测模型包括使用YOLO算法的网络结构。
上述原始的YOLOv5s网络是一种基于单阶段目标检测的算法，原始的YOLOv5s网络可以但不限于包括YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x四个版本。
异常行为检测模型包括主干网络及网络层；网络层包括特征融合网络以及检测头网络。
将待检测图像输入异常行为检测模型，以输出押运员的异常行为信息，包括如下第一步骤至第四步骤：
第一步骤，通过卷积操作从待检测图像中提取押运员的行为特征图；特征图是指在卷积神经网络中，通过卷积操作从输入图像中提取出来的图像特征。
第二步骤，将押运员的行为特征图进行多通道的拆解变换，得到押运员行为与押运员所处当前环境的全局特征图；
第三步骤，将全局特征图输入特征融合网络，对不同通道进行加权，得到加权后的行为特征图；
第四步骤，将加权后的行为特征图输入检测头网络，输出押运员的异常行为信息。
上述所使用原始的YOLO算法的网络结构可以但不限于为YOLOv5s网络。YOLOv5s网络是深度最小、特征图的宽度最小的网络。
继续参见图3所示，YOLOv5s网络的架构可以分为四个部分：输入端，主干网络Backbone，颈部网络Neck及头部网络Head。各个部分具体如下：
输入端，用于主要包含Mosaic数据增强、自适应锚框计算和自适应图片缩放。可以提高模型的泛化能力和鲁棒性。
主干网络，用于通过卷积提取输入的押运车押运员行为图像的特征。YOLOv5s采用CSPDarknet53作为主干网络，它是一种卷积神经网络，使用残差连接来减少训练时间，并采用跨阶段连接来提高特征表示能力。
颈部网络，用于加强主干网络提取的特征。YOLOv5s的颈部网络使用了FPN+PAN的结构，FPN自上而下把深层的语义特征传到浅层，增强多个尺度上的语义表达。PAN自下而上把浅层的定位信息传导到深层，增强多个尺度上的定位能力。
头部网络，用于在输入的押运车押运员行为图像中检测违规行为并输出它们的位置和类别，分别预测目标的类别、置信度和位置信息。
在本申请实施例中，通过使用YOLOv5s网络，获得更为准确地异常行为信息。
图4所示为图1所示的押运违规行为的智能提醒方法的异常行为检测模型中的改进的YOLO的网络结构图。本申请改进的YOLO可以包括使用开源的技术模块ShuffleNetV2替换原始的CSP Darknet53作为特征提取器；使用C3TR模块替换原始的YOLOv5s中主干网络最后一层的原始的C3模块；以及，在颈部网络Neck的C3与卷积中间的SE(Squeeze-and-Excitation)通道注意力模块。详细各部分的说明请参见下文。
目前原始的YOLOv5的主干提取网络采用CSP Darknet53网络提取特征，虽然CSPDarknet53检测性能优秀，但网络结构复杂且参数量大，难以在算力有限的边缘设备上部署。本申请实施例适合在移动设备和嵌入式设备中部署的轻量化网络，其中ShuffleNetV2能高效地进行特征提取，有效降低模型的参数和计算量，本文基于此优势，使用ShuffleNetV2作为改进网络的特征提取网络。
图5a和图5b所示分别为图3所示的YOLOv5s的主干网络的ShuffleNetV2基本单元的S_模块(s＝1)及S_模块(s＝2)的结构图。
如图5a和5b所示，上述主干网络包括行为特征提取网络；行为特征提取网络包括ShuffleNet网络；ShuffleNet网络包括特征拼接单元和下采样单元；特征拼接单元包括第一分支及第二分支；特征拼接单元与下采样单元交叉堆叠。
通过卷积操作从待检测图像中提取押运员的行为特征图，包括如下第1步骤至第7步骤：
第1步骤，使用特征拼接单元，从待检测图像中提取押运员行为图像的行为图像特征。
第2步骤，对行为图像特征，按原始通道数随机且平均地拆分为第一分支及第二分支。
第3步骤，使用第二分支的卷积，对原始通道数进行调整，输出行为特征图的调整后通道数。
第4步骤，对行为特征图的调整后通道数进行深度可分离卷积，得到第二分支的行为特征图。
第5步骤，将第二分支的行为特征图与第一分支直接向下传递的行为特征图进行拼接，得到拼接后图像。
第6步骤，使用下采样单元，对待检测图像，进行下采样操作，得到下采样后的行为特征。
第7步骤，使用特征拼接单元，对拼接后图像及下采样后的行为特征图重新组合通道，得到通道组合后的行为特征图，作为押运员的行为特征图。
本申请实施例ShuffleNet网络可以但不限于包括ShuffleNetV2。ShuffleNetV2继承了ShuffleNetV1的深度可分离卷积(Depth wise Separable Convolution)和通道混洗(Channel Shuffle)，并提出了通道划分(Channel Split)。ShuffleNetV2有两个基本单元，分别是基本单元(a)和下采样单元(b)，具体结构如图5a和图5b所示。
当特征图输入图5a所示的基本单元时，首先按通道数随机且平均地拆分为左右两个分支，右分支中的1×1的常规卷积对通道数进行调整，让后面3×3的深度可分离卷积可以更好地处理特征图，与常规卷积相比，深度可分离卷积能显著减少参数量和计算量，加速网络的训练和推理速度。再经过1×1的常规卷积调整输出特征图的通道数，经历三次卷积后右分支特征图通道数不变，内存访问量降低。右分支输出的特征图与左分支直接向下传递的特征图进行拼接，经过通道混洗，实现通道之间的信息交互和消息整合，提高网络的表达能力。
当特征图输入图5b所示的下采样单元时，主要对输入的特征图进行下采样操作，将特征图尺寸减半，同时增加网络的感受野，进一步减少网络的计算量和参数量，同时通道数会加倍，提高网络的特征提取能力和表达能力。最后经过通道混洗，使得不同通道之间的信息得到充分地交流和利用。
针对原主干提取网络与本步骤换用的ShuffleNetV2的轻量化特征提取网络的消融实验发现，二者对押运车押运员行为识别数据集的目标检测指标mAP相近，但是换用ShuffleNetV2的轻量化特征提取网络的模型占用资源更少。可见，本申请实施例使用ShuffleNetV2，可以在维持原有的特征提取能力的基础上，实现模型的轻量化，也更适合部署在押运车上携带的边缘设备中。
在本申请实施例中，通过YOLOv5s的主干网络引入轻量化的ShuffleNetV2网络，提取押运员行为特征。本申请实施例针对押运车车载电子设备场景，需要对异常行为检测模型进行轻量化。因此，ShuffleNetV2替换CSPDarknet53作为特征提取器，实验过程中对比也发现，替换为ShuffleNetV2能显著减少参数量和计算量，加速网络的训练和推理速度。
图5c所示为图3所示的YOLOv5s的主干网络的基于Transformer编码的结构示意图，图5d所示为图5c所示的Transformer编码最后一层的C3TR模块的结构示意图。
如图5c所示，上述主干网络包括映射变换结构的C3TR(C3编码的Transformer)模块；特征融合网络包括压缩(Squeeze)网络和激励(Excitation)网络；全局特征提取模型包括映射变换结构的C3TR网络。在主干网络的最后一层引入基于映射变换结构的C3TR模块，更好地提取押运员当前环境的全局信息。
本申请的映射变换结构可以但不限于包括Transformer结构。Transformer结构用于映射变换。Transformer编码器主要包括两个层归一化(layer normalization，LN)，多头自注意力机制(multi-head self-attention，MSA)和多层感知机(multi-layerperceptron，MLP)。
将押运员的行为特征图进行多通道的拆解变换，得到押运员行为与押运员所处当前环境的全局特征图，包括如下第1步至第6步：
第1步，将通道组合后的行为特征图的每个通道进行归一化处理，得到归一化后的输入图像。
第2步，对归一化后输入图像的不同位置，计算当前位置与其他位置的相关权重，生成相应加权向量，得到加权向量后的行为特征图。
第3步，将加权向量后的行为特征图与通道组合后的行为特征图进行第一次残差连接，得到第一残差连接特征。
第4步，对第一残差连接特征进行再次归一化处理，得到再次归一化处理的行为特征图。
第5步，对再次归一化处理的行为特征图的每个位置的特征向量进行非线性变换和映射，得到变换后的行为特征图。
第6步，将变换后的行为特征图与第一残差连接特征再次进行残差连接，得到第二残差连接特征，作为押运员行为与押运员所处当前环境的全局特征图。此全局特征图可以但不限于包括图像主体及图像背景信息。
结合图5c所示，本申请实施例的Transformer编码器结构首先会将输入特征图的每个通道在LN层进行归一化处理，将图像数据限制在一定范围内，保证图像的每个通道在整体上具有相似的尺度分布，提高模型的收敛性。接着，MSA对归一化后输入图像的不同位置进行关注并计算与其他位置的相关权重，生成相应加权向量，帮助模型捕捉序列中重要信息和依赖关系。MSA输出的特征图与开始所输入Transformer编码器结构的特征图进行相加，并再次经过LN层进行归一化处理。MLP层对LN层的输出特征图每个位置的特征向量进行非线性变换和映射，增强特征表达能力。最后，Transformer编码器将MLP的输出与第一次残差连接的输出相加，并传递结果到下一结构。
继续如图5d所示，将Transformer encoder模块嵌入到C3模块当中构成C3TR模块，并添加到Backbone最后一层。与原始C3模块相比，C3TR模块能够更好地学习图像的空间关系和上下文信息，提取丰富的全局信息，提高模型的检测精度。
在消融实验中发现，在主干网络的最后一层引入基于Transformer编码的C3TR模块后，相比于未引进时，算法的mAP有所提升，可见其能更好地提取押运员当前环境的全局信息。
在本申请实施例中，通过使用C3TR模块，提高了异常行为检测模型的特征表达能力和检测精度，使得异常行为的检测结果更加准确。
目前车载摄像头获取的视频与图像场景复杂，存在大量冗余信息。为了强化图像重要特征，让网络更多地去关注押运车押运员的行为特征，抑制无用特征，本文特征融合网络在YOLOv5s的FPN+PAN结构基础上，加入SE(Squeeze-and-Excitation，压缩和激励)通道注意力模块。经实验证明，在Neck网络加入了SE通道注意力模块的模型，能够有效利用通道之间的依赖关系，利用通道信息引导模型对特征进行有区分度的加权学习，可在一定程度上提高检测精度。同时SE模块结构相对简单，计算量较小，以略微增加的模型的复杂度和计算量换取准确率的极大提升。详细说明请参见下文。
图5e所示为图3所示的YOLOv5s的特征融合网络的SE通道注意力网络的结构示意图。
如图5e所示，上述特征融合网络包括SE通道注意力网络。SE注意力机制主要包括两个操作，即压缩(Squeeze)和激励(Excitation)。
上述将全局特征图输入特征融合网络，对不同通道进行加权，得到加权后的行为特征图，包括如下第一步至第三步：
第一步，将每个通道上的空间特征输入特征融合网络，依次进行编码为一个全局特征，进行特征压缩操作。
第二步，经过两个全连接层进行降维和升维，得到维度处理后的行为特征图及激励权重向量。进一步的，将每个通道上的空间特征编码为一个全局特征，继续特征压缩操作，得到压缩后的行为特征图；利用压缩后的行为特征图和通道间的信息依赖，将压缩后的行为特征图经过两个全连接层进行降维和升维，得到维度处理后的行为特征图及激励权重向量。
第三步，将维度处理后的行为特征图与激励权重向量相乘进行加权，得到重标定后通道特征，作为加权后的行为特征图。
如图5e所示，X为输入特征图，其高度为H'，宽度为W'，通道数为C'，经过Ftr卷积操作得到高度为H，宽度为W，通道数为C的特征图U。对特征图U进行Fsq(·)压缩(Squeeze)操作，Fex(·，W)激励(Excitation)操作和Fscale(·，·)重标定(Scale)操作，得到标定特征通道权重的新特征图
继续如图5e所示，Fsq(·)操作通过全局平均池化(Global Average Pooling)，将每个通道上的空间特征编码为一个全局特征，有效解决了由于卷积没有全局的感受野而导致难以提取通道之间的关系特征这一问题，并增大了感受野，原理公式如公式(1)所示。
上式(1)中，zc表示通道c的全局特征值，uc为通道c的特征矩阵，W为特征图宽度大小，H为特征图的高度大小，uc(i，j)为标量，表示通道c在(i，j)点处的特征值。
上述Fex(·，W)激励操作利用压缩后的信息和通道间的信息依赖，将上一步得到的特征图经过两个全连接层进行降维和升维，有利于全局感知和自适应调整通道权重，最后选择使用Sigmoid函数激活，原理公式如公式(2)所示。
s＝Fex(z，W)＝σ(g(z，W))＝σ(W2δ(W1z)) (2)
上式(2)中，s为激励权重向量，z为上一步得到的全局特征向量，σ指Sigmoid激活函数，W1表示第一个全连接层的权重矩阵，W2表示第二个全连接层的权重矩阵，δ为ReLU激活函数。
上述Fscale(·，·)重标定操作将特征图与激励权重向量相乘进行加权，赋予重要通道较大的权重，赋予不重要通道较小的权重，实现通道维度上原始特征的重标定。
上式(3)中，表示重标定后c通道上的特征矩阵，/>为输出结果的集合，即输出特征图X。uc为通道c的特征矩阵，sc为标量，表示通道c的权重大小，Fscale(uc，sc)表示通道特征与通道权重的乘积。
在加入改原始YOLOv5s网络后发现，改进的YOLOv5s网络能够更好地关注图像数据集中的押运行为的关键位置赋予更高的权重、而对周边无关物品与遮挡物赋予更低的权重，实验过程中的识别精度也有所提升。
在本申请实施例中，在YOLOv5s的特征融合网络中嵌入SE注意力机制，对押运行为的关键位置赋予更高的权重，加强关键信息的标注，提高信息获取的有效性。同时，每次经过不同位置的SE注意力机制结构之后，得到标定特征通道权重的新特征图，后续都是会传入到卷积层Conv进行卷积操作。通过SE结构后的新特征图能使得在后续训练更新卷积层Conv的卷积核参数的时候，更关注权重高的通道，权重高的通道至少是与训练集中的押运员的异常行为关联最大的通道，否则训练过程的损失不会变小和收敛。进一步的，最终的YOLOv5s网络结构中的C3TR模块的输出已经是图像经过主干网络完成特征提取的输出了，此输出再传入颈部网络Neck，对所提取的特征进一步加强，并突出重要通道的权重。
基于与上述方法同样的申请构思，本申请实施例还提出一种押运违规行为的智能提醒系统，如图6所示，该押运违规行为的智能提醒系统可以包括如下模块：
图像获取模块31，用于获取押运车上图像采集设备采集到的待检测图像；待检测图像包含押运员行为图像；
异常检测模块32，用于将待检测图像输入异常行为检测模型，以输出押运员的异常行为信息；异常行为检测模型是利用样本检测图像，以及样本检测图像的押运员异常行为信息进行训练得到的；
违规行为确定模块33，用于在异常行为信息的置信度大于用于决策的正常阈值的情况下，则确定违规行为；
警报模块34，用于根据违规行为，进行警报。
在一些实施例中，上述押运违规行为的智能提醒系统还可以但不限于包括：
潜在风险确定模块，用于确定押运车是否存在异常行驶的潜在风险；
信息处理模块，用于在押运车存在潜在风险的情况下，更新正常阈值为小于正常阈值的违规阈值，以及记录押运车存在潜在风险的情况，并返回继续执行获取押运车上图像采集设备采集到的待检测图像的步骤。
在一些实施例中，图像获取模块31具有用于在押运车处于静止状态的情况下，获取押运车内部和周围的图像采集设备采集的待检测图像；待检测图像包含押运员行为图像；
上述的押运违规行为的智能提醒系统还包括启动模块，用于启动押运车的外部算法，并根据违规行为进行预警；其中，根据违规行为进行预警，包括：在违规行为是穿戴违规行为的情况下，对穿戴违规行为进行警报；和/或，在违规行为是枪支违规行为的情况下，对枪支违规行为进行警报。
在一些实施例中，上述的押运违规行为的智能提醒系统还包括车辆速度信息获取模块，用于获取押运任务执行中的车辆速度信息；相应的，上述警报模块34，具体用于在车辆速度信息为运行速度且违规行为是手持移动终端的行为的情况下，对手持移动终端的行为进行报警；
和/或，
上述的押运违规行为的智能提醒系统还包括人员相对位置获取模块，用于获取押运员相对于押运车的人员相对位置；上述警报模块34，具体用于在人员相对位置处于押运车的外部且违规行为是押运员手持用于补充能量物品的行为的情况下，对押运员手持用于补充能量物品的行为进行警报；
和/或，
上述的押运违规行为的智能提醒系统还包括押运车的定位位置获取模块，用于获取押运任务执行中押运车的定位位置；相应的，上述警报模块34，具体用于在押运车的定位位置不处于银行网点位置且违规行为是押运员离开押运车相应的用户操作行为的情况下，对用户操作行为进行警报。
上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，可以达到相同的技术效果，在此不再赘述。
图7所示为本申请实施例提供的车载电子设备50的模块框图。
如图7所示，车载电子设备50包括一个或多个处理器51，用于实现如上所述的押运违规行为的智能提醒方法。
在一些实施例中，车载电子设备50可以包括存储介质59。比如，计算机可读存储介质可以存储有可被处理器51调用的程序，可以包括非易失性存储介质。在一些实施例中，车载电子设备50可以包括内存58和接口57。在一些实施例中，车载电子设备50还可以根据实际应用包括其他硬件。
本申请实施例的计算机可读存储介质，其上存储有程序，该程序被处理器51执行时，用于实现如上描述的押运违规行为的智能提醒方法。
本申请可采用在一个或多个其中包含有程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体，可以任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
Claims (10)
1.一种押运违规行为的智能提醒方法，其特征在于，应用于车载电子设备，所述押运违规行为的智能提醒方法包括：
获取押运车上图像采集设备采集到的待检测图像；所述待检测图像包含押运员行为图像；
将所述待检测图像输入异常行为检测模型，以输出所述押运员的异常行为信息；所述异常行为检测模型是利用样本检测图像，以及样本检测图像的押运员异常行为信息进行训练得到的；
在所述异常行为信息的置信度大于用于决策的正常阈值的情况下，则确定所述违规行为；
根据所述违规行为，进行警报。
2.如权利要求1所述押运违规行为的智能提醒方法，其特征在于，所述的押运违规行为的智能提醒方法还包括：
确定所述押运车是否存在异常行驶的潜在风险；
在所述押运车存在所述潜在风险的情况下，更新所述正常阈值为小于所述正常阈值的违规阈值，以及记录所述押运车存在所述潜在风险的情况，并返回继续执行所述获取押运车上图像采集设备采集到的待检测图像的步骤。
3.如权利要求2所述的押运违规行为的智能提醒方法，其特征在于，所述确定所述押运车是否存在异常行驶的潜在风险，包括：获取押运任务执行中押运车的定位位置；判断所述押运车的定位位置与目的地之间的距离是否大于用于反映正常押运的安全距离，以确定所述押运车是否存在异常行驶的潜在风险；
和/或，
所述确定所述押运车是否存在异常行驶的潜在风险，包括：获取押运任务执行中押运车的定位位置；判断述押运车的定位位置是否偏离所述押运任务规定的导航路线，以确定所述押运车是否存在异常行驶的潜在风险；
和/或，
所述确定所述押运车是否存在异常行驶的潜在风险，包括：获取押运任务执行中押运车的当前油耗情况；判断所述押运车的当前油耗情况是否高于异常油耗阈值，以确定所述押运车是否存在异常行驶的潜在风险；
和/或，
所述确定所述押运车是否存在异常行驶的潜在风险，包括：获取押运任务执行中的车辆速度信息；判断所述车辆速度信息的当前车辆速度是否高于异常速度阈值，以确定所述押运车是否存在异常行驶的潜在风险。
4.如权利要求1所述押运违规行为的智能提醒方法，其特征在于，所述获取押运车上图像采集设备采集到的待检测图像，包括：
在所述押运车处于静止状态的情况下，获取所述押运车内部和周围的图像采集设备采集的待检测图像；所述待检测图像包含押运员行为图像；
所述方法还包括：启动押运车的外部算法，并根据所述违规行为，进行警报；其中，所述根据所述违规行为，进行警报，包括：在所述违规行为是穿戴违规行为的情况下，对所述穿戴违规行为进行警报；和/或，在所述违规行为是枪支违规行为的情况下，对所述枪支违规行为进行警报。
5.如权利要求1所述的押运违规行为的智能提醒方法，其特征在于，所述的押运违规行为的智能提醒方法还包括：获取押运任务执行中的车辆速度信息；相应的，所述根据所述违规行为，进行警报，包括：在所述车辆速度信息为运行速度且所述违规行为是手持移动终端的行为的情况下，对所述手持移动终端的行为进行报警；
和/或，
所述的押运违规行为的智能提醒方法还包括：获取所述押运员相对于押运车的人员相对位置；所述根据所述违规行为，进行警报，包括：在所述人员相对位置处于押运车的外部且所述违规行为是所述押运员手持用于补充能量物品的行为的情况下，对所述押运员手持用于补充能量物品的行为进行警报；
和/或，
所述的押运违规行为的智能提醒方法还包括：获取押运任务执行中押运车的定位位置；相应的，所述根据所述违规行为，进行警报，包括：在所述押运车的定位位置不处于银行网点位置且所述违规行为是所述押运员离开所述押运车相应的用户操作行为的情况下，对所述用户操作行为进行警报。
6.如权利要求1至5任一项所述押运违规行为的智能提醒方法，其特征在于，所述异常行为检测模型包括使用YOLO算法的网络结构；所述使用YOLO算法的网络结构包括YOLOv5s网络；所述异常行为检测模型包括主干网络及网络层；所述网络层包括特征融合网络以及检测头网络；
所述将所述待检测图像输入异常行为检测模型，以输出所述押运员的异常行为信息，包括：
通过卷积操作从所述待检测图像中提取押运员的行为特征图；
将所述押运员的行为特征图进行多通道的拆解变换，得到所述押运员行为与所述押运员所处当前环境的全局特征图；
将所述全局特征图输入所述特征融合网络，对不同通道进行加权，得到加权后的行为特征图；
将所述加权后的行为特征图输入所述检测头网络，输出所述押运员的异常行为信息。
7.如权利要求6所述押运违规行为的智能提醒方法，其特征在于，所述主干网络包括行为特征提取网络；所述行为特征提取网络包括ShuffleNet网络；所述ShuffleNet网络包括特征拼接单元和下采样单元；所述特征拼接单元包括第一分支及第二分支；所述特征拼接单元与所述下采样单元交叉堆叠；
所述通过卷积操作从所述待检测图像中提取押运员的行为特征图，包括：
使用所述特征拼接单元，从所述待检测图像中提取所述押运员行为图像的行为图像特征；对所述行为图像特征，按原始通道数随机且平均地拆分为第一分支及第二分支；使用所述第二分支的卷积，对所述原始通道数进行调整，输出行为特征图的调整后通道数；对所述行为特征图的调整后通道数进行深度可分离卷积，得到第二分支的行为特征图；以及，将所述第二分支的行为特征图与所述第一分支直接向下传递的行为特征图进行拼接，得到拼接后图像；
使用所述下采样单元，对所述待检测图像，进行下采样操作，得到下采样后的行为特征图；
使用所述特征拼接单元，对所述拼接后图像及下采样后的行为特征图重新组合通道，得到通道组合后的行为特征图，作为所述押运员的行为特征图。
8.如权利要求6所述的押运违规行为的智能提醒方法，其特征在于，所述主干网络包括映射变换结构的C3TR模块；所述特征融合网络包括压缩网络和激励网络；所述全局特征提取模型包括所述映射变换结构的C3TR网络；所述将所述押运员的行为特征图进行多通道的拆解变换，得到所述押运员行为与所述押运员所处当前环境的全局特征图，包括：将所述通道组合后的行为特征图的每个通道进行归一化处理，得到归一化后的输入图像；对归一化后输入图像的不同位置，计算当前位置与其他位置的相关权重，生成相应加权向量，得到加权向量后的行为特征图；将加权向量后的行为特征图与所述通道组合后的行为特征图进行第一次残差连接，得到第一残差连接特征；对所述第一残差连接特征进行再次归一化处理，得到再次归一化处理的行为特征图；对再次归一化处理的行为特征图的每个位置的特征向量进行非线性变换和映射，得到变换后的行为特征图；将所述变换后的行为特征图与所述第一残差连接特征再次进行残差连接，得到第二残差连接特征，作为所述押运员行为与所述押运员所处当前环境的全局特征图；
和/或，
所述特征融合网络包括SE通道注意力网络；所述将所述全局特征图输入所述特征融合网络，对不同通道进行加权，得到加权后的行为特征图，包括：将每个通道上的空间特征输入所述特征融合网络，依次进行编码为一个全局特征，进行特征压缩操作，以及经过两个全连接层进行降维和升维，得到维度处理后的行为特征图及激励权重向量；将所述维度处理后的行为特征图与所述激励权重向量相乘进行加权，得到重标定后通道特征，作为所述加权后的行为特征图。
9.一种押运违规行为的智能提醒系统，其特征在于，包括：
图像获取模块，用于获取押运车上图像采集设备采集到的待检测图像；所述待检测图像包含押运员行为图像；
异常检测模块，用于将所述待检测图像输入异常行为检测模型，以输出所述押运员的异常行为信息；所述异常行为检测模型是利用样本检测图像，以及样本检测图像的押运员异常行为信息进行训练得到的；
违规行为确定模块，用于在所述异常行为信息的置信度大于用于决策的正常阈值的情况下，则确定所述违规行为；
警报模块，用于根据所述违规行为，进行警报。
10.一种车载电子设备，其特征在于，包括处理器和存储器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-8任一项所述的押运违规行为的智能提醒方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410078694.4A CN117789307A (zh) | 2024-01-18 | 2024-01-18 | 押运违规行为的智能提醒方法、系统和车载电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410078694.4A CN117789307A (zh) | 2024-01-18 | 2024-01-18 | 押运违规行为的智能提醒方法、系统和车载电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117789307A true CN117789307A (zh) | 2024-03-29 |
Family
ID=90391108
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410078694.4A Pending CN117789307A (zh) | 2024-01-18 | 2024-01-18 | 押运违规行为的智能提醒方法、系统和车载电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117789307A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106571055A (zh) * | 2016-10-28 | 2017-04-19 | 广州广电银通金融电子科技有限公司 | 一种基于物联网的智能车辆管理系统及方法 |
| CN113343754A (zh) * | 2021-04-21 | 2021-09-03 | 彭泳 | 基于视频图像分析的危货监管系统及危货监管方法 |
| US20210316738A1 (en) * | 2020-04-13 | 2021-10-14 | Mazda Motor Corporation | Driver abnormality determination system, method and computer program |
| US20220284796A1 (en) * | 2021-03-02 | 2022-09-08 | Toyota Jidosha Kabushiki Kaisha | Abnormal behavior notification device, abnormal behavior notification system, abnormal behavior notification method, and recording medium |
| CN117371785A (zh) * | 2023-10-09 | 2024-01-09 | 湖南荣安数字技术科技有限公司 | 基于多维度因素身份识别的安全判断方法及押运服务系统 |
-
2024
- 2024-01-18 CN CN202410078694.4A patent/CN117789307A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106571055A (zh) * | 2016-10-28 | 2017-04-19 | 广州广电银通金融电子科技有限公司 | 一种基于物联网的智能车辆管理系统及方法 |
| US20210316738A1 (en) * | 2020-04-13 | 2021-10-14 | Mazda Motor Corporation | Driver abnormality determination system, method and computer program |
| US20220284796A1 (en) * | 2021-03-02 | 2022-09-08 | Toyota Jidosha Kabushiki Kaisha | Abnormal behavior notification device, abnormal behavior notification system, abnormal behavior notification method, and recording medium |
| CN113343754A (zh) * | 2021-04-21 | 2021-09-03 | 彭泳 | 基于视频图像分析的危货监管系统及危货监管方法 |
| CN117371785A (zh) * | 2023-10-09 | 2024-01-09 | 湖南荣安数字技术科技有限公司 | 基于多维度因素身份识别的安全判断方法及押运服务系统 |
Non-Patent Citations (1)
| Title |
|---|
| 王源鹏等: "基于YOLOv5s的自动扶梯乘客异常行为实时检测算法", 《激光与光电子学进展》, 18 August 2023 (2023-08-18), pages 1 - 8 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115082855B (zh) | 基于改进yolox算法的行人遮挡检测方法 | |
| US20180137355A1 (en) | Method, device and permanent storage memory for detecting drilling and/or hydraulic fracturing of hydrocarbon wells | |
| CN116052026B (zh) | 一种无人机航拍图像目标检测方法、系统及存储介质 | |
| CN117079163A (zh) | 一种基于改进yolox-s的航拍图像小目标检测方法 | |
| CN110414421A (zh) | 一种基于连续帧图像的行为识别方法 | |
| CN116206221B (zh) | 一种水体耀斑检测方法和系统 | |
| CN115546742A (zh) | 一种基于单目热红外摄像头的铁轨异物识别方法及系统 | |
| CN113052071B (zh) | 危化品运输车驾驶员分心行为快速检测方法及系统 | |
| CN117789307A (zh) | 押运违规行为的智能提醒方法、系统和车载电子设备 | |
| CN117284663B (zh) | 一种园林垃圾的处理系统及方法 | |
| CN118314485A (zh) | 基于多模态数据感知设备的变电站故障预警方法及系统 | |
| CN117710841A (zh) | 一种无人机航拍图像的小目标检测方法、装置 | |
| CN116665016A (zh) | 一种基于改进YOLOv5的单帧红外弱小目标检测方法 | |
| US20220019776A1 (en) | Methods and systems to predict activity in a sequence of images | |
| CN114119382A (zh) | 一种基于注意力生成对抗网络的图像去雨滴方法 | |
| Maligalig et al. | Machine Vision System of Emergency Vehicle Detection System Using Deep Transfer Learning | |
| Alfinnur Charisma | Modified YOLOv5-based License Plate Detection: an Efficient Approach for Automatic Vehicle Identification | |
| CN115063766B (zh) | 一种自动驾驶汽车运行安全评估及预警方法 | |
| CN115762178B (zh) | 智能电子警察违章检测系统及方法 | |
| EP4375920A1 (en) | Anomaly evaluation method and system, anomaly threshold determination method, computer program(s) and non-transitory computer readable medium | |
| CN118230236A (zh) | 区域入侵检测方法和装置、电子设备及存储介质 | |
| CN116486372A (zh) | 一种基于人工智能的交通标识识别方法及装置 | |
| CN115471826A (zh) | 航空加油车安全驾驶行为判别方法、装置和安全运维系统 | |
| CN118135603A (zh) | 基于改进神经网络的矿山调度室空岗识别方法 | |
| He et al. | Research on Object Detection for Intelligent Sensing of Navigation Mark in Yangtze River |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |