[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN114708531B - 电梯内异常行为检测方法、装置及存储介质 - Google Patents

电梯内异常行为检测方法、装置及存储介质 Download PDF

Info

Publication number
CN114708531B
CN114708531B CN202210270892.1A CN202210270892A CN114708531B CN 114708531 B CN114708531 B CN 114708531B CN 202210270892 A CN202210270892 A CN 202210270892A CN 114708531 B CN114708531 B CN 114708531B
Authority
CN
China
Prior art keywords
feature
elevator
video
network
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210270892.1A
Other languages
English (en)
Other versions
CN114708531A (zh
Inventor
路通
杨国强
黄建武
曹阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Welm Technology Co ltd
Nanjing University
Original Assignee
Jiangsu Welm Technology Co ltd
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Welm Technology Co ltd, Nanjing University filed Critical Jiangsu Welm Technology Co ltd
Priority to CN202210270892.1A priority Critical patent/CN114708531B/zh
Publication of CN114708531A publication Critical patent/CN114708531A/zh
Application granted granted Critical
Publication of CN114708531B publication Critical patent/CN114708531B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Indicating And Signalling Devices For Elevators (AREA)

Abstract

本发明公开了一种基于边缘计算的电梯内异常行为检测方法、装置及存储介质。电梯内异常检测方法包括如下步骤：基于直方图均衡化的视频亮度增强；基于轻量级卷积神经网络的人体检测；基于轻量级时域激发和聚合网络的异常行为检测。受限于算力，电梯异常行为检测往往使用基于手工特征的方法。本发明开创性的在电梯安防场景结合了边缘计算和多种深度学习方法，设计了完整的边缘计算算法系统，有效的降低了算法的计算复杂度和计算资源开销，充分利用大量的低算力的电梯监控以及后台设备，同时在准确率，虚警率和漏检率三个指标上均大幅超越对比方法，在实时性，可扩展性，负载均衡等方面也均优于使用传统非深度方法的检测系统。

Description

电梯内异常行为检测方法、装置及存储介质
技术领域
本发明涉及安防领域和边缘计算领域，尤其涉及基于边缘计算的电梯内异常行为检测方法。
背景技术
电梯内异常行为检测是安防领域的一个重要课题，也是视频理解领域的一个复杂的应用问题。电梯内异常行为检测这一任务吸引了很多学者和企业的关注，也积累了大量的专利和论文。如何设计算法在大量的低算力的电梯监控以及后台设备上实现高准确率的异常行为检测模型是一个挑战。
传统电梯内异常行为检测往往要包括移动帧检测，背景提取，人体提取，人数统计，运动信息提取，异常行为检测，异常行为分类等多个步骤。这些步骤的方法通常提取需要手工制作的特征，如基于光流的特征，基于轨迹的特征等，并设计手工的特征检测算子。然而，过于依赖各种手工特征和手动的特征检测算子，导致传统方法系统过于复杂，无法复现和扩展，准确率也低。
近年来，异常检测算法往往是基于深度学习的，并且也得到了良好的效果。受限于算力，电梯异常行为检测往往使用基于手工特征的方法，不能使用深度学习方法,因此，难以提高检测的准确率。本发明通过使用边缘计算架构使得能够在电梯内异常行为检测系统中使用深度学习技术，在不增加大量计算资源成本的条件下，大幅提升了检测的准确率。为了应用深度学习技术，一方面需要找到不同于传统的更适合深度学习特点的任务拆分，并通过选择可行的具体算法组合取得准确率增益，另一方面需要合理在利用边缘计算架构，在边缘机器和云上机器分别达到合理的负载。本发明合理解决了这两方面的难点。
发明内容
本发明所要解决的技术问题是针对上述现有技术存在的不足，而提供一种提高检测准确率的基于边缘计算的电梯内异常行为检测方法、装置及存储介质。
为解决上述技术问题，本发明采用的技术方案是：
一种电梯内异常行为检测方法，包括如下步骤：
步骤1，在边缘机器对电梯监控视频的每一帧图像下采样到指定分辨率，并使用直方图均衡化算法对每一帧图像进行亮度增强；
步骤2，在边缘机器对步骤1得到的亮度增强后图像使用轻量级卷积神经网络进行人体检测，对存在人体的帧图像使用双阈值连接算法进行聚合，并将聚合得到的结果视频片段输出到云上机器。
步骤3，在云上机器对步骤2返回的视频片段使用轻量级时域激发和聚合网络进行异常行为检测，并返回检测结果到边缘机器。
优选的，步骤1包括：
步骤1-1，读取输入帧图像和下采样的目标宽度width和目标高度height。然后使用线性插值算法对输入帧图像进行下采样，得到下采样后的帧图像。
步骤1-2，读取下采样后的帧图像和算法参数截断阈值clipLimit，使用限制对比度自适应直方图均衡算法对下采样后的帧图像进行亮度增强，得到亮度增强后的帧图像。
优选的，步骤2包括：
步骤2-1，读取亮度增强后的帧图像input_image。构造骨干网络ShuffleNetV2，并加载在电梯数据集上训练好的网络权重。使用加载权重后的ShuffleNetV2网络对亮度增强后的帧图像input_image进行特征提取，得到第三阶段特征图feature_stage3和第四阶段特征图feature_stage4。
步骤2-2，读取第三阶段特征图feature_stage3和第四阶段特征图feature_stage4。构造轻量化特征金字塔网络light-FPN，并加载在电梯数据集上训练好的网络权重。使用加载权重后的light-FPN网络对第三阶段特征图feature_stage3和第四阶段特征图feature_stage4进行多尺度特征融合，得到融合后的特征图feature_final。
步骤2-3，读取融合后的特征图feature_final。构造前景分类器和矩形框回归器，并加载在电梯数据集上训练好的网络权重。使用加载权重后的类别分类器和矩形框回归器，对特征图feature_final进行人体检测。得到坐标向量bboxes和类别向量classes和置信度向量confidences。
步骤2-4，读取坐标向量bboxes和类别向量classes和置信度向量confidences，并进行局部非极大值抑制和解码，得到当前图像的是否包含人体的置信度body_confidence以及人体的具体位置body_bbox。
步骤2-5，对每一帧输入图片input_image_i重复步骤2-1到2-4,得到当前图像的是否包含人体的置信度body_confidence_i以及人体的具体位置body_bbox_i。
步骤2-6，读取双阈值算法的参数：正例阈值pos_thr和负例阈值neg_thr和断开指数阈值cut_thr。重置断开指数cut_count为0。
步骤2-7，对于步骤2-5返回的所有帧，当出现置信度body_confidence_i大于正例判别阈值pos_thr的帧时，开始连接。当开始连接后连续出现body_confidence_i小于正例判别阈值neg_thr的帧时，断开指数加一。当断开指数大于断开指数阈值cut_thr时，得到一个视频片段，并返回给云上机器。重复步骤2-6，2-7。
优选的，步骤3包括：
步骤3-1，读取步骤2返回的视频input_video和视频帧抽取总数frame_total。对input_video的视频帧进行稀疏抽取，等间距抽取其中frame_total帧，得到视频子帧集合input_frames。
步骤3-2，读取视频子帧集合input_frames。构造动量抽取网络ME并加载在电梯数据集上训练好的模块权重。使用加载权重后的动量抽取网络ME对视频子帧集合input_frames进行时域局部特征提取，得到局部运动特征图feature_me。
步骤3-3，读取局部运动特征图feature_me。构造多重时域聚合网络MTA并加载在电梯数据集上训练好的模块权重。使用加载权重后的动量抽取网络MTA对局部运动特征图feature_me进行时域全局特征提取，得到全局运动特征图feature_mta。
步骤3-4，重复步骤3-2，3-3，使用动量抽取网络ME和多重时域聚合网络MTA进行4阶段的全局运动特征提取，得到视频的全局运动特征图feature_mta_4。
步骤3-5，读取视频的全局运动特征图feature_mta_4。构造全连接网络结构的行为分类网络CLA，并加载在电梯数据集上训练好的模块权重。使用加载权重后的动作分类网络CLA，对全局运动特征图feature_mta_4进行行为分类，得到行为分类向量motion_cla。
步骤3-6，读取行为分类向量motion_cla。进行解码，得到电梯视频的行为类别motion_type。重复步骤3-1到3-5，对所有视频进行行为分类，并返回结果到边缘机器。
步骤3-7，相应的异常行为，按照重要性等级，启动后续的应对措施。
本方法通过结合边缘计算，将基于深度学习的异常行为检测技术落地到电梯内监控安防领域，相比于传统的使用手工特征和模型并在后台设置机器计算，一方面需要找到更适合深度学习特点的任务拆分，并通过选择可行的方法组合取得准确率增益，另一方面需要合理在利用边缘计算架构，在边缘机器和云上机器分别达到合理的负载。本发明合理解决了这两方面的难点，充分利用大量的低算力的电梯监控以及后台设备，同时做到了实时的高准确率的检测。为了应用深度学习技术，一方面需要找到不同于传统的更适合深度学习特点的任务拆分，并通过选择可行的具体算法组合取得准确率增益，另一方面需要合理在利用边缘计算架构，在边缘机器和云上机器分别达到合理的负载。本发明合理解决了这两方面的难点。本方法使用边缘计算架构，融合多种先进的轻量级图像处理和视频理解技术，设计了一种基于边缘计算的电梯内异常行为检测方法。
有益效果：本发明设计的电梯内异常行为检测方法不仅可能在电梯场景有效落地部署，同时在准确率，虚警率和漏检率三个指标上均大幅超越对比方法，同时本方法还天然的在实时性、可扩展性和负载均衡方面具有优势，实时性，可扩展性，负载均衡等方面均优于使用传统非深度方法的检测系统。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。
图1本发明的详细流程图。
图2本发明的边缘计算系统结构
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
实施例1
参照本发明方法流程(如图2)，具体方法包括以下步骤：
步骤1，在实际部署阶段，首先在边缘机器对电梯监控视频采集到的每一帧图像下采样到指定分辨率，并使用直方图均衡化算法对每一帧图像进行亮度增强。
步骤1具体如下：
步骤1-1，读取输入帧图像和下采样的目标宽度width和目标高度height。然后使用线性插值算法对输入帧图像进行下采样，得到下采样后的帧图像。
步骤1-2，读取下采样后的帧图像和算法参数截断阈值clipLimit，使用限制对比度自适应直方图均衡算法对下采样后的帧图像进行亮度增强，得到亮度增强后的帧图像image_enlighted。其中算法参数截断阈值clipLimit使用基于高斯过程的贝叶斯优化方法学习得到。优化的目标函数是：
loss＝mse(image_enlighted，image_optimal)
其中loss是优化的目标函数。mse()是均方误差函数，用于衡量亮度增强后的图片和目标优化图片的差异。image_enlighted是使用直方图均衡化优化后的图片。image_optimal是通过先验知识调优得到的标注图片，具体的是使用PS调节得到的最佳亮度的图片。参数截断阈值clipLimit的学习过程在只需要进行一次，学习到的参数可以反复利用。
步骤2：在边缘机器对步骤1得到的亮度增强后图像image_enlighted，使用轻量级目标检测卷积神经网络YOLO-Fastest进行人体检测，对存在人体的帧图像使用双阈值连接算法进行聚合，并将聚合得到的结果视频片段返回云上机器。步骤1和步骤2具有图像层面的依赖关系，可以并行执行增加处理效率。轻量级目标检测卷积神经网络YOLO-Fastest的训练过程应当先于部署过程。首先需要按照COCO2012的标准格式收集和标注数据集，修改网络中的分类数目参数class_num为实际使用的数据集的类别个数，本实例为2，修改网络的损失函数进行人体检测目标。本例中使用的损失函数为：
loss＝lossbody+lossbbox
其中loss是训练过程的目标函数。lossbody是人体类别损失函数，使用交叉熵函数进行计算。lossbbox是人体边界框损失函数，使用均方误差函数进行计算。最后，使用自适应动量梯度下降方法多次训练，设置最优的网络超参数。本例中的超参数设定为训练轮数epoch是12，学习率是0.0015，指数衰减率为0.99。
步骤2具体如下：
步骤2-1，读取亮度增强后的帧图像input_image。构造骨干网络ShuffleNetV2，并加载在电梯数据集上训练好的网络权重。使用加载权重后的ShuffleNetV2网络对亮度增强后的帧图像input_image进行特征提取，得到第三阶段特征图feature_stage3和第四阶段特征图feature_stage4。根据计算设备的能力和输入图片的尺寸，此处可按情况设定并行计算个数batch_size。受益于步骤一中对图像的尺度变化，本例设定并行计算个数batch_size为16。
步骤2-2，读取第三阶段特征图feature_stage3和第四阶段特征图feature_stage4。构造轻量化特征金字塔网络light-FPN，并加载在电梯数据集上训练好的网络权重。使用加载权重后的light-FPN网络对第三阶段特征图feature_stage3和第四阶段特征图feature_stage4进行多尺度特征融合，得到融合后的特征图feature_final。
步骤2-3，读取融合后的特征图feature_final。构造前景分类器和矩形框回归器，并加载在电梯数据集上训练好的网络权重。使用加载权重后的类别分类器和矩形框回归器，对特征图feature_final进行人体检测。得到坐标向量bboxes和类别向量classes和置信度向量confidences。
步骤2-4，读取坐标向量bboxes和类别向量classes和置信度向量confidences，并进行局部非极大值抑制和解码，得到当前图像的是否包含人体的置信度body_confidence以及人体的具体位置body_bbox。
步骤2-5，对每一帧输入图片input_image_i重复步骤2-1到2-4，得到当前图像的是否包含人体的置信度body_confidence_i以及人体的具体位置body_bbox_i。
步骤2-6，读取双阈值算法的参数：正例阈值pos_thr和负例阈值neg_thr和断开指数阈值cut_thr。重置断开指数cut_count为0。
步骤2-7，对于步骤2-5返回的所有帧，当出现置信度body_confidence_i大于正例判别阈值pos_thr的帧时，开始连接。当开始连接后连续出现body_confidence_i小于正例判别阈值neg_thr的帧时，断开指数加一。当断开指数大于断开指数阈值cut_thr时，得到一个视频片段，并返回给云上机器。重复步骤2-6，2-7。
步骤3：在云上机器对步骤2返回的视频片段使用轻量级时域激发和聚合网络TEA-Net进行异常行为检测，并返回检测结果到边缘机器。轻量级时域激发和聚合网络TEA-Net的训练过程应当先于部署过程。首先需要按照Something-Something V1的标准格式收集和标注数据集。收集数据过程的难点在于异常发生比例较低，所以本例采用模拟法进行收集。收集了6个异常行为类别和1个正常类别共计1500段视频。修改网络中的动作种类数目参数action_num为实际使用的数据集的类别个数，本实例为7，修改网络的损失函数进行电梯内异常行为检测。本例中使用的损失函数为：
loss＝mIOUtime+CEaction
其中loss是训练过程的目标函数。mIOUtime是动作发生时间预测的准确性的度量，使用平均交并比进行计算。CEaction是动作的类别的准确型的度量，使用交叉熵函数进行计算。最后，使用自适应动量梯度下降方法多次训练，设置最优的网络超参数。本例中的超参数设定为视频采样窗口frame_total为16，视频帧大小为256×256。
步骤3具体如下：
步骤3-1，读取步骤2返回的视频input_video和视频帧抽取总数frame_total。对input_video的视频帧进行稀疏抽取，等间距抽取其中frame_total帧，得到视频子帧集合input_frames。
步骤3-2，读取视频子帧集合input_frames。构造动量抽取网络ME并加载在电梯数据集上训练好的模块权重。使用加载权重后的动量抽取网络ME对视频子帧集合input_frames进行时域局部特征提取，得到局部运动特征图feature_me。
步骤3-3，读取局部运动特征图feature_me。构造多重时域聚合网络MTA并加载在电梯数据集上训练好的模块权重。使用加载权重后的动量抽取网络MTA对局部运动特征图feature_me进行时域全局特征提取，得到全局运动特征图feature_mta。
步骤3-4，重复步骤3-2，3-3，使用动量抽取网络ME和多重时域聚合网络MTA进行4阶段的全局运动特征提取，得到视频的全局运动特征图feature_mta_4。
步骤3-5，读取视频的全局运动特征图feature_mta_4。构造全连接网络结构的行为分类网络CLA，并加载在电梯数据集上训练好的模块权重。使用加载权重后的动作分类网络CLA，对全局运动特征图feature_mta_4进行行为分类，得到行为分类向量motion_cla。
步骤3-6，读取行为分类向量motion_cla。进行解码，得到电梯视频的行为类别motion_type。重复步骤3-1到3-5，对所有视频进行行为分类，并返回结果到边缘机器。
步骤3-7，相应的异常行为，按照重要性等级，启动后续的应对措施。
在使用模拟法收集的包含了6个异常行为类别(晕倒、跳跃、拍打轿厢、暴力斗殴、欺凌他人、阻塞厢门)和1个正常类别共计1500段视频的数据集中和基于能量函数的方法以及基于光流的方法进行了3次对比试验，并使用均值。在准确率，虚警率和漏检率三个指标上均大幅超越对比方法，同时本方法还天然的在实时性、可扩展性和负载均衡方面具有优势。具体实验指标见表1。其中评价指标中的准确率是正确检测的视频数除以总的视频数，虚警率是虚警的视频数除以没有发生异常行为的视频数，漏检率是漏检的视频数除以发生异常行为的视频数。
准确率 虚警率 漏检率
基于能量函数的方法 89.6％ 9.2％ 7.7％
基于光流的方法 85.8％ 11.6％ 9.8％
本发明 98.2％ 1.5％ 2.4％
实施例2
本发明还提供一种电梯内异常行为检测装置，包括处理器和存储器；所述存储器中存储有程序或指令，所述程序或指令由所述处理器加载并执行以实现实施例1电梯内异常行为检测方法。
实施例3
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行实施例1电梯内异常行为检测方法。
所属领域的技术人员可以清楚地了解到，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明提供的用于电梯内异常行为检测方法、装置及存储介质，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (7)

1.一种电梯内异常行为检测方法，其特征在于，包括：
步骤1，在边缘机器对电梯监控视频的每一帧图像下采样到指定分辨率，并对每一帧图像进行亮度增强；
步骤2， 在边缘机器，对步骤1得到的亮度增强后图像做人体检测；对存在人体的帧图像进行聚合，并将聚合得到的结果视频片段输出至云上机器；
步骤3，在云上机器，对步骤2输出的视频片段进行异常行为检测，并返回检测结果到边缘机器；
步骤2包括：
步骤2-1， 读取亮度增强后的帧图像input_image；构造骨干网络ShuffleNetV2，并加载在电梯数据集上训练好的网络权重；使用加载权重后的ShuffleNetV2网络对亮度增强后的帧图像input_image进行特征提取，得到第三阶段特征图feature_stage3和第四阶段特征图feature_stage4；
步骤2-2， 读取第三阶段特征图feature_stage3和第四阶段特征图feature_stage4；构造轻量化特征金字塔网络light-FPN，并加载在电梯数据集上训练好的网络权重；使用加载权重后的轻量化特征金字塔网络light-FPN对第三阶段特征图feature_stage3和第四阶段特征图feature_stage4进行多尺度特征融合，得到融合后的特征图feature_final；
步骤2-3， 读取融合后的特征图feature_final；构造前景分类器和矩形框回归器，并加载在电梯数据集上训练好的网络权重；使用加载权重后的类别分类器和矩形框回归器，对特征图feature_final进行人体检测，得到坐标向量bboxes、类别向量classes和置信度向量confidences；
步骤2-4，读取坐标向量bboxes、类别向量classes和置信度向量confidences，并进行局部非极大值抑制和解码，得到当前图像的是否包含人体的置信度body_confidence以及人体的具体位置body_bbox；
步骤2-5，对每一帧输入图片input_image_i重复步骤2-1到2-4，得到当前图像的是否包含人体的置信度body_confidence_i以及人体的具体位置body_bbox_i；
步骤2-6，读取双阈值算法的参数：正例阈值pos_thr、负例阈值neg_thr及断开指数阈值cut_thr，重置断开指数cut_count为0；
步骤2-7，对于步骤2-5返回的所有帧，当出现置信度body_confidence_i大于正例判别阈值pos_thr的帧时，开始连接；当开始连接后连续出现body_confidence_i小于正例判别阈值neg_thr的帧时，断开指数加一；当断开指数大于断开指数阈值cut_thr时，得到一个视频片段，并返回给云上机器；重复步骤2-6，2-7；
步骤3包括：
步骤3-1， 读取步骤2返回的视频input_video和视频帧抽取总数frame_total；对input_video的视频帧进行稀疏抽取，等间距抽取其中frame_total帧，得到视频子帧集合input_frames；
步骤3-2， 读取视频子帧集合input_frames；构造动量抽取网络ME并加载在电梯数据集上训练好的模块权重；使用加载权重后的动量抽取网络ME对视频子帧集合input_frames进行时域局部特征提取，得到局部运动特征图feature_me；
步骤3-3， 读取局部运动特征图feature_me；构造多重时域聚合网络MTA并加载在电梯数据集上训练好的模块权重；使用加载权重后的动量抽取网络MTA对局部运动特征图feature_me进行时域全局特征提取，得到全局运动特征图feature_mta；
步骤3-4， 重复步骤3-2，3-3，使用动量抽取网络ME和多重时域聚合网络MTA进行4阶段的全局运动特征提取，得到视频的全局运动特征图feature_mta_4；
步骤3-5， 读取视频的全局运动特征图feature_mta_4；构造全连接网络结构的行为分类网络CLA，并加载在电梯数据集上训练好的模块权重；使用加载权重后的动作分类网络CLA，对全局运动特征图feature_mta_4进行行为分类，得到行为分类向量motion_cla；
步骤3-6，读取行为分类向量motion_cla；进行解码，得到电梯视频的行为类别motion_type；重复步骤3-1到3-5，对所有视频进行行为分类，并返回结果到边缘机器；
步骤3-7，根据相应的异常行为，按照重要性等级，启动后续的应对措施。
2.根据权利要求1所述的电梯内异常行为检测方法，其特征在于，步骤1包括：
步骤1-1，读取输入帧图像和下采样的目标宽度width和目标高度height；然后使用线性插值算法对输入帧图像进行下采样，得到下采样后的帧图像；
步骤1-2，读取下采样后的帧图像和算法参数截断阈值clipLimit，使用限制对比度自适应直方图均衡算法对下采样后的帧图像进行亮度增强，得到亮度增强后的帧图像。
3.根据权利要求2所述的电梯内异常行为检测方法，其特征在于，
步骤1-1中，设定的图像下采样目标宽度width和目标高度height均是332；
步骤1-2中，设定的对比度截断阈值clipLimit是40.0。
4.根据权利要求1所述的电梯内异常行为检测方法，其特征在于，步骤2-6中，超参数正例阈值pos_thr设定为0.6；负例阈值neg_thr设定为0.4；断开指数阈值cut_thr设定为7。
5.根据权利要求1所述的电梯内异常行为检测方法，其特征在于，步骤3-6中，行为类别包括异常行为和正常行为，其中异常行为包括晕倒、跳跃、拍打轿厢、暴力斗殴、欺凌他人或阻塞厢门；正常行为包括站立。
6.一种基于边缘计算的电梯内异常行为检测装置，其特征在于，包括处理器和存储器；所述存储器中存储有程序或指令，所述程序或指令由所述处理器加载并执行以实现如权利要求1至5任一所述的电梯内异常行为检测方法。
7.一种计算机可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至5任一项所述电梯内异常行为检测的方法。
CN202210270892.1A 2022-03-18 2022-03-18 电梯内异常行为检测方法、装置及存储介质 Active CN114708531B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210270892.1A CN114708531B (zh) 2022-03-18 2022-03-18 电梯内异常行为检测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210270892.1A CN114708531B (zh) 2022-03-18 2022-03-18 电梯内异常行为检测方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN114708531A CN114708531A (zh) 2022-07-05
CN114708531B true CN114708531B (zh) 2024-07-16

Family

ID=82168879

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210270892.1A Active CN114708531B (zh) 2022-03-18 2022-03-18 电梯内异常行为检测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN114708531B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN112434618A (zh) * 2020-11-26 2021-03-02 西安电子科技大学 基于稀疏前景先验的视频目标检测方法、存储介质及设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070067B (zh) * 2019-04-29 2021-11-12 北京金山云网络技术有限公司 视频分类方法及其模型的训练方法、装置和电子设备
CN111476219B (zh) * 2020-06-02 2024-09-17 苏州科技大学 智能家居环境中图像目标检测方法
CN113850242B (zh) * 2021-11-30 2022-04-01 北京中超伟业信息安全技术股份有限公司 一种基于深度学习算法的仓储异常目标检测方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN112434618A (zh) * 2020-11-26 2021-03-02 西安电子科技大学 基于稀疏前景先验的视频目标检测方法、存储介质及设备

Also Published As

Publication number Publication date
CN114708531A (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
Fu et al. Fast crowd density estimation with convolutional neural networks
US20190311223A1 (en) Image processing methods and apparatus, and electronic devices
US9189867B2 (en) Adaptive image processing apparatus and method based in image pyramid
CN111652317B (zh) 基于贝叶斯深度学习的超参数图像分割方法
CN109271906A (zh) 一种基于深度卷积神经网络的烟雾检测方法及其装置
CN111738054A (zh) 一种基于时空自编码器网络和时空cnn的行为异常检测方法
KR20080069878A (ko) 얼굴시점 결정장치 및 방법과 이를 채용하는 얼굴검출장치및 방법
CN111626090A (zh) 一种基于深度帧差卷积神经网络的运动目标检测方法
Zhang et al. Beyond particle flow: Bag of trajectory graphs for dense crowd event recognition
CN115661860A (zh) 一种狗行为动作识别技术的方法、装置、系统及存储介质
CN116310563A (zh) 一种贵金属库存的管理方法及系统
Huang et al. Cost-sensitive sparse linear regression for crowd counting with imbalanced training data
CN111310516B (zh) 一种行为识别方法和装置
CN114708531B (zh) 电梯内异常行为检测方法、装置及存储介质
CN111340139B (zh) 一种图像内容复杂度的判别方法及装置
Bakır et al. Evaluating the robustness of yolo object detection algorithm in terms of detecting objects in noisy environment
CN107767401B (zh) 基于核相关滤波的红外目标实时跟踪方法及装置
CN114943869B (zh) 风格迁移增强的机场目标检测方法
Zhu et al. Detection and recognition of abnormal running behavior in surveillance video
CN110472639A (zh) 一种基于显著性先验信息的目标提取方法
Williams et al. Further extensions to robust parameter design: three factor interactions with an application to hyperspectral imagery
Singh et al. An OMR based automatic music player
Modi et al. Neural network based approach for recognition human motion using stationary camera
CN116912920B (zh) 表情识别方法及装置
Han et al. Enhanced Mask R-CNN blur instance segmentation based on generated adversarial network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant