CN112966589A - 一种在危险区域的行为识别方法 - Google Patents

Abstract

本发明涉及一种在危险区域的行为识别方法，包括以下步骤：获取实际场景下的视频数据，对其进行处理后，整理成训练样本集合，该训练样本集合包含人物图像以及与人物图像对应的位置信息和类别信息；采用训练样本集合对目标检测模型进行训练，得到训练后的检测模型，之后将训练后的检测模型作为人体检测模型；当检测到人物对应图像的具体位置时，将人物对应图像截出，并将其作为人体检测模型的输入数据，得到人体各部位关键点位置，根据关键点的位置推断该人物的行为特征。上述技术方案中提供的在危险区域的行为识别方法，能有效解决现有检测方法受限于摄像头的自身条件以及现场环境对图像特征提取检测效果的问题。

Description

一种在危险区域的行为识别方法

技术领域

本发明涉及目标检测技术领域，具体涉及一种在危险区域的行为识别方法。

背景技术

打电话检测是行为检测的一个类别，也是将来人工智能所要发展的方向，对于公共场合管控，如加油站等，人员监督无法起到实时的监督作用，或者事后监控视频筛查，既需要大量的人力和时间成本并且不具有主动性。

现有的打电话检测技术基本为：1.传统方法做人体的特征提取，输入到分类器中，得出是否打电话的分类模型；2.基于深度学习的CNN头部检测，判别是否有打电话行为。随着深度学习的蓬勃发展，基于深度学习的行为检测技术已经取得了较好的效果，当前大多数的行为识别技术都需要依靠深度学习来支撑。而目前基于深度学习的打电话检测方法(通用场景下)，使用一个大型的CNN(卷积神经网络)网络，依靠卷积层和池化层来自动生成特征，与传统特征提取方法不同，卷积神经网络通过卷积核提取特征，每一个神经元和前一层的局部感受区域相连，通过卷积核计算局部特征。以卷积窗口的移动生成特征平面，每一个特征平面共享一个卷积核，做到权值共享，降低了权值的数量的优点。最终实现结果显示出了良好的稳定性，较高的正确率。但是，对于通用场景下，难以捕捉到手机具体特征，受限于摄像头安装角度，像素分辨率以及监控区域的距离；现场环境(光线等外界因素)对于图像特征的提取会导致检测效果不佳；对于检测模型需要有更高的要求，能够充分提取人物肢体特征。因此，亟需设计一种新的技术方案，以综合解决现有技术中存在的问题。

发明内容

本发明的目的是提供一种在危险区域的行为识别方法，能有效解决现有检测方法受限于摄像头的自身条件以及现场环境对图像特征提取检测效果的问题。

为解决上述技术问题，本发明采用了以下技术方案：

一种在危险区域的行为识别方法，包括以下步骤：

(1)获取实际场景下的视频数据，对其进行处理后，整理成训练样本集合，该训练样本集合包含人物图像以及与人物图像对应的位置信息和类别信息；

(2)采用训练样本集合对目标检测模型进行训练，得到训练后的检测模型，之后将训练后的检测模型作为人体检测模型；

(3)当检测到人物对应图像的具体位置时，将人物对应图像截出，并将其作为人体检测模型的输入数据，得到人体各部位关键点位置，根据关键点的位置推断该人物的行为特征。

其中训练样本集合的获取方法为：将实际场景下的视频数据保存成单帧图片，对单帧图片进行边框位置和目标分类的信息标注，生成对应的XML文件。

其中目标检测模型的训练方式为训练样本集合对目标检测模型中的每个卷积网络进行端到端训练，包括以下步骤：

(31)将训练样本集合中的人物图像输入主干网络的CNN卷积层进行特征提取，得到输入人物图像三个不同尺寸的特征图；

(32)对上述特征图进行上采样，得到尺寸相同的张量，再进行拼接操作，合并张量；

(33)以输入人物图像的真实标注信息作为输出，进行前向传播，依据步骤(32)合并的张量与真实标签构建损失函数；

通过随机梯度下降算法优化识别模型中网络的网络参数，降低损失函数值，不断迭代此过程优化网络参数，直至损失函数停止下降，检测模型训练过程结束，得到目标检测模型。

损失函数的公式如下：

式中：

表示第i个网格的第j个anchor box是否负责这个目标，负责为1，否则为0；

表示第i个网格的第j个anchor box不负责该目标；

为中心坐标误差；

为宽高坐标误差；S代表网格数，B代表单个网格对应的先验框；

为置信度误差；

为分类误差。

目标检测模型采用Darknet-53主干网络；人体检测采用yolo_v3的深度学习算法进行。

上述技术方案中提供的在危险区域的行为识别方法，采用真实应用场景下的视频数据构建训练样本，样本数据比较贴近实际情况，并且样本种类多样，数据量充足，可以根据不同的需求制作出多样性的样本数据集，该训练样本集合的构建方式能够保证每个训练样本集合中的训练样本的丰富多样性和个体化差异性，同时还能确保任意两个训练样本之间的个体化差异稳定。因此，采用该方式构建的训练样本集合对目标检测模型进行训练时，产生的方差小，模型易收敛，训练后得到的目标检测模型鲁棒性好，能够普遍适用于各种人物的识别，解决了现实应用场景中由于人物图像背景变化、姿态变化等原因产生的高方差导致模型不收敛、鲁棒性差的问题。

本发明的目标检测模型采用不同尺度的特征图来进行目标检测，输出3个不同尺度的特征图，拼接不同尺寸的特征图(通过上采样来保证concat拼接的张量尺度相同)，对于不同尺寸的目标进行检测，可以更加精细的检测出目标的位置。

本发明人体骨架检测模型采用的输入数据，是由视频数据的每一帧图像经过处理后，通过目标检测算法计算出目标具体位置后，截取对应的目标作为openpose的输入数据，因此，输入数据为单个个体，对于人体骨架的检测更加的精准，更加便于对骨架关键点的判断。

本发明的目标检测模型采用Darknet-53主干网络，其堆叠了53层卷积网络，用于对图像特征的提取，网络层数越深，对于图像特征的提取就越有利。

附图说明

图1为实施例中打电话行为识别的检测流程图；

图2为实施例的目标检测算法yolov3网络流程图；

图3为实施例中打电话行为判断逻辑图；

图4为实施例中打电话行为检测流程图。

具体实施方式

为了使本发明的目的及优点更加清楚明白，以下结合实施例对本发明进行具体说明。应当理解，以下文字仅仅用以描述本发明的一种或几种具体的实施方式，并不对本发明具体请求的保护范围进行严格限定。

本实施例以在加油站场景下检测打电话为例对本发明的危险区域的行为识别方法进行说明，在加油站区域的打电话检测方法，如图1所示，包括以下步骤：

(1)针对加油站场景下的打电话检测，首先需要确立摄像区域，以及摄像头的安装位置，安装角度对于模型的识别会产生一定的影响，尽可能让摄像头处于平视角的状态，可以提高人物检测的识别率；

(2)获取视频数据，制作训练样本集合，训练样本包括含有人物的图像与图像对应的标注信息，人物图像为包含正常场景下，加油工的行为状态，以及加油顾客的各种行为状态，必要时，需要实施人员增加异常行为，丰富训练样本集合，强化模型，标注信息用于指示人物图像中所包含的人物位置信息，以及人物的类别信息。

其中，获取训练样本集合的具体操作为：

获取到加油站视频数据后，通过脚本获取视频中每一帧的图像，挑选出这些图像中有人物的图像作为需要标注的图像，使用labelimg标注工具对图像进行标注，标注出人物图像中人物的具体位置标签以及类别标签，将标注后的文件与图片作为训练样本集合。另外为了提高人物检测准确度，本实施例还对视频数据进行增强，分别采用不同时段、气候、光照条件、人物各类姿态、人物远近等条件下的视频数据作为原始样本进行处理，充分体现数据的多样性，提高检测结果准确度。

具体地，本实施例将训练样本集合按照70％的比例作为模型训练的训练集，训练样本集合的30％作为模型训练的测试集。

(3)采用训练样本集合对目标检测模型进行训练，使得将训练样本中的人物图像输入到训练后的检测模型后得到的检测结果与相应标注信息中位置信息及类别信息的匹配度最高；将训练后的检测模型作人体检测模型。

训练检测模型的方法为：获取实际场景下视频数据，保存单帧图片，对图像进行信息标注，生成对应的xml文件，信息标注包括边框的位置坐标，以及目标的分类信息。采用训练样本集合对目标检测模型进行训练是采用训练样本集合对目标检测模型中的每个卷积网络进行训练，训练方式为端到端的训练方式，其具体训练过程如下：

将训练样本集合中的图像样本输入主干网络(Darknet-53)的CNN卷积层进行特征提取，得到输入图像三个不同尺寸的特征图；

将得到的不同尺寸的特征图进行上采样，得到尺寸相同的tensor，再进行concat操作，合并tensor；

以输入图像的真实标注信息作为输出，进行前向传播，依据步骤(2)合并的tensor与真实标签构建损失函数；

通过随机梯度下降算法优化识别模型中网络的网络参数，降低损失函数值，不断迭代此过程优化网络参数，直至损失函数停止下降，检测模型训练过程结束，得到目标检测模型。

其中损失函数的公式如下：

式中：

表示第i个网格的第j个anchor box是否负责这个目标，负责为1，否则为0；

表示第i个网格的第j个anchor box不负责该目标；

为中心坐标误差；

为宽高坐标误差；S代表网格数，B代表单个网格对应的先验框；

为置信度误差；

为分类误差。

其中人体检测采用yolo_v3的深度学习算法，主干网络(backbone)采用了Darknet-53，在backbone的结构里面是没有池化层和全连接层的，改变张量尺寸是通过卷积核的步长来实现的，输入数据尺寸416x416，输出3个不同尺度的特征图(feature map)：y1(13*13*18)、y2(26*26*18)、y3(52*52*18)，拼接不同尺寸的feature map(通过上采样来保证concat拼接的张量尺度相同)，对于不同尺寸的目标进行检测，可以更加精细的检测出目标的位置。

通过最终输出的张量，可以得出目标位置的中心坐标，目标宽高，类别以及置信度，进而确立目标位置。

(4)根据上述目标检测模型训练方法得到检测模型，图像通过检测模型检测出目标位置，截取出当前图像对应位置作为新的图像。将新图像作为输入数据，输入到openpose检测网络中(该模型文件采用公开模型文件)，检测出人体关键部位位置信息('Nose'，'Neck'，'R-Sho'，'R-Elb'，'R-Wr'，'L-Sho'，'L-Elb'，'L-Wr'，'R-Hip'，'R-Knee'，'R-Ank'，'L-Hip'，'L-Knee'，'L-Ank'，'R-Eye'，'L-Eye'，'R-Ear'，'L-Ear')，该位置信息仅相对于截取后的图像，需反馈至原图。

(5)打电话逻辑判断主要涉及关键点(‘neck’，‘nose’，‘r_hand’，‘l_hand’)，通过限制nose-r_hand，nose-l_hand，neck-r_hand，neck-l_hand之间的距离判断人物是否有打电话的行为，此外，另加入行为动作维持时间作为判断打电话的另一依据，即人物维持打电话动作一定时间将判定为打电话，打电话逻辑图如图3所示。

(6)最终将该方法实现后，部署至rk3399嵌入式开发板，应用到实际场景中，接入现场视频流，能够及时触发打电话事件并作出告警(检测过程如图4)。本实施例采用移动嵌入式设备的移植，arm嵌入式开发板能够满足算法需求，并且可以根据用户的需求来进行灵活的配置，方便了算法的部署和实施，而且占用空间小，方便开发。

本发明构建训练样本时，采用真实应用场景下的视频数据，样本数据比较贴近实际情况，并且样本种类多样，数据量充足，可以根据不同的需求制作出多样性的样本数据集。本发明采用的图像数据为加油站视频数据，视频数据来自多路摄像头，基本覆盖了整个加油区以及卸油区、进出口等位置，全面监控加油站实时人员状况，该训练样本集合的构建方式能够保证每个训练样本集合中的训练样本的丰富多样性和个体化差异性，而且，还能确保任意两个训练样本之间的个体化差异稳定。因此，采用该方式构建的训练样本集合对目标检测模型进行训练时，产生的方差小，模型易收敛，训练后得到的目标检测模型鲁棒性好，能够普遍适用于各种人物的识别，解决了现实应用场景中由于人物图像背景变化、姿态变化等原因产生的高方差导致模型不收敛、鲁棒性差的问题。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，对于本技术领域的普通技术人员来说，在获知本发明中记载内容后，在不脱离本发明原理的前提下，还可以对其作出若干同等变换和替代，这些同等变换和替代也应视为属于本发明的保护范围。

Claims (5)

1.一种在危险区域的行为识别方法，其特征在于，包括以下步骤：

(1)获取实际场景下的视频数据，对其进行处理后，整理成训练样本集合，该训练样本集合包含人物图像以及与人物图像对应的位置信息和类别信息；

(2)采用训练样本集合对目标检测模型进行训练，得到训练后的检测模型，之后将训练后的检测模型作为人体检测模型；

(3)当检测到人物对应图像的具体位置时，将人物对应图像截出，并将其作为人体骨架识别的输入数据，得到人体各部位关键点位置，根据关键点的位置推断该人物的行为特征。

2.根据权利要求1所述的在危险区域的行为识别方法，其特征在于，训练样本集合的获取方法为：将实际场景下的视频数据保存成单帧图片，对单帧图片进行边框位置和目标分类的信息标注，生成对应的XML文件。

3.根据权利要求1所述的在危险区域的行为识别方法，其特征在于，目标检测模型的训练方式为训练样本集合对目标检测模型中的每个卷积网络进行端到端训练，包括以下步骤：

(31)将训练样本集合中的人物图像输入主干网络的CNN卷积层进行特征提取，得到输入人物图像三个不同尺寸的特征图；

(32)对上述特征图进行上采样，得到尺寸相同的张量，再进行拼接操作，合并张量；

(33)以输入人物图像的真实标注信息作为输出，进行前向传播，依据步骤(32)合并的张量与真实标签构建损失函数；

通过随机梯度下降算法优化识别模型中网络的网络参数，降低损失函数值，不断迭代此过程优化网络参数，直至损失函数停止下降，检测模型训练过程结束，得到目标检测模型。

4.根据权利要求2所述的在危险区域的行为识别方法，其特征在于，所述损失函数的公式如下：

式中：

表示第i个网格的第j个anchor box是否负责这个目标，负责为1，否则为0；

表示第i个网格的第j个anchor box不负责该目标；

为中心坐标误差；

为宽高坐标误差；S代表网格数，B代表单个网格对应的先验框；

为置信度误差；

为分类误差。

5.根据权利要求1所述的在危险区域的行为识别方法，其特征在于：目标检测模型采用Darknet-53主干网络；人体检测采用yolo_v3的深度学习算法进行。

Images