CN109117794A

CN109117794A - 一种运动目标行为跟踪方法、装置、设备及可读存储介质

Info

Publication number: CN109117794A
Application number: CN201810935776.0A
Authority: CN
Inventors: 艾雄志; 王永华; 万频; 杜艺期; 齐蕾
Original assignee: Guangdong University of Technology
Current assignee: Guangdong University of Technology
Priority date: 2018-08-16
Filing date: 2018-08-16
Publication date: 2019-01-01

Abstract

本发明实施例公开了一种运动目标行为跟踪方法、装置、设备及计算机可读存储介质。其中，方法包括调用预先构建的目标检测模型对采集的运动目标图像进行目标检测，从而在运动目标图像中定位运动目标所在位置。其中，目标检测模型为基于YOLOv3算法、采用正则化和二值交叉熵为损失函数训练所得；且目标检测模型根据交并比值和非极大值抑制算法筛选满足预设条件的目标边界框，并确定目标边界框的中心坐标，以定位运动目标的位置。本申请利用目标检测图像模型将运动目标在采集的运动目标图像中定位，对于连续获得的多帧连续图像，通过在每帧图像中定位运动目标，从而实现对视频中运动目标行为的跟踪检测。本申请提高了运动目标检测速度和定位准确度。

Description

一种运动目标行为跟踪方法、装置、设备及可读存储介质

技术领域

本发明实施例涉及图像处理技术领域，特别是涉及一种运动目标行为跟踪方法、装置、设备及计算机可读存储介质。

背景技术

随着信息技术的不断发展，网络课程也随之普及，教学质量的研究也更为方便。为了更好的研究授课的效果，对学生和教师的行为追踪显得尤为重要，追踪的效果可以用于教学改进和实时的录播控制。于是众多生产厂商和研究机构看到了其中所蕴含的巨大商机，从而开始了智能课堂视频录播系统的研制工作，并且全国很多高校开始建立各自的实验室。经过十几年的研究发展，智能课堂视频录播系统的性能不断提高，功能不断完善，许多学校尤其是基础教育阶段的中小学逐渐看到了智能录播系统所蕴含的价值。

近几年，随着人工智能技术的兴起，Faster-RCNN算法广泛应用于运动目标行为的特征检测和追踪。该方法首先用卷积神经网络(CNN)的卷积层加池化层提取图片的特征区域，这些特征区域被共享用于后续的区域选取网络(Region Proposal Networks，RPN)和全连接层。然后利用RPN网络生成候选框，该层先通过softmax全连接层判断锚(anchors)属于前景还是背景，然后在利用回归边界框(bounding box regression)来修改锚，从而获得精确的候选框。最后由RoI池化层收集输入的特征区域，并把这些数据送入全连接层进行目标类别的判定。

尽管Faster-RCNN算法可实现运动目标的行为跟踪和检测，但是该算法的架构比较复杂，对终端要求较高，在视频或者要求较快识别物体的应用场景中难以执行。

鉴于此，如何在录播时通过对教师的跟踪来控制录像机的移动，以实现完全无人控制摄像机的状态下记录课堂视频，是本领域技术人员亟待解决的问题。

发明内容

本发明实施例的目的是提供一种运动目标行为跟踪方法、装置、设备及计算机可读存储介质，可实现对视频中运动目标行为的跟踪检测。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种运动目标行为跟踪方法，包括：

获取运动目标图像；

调用预先构建的目标检测模型，在所述运动目标图像中定位运动目标所在位置；

其中，所述目标检测模型为基于YOLOv3算法、采用正则化和二值交叉熵为损失函数训练所得；所述目标检测模型根据交并比值和非极大值抑制算法筛选满足预设条件的目标边界框，并确定所述运动目标特征区域的中心点位置坐标，以定位所述运动目标的位置。

可选的，所述目标检测模型的损失函数为：

式中，L为二值交叉损失函数，R为正则化后的损失函数，z_i为预测值，y_i为期望值，ω_i为各层的权重值。

可选的，所述目标检测模型采用53层的卷积网络，且由多个残差单元叠加而成。

可选的，所述目标检测模型采用特征金字塔网络提取所述运动目标图像的特征，输出的目标检测结果包括边界框信息和所述运动目标的类别标签。

可选的，所述目标检测模型采用K-means算法预测所述运动目标的特征区域的中心点位置坐标和边界框的长度值及宽度值。

可选的，所述目标检测结果包括三个不同尺度的边界框和各边界框对应的中心点位置坐标。

可选的，所述目标检测模型采用平方和距离误差损失方法训练所述运动目标的特征区域的中心点位置坐标和边界框的长度值及宽度值。

本发明实施例另一方面提供了一种运动目标行为跟踪装置，包括：

图像获取模块，用于获取运动目标图像；

目标定位模块，用于调用预先构建的目标检测模型，在所述运动目标图像中定位运动目标所在位置；所述目标检测模型为基于YOLOv3算法、采用正则化和二值交叉熵为损失函数训练所得；所述目标检测模型根据交并比值和非极大值抑制算法筛选满足预设条件的目标边界框，并确定所述运动目标特征区域的中心点位置坐标，以定位所述运动目标的位置。

本发明实施例还提供了一种运动目标行为跟踪设备，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述运动目标行为跟踪方法的步骤。

本发明实施例最后还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有运动目标行为跟踪程序，所述运动目标行为跟踪程序被处理器执行时实现如前任一项所述运动目标行为跟踪方法的步骤。

本发明实施例提供了一种运动目标行为跟踪方法，调用预先构建的目标检测模型对采集的运动目标图像进行目标检测，从而在运动目标图像中定位运动目标所在位置。其中，目标检测模型为基于YOLOv3算法、采用正则化和二值交叉熵为损失函数训练所得；且目标检测模型根据交并比值和非极大值抑制算法筛选满足预设条件的目标边界框，并确定目标边界框的中心坐标，以定位运动目标的位置。

本申请提供的技术方案的优点在于，利用目标检测图像模型将运动目标在采集的运动目标图像中定位，对于连续获得的多帧连续图像，也即对视频而言，通过在每帧图像中定位运动目标，从而实现对视频中运动目标行为的跟踪检测。由于YOLOv3算法处理图片的速度很快，在相同条件下，基于YOLOv3算法训练目标检测模型对图像处理速度要比现有卷积神经网络算法训练的模型(如比R-CNN快1000倍，比Fast-RCNN快100倍)的处理速度快。采用正则化和二值交叉熵为损失函数，可进一步提高运动目标的检测速度和定位准确度。此外，YOLOv3算法移植方便，可以在各个操作系统下实现，对终端硬件的配置要求相对较低，能够较容易的在轻量级设备上实现目标检测模型的运行。针对实时录播的应用场景，本申请可在相同的精度下实现对运动目标特征的准确定位和快速识别，提高在视频领域识别的速度和精度，减少录播系统的延迟和卡顿。

此外，本发明实施例还针对运动目标行为跟踪方法提供了相应的实现装置、设备及计算机可读存储介质，进一步使得所述方法更具有实用性，所述装置、设备及计算机可读存储介质具有相应的优点。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种运动目标行为跟踪方法的流程示意图；

图2为本发明实施例提供的一种边界框交并比示意图；

图3为本发明实施例提供的一种真实边界框和预测边界框的显示示意图；

图4为本发明实施例提供的特征金字塔网络示意图；

图5为本发明实施例提供的残差网络结构示意图；

图6为本发明实施例提供的Darknet-53网络示意图；

图7为本发明实施例提供的运动目标行为跟踪装置的一种具体实施方式结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

本申请的发明人经过研究发现，YOLOv3算法处理图片的速度较快，且YOLOv3算法移植方便，可以在各个操作系统下实现，对硬件的配置要求也相对较低，能够较容易的在轻量级设备上实现。

YOLOv3算法首先通过特征提取网络对输入图像提取特征，得到一定尺寸大小的特征图，比如13*13，然后将输入图像分成13*13个grid cell(网格单元)，如果ground truth(标注数据)中某个object(主体)的中心坐标落在哪个grid cell中，那么就由该grid cell来预测该object，因为每个grid cell都会预测固定数量的bounding box(YOLO v3算法中为3个，这几个bounding box的初始大小是不一样的)，只有和ground truth的IOU最大的bounding box才是用来预测该object的。可以看出预测得到的输出特征图有两个维度是提取到的特征的维度，比如13*13，还有一个维度(深度)是B*(5+C)，其中B表示每个grid cell预测的bounding box的数量，比如YOLO v1中是2个，YOLO v2中是5个，YOLO v3中是3个，C表示bounding box的类别数，5表示4个坐标信息和一个置信度(objectness score)。

随着录播仪器的普及，视频信息获取的途径也变得较为容易，于是能更容易得到教学视频资源。录播时通过对教师的跟踪来控制录像机的移动，使其实现完全无人控制摄像机的状态下记录课堂视频。在这种实时检测要求相对较高的场合，YOLOv3算法可能达到快速检测效果。通过参数的调节，模型优化，使其对视频中的人物进行快速识别和追踪，而且保证能够达到一定的精度

在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。

首先参见图1，图1为本发明实施例提供的一种运动目标行为跟踪方法的流程示意图，本发明实施例可包括以下内容：

S101：获取运动目标图像。

S102：调用预先构建的目标检测模型，在运动目标图像中定位运动目标所在位置。

运动目标图像为捕捉的运动目标在运动过程中的图像，对应视频来言，连续捕捉多张图像，即可反映运动目标在这段时间的运动状态，在每帧图像中定位运动目标，便可实现运动目标的跟踪检测。

目标检测模型为基于YOLOv3算法、采用正则化和二值交叉熵为损失函数训练所得；目标检测模型根据交并比值和非极大值抑制算法筛选满足预设条件的目标边界框，并确定目标边界框的中心坐标，以定位运动目标的位置。

交并比(Intersection-over-Union，IoU)，为指在目标检测中产生的候选框(candidate bound)与原标记框(ground truth bound)的交叠率，即它们的交集与并集的比值。

非极大值抑制(non maximum suppression)方法，为基于物体检测分数产生检测框，分数最高的检测框被选中，其他与被选中检测框有明显重叠的检测框被抑制。该过程被不断递归的应用于其余检测框。具体步骤如下：

将所有框的得分排序，选中最高分及其对应的框。

遍历其余的框，如果和当前最高分框的重叠面积(IOU)大于一定阈值，便将框删除。

从未处理的框中继续选一个得分最高的，重复上述过程。

目标检测模型的损失函数可为：

用正则化处理后的二值交叉熵作为损失函数，由给出的训练数据集，使该目标检测模型学习到能够识别物体特征的功能，测试不同的图像，可检查其准确率。

在本发明实施例提供的技术方案中，利用目标检测图像模型将运动目标在采集的运动目标图像中定位，对于连续获得的多帧连续图像，也即对视频而言，通过在每帧图像中定位运动目标，从而实现对视频中运动目标行为的跟踪检测。由于YOLOv3算法处理图片的速度很快，在相同条件下，基于YOLOv3算法训练目标检测模型对图像处理速度要比现有卷积神经网络算法训练的模型(如比R-CNN快1000倍，比Fast-RCNN快100倍)的处理速度快。采用正则化和二值交叉熵为损失函数，可进一步提高运动目标的检测速度和定位准确度。此外，YOLOv3算法移植方便，可以在各个操作系统下实现，对终端硬件的配置要求相对较低，能够较容易的在轻量级设备上实现目标检测模型的运行。针对实时录播的应用场景，本申请可在相同的精度下实现对运动目标特征的准确定位和快速识别，提高在视频领域识别的速度和精度，减少录播系统的延迟和卡顿。

在得到效果最佳的目标边界框之后，其中效果最佳本领域技术人员可根据具体的应用场景进行确定，本申请对此不做任何限定。可由K-means算法和坐标变换预测得到物体特征区域中心点的位置，以及边界框的长度和宽度。

K-means算法为基于距离的聚类算法，采用距离作为相似性的评价指标，两个对象的距离越近，其相似度就越大。该算法认为簇是由距离靠近的对象组成的，因此把得到紧凑且独立的簇作为最终目标。具体方法可如下：

从输入的数据点集合中随机选择一个点作为第一个聚类中心。

对于数据集中的每一个点x，计算它与最近聚类中心(指已选择的聚类中心)的距离D(x)，选择一个新的数据点作为新的聚类中心，选择的原则为D(x)较大的点，被选取作为聚类中心的概率较大，重复上述步骤，直至选取得到k个聚类中心。

利用这k个初始的聚类中心来运行标准的K-means算法。

本申请的锚边框(anchor boxes)可通过K-means聚类的方法得到的，与Faster-RCNN首选的是先验框不同。YOLOv3算法网络在为每个边界预测4个坐标，t_x，t_y，t_w，t_h单元格从图2的左上角偏移(c_x；c_y)，并且之前的边框具有的高度和宽度p_w、p_h，则预测值分别对应于，请参阅图3所示，实线框为运动目标特征区域预测的框图，即锚边框，虚线框为真实的边框：

b_x＝δ(t_x)+c_x；

b_y＝δ(t_y)+c_y；

式中，δ()为logistic函数，用于将坐标t_x、t_y归一化到0-1之间，b_h、b_w为预测的边界框的高度值和宽度值，b_x、b_y为中心点位置坐标。

在YOLOv3算法网络训练上述4个坐标值(边界框的高度、宽度和中心点位置坐标)的时，可采用了平方和距离误差损失，从而可快速计算误差。

本申请目标检测模型在对每个边框通过逻辑回归预测一个物体的得分，如果这个预测边框相对于真实的边框值大部分重合并且比其他预测值要好，那么这个值就是1，即可判断其为物体特征区域。如果重叠部分没有达到一个阈值，例如可设定阈值为0.5，那么这个预测的边框将会被忽略，于是会显示成没有损失值。

可选的，可采用特征金字塔网络(FPN)以物体特征区图像为目标得到3种不同预测边框，实现跨尺度预测，请参阅图4所示。

每种尺度预测三个边框值，锚的设计方法可用聚类得到9个聚类中心，即得到9个簇。再将其按大小平均分给3种尺度。尺度1：在基础网络之后添加一些卷积层再输出边框信息；尺度2：从尺度1中的倒数第二层的卷积层上采样再与最后一个16×16大小的特征图相加，再通过多次的卷积层输出边框信息，相比尺度1变大两倍；尺度3：与尺度2类似使用32×32大小的特征图。如图所示，在3个不同尺寸预测边框，目标检测模型使用的特征提取模型通过FPN(feature pyramid network)网络上进行改变，最后预测得到一个3维的张量，包含边界框信息、对象信息以及类的预测信息(例如运动目标所属的标签类别，在录播系统中，可在边界框上显示学生或者老师)。

输入物体特征区域标记好的边框坐标值和每张图片对应的标签，以Darknet-53网络结构(其中，Darket-53的结构模型可如图6所示)为基础，对其不断的进行训练，实现癌症区域特征提取、分类。

Darknet-53网络结构中又包括残差网络结构。

残差网络有两层，其表达式如下，其中σ代表非线性函数ReLU。

F＝W₂σ(W₁x)；

式中，x为当前层的输入值，W表示第i层的权重值，W₁为第一层权重值，F为网络输出结果。

然后通过一个shortcut，和第2个ReLU，获得输出y：

y＝F(x,{W_i})+x。

式中，F(x,{W_i})为上一层网络的输出结果，x为当前层的输入值。

当需要对输入和输出维数进行变化时(如改变通道数目)，可以在shortcut时对x做一个线性变换Ws，如下式，然而实验证明x已经足够了，不需要再搞个维度变换。

y＝F(x,{W_i})+W_sx。

式中，W_s为第s层权重值，x为当前层的输入值，F(x,{W_i})为上一层网络的输出结果。

实验证明，残差块往往需要两层以上，单一层的残差块y＝F(x,{W_i})+x并不能起到提升作用。残差网络可解决退化的问题，在训练集和校验集上，都证明了的更深的网络错误率越小。具体结构如图5所示。

本申请的目标检测模型可采用一个53层的卷积网络，这个网络由残差单元叠加而成。经过多次试验，证明在分类准确度上跟效率的平衡上，这个模型比ResNet-101、ResNet-152和Darknet-19表现得更好。

为了使本领域技术人员更加清楚明白本申请的实施方式，本申请还提供了一个具体的实例，具体可包括：

向目标检测模型中输入切分图像和签注完成的标签，并把图像拆成最终特征图的多个网格。

根据IOU值，对输入图像的边界框和中心点坐标进行预测。

将预测值与标签对比之后，产生的目标分数与类别置信度结合NMS原理对边界框筛选，不断执行该步，直到效果最佳。

重复上述步骤直至产生三个不同尺度的预测坐标。

对图像进行上述处理之后，输出实际检测的图像结果，即在运动目标图像中将运动目标用边界框框出来，便在边界框上标准所属的标签。

由实验可得FPS(Frames Per Second)＝7.96，可见速度比现有的Faster-RCNN要快很多。

本发明实施例还针对运动目标行为跟踪方法提供了相应的实现装置，进一步使得所述方法更具有实用性。下面对本发明实施例提供的运动目标行为跟踪装置进行介绍，下文描述的运动目标行为跟踪装置与上文描述的运动目标行为跟踪方法可相互对应参照。

参见图7，图7为本发明实施例提供的运动目标行为跟踪装置在一种具体实施方式下的结构图，该装置可包括：

图像获取模块701，用于获取运动目标图像；

目标定位模块702，用于调用预先构建的目标检测模型，在运动目标图像中定位运动目标所在位置；目标检测模型为基于YOLOv3算法、采用正则化和二值交叉熵为损失函数训练所得；目标检测模型根据交并比值和非极大值抑制算法筛选满足预设条件的目标边界框，并确定目标边界框的中心坐标，以定位运动目标的位置。

可选的，在本实施例的一些实施方式中，所述目标定位模块702中为目标检测模型的损失函数为下述公式的模块：

式中，L为二值交叉损失函数，R为正则化后的损失函数，z_i为预测值，y_i为期望值，为各层的权重值。

此外，所述目标定位模块702为目标检测模型采用53层的卷积网络，且由多个残差单元叠加而成的模块。

具体的，所述目标定位模块702还可为目标检测模型采用特征金字塔网络提取所述运动目标图像的特征，输出的目标检测结果包括边界框信息和所述运动目标的类别标签的模块。

可选的，所述目标定位模块702还可为目标检测模型采用K-means算法预测所述运动目标的特征区域的中心点位置坐标和边界框的长度值及宽度值得模块。

进一步的，所述目标定位模块702例如还可为目标检测结果包括三个不同尺度的边界框和各边界框对应的中心点位置坐标的模块。

可选的，所述目标定位模块702例如还可为目标检测模型采用平方和距离误差损失方法训练所述运动目标的特征区域的中心点位置坐标和边界框的长度值及宽度值的模块。

本发明实施例所述运动目标行为跟踪装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例可实现对视频中运动目标行为的跟踪检测。

本发明实施例还提供了一种运动目标行为跟踪设备，具体可包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序以实现如上任意一实施例所述运动目标行为跟踪方法的步骤。

本发明实施例所述运动目标行为跟踪设备的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

本发明实施例还提供了一种计算机可读存储介质，存储有运动目标行为跟踪程序，所述运动目标行为跟踪程序被处理器执行时如上任意一实施例所述运动目标行为跟踪方法的步骤。

本发明实施例所述计算机可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的一种运动目标行为跟踪方法、装置、设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims

1.一种运动目标行为跟踪方法，其特征在于，包括：

获取运动目标图像；

2.根据权利要求1所述的运动目标行为跟踪方法，其特征在于，所述目标检测模型的损失函数为：

3.根据权利要求2所述的运动目标行为跟踪方法，其特征在于，所述目标检测模型采用53层的卷积网络，且由多个残差单元叠加而成。

4.根据权利要求1至3任意一项所述的运动目标行为跟踪方法，其特征在于，所述目标检测模型采用特征金字塔网络提取所述运动目标图像的特征，输出的目标检测结果包括边界框信息和所述运动目标的类别标签。

5.根据权利要求4所述的运动目标行为跟踪方法，其特征在于，所述目标检测模型采用K-means算法预测所述运动目标的特征区域的中心点位置坐标和边界框的长度值及宽度值。

6.根据权利要求5所述的运动目标行为跟踪方法，其特征在于，所述目标检测结果包括三个不同尺度的边界框和各边界框对应的中心点位置坐标。

7.根据权利要求6所述的运动目标行为跟踪方法，其特征在于，所述目标检测模型采用平方和距离误差损失方法训练所述运动目标的特征区域的中心点位置坐标和边界框的长度值及宽度值。

8.一种运动目标行为跟踪装置，其特征在于，包括：

图像获取模块，用于获取运动目标图像；

9.一种运动目标行为跟踪设备，其特征在于，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至7任一项所述运动目标行为跟踪方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有运动目标行为跟踪程序，所述运动目标行为跟踪程序被处理器执行时实现如权利要求1至7任一项所述运动目标行为跟踪方法的步骤。