CN114663796A - 一种目标人物持续跟踪方法、装置及系统 - Google Patents
一种目标人物持续跟踪方法、装置及系统 Download PDFInfo
- Publication number
- CN114663796A CN114663796A CN202210000443.5A CN202210000443A CN114663796A CN 114663796 A CN114663796 A CN 114663796A CN 202210000443 A CN202210000443 A CN 202210000443A CN 114663796 A CN114663796 A CN 114663796A
- Authority
- CN
- China
- Prior art keywords
- target person
- person
- target
- information
- next frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000001514 detection method Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 210000003423 ankle Anatomy 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种目标人物持续跟踪方法、装置及系统,包括:读取云台摄像头内的视频数据,识别视频区域内的所有人物图像,获得每个人物的坐标信息,并根据每个人物的坐标信息,裁剪出每个人物的图像;对每个人物的图像进行人脸识别,获得每个人物的人脸信息,并将每个人物的人脸信息与目标人物的人脸信息对比,识别出目标人物;基于目标人物的图像和坐标信息,获得目标人物的下一帧坐标信息;基于目标人物的下一帧坐标信息,控制云台摄像头移动,使目标人物在云台摄像头的拍摄区域内,完成对目标人物的持续跟踪。通过本发明提供的方案,无论行人是否被遮挡,均可进行持续跟踪,提高了识别的准确率。
Description
技术领域
本发明书一个或多个实施例涉及智能监控技术领域,尤其涉及一种目标人物持续跟踪方法、装置及系统。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述可包括可以探究的概念,但不一定是之前已经想到或者已经探究的概念。因此,除非在此指出,否则在本部分中描述的内容对于本申请的说明书和权利要求书而言不是现有技术,并且并不因为包括在本部分中就承认是现有技术。
行人跟踪算法是一个重要的研究领域和应用方向,随着深度学习技术的发展,目前的研究者们更多的使用深度学习技术来对目标人物进行跟踪,这项技术可应用于安防、刑侦等领域中。
在目前的研究中,用于对目标行人进行跟踪的方法主要包括目标跟踪和行人重识别的方法。目标跟踪又可以分为单目标跟踪方法和多目标跟踪方法。单目标跟踪算法主要是对视频区域中的一个目标进行持续跟踪,代表性的算法有SiamFC、SiamRPN等,孪生网络的应用对跟踪算法的效果带来了很大的改进;多目标跟踪算法是对视频区域内每一个检测到的目标都进行跟踪,所以每一个目标都会有一个单独的标签序号,也称为ID,这个一个目标的ID一直保持不变的话,就说明这个目标的跟踪效果很好,比较有代表性的多目标跟踪算法有DeepSort、JDE、FairMOT算法等。除了通过目标检测算法来对行人进行跟踪,还可以通过行人重识别算法来对目标人物进行跟踪,与目标跟踪算法不同,行人重识别算法更加关注在不同的摄像头区域内,根据目标人物的衣着体态等特征来识别到目标人物,是一种跨多个摄像头的行人匹配算法,行人重识别算法主要包括两个步骤,即行人检测和再识别,通过在不同的摄像头中检索到目标人物,从而达到对目标人物进行跟踪的目的。
深度学习领域有很多细分的研究方向,如图像识别、目标检测、目标跟踪、实例分割等。基于目前的研究,本发明中提出了一套行人跟踪技术,该技术主要涉及目标检测、人脸识别、目标跟踪等方面,然后结合使用图像处理技术、摄像头云台联动技术,实现一套完整的行人跟踪系统。
发明内容
本说明书一个或多个实施例描述了一种目标人物持续跟踪方法、装置及系统,不仅可以在人脸识别可以进行时,可以完成对目标人物的持续跟踪;而且对跟踪算法进行了优化,增加了人体的部件信息特征,在行人被遮挡,无法进行人脸识别时,也可以进行跟踪,提高了识别的准确率。
本说明书一个或多个实施例提供的技术方案如下:
第一方面,本发明提供了一种目标人物持续跟踪方法,包括:
读取云台摄像头内的视频数据,识别视频区域内的所有人物图像,获得每个人物的坐标信息,并根据所述每个人物的坐标信息,裁剪出每个人物的图像;
对所述每个人物的图像进行人脸识别,获得每个人物的人脸信息,并将所述每个人物的人脸信息与目标人物的人脸信息对比,识别出目标人物;
基于目标人物的图像和坐标信息,获得目标人物的下一帧坐标信息;
基于所述目标人物的下一帧坐标信息,控制云台摄像头移动,使目标人物在云台摄像头的拍摄区域内,完成对目标人物的持续跟踪。
优选地,所述将每个人物的人脸信息与目标人物的人脸信息对比,识别出目标人物,具体为:
将每个人物的人脸信息与目标人物的人脸信息对比,获得每个人物与目标人物人脸的相似度;
相似度达到阈值的人物,确定为目标人物。
优选地,所述基于目标人物的图像和坐标信息,获得目标人物的下一帧坐标信息,具体为:
基于所述目标人物的图像和坐标信息,预测目标人物的下一帧坐标信息;
识别在预测的下一帧坐标出现的人物的人脸信息,并与目标人物的人脸信息进行对比,若确定在下一帧坐标出现的人物是目标人物,则输出所述下一帧坐标信息。
优选地,所述基于目标人物的图像和坐标信息,获得目标人物的下一帧坐标信息,具体为:
基于所述目标人物的图像和坐标信息,预测目标人物的下一帧坐标信息;
若无法识别在预测的下一帧坐标出现的人物的人脸信息,则识别人物的部件信息特征,并与目标人物的部件信息特征进行对比,若确定下一帧坐标出现的人物是目标人物,则输出所述预测的下一帧坐标信息。
优选地,在识别出视频区域内的所有人物图像时,给每个人物设置一个标签;
识别出目标人物时,获取所述目标人物的标签;
获得目标人物的标签的下一帧坐标信息;
基于所述目标人物的标签的下一帧坐标信息,控制云台摄像头移动,使目标人物在云台摄像头的拍摄区域内,完成对目标人物的持续跟踪。
第二方面,本发明提供了一种目标人物持续跟踪装置,包括:
所述目标检测模块,用于读取摄像头内的视频数据,识别视频区域内的所有人物图像,获得每个人物的坐标信息,并根据每个人物的坐标信息,裁剪出每个人物的图像;
所述人脸识别模块,用于对每个人物的图像进行人脸识别,获得每个人物的人脸信息,并将每个人物的人脸信息与目标人物的人脸信息对比,识别出目标人物;
目标跟踪模块,用于根据目标人物的图像和坐标信息,获得目标人物的下一帧坐标信息;
所述云台控制模块,用于基于所述目标人物的下一帧坐标信息,控制云台摄像头移动,使目标人物在云台摄像头的拍摄区域内,完成对目标人物的持续跟踪。
优选地,
所述目标跟踪模块,还用于基于所述目标人物的图像和坐标信息,预测出目标人物的下一帧坐标信息;
所述人脸识别模块,还用于识别在下一帧坐标出现的人物的人脸信息,并与目标人物的人脸信息进行对比,确定在下一帧坐标出现的人物是否是目标人物;
所述目标跟踪模块,还用于当确定在下一帧坐标出现的人物是目标人物时,输出所述下一帧坐标信息。
优选地,所述装置还包括部件信息特征模块;
所述目标跟踪模块,还用于基于所述目标人物的图像和坐标信息,预测出目标人物的下一帧坐标信息;
所述部件信息特征模块,用于在人脸识别模块无法识别出在下一帧坐标出现的人物的人脸信息时,识别人物的部件信息特征,并与目标人物的部件信息特征进行对比,确定下一帧坐标出现的人物是否是该目标人物;
所述目标跟踪模块,用于当确定在下一帧坐标出现的是目标人物时,输出所述下一帧坐标信息。
第三方面,本发明提供了一种目标人物持续跟踪系统,该系统包括至少一个处理器和存储器;
所述存储器,用于存储一个或多个程序指令;
所述处理器,用于运行一个或多个程序指令,用以执行如第一方面中一个或多个所述的方法。
第四方面,本发明提供了一种计算机可读存储介质,所述计算机可读存储介质包括一个或多个程序指令,所述一个或多个程序指令可被如第三方面所述的系统执行,以实现如第一方面中一个或多个所述的方法。
本说明书一个或多个实施例提供的目标人物持续跟踪的技术方案中,在确定目标人物后的跟踪阶段,人脸识别算法会一直识别视频区域中的人物,通过人脸识别算法和目标跟踪算法的双重识别,可以实现对目标人物进行持续不断的跟踪。为提高跟踪识别的准确率,本发明对目标跟踪算法进行了优化,加入人体的部件信息特征,当目标人物的人脸信息获取不到的情况下,本发明提供的方案也可以很好的跟踪到目标,提高了人员在遮挡情况下的识别准确率。
附图说明
图1为本发明的硬件设备图;
图2为本发明中系统的整体流程示意图;
图3为本发明的算法流程示意图;
图4为本发明提供的目标人物持续跟踪方法流程示意图;
图5为获得目标人物的下一帧坐标信息的流程示意图一;
图6为获得目标人物的下一帧坐标信息的流程示意图二;
图7为行人关键点算法对人体姿态识别结果示意图;
图8为本发明提供的目标人物持续跟踪装置结构示意图一;
图9为本发明提供的目标人物持续跟踪装置结构示意图二;
图10为本发明提供的目标人物持续跟踪系统结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为实现目标人物的持续跟踪,本发明通过结合使用目标检测算法、人脸识别算法及目标跟踪算法等技术,然后辅助以图像处理技术,摄像头云台联动技术,构建了一套完整的行人跟踪系统。
该系统主要包括三个模块:硬件设备模块、智能算法模块及前端显示和控制模块,下面对其进行说明:
该系统涉及到的硬件设备及这些设备的连接方式参照图1,如图1所示,涉及到的硬件设备主要包括推理服务器、云台摄像头、前端桌面计算机、网络交换机及硬盘录像机等,通过硬件设备的联动,构成了系统运行所需要的硬件环境。其中,推理服务器是人工智能算法运行的基础,其作用是用于运行行人跟踪算法,该跟踪算法的输入为摄像头的实时视频流,输出为目标人物的位置信息,在一些户外的场景中,为了更加方便的携带和安装,推理服务器可以使用一些ARM架构的开发套件来替代;云台摄像头的主要功能是采集视频信息,然后通过云台的移动来对目标人物进行跟踪,这里需要说明的是,可以将云台摄像头安装在无人机或者智能小车上,通过联动就可以实现对目标行人的持续跟踪;前端桌面计算机的作用在于可以看到当前检测到的实时画面,这个实时的画面是由推理服务器上的跟踪算法实时推送出的视频流;网络交换机的作用是构建一套局域网络,硬盘录像机的目的是对云台摄像头的视频数据进行保存。于是,这些硬件设备就构成了一套系统的组成部分,图2是本发明系统的整体流程示意图,如图2所示,本发明中跟踪系统的主要工作流程为:在同一个局域网内,首先云台摄像头会持续的记录视频数据,推理服务器上的算法会获取摄像头的视频数据,然后启动行人跟踪算法对视频数据进行实时的识别,在识别到目标人物之后,就得到了目标人物的位置信息,然后通过操作云台摄像头来对目标人物进行跟踪,通过云台的上下左右的移动,来使得目标人物始终保持在拍摄区域内,这样就实现了对目标人物的跟踪。
介绍完硬件设备之后,下面对软件算法进行说明,软件算法主要包括两个方面,一个是行人跟踪算法,另一个是前端的显示界面。前端的显示界面的主要功能是将算法识别之后的视频信息和目标人物的位置信息等显示出来,帮助使用人员更好的对目标人物进行观察。行人跟踪算法主要包括前面介绍的目标检测算法、人脸识别算法及目标跟踪算法等。图3为本发明涉及到的算法流程示意图;而图4为目标人物持续跟踪方法流程示意图,结合图3和图4,下面就目标人物持续跟踪的整体流程进行详细说明,包括以下步骤:
S10,读取云台摄像头内的视频数据,识别视频区域内的所有人物图像,获得每个人物的坐标信息,并根据所述每个人物的坐标信息,裁剪出每个人物的图像。
该步骤主要利用的是目标检测算法,目的是获得视频区域内的人物图像。
S20,对所述每个人物的图像进行人脸识别,获得每个人物的人脸信息,并将所述每个人物的人脸信息与目标人物的人脸信息对比,识别出目标人物。
该步骤主要利用的人脸识别算法,目的是识别出需要跟踪的目标人物,在一个示例中,通过下列方式识别出目标人物:
将每个人物的人脸信息与目标人物的人脸信息对比,获得每个人物与目标人物人脸的相似度;设置阈值,当相似度达到阈值的人物,确定为目标人物。
S30,基于目标人物的图像和坐标信息,获得目标人物的下一帧坐标信息。
该步骤主要利用目标跟踪算法,目的是获得目标人物的坐标信息,有利于后续云台摄像头的跟踪。在该步骤阶段,本发明采用单目标跟踪算法,在单目标跟踪算法对目标人物进行跟踪的过程中,为了避免出现跟丢跟错的情况,人脸识别算法会一直识别当前区域中的人物,于是通过人脸识别算法和单目标跟踪算法的双重识别,可以对目标人物进行持续不断的跟踪,且达到一个较好的跟踪效果,具体的,如图5所示,获得目标人物的下一帧坐标信息的步骤为S3011-S3012:
S3011,基于所述目标人物的图像和坐标信息,预测目标人物的下一帧坐标信息;
S3012,识别在预测的下一帧坐标出现的人物的人脸信息,并与目标人物的人脸信息进行对比,若确定在下一帧坐标出现的人物是目标人物,则输出所述下一帧坐标信息。
我们对上述步骤S10至步骤S30中所使用到的算法进行补充说明,在我们所构建的跟踪系统中,我们使用的算法主要有目标检测算法、单目标跟踪算法、人脸识别算法等。目标检测算法可以使用Yolo、SSD等单阶段算法,相比于RCNN系列的两阶段检测算法来说,单阶段目标检测算法可以直接输出目标的类别概率和位置坐标,所以其推理速度更快,在一些开发套件上也可以实现实时的推理效果。对于单目标跟踪算法来说,我们可以选择使用SiamFC算法,SiamFC是基于孪生网络的一种跟踪算法,这种算法的识别效果较好,且推理速度很快,孪生网络在跟踪算法领域大放异彩,衍生出了很多效果很好的跟踪算法,如SiamRPN、SiamMask等。
我们在跟踪过程中,有时会出现行人被遮挡,无法利用人脸识别算法识别出目标人物的人脸信息时,为了提高跟踪识别的准确率,我们对单目标跟踪算法还进行了优化,加入了人体的部件信息特征,所以当目标人物的人脸信息获取不到的时候,本发明提出的单目标跟踪算法也可以达到更高的准确度。具体的,如图6所示,获得目标人物的下一帧坐标信息的步骤S3021-S3022:
S3021,基于所述目标人物的图像和坐标信息,预测目标人物的下一帧坐标信息;
S3022,若无法识别在预测的下一帧坐标出现的人物的人脸信息,则识别人物的部件信息特征,并与目标人物的部件信息特征进行对比,若确定下一帧坐标出现的人物是目标人物,则输出所述预测的下一帧坐标信息。
换句话讲,本发明提供的跟踪方案,对单目标跟踪算法进行了优化,其思想为将人的部件特征加入跟踪算法中进行辅助识别,其具体思路为:使用行人关键点识别算法对人体姿态进行识别,找到行人的关键点位置,然后根据关键点位置将行人部件进行划分,可以得到头部、上身、下身、左臂、右臂等部件特征。可以根据需要,对将行人部件进行不同划分。例如,图7为行人关键点算法对人体姿态识别结果示意图,如图7所示,图中每个黑色圆点代表一个关键点位置,通过行人关键点算法对人体姿态的识别,得到行人身体部件的18个关键点信息,将人体分为包括鼻部0、脖子1、右肩2、右肘3、右腕4、左肩5、左肘6、左腕7、右胯8、右膝盖9、右脚踝10、左胯11、左膝盖12、左脚踝13、右眼14、左眼15、右耳16及左耳17等18个部件特征。需要说明的是,这些特征可以是部件的颜色特征或者神经网络提取的特征等,然后将视频中前后帧的行人在部件特征层面上进行对比,例如:如果前后两帧中有一个人物穿的都是蓝色上衣黑色下衣,那么这两帧是同一个人的概率就很大,这可以作为辅助判断,在前后两帧中找到相似度最大的人物,这在人员遮挡的情况下可以提高识别的准确率。
此外,除了使用单目标跟踪算法来对目标人物进行跟踪,也可以使用多目标跟踪算法来代替,多目标跟踪算法会对摄像区域内的每一个人物都进行跟踪,每一个人物有一个单独的标签,也成为ID,只要我们锁定目标人物的ID之后,只需要一直跟踪这个ID的位置信息即可。
在一个示例中,多目标跟踪算法具体实现方式为:
在识别出视频区域内的所有人物图像时,给每个人物设置一个标签;
识别出目标人物时,获取所述目标人物的标签;
获得目标人物的标签的下一帧坐标信息。
除了跟踪算法之外,我们的系统中的人脸识别算法可以帮助我们更好的跟踪到目标,目前的人脸识别算法相对比较成熟,很多的人脸识别算法的识别准确率都很高,所以通过人脸识别算法来对区域内的所有人脸进行识别,可以更加准确的对目标人物进行跟踪。
S40,基于所述目标人物的下一帧坐标信息,控制云台摄像头移动,使目标人物在云台摄像头的拍摄区域内,完成对目标人物的持续跟踪。
该步骤主要利用的云台控制算法,根据目标人物的坐标信息,通过控制云台摄像头的移动,达到对目标的持续跟踪。
上面对软件算法的描述,也即是对智能算法模块的描述,在这一模块中,主要包含的就是跟踪系统中所使用的人工智能算法和云台控制技术等。其中主要包括目标检测算法、人脸识别算法、目标跟踪算法、图像处理技术、云台控制算法等。首先是通过目标检测算法来找到当前区域中的所有人物,然后将人物图像发送给人脸识别算法,人脸识别算法会从中找出目标人物,然后将目标人物的信息发送给目标跟踪算法,目标跟踪算法会持续的对目标人物进行跟踪,同时辅助行人部件特征进行优化,在此过程中,人脸识别算法也会全程运行,提高对目标人物的识别准确率,然后会将识别到的目标人物的位置信息发送给云台,云台控制算法会控制摄像头云台的运动,使得目标人物始终出现在摄像区域内,完成对行人的持续跟踪。
而前端的显示和控制模型主要是为了方便用户的观察和使用,前端界面会将云台摄像头的视频图像显示出现,便于用户更好的观察目标人物的信息,同时,也可以通过前端实现对硬件设备和算法的控制,例如控制云台摄像头的移动方向,对需要跟踪的目标人物进行设定等。
通过以上三个模块的联合运行,实现了一套完整的行人跟踪系统。同时该系统可以运行于开发套件上,安装携带更加的便捷,该跟踪系统也可以与无人机、无人车等进行联动,实现了移动跟踪的目的。
通过本发明提供的方案,无论行人是否被遮挡,均可进行持续跟踪,提高了识别的准确率。
图8示出了本发明一个实施例提供的目标人物持续跟踪装置结构示意图,如图8所示,装置包括:目标检测模块18、人脸识别模块19、目标跟踪模块20和云台控制模块21,具体的:
所述目标检测模块18,用于读取摄像头内的视频数据,识别视频区域内的所有人物图像,获得每个人物的坐标信息,并根据每个人物的坐标信息,裁剪出每个人物的图像。
所述人脸识别模块19,用于对每个人物的图像进行人脸识别,获得每个人物的人脸信息,并将每个人物的人脸信息与目标人物的人脸信息对比,识别出目标人物;
目标跟踪模块20,用于根据目标人物的图像和坐标信息,获得目标人物的下一帧坐标信息。
所述云台控制模块21,用于基于所述目标人物的下一帧坐标信息,控制云台摄像头移动,使目标人物在云台摄像头的拍摄区域内,完成对目标人物的持续跟踪。
当进行单目标跟踪时,
所述目标跟踪模块18,还用于基于所述目标人物的图像和坐标信息,预测出目标人物的下一帧坐标信息。
所述人脸识别模块19,还用于识别在下一帧坐标出现的人物的人脸信息,并与目标人物的人脸信息进行对比,确定在下一帧坐标出现的人物是否是目标人物;
所述目标跟踪模块20,还用于当确定在下一帧坐标出现的人物是目标人物时,输出所述下一帧坐标信息。
当进行单目标跟踪过程中,若人脸识别模块19无法获得人脸信息,为了提高跟踪的准确性,如图9所示,目标人物持续跟踪装置还包括部件信息特征模块22:
所述目标跟踪模块18,还用于基于所述目标人物的图像和坐标信息,预测出目标人物的下一帧坐标信息;
所述部件信息特征模块22,用于在人脸识别模块无法识别出在下一帧坐标出现的人物的人脸信息时,识别人物的部件信息特征,并与目标人物的部件信息特征进行对比,确定下一帧坐标出现的人物是否是该目标人物;
所述目标跟踪模块20,用于当确定在下一帧坐标出现的是目标人物时,输出所述下一帧坐标信息。
本发明实施例提供的装置中各部件所执行的功能均已在上述方法中做了详细介绍,因此这里不做过多赘述。
与上述实施例相对应的,本发明实施例还提供了一种多目标跟踪系统,具体如图10所示,该系统包括至少一个处理器101和存储器102;
存储器101,用于存储一个或多个程序指令;
处理器102,用于运行一个或多个程序指令,执行如上述实施例所介绍的一种目标人物持续跟踪方法中的任一方法步骤。
与上述实施例相对应的,本发明实施例还提供了一种计算机存储介质,该计算机存储介质中包括一个或多个程序,其中,一个或多个程序指令用于被目标人物持续跟踪系统执行如上介绍的目标人物持续跟踪方法。
本申请提供的方案,在确定目标人物后的跟踪阶段,人脸识别算法会一直识别视频区域中的人物,通过人脸识别算法和目标跟踪算法的双重识别,可以实现对目标人物进行持续不断的跟踪。为提高跟踪识别的准确率,本发明对目标跟踪算法进行了优化,加入人体的部件信息特征,当目标人物的人脸信息获取不到的情况下,本发明提供的方案也可以很好的跟踪到目标,提高了人员在遮挡情况下的识别准确率。
专业人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种目标人物持续跟踪方法,其特征在于,包括:
读取云台摄像头内的视频数据,识别视频区域内的所有人物图像,获得每个人物的坐标信息,并根据所述每个人物的坐标信息,裁剪出每个人物的图像;
对所述每个人物的图像进行人脸识别,获得每个人物的人脸信息,并将所述每个人物的人脸信息与目标人物的人脸信息对比,识别出目标人物;
基于目标人物的图像和坐标信息,获得目标人物的下一帧坐标信息;
基于所述目标人物的下一帧坐标信息,控制云台摄像头移动,使目标人物在云台摄像头的拍摄区域内,完成对目标人物的持续跟踪。
2.根据权利要求1所述的方法,其特征在于,所述将每个人物的人脸信息与目标人物的人脸信息对比,识别出目标人物,具体为:
将每个人物的人脸信息与目标人物的人脸信息对比,获得每个人物与目标人物人脸的相似度;
相似度达到阈值的人物,确定为目标人物。
3.根据权利要求1所述的方法,其特征在于,所述基于目标人物的图像和坐标信息,获得目标人物的下一帧坐标信息,具体为:
基于所述目标人物的图像和坐标信息,预测目标人物的下一帧坐标信息;
识别在预测的下一帧坐标出现的人物的人脸信息,并与目标人物的人脸信息进行对比,若确定在下一帧坐标出现的人物是目标人物,则输出所述下一帧坐标信息。
4.根据权利要求1所述的方法,其特征在于,所述基于目标人物的图像和坐标信息,获得目标人物的下一帧坐标信息,具体为:
基于所述目标人物的图像和坐标信息,预测目标人物的下一帧坐标信息;
若无法识别在预测的下一帧坐标出现的人物的人脸信息,则识别人物的部件信息特征,并与目标人物的部件信息特征进行对比,若确定下一帧坐标出现的人物是目标人物,则输出所述预测的下一帧坐标信息。
5.根据权利要求1所述的方法,其特征在于,在识别出视频区域内的所有人物图像时,给每个人物设置一个标签;
识别出目标人物时,获取所述目标人物的标签;
获得目标人物的标签的下一帧坐标信息;
基于所述目标人物的标签的下一帧坐标信息,控制云台摄像头移动,使目标人物在云台摄像头的拍摄区域内,完成对目标人物的持续跟踪。
6.一种目标人物持续跟踪装置,其特征在于,包括:
所述目标检测模块,用于读取摄像头内的视频数据,识别视频区域内的所有人物图像,获得每个人物的坐标信息,并根据每个人物的坐标信息,裁剪出每个人物的图像;
所述人脸识别模块,用于对每个人物的图像进行人脸识别,获得每个人物的人脸信息,并将每个人物的人脸信息与目标人物的人脸信息对比,识别出目标人物;
目标跟踪模块,用于根据目标人物的图像和坐标信息,获得目标人物的下一帧坐标信息;
所述云台控制模块,用于基于所述目标人物的下一帧坐标信息,控制云台摄像头移动,使目标人物在云台摄像头的拍摄区域内,完成对目标人物的持续跟踪。
7.根据权利要求6所述的装置,其特征在于,
所述目标跟踪模块,还用于基于所述目标人物的图像和坐标信息,预测出目标人物的下一帧坐标信息;
所述人脸识别模块,还用于识别在下一帧坐标出现的人物的人脸信息,并与目标人物的人脸信息进行对比,确定在下一帧坐标出现的人物是否是目标人物;
所述目标跟踪模块,还用于当确定在下一帧坐标出现的人物是目标人物时,输出所述下一帧坐标信息。
8.根据权利要求6所述的装置,其特征在于,所述装置还包括部件信息特征模块;
所述目标跟踪模块,还用于基于所述目标人物的图像和坐标信息,预测出目标人物的下一帧坐标信息;
所述部件信息特征模块,用于在人脸识别模块无法识别出在下一帧坐标出现的人物的人脸信息时,识别人物的部件信息特征,并与目标人物的部件信息特征进行对比,确定下一帧坐标出现的人物是否是该目标人物;
所述目标跟踪模块,用于当确定在下一帧坐标出现的是目标人物时,输出所述下一帧坐标信息。
9.一种目标人物持续跟踪系统,其特征在于,所述系统包括至少一个处理器和存储器;
所述存储器,用于存储一个或多个程序指令;
所述处理器,用于运行一个或多个程序指令,用以执行如权利要求1至5中一个或多个所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括一个或多个程序指令,所述一个或多个程序指令可被如权利要求9所述的系统执行,以实现如权利要求1至5中一个或多个所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210000443.5A CN114663796A (zh) | 2022-01-04 | 2022-01-04 | 一种目标人物持续跟踪方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210000443.5A CN114663796A (zh) | 2022-01-04 | 2022-01-04 | 一种目标人物持续跟踪方法、装置及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114663796A true CN114663796A (zh) | 2022-06-24 |
Family
ID=82026413
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210000443.5A Pending CN114663796A (zh) | 2022-01-04 | 2022-01-04 | 一种目标人物持续跟踪方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114663796A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115183763A (zh) * | 2022-09-13 | 2022-10-14 | 南京北新智能科技有限公司 | 一种基于人脸识别和栅格法的人员地图定位方法 |
WO2024188219A1 (zh) * | 2023-03-13 | 2024-09-19 | 鹏城实验室 | 目标定位与识别方法、设备及可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110516578A (zh) * | 2019-08-20 | 2019-11-29 | 开放智能机器(上海)有限公司 | 一种基于人脸识别和目标跟踪的监视系统 |
WO2020155873A1 (zh) * | 2019-02-02 | 2020-08-06 | 福州大学 | 一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法 |
CN112215155A (zh) * | 2020-10-13 | 2021-01-12 | 北京中电兴发科技有限公司 | 一种基于多特征融合的人脸跟踪方法及系统 |
CN112257502A (zh) * | 2020-09-16 | 2021-01-22 | 深圳微步信息股份有限公司 | 一种监控视频行人识别与跟踪方法、装置及存储介质 |
CN113838092A (zh) * | 2021-09-24 | 2021-12-24 | 精英数智科技股份有限公司 | 一种行人跟踪方法及系统 |
-
2022
- 2022-01-04 CN CN202210000443.5A patent/CN114663796A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020155873A1 (zh) * | 2019-02-02 | 2020-08-06 | 福州大学 | 一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法 |
CN110516578A (zh) * | 2019-08-20 | 2019-11-29 | 开放智能机器(上海)有限公司 | 一种基于人脸识别和目标跟踪的监视系统 |
CN112257502A (zh) * | 2020-09-16 | 2021-01-22 | 深圳微步信息股份有限公司 | 一种监控视频行人识别与跟踪方法、装置及存储介质 |
CN112215155A (zh) * | 2020-10-13 | 2021-01-12 | 北京中电兴发科技有限公司 | 一种基于多特征融合的人脸跟踪方法及系统 |
CN113838092A (zh) * | 2021-09-24 | 2021-12-24 | 精英数智科技股份有限公司 | 一种行人跟踪方法及系统 |
Non-Patent Citations (1)
Title |
---|
张能波: "基于检测跟踪模型的视觉目标跟踪算法研究与应用", 中国期刊网优秀硕士论文 信息科技专辑, no. 2020, 15 September 2020 (2020-09-15) * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115183763A (zh) * | 2022-09-13 | 2022-10-14 | 南京北新智能科技有限公司 | 一种基于人脸识别和栅格法的人员地图定位方法 |
WO2024188219A1 (zh) * | 2023-03-13 | 2024-09-19 | 鹏城实验室 | 目标定位与识别方法、设备及可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110543867B (zh) | 一种多摄像头条件下的人群密度估测系统及方法 | |
US10242266B2 (en) | Method and system for detecting actions in videos | |
Fernandez-Sanjurjo et al. | Real-time visual detection and tracking system for traffic monitoring | |
US20180342067A1 (en) | Moving object tracking system and moving object tracking method | |
CN109919977B (zh) | 一种基于时间特征的视频运动人物跟踪与身份识别方法 | |
CN110751022A (zh) | 基于图像识别的城市宠物活动轨迹监测方法及相关设备 | |
CN113608663B (zh) | 一种基于深度学习和k-曲率法的指尖跟踪方法 | |
CN109325408A (zh) | 一种手势判断方法及存储介质 | |
CN111931654A (zh) | 一种人员跟踪智能监测方法、系统和装置 | |
CN114663796A (zh) | 一种目标人物持续跟踪方法、装置及系统 | |
Shirsat et al. | Proposed system for criminal detection and recognition on CCTV data using cloud and machine learning | |
Beh et al. | Micro-expression spotting using facial landmarks | |
Belkada et al. | Do pedestrians pay attention? eye contact detection in the wild | |
CN117876922A (zh) | 一种基于视频识别电力现场作业风险的方法及装置 | |
Badave et al. | Head pose estimation based robust multicamera face recognition | |
CN112185515A (zh) | 一种基于动作识别的病患辅助系统 | |
Tur et al. | Isolated sign recognition with a siamese neural network of RGB and depth streams | |
CN111460858A (zh) | 图像中指尖点的确定方法、装置、存储介质及电子设备 | |
CN116824641B (zh) | 姿态分类方法、装置、设备和计算机存储介质 | |
Sun et al. | Automated work efficiency analysis for smart manufacturing using human pose tracking and temporal action localization | |
CN114663835B (zh) | 一种行人跟踪方法、系统、设备及存储介质 | |
CN115909497A (zh) | 一种人体姿态识别方法及装置 | |
KR102356165B1 (ko) | 영상에서의 얼굴 인덱싱 방법 및 장치 | |
Raman et al. | Spatiotemporal optical blob reconstruction for object detection in grayscale videos | |
Foytik et al. | Tracking and recognizing multiple faces using Kalman filter and ModularPCA |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |