CN110751674A - 多目标跟踪方法及相应视频分析系统 - Google Patents

Abstract

公开了一种多目标跟踪方法及实施该方案的对应视频分析系统。该方法包括：获取目标的检测位置信息；获取目标的预测位置信息；对获取的预测位置信息和检测位置信息进行匹配；在判定某一目标的检测位置信息与某一目标的预测位置信息相匹配的情况下，基于该目标的检测位置更新所述目标的状态信息；在判定某一目标的预测位置没有与之匹配的检测位置的情况下，判定该目标为消亡目标；以及在判定某一目标的检测位置没有与之匹配的检测位置的情况下，判定该目标为新目标或重新出现的目标。由此，通过对各功能模块的合理调配，能够在实现低算力高速跟踪的同时满足较高的跟踪精度要求。

Description

多目标跟踪方法及相应视频分析系统

技术领域

本发明涉及图像处理领域，尤其涉及一种多目标跟踪方法及相应视频分析系统。

背景技术

目标检测和跟踪一直是学术界和工业界的一个重要研究方向。例如，视频监控系统作为面向城市公共安全综合管理的物联网应用中智慧安防和智慧交通的重要组成部分，面临着深度应用的巨大挑战。不仅如此，目标检测和追踪还在诸如车辆辅助驾驶、交通和游戏等领域内有着巨大的实用空间和潜在意义。

近年来随着目标检测算法和目标属性分析算法的飞速发展，目标检测和属性分析的准确率越来越高，但计算量也越来越大。当出于实时性和安全性的考虑需要在摄像头，无人机等嵌入式端本地部署这些算法时，由于嵌入式端的功耗限制，算法计算量被限制在一个较小的数量级上。

因此，如何在满足功耗限制的情况下实现准确的多目标跟踪，成为目标跟踪领域需要解决的一大问题。

发明内容

鉴于上述的至少一个问题，本发明提出了一种多目标跟踪方案及实施该方案的对应视频分析系统，通过对各功能模块的合理调配，能够在实现低算力高速跟踪的同时满足较高的跟踪精度要求。

根据本发明的一个方面，提出了一种多目标跟踪方法，包括：获取目标的检测位置信息；获取目标的预测位置信息；对获取的预测位置信息和检测位置信息进行匹配；在判定某一目标的检测位置信息与某一目标的预测位置信息相匹配的情况下，基于该目标的检测位置更新所述目标的状态信息；在判定某一目标的预测位置没有与之匹配的检测位置的情况下，判定该目标为消亡目标；以及在判定某一目标的检测位置没有与之匹配的检测位置的情况下，判定该目标为新目标或重新出现的目标。

由此，通过预测与检测的匹配以及后续的处理步骤，灵活应对目标检测中会遇到的各种情况(例如，目标丢失、重新出现和新目标等)，并且通过检测、跟踪和分析模块的合理配合，在确保视频分析精度的同时降低正确显示目标(及其属性)所需的计算量。

获取目标的检测位置信息可以包括：对当前输入的图像帧进行目标检测以获取至少一个目标的检测位置信息，优选地，可以按照预定规则从连续视频图像帧中间隔选取用于进行目标检测的当前输入的图像帧。由此，通过降低检测需求而进一步降低视频分析所需的计算量。

获取目标的预测位置信息可以包括：基于在前帧中检测到的某一目标的在前状态信息求取该目标的预测位置信息；优选地，可以基于该目标的在前状态信息建模，以基于该目标的状态模型预测该目标在当前帧中的位置。由此，能够通过较为高效的模型计算来实现对后续帧内各目标位置的预测。进一步的，在判定某一目标的检测位置信息与某一目标的预测位置信息相匹配的情况下，使用该目标的检测位置更新所述目标的位置状态信息包括：使用该目标的检测位置修正该目标的状态模型。由此，通过引入修正机制提升预测模型的预测准确度。

某一目标的在前状态信息可以包括：该目标的位置、速度、加速度、形变速度、和/或模板信息。基于该目标的在前状态信息建模包括：使用如下至少一种模型对所述目标进行建模：卡尔曼(Kalman)滤波器；线性滤波器；核相关滤波(KCF)跟踪器；均值漂移(MeanShift)跟踪器；以及连续自适应均值漂移(CamShift)跟踪器，并且，状态信息的类型基于使用的具体模型进行确定。由此，能够根据各自应用场合，灵活选择所需的预测机制。

本发明的多目标跟踪方法还包括：将所有活动目标以目标编号和状态信息相对应的方式存储为目标状态列表，并且，获取目标的预测位置信息包括：基于所述目标状态列表中每一活动目标的在前状态信息求取该目标的预测位置信息，并且基于该目标的检测位置更新所述目标的状态信息包括：基于该目标的检测位置更新所述目标条目下的状态信息。由此，通过引入状态列表统筹管理目标状态的变化，从而进一步提升多目标跟踪框架的运行效率。

对获取的预测位置信息和检测位置信息进行匹配可以包括：将预测目标矩形框与检测目标矩形框中重合程度最高且高于预定阈值作为匹配判定标准。另外，获取目标的检测位置信息包括获取包围该目标的检测矩形框的位置信息，获取目标的预测位置信息包括获取包围该目标的预测矩形框的位置信息以及该目标的编号信息。在判定某一目标的检测位置信息与某一目标的预测位置信息相匹配的情况下，使用该目标的检测位置更新所述目标的位置状态信息包括：将匹配的预测目标的编号赋予所述匹配的检测目标，并使用所述匹配的检测目标来更新该编码目标的所述状态信息。

本发明的多目标跟踪方法还可以包括：基于针对某一目标的匹配结果，确定该目标中在显示图像帧中的标示状态，具体地，可以包括：在判定某一目标的预测位置和检测位置的连续匹配次数或匹配频度超过第一阈值时，在当前显示的图像帧中标示所述目标；以及在判定某一目标的预测位置连续没有与之匹配的检测位置的次数超过第二阈值情况下，在当前显示的图像帧中取消对在前标示的所述目标的标示。由此提升正确显示出现目标和隐藏丢失目标的鲁棒性。

在判定某一目标的预测位置没有与之匹配的检测位置的情况下，判定该目标为消亡目标包括：在判定某一目标的预测位置连续没有与之匹配的检测位置的次数超过第三阈值的情况下，判定该目标为消亡目标。而在判定某一目标的预测位置没有与之匹配的检测位置且该目标尚未被判定为消亡目标的情况下，使用跟踪器获取的目标位置作为所述目标的输出位置。所述跟踪器可以是如下任一种跟踪器：核相关滤波(KCF)跟踪器；均值漂移(MeanShift)跟踪器；以及连续自适应均值漂移(CamShift)跟踪器。

在判定某一目标的预测位置没有与之匹配的检测位置的情况下，判定该目标为消亡目标包括：将所述消亡目标的目标编号和目标特征存入消亡目标列表；以及将所述消亡目标的对应条目从目标状态列表中删除，其中所述目标状态列表中包括以目标编号和状态信息相对应的方式存储的所有活动目标。由此，通过消亡列表和状态列表的结合，进一步提升多目标跟踪框架的调度效率。

在判定某一目标的检测位置没有与之匹配的检测位置的情况下，判定该目标为新目标或重新出现的目标包括：在判定某一目标的检测位置没有与之匹配的检测位置的情况下，提取该目标的目标特征；将提取的该目标的目标特征与所述消亡目标列表中存储的目标特征相比较；在所述消亡目标列表中存在匹配的目标特征的情况下，将该目标判定为重新出现的目标，并将匹配的目标特征的编号重新赋予该目标；以及在所述消亡目标列表中不存在匹配的目标特征的情况下，将该目标判定为新目标，并为该目标赋予新编号。进一步地，该未匹配检测步骤还可以包括：将所述重新出现的目标对应的条目从所述消亡目标列表中删除；和/或将所述新目标作为一个新的条目存入目标状态列表，其中所述目标状态列表中包括以目标编号和状态信息相对应的方式存储的所有活动目标。

根据本发明的另一个方面，提出了一种多目标跟踪设备，包括：多个单目标跟踪器，用于至少基于某一目标的在前状态信息，预测该目标在当前帧中所处的位置；匹配单元，用于将每个单目标跟踪器给出的当前帧的目标预测位置与从外部获取的当前帧的目标检测位置相比较；以及多目标跟踪单元，用于基于所述匹配单元的匹配结果，对所述单目标跟踪器进行操作，并且进一步用于：在所述匹配单元判定某一目标的检测位置信息与某一目标的预测位置信息相匹配的情况下，基于该目标的检测位置更新所述目标对应的单目标跟踪器的参数，在所述匹配单元判定某一目标的预测位置没有与之匹配的检测位置的情况下，删除该目标对应的单目标跟踪器，以及在所述匹配单元判定某一目标的检测位置没有与之匹配的检测位置的情况下，为所述目标创建新的单目标跟踪器。

优选地，该设备还可以包括：目标重识别器，用于在所述匹配单元判定某一目标的检测位置没有与之匹配的检测位置的情况下，判定该目标是否是在前出现过的目标，并且所述多目标跟踪单元在所述目标重识别器判定该目标是在前出现过的目标的情况下，为所述目标重建在前的单目标跟踪器。所述目标重识别器还维持有消亡目标列表，所述消亡目标列表存储有被判定为消亡的目标编号和目标特征，并且所述目标重识别器通过将该目标的提取特征与所述消亡目标列表中存储的目标特征进行比较，判定该目标是否是在前出现过的目标。

多目标跟踪单元还可以维持有目标状态列表，其中所述目标状态列表中包括以目标编号和状态信息相对应的方式存储的所有活动目标。

本发明的多目标跟踪设备还可以包括：显示指示单元，用于基于所述匹配单元针对特定目标的匹配结果，判定是否向外输出更改针对该特定目标的标示状态的指令。所述显示指示单元可以进一步用于：在所述匹配单元判定针对某一目标的预测位置和检测位置的连续匹配次数或匹配频度超过第一阈值时，发出在当前显示的图像帧中标示所述目标的指令；以及在所述匹配单元判定某一目标的预测位置连续没有与之匹配的检测位置的次数超过第二阈值情况下，发出在当前显示的图像帧中取消对在前标示的所述目标的标示的指令。

所述单目标跟踪器可以记录其对应目标的预测位置连续没有与之匹配的检测位置的次数，并且所述多目标跟踪单元在所述单目标跟踪器记录的未匹配预测次数超过第三阈值的情况下，判定该目标为消亡目标，并删除所述消亡目标对应的单目标跟踪器。

单目标跟踪器可以使用过滤器模型获取用于与目标检测位置进行匹配的目标预测位置，并且在记录的所述未匹配预测次数尚未达到第三阈值的情况下，使用跟踪器模型获取用于输出的目标预测位置。过滤器模型使用可以如下至少一种模型建立：卡尔曼(Kalman)滤波器；以及线性滤波器，并且所述跟踪器模型实现如下至少一种模型建立：核相关滤波(KCF)跟踪器；均值漂移(MeanShift)跟踪器；以及连续自适应均值漂移(CamShift)跟踪器，并且，所述目标状态列表中存储的状态信息的类型基于使用的模型进行确定，并且包括如下至少一种：该目标的位置、速度、加速度、形变速度、和/或模板信息。

根据本发明的另一个方面，还提出了一种视频分析系统，包括：帧缓存队列，用于存储持续输入的视频图像帧；目标检测模块，用于从所述帧缓存队列连续图像帧并进行处理，以确定当前帧所包含目标的检测位置信息；由上任一项所述的多目标跟踪设备实现的目标跟踪模块，用于对活动目标的位置进行跟踪，将获取目标的跟踪位置信息与目标检测模块获取的目标的检测位置信息进行匹配，并基于匹配结果调整跟踪操作；目标分析模块，用于在目标根据模块基于某一目标的检测位置没有与之匹配的检测位置而将该目标判定为新目标的情况下，对所述目标进行特征提取操作。

所述目标检测模块可以按照预定规则从连续视频图像帧中间隔选取用于进行目标检测的当前输入的图像帧。

所述目标检测模块和目标分析模块至少部分由能够执行高并行度计算的GPU、FPGA或ASIC电路实现。优选地，目标检测模块和目标分析模块可以至少共享部分能够执行卷积神经网络计算的GPU、FPGA或ASIC电路。

由此，本发明提出的多目标跟踪框架通过引入预测与检测位置的匹配，并进一步通过对匹配、未匹配的检测和未匹配的预测的区分及后续的区别操作，能够整合视频分析系统内各模块的工作，由此在降低计算要求的同时保持跟踪精度。进一步地，本方案还可以通过引入目标状态列表并配合消亡目标列表，来从整体上提升系统的资源调度效率，消除不必要的计算需求。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。

图1示出了常见的实时视频结构化智能分析系统的整体框架。

图2示出了根据本发明一个实施例的多目标跟踪方法的示意性流程图。

图3示出了根据本发明一个实施例的判定预测位置与检测位置匹配的示意性流程图。

图4示出了根据本发明一个实施例的判定预测位置没有与之匹配的检测位置的示意性流程图。

图5示出了根据本发明一个实施例的判定检测位置没有与之匹配的预测位置的示意性流程图。

图6示出了根据本发明一个实施例的多目标跟踪设备的示意图。

图7示出了可用于实现本发明的视频分析系统的SoC的一个例子。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

目前，目标检测和跟踪的应用瓶颈在于视频信息如何高效提取，如何同其他信息系统进行标准数据交换、互联互通及语义互操作。为解决这一问题，业已提出了视频结构化描述技术。通过使用视频结构化描述技术改造传统的视频监控系统，使之形成新一代的视频监控系统智慧化、语义化、情报化的语义视频监控系统。

视频结构化描述是一种视频内容信息提取的技术，其对视频内容按照语义关系，采用时空分割、特征提取、对象识别等处理手段，组织成可供计算机和人理解的文本信息的技术。图1示出了常见的实时视频结构化智能分析系统的整体框架。

如图1所示，实时视频结构化智能分析系统20采集来自数据源10的数据流，该数据流可以是摄像头的实时输入或是存储的视频文件。本地系统20对采集的数据流进行结构化分析，并将相应的分析结果存储至本地或远程数据库30。

实时视频结构化智能分析系统20可以包括视频编解码模块21、帧缓存22和视频分析模块23。视频编解码模块21将来自数据源10的数据流编码或解码为指定格式帧数据。帧缓存22缓存视频帧数据，供视频分析模块23使用。

视频分析模块23可以大致分为目标检测模块、目标跟踪模块、以及目标识别和分析模块。目标检测模块利用深度学习算法对输入的视频流进行目标检测，从帧图像中提取出需要进行分析的目标的位置、类别等信息。目标跟踪模块利用深度学习或者传统算法对目标检测模块输出的目标进行跟踪和去重处理，避免目标分析模块的重复运行，提高分析质量并减小分析运算量。目标识别和分析模块根据目标检测模块的输出结果从帧图像中提取出目标子图，利用深度学习算法对其中每一个目标分别进行分析。具体的分析内容可以根据应用场景不同而变化，常见的分析内容包括目标识别比对，目标属性分析等。

近年来，随着目标检测算法和目标属性分析算法的飞速发展，目标检测和属性分析的准确率越来越高，但其所需的计算量也越来越大。当出于实时性和安全性的考虑需要在摄像头，无人机等嵌入式端本地部署这些算法时，由于嵌入式端的功耗限制，算法计算量被限制在一个较小的数量级上。因此，需要引入多目标跟踪算法，以便在某帧检测算法给出目标位置后，采用跟踪算法给出各目标在随后若干帧内的位置，同时目标属性分析在连续若干帧内仅对某一目标做一次分析来获取该目标的属性，由此将目标检测和目标属性分析的计算次数减少约一个数量级，从而在嵌入式端有限的计算力下部署精度足够高的算法。

另外，由于目前的检测算法主要依赖于静止图片进行训练，因此在视频场景下很容易出现检测得到的目标框在相邻若干帧出现抖动情况，检测算法的稳定性较差，因此，也需要引入多目标跟踪算法，减少目标框的抖动，提高检测算法的稳定性。

但在现有的视频分析系统中，多目标跟踪算法需要每一帧的目标检测结果，并且需要相对频繁的提取目标特征。上述需求都会消耗大量算力，使得在嵌入式系统难以承受。为了解决上述问题，本发明提出了一种高速多目标跟踪框架，通过对各功能模块的合理调配，能够在实现低算力高速跟踪的同时满足较高的跟踪精度要求。

图2示出了根据本发明一个实施例的多目标跟踪方法的示意性流程图。应该注意的是，以下方法中各个步骤的序号仅作为该步骤的表示以便描述，而不应被看作表示该各个的执行顺序。除非明确指出，否则该方法不需要完全按照所示顺序来执行；类似地，可以平行地执行多个框，而非顺序执行。还应理解的是，所述方法同样可以在多种设备上实现。

如图2所示，根据本发明一个实施例的多目标跟踪方法200可以包括以下步骤。该方法200例如可由图1所示视频分析系统20中的视频分析模块23执行，更具体地，可由视频分析模块23中的目标跟踪模块执行。应该理解的是，现有的视频分析系统20中如果布置有本发明的多目标跟踪框架，则该视频分析系统也是一个新的视频分析系统。

在步骤S210，获取目标的检测位置信息。在步骤S220，获取目标的预测位置信息。应该理解，上述步骤S210和S220可以以任意相对次序执行，也可以同时执行。随后，在步骤S230，对获取的预测位置信息和检测位置信息进行匹配。

针对不同的匹配结果，方法200给出不同的处理动作。在判定某一目标的检测位置信息与某一目标的预测位置信息相匹配的情况下，在步骤S240，使用该目标的检测位置更新所述目标的位置状态信息。在判定某一目标的预测位置没有与之匹配的检测位置的情况下，在步骤S250，判定该目标为消亡目标。在判定某一目标的检测位置没有与之匹配的检测位置的情况下，在步骤S260，判定该目标为新目标或重新出现的目标。

由此，通过预测与检测的匹配以及后续的处理步骤，灵活应对目标检测中会遇到的各种情况(例如，目标丢失、重新出现和新目标等)，并且通过检测、跟踪和分析模块的合理配合，在确保视频分析精度的同时降低正确显示目标(及其属性)所需的计算量。

步骤S210可以包括对当前输入的图像帧进行目标检测以获取至少一个目标的检测位置信息。在此，目标检测可以针对连续输入的每一图像帧进行，也可以按照例如预定或是可变间隔从连续的视频输入帧中提取。例如，图1系统中的目标检测模块可以从帧缓存22中读取预定间隔的图像帧并进行处理，以确定当前图像帧中包含的目标以及目标的检测位置信息。相比于针对需要对每一帧进行检测的现有技术，上述间隔检测能够大大降低视频分析所需的计算量。在一个实施例中，目标检测模块可以从处理的图像帧中提取多个目标的检测位置信息。上述提取检测位置信息优选可以是多个包围各自目标的矩形框。

步骤S220中的目标预测可以针对每一个活动目标进行。在此，“活动目标”可以指代从在前图像帧中检测出的且尚未消亡(消亡指的是被判定为不再出现在图像帧中)的目标。在一个实施例中，步骤S220可以包括基于从在前帧中检测到的某一目标的在前状态信息求取该目标的预测位置信息。在此，“在前帧”可以根据具体实现而具有灵活的指代。当预测仅基于最新状态做出时，“在前帧”可以是在当前帧之前该目标被检测到的最后一帧。而当预测需要基于该目标的历史状态做出时，“在前帧”则可泛指当前帧之前检测出该目标的多个在先的帧。当目标首次出现时(如下将结合步骤S260详述)，可以对该目标进行特征提取。例如，图1所示的目标分析模块可以利用深度学习算法对新目标矩形框内的子图进行分析，以提取所需的特征，并为该目标分配编号。新目标的初始特征和编号随后可被提供给目标预测模块，以基于上述初始状态信息进行目标的位置预测。

优选地，可以基于某一目标的在前状态信息建模，以基于该目标的状态模型预测该目标在当前帧中的位置。在得到新的检测信息后(例如，如步骤S240判定预测位置和检测位置匹配后)，可以利用新的检测信息对上述状态模型进行修正，从而给出较为平滑的运动轨迹。

实践中，可以根据具体应用从各种现有模型中选择一个或多个模型(及其所需的状态信息)来对某一目标的位置变化进行跟踪建模。

在一个实施例中，可以使用卡尔曼(Kalman)滤波器利用目标的运动状态信息来对该目标在后续帧中所处的位置进行预测与更新。在利用卡尔曼滤波器进行预测时，需要通过对目标历史运动轨迹建模，预测出在当前帧中目标的位置，并在得到新的检测信息后，对目标运动模型进行修正，给出较为平滑的运动轨迹。在一个实施例中。为了获取符合卡尔曼滤波器要求的输入，需要对检测给出的矩形框进行处理，得到矩形框中心点的横纵坐标、矩形框面积以及矩形框宽高比四个参数，并假设矩形框横纵坐标和面积为匀变速运动，宽高比为匀速直线运动，由此给出一个7*4维的驱动矩阵，并确定其他基本参数，从而得到一个可以在实际预测中使用的滤波器。在另一个实施例中，还可以利用线性滤波器进行预测。该滤波器的输入也可以是矩形框的中心点横纵坐标、面积和宽高比，但在计算时对历史轨迹进行最小二乘法来给出滤波器的参数。在利用上述滤波器进行目标运动轨迹预测时，所需的在前状态信息可以包括目标位置信息(例如，可以基于矩形框两个对角的坐标求出上述四个参数)、目标速度、加速度和形变速度等。上述状态信息可以从该目标的检测位置信息，以及可选地从提取的目标特征信息中获取。

在另一个实施例中，可以使用KCF(核相关滤波)利用目标位置的外观信息来对该目标的位置进行预测核更新。KCF是一个模板匹配类型的跟踪方法。在给定初始位置后(例如，在某一目标被判定为新检测的目标时，该目标在该帧内的位置)，KCF跟踪器可以提取该目标的HOG(梯度方向直方图)特征作为该目标的模板信息。在后续帧中，对前一帧中该目标出现的位置附近采用滑窗(sliding window)方法提取特征，与上述模板信息进行相似度计算，找出近似度最大的位置，作为该目标新出现的位置。在确定了当前帧出现的位置后，再利用新位置对模板信息进行更新，来获取该目标的新的目标信息。因此，在利用KCF跟踪器进行目标位置预测预测时，所需的在前状态信息可以包括目标的在前模板信息，同样地，上述状态信息可以从该目标的检测位置信息，以及可选地从提取的目标特征信息中获取。在其他实施例中，还可以使用同样利用在前模板信息进行预测的中值跟踪器(MeanShift)和(CamShift)对目标位置进行预测。

应该理解的是，本发明所指的对目标检测位置信息的获取是通过对当前帧进行卷积神经网络检测计算获取的目标位置信息，例如，各自包围当前帧中每一个目标的矩形框；而本发明所指的对目标预测信息的获取则是基于在前帧的目标状态信息对当前帧的目标位置进行预测。基于预测所依赖的模型，上述预测除了在前帧的状态信息之外，可能需要也可能不需要对后续各帧本身进行计算处理。例如，在利用滤波器(例如，卡尔曼滤波器)的情况下，可以直接通过对运动轨迹的预测来得出目标的预测位置，并不断使用匹配的检测位置进行运动模型修正。因此，使用卡尔曼滤波器无需对预测目标所在位置的帧本身进行额外处理。而在使用跟踪器(例如，KCF、MeanShift或CamShift跟踪器)的情况下，除了需要基于在前帧状态信息的目标模板之外，还需要对于预测目标所在位置的帧本身进行额外处理(例如，滑窗处理)，以确定目标在预测帧的位置。在需要考虑计算量限制的实施例中，优选采用使用模型进行预测而不涉及针对当前帧的计算的滤波器(例如，卡尔曼滤波器)来获取目标的预测位置。在一个优选实施例中，也可以针对不同的预测场景，采用不同的预测模型。例如如下所述的，在与检测位置进行匹配的预测中使用计算量更小且无需处理当前帧的过滤器模型，而针对未匹配预测时仍需用于输出的预测使用计算量更大且需要分析当前帧的跟踪器模型。

在一般情况下，当前帧的预测目标包括多个依据在前信息预测出的目标，且检测目标也包括多个依据当前帧本身检测出的目标。因此，步骤S230的匹配可以涉及多个预测目标和多个检测目标之间的匹配。在具体的应用中，步骤S230所涉及的匹配判定可以基于IOU(intersection over union，交叠比)进行。于是，在一个实施例中，步骤S230可以包括将预测目标矩形框与检测目标矩形框中重合程度最高且高于预定阈值作为匹配判定标准。例如，可以将当前帧检测到的矩形框组成一个序列，如果当前帧没有检测结果，则这个序列为空，同时针对活动目标维护了一组单目标跟踪器，给出在当前帧对应的目标位置作为预测框，然后这两组目标框进行IOU匹配。具体地，可以在两个序列中任意两个矩形框之间计算IOU，选择最大的且超过某一阈值的两个对应框认为匹配，并且在两个序列中删去这两个框，然后重复上述过程。

由于检测仅针对当前帧做出，因此获取的目标的检测位置信息可以仅包括获取包围该目标的检测矩形框的位置信息。而检测至少基于活动目标的在前状态信息做出，因此获取目标的预测位置信息不仅包括获取包围该目标的预测矩形框的位置信息，而且还包括该目标的编号信息。换句话说，预测的目标是在前已被检测到过且被赋予了编号的目标。由此，在判定某一目标的检测位置信息与某一目标的预测位置信息相匹配的情况下，可以将匹配的预测目标的编号赋予所述匹配的检测目标，并使用所述匹配的检测目标来更新该编码目标的状态信息，例如，更新用于预测该目标的卡尔曼滤波器的参数或是KCF跟踪器的目标模板信息。

在极端情况下，在步骤S210获取的检测目标位置个数可以零。换句话说，在当前帧内不存在任何目标或使用SSD或yolo模型未检测到任何目标时，步骤S210无法从当前帧内获取任何检测目标(及其相应位置信息)。同样地，在极端情况下，在步骤S220获取的预测目标位置个数可以零。换句话说，在在前帧内不存在任何目标(即，在前活动目标为零)时，步骤S220无法从在前帧内获取任何预测目标的位置信息。当在步骤S210和S220都没有获取任何目标位置时，则不进行任何后续操作，并且该方法跳转至针对下一帧的处理。当在步骤S210没有获取任何检测目标，在步骤S220获取到一个或多个预测目标位置时，则可针对上述每个预测的目标位置执行预测未被匹配的步骤S250。而当在步骤S220没有获取任何预测目标，在步骤S210获取到一个或多个检测目标位置时，则可针对上述每个检测目标执行检测未被匹配的步骤S260。

目标通常处于运动状态中，因此会由于拍摄角度不佳或被遮挡等问题导致检测器的错检和漏检。在此，检测器“漏检”指的是检测器没有检测出当前帧中实际存在的目标。检测器“错检”则指的是检测器将其他对象检测为目标。为了减小检测器错检和漏检对本发明跟踪方案的影响，本发明的多目标跟踪方案可以通过综合考虑多个连续帧的匹配结果来提升方案的鲁棒性。

在一个实施例中，本发明的多目标跟踪方法还包括基于针对某一目标的匹配结果，确定该目标中在显示图像帧中的标示状态。在一个实施例中，例如可以在实时地在输出监视器上显示包围经匹配对象的矩形框，或是取消未经匹配对象的矩形框在监视器上的显示。如上所述，为了减小检测器错检对正确标示的影响，可以在针对某一目标的预测位置和检测位置的连续匹配次数或匹配频度超过第一阈值时，在当前显示的图像帧中标示所述目标。例如，可以在某一目标的检测和预测位置连续匹配三次之后，才在监视器上显示针对该目标的标示，例如包围该目标的矩形框。也可以在某一目标的检测和预测位置在连续六次的匹配判定中超过四次匹配成功之后，才在监视器上显示包围该目标的矩形框。同样地，为了减小检测器漏检对正确标示的影响，可以在判定某一目标的预测位置连续没有与之匹配的检测位置的次数超过第二阈值情况下，在当前显示的图像帧中取消对在前标示的所述目标的标示。针对已在监视器中显示的目标矩形框，只有在例如连续三次没有检测位置与预测位置相匹配的情况下，才取消对上述目标矩形框的显示。

同样为了避免检测器漏检的影响，在步骤S250中，可以在判定某一目标的预测位置连续没有与之匹配的检测位置的次数超过第三阈值的情况下，判定该目标为消亡目标。第三阈值优选可以大于第二阈值。例如，针对已在监视器中显示的目标矩形框，如果连续三次没有检测位置与预测位置相匹配(即，第二阈值为3)，则取消对上述目标矩形框的显示。如果接下来的两次仍然没有检测位置与预测位置相匹配(即，第三阈值为5)，则将该预测位置所针对的目标判定为消亡目标，即，不再将该编号的目标认定为活动目标。

在此，由于未匹配的检测并不直接等于判定目标消亡，而是要在未匹配检测的次数满足特定阈值的情况下才判定消亡，因此，可以对常规的与检测位置进行匹配的预测以及在未匹配预测下仍然需要输出的预测加以区别。例如，使用卡尔曼滤波器和线性滤波器无需对预测目标所在位置的帧本身进行额外处理，预测所需的计算量较小，因此可以用于常规的与检测目标相匹配的预测计算。而在使用跟踪器(例如，KCF、MeanShift或CamShift跟踪器)的情况下，除了需要基于在前帧状态信息的目标模板之外，还需要对于预测目标所在位置的帧本身进行额外处理(例如，滑窗处理)，以确定目标在预测帧的位置。显然，使用跟踪器进行预测(某种意义上也是一种针对当前帧的检测)所需的计算量更大，但也更为精确。因此，在预测位置缺乏检测位置的修正且仍然需要输出预测位置的情况下，可以使用更为精确且实际上涉及对当前帧的处理的跟踪器模型。

为了提升本发明多目标跟踪方案的效率，还可以对上述活动目标进行统一管理。因此，在一个实施例中，本发明的多目标跟踪方法还包括：将所有活动目标以目标编号和状态信息相对应的方式存储为目标状态列表，由此极大的方便对多目标的管理效率。

由此，在步骤S220，获取目标的预测位置信息可以包括获取目标状态列表中每一活动目标的在前状态信息求取该目标的预测位置信息。在步骤S240，当某一目标的预测位置与当前帧中某一检测位置相匹配时，则可使用该检测位置更新预测目标编号条目下的该目标的状态信息。在步骤S250，当某一目标的预测位置在当前帧中没有与之匹配的检测位置时，可以将该目标判定为消亡目标并从目标状态列表中移除对应条目。而在如上所述更为鲁棒的消亡判定标准下，当某一目标的预测位置在当前帧中没有与之匹配的检测位置时，可以在目标状态列表中记录该目标未被检测位置匹配的次数，并在未匹配次数达到例如上述第三阈值时，再将该目标判定为消亡目标并从目标状态列表中移除对应条目。同样地，在步骤S260，如果将检测到的某一目标判定为新目标，则可以为该目标赋予新的编号，并将其作为一个新的条目存入目标状态列表中。

本发明的目标状态列表还可以与消亡目标列表结合使用，由此进一步提升本发明的整体效率。在此，消亡目标列表用于存储被判定为消亡的目标，由此优化对重新出现的目标的处理。于是，步骤S250可以包括将所述消亡目标的目标编号和目标特征存入消亡目标列表；以及将所述消亡目标的对应条目从上述目标状态列表中删除。在步骤S260，该消亡目标列表可以用于对未匹配检测的目标是重新出现的目标还是新目标的判定。于是，步骤S260可以包括在判定某一目标的检测位置没有与之匹配的检测位置的情况下，提取该目标的目标特征(例如，利用图1所示的目标分析模块)；将提取的该目标的目标特征与所述消亡目标列表中存储的目标特征相比较；在所述消亡目标列表中存在匹配的目标特征的情况下，将该目标判定为重新出现的目标，并将匹配的目标特征的编号重新赋予该目标；以及在所述消亡目标列表中不存在匹配的目标特征的情况下，将该目标判定为新目标，并为该目标赋予新编号。相应地，将所述重新出现的目标对应的条目从所述消亡目标列表中删除；和/或在目标状态列表中建立针对新目标的条目。

如上已结合图2描述了本发明的多目标跟踪方法及其优选实施例。为了进一步促进理解，如下将结合图3-5，给出不同匹配判定下的一个具体操作例。

图3示出了根据本发明一个实施例的判定预测位置与检测位置匹配的示意性流程图。如图3所示，本发明的多目标跟踪方法的步骤S240可以包括如下子步骤。在子步骤S341，利用检测器给出的位置，更新目标状态列表中该目标对应条目下的状态信息。在子步骤S342，判定该目标是否满足显现条件，例如，连续匹配是否达到第一阈值。在子步骤S343，如果满足显现条件，则向外(例如，监视器)输出显示指令。该显示指令可以包括包围该目标的矩形框位置信息和目标编号。在需要显示编号的情况下，该显示指令还可以使得该目标的编号例如在矩形框的左上角进行显示。在子步骤S344，如果不满足显示条件，则不向外输出显示指令。当该目标尚未被显示时，该目标保持隐藏。在另一个实施例中，也可以在子步骤S342判定该目标是否已被显示，并在已被显示的情况下保持上述显示。随后，在子步骤S345，倘若目标状态列表中包括该目标的显示状况指示，则可以继续基于上述是否显示的步骤更新该目标条目。如果仅在显示状况有变化时更新，在子步骤S345如图3所示直接位于显现分支，即，位于子步骤S343之后。如果在进行隐藏的情况下也涉及对列表的更新，则子步骤S345也可位于两分支汇合之后的主干上。

图4示出了根据本发明一个实施例的判定预测位置没有与之匹配的检测位置的示意性流程图。如图4所示，本发明的多目标跟踪方法的步骤S250可以包括如下子步骤。由于根据某一目标的在前状态信息给出的当前帧目标位置不能与检测器给出的所有目标位置相匹配，因此可以认为该目标在本帧中不存在检测器给出的真实位置。于是，在子步骤S451，更新目标状态列表中该目标对应条目，例如，更新检测未匹配次数。随后，在子步骤S452，判定该目标是否满足隐藏条件，例如，连续未匹配是否达到第二阈值。在子步骤S453，如果满足隐藏条件，则向外(例如，监视器)输出隐藏指令。该隐藏指令可以包括该目标的编号信息，以使得例如监视器隐藏其正显示的对应目标。在子步骤S454，如果不满足隐藏条件，则不向外输出隐藏指令。当该目标尚未被隐藏时，该目标保持显示。在另一个实施例中，也可以在子步骤S452判定该目标是否已被隐藏，并在已被隐藏的情况下保持上述隐藏。随后，在子步骤S455，判定该目标是否满足消亡条件，例如，连续未匹配是否达到第三阈值。在子步骤S456，如果满足消亡条件，则更新消亡目标列表和目标状态列表。例如，将该目标的编号及其信息添加至消亡目标列表，并将该目标条目从目标状态列表中删除。在一个实施例中，在判定满足消亡条件后，还可以进一步计算该目标的特征，以判定该目标是否是新消亡特征。在子步骤S457，如果不满足消亡条件，倘若目标状态列表中包括目标待消亡状况指示，则可以继续未匹配次数更新该目标条目。

图5示出了根据本发明一个实施例的判定检测位置没有与之匹配的预测位置的示意性流程图。如图5所示，本发明的多目标跟踪方法的步骤S260可以包括如下子步骤。由于检测器检测出的某一目标位置不能与所有状态信息给出的预测位置相匹配，因此可以认为检测器给出的该目标是一个针对在前帧而言新出现的目标。于是，需要进一步判定该目标是否曾经出现过。在子步骤S561，计算该目标的特征，例如，使用图1所示目标检测模块对该目标子图进行特征提取以求取该目标的特征。随后，在子步骤S562进行特征判定。具体地，将该特征与消亡目标列表中存储的各目标特征相比较，以判定是否相同。在子步骤S563，如果该特征与消亡目标列表中的某一目标特征相匹配，则为该检测特征赋予消亡列表中匹配特征的编号。随后，在子步骤S565，删除消亡目标列表中的对应条目。在步骤564，如果该特征与消亡目标列表中的所有目标特征都不匹配，则将该检测目标认定为新目标，并为其赋予新的编号。随后，无论是重新出现的目标还是新目标，都在子步骤S566中，对目标状态列表进行更新，即，将该目标作为新条目添加至目标状态列表。在具体应用中，可以采用深度卷积网络对目标子图进行特征提取，而判断两个目标特征是否接近可以选用深度学习构造的度量函数，当得分高于某一阈值时，认为此目标时之前已经出现过的目标，即，重新出现的目标。

应该理解的是，如上结合图2-5描述的多目标跟踪方法可以是由视频分析系统中的目标跟踪模块针对更新的每一帧做出的。在目标检测模块对连续输入的每一视频图像帧都进行目标检测时，目标跟踪模块也针对每一帧进行目标跟踪，并进行如上所示的匹配判定以决定每个目标的状态。

更优选地，本发明的多目标跟踪方法尤其适用于计算力受限的情况。例如，当目标检测模块在算力和功耗的限制下无法对每一输入图像帧进行目标检测时，目标检测模块例如以每输入十帧检测一帧的间隔(间隔固定)，或是仅对满足要求的关键帧(间隔不定)进行检测时，利用本发明的目标跟踪模块保持对各目标的持续跟踪，并且针对每一个具有检测更新的帧进行本发明的上述匹配及后续操作。由此，当目标处于显示状态时，例如，在监视器中显示对应矩形框时，在没有检测结果的帧中，使用预测结果保持矩形框的持续显示，而在有检测结果的帧中，使用检测结果(且在满足显示条件的情况下)更新矩形框的显示。

在一个实施例中，本发明的多目标跟踪方案也可以实现为一个多目标跟踪设备，该设备可以是用于执行上述多目标跟踪方法的视频分析平台中的新颖的目标分析模块，也可以是一个相对独立的目标跟踪设备。该多目标跟踪设备可以实现为软件功能模块，可以基于具体的专用硬件电路实现，也可以作为智能视频分析专用SoC的一部分实现。

图6示出了根据本发明一个实施例的多目标跟踪设备的示意图。如图6所示，该多目标跟踪设备600可以包括多个单目标跟踪器610、匹配单元620和多目标跟踪单元630。

每一个单目标跟踪器610用于实现对一个当前活动目标的位置跟踪，其至少基于该目标的在前状态信息，预测该目标在当前帧中所处的位置。

匹配单元620则用于将每个单目标跟踪器610给出的当前帧的目标预测位置与从外部(例如，目标检测模块)获取的当前帧的目标检测位置相比较。多目标跟踪单元630则可基于匹配单元的匹配结果，对所有的单目标跟踪器610进行操作，以实现对多个活动目标的高效且准确的跟踪。具体地，在匹配单元620判定某一目标的检测位置信息与某一目标的预测位置信息相匹配的情况下，多目标跟踪单元630可以基于该目标的检测位置更新所述目标对应的单目标跟踪器610的参数。在匹配单元620判定某一目标的预测位置没有与之匹配的检测位置的情况下，多目标跟踪单元630可以删除该目标对应的单目标跟踪器610。而在匹配单元620判定某一目标的检测位置没有与之匹配的检测位置的情况下，多目标跟踪单元630可以为该目标创建新的单目标跟踪器610。

类似地，多目标跟踪单元630可以维持一个目标状态列表，其中所述目标状态列表中包括以目标编号和状态信息相对应的方式存储的所有活动目标。多目标跟踪单元630可以基于匹配结果更新目标状态列表的对应条目，创建新条目，或是删除消亡条目，由此方便对所有单目标跟踪器610的管理。

单目标跟踪器基于对应编号的状态信息，可以使用如下至少一种模型建立：卡尔曼(Kalman)滤波器；核相关滤波(KCF)跟踪器；均值漂移(MeanShift)跟踪器；以及连续自适应均值漂移(CamShift)跟踪器，并且，所述目标状态列表中存储的状态信息的类型基于使用的模型进行确定，并且包括如下至少一种：该目标的位置、速度、加速度、形变速度、和/或模板信息。如前所述，在使用卡尔曼滤波器建模时，可以基于矩形框中心点横纵坐标、矩形框面积和宽高比以及对应速度实现预测，而无需对后续各帧本身的计算处理。而在使用MeanShift跟踪时，则需要对后续各帧进行处理以更新对应目标的模板信息。

在一个实施例中，多目标跟踪设备600还可以包括目标重识别器(未示出)，用于帮助多目标跟踪单元630对未匹配检测目标进行进一步的操作。具体地，该目标重识别器可以在匹配单元620判定某一目标的检测位置没有与之匹配的检测位置的情况下，判定该目标是否是在前出现过的目标，并且多目标跟踪单元630在所述目标重识别器判定该目标是在前出现过的目标的情况下，为所述目标重建在前的单目标跟踪器。具体地，在匹配单元620判定出未匹配的检测目标时，可以将该检测目标送入外部的目标分析模块进行特征提取。相应地，目标重识别器可以维持一个消亡目标列表，消亡目标列表存储有被判定为消亡的目标编号和目标特征。由此，目标重识别器可以将未匹配检测目标的提取特征与该消亡目标列表中的目标特征相比较，并确定该目标是否是重新出现的目标。

如上所述，针对每一个活动目标维持一个单目标跟踪器。该单目标跟踪器处理使用例如卡尔曼过滤器或是KCF跟踪器来实现位置预测之外，还需要维护编号和目标框的对应。为了提升系统的鲁棒性，缓解检测算法在某些图片上的虚警和漏检，并提高跟踪效果，单目标跟踪器可以采用类似施密特处罚的形式，连续若干帧目标均丢失才认为目标丢失，连续若干帧目标均出现才认为目标出现。由此，单目标跟踪器可以将滤波器，跟踪器和目标编号有机地结合在一起，同时给上层的多目标跟踪框架暴露相应的接口，方便整个多目标跟踪模型的实现。

为此，多目标跟踪单元620对单目标跟踪器的建立和删除都可以不依据单次的未匹配结果进行，而是在满足预定次数的情况下才进行对应的动作。在一个实施例中，单目标跟踪器610可以记录其对应目标的预测位置连续没有与之匹配的检测位置的次数，并且多目标跟踪单元630可以在单目标跟踪器记录的未匹配预测次数超过第三阈值的情况下，判定该目标为消亡目标，并删除所述消亡目标对应的单目标跟踪器。在此情况下，单目标跟踪器610中可以包括用于获取与检测位置进行匹配的预测位置的过滤器，以及用于在未匹配检测的情况下输出预测位置的跟踪器。在一个实施例中，过滤器可以是无需对当前帧本身进行处理的、计算量较低的卡尔曼过滤器或线性过滤器。跟踪器则可以是如下任一种跟踪器：核相关滤波(KCF)跟踪器；均值漂移(MeanShift)跟踪器；以及连续自适应均值漂移(CamShift)跟踪器。上述跟踪器需要对当前帧进行处理(不涉及神经网络计算的目标检测)，因此能够实现更为精确的目标位置预测以满足例如输出矩形框所需的精度需求。

另外，在一个实施例中，本发明的多目标跟踪设备还可以包括显示指示单元(未示出)，用于基于所述匹配单元针对特定目标的匹配结果，判定是否向外输出更改针对该特定目标的标示状态的指令。同样为了消除检测单元错检和漏检对目标显示正确性的影响，可以认为连续若干帧目标均出现才进行目标显示，连续若干帧目标均丢失才认为目标丢失。由此，显示指示单元可以进一步用于：在匹配单元620判定针对某一目标的预测位置和检测位置的连续匹配次数或匹配频度超过第一阈值时，发出在当前显示的图像帧中标示所述目标的指令；以及在匹配单元620判定某一目标的预测位置连续没有与之匹配的检测位置的次数超过第二阈值情况下，发出在当前显示的图像帧中取消对在前标示的所述目标的标示的指令。

结合图6描述的多目标跟踪框架可以实现为图1所示视频分析系统内的目标分析模块，由此得到一种新的视频分析系统。该系统可以包括：帧缓存队列，用于存储持续输入的视频图像帧；目标检测模块，用于从所述帧缓存队列连续图像帧并进行处理，以确定当前帧所包含目标的检测位置信息；如上结合图6描述的多目标跟踪设备实现的目标跟踪模块，用于对活动目标的位置进行跟踪，将获取目标的跟踪位置信息与目标检测模块获取的目标的检测位置信息进行匹配，并基于匹配结果调整跟踪操作；目标分析模块，用于在目标根据模块基于某一目标的检测位置没有与之匹配的检测位置而将该目标判定为新目标的情况下，对所述目标进行特征提取操作。

并入了本发明的多目标跟踪框架的视频分析系统可以允许目标检测模块按照预定规则从连续视频图像帧中间隔选取图像帧进行目标检测，由此降低了目标检测的计算需求。通过将目标检测结果与目标预测结果相匹配，并进行对应的更新、删除和添加操作，能够满足视频分析系统的精度需求。

在实际使用中，上述视频分析系统的部分或全部功能可由数字电路实现。目标检测模块所进行的目标检测操作和/或目标分析模块所进行的目标分析操作至少部分利用神经网络计算实现。例如，上述目标检测模块和目标分析模块至少部分由能够执行高并行度计算的GPU、FPGA或ASIC电路实现。在一个优选实施例中，目标检测模块和目标分析模块至少共享部分能够执行卷积神经网络计算的GPU、FPGA或ASIC电路。

在一个实施例中，本发明的视频分析系统可以在包括通用处理器、存储器和数字电路的片上系统(SoC)实现。图7示出了可用于实现本发明的视频分析系统的SoC的一个例子。

在一个实施例中，可由SoC上的数字电路部分(例如，FPGA或ASIC芯片)来实现本系统所需的深度学习网络，例如卷积神经网络。例如，使用FPGA电路或是ASIC芯片来实现本发明的视频分析系统中的目标检测模块和目标分析模块的部分或全部。由于CNN进行的是并行计算，因此通过逻辑硬件或定制电路来实现目标检测和属性分析功能具有天然的计算优势，并且相比于软件执行，能够实现更低的功耗。

在一个实施例中，可以将通过在前训练得到的有关CNN的全部参数都存储在片上系统的存储器(例如，主存储器)中，在随后进行目标检测时，首先从主存储器中读取CNN各层的参数来对输入图像执行神经网络计算，由此得到非线性特征。随后，将大量连续特征(例如，针对特定区域的所有通道的特征)一次性地从主存储器读入逻辑硬件的缓存模块。这样可以减少计算下一个区域时的读取数据造成的延时，并且增加每次读取主存的利用率，由此提升整体的计算效率。逻辑硬件的缓存模块可以包括本发明中的帧缓存队列以及待分析目标库，通过对图像帧参数(例如，生命标记值)的合理设置，能够高效地实现对图像帧的最大化存入以及关键帧的适时保留，从而在不增加缓存要求的情况下提升视频分析效率。

可以理解的是，本发明的视频分析系统所包括的各部分，例如帧缓存模块、目标检测模块和目标分析模块可以全部或部分地由硬件实现，也可全部或部分地由软件实现。在一个实施例中，帧缓存模块可以是逻辑硬件的缓存模块，目标检测模块和目标分析模块中的深度学习模块可以由逻辑硬件实现，而本发明的多目标跟踪框架的具体操作则可在处理器控制下以线程的形式实现。

此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。

或者，本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本发明的上述方法的各个步骤。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

另外，本发明中提及的“第一”、“第二”和“第三”旨在区分不同的指代。例如，文中的“第一阈值”、“第二阈值”和“第三阈值”旨在缺乏针对不同应用场合下的阈值，其各自的取值可以相同也可以不同。

附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (33)

1.一种多目标跟踪方法，包括：

获取目标的检测位置信息；

获取目标的预测位置信息；

对获取的预测位置信息和检测位置信息进行匹配；

在判定某一目标的检测位置信息与某一目标的预测位置信息相匹配的情况下，基于该目标的检测位置更新所述目标的状态信息；

在判定某一目标的预测位置没有与之匹配的检测位置的情况下，判定该目标为消亡目标；以及

在判定某一目标的检测位置没有与之匹配的检测位置的情况下，判定该目标为新目标或重新出现的目标。

2.如权利要求1所述的方法，其中，获取目标的检测位置信息包括：

对当前输入的图像帧进行目标检测以获取至少一个目标的检测位置信息。

3.如权利要求2所述的方法，其中，对当前输入的图像帧进行目标检测以得到至少一个目标的检测位置信息还包括：

按照预定规则从连续视频图像帧中间隔选取用于进行目标检测的当前输入的图像帧。

4.如权利要求1所述的方法，其中，获取目标的预测位置信息包括：

基于在前帧中检测到的某一目标的在前状态信息求取该目标的预测位置信息。

5.如权利要求4所述的方法，其中，基于在前帧中检测到的某一目标的在前状态信息求取该目标的所述预测位置信息还包括：

基于该目标的在前状态信息建模，以基于该目标的状态模型预测该目标在当前帧中的位置。

6.如权利要求5所述的方法，其中，在判定某一目标的检测位置信息与某一目标的预测位置信息相匹配的情况下，使用该目标的检测位置更新所述目标的位置状态信息包括：

使用该目标的检测位置修正该目标的状态模型。

7.如权利要求4所述的方法，其中，某一目标的在前状态信息包括：

该目标的位置、速度、加速度、形变速度、和/或模板信息。

8.如权利要求7所述的方法，其中，基于该目标的在前状态信息建模包括：

使用如下至少一种模型对所述目标进行建模：

卡尔曼(Kalman)滤波器；

线性滤波器；

核相关滤波(KCF)跟踪器；

均值漂移(MeanShift)跟踪器；以及

连续自适应均值漂移(CamShift)跟踪器，并且，

状态信息的类型基于使用的具体模型进行确定。

9.如权利要求1所述的方法，还包括：

将所有活动目标以目标编号和状态信息相对应的方式存储为目标状态列表，并且，

获取目标的预测位置信息包括：

基于所述目标状态列表中每一活动目标的在前状态信息求取该目标的预测位置信息，并且

基于该目标的检测位置更新所述目标的状态信息包括：

基于该目标的检测位置更新所述目标条目下的状态信息。

10.如权利要求1所述的方法，其中，对获取的预测位置信息和检测位置信息进行匹配包括：

将预测目标矩形框与检测目标矩形框中重合程度最高且高于预定阈值作为匹配判定标准。

11.如权利要求1所述的方法，其中，获取目标的检测位置信息包括获取包围该目标的检测矩形框的位置信息，获取目标的预测位置信息包括获取包围该目标的预测矩形框的位置信息以及该目标的编号信息。

12.如权利要求11所述方法，其中，在判定某一目标的检测位置信息与某一目标的预测位置信息相匹配的情况下，使用该目标的检测位置更新所述目标的位置状态信息包括：

将匹配的预测目标的编号赋予所述匹配的检测目标，并使用所述匹配的检测目标来更新该编码目标的所述状态信息。

13.如权利要求1所述的方法，还包括：

基于针对某一目标的匹配结果，确定该目标中在显示图像帧中的标示状态。

14.如权利要求13所述的方法，其中，基于针对某一目标的匹配结果，确定该目标中在显示图像帧中的标示状态包括：

在判定某一目标的预测位置和检测位置的连续匹配次数或匹配频度超过第一阈值时，在当前显示的图像帧中标示所述目标；以及

在判定某一目标的预测位置连续没有与之匹配的检测位置的次数超过第二阈值情况下，在当前显示的图像帧中取消对在前标示的所述目标的标示。

15.如权利要求1所述的方法，其中，在判定某一目标的预测位置没有与之匹配的检测位置的情况下，判定该目标为消亡目标包括：

在判定某一目标的预测位置连续没有与之匹配的检测位置的次数超过第三阈值的情况下，判定该目标为消亡目标。

16.如权利要求15所述的方法，其中，在判定某一目标的预测位置没有与之匹配的检测位置且该目标尚未被判定为消亡目标的情况下，使用跟踪器获取的目标位置作为所述目标的输出位置。

17.如权利要求16所述的方法，其中，所述跟踪器是如下任一种跟踪器：

核相关滤波(KCF)跟踪器；

均值漂移(MeanShift)跟踪器；以及

连续自适应均值漂移(CamShift)跟踪器。

18.如权利要求1所述的方法，其中，在判定某一目标的预测位置没有与之匹配的检测位置的情况下，判定该目标为消亡目标包括：

将所述消亡目标的目标编号和目标特征存入消亡目标列表；以及

将所述消亡目标的对应条目从目标状态列表中删除，其中所述目标状态列表中包括以目标编号和状态信息相对应的方式存储的所有活动目标。

19.如权利要求18所述的方法，其中，在判定某一目标的检测位置没有与之匹配的检测位置的情况下，判定该目标为新目标或重新出现的目标包括：

在判定某一目标的检测位置没有与之匹配的检测位置的情况下，提取该目标的目标特征；

将提取的该目标的目标特征与所述消亡目标列表中存储的目标特征相比较；

在所述消亡目标列表中存在匹配的目标特征的情况下，将该目标判定为重新出现的目标，并将匹配的目标特征的编号重新赋予该目标；以及

在所述消亡目标列表中不存在匹配的目标特征的情况下，将该目标判定为新目标，并为该目标赋予新编号。

20.如权利要求19所述的方法，其中，在判定某一目标的检测位置没有与之匹配的检测位置的情况下，判定该目标为新目标或重新出现的目标还包括：

将所述重新出现的目标对应的条目从所述消亡目标列表中删除；和/或

将所述新目标作为一个新的条目存入目标状态列表，其中所述目标状态列表中包括以目标编号和状态信息相对应的方式存储的所有活动目标。

21.一种多目标跟踪设备，包括：

多个单目标跟踪器，用于至少基于某一目标的在前状态信息，预测该目标在当前帧中所处的位置；

匹配单元，用于将每个单目标跟踪器给出的当前帧的目标预测位置与从外部获取的当前帧的目标检测位置相比较；以及

多目标跟踪单元，用于基于所述匹配单元的匹配结果，对所述单目标跟踪器进行操作，并且进一步用于：

在所述匹配单元判定某一目标的检测位置信息与某一目标的预测位置信息相匹配的情况下，基于该目标的检测位置更新所述目标对应的单目标跟踪器的参数，

在所述匹配单元判定某一目标的预测位置没有与之匹配的检测位置的情况下，删除该目标对应的单目标跟踪器，以及

在所述匹配单元判定某一目标的检测位置没有与之匹配的检测位置的情况下，为所述目标创建新的单目标跟踪器。

22.如权利要求21所述的设备，还包括：

目标重识别器，用于在所述匹配单元判定某一目标的检测位置没有与之匹配的检测位置的情况下，判定该目标是否是在前出现过的目标，并且

所述多目标跟踪单元在所述目标重识别器判定该目标是在前出现过的目标的情况下，为所述目标重建在前的单目标跟踪器。

23.如权利要求22所述的设备，其中，所述目标重识别器还维持有消亡目标列表，所述消亡目标列表存储有被判定为消亡的目标编号和目标特征，并且

所述目标重识别器通过将该目标的提取特征与所述消亡目标列表中存储的目标特征进行比较，判定该目标是否是在前出现过的目标。

24.如权利要求21所述的设备，其中，所述多目标跟踪单元还维持有目标状态列表，其中所述目标状态列表中包括以目标编号和状态信息相对应的方式存储的所有活动目标。

25.如权利要求21所述的设备，还包括：

显示指示单元，用于基于所述匹配单元针对特定目标的匹配结果，判定是否向外输出更改针对该特定目标的标示状态的指令。

26.如权利要求25所述的设备，其中，所述显示指示单元进一步用于：

在所述匹配单元判定针对某一目标的预测位置和检测位置的连续匹配次数或匹配频度超过第一阈值时，发出在当前显示的图像帧中标示所述目标的指令；以及

在所述匹配单元判定某一目标的预测位置连续没有与之匹配的检测位置的次数超过第二阈值情况下，发出在当前显示的图像帧中取消对在前标示的所述目标的标示的指令。

27.如权利要求21所述的设备，其中，所述单目标跟踪器记录其对应目标的预测位置连续没有与之匹配的检测位置的次数，并且所述多目标跟踪单元在所述单目标跟踪器记录的未匹配预测次数超过第三阈值的情况下，判定该目标为消亡目标，并删除所述消亡目标对应的单目标跟踪器。

28.如权利要求27所述的设备，其中，所述单目标跟踪器使用过滤器模型获取用于与目标检测位置进行匹配的目标预测位置，并且在记录的所述未匹配预测次数尚未达到第三阈值的情况下，使用跟踪器模型获取用于输出的目标预测位置。

29.如权利要求28所述的设备，其中，所述过滤器模型使用如下至少一种模型建立：

卡尔曼(Kalman)滤波器；以及

线性滤波器，并且

所述跟踪器模型实现如下至少一种模型建立：

核相关滤波(KCF)跟踪器；

均值漂移(MeanShift)跟踪器；以及

连续自适应均值漂移(CamShift)跟踪器，并且，

所述目标状态列表中存储的状态信息的类型基于使用的模型进行确定，并且包括如下至少一种：该目标的位置、速度、加速度、形变速度、和/或模板信息。

30.一种视频分析系统，包括：

帧缓存队列，用于存储持续输入的视频图像帧；

目标检测模块，用于从所述帧缓存队列连续图像帧并进行处理，以确定当前帧所包含目标的检测位置信息；

由权利要求21-29中任一项所述的多目标跟踪设备实现的目标跟踪模块，用于对活动目标的位置进行跟踪，将获取目标的跟踪位置信息与目标检测模块获取的目标的检测位置信息进行匹配，并基于匹配结果调整跟踪操作；

目标分析模块，用于在目标根据模块基于某一目标的检测位置没有与之匹配的检测位置而将该目标判定为新目标的情况下，对所述目标进行特征提取操作。

31.如权利要求30所述的系统，其中，所述目标检测模块按照预定规则从连续视频图像帧中间隔选取用于进行目标检测的当前输入的图像帧。

32.如权利要求30所述的系统，其中，所述目标检测模块和所述目标分析模块至少部分由能够执行高并行度计算的GPU、FPGA或ASIC电路实现。

33.如权利要求30所述的系统，其中，所述目标检测模块和所述目标分析模块至少共享部分能够执行卷积神经网络计算的GPU、FPGA或ASIC电路。

Images