CN103942811B - 分布式并行确定特征目标运动轨迹的方法与系统 - Google Patents

Abstract

本公开涉及一种分布式并行确定特征目标运动轨迹的方法与系统。其中，该方法包括基于分布式架构对安装在不同地理位置的视频采集装置采集的海量视频进行并行分析，以识别出待确定轨迹的特征目标；基于识别出的包含特征目标的视频帧中的时间戳和采集相应视频帧的视频采集装置所在的位置信息并行识别出特征目标在各采集地理位置的出现时间，并将特征目标与其出现时间和出现的地理位置相关联；基于统计出的特征目标的出现时间与出现的地理位置的关联关系按照同一特征目标的出现时间顺序依次连接其出现的地理位置，以形成同一特征目标的运动轨迹。本公开能够自动形成特征目标的完整运动轨迹。

Description

分布式并行确定特征目标运动轨迹的方法与系统

技术领域

本公开涉及云计算领域，特别地，涉及一种分布式并行确定特征目标运动轨迹的方法与系统。

背景技术

目前各类公共监控系统都产生了海量的视频监控录像，如何在海量的视频监控录像中快速查询到指定目标，并快速了解到该目标对象的完整活动轨迹，到目前为止，现有技术尚未提供一个完善的解决方案。

当用户需要在2,000Tbit的视频监控录像中获取某个目标的活动情况时，目前常用的解决方法是分析并返回成千上万条分析结果记录或图片给用户，用户面对这些大批量的记录或图片时无从下手，只能望如此多的“结果数据海洋”而兴叹了。

发明内容

本公开鉴于以上问题中的至少一个提出了新的技术方案。

本公开在其一个方面提供了一种分布式并行确定特征目标运动轨迹的方法，其能够自动形成特征目标的完整运动轨迹。

本公开在其另一方面提供了一种分布式并行确定特征目标运动轨迹的系统，其能够自动形成特征目标的完整运动轨迹。

根据本公开，提供一种分布式并行确定特征目标运动轨迹的方法，包括：

基于分布式架构对安装在不同地理位置的视频采集装置采集的海量视频进行并行分析，以识别出待确定轨迹的特征目标；

基于识别出的包含特征目标的视频帧中的时间戳和采集相应视频帧的视频采集装置所在的位置信息并行识别出特征目标在各采集地理位置的出现时间，并将特征目标与其出现时间和出现的地理位置相关联；

基于统计出的特征目标的出现时间与出现的地理位置的关联关系按照同一特征目标的出现时间顺序依次连接其出现的地理位置，以形成同一特征目标的运动轨迹。

在本公开的一些实施例中，对安装在不同地理位置的视频采集装置采集的海量视频进行并行分析，以识别出待确定轨迹的特征目标的步骤包括：

将海量视频中的每个视频文件解析成以帧为单位的视频图片；

对每张视频图片进行图像分析，以识别出特征目标。

在本公开的一些实施例中，采集相应视频帧的视频采集装置所在的位置信息包括视频采集装置所在位置的经度信息与纬度信息。

在本公开的一些实施例中，待确定轨迹的特征目标为一个或多个。

在本公开的一些实施例中，该方法还包括：

在待确定轨迹的特征目标为多个的情况下，对识别出的不同特征目标的出现时间和出现的地理位置信息进行分组；

在同一组内，按照同一特征目标的出现时间顺序排列其出现的地理位置。

根据本公开，还提供了一种分布式并行确定特征目标运动轨迹的系统，包括：

多个视频采集装置，设置在不同的地理位置，用于在设定地点采集特征目标；

多个视频分析装置，用于基于分布式架构对安装在不同地理位置的多个视频采集装置采集的海量视频进行并行分析，以识别出待确定轨迹的特征目标；

多个信息关联装置，用于基于识别出的包含特征目标的视频帧中的时间戳和采集相应视频帧的视频采集装置所在的位置信息并行识别出特征目标在各采集地理位置的出现时间，并将特征目标与其出现时间和出现的地理位置相关联；

运动轨迹绘制装置，用于基于多个信息关联装置统计出的特征目标的出现时间与出现的地理位置的关联关系按照同一特征目标的出现时间顺序依次连接其出现的地理位置，以形成同一特征目标的运动轨迹。

在本公开的一些实施例中，多个视频分析装置中的每个视频分析装置包括：

视频解析单元，用于将海量视频中的每个视频文件解析成以帧为单位的视频图片；

图像分析单元，用于对每张视频图片进行图像分析，以识别出特征目标。

在本公开的一些实施例中，采集相应视频帧的视频采集装置所在的位置信息包括视频采集装置所在位置的经度信息与纬度信息。

在本公开的一些实施例中，待确定轨迹的特征目标为一个或多个。

在本公开的一些实施例中，该系统还包括：

特征目标分组装置，用于在待确定轨迹的特征目标为多个的情况下，对识别出的不同特征目标的出现时间和出现的地理位置信息进行分组；在同一组内，按照同一特征目标的出现时间顺序排列其出现的地理位置。

通过本公开的技术方案，由于利用多节点并行处理各视频采集装置采集的海量视频，提高了处理处理能力与处理效率，同时基于各节点统计出的特征目标的出现时间与出现的地理位置的关联关系按照各位置的出现时间顺序依次相连，从而形成同一特征目标的运动轨迹，进而便于分析人员对该特征目标的活动情况进行监控。

附图说明

此处所说明的附图用来提供对本公开的进一步理解，构成本申请的一部分。在附图中：

图1是本公开一个实施例的分布式并行确定特征目标运动轨迹的方法的流程示意图。

图2是本公开另一实施例的分布式并行确定特征目标运动轨迹的方法的流程示意图。

图3是利用本公开技术方案绘制的一个具有某个指定车牌的汽车的运动轨迹示意图。

图4是本公开一个实施例的分布式并行确定特征目标运动轨迹的系统的结构示意图。

图5是本公开另一实施例的分布式并行确定特征目标运动轨迹的系统的结构示意图。

图6是本公开又一实施例的分布式并行确定特征目标运动轨迹的系统的结构示意图。

具体实施方式

下面将参照附图描述本公开。要注意的是，以下的描述在本质上仅是解释性和示例性的，决不作为对本公开及其应用或使用的任何限制。除非另外特别说明，否则，在实施例中阐述的部件和步骤的相对布置以及数字表达式和数值并不限制本公开的范围。另外，本领域技术人员已知的技术、方法和装置可能不被详细讨论，但在适当的情况下意在成为说明书的一部分。

本公开下述实施例对海量视频文件进行并行视频数据分析：并行识别特征目标、并行识别每个特征目标的“出现时间”和出现的“地理坐标”信息，根据并行视频分析得到的特征目标的记录信息自动地形成该特征目标的完整活动轨迹，进而实现对特征目标的智能追踪，便于分析人员对该特征目标的活动情况进行监控。

图1是本公开一个实施例的分布式并行确定特征目标运动轨迹的方法的流程示意图。

如图1所示，该实施例可以包括以下步骤：

S102，基于分布式架构对安装在不同地理位置的视频采集装置所采集的海量视频进行并行分析，以识别出待确定运动轨迹的特征目标；

具体地，可以在特征目标运动范围内的不同地点部署多个视频采集装置，以确保能够完全跟踪特征目标的运动轨迹，这些视频采集装置按照设定的采集频率实时采集视频图像，再将实时采集到的视频图像同步到与对应视频采集装置相连的视频分析装置，以进行数据分析。

由于是并行处理，因此每个视频分析装置对视频图像的处理也都是并行的，无需像现有技术那样等所有数据采集完毕后再统一处理。

在对特征目标进行识别时，关键的是对待识别对象中各目标特征的提取。一般地说，目标特征的提取以提取目标的物理特征为主，包括目标的形状特征、灰度分布特征、运动特征以及图像序列特征等。目标的不同特征既要保证目标在缩放、旋转、平移等情况下的特征不变性，又要保证对不同物体具有明显的特征差异，以能够进行良好的区分。该实施例可以采用现有的诸如相关法、模板识别法、不变矩法、投影法等图像识别算法对待确定运动轨迹的特征目标进行识别。此外，可以采用的图像识别算法还可以包括以目标不变特征为识别基础的NMI（Normalized Moment of Inertia，归一化转动惯量）特征识别、不变矩特征识别以及比例特征识别。NMI特征识别是以计算图像的归一化转动惯量为不变特征进行目标识别的方法；不变矩特征识别则是通过计算图像的7个不变矩进行匹配寻找目标的方法；比例特征识别则是提取图像的形状因子并以此进行目标识别的方法。

S104，基于识别出的包含特征目标的视频帧中的时间戳和采集相应视频帧的视频采集装置所在的位置信息并行识别出特征目标在各采集地理位置的出现时间，并将特征目标与其出现时间和出现的地理位置相关联；

由于每个视频帧中均包含采集该视频帧的时间戳，因此，可以获知该视频帧中所包含的特征目标的出现时间。又由于每个视频采集装置是设置在固定的位置，因此，可以由同一视频采集装置所采集的视频图像具有相同的地理位置信息。

在视频采集装置将所采集的视频图像传输到视频分析装置的同时，还携带有视频采集装置的标识信息，以使视频分析装置能够根据该视频采集装置的标识信息获知所接收视频图像的地理位置信息。

S106，基于统计出的特征目标的出现时间与出现的地理位置的关联关系按照同一特征目标的出现时间顺序依次连接其出现的地理位置，以形成同一特征目标的运动轨迹。

该实施例由于利用多节点并行处理各视频采集装置采集的海量视频，提高了处理处理能力与处理效率，同时基于各节点统计出的特征目标的出现时间与出现的地理位置的关联关系按照各位置的出现时间顺序依次相连，从而形成同一特征目标的运动轨迹，进而便于分析人员对该特征目标的活动情况进行监控。

在步骤S102中，对安装在不同地理位置的视频采集装置采集的海量视频进行并行分析，以识别出待确定轨迹的特征目标的步骤可以包括：

将海量视频中的每个视频文件解析成以帧为单位的视频图片；

对每张视频图片进行图像分析，以识别出特征目标。

具体地，首先将海量视频解析成一帧帧的图片，然后，基于每张图片进行图像分析：例如，先识别出图片中的车牌区域或人脸区域范围等，然后再在该范围内识别出车牌号码、汉字或人脸特征等。

需要指出的是，在步骤S104之前，可以预先存储各个视频采集装置所在的位置信息，视频采集装置所在的位置信息包括视频采集装置所在位置的经度信息与纬度信息，可以由经度信息与纬度信息共同确定每个视频采集装置的地理位置，相应地，由视频采集装置所采集的视频图像中所包含的特征目标也就具有了与对应视频采集装置相同的经纬度信息。

此外，上述实施例中待确定轨迹的特征目标可以为一个或多个。在待确定轨迹的特征目标为多个的情况下，可以对识别出的不同特征目标的出现时间和出现的地理位置信息进行分组；然后，在同一组内，再按照同一特征目标的出现时间顺序排列其出现的地理位置信息。这样，可以通过一次并行视频分析识别出多个不同的特征目标，例如，可以根据识别出的车牌同时分析出多辆汽车的运动轨迹。

图2是本公开另一实施例的分布式并行确定特征目标运动轨迹的方法的流程示意图。

如图2所示，该实施例可以包括以下步骤：

S202，各个视频分析节点对来自相应视频采集节点的视频数据进行并行分析，具体地，可以使用分布式计算框架、结合现有视频分析算法对海量视频数据进行分布式并行分析，以识别出特征目标，通过视频分析可以识别出海量视频中的所有特征目标；

S204，根据每个视频帧中携带的时间戳信息并行识别每个特征目标的“出现时间”信息；

S206，在识别出“出现时间”信息的视频帧中，根据采集这些视频帧的视频采集节点的位置信息并行识别出在某个时间采集的特征目标的“地理坐标”信息，例如，可以结合视频采集节点的地理坐标分析并得到每个特征目标的“出现地点”对应的地理坐标信息；

S208，将各个视频分析节点识别出的特征目标、特征目标出现时间以及特征目标出现地点信息的关联关系汇总成“特征目标分组”，将自所有海量视频中识别出的“特征目标”进行自动汇总，再将同一个特征目标的所有相关信息分在同一组内，进而得到很多个针对不同特征目标的关联信息分组；

S210，生成“特征目标运动轨迹”，根据同一特征目标分组内的这些地理坐标在电子地图中标识出“坐标点”，得到“识别结果坐标点”，然后将“识别结果坐标点”按其出现的时间先后顺序自动连接成轨迹线，从而在电子地图上生成完整准确的“特征目标运动轨迹”。

该实施例解决了数据处理过程中的串行限制，提升了数据转换的效率、解决了数据导入的瓶颈限制、提高了数据导入的效率；同时还通过多个数据访问点实现海量数据的并行查询，节省了数据查询时间。

接下来，以识别汽车牌照为例，对自动绘制装有该汽车牌照的汽车的运动轨迹进行详细的说明。

步骤一，通过视频分析从海量视频文件中识别出某个汽车的车牌，即，找出同一汽车车牌在所有视频中的帧画面。

由于视频文件是由许多帧画面组成的，一般在海量的视频文件中可以找到一些具有特征目标（例如，汽车牌照）的帧画面，为了定位特征目标的运动轨迹，首先把包含某一特征目标的所有帧画面都找出来，进行下述预处理：

（1）从预存的信息中提取出各个摄像头的相关位置信息，如下述表1所示：

摄像头编号	摄像头地理经度参数	摄像头地理纬度参数
			…	…	…

表1

表1中列出了各个摄像头的地理位置信息。

（2）从来自摄像头的各个视频文件中读取下述字段信息：

视频文件编号	对应摄像头编号
		…	…

表2

基于上述表2可以将视频文件与对应摄像头的地理经纬度参数相关联，进而可以根据摄像头的编号得知相应视频文件中每幅帧画面所对应的地理位置信息。

（3）自每个帧画面提取下述字段信息：

特征目标编号	帧画面编号	对应视频文件编号	时间戳
				…	…	…	…

表3

由于上述表3将特征目标与时间戳和对应视频文件编号相关联，再基于表2中视频文件编号与对应摄像头编号之间的对应关系以及表1中摄像头编号与摄像头地理经纬度参数的对应关系，可以得出特征目标、时间戳与摄像头地理经纬度参数之间的对应关系，如下述表4所示：

特征目标编号	时间戳	摄像头地理经度参数	摄像头地理纬度参数
				…	…	…	…

表4

特征目标可以是某个汽车的牌照，例如，沪A10001，该汽车牌照作为特征目标被视频分析识别后，随机编码该特征目标为：00001，并找出相应的帧画面，以下以在海量视频中识别出5个具有该汽车牌照的帧画面为例进行说明：

表5

步骤二，根据每幅帧画面对应的视频文件编号找出相应的摄像头编号，如下述表6所示：

视频文件编号	对应摄像头编号
		003-10000	003
006-10002	006
		009-10003	009
011-10004	011
		014-10005	014

表6

步骤三，根据查询到的摄像头编号找出相应的地理位置信息，如下述表7所示：

表7

再将特征目标编号、时间戳与摄像头地理位置相关联，得到如下述表8所示的信息：

表8

步骤四，根据按照上述表8中示出的时间戳顺序连接相应的地理位置经纬度，进而可以描绘出该具有上述牌照的汽车的运动轨迹，如图3所示。

本领域普通技术人员可以理解，实现上述方法实施例的全部和部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算设备可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤，而前述的存储介质可以包括ROM、RAM、磁碟和光盘等各种可以存储程序代码的介质。

图4是本公开一个实施例的分布式并行确定特征目标运动轨迹的系统的结构示意图。

如图4所示，该实施例中的系统40可以包括多个视频采集装置402、多个视频分析装置404、多个信息关联装置406和运动轨迹绘制装置408。其中，

多个视频采集装置402，设置在不同的地理位置，用于在设定地点采集特征目标；

多个视频分析装置404，用于基于分布式架构对安装在不同地理位置的多个视频采集装置采集的海量视频进行并行分析，以识别出待确定轨迹的特征目标；

多个信息关联装置406，用于基于识别出的包含特征目标的视频帧中的时间戳和采集相应视频帧的视频采集装置所在的位置信息并行识别出特征目标在各采集地理位置的出现时间，并将特征目标与其出现时间和出现的地理位置相关联；

运动轨迹绘制装置408，用于基于多个信息关联装置统计出的特征目标的出现时间与出现的地理位置的关联关系按照同一特征目标的出现时间顺序依次连接其出现的地理位置，以形成同一特征目标的运动轨迹。

该实施例由于利用多节点并行处理各视频采集装置采集的海量视频，提高了处理处理能力与处理效率，同时基于各节点统计出的特征目标的出现时间与出现的地理位置的关联关系按照各位置的出现时间顺序依次相连，从而形成同一特征目标的运动轨迹，进而便于分析人员对该特征目标的活动情况进行监控。

图5是本公开另一实施例的分布式并行确定特征目标运动轨迹的系统的结构示意图。

如图5所示，与图4中的实施例相比，该实施例中的分布式并行确定特征目标运动轨迹的系统50中的多个视频分析装置502中的每个视频分析装置均包括视频解析单元502a和图像分析单元502b，其中，

视频解析单元502a，用于将海量视频中的每个视频文件解析成以帧为单位的视频图片；

图像分析单元502b，用于对每张视频图片进行图像分析，以识别出特征目标。

图6是本公开又一实施例的分布式并行确定特征目标运动轨迹的系统的结构示意图。

如图6所示，与图4中的实施例相比，该实施例中的分布式并行确定特征目标运动轨迹的系统60还可以包括：

特征目标分组装置602，用于在待确定轨迹的特征目标为多个的情况下，对识别出的不同特征目标的出现时间和出现的地理位置信息进行分组；在同一组内，按照同一特征目标的出现时间顺序排列其出现的地理位置。

此外，采集相应视频帧的视频采集装置所在的位置信息包括视频采集装置所在位置的经度信息与纬度信息。

需要指出的是，待确定轨迹的特征目标为一个或多个。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同和相似的部分可以相互参见。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处可以参见方法实施例部分的说明。

本公开上述实施例不需要经过额外人工处理劳动，即可自动实现海量视频中的车辆追踪、人员追踪、或物品追踪等功能。

本发明通过，多节点并行处理方法将大大提高海量视频文件的处理效率，提高电信在全球眼监控中对海量视频数据的监控分析能力。

虽然已参照示例性实施例描述了本公开，但应理解，本公开不限于上述的示例性实施例。对于本领域技术人员显然的是，可以在不背离本公开的范围和精神的条件下修改上述的示例性实施例。所附的权利要求的范围应被赋予最宽的解释，以包含所有这样的修改以及等同的结构和功能。

Claims (10)

1.一种分布式并行确定特征目标运动轨迹的方法，其特征在于，包括：

安装在不同地理位置的多个视频采集装置在设定地点采集特征目标的视频图像；

多个视频分析装置基于分布式架构对安装在不同地理位置的视频采集装置采集的海量视频进行并行分析，以识别出待确定轨迹的特征目标；

多个信息关联装置从预存信息中提取多个视频采集装置所在的位置信息；从视频采集装置的各个视频文件中读取视频文件编号和对应的视频采集装置编号，其中所述视频采集装置编号的视频采集装置采集所述视频文件编号的视频文件；找出在所有视频图像中包含同一特征目标的视频帧，并提取每幅视频帧的特征目标编号、帧画面编号、对应的视频文件编号和时间戳；根据每幅视频帧的视频文件编号找出相应的视频采集装置编号；根据查询到的视频采集装置编号找出采集相应视频帧的视频采集装置所在的位置信息；基于识别出的包含特征目标的视频帧中的时间戳和采集相应视频帧的视频采集装置所在的位置信息并行识别出特征目标在各采集地理位置的出现时间；根据采集相应视频帧的视频采集装置所在的位置信息并行识别出特征目标出现的地理坐标信息；并将特征目标与其出现时间和出现的地理坐标信息相关联；

运动轨迹绘制装置基于统计出的特征目标的出现时间与出现的地理坐标信息的关联关系按照同一特征目标的出现时间顺序依次连接其出现的地理坐标信息，以形成同一特征目标的运动轨迹。

2.根据权利要求1所述的分布式并行确定特征目标运动轨迹的方法，其特征在于，所述多个视频分析装置对安装在不同地理位置的视频采集装置采集的海量视频进行并行分析，以识别出待确定轨迹的特征目标的步骤包括：

将海量视频中的每个视频文件解析成以帧为单位的视频图片；

对每张视频图片进行图像分析，以识别出特征目标。

3.根据权利要求1所述的分布式并行确定特征目标运动轨迹的方法，其特征在于，所述采集相应视频帧的视频采集装置所在的位置信息包括视频采集装置所在位置的经度信息与纬度信息。

4.根据权利要求1所述的分布式并行确定特征目标运动轨迹的方法，其特征在于，所述待确定轨迹的特征目标为一个或多个。

5.根据权利要求1所述的分布式并行确定特征目标运动轨迹的方法，其特征在于，所述方法还包括：

特征目标分组装置在所述待确定轨迹的特征目标为多个的情况下，对识别出的不同特征目标的出现时间和出现的地理坐标信息进行分组；

特征目标分组装置在同一组内，按照同一特征目标的出现时间顺序排列其出现的地理坐标信息。

6.一种分布式并行确定特征目标运动轨迹的系统，其特征在于，包括：

多个视频采集装置，设置在不同的地理位置，用于在设定地点采集特征目标的视频图像；

多个视频分析装置，用于基于分布式架构对安装在不同地理位置的多个视频采集装置采集的海量视频进行并行分析，以识别出待确定轨迹的特征目标；

多个信息关联装置，用于从预存信息中提取多个视频采集装置所在的位置信息；从视频采集装置的各个视频文件中读取视频文件编号和对应的视频采集装置编号，其中所述视频采集装置编号的视频采集装置采集所述视频文件编号的视频文件；找出在所有视频图像中包含同一特征目标的视频帧，并提取每幅视频帧的特征目标编号、帧画面编号、对应的视频文件编号和时间戳；根据每幅视频帧的视频文件编号找出相应的视频采集装置编号；根据查询到的视频采集装置编号找出采集相应视频帧的视频采集装置所在的位置信息；基于识别出的包含特征目标的视频帧中的时间戳和采集相应视频帧的视频采集装置所在的位置信息并行识别出特征目标在各采集地理位置的出现时间；根据采集相应视频帧的视频采集装置所在的位置信息并行识别出特征目标出现的地理坐标信息；并将特征目标与其出现时间和出现的地理坐标信息相关联；

运动轨迹绘制装置，用于基于所述多个信息关联装置统计出的特征目标的出现时间与出现的地理坐标信息的关联关系按照同一特征目标的出现时间顺序依次连接其出现的地理坐标信息，以形成同一特征目标的运动轨迹。

7.根据权利要求6所述的分布式并行确定特征目标运动轨迹的系统，其特征在于，所述多个视频分析装置中的每个视频分析装置包括：

视频解析单元，用于将海量视频中的每个视频文件解析成以帧为单位的视频图片；

图像分析单元，用于对每张视频图片进行图像分析，以识别出特征目标。

8.根据权利要求6所述的分布式并行确定特征目标运动轨迹的系统，其特征在于，所述采集相应视频帧的视频采集装置所在的位置信息包括视频采集装置所在位置的经度信息与纬度信息。

9.根据权利要求6所述的分布式并行确定特征目标运动轨迹的系统，其特征在于，所述待确定轨迹的特征目标为一个或多个。

10.根据权利要求6所述的分布式并行确定特征目标运动轨迹的系统，其特征在于，所述系统还包括：

特征目标分组装置，用于在所述待确定轨迹的特征目标为多个的情况下，对识别出的不同特征目标的出现时间和出现的地理坐标信息进行分组；在同一组内，按照同一特征目标的出现时间顺序排列其出现的地理坐标信息。