CN111681269A - 一种基于空间一致性的多摄像机协同人物追踪系统及训练方法 - Google Patents

Abstract

本发明公开了一种基于空间一致性的多摄像机协同人物追踪系统及追踪方法，包括：视频监控系统，其包括多个摄像机，用于采集视频信息；主机服务器，其通过网络设备与所述视频监控系统相连，用于接收视频信息并进行视频分析；中心服务器，其通过网络设备与所述主机服务器相连，用于接收视频分析数据，通过深度学习后形成分析报告；客户端，其通过网络设备与所述中心服务器相连，并通过互联网或者局域网与所述中心服务器实现交互。

Description

一种基于空间一致性的多摄像机协同人物追踪系统及训练 方法

技术领域

本发明涉及人物追踪技术领域，尤其涉及一种基于空间一致性的多摄像机协同人物追踪系统及训练方法。

背景技术

随着信息化的飞速发展，视频监控的应用领域已经覆盖各种场合。作为交通系统的监控工具和各种场合的安全检测工具，视频监控系统的研究与应用也在与日俱增。传统监控系统在处理人物追踪时，需要对所录制的视频进行人工搜索，所以这是相当耗费心力的一份工作，尤其是当录制的视频数量很庞大时。随着，研究的深入，目前已经有很多关于监控系统任务追踪的产品问世了。

现有技术适用于单个摄像头场景和视野域重叠的多个摄像头场景，针对不同角度的摄像头，人物追踪就无法实现了。摄像机需要标定，否则无法获取空间信息。其次，一旦人物移动出摄像头拍摄范围内，再回到拍摄范围内，监控系统就无法对该人物进行追踪。

现有技术的人物追踪算法，在分析录制的视频时，识别人物时反应速度慢，而且对拍摄的摄像头要求很高，也就是说需要的成本也很高。同时，维护、更新淘汰的费用也十分高昂。

发明内容

本发明设计开发了一种基于空间一致性的多摄像机协同人物追踪系统，本发明的发明目的是解决了单个摄像头场景和视野域重叠的多个摄像头场景，针对不同角度的摄像头，人物追踪就无法实现的问题。

本发明设计开发了一种基于空间一致性的多摄像机协同人物追踪方法，本发明的目的是解决在分析录制的视频时，识别人物时反应速度慢的问题。

本发明提供的技术方案为：

一种基于空间一致性的多摄像机协同人物追踪系统，包括：

视频监控系统，其包括多个摄像机，用于采集视频信息；

主机服务器，其通过网络设备与所述视频监控系统相连，用于接收视频信息并进行视频分析；

中心服务器，其通过网络设备与所述主机服务器相连，用于接收视频分析数据，通过深度学习后形成分析报告；

客户端，其通过网络设备与所述中心服务器相连，并通过互联网或者局域网与所述中心服务器实现交互。

优选的是，所述中心服务还用于相应所述客户端的不同请求，提供访问功能，同时通过向主机服务器发送控制信息。

优选的是，所述摄像机的安装满足相邻间可视区域有50％以上重叠区域，设置高度范围为2m～5m，垂直角度范围为10°～15°，摄像机清晰度为720p，帧率为30fps。

一种基于空间一致性的多摄像机协同人物追踪方法，包括如下步骤：

步骤一、通过视频监控系统采集视频信息，并将所述视频信息输送至主机服务器；

步骤二、所述主机服务器对所述视频信息进行分析识别视频中是否有一个人物或者多个人物并进行标记形成人物特征信息，并将所述人物特征信息输送至中心服务器；

步骤三、所述中心服务器根据所述人物特征信息进行追踪分析得到分析报告并存储；

步骤四、客户端通过调取所述分析报告对监控范围内的行人进行实时监控追踪。

优选的是，所述步骤二中还包括：分析视频中的人物移动是否超出了所述监控系统的采集范围。

优选的是，在所述步骤二中，所述标记形成人物特征信息过程包括：

步骤2.1、采集行人各视角图像，通过行人检测神经网络模型获取行人边框；

步骤2.2、获取所述行人边框后，根据每个人物矩形边框所对应的图像，通过外观特征神经网络获取外观特征；

步骤2.3、获取所述外观特征后通过匹配算法分配检测出行人ID。

优选的是，在所述步骤2.1中，所述行人检测神经网络模型公式为

{x_i，y_i，h_i，w_i，s_i}＝F_行人检测(I_i)；式中，中F_行人检测为人物检测神经网络，I_i为第i个视角下当前时刻的图像，x_i表示检测出的人物边框左上点的横坐标数组，y_i表示检测出边框左上点的纵坐标数组，h_i表示检测出边框长度数组，w_i表示检测出边框宽度数组，s_i表示检测出边框的分数数组；

在所述步骤2.2中，所述外观特征神经网络模型公式为

f_外观＝F_特征网络(I_p)；式中，F_特征网络为特征提取神经网络，I_p为第p个人物边框所对应的图像，f_外观为外观特征；

在所述步骤3.3中，所述匹配算法分配公式为

{ID_i}＝F_匹配({f_i})；式中，F_匹配为匹配函数，{f_i}为所检测出的人物图像所对应的特征，{ID_i}为所有特征所对应的行人ID。

优选的是，在所述步骤三中，进行追踪分析过程包括：

步骤3.1、根据所述行人ID及检测边框计算出地平线后，在所述地平线上确定行人移动速度；

步骤3.2、根据透视相机模型，计算出检测出的任务足点在视角3D空间中的坐标位置，利用不同视角下相同行人ID人物的足点计算各视角的转换矩阵，并统一到相同坐标系，对行人进行追踪。

优选的是，在所述步骤3.1中，计算地平线过程包括：

利用同一视角下检测出的人物矩形框标，计算出头部坐标为

足底坐标为

利用任意两个矩形框的头部坐标

计算出l_head＝x×x′，利用任意两个矩形框的足底坐标

计算出l_foot＝x×x′；

利用l_head，l_foot计算出消失点v_i＝l_head×l_foot；

算出所有矩形框组合，计算出消失点集合{v_i}，利用线性回归计算出地平线l_∞。

优选的是，在所述步骤3.2中，所述透视相机模型为[u，v，1]^T～P[X，Y，Z，1]^T；式中，[u，v]代表像素坐标，[X，Y，Z]表示3D世界坐标，P表示相机矩阵，P＝K[R|t],其中相机内部参数

f为焦距，t_Z为相机高度，相机外部参数,

旋转矩阵R＝R_ZR_YR_X，

，其中α、β、γ分别代表X，Y，Z三个轴向的转角；以及

计算所述坐标位置的公式为

所述坐标位置为p_foot-i＝(x_3d-i，y_3d-i，0)。

本发明与现有技术相比较所具有的有益效果：本发明的多摄像机协同人物追踪方法及系统，是一种借助于人工智能行人检测的识别系统，该系统能够通过多摄像头获取的视频数据，实现对一定区域内人物的自动识别、自动标记(多摄像头一致)以及协同追踪，减少人工成本，为以后查找时提供便利；同时，本系统结构简单(仅有监控+主机、中心服务器、客户端三层)，部署容易，成本低(客户端可以用现有PC或智能手机)，易于升级维护，且升级维护成本低(一般情况下只要升级中心服务器和主机服务器的软件即可)，智能化程度高(无需大量人工干预)，同时能够节省查找人物相关视频的时间；本发明能够极大地改善现有的人物追踪系统情景，有较强的使用价值和理想的应用前景。

附图说明

图1为本发明所述的第二部分中计算地平线的示意图。

具体实施方式

下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

本发明公开了一种基于空间一致性的多摄像机协同人物追踪系统，包括：监控系统(由多个摄像机组成)，主机服务器、中心服务器(云服务器)、网络连接设备、客户端软件(监控端和管理端)；

中心服务器(云服务器)部署在中心机房，通过网络连接设备与部署在要监控区域被的主机服务器相连接。同时接入互联网(或局域网)，客户端软件通过互联网(或局域网)与中心服务器交互。中心服务器实现的功能有：接受主机服务器发送过来的录制的视频，并通过自身基于深度学习和人工智能的大数据系统中进行分析并对要追踪的人物进行标记。响应客户端的不同请求，提供切换到不同摄像机的功能；通过主机服务器发送控制信息，间接控制监控系统。

主机服务器与监控系统都安装在监控区域内，二者通过网络设备连接，同时主机服务器通过网络设备与机房的中心服务器连接。

网络连接设备用于连接视频监控系统、主机服务器、中心服务器(云服务器)和互联网或局域网。

监控系统由多个摄像机组成，放置在不同位置，角度和安装角度固定，可以全面观测区域内所有位置。根据区域大小、人流量、区域使用性质安装2-N个摄像机。所有摄像机都通过区域内的网络设备与主机服务器相连。

视频监控系统由多个摄像机组成，根据比赛场地大小确定摄像机位置以及角度，要求相邻摄像机间可视区域有50％及以上重叠，摄像机高度在2m-5m之间，垂直角度在10°-15°之间，相机清晰度在720p，帧率在30fps以上。保证多个相机可以全面观测训练区域所有位置。根据区域大小、运动员多少、运动训练项目等因素安装2-N个可变焦摄像机。所有的摄像机都通过网络设备与主机服务器相连。

主机服务器通过分析摄像机的视频，识别视频中是否有人物，有则进行标记。根据中心服务器发送的指令，切换摄像机。

主机服务器需要对视频中人物做的识别包括：是否有人、人物是否移出了摄像机视野范围、是否有多个人物等。主机服务器会把是别的人物特征信息以及视频，传输到中心服务器上，做进一步的追踪分析。

客户端包括两种形式，一种是基于Web界面的B/S风格客户端，主要用于PC端；另一种是移动APP客户端。客户端提供两种使用角色：监控端和管理端。客户端可以通过互联网或者局域网与中心服务器实现交互。

客户端需要实现的功能有：录入监控人员信息、监控区域的信息(有几个摄像机、区域大小、区域类型等)，获取人物追踪信息，获取相关视频以及其他管理功能。

本发明公开了一种基于空间一致性的多摄像机协同人物追踪方法，其包括两个部分，第一个部分包括人物检测网络，外观特征网络，匈牙利匹配算法。第二部分包括相机自标定算法；具体包括：

第一部分：

在行人检测部分，将各视角N帧图像作为输入，送入行人检测神经网络。可用下面的公式表示{x_i，y_i，h_i，w_i，s_i}＝F_行人检测(I_i)，其中F_行人检测为人物检测神经网络，I_i为第i个视角下当前时刻的图像，返回的结果包括五部分其中x_i表示检测出的人物边框左上点的横坐标数组，y_i表示检测出边框左上点的纵坐标数组，h_i表示检测出边框长度数组，W_i表示检测出边框宽度数组，s_i表示检测出边框的分数数组。通常数组长度可以设定成足够大，以满足检出足够多的目标被检出，最终保留分数大于预设阈值的矩形框。F_行人检测为满足输出格式的任意行人检测网络结构；在本实施例中，任意行人检测神经网络不需要定义，满足输入输出格式即可；

在获取行人边框后，将每个人物矩形框所对应的图像作为输入，送入外观特征神经网络，提取运动员的外观特征。可用下面的公式表示，f_外观＝F_特征网络(I_p)。其中F_特征网络为特征提取神经网络，I_p为第p个人物边框所对应的图像，返回的结果为外观特征f_外观。其中F_特征网络为满足行人重识别任务的特征提取网络；在本实施例中，行人重识别任务的特征提取网络不需要定义，满足输入输出格式即可；

在获取个各视角下的行人特征之后，利用匹配算法分配检测出的行人ID。可用下面的公式表示：{ID_i}＝F_匹配({f_i})，其中F_匹配为匹配函数，{f_i}为所检测出的人物图像所对应的特征，{ID_i}为所有特征所对应的行人ID；在本实施例中，F_匹配为可以为任意匹配方法，满足输入输出格式即可，本申请使用的是匈牙利算法。

第二部分：

如图1所示，在通过第一部分获取行人ID之后，根据行人ID以及检测边框计算出地平线。具体实现如下：利用同一视角下检测出的人物矩形框标，计算出头部坐标

足底坐标

利用任意两个矩形框的头部坐标

计算出l_head＝x×x′，足底坐标

计算出l_foot＝x×x′。利用l_head，l_foot计算出消失点v_i＝l_head×l_foot。按照上述流程就算出所有矩形框组合，计算出消失点集合{v_i}，利用线性回归计算出地平线l_∞。设定

其中W，H，为所对应视角下的图像尺寸。在l_∞上取v_Y＝(0，y_Y)，计算l_Y＝v_Y×p_c，其中

在l_∞上取v_X＝(x_X，y_X)，满足l_X＝v_X×v_∞，l_Xl_Y＝0；根据透视相机模型[u，v，1]^T～P[X，Y，Z，1]^T，其中[u，v]代表像素坐标，[X，Y，Z]表示3D世界坐标。P表示相机矩阵，P＝K[R|t]，其中相机内部参数

f为焦距，-t_Z为相机高度。相机外部参数，

旋转矩阵R＝R_ZR_YR_X，

，其中α、β、γ分别代表X，Y，Z三个轴向的转角。利用下述公式计算α、β、γ：

式中，(u_P，v_P)为图像中心坐标，

为Y方向消失点坐标，

为X方向消失点坐标；

在获取视角i的相机矩阵P_i后，利用公式：

计算出检测出的人物足点在视角3D空间中的坐标位置p_foot-i＝(x_3d-i，y_3d-i，0)。利用不同视角下相同ID人物的足点计算各视角的转换矩阵，统一到相同坐标系，保证空间位置一致性。

在系统运行前T秒(可根据需求确定)仅运行第一部分系统，之后同时运行两个部分。在同时运行两个部分时，追踪系统将融合3D位置信息。

实施例

管理员需要为监控人员注册信息，设置账号、初始密码，注册完毕后，由监控人员进行登录，使用客户端相应功能。

投入使用后，主机服务器将不断从监控系统找那个的摄像机中获取信息，利用人物识别技术(基于深度学习和人工智能)，自动识别出视频中的人物，并进行标记，并将标记信息传递给中心服务器，由中心服务器发送指令进行追踪。当人物消失于一个摄像机的视野时，中心服务器会接收其他摄像机数据，若该人物短时间内在其他摄像机出现，则继续追踪。

中心服务器保存着由主机服务器初次发送来的标记人物的信息等数据。会与之后主机服务器发送的数据进行匹配，并发送追踪指令。直至人物长时间不出现在监控系统中。

网络设备氛围两种，一种是放置在监控区域内的小型设备(交换机)，用于连接监控系统和主机服务器，另一种是放着在机房的大型网络设备(大型交互机)，用于中心服务器和主机服务器、互联网或局域网连接。

当发生安全问题时，可由提供的人物信息去中心服务器上存储的标记信息一一匹配，然后查询到相关时间的视频。

在本实施例中，每个模块具体功能包括：

监控系统包括多台摄像机监测整个区域，根据主机服务器指令，切换不同角度的摄像机；

主机服务器用于分析全景摄像机拍摄内容，识别人物、自动标记人物，控制变焦摄像机拍摄感兴趣区域，将信息传输给中心服务器，根据中心服务器控制指令，控制监控系统进行追踪；

网络设备用于小型交换机连接监控系统和主机服务器，大型交换机连接主机服务器和中心服务器，连接中心服务器和局域网、互联网；

中心服务器用于接收主机服务器分析得到标记数据，基于深度学习和人工智能的大数据分析，进行标记，响应客户端请求，提供相应服务并进行追踪；

客户端(管理)用于录入监控人员信息，获取人物追踪分析报告。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (10)

1.一种基于空间一致性的多摄像机协同人物追踪系统，其特征在于，包括：

视频监控系统，其包括多个摄像机，用于采集视频信息；

主机服务器，其通过网络设备与所述视频监控系统相连，用于接收视频信息并进行视频分析；

中心服务器，其通过网络设备与所述主机服务器相连，用于接收视频分析数据，通过深度学习后形成分析报告；

客户端，其通过网络设备与所述中心服务器相连，并通过互联网或者局域网与所述中心服务器实现交互。

2.如权利要求1所述的基于空间一致性的多摄像机协同人物追踪系统，其特征在于，所述中心服务还用于相应所述客户端的不同请求，提供访问功能，同时通过向主机服务器发送控制信息。

3.如权利要求2所述的基于空间一致性的多摄像机协同人物追踪系统，其特征在于，所述摄像机的安装满足相邻间可视区域有50％以上重叠区域，设置高度范围为2m～5m，垂直角度范围为10°～15°，摄像机清晰度为720p，帧率为30fps。

4.一种基于空间一致性的多摄像机协同人物追踪方法，其特征在于，包括如下步骤：

步骤一、通过视频监控系统采集视频信息，并将所述视频信息输送至主机服务器；

步骤二、所述主机服务器对所述视频信息进行分析识别视频中是否有一个人物或者多个人物并进行标记形成人物特征信息，并将所述人物特征信息输送至中心服务器；

步骤三、所述中心服务器根据所述人物特征信息进行追踪分析得到分析报告并存储；

步骤四、客户端通过调取所述分析报告对监控范围内的行人进行实时监控追踪。

5.如权利要求4所述的基于空间一致性的多摄像机协同人物追踪方法，其特征在于，所述步骤二中还包括：分析视频中的人物移动是否超出了所述监控系统的采集范围。

6.如权利要求4所述的基于空间一致性的多摄像机协同人物追踪方法，其特征在于，在所述步骤二中，所述标记形成人物特征信息过程包括：

步骤2.1、采集行人各视角图像，通过行人检测神经网络模型获取行人边框；

步骤2.2、获取所述行人边框后，根据每个人物矩形边框所对应的图像，通过外观特征神经网络获取外观特征；

步骤2.3、获取所述外观特征后通过匹配算法分配检测出行人ID。

7.如权利要求6所述的基于空间一致性的多摄像机协同人物追踪方法，其特征在于，在所述步骤2.1中，所述行人检测神经网络模型公式为

{x_i，y_i，h_i，w_i，s_i}＝F_行人检测(I_i)；式中，中F_行人检测为人物检测神经网络，I_i为第i个视角下当前时刻的图像，x_i表示检测出的人物边框左上点的横坐标数组，y_i表示检测出边框左上点的纵坐标数组，h_i表示检测出边框长度数组，w_i表示检测出边框宽度数组，s_i表示检测出边框的分数数组；

在所述步骤2.2中，所述外观特征神经网络模型公式为

f_外观＝F_特征网络(I_p)；式中，F_特征网络为特征提取神经网络，I_p为第p个人物边框所对应的图像，f_外观为外观特征；

在所述步骤2.3中，所述匹配算法分配公式为

{ID_i}＝F_匹配({f_i})；式中，F_匹配为匹配函数，{f_i}为所检测出的人物图像所对应的特征，{ID_i}为所有特征所对应的行人ID。

8.如权利要求7所述的基于空间一致性的多摄像机协同人物追踪方法，其特征在于，在所述步骤三中，进行追踪分析过程包括：

步骤3.1、根据所述行人ID及检测边框计算出地平线后，在所述地平线上确定行人移动速度；

步骤3.2、根据透视相机模型，计算出检测出的任务足点在视角3D空间中的坐标位置，利用不同视角下相同行人ID人物的足点计算各视角的转换矩阵，并统一到相同坐标系，对行人进行追踪。

9.如权利要求8所述的基于空间一致性的多摄像机协同人物追踪方法，其特征在于，在所述步骤3.1中，计算地平线过程包括：

利用同一视角下检测出的人物矩形框标，计算出头部坐标为

y_ead＝y，足底坐标为

y_ead＝y+h；

利用任意两个矩形框的头部坐标

计算出l_head＝x×x′,利用任意两个矩形框的足底坐标

计算出l_foot＝xXx′；

利用l_head，l_foot计算出消失点v_i＝l_head×l_foot；

算出所有矩形框组合，计算出消失点集合{v_i}，利用线性回归计算出地平线l_∞。

10.如权利要求8所述的基于空间一致性的多摄像机协同人物追踪方法，其特征在于，在所述步骤3.2中，所述透视相机模型为[u，v，1]^T～P[X，Y，Z，1]^T；式中，[u，v]代表像素坐标，[X，Y，Z]表示3D世界坐标，P表示相机矩阵，P＝K[R|t],其中相机内部参数

f为焦距，t_z为相机高度，相机外部参数,

旋转矩阵R＝R_ZR_YR_X，

，其中α、β、γ分别代表X，Y，Z三个轴向的转角；以及

计算所述坐标位置的公式为[x_3d-i，y_3d-i，0，1]^T＝P_i ^-1[x_foot，y_foot，1]^T；所述坐标位置为p_foot-i＝(x_3d-i，y_3d-i，0)。

Images