CN104754302B - 一种基于枪球联动系统的目标检测跟踪方法 - Google Patents

Abstract

本发明公开了一种基于枪球联动系统的目标检测跟踪方法，其特征是按如下步骤进行：1构建枪球联动系统；2设定普通检测区域、重点检测区域和屏蔽区域；3对枪机和PTZ球机进行标定，获得标定数据；4对普通检测区域和重点检测区域进行检测和跟踪。本发明能快速、准确地检测出运动目标并且可靠持续地对运动目标进行跟踪，从而提高识别效率降低复杂性。

Description

一种基于枪球联动系统的目标检测跟踪方法

技术领域

本发明涉及视频监控领域，尤其涉及一种应用在枪球联动系统中的运动目标检测与跟踪方法。

背景技术

随着社会科技的发展，人们安防意识的提高，现代化的安防技术得到了广泛的应用。安防技术不仅向着网络化、数字化、智能化、模块化发展，同时各种先进安防手段相互嵌入、联动、互补，使得现代安防产品日趋成熟实用。比如视频跟踪系统可用于小区、交通等的监控。

目前，视频监控设备大量用于社会各个角落，给社会治安带来飞跃发展，它充当着监控人员的“眼睛”，有了监控系统，我们才能看到现场传送过来的图像，为事后调查起到关键性作用，为案件破获提供了科学可靠的证据。但在目前的监控系统中，摄像头基本为固定形式，需要人工目视观察、跟踪，二十四小时不间断地观察实时监控，一旦监控人员出现疏忽，就会出现监控的漏洞，这样不仅造成监控人员劳动强度大而且监控的效率很低，无效监控太多。

传统的监控目标跟踪系统，如果要实现对一个监控目标进行追踪，通常需要监控图像观看人员判断监控目标所在位置，然后根据图像中监控目标的行进方向，判断出下一个有可能监控到的视频监控点，然后调出这个视频监控点的图像，如果视频监控点具备云台，并且该云台的方位没有正对着监控目标，需要手动调整云台到合适的方向查找视频监控目标，操作比较繁琐并且需要监控人员对于地理方位相当的熟悉，对于人机系统要求高并且操作比较繁琐，最终造成追踪的效率比较低。

另一种监控目标跟踪系统利用图像识别技术，通过在监控系统内配置一台智能识别服务器，分析不同的摄像头的信号进行图像识别，进而判断出监控目标的方位，但是这种方式也有以下几个弱点：

1、识别服务器价格昂贵，由于识别的视频数量受限于服务器的性能，因此识别的视频数量有限(一般为8-16路)，识别的效率高低不一，对摄像头视频的清晰度以及分辨率有要求。

2、需要人工将有可能出现监控目标的视频点图像调入到服务器进行识别，并且识别出来后还需要操作人员对摄像头位置熟悉，否则无法预知下一次需要输入分析的视频点信号源，从而无法实现对监控目标的跟踪，操作繁琐且对人员要求高。

发明内容

本发明为克服上述现有技术存在的不足之处，提出一种基于枪球联动系统的目标检测跟踪方法，能快速、准确地检测出运动目标并且可靠持续地对运动目标进行跟踪，从而提高识别效率降低复杂性。

本发明为解决技术问题采用如下技术方案：

本发明一种基于枪球联动系统的目标检测跟踪方法，其特点是按如下步骤进行：

步骤1、构建枪球联动系统

所述枪球联动系统的组成包括：PTZ球机、枪机、检测跟踪模块、警戒区设定模块和标定模块；

设置所述PTZ球机的拍摄范围包含所述枪机的拍摄范围；

所述PTZ球机的PTZ参数为：水平角度P、垂直角度T和变焦参数Z；由所述PTZ参数获得三维PTZ坐标；所述三维PTZ坐标为所述PTZ球机所拍摄的图像中心点位置；

利用所述枪机获得枪机拍摄图像，以所述枪机拍摄图像的任一顶点作为原点O，以所述原点O的两条邻边分别设置为X轴和Y轴构成坐标系XOY；

步骤2、所述警戒区设定模块在所述枪机拍摄图像中设定普通检测区域、重点检测区域和屏蔽区域；

步骤3、所述标定模块在所述枪机拍摄图像中任意选择一个像素点坐标A1(x1,y1)；根据所述像素点坐标A1(x1,y1)获得所述枪机在拍摄范围中与所述像素点坐标A1(x1,y1)相对应的实际拍摄点；

步骤4、所述标定模块根据所述实际拍摄点，分别调整所述PTZ球机的PTZ参数，获得与所述实际拍摄点相对应的水平角度P1、垂直角度T1和变焦参数Z1，从而获得与所述像素点坐标A1(x1,y1)相对应的三维PTZ坐标B1(P1,T1,Z1)；

步骤5、重复执行N次步骤3和步骤4；从而获得与N个像素点A_n坐标一一对应的N个三维PTZ坐标B_n，N≥4；

步骤6、利用三角剖分法获得所述枪机拍摄图像中所有像素点坐标与其一一对应的三维PTZ坐标，从而获得标定数据；

步骤7、所述检测跟踪模块利用帧差和背景差法对普通检测区域和重点检测区域进行检测，获得运动目标；以所述运动目标作为检测目标；

步骤8、所述检测跟踪模块利用meanshift算法分别对普通检测区域和重点检测区域内的检测目标进行跟踪；

步骤9、所述检测跟踪模块将所述检测目标作为跟踪目标进行自动跟踪；并获取跟踪目标在所述枪机拍摄图像中的像素点坐标At；根据所述标定数据获得与所述像素点坐标At所对应的三维PTZ坐标Bt；

步骤10、所述检测跟踪模块根据所述三维PTZ坐标Bt控制所述PTZ球机转到跟踪目标位置；

步骤11、所述检测跟踪模块在目标运动自动跟踪过程中，利用PTZ球机的速度公式控制所述PTZ球机跟随所述目标运动移动，从而使得跟踪目标始终保持在PTZ球机所拍摄的图像中心点位置上。

与现有技术相比，本发明的有益效果在于：

1、本发明通过构建枪球联动系统，利用PTZ球机拍摄大场景内的局部视频，利用枪机拍摄大场景视域内的广角视频，通过在枪机拍摄图像中选定普通检测区域、重点检测区域和屏蔽区域，并通过标定模块使得PTZ球机和枪机关联起来，从而可以利用PTZ球机对枪机的任意位置的目标放大特写；进而使得通过枪球联动系统既能拍摄全景图像，又能拍摄部分跟踪目标的详细信息，不需要人工干预即可实现自动控制和跟踪，这是普通监控所不具备的，由此提高了识别效率，并降低人工监控的复杂性。

2、本发明通过利用检测跟踪模块能够实现枪球联动系统中的自动特写抓拍功能，自动抓拍被跟踪目标的特写图片，从而克服了现有技术中普通监控系统只能看到全景画面，或是通过手动转动云台来查看目标详细信息的缺点。

3、本发明通过三角剖分方法使枪机拍摄图像中的每一个点的坐标和PTZ球机的三维PTZ坐标一一对应起来，从而使得PTZ球机能转到枪机正在跟踪的目标的位置，对被跟踪目标进行放大特写，从而可以看到跟踪目标的详细信息，对视频监控中细节抓拍起到重要作用。

4、本发明通过警戒区设定模块在枪机拍摄图像中选定普通检测区域、重点检测区域和屏蔽区域，这样就可以只对需要检测的场景进行检测，对于屏蔽区域内的目标不需要检测，而对于重点检测区域中的目标进行优先跟踪检测；从而降低监控环境的复杂性。

附图说明

图1是本发明系统界面图；

图2是本发明运动目标检测跟踪模块流程图；

图3是本发明标定模块流程图；

图4是本发明警戒区设定模块流程图。

具体实施方式

本实施例中，一种基于枪球联动系统的目标检测跟踪方法按如下步骤进行：

步骤1、构建枪球联动系统

枪球联动系统的组成包括：PTZ球机、枪机、检测跟踪模块、标定模块和警戒区设定模块；为了充分体现枪机能够观看大场景的优势，枪机的安装高度一般不低于三米，最高安装高度根据情况而定，一般不高于一百米，需要考虑的情况是能看清场景内目标的移动，不需要看清目标的具体信息。

一般枪机的安装高度高于PTZ球机，PTZ球机的最低安装高度不低于三米，最高安装高度以PTZ球机放到最大倍数后能看清具体目标为宜。枪机和PTZ球机安装位置关系比较灵活，一般枪机安装位置要高于PTZ球机的安装位置，垂直方向在一条竖直线上比较适宜。最理想的安装关系是枪机和PTZ球机安装在一起，即枪机和PTZ球机的视野很接近。

设置PTZ球机的拍摄范围包含枪机的拍摄范围；

PTZ球机的PTZ参数为：水平角度P、垂直角度T和变倍参数Z；由PTZ参数获得三维PTZ坐标；三维PTZ坐标为PTZ球机所拍摄的图像中心点位置；PTZ球机有一个预置位，该预置位的水平角度P值为0，垂直角度T值为0，PTZ球机从预置位右转，水平角度P值依次增加，增到最大值之后水平角度P值变为0；PTZ球机从预置位上转，则垂直角度T增大，PTZ球机从预置位下转，则垂直角度T减小；PTZ球机变倍参数Z值越大，对画面中心点的放大倍数越大。因此，在PTZ球机中的任一点都对应一个水平角度P、垂直角度T、变倍参数Z的值，而该点在枪机画面中对应一个像素点(x,y)，而且一一对应。

利用枪机获得枪机拍摄图像，以枪机拍摄图像的任一顶点作为原点O，以原点O的两条邻边分别设置为X轴和Y轴构成坐标系XOY；

步骤2、警戒区设定模块在枪机拍摄图像中选定普通检测区域、重点检测区域和屏蔽区域；

由于枪机场景很大，不需要对整个场景中的所有目标进行检测，所以选出普通检测区域、重点检测区域和屏蔽区域，这样就可以只对需要检测的场景检测。普通检测区域即是一般的需要检测的场景。重点检测区域是需要重点监控的区域，如果重点区域有目标，优先跟踪重点区域内的目标。屏蔽区域是检测区域内部不需要检测的区域。警戒区设定模块可以设定任意形状的区域为检测区域，可以设定任意形状的区域为屏蔽区域，设定好的区域供检测跟踪模块使用。

利用枪机拍摄一张当前视野内的图像，在图像中按照顺时针方向依次选择像素点并构成点集，由这些点集构成封闭区域，从而利用这种方法获得的封闭区域依次划分普通检测区域、重点检测区域和屏蔽区域。

步骤3、标定模块在检测跟踪区域中任意选择一个像素点坐标A1(x1,y1)；根据像素点坐标A1(x1,y1)获得枪机在拍摄范围中与像素点坐标A1(x1,y1)相对应的实际拍摄点；

步骤4、标定模块根据实际拍摄点，分别调整PTZ球机的PTZ参数，获得与实际拍摄点相对应的水平角度P1、垂直角度T1和变焦参数Z1，从而获得与像素点坐标A1(x1,y1)相对应的三维PTZ坐标B1(P1,T1,Z1)；

步骤5、重复执行N次步骤3和步骤4；从而获得与N个像素点A_n坐标一一对应的N个三维PTZ坐标B_n，N≥4；

步骤6、利用现有的三角剖分法获得枪机拍摄图像中所有像素点坐标与其一一对应的三维PTZ坐标，从而获得标定数据；在目标跟踪的过程中，需要不断地指挥PTZ球机跟踪着被跟踪目标，所以需要知道枪机画面和PTZ球机的PTZ的转化关系，这个过程就是标定。标定的算法是利用三角剖分，把枪机画面的像素坐标和PTZ球机的PTZ关联起来。在目标跟踪的过程中，可以实时得到被跟踪目标的像素坐标，然后就可以得到PTZ球机的PTZ位置，这样就可以实时指挥PTZ球机转到被跟踪目标的位置，保证被跟踪目标实时在PTZ球机画面中心位置。标定数据用于后续检测跟踪中的枪球联动，即在跟踪目标的过程中，使用标定数据，枪机可以指挥PTZ球机始终跟踪并放大枪机中被跟踪的目标。

步骤7、检测跟踪模块获取帧数据，利用现有的帧差和背景差法对普通检测区域和重点检测区域进行检测，获得运动目标；对运动目标提取目标轮廓并用矩形框框出显示；以目标轮廓作为检测目标；具体是按如下过程进行运动目标的检测：

首先登录相机，获得枪机和球机的实时码流数据，通过对枪机码流进行解码，利用帧差背景差得到枪机画面的二值化图像，再利用形态学处理得到目标的轮廓图，至此得到检测目标。再按照选取跟踪目标的策略，得到跟踪目标，开始进行目标跟踪。在目标跟踪的过程中，对正在跟踪的目标进行特写抓拍，抓拍目标的特写图片，同时保存所有检测目标的轨迹。

步骤8、检测跟踪模块提取检测目标的目标特征，选取出能以较高概率识别的目标特征，从而获得跟踪目标，利用现有的meanshift算法对普通检测区域和重点检测区域内的跟踪目标进行跟踪；在检测的目标中，用户手动或系统自动从检测目标中选出一个或者多个检测目标作为跟踪目标(如果有多个PTZ球机，则可以相应选取多个检测目标作为跟踪目标)。

步骤9、在目标移动的过程中，需要枪机不断指挥PTZ球机跟着移动目标转动，这就需要知道PTZ球机该朝哪个方向按照多大的速度移动，并依赖于标定模块得到的数据；检测跟踪模块将检测目标作为跟踪目标进行自动跟踪；并获取跟踪目标在枪机拍摄图像中的像素点坐标At；根据标定模块得到的标定数据获得与像素点坐标At所对应的三维PTZ坐标Bt；

步骤10、检测跟踪模块根据三维PTZ坐标Bt控制PTZ球机转到跟踪目标位置；PTZ球机支持直接定位功能，根据PTZ值可以直接设置PTZ球机位置。

步骤11、检测跟踪模块在目标运动自动跟踪过程中，利用PTZ球机的速度公式控制PTZ球机跟随被跟踪目标运动移动，从而使得被跟踪目标始终保持在PTZ球机所拍摄的图像中心点位置上。调节PTZ球机的Z值，可以放大或者缩小视野，选择合适的Z值，使被跟踪目标在PTZ球机中占比较合适的大小。

步骤12、更新背景，减少背景对检测的影响；由于背景的变化对利用帧差法做检测会产生很大的影响，所以要定时更新背景。

步骤13、记录检测和跟踪轨迹；检测跟踪的目的是为了警戒，保存目标在检测区里的检测和跟踪轨迹，能看到目标在检测区域内刚过去时间段内的实时位置信息，对分析检测区域内运动目标的目的有重要作用。

步骤14、对跟踪目标进行抓拍和录像。该功能能抓拍被跟踪目标的特写图片，同时能对枪机和PTZ球机录像，保存下来的图片和录像可以用于后续的查阅；

由此获得的系统界面图如图1所示。

图2所示，本发明检测跟踪模块的实现流程如下：

步骤1：首先获得视频流；

步骤2：对视频流进行解码分析提取出Y分量；

步骤3：做帧差背景差获得背景二值化图像；

步骤4：由于背景在变化，所以要定时更新背景，重复步骤3；

步骤5：通过步骤3获得二值化图像，为后续分析做准备；

步骤6：形态学处理得到运动目标轮廓，为后续检测和跟踪目标做准备；

步骤7：基于步骤6可以自动选取运动目标，作为跟踪目标；

步骤8：基于步骤7可以手动选取运动目标，作为跟踪目标；

步骤9：得到跟踪目标；

步骤10：记录所有检测目标的轨迹；

步骤11：基于步骤9，对被选择的目标做跟踪初始化，提取被指定为跟踪目标的信息；

步骤12：基于步骤11，跟踪目标；

步骤13：记录跟踪目标的轨迹；

步骤14：指定PTZ球机跟踪被跟踪目标；

步骤15：对被跟踪的目标进行抓拍特写，同时对枪机和PTZ球机录像；

步骤16：如果目标超出跟踪范围，则重新选择目标跟踪，跳回到步骤9，否则，继续跟踪跳回到步骤12；

标定模块的目的是辅助枪机的联动跟踪，在跟踪算法跟踪目标的过程中，需要实时对被跟踪目标放大，所以就需要枪机能指挥PTZ球机转到指定的位置；如图3所示，本发明标定模块的实现流程如下：

步骤17：首先登陆标定模块；

步骤18：登陆枪机；

步骤19：登陆PTZ球机；

步骤20：在枪机画面中选定一显著的标志物；

步骤21：控制PTZ球机转到步骤20所选定的标志物，调节合适的Z值，使标志物在PTZ球机画面中占适当比例；

步骤22：获得一组枪机中像素点和PTZ球机中PTZ对应的值；

步骤23、步骤24：跳回到步骤20、步骤21，选定四个不同的标志物，依次获得四组枪机中像素点和PTZ球机中PTZ对应的值；

步骤25：运用标定算法即三角剖分法；

步骤26：获得标定数据；

枪机画面中往往有很多不需要检测或者检测无意义的区域，所以需要屏蔽这些区域的检测，这就需要画出需要检测的区域。在画出检测区域之后，检测跟踪系统只对检测区域内的目标进行检测跟踪。如图4所示，本发明警戒区设定模块的实现流程如下：

步骤27：首先登陆警戒区设定模块；

步骤28：登陆枪机；

步骤29：利用枪机抓拍一张枪机当前画面的图像；

步骤30、步骤31：在步骤29抓拍的图像上，按照顺时针方向点出所需要的检测区域(普通检测区域、重点检测区域和屏蔽区域)，系统根据选出的检测区域生成对应的检测区域，供检测跟踪模块使用；

步骤32：设置一个警戒区域完成之后，选择是否设置下一个警戒区，如果继续设置，则经过步骤33跳回到步骤30，如果不再设置，则继续步骤34；

步骤35：完成警戒区设置，保存警戒区。

下面以对某广场的监控为例进行说明，参照流程图2：

首先通过流程1获得网络视频流，通过步骤2对视频流分析解码，提取Y分量，通过背景差和帧差的方法，获得二值化图像。由于背景会有变化，所以需要定时更新背景，得到背景图像。由步骤5得到的二值化图像，通过形态学处理，得到检测目标的轮廓，在图像中由矩形框标出检测目标。在得出检测目标的基础上，通过手动或者自动选取运动目标，最终得到跟踪目标。为了判断目标是否异常，所以需要记录检测轨迹(步骤10)，其中包括被跟踪目标的轨迹。对被选择跟踪的目标进行初始化，提取目标信息，方便下一步目标跟踪。在每一帧中都提取被跟踪目标的信息，这样就可以实时跟踪目标。由于枪机视野很大，很难看清被跟踪目标的细节，所以此时指定PTZ球机跟踪被跟踪目标。由标定模块得到的数据可以保证实时控制球机转到指定的位置，被跟踪目标在枪机中的坐标即在枪机画面中的像素值可以转化为对应的PTZ球机的PTZ值，这样PTZ球机就可以对正在被跟踪的目标进行跟踪，在PTZ球机中就可以看到被跟踪目标的详细信息，如果是行人，则可以看出上衣下衣的颜色已经面貌特征，如果是机动车，则可以分辨出相应的型号，甚至是车牌号。此时PTZ球机抓拍被跟踪目标的特写图片，以及录像，则在后续查阅中可以查看特写图片以及录像，对自动监控起到重要的补充作用。

本实施例仅仅是为了清楚描述本发明而进行的设计，并不是本发明的所有内容，本领域的人员根据本实施例和本发明的精神进行的设计都在本发明的范围之内。

Claims (1)

1.一种基于枪球联动系统的目标检测跟踪方法，其特征是按如下步骤进行：

步骤1、构建枪球联动系统

所述枪球联动系统的组成包括：PTZ球机、枪机、检测跟踪模块、警戒区设定模块和标定模块；

设置所述PTZ球机的拍摄范围包含所述枪机的拍摄范围；

所述PTZ球机的PTZ参数为：水平角度P、垂直角度T和变焦参数Z；由所述PTZ参数获得三维PTZ坐标；所述三维PTZ坐标为所述PTZ球机所拍摄的图像中心点位置；

利用所述枪机获得枪机拍摄图像，以所述枪机拍摄图像的任一顶点作为原点O，以所述原点O的两条邻边分别设置为X轴和Y轴构成坐标系XOY；

步骤2、所述警戒区设定模块在所述枪机拍摄图像中设定普通检测区域、重点检测区域和屏蔽区域；

步骤3、所述标定模块在所述枪机拍摄图像中任意选择一个像素点坐标A1(x1,y1)；根据所述像素点坐标A1(x1,y1)获得所述枪机在拍摄范围中与所述像素点坐标A1(x1,y1)相对应的实际拍摄点；

步骤4、所述标定模块根据所述实际拍摄点，分别调整所述PTZ球机的PTZ参数，获得与所述实际拍摄点相对应的水平角度P1、垂直角度T1和变焦参数Z1，从而获得与所述像素点坐标A1(x1,y1)相对应的三维PTZ坐标B1(P1,T1,Z1)；

步骤5、重复执行N次步骤3和步骤4；从而获得与N个像素点A_n坐标一一对应的N个三维PTZ坐标B_n，N≥4；

步骤6、利用三角剖分法获得所述枪机拍摄图像中所有像素点坐标与其一一对应的三维PTZ坐标，从而获得标定数据；

步骤7、所述检测跟踪模块利用帧差和背景差法对普通检测区域和重点检测区域进行检测，获得运动目标；以所述运动目标作为检测目标；

步骤8、所述检测跟踪模块利用meanshift算法分别对普通检测区域和重点检测区域内的检测目标进行跟踪；

步骤9、所述检测跟踪模块将所述检测目标作为跟踪目标进行自动跟踪；并获取跟踪目标在所述枪机拍摄图像中的像素点坐标At；根据所述标定数据获得与所述像素点坐标At所对应的三维PTZ坐标Bt；

步骤10、所述检测跟踪模块根据所述三维PTZ坐标Bt控制所述PTZ球机转到跟踪目标位置；

步骤11、所述检测跟踪模块在目标运动自动跟踪过程中，利用PTZ球机的速度公式控制所述PTZ球机跟随所述目标运动移动，从而使得跟踪目标始终保持在PTZ球机所拍摄的图像中心点位置上。