CN101720027B - 可变焦阵列摄像机协同获取不同分辨率多目标视频方法 - Google Patents

Abstract

本发明公开了一种在大场景多目标的监控系统中，用可变焦阵列摄像机协同获取不同分辨率下多目标视频的方法。其思想是通过对场景视频图像的分析与理解，控制摄像机阵列协同获取低分辨率场景视频与场景中多个目标在不同分辨率下的视频。其设计方案是：利用N个可变焦的低分辨率摄像机拍摄同一个场景，其中一个摄像机拍摄整个场景，其余N-1个摄像机用于拍摄场景中的目标，利用场景中目标的个数、位置和尺度信息，计算摄像机工作参数，控制摄像机阵列协同工作，获得场景视频和不同分辨率的目标视频，再利用图像融合技术获得清晰的场景视频图像显示。本发明能实现在大场景尺度下，低代价获取多目标的高分辨率视频和高质量的场景视频，用于视频监控系统。

Description

可变焦阵列摄像机协同获取不同分辨率多目标视频方法

技术领域

本发明属于图像处理技术领域，涉及视频图像监控方法，可用于对大场景内多目标视频图像的获取。

背景技术

随着社会、经济的发展，人们对安全防范的需求越来越高，视频监控作为安全防护领域中的有效手段，应用越来越普遍，应用要求也在不断地提高。视频监控系统发展了短短二十几年时间，从最早模拟监控到前些年火热的数字监控，再到方兴未艾的网络视频监控，发生了翻天覆地的变化。近年来，随着计算机、网络以及图像处理、传输技术的飞速发展，在视频监控系统中获取高质量视频已经变得引人注意。

然而，在传统的视频监控系统中，对视频的获取往往是在待监控场景中布置几个低分辨率摄像机，每个摄像机相互间是独立的，他们各自采集场景中一个固定区域的视频，并通过网络将处理后的视频传输到远程监控终端的显示器上显示，用户只能在远程监控终端上看到几个单独的低质量视频。而对于单个的低质量视频，用户在使用时经常遇到这样的问题：当被监控场景较大，特别是场景中有多个目标时，感兴趣的目标分辨率过小，不利于观看。

对于这样的情况，若对硬件升级采用高分辨率的摄像机，由于受网络带宽的影响，不得不对高分辨的图像采用较低的码率压缩，而这种处理会使视觉效果大打折扣；另外随着摄像机分辨率的提高，其价格也相应增加。

发明内容

本发明的目的在于克服上述已有技术的不足，提供一种可变焦阵列摄像机协同获取不同分辨率下多目标视频的方法，以实现在大的场景尺度下，低代价获取多目标的高分辨率视频和高质量的场景视频。

为实现上述目的，本发明的可变焦阵列摄像机协同获取不同分辨率多目标视频的技术思路是：用N个可变焦的低分辨率摄像机拍摄同一个场景，其中在阵列中心的一个摄像机用于拍摄整个场景，其余在阵列四周的N-1个摄像机用于拍摄场景中的感兴趣目标。通过感兴趣区域检测算法与已知的摄像机焦距和焦比，获得场景中目标的个数、位置、尺度等信息，利用这些信息控制其余N-1个摄像机协同工作，通过计算得到的参数控制他们开启、旋转、变焦等操作。当监控感兴趣目标的摄像机开始工作后，摄像机通过旋转对移动的目标进行跟踪，当目标脱离监控摄像机最大旋转角度的范围后，重新分析场景，控制摄像机协同工作。其具体实现步骤如下：

(1)用N个可变焦低分辨率摄像机组成的阵列拍摄同一场景，其中在阵列中心的一个拍摄大场景，其余在阵列四周的N-1个摄像机拍摄场景内的目标；

(2)将拍摄的大场景视频图像通过网络传输给接收端，由接收端对场景图像进行理解与分析，获得场景中目标的个数、位置和尺度信息，并结合N个摄像机的相对位置、焦距和焦比信息，根据小孔成像模型和三角模型计算拍摄目标摄像机的工作参数，通过网络反馈给摄像机；

(3)摄像机阵列从网络得到的工作参数后协同工作，对场景中的目标跟踪监控，并通过标准视频编码器，得到N-1个高分辨率目标码流和一个低分辨率场景码流，通过网络发送给接收端；

(4)将由网络得到的N个码流在接收端解码，得到N-1个目标视频与一个场景视频，并对该N-1个目标视频图像与一个场景视频图像进行图像融合，得到高质量的场景视频图像显示；

(5)在监控过程中，若场景中的目标移动，监控目标的摄像机对目标进行跟踪，从而使目标中心一直处于摄像机镜头中心；

(6)若目标脱离监控摄像机旋转角度的范围后，重复步骤(2)至步骤(4)，重新控制摄像机阵列协同工作。

步骤(2)所述的摄像机的工作参数，包括拍摄目标摄像机的工作状态、拍摄目标摄像机的焦距和拍摄目标摄像机的旋转角度。

本发明与现有的技术相比具有以下优点：

1.本发明由于采用了小孔成像模型和三角模型计算拍摄目标摄像机的工作参数，因而能够控制摄像机阵列协同工作，同时拍摄大场景和场景中的多个目标；

2.本发明由于采用可变焦阵列摄像机，可以获取场景视频和不同分辨率的目标视频，有利于进行图像融合得到高分辨率和高质量的场景视频；

3.本发明由于仍然使用普通摄像头，没有使用高清摄像头，实现成本低，而且可以在带宽受限的网络条件下工作。

附图说明

图1为本发明实现方法的系统框图；

图2为本发明实现计算摄像机焦距的原理图；

图3为本发明实现计算摄像机旋转角度的原理图；

图4为本发明实现方法的流程图。

具体实施方式

参照图1和图4，本发明的可变焦阵列摄像机协同获取不同分辨率多目标视频方法，包括如下步骤：

步骤1：用N个可变焦低分辨率摄像机组成的阵列拍摄同一场景。

1a)N个可变焦低分辨率摄像机阵列中位于中心的一个摄像机拍摄大场景，其余N-1个摄像机拍摄场景中的目标；

1b)每个可变焦低分辨率摄像机都有自己的视频处理模块，包括视频存储器、H.264编码器和目标跟踪器；

1c)每个可变焦低分辨率摄像机都配有云台，有一定的旋转角度，并且可准确变焦。

步骤2：将拍摄的大场景视频图像通过网络传输给接收端，由接收端对图像进行理解与分析，即采用一种基于人类视觉注意系统的图像感兴趣区域自动提取方法获得场景中目标的个数、位置和尺度信息。

步骤3：结合N个摄像机的相对位置、焦距和焦比信息，根据小孔成像模型与三角模型计算N-1个拍摄目标摄像机工作参数，并将工作参数通过网络反馈给摄像机进行控制。

以上所述的摄像机的工作参数，包括拍摄目标摄像机的工作状态、拍摄目标摄像机的焦距和拍摄目标摄像机的旋转角度。

3a)拍摄目标摄像机的工作状态，按照如下步骤设定：

首先，设摄像机阵列的排列方式n×n，则将场景图像划分为n×n个大小一样的块，并根据空间物理位置将所划分的块与摄像机对应；

其次，在场景图像中，统计目标区域在划分的n×n个块中所占的像素点的个数，将像素点最多的块所对应的摄像机工作状态设定为开启，其余摄像机的工作状态设定为关闭；

3b)拍摄目标摄像机的焦距，按照如下步骤计算：

参照图2，本步骤的具体实现是：先设拍摄场景摄像机焦距为f_a，接收端得到的场景视频图像有a₁×a₂个像素，图像中一个目标区域有b₁×b₂个像素；再采用下式计算拍摄目标的摄像机的焦距f_b：

3c)拍摄目标摄像机的旋转角度，按照如下方式计算：

如图3所示本步骤的具体实现是：

首先，设拍摄目标摄像机的投影中心是空间点O，投影平面是π，则空间点O到投影平面π的距离为焦距f，场景中一个目标的几何中心为空间点M，空间点M在平面π上的投影是m，投影m是以空间点O为端点并经过空间点M的射线与投影平面π的交点；

接着，在空间中，以空间点O为坐标原点建立摄像机空间直角坐标系O-XYZ，其中水平线和垂直线分别为轴X和Y轴，且与投影平面π平行，Z轴与投影平面π垂直，在投影平面π上以Z轴与投影平面π的交点o为原点建立平面坐标系o-xy，水平线和垂直线分别为x轴和y轴，投影m在平面坐标系o-xy中的坐标记为m＝(x₁，y₁)；

接着，设监控大场景的摄像机与每一个监控目标的摄像机之间的距离远远小于目标与摄像机之间的距离，在场景图像中，设目标中心距离图像中心在水平方向有e₁个像素，在垂直方向有e₂个像素，采用下式计算投影m在平面坐标系o-xy中的坐标(x₁，y₁)：

$\left\{\begin{array}{c}{x}_1=\frac{e_1}{f_x}\\ y_1=\frac{e_2}{f_y}\end{array}\right.$

其中，f_x和f_y分别为水平方向和垂直方向的焦比；

最后，利用下式计算旋转角度参数，拍摄感兴趣目标的摄像机需要旋转的水平方向角度θ和竖直方向角度

步骤4：摄像机阵列根据获得的工作参数控制各个摄像机协同工作，对场景中的目标跟踪监控。

步骤5：N个摄像机拍摄到得视频通过H.264编码器，得到N-1个高分辨率目标码流和一个低分辨率场景码流，通过网络发送给接收端。

5a)所有摄像机都捕捉VGA视频，用H.264编码器压缩，再将其传给接收端前；

5b)用H.264压缩时，拍摄场景摄像机采用固定码率，拍摄目标摄像机根据开启的个数以及信道带宽，平均分配码率。

步骤6：在用户端将得到N-1个高分辨率目标码流和一个低分辨率场景码流解码得到的N-1个目标视频与一个场景视频，对N个视频图像通过一种基于学习的图像幻象方法进行图像融合显示。

步骤7：若目标移动时，启动摄像机上的目标跟踪器，摄像机通过旋转采用一种基于粒子滤波的视频跟踪方法对目标进行跟踪，使目标中心一直处于摄像机镜头中心。

步骤8：若目标脱离监控摄像机旋转角度的范围后，重复步骤2至步骤6，控制摄像机阵列协同工作，获取不同分辨率下的多目标视频。

以上，仅是本发明的一个具体实例，并不构成对本发明的任何限制，显然任何人在本发明的构思下都可以进行改变，但这些都在本发明的保护范围内。

Claims (3)

1.一种可变焦阵列摄像机协同获取不同分辨率多目标视频的方法，包括如下步骤：

(1)用N个可变焦摄像机组成的阵列拍摄同一场景，其中在阵列中心的一个拍摄大场景，其余在阵列周围的N-1个摄像机拍摄场景内的目标；

(2)将拍摄的大场景视频图像通过网络传输给接收端，由接收端对场景图像进行理解与分析，获得场景中目标的个数、位置和尺度信息；

(3)设摄像机阵列的排列方式为n×n，将场景图像划分为n×n个大小一样的块，根据空间物理位置将所划分的块与拍摄目标摄像机对应；

(4)在场景图像中，统计目标区域在划分的n×n个块中所占的像素点的个数，将像素点最多的块所对应的拍摄目标摄像机工作状态设定为开启；

(5)计算拍摄目标摄像机的焦距和旋转角度，并通过网络将拍摄目标摄像机的工作状态、焦距和旋转角度反馈给摄像机阵列；

(6)摄像机阵列从网络得到的工作参数后协同工作，对场景中的目标跟踪监控，并通过标准视频编码器，得到N-1个目标码流和一个场景码流，通过网络发送给接收端；

(7)将由网络得到的N个码流在接收端解码，得到N-1个目标视频与一个场景视频，并对该N-1个目标视频图像与一个场景视频图像进行图像融合，得到融合后的场景视频图像显示；

(8)在监控过程中，若场景中的目标移动，拍摄目标摄像机对目标进行跟踪，从而使目标中心一直处于摄像机镜头中心；

(9)若目标脱离拍摄目标摄像机旋转角度的范围后，重复步骤(2)至步骤(7)，重新控制摄像机阵列协同工作。

2.如权利要求1所述的可变焦阵列摄像机协同获取不同分辨率多目标视频的方法，其中步骤(5)所述的拍摄目标摄像机的焦距，按如下步骤进行计算：

2a)设拍摄场景摄像机焦距为f_a，接收端得到的场景视频图像有a₁×a₂个像素，图像中一个目标区域有b₁×b₂个像素；

2b)将场景图像像素个数a₁×a₂与图像中目标所在区域像素个数b₁×b₂的比值与拍摄全景摄像机焦距f_a相乘，得到拍摄目标的摄像机的焦距f_b。

3.如权利要求1所述的可变焦阵列摄像机协同获取不同分辨率多目标视频的方法，其中步骤(5)所述的拍摄目标摄像机的旋转角度，按如下步骤进行计算：

3a)设拍摄目标的摄像机的投影中心是空间点O，投影平面是π，摄像机的焦距为f，场景中所拍摄目标的几何中心为空间点M，空间点M在平面π上的投影是m，投影m是以空间点O为端点并经过空间点M的射线与投影平面π的交点；

3b)在空间中，以空间点O为坐标原点建立摄像机空间直角坐标系O-XYZ，其中水平线和垂直线分别为X轴和Y轴，且与投影平面π平行，Z轴与投影平面π垂直，在投影平面π上以Z轴与投影平面π的交点o为原点建立平面坐标系o-xy，水平线和垂直线分别为x轴和y轴，将投影m在平面坐标系o-xy中的坐标记为m＝(x₁，y₁)；

3c)在场景图像中，设目标中心距离图像中心在水平方向有e₁个像素，在垂直方向有e₂个像素；

3d)根据摄像机内参矩阵中的水平方向和竖直方向的焦比f_x和f_y，按照下式计算投影m在平面坐标系o-xy中的坐标x₁和y₁：

$\left\{\begin{array}{c}{x}_1=\frac{e_1}{f_x}\\ y_1=\frac{e_2}{f_y}\end{array}\right.;$

3e)根据投影m在平面坐标系o-xy中的坐标x₁和y₁和摄像机焦距f，按照下式计算拍摄目标的摄像机需要旋转的水平方向角度θ和竖直方向角度

Images