CN108419014A - 利用全景摄像机和多台抓拍摄像机联动抓拍人脸的方法 - Google Patents

Abstract

本发明涉及一种利用全景摄像机和多台抓拍摄像机联动抓拍人脸的方法，其利用全景摄像机获得监控区域的全景视频，分析全景视频中相关人物目标的行进方向，驱动相关人物目标行进前方的抓拍摄像机对人物目标的脸部进行拍摄，以获得适应于人脸识别的人物目标的人脸图像，可以依据肤色像素的聚类特性，在所拍摄的人脸图像中识别出人脸肤色区域和嘴唇肤色区域，以判断该人脸图像上的人脸偏转程度，选取最佳人脸图像。本发明能够获得适应于人脸识别的脸部图像，极大地提高了人脸抓拍的成功率和人脸信息的完整性，能够为视频监控的人脸识别提供更有效和更可靠的人脸图像。

Description

利用全景摄像机和多台抓拍摄像机联动抓拍人脸的方法

技术领域

本发明涉及一种利用全景摄像机和多台抓拍摄像机联动抓拍人脸的方法，属计算机信息技术特别是视频监控技术领域。

背景技术

视频监控作为现代化安防管理的重要手段，已经非常广泛的应用在机关、银行、车站等人员密集或重要的场所。近年来，随着计算机技术的不断发展，视频监控系统正在向智能化方向转变。通过布置若干摄像机对监控场景进行视频拍摄和相应的视频数据处理，获得全景视频，并可以针对需要监视的人物目标进行拍摄。

现有最流行的视频监控方法基于单枪机-多球机联动空间建模方法，通过单枪机获得全景视频，根据监控需要调用就近的球机对目标图像进行拍摄，其缺陷是只考虑目标的位置而不考虑其行进方向,虽然能够抓拍到了人物目标的头部图像,但很可能是面部的侧面甚至是头部的背面，无法用于之后的人脸识别。

发明内容

为解决上述技术问题，本发明提供了一种利用全景摄像机和多台抓拍摄像机联动抓拍人脸的方法，采用这种方法能够更有效地获得人物目标的脸部图像。

本发明的技术方案是：一种利用全景摄像机和多台抓拍摄像机联动抓拍人脸的方法，其利用全景摄像机获得监控区域的全景视频，分析全景视频中相关人物目标的行进方向，驱动相关人物目标行进前方的抓拍摄像机对人物目标的脸部进行拍摄，以获得适应于人脸识别的人物目标的人脸图像。

所述全景摄像机是指用于获得全景视频的摄像机，可以是一个或多个，当设有多个全景摄像机时，可以依据现有技术进行全景视频的合成，所述抓拍摄像机是指用于人脸图像抓拍或其他图像抓拍的摄像机，数量通常为多个，分布在监控区域的不同位置，以便抓拍摄像机的抓拍范围覆盖或基本覆盖全部监控区域和/或从不同角度进行抓拍，可以根据实际需要设定抓拍摄像机的最低拍摄覆盖区域。

根据所用摄像机技术、摄像机控制技术以及相关数据处理技术等，可以全景摄像机和抓拍摄像机的种类和布置方式，目前，全景摄像机和抓拍摄像机通常情况下可以分别设置，为不同的摄像机，也可以使同一个摄像机执行全景视频拍摄和抓拍两种功能。

现有技术背景下，所述全景摄像机优选采用枪机，数量可以为一个或多个，所述抓拍摄像机优选采用球机，数量可以为多个。

分析全景视频中相关人物目标的行进方向的方法可以为：采用基于高斯混合模型的自适应背景建模方法进行前景识别，以符合人物特征的前景作为人物目标，对选中的人物目标进行目标跟踪分析，确定相关人物目标的运动轨迹及运动方向。

在目标跟踪分析中，优选用适宜的矩形框住所选中的人物目标，通常还应赋予识别码，以该矩形的中心坐标作为该人物目标的位置坐标。所用矩形的大小应恰好将人物目标框在其中，不过大也不过小，当用矩形框框住或框选其他区域或目标时，亦应依此要求确定矩形的大小。

可以依据下列方式判断人物目标的运动方向：采用曲线拟合方式，将一定时间间隔内人物目标的运动轨迹的曲线拟合成线段，通过坐标差获取该线段的增长方向，该线段向量的方向就是目标的行进方向。

优选的，预先确定各抓拍摄像机的拍摄范围，依据所要抓拍的人物目标的当前位置和行进方向，从拍摄范围覆盖该人物目标当前位置的抓拍摄像机中，筛选出位于该人物目标行进方向前方的一个或多个抓拍摄像机作为执行本次人脸拍摄的摄像机。

可以预先将全景视频的画面划分成纵横排列的网格，对每个网格区域确定能够拍摄该网络内人脸图像的抓拍摄像机，在进行抓拍摄像机筛选时，依据人物目标坐标所在的网络，直接从该网络对应的抓拍摄像机中筛选。

优选地，预先标定抓拍摄像机拍摄人物目标时所采用的相应焦距，具体方式可以为：在全景视频上框选一个体积较大的特征物，驱动所要标定的抓拍摄像机对准该特征物并调整其焦距，直到该特征物占满该抓拍摄像机的显示屏幕，记录该状态下该抓拍摄像机的焦距系数，然后再在全景视频上框选一个体积较小的特征物执行同样的操作，通过调焦使该特征物占满该抓拍摄像机的显示屏幕，记录该状态下该抓拍摄像机的焦距系数，利用线性插值法求解在不同大小特征物的框选下，该抓拍摄像机应设定的焦距系数，以此作为对应情形下进行人脸拍摄的焦距系数。

优选地，对拍摄的人脸图像进行人脸偏转检测(或称人脸正面检测)，选取偏转角度最小的人脸图像作为用于人脸识别的图像。

在已有全部人脸图像都达不到要求时，通常应重新进行该人物目标的人脸拍摄。

优选地，所述人脸偏转检测的方法可以为依据肤色像素的聚类特性，在所拍摄的人脸图像中识别出人脸肤色区域和嘴唇肤色区域，据此判断该人脸图像上的人脸偏转程度。

判断该人脸图像上的人脸偏转程度的具体方式可以为：分别用适宜的矩形框住人脸肤色区域和嘴唇肤色区域，计算出这两个矩形的中心在该人脸图像中的成像平面坐标系中的坐标(X_f,Y_f)和(X_l,Y_l)，依据下列公式计算人脸视角评价函数α:

若人脸图像中的嘴唇区域因过小等原因而无法检测到，则令α＝1。

人脸视角评价函数α的值越小，表明人脸图像中脸部的偏转越小，即人脸视角越佳。

本发明的有益效果是：由于采用人物目标行进前方的摄像机对人物目标的脸部进行拍摄，由此避免了因从人物目标行进后方或侧面拍摄导致无法获得足够的人脸信息的缺陷，在现实中的绝大多数情况下，都能够获得适应于人脸识别的脸部图像，极大地提高了人脸抓拍的成功率和人脸信息的完整性，能够为视频监控的人脸识别提供更有效和更可靠的人脸图像。

附图说明

图1是本发明主要流程的示意图；

图2是在全景视频画面中所设三维空间坐标系的示意图；

图3是对应于图2的局部放大图；

图4是全景视频下人物目标框选和定位的示意图；

图5是球机拍摄有效范围的示意图；

图6是球机与人物目标行进方向相对方位判断的示意图；

图7人脸图像中人脸区域和嘴唇区域框选和相对关系的示意图

具体实施方式

下面结合附图，以全景摄像机采用枪机，抓拍摄像机采用球机为例，对本发明做进一步说明。

如图1-7所示，本发明提供的大场景抓拍人脸方法需要完成球机联动和目标追踪及人脸检测抓拍三大步骤：在监控场景中标定球机的经纬度和标定球机PTZ有效覆盖范围，并利用坐标映射表与拍摄全景视频的枪机坐标系建立映射关系；然后使用全景视频多目标跟踪分析被选中目标在场景中的运动轨迹；最后选择要拍摄的目标人物，根据目标的运动轨迹，分析目标的行进方向，驱动被选中目标覆盖区域前方的球机对被选中目标进行人脸抓拍。

图1给出了本发明的流程图，包括下来各具体的流程步骤。

一.构建场景

本发明提供了经纬度坐标转换空间直角坐标以及空间直角坐标与全景视频映射的方法。

1)场景三维空间建模

将全景视频画面的中心像素点作为场景三维空间建模坐标系(三维直角坐标系)的原点O(如图2和图3所示)，原点O到拍摄全景视频的机组坐标的连线为X轴，景深梯度穿过原点且垂直X轴的直线为Y轴，垂直于平面XOY且过原点直线为Z轴。

2)计算全景视频坐标点到真实监控场景地面的经纬度坐标的映射关系

使用经纬度仪器分别测量在监控场景下枪机和球机的经纬信息，而后在全景视频图像上获取场景内的球机图像坐标，构建一个单应矩阵作为经纬度二维坐标系统的投影变换模型，其中，球机在经纬度二维坐标系统中的经度对应球机在全景图像宽度方向的坐标，纬度对应球机在图像高度方向的坐标，可以认为是将一个经纬度的矩形画面投影到一副等腰梯形的全景视频画面，利用插值法，计算全景摄像机画面坐标点到真实监控场景地面坐标的映射关系，当选中全景摄像机画面上的某一点时，可以获取该点相应的经纬度坐标。

二、运动目标检测

本发明提供了全景视频的运动目标检测方法辅助系统获取运动目标的运动轨迹。采用最流行高斯混合模型(GMM)自适应背景建模方法，首先使用高斯概率密度函数来量化视频中的图像，生成若干个单高斯模型，每个单高斯模型就代表是一个类；而后假设每个像素在时域上符合正态分布，那么就将阈值范围内的像素判定为背景，不符合分布的像素为前景；最后假设当前像素值匹配的模型存在，则将原参数替换为新匹配的模型参数，继续下一帧的分析。

如图4所示，系统分析检测全景视频中的运动目标并用矩形框住整个目标人物，然后计算矩形的中心像素坐标作为当前的位置坐标。

三、球机选取

1)球机工作范围标定

为防止在大场景下拍摄的照片信息模糊无法识别，对已经安装好的球机进行范围标定。如图5所示，范围标定的方法为：以球机为圆心，有效范围半径为聚焦后可以清楚拍到棋盘格标志物的距离为准，该距离即是球机的有效工作半径。当全景视频分析系统检测到目标坐标后，通过视频画面与经纬度之间的映射关系，采用插值法求解该目标的经纬度信息，根据目标经纬度信息，根据经纬度的距离关系和球机有效工作半径，检测覆盖该坐标点的球机。

2)球机对焦

为了能更全面和清晰地拍摄到目标，本发明提供运动目标远距离对焦的方法。首先标定球机的焦距,在全景视频上框选某个体积较大特征物，并驱动球机对准同一特征物并调整焦距直到特征物完全占满球机显示屏幕，记录此刻球机的焦距系数；然后执行同样操作，框选中一个体积较小的特征物，驱动球机对准并调节焦距至该特征物占满整个球机显示界面，并记录该焦距系数；最后利用线性插值法求解在全景视频下不同大小的框选，在球机中应设定相应倍数的焦距值。

3)计算目标行进方向

根据全景视频的运动目标检测方法辅助系统获取运动目标的运动轨迹，利用曲线拟合公式，将3秒前的目标行进轨迹的曲线拟合成线段，通过坐标差获取该线段增长方向，该线段的方向向量就是目标的行进方向；

4)筛选目标行进方向球机

根据上一节球机覆盖范围标定检测出可用的球机的坐标，以目标的当前坐标为起点与所有球机的坐标连线，如图6所示，已知目标当前坐标为M，行进方向是与球机B连接的线段MB的投影是MB1，角α是MB1与目标行进方向的夹角；同理，角β是球机C投影线段与目标进行方向的夹角。若夹角小于90度，说明球机的坐标位于目标行进方向的前方，记录该球机为可用的球机；反之，球机为行进的后方，不符合拍摄要求从而剔除队列；

5)球机拍摄

本发明提供全景视频关联球机的方法，采用网格法把枪机画面均匀地划分成i行j列的网格；控制球机标定每一个网格；全景摄像机机画面分析反馈的结果，对应到球机标定的网格，从而拍摄到目标。

当检测到多个球机都可以拍摄到目标时，对比各个球机的坐标与目标坐标的距离，取前三个较近的球机进行拍摄，将所有球机拍摄的图像上传到人脸分析模块，选出最优角度的图像。

四、人脸正面检测

本发明提供正面检测人脸的方法，在头部肤色结构的方法研究的基础之上，提出拟合人脸唇部颜色聚类，增强检测精准度。肤色是人脸重要的特征之一，它不受人体姿态、面部和人体部分遮挡等影响，且人脸肤色虽多种多样，但在一定的颜色空间内具有良好的聚类特性，即在某一颜色空间，肤色收敛于一个较小的色度区域。通过对不同肤色的多幅人脸图像分析，以及肤色在YCbCr，YCgCb和YCgCr三种色彩空间的聚类特性分析可知，肤色像素在三个不同色彩空间中具有不同的分布特征，因此未能弥补肤色在不同色彩分布的不足，为有效提取肤色像素，应结合肤色像素在上述三种色彩空间中的聚类特性。

1)肤色区域检测

采用线性插值法YCgCb色彩空间，利用人脸肤色在Cg/Cb分量中的聚类特性，初步确定人脸肤色区域，且在Cb-Cr空间中，肤色像素点分布应符合椭圆模型。

2)头部区域检测

根据头部的特征，采用肤色区域外接矩形的长宽比、肤色区域占整个图像的面积比，以及肤色区域内的空洞数来判断人体头部区域。

3)嘴唇区域检测

根据嘴唇色彩特征明显，尤其区别人脸肤色。在归一化的RGB空间中，嘴唇区域的G分量小于人脸区域的平均G分量；而在YCbCr空间中，嘴唇的Cr值略高于人脸肤色的Cr值，由此可将嘴唇从肤色区域中分割。

如图7所示，基于上述人脸肤色分割，获取人脸区域，计算人脸区域的中心坐标(X_f,Y_f)以及嘴唇区域的中心坐标(X_l,Y_l)，则人脸视角的偏转程度可由人脸中心与嘴唇中心的横坐标差值反应，同时，为克服人脸图像分辨率及人脸图像与摄像机距离远近等影响，利用所得嘴唇区域中心的纵坐标进行归一化，即人脸视角评价函数α如下：

函数值越小，表明摄像机所获取的人脸图像偏转越小，即人脸视角越佳。若摄像机所获人脸图像中的嘴唇区域过小等原因而无法检测时，则令α＝1。

五、图片筛选

将所有球机上传的图片逐一进行人脸正面检测分析，每一幅图像可以获取到对应的α值，比较所有的α值，值最小的图像为越贴近正脸的图像，即最优视角下拍摄的图像。

本发明公开的各优选和可选的技术手段，除特别说明外及一个优选或可选技术手段为另一技术手段的进一步限定外，均可以任意组合，形成若干不同的技术方案。

Claims (10)

1.一种利用全景摄像机和多台抓拍摄像机联动抓拍人脸的方法，其特征在于利用全景摄像机获得监控区域的全景视频，分析全景视频中相关人物目标的行进方向，驱动相关人物目标行进前方的抓拍摄像机对人物目标的脸部进行拍摄，以获得适应于人脸识别的人物目标的人脸图像。

2.如权利要求1所述的方法，其特征在于所述全景摄像机采用枪机，数量为一个或多个，所述抓拍摄像机采用球机，数量为多个。

3.如权利要求1所述的方法，其特征在于分析全景视频中相关人物目标的行进方向的方法为：采用基于高斯混合模型的自适应背景建模方法进行前景识别，以符合人物特征的前景作为人物目标，对选中的人物目标进行目标跟踪分析，确定相关人物目标的运动轨迹及运动方向。

4.如权利要求3所述的方法，其特征在于在目标跟踪分析中，用适宜的矩形框住所选中的人物目标，以该矩形的中心坐标作为该人物目标的位置坐标。

5.如权利要求4所述的方法，其特征在于依据下列方式判断人物目标的运动方向：采用曲线拟合方式，将一定时间间隔内人物目标的运动轨迹的曲线拟合成线段，通过坐标差获取该线段的增长方向，该线段向量的方向就是目标的行进方向。

6.如权利要求1所述的方法，其特征在于预先确定各抓拍摄像机的拍摄范围，依据所要抓拍的人物目标的当前位置和行进方向，从拍摄范围覆盖该人物目标当前位置的抓拍摄像机中，筛选出位于该人物目标行进方向前方的一个或多个抓拍摄像机作为执行本次人脸拍摄的摄像机。

7.如权利要求1所述的方法，其特征在于预先标定抓拍摄像机拍摄人物目标时所采用的相应焦距，具体方式为：在全景视频上框选一个体积较大的特征物，驱动所要标定的抓拍摄像机对准该特征物并调整其焦距，直到该特征物占满该抓拍摄像机的显示屏幕，记录该状态下该抓拍摄像机的焦距系数，然后再在全景视频上框选一个体积较小的特征物执行同样的操作，通过调焦使该特征物占满该抓拍摄像机的显示屏幕，记录该状态下该抓拍摄像机的焦距系数，利用线性插值法求解在不同大小特征物的框选下，该抓拍摄像机应设定的焦距系数，以此作为对应情形下进行人脸拍摄的焦距系数。

8.如权利要求1-7任一所述的方法，其特征在于对拍摄的人脸图像进行人脸偏转检测，选取偏转角度最小的人脸图像作为用于人脸识别的图像，在已有全部人脸图像都达不到要求时，重新进行该人物目标的人脸拍摄。

9.如权利要求8所述的方法，其特征在于所述人脸偏转检测的方法为依据肤色像素的聚类特性，在所拍摄的人脸图像中识别出人脸肤色区域和嘴唇肤色区域，据此判断该人脸图像上的人脸偏转程度。

10.如权利要求9所述的方法，其特征在于判断该人脸图像上的人脸偏转程度的具体方式为：分别用适宜的矩形框住人脸肤色区域和嘴唇肤色区域，计算出这两个矩形的中心在该人脸图像中的成像平面坐标系中的坐标(X_f,Y_f)和(X_l,Y_l)，依据下列公式计算人脸视角评价函数α:

若人脸图像中的嘴唇区域无法检测到，则令α＝1，

人脸视角评价函数α的值越小，表明人脸图像中脸部的偏转越小，即人脸视角越佳。