CN103761514A - 基于广角枪机和多球机实现人脸识别的系统及方法 - Google Patents
基于广角枪机和多球机实现人脸识别的系统及方法 Download PDFInfo
- Publication number
- CN103761514A CN103761514A CN201410037796.8A CN201410037796A CN103761514A CN 103761514 A CN103761514 A CN 103761514A CN 201410037796 A CN201410037796 A CN 201410037796A CN 103761514 A CN103761514 A CN 103761514A
- Authority
- CN
- China
- Prior art keywords
- camera
- wide
- angle
- face recognition
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000001514 detection method Methods 0.000 claims abstract description 52
- 238000012544 monitoring process Methods 0.000 claims abstract description 31
- 238000004364 calculation method Methods 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 238000005286 illumination Methods 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 14
- 238000010606 normalization Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 238000009434 installation Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 230000001815 facial effect Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明涉及一种基于广角枪机和多球机实现人脸识别的系统及方法,系统包括广角枪机,用以在广角枪机图像中进行行人检测和行人空间位置的计算;数个球机,用以根据目标行人的位置由位置对应的球机对目标行人进行实时跟踪和人脸图像提取;服务器,用以根据广角枪机确定的目标行人位置将跟踪任务实时分配到位置对应的球机,以及利用球机提取的人脸图像进行人脸识别。采用该种基于广角枪机和多球机实现人脸识别的系统及方法,解决了重点场所实时视频监控环境下的人脸识别问题,通过一个广角枪机和多球机的协同工作,实现在实时监控环境下人脸识别的准确率和可用性,提升了用于监控和安防等领域的实用性,具有更广泛的应用范围。
Description
技术领域
本发明涉及计算机图像识别领域,尤其涉及计算机视觉和模式识别领域,具体是指一种基于广角枪机和多球机实现人脸识别的系统及方法。
背景技术
人脸识别作为生物特征最为重要的任务之一,其目的是通过已经登记好的人脸数据库来自动识别或者确认输入静态图像或者动态视频图像中人的身份。通常一个人脸识别系统主要包含:人脸检测及追踪、人脸对齐、特征提取和特征匹配四个主要部分,如图3所示。
过去几十年,随着计算机硬件技术以及图像处理、模式识别、计算机视觉等相关领域技术的发展,人脸识别的研究取得了巨大的进步,目前在可控环境下的人脸识别算法研究已经非常完善,在公共安全、门禁系统、犯罪预防和检测、边境安全、娱乐和社交网络等方面也得到了广泛的应用。
近年来视频监控的应用越来越广泛和普及,在社会生活的各个角落,摄像头随处可见。然而,在实际的视频监控应用中,人脸识别的应用面临着各种挑战问题,其中,人脸图像质量差是实际视频监控中常见的而一个问题,而人脸图像质量不够好直接影响其可用性及识别准确性。以Honda人脸数据库和YouTube Celebrities人脸数据库为例,其中Honda人脸数据库是在一个背景简单并且近距离情况下拍摄的视频,在此数据库上的人脸识别率可以达到100%。YouTube Celebrities人脸数据库是通过在YouTube上搜集一些名人采访视频得到,其背景相对比较复杂,图像质量由于高压缩等原因也相对较低,从而导致在此数据库上的识别率还不到70%。另外,光照、姿势、遮挡、佩戴饰物等各种因素的影响会带来识别率的明显下降。
此外,视频监控的发展,促进了视频监控环境下行人检测、人脸检测和协同跟踪等技术的发展。如专利201310043922.6给出了一种监控视频行人检测匹配方法,专利200810025611.6发明了一种基于视频的行人人脸检测与跟踪算法,专利201110336397.8发明了一种无盲区多目标协同跟踪方法及系统,其采用球机与枪机协作,交互运动目标信息,在统一的监控画面中进行无盲区显示,可以实现所有角落的监控。然而,这些专利都还没有涉及到综合广角枪击和多球机的人脸识别问题。
发明内容
本发明的目的是克服了上述现有技术的缺点,提供了一种能够实现解决重点场所实时视频监控环境下的人脸识别问题、有效克服传统视频监控环境下人脸图像质量差的问题、提高监控环境下的人脸识别精度、具有更广泛应用范围的基于广角枪机和多球机实现人脸识别的系统及方法。
为了实现上述目的,本发明的基于广角枪机和多球机实现人脸识别的系统及方法具有如下构成:
该基于广角枪机和多球机实现人脸识别的系统,其主要特点是,所述的系统包括:
广角枪机,用以在广角枪机图像中进行行人检测和行人空间位置计算;
数个球机,用以根据目标行人的位置由位置对应的球机对目标行人进行实时跟踪和人脸图像提取;
服务器,用以根据广角枪机确定的目标行人位置将跟踪任务实时分配到位置对应的球机,以及利用球机提取的人脸图像进行人脸识别。
本发明还涉及一种通过所述的系统基于广角枪机和多球机实现人脸识别的方法,其特征在于,所述的方法包括以下步骤:
(1)所述的广角枪机对监控图像进行行人检测;
(2)所述的广角枪机根据枪机安装位置和行人检测结果确定目标行人在空间中的位置;
(3)所述的服务器根据目标行人所在的位置实时将跟踪任务分配给对应的各个球机;
(4)多球机对多目标跟踪和人脸图像提取,当出现重点目标时,执行多球机跟踪任务并对目标行人进行人脸图像的提取;
(5)所述的服务器对提取的人脸图像进行人脸识别。
较佳地,所述的广角枪机对监控图像进行行人检测,包括以下步骤:
(11)对所述的广角枪机图像进行光照归一化处理;
(12)训练多尺度模型;
(13)利用所述的多尺度模型对所述的图像中的行人采用分支界定算法进行检测。
更佳地,所述的光照归一化处理,包括以下步骤:
(111)通过对数变化或伽马矫正方法提高所述的广角枪机图像灰度级的动态范围;
(112)通过带通滤波器降低所述的图像中光照和噪声的影响;
(113)对所述的图像灰度的对比度进行归一化处理。
较佳地,所述的根据枪机安装位置和行人检测结果确定目标行人在空间中的位置,包括以下步骤:
(21)根据目标行人在枪机图像中的位置、所述的广角枪机的倾斜角、焦距和离地高度值确定目标行人在空间中的实际位置。
较佳地,所述的执行多球机跟踪任务和人脸图像提取,包括以下步骤:
(41)执行跟踪任务的球机根据目标行人的位置通过平移、旋转和变焦变换调整至最佳观测位置后进行目标行人的跟踪;
(42)执行跟踪任务的球机在跟踪过程中根据目标行人的位置实时调整PTZ自适应参数;
(43)针对监控场景中的重点目标,执行多球机协同跟踪,所述的服务器根据目标行人的运动轨迹调整对应位置的球机为新的执行跟踪任务的球机;
(44)执行任务的球机对目标行人的人脸图像进行抓拍保存。
较佳地,所述的人脸识别,包括以下步骤:
(51)在行人跟踪图像中进行人脸检测,如果检测到含有人脸,则继续步骤(52),否则返回提示未检测到人脸;
(52)对检测到人脸图像进行人脸识别。
更佳地,所述的人脸检测,具体为:
利用基于Harr-Like特征、LBP特征和Weberface特征训练好的Adaboost分类器进行人脸检测。
更佳地,所述的人脸识别,具体为:
对检测到的人脸图像采用基于多关键点描述子的图像集人脸识别方法进行人脸识别。
采用了该发明中的基于广角枪机和多球机实现人脸识别的系统及方法,具有如下有益效果:
针对现有人脸识别技术在视频监控环境应用中所存在的问题,提供了一种网络架构内基于广角枪机和多个球机的人脸识别系统。该系统能有效克服传统视频监控环境下人脸图像质量差的问题,同时能够提取一个人脸图像集来实现精确人脸识别任务。本发明可用于解决重点场所实时视频监控环境下的人脸识别问题,通过一个广角枪机和多球机的协同工作,通过目标位置信息共享和球机视场主动调度,提高了在实时监控环境下提取的人脸图像的质量,实现在实时监控环境下人脸识别的准确率和可用性,提升了用于监控和安防等领域的实用性,具有更广泛的应用范围。
附图说明
图1为本发明的基于广角枪机和多球机实现人脸识别的系统的结构示意图。
图2为本发明的基于广角枪机和多球机实现人脸识别的方法的流程图。
图3为人脸识别的流程图。
图4为本发明的广角枪机和多球机组合的结构示意图。
图5为本发明的行人检测过程流程图。
图6为本发明的多球机协同目标跟踪流程图。
图7为本发明的人脸检测算法流程图。
图8为本发明的基于多关键点描述子的图像集人脸识别方法的流程图。
图9为本发明的基于广角枪机和两个球机应用于实施例的人脸识别示意图。
具体实施方式
为了能够更清楚地描述本发明的技术内容,下面结合具体实施例来进行进一步的描述。
针对目前视频监控以标清摄像机居多,高清摄像机少的特点,为了实现在重点区域的精确人脸识别任务,我们提出一种网络架构内基于广角枪机和多个球机的人脸识别解决方案。首先,在广角枪机拍摄的全景标清图像中进行行人检测;其次,通过目标行人在图像中的位置以及数字测量的方法,计算行人在空间中的实际位置,并把其通过IP局域网内信息广播机制共享给各球机;再次,各球机依据目标的位置进行跟踪和人脸检测;最后,通过提取的人脸图像进行目标身份识别。
如图1,本发明的基于广角枪机和多球机实现人脸识别的系统包括:
广角枪机,用以在广角枪机图像中进行行人检测和行人空间位置计算;
数个球机,用以根据目标行人的位置由位置对应的球机对目标行人进行实时跟踪和人脸图像提取;
服务器,用以根据广角枪机确定的目标行人位置将跟踪任务实时分配到位置对应的球机,以及利用球机提取的人脸图像进行人脸识别。
本发明通过视频监控系统构建、行人检测、位置信息共享、行人跟踪、人脸检测以及基于图像集的人脸识别等方法,来实现视频监控环境下的精确人脸识别任务。
参见图2,其所示为本发明提出的网络架构内广角枪机和多球机的人脸识别流程图,该方法包括如下步骤:
步骤1、广角枪机和多球机的视频监控框架系统构建
为了保证可以提取质量足够好的人脸图像,我们建立广角枪机和多球机相结合的视频监控系统,如图4所示。此系统包含一个广角枪机和多个球机,它们分别通过IP局域网和计算机相连,每个摄像机上的信息都可以通过IP局域网传送给计算机,然后计算机再把信息共享给每一个摄像机。
步骤2、行人检测
行人检测是智能视频监控系统中的一个重要研究课题,其目标是在拍摄视频中得到行人在每帧图像中的位置。行人检测面临的是一个开放的环境,除了具有一般的服饰、姿势等变化外,还要考虑不同的路况、天气和光线的变化,对算法的鲁棒性提出了很高的要求。另外,实时性也是系统必须满足的要求,这就需要算法的复杂度不能太高。
针对上面的问题,首先,我们提出一种预处理方法来提高算法,对光线、噪声等的鲁棒性,其次,在算法的效率方面,我们提出融合多尺度模型和分支定界方法来提高行人检测的速度。
具体做法如下:
(1)光照预处理
通过一系列预处理方法对输入的图像集进行光照归一化处理,我们拟借鉴并综合一些经典的光照预处理方法来建立一个全面的光照归一化框架:1)通过对数变换或者伽玛矫正等处理方法来提高输入图像灰度级的动态范围;2)通过带通滤波器(高斯差分滤波器)降低光照和噪声的影响。由于光照变化主要影响图像的低频成分,而噪声一般对应图像的高频成份,所以通过减弱图像的高频和低频分量,可以得到对光照和噪声鲁棒的特征表达;3)图像灰度的对比度进行归一化处理。具体流程图参照图5中的光照归一化处理过程。
(2)尺度模型训练
目标检测的任务需要返回目标的位置和尺度。一种最直接的方法就是遍历所有的位置和尺度进行目标搜寻,通常是通过两种方式来实现,一是通过训练一个标准模板和变化图像的尺度来实现。二是,通过训练所有可能的尺度模板来实现。然而这么做会分别存在如下两个问题,一是标准模板的训练比较困难;二是图像尺度的变化需要图像特征的重新计算。
由于在不同尺度下,图像的特征表达会受到影响,比如在小尺度目标会比较模糊,大尺度目标会相对清晰。为此,我们采用FPDW(Fast Pedestrian Detector in the West,快速行人检测器)方法来计算需要训练的模型尺度。这样做可以大大减少了尺度模型的计算,从而提高了行人检测的速度。
(3)分支界定搜索
得到多尺度模型之后,需要分别用每个模型在输入图像中的行人进行检测。为了更进一步提高检测的效率,我们采用分支界定的方法进行目标搜寻。
步骤3、广角枪机中行人位置的计算和共享
(1)广角枪机中行人位置计算
通过上述行人检测,可以知道行人目标在枪机图像中的位置,另外,枪机的倾斜角、焦距和离地高度值也是预先知道的,假设枪机图像的尺度比(像素比)为1,歪斜角为0,光轴位于图像中心,忽略镜头扭曲、畸变,通过数字测量的方法,可以计算行人在空间中的实际位置.
(2)行人位置共享
在基于一个广角枪机和多个球机的监控方案中,枪机和球机的安装位置都是固定的并通过IP局域网相互连接,在计算目标的空间位置后,可以把此位置信息通过局域网架构下的广播机制传递给个球机。
步骤4、行人跟踪
为了实现对检测到行人的跟踪任务,建立一种基于网络架构的多球机跟踪方法。首先,在多球机条件下,根据检测行人的位置信息对各球机的跟踪任务进行分配;其次,各球机对分配的行人目标进行PTZ自动跟踪和人脸图像提取,为后续的人脸识别做准备。此外,为了实现对监控场景中重点目标的全面跟踪,还增加了多球机协同跟踪方案实现对重点目标的全面跟踪。(1)任务分配
此过程根据各球机的安装信息,将对检测到行人的跟踪任务分别分配给最优位置的球机。由于检测到行人个数的不确定性,分以下情况进行任务分配:
当检测到行人的个数小于等于球机的个数时,根据各目标的位置信息以及各球机的安装位置,把对每个行人目标的跟踪任务分配给最优位置的球机;
当检测到行人的个数大于球机个数时,根据检测目标在枪机图像中的大小,选取比较大的目标进行跟踪,选取的个数和球机个数一样。
当监控场景中出现需要全面跟踪的重点目标时,将跟踪任务首先分配给最优位置的球机;其次,根据目标的实时运动轨迹的共享,实现多球机协同跟踪任务的交接。
(2)单球机PTZ自动跟踪和人脸图像提取
通过枪机图像中的行人目标检测以及服务器对球机的跟踪任务分配,被选中的球机摄像头(设为C1)首先根据服务器发送过来的信息做相应的平移,旋转和变焦等变换,以保证被跟踪的行人在C1拍摄图像中的位置和大小适中。接下来就是如何实现在C1中的目标跟踪问题,对此我们采用Mean-Shift(均值偏移)跟踪算法。
由于目标行人是运动的,如果固定球机的PTZ(Pan/Tilt/Zoom,云台全方位控制)参数不变,目标在图像中的大小就会发生变化,然而我们在跟踪的同时还希望能够提取高质量的人脸图像,所以需要保证目标行人在图像中不能太小。对此,我们增加了PTZ自适应参数变化的过程,具体来说就是在稳定跟踪的基础上,通过行人的运动轨迹自动调整球机的方向和缩放变化,以保证跟踪的行人在图像中的位置和大小都适中。另外,由于身份识别是我们最终的目标,所以在球机摄像头跟踪的过程中,我们还对人脸图像进行了抓拍保存,为后续人脸识别做准备。
此外,针对监控视频中出现的重点目标,我们提出通过多球机协同跟踪方案,实现对监控场景中重点目标的全面跟踪,具体做法如下:
(1)目标运动信息共享
通过步骤1中的目标跟踪,可以得到行人目标的运动轨迹,由于各摄像机之间通过IP局域网相互连接,通过对行人运动轨迹的分析,可以把行人的运动轨迹等信息发送给服务器。服务器又可以通过IP网络把这些信息及时更新给其它的球机摄像头。剩下的球机摄像头根据服务器反馈的信息做相应的调整,从而可以更好的实现目标的完整跟踪。
(2)不同摄像头下的行人目标跟踪任务交接
此步骤的目的是完成当前摄像头到下一摄像头的跟踪任务交接,为此,我们提出一种新的基于外观和人脸模型的目标交接算法。
(3a)基于外观模型的目标交接
此处我们只对目标行人提取一些简单的特征信息,分别是颜色,轮廓、和位置等。不过,在提取行人外观特征的同时,通过变化球机摄像头的参数,还对行人的人脸图像信息进行了抓拍,这其中还涉及到步骤4中的人脸检测技术。
(4)基于人脸图像的行人目标交接
为了更加准确的对行人目标交接,对抓拍到的人脸图像进行匹配确认,如果能确认同一个人,则得到了行人目标在不同摄像头下的对应关系。从而完成不同球机间目标行人跟踪任务的交接。
通过多球机协同跟踪,可以解决两大方面的问题:1)获取更大范围的监控,单球机即使具有运动镜头(PTZ)功能,拍摄空间仍然会受到限制,多球机监控可以直接扩大监控系统的监控范围;2)增强监控系统的主动跟踪能力,使监控具有智能化特征,根据对图像中目标轨迹分析和信息共享,可以对系统中其他球机进行调度,以更好管理监控系统中各智能摄像机之间的信息交互、共享、协作等问题。
步骤5、人脸检测
人脸检测是指对于任意一幅给定的图像,采用一定的策略对其进行搜索以确定其中是否含有人脸,如果是则返回人脸的位置、大小和姿态。
人脸检测是一个复杂的具有挑战性的模式检测问题,其主要的难点有两方面,一方面是由于人脸内在的变化所引起:比如表情、肤色、遮挡等变化;另外一方面由于外在条件变化所引起:如姿势、光照等变化;针对以上两个难点,我们提出一种改进的基于多特征融合的Adboost的人脸检测算法,如图7所示。Adaboost是一种迭代算法,其核心思想是针对同一个训练集训练不同的分类器(弱分类器),然后把这些弱分类器集合起来,构成一个更强的最终分类器(强分类器)。具体做法如下:
(1)提取人脸Harr-like、LBP(Local Binary Patterns,局部二值模式)和Weber(韦伯局部特征)人脸特征,其中使用“积分图”实现Harr-like特征数值的快速计算;
(2)针对每类特征,使用Adaboost算法训练一些弱分类器,然后分别按照加权投票的方式将弱分类器构造为一个强分类器;
(3)将训练得到的若干强分类器串联组成一个级联结构的层叠分类器,级联结构能有效地提高分类器的检测速度;
(4)采用融合算法把四个层叠分类器的结果进行融合,从而得到最终的分类器。
步骤6、基于图像集的人脸识别
在实时视频监控环境下,人脸图像是在当事人不知情也没有配合的情形下拍摄得到的,此种情况下拍摄的人脸图像通常存在较大的视角差异或者遮挡等变化,所以如果拿在可控环境下设计的人脸识别算法应用在不可控环境下获取的人脸图像识别,其性能将会大幅下降。考虑到在一个图像集上可以提取更多的信息,发展基于图像集的人脸识别算法以解决不可控环境下的人脸识别问题。在基于图像集的人脸识别方法设计中,有两个关键问题,一是图像集表示,二是相似性度量。针对非对齐和遮挡两个常见问题,我们提出一种基于多关键点描述子的图像集人脸识别方法,在图像集表示方面,通过多关键点描述子和基于密度的聚类算法,发展一种对非对齐鲁棒的图像集表示方法;在相似性度量方面,通过匹配和类-类距离的计算,发展一种对遮挡鲁棒的相似性度量方法,具体做法如下(如图8所示):
(1)图像集合表示
a)关键点检测和特征描述子的计算
多关键点描述子也称为稀疏的局部特征描述子,其计算共包含关键点检测和局部特征描述两个方面。由于多关键点描述子的稀疏性、重复性和相互独立性,适合用于解决在遮挡和非对齐条件下的人脸识别问题。
特别的,在关键点检测上,我们采用DoG算子进行特征点检测;DoG算子是由Lowe D.G.提出的算子,对噪声、尺度、仿射变化和旋转等具有很强的鲁棒性,能够提供更丰富的局部特征信息。在特征描述子方面,我们采用梯度方向直方图以及Weber算子来描述关键点周围局部邻域特征。
(2)基于密度的聚类
为了去除不一致关键点对识别决策的影响,我们通过基于密度的聚类算法来提取一致关键点描述子:i)给定邻域∈的大小,计算每个特征描述子∈邻域内描述子个数;ii)根据描述子∈邻域的大小,将其分为核心点和边界点,保留核心点,去除边界点;iii)对每个核心点,根据邻接关系采用基于区域的生长方法来生成聚类。此聚类结果同时也是后面距离计算的基础。
(3)图像集相似性度量
通过上述计算得到每个图像集的聚类表达之后,图像集之间的距离计算转化为聚类集合之间的计算:i)为了能够处理遮挡变化的问题,通过聚类中心的匹配去除遮挡区域对距离计算得影响;ii)使用Hausdorff距离计算方法计算匹配聚类之间的距离,Hausdorff距离是描述两组点集之间相似程度的一种量度,它是两个点集之间距离的一种定义形式;iii)计算所有匹配聚类的平均距离作为两个聚类集合的距离。
根据以上描述,可知本发明的基于广角枪机和多球机实现人脸识别的方法包括以下步骤:
(1)所述的广角枪机对监控图像进行行人检测;
进一步包括以下三个子步骤:
(11)对所述的广角枪机图像进行光照归一化处理;
(12)训练多尺度模型;
(13)利用所述的多尺度模型对所述的图像中的行人采用分支界定算法进行检测。
(2)所述的广角枪机根据枪机安装位置和行人检测结果确定目标行人在空间中的位置;
(21)根据目标行人在枪机图像中的位置、所述的广角枪机的倾斜角、焦距和离地高度值确定目标行人在空间中的实际位置。
(3)所述的服务器根据目标行人所在的位置实时将跟踪任务分配给对应的各个球机;
(4)多球机对多目标跟踪和人脸图像提取,当出现重点目标时,执行多球机跟踪任务并对目标行人进行人脸图像的提取;
(41)执行跟踪任务的球机根据目标行人的位置通过平移、旋转和变焦调整至最佳观测位置后进行目标行人的跟踪;
(42)执行跟踪任务的球机在跟踪过程中根据目标行人的位置实时调整PTZ自适应参数;
(43)针对监控场景中的重点目标,执行多球机协同跟踪,所述的服务器根据目标行人的运动轨迹调整对应位置的球机为新的执行跟踪任务的球机;
(44)执行任务的球机对目标行人的人脸图像进行抓拍保存。
(5)所述的服务器对提取的人脸图像进行人脸识别。
具体包括以下两个子步骤:
(51)在行人跟踪图像中进行人脸检测,如果检测到含有人脸,则继续步骤(52),否则返回提示未检测到人脸;
(52)对检测到人脸图像进行人脸识别。
所述的人脸检测,具体为:
利用基于Harr-Like特征、LBP特征和Weberface特征训练好的Adaboost分类器进行人脸检测。
所述的人脸识别,具体为:
对检测到的人脸图像采用基于多关键点描述子的图像集人脸识别方法进行人脸识别。
下面通过一具体实施例案来进一步说明本方法:
本例实施例案将一路枪机和两路球机按照RSTP协议安装在某区域,参见图9,由监视录像获得原始场景范围非常的大,若直接利用原始场景进行人脸检测和识别的准确性将会受到很大影响。
由此,本实例首先在枪机图像中进行行人检测。
然后,通过IP网络和摄像头的标定实时地将行人的空间位置信息共享给各球机。各球机通过PTZ变换和信息的共享实现对目标行人的跟踪和人脸图像的提取。
接着,采用基于多关键点描述子的图像集人脸识别方法,实现人脸识别的目标。
采用了该发明中的基于广角枪机和多球机实现人脸识别的系统及方法,具有如下有益效果:
针对现有人脸识别技术在视频监控环境应用中所存在的问题,提供了一种网络架构内基于广角枪机和多个球机的人脸识别系统。该系统能有效克服传统视频监控环境下人脸图像质量差的问题,同时能够提取一个人脸图像集来实现精确人脸识别任务。本发明可用于解决重点场所实时视频监控环境下的人脸识别问题,通过一个广角枪机和多球机的协同工作,通过目标位置信息共享和球机视场主动调度,提高了在实时监控环境下提取的人脸图像的质量,实现在实时监控环境下人脸识别的准确率和可用性,提升了用于监控和安防等领域的实用性,具有更广泛的应用范围。
在此说明书中,本发明已参照其特定的实施例作了描述。但是,很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此,说明书和附图应被认为是说明性的而非限制性的。
Claims (9)
1.一种基于广角枪机和多球机实现人脸识别的系统,其特征在于,所述的系统包括:
广角枪机,用以在广角枪机图像中进行行人检测和行人空间位置计算;
数个球机,用以根据目标行人的位置由位置对应的球机对目标行人进行实时跟踪和人脸图像提取;
服务器,用以根据广角枪机确定的目标行人位置将跟踪任务实时分配到位置对应的球机,以及利用球机提取的人脸图像进行人脸识别。
2.一种通过权利要求1所述的基于广角枪机和多球机实现人脸识别的方法,其特征在于,所述的方法包括以下步骤:
(1)所述的广角枪机对监控图像进行行人检测;
(2)所述的广角枪机根据枪机安装位置和行人检测结果确定目标行人在空间中的位置;
(3)所述的服务器根据目标行人所在的位置实时将跟踪任务分配给对应的各个球机;
(4)多球机对多目标跟踪和人脸图像提取,当出现重点目标时,执行多球机跟踪任务并对目标行人进行人脸图像的提取;
(5)所述的服务器对提取的人脸图像进行人脸识别。
3.根据权利要求2所述的基于广角枪机和多球机实现人脸识别的方法,其特征在于,所述的广角枪机对监控图像进行行人检测,包括以下步骤:
(11)对所述的广角枪机图像进行光照归一化处理;
(12)训练多尺度模型;
(13)利用所述的多尺度模型对所述的图像中的行人采用分支界定算法进行检测。
4.根据权利要求3所述的基于广角枪机和多球机实现人脸识别的方法,其特征在于,所述的光照归一化处理,包括以下步骤:
(111)通过对数变化或伽马矫正方法提高所述的广角枪机图像灰度级的动态范围;
(112)通过带通滤波器降低所述的图像中光照和噪声的影响;
(113)对所述的图像灰度的对比度进行归一化处理。
5.根据权利要求2所述的基于广角枪机和多球机实现人脸识别的方法,其特征在于,所述的根据枪机安装位置和行人检测结果确定目标行人在空间中的位置,包括以下步骤:
(21)根据目标行人在枪机图像中的位置、所述的广角枪机的倾斜角、焦距和离地高度值确定目标行人在空间中的实际位置。
6.根据权利要求2所述的基于广角枪机和多球机实现人脸识别的方法,其特征在于,所述的执行多球机跟踪任务和人脸图像提取,包括以下步骤:
(41)执行跟踪任务的球机根据目标行人的位置通过平移、旋转和变焦变换调整至最佳观测位置后进行目标行人的跟踪;
(42)执行跟踪任务的球机在跟踪过程中根据目标行人的位置实时调整PTZ自适应参数;
(43)针对监控场景中的重点目标,执行多球机协同跟踪,所述的服务器根据目标行人的运动轨迹调整对应位置的球机为新的执行跟踪任务的球机;
(44)执行任务的球机对目标行人的人脸图像进行抓拍保存。
7.根据权利要求2所述的基于广角枪机和多球机实现人脸识别的方法,其特征在于,所述的人脸识别,包括以下步骤:
(51)在行人跟踪图像中进行人脸检测,如果检测到含有人脸,则继续步骤(52),否则返回提示未检测到人脸;
(52)对检测到人脸图像进行人脸识别。
8.根据权利要求7所述的基于广角枪机和多球机实现人脸识别的方法,其特征在于,所述的人脸检测,具体为:
利用基于Harr-Like特征、LBP特征和Weberface特征训练好的Adaboost分类器进行人脸检测。
9.根据权利要求7所述的基于广角枪机和多球机实现人脸识别的方法,其特征在于,所述的人脸识别,具体为:
对检测到的人脸图像采用基于多关键点描述子的图像集人脸识别方法进行人脸识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410037796.8A CN103761514B (zh) | 2014-01-26 | 2014-01-26 | 基于广角枪机和多球机实现人脸识别的系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410037796.8A CN103761514B (zh) | 2014-01-26 | 2014-01-26 | 基于广角枪机和多球机实现人脸识别的系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103761514A true CN103761514A (zh) | 2014-04-30 |
CN103761514B CN103761514B (zh) | 2017-08-29 |
Family
ID=50528750
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410037796.8A Active CN103761514B (zh) | 2014-01-26 | 2014-01-26 | 基于广角枪机和多球机实现人脸识别的系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103761514B (zh) |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104506819A (zh) * | 2015-01-06 | 2015-04-08 | 成都新舟锐视科技有限公司 | 一种多摄像头实时联动的互反馈跟踪系统及方法 |
CN104902224A (zh) * | 2015-04-30 | 2015-09-09 | 苏州华兴致远电子科技有限公司 | 图像数据采集的方法和系统 |
CN105979210A (zh) * | 2016-06-06 | 2016-09-28 | 深圳市深网视界科技有限公司 | 一种基于多枪多球摄像机阵列的行人识别系统 |
WO2017000816A1 (zh) * | 2015-06-30 | 2017-01-05 | 芋头科技(杭州)有限公司 | 一种面部识别系统及面部识别方法 |
CN106713960A (zh) * | 2017-02-23 | 2017-05-24 | 郝建 | 网络机顶盒 |
CN106897678A (zh) * | 2017-02-08 | 2017-06-27 | 中国人民解放军军事医学科学院卫生装备研究所 | 一种结合心跳信号的远程人脸识别方法、装置和系统 |
CN107316463A (zh) * | 2017-07-07 | 2017-11-03 | 深圳市诺龙技术股份有限公司 | 一种车辆监控的方法和装置 |
CN107948946A (zh) * | 2017-11-09 | 2018-04-20 | 南京南自信息技术有限公司 | 一种工业场所高精度人员定位球型摄像机跟踪方法 |
CN108055498A (zh) * | 2018-01-19 | 2018-05-18 | 深圳市乐华数码科技有限公司 | 一种用于远真视频会议的显示摄像一体设备 |
CN108062115A (zh) * | 2018-02-07 | 2018-05-22 | 成都新舟锐视科技有限公司 | 一种基于云台控制技术的多目标连续跟踪系统及方法 |
CN108174152A (zh) * | 2017-12-28 | 2018-06-15 | 深圳英飞拓科技股份有限公司 | 一种目标监控方法及目标监控系统 |
CN108230348A (zh) * | 2016-12-22 | 2018-06-29 | 杭州海康威视数字技术股份有限公司 | 一种目标跟踪方法及装置 |
CN108419014A (zh) * | 2018-03-20 | 2018-08-17 | 北京天睿空间科技股份有限公司 | 利用全景摄像机和多台抓拍摄像机联动抓拍人脸的方法 |
CN108647620A (zh) * | 2018-05-03 | 2018-10-12 | 武汉科技大学 | 一种基于伽马变换的韦伯人脸的光照归一化方法 |
CN108900758A (zh) * | 2018-09-07 | 2018-11-27 | 厦门博聪信息技术有限公司 | 一种枪球协作的智能人脸抓拍摄像机及其人脸抓拍方法 |
CN109034030A (zh) * | 2018-07-17 | 2018-12-18 | 深圳市巨龙创视科技有限公司 | 一种基于嵌入式多轨迹人脸识别统计算法 |
CN109740577A (zh) * | 2019-02-28 | 2019-05-10 | 南京信息工程大学 | 一种基于树莓派的实时人脸重识别摄像系统及其调试方法 |
CN109922250A (zh) * | 2017-12-12 | 2019-06-21 | 杭州海康威视数字技术股份有限公司 | 一种目标对象抓拍方法、装置及视频监控设备 |
CN109982030A (zh) * | 2017-12-27 | 2019-07-05 | 杭州海康威视数字技术股份有限公司 | 一种目标对象抓拍方法、装置、视频监控设备及存储介质 |
CN110008811A (zh) * | 2019-01-21 | 2019-07-12 | 北京工业职业技术学院 | 人脸识别系统及方法 |
CN110581979A (zh) * | 2018-06-08 | 2019-12-17 | 杭州海康威视数字技术股份有限公司 | 一种图像采集系统、方法及装置 |
CN110609576A (zh) * | 2019-09-26 | 2019-12-24 | 浙江大华技术股份有限公司 | 一种云台控制方法、装置、系统、控制设备及存储介质 |
CN110956095A (zh) * | 2019-11-12 | 2020-04-03 | 湖南大学 | 一种基于角点肤色检测的多尺度人脸检测方法 |
CN112351200A (zh) * | 2020-10-13 | 2021-02-09 | 深圳英飞拓科技股份有限公司 | 一种枪球智能摄像机联动抓拍实现方法及系统 |
CN113011258A (zh) * | 2021-02-08 | 2021-06-22 | 深圳英飞拓科技股份有限公司 | 一种对象监控跟踪方法、装置及电子设备 |
WO2021204298A1 (zh) * | 2020-04-10 | 2021-10-14 | 华为技术有限公司 | 一种拍摄方法、装置及系统 |
CN114630047A (zh) * | 2022-03-03 | 2022-06-14 | 北京佳服信息科技有限公司 | 一种多球机调用方法、装置、设备及可读存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2003280516A1 (en) * | 2002-07-01 | 2004-01-19 | The Regents Of The University Of California | Digital processing of video images |
CN102447835A (zh) * | 2011-10-29 | 2012-05-09 | 合肥博微安全电子科技有限公司 | 无盲区多目标协同跟踪方法及系统 |
CN102497543A (zh) * | 2012-01-06 | 2012-06-13 | 合肥博微安全电子科技有限公司 | 一种基于dsp的多目标跟踪方法及系统 |
CN202979160U (zh) * | 2012-12-14 | 2013-06-05 | 安徽水天信息科技有限公司 | 基于全景点智能视频监控的机场跑道监控系统 |
CN103198487B (zh) * | 2013-04-15 | 2016-05-25 | 厦门博聪信息技术有限公司 | 一种用于视频监控系统中的自动定标方法 |
CN203279057U (zh) * | 2013-05-21 | 2013-11-06 | 石家庄华平信息技术有限公司 | 多目标智能跟踪锁定监控系统 |
-
2014
- 2014-01-26 CN CN201410037796.8A patent/CN103761514B/zh active Active
Cited By (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104506819B (zh) * | 2015-01-06 | 2018-06-15 | 成都新舟锐视科技有限公司 | 一种多摄像头实时联动的互反馈跟踪系统及方法 |
CN104506819A (zh) * | 2015-01-06 | 2015-04-08 | 成都新舟锐视科技有限公司 | 一种多摄像头实时联动的互反馈跟踪系统及方法 |
CN104902224A (zh) * | 2015-04-30 | 2015-09-09 | 苏州华兴致远电子科技有限公司 | 图像数据采集的方法和系统 |
US20180121714A1 (en) * | 2015-06-30 | 2018-05-03 | Yutou Technology (Hangzhou) Co., Ltd. | Face recognition system and face recognition method |
US10438056B2 (en) | 2015-06-30 | 2019-10-08 | Yutou Technology (Hangzhou) Co., Ltd. | Face recognition system and face recognition method |
JP2018525718A (ja) * | 2015-06-30 | 2018-09-06 | ユウトウ・テクノロジー(ハンジョウ)・カンパニー・リミテッド | 顔認識システム及び顔認識方法 |
WO2017000816A1 (zh) * | 2015-06-30 | 2017-01-05 | 芋头科技(杭州)有限公司 | 一种面部识别系统及面部识别方法 |
CN105979210A (zh) * | 2016-06-06 | 2016-09-28 | 深圳市深网视界科技有限公司 | 一种基于多枪多球摄像机阵列的行人识别系统 |
CN108230348A (zh) * | 2016-12-22 | 2018-06-29 | 杭州海康威视数字技术股份有限公司 | 一种目标跟踪方法及装置 |
CN108230348B (zh) * | 2016-12-22 | 2022-01-21 | 杭州海康威视数字技术股份有限公司 | 一种目标跟踪方法及装置 |
CN106897678A (zh) * | 2017-02-08 | 2017-06-27 | 中国人民解放军军事医学科学院卫生装备研究所 | 一种结合心跳信号的远程人脸识别方法、装置和系统 |
CN106713960A (zh) * | 2017-02-23 | 2017-05-24 | 郝建 | 网络机顶盒 |
CN107316463A (zh) * | 2017-07-07 | 2017-11-03 | 深圳市诺龙技术股份有限公司 | 一种车辆监控的方法和装置 |
CN107948946A (zh) * | 2017-11-09 | 2018-04-20 | 南京南自信息技术有限公司 | 一种工业场所高精度人员定位球型摄像机跟踪方法 |
CN107948946B (zh) * | 2017-11-09 | 2020-06-02 | 南京南自信息技术有限公司 | 一种工业场所高精度人员定位球型摄像机跟踪方法 |
CN109922250B (zh) * | 2017-12-12 | 2021-04-02 | 杭州海康威视数字技术股份有限公司 | 一种目标对象抓拍方法、装置及视频监控设备 |
CN109922250A (zh) * | 2017-12-12 | 2019-06-21 | 杭州海康威视数字技术股份有限公司 | 一种目标对象抓拍方法、装置及视频监控设备 |
CN109982030B (zh) * | 2017-12-27 | 2021-01-08 | 杭州海康威视数字技术股份有限公司 | 一种目标对象抓拍方法、装置、视频监控设备及存储介质 |
CN109982030A (zh) * | 2017-12-27 | 2019-07-05 | 杭州海康威视数字技术股份有限公司 | 一种目标对象抓拍方法、装置、视频监控设备及存储介质 |
CN108174152A (zh) * | 2017-12-28 | 2018-06-15 | 深圳英飞拓科技股份有限公司 | 一种目标监控方法及目标监控系统 |
CN108055498A (zh) * | 2018-01-19 | 2018-05-18 | 深圳市乐华数码科技有限公司 | 一种用于远真视频会议的显示摄像一体设备 |
CN108062115A (zh) * | 2018-02-07 | 2018-05-22 | 成都新舟锐视科技有限公司 | 一种基于云台控制技术的多目标连续跟踪系统及方法 |
CN108419014B (zh) * | 2018-03-20 | 2020-02-21 | 北京天睿空间科技股份有限公司 | 利用全景摄像机和多台抓拍摄像机联动抓拍人脸的方法 |
CN108419014A (zh) * | 2018-03-20 | 2018-08-17 | 北京天睿空间科技股份有限公司 | 利用全景摄像机和多台抓拍摄像机联动抓拍人脸的方法 |
CN108647620B (zh) * | 2018-05-03 | 2020-05-26 | 武汉科技大学 | 一种基于伽马变换的韦伯人脸的光照归一化方法 |
CN108647620A (zh) * | 2018-05-03 | 2018-10-12 | 武汉科技大学 | 一种基于伽马变换的韦伯人脸的光照归一化方法 |
CN110581979B (zh) * | 2018-06-08 | 2021-04-09 | 杭州海康威视数字技术股份有限公司 | 一种图像采集系统、方法及装置 |
CN110581979A (zh) * | 2018-06-08 | 2019-12-17 | 杭州海康威视数字技术股份有限公司 | 一种图像采集系统、方法及装置 |
CN109034030A (zh) * | 2018-07-17 | 2018-12-18 | 深圳市巨龙创视科技有限公司 | 一种基于嵌入式多轨迹人脸识别统计算法 |
CN108900758A (zh) * | 2018-09-07 | 2018-11-27 | 厦门博聪信息技术有限公司 | 一种枪球协作的智能人脸抓拍摄像机及其人脸抓拍方法 |
CN110008811A (zh) * | 2019-01-21 | 2019-07-12 | 北京工业职业技术学院 | 人脸识别系统及方法 |
CN109740577A (zh) * | 2019-02-28 | 2019-05-10 | 南京信息工程大学 | 一种基于树莓派的实时人脸重识别摄像系统及其调试方法 |
CN110609576A (zh) * | 2019-09-26 | 2019-12-24 | 浙江大华技术股份有限公司 | 一种云台控制方法、装置、系统、控制设备及存储介质 |
CN110609576B (zh) * | 2019-09-26 | 2022-09-02 | 浙江大华技术股份有限公司 | 一种云台控制方法、装置、系统、控制设备及存储介质 |
CN110956095A (zh) * | 2019-11-12 | 2020-04-03 | 湖南大学 | 一种基于角点肤色检测的多尺度人脸检测方法 |
CN113518174A (zh) * | 2020-04-10 | 2021-10-19 | 华为技术有限公司 | 一种拍摄方法、装置及系统 |
WO2021204298A1 (zh) * | 2020-04-10 | 2021-10-14 | 华为技术有限公司 | 一种拍摄方法、装置及系统 |
CN112351200A (zh) * | 2020-10-13 | 2021-02-09 | 深圳英飞拓科技股份有限公司 | 一种枪球智能摄像机联动抓拍实现方法及系统 |
CN113011258A (zh) * | 2021-02-08 | 2021-06-22 | 深圳英飞拓科技股份有限公司 | 一种对象监控跟踪方法、装置及电子设备 |
CN114630047A (zh) * | 2022-03-03 | 2022-06-14 | 北京佳服信息科技有限公司 | 一种多球机调用方法、装置、设备及可读存储介质 |
CN114630047B (zh) * | 2022-03-03 | 2024-02-02 | 北京佳服信息科技有限公司 | 一种多球机调用方法、装置、设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN103761514B (zh) | 2017-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103761514B (zh) | 基于广角枪机和多球机实现人脸识别的系统及方法 | |
CN108111818B (zh) | 基于多摄像机协同的运动目标主动感知方法和装置 | |
John et al. | Pedestrian detection in thermal images using adaptive fuzzy C-means clustering and convolutional neural networks | |
CN103905733B (zh) | 一种单目摄像头对人脸实时跟踪的方法及系统 | |
CN104601964B (zh) | 非重叠视域跨摄像机室内行人目标跟踪方法及系统 | |
Zhang et al. | Real-time multiple human perception with color-depth cameras on a mobile robot | |
CN104951775B (zh) | 基于视频技术的铁路道口防护区域安全智能识别方法 | |
CN104751136B (zh) | 一种基于人脸识别的多相机视频事件回溯追踪方法 | |
CN106023257B (zh) | 一种基于旋翼无人机平台的目标跟踪方法 | |
CN108388885A (zh) | 面向大型直播场景的多人特写实时识别与自动截图方法 | |
Yang et al. | Single shot multibox detector with kalman filter for online pedestrian detection in video | |
CN103049751A (zh) | 一种改进的加权区域匹配高空视频行人识别方法 | |
CN103268480A (zh) | 一种视觉跟踪系统及方法 | |
CN106570490B (zh) | 一种基于快速聚类的行人实时跟踪方法 | |
CN114187665A (zh) | 一种基于人体骨架热图的多人步态识别方法 | |
CN110569785A (zh) | 一种融合跟踪技术的人脸识别方法 | |
CN106296743A (zh) | 一种自适应运动目标跟踪方法及无人机跟踪系统 | |
CN110009060A (zh) | 一种基于相关滤波与目标检测的鲁棒性长期跟踪方法 | |
CN111582036A (zh) | 可穿戴设备下基于形状和姿态的跨视角人物识别方法 | |
Miller et al. | Person tracking in UAV video | |
Chen et al. | Head-shoulder detection using joint HOG features for people counting and video surveillance in library | |
CN111160115B (zh) | 一种基于孪生双流3d卷积神经网络的视频行人再识别方法 | |
CN104751144B (zh) | 一种面向视频监控的正面人脸快速评价方法 | |
Ibrahim et al. | Performance Analysis of YOLO-DeepSORT on Thermal Video-Based Online Multi-Object Tracking | |
CN107330436B (zh) | 一种基于尺度判据的全景图像sift优化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |