CN101131728A - 一种基于Shape Context的人脸形状匹配方法 - Google Patents

Abstract

本发明涉及一种基于Shape Context的人脸形状匹配方法，首先采用图像金字塔及扩散滤波技术进行预处理；再利用Canny边缘检测算法和轮廓提取算法提取边界轮廓信息；对提取的边界信息进行对数极坐标变换，得到对数极坐标直方图；通过计算Cs值，获得所有相匹配点；计算相近似度值，进行形状匹配判断。本发明具有简便、准确、经济及可扩展性良好等众多优势，因此人脸形状匹配可广泛应用于出入口控制、安全验证、安防监控与搜寻罪犯等有关方面。

Description

一种基于Shape Context的人脸形状匹配方法

技术领域

本发明涉及人脸识别技术，特别涉及一种基于Shape Context的人脸形状匹配方法。

背景技术

智能视频监控是以数字化、网络化视频监控为基础，但又有别于一般的网络化视频监控，它是一种更高端的视频监控应用。智能视频监控是基于计算机视觉技术对监控场景的视频图像内容进行分析，提取场景中的关键信息，并形成相应事件和告警的监控方式，是新一代基于视频内容分析的监控系统。在智能视频监控系统中，对人体运动图像建模是第一个阶段，通过人体运动图像建模，能够将人从监控视频中提取出来，得到人体各特征部位的信息。智能视频监控具有许多的优势和功能，例如，物体移动的检测、PTZ跟踪、人体行为分析等等。其中人脸识别尤为重要，它自动检测和识别人物的脸部特征，并通过与数据库档案进行比较来识别或验证人物的身份，这已经成为人们现实生活中不可缺少的一部分。

现在，人脸自动识别技术已经作为模式识别、图像处理等学科的一大研究热点。自动人脸识别系统包括两个主要技术环节，首先是人脸检测和定位，然后是对人脸进行特征提取和识别(匹配)。

人脸形状匹配，目前大部分研究主要是针对二维正面人脸图像，正面人脸识别中有一些方法，如：模板匹配、隐马尔科夫模型等。但是，由于人脸表情丰富；人脸随年龄的增长而变化；发型、胡须、眼镜等装饰对人脸造成的影响；人脸所成图像受光照、成像角度以及成像距离等影响，都是人脸形状匹配实施的难点，效果不尽理想。(参考文献[1]：Li-Na Liu.Yi-Zheng Qiao“Some Aspects of Human Face Recognition Technologies”)

目前，已经提出的人脸形状匹配算法中，大多数采用一个数值或者一个特征向量来表示目标，因而具有一定的局限性。局限性表现在无比例、旋转和平移的2D不变性。这样的传统方法在视频智能监控的人脸形状匹配中，在2D变形之后，匹配效果就变得很差。

发明内容

本发明所要解决的技术问题是提供一种在自动人脸识别系统中，对人脸形状进行特征的提取和识别的方法，而且这种方法同时克服了无比例、旋转和平移的2D不变性等局限性的缺陷。

本发明解决其技术问题所采用的技术方案是：提供一种基于Shape Context的人脸形状匹配方法，包括下列步骤：

(1)采用图像金字塔及扩散滤波技术进行预处理；

(2)利用Canny边缘检测算法和轮廓提取算法提取边界轮廓信息；

(3)对提取的边界信息进行对数极坐标变换，得到对数极坐标直方图；

(4)通过计算Cs值，获得所有相匹配点；

(5)计算相近似度值，进行形状匹配判断。

所述的图像金字塔采用由高到低、由粗到精的搜索方法，能够更精确的寻找匹配位置，有效提高跟踪速度，满足实时化要求。

金字塔结构方式适用于多分辨率的图像。不同分辨的图像分别存储在金字塔的不同层：图像金字塔的塔底存放原始图像，随着金字塔结构的层的上升，分辨率降低，相应的图像存储所用的空间减小。图像的分辨率降低为原来的N倍，相应的图像存储所用空间为原来的1/N。在匹配时，先采用全局搜索策略在图像金字塔最高层(最低分辨率)对目标进行匹配，得到该层目标位置。然后由高到低、由粗到精的搜索策略，得到更精确地位置。采用这种方式可以有效地提高跟踪的速度，更好地满足实时化的要求。

所述的扩散滤波技术，采用增强边界，模糊细节内容的方法。

在扩散滤波的图像光滑过程中，扩散函数能够根据图像内容自动调节扩散系数，在图像的平坦区域，图像光滑加强，而在特征边缘区域，图像光滑减弱，同时还表现出异性扩散行为。通过扩散滤波，增强边界，模糊细节内容，使图像具有更好的光滑结果和光滑质量。

所述的步骤(2)由如下步骤实现：

(a)将边缘信息提取出来，得到二值图像；

(b)使用轮廓提取算法，在二值图像中寻找轮廓，得到人脸基本信息轮廓边界。

其中轮廓提取算法的逼近算法方式是压缩水平、垂直和对角分割，即代表边缘信息的曲线只保留末端的象素点，使得取点达到非均匀性。最终得到的轮廓具有如下效果：既尽可能少地提取了轮廓特征点，又更好地保留了特征点(如果边界是直线时，轮廓特征点的取样间隔较大；如果是曲线时，曲率越大取样间隔越小)。

所述的步骤(3)包括如下步骤：

(a)以选定点为坐标原点进行对数极坐标变换；

(b)求落在每一格里的点数；

(c)使用经验密度方法进行归一化处理，得到直方图。

其中经验密度归一化方法是：Hx(1...n)、Hy(1...n)分别是2个数集，使用经验密度函数hx和hy来进行归一化。

$\mathrm{hx}\left(i\right)=\frac{\mathrm{Hx}\left(i\right)}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{Hx}\left(i\right)},\mathrm{hy}\left(i\right)=\frac{\mathrm{Hy}\left(i\right)}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{Hy}\left(i\right)}$

所述的步骤(4)中的Cs值为Shape Context的Cost值。

其中Cs就是对两直方图进行X²统计值。g(k)和h(k)分别为对应直方图的值。则：

$\mathrm{Cs}=\frac{1}{2}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\frac{{[g\left(k\right)-h\left(k\right)]}^2}{g\left(k\right)+h\left(k\right)}$

所述的步骤(5)由如下步骤实现：

(a)选定图中的点，通过求最小Cost值找到另一幅图中相匹配点；

(b)将匹配信息用视觉库保存；

(c)重复上述第(a)步，对剩余的点进行匹配，直到匹配完所有点；

(d)求出Cs标准差、阈值T下的匹配率K。

当匹配率K的阈值T≤0.3时，表明2个目标是匹配的。

本发明具有简便、准确、经济及可扩展性良好等众多优势，因此人脸形状匹配可广泛应用于出入口控制、安全验证、安防监控与搜寻罪犯等有关方面。

附图说明

图1为本发明的人脸形状匹配方法的的流程图。

图2为本发明的边界提取。

图3为本发明的对数极坐标直方图。

图4为本发明的一个实例。

图5、图6为具体实验图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

在考虑执行效率和移植性之后，本系统使用标准C++来实现，并且借助OpenCV(Intel开源计算机视觉库)来帮助实现。使用的人脸数据库是UMIST(分为20个主题，共564张图像，每个主题包括从侧面到正面的不同人脸姿态。)

对应于本发明中的方法，为人脸形状匹配系统共设计了6个任务，表1中描述了任务的名称以及任务的功能。

表1：人脸形状匹配系统任务说明

任务名称	功能
		图像金字塔处理	由高到低、由粗到精地搜索，更精确的寻找匹配位置。
扩散滤波处理	增强边界，模糊细节内容。
		边界提取	提取边界轮廓。
对数极坐标变换	求出对数极坐标直方图。
		Cs值计算	求出Shape Context的Cost值。
相似度计算	根据相似度，判断人脸形状匹配。

如图1所示，整个人脸形状匹配过程如下：先使用图像金字塔进行多尺度匹配和扩散滤波进行图像光滑的预处理；然后使用Canny边缘检测算法和轮廓提取算法获得边界信息；再对边界进行对数极坐标变换，得到对数极坐标直方图；接着使用Shape Context形状匹配处理得到相似度值；最后根据相似度值进行数学统计，判断是否形状匹配。

如图2所示，采用Canny边缘检测算法及轮廓提取算法进行边界提取：采用Canny算法做边缘检测，提取边缘信息，得到二值图像，由Canny算法获得的边缘信息是由一系列曲线所构成的二值化图像；接着使用轮廓提取算法，在二值图像中寻找轮廓，得到人脸基本信息轮廓边界。

如图3所示，对数极坐标变换：在提取边界步骤结束后，对提取的轮廓边界采用对数极坐标方法，并计算得到对数极坐标直方图。

如图4所示，在得到Cs值之后，使用Cs求出匹配点的过程如下，匹配完成就能得到相匹配的点集和Cs值：1)现有P、H两幅图，对于P中的点P_i，求出所有H中Cost值最小的点H_i；2)将匹配的信息(包括P_i、匹配点H_i、Cost值)用OpenCV序列(即链表)保存；3)重复第1步，对剩余的点进行匹配，直到匹配完所有点。

并求出Cs标准差、阈值T下的匹配率K。通过实验，我们发现当匹配率K的阈值T≤0.3时，表明2个目标是匹配的。

如图5、图6所示，我们分别设置了三种实验情况：同一人的不同人脸，即a类；同一人不同尺寸位置的人脸(尺寸缩放、平移、缩放)，即b类；不同的人的人脸，即c类。

对于这三种情况，我们分别对匹配度为100％时的Cs值，Cs阈值为0.1、0.2、0.3时的匹配度，总体样本的Cs的标准差进行统计。

轮廓取点间隔d＝10

	a1	a2	b1	b2	c1	c2	c3	c4
									Cs	0.17	0.19	0.34	0.33	0.14	0.15	0.27	0.2
T＝0.1	41％	46％	0％	0％	92％	82％	27％	32％
									T＝0.2	100％	100％	59％	68％	100％	100％	95％	100％
T＝0.3	100％	100％	97％	99％	100％	100％	100％	100％
									S(＊0.001)	5.920	8.641	16.463	10.488	4.134	4.841	13.856	8.611

轮廓取点间隔d＝5

	a1	a2	b1	b2	c1	c2	c3	c4
									Cs	0.18	0.18	0.31	0.32	0.16	0.18	0.25	0.19
T＝0.1	67％	66％	0％	0％	95％	91％	38％	53％
									T＝0.2	100％	100％	74％	74％	100％	100％	96％	100％
T＝0.3	100％	100％	99％	99％	100％	100％	100％	100％
									S(*0.001)	4.566	6.986	13.912	11.206	3.671	4.274	12.008	7.825

实验结果表明，当匹配率K的阈值T＝0.3时，匹配度为100％(除了2D变换)。2D变换之后，当T＝0.3时的匹配度也基本为100％。这就表明我们在判断形状是否匹配的时候，只要判断完全匹配(或基本完全匹配)时的阈值T是否小于等于3即可。这个经验值，在很多的情况下都是适用的，具有较好的通用性。

此外从实验数据看出，轮廓取点间隔的疏密对于本方法的精度影响不大，可见本方法对各种摄像头具有较强的适用性。

Claims (8)

1.一种基于Shape Context的人脸形状匹配方法，包括下列步骤：

(1)采用图像金字塔及扩散滤波技术进行预处理；

(2)利用Canny边缘检测算法和轮廓提取算法提取边界轮廓信息；

(3)对提取的边界信息进行对数极坐标变换，得到对数极坐标直方图；

(4)通过计算Cs值，获得所有相匹配点；

(5)计算相近似度值，进行形状匹配判断。

2.根据权利要求1所述的一种基于Shape Context的人脸形状匹配方法，其特征在于：所述的图像金字塔采用由高到低、由粗到精的搜索方法。

3.根据权利要求1所述的一种基于Shape Context的人脸形状匹配方法，其特征在于：所述的扩散滤波技术，采用增强边界，模糊细节内容的方法。

4.根据权利要求1所述的一种基于Shape Context的人脸形状匹配方法，其特征在于：所述的步骤(2)由如下步骤实现：

(a)将边缘信息提取出来，得到二值图像；

(b)使用轮廓提取算法，在二值图像中寻找轮廓，得到人脸基本信息轮廓边界。

5.根据权利要求1所述的一种基于Shape Context的人脸形状匹配方法，其特征在于：所述的步骤(3)包括如下步骤：

(a)以选定点为坐标原点进行对数极坐标变换；

(b)求落在每一格里的点数；

(c)使用经验密度方法进行归一化处理，得到直方图。

6.根据权利要求1所述的一种基于Shape Context的人脸形状匹配方法，其特征在于：所述的步骤(4)中的Cs值为Shape Context的Cost值。

7.根据权利要求1所述的一种基于Shape Context的人脸形状匹配方法，其特征在于：所述的步骤(5)由如下步骤实现：

(a)选定图中的点，通过求最小Cost值找到另一幅图中相匹配点；

(b)将匹配信息用视觉库保存；

(c)重复上述第(a)步，对剩余的点进行匹配，直到匹配完所有点；

(d)求出Cs标准差、阈值T下的匹配率K。

8.根据权利要求7所述的一种基于Shape Context的人脸形状匹配方法，其特征在于：所述的视觉库为OpenCV。

Images