CN101650777B - 一种基于密集点对应的快速三维人脸识别方法 - Google Patents

Abstract

一种基于密集点对应的快速三维人脸识别方法步骤如下：(1)对库集三维人脸模型进行预处理，并求出平均标志点。(2)利用薄板样条函数使所有库集人脸向平均标志点形变。(3)选取一张形变后的库集人脸并稀释得到参考人脸模型。(4)将形变后的库集人脸与参考人脸匹配得到形变且稀释的模型，然后在未形变的库集人脸中找对应序号的点，得到未形变且稀释的模型作为最终的库集人脸模型。(5)测试人脸模型进入时，对其进行与库集人脸同样的处理，得到未形变且稀释的测试人脸作为最终的测试人脸模型。(6)以测试人脸与每个库集人脸之间的点集距离作为相似度，在最终的库集人脸模型中选取与最终测试人脸模型点集距离最近的模型作为识别结果。

Description

一种基于密集点对应的快速三维人脸识别方法

技术领域

本发明涉及一种三维人脸识别方法，采用薄板样条形变和密集点对应，减小表情和人脸尺寸不一致对识别造成的影响。

背景技术

生物特征识别在安全领域有着重要的应用，特别是与指纹、虹膜等特征相比，自动人脸识别技术以其无接触性、可接受性高、隐蔽性好等优点受到越来越多的关注，有着巨大的发展空间。

传统的基于二维照片的人脸识别技术受到光照、姿态、化妆等因素的影响较大。三维人脸识别技术可以克服或减轻这些因素的影响。三维人脸模型具有比二维图像更丰富的信息，它是对人脸的空间真实形态更准确的描述。但是，三维人脸数据量较大，干扰区域较多，计算量较大，且由于表情产生的人脸曲面非刚性变形，影响了基于几何信息的三维人脸识别的性能。因此，如何减小识别运算量、降低表情影响成为三维人脸识别技术的瓶颈，也是研究的关键问题。

发明内容

技术问题：本文提出一种利用薄板样条形变并基于密集点对应的减小表情和人脸尺寸不一致的影响的快速三维人脸识别方法。

技术方案：该方法的主要步骤如下：

步骤1.将原始库集三维人脸模型G转换到人脸的主轴坐标系下，并确定鼻尖点；以鼻尖点为中心，经验值90mm为半径，舍弃落在球体以外的点，保留球体内的点作为后续处理的人脸区域，记为Gpca；找到一共13个标志点作为薄板样条形变的控制点，并求出库集三维人脸模型的平均标志点，作为控制点形变的目标点；

步骤2.根据库集人脸Gpca的标志点和平均人脸标志点，建立薄板样条函数映射，求得形变系数，然后将形变映射关系应用于整张库集人脸Gpca，得到每个库集人脸Gpca形变后的人脸Gwarp；

步骤3.在所有形变后的库集人脸Gwarp中选取一张人脸，这张人脸应该满足：点云数目较少、各个区域数据比较完整平滑，并且包含的区域在所有人脸都出现，并将其进行空间采样稀释，得到参考人脸Ref；

步骤4.将参考人脸模型Ref与形变后的库集人脸Gwarp进行ICP匹配，Ref的每一点在Gwarp上寻找对应的匹配点，记录下匹配点在Gwarp中的序号，并将匹配点集记为Gdwarp，相当于是形变且稀释过的；Gdwarp点的数目和Ref相同，且所有的点一一对应；遍历Gpca中的点，若当前点的序号出现在所记录的序号中，则取出该点，取出的点的集合记为Gdpca；

步骤5.测试人脸Q进入时，采取步骤1，2，4所示的相同处理方法：首先得到Qpca，并求出13个标志点；根据这些标志点与平均标志点的对应，建立它们之间的薄板样条函数映射关系，求出形变系数；然后将形变映射应用于整张Qpca，得到形变后的Qwarp；然后将Ref与Qwarp进行ICP匹配，得到Qwarp上的匹配点，记为测试人脸的Qdwarp；最后在Qpca中找到与Qdwarp对应的Qdpca；

步骤6.所有库集人脸的Gdpca和测试人脸Qdpca分别与参考人脸Ref之间建立了点一一对应的关系，因此Gdpca与Qdpca之间也是一一对应的关系；计算Qdpca与每个Gdpca之间对应点的距离之和，并作为相似度，取与Qdpca距离最小的Gdpca对应的库集人脸作为识别结果。

其中：步骤1的13个标志点是鼻尖点、内眼角点、嘴角点、侧面轮廓线上的鼻根点和鼻下点、侧面轮廓线的上下端点、过鼻根点的水平轮廓线的左右端点、过鼻尖点的水平轮廓线的左右端点；这些标志点按下述方法得到：把人脸模型变换到主轴坐标系后，取z坐标最大点作为鼻尖点；内眼角点和嘴角点处比较凹，即曲率较大，通过描述曲率信息的Shape Index值可求出这四个点；侧面轮廓线是三维人脸模型与人脸主轴坐标系的YOZ平面的交线，鼻根点近似认为是侧面轮廓线上y坐标大于鼻尖点的y坐标、且距鼻尖点欧式距离为50mm的点；从鼻尖点开始沿侧面轮廓线向下逐点搜索，计算当前点z坐标与鼻尖点z坐标的欧式距离，该距离开始会一直增大，取该距离第一次减小的前一个点作为鼻下点；分别过鼻尖点和鼻根点作平行于人脸主轴坐标系的XOZ面的平面，它们与三维人脸模型相交得到两条水平轮廓线，分别求出这两条轮廓线的左右端点；

步骤2和步骤5利用薄板样条函数进行形变的方法如下：

取一个库集人脸模型的Gpca，有n个标志点，n＝13，记为u_i，i＝1，2…，n；平均标志点分别记为v_i，i＝1，2…，n；其中u_i＝[u_ix u_iy u_iz]，v_i＝[v_ix v_iy v_iz]；

设u_i经过薄板样条函数映射后变为v_i，即F(u_i)＝v_i，F为薄板样条函数：

F(u_i)＝K(u_i)·w+P·a，i＝1，2…，n，

K(u_i)＝[U(|u₁-u_i|)U(|u₂-u_i|)…U(|u_n-u_i|)]，

$w=\left[\begin{array}{ccc}{w}_{11}& w_{12}& w_{13}\\ w_{21}& w_{22}& w_{23}\\ ...& ...& ...\\ w_{n1}& w_{n2}& w_{n3}\end{array}\right],$ $a=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\\ a_{41}& a_{42}& a_{43}\end{array}\right];$

上述方程组的最小二乘解可以通过求方程 $\left[\begin{array}{cc}K& P\\ P^T& 0\end{array}\right]\left[\begin{array}{c}w\\ a\end{array}\right]=\left[\begin{array}{c}V\\ 0\end{array}\right]$ 的解获得；其中K，P，V的定义如下所示：

$K=\left[\begin{array}{cccc}U\left(r_{\mathrm{1,1}}\right)& U\left(r_{\mathrm{1,2}}\right)& ...& U\left(r_{1,n}\right)\\ U\left(r_{\mathrm{2,1}}\right)& U\left(r_{\mathrm{2,2}}\right)& ...& U\left(r_{2,n}\right)\\ ...& ...& ...& ...\\ U\left(r_{n,1}\right)& U\left(r_{n,2}\right)& ...& U\left(r_{n,n}\right)\end{array}\right],$ r_ij＝|u_i-u_j|，基函数U(r)＝r²·log(r²)，

$P=\left[\begin{array}{cccc}1& u_{1x}& u_{1y}& u_{1z}\\ 1& u_{2x}& u_{2y}& u_{2z}\\ ...& ...& ...& ...\\ 1& u_{\mathrm{nx}}& u_{\mathrm{ny}}& u_{\mathrm{nz}}\end{array}\right],$ $V=\left[\begin{array}{ccc}{v}_{1x}& v_{1y}& v_{1z}\\ v_{2x}& v_{2y}& v_{2z}\\ ...& ...& ...\\ v_{\mathrm{nx}}& v_{\mathrm{ny}}& v_{\mathrm{nz}}\end{array}\right];$

求出w，a后，对待形变人脸(库集人脸或测试人脸)的每一个点s_i进行形变，s_i＝[s_ix s_iy s_iz]：

s_i′＝F(s_i)＝K(s_i)·w+P·a，

K(s_i)＝[U(|u₁-s_i|)U(|u₂-s_i|)…U(|u_n-s_i|)]；

步骤2中Gpca形变后得到的人脸模型记为Gwarp，步骤5中Qpca形变后得到的人脸模型记为Qwarp。

本发明针对在基于密集点对应的人脸识别方法中，表情变化和不同人脸尺寸大小不一致导致匹配较差的问题，提出了通过选取有代表性的控制点和利用薄板样条形变来改善匹配结果，获得较高的识别率。

建立密集的点对应关系从而求出对应点之间的距离作为相似度度量是一种常用的人脸识别方法，其中的密集点对应通常由ICP算法完成。本发明从根本上就是采用建立密集的点对应关系的方法，因此也用到了ICP算法。经典的ICP算法只对大小相近、形状相似的模型有较好的匹配效果，使用薄板样条形变使不同人脸的标志点向平均标志点形变，这样所有人脸的13个标志点间实现了准确的插值对应，而每张脸除去标志点后剩余的部分则都保留了自己的特征，并且由于所受标志点约束的改变而受到了平滑的拉伸。所以所有人脸在整体框架上达到大体一致，而局部有所不同。这在一定程度上减小了人脸尺寸大小不同和表情变化的影响，提高了ICP算法的鲁棒性，改善了匹配效果，在不同人脸之间可以获得较好的点对应关系。

有益效果：本发明的优点及特点如下：

1.采用薄板样条形变改善匹配结果。由于ICP匹配是刚性的，利用非刚性的薄板样条形变处理人脸，再将处理后的人脸用ICP匹配，可以使匹配效果提高，减小了表情和人脸尺寸不同所对匹配造成的负面影响。

2.采用了参考人脸模型。将所有库集人脸模型和测试人脸模型都与参考人脸模型配准从而建立点对应关系，这样库集人脸模型和测试人脸模型也就间接地建立了对应关系，将通常识别时要进行1∶N的匹配变成了1∶1的匹配。在线处理时，任何测试人脸只要与参考人脸匹配、建立点对应关系后，同时它也与所有库集人脸模型建立了点对应关系，大大降低了计算量。库集人脸与参考人脸的匹配在离线时完成。

3.对参考人脸模型进行了稀释。如果两个进行ICP匹配的人脸模型点的数目相近，那么一旦两个模型的局部区域有较大差距时，找到的一对一的点对应关系就会不如人意。ICP匹配允许参与匹配的两个模型点的数目不同，利用这一点，我们对参考人脸模型进行了稀释，以稀释后的模型匹配未稀释的模型，从而获得更好的的一对一点对应关系。而且，经我们实验证明，虽然稀释过的模型点的数目变少，但只要稀释程度合理，就不会对模型之间的区分度造成较大影响。

4.选取了稀释但未形变的模型Gdpca和Qdpca作为相似度测量的对象，而不是稀释且形变的Gdwarp。因为Gdwarp和Qdwarp是形变后的模型，所有的Gdwarp和Qdwarp都受到了相同的13个平均标志点的约束，所以所有Gdwarp和Qdwarp的结构框架都相同，使得每个人脸模型的整体特征丢失或弱化，只有局部保留了自己的特征。而Gdpca和Qdpca则保留了整体的特征和局部特征，可区分度高于Gdwarp和Qdwarp。

附图说明

图1是本发明所述三维人脸识别方法的流程图。

具体实施方式：

参照说明书附图，下面对本发明的具体实施方式做出详细说明：

1、库集三维人脸模型预处理

预处理分三步：将人脸模型转换到人脸主轴坐标系、并切割人脸，求出三维人脸模型的13个控制点，求出库集人脸模型的13个平均标志点。

(1)确定人脸主轴坐标系并切割人脸

人脸模型近似为一张上下方向较长，左右跨度居中，前后厚度较小的椭球体。对人脸点集分布做主成分分析(Principle Component Analysis)，可以得到三个特征向量，这三个特征向量分别对应从大到小排序的三个特征值，按PCA的特征值与特征向量的关系，最大特征值对应的主方向是点集散度最大的方向，即人脸上下方向；最小特征值对应的主方向是点集散度最小的方向，即人脸前后方向；剩余的一个特征值对应人脸左右方向。边缘数据会造成人脸三维模型不对称，但是对绝大多数三维人脸模型来说，以鼻尖点为球心的一定半径内的数据仍然是对称的。因此再次使用主成分分析会获得更为精确的主轴。将每个人脸模型都转换到其主轴坐标系下，方便了不同人脸进行匹配和比较。

①设库集人脸模型G＝{p_i|i＝1，2，…n}，p_i是G中一点，n为G中点的数目。对G进行PCA运算，得到原始人脸数据的三个主轴(v′₁，v′₂，v′₃)；将模型G中的点转换到以(v′₁，v′₂，v′₃)为坐标轴的坐标系下，得到 $G_2=\left\{p_{i_2}\right|i_2=\mathrm{1,2},...n\},$ 是G₂中一点，n为G₂中点的数目：

$p_{i_2}={(\stackrel{\‾}{v_1^{\′}},\stackrel{\‾}{v_2^{\′}},\stackrel{\‾}{v_3^{\′}})}^T\·p_i.$

②模型 $G_2=\left\{p_{i_2}\right|i_2=\mathrm{1,2},...n\}$ 中，落在以鼻尖点(z坐标最大点)为中心，以r＝50mm为半径的球面内的点组成新的点集 $G_3=\left\{p_{i_3}\right|i_3=\mathrm{1,2},...n_3\},$ n₃表示点集G₃中点的个数，对G₃进行第二次PCA运算，得到三个精确主轴(v″₁，v″₂，v″₃)。

③综合上述，人脸主轴坐标系的三个坐标轴(v₁，v₂，v₃)为：

(v₁，v₂，v₃)＝(v′₁，v′₂，v′₃)(v″₁，v″₂，v″₃)；

取坐标变换后的z坐标最大点为鼻尖点。平移人脸主轴坐标系下的三维模型，使鼻尖点为原点：

p′_i＝(v₁，v₂，v₃)^Tp_i-p_nt；

其中p_nt表示鼻尖点，p′_i是G变换坐标系后的人脸模型中的一点。

④以鼻尖点作为球心，经验值90mm为半径，舍弃落在球体以外的点，保留球体内的点作为我们处理的人脸区域。

至此，将三维人脸模型转换到其主轴坐标系下，库集人脸模型G经过上述处理后得到的人脸模型记为库集人脸模型的Gpca。(测试人脸模型Q处理后得到的人脸模型记为测试人脸模型的Qpca。)

(2)求三维人脸模型的13个控制点

①检测鼻尖点和内眼角点

总的来说，三维人脸特征点定位方法绝大部分都是基于人脸特征的，如对称性、几何特征(如鼻尖点特别凸，而眼角处特别凹)等。本发明的特征点检测方法首先根据人脸模型中特征点几何分布的特性，确定其在主轴坐标系下的坐标信息，从而可确定特征点候选点集，然后通过计算特征点候选点集中每个点的曲率特征(ShapeIndex值)，精确确定标志点。

Shape Index值代表的是人脸的曲率信息，与坐标系独立，且与刚体运动无关，该特征能够真实反映人脸表面的凹凸特征，能够有效的分离出凹凸特征明显的鼻尖、眼角区域。首先在候选集每个点p周围寻找与该点距离小于某一阈值的m个邻近点，由该m个邻近点组成点p的邻近域，根据邻近域点集构造点p的微切平面，确定三维人脸模型曲面在点p处法向量n，以n为z轴建立切平面坐标系，将邻近域点都置于切平面坐标系下，采用最小二乘法在转换后的邻近域点集内拟合一个二次曲面，利用二次曲面系数计算曲面在顶点p处的最大主曲率κ₁(p)和最小主曲率κ₂(p)，最后计算点p的Shape Index值：

$\mathrm{Shape}\ln \mathrm{dex}\left(p\right)=\frac{1}{2}-\frac{1}{\mathrm{\π}}{\tan }^{-1}\frac{{\mathrm{\κ}}_1\left(p\right)+{\mathrm{\κ}}_2\left(p\right)}{{\mathrm{\κ}}_1\left(p\right)-{\mathrm{\κ}}_2\left(p\right)}$

对每个点的邻域点集的Shape Index值取均值作为该点的Shape Index特征，对这个特征进行阈值分割。在鼻尖以上取Shape Index值在0～0.27之间的点组成连通域，连通域大于等于两个，选取其中关于YOZ平面对称的两个区域作为内眼角区域，分别选取两个连通域的质心作为内眼角点。同样，在鼻尖以下取Shape Index值在0～0.27之间的点组成连通域，选取其中关于YOZ平面对称的两个区域作为内眼角区域，分别选取两个连通域的质心作为嘴角点。

②检测侧面轮廓线上的鼻根点、鼻下点和上下端点

取YOZ平面和三维人脸模型的交线作为侧面轮廓线L₁。过鼻尖点作一个半径50mm的球，与侧面轮廓线相交的点近似认为是鼻根点。从鼻尖点开始沿侧面轮廓线向下逐点搜索，计算当前点z坐标与鼻尖点z坐标的距离，该距离开始会一直增大，取该距离第一次减小的前一个点作为鼻下点。并求出侧面轮廓线上y坐标最大和最小的点，即上下端点。

③求出另外几个控制点

作过鼻根点且平行于XOZ面的平面，其与三维人脸模型的交线记为水平轮廓线L₂，求出L₂上x坐标最小和最大的点。作过鼻尖点且平行于XOZ面的平面，其与三维人脸模型的交线记为水平轮廓线L₃，求出L₃上x坐标最小和最大的点。

至此，经过上述运算可以得到库集三维人脸模型的全部13个标志点，这13个标志点代表了人脸的框架。测试人脸模型也用相同的方法得到13个标志点。

(3)求出库集人脸模型的平均标志点

对所有库集人脸模型进行预处理后就可得到各自的13个控制点，在对应位置将所有库集人脸模型的标志点求平均值，就可以得到13个平均标志点。平均标志点作为所有库集人脸模型和测试人脸模型上控制点形变的目标点，所有人脸模型都朝平均标志点变形，从而使所有人脸模型具有相同的框架约束，达到整体上一致。

2、库集三维人脸模型的薄板样条形变

本发明采用建立密集的点对应关系的识别方法，用ICP匹配算法来建立点对应关系。经典ICP算法只对大小相近、形状相似的模型有较好的匹配效果，而由于不同人的人脸尺寸常常大小不同，而且即使是同一个人，不同表情时也会导致脸的形状差距较大。这些都使ICP匹配算法的效果变差。我们选取的这13个控制点构成了一个人脸的整体框架，以平均标志点的框架为基准，将每个人脸向平均标志点形变，也就是使每个人脸的框架都与平均标志点构成的框架一致。薄板样条形变使不同人脸的13个标志点间实现了准确的插值对应，并且由于所受标志点约束的改变，人脸模型中除去标志点后的余下部分受到了平滑的拉伸。所以所有人脸在框架结构上一致，局部不同。这在一定程度上减小了人脸尺寸不同和表情变化的影响，提高了ICP算法的鲁棒性，改善了匹配效果，在不同人脸之间可以获得较好的点对应关系。

根据库集人脸Gpca的标志点和平均人脸标志点的坐标，建立薄板样条函数映射，求得形变系数，然后将形变映射关系应用于整张库集人脸Gpca，得到每个库集人脸形变后的Gwarp。利用薄板样条函数进行形变的具体方法如下：

取一个库集人脸模型的Gpca，有n个标志点，n＝13，记为u_i，i＝1，2…，n；平均标志点分别记为v_i，i＝1，2…，n；其中u_i＝[u_ix u_iy u_iz]，v_i＝[v_ix v_iy v_iz]。

设u_i经过薄板样条函数映射后变为v_i，即F(u_i)＝v_i，F为薄板样条函数：

F(u_i)＝K(u_i)·w+P·a，i＝1，2…，n，

K(u_i)＝[U(|u₁-u_i|)U(|u₂-u_i|)…U(|u_n-u_i|)]，

$w=\left[\begin{array}{ccc}{w}_{11}& w_{12}& w_{13}\\ w_{21}& w_{22}& w_{23}\\ \·\·\·& \·\·\·& \·\·\\ w_{n1}& w_{n2}& w_{n3}\end{array}\right],$ $a=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\\ a_{41}& a_{42}& a_{43}\end{array}\right].$

上述方程组的最小二乘解可以通过求方程 $\left[\begin{array}{cc}K& P\\ P^T& 0\end{array}\right]\left[\begin{array}{c}w\\ a\end{array}\right]=\begin{array}{}\end{array}\begin{array}{}\end{array}\left[\begin{array}{c}V\\ 0\end{array}\right]$ 的解获得。其中K，P，V的定义如下所示：

$K=\left[\begin{array}{cccc}U\left(r_{\mathrm{1,1}}\right)& U\left(r_{\mathrm{1,2}}\right)& \·\·\·& U\left(r_{1,n}\right)\\ U\left(r_{\mathrm{2,1}}\right)& U\left(r_{\mathrm{2,2}}\right)& \·\·\·& U\left(r_{2,n}\right)\\ \·\·\·& \·\·\·& \·\·\·& \·\·\·\\ U\left(r_{n,1}\right)& U\left(r_{n,2}\right)& \·\·\·& U\left(r_{n,n}\right)\end{array}\right],$ r_ij＝|u_i-u_j|，基函数U(r)＝r²·log(r²)，

$P=\left[\begin{array}{cccc}1& u_{1x}& u_{1y}& u_{1z}\\ 1& u_{2x}& u_{2y}& u_{2z}\\ \·\·\·& \·\·\·& \·\·\·& \·\·\·\\ 1& u_{\mathrm{nx}}& u_{\mathrm{ny}}& u_{\mathrm{nz}}\end{array}\right],$ $V=\left[\begin{array}{ccc}{v}_{1x}& v_{1y}& v_{1z}\\ v_{2x}& v_{2y}& v_{2z}\\ \·\·\·& \·\·\·& \·\·\·\\ v_{\mathrm{nx}}& v_{\mathrm{ny}}& v_{\mathrm{nz}}\end{array}\right].$

求出w，a后，对待形变人脸(库集人脸或测试人脸)的每一个点s_i进行形变，s_i＝[s_ix s_iy s_iz]：

s_i′＝F(s_i)＝K(s_i)·w+P·a，

K(s_i)＝[U(|u₁-s_i|)U(|u₂-s_i|)…U(|u_n-s_i|)]。

Gpca形变后得到的人脸模型记为Gwarp。所有库集人脸的Gwarp在整体框架上大体一致，方便了后续的匹配工作。

3、选取参考人脸模型Ref

当两个进行ICP匹配的人脸模型点的数目相近时，如果两个模型的局部区域有较大差距，找到的一对一的点对应关系就会不如人意。ICP匹配允许参与匹配的两个模型点的数目不同。利用这一点，对参考人脸模型进行稀释，以稀释后的模型匹配未稀释的模型，从而获得更好的一对一点对应关系。而且，经实验证明，虽然稀释过的模型点的数目变少，但只要稀释程度合理，就不会对模型之间的区分度造成较大影响。

我们采用空间采样法对点云进行稀释。这种稀释数据的方法简单有效，能够在不失真的前提下缩减点云数目，并且能得到在空间较均匀的点云。应用空间采样法时，本文取空间间隔距离σ为1.0mm。

在库集的Gwarp集合中选取一张点的数目较少、各个区域数据比较完整平滑，并且包含的区域在所有人脸都出现的人脸模型，并对将其采用空间采样稀释得到参考人脸Ref，具体的稀释方法如下：

求出待稀释的人脸模型中每个点的σ邻域，即与每个点的距离小于σ的点的集合；并对每个点增加一个m_select标志，初始化为TRUE；从第一个点开始，对每个点p，先看自身的m_select标志是否为FALSE，如果为FALSE则查看下一个点，如果为TRUE则查看其σ邻域中每个点的m_select标志，将邻域点中m_select为TRUE的点置为FALSE；最后将所有m_select标志为FALSE的点删除，得到稀释后的参考人脸模型Ref。

4、处理库集人脸模型

由于Gdwarp是形变后的模型，因此所有的Gdwarp都受到了相同的13个平均标志点的约束，它们的结构框架都相同，使得每个人脸模型的整体特征丢失或弱化，只有局部保留了自己的特征。而Gdpca则保留了整体的特征和局部特征，可区分度高于Gdwarp。因此采用Gdpca计算人脸模型之间的距离。

设Gpca中每个点按它们在文件中存放的顺序获得一个序号，这个序号的集合为C_i＝{mark|mark＝1，2，…，num_i}，i表示第i个模型，num_i表示第i个模型的点的数量。由于Gwarp与Gpca是逐点进行形变的，所以它们点的序号是一致的，即Gwarp的第mark个点是Gpca的第mark个点形变后的。

将参考人脸Ref与库集人脸的Gwarp进行ICP匹配，Ref的每个点都可以在Gwarp上找到匹配点，记录匹配点在Gwarp中的序号，记为C′_i，且C′_i∈C_i；并将得到的匹配点集记为对应的库集人脸的Gdwarp，它是Gwarp的一个子集。Gdwarp的点数和Ref相同，且按排列顺序一一对应，即Gdwarp的第j个点与Ref的第j个点是匹配点。Gwarp与Gpca的排列顺序一致，是一一对应的；查看Gpca的点，如果该点的序号出现在C′_i中，则取出，取出的点的集合记为Gdpca。

Gdpca更多地保留了自己的特征，且由于匹配时借助了Gdwarp，所以避免了直接使用ICP匹配。直接采用Gpca的稀释版本则相当于传统的刚性匹配，不同人脸模型匹配时易受表情和尺寸不同的影响而降低匹配的准确度。

通过参考人脸Ref作为中介，库集所有人脸的Gdpca都间接建立了对应关系，所有Gdpca中点的数目相同，且它们的第i个点都是对应的；设Ref的点的数目有Np个，则所有Gdpca的数目也都是Np个，方便了最后计算不同人脸之间的相似度。

5、测试人脸模型Q进入时，也采取与处理库集人脸相同的预处理方法，得到Qpca，并得到它的13个标志点。根据这13个标志点与13个平均标志点，建立它们之间的薄板样条函数映射关系，求出形变系数，然后将形变映射应用于Qpca中所有的点，得到Qpca形变后的Qwarp。然后将Ref与Qwarp进行ICP匹配，求得Qwarp上的匹配点，记为测试人脸的Qdwarp。然后遍历Qpca中的点，找到与Qdwarp中的点对应的点的集合，记为Qdpca，

6、由于所有的库集人脸的Gdpca、测试人脸Qdpca分别与参考人脸Ref之间建立了密集的点对应关系，实现了点的一一对应，因此Gdpca与Qdpca之间也建立了点对应关系。计算Qdpca与每个Gdpca之间对应点的距离之和：

$\mathrm{Dist}(\mathrm{Qdpca},\mathrm{Gdpca})=\underset{i=1}{\overset{\mathrm{Np}}{\mathrm{\Σ}}}\sqrt{{(q_y-g_y)}^2+{(q_y-g_y)}^2+{(q_z-g_z)}^2}$

并将它作为相似度，取最小的Dist对应的库集人脸作为识别结果。

Claims (1)

1.一种基于密集点对应的快速三维人脸识别方法，其特征在于，该方法的步骤如下：

步骤1.将原始库集三维人脸模型G转换到人脸的主轴坐标系下，并确定鼻尖点；以鼻尖点为中心，经验值90mm为半径，舍弃落在球体以外的点，保留球体内的点作为后续处理的人脸区域，记为Gpca；找到一共13个标志点作为薄板样条形变的控制点，并求出库集三维人脸模型的平均标志点，作为控制点形变的目标点；

步骤2.根据库集人脸Gpca的标志点和平均人脸标志点，建立薄板样条函数映射，求得形变系数，然后将形变映射关系应用于整张库集人脸Gpca，得到每个库集人脸Gpca形变后的人脸Gwarp；

步骤3.在所有形变后的库集人脸Gwarp中选取一张人脸，这张人脸应该满足：点云数目较少、各个区域数据比较完整平滑，并且包含的区域在所有人脸都出现，并将其进行空间采样稀释，得到参考人脸Ref；

步骤4.将参考人脸模型Ref与形变后的库集人脸Gwarp进行密集点对应的算法ICP匹配，Ref的每一点在Gwarp上寻找对应的匹配点，记录下匹配点在Gwarp中的序号，并将匹配点集记为Gdwarp，相当于是形变且稀释过的；Gdwarp点的数目和Ref相同，且所有的点一一对应；遍历Gpca中的点，若当前点的序号出现在所记录的序号中，则取出该点，取出的点的集合记为Gdpca；

步骤5.测试人脸Q进入时，采取步骤1，2，4所示的相同处理方法：首先得到测试人脸模型Qpca，并求出13个标志点；根据这些标志点与平均标志点的对应，建立它们之间的薄板样条函数映射关系，求出形变系数；然后将形变映射应用于整张测试人脸模型Qpca，得到形变后的Qwarp；然后将Ref与Qwarp进行密集点对应的算法ICP匹配，得到Qwarp上的匹配点，记为测试人脸的Qdwarp；最后在测试人脸模型Qpca中找到与Qdwarp对应的Qdpca；

步骤6.所有库集人脸的Gdpca和测试人脸Qdpca分别与参考人脸Ref之间建立了点一一对应的关系，因此Gdpca与Qdpca之间也是一一对应的关系；计算Qdpca与每个Gdpca之间对应点的距离之和，并作为相似度，取与Qdpca距离最小的Gdpca对应的库集人脸作为识别结果；

其中：步骤1的13个标志点是鼻尖点、内眼角点、嘴角点、侧面轮廓线上的鼻根点和鼻下点、侧面轮廓线的上下端点、过鼻根点的水平轮廓线的左右端点、过鼻尖点的水平轮廓线的左右端点；这些标志点按下述方法得到：把人脸模型变换到主轴坐标系后，取z坐标最大点作为鼻尖点；内眼角点和嘴角点处比较凹，即曲率较大，通过描述曲率信息的曲率特征Shape Index值可求出这四个点；侧面轮廓线是三维人脸模型与人脸主轴坐标系的YOZ平面的交线，鼻根点近似认为是侧面轮廓线上y坐标大于鼻尖点的y坐标、且距鼻尖点欧式距离为50mm的点；从鼻尖点开始沿侧面轮廓线向下逐点搜索，计算当前点z坐标与鼻尖点z坐标的欧式距离，该距离开始会一直增大，取该距离第一次减小的前一个点作为鼻下点；分别过鼻尖点和鼻根点作平行于人脸主轴坐标系的XOZ面的平面，它们与三维人脸模型相交得到两条水平轮廓线，分别求出这两条轮廓线的左右端点；

步骤2和步骤5利用薄板样条函数进行形变的方法如下：

取一个库集人脸模型的Gpca，有n个标志点，n＝13，记为u_i，i＝1，2…，n；平均标志点分别记为v_i，i＝1，2…，n；其中u_i＝[u_ix u_iy u_iz]，v_i＝[v_ix v_iy v_iz]，其中下标ix、iy和iz分别表示第i个标志点的X、Y和Z坐标；

设u_i经过薄板样条函数映射后变为v_i，即F(u_i)＝v_i，F为薄板样条函数：

F(u_i)＝K(u_i)·w+P·a，i＝1，2…，n，

K(u_i)＝[U(|u₁-u_i|)  U(|u₂-u_i|)…  U(|u_n-u_i|)]，

$w=\left[\begin{array}{ccc}{w}_{11}& w_{12}& w_{13}\\ w_{21}& w_{22}& w_{23}\\ ...& ...& ...\\ w_{n1}& w_{n2}& w_{n3}\end{array}\right],$ 为n×3阶的矩阵，其中w_ij(i＝1，2，...，3，j＝1，2，3)为矩阵w的元素，

$a=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\\ a_{41}& a_{42}& a_{43}\end{array}\right],$ 为4×3阶的矩阵；其中a_ij(i＝1，2，3，4，j＝1，2，3)为矩阵a的元素，

上述方程组的最小二乘解可以通过求方程 $\left[\begin{array}{cc}K& P\\ P^T& 0\end{array}\right]\left[\begin{array}{c}w\\ a\end{array}\right]=\left[\begin{array}{c}V\\ 0\end{array}\right]$ 的解获得；其中K，P，V的定义如下所示：

$K=\left[\begin{array}{cccc}U\left(r_{11}\right)& U\left(r_{12}\right)& ...& U\left(r_{1n}\right)\\ U\left(r_{21}\right)& U\left(r_{22}\right)& ...& U\left(r_{2n}\right)\\ ...& ...& ...& ...\\ U\left(r_{n1}\right)& U\left(r_{n2}\right)& ...& U\left(r_{\mathrm{nn}}\right)\end{array}\right],$ 其中r_ij＝|u_i-u_j|，且i＝1，2，…n，j＝1，2，…，n，n＝13为标志点的个数，为标志点u_i和u_j的距离，基函数U(r_ij)＝r_ij ²·log(r_ij ²)，

$P=\left[\begin{array}{cccc}1& u_{1x}& u_{1y}& u_{1z}\\ 1& u_{2x}& u_{2y}& u_{2z}\\ ...& ...& ...& ...\\ 1& u_{\mathrm{nx}}& u_{\mathrm{ny}}& u_{\mathrm{nz}}\end{array}\right],$ $V=\left[\begin{array}{ccc}{v}_{1x}& v_{1y}& v_{1z}\\ v_{2x}& v_{2y}& v_{2z}\\ ...& ...& ...\\ v_{\mathrm{nx}}& v_{\mathrm{ny}}& v_{\mathrm{nz}}\end{array}\right];$

P^T为P的转置；

求出w，a后，对待形变人脸即库集人脸或测试人脸的每一个点s_i进行形变，s_i＝[s_ix s_iy s_iz]：

s′_i＝F(s_i)＝K(s_i)·w+P·a

K(s_i)＝[U(|u₁-s_i|)U(|u₂-s_i|)…U(|u_n-s_i|)]；

步骤2中Gpca形变后得到的人脸模型记为Gwarp，步骤5中Qpca形变后得到的人脸模型记为Qwarp。

Images