CN102103690A

CN102103690A - 一种自动的头发区域分割方法

Info

Publication number: CN102103690A
Application number: CN 201110055823
Authority: CN
Inventors: 孙知信; 邹大海
Original assignee: Nanjing Post and Telecommunication University
Current assignee: Nanjing Post and Telecommunication University
Priority date: 2011-03-09
Filing date: 2011-03-09
Publication date: 2011-06-22

Abstract

一种自动的头发区域分割方法，涉及头发分割方法的技术领域，属于计算机视觉领域。本发明包括如下步骤：步骤1：检测人脸：利用人脸检测模块从输入的一张人脸图片中通过训练好的级联分类器探测人脸位置；步骤2：标记目标背景标记：利用目标背景标记模块在人脸位置上划出感兴趣区域，根据位置、颜色特征找出最可能的目标标记与背景标记；步骤3：图像分割：根据目标背景标记，利用图像分割模块分割出头发区域并输出。本发明利用图像处理技术对一幅输入的图像进行人脸检测、目标背景标记、图像分割等处理，输出图像中头发的区域。能够在复杂背景条件下准确检测头发区域，为身份识别、性别年龄估计、图像检索等研究与应用提供了良好基础。

Description

一种自动的头发区域分割方法

技术领域

本发明涉及一种自动的头发分割方法，属于计算机视觉领域。

背景技术

头发是人体的一个重要特征，使用该特征我们可以实现身份识别、年龄性别估计、图像检索等应用。有研究表明，头发是我们区分相似人脸的重要特征，发型的改变可能使我们对人的身份作出错误的判断，利用头发特征，可以在进行身份识别时提供辅助信息。因此，在计算机视觉领域对于头发特征的应用具有重要意义。

头发的形状和颜色会因人体性别、年龄、种族的差异而不同，人们也可以随意的改变自己的发型与颜色，这给头发特征的检测、描述、分析及应用带来了一定困难。但是，在一定时期内头发的颜色和形状总是固定不变的，这使得对于头发特征的研究成为可能。

在对头发特征的描述、分析、匹配前，一项重要的工作是寻找头发区域。只有确定了头发区域后，才能对该区域内的头发进行特征提取、特征匹配等操作。目前确定头发区域的主要方法一般都是在准确探人脸区域的基础上，利用头发的颜色、纹理、形状、位置等特征，进行区域分割。

Yacoob和Davis是最早进行头发区域确定及头发特征描述的研究者。他们提出了一种肤色模型匹配的方法。他们首先用级联分类器准确检测了人脸及眼睛的位置，然后根据相对位置在额头和眼睛下划了三个矩形框，提取矩形框中的颜色特征以建立肤色模型。再根据相对位置在人脸边界的上部、左部、右部分别划了三个小矩形框。三个框的相对位置经过反复试验确定，以使三个矩形框尽量在头发区域中，三个框中的像素点与肤色模型进行匹配，删除掉肤色像素点。根据这三个框中的颜色建立头发的颜色特征模型。扫描整幅图像，通过比较像素点RGB值与该模型的距离来判断是否为头发像素点。该方法仅用颜色这一特征判断头发像素，只能分割简单的、归一化背景下的头发，在背景复杂情况下准确率比较低。

Lee等人提出了一种利用头发颜色和位置信息构建高斯混合模型进行头发分割。高斯混合模型的构建分为离线训练与在线更新两部分。对于一副图片，首先根据背景、脸部和头发的分布概率，找出最可能区域，将区域内的点与GMM进行比较，删除不满足模型的点。然后再用图割算法最小化能量函数，确定部分头发、脸部像素点。根据确定的像素点更新GMM，用更新后的模型再进行分割，直到所有像素被分割。该方法在算法上构建能量函数中的头发位置信息采用的是绝对位置，因此它要求测试图片中人脸必须位于图片的正中间，否则会产生大量误检。其次如论文所述，对于头发与昏暗背景的判断容易产生误差。最后，因为基于像素单位的多类图割算法具有复杂的计算度，需要较长的运算时间。

C.Rousset和P.Y.Coulon提出了一种结合频域掩膜和颜色掩膜去分割头发的方法。该方法首先用Viola和Jones提出的人脸盒子及人体学数据来定义头部区域。由于头发具有纹理特征，用一个高斯频带滤波器扫描图片，得到图片的频谱映射图。通过阈值分割出头发像素点，剩余像素点为背景像素。在分割出的头发区域中，在脸部上方划出一个样本窗口，提取该窗口中的颜色为头发颜色，建立头发颜色模型，并用该模型判断头发像素点。将在头部区域内的头发像素作为目标标记，将纹理分割出的背景像素及纹理分割为头发但不在脸部区域的像素作为背景标记。然后利用Levin等提出的自动分割方法进行图像分割。该方法综合利用了颜色纹理特征，然而在复杂背景及光照条件下存在漏检。

综上，目前存在的一些头发分割技术都存在着一定的局限性。因此，目前需要一种更有效地分割头发区域的方法。

发明内容

本发明的目的是提供一种头发区域的自动分割方法，利用图像处理技术对一幅输入的图像进行人脸检测、目标背景标记、图像分割等处理，输出图像中头发的区域。所述方法能够在复杂背景条件下准确检测头发区域，为身份识别、性别年龄估计、图像检索等研究与应用提供了良好基础。

一种自动的头发区域分割方法，包括如下步骤：

步骤1：检测人脸：利用人脸检测模块从输入的一张人脸图片中通过训练好的级联分类器探测人脸位置；

步骤2：标记目标背景标记：利用目标背景标记模块在人脸位置上划出感兴趣区域，根据位置、颜色特征找出最可能的目标标记与背景标记；

步骤3：图像分割：根据目标背景标记，利用图像分割模块分割出头发区域并输出。

所述步骤1的检测人脸方法包括以下步骤：提取Haar特征，训练弱分类器，采用AdaBoost算法选取优化的弱分类器迭代，生成强分类器，进行实时检测得到面部区域R_f。

所述AdaBoost算法具体过程如下：分别对采集的人脸样本集和非人脸样本集计算样本积分图，得到矩形特征原型，计算矩形特征值，得到特征集；确定阙值，由矩形特征集生成对应的弱分类器，得到弱分类器集；挑选最优弱分类器，调用AdaBoost算法训练强分类器，得到强分类器集，此时再次判断是否还有非人脸图片集，若判断为是，则补充非人脸样本至非人脸样本集重复上述步骤，若判断为否，则直接得到级联分类器。

步骤2的目标背景标记方法包括如下步骤：

(1)感兴趣区域的确定，根据人脸区域位置和先验概率知识，在人脸区域R_f基础上确定感兴趣区域，公式如下：

“头发和人脸”区域宽度＝3.6*人脸宽度，

“头发和人脸”区域高度＝3.7*人脸高度；

(2)人脸颜色特征提取，在人脸区域R_f中做肤色的概率分布图，找出概率分布大于1％的像素点，计算均值μ和协方差矩阵C，得到肤色的高斯模型；

(3)目标像素标记，在人脸区域R_f的基础上划出一个肯定包括头发的样本窗口区域R_h，其中：

L_{x}^{R_{h}} = L_{x}^{R_{f}}

R_{x}^{R_{h}} = R_{x}^{R_{f}}

U_{y}^{R_{h}} = U_{y}^{R_{f}} - 1 / 2 (R_{x}^{R_{f}} - L_{x}^{R_{f}})

D_{y}^{R_{h}} = D_{y}^{R_{f}} + 1 / 4 (R_{x}^{R_{f}} - L_{x}^{R_{f}})

其中分别代表头发样本窗口R_h的左右上下边界，同样

分别代表面部区域R_f的左右上下边界；

在该区域内根据人脸肤色模型去除掉肤色像素，在剩余像素中提取头发颜色特征，并标记头发像素为目标标记；

(4)背景像素标记，在人脸区域R_f中心位置及感兴趣区域的左右上角各取一块区域作为背景区域，并标记为背景。

步骤3的图像分割方法包括：

初始图像分割，用mean shift算法对感兴趣区域中图像做初始分割得到小区域；

目标背景区域标记，如果一个区域中有背景标记存在，则将其标记为背景区域，如果一个区域中有目标标记存在，则将其标记为目标区域，剩下的区域标记为待合并区域；

MSRM分割，对背景区域、目标区域、待合并区域分别进行迭代合并，采用最大相似性原理，经过多次迭代得到最后分割结果。

本发明的MSRM分割算法包括以下过程：

A、将背景区域中的区域与其相邻区域进行迭代合并，直到没有新区域形成时迭代停止；

B、将目标区域中的区域与其相邻区域进行迭代合并，直到没有新区域形成时迭代停止；

C、将待合并区域中的区域与其相邻区域进行迭代合并，直到没有新区域形成时迭代停止；

重复上述步骤A、步骤B、步骤C，直到步骤C中没有迭代合并动作时停止。

本发明实施上述技术方法的特点在于：(1)利用人脸位置信息确定感兴趣区域，并根据颜色、位置信息找到目标像素点并标记之。(2)在标记目标、背景像素点时要确保所标注的像素点位目标和背景。(3)在YC_rC_b颜色空间内进行操作，用C_rC_b两个分量进行相似度计算，减少了系统复杂度。

附图说明

图1为本发明自动头发区域分割方法中的四种Haar特征示意图；

图2为本发明自动头发区域分割系统的流程示意图；

图3为本发明自动头发区域分割系统中AdaBoost训练模块流程示意图；

图4为本发明自动头发区域分割系统中目标背景标记模块的流程示意图；

图5为本发明自动头发区域分割系统中图像分割模块的流程示意图；

具体实施方式

如图2所示，一种自动的头发区域分割方法，包括如下步骤：

步骤1：检测人脸，从输入的一幅图像中利用训练好的级联分类器探测人脸位置。

步骤2：标记目标背景标记，利用人脸位置划出感兴趣区域，根据位置、颜色等特征找出最可能的目标标记与背景标记。

步骤3：图像分割，根据步骤2所做的标记，利用图像分割技术分割出头发区域。

其中，步骤1所述的人脸检测包括：分类器的训练，针对不同的训练集训练同一个分类器(弱分类器)，然后把这些不同训练集上的得到的分类器联合起来，构成一个最终的强分类器；检测过程，利用训练好的分类器检测人脸，得到人脸区域，用R_f表示。

其中，所述的分类器训练过程包括以下步骤：

(1)提取Haar特征

常用的Haar特征有3中类型4种形式，如图1A-图1D所示。3种类型分别为：2-矩形特征、3-矩形特征、4-矩形特征。当然也可以在这4种特征的基础上设计出更多、更复杂的特征。由于训练样本通常有近万个，并且矩形特征的数量非常庞大，如果每次计算特征值都要统计矩形内所以像素之和，将会大大降低训练和检测的速度。因此引入了一种新的图像表示方法——积分图像，矩形特征的特征值计算，只与此特征矩形的端点的积分图有关，所以不管此特征矩形的尺度变换如何，特征值的计算所消耗的时间都是常量。这样只要遍历图像一次，就可以求得所有子窗口的特征值。

(2)生成弱分类器

每一个Haar特征都对应着一个弱分类器，每一个弱分类器都是根据它所对应的Haar特征的参数来定义的。利用上述Haar特征的位置信息，对训练样本进行统计就可以得到对应的特征参数。AdaBoost算法中所训练的弱分类器是任何分类器，包括决策树，神经网络，隐马尔科夫模型，如果弱分类器是线性神经网络，那么AdaBoost算法每次将构造多层感知器的一个节点。

(3)采用AdaBoost算法选取优化的弱分类器

并不是任伺一个Haar特征都能较好的描述人脸灰度分布的某一特点。Adaboost算法应用于人脸检测中，其基本思想是针对不同的训练集训练同一个分类器(弱分类器)，然后把这些不同训练集上的得到的分类器联合起来，构成一个最终的强分类器。Adaboost算法中不同的训练集是通过调整每个样本对应的权重来实现的。开始时，每个样本对应的权重是相同的，对于h1分类错误的样本，加大其对应的权重；而对于分类正确的样本，降低其权重，这样分错的样本就被突出出来，从而得到一个新的样本分布U2。在新的样本分布下，再次对弱分类器进行训练，得到弱分类器h2。依次类推，经过T次循环，得到T个弱分类器，把这T个弱分类器按一定的权重叠加(boost)起来，得到最终想要的强分类器。

如图4所示，其中步骤2所述的目标背景标记方法包括以下步骤：

(1)根据人脸区域确定感兴趣区域。

通过对许多归一化后的头发训练图片来形成可能的头发区域，由此头发区域来定义头部区域公式。从头发的聚类结果，可以得到包含头发和脸的头部区域定义公式如下：

“头发和人脸”区域宽度＝3.6*人脸宽度

“头发和人脸”区域高度＝3.7*人脸高度

这样，就可以得到包含所有头发和人脸的区域，以后的所有操作全部在该区域内进行。

(2)提取人脸颜色特征

本发明选用YC_rC_b空间作为颜色分布统计的映射空间，该空间受亮度变化的影响较小，而且是两维独立分布，能较好地限制肤色分布区域，它具有HSl格式中将亮度分量分离的优点，而且可以从RGB格式线性变化得到。

在步骤1所得人脸区域R_f中，除了有人脸肤色外还有其他颜色，如部分头发、背景颜色等，但是人脸肤色的比例是最高的。将C_rC_b分量分别等分成64份，对R_f中所有像素的C_rC_b分量做高斯概率分布。选取概率大于1％的像素点，根据下述公式：

χ＝(C_r，C_b)^T

μ＝E(x)

C＝E〔(χ-μ)(x-μ)^T〕

得到面部皮肤颜色的色度信息C_rC_b所组成的向量χ＝(C_r，C_b)^T的均值μ和协方差矩阵C，拟合得到二维高斯模型。

(3)标记目标标记

在人脸区域R_f上部，划出一个头发样本窗口R_h，其中：

L_{x}^{R_{h}} = L_{x}^{R_{f}}

R_{x}^{R_{h}} = R_{x}^{R_{f}}

U_{y}^{R_{h}} = U_{y}^{R_{f}} - 1 / 2 (R_{x}^{R_{f}} - L_{x}^{R_{f}})

D_{y}^{R_{h}} = D_{y}^{R_{f}} + 1 / 4 (R_{x}^{R_{f}} - L_{x}^{R_{f}})

其中分别代表头发样本窗口R_h的左右上下边界，同样

分别代表人脸区域R_f的左右上下边界。

计算头发样本窗口R_h中像素点与提取人脸颜色特征中所得高斯模型的相似度，其中相似度计算公式如下：

P (C_{r}, C_{b}) = \exp {- \frac{1}{2} ({(x - μ)}^{T} C^{- 1} (x - μ)}

χ＝(C_r，C_b)^T

其中μ为提取人脸颜色特征所得的均值，C为所得的协方差矩阵。

去除头发样本窗口R_h中与面部肤色相近的像素，将C_rC_b分量等分成32组范围，对头发样本窗口R_h中剩余像素的C_rC_b分量做高斯概率分布。选取概率最大的范围作为发色范围空间，在头发样本窗口R_h中将属于该范围的像素点标记为目标标记，保证所有被标为目标的都是头发。

(4)标记背景标记

在人脸区域R_f中心处划出一个区域

它的长宽都是R_f的1/2，将R_b2中的所有像素标记为背景。同样，在感兴趣区域的左上角和右上角各划出一个等腰直角三角形区域，顶点在感兴趣区域的左右顶点处，边长为

分别作为区域

将该区域内的像素点标记为背景。保证被标记为背景的区域中不能含有头发像素点。

其中，步骤3所述的分割方法包括以下几步骤：如图5所示，步骤一，使用mean shift进行初始分割；步骤二，根据标记标记出背景区域M_B和目标区域M_o；步骤三，使用改进的MSRM算法进行区域分割。

其中，步骤一使用mean shift作为初始分割方法，主要是因为该方法与其他方法相比，具有较少的过分割现象而且可以更好的保存边界信息。利用该方法，只需要很少的标记信息就可以得到不错的分割效果，具有更好的健壮性。

其中，步骤二所述的背景区域M_B和目标区域M_O确定方法主要是根据步骤一所分割出的区域中是否含有标记进行判断的。区域中包含背景标记的叫做背景标记区域M_B，区域中包含有目标标记的叫做目标标记区域M_O。那些既不包含目标标记也不包含背景标记的区域叫做待合并区域，用N表示。图像中大部分区域是待合并区域N，我们的任务就是对待合并区域N进行判断，待合并区域N不是目标就是背景。

其中，步骤三所述的MRSM分割方法主要是根据最大相似性原理，将待合并区域N与背景区域M_B和目标区域M_O进行合并，可具体分为三个阶段：

阶段一：对于每一个区域B∈M_B，我们都找到它所有的相邻区域A_i的集合

对于每一个A_i∈N，我们找到它的相邻区域

的集合

很明显B

计算A_i与

中每一个元素的相似度，如果满足如下公式

ρ (A_{i,} B) = \max_{j = 1,2, . . ., k} ρ (A_{i}, S_{j}^{A_{i}})

其中，ρ(A_i，B)代表A_i与B区域的相似度，

同理。

那么，就将A_i与B区域进行合并，合并后的区域仍然标记为B。否则，A_i与B区域保存不变。

上述过程是迭代进行的，经过一次迭代，M_B和N会得到更新，然后继续迭代，当没有新的区域被合并时，迭代停止。

阶段二：按同样方法，对每一个区域O∈M_o进行迭代合并，直到没有新的区域被合并时停止。

阶段三：经过上述两个阶段，还有一些没有被标记的区域存在，这主要是因为这些没有被标记的区域间的相似度太高，所以背景区域M_B和目标区域M_O中的任何区域都不能与他们合并。因此，我们要对这部分区域进行合并，方法与阶段一相同。

经过阶段三后回到阶段一继续进行，直到阶段三没有合并过程发生时结束。

其中，两个区域的相似度用巴氏系数表示，计算方法如下：

ρ (R, Q) = Σ_{u = 1}^{256} \sqrt{His t_{R}^{u} \cdot His t_{Q}^{u}}

其中，

分别是R、Q区域的归一化直方图，上标u表示第u个Hist元素。Hist是将C_r、C_b颜色通道分别量化为16个等级，这样就产生了16×16＝256个颜色特征空间，对区域内的像素在这256个特征上做颜色直方图，统计落在每一个特征上的概率，用表示。

巴氏系数实际就是向量

和向量之间夹角的余弦，P、Q区域间的巴氏系数越大，说明他们之间的相似性越高。如果两个区域具有相似的内容，那么之间的相似度就很高，他们之间的巴氏系数就会很大。

根据本发明的另一方面，本发明提供了一种自动头发区域分割的系统，该系统包括以下几部分构成：

人脸检测模块，用于从输入的图片中根据Haar特征与AdaBoost分类器探测出人脸区域，包括AdaBoost分类器训练模块和实时检测模块。

目标背景标记模块，用于根据人脸信息划出感兴趣区域区域，并根据一定的位置、颜色信息在感兴趣区域中标记出目标、背景像素点。

图像分割模块，根据标记出的标记，利用改进的MSRM算法分离图像。

根据本发明，目标背景标记模块包括：感兴趣区域区域确定模块，根据人脸区域位置和先验概率知识，在人脸区域R_f基础上确定感兴趣区域区域；人脸颜色特征提取模块，在人脸区域R_f中做肤色的概率分布图，找出概率分布大于1％的像素点，计算均值μ和协方差矩阵C，得到肤色的高斯模型；目标像素标记模块，在人脸区域R_f的基础上划出一个肯定包括头发的样本窗口区域R_h，在该区域内根据人脸肤色模型去除掉肤色像素，在剩余像素中提取头发颜色特征，并标记头发像素；背景像素标记模块，在人脸区域R_f中心位置及感兴趣区域的左右上角各取一块区域作为背景区域，并标记为背景。

根据本发明，图像分割模块包括：初始分割模块，用mean shift算法对感兴趣区域中图像做初始分割；目标背景区域标记模块，利用目标、背景标记将分割出的区域标记为背景区域M_B、目标区域M_o以及待合并区域N；MSRM分割模块，包括背景区域合并模块、目标区域合并模块、待合并区域合并模块三部分，经过多次迭代得到最后分割结果。

Claims

1.一种自动的头发区域分割方法，其特征在于包括如下步骤：

第一步：检测人脸：利用人脸检测模块从输入的一张人脸图片中通过训练好的级联分类器探测人脸位置；

第二步：标记目标背景标记：利用目标背景标记模块在人脸位置上划出感兴趣区域，根据位置、颜色特征找出最可能的目标标记与背景标记；

第三步：图像分割：根据目标背景标记，利用图像分割模块分割出头发区域并输出。

2.根据权利1所述的自动的头发区域分割方法，其特征在于，所述第一步的检测人脸方法包括以下步骤：提取Haar特征，训练弱分类器，采用AdaBoost算法选取优化的弱分类器迭代，生成强分类器，进行实时检测得到面部区域R_f。

3.根据权利要求2所述的自动的头发区域分割方法，其特征在于所述AdaBoost算法具体过程如下：分别对采集的人脸样本集和非人脸样本集计算样本积分图，得到矩形特征原型，计算矩形特征值，得到特征集；确定阙值，由矩形特征集生成对应的弱分类器，得到弱分类器集；挑选最优弱分类器，调用AdaBoost算法训练强分类器，得到强分类器集，此时再次判断是否还有非人脸图片集，若判断为是，则补充非人脸样本至非人脸样本集重复上述步骤，若判断为否，则直接得到级联分类器。

4.根据权利1所述的自动的头发区域分割方法，其特征在于，所述第二步的目标背景标记方法包括如下步骤：

(1)感兴趣区域的确定，根据人脸区域位置和先验概率知识，在面部区域R_f基础上确定感兴趣区域，公式如下：

“头发和人脸”区域宽度＝3.6*人脸宽度，

“头发和人脸”区域高度＝3.7*人脸高度；

(2)人脸颜色特征提取，在面部区域R_f中做肤色的概率分布图，找出概率分布大于1％的像素点，计算均值μ和协方差矩阵C，得到肤色的高斯模型；

(3)目标像素标记，在面部区域R_f的基础上划出一个肯定包括头发的样本窗口区域R_h，其中：

L_{x}^{R_{h}} = L_{x}^{R_{f}}

R_{x}^{R_{h}} = R_{x}^{R_{f}}

U_{y}^{R_{h}} = U_{y}^{R_{f}} - 1 / 2 (R_{x}^{R_{f}} - L_{x}^{R_{f}})

D_{y}^{R_{h}} = D_{y}^{R_{f}} + 1 / 4 (R_{x}^{R_{f}} - L_{x}^{R_{f}})

其中

分别代表头发样本窗口R_h的左右上下边界，同样

分别代表面部区域R_f的左右上下边界；

(4)背景像素标记，在面部区域R_f中心位置及感兴趣区域的左右上角各取一块区域作为背景区域，并标记为背景。

5.根据权利1所述的方法，其特征在于，所述第三步的图像分割方法包括：初始图像分割，用mean shift算法对感兴趣区域中图像做初始分割，得到小的区域；目标背景区域标记，如果一个区域中有背景标记存在，则将其标记为背景区域，如果一个区域中有目标标记存在，则将其标记为目标区域，剩下的区域标记为待合并区域；

6.根据权利5所述的方法，其特征在于，所述的MSRM分割算法包括以下过程：

C、将待合并区域中的区域与其相邻区域进行迭代合并，直到没有新区域形成时迭代停止；重复上述步骤A、步骤B、步骤C，直到步骤C中没有迭代合并动作时停止。