CN105225245A - 基于纹理分布弱假设和正则化策略的自然图像抠图方法 - Google Patents

Abstract

本发明提供了一种基于纹理分布弱假设和正则化策略的自然图像抠图方法，本发明针对贝叶斯抠图算法的不足作出了改进，首先针对原方法假设过强，本发明减弱了该假设，基于直方图和巴氏距离，定义和设计了对高斯分布方差进行修正的计算测度和修正系数，从而提出一种考虑纹理复杂程度的自适应方差高斯分布模型，有效应对自然图像的复杂纹理分布；其次，针对原方法的计算模型，本发明在给出一个理想的纠偏性颜色估计优化模型及其求解问题的基础上，提出了一种基于正则化策略的抠图算法模型，即通过增广拉格朗日乘子法，在基本模型中增加了数据约束项与惩罚项，获得理想优化模型的一个正则化形式的求解模型。

Description

基于纹理分布弱假设和正则化策略的自然图像抠图方法

技术领域

本发明涉及图像抠图领域，尤其涉及一种基于纹理分布弱假设和正则化策略的自然图像抠图方法。

背景技术

抠图是图像处理的热点问题，抠图是将图像中的一部分从整幅图像中分离出来。分离出来的部分称为前景，余下的部分称为背景。抠图广泛应用于数字图像编辑、影视特效制作、虚拟现实等各种领域。但是抠图问题是一个典型的欠约束问题，没有精确的解析解，一直是计算机图像处理领域的挑战性问题。

当前主流的抠图算法有两大类方法：基于采样的方法和基于传播的方法。基于采样的方法是利用邻域的像素信息，而基于传播的方法则是主要利用邻接像素的信息。

基于采样的方法利用了图像颜色分布的局部相似性和连续性，假设每个未知像素的前景和背景都可以从邻域内已知像素获取，对于每个未知点的像素，在已知区域内选择最优的样本来进一步求解掩像值。

发明内容

为了解决上述问题，本发明提供了一种基于纹理分布弱假设和正则化策略的自然图像抠图方法。

本发明的技术方案是：一种基于纹理分布弱假设和正则化策略的自然图像抠图方法，其特点在于以下步骤：

步骤1：将图像分为三个部分，已知前景区域，已知背景区域和未知待求解区域；

步骤2：在未知待求解区域取一个点p，假设坐标是(x,y)；在p周围半径r内分别采集前景样本和背景样本；

步骤3：对采集到的样本作分簇处理，得到分簇的结果前景的加权均值和背景的加权均值前景的协方差矩阵Σ_F和背景的协方差矩阵Σ_B；

步骤4：通过贝叶斯框架建立颜色、不透明度的数学关系模型P(F,B,α|C)，然后使用最大后验概率MaximumAPosteriori——MAP对模型进行优化求解；

通过贝叶斯公式将模型转化：

$\arg \max \underset{F,B,\mathrm{\α}}{P(F,B,\mathrm{\α}|C)}=\underset{F,B,\mathrm{\α}}{\arg \max P\left(C\right|F,B,\mathrm{\α})}P\left(F\right)P\left(B\right)P\left(\mathrm{\α}\right)/P\left(C\right)$

对转化的模型进行对数操作：

argmaxL(F,B,α|C)＝L(C|F,B,α)+L(F)+L(B)

其中，L(α)是常数；

对L(C),L(F),L(B)三个对数似然函数的具体形式使用高斯分布函数描述：

$L\left(C\right|F,B,\mathrm{\α})=-\left|\right|C-\mathrm{\α}F-(1-\mathrm{\α})B|{|}^2/{\mathrm{\σ}}_c^2$

$L\left(F\right)=-{(F-\stackrel{\‾}{F})}^T{\mathrm{\Σ}}_F^{-1}(F-\stackrel{\‾}{F})$

$L\left(B\right)=-{(B-\stackrel{\‾}{B})}^T{\mathrm{\Σ}}_B^{-1}(B-\stackrel{\‾}{B})$

P(F,B,α|C)为在C已知的条件下，F，B，α是正确结果的概率；

P(C|F,B,α)为在F，B，α已知的条件下，所求的C是正确结果的概率；

P(F)为所求F是正确结果的概率；

P(B)为所求B是正确结果的概率；

P(α)为所求α是正确结果的概率；

P(C)为C是正确结果的概率，此处C是常数；

为使概率P(C|F,B,α)最大化的表达式；

argmaxL(F,B,α|C)为的对数转换；将 $\underset{F,B,\mathrm{\α}}{\arg \max P(F,B,\mathrm{\α}|C)}$ 从乘法变成加法；

L(C|F,B,α)为P(C|F,B,α)转换之后的对数似然函数，用高斯分布函数描述；

L(F)为P(F)转换之后的对数似然函数，用高斯分布函数描述；

L(B)为P(B)转换之后的对数似然函数，用高斯分布函数描述；

L(α)为P(α)转换之后的对数似然函数，用高斯分布函数描述；

L是似然函数，F是前景色，B是背景色，C是当前像素颜色，α是待求解的像素不透明度，在此假设α是常数；θ是调节参数，N是邻域内像素点数量；n_i是直方图第i个灰度级的数量；v_i是直方图第i个灰度级；是原始固定方差；m是直方图灰度级总数；

步骤5.基于自适应方差的高斯分布假设与巴氏距离，提出了测量图像纹理复杂程度的一个测度计算公式基于上述测度，构建一个方差修正系数对原公式中的方差进行修正，修正之后的考虑纹理分布复杂程度的方差计算式为构建的基于纹理分布弱假设的似然函数的L(C)表达式为

$L\left(C\right|F,B,\mathrm{\α})=\frac{-\left|\right|C-\mathrm{\α}F-(1-\mathrm{\α})B|{|}^2}{\mathrm{\θ}\×\underset{i=1}{\overset{n}{\Σ}}\sqrt{n_i\×v_i}/(\underset{i=1}{\overset{m}{\Σ}}{n}_i-1)\×{\mathrm{\σ}}_c^2}.$

步骤6.给原模型增加不等式约束，在颜色估计优化模型计算方法中，增加了L1正则化的约束项与L2正则化的惩罚项，得到基于正则化策略的具有纠偏性的颜色估计优化模型与计算公式：

$\begin{array}{c}\arg \max L(\·)=L\left(C|F,B,\mathrm{\α}\right)+L\left(F\right)+L\left(B\right)+L\left(\mathrm{\α}\right)\\ +{\mathrm{\λ}}_{f1}\left|\right|F-1\left|\right|+{\mathrm{\λ}}_{b1}\left|\right|B-1\left|\right|+{\mathrm{\λ}}_{\mathrm{\α}1}\left|\right|\mathrm{\α}-1\left|\right|\\ +\frac{1}{2}{\mathrm{\λ}}_{f2}\left|\right|F-1|{|}^2+\frac{1}{2}{\mathrm{\λ}}_{b2}||B-1|{|}^2+\frac{1}{2}{\mathrm{\λ}}_{\mathrm{\α}2}\left|\right|\mathrm{\α}-1|{|}^2\end{array}.$

其中，λ_f1是有效样本点中前景点的比例；λ_b1是有效样本点中背景点的比例；λ_α1是邻域内α的均值；λ_f2是前景聚类结果的方差；λ_b2是背景聚类结果的方差；λ_α2是邻域内α的均值；

步骤7.固定α为常数，对F,B求偏导解出F,B的值；

步骤8.再利用得到的F,B的值计算α；

步骤9.是否所有的未知点计算完毕，是则算法结束；否则回到步骤2。

优选的，所述的步骤2中所采集样本的邻域是个滑动窗口。

优选的，所述的步骤3中使用OM分簇方法对样本分簇中所进行的分簇处理，使相似的颜色分在一个簇里面。

优选的，所述的步骤5中利用直方图的数据和巴氏距离计算生成似然函数L(C|F,B,α)高斯分布的方差。

优选的，所述的步骤6中，是基于正则化原则和不等式约束对F、B和α的结果进行约束，通过增广拉格朗日乘子法将求优化函数，约束项，惩罚项合并成一个公式。

优选的，所述的θ的值为100，的值为0.01；m的值为256。

附图说明

图1为本方法的流程图。

具体实施方式

下面结合附图对本发明进一步说明。

本发明提出了一种基于纹理分布弱假设和正则化策略的自然图像抠图方法，基于贝叶斯抠图方法改进而来。贝叶斯抠图方法是一种基于采样的经典抠图方法，利用最大后验概率来建立图像颜色不透明度的数学模型。但是该方法存在两个不足。首先，原抠图模型假设过强，即图像纹理分布符合固定方差的高斯分布，适合简单纹理分布的图像。其次，原抠图算法是一个基本优化计算模型，在初始值误差较大或者不透明度值在值域边界附近时候，求解误差大或者失效。

本发明针对贝叶斯抠图算法的不足作出了改进。首先针对原方法假设过强，本发明减弱了该假设，基于直方图和巴氏距离，定义和设计了对高斯分布方差进行修正的计算测度和修正系数，从而提出一种考虑纹理复杂程度的自适应方差高斯分布模型，有效应对自然图像的复杂纹理分布。其次，针对原方法的计算模型，本发明在给出一个理想的纠偏性颜色估计优化模型及其求解问题的基础上，提出了一种基于正则化策略的抠图算法模型，即通过增广拉格朗日乘子法，在基本模型中增加了数据约束项与惩罚项，获得理想优化模型的一个正则化形式的求解模型。

实施例：本实施采用目前主流的matlab工具编程实现。

测试用例www.alphamatting.com上提供的测试图集。

采样处理阶段：

步骤1：构建trimap,将图像分为三个部分，已知前景区域，已知背景区域和未知待求解区域；

步骤2：在未知待求解区域取一个点p，假设坐标是(x,y)；以p点为中心的区域采集样本。在p周围半径r内分别采集前景样本和背景样本；

步骤3：使用OM分簇方法对样本分簇，得到分簇的结果前景的加权均值和背景的加权均值前景的协方差矩阵Σ_F和背景的协方差矩阵Σ_B；

颜色处理阶段：

步骤4：通过贝叶斯框架建立颜色、不透明度的数学关系模型P(F,B,α|C)，然后使用最大后验概率MaximumAPosteriori——MAP对模型进行优化求解；

通过贝叶斯公式将模型转化：

$\underset{F,B,\mathrm{\α}}{\arg \max P(F,B,\mathrm{\α}|C)}=\underset{F,B,\mathrm{\α}}{\arg \max P\left(C\right|F,B,\mathrm{\α})}P\left(F\right)P\left(B\right)P\left(\mathrm{\α}\right)/P\left(C\right)$

对转化的模型进行对数操作：

argmaxL(F,B,α|C)＝L(C|F,B,α)+L(F)+L(B)

其中，L(α)是常数，不参与计算。

对L(C),L(F),L(B)三个对数似然函数的具体形式使用高斯分布函数描述：

$L\left(C\right|F,B,\mathrm{\α})=-\left|\right|C-\mathrm{\α}F-(1-\mathrm{\α})B|{|}^2/{\mathrm{\σ}}_c^2$

$L\left(F\right)=-{(F-\stackrel{\‾}{F})}^T{\mathrm{\Σ}}_F^{-1}(F-\stackrel{\‾}{F})$

$L\left(B\right)=-{(B-\stackrel{\‾}{B})}^T{\mathrm{\Σ}}_B^{-1}(B-\stackrel{\‾}{B})$

P(F,B,α|C)为在C已知的条件下，F，B，α是正确结果的概率；

P(C|F,B,α)为在F，B，α已知的条件下，所求的C是正确结果的概率；

P(F)为所求F是正确结果的概率；

P(B)为所求B是正确结果的概率；

P(α)为所求α是正确结果的概率；

P(C)为C是正确结果的概率，此处C是常数；计算中忽略本项；

为使概率P(C|F,B,α)最大化的表达式；

argmaxL(F,B,α|C)为的对数转换；将从乘法变成加法；形式为L(·)＝logP(·)。

L(C|F,B,α)为P(C|F,B,α)转换之后的对数似然函数，用高斯分布函数描述；

L(F)为P(F)转换之后的对数似然函数，用高斯分布函数描述；

L(B)为P(B)转换之后的对数似然函数，用高斯分布函数描述；

L(α)为P(α)转换之后的对数似然函数，用高斯分布函数描述；

L是似然函数，F是前景色，B是背景色，C是当前像素颜色，α是待求解的像素不透明度，在此假设α是常数，计算中忽略本项；θ是调节参数，值为100，N是邻域内像素点数量；n_i是直方图第i个灰度级的数量；v_i是直方图第i个灰度级；是原始固定方差，值为0.01；m是直方图灰度级总数，值为256；

步骤5.基于自适应方差的高斯分布假设与巴氏距离，提出了测量图像纹理复杂程度的一个测度计算公式基于上述测度，构建一个方差修正系数对原公式中的方差进行修正，修正之后的考虑纹理分布复杂程度的方差计算式为该方差计算式能够正确的反应图像纹理复杂的程度，使模型的精确度更高；构建的基于纹理分布弱假设的似然函数的L(C)表达式为

$L\left(C\right|F,B,\mathrm{\α})=\frac{-\left|\right|C-\mathrm{\α}F-(1-\mathrm{\α})B|{|}^2}{\mathrm{\θ}\×\underset{i=1}{\overset{n}{\Σ}}\sqrt{n_i\×v_i}/(\underset{i=1}{\overset{m}{\Σ}}{n}_i-1)\×{\mathrm{\σ}}_c^2}.$

步骤6.给原模型增加不等式约束，在颜色估计优化模型计算方法中，增加了L1正则化的约束项与L2正则化的惩罚项，得到基于正则化策略的具有纠偏性的颜色估计优化模型与计算公式；

在贝叶斯抠图方法中，有两种情况会导致α的计算结果偏离真实结果。1)如果的α初始值的初始值和实际值相差较大，会导致F，B与实际结果有明显的误差，C点的投影落在F，B外，得到的会出现大于0或者小于1的情况。迭代求解的α值难以收敛到真实值。2)α的真实结果在区域边界附近。因此，针对原模型的不足，本发明提出了一个理想的纠偏性颜色估计优化模型：

$\begin{array}{c}\underset{F,B,\mathrm{\α}}{\arg \max P(F,B,\mathrm{\α}|C)}\\ =\underset{F,B,\mathrm{\α}}{\arg \max P\left(C|F,B,\mathrm{\α}\right)}P\left(F\right)P\left(B\right)P\left(\mathrm{\α}\right)/P\left(C\right)\\ =\underset{F,B,\mathrm{\α}}{\arg \max L\left(C|F,B,\mathrm{\α}\right)+L\left(F\right)+L\left(B\right)+L\left(\mathrm{\α}\right)}\\ s.t.F:0\≤F\≤1,B:0\≤B\≤1,\mathrm{\α}:0\≤\mathrm{\α}\≤1\end{array}$

在原模型中引入不等式约束，对优化参数F、B和α进行必要的纠正。求解约束优化问题的重要途径之一，是把它们转化成无约束优化问题进行求解。增广拉格朗日乘子法，通过拉格朗日乘子把所有的等式约束、不等式约束和目标函数组合成为一个带约束的目标函数式子。本发明基于正则化策略，结合增广拉格朗日乘子法和约束不等式，在颜色估计优化模型计算方法中，增加了L1，L2正则化的约束项与惩罚项； $\begin{array}{c}+{\mathrm{\λ}}_{f1}\left|\right|F-1\left|\right|+{\mathrm{\λ}}_{b1}\left|\right|B-1\left|\right|+{\mathrm{\λ}}_{\mathrm{\α}1}\left|\right|\mathrm{\α}-1\left|\right|\\ +\frac{1}{2}{\mathrm{\λ}}_{f2}\left|\right|F-1|{|}^2+\frac{1}{2}{\mathrm{\λ}}_{b2}||B-1|{|}^2+\frac{1}{2}{\mathrm{\λ}}_{\mathrm{\α}2}\left|\right|\mathrm{\α}-1|{|}^2\end{array}.$ 得到基于正则化策略的具有纠偏性的颜色估计优化模型与计算公式：

$\begin{array}{c}\arg \max L(\·)=L\left(C|F,B,\mathrm{\α}\right)+L\left(F\right)+L\left(B\right)+L\left(\mathrm{\α}\right)\\ +{\mathrm{\λ}}_{f1}\left|\right|F-1\left|\right|+{\mathrm{\λ}}_{b1}\left|\right|B-1\left|\right|+{\mathrm{\λ}}_{\mathrm{\α}1}\left|\right|\mathrm{\α}-1\left|\right|\\ +\frac{1}{2}{\mathrm{\λ}}_{f2}\left|\right|F-1|{|}^2+\frac{1}{2}{\mathrm{\λ}}_{b2}||B-1|{|}^2+\frac{1}{2}{\mathrm{\λ}}_{\mathrm{\α}2}\left|\right|\mathrm{\α}-1|{|}^2\end{array}.$

其中，λ_f1是有效样本点中前景点的比例；λ_b1是有效样本点中背景点的比例；λ_α1是邻域内α的均值；λ_f2是前景聚类结果的方差；λ_b2是背景聚类结果的方差；λ_α2是邻域内α的均值；

步骤7.固定α为常数，对F,B求偏导解出F,B的值；

步骤8.再利用得到的F,B的值计算α；

步骤9.是否所有的未知点计算完毕，是则算法结束；否则回到步骤2。

Claims (6)

1.一种基于纹理分布弱假设和正则化策略的自然图像抠图方法，其特点在于以下步骤：

步骤1：将图像分为三个部分，已知前景区域，已知背景区域和未知待求解区域；

步骤2：在未知待求解区域取一个点p，假设坐标是(x,y)；在p周围半径r内分别采集前景样本和背景样本；

步骤3：对采集到的样本作分簇处理，得到分簇的结果前景的加权均值和背景的加权均值前景的协方差矩阵Σ_F和背景的协方差矩阵Σ_B；

步骤4：通过贝叶斯框架建立颜色、不透明度的数学关系模型P(F,B,α|C)，然后使用最大后验概率MaximumAPosteriori——MAP对模型进行优化求解；

通过贝叶斯公式将模型转化：

$\underset{F,B,\mathrm{\α}}{\arg \max P(F,B,\mathrm{\α}|C)}=\underset{F,B,\mathrm{\α}}{\arg \max P\left(C\right|F,B,\mathrm{\α})}P\left(F\right)P\left(B\right)P\left(\mathrm{\α}\right)/P\left(C\right)$

对转化的模型进行对数操作：

argmaxL(F,B,α|C)＝L(C|F,B,α)+L(F)+L(B)

其中，L(α)是常数，

对L(C),L(F),L(B)三个对数似然函数的具体形式使用高斯分布函数描述：

$L\left(C\right|F,B,\mathrm{\α})=-\left|\right|C-\mathrm{\α}F-(1-\mathrm{\α})B|{|}^2/{\mathrm{\σ}}_c^2$

$L\left(F\right)=-{(F-\stackrel{\‾}{F})}^T{\mathrm{\Σ}}_F^{-1}(F-\stackrel{\‾}{F})$

$L\left(B\right)=-{(B-\stackrel{\‾}{B})}^T{\mathrm{\Σ}}_B^{-1}(B-\stackrel{\‾}{B})$

P(F,B,α|C)为在C已知的条件下，F，B，α是正确结果的概率；

P(C|F,B,α)为在F，B，α已知的条件下，所求的C是正确结果的概率；

P(F)为所求F是正确结果的概率；

P(B)为所求B是正确结果的概率；

P(α)为所求α是正确结果的概率；

P(C)为C是正确结果的概率，此处C是常数；

为使概率P(C|F,B,α)最大化的表达式；

argmaxL(F,B,α|C)为的对数转换；将从乘法变成加法；

L(C|F,B,α)为P(C|F,B,α)转换之后的对数似然函数，用高斯分布函数描述；

L(F)为P(F)转换之后的对数似然函数，用高斯分布函数描述；

L(B)为P(B)转换之后的对数似然函数，用高斯分布函数描述；

L(α)为P(α)转换之后的对数似然函数，用高斯分布函数描述；

L是似然函数，F是前景色，B是背景色，C是当前像素颜色，α是待求解的像素不透明度，在此假设α是常数；θ是调节参数，N是邻域内像素点数量；n_i是直方图第i个灰度级的数量；v_i是直方图第i个灰度级；是原始固定方差；m是直方图灰度级总数；

步骤5.基于自适应方差的高斯分布假设与巴氏距离，提出了测量图像纹理复杂程度的一个测度计算公式基于上述测度，构建一个方差修正系数对原公式中的方差进行修正，修正之后的考虑纹理分布复杂程度的方差计算式为构建的基于纹理分布弱假设的似然函数的L(C)表达式为 $L\left(C\right|F,B,\mathrm{\α})=\frac{-\left|\right|C-\mathrm{\α}F-(1-\mathrm{\α})B|{|}^2}{\mathrm{\θ}\×\underset{i=1}{\overset{n}{\Σ}}\sqrt{n_i\×v_i}/(\underset{i=1}{\overset{m}{\Σ}}{n}_i-1)\×{\mathrm{\σ}}_c^2}$

步骤6.给原模型增加不等式约束，在颜色估计优化模型计算方法中，增加了L1正则化的约束项与L2正则化的惩罚项，得到基于正则化策略的具有纠偏性的颜色估计优化模型与计算公式：

$\begin{array}{c}\arg \max L(\·)=L\left(C|F,B,\mathrm{\α}\right)+L\left(F\right)+L\left(B\right)+L\left(\mathrm{\α}\right)\\ +{\mathrm{\λ}}_{f1}\left|\right|F-1\left|\right|+{\mathrm{\λ}}_{b1}\left|\right|B-1\left|\right|+{\mathrm{\λ}}_{\mathrm{\α}1}\left|\right|\mathrm{\α}-1\left|\right|\\ +\frac{1}{2}{\mathrm{\λ}}_{f2}\left|\right|F-1|{|}^2+\frac{1}{2}{\mathrm{\λ}}_{b2}||B-1|{|}^2+\frac{1}{2}{\mathrm{\λ}}_{\mathrm{\α}2}\left|\right|\mathrm{\α}-1|{|}^2\end{array}$

其中，λ_f1是有效样本点中前景点的比例；λ_b1是有效样本点中背景点的比例；λ_α1是邻域内α的均值；λ_f2是前景聚类结果的方差；λ_b2是背景聚类结果的方差；λ_α2是邻域内α的均值；

步骤7.固定α为常数，对F,B求偏导解出F,B的值；

步骤8.再利用得到的F,B的值计算α；

步骤9.是否所有的未知点计算完毕，是则算法结束；否则回到步骤2。

2.根据权利要求1所述基于纹理分布弱假设和正则化策略的自然图像抠图方法，其特征在于：所述的步骤2中所采集样本的邻域是个滑动窗口。

3.根据权利要求1所述基于纹理分布弱假设和正则化策略的自然图像抠图方法，其特征在于：所述的步骤3中使用OM分簇方法对样本分簇中所进行的分簇处理，使相似的颜色分在一个簇里面。

4.根据权利要求1所述基于根据基于纹理分布弱假设和正则化策略的自然图像抠图方法，其特征在于：所述的步骤5中利用直方图的数据和巴氏距离计算生成似然函数L(C|F,B,α)高斯分布的方差。

5.根据权利要求1所述基于纹理分布弱假设和正则化策略的自然图像抠图方法，其特征在于：所述的步骤6中，是基于正则化原则和不等式约束对F、B和α的结果进行约束，通过增广拉格朗日乘子法将求优化函数，约束项，惩罚项合并成一个公式。

6.根据权利要求1所述基于纹理分布弱假设和正则化策略的自然图像抠图方法，其特征在于：所述的θ的值为100，的值为0.01；m的值为256。