CN109741268B - 一种针对壁画的破损图像补全方法 - Google Patents

Abstract

本发明涉及一种针对壁画的破损图像补全方法，包括以下步骤：建立并训练一个颜色补全模型，通过模型对训练数据集的特征学习，完成颜色补全模型的建立，得到可以正确预测缺失区域颜色块的初步修复的图像记作I₁；建立纹理补全模型，充分利用在生成对抗网络的输出图I₁的基础上，对I₁进行基于纹理的自适应图像修补方法，完成纹理模型的建立，得到可以正确预测缺失区域纹理的修复图像I₂；将前两步得到的分别具有缺失区域颜色和纹理的壁画进行融合，使得补全结果更加完备。

Description

一种针对壁画的破损图像补全方法

技术领域

本发明涉及计算机视觉领域，尤其涉及图像补全领域。其中，根据古代壁画的颜色和结构特征，设计了基于神经网络的全局与局部特征的古代壁画修补方法，可以实现对于壁画损坏的补全。

背景技术

壁画作为人类历史上最早的绘画形式之一，是人类历史文明的见证，是古今文化传承的载体。随着年代的推演，大型的壁画由于各种自然以及人为因素有着不同的损坏，由此对壁画的保护一直是人们探索的领域，正确按照壁画风格修补壁画的缺失区域是其关键。传统手工补全破损壁画需要补全人员具有专业的专家知识和绘画功底，这导致了传统手工补全壁画效率低下且不易存储以及更新，怎样更好、更高效的修补壁画的缺失区域对壁画保护有着重要的意义。从图像角度上说，每幅图像都具有不同特征的纹理和颜色特征。壁画同样也是，由于壁画的特殊的颜色特征和纹理特征，从技术上讲，壁画修补的技术的修补效果与主要的两个因素有关：一是壁画的颜色，本方法中使用生成对抗神经网络对壁画颜色进行颜色特征的提取，在保证完好部分颜色符合原始图像的基础上，使得破损区域的颜色得到一定程度的补全。另一个是壁画的纹理特征，在得到壁画缺失区域的颜色之后对壁画(修补后)进行纹理提取，再通过算法对缺失区域的纹理进行进一步的搜索，并预测缺失区域的纹理走向，生成纹理。

特征提取是计算机视觉和图像处理中的一个概念。它指的是使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征。特征提取的结果是把图像上的点分为不同的子集，这些子集往往属于孤立的点、连续的曲线或者连续的区域。特征的精确定义往往由问题或者应用类型决定。特征是一个数字图像中“有趣”的部分，它是许多计算机图像分析算法的起点。因此一个算法是否成功往往由它使用和定义的特征决定。因此特征提取最重要的一个特性是“可重复性”同一场景的不同图像所提取的特征应该是相同的。常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征。卷积神经网络的发展为特征提取提供了很好地工具。卷积特征提取利用了自然图像的统计平稳性，这一部分学习的特征也能用在另一部分上，所以对于这个图像上的所有位置，我们都能使用同样的学习特征。当卷积神经网络中有多个过滤器时，我们就可以学到多个特征，例如：颜色、纹理等，使用卷积神经网络提取的特征会组成一个完整的特征图。

颜色特征是一种全局特征，描述了图像或图像区域所对应的景物的表面性质。一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征。另外，仅使用颜色特征查询时，如果数据库很大，常会将许多不需要的图像也检索出来。颜色直方图是最常用的表达颜色特征的方法，其优点是不受图像旋转和平移变化的影响，进一步借助归一化还可不受图像尺度变化的影响，基缺点是没有表达出颜色空间分布的信息。

纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质。与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算。在模式匹配中，这种区域性的特征具有较大的优越性，不会由于局部的偏差而无法匹配成功。常见的模式识别方法对图像特征提取方法，一种为像素级别，即对图像中每点像素提取特征，优点在于匹配准确度高，但速度慢另一种为将图像划分为形状规则的子图，对每一个子图提取特征，子图越大速度越快，但与此同时准确度越低。显然这两种方法不能同时保证准确度与速度，因此需要提出一种更加合理的同时保证准确度和速度的特征提取方法，以助于提高分割的效率和精度。

现阶段图像分割技术主要针对图片中分布集中的物体，如：动物，人物，人脸等，但在某些领域，检测物体并非连续集中分布在图像中心区域。待分割区域分布广泛，可能是背景，也可能是人物的某一部分。情况复杂。所以，为了更加准确的指定出待修补区域，本方法采用了交互式分割的方式，并将其应用在古代壁画修补区域检测分割的具体问题中，大大提升了修补的准确性。

发明内容

本发明提供一种针对壁画的破损图像补全方法，运用基于深度学习神经网络的图像补全方式进行破损壁画的补全，提高了壁画修补的准确性，技术方案如下：

一种针对壁画的破损图像补全方法，包括以下步骤：

(1)建立并训练一个颜色补全模型，通过模型对训练数据集的特征学习，完成颜色补全模型的建立，得到可以正确预测缺失区域颜色块的初步修复的图像记作I₁，步骤如下：

第1步：生成多幅图像遮罩图当做训练模型的一个输入记作M，收集多幅完整壁画图像记作I，并对各个完整壁画图像进行数据扩充扩充数据的多样性，当做训练模型的另一个输入，构造训练数据集；

第2步：通过深度学习方法，对目标图像进行滑动窗口似的卷积核进行特征提取，学习训练数据的图像特征，同时使用损失函数L_adv对训练过程进行优化，使得生成对抗神经网络中的生成模型生成的图片足够真实，这里的损失函数L_adv是指生成对抗神经网络的损失函数：

其中D(.)表示生成对抗神经网络的判别模型，其输出为概率值；G(I,M)表示生成对抗神经网络中的生成模型，其输出为一张图片，即初步修复的图像I₁，I₁＝G(I,M)，两种模型都是若干卷积神经网络的叠加；当判别模型判别来自生成模型生成的图片时，D(I₁)-＞0，则(1-D(I₁))-＞1，即E_fake[log(1-D(I₁))-＞0，当判别模型判别真实图片时使E_real[logD(I)]-＞1，数学符号->表示趋近，生成模型G(I,M)的损失函数是极小值函数，通过不断优化L_adv函数，使得生成模型G(I,M)和判别模型D(.)的参数逐步达到最优值；

第3步：对生成对抗神经网络模型进行迭代训练，设置迭代次数，同时通过目标函数L_l1＝||I₁-I||₁对当前的生成模型进行评估，直到对抗神经网络模型的损失函数收敛，这里的L_l1损失函数是曼哈顿距离损失；

(2)其次建立纹理补全模型，充分利用在生成对抗网络的输出图I₁的基础上，对I₁进行基于纹理的自适应图像修补方法，完成纹理模型的建立，得到可以正确预测缺失区域纹理的修复图像I₂；具体步骤如下：

第1步：在I₁的基础上计算破损区块的优先级，确定纹理缺损区的优先顺序；通过计算边界坐标点p的置信度项与数据项N(p)与O(p)，得到带有颜色指导的待补全像素块的优先级的坐标值，其中，优先级函数为：P(p)＝αN(p)+βO(p)，α＝1，β＝3；

第2步：提取I₁的纹理图记作I_t，将纹理补全模型的第1步中得到的带有颜色指导的待补全像素块坐标值传递给I_t使得纹理图预测缺失区域的纹理，得到纹理的修补图像记作I_t1；

第3步：重复步骤1和2，直到补全完成得到I₂；

(3)将前两步得到的分别具有缺失区域颜色和纹理的壁画进行融合，使得补全结果更加完备，融合图像为：

I₁和I₂表示颜色补全模型和纹理补全模型的结果图。

本发明提供的技术方案的有益效果是：本方法使用半监督学习产生目标区域壁画图像，可以针对古代壁画的任意位置任意形状的缺失进行补全。实验结果表明，破损区域的大小和算法补全效果的满意度有着正相关的联系，壁画缺失块区域小，得到的补全结果越满意。和传统的古壁画补全算法相比，准确度和满意度得到了很大程度的提升。将深度学习运用到壁画补全中提高了壁画补全的速度，在相同时间内补全的壁画数量，与传统方法相比，至少提高了两倍的速度。

附图说明

图1为本方法的流程图

图2为本方法的颜色补全模型的流程图

图3为所提方法过程示例图

(a)图是原始的破损图像

(b)图是输入图像

(c)图是经过颜色补全模型得到的结果

(d)图是经过纹理补全模型得到的结果

(e)图是最终得到的结果

图4为部分实验结果

(a)列是破损的壁画

(b)列是补全的壁画图

具体实施方式

在本发明中，将使用一种针对壁画的破损图像补全方法对壁画进行修补，针对壁画对缺失区域首先训练一个颜色补全模型，得到初步补全的壁画缺失颜色块的图像I₁；其次建立纹理预测模型，补全I₁缺失的纹理信息得到I₂；最后建立图像融合算法将前两步得到的分别具有颜色和纹理约束的壁画进行融合，使得补全结果更加完备。

基于对抗神经网络的图像主要灵感来源是博弈论中的零和博弈思想，应用到深度学习神经网络中，就是通过生成对抗神经网络中的生成模型G(I,M)和判别模型D(.)不断博弈，而不断优化生成模型和判别模型的网络中的参数，使得生成模型和判别模型都学习到图片中的数据分布规律。

其中G(I,M)的输入数据是一张壁画(用I来表示)和一张遮罩图片(用M来表示)，输出是一张补全了遮罩图片区域的图片(用I₁来表示)。

D(.)的输入数据是I₁，输出数据是一个概率值，取值范围为[0,1]，该数值表示生成模型生成的I₁图片是真实图片的概率值。0表示I₁是一张合成的假图片(I₁检测出补全痕迹),1表示I₁是一张真实的图片(I₁未检测出补全痕迹)。

在对抗神经网络中，G(I,M)和D(.)联合训练，不断优化生成模型和判别模型的网络中的参数，从而达到G(I,M)可以生成足够真实的补全图片,以达到破损壁画补全的效果。

具体步骤如下：

1.颜色补全模型：

最直接的方式是训练回归网络f使得响应函数G(I,M)生成满意度较高的壁画图像，由于敦煌壁画是一种独创性工作，所以收集到的数据量是有限的，我们的模型是居于小样本的深度学习模型训练。具体技术方案包括以下内容：

第1步：输入图像I和破损区域的遮罩图M，采用滑动窗口的方式对训练图像进行特征提取，后通过不断迭代训练完成的模型对破损区域的颜色进行正确的预测，以达到颜色的补全。其中函数的目标函数由3部分组成分别定义为式(1)，式(2),式(3)：

其中，I是输入的壁画图像，I₁是生成模型的输出图片，M是生成的遮罩图像，L_adv是生成对抗神经网络损失函数。在训练过程中，分别对生成对抗神经网络中的生成模型和判别模型运用L_adv损失函数进行联合训练，使得生成模型的损失函数值趋近于极小，使得判别模型的损失函数值趋近于极大。其中D(.)表示生成对抗神经网络的判别模型，G(I,M)表示生成对抗神经网络中的生成器模型，两种模型都是若干卷积神经网络的叠加。

局部着重补全函数定义为是(2):

其中，Φ_M(I₁)表示生成模型的输出图片I₁的遮罩区域，Φ(I)表示输入图片I的遮罩区域。在一轮迭代结束之后对I₁和I的遮罩区域进行二范式计算，目的为了使得生成对抗神经网络生成的整张图片的遮罩区域足够真实。

全局优化函数为式(3)：

L_l1＝||I₁-I||₁ (3)

其中I表示输入图像，I₁表示生活层模型的输出图片，这里的L_l1是指曼哈顿距离函数，在一轮训练迭代结束之后对I和I₁进行曼哈顿距离计算，损失函数越小，表明生成的图片越真实，目的为了使得生成对抗神经网络生成的图片的遮罩区域足够真实。

第2步：迭代第一步的过程，并使用本方法定义的损失函数，对模型的进行优化，本方法定义的损失函数如公式(4)所示。

L＝L_l1+λ_eL_e+λ_advL_adv (4)

其中λ_e和λ_adv是超参数，二者的取值影响着补全图像的精确程度。我们这里的λ_e＝0.01，λ_adv＝0.5。

2.纹理补全模型：

纹理的修补顺序对补全效果起着至关重要的作用，首先确定缺失是纹理块的修补优先级。本方法确定修补优先级的方法是根据边缘处待修补快的优先级确定的，本方法需要确定，边缘处3*3领域内包含的已知信息量和包含的已知结构信息，包含的包含的已知信息较多和包含的已知结构信息量较大的区域，优先级越大，修补顺序越优先。具体技术方案包括以下内容：

第1步：利用边界坐标信息来确定补全像素块的优先级，即置信矩阵N(p)。选择以p为中心的目标纹理块

M为遮罩区域。其中N(p)表示目标区域

的已知信息量，O(p)表示结构信息量。本方法的优先权函数定义为公式(5)

P(p)＝αN(p)+βO(p)(5)

α，β为超参数，决定着置信矩阵的影响程度，这里我们取α＝1，β＝3。本方法定义

为目标纹理块的面积即目标纹理去像素的个数，在本方法中采用3*3的目标纹理块。其中

N(q)为像素点q的置信度，其中

如果待补全纹理块中位于样本区的像素点多，这个纹理块的置信度就高，他的邮箱顺序就大。μ为归一化因子，我们取μ＝255，n_p为填充p点的法向量，

表示p点光照线方向，其中I_x和I_y分别带边限速点p在x和y方向上的偏导数。

得到的优先权函数P(p)，P(p)越大越优先补全。

第2步：提取I₁的纹理图I_t,按照优先权函数对I₁进行顺时针方向寻找最佳块匹配，得到一个最佳快匹配的坐标值，将坐标值传递给纹理图I_t完成纹理图像的补全，得到I_t1。

第3步：重复上述步骤，直到补全完成得到I₂。

3.单通道加权平均融合算法：

将得到的I1和I2进行图像融合，得到最终结果。具体技术方案包括以下内容：

其中

和σ的取值在[0,1]。控制整体和纹理的明显程度。在本次实验中我们选取

σ＝0.8。

为了验证本方法的有效性，我们使用高清单反相机拍摄破损的壁画图，拍摄地址为甘肃敦煌莫高窟，采用Ubuntu16.04系统下的Tensorflow1.3+MATLAB2016作为试验仿真平台，处理的图像为256*256。通过实验可以观察到，本方法的补全效果是令人满意的，并且速度和准确率在传统补全方法上的得到了提高。

Claims (1)

1.一种针对壁画的破损图像补全方法，包括以下步骤：

(1)建立并训练一个颜色补全模型，通过模型对训练数据集的特征学习，完成颜色补全模型的建立，得到可以正确预测缺失区域颜色块的初步修复的图像记作I₁，步骤如下：

第1步：生成多幅图像遮罩图当做训练模型的一个输入记作M，收集多幅完整壁画图像记作I，并对各个完整壁画图像进行数据扩充扩充数据的多样性，当做训练模型的另一个输入，构造训练数据集；

第2步：通过深度学习方法，对目标图像进行滑动窗口似的卷积核进行特征提取，学习训练数据的图像特征，同时使用损失函数L_adv对训练过程进行优化，使得生成对抗神经网络中的生成模型生成的图片足够真实，这里的损失函数L_adv是指生成对抗神经网络的损失函数：

其中D(.)表示生成对抗神经网络的判别模型，其输出为概率值；G(I,M)表示生成对抗神经网络中的生成模型，其输出为一张图片，即初步修复的图像I₁，I₁＝G(I,M)，两种模型都是若干卷积神经网络的叠加；当判别模型判别来自生成模型生成的图片时，D(I₁)-＞0，则(1-D(I₁))-＞1，即E_fake[log(1-D(I₁))-＞0，当判别模型判别真实图片时使E_real[logD(I)]-＞1，数学符号->表示趋近，生成模型G(I,M)的损失函数是极小值函数，通过不断优化L_adv函数，使得生成模型G(I,M)和判别模型D(.)的参数逐步达到最优值；

第3步：对生成对抗神经网络模型进行迭代训练，设置迭代次数，同时通过目标函数L_l1＝||I₁-I||₁对当前的生成模型进行评估，直到对抗神经网络模型的损失函数收敛，这里的L_l1损失函数是曼哈顿距离损失；

(2)其次建立纹理补全模型，充分利用在生成对抗网络的输出图I₁的基础上，对I₁进行基于纹理的自适应图像修补方法，完成纹理模型的建立，得到可以正确预测缺失区域纹理的修复图像I₂；具体步骤如下：

第1步：在I₁的基础上计算破损区块的优先级，确定纹理缺损区的优先顺序；通过计算边界坐标点p的置信度项与数据项N(p)与O(p)，得到带有颜色指导的待补全像素块的优先级的坐标值，其中，优先级函数为：P(p)＝αN(p)+βO(p)，α＝1，β＝3；

第2步：提取I₁的纹理图记作I_t，将纹理补全模型的第1步中得到的带有颜色指导的待补全像素块坐标值传递给I_t使得纹理图预测缺失区域的纹理，得到纹理的修补图像记作I_t1；

第3步：重复步骤1和2，直到补全完成得到I₂；

(3)将前两步得到的分别具有缺失区域颜色和纹理的壁画进行融合，使得补全结果更加完备，融合图像为：

σ＝0.8，I₁和I₂表示颜色补全模型和纹理补全模型的结果图。

Images