[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111754427B - 基于自组织映射神经网络的壁画裂缝病害自动修复方法 - Google Patents

基于自组织映射神经网络的壁画裂缝病害自动修复方法 Download PDF

Info

Publication number
CN111754427B
CN111754427B CN202010521666.7A CN202010521666A CN111754427B CN 111754427 B CN111754427 B CN 111754427B CN 202010521666 A CN202010521666 A CN 202010521666A CN 111754427 B CN111754427 B CN 111754427B
Authority
CN
China
Prior art keywords
image
mural
crack
self
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010521666.7A
Other languages
English (en)
Other versions
CN111754427A (zh
Inventor
盆海波
王兆霞
王双双
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202010521666.7A priority Critical patent/CN111754427B/zh
Publication of CN111754427A publication Critical patent/CN111754427A/zh
Application granted granted Critical
Publication of CN111754427B publication Critical patent/CN111754427B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明涉及一种基于自组织映射神经网络的壁画裂缝病害自动修复方法，包括以下步骤：采集数字化壁画裂缝图像，通过数学形态学对壁画裂缝病害进行标注；采用自组织映射神经网络算法对原始数据进行聚类，完成对图像数据的分层工作，然后对聚类后的分层数据进行修复。本发明充分考虑壁画裂缝本身线性结构特点，在裂缝自动标注过程中使用自适应阈值分割算法，实现目标像素与背景像素的分离，提升裂缝识别的精度；并且充分利用自组织映射神经网络算法的精准聚类特性，将各通道像素进行聚类分层，进而实现对分层图像的快速修复工作，使壁画图像更加清晰与自然，从而保持与原始壁画图像具有一定相似精度的整体视觉效果。

Description

基于自组织映射神经网络的壁画裂缝病害自动修复方法
技术领域
本发明属于数字化图像处理技术领域，尤其是一种基于自组织映射神经网络的壁画裂缝病害自动修复方法。
背景技术
古代壁画是中国古典艺术的宝库，是中国历史和文化的见证，也是我国宝贵的历史文化遗产，其历史研究价值更是无法估量。然而在外界环境及人为内在因素的影响下，大部分壁画如敦煌莫高窟、西千佛洞等壁画群均出现不同程度的裂缝、脱落、酥碱、霉变等多种形式的病害。为长久地保护这些中华文明的珍宝，修复壁画中的破损部分，还原壁画自身的文化魅力，是一项亟需且具有重大文化传承意义。
针对古代壁画所遭遇的各种病害，目前主要有两种不同保护方法：一是传统壁画修复方法，该方法通过手工修复。由于专业技术人员的匮乏，该类方法存在修复手段单一、耗费时间长、修复效率低等缺点，使得壁画保护形势严峻。二是现代数字化修复方法，该方法对壁画的修复则是通过运用先进的人工智能技术，对壁画进行数字化采集，使得壁画脱离文物主体而存在，通过运用计算机等新技术手段对病害进行标注与修复，在不破坏壁画本身的情况下实现对壁画真实面目的还原。数字化修复方法可以很大程度上避免对壁画的二次伤害，同时修复效果的精准性使其对历史文化遗产的分析和发展有着不可替代的作用。
数字化图像修复技术的最终目标是实现对古建筑壁画的复原功能，即运用先进人工智能技术完成对壁画的修复。壁画图像裂缝病害是壁画病害的一种，针对于这种特殊的壁画图像裂缝病害，现有的修复方法没有考虑壁画裂缝本身线性结构特点，导致修改效果不佳，难以对壁画图像裂缝病害进行有效恢复。
发明内容
本发明的目的在于克服现有技术的不足，提出一种基于自组织映射神经网络的壁画裂缝病害自动修复方法，解决不能对壁画裂缝病害进行有效恢复的问题。
本发明解决其技术问题是采取以下技术方案实现的：
一种基于自组织映射神经网络的壁画裂缝病害自动修复方法，包括以下步骤：
步骤1、采集数字化壁画裂缝图像，通过数学形态学对壁画裂缝病害进行标注；
步骤2、采用自组织映射神经网络算法对原始数据进行聚类，完成对图像数据的分层工作，然后对聚类后的分层数据进行修复。
而且，所述步骤3后还包括依据数字图像修复结果对实际壁画裂缝病害的颜料层进行修复的步骤。
而且，所述步骤1的具体实现方法包括以下步骤：
⑴获得数字化壁画裂缝图像，将采集到彩色数字化壁画裂缝图像转换为灰度图像；
⑵对得到的灰度图像应用多尺度形态学边缘梯度检测，以腐蚀膨胀复合运算构成的图像边缘检测算子，提取图像结构轮廓边缘；
⑶采用最大类方差法自适应阈值分割技术将壁画裂缝图像中像素分为目标和背景两类，进而将目标像素进行提取，得到只有两个灰度值的二值图像；
⑷采用连通域标记对二值图像进行度量，去除剩余背景噪声，得到壁画裂缝标注图像。
而且，所述步骤1的具体实现方法为：使用高分辨率数码相机采集获得彩色数字化壁画裂缝图像，对彩色图像(r,g,b)的r、g、b三分量以不同权值进行加权平均，加权公式按下式计算：
V＝0.299×r+0.578×g+0.114×b
其中V代表加权后的灰度图像在(x,y)处的灰度值；r、g、b分别代表在(x,y)处的r、g、b三分量灰度值。
而且，所述步骤⑵中的多尺度形态学边缘梯度的数学表达式为：
Figure BDA0002532359770000021
式中，f(x,y)为灰度图像，b(x,y)表示结构元素，k为尺度参数，
Figure BDA0002532359770000023
表示形态学腐蚀算子，
Figure BDA0002532359770000024
表示形态学膨胀算子。
而且，所述步骤2的具体实现方法包括以下步骤：
⑴确定壁画裂缝图像的最佳聚类，得到最佳聚类神经元个数；
⑵对多个聚类图层图像进行并行分层修复；
⑶将修复后多个聚类图层合并，完成壁画裂缝图像的修复。
而且，所述步骤⑴的具体实现方法为：
①将裂缝图像视为三维向量，设计三个输入单元的SOM网络，每一个单元的输入向量为x＝(x1,x2,…,xn)；
②通过下式计算权向量wj与x的欧氏距离，从而获得竞争获胜神经元：
Figure BDA0002532359770000022
其中，x＝(x1,x2,…,xn)是一个n维向量；wj为竞争层第j个神经元节点的权向量；
③按下式更新权重向量：
wj(t+1)＝wj(t)+η(t,N)[x(t)-wj(t)]
式中，x(t)和wj(t)分别代表t时刻的输入模式和权向量；η(t,N)是运行时间t和优胜邻域N之间的拓扑关系函数；
④输出图像聚类结果。
而且，所述步骤⑵的具体实现方法为：假设图像中破损像素为p，1代表未破损像素，0代表破损像素；首先遍历所有破损像素，找出邻近像素均为1的破损像素p，对其进行标记并确定该像素所属层，随后迭代计算出破损像素的值，则该破损像素修复完成；遍历剩余的所有破损像素，寻找邻近像素不全为0的破损像素p'，依次循环，完成所有裂缝破损像素修复。
而且，所述步骤⑵在分层修复过程中，使用迭代计算出每个像素的均值代替直接从图像未破损区域中直接拷贝像素进行修复；并且对图像进行聚类分层后，并行化实现对分层图像的快速修复功能。
本发明的优点和积极效果是：
1、本发明充分考虑壁画裂缝本身线性结构特点，在裂缝自动标注过程中使用自适应阈值分割算法，实现目标像素与背景像素的分离，提升裂缝识别的精度；并且充分利用自组织映射神经网络(Self-Organizing Map,SOM)算法的精准聚类特性，将改进的SOM引入到古建筑壁画图像修复过程中，先将各通道像素进行聚类分层，在单个图层中迭代计算出破损像素的值，进而实现对分层图像的快速修复工作，使壁画图像更加清晰与自然，从而保持与原始壁画图像具有一定相似精度的整体视觉效果，可广泛应用于古建筑壁画裂缝修复过程中。
附图说明
图1是本发明的修复方法流程图；
图2是本发明的单尺度形态学边缘梯度检测的示意图；
图3是本发明的单条裂缝的标注示意图；
图4是本发明的SOM自组织神经网络聚类示意图；
图5是本发明的单裂缝壁画“猕猴图”修复结果图；
图6是本发明的单裂缝壁画“僧人图”修复结果图；
图7是本发明的多裂缝壁画“棕熊图”修复结果图；
图8是本发明的多裂缝壁画“彩纹图”修复结果图；
图9是本发明的复杂交互裂缝壁画“佛像图”修复结果图；
图10是本发明的复杂交互裂缝壁画“人脸图”修复结果图；
图11a为本发明与其他算法的壁画脱落修复评估指标分析图(RMES指标)
图11b为本发明与其他算法的壁画脱落修复评估指标分析图(PSNR指标)；
图11c为本发明与其他算法的壁画脱落修复评估指标分析图(FSIM指标)；
图11d为为本发明与其他算法的壁画脱落修复评估指标分析图(SR-SIM指标)；
图11e为本发明与其他算法的壁画脱落修复评估指标分析图(VSI指标)。
具体实施方式
以下结合附图对本发明做进一步详述。
本发明的设计思想是：首先通过数学形态学对壁画裂缝病害图像进行标注，对于标注后的壁画病害图像映射为二维灰度图像，以提升数据间的时-空相关性解析能力。然后采用人工智能SOM神经网络算法对原始数据进行聚类，完成对图像数据的分层工作，最后对聚类后的分层数据进行修复，得到修复结果，其算法流程图如图1所示。
基于上述设计思想，本发明提供一种基于自组织映射神经网络的壁画裂缝病害自动修复方法，包括以下步骤：
步骤1、采集数字化壁画裂缝图像，通过数学形态学对壁画裂缝病害图像进行标注。本步骤的具体实现方法为：
⑴采集获得数字化壁画裂缝图像，将采集到的壁画裂缝图像进行灰度化处理。
在本步骤中，使用高分辨率数码相机采集获得数字化壁画裂缝图像，将采集到的壁画裂缝图像处理转换为具有分割速度快、计算量少、色度亮度展示全等优点的灰度图像。为了得到合理的灰度图像，在本步骤中，对彩色图像(r,g,b)的r、g、b三分量以不同权值进行加权平均，加权公式按式(1)进行计算：
V＝0.299×r+0.578×g+0.114×b (1)
其中V代表加权后的灰度图像在(x,y)处的灰度值；r、g、b分别代表在(x,y)处的r、g、b三分量灰度值。
⑵对得到的灰度图像f(x,y)应用多尺度形态学边缘梯度检测，以腐蚀膨胀复合运算构成的图像边缘检测算子，提取图像结构轮廓边缘。
在本步骤中，结合采集到壁画裂缝病害图像特征，借助多尺度形态学梯度检测局部突变信息以及抗背景噪声干扰方面的优势。
图像中梯度主要用于刻画目标边界或边缘图像灰度剧烈变化的区域，衡量图像灰度的变化率，对于数字图像来说，像素点(x,y)处的梯度值和梯度方向分别为：
Figure BDA0002532359770000041
其中，Gx(x,y)为x方向梯度；Gy(x,y)为y方向梯度；
形态学梯度(Morphological Gradient)是以形态学的膨胀和腐蚀为定义的，是根据膨胀或腐蚀与灰度图像作差组合来实现图像中灰度级跃变更为急剧，从而突出高亮区域。
设f(x,y)为原始壁画图像，b(x,y)表示结构元素，以腐蚀膨胀复合运算构成的图像边缘检测算子，即单尺度形态学梯度，其边缘检测过程如图2所示，表达式为：
Figure BDA0002532359770000042
式中f(x,y)表示灰度图像，b(x,y)为结构元素，
Figure BDA0002532359770000045
表示形态学腐蚀算子，
Figure BDA0002532359770000046
表示形态学膨胀算子。
多尺度形态学梯度的数学表达式为：
Figure BDA0002532359770000043
式中f(x,y)表示灰度图像，bi(x,y)为结构元素，k为尺度参数，
Figure BDA0002532359770000047
表示形态学腐蚀算子，
Figure BDA0002532359770000048
表示形态学膨胀算子。
⑶自适应阈值分割
在提取裂缝区域过程中，需要充分考虑裂缝的自身特性，针对典型固定阈值方法中不能自适应调整提取裂缝的内容。
本发明采用最大类方差法自适应阈值分割技术将壁画裂缝图像中像素分为目标和背景两类，进而将目标像素进行提取，从而达到分割的目的，得到只有两个灰度值的二值图像。表示如下：
Figure BDA0002532359770000044
式中，f(x,y)、g(x,y)分别表示处理前和处理后的图像在(x,y)坐标处像素的灰度值，t表示灰度阈值，1代表目标像素，0代表背景像素。
⑷采用连通域标记对二值图像进行度量，去除剩余背景噪声，得到壁画裂缝标注图像。
壁画裂缝具有一定的线性特征，在空间上具有一定的连续性和连通性，但图像经过自适应调整阈值后仍存在很多虚假目标—噪声，噪声在空间分布上不连续、杂乱无章且孤立。因此，本发明采用连通域标记法对噪声进行去除，针对断裂的裂缝，采用形态学基本操作进行连接。在本发明中选取面积作为目标区域的连通规则进行度量，假设图像目标区域的像素值为1px，则面积的计算公式为
Figure BDA0002532359770000051
式中s为需要度量的连通域，f(x,y)为像素值。
通过连通域标记去除虚假目标的裂缝区域，得到标注图像，其中，以单条裂缝北周时期莫高窟第428窟“猕猴图”为例进行标注，所得标注结果如图3所示。
步骤2、采用自组织映射神经网络算法对原始数据进行聚类，然后对聚类后的分层数据进行修复。本步骤的具体实施方法包括以下步骤：
⑴确定壁画裂缝图像的最佳聚类。
①算法初始化
将裂缝图像视为三维向量，设计三个输入单元的SOM网络，每一个单元的输入向量为x＝(x1,x2,…,xn)。
在图像RGB三维颜色空间中，设定自组织网络的当前输入模式x＝(x1,x2,…,xn)是一个n维向量，输出层是一个有m×n个节点的二维网络，wj是竞争层第j个神经元节点的权向量。建立初始优胜邻域Ni*(0)，并对学习率η赋初始值。
②寻找获胜神经元
将随机输入模式x输入到网络，计算权向量wj与x的欧氏距离，从中找距离最小的获胜节点wj*，记为竞争获胜神经元。
Figure BDA0002532359770000052
其中，x＝(x1,x2,…,xn)是一个n维向量；wj为竞争层第j个神经元节点的权向量。
③调整权值。
只有获胜的神经元才有权调整其权向量wj，对优胜邻域Ni*(t)内所有的神经元调整权值
wj(t+1)＝wj(t)+η(t,N)[x(t)-wj(t)] (7)
其中，x(t)和wj(t)分别代表t时刻的输入模式和权向量；η(t,N)是运行时间t和优胜邻域N之间的拓扑关系函数。
④输出图像聚类结果
基于上述聚类过程，将聚类结果以分层图像的形式进行输出，如图4所示。对于三色彩通道R、G、B来说，如果多色彩通道的像素相同或相似，那么对多色彩通道像素进行聚类时，它们被聚到同一个簇的概率就越大。
根据聚类分层思维，将一幅图像进行分层修复，并将聚类神经元个数代入到步骤⑵。
⑵图像并行分层修复。
对于一幅彩色RGB图像的分层，通常图像中的主要物体或者说主要组成部分有几类，就至少要把它分成几层。在针对聚类后的每一类进行修复过程中，得到最佳聚类神经元个数后，即得到图像的分层数。假设图中破损像素为p，1代表未破损像素，0代表破损像素。首先遍历所有破损像素，找出邻近像素均为1的破损像素p，对其进行标记并确定该像素所属层，随后迭代计算出破损像素的值，则该破损像素修复完成。同理，遍历剩余的所有破损像素，寻找邻近像素不全为0的破损像素p'，依次循环，完成所有破损像素修复。
在并行化分层修复中，本发明方法改进以下两点：用迭代计算出每个像素的均值代替直接从图像未破损区域中直接拷贝像素进行修复；对图像进行聚类分层后，并行化实现对分层图像的快速修复。
⑶将修复后多个聚类图层合并，得到融合图像，即完成破损图像修复
在完成图像并行化分层修复后，对于一幅彩色RGB图像的多图层合并，由于并行化分层的存在，使得每个像素在对应图层具有亮度值，则该像素在其他图层中显示为空白。为了便于图层矩阵叠加，避免出现像素值溢出取值范围的现象，将所有图层矩阵中空白像素赋值为0。随后，将所有图层矩阵进行叠加，得到融合图像，即完成破损图像修复。
步骤3、依据数字图像的修复结果，对壁画裂缝颜料层进行修复。
为验证本发明的一种基于改进自组织映射神经网络的壁画裂缝病害自动修复方法的有效性，选取单裂缝、多裂缝、复杂交互裂缝等多种类型壁画裂缝病害为案例，并应用本发明的方法进行数据修复效果分析，同时与现有常用壁画修复TV算法、K-SVD算法、传统SOM算法以及PConv算法进行对比分析。
本发明选择壁画中普遍存在的单裂缝、多裂缝、复杂交互裂缝3类裂缝病害进行病害修复实验，并选择6幅壁画作为壁画裂缝测试图形。
单裂缝病害：案例中包含北周时期莫高窟第428窟“猕猴图”和中唐时期莫高窟第158窟“僧人图”的裂痕。在两幅图像中，裂痕经过前期发展已经形成裂缝且呈单向细长条状结构分布。采用不同修复算法的修复结果如图5和6所示。
多裂缝病害：案例中包含北魏时期莫高窟第249窟“棕熊图”和中唐时期莫高窟第156窟“彩纹图”的裂痕。通过具体分析两个案例可知，“棕熊图”画面结构粗糙，年代久远且属于后期裂缝结构，而“彩纹图”属于前期裂纹且呈矩形状分布。采用不同修复算法的修复结果如图7和8所示。
复杂交互裂缝病害：案例中包含初唐时期莫高窟第220窟“佛像图”和晚唐时期莫高窟第14窟“人脸图”的裂痕。通过具体分析两个案例可知，“佛像图”与“彩纹图”同属前期裂纹但其颜色更为明亮而“人脸图”则呈随机状后期裂缝。采用不同修复算法的修复结果如图9和10所示。
本发明选定多个评价指标以评估数据修复效果优劣，包括：均方根误差(RootMean Square Error，RMSE)、峰值信噪比(Peak Signal to Noise Ratio，PSNR)、特征相似度(Feature Similarity，FSIM)、光谱信息相似度(Spectral Residual basedSimilarity，SR-SIM)以及视觉显着性指数(Visual Saliency Induced，VSI)作为本节中的相似性评估指标对图像质量评估。
其中，均方根误差(RMSE)反映修复结果的离散程度，峰值信噪比(PSNR)反映失真数据的变化程度，衡量修复前后图像间的相似度，是图像修复研究中应用最广泛的评估指标，计算公式分别为：
Figure BDA0002532359770000071
Figure BDA0002532359770000072
Figure BDA0002532359770000073
式中：I1,I2是要进行对比的两幅图像，它们分别是指原始图像和修复后的图像；m,n分别表示两幅图像的尺寸大小；
利用本发明的一种基于改进自组织映射神经网络的壁画裂缝病害自动修复方法，分别对标注后的壁画裂缝进行修复，并计算各个修复效果评价指标。将本发明的方法与TV算法、K-SVD算法、传统SOM算法以及PConv算法修复效果进行对比，如图11a、图11b、图11c、图11d、图11e所示，同时，不同算法修复效率对比如表1所示。
表1壁画裂缝图像修复效率评估指标
Figure BDA0002532359770000074
图11a、图11b、图11c、图11d、图11e中的横坐标为相似性评估指标。在此以单条裂缝壁画“猕猴图”为例进行分析。采用改进SOM算法的PSNR值为41.720dB，而对比算法TV、K-SVD、传统SOM、PConv的PSNR值分别为39.910dB、36.609dB、40.249dB、40.269dB，本发明所提出改进SOM算法较对比算法PSNR最大提升13.96％，FSIM值最大增加1.40％，SR-SIM值最大增加0.79％，VSI值最大增加0.44％。文中采用单机运行各种修复算法，表1给出了不同算法对上述六幅壁画修复的修复时间。由实验结果可见，本发明提出的改进SOM算法的修复时间更少，平均缩短40.34％，效率更高。由此可见，本发明所提出SOM修复算法比TV、K-SVD、传统SOM、PConv修复算法都有更低的修复误差和更快的修复速度。
需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (7)

1.一种基于自组织映射神经网络的壁画裂缝病害自动修复方法，其特征在于包括以下步骤：
步骤1、采集数字化壁画裂缝图像，通过数学形态学对壁画裂缝病害进行标注；
步骤2、采用自组织映射神经网络算法对原始数据进行聚类，完成对图像数据的分层工作，然后对聚类后的分层数据进行修复；
所述步骤2的具体实现方法包括以下步骤：
⑴确定壁画裂缝图像的最佳聚类，得到最佳聚类神经元个数；
⑵对多个聚类图层图像进行并行分层修复；
⑶将修复后多个聚类图层合并，完成壁画裂缝图像的修复；
所述步骤⑵在分层修复过程中，使用迭代计算出每个像素的均值代替直接从图像未破损区域中直接拷贝像素进行修复；并且对图像进行聚类分层后，并行化实现对分层图像的快速修复功能。
2.根据权利要求1所述的基于自组织映射神经网络的壁画裂缝病害自动修复方法，其特征在于：所述步骤2后还包括依据数字图像修复结果对实际壁画裂缝病害的颜料层进行修复的步骤。
3.根据权利要求1或2所述的基于自组织映射神经网络的壁画裂缝病害自动修复方法，其特征在于：所述步骤1的具体实现方法包括以下步骤：
⑴获得数字化壁画裂缝图像并将采集到彩色数字化壁画裂缝图像转换为灰度图像；
⑵对得到的灰度图像应用多尺度形态学边缘梯度检测，以腐蚀膨胀复合运算构成的图像边缘检测算子，提取图像结构轮廓边缘；
⑶采用最大类方差法自适应阈值分割技术将壁画裂缝图像中像素分为目标和背景两类，进而将目标像素进行提取，得到只有两个灰度值的二值图像；
⑷采用连通域标记对二值图像进行度量，去除剩余背景噪声，得到壁画裂缝标注图像。
4.根据权利要求3所述的基于自组织映射神经网络的壁画裂缝病害自动修复方法，其特征在于：所述获得数字化壁画裂缝图像并将采集到彩色数字化壁画裂缝图像转换为灰度图像的具体实现方法为：使用高分辨率数码相机采集获得彩色数字化壁画裂缝图像，对彩色图像(r,g,b)的r、g、b三分量以不同权值进行加权平均，加权公式按下式计算：
V＝0.299×r+0.578×g+0.114×b
其中V代表加权后的灰度图像在(x,y)处的灰度值；r、g、b分别代表在(x,y)处的r、g、b三分量灰度值。
5.根据权利要求3所述的基于自组织映射神经网络的壁画裂缝病害自动修复方法，其特征在于：所述多尺度形态学边缘梯度的数学表达式为：
Figure FDA0003775164300000011
式中，f(x,y)为灰度图像，b(x,y)表示结构元素，k为尺度参数，
Figure FDA0003775164300000012
表示形态学腐蚀算子，
Figure FDA0003775164300000013
表示形态学膨胀算子。
6.根据权利要求1所述的基于自组织映射神经网络的壁画裂缝病害自动修复方法，其特征在于：所述步骤⑴的具体实现方法为：
①将裂缝图像视为三维向量，设计三个输入单元的SOM网络，每一个单元的输入向量为x＝(x1,x2,…,xn)；
②通过下式计算权向量wj与x的欧氏距离，从而获得竞争获胜神经元：
Figure FDA0003775164300000021
其中，x＝(x1,x2,…,xn)是一个n维向量；wj为竞争层第j个神经元节点的权向量；
③按下式更新权重向量：
wj(t+1)＝wj(t)+η(t,N)[x(t)-wj(t)]
式中，x(t)和wj(t)分别代表t时刻的输入模式和权向量；η(t,N)是运行时间t和优胜邻域N之间的拓扑关系函数；
④输出图像聚类结果。
7.根据权利要求1所述的基于自组织映射神经网络的壁画裂缝病害自动修复方法，其特征在于：所述步骤⑵的具体实现方法为：假设图像中破损像素为p，1代表未破损像素，0代表破损像素；首先遍历所有破损像素，找出邻近像素均为1的破损像素p，对其进行标记并确定该像素所属层，随后迭代计算出破损像素的值，则该破损像素修复完成；遍历剩余的所有破损像素，寻找邻近像素不全为0的破损像素p'，依次循环，完成所有裂缝破损像素修复。
CN202010521666.7A 2020-06-10 2020-06-10 基于自组织映射神经网络的壁画裂缝病害自动修复方法 Active CN111754427B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010521666.7A CN111754427B (zh) 2020-06-10 2020-06-10 基于自组织映射神经网络的壁画裂缝病害自动修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010521666.7A CN111754427B (zh) 2020-06-10 2020-06-10 基于自组织映射神经网络的壁画裂缝病害自动修复方法

Publications (2)

Publication Number Publication Date
CN111754427A CN111754427A (zh) 2020-10-09
CN111754427B true CN111754427B (zh) 2022-09-16

Family

ID=72675023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010521666.7A Active CN111754427B (zh) 2020-06-10 2020-06-10 基于自组织映射神经网络的壁画裂缝病害自动修复方法

Country Status (1)

Country Link
CN (1) CN111754427B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103227963A (zh) * 2013-03-20 2013-07-31 西交利物浦大学 基于视频运动目标检测和跟踪的静态监控视频摘要方法
CN103295199A (zh) * 2013-05-29 2013-09-11 西安建筑科技大学 古壁画的裂缝智能修复辅助系统
CN106204424A (zh) * 2016-06-30 2016-12-07 厦门美图之家科技有限公司 图像去水印方法、应用和计算设备
CN110189273A (zh) * 2019-05-27 2019-08-30 广西师范大学 一种基于重抽样的隐藏图像修复方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103227963A (zh) * 2013-03-20 2013-07-31 西交利物浦大学 基于视频运动目标检测和跟踪的静态监控视频摘要方法
CN103295199A (zh) * 2013-05-29 2013-09-11 西安建筑科技大学 古壁画的裂缝智能修复辅助系统
CN106204424A (zh) * 2016-06-30 2016-12-07 厦门美图之家科技有限公司 图像去水印方法、应用和计算设备
CN110189273A (zh) * 2019-05-27 2019-08-30 广西师范大学 一种基于重抽样的隐藏图像修复方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Research on hierarchical image restoration of Chinese painting;Song Wei;《2014 9th International Conference on Computer Science & Education》;20141016;全文 *
基于自组织神经网络SOM和K-means聚类算法的图像修复;孙震 等;《科学技术与工程》;20120318;第12卷(第8期);摘要、正文第1-3章 *
多尺度唐墓室壁画病害标记及修复技术研究;吴萌 等;《计算机工程与应用》;20150313;第52卷(第11期);摘要、正文第2-4章 *
多尺度形态梯度算法及其在图像分割中的应用;卢官明 等;《信号处理》;20010228;第17卷(第1期);正文第2章 *

Also Published As

Publication number Publication date
CN111754427A (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
CN108038853B (zh) 一种基于卷积神经网络和主动学习的瓷砖表面缺陷识别方法
CN109446992B (zh) 基于深度学习的遥感影像建筑物提取方法及系统、存储介质、电子设备
CN111833306B (zh) 缺陷检测方法和用于缺陷检测的模型训练方法
CN110544251B (zh) 基于多迁移学习模型融合的大坝裂缝检测方法
CN109118479B (zh) 基于胶囊网络的绝缘子缺陷识别定位装置及方法
CN107784661B (zh) 基于区域生长法的变电站设备红外图像分类识别方法
CN109215034B (zh) 一种基于空间金字塔掩盖池化的弱监督图像语义分割方法
CN111985499B (zh) 一种基于计算机视觉的高精度桥梁表观病害识别方法
CN109741328A (zh) 一种基于生成式对抗网络的汽车表观质量检测方法
CN106023185A (zh) 一种输电设备故障诊断方法
CN112906550B (zh) 一种基于分水岭变换的静态手势识别方法
CN111291675B (zh) 一种基于深度学习的高光谱古绘画检测识别方法
CN114091606A (zh) 一种隧道爆破炮孔半眼痕识别和损伤平整度评价分类方法
Ni et al. An improved Faster R-CNN for defect recognition of key components of transmission line
CN115082744B (zh) 一种基于人工智能的太阳能集热效率分析方法及系统
Musicco et al. Automatic point cloud segmentation for the detection of alterations on historical buildings through an unsupervised and clustering-based Machine Learning approach
CN110135248A (zh) 一种基于深度学习的自然场景文本检测方法
CN112991271A (zh) 基于改进yolov3的铝型材表面缺陷视觉检测方法
CN111754427B (zh) 基于自组织映射神经网络的壁画裂缝病害自动修复方法
CN112232249B (zh) 一种基于深度特征的遥感图像变化检测方法及装置
CN112132798B (zh) 基于Mini ARU-Net网络的复杂背景PCB标记点图像检测方法
CN114140485A (zh) 一种三七主根切割轨迹生成方法及系统
CN111339974B (zh) 一种现代陶瓷与古陶瓷的鉴别方法
CN110349119B (zh) 基于边缘检测神经网络的路面病害检测方法和装置
CN117078608B (zh) 一种基于双掩码引导的高反光皮革表面缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant