CN110852316B - 一种采用密集结构卷积网络的图像篡改检测和定位方法 - Google Patents
一种采用密集结构卷积网络的图像篡改检测和定位方法 Download PDFInfo
- Publication number
- CN110852316B CN110852316B CN201911081464.9A CN201911081464A CN110852316B CN 110852316 B CN110852316 B CN 110852316B CN 201911081464 A CN201911081464 A CN 201911081464A CN 110852316 B CN110852316 B CN 110852316B
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- network
- dense
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000001514 detection method Methods 0.000 title claims abstract description 33
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 58
- 238000011176 pooling Methods 0.000 claims description 41
- 230000007704 transition Effects 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000002790 cross-validation Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 7
- 238000000605 extraction Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000002372 labelling Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本发明提供的一种采用密集结构卷积网络的图像篡改检测和定位方法，包括输入待测图像，对待测进行空间富集SRM卷积进行预处理，得到预处理后的图像；构建密集连接卷积网络对预处理后的图像进行篡改图像特征提取，得到待测图像的二分类信息，完成对图像篡改的检测；构建与连接卷积网络结构对称的反卷积网络，将二分类信息作为输入；根据得到的图像篡改区域，由反卷积网络完成定位后的图像。本发明所提供的方法，将深度学习技术应用到图像篡改检测与定位中，适用于多种篡改手段，具有好的鲁棒性和实用性；提供了检测和定位的统一框架，不仅能够多图像是否经过篡改做出预测，还能对篡改区域进行预测，给出逐像素的精确标注，得到细致的物体轮廓边界。
Description
技术领域
本发明涉及图像盲取证技术领域，更具体的，涉及一种采用密集结构卷积网络的图像篡改检测和定位方法。
背景技术
在信息时代，图像作为传播信息的主要方式之一，因为其具有直观的事物表现和思维导向，因此这种信息传播方式已经完全融入了人类的生活。然而，图像篡改技术的发展也突飞猛进，对多媒体内容安全带来的重大威胁不容忽视。当前的识别图像篡改技术主要分为基于人工特征提取的方法以及基于深度学习的方法。
基于人工特征提取的方法是对图像做各种变换，提取图像特征后使用阈值或者机器学习的方法进行分类，但该方法依赖于研究者对图像特征的建模，通常只适用于一种类型的图像篡改识别，也即虽然在一种篡改手段上有比较好的效果，但是对其他篡改手段的适用性不好，鲁棒性和可扩展性差；基于深度学习的方法通常只聚焦实现检测与定位中的一种，虽然在检测上能达到很高的准确率，但是无法发挥出深度学习在目标检测上的优越性能，没有充分利用检测和定位的联系性。
发明内容
本发明为克服现有的识别图像篡改技术存在无法同时实现图像篡改的检测和定位的技术缺陷，提供一种采用密集结构卷积网络的图像篡改检测和定位方法。
为解决上述技术问题，本发明的技术方案如下：
一种采用密集结构卷积网络的图像篡改检测和定位方法，包括以下步骤：
S1：输入待测图像，对待测进行空间富集SRM卷积进行预处理，得到预处理后的图像；
S2：构建密集连接卷积网络对预处理后的图像进行篡改图像特征提取，得到待测图像的二分类信息，完成对图像篡改的检测；
S3：构建与连接卷积网络结构对称的反卷积网络，将待测图像的二分类信息作为输入，定位图像篡改区域；
S4：根据得到的图像篡改区域，由反卷积网络完成定位后的图像，完成对图像篡改的定位。
其中，在所述步骤S2中，所述的密集连接卷积网络包括池化层、密集层、过渡层、全局平均池化层和全连接层；其中：
所述池化层对预处理后的图像进行一次卷积和最大池化操作，并将结果输入密集层中；
所述密集层、过渡层均设置有多层，每个密集层的输出结果均输入对应的过渡层中，最终由最后一层过渡层将得到的篡改图像特征图输入所述全局平均池化层中；
所述全局平均池化层将篡改图像特征图进行平均池化，并由所述全连接层计算输出两个概率值，分别代表篡改和非篡改的概率，得到待测图像的二分类信息。
其中，所述密集层包括多个基本结构层，每个基本结构层由两个连续的卷积层组成，其中每个基本结构层的输入都有前一层的输出进行合并操作而成，是残差结构的局部稠密版本。
其中，所述密集连接卷积网络设置有四个密集层，分别包含了5、10、20、12个基本结构层。
其中，所述过渡层包括一层卷积层，其对密集层输入的特征图先卷积一次，再进行平均池化，对图像尺寸进行缩小。
其中，所述全连接层通过softmax函数计算输出两个概率值，具体计算公式为：
其中，i代表两个类别篡改/非篡改，
代表网络在i类别上的输出值，yi表示样本在i类别上的真实值，ai代表i类别的权重。
上述方案中，为了更好地捕捉图像的篡改噪声特征，对输入图像的RGB三通道进行一次SRM卷积，卷积核用归一化后的SRM进行初始化，一个卷积核的三个通道都用同一个模型赋值，得到30个滤波器，卷积后的输出再和RGB三通道进行串联合并。
上述方案中，经过池化层进行池化操作后，利用密集连接卷积网络的密集层、过渡层构建深的网络便于提取篡改图像的特征。两个连续的卷积层构成一个基结构层，一个密集层可包括多个基本结构层，并且在一个密集层里每一个基本结构层的输入都是由前面层的所有输出经过合并操作构成的，这样的结构是残差结构的局部稠密版本，能有益于训练更深的网络而不至于过拟合。卷积网络中一种使用了四个密集层，分别包含5、10、20、12个基本结构，过渡层是一个卷积层，对输入的特征图先卷积一次，降低深度，然后进行平均池化，缩小尺寸。网络中使用的池化都是2x2池化，最后一个密集层后的特征图应为原尺寸的三十二分之一。全局平均池化层将特征图进行平均，只保留深度，经过全连接层后输出两个值，由softmax函数转化为概率值，分别代表篡改、非篡改的概率，取最大值为最终的判断结果。
上述方案中，在每个卷积层后都有批标准化和relu激活函数层，从而防止梯度爆炸或者弥散，引入非线性模型。
其中，在所述步骤S3中，所述反卷积网络包括全连接层，密集层及对应的反卷积过渡层；首先通过全连接层对篡改图像特征上逐点进行计算，然后通过密集层及对应的反卷积过渡层对图像继续逐层的还原，定位图像篡改区域。
其中，在所述步骤S4中，根据所述图像篡改区域，由反卷积网络输出待测图像定位后的二值图像，完成对图像篡改的定位。
上述方案中，本发明利用尽可能与卷积网络对称的结构构建反卷积网络，首先，移除了卷积网络中的全局池化层从而得以保留完整的特征图，对应的全连接层可以在特征图上逐点进行运算，即相当于1x1的卷积，接着是三个包含12、6、3个基本结构层的密集层以及反卷积过渡层，反卷积过渡层是对过渡层的改良，将平均池化替换成2x的反卷积层，从而增大一倍特征图的尺寸。
上述方案中，为了更好地补充输出图像的细节，本发明将前面卷积网络的输出通过直接连接、2x反卷积、4x反卷积操作后输入后面反卷积网络的层中，这样形成一种多尺寸的特征拼接，通过串联合并得到的特征图，可以研究多尺寸的上下文信息，从而有助于网络学习如何精准预测出篡改区域的边界、轮廓和大小；另外，本发明通过将全连接层输出进行逐级2x反卷积后连接到后面的层中去，提高其在网络决策中的重要性。本发明认为全连接层输出是一种有效的空间决策信息，因为在检测任务中全连接层被训练用于篡改的二分类，因此对此信息多加利用。
其中，所述密集连接卷积网络和反卷积网络的训练过程具体为：
采集训练图像数据并进行预处理；
将预处理后的图像数据分为训练集和测试集；
利用训练集对128x128图像进行预训练，计算梯度更新参数；
根据梯度更新参数对完整尺寸的图像训练，得到密集连接卷积网络的权重；
根据密集连接卷积网络的权重对反卷积网络进行128x128图像的预训练，计算梯度更新参数；
根据计算梯度更新参数对完整尺寸的图像训练，完成对反卷积网络的训练；
利用测试集对反卷积网络进行评估调整，最终输出对应权重的密集连接卷积网络和反卷积网络。
其中，所述密集连接卷积网络和反卷积网络训练调整过程中，采用五折交叉验证法进行调整，每次取预处理后的图像数据五分之一作为测试集，五分之四作为训练集，通过五次的训练评估，取平均训练的结果作为最终的结果。
上述方案中，本发明通过用128x128的小窗口滑动图像，将含有篡改区域的窗口保存为新的图像，并基于篡改区域大小的策略从窗口中筛选科学合理的样本。第一，为了不使篡改区域过大，只保留下篡改区域占比不超过40％的窗口；第二，为了避免篡改区域过小，舍弃篡改区域面积低于150个像素的窗口。这样可以防止样本图像篡改区域面积不合理问题出现，有助于网络对图像篡改检测的学习。同时，用数据增强的方法对图像进行多角度旋转，增强模型的旋转不变性。
上述方案中，训练围绕先检测后定位展开，先训练用于检测图像是否经过篡改的二分类卷积网络，然后保留卷积网络的权重，以定位篡改区域为目标训练，仅使用篡改训练样本更新卷积网络和反卷积网络。
上述方案中，训练时先用128x128的小图像计算梯度更新参数，充分利用图形处理器的显存，一直前向传播可以计算多个样本的梯度；在使用完整尺寸的数据集进行训练，而由于尺寸不均，一次前向传播只能计算一个样本的梯度。为了使损失能平稳下降，本发明用程序设置梯度累加器，对多次梯度进行平均后再更新一次参数。
与现有技术相比，本发明技术方案的有益效果是：
本发明提供的一种采用密集结构卷积网络的图像篡改检测和定位方法，将深度学习技术应用到图像篡改检测与定位中，训练网络学习到篡改图像的特征，适用于应付多种篡改手段，能在新的数据集前提下继续更新参数提高性能，具有好的鲁棒性和实用性；相对于其他深度学习方法，本发明实现了检测和定位的统一框架，不仅能够多图像是否经过篡改做出预测，还能对篡改区域进行预测，给出逐像素的精确标注，得到细致的物体轮廓边界。
附图说明
图1为本发明所述方法步骤流程图；
图2为卷积网络和反卷积网络结构示意图；
图3为卷积网络和反卷积网络训练流程图；
图4为定位测试样例的结果示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，一种采用密集结构卷积网络的图像篡改检测和定位方法，包括以下步骤：
S1：输入待测图像，对待测进行空间富集SRM卷积进行预处理，得到预处理后的图像；
S2：构建密集连接卷积网络对预处理后的图像进行篡改图像特征提取，得到待测图像的二分类信息，完成对图像篡改的检测；
S3：构建与连接卷积网络结构对称的反卷积网络，将待测图像的二分类信息作为输入，定位图像篡改区域；
S4：根据得到的图像篡改区域，由反卷积网络完成定位后的图像，完成对图像篡改的定位。
更具体的，如图2所示，在所述步骤S2中，所述的密集连接卷积网络包括池化层、密集层、过渡层、全局平均池化层和全连接层；其中：
所述池化层对预处理后的图像进行一次卷积和最大池化操作，并将结果输入密集层中；
所述密集层、过渡层均设置有多层，每个密集层的输出结果均输入对应的过渡层中，最终由最后一层过渡层将得到的篡改图像特征图输入所述全局平均池化层中；
所述全局平均池化层将篡改图像特征图进行平均池化，并由所述全连接层计算输出两个概率值，分别代表篡改和非篡改的概率，得到待测图像的二分类信息。
更具体的，所述密集层包括多个基本结构层，每个基本结构层由两个连续的卷积层组成，其中每个基本结构层的输入都有前一层的输出进行合并操作而成，是残差结构的局部稠密版本。
更具体的，所述密集连接卷积网络设置有四个密集层，分别包含了5、10、20、12个基本结构层。
更具体的，所述过渡层包括一层卷积层，其对密集层输入的特征图先卷积一次，再进行平均池化，对图像尺寸进行缩小。
更具体的，所述全连接层通过softmax函数计算输出两个概率值，具体计算公式为：
其中，i代表两个类别篡改/非篡改，
代表网络在i类别上的输出值，yi表示样本在i类别上的真实值，ai代表i类别的权重。
在具体实施过程中，为了更好地捕捉图像的篡改噪声特征，对输入图像的RGB三通道进行一次SRM卷积，卷积核用归一化后的SRM进行初始化，一个卷积核的三个通道都用同一个模型赋值，得到30个滤波器，卷积后的输出再和RGB三通道进行串联合并。
在具体实施过程中，经过池化层进行池化操作后，利用密集连接卷积网络的密集层、过渡层构建深的网络便于提取篡改图像的特征。两个连续的卷积层构成一个基结构层，一个密集层可包括多个基本结构层，并且在一个密集层里每一个基本结构层的输入都是由前面层的所有输出经过合并操作构成的，这样的结构是残差结构的局部稠密版本，能有益于训练更深的网络而不至于过拟合。卷积网络中一种使用了四个密集层，分别包含5、10、20、12个基本结构，过渡层是一个卷积层，对输入的特征图先卷积一次，降低深度，然后进行平均池化，缩小尺寸。网络中使用的池化都是2x2池化，最后一个密集层后的特征图应为原尺寸的三十二分之一。全局平均池化层将特征图进行平均，只保留深度，经过全连接层后输出两个值，由softmax函数转化为概率值，分别代表篡改、非篡改的概率，取最大值为最终的判断结果。
在具体实施过程中，在每个卷积层后都有批标准化和relu激活函数层，从而防止梯度爆炸或者弥散，引入非线性模型。
更具体的，如图2所示，在所述步骤S3中，所述反卷积网络包括全连接层，密集层及对应的反卷积过渡层；首先通过全连接层对篡改图像特征上逐点进行计算，然后通过密集层及对应的反卷积过渡层对图像继续逐层的还原，定位图像篡改区域。
更具体的，在所述步骤S4中，根据所述图像篡改区域，由反卷积网络输出待测图像定位后的二值图像，完成对图像篡改的定位。
在具体实施过程中，本发明利用尽可能与卷积网络对称的结构构建反卷积网络，首先，移除了卷积网络中的全局池化层从而得以保留完整的特征图，对应的全连接层可以在特征图上逐点进行运算，即相当于1x1的卷积，接着是三个包含12、6、3个基本结构层的密集层以及反卷积过渡层，反卷积过渡层是对过渡层的改良，将平均池化替换成2x的反卷积层，从而增大一倍特征图的尺寸。
在具体实施过程中，为了更好地补充输出图像的细节，本发明将前面卷积网络的输出通过直接连接、2x反卷积、4x反卷积操作后输入后面反卷积网络的层中，这样形成一种多尺寸的特征拼接，通过串联合并得到的特征图，可以研究多尺寸的上下文信息，从而有助于网络学习如何精准预测出篡改区域的边界、轮廓和大小；另外，本发明通过将全连接层输出进行逐级2x反卷积后连接到后面的层中去，提高其在网络决策中的重要性。本发明认为全连接层输出是一种有效的空间决策信息，因为在检测任务中全连接层被训练用于篡改的二分类，因此对此信息多加利用。
实施例2
更具体的，在实施例1的基础上，如图3所示，所述密集连接卷积网络和反卷积网络的训练过程具体为：
采集训练图像数据并进行预处理；
将预处理后的图像数据分为训练集和测试集；
利用训练集对128x128图像进行预训练，计算梯度更新参数；
根据梯度更新参数对完整尺寸的图像训练，得到密集连接卷积网络的权重；
根据密集连接卷积网络的权重对反卷积网络进行128x128图像的预训练，计算梯度更新参数；
根据计算梯度更新参数对完整尺寸的图像训练，完成对反卷积网络的训练；
利用测试集对反卷积网络进行评估调整，最终输出对应权重的密集连接卷积网络和反卷积网络。
更具体的，所述密集连接卷积网络和反卷积网络训练调整过程中，采用五折交叉验证法进行调整，每次取预处理后的图像数据五分之一作为测试集，五分之四作为训练集，通过五次的训练评估，取平均训练的结果作为最终的结果。
在具体实施过程中，本发明通过用128x128的小窗口滑动图像，将含有篡改区域的窗口保存为新的图像，并基于篡改区域大小的策略从窗口中筛选科学合理的样本。第一，为了不使篡改区域过大，只保留下篡改区域占比不超过40％的窗口；第二，为了避免篡改区域过小，舍弃篡改区域面积低于150个像素的窗口。这样可以防止样本图像篡改区域面积不合理问题出现，有助于网络对图像篡改检测的学习。同时，用数据增强的方法对图像进行多角度旋转，增强模型的旋转不变性。
在具体实施过程中，训练围绕先检测后定位展开，先训练用于检测图像是否经过篡改的二分类卷积网络，然后保留卷积网络的权重，以定位篡改区域为目标训练，仅使用篡改训练样本更新卷积网络和反卷积网络。
在具体实施过程中，训练时先用128x128的小图像计算梯度更新参数，充分利用图形处理器的显存，一直前向传播可以计算多个样本的梯度；在使用完整尺寸的数据集进行训练，而由于尺寸不均，一次前向传播只能计算一个样本的梯度。为了使损失能平稳下降，本发明用程序设置梯度累加器，对多次梯度进行平均后再更新一次参数。
实施例3
在具体实施过程中，本发明提出的网络使用Tensorflow深度学习框架搭建，可在一颗Geforce GTX 1080Ti GPU(图形处理器)上训练。样本为128x128大小时，更新一次参数可使用128张图像一次迭代。在大小从240×160到1000×1000像素不等的测试集上，检测一张图像是否经过篡改平均需要17.75毫秒，对一张篡改图像进行定位的平均时间是99.84毫秒。
在具体实施过程中，本发明使用多个公开数据集进行训练和测试，包括CASIAv1.0、CASIA v2.0、NC 2016和Columbia Umcompressed四个常用数据集。对模型进行五次训练测试后取平均结果，表1给出了在测试集上的分类平均准确率，平均像素分类准确率，平均交并比。准确率为分类正确样本数量与总样本数量的比值。交并比指的是真实篡改区域与预测篡改区域的交集与并集的比值，介于0到1之间，越大表明重合程度愈高，即模型的性能愈好。
表1
在具体实施过程中，一些定位测试样例的结果如图4所示，白色像素代表篡改的区域。由于卷积网络全局池化层的去除，全连接层输出一个2通道的特征图，将其可视化如第四列，可见该层输出有效的空间决策信息，大致地给出预测位置。反卷积网络利用此信息以及通过与浅层网络密集连接，进一步精准预测。本发明提出的密集结构卷积神经网络能够有效地识别拼接、复制移动、去除的篡改手段，并且输出逐像素分类的结果，能够精准地预测被篡改的对象、大小、形状，贴近真实标注。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (6)
1.一种采用密集结构卷积网络的图像篡改检测和定位方法，其特征在于，包括以下步骤：
S1：输入待测图像，对待测进行空间富集SRM卷积进行预处理，得到预处理后的图像；
S2：构建密集连接卷积网络对预处理后的图像进行篡改图像特征提取，得到待测图像的二分类信息，完成对图像篡改的检测；
S3：构建与连接卷积网络结构对称的反卷积网络，将待测图像的二分类信息作为输入，定位图像篡改区域；
S4：根据得到的图像篡改区域，由反卷积网络完成定位后的图像，完成对图像篡改的定位；
在所述步骤S2中，所述的密集连接卷积网络包括池化层、密集层、过渡层、全局平均池化层和全连接层；其中：
所述池化层对预处理后的图像进行一次卷积和最大池化操作，并将结果输入密集层中；
所述密集层、过渡层均设置有多层，每个密集层的输出结果均输入对应的过渡层中，最终由最后一层过渡层将得到的篡改图像特征图输入所述全局平均池化层中；
所述全局平均池化层将篡改图像特征图进行平均池化，并由所述全连接层计算输出两个概率值，分别代表篡改和非篡改的概率，得到待测图像的二分类信息；
所述密集层包括多个基本结构层，每个基本结构层由两个连续的卷积层组成，其中每个基本结构层的输入都有前一层的输出进行合并操作而成，是残差结构的局部稠密版本；
所述密集连接卷积网络设置有四个密集层，分别包含了5、10、20、12个基本结构层；
所述过渡层包括一层卷积层，其对密集层输入的特征图先卷积一次，再进行平均池化，对图像尺寸进行缩小。
2.根据权利要求1所述的一种采用密集结构卷积网络的图像篡改检测和定位方法，其特征在于，所述全连接层通过softmax函数计算输出两个概率值，具体计算公式为：
其中，i代表两个类别篡改/非篡改，代表网络在i类别上的输出值，yi表示样本在i类别上的真实值，ai代表i类别的权重。
3.根据权利要求1所述的一种采用密集结构卷积网络的图像篡改检测和定位方法，其特征在于，在所述步骤S3中，所述反卷积网络包括全连接层，密集层及对应的反卷积过渡层；首先通过全连接层对篡改图像特征上逐点进行计算，然后通过密集层及对应的反卷积过渡层对图像继续逐层的还原，定位图像篡改区域。
4.根据权利要求3所述的一种采用密集结构卷积网络的图像篡改检测和定位方法，其特征在于，在所述步骤S4中，根据所述图像篡改区域，由反卷积网络输出待测图像定位后的二值图像，完成对图像篡改的定位。
5.根据权利要求4所述的一种采用密集结构卷积网络的图像篡改检测和定位方法，其特征在于，所述密集连接卷积网络和反卷积网络的训练过程具体为：
采集训练图像数据并进行预处理；
将预处理后的图像数据分为训练集和测试集；
利用训练集对128x128图像进行预训练，计算梯度更新参数；
根据梯度更新参数对完整尺寸的图像训练，得到密集连接卷积网络的权重；
根据密集连接卷积网络的权重对反卷积网络进行128x128图像的预训练，计算梯度更新参数；
根据计算梯度更新参数对完整尺寸的图像训练，完成对反卷积网络的训练；
利用测试集对反卷积网络进行评估调整，最终输出对应权重的密集连接卷积网络和反卷积网络。
6.根据权利要求5所述的一种采用密集结构卷积网络的图像篡改检测和定位方法，其特征在于，所述密集连接卷积网络和反卷积网络训练调整过程中，采用五折交叉验证法进行调整，每次取预处理后的图像数据五分之一作为测试集，五分之四作为训练集，通过五次的训练评估，取平均训练的结果作为最终的结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911081464.9A CN110852316B (zh) | 2019-11-07 | 2019-11-07 | 一种采用密集结构卷积网络的图像篡改检测和定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911081464.9A CN110852316B (zh) | 2019-11-07 | 2019-11-07 | 一种采用密集结构卷积网络的图像篡改检测和定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110852316A CN110852316A (zh) | 2020-02-28 |
| CN110852316B true CN110852316B (zh) | 2023-04-18 |
Family
ID=69598598
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911081464.9A Expired - Fee Related CN110852316B (zh) | 2019-11-07 | 2019-11-07 | 一种采用密集结构卷积网络的图像篡改检测和定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110852316B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110852316B (zh) * | 2019-11-07 | 2023-04-18 | 中山大学 | 一种采用密集结构卷积网络的图像篡改检测和定位方法 |
| CN111445454B (zh) * | 2020-03-26 | 2023-05-05 | 江南大学 | 一种图像真伪鉴别方法及其在证照识别中的应用 |
| CN111814543B (zh) * | 2020-06-01 | 2023-07-21 | 湖南科技大学 | 深度视频对象修复篡改检测方法 |
| CN111915568B (zh) * | 2020-07-08 | 2023-07-25 | 深圳大学 | 图像篡改定位模型的生成方法、图像篡改定位方法及设备 |
| CN112115912B (zh) * | 2020-09-28 | 2023-11-28 | 腾讯科技（深圳）有限公司 | 图像识别方法、装置、计算机设备及存储介质 |
| CN112233077A (zh) * | 2020-10-10 | 2021-01-15 | 北京三快在线科技有限公司 | 图像分析方法、装置、设备及存储介质 |
| CN112529835A (zh) * | 2020-10-22 | 2021-03-19 | 浙江大学 | 一种基于源相机识别的图像拼接篡改检测与定位方法 |
| CN112365515B (zh) * | 2020-10-30 | 2024-10-08 | 深圳点猫科技有限公司 | 一种基于密集感知网络的边缘检测方法、装置及设备 |
| CN112991239B (zh) * | 2021-03-17 | 2023-06-30 | 广东工业大学 | 一种基于深度学习的图像反向恢复方法 |
| CN113807392B (zh) * | 2021-08-05 | 2022-09-16 | 厦门市美亚柏科信息股份有限公司 | 一种基于多预处理特征融合的篡改图像鉴别方法 |
| CN113920094B (zh) * | 2021-10-14 | 2024-09-13 | 厦门大学 | 基于梯度残差u型卷积神经网络的图像篡改检测技术 |
| CN114677670B (zh) * | 2022-03-30 | 2024-04-26 | 康旭科技有限公司 | 一种身份证篡改自动识别与定位的方法 |
| CN114612476B (zh) * | 2022-05-13 | 2022-07-22 | 南京信息工程大学 | 一种基于全分辨率混合注意力机制的图像篡改检测方法 |
| CN117496225B (zh) * | 2023-10-17 | 2024-09-06 | 南昌大学 | 一种图像数据取证方法及其系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564025A (zh) * | 2018-04-10 | 2018-09-21 | 广东电网有限责任公司 | 一种基于可变形卷积神经网络的红外图像物体识别方法 |
| CN109191476A (zh) * | 2018-09-10 | 2019-01-11 | 重庆邮电大学 | 基于U-net网络结构的生物医学图像自动分割新方法 |
| CN110334805A (zh) * | 2019-05-05 | 2019-10-15 | 中山大学 | 一种基于生成对抗网络的jpeg域图像隐写方法和系统 |
| CN110414670A (zh) * | 2019-07-03 | 2019-11-05 | 南京信息工程大学 | 一种基于全卷积神经网络的图像拼接篡改定位方法 |
| CN110852316A (zh) * | 2019-11-07 | 2020-02-28 | 中山大学 | 一种采用密集结构卷积网络的图像篡改检测和定位方法 |
| CN113920094A (zh) * | 2021-10-14 | 2022-01-11 | 厦门大学 | 基于梯度残差u型卷积神经网络的图像篡改检测技术 |
-
2019
- 2019-11-07 CN CN201911081464.9A patent/CN110852316B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564025A (zh) * | 2018-04-10 | 2018-09-21 | 广东电网有限责任公司 | 一种基于可变形卷积神经网络的红外图像物体识别方法 |
| CN109191476A (zh) * | 2018-09-10 | 2019-01-11 | 重庆邮电大学 | 基于U-net网络结构的生物医学图像自动分割新方法 |
| CN110334805A (zh) * | 2019-05-05 | 2019-10-15 | 中山大学 | 一种基于生成对抗网络的jpeg域图像隐写方法和系统 |
| CN110414670A (zh) * | 2019-07-03 | 2019-11-05 | 南京信息工程大学 | 一种基于全卷积神经网络的图像拼接篡改定位方法 |
| CN110852316A (zh) * | 2019-11-07 | 2020-02-28 | 中山大学 | 一种采用密集结构卷积网络的图像篡改检测和定位方法 |
| CN113920094A (zh) * | 2021-10-14 | 2022-01-11 | 厦门大学 | 基于梯度残差u型卷积神经网络的图像篡改检测技术 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110852316A (zh) | 2020-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110852316B (zh) | 一种采用密集结构卷积网络的图像篡改检测和定位方法 | |
| Ali et al. | Structural crack detection using deep convolutional neural networks | |
| JP7458328B2 (ja) | マルチ分解能登録を介したマルチサンプル全体スライド画像処理 | |
| CN112818862B (zh) | 基于多源线索与混合注意力的人脸篡改检测方法与系统 | |
| CN108830285B (zh) | 一种基于Faster-RCNN的加强学习的目标检测方法 | |
| CN112801057B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN110853022B (zh) | 病理切片图像的处理方法、装置、系统及存储介质 | |
| CN110728330A (zh) | 基于人工智能的对象识别方法、装置、设备及存储介质 | |
| CN110033040B (zh) | 一种火焰识别方法、系统、介质和设备 | |
| CN114998220B (zh) | 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法 | |
| CN113011357A (zh) | 基于时空融合的深度伪造人脸视频定位方法 | |
| CN112529005B (zh) | 基于语义特征一致性监督金字塔网络的目标检测方法 | |
| CN111257341A (zh) | 基于多尺度特征与堆叠式全卷积网络的水下建筑物裂缝检测方法 | |
| CN113920094B (zh) | 基于梯度残差u型卷积神经网络的图像篡改检测技术 | |
| CN108710893A (zh) | 一种基于特征融合的数字图像相机源模型分类方法 | |
| CN111242026A (zh) | 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法 | |
| CN107622280A (zh) | 基于场景分类的模块化处方式图像显著性检测方法 | |
| CN111539456B (zh) | 一种目标识别方法及设备 | |
| CN111582057B (zh) | 一种基于局部感受野的人脸验证方法 | |
| CN113837015A (zh) | 一种基于特征金字塔的人脸检测方法及系统 | |
| CN116091524B (zh) | 一种针对复杂背景中目标的检测与分割方法 | |
| CN114565918A (zh) | 一种基于多特征提取模块的人脸静默活体检测方法与系统 | |
| KR101899729B1 (ko) | 세포핵 기반의 암 탐지 방법 및 암 탐지를 위한 위한 학습 방법 | |
| Saleem et al. | Multimedia forensic: an approach for splicing detection based on deep visual features | |
| CN118015261B (zh) | 一种基于多尺度特征复用的遥感图像目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20230418 |