CN111047524A - 基于深度卷积神经网络的低剂量ct肺部图像的去噪方法 - Google Patents
基于深度卷积神经网络的低剂量ct肺部图像的去噪方法 Download PDFInfo
- Publication number
- CN111047524A CN111047524A CN201911105543.9A CN201911105543A CN111047524A CN 111047524 A CN111047524 A CN 111047524A CN 201911105543 A CN201911105543 A CN 201911105543A CN 111047524 A CN111047524 A CN 111047524A
- Authority
- CN
- China
- Prior art keywords
- dose
- low
- image
- lung
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004072 lung Anatomy 0.000 title claims abstract description 151
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 58
- 238000009826 distribution Methods 0.000 claims abstract description 44
- 230000000593 degrading effect Effects 0.000 claims abstract description 4
- 238000004519 manufacturing process Methods 0.000 claims abstract description 3
- 230000006870 function Effects 0.000 claims description 20
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 8
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 230000002685 pulmonary effect Effects 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 238000012512 characterization method Methods 0.000 claims description 4
- 238000013499 data model Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 238000002591 computed tomography Methods 0.000 description 133
- 230000000694 effects Effects 0.000 description 7
- 238000003062 neural network model Methods 0.000 description 7
- 230000004913 activation Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000005855 radiation Effects 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 230000006378 damage Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007850 degeneration Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种基于深度卷积神经网络的低剂量CT肺部图像的去噪方法，属于数字图像领域，包括：1，收集高剂量CT肺部数据集，将高剂量CT肺部图像退化成低剂量CT肺部图像，并利用低剂量CT肺部图像，制作模型训练集；2，构建深度卷积神经网络；3，利用模型训练集训练所述深度卷积神经网络；4，利用训练后的深度卷积神经网络，得到去噪后的低剂量CT肺部图像。本发明提出的基于深度卷积神经网络的低剂量CT图像的去噪方法，使用残差学习将网络的优化目标从直接学习含噪图中的干净图片转化成学习含噪图中的噪声分布，降低了网络学习的难度，进一步提升去噪的精度，并且缩短了训练时间。
Description
技术领域
本发明涉及一种数字图像领域，具体涉及图像去噪、计算机视觉、深度学习、深度卷积神经网络在低剂量CT肺部图像的去噪方法。
背景技术
CT扫描，也被称为计算机断层扫描，利用计算机处理许多的组合x射线测量了从不同角度产生的横断面的特定区域扫描对象，允许用户看到对象的内部并且没有削减。由于CT成像技术检查为横断面成像，可以通过图像重建，任意方位显示组织或器官，对病变显示更为全面，防止遗漏；具有高密度分辨率，对有密度改变的细微病变也能显示出来，可以明确病变的性质；此外，CT具有无创、成像快等优势已经成为一种广泛使用且高度安全的医疗诊断技术。
随着计算机断层扫描技术(Computed Tomography，CT)的不断发展，在早期的疾病诊断筛查中，CT起到了越来越重要的作用。其中，高剂量CT扫描过程中会产生较高的辐射，这会对人体产生伤害，现在医学研究表明，有1.5％-2％的肿瘤可能是由于高剂量CT辐射导致，特别是对于高危疾病患者和婴幼儿，高剂量CT诊断就不再适用。
90年代初，Naidich等人第一次提出了低剂量CT(LDCT)的概念，在保证其他扫描参数不变的情况下，通过降低管电流来减少辐射CT的辐射剂量。因为肺部和其他组织器官的结构有很大不同，含空气量多，密度低，因此采用比常规剂量低75％-90％的CT扫描就可以形成较满意的图像，虽然低剂量CT可以降低辐射带来的伤害，但是这会导致投影的数据受到污染，低剂量CT肺部图像不仅会有明显的噪声，而且会存在条状的伪影。这些噪声的干扰都会降低肺癌被筛查出来的概率，同时会在一定程度上干扰医生对疾病的判断，不利于临床的诊断，因此对低剂量CT肺部图像进行去噪和复原就具有十分重要的意义。
虽然传统的去除噪声算法在低剂量CT肺部图像上的复原上取得了不错的效果，但是在抑制噪声和伪影的同时，也会造成边缘细节的损失。近些年来，随着深度学习的快速发展，深度卷积神经网络在图像去噪领域上的应用也愈加的广泛，去噪自编码器和卷积去噪自编码器(CNN DAE)是经典自编码器的扩展，这两个模型都试图通过构建网络模型，直接从含噪的图像中学习到干净的去噪后图片，但是模型的稳健性和泛化能力不够好，实际的测试效果并没有训练时表现得那么好。
公开号为CN106408522A公开了一种基于卷积对神经网络的图像去噪方法，包括以下步骤：搭建卷积对神经网络模型，所述卷积对神经网络模型包括多个卷积对和相应的激活层；选取训练集，并设置所述卷积对神经网络模型的训练参数；根据所述卷积对神经网络模型及其训练参数，以最小化损失函数为目标训练所述卷积对神经网络模型形成图像去噪神经网络模型；将待处理的图像输入到所述图像去噪神经网络模型，输出去噪后的图像。
发明内容
本发明提供了一种基于深度卷积神经网络的低剂量CT肺部图像的去噪方法(简称CT-ReCNN)，用一个轻量化、速度快、高精度的深度卷积神经网络去除低剂量CT(LDCT)肺部图像中的噪声和伪影。
一种基于深度卷积神经网络的低剂量CT肺部图像的去噪方法，包括：
步骤1，收集高剂量CT肺部数据集，并通过图像处理方法，将高剂量CT肺部图像退化成低剂量CT肺部图像，并利用低剂量CT肺部图像组制作模型训练集。
步骤1.1，收集高剂量CT肺部数据集，转换数据集中图片的格式，得到原始的高剂量CT肺部图像。
步骤1.2，通过扇形射束投影变化、利用传统的FBP算法，向高剂量CT肺部图像中添加泊松噪声，以此来模拟对应的低剂量CT肺部图像，将高剂量CT肺部图像和处理后成对的低剂量CT肺部图像组作为训练数据以及测试数据。
步骤1.3，将训练数据中的原始的高剂量CT肺部图像和低剂量CT肺部图像进行采样，同时使用缩放和旋转技术进行数据增强，得到高剂量CT肺部图像与退化后的低剂量CT肺部图像的模型训练集。
进一步优选，步骤1.3中，所述采样的尺寸为60×60，采样间隔为20，共计得到成对的64×2096采样图像块。
步骤2，构建去除低剂量CT肺部图像中噪声和伪影的深度卷积神经网络。
步骤2.1，构建Conv+ReLU6模块，初步确定低剂量CT肺部图像中的噪声分布。
所述深度卷积神经网络的第1层使用Conv+ReLU6模块，使用48个尺寸为3×3的卷积核对输入图片进行常规的卷积操作，卷积的步长为1，通过参数共享机制，将低剂量CT肺部图像的噪声和伪影的特征作为模型初步提取出来，接着使用非线性函数ReLU6增加模型的非线性表征能力，初步确定低剂量CT肺部图像中的噪声分布；所述ReLU6函数公式为公式(1)所示：
ReLU6(X)＝Min(Max(0,x)，6) (1)；
其中，X代表神经网络的权重；Max(0,x)是通过比较0和输入的X，取最大的那个；Min(Max(0,x)，6)是比较Max(0,x)和6，取比较小的作为输出。
步骤2.2，在步骤2.1的基础上，构建使用空洞卷积的Dilated Conv+BN+ReLU6模块，得到低剂量CT肺部图像中的噪声分布。
所述深度卷积神经网络的第2～12层使用空洞卷积的Dilated Conv+BN+ReLU6模块；使用空洞卷积核低剂量CT肺部图像进行卷积操作，使用批量正则化方法，使每一层的输出数据模型落在非线性函数对输入比较敏感的区域，再使用ReLU6函数，继续增加输出数据模型的非线性表征能力，得到低剂量CT肺部图像中的噪声分布。
与步骤2.1的区别是引进了空洞卷积操作，不同于传统的卷积操作，空洞卷积是可以在不增加网络参数量的情况下，扩大感受野，进一步提升去噪的精确度，防止过拟合等问题。
在空洞卷积操作后，又引入了批量正则化(batch normalization,BN)操作，统一设定为均值为0，方差为1的可以通过改变激活输入值的分布，使激活输入值落在非线性函数对输入比较敏感的区域，以此来避免梯度消失的问题，加快网络的收敛，最后再次使用非线性函数ReLU6增加模型的非线性表征能力。
步骤2.3，在步骤2.2的基础上，构建重建输出的Conv模块，将低剂量CT肺部图像中的噪声分布提取出来，作为输出。
所述构建去除低剂量CT肺部图像中噪声和伪影的深度卷积神经网络的过程中，在最后一层使用Conv模块，通过对2.2中所述的低剂量CT肺部图像进行单独的卷积操作，将低剂量CT肺部图像中的噪声分布提取出来，作为输出。
该模块就是采用普通的卷积操作，数字图像是一个二维的离散信号，对数字图像做卷积操作其实就是利用卷积核(卷积模板)在图像上滑动，将图像点上的像素灰度值与对应的卷积核上的数值相乘，然后将所有相乘后的值相加作为卷积核中间像素对应的图像上像素的灰度值，并最终滑动完所有图像的过程。
步骤2.4，利用残差网络学习低剂量CT肺部图像中的噪声分布，在低剂量CT图像中减去噪声分布图，直接输出去噪后的肺部CT图像。
在没有使用残差网络之前，由高剂CT肺部图像转化为需要优化的低剂量CT肺部图像，通过公式表示为：H(X)＝F(X)+X；
其中，H(X)作为退化后的低剂量CT肺部图像；X作为高剂量CT肺部图像；F(X)为噪声分布；
使用残差网络，将低剂量CT图像减去模型输出的噪声分布图，得到去噪后的肺部CT图像，通过公式表现为：F(X)＝H(X)-X；通过这种跳跃结构，将学习目标从直接学习得到高剂量CT肺部图像，转变成学习低剂量CT图像中的噪声分布，这就在很大程度上降低了学习的难度，使得网络能更加容易找到局部最优解，并缩短训练时间，得到去噪后的肺部CT图像。
步骤3，利用模型训练集训练步骤2构建的去除低剂量CT肺部图像中噪声和伪影的深度卷积神经网络。
步骤3.1，设置预训练模型：
在所述深度卷积神经网络的每一层的卷积都采用均值为0，方差为0.1的高斯分布；在训练当中采用Adam优化方式，初始的学习速率设定为0.001，随着训练的进行，逐渐衰减至10-5；并设置网络的损失函数，使得训练模型的输出不断去接近低剂量CT肺部图像块中的噪声分布，得到预训练模型；所述设置网络的损失函数为公式(2)所示：
其中f(x,y)为低剂量CT肺部图像块，n(x,y)为对应的低剂量CT肺部图像块中的噪声分布。
步骤3.2，微调预训练模型：
在步骤3.1得到的训练模型中，调整学习率为0.0001，利用Adam算法继续训练10个epoch，得到训练后的去除低剂量CT肺部图像中噪声和伪影的深度卷积神经网络。
步骤4，利用步骤3训练后的去除低剂量CT肺部图像中噪声和伪影的深度卷积神经网络，得到去噪后的低剂量CT肺部图像。
将未去噪的低剂量CT肺部图像，输入到步骤3训练后得到的去除低剂量CT肺部图像中噪声和伪影的深度卷积神经网络中，得到得到去噪后的低剂量CT肺部图像，通过将去噪后的低剂量CT肺部图像与原始的高剂量CT肺部图像进行对比，从主观视觉效果、峰值、信噪比和结构相似性等方面对深度卷积神经网络的去噪效果进行评估。
本发明技术方案的优点有：
(1)本发明使用空洞卷积代替传统的卷积，在不增加网络参数量的情况下，扩大感受野，进一步提升去噪的精度，并且缩短了训练时间。
(2)本发明使用残差学习将输入到输出直接构成一个大的残差单元，将网络的优化目标从直接学习含噪图中的干净图片转化成学习含噪图中的噪声分布，降低了网络学习的难度。
(3)本发明提出了一种新的基于深度卷积神经网络的低剂量CT图像的去噪模型，并取得了很好的去噪效果。
附图说明
图1为本发明中CT-ReCNN网络结构示意图。
图2为本发明中卷积核大小同为3×3的传统卷积和空洞卷积的示意图；其中，a图为传统的卷积；b图为空洞卷积。
图3为本发明中残差学习单元示意图。
图4为本发明中测试数据中高剂量肺部CT示意图；其中，a-l图的图像分辨率大小为512×512，其均来自网上公开的CT图像数据集。
图5为本发明中CT-ReCNN去噪模型对于低剂量肺部CT图的去噪结果；其中，a图、d图为高剂量肺部CT图；b图、e图为对应的低剂量CT肺部图；c图、f图为本发明CT-ReCNN模型的去噪效果图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图和实施例对本发明作进一步的详细描述。
实施例1：
一种基于深度卷积神经网络的低剂量CT肺部图像的去噪方法，含有以下步骤：
步骤1，收集高剂量CT肺部数据集，并通过图像处理方法，将高剂量CT肺部图像退化后成低剂量CT肺部图像，并利用低剂量CT肺部图像组制作模型训练集。
步骤1.1，收集高剂量CT肺部数据集，并转换数据集中图片的格式，得到原始的高剂量CT肺部图像。
步骤1.2，通过利用扇形射束投影变化、利用FBP算法，向高剂量CT肺部图片中添加泊松噪声，以此来模拟对应的低剂量CT肺部图像，将处理后成对的高剂量CT肺部图像和低剂量CT肺部图像分为训练数据和测试数据两部分。
步骤1.3，将训练数据中的原始的高剂量CT肺部图片和低剂量CT肺部图片进行采样，采样的尺寸为60×60，采样间隔为20；同时使用缩放和旋转技术进行数据增强，共计得到成对的64×2096采样图像块，作为模型训练集。
步骤2，构建去除低剂量CT肺部图像中噪声和伪影的深度卷积神经网络。
步骤2.1，构建Conv+ReLU6模块，初步确定低剂量CT肺部图像中的噪声分布；
如图1所示，本发明的深度卷积神经网络在第1层使用Conv+ReLU6模块；本发明中使用48个尺寸为3×3的卷积核对输入图片进行常规的卷积操作，卷积的步长为1，通过参数共享机制，将低剂量CT肺部图像的噪声特征初步提取出来；接着使用非线性函数ReLU6增加模型的非线性表征能力，初步确定低剂量CT肺部图像中的噪声分布；所述“ReLU6”函数公式为公式(1)所示：
ReLU6(X)＝Min(Max(0,x)，6) (1)
其中，X代表神经网络的权重；Max(0,x)是通过比较0和输入的X，取最大的那个；Min(Max(0,x)，6)是比较Max(0,x)和6，取比较小的作为输出。
步骤2.2，构建使用空洞卷积的Dilated Conv+BN+ReLU6模块，得到低剂量CT肺部图像中的噪声分布；
如图1所示，本发明的深度卷积神经网络在第2～12层使用空洞卷积的DilatedConv+BN+ReLU6模块，与前一层结构的区别是引进了空洞卷积操作。
如图2所示，不同于a图中传统的卷积操作，空洞卷积是可以在不增加网络参数量的情况下，扩大感受野，进一步提升去噪的精度，防止过拟合等问题；b图中，在本发明中使用的空洞卷积核的大小3×3，空洞步长为2。
在空洞卷积操作后，又引入了批量正则化操作，统一设定为均值为0，方差为1可以通过改变激活输入值的分布，使激活输入值落在非线性函数对输入比较敏感的区域，以此来避免梯度消失的问题，加快网络的收敛，最后再次使用非线性函数ReLU6增加模型的非线性表征能力，得到低剂量CT肺部图像中的噪声分布。
步骤2.3，构建重建输出的Conv模块，将低剂量CT肺部图像中的噪声分布提取出来，作为输出；
如图1所示，本发明的低剂量CT肺部图像去噪卷积神经网络在最后一层使用Conv模块，通过单独的卷积操作，将低剂量CT肺部图像中的噪声分布提取出来，作为输出；在本发明中，使用1个尺寸为3×3的卷积核对输出图像进行重建,卷积步长为1。
步骤2.4，利用残差网络学习低剂量CT肺部图像中的噪声分布，在低剂量CT图像中减去噪声分布图，直接输出去噪后的肺部CT图像。
如图3所示，在没有使用残差网络之前，由高剂CT肺部图像转化为需要优化的低剂量CT肺部图像，通过公式表示为：H(X)＝F(X)+X；
其中，H(X)作为退化后的低剂量CT肺部图像；F(X)作为泊松噪声分布；X作为高剂量CT肺部图像；
使用残差网络，将低剂量CT图像减去模型输出的噪声分布图，得到去噪后的肺部CT图像，通过公式表现为：F(X)＝H(X)-X；通过这种跳跃结构，将学习目标从直接学习得到高剂量CT肺部图像，转变成学习低剂量CT图像中的噪声分布，这就在很大程度上降低了学习的难度，使得网络能更加容易找到局部最优解，并缩短训练时间，得到去噪后的肺部CT图像。
步骤3，利用模型训练集训练步骤2中构建的去除低剂量CT肺部图像中噪声和伪影的深度卷积神经网络。
步骤3.1，设置预训练模型：
所述深度卷积神经网络的每一层的卷积都采用均值为0，方差为0.1的高斯分布；在训练当中采用Adam优化方式，初始的学习速率设定为0.001，随着训练的进行，逐渐衰减至10-5，设置网络的损失函数，使得模型的输出不断去接近低剂量CT肺部图像块中的噪声分布，一次训练的批量大小设置为64，权重系数采用L2正则化方式，系数设置为0.001，一共训练30轮，得到预训练模型；所述的设置网络的损失函数公式为公式(2)所示：
其中f(x,y)为低剂量CT肺部图像块，n(x,y)为对应的低剂量CT肺部图像块中的噪声分布。
步骤3.2，微调预训练模型：
在步骤3.1得到的训练模型，调整学习率为0.0001，利用Adam算法继续训练10个epoch，得到训练后的去除低剂量CT肺部图像中噪声和伪影的深度卷积神经网络。
步骤4，利用步骤3训练后的去除低剂量CT肺部图像中噪声和伪影的深度卷积神经网络，得到去噪后的低剂量CT肺部图像。
使用未去噪的低剂量CT肺部图像，验证训练后模型的去噪效果，通过和原始的高剂量CT肺部图像进行对比，从主观视觉效果及客观评价指标上对模型的去噪效果进行评估，并确定低剂量CT肺部图像的去噪方法。
应用例：
(1)选取实验数据
如图4所示，a-l图为12张随机选取高剂量CT肺部图像作为测试集，这些图片都是来自AAPM低剂量CT挑战大赛公开的数据集，由Mayo诊所授权提供的，一共由10名患者的低剂量和高剂量CT图像组成，分辨率为512×512；通过利用扇形射束投影变化以及FBP算法，向高剂量的CT肺部图片中添加泊松噪声，以此来模拟对应的低剂量CT肺部图像。
(2)实验结果
按照实施例1中的训练的低剂量CT肺部图像去噪的深度卷积神经网络，构造完模型之后，先使用0.001的学习率预训练30个epoch，然后加载训练模型中精度最高的进行微调，用0.0001的学习率再训练10个epoch，得到去噪后的低剂量CT肺部图像。
如图5所示，以测试集中的两幅图片为例，展示了去噪模型的去除低剂量CT肺部图像中的噪声和伪影的能力，其中，a图、d图为高剂量肺部CT图；b图、e图为退化后的低剂量CT肺部图；c图、f图为去噪模型的去噪效果图；其中，从c图、f图可以很直观地看到本发明在去除低剂量CT肺图像中的噪声和伪影的有效性。
Claims (7)
1.一种基于深度卷积神经网络的低剂量CT肺部图像的去噪方法，其特征在于，包括：
步骤1，收集高剂量CT肺部数据集，经过图像处理后，将高剂量CT肺部图像退化成低剂量CT肺部图像，并利用低剂量CT肺部图像，制作模型训练集；
步骤2，构建去除低剂量CT肺部图像中噪声和伪影的深度卷积神经网络；
步骤3，利用模型训练集训练所述去除低剂量CT肺部图像中噪声和伪影的深度卷积神经网络；
步骤4，利用训练后的去除低剂量CT肺部图像中噪声和伪影的深度卷积神经网络，得到去噪后的低剂量CT肺部图像。
2.根据权利要求1所述的基于深度卷积神经网络的低剂量CT肺部图像的去噪方法，其特征在于，步骤1中，所述制作模型训练集的步骤，包括：
步骤1.1，收集高剂量CT肺部数据集，转换数据集中图片的格式，得到原始的高剂量CT肺部图像；
步骤1.2，通过扇形射束投影变化、利用FBP算法，向高剂量CT肺部图片中添加泊松噪声，模拟对应的低剂量CT肺部图像，将高剂量CT肺部图像与低剂量CT肺部图像作为训练数据以及测试数据；
步骤1.3，对训练数据中的高剂量CT肺部图片和低剂量CT肺部图片进行采样，同时使用缩放和旋转技术进行数据增强，作为模型训练集。
3.根据权利要求2所述的基于深度卷积神经网络的低剂量CT肺部图像的去噪方法，其特征在于，步骤1.3中，所述采样的图片尺寸为60×60，采样间隔为20，共计得到成对的64×2096采样图像块。
4.根据权利要求1所述的基于深度卷积神经网络的低剂量CT肺部图像的去噪方法，其特征在于，步骤2中，所述构建去除低剂量CT肺部图像中噪声和伪影的深度卷积神经网络的步骤，包括：
步骤2.1，构建Conv+ReLU6模块，初步确定低剂量CT肺部图像中的噪声分布；
所述深度卷积神经网络的第1层使用Conv+ReLU6模块，通过参数共享机制将模型训练集中的低剂量CT肺部图像的噪声和伪影特的初步征作为模型提取出来，并使用非线性函数ReLU6增加模型的非线性表征能力，初步确定低剂量CT肺部图像中的噪声分布；所述非线性函数ReLU6为公式(1)所示：
ReLU6(X)＝Min(Max(0,x)，6) (1)；
其中，X代表神经网络的权重；Max(0,x)是通过比较0和输入的X，取最大值；Min(Max(0,x)，6)是比较Max(0,x)和6，取比较小的作为输出；
步骤2.2，构建空洞卷积的Dilated Conv+BN+ReLU6模块，得到低剂量CT肺部图像中的噪声分布；
所述深度卷积神经网络的第2～12层使用空洞卷积的Dilated Conv+BN+ReLU6模块，通过空洞卷积核继续对低剂量CT肺部图像进行卷积操作，并使用批量正则化方法，使每一层的输出数据模型落在非线性函数对输入比较敏感的区域，最后利用ReLU6函数，继续增加输出数据模型的非线性表征能力，得到低剂量CT肺部图像中的噪声分布；
步骤2.3，构建输出的Conv模块，将低剂量CT肺部图像中的噪声分布提取出来，作为输出；
所述深度卷积神经网络的过程的最后一层使用Conv模块，通过对步骤2.2中得到的低剂量CT肺部图像中的噪声分布进行单独的卷积操作，将低剂量CT肺部图像中的噪声分布提取出来，作为输出；
步骤2.4，利用残差网络学习低剂量CT图像中的噪声分布，在低剂量CT图像中减去噪声分布图，直接输出去噪后低剂量CT肺部图像。
5.根据权利要求4所述的基于深度卷积神经网络的低剂量CT肺部图像的去噪方法，其特征在于，步骤2.1中，所述构建Conv+ReLU6模块中使用48个尺寸为3×3的卷积核对输入图片进行卷积操作，卷积的步长为1。
6.根据权利要求1所述的基于深度卷积神经网络的低剂量CT肺部图像的去噪方法，其特征在于，步骤3中，所述利用模型训练集训练所述去除低剂量CT肺部图像中噪声和伪影的深度卷积神经网络的步骤，包括：
步骤3.1，构建预训练模型：
所述深度卷积神经网络的每一层卷积采用高斯分布，采用Adam算法优化方式，设置网络的损失函数，使模型的输出不断去接近低剂量CT肺部图像块中的噪声分布，得到预训练模型；所述设置网络的损失函数为公式(2)所示：
其中，f(x,y)为低剂量CT肺部图像块；n(x,y)为对应的低剂量CT肺部图像块中的噪声分布；
步骤3.2，微调预训练模型：
在步骤3.1得到的预训练模型中，调整学习率，利用Adam算法继续训练，得到训练后的去除低剂量CT肺部图像中噪声和伪影的深度卷积神经网络。
7.根据权利要求6所述的基于深度卷积神经网络的低剂量CT肺部图像的去噪方法，其特征在于，步骤3.1中，所述Adam算法中初始的学习速率设定为0.001，随着训练的进行，逐渐衰减至10-5。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911105543.9A CN111047524A (zh) | 2019-11-13 | 2019-11-13 | 基于深度卷积神经网络的低剂量ct肺部图像的去噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911105543.9A CN111047524A (zh) | 2019-11-13 | 2019-11-13 | 基于深度卷积神经网络的低剂量ct肺部图像的去噪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111047524A true CN111047524A (zh) | 2020-04-21 |
Family
ID=70232420
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911105543.9A Pending CN111047524A (zh) | 2019-11-13 | 2019-11-13 | 基于深度卷积神经网络的低剂量ct肺部图像的去噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111047524A (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111784788A (zh) * | 2020-06-04 | 2020-10-16 | 深圳深透医疗科技有限公司 | 一种基于深度学习的pet快速成像方法和系统 |
| CN111860836A (zh) * | 2020-07-17 | 2020-10-30 | 深圳高性能医疗器械国家研究院有限公司 | 一种自监督学习方法及应用 |
| CN111839574A (zh) * | 2020-09-08 | 2020-10-30 | 南京安科医疗科技有限公司 | Ct超低剂量自动三维定位扫描方法及系统 |
| CN111899188A (zh) * | 2020-07-08 | 2020-11-06 | 西北工业大学 | 一种神经网络学习的锥束ct噪声估计与抑制方法 |
| CN111932467A (zh) * | 2020-07-13 | 2020-11-13 | 东软医疗系统股份有限公司 | 一种图像处理方法及装置 |
| CN111968167A (zh) * | 2020-09-02 | 2020-11-20 | 广州海兆印丰信息科技有限公司 | Ct三维定位像的图像处理方法、装置和计算机设备 |
| CN112102213A (zh) * | 2020-11-23 | 2020-12-18 | 南京安科医疗科技有限公司 | 低剂量ct图像处理方法、扫描系统及计算机存储介质 |
| CN112348936A (zh) * | 2020-11-30 | 2021-02-09 | 华中科技大学 | 一种基于深度学习的低剂量锥束ct图像重建方法 |
| CN112435164A (zh) * | 2020-11-23 | 2021-03-02 | 浙江工业大学 | 基于多尺度生成对抗网络的低剂量ct肺部图像的同时超分辨率和去噪方法 |
| CN112529796A (zh) * | 2020-12-02 | 2021-03-19 | 华北理工大学 | 一种基于多特征提取的cnn医学ct图像去噪方法 |
| CN113379868A (zh) * | 2021-07-08 | 2021-09-10 | 安徽工程大学 | 基于卷积稀疏编码网络的低剂量ct图像噪声伪影分解方法 |
| CN113706419A (zh) * | 2021-09-13 | 2021-11-26 | 上海联影医疗科技股份有限公司 | 一种图像处理方法和系统 |
| CN113808025A (zh) * | 2020-06-11 | 2021-12-17 | 通用电气精准医疗有限责任公司 | 图像降噪方法及装置 |
| CN114022377A (zh) * | 2021-11-03 | 2022-02-08 | 北京航空航天大学宁波创新研究院 | 一种基于卷积神经网络的低剂量x射线乳腺成像方法 |
| CN114219820A (zh) * | 2021-12-08 | 2022-03-22 | 苏州工业园区智在天下科技有限公司 | 神经网络的生成方法、去噪方法及其装置 |
| CN114331921A (zh) * | 2022-03-09 | 2022-04-12 | 南昌睿度医疗科技有限公司 | 一种低剂量ct图像降噪方法及装置 |
| WO2022226886A1 (zh) * | 2021-04-29 | 2022-11-03 | 深圳高性能医疗器械国家研究院有限公司 | 基于变换域下去噪自动编码器作为先验的图像处理方法 |
| CN117541481A (zh) * | 2024-01-09 | 2024-02-09 | 广东海洋大学 | 一种低剂量ct图像修复方法、系统及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109949215A (zh) * | 2019-03-29 | 2019-06-28 | 浙江明峰智能医疗科技有限公司 | 一种低剂量ct图像模拟方法 |
| CN109949235A (zh) * | 2019-02-26 | 2019-06-28 | 浙江工业大学 | 一种基于深度卷积神经网络的胸部x光片去噪方法 |
| CN109978778A (zh) * | 2019-03-06 | 2019-07-05 | 浙江工业大学 | 基于残差学习的卷积神经网络医学ct图像去噪方法 |
-
2019
- 2019-11-13 CN CN201911105543.9A patent/CN111047524A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109949235A (zh) * | 2019-02-26 | 2019-06-28 | 浙江工业大学 | 一种基于深度卷积神经网络的胸部x光片去噪方法 |
| CN109978778A (zh) * | 2019-03-06 | 2019-07-05 | 浙江工业大学 | 基于残差学习的卷积神经网络医学ct图像去噪方法 |
| CN109949215A (zh) * | 2019-03-29 | 2019-06-28 | 浙江明峰智能医疗科技有限公司 | 一种低剂量ct图像模拟方法 |
Non-Patent Citations (2)
| Title |
|---|
| TIANYANG WANG等: "Dilated Deep Residual Network for Image Denoising", 《ICTAI》 * |
| 吕晓琪等: "基于深度卷积神经网络的低剂量 CT 肺部去噪", 《电子与信息学报》 * |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111784788A (zh) * | 2020-06-04 | 2020-10-16 | 深圳深透医疗科技有限公司 | 一种基于深度学习的pet快速成像方法和系统 |
| CN113808025A (zh) * | 2020-06-11 | 2021-12-17 | 通用电气精准医疗有限责任公司 | 图像降噪方法及装置 |
| CN111899188A (zh) * | 2020-07-08 | 2020-11-06 | 西北工业大学 | 一种神经网络学习的锥束ct噪声估计与抑制方法 |
| CN111899188B (zh) * | 2020-07-08 | 2022-06-07 | 西北工业大学 | 一种神经网络学习的锥束ct噪声估计与抑制方法 |
| CN111932467A (zh) * | 2020-07-13 | 2020-11-13 | 东软医疗系统股份有限公司 | 一种图像处理方法及装置 |
| CN111860836A (zh) * | 2020-07-17 | 2020-10-30 | 深圳高性能医疗器械国家研究院有限公司 | 一种自监督学习方法及应用 |
| CN111968167B (zh) * | 2020-09-02 | 2023-12-26 | 广州海兆印丰信息科技有限公司 | Ct三维定位像的图像处理方法、装置和计算机设备 |
| CN111968167A (zh) * | 2020-09-02 | 2020-11-20 | 广州海兆印丰信息科技有限公司 | Ct三维定位像的图像处理方法、装置和计算机设备 |
| CN111839574A (zh) * | 2020-09-08 | 2020-10-30 | 南京安科医疗科技有限公司 | Ct超低剂量自动三维定位扫描方法及系统 |
| CN111839574B (zh) * | 2020-09-08 | 2023-10-31 | 南京安科医疗科技有限公司 | Ct超低剂量自动三维定位扫描方法及系统 |
| CN112102213A (zh) * | 2020-11-23 | 2020-12-18 | 南京安科医疗科技有限公司 | 低剂量ct图像处理方法、扫描系统及计算机存储介质 |
| CN112435164B (zh) * | 2020-11-23 | 2024-04-30 | 浙江工业大学 | 基于多尺度生成对抗网络的低剂量ct肺部图像的同时超分辨率和去噪方法 |
| CN112435164A (zh) * | 2020-11-23 | 2021-03-02 | 浙江工业大学 | 基于多尺度生成对抗网络的低剂量ct肺部图像的同时超分辨率和去噪方法 |
| CN112102213B (zh) * | 2020-11-23 | 2021-02-09 | 南京安科医疗科技有限公司 | 低剂量ct图像处理方法、扫描系统及计算机存储介质 |
| CN112348936A (zh) * | 2020-11-30 | 2021-02-09 | 华中科技大学 | 一种基于深度学习的低剂量锥束ct图像重建方法 |
| CN112529796B (zh) * | 2020-12-02 | 2022-07-05 | 华北理工大学 | 一种基于多特征提取的cnn医学ct图像去噪方法 |
| CN112529796A (zh) * | 2020-12-02 | 2021-03-19 | 华北理工大学 | 一种基于多特征提取的cnn医学ct图像去噪方法 |
| WO2022226886A1 (zh) * | 2021-04-29 | 2022-11-03 | 深圳高性能医疗器械国家研究院有限公司 | 基于变换域下去噪自动编码器作为先验的图像处理方法 |
| CN113379868A (zh) * | 2021-07-08 | 2021-09-10 | 安徽工程大学 | 基于卷积稀疏编码网络的低剂量ct图像噪声伪影分解方法 |
| CN113706419A (zh) * | 2021-09-13 | 2021-11-26 | 上海联影医疗科技股份有限公司 | 一种图像处理方法和系统 |
| CN114022377A (zh) * | 2021-11-03 | 2022-02-08 | 北京航空航天大学宁波创新研究院 | 一种基于卷积神经网络的低剂量x射线乳腺成像方法 |
| CN114219820A (zh) * | 2021-12-08 | 2022-03-22 | 苏州工业园区智在天下科技有限公司 | 神经网络的生成方法、去噪方法及其装置 |
| CN114331921A (zh) * | 2022-03-09 | 2022-04-12 | 南昌睿度医疗科技有限公司 | 一种低剂量ct图像降噪方法及装置 |
| CN117541481A (zh) * | 2024-01-09 | 2024-02-09 | 广东海洋大学 | 一种低剂量ct图像修复方法、系统及存储介质 |
| CN117541481B (zh) * | 2024-01-09 | 2024-04-05 | 广东海洋大学 | 一种低剂量ct图像修复方法、系统及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111047524A (zh) | 基于深度卷积神经网络的低剂量ct肺部图像的去噪方法 | |
| CN109978778B (zh) | 基于残差学习的卷积神经网络医学ct图像去噪方法 | |
| Kuanar et al. | Low dose abdominal CT image reconstruction: an unsupervised learning based approach | |
| JP2020168352A (ja) | 医用装置及びプログラム | |
| CN112258415B (zh) | 一种基于生成对抗网络的胸部x光片超分辨率和去噪方法 | |
| Yuan et al. | SIPID: A deep learning framework for sinogram interpolation and image denoising in low-dose CT reconstruction | |
| CN109949235A (zh) | 一种基于深度卷积神经网络的胸部x光片去噪方法 | |
| CN111429379B (zh) | 一种基于自监督学习的低剂量ct图像去噪方法及系统 | |
| CN112037913B (zh) | 一种基于卷积神经网络的牙周炎智能检测系统 | |
| CN106373163B (zh) | 一种基于三维投影图区别性特征表示的低剂量ct成像方法 | |
| CN112435164B (zh) | 基于多尺度生成对抗网络的低剂量ct肺部图像的同时超分辨率和去噪方法 | |
| Gajera et al. | CT-scan denoising using a charbonnier loss generative adversarial network | |
| CN112017131B (zh) | Ct图像金属伪影去除方法、装置及计算机可读存储介质 | |
| CN106530236B (zh) | 一种医学图像处理方法及系统 | |
| CN111311506A (zh) | 基于双残差网络的低剂量ct牙齿图像去噪方法 | |
| Zhu et al. | Metal artifact reduction for X-ray computed tomography using U-net in image domain | |
| CN110599530B (zh) | 基于双正则约束的mvct图像纹理增强方法 | |
| CN113706643B (zh) | 一种基于同形适应学习的头部ct金属伪影校正方法 | |
| CN116645283A (zh) | 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法 | |
| CN108038840B (zh) | 一种图像处理方法、装置、图像处理设备及存储介质 | |
| CN116630738A (zh) | 一种基于深度卷积稀疏表示重建网络的能谱ct成像方法 | |
| CN109087266A (zh) | 一种结合双边滤波的图像散斑迭代减少方法 | |
| CN113436118B (zh) | 一种基于多尺度卷积编码网络的低剂量ct图像复原方法 | |
| CN114897726A (zh) | 基于三维生成对抗网络的胸腔ct图像伪影去除方法与系统 | |
| JP7362460B2 (ja) | 医用画像処理装置、方法及び記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200421 |