[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN117876690A - 一种基于异构UNet的超声影像多组织分割方法和系统 - Google Patents

一种基于异构UNet的超声影像多组织分割方法和系统 Download PDF

Info

Publication number
CN117876690A
CN117876690A CN202410092660.0A CN202410092660A CN117876690A CN 117876690 A CN117876690 A CN 117876690A CN 202410092660 A CN202410092660 A CN 202410092660A CN 117876690 A CN117876690 A CN 117876690A
Authority
CN
China
Prior art keywords
module
convolution
segmentation
layer
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410092660.0A
Other languages
English (en)
Inventor
李发琪
高凡童
李成海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Medical University
Original Assignee
Chongqing Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Medical University filed Critical Chongqing Medical University
Priority to CN202410092660.0A priority Critical patent/CN117876690A/zh
Publication of CN117876690A publication Critical patent/CN117876690A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于异构UNet的超声影像多组织分割方法和系统，该方法利用改进的U‑net网络，其融入残差连接利于训练时加快收敛速度；结合改进的空间金字塔ASPP模块，增大图片感受野，更好的保留图像上下文信息；加入Attention Gate模块有助于模型在训练时会学会抑制图像中不相关的区域或噪声的干扰，注重提取目标区域中有价值的显著特征，提高分割模型的整体精度；改进的U‑net网络可以很好的适用于目标分割任务中，分割效果好于现有的分割网络，有良好的市场前景；与手动勾画和人机交互的半自动分割方法相比，极大减少分割所需时间，有效提高超声图像分割的准确性和效率，具有重要的临床和科研应用价值。

Description

一种基于异构UNet的超声影像多组织分割方法和系统
技术领域
本发明涉及人工智能技术领域，特别是一种基于异构UNet的超声影像多组织分割方法和系统。
背景技术
超声分割算法在医学影像处理中起到关键作用，其主要目的是将超声图像中的结构或组织分割成不同的区域，以便进行进一步的分析、诊断或治疗规划，在精准诊断和个性化治疗规划、手术导航、标准化分析、研究教育等方面均有重要应用价值。由于手动分割超声图像是一项费时费力的任务，存在主观依赖性强、误差率高、时间成本高、可重复性差等弊端，这些缺点在一定程度上限制了其在临床和科研中的应用。为有效解决这些问题，近年来大量超声图像自动分割方法被提出，用于提高超声图像分割的准确性和效率。目前超声图像自动分割方法主要分为传统超声图像分割方法和基于深度学习的分割方法。
传统超声图像分割方法基于传统的图像处理技术，如阈值分割、区域生长、边缘检测等，这些方法简单但依赖手工特征设计，对噪声和伪影敏感，难以适应超声图像不均匀性，容易产生过分割或欠分割的情况，且只考虑局部像素之间的关系，缺乏全局上下文信息的引导，可能会导致分割结果对于整体结构的一致性和连续性不够好。此外，传统方法中的很多算法需要依赖一些参数的设定，参数的选择可能会影响分割结果的准确性和稳定性，这需要用户有一定的专业知识和经验。因此，传统超声图像分割方法在处理复杂、噪声和伪影较多的超声图像时存在一定的局限性，难以达到实时性、高准确性和稳定性的要求。随着深度学习等技术的发展，基于深度学习的超声图像自动化分割方法正在逐渐成为主流，能够有效地克服传统方法的这些缺点。基于深度学习的医学图像分割模型主要分为基于卷积神经网络（如FCN、DeepLab）、基于编码器-解码器结构（如U-Net、SegNet）、基于注意力机制（如Attention U-Net、SENet）、基于生成对抗网络（如pix2pix、CycleGAN）、基于级联式网络（如DeepMedic、CascadeNet）的分割模型。
然而，由于超声图像常常受到噪声和伪影的影响，这些因素会导致图像质量下降和结构信息模糊，使得超声图像边缘和纹理特征不清晰；超声图像采集过程中的成像条件、组织特性等因素，图像的亮度和对比度可能存在不均匀性，这种不均匀性会导致在图像中存在明暗差异和灰度不连续的区域；超声医学图像中的组织和器官结构通常是复杂且多样的，包括不同形状、大小和纹理的结构，这些结构之间可能存在相互连接或部分遮挡的情况。以上情况都增加了超声医学图像分割的难度，且现有的超声图像分割方法多聚焦于单目标分割，即仅关注对于单个目标组织的分割，如乳腺、前列腺等，忽视了B超图像其他组织部位的应用价值，综上所述，实现对B超图像中多组织部位的精确快速分割依然是一个挑战。
发明内容
有鉴于此，本发明的目的在于提供一种基于异构UNet的超声影像多组织分割方法和系统，该方法利用改进的U-Net网络进行目标分割，适用于超声影像中多组织分割。
为达到上述目的，本发明提供如下技术方案：
本发明提供的基于异构UNet的超声影像多组织分割方法，包括以下步骤：
（1）数据采集：采集用于分割的B超图像，所述B超图像内包含待分割的各目标组织部位，并建立超声图像数据集；
（2）数据标注：对超声图像数据集中每张图片数据依次设置各组织标签；
（3）数据集预处理：首先对数据集中所有数据进行归一化和标准化处理；
（4）构建分割网络：所述分割网络采用改进U-Net网络，所述改进U-Net网络用于识别各组织和靶区图像；所述改进U-Net网络包括编码器、解码器、注意力门控模块和改进的ASPP模块，所述编码器通过双卷积残差特征提取模块进行下采样分别得到深层特征信息和浅层特征信息；通过解码器的上采样操作逐步增加分辨率并利用深层特征信息和浅层特征信息进行图像的分割；所述的注意力门控模块加入到网络解码器的每个解码层之前，用于增强网络对特定特征的关注；所述的改进的ASPP模块位于编码器的末端，用于捕获不同空洞率下的空间信息，从而有效地处理不同尺度的目标；
（5）训练网络：使用参数初始化方法对分割网络进行训练得到训练的分割网络；
（6）识别结果：将采集的超声图像数据输入到训练好的分割网络中进行识别，得到超声图像数据中声通道上各组织及靶区分割结果。
进一步，所述改进U-Net网络按照以下步骤进行：
a）通过编码器前部分的双卷积残差特征提取模块提取浅层特征信息；通过编码器后部分的双卷积残差特征提取模块提取到深层特征信息；
b）得到浅层特征和深层特征后，通过解码器中带有不同膨胀率的空间金字塔对深层特征做加强特征提取操作；对浅层特征卷积处理，将操作处理后的深浅特征进行特征融合，并对融合后的特征进行卷积化操作，并输入到空间金字塔ASPP中；
c）将注意力门控模块的输出的输入特征图和注意系数的元素相乘，使用卷积神经网络获取的图像粗粒度的特征图捕获上下文信息，通过注意力门控模块将浅层细粒度特征与深层粗粒度特征相融合，得到图像中目标区域的类别和位置；
d）采用双线性插值上采样，将图像特征通过卷积池化操作后进行预测，得到声通道上各组织的像素级划分。
进一步，所述双卷积残差特征提取模块按照以下步骤进行：
所述双卷积残差特征提取模块的第一卷积层的输出特征与输入特征形成第一残差连接；
所述双卷积残差特征提取模块的第二卷积层的输出特征与第一卷积层的输出特征相加，形成第二残差连接，最终的输出第二残差连接的结果。
进一步，所述条带池化SPM模块按照以下步骤进行：
将输入特征图分别经过水平和竖直条纹池化后；
经过卷积与expand处理后，再对应相同位置求和得到H×W的特征图；
通过1×1的卷积与sigmoid处理后与原输入图对应像素相乘得到输出结果。
进一步，所述编码器最后一层与解码器对应层通过改进的ASPP模块连接，所述改进的ASPP模块中采用不同膨胀率的空洞卷积核进行卷积，并融合条带池化SPM模块。
本发明提供的基于异构UNet的超声影像多组织分割系统，包括输入端、编码器、注意力门控模块、改进ASPP模块、解码器、输出端；
所述编码器包括若干双卷积残差特征提取模块；
所述解码器包括若干上采样卷积层；
所述编码器通过双卷积残差特征提取模块进行下采样分别得到深层特征信息和浅层特征信息；通过解码器的上采样操作逐步增加分辨率并利用这深层特征信息和浅层特征信息进行图像的分割；
所述输入端用于将B超图像输入到双卷积残差特征提取模块中；
所述双卷积残差特征提取模块，用于通过两个卷积层的残差连接来提取特征；
所述注意力门控模块设置于对应层的跳跃连接中，用于设置特征的权重；
所述改进ASPP模块设置于U-Net结构中的编码器和解码器之间，用于对浅层特征和深层特征进行特征处理；
所述输出端用于输出U-Net结构中解码器处理的数据。
进一步，所述双卷积残差特征提取模块包括第一卷积层和第二卷积层；所述第一卷积层的输出特征与输入特征形成第一残差连接；所述第二卷积层的输出特征与第一卷积层的输出特征相加，形成第二残差连接，最终的输出是第二残差连接的结果。
进一步，所述改进的ASPP模块包括若干由并行卷积操作模块、条带池化SPM模块、连接操作模块、输出模块；
所述并行卷积操作模块，用于在不同的采样率下进行卷积操作，从而在不同尺度上捕获图像的语境信息，有助于模型更好地理解图像中的局部细节和全局结构，提高模型对不同尺度目标的感知能力；
所述条带池化SPM模块，通过分别侧重于沿着水平和垂直空间两个维度两条路径捕获远程上下文，使得输出张量中的每个位置都与输入张量中的各种位置建立对应关系；
所述连接操作模块，用于将不同尺度的特征图合并在一起，捕捉图像中不同空间尺度下的语境信息；
所述输出模块，用于输出连接操作模块得到数据。
进一步，所述条带池化SPM模块包括竖直条形池化层、水平条形池化层、一维卷积、融合模块和激活函数；
所述竖直条形池化层，用于沿垂直空间维度编码远程上下文；
所述水平条形池化层，用于沿水平空间维度编码远程上下文；
所述一维卷积，用于维度扩充，并调制当前位置及其相邻特征；
所述融合模块，用于获得包含更有用的全局先验的输出；
所述激活函数，用于将网络的输出映射0至1之间。
本发明的有益效果在于：
本发明公开一种基于异构UNet的超声影像多组织分割方法和系统，该方法利用改进的U-net网络，其融入残差连接利于训练时加快收敛速度；结合改进的空间金字塔ASPP模块，增大图片感受野，更好的保留图像上下文信息；加入Attention Gate模块有助于模型在训练时会学会抑制图像中不相关的区域或噪声的干扰，注重提取目标区域中有价值的显著特征，提高分割模型的整体精度。改进的U-net网络可以很好的适用于目标分割任务中，分割效果好于现有的分割网络，有良好的市场前景。在精准诊断和治疗规划方面，本方法可以帮助提取图像中感兴趣的区域，从而更精准地进行病变分析，辅助医生做出更准确的诊断和治疗规划。在临床治疗手术导航方面，超声引导被广泛用于不同类型的手术，如经皮穿刺和活检、聚焦超声消融手术、神经阻滞及射频消融等多种临床应用场景，提供实时、直观、准确的图像引导和监控，快速精确分割出超声图像上各组织必不可少，能辅助医生更好地执行手术并确保手术的成功和安全。在标准化分析应用场景中，本方法有助于实现图像分析的标准化。通过自动化处理，可以提高分析的一致性，减少人为误差，使得不同医生或医疗机构之间的结果更加可比。本方法还有助于实现个性化医疗，自动分割有助于更好地理解患者的个体差异，从而为个性化医疗提供支持。通过对超声图像的精准分割，可以更好地了解患者的解剖结构和病变分布，为个性化的治疗方案提供数据支持。在研究和教育领域，本方法为科研提供了强大的工具，有助于深入研究疾病的特征和发展治疗方法。此外，本方法也可以用于超声影像学科教学，帮助培养新一代的超声影像专业人才。综上，本分割方法具有重要的科研和临床应用价值。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
图1为网络整体结构图；
图2为改进U-Net网络原理框图；
图3为双卷积残差特征提取模块整体结构图；
图4为注意力门控模块整体结构图；
图5为条带池化模块整体结构图；
图6为改进ASPP模块整体结构图；
图7为腹部B超图像分割效果对比示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
本实施例提供的基于异构UNet的超声影像多组织分割方法，可以在临床治疗场景中声通道上各组织实现自动快速精准分割，包括以下步骤：
（1）数据采集：采集用于分割的B超图像，图像需涵盖待分割的各目标组织部位，通过对图像裁剪和重采样将图像大小统一为512pt*512pt*3，由此建立超声图像数据集；
（2）数据标注：对数据集中每张图片数据进行ROI勾画，假设从皮肤开始至治疗区域的各声通道组织共计n类，则依次设置各组织标签为1、2、3…n，靶区标签设置为n+1，数据全部勾画完毕后，由原始B超图像对应的标注.json文件转化为.png格式的掩膜图像，且掩膜图像为单通道图像，大小为512pt*512pt*1，和原始B超图像大小保持一致；
（3）数据集预处理：首先对数据集中所有数据进行归一化处理，消除奇异样本数据带来的不利影响；其次对数据进行标准化处理，以加快模型的收敛速度。对于训练样本数量少这一问题，采取对数据集进行水平翻转、增加对比度、改变亮度等数据增强方法；
（4）构建分割网络：所述分割网络采用改进U-Net网络，对输入图像进行语义分割，将图像中的每个像素标记为不同的类别，所述改进U-Net网络包括输入端、编码器、解码器、注意力门控模块、改进ASPP模块、输出端；
所述编码器包括若干双卷积残差特征提取模块；用于将输入图像映射到高级语义特征空间，通过层级结构提取图像的不同层次的信息，并通过下采样操作减小图像分辨率；
所述解码器包括若干上采样卷积层；逐步还原特征图的分辨率和融合来自不同层级的信息，将编码器中提取的高级语义信息与低级细节信息有机地结合在一起，以生成精确的预测结果；
所述编码器通过双卷积残差特征提取模块进行下采样分别得到深层特征信息和浅层特征信息；通过解码器的上采样操作逐步增加分辨率并利用这深层特征信息和浅层特征信息进行图像的分割；
所述输入端，加载训练数据集，用于将预处理后的图像和标签的通道数、高度和宽度信息转换为张量格式，并将其组织成批次输入到网络中进行训练；
所述双卷积残差特征提取模块，用于有效地从输入特征图中提取并保留重要的特征；该模块可以使得训练时加快收敛速度；
所述注意力门控模块，用于动态地调整特征图中不同位置的权重；提高模型在训练时会学会抑制图像中不相关的区域或噪声干扰的能力，注重提取目标区域中有价值的显著特征，该模块使用卷积神经网络获取的图像粗粒度的特征图捕获上下文信息，将浅层细粒度特征与深层粗粒度特征相融合，可以突出显示图像中目标区域的类别和位置，提高分割模型的整体精度；
本实施例中的图像的浅层特征是指浅层网络提取的特征和输入比较近，包含更多的像素点的信息，一些细粒度的信息是图像的一些颜色、纹理、边缘、棱角信息；图像的深层特征是指深层网络提取的特征离输出较近，一些粗粒度的信息，包含是更抽象的信息，即语义信息。
所述改进ASPP模块，采用多个并行的空洞卷积分支，每个分支具有不同的采样率，实现了在不同尺度下的特征提取；通过多尺度特征提取和增大感受野，提高网络对图像整体信息的理解，从而增强分割模型对目标的感知和分割性能，使其能够更好地适应不同场景和复杂的图像内容；通过在原始ASPP模块中引入SPM模块，提升捕获长距离依赖的能力，增强长条物体的检测效果；
所述解码器包括若干上采样卷积层，所述各上采样卷积层通过对应的注意力门控模块分别与双卷积残差特征提取模块跳跃连接，用于通过上采样获取图像特征，用于将编码器中的低分辨率特征图逐步放大，恢复到原始输入图像的分辨率，有助于逐渐还原图像的细节；
所述输出端，用于输出与输入图像相同大小的预测图像，其中预测图像中每个像素值对应该位置的类别标签。
如图1和图2所示，图1为网络整体结构图，图2为改进U-Net网络原理框图，本分割网络将双卷积残差特征提取模块、注意力门模块、改进ASPP模块整合在U-Net结构中，其中，使用双卷积残差特征提取模块替换传统U-Net网络中的双卷积模块；
将改进ASPP模块连接在第四层双卷积残差模块之后；
将注意力门控模块（Attention Gate，AG）添加到跳跃连接（skip connection）中，解码部分的特征图与其上一层的编码部分的特征图作为注意力门控模块AG的输入，经过注意力门控模块AG后将结果和上采样的解码部分的特征图进行连接操作（concatenation）。
如图3所示，图3为双卷积残差特征提取模块整体结构图，本实施例提供的双卷积残差特征提取模块将前一层的特征作为输入，传递到双卷积残差特征提取模块。在该模块中，共有两个卷积层，每个卷积层都包含卷积层、线性整流单元(Linear rectificationfunction，ReLU)和批量归一化层等操作。首先进行卷积操作，使用卷积核大小为3x3的卷积层，对输入特征进行卷积运算，用于捕捉输入特征的局部空间信息。卷积操作后，对输出特征进行批量归一化操作，规范化输入数据的分布，从而加速网络收敛，并提高网络泛化能力。之后再将输出传递给ReLU激活函数进行非线性变换，引入非线性因素以增加模型的表达能力。
将第一卷积层的输出特征与输入特征进行残差连接形成第一残差连接，即将原始输入特征与最后一层的输出特征进行相加。
这种残差连接的方式可以帮助网络更好地传递梯度和学习残差，有助于解决网络训练过程中的梯度消失问题。
第二卷积层与第一个卷积层结构类似，该层也包含卷积核、激活函数和批量归一化等的标准卷积操作。
将第二卷积层的输出特征与第一个卷积层的输出特征相加，形成第二残差连接，最终的输出是第二残差连接的结果。
通过网络中的第一层和第二层卷积提取浅层的特征信息；经过一层到四层卷积操作后提取到深层的特征信息；
如图4所示，图4为注意力门控模块整体结构图，其中，g和xl分别为skipconnection的输出和下一层的输出。注意力门控模块的输出是输入特征图和注意系数的元素相乘，其表达式如式（1）所示：
式（1）
其中，表示计算注意力权重过程中的中间值；
表示注意力系数；
表示解码器对应层的输出特征图；
gi表示编码器对应层的输出特征图。
Wg、Wx和ψ均表示卷积操作；
σ1表示 ReLu激活函数；
σ2表示Sigmoid 激活函数；
bg和bψ是对应卷积的偏置项；
θatt表示一组参数集合。
如图5所示，图5为条带池化(SPM)模块整体结构图，输入的特征图分别经过水平和竖直条纹池化后，大小变为H×1和1×W。随后经过卷积核为3的1D卷积与expand后，再对应相同位置求和得到H×W的特征图。之后通过1×1的卷积与sigmoid处理后与原输入图对应像素相乘得到输出结果。
所述条带池化SPM模块包括竖直条形池化层、水平条形池化层、一维卷积、融合模块、激活函数；
所述竖直条形池化层，用于沿垂直空间维度编码远程上下文；
所述水平条形池化层，用于沿水平空间维度编码远程上下文；
所述一维卷积，用于维度扩充，并调制当前位置及其相邻特征；
所述融合模块，用于获得包含更有用的全局先验的输出；
所述激活函数，用于将网络的输出映射0至1之间；
如图6所示，图6为改进ASPP模块整体结构图，所述改进ASPP模块包括若干由并行卷积操作模块、条带池化SPM模块、连接操作模块、输出模块；
所述并行卷积操作模块，用于在不同的采样率下进行卷积操作，从而在不同尺度上捕获图像的语境信息，有助于模型更好地理解图像中的局部细节和全局结构，提高模型对不同尺度目标的感知能力；
所述条带池化SPM模块，通过分别侧重于沿着水平和垂直空间两个维度两条路径捕获远程上下文，使得输出张量中的每个位置都与输入张量中的各种位置建立对应关系；
所述连接操作模块，用于将不同尺度的特征图合并在一起，捕捉图像中不同空间尺度下的语境信息；
所述输出模块，用于输出连接操作模块得到数据。
本实施例中的并行卷积操作模块由六个并行的分支组成，对输入特征图采用不同大小的空洞率（分别为6、12、18）进行卷积操作，以增加感受野的大小，从而捕获不同尺度的特征信息；在ASPP模块原有分支中引入条带池化SPM模块作为一个新的分支，有利于提高网络捕获远程依赖关系的能力。然后将各分支得到的结果通过concat操作融合到一起，扩大通道数；最后通过 1 × 1的卷积将通道数降低到预期的数值后输出。
由于腹部超声图像中皮肤、脂肪肌肉等组织区域占整张图片比例小，且皮肤与脂肪层、脂肪与肌肉层区域邻接密切。针对上述背景像素过多引起的类不均衡和声通道上组织轮廓形态分割不准确的问题，在U-Net架构中融入ResNet的残差连接，梯度可以直接流经较短的路径，减少训练过程中的梯度消失问题，且残差连接有助于网络更快地收敛，提高训练效率；通过将U-Net网络中的双卷积模块替换为双残差卷积模块实现，对一个准确率达到饱和的浅层网络，在它后面加几个恒等映射层，增加网络深度的同时不增加误差。这使得神经网络的层数可以超越之前的约束，提高准确率。
通过将条带池化（Strip Pooling Module，SPM）模块融入全局空间金字塔池化（Atrous Spatial Pyramid Pooling，ASPP）模块中，在有效扩大感受野的同时可以捕获长距离依赖，增强长条物体的检测效果；本实施例中的条带池化通过沿着空间维度部署长条状的池化核形状，长而窄的池内核使语义分割网络能够同时聚合全局和本地上下文信息。
针对编码器的输出进行多尺度特征提取，以获取多尺度上下文信息；在编码器与解码器的跳跃连接之间引入注意力门控模块，为特征图中不同的区域赋予不同的权重，使得模型能够更侧重于感兴趣的部分，提升模型对各组织和靶区的识别定位能力，具体流程如下：
（a）构建U型网络模型：本方法提出的分割网络模型使用U-Net作为骨干网络，网络主干由编码器和解码器两部分组成。编码器和解码器的网络结构从上到下分为四层。其中，编码器部分的前三层每一层与解码器部分的对应层通过跳跃连接相连。
（b）在U-Net骨干网络中引入双卷积残差特征提取模块：将原始U-Net网络中的传统双卷积模块替换为双卷积残差特征提取模块。
（c）在U-Net骨干网络中引入改进的全局空间金字塔池模块：在编码器部分的第四层与解码器的第四层通过改进的全局空间金字塔池模块连接。改进的空间金字塔ASPP中采用不同膨胀率的空洞卷积核进行卷积，具体选用rate＝6、rate＝12、rate＝18的空洞卷积核，并融合了条带池化SPM模块，可以增大图片感受野，更好的保留图像上下文信息。
（d）在U-Net骨干网络中引入注意力门控模块：将注意力门控模块添加到网络编码器和解码器对应层的跳跃连接（skip connection）中。
（e）最后，采用双线性插值上采样，将图像特征通过卷积池化等操作后进行预测，从而实现对声通道上各组织的像素级划分。
（5）训练网络：所述分割网络按照以下步骤进行训练：
使用参数初始化方法对网络进行初始化，使用adam优化器更新网络的权重，自适应调整学习率和动量，加快网络收敛，减少训练时间。
设置合适的网络超参数，如学习率、批量大小、迭代轮次、优化器权重衰减、动量等。
图像分割任务主要是判断各个像素点是否为目标像素点，超声图像的各类分割目标所占图像整体比例较小，图像前景多尺度差异性大。
如果采用交叉熵损失判断图像前景，像素的损失可能被背景的损失所稀释，同时它仅考虑各个像素本身的损失结果，平等地对待每个元素而忽略了图像整体的结构性。对于不用的像素应具有不同的权重，同时对于图像目标多尺度差异性大的问题，也应关注图像分割目标整体的差异性损失。
因此采用加权交叉熵（Weighted Binary Cross Entropy，WBCE）损失和结构相似（Structural SIMilarity，SSIM）损失设计了一个评估边界分割效果的损失函数，如下所示，定义的损失函数L为式（2）所示：
式（2）
其中：表示损失函数；/>表示可调权重，取值为0-1；/>表示加权交叉熵损失；表示结构相似损失；
超参数α为平衡系数，用于平衡细节损失及轮廓损失对最终结构的影响；
加权交叉熵损失LWBCE与结构相似损失LSSIM分别定义为加权交叉熵损失和结构相似损失，如式（3）和式（4）所示，加权交叉熵用于评估像素的重要性，通过为每个像素分配权重，重要像素分配较大权重，而简单像素将分配较小的权重，根据中心像素与其周围环境之间的差异计算像素对于周边环境的影响因素；
式（3）
式（4）
其中，N表示样本类别总数；表示第i个类别的权重值；/>表示one-hot向量；/>表示第i个类别的预测值；x、y分别表示用于计算的窗口长和宽；/>表示x的平均值；/>表示y的平均值；/>表示x的方差；/>表示y的方差；/>表示x和y的协方差；c1、c2是维持稳定的两个变量。
（6）识别结果：将采集的超声图像数据输入到训练好的分割网络中进行识别，得到超声图像数据中声通道上各组织及靶区分割结果。以腹部B超影像为例，分割目标器官分别为皮肤、脂肪、肌肉组织。
如图7所示，腹部B超数据集上的分割结果对比示意图如图所示,每一行对应选取的不同患者。第一列为原始图像,第二列为真实标签图像,第三列是本实例网络的分割结果。中间下方的白色区域显示的是：从下至上分别是皮肤、脂肪、肌肉组织，通过本方法分割后得到各声通道上组织边界清晰、准确。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (9)

1.基于异构UNet的超声影像多组织分割方法，其特征在于：包括以下步骤：
（1）数据采集：采集用于分割的B超图像，所述B超图像内包含待分割的各目标组织部位，并建立超声图像数据集；
（2）数据标注：对超声图像数据集中每张图片数据依次设置各组织标签；
（3）数据集预处理：首先对数据集中所有数据进行归一化和标准化处理；
（4）构建分割网络：所述分割网络采用改进U-Net网络，所述改进U-Net网络用于识别各组织和靶区图像；所述改进U-Net网络包括编码器、解码器、注意力门控模块和改进的ASPP模块，所述编码器通过双卷积残差特征提取模块进行下采样分别得到深层特征信息和浅层特征信息；通过解码器的上采样操作逐步增加分辨率并利用深层特征信息和浅层特征信息进行图像的分割；所述的注意力门控模块加入到网络解码器的每个解码层之前，用于增强网络对特定特征的关注；所述的改进的ASPP模块位于编码器的末端，用于捕获不同空洞率下的空间信息，从而有效地处理不同尺度的目标；
（5）训练网络：使用参数初始化方法对分割网络进行训练得到训练的分割网络；
（6）识别结果：将采集的超声图像数据输入到训练好的分割网络中进行识别，得到超声图像数据中声通道上各组织及靶区分割结果。
2.如权利要求1所述的基于异构UNet的超声影像多组织分割方法，其特征在于：所述改进U-Net网络按照以下步骤进行：
a）通过编码器前部分的双卷积残差特征提取模块提取浅层特征信息；通过编码器后部分的双卷积残差特征提取模块提取到深层特征信息；
b）得到浅层特征和深层特征后，通过解码器中带有不同膨胀率的空间金字塔对深层特征做加强特征提取操作；对浅层特征卷积处理，将操作处理后的深浅特征进行特征融合，并对融合后的特征进行卷积化操作，并输入到空间金字塔ASPP中；
c）将注意力门控模块的输出的输入特征图和注意系数的元素相乘，使用卷积神经网络获取的图像粗粒度的特征图捕获上下文信息，通过注意力门控模块将浅层细粒度特征与深层粗粒度特征相融合，得到图像中目标区域的类别和位置；
d）采用双线性插值上采样，将图像特征通过卷积池化操作后进行预测，得到声通道上各组织的像素级划分。
3.如权利要求1所述的基于异构UNet的超声影像多组织分割方法，其特征在于：所述双卷积残差特征提取模块按照以下步骤进行：
所述双卷积残差特征提取模块的第一卷积层的输出特征与输入特征形成第一残差连接；
所述双卷积残差特征提取模块的第二卷积层的输出特征与第一卷积层的输出特征相加，形成第二残差连接，最终的输出第二残差连接的结果。
4.如权利要求1所述的基于异构UNet的超声影像多组织分割方法，其特征在于：所述编码器最后一层与解码器对应层通过改进的ASPP模块连接，所述改进的ASPP模块中采用不同膨胀率的空洞卷积核进行卷积，并融合条带池化SPM模块。
5.如权利要求4所述的基于异构UNet的超声影像多组织分割方法，其特征在于：所述条带池化SPM模块按照以下步骤进行：
将输入特征图分别经过水平和竖直条纹池化后；
经过卷积与expand处理后，再对应相同位置求和得到H×W的特征图；
通过1×1的卷积与sigmoid处理后与原输入图对应像素相乘得到输出结果。
6.基于异构UNet的超声影像多组织分割系统，其特征在于：包括输入端、编码器、注意力门控模块、改进ASPP模块、解码器和输出端；
所述编码器包括若干双卷积残差特征提取模块；
所述解码器包括若干上采样卷积层；
所述编码器通过双卷积残差特征提取模块进行下采样分别得到深层特征信息和浅层特征信息；通过解码器的上采样操作逐步增加分辨率并利用这深层特征信息和浅层特征信息进行图像的分割；
所述输入端用于将B超图像输入到双卷积残差特征提取模块中；
所述双卷积残差特征提取模块，用于通过两个卷积层的残差连接来提取特征；
所述注意力门控模块设置于对应层的跳跃连接中，用于设置特征的权重；
所述改进ASPP模块设置于U-Net结构中的编码器和解码器之间，用于对浅层特征和深层特征进行特征处理；
所述输出端用于输出U-Net结构中解码器处理的数据。
7.如权利要求6所述的基于异构UNet的超声影像多组织分割系统，其特征在于：所述双卷积残差特征提取模块包括第一卷积层和第二卷积层；所述第一卷积层的输出特征与输入特征形成第一残差连接；所述第二卷积层的输出特征与第一卷积层的输出特征相加，形成第二残差连接，最终的输出是第二残差连接的结果。
8.如权利要求6所述的基于异构UNet的超声影像多组织分割系统，其特征在于：所述改进ASPP模块包括若干由并行卷积操作模块、条带池化SPM模块、连接操作模块和输出模块；
所述并行卷积操作模块，用于在不同的采样率下进行卷积操作，从而在不同尺度上捕获图像的语境信息，有助于模型更好地理解图像中的局部细节和全局结构，提高模型对不同尺度目标的感知能力；
所述条带池化SPM模块，通过分别侧重于沿着水平和垂直空间两个维度两条路径捕获远程上下文，使得输出张量中的每个位置都与输入张量中的各种位置建立对应关系；
所述连接操作模块，用于将不同尺度的特征图合并在一起，捕捉图像中不同空间尺度下的语境信息；
所述输出模块，用于输出连接操作模块得到数据。
9.如权利要求8所述的基于异构UNet的超声影像多组织分割系统，其特征在于：所述条带池化SPM模块包括竖直条形池化层、水平条形池化层、一维卷积、融合模块和激活函数；
所述竖直条形池化层，用于沿垂直空间维度编码远程上下文；
所述水平条形池化层，用于沿水平空间维度编码远程上下文；
所述一维卷积，用于维度扩充，并调制当前位置及其相邻特征；
所述融合模块，用于获得包含更有用的全局先验的输出；
所述激活函数，用于将网络的输出映射0至1之间。
CN202410092660.0A 2024-01-23 2024-01-23 一种基于异构UNet的超声影像多组织分割方法和系统 Pending CN117876690A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410092660.0A CN117876690A (zh) 2024-01-23 2024-01-23 一种基于异构UNet的超声影像多组织分割方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410092660.0A CN117876690A (zh) 2024-01-23 2024-01-23 一种基于异构UNet的超声影像多组织分割方法和系统

Publications (1)

Publication Number Publication Date
CN117876690A true CN117876690A (zh) 2024-04-12

Family

ID=90582719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410092660.0A Pending CN117876690A (zh) 2024-01-23 2024-01-23 一种基于异构UNet的超声影像多组织分割方法和系统

Country Status (1)

Country Link
CN (1) CN117876690A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118154626A (zh) * 2024-05-09 2024-06-07 清泽医疗科技(广东)有限公司 一种神经阻滞麻醉超声引导图像处理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118154626A (zh) * 2024-05-09 2024-06-07 清泽医疗科技(广东)有限公司 一种神经阻滞麻醉超声引导图像处理方法

Similar Documents

Publication Publication Date Title
CN111798462B (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
WO2022041307A1 (zh) 一种构建半监督图像分割框架的方法及系统
CN110930416B (zh) 一种基于u型网络的mri图像前列腺分割方法
CN112949838B (zh) 基于四分支注意力机制的卷积神经网络及图像分割方法
CN113870238B (zh) 一种基于混合监督学习的肝脏ct图像分割系统和算法
CN107203989A (zh) 基于全卷积神经网络的端对端胸部ct图像分割方法
CN113298830B (zh) 一种基于自监督的急性颅内ich区域图像分割方法
CN110648331B (zh) 用于医学图像分割的检测方法、医学图像分割方法及装置
CN111916206B (zh) 一种基于级联的ct影像辅助诊断系统
CN117078692B (zh) 一种基于自适应特征融合的医疗超声图像分割方法及系统
CN111383759A (zh) 一种肺炎自动诊断系统
CN113436173A (zh) 基于边缘感知的腹部多器官分割建模、分割方法及系统
WO2021027152A1 (zh) 基于条件生成对抗网络合成图像的方法及相关设备
CN114398979A (zh) 一种基于特征解耦的超声图像甲状腺结节分类方法
CN111062953A (zh) 一种超声图像中甲状旁腺增生的识别方法
CN117876690A (zh) 一种基于异构UNet的超声影像多组织分割方法和系统
CN113643297B (zh) 一种基于神经网络的计算机辅助牙龄分析方法
CN114581474A (zh) 一种基于宫颈癌ct影像的临床靶区自动勾画方法
CN112330640B (zh) 医学图像中结节区域的分割方法、装置及设备
CN118351300A (zh) 基于U-Net模型的危机器官自动勾画方法及系统
CN117635625A (zh) 基于自动数据增强策略和多注意力辅助UNet的胰腺肿瘤分割方法
CN113379691B (zh) 一种基于先验引导的乳腺病灶深度学习分割方法
CN112967295B (zh) 一种基于残差网络和注意力机制的图像处理方法及系统
CN115272283A (zh) 一种结直肠肿瘤的内窥oct图像分割方法、设备、介质及产品
CN114974522A (zh) 医学影像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination