[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN112348059A - 基于深度学习的多种染色病理图像分类方法及系统 - Google Patents

基于深度学习的多种染色病理图像分类方法及系统 Download PDF

Info

Publication number
CN112348059A
CN112348059A CN202011142354.1A CN202011142354A CN112348059A CN 112348059 A CN112348059 A CN 112348059A CN 202011142354 A CN202011142354 A CN 202011142354A CN 112348059 A CN112348059 A CN 112348059A
Authority
CN
China
Prior art keywords
image
pathological images
images
pathological
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011142354.1A
Other languages
English (en)
Inventor
万涛
秦曾昌
孙中杰
季君予
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202011142354.1A priority Critical patent/CN112348059A/zh
Publication of CN112348059A publication Critical patent/CN112348059A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的多种染色病理图像分类方法及系统，主要包括如下部分：通过深度学习技术自动从多种染色病理图像中提取丰富的图像特征，利用深度卷积神经网络构建病理图像分类模型，采用自注意力机制融合来自多种染色病理图像的医学信息，并依据融合后的信息进行多种染色病理图像分类。所述方法利用人工智能以及深度学习技术，有效地融合了多种染色的病理图像特征，实现了多种染色病理图像的准确分类，有助于提高病理诊断效率和准确率，为临床医师提供临床决策支持。

Description

基于深度学习的多种染色病理图像分类方法及系统
技术领域
本发明涉及生物医学信息技术，人工智能技术领域，具体而言，涉及一种基于深度学习的多种染色病理图像分类方法及系统。
背景技术
组织病理学检查是从患者的机体器官或组织中提取病变标本，通过制成病理切片，在显微镜下观察其病理变化以及形态学改变，最终确定疾病类型以及严重程度。病理切片通常采用不同的染料物质染以各种颜色，以显现不同的病变信息，帮助医生进行疾病诊断。例如，对主动脉瘤中膜变性进行诊断时，医生常使用苏木精-伊红染色(Hematoxylin-Eosin，HE)、阿米巴滋养体染色(Alcian Blue and Periodic Acid-Schiff，AB-PAS)、马松三色(Masson Trichrome)染色,平滑肌肌动蛋白(Actin,Smooth Muscle，SMA)染色和胶原纤维(Van Gieson，VG)染色等五种染色相结合的方式进行观察和诊断。然而，在临床诊断中，使用多种染色的病理图像不仅增加了医生的工作量，其过程费时费力，并且常常依赖医生的临床经验，具有主观性强、精确度低、可重复性差等缺点。因此，设计和开发应用于多种染色病理图像的计算机辅助分析系统具有临床意义和实用价值。
随着计算机运算速度的不断提升和算法设计的日臻完善，人工智能尤其是深度学习技术在医学辅助诊断和临床决策中的应用日趋成熟。基于深度学习的计算机辅助分析系统，能够有效地处理大规模高精度的病理图像，帮助临床医师提高工作效率和诊断准确率。
本发明公开提供了一种基于深度学习的多种染色病理图像分类方法及系统。该方法采用深度学习技术，构建多种染色病理图像的多分类网络模型，自动提取来自多种染色病理图像的特征，采用自注意力机制有效融合多种图像特征，基于融合后的医学信息实现多种染色病理图像的准确分类。所述方法为临床医生提供辅助信息，提升人工判读的效率和准确率。
发明内容
为解决现有技术中多种染色病理图像的自动分类问题，本发明公开提供了一种基于深度学习的多种染色病理图像分类方法及系统，构建深度多分类网络模型，高效提取大规模高精度的多种染色病理图像特征，避免了提取图像特征时人工介入导致的主观差异以及提取高质量特征困难等问题，并且融合来自不同染色的病理图像的大量医学信息，实现多种染色病理图像的准确分类，为建立基于病理图像的计算机辅助分析系统提供技术基础，从而减轻病理医生的工作负担，提高诊断效率和准确率。
第一方面，本发明实施例提供了一种基于深度学习的多种染色病理图像分类方法及系统，包括以下步骤：针对待分类的多种染色病理图像进行数据采集和图像标注；对采集后的所述多种染色病理图像进行预处理；通过预先训练好的基于深度学习的多种染色病理图像分类网络模型，对预处理后的所述多种染色病理图像自动提取特征，并执行基于多种染色的图像特征融合操作，获取多种染色病理图像分类结果。
在其中一个实施例中，所述针对待分类的多种染色病理图像进行数据采集和图像标注，包括：从医院信息系统中筛选出病灶位置包含多张不同染色的病理图像，由经验丰富的病理科医师依据病灶的区域和类型，在多种染色病理图像上相应位置进行标注。
在其中一个实施例中，所述对采集后的所述多种染色病理图像进行预处理，包括：对采集后的所述多种染色病理图像依次执行图像配准操作、颜色归一化操作、数据增强操作和构建数据集操作。
在其中一个实施例中，所述对采集后的所述多种染色病理图像执行图像配准操作，包括：执行在图像多分辨率水平上的分级配准，首先在图像低分辨率水平下对整张病理图像进行轮廓配准，然后在此基础上，在中分辨率水平下对整张病理图像进行轮廓配准矫正；最后，基于轮廓配准基础上，在高分辨率水平下对图像病灶区域以及区域内部进行配准。
在其中一个实施例中，所述对采集后的所述多种染色病理图像执行图像配准操作，还包括：在图像低分辨率水平下，采用基于图像特征的配准算法进行粗轮廓配准；在中分辨率水平下，采用基于图像特征的配准算法进行轮廓配准矫正；在高分辨率水平下，采用基于灰度的配准算法对病灶图像块的内部位置进行配准，从而完成图像配准操作。
在其中一个实施例中，所述对采集后的所述多种染色病理图像执行颜色归一化操作，包括：采用基于染色分离的归一化方法执行多种染色病理图像归一化操作。
在其中一个实施例中，所述对采集后的所述多种染色病理图像执行数据增强操作，包括：将多种染色病理图像中包含的病变区域进行切块，遍历病变区域，所获得的病理图像块分别旋转60°、90°、180°和270°，并结合随机裁剪，产生五倍的图像样本。
在其中一个实施例中，所述对采集后的所述多种染色病理图像执行构建数据集操作，包括：基于所标注的病灶区域提取大小相同的图像块，其中60％划分为训练集，20％为验证集，剩下的20％为测试集，并且保证所述三个数据集具有相同的病变类型分布。
在其中一个实施例中，所述通过预先训练好的基于深度学习的多种染色病理图像分类网络模型，对预处理后的所述多种染色病理图像自动提取特征，并执行基于多种染色的图像特征融合操作，获取多种染色病理图像分类结果，包括：利用深度学习技术构建多种染色病理图像的多分类网络模型，通过训练卷积神经网络分类模型自动提取多种染色病理图像的特征，对多种染色的病理图像特征执行融合操作，获得病理图像分类结果。
在其中一个实施例中，所述通过预先训练好的基于深度学习的多种染色病理图像分类网络模型，对预处理后的所述多种染色病理图像自动提取特征，并执行基于多种染色的图像特征融合操作，获取多种染色病理图像分类结果，还包括：采用注意力(attention)机制获得所述不同染色病理图像特征融合的权重，将多种染色病理图像进行融合并输入所述多分类网络模型。
第二方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的多种染色病理图像的处理方法。
第三方面，本发明实施例提供了一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述第一方面所述的方法。
第四方面，本发明实施例还提供了一种基于深度学习的多种染色病理图像的分类系统，所述系统包括：图像预处理模块，用于对采集后的多种染色病理图像进行预处理操作；图像分类模块，构建基于深度学习的多种染色病理图像分类网络模型，将预处理后获得的训练集输入所构建的分类网络模型，通过训练好的分类网络模型自动提取图像特征，在此基础上采用自注意力机制融合来自不同染色的病理图像特征，获取病理图像分类结果。
本发明提供的一种基于深度学习的多种染色病理图像分类方法及系统，针对待分类的多种染色病理图像进行数据采集和图像标注；对采集后的所述多种染色病理图像进行预处理；通过预先训练好的基于深度学习的多种染色病理图像分类网络模型，对预处理后的所述多种染色病理图像自动提取特征，并执行基于多种染色的图像特征融合操作，获取多种染色病理图像分类结果。该方法利用人工智能以及深度学习算法，构建多种染色病理图像分类网络模型，有效地融合来自多种染色的病理图像特征，结合所获得的多样医学信息实现病理图像的准确自动分类。本公开提供的方法能够高效地处理和分析多种染色病理图像，提高了分类准确率，且减轻了临床医生的工作量。
附图说明
为了更清楚地说明本发明公开实施例的技术方案，下面对实施例描述中所需要使用的附图作简单的介绍：
图1为本发明一个实施例中的一种基于深度学习的多种染色病理图像分类方法及系统的步骤流程示意图；
图2为本发明另一个实施例中的一种基于深度学习的多种染色病理图像分类方法及系统的步骤流程示意图；
图3为针对图2所示的多种染色病理图像分类网络模型的结构示意图；
图4为针对图2所示的多种染色病理图像分类系统的工作流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下通过实施例，并结合附图，对本发明基于深度学习的多种染色病理图像分类方法及系统的具体实施方式进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明涉及生物医学信息技术，计算机视觉及图像处理，人工智能技术领域，具体而言，涉及一种基于深度学习的多种染色病理图像分类方法及系统。
如图1所示，为一个实施例中的一种基于深度学习的多种染色病理图像分类方法及系统的流程示意图，具体包括以下步骤：
步骤101，针对待分类的多种染色病理图像进行数据采集和图像标注。
具体的，针对待分类的多种染色病理图像进行数据采集和图像标注，包括：从医院信息系统中筛选出病灶位置包含多张不同染色的病理图像，由经验丰富的病理科医师依据病灶的区域和类型，在多种染色病理图像上相应位置进行标注。医师使用画图软件进行图像标注，不同颜色表明不同的病灶类型。
步骤102，对采集后的所述多种染色病理图像进行预处理。
可理解的是，同一组多种染色病理图像的病变位置并不完全相同，并且为了减轻医师的工作量，图像标注仅基于其中一张染色病理图像，因此需要对其进行多种染色病理图像操作。
具体的，对采集后的所述多种染色病理图像执行图像配准操作，包括：执行在图像多分辨率水平上的分级配准，首先在低分辨率水平下对整张病理图像进行轮廓配准，然后在此基础上，在中分辨率水平下对整张病理图像进行轮廓配准矫正；最后，基于轮廓配准基础上，在高分辨率水平下对图像病灶区域以及区域内部进行配准。其中，对于低分辨率水平下的图像配准，首先去除图像背景以排除干扰，获得低分辨率水平下的浮动图像和固定图像，接着对图像进行灰度化处理，采用基于图像特征的配准算法进行粗轮廓配准，提取基于尺度不变特征变换(scale-invariant feature transform，SIFT)的图像特征，作为配准算法的关键特征点，获得低分辨率下的图像粗轮廓配准；对于中分辨率水平下的图像配准，以低分辨率水平下的配准结果作为中分辨率水平下的固定图像，采用基于图像特征的配准算法对中分辨率水平下的浮动图像进行轮廓配准矫正；对于高分辨率水平下的图像配准，首先获取中分辨率水平下浮动图像和固定图像的相应病灶区域，并依此获得高分辨率水平下病灶图像块的浮动图像和固定图像，采用基于灰度的配准算法，对高分辨率水平下病灶图像块的浮动图像和固定图像进行图像内部位置配准。
进一步地，对采集后的所述多种染色病理图像进行预处理，还包括：对采集后的所述多种染色病理图像执行颜色归一化操作。其中，颜色归一化操作包括：采用基于染色分离的归一化方法执行待分类的多种染色病理图像归一化操作。可以理解的是，染色的实验室条件、数字扫描仪的参数设置以及光照的不同往往会造成全切片扫描数字病理图像的颜色差异，对病理图像的颜色进行归一化可以保证颜色的一致性，消除颜色差异对病理图像分类结果的不良影响。
更进一步地，对采集后的所述多种染色病理图像进行预处理，还包括：对采集后的所述多种染色病理图像执行数据增强操作。其中，数据增强操作包括：将多种染色病理图像中包含的病变区域进行切块，遍历病变区域，所获得的病理图像块分别旋转60°、90°、180°和270°，并结合随机裁剪，产生五倍的图像样本，实现对所述多种染色病理图像数据集进行数据扩充的目的，有利于后续构建具有稳定性和鲁棒性的多种染色病理图像分类模型。
更进一步地，对采集后的所述多种染色病理图像进行预处理，还包括：对采集后的所述多种染色病理图像执行构建数据集操作。其中，构建数据集操作包括：基于所标注的病灶区域提取大小相同的图像块，其中60％划分为训练集，20％为验证集，剩下的20％为测试集，并且保证所述三个数据集具有相同的病变类型分布。
可以理解的是，为了避免分类偏差，应当使得所述训练集和所述测试集不同时包含来自同一患者的图像块。
综上，通过对采集后的所述多种染色病理图像进行预处理操作，采用多分辨率水平上的分级配准方法，有效实现了多种染色病理图像间的位置信息匹配，方便对多种染色病理图像病灶区域的采集；采用旋转、裁切等图像增强方法，从而实现了数据扩充的目的；采用基于染色分离的归一化方法，消除染色颜色差异对病理图像分类结果的不良影响，并成功完成后续模型训练所需的数据集准备工作。
步骤103，构建基于深度学习的多种染色病理图像分类网络模型，对多种染色病理图像自动提取特征。
具体的，构建基于深度学习的多种染色病理图像分类网络模型，对多种染色病理图像自动提取特征，包括：利用深度学习技术构建多种染色病理图像的多分类网络模型，通过训练卷积神经网络分类模型自动提取多种染色病理图像的特征，避免了提取图像特征时人工介入导致的主观差异以及提取高质量特征困难等问题。
步骤104，基于多种染色的图像特征进行融合操作，获取多种染色病理图像分类结果。
具体的，基于多种染色的图像特征进行融合操作，获取多种染色病理图像分类结果，包括：对多种染色的病理图像特征执行融合操作，具体的方法为采用注意力(attention)机制，在训练多种染色病理图像的多分类网络模型的同时获得所述不同染色病理图像特征融合的权重，将多种染色病理图像进行融合并输入所述卷积神经网络分类模型，实现多种染色病理图像的准确分类，从而可以辅助判断多种染色病理图像中所包含的病灶种类。
为了更清晰地理解并应用基于深度学习的多种染色病理图像分类方法及系统，进行以下公开示例。需要说明的是，本公开所保护的范围不限于以下示例。
结合图2-4所示，即图2为本发明一个实施例中的一种基于深度学习的多种染色病理图像分类方法及系统的步骤流程示意图；图3为图2所示的多种染色病理图像分类网络模型的结构示意图；图4为图2所示的多种染色病理图像分类系统的工作流程示意图。
具体的，图2是本发明用于阐述基于深度学习的多种染色病理图像分类的一个较佳实施方案的原理图。该方案包括一个病理图像预处理201、分类模型训练202、图像特征融合203。病理图像预处理201包括图像配准、颜色归一化、数据增强和数据集构建，其中，图像配准用于对不同染色病理图像位置进行匹配，颜色归一化用于消除病理图像染色差异的干扰，数据增强用于实现数据集扩充的目的，数据集构建用于模型的训练、验证和测试；分类模型训练202用于构建深度卷积神经网络模型用来自动提取图像特征；图像特征融合203用于将分类模型训练202中自动提取来自不同染色的多通道图像特征通过自注意力机制进行融合，是本发明的关键一部分，实现多染色病理图像的分类。
本发明公开提出的基于深度学习的多种染色病理图像分类方法及系统，包括下列步骤：首先，对多种染色病理图像进行图像配准操作，采用图像多分辨率水平上的分级配准方法，分别在低、中、高三种分辨率水平下对多张不同染色的病理图像进行配准。对于低分辨率水平下的图像配准，首先去除图像背景以排除干扰，获得低分辨率水平下的浮动图像和固定图像，接着对图像进行灰度化处理，采用基于图像特征的配准算法进行粗轮廓配准，提取基于尺度不变特征变换(scale-invariant feature transform，SIFT)的图像特征作为配准算法的关键特征点，获得低分辨率下的图像粗轮廓配准。SIFT图像特征是一种局部特征描述子，对旋转、尺度缩放、亮度变化保持不变，对视角变化、仿射变换、噪声也保持一定程度的稳定性。经优化的SIFT配准算法运行速度快，适用于大规模高精度病理图像的粗轮廓快速配准。SIFT特征计算的步骤为：
将病理图像转换为灰度图像I(x,y)，采用高斯函数对图像进行模糊以及降采样处理，得到图像高斯金字塔(Gaussian pyramid)，金字塔中的每张图像G(x,y,σ)的计算公式为：
Figure BDA0002738629130000091
其中，σ为图像尺度参数，即模糊系数。在图像高斯金字塔的基础上，对图像高斯金字塔每组中相邻两层相减(下一层减上一层)生成高斯差分金字塔(difference ofGaussian，DOG)，能够产生较稳定的图像特征，其计算公式表示为：
Figure BDA0002738629130000101
进一步，在DOG空间中检测空间极值点(即关键点)。为了寻找DOG函数的极值点，每一个像素点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。上述方法检测到的极值点是离散空间的极值点，可以通过拟合三维二次函数来精确确定关键点的位置和尺度，同时去除低对比度的关键点和不稳定的边缘响应点，用来增强匹配稳定性、提高抗噪声能力。接下来，为了使SIFT描述子具有旋转不变性，需要利用图像的局部特征为每一个关键点分配一个基准方向。基于DOG空间中检测出的关键点，采集其所在高斯金字塔图像3σ领域窗口内所有像素的梯度和方向分布特征，统计领域内像素的梯度和方向生成梯度直方图，梯度直方图的峰值方向代表了关键点的主方向。通过对病理图像的关键点检测，获得每个关键点的位置、所处尺度、方向的三个信息，由此确定一个SIFT特征点区域。最后，以特征点为中心取16×16的邻域作为采样窗口，将采样点与特征点的相对方向通过高斯加权后归入包含8个bin的方向直方图，最后获得4×4×8的128维特征描述子，并进行归一化，获得最终的SIFT特征向量。
此外，对于中分辨率水平下的图像配准，以低分辨率水平下的配准结果作为中分辨率水平下的固定图像，采用基于图像特征的配准算法对中分辨率水平下的浮动图像进行轮廓配准矫正，图像特征为SIFT特征向量。对于高分辨率水平下的图像配准，首先获取中分辨率水平下浮动图像和固定图像的相应病灶区域，并依此获得高分辨率水平下病灶图像块的浮动图像和固定图像，采用基于灰度的配准算法，对高分辨率水平下病灶图像块的浮动图像和固定图像进行图像内部位置配准。
进一步，对配准后的多种染色病理图像进行颜色归一化操作。由于染色的实验室条件、数字扫描仪的参数设置和光照的不同，其往往会造成数字病理图像的颜色差异，对染色切片的颜色进行归一化可以保证颜色的一致性，消除病理图像颜色差异对分类结果的不良影响。此处的颜色归一化手段包括但不限定为采用基于染色分离的归一化方法执行归一化操作。
进一步，对颜色归一化后多种染色病理图像进行数据增强操作。将颜色归一化的多张染色病理图像，定位至所标注的病变区域，通过遍历病变区域，利用大小为28×28像素的滑动窗口方法对病变区域进行切块，获得病理图像块。将获得的病理图像块分别旋转60°、90°、180°和270°，并结合随机裁剪，产生五倍的图像样本，实现对所述多种染色病理图像数据集进行数据扩充的目的，有利于后续构建具有稳定性和鲁棒性的多种染色病理图像分类模型。
进一步，对颜色归一化后多种染色病理图像进行构建数据集操作。基于从病灶区域所提取的图像块，将这些图像块中的60％划分为训练集，20％划分为验证集，剩下的20％划分为测试集，并且保证所述三个数据集具有相同的病变类型分布。可以理解的是，为了避免分类偏差，训练集和测试集不同时包含来自同一患者的图像块。
具体的，以主动脉瘤中膜变性的病灶情况为例，常见的5种染色类型包括苏木精-伊红染色(Hematoxylin-Eosin，HE)、阿米巴滋养体染色(Alcian Blue and PeriodicAcid-Schiff，AB-PAS)、马松三色(Masson Trichrome)染色,平滑肌肌动蛋白(Actin,Smooth Muscle，SMA)染色和胶原纤维(Van Gieson，VG)染色。根据医师在HE染色病理图像上手动标注的病灶区域位置，经过图像配准、染色归一化后分别从HE、AB-PAS、MassonTrichrome、SMA和VG染色病理图像的病灶区域提取外接矩形病灶块，裁剪至28×28像素大小的图像块。如果大小不足28×28大小，该图像块将被舍弃。对所获得的病灶区域图像块进行数据扩增，获得较多的病理图像数据。在保证所划分的数据集具有相同的病变类型分布的前提下，将图像块按照6:2:2的比例划分为训练集、验证集和测试集。为了避免分类偏差，训练集和测试集不同时包含来自同一患者的图像块。
进一步，分类模型训练的关键步骤是卷积神经网络的构建。可以理解的是，多种染色病理图像分类模型训练之前需要进行模型的搭建，本发明以Tensorflow神经网络算法库为基础搭建深度学习模型框架，以Squeeze-and-Excitation网络结构(简称SENet)为基础构建多种染色病理图像分类网络模型。
图3为针对图1与图2所示的多种染色病理图像分类网络模型的结构示意图，表明该多种染色病理图像分类模型主要分为三大部分，即多种染色图像特征提取部分，基于多通道的特征融合部分，以及病变类型分类输出部分。
具体的，多种染色图像特征提取部分中，多种染色病理图像作为输入图像，数据输入大小为64×1×28×28，其中，64代表batch size为64，在训练和测试时，可以根据选用的batch size不同来调整；1代表输入图像为灰度图像，即颜色通道，当输入彩色RGB图像时，将1替换为3，表明有3个颜色通道；28×28为每张图像的长和宽，可以根据输入图像的尺寸进行调整。
此外，对每种染色的输入图像分别进行神经网络计算，首先经过第一层卷积层，包含64个大小为5×5的卷积核，得到尺寸为64×64×28×28的特征图；接下来进行最大池化操作,得到尺寸为64×64×14×14的特征图，从而达到减少数据处理量同时保留图像重要信息的目的；接着经过第二层卷积层，包含64个大小为5×5的卷积核，得到尺寸为64×64×14×14的特征图；最后通过全连接层，得到尺寸大小为64×512的输出。此时完成了模型对多种染色病理图像的特征提取部分。当病理图像的染色种类为n种时，则具有n组染色特征图。
进一步，在基于多通道的特征融合部分，采用SENet网络模型，经过模型训练可以获得每个特征通道的重要程度。首先进行全局池化操作，接下来依此经过全连接层、ReLU激活、全连接层、Sigmoid激活获得不同通道的权重，即不同染色特征图的权重，依此权重将多种染色的特征图拼接在多通道中，得到尺寸大小为5×64×512的融合特征图，进行后续的分类操作。
此外，对于经过基于多通道的特征融合操作后的特征图，首先使用dropout层以防止过拟合并提高神经网络模型的性能，此后全连接层经过Softmax函数激活后与输出层相连，最终输出病理图像的分类结果。输出层的神经元数量对应病变的类别数，因此，每个神经元输出对应类别的概率。
更进一步的说明，图像特征融合是通过SENet模型中的基于多通道的特征融合部分来实现的。SENet模型能够对特征通道之间的相互依赖关系进行建模。通过学习的方式自动获取每个特征通道的重要程度，然后依照这个重要程度去提升有用的特征并抑制对当前任务不重要或是冗余的特征。因此，重要的特征图在分类任务中权重较大，而无效或重要性小的特征图的权重较小。
SENet通过一种自注意力机制来自动获取每个特征通道(一个特征通道对应一种染色病理图像特征)的重要程度，然后依照重要程度去提升有用的特征并抑制对当前任务无用的特征，即“特征重标定”策略。具体过程通过以下三步骤来完成。
步骤一，顺着空间维度进行特征压缩，将一个通道中整个空间特征编码为一个全局特征，获得其中某种染色图像的全局感受野。例如，将大小为5×64×1×512的特征图压缩为5×64×1×1，此操作采用全局平均池化层来实现，计算公式表示为：
Figure BDA0002738629130000131
其中，H和W分别是输入池化层的特征图Z的长和宽，U是池化层的输出特征图。
步骤二，使用类似于循环神经网络中的门控机制，来获取特征通道之间的关系，计算公式表示为：
S＝σ(W2ReLU(W1U))，
此处采用包含两个全连接层的结构，其中W1和W2分别是连接层的参数，σ代表激活函数Sigmoid，S为融合权重。其中第一个全连接层起到降维的作用，并通过ReLU激活；第二个全连接层用来将特征图恢复至原始的维度，并通过Sigmoid激活，即学习到了各个通道的融合权重值。
步骤三，将步骤二获取的融合权重S,通过基于通道的乘法操作加权到特征图Z,完成了在通道维度上的对原始特征的重标定，从而使得模型对各个通道的特征更有辨别能力，类似于注意力机制，其计算公式表示为：
T＝Fscale(Z,S)，
其中Fscale表示基于通道的乘法操作，T为完成特征重标定后获得的特征图。
图4为针对图3所示的分类系统的工作流程示意图。
步骤401，获取经预处理操作后的多种染色病理图像训练集。
步骤402，图像分类模型搭建采用基于Pytorch的深度学习框架，并且使用ImageNet大型数据集对模型进行了预训练。
步骤403，将训练集的数据集输入深度学习模型进行模型训练。需要说明的是，本次训练的参数设置为：epoch＝8000，batch size＝64，学习率为0.001。本方法采用Loss函数，一个非负实值函数，用来估量模型的预测值与真实值的不一致程度。其中，Loss值越小，模型的准确度越高。随着训练次数的增多，在训练集上取得的Loss值不断下降，当Loss值的下降范围趋于稳定时，模型训练成功。
步骤404，获取经预处理操作后的多种染色病理图像测试集，用于多种染色病理图像的病变类型分类。
步骤405，加载已经训练好的深度学习模型，将测试数据集中的多种染色病理图像作为模型输入层输入图像。
步骤406，输入的测试图像经卷积神经网络特征提取后进行基于通道的融合，将不同的染色切片按照其重要性权重叠加在多通道中，使得有效的特征图权重大，无效或效果小的特征图权重小，融合后的多通道特征图具有多种染色及其重要程度的信息。
步骤407，经过基于多通道融合的多染色病理图像特征图经卷积神经网络全连接层和Softmax函数激活后与输出层相连，输出最终的分类结果。
本发明提供了一种基于深度学习的多种染色病理图像分类方法及系统，针对待分类的多种染色病理图像进行数据采集和图像标注；对采集后的所述多种染色病理图像进行预处理；通过预先训练好的基于深度学习的多种染色病理图像分类网络模型，对预处理后的所述多种染色病理图像自动提取特征，并执行基于多种染色的图像特征融合操作，获取多种染色病理图像分类结果。该方法通过深度学习技术自动从高分辨率的多种染色病理图像中提取了丰富的特征，利用卷积神经网络以及自注意力机制对多种染色病理特征进行融合，依据融合后的多种染色信息对图像病变类型进行分类。所述方法利用人工智能技术，有效地实现了自动化地提取多种染色的病理特征以及多种染色病理图像的准确分类，有助于提高病理诊断效率和准确率，为临床医师提供辅助信息和临床决策支持。
本发明实施例还提供了一种计算机可读存储介质。该计算机可读存储介质上存储有计算机程序，该程序被图1或图2中处理器执行。
本发明实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机上运行时，使得计算机执行上述图1或图2的方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序指令相关的硬件来完成，所述的程序可存储于一种计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本发明为必须采用上述具体的细节来实现。
本发明中涉及的器件、装置、设备、系统的方框图仅作为示例性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
为了示例和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.基于深度学习的多种染色病理图像分类方法及系统，其特征在于，包括以下步骤：
针对待分类的多种染色病理图像进行数据采集和图像标注；
对采集后的所述多种染色病理图像进行预处理；
通过预先训练好的基于深度学习的多种染色病理图像分类网络模型，对预处理后的所述多种染色病理图像自动提取特征，并执行基于多种染色的图像特征融合操作，获取多种染色病理图像分类结果。
2.根据权利要求1所述的基于深度学习的多种染色病理图像分类方法及系统，其特征在于，所述针对待分类的多种染色病理图像进行数据采集和图像标注，包括：从医院信息系统中筛选出病灶位置包含多张不同染色的病理图像，由经验丰富的病理科医师依据病灶的区域和类型，在多种染色病理图像上相应位置进行标注。
3.根据权利要求1所述的基于深度学习的多种染色病理图像分类方法及系统，其特征在于，所述对采集后的所述多种染色病理图像进行预处理，包括：对采集后的所述多种染色病理图像依次执行图像配准操作、颜色归一化操作、数据增强操作和构建数据集操作。
4.根据权利要求3所述的基于深度学习的多种染色病理图像分类方法及系统，其特征在于，所述对采集后的所述多种染色病理图像执行图像配准操作，包括：执行在图像多分辨率水平上的分级配准，首先在图像低分辨率水平下对整张病理图像进行轮廓配准，然后在此基础上，在中分辨率水平下对整张病理图像进行轮廓配准矫正；最后，基于轮廓配准基础上，在高分辨率水平下对图像病灶区域以及区域内部进行配准。
5.根据权利要求3所述的基于深度学习的多种染色病理图像分类方法及系统，其特征在于，所述对采集后的所述多种染色病理图像执行颜色归一化操作，包括：采用基于染色分离的归一化方法执行多种染色病理图像归一化操作。
6.根据权利要求3所述的基于深度学习的多种染色病理图像分类方法及系统，其特征在于，所述对采集后的所述多种染色病理图像执行数据增强操作，包括：将多种染色病理图像中包含的病变区域进行切块，遍历病变区域，所获得的病理图像块分别旋转60°、90°、180°和270°，并结合随机裁剪，产生五倍的图像样本。
7.根据权利要求3所述的基于深度学习的多种染色病理图像分类方法及系统，其特征在于，所述对采集后的所述多种染色病理图像执行构建数据集操作，包括：基于所标注的病灶区域提取大小相同的图像块，其中60％划分为训练集，20％为验证集，剩下的20％为测试集。
8.根据权利要求1所述的基于深度学习的多种染色病理图像分类方法及系统，其特征在于，通过预先训练好的基于深度学习的多种染色病理图像分类网络模型，对预处理后的所述多种染色病理图像自动提取特征，并执行基于多种染色的图像特征融合操作，获取多种染色病理图像分类结果，包括：利用深度学习技术构建多种染色病理图像的多分类网络模型，通过训练卷积神经网络分类模型自动提取多种染色病理图像的特征，对多种染色的病理图像特征执行融合操作，获得病理图像分类结果。
9.根据权利要求8所述的基于深度学习的多种染色病理图像分类方法及系统，其特征在于，所述对多种染色的病理图像特征执行融合操作，包括：采用注意力(attention)机制获得所述不同染色病理图像特征融合的权重，将多种染色病理图像进行融合并输入所述多分类网络模型。
10.基于深度学习的多种染色病理图像分类方法及系统，其特征在于，包括权利要求1-9任一项所述的基于深度学习的多种染色病理图像分类方法以及基于深度学习的多种染色病理图像分类模型的训练。
CN202011142354.1A 2020-10-23 2020-10-23 基于深度学习的多种染色病理图像分类方法及系统 Pending CN112348059A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011142354.1A CN112348059A (zh) 2020-10-23 2020-10-23 基于深度学习的多种染色病理图像分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011142354.1A CN112348059A (zh) 2020-10-23 2020-10-23 基于深度学习的多种染色病理图像分类方法及系统

Publications (1)

Publication Number Publication Date
CN112348059A true CN112348059A (zh) 2021-02-09

Family

ID=74359872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011142354.1A Pending CN112348059A (zh) 2020-10-23 2020-10-23 基于深度学习的多种染色病理图像分类方法及系统

Country Status (1)

Country Link
CN (1) CN112348059A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113223704A (zh) * 2021-05-20 2021-08-06 吉林大学 基于深度学习的计算机断层扫描主动脉瘤的辅助诊断方法
CN113538435A (zh) * 2021-09-17 2021-10-22 北京航空航天大学 一种基于深度学习的胰腺癌病理图像分类方法及系统
CN115063592A (zh) * 2022-08-16 2022-09-16 之江实验室 一种基于多尺度的全扫描病理特征融合提取方法及系统
US20230197246A1 (en) * 2021-12-16 2023-06-22 Agfa Nv Method for Obtaining an Indication about the Image Quality of a Digital Image
WO2023228230A1 (ja) * 2022-05-23 2023-11-30 日本電気株式会社 分類装置、学習装置、分類方法、学習方法、およびプログラム
WO2023228229A1 (ja) * 2022-05-23 2023-11-30 日本電気株式会社 画像処理装置、画像処理方法、およびプログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105659288A (zh) * 2013-10-30 2016-06-08 皇家飞利浦有限公司 组织切片图像的配准
US20170154420A1 (en) * 2014-05-30 2017-06-01 Ventana Medical Systems, Inc. Image processing method and system for analyzing a multi-channel image obtained from a biological tissue sample being stained by multiple stains
CN109215064A (zh) * 2018-08-03 2019-01-15 华南理工大学 一种基于超像素向导的医学图像配准方法
CN109300530A (zh) * 2018-08-08 2019-02-01 北京肿瘤医院 病理图片的识别方法及装置
CN109785943A (zh) * 2018-12-21 2019-05-21 程俊美 一种病理监控和诊断信息处理系统及方法
CN110553883A (zh) * 2018-05-30 2019-12-10 王靖维 跨染色及多生物标记方法
CN110826576A (zh) * 2019-10-10 2020-02-21 浙江大学 一种基于多模态特征级融合的宫颈病变预测系统
CN110931112A (zh) * 2019-12-05 2020-03-27 电子科技大学中山学院 一种基于多维信息融合和深度学习的脑部医学影像分析方法
CN111275717A (zh) * 2020-01-17 2020-06-12 杭州迪英加科技有限公司 不同染色切片的对比展示方法、电子设备及可读介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105659288A (zh) * 2013-10-30 2016-06-08 皇家飞利浦有限公司 组织切片图像的配准
US20170154420A1 (en) * 2014-05-30 2017-06-01 Ventana Medical Systems, Inc. Image processing method and system for analyzing a multi-channel image obtained from a biological tissue sample being stained by multiple stains
CN110553883A (zh) * 2018-05-30 2019-12-10 王靖维 跨染色及多生物标记方法
CN109215064A (zh) * 2018-08-03 2019-01-15 华南理工大学 一种基于超像素向导的医学图像配准方法
CN109300530A (zh) * 2018-08-08 2019-02-01 北京肿瘤医院 病理图片的识别方法及装置
CN109785943A (zh) * 2018-12-21 2019-05-21 程俊美 一种病理监控和诊断信息处理系统及方法
CN110826576A (zh) * 2019-10-10 2020-02-21 浙江大学 一种基于多模态特征级融合的宫颈病变预测系统
CN110931112A (zh) * 2019-12-05 2020-03-27 电子科技大学中山学院 一种基于多维信息融合和深度学习的脑部医学影像分析方法
CN111275717A (zh) * 2020-01-17 2020-06-12 杭州迪英加科技有限公司 不同染色切片的对比展示方法、电子设备及可读介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CATHERINE P. JAYAPANDIAN等: "Development and evaluationlearning–based segmentation of histologic of deep structures in the kidney cortex with multiple histologic stains", 《BASIC RESEARCH》 *
JAIME GALLEGO: "Glomerulus Classification Convolutional Neural Networksand Detection Based on", 《IMAGING》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113223704A (zh) * 2021-05-20 2021-08-06 吉林大学 基于深度学习的计算机断层扫描主动脉瘤的辅助诊断方法
CN113538435A (zh) * 2021-09-17 2021-10-22 北京航空航天大学 一种基于深度学习的胰腺癌病理图像分类方法及系统
US20230197246A1 (en) * 2021-12-16 2023-06-22 Agfa Nv Method for Obtaining an Indication about the Image Quality of a Digital Image
WO2023228230A1 (ja) * 2022-05-23 2023-11-30 日本電気株式会社 分類装置、学習装置、分類方法、学習方法、およびプログラム
WO2023228229A1 (ja) * 2022-05-23 2023-11-30 日本電気株式会社 画像処理装置、画像処理方法、およびプログラム
CN115063592A (zh) * 2022-08-16 2022-09-16 之江实验室 一种基于多尺度的全扫描病理特征融合提取方法及系统
CN115063592B (zh) * 2022-08-16 2022-12-06 之江实验室 一种基于多尺度的全扫描病理特征融合提取方法及系统
JP7499364B2 (ja) 2022-08-16 2024-06-13 之江実験室 マルチスケールに基づく全スライド病理特徴融合抽出方法、システム、電子機器及び記憶媒体

Similar Documents

Publication Publication Date Title
CN108364288B (zh) 用于乳腺癌病理图像的分割方法和装置
CN111784671B (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
Man et al. Classification of breast cancer histopathological images using discriminative patches screened by generative adversarial networks
CN111401480B (zh) 一种基于融合注意力机制的乳腺mri自动辅助诊断新方法
KR102108050B1 (ko) 증강 컨볼루션 네트워크를 통한 유방암 조직학 이미지 분류 방법 및 그 장치
Kromp et al. Evaluation of deep learning architectures for complex immunofluorescence nuclear image segmentation
Pal et al. Psoriasis skin biopsy image segmentation using Deep Convolutional Neural Network
CN112348059A (zh) 基于深度学习的多种染色病理图像分类方法及系统
CN110472676A (zh) 基于深度神经网络的胃早癌组织学图像分类系统
George et al. Computer assisted recognition of breast cancer in biopsy images via fusion of nucleus-guided deep convolutional features
Pan et al. Cell detection in pathology and microscopy images with multi-scale fully convolutional neural networks
CN108447062A (zh) 一种基于多尺度混合分割模型的病理切片非常规细胞的分割方法
JP2023517058A (ja) 画像処理に基づく腫瘍の自動検出
CN112101451A (zh) 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法
CN106056595A (zh) 基于深度卷积神经网络自动识别甲状腺结节良恶性的方法
CN111462076A (zh) 一种全切片数字病理图像模糊区域检测方法及系统
CN114600155A (zh) 用于细胞检测和分割的弱监督多任务学习
CN110189293A (zh) 细胞图像处理方法、装置、存储介质及计算机设备
CN115909006B (zh) 基于卷积Transformer的乳腺组织图像分类方法及系统
CN117274662A (zh) 一种改进ResNeXt神经网络的轻量级多模态医学图像分类方法
CN110021019B (zh) 一种aga临床图像的ai辅助毛发的粗细分布分析方法
CN118762362B (zh) 基于图像分割的干细胞分类方法及系统
Cao et al. An automatic breast cancer grading method in histopathological images based on pixel-, object-, and semantic-level features
Han et al. Learning generative models of tissue organization with supervised GANs
Kromp et al. Deep Learning architectures for generalized immunofluorescence based nuclear image segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210209

RJ01 Rejection of invention patent application after publication