[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN113673610A - 一种用于组织细胞病理图像诊断系统的图像预处理方法 - Google Patents

一种用于组织细胞病理图像诊断系统的图像预处理方法 Download PDF

Info

Publication number
CN113673610A
CN113673610A CN202110979874.6A CN202110979874A CN113673610A CN 113673610 A CN113673610 A CN 113673610A CN 202110979874 A CN202110979874 A CN 202110979874A CN 113673610 A CN113673610 A CN 113673610A
Authority
CN
China
Prior art keywords
patch
image
graph
pathological
diagnosis system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110979874.6A
Other languages
English (en)
Inventor
严庆兵
朱宏彬
刘超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Penggguan Biological Mediceine Tec Co ltd
Original Assignee
Shanghai Penggguan Biological Mediceine Tec Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Penggguan Biological Mediceine Tec Co ltd filed Critical Shanghai Penggguan Biological Mediceine Tec Co ltd
Priority to CN202110979874.6A priority Critical patent/CN113673610A/zh
Publication of CN113673610A publication Critical patent/CN113673610A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明公开了医学图像分析技术领域的一种用于组织细胞病理图像诊断系统的图像预处理方法，采用一个固定尺寸把病理巨图分割成N行×M列的系列图块patch，再采用卷积神经网络对patch图像提取特征值(特征向量F∈Rn,n为特征长度)，每个patch作为1个节点，再根据其空间关系是否直接相邻来创建一张Graph，将病理片子构建成图神经网络模型能处理的输入Graph病理图片。本发明的用于组织细胞病理图像诊断系统的图像预处理方法有效降低病理图片的数据量，为高效的病理图识别的图神经网络Graph构建提供基础。

Description

一种用于组织细胞病理图像诊断系统的图像预处理方法
技术领域
本发明属于医学图像所述分析技术领域，涉及一种用于组织细胞病理图像诊断系统的图像预处理方法。
背景技术
组织细胞学病理检查是肿瘤诊断的金标准，病理图像是显微镜对病理组织细胞切片成像，图像是一张数据量超大的巨图(一般都在5万x5万像素以上,甚至数十万x数十万像素)。病理医生对整个病理片子下分类结论，既要根据高分辨率上的微观状态下细胞核形态，又要根据低分辨率上的宏观状态下细胞长势等。随着计算机技术的发展，卷积神经网络在图片分类识别上取得了非常优秀的效果，假如单使用常规的卷积神经网络来分类,则需要一次性加载整张病理图片，由于整张病理图片的数据量巨大，普通GPU物理显存远远不足，在工程上根本没法实现，假如把整个病理片的图像分割成一张张小的图块patch，卷积神经网络又无法从宏观上来建模patch系列之间的空间关系。
发明内容
本发明的目的在于克服现有技术的不足，提供一种用于组织细胞病理图像诊断系统的图像预处理方法。
本发明是通过以下技术方案实现的：
一种用于组织细胞病理图像诊断系统的图像预处理方法，其特征在于：图像预处理包括以下步骤：
步骤一、病理片子切割
通过OpenSlide库接口对显微镜成像的svs格式的病理图片进行分割，病理图片分割成N行×M列的patch图块单元；
步骤二、用卷积神经基础网络抽取patch特征，使用卷积神经基础网络对每张patch单元图片提取特征，输出patch的卷积特征值；
步骤三、对病理图片样本集进行预处理
创建面向图神经网络模型的病理片的Graph数据图，Graph为无向图，其数据结构格式由节点、无相边、邻接矩阵组成，每个patch单元为1个节点，patch的卷积特征值作为该节点的特征值，根据每个patch单元在空间上是否直接相邻组成Graph的邻接矩阵；对上述技术方案做进一步说明：所述病理图片分割的patch图块尺寸大小全部一样；Graph的邻接矩阵在构建时，每个patch单元作为自我的中心节点，在其空间上直接相邻的patch块作为邻接点，包括直接patch图块在空间上边直接邻接的4个方向的patch块和4个斜向邻接的patch块；对上述技术方案做进一步说明：所述卷积神经基础网络为ResNet或SE-ResNet卷积神经基础网络。
本发明的用于组织细胞病理图像诊断系统的图像预处理方法有效降低病理图片的数据量，为高效的病理图识别的图神经网络Graph构建提供基础。
附图说明
图1为病理片分类预测流程图；
图2为病理分割图；
图3为1个节点和它相邻节点表示图；
图4为从1张病理片图像构建的节点邻接矩阵图。
具体实施方式
以下结合附图和实例对本发明的内容做进一步的说明：
组织细胞病理图像诊断系统是通过构建一个算法模型(神经网络)，把病理片图像转换成模型能够理解的数据格式，用病理片图像(带有疾病分类标签)样本大数据训练这个神经网络算法模型，这个训练好的算法模型保存好作为以后疾病预测分类算法，图像预处理是对整张数据量巨大的病理图片进行特征提取处理，降低病理图片的数据量，生成适用于组织细胞病理图像诊断系统能处理的Graph数据图片。
首先将显微镜扫描生成的svs格式病理图片，如图2所示分割成一系列patch小图块的病理分割图，再用卷积神经网络提取patch的特征，然后根据patch特征值和patch空间邻接矩阵构建1张Graph病理图片，最后训练病理图分类的图神经网络模型。
通过以下步骤顺序,为病理片子构建图神经网络模型能处理的输入Graph病理图片：
1.病理片子切割
用显微镜扫描病理切片，生成病理图片，将病理片巨图按照固定的图片尺寸大小(如512x512、1024x1024、2048x2048...)切割成N行×M列的(边缘多出的少许部分扔掉不影响总体分类结果)，可通过OpenSlide库接口来对svs格式病理图分割；
2.用卷积神经基础网络抽取patch特征
可使用公开的ResNet、DenseNet等卷积神经基础网络对分割的每张patch图片来提取特征，例如采用ResNet50(把最后1层全连接层后的层全部去掉)输出的特征向量值F∈R2048。
3.构造邻接矩阵
经过上述两步后，将得到M×N个patch，每个patch对应1个节点，也就是共有M×N个节点，再根据每个节点的空间邻接关系，构造1个二值(0/1)无向图，得到1个NM行×NM列的邻接矩阵A，所有节点的连接关系采用邻接矩阵来表示：
Figure BDA0003228675420000041
Ai,j值为0或1，1表示节点Vi和节点Vj相邻接，0表示不邻接；
4.构建Graph
病理片子的Graph为无向图，其数据结构格式由节点、邻接矩阵组成，每patch作1个节点，patch的卷积特征值作为该节点的特征值，图神经网络Graph数据结构组成
如下：
节点：由所有的分割的patch图块组成，每个patch对应1个节点，按照从第1行第1列开始往下数的顺序给每个patch编1个顺序号码，代表其节点编码。
节点属性：用卷积神经网络抽取的patch图块的特征作为该节点的属性,见步骤2。
Graph邻接矩阵：根据所有patch节点编号和各自的空间相邻接关系构造邻接矩阵A。
把病理图片经过预处理后得到图神经网络能识别的Graph数据，把Graph数据喂给分类图神经网络进行特征抽取和预测，图神经网络输出属于每种疾病分类的概率值，取最大值就得到相应的算法最终预测分类结果。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，本领域的技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (3)

1.一种用于组织细胞病理图像诊断系统的图像预处理方法，其特征在于：图像预处理包括以下步骤：
步骤一、病理片子切割
通过OpenSlide库接口对显微镜成像的svs格式的病理图片进行分割，病理图片分割成N行×M列的patch图块单元；
步骤二、用卷积神经基础网络抽取patch特征，使用卷积神经基础网络对每张patch单元图片提取特征，输出patch的卷积特征值；
步骤三、对病理图片样本集进行预处理
创建面向图神经网络模型的病理片的Graph数据图，Graph为无向图，其数据结构格式由节点、无相边、邻接矩阵组成，每个patch单元为1个节点，patch的卷积特征值作为该节点的特征值，根据每个patch单元在空间上是否直接相邻组成Graph的邻接矩阵。
2.根据权利要求1所述的一种用于组织细胞病理图像诊断系统的图像预处理方法，其特征在于：所述病理图片分割的patch图块尺寸大小全部一样；Graph的邻接矩阵在构建时，每个patch单元作为自我的中心节点，在其空间上直接相邻的patch块作为邻接点，包括直接patch图块在空间上边直接邻接的4个方向的patch块和4个斜向邻接的patch块。
3.根据权利要求1所述的一种用于组织细胞病理图像诊断系统的图像预处理方法，其特征在于：所述卷积神经基础网络为ResNet或SE-ResNet卷积神经基础网络。
CN202110979874.6A 2021-08-25 2021-08-25 一种用于组织细胞病理图像诊断系统的图像预处理方法 Pending CN113673610A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110979874.6A CN113673610A (zh) 2021-08-25 2021-08-25 一种用于组织细胞病理图像诊断系统的图像预处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110979874.6A CN113673610A (zh) 2021-08-25 2021-08-25 一种用于组织细胞病理图像诊断系统的图像预处理方法

Publications (1)

Publication Number Publication Date
CN113673610A true CN113673610A (zh) 2021-11-19

Family

ID=78545978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110979874.6A Pending CN113673610A (zh) 2021-08-25 2021-08-25 一种用于组织细胞病理图像诊断系统的图像预处理方法

Country Status (1)

Country Link
CN (1) CN113673610A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117218094A (zh) * 2023-09-21 2023-12-12 上海鸢理冠智能科技有限公司 获取病理图像的特征信息的方法、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109033738A (zh) * 2018-07-09 2018-12-18 湖南大学 一种基于深度学习的药物活性预测方法
CN110934587A (zh) * 2019-12-13 2020-03-31 深圳龙岗智能视听研究院 一种基于图卷积神经网络的阿尔兹海默症辅助诊断方法
CN111738318A (zh) * 2020-06-11 2020-10-02 大连理工大学 一种基于图神经网络的超大图像分类方法
CN111783748A (zh) * 2020-08-12 2020-10-16 汉王科技股份有限公司 人脸识别方法、装置、电子设备及存储介质
CN112446881A (zh) * 2021-02-01 2021-03-05 北京小白世纪网络科技有限公司 一种病理图像分割的系统及方法
WO2021062904A1 (zh) * 2019-09-30 2021-04-08 中国科学院计算技术研究所 基于病理图像的tmb分类方法、系统及tmb分析装置
CN113160177A (zh) * 2021-04-23 2021-07-23 杭州电子科技大学 一种基于超像素和图卷积网络的平面分割方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109033738A (zh) * 2018-07-09 2018-12-18 湖南大学 一种基于深度学习的药物活性预测方法
WO2021062904A1 (zh) * 2019-09-30 2021-04-08 中国科学院计算技术研究所 基于病理图像的tmb分类方法、系统及tmb分析装置
CN110934587A (zh) * 2019-12-13 2020-03-31 深圳龙岗智能视听研究院 一种基于图卷积神经网络的阿尔兹海默症辅助诊断方法
CN111738318A (zh) * 2020-06-11 2020-10-02 大连理工大学 一种基于图神经网络的超大图像分类方法
CN111783748A (zh) * 2020-08-12 2020-10-16 汉王科技股份有限公司 人脸识别方法、装置、电子设备及存储介质
CN112446881A (zh) * 2021-02-01 2021-03-05 北京小白世纪网络科技有限公司 一种病理图像分割的系统及方法
CN113160177A (zh) * 2021-04-23 2021-07-23 杭州电子科技大学 一种基于超像素和图卷积网络的平面分割方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117218094A (zh) * 2023-09-21 2023-12-12 上海鸢理冠智能科技有限公司 获取病理图像的特征信息的方法、设备及介质

Similar Documents

Publication Publication Date Title
CN109949257B (zh) 基于深度学习的感兴趣区域压缩感知图像重构方法
CN105551036B (zh) 一种深度学习网络的训练方法和装置
CN112116605A (zh) 一种基于集成深度卷积神经网络的胰腺ct图像分割方法
CN111738318A (zh) 一种基于图神经网络的超大图像分类方法
CN108197606A (zh) 一种基于多尺度膨胀卷积的病理切片中异常细胞的识别方法
CN116312782B (zh) 一种融合影像基因数据的空间转录组spot区域聚类方法
CN111640116B (zh) 基于深层卷积残差网络的航拍图建筑物分割方法及装置
CN112786160B (zh) 基于图神经网络的多图片输入的多标签胃镜图片分类方法
CN115775226B (zh) 基于Transformer的医学图像分类方法
CN110807463B (zh) 图像分割方法、装置、计算机设备和存储介质
CN112085017A (zh) 基于显著性检测和Grabcut算法的茶叶嫩芽图像分割方法
CN114943894A (zh) 一种基于ConvCRF的高分遥感影像建筑物提取优化方法
CN115908363B (zh) 肿瘤细胞统计方法、装置、设备和存储介质
CN113673610A (zh) 一种用于组织细胞病理图像诊断系统的图像预处理方法
CN114818931B (zh) 一种基于小样本元学习的水果图像分类方法
CN118608547B (zh) 一种基于原型和半监督深度学习的细胞核分割方法和系统
CN110853052A (zh) 一种基于深度学习的土家织锦图案图元的分割方法
CN115205309A (zh) 一种基于半监督学习的地外图片分割方法及装置
CN114897782A (zh) 基于生成式对抗网络的胃癌病理切片图像分割预测方法
CN114170473A (zh) 基于病理图像的dMMR亚型分类方法及系统
CN116522202B (zh) 一种基于数据筛选的域适应方法和系统
CN117058554A (zh) 电力设备目标检测方法、模型训练方法和装置
WO2024020085A1 (en) Object detection and image segmentation for eukaryotic cells
CN116958161A (zh) 一种基于自注意力和三维卷积的心脏多类分割方法和系统
CN108804988B (zh) 一种遥感影像场景分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211119