CN113705595A - 异常细胞转移程度的预测方法、装置和存储介质 - Google Patents
异常细胞转移程度的预测方法、装置和存储介质 Download PDFInfo
- Publication number
- CN113705595A CN113705595A CN202110239635.7A CN202110239635A CN113705595A CN 113705595 A CN113705595 A CN 113705595A CN 202110239635 A CN202110239635 A CN 202110239635A CN 113705595 A CN113705595 A CN 113705595A
- Authority
- CN
- China
- Prior art keywords
- features
- modality
- medical data
- fusion
- modal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 113
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 84
- 206010027476 Metastases Diseases 0.000 title claims abstract description 25
- 230000009401 metastasis Effects 0.000 title claims abstract description 25
- 238000003860 storage Methods 0.000 title claims description 27
- 230000004927 fusion Effects 0.000 claims abstract description 83
- 238000000605 extraction Methods 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 8
- 230000012292 cell migration Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 5
- 230000001575 pathological effect Effects 0.000 abstract description 34
- 238000013473 artificial intelligence Methods 0.000 abstract description 11
- 230000009773 lymphatic migration Effects 0.000 abstract 2
- 210000004027 cell Anatomy 0.000 description 51
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 15
- 210000001519 tissue Anatomy 0.000 description 15
- 208000007433 Lymphatic Metastasis Diseases 0.000 description 12
- 230000007170 pathology Effects 0.000 description 12
- 201000011510 cancer Diseases 0.000 description 11
- 206010028980 Neoplasm Diseases 0.000 description 10
- 206010006187 Breast cancer Diseases 0.000 description 8
- 208000026310 Breast neoplasm Diseases 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000001574 biopsy Methods 0.000 description 7
- 238000012546 transfer Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000003759 clinical diagnosis Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000010835 comparative analysis Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 210000001165 lymph node Anatomy 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000002705 metabolomic analysis Methods 0.000 description 1
- 230000001431 metabolomic effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 239000012188 paraffin wax Substances 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Quality & Reliability (AREA)
- Epidemiology (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
提供了一种利用人工智能实施的基于医学数据对异常细胞转移程度进行预测的方法。该方法包括：获取与异常细胞相关的多个模态的医学数据；从多个模态的医学数据中分别提取每个模态的医学数据的单模态特征；通过对所提取的各个单模态特征进行融合而得到多个模态的医学数据的跨模态融合特征；利用跨模态融合特征作为全局特征对各个单模态特征进行调整；基于经调整的各个单模态特征得到多个模态的医学数据的多模态特征；根据多模态特征进行对异常细胞转移程度进行预测。通过基于医学数据对异常细胞转移程度进行预测的方法和装置，实现了对患者的不同模态的病理信息的融合，充分利用了患者多模态的信息资源，提高了异常细胞淋巴转移的预测准确率。
Description
技术领域
本发明涉及医学图像处理领域，具体来说涉及对异常细胞转移程度进行预测的方法、装置、计算设备和计算机可读存储介质。
背景技术
目前，人工智能技术在各种医学工程中得到了广泛使用。人工智能网络已经被用来根据不同疾病的特点辅助医生做出决策。
在临床诊断中，医生通常会基于患者病灶组织的病理图像和患者的临床诊断信息来做出决策。在一些相关技术中，神经网络模型（例如全连接神经网络）被用来基于患者的临床信息预测患者病灶组织的状态。但是，由于临床信息的内容是对患者状况的有限描述，不能全面反应患者的病灶组织的微环境，限制了神经网络模型的性能。在另一些相关技术中，病理图像被用来预测患者病灶组织的状态。但是，由于病理图像只反应了获取病灶组织部位的病理环境，所以未能将患者的生理状态共同纳入决策过程。对于一些同时考虑患者临床信息和病理图像的方案，其中涉及到的病理图像（特别是病理特征部分）通常需要人工判读。由于这样的判读对病理医生要求较高且耗时较久，并且在不同的实验室间存在差异，所以会导致判读的指标出现浮动。这可能导致错误的决策。
发明内容
现有技术中的人工智能在对异常细胞进行分类时，大多仅依据一种病理信息进行分类，没有结合其他病理信息（例如，病人的临床信息）的整体情况进行分类，分类准确率不高。现有技术的人工智能网络包括中，分类逻辑及网络包括过于简单，导致分类的准确率不高。
鉴于此，本发明提供了对异常细胞转移程度进行预测的方法、装置、计算设备和计算机可读存储介质，期望缓解或克服上面提到的部分或全部缺陷以及其他可能的缺陷。
根据本发明的第一方面，提供了基于医学数据对异常细胞转移程度进行预测的方法。该方法包括：获取与异常细胞相关的多个模态的医学数据；从多个模态的医学数据中分别提取每个模态的医学数据的单模态特征；通过对所提取的各个单模态特征进行融合而得到多个模态的医学数据的跨模态融合特征；利用跨模态融合特征作为全局特征对各个单模态特征进行调整；基于经调整的各个单模态特征得到多个模态的医学数据的多模态特征；根据多模态特征进行对异常细胞转移程度进行预测。
在一些实施例中，多个模态至少包括第一模态和第二模态，第一模态的医学数据对应于异常细胞的图像数据，第二模态的医学数据对应于异常细胞所属患者的临床信息数据，其中第一模态的医学数据对应于多种缩放尺度下的异常细胞的图像数据，多种缩放尺度中每种缩放尺度下的异常细胞图像包括多张图像。
在一些实施例中，从多个模态的医学数据中分别提取每个模态的医学数据的单模态特征包括：针对第一模态使用第一特征提取网络提取第一模态的特征；和针对第二模态使用第二特征提取网络提取第二模态的特征。
在一些实施例中，多种缩放尺度中每种缩放尺度下的异常细胞图像包括的多张图像是数量不同的多张图像。
在一些实施例中，第一特征提取网络包括基于第一数据集进行预先训练的图像特征提取器，第二特征提取网络包括基于第二数据集进行预先训练的表格特征提取器。
在一些实施例中，通过对所提取的各个单模态特征进行融合而得到多个模态的医学数据的跨模态融合特征包括：针对第一模态下异常细胞在每种缩放尺度下的多张图像的特征进行加权融合，得到异常细胞在每种尺度下的加权融合特征；对第一模态下各个尺度的加权融合特征和第二模态的特征进行拼接，得到多模态全局特征。
在一些实施例中，针对第一模态下异常细胞在每种缩放尺度下的多张图像的特征进行加权融合，得到异常细胞在每种尺度下的加权融合特征包括：针对所述第一模态下异常细胞在每种缩放尺度下的多张图像的特征进行平均池化，得到异常细胞在每种尺度下的加权融合特征。
在一些实施例中，利用跨模态融合特征作为全局特征对各个单模态特征进行调整包括：基于跨模态融合特征作为全局特征与第一模态下各个尺度的各个图片的特征进行局部-全局信息融合，得到第一模态下各个尺度的各个图片的局部-全局信息融合特征；对第一模态下各个尺度的各个图片的局部-全局信息融合特征进行加权平均，得到第一模态下各个尺度的经调整特征；以及基于跨模态融合特征作为全局特征对第二模态的特征进行调整，得到第二模态下的经调整特征。
在一些实施例中，基于跨模态融合特征作为全局特征对第二模态的特征进行调整，得到第二模态下的经调整特征包括：将多模态全局特征通过全连接网络进行计算，并使用Sigmoid激活函数获得的缩放系数对第二模态的特征进行调整，得到第二模态下的经调整特征。
在一些实施例中，基于经调整的各个单模态特征得到多个模态的医学数据的多模态特征包括：对第一模态下各个尺度的经调整特征和第二模态的特征进行拼接，得到多个模态的医学数据的多模态特征。
在一些实施例中，基于多模态融合特征对异常细胞转移程度进行分类包括：将多模态融合特征输入分类器，以对异常细胞转移程度进行预测；其中分类器预先基于训练集中样本的特征作为输入，样本的标签作为监督信号进行训练。
在一些实施例中，分类器包括至少主分类器和辅分类器。
在一些实施例中，获取与异常细胞相关的多个模态的医学数据还包括：确定组织切片中的感兴趣区域；基于组织切片中的感兴趣区域通过滑动窗口获取感兴趣区域的不同缩放尺度的图像。
根据本发明的第二方面，提供了一种基于医学数据对异常细胞转移程度进行预测的装置。该装置包括：获取模块、单模态特征提取模块、跨模态融合模块、调整模块、多模态特征模块和预测模块。获取模块，被配置成获取与异常细胞相关的多个模态的医学数据；单模态特征提取模块，被配置成从多个模态的医学数据中分别提取每个模态的医学数据的单模态特征；跨模态融合模块，被配置成通过对所提取的各个单模态特征进行融合而得到多个模态的医学数据的跨模态融合特征；调整模块，被配置成利用跨模态融合特征作为全局特征对各个单模态特征进行调整；多模态特征模块，被配置成基于经调整的各个单模态特征得到多个模态的医学数据的多模态特征；预测模块，被配置成根据多模态特征进行对异常细胞转移程度进行预测。
根据本发明的第三方面，提供了一种计算机设备，其特征在于，包括存储器和处理器，存储器中存储有计算机程序。该计算机程序被处理器执行时，使得处理器执行以上方面描述方法的步骤。
根据本发明的第四方面，提供了一种计算机可读存储介质，其特征在于，计算机可读存储介质上存储有计算机程序。该计算机程序被处理器执行时，使得处理器执行以上方面描述方法的步骤。
通过本发明要求保护的利用人工智能实施的基于医学数据对异常细胞转移程度进行预测的方法和装置，实现了对患者的不同模态的病理信息的融合，充分利用了患者多模态的信息资源，提高了异常细胞转移的预测准确率。具体地，本发明的技术方案采取了端到端的学习方式，使用的临床信息易于获取不需要额外收集。本发明结合了多模态数据分析的特点，并将其结合到多示例学习分析的框架内，使用患者的临床信息和相应的病理图像在淋巴结转移的早期进行预测，辅助医生进行术前决策，从而更加精确地提供治疗解决方案，提升患者生活质量。该多模态多示例的方法使用临床上癌症诊断的金标准（活检病理切片）和患者的临床诊断信息，应用深度学习结合这二者的信息，在术前预测是否会发生淋巴结转移，有效辅助术前决策。
根据下文描述的实施例，本发明的这些和其它优点将变得清楚，并且参考下文描述的实施例来阐明本发明的这些和其它优点。
附图说明
现在将更详细并且参考附图来描述本申请的实施例，其中：
图1示出了根据本发明的一个实施例的示例性应用场景；
图2示出了基于医学数据对异常细胞转移程度进行预测的方法的流程图；
图3示出了根据本发明的一个实施例的方法的示意框图；
图4示出了图3中的多模态多示例模块的具体结构的示意图；
图5示出了分别根据本发明的方法和图像单模态方法处理得到的图像热力图；
图6示出了用于对异常细胞转移程度进行预测的装置的示意图；以及
图7示出了能够实现根据本发明的一些实施例的用于异常细胞转移程度的预测方法的计算系统的示意框图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本申请将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应理解，虽然本文中可能使用术语第一、第二、第三等来描述各种组件，但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此，下文论述的第一组件可称为第二组件而不偏离本申请概念的教示。如本文中所使用，术语“和/或”及类似术语包括相关联的列出项目中的任一个、多个和全部的所有组合。
本领域技术人员可以理解，附图只是示例实施例的示意图，附图中的模块或流程并不一定是实施本申请所必须的，因此不能用于限制本申请的保护范围。
在详细介绍本发明的实施例之前，首先对一些相关的概念进行解释：
人工智能（Artificial Intelligence, AI）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
临床信息（Clinical Information，CI）是表征患者生理指标的相关信息，包括但不限于身高、体重、血压、既往病史、基因组学信息、转录组学、代谢组学、蛋白组学和智能临床检验得到的信息。
全片数字化图像（Whole slide image, WSI）是最接近于直接显微镜诊断的一种模式，是当前数字病理学的主流技术。基于WSI的病理分析是诊断疾病特别是恶性肿瘤的重要手段。WSI满足高清晰度、高速、高通量调整的要求，为传统病理切片数字化提供了可能，为数字病理学的发展和应用奠定了坚实的基础。在数字病理学中，常见的数字化策略是对病理切片进行200倍或400倍扫描，扫描产生的数据称为WSI。基于全片数字化图像（WSI）的数字病理学的快速发展，使得人工智能（AI）在计算机辅助诊断方面取得了许多进展。
感兴趣区域（Region of Interest, ROI）是利用机器视觉的图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出的需要处理的区域。在本发明中，特指WSI图像中有关病变（例如癌症）组织的区域。
TabNet特征提取网络是由Google提出的一种高性能且可解释的深度表格数据学习神经网络。TabNet会顺序关注（sequential attention）以从每个特征中选择要推理的功能，便于将模型的学习能力用于最显著的特征，可以实现解释性和更有效的学习。
在医学领域（以癌症领域为例），医生往往需要获取患者的癌变组织的病理图像，以制定下一步治疗方案。举例而言，可以通过穿刺的方式，直接获取高度怀疑的病灶组织。在病理科通过对获取的病灶组织进行石蜡包埋制片，并经苏木精和伊红染色制成病理活检片子，进而生成活检病理图像。另一方面，在制定治疗方案时，医生还会全面检查患者的整体健康水平，分析患者的临床信息，以确定患者病情。
乳腺癌是女性最常见的癌症。大多数乳腺癌被发现时已经处于侵袭阶段，这意味着异常细胞已经超出乳腺癌或小叶范围而向周围组织蔓延。在乳腺癌的治疗过程中，一些患者的病情涉及进行腋窝淋巴结清扫术。腋窝淋巴结清扫术会来带许多近期和远期并发症。因此，在进行清扫术之前，需要对淋巴结的转移状态进行准确分类，避免不必要的手术。目前，对于分类乳腺癌淋巴结转移程度这一任务，临床常规检测要么只使用病理图像，要么只使用临床信息，因而无法做到较高的准确度。对于同时考虑了患者临床信息和病理图像的方案，病理图像仍需要进行人工判读，因而无法实现端到端的自动化的决策过程。
按照本发明，通过利用多模态模型模拟医生的判读方法，应用深度学习结合多模态数据，能够将多模态数据（例如多尺度的病理图像信息和临床信息）同时纳入决策过程，从而可以在无需病理医生进行判读的情况下端到端地完成对病灶组织的状态（例如乳腺癌淋巴结转移）的预测。
图1示出了根据本发明的一个实施例的示例性应用场景100。应用场景100中包括数据101、服务器102、网络103和显示器104。数据101是指输入到服务器102以用于对异常细胞转移程度预测模型进行预测进行训练或测试的数据，例如数据101可以包括训练集、验证集和测试集。数据类型可以包括但不限于图像信息、表格信息和声音信息。在本发明的应用场景中，可以将表征患者的癌症组织的穿刺图像、患者相关部位的回声以及患者的临床信息等的数据101通过网络103发送给服务器102，或者直接通过服务器102的输入设备而输入至服务器102。网络103例如可以是广域网（WAN）、局域网（LAN）、无线网络、公用电话网、内联网以及本领域的技术人员熟知的任何其它类型的网络。可以理解，在另一些应用场景中，数据101可以不经过网络103而直接输入到服务器201中。服务器102接收到数据后根据本发明的一个实施例中的神经网络进行分类，并将中间计算内容可视化输出到显示器104中进行显示，辅助医生对数据进行分类。服务器102是可以应用根据本发明的一个实施例的技术方案的硬件装置，其上至少存储有经预先训练的根据本发明的一个实施例的神经网络。如本领域普通技术人员所理解的，服务器102不限于单个服务器装置，还可以是服务器集群或分布式设备。显示器104可以从服务器102接收显示数据，根据显示数据对异常细胞转移程度的分析结果进行显示。
图2示出了基于医学数据对异常细胞转移程度进行预测的方法200的流程图。该方法200可以利用人工智能来根据下述步骤在图1所示的服务器102上实施。
在步骤201中，服务器102从组织切片中获取与异常细胞相关的多个模态的医学数据。在一个实施例中，该多个模态至少包括第一模态和第二模态。第一模态的医学数据对应于异常细胞相关的图像数据。第二模态的医学数据对应于异常细胞所属患者的临床信息数据。这里，操作人员（例如病理医生）首先收集患者的活检病理图片。操作人员勾画出癌症区域作为ROI，同时获取该ROI所对应的临床信息。在一个实施例中，第一模态的医学数据对应于多种缩放尺度下的异常细胞的图像数据。操作人员将WSI分别缩放到20倍率、10倍率和5倍率。这里，病理图像数据可以使用其他数量的倍率（例如5种缩放尺度）或其他倍率的数值。针对不同的缩放尺度，均使用512×512大小的滑窗，以步长为512在有效ROI区域内滑动，获取不同倍率下的小图片（Patch），保存到磁盘上，用于后续处理。这里对病理图像采集的Patch可以使用其他尺寸。在一个实施例中，多种缩放尺度中每种缩放尺度下的异常细胞图像包括多张图像。此外，对临床信息的表格进行清洗，并按类别数值化，用于后续的数值计算部分。在本文的上下文中，模态指的是患者的一种病理信息的形态。如本领域技术人员所理解的，多个模态的医学数据不限于第一模态的医学数据和第二模态的医学数据。例如，还可以包括诸如基因测序模态的医学数据、蛋白组化模态的医学数据等其他模态的数据。不同倍率下的ROI尺寸不一定一致，并且针对不同患者的ROI大小也不相同。在一个实施例中，多种缩放尺度中每种缩放尺度下的异常细胞图像包括的多张图像可以是数量不同的多张图像。
在步骤202中，从多个模态的医学数据中分别提取每个模态的医学数据的单模态特征。在一个实施例中，针对第一模态使用第一特征提取网络提取第一模态的特征。在一个实施例中，第一特征提取网络包括基于第一数据集进行预先训练的图像特征提取器。针对病理图像部分，使用在ImageNet数据集上预训练的EfficientNet-B0作为图像特征提取器，对所有Patch做特征提取。每个WSI在不同倍率下获取的所有特征将被打包到一起，并保存到磁盘上，用于后续训练或预测。本方案中的图像特征提取器，可使用其他卷积神经网络（如ResNet，DenseNet，EfficientNet，InceptionNet，VGG），其中网络的初始化方法可基于ImageNet数据集预训练、随机初始化和基于其他数据集的预训练。后续算法会对每个倍率设立单独的网络分支进行处理。在一个实施例中，针对第二模态使用第二特征提取网络提取第二模态的特征。使用表格模特征提取器TabNet对患者的临床信息做特征提取，生成临床信息的嵌入特征表示。对临床信息的特征提取，可使用其他表格模型或全连接神经网络。
在病理图像部分，在多个倍率下的图像提取了图像特征。由于不同倍率下的ROI尺寸不一致，不同患者的ROI大小也不相同，这一步提取出的特征的数量会有较大变化，这里需要有效的特征选择机制，保留有效的样本特征。同时，本方法使用了多个模态的数据，也需要有效地整合不同模态的信息，共同完成预测。多模态多示例模块将会解决前述的特征选择、模态信息整合问题。因此在步骤203中，通过对所提取的各个单模态特征进行融合而得到多个模态的医学数据的跨模态融合特征。每个倍率下都会有一组数量不定的图像特征。这里，通过全局平均池化的方式，将每个倍率下的多个特征融合为单个特征。然后将表格特征和不同倍率图像的特征进行连接，使用全连接网络层对其进行特征融合，得到跨模态的融合特征，针对第一模态下异常细胞在每种缩放尺度下的多张图像的特征进行加权融合，得到异常细胞在每种尺度下的加权融合特征；对第一模态下各个尺度的加权融合特征和第二模态的特征进行拼接，得到跨模态融合特征。这里，加权融合可以是通过针对第一模态下异常细胞在每种缩放尺度下的多张图像的特征进行全局平均池化的方式进行的。
在步骤204中，利用跨模态融合特征作为全局特征对各个单模态特征进行调整。在一个实施例中，该调整处理包括：基于跨模态融合特征作为全局特征与第一模态下各个尺度的各个图片的特征进行局部-全局信息融合，得到第一模态下各个尺度的各个图片的局部-全局信息融合特征；对第一模态下各个尺度的各个图片的局部-全局信息融合特征进行加权平均，得到第一模态下各个尺度的经调整特征；以及基于跨模态融合特征作为全局特征对第二模态的特征进行调整，得到第二模态下的经调整特征。在一个实施例中，基于跨模态融合特征作为全局特征对第二模态的特征进行调整，得到第二模态下的经调整特征包括：将多模态全局特征通过全连接网络进行计算，并使用Sigmoid激活函数获得的缩放系数对第二模态的特征进行调整，得到第二模态下的经调整特征。在表格特征的网络分支中，跨模态融合特征经过全连接网络层后，使用Sigmoid激活函数，获得该分支特征的缩放系数，对表格特征进行缩放。该缩放体现为跨模态数据对单模态分支学习过程的指导。在图像特征的网络分支中，需要对每个倍率下的特征单独进行处理，调整出有效的特征。将跨模态融合特征与每个倍率下的Patch特征进行拼接，使用全连接网络层进行局部、全局的特征融合。将融合后的特征再使用多层全连接网络后接Softmax激活函数进行处理，获取表示每个Patch相对重要程度的权重。对于每个倍率的特征，将该权重乘回Patch的特征上，再将所有的Patch特征求和，获得该倍率下的病理图像的嵌入特征表示。
在步骤205中，基于经调整的各个单模态特征得到多个模态的医学数据的多模态特征。在一个实施例中，基于经调整的各个单模态特征得到多个模态的医学数据的多模态特征包括：对第一模态下各个尺度的经调整特征和第二模态的特征进行拼接，得到多个模态的医学数据的多模态特征。
在步骤206中，根据多模态特征进行对异常细胞转移程度进行预测。经过前面的处理，已经获得了经过融合的表格嵌入特征及每个倍率下图像的嵌入特征。在分类输出部分，将表格特征和图像特征进行拼接，使用多层全连接网络作为整个模型的分类器Gc（也称为主分类器），对乳腺癌淋巴结转移进行预测，获得发生转移的概率。在一个实施例中，基于多模态融合特征对异常细胞转移程度进行分类包括：将多模态融合特征输入分类器，以对异常细胞转移程度进行预测；其中分类器预先基于训练集中样本的特征作为输入，样本的标签作为监督信号进行训练。在另一个实施例中，分类器包括至少主分类器和辅分类器。这里使用辅分类器的原因在于，在多示例融合的部分，网络的训练过程可能会有波动。为了稳定这一过程，基于深监督的思想，在训练时使用了另一个分类器Gt对表格特征这一支路添加额外的监督信息。
该方法实现了对患者的不同模态的病理信息的融合，充分利用了患者多模态的信息资源，提高了异常细胞转移的预测准确率。具体地，本发明的技术方案采取了端到端的学习方式，使用的临床信息易于获取不需要额外收集。本发明结合了多模态数据分析的特点，并将其结合到多示例学习分析的框架内，使用患者的临床信息和相应的病理图像在淋巴结转移的早期进行预测，辅助医生进行术前决策，从而更加精确地提供治疗解决方案，提升患者生活质量。该多模态多示例的方法使用临床上癌症诊断的金标准（活检病理切片）和患者的临床诊断信息，应用深度学习结合这二者的信息，在术前预测是否会发生淋巴结转移，有效辅助术前决策。
图3示出了根据本发明的一个实施例的方法的示意框图。在该方法中，首先收集患者的活检病理图片，操作人员（例如，病理医生）勾画癌症区域作为ROI。同时获取其他信息。
然后，对获取到的多模态信息进行预处理。操作人员将ROI的WSI分别缩放到不同的缩放尺寸。这里，以缩放尺寸分别为20倍率、10倍率和5倍率为例进行说明。针对20倍率、10倍率和5倍率的图片301、302和303，使用滑窗以一定的步长在有效ROI区域内滑动，以获取不同倍率下的小图片304、305和306。针对不同的倍率，滑窗的大小可以均为512（像素）×512（像素），步长可以为512。针对不同的倍率，滑窗和步长大小也可以设置为其它值。不同倍率下的小图片被保存到磁盘上，用于后续处理。对于临床信息的表格310进行清洗处理，并按照类别进行数值化，用于后续数值计算部分。
接下来，分别对不同模态的医学数据，即病理图像和临床信息进行特征提取。针对第一模态的医学数据（即病理图像数据），这里使用图3中所示的特征提取网络作对所有小图片进行特征提取，得到提取出的不同倍率下的图像的嵌入特征307、308和309。这里的特征提取网络可以采用经过第一数据集（例如，ImageNet数据集）预训练的EfficientNet-B0。每个WSI在不同倍率下获取的所有特征被打包在一起，并保存到磁盘上，用于后续训练或预测。针对第二模态的医学数据（即临床信息数据310），使用表格特征提取网络（例如，TabNet网络）对患者的临床信息进行特征提取，生成临床信息的嵌入特征表示311。
最后，通过多模态多示例模块312对各个模态的特征进行融合。多模态多示例模块312对图像的嵌入特征307、308和309和临床信息的嵌入特征表示311进行融合，获得经融合的表格嵌入特征316和经融合的每个倍率下的图像的嵌入特征313、314和315。多模态多示例模块312的具体结构将在图4中进行更详细的说明。在317处，对经融合的每个倍率下的图像的嵌入特征313、314和315和经融合的表格嵌入特征316进行拼接。使用分类器Gc 318对拼接后的特征进行分类，以对异常细胞的淋巴结转移情况进行预测，获得发生转移的概率。这里分类器318可以采用多层全连接网络。在多示例融合的部分，网络的训练过程可能存在波动。为了稳定这个过程，基于深度监督思想，在训练时使用了辅助分类器319。辅助分类器319对经融合的表格嵌入特征316进行分类，以添加额外的监督信息。
图4示出了图3中的多模态多示例模块312的具体结构的示意图。这里以存在3个缩放尺度下的图像为例，多模态多示例模块312首先将图像的嵌入特征307、308和309分别进行聚合处理。由于每个倍率下可以存在数量不同的图像特征。在图4的左侧展示了特征聚合的过程。这里，采用全局平均池化的方式，将每个倍率下的多个特征307、308、309融合为单个特征u1、u2、u3。然后，将表格特征ht与不同倍率图像的融合特征u1、u2、u3进行连接。在401处，使用全连接网络对连接后的特征进行融合，得到跨模态的融合特征Fglobal。
接下来，利用所述跨模态融合特征作为全局特征对各个单模态特征进行调整。在一个实施例中，利用跨模态融合特征作为全局特征对各个单模态特征进行调整包括：基于跨模态融合特征作为全局特征与第一模态下各个尺度的各个图片的特征进行局部-全局信息融合，得到第一模态下各个尺度的各个图片的局部-全局信息融合特征；对第一模态下各个尺度的各个图片的局部-全局信息融合特征进行加权平均，得到第一模态下各个尺度的经调整特征；以及基于跨模态融合特征作为全局特征对第二模态的特征进行调整，得到第二模态下的经调整特征。
在另一个实施例中，基于跨模态融合特征作为全局特征对第二模态的特征进行调整，得到第二模态下的经调整特征包括：将多模态全局特征通过全连接网络进行计算，并使用Sigmoid激活函数获得的缩放系数对第二模态的特征进行调整，得到第二模态下的经调整特征。
在表格特征的网络分支中，跨模态融合特征Fglobal在403处经过全连接网络层后，使用Sigmoid激活函数，获得该分支的缩放系数并基于该缩放系数对表格特征进行缩放。该缩放稀疏体现为跨模态数据对单模态分支学习过程的指导。
在图像特征网络分支中，需要对每个倍率下的特征进行单独处理，以筛选出有效特征。这里，将获得的跨模态融合特征分成与缩放尺度数量相同的子跨模态融合特征o1、o2和o3。将o1、o2和o3分别与每个倍率下的Patch特征进行拼接。接下来，使用全连接网络进行局部与全局特征的融合，并将融合后的特征使用多层全连接网络后接Softmax激活函数进行处理，获得表示每个Patch相对重要程度的权重。对于每个缩放尺度的特征，将该权重乘回Patch的特征上，再将所有的Patch特征求和，获得该倍率下的病理图像的嵌入特征表示。
本方法获取了表示每个倍率下Patch相对重要程度的权重。本方法相对比以往的图像单模态算法，能够更好地对Patch的重要程度进行判别。基于此，本方法可关联对应位置的解释，可视化不同位置Patch对结果的影响程度，可进一步辅助医生进行术前决策。
完成模型训练后，在测试阶段加载训练好的模型权值，重复以上流程， 对淋巴结转移的可能性进行预测。
值的注意的是，本方案中的多模态融合方法，可替换为全连接神经网络融合得到多模态的表征，或单模态预测概率的加权求和。本方案的任务是对乳腺癌淋巴结转移进行预测，可替换为等其它癌种的淋巴结转移预测任务或分类任务。
下面将本发明的方法和其他方法进行了对比评测。
在此次对比评测中，分别将本发明的方法和其他六种方法进行对比，这六种方法分别是：
（1）基于表格模态的单模态方法。在该方法中，仅仅使用表征患者的临床信息的表格模态作为输入进行分类。其网络包括主要是使用TabNet特征提取网络来提取表格模态的模态特征，并根据该模态特征直接进行分类操作，得到分类结果。
（2）基于图像模态的单模态方法。在该方法中，仅仅使用表征患者的异常细胞的WSI图像的5倍率图像模态作为输入进行分类。其网络包括主要是使用EfficientNet-B0特征提取网络来提取5倍率图像模态的模态特征，并根据该模态特征直接进行分类操作，得到分类结果。
（3）基于图像模态的单模态方法。在该方法中，仅仅使用表征患者的异常细胞的WSI图像的10倍率图像模态作为输入进行分类。其网络包括主要是使用EfficientNet-B0特征提取网络来提取10倍率图像模态的模态特征，并根据该模态特征直接进行分类操作，得到分类结果。
（4）基于图像模态的单模态方法。在该方法中，仅仅使用表征患者的异常细胞的WSI图像的20倍率图像模态作为输入进行分类。其网络包括主要是使用EfficientNet-B0特征提取网络来提取20倍率图像模态的模态特征，并根据该模态特征直接进行分类操作，得到分类结果。
（5）基于图像模态的多模态方法。在该方法中，使用表征患者的异常细胞的WSI图像的5、10和20倍率图像模态作为输入进行分类。其网络包括主要是使用EfficientNet-B0特征提取网络来提取这三个图像模态的模态特征，然后通过神经网络将这三个模态的特征融合为一个特征表示，并根据该一个特征表示直接进行分类操作，得到分类结果。与上述方法相同，这个方法的评测效果是上面提到的单模态的简单网络包括方法的一个实施例，该方法依据一种病理信息进行分类，没有结合各种病理信息的整体情况进行分类，分类资源得不到充分的利用。
（6）简单多模态方法。在该方法中，使用表征患者的异常细胞的WSI图像的5、10和20倍率图像模态以及表征该患者的临床信息的表格模态作为输入进行分类。其网络包括主要是使用EfficientNet-B0特征提取网络来提取这三个图像模态的模态特征，使用TabNet特征提取网络来提取表格模态的特征。基于这四个模态的特征，通过全连接网络将这四个模态的特征融合为一个特征表示，并根据该一个特征表示直接进行分类操作，得到分类结果。这个方法的评测效果是上面提到的多模态的简单网络包括方法的一个实施例，该方法分类逻辑及网络包括过于粗糙、简单，不能充分适应多类别数据的复杂性。
对比评测结果如表1所示，其中AUC、F1-score、精确率、召回率是现有技术中常用的评价分类性能的指标。其中，精确率（Precision)是指在所有预测出来的正例中有多少是预测正确的正例，可以将该精确率记作Pr，例如，有10个正例，5个负例，其中，10个正例中预测正确的正例为8个，5个负例中有2个负例被预测为正，则Pr为{8/（8+2)＝0.8}；召回率（Recall）是指所有正例中预测正确的正例所占比例，记作R。综合值则是根据精确率Pr及召回率R得到的综合值，可以记作F1。例如，该综合值可以是精确率Pr及召回率R的调和均值。如以下公式所示：
F1 = 精确率 * 召回率 * 2 / （精确率 + 召回率） （1）
其中，该精确率、召回率或F1值越大，表示对应的模型的效果越好，一般地，F1值因为综合了其他两个评价指标，更能代表分类效果。
还使用AUC（AreaUnder the receiver operating characteristic Curve）作为评价指标来衡量每个方案的效果。AUC衡量了在随机抽取一个正样本（y＝1）和负样本（y＝0）的情况下，分类器正确判断正样本的值大约负样本的值的几率。所以AUC值越大的分类器，精确率越高。
表1 对比评测表。
通过对比可以发现，本发明的AUC、F1-score、精确率指标显然均高于任何其他的方法，召回率也有较好的表现。本发明的方法提高了分类准确率。
图5示出了分别根据本发明的方法和图像单模态方法处理得到的图像热力图。图5中的区块501为对5倍率下图像使用基于A-MIL模型的单模态方法处理后的热力图；区块502为对10倍率下图像使用基于A-MIL模型的单模态方法处理后的热力图；区块503对20倍率下图像使用基于A-MIL模型的单模态方法处理后的热力图；区块504对5倍率下图像使用本发明的方法处理后的热力图；区块505对10倍率下图像使用本发明的方法处理后的热力图；区块506对20倍率下图像使用本发明的方法处理后的热力图。图5中不同的灰度与不同的权重系数相对应。区块501~503中颜色均较为接近，不能很好地对不同的图像块进行区分。区块504~506中能够较好地对图像块进行区分，能够将无用图像块挑选出来。由此可见，根据本发明的方法相较于同倍率的单模态方法，可以综合各个模态的信息更准确地区分异常细胞的转移程度。
图6示出了用于对异常细胞转移程度进行预测的装置600。该装置600包括：获取模块601、单模态特征提取模块602、跨模态融合模块603、调整模块604、多模态特征模块605和预测模块606。获取模块601被配置成获取与异常细胞相关的多个模态的医学数据。单模态特征提取模块602被配置成从所述多个模态的医学数据中分别提取每个模态的医学数据的单模态特征。跨模态融合模块603被配置成通过对所提取的各个单模态特征进行融合而得到所述多个模态的医学数据的跨模态融合特征。调整模块604被配置成利用所述跨模态融合特征作为全局特征对各个单模态特征进行调整。多模态特征模块605被配置成基于经调整的各个单模态特征得到所述多个模态的医学数据的多模态特征。预测模块606被配置成根据所述多模态特征进行对所述异常细胞转移程度进行预测。
该装置实现了对患者的不同模态的病理信息的融合，充分利用了患者多模态的信息资源，提高了分类准确率。具体地，采取了端到端的学习方式，使用的临床信息易于获取不需要额外收集。该装置结合了多模态数据分析的特点，并将其结合到多示例学习分析的框架内，使用患者的临床信息和相应的病理图像在淋巴结转移的早期进行预测，辅助医生进行术前决策，从而更加精确地提供治疗解决方案，提升患者生活质量。该多模态多示例的方法使用临床上癌症诊断的金标准（活检病理切片），结合患者的临床诊断信息，应用深度学习结合这二者的信息，在术前预测是否会发生淋巴结转移，有效辅助术前决策。
图7图示了示例系统700，其包括代表可以实现本文描述的各种技术的一个或多个系统和/或设备的示例计算设备710。计算设备710可以是例如服务提供商的服务器、与服务器相关联的设备、片上系统、和/或任何其它合适的计算设备或计算系统。上面参照图6描述的对异常细胞转移程度进行预测的装置600可以采取计算设备710的形式。替换地，对异常细胞转移程度进行预测的装置600可以以应用716的形式被实现为计算机程序。
如图示的示例计算设备710包括彼此通信耦合的处理系统711、一个或多个计算机可读介质712以及一个或多个I/O接口713。尽管未示出，但是计算设备710还可以包括系统总线或其他数据和命令传送系统，其将各种组件彼此耦合。系统总线可以包括不同总线结构的任何一个或组合，总线结构诸如存储器总线或存储器控制器、外围总线、通用串行总线、和/或利用各种总线架构中的任何一种的处理器或局部总线。还构思了各种其他示例，诸如控制和数据线。
处理系统711代表使用硬件执行一个或多个操作的功能。因此，处理系统711被图示为包括可被配置成处理器、功能块等的硬件元件714。这可以包括在硬件中实现为专用集成电路或使用一个或多个半导体形成的其它逻辑器件。硬件元件714不受其形成的材料或其中采用的处理机构的限制。例如，处理器可以由（多个）半导体和/或晶体管（例如，电子集成电路（IC））组成。在这样的上下文中，处理器可执行指令可以是电子可执行指令。
计算机可读介质712被图示为包括存储器/存储装置715。存储器/存储装置715表示与一个或多个计算机可读介质相关联的存储器/存储容量。存储器/存储装置715可以包括易失性介质（诸如随机存取存储器（RAM））和/或非易失性介质（诸如只读存储器（ROM）、闪存、光盘、磁盘等）。存储器/存储装置715可以包括固定介质（例如，RAM、ROM、固定硬盘驱动器等）以及可移动介质（例如，闪存、可移动硬盘驱动器、光盘等）。计算机可读介质712可以以下面进一步描述的各种其他方式进行配置。
一个或多个I/O接口713代表允许用户使用各种输入设备向计算设备710输入命令和信息并且可选地还允许使用各种输出设备将信息呈现给用户和/或其他组件或设备的功能。输入设备的示例包括键盘、光标控制设备（例如，鼠标）、麦克风（例如，用于语音输入）、扫描仪、触摸功能（例如，被配置成检测物理触摸的容性或其他传感器）、相机（例如，可以采用可见或不可见的波长（诸如红外频率）将不涉及触摸的运动检测为手势）等等。输出设备的示例包括显示设备（例如，监视器或投影仪）、扬声器、打印机、网卡、触觉响应设备等。因此，计算设备710可以以下面进一步描述的各种方式进行配置以支持用户交互。
计算设备710还包括应用716。应用716可以例如是对异常细胞转移程度进行预测的装置600的软件实例，并且与计算设备710中的其他元件相组合地实现本文描述的技术。
本文可以在软件硬件元件或程序模块的一般上下文中描述各种技术。一般地，这些模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元素、组件、数据结构等。本文所使用的术语“模块”，“功能”和“组件”一般表示软件、固件、硬件或其组合。本文描述的技术的特征是与平台无关的，意味着这些技术可以在具有各种处理器的各种计算平台上实现。
所描述的模块和技术的实现可以存储在某种形式的计算机可读介质上或者跨某种形式的计算机可读介质传输。计算机可读介质可以包括可由计算设备710访问的各种介质。作为示例而非限制，计算机可读介质可以包括“计算机可读存储介质”和“计算机可读信号介质”。
与单纯的信号传输、载波或信号本身相反，“计算机可读存储介质”是指能够持久存储信息的介质和/或设备，和/或有形的存储装置。因此，计算机可读存储介质是指非信号承载介质。计算机可读存储介质包括诸如易失性和非易失性、可移动和不可移动介质和/或以适用于存储信息（诸如计算机可读指令、数据结构、程序模块、逻辑元件/电路或其他数据）的方法或技术实现的存储设备之类的硬件。计算机可读存储介质的示例可以包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字通用盘（DVD）或其他光学存储装置、硬盘、盒式磁带、磁带，磁盘存储装置或其他磁存储设备，或其他存储设备、有形介质或适于存储期望信息并可以由计算机访问的制品。
“计算机可读信号介质”是指被配置成诸如经由网络将指令发送到计算设备710的硬件的信号承载介质。信号介质典型地可以将计算机可读指令、数据结构、程序模块或其他数据体现在诸如载波、数据信号或其它传输机制的调制数据信号中。信号介质还包括任何信息传递介质。术语“调制数据信号”是指这样的信号，该信号的特征中的一个或多个被设置或改变，从而将信息编码到该信号中。作为示例而非限制，通信介质包括诸如有线网络或直接连线的有线介质以及诸如声、RF、红外和其它无线介质的无线介质。
如前，硬件元件714和计算机可读介质712代表以硬件形式实现的指令、模块、可编程器件逻辑和/或固定器件逻辑，其在一些实施例中可以用于实现本文描述的技术的至少一些方面。硬件元件可以包括集成电路或片上系统、专用集成电路（ASIC）、现场可编程门阵列（FPGA）、复杂可编程逻辑器件（CPLD）以及硅中的其它实现或其他硬件设备的组件。在这种上下文中，硬件元件可以作为执行由硬件元件所体现的指令、模块和/或逻辑所定义的程序任务的处理设备，以及用于存储用于执行的指令的硬件设备，例如，先前描述的计算机可读存储介质。
前述的组合也可以用于实现本文的各种技术和模块。因此，可以将软件、硬件或程序模块和其它程序模块实现为在某种形式的计算机可读存储介质上和/或由一个或多个硬件元件714体现的一个或多个指令和/或逻辑。计算设备710可以被配置成实现与软件和/或硬件模块相对应的特定指令和/或功能。因此，例如通过使用处理系统的计算机可读存储介质和/或硬件元件714，可以至少部分地以硬件来实现将模块实现为可由计算设备710作为软件执行的模块。指令和/或功能可以由一个或多个制品（例如，一个或多个计算设备710和/或处理系统711）可执行/可操作以实现本文所述的技术、模块和示例。
在各种实施方式中，计算设备710可以采用各种不同的配置。例如，计算设备710可以被实现为包括个人计算机、台式计算机、多屏幕计算机、膝上型计算机、上网本等的计算机类设备。计算设备710还可以被实现为包括诸如移动电话、便携式音乐播放器、便携式游戏设备、平板计算机、多屏幕计算机等移动设备的移动装置类设备。计算设备710还可以实现为电视类设备，其包括具有或连接到休闲观看环境中的一般地较大屏幕的设备。这些设备包括电视、机顶盒、游戏机等。
本文描述的技术可以由计算设备710的这些各种配置来支持，并且不限于本文所描述的技术的具体示例。功能还可以通过使用分布式系统、诸如通过如下所述的平台722而在“云”720上全部或部分地实现。
云720包括和/或代表用于资源724的平台722。平台722抽象云720的硬件（例如，服务器）和软件资源的底层功能。资源724可以包括在远离计算设备710的服务器上执行计算机处理时可以使用的应用和/或数据。资源724还可以包括通过因特网和/或通过诸如蜂窝或Wi-Fi网络的订户网络提供的服务。
平台722可以抽象资源和功能以将计算设备710与其他计算设备连接。平台722还可以用于抽象资源的分级以提供遇到的对于经由平台722实现的资源724的需求的相应水平的分级。因此，在互连设备实施例中，本文描述的功能的实现可以分布在整个系统700内。例如，功能可以部分地在计算设备710上以及通过抽象云720的功能的平台722来实现。
应当理解，为清楚起见，参考不同的功能单元对本申请的实施例进行了描述。然而，将明显的是，在不偏离本申请的情况下，每个功能单元的功能性可以被实施在单个单元中、实施在多个单元中或作为其它功能单元的一部分被实施。例如，被说明成由单个单元执行的功能性可以由多个不同的单元来执行。因此，对特定功能单元的参考仅被视为对用于提供所描述的功能性的适当单元的参考，而不是表明严格的逻辑或物理结构或组织。因此，本申请可以被实施在单个单元中，或者可以在物理上和功能上被分布在不同的单元和电路之间。
尽管已经结合一些实施例描述了本申请，但是其不旨在被限于在本文中所阐述的特定形式。相反，本申请的范围仅由所附权利要求来限制。附加地，尽管单独的特征可以被包括在不同的权利要求中，但是这些可以可能地被有利地组合，并且包括在不同权利要求中不暗示特征的组合不是可行的和/或有利的。特征在权利要求中的次序不暗示特征必须以其工作的任何特定次序。此外，在权利要求中，词“包括”不排除其它元件，并且术语“一”或“一个”不排除多个。权利要求中的附图标记仅作为明确的例子被提供，不应该被解释为以任何方式限制权利要求的范围。
Claims (15)
1.一种基于医学数据对异常细胞转移程度进行预测的方法，包括：
获取与异常细胞相关的多个模态的医学数据；
从所述多个模态的医学数据中分别提取每个模态的医学数据的单模态特征；
通过对所提取的各个单模态特征进行融合而得到所述多个模态的医学数据的跨模态融合特征；
利用所述跨模态融合特征作为全局特征对各个单模态特征进行调整；
基于经调整的各个单模态特征得到所述多个模态的医学数据的多模态特征；
根据所述多模态特征进行对所述异常细胞转移程度进行预测。
2.根据权利要求1所述的方法，其中所述多个模态至少包括第一模态和第二模态，所述第一模态的医学数据对应于异常细胞的图像数据，所述第二模态的医学数据对应于所述异常细胞所属患者的临床信息数据，
其中所述第一模态的医学数据对应于多种缩放尺度下的异常细胞的图像数据，所述多种缩放尺度中每种缩放尺度下的异常细胞图像包括多张图像。
3. 根据权利要求2所述的方法，其中所述从所述多个模态的医学数据中分别提取每个模态的医学数据的单模态特征包括：
针对第一模态使用第一特征提取网络提取第一模态的特征；和
针对第二模态使用第二特征提取网络提取第二模态的特征。
4.根据权利要求2所述的方法，其中所述多种缩放尺度中每种缩放尺度下的异常细胞图像包括的多张图像是数量不同的多张图像。
5.根据权利要求3所述的方法，其中所述第一特征提取网络包括基于第一数据集进行预先训练的图像特征提取器，所述第二特征提取网络包括基于第二数据集进行预先训练的表格特征提取器。
6.根据权利要求3所述的方法，其中所述通过对所提取的各个单模态特征进行融合而得到所述多个模态的医学数据的跨模态融合特征包括：
针对所述第一模态下所述异常细胞在每种缩放尺度下的多张图像的特征进行加权融合，得到所述异常细胞在每种尺度下的加权融合特征；
对所述第一模态下各个尺度的加权融合特征和所述第二模态的特征进行拼接，得到跨模态融合特征。
7.根据权利要求6所述的方法，其中所述针对所述第一模态下所述异常细胞在每种缩放尺度下的多张图像的特征进行加权融合，得到所述异常细胞在每种尺度下的加权融合特征包括：
针对所述第一模态下所述异常细胞在每种缩放尺度下的多张图像的特征进行平均池化，得到所述异常细胞在每种尺度下的加权融合特征。
8.根据权利要求2所述的方法，其中所述利用所述跨模态融合特征作为全局特征对各个单模态特征进行调整包括：
基于所述跨模态融合特征作为全局特征与所述第一模态下各个尺度的各个图片的特征进行局部-全局信息融合，得到所述第一模态下各个尺度的各个图片的局部-全局信息融合特征；
对所述第一模态下各个尺度的各个图片的局部-全局信息融合特征进行加权平均，得到所述第一模态下各个尺度的经调整特征；以及
基于所述跨模态融合特征作为全局特征对所述第二模态的特征进行调整，得到所述第二模态下的经调整特征。
9.根据权利要求8所述的方法，其中所述基于所述跨模态融合特征作为全局特征对所述第二模态的特征进行调整，得到所述第二模态下的经调整特征包括：
将所述多模态全局特征通过全连接网络进行计算，并使用Sigmoid激活函数获得的缩放系数对所述第二模态的特征进行调整，得到所述第二模态下的经调整特征。
10.根据权利要求8所述的方法，其中所述基于经调整的各个单模态特征得到所述多个模态的医学数据的多模态特征包括：
对所述第一模态下各个尺度的经调整特征和所述第二模态的特征进行拼接，得到所述多个模态的医学数据的多模态特征。
11.根据权利要求1所述的方法，其中所述基于所述多模态融合特征对所述异常细胞转移程度进行分类包括：
将所述多模态融合特征输入分类器，以对所述异常细胞转移程度进行预测；
其中所述分类器预先基于训练集中样本的特征作为输入，所述样本的标签作为监督信号进行训练。
12.根据权利要求1-11中任一项所述的方法，其中所述获取与异常细胞相关的多个模态的医学数据还包括：
确定所述组织切片中的感兴趣区域；
基于所述组织切片中的感兴趣区域通过滑动窗口获取所述感兴趣区域的不同缩放尺度的图像。
13.一种基于医学数据对异常细胞转移程度进行预测的装置，包括：
获取模块，被配置成获取与异常细胞相关的多个模态的医学数据；
单模态特征提取模块，被配置成从所述多个模态的医学数据中分别提取每个模态的医学数据的单模态特征；
跨模态融合模块，被配置成通过对所提取的各个单模态特征进行融合而得到所述多个模态的医学数据的跨模态融合特征；
调整模块，被配置成利用所述跨模态融合特征作为全局特征对各个单模态特征进行调整；
多模态特征模块，被配置成基于经调整的各个单模态特征得到所述多个模态的医学数据的多模态特征；
预测模块，被配置成根据所述多模态特征进行对所述异常细胞转移程度进行预测。
14.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-12中任一项所述的方法的步骤。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1-12中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110239635.7A CN113705595A (zh) | 2021-03-04 | 2021-03-04 | 异常细胞转移程度的预测方法、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110239635.7A CN113705595A (zh) | 2021-03-04 | 2021-03-04 | 异常细胞转移程度的预测方法、装置和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113705595A true CN113705595A (zh) | 2021-11-26 |
Family
ID=78647850
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110239635.7A Pending CN113705595A (zh) | 2021-03-04 | 2021-03-04 | 异常细胞转移程度的预测方法、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113705595A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114926716A (zh) * | 2022-04-08 | 2022-08-19 | 山东师范大学 | 一种学习参与度识别方法、装置、设备及可读存储介质 |
| CN115984622A (zh) * | 2023-01-10 | 2023-04-18 | 深圳大学 | 基于多模态和多示例学习分类方法、预测方法及相关装置 |
| CN118429734A (zh) * | 2024-07-05 | 2024-08-02 | 之江实验室 | 磁共振数据分类系统 |
| CN118429454A (zh) * | 2024-04-10 | 2024-08-02 | 广州中医药大学(广州中医药研究院) | 基于深度学习的动态增强图像合成hbp图像的方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537773A (zh) * | 2018-02-11 | 2018-09-14 | 中国科学院苏州生物医学工程技术研究所 | 针对胰腺癌与胰腺炎性疾病进行智能辅助鉴别的方法 |
| CN109002852A (zh) * | 2018-07-11 | 2018-12-14 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
| CN109117864A (zh) * | 2018-07-13 | 2019-01-01 | 华南理工大学 | 基于异构特征融合的冠心病风险预测方法、模型及系统 |
| CN109978882A (zh) * | 2019-04-09 | 2019-07-05 | 中康龙马(北京)医疗健康科技有限公司 | 一种基于多模态融合的医疗影像目标检测方法 |
| US20200105413A1 (en) * | 2018-09-29 | 2020-04-02 | Roche Molecular Systems, Inc. | Multimodal machine learning based clinical predictor |
| CN111916207A (zh) * | 2020-08-07 | 2020-11-10 | 杭州深睿博联科技有限公司 | 一种基于多模态融合的疾病识别方法及装置 |
-
2021
- 2021-03-04 CN CN202110239635.7A patent/CN113705595A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537773A (zh) * | 2018-02-11 | 2018-09-14 | 中国科学院苏州生物医学工程技术研究所 | 针对胰腺癌与胰腺炎性疾病进行智能辅助鉴别的方法 |
| CN109002852A (zh) * | 2018-07-11 | 2018-12-14 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
| CN109117864A (zh) * | 2018-07-13 | 2019-01-01 | 华南理工大学 | 基于异构特征融合的冠心病风险预测方法、模型及系统 |
| US20200105413A1 (en) * | 2018-09-29 | 2020-04-02 | Roche Molecular Systems, Inc. | Multimodal machine learning based clinical predictor |
| CN109978882A (zh) * | 2019-04-09 | 2019-07-05 | 中康龙马(北京)医疗健康科技有限公司 | 一种基于多模态融合的医疗影像目标检测方法 |
| CN111916207A (zh) * | 2020-08-07 | 2020-11-10 | 杭州深睿博联科技有限公司 | 一种基于多模态融合的疾病识别方法及装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114926716A (zh) * | 2022-04-08 | 2022-08-19 | 山东师范大学 | 一种学习参与度识别方法、装置、设备及可读存储介质 |
| CN115984622A (zh) * | 2023-01-10 | 2023-04-18 | 深圳大学 | 基于多模态和多示例学习分类方法、预测方法及相关装置 |
| CN115984622B (zh) * | 2023-01-10 | 2023-12-29 | 深圳大学 | 基于多模态和多示例学习分类方法、预测方法及相关装置 |
| CN118429454A (zh) * | 2024-04-10 | 2024-08-02 | 广州中医药大学(广州中医药研究院) | 基于深度学习的动态增强图像合成hbp图像的方法及系统 |
| CN118429734A (zh) * | 2024-07-05 | 2024-08-02 | 之江实验室 | 磁共振数据分类系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110599476B (zh) | 基于机器学习的疾病分级方法、装置、设备及介质 | |
| KR101857624B1 (ko) | 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치 | |
| WO2020215984A1 (zh) | 基于深度学习的医学图像检测方法及相关设备 | |
| CN111462036A (zh) | 基于深度学习的病理图像处理方法、模型训练方法及装置 | |
| CN113705595A (zh) | 异常细胞转移程度的预测方法、装置和存储介质 | |
| CN110796199B (zh) | 一种图像处理方法、装置以及电子医疗设备 | |
| Zewdie et al. | Classification of breast cancer types, sub-types and grade from histopathological images using deep learning technique | |
| CN110246109B (zh) | 融合ct影像和个性化信息的分析系统、方法、装置及介质 | |
| US11721023B1 (en) | Distinguishing a disease state from a non-disease state in an image | |
| US20210145389A1 (en) | Standardizing breast density assessments | |
| RU2732895C1 (ru) | Метод для выделения и классификации типов клеток крови с помощью глубоких сверточных нейронных сетей | |
| CN116740435A (zh) | 基于多模态深度学习影像组学的乳腺癌超声图像分类方法 | |
| CN113724185B (zh) | 用于图像分类的模型处理方法、装置及存储介质 | |
| CN114445356A (zh) | 基于多分辨率的全视野病理切片图像肿瘤快速定位方法 | |
| Vinta et al. | Segmentation and Classification of Interstitial Lung Diseases Based on Hybrid Deep Learning Network Model | |
| CN114078137A (zh) | 一种基于深度学习的阴道镜图像筛选方法、装置和电子设备 | |
| CN112801940A (zh) | 模型评测方法、装置、设备及介质 | |
| Roni et al. | Deep convolutional comparison architecture for breast cancer binary classification | |
| CN110853012B (zh) | 获得心脏参数的方法、装置及计算机存储介质 | |
| CN116645326A (zh) | 一种腺细胞检测方法、系统、电子设备及存储介质 | |
| Kalbhor et al. | DeepCerviCancer-deep learning-based cervical image classification using colposcopy and cytology images | |
| Jabbar et al. | Liver fibrosis processing, multiclassification, and diagnosis based on hybrid machine learning approaches | |
| Dubey et al. | Detection of Pemphigus using Machine Learning | |
| Atwan et al. | Ensemble of Deep Features for Breast Cancer Histopathological Image Classification | |
| CN113077440A (zh) | 病理图像的处理方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |