[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN112651960A - 一种图像处理方法、装置、设备及存储介质 - Google Patents

一种图像处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112651960A
CN112651960A CN202011641682.6A CN202011641682A CN112651960A CN 112651960 A CN112651960 A CN 112651960A CN 202011641682 A CN202011641682 A CN 202011641682A CN 112651960 A CN112651960 A CN 112651960A
Authority
CN
China
Prior art keywords
feature
images
classification
image
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011641682.6A
Other languages
English (en)
Other versions
CN112651960B (zh
Inventor
黄静
吴迪嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority to CN202011641682.6A priority Critical patent/CN112651960B/zh
Publication of CN112651960A publication Critical patent/CN112651960A/zh
Application granted granted Critical
Publication of CN112651960B publication Critical patent/CN112651960B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请提供一种图像处理方法、装置、设备及存储介质，该方法包括：获取多个不同期相的待处理图像；基于第一神经网络模型对所述多个不同期相的待处理图像进行征象分类处理，得到所述多个不同期相的待处理图像对应的目标征象分类结果；基于第二神经网络模型对所述多个不同期相的待处理图像进行尺寸回归处理，得到所述多个不同期相的待处理图像对应的目标尺寸回归结果；基于所述目标征象分类结果和所述目标尺寸回归结果，确定所述多个不同期相的待处理图像对应的第一等级分类结果。本申请能够提高第一等级分类结果确定的效率和准确率，并降低了第一等级分类结果确定的成本。

Description

一种图像处理方法、装置、设备及存储介质
技术领域
本申请属于计算机技术领域，具体涉及一种图像处理方法、装置、设备及存储介质。
背景技术
现有技术采用影像报告和数据系统作为感兴趣目标的等级评价标准。比如，采用肝脏影像报告和数据系统(LI-RADS)作为肝癌等级的评价标准，具体过程可以如下：按照LI-RADS评估标准先对各个征象(评估对象包括三大主要征象和超过二十个次要征象)进行评估，得到各个征象的征象评估结果，然后对各个评估对象的征象评估结果进行综合分析，给出最终的LI-RADS评估等级。
然而，使用LI-RADS对肝癌进行评级的流程繁琐，难度较大，且评估结果易受不同医生的主观误差影响，从而限制了将LI-RADS标准应用于临床的可行性。
发明内容
为了解决上述技术问题，本申请提出一种图像处理方法、装置、设备及存储介质。
一方面，本申请提出了一种图像处理方法，该方法包括：
获取多个不同期相的待处理图像；
基于第一神经网络模型对所述多个不同期相的待处理图像进行征象分类处理，得到所述多个不同期相的待处理图像对应的目标征象分类结果；
基于第二神经网络模型对所述多个不同期相的待处理图像进行尺寸回归处理，得到所述多个不同期相的待处理图像对应的目标尺寸回归结果；
基于所述目标征象分类结果和所述目标尺寸回归结果，确定所述多个不同期相的待处理图像对应的第一等级分类结果。
进一步地，所述多个不同期相的待处理图像包括多个第一征象图像，所述第一神经网络模型包括第一征象分类模型，所述目标征象分类结果包括第一征象分类结果，则所述基于第一神经网络模型对所述多个不同期相的待处理图像进行征象分类处理，得到所述多个不同期相的待处理图像对应的目标征象分类结果，包括：
基于所述第一征象分类模型中的第一特征提取层，对所述多个第一征象图像进行特征提取，得到所述多个第一征象图像各自对应的特征提取结果；
基于所述第一征象分类模型中的第一全连接层，对所述多个第一征象图像各自对应的特征提取结果进行融合，得到所述多个第一征象图像对应的特征融合结果；
基于所述第一征象分类模型对所述特征融合结果进行处理，得到所述多个第一征象图像对应的所述第一征象分类结果。
进一步地，所述多个不同期相的待处理图像包括多个第二征象图像，所述第一神经网络模型包括第二征象分类模型，所述目标征象分类结果包括第二征象分类结果，则所述基于第一神经网络模型对所述多个不同期相的待处理图像进行征象分类处理，得到所述多个不同期相的待处理图像对应的目标征象分类结果，包括：
基于所述第二征象分类模型中的第二特征提取层，对所述多个第二征象图像进行特征提取，得到所述多个第二征象图像各自对应的特征提取结果；
基于所述第二征象分类模型中的第二全连接层，对所述多个第二征象图像各自对应的特征提取结果进行处理，得到所述多个第二征象图像各自对应的征象分类结果；
基于所述第二征象分类模型对所述多个第二征象图像各自对应的征象分类结果进行处理，得到所述多个第二征象图像对应的所述第二征象分类结果。
进一步地，所述多个不同期相的待处理图像包括目标图像，则在所述基于第二神经网络模型对所述多个不同期相的待处理图像进行尺寸回归处理，得到所述多个不同期相的待处理图像对应的目标尺寸回归结果之前，所述方法还包括：
基于第三神经网络模型对所述目标图像进行分割处理，得到所述目标图像对应的分割结果。
进一步地，所述基于第二神经网络模型对所述多个不同期相的待处理图像进行尺寸回归处理，得到所述多个不同期相的待处理图像对应的目标尺寸回归结果，包括：
基于所述第二神经网络模型中的第三特征提取层对所述分割结果进行特征提取，得到所述目标图像对应的特征提取结果；
基于所述第二神经网络模型中的第三全连接层，对所述目标图像对应的特征提取结果进行融合处理，得到所述目标图像对应的尺寸回归结果；
将所述目标图像对应的尺寸回归结果作为所述目标尺寸回归结果。
进一步地，在所述基于所述目标征象分类结果和所述目标尺寸回归结果，确定所述多个不同期相的待处理图像对应的第一等级分类结果之后，所述方法还包括：
获取所述第一征象分类结果对应的第一特征向量、所述第二征象分类结果对应的第二特征向量和所述目标尺寸回归结果对应的第三特征向量；所述第一特征向量为输入所述第一全连接层的特征向量，所述第二特征向量为输入所述第二全连接层的特征向量，所述第三特征向量为输入所述第三全连接层的特征向量；
基于第四神经网络模型对所述第一特征向量、所述二特征向量和所述第三特征向量进行融合处理，得到第二等级分类结果。
进一步地，所述基于所述第四神经网络模型对所述第一特征向量、所述二特征向量和所述第三特征向量进行融合处理，得到第二等级分类结果，包括：
基于所述第四神经网络模型中的第四全连接层和第一非线性激活层对所述第一特征向量进行处理，得到第一非线性映射结果；
基于所述第四神经网络模型中的第五全连接层和第二非线性激活层对所述第二特征向量进行处理，得到第二非线性映射结果；
基于所述第四神经网络模型中的第六全连接层和第三非线性激活层对所述第三特征向量进行处理，得到第三非线性映射结果；
基于所述第四神经网络模型中的第七全连接层，对所述第一非线性映射结果、所述第二非线性映射结果和所述第三非线性映射结果进行融合处理，得到所述第二等级分类结果。
另一方面，本申请提出了一种图像处理装置，所述装置包括：
获取模块，用于获取多个不同期相的待处理图像；
分类模块，用于基于第一神经网络模型对所述多个不同期相的待处理图像进行征象分类处理，得到所述多个不同期相的待处理图像对应的目标征象分类结果；
回归模块，用于基于第二神经网络模型对所述多个不同期相的待处理图像进行尺寸回归处理，得到所述多个不同期相的待处理图像对应的目标尺寸回归结果；
融合模块，用于基于所述目标征象分类结果和所述目标尺寸回归结果，确定所述多个不同期相的待处理图像对应的第一等级分类结果。
另一方面，本申请提出了一种图像处理设备，所述图像处理设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述所述的图像处理方法。
另一方面，本申请提出了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述所述的图像处理方法。
本申请实施例提出的图像处理方法、装置、设备及存储介质，首先获取多个不同期相的待处理图像，基于第一神经网络模型对所述多个不同期相的待处理图像进行征象分类处理，得到该多个不同期相的待处理图像对应的目标征象分类结果，并基于第二神经网络模型对该多个不同期相的待处理图像进行尺寸回归处理，得到该多个不同期相的待处理图像对应的目标尺寸回归结果，然后根据目标征象分类结果和目标尺寸回归结果，确定该多个不同期相的待处理图像对应的第一等级分类结果(即初步的分类结果)。一方面，由于本申请实施例基于第一神经网络模型对不同期相的待处理图像进行征象分类，能够提高征象分类的效率和准确率。另一方面，由于本申请实施例基于第二神经网络对不同期相的待处理图像进行尺寸计算，能够避免基于人工干预对尺寸进行计算所带来的尺寸计算误差较大、耗时较长和成本较高等问题，提高尺寸计算的效率和准确率，同时降低尺寸计算的成本。本申请实施例通过上述两个方面，有效提高了第一等级分类结果确定的效率和准确率，并降低了第一等级分类结果确定的成本。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本申请实施例提供的一种图像处理方法的流程示意图。
图2是申请实施例提供的基于第一神经网络模型对所述多个不同期相的待处理图像进行征象分类处理，得到所述多个不同期相的待处理图像对应的目标征象分类结果的一种流程示意图。
图3是本申请实施例提供的第一征象分类模型的一种结构示意图。
图4是本申请实施例提供的基于第一神经网络模型对所述多个不同期相的待处理图像进行征象分类处理，得到所述多个不同期相的待处理图像对应的目标征象分类结果的另一种流程示意图。
图5是本申请实施例提供的第二征象分类模型的一种结构示意图。
图6是本申请实施例提供的一种第二神经网络模型的结构示意图。
图7是本申请实施例提供的另一种图像处理方法的流程示意图。
图8是本申请实施例提供的一种第三神经网络的结构示意图。
图9是本申请实施例提供的确定第二等级分类结果的一种流程示意图。
图10是本申请实施例提供的基于第四神经网络模型对所述第一特征向量、所述二特征向量和所述第三特征向量进行融合处理，得到第二等级分类结果的一种流程示意图。
图11是本申请实施例提供的一种多特征融合的LI-RADS等级评估模型的结构示意图。
图12是本申请实施例提供的一种图像处理装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
图1是本申请实施例提供的一种图像处理方法的流程示意图，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图1所示，该方法可以包括：
S101.获取多个不同期相的待处理图像。
本申请实施例中的“待处理图像”可以为与目标对象中的感兴趣目标对应的图像，该目标对象可以为人体的各个部位，包括但不限于肝脏、心脏、血管、肺、胃、肾等。该感兴趣目标可以为包括但不限于肿瘤、病灶、出血点等。
本申请实施例中的多个不同期相的待处理图像可以为多期相增强电子计算机扫描断层(Computed Tomography，CT)和/或增强核磁共振影像(Magnetic ResonanceImaging，MRI)图像。
其中，“不同期相”是根据成像过程中是否注射造影剂以及注射的造影剂所在的位置来区分的。
以目标对象为肝脏，感兴趣目标为肝肿瘤为例，则“不同期相的待处理图像”可以包括：
平扫期的肝肿瘤图像：普通扫描，即不注射造影剂的肝脏影像。
动脉期的肝肿瘤图像：注射造影剂，且造影剂在肝动脉时的肝脏影像。
静脉期的肝肿瘤图像：注射造影剂，且造影剂在门静脉内时的肝脏影像。
延迟期的肝肿瘤图像：造影剂流出肝脏血管之后的肝脏影像。
S103.基于第一神经网络模型对所述多个不同期相的待处理图像进行征象分类处理，得到所述多个不同期相的待处理图像对应的目标征象分类结果。
本申请实施例中，可以基于第一神经网络模型对多个不同期相的待处理图像进行征象分类，从而得到目标征象分类结果。
该实施例中的第一神经网络模型包括但不限于卷积神经网络(ConvolutionalNeural Networks，CNN)、循环神经网络(Recurrent Neural Network，RNN)。
在一些实施例中，可以根据已有的评分标准(比如，LI-RADS等级)，对不同征象的分类采取特定的方法。即将已有的评分标准(比如，LI-RADS评分标准)作为先验知识，提取征象分类所需要的特征，根据所提取的特征进行征象分类，从而避免将不同期相的图像作为不同的输入通道直接输入神经网络模型所带来的在数据量有限的情况下，很难保证网络学习到影像的有效特征，且容易造成过拟合的问题。
例如，该目标对象对应的目标征象包括多个征象(征象1、征象2、征象3)，由于不同征象的判断所依赖的影相期相不同，则可以根据已有的评分标准，确定各个征象所依赖的影相期相(征象1依赖于期相A和期相B、征象2依赖于期相A和期相C、征象3依赖于期相B和期相C)，然后提取期相A和期相B中的特征以对征象1进行分类，提取期相A和期相C中的特征以对征象2进行分类、提取期相B和期相C中的特征以对征象3进行分类。
在一些实施例中，若根据已有的评分标准确定该目标对象对应的目标征象包括第一征象，且该第一征象的确定依赖于与所述多个不同期相的待处理图像所包括的多个第一征象图像，则第一神经网络模型可以包括第一征象分类模型，该目标征象分类结果可以包括第一征象分类结果，可以基于第一征象分类模型确定该第一征象分类结果。具体地，如图2所示，该S103可以包括：
S103101.基于所述第一征象分类模型中的第一特征提取层，对所述多个第一征象图像进行特征提取，得到所述多个第一征象图像各自对应的特征提取结果。
S103103.基于所述第一征象分类模型中的第一全连接层，对所述多个第一征象图像各自对应的特征提取结果进行融合，得到所述多个第一征象图像对应的特征融合结果。
S103105.基于所述第一征象分类模型对所述特征融合结果进行处理，得到所述多个第一征象图像对应的所述第一征象分类结果。
该实施例中，该第一征象分类模型的一种结构示意图可以如图3所示。如图3所示，该第一征象分类模型基于残差网络(RES-Net，RES)所搭建，其可以包括若干个独立的子网络和一个共享网络，每个独立的子网络均可以包括一个输入层、两个下采样模块(DownBlock)，共享网络包含两个DownBlock，一个全局池化层(GAP)，一个全连接层(FC)，一个分类层(Softmax)。其中，DownBlock可以包含卷积层(Conv)、批量标准化层(BatchNormalization，BN)，非线性激活层(RELU层)、最大池化层(Maxmum pooling，MP)以及RES。该RES带有瓶颈层(Bottleneck Layer，BL)结构，其能够在加深神经网络的层数以便充分的提取感兴趣目标(比如，肝肿瘤)的特征，同时还可以保证模型较高的训练效率。
该若干个独立的子网络相当于S103101中的第一特征提取层，其分别负责不同期相图像的特征提取。该第一特征提取层所提取的特征提取结果包括但不限于灰度的对比度，纹理等征象判断相关的特征，同时还可以耦合感兴趣目标的形状、大小等信息，该第一特征提取层所提取的特征提取结果主要用于征象的阴阳性分类。继续如图3所示，由于该独立的子网络中的DownBlock中包含多个pooling层，该多个pooling可以从一定程度上缓解不同期相间感兴趣目标位置(比如，肝肿瘤)的位置不对应的情况。
需要说明的是，该独立的子网络的数量大于或都等于该第一征象图像的数量。
S103103中的第一全连接层位于该共享网络中，其可以将各期相间的特征(即多个第一征象图像各自对应的特征提取结果)融合，并使用融合后的特征来决定征象的类别，从而提升分类模型的性能，进而提高征象分类的准确率。
该实施例中，通过该第一征象分类模型可以输出该第一征象为阳性或阴性的结果，即该第一征象分类结果可以为该第一征象为阳性或阴性的结果。
该实施例中，针对不同期相的待处理图像间各自的差异和联系，依据已有的评分标准(比如，LI-RADS评分标准)，设计了该第一征象分类模型，该第一征象分类模型使不同的期相既保持各自的特征提取子网络，又共享一部分特征分类子网络，从而使不同期相间在独立地提取各自特征时又可以互相参考彼此的特征，进而提高征象分类的准确率。
在一些实施例中，若根据已有的评分标准确定该目标对象对应的征象包括第二征象，且该第二征象的确定依赖于与所述多个不同期相的待处理图像所包括的多个第二征象图像，则第一神经网络模型可以包括第二征象分类模型，该目标征象分类结果可以包括第二征象分类结果，可以基于第二征象分类模型确定该第二征象分类结果。具体地，如图4所示，该S103可以包括：
S103301.基于所述第二征象分类模型中的第二特征提取层，对所述多个第二征象图像进行特征提取，得到所述多个第二征象图像各自对应的特征提取结果。
S103303.基于所述第二征象分类模型中的第二全连接层，对所述多个第二征象图像各自对应的特征提取结果进行处理，得到所述多个第二征象图像各自对应的征象分类结果。
S103305.基于所述第二征象分类模型对所述多个第二征象图像各自对应的征象分类结果进行处理，得到所述多个第二征象图像对应的所述第二征象分类结果。
该实施例中，该第二征象分类模型的一种结构示意图可以如图5所示。如图5所示，该第二征象分类模型基于残差网络(RES-Net)所搭建，其可以为包括一个特征提取层和一个特征融合层的单分支网络。该一个特征提取层可以包括一个输入层、两个DownBlock。该一个特征融合层可以包含两个DownBlock，一个GAP，一个FC，一个Softmax层。其中，DownBlock可以包含Conv、BN，RELU层、最Maxpooling层以及RES。该RES带有Bottleneck结构，其能够在加深神经网络的层数以便充分的提取感兴趣目标位置(比如，肝肿瘤)特征，同时还可以保证模型较高的训练效率。
该一个特征提取层相当于S103301中的第二特征提取层，该第二特征提取层所提取的特征提取结果包括但不限于灰度的对比度，纹理等征象判断相关的特征，其更偏向于灰度梯度特征，该第一特征提取层所提取的特征提取结果主要用于征象的阴阳性分类。继续如图5所示，由于该第二特征提取层中的DownBlock中包含多个pooling层，该多个pooling可以从一定程度上缓解不同期相间感兴趣目标位置(比如，肝肿瘤)不对应的情况。
该S103303中的第二全连接层即为图5中的特征融合层中FC，对于每个第二征象图像，其可以将第二特征提取层所提取的特征(即多个第二征象图像各自对应的特征提取结果)融合，并使用融合后的特征来决定每个第二征象图像的类别。
该实施例中，通过该第二征象分类模型可以输出该第二征象为阳性或阴性的结果，即该第二征象分类结果可以为该第第二征象为阳性或阴性的结果。
需要说明的是，针对每个第二征象图像可以输出每个第二征象图像各自对应的征象分类结果进行处理，并可以在S103305中，对每个第二征象图像各自对应的征象分类结果取“或”的关系，从而得到最终的第二征象分类结果。
综上所述，针对不同征象所依赖期相间的关系存在差异，本申请实施例在设计特征提取模块时，针对不同的征象所设计的特征提取子网络有所不同，这样可以保证网络在提取特征时是严格按照已有评分标准(比如，LI-RADS评分标准)，提取的特征更有效可靠，从而提高征象分类的准确率。
以下，以目标对象为肝脏，感兴趣目标为肝肿瘤为例，对S103101-S103105、S103301-S103305进行说明。
根据LI-RADS评分标准，确定肝肿瘤可以包括三大主要征象：非环形动脉期增强征象(APHE)、非周边廓清征象(washout)以及强化包膜征象(capsule)。该三大征象的评估依赖于平扫期图像、动脉期图像、静脉期图像和延迟期图像。具体地，该APHE的评估依赖于平扫期和动脉期的肿瘤图像，washout的评估依赖于动脉期和静脉期的肿瘤图像，capsule的评估依赖于静脉期和延迟期的肿瘤图像。
针对APHE征象和washout征象，可以采用S103101-S103105对其进行评估：
APHE的评估需要依赖于平扫期和动脉期两个期相的肿瘤图像，若平扫期肿瘤为高信号，动脉期肿瘤为低信号，则判断APHE为阳性。采用S103101-S103105对APHE进行评估的过程可以如下：
如S103101所述，将平扫期的肝肿瘤图像输入图3中的其中一个子网络，将动脉期的肝肿瘤图像输入图3中的另一个子网络，通过相应的子网络分别对平扫期的肝肿瘤图像和动脉期的肝肿瘤图像进行特征提取，得到平扫期的肝肿瘤图像和动脉期的肝肿瘤图像各自对应的特征提取结果(主要可以提取灰度的对比度，纹理等征象判断相关的特征，还可以耦合着肝肿瘤形状，大小等信息)。接着如S103103所述，通过图3中的第一全连接层对平扫期的肝肿瘤图像和动脉期的肝肿瘤图像各自对应的特征提取结果进行融合，得到特征融合结果。最后如S103105所述，根据该特征融合结果确定APHE的阴阳性评估结果。
以该第一征象分类模型用于评估APHE为例，介绍该第一征象分类模型的训练过程：
1.数据预处理
选取样本平扫期的肝肿瘤图像和样本动脉期的肝肿瘤图像，首先基于预设肝肿瘤回归边框(boundingbox，bbox)，选取四个期相(平扫期、动脉期、静脉期、延迟期)bbox中最大的X、Y、Z方向的物理尺寸(size)，作为样本平扫期的肝肿瘤图像和样本动脉期的肝肿瘤图像共同的bbox的size。接着以样本平扫期的肝肿瘤图像和样本动脉期的肝肿瘤图像各自原始的bbox的中心，共同的size去裁剪(crop)出相应的感兴趣(ROI)区域。同时将样本平扫期的肝肿瘤图像和样本动脉期的肝肿瘤图像分别做归一化，由于APHE分类网络的输入图像之间要做灰度的对比，因此样本平扫期的肝肿瘤图像和样本动脉期的肝肿瘤图像可以使用相同的窗宽窗位(由四个期相图像所有像素的信号值的均值和方差计算得到)进行归一化，最终使每个图像像素归一化到预设范围(比如，-1～1之间)。然后分别将crop出的ROI重采样到预设大小(48*48*48的像素大小)。最后将图像作旋转、平移、缩放等增强处理。
2.网络训练过程
将数据预处理后的样本平扫期的肝肿瘤图像和样本动脉期的肝肿瘤图像，送入网络进行前向传播(每个分支输入一个期相的图像)，输出即为肝肿瘤预测为阳性和阴性的概率。接着以征象阴阳性金标准计算分类损失函数，之后将此损失进行反向传播，进行神经网络权重的更新，从而得到该第一征象分类模型。
其中，该损失函数选用Focal Loss损失函数，具体公式可以如下：
FL(pt)＝-αt(1-pt)γlog(pt)，
其中，pt为神经网络预测t类别样本属于真实标签的概率值，在本申请实施例中，t有两种，即阴性和阳性类别。αt∈[0，1]，是一个平衡正负样本的参数。γ∈[1，5]，是一个平衡难易样本的参数。
washout的评估依赖于动脉期和静脉期两个期相，判断washout的阴阳性评估同样需要综合对比这两个期相的信号情况。washout的阴阳性评估与APHE类似，即可以使用上述第一征象分类模型对washou进行评估，在此不再赘述。
针对capsule征象，可以采用S103301-S103305对其进行评估：
capsule的评估依赖静脉期和延迟期两个期相，这两个期相可以独立的判断肝肿瘤capsule的阴阳性，当任意一个期相有阳性征象，则最终的诊断结果为阳性，若两个期相均为阴性则最终的诊断结果为阴性。因此，两个期相对于最终的诊断结果是等效的。
采用S103301-S103305对capsule进行评估的过程可以如下：
如S103301所述，可以使用图5中的第二特征提取层，分别对静脉期和延迟期的肝肿瘤图像进行特征提取(主要提取判断capsule征象的环形增强特征，本质上也是与灰度梯度，纹理相关的特征，更偏向于灰度梯度特征)，得到静脉期和延迟期的肝肿瘤图像各自对应的特征提取。接着如S103303所述，使用图5中的第二全连接层，对静脉期和延迟期的肝肿瘤图像各自对应的特征提取结果进行处理，得到静脉期和延迟期的肝肿瘤图像各自对应的capsule征象分类结果。最后如S103305所述，根据静脉期和延迟期的肝肿瘤图像各自对应的capsule征象分类结果，确定该第二征象分类结果。
假设静脉期相的肝肿瘤图像对应的capsule征象分类结果和延迟期相的肝肿瘤图像对应的capsule征象分类结果，其中一个为阳性，则该第二征象分类结果为阳性，若二者均为阴性，则该第二征象分类结果为阴性。
以该第二征象分类模型用于评估capsule为例，介绍该第二征象分类模型的训练过程：
1.数据预处理
选取样本静脉期的肝肿瘤图像和样本延迟期的肝肿瘤图像，首先基于预设的bbox，选取四个期相(平扫期、动脉期、静脉期、延迟期)bbox中最大的X、Y、Z方向的物理尺寸(size)，作为样本静脉期的肝肿瘤图像和样本延迟期的肝肿瘤图像共同的bbox的size。接着以样本静脉期的肝肿瘤图像和样本延迟期的肝肿瘤图像各自原始的bbox的中心，共同的size去裁剪(crop)出相应的ROI区域。同时将样本静脉期的肝肿瘤图像和样本延迟期的肝肿瘤图像分别做归一化，由于样本静脉期的肝肿瘤图像和样本延迟期的肝肿瘤图像相对独立，二者对于判断最终的阴阳性有等价的关系，所以对于样本静脉期的肝肿瘤图像和样本延迟期的肝肿瘤图像，使用各自图像的窗宽窗位进行归一化，最终使每个图像像素归一化到预设范围(比如，-1～1之间)。然后分别将crop出的ROI重采样到预设大小(48*48*48的像素大小)。最后将图像作旋转、平移、缩放等增强处理。
2.网络训练过程
将数据预处理后的样本静脉期的肝肿瘤图像和样本延迟期的肝肿瘤图像，送入网络进行前向传播，输出即为网络针对每个期相的图像预测为阳性和阴性的概率。接着以capsule征象阴阳性金标准计算分类损失函数，之后将此损失进行反向传播，进行神经网络权重的更新，从而得到该第一征象分类模型。
其中，该损失函数的计算公式可以如下：
FL(p1)＝-a1(pV0pD0)ylog(1-pV0pD0)，
FL(p0)＝-α0(1-pV0pD0)γlog(pV0pD0)，
其中，p1、p0分别表示该capsule征象最终为阳性和阴性的概率，pV0、pD0分别表示capsule从静脉期和延迟期上表现为阴性的概率，α1和α0是平衡正负样本的参数，γ∈[1，5]，是一个平衡难易样本的参数。
S105.基于第二神经网络模型对所述多个不同期相的待处理图像进行尺寸回归处理，得到所述多个不同期相的待处理图像对应的目标尺寸回归结果。
在感兴趣目标(比如，肝肿瘤)的等级评估过程中，感兴趣目标的尺寸也是一个必不可少的征象之一。为了避免人工测量感兴趣目标的尺寸所带来的费时费力、人为误差较大等问题，本申请实施例可以基于第二神经网络模型对感兴趣目标的尺寸进行自动计算，从而节约感兴趣目标的尺寸计算的时间和成本，提高感兴趣目标尺寸计算的准确率。
该感兴趣目标的尺寸包括但不限于：感兴趣目标的直径、长、宽、高等。
本申请实施例中的第二神经网络模型包括但不限于卷积神经网络(Convolutional Neural Networks，CNN)、循环神经网络(Recurrent Neural Network，RNN)。
图6所示为本申请实施例提供的一种第二神经网络模型的结构示意图，如图6所述，该第二神经网络可以为类似分类网络(LE-NET)的二维回归模型，其可以包括三个二维Conv/BN/RELU模块，一个GAP层和一个FC层。
在一些实施例中，所述多个不同期相的待处理图像包括目标图像，则在S105之前，如图7所示，该方法还可以包括：
S104.基于第三神经网络模型对所述目标图像进行分割处理，得到所述目标图像对应的分割结果。
相应地，如图7所示，该S105可以包括：
S10501.基于所述第二神经网络模型中的第三特征提取层对所述分割结果进行特征提取，得到所述目标图像对应的特征提取结果。
S10503.基于所述第二神经网络模型中的第三全连接层，对所述目标图像对应的特征提取结果进行融合处理，得到所述目标图像对应的尺寸回归结果。
S10505.将所述目标图像对应的尺寸回归结果作为所述目标尺寸回归结果。
该实施例中，为了提高目标尺寸回归结果确定的准确率，进而提高后续第一等级分类结果和第二等级分类结果确定的准确率，可以从多个不同期相的待处理图像中选取轮廓分明的目标图像，并如S104所述，在将该目标图像输入该第二神经网络模型之前，预先基于第三神经网络模型对该目标图像进行分割处理，得到分割结果。
该实施例中的第三神经网络包括但不限于卷积神经网络(Convolutional NeuralNetworks，CNN)、循环神经网络(Recurrent Neural Network，RNN)。
图8所示为该实施例提供的一种第三神经网络的结构示意图。如图8所示，该第三神经网络可以采用带有BL的U字型三维分割网络(U-Net)为基础网络架构，其可以包括四个下采样模块和四个上采样模块，四个下采样模块和四个上采样模块中又嵌入了多个BL子模块，该四个下采样模块可实现肿瘤影像的编码功能，该四个上采样模块实现肿瘤影像的解码功能。嵌入的多个BL子模块一方面可以加深神经网络的层数以便更充分的提取感兴趣目标的特征(主要提取感兴趣目标的形状大小等特征，同时也耦合着如灰度纹理等特征)，与此同时也可以保证模型较高的训练效率。需要说明的是，图8仅仅是一种示意图，其并未示出所有的下采样模块和下采样模块。
该实施例中的分割结果可以为一个三维概率图(prob_map)。在得到该prob_map之后，如S10501所述，可以基于第二神经网络模型中的第三特征提取层(即图6中的三个二维Conv/BN/RELU模块)对该prob_map进行特征提取，得到该目标图像对应的特征提取结果。接着如S10503-S10505所述，基于图6中的第三全连接层，对该特征提取结果进行融合处理，得到目标尺寸回归结果。
在一个可行的实施例中，可以将Prob_map逐层的输入第二神经网络模型(沿着图像的Z轴方向，把每个XY平面取出来送入到二维网络去回归)，每层图像都会独立的经过网络进行前向传播，得到相应的感兴趣目标的尺寸，将所有层面回归出的尺寸的最大值作为该目标尺寸回归结果。
该实施例中的第二神经网络模型所输出的结果可以为后续的模型提供直径、形状等信息，从而提高后续第二等级分类结果确定的准确率。
以下，以目标对象为肝脏，感兴趣目标为肝肿瘤，尺寸为直径为例，对S104、S10501-S10505进行说明。
由于延迟期的肿瘤图像轮廓分明，因此可以选取延迟期的肝肿瘤图像计算肝肿瘤直径，从而提高肿瘤直径计算的准确率。
使用图8中的第三神经网络对该延迟期的肝肿瘤图像进行分割，得到该延迟期的肝肿瘤图像的prob_map，将该prob_map逐层的输入图6中的第二神经网络模型(沿着图像的Z轴方向，把每个XY平面取出来送入到第二神经网络模型去回归)，每层图像都会独立的经过网络进行前向传播，得到相应的肝肿瘤直径，将所有层面回归出的直径的最大值作为肝肿瘤直径。
以对延迟期的肝肿瘤图像进行分割为例，介绍该第三神经网络的训练过程：
1.数据预处理
选取样本延迟期的肝肿瘤图像，基于预设的bbox，选取四个期相(平扫期、动脉期、静脉期、延迟期)bbox中最大的X、Y、Z方向的物理尺寸(size)，作为样本延迟期的肝肿瘤图像的bbox的size。接着以样本延迟期的肝肿瘤图像原始的bbox的中心，以bbox的size去裁剪(crop)出相应的的ROI区域，同时对样本延迟期的肝肿瘤图像自适应的做归一化，将像素归一化到预设范围(比如，-1～1之间)。然后将crop出的ROI重采样到预设大小(48*48*48的像素大小)。最后将图像作旋转、平移、缩放等增强处理。
2.网络训练过程
将数据预处理后的样本延迟期的肝肿瘤图像送入网络进行前向传播，输出两个跟原图一样大小的概率图，一个表示预测为前景(即肿瘤区域)的概率图，另一个表示预测为背景(非肿瘤区域)的概率图。接着以延迟期相的金标准计算分割的损失系数。之后将此损失进行反向传播，进行神经网络权重的更新，从而得到该第三征象分类模型。
以对延迟期的肝肿瘤图像进行肝肿瘤直径计算为例，介绍该第二神经网络的训练过程：
1.数据预处理
选取样本延迟期的肝肿瘤图像，基于预设的bbox，选取四个期相(平扫期、动脉期、静脉期、延迟期)bbox中最大的X、Y、Z方向的物理尺寸(size)，作为样本延迟期的肝肿瘤图像的bbox的size。接着以样本延迟期原始的bbox的中心，以bbox的size去裁剪(crop)出延迟期的ROI区域，同时对样本延迟期的肝肿瘤图像自适应的做归一化，将像素归一化到预设范围(比如，-1～1之间)。然后将crop出的ROI重采样到预设大小(48*48*48的像素大小)。最后将图像作旋转、平移、缩放等增强处理。
2.网络训练过程
先将预处理完的图像送入到分割网络(第三神经网络模型)去做分割，此时分割网络设置成evaluation模式(该evaluation模式分割网络的参数不再更新的模式)。基于分割网络对样本延迟期的肝肿瘤图像的分割结果，以Z轴为参考，将每个XY平面上的概率图送入回归网络去前向传播得到一个回归结果，最终取所有XY平面回归结果中的最大值作为该肿瘤的直径，将此直径与标注的肿瘤直径金标准去计算损失系数。之后将此损失进行反向传播，进行神经网络权重的更新，从而得到该第二神经网络模型。
S107.基于所述目标征象分类结果和所述目标尺寸回归结果，确定所述多个不同期相的待处理图像对应的第一等级分类结果。
本发明实施例中，若该感兴趣目标对应的征象较多(比如，肝肿瘤不仅包括APHE、washout、capsule这三大主要征象，还包括超过二十个次要征象)，则该第一等级分类结果可以为初步的等级分类结果(比如，初步的LI-RADS等级分类结果)。
在一些实施例中，可以根据该目标征象分类结果和所述目标尺寸回归结果，直接映射出该第一等级分类结果。
在另一些实施例中，为了提高等级分类结果确定的准确率，还可以将上述几个模型(第一征象分类模型、第二征象分类模型、第二神经网络模型)所提取出的特征进行融合，从而确定第二等级分类结果(即最终的等级分类结果，比如最终的LI-RADS等级分类结果)。相应地，如图9所示，在S107之后，该方法还可以包括：S109.确定第二等级分类结果。相应地，该确定第二等级分类结果可以包括：
S10901.获取所述第一征象分类结果对应的第一特征向量、所述第二征象分类结果对应的第二特征向量和所述目标尺寸回归结果对应的第三特征向量；所述第一特征向量为输入所述第一全连接层的特征向量，所述第二特征向量为输入所述第二全连接层的特征向量，所述第三特征向量为输入所述第三全连接层的特征向量。
S10903.基于第四神经网络模型对所述第一特征向量、所述二特征向量和所述第三特征向量进行融合处理，得到第二等级分类结果。
该实施例中，如图10所示，该S10903可以包括：
S109031.基于所述第四神经网络模型中的第四全连接层和第一非线性激活层对所述第一特征向量进行处理，得到第一非线性映射结果。
S109033.基于所述第四神经网络模型中的第五全连接层和第二非线性激活层对所述第二特征向量进行处理，得到第二非线性映射结果。
S109035.基于所述第四神经网络模型中的第六全连接层和第三非线性激活层对所述第三特征向量进行处理，得到第三非线性映射结果。
S109037.基于所述第四神经网络模型中的第七全连接层，对所述第一非线性映射结果、所述第二非线性映射结果和所述第三非线性映射结果进行融合处理，得到所述第二等级分类结果。
该实施例中，如S10901所述，可以分别抽取第一征象分类模型、第二征象分类模型、第二神经网络模型中相应的全连接层之前的特征向量。并如S10903所述，基于第四神经网络模型对该全连接层之前的特征向量进行融合，得到所述第二等级分类结果。由于全连接层中的特征经过对图像的多层卷积和浅层特征之间的融合，同时全连接中的特征经过简单的线性回归便可以得到最终的分类或回归结果，它是最能代表判断某个征象阴阳性的特征。因此，对各个模型输入全连接层的特征向量进行融合，能够提高第二等级分类结果的准确率。
该第四神经网络模型可以包括若干个FC/RELU层(即第四全连接层和第一非线性激活层、第五全连接层和第二非线性激活层、第六全连接层和第三非线性激活层)和一个FC层(即第七全连接层)，该FC/RELU层数量可以大于或等于第一征象分类模型、第二征象分类模型和第二神经网络模型的数量之和。而引入多个非线性RELU层，是因为考虑到LI-RADS的所有征象与最终的等级映射是一个非线性关系。相应地，如S109031-S109037所述，可以通过该第四神经网络模型中的各个FC/RELU层分别对不同连接层之前的特征向量进行处理，接着通过该第七全连接层对各个特征向量得到处理结果进行融合，得到所述第二等级分类结果。
相对直接将多个征象分类结果或直径回归结果映射成第一等级分类结果，通过第四神经网络模型对特征进行融合的好处在于：将多个特征进行融合在保留主要特征的同时，网络会学到一些其它有用的特征，并自动学习到各个征象的权重；且特征融合的方式减少了针对不同征象人为选取分类阈值的过程，减少人为误差。
以下，以目标对象为肝脏，感兴趣目标为肝肿瘤为例，对S10901-S10903、S109031-S109037进行说明。
图11所示为本申请实施例提供的一种多特征融合的LI-RADS等级评估模型的结构示意图。S10901所示，可以获取输入第一全连接层的第一特征向量(包括评估APHE的第一征象分类型中输入第一全连接层的特征向量和评估washout的第一征象分类型中输入第一全连接层的特征向量)、输入所述第二全连接层的第二特征向量和输入第三全连接层的第三特征向量。接着如S109031-S109037所述，可以通过该第四神经网络模型中的各个FC/RELU层分别对第一特征向量、第二特征向量和第三特征向量进行处理，接着通过该第七全连接层对各个特征向量得到处理结果进行融合，得到所述第二等级分类结果。该第二等级分类结果可以包括七个等级：肯定为良性(LR-1)、可能为良性(LR-2)、无法确定良恶性(LR-3)、可能为恶性(LR-4)、肯定为恶性(LR-5)、肯定为静脉内癌栓(LR-TIV)、可能或肯定为恶性，但不具肝细胞癌的特征(LR-M)。
以对肝肿瘤进行等级分类为例，介绍该第四神经网络模型的训练过程：
1.数据预处理
选取样本平扫期的肝肿瘤图像、样本动脉期的肝肿瘤图像、样本静脉期的肝肿瘤图像、样本延迟期的肝肿瘤图像。基于预设的bbox，选取四个期相bbox中最大的X、Y、Z方向的物理尺寸size，作为四个期相共同的bbox的size。接着以各自期相原始的bbox的中心，共同的size去裁剪(crop)出各个期相的ROI区域。接着将各个期相图像做两种归一化：一组归一化按照相同的窗宽窗位(由四个期相图像所有像素的信号值的均值和方差计算得到)将像素归一化到预设范围(比如，-1～1之间)，另一组归一化按照各个期相的窗宽窗位将像素归一化到预设范围(比如，-1～1之间)。然后将crop出的ROI重采样到(48*48*48的像素大小)。最后将图像作旋转、平移、缩放等增强处理。
2.网络训练过程
分别将分割网络(即第三神经网络模型)，二维回归网络(即第二神经网络模型)，三个征象分类网络(即第一征象分类模型和第二征象分类模型)设置成evaluation模式，即固定上述神经网络的权重。接着按照前述各个模型训练时的输入方式(前面已经介绍训练各个模型过程中图像的预处理方式和输入方式，在此不再赘述)，根据需要自动选择相应期相的相应归一化后的图像，输入到每个子网络中进行前向传播。然后抽取各个子网络FC层的输入，分别输入到对应的FC/RELU层，接着将通过RELU层的特征(feature)以通道的形式作拼接(concat)，再经过一个FC层得到最终的LI-RADS等级。最后根据肿瘤的LI-RADS等级的金标准计算损失系数，并将此损失进行反向传播，进行神经网络权重的更新，从而得到该第四神经网络模型。
如上所述，本申请实施例将不同期相下的三维增强CT/MR的肝肿瘤影像图像依次三大主要征象的分类和直径预测，然后分别提取直径回归模型与分类模型的特征作为第四神经网络模型的输入，由此可以训练得到最终的LI-RADS等级。由于前述针对三大主要征象和肿瘤尺寸的学习是强监督学习，使每个网络提取的特征先具有将三大主要征象分类以及回归出肿瘤尺寸的能力，依据三大主要征象和肿瘤尺寸虽然可以得到一个初步的LI-RADS等级。但是为了提高LI-RADS等级确定的准确率，还可以基于图像上一些次要征象(例如肿瘤可能会出现晕状强化、结中结等结构)进行辅助判断，如果出现某些次要征象支持肿瘤为良性，则在初步等级上减去一级，如果出现某些次要征象支持肿瘤为恶性，则在初步等级上加上一级(次要征象不可将初步等级升至LR-5等级)。前面征象的学习，使各个子网络的全连接层包含了能够分类主要征象的特征和一些辅助特征，这些辅助特征有助于进行次要征象的辨别，也就是说三大主要征象分类模型有一个引导特征学习的作用，在主要征象分类模型的引导下，主要征象的相关特征已经被针对性提取出来了，同时提取到的特征仍然包含整个图像的所有特征，只是次要特征仍然隐含在其中。通过特征融合的过程，以最终的LI-RDS等级为目标，可以让网络在已有特征的基础上自动去检索这些次要特征，从而使得LI-RADS等级分类模型训练方式更高效和可靠。
如图12所示，本申请实施例还提供了一种图像处理装置，所述装置可以包括：
获取模块201，可以用于获取多个不同期相的待处理图像。
分类模块203，可以用于基于第一神经网络模型对所述多个不同期相的待处理图像进行征象分类处理，得到所述多个不同期相的待处理图像对应的目标征象分类结果。
在一些实施例中，所述多个不同期相的待处理图像包括多个第一征象图像，所述第一神经网络模型包括第一征象分类模型，所述目标征象分类结果包括第一征象分类结果，则分类模块203可以包括：
第一特征提取单元，可以用于基于所述第一征象分类模型中的第一特征提取层，对所述多个第一征象图像进行特征提取，得到所述多个第一征象图像各自对应的特征提取结果。
第一全连接层处理单元，可以用于基于所述第一征象分类模型中的第一全连接层，对所述多个第一征象图像各自对应的特征提取结果进行融合，得到所述多个第一征象图像对应的特征融合结果。
第一征象分类结果确定单元，可以用于基于所述第一征象分类模型对所述特征融合结果进行处理，得到所述多个第一征象图像对应的所述第一征象分类结果。
在一些实施例中，所述多个不同期相的待处理图像包括多个第二征象图像，所述第一神经网络模型包括第二征象分类模型，所述目标征象分类结果包括第二征象分类结果，则分类模块203可以包括：
第二特征提取单元，可以用于基于所述第二征象分类模型中的第二特征提取层，对所述多个第二征象图像进行特征提取，得到所述多个第二征象图像各自对应的特征提取结果。
第二全连接层处理单元，可以用于基于所述第二征象分类模型中的第二全连接层，对所述多个第二征象图像各自对应的特征提取结果进行处理，得到所述多个第二征象图像各自对应的征象分类结果。
第二征象分类结果确定单元，可以用于基于所述第二征象分类模型对所述多个第二征象图像各自对应的征象分类结果进行处理，得到所述多个第二征象图像对应的所述第二征象分类结果。
回归模块205，可以用于基于第二神经网络模型对所述多个不同期相的待处理图像进行尺寸回归处理，得到所述多个不同期相的待处理图像对应的目标尺寸回归结果。
本申请实施例中，所述多个不同期相的待处理图像包括目标图像，该装置还可以包括：分割模块，可以用于基于第三神经网络模型对所述目标图像进行分割处理，得到所述目标图像对应的分割结果。
相应地，该回归模块205可以包括：
第三特征提取单元，可以用于基于所述第二神经网络模型中的第三特征提取层对所述分割结果进行特征提取，得到所述目标图像对应的特征提取结果。
第三全连接层处理单元，可以用于基于所述第二神经网络模型中的第三全连接层，对所述目标图像对应的特征提取结果进行融合处理，得到所述目标图像对应的尺寸回归结果。
目标尺寸回归结果确定单元，可以用于将所述目标图像对应的尺寸回归结果作为所述目标尺寸回归结果。
融合模块207，可以用于基于所述目标征象分类结果和所述目标尺寸回归结果，确定所述多个不同期相的待处理图像对应的第一等级分类结果。
在一些实施例中，该装置可以包括第二等级分类结果确定模块，该第二等级分类结果确定模块可以包括：
特征向量获取单元，可以用于获取所述第一征象分类结果对应的第一特征向量、所述第二征象分类结果对应的第二特征向量和所述目标尺寸回归结果对应的第三特征向量；所述第一特征向量为输入所述第一全连接层的特征向量，所述第二特征向量为输入所述第二全连接层的特征向量，所述第三特征向量为输入所述第三全连接层的特征向量。
分类结果确定单元，可以用于基于第四神经网络模型对所述第一特征向量、所述二特征向量和所述第三特征向量进行融合处理，得到第二等级分类结果。
在一些实施例中，该分类结果确定单元可以包括：
第一非线性处理子单元，可以用于基于所述第四神经网络模型中的第四全连接层和第一非线性激活层对所述第一特征向量进行处理，得到第一非线性映射结果。
第二非线性处理子单元，可以用于基于所述第四神经网络模型中的第五全连接层和第二非线性激活层对所述第二特征向量进行处理，得到第二非线性映射结果。
第三非线性处理子单元，可以用于基于所述第四神经网络模型中的第六全连接层和第三非线性激活层对所述第三特征向量进行处理，得到第三非线性映射结果。
第四非线性处理子单元，可以用于基于所述第四神经网络模型中的第七全连接层，对所述第一非线性映射结果、所述第二非线性映射结果和所述第三非线性映射结果进行融合处理，得到所述第二等级分类结果。
需要说明的是，本申请实施例中的装置实施例与上述方法实施例基于相同的发明构思。
本申请实施例还提供了一种图像处理设备，该图像处理设备包括处理器和存储器，存储器中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以实现如上述方法实施例提供的图像处理方法。
本申请的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可设置于终端之中以保存用于实现方法实施例中一种图像处理方法相关的至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以实现如上述方法实施例提供的图像处理方法。
可选地，在本申请实施例中，存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例所述存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用程序以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
本申请实施例提供的图像处理方法、装置、设备及存储介质，具有如下有益效果：
1)本申请实施例基于第一神经网络模型对不同期相的待处理图像进行征象分类，能够提高征象分类的效率和准确率。且本申请实施例基于第二神经网络对不同期相的待处理图像进行尺寸计算，能够避免基于人工干预对尺寸进行计算所带来的尺寸计算误差较大、耗时较长和成本较高等问题，提高尺寸计算的效率和准确率，同时降低尺寸计算的成本。本申请实施例通过上述两个方面，有效提高了第一等级分类结果确定的效率和准确率，并降低了第一等级分类结果确定的成本。
2)本申请实施例将已有的评估等级(比如，LI-RADS评估等级)作为深度学习网络训练的先验知识，先着重提取与已有的评估等级的重要特征，然后将提取的特征进行融合训练得到第二等级分类结果(即最终的等级分类结果，比如，最终的LI-RADS等级分类结果)。这种人为指导下的训练方式一方面增加了神经网络作为黑箱模型的可解释性，从而增加了模型用作第二等级分类结果评估的可靠性，另一方面，高效的训练方式也让模型本身的性能更好。
3)本申请实施例先将不同期相下的三维增强CT/MR的影像图像进行三大主要征象的分类和尺寸预测，然后分别提取第二神经网络模型与第一神经网络模型的特征作为第四神经网络模型的输入，由此可以训练得到最终的第二等级分类结果。一方面，将提取的有效特征通过第四神经网络模型进行融合训练，保证模型在主要征象特征的基础上从肿瘤影像上提取更多的有利于第二等级分类结果评估的其它次要征象特征，从而提高第二等级分类结果(即最终的等级分类结果)确定的准确率；另一方面，无需人为测量感兴趣目标(比如，肝肿瘤)尺寸，提高了感兴趣目标的尺寸计算的效率和准确率，降低了感兴趣目标尺寸计算的成本。
需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和服务器实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：
获取多个不同期相的待处理图像；
基于第一神经网络模型对所述多个不同期相的待处理图像进行征象分类处理，得到所述多个不同期相的待处理图像对应的目标征象分类结果；
基于第二神经网络模型对所述多个不同期相的待处理图像进行尺寸回归处理，得到所述多个不同期相的待处理图像对应的目标尺寸回归结果；
基于所述目标征象分类结果和所述目标尺寸回归结果，确定所述多个不同期相的待处理图像对应的第一等级分类结果。
2.根据权利要求1所述的方法，其特征在于，所述多个不同期相的待处理图像包括多个第一征象图像，所述第一神经网络模型包括第一征象分类模型，所述目标征象分类结果包括第一征象分类结果，则所述基于第一神经网络模型对所述多个不同期相的待处理图像进行征象分类处理，得到所述多个不同期相的待处理图像对应的目标征象分类结果，包括：
基于所述第一征象分类模型中的第一特征提取层，对所述多个第一征象图像进行特征提取，得到所述多个第一征象图像各自对应的特征提取结果；
基于所述第一征象分类模型中的第一全连接层，对所述多个第一征象图像各自对应的特征提取结果进行融合，得到所述多个第一征象图像对应的特征融合结果；
基于所述第一征象分类模型对所述特征融合结果进行处理，得到所述多个第一征象图像对应的所述第一征象分类结果。
3.根据权利要求2所述的方法，其特征在于，所述多个不同期相的待处理图像包括多个第二征象图像，所述第一神经网络模型包括第二征象分类模型，所述目标征象分类结果包括第二征象分类结果，则所述基于第一神经网络模型对所述多个不同期相的待处理图像进行征象分类处理，得到所述多个不同期相的待处理图像对应的目标征象分类结果，包括：
基于所述第二征象分类模型中的第二特征提取层，对所述多个第二征象图像进行特征提取，得到所述多个第二征象图像各自对应的特征提取结果；
基于所述第二征象分类模型中的第二全连接层，对所述多个第二征象图像各自对应的特征提取结果进行处理，得到所述多个第二征象图像各自对应的征象分类结果；
基于所述第二征象分类模型对所述多个第二征象图像各自对应的征象分类结果进行处理，得到所述多个第二征象图像对应的所述第二征象分类结果。
4.根据权利要求3所述的方法，其特征在于，所述多个不同期相的待处理图像包括目标图像，则在所述基于第二神经网络模型对所述多个不同期相的待处理图像进行尺寸回归处理，得到所述多个不同期相的待处理图像对应的目标尺寸回归结果之前，所述方法还包括：
基于第三神经网络模型对所述目标图像进行分割处理，得到所述目标图像对应的分割结果。
5.根据权利要求4所述的方法，其特征在于，所述基于第二神经网络模型对所述多个不同期相的待处理图像进行尺寸回归处理，得到所述多个不同期相的待处理图像对应的目标尺寸回归结果，包括：
基于所述第二神经网络模型中的第三特征提取层对所述分割结果进行特征提取，得到所述目标图像对应的特征提取结果；
基于所述第二神经网络模型中的第三全连接层，对所述目标图像对应的特征提取结果进行融合处理，得到所述目标图像对应的尺寸回归结果；
将所述目标图像对应的尺寸回归结果作为所述目标尺寸回归结果。
6.根据权利要求5所述的方法，其特征在于，在所述基于所述目标征象分类结果和所述目标尺寸回归结果，确定所述多个不同期相的待处理图像对应的第一等级分类结果之后，所述方法还包括：
获取所述第一征象分类结果对应的第一特征向量、所述第二征象分类结果对应的第二特征向量和所述目标尺寸回归结果对应的第三特征向量；所述第一特征向量为输入所述第一全连接层的特征向量，所述第二特征向量为输入所述第二全连接层的特征向量，所述第三特征向量为输入所述第三全连接层的特征向量；
基于第四神经网络模型对所述第一特征向量、所述二特征向量和所述第三特征向量进行融合处理，得到第二等级分类结果。
7.根据权利要求6所述的方法，其特征在于，所述基于所述第四神经网络模型对所述第一特征向量、所述二特征向量和所述第三特征向量进行融合处理，得到第二等级分类结果，包括：
基于所述第四神经网络模型中的第四全连接层和第一非线性激活层对所述第一特征向量进行处理，得到第一非线性映射结果；
基于所述第四神经网络模型中的第五全连接层和第二非线性激活层对所述第二特征向量进行处理，得到第二非线性映射结果；
基于所述第四神经网络模型中的第六全连接层和第三非线性激活层对所述第三特征向量进行处理，得到第三非线性映射结果；
基于所述第四神经网络模型中的第七全连接层，对所述第一非线性映射结果、所述第二非线性映射结果和所述第三非线性映射结果进行融合处理，得到所述第二等级分类结果。
8.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取多个不同期相的待处理图像；
分类模块，用于基于第一神经网络模型对所述多个不同期相的待处理图像进行征象分类处理，得到所述多个不同期相的待处理图像对应的目标征象分类结果；
回归模块，用于基于第二神经网络模型对所述多个不同期相的待处理图像进行尺寸回归处理，得到所述多个不同期相的待处理图像对应的目标尺寸回归结果；
融合模块，用于基于所述目标征象分类结果和所述目标尺寸回归结果，确定所述多个不同期相的待处理图像对应的第一等级分类结果。
9.一种图像处理设备，其特征在于，所述设备包括：处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求1至7任一所述的图像处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-7任一所述的图像处理方法。
CN202011641682.6A 2020-12-31 2020-12-31 一种图像处理方法、装置、设备及存储介质 Active CN112651960B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011641682.6A CN112651960B (zh) 2020-12-31 2020-12-31 一种图像处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011641682.6A CN112651960B (zh) 2020-12-31 2020-12-31 一种图像处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112651960A true CN112651960A (zh) 2021-04-13
CN112651960B CN112651960B (zh) 2024-08-20

Family

ID=75367054

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011641682.6A Active CN112651960B (zh) 2020-12-31 2020-12-31 一种图像处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112651960B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113129297A (zh) * 2021-04-30 2021-07-16 复旦大学附属中山医院 基于多期相肿瘤影像的直径自动测量方法及系统
US20230103262A1 (en) * 2021-09-29 2023-03-30 Lenovo (Beijing) Limited Image processing method and device
US12141417B1 (en) * 2018-10-10 2024-11-12 Robert Edwin Douglas Method and apparatus of utilizing artificial intelligence in the scrolling process

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160014328A1 (en) * 2013-03-27 2016-01-14 Olympus Corporation Image processing device, endoscope apparatus, information storage device, and image processing method
CN108615237A (zh) * 2018-05-08 2018-10-02 上海商汤智能科技有限公司 一种肺部图像处理方法及图像处理设备
CN109214375A (zh) * 2018-11-07 2019-01-15 浙江大学 一种基于分段采样视频特征的胚胎妊娠结果预测装置
CN109902693A (zh) * 2019-02-16 2019-06-18 太原理工大学 一种基于多注意力空间金字塔特征图像识别方法
CN110008971A (zh) * 2018-08-23 2019-07-12 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读存储介质及计算机设备
CN110084285A (zh) * 2019-04-08 2019-08-02 安徽艾睿思智能科技有限公司 基于深度学习的鱼类细粒度分类方法
CN110517225A (zh) * 2019-07-19 2019-11-29 平安科技（深圳）有限公司 Ai影像识别方法、装置、设备及存储介质
CN110766051A (zh) * 2019-09-20 2020-02-07 四川大学华西医院 一种基于神经网络的肺结节形态学分类方法
CN110992312A (zh) * 2019-11-15 2020-04-10 上海联影智能医疗科技有限公司 医学图像处理方法、装置、存储介质及计算机设备
CN111401294A (zh) * 2020-03-27 2020-07-10 山东财经大学 基于自适应特征融合的多任务人脸属性分类方法及系统
CN111862044A (zh) * 2020-07-21 2020-10-30 长沙大端信息科技有限公司 超声图像处理方法、装置、计算机设备和存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160014328A1 (en) * 2013-03-27 2016-01-14 Olympus Corporation Image processing device, endoscope apparatus, information storage device, and image processing method
CN108615237A (zh) * 2018-05-08 2018-10-02 上海商汤智能科技有限公司 一种肺部图像处理方法及图像处理设备
CN110008971A (zh) * 2018-08-23 2019-07-12 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读存储介质及计算机设备
CN109214375A (zh) * 2018-11-07 2019-01-15 浙江大学 一种基于分段采样视频特征的胚胎妊娠结果预测装置
CN109902693A (zh) * 2019-02-16 2019-06-18 太原理工大学 一种基于多注意力空间金字塔特征图像识别方法
CN110084285A (zh) * 2019-04-08 2019-08-02 安徽艾睿思智能科技有限公司 基于深度学习的鱼类细粒度分类方法
CN110517225A (zh) * 2019-07-19 2019-11-29 平安科技（深圳）有限公司 Ai影像识别方法、装置、设备及存储介质
CN110766051A (zh) * 2019-09-20 2020-02-07 四川大学华西医院 一种基于神经网络的肺结节形态学分类方法
CN110992312A (zh) * 2019-11-15 2020-04-10 上海联影智能医疗科技有限公司 医学图像处理方法、装置、存储介质及计算机设备
CN111401294A (zh) * 2020-03-27 2020-07-10 山东财经大学 基于自适应特征融合的多任务人脸属性分类方法及系统
CN111862044A (zh) * 2020-07-21 2020-10-30 长沙大端信息科技有限公司 超声图像处理方法、装置、计算机设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KIM H: "Correlation between Spot Sign and Intracranial Hemorrhage Expansion on Dual-Phase CT Angiography", DIAGNOSTICS, vol. 9, no. 4, pages 1 - 8 *
祖莅惠等: "基于深度学习的新型冠状病毒肺炎CT征象检测研究", 中国医疗设备, vol. 35, no. 06, pages 89 - 92 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12141417B1 (en) * 2018-10-10 2024-11-12 Robert Edwin Douglas Method and apparatus of utilizing artificial intelligence in the scrolling process
CN113129297A (zh) * 2021-04-30 2021-07-16 复旦大学附属中山医院 基于多期相肿瘤影像的直径自动测量方法及系统
CN113129297B (zh) * 2021-04-30 2024-03-26 复旦大学附属中山医院 基于多期相肿瘤影像的直径自动测量方法及系统
US20230103262A1 (en) * 2021-09-29 2023-03-30 Lenovo (Beijing) Limited Image processing method and device
GB2611601B (en) * 2021-09-29 2025-01-08 Lenovo Beijing Ltd Image processing method and device

Also Published As

Publication number Publication date
CN112651960B (zh) 2024-08-20

Similar Documents

Publication Publication Date Title
Shaziya et al. Automatic lung segmentation on thoracic CT scans using U-net convolutional network
US20230281809A1 (en) Connected machine-learning models with joint training for lesion detection
CN113313234A (zh) 用于图像分割的神经网络系统和方法
CN111553892B (zh) 基于深度学习的肺结节分割计算方法、装置及系统
US20170004619A1 (en) System and method for automatic pulmonary embolism detection
Li et al. Automated measurement network for accurate segmentation and parameter modification in fetal head ultrasound images
US11972571B2 (en) Method for image segmentation, method for training image segmentation model
CN112651960B (zh) 一种图像处理方法、装置、设备及存储介质
CN111598875A (zh) 甲状腺结节自动检测模型构建方法、系统及装置
Li et al. Hierarchical deep network with uncertainty-aware semi-supervised learning for vessel segmentation
CN112991346B (zh) 用于医学图像分析的学习网络的训练方法和训练系统
US12119117B2 (en) Method and system for disease quantification of anatomical structures
CN113763340A (zh) 基于多任务深度学习强直性脊柱炎的自动分级方法
CN115131300A (zh) 一种基于深度学习的骨性关节炎智能三维诊断方法及系统
CN113935943A (zh) 颅内动脉瘤识别检测的方法、装置、计算机设备和存储介质
CN110738702B (zh) 一种三维超声图像的处理方法、装置、设备及存储介质
Salahuddin et al. Multi-resolution 3d convolutional neural networks for automatic coronary centerline extraction in cardiac CT angiography scans
CN115222713A (zh) 一种冠状动脉钙化积分的计算方法、装置及存储介质
Hanaoka et al. HoTPiG: a novel graph-based 3-D image feature set and its applications to computer-assisted detection of cerebral aneurysms and lung nodules
Gheorghiță et al. Improving robustness of automatic cardiac function quantification from cine magnetic resonance imaging using synthetic image data
Kwon et al. Trainable multi-contrast windowing for liver CT segmentation
US11263481B1 (en) Automated contrast phase based medical image selection/exclusion
Zhang et al. Factorized omnidirectional representation based vision GNN for anisotropic 3D multimodal MR image segmentation
CN111292298A (zh) 乳腺癌病理分型确定方法、装置和存储介质
Kazi et al. Automatic segmentation of the left atrium from computed tomography angiography images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant