CN107833219B - 图像识别方法及装置 - Google Patents

Abstract

本申请是关于一种图像识别方法。该方法包括：获取三维成像图；通过特征提取模型分支对所述三维成像图进行处理，获得所述三维成像图的图像特征以及热度图，所述图像特征是用于指示所述三维成像图中的对象区域的特征；通过识别模型分支对所述图像特征以及所述热度图进行处理，获得所述三维成像图的图像属性；由于构建的热度图能够指示三维成像图的全局特性，能够携带的信息更多，因此基于热度图进行识别，能够提高图像识别的准确性。

Description

图像识别方法及装置

技术领域

本申请实施例涉及机器学习技术领域，特别涉及一种图像识别方法及装置。

背景技术

随着机器学习算法的不断发展，机器学习算法在图像识别场景的应用也越来越广泛。

在一种图像识别场景中，可以借助于机器学习算法快速识别三维成像图，比如CT(Computed Tomography，电子计算机断层扫描)图像的属性，以便医护人员进一步做出准确的诊断。

在三维成像图中，通常包含一至多个与图像属性相关的目标对象，因此，以CT图为例，在相关技术中，预先训练两个独立的机器学习模型，其中，第一个机器学习模型通过预先人工标注好目标对象的CT图样本进行学习获得，第二个机器学习模型通过预先人工标注好属性的目标对象的CT图样本进行学习获得。在辅助医疗人员诊断时，通过将包含目标对象的对象区域的CT图输入第一个机器学习模型，以确定该CT图中的各个目标对象的位置，并根据目标对象的位置，从CT图中分割出各个目标对象的CT图，并将每个目标对象的CT图分别输入到第二个机器学习模型中，以确定各个目标对象的属性，最后根据各个目标对象的属性来判断CT图的图像属性。

由于目标对象并不包含目标对象的全部对象区域的信息，且人工标注目标对象的属性的误差较大，从而导致相关技术中训练出的模型的准确度不高，图像属性判断的准确性较低。

发明内容

本申请实施例提供了一种图像识别方法及装置，可以用于解决相关技术中训练出的模型的准确度不高，图像属性判断的准确性较低的问题，技术方案如下：

第一方面，提供了一种图像识别方法，所述方法包括：

获取待识别的三维成像图；

通过特征提取模型分支对所述三维成像图进行处理，获得所述三维成像图的图像特征以及热度图，所述图像特征是用于指示所述三维成像图中的对象区域的特征，所述热度图由所述特征提取模型分支根据所述图像特征构建生成，所述对象区域为目标对象所在的区域；

通过识别模型分支对所述图像特征以及所述热度图进行处理，获得所述三维成像图对应的识别结果，所述识别结果中包含所述三维成像图的图像属性。

第二方面，提供了一种图像识别装置，所述装置包括：

第一获取模块，用于获取待识别的三维成像图，所述肺病的病灶区域为肺部产生病变的区域；

第一处理模块，用于通过特征提取模型分支对所述三维成像图进行处理，获得所述三维成像图的图像特征以及热度图，所述图像特征是用于指示所述三维成像图中的对象区域的特征，所述热度图由所述特征提取模型分支根据所述图像特征构建生成，所述对象区域为目标对象所在的区域；

第二处理模块，用于通过识别模型分支对所述图像特征以及所述热度图进行处理，获得所述三维成像图对应的识别结果，所述识别结果中包含所述三维成像图的图像属性。

第三方面，提供了一种计算机设备，所述计算机设备包含处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面所述的图像识别方法。

第四方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如第一方面所述的图像识别方法。

本申请提供的技术方案可以包括以下有益效果：

通过检测三维成像图中的对象区域来构建三维成像图的热度图，并基于构建的热度图和指示对象区域的属性特征来获得包含三维成像图的图像属性的识别结果，由于构建的热度图能够指示三维成像图的全局特性，能够携带的信息更多，因此基于热度图进行识别，能够提高图像识别的准确性。此外，由于不需要通过各个目标对象的属性来识别三维成像图的图像属性，也就不需要人工标注目标对象的属性，从而避免了人工标注准确性较低的问题，进一步提高识别准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是根据一示例性实施例示出的一种模型训练及图像识别框架图；

图2是根据一示例性实施例示出的一种机器学习模型的模型架构图；

图3是根据一示例性实施例示出的一种机器学习模型训练方法的流程图；

图4是图3所示实施例涉及的一种模型训练流程示意图；

图5是根据一示例性实施例示出的一种图像识别方法的流程图；

图6是图5所示实施例涉及的一种图像识别流程示意图；

图7是根据一示例性实施例示出的图像识别装置的结构方框图；

图8是根据一示例性实施例示出的一种计算机设备的结构示意图；

图9是根据一示例性实施例示出的一种计算机设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

本申请实施例提出了一种识别图像属性的方案，该方案能够通过对目标对象所在的对象区域的三维成像图进行识别处理，来快速识别出图像属性。

在一种可能的实现方式中，本申请所示的方案可以实现为一种高效并且高准确率的识别疾病属性的方案，该方案能够通过对疾病的病灶区域的三维成像图进行识别处理，来帮助用户及其医生快速识别出疾病属性。为了便于理解，下面对本申请实施例涉及的几个名词进行解释。

(1)病灶区域：通常指代机体上发生病变的部分区域，而肺病的病灶区域即为肺部产生病变的区域。比如，肺的一叶被结核菌破坏，那么这部分肺叶便是肺结核病的病灶区域；再比如，肺部的支气管粘膜上皮被癌细胞破坏，则支气管粘膜上皮对应的区域就是肺癌的病灶区域。

(2)病源区域：病源指代引起疾病的症结。以肺癌为例，病源即指代肺结节，而病源区域指代引起疾病的病源所在的区域，针对肺癌来说，病源区域即指代在病灶区域内引起肺癌的肺结节所在的区域，又可将其称之为肺结节区域。其中，病源属性可分为良性或恶性。继续以病源为肺结节为例，则肺结节属性可分为良性和恶性。

(3)三维成像图：通常是指对某个对象的三维空间成像。在本申请实施例中，三维成像图是指对患病器官的医学三维病理图像，该三维成像图可以由多个不同切片层的二维图像组成。比如，在本申请实施例中，该三维成像图可以是患者肺部的CT图或者核磁共振成像图等。可选的，该三维成像图既可以针对整个患病器官，也可仅针对患病器官的病灶区域。在一种可能的实现方式中，当三维成像图是患者肺部的CT图或者核磁共振成像图时，三维成像图中的目标对象可以是病源，对象区域即为病源区域。在一种可能的实现方式中，在医疗领域，三维成像图的图像属性为疾病的良恶性。

本申请实施例的方案包括模型训练阶段和识别阶段。图1是根据一示例性实施例示出的一种模型训练及图像识别框架图。如图1所示，在模型训练阶段，模型训练设备110通过预先标注好对象区域位置(比如病源区域位置)和图像属性(比如疾病良恶性)的区域(比如疾病的病灶区域)的三维成像图训练出端到端的机器学习模型，在识别阶段，识别设备120根据训练好的机器学习模型以及输入的包含目标对象的区域(比如病灶区域)的三维成像图直接识别出三维成像图的图像属性(比如疾病良恶性)。其中，由于本申请实施例中只需要一个端到端的机器学习模型，相比于通过两个或者两个以上机器学习模型相互级联的方式，能够有效降低两个或者两个以上机器学习模型之间级联的累计误差，提高机器学习模型的准确性。

其中，上述模型训练设备110和识别设备120可以是具有机器学习能力的计算机设备，比如，该计算机设备可以是个人电脑、服务器以及固定式医疗设备等固定式计算机设备，或者，该计算机设备也可以是平板电脑、电子书阅读器或者便携式医疗设备等移动式计算机设备。

可选的，上述模型训练设备110和识别设备120可以是同一个设备，或者，模型训练设备110和识别设备120也可以是不同的设备。并且，当模型训练设备110和识别设备120是不同的设备时，模型训练设备110和识别设备120可以是同一类型的设备，比如模型训练设备110和识别设备120可以都是个人电脑；或者，模型训练设备110和识别设备120也可以是不同类型的设备，比如模型训练设备110可以是服务器，而识别设备120可以是固定式医疗设备或者固定式医疗设备等。本申请实施例对于模型训练设备110和识别设备120的类型不做限定。

图2是根据一示例性实施例实施例示出的一种机器学习模型的模型架构图。如图2所示，本申请实施例中的端到端机器学习模型20可以包含两个模型分支，其中特征提取模型分支210用于从输入的对象区域的三维成像图中提取出指示三维成像图中的对象区域的图像，并根据图像特征构建并输出能够指示对象区域全局的热度图。该特征提取模型分支210除了输出构建出的热度图之外，还将热度图和提取出的图像特征输入识别模型分支220，该识别模型分支220，用于根据特征提取模型分支210输入的热度图和图像特征进行学习识别，并输出包含三维成像图的图像属性的识别结果。在一种可能的实现方式中，当三维成像图是肺部病灶区域的CT图时，识别结果是肺病的良恶性。

在上述图2所示的端到端机器学习模型中，对象区域并不作为判断三维成像图的图像属性的主要因素，而是通过检测三维成像图中的对象区域来构建三维成像图的热度图，并基于构建的热度图和指示对象区域的属性特征来判断三维成像图的图像属性，由于构建的热度图能够指示三维成像图的全局特性，相比于单个目标对象的区域的三维成像图来说，全局的热度图能够携带的信息更多，识别的准确性也更高。此外，由于不再通过各个目标对象区域的属性来识别图像属性，在模型训练过程中也就不需要人工标注目标对象区域的属性(比如肺结节的良恶性)，从而避免了目标对象区域人工标注准确性较低的问题，进一步提高识别准确性。

以本方案应用在医疗领域为例，本方案在产品侧的应用方式主要为后台识别，将患者的三维成像图传递给特征提取模型分支210和识别模型分支220进行疾病识别，并根据识别结果做出相应的高亮区域(即热度图)。本方案可用于面向医院或个人的辅助医疗系统，帮助患者快速高效的检测与病源区域相关的疾病的良恶性，比如，以病源区域为肺结节区域为例，与肺结节有关的肺病可以包括但不限于肺癌、肺部先天性发育异常、肺炎、肺结核、支气管扩张、肺曲霉菌病、肺部血管瘤、肺部肉芽肿病变、肺部结核瘤、肺部炎性假瘤、肺部错构瘤、肺转移癌、肺部瘫痕、风湿性肺结节以及肺内淋巴结等等。

本申请实施例所示的方案具有响应快、覆盖广、人工成本低、能够帮助领域专家确定应对策略等特点。本方案可用于面向医院或者个人医疗助手来帮助专家和患者本人快速定位疾病识别的敏感区域，增加对于患者疾病判断的准确率。

图3是根据一示例性实施例示出的一种机器学习模型训练方法的流程图，该机器学习模型训练方法可以用于计算机设备，比如上述图1所示的模型训练设备110中，以训练获得上述图2所示的机器学习模型。如图3所示，该机器学习模型训练方法可以包括如下步骤：

步骤301，模型训练设备获取已标注有图像属性和对象区域属性的三维成像图样本，该对象区域属性包括该三维成像图样本中的对象区域的坐标和尺寸。

以应用在医疗领域为例，模型训练设备获取已标注有疾病属性和病源区域属性的三维成像图样本，该病源区域属性包括该三维成像图样本中的病源区域的坐标和尺寸。

在本申请实施例中，三维成像图样本可以由标注审核人员输入到模型训练设备中，即标注审核人员在其它计算机设备中，根据专业医生的指点，在三维成像图样本中标注出病源区域(即对象区域)的坐标和尺寸，并将标注好病源区域的坐标和尺寸的三维成像图样本以及该三维成像图样本所对应的图像属性(即疾病属性，比如良恶性)输入到模型训练设备。

或者，三维成像图样本也可以由标注审核人员直接在模型训练设备上进行标注获得。

其中，三维成像图样本可以包括若干个正样本和若干个负样本，其中，以应用于医疗领域为例，正样本可以是已经确诊为疾病良性的患者的病灶区域的三维成像图，或者，正样本可以是未得疾病的正常人的机体区域的三维成像图，负样本可以是已经确诊为疾病恶性的患者的病灶区域的三维成像图。

或者，上述正样本可以是已经确诊为疾病恶性的患者的病灶区域的三维成像图，而负样本可以是已经确诊为疾病良性的患者的病灶区域的三维成像图，或者，负样本可以是未得疾病的正常人的机体区域的三维成像图。

其中，本申请实施例仅以病源区域属性包括病源区域的坐标和尺寸为例进行说明，在实际应用中，也可以使用其它类型的病源区域属性，比如形状以及特异性等等，对于病源区域属性的类型，本申请实施例不做限定。

步骤302，模型训练设备根据该对象区域属性构建热度图样本。

例如，以应用在医疗领域为例，模型训练设备根据该病源区域属性构建热度图样本。

在本申请实施例中，模型训练设备可以根据上述构建标注出的病源区域属性的高斯分布来获得对应的热度图样本。

可选的，为了丰富热度图样本，提高后续模型训练的准确性，在本申请实施例中，对于一个三维成像图样本，模型训练设备可以在两个或者两个以上的分辨率上构建热度图样本，也就是说，模型训练设备根据一个三维成像图样本的病源区域属性(即对象区域属性)，可以构建多个不同分辨率(即多尺度)的热度图样本。

可选的，在构建热度图样本后，模型训练设备还可以对热度图中的每个病源区域位置(即对象区域位置)进行了正则化(normalization)处理，使得每一个分辨率的热度图的最大值为1。由于大的病源区域的直径越大，相应的高斯分布的峰值就越小，而正则化可让每一个热度图关注到直径最大的病源区域位置上。

步骤303，模型训练设备根据三维成像图样本和热度图样本进行模型训练，获得机器学习模型中的特征提取模型分支以及图像特征样本。

其中，该图像特征样本是通过特征提取模型分支对该三维成像图样本进行处理获得的图像特征。

其中，模型训练设备可以按照预定的算法对三维成像图样本和热度图样本进行机器训练，获得机器学习模型中的特征提取模型分支，使得该特征提取模型分支对三维成像图样本进行处理后能够获得对应的热度图样本和图像特征样本。

在本申请实施例中，特征提取模型分支可以包含三维深度卷积残缺网络和特征金字塔网络(Feature Pyramid Network)两个部分。其中，三维深度卷积残缺网络从输入的三维成像图中提取出特定的图像特征，这些图像特征可以指示输入的三维成像图样本中的病源区域(即对象区域)的特征，比如，各个病源区域的位置、形状、大小或者特异性等等，本申请实施例对于上述图像特征的类型不做限定；而特征金字塔网络用于根据三维深度卷积残缺网络提取到的图像特征构建热度图。在特征提取模型分支训练完成后，通过三维深度卷积残缺网络从三维成像图样本中提取出的图像特征即为上述图像特征样本。

需要说明的是，当每个三维成像图或者三维成像图样本对应多个分辨率的热度图时，该特征金字塔网络可以是一个多尺度的特征金字塔网络，每个尺度对应一个分辨率，也就是说，该特征金字塔网络可以根据输入的图像特征构建多个不同分辨率的热度图。

其中，本申请实施例中涉及到的热度图或者热度图样本均为三维热度图。

可选的，若将三维成像图样本作为一个整体进行训练，可能会因为三维成像图中包含的数据量较多而导致训练过程需要较多的处理资源，也会影响训练时间，导致训练效率不高，因此，在本申请实施例中，在进行模型预训练时，可以将三维成像图样本及其对应的热度图样本进行分割后分别进行训练。

比如，模型训练设备可以对三维成像图样本进行分割，得到若干个三维图像块样本，比如，将一个三维成像图样本分割成48个[48x 48x 48]分辨率的子样本，相应的，也将步骤302中生成的该三维成像图样本的热度图分割成对应的48个子热度图样本，对于每一个三维图像块样本，分别利用三维深度卷积残缺网络学习该三维图像块样本中的子图像特征样本，再通过特征金字塔网络，根据该三维图像块样本中的子图像特征样本学习该三维图像块样本对应的热度图，直到学习得到的热度图与该三维图像块样本对应的子热度图样本相同或者接近(比如误差在一定范围内)。

步骤304，模型训练设备根据该热度图样本、该图像特征样本以及该三维成像图样本对应的图像属性进行模型训练，获得机器学习模型的识别模型分支。

以应用在医疗领域为例，模型训练设备根据该热度图样本、该图像特征样本以及该三维成像图样本对应的疾病属性进行模型训练，获得机器学习模型的识别模型分支。

在本申请实施例中，模型训练设备可以通过预设的模型训练算法训练该识别模型分支，其中，该模型训练算法可以是三维深度卷积网络算法或者长短期记忆网络算法等，例如，模型训练设备可以将热度图样本、该图像特征样本以及该三维成像图样本对应的疾病属性一并输入模型训练算法进行训练，以获得该识别模型分支。

可选的，当上述热度图样本包括多个分辨率下的热度图样本时，在执行完成上述步骤303之后，模型训练设备可以在识别模型分支中引入注意力机制，即通过基于注意力机制的端到端训练来获得识别模型分支。

例如，以基于注意力机制的机器学习模型为例，可以将步骤304得到的各个分辨率下的热度图和学习到的图像特征进行点乘，然后根据各分辨率对应的点乘结果与各个分辨率的权重进行加权求和后，与三维成像图样本对应的疾病属性(即图像属性)一并输入到卷积层和连接层进行训练，最后通过sigmoid激活函数得到疾病良恶性判断，同时也得到表示病源区域位置和直径的三维热度图，其中，上述各个分辨率的权重、卷积层以及连接层就是识别模型分支中需要训练的部分。

在本申请实施例中，上述分辨率的数量可以设置为2～4个，比如，以设置3个不同的分辨率为例，假设分辨率1对应的权重为a1，分辨率2对应的权重为a2，分辨率3对应的权重为a3，特征提取模型分支对三维成像图进行处理获得的图像属性为b，对应分辨率1的热度图为c1，对应分辨率2的热度图为c2，对应分辨率3的热度图为c3，则加权求和结果d可以表示如下：

d＝a1*b*c1+a2*b*c2+a3*b*c3。

可选的，当上述步骤303中将三维成像图样本及其对应的热度图样本进行分割训练时，在执行步骤304之前，模型训练设备可以将训练完成后的特征提取模型分支从各个三维图像块样本中提取出的子图像特征样本组合成上述图像特征样本。

在实际应用中，上述将三维成像图样本及其对应的热度图样本进行分割训练的方法，以及，将三维成像图样本与多个不同分辨率的热度图样本进行模型训练的算法可以根据实际情况组合使用。比如，在一种可能的实现方式中，模型训练设备可以将三维成像图样本及其对应的单分辨率的热度图样本进行分割训练，以获得单个分辨率的机器学习模型；或者，在另一种可能的实现方式中，模型训练设备可以将三维成像图样本与多个不同分辨率的热度图样本整体进行模型训练，获得多分辨率的机器学习模型；或者，在又一种可能的实现方式中，模型训练设备可以将三维成像图样本及其对应的多分辨率的热度图样本进行分割训练，以获得多分辨率的机器学习模型。

请参考图4，其示出了本申请实施例涉及的一种模型训练流程示意图。以病源区域为肺结节，疾病为肺病，且通过3个不同分辨率下的三维热度图引导机器训练为例，如图4所示，在本申请实施例中，标注审核人员向模型训练设备提供三维成像图样本(包括若干正样本和若干负样本)，以及三维成像图样本对应的肺病属性和三维成像图样本中的肺结节在三维成像图样本中的三维坐标和尺寸(比如半径或直径)。

模型训练设备首先根据三维成像图样本中的肺结节在三维成像图样本中的三维坐标和尺寸，通过构建肺结节的三维坐标和尺寸的高斯分布的方式，获得每个三维成像图样本对应的三个不同分辨率下的热度图样本(即图4中热度图1～热度图3)，其中，获得的热度图样本可以是经过正则化处理的热度图样本。

在获得热度图样本之后，模型训练设备可以根据三维成像图样本和三维成像图样本对应的三个不同分辨率下的热度图样本进行模型训练，以获得机器学习模型中的特征提取模型分支，其训练目的是使得特征提取模型分支中的三维深度卷积残缺网络能够从三维成像图样本中提取出图像特征，并且特征提取模型分支中的特征金字塔网络能够根据三维深度卷积残缺网络提取出的图像特征构建出三维成像图样本对应的三个不同分辨率下的热度图样本。上述特征提取模型分支训练完成后，还输出三维深度卷积残缺网络从三维成像图样本中提取出的图像特征样本。可选的，在该训练过程中，可以将三维成像图样本和对应的三个不同分辨率下的热度图进行分割训练。

模型训练设备通过特征提取模型分支输出的图像特征样本、三维成像图样本对应的三个不同分辨率下的热度图样本以及三维成像图样本对应的肺病属性进行给予注意力机制的模型训练，获得识别模型分支。其中，识别模型分支中可以包含注意力模块、巻积层、连接层以及激活函数，该激活函数为预设的固定函数，在训练过程中，注意力模型用于将输入的图像特征样本分别与三维成像图样本对应的三个不同分辨率下的热度图样本进行点乘后，根据三个不同分辨率各自对应的权重对三个点乘结果进行加权求和后输入巻积层和连接层，上述训练过程的目的，是获得准确的三个不同分辨率各自对应的权重以及上述巻积层和连接层，使得图像特征样本以及三个不同分辨率下的热度图样本依次经过注意力模型、巻积层、连接层以及激活函数的处理后，能够准确得到对应的三维成像图样本的肺病属性。

综上所述，本申请实施例所示的方法，在通过特征提取模型分支对该三维成像图进行处理时，将该三维成像图分割为至少两个三维图像块，并对每个三维图像块分别进行处理，从而减少单次处理的数据量，从而提高模型训练和识别的效率。

此外，本申请实施例所示的方法，在模型训练和识别过程中，对于一个三维成像图可以构建多个不同分辨率下的热度图，并根据不同分辨率下的热度图进行训练或者识别，提高了模型的准确性和识别结果的准确性。

通过离线训练好上述机器学习模型中的特征提取模型分支和识别模型分支之后，即可以将机器学习模型应用于识别设备中进行离线的完整肺病检测，以帮助用户(比如患者)快速的进行图像属性(比如肺病良恶性)检测，以帮助医生高效的查看病灶区域，请见后续实施例。

图5是根据一示例性实施例示出的一种图像识别方法的流程图，该图像识别方法可以用于计算机设备，比如上述图1所示的识别设备120中。以本方案应用在医疗领域中识别疾病的良恶性为例，如图5所示，该图像识别方法可以包括如下步骤：

步骤501，识别设备获取待识别的三维成像图。

在实际的识别过程中，用户或者医生可以将患者的病灶区域的三维成像图输入识别设备中。

步骤502，识别设备通过特征提取模型分支对该三维成像图进行处理，获得该三维成像图的图像特征以及根据该图像特征构建的热度图。

其中，该该图像特征是用于指示该三维成像图中的对象区域的特征，对象区域为目标对象所在的区域。

以医疗领域为例，该图像特征是用于指示该三维成像图中的病源区域的特征，此处不再赘述。

可选的，由于三维成像图的像素较多，直接进行学习处理可能会导致处理时间过长，影响识别效率，因此在本申请实施例中，在通过特征提取模型分支对该三维成像图进行处理时，可以将该三维成像图分割为至少两个三维图像块；对于该至少两个三维图像块中的每一个三维图像块，将该三维图像块输入该特征提取模型分支，获得该三维图像块对应的子图像特征以及根据该子图像特征构建的子热度图；将该至少两个三维图像块各自对应的子图像特征组合成该图像特征；并将该至少两个三维图像块各自对应的子热度图组合成该热度图。上述分割处理的步骤与上述训练过程中的分割处理步骤类似，此处不再赘述。

可选的，在通过特征提取模型分支对该三维成像图进行处理时，可以通过该特征提取模型分支对该三维图像进行处理，获得该三维成像图与至少两个分辨率分别对应的热度图。

在识别过程中，识别设备将三维成像图输入到该特征提取模型分支之后，特征提取模型分支中的三维深度卷积残缺网络从该三维成像图中提取出三维成像图中的图像特征，该图像特征即为指示三维成像图中各个病源区域的特征，三维深度卷积残缺网络将提取到的图像特征输入到特征金字塔网络，通过该特征金字塔网络和该图像特征构建该三维成像图对应的热度图。

与训练过程相对应的，在识别过程中，对于一个三维成像图，识别设备可以通过特征提取模型分支提取出的图像特征构建至少两个分辨率下分别对应的热度图。

步骤503，识别设备通过识别模型分支对该图像特征以及该热度图进行处理，获得该三维成像图对应的识别结果，识别结果中包含三维成像图的图像属性。

以应用在医疗领域为例，该识别结果中包含疾病的疾病属性，该疾病属性包括良性或者恶性。

在本申请实施例中，该识别模型分支可以通过预设的模型训练算法训练获得，其中，该模型训练算法可以是三维深度卷积网络算法或者长短期记忆网络算法等，在识别过程中，识别设备可以将热度图以及图像特征一并输入识别模型分支，以获得包含疾病属性的识别结果。识别模型分支的训练方式可以参考上述图3对应的实施例中的步骤304，此处不再赘述。

可选的，当上述热度图包括多个分辨率下的热度图时，上述至少两个分辨率对应各自的权重，在通过识别模型分支对该图像特征以及该热度图进行处理，获得该三维成像图对应的疾病属性时，对于该三维成像图与至少两个分辨率分别对应的热度图中的每一个热度图，通过该识别模型分支，将该图像特征和该热度图进行点乘，根据该至少两个分辨率对应各自的权重，对该三维成像图与至少两个分辨率分别对应的热度图的点乘结果进行加权求和，并根据该加权求和的结果获得该三维成像图对应的识别结果。

在本申请实施例中，上述机器学习模型可以是一个基于注意力机制的端到端模型，在上述识别模型分支中可以包含一个注意力模型，该注意力模型用于将输入的三维成像图对应在不同分辨率下的热度图与上述图像特征进行点乘后，通过各个不同分辨率各自对应的权重进行加权求和后，将加权求和的结果输入至识别模型分支中的其它部分，比如巻积层、连接层以及激活函数(比如sigmoid函数)，由识别模型分支中的其它部分进行处理获得识别结果(包括识别疾病的良恶性)。其中，不同分辨率对应的权重由上述步骤303中训练识别模型分支时获得。

在本申请实施例中，机器学习模型除了输出识别模型分支处理获得的疾病属性之外，还可以输出特征提取模型分支处理获得的热度图，以便医生可以根据热度图进行病情分析等人工操作。

请参考图6，其示出了本申请实施例涉及的一种图像识别流程示意图。以病源区域为肺结节，疾病为肺病，且基于3个不同分辨率下的三维热度图进行识别为例，如图6所示，在本申请实施例中，病人就诊时，医生可以将病人肺病的病灶区域的三维成像图输入识别设备，识别设备通过特征提取模型分支中的三维深度卷积残缺网络提取出三维成像图的图像特征，并通过特征提取模型分支中的特征金字塔网络基于提取出的图像特征构建3个不同分辨率下的三维热度图，即图6中热度图1至热度图3。

在构建3个不同分辨率下的三维热度图后，一方面，识别设备向可视化界面输出构建的三维热度图，另一方面，识别设备将提取出的图像特征和构建的3个不同分辨率下的三维热度图输入识别模型分支。

该识别模型分支中的注意力模块对图像特征和构建的3个不同分辨率下的三维热度图分别进行点乘后进行加权求和，并将加权求和结果输入巻积层和连接层，卷积层和连接层对加权求和结果进行处理后，向激活函数输出处理获得的数组，由激活函数根据该数组获得识别结果，该识别结果即包含该三维成像图对应的肺病属性，比如，当输出的识别结果为0时，可以认为该三维成像图对应的肺病属性为良性，当输出的识别结果为1时，可以认为该三维成像图对应的肺病属性为恶性。

本申请实施例提供的方案是一种高准确率高覆盖率的疾病敏感区域识别和疾病良恶性检测方案。本方案通过采用深度学习相关技术，构建三维卷积网络，基于已标注病源区域的数据训练得到基础模型(即处理获得热度图和图像特征的特征提取模型分支)，然后利用得到的热度图和图像特征进行基于注意力机制的端到端训练。通过对热度图的再训练，除了病源区域之外，还可以获得其它病灶信息，从而提高识别准确度，同时能够帮助医生快速检测疾病，解决了传统方法只通过病源区域的良恶性进行疾病识别导致的鲁棒性差和过度依赖病源区域标注准确性的问题。并且本申请实施例提供的方案还支持自动高亮敏感区域识别(对应上述输出热度图的步骤)，与其他深度学习的方法相比，本方案能通过端到端训练自动捕捉疾病敏感区域，同时可以通过预处理(对应上述将三维成像图分割处理的步骤)的方式加快模型收敛和模型训练的准确度。

上述机器学习模型具有较快的响应速度，能够做到实时检测，尤其适用于偏远地区缺少高质量医疗资源的情况。

综上所述，本申请实施例所示的方法，对象区域并不作为判断图像属性的主要因素，而是通过检测三维成像图中的对象区域来构建三维成像图的热度图，并基于构建的热度图和指示对象区域的属性特征来判断图像属性，由于构建的热度图能够指示三维成像图的全局特性，相比于单个对象区域的三维成像图来说，全局的热度图能够携带的信息(比如病理信息)更多，识别的准确性也更高。此外，由于不再通过各个对象区域的属性来识别图像属性，在模型训练过程中也就不需要人工标注对象区域的属性，从而避免了对象区域人工标注准确性较低的问题，进一步提高识别准确性。

此外，本申请实施例中用于识别图像属性的模型是一个端到端的机器学习模型，相比于通过两个或者两个以上机器学习模型相互级联的方式，能够有效降低两个或者两个以上机器学习模型之间级联的累计误差，提高机器学习模型的准确性。

另外，本申请实施例所示的方法，在通过特征提取模型分支对该三维成像图进行处理时，将该三维成像图分割为至少两个三维图像块，并对每个三维图像块分别进行处理，从而减少单次处理的数据量，从而提高模型训练和识别的效率。

此外，本申请实施例所示的方法，在模型训练和识别过程中，对于一个三维成像图可以构建多个不同分辨率下的热度图，并根据不同分辨率下的热度图进行训练或者识别，提高了模型的准确性和识别结果的准确性。

图7是根据一示例性实施例示出的一种图像识别装置的结构方框图。该图像识别装置可以用于计算机设备中，以执行图3所示实施例中的全部或者部分步骤。该图像识别装置可以包括：

第一获取模块701，用于获取待识别的三维成像图；

第一处理模块702，用于通过特征提取模型分支对所述三维成像图进行处理，获得所述三维成像图的图像特征以及热度图，所述图像特征是用于指示所述三维成像图中的对象区域的特征，所述热度图由所述特征提取模型分支根据所述图像特征构建生成，所述对象区域为目标对象所在的区域；

第二处理模块703，用于通过识别模型分支对所述图像特征以及所述热度图进行处理，获得所述三维成像图对应的识别结果，所述识别结果中包含所述三维成像图的图像属性。

可选的，所述第一处理模块702，用于将所述三维成像图分割为至少两个三维图像块；对于所述至少两个三维图像块中的每一个三维图像块，将所述三维图像块输入所述特征提取模型分支，获得所述三维图像块对应的子图像特征以及根据所述子图像特征构建的子热度图；将所述至少两个三维图像块各自对应的子图像特征组合成所述图像特征；将所述至少两个三维图像块各自对应的子热度图组合成所述热度图。

可选的，所述第一处理模块702，用于通过所述特征提取模型分支对所述三维图像进行处理，获得所述三维成像图的图像特征以及所述三维成像图与至少两个分辨率分别对应的热度图。

可选的，所述至少两个分辨率对应各自的权重，所述第二处理模块703，用于，对于所述三维成像图与至少两个分辨率分别对应的热度图中的每一个热度图，通过所述识别模型分支，将所述图像特征和所述热度图进行点乘，根据所述至少两个分辨率对应各自的权重，对所述三维成像图与至少两个分辨率分别对应的热度图的点乘结果进行加权求和，并根据所述加权求和的结果获得所述三维成像图对应的识别结果。

可选的，所述装置还包括：

第二获取模块，在获取所述三维成像图之前，获取已标注有图像属性和对象区域属性的三维成像图样本，所述对象区域属性包括所述三维成像图样本中的对象区域的坐标和尺寸；

热度图构建模块，用于根据所述对象区域属性构建热度图样本；

第一训练模块，用于根据所述三维成像图样本和所述热度图样本进行模型训练，获得所述特征提取模型分支以及图像特征样本，所述图像特征样本是通过所述特征提取模型分支对所述三维成像图样本进行处理获得的图像特征；

第二训练模块，用于根据所述热度图样本、所述图像特征样本以及所述三维成像图样本对应的图像属性进行模型训练，获得所述识别模型分支。

可选的，所述装置还包括：

第三处理模块，用于在所述第一训练模块根据所述三维成像图样本和所述热度图样本进行模型训练，获得所述特征提取模型分支以及图像特征样本之前，对所述热度图样本进行正则化处理，获得正则化处理后的热度图样本；

所述第一训练模块，用于根据所述三维成像图样本和所述正则化处理后的热度图样本进行模型训练，获得所述特征提取模型分支以及图像特征样本。

可选的，所述特征提取模型分支包含三维深度卷积残缺网络以及特征金字塔网络，所述第一处理模块702，用于通过所述三维深度卷积残缺网络从所述三维成像图中提取所述图像特征，并通过所述特征金字塔网络和所述图像特征构建所述热度图。

可选的，所述识别模型分支为基于注意力机制的端到端模型。

可选的，所述三维成像图为电子计算机断层扫描CT图或者核磁共振成像图。

综上所述，本申请实施例所示的装置，对象区域并不作为判断图像属性的主要因素，而是通过检测三维成像图中的对象区域来构建三维成像图的热度图，并基于构建的热度图和指示对象区域的属性特征来判断图像属性，由于构建的热度图能够指示三维成像图的全局特性，相比于单个对象区域的三维成像图来说，全局的热度图能够携带的信息更多，识别的准确性也更高。此外，由于不再通过各个对象区域的属性来识别图像属性，在模型训练过程中也就不需要人工标注对象区域的属性，从而避免了对象区域人工标注准确性较低的问题，进一步提高识别准确性。

此外，本申请实施例中用于识别图像属性的模型是一个端到端的机器学习模型，相比于通过两个或者两个以上机器学习模型相互级联的方式，能够有效降低两个或者两个以上机器学习模型之间级联的累计误差，提高机器学习模型的准确性。

另外，本申请实施例所示的装置，在通过特征提取模型分支对该三维成像图进行处理时，将该三维成像图分割为至少两个三维图像块，并对每个三维图像块分别进行处理，从而减少单次处理的数据量，从而提高模型训练和识别的效率。

此外，本申请实施例所示的装置，在模型训练和识别过程中，对于一个三维成像图可以构建多个不同分辨率下的热度图，并根据不同分辨率下的热度图进行训练或者识别，提高了模型的准确性和识别结果的准确性。

图8是根据一示例性实施例示出的一种计算机设备的结构示意图。所述计算机设备800包括中央处理单元(CPU)801、包括随机存取存储器(RAM)802和只读存储器(ROM)803的系统存储器804，以及连接系统存储器804和中央处理单元801的系统总线805。所述计算机设备800还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)806，和用于存储操作系统813、应用程序814和其他程序模块815的大容量存储设备807。

所述基本输入/输出系统806包括有用于显示信息的显示器808和用于用户输入信息的诸如鼠标、键盘之类的输入设备809。其中所述显示器808和输入设备809都通过连接到系统总线805的输入输出控制器810连接到中央处理单元801。所述基本输入/输出系统806还可以包括输入输出控制器810以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器810还提供输出到显示屏、打印机或其他类型的输出设备。

所述大容量存储设备807通过连接到系统总线805的大容量存储控制器(未示出)连接到中央处理单元801。所述大容量存储设备807及其相关联的计算机可读介质为计算机设备800提供非易失性存储。也就是说，所述大容量存储设备807可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。

不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器804和大容量存储设备807可以统称为存储器。

计算机设备800可以通过连接在所述系统总线805上的网络接口单元811连接到互联网或者其它网络设备。

所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，中央处理器801通过执行该一个或一个以上程序来实现图3或图5所示的方法的全部或者部分步骤。

图9示出了本申请一个示例性实施例提供的终端900的结构框图。该终端900可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio LayerIV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端900还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端900包括有：处理器901和存储器902。

处理器901可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器901可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器901可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器901还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器902可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器902中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器901所执行以实现本申请中方法实施例提供的机器学习模型训练方法或者图像识别方法。

在一些实施例中，终端900还可选包括有：外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。例如，外围设备包括：射频电路904、触摸显示屏905、摄像头906、音频电路907、定位组件908和电源909中的至少一种。

外围设备接口903可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器901和存储器902。在一些实施例中，处理器901、存储器902和外围设备接口903被集成在同一芯片或电路板上；在一些其他实施例中，处理器901、存储器902和外围设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路904用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路904包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路904还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏905用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时，显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时，显示屏905还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏905可以为一个，设置终端900的前面板；在另一些实施例中，显示屏905可以为至少两个，分别设置在终端900的不同表面或呈折叠设计；在再一些实施例中，显示屏905可以是柔性显示屏，设置在终端900的弯曲表面上或折叠面上。甚至，显示屏905还可以设置成非矩形的不规则图形，也即异形屏。显示屏905可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件906用于采集图像或视频。可选地，摄像头组件906包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器901进行处理，或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路907还可以包括耳机插孔。

定位组件908用于定位终端900的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件908可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。

电源909用于为终端900中的各个组件进行供电。电源909可以是交流电、直流电、一次性电池或可充电电池。当电源909包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端900还包括有一个或多个传感器910。该一个或多个传感器910包括但不限于：加速度传感器911、陀螺仪传感器912、压力传感器913、指纹传感器914、光学传感器915以及接近传感器916。

加速度传感器911可以检测以终端900建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器911可以用于检测重力加速度在三个坐标轴上的分量。处理器901可以根据加速度传感器911采集的重力加速度信号，控制触摸显示屏905以横向视图或纵向视图进行用户界面的显示。加速度传感器911还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器912可以检测终端900的机体方向及转动角度，陀螺仪传感器912可以与加速度传感器911协同采集用户对终端900的3D动作。处理器901根据陀螺仪传感器912采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器913可以设置在终端900的侧边框和/或触摸显示屏905的下层。当压力传感器913设置在终端900的侧边框时，可以检测用户对终端900的握持信号，由处理器901根据压力传感器913采集的握持信号进行左右手识别或快捷操作。当压力传感器913设置在触摸显示屏905的下层时，由处理器901根据用户对触摸显示屏905的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器914用于采集用户的指纹，由处理器901根据指纹传感器914采集到的指纹识别用户的身份，或者，由指纹传感器914根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器901授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器914可以被设置终端900的正面、背面或侧面。当终端900上设置有物理按键或厂商Logo时，指纹传感器914可以与物理按键或厂商Logo集成在一起。

光学传感器915用于采集环境光强度。在一个实施例中，处理器901可以根据光学传感器915采集的环境光强度，控制触摸显示屏905的显示亮度。例如，当环境光强度较高时，调高触摸显示屏905的显示亮度；当环境光强度较低时，调低触摸显示屏905的显示亮度。在另一个实施例中，处理器901还可以根据光学传感器915采集的环境光强度，动态调整摄像头组件906的拍摄参数。

接近传感器916，也称距离传感器，通常设置在终端900的前面板。接近传感器916用于采集用户与终端900的正面之间的距离。在一个实施例中，当接近传感器916检测到用户与终端900的正面之间的距离逐渐变小时，由处理器901控制触摸显示屏905从亮屏状态切换为息屏状态；当接近传感器916检测到用户与终端900的正面之间的距离逐渐变大时，由处理器901控制触摸显示屏905从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图9中示出的结构并不构成对终端900的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括计算机程序(指令)的存储器，上述程序(指令)可由计算机设备的处理器执行以完成本申请各个实施例所示的方法的全部或者部分步骤。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (15)

1.一种图像识别方法，其特征在于，所述方法包括：

获取待识别的三维成像图；

通过特征提取模型分支对所述三维成像图进行处理，获得所述三维成像图的图像特征以及热度图，所述图像特征用于指示所述三维成像图中的目标对象所在的区域，所述热度图由所述特征提取模型分支根据所述图像特征构建生成；

通过识别模型分支对所述图像特征以及所述热度图进行识别处理，获得所述三维成像图对应的识别结果，所述识别结果中包含所述三维成像图的图像属性。

2.根据权利要求1所述的方法，其特征在于，所述通过特征提取模型分支对所述三维成像图进行处理，获得所述三维成像图的图像特征以及根据所述图像特征构建的热度图，包括：

通过所述特征提取模型分支对所述三维成像图进行处理，获得所述三维成像图的图像特征以及所述三维成像图与至少两个分辨率分别对应的热度图。

3.根据权利要求1或2所述的方法，其特征在于，所述通过特征提取模型分支对所述三维成像图进行处理，获得所述三维成像图的图像特征以及根据所述图像特征构建的热度图，包括：

将所述三维成像图分割为至少两个三维图像块；

对于所述至少两个三维图像块中的每一个三维图像块，将所述三维图像块输入所述特征提取模型分支，获得所述三维图像块对应的子图像特征以及根据所述子图像特征构建的子热度图；

将所述至少两个三维图像块各自对应的子图像特征组合成所述图像特征；

将所述至少两个三维图像块各自对应的子热度图组合成所述热度图。

4.根据权利要求2所述的方法，其特征在于，所述至少两个分辨率对应各自的权重，所述通过识别模型分支对所述图像特征以及所述热度图进行处理，获得所述三维成像图对应的识别结果，包括：

对于所述三维成像图与至少两个分辨率分别对应的热度图中的每一个热度图，通过所述识别模型分支，将所述图像特征和所述热度图进行点乘，根据所述至少两个分辨率对应的各自的权重，对所述三维成像图与至少两个分辨率分别对应的热度图的点乘结果进行加权求和，并根据加权求和的结果获得所述三维成像图对应的识别结果。

5.根据权利要求1至4任一所述的方法，其特征在于，所述方法还包括：

在获取所述三维成像图之前，获取已标注有图像属性和对象区域属性的三维成像图样本，所述对象区域属性包括所述三维成像图样本中的对象区域的坐标和尺寸；

根据所述对象区域属性构建热度图样本；

根据所述三维成像图样本和所述热度图样本进行模型训练，获得所述特征提取模型分支以及图像特征样本，所述图像特征样本是通过所述特征提取模型分支对所述三维成像图样本进行处理获得的图像特征；

根据所述热度图样本、所述图像特征样本以及所述三维成像图样本对应的图像属性进行模型训练，获得所述识别模型分支。

6.根据权利要求5所述的方法，其特征在于，所述根据所述三维成像图样本和所述热度图样本进行模型训练，获得所述特征提取模型分支以及图像特征样本之前，还包括：

对所述热度图样本进行正则化处理，获得正则化处理后的热度图样本；

所述根据所述三维成像图样本和所述热度图样本进行模型训练，获得所述特征提取模型分支以及图像特征样本，包括：

根据所述三维成像图样本和所述正则化处理后的热度图样本进行模型训练，获得所述特征提取模型分支以及图像特征样本。

7.根据权利要求1至4任一所述的方法，其特征在于，所述特征提取模型分支包含三维深度卷积残缺网络以及特征金字塔网络，所述通过特征提取模型分支对所述三维成像图进行处理，获得所述三维成像图的图像特征以及根据所述图像特征构建的热度图，包括：

通过所述三维深度卷积残缺网络从所述三维成像图中提取所述图像特征，并通过所述特征金字塔网络和所述图像特征构建所述热度图。

8.根据权利要求1至4任一所述的方法，其特征在于，所述识别模型分支为基于注意力机制的端到端模型。

9.根据权利要求1至4任一所述的方法，其特征在于，所述三维成像图为电子计算机断层扫描CT图或者核磁共振成像图。

10.一种图像识别装置，其特征在于，所述装置包括：

第一获取模块，用于获取待识别的三维成像图；

第一处理模块，用于通过特征提取模型分支对所述三维成像图进行处理，获得所述三维成像图的图像特征以及热度图，所述图像特征用于指示所述三维成像图中的目标对象所在的区域，所述热度图由所述特征提取模型分支根据所述图像特征构建生成；

第二处理模块，用于通过识别模型分支对所述图像特征以及所述热度图进行处理，获得所述三维成像图对应的识别结果，所述识别结果中包含所述三维成像图的图像属性。

11.根据权利要求10所述的装置，其特征在于，

所述第一处理模块，用于通过所述特征提取模型分支对所述三维成像图进行处理，获得所述三维成像图的图像特征以及所述三维成像图与至少两个分辨率分别对应的热度图。

12.根据权利要求10或11所述的装置，其特征在于，所述第一处理模块，用于，

将所述三维成像图分割为至少两个三维图像块；

对于所述至少两个三维图像块中的每一个三维图像块，将所述三维图像块输入所述特征提取模型分支，获得所述三维图像块对应的子图像特征以及根据所述子图像特征构建的子热度图；

将所述至少两个三维图像块各自对应的子图像特征组合成所述图像特征；

将所述至少两个三维图像块各自对应的子热度图组合成所述热度图。

13.根据权利要求11所述的装置，其特征在于，所述至少两个分辨率对应各自的权重，所述第二处理模块，用于，

对于所述三维成像图与至少两个分辨率分别对应的热度图中的每一个热度图，通过所述识别模型分支，将所述图像特征和所述热度图进行点乘，根据所述至少两个分辨率对应的各自的权重，对所述三维成像图与至少两个分辨率分别对应的热度图的点乘结果进行加权求和，并根据加权求和的结果获得所述三维成像图对应的识别结果。

14.一种计算机设备，其特征在于，所述计算机设备包含处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至9任一所述的图像识别方法。

15.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至9任一所述的图像识别方法。

Images