CN113256651B - 模型训练方法及装置、图像分割方法及装置 - Google Patents

Abstract

本申请提供了一种模型训练方法及装置、图像分割方法及装置，用于训练包括反馈传播模块的初始分割模型，以生成包括反馈传播模块的图像分割模型。模型训练方法包括：确定待分割图像样本以及与所述待分割图像样本对应的分割标注数据样本；利用所述初始分割模型对所述待分割图像样本进行分割，以确定多个中间分割预测数据，其中，所述多个中间分割预测数据为基于所述反馈传播模块的循环迭代计算的输出结果而确定的分割预测数据；基于所述多个中间分割预测数据，确定所述待分割图像样本对应的分割不确定性数据；基于所述分割不确定性数据、所述多个中间分割预测数据和所述分割标注数据样本，训练所述初始分割模型，以生成所述图像分割模型。

Description

模型训练方法及装置、图像分割方法及装置

技术领域

本申请涉及医学影像处理技术领域，具体涉及一种模型训练方法、图像分割方法、模型训练装置、图像分割装置、电子设备及计算机可读存储介质。

背景技术

在医学影像分析中，对感兴趣区域(Region of Interest，ROI)的分割，对后续分析具有重要的指导作用。但人工手动分割不仅质量参差不齐且工作量巨大，因此，基于深度学习训练图像分割模型，以对医学影像中ROI进行自动分割成为研究热点。

现有的模型训练方法在训练图像分割模型时，由于单向提取特征对图像利用不充分以及标注噪声等因素，导致分割模型的优化方向存在偏差。在利用模型进行分割时会出现过于自信的错误判断，从而导致图像分割模型的分割准确率低。

发明内容

有鉴于此，本申请实施例提供了一种模型训练方法、图像分割方法、模型训练装置、图像分割装置、电子设备及计算机可读存储介质，以解决现有技术中模型训练时优化方向偏差导致的模型分割准确率低的技术问题。

根据本申请的一个方面，本申请一实施例提供的一种模型训练方法，用于训练包括反馈传播模块的初始分割模型，以生成包括所述反馈传播模块的图像分割模型，所述方法包括：确定待分割图像样本以及与所述待分割图像样本对应的分割标注数据样本；利用所述初始分割模型对所述待分割图像样本进行分割，以确定多个中间分割预测数据，其中，所述多个中间分割预测数据为基于所述反馈传播模块的循环迭代计算的输出结果而确定的分割预测数据；基于所述多个中间分割预测数据，确定所述待分割图像样本对应的分割不确定性数据；基于所述分割不确定性数据、所述多个中间分割预测数据和所述分割标注数据样本，训练所述初始分割模型，以生成所述图像分割模型。

在一个实施例中，所述循环迭代计算的次数为N，N为大于或等于2的正整数，其中，所述基于所述分割不确定性数据、所述多个中间分割预测数据和所述分割标注数据样本，训练所述初始分割模型，以生成所述图像分割模型，包括：基于第1次至第N-1次的循环迭代计算对应的中间分割预测数据和所述分割标注数据样本，确定N-1个中间损失函数；结合所述分割不确定性数据，基于第N次的循环迭代计算对应的中间分割预测数据和所述分割标注数据样本，确定结合不确定性的损失函数；基于所述N-1个中间损失函数和所述结合不确定性的损失函数，训练所述初始分割模型，以生成所述图像分割模型。

在一个实施例中，所述结合所述分割不确定性数据，基于第N次的循环迭代计算对应的中间分割预测数据和所述分割标注数据样本，确定结合不确定性的损失函数，包括：对所述第N次的循环迭代计算对应的中间分割预测数据和所述分割标注数据样本进行损失计算，以确定第一初始损失值；以所述分割不确定数据为权重值，对所述第一初始损失值进行加权运算，获取加权运算后损失值；基于交叉熵函数和所述加权运算后损失值，获取所述结合不确定性的损失函数。

在一个实施例中，所述基于第1次至第N-1次的循环迭代计算对应的中间分割预测数据和所述分割标注数据样本，确定N-1个中间损失函数，包括：针对所述第1次至第N-1次的循环迭代计算对应的中间分割预测数据中的每个中间分割预测数据，对所述中间分割预测数据和所述分割标注数据样本进行损失计算，以确定所述中间分割预测数据对应的第二初始损失值；基于交叉熵函数和所述第1次至第N-1次的循环迭代计算对应的中间分割预测数据对应的N-1个第二初始损失值，确定所述N-1个中间损失函数。

在一个实施例中，所述基于所述N-1个中间损失函数和所述结合不确定性的损失函数，训练所述初始分割模型，以生成所述图像分割模型，包括：叠加所述N-1个中间损失函数和所述结合不确定性的损失函数，获取叠加运算后损失函数；基于所述叠加运算后损失函数，训练所述初始分割模型，以生成所述图像分割模型。

在一个实施例中，所述基于所述多个中间分割预测数据，确定所述待分割图像样本对应的分割不确定性数据，包括：针对所述多个中间分割预测数据中的每个中间分割预测数据，确定所述中间分割预测数据中每个像素的预测值，所述预测值用于表征像素属于感兴趣区域的概率；基于置信度计算公式，对所述多个中间分割预测数据中位于相同像素坐标处的多个像素的预测值进行置信度计算，获得每个像素坐标对应的置信度值；以所述每个像素坐标对应的置信度值构成矩阵，获取所述分割不确定性数据。

在一个实施例中，所述利用所述初始分割模型对所述待分割图像样本进行分割，以确定多个中间分割预测数据，包括：基于所述待分割图像样本，确定与所述待分割图像样本对应的全局共享特征数据；基于所述全局共享特征数据和所述反馈传播模块的第M次的循环迭代计算对应的特征数据，确定第M+1次的循环迭代计算对应的特征数据，其中，M为小于N的正整数，N为大于或等于2的正整数；基于第1次至第N次的循环迭代计算各自对应的特征数据，确定所述多个中间分割预测数据。

在一个实施例中，所述初始分割模型包括低级特征提取模块，其中，所述基于所述待分割图像样本，确定与所述待分割图像样本对应的全局共享特征数据，包括：将所述待分割图像样本输入所述低级特征提取模块，以获取所述全局共享特征数据。

根据本申请的另一个方面，本申请一实施例提供的一种图像分割方法，包括：获取待分割图像；将所述待分割图像输入图像分割模型，以确定与所述待分割图像对应的分割预测数据，其中，所述图像分割模型基于上述任一实施例所述的模型训练方法训练得到。

在一个实施例中，所述图像分割模型用于基于所述待分割图像生成所述待分割图像对应的分割预测数据和分割不确定性数据，所述方法还包括：基于所述分割不确定性数据，生成与所述待分割图像对应的分割不确定性热力图。

根据本申请的另一个方面，本申请一实施例提供的一种模型训练装置，用于训练包括反馈传播模块的初始分割模型，以生成包括所述反馈传播模块的图像分割模型，所述装置包括：第一确定模块，配置为确定待分割图像样本以及与所述待分割图像样本对应的分割标注数据样本；第二确定模块，配置为利用所述初始分割模型对所述待分割图像样本进行分割，以确定多个中间分割预测数据，其中，所述多个中间分割预测数据为基于所述反馈传播模块的循环迭代计算的输出结果而确定的分割预测数据；第三确定模块，配置为基于所述多个中间分割预测数据，确定所述待分割图像样本对应的分割不确定性数据；生成模块，配置为基于所述分割不确定性数据、所述多个中间分割预测数据和所述分割标注数据样本，训练所述初始分割模型，以生成所述图像分割模型。

根据本申请的另一个方面，本申请一实施例提供的一种图像分割装置，包括：获取模块，配置为获取待分割图像；图像分割模块，配置为将所述待分割图像输入图像分割模型，以确定与所述待分割图像对应的分割预测数据，其中，所述图像分割模型基于上述任一实施例所述的模型训练方法训练得到。

根据本申请的又一个方面，本申请一实施例提供了一种电子设备，该电子设备包括：处理器；存储器；以及存储在存储器中的计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行如上述任一实施例所述的方法。

根据本申请的又一方面，本申请一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上述任一实施例所述的方法。

本申请实施例提供的模型训练方法，对包括反馈传播模块的初始分割模型进行训练，以生成包括反馈传播模块的图像分割模型。具体地，基于反馈传播模块的循环迭代计算的输出结果，以确定多个中间预测分割数据；基于多个中间预测分割数据，确定待分割图像样本对应的分割不确定性数据；基于分割不确定性数据、多个中间分割预测数据和分割标注数据样本，训练初始分割模型，以生成图像分割模型。

反馈传播模块使上一个循环迭代计算输出的信息反馈回当前循环迭代计算中，使得每个循环迭代计算都能更充分地利用图像信息，从而有利于提高图像分割模型的分割准确性。利用多个中间预测分割数据在模型训练过程中就确定本模型的分割不确定性数据，并结合不确定性数据优化损失函数，使得模型优化向降低分割不确定性的方向优化，从而进一步提高图像分割模型的分割准确性。

附图说明

图1所示为本申请一实施例提供的一种模型训练方法的流程示意图。

图2所示为本申请一实施例提供的一种模型训练方法的流程示意图。

图3所示为本申请一实施例提供的一种模型训练方法的流程示意图。

图4所示为本申请一实施例提供的一种模型训练方法的流程示意图。

图5所示为本申请一实施例提供的一种模型训练方法的流程示意图。

图6所示为本申请一实施例提供的一种模型训练方法的流程示意图。

图7a所示为本申请一实施例提供的一种模型训练方法的流程示意图。

图7b为图7a所示实施例中基于待分割图像样本确定与待分割图像样本对应的多个中间分割预测数据的流程示意图。

图8所示为本申请一实施例提供的一种图像分割方法的流程示意图。

图9所示为本申请一实施例提供的一种模型训练装置的结构示意图。

图10所示为本申请一实施例提供的一种模型训练装置的结构示意图。

图11所示为本申请一实施例提供的一种图像分割装置的结构示意图。

图12所示为本申请一实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在医学影像分析中，对病灶区域等感兴趣区域(Region of Interest，ROI)的分割，对后续分析具有重要的指导作用。目前临床上多采用人工手动标注。但由于医学影像的类型众多且大部分是高维数据，人工手动分割工作量巨大。并且受医生主观经验以及其他因素影响，使得人工标准的质量参差不齐。因此，基于深度学习训练图像分割模型，以对医学影像中ROI进行自动分割成为研究热点。

现有的模型训练方法在训练图像分割模型时，往往仅进行单向提取特征，无法充分利用图像信息。此外，由于医学影像中存在难以定义的模糊区域，导致ROI分割过程中存在标注噪声的问题。在利用模型进行分割时会出现过于自信的错误判断，从而导致图像分割模型的分割准确率低。

分割过程中的单向提取特征，即进行特征提取时为单向传播。在分割过程中，原始图像先输入到第一个阶段，然后将每个阶段的输出作为下一个阶段的输入，直到最后一个阶段，将最后一个阶段的输出作为分割预测数据。

示例性模型训练方法

图1所示为本申请一实施例提供的一种模型训练方法的流程示意图。该模型训练方法用于训练包括反馈传播模块的初始分割模型，以生成包括反馈传播模块的图像分割模型。本申请的所有实施例提供的模型训练方法，均用于训练包括反馈传播模块的初始分割模型，以生成包括反馈传播模块的图像分割模型，对于本申请提供的模型训练方法的具体应用场景在后续实施例中不在赘述。

反馈传播模块是基于反馈传播机制形成的神经网络模块，该神经网络模块是一个循环结构，包括多个循环迭代计算。将上一次循环迭代计算的输出结果结合到当前循环迭代计算中，使上一个循环迭代计算提炼出的信息反馈回当前循环迭代计算，从而更充分地利用图像信息。

如图1所示，该模型训练方法包括如下步骤。

步骤101：确定待分割图像样本以及与待分割图像样本对应的分割标注数据样本。

具体而言，待分割图像样本可以为已经将感兴趣区域分割并标记出来的电子计算机断层扫描(Computed Tomography，CT)医学影像，相应地，与待分割图像样本对应的分割标注数据样本即为CT医学影像上的标记。例如：待分割图像样本可以是已经标记出肺部肿瘤等感兴趣区域的肺部电子计算机断层扫描(Computed Tomography，CT)。

步骤102：利用初始分割模型对待分割图像样本进行分割，以确定多个中间分割预测数据。

示例性的，多个中间分割预测数据为基于反馈传播模块的循环迭代计算计算的输出结果而确定的分割预测数据。

具体而言，由于初始分割模型包括反馈传播模块，反馈传播模块包括多个循环迭代计算，每个循环迭代计算均有一个输出结果，基于该输出结果可以确定一个中间分割预测数据，从而，利用初始分割模型对待分割图像样本进行分割，可以确定多个中间分割预测数据。此外，由于上一个循环迭代计算输出的信息反馈回当前循环迭代计算中，使得每个循环迭代计算都能更充分地利用图像信息，以使得训练好的图像分割模型在进行分割时可以更充分的利用图像信息，以进行精准分割。

步骤103：基于多个中间分割预测数据，确定待分割图像样本对应的分割不确定性数据。

需要说明的是，分割不确定性数据用于表征分割模型获得的分割预测数据的确定程度。

具体而言，由于初始分割模型包括反馈传播模块，反馈传播模块包括多个循环迭代计算，并且基于每个循环迭代计算的输出结果确定一个中间分割预测数据，从而可以确定多个中间分割预测数据。而基于多个中间分割预测数据，就能确定待分割图像样本对应的分割不确定性数据，使得在模型训练过程中就能确定分割不确定性数据。

现有技术中一般采用一个模型对不同的多个待分割图像样本进行分割，以确定模型的不确定性数据，或者采用多个模型对同一待分割图像样本进行分割，以确定模型的不确定性数据，现有技术中的不确定性数据都是在模型训练完毕之后获得的，用于表征已经训练完毕模型的分割确定程度。而本申请实施例中，在模型训练过程中就能确定分割不确定性数据，同时，利用分割不确定性数据优化分割模型。

步骤104：基于分割不确定性数据、多个中间分割预测数据和分割标注数据样本，训练初始分割模型，以生成图像分割模型。

具体而言，现有技术中，在训练初始分割模型时，采用单向流动方式，将待检测图像先输入到第一个阶段，然后将每个阶段的输出作为下一个阶段的输入，直到最后一个阶段，将最后一个阶段的输出作为分割预测数据。由于现有技术中只输出最后一个阶段的数输出结果，只能利用最后一个阶段的分割预测数据与分割标注数据样本计算损失函数，以训练初始分割模型，无法将每个循环迭代计算的预测差异都作用于训练初始分割模型。

而本申请中实施例中，由于具有反馈传播模块且反馈传播模块包括多个循环迭代计算，从而可以获得多个中间预测分割数据。利用多个中间预测分割数据即可确定分割不确定性数据。并且以分割标注数据样本为参考值，并结合分割不确定性数据，计算中间分割预测数据和参考值之间的损失函数，训练初始分割模型。不仅可以使每个循环迭代计算的预测差异都作用于训练初始分割模型。并且，由于分割不确定性数据可以表征分割结果的确定程度，结合分割不确定数据训练初始分割模型，可以是使初始分割模型的优化方向往更加确定的方向靠近，从而提高ROI分割的准确性。

本申请实施例中，反馈传播模块使上一个循环迭代计算输出的信息反馈回当前循环迭代计算中，使得每个循环迭代计算都能更充分地利用图像信息，从而有利于提高图像分割模型的分割准确性。利用多个中间预测分割数据在模型训练过程中就确定本模型的分割不确定性数据，并结合不确定性数据优化损失函数，使得模型优化向降低分割不确定性的方向优化，从而进一步提高图像分割模型的分割准确性。

图2所示为本申请一实施例提供的一种模型训练方法的流程示意图。其中，循环迭代计算的次数为N，N为大于或等于2的正整数，如图2所示，基于分割不确定性数据、多个中间分割预测数据和分割标注数据样本，训练初始分割模型，以生成图像分割模型步骤，包括如下步骤。

步骤201：基于第1次至第N-1次的循环迭代计算对应的中间分割预测数据和分割标注数据样本，确定N-1个中间损失函数。

具体而言，以分割标注数据样本为参考值，分别计算第1次至第N-1次的循环迭代计算对应的中间分割预测数据与分割标注数据样本的损失函数，确定N-1个中间损失函数。

步骤202：结合分割不确定性数据，基于第N次的循环迭代计算对应的中间分割预测数据和分割标注数据样本，确定结合不确定性的损失函数。

具体而言，利用第1次至第N-1次的循环迭代计算对应的中间分割预测数据，可以确定分割不确定数据。将分割不确定性数据结合到第N次的循环迭代计算对应的中间分割预测数据和分割标注数据样本的损失计算中，获得结合不确定性的损失函数。

步骤203：基于N-1个中间损失函数和结合不确定性的损失函数，训练初始分割模型，以生成图像分割模型。

具体而言，基于N-1个中间损失函数和结合不确定性的损失函数，训练初始分割模型，具有以下优点。首先，使每个循环迭代计算中的预测差异均能用于调整损失函数，使每个循环迭代计算都可以作用于训练初始分割模型，使得优化方向以对ROI进行精确分割为目标。其次，结合不确定性的损失函数优化模型，使得模型确定的分割给予更加确定，对模型不确定的分割给予一定宽容，降低发生过度自信的优化的概率，从而提高分割模型分割准确率。

需要说明的是，N的取值大于或者等于2，可以根据反馈传播模块的具体应用场景而决定，本申请实施例，对N的取值上限不做具体限定。

本申请实施例中，基于第1次至第N-1次的循环迭代计算对应的中间分割预测数据和分割标注数据样本，确定N-1个中间损失函数，结合分割不确定性数据，基于第N次的循环迭代计算对应的中间分割预测数据和分割标注数据样本，确定结合不确定性的损失函数，基于N-1个中间损失函数和结合不确定性的损失函数，训练初始分割模型。使每个循环迭代计算都作用于训练初始分割模型，使得优化方向以对ROI进行精确分割为目标，而且结合不确定性的损失函数优化模型，降低发生过度自信的优化的概率，从而提高分割模型分割准确率。

图3所示为本申请一实施例提供的一种模型训练方法的流程示意图。如图3所示，结合分割不确定性数据，基于第N次的循环迭代计算对应的中间分割预测数据和分割标注数据样本，确定结合不确定性的损失函数步骤，包括如下步骤。

步骤301：对第N次的循环迭代计算对应的中间分割预测数据和分割标注数据样本进行损失计算，以确定第一初始损失值。

具体而言，分割标注数据样本为参考值，对第N次的循环迭代计算对应的中间分割预测数据和分割标注数据样本进行损失计算，以确定第一初始损失值。

步骤302：以分割不确定数据为权重值，对第一初始损失值进行加权运算，获取加权运算后损失值。

具体而言，采用分割不确定数据为权重值，对第一初始损失值进行加权运算，利用加权后的损失值来记性后续计算。

步骤303：基于交叉熵函数和加权运算后损失值，获取结合不确定性的损失函数。

具体而言，将分割不确定性数据引入损失函数的计算中，结合不确定性的损失函数训练初始分割模型，迫使分割预测模型获得更多高置信度的预测。

本申请实施例中，采用分割不确定数据为权重值，对第一初始损失值进行加权运算，利用加权后的损失值，并将分割不确定性数据引入损失函数的计算，结合不确定性的损失函数训练初始分割模型，迫使分割预测模型获得更多高置信度的预测。

图4所示为本申请一实施例提供的一种模型训练方法的流程示意图。如图4所示，基于第1次至第N-1次的循环迭代计算对应的中间分割预测数据和分割标注数据样本，确定N-1个中间损失函数步骤，包括如下步骤。

步骤401：针对第1次至第N-1次的循环迭代计算对应的中间分割预测数据中的每个中间分割预测数据，对中间分割预测数据和分割标注数据样本进行损失计算，以确定中间分割预测数据对应的第二初始损失值。

具体而言，为了使每个循环迭代计算中的预测差异均能用于调整损失函数，分别对N-1个第1次至第N-1次的循环迭代计算对应的中间分割预测数据中的每个中间分割预测数据和分割标注数据样本进行损失计算，以确定第1次至第N-1次的循环迭代计算对应的中间分割预测数据对应的N-1个第二初始损失值。

步骤402：基于交叉熵函数和第1次至第N-1次的循环迭代计算对应的中间分割预测数据对应的N-1个第二初始损失值，确定N-1个中间损失函数。

具体而言，采用交叉熵函数计算中间损失函数。

本申请实施例中，使每个循环迭代计算都可以作用于训练初始分割模型，采用上述损失函数计算方法，获得N-1个中间损失函数。

图5所示为本申请一实施例提供的一种模型训练方法的流程示意图。如图5所示，基于N-1个中间损失函数和结合不确定性的损失函数，训练初始分割模型，以生成图像分割模型步骤，包括如下步骤。

步骤501：叠加N-1个中间损失函数和结合不确定性的损失函数，获取叠加运算后损失函数。

具体而言，为了使每个循环迭代计算中的预测差异均能用于调整损失函数，将N-1个中间损失函数和结合不确定性的损失函数叠加，获取叠加运算后损失函数。

步骤502：基于叠加运算后损失函数，训练初始分割模型，以生成图像分割模型。

具体而言，利用所有循环迭代计算中的预测差异的反馈叠加，来训练初始分割模型，以使得生成的图像分割模型具有更高的分割准确率。

本申请实施例中，将N-1个中间损失函数和结合不确定性的损失函数叠加，以使每个循环迭代计算中的预测差异均能用于调整损失函数，从而训练初始分割模型，使得生成的图像分割模型具有更高的分割准确率。

图6所示为本申请一实施例提供的一种模型训练方法的流程示意图。如图6所示，基于多个中间分割预测数据，确定待分割图像样本对应的分割不确定性数据步骤，包括如下步骤。

步骤601：针对多个中间分割预测数据中的每个中间分割预测数据，确定中间分割预测数据中每个像素的预测值。

示例性的，预测值用于表征像素属于感兴趣区域的概率。

具体而言，例如将N个中间预测分割数据，分别记为Seg_1,Seg_2,……,Seg_N，其中N为迭代循环次数。针对N个中间分割预测数据中的每个中间分割预测数据，确定中间分割预测数据中每个像素的预测值，记为Seg_N(x,y)，其中N为迭代循环次数，x和y分别为中间分割预测数据中每个像素在对应坐标系中的像素坐标，Seg_N(x,y)用于表征像素属于感兴趣区域的概率，取值范围为0-1。

步骤602：基于置信度计算公式，对多个中间分割预测数据中位于相同像素坐标处的多个像素的预测值进行置信度计算，获得每个像素坐标对应的置信度值。

具体而言，基于置信度计算公式，对多个中间分割预测数据中位于相同像素坐标处的多个像素的预测值进行置信度计算，获得每个像素坐标对应的置信度值，并记为Conf(x,y)，x和y分别为在对应坐标系中的像素坐标，Conf(x,y)的取值范围为0-1，Conf(x,y)的值越趋近于1，表示分割预测数据越确定，Conf(x,y)的值越趋近于0，表示分割预测数据越不确定。

可选地，计算公式为：

Conf(x,y)＝1-Var[Seg_1(x,y),Seg_2(x,y),Seg_N(x,y)]/E。

其中，Var表示方差计算，E表示一个超参数，用于控制Conf(x,y)的值在0-1之间。

步骤603：以每个像素坐标对应的置信度值构成矩阵，获取分割不确定性数据。

具体而言，进行置信度计算后，以每个像素坐标对应的置信度值构成矩阵，获取分割不确定性数据。即，分割不确定性数据是一个矩阵，矩阵中的每个像素坐标处的数值为基于N个中间分割预测数据中位于相同像素坐标处的多个像素的预测值进行置信度计算而获得。

本申请实施例中，针对多个中间分割预测数据中位于相同像素坐标处的多个像素的预测值进行逐像素置信度计算，获得矩阵，获取分割不确定性数据。

图7a所示为本申请一实施例提供的一种模型训练方法的流程示意图。如图7a所示，利用初始分割模型对待分割图像样本进行分割，以确定多个中间分割预测数据步骤，包括如下步骤。

步骤701：基于待分割图像样本，确定与待分割图像样本对应的全局共享特征数据。

可选地，初始分割模型包括低级特征提取模块，基于待分割图像样本，确定与待分割图像样本对应的全局共享特征数据，包括：将待分割图像样本输入低级特征提取模块，以获取全局共享特征数据。

需要说明的是，全局共享特征数据为从待分割图像样本中提取的通用的特征，例如边缘或者交点等。

低级特征提取模块可以采用RNN、CNN和Transformer等神经网络模型。

步骤702：基于全局共享特征数据和反馈传播模块的第M次的循环迭代计算对应的特征数据，确定第M+1次的循环迭代计算对应的特征数据。

示例性的，M为小于N的正整数，N为大于或等于2的正整数。

具体而言，参考人类的视觉信号传播过程可知，从低级信息中提炼的高级信息是可以反馈回低级信息。对全局共享特征数据和第M次的循环迭代计算对应的特征数据结合并进行特征提取，使第M次的循环迭代计算高级信息反馈回M+1次算低级循环迭代计算，获得表达能力更强的特征，以更充分利用待检测图像的信息。

可选的，反馈传播模块是一个包括多个循环迭代计算的特征提取器。

步骤703：基于第1次至第N次的循环迭代计算各自对应的特征数据，确定多个中间分割预测数据。

可选地，基于第1次至第N次的循环迭代计算对应的特征数据，获取多个中间分割预测数据步骤，包括分别将第1次至第N次的循环迭代计算中对应的特征数据输入分割预测模块，以获取多个中间分割数据。

图7b为图7a所示实施例中基于待分割图像样本确定与待分割图像样本对应的多个中间分割预测数据的流程示意图。

如图7b所示，基于待分割图像样本确定与待分割图像样本对应的多个中间分割预测数据包括如下步骤。将待检测图像样本输入到低级特征提取模块进行特征提取，获取全局共享特征数据。在反馈传播模块的迭代循环过程1中，输入全局共享特征数据进行进一步特征提取，获取迭代循环过程1对应的特征数据，在迭代循环过程2-N中，输入全局共享特征数据和第M次的循环迭代计算对应的特征数据，对二者做特征提取，输出与第M+1次的循环迭代计算对应的特征数据，使用第M次的循环迭代计算得到的高级特征数据与全局共享的低级特征进行结合，在第M+1次的循环迭代计算中获得表达能力更强的特征，进而在每个循环迭代计算都获得表达能力更强的特征。第1次至第N次的循环迭代计算中对应的特征数据输入分割预测模块，获得N个中间预测分割数据。

本申请实施例中，将第M次的循环迭代计算对应的特征数据与全局共享的低级特征进行结合，第M+1次的循环迭代计算中获得表达能力更强的特征，并基于第1次至第N次的循环迭代计算中对应的特征数据，获取多个中间分割预测数据，充分利用待检测图像的信息，以使得分割预测数据更为准确。

示例性图像分割方法

图8所示为本申请一实施例提供的一种图像分割方法的流程示意图。如图8所示，该图像分割方法包括如下步骤。：

步骤801：获取待分割图像。

具体而言，待分割图像为需要对病灶区域进行分割的图像，可以为肺部CT图像以及脑部CT图像等。

步骤802：将待分割图像输入图像分割模型，以确定与待分割图像对应的分割预测数据。

示例性的，图像分割模型基于上述任一实施例所述的模型训练方法训练得到。

由于上述任一实施例所述的模型训练方法，利用反馈传播机制使上一个循环迭代计算输出的信息反馈回当前循环迭代计算中，使得每个循环迭代计算都能更充分地利用图像信息，并且利用多个中间预测分割数据在模型训练过程中就确定本模型的分割不确定性数据，并结合不确定性数据优化损失函数，使得模型优化向降低分割不确定性的方向优化。本申请实施例中，将待分割图像输入采用上述任一实施例所述的模型训练方法训练得到的图像分割模型，可以获得精准的分割预测数据。

在一个实施例中，该图像分割方法，还包括：将待分割图像输入图像分割模型，以确定与待分割图像对应的分割不确定性数据，基于分割不确定性数据，确定与待分割图像对应的分割不确定性热力图。将待分割图像输入采用上述任一所述的模型训练方法训练得到的图像分割模型，不仅可以获得精准的ROI分割数据，还能直接输出多个分别基于循环迭代计算输出结果确定的中间预测分割数据，基于中间预测分割数据可以获得不确定性数据，基于不确定数据可以获得与分割图像对应的分割不确定性热力图，更为直观地辅助医生对分割结果进行判断。

示例性模型训练装置

图9所示为本申请一实施例提供的一种模型训练装置的结构示意图。该模型训练装置用于训练包括反馈传播模块的初始分割模型，以生成包括所述反馈传播模块的图像分割模型。如图9所示，该模型训练装置100包括：第一确定模块101，配置为确定待分割图像样本以及与待分割图像样本对应的分割标注数据样本；第二确定模块102，配置为利用初始分割模型对待分割图像样本进行分割，以确定多个中间分割预测数据，其中，多个中间分割预测数据为基于反馈传播模块的循环迭代计算的输出结果而确定的分割预测数据；第三确定模块103，配置为基于多个中间分割预测数据，确定待分割图像样本对应的分割不确定性数据；生成模块104，配置为基于分割不确定性数据、多个中间分割预测数据和分割标注数据样本，训练初始分割模型，以生成图像分割模型。

本申请实施例中，第二确定模块102通过反馈传播模块使上一个循环迭代计算输出的信息反馈回当前循环迭代计算中，使得每个循环迭代计算都能更充分地利用图像信息，从而获得多个中间预测分割数据，第三确定模块103利用多个中间预测分割数据在模型训练过程中就确定本模型的分割不确定性数据，生成模块104结合不确定性数据优化损失函数，使得模型优化向降低分割不确定性的方向优化，从而进一步提高生成的图像分割模型的分割准确性。

图10所示为本申请一实施例提供的一种模型训练装置的结构示意图。如图10所示，调整模块104包括：中间损失函数确定单元1041，配置为基于第1次至第N-1次的循环迭代计算对应的第一中间分割预测数据和所述分割标注数据样本，确定N-1个中间损失函数；不确定性的损失函数确定单元1042，合所述分割不确定性数据，基于第N次的循环迭代计算对应的第二中间分割预测数据和所述分割标注数据样本，确定结合不确定性的损失函数；生成单元1043，配置为基于N-1个中间损失函数和结合不确定性的损失函数，训练初始分割模型，以生成图像分割模型。

在一个实施例中，不确定性的损失函数确定单元1042进一步包括：第一初始损失值确定子单元10421，配置为对第N次的循环迭代计算对应的中间分割预测数据和分割标注数据样本进行损失计算，以确定第一初始损失值；加权运算子单元10422，配置为以分割不确定数据为权重值，对第一初始损失值进行加权运算，获取加权运算后损失值；不确定性的损失函数子单元10423，配置为基于交叉熵函数和加权运算后损失值，获取结合不确定性的损失函数。

在一个实施例中，中间损失函数确定单元1041进一步包括：第二初始损失值确定子单元10411，配置为针对第1次至第N-1次的循环迭代计算对应的中间分割预测数据中的每个中间分割预测数据，对中间分割预测数据和分割标注数据样本进行损失计算，以确定中间分割预测数据对应的第二初始损失值；中间损失函数确定子单元10412，基于交叉熵函数和第1次至第N-1次的循环迭代计算对应的中间分割预测数据对应的N-1个第二初始损失值，确定N-1个中间损失函数。

在一个实施例中，生成单元1043进一步包括：叠加子单元10431，配置为叠加N-1个中间损失函数和结合不确定性的损失函数，获取叠加运算后损失函数；生成子单元10432，配置为基于叠加运算后损失函数，训练初始分割模型，以生成图像分割模型。

在一个实施例中，第三确定模块103进一步包括：像素预测值确定单元1031，配置为针对多个中间分割预测数据中的每个中间分割预测数据，确定中间分割预测数据中每个像素的预测值，预测值用于表征像素属于感兴趣区域的概率；置信度值获取单元1032，配置为基于置信度计算公式，对多个中间分割预测数据中位于相同像素坐标处的多个像素的预测值进行置信度计算，获得每个像素坐标对应的置信度值；分割不确定性数据确定单元1033，配置为以每个像素坐标对应的置信度值构成矩阵，获取分割不确定性数据。

在一个实施例中，第二确定模块102进一步包括：第一特征确定单元1021，配置为基于待分割图像样本，确定与待分割图像样本对应的全局共享特征数据；第二特征确定单元1022，配置为基于全局共享特征数据和反馈传播模块的第M次的循环迭代计算对应的特征数据，确定第M+1次的循环迭代计算对应的特征数据；其中，M为小于N的正整数，N为大于或等于2的正整数；中间分割预测数据确定单元1023，配置为基于第1次至第N次的循环迭代计算各自对应的特征数据，确定多个中间分割预测数据。

在一个实施例中，初始分割模型包括低级特征提取模块，第一特征确定单元1021进一步配置为将待分割图像样本输入低级特征提取模块，以获取全局共享特征数据。

示例性图像分割装置

图11所示为本申请一实施例提供的一种图像分割装置的结构示意图。如图11所示，该图像分割装置200包括：获取模块201，配置为获取待分割图像；图像分割模块202，配置为将待分割图像输入图像分割模型，以确定与待分割图像对应的分割预测数据，其中，图像分割模型基于上述任一所述的模型训练方法训练得到。

在一个进一步实施例中，该模型训练装置200还包括，分割不确定性数据确定模块，配置为将待分割图像输入图像分割模型，以确定与待分割图像对应的分割不确定性数据；第一输出模块，配置为基于分割不确定性数据，确定与待分割图像对应的分割不确定性热力图。

示例性电子设备

图12所示为本申请一实施例提供的电子设备的结构示意图。如图12所示，电子设备300包括一个或多个处理器310和存储器320。

处理器310可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备300中的其他组件以执行期望的功能。

存储器320可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器310可以运行所述程序指令，以实现上文所述的本申请的各个实施例的模型训练方法和图像分割方法以及/或者其他期望的功能。

在一个示例中，电子设备300还可以包括：输入装置330和输出装置340，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，该输入装置330可以是CT仪器。该输出设备240可以包括例如显示器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图3中仅示出了该电子设备300中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备300还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性模型训练方法”部分中描述的根据本申请各种实施例的模型训练方法中的步骤，或者“示例性图像分割方法”部分中描述的根据本申请各种实施例的图像分割方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的步骤式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性模型训练方法”部分中描述的根据本申请各种实施例的模型训练方法中的步骤，或者“示例性图像分割方法”部分中描述的根据本申请各种实施例的图像分割方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (12)

1.一种模型训练方法，其特征在于，用于训练包括反馈传播模块的初始分割模型，以生成包括所述反馈传播模块的图像分割模型，其中，所述反馈传播模块是一个包括多个循环迭代计算的特征提取器，所述方法包括：

确定待分割图像样本以及与所述待分割图像样本对应的分割标注数据样本；

利用所述初始分割模型对所述待分割图像样本进行分割，以确定多个中间分割预测数据，其中，所述多个中间分割预测数据为基于所述反馈传播模块的循环迭代计算的输出结果而确定的分割预测数据；

基于所述多个中间分割预测数据，确定所述待分割图像样本对应的分割不确定性数据，所述分割不确定性数据用于表征分割模型获得的分割预测数据的确定程度；

基于所述分割不确定性数据、所述多个中间分割预测数据和所述分割标注数据样本，训练所述初始分割模型，以生成所述图像分割模型；

其中，所述循环迭代计算的次数为N，N为大于或等于2的正整数；

其中，所述利用所述初始分割模型对所述待分割图像样本进行分割，以确定多个中间分割预测数据，包括：

基于所述待分割图像样本，确定与所述待分割图像样本对应的全局共享特征数据；

基于所述全局共享特征数据和所述反馈传播模块的第M次的循环迭代计算对应的特征数据，确定第M+1次的循环迭代计算对应的特征数据，其中，M为小于N的正整数，N为大于或等于2的正整数；

基于第1次至第N次的循环迭代计算各自对应的特征数据，确定所述多个中间分割预测数据；

其中，所述基于所述分割不确定性数据、所述多个中间分割预测数据和所述分割标注数据样本，训练所述初始分割模型，以生成所述图像分割模型，包括：

基于第1次至第N-1次的循环迭代计算对应的中间分割预测数据和所述分割标注数据样本，确定N-1个中间损失函数；

结合所述分割不确定性数据，基于第N次的循环迭代计算对应的中间分割预测数据和所述分割标注数据样本，确定结合不确定性的损失函数；

基于所述N-1个中间损失函数和所述结合不确定性的损失函数，训练所述初始分割模型，以生成所述图像分割模型。

2.根据权利要求1所述的模型训练方法，其特征在于，所述结合所述分割不确定性数据，基于第N次的循环迭代计算对应的中间分割预测数据和所述分割标注数据样本，确定结合不确定性的损失函数，包括：

对所述第N次的循环迭代计算对应的中间分割预测数据和所述分割标注数据样本进行损失计算，以确定第一初始损失值；

以所述分割不确定性 数据为权重值，对所述第一初始损失值进行加权运算，获取加权运算后损失值；

基于交叉熵函数和所述加权运算后损失值，获取所述结合不确定性的损失函数。

3.根据权利要求1所述的模型训练方法，其特征在于，所述基于第1次至第N-1次的循环迭代计算对应的中间分割预测数据和所述分割标注数据样本，确定N-1个中间损失函数，包括：

针对所述第1次至第N-1次的循环迭代计算对应的中间分割预测数据中的每个中间分割预测数据，对所述中间分割预测数据和所述分割标注数据样本进行损失计算，以确定所述中间分割预测数据对应的第二初始损失值；

基于交叉熵函数和所述第1次至第N-1次的循环迭代计算对应的中间分割预测数据对应的N-1个第二初始损失值，确定所述N-1个中间损失函数。

4.根据权利要求1至3任一所述的模型训练方法，其特征在于，所述基于所述N-1个中间损失函数和所述结合不确定性的损失函数，训练所述初始分割模型，以生成所述图像分割模型，包括：

叠加所述N-1个中间损失函数和所述结合不确定性的损失函数，获取叠加运算后损失函数；

基于所述叠加运算后损失函数，训练所述初始分割模型，以生成所述图像分割模型。

5.根据权利要求1至3中任一所述的模型训练方法，其特征在于，所述基于所述多个中间分割预测数据，确定所述待分割图像样本对应的分割不确定性数据，包括：

针对所述多个中间分割预测数据中的每个中间分割预测数据，确定所述中间分割预测数据中每个像素的预测值，所述预测值用于表征像素属于感兴趣区域的概率；

基于置信度计算公式，对所述多个中间分割预测数据中位于相同像素坐标处的多个像素的预测值进行置信度计算，获得每个像素坐标对应的置信度值；

以所述每个像素坐标对应的置信度值构成矩阵，获取所述分割不确定性数据。

6.根据权利要求1所述的模型训练方法，其特征在于，所述初始分割模型包括低级特征提取模块，所述基于所述待分割图像样本，确定与所述待分割图像样本对应的全局共享特征数据，包括：

将所述待分割图像样本输入所述低级特征提取模块，以获取所述全局共享特征数据。

7.一种图像分割方法，其特征在于，包括：

获取待分割图像；

将所述待分割图像输入图像分割模型，以确定与所述待分割图像对应的分割预测数据，其中，所述图像分割模型基于权利要求1至6任一所述的模型训练方法训练得到。

8.根据权利要求7所述的图像分割方法，其特征在于，所述图像分割模型用于基于所述待分割图像生成所述待分割图像对应的分割预测数据和分割不确定性数据，所述方法还包括：

基于所述分割不确定性数据，生成与所述待分割图像对应的分割不确定性热力图。

9.一种模型训练装置，其特征在于，用于训练包括反馈传播模块的初始分割模型，以生成包括所述反馈传播模块的图像分割模型，其中，所述反馈传播模块是一个包括多个循环迭代计算的特征提取器，所述装置包括：

第一确定模块，配置为确定待分割图像样本以及与所述待分割图像样本对应的分割标注数据样本；

第二确定模块，配置为利用所述初始分割模型对所述待分割图像样本进行分割，以确定多个中间分割预测数据，其中，所述多个中间分割预测数据为基于所述反馈传播模块的循环迭代计算的输出结果而确定的分割预测数据；

第三确定模块，配置为基于所述多个中间分割预测数据，确定所述待分割图像样本对应的分割不确定性数据，所述分割不确定性数据用于表征分割模型获得的分割预测数据的确定程度；

生成模块，配置为基于所述分割不确定性数据、所述多个中间分割预测数据和所述分割标注数据样本，训练所述初始分割模型，以生成所述图像分割模型；

其中，所述循环迭代计算的次数为N，N为大于或等于2的正整数；

其中，第二确定模块进一步包括：

第一特征确定单元，配置为基于所述待分割图像样本，确定与所述待分割图像样本对应的全局共享特征数据；

第二特征确定单元，配置为基于所述全局共享特征数据和所述反馈传播模块的第M次的循环迭代计算对应的特征数据，确定第M+1次的循环迭代计算对应的特征数据，其中，M为小于N的正整数，N为大于或等于2的正整数；

中间分割预测数据确定单元，配置为基于第1次至第N次的循环迭代计算各自对应的特征数据，确定所述多个中间分割预测数据；

其中，生成模块进一步包括：

中间损失函数确定单元，配置为基于第1次至第N-1次的循环迭代计算对应的中间分割预测数据和所述分割标注数据样本，确定N-1个中间损失函数；

不确定性的损失函数确定单元，配置为结合所述分割不确定性数据，基于第N次的循环迭代计算对应的中间分割预测数据和所述分割标注数据样本，确定结合不确定性的损失函数；

生成单元，配置为基于所述N-1个中间损失函数和所述结合不确定性的损失函数，训练所述初始分割模型，以生成所述图像分割模型。

10.一种图像分割装置，其特征在于，包括：

获取模块，配置为获取待分割图像；

图像分割模块，配置为将所述待分割图像输入图像分割模型，以确定与所述待分割图像对应的分割预测数据，其中，所述图像分割模型基于权利要求1至6任一所述的模型训练方法训练得到。

11.一种电子设备，包括：

处理器；以及

存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1至8中任一所述的方法。

12.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1至8中任一所述的方法。

Images