CN114581668A - 一种分割模型构建和轮廓识别方法、装置及计算机设备 - Google Patents

Abstract

本发明公开了一种分割模型构建和轮廓识别方法、装置及计算机设备，该方法包括，获取样本图像；样本图像包括标记有目标区域的正样本图像及未标记的负样本图像；将负样本图像输入至预设的图像分割模型的共享编码器，进行编码处理，得到编码结果；分别将编码结果输入分割分支解码器及边缘检测分支编码器，得到分割分支结果及边缘检测结果；并将分割分支解码器及边缘检测分支编码器的解码结果输入融合分支解码器，得到融合分割结果；基于分割分支结果、边缘检测结果及融合分割结果得到预设的图像分割模型的输出结果；基于正样本图像及输出结果得到预设的图像分割模型的损失函数；基于损失函数调整预设的图像分割模型的参数，得到多分支融合分割模型。

Description

一种分割模型构建和轮廓识别方法、装置及计算机设备

技术领域

本发明涉及超声图像识别技术领域，具体涉及一种分割模型构建和轮廓识别方法、装置及计算机设备。

背景技术

心血管疾病是威胁人类健康的主要疾病之一。主要表现为冠状动脉发生严重粥样硬化，使冠状动脉狭窄、阻塞或形成血栓，导致心肌缺血、缺氧或心肌梗死。血管内超声(intravenous ultrasound，简称IVUS)技术是诊断心血管疾病的最有效的成像方式之一，通过介入导管技术和超声成像技术，能够探测到血管内部的结构，显示血管内的病变情况。对IVUS图像进行有效分析能够更好地帮助医生确定诊断结果和制定诊疗方案。

IVUS图像分析最重要的过程之一是描绘管腔和中膜－外膜边界。临床上常用的手段包括人工描绘方法、虚拟组织学成像技术以及数字图像处理技术。基于数字图像处理的IVUS图像分割方法主要包括传统分割方法和基于深度学习的方法。但是由于超声斑点噪声的影响以及各种伪影、病变和周围结构的存在，传统的IVUS图像分割算法易受干扰，难以保证管腔和中－外膜区域自动分割的准确性，且耗时较久。而基于深度学习的IVUS图像分割算法能够通过神经网络的训练学习，实现速度较快的IVUS图像中内膜和中－外膜区域自动分割，对超声噪声也具有一定的鲁棒性。但在数据量受限的情况下，单任务IVUS图像分割模型难以学习到足够的图像特征。对于存在周围结构干扰、血管分叉等情况的IVUS图像，难以保证分割结果的准确性，尤其是边缘区域像素的定位不够准确。

发明内容

因此，本发明要解决的技术问题在于克服现有数字图像处理的IVUS图像分割方法中由于各种干扰因素导致的准确性较低的缺陷，从而提供一种分割模型构建和轮廓识别方法、装置及计算机设备。

根据第一方面，本发明实施例公开了一种多分支融合分割模型的构建方法，包括：获取样本图像；所述样本图像包括标记有目标区域的正样本图像及未标记的负样本图像；将所述负样本图像作为输入数据，输入至预设的图像分割模型的共享编码器，进行编码处理，得到编码结果；分别将所述编码结果输入所述预设的图像分割模型的分割分支解码器及边缘检测分支编码器，得到分割分支结果及边缘检测结果；并将所述分割分支解码器及边缘检测分支编码器的解码结果输入所述预设的图像分割模型的融合分支解码器，得到融合分割结果；基于所述分割分支结果、边缘检测结果及融合分割结果得到所述预设的图像分割模型的输出结果；基于所述正样本图像及输出结果得到所述预设的图像分割模型的损失函数；基于所述损失函数调整所述预设的图像分割模型的参数，得到多分支融合分割模型。

可选地，所述多分支融合分割模型包括n级共享编码器和多分支解码器，所述多分支解码器包括n级分割分支解码器、n级边缘检测分支解码器和n-1级融合分支解码器，分别将所述编码结果输入所述预设的图像分割模型的分割分支解码器及边缘检测分支编码器，得到分割分支结果及边缘检测结果，包括：将所述样本图像输入到第一级所述共享编码器，得到第一编码输出数据；将所述第一编码输出数据输入至第二级共享编码器、第一级分割分支解码器和第一级边缘检测分支解码器，得到第一分割数据和第一边缘检测数据；将第m-1级共享编码器的输出数据输入至第m级共享编码器，得到第m级共享编码器的输出数据，2≤m≤n；将第m级共享编码器的输出数据和第m-1级分割分支解码器的输出数据输入至第m级分割分支解码器，得到第m级分割分支解码器的输出数据，2≤m≤n；将第m级共享编码器的输出数据和第m-1级边缘检测分支解码器的输出数据输入至第m级边缘检测分支解码器，得到第m级边缘检测分支解码器的输出数据，2≤m≤n；基于所述第一分割数据及第m级分割分支解码器的输出数据得到所述分割分支结果，并基于所述第一边缘检测数据及第m级边缘检测分支解码器的输出数据得到所述边缘检测结果。

可选地，将所述分割分支解码器及边缘检测分支编码器的解码结果输入所述预设的图像分割模型的融合分支解码器，得到融合分割结果，包括：将第一级分割分支解码器的输出数据及第一级边缘检测分支解码器的输出数据输入至第一级融合分支解码器，得到第一级融合分支解码器的输出数据；将第m级分割分支解码器的输出数据、第m级边缘检测分支解码器的输出数据以及第m-1级融合分支解码器的输出数据输入至第m级融合分支解码器，得到第m级融合分支解码器的输出数据；基于所述第一级融合分支解码器的输出数据及第m级融合分支解码器的输出数据得到所述融合分割结果。

可选地，所述基于所述正样本图像及输出结果得到所述预设的图像分割模型的损失函数，包括：基于所述正样本图像及分割分支结果计算得到分割分支损失函数；基于所述正样本图像及边缘检测结果计算得到边缘检测损失函数；基于所述正样本图像及融合分割结果计算得到融合分割损失函数；基于所述分割分支损失函数、边缘检测损失函数及融合分割损失函数得到所述损失函数。

可选地，所述获取样本图像，包括：将所述样本图像进行预处理，并对预处理后的样本图像进行标注，将标注后的样本图像作为所述正样本图像。

可选地，所述获取样本图像，还包括：对所述样本图像进行扩增处理，得到扩增后的样本图像。

根据第二方面，本发明实施例还公开了一种超声成像轮廓识别方法，包括：获取原始图像；将所述原始图像输入到预设的多分支融合分割模型，得到所述原始图像的图像分割结果；所述预设的多分支融合分割模型是使用如第一方面或第一方面任一可选实施方式所述的多分支融合分割模型的构建方法得到的；基于所述图像分割结果进行轮廓提取，得到所述原始图像的各区域轮廓识别结果。

可选地，所述基于所述图像分割结果进行轮廓提取，得到所述原始图像的各区域轮廓识别结果，包括：基于所述图像分割结果进行轮廓提取，得到第一图像结果；对所述第一图像结果进行高斯模糊处理，得到第二图像结果；对所述第二图像结果进行二值化处理，得到第三图像结果；对所述第三图像结果进行感兴趣区域选择处理，得到最终的各区域轮廓识别结果。

可选地，对所述第三图像结果进行感兴趣区域选择处理，得到最终的各区域轮廓识别结果，包括：基于所述第三图像结果确定包含所述第三图像结果的图像中心点的灰度值为255的最大连通域，作为感兴趣区域；基于自所述第三图像结果的图像中心发射出的间隔均匀的n个角度下的n条射线与所述感兴趣区域的交点集得到轮廓点集；将经过所述轮廓点集的曲线拟合结果顺序连接，得到所述最终的各区域轮廓识别结果。

根据第三方面，本发明实施例还公开了一种多分支融合分割模型的构建装置，包括：第一获取模块，用于获取样本图像；所述样本图像包括标记有目标区域的正样本图像及未标记的负样本图像；编码模块，用于将所述负样本图像作为输入数据，输入至预设的图像分割模型的共享编码器，进行编码处理，得到编码结果；解码模块，用于分别将所述编码结果输入所述预设的图像分割模型的分割分支解码器及边缘检测分支编码器，得到分割分支结果及边缘检测结果；并将所述分割分支解码器及边缘检测分支编码器的解码结果输入所述预设的图像分割模型的融合分支解码器，得到融合分割结果；输出模块，用于基于所述分割分支结果、边缘检测结果及融合分割结果得到所述预设的图像分割模型的输出结果；损失函数模块，用于基于所述正样本图像及输出结果得到所述预设的图像分割模型的损失函数；调整模块，用于基于所述损失函数调整所述预设的图像分割模型的参数，得到多分支融合分割模型。

根据第四方面，本发明实施例还公开了一种超声成像轮廓识别装置，包括：第二获取模块，用于获取原始图像；分割模块，用于将所述原始图像输入到预设的多分支融合分割模型，得到所述原始图像的图像分割结果；所述预设的多分支融合分割模型是使用如第一方面或第一方面任一可选实施方式所述的多分支融合分割模型的构建方法得到的；轮廓提取模块，用于基于所述图像分割结果进行轮廓提取，得到所述原始图像的各区域轮廓识别结果。

根据第五方面，本发明实施例还公开了一种计算机设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如第一方面或第一方面任一可选实施方式所述的多分支融合分割模型的构建方法或如第二方面或第二方面任二可选实施方式所述的超声成像轮廓识别方法的步骤。

根据第六方面，本发明实施方式还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第一方面任一可选实施方式所述的多分支融合分割模型的构建方法或如第二方面或第二方面任二可选实施方式所述的超声成像轮廓识别方法的步骤。

本发明技术方案，具有如下优点：

本发明提供的分割模型构建和轮廓识别方法、装置及计算机设备，该模型构建方法包括：获取样本图像；所述样本图像包括标记有目标区域的正样本图像及未标记的负样本图像；将所述负样本图像作为输入数据，输入至预设的图像分割模型的共享编码器，进行编码处理，得到编码结果；分别将所述编码结果输入所述预设的图像分割模型的分割分支解码器及边缘检测分支编码器，得到分割分支结果及边缘检测结果；并将所述分割分支解码器及边缘检测分支编码器的解码结果输入所述预设的图像分割模型的融合分支解码器，得到融合分割结果；基于所述分割分支结果、边缘检测结果及融合分割结果得到所述预设的图像分割模型的输出结果；基于所述正样本图像及输出结果得到所述预设的图像分割模型的损失函数；基于所述损失函数调整所述预设的图像分割模型的参数，得到多分支融合分割模型。样本图像由共享编码器后经过分割分支解码器、边缘检测分支编码器及融合分支解码器，得到不同的分割结果，提高了模型识别的准确性。基于边缘检测分支编码器，增强了学习能力和泛化能力，通过融合分支解码器，充分利用各分支任务学习到的图像特征，进一步提高了网络分割的准确性。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中多分支融合分割模型的构建方法的一个具体示例的流程图；

图2为本发明实施例中超声成像轮廓识别方法的一个具体示例的流程图；

图3为本发明实施例中多分支融合分割模型的构建装置的一个具体示例的流程图；

图4为本发明实施例中超声成像轮廓识别装置的一个具体示例的原理框图；

图5为本发明实施例中计算机设备的一个具体示例图；

图6为本发明实施例中多分支融合分割模型的构建方法的一个具体示例示意图；

图7为本发明实施例中多分支融合分割模型的构建方法的一个具体示例示意图；

图8为本发明实施例中超声成像轮廓识别方法的一个具体示例示意图；

图9为本发明实施例中超声成像轮廓识别方法的另一个具体示例示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本发明实施例公开了一种多分支融合分割模型的构建方法，如图1所示，该方法包括如下步骤：

步骤101：获取样本图像；所述样本图像包括标记有目标区域的正样本图像及未标记的负样本图像。示例性地，样本图像可以是采用血管内超声技术得到的IVUS图像，可用于分析心血管疾病。目标区域为对样本图像中的血管的内膜、中-外膜的区域，正样本图像为进行人工标注后的样本图像，负样本图像为没有进行人工标注的样本图像。

步骤102：将所述负样本图像作为输入数据，输入至预设的图像分割模型的共享编码器，进行编码处理，得到编码结果。

示例性地，将未进行人工标记的样本图像作为输入数据，输入到图像分割模型的共享编码器中，进行编码得到对应的编码结果。其中预设的图像分割模型的结构示意图如图7所示，图像分割模型包括输入图像、共享编码器、解码器和分割结构组成，共享编码器包括n层编码器，解码器包含分隔分支解码器(n层解码器)、边缘检测解码器(n层解码器)和融合分支解码器(n-1层解码器)。其中共享编码器为n层编码器顺序连接构成，本发明实施例中，考虑到超声图像大小以及具有较多噪声的情况，构建层数为4的共享编码器，在滤除噪声信息、防止过拟合的同时，避免丢失过多的细节信息。共享编码器为4层编码器构成，其中每一层编码器包含一个卷积块和一个下采样块，如图6所示，卷积块由两个相同子单元组成，每个子单元包括顺序连接的卷积层、批归一化层、Dropout层和激活函数层。下采样块由步长为2的卷积层和激活函数层顺序连接而成，卷积层的卷积核大小为3×3，激活函数统一使用LeakyRelu函数。本发明实施例对共享编码器的层数、每个编码器中的卷积核大小和激活函数类型不作限定，本领域技术人员可以根据实际需要确定。

步骤103：分别将所述编码结果输入所述预设的图像分割模型的分割分支解码器及边缘检测分支编码器，得到分割分支结果及边缘检测结果；并将所述分割分支解码器及边缘检测分支编码器的解码结果输入所述预设的图像分割模型的融合分支解码器，得到融合分割结果。

示例性地，在经过共享编码器后，将共享编码器的输出结果作为分割分支解码器和边缘检测分支编码器的输出数据进行解码。其中分割分支解码器和边缘检测解码器结构相同、层数相同、与共享编码器结构对称，共享编码器的中每一级输出数据作为相应的分割分支解码器和边缘检测解码器中的输入数据。其中分割分支解码器和边缘检测分支编码器由4个解码器层顺序连接而成，每个解码器层由一个上采样块和一个卷积块串行连接。上采样块由一个2倍上采样层和一个卷积层顺序连接而成，卷积块结构和共享编码器中卷积块结构相同。同层编码器层特征与同层解码器层特征通过skip-connection(残差连接)连接，卷积层的卷积核大小为3×3。相比于单独使用大卷积核来说，这种多个小卷积核的串联模式在扩大感受野的同时，保证了更小的参数量和更少的计算量，同时引入了更多的激活参数，以提高网络的非线性拟合能力。编码器使用下采样，解码器使用上采样，通过跳跃连接下采样和上采样中的各个特征图，这样可以更充分得利用网络提取的每层特征图。

分割分支解码器及边缘检测分支编码器的解码输出结果作为融合分支解码器的输入数据进行融合解码，其中融合分支解码器的层数比共享编码器、分割分支解码器及边缘检测分支编码器的层数少一层，融合分支解码器由3个解码器模块顺序连接而成，每个融合模块由一个卷积块和一个上采样层组成。卷积块由两个相同子单元顺序连接而成。每个子单元包括顺序连接的卷积层、批归一化层、Dropout层和激活函数层，减少了过拟合的可能性。卷积层中的卷积核的大小均为3×3，本发明实施例中激活函数统一使用LeakyRelu函数。

步骤104：基于所述分割分支结果、边缘检测结果及融合分割结果得到所述预设的图像分割模型的输出结果。示例性地，经过解码器中的分割分支解码器、边缘检测分支编码器和融合分支解码器后，分别得到分割分支结果、边缘检测结果及融合分割结果为相应的样本图像的三个分割结果，以这三个分割结果作为图像分割模型的输出结果。

步骤105：基于所述正样本图像及输出结果得到所述预设的图像分割模型的损失函数。示例性地，根据上述步骤104中的每一个分割结果，与正样本标签中的标记区域分别计算分割分支解码器、边缘检测分支编码器和融合分支解码器的损失函数，图像分割模型的损失函数为分割分支解码器、边缘检测分支编码器和融合分支解码器损失函数的线性组合。

步骤106：基于所述损失函数调整所述预设的图像分割模型的参数，得到多分支融合分割模型。示例性地，根据上述步骤105中计算得到的损失函数对图像分割模型中的权重和偏执进行更新，重复迭代直至最后的损失函数不再降低，则保留最后图像分割模型中的权重和偏置，将损失函数最小的对应的解码器作为最后训练好的模型。

本发明提供的多分支融合分割模型的构建方法，包括：获取样本图像；所述样本图像包括标记有目标区域的正样本图像及未标记的负样本图像；将所述负样本图像作为输入数据，输入至预设的图像分割模型的共享编码器，进行编码处理，得到编码结果；分别将所述编码结果输入所述预设的图像分割模型的分割分支解码器及边缘检测分支编码器，得到分割分支结果及边缘检测结果；并将所述分割分支解码器及边缘检测分支编码器的解码结果输入所述预设的图像分割模型的融合分支解码器，得到融合分割结果；基于所述分割分支结果、边缘检测结果及融合分割结果得到所述预设的图像分割模型的输出结果；基于所述正样本图像及输出结果得到所述预设的图像分割模型的损失函数；基于所述损失函数调整所述预设的图像分割模型的参数，得到多分支融合分割模型。样本图像由共享编码器后经过分割分支解码器、边缘检测分支编码器及融合分支解码器，得到不同的分割结果，提高了模型识别的准确性。基于边缘检测分支编码器，增强了学习能力和泛化能力，通过融合分支解码器，充分利用各分支任务学习到的图像特征，进一步提高了网络分割的准确性。

作为本发明一个可选实施方式，所述多分支融合分割模型包括n级共享编码器和多分支解码器，所述多分支解码器包括n级分割分支解码器、n级边缘检测分支解码器和n-1级融合分支解码器，上述步骤103中，分别将所述编码结果输入所述预设的图像分割模型的分割分支解码器及边缘检测分支编码器，得到分割分支结果及边缘检测结果的过程，主要包括：将所述样本图像输入到第一级所述共享编码器，得到第一编码输出数据；将所述第一编码输出数据输入至第二级共享编码器、第一级分割分支解码器和第一级边缘检测分支解码器，得到第一分割数据和第一边缘检测数据；将第m-1级共享编码器的输出数据输入至第m级共享编码器，得到第m级共享编码器的输出数据，2≤m≤n；将第m级共享编码器的输出数据和第m-1级分割分支解码器的输出数据输入至第m级分割分支解码器，得到第m级分割分支解码器的输出数据，2≤m≤n；将第m级共享编码器的输出数据和第m-1级边缘检测分支解码器的输出数据输入至第m级边缘检测分支解码器，得到第m级边缘检测分支解码器的输出数据，2≤m≤n；基于所述第一分割数据及第m级分割分支解码器的输出数据得到所述分割分支结果，并基于所述第一边缘检测数据及第m级边缘检测分支解码器的输出数据得到所述边缘检测结果。

作为本发明一个可选实施方式，步骤103中，所述分割分支解码器及边缘检测分支编码器的解码结果输入所述预设的图像分割模型的融合分支解码器，得到融合分割结果的过程，包括：将第一级分割分支解码器的输出数据及第一级边缘检测分支解码器的输出数据输入至第一级融合分支解码器，得到第一级融合分支解码器的输出数据；将第m级分割分支解码器的输出数据、第m级边缘检测分支解码器的输出数据以及第m-1级融合分支解码器的输出数据输入至第m级融合分支解码器，得到第m级融合分支解码器的输出数据；基于所述第一级融合分支解码器的输出数据及第m级融合分支解码器的输出数据得到所述融合分割结果。

示例性地，如图7所示为4级共享编码器、4级分割分支解码器、4级边缘检测分支解码器和3级融合分支解码器的网络模型的结构示意图。其中第一级共享编码器的输出分别输入到第一级分割分支解码器和第一级边缘检测解码器，以此类推，第二、三、四级共享编码器的输出分别输入到第二、三、四级分割分支解码器和第二、三、四级边缘检测解码器。除第一级外的分割分支解码器和边缘检测解码器，每一级分割分支解码器和每一级边缘检测解码器的输入数据除了相应的层级的共享编码器的输出外，还有相应的上一级的分割分支解码器和边缘检测解码器的输出数据。

融合分支解码器中，第一级融合分支解码器的输入为第一级分割分支解码器和第一级边缘检测解码器的输出数据，除第一级融合分支解码器外，每一级融合分支解码器的输入除了相应分割分支解码器和边缘检测解码器的输出数据作为输入数据之外，还有上一级的融合分支解码器的输出数据。通过融合分割分支解码器和边缘检测解码器的特征可以充分利用分割分支任务和边缘检测分支任务学习到的特征。

作为本发明一个可选实施方式，所述步骤105，包括：基于所述正样本图像及分割分支结果计算得到分割分支损失函数；基于所述正样本图像及边缘检测结果计算得到边缘检测损失函数；基于所述正样本图像及融合分割结果计算得到融合分割损失函数；基于所述分割分支损失函数、边缘检测损失函数及融合分割损失函数得到所述损失函数。

示例性地，正样本图像为已经对血管内超声图像进行内膜、中-外膜准确标注的样本图像，根据各解码器的识别结果与正样本图像进行对比分别计算分割分支损失函数为L_Seg，边缘检测分支损失函数为L_Edge以及融合分支损失函数为L_Fus，分割模型的总损失函数为：

L＝αL_seg+βL_Edge+L_Fus

α和β为超参数，根据训练情况进行设置，分割分支和边缘检测分支为辅助分支，α，β∈[0,1]。

其中，N为像素数量，C为分割标签种类数量，

为人工标注图中第n个像素属于第c个标签的概率，

为网络预测结果中第n个像素属于第c个标签的概率。

其中，N为像素数量，y⁽ⁱ⁾∈{0,1}为人工标注图中第n个像素属于边缘像素的概率，

为网络预测结果中第n个像素属于边缘像素的概率。

损失函数反向传播，对网络模型的权重和偏置进行更新。重复迭代直至损失函数没有降低。本发明实施例对损失函数的线性组合方式不作限定，本领域技术人员可以根据实际需要确定。

在损失函数达到最小，得到的初步若干网络模型，根据融合分支的输出结果作为样本图像内膜和中-外膜的初步分割结果，以Jaccard相似系数，Hausdorff距离以及面积差异百分比作为分割结果评价指标，对各网络模型融合分支输出的初步分割结果进行评价，以综合评价最好的网络模型作为应用于系统的网络模型。

其中，Jaccard相似系数公式如下：

R_pred表示预测结果中的血管结构区域，R_true表示人工标注图中的血管结构区域。

Hausdorff距离公式如下：

其中，C_pred表示预测结果中血管结构区域的边缘，C_true表示人工标记图中血管结构区域的边缘，a和b分别属于C_pred和C_true上的点。d(a,b)表示从a和b之间的欧几里得距离。

面积差异百分比PAD公式如下：

其中，A_pred表示预测结果中的血管结构区域面积，A_true表示人工标记图中的血管结构区域面积。

作为本发明一个可选实施方式，所述步骤101中，获取样本图像，包括：将所述样本图像进行预处理，并对预处理后的样本图像进行标注，将标注后的样本图像作为所述正样本图像。

示例性地，由于临床直接采集到的样本图像受限于采集操作方法，和采集仪器等，因此获取到样本图像后可能不能直接用于模型的训练，此时还可对样本图像进行预处理，其中预处理的方式可以是筛选、统一分辨率以及统一灰度值操作，分辨率的大小和灰度值范围可以根据具体需求与硬件设备限制设定，本实施例中使用的统一分辨率为256×256，灰度值范围为[0，1]。本发明实施例对样本图像的类别和预处理方式不作限定，本领域技术人员可以根据实际需要确定。

作为本发明一个可选实施方式，所述步骤101中，获取样本图像，还包括：对所述样本图像进行扩增处理，得到扩增后的样本图像。示例性地，在对样本图像进行预处理和人工标记后，为扩大样本的数量，提高分割的准确性，避免了训练过程中出现过拟合的现象，对样本图像进行扩增，进一步增加样本图像的数量，其中扩增的方法可以是将样本图像按一定角度间隔均匀旋转、上下翻转和左右翻转。本发明实施例对扩增的具体方式不作限定，本领域技术人员可以根据实际需要确定。

本发明实施例公开了一种超声成像轮廓识别方法，如图1所示，该方法包括如下步骤：

步骤201：获取原始图像。示例性地，原始图像为临床上获得的血管内超声图像，如图8所示为具体的原始图像。

步骤202：将所述原始图像输入到预设的多分支融合分割模型，得到所述原始图像的图像分割结果；所述预设的多分支融合分割模型是使用上述任意实施例所述的多分支融合分割模型的构建方法得到的。示例性地，将获取到的原始图像输入到由上述方法实施例中训练得到的多分支融合分割模型中，得到与原始图像对应的分割结果。

步骤203：基于所述图像分割结果进行轮廓提取，得到所述原始图像的各区域轮廓识别结果。示例性地，上述步骤203中得到的分割结果，实际为逐像素预测的概率图，可能存在内膜和中-外膜区域不唯一以及边缘不明确的问题，并没有具体的轮廓线，因此需要根据轮廓识别结果进行相应轮廓的清晰提取，得到更加清晰准确的各区域轮廓识别结果。

本发明提供的超声成像轮廓识别方法，包括：获取原始图像；将所述原始图像输入到预设的多分支融合分割模型，得到所述原始图像的图像分割结果；所述预设的多分支融合分割模型是使用上述实施例所述的多分支融合分割模型的构建方法得到的；基于所述图像分割结果进行轮廓提取，得到所述原始图像的各区域轮廓识别结果。样本图像由预设的多分支融合分割模型进行分割结果的识别，提高了识别的准确性，基于识别结果再次进行轮廓提取，在分割结果的基础上进一步，得到更加清晰准确的各区域轮廓识别结果。

作为本发明一个可选实施方式，所述步骤203，包括：基于所述图像分割结果进行轮廓提取，得到第一图像结果；对所述第一图像结果进行高斯模糊处理，得到第二图像结果；对所述第二图像结果进行二值化处理，得到第三图像结果；对所述第三图像结果进行感兴趣区域选择处理，得到最终的各区域轮廓识别结果。

示例性地，根据多分支融合分割模型得到的分割结果中存在区域不唯一和边缘不明显的问题，采用高斯模糊去除一部分孤立像素和区域，滤波核大小可以是7×7；二值化指将所述内膜和中-外膜初步分割结果根据自动计算或手动设定的阈值确定明确的区域边缘，设定灰度值为0或255，其中灰度值255表示内膜或中-外膜的区域，灰度值0表示背景。本发明实施例对滤波核大小和二值化中阈值大小不作限定，本领域技术人员可以根据实际需要确定。

作为本发明一个可选实施方式，步骤203中，对所述第三图像结果进行感兴趣区域选择处理，得到最终的各区域轮廓识别结果，包括：基于所述第三图像结果确定包含所述第三图像结果的图像中心点的预设灰度值的最大连通域，作为感兴趣区域；基于自所述第三图像结果的图像中心发射出的间隔均匀的多个角度下的多条射线与所述感兴趣区域的交点集得到轮廓点集；将经过所述轮廓点集的曲线拟合结果顺序连接，得到所述最终的各区域轮廓识别结果。

示例性地，在得到明确的区域边缘后，需要对区域边缘进行标记划分，相应划分的方法采用ROI(Region Of Interest，感兴趣区域，简称ROI)包含图像中心点的灰度值为255的最大连通域，解决了内膜和中-外膜区域不唯一的问题，获得符合人眼视觉习惯的平滑的内膜和中-外膜轮廓，n个角度可根据图像分辨率大小设定，本发明实施例中n＝36，如图9所示为完成标记后的图像分割结果。

本发明实施例还公开了一种多分支融合分割模型的构建装置，如图3所示，该装置包括：

第一获取模块301，用于获取样本图像；所述样本图像包括标记有目标区域的正样本图像及未标记的负样本图像。示例性地，详细内容见上述方法实施例中步骤101的内容，此处不再赘述。

编码模块302，用于将所述负样本图像作为输入数据，输入至预设的图像分割模型的共享编码器，进行编码处理，得到编码结果。示例性地，详细内容见上述方法实施例中步骤102的内容，此处不再赘述。

解码模块303，用于分别将所述编码结果输入所述预设的图像分割模型的分割分支解码器及边缘检测分支编码器，得到分割分支结果及边缘检测结果；并将所述分割分支解码器及边缘检测分支编码器的解码结果输入所述预设的图像分割模型的融合分支解码器，得到融合分割结果。示例性地，详细内容见上述方法实施例中步骤103的内容，此处不再赘述。

输出模块304，用于基于所述分割分支结果、边缘检测结果及融合分割结果得到所述预设的图像分割模型的输出结果。示例性地，详细内容见上述方法实施例中步骤104的内容，此处不再赘述。

损失函数模块305，用于基于所述正样本图像及输出结果得到所述预设的图像分割模型的损失函数。示例性地，详细内容见上述方法实施例中步骤105的内容，此处不再赘述。

调整模块306，用于基于所述损失函数调整所述预设的图像分割模型的参数，得到多分支融合分割模型。示例性地，详细内容见上述方法实施例中步骤106的内容，此处不再赘述。

本发明提供的多分支融合分割模型的构建装置，该装置包括，第一获取模块301，用于获取样本图像；所述样本图像包括标记有目标区域的正样本图像及未标记的负样本图像；编码模块302，用于将所述负样本图像作为输入数据，输入至预设的图像分割模型的共享编码器，进行编码处理，得到编码结果；解码模块303，用于分别将所述编码结果输入所述预设的图像分割模型的分割分支解码器及边缘检测分支编码器，得到分割分支结果及边缘检测结果；并将所述分割分支解码器及边缘检测分支编码器的解码结果输入所述预设的图像分割模型的融合分支解码器，得到融合分割结果；输出模块304，用于基于所述分割分支结果、边缘检测结果及融合分割结果得到所述预设的图像分割模型的输出结果；损失函数模块305，用于基于所述正样本图像及输出结果得到所述预设的图像分割模型的损失函数；调整模块306，用于基于所述损失函数调整所述预设的图像分割模型的参数，得到多分支融合分割模型。样本图像由共享编码器后经过分割分支解码器、边缘检测分支编码器及融合分支解码器，得到不同的分割结果，提高了模型识别的准确性。基于边缘检测分支编码器，增强了学习能力和泛化能力，通过融合分支解码器，充分利用各分支任务学习到的图像特征，进一步提高了网络分割的准确性。

作为本发明一个可选实施方式，所述多分支融合分割模型包括n级共享编码器和多分支解码器，所述多分支解码器包括n级分割分支解码器、n级边缘检测分支解码器和n-1级融合分支解码器，解码模块303中，分别将所述编码结果输入所述预设的图像分割模型的分割分支解码器及边缘检测分支编码器，得到分割分支结果及边缘检测结果，包括：将所述样本图像输入到第一级所述共享编码器，得到第一编码输出数据；将所述第一编码输出数据输入至第二级共享编码器、第一级分割分支解码器和第一级边缘检测分支解码器，得到第一分割数据和第一边缘检测数据；将第m-1级共享编码器的输出数据输入至第m级共享编码器，得到第m级共享编码器的输出数据，2≤m≤n；将第m级共享编码器的输出数据和第m-1级分割分支解码器的输出数据输入至第m级分割分支解码器，得到第m级分割分支解码器的输出数据，2≤m≤n；将第m级共享编码器的输出数据和第m-1级边缘检测分支解码器的输出数据输入至第m级边缘检测分支解码器，得到第m级边缘检测分支解码器的输出数据，2≤m≤n；基于所述第一分割数据及第m级分割分支解码器的输出数据得到所述分割分支结果，并基于所述第一边缘检测数据及第m级边缘检测分支解码器的输出数据得到所述边缘检测结果。示例性地，详细内容见上述方法实施例中步骤103的内容。

作为本发明一个可选实施方式，解码模块303中，所述分割分支解码器及边缘检测分支编码器的解码结果输入所述预设的图像分割模型的融合分支解码器，得到融合分割结果，包括：将第一级分割分支解码器的输出数据及第一级边缘检测分支解码器的输出数据输入至第一级融合分支解码器，得到第一级融合分支解码器的输出数据；将第m级分割分支解码器的输出数据、第m级边缘检测分支解码器的输出数据以及第m-1级融合分支解码器的输出数据输入至第m级融合分支解码器，得到第m级融合分支解码器的输出数据；基于所述第一级融合分支解码器的输出数据及第m级融合分支解码器的输出数据得到所述融合分割结果。示例性地，详细内容见上述方法实施例中步骤103的内容。

作为本发明一个可选实施方式，损失函数模块305，包括：第一损失函数子模块，用于基于所述正样本图像及分割分支结果计算得到分割分支损失函数；第二损失函数子模块，用于基于所述正样本图像及边缘检测结果计算得到边缘检测损失函数；第三损失函数子模块，用于基于所述正样本图像及融合分割结果计算得到融合分割损失函数；第四损失函数子模块，用于基于所述分割分支损失函数、边缘检测损失函数及融合分割损失函数得到所述损失函数。示例性地，详细内容见上述方法实施例中步骤105的内容。

作为本发明一个可选实施方式，所述第一获取模块301中，获取样本图像，包括：预处理模块，用于将所述样本图像进行预处理，并对预处理后的样本图像进行标注，将标注后的样本图像作为所述正样本图像。示例性地，详细内容见上述方法实施例中步骤101的内容。

作为本发明一个可选实施方式，所述第一获取模块301中，获取样本图像，还包括：扩增模块，用于对所述样本图像进行扩增处理，得到扩增后的样本图像。示例性地，详细内容见上述方法实施例中步骤101的内容。

本发明实施例还公开了一种超声成像轮廓识别装置，如图4所示，该装置包括：

第二获取模块401，用于获取原始图像。示例性地，详细内容见上述方法实施例中步骤201的内容，此处不再赘述。

分割模块402，用于将所述原始图像输入到预设的多分支融合分割模型，得到所述原始图像的图像分割结果；所述预设的多分支融合分割模型是使用上述实施例所述的多分支融合分割模型的构建方法得到的。示例性地，详细内容见上述方法实施例中步骤202的内容，此处不再赘述。

轮廓提取模块403，用于基于所述图像分割结果进行轮廓提取，得到所述原始图像的各区域轮廓识别结果。示例性地，详细内容见上述方法实施例中步骤203的内容，此处不再赘述。

本发明提供的多分支融合分割模型的构建装置，该装置包括，第二获取模块401，用于获取原始图像；分割模块402，用于将所述原始图像输入到预设的多分支融合分割模型，得到所述原始图像的图像分割结果；所述预设的多分支融合分割模型是使用上述实施例所述的多分支融合分割模型的构建方法得到的；轮廓提取模块403，用于基于所述图像分割结果进行轮廓提取，得到所述原始图像的各区域轮廓识别结果。样本图像由预设的多分支融合分割模型进行分割结果的识别，提高了识别的准确性，基于识别结果再次进行轮廓提取，在分割结果的基础上进一步，得到更加清晰准确的各区域轮廓识别结果。

作为本发明一个可选实施方式，所述轮廓提取模块403，包括：第一轮廓提取模块，用于基于所述图像分割结果进行轮廓提取，得到第一图像结果；高斯模糊模块，用于对所述第一图像结果进行高斯模糊处理，得到第二图像结果；二值化模块，用于对所述第二图像结果进行二值化处理，得到第三图像结果；区域选择模块，用于对所述第三图像结果进行感兴趣区域选择处理，得到最终的各区域轮廓识别结果。示例性地，详细内容见上述方法实施例中步骤203的内容，此处不再赘述。

作为本发明一个可选实施方式，轮廓提取模块403中，区域选择模块，包括：确定区域模块，用于基于所述第三图像结果确定包含所述第三图像结果的图像中心点的灰度值为255的最大连通域，作为感兴趣区域；轮廓点集模块，用于基于自所述第三图像结果的图像中心发射出的间隔均匀的n个角度下的n条射线与所述感兴趣区域的交点集得到轮廓点集；连接模块，用于将经过所述轮廓点集的曲线拟合结果顺序连接，得到所述最终的各区域轮廓识别结果。示例性地，详细内容见上述方法实施例中步骤203的内容，此处不再赘述。

本发明实施例还提供了一种计算机设备，如图5所示，该计算机设备可以包括处理器501和存储器502，其中处理器501和存储器502可以通过总线或者其他方式连接，图5中以通过总线连接为例。

处理器501可以为中央处理器(Central Processing Unit，CPU)。处理器501还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器502作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的多分支融合分割模型的构建方法和超声成像轮廓识别方法对应的程序指令/模块。处理器501通过运行存储在存储器502中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的多分支融合分割模型的构建方法和超声成像轮廓识别方法。

存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器501所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至处理器501。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器502中，当被所述处理器501执行时，执行如图1或图2所示实施例中的多分支融合分割模型的构建方法和超声成像轮廓识别方法。

上述计算机设备具体细节可以对应参阅图1或图2所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (13)

1.一种多分支融合分割模型的构建方法，其特征在于，包括：

获取样本图像；所述样本图像包括标记有目标区域的正样本图像及未标记的负样本图像；

将所述负样本图像作为输入数据，输入至预设的图像分割模型的共享编码器，进行编码处理，得到编码结果；

分别将所述编码结果输入所述预设的图像分割模型的分割分支解码器及边缘检测分支编码器，得到分割分支结果及边缘检测结果；并将所述分割分支解码器及边缘检测分支编码器的解码结果输入所述预设的图像分割模型的融合分支解码器，得到融合分割结果；

基于所述分割分支结果、边缘检测结果及融合分割结果得到所述预设的图像分割模型的输出结果；

基于所述正样本图像及输出结果得到所述预设的图像分割模型的损失函数；

基于所述损失函数调整所述预设的图像分割模型的参数，得到多分支融合分割模型。

2.根据权利要求1所述的方法，其特征在于，所述多分支融合分割模型包括n级共享编码器和多分支解码器，所述多分支解码器包括n级分割分支解码器、n级边缘检测分支解码器和n-1级融合分支解码器，

分别将所述编码结果输入所述预设的图像分割模型的分割分支解码器及边缘检测分支编码器，得到分割分支结果及边缘检测结果，包括：

将所述样本图像输入到第一级所述共享编码器，得到第一编码输出数据；

将所述第一编码输出数据输入至第二级共享编码器、第一级分割分支解码器和第一级边缘检测分支解码器，得到第一分割数据和第一边缘检测数据；

将第m-1级共享编码器的输出数据输入至第m级共享编码器，得到第m级共享编码器的输出数据，2≤m≤n；

将第m级共享编码器的输出数据和第m-1级分割分支解码器的输出数据输入至第m级分割分支解码器，得到第m级分割分支解码器的输出数据，2≤m≤n；

将第m级共享编码器的输出数据和第m-1级边缘检测分支解码器的输出数据输入至第m级边缘检测分支解码器，得到第m级边缘检测分支解码器的输出数据，2≤m≤n；

基于所述第一分割数据及第m级分割分支解码器的输出数据得到所述分割分支结果，并基于所述第一边缘检测数据及第m级边缘检测分支解码器的输出数据得到所述边缘检测结果。

3.根据权利要求2所述的方法，其特征在于，将所述分割分支解码器及边缘检测分支编码器的解码结果输入所述预设的图像分割模型的融合分支解码器，得到融合分割结果，包括：

将第一级分割分支解码器的输出数据及第一级边缘检测分支解码器的输出数据输入至第一级融合分支解码器，得到第一级融合分支解码器的输出数据；

将第m级分割分支解码器的输出数据、第m级边缘检测分支解码器的输出数据以及第m-1级融合分支解码器的输出数据输入至第m级融合分支解码器，得到第m级融合分支解码器的输出数据；

基于所述第一级融合分支解码器的输出数据及第m级融合分支解码器的输出数据得到所述融合分割结果。

4.根据权利要求1所述的方法，其特征在于，所述基于所述正样本图像及输出结果得到所述预设的图像分割模型的损失函数，包括：

基于所述正样本图像及分割分支结果计算得到分割分支损失函数；

基于所述正样本图像及边缘检测结果计算得到边缘检测损失函数；

基于所述正样本图像及融合分割结果计算得到融合分割损失函数；

基于所述分割分支损失函数、边缘检测损失函数及融合分割损失函数得到所述损失函数。

5.根据权利要求1所述的方法，其特征在于，所述获取样本图像，包括：

将所述样本图像进行预处理，并对预处理后的样本图像进行标注，将标注后的样本图像作为所述正样本图像。

6.根据权利要求5所述的方法，其特征在于，所述获取样本图像，还包括：对所述样本图像进行扩增处理，得到扩增后的样本图像。

7.一种超声成像轮廓识别方法，其特征在于，包括：

获取原始图像；

将所述原始图像输入到预设的多分支融合分割模型，得到所述原始图像的图像分割结果；所述预设的多分支融合分割模型是使用权利要求1-6任一项所述的多分支融合分割模型的构建方法得到的；

基于所述图像分割结果进行轮廓提取，得到所述原始图像的各区域轮廓识别结果。

8.根据权利要求7所述的方法，其特征在于，所述基于所述图像分割结果进行轮廓提取，得到所述原始图像的各区域轮廓识别结果，包括：

基于所述图像分割结果进行轮廓提取，得到第一图像结果；

对所述第一图像结果进行高斯模糊处理，得到第二图像结果；

对所述第二图像结果进行二值化处理，得到第三图像结果；

对所述第三图像结果进行感兴趣区域选择处理，得到最终的各区域轮廓识别结果。

9.根据权利要求8所述的方法，其特征在于，对所述第三图像结果进行感兴趣区域选择处理，得到最终的各区域轮廓识别结果，包括：

基于所述第三图像结果确定包含所述第三图像结果的图像中心点的预设灰度值的最大连通域，作为感兴趣区域；

基于自所述第三图像结果的图像中心发射出的间隔均匀的多个角度下的多条射线与所述感兴趣区域的交点集得到轮廓点集；

将经过所述轮廓点集的曲线拟合结果顺序连接，得到所述最终的各区域轮廓识别结果。

10.一种多分支融合分割模型的构建装置，其特征在于，包括：

第一获取模块，用于获取样本图像；所述样本图像包括标记有目标区域的正样本图像及未标记的负样本图像；

编码模块，用于将所述负样本图像作为输入数据，输入至预设的图像分割模型的共享编码器，进行编码处理，得到编码结果；

解码模块，用于分别将所述编码结果输入所述预设的图像分割模型的分割分支解码器及边缘检测分支编码器，得到分割分支结果及边缘检测结果；并将所述分割分支解码器及边缘检测分支编码器的解码结果输入所述预设的图像分割模型的融合分支解码器，得到融合分割结果；

输出模块，用于基于所述分割分支结果、边缘检测结果及融合分割结果得到所述预设的图像分割模型的输出结果；

损失函数模块，用于基于所述正样本图像及输出结果得到所述预设的图像分割模型的损失函数；

调整模块，用于基于所述损失函数调整所述预设的图像分割模型的参数，得到多分支融合分割模型。

11.一种超声成像轮廓识别装置，其特征在于，包括：

第二获取模块，用于获取原始图像；

分割模块，用于将所述原始图像输入到预设的多分支融合分割模型，得到所述原始图像的图像分割结果；所述预设的多分支融合分割模型是使用权利要求1-6任一项所述的多分支融合分割模型的构建方法得到的；

轮廓提取模块，用于基于所述图像分割结果进行轮廓提取，得到所述原始图像的各区域轮廓识别结果。

12.一种计算机设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-6任一所述的多分支融合分割模型的构建方法或如权利要求7-9任一所述的超声成像轮廓识别方法的步骤。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任一所述的多分支融合分割模型的构建方法或如权利要求7-9任一所述的超声成像轮廓识别方法的步骤。

Images