CN111598875A - 甲状腺结节自动检测模型构建方法、系统及装置 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的甲状腺结节自动检测模型构建方法、系统及装置，方法包括：对甲状腺超声图像数据降噪，获得甲状腺超声图像训练数据集；基于训练数据集，使用Yolov3网络训练甲状腺结节检测模型；基于训练数据集，使用Resnet网络训练甲状腺结节良恶识别模型；将甲状腺结节检测模型和甲状腺结节良恶识别模型融合，生成甲状腺结节自动检测模型。

Description

甲状腺结节自动检测模型构建方法、系统及装置

技术领域

本发明涉及人工智能技术领域，尤其是涉及一种基于卷积神经网络的甲状腺结节自动检测模型构建方法、系统及装置。

背景技术

过去20年中甲状腺结节的检测日益增多，正如大多数结节一样，准确判别甲状腺结节及结节性对患者至关重要，一方面可以大幅减低患者在此检测的医疗费用，避免使用穿刺、活检等代价更为昂贵痛苦手段；更为重要的是，结节的确诊及其良恶性的准确诊断对于病人的治疗十分关键。超声是甲状腺结节检测的常用手段，放射科专家归纳出检测恶性肿瘤的超声特征，这些特征包括低回声、无光晕、微钙化、坚实、结节内血流流动等。基于这些特征，制定出国际通用的甲状腺成像报告和数据系统(TI-RADS)标准，这些标准将甲状腺结节和恶性肿瘤进行了严格分类，以供放射科医生参考使用。TI-RADS将甲状腺结节划分2、3、4a、4b、4c和5共六类，分别意味着无结节、可能为良性结节、有一项可疑特征、有两项可疑特征、有三项或更多项可疑特征、及可能为恶性结节。然后以TI-RADS标准来评估作为目前超声诊断甲状腺恶性结节的标准是耗时的，而且效果不是很好，检测的准确性往往和医生的个人经验十分相关，且甲状腺结节回声模式的变化限制了放射科医师的判断能力。

另一方面，因为超声图像中包含的超声特征可以数字化处理，这样使用机器学习方法进行自动检测便自然而生了，因此基于图像特征的自动或半自动分类系统将是可能的。使用机器学习首先要提取图像特征，许多利用不同的方法手工提取甲状腺超声图像特征在近年来被广泛研究。使用提取的特征，通过现有的机器学习分类器执行监督分类任务，常用的如支持向量机，从而进行甲状腺结节自动检测任务。但是这种机器学习方法在提取特征时，需要大量人力及有经验的专家，耗时费力且抽取到的特征效果不是很好。

随着深度学习的复兴，使用卷积神经网络(CNN)来自动提取特征成为处理图像自动识别、检测、分割等任务通用方法。使用CNN抽取特征有两大优点，一是，用CNN抽取特征是通过网络自动学习得到的，不需要人工抽取，十分简单易行，因此相比机器学习方法手工抽取有效太多；二是，用CNN抽取的特征更具鲁棒性，可以适应如由于摄像机镜头、不同的光照条件、不同的姿势、部分遮挡的存在、水平和垂直移动而导致的形状变化等导致图像变化，获得更好的效果。因此使用CNN进行甲状腺结节进行自动识别工作的研究陆续有人发表，取得了十分好的效果。

从目前的研究现状来看，虽然关于甲状腺结节良恶性的研究已有进行，但是在实际工作中，需要先定位甲状腺结节的位置，然后才能进行甲状腺结节的良恶性识别，在这方面的工作有所缺失，因此关于甲状腺结节的自动检测需进一步研究。

发明内容

本发明的目的在于提供一种基于卷积神经网络的甲状腺结节自动检测模型构建方法、系统及装置，旨在解决现有技术中的上述问题。

本发明提供一种基于卷积神经网络的甲状腺结节自动检测模型构建方法，包括：

对甲状腺超声图像数据降噪，获得甲状腺超声图像训练数据集；

基于训练数据集，使用Yolov3网络训练甲状腺结节检测模型；

基于训练数据集，使用Resnet网络训练甲状腺结节良恶识别模型；

将甲状腺结节检测模型和甲状腺结节良恶识别模型融合，生成甲状腺结节自动检测模型。

本发明提供一种基于卷积神经网络的甲状腺结节自动检测模型构建系统，包括：

降噪模块，用于对甲状腺超声图像数据降噪，获得甲状腺超声图像训练数据集；

第一训练模块，用于基于训练数据集，使用Yolov3网络训练甲状腺结节检测模型；

第二训练模块，用于基于训练数据集，使用Resnet网络训练甲状腺结节良恶识别模型；

融合模块，用于将甲状腺结节检测模型和甲状腺结节良恶识别模型融合，生成甲状腺结节自动检测模型。

本发明实施例还提供一种基于卷积神经网络的甲状腺结节自动检测模型构建设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现上述基于卷积神经网络的甲状腺结节自动检测模型构建方法的步骤。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有信息传递的实现程序，程序被处理器执行时实现上述基于卷积神经网络的甲状腺结节自动检测模型构建方法的步骤。

采用本发明实施例，应用深度学习图像自动识别、检测技术，使用最新的检测及识别框架，完成甲状腺结节自动检测任务并对结节进行识别任务，使得能在甲状腺癌早期阶段完成检测工作，从而不用使用穿刺等代价昂贵的工作帮助病人进行筛查，辅助医生完成对甲状腺结节的检测及良恶性筛查。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的基于卷积神经网络的甲状腺结节自动检测模型构建方法的流程图；

图2是本发明实施例的甲状腺结节自动检测模型构建方法的示意图；

图3是本发明实施例的Yolov3网络的示意图；

图4是本发明实施例的基于卷积神经网络的甲状腺结节自动检测模型构建系统的示意图；

图5是本发明实施例的基于卷积神经网络的甲状腺结节自动检测模型构建设备的示意图。

具体实施方式

本发明实施例提供了一种基于卷积神经网络的甲状腺自动检测及识别模型的构建方法，包括如下处理：第一，对数据集进行降噪。原始甲状腺超声图像带有仪器、日期等信息，对识别效果有较大影响，因此需要对数据使用图像形态学内容降噪处理。第二，构建甲状腺结节检测模型。本发明使用最新的Yolov3网络架构进行模型搭建，Yolov3在Coco等数据集上都曾取得最好效果，在速度上超过经典Faster-Rcnn许多，且精度相差不远，在许多检测任务上广泛使用。第三，甲状腺结节良恶性自动识别任务。本发明使用最新的ResNet网络架构进行模型搭建，ResNet在ImageNet数据集上都取得最好效果，广泛使用在各项图像识别、检测任务上。第四，难例挖掘。在训练甲状腺结节自动识别模型Yolov3，有一些样本是网络难以学到的，因此对这些样本需要额外加大权重进行学习，就要使用难例挖掘的方法。第五，甲状腺结节自动检测框架与结节良恶性自动识别框架融合。为了贴合实际用途，形成自动识别甲状腺结节检测到良恶性识别的端对端的方式，需将二者融合一起。

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“坚直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。此外，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

方法实施例

根据本发明实施例，提供了一种基于卷积神经网络的甲状腺结节自动检测模型构建方法，图1是本发明实施例的基于卷积神经网络的甲状腺结节自动检测模型构建方法的流程图，图2是本发明实施例的甲状腺结节自动检测模型构建方法的示意图，如图1、2所示，根据本发明实施例的基于卷积神经网络的甲状腺结节自动检测模型构建方法具体包括：

步骤101，对甲状腺超声图像数据降噪，获得甲状腺超声图像训练数据集；步骤101具体包括：对甲状腺超声图像进行灰度化处理，得到二值化后图像；在二值化图像基础上，进行图像开运算，即先对图像腐蚀后对图像膨胀，完成对甲状腺超声图像数据降噪。

具体地，图像预处理算法的好坏直接关系到后续图像处理的效果，如图像分割、目标识别、边缘提取等，为了获取高质量的数字图像，很多时候都需要对图像进行降噪处理，尽可能的保持原始信息完整性的同时，又能够去除信号中无用的信息。虽然各种图像降噪算法犹如雨后春笋般不断新增，然而很多方法都存在一个通用的缺点，就是在降噪的同时往往会丢失图像的细节或边缘信息。甲状腺超声图像上有相当部分如仪器、时间、简略图等噪音信息，还有其他因此产生噪音，因此在训练测试之前有必要去除这些噪音。应用图像形态学方法可以做到这一点，首先对图像进行灰度化处理，阈值为0，得到二值化后图像；在二值化图像基础上，进行图像开运算。图像开运算与闭运算与膨胀和腐蚀运算有关，由膨胀和腐蚀两个运算的复合与集合操作组合成的所以运算构成。开运算即为先对图像腐蚀后膨胀，这样可以起去除噪音，保留原有图像信息不变。

步骤102，基于训练数据集，使用Yolov3网络训练甲状腺结节检测模型；

图3是本发明实施例的Yolov3网络的示意图，如图3所示，Yolov3是目前最流行的检测框架之一，顾名思义，在Yolov3之前还有2个版本，在此基础Yolov3主要的改进有：调整了网络结构，利用多尺度特征进行对象检测，对象分类Logistic取代了softmax。使用新的网络结构为Darknet-53，其借用了Resnet的思想，在网络中加入了残差模块，这样有利于解决深层次网络的梯度问题，每个残差模块由两个卷积层和一个shortcut connections，整个v3结构里面，没有池化层和全连接层，网络的下采样是通过设置卷积的stride为2来达到的，每当通过这个卷积层之后图像的尺寸就会减小到一半。多尺度检测即为多个尺度进行预测，具体形式是在网络预测的最后某些层进行上采样拼接的操作来达到，因此可以学习到不同尺度上的特征。预测对象类别时不使用softmax，改成使用logistic的输出进行预测。这样能够支持多标签对象。在使用Yolov3训练甲状腺检测模型时，只检测甲状腺结节而不对结节进行良恶性识别，这样使模型只关注结节的检出，提升结节检出率。

步骤102具体包括：

采用Focal loss的方式进行训练数据集的挖掘，降低简单负样本在训练中所占的权重，基于Focal loss挖掘后的训练数据，使用Yolov3网络训练甲状腺结节检测模型。具体地：

在训练检测模型框架会碰到样本难以训练，往往将负样本中那些容易被网络预测为正样本称为困难负样本，训练困难负样本对提升网络的分类性能具有极大帮助。常用选出困难样本的方式先用初始样本集(去训练网络，再用训练好的网络去预测负样本集中剩余的负样本，选择其中得分最高，即最容易被判断为正样本的负样本为困难样本，这种方式能有效的选出困难样本，但是效率很低，训练起来费劲费时，因此本发明采用Focal loss进行挖掘。Focal loss主要是为了解决目标检测中正负样本比例严重失衡的问题，如公式1所示。该损失函数降低了大量简单负样本在训练中所占的权重。

focalloss＝-y^′alog(y′)-(1-y^′n)log(y′) 公式1；

其中，a是一个大于0的超参，目的为减少易分类样本的损失，使得更关注于困难的、错分的样本；y′为网络输出结果。

这样网络训练时会更关注困难的样本，同时又不需要手动选取样本，提升网络效果。

步骤103，基于训练数据集，使用Resnet网络训练甲状腺结节良恶识别模型；具体地：

甲状腺识别模型使用经典的Resnet模型，深度学中网络层数增多一般会伴着计算资源的消耗、模型容易过拟合、梯度消失等问题，这些通过GPU集群、Batch Normalization、Dropout等技术手段解决了，随着网络层数的增加，网络发生了退化现象，即随着网络层数的增多，训练集loss逐渐下降，然后趋于饱和，当你再增加网络深度的话，训练集loss反而会增大。从信息论的角度讲，在前向传输的过程中，随着层数的加深，特征图包含的图像信息会逐层减少，而Resnet使用残差结构做恒等映射解决完美的解决这个问题，在各项视觉任务中取得优异的效果，并且被alphago的基础网络。因此本发明使用Resnet用来训练甲状腺识别模型，来自动识别结节的良恶性。

步骤104，将甲状腺结节检测模型和甲状腺结节良恶识别模型融合，生成甲状腺结节自动检测模型。

具体地，本发明实施例的甲状腺结节检测模型只负责检测结节，这样可以提升结节检出率；甲状腺结节良恶识别模型只负责识别结节良恶性，这样也可以提升良恶性检测准确率，但二者是分开的，实际这种使用不便，因此需要将二者融合一起。首先先用甲状腺结节检测模型检测测试图像中是否有结节，如果没有，则不送入甲状腺结节良恶识别模型中进行良恶性识别；如有，且置信度高于0.7的则送入甲状腺结节良恶识别模型进行良恶性鉴别。这样即可以端对端的方式完成结节检测到结节识别。

在本发明实施例中，还需要进行模型的检测，具体操作包括：

将甲状腺超声图像测试数据输入到甲状腺结节检测模型，如果甲状腺结节检测模型输出结果为有甲状腺结节，则将置信度高于预定值的甲状腺超声图像输入到甲状腺结节良恶识别模型，并输出最终的甲状腺结节良恶结果；如果甲状腺结节检测模型输出结果为无甲状腺结节，则直接输出结果；对甲状腺结节自动检测模型最终输出的结果进行检测，从而对甲状腺结节自动检测模型进行检测，如果检测通过，最终得到训练好的甲状腺结节自动检测模型。

最终，可以通过训练好的甲状腺结节自动检测模型对甲状腺超声图像进行自动检测。

从上述描述可以看出，在训练甲状腺识别模型之前对数据进行降噪提升效果。使用Yolov3构建甲状腺检测模型对甲状腺超声图像进行结节自动检测。使用最流行的ResNet构建甲状腺自动识别模型进行甲状腺良恶性识别。使用Focal loss对甲状腺超声图像检测框架进行难例挖掘，提升检测效果。使用甲状腺结节融合自动检测框架与结节良恶性自动识别框架，完成端对端检测、识别。

系统实施例

根据本发明实施例，提供了一种基于卷积神经网络的甲状腺结节自动检测模型构建系统，图4是本发明实施例的基于卷积神经网络的甲状腺结节自动检测模型构建系统的示意图，如图4所示，根据本发明实施例的基于卷积神经网络的甲状腺结节自动检测模型构建系统具体包括：

降噪模块40，用于对甲状腺超声图像数据降噪，获得甲状腺超声图像训练数据集；降噪模块40具体用于：

对甲状腺超声图像进行灰度化处理，得到二值化后图像；

在二值化图像基础上，进行图像开运算，即先对图像腐蚀后对图像膨胀，完成对甲状腺超声图像数据降噪。

第一训练模块42，用于基于训练数据集，使用Yolov3网络训练甲状腺结节检测模型；第一训练模块42具体用于：

采用Focal loss的方式进行训练数据集的挖掘，降低简单负样本在训练中所占的权重，基于Focal loss挖掘后的训练数据，使用Yolov3网络训练甲状腺结节检测模型。

第二训练模块44，用于基于训练数据集，使用Resnet网络训练甲状腺结节良恶识别模型；

融合模块46，用于将甲状腺结节检测模型和甲状腺结节良恶识别模型融合，生成甲状腺结节自动检测模型。

在本发明实施例中，上述系统进一步包括：

测试模块，用于将甲状腺超声图像测试数据输入到甲状腺结节检测模型，如果甲状腺结节检测模型输出结果为有甲状腺结节，则将置信度高于预定值的甲状腺超声图像输入到甲状腺结节良恶识别模型，并输出最终的甲状腺结节良恶结果；如果甲状腺结节检测模型输出结果为无甲状腺结节，则直接输出结果；对甲状腺结节自动检测模型最终输出的结果进行检测，从而对甲状腺结节自动检测模型进行检测，如果检测通过，最终得到训练好的甲状腺结节自动检测模型；

检测模块，用于通过训练好的甲状腺结节自动检测模型对甲状腺超声图像进行自动检测。

本发明实施例是与上述方法实施例对应的系统实施例，各个模块的具体操作可以参照上述方法实施例中的描述进行理解，在此不再赘述。

装置实施例一

本发明实施例提供一种基于卷积神经网络的甲状腺结节自动检测模型构建设备，如图5所示，包括：存储器50、处理器52及存储在所述存储器50上并可在所述处理器52上运行的计算机程序，所述计算机程序被所述处理器52执行时实现如下方法步骤：

步骤101，对甲状腺超声图像数据降噪，获得甲状腺超声图像训练数据集；步骤101具体包括：对甲状腺超声图像进行灰度化处理，得到二值化后图像；在二值化图像基础上，进行图像开运算，即先对图像腐蚀后对图像膨胀，完成对甲状腺超声图像数据降噪。

具体地，图像预处理算法的好坏直接关系到后续图像处理的效果，如图像分割、目标识别、边缘提取等，为了获取高质量的数字图像，很多时候都需要对图像进行降噪处理，尽可能的保持原始信息完整性的同时，又能够去除信号中无用的信息。虽然各种图像降噪算法犹如雨后春笋般不断新增，然而很多方法都存在一个通用的缺点，就是在降噪的同时往往会丢失图像的细节或边缘信息。甲状腺超声图像上有相当部分如仪器、时间、简略图等噪音信息，还有其他因此产生噪音，因此在训练测试之前有必要去除这些噪音。应用图像形态学方法可以做到这一点，首先对图像进行灰度化处理，阈值为0，得到二值化后图像；在二值化图像基础上，进行图像开运算。图像开运算与闭运算与膨胀和腐蚀运算有关，由膨胀和腐蚀两个运算的复合与集合操作组合成的所以运算构成。开运算即为先对图像腐蚀后膨胀，这样可以起去除噪音，保留原有图像信息不变。

步骤102，基于训练数据集，使用Yolov3网络训练甲状腺结节检测模型；

图3是本发明实施例的Yolov3网络的示意图，如图3所示，Yolov3是目前最流行的检测框架之一，顾名思义，在Yolov3之前还有2个版本，在此基础Yolov3主要的改进有：调整了网络结构，利用多尺度特征进行对象检测，对象分类Logistic取代了softmax。使用新的网络结构为Darknet-53，其借用了Resnet的思想，在网络中加入了残差模块，这样有利于解决深层次网络的梯度问题，每个残差模块由两个卷积层和一个shortcut connections，整个v3结构里面，没有池化层和全连接层，网络的下采样是通过设置卷积的stride为2来达到的，每当通过这个卷积层之后图像的尺寸就会减小到一半。多尺度检测即为多个尺度进行预测，具体形式是在网络预测的最后某些层进行上采样拼接的操作来达到，因此可以学习到不同尺度上的特征。预测对象类别时不使用softmax，改成使用logistic的输出进行预测。这样能够支持多标签对象。在使用Yolov3训练甲状腺检测模型时，只检测甲状腺结节而不对结节进行良恶性识别，这样使模型只关注结节的检出，提升结节检出率。

步骤102具体包括：

采用Focal loss的方式进行训练数据集的挖掘，降低简单负样本在训练中所占的权重，基于Focal loss挖掘后的训练数据，使用Yolov3网络训练甲状腺结节检测模型。具体地：

在训练检测模型框架会碰到样本难以训练，往往将负样本中那些容易被网络预测为正样本称为困难负样本，训练困难负样本对提升网络的分类性能具有极大帮助。常用选出困难样本的方式先用初始样本集(去训练网络，再用训练好的网络去预测负样本集中剩余的负样本，选择其中得分最高，即最容易被判断为正样本的负样本为困难样本，这种方式能有效的选出困难样本，但是效率很低，训练起来费劲费时，因此本发明采用Focal loss进行挖掘。Focal loss主要是为了解决目标检测中正负样本比例严重失衡的问题，如公式1所示。该损失函数降低了大量简单负样本在训练中所占的权重。

focalloss＝-y^′alog(y′)-(1-y^′a)log(y′) 公式1；

其中，a是一个大于0的超参，目的为减少易分类样本的损失，使得更关注于困难的、错分的样本；y′为网络输出结果。

这样网络训练时会更关注困难的样本，同时又不需要手动选取样本，提升网络效果。

步骤103，基于训练数据集，使用Resnet网络训练甲状腺结节良恶识别模型；具体地：

甲状腺识别模型使用经典的Resnet模型，深度学中网络层数增多一般会伴着计算资源的消耗、模型容易过拟合、梯度消失等问题，这些通过GPU集群、Batch Normalization、Dropout等技术手段解决了，随着网络层数的增加，网络发生了退化现象，即随着网络层数的增多，训练集loss逐渐下降，然后趋于饱和，当你再增加网络深度的话，训练集loss反而会增大。从信息论的角度讲，在前向传输的过程中，随着层数的加深，特征图包含的图像信息会逐层减少，而Resnet使用残差结构做恒等映射解决完美的解决这个问题，在各项视觉任务中取得优异的效果，并且被alphago的基础网络。因此本发明使用Resnet用来训练甲状腺识别模型，来自动识别结节的良恶性。

步骤104，将甲状腺结节检测模型和甲状腺结节良恶识别模型融合，生成甲状腺结节自动检测模型。

具体地，本发明实施例的甲状腺结节检测模型只负责检测结节，这样可以提升结节检出率；甲状腺结节良恶识别模型只负责识别结节良恶性，这样也可以提升良恶性检测准确率，但二者是分开的，实际这种使用不便，因此需要将二者融合一起。首先先用甲状腺结节检测模型检测测试图像中是否有结节，如果没有，则不送入甲状腺结节良恶识别模型中进行良恶性识别；如有，且置信度高于0.7的则送入甲状腺结节良恶识别模型进行良恶性鉴别。这样即可以端对端的方式完成结节检测到结节识别。

在本发明实施例中，还需要进行模型的检测，具体操作包括：

将甲状腺超声图像测试数据输入到甲状腺结节检测模型，如果甲状腺结节检测模型输出结果为有甲状腺结节，则将置信度高于预定值的甲状腺超声图像输入到甲状腺结节良恶识别模型，并输出最终的甲状腺结节良恶结果；如果甲状腺结节检测模型输出结果为无甲状腺结节，则直接输出结果；对甲状腺结节自动检测模型最终输出的结果进行检测，从而对甲状腺结节自动检测模型进行检测，如果检测通过，最终得到训练好的甲状腺结节自动检测模型。

最终，可以通过训练好的甲状腺结节自动检测模型对甲状腺超声图像进行自动检测。

装置实施例二

本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传输的实现程序，所述程序被处理器52执行时实现如下方法步骤：

步骤101，对甲状腺超声图像数据降噪，获得甲状腺超声图像训练数据集；步骤101具体包括：对甲状腺超声图像进行灰度化处理，得到二值化后图像；在二值化图像基础上，进行图像开运算，即先对图像腐蚀后对图像膨胀，完成对甲状腺超声图像数据降噪。

具体地，图像预处理算法的好坏直接关系到后续图像处理的效果，如图像分割、目标识别、边缘提取等，为了获取高质量的数字图像，很多时候都需要对图像进行降噪处理，尽可能的保持原始信息完整性的同时，又能够去除信号中无用的信息。虽然各种图像降噪算法犹如雨后春笋般不断新增，然而很多方法都存在一个通用的缺点，就是在降噪的同时往往会丢失图像的细节或边缘信息。甲状腺超声图像上有相当部分如仪器、时间、简略图等噪音信息，还有其他因此产生噪音，因此在训练测试之前有必要去除这些噪音。应用图像形态学方法可以做到这一点，首先对图像进行灰度化处理，阈值为0，得到二值化后图像；在二值化图像基础上，进行图像开运算。图像开运算与闭运算与膨胀和腐蚀运算有关，由膨胀和腐蚀两个运算的复合与集合操作组合成的所以运算构成。开运算即为先对图像腐蚀后膨胀，这样可以起去除噪音，保留原有图像信息不变。

步骤102，基于训练数据集，使用Yolov3网络训练甲状腺结节检测模型；

图3是本发明实施例的Yolov3网络的示意图，如图3所示，Yolov3是目前最流行的检测框架之一，顾名思义，在Yolov3之前还有2个版本，在此基础Yolov3主要的改进有：调整了网络结构，利用多尺度特征进行对象检测，对象分类Logistic取代了softmax。使用新的网络结构为Darknet-53，其借用了Resnet的思想，在网络中加入了残差模块，这样有利于解决深层次网络的梯度问题，每个残差模块由两个卷积层和一个shortcut connections，整个v3结构里面，没有池化层和全连接层，网络的下采样是通过设置卷积的stride为2来达到的，每当通过这个卷积层之后图像的尺寸就会减小到一半。多尺度检测即为多个尺度进行预测，具体形式是在网络预测的最后某些层进行上采样拼接的操作来达到，因此可以学习到不同尺度上的特征。预测对象类别时不使用softmax，改成使用logistic的输出进行预测。这样能够支持多标签对象。在使用Yolov3训练甲状腺检测模型时，只检测甲状腺结节而不对结节进行良恶性识别，这样使模型只关注结节的检出，提升结节检出率。

步骤102具体包括：

采用Focal loss的方式进行训练数据集的挖掘，降低简单负样本在训练中所占的权重，基于Focal loss挖掘后的训练数据，使用Yolov3网络训练甲状腺结节检测模型。具体地：

在训练检测模型框架会碰到样本难以训练，往往将负样本中那些容易被网络预测为正样本称为困难负样本，训练困难负样本对提升网络的分类性能具有极大帮助。常用选出困难样本的方式先用初始样本集(去训练网络，再用训练好的网络去预测负样本集中剩余的负样本，选择其中得分最高，即最容易被判断为正样本的负样本为困难样本，这种方式能有效的选出困难样本，但是效率很低，训练起来费劲费时，因此本发明采用Focal loss进行挖掘。Focal loss主要是为了解决目标检测中正负样本比例严重失衡的问题，如公式1所示。该损失函数降低了大量简单负样本在训练中所占的权重。

focalloss＝-y^′alog(y′)-(1-y^′a)log(y′) 公式1；

其中，a是一个大于0的超参，目的为减少易分类样本的损失，使得更关注于困难的、错分的样本；y′为网络输出结果。

这样网络训练时会更关注困难的样本，同时又不需要手动选取样本，提升网络效果。

步骤103，基于训练数据集，使用Resnet网络训练甲状腺结节良恶识别模型；具体地：

甲状腺识别模型使用经典的Resnet模型，深度学中网络层数增多一般会伴着计算资源的消耗、模型容易过拟合、梯度消失等问题，这些通过GPU集群、Batch Normalization、Dropout等技术手段解决了，随着网络层数的增加，网络发生了退化现象，即随着网络层数的增多，训练集loss逐渐下降，然后趋于饱和，当你再增加网络深度的话，训练集loss反而会增大。从信息论的角度讲，在前向传输的过程中，随着层数的加深，特征图包含的图像信息会逐层减少，而Resnet使用残差结构做恒等映射解决完美的解决这个问题，在各项视觉任务中取得优异的效果，并且被alphago的基础网络。因此本发明使用Resnet用来训练甲状腺识别模型，来自动识别结节的良恶性。

步骤104，将甲状腺结节检测模型和甲状腺结节良恶识别模型融合，生成甲状腺结节自动检测模型。

具体地，本发明实施例的甲状腺结节检测模型只负责检测结节，这样可以提升结节检出率；甲状腺结节良恶识别模型只负责识别结节良恶性，这样也可以提升良恶性检测准确率，但二者是分开的，实际这种使用不便，因此需要将二者融合一起。首先先用甲状腺结节检测模型检测测试图像中是否有结节，如果没有，则不送入甲状腺结节良恶识别模型中进行良恶性识别；如有，且置信度高于0.7的则送入甲状腺结节良恶识别模型进行良恶性鉴别。这样即可以端对端的方式完成结节检测到结节识别。

在本发明实施例中，还需要进行模型的检测，具体操作包括：

将甲状腺超声图像测试数据输入到甲状腺结节检测模型，如果甲状腺结节检测模型输出结果为有甲状腺结节，则将置信度高于预定值的甲状腺超声图像输入到甲状腺结节良恶识别模型，并输出最终的甲状腺结节良恶结果；如果甲状腺结节检测模型输出结果为无甲状腺结节，则直接输出结果；对甲状腺结节自动检测模型最终输出的结果进行检测，从而对甲状腺结节自动检测模型进行检测，如果检测通过，最终得到训练好的甲状腺结节自动检测模型。

最终，可以通过训练好的甲状腺结节自动检测模型对甲状腺超声图像进行自动检测。

综上所述，采用本发明实施例，应用深度学习图像自动识别、检测技术，使用最新的检测及识别框架，完成甲状腺结节自动检测任务并对结节进行识别任务，使得能在甲状腺癌早期阶段完成检测工作，从而不用使用穿刺等代价昂贵的工作帮助病人进行筛查，辅助医生完成对甲状腺结节的检测及良恶性筛查。

本实施例所述计算机可读存储介质包括但不限于为：ROM、RAM、磁盘或光盘等。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于卷积神经网络的甲状腺结节自动检测模型构建方法，其特征在于，包括：

对甲状腺超声图像数据降噪，获得甲状腺超声图像训练数据集；

基于所述训练数据集，使用Yolov3网络训练甲状腺结节检测模型；

基于所述训练数据集，使用Resnet网络训练甲状腺结节良恶识别模型；

将所述甲状腺结节检测模型和所述甲状腺结节良恶识别模型融合，生成甲状腺结节自动检测模型。

2.根据权利要求1所述的方法，其特征在于，基于所述训练数据集，使用Yolov3网络训练甲状腺结节检测模型具体包括：

采用Focalloss的方式进行训练数据集的挖掘，降低简单负样本在训练中所占的权重，基于Focal loss挖掘后的训练数据，使用Yolov3网络训练甲状腺结节检测模型。

3.根据权利要求1所述的方法，其特征在于，对甲状腺超声图像数据降噪具体包括：

对甲状腺超声图像进行灰度化处理，得到二值化后图像；

在二值化图像基础上，进行图像开运算，即先对图像腐蚀后对图像膨胀，完成对甲状腺超声图像数据降噪。

4.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

将所述甲状腺超声图像测试数据输入到甲状腺结节检测模型，如果甲状腺结节检测模型输出结果为有甲状腺结节，则将置信度高于预定值的甲状腺超声图像输入到所述甲状腺结节良恶识别模型，并输出最终的甲状腺结节良恶结果；如果甲状腺结节检测模型输出结果为无甲状腺结节，则直接输出结果；

对所述甲状腺结节自动检测模型最终输出的结果进行检测，从而对所述甲状腺结节自动检测模型进行检测，如果检测通过，最终得到训练好的甲状腺结节自动检测模型。

5.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

通过训练好的甲状腺结节自动检测模型对甲状腺超声图像进行自动检测。

6.一种基于卷积神经网络的甲状腺结节自动检测模型构建系统，其特征在于，具体包括：

降噪模块，用于对甲状腺超声图像数据降噪，获得甲状腺超声图像训练数据集；

第一训练模块，用于基于所述训练数据集，使用Yolov3网络训练甲状腺结节检测模型；

第二训练模块，用于基于所述训练数据集，使用Resnet网络训练甲状腺结节良恶识别模型；

融合模块，用于将所述甲状腺结节检测模型和所述甲状腺结节良恶识别模型融合，生成甲状腺结节自动检测模型。

7.根据权利要求1所述的方法，其特征在于，

所述第一训练模块具体用于：

采用Focal loss的方式进行训练数据集的挖掘，降低简单负样本在训练中所占的权重，基于Focal loss挖掘后的训练数据，使用Yolov3网络训练甲状腺结节检测模型。

所述降噪模块具体用于：

对甲状腺超声图像进行灰度化处理，得到二值化后图像；

在二值化图像基础上，进行图像开运算，即先对图像腐蚀后对图像膨胀，完成对甲状腺超声图像数据降噪。

8.根据权利要求1所述的方法，其特征在于，所述系统进一步包括：

测试模块，用于将所述甲状腺超声图像测试数据输入到甲状腺结节检测模型，如果甲状腺结节检测模型输出结果为有甲状腺结节，则将置信度高于预定值的甲状腺超声图像输入到所述甲状腺结节良恶识别模型，并输出最终的甲状腺结节良恶结果；如果甲状腺结节检测模型输出结果为无甲状腺结节，则直接输出结果；对所述甲状腺结节自动检测模型最终输出的结果进行检测，从而对所述甲状腺结节自动检测模型进行检测，如果检测通过，最终得到训练好的甲状腺结节自动检测模型；

检测模块，用于通过训练好的甲状腺结节自动检测模型对甲状腺超声图像进行自动检测。

9.一种基于卷积神经网络的甲状腺结节自动检测模型构建设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的基于卷积神经网络的甲状腺结节自动检测模型构建方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如权利要求1至5中任一项所述的基于卷积神经网络的甲状腺结节自动检测模型构建方法的步骤。

Images