CN111179252B - 基于云平台的消化道病灶辅助识别与正反馈系统 - Google Patents

Abstract

本发明公开了一种基于云平台的消化道病灶辅助识别与正反馈系统，包括：数据采集装置，被配置为采集待识别的消化道图像，并传送至云平台；云平台，被配置为建立推断模型，构建训练集对所述推断模型进行优化训练；利用所述推断模型对接收到的图像进行消化道位置和病灶类型推断，并对所述图像和消化道病灶识别结果分别进行保存；在线纠错模块，被配置为医生客户端在线查看推断结果，并对推断错误的结果进行标注和纠错；在线优化模块，被配置为将纠错后的图像加入训练集，重新对推断模型进行训练。本发明能够提高消化内道病灶识别的准确性，提高消化系统疾病的检出率。

Description

基于云平台的消化道病灶辅助识别与正反馈系统

技术领域

本发明涉及云平台数据处理技术领域，尤其涉及一种基于云平台的消化道病灶辅助识别与正反馈系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

消化道疾病的判断通常采用通过消化道内镜获得消化道图像，然后对图像进行分析识别，判断是否存在病灶。

目前，对于消化道图像的分析识别往往是通过医生的肉眼观察和对病灶位置的手动标注来实现的，但是，由于人工智能识别的模型和产品分布在多家医院的多个科室，每天产生的消化内镜图像数量庞大，数据是隐私数据，同时数据需要收集到统一位置，这导致了数据共享困难，数据识别的准确率较低，容易导致漏诊和误诊。

发明内容

为了解决上述问题，本发明提出了基于云平台的消化道病灶辅助识别与正反馈系统，基于云平台进行消化道病灶辅助识别，能够实现数据共享，可以减少边缘设备的计算压力，同时可以保证识别模型的数据安全。

在一些实施方式中，采用如下技术方案：

基于云平台的消化道病灶辅助识别与正反馈系统，包括：

数据采集装置，被配置为、采集待识别的消化道图像，并传送至云平台；

云平台，被配置为建立推断模型，构建训练集对所述推断模型进行优化训练；利用所述推断模型对接收到的图像进行消化道病灶推断，并对所述图像和消化道病灶识别结果分别进行保存；

在线纠错模块，被配置为医生客户端在线查看推断结果，并对推断错误的结果进行标注和纠错；

在线优化模块，被配置为将纠错后的图像加入训练集，重新对推断模型进行训练。

具体地，所述云平台包括：

至少一个推断单元：被配置为建立推断模型，对图像进行消化道病灶类型和病灶位置的推断；

至少一个训练单元：被配置为对推断模型进行优化训练；

至少一个文件存储单元：被配置为对接收到的图像进行存储；

数据存储单元：被配置为对推断结果进行存储。

云平台接收到对图像进行消化道病灶推断的请求后，通过负载均衡方式将所述请求均匀分配至相应的推断单元。

在另一些实施方式中，采用如下技术方案：

一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行以下过程：

采集待识别的消化道图像，并传送至云平台；

云平台建立推断模型，构建训练集对所述推断模型进行优化训练；利用所述推断模型对接收到的图像进行消化道病灶推断，并对所述图像和消化道病灶识别结果分别进行保存；

医生客户端在线查看推断结果，并对推断错误的结果进行标注和纠错；

将纠错后的图像加入训练集，重新对推断模型进行训练。

与现有技术相比，本发明的有益效果是：

本发明通过互联网和云计算技术实现消化道病灶的智能辅助识别，能够实现数据共享；医学专家可以在线纠正识别错误的病灶结构，AI算法工程师针对识别错误的图像，可以在线优化算法、更新模型，不断提高模型识别性能，从而提高消化道病灶识别的准确性，提高消化系统疾病的检出率。

通过在云平台上设置多台推断服务器，能够实现数据的并行处理，提高云平台的数据处理能力。

通过多台训练服务器，能够提高推断模型的训练速度，同时通过不断优化训练集，提高推断模型的识别准确率。

附图说明

图1为本发明实施例一中云平台结构示意图；

图2为本发明实施例一中基于云平台的消化道病灶辅助识别与正反馈系统的工作过程示意图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

在一个或多个实施例中，本发明实施例提供了一种基于云平台的消化道病灶辅助识别及正反馈系统，包括：

(1)数据采集装置，被配置为采集待识别的消化道图像，并传送至云平台；

具体地，医生通过图文工作站采集待识别的消化道图像。图文工作站是记录检查过程的软件，通过视频采集卡采集内镜的影像；

图文工作站通过计算机网络调用云平台的Web API接口，将消化道图像提交到云平台。

(2)云平台，被配置为建立推断模型，构建训练集对所述推断模型进行优化训练；利用所述推断模型对接收到的图像进行消化道病灶推断，并消化道病灶识别结果(包括类型和位置)分别进行保存；

具体地，参照图1，云平台包括：

至少一个推断单元：被配置为建立推断模型，对图像进行消化道病灶类型和病灶位置的推断；

至少一个训练单元：被配置为对推断模型进行优化训练；

至少一个文件存储单元：被配置为对接收到的图像进行存储；

数据存储单元：被配置为对推断结果进行存储。

云平台使用负载均衡技术将消化道病灶推断申请转发到一台推断服务器，每一个推断单元对应一台推断服务器，云平台可以通过增加推断服务器的数量增加数据推断能力，以应对大量消化道图像的识别。

推断服务器调用推断模型对图像包含的消化道病灶的位置和类型进行识别，按照原路将识别结果返回给图文工作站。

推断服务器将图片保存到一台文件服务器，每一个文件存储单元对应一个文件服务器，同时将识别结果保存到数据库服务器(即数据存储单元)中。

云平台可以通过增加文件服务器的数量扩充存储空间，将保存的图像上传到文件服务器，可以减少本地文件存储，优化本地存储资源。

通过训练单元实现对推断模型的优化训练；每一个训练单元对应一个训练服务器，云平台可以通过增加训练服务器的数量，提高训练速度。

本实施例中，训练单元用于获取消化道部位图像并标注出待推断类别和推断干扰图像的辅助类别，构建出训练集，其中，待识别类别包括一级类别及二级类别，二级类别属于一级类别的子类别。

具体地，一级类别包括：上消化道：会厌、食管、贲门、胃底、胃体、胃窦、胃角、幽门、十二指肠球部、十二指肠降部；下消化道：回盲部、结肠、乙状结肠、直肠；二级类别属于结肠的子分类，包括升结肠、横结肠和降结肠；

辅助类别为预设干扰图像类别，用于排除干扰图像；所述辅助类别包括：阑尾开口、积液、镜头与肠壁距离小于预设值、镜头被遮挡、肠腔收缩、肠腔不完整和模糊、气泡、强光、黏液及残留粪块。

为了覆盖消化道病灶检查过程中的所有情况，例如具体分类如表1所示：

表1图像分类及选图原则

其中，肠腔因吸气或充气不良，以及肠腔充气良好，可根据肠腔内的气量多少来判断。

在本实施例中，待检测为消化道检查需要识别的类别，由于消化道图像背景单一且容易受特殊因素干扰，增加辅助类别有利于排除干扰，更准确的筛选有效图像。

一级类别为初步判断，二级类别是因升、横、降结肠相似度过高，需使用细粒度分类网络二次判断，以提高识别准确率。

训练单元获取多幅包含已知消化道病灶的消化道部位图像，并对已知消化道病灶区域进行标注；根据标注后的训练图像训练消化道病灶区域推断模型。

推断模型包括消化道部位推断模型A和消化道部位推断模型B；其中，消化道部位推断模型A用于推断一级类别和辅助类别，消化道部位推断模型B用于推断二级类别。

本实施例中，消化道部位推断模型A采用深度学习框架Keras应用模块提供的图像分类模型；通过细粒度分类网络DFL-CNN，使用多分支结构同时利用训练集中的下消化道内窥镜图像的局部信息和全局信息，并对局部区域进行特征监督的方式进行训练，得到消化道部位推断模型B。

具体地，Keras是一种高度模块化，由纯Python编写而成并以Tensorflow、Theano以及CNTK为后端。Keras为支持快速实验而生。Keras将模型可理解为一个层的序列或数据的运算图，完全可配置的模块可以用最少的代价自由组合在一起，而且还具有易扩展性。

对于细粒度分类网络DFL-CNN(Learning a Discriminative Filter Bankwithin a CNN)：对于细粒度分类，全局信息也是至关重要的。所以需要一条分支解码全局信息。即普通conv+fc层。然后选取适当的一个较高层卷积，分出另外一条分支进行mid-level能力加强，关注局部信息。其能够准确定位到具有分辨力的关键区域，以及从检测到的关键区域中提取有效特征进行分类。

基于消化道部位推断模型A和消化道部位推断模型B对消化道内镜图像进行实时检测，排除属于辅助类别的图像，若存在连续N张非相似图像均为同一类别的概率超过预设阈值，则输出图像所属的一级类别和二级类别，进而确定出消化道病灶所在准确部位，其中，N为大于或等于3的正整数。

本实施例中，对于非相似图像的判定方法如下：通过均值哈希算法生成哈希序列并计算汉明距离，当汉明距离大于所设汉明距离阈值时，则判断图像为非相似图像。

相关算法如下：

(a)均值哈希算法

缩放：图片缩放为8*8，保留结构，除去细节。

灰度化：转换为256阶灰度图。

求平均值：计算灰度图所有像素的平均值。

比较：像素值大于平均值记作1，相反记作0，总共64位。

生成hash：将上述步骤生成的1和0按顺序组合。

(b)汉明距离计算

汉明距离/Hamming Distance用来计算两个向量的相似度；即通过比较向量每一位是否相同，若不同则汉明距离加1，这样得到汉明距离。向量相似度越高，对应的汉明距离越小。如10001001和10110001有3位不同。

(3)在线纠错模块，被配置为医生客户端在线查看推断结果，并对推断错误的结果进行标注和纠错；

具体地，医学专家通过网络访问云平台提供的网站，输入用户名和密码登录云平台。进入推断结果审核页面，查看消化道病灶推断结果，将识别错误的结果标注出来并进行修正。

(4)在线优化模块，被配置为将纠错后的图像加入训练集，重新对推断模型进行训练。

具体地，算法工程师通过网络访问云平台提供的网站，输入用户名和密码登录云平台，进入模型优化页面；

在线整理训练集，将医学专家纠正后的图像加入到训练集；

算法工程师也可以在线调整网络结构，在线控制训练服务器训练模型，在线查看训练数据，在线调整训练参数，在线测试模型性能，在线发布重新训练后的模型到推断服务器。

在另一些实施方式中，算法工程师可以制定自动训练计划，指定如何将图像加入到训练集、什么条件下开始重新训练模型，新模型性能满足什么条件后自动发布到推断服务器等，实现推断模型的自动优化功能。

实施例二

在一个或多个实施方式中，公开了一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，参照图2，所述指令适于由处理器加载并执行以下过程：

采集待识别的消化道图像，并传送至云平台；

云平台建立推断模型，构建训练集对所述推断模型进行优化训练；利用所述推断模型对接收到的图像进行消化道病灶推断，并对所述图像和消化道病灶识别结果分别进行保存；

医生客户端在线查看推断结果，并对推断错误的结果进行标注和纠错；

将纠错后的图像加入训练集，重新对推断模型进行训练。

需要说明的是，上述过程的实现方式通过实施例一中介绍的基于云平台的消化道病灶辅助识别及正反馈系统实现，不再赘述。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.基于云平台的消化道病灶辅助识别与正反馈系统，其特征在于，包括：

数据采集装置，被配置为采集待识别的消化道图像，并传送至云平台；

云平台，被配置为建立推断模型，构建训练集对所述推断模型进行优化训练；利用所述推断模型对接收到的图像进行消化道病灶推断，并对所述图像和消化道病灶识别结果分别进行保存；云平台上设置多台推断服务器，能够进行数据的并行处理；

在线纠错模块，被配置为医生客户端在线查看推断结果，并对推断错误的结果进行标注和纠错；

在线优化模块，被配置为将纠错后的图像加入训练集，重新对推断模型进行训练；在线优化算法、更新模型；

所述云平台包括至少一个推断单元：被配置为建立推断模型，对图像进行消化道病灶类型和病灶位置的推断；所述推断单元利用训练集训练推断模型；所述推断模型包括消化道部位推断模型A和消化道部位推断模型B；其中，消化道部位推断模型A用于推断一级类别和辅助类别，消化道部位推断模型B用于推断二级类别；所述一级类别为初步判断，二级类别使用细粒度分类网络二次判断， 通过细粒度分类网络，使用多分支结构同时利用训练集中的下消化道内窥镜图像的局部信息和全局信息，并对局部区域进行特征监督的方式进行训练，得到消化道部位推断模型B。

2.如权利要求1所述的基于云平台的消化道病灶辅助识别与正反馈系统，其特征在于，所述云平台还包括：

至少一个训练单元：被配置为对推断模型进行优化训练；

至少一个文件存储单元：被配置为对接收到的图像进行存储；

数据存储单元：被配置为对推断结果进行存储。

3.如权利要求2所述的基于云平台的消化道病灶辅助识别与正反馈系统，其特征在于，云平台接收到对图像进行消化道病灶推断的请求后，通过负载均衡方式将所述请求均匀分配至相应的推断单元。

4.如权利要求2所述的基于云平台的消化道病灶辅助识别与正反馈系统，其特征在于，所述训练单元用于获取消化道部位图像并标注出待推断类别和推断干扰图像的辅助类别，构建出训练集，其中，待识别类别包括一级类别及二级类别，二级类别属于一级类别的子类别。

5.如权利要求4所述的基于云平台的消化道病灶辅助识别与正反馈系统，其特征在于，所述一级类别包括：上消化道：会厌、食管、贲门、胃底、胃体、胃窦、胃角、幽门、十二指肠球部、十二指肠降部；下消化道：回盲部、结肠、乙状结肠、直肠；二级类别属于结肠的子分类，包括升结肠、横结肠和降结肠；

辅助类别为预设干扰图像类别，用于排除干扰图像；所述辅助类别包括阑尾开口、积液、镜头与肠壁距离小于预设值、镜头被遮挡、肠腔收缩、肠腔不完整和模糊、气泡、强光、黏液以及残留粪块。

6.如权利要求4所述的基于云平台的消化道病灶辅助识别与正反馈系统，其特征在于，所述训练单元获取多幅包含已知消化道病灶的消化道部位图像，并对已知消化道病灶区域进行标注；根据标注后的训练图像训练消化道病灶区域推断模型。

7.如权利要求6所述的基于云平台的消化道病灶辅助识别与正反馈系统，其特征在于，基于消化道部位推断模型A和消化道部位推断模型B对消化道内镜图像进行实时检测，排除属于辅助类别的图像，若存在连续N张非相似图像均为同一类别的概率超过预设阈值，则输出图像所属的一级类别和二级类别，进而确定出消化道病灶所在准确部位，其中，N为大于或等于3的正整数。

8.如权利要求7所述的基于云平台的消化道病灶辅助识别与正反馈系统，其特征在于，消化道部位推断模型A采用深度学习框架Keras应用模块提供的图像分类模型；

通过细粒度分类网络DFL-CNN，使用多分支结构同时利用训练集中的下消化道内窥镜图像的局部信息和全局信息，并对局部区域进行特征监督的方式进行训练，得到消化道部位推断模型B。

9.一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行以下过程：

采集待识别的消化道图像，并传送至如权利要求1-8任一项所述的云平台；

云平台建立推断模型，构建训练集对所述推断模型进行优化训练；利用所述推断模型对接收到的图像进行消化道病灶推断，并对所述图像和消化道病灶识别结果分别进行保存；

医生客户端在线查看推断结果，并对推断错误的结果进行标注和纠错；

将纠错后的图像加入训练集，重新对推断模型进行训练。

Images