CN110599463A - 一种基于轻量级联神经网络的舌像检测及定位算法 - Google Patents

Abstract

本发明提供一种基于轻量级联神经网络的舌像检测及定位算法，包括以下步骤：输入采集的舌像图片；将标注好的舌像图片进行裁剪得到有分类标签的正负样本，投入到第一层网络；对投入到第一层网络中的样本图片进行特征提取并判断分类，保存分类为正的候选框的坐标信息，根据输出候选框裁剪原图片得到第二层网络的输入样本；对第二层网络中的样本图片进行训练分类，将分类为正的候选框输出，对应裁剪原图得到第三层网络的输入样本；对第三层网络中的样本图片进行训练，训练完成得到分类标签及候选框的坐标信息。本发明能够筛除低置信度的候选框并对舌像进行准确定位。

Description

一种基于轻量级联神经网络的舌像检测及定位算法

技术领域

本发明涉及图像检测算法技术领域，具体涉及一种基于轻量级联神经网络的舌像检测及定位算法。

背景技术

舌诊是传统中医的重要诊断方法之一。近年来，随着图像处理和机器学习技术的发展，计算机舌诊系统的研究受到越来越广泛的关注。完整的计算机舌诊系统分为舌象采集、舌体分割和舌象识别分析三部分，并利用图像处理和机器学习相关技术完成对舌象信息的识别和分类，最终得到诊断结果。

完整的计算机舌诊系统一般分为舌象采集，舌象分割和舌象特征识别与分析三部分，并利用图像处理和模式识别技术完成对舌象信息的识别和分析。研究者侧重于舌诊的定量和标准化，他们建议用标准舌头图像设备捕获规范的舌头图像，以减少环境因素的影响，如照明条件的差异、舌头的位置和图像的大小。虽然，恒定照明和固定位置可降低后续舌体分割及舌象识别的难度。然而，考虑到计算机舌诊系统应能在以互联网为代表的更多的平台上发挥作用，过去提出的针对在固定舌诊仪器中采集的标准舌诊图像的算法可能会面临不小的挑战。现有vgg，faster_rcnn等检测算法，网络结构复杂，模型较大，不利于实际算法的移植。

针对中医诊疗面向的场景越加复杂，待分析的图片背景越发多样，进行舌像分析的前提是精确定位一幅图像中舌像的位置，目前固定坐标的舌像定位已不能实现准确定位舌区的要求，检测图像中是否存在舌像，并准确定位舌像是该算法提出所满足的现实功能。

发明内容

有鉴于此，本发明要解决的问题是提供一种基于轻量级联神经网络的舌像检测及定位算法。

为解决上述技术问题，本发明采用的技术方案是：一种基于轻量级联神经网络的舌像检测及定位算法，包括步骤1)标注舌像样本图片目标区域坐标位置；

步骤2)将舌像样本图片进行随机裁剪得到有分类标签的正负样本，投入到第一层网络；

步骤3)对投入到步骤2)中的样本图片进行特征提取分类判断，输出分类为正的候选框的坐标信息，对应裁剪原图得到精选后的样本，缩放到指定尺寸投入到第二层网络；

步骤4)对步骤3)中的样本图片进行训练，得到分类后的候选框，输出分类为正的候选框的坐标信息，对应裁剪原图得到精选后的样本，缩放到指定尺寸(大于步骤3)尺寸)投入到第三层网络；

步骤5)将步骤4)中的样本图片进行训练，训练完成得到分类标签及候选框的坐标信息。

本发明中，优选地，所述步骤3)投入到第二层网络和所述步骤4)投入到第三层网络之前对候选框筛选并做边框回归，剔除低置信度的候选框。

本发明中，优选地，所述步骤2)通过iou值进行区分实现正负局部样本分类。

本发明中，优选地，所述步骤4)和所述步骤5)的所述训练的算法步骤包括：

步骤S1)准备好缩放到窗口大小的舌像样本图片作为正样本；

步骤S2)在没有正样本(没有舌像)的舌像样本图片上采样负样本；

步骤S3)计算正负样本的10个积分通道的值；

步骤S4)随机生成特征池F，并计算采样的样本的错误率；

步骤S5)初始化样本集D，最大迭代次数k_max；

步骤S6)初始化迭代的权重W_k(i)＝1/n，i＝1…n，从1到k_max进行累加求和；

步骤S7)按照样本集D的权重W_k(i)，选择特征池中选取构造，一个二层决策树C_k；

步骤S8)计算训练误差，C_k在样本集D的权重W_k(i)时的误差；

步骤S9)计算弱分类器权重，更新样本权重；

步骤S10)返回弱分类器C_k和其对应的权重，将弱分类器组合成强分类器。

本发明中，优选地，所述候选框筛选的方法包括：

步骤T1)提取候选框列表W，对候选框列表W根据分数排序；

步骤T2)初始化过滤后的候选框列表W_l为空；

步骤T3)判断l(W)>0是否成立，如果是，则执行nms算法进行候选框筛选；如果否，则返回至步骤T2)。

本发明中，优选地，所述nms算法包括：

步骤U1)选择候选框列表W中第一个候选框w，分数s，加入W_l，从候选框列表W中剔除；

步骤U2)计算第一个候选框w和除第一个候选框w_i的重合度；

步骤U3)在候选框列表W中移除所有和第一个候选框w重合超过度阈值为0.3的候选框。

本发明中，优选地，剔除低置信度的候选框后，进行候选框的坐标信息矫正，所述候选框的坐标信息矫正的方法包括：定义一个三维坐标矫正向量给定候选框(x,y,w,h)，左上角坐标(x，y)，候选框长宽(w，h)，则坐标校正后的候选框为：

置信度向量{c₁,c₂,...,c_n}I(c_n＞t)，当(c_n＞t)时取1，否则取0：取大于阈值t的矫正方式的均值，作为矫正后的候选框的坐标信息。

本发明中，优选地，所述步骤2)中采用随机裁剪的方式将同一字符多次送入分类网络进行分类。

本发明中，优选地，所述第二层网络的样本大小大于所述第一层网络的样本大小，所述第三层网络的样本大小大于所述第二层网络的样本大小。

本发明中，优选地，输入的舌像样本图片尺寸需要进行多尺度缩放，多尺度样本测试可以有效提高分类器的健壮性和准确率。

本发明具有的优点和积极效果是：本算法中深度学习网络由串联的三个小卷积神经网络构成，通过弱分类器级联得到分类效果更好的分类器，来进行舌像检测。首先对标注过的舌像样本图片进行随机裁剪得到有分类标签的正负样本，投入第一层网络，通过对投入样本的特征提取分类判断，将识别为正的样本在原图的坐标信息保存为候选框信息，并通过难例识别操作，剔除置信度较低的候选框投入第二层网络进行进一步训练，第二层样本大小要大于第一层样本，携带更多的图片信息进行训练，得到分类更准确的候选框，同样经过置信度筛选减少候选框数量投入第三层，样本大小大于第二层，训练完成得到模型可同时得到分类标签及框的坐标信息，从而实现了检测舌像并准确定位的功能；可以实现对导入背景复杂，图片结构复杂的样本进行是否存在舌像判断及舌像感兴趣区域框定，实际检测中色舌像检测的准确率高于90％，准确定位高于80％。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明的一种基于轻量级联神经网络的舌像检测及定位算法的样本图片的示意图；

图2是本发明的一种基于轻量级联神经网络的舌像检测及定位算法的特征提取分类判断示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。当一个组件被认为是“设置于”另一个组件，它可以是直接设置在另一个组件上或者可能同时存在居中组件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

如图1和图2所示，本发明提供一种基于轻量级联神经网络的舌像检测及定位算法，包括：

步骤1)标注舌像样本图片目标区域坐标位置；

步骤2)将舌像样本图片进行随机裁剪得到有分类标签的正负样本，投入到第一层网络；

步骤3)对投入到步骤2)中的样本图片进行特征提取分类判断，输出分类为正的候选框的坐标信息，对应裁剪原图得到精选后的样本，缩放到指定尺寸投入到第二层网络；

步骤4)对步骤3)中的样本图片进行训练，得到分类后的候选框，输出分类为正的候选框的坐标信息，对应裁剪原图得到精选后的样本，缩放到指定尺寸(大于步骤3)尺寸)投入到第三层网络；

步骤5)将步骤4)中的样本图片进行训练，训练完成得到分类标签及候选框的坐标信息。

本实施例中，进一步地，所述步骤3)投入到第二层网络和所述步骤4)投入到第三层网络之前对候选框筛选并做边框回归，剔除低置信度的候选框。

本实施例中，进一步地，所述步骤2)通过iou值进行区分实现正负局部样本分类，其中iou值被定义为分割区域与目标区域交集区域面积与并集区域面积的比例，较大的iou值对应于较优的对象分割，对于一组舌像样本图片，则采用每一张舌像样本图片iou值的均值作为该组的iou分割结果。给定一组舌像样本图片，实验采用所有舌像样本图片的iou均值表示该组舌像样本图片的iou值。成功的分割对应于较大的iou值，反之iou值较小。

本实施例中，进一步地，所述步骤4)和所述步骤5)的所述训练的算法步骤包括：

步骤S1)准备好缩放到窗口大小的舌像样本图片作为正样本；

步骤S2)在没有正样本(没有舌像)的舌像样本图片上采样负样本；

步骤S3)计算正负样本的10个积分通道的值；

步骤S4)随机生成特征池F，并计算采样的样本的错误率；

步骤S5)初始化样本集D，最大迭代次数k_max；

步骤S6)初始化迭代的权重W_k(i)＝1/n，i＝1…n，从1到k_max进行累加求和；

步骤S7)按照样本集D的权重W_k(i)，选择特征池中选取构造，一个二层决策树C_k；

步骤S8)计算训练误差，C_k在样本集D的权重W_k(i)时的误差；

步骤S9)计算弱分类器权重，更新样本权重；

步骤S10)返回弱分类器C_k和其对应的权重，将弱分类器组合成强分类器。

本实施例中，进一步地，所述候选框筛选的方法包括：

步骤T1)提取候选框列表W，对候选框列表W根据分数排序；

步骤T2)初始化过滤后的候选框列表W_l为空；

步骤T3)判断l(W)>0是否成立，如果是，则执行nms算法进行候选框筛选；如果否，则返回至步骤T2)。

本实施例中，进一步地，所述nms算法包括：

步骤U1)选择候选框列表W中第一个候选框w，分数s，加入W_l，从候选框列表W中剔除；

步骤U2)计算第一个候选框w和除第一个候选框w_i的重合度；

步骤U3)在候选框列表W中移除所有和第一个候选框w重合超过度阈值为0.3的候选框。

本实施例中，进一步地，剔除低置信度的候选框后，进行候选框的坐标信息矫正，所述候选框的坐标信息矫正的方法包括：定义一个三维坐标矫正向量给定候选框(x,y,w,h)，左上角坐标(x，y)，候选框长宽(w，h)，则坐标校正后的候选框为：

置信度向量{c1,c2,...,cn}I(cn＞t)，当(cn＞t)时取1，否则取0：取大于阈值t的矫正方式的均值，作为矫正后的候选框的坐标信息。

本实施例中，进一步地，所述步骤2)中采用随机裁剪的方式将同一字符多次送入分类网络进行分类。这种随机裁剪的方式能有效地提升困难舌像样本图片的分类效果，对于一些困难舌像样本图片，即局部相像的舌像样本图片，可以通过关注局部信息进行区别。因此这种随机裁剪的方式使分类器不仅学习到了全局的信息，还能关注局部的信息，有利于提升分类器的效果。

本实施例中，进一步地，所述第二层网络的样本大小大于所述第一层网络的样本大小，所述第三层网络的样本大小大于所述第二层网络的样本大小。

本实施例中，进一步地，输入的舌像样本图片尺寸需要进行多尺度缩放，多尺度样本测试可以有效提高分类器的健壮性和准确率。

本发明的工作原理和工作过程如下：本算法中深度学习网络由三个小卷积神经网络得到的弱分类器级联得到分类效果更好的分类器。首先对标注过的舌像样本图片进行随机裁剪得到有分类标签的正负样本，投入第一层网络，通过对投入样本的特征提取分类判断，将识别为正的样本在原图的坐标信息保存为候选框信息，并通过难例识别操作，剔除置信度较低的候选框投入第二层网络进行进一步训练，第二层样本大小要大于第一层样本，携带更多的图片信息进行训练，得到分类更准确的候选框，同样经过置信度筛选减少候选框数量投入第三层，样本大小大于第二层，训练完成得到模型可同时得到分类标签及框的坐标信息，实现检测舌像并准确定位的功能。

进行特征选择的算法的思路是通过弱分类器组合得到效果更好的强分类器，在训练时迭代训练，每一轮可以自适应，增加上一轮迭代中分类器分错的样本的权重，以此为基准训练一个新的弱分类器，加入弱分类器的集合，测试时计算g(x)判断是否大于给定阈值θ，分类正负样本，训练具体步骤如下：准备好缩放到窗口大小的舌像样本图片作为正样本；在没有正样本(没有舌像)的舌像样本图片上采样负样本计算正负样本的10个积分通道的值；随机生成特征池F，并计算采样的样本的错误率；初始化样本集D，最大迭代次数k_max；初始化迭代的权重W_k(i)＝1/n，i＝1…n，从1到k_max进行累加求和；按照样本集D的权重W_k(i)，选择特征池中选取构造，一个二层决策树C_k；计算训练误差，C_k在样本集D的权重W_k(i)时的误差；计算弱分类器权重，更新样本权重；返回弱分类器C_k和其对应的权重，将弱分类器组合成强分类器。该算法对异常和噪声非常敏感，如果标注数据中有误标注，很容易对训练模型造成影响，为减轻这一影响，对整个数据集的标注进行再检查，修正标注数据；此外，通过三个小卷积神经网络得到的弱分类器级联得到分类效果更好的分类器这个算法，由于所使用的卷积神经网络比较小，又通过3个不同大小的系列网络用级联的方式层层过滤候选框，保证速度的同时，模型的精度也很高。

以上对本发明的实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明范围所作的均等变化与改进等，均应仍归属于本专利涵盖范围之内。

Claims (10)

1.一种基于轻量级联神经网络的舌像检测及定位算法，其特征在于，包括以下步骤：

步骤1)标注舌像样本图片目标区域坐标位置；

步骤2)将舌像样本图片进行随机裁剪得到有分类标签的正负样本，投入到第一层网络；

步骤3)对投入到步骤2)中的样本图片进行特征提取分类判断，输出分类为正的候选框的坐标信息，对应裁剪原图得到精选后的样本，缩放到指定尺寸投入到第二层网络；

步骤4)对步骤3)中的样本图片进行训练，得到分类后的候选框，输出分类为正的候选框的坐标信息，对应裁剪原图得到精选后的样本，缩放到指定尺寸(大于步骤3)尺寸)投入到第三层网络；

步骤5)将步骤4)中的样本图片进行训练，训练完成得到分类标签及候选框的坐标信息。

2.根据权利要求1所述的一种基于轻量级联神经网络的舌像检测及定位算法，其特征在于，所述步骤3)投入到第二层网络和所述步骤4)投入到第三层网络之前对候选框筛选并做边框回归，剔除低置信度的候选框。

3.根据权利要求1所述的一种基于轻量级联神经网络的舌像检测及定位算法，其特征在于，所述步骤2)通过iou值进行区分实现正负局部样本分类。

4.根据权利要求1所述的一种基于轻量级联神经网络的舌像检测及定位算法，其特征在于，所述步骤4)和所述步骤5)的所述训练的算法步骤包括：

步骤S1)准备好缩放到窗口大小的舌像样本图片作为正样本；

步骤S2)在没有正样本(没有舌像)的舌像样本图片上采样负样本；

步骤S3)计算正负样本的10个积分通道的值；

步骤S4)随机生成特征池F，并计算采样的样本的错误率；

步骤S5)初始化样本集D，最大迭代次数k_max；

步骤S6)初始化迭代的权重W_k(i)＝1/n，(i＝1…n)，从1到k_max进行累加求和；

步骤S7)按照样本集D的权重W_k(i)，选择特征池中选取构造，一个二层决策树C_k；

步骤S8)计算训练误差，C_k在样本集D的权重W_k(i)时的误差；

步骤S9)计算弱分类器权重，更新样本权重；

步骤S10)返回弱分类器C_k和其对应的权重，将弱分类器组合成强分类器。

5.根据权利要求2所述的一种基于轻量级联神经网络的舌像检测及定位算法，其特征在于，所述候选框筛选的方法包括：

步骤T1)提取候选框列表W，对候选框列表W根据分数排序；

步骤T2)初始化过滤后的候选框列表W_l为空；

步骤T3)判断l(W)>0是否成立，如果是，则执行nms算法进行候选框筛选；如果否，则返回至步骤T2)。

6.根据权利要求5所述的一种基于轻量级联神经网络的舌像检测及定位算法，其特征在于，所述nms算法包括：

步骤U1)选择候选框列表W中第一个候选框w，分数s，加入W_l，从候选框列表W中剔除；

步骤U2)计算第一个候选框w和除第一个候选框w_i的重合度；

步骤U3)在候选框列表W中移除所有和第一个候选框w重合超过度阈值为0.3的候选框。

7.根据权利要求2所述的一种基于轻量级联神经网络的舌像检测及定位算法，其特征在于，剔除低置信度的候选框后，进行候选框的坐标信息矫正，所述候选框的坐标信息矫正的方法包括：定义一个三维坐标矫正向量给定候选框(x,y,w,h)，左上角坐标(x，y)，候选框长宽(w，h)，则坐标校正后的候选框为：

置信度向量{c₁,c₂,...,c_n}I(c_n＞t)，当(c_n＞t)时取1，否则取0：取大于阈值t的矫正方式的均值，作为矫正后的候选框的坐标信息。

8.根据权利要求1所述的一种基于轻量级联神经网络的舌像检测及定位算法，其特征在于，所述步骤2)中采用随机裁剪的方式将同一字符多次送入分类网络进行分类。

9.根据权利要求1所述的一种基于轻量级联神经网络的舌像检测及定位算法，其特征在于，所述第二层网络的样本大小大于所述第一层网络的样本大小，所述第三层网络的样本大小大于所述第二层网络的样本大小。

10.根据权利要求1所述的一种基于轻量级联神经网络的舌像检测及定位算法，其特征在于，输入的舌像样本图片尺寸需要进行多尺度缩放，多尺度样本测试可以有效提高分类器的健壮性和准确率。