CN115601634A - 一种基于层次性注意力机制的图像叶片识别方法及装置 - Google Patents

Abstract

本发明公开一种基于层次性注意力机制的图像叶片识别方法及装置，包括生成输入图像的不同层次类别激活图；将不同层次类别激活图融合成一注意力图，并利用该注意力图，得到若干张不同的采样图像；拼接各采样图像的特征向量与输入图像的特征向量，并基于得到的拼接特征向量，获取图像叶片识别结果。本发明基于人类植物学家的分类策略构造层次性注意力机制，并结合采样变换与深度学习方法，放大图片中的关键区域，可以取得很高的准确率。

Description

一种基于层次性注意力机制的图像叶片识别方法及装置

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于层次性注意力机制的图像叶片识别方法及装置，能够在自然场景下准确识别叶片类别。

背景技术

植物广泛分布于自然栖息地和人类社会，为人类提供生存所需的营养物质，在调节碳氧平衡以及环境温度和湿度方面发挥着重要作用。对植物进行分类在物种保护、农业、园林产业具有十分重要的意义，但由于人工分类成本巨大，需要分类人员具备十分专业的植物学知识、依赖十分长久的培训，对植物进行自动化分类更具有应用前景和研究的必要性。植物自动分类包括对植物花、果实、叶片、组织的自动分类，相较于不同生长阶段变化很大的花和果实而言，植物叶片性状更加稳定，叶片分类是植物自动分类的主要实现途径之一。

在计算机视觉中，尽管进行了许多尝试(如使用复杂的计算视觉算法)，但由于自然界中植物种类繁多，相似种类之间的形状差别很小，植物识别仍被认为是一个充满挑战性的未解决的问题。植物叶片识别的主要难点在于植物类别类间差距小、类内方差大。一方面，相较于一般的图像识别而言，相似植物类别的叶片往往只有几处微小的差别，这对模型的识别能力提出了很高的要求，需要模型能够定位到叶片上具有辨识度的区域，进一步地才能正确进行叶片分类。另一方面，同类植物叶片图像也存在着比较大的方差，比如不同生长阶段的植物叶片的形状、颜色和脉序都会发生比较大的变化，这进一步地增加了植物叶片自动化识别的难度。

一般来说，用机器学习中的半监督方法处理植物叶片图像，可以很好地识别大多数植物，但这种方法费时费力，难以进一步推广应用。目前，随着图像技术的发展，利用计算机技术对特征提取后的叶片图像进行自动分类已成为主流方法。在相关领域的研究中，叶子的特征通常是由人工提取的，例如，通常利用不同叶子之间的形状差异对叶子进行分类，叶子边缘作为一个重要的特征，通常被作为提取目标。此外，利用叶脉纹理特征检测技术，奇异值分解(SVD)和稀疏表示(SR)相结合来处理降维的植物图像，多分量形状的矩不变方法和支持向量机的人工神经网络也在一定程度上获得成功。上述方法依赖于特征选择和人工处理，而对高级特征和多尺度特征的处理将大大增加复杂性和工作量，这就导致了这些方法在增加识别植物的数量和类型后通用性下降的问题。

近年来，由于深度学习卷积神经网络在计算机视觉领域的优异表现，已经成为解决图像分类、图像识别和语义分割等问题的主要手段。深度学习方法在植物分类中的应用取得了良好的效果，其综合性能优于大多数人工特征提取分类方法，特别是其优秀的泛化性能。近些年的叶片识别方法大多基于深度卷积神经网络进行端到端的训练，且都使用了单一尺度下的叶片特征，这限制了叶片识别的准确率。除此之外，基于数据驱动的深度学习方法需要大量标注好的训练数据，而由于细粒度标注的困难性，这些标注在实际应用中往往是难以获取的，这限制了基于深度学习的叶片识别方法在实际场景下的应用。因此，研究一种可以利用叶片图像多尺度特征、准确识别叶片的方法是很有必要的。

发明内容

本发明针对自然场景中的图像，提出了一种基于层次性注意力机制的图像叶片识别方法及装置。本发明受到人类植物学家的分类策略启发，基于深度神经网络内在的层次性结构，设计了层次性注意力机制由粗到细地提取叶片特征，进而依据注意力图进行选择性采样进行图像增强，最终训练S-CNN进行叶片图像分类。特别地，层次性注意力机制使用了类别激活图(ClassActive Map)构造注意力图，可以定位到与叶片识别最相关的区域上。此外，使用了可训练的高斯核函数来对原始注意力图进行变换，在增强关键区域的同时抑制了背景区域。

本发明采用的技术方案如下：

一种基于层次性注意力机制的图像叶片识别方法，其步骤包括：

1)生成输入图像的不同层次类别激活图；

2)将不同层次类别激活图融合成一注意力图，并利用该注意力图，得到若干张不同的采样图像；

3)拼接各采样图像的特征向量与输入图像的特征向量，并基于得到的拼接特征向量，获取图像叶片识别结果。

进一步地，通过以下步骤得到不同层次类别激活图：

1)将输入图像输入卷积神经网络ResNet-50，分别得到大小为8n*8n的第一阶段输出特征、大小为4n*4n的第二阶段输出特征，大小为2n*2n的第三阶段输出特征及大小为n*n的第四阶段输出特征，其中n≥1；

2)利用第二阶段输出特征、第三阶段输出特征及第四阶段输出特征，分别生成大小为4n*4n、2n*2n及n*n的类别激活图。

进一步地，通过以下步骤合成注意力图：

1)利用双线性插值的方法，将大小为2n*2n与n*n的类别激活图分别放大到4n*4n大小；

2)将两个放大结果与大小为4n*4n的类别激活图进行加权融合，得到注意力图。

进一步地，通过以下步骤得到若干张不同的采样图像：

1)对注意力图进行滑窗，获得不同窗口里的局部最大值，作为候选极值点；

2)使用设定的阈值对该些候选极值点进行分组；

3)将各组候选点分别通过可学的高斯核进行平滑，得到若干张平滑后的采样图；

4)依照采样图对输入图像进行选择性采样，得到相应的采样图像。

进一步地，基于公式T_d＝{(x，y)|(x，y)∈T if A_x，y＞δ}与公式T_c＝{(x，y)|(x，y)∈T if A_x，y＞δ}对该些候选点进行分组，其中(x,y)为候选极值点的坐标，A_x，y为候选极值点(x,y)在注意力图上的值，δ为设定的阈值，T_d为辨别性组，T_c为补充组。

进一步地，候选极值点(x,y)所对应的平滑注意力图A_i，x，y为：

其中β为高斯核的参数，(x,y)为候选极值点的坐标，A_x，y为候选极值点(x,y)在注意力图上的值。

进一步地，通过以下步骤得到各采样图像的特征向量与输入图像的特征向量：

1)利用连体卷积神经网络S-CNN，分别提取各采样图像及输入图像的特征；

2)根据各采样图像及输入图像的特征，获取各采样图像的特征向量与输入图像的特征向量。

进一步地，连体卷积神经网络S-CNN进行端到端的训练，损失函数为交叉熵损失函数。

进一步地，通过以下步骤获取图像叶片识别结果：

1)将拼接特征向量输入一全连接层，得到各个类别的概率分布；

2)使用softmax函数对各概率分布进行归一化；

3)将最大归一化后结果相应的类别，作为图像叶片识别结果。

进一步地，通过识别准确率

作为评价指标，其中n为识别正确的样本数，N为测试样本总数。

一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行以上所述方法。

一种电子装置，包括存储器和处理器，其中存储器存储执行以上所述方法的程序

与现有的技术相比，本发明的优点在于：

1、提出了一种层次性注意力机制，符合人类植物学家的分类策略。

2、结合采样变换，放大图片中的关键区域，利于叶片识别。

3、结合深度学习方法，在叶片识别上可以取得很高的准确率。

附图说明

图1为基于层次性注意力机制的图像叶片识别网络框架图。

具体实施方式

下面通过具体实施例和附图，对本发明做进一步详细说明。

本发明的基于深度学习的自然场景下阴影检测方法流程如图1所示，主要分为训练阶段和测试阶段两个阶段。

训练阶段的步骤如下：

1)训练图片通过卷积神经网络，通过层次性注意力机制得到多个注意力图，用于后续的采样过程；

该步骤1)的处理过程为：首先将训练图片经过卷积神经网络，得到训练图片的多层次特征。利用卷积神经网络的层次化结构，构造多个分类器以用于生成不同层次的类别激活图。在本发明使用的卷积神经网络ResNet-50中，对于输入大小为224*224的叶片图像，ResNet-50的第一阶段输出特征大小为56*56，第二阶段则降为28*28，第三阶段为14*14，最后一个阶段的输出特征大小则为7*7。得到的三个类别激活图大小分别为28*28，14*14和7*7。

由于浅层特征鲁棒性差、不适合进行图像识别，所述层次性注意力机制没有使用第一阶段的图像特征，利用了卷积神经网络ResNet-50中第二、第三、第四阶段的特征输出，分别训练了三个粒度不同的分类器，利用类别激活图的方法，输入分类器权重与对应阶段的特征，得到三个粒度不同的类别激活图。

该步骤受到了人类植物学家分类策略的启发，充分模拟了人类植物学家的分类过程。其中，植物学家的分类策略分三步走，首先观察叶片的外表轮廓，其次观察叶片的形状、颜色，最后观察叶片的纹理信息。本发明提出的层次化注意力机制在网络的浅层关注输入叶片图像的边缘和轮廓信息，中层是关注叶片的形状和颜色信息，高层时关注叶片的纹理信息，符合人类植物叶片分类的策略。相较于传统卷积神经网络的黑盒模型，本发明也更符合人类认知，更具有可解释性。

2)基于步骤1)得到的类别激活图，使用双线性插值的方法将其融合成同样大小的一张注意力图，利用该注意力图通过采样变换网络得到两张不同的采样图像以增加图像的多样性。

该步骤2)将7*7和14*14的类别激活图分别进行双线性插值放大到28*28大小，与网络二阶段输出的类别激活图进行加权融合，得到一张28*28大小的注意力图。之后首先通过滑窗的方法得到注意力图上的局部最大值，获取候选极值点。这些候选极值点预示着该区域有较高的响应值，更有可能是分类的关键区域。随后使用设定的阈值对这些候选极值点进行分组，以得到更多样的图像特征。分组后将两组候选点各自通过可学的高斯核进行平滑，得到两张平滑后的采样图，依照采样图对原始图像进行选择性采样，放大重要的前景区域，减小不重要的背景区域和分类无关区域，得到两张采样图像。具体地：

使用平滑注意力图构建采样图Q_d和Q_c，Q_d和Q_c汇集了两组候选极值点的注意力区域，产生了一个求和效果，这使得每个采样图都可以关注到多个有助于分类的区域，不受人为定义数量的限制：

图像采样公式为X_new＝X(f(v)，g(v))，其中f和g为采样函数，表示从原图中哪个位置进行采样，采样坐标函数f和g满足：

其解满足：

其中k为高斯核对不同的坐标位置进行加权，对于远离中心点的坐标值，其权重较小，对于靠近中心点的值，其权重较大，这样可以多采样候选极值点附近的图像区域，少采样原理候选极值点的图像区域，从而放大实现关键的前景区域、抑制背景区域和无关区域的作用。

在获取采样图像I_d和I_c后，将其送入到S-CNN的两个支路中，分别提取特征并通过全局均值池化得到特征向量v_d和v_c，再与原始输入图像的特征向量v拼接到一起，送入分类器中，得到最终的分类结果y。

3)将步骤2)中得到的采样图像送入连体卷积神经网络辨别性组中，分别提取特征，用于最终识别。

该步骤3)首先对两张采样图像进行特征提取，并通过全局均值池化得到各自的特征向量，之后与原始图像得到的图像特征向量进行拼接得到用于分类的特征向量，通过一层全连接层得到各个类别的概率分布，再使用softmax函数对其进行归一化。最终取输出值最大的类别作为图像的识别结果。图1中conv_1-1、conv1_2，conv1_3、conv1_4、conv_2-1，conv2_2、conv2_3和conv2_4均表示ResNet-50中卷积层组成的不同阶段。其中的GAP指的是全局均值池化，通过全局均值池化可以把特征张量转换成为特征向量，便于输入线性分类器进行分类。上下两个网络使用了S-CNN中共享参数的方式，使得两个网络的参数相同。网络使用端到端的训练方式，目标函数使用交叉熵损失函数。

测试阶段的步骤如下：

1)将测试图片输入训练好的网络，输出的类别即为网络识别结果。

2)测试结果使用准确率acc进行判断。

下面进一步说明本发明的叶片识别网络。本发明提出的基于层次性注意力机制的图像叶片识别方法主要由S-CNN进行改进得来的。其中层次性注意力机制利用了卷积神经网络内在的层次性结构，先利用不同层级的特征进行类别激活图的计算：

其中CAM为类别激活图，i表示第i个层级，f为该层级的图像特征，w为对应的分类器中正确类别的分类权重，c表示的是图像特征的第c个通道，C是通道的总个数。通过正确类别的分类权重加权，可以构造出针对该正确类别的注意力图，以显示图像中不同区域对分类的重要程度。

再把多层级的类别激活图进行加权融合，得到能够表征图像区域重要性的注意力图：

其中α_i为不同层级的融合权重，由手工确定，A表示最终的注意力图，本发明使用了三个层级的类别激活图。

对于采样网络而言，使用了高斯核进行平滑，平滑方式为：

其中β为高斯核的参数，由网络训练得到。A_i，x，y为(x,y)处候选极值点所对应的平滑注意力图。通过高斯核的平滑作用，既可以放大候选极值点区域的图像，又可以抑制背景区域和无关区域的信息产生干扰。

进行采样后得到的采样图像为X_new＝X(f(v)，g(v))，其中f和g为采样函数，表示从原图中哪个位置进行采样，采样坐标函数f和g满足：

对该式求解后即可得到两张不同的采样图像。

进一步地，对采样图像使用S-CNN分别提取特征，通过全局均值池化将图像特征池化为特征向量，之后将两张采样图像的特征向量与原始图像的特征向量进行拼接，得到聚合的图像特征，送入线性分类器中即可得到分类结果。特别地，本发明中的线性分类器由一层全连接层实现，通过softmax变换使得其输出满足概率分布，最终输出的概率向量维度与叶片类别数量相等。网络的识别结果则由最大的概率值所在的向量维度决定。

网络的训练采用端到端的方式，损失函数采用了交叉熵损失函数，总的损失函数包括层次化注意力机制中三个不同阶段的分类器损失函数、两个分支的分类器损失函数以及聚合图像特征的分类器损失函数，总的损失函数为：

其中j表示的是第j个分类器的序号，共6个分类器。

本发明提出的基于层次性注意力机制的图像叶片识别方法，其测试环境及实验结果为：

(1)测试环境：

系统环境：ubuntu16.04；

硬件环境：内存：16GB，GPU：TITIANXP，硬盘：1TB；

(2)实验数据：

训练数据：

使用Leaf-Snap数据集，包括训练集3300张，共180类不同叶片，训练到目标函数收敛，模型性能达到稳定值。

数据预处理：训练和测试的叶片图像都通过双线性插值的方法变为224*224大小。在训练时，使用了随机裁剪、随机翻转的数据增强方法。

训练优化方法：ADAM，初始学习率为0.01，每训练经过4个epoch缩减到原始学习率的0.96倍。

测试数据：Leaf-Snap测试集(6600张)

评估方法：计算测试集的识别准确率

(3)实验结果：

为说明本发明的效果，使用相同的数据集对是否使用本发明提出的层次化注意力机制，使用Leaf-Snap测试集进行测试。

现有本发明测试对比结果如下面表1所示：

表1.现有方法和本发明的测试结果对比

序号	方法	Acc
			1	本发明(不使用层次化注意力机制)	0.964
2	本发明(使用层次化注意力机制)	0.993

其中Acc指accuracy准确率。从表中可以清楚的看到，本发明所涉及到的基于层次化注意力机制的叶片识别方法，结果出现较大的提升，并且总体上呈现出较高的水平。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (10)

1.一种基于层次性注意力机制的图像叶片识别方法，其步骤包括：

1)生成输入图像的不同层次类别激活图；

2)将不同层次类别激活图融合成一注意力图，并利用该注意力图，得到若干张不同的采样图像；

3)拼接各采样图像的特征向量与输入图像的特征向量，并基于得到的拼接特征向量，获取图像叶片识别结果。

2.如权利要求1所述的方法，其特征在于，通过以下步骤得到不同层次类别激活图：

1)将输入图像输入卷积神经网络ResNet-50，分别得到大小为8n*8n的第一阶段输出特征、大小为4n*4n的第二阶段输出特征，大小为2n*2n的第三阶段输出特征及大小为n*n的第四阶段输出特征，其中n≥1；

2)利用第二阶段输出特征、第三阶段输出特征及第四阶段输出特征，分别生成大小为4n*4n、2n*2n及n*n的类别激活图。

3.如权利要求2所述的方法，其特征在于，通过以下步骤合成注意力图：

1)利用双线性插值的方法，将大小为2n*2n与n*n的类别激活图分别放大到4n*4n大小；

2)将两个放大结果与大小为4n*4n的类别激活图进行加权融合，得到注意力图。

4.如权利要求1所述的方法，其特征在于，通过以下步骤得到若干张不同的采样图像：

1)对注意力图进行滑窗，获得不同窗口里的局部最大值，作为候选极值点；

2)使用设定的阈值对该些候选极值点进行分组；

3)将各组候选点分别通过可学的高斯核进行平滑，得到若干张平滑后的采样图；

4)依照采样图对输入图像进行选择性采样，得到相应的采样图像。

5.如权利要求4所述的方法，其特征在于，基于公式T_d＝{(x，y)|(x，y)∈T if A_x，y＞δ}与公式T_c＝{(x，y)|(x，y)∈T if A_x，y＞δ}对该些候选点进行分组，其中(x，y)为候选极值点的坐标，A_x，y为候选极值点(x，y)在注意力图上的值，δ为设定的阈值，T_d为辨别性组，T_c为补充组。

6.如权利要求4所述的方法，其特征在于，候选极值点(x，y)所对应的平滑注意力图A_i，x，y为：

其中β为高斯核的参数，(x，y)为候选极值点的坐标，A_x，y为候选极值点(x，y)在注意力图上的值。

7.如权利要求1所述的方法，其特征在于，通过以下步骤得到各采样图像的特征向量与输入图像的特征向量：

1)利用连体卷积神经网络S-CNN，分别提取各采样图像及输入图像的特征；

2)根据各采样图像及输入图像的特征，获取各采样图像的特征向量与输入图像的特征向量。

8.如权利要求7所述的方法，其特征在于，连体卷积神经网络S-CNN进行端到端的训练，损失函数为交叉熵损失函数。

9.如权利要求1所述的方法，其特征在于，通过以下步骤获取图像叶片识别结果：

1)将拼接特征向量输入一全连接层，得到各个类别的概率分布；

2)使用softmax函数对各概率分布进行归一化；

3)将最大归一化后结果相应的类别，作为图像叶片识别结果。

10.一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行如权利要求1-9中任一所述方法。

Images