CN107392901A - 一种用于输电线路部件智能自动识别的方法 - Google Patents

Abstract

本发明公开了一种用于输电线路部件智能自动识别的方法，包括以下步骤：S1、无人机巡检输电线路原图像作为图像源，手动标记杆塔、绝缘子、均压环、间隔棒等部件在原图像中的位置，并给每个部件添加属性标签，构建输电线路部件识别训练数据集合。S2、利用卷积神经网络与特征金字塔网络，提取输电线路图像多层次特征。S3、以提取到的图像特征和标定的标签数据为训练输入数据，计算位置敏感得分图，并计算分类与回归网络的损失值，利用随机梯度下降法优化分类网络与回归网络的参数，从而实现训练数据中部件的最优分类与定位。S4、根据输电线路识别训练得到的训练参数，初始化检测网络，批量导入输电线路巡检数据，实现部件的自动定位与分类。

Description

一种用于输电线路部件智能自动识别的方法

技术领域

本发明涉及数字图像处理领域，尤其是一种用于输电线路部件智能自动识别的方法。

背景技术

输电线路是电网的骨架支撑，输电线路的正常运行与否，直接影响着整个国民经济的健康发展与人民的正常生活。通过无人机搭载专用巡检设备，对输电线路进行数据采集，利用图像处理技术分析采集数据，确定输电线路运行状态。一次无人机巡检任务可以获取输电线路大量的图像或视频信息，巡检结束后由巡检人员进行人工判读，确定输电线路部件位置及其存在的缺陷。由于数据量大，导致人工判读劳动强度大、耗时长，而且受巡检人员经验影响，经常出现部件与缺陷错判、漏判的情况。为了降低劳动强度，提高数据分析的准确率与时效性，亟需标准化、智能化的部件识别分析方法来实现巡检后输电线路巡检数据的自动处理。

在输电线路部件自动识别方法中，大部分发明专利只注重某一部件的识别，如专利CN2013105246701.3、CN201510272155.5只是针对杆塔、鸟巢目标进行识别，没有对其余附属部件进行检测。专利CN201610906708.2利用Faster R-CNN方法对输电线路小部件进行了识别，但是输电线路附属部件在图像中占比差异较大，该方法没有考虑到图像的空间信息，最终输电线路部件识别的准确率有待改进与提高。

发明内容

本发明的目的是提供一种用于输电线路部件智能自动识别的方法，有效的获取了巡检目标的空间信息，提高了输电线路目标识别的准确性能。

为实现上述目的，本发明采用下述技术方案：

一种用于输电线路部件智能自动识别的方法，包括以下步骤：

S1、巡检数据图像样本预处理步骤：以巡检数据原图像作为图像源，标记输电线路部件在原图像中的位置，并对每个输电线路部件添加属性标签，构建输电线路部件识别训练数据集合；

S2、特征提取步骤：对完成预处理的巡检数据图像样本，利用卷积神经网络与特征金字塔网络，提取输电线路图像多层次特征；

S3、训练目标定位回归网络与分类网络步骤：以提取到的输电线路图像多层次特征和标定的属性标签数据为训练输入数据，计算位置敏感得分图，并计算分类网络与目标定位回归网络的损失值，利用随机梯度下降法优化分类网络与回归网络的参数，从而实现训练数据中输电线路部件的最优分类与定位；

S4、输电线路部件检测步骤：根据输电线路识别训练得到的训练参数，初始化检测网络，批量导入输电线路巡检数据，实现部件的自动定位与分类。

进一步地，所述巡检数据图像样本预处理步骤引入数据扩容策略以扩展训练数据集合的容量，所述数据扩容策略包括镜像映射、平移、旋转、裁剪、尺度变换。

进一步地，所述特征提取步骤具体包括以下步骤：

卷积网络处理步骤：将预处理的巡检数据图像样本作为训练输入数据集合，采用VGG-net16卷积网络中前13层网络，通过优化各层参数，实现输电线路图像特征的提取，得到512维的高层语意特征；

特征金字塔网络处理步骤：特征金字塔网络处理步骤是在卷积网络中同时进行的，卷积网络是自下而上进行卷积计算，通过为每个网络阶段定义一个金字塔级别，选择每个网络阶段的最后一层输出作为特征图的参考集，然后自上而下对每个级别的参考集进行上采样，再把该特征横向与下一层参考集特征相连接。

进一步地，所述预处理的巡检数据图像样本包括目标区域图像数据和类别标签数据。

进一步地，所述训练目标定位回归网络与分类网络步骤具体包括以下步骤：

构建位置敏感分数图步骤：在卷积网络与特征金字塔网络相结合提取特征图后，添加一个卷积得分层用于提取图像上每个类别的k²个位置敏感分数图，假设共有C+1个类别，经过卷积产生k²(C+1)个通道的输出层；

构建目标定位回归网络步骤：采用固定比例的候选框提取方式对特征图进行候选区域提取，为实现对目标定位回归网络的训练，定义损失函数为：

其中，i是区域提取框的序号，p_i是区域提取框时目标概率，是真实标签的概率：若是正样本时为1，是负样本时为0，t_i是预测边框的位置坐标，是真实边框的位置坐标，L_cls是分类损失函数，用来判别边框里是否含有目标；L_reg是回归函数，对边框做位置和大小的微调，N_cls是训练时mini-batch的大小，N_reg是区域提取框定位的数量，λ是平衡参数；

为了实现对网络的整体训练，对卷积得分层、分类网络及目标定位回归网络进行参数随机初始化，定义损失函数为：

其中，c^*是候选区域的真实标签，[c^*＞0]代表如果是真实标签时，参数设为1，否则为0；是用于分类的交叉熵损失函数，L_reg(t,t^*)是边界回归损失函数，t^*是真实标签的坐标，t是输出的回归坐标；

构建分类网络步骤：将感兴趣区域的标记框映射到卷积得分层上，并且划分k*k个分格，每个区域得到C+1个维度的特征图，按顺序依次将k*k个格子上对应的得分图抽取出来，然后这k²个得分图用来对候选区域进行投票从而判定目标的类别；

对于大小为w*h的感兴趣候选区域，每个分格的大小为(w/k)*(h/k)，对于第i行第j列的分格中的得分图，进行如下定义：

其中，r_c(i,j)是针对第c类目标的第(i,j)个分格的响应得分，Z_i,j,c代表k²(C+1)个得分图中的一个，(x₀,y₀)表示候选区域的左上角坐标，n表示每个格子中像素的个数，θ是网络中所有可学习的参数；

对于k²个得分图通过平均得分进行投票，对于每个候选区域产生C+1维的向量：

最后计算每个目标的softmax响应：

进一步地，所述输电线路部件检测步骤包括以下步骤:

初始化网络步骤：利用优化、训练得到的图像识别模型初始化训练网络，包括网络结构定义、网络基本参数定义、权重及偏置数据填充；

提取图像特征图步骤：首先，对输入图像进行多层卷积操作提取输入图像的高层语意表达；其次，对提取到的特征进行多尺度分割与上采样；最后，将金字塔特征与卷积后的特征进行融合，形成最终特征图；

提取候选区域步骤：利用区域提取网络提取候选框，并进行非极大值抑制操作，只保留得分最高的前300个候选框，以实现检测的快速处理；

计算位置敏感得分图步骤：对候选框进行得分图卷积操作，计算每个候选框的得分，并求取每个候选框的得分均值，构建位置敏感得分图；

确定候选区域类别与标记框步骤：对敏感得分图进行softmax分类，确定最终类别；对候选框进行拟合优化确定最终目标标记位置。

发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：

本发明提供了一种自动化的巡检图像处理模式，能够减低巡检人员劳动强度、提高作业效率和智能化水平。通过金字塔特征提取网络，实现了巡检图像的多尺度特征提取，有效的获取了巡检目标的空间信息；利用位置敏感得分图，增强了检测模型对目标偏移的鲁棒性能。最终对改进的方法进行端对端的全局训练、调优，提高了输电线路目标识别的准确性能。

附图说明

图1是本发明用于输电线路部件智能自动识别的方法流程图；

图2是特征提取步骤流程图；

图3是结合不同层次特征金字塔特征网络原理图；

图4是基于位置敏感得分图的分类网络示意图；

图5是训练目标定位回归网络与分类网络步骤流程图；

图6是输电线路部件检测步骤流程图。

具体实施方式

为了能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。

如图1所示，一种用于输电线路部件智能自动识别的方法，包括以下步骤：

S1、巡检数据图像样本预处理步骤：以无人机巡检数据原图像作为图像源，手动标记杆塔、绝缘子、均压环、间隔棒等输电线路部件在原图像中的位置，并对每个输电线路部件添加属性标签，构建输电线路部件识别训练数据集合；

S2、特征提取步骤：对完成预处理的巡检数据图像样本，利用卷积神经网络与特征金字塔网络，提取输电线路图像多层次特征；

S3、训练目标定位回归网络与分类网络步骤：以提取到的输电线路图像多层次特征和标定的属性标签数据为训练输入数据，计算位置敏感得分图，并计算分类网络与目标定位回归网络的损失值，利用随机梯度下降法优化分类网络与回归网络的参数，从而实现训练数据中输电线路部件的最优分类与定位；

S4、输电线路部件检测步骤：根据输电线路识别训练得到的训练参数，初始化检测网络，批量导入输电线路巡检数据，实现部件的自动定位与分类。

为了增加图像数据的多样性进而获取足够多的训练数据，执行步骤S1时引入数据扩容策略以扩展训练数据集合的容量，这里扩容策略设计的方法主要包括：镜像映射、平移、旋转、裁剪、尺度变换。五种数据扩容策略随机搭配使用，对手动标记的样本进行扩展，以满足训练数据量的要求。

如图2所示，特征提取步骤具体包括以下步骤：

S201、卷积网络处理步骤：将预处理的巡检数据图像样本作为训练输入数据集合，采用VGG-net16卷积网络中前13层网络，主要包括卷积层、池化层，通过优化各层参数，实现输电线路图像特征的提取，得到512维的高层语意特征。

S202、特征金字塔网络处理步骤：如图3所示，特征金字塔网络通过将低分辨率、高语义信息的高层特征与高分辨率、低语义信息的低层特征两种特征，进行自上而下的侧边连接，使得所有尺度下的特征都有丰富的语义信息，这种操作是在卷积网络中同时进行的，而不是采用构建图像金字塔的方式，从而可以避免额外的耗时和显存使用。卷积网络是自下而上进行卷积计算，通过为每个网络阶段定义一个金字塔级别，选择每个网络阶段的最后一层输出作为特征图的参考集，然后自上而下对每个级别的参考集进行上采样，再把该特征横向连接到下一层参考集上的特征，如此可以利用底层的定位细节信息。

通过卷积神经网络与特征金字塔网络的结合，可以提取到具有多尺度信息的图像特征图，该图像特征图作为输电线路部件自动识别步骤S3的输入数据。

如图4、5所示，步骤S3中训练目标定位回归网络与分类网络步骤具体包括以下步骤：

S301、构建位置敏感分数图步骤：在卷积网络与特征金字塔网络的结合提取特征图后，添加一个卷积得分层用于提取图像上每个类别k²个位置敏感分数图，假设共有C+1个类别(C类目标，1类背景)，经过卷积产生k²(C+1)个通道的输出层。

S302、构建目标定位回归网络步骤：采用固定比例的候选框提取方式对特征图进行候选区域提取，固定比例分别为{1:2,1:1,2:1}。在步骤S2中使用了5种特征金字塔的级别，所以共获得15种区域提取框。为实现对目标定位回归网络的训练，定义损失函数为：

其中，i是区域提取框的序号，p_i是区域提取框时目标概率，是真实标签的概率：若是正样本时为1，是负样本时为0，正负样本采用区域提取框与真实边框的IoU判定。当IoU大于0.7时为正样本，IoU小于0.3时为负样本，而在0.3-0.7之间的全部忽略。t_i是预测边框的位置坐标，是真实边框的位置坐标，L_cls是分类损失函数，用来判别边框里是否含有目标；L_reg是回归函数，对边框做位置和大小的微调，N_cls是训练时mini-batch的大小，大约为2000，N_reg是区域提取框定位的数量，λ是平衡参数，设置为15。

为了实现对网络的整体训练，对卷积得分层、分类网络及目标定位回归网络进行参数随机初始化，定义损失函数为：

其中，c^*是候选区域的真实标签，[c^*＞0]代表如果是真实标签时，参数设为1，否则为0；是用于分类的交叉熵损失函数，L_reg(t,t^*)是边界回归损失函数，t^*是真实标签的坐标，t是输出的回归坐标，平衡参数λ此处设为1。

S303、构建分类网络步骤：将感兴趣区域的标记框映射到卷积得分层上，并且划分k*k个分格，每个区域得到C+1个维度的特征图，按顺序依次将k*k个格子上对应的得分图抽取出来，然后这k²个得分图用来对候选区域进行投票从而判定目标的类别；

对于大小为w*h的感兴趣候选区域，每个分格的大小为(w/k)*(h/k)，对于第i行第j列的分格中的得分图，进行如下定义：

其中，r_c(i,j)是针对第c类目标的第(i,j)个分格的响应得分，Z_i,j,c代表k²(C+1)个得分图中的一个，(x₀,y₀)表示候选区域的左上角坐标，n表示每个格子中像素的个数，θ是网络中所有可学习的参数；

对于k²个得分图通过平均得分进行投票，对于每个候选区域产生C+1维的向量：

最后计算每个目标的softmax响应：

用于输电线路巡检图像识别的特征提取网络、区域提取网络与分类网络，是一个顺序过程，在训练时采用端对端的策略进行训练。通过VGG-net16网络初始化特征提取网络参数，区域提取网络与分类网络权重参数采用高斯函数进行随之初始化，利用fine-tune策略对其进行优化，得到最终输电线路巡检图像识别模型。

如图6所示，输电线路部件检测步骤包括以下步骤:

S401、初始化网络步骤：利用优化、训练得到的图像识别模型初始化训练网络，包括网络结构定义、网络基本参数定义、权重及偏置数据填充；

S402、提取图像特征图步骤：首先，对输入图像进行多层卷积操作提取输入图像的高层语意表达；其次，对提取到的特征进行多尺度分割与上采样；最后，将金字塔特征与卷积后的特征进行融合，形成最终特征图；

S403、提取候选区域步骤：利用区域提取网络提取候选框，并进行非极大值抑制操作，只保留得分最高的前300个候选框，以实现检测的快速处理；

S404、计算位置敏感得分图步骤：对候选框进行得分图卷积操作，计算每个候选框的得分，并求取每个候选框的得分均值，构建位置敏感得分图；

S405、确定候选区域类别与标记框步骤：对敏感得分图进行softmax分类，确定最终类别；对候选框进行拟合优化确定最终目标标记位置。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (6)

1.一种用于输电线路部件智能自动识别的方法，其特征是，包括以下步骤：

S1、巡检数据图像样本预处理步骤：以巡检数据原图像作为图像源，标记输电线路部件在原图像中的位置，并对每个输电线路部件添加属性标签，构建输电线路部件识别训练数据集合；

S2、特征提取步骤：对完成预处理的巡检数据图像样本，利用卷积神经网络与特征金字塔网络，提取输电线路图像多层次特征；

S3、训练目标定位回归网络与分类网络步骤：以提取到的输电线路图像多层次特征和标定的属性标签数据为训练输入数据，计算位置敏感得分图，并计算分类网络与目标定位回归网络的损失值，利用随机梯度下降法优化分类网络与回归网络的参数，从而实现训练数据中输电线路部件的最优分类与定位；

S4、输电线路部件检测步骤：根据输电线路识别训练得到的训练参数，初始化检测网络，批量导入输电线路巡检数据，实现部件的自动定位与分类。

2.如权利要求1所述的一种用于输电线路部件智能自动识别的方法，其特征是，所述巡检数据图像样本预处理步骤引入数据扩容策略以扩展训练数据集合的容量，所述数据扩容策略包括镜像映射、平移、旋转、裁剪、尺度变换。

3.如权利要求1所述的一种用于输电线路部件智能自动识别的方法，其特征是，所述特征提取步骤具体包括以下步骤：

卷积网络处理步骤：将预处理的巡检数据图像样本作为训练输入数据集合，采用VGG-net16卷积网络中前13层网络，通过优化各层参数，实现输电线路图像特征的提取，得到512维的高层语意特征；

特征金字塔网络处理步骤：特征金字塔网络处理步骤是在卷积网络中同时进行的，卷积网络是自下而上进行卷积计算，通过为每个网络阶段定义一个金字塔级别，选择每个网络阶段的最后一层输出作为特征图的参考集，然后自上而下对每个级别的参考集进行上采样，再把该特征横向与下一层参考集特征相连接。

4.如权利要求1或3所述的一种用于输电线路部件智能自动识别的方法，其特征是，所述预处理的巡检数据图像样本包括目标区域图像数据和类别标签数据。

5.如权利要求1所述的一种用于输电线路部件智能自动识别的方法，其特征是，所述训练目标定位回归网络与分类网络步骤具体包括以下步骤：

构建位置敏感分数图步骤：在卷积网络与特征金字塔网络相结合提取特征图后，添加一个卷积得分层用于提取图像上每个类别的k²个位置敏感分数图，假设共有C+1个类别，经过卷积产生k²(C+1)个通道的输出层；

构建目标定位回归网络步骤：采用固定比例的候选框提取方式对特征图进行候选区域提取，为实现对目标定位回归网络的训练，定义损失函数为：

<mrow> <mi>L</mi> <mrow> <mo>(</mo> <mo>{</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>}</mo> <mo>,</mo> <mo>{</mo> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>}</mo> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <msub> <mi>N</mi> <mrow> <mi>c</mi> <mi>l</mi> <mi>s</mi> </mrow> </msub> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mi>i</mi> </munder> <msub> <mi>L</mi> <mrow> <mi>c</mi> <mi>l</mi> <mi>s</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>,</mo> <msubsup> <mi>p</mi> <mi>i</mi> <mo>*</mo> </msubsup> <mo>)</mo> </mrow> <mo>+</mo> <mi>&amp;lambda;</mi> <mfrac> <mn>1</mn> <msub> <mi>N</mi> <mrow> <mi>r</mi> <mi>e</mi> <mi>g</mi> </mrow> </msub> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mi>i</mi> </munder> <msubsup> <mi>p</mi> <mi>i</mi> <mo>*</mo> </msubsup> <msub> <mi>L</mi> <mrow> <mi>r</mi> <mi>e</mi> <mi>g</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>,</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mo>*</mo> </msubsup> <mo>)</mo> </mrow> <mo>;</mo> </mrow>

其中，i是区域提取框的序号，p_i是区域提取框时目标概率，是真实标签的概率：若是正样本时为1，是负样本时为0，t_i是预测边框的位置坐标，是真实边框的位置坐标，L_cls是分类损失函数，用来判别边框里是否含有目标；L_reg是回归函数，对边框做位置和大小的微调，N_cls是训练时mini-batch的大小，N_reg是区域提取框定位的数量，λ是平衡参数；

为了实现对网络的整体训练，对卷积得分层、分类网络及目标定位回归网络进行参数随机初始化，定义损失函数为：

<mrow> <mi>L</mi> <mrow> <mo>(</mo> <mi>s</mi> <mo>,</mo> <msub> <mi>t</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>w</mi> <mo>,</mo> <mi>h</mi> </mrow> </msub> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>L</mi> <mrow> <mi>c</mi> <mi>l</mi> <mi>s</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>s</mi> <msup> <mi>c</mi> <mo>*</mo> </msup> </msub> <mo>)</mo> </mrow> <mo>+</mo> <mi>&amp;lambda;</mi> <mo>&amp;lsqb;</mo> <msup> <mi>c</mi> <mo>*</mo> </msup> <mo>&gt;</mo> <mn>0</mn> <mo>&amp;rsqb;</mo> <msub> <mi>L</mi> <mrow> <mi>r</mi> <mi>e</mi> <mi>g</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>,</mo> <msup> <mi>t</mi> <mo>*</mo> </msup> <mo>)</mo> </mrow> <mo>;</mo> </mrow>

其中，c^*是候选区域的真实标签，[c^*＞0]代表如果是真实标签时，参数设为1，否则为0；是用于分类的交叉熵损失函数，L_reg(t,t^*)是边界回归损失函数，t^*是真实标签的坐标，t是输出的回归坐标；

构建分类网络步骤：将感兴趣区域的标记框映射到卷积得分层上，并且划分k*k个分格，每个区域得到C+1个维度的特征图，按顺序依次将k*k个格子上对应的得分图抽取出来，然后这k²个得分图用来对候选区域进行投票从而判定目标的类别；

对于大小为w*h的感兴趣候选区域，每个分格的大小为(w/k)*(h/k)，对于第i行第j列的分格中的得分图，进行如下定义：

<mrow> <msub> <mi>r</mi> <mi>c</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>|</mo> <mi>&amp;theta;</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> <mo>&amp;Element;</mo> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </munder> <msub> <mi>z</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>,</mo> <mi>c</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>+</mo> <msub> <mi>x</mi> <mn>0</mn> </msub> <mo>,</mo> <mi>y</mi> <mo>+</mo> <msub> <mi>y</mi> <mn>0</mn> </msub> <mo>|</mo> <mi>&amp;theta;</mi> <mo>)</mo> </mrow> <mo>/</mo> <mi>n</mi> <mo>;</mo> </mrow>

其中，r_c(i,j)是针对第c类目标的第(i,j)个分格的响应得分，Z_i,j,c代表k²(C+1)个得分图中的一个，(x₀,y₀)表示候选区域的左上角坐标，n表示每个格子中像素的个数，θ是网络中所有可学习的参数；

对于k²个得分图通过平均得分进行投票，对于每个候选区域产生C+1维的向量：

最后计算每个目标的softmax响应：

6.如权利要求1所述的一种用于输电线路部件智能自动识别的方法，其特征是，所述输电线路部件检测步骤包括以下步骤:

初始化网络步骤：利用优化、训练得到的图像识别模型初始化训练网络，包括网络结构定义、网络基本参数定义、权重及偏置数据填充；

提取图像特征图步骤：首先，对输入图像进行多层卷积操作提取输入图像的高层语意表达；其次，对提取到的特征进行多尺度分割与上采样；最后，将金字塔特征与卷积后的特征进行融合，形成最终特征图；

提取候选区域步骤：利用区域提取网络提取候选框，并进行非极大值抑制操作，只保留得分最高的前300个候选框，以实现检测的快速处理；

计算位置敏感得分图步骤：对候选框进行得分图卷积操作，计算每个候选框的得分，并求取每个候选框的得分均值，构建位置敏感得分图；

确定候选区域类别与标记框步骤：对敏感得分图进行softmax分类，确定最终类别；对候选框进行拟合优化确定最终目标标记位置。