CN111260643A - 基于部署在后端服务器中模型的杆塔缺陷巡检的方法 - Google Patents

Abstract

本发明涉及无人机巡检领域，公开了一种基于部署在后端服务器中模型的杆塔缺陷巡检的方法，包括如下步骤：A)采集杆塔缺陷样本图片，手工标注塔缺陷样本图片中杆塔缺陷所在坐标及其类型，每个杆塔缺陷样本图片连续采集设定帧数的图像；B)通过数据增强算法增加杆塔缺陷样本图片的数量；C)采用结合时空维度的深度卷积神经网络训练杆塔缺陷检测模型；D)将杆塔缺陷检测模型部署到后端服务器；E)采集无人机的实时视频，从中获取关键帧图像，并将其传输到后端服务器，后端服务器调用杆塔缺陷检测模型进行杆塔缺陷的检测，当检测到杆塔缺陷时，发出预警。本发明能对杆塔缺陷进行识别预警，能稳定检测电力设施的安全状况，保障线路的安全运营。

Description

基于部署在后端服务器中模型的杆塔缺陷巡检的方法

技术领域

本发明涉及无人机巡检领域，特别涉及一种基于部署在后端服务器中模型的杆塔缺陷巡检的方法。

背景技术

电力工业是关系国计民生的支柱产业，电力系统的安全稳定运行具有重大战略意义。建设放在电力物联网是落实“三型两网、世界一流”战略目标的核心任务。科技的进步使人们对电力系统的安全稳定运行有了新的要求，电力系统的不断强大不仅给人们带来了生活和工作上的便利，但是也带来了更多复杂的电力安全稳定问题。目前对杆塔的状态监测基本是通过人工进行监测，由于人工不是时时刻刻都在进行监测，就可能会出现当杆塔出现缺陷时，人工没有及时发现故障，导致不能稳定检测电力实施的安全状况，不能保障线路的安全运营。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种能对杆塔缺陷进行识别预警，能稳定检测电力设施的安全状况，保障线路的安全运营的基于部署在后端服务器中模型的杆塔缺陷巡检的方法。

本发明解决其技术问题所采用的技术方案是：构造一种基于部署在后端服务器中模型的杆塔缺陷巡检的方法，包括如下步骤：

A)采集杆塔缺陷样本图片，构成杆塔缺陷样本集，手工标注所述杆塔缺陷样本图片中杆塔缺陷所在坐标及其类型，每个所述杆塔缺陷样本图片连续采集设定帧数的图像；

B)通过数据增强算法增加所述杆塔缺陷样本集中杆塔缺陷样本图片的数量；

C)采用结合时空维度的深度卷积神经网络训练杆塔缺陷检测模型；

D)将所述杆塔缺陷检测模型部署到后端服务器；

E)采集无人机的实时视频，获取关键帧图像，将所述关键帧图像传输到所述后端服务器，所述后端服务器调用所述杆塔缺陷检测模型进行杆塔缺陷的检测，当检测到杆塔缺陷时，发出预警。

在本发明所述的基于部署在后端服务器中模型的杆塔缺陷巡检的方法中，所述步骤B)进一步包括：

B1)对所述杆塔缺陷样本图片加入随机噪声，得到有噪声干扰的样本图像；

B2)将所述有噪声干扰的样本图像分别进行顺时针方向和逆时针方向设定角度以内的角度旋转，得到不同旋转角度下的样本图像；

B3)将所述不同旋转角度下的样本图像进行光度学图像增强，改变其亮度、对比度和饱和度，增加高斯噪声，得到不同光度下的样本图像；

B4)将所述不同光度下的样本图像输入对抗生成网络，将所述对抗生成网络输出的图片作为杆塔缺陷样本图片加入到所述杆塔缺陷样本集中。

在本发明所述的基于部署在后端服务器中模型的杆塔缺陷巡检的方法中，所述步骤C)进一步包括：

C1)构建基础网络层，将所述杆塔缺陷样本图片中的第一帧图像送入所述基础网络层，得到第一输出图像；所述基础网络层分别由6层卷积层、池化层和ReLU激活函数构成；

C2)构建区域生成网络，用于区分前景和背景，在所述第一输出图像上应用滑动窗口，每个滑动窗口生成第一设定个数候选区域，候选区域比例按照设定的三种模式进行选择，将所有所述候选区域连接到所述区域生成网络，采用softmax回归出所有候选区域，选择前第二设定个数候选区域作为第二输出图像；

C3)将所述第二输出图像接入已训练的ResNet101网络，并去除全局池化层，提取所述第一帧图像的输出特征；

C4)针对所述杆塔缺陷样本图片中的第二帧图像和第三帧图像，分别执行所述C1)至C3)，分别对应得到所述第二帧图像的输出特征和所述第三帧图像的输出特征；

C5)将所述第一帧图像的输出特征、第二帧图像的输出特征和所述第三帧图像的输出特征的平均值作为特征层，接入全局池化层，进行迁移学习，得到杆塔缺陷检测模型。

在本发明所述的基于部署在后端服务器中模型的杆塔缺陷巡检的方法中，所述步骤E)进一步包括：

E1)调用无人机SDK获取实时视频流，并从中抓取关键帧图像；

E2)通过http协议将所述关键帧图像传输到所述后端服务器，调用所述杆塔缺陷检测模型，检测杆塔是否存在缺陷。

在本发明所述的基于部署在后端服务器中模型的杆塔缺陷巡检的方法中，所述设定帧数为3帧。

在本发明所述的基于部署在后端服务器中模型的杆塔缺陷巡检的方法中，所述设定角度为30°。

在本发明所述的基于部署在后端服务器中模型的杆塔缺陷巡检的方法中，所述第一设定个数为9个。

在本发明所述的基于部署在后端服务器中模型的杆塔缺陷巡检的方法中，所述设定的三种模式为[1:2,1:1,2:1]。

在本发明所述的基于部署在后端服务器中模型的杆塔缺陷巡检的方法中，所述第二设定个数为200个。

实施本发明的基于部署在后端服务器中模型的杆塔缺陷巡检的方法，具有以下有益效果：由于通过无人机巡检，实现杆塔的状态监测，本发明能对杆塔缺陷进行识别预警，能稳定检测电力设施的安全状况，保障线路的安全运营。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于部署在后端服务器中模型的杆塔缺陷巡检的方法一个实施例中的流程图；

图2为所述实施例中通过数据增强算法增加杆塔缺陷样本集中杆塔缺陷样本图片的数量的具体流程图；

图3为所述实施例中采用结合时空维度的深度卷积神经网络训练杆塔缺陷检测模型的具体流程图；

图4为所述实施例中采集无人机的实时视频，获取关键帧图像，将关键帧图像传输到后端服务器，后端服务器调用杆塔缺陷检测模型进行杆塔缺陷的检测，当检测到杆塔缺陷时，发出预警的具体流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明基于部署在后端服务器中模型的杆塔缺陷巡检的方法实施例中，该基于部署在后端服务器中模型的杆塔缺陷巡检的方法的流程图如图1所示。图1中，该基于部署在后端服务器中模型的杆塔缺陷巡检的方法包括如下步骤：

步骤S01采集杆塔缺陷样本图片，构成杆塔缺陷样本集，手工标注塔缺陷样本图片中杆塔缺陷所在坐标及其类型，每个杆塔缺陷样本图片连续采集设定帧数的图像：本步骤中，采集若干个杆塔缺陷样本图片，这些杆塔缺陷样本图片构成杆塔缺陷样本集，然后由人工在杆塔缺陷样本图片上手工标注出杆塔缺陷所在坐标以及杆塔缺陷的类型，每个杆塔缺陷样本图片连续采集设定帧数的图像。本实施例中，该设定帧数为3帧。当然，在其他实施例中，该设定帧数的大小可以根据具体情况进行相应增大或减小。

步骤S02通过数据增强算法增加杆塔缺陷样本集中杆塔缺陷样本图片的数量：本步骤中，需要扩充塔缺陷样本集中的杆塔缺陷样本图片的数量，具体是通过数据增强算法增加杆塔缺陷样本集中杆塔缺陷样本图片的数量。

步骤S03采用结合时空维度的深度卷积神经网络训练杆塔缺陷检测模型：本步骤中，采用结合时空维度的深度卷积神经网络对杆塔缺陷样本集中的杆塔缺陷样本图片进行训练，训练出杆塔缺陷检测模型。

步骤S04将杆塔缺陷检测模型部署到后端服务器：本步骤中，将步骤S03中得到的杆塔缺陷检测模型部署到后端服务器中。

步骤S05采集无人机的实时视频，从实时视频中获取关键帧图像，并将其传输到后端服务器，后端服务器调用杆塔缺陷检测模型进行杆塔缺陷的检测，当检测到杆塔缺陷时，发出预警：本步骤中，采集无人机的实时视频，从该实时视频中获取关键帧图像，将该关键帧图像传输到后端服务器，后端服务器调用杆塔缺陷检测模型进行杆塔缺陷的检测，当检测到杆塔缺陷时，后端服务器发出预警，并将预警发送给杆塔巡检人员的终端进行显示。

由于通过无人机巡检，实现杆塔的状态监测，本发明的基于部署在后端服务器中模型的杆塔缺陷巡检的方法能对杆塔缺陷进行识别预警，能稳定检测电力设施的安全状况，保障线路的安全运营。

对于本实施例而言，上述步骤S02还可进一步细化，其细化后的流程图如图2所示。图2中，上述步骤S02进一步包括如下步骤：

步骤S21对杆塔缺陷样本图片加入随机噪声，得到有噪声干扰的样本图像：本步骤中，在杆塔缺陷样本图片中加入随机噪声，得到有噪声干扰的样本图像。

步骤S22将有噪声干扰的样本图像分别进行顺时针方向和逆时针方向设定角度以内的角度旋转，得到不同旋转角度下的样本图像：本步骤中，将上述步骤S21中得到的有噪声干扰的样本图像进行顺时针方向和逆时针方向设定角度以内的角度旋转，这样可以得到同旋转角度下的样本图像。值得一提的是，本实施例中，设定角度为30°，也就是将有噪声干扰的样本图像分别进行顺时针方向和逆时针方向30°以内的角度旋转，得到不同旋转角度下的样本图像。当然，在实际应用中，该设定角度的大小可以根据具体情况进行相应调整，也就是该设定角度的大小可以根据具体情况进行相应增大或减小。

步骤S23将不同旋转角度下的样本图像进行光度学图像增强，改变其亮度、对比度和饱和度，增加高斯噪声，得到不同光度下的样本图像：本步骤中，将上述步骤S22中得到的不同旋转角度下的样本图像进行光度学图像增强，改变其亮度、对比度和饱和度，并增加高斯噪声，这样可以得到不同光度下的样本图像。

步骤S24将不同光度下的样本图像输入对抗生成网络，将对抗生成网络输出的图片作为杆塔缺陷样本图片加入到杆塔缺陷样本集中：本步骤中，将不同光度下的样本图像输入到对抗生成网络中，经过对抗生成网络处理后，将对抗生成网络处理后输出的图片作为杆塔缺陷样本图片，加入到杆塔缺陷样本集中，这样实现了对杆塔缺陷样本集的扩充。

对于本实施例而言，上述步骤S03还可进一步细化，其细化后的流程图如图3所示。图3中，上述步骤S03进一步包括如下步骤：

步骤S31构建基础网络层，将杆塔缺陷样本图片中的第一帧图像送入基础网络层，得到第一输出图像：本步骤中，构建基础网络层，该基础网络层分别由6层卷积层、池化层和ReLU激活函数构成，将杆塔缺陷样本图片中的第一帧图像送入基础网络层，得到第一输出图像o1。

步骤S32构建区域生成网络，用于区分前景和背景，在第一输出图像上应用滑动窗口，每个滑动窗口生成第一设定个数候选区域，候选区域比例按照设定的三种模式选择，将所有候选区域连接到区域生成网络，采用softmax回归出所有候选区域，选择前第二设定个数候选区域作为第二输出图像：本步骤中，构建区域生成网络，用于区分前景和背景，在第一输出图像o1上应用滑动窗口，每个滑动窗口生成第一设定个数候选区域，候选区域比例按照设定的三种模式选择，将所有候选区域连接到区域生成网络，采用softmax回归出所有候选区域，选择前第二设定个数候选区域作为第二输出图像o2，值得一提的是，本实施例中，第一设定个数为9个，设定的三种模式为[1:2,1:1,2:1]，第二设定个数为200个，换言之，构建区域生成网络，用于区分前景和背景，在第一输出o1上应用滑动窗口，每个滑动窗口生成9个候选区域，候选区域比例按照[1:2,1:1,2:1]三种模式选择，将所有候选区域连接到区域生成网络，采用softmax回归出所有候选区域，选择前200个候选区域作为第二输出图像o2。

步骤S33将第二输出图像接入已训练的ResNet101网络，并去除全局池化层，提取第一帧图像的输出特征：本步骤中，将第二输出图像o2接入已训练的ResNet101网络，并去除全局池化层，提取第一帧图像的输出特征f1。

步骤S34针对杆塔缺陷样本图片中的第二帧图像和第三帧图像，分别执行S31至S33，分别对应得到第二帧图像的输出特征和第三帧图像的输出特征：本步骤中，针对杆塔缺陷样本图片中的第二帧图像和第三帧图像，分别执行上述步骤S31至S33，分别对应得到第二帧图像的输出特征f2和第三帧图像的输出特征f3。

步骤S35将第一帧图像的输出特征、第二帧图像的输出特征和第三帧图像的输出特征的平均值作为特征层，接入全局池化层，进行迁移学习，得到杆塔缺陷检测模型：本步骤中，将第一帧图像的输出特征f1、第二帧图像的输出特征f2和第三帧图像的输出特征f3求平均值，即f＝(f1+f2+f3)/3，将特征f作为特征层，接入全局池化层，进行迁移学习，得到杆塔缺陷检测模型。

对于本实施例而言，上述步骤S05还可进一步细化，其细化后的流程图如图4所示。图4中，上述步骤S05进一步包括如下步骤：

步骤S51调用无人机SDK获取实时视频流，并从中抓取关键帧图像：本步骤中，调用无人机SDK获取实时视频流，并从中该实时视频流中抓取关键帧图像。

步骤S52通过http协议将关键帧图像传输到后端服务器，调用杆塔缺陷检测模型，检测杆塔是否存在缺陷：本步骤中，通过http协议将上述关键帧图像传输到后端服务器，后端服务器调用杆塔缺陷检测模型，将关键帧图像与杆塔缺陷检测模型进行比对，检测杆塔是否存在缺陷，当存在缺陷时，会发出预警。

总之，本发明通过无人机巡检，实现杆塔的状态监测，本发明的基于部署在后端服务器中模型的杆塔缺陷巡检的方法能对杆塔缺陷进行识别预警，能稳定检测电力设施的安全状况，保障线路的安全运营。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于部署在后端服务器中模型的杆塔缺陷巡检的方法，其特征在于，包括如下步骤：

A)采集杆塔缺陷样本图片，构成杆塔缺陷样本集，手工标注所述杆塔缺陷样本图片中杆塔缺陷所在坐标及其类型，每个所述杆塔缺陷样本图片连续采集设定帧数的图像；

B)通过数据增强算法增加所述杆塔缺陷样本集中杆塔缺陷样本图片的数量；

C)采用结合时空维度的深度卷积神经网络训练杆塔缺陷检测模型；

D)将所述杆塔缺陷检测模型部署到后端服务器；

E)采集无人机的实时视频，从所述实时视频中获取关键帧图像，并将其传输到所述后端服务器，所述后端服务器调用所述杆塔缺陷检测模型进行杆塔缺陷的检测，当检测到杆塔缺陷时，发出预警。

2.根据权利要求1所述的基于部署在后端服务器中模型的杆塔缺陷巡检的方法，其特征在于，所述步骤B)进一步包括：

B1)对所述杆塔缺陷样本图片加入随机噪声，得到有噪声干扰的样本图像；

B2)将所述有噪声干扰的样本图像分别进行顺时针方向和逆时针方向设定角度以内的角度旋转，得到不同旋转角度下的样本图像；

B3)将所述不同旋转角度下的样本图像进行光度学图像增强，改变其亮度、对比度和饱和度，增加高斯噪声，得到不同光度下的样本图像；

B4)将所述不同光度下的样本图像输入对抗生成网络，将所述对抗生成网络输出的图片作为杆塔缺陷样本图片加入到所述杆塔缺陷样本集中。

3.根据权利要求1所述的基于部署在后端服务器中模型的杆塔缺陷巡检的方法，其特征在于，所述步骤C)进一步包括：

C1)构建基础网络层，将所述杆塔缺陷样本图片中的第一帧图像送入所述基础网络层，得到第一输出图像；所述基础网络层分别由6层卷积层、池化层和ReLU激活函数构成；

C2)构建区域生成网络，用于区分前景和背景，在所述第一输出图像上应用滑动窗口，每个滑动窗口生成第一设定个数候选区域，候选区域比例按照设定的三种模式进行选择，将所有所述候选区域连接到所述区域生成网络，采用softmax回归出所有候选区域，选择前第二设定个数候选区域作为第二输出图像；

C3)将所述第二输出图像接入已训练的ResNet101网络，并去除全局池化层，提取所述第一帧图像的输出特征；

C4)针对所述杆塔缺陷样本图片中的第二帧图像和第三帧图像，分别执行所述C1)至C3)，分别对应得到所述第二帧图像的输出特征和所述第三帧图像的输出特征；

C5)将所述第一帧图像的输出特征、第二帧图像的输出特征和所述第三帧图像的输出特征的平均值作为特征层，接入全局池化层，进行迁移学习，得到杆塔缺陷检测模型。

4.根据权利要求1所述的基于部署在后端服务器中模型的杆塔缺陷巡检的方法，其特征在于，所述步骤E)进一步包括：

E1)调用无人机SDK获取实时视频流，并从中抓取关键帧图像；

E2)通过http协议将所述关键帧图像传输到所述后端服务器，调用所述杆塔缺陷检测模型，检测杆塔是否存在缺陷。

5.根据权利要求1所述的基于部署在后端服务器中模型的杆塔缺陷巡检的方法，其特征在于，所述设定帧数为3帧。

6.根据权利要求2所述的基于部署在后端服务器中模型的杆塔缺陷巡检的方法，其特征在于，所述设定角度为30°。

7.根据权利要求3所述的基于部署在后端服务器中模型的杆塔缺陷巡检的方法，其特征在于，所述第一设定个数为9个。

8.根据权利要求3所述的基于部署在后端服务器中模型的杆塔缺陷巡检的方法，其特征在于，所述设定的三种模式为[1:2,1:1,2:1]。

9.根据权利要求3所述的基于部署在后端服务器中模型的杆塔缺陷巡检的方法，其特征在于，所述第二设定个数为200个。

Images