CN108496129B - 一种基于飞行器的设施检测方法及控制设备 - Google Patents

Abstract

一种设施检测方法及控制设备能够自动实现对某些设施巡检，节省了人力成本，提高了巡检效率，其中，设施检测方法包括：当飞行器位于针对目标设施的检测位置时，获取包括目标设施的环境图像(S201，S301)；从环境图像中确定出目标设施所属的图像区域，并对图像区域进行图像分割，得到关于目标设施的检测对象(S202，S302)；根据检测对象在环境图像中的图像位置和检测位置，获取关于检测对象的飞行规则(S203，S303)；根据飞行规则控制飞行器飞行(S304)，以便于完成对目标设施的检测(S204)。

Description

一种基于飞行器的设施检测方法及控制设备

技术领域

本发明涉及计算机控制技术领域，尤其涉及一种基于飞行器的设施检测方法及控制设备。

背景技术

某些设施，需要用户定期对这些设施进行巡检、维护，以便于确认这些设施的安全状态。例如，对于电塔、大桥、高楼等设施，需要定期巡检来确保这些设施的安全及正常运行。

然而，对于一些处于特殊位置的设施，特别是一些处于险峻位置处的电塔、大桥等设施，进行周期性的巡检变得十分困难。并且，此类设施通常数目较多，周期性的巡检需要耗费大量的人力。

发明内容

本发明实施例提供了一种基于飞行器的设施检测方法及控制设备，通过对飞行器的控制来实现对目标设施的巡检。

一方面，本发明实施例提供了一种基于飞行器的设施检测方法，包括：

当飞行器位于针对目标设施的检测位置时，获取包括所述目标设施的环境图像；

从所述环境图像中确定出所述目标设施所属的图像区域，并对该图像区域进行图像分割，得到关于所述目标设施的检测对象；

根据检测对象在所述环境图像中的图像位置和所述检测位置，获取关于所述检测对象的飞行规则；

根据所述飞行规则控制所述飞行器飞行，以便于完成对所述目标设施的检测。

另一方面，本发明实施例还提供了一种控制设备，包括：处理器和数据接口；

所述数据接口，用于与飞行器交互数据；

所述处理器，用于当飞行器位于针对目标设施的检测位置时，获取包括所述目标设施的环境图像；从所述环境图像中确定出所述目标设施所属的图像区域，并对该图像区域进行图像分割，得到关于所述目标设施的检测对象；根据检测对象在所述环境图像中的图像位置和所述检测位置，获取关于所述检测对象的飞行规则；根据所述飞行规则生成控制指令，并通过所述数据接口发送给所述飞行器以控制所述飞行器飞行，以便于完成对所述目标设施的检测。

本发明实施例在对某些设施进行巡检时，特别是对较高设施或者处于不易到达的地区的设施，能够基于图像识别和自动控制飞行的方式对设施中的一个或者多个需要检测的对象进行巡检，降低了巡检的人力成本以及安全性，提高了巡检的效率。

附图说明

图1是本发明实施例的一种对目标设施进行检测的方法流程示意图；

图2是本发明实施例的一种基于飞行器的设施检测方法的流程示意图；

图3是本发明实施例的另一种基于飞行器的设施检测方法的流程示意图；

图4是本发明实施例的一种确定飞行规则的方法流程示意图；

图5是本发明实施例的一种设施检测装置的结构示意图；

图6是本发明实施例的一种控制设备的结构示意图。

具体实施方式

本发明实施例通过使用视觉技术，采集图像，可以在远处检测、识别出需要检测的目标设施，自动飞行到待检测的目标设施的附近。并通过图像分割识别技术，将目标设施中的各个部分分割区分开来，得到该目标设施的一个或者多个检测对象，有针对地使用携带的传感器(如相机，热成像仪等)对识别出的各个检测对象进行检测与记录。检测记录结束后，无人机等飞行器将自动返航或者在电量充足的情况下去临近的下一个需要检测的目标设施进行检测。

如图1所示，是本发明实施例的一种对目标设施进行检测的方法流程示意图。本发明实施例的设施检测方法可以由一个控制设备来执行，该控制设备可以配置在飞行器上。并且，在本发明实施例中，以无人机来作为飞行器对所述方法进行说明，该无人机上挂载有用于对目标设施进行检测的传感器。该控制设备所执行的主要步骤如下。

S101：确定目标设施的位置。可以利用GPS(Global Positioning System，全球定位系统)信息等位置信息，大概定义目标设施的位置，控制无人机自主向该目标设施飞行，以至目标设施出现在无人机的观察范围之内，该观察范围主要是指无人机挂载的传感器的探测范围，例如相机的拍摄范围。用户可以预先在对控制设备进行配置的用户界面上，输入一个或多个目标设施的位置信息，例如，在一个显示有地图的界面中，通过触摸点击的方式在该包括地图的界面上指定一个或多个位置点，控制设备可以将这些位置点记录为目标设施的位置点。控制设备可以在无人机开启了巡检模式时，控制无人机基于各个目标设施的位置点飞行，以便于向对应的一个或者多个目标设施飞行，以监控一个目标设施，或者监控某条路线上的多个目标设施，例如，相连的多个电塔。

S102：基于图像分割识别以及深度图进行避障处理。在向目标设施飞行的过程中，可以基于图像分割识别以及获取的深度图进行主动避障，以便于安全飞行到可以检测目标设施的区域。

无人机自主飞行过程中需要检测飞行路径中的各种障碍物。避障的首要任务是检测出飞行方向上的障碍物。深度图可以基于双目视觉探测的方式探测并计算得到，从而定位飞行路径上的障碍。深度图的获取可以使用双目计算匹配得到，也可以用基于结构光或者红外的设备计算得到。基于结构光或者红外的设备可得到相对质量更高的深度图。

为了进一步提高深度图的精度，使得在纹理不丰富并且目标物过小时能够避免发生漏检与误检的情况，在本发明实施例中可以进一步结合图像分割技术，来进行障碍物的确定和飞行避障。由于图像分割不需要做匹配，对于纹理不丰富的区域也能有较好的识别效果，因此可以配合深度图一起使用，一方面可以得到更好的深度图，另一方面，也可以给深度图中的每一个点赋予实际意义，有助于无人机进行路径规划，确定无人机飞行的飞行规则。

在飞行的过程中，无人机不断估计、修正与目标设施的相对位置。在一个实施例中，无人机可以使用视觉跟踪算法，将目标设施锁定在图像可观测的范围内，通过目标设施在图像中大小的变化和当前的飞行速度，估计与目标设施的相对距离。无人机也可以按照特定轨迹飞行来大致获取场景中物体的深度信息，为距离避障提供参考。

在一个实施例中，可以基于拍摄到的图像识别确定出本次检测的巡检场景，巡检场景具体可以根据本次检测的目标设施来进行分类的，例如包括：巡检电塔的场景、巡检大桥的场景等，确定出的巡检场景可以为飞行避障、规划飞行路线提供参考信息。例如，在巡检场景为巡检电塔的场景时，由于在这些场景下，相邻的电塔之间一般有电力线相连接，连接的部位相对比较固定，无人机在设定路线时，可选择绕开电力线密集的区域。

针对特定的巡检场景，无人机可以配备相应的传感器以进一步提高避障的可靠性。比如，针对电力系统的设备巡检，热成像仪可以用于检测电线的存在，对于需要靠近电力线进行巡检提供更鲁棒的避障。

S103：当检测到目标设施进入无人机的观察范围之后，检测目标设施的具体位置，并向目标设施飞行。本发明实施例可以基于人工特征的视觉检测方法来检测图像范围内的目标设施。也可以基于深层神经网络的识别算法通过对电塔等目标设施的海量图像数据学习，可以从数据中学到更加稳定可靠的图像特征，从而得到更精确的识别结果。

检测算法运行在无人机观察到的图像上，在图像中检测、定位目标设施的位置。一旦在图像中发现待检测的目标设施，在图像中将其锁定，并逐渐飞向待检测的该目标设施。此过程中，可以使用跟踪算法锁定检测到的目标设施，并利用检测的结果作为参考来确定无人机的飞行路线。

为了定位目标设施在图像中的位置，可以在目标设施中选择多个特征点。基于全图的分割识别可以使得无人机能够根据目标设施的类别选择更加稳定的图像特征点，这些图像特征点一般需要一直稳定地存在于目标设施上，不移动，容易被检测发现。比如，选择在电塔上的特征点比水面的特征点要更加稳定，基于这些图像特征点，可以提高为无人机计算SLAM(Simultaneous localization and mapping，同时定位与建图)的精度。因此，无人机可以更加灵活的调整姿态与路线。比如，为了使飞行路线更加安全，可以选择在局部路径中，待检测的目标设施不出现在视野范围之内，通过障碍物后，根据估计的相对位置，重新将待检测的目标设施锁定在图像中。

S104：识别设施的各个组成部分，并针对性的检测与记录。在到达了对目标设施的检测位置时，例如，与目标设施的距离在预设的距离范围内的区域中的某个位置时，可以进一步地基于图像从目标设施中识别出检测对象，例如，目标设施为电塔时，识别出本次需要检测的检测对象为整个塔头，或者固定电力线的部件。

图像分割算法将提供像素级别的识别与分割，提供图像中每一个像素的类别信息，这里的类别信息的作用主要在于确定对该类别信息对应的检测对象，进而确定出需要采用的巡检策略，指导无人机飞行。

可以将待检测的目标设施从图像中分割出来，确定出仅包括目标设施的局部图像区域，再对该局部图像区域进行分析识别，对目标设施的不同的位置识别出不同的类别，得到本次需要检测的关键部分，该关键部分即为检测对象，从而可以对目标设施的关键部分进行针对性的检测与记录。为了给巡检提供更加准确的信息，在与目标设施的距离小于预设的距离阈值时，可以使用针对目标设施的特定部位进行分割、识别的对象模型。

这种对象模型除了能将目标设施与背景分割开之外，还可以细化分割、识别目标设施的组成部分，得到一个或多个检测对象。对于巡检过程中，可以对例如电塔等目标设施的各个组成部分进行识别，在图像中标记出各组成部分的位置。用户可以事先指定针对每个组成部分的巡检策略。在一个实施例中，该巡检策略包括但不限于：环绕拍摄，远近持续视频拍摄，以及定点使用高精相机拍照。与远程识别的图像分割模型类似，所述对象模型的输入是图像，输出像素级别的识别结果，其中表示了每个像素所属的特定类别，可以包括背景以及细化的目标设施中各种组成部件，也就是说每个像素点可以为背景类别的像素点，或者为某个检测对象类别(例如塔头)的像素点。所述对象模型可以根据实际需要巡检的目标设施来配置，例如，对于电塔，可以配置塔头、塔脚等对象模型以便于识别出目标设施在图像中的塔头和塔脚。

根据识别结果以及用户的设定，生成具体的巡检方案。巡检方案的生成包括：轨迹的生成，每一段轨迹的时间分配等。求解轨迹的准则会考虑的信息包括：完成所有检测对象的巡检的前提下，如何更可能的减少飞行时间，如何选择更加安全的飞行路线，比如包括如何避开电力线，如何使得拍摄画面稳定可靠，无人机的特性，比如无人机的最大最小加速度，以及进行检测的检测设备的特效，例如相机的FOV，其它用于检测的传感器的最佳使用距离等。

当轨迹生成完成后，无人机执行该计算出的轨迹，对目标设施各个待检测部件(检测对象)进行巡检。此时，无人机仍然会不断的更新观察，实时动态的修正轨迹以保证能安全有效的进行巡检。

S105：检测完毕，自动返航。待完成检测任务，无人机可以根据开始执行巡检任务时记录的出发点信息和/或记录的飞行数据来实现自动返航。在一个实施例中，可以结合视觉里程计(visual odometry)与GPS信息指导无人机返航。视觉里程计通过图像特征匹配的方式估计无人机在执行任务中的轨迹。结合图像分割算法的视觉里程计可以选择更好的匹配特征从而实现更精准的轨迹估计。

可以通过分析执行任务时的飞行轨迹，计算出返回起飞点最优的返航路线。比如，执行任务中探索、尝试、重复的飞行轨迹可以绕过。其中，可以绕过的飞行轨迹可以是在实现上述的视觉里程计得到的飞行轨迹中标记出的部分轨迹。

在一个实施例中，还可以结合GPS坐标，纠正为返航估计的飞行轨迹。并且可以进一步地通过定位传感器，在无人机到达起飞点附近之后，实现更加精准的返航。

在一个实施例中，无人机可以根据之前的记录所生成的视觉里程计确认最佳的返航路线，同时在返航的过程中开启避障功能。

另外，在实现飞行避障时，可以结合已知的2D/3D地图来确定飞行路线上的障碍物，例如确定在地图上已经标识的建筑物、山脉等障碍物，进而可以在确定飞行路径时选择绕过这些障碍物。为了更快地从目标设施中确定出检测对象，可以在目标设施上设定用于标识检测对象的标记，基于这些标记以及拍摄的图像，快速地从目标设施所在的图像区域中分割并定位出一个或多个检测对象。在获取深度图时，不仅可以基于双目视觉的方式获取，也可以使用类似激光雷达之类的装置来获取。

本发明实施例在对某些设施进行巡检时，特别是对较高设施或者处于不易到达的地区的设施，能够基于图像识别和自动控制飞行的方式对设施中的一个或者多个需要检测的对象进行巡检，降低了巡检的人力成本以及安全性，提高了巡检的效率。

再请参见图2，是本发明实施例的一种基于飞行器的设施检测方法的流程示意图，本发明实施例的所述方法可以由一个专用的控制设备来执行，该控制设备可以配置在无人机等飞行器上。该控制设备也可以作为一个地面端设备，通过无线的方式与无人机等飞行器交互数据，进而完成对目标设施的巡检任务。

S201：当飞行器位于针对目标设施的检测位置时，获取包括所述目标设施的环境图像。该检测位置的作用主要在于：可以触发对目标设施的相关处理以便于完成对目标设施的巡检任务。

所述检测位置可以是指位于某个位置区域中的位置点，该位置区域可以是指与目标设施的距离在一个预设的距离范围内的区域。控制设备基于检测到的所述飞行器的位置(例如GPS位置坐标)或所述飞行器上报的位置，并根据目标设施的位置，来确定飞行器是否到达针对目标设施的检测位置。

是否到达检测位置也可以由飞行器自行判断，在一个实施例中，飞行器可以根据拍摄到的包括目标设施的图像进行分析，基于预设的目标设施的实际大小、目标设施在图像中的大小、目标设施在图像中的位置来估计飞行器与目标设施之间的距离，如果该距离在一个预设的距离范围内，则可以认为飞行器到底了对目标设施进行检测的检测位置。

该检测位置还可以是一个特定的位置，在该位置上得到的图像中包括所述目标设施，或者在该位置上能够对图像中包括的目标设施进行分割，例如，如果图像中，目标设施所占区域满足预设的条件(目标设施的像素点的个数大于预设的阈值、或者目标设施所占图像区域的面积大于预设的阈值)时，飞行器所在的位置即可以认为是检测位置。

无人机等飞行器上配置了摄像机等拍摄装置，到达检测位置后，触发拍摄装置采集环境图像，对于在S201中采集到的环境图像，主要用于确定出检测对象，并确定针对检测对象进行检测时所使用的飞行规则。

在一个实施例中，可以在显示地图的交互界面上配置一个或者多个待检测的设施位置点；将被选中的一个或者多个设施位置点所对应的设施确定为目标设施；根据选中的设施位置点控制飞行器向目标设施飞行，以便于飞行到针对目标设施的检测位置。如果用户在交互界面上选择了多个目标设施，可以控制飞行器由远及近或由近及远先后执行下述的步骤完成多个目标设施的巡检。或者基于飞行器的剩余能量，完成其中的一个或者其中的部分目标设施的巡检。如果控制设备为一个包括显示器的智能终端，例如智能手机、平板电脑等，则可以直接显示一个包括地图的交互界面给用户。如果控制设备挂载在飞行器上，则所述控制设备可以通过自带的无线通信接口，或者通过所述飞行器上的无线通信接口，发送指令以触发用于接收飞行器的数据的检测端显示交互界面，并接收在所述交互界面上确定的目标设施的位置，以控制飞行器飞行。

S202：从所述环境图像中确定出所述目标设施所属的图像区域，并对该图像区域进行图像分割，得到关于所述目标设施的检测对象。确定目标设施所属的图像区域也可以是基于图像分割实现的。可以基于所述环境图像中像素的亮度及颜色进行图像分割，得到环境图像中所述目标设施所属的图像区域和目标设施的各个检测对象。

所述检测对象可以是所述目标设施的全部，所述检测对象也是所述目标设施的部分部件，例如电塔的塔头、固定电力线的固定部件等等。检测对象由用户预先指定。例如，用户指定需要巡检整个电塔，那么在S202中，可以在得到电塔的图像区域后，将该图像区域中的整个电塔作为检测对象。用户也可以指定巡检电塔的塔头部分，在得到电塔的图像区域后，再分割得到塔头作为检测对象。

在对所述图像区域进行分割时，主要是基于为所述目标设施预设的对象模型来对所述图像区域进行分割，从图像区域的目标设施中确定一个或者多个检测对象。在一个实施例中，所述对该图像区域进行图像分割，得到关于所述目标设施的检测对象具体可以包括：获取为所述目标设施预设的对象模型；按照对象模型对图像区域进行图像分割，得到与所述对象模型之间的形状相似度满足相似度条件的检测对象。所述对象模型主要用于识别出目标设施上的某个组成部分，例如，预设的关于塔头的对象模型能够协助识别出电塔的塔头部分。可以预设不同角度的多个对象模型来对应一个检测对象，以便于在不同角度获取到的关于目标设施的图像时，均能够准确地分割确定出目标设施中的检测对象。进一步地，所述对象模型配置有模型标识，根据模型标识获取对应检测对象关联的巡检策略。该模型标识可以为一个名称，例如上述的关于塔头的对象模型的模型标识即为“塔头”。在基于对象模型识别出一个检测对象后，该检测对象的标识与对象模型对应，检测对象的标识可以与对象模型的模型标识相同。基于检测对象的标识，可以从预先设置的映射关系库中确定出与该检测对象的标识关联的巡检策略，这些巡检策略主要用于指示如何对检测对象进行巡检的巡检规则，包括环绕飞行环绕拍摄，远近持续视频拍摄，以及定点使用高精相机拍照等规则。在执行下述的S203时，可以进一步地基于巡检规则来获取关于所述检测对象的飞行规则。

S203：根据检测对象在所述环境图像中的图像位置和所述检测位置，获取关于所述检测对象的飞行规则。图像位置可以是检测对象在图像中的像素位置，基于图像位置可以确定检测对象相对于飞行器的方位。可以以所述检测位置为起点，确定出能够从上方、下方等方位对检测对象进行检测的飞行规则，或者确定出环绕所述检测对象飞行的飞行规则。该飞行规则可以为一个飞行轨迹，例如控制无人机分飞行的飞行轨迹，基于该飞行轨迹，能够实现对

S204：根据所述飞行规则控制所述飞行器飞行，以便于完成对所述目标设施的检测。在确定出飞行规则后，控制飞行器按照该飞行规则飞行，即可完成对检测对象的巡检。

在所述S201之前向目标设施飞行以到达检测位置的过程中、或者在S204控制所述飞行器飞行的过程中，可以实时或周期性地接收所述飞行器返回的位置信息，所述位置信息包括：由所述飞行器生成的所述飞行器相对于目标对象的距离信息和方向信息，或由所述飞行器返回的所述飞行器的位置坐标信息。根据接收的位置信息和所述目标设施的位置，在交互界面上实时显示所述飞行器和目标设施之间的相对位置。

本发明实施例在对某些设施进行巡检时，特别是对较高设施或者处于不易到达的地区的设施，能够基于图像识别和自动控制飞行的方式对设施中的一个或者多个需要检测的对象进行巡检，降低了巡检的人力成本以及安全性，提高了巡检的效率。

再请参见图3，是本发明实施例的另一种基于飞行器的设施检测方法的流程示意图，本发明实施例的所述方法可以由一个专用的控制设备来执行，该控制设备可以配置在无人机等飞行器上。该控制设备也可以作为一个地面端设备，通过无线的方式与无人机等飞行器交互数据，进而完成对目标设施的巡检任务。

S301：当飞行器位于针对目标设施的检测位置时，获取包括所述目标设施的环境图像。所述检测位置是在离所述目标设施在预设的距离范围内的其中一个位置。所述环境图像时所述飞行器上携带的拍摄头等传感器采集到的环境图像。

S302：从所述环境图像中确定出所述目标设施所属的图像区域，并对该图像区域进行图像分割，得到关于所述目标设施的检测对象。基于图像分割技术分割确定出所述图像区域，并基于预设的对象模型来分析确定出目标设施的检测对象。

S303：根据检测对象在所述环境图像中的图像位置和所述检测位置，获取关于所述检测对象的飞行规则。所述图像位置的作用在于：需要确保检测对象一直位于图像中。根据所述图像位置能够确定检测对象的相对方向，进一步地，在对该检测对象进行检测时，如果需要将当前需要检测的检测对象保持在画面中间，则在生成包括飞行轨迹的飞行规则时，考虑该图像位置。当需要检测的检测对象仅包括一个时，只需要生成针对该检测对象的飞行规则，例如生成环绕该检测对象的飞行轨迹。如果检测对象包括多个，则需要生成一个飞行规则，基于该飞行规则能够先后对多个检测对象进行检测。例如，对电塔的检测包括“塔头”、“塔身”、“塔脚”三个检测对象时，可以生成飞行规则，该飞行规则包括从检测位置开始，先沿着飞行规则中的飞行轨迹往上飞检测塔头，接着沿着该飞行轨迹往下飞检测塔身，最后沿着轨迹再到塔脚，从而在多段飞行轨迹上完成对“塔头”、“塔身”、“塔脚”三个检测对象的检测。

其中，所述飞行规则包括飞行轨迹，所述S303具体可以包括：获取与所述检测对象关联的巡检策略；根据所述检测对象在所述环境图像中的图像位置和所述检测位置，生成满足所述巡检策略的飞行轨迹。在检测对象仅为一个时，直接基于该检测对象对应的巡检策略即可生成一个飞行轨迹。例如，在一个简单的实施例中，检测对象在飞行器采集到的图像的中间位置，当巡检策略为远近持续视频拍摄，则可以生成以所述检测位置为起始点，生成一条从起始点到所述目标设施所在位置的一条直线轨迹，以便于飞行器能够由远及近地持续拍摄所述目标设施的检测对象。

如果得到的所述检测对象包括多个，则每一个检测对象均关联了巡检策略，所述S303具体可以包括：获取每一个检测对象的巡检策略；根据各检测对象在所述环境图像中的图像位置和所述检测位置，生成飞行规则；其中，所述飞行规则中包括满足所有巡检策略的飞行轨迹，或者包括多段飞行轨迹，每一段飞行轨迹满足部分巡检策略。

在上述生成飞行规则时，还进一步基于预设的限制条件对飞行规则的生成进行约束。所述限制条件包括：基于飞行参数和检测参数设置的条件，所述飞行参数包括：飞行距离参数、飞行时长参数、飞行安全参数、能量损耗参数、飞行速度参数中的任意一种或多种。

在一个实施例中，如果飞行距离参数被配置为1等有效数值时，表明在生成满足一个或者多个巡检策略的飞行轨迹时，进一步还要求飞行轨迹的总长度最短，使得飞行器的飞行距离最短，以节省能耗。当飞行时长参数被配置为1等有效数值时，表明在生成满足一个或者多个巡检策略的飞行轨迹时，进一步还要求飞行器按照所采用的飞行轨迹时以预设的速度飞行时，所耗费的时间最短，以提高巡检效率。当飞行安全参数被配置为1等有效数值时，表明优先选择安全的飞行轨迹，将一些可能存在障碍物的轨迹排除，例如在电塔作为目标设施时，排除掉可能会穿过电线的轨迹，以确保飞行安全。当能量损耗参数被配置为1等有效数值时，表明优先选择能耗低的轨迹作为最终的飞行轨迹。

S304：根据所述飞行规则控制所述飞行器飞行。在一个实施例中，还包括：生成检测参数，所述检测参数用于在控制所述飞行器飞行的过程中指示所述飞行器对检测对象进行巡检的感测参数，所述感测参数包括：用于对检测对象进行检测的传感器的拍摄角度参数、用于对检测对象进行拍摄的拍摄机的拍摄参数。例如，对于通过云台挂载拍摄机的无人机，检测参数具体可以是用于控制云台角度的参数，对拍摄机焦距、白平衡、快门等进行控制的参数。

S305：在根据所述飞行规则控制所述飞行器飞行的过程中，获取检测得到的检测图像。根据所述飞行规则控制所述飞行器飞行的过程即为对检测对象进行巡检的过程，拍摄到图像或者根据图像生成的视频可以即时传递给巡检用户，巡检用户通过查看图像或者根据图像生成的视频来确定一个或者多个检测对象是否正常。

对于采集到的图像，控制设备还可以进一步地进行分析，确定当前检测的对象在检测图像中的位置。例如当前在检测电塔的塔头时，分析确定作为检测对象的塔头在检测图像中的位置。同样可以根据图像分割技术来确定当前检测的检测对象所在的图像区域，并进一步地确定该检测对象所在的像素位置。

S306：根据检测图像中检测对象的位置和为检测对象设置的巡检策略，更新所述飞行规则。更新飞行规则主要为了保证能够检测到当前需要检测的检测对象，例如需要保证检测对象的位置是在检测图像的图像中心区域。在本发明实施例中，可以执行所述S306，和/或对上述提及的感测参数进行更新调整。或者先调整感测参数，如果无法满足预设的检测需求，例如无法保证检测对象的位置是在检测图像的图像中心区域，则执行所述S306，更新飞行规则(还可以进一步结合对感测参数的更新调整)，以满足预设的检测需求。

S307：根据更新后的飞行规则控制所述飞行器飞行，以便于完成对所述目标设施的检测。也就是说继续对检测对象进行检测得到对应的检测图像或者基于图像生成的视频，并返回给巡检用户查看。

S308：在完成对所述目标设施的检测后，根据预设的返航轨迹控制所述飞行器返回；所述预设的返航轨迹包括：记录的在所述飞行器飞行至所述检测位置之前的飞行轨迹。

本发明实施例在对某些设施进行巡检时，特别是对较高设施或者处于不易到达的地区的设施，能够基于图像识别和自动控制飞行的方式对设施中的一个或者多个需要检测的对象进行巡检，降低了巡检的人力成本以及安全性，提高了巡检的效率。并且还能够自动返航和避障，进一步地满足了巡检的自动化、智能化需求，提高了巡检的安全性。

再请参见图4，是本发明实施例的一种确定飞行规则的方法流程示意图，本发明实施例的所述方法包括如下步骤。

S401：根据检测对象在所述环境图像中的图像位置和所述检测位置，获取关于所述检测对象的初始飞行规则。初始飞行规则包括一段或者多段飞行轨迹，在一个实施例中，在生成初始飞行规则时，除了考虑所述检测对象在环境图像中的图像位置和所述检测位置外，还进一步参考了上述提及的限制参数。

S402：获取所述飞行器的剩余能量值。所述剩余能量值包括无人机的剩余电量值等数据。

S403：根据所述剩余能量值对所述初始飞行规则进行调整，将调整后得到的规则作为关于所述检测对象飞行规则。根据剩余能量值确定能够支撑飞行器飞行的距离，如果不能够覆盖所述初始飞行规则中的飞行轨迹，则可以选择执行部分飞行轨迹，得到本次需要执行的飞行规则。在执行部分飞行轨迹对检测对象进行巡检后，自动记录所述初始飞行规则并记录已经执行的飞行轨迹，以便于下一次继续在该初始飞行规则的基础上，从已执行的部分飞行轨迹，重新确定在初始飞行规则上进行调整，生成新的包括飞行轨迹的飞行规则。

可以根据无人机的电池电量等情况来对飞行轨迹等进行智能的调整，进一步确保了巡检安全。

本发明实施例还提供了一种计算机存储介质，该计算机存储介质中存储有程序指令，在执行这些程序指令时，实现上述图1、图2、图3或图4所对应实施例的相应方法。

下面对本发明实施例的设施飞行器及控制设备进行描述。

请参见图5，是本发明实施例的一种设施检测装置的结构示意图，本发明实施例的所述设施飞行器可以设置到无人机等可飞行的能够执行巡检任务的飞行器中。所述设施飞行器包括如下结构。

获取模块501，用于当飞行器位于针对目标设施的检测位置时，获取包括所述目标设施的环境图像；确定模块502，用于从所述环境图像中确定出所述目标设施所属的图像区域，并对该图像区域进行图像分割，得到关于所述目标设施的检测对象；处理模块503，用于根据检测对象在所述环境图像中的图像位置和所述检测位置，获取关于所述检测对象的飞行规则；控制模块504，用于根据所述飞行规则控制所述飞行器飞行，以便于完成对所述目标设施的检测。

进一步可选地，所述飞行规则包括飞行轨迹，所述处理模块503，具体用于获取与所述检测对象关联的巡检策略；根据所述检测对象在所述环境图像中的图像位置和所述检测位置，生成满足所述巡检策略的飞行轨迹。

进一步可选地，得到的所述检测对象包括多个，每一个检测对象均关联了巡检策略，所述处理模块503，具体用于获取每一个检测对象的巡检策略；根据各检测对象在所述环境图像中的图像位置和所述检测位置，生成飞行规则；其中，所述飞行规则中包括满足所有巡检策略的飞行轨迹，或者包括多段飞行轨迹，每一段飞行轨迹满足部分巡检策略。

进一步可选地，生成的飞行规则还满足预设的限制参数；所述限制参数包括：飞行距离参数、飞行时长参数、飞行安全参数、能量损耗参数中的任意一种或多种。

进一步可选地，所述装置还可以包括：生成模块505，用于生成检测参数，所述检测参数用于在控制所述飞行器飞行的过程中指示所述飞行器对检测对象进行巡检的感测参数，所述感测参数包括：用于对检测对象进行检测的传感器的拍摄角度参数、用于对检测对象进行拍摄的拍摄机的拍摄参数。

进一步可选地，所述处理模块503，还用于在根据所述飞行规则控制所述飞行器飞行的过程中，获取检测得到的检测图像；根据检测图像中检测对象的位置和为检测对象设置的巡检策略，更新所述飞行规则；根据更新后的飞行规则控制所述飞行器飞行，以便于完成对所述目标设施的检测。

进一步可选地，所述处理模块503，具体用于根据检测对象在所述环境图像中的图像位置和所述检测位置，获取关于所述检测对象的初始飞行规则；获取所述飞行器的剩余能量值；根据所述剩余能量值对所述初始飞行规则进行调整，将调整后得到的规则作为关于所述检测对象飞行规则。

进一步可选地，所述确定模块502，具体用于获取为所述目标设施预设的对象模型；按照对象模型对图像区域进行图像分割，得到与所述对象模型之间的形状相似度满足相似度条件的检测对象。

进一步可选地，所述对象模型配置有模型标识，根据模型标识获取与检测对象关联的巡检策略。

进一步可选地，所述装置还可以包括：设置模块506，用于在显示地图的交互界面上配置一个或者多个待检测的设施位置点；将被选中的一个或者多个设施位置点所对应的设施确定为目标设施；根据选中的设施位置点控制飞行器向目标设施飞行，以便于飞行到针对目标设施的检测位置。

进一步可选地，所述装置还可以包括：接收模块507，用于接收所述飞行器返回的位置信息，所述位置信息包括：由所述飞行器生成的所述飞行器相对于目标对象的距离信息和方向信息，或由所述飞行器返回的所述飞行器的位置坐标信息。

进一步可选地，所述控制模块504，还用于在飞行器向目标设施飞行过程中，控制飞行器按照指定规则向目标设施飞行，所述指定规则用于指示所述飞行器飞行到用于获取深度图的至少两个能够以不同角度拍摄的拍摄位置；基于至少两个拍摄位置来获取所述飞行器在行进方向上的深度图；根据获取到的深度图进行飞行避障处理。

进一步可选地，所述控制模块504，还用于在完成对所述目标设施的检测后，根据预设的返航轨迹控制所述飞行器返回；所述预设的返航轨迹包括：记录的在所述飞行器飞行至所述检测位置之前的飞行轨迹。

本发明实施例在对某些设施进行巡检时，特别是对较高设施或者处于不易到达的地区的设施，能够基于图像识别和自动控制飞行的方式对设施中的一个或者多个需要检测的对象进行巡检，降低了巡检的人力成本以及安全性，提高了巡检的效率。并且还能够自动返航和避障，进一步地满足了巡检的自动化、智能化需求，提高了巡检的安全性。

再请参见图6，是本发明实施例的一种控制设备的结构示意图，本发明实施例的所述控制设备包括供电电路，该控制设备可以由一块单独的电池供电，也可以通过一个供电接口由无人机等飞行器的电池供电。所述控制设备还可包括处理器601、数据接口602以及存储器603。

所述数据接口602主要用于与飞行器交互数据，或者进一步地，所述数据接口602还可以与地面的用于接收并显示由飞行器检测到的图像等数据的监控设备之间交互数据。

所述存储器603可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器603也可以包括非易失性存储器(non-volatilememory)，例如快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；存储器603还可以包括上述种类的存储器的组合。

所述处理器601可以是中央处理器(central processing unit，CPU)。所述处理器601还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logicdevice，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic，GAL)或其任意组合。

可选地，所述存储器603还用于存储程序指令。所述处理器601可以调用所述程序指令，实现如本申请图1，2，3和4所对应实施例中所示的设施检测方法。

在一个实施例中，所述处理器601，用于当飞行器位于针对目标设施的检测位置时，获取包括所述目标设施的环境图像；从所述环境图像中确定出所述目标设施所属的图像区域，并对该图像区域进行图像分割，得到关于所述目标设施的检测对象；根据检测对象在所述环境图像中的图像位置和所述检测位置，获取关于所述检测对象的飞行规则；根据所述飞行规则生成控制指令，并通过所述数据接口602发送给所述飞行器以控制所述飞行器飞行，以便于完成对所述目标设施的检测。

可选地，所述飞行规则包括飞行轨迹，所述处理器601，用于获取与所述检测对象关联的巡检策略；根据所述检测对象在所述环境图像中的图像位置和所述检测位置，生成满足所述巡检策略的飞行轨迹。

可选地，得到的所述检测对象包括多个，每一个检测对象均关联了巡检策略，所述处理器601，用于获取每一个检测对象的巡检策略；根据各检测对象在所述环境图像中的图像位置和所述检测位置，生成飞行规则；其中，所述飞行规则中包括满足所有巡检策略的飞行轨迹，或者包括多段飞行轨迹，每一段飞行轨迹满足部分巡检策略。

可选地，生成的飞行规则还满足预设的限制参数；所述限制参数包括：飞行距离参数、飞行时长参数、飞行安全参数、能量损耗参数中的任意一种或多种。

可选地，所述处理器601，还用于生成检测参数，并通过所述数据接口602将所述检测参数发送给飞行器，所述检测参数用于在控制所述飞行器飞行的过程中指示所述飞行器对检测对象进行巡检的感测参数，所述感测参数包括：用于对检测对象进行检测的传感器的拍摄角度参数、用于对检测对象进行拍摄的拍摄机的拍摄参数。

可选地，所述处理器601，还用于在根据所述飞行规则控制所述飞行器飞行的过程中，获取检测得到的检测图像；根据检测图像中检测对象的位置和为检测对象设置的巡检策略，更新所述飞行规则；根据更新后的飞行规则控制所述飞行器飞行，以便于完成对所述目标设施的检测。

可选地，所述处理器601，用于根据检测对象在所述环境图像中的图像位置和所述检测位置，获取关于所述检测对象的初始飞行规则；获取所述飞行器的剩余能量值；根据所述剩余能量值对所述初始飞行规则进行调整，将调整后得到的规则作为关于所述检测对象飞行规则。

可选地，所述处理器601，用于获取为所述目标设施预设的对象模型；按照对象模型对图像区域进行图像分割，得到与所述对象模型之间的形状相似度满足相似度条件的检测对象。

可选地，所述对象模型配置有模型标识，根据模型标识获取与检测对象关联的巡检策略。

可选地，所述处理器601，还用于在显示地图的交互界面上配置一个或者多个待检测的设施位置点；将被选中的一个或者多个设施位置点所对应的设施确定为目标设施；根据选中的设施位置点控制飞行器向目标设施飞行，以便于飞行到针对目标设施的检测位置。

可选地，所述处理器601，还用于接收所述飞行器返回的位置信息，所述位置信息包括：由所述飞行器生成的所述飞行器相对于目标对象的距离信息和方向信息，或由所述飞行器返回的所述飞行器的位置坐标信息。

可选地，所述处理器601，还用于在飞行器向目标设施飞行过程中，控制飞行器按照指定规则向目标设施飞行，所述指定规则用于指示所述飞行器飞行到用于获取深度图的至少两个能够以不同角度拍摄的拍摄位置；基于至少两个拍摄位置来获取所述飞行器在行进方向上的深度图；根据获取到的深度图进行飞行避障处理。

可选地，所述处理器601，还用于在完成对所述目标设施的检测后，根据预设的返航轨迹控制所述飞行器返回；所述预设的返航轨迹包括：记录的在所述飞行器飞行至所述检测位置之前的飞行轨迹。

本发明实施例在对某些设施进行巡检时，特别是对较高设施或者处于不易到达的地区的设施，能够基于图像识别和自动控制飞行的方式对设施中的一个或者多个需要检测的对象进行巡检，降低了巡检的人力成本以及安全性，提高了巡检的效率。并且还能够自动返航和避障，进一步地满足了巡检的自动化、智能化需求，提高了巡检的安全性。

以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (24)

1.一种基于飞行器的设施检测方法，其特征在于，包括：

当飞行器位于针对目标设施的检测位置时，获取包括所述目标设施的环境图像；

从所述环境图像中确定出所述目标设施所属的图像区域，并对该图像区域进行图像分割，得到关于所述目标设施的检测对象；

根据检测对象在所述环境图像中的图像位置和所述检测位置，获取关于所述检测对象的飞行规则；

根据所述飞行规则控制所述飞行器飞行，以便于完成对所述目标设施的检测；

其中，所述根据检测对象在所述环境图像中的图像位置和所述检测位置，获取关于所述检测对象的飞行规则，包括：

根据检测对象在所述环境图像中的图像位置和所述检测位置，获取关于所述检测对象的初始飞行规则；获取所述飞行器的剩余能量值；根据所述剩余能量值对所述初始飞行规则进行调整，将调整后得到的规则作为关于所述检测对象的飞行规则。

2.如权利要求1所述的方法，其特征在于，所述飞行规则包括飞行轨迹，所述根据检测对象在所述环境图像中的图像位置和所述检测位置，获取关于所述检测对象的初始飞行规则，包括：

获取与所述检测对象关联的巡检策略；

根据所述检测对象在所述环境图像中的图像位置和所述检测位置，生成满足所述巡检策略的飞行轨迹。

3.如权利要求1所述的方法，其特征在于，得到的所述检测对象包括多个，每一个检测对象均关联了巡检策略，所述根据检测对象在所述环境图像中的图像位置和所述检测位置，获取关于所述检测对象的初始飞行规则，包括：

获取每一个检测对象的巡检策略；

根据各检测对象在所述环境图像中的图像位置和所述检测位置，生成初始飞行规则；

其中，所述初始飞行规则中包括满足所有巡检策略的飞行轨迹，或者包括多段飞行轨迹，每一段飞行轨迹满足所有巡检策略中的部分巡检策略。

4.如权利要求2或3所述的方法，其特征在于，生成的飞行规则还满足预设的限制参数；所述限制参数包括：飞行距离参数、飞行时长参数、飞行安全参数、能量损耗参数中的任意一种或多种。

5.如权利要求1所述的方法，其特征在于，还包括：

生成检测参数，所述检测参数包括用于在所述飞行器飞行的过程中指示所述飞行器对检测对象进行巡检的感测参数，所述感测参数包括：用于对检测对象进行检测的传感器的拍摄角度参数、用于对检测对象进行拍摄的拍摄机的拍摄参数。

6.如权利要求1-3或5任一项所述的方法，其特征在于，还包括：

在根据所述飞行规则控制所述飞行器飞行的过程中，获取检测得到的检测图像；

根据检测图像中检测对象的位置和为检测对象设置的巡检策略，更新所述飞行规则；

根据更新后的飞行规则控制所述飞行器飞行，以便于完成对所述目标设施的检测。

7.如权利要求1-3或5任一项所述的方法，其特征在于，所述对该图像区域进行图像分割，得到关于所述目标设施的检测对象，包括：

获取为所述目标设施预设的对象模型；

按照对象模型对图像区域进行图像分割，得到与所述对象模型之间的相似度满足相似度条件的检测对象。

8.如权利要求7所述的方法，其特征在于，所述对象模型配置有模型标识，根据模型标识获取对应检测对象关联的巡检策略。

9.如权利要求1-3或5或8任一项所述的方法，其特征在于，还包括：

在显示地图的交互界面上配置一个或者多个待检测的设施位置点；

将被选中的一个或者多个设施位置点所对应的设施确定为目标设施；

根据选中的设施位置点控制飞行器向目标设施飞行，以便于飞行到针对目标设施的检测位置。

10.如权利要求9所述的方法，其特征在于，还包括：

接收所述飞行器返回的位置信息，所述位置信息包括：由所述飞行器生成的所述飞行器相对于目标对象的距离信息和方向信息，或由所述飞行器返回的所述飞行器的位置坐标信息。

11.如权利要求9所述的方法，其特征在于，还包括：

在飞行器向目标设施飞行过程中，控制飞行器按照指定规则向目标设施飞行，所述指定规则用于指示所述飞行器飞行到用于获取深度图的至少两个能够以不同角度拍摄的拍摄位置；

基于至少两个拍摄位置来获取所述飞行器在行进方向上的深度图；

根据获取到的深度图进行飞行避障处理。

12.如权利要求1-3或5或8或10-11任一项所述的方法，其特征在于，还包括：

在完成对所述目标设施的检测后，根据预设的返航轨迹控制所述飞行器返回；

所述预设的返航轨迹包括：记录的在所述飞行器飞行至所述检测位置之前的飞行轨迹。

13.一种控制设备，其特征在于，包括：处理器和数据接口；

所述数据接口，用于与飞行器交互数据；

所述处理器，用于当飞行器位于针对目标设施的检测位置时，获取包括所述目标设施的环境图像；从所述环境图像中确定出所述目标设施所属的图像区域，并对该图像区域进行图像分割，得到关于所述目标设施的检测对象；根据检测对象在所述环境图像中的图像位置和所述检测位置，获取关于所述检测对象的飞行规则；根据所述飞行规则生成控制指令，并通过所述数据接口发送给所述飞行器以控制所述飞行器飞行，以便于完成对所述目标设施的检测；

其中，所述处理器根据检测对象在所述环境图像中的图像位置和所述检测位置，获取关于所述检测对象的飞行规则时，具体用于：根据检测对象在所述环境图像中的图像位置和所述检测位置，获取关于所述检测对象的初始飞行规则；获取所述飞行器的剩余能量值；根据所述剩余能量值对所述初始飞行规则进行调整，将调整后得到的规则作为关于所述检测对象的飞行规则。

14.如权利要求13所述的控制设备，其特征在于，所述飞行规则包括飞行轨迹，所述处理器根据检测对象在所述环境图像中的图像位置和所述检测位置，获取关于所述检测对象的初始飞行规则时，具体用于：获取与所述检测对象关联的巡检策略；根据所述检测对象在所述环境图像中的图像位置和所述检测位置，生成满足所述巡检策略的飞行轨迹。

15.如权利要求13所述的控制设备，其特征在于，得到的所述检测对象包括多个，每一个检测对象均关联了巡检策略，所述处理器根据检测对象在所述环境图像中的图像位置和所述检测位置，获取关于所述检测对象的初始飞行规则时，具体用于：获取每一个检测对象的巡检策略；根据各检测对象在所述环境图像中的图像位置和所述检测位置，生成初始飞行规则；其中，所述初始飞行规则中包括满足所有巡检策略的飞行轨迹，或者包括多段飞行轨迹，每一段飞行轨迹满足所有巡检策略中的部分巡检策略。

16.如权利要求14或15所述的控制设备，其特征在于，生成的飞行规则还满足预设的限制参数；所述限制参数包括：飞行距离参数、飞行时长参数、飞行安全参数、能量损耗参数中的任意一种或多种。

17.如权利要求13所述的控制设备，其特征在于，

所述处理器，还用于生成检测参数，并通过所述数据接口将所述检测参数发送给飞行器，所述检测参数用于在控制所述飞行器飞行的过程中指示所述飞行器对检测对象进行巡检的感测参数，所述感测参数包括：用于对检测对象进行检测的传感器的拍摄角度参数、用于对检测对象进行拍摄的拍摄机的拍摄参数。

18.如权利要求13-15或17任一项所述的控制设备，其特征在于，

所述处理器，还用于在根据所述飞行规则控制所述飞行器飞行的过程中，获取检测得到的检测图像；根据检测图像中检测对象的位置和为检测对象设置的巡检策略，更新所述飞行规则；根据更新后的飞行规则控制所述飞行器飞行，以便于完成对所述目标设施的检测。

19.如权利要求13-15或17任一项所述的控制设备，其特征在于，

所述处理器，用于获取为所述目标设施预设的对象模型；按照对象模型对图像区域进行图像分割，得到与所述对象模型之间的形状相似度满足相似度条件的检测对象。

20.如权利要求19所述的控制设备，其特征在于，所述对象模型配置有模型标识，根据模型标识获取对应检测对象关联的巡检策略。

21.如权利要求13-15或17或20任一项所述的控制设备，其特征在于，

所述处理器，还用于在显示地图的交互界面上配置一个或者多个待检测的设施位置点；将被选中的一个或者多个设施位置点所对应的设施确定为目标设施；根据选中的设施位置点控制飞行器向目标设施飞行，以便于飞行到针对目标设施的检测位置。

22.如权利要求21所述的控制设备，其特征在于，

所述处理器，还用于接收所述飞行器返回的位置信息，所述位置信息包括：由所述飞行器生成的所述飞行器相对于目标对象的距离信息和方向信息，或由所述飞行器返回的所述飞行器的位置坐标信息。

23.如权利要求21所述的控制设备，其特征在于，

所述处理器，还用于在飞行器向目标设施飞行过程中，控制飞行器按照指定规则向目标设施飞行，所述指定规则用于指示所述飞行器飞行到用于获取深度图的至少两个能够以不同角度拍摄的拍摄位置；基于至少两个拍摄位置来获取所述飞行器在行进方向上的深度图；

根据获取到的深度图进行飞行避障处理。

24.如权利要求13-15或17或20或22-23任一项所述的控制设备，其特征在于，

所述处理器，还用于在完成对所述目标设施的检测后，根据预设的返航轨迹控制所述飞行器返回；所述预设的返航轨迹包括：记录的在所述飞行器飞行至所述检测位置之前的飞行轨迹。

Images