CN106927059A - 一种基于单目视觉的无人机降落方法及装置 - Google Patents

Abstract

本发明公开了一种基于单目视觉的无人机降落方法及装置，包括：在无人机准备返航时，确定目标飞行引导点，并控制无人机向目标飞行引导点飞行；当无人机处于目标飞行引导点时，将目标飞行引导点作为当前飞行点，并判断无人机在当前飞行点的姿态信息和单目图像信息，与飞行地图中存储的当前飞行点的姿态信息和单目图像信息是否匹配；若不匹配，则调整无人机的位置；若匹配，则将下一个飞行引导点作为目标飞行引导点，并控制无人机向目标飞行引导点飞行，直至无人机降落地面。可见，在无人机返航时，可根据创建的飞行地图对无人机的返航路径进行校正，从而保证了无人机的自主降落，使无人机的降落更加精确和智能。

Description

一种基于单目视觉的无人机降落方法及装置

技术领域

本发明涉及无人机技术领域，更具体地说，涉及一种基于单目视觉的无人机降落方法及装置。

背景技术

当今，无人机凭借其使用便利、机动灵活且易于控制等优点成为航空领域的研究热点，并被广泛用于视频监视、侦察、航测航拍、灾害搜救、影视制作等场合。然而，无人机在复杂环境下的自主着陆既是技术难点也是我们越来越关注的焦点。无人机自主着陆是指无人机利用导航设备和飞行控制系统进行定位导航并最终着陆的过程。自主着陆对导航与控制精度及可靠性均有较高的要求，是无人机实现自主飞行的重要基础和关键技术。传统的无人机自主着陆的导航技术包括：惯性导航系统、GPS导航系统和惯性导航系统/GPS导航系统组合的导航系统。

惯性导航系统是利用陀螺、速度计等惯性元件得到载体的位置与速度等导航参数，进而实现导航的导航系统。一般的，一个惯性导航系统包含了三个单轴的加速度计和三个单轴的陀螺，加速度计检测物体在载体坐标系统独立三轴的加速度信号，而陀螺检测载体相对于导航坐标系的角速度信号，测量物体在三维空间中的角速度和加速度，并以此解算出物体的姿态。其最大缺点是误差会随着时间的推移而发散，因此难以长时间独立工作，而需与其它导航方法组合使用。

GPS导航系统是以全球24颗定位人造卫星为基础，向全球各地全天候地提供三维位置、三维速度等信息的一种无线电导航定位系统。它由三部分构成，一是地面控制部分，由主控站、地面天线、监测站及通讯辅助系统组成。二是空间部分，由24颗卫星组成，分布在6个轨道平面。三是用户装置部分，由GPS接收机和卫星天线组成。现在民用的定位精度可达10米内。由于GPS导航系统完全依靠导航卫星，存在信号易受干扰和技术垄断等问题，因此并不是一种完全自主的导航技术。

因此，如何解决传统导航方式中存在的问题，提高无人机降落的精确性和智能性，是本领域技术人员需要解决的。

发明内容

本发明的目的在于提供一种基于单目视觉的无人机降落方法及装置，以实现无人机的自主降落，使无人机的降落更加精确和智能。

为实现上述目的，本发明实施例提供了如下技术方案：

一种基于单目视觉的无人机降落方法，包括：

在无人机准备返航时，确定与无人机飞行终点相邻的目标飞行引导点；

利用目标飞行引导点的位置信息，控制无人机向目标飞行引导点飞行；

当无人机处于目标飞行引导点时，将目标飞行引导点作为当前飞行点，并判断无人机在当前飞行点的姿态信息和单目图像信息，与飞行地图中存储的当前飞行点的姿态信息和单目图像信息是否匹配；

若不匹配，则调整无人机的位置，并继续执行所述判断无人机在当前飞行点的姿态信息和单目图像信息，与飞行地图中存储的当前飞行点的姿态信息和单目图像信息是否匹配的步骤；

若匹配，则将下一个飞行引导点作为目标飞行引导点，并继续执行所述利用目标飞行引导点的位置信息，控制无人机向目标飞行引导点飞行的步骤，直至无人机降落地面。

其中，所述无人机降落地面之后，还包括：

向地面站发送无人机降落通知。

其中，所述无人机通过安置于无人机底座的单目摄像机，获取无人机在每个飞行引导点的单目图像信息。

其中，所述在无人机准备返航时，确定与无人机飞行终点相邻的目标飞行引导点之前，还包括：

无人机在未到达飞行终点的飞行过程中，途经每个飞行引导点时，采集每个飞行引导点的姿态信息和单目图像信息，并根据所述每个飞行引导点的姿态信息和单目图像信息创建所述飞行地图。

其中，根据所述每个飞行引导点的姿态信息和单目图像信息创建所述飞行地图，包括：

对每个飞行引导点的单目图像信息进行预处理，并提取环境特征；

对无人机在每个飞行引导点的飞行位置进行推算，并将推算结果进行数据格式转换；

对每个飞行引导点的环境特征和格式转换后的飞行位置进行不确定信息融合，并进行扩展卡尔曼滤波处理，并根据每个飞行引导点的处理结果构建所述飞行地图。

一种基于单目视觉的无人机降落装置，包括：

目标飞行引导点确定模块，用于在无人机准备返航时，确定与无人机飞行终点相邻的目标飞行引导点；

无人机飞行控制模块，用于利用目标飞行引导点的位置信息，控制无人机向目标飞行引导点飞行，并在无人机处于目标飞行引导点时，将目标飞行引导点作为当前飞行点；

判断模块，用于判断无人机在当前飞行点的姿态信息和单目图像信息，与飞行地图中存储的当前飞行点的姿态信息和单目图像信息是否匹配；

校正模块，用于在当前飞行点的姿态信息和单目图像信息与飞行地图中存储的当前飞行点的姿态信息和单目图像信息不匹配时，向所述无人机飞行控制模块发送无人机位置调整指令，并在位置调整后触发所述判断模块；

目标飞行引导点更新模块，用于在当前飞行点的姿态信息和单目图像信息与飞行地图中存储的当前飞行点的姿态信息和单目图像信息匹配时，将下一个飞行引导点作为目标飞行引导点，并触发所述无人机飞行控制模块，直至无人机降落地面。

其中，还包括：

无线信号传输模块，用于在所述无人机降落地面之后，向地面站发送无人机降落通知。

其中，所述无人机通过安置于无人机底座的单目摄像机，获取无人机在每个飞行引导点的单目图像信息。

其中，还包括：

飞行地图创建模块，用于在无人机未到达飞行终点的飞行过程中，途经每个飞行引导点时，采集每个飞行引导点的姿态信息和单目图像信息，并根据所述每个飞行引导点的姿态信息和单目图像信息创建所述飞行地图。

其中，所述飞行地图创建模块包括：

环境特征提取单元，用于对每个飞行引导点的单目图像信息进行预处理，并提取环境特征；

飞行位置推算单元，用于对无人机在每个飞行引导点的飞行位置进行推算，并将推算结果进行数据格式转换；

飞行地图构建单元，用于对每个飞行引导点的环境特征和格式转换后的飞行位置进行不确定信息融合，并进行扩展卡尔曼滤波处理，并根据每个飞行引导点的处理结果构建所述飞行地图。

通过以上方案可知，本发明实施例提供的一种基于单目视觉的无人机降落方法，包括：在无人机准备返航时，确定与无人机飞行终点相邻的目标飞行引导点；利用目标飞行引导点的位置信息，控制无人机向目标飞行引导点飞行；当无人机处于目标飞行引导点时，将目标飞行引导点作为当前飞行点，并判断无人机在当前飞行点的姿态信息和单目图像信息，与飞行地图中存储的当前飞行点的姿态信息和单目图像信息是否匹配；若不匹配，则调整无人机的位置，并继续执行所述判断无人机在当前飞行点的姿态信息和单目图像信息，与飞行地图中存储的当前飞行点的姿态信息和单目图像信息是否匹配的步骤；若匹配，则将下一个飞行引导点作为目标飞行引导点，并继续执行所述利用目标飞行引导点的位置信息，控制无人机向目标飞行引导点飞行的步骤，直至无人机降落地面。

可见，在本方案中，无人机在飞行时，可根据途经的多个飞行引导点创建飞行地图，这样在无人机返航时，便可根据创建的飞行地图对无人机的返航路径进行校正，从而保证了无人机的自主降落，使无人机的降落更加精确和智能；本发明还公开了一种基于单目视觉的无人机降落装置，同样能实现上述技术效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例公开的一种基于单目视觉的无人机降落方法流程示意图；

图2为本发明实施例公开的一种基于单目视觉的无人机降落系统示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于单目视觉的无人机降落方法及装置，以实现无人机的自主降落，使无人机的降落更加精确和智能。

参见图1，本发明实施例提供的一种基于单目视觉的无人机降落方法，包括：

S101、在无人机准备返航时，确定与无人机飞行终点相邻的目标飞行引导点；

具体的，在本实施例中的飞行引导点为无人机飞行路径上的引导无人机起飞和降落的参考点，在设置飞行引导点的过程中，可以调整飞行引导点的数目，以适应实际情况的需要。例如：在对降落精度要求较高的情况下，可以设置数量更多的飞行引导点，提升降落的精度。在对降落精度要求较低的情况下，可以设置数量较少的飞行引导点，提升系统的效率。

S102、利用目标飞行引导点的位置信息，控制无人机向目标飞行引导点飞行；

具体的，在本实施例中，无人机飞行到终点后，可以通知地面站，地面站接收到无人机发送的到达终点的通知信息后，可下达返航命令，这样无人机便可通过本方案提供的无人机降落方法返航并降落。需要说明的是，无人机的返航路径中存在多个飞行引导点，在本实施例中首先确定距离飞行终点最近的一个飞行引导点作为目标飞行引导点，即可以理解为，无人机在返航过程中下一个要飞行的地点即为目标飞行引导点；因此，在确定目标飞行引导点之后，便可根据目标飞行引导点的位置信息控制无人机向目标飞行引导点飞行。

S103、当无人机处于目标飞行引导点时，将目标飞行引导点作为当前飞行点，并判断无人机在当前飞行点的姿态信息和单目图像信息，与飞行地图中存储的当前飞行点的姿态信息和单目图像信息是否匹配；

S104、若不匹配，则调整无人机的位置，并继续执行所述判断无人机在当前飞行点的姿态信息和单目图像信息，与飞行地图中存储的当前飞行点的姿态信息和单目图像信息是否匹配的步骤；

S105、若匹配，则将下一个飞行引导点作为目标飞行引导点，并继续执行所述利用目标飞行引导点的位置信息，控制无人机向目标飞行引导点飞行的步骤，直至无人机降落地面。

具体的，当控制无人机从飞行终点到达目标飞行点之后，可将到达的目标飞行引导点作为当前飞行点，无人机在当前飞行点上，需要采集单目图像信息及姿态信息，并通过将采集的单目图像信息及姿态信息与飞行地图中存储的与当前飞行点对应的姿态信息和单目图像信息进行匹配，不断调整无人机的自身姿态及位置，直到匹配合格，再将下一个飞行引导点作为目标飞行引导点，从而实现控制无人机返航，并完成无人机降落。

需要说明的是，在本实施例中的飞行地图可以为无人机在飞行过程中实时采集信息并构建的，也可以是用户预先存储的飞行地图；飞行过程中实时采集的可以理解为：无人机飞向飞行终点途经每个飞行引导点时，采集在每个飞行引导点的单目图像信息及姿态信息，并构建飞行地图，这样在返航时，并可将该飞行地图作为无人机返航的参考；用户预先存储的飞行地图可以理解为：某条路径需要多次无人机进行勘测，这时可将无人机首次构建的飞行地图进行保存，这样，在下一次无人机飞行该路径时，便可直接根据预先存储的飞行地图作为参考，实现无人机的精确返航。

具体的，在本实施例中判断无人机在当前飞行点的姿态信息和单目图像信息，与飞行地图中存储的当前飞行点的姿态信息和单目图像信息是否匹配时，可首先将采集的无人机的姿态信息与飞行地图中的姿态信息进行对比，判断是否相同；若不相同，则将无人机的姿态调整为与飞行地图中的姿态一致；在无人机的姿态与飞行地图中的姿态一致以后，便判断姿态一致后采集的单目图像信息与飞行地图中存储的单目图像信息是否匹配，这里的匹配可以理解为标识建筑物的位置是否相同；若匹配，则代表无人机所处的当前飞行点是准确的，即无人机没有偏航。

基于上述实施例，所述无人机降落地面之后，还包括：

向地面站发送无人机降落通知。所述无人机通过安置于无人机底座的单目摄像机，获取无人机在每个飞行引导点的单目图像信息。

具体的，在本实施中，假设在无人机的飞行路径A-B当中，有3个飞行引导点，A为飞行起点，B为飞行终点，飞行路径中的三个飞行引导点按照距离飞行起点从近到远的顺序为：m飞行引导点、n飞行引导点和k飞行引导点；将无人机放置于A点，调整无人机准备起飞。

在本实施例中，选用4K分辨率的单目摄像机安装于无人机底座，组成无人机的单目模块，通过单目模块采集单目图像信息。地面站发送起飞命令，无人机飞行过程中会自动保存序列号为：m飞行引导点、飞行引导点和k飞行引导点的无人机姿态和单目图像，当无人机飞行至终点时，完成地图创建并保存地图。此时，无人机通知地面站到达终点，地面站发送信号给无人机，控制无人机返航。无人机在返航过程中，依次将k飞行引导点、n飞行引导点和m飞行引导点作为目标飞行引导点，并根据无人机的姿态以及单目图像矫正无人机的位置，避免无人机返航及降落失败。无人机完成降落后，通知地面站，关闭无人机结束飞行。

基于上述实施例，所述在无人机准备返航时，确定与无人机飞行终点相邻的目标飞行引导点之前，还包括：

无人机在未到达飞行终点的飞行过程中，途经每个飞行引导点时，采集每个飞行引导点的姿态信息和单目图像信息，并根据所述每个飞行引导点的姿态信息和单目图像信息创建所述飞行地图。

其中，根据所述每个飞行引导点的姿态信息和单目图像信息创建所述飞行地图，包括：

对每个飞行引导点的单目图像信息进行预处理，并提取环境特征；

对无人机在每个飞行引导点的飞行位置进行推算，并将推算结果进行数据格式转换；

对每个飞行引导点的环境特征和格式转换后的飞行位置进行不确定信息融合，并进行扩展卡尔曼滤波处理，并根据每个飞行引导点的处理结果构建所述飞行地图。

具体的，本实施例中的飞行地图是无人机在飞行过程中途经每个飞行引导点采集信息后所创建的，采集的信息包括当前飞行点的无人机姿态以及单目图像信息，例如：无人机姿态包括无人机的飞行角度以及旋转角度等信息，单目图像信息为通过单目照相机拍摄的地面的二位图像；当无人机飞行至飞行终点时创建飞行地图时，具体可以包括：

S11：对采集获取到的单目图像信息进行图像预处理；

S12：对图像预处理后的单目图像信息进行环境特征提取；

S13：对无人机进行飞行位置推算，将推算的结果进行数据格式转换；

S14：对步骤S12和S13处理后的结果进行不确定信息融合；

S15：对不确定信息融合的结果进行扩展卡尔曼滤波处理，根据处理后的结果更新地图或构建地图，以及根据处理后的结果更新无人机的位置和进行无人机实时定位。

下面对本发明实施例提供的无人机降落装置进行介绍，下文描述的无人机降落装置与上文描述的无人机降落方法可以相互参照。

参见图2，本发明实施例提供的一种基于单目视觉的无人机降落装置，包括：

目标飞行引导点确定模块100，用于在无人机准备返航时，确定与无人机飞行终点相邻的目标飞行引导点；

无人机飞行控制模块200，用于利用目标飞行引导点的位置信息，控制无人机向目标飞行引导点飞行，并在无人机处于目标飞行引导点时，将目标飞行引导点作为当前飞行点；

判断模块300，用于判断无人机在当前飞行点的姿态信息和单目图像信息，与飞行地图中存储的当前飞行点的姿态信息和单目图像信息是否匹配；

校正模块400，用于在当前飞行点的姿态信息和单目图像信息与飞行地图中存储的当前飞行点的姿态信息和单目图像信息不匹配时，向所述无人机飞行控制模块发送无人机位置调整指令，并在位置调整后触发所述判断模块；

目标飞行引导点更新模块500，用于在当前飞行点的姿态信息和单目图像信息与飞行地图中存储的当前飞行点的姿态信息和单目图像信息匹配时，将下一个飞行引导点作为目标飞行引导点，并触发所述无人机飞行控制模块，直至无人机降落地面。

基于上述实施例，还包括：

无线信号传输模块，用于在所述无人机降落地面之后，向地面站发送无人机降落通知。

基于上述实施例，所述无人机通过安置于无人机底座的单目摄像机，获取无人机在每个飞行引导点的单目图像信息。

基于上述实施例，还包括：

飞行地图创建模块，用于在无人机未到达飞行终点的飞行过程中，途经每个飞行引导点时，采集每个飞行引导点的姿态信息和单目图像信息，并根据所述每个飞行引导点的姿态信息和单目图像信息创建所述飞行地图。

基于上述实施例，所述飞行地图创建模块包括：

环境特征提取单元，用于对每个飞行引导点的单目图像信息进行预处理，并提取环境特征；

飞行位置推算单元，用于对无人机在每个飞行引导点的飞行位置进行推算，并将推算结果进行数据格式转换；

飞行地图构建单元，用于对每个飞行引导点的环境特征和格式转换后的飞行位置进行不确定信息融合，并进行扩展卡尔曼滤波处理，并根据每个飞行引导点的处理结果构建所述飞行地图。

需要说明的是，本方案的基于单目视觉的无人机降落方式使用的是：即时定位与地图构建技术，即在自身位置不确定的条件下，在完全未知环境中创建地图，同时利用地图进行自主定位和导航。其可以描述为：在未知环境中从一个未知位置开始移动，在移动过程中根据位置估计和传感器数据进行自身定位，同时建造增量式地图。其主要包含三个步骤：

(1)定位：必须知道自己在环境中位置。

(2)建图：必须记录环境中特征的位置(如果知道自己的位置)。

(3)地图创建：机器人在定位的同时建立环境地图。其基本原理是运过概率统计的方法，通过多特征匹配来达到定位和减少定位误差的。

而传统的通过坐标系建立来实现定位和导航，主要实现的原理如下：通过预先建立的空间坐标系，只需要知道当前的位置信息，通过计算得出在坐标系中的位置，从而实现导航和定位。

可见，本方案与传统的定位导航方式相比，本方案通过这种即时定位与地图构建技术，在无人机在飞行时，根据途经的多个飞行引导点创建飞行地图，这样在无人机返航时，便可根据创建的飞行地图对无人机的返航路径进行校正，从而保证了无人机的自主降落，使无人机的降落更加精确和智能；并且上述过程，均是由无人机自主实现，无须人为进行操控，智能化程度很高，并且保证了无人机无论是在飞行过程、返航过程还是降落过程中都不会偏离预设的航道，实现了精准降落。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于单目视觉的无人机降落方法，其特征在于，包括：

在无人机准备返航时，确定与无人机飞行终点相邻的目标飞行引导点；

利用目标飞行引导点的位置信息，控制无人机向目标飞行引导点飞行；

当无人机处于目标飞行引导点时，将目标飞行引导点作为当前飞行点，并判断无人机在当前飞行点的姿态信息和单目图像信息，与飞行地图中存储的当前飞行点的姿态信息和单目图像信息是否匹配；

若不匹配，则调整无人机的位置，并继续执行所述判断无人机在当前飞行点的姿态信息和单目图像信息，与飞行地图中存储的当前飞行点的姿态信息和单目图像信息是否匹配的步骤；

若匹配，则将下一个飞行引导点作为目标飞行引导点，并继续执行所述利用目标飞行引导点的位置信息，控制无人机向目标飞行引导点飞行的步骤，直至无人机降落地面。

2.根据权利要求1所述的无人机降落方法，其特征在于，所述无人机降落地面之后，还包括：

向地面站发送无人机降落通知。

3.根据权利要求2所述的无人机降落方法，其特征在于，所述无人机通过安置于无人机底座的单目摄像机，获取无人机在每个飞行引导点的单目图像信息。

4.根据权利要求1-3中任意一项所述的无人机降落方法，其特征在于，所述在无人机准备返航时，确定与无人机飞行终点相邻的目标飞行引导点之前，还包括：

无人机在未到达飞行终点的飞行过程中，途经每个飞行引导点时，采集每个飞行引导点的姿态信息和单目图像信息，并根据所述每个飞行引导点的姿态信息和单目图像信息创建所述飞行地图。

5.根据权利要求4所述的无人机降落方法，其特征在于，根据所述每个飞行引导点的姿态信息和单目图像信息创建所述飞行地图，包括：

对每个飞行引导点的单目图像信息进行预处理，并提取环境特征；

对无人机在每个飞行引导点的飞行位置进行推算，并将推算结果进行数据格式转换；

对每个飞行引导点的环境特征和格式转换后的飞行位置进行不确定信息融合，并进行扩展卡尔曼滤波处理，并根据每个飞行引导点的处理结果构建所述飞行地图。

6.一种基于单目视觉的无人机降落装置，其特征在于，包括：

目标飞行引导点确定模块，用于在无人机准备返航时，确定与无人机飞行终点相邻的目标飞行引导点；

无人机飞行控制模块，用于利用目标飞行引导点的位置信息，控制无人机向目标飞行引导点飞行，并在无人机处于目标飞行引导点时，将目标飞行引导点作为当前飞行点；

判断模块，用于判断无人机在当前飞行点的姿态信息和单目图像信息，与飞行地图中存储的当前飞行点的姿态信息和单目图像信息是否匹配；

校正模块，用于在当前飞行点的姿态信息和单目图像信息与飞行地图中存储的当前飞行点的姿态信息和单目图像信息不匹配时，向所述无人机飞行控制模块发送无人机位置调整指令，并在位置调整后触发所述判断模块；

目标飞行引导点更新模块，用于在当前飞行点的姿态信息和单目图像信息与飞行地图中存储的当前飞行点的姿态信息和单目图像信息匹配时，将下一个飞行引导点作为目标飞行引导点，并触发所述无人机飞行控制模块，直至无人机降落地面。

7.根据权利要求6所述的无人机降落装置，其特征在于，还包括：

无线信号传输模块，用于在所述无人机降落地面之后，向地面站发送无人机降落通知。

8.根据权利要求7所述的无人机降落装置，其特征在于，所述无人机通过安置于无人机底座的单目摄像机，获取无人机在每个飞行引导点的单目图像信息。

9.根据权利要求6-8中任意一项所述的无人机降落装置，其特征在于，还包括：

飞行地图创建模块，用于在无人机未到达飞行终点的飞行过程中，途经每个飞行引导点时，采集每个飞行引导点的姿态信息和单目图像信息，并根据所述每个飞行引导点的姿态信息和单目图像信息创建所述飞行地图。

10.根据权利要求9所述的无人机降落装置，其特征在于，所述飞行地图创建模块包括：

环境特征提取单元，用于对每个飞行引导点的单目图像信息进行预处理，并提取环境特征；

飞行位置推算单元，用于对无人机在每个飞行引导点的飞行位置进行推算，并将推算结果进行数据格式转换；

飞行地图构建单元，用于对每个飞行引导点的环境特征和格式转换后的飞行位置进行不确定信息融合，并进行扩展卡尔曼滤波处理，并根据每个飞行引导点的处理结果构建所述飞行地图。