CN115933718A - 一种融合全景slam与目标识别的无人机自主飞行技术方法 - Google Patents
一种融合全景slam与目标识别的无人机自主飞行技术方法 Download PDFInfo
- Publication number
- CN115933718A CN115933718A CN202211385768.6A CN202211385768A CN115933718A CN 115933718 A CN115933718 A CN 115933718A CN 202211385768 A CN202211385768 A CN 202211385768A CN 115933718 A CN115933718 A CN 115933718A
- Authority
- CN
- China
- Prior art keywords
- panoramic
- image
- unmanned aerial
- camera
- flight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000005516 engineering process Methods 0.000 claims abstract description 25
- 238000010276 construction Methods 0.000 claims abstract description 6
- 238000013507 mapping Methods 0.000 claims description 23
- 230000000007 visual effect Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 8
- 238000013461 design Methods 0.000 claims description 7
- 210000003811 finger Anatomy 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 6
- 210000003813 thumb Anatomy 0.000 claims description 6
- 230000001133 acceleration Effects 0.000 claims description 5
- 238000010845 search algorithm Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 3
- 101100441251 Arabidopsis thaliana CSP2 gene Proteins 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims 2
- 230000000694 effects Effects 0.000 claims 1
- 230000007935 neutral effect Effects 0.000 claims 1
- 230000001131 transforming effect Effects 0.000 claims 1
- 230000007613 environmental effect Effects 0.000 abstract description 9
- 230000008901 benefit Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 6
- 238000007689 inspection Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000001012 protector Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 229910000838 Al alloy Inorganic materials 0.000 description 1
- 229920000049 Carbon (fiber) Polymers 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000004917 carbon fiber Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种融合全景SLAM与目标识别的无人机自主飞行技术方法，以搭载了全景相机的四旋翼无人机为载体，将全景SLAM算法与目标识别与避障算法融合，实现无人机在位置环境的自主飞行。本套无人机自主飞行技术首先依靠全景SLAM在未知环境中完成环境地图构建的同时进行自我定位，并利用YOLOv5算法对视野内的物体目标识别，判断出障碍物位置信息后结合定位信息，以D*Lite算法实时进行自主避障与路径规划。本套系统具有以下优点：体积小，成本低，适用场景广泛，定位准确，识别与避障过程可自动化、智能化完成，减少人工干预，提高作业效率。
Description
技术领域
本发明属于遥感测绘领域，尤其涉及一项融合全景SLAM与目标识别的无人机自主飞行技术。
背景技术
随着无人机平台和传感器技术的发展，无人机系统向识别-自主-感知-行为方向不断发展，从而逐步迈向自主飞行无人机发展。在自主飞行无人机领域，无人机接到起飞命令后，在不对其进行进一步操控的情况下，机载传感器可以帮助无人机感知周围环境，定位自身运动和状态，以达到无人机自主控制和飞行的目的。在传统的工业巡检中，需要完全依靠人工目视巡检，劳动强度大，且恶劣环境会对巡检带来更大的挑战，自主飞行无人机技术可在高空、森林等环境下实现风电塔筒、输电线路等设备的精细化、自动化巡检；在应急救援领域，自主飞行无人机技术可迅速构建环境地图，搜索指定目标，辅助救援。
无人机的机载传感器是完成自主控制和飞行的关键。机载传感器包括视觉相机、激光雷达、IMU、GNSS等。通常为了完成准确可靠的自主飞行，需要将多源传感器进行集成，这对于无人机的载荷能力和续航能力提出了更高要求。同时多源传感器的硬件成本、集成难度和安全性考量也制约了无人机自主飞行的应用。
不同传感器的特点，对无人机飞行巡检的自主性程度起到决定作用。GNSS和IMU属于载体状态传感器，无法对周围环境进行感知。视觉相机和激光雷达在SLAM技术的发展推动下，不仅能进行载体状态的估计，还能进行周围环境感知与建图。相比较视觉相机和激光雷达，激光雷达虽然能以绝对尺度完成定位和建图，但目标识别的可靠性和准确性尚存在不足，而且在较高帧率的激光SLAM极易受到高速运动和大旋转角运动的影响。视觉技术不仅也能完成SLAM定位与建图，还具有目标实时识别的优势，非常适合于目标避障和目标巡检。此外相机体积小、重量轻、电力负载小，成本低，非常适用于小轴距四旋翼无人机。视觉SLAM包括单目、双目、和RGB-D等分支。当前无人机搭载的主流传感器为单目、双目和深度相机，相应的视觉SLAM算法都存在着一定的局限。单目SLAM视场角较小，限制了获取到的环境信息量，无法对周围环境实现360°的感知，且单目相机尺度估计精度会随累积误差增大而骤降；双目SLAM在解决尺度漂移的基础上视场角仍然没有增大，在运动剧烈的情况下会导致特征点跟走丢失。通过多相机组合的方式可以增大视场角，但同时会带来无人机载重的增加，不利于续航工作，且相机间的标定会进一步引入误差。因此视觉SLAM并未广泛应用在大场景移动测绘中。针对以上问题，全景视觉具有360°环境感知、信息获取快速完整的优势，且全向视角可以提高图像帧间匹配的可靠性和定向精度，不受运动状态的影响。但当前基于全景视觉SLAM的算法应用较少，大多用作数据采集，缺乏一套完整的SLAM解决方案并应用到工业应用。
综上，在自主无人机中，全景视觉传感器可以以最少的硬件和集成成本，为无人机提供最大程度的飞行巡检自主性，同时实现环境感知、目标识别与避障功能，如何提出一项融合全景SLAM与目标识别的无人机自主飞行技术，是本领域需要解决的关键问题。
发明内容
本发明提出了一项融合全景SLAM与目标识别的无人机自主飞行技术，以全景视觉相机作为唯一的无人机平台传感器，通过融合全景SLAM技术和目标识别技术，在解决视觉SLAM尺度不确定和尺度漂移问题的基础上，进行实时路径规划与避障，实现无人机在位置环境中的自主飞行。
本发明搭建的自主飞行无人机系统适用于在未知环境的地图构建与自身定位，同时对环境中的实物进行目标识别，进行实时自主避障与路径规划。要实现以上功能，本发明所要解决的技术问题：轻小型全景SLAM无人机平台搭建；全景SLAM技术；全景视觉目标识别与避障。
本发明提出了一种融合全景SLAM与目标识别的无人机自主飞行技术方法，包括以下步骤：
步骤1，搭建轻小型无人机平台；选择小轴距四旋翼无人机作为飞行平台，在无人机平台前端搭载全景相机，有效获取360°视角信息；将视频信息实时传输至机载电脑，进行实时计算，从而获取无人机飞行姿态以及场景感兴趣目标信息；再将飞行姿态数据传入飞控系统，自主控制无人机飞行；
步骤2，利用全景相机采集环境影像，运行实时的全景SLAM，完成无人机的定位与自主飞行；
步骤3：基于目标识别技术，对实时图像中的物体进行检测，结合SLAM输出的定位信息，以目标物为终点规划最优路径，完成自主避障飞行。
进一步的，步骤2的具体实现包括如下子步骤；
步骤2.1，构建全景图像的成像模型，包括单镜头成像模型与多镜头成像模型，实现全景图像高效拼接，完成图像数据的球面映射；
步骤2.2，利用SPHORB算法对步骤2.1映射的球面图像进行特征提取与匹配拼接；
步骤2.3，根据步骤2.2提取的特征点对，通过对极约束求解相邻帧间的位姿变换关系，并采用非线性优化对特征点的三维坐标和相机位姿进行优化，使重投影误差最小，输出最优的相机位姿完成定位，并以此位姿对特征点进行变换拼接，完成建图。
进一步的，步骤2.1的具体实现方式如下；
首先建立全景相机坐标系，将无人机平台上搭载的全景相机抽象为球型摄像机模型，考虑单镜头情况，令球心与摄像机光心重合，设O-xyz为摄像机坐标系，对于物方点P，其映射在图像平面上的点p处，对应的图像坐标系中坐标为(u,v)；同时，光线OP与以O为球心的球面相交于点Ps；
定义球面映射为函数映射关系
将图像上的任意点p(u,v)，映射到半径一定的球面，并用球坐标进行表示为
为用右手定则，大拇指往y-轴指，x-轴与z-轴朝其他手指的指向旋转θ角值；
为用右手定则，大拇指往z-轴指，x-轴与y-轴朝其他手指的指向旋转
角值；
设α为向量
在平面O-yz上投影与轴的夹角大小，β为向量
与平面O-yz的夹角大小；对于实际图像，其u轴和v轴方向的坐标都为有限值，因此α和β的取值范围均为(-π/2,π/2)，根据空间几何关系，有公式(2.1)如下：
其中，f为摄像机焦距，(u0,v0)为主点偏置；实际上，上式提供了一个从图像坐标系到球中局部角的映射关系
即为图像平面上点和部分球面点的一一对应关系；
在多镜头全景相机中，每个子相机都有一个独立的相机坐标系，而多镜头的全景相机坐标系则以单镜头球面坐标系为基础，但是由于工艺和镜头本身体积的原因，各个镜头光心并不重合；因此，在对采集到的图像数据进行球面映射时，需要把多镜头全景相机的各个子相机统一到一个整体的坐标系中，然后通过公式2.1把各个镜头采集到的图像中的像素坐标转换到整体坐标系中，统一进行球面映射。
进一步的，步骤3的具体实现方式如下；
步骤3.1，以YOLOv5算法为目标识别算法，输入全景影像的目标数据集对神经网络模型进行训练，以训练后的模型对步骤2中传输的全景图像进行实时目标识别，输出识别结果；
步骤3.2，利用步骤2.3中得到的相邻帧间时间差与位姿变换，推算飞行器速度、加速度和角速度，通过kalman滤波导航算法对飞行器位姿进行动态跟踪；在飞行过程中根据步骤3.1中识别的障碍物位置信息与飞行器实时定位信息，利用D*Lite搜索算法进行三维航迹规划，实现实时自主避障。
进一步的，步骤3.1中YOLOv5网络模型包括输入端、基准网络、Neck网络与Head输出端；输入端表示输入的图片，输入图像大小为608*608，此阶段可以将输入图像缩放到网络的输入大小，并进行归一化等操作；在网络训练阶段，YOLOv5使用Mosaic数据增强操作提升模型的训练速度和网络的精度；基准网络表示性能优异的分类器网络，用于提取通用的特征表示，使用CSPDarknet53和Focus结构作为基准网络；其中CSPDarknet53结构，借鉴了CSPNet的设计思路，设计在主干网络中提高特征表示维度，Focus结构是通过slice操作来对输入图片进行裁剪，原始输入图片大小为608*608*3，经过Slice与Concat操作之后输出一个304*304*12的特征映射；接着经过一个通道个数为32的Conv层，输出一个304*304*32大小的特征映射；Neck网络位于基准网络和Head输出端的中间位置，借鉴CSPnet设计的CSP2结构，改进了SPP模块和FPN+PAN模块，从而加强网络特征融合能力；Head输出端用于完成目标识别结果的输出；Yolov5采用了GIOU_Loss函数，该函数在IOU的基础上，解决边界框不重合时出现的问题，从而进一步提升算法的检测精度。
进一步的，步骤3.2的具体实现方式如下；
首先利用步骤2.3中得到相邻两帧间的时间差和位姿变化，从而推算出飞行器的速度、加速度和角速度，利用Kalman滤波导航算法对飞行器位姿进行动态跟踪，从而实现自主导航；在飞行的过程中，通过步骤3.1中的Yolov5算法对全景图像识别检测障碍物，根据障碍物位置信息和飞行器的实时定位信息，利用D*Lite算法，针对不确定环境下目标移动时的无人飞行器三维航迹规划问题，采用D*Lite搜索算法，进行三维航迹快速规划，实现飞行过程中的自主避障。
本发明在传统的无人机飞行技术做出以下改进，搭载全景视觉传感器，瞬时获取丰富的大范围环境信息，与SLAM技术相结合，提高了定位精度；将目标识别技术应用至全景影像，实现了大范围环境的实时目标识别，并根据SLAM输出的自身定位信息与识别出的障碍物、目标物信息，通过路径规划技术完成了高鲁棒的自主避障飞行。
本发明具有如下优点：1.无人机平台采用小轴距四旋翼无人机，核心传感器为全景相机，尺寸小，成本低，机动灵活性高、适用场景广泛，是一套轻小便携、可迭代更新的自主无人机平台系统。2.全景相机与SLAM技术的结合，可全方位实时获取环境的完整信息，并实现高精度的自我定位。3.利用全景影像进行目标识别，有效提高了识别的实时性和准确性，增加了信息维度。4.根据定位信息与目标识别信息，实时自主避障，实现快速躲避障碍物且规划最优路径。5.整个环境感知与自主避障过程均属自动化、智能化，无需人工干预，提高工作效率。
附图说明
图1：本发明整体方法流程图。
图2：无人机平台示意图。
图3：全景SLAM技术流程图。
图4：球面成像示意图。
图5：识别与避障整体流程图。
图6：目标识别技术流程图。
图7：自主避障技术流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合具体的实例，对本申请进行进一步详细说明。应当理解，此处描述的具体实例仅仅用以解释本申请，并不用于限定本申请。
下面结合图1至图7介绍本发明的具体实施方式为一项融合全景SLAM与目标识别的无人机自主飞行技术，本发明整体方法流程图如图1所示，包括以下步骤：
步骤1：轻小型无人机平台设计，根据搭载的全景相机等载荷重量及尺寸，设计机架结构，完成硬件搭建。如图2所示，本实例中硬件平台具体设计分为以下三部分：
(1)机架采用3K碳纤材料进行一体式设计，常见的外接工件(如：桨叶保护器、起降脚架等)与机身水平方向结构融为一体，机臂骨架一体化板厚度为3mm，桨叶保护器厚度为2mm，起降脚架垂直于水平方向面呈30度角，采用铝合金加工，并在接触地面端安装了缓震胶垫。
(2)机架竖直方向结构分为三层，层间以质量轻、强度高的铜制单通柱和铝制中空螺纹柱紧密连接，一二层间距为25mm，二三层间距为30mm。自下往上，第一层仅在机臂龙骨一体化板层上扩展,外凸式地安装了PixRacer飞行控制器，便于外围设备的接线，并在飞控顶层外接了ESP-8266无线网络模块用于无线化的飞行控制器参数检测与调试；第二层，安装电机、UBEC电源模块、电子调速器、螺旋桨等动力装置以及全景相机、GNSS接收机，桨叶保护器下层与第二层处于同一平面，在第二层的靠近地面的面板上安装了遥测信号接收器与BeneWake TFmini-S激光TOF雷达。其中，TOF雷达均通过UART接口连接飞行控制器，电子调速器通过通道分离后接入飞行控制器对应的AUX接口中，遥测信号接收器接入飞行控制器的SBUS接口中，相机则通过USB接口与机载计算机相连接；第三层与第一层类似，仅在机臂龙骨一体化板上扩展，主要安装机载微型计算机、USB拓展模块与串口通讯模块。
(3)在弦长与载重配比方面，相较于常见的450mm及以上轴距的无人机飞行平台，我将轴距缩小到290mm，同时仍然保持载重性能。在布置所有必要设备后，该飞行平台自重约1.1kg，仍可额外载重约0.5kg。数值上可以额外载重45.4％。
(4)动力布置方面，考虑到本机型的高载重低轴距特性，需要选择能够提供足够扭矩的电机，采用了26.8毫米1750KV无刷电机和6英寸三叶片式螺旋桨的组合。在系统供电上，采用了4S 3300mAh 25CLi-PO电池作为电源和PM02V3分电电流计与双路UBEC分隔供电的组合，有效避免用电器功耗变化对飞行控制器或机载计算机的影响。
选择小轴距四旋翼无人机作为飞行平台，具有轻、便捷、飞行稳定等特点，在无人机平台前端搭载全景相机，可以有效获取360°视角信息；将视频信息实时传输至机载电脑，进行实时计算，从而获取无人机飞行姿态以及场景感兴趣目标信息；再将飞行姿态数据传入飞控系统，自主控制无人机飞行；整套系统由14.8V/16000mAh提供稳定电能保障无人机正常飞行。在本套系统搭建完成后，可采集环境影像，运行实时的全景SLAM，完成无人机的定位与自主飞行。
步骤2：图3所示的全景SLAM技术首先构建了全景图像的成像模型，实现全景图像高效拼接，随后进行图像特征提取与匹配，最后通过位姿估计与优化完成定位。具体流程如下：
步骤2.1：首先建立全景相机坐标系，将无人机平台上搭载的全景相机(全景相机用于获取周围环境的360°全景影像，后续算法对该影像进行处理，完成定位)抽象为球型摄像机模型，考虑单镜头情况，令球心与摄像机光心重合。如图4所示，O-xyz为摄像机坐标系，对于物方点P，其映射在图像平面上的点p处，对应的图像坐标系中坐标为(u,v)。同时，光线OP与以O为球心的球面相交于点Ps。
定义球面映射为函数映射关系
将图像上的任意点p(u,v)，映射到半径一定的球面，并用球坐标进行表示为
为用右手定则，大拇指往y-轴指，x-轴与z-轴朝其他手指的指向旋转θ角值；
为用右手定则，大拇指往z-轴指，x-轴与y-轴朝其他手指的指向旋转
角值。
设α为向量
在平面O-yz上投影与轴的夹角大小，β为向量
与平面O-yz的夹角大小。对于实际图像，其u轴和v轴方向的坐标都为有限值，因此α和β的取值范围均为(-π/2,π/2)。根据空间几何关系，有公式(2.1)如下：
其中，f为摄像机焦距，(u0,v0)为主点偏置。实际上，上式提供了一个从图像坐标系到球中局部角的映射关系
即为图像平面上点和部分球面点的一一对应关系。
在多镜头全景相机中，每个子相机都有一个独立的相机坐标系。而多镜头的全景相机坐标系则以单镜头球面坐标系为基础，但是由于工艺和镜头本身体积的原因，各个镜头光心并不重合。因此，在对采集到的图像数据进行球面映射时，需要把多镜头全景相机的各个子相机统一到一个整体的坐标系中，然后通过公式2.1把各个镜头采集到的图像中的像素坐标转换到整体坐标系中，统一进行球面映射。
步骤2.2：在将全景图像映射到球面模型的基础上，基于SPHORB算法对球面图像进行特征提取与匹配拼接，对球面图像提取到特征点后，两张图像中会存在同名特征点对(即一个特征点在两幅图像中都出现了)，此时通过迭代计算点对间的距离确定好同名点见的对应关系，此时完成了匹配，根据同名点对间的坐标关系解算出二者间的相对变换矩阵，将其变换至统一坐标系下，即完成了拼接。该算法的思想是先把球面图像作近似处理，得到一个类似足球的六边形球面网格，然后直接在六边形球面网格上构建细粒度金字塔和鲁棒特征，从而避免了球面谐波及其相关带宽限制的耗时的计算，并且它具有球面特征的尺度和旋转不变性。
步骤2.3：在特征提取与匹配后得到大量特征点的基础上，通过对极约束的方法来求解相邻帧间的位置与姿态变换关系(位姿变换关系是指tk时刻在(xk,yk,zk)处以(rollk,pitchk,yawk)的姿态角获取了一帧图像，在tk+1时刻在(xk+1,yk+1,zk+1)处以(rollk+1,pitchk+1,yawk+1)的姿态角获取了一帧图像，在两个时刻间存在的位置、姿态变换称为位姿变换)，并采用非线性优化的方式，同时对特征点的三维坐标与相机的位姿进行优化，使重投影误差最小，从而输出最优的相机位姿，从而确定相机位置。
步骤3：在步骤2中无人机完成了定位并获取实时全景影像，通过目标识别实时检测周围环境中的障碍物与目标物，规划出最优的可行路径，从而完成自主避障飞行。总体方案如图5所示，具体步骤如下：
步骤3.1：目标识别的技术流程如图6所示，主要由制作目标样本数据集、搭建神经网络模型、训练模型和实时识别组成。考虑轻小型无人机上计算单元能力有限以及运算效率，选取了YOLOv5算法作为目标识别算法。网络框架分为4个通用的模块，包括：输入端、基准网络、Neck网络与Head输出端。输入端表示输入的图片。该网络表示的输入图像大小为608*608，此阶段可以将输入图像缩放到网络的输入大小，并进行归一化等操作。在网络训练阶段，YOLOv5使用Mosaic数据增强操作提升模型的训练速度和网络的精度；并提出了一种自适应锚框计算与自适应图片缩放方法。基准网络表示性能优异的分类器网络，该模块用于提取通用的特征表示，使用了CSPDarknet53和Focus结构作为基准网络。其中CSPDarknet53结构，借鉴了CSPNet的设计思路，设计在主干网络中提高特征表示维度。Focus结构主要是通过slice操作来对输入图片进行裁剪。原始输入图片大小为608*608*3，经过Slice与Concat操作之后输出一个304*304*12的特征映射；接着经过一个通道个数为32的Conv层，输出一个304*304*32大小的特征映射。Neck网络位于基准网络和头网络的中间位置，借鉴CSPnet设计的CSP2结构，改进了SPP模块和FPN+PAN模块，从而加强网络特征融合能力。Head输出段用于完成目标识别结果的输出。Yolov5采用了GIOU_Loss函数，该函数在IOU的基础上，解决边界框不重合时出现的问题，从而进一步提升算法的检测精度。
步骤3.2：在步骤3.1实时检测出周边环境障碍物的基础上，无人机进行路径规划，按最优的避障路径导航飞行，完成自主避障，避障总体方案如图7所示，首先利用步骤2.3中得到相邻两帧间的时间差和位姿变化，从而推算出飞行器的速度、加速度和角速度，利用Kalman滤波导航算法对飞行器位姿进行动态跟踪，从而实现自主导航。在飞行的过程中，通过步骤3.1中的Yolov5算法对全景图像识别检测障碍物，根据障碍物位置信息和飞行器的实时定位信息，利用D*Lite算法，针对不确定环境下目标移动时的无人飞行器三维航迹规划问题，采用D*Lite搜索算法，进行三维航迹快速规划，实现飞行过程中的自主避障。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为具体，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以针对不同的使用场景自主搭建多样化的无人机平台，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
Claims (6)
1.一种融合全景SLAM与目标识别的无人机自主飞行技术方法，其特征在于，包括以下步骤：
步骤1，搭建轻小型无人机平台；选择小轴距四旋翼无人机作为飞行平台，在无人机平台前端搭载全景相机，有效获取360°视角信息；将视频信息实时传输至机载电脑，进行实时计算，从而获取无人机飞行姿态以及场景感兴趣目标信息；再将飞行姿态数据传入飞控系统，自主控制无人机飞行；
步骤2，利用全景相机采集环境影像，运行实时的全景SLAM，完成无人机的定位与自主飞行；
步骤3：基于目标识别技术，对实时图像中的物体进行检测，结合SLAM输出的定位信息，以目标物为终点规划最优路径，完成自主避障飞行。
2.根据权利要求1所述的一种融合全景SLAM与目标识别的无人机自主飞行技术方法，其特征在于：步骤2的具体实现包括如下子步骤；
步骤2.1，构建全景图像的成像模型，包括单镜头成像模型与多镜头成像模型，实现全景图像高效拼接，完成图像数据的球面映射；
步骤2.2，利用SPHORB算法对步骤2.1映射的球面图像进行特征提取与匹配拼接；
步骤2.3，根据步骤2.2提取的特征点对，通过对极约束求解相邻帧间的位姿变换关系，并采用非线性优化对特征点的三维坐标和相机位姿进行优化，使重投影误差最小，输出最优的相机位姿完成定位，并以此位姿对特征点进行变换拼接，完成建图。
3.根据权利要求2所述的一种融合全景SLAM与目标识别的无人机自主飞行技术方法，其特征在于：步骤2.1的具体实现方式如下；
首先建立全景相机坐标系，将无人机平台上搭载的全景相机抽象为球型摄像机模型，考虑单镜头情况，令球心与摄像机光心重合，设O-xyz为摄像机坐标系，对于物方点P，其映射在图像平面上的点p处，对应的图像坐标系中坐标为(u,v)；同时，光线OP与以O为球心的球面相交于点Ps；
定义球面映射为函数映射关系fs:
将图像上的任意点p(u,v)，映射到半径一定的球面，并用球坐标进行表示为
为用右手定则，大拇指往y-轴指，x-轴与z-轴朝其他手指的指向旋转θ角值；
为用右手定则，大拇指往z-轴指，x-轴与y-轴朝其他手指的指向旋转
角值；
设α为向量
在平面O-yz上投影与轴的夹角大小，β为向量
与平面O-yz的夹角大小；对于实际图像，其u轴和v轴方向的坐标都为有限值，因此α和β的取值范围均为(-π/2,π/2)，根据空间几何关系，有公式(2.1)如下：
其中，f为摄像机焦距，(u0,v0)为主点偏置；实际上，上式提供了一个从图像坐标系到球中局部角的映射关系
{[u v]′}→{[α β]′}，即为图像平面上点和部分球面点的一一对应关系；
在多镜头全景相机中，每个子相机都有一个独立的相机坐标系，而多镜头的全景相机坐标系则以单镜头球面坐标系为基础，但是由于工艺和镜头本身体积的原因，各个镜头光心并不重合；因此，在对采集到的图像数据进行球面映射时，需要把多镜头全景相机的各个子相机统一到一个整体的坐标系中，然后通过公式2.1把各个镜头采集到的图像中的像素坐标转换到整体坐标系中，统一进行球面映射。
4.根据权利要求2所述的一种融合全景SLAM与目标识别的无人机自主飞行技术方法，其特征在于：步骤3的具体实现方式如下；
步骤3.1，以YOLOv5算法为目标识别算法，输入全景影像的目标数据集对神经网络模型进行训练，以训练后的模型对步骤2中传输的全景图像进行实时目标识别，输出识别结果；
步骤3.2，利用步骤2.3中得到的相邻帧间时间差与位姿变换，推算飞行器速度、加速度和角速度，通过kalman滤波导航算法对飞行器位姿进行动态跟踪；在飞行过程中根据步骤3.1中识别的障碍物位置信息与飞行器实时定位信息，利用D*Lite搜索算法进行三维航迹规划，实现实时自主避障。
5.根据权利要求4所述的一种融合全景SLAM与目标识别的无人机自主飞行技术方法，其特征在于：步骤3.1中YOLOv5网络模型包括输入端、基准网络、Neck网络与Head输出端；输入端表示输入的图片，输入图像大小为608*608，此阶段可以将输入图像缩放到网络的输入大小，并进行归一化等操作；在网络训练阶段，YOLOv5使用Mosaic数据增强操作提升模型的训练速度和网络的精度；基准网络表示性能优异的分类器网络，用于提取通用的特征表示，使用CSPDarknet53和Focus结构作为基准网络；其中CSPDarknet53结构，借鉴了CSPNet的设计思路，设计在主干网络中提高特征表示维度，Focus结构是通过slice操作来对输入图片进行裁剪，原始输入图片大小为608*608*3，经过Slice与Concat操作之后输出一个304*304*12的特征映射；接着经过一个通道个数为32的Conv层，输出一个304*304*32大小的特征映射；Neck网络位于基准网络和Head输出端的中间位置，借鉴CSPnet设计的CSP2结构，改进了SPP模块和FPN+PAN模块，从而加强网络特征融合能力；Head输出端用于完成目标识别结果的输出；Yolov5采用了GIOU_Loss函数，该函数在IOU的基础上，解决边界框不重合时出现的问题，从而进一步提升算法的检测精度。
6.根据权利要求5所述的一种融合全景SLAM与目标识别的无人机自主飞行技术方法，其特征在于：步骤3.2的具体实现方式如下；
首先利用步骤2.3中得到相邻两帧间的时间差和位姿变化，从而推算出飞行器的速度、加速度和角速度，利用Kalman滤波导航算法对飞行器位姿进行动态跟踪，从而实现自主导航；在飞行的过程中，通过步骤3.1中的Yolov5算法对全景图像识别检测障碍物，根据障碍物位置信息和飞行器的实时定位信息，利用D*Lite算法，针对不确定环境下目标移动时的无人飞行器三维航迹规划问题，采用D*Lite搜索算法，进行三维航迹快速规划，实现飞行过程中的自主避障。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211385768.6A CN115933718A (zh) | 2022-11-07 | 2022-11-07 | 一种融合全景slam与目标识别的无人机自主飞行技术方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211385768.6A CN115933718A (zh) | 2022-11-07 | 2022-11-07 | 一种融合全景slam与目标识别的无人机自主飞行技术方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115933718A true CN115933718A (zh) | 2023-04-07 |
Family
ID=86651769
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211385768.6A Pending CN115933718A (zh) | 2022-11-07 | 2022-11-07 | 一种融合全景slam与目标识别的无人机自主飞行技术方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115933718A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116929308A (zh) * | 2023-09-18 | 2023-10-24 | 众芯汉创(江苏)科技有限公司 | 一种基于杆塔任意点位信息的无人机绕飞摄影方法及系统 |
| CN117111639A (zh) * | 2023-10-19 | 2023-11-24 | 浙江容祺科技有限公司 | 一种复杂环境无人机飞行最佳路线寻优方法 |
| CN118135526A (zh) * | 2024-05-06 | 2024-06-04 | 南京信息工程大学 | 基于双目相机的四旋翼无人机视觉目标识别与定位方法 |
| CN118279770A (zh) * | 2024-06-03 | 2024-07-02 | 南京信息工程大学 | 一种基于slam算法的无人机跟拍方法 |
-
2022
- 2022-11-07 CN CN202211385768.6A patent/CN115933718A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116929308A (zh) * | 2023-09-18 | 2023-10-24 | 众芯汉创(江苏)科技有限公司 | 一种基于杆塔任意点位信息的无人机绕飞摄影方法及系统 |
| CN116929308B (zh) * | 2023-09-18 | 2023-11-28 | 众芯汉创(江苏)科技有限公司 | 一种基于杆塔任意点位信息的无人机绕飞摄影方法及系统 |
| CN117111639A (zh) * | 2023-10-19 | 2023-11-24 | 浙江容祺科技有限公司 | 一种复杂环境无人机飞行最佳路线寻优方法 |
| CN117111639B (zh) * | 2023-10-19 | 2024-01-26 | 浙江容祺科技有限公司 | 一种复杂环境无人机飞行最佳路线寻优方法 |
| CN118135526A (zh) * | 2024-05-06 | 2024-06-04 | 南京信息工程大学 | 基于双目相机的四旋翼无人机视觉目标识别与定位方法 |
| CN118279770A (zh) * | 2024-06-03 | 2024-07-02 | 南京信息工程大学 | 一种基于slam算法的无人机跟拍方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11635775B2 (en) | Systems and methods for UAV interactive instructions and control | |
| CN115933718A (zh) | 一种融合全景slam与目标识别的无人机自主飞行技术方法 | |
| CN108711166B (zh) | 一种基于四旋翼无人机的单目相机尺度估计方法 | |
| CN106054929B (zh) | 一种基于光流的无人机自动降落引导方法 | |
| CN112789672B (zh) | 控制和导航系统、姿态优化、映射和定位技术 | |
| CN107014380B (zh) | 基于飞行器的视觉导航与惯性导航的组合导航方法 | |
| CN104062977B (zh) | 基于视觉slam的四旋翼无人机全自主飞行控制方法 | |
| WO2018032457A1 (en) | Systems and methods for augmented stereoscopic display | |
| CN102190081B (zh) | 基于视觉的飞艇定点鲁棒控制方法 | |
| CN110333735B (zh) | 一种实现无人机水陆二次定位的系统和方法 | |
| US11611700B2 (en) | Unmanned aerial vehicle with virtual un-zoomed imaging | |
| CN115144879B (zh) | 一种多机多目标动态定位系统及方法 | |
| CN208126205U (zh) | 一种自动避障的无人飞行装置 | |
| CN115291536B (zh) | 基于视觉的无人机跟踪地面目标半物理仿真平台验证方法 | |
| CN116989772B (zh) | 一种空地多模态多智能体协同定位与建图方法 | |
| CN214409706U (zh) | 一种基于机器视觉的室内无人机定位系统 | |
| US20220019222A1 (en) | Unmanned Aerial Vehicle, Unmanned Aerial Vehicle Flight Control Device, Unmanned Aerial Vehicle Flight Control Method and Program | |
| Mebarki et al. | Image moments-based velocity estimation of UAVs in GPS denied environments | |
| CN102654917A (zh) | 运动体运动姿态感知方法及系统 | |
| CN112198903A (zh) | 一种模块化的多功能机载计算机体系 | |
| CN116027804B (zh) | 无人机地面光电测控引导装置以及引导方法 | |
| CN115237158B (zh) | 多旋翼无人机自主跟踪与着陆控制系统及控制方法 | |
| CN115755950A (zh) | 一种基于激光雷达和相机数据融合的无人机定点降落方法 | |
| Shaqura et al. | Human supervised multirotor UAV system design for inspection applications | |
| CN109029451A (zh) | 基于网络信标矫正的小型无人机自主定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |