CN118135526A - 基于双目相机的四旋翼无人机视觉目标识别与定位方法 - Google Patents
基于双目相机的四旋翼无人机视觉目标识别与定位方法 Download PDFInfo
- Publication number
- CN118135526A CN118135526A CN202410547597.5A CN202410547597A CN118135526A CN 118135526 A CN118135526 A CN 118135526A CN 202410547597 A CN202410547597 A CN 202410547597A CN 118135526 A CN118135526 A CN 118135526A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- binocular camera
- depth
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 38
- 238000013135 deep learning Methods 0.000 claims abstract description 12
- 230000004927 fusion Effects 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims abstract 2
- 238000004422 calculation algorithm Methods 0.000 claims description 27
- 230000007613 environmental effect Effects 0.000 claims description 17
- 238000005286 illumination Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 230000033001 locomotion Effects 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000001133 acceleration Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 230000001629 suppression Effects 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims description 2
- 238000003909 pattern recognition Methods 0.000 claims description 2
- 238000011084 recovery Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 7
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于双目相机的四旋翼无人机视觉目标识别与定位方法，通过在四旋翼无人机的前后位置各配置一对双目相机，实时捕捉环境图像，并对捕捉到的图像信息进行实时高动态范围HDR图像处理；通过入深度学习目标识别模型，对图像中的目标进行实时识别和分类，进行飞机自身定位姿态估计与计算，并通过三维重建，基于点云模型构建三维地图，得到四旋翼无人机自身的坐标以及建图，通过融合相机视觉和IMU传感器数据，实现精准的导航和定位，规划四旋翼无人机的飞行路径。本发明方法可以提高四旋翼无人机在复杂环境中的目标识别与定位准确性，增强其自主导航和避障能力，同时优化路径规划以提升能效和任务执行效率。
Description
技术领域
本发明涉及四旋翼无人机的视觉处理技术领域，特别涉及一种基于双目相机的四旋翼无人机视觉目标识别与定位方法。
背景技术
随着无人机技术的迅速发展，其应用领域越来越广泛，从军事侦察到民用搜索救援、农业监测、环境保护等多个领域。在这些应用中，精确的目标识别与定位技术是提高无人机作业效率和安全性的关键。目前，无人机视觉系统主要依赖单一的摄像机或单对双目相机来获取环境信息，然而，这些配置在复杂环境中往往受到限制，如视角死角、光照变化和结构光干扰等问题，这些问题严重影响了无人机的识别和定位能力。
传统的单一摄像机或单对双目相机系统在处理深度信息和三维空间定位时存在局限性。例如，单一摄像机难以直接获取深度信息，而单对双目相机虽然能够通过两个摄像头的视差信息计算出深度信息，但其有效工作范围和视角受到限制，且在面对复杂环境或光线条件不理想时，其性能会大幅下降。
此外，使用激光雷达等技术的系统虽然可以提供精确的深度信息，但在户外环境下容易受到自然光的干扰，且成本相对较高，这限制了其在一些应用场景中的普及。
因此，开发一种能够在各种环境条件下都能准确执行视觉目标识别与定位任务的四旋翼无人机系统，对于拓宽无人机的应用范围、提高其作业效率和安全性具有重要意义。通过在无人机上配置两对双目相机，并将其分别安装在无人机的前后位置，可以显著提高系统的视角覆盖范围和深度感知能力。
发明内容
本发明所要解决的问题是：提供一种基于双目相机的四旋翼无人机视觉目标识别与定位方法，通过两对相机从不同的视角捕获环境信息，提高无人机在复杂环境中的目标识别与定位准确性，增强其自主导航和避障能力。
本发明采用如下技术方案：一种基于双目相机的四旋翼无人机视觉目标识别与定位方法，包括如下步骤：
S1、两对双目相机及参数的配置：在四旋翼无人机的前后各配置一对RGBD双目相机，对前后双目相机进行参数配置、同步和校准；
S2、进行环境感知与数据获取：两对双目相机分别从前后两个方向实时捕捉环境图像，通过HDR图像处理模块，对双目相机捕捉到的图像信息进行实时高动态范围HDR图像处理；
S3、目标识别：将HDR处理后的图像数据输入深度学习目标识别模型，根据需求，训练模型，对图像中特定的目标物体进行实时识别和分类；
S4、飞机自身定位姿态估计与计算：从双目相机捕捉到的图像信息中提取特征点，结合IMU数据估计飞机的姿态和速度变化，将视觉和惯性数据进行融合，估计四旋翼无人机的位置和姿态；
S5、进行深度信息获取与三维定位：进行双目立体视觉深度估计，结合立体匹配算法及坐标转换算法，从双目相机获取的图像中计算目标物体的深度信息，基于点云模型构建三维地图；
S6、特征匹配和地图更新：双目相机持续地捕获图像，并从图像中提取特征点，利用特征点与构建的三维地图进行匹配，采用视觉里程计的方法，通过连续帧之间的特征点匹配估计相机在世界坐标系下的位置和姿态，得到四旋翼无人机自身在世界坐标系下的坐标；
S7、进行目标定位及路径规划：将定位得到的四旋翼无人机自身坐标、视觉识别到的目标物体的深度融合为路径规划的前置条件，规划四旋翼无人机的飞行路径。
进一步地，四旋翼无人机前方的RGBD双目相机对应于无人机的飞行方向，用于探测前方的障碍物和目标；后方的RGBD双目相机则用于监测无人机后方的情况，用于辅助避障和路径规划；
双目相机的参数配置，包括：双目相机的内参、双目相机的外参，双目相机的内参包括：焦距、图像中心主点坐标、畸变系数，双目相机的外参包括：相机相对于参考坐标系的位置、朝向。
进一步地，步骤S1中对前后双目相机进行同步和校准，减少结构光的干扰，位于无人机的前后的双目相机分别为A和B，在同一时间分别捕捉带有结构光模式的环境图像，获取结构光照明产生的A和B相互干扰情况下的坐标（x，y）处的深度信息,表示为和；
最小化双目相机A和B在结构光环境下受干扰的深度测量值与理想无干扰深度值之间的差异，通过误差函数，最小化和/>与真实深度/>和/>之间的差异，并综合额外误差项。
基于前后双目相机两个视角获得的图像信息，估计深度值的一致性，深度估计差异越小，深度信息更可靠。
对前后双目相机进行校准，还包括畸变校正，所述畸变校正包括径向畸变和切向畸变，对成像时及线条、形状、大小发生扭曲的畸变，通过标定，获得畸变参数，进行校正，恢复物体的真实形状和尺寸。
进一步地，基于双目相机捕获的图像信息，根据环境变化自动调整双目相机参数，在低光环境下增加降噪处理，在高光环境下应用HDR图像合成处理，平衡处理速度与图像质量，调整曝光时间和增益，保证图像质量，步骤S2中高动态范围图像处理，包括如下子步骤：
S2.1、对双目相机捕获的图像信息进行预处理，包括：对图像信息的去噪声、亮度调整、对比度增强，提高图像质量和深度信息的准确性；
S2.2、对双目相机捕获的图像信息进行HDR图像合成处理，以适应复杂的光照条件，基于不同曝光时间下捕获的图像I i ，合成HDR图像I HDR 。
进一步地，步骤S3中，所述深度学习目标识别模型，基于YOLO深度学习算法训练捕捉到的图像信息数据集，通过GPU加速，对图像中的目标进行实时识别和分类，根据训练的模型不同，分类的类别不同。
进一步地，步骤S4中，飞机自身定位姿态估计与计算，包括如下子步骤：
S4.1、从双目相机捕获的图像中提取特征点，所述特征点是图像中的角点或者显著的特征，使用跟踪算法跟踪特征点在连续帧中的运动；
S4.2、使用来自IMU的数据，包括加速度计和陀螺仪测量值进行惯性数据融合，估计飞机的姿态和速度变化；
S4.3、视觉惯性融合：使用视觉和惯性数据进行融合，通过将两者的信息进行联合优化，估计相机的运动和相机在地图中的位置。
进一步地，步骤S5中，双目立体视觉深度估计，包括如下子步骤：
S5.1、基于双目相机捕捉到的图像，利用立体匹配算法计算目标的深度信息；
基于Structured-Light光源编码，利用相机从不同角度捕获反射光图像，分析图像中的光模式变形，进行结构光干扰抑制，计算出物体表面的三维信息，减少由于相机间结构光投射的相互干扰；
S5.2、通过使用相机捕获的图像数据和IMU提供姿态信息，创建初始的三维地图，表示为是一个稀疏的点云或特征点云；
S5.3、根据深度信息生成三维点云，将前后相机生成的点云数据通过深度图融合成一个统一的点云模型，进一步结合机载IMU数据进行精准三维定位；
S5.4、对融合后的点云模型进行优化，提高三维地图精度，得到基于优化后的点云模型构建三维地图。
步骤S5中还包括通过特征点匹配，进行三维重建，进一步提高三维地图精度，方法如下：
进行结构光干扰抑制，分析图像中的光模式变形，生成和解码结构光图案以进行三维扫描，计算出目标物体表面的三维信息；
进行模式识别：通过分析捕获的图像中的结构光模式如何因物体表面的不同深度和凹凸而扭曲或变形，可以计算出目标物体表面的三维形状；
进行三维重建：利用从不同视角捕获的图像，结合光模式的已知特性，通过几何和光学原理，恢复出目标物体的三维表面信息。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1、本发明四旋翼无人机视觉目标识别与定位方法，通过在无人机前后各配置一对双目相机，实现了360度的环境感知，全方位的视野覆盖为无人机提供了更全面的空间信息，同时借助高性能计算单元和GPU加速，实现了目标识别与定位的实时处理，显著提高了目标识别和环境感知的准确性和可靠性。
2、本发明四旋翼无人机视觉目标识别与定位方法，结合双目立体视觉和深度学习算法，精确计算目标物体的三维位置信息，进行无人机高精度的定位，为无人机的精确导航和智能避障提供了强有力的技术支持。
3、本发明四旋翼无人机视觉目标识别与定位方法，通过特定的光源编码技术和双目相机的优化配置，有效减少了结构光干扰问题，增加了定位的稳定性和鲁棒性，提高了深度测量的准确性和稳定性，对于在复杂光照环境下进行精确的视觉处理尤为重要。
4、本发明四旋翼无人机视觉目标识别与定位方法，能够根据环境亮度进行图像处理，提高照片的亮度和曝光度，确保在不同光照、天气和场景条件下均能获得最优的图像质量和处理效果。
5、本发明四旋翼无人机视觉目标识别与定位方法，将视觉系统与无人机的飞行控制系统紧密集成，实现了无缝的硬件和软件协同工作，提高了系统的整体稳定性和操作便捷性，不仅适用于无人机的目标识别和定位，也可扩展应用于自动驾驶、机器人导航、安全监控等领域，具有广阔的市场应用前景。
附图说明
图1为本发明四旋翼无人机视觉目标识别与定位方法流程图；
图2为本发明视觉目标识别流程图；
图3为本发明图像识别及HDR处理效对比图；
图4为本发明三维重建得到地图的流程图；
图5为本发明获取四旋翼无人机实时定位的流程图；
图6为本发明实施例获取四旋翼无人机位置结果对比图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对申请的技术方案做进一步地详尽阐述，所描述的实施例，也只是本发明所涉及实施例的一部分。本领域其他研究人员在该实施例上的所有非创新型实施例，都属于本发明的保护范围。同时对于本发明实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
本发明一种基于两对双目相机的四旋翼无人机视觉目标识别与定位方法，旨在提高无人机在复杂环境中的目标识别与定位准确性，增强其自主导航和避障能力，同时优化路径规划以提升能效和任务执行效率，如图1所示，包括如下步骤：
S1、两对双目相机及参数的配置：在四旋翼无人机的前后各装有一对RGBD双目相机，对前后双目相机进行参数配置、同步和校准；
S2、进行环境感知与数据获取：两对双目相机分别从前后两个方向实时捕捉环境图像，通过HDR图像处理模块，对双目相机捕捉到的图像信息进行实时高动态范围HDR图像处理；
S3、目标识别：将HDR处理后的图像数据输入深度学习目标识别模型，对图像中的目标进行实时识别和分类，得到目标物体的深度以及像素坐标；
S4、飞机自身定位姿态估计与计算：从双目相机捕捉到的图像信息中提取特征点，使用IMU数据估计飞机的姿态和速度变化，将视觉和惯性数据进行融合，估计飞机的位置和姿态；
S5、进行深度信息获取与三维定位，通过三维重建，构建三维地图：进行双目立体视觉深度估计，结合立体匹配算法以及坐标转换算法，从双目相机获取的图像中计算目标的深度信息，基于点云模型构建三维地图；
S6、特征匹配和地图更新：双目相机持续地捕获图像，并从图像中提取特征点，利用特征点与构建的三维地图进行匹配，采用视觉里程计的方法，通过连续帧之间的特征点匹配估计相机在世界坐标系下的位置和姿态，得到四旋翼无人机自身的坐标以及建图；
S7、进行目标定位及路径规划：将定位得到的自身飞机坐标以及建图、视觉识别到的物体的深度以及像素坐标，融合为路径规划的前置条件，规划四旋翼无人机的飞行路径。
在本发明的一个实施例中，在四旋翼无人机的前后位置各配置一对RGBD双目相机，基于两对双目相机的四旋翼无人机视觉目标识别与定位方法，具体如下：
步骤S1、两对双目相机及参数的配置:
四旋翼无人机前方的RGBD相机对应于无人机的飞行方向，用于探测前方的障碍物和目标；后方的RGBD相机则用于监测无人机后方的情况，以辅助避障和路径规划。前后相机对通过高精度同步和校准，实现全方位的环境感知和深度信息获取，此外，可以减少结构光的干扰，旨在有效避免单一视角的局限性。
首先，两对双目相机分别从前后两个方向捕捉四维信息的环境图像，对捕捉到的图像进行去噪、调整亮度等预处理操作，这些图像数据包含了从不同视角观察到的场景信息，以及由于结构光照明而产生的深度信息，提高系统的鲁棒性。
然后，结构光系统通过投射特定模式的光线（通常是条纹）到场景中，并观察这些条纹如何被场景中的物体扭曲，从而计算出物体的深度信息。
特别需要说明的是，如果多个相机同时使用结构光，它们的光线可能会相互干扰，导致深度测量不准确。
本实施例中，设两个双目相机系统A和B分别位于四旋翼无人机的前后，它们在同一时间t分别捕捉带有结构光模式的环境图像。如果两个系统使用相同的结构光源，那么在A的视场中可能会捕捉到B投射的结构光模式，反之亦然。
接着，通过精确同步和校准，可以确保当一个相机系统（比如A）激活并投射结构光时，另一个相机系统（比如B）不会进行结构光投射，从而减少相机系统之间的干扰。
假设和/>之间分别代表系统A和B在坐标/>处测得的深度信息。在没有干扰的理想情况下，这两个深度值应当是相似的，即/>。
当两个系统相互干扰时，实际测量的深度值会偏离理想值，即和/>。减少干扰可以表达为最小化/>和/>与真实深度/>和/>之间的差异，即最小化误差函数，公式如下：
该误差函数，用于衡量双目相机A和B在结构光环境下受干扰的深度测量值与理想无干扰深度值之间的差异，并综合考虑了其他影响深度估计精度的额外误差项f。
其中，w 1 和w 2 为权重系数,反映了在当前无人机飞行状态下，相机A和B对深度估计准确性的重要程度或预期噪声水平，这两个权重并非固定值，而是根据飞机的特定参数动态设定
本实施例中，权重系数w 1 和w 2 根据无人机飞行速度、相机视野覆盖范围、结构光投射角度等因素进行调整，以体现不同飞行条件或相机配置下，各相机对深度估计误差的相对贡献。此外，还综合考虑了其他影响深度估计精度的额外误差项f，它代表了除相机A和B之外的其他影响深度估计精度的因素，可以涵盖多种来源，如：相机-IMU距离：即相机与惯性测量单元（IMU）之间的物理距离。这一参数的变化会影响视觉与惯性数据融合的精度，进而影响深度估计，通过测量或建模该距离，转化为对深度估计误差的修正项；环境光照变化：光照强度、色温、阴影等环境因素对深度估计有显著影响，通过监测光照条件，建立光照模型，将光照变化对深度估计的偏差纳入误差函数；还有其他硬件特性或环境因素如相机畸变等。
最后，提升鲁棒性，系统鲁棒性指的是系统在面对输入噪声、外部干扰或不完美的操作条件时，仍然能够保持其功能和性能的能力。
前后双目相机增加鲁棒性的原理为：通过前后布局，两对双目相机能够从不同的角度捕捉场景信息，这意味着即使其中一对相机的视线被遮挡或受到强烈光源的干扰，另一对相机仍然可以提供有用的信息；此外，前后视角的数据可以相互验证，增强深度估计的准确性。
本实施例中，设VA和VB分别为前后相机对的视角验证函数，它们可以基于从两个不同视角获得的图像信息来估计深度值的一致性。如果VA和VB之间的一致性高，即两个视角的深度估计差异小，那么可以认为深度信息更可靠，公式如下：
其中，V表示深度估计的一致性度量，最小化V可以提高深度估计的鲁棒性。
本实施例中，对双目相机的校正还包括畸变校正，相机镜头会引入某些畸变，如径向畸变和切向畸变，这会使得成像时直线可能不再是直线，形状和大小也可能会发生扭曲，通过标定，可以获得畸变参数，进而在图像处理过程中对这些畸变进行校正，恢复物体的真实形状和尺寸。
对相机进行高精度的时间同步和空间校准，确保捕获的图像数据准确无误。在使用多个相机进行场景拍摄和分析时，需要知道每个相机的内参和外参，以及相机之间的相对位置和朝向关系，将不同相机获取的数据有效地结合起来，进行三维场景重建或其他复杂的视觉处理任务。
步骤S2、进行环境感知与数据获取：
两对双目相机分别从前后两个方向实时捕捉环境图像，通过实时高动态范围（HDR）图像处理模块，对双目相机捕捉到的图像信息进行实时高动态范围图像处理，方法如下；
数据预处理：对捕获的图像进行预处理，包括去噪声、亮度调整和对比度增强等步骤，以提高图像质量和深度信息的准确性。
继续对双目相机捕获的图像实施HDR处理，HDR技术可以显著改善图像的对比度和细节，提高目标识别的准确率。本实施例中，使用OpenCV（Open Source Computer VisionLibrary）提供的HDR，以适应不同光照条件下的目标识别和定位需求。
进行HDR图像合成，若Ii是不同曝光时间下双目相机捕获的图像，HDR图像IHDR通过以下公式合成：
其中，n是参与合成的图像数量，是曝光时间为i时的图像映射函数，/>是权重函数，用于衡量图像I i 在每个像素上的贡献度。
步骤S3、目标识别：
基于HDR处理后的图像数据，使用深度学习目标识别算法，对图像中的目标进行实时识别和分类，得到目标物体的深度以及像素坐标。
本实施例中，如图2所示，经过图像采集及图像预处理，基于HDR处理后的图像数据输入深度学习目标识别系统，进行特征提取，采用预先训练好的深度学习算法YOLO进行目标检测识别和分类，算法训练基于大规模数据集，以适应多种环境和目标类型，通过GPU加速，可以实现实时的高效识别，输出目标分类的结果。
根据训练的模型不同，分类的类别也不同，识别的物体是根据需求来训练的，比如说数字12345，字母ABC,树木，人从，车子，圆环方框等等。
具体的，本实施中，视觉实验训练的模型是数字1，2，3，4，5.......，实验效果如图3所示，其中，光线清晰的情况下的原图为图3中的（a），识别效果为图3中的（b），在光线昏暗的情况下，经过上述HDR处理，得到曝光度更大的图片，识别效果为图3中的（c）。
步骤S4、飞机自身定位姿态估计与计算：
通过融合视觉（相机）和惯性（IMU）传感器数据来实现四旋翼无人机的导航和定位，使用基于视觉和惯性传感器的SLAM算法，IMU通过积分加速度和角速度数据来估计相机的运动。
本实施例中，通过积分计算相机在世界坐标系下的位移i和姿态Z，公式如下：
其中，t为当前时刻，t-1为上一时刻，IMU测量的t时刻的速度为v t 、加速度为a t 、角速度为w t ,采样时间间隔为△t，b g 为零偏。
步骤S5、进行深度信息获取与三维定位，通过三维重建，构建三维地图：
本实施例中，如图4所示，结合双目相机获取的图像，进行双目立体视觉深度估计，利用立体匹配算法计算目标的深度信息，根据深度信息生成三维点云，将前后相机生成的点云数据融合成一个统一的点云模型，进一步结合机载IMU数据进行精准的三维定位，对融合后的点云模型进行优化，提高地图精度，基于优化后的点云模型构建三维地图。
首先进行深度估计，对于立体匹配，深度Z可通过相机模型计算得到，公式如下：
其中，f是相机的焦距，B是双目相机的基线距离，d是同一场景点在两个相机图像上的视差。
然后进行深度图融合，公式如下：
其中，wf和wb是根据图像质量动态调整的权重系数，用于平衡前后视角深度信息的贡献；Df和Db分别表示前视和后视深度图中的深度值。
需要特别说明的是，虽然深度相机可以直接得到环境外界的深度值，但是这个深度值并不是非常准确的，所以进一步结合机载IMU数据，用深度估计的算法来辅助调整，进行精准的三维定位。
本实施例中，光源编码与结构光干扰抑制，通过Structured-Light光源编码技术，通过投射特定模式的光（如线条、格子或点阵）到物体表面，并利用相机从不同角度捕获反射光图像，通过分析这些图像中的光模式变形，计算出物体表面的三维信息，减少由于相机间结构光投射的相互干扰。
具体的结构光干扰抑制，方法如下：设为三维空间中的一点，其在前双目相机深度图Df中的投影为/>，在后双目相机深度图Db中的投影为/>，通过光源编码技术，实现对P点深度值的精确恢复，减少干扰。
光源编码公式如下：
其中，Decode是解码函数，θ是光源编码参数，用于识别和消除由于结构光相互干扰而产生的误差，通过上述步骤和公式，可以有效地抑制结构光干扰，提高无人机视觉系统的性能。
本实施例还根据环境变化，自动调整相机参数（如曝光时间、增益等），并优化图像处理流程，在低光环境下增加降噪处理，在高光环境下应用HDR技术，以及如何平衡处理速度与图像质量，确保在不同环境下均能获得最优质的图像数据。
步骤S6，特征匹配和地图更新：
双目相机持续地捕获图像，并从图像中提取特征点，然后，通过特征点匹配进行进行三维重建，利用从不同视角捕获的图像，结合光模式的已知特性，通过几何和光学原理，恢复出目标物体的三维表面信息。其中，匹配的是特征点，特征点是图像中具有独特性和区分度的点，一般处于物体表面，通常用于在不同图像之间进行匹配和定位。这些特征点在图像中具有明显的特征，例如角点、边缘点等，可以通过它们在图像中的位置和周围像素的强度变化来描述。
通过使用相机捕获的图像数据和IMU提供姿态信息，创建一个初始的三维地图，这个地图通常是一个稀疏的点云或特征点云。
最后，进行特征匹配和地图更新，在运行时，相机持续地捕获图像，并从图像中提取特征点或者使用全景图像；利用这些特征点与之前建立的地图进行匹配，估计相机的运动和相机在地图中的位置。
在此过程中，通常会采用视觉里程计的方法，通过连续帧之间的特征点匹配来估计相机在世界坐标系下的位置和姿态。
S7、进行目标定位及路径规划：
本实施例中，如图5所示，将定位得到的四旋翼无人机自身坐标以及建图，还有视觉识别到的物体的深度以及像素坐标，融合为路径规划的前置条件。
对于定位来说，通过融合视觉和IMU数据，利用优化算法，如扩展卡尔曼滤波器或非线性优化，来校正相机位姿的估计；还利用IMU提供的加速度计和陀螺仪数据来对相机的运动进行预测，IMU提供的高频率数据可以帮助抵消相机在视觉处理中可能出现的漂移和噪声从而提高定位的准确性；同时进行闭环检测与地图更新，定期执行闭环检测，以检测当前估计的轨迹与先前记录的轨迹之间的匹配点，从而识别和纠正累积的漂移；还周期性地更新地图，以保持地图的准确性和鲁棒性。
在得到高精度的定位和地图信息数据后，结合准确识别的物体像素坐标，精确确定物体在真实世界中的三维坐标。此外，获取有效的地图图层进一步提高了路径规划的准确性。基于这些信息，可以为路径规划提供高度准确的前提条件，利用现有的成熟路径规划方法，快速、准确地规划出安全高效的飞行路径。
本实施例中，基于上述视觉目标识别与定位方法，将四旋翼无人机飞到6个固定测试点，分别为标记为：（0，0，0），（0，0，0.5），（2，0，0.5），（2，2，0.5）,(0，2，0.5），（0，0，0），如下表1是实验结果数据表，单位为米。
表1是实验结果数据表
X,Y,Z是本实施例视觉目标识别与定位方法获得的四旋翼无人机三维定位坐标，Depth是每一组对应计算2米的模型物体的深度值，Mean为均值，Var为方差，Group为组名，label为每一组的编号标签，对应的是不同的点。
表中，标号为1至5的行对应组一，标号为6至11的行对应组二，标号为12至17的行对应组三，组一是本实施例中前后两个相机没有收到结构光干扰的情况，组二和组三是接受结构光干扰的情况。
结构光投射的光线可能会与环境中其他光源产生干扰，包括自然光、室内灯光或其他传感器的输出。这些干扰可能导致传感器误读或不准确读取结构光模式，从而影响了定位算法的输入数据，而且会导致视觉里程计(VIO）无法跟随四旋翼无人机，导致定位数据无效。组二的数据就是打开结构光之后直接飘掉，无法指导四旋翼无人机的飞行。
将组一和组三得到的数据结果进行对比，如图6所示，可以发现在没有结构光干扰的情况下，定位的数据区间是更小更准确的，而且数据的均值是非常接近真实值的。
需要特别说明的是，本发明中前后两个相机的设定可以减小结构光的干涉，让定位的算法更加准确，定位的数据可以共享给识别部分中的坐标转换代码，将经过HDR处理之后的图像识别特定目标之后，更加准确的计算出目标位置在三维世界坐标系中的坐标，此外，准确的识别和定位可以大大减小我的深度估计算法的估计误差，这样还原的三维地图会更加的精准和逼真，这些前置条件为后面的飞行规划奠定了坚实基础，极大提升了规划的安全性，降低了风险。
综上，本发明四旋翼无人机视觉目标识别与定位方法设计的双目相机数量和位置课调整，根据实际的应用需求，可以增加或减少RGBD相机的数量，或调整相机的安装位置，以优化视觉信息的获取效果。
基于本发明四旋翼无人机视觉目标识别与定位方法，可应用的场景还包括：
飞行控制：基于处理后的环境模型和目标信息，四旋翼无人机的飞行控制系统将计算出最优的飞行路径，系统实时调整无人机的飞行状态，确保在执行任务的同时，有效避开障碍物，确保飞行安全。
目标追踪：在目标识别与定位的基础上，四旋翼无人机可以对特定目标进行自动追踪，无论目标在无人机的前方还是后方，两对RGBD相机的配置都能保证对目标的持续监视和跟踪，能够在复杂环境中实现高效的视觉目标识别与定位，提高无人机的自主飞行能力和任务执行效率。
同时，本发明图像处理算法可优化，可以根据最新的图像处理和机器学习技术，持续优化目标识别和定位的算法，提高识别准确率和处理速度。
进一步地，本发明飞行控制算法可根据环境模型和目标信息的处理结果改进，通过不断改进飞行控制算法，提升无人机的避障能力和路径规划效率。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种基于双目相机的四旋翼无人机视觉目标识别与定位方法，其特征在于，包括如下步骤：
S1、两对双目相机及参数的配置：在四旋翼无人机的前后各配置一对RGBD双目相机，对前后双目相机进行参数配置、同步和校准；
S2、进行环境感知与数据获取：两对双目相机分别从前后两个方向实时捕捉环境图像，通过HDR图像处理模块，对双目相机捕捉到的图像信息进行实时高动态范围HDR图像处理；
S3、目标识别：将HDR处理后的图像数据输入深度学习目标识别模型，根据需求，训练模型，对图像中特定的目标物体进行实时识别和分类；
S4、飞机自身定位姿态估计与计算：从双目相机捕捉到的图像信息中提取特征点，结合IMU数据估计飞机的姿态和速度变化，将视觉和惯性数据进行融合，估计四旋翼无人机的位置和姿态；
S5、进行深度信息获取与三维定位：进行双目立体视觉深度估计，结合立体匹配算法及坐标转换算法，从双目相机获取的图像中计算目标物体的深度信息，基于点云模型构建三维地图；
S6、特征匹配和地图更新：双目相机持续地捕获图像，并从图像中提取特征点，利用特征点与构建的三维地图进行匹配，采用视觉里程计的方法，通过连续帧之间的特征点匹配估计相机在世界坐标系下的位置和姿态，得到四旋翼无人机自身在世界坐标系下的坐标；
S7、进行目标定位及路径规划：将定位得到的四旋翼无人机自身坐标、视觉识别到的目标物体的深度融合为路径规划的前置条件，规划四旋翼无人机的飞行路径。
2.根据权利要求1所述的基于双目相机的四旋翼无人机视觉目标识别与定位方法，其特征在于，四旋翼无人机前方的RGBD双目相机对应于无人机的飞行方向，用于探测前方的障碍物和目标；后方的RGBD双目相机则用于监测无人机后方的情况，用于辅助避障和路径规划；
双目相机的参数配置，包括：双目相机的内参、双目相机的外参，双目相机的内参包括：焦距、图像中心主点坐标、畸变系数，双目相机的外参包括：相机相对于参考坐标系的位置、朝向。
3.根据权利要求2所述的基于双目相机的四旋翼无人机视觉目标识别与定位方法，其特征在于，步骤S1中对前后双目相机进行同步和校准，减少结构光的干扰，具体为：
位于无人机的前后的双目相机分别为A和B，在同一时间t分别捕捉带有结构光模式的环境图像，获取结构光照明产生的A和B相互干扰情况下的坐标（x，y）处的深度信息，表示为和/>；
最小化双目相机A和B在结构光环境下受干扰的深度测量值与理想无干扰深度值之间的差异，通过如下误差函数，最小化和/>与真实深度/>和/>之间的差异，并综合额外误差项f：
;
其中， 和/>分别为A和B结构光照明无干扰情况下的坐标（x，y）处的深度信息，/>；w 1 和w 2 为权重系数，用于表示当前无人机飞行状态下，相机A和B对深度估计准确性的重要程度或预期噪声水平；
基于前后双目相机两个视角获得的图像信息，估计深度值的一致性，深度估计差异越小，深度信息更可靠：
;
其中，V表示深度估计的一致性度量，最小化V以提高深度估计的鲁棒性。
4.根据权利要求2所述的基于双目相机的四旋翼无人机视觉目标识别与定位方法，其特征在于，基于双目相机捕获的图像信息，根据环境变化自动调整双目相机参数，在低光环境下增加降噪处理，在高光环境下应用HDR图像合成处理，平衡处理速度与图像质量，调整曝光时间和增益，保证图像质量，步骤S2中高动态范围图像处理，包括如下子步骤：
S2.1、对双目相机捕获的图像信息进行预处理，包括：对图像信息的去噪声、亮度调整、对比度增强，提高图像质量和深度信息的准确性；
S2.2、对双目相机捕获的图像信息进行HDR图像合成处理，以适应复杂的光照条件，基于不同曝光时间下捕获的图像I i ，通过以下公式合成HDR图像I HDR ：
;
其中，n是参与合成的图像数量，是曝光时间为i时的图像映射函数，/>是权重函数，用于衡量图像I i 在每个像素上的贡献度。
5.根据权利要求4所述的基于双目相机的四旋翼无人机视觉目标识别与定位方法，其特征在于，步骤S3中，所述深度学习目标识别模型，基于YOLO深度学习算法训练捕捉到的图像信息数据集，通过GPU加速，对图像中的目标进行实时识别和分类，根据训练的模型不同，分类的类别不同。
6.根据权利要求5所述的基于双目相机的四旋翼无人机视觉目标识别与定位方法，其特征在于，步骤S4中，飞机自身定位姿态估计与计算，包括如下子步骤：
S4.1、从双目相机捕获的图像中提取特征点，所述特征点是图像中的角点或者显著的特征，使用跟踪算法跟踪特征点在连续帧中的运动；
S4.2、使用来自IMU的数据，包括加速度计和陀螺仪测量值进行惯性数据融合，估计飞机的姿态和速度变化，具体如下：
基于IMU传感器数据，通过积分加速度和角速度数据估计双目相机的运动，计算双目相机在世界坐标系下的位移p t 和姿态R t ，公式如下：
;
其中，t为当前时刻，t-1为上一时刻，IMU测量的t时刻的速度为v t 、加速度为a t 、角速度为w t ,采样时间间隔为△t，b g 为零偏；
S4.3、视觉惯性融合：使用视觉和惯性数据进行融合，通过将两者的信息进行联合优化，估计相机的运动和相机在地图中的位置。
7.根据权利要求5所述的基于双目相机的四旋翼无人机视觉目标识别与定位方法，其特征在于，步骤S5中，所述双目立体视觉深度估计，包括如下子步骤：
S5.1、基于双目相机捕捉到的图像，利用立体匹配算法计算目标的深度信息，深度通过如下相机模型公式计算：
;
其中，f是双目相机的焦距，B是双目相机的基线距离，d是同一场景点在两个相机图像上的视差；
S5.2、通过使用相机捕获的图像数据和IMU提供姿态信息，创建初始的三维地图，表示为是一个稀疏的点云或特征点云；
S5.3、根据深度信息生成三维点云，将前后相机生成的点云数据通过深度图融合成一个统一的点云模型，进一步结合机载IMU数据进行精准三维定位；
深度图融合公式如下：
;
其中，wf和wb是根据图像质量动态调整的权重系数，用于平衡前后视角深度信息的贡献；Df和Db分别表示前视和后视深度图中的深度值；
S5.4、对融合后的点云模型进行优化，提高三维地图精度，得到基于优化后的点云模型构建三维地图。
8.根据权利要求1所述的基于双目相机的四旋翼无人机视觉目标识别与定位方法，其特征在于，步骤S5中还包括通过特征点匹配，进行三维重建，进一步提高三维地图精度，方法如下：
进行结构光干扰抑制，分析图像中的光模式变形，生成和解码结构光图案以进行三维扫描，计算出目标物体表面的三维信息；
进行模式识别：通过分析捕获的图像中的结构光模式如何因物体表面的不同深度和凹凸而扭曲或变形，可以计算出目标物体表面的三维形状；
进行三维重建：利用从不同视角捕获的图像，结合光模式的已知特性，通过几何和光学原理，恢复出目标物体的三维表面信息。
9.根据权利要求7所述的基于双目相机的四旋翼无人机视觉目标识别与定位方法，其特征在于，步骤S5.1中，基于Structured-Light光源编码，利用相机从不同角度捕获反射光图像，分析图像中的光模式变形，进行结构光干扰抑制，计算出物体表面的三维信息，减少由于相机间结构光投射的相互干扰；
所述结构光干扰抑制，方法如下：设为三维空间中的一点，无人机前方的RGBD双目相机深度图Df中的投影为/>，无人机后方的RGBD双目相机深度图Db中的投影为，通过如下公式进行光源编码，实现对P点深度值的精确恢复：
;
其中，Decode是解码函数，θ是光源编码参数，用于识别和消除由于结构光相互干扰而产生的误差。
10.根据权利要求1所述的基于双目相机的四旋翼无人机视觉目标识别与定位方法，其特征在于，对前后双目相机进行校准，还包括畸变校正，所述畸变校正包括径向畸变和切向畸变，对成像时及线条、形状、大小发生扭曲的畸变，通过标定，获得畸变参数，进行校正，恢复物体的真实形状和尺寸。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410547597.5A CN118135526B (zh) | 2024-05-06 | 2024-05-06 | 基于双目相机的四旋翼无人机视觉目标识别与定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410547597.5A CN118135526B (zh) | 2024-05-06 | 2024-05-06 | 基于双目相机的四旋翼无人机视觉目标识别与定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118135526A true CN118135526A (zh) | 2024-06-04 |
| CN118135526B CN118135526B (zh) | 2024-07-30 |
Family
ID=91243230
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410547597.5A Active CN118135526B (zh) | 2024-05-06 | 2024-05-06 | 基于双目相机的四旋翼无人机视觉目标识别与定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118135526B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118408553A (zh) * | 2024-07-01 | 2024-07-30 | 西南科技大学 | 一种环境三维重建与识别的无人机导航方法 |
| CN118603103A (zh) * | 2024-08-07 | 2024-09-06 | 浙江容祺科技有限公司 | 基于视觉slam的无人机室内导航系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108711166A (zh) * | 2018-04-12 | 2018-10-26 | 浙江工业大学 | 一种基于四旋翼无人机的单目相机尺度估计方法 |
| US20210319575A1 (en) * | 2018-12-24 | 2021-10-14 | Autel Robotics Co., Ltd. | Target positioning method and device, and unmanned aerial vehicle |
| US20230095700A1 (en) * | 2020-05-25 | 2023-03-30 | Autel Robotics Co., Ltd. | Vehicle flight control method and apparatus for unmanned aerial vehicle, and unmanned aerial vehicle |
| CN115933718A (zh) * | 2022-11-07 | 2023-04-07 | 武汉大学 | 一种融合全景slam与目标识别的无人机自主飞行技术方法 |
| CN117685953A (zh) * | 2023-12-13 | 2024-03-12 | 中国人民解放军陆军工程大学 | 面向多无人机协同定位的uwb与视觉融合定位方法及系统 |
-
2024
- 2024-05-06 CN CN202410547597.5A patent/CN118135526B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108711166A (zh) * | 2018-04-12 | 2018-10-26 | 浙江工业大学 | 一种基于四旋翼无人机的单目相机尺度估计方法 |
| US20210319575A1 (en) * | 2018-12-24 | 2021-10-14 | Autel Robotics Co., Ltd. | Target positioning method and device, and unmanned aerial vehicle |
| US20230095700A1 (en) * | 2020-05-25 | 2023-03-30 | Autel Robotics Co., Ltd. | Vehicle flight control method and apparatus for unmanned aerial vehicle, and unmanned aerial vehicle |
| CN115933718A (zh) * | 2022-11-07 | 2023-04-07 | 武汉大学 | 一种融合全景slam与目标识别的无人机自主飞行技术方法 |
| CN117685953A (zh) * | 2023-12-13 | 2024-03-12 | 中国人民解放军陆军工程大学 | 面向多无人机协同定位的uwb与视觉融合定位方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| JINGAO XU等: "Taming Event Cameras with Bio-Inspired Architecture and Algorithm: A Case for Drone Obstacle Avoidance", 《PROCEEDINGS OF THE 29TH ANNUAL INTERNATIONAL CONFERENCE ON MOBILE COMPUTING AND NETWORKING》, 2 October 2023 (2023-10-02), pages 1 - 16, XP059328455, DOI: 10.1145/3570361.3613269 * |
| 梁观鑫: "基于视觉感知的多无人机协同目标跟踪技术研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, 15 January 2023 (2023-01-15), pages 031 - 27 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118408553A (zh) * | 2024-07-01 | 2024-07-30 | 西南科技大学 | 一种环境三维重建与识别的无人机导航方法 |
| CN118603103A (zh) * | 2024-08-07 | 2024-09-06 | 浙江容祺科技有限公司 | 基于视觉slam的无人机室内导航系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118135526B (zh) | 2024-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111258313B (zh) | 多传感器融合slam系统及机器人 | |
| CN110070615B (zh) | 一种基于多相机协同的全景视觉slam方法 | |
| CN109993113B (zh) | 一种基于rgb-d和imu信息融合的位姿估计方法 | |
| Zhu et al. | The multivehicle stereo event camera dataset: An event camera dataset for 3D perception | |
| CN108171733B (zh) | 使两个或更多个三维3d点云配准的方法 | |
| CN112598757B (zh) | 一种多传感器时间空间标定方法及装置 | |
| CN112197770B (zh) | 一种机器人的定位方法及其定位装置 | |
| CN118135526B (zh) | 基于双目相机的四旋翼无人机视觉目标识别与定位方法 | |
| CN110033489B (zh) | 一种车辆定位准确性的评估方法、装置及设备 | |
| JP5992184B2 (ja) | 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム | |
| CN109191504A (zh) | 一种无人机目标跟踪方法 | |
| CN111275763A (zh) | 闭环检测系统、多传感器融合slam系统及机器人 | |
| CN113568435B (zh) | 一种基于无人机自主飞行态势感知趋势的分析方法与系统 | |
| CN104704384A (zh) | 具体用于装置的基于视觉的定位的图像处理方法 | |
| CN116222543B (zh) | 用于机器人环境感知的多传感器融合地图构建方法及系统 | |
| CN116619358A (zh) | 一种矿山自主探测机器人自适应定位优化与建图方法 | |
| CN114964276B (zh) | 一种融合惯导的动态视觉slam方法 | |
| CN112179338A (zh) | 一种基于视觉和惯导融合的低空无人机自身定位方法 | |
| CN117237789A (zh) | 基于全景相机和激光雷达融合生成纹理信息点云地图方法 | |
| CN116380079A (zh) | 一种融合前视声呐与orb-slam3的水下slam方法 | |
| CN116007609A (zh) | 一种多光谱图像和惯导融合的定位方法和计算系统 | |
| CN115355904A (zh) | 一种针对地面移动机器人的Lidar-IMU融合的slam方法 | |
| CN112762929B (zh) | 一种智能导航方法、装置和设备 | |
| Zhang et al. | An open-source, fiducial-based, underwater stereo visual-inertial localization method with refraction correction | |
| CN112945233A (zh) | 一种全局无漂移的自主机器人同时定位与地图构建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |