CN115690610A - 一种基于图像匹配的无人机导航方法 - Google Patents
一种基于图像匹配的无人机导航方法 Download PDFInfo
- Publication number
- CN115690610A CN115690610A CN202211120727.4A CN202211120727A CN115690610A CN 115690610 A CN115690610 A CN 115690610A CN 202211120727 A CN202211120727 A CN 202211120727A CN 115690610 A CN115690610 A CN 115690610A
- Authority
- CN
- China
- Prior art keywords
- image
- accurate
- matching
- original
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明涉及无人机导航技术领域,揭露了一种基于图像匹配的无人机导航方法。所述方法包括以下步骤:获得精确区域原图集,对精确区域特征原图集进行边界融合操作,获得精确地貌原图,对无人机所在的位置进行实地测量,获得拍摄图像并进行计算,获得实时特征地貌图;根据实时特征地貌图与精确地貌原图进行匹配获得当前精确位置,接收精确地貌原图上设置的飞行路径或原始目标地点,成飞行路径导航图或生成飞行目标导航图,根据当前飞行区域进行分析,生成重叠导航区域并进行计算,对精确地貌原图进行修正操作。本发明结合GPS导航对GPS导航误差进行修正,也可进行无网导航,进行作业区域自主导航,定位精确。
Description
技术领域
本发明涉及无人机导航技术领域,尤其涉及一种基于图像匹配的无人机导航方法。
背景技术
随着无人机技术的迅猛发展,无人机在原先的军事领域大放光彩,也逐渐向民用领 域发展,其中,无人机导航技术,即依赖于GPS的导航技术,随着时间的推移,误差累 计严重,无人机无法完成预定任务,甚至难以返航。因此在GPS干扰强烈或拒止区域如 丛林、城市楼群间、高山峡谷等,如何完成特殊地形地貌下的飞行任务,故研究一种可 以在无GPS条件下自主导航飞行方法存在重要意义。
发明内容
本发明提供一种基于图像匹配的无人机导航方法,以解决至少一个上述技术问题。
为实现上述目的,本发明提供一种基于图像匹配的无人机导航方法,包括:
步骤S1:通过视觉里程计在第一高度对无人机的作业范围进行实地拍摄与测量,获 得第一拍摄图像,对第一拍摄图像进行关键帧提取,获得第一关键帧集,并将第一关键帧集发送至服务器以使服务器根据第一关键帧集进行拼接,获得模糊原图;
步骤S2:将模糊原图以矩阵形式进行分割并排序,获得模糊区域原图集;
步骤S3:根据模糊区域原图集中的每个模糊区域原图所属的地理区域范围进行多个 位置的全景拍摄,得到第二拍摄图像,其中每个位置包括高度和经纬度,通过第二拍摄图像进行关键帧提取,获得第二关键帧集和高度信息集;
步骤S4:发送第二关键帧集和高度信息集至服务器以使服务器根据第二关键帧集进 行特征提取,获得区域特征图集,将区域特征图集进行聚合操作,建立成三维数据模型,从而获得精确区域原图集;
步骤S5:根据精确区域原图集与高度信息集,对精确区域原图集中的每个精确区域 原图引入相关的高度信息集中的高度信息进行计算,获得区域特征点集,将区域特征点集标记到精确区域原图上,从而获得精确区域特征原图集;
步骤S6:对精确区域特征原图集进行边界融合操作,获得精确地貌原图,将精确地貌原图存储到无人机的制导系统中;
步骤S7:对无人机所在的位置进行实地测量,获得第三拍摄图像、大气的能见度数值与光照强度值,根据大气的能见度数值与预设的能见度数值进行计算,得到第一权重值,根据光照强度值与预设的光照强度值进行计算,得到第二权重值,比较第一权重值 与第二权重值得到最大权重,用最大权重选择切换拍摄图像类型;
步骤S8:根据第三拍摄图像进行计算获得第三拍摄图像的高度信息,对第三拍摄图 像进行关键帧提取,得到实地测量关键帧;
步骤S9:根据实地测量关键帧并通过PP-MSVSR算法进行计算得到全景图,用全景图进行卷积操作,获得实时特征图集,对实时特征图集进行聚合操作,获得实时地貌图;
步骤S10:根据第三拍摄图像的高度信息对实时地貌图进行计算,以获得实时特征点,将实时特征点标记到实时地貌图,获得实时特征地貌图;
步骤S11:采用预设的匹配顺序对实时特征地貌图与精确地貌原图进行多次匹配,获得多组匹配度集,筛选匹配度集以获得最高匹配度,将最高匹配度与预期值集进行对比,获得相似度最高的匹配度集所对应的区域,将该区域重置为无人机当前飞行区域, 在精确地貌原图内获得无人机的当前精确位置,将无法匹配的当前精确位置发回服务器 处理;
步骤S12:接收精确地貌原图上设置的飞行路径,根据当前精确位置生成飞行路径导航图,进行自主导航飞行;或者,接收精确地貌原图上设置的原始目标地点,根据当 前精确位置生成飞行目标导航图,进行自主导航飞行;
步骤S13:根据无人机当前飞行区域进行分析,生成导航路径集;根据导航路径集进行分析,当导航路径集中导航重叠区域出现次数达到重叠阈值时,则生成重叠导航区域;根据重叠导航区域进行分析,统计属于实时特征点集但不属于区域特征点集的每个 实时特征点的出现次数,并将出现次数达到第一阈值的实时特征点标记为修正特征点; 统计属于区域特征点集但不属于实时特征点集的每个实时特征点的出现次数,并将出现 次数达到第二阈值的实时特征点,标记为消除特征点;根据修正特征点以及消除特征点, 对精确地貌原图进行修正操作,获得更精确的精确地貌原图。
本实施例通过无人机根据精确地貌原图对当前区域进行比较,确定当前位置,从而 使导航定位更为精确;根据多次飞行轨迹对精确地貌原图进行修改,从而使精确地貌原图更吻合当前工作区域;根据存储的精确地貌原图,使无人机导航可以脱离GPS,进行 无网作业,从而使无人机能适应功能作业地理环境更为恶劣的情况,根据关键帧进行数 据传输比直接传输影像视频的数据量要小的多,用小数据量与不连续的关键帧图片数据 传输的速度要快很多,不连续的关键帧传输数据时的抗干扰的能力比视频强很多。
在本说明书的一个实施例中,步骤S4中发送第二关键帧集和高度信息集至服务器以使服务器根据第二关键帧集进行特征提取,获得区域特征图集的步骤包括以步骤:
发送第二关键帧集和高度信息集至服务器以使服务器根据无人机传回的第二关键 帧集,通过预设的空间权重和通道权重,对第二关键帧集的关键帧的特征区域进行突出显示,用卷积操作对不同的关键帧进行特征提取,获得区域特征图集。
本实施例通过无人机图像提取关键帧传回服务器,从而使传输数据量降低,提高传 输效率;数据传回服务器进行处理,使无人机工作量减小,从而使无人机更为小巧,工作效率加快,在服务器能进行计算操作使其干扰计算的因数降低,从而使计算更准确更 高效。
在本说明书的一个实施例中,步骤S4中将区域特征图集进行聚合操作,建立成三维数据模型,从而获得精确区域原图集的步骤包括以下步骤:
采用深度卷积特征聚合框架对区域特征图集进行聚合操作,建立三维数据模型,从 而获得精确区域原图集。
本实施例通过区域特征图集进行聚合操作,使各类特征图的特征结合起来形成整体, 使无人机更容易识别特征;建立三维数据模型,使无人机更容易识别当前位置,用深度卷积特征聚合框架计算难度较小速度较快,训练难度相较于其他神经网路要小。
在本说明书的一个实施例中,步骤S6具体包括以下步骤:
提取精确区域特征原图集中的精确区域特征原图的边缘区域,用精确区域特征原图 集的顺序对边缘区域的重叠或相似区域进行卷积操作,以使边缘平滑过渡,从而实现融合操作,获得精确地貌原图。
本实施例通过边界融合操作,将各个小范围的精确区域特征原图合成大范围的精确 地貌原图,使凌乱的地图形成规整的地图,从而使导航更便捷,工作范围更广阔的也可以进项精确地貌原图进行边界融合使地图更广阔,该所述地图不一定为边缘规整的地图,可以根据工作区域范围的需要进行调整。
在本说明书的一个实施例中,步骤S9中根据实地测量关键并通过PP-MSVSR算法进行计算得到全景图的步骤包括以下步骤:
通过PP-MSVSR算法将实地测量关键帧的像素对准精确地貌原图的像素,从而获得全景图。
本实施例通过计算使关键帧的像素与精确地貌原图的像素对齐,能使获得关键帧与 实时特征图更精确地貌原图上的关键帧与区域特征图进行对比时更为准确。
在本说明书的一个实施例中,步骤S11中采用预设的匹配顺序对实时特征地貌图与 精确地貌原图进行多次匹配分为三种:
(1)根据GPS导航定位对应精确地貌原图的位置,用范围逐渐扩大方式进行匹配;
(2)在无网状态下,以精确地貌原图的矩阵顺序进行匹配;
(3)根据特征点匹配度,对实时特征图匹配顺序进行由高到低排序;
步骤S11包括以下步骤:
在相同高度信息的条件下,根据匹配顺序(1)或(2)对实时特征点与区域特征点进行第一次匹配,用极大似然估计算法对实时地貌图上的实时特征点与精确地貌原图上的区域特征点进行相似度匹配,获得第一组匹配度集;
当第一次匹配时第一组匹配度集的最新匹配度高于第一预期值时立刻停止匹配,在 精确地貌原图上确定停止匹配点的位置为当前位置;
当第一次匹配时第一组匹配度集未有高于第一预期值的全图匹配,获得第一组匹配 度集中的最高匹配度,在精确地貌原图上确定最高匹配度高于第二预期值的匹配点为当 前位置;
当最高匹配度低于第二预期值的,根据匹配顺序(3)对实时特征图与区域特征图进行第二次匹配,用极大似然估计算法对实时特征图与区域特征图进行相似度匹配,获 得第二组匹配度集;
获得第二组匹配度集中的最高匹配度,在精确地貌原图上确定最高匹配度高于第三 预期值的匹配点为当前位置;
最高匹配度低于第三预期值的,无人机自主提升飞行高度到第二高度,获得实时地 貌图上零散的实时特征点,根据匹配顺序(1)或(2)对实时特征点与区域特征点进行 第三次匹配,用极大似然估计算法对实时地貌图上的实时特征点与精确地貌原图上的区 域特征点进行相似度匹配,获得第三组匹配度集,其中第一高度高于第二高度;
获得第三组匹配度集中的最高匹配度,在精确地貌原图上确定最高匹配度高于第四 预期值的匹配点为当前位置;
最高匹配度低于第四预期值的,根据匹配顺序(1)或(2)对实时特征图与区域特征图进行四次匹配,用极大似然估计算法对实时特征图与区域特征图进行相似度匹配, 获得第四组匹配度集;
获得第四组匹配度集中的最高匹配度,在精确地貌原图上确定最高匹配度高于第五 预期值的匹配点为当前位置;
最高匹配度低于第五预期值的,将第一组至第四组匹配度集发回服务器处理,其中 第一预期值、第二预期值、第三预期值、第四预期值、第五预期值逐渐降低。
本实施例通过不同的匹配方式能更高效的获得当前位置;通过分级匹配当前位置, 提高匹配精确度和匹配准确性,进行第一次比较时若有达到第一预期值的停止匹配确定 当前精确位置,可以提高匹配速度特别是有GPS辅助定位时匹配顺序(1)匹配效率更高,第二次比较时若有达到第二预期值的同样达到需求的精度标准,第三次比较时利用 特征图进行匹配能更好的对特征区域进行比对获得精确位置,第四次比较时先进行无人 机提高飞行高度到第二高度在进行拍摄作业有利于得到更大范围的拍摄图像,包含更多 的特征点与更复杂的特征图,特征点增加对匹配获得的相似度更为准确,第五次比较利 用更复杂的特征图进行匹配的准确性更高,利用服务器进行无法匹配获得精确位置的匹 配进行处理该服务器可以是在工作范围内的控制台,无需网路进行传输可以使用电磁波 等,控制台的处理能力更强效率更高。
在本说明书的一个实施例中,步骤S12中接收精确地貌原图上设置的飞行路径,根据当前精确位置生成飞行路径导航图,进行自主导航飞行的步骤具体包括以下步骤:
接收精确地貌原图上设置的飞行路径,根据飞行路径在无人机的精确地貌原图上生 成飞行路径导航图;
根据当前精确位置与生成的飞行路径导航图的出发点构建回归飞行路径,根据回归 飞行路径飞行至飞行路径导航图的出发点,进行自主导航飞行。
本实施例通过在服务器的精确地貌原图上设置的飞行路径图并发送到无人机的精 确地貌原图上,根据飞行路径在精确地貌原图上的信息进行发送减小了数据传输量,加快传输效率,根据传输来的飞行路径信息可以在无人机的精确地貌原图上精确的生成该飞行路径,根据点前精确位置与飞行路径出发点建立自主回归导航,减少大量人工操作 增加工作效率。
在本说明书的一个实施例中,步骤S12中接收精确地貌原图上设置的原始目标地点, 根据当前精确位置生成飞行目标导航图,进行自主导航飞行的步骤包括以下步骤:
接收精确地貌原图上设置的原始目标地点,根据原始目标地点在无人机的精确地貌 原图上标定精确目标地点,根据精确目标地点生成飞行目标导航图,进行自主导航飞行。
本实施例通过在控制台的精确地貌原图上设置的原始目标地点并发送到无人机的 精确地貌原图上,确定精确目标地点,自主生成导航路径,减小了数据传输量,加快传输效率,提高无人机自主导航能力,减少大量人工操作增加工作效率。
在本说明书的一个实施例中,步骤S13中根据修正特征点以及消除特征点,对精确地貌原图进行修正操作,获得更精确的精确地貌原图的步骤包括以下步骤:
根据修正特征点进行搜索,获得修正特征点对应的实时特征图,将实时特征图与对 应的区域特征图进行替换操作,实现在精确地貌原图上进行修正调整操作;
根据消失特征点进行搜索,获得消失特征点对应的实时特征图,将实时特征图与对 应的区域特征图进行替换操作,实现在精确地貌原图上进行修正调整操作。
本实施例通过多次导航对重叠区域进行修正,使精确地貌原图更适当前作业区域, 让无人机的工作环境随着时间变化情况下依然能处于最佳状态,根据多次导航获得的修 正特征点与消失特征点用于对精确地貌原图进行修正,可以确定需修正区域为小范围永 久性变化对精确地貌原图进行修改才是有效修改。
本申请实例中,根据对作业环境探测获得精确地貌原图,使无人机可以脱离GPS导航系统在规定作业范围内自主导航,基于精确地貌原图可以对当前导航确定当前精确位置更好辅助导航;多种匹配方式提高导航精度,应对突发情况有更多的自主解决方案; 对精确地貌原图进行自主修正,使无人机在工作环境随着时间变化情况下依然能处于最 佳状态。
附图说明
图1为本发明一个基于图像匹配的无人机导航方法的部分步骤流程示意图;
图2为本发明一个基于图像匹配的无人机导航方法的另一部分步骤流程示意图;
图3为图2中其中一个步骤的详细实施步骤流程示意图;
图4为一个实例的无人机拍摄图像的高度对比示意图;
图5为一个实例的模糊原图切割方式示意图;
图6为一个实例的飞行路径导航示意图;
图7为一个实例的飞行目标导航示意图;
图8为一个实例的特征图聚合方式示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本申请实施例提供一种基于图像匹配的无人机导航方法。所述图像匹配的导航方法 的执行主体包括但不限于服务器、无人机等能够被配置为执行本申请实施例提供的该方 法的设备中的至少一种。所述服务器包括但步限于:控制台、单台服务器、服务器集群、云端服务器或云端服务器集群等。所述无人机内部设备单元包括但不限于:存储单元、 拍摄单元、数据处理单元、数据传输单元、大气透明度检测单元、光照强度检测单元、 GPS单元等。
参照图1所述,为本发明一个基于图像匹配的无人机导航方法的部分步骤流程示意 图,在本实例中,所述基于图像匹配的无人机导航方法包括:
步骤S1:获得第一拍摄图像,进行关键帧提取操作后对关键帧进行拼接,获得模糊原图;
具体为,通过视觉里程计在第一高度对无人机的作业范围进行实地拍摄与测量,获 得第一拍摄图像,对第一拍摄图像进行关键帧提取,获得第一关键帧集,并将第一关键帧集发送至服务器以使服务器根据第一关键帧集进行拼接,获得模糊原图。
本发明实施例中,所述视觉里程计是指用于计算无人机高度和拍摄图像的仪器,所 述第一高度是指利用侦察无人机对无人机需要作业的范围第一次粗劣拍摄的高度,该高 度为人为设定可以根据地形进行修改,用于获得模糊原图的手段,所述实地拍摄与测量分别是指拍摄图像与测量高度,拍摄图像命名为第一拍摄图像,测量高度用于判断无人 机是否处于第一高度进行拍摄,所述通过第一拍摄图像进行关键帧提取是指对图像进行 分帧操作,形成图像帧集,投入自定义卷积核的卷积操作中进行筛选达到设定清晰度要 求的图像得到初始关键帧集和,在通过卷积操作对达到设定相识度要求的初始关键帧进 行去重处理,得到所述的第一关键帧集,所述发送至服务器的方法是根据无人机的网络 接口链接网络例如局域网、城域网、广域网、个人网等,服务器如控制台、单台服务器、 服务器集群、云端服务器或云端服务器集群等,所述第一关键帧集进行拼接是指对关键 帧的重叠区域进行匹配,将重叠区域合并如此往复得到模糊原图。
其中,第一高度可以设置为300米也可以通过训练获得相关第一高度的预设值,其中,清晰度可以设置为0.90也可以通过训练获得相关清晰度值的预设值,相似度可以 设置为0.4也可以通过训练获得相关相似度值的预设值。
进一步地,本发明实施例的拍摄图像可以用单目相机、双目相机、三目相机等拍摄设备进行拍摄。
作为本发明的一个实例,参考图4所示,为一个实例的无人机拍摄图像的高度对比示意图,在本实例中所述内容包括:
S401:表示为无人机正常作业的作业高度,无人机下方椭圆形虚线范围为无人机正 常作业的拍摄范围;
S402:表示为无人机无法在正常作业高度对当前位置进行精确定位时提升的该高度 进行重新定位得高度,该高度称作为第二高度;
S403:表示为在对需要作业的区域进行概括拍摄时的高度称为第一高度;
其中第二高度的获取方式分为两种,第一种较为简单人工进行设置第二高度一般设 置为50-100米之间,根据不同作业范围设定的高度不同,例如在果园区域进行作业时无人机的作业高度普遍较低果树的高度较为均匀设置第二高度相对就会较低一般可以 设置为上30米;例如作业区域为市区作业区域高度相差较大房屋高度参差不齐第二高 度就需要设置较高一般可以设置为100米;第二种较为复杂根据建立精确地貌原图的数 据同时进行卷积训练操作获得最适合的第二高度,其方法训练获得的第二高度根据地貌 的不同生成的第二高度的平面不同,例如断崖地貌可以根据断崖边缘对第二高度进行分 割成两部分第一部分为断崖上的第二高度,第二部分为断崖下的第二高度;例如无人机 作业区域为较陡峭的坡地,通过训练得到的第二高度可以根据地貌的坡度对第二高度的 平面进行倾斜以达到最适合的第二高度;
其中第一高度比第二高度高,第二高度一定比无人机平时作业的高度高。
步骤S2:将模糊原图以矩阵形式进行分割并排序,获得模糊区域原图集;
本发明实施例中,所述将模糊原图以矩阵形式进行分割是指将大区域已方格并排或 并列的矩阵方式进行分割,分割出来的图片称为模糊区域原图,以分割的矩阵从左到右从上到下一次进行排序,排好序列的图片集和称为模糊区域原图集,作用在于,减小单 个探测范围,降低探测难度,也可以进行多台无人机同时探测不同分区互不影像,提高 探测效率。
作为本发明的一个实例,参考图5所示,为一个实例的模糊原图切割方式示意图,在本实例中所述内容包括:
S501:表示为步骤S1根据第一高度拍摄获得的模糊原图;
S502:表示为步骤S2根据模糊原图进行分割获得的模糊区域原图;
根据图5所示虚线表示为模糊原图的分割线,实线表示为模糊原图的边缘区域,每个小区域内有一个序号该序号用于对小区域进行排序作用,例如图5所示排序序号为 1-12的顺序进行排序,组成一个已模糊区域原图的集合称为模糊区域原图集,不同类型 的模糊原因所分割的大小和数量都不相同,根据需要可以进行人工设置数量,也可以根 据训练获得数量根据模糊原图大小和地貌特征进行计算获得更合适的区域模糊原图;
其中,模糊原图切割并非一定已直线进行切割也可以根据地貌特征进行切割,得到 的模糊区域原图不一定是边缘整齐的图形,模糊原图也可以根据需要的工作区域拍摄合 成不同形状的地图。
步骤S3:对该模糊区域原图所属的地理区域范围进行全景拍摄,获得第二拍摄图像, 通过第二拍摄图像获得第二关键帧集和高度信息集;
具体为,根据模糊区域原图集中的每个模糊区域原图所属的地理区域范围进行多个 位置的全景拍摄,得到第二拍摄图像,其中每个位置包括高度和经纬度,通过第二拍摄图像进行关键帧提取,获得第二关键帧集和高度信息集。
本发明实施例中,所述对该模糊区域原图所属的地理区域范围是指,如参考图4序号1-12位置模糊区域原图,如序号1位置的模糊区域原图的所有范围,所述范围进行 多个位置的全景拍摄,其中每个位置包括高度和经纬度,其中对不同高度进行拍摄是为 了无人机在同一地点的不同高度获得的特征点不同,为了让无人机更好的在不同高度进 行匹配的准确性,需要对不同高度进行探测,同理,在不同位置进行拍摄也是为了让无 人机更好的在不同位置进行匹配的准确性,所述全景拍摄是指在同一位置进行360度无 死角的拍摄工作,能更好的将信息数据收集清楚,将拍摄得到的图像称为低而拍摄图像, 所述第二拍摄图像进行关键帧提取是指对第二拍摄图像进行分帧操作,形成图像帧集, 投入自定义卷积核的卷积操作中进行筛选达到设定清晰度要求的图像得到初始关键帧 集,在通过卷积操作对达到设定相识度要求的初始关键帧进行去重处理,得到所述的第 二关键帧集,所述高度信息集获是指拍摄时所对应的高度,所以高度与关键帧集的关键 帧是对应关系,可以是一对一也可以是一对多关系。
其中,清晰度可以设置为0.90也可以通过训练获得相关清晰度值的预设值,相似度 可以设置为0.4也可以通过训练获得相关相似度值的预设值。
步骤S4:对第二关键帧集进行特征提取,获得区域特征图集,将区域特征图集进行聚合操作,获得精确区域原图集;
具体为,发送第二关键帧集和高度信息集至服务器以使服务器根据第二关键帧集进 行特征提取,获得区域特征图集,将区域特征图集进行聚合操作,建立成三维数据模型,从而获得精确区域原图集。
本发明实施例中,所述发送至服务器是指侦察无人机根据拍摄的图像提取关键帧后 发送至服务器,侦察无人机的工作方式为边拍摄边处理边发送,进行并行工作,持续小数据传输节约传输时间,所述第二关键帧集进行特征提取是指将关键帧集内的关键帧一一进行特征提取,特征提取的方法是通过设定的卷积核对关键帧进行卷积操作,得到相 应的特征图命名为区域特征图,区域特征图所形成的集合称为区域特征图集,所述将区 域特征图集进行聚合操作是指将同一位置同一高度的区域特征图进行聚合操作,将聚合 操作所有结果用于进行建立三维数据模型操作,生成得到的模型称为精确区域原图,精 确区域原图形成的集合称为精确区域原图集。
其中,所述卷积操作提取特征图其中输入图片根据训练得出的卷积核进行卷积操作, 根据设定要求的精度设置卷积层的层数。
其中,所述同一位置同一高度的区域特征图进行聚合操作与结果的关系为区域特征 图为单一特征值,聚合得到的结果为该位置全部特征值。
其中,所述三维数据模型操作是指通过一系列几何操作,如平移、旋转、拉伸以及布尔运算等来构建复杂的几何场景,利用建模构建三维模型主要包括几何建模、行为建模、物理建模、对象特性建模以及模型切分等,其中,几何建模的创建与描述,是虚拟 场景造型的重点,在原二维拓扑数据结构的基础上,定义了结点、弧、边和面四种几何 元素之间的拓扑关系及其与点、线、面和体四种几何目标之间的拓扑关系,并显式地表 达点和体、线和体、点和面、线和面间的拓扑关系。
作为本发明的一个实例,参考图8所示,为一个实例的特征图聚合方式示意图,在本实例中所述内容包括:
S801-S803:分别表示为通过关键帧提取的区域特征图;
S804:表示为通过聚合操作并建立成三维数据模型得到的精确区域原图;
其中,所示图片内的不规则曲线表示为提取获得的特征,箭头表示为聚合操作,S801-S803所形成的集合叫区域特征图集;
其中,S801-S803形成的区域特征图集只是一个例子,区域特征图集内的区域特征图 的数量根据关键帧提取获得;
其中,精确区域原图边缘可以为曲线不规则形状。
步骤S5:根据精确区域原图集与高度信息集进行计算,获得区域特征点集,将区域特征点集标记到精确区域原图上,获得精确区域特征原图集;
具体为,根据精确区域原图集与高度信息集,对精确区域原图集中的每个精确区域 原图引入相关的高度信息集中的高度信息进行计算,获得区域特征点集,将区域特征点集标记到精确区域原图上,从而获得精确区域特征原图集。
本发明实施例中,所述引入相关的高度信息进行计算是指将精确区域原图集中的精 确区域原图跟各个位置加入该位置的高度信息进行计算得到该位置的特征点集,将该区 域所有位置计算完得到的特征点集的集和称为区域特征点集,所述将区域特征点集标记 到精确区域原图上是指将精确区域原图上的各个位置所对应对的特征点根据特征点的计算提取位置进行标记到提取位置上,不同位置所对应的特征点集不同。
其中,所述特征点的提取方法为灰度化;采用Gamma校正法对输入图像进行颜色空间 的标准化;目的是调节图像的对比度,降低图像局部的阴影和光照变化所造成的影响,同时可以抑制噪音的干扰;计算图像每个像素的梯度;主要是为了捕获轮廓信息,同时 进一步弱化光照的干扰;将图像划分成小的像素矩阵;统计每个像素矩阵的梯度直方图, 即可形成每个像素矩阵的像素特征;将每几个像素矩阵组成一个较大的像素矩阵,一个 较大的像素矩阵内所有像素矩阵的像素特征串联起来便得到该较大的像素矩阵的像素 特征;将目标图像内的所有较大的像素矩阵的像素特征串联起来就可以得到该目标图像 的像素特征了;这个就是最终的可供分类使用的特征向量了,在特征向量中加入高度信 息,得到位置特征向量,用于得到特征点。
步骤S6:对精确区域特征原图集进行边界融合操作,获得精确地貌原图;
具体为,对精确区域特征原图集进行边界融合操作,获得精确地貌原图,将精确地貌原图存储到无人机的制导系统中。
本发明实施例中,所述对精确区域特征原图集进行边界融合操作是指根据模糊区域 原图集的排序顺序对精确区域特征原图集进行一一排序,根据序列提取精确区域特征原 图集的精确区域特征原图边界重合区域,进行融合操作与边界顺滑过度操作,精确区域特征原图集融合完成形成一整张地图,该地图称为精确地貌原图。
其中,所述边界顺滑过度操作是指将边界值融合后可能出现断层,该顺滑操作将断 层进行调整使其精确区域特征原图柔和链接在一起。
步骤S7:获得第三拍摄图像、大气的透明度数值与光照强度值,用大气的透明度数值与光照强度值进行计算,得到第一权重值与第二权重值,再进行比较得到最大权重;
具体为,对无人机所在的位置进行实地测量,获得第三拍摄图像、大气的能见度数值与光照强度值,根据大气的能见度数值与预设的能见度数值进行计算,得到第一权重值,根据光照强度值与预设的光照强度值进行计算,得到第二权重值,比较第一权重值 与第二权重值得到最大权重,用最大权重选择切换拍摄图像类型。
本发明实施例中,所述对无人机所在的位置进行实地测量是指无人机对随着作业位 置的改变对无人机当前作业位置进行高度测量与全景拍摄图像工作,对实时位置进行精 确定位的前提,所述实地测量是指通过视觉里程计进行高度测量操作得到高度信息,根据视觉里程计进行全景拍摄得到拍摄图像称为第三拍摄图像,根据光照强度测量仪器对实时位置进行光在强度的测量操作得到光照强度值,根据大气检测仪器实时测量大气的透明度得到大气能见度数值,所述预设的能见度数值是指通过人为设定或训练得到的能见度数值,所述第一权重值是指预设的能见度数值与大气的能见度数值进行比较得出差值,对差值进行偏离度计算,根据偏离度匹配相应的阈值,该阈值称为第一权重值,所 述预设的光照强度值是指通过人为设定或训练得到的光照强值,所述第二权重值是指预 设的光照强度值与光照强度值进行比较得出差值,对差值进行偏离度计算,根据偏离度 匹配相应的阈值,该阈值称为第二权重值,所述最大权重是指第二权重值与第一权重值 进行比较得到的最大值,所述用最大权重选择切换拍摄图像类型是指当最大权重为光照 强度值却低于预设的光照强度值则将拍摄图像为默认的光学图像转换为红外图像,当光 照强度值高于预设的光照强度值则保持默认的光学图像,当最大权重为大气能见度数值 却低于预设的大气能见度数值则保持默认的光学图像,当大气能见度数值高于预设的大 气能见度数值则将拍摄图像为默认的光学图像转换为红外图像。
其中,预设的光照强度值可以设置为0.5lx也可以通过训练获得相关光照强度值的 预设值,预设的大气能见度数值可以设置为300米也可以通过训练获得相关大气能见度数值的预设值。
本发明实施例中,所述大气的透明度数值用于,例如无人机的作业区域出现大雾天 气,为了保障无人机能正常作业利用红外拍摄图像能在大雾天气进行拍摄获得清晰图像; 例如无人机的作业区域出现雾霾天气一般雾霾天气都持续几天甚至10以上,为了保持正 常无人机需要对大气的透明度进行检测,从而调整拍摄图像当出现雾霾天气时调整拍摄 图像为红外图像;例如无人机的作业区域出现沙尘暴天气,为了保障无人机能正常作业利用红外拍摄图像能在沙尘暴天气进行拍摄获得清晰图像;例如无人机的作业区域出现雨雪天气,为了保障无人机能正常作业利用红外拍摄图像能在雨雪天气进行拍摄获得清晰图像。
本发明实施例中,所述光照强度值用于,例如一般情况无人机的作业区域出现白天 与黑夜交替光照强度逐渐变弱对拍摄图像进行转换已得到更清晰的拍摄图像;例如无人 机的作业区域出现阴天光照强的比较弱时光学图像拍摄不清晰,为了保障无人机能正常 作业则转换为红外图像进行拍摄作业;例如无人机的作业区域出现日全食天文现象光照 强度发生明显变化,为了保障无人机能正常作业利用红外拍摄图像能在日全食天文现象 进行拍摄获得清晰图像。
步骤S8:根据第三拍摄图像进行计算和关键帧提取,获得第三拍摄图像的高度信息 和实地测量关键帧;
具体为,根据第三拍摄图像进行计算获得第三拍摄图像的高度信息,对第三拍摄图 像进行关键帧提取,得到实地测量关键帧。
本发明实施例中,所述根据第三拍摄图像,进行计算获得第三拍摄图像的高度信息 是指根据视觉里程计对多目相机拍摄的图像,进行高度计算这里的拍摄图像称为第三拍 摄图像,所述第三拍摄图像进行关键帧提取是指指对图像进行分帧操作,形成图像帧集, 投入自定义卷积核的卷积操作中进行筛选达到设定清晰度要求的图像得到初始关键帧 集和,在通过卷积操作对达到设定相识度要求的初始关键帧进行去重处理,得到所述的实地测量键帧集。
其中,清晰度可以设置为0.90也可以通过训练获得相关清晰度值的预设值,相似度可以设置为0.4也可以通过训练获得相关相似度值的预设值。
步骤S9:实地测量关键帧通过计算得到全景图,用全景图进行卷积操作,获得实时特征图集,对实时特征图集进行聚合操作,获得实时地貌图;
具体为,根据实地测量关键帧并通过PP-MSVSR算法进行计算得到全景图,用全景图 进行卷积操作,获得实时特征图集,对实时特征图集进行聚合操作,获得实时地貌图。
本发明实施例中,所述PP-MSVSR算法进行计算是指将根据PP-MSVSR算法对实地测量关键帧的像素进行调整跟精确地貌原图进行对准,对准的实地测量关键帧称为全景图,使关键帧提取的特征图更精确,所述用全景图进行卷积操作是指将关键帧集内的关键帧一一进行特征提取,特征提取的方法是通过设定的卷积核对关键帧进行卷积操作,得到 相应的特征图命名为实时特征图,特征图所形成的集和称为实时特征图集,所述对实时 特征图集进行聚合操作是指用深度卷积特征聚合框架对特征图集内的实时特征图一一 进行聚合操作,得到的聚合结果称为实时地貌图。
作为本发明的一个实例,参考图8所示,为一个实例的特征图聚合方式示意图,在本实例中所述内容包括:
S801-S803:分别表示为通过关键帧提取的实时特征图;
S804:表示为通过聚合操作得到的实时地貌图;
其中,所示图片内的不规则曲线表示为提取获得的特征,箭头表示为聚合操作,S801-S803所形成的集合叫实时特征图集;
其中,S801-S803形成的区域特征图集只是一个例子,实时特征图集内的区域特征图 的数量根据关键帧提取获得。
步骤S10:实时地貌图引入第三拍摄图像的高度信息进行计算,获得实时特征点,将 实时特征点标记到实时地貌图,获得实时特征地貌图;
具体为,根据第三拍摄图像的高度信息对实时地貌图进行计算,以获得实时特征点, 将实时特征点标记到实时地貌图,获得实时特征地貌图
本发明实施例中,所述实时地貌图引入第三拍摄图像的高度信息进行计算是指,根 据高度信息对实时地貌图进行计算,得到的特征点称为实时特征点,所述将实时特征点标记到实时地貌图是指根据实时特征点的在实时地貌图上的提取位置从新标记的该位 置上形成的地图称为实时特征地貌图。
其中,所述特征点的提取方法为灰度化;采用Gamma校正法对输入图像进行颜色空间 的标准化;目的是调节图像的对比度,降低图像局部的阴影和光照变化所造成的影响,同时可以抑制噪音的干扰;计算图像每个像素的梯度;主要是为了捕获轮廓信息,同时 进一步弱化光照的干扰;将图像划分成小的像素矩阵;统计每个像素矩阵的梯度直方图, 即可形成每个像素矩阵的像素特征;将每几个像素矩阵组成一个较大的像素矩阵,一个 较大的像素矩阵内所有像素矩阵的像素特征串联起来便得到该较大的像素矩阵的像素 特征;将目标图像内的所有较大的像素矩阵的像素特征串联起来就可以得到该目标图像 的像素特征了;这个就是最终的可供分类使用的特征向量了,在特征向量中加入高度信 息,得到位置特征向量,用于得到特征点。
图1中的大写A与图2中的大写A表示同一个大写A用于链接图1与图2的节点。
参照图2所述,为本发明一个基于图像匹配的无人机导航方法的另一部分步骤流程 示意图,在本实例中,所述基于图像匹配的无人机导航方法包括:
步骤S21:对实时特征地貌图与精确地貌原图多次匹配与筛选,获得最高匹配度,将 最高匹配度与预期值集进行对比,获得相似度最高区域,将该区域重置为无人机当前飞行区域,对在精确地貌原图内获得当前精确位置;
具体为,采用预设的匹配顺序对实时特征地貌图与精确地貌原图进行多次匹配,获 得多组匹配度集,筛选匹配度集以获得最高匹配度,将最高匹配度与预期值集进行对比, 获得相似度最高的匹配度集所对应的区域,将该区域重置为无人机当前飞行区域,在精 确地貌原图内获得无人机的当前精确位置,将无法匹配的当前精确位置发回服务器处理。
本发明实施例中,所述其中预设的三种匹配顺序为:(1)根据GPS导航定位对应精确地貌原图的位置,用范围逐渐扩大方式进行匹配;(2)在无网状态下,以精确地貌原 图的矩阵顺序进行匹配;(3)根据特征点匹配度,对特征图匹配顺序进行由高到低排序; 匹配顺序(1)所匹配方式是基于链接GPS导航进行导航作业情况下,根据GPS导航的 定位信息在精确地貌原图上重构出该定位信息所在位置,根据所在位置进行范围逐渐扩 大的方式进行对无人机在精确地貌原图上的位置进行确定的匹配方式,匹配顺序(2) 所匹配方式是基于无人机在没有其他导航系统的支持,且确定无人机在精确地貌原图范 围内工作,根据图3所示的区域顺序进行匹配的匹配方式,匹配顺序(3)所匹配方式 是根据前两种匹配的特征点匹配度由高到低进行排序,根据排序的顺序进行匹配的匹配 方式。
本发明实施例中,所述进行多次匹配是指根据匹配度选择是否需要进行其他匹配方 式从新匹配,所述预期值集是指对不同阶段匹配对匹配度设定临界值,该临界值称为预期值,预期值形成的集和称为预期值集,所述将最高匹配度与预期值集进行对比是指根 据匹配度集对应的预期值集种的匹配度与匹配度集中的最高匹配度值进行比较确定低 于匹配度切换匹配方式,高于则确定当前匹配度最高位置,所述将该区域重置为无人机 当前飞行区域是指从通过预期值标准的匹配度进行匹配得到的位置在精确地貌原图上 标记为无人机当前位置,若在GPS当行情况下的位置与精确地貌原图上的当前位置有偏 差则对GPS导航的位置设置为精确地貌原图上的当前位置。
本发明实施例中,参照图3所示,所述根据匹配度对当前位置多次匹配,包括:
步骤S301:根据匹配顺序对实时特征点与区域特征点进行第一次匹配,获得第一组 匹配度集;
具体为,在相同高度信息的条件下,根据匹配顺序(1)或(2)对实时特征点与区 域特征点进行第一次匹配,用极大似然估计算法对实时地貌图上的实时特征点与精确地 貌原图上的区域特征点进行相似度匹配,获得第一组匹配度集。
本发明实施例中,所述在相同高度信息的条件下是指根据作业时的当前位置的高度 与精确地貌原图所对应的该高度时特征点与特征图进行比较,不同高度得到的特征点与 特征图有所不同,为了精确匹配当前位置在精确地貌原图上的位置,所以需要在精确地貌原图上选择与当前高度吻合的匹配特征点与特征图进行匹配,所述根据匹配顺序(1) 或(2)对实时特征点与区域特征点进行第一次匹配是指匹配时出现有其它辅助行方式 辅助导航与无其它导航方式辅助导航均可进行导航作业,只是匹配的顺序发生调整当有 辅助导航时采用匹配顺序(1)进行匹配,当无辅助导航时采用匹配顺序(2)进行匹配, 所述第一次匹配是指无人机对当前位置进行第一次进行定位匹配时称为第一次匹配,所 述极大似然估计算法对实时地貌图上的实时特征点与精确地貌原图上的区域特征点进 行相似度匹配是指用当前位置计算得出的实时特征点与精确地貌原图上的同一高度下 的区域特征点进行一一对比由于每个位置的特征点都不止一个所以每个位置的特征点 对比会得到一个相似度数值,将精确地貌原图输的同一高度位置匹配得到的相识度数值 形成的集和称为匹配度集由于是第一次匹配所以称为第一组匹配度集。
步骤S302:全图匹配完第一组匹配度集未有高于第一预期值的将第一组匹配度集中 的最高匹配度与第二预期值进行对比,确定最高匹配度的匹配点为当前位置;
具体为,当第一次匹配时第一组匹配度集未有高于第一预期值的全图匹配,获得第 一组匹配度集中的最高匹配度,在精确地貌原图上确定最高匹配度高于第二预期值的匹 配点为当前位置。
本发明实施例中,所述第一预期值是指预期值集中通过第一次匹配的人为设置的阈 值或通过训练的出的阈值用于划分是否匹配通过的标准线,所述当第一次匹配时第一组 匹配度集未有高于第一预期值的全图匹配是指在开始获得精确地貌原图上的位置匹配度时就边匹配边与第一预期值进行比较,匹配完直接进行与第二预期值比较,所述第二 预期值是指预期值集中通过第一次匹配完得到的最高值的人为设置的阈值或通过训练 的出的阈值用于划分是否匹配通过的标准线。
步骤S303:当最高匹配度低于第二预期值的,根据匹配顺序对实时特征图与区域特 征图进行第二次匹配,获得第二组匹配度集;
具体为,当最高匹配度低于第二预期值的,根据匹配顺序(3)对实时特征图与区域特征图进行第二次匹配,用极大似然估计算法对实时特征图与区域特征图进行相似度匹配,获得第二组匹配度集。
本发明实施例中,所述根据匹配顺序(3)对特征图与区域特征图进行第二次匹配是指由于第一次用特征点进行匹配未通过,所以需要第二次匹配,所述用极大似然估计 算法对特征图与区域特征图进行相似度匹配是指第二次匹配使用点前位置计算得出的 特征图与精确地貌原图上的同一高度的所有位置的区域特征图进行比较,每张区域特征 图与特征图进行比较都会的到一个相似度,的精确地貌原图上的同一高度的所有位置匹 配完获得的相似度集和称为匹配度集由于是第二次匹配所以称为第二组匹配度集。
步骤S304:当第一次匹配时第一组匹配度集有高于第一预期值的立刻停止匹配,在 精确地貌原图上确定停止匹配点为当前位置。
本实施例中,所述第一次匹配是指无人机对当前位置进行第一次进行定位匹配时称 为第一次匹配,所述第一预期值是指预期值集中通过第一次匹配的人为设置的阈值或通 过训练的出的阈值用于划分是否匹配通过的标准线,所述当第一次匹配时第一组匹配度 集有高于第一预期值的立刻停止匹配是指在开始获得精确地貌原图上的位置匹配度时就边匹配边与第一预期值进行比较,出现有匹配度高于第一预期值的停止匹配,所述在 精确地貌原图上确定停止匹配点为当前位置是指将最高匹配度的位置设置为无人机当 前位置。
步骤S305:获得第二组匹配度集中的最高匹配度,在精确地貌原图上确定最高匹配 度高于第三预期值的匹配点为当前位置。
本实施例中,所述第三预期值是指预期值集中通过第二次匹配的人为设置的阈值或 通过训练的出的阈值用于划分是否匹配通过的标准线。
步骤S306:最高匹配度低于第三预期值的,根据匹配顺序对实时特征点与区域特征 点进行第三次匹配,获得第三组匹配度集;
具体为,最高匹配度低于第三预期值的,无人机自主提升飞行高度到第二高度,获得实时地貌图上零散的实时特征点,根据匹配顺序(1)或(2)对实时特征点与区域特 征点进行第三次匹配,用极大似然估计算法对实时地貌图上的实时特征点与精确地貌原 图上的区域特征点进行相似度匹配,获得第三组匹配度集。
本实施例中,所述第三预期值是指预期值集中通过第二次匹配的人为设置的阈值或 通过训练的出的阈值用于划分是否匹配通过的标准线,所述无人机自主提升飞行高度到 第二高度是指在如图(4)所述中S401是指一般无人机作业的高度,S402是指第二高度,S403是指第一高度,当前两次匹配未通过时表明该区域发生比较大变化例如发生地震部分房屋倒塌使特征点与特征图发生巨大改变,发生水灾城市街道被淹没使下方的特征点与特征图发生巨大改变,当前区域多年为进行作业导航操作地貌人为改造使特征点与特征图发生巨大改变等情况,无人机无法在一般作业高度进行匹配成功进行提升高度第二高度进行第三匹配,因为第二高度比一般无人机作业的高度要高从而收集到的信息更广更全更容易匹配成功,所述获得实时地貌图上零散的实时特征点是指根据在更高位置对特征点提取与精确地貌原图上的第二高度的区域特征点进行匹配,匹配成功的特征点为零散特征点,所述根据匹配顺序(1)或(2)对实时特征点与区域特征点进行第三次匹 配是指匹配时出现有其它辅助行方式辅助导航与无其它导航方式辅助导航均可进行导 航作业,只是匹配的顺序发生调整当有辅助导航时采用匹配顺序(1)进行匹配,当无 辅助导航时采用匹配顺序(2)进行匹配,所述用极大似然估计算法对实时地貌图上的 实时特征点与精确地貌原图上的区域特征点进行相似度匹配是指用当前位置计算得出 的实时特征点与精确地貌原图上的第二高度下的区域特征点进行一一对比由于每个位 置的特征点都不止一个所以每个位置的特征点对比会得到一个相似度数值,将精确地貌 原图输的同一高度位置匹配得到的相识度数值形成的集和称为匹配度集由于是第三次 匹配所以称为第三组匹配度集。
作为本发明的一个实例,参考图4所示,为一个实例的无人机拍摄图像的高度对比示意图,在本实例中所述内容包括:
S401:表示为无人机正常作业的作业高度,无人机下方椭圆形虚线范围为无人机正 常作业的拍摄范围;
S402:表示为无人机无法在正常作业高度对当前位置进行精确定位时提升的该高度 进行重新定位得高度,该高度称作为第二高度;
S403:表示为在对需要作业的区域进行概括拍摄时的高度称为第一高度;
其中第二高度的获取方式分为两种,第一种较为简单人工进行设置第二高度一般设 置为50-100米之间,根据不同作业范围设定的高度不同,例如在果园区域进行作业时无人机的作业高度普遍较低果树的高度较为均匀设置第二高度相对就会较低一般可以 设置为上30米;例如作业区域为市区作业区域高度相差较大房屋高度参差不齐第二高 度就需要设置较高一般可以设置为100米;第二种较为复杂根据建立精确地貌原图的数 据同时进行卷积训练操作获得最适合的第二高度,其方法训练获得的第二高度根据地貌 的不同生成的第二高度的平面不同,例如断崖地貌可以根据断崖边缘对第二高度进行分 割成两部分第一部分为断崖上的第二高度,第二部分为断崖下的第二高度;例如无人机 作业区域为较陡峭的坡地,通过训练得到的第二高度可以根据地貌的坡度对第二高度的 平面进行倾斜以达到最适合的第二高度;
其中第一高度比第二高度高,第二高度一定比无人机平时作业的高度高。
步骤S307:最高匹配度低于第四预期值的,根据匹配顺序对实时特征图与区域特征 图进行四次匹配,获得第四组匹配度集;
具体为,最高匹配度低于第四预期值的,根据匹配顺序(1)或(2)对实时特征图 与区域特征图进行四次匹配,用极大似然估计算法对实时特征图与区域特征图进行相似 度匹配,获得第四组匹配度集。
本实施例中,所述第四预期值是指预期值集中通过第三次匹配的人为设置的阈值或 通过训练的出的阈值用于划分是否匹配通过的标准线,所述根据匹配顺序(1)或(2) 对特征图与区域特征图进行四次匹配是指匹配时出现有其它辅助行方式辅助导航与无 其它导航方式辅助导航均可进行导航作业,只是匹配的顺序发生调整当有辅助导航时采 用匹配顺序(1)进行匹配,当无辅助导航时采用匹配顺序(2)进行匹配,所述用极大 似然估计算法对特征图与区域特征图进行相似度匹配是指第四次匹配使用点前位置计 算得出的特征图与精确地貌原图上的第二高度的所有位置的区域特征图进行比较,每张 区域特征图与特征图进行比较都会的到一个相似度,的精确地貌原图上的第二高度的所 有位置匹配完获得的相似度集和称为匹配度集由于是第四次匹配所以称为第四组匹配 度集。
步骤S308:获得第三组匹配度集中的最高匹配度,在精确地貌原图上确定最高匹配 度高于第四预期值的匹配点为当前位置。
本实施例中,所述第四预期值是指预期值集中通过第三次匹配的人为设置的阈值或 通过训练的出的阈值用于划分是否匹配通过的标准线。
步骤S309:高匹配度低于第五预期值的,发回控制台处理。
本实施例中,所述第五预期值集中通过第四次匹配的人为设置的阈值或通过训练的 出的阈值用于划分是否匹配通过的标准线,所述发回控制台处理是指无人机进行多次匹 配仍然无法确定当前位置需要把分析信息发回控制台人工进行处理。
步骤S310:获得第四组匹配度集中的最高匹配度,在精确地貌原图上确定最高匹配 度高于第五预期值的匹配点为当前位置。
本实施例中,所述第五预期值集中通过第四次匹配的人为设置的阈值或通过训练的 出的阈值用于划分是否匹配通过的标准线。
其中第一预期值可以设置为0.95也可以通过训练获得,第二预期值可以设置为0.90也可以通过训练获得,第三预期值可以设置为0.80也可以通过训练获得,第四预 期值可以设置为0.70也可以通过训练获得,第五预期值可以设置为0.60也可以通过训 练获得。
步骤S22:接收精确地貌原图上设置的原始目标地点,根据当前精确位置生成飞行目 标导航图;
具体为,接收精确地貌原图上设置的飞行路径,根据当前精确位置生成飞行路径导 航图,进行自主导航飞行。
本发明实施例中,所述接收精确地貌原图上设置的飞行路径是指在服务器的精确地 貌原图上设置的飞行路径,服务器将飞行路径信息发送到无人机,无人机接受飞行路径信息在无人机的精确地貌原图上根据飞行路径信息进行生成飞行路径信息,通过用飞行路径信息传递与导航地图加导航路线相比大大减少了传输的数据量,从而加快了传输效率和降低了传输难度,所述进行自主导航飞行是指首先根据当前位置与飞行路径的出发点进行对比,当出现偏差时无人机根据点前位置与出发点所在位置,进行自主生成飞行 导航线路进行回归导航操作,在进行根据飞行路径进行自主导航操作。
作为本发明的一个实例,参考图6所示,为一个实例的飞行路径导航示意图,在本实例中,所述内容包括:
S601:表示为精确地貌原图;
S602:表示为在精确地貌原图上生成的飞行路径;
S603:表示为飞行路径的出发点;
S604:表示为根据当前精确位置与飞行路径的出发点之间的距离生成的回归飞行导 航路径;
S605:表示为当前精确位置;
其中,所述的S604无人机可以根据精确地貌原图进行自主生成导航路径S604。
步骤S23:接收精确地貌原图上设置的飞行路径,根据当前精确位置生成飞行路径导 航图;
具体为,接收精确地貌原图上设置的原始目标地点,根据当前精确位置生成飞行目 标导航图,进行自主导航飞行。
本发明实施例中,所述精确地貌原图上设置的原始目标地点是指在服务器的精确地 貌原图上设置的原始目标地点,服务器将原始目标地点信息发送到无人机,无人机接受原始目标地点信息在无人机的精确地貌原图上根据原始目标地点信息进行生成标定精 确目标地点,通过用原始目标地点信息传递与导航地图加导航路线相比大大减少了传输 的数据量,从而加快了传输效率和降低了传输难度,所述进行自主导航飞行是指根据当 前位置与精确目标地点的位置进行生成最优导航路径,进行自主导航操作。
作为本发明的一个实例,参考图7所示,为一个实例的飞行目标导航示意图,在本实例中所述内容包括:
S701:表示为精确地貌原图;
S702:表示为原始目标地点;
S703:表示为根据原始目标地点与当前精确位置生成的导航路线;
S704:表示为当前精确位置;
其中,所述的S703无人机可以根据精确地貌原图进行自主生成导航路径S703。
步骤S24:生成导航路径集,根据导航路径集进行分析,则生成重叠导航区域,根据重叠导航区域进行分析,获得修正特征点以及消除特征点,根据修正特征点以及消除特 征点,对精确地貌原图进行修正操作;
具体为,根据无人机当前飞行区域进行分析,生成导航路径集;根据导航路径集进行分析,当导航路径集中导航重叠区域出现次数达到重叠阈值时,则生成重叠导航区域;根据重叠导航区域进行分析,统计属于实时特征点集但不属于区域特征点集的每个实时特征点的出现次数,并将出现次数达到第一阈值的实时特征点标记为修正特征点;统计 属于区域特征点集但不属于实时特征点集的每个实时特征点的出现次数,并将出现次数 达到第二阈值的实时特征点,标记为消除特征点;根据修正特征点以及消除特征点,对 精确地貌原图进行修正操作,获得更精确的精确地貌原图。
本发明实施例中,所述生成导航路径集是指对同一精确地貌图进行导航作业的历史 路径的集和称为导航路径集,每次导航都将导航路径存储到导航路径集中,用于对精确地貌原图的修正中,所述导航重叠区域是指多次导航经过的区域,所述重叠阈值是指人 为设定或训练得出度一个重叠次数的数值,所述生成重叠导航区域是指当有区域达到导 航重叠次数时将该区域画为重叠导航区域,对该区进行处理使精确地貌原图上的该区域 跟适合点前导航,所述第一阈值是指达到出现次数的一个数值,所述特征点集中且不存 在于区域特征点集是指当前区域通过计算得出的特征点集与精确地貌原图上的该区域 的区域特征点集中进行比较得到的新出现的特征点,并稳定存在时,稳定出现的次数高 于第一阈值时将该特征点做上记号,称为修正特征点,所述第二阈值是指达到消失次数 的一个数值,所述计算区域特征点集中且不存在于实时特征点集的每个实时特征点出现 次数,并将出现次数达到第二阈值的实时特征点,标记为消除特征点是指当前区域通过 计算得出的特征点集与精确地貌原图上的该区域的区域特征点集中进行比较得到的消 失的特征点,并稳定消失时,稳定消失的次数高于第二阈值时将该特征点做上记号,称 为消除特征点,所述设置第一阈值与第二阈值用于区分修正特征点与消失特征点的阈值 其取值关系一般相等,也可根据训练学习获得不同数值,所述对精确地貌原图进行修正 操作是指分别根据修正特征点点进行搜索相关的特征图,将特征图与对应的区域特征图 进行替换操作,实现在精确地貌原图上进行调整操作,根据消失特征点进行搜索相关的 特征图将特征图与对应的区域特征图进行替换操作,实现在精确地貌原图上进行调整操 作,使精确地貌原图更适当前作业区域。
其中,重叠次数可以设置为15次也可以通过训练获得,第一阈值可以设置为10次也 可以通过训练获得,第二阈值可以设置为10次也可以通过训练获得。
其中,第一阈值与第二阈值没有关系,是为了区分两个阈值的不同所命名的。
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将 一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操 作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何 其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者 设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过 程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一 个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在 另外的相同要素。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。 对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一 般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所发明的原理和新颖特点相一致的最宽的范围。
Claims (9)
1.一种基于图像匹配的无人机导航方法,其特征在于,应用于无人机,所述方法包括以下步骤:
步骤S1:通过视觉里程计在第一高度对无人机的作业范围进行实地拍摄与测量,获得第一拍摄图像,对第一拍摄图像进行关键帧提取,获得第一关键帧集,并将第一关键帧集发送至服务器以使服务器根据第一关键帧集进行拼接,获得模糊原图;
步骤S2:将模糊原图以矩阵形式进行分割并排序,获得模糊区域原图集;
步骤S3:根据模糊区域原图集中的每个模糊区域原图所属的地理区域范围进行多个位置的全景拍摄,得到第二拍摄图像,其中每个位置包括高度和经纬度,通过第二拍摄图像进行关键帧提取,获得第二关键帧集和高度信息集;
步骤S4:发送第二关键帧集和高度信息集至服务器以使服务器根据第二关键帧集进行特征提取,获得区域特征图集,将区域特征图集进行聚合操作,建立成三维数据模型,从而获得精确区域原图集;
步骤S5:根据精确区域原图集与高度信息集,对精确区域原图集中的每个精确区域原图引入相关的高度信息集中的高度信息进行计算,获得区域特征点集,将区域特征点集标记到精确区域原图上,从而获得精确区域特征原图集;
步骤S6:对精确区域特征原图集进行边界融合操作,获得精确地貌原图,将精确地貌原图存储到无人机的制导系统中;
步骤S7:对无人机所在的位置进行实地测量,获得第三拍摄图像、大气的能见度数值与光照强度值,根据大气的能见度数值与预设的能见度数值进行计算,得到第一权重值,根据光照强度值与预设的光照强度值进行计算,得到第二权重值,比较第一权重值与第二权重值得到最大权重,用最大权重选择切换拍摄图像类型;
步骤S8:根据第三拍摄图像进行计算获得第三拍摄图像的高度信息,对第三拍摄图像进行关键帧提取,得到实地测量关键帧;
步骤S9:根据实地测量关键帧并通过PP-MSVSR算法进行计算得到全景图,用全景图进行卷积操作,获得实时特征图集,对实时特征图集进行聚合操作,获得实时地貌图;
步骤S10:根据第三拍摄图像的高度信息对实时地貌图进行计算,以获得实时特征点,将实时特征点标记到实时地貌图,获得实时特征地貌图;
步骤S11:采用预设的匹配顺序对实时特征地貌图与精确地貌原图进行多次匹配,获得多组匹配度集,筛选匹配度集以获得最高匹配度,将最高匹配度与预期值集进行对比,获得相似度最高的匹配度集所对应的区域,将该区域重置为无人机当前飞行区域,在精确地貌原图内获得无人机的当前精确位置,将无法匹配的当前精确位置发回服务器处理;
步骤S12:接收精确地貌原图上设置的飞行路径,根据当前精确位置生成飞行路径导航图,进行自主导航飞行;或者,接收精确地貌原图上设置的原始目标地点,根据当前精确位置生成飞行目标导航图,进行自主导航飞行;
步骤S13:根据无人机当前飞行区域进行分析,生成导航路径集;根据导航路径集进行分析,当导航路径集中导航重叠区域出现次数达到重叠阈值时,则生成重叠导航区域;根据重叠导航区域进行分析,统计属于实时特征点集但不属于区域特征点集的每个实时特征点的出现次数,并将出现次数达到第一阈值的实时特征点标记为修正特征点;统计属于区域特征点集但不属于实时特征点集的每个实时特征点的出现次数,并将出现次数达到第二阈值的实时特征点,标记为消除特征点;根据修正特征点以及消除特征点,对精确地貌原图进行修正操作,获得更精确的精确地貌原图。
2.根据权利要求1所述的方法,其特征在于,步骤S4中发送第二关键帧集和高度信息集至服务器以使服务器根据第二关键帧集进行特征提取,获得区域特征图集的步骤包括以步骤:
发送第二关键帧集和高度信息集至服务器以使服务器根据无人机传回的第二关键帧集,通过预设的空间权重和通道权重,对第二关键帧集的关键帧的特征区域进行突出显示,用卷积操作对不同的关键帧进行特征提取,获得区域特征图集。
3.根据权利要求1所述的方法,其特征在于,步骤S4中将区域特征图集进行聚合操作,建立成三维数据模型,从而获得精确区域原图集的步骤包括以下步骤:
采用深度卷积特征聚合框架对区域特征图集进行聚合操作,建立三维数据模型,从而获得精确区域原图集。
4.根据权利要求1所述的方法,其特征在于,步骤S6具体包括以下步骤:
提取精确区域特征原图集中的精确区域特征原图的边缘区域,用精确区域特征原图集的顺序对边缘区域的重叠或相似区域进行卷积操作,以使边缘平滑过渡,从而实现融合操作,获得精确地貌原图。
5.根据权利要求1所述的方法,其特征在于,步骤S9中根据实地测量关键并通过PP-MSVSR算法进行计算得到全景图的步骤包括以下步骤:
通过PP-MSVSR算法将实地测量关键帧的像素对准精确地貌原图的像素,从而获得全景图。
6.根据权利要求1所述的方法,其特征在于,步骤S11中采用预设的匹配顺序对实时特征地貌图与精确地貌原图进行多次匹配分为三种:
(1)根据GPS导航定位对应精确地貌原图的位置,用范围逐渐扩大方式进行匹配;
(2)在无网状态下,以精确地貌原图的矩阵顺序进行匹配;
(3)根据特征点匹配度,对实时特征图匹配顺序进行由高到低排序;
步骤S11包括以下步骤:
在相同高度信息的条件下,根据匹配顺序(1)或(2)对实时特征点与区域特征点进行第一次匹配,用极大似然估计算法对实时地貌图上的实时特征点与精确地貌原图上的区域特征点进行相似度匹配,获得第一组匹配度集;
当第一次匹配时第一组匹配度集的最新匹配度高于第一预期值时立刻停止匹配,在精确地貌原图上确定停止匹配点的位置为当前位置;
当第一次匹配时第一组匹配度集未有高于第一预期值的全图匹配,获得第一组匹配度集中的最高匹配度,在精确地貌原图上确定最高匹配度高于第二预期值的匹配点为当前位置;
当最高匹配度低于第二预期值的,根据匹配顺序(3)对实时特征图与区域特征图进行第二次匹配,用极大似然估计算法对实时特征图与区域特征图进行相似度匹配,获得第二组匹配度集;
获得第二组匹配度集中的最高匹配度,在精确地貌原图上确定最高匹配度高于第三预期值的匹配点为当前位置;
最高匹配度低于第三预期值的,无人机自主提升飞行高度到第二高度,获得实时地貌图上零散的实时特征点,根据匹配顺序(1)或(2)对实时特征点与区域特征点进行第三次匹配,用极大似然估计算法对实时地貌图上的实时特征点与精确地貌原图上的区域特征点进行相似度匹配,获得第三组匹配度集,其中第一高度高于第二高度;
获得第三组匹配度集中的最高匹配度,在精确地貌原图上确定最高匹配度高于第四预期值的匹配点为当前位置;
最高匹配度低于第四预期值的,根据匹配顺序(1)或(2)对实时特征图与区域特征图进行四次匹配,用极大似然估计算法对实时特征图与区域特征图进行相似度匹配,获得第四组匹配度集;
获得第四组匹配度集中的最高匹配度,在精确地貌原图上确定最高匹配度高于第五预期值的匹配点为当前位置;
最高匹配度低于第五预期值的,将第一组至第四组匹配度集发回服务器处理,其中第一预期值、第二预期值、第三预期值、第四预期值、第五预期值逐渐降低。
7.根据权利要求1所述的方法,其特征在于,步骤S12中接收精确地貌原图上设置的飞行路径,根据当前精确位置生成飞行路径导航图,进行自主导航飞行的步骤具体包括以下步骤:
接收精确地貌原图上设置的飞行路径,根据飞行路径在无人机的精确地貌原图上生成飞行路径导航图;
根据当前精确位置与生成的飞行路径导航图的出发点构建回归飞行路径,根据回归飞行路径飞行至飞行路径导航图的出发点,进行自主导航飞行。
8.根据权利要求1所述的方法,其特征在于,步骤S12中接收精确地貌原图上设置的原始目标地点,根据当前精确位置生成飞行目标导航图,进行自主导航飞行的步骤包括以下步骤:
接收精确地貌原图上设置的原始目标地点,根据原始目标地点在无人机的精确地貌原图上标定精确目标地点,根据精确目标地点生成飞行目标导航图,进行自主导航飞行。
9.根据权利要求1所述的方法,其特征在于,步骤S13中根据修正特征点以及消除特征点,对精确地貌原图进行修正操作,获得更精确的精确地貌原图的步骤包括以下步骤:
根据修正特征点进行搜索,获得修正特征点对应的实时特征图,将实时特征图与对应的区域特征图进行替换操作,实现在精确地貌原图上进行修正调整操作;
根据消失特征点进行搜索,获得消失特征点对应的实时特征图,将实时特征图与对应的区域特征图进行替换操作,实现在精确地貌原图上进行修正调整操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211120727.4A CN115690610A (zh) | 2022-09-15 | 2022-09-15 | 一种基于图像匹配的无人机导航方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211120727.4A CN115690610A (zh) | 2022-09-15 | 2022-09-15 | 一种基于图像匹配的无人机导航方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115690610A true CN115690610A (zh) | 2023-02-03 |
Family
ID=85062668
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211120727.4A Pending CN115690610A (zh) | 2022-09-15 | 2022-09-15 | 一种基于图像匹配的无人机导航方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115690610A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116630828A (zh) * | 2023-05-30 | 2023-08-22 | 中国公路工程咨询集团有限公司 | 基于地形环境适配的无人机遥感信息采集系统及方法 |
CN118556568A (zh) * | 2024-07-31 | 2024-08-30 | 中国农业科学院草原研究所 | 玉米培育方法及培育系统 |
WO2024208591A1 (de) * | 2023-04-05 | 2024-10-10 | Rheinmetall Air Defence Ag | Verfahren und system zur positionsbestiummung von objekten in einem gebiet mit veränderlichem terrain |
-
2022
- 2022-09-15 CN CN202211120727.4A patent/CN115690610A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024208591A1 (de) * | 2023-04-05 | 2024-10-10 | Rheinmetall Air Defence Ag | Verfahren und system zur positionsbestiummung von objekten in einem gebiet mit veränderlichem terrain |
CN116630828A (zh) * | 2023-05-30 | 2023-08-22 | 中国公路工程咨询集团有限公司 | 基于地形环境适配的无人机遥感信息采集系统及方法 |
CN116630828B (zh) * | 2023-05-30 | 2023-11-24 | 中国公路工程咨询集团有限公司 | 基于地形环境适配的无人机遥感信息采集系统及方法 |
CN118556568A (zh) * | 2024-07-31 | 2024-08-30 | 中国农业科学院草原研究所 | 玉米培育方法及培育系统 |
CN118556568B (zh) * | 2024-07-31 | 2024-11-01 | 中国农业科学院草原研究所 | 玉米培育方法及培育系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108596101B (zh) | 一种基于卷积神经网络的遥感图像多目标检测方法 | |
CN111259809B (zh) | 基于DANet的无人机海岸线漂浮垃圾巡检系统 | |
CN111353413B (zh) | 一种输电设备低漏报率缺陷识别方法 | |
CN115439424B (zh) | 一种无人机航拍视频图像智能检测方法 | |
CN115690610A (zh) | 一种基于图像匹配的无人机导航方法 | |
KR101105795B1 (ko) | 항공 화상의 자동 처리 | |
CN107690840B (zh) | 无人机视觉辅助导航方法及系统 | |
KR102203135B1 (ko) | 드론을 이용한 인공지능 기반 재난 피해정보 탐지 방법 및 시스템 | |
CN113673444B (zh) | 一种基于角点池化的路口多视角目标检测方法及系统 | |
CN110163213B (zh) | 基于视差图和多尺度深度网络模型的遥感图像分割方法 | |
CN111213155A (zh) | 图像处理方法、设备、可移动平台、无人机及存储介质 | |
CN108596108B (zh) | 基于三元组语义关系学习的航拍遥感图像变化检测方法 | |
CN111563415A (zh) | 一种基于双目视觉的三维目标检测系统及方法 | |
CN116258817B (zh) | 一种基于多视图三维重建的自动驾驶数字孪生场景构建方法和系统 | |
CN109241902B (zh) | 一种基于多尺度特征融合的山体滑坡检测方法 | |
KR102557775B1 (ko) | 드론을 이용한 3차원 지도 제작 방법 | |
CN113160062A (zh) | 一种红外图像目标检测方法、装置、设备及存储介质 | |
CN104182968B (zh) | 宽基线多阵列光学探测系统模糊动目标分割方法 | |
CN106709901A (zh) | 基于深度先验的模拟雾图生成方法 | |
CN113052108A (zh) | 基于深度神经网络的多尺度级联航拍目标检测方法和系统 | |
CN111178283A (zh) | 一种基于无人机图像的既定航线地物识别与定位方法 | |
CN112946679A (zh) | 一种基于人工智能的无人机测绘果冻效应检测方法及系统 | |
CN116071721A (zh) | 一种基于Transformer的高精地图实时预测方法和系统 | |
CN115909096A (zh) | 无人机巡航管道隐患分析方法、装置及系统 | |
McAlinden et al. | Procedural reconstruction of simulation terrain using drones |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |