CN115712306A - 一种多机协作目标跟踪的无人机导航方法 - Google Patents

Abstract

本发明涉及人工智能技术，揭露了一种多机协作目标跟踪的无人机导航方法，包括：获取无人机当前区域的遥感视频及位置信息，对遥感视频进行分帧操作，得到初始运动帧序列，通过图像增强技术对初始运动帧序列进行特征增强，获得增强运动帧序列，并获取含多个跟踪目标以及障碍物在内的目标特征图像集，以进行跟踪目标的查找和对影响飞航的障碍物进行标记，利用历史信息对检测失败的目标进行重新检测，利用其余无人机对仍无法进行检测的目标进行最后一次查找并进行反馈，检测到跟踪目标的无人机制定相应的飞行路径进行优化选择。本发明可以提高对移动物进行跟踪时的精确以及提高无人机在飞航过程中的安全性。

Description

一种多机协作目标跟踪的无人机导航方法

技术领域

本发明涉及无人机导航技术领域，尤其涉及一种多机协作目标跟踪的无人机 导航方法。

背景技术

随着芯片和硬件的成本下降传感器的快速发展、无线通信质量的提升以及 电池和相机等技术的提髙，无人机己经成为又一个热点。与此同时，除了硬件的 成熟，无人机软件系统的成熟和开放也大大促进了无人机的发展，其中为无人机 设计一种高精度、高可靠性的导航系统是当前的关键技术之一。

目前，基于视觉导航的无人机尤为常见，具有很好的隐藏性，不受干扰，工 作环境适应性强的特点，而且提供的导航参数信息多，数据更新率高，短期精度 和稳定性好。但对运动的物体跟踪导航，对相机的角度都有很高的要求，在日常 的使用中容易发生目标缺失或者位置偏移等问题的出现，无法很好的保证对目标 的跟踪。

发明内容

为了解决上述问题，本发明提供了一种多机协作目标跟踪的无人机导航方法， 以解决至少一个上述技术问题。

根据本发明的一个方面，提供了一种多机协作目标跟踪的无人机导航方法， 包括以下步骤：

步骤S1：获取无人机当前区域的遥感视频及位置信息，并将位置信息其发 送到邻近的无人机；

步骤S2:对遥感视频进行分帧操作，得到初始运动帧序列；

步骤S3:通过图像增强技术对初始运动帧序列进行特征增强，获得增强运动 帧序列；

步骤S4:根据预设的目标跟踪算法对增强运动帧序列进行运动分析，获取含 多个跟踪目标以及障碍物在内的目标特征图像集；

步骤S4:对目标特征图像集进行目标检测定位：将对目标特征图像集进行目 标检测定位失败的无人机标记为初始异常状态无人机；将目标特征图像集内的障 碍物标记为飞行航线异常巡航点；

步骤S5:利用目标历史信息和跟踪器历史重定位系统对初始异常状态无人 机进行重新检测，使得无人机对目标进行重定位，对于目标重定位成功无人机的 状态进行取消标记，对于目标重定位失败无人机的状态标记为终极异常状态无人 机，并将终极异常状态无人机的异常跟踪目标信息发送到邻近的无人机上；

步骤S6:接收到处于终极异常状态的无人机的异常？跟踪目标信息，在含多 个跟踪目标在内的目标特征图像集内对异常跟踪目标进行检测，并将位置信息 以及检测结果反馈给处于终极异常状态无人机；

步骤S7:通过预设的目标辅助跟踪模型以及目标跟踪行为预测模型，对并非 终极异常状态无人机的其余无人机反馈回来的位置信息以及检测结果进行运动 分析，制定相应的多条飞行路径，并发送附近所有的无人机，并组成相应的飞行 路径集，；

步骤S7:利用训练好的飞行路径优化神经网络对飞行路径集进行优化，根据 最终飞行路径，以完成无人机的导航。

可选地，无人机的位置信息的获得步骤为：

利用雷达获取无人机的高度信息；

利用无人机群组合形成的雷达系统获取当前无人机到雷达系统内其余无人 机的相对向量距离；

根据高度信息与相对向量距离确定无人机的位置信息。

可以选的，通过图像增强技术对初始运动帧序列进行特征增强，获得增强运 动帧序列的具体步骤为：

通过以下图像增强技术对初始运动帧序列进行特征增强，获得增强运动帧序 列；

其中图像增强技术采用以下步骤实施：

步骤S21、利用以下权重公式计算初始运动帧序列的每一帧图像的像素点各 通道的权重系数：

α_m＝τ*β_m

α_R+α_G+α_B＝1

步骤S22、利用以下像素亮度值公式算出像素级全局最高亮度值：

步骤S23、利用以下像素平均亮度值公式可以得到相应的对数平均亮度值：

步骤S24、利用如下像素级全局自适应因子公式计算出可以实现图像增强的 全局自适应因子：

步骤S25、利用如下像素级图像增强公式对每个像素的三个通道的像素值进 行修改，以实现图像增强的效果，从而获得增强运动帧序列的每一帧图像；

其中Ie表示基于原始RGB图像的增强图像，其中μ_g为全局自适应因子， μ^w(x,y,I)为像素级全局亮度值，β_m(I(x，y,I))为输入图像在位置处m通道的像 素值，其中m∈(R,G,B)，其中γ为一个大于零的极小值以避免在图像为黑色像 素出现的奇异性，N为当前像素点的数量，

为对数平均亮度值， β_m(I_e(x,y,I))为增强后图像在位置处m通道的像素值，(x,y,I)的取值为当前像 素点对应的RGB值。

可以选的，根据预设的目标跟踪算法对增强运动帧序列进行运动分析，获取 含多个跟踪目标以及障碍物在内的目标特征图像集的步骤具体为：

利用运动状态分析模型对增强运动帧序列的前后帧图像进行对比，对前后帧 图像内的物体进行标记以及分析出当前的运动状态；

结合标记的物体以及当前的运动状态，利用目标跟踪算法对物体进行分类， 确定并将其标记为跟踪目标或障碍物。

可以选的，对目标特征图像集进行目标检测定位：将对目标特征图像集进行 目标检测定位失败的无人机标记为初始异常状态无人机、目标特征图像集内的障 碍物标记为飞行航线异常巡航点的步骤具体为：

对目标特征图像集进行目标检测定位：结合无人机获取的位置信息利用障碍 物状态预测模型对目标特征图像集进行分析判断，将目标特征图像集内的对飞行 安全产生影响的障碍物标记为飞行航线异常巡航点；

在目标特征图像集中，利用动态跟踪异常检测模型在的目标特征图像集中根 据对当前的跟踪目标的特征进行查找，并对当前的跟踪目标的状态进行分析，对 跟踪目标处于查找失败或者目标缺失以及分析得出跟踪目标部分遮挡情况的无 人机进行标记，标记为初始异常状态无人机。

可选的，利用目标历史信息和跟踪器历史重定位系统对初始异常状态无人机 进行重新检测，使得无人机对目标进行重定位，对于目标重定位成功无人机的状 态取消标记，对于目标重定位失败无人机的状态标记为终极异常状态无人机，并 将终极异常状态无人机的异常跟踪目标信息发送到邻近的无人机上的步骤具体 为：

利用目标历史信息对从初始异常状态无人机中调取目标历史信息的特征信 息，并使用特征信息在目标特征图像集中进行重新检测查找，并对重新检测查找 的结果进行反馈，将对该过程中重定位成功的无人机取消标记；

利用跟踪器历史重定位系统调取初始异常状态无人机的历史目标特征图像 集，并通过跟踪器历史重定位系统内的卷积融合网络对历史目标特征图像集与当 前目标特征图像集进行融合以获得融合特征图像集，结合融合特征图像集与运动 趋势对跟踪目标进行分析，并将仍无法进行跟踪目标状态的无人机标记为终极异 常状态无人机。

可选的，调取目标历史信息，并对目标特征图像集进行重新检测查找的步骤 具体为：

调取目标历史信息的特征信息，利用运动趋势预测模型对跟踪目标进行分析， 从而对跟踪检测目标当前的位置信息进行相应的预测，得到相应的运动趋势检测 结果；

结合融合特征图像集的特征信息和运动趋势检测结果，对目标特征图像集内 图像的边缘以及运动趋势检测结果范围内进行重新检测查找。

可选的，收到处于终极异常状态的无人机的跟踪目标信息，在含多个目标在 内的目标特征图像集内对异常目标进行检测，包括以下步骤：

无人机接收到处于终极异常状态的无人机信息后，利用收到的处于终极异常 状态的无人机的跟踪目标信息，对含多个目标在内的目标特征图像集内对异常目 标进行匹配，并将匹配信息反馈到处于终极异常状态的无人机。

可选地，通过预设的目标辅助跟踪模型以及目标跟踪行为预测模型，对并非 终极异常状态无人机的其余无人机反馈回来的位置信息以及检测结果进行运动 分析，制定相应的多条飞行路径，并发送附近所有的无人机，并组成相应的飞行 路径集的具体步骤包括：

结合位置信息和并非终极异常状态无人机的其余无人机反馈回来的结果，通 过目标辅助跟踪模型对跟踪目标的位置进行分析，从而进行跟踪路线的规划；

无人机通过目标跟踪行为预测模型对已确定位置的跟踪目标制定出多条权 重不同的飞行路径，并发送到附近所有的无人机，以组成相应的飞行路径集，其 中每条飞行路径含多个飞航点；

利用以下公式对飞行路径的飞航点进行加权处理，以获得飞行路径的飞航点 的权重：

其中，D_i,j表示飞行路径的飞航点的权重对应的值，x_i表示无人机到i点向量 的值，x_j表示无人机到j点向量的值，y_i表示到i点向量的值，y_j表示到j点的 向量的值，t_i表示无人机位移到i点的预估时间，t_j表示无人机位移到j点的预 估时间，μ、γ均大于0且μ+γ＝1。

可选地，所述利用训练好的飞行路径优化神经网络对飞行路径集进行优化， 根据最终飞行路径，以完成无人机的导航包括以下步骤：

通过飞行安全预测网络以及现有的飞航点，对飞行路径进行分析，将距离差 小于预设阈值的邻近或者相同的点添加到飞行路径的飞航点中，标记为关键飞航 点；

确定飞行路径集中多个飞行路径含邻近或者相同的关键飞航点，判断多个无 人机分别沿多个飞行路径达到邻近或者相同的计划飞航点的时间，将时间差小于 预设阈值的邻近或者相同的计划飞航点标记为飞行安全异常点；

通过飞行路径优化神经网络，比较飞经飞行安全异常点的所有无人机的飞行 路径的飞航点的权重，保留权重最大的无人机对应的飞行路径，对其余的无人机 进行飞行路径的重新规划，并且确认最终飞行路径；

无人机根据飞行路径优化神经网络生成的最终飞行路径，完成对跟踪目标的 跟踪。

本发明实施例通过无人机当前区域的遥感视频及位置信息，并将位置信息其 发送到邻近的无人机，便于后续在生成飞行路径时做出及时的避让以及对空中的 障碍物快速做出反应，从而提高无人机系统的安全性，通过图像增强技术对初始 运动帧序列进行特征增强，获得增强运动帧序列，可以对跟踪目标的特征信息进 行增强，便于对跟踪目标的查找，通过模型对物体进行分析并标记为跟踪目标或 障碍物，大大减少了后期查找时的工作量，减少因障碍物遮挡带来的目标缺失的 问题，将空中的障碍物标记为飞行航线异常巡航点，在规划飞行路径的过程中对 该点进行规避，提高无人机飞航安全性，对标记为初始异常状态的无人机进行重 新检测，进一步提高了无人机对跟踪目标检测的能力以及准确性，调取目标历史 信息的特征信息，利用运动趋势预测模型对跟踪目标进行分析，相应的运动趋势 检测结果，能有效防止因为系统错误导致跟踪失败的情况的出现，并且能有效解决跟踪目标在特殊位置带来不易查找的问题的出现，制定相应的多条飞行路径， 并发送附近所有的无人机，并组成相应的飞行路径集，能及时根据情况做出调整， 减少无人机群在空中发生碰撞的可能性，利用训练好的飞行路径优化神经网络对 飞行路径集进行优化，确认最终飞行路径，能更好地对无人机群做出飞行路径的 规划，保障飞航的安全。因此本发明提出的无人机导航方法，可以解决当前跟踪 目标容易丢失的问题；并提高了无人机飞航的安全性。

附图说明

图1为本发明实施例提供的多机协作目标跟踪的无人机导航方法的步骤流 程示意图；

图2为本发明实施例中提供的通过图像增强技术对初始运动帧序列进行特 征增强，获得增强运动帧序列的步骤流程示意图；

图3为本发明实施例中的位置漂移的示意图；

图4为本发明实施例中提供的无人机确认与跟踪目标的距离的示意图。

具体实施方式

本申请实施例提供一种多机协作目标跟踪的无人机导航方法。所述多机协 作目标跟踪的无人机导航方法的执行主体包括但不限于服务端、终端等能够被配 置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述多 机协作目标跟踪的无人机导航方法可以由安装在终端设备或服务端设备的软件 或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服 务器、服务器集群、云端服务器或云端服务器集群、无人机或无人机群等。

显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。 基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获 得的所有其他实施例，都为本发明保护的范围。

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本 发明。

参照图1所示，为本发明一实施例提供的多机协作目标跟踪的无人机导航方 法的流程示意图。在本实施例中，所述多机协作目标跟踪的无人机导航方法，包 括以下步骤：

步骤S1、获取无人机当前区域的遥感视频及位置信息，并将位置信息其发 送到邻近的无人机。

进一步地，本发明实施例通过获取当前的遥感视频，以用于后续从所述遥 感视频中提取跟踪目标的特征，根据跟踪目标的特征，实现对跟踪目标的定位和 跟踪。其中，所述遥感视频是指利用摄像头采集到跟踪目标的空中视觉信息。

进一步地，本发明实施例通过小型雷达系统获得当前的位置信息，以用于 后续对空中的物品进行判断，以便后续在路径规划中对不明飞行进行避让。

进一步地，本发明实施例通过对所述小型雷达系统对空中的飞行物进行判 断，初步判断系统内所有无人机的大概位置，以用于减少空中不明飞行物的干扰 以及保障飞航的安全。

步骤S2、对遥感视频进行分帧操作，得到初始运动帧序列。

本发明实施例中通过对遥感视频进行分帧操作，以用于后期对图像加强操 作以及对物体的状态进行判断。

步骤S3、参照图2所示，本发明实施例通过图像增强技术对初始运动帧序 列进行特征增强，获得增强运动帧序列。

进一步地，本发明实施例对初始运动帧序列进行特征增强，得到增强运动帧 序列，包括：计算每一帧图像的像素点各通道的权重系数，利用权重系数计算像 素级全局最高亮度值，利用对数平均亮度值，计算出可以实现图像增强的全局自 适应因子，利用如下像素级图像增强公式对每个像素的三个通道的像素值进行修 改；

步骤S21、利用下述公式计算出初始运动帧序列的每一帧图像的像素点各通 道的权重系数：

α_m＝τ*β_m

α_R+α_G+α_B＝1

其中，m∈(R,G,B)即为当前像素在RGB通道内对应的值，τ为任意实数， 当m发生变化时，τ亦随之产生变化；

步骤S22、利用以下像素亮度值公式算出像素级全局最高亮度值：

步骤S23、利用以下像素平均亮度值公式可以得到相应的对数平均亮度值：

步骤S24、利用如下像素级全局自适应因子公式计算出可以实现图像增强的 全局自适应因子：

步骤S25、利用如下像素级图像增强公式对每个像素的三个通道的像素值进 行修改，以实现图像增强的效果，从而获得增强运动帧序列的每一帧图像；

其中Ie表示基于原始RGB图像的增强图像，其中μ_g为全局自适应因子， μ^w(x,y,I)为像素级全局亮度值，β_m(I(x，y,I))为输入图像在位置处m通道的像 素值，其中m∈(R,G,B)，其中γ为一个大于零的极小值以避免在图像为黑色像 素出现的奇异性，N为当前像素点的数量，

为对数平均亮度值， β_m(I_e(x,y,I))为增强后图像在位置处m通道的像素值，(x,y,I)的取值为当前像 素点对应的RGB值。

进一步地，本发明实施例通过获取初始运动帧序列进行特征增强，得到增 强运动帧序列，以用于增强图像像地清晰度，减少所述初始运动帧序列中图像部 分地区存在噪点的情况，减少因高噪点对后续图像识别的影响，提高图像识别的 精确度。

进一步地，通过对像素亮度值计算，推算出相应的全局像素级全局最高亮度 值μ^w(x,y,I)，从而推算出该图像的对数平均亮度值

防止图像中局部 亮度过低或者过曝问题的出现，导致地在进行跟踪目标查找的过程中失败的情况 出现；同时利用对数平均亮度值

计算出全局自适应因子μ_g(x,y,I)，并 对每个像素点的进行更改，从而达到图像增加的作用以及得到增强运动帧序列图 像β_m(I_e(x,y,I))，从而能更好地对跟踪目标进行查找。

步骤S4:根据预设的目标跟踪算法对增强运动帧序列进行运动分析，获取含 多个跟踪目标以及障碍物在内的目标特征图像集；

进一步地，本发明实施例利用运动状态分析模型对增强运动帧序列的前后帧 图像进行对比，对前后帧图像内的物体进行标记以及分析出当前的运动状态；

进一步地，结合标记的物体以及当前的运动状态，利用目标跟踪算法对物体 进行分类，确定并将其标记为跟踪目标或障碍物。

进一步地，本发明实施例通过对目标特征图像集所有的物体的关键点位置 进行标记，并对关键点的位置进行连接构成不同的物体实例，再将将每个关键点 映射一个识别对象所属的"标签"，标签将每个预测的关键点与同一组的其他关键 点直接关联，从而得到当前的运动状态；

步骤S5：对目标特征图像集进行目标检测定位：将对目标特征图像集进行 目标检测定位失败的无人机标记为初始异常状态无人机；将目标特征图像集内的 障碍物标记为飞行航线异常巡航点；

进一步地，本发明实施例，通过对目标特征图像集进行目标检测定位；结合 无人机获取的位置信息利用障碍物状态预测模型对目标特征图像集进行分析判 断，将目标特征图像集内的对飞行安全产生影响的障碍物标记为飞行航线异常巡 航点；

进一步地，在目标特征图像集中，利用动态跟踪异常检测模型在所述的目标 特征图像集中根据对当前的跟踪目标的特征进行查找，并对当前的跟踪目标的状 态进行分析，对跟踪目标处于查找失败或者目标缺失以及分析得出跟踪目标部分 遮挡情况的无人机进行标记，标记为初始异常状态无人机。

进一步地，本发明实施例通过对目标特征图像集进行目标检测定位，利用现 有的所有目标特征对对目标特征图像集进行进一步的查找，以确定现有的跟踪目 标在目标特征图像集的情况和位置；

进一步地，本发明实施例通过对空中的障碍物进行判断，利用预先获取的位 置信息，对空中所有的飞行物进行判断，对其中非系统无人机进行标记，并且将 该该点进行标记为飞行航线异常巡航点；

可理解的是，系统内的无人机，包括了参与跟踪工作、或辅助跟踪工作无人 机以及协助的无人机，障碍物包括但不限于系统外的无人机、空中飞行的鸟类以 及人为投掷的石块等。示例性的，当前的无人机群中，有10台无人机进行目标 跟踪，5台无人机用于辅助跟踪，空中有一群飞行的鸟类，因此根据无人机飞行 系统内的雷达系统，可以获得无人机飞行系统内所有无人机的位置信息，从而对 障碍物进行区分和判断；

进一步地，本发明实施例通过动态跟踪异常检测模型对当前的跟踪目标的特 征进行查找，获得跟踪目标的运动状态，可以对瞬时速度过快的跟踪目标跟踪， 能很好地防止跟踪目标位置漂移导致地跟踪目标失败的情况出现；

可理解的是，参照图3所示，上述的位置漂移是指短时间内跟踪目标的速度 突然增大导致的跟踪目标，在关键帧中形成的类似于长曝光的图像，例如：在自 行车比赛或赛车比赛中，运动员突然加速从而导致位置漂移的发生，从而导致常 规的方法中改跟踪目标缺失的情况的出现。

步骤S6:利用目标历史信息和跟踪器历史重定位系统对初始异常状态无人 机进行重新检测，使得无人机对目标进行重定位，对于目标重定位成功无人机的 状态取消标记，对于目标重定位失败无人机的状态标记为终极异常状态无人机， 并将终极异常状态无人机的异常跟踪目标信息发送到邻近的无人机上；

进一步地，本发明实施例，利用目标历史信息对从初始异常状态无人机中调 取目标历史信息的特征信息，并使用特征信息在目标特征图像集中进行重新检测 查找，并对重新检测查找的结果进行反馈，将对该过程中重定位成功的无人机取 消标记；

进一步地，本发明实施例，利用跟踪器历史重定位系统调取初始异常状态无 人机的历史目标特征图像集，并通过跟踪器历史重定位系统内的卷积融合网络对 历史目标特征图像集与当前目标特征图像集进行融合以获得融合特征图像集，结 合融合特征图像集与运动趋势对跟踪目标进行分析，并将仍无法进行跟踪目标状 态的无人机标记为终极异常状态无人机。

进一步地，本发明实施例通过调取目标历史信息的特征信息对跟踪目标进行 重新检测查找，对目标历史信息的特征信息进行筛选，选取其中当前所需的跟踪 目标的历史成功定位的特征信息，并将该特征信息进行同步到后续的工作中；

可理解的是，上述的目标历史信息的特征信息是指在对目标进行跟踪的过程 中，对跟踪目标成功进行定位的特征信息，同时亦可是在任务开始阶段无人机收 到的跟踪目标的特征信息，从而解决了在对目标进行跟踪时，因系统或电磁干扰 导致等导致的跟踪目标混乱的情况的出现，进而解决因跟踪目标缺失或错误导致 的无人机跟踪丢失的问题；

进一步地，本发明实施例通过融合特征图像集与运动趋势对跟踪目标进行分 析跟踪，以获得跟踪目标最有可能出现的区域，并结合融合之后得到清晰度和增 大图像整个区域的面积，从而对关键的区域进行查找；

可理解的是，本发明专利中，所提到的运动趋势是指根据跟踪目标当前的动 作以及以往的运动规律进行分析的出之后的大致的运动轨迹以及运动规律，从而 推算出当前的目标跟踪物的可能出现的区域，进而加强无人机对重点区域的检测 查找。

步骤S7:接收到处于终极异常状态的无人机的异常跟踪目标信息，在含多个 跟踪目标在内的目标特征图像集内对异常跟踪目标进行检测，并将位置信息以及 检测结果反馈给处于终极异常状态无人机；

进一步地，本发明实施例通过多台无人机对对异常跟踪目标进行检测，对无 人机内的含多个跟踪目标在内的目标特征图像集进行重新的检测搜索，并将结果 反馈给终极异常状态无人机，从而使得终极异常状态无人机能进行进一步的跟踪 工作；

可理解的是，本发明专利中，所述的进一步的工作是指若返回的信号为检测 失败则在空中待命；若返回的信号为返回的信号为检测成功，则在下一步的飞行 路径的规划中飞至当前检测到跟踪目标的周围，以便对跟踪目标进行再次的跟踪 检测。示例性的，当前有两台其余无人机检测到了跟踪目标所在的位置，则选择 距离最近的无人机的位置作为飞行路线中的一个飞航点。

步骤S8:通过预设的目标辅助跟踪模型以及目标跟踪行为预测模型，对并非 终极异常状态无人机的其余无人机反馈回来的位置信息以及检测结果进行运动 分析，制定相应的多条飞行路径，并发送附近所有的无人机，并组成相应的飞行 路径集；

进一步地，结合位置信息和并非终极异常状态无人机的其余无人机反馈回来 的结果，通过目标辅助跟踪模型对跟踪目标的位置进行分析，从而进行跟踪路线 的规划；

进一步地，无人机通过目标跟踪行为预测模型对已确定位置的跟踪目标制定 出多条权重不同的飞行路径，并发送到附近所有的无人机，以组成相应的飞行路 径集，其中每条飞行路径含多个飞航点；

进一步地，利用以下公式对飞行路径的飞航点进行加权处理，以获得飞行路 径的飞航点的权重：

其中，D_i,j表示飞行路径的飞航点的权重，x_i表示无人机到i点向量的值，x_j表 示无人机到j点向量的值，y_i表示到i点向量的值，y_j表示到j点的向量的值，t_i表 示无人机位移到i点的预估时间，t_j表示无人机位移到j点的预估时间，μ、γ均 大于0且μ+γ＝1。

可理解的是，采用了无人机到该点地预计时间，从而能减少无人机在后续路 径规划时的所用的时间，对到达该点时间存在明显差异的多台无人机进行不进行 规避处理，例如：无人机1飞经该点2s后，无人机2亦飞经该点，即无人机1、 无人机2在后续的无需进行规避处理。

进一步地，参照图4所示，本发明实施例中通过目标辅助跟踪模型对跟踪目 标的位置进行分析，通过先前小型雷达获得的高度信息以及根据以往的经验推算 出的跟踪目标到无人机垂直点的水平距离，从而推算出无人机到跟踪目标的直线 距离，进而确认跟踪目标、地面以及无人机之间的位置关系；

进一步地，图4，其中以跟踪目标先前的位置原点建立三维坐标，其中在竖 直方向为Z，原先的前进方向记为X，水平方向记为Y，L为小型雷达，C为遥感 相机，N为当前跟踪目标所在的位置，P₁为无人机当先前位置的距离，P₂为进 行目标跟踪的无人机，P₃为无人机到当前跟踪目标的距离；

需理解的是，本发明实施例通过确认跟踪目标、地面以及无人机之间的位置 关系，从而在后续的无人机路线规划的过程中，采取的飞行速度的不同，从而现 实对跟踪目标跟好的跟踪以及保障获取的遥感视频的质量了。示例性的，当前设 置了两档飞行速度，第一档的速度为30km/h，第二档的速度为50km/h，则对应 的有：当直线距离小于2km时，采用第一档速度对跟踪目标进行跟踪；当直线 距离大于等于时，采用第二档速度对跟踪目标进行跟踪。

步骤S9、利用训练好的飞行路径优化神经网络对飞行路径集进行优化，根 据最终飞行路径，以完成无人机的导航；

通过飞行安全预测网络以及现有的飞航点，对飞行路径进行分析，将距离差 小于预设阈值的邻近或者相同的点添加到飞行路径的飞航点中，标记为关键飞航 点；

确定飞行路径集中多个飞行路径含邻近或者相同的关键飞航点，判断多个无 人机分别沿多个飞行路径达到邻近或者相同的计划飞航点的时间，将时间差小于 预设阈值的邻近或者相同的计划飞航点标记为飞行安全异常点；

通过飞行路径优化神经网络，比较飞经飞行安全异常点的所有无人机的飞行 路径的飞航点的权重，保留权重最大的无人机对应的飞行路径，对其余的无人机 进行飞行路径的重新规划，并且确认最终飞行路径；

无人机根据飞行路径优化神经网络生成的最终飞行路径，完成对跟踪目标的 跟踪；

进一步地，本发明实施例通过飞经飞航点的无人机的距离和速度，可以轻易 地确认无人机飞航到该点的时间，从而将其中飞经该飞航点时间差过短，在后续 的优化中进行及时的规避，从而进一步保障飞航的安全。

可理解的是，当飞经飞航点的距离以及时间相近时，很容易造成无人机在高 空的碰撞，从而造成无人机的坠毁或无人机后续飞行的混乱。示例性的，无人机 的直径为40cm，当两台无人机在同一时间飞抵至同一水平面两个距离为10cm 的飞航点时，显然此时若没有无人机进行规避的话，两台无人机明显会在该发现 碰撞，从而影响飞航的安全，如果其中一台无人机及时做出规避，则可以很好地 保障两台无人机飞航的安全，避免因碰撞导致的无人机的坠毁。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法， 可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而 且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发 明。

因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性 的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要 求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的 任何附关联图标记视为限制所涉及的权利要求。

本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中， 人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控 制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳 结果的理论、方法、技术及应用系统。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管 参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可 以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和 范围。

Claims (10)

1.一种多机协作目标跟踪的无人机导航方法，其特征在于，包括以下步骤：

步骤S1:获取无人机当前区域的遥感视频及位置信息，并将位置信息其发送到邻近的无人机；

步骤S2:对遥感视频进行分帧操作，得到初始运动帧序列；

步骤S3:通过图像增强技术对初始运动帧序列进行特征增强，获得增强运动帧序列；

步骤S4:根据预设的目标跟踪算法对增强运动帧序列进行运动分析，获取含多个跟踪目标以及障碍物在内的目标特征图像集；

步骤S5:对目标特征图像集进行目标检测定位：将对目标特征图像集进行目标检测定位失败的无人机标记为初始异常状态无人机；将目标特征图像集内的障碍物标记为飞行航线异常巡航点；

步骤S6:利用目标历史信息和跟踪器历史重定位系统对初始异常状态无人机进行重新检测，使得无人机对目标进行重定位，对于目标重定位成功无人机的状态取消标记，对于目标重定位失败无人机的状态标记为终极异常状态无人机，并将终极异常状态无人机的异常跟踪目标信息发送到邻近的无人机上；

步骤S7:接收到处于终极异常状态无人机的异常跟踪目标信息，在含多个跟踪目标在内的目标特征图像集内对异常跟踪目标进行检测，并将位置信息以及检测结果反馈给处于终极异常状态无人机；

步骤S8:通过预设的目标辅助跟踪模型以及目标跟踪行为预测模型，对并非终极异常状态无人机的其余无人机反馈回来的位置信息以及检测结果进行运动分析，制定相应的多条飞行路径，并发送附近所有的无人机，并组成相应的飞行路径集；

步骤S9:利用训练好的飞行路径优化神经网络对飞行路径集进行优化，根据最终飞行路径，以完成无人机的导航。

2.根据权利要求所述1的方法，其特征在于，步骤S1中无人机的位置信息的获得步骤为：

利用雷达获取无人机的高度信息；

利用无人机群组合形成的雷达系统获取当前无人机到雷达系统内其余无人机的相对向量距离；

根据高度信息与相对向量距离确定无人机的位置信息。

3.根据权利要求1所述的方法，其特征在于，步骤S3具体为：

通过以下图像增强技术对初始运动帧序列进行特征增强，获得增强运动帧序列；

其中图像增强技术采用以下步骤实施：

步骤S21：利用以下权重公式计算初始运动帧序列的每一帧图像的像素点各通道的权重系数：

α_m＝τ*β_m

α_R+α_G+α_B＝1

步骤S21：利用以下像素亮度值公式算出像素级全局最高亮度值：

步骤S33：利用以下像素平均亮度值公式可以得到相应的对数平均亮度值：

步骤S34：利用如下像素级全局自适应因子公式计算出可以实现图像增强的全局自适应因子：

步骤S35：利用如下像素级图像增强公式对每个像素的三个通道的像素值进行修改，以实现图像增强的效果，从而获得增强运动帧序列的每一帧图像；

其中Ie表示基于原始RGB图像的增强图像，其中μ_g为全局自适应因子，μ^w(x，y，I)为像素级全局亮度值，β_m(I(x，y，I))为输入图像在位置处m通道的像素值，其中m∈(R，G，B)，其中γ为一个大于零的极小值以避免在图像为黑色像素出现的奇异性，N为当前像素点的数量，

为对数平均亮度值，β_m(I_e(x，y，I))为增强后图像在位置处m通道的像素值，(x，y，I)的取值为当前像素点对应的RGB值。

4.根据权利要求1的方法，其特征在于，步骤S4具体为：

利用运动状态分析模型对增强运动帧序列的前后帧图像进行对比，对前后帧图像内的物体进行标记以及分析出当前的运动状态；

结合标记的物体以及当前的运动状态，利用目标跟踪算法对物体进行分类，确定并将其标记为跟踪目标或障碍物。

5.根据权利要求1所述的方法，其特征在于，所述步骤S5具体为：

对目标特征图像集进行目标检测定位；结合无人机获取的位置信息利用障碍物状态预测模型对目标特征图像集进行分析判断，将目标特征图像集内的对飞行安全产生影响的障碍物标记为飞行航线异常巡航点；

在目标特征图像集中，利用动态跟踪异常检测模型在所述的目标特征图像集中根据对当前的跟踪目标的特征进行查找，并对当前的跟踪目标的状态进行分析，对跟踪目标处于查找失败或者目标缺失以及分析得出跟踪目标部分遮挡情况的无人机进行标记，标记为初始异常状态无人机。

6.根据权要1所述的方法，其特征在于，步骤S6具体为：

利用目标历史信息对从初始异常状态无人机中调取目标历史信息的特征信息，并使用特征信息在目标特征图像集中进行重新检测查找，并对重新检测查找的结果进行反馈，将对该过程中重定位成功的无人机取消标记；

利用跟踪器历史重定位系统调取初始异常状态无人机的历史目标特征图像集，并通过跟踪器历史重定位系统内的卷积融合网络对历史目标特征图像集与当前目标特征图像集进行融合以获得融合特征图像集，结合融合特征图像集与运动趋势对跟踪目标进行分析，并将仍无法进行跟踪目标状态的无人机标记为终极异常状态无人机。

7.根据权要6所述的方法，其特征在于，调取目标历史信息，并对目标特征图像集进行重新检测查找的步骤具体为：

调取目标历史信息的特征信息，利用运动趋势预测模型对跟踪目标进行分析，从而对跟踪检测目标当前的位置信息进行相应的预测，得到相应的运动趋势检测结果；

结合融合特征图像集的特征信息和运动趋势检测结果，对目标特征图像集内图像的边缘以及运动趋势检测结果范围内进行重新检测查找。

8.根据权要1所述的方法，其特征在于，步骤S7中接收到处于终极异常状态的无人机的跟踪目标信息，在含多个目标在内的目标特征图像集内对异常目标进行检测，包括以下步骤：

无人机接收到处于终极异常状态的无人机信息后，利用收到的处于终极异常状态的无人机的跟踪目标信息，对含多个目标在内的目标特征图像集内对异常目标进行匹配，并将匹配信息反馈到处于终极异常状态的无人机。

9.根据权要1所述的方法，其特征在于，步骤S8具体为：

结合位置信息和并非终极异常状态无人机的其余无人机反馈回来的结果，通过目标辅助跟踪模型对跟踪目标的位置进行分析，从而进行跟踪路线的规划；

无人机通过目标跟踪行为预测模型对已确定位置的跟踪目标制定出多条权重不同的飞行路径，并发送到附近所有的无人机，以组成相应的飞行路径集，其中每条飞行路径含多个飞航点；

利用以下公式对飞行路径的飞航点进行加权处理，以获得飞行路径的飞航点的权重：

其中，D_i,j表示飞行路径的飞航点的权重，x_i表示无人机到i点向量的值，x_j表示无人机到j点向量的值，y_i表示到i点向量的值，y_j表示到j点的向量的值，t_i表示无人机位移到i点的预估时间，t_j表示无人机位移到j点的预估时间，μ、γ均大于0且μ+γ＝1。

10.根据权要1所述的方法，其特征在于，步骤S9包括以下步骤：

通过飞行安全预测网络以及现有的飞航点，对飞行路径进行分析，将距离差小于预设阈值的邻近或者相同的点添加到飞行路径的飞航点中，标记为关键飞航点；

确定飞行路径集中多个飞行路径含邻近或者相同的关键飞航点，判断多个无人机分别沿多个飞行路径达到邻近或者相同的计划飞航点的时间，将时间差小于预设阈值的邻近或者相同的计划飞航点标记为飞行安全异常点；

通过飞行路径优化神经网络，比较飞经飞行安全异常点的所有无人机的飞行路径的飞航点的权重，保留权重最大的无人机对应的飞行路径，对其余的无人机进行飞行路径的重新规划，并且确认最终飞行路径；

无人机根据飞行路径优化神经网络生成的最终飞行路径，完成对跟踪目标的跟踪。

Images