CN110514206A

CN110514206A - 一种基于深度学习的无人机飞行路径预测方法

Info

Publication number: CN110514206A
Application number: CN201910715018.2A
Authority: CN
Inventors: 曾议芝; 康敏旸
Original assignee: China Aeronautical Radio Electronics Research Institute
Current assignee: China Aeronautical Radio Electronics Research Institute
Priority date: 2019-08-02
Filing date: 2019-08-02
Publication date: 2019-11-29
Anticipated expiration: 2039-08-02
Also published as: CN110514206B

Abstract

本发明公开了一种基于深度学习的无人机飞行路径预测方法，包括以下步骤：步骤一，采用模拟图像像素点的方式，将航路规划场景抽象成多维矩阵；步骤二，输入深度神经网络进行训练，得到一组同样规模的权值矩阵，作为路径选择；步骤三，设置神经网络调参控制策略；步骤四，利用路径平滑过程将权值矩阵表达为完整航路。本发明可以帮助无人机在完全未知的环境下进行下一时刻的路径预测，进而指导无人机的导航和避障，最后安全到达目标点。本发明通过在线学习能够实时获得无人机外界环境信息，学习无人机在何种环境下做出何种动作。通过本发明，无人机能完整地实现未知复杂障碍环境下的导航和避障，突破了原有航路规划算法实时计算的局限性和复杂性。

Description

一种基于深度学习的无人机飞行路径预测方法

技术领域

本发明属于航空技术领域，涉及一种无人机航路规划方法，具体涉及一种一种基于深度学习的无人机飞行路径预测方法。

背景技术

无人机航路规划的基本目标是自主的获得一条能够避开威胁安全到达目标的飞行路径。近些年来，航路规划问题的技术方法发展迅速，有很多文献对该问题从不同方面提出了建模与求解方法。这些技术按照威胁信息获取方式的不同可以分为两大类：一类是静态航路规划技术，即基于环境先验完全信息的航路规划。无人机根据全局完整环境威胁信息构造出一条起始点和目标点之间的安全、可行、满意的路径；另一类是实时航路规划技术，在这部分工作中假设威胁环境预先完全未知或部分未知。此时，无人机只能获取有限范围(通常是传感器探测范围)内的威胁信息，为了安全到达目标就需要在飞行过程中实时规划航路。如果实时航路规划需要在机载计算机上运行，称为在线实时航路规划。

有关实时航路规划的方法。无人机实时航路规划的重点是如何根据探测的有限环境信息规划出一条从起点到目标点的全局航路。目前的研究主要以机器人路径规划方法为参考，结合无人机性能以及飞行环境的特殊性来进行方法研究。目前，所提出的方法按照建模思想不同可以归为以下几种：

1、基于概率的方法。Klasing等人采用基于Cell的概率路标(Cell-basedprobabilistic roadmaps)法实时对路径进行重规划；Jun和D’Andrea提出了一种基于威胁概率图的航路规划算法；Zengin和Dogan开发了动态环境下的概率模型框架(Probabilistic modeling framework)，为路径规划提供了较为完整的解决方案。

2、数学规划方法。近来很多文献中给出了一系列利用混合整数规划来实时求解路径的方法；Shi和Wang采用Bayesian决策理论与动态规划算法相结合的方法来求解最优路径；另外，还有基于流函数(Stream Function)的人工势场的方法(Potential fieldapproaches)，全局动态窗口方法(Global dynamic window approaches)，基于进化计算的方法(Evolutionary computation)，边界跟踪方法 (Bouncing based methods)等用于实时路径规划；Lan和Wen等人对采用不同规划方法进行路径规划的优缺点进行了分析和比较。

3、全局路径规划与实时路径调整相结合的方法。Xiao和Gao等人首先采用Dijkstra算法根据改进的Voronoi图生成初始路径，然后在威胁信息变化时采用基于混合动态贝叶斯网络的转换线性动态系统对路径重新规划；Yan和Ding 等人在给出初始路径的基础上采用基于路标图(Roadmap Diagram)的混合重规划方法(Hybrid path re-planning algorithm)来实时搜索可行路径；Tarjan还基于有向图(Directed graphs)给出一种通用的可以解决大部分路径问题的一般性方法，并说明了构造路径表达式在某种意义上是最常见的路径问题，但这种方法在求解具体问题时的效率和可行性上都有一定的局限。

除了上述方法，还包括一些由静态方法(A*算法、Voronoi图法等)改进得到的实时方法，例如，Beard等人基于改进的Voronoi图动态生成可行路径； Bernhard等人使用Dijkstra算法给出了一种局部操作迭代步骤方法，进而用于确定每一步的最佳轨迹；Chen等人提出了基于D*算法在未知环境中进行无人战斗机航路规划的方法，其中还考虑了突发威胁。

但是以上航路规划方法面临着实时算法计算量大，环境描述的复杂性和局限性等特点，一直难以真正地应用在实际无人机系统中。深度学习方法在解决实际问题中的复杂性和实时性问题有非常好的效果，这一方法恰好能解决无人机在复杂环境中实时航路规划的问题。

发明内容

针对以上问题，本发明提供了一种基于深度学习的无人机飞行路径预测方法，通过本发明，能克服复杂的未知环境以及复杂的实时路径规划模型，能够实时自学习无人机飞行策略，提供了一种基于深度学习的无人机实时导航和避障功能。

本发明提供的一种基于深度学习的无人机飞行路径预测方法，包括以下步骤：步骤一，采用模拟图像像素点的方式，将航路规划场景抽象成多维矩阵；步骤二，输入深度神经网络进行训练，得到一组同样规模的权值矩阵，作为路径选择；步骤三，设置神经网络调参控制策略；步骤四，利用路径平滑过程将权值矩阵表达为完整航路。

进一步的，深度神经网络训练过程以路径规划场景的多维矩阵为输入，矩阵规模因场景大小而调整，无人机路径规划采样时间内飞行距离满足一定数值要求；矩阵中参数包括路径规划场景中抽象出的危险度和目标点距离等，深度神经网络的输出以智能算法规划成功的路径抽象出的路径矩阵为训练标签。

其中，该深度神经网络具有多层卷积层、池化层与网络层。卷积层的作用在于自动提取特征，将输入的场景矩阵进行多次卷积变换，充分使矩阵栅格之间进行特征交互，从而自动提取出场景特征。池化层在每一层卷积层之后，目的是进行采样，从而获得更重要的特征而忽略不重要特征。网络层将卷积层与池化层计算出的参数进行非线性拟合，最终得到输出矩阵，再同标签矩阵进行比较，采用逐层反向传播策略，进行参数调整，最终重复多次上述过程，完成对该深度神经网络的训练过程。

进一步的，步骤三的设置神经网络调参控制策略是利用人工智能算法对神经网络的参数进行调整。如利用A*算法，A*算法具有逃离局部最优的优良特性，将训练好的神经网络以A*规划出的路径为输出调整参数，使该神经网络也具有避免陷入局部最优的特性；又如路径平滑算法，路径平滑算法具有使路径平滑的优良特性，因此也可以用来调整参数使神经网络计算出的路径拥有平滑的性质。

本发明可以帮助无人机在完全未知的环境下进行下一时刻的路径预测，进而指导无人机的导航和避障，最后安全到达目标点。本发明通过在线学习能够实时获得无人机外界环境信息，学习无人机在何种环境下做出何种动作。通过本发明，无人机能完整地实现未知复杂障碍环境下的导航和避障，突破了原有航路规划算法实时计算的局限性和复杂性。

附图说明

图1为本发明的技术路线图；

图2为本发明实施例全连接神经网络与卷积神经网络原理对比示意图；

图3为本发明实施例BP神经网络训练方法原理示意图。

具体实施方式

本发明的一种具体实施方式为：

一种基于深度学习的实时无人机路径预测方法，其设计思想是：采用模拟图像像素点的方式，将航路规划场景抽象成多维矩阵，输入深度神经网络进行训练，得到一组同样规模的权值矩阵，作为路径选择。另外，本算法还设置神经网络调参控制策略，使网络训练得到的路径优于普通智能算法。最终利用路径平滑过程将权值矩阵表达为完整航路。训练部分分为三个过程，分别为：深度神经网络训练过程、参数调整和路径平滑，流程图如图1所示。

深度神经网络以路径规划场景的多维矩阵为输入，矩阵规模因场景大小而调整，无人机路径规划采样时间内飞行距离满足一定数值要求。其中，矩阵中参数包括路径规划场景中抽象出的危险度和目标点距离等。深度神经网络的输出以智能算法规划成功的路径抽象出的路径矩阵为训练标签。该深度神经网络具有多层卷积层、池化层与网络层。卷积层的作用在于自动提取特征，将输入的场景矩阵进行多次卷积变换，充分使矩阵栅格之间进行特征交互，从而自动提取出场景特征。池化层在每一层卷积层之后，目的是进行采样，从而获得更重要的特征而忽略不重要特征。网络层将卷积层与池化层计算出的参数进行非线性拟合，最终得到输出矩阵，再同标签矩阵进行比较，采用逐层反向传播策略，进行参数调整，最终重复多次上述过程，完成对该深度神经网络的训练过程。

完全依赖深度学习不考虑专家知识难以学习出真正完美的神经网络。因此，在网络训练完成后，需要利用优秀的人工智能算法对神经网络的参数进行调整。例如，A*算法具有逃离局部最优的优良特性，将训练好的神经网络以A*规划出的路径为输出调整参数，使该神经网络也具有避免陷入局部最优的特性。又如，路径平滑算法具有使路径平滑的优良特性，因此也可以用来调整参数使神经网络计算出的路径拥有平滑的性质。

下面根据附图来阐述本发明的另一种更具体的实施方式。

第一部分：基于深度神经网络的无人机航路规划算法模型建立

本部分为解决无人机实时航路规划计算复杂，实时性实施困难的问题，对如何建立基于深度神经网络的无人机航路规划学习算法模型进行研究。

(1)深度神经网络的输入输出：

本部分深度神经网络输入信息选取的是无人机在探测范围内的威胁度以及距离目标点距离构成的二位矩阵，输出信息则为无人机转弯角度的选择概率向量(或者无人机的坐标)。

假设场景或者航路规划结果图的面积K×K(m²),据此调整矩阵的规模为 N×N，无人机的航路规划采样时间为T，则在此时间内其飞行距离X应满足输入矩阵为X＝(M_ij)_N×N，参数向量M_ij＝(α_ij,χ_ij)。其中的参数包括航路规划场景中抽象出的危胁度α，与目标点距离χ。输出数据为无人机转弯角度的选择概率向量。深度神经网络的输出以智能算法规划成功的航路抽象出的路径矩阵为训练标签。具体来说，输出矩阵Y＝(T_ij)_N×N，参数向量，其中T_ij为该航路点的转弯概率向量。

(2)提取环境特征的网络模型：

卷积神经网络(CNN)可以很好的提取环境特征，它与一般神经网络有着一定的区别，卷积神经网络一共分为两层，它们是特征提取层与映射层。在特征提取层中一个神经元的输入只与前一层局部接受域相接。在这里，神经元指的就是滤波器。在特征映射层中，通常包含若干特征映射，每个特征映射都能够构成一个平面，每个特征平面都由一些矩形排列的神经元组成，这些神经元共享权值，指的是同一特征平面的滤波器卷积核相同。卷积核通常以随机小数矩阵作为初始化形式，在训练神经网络的过程中，卷积核随着训练的进行学习权值，相应的卷积核做出适应学习目标的改变。共享权值(卷积核)最主要的好处是可以降低运算参数的数量，对防止过拟合也可以起到一定的作用。子采样也叫做池化，通常分为平均池化和最大池化两种形式。池化可以降低输入维数，减少运算参数，提高训练速度。

卷积神经网络还可以从另一方面减少运算的参数，这个方面叫做局部感知。以我们自身为例，人是从局部到全部对外界进行感知的。对于卷积神经网络要学习的特征来说，也是局部的特征相关性较强，而相距较远的特征相关性较弱。由此可知，每个神经元只需要对局部的特征进行感知，在更深层将局部信息结合到一起就能够得到全局信息，如图2所示。

综上所述，同一层的神经元不必对整个输入进行卷积，每个神经元对输入的一部分进行卷积，最后统一合并完成对整个输入的卷积。这样不仅降低了参数数目，还提高了整个神经网络的训练速度。

这样可以大大提高我们在提取航路规划环境信息的过程中所消耗的时间，有助于神经网络模型更快的学习目标算法的航路规划模式。

(3)解决动作选择的多分类问题网络模型：

常见的逻辑回归、支持向量机常用于解决二分类问题，对于多分类问题，比如识别手写数字就需要10个分类，同样也可以用逻辑回归或SVM，只是需要多个二分类来组成多分类，这里采用另外一种方式来解决多分类——Softmax 函数。

Softmax的函数为：

可以看到它有多个值，所有值加起来刚好等于1，每个输出都映射到了0 到1区间，可以看成是概率问题。θ_i ^Tx为多个输入，训练其实就是为了逼近最佳的θ^T。

对于训练集{(x⁽¹⁾,y⁽¹⁾),...,(x^(m),y^(m))}，有y⁽ⁱ⁾∈{1,2,3,...,k}，总共有k个分类。对于每个输入x都会有对应每个类的概率，即p(y＝j|x)，从向量角度来看，有：

softmax的代价函数定为如下，其中包含了示性函数1{j＝y⁽ⁱ⁾}，表示如果第 i个样本的类别为j则y_ij＝1。代价函数可看成是最大化似然函数，也即是最小化负对数似然函数。

其中

则

一般使用梯度下降优化算法来最小化代价函数，而其中会涉及到偏导数，即则J(θ)对θ_j求偏导数，得到：

得到代价函数对参数权重的梯度就可以优化。

因此，将Softmax分类器运用到将要构建的深度神经网络模型中，可以很好的帮助我们将神经网络最后提取出来的特征进行处理并分类输出，帮助神经网络模型更好的学习在航路规划过程中目标算法对转弯角度的选择。

第二部分：面向航路学习和规划算法网络模型的参数调节和训练方法研究 (1)反向传播算法训练神经网络：

人工神经网络是受到生物神经网络而开发出的一种模型，它可以估算或者近似拟合函数，为了达到这一目的需要大量的输入输出数据。人工神经网络具体表现为一系列互相联接的“神经元”，它们之间能够互相传递信息。这些“神经元”之间的连接称为连接权重，权重的数值根据学习过程积累的经验进行改变，这就是神经网络学习的能力。随着训练神经网络样本数量的增加与反复学习，神经元之间的连接权值和阈值也会不断增加，从而提高神经元之间的反应灵敏度。

如图3所示，BP网络的学习过程分为两个阶段：

第一阶段：向神经网络输入训练集数据，通过设定好的网络结构和前一次迭代的权值和阈值，从神经层的第一层向后依次计算各神经元输出。

第二阶段：神经网络对各权值和阈值进行修改，算法从最后一层向前反过来计算各权值和阈值对总误差的影响，依此对各神经层的权值和阈值进行修改。

重复以上两个过程，直到收敛。

运用反向传播算法训练神经网络模型，使得神经网络模型在训练的过程中不断的根据感知到的航路规划环境信息特征对每一层的连接权重和阈值进行修改，使得神经网络最终输出接近目标算法的输出，达到估算或者拟合航路的目的。

(2)解决神经网络过拟合问题：

在机器学习模型建立的过程中，一般都是使用已有数据建立模型，然后使用该模型去拟合未知的数据。在统计学习中，通常假设数据满足独立同分布，即当前已产生的数据可以对未来的数据进行推测模拟。问题是一般情况下独立同分布的假设往往并不成立，也就是说数据的分布可能会发生变化，并且可能由于数据量过少，不足以对整个数据集进行分布估计。因此防止模型过拟合，提高模型泛化能力就显得尤为重要。而最常使用的方法便是正则化，即在对模型的目标函数或代价函数加上正则项。

在对模型进行训练时，有可能会因为训练数据不足，无法对整个数据的分布进行估计，或者在对模型进行过度训练时导致模型的过拟合。随着训练的进行，模型的复杂度会增加，此时模型在训练数据集上的训练误差会逐渐减小，但是在模型的复杂度达到一定程度时，模型在验证集上的误差反而随着复杂度增加而增大。此时便发生了过拟合，即模型的复杂度升高，但是该模型在除训练集之外的数据集上却没有很好的效果。

为了防止过拟合，在本课题中需要用到一些方法：Bacth Normalization。 BacthNormalization是一种样本标准化操作，在机器学习中，他是一种最常用的标准化方式。对数据预处理进行标准化不仅可以加快收敛的速度，同理，在神经网络中使用标准化操作也可以加速收敛。使用Batch Normalization还具有如下好处：

一是正则化效果，防止过拟合；

二是提高模型的泛化能力，使其更好地拟合测试集；

三是允许模型以更高的速率进行学习从而加速收敛。

其原理是利用正则化减少内部相关变量分布的偏移，从而能够提升算法的鲁棒性。Bacth Normalization由两部分组成，第一部分是缩放和平移，第二部分是训练缩放的大小与平移的距离。

运用Batch Normalization，将输入的航路规划环境信息在样本轴上进行标准化，可以有效的提高神经网络模型的泛化能力，使其更好的拟合目标算法，完成对航路或者航路点的预测，并且一定程度上提高了训练速度。

(3)提高神经网络的训练速度：

学习速率是神经网络信息累积的速度。学习速率决定了网络的参数达到最优的状态的速度。在随机梯度下降的平面图中，学习速率与误差梯度的形状无关，因为全局学习速率与误差梯度无关。然而，可以通过对原始SGD更新规则进行修改，将学习速率与错误梯度的大小和方向相关联。

降低学习速率是必要的。在训练过程中，较高的学习速率很可能会使模型陷入局部最小值。以交通情况为例，将局部最优值视为阻碍行进的情况，这些情况会增加到达目的地的时间。虽然驾驶途中不可能完全避免所有阻碍，但是在驾驶时我们更喜欢选择一条最佳的路线。同样，在训练中，我们希望避免梯度的曲折反弹，同时寻找最优路线，并且更喜欢在该路径上的训练。理想情况下，我们不希望加速得太多，因为我们会跳进一个局部最优值并卡住。同样的比喻也适用于学习速率。

动量允许沿浅方向使用较高的速度，同时沿陡峭方向降低速度前进，是一种自适应学习速率方法的参数。这种动量为“经典动量”，可以对速度进行校正，然后在速度方向上进行跳跃。动量有助于适当改变学习速率以适应梯度的变化，最终使网络学习速率的变化而不是其在损失函数表面上的位置的变化。使用动量学习能够使网络抵抗输入数中的噪声和随机性的性能获得提升。

对模型进行训练时拟采用Adam优化算法。它利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率。Adam的优点主要在于经过偏置校正后，每一次迭代学习率都有个确定范围，使得参数比较平稳。公式如下：

m_t＝μ*m_t-1+(1-u)*g_t

其中，m_t，n_t分别是对梯度的一阶矩估计和二阶矩估计，可以看作对期望 E|g_t|，的估计；是对m_t，n_t的校正，这样可以近似为对期望的无偏估计。

可以看出，直接对梯度的矩估计对内存没有额外的要求，而且可以根据梯度进行动态调整，而对学习率形成一个动态约束，而且有明确的范围。

Adam优化算法有以下特点：

一是善于处理稀疏梯度和非平稳目标；

二是对内存需求较小；

三是为不同的参数计算不同的自适应学习率；

四是也适用于大多非凸优化；

五是适用于大数据集和高维空间。

(4)神经网络测评：

选取交叉熵函数作为损失函数。其公式为：

其中y为期望的输出，a为神经元实际输出。交叉熵代价函数同样有两个性质：

非负性。

当真实输出a与期望输出y接近的时候，代价函数接近于0。

它可以克服方差代价函数更新权重过慢的问题。它的导数为：

可以看到，权重的更新是受σ(z)-y这一项影响，即受误差的影响。所以当误差大的时候，权重更新就快，当误差小的时候，权重的更新就慢。这是一个很好的性质。

运用交叉熵函数对模型进行误差反馈，可以有效的反映实际输出与标签的误差，从而使得神经网络模型更快的对权重进行更新，使其更好地拟合目标算法。

Claims

1.一种基于深度学习的无人机飞行路径预测方法，其特征在于，包括以下步骤：

步骤一，采用模拟图像像素点的方式，将航路规划场景抽象成多维矩阵；

步骤二，输入深度神经网络进行训练，得到一组同样规模的权值矩阵，作为路径选择；

步骤三，设置神经网络调参控制策略；

步骤四，利用路径平滑过程将权值矩阵表达为完整航路。

2.根据权利要求1所述的一种基于深度学习的无人机飞行路径预测方法，其特征在于，所述的步骤二具体为：深度神经网络训练过程以路径规划场景的多维矩阵为输入，矩阵规模因场景大小而调整，无人机路径规划采样时间内飞行距离满足要求，深度神经网络的输出以智能算法规划成功的路径抽象出的路径矩阵为训练标签。

3.根据权利要求2所述的一种基于深度学习的无人机飞行路径预测方法，其特征在于，所述的深度神经网络具有多层卷积层、池化层与网络层。

4.根据权利要求3所述的一种基于深度学习的无人机飞行路径预测方法，其特征在于，所述的卷积层自动提取特征，将输入的场景矩阵进行多次卷积变换，充分使矩阵栅格之间进行特征交互，从而自动提取出场景特征。

5.根据权利要求3所述的一种基于深度学习的无人机飞行路径预测方法，其特征在于，所述的池化层在每一层卷积层之后，进行采样，从而获得更重要的特征而忽略不重要特征。

6.根据权利要求3所述的一种基于深度学习的无人机飞行路径预测方法，其特征在于，所述的网络层将卷积层与池化层计算出的参数进行非线性拟合，最终得到输出矩阵，再同标签矩阵进行比较，采用逐层反向传播策略，进行参数调整，重复多次上述过程，完成对该深度神经网络的训练过程。

7.根据权利要求1所述的一种基于深度学习的无人机飞行路径预测方法，其特征在于，所述的步骤三具体为根据路径规划需要利用不同特点的人工智能算法对神经网络的参数进行调整。

8.根据权利要求7所述的一种基于深度学习的无人机飞行路径预测方法，其特征在于，所述的人工智能算法是A*算法。

9.根据权利要求7所述的一种基于深度学习的无人机飞行路径预测方法，其特征在于，所述的人工智能算法是路径平滑算法。