CN112859923B - 一种无人机视觉编队飞行控制系统 - Google Patents

Abstract

本发明公开了一种无人机视觉编队飞行控制系统，属于无人机控制领域。本发明的无人机视觉编队飞行控制系统，图像处理系统基于适应性处理方法，能够通过探测标志物体计算出每架无人机的实时三维位置，并推导出实时的移动速度，在标志物体探测失败的情况下也能正常运行。编队飞行智能控制系统根据图像处理算法得到的飞机的位置信息、速度和姿态信息，结合编队系统的运动学模型和分离饱和非线性控制方法，实时计算无人机所需的控制量并传给作动机构，作动机构驱使无人机编队系统在编队队形不变的前提进行碰撞规避。本发明能够在保持编队队形不变的前提下实现碰撞规避，提高了编队飞行的安全性。

Description

一种无人机视觉编队飞行控制系统

技术领域

本发明属于无人机控制领域，尤其是一种无人机视觉编队飞行控制系统。

背景技术

受限于单架无人机的负载能力以及续航能力，完成复杂的飞行任务对于单架无人机尤其是微小型无人机而言是个巨大挑战，这也是无人机编队飞行越来越受到重视的原因。通常情况下，为了避免不必要的电量消耗以及增加无人机的飞行机动能力，无人机对载荷有着严格的要求。标准的无人机搭载的惯导单元是陀螺仪和加速度计，其中陀螺仪用于估计无人机实时的三轴角速度，而加速度计用于测量无人机实时的三轴加速度值，再配合GPS获取的位置信息使得无人机能够实时地获取到用于控制的所有必需状态信息。但是只有无人机处于室外且远离市区这些状态信息才是可靠的。对于无人机编队飞行控制而言，准确可靠的状态信息是非常重要的。

发明内容

本发明的目的在于克服无人机处于室外且远离市区时状态信息才准确可靠的缺点，提供一种无人机视觉编队飞行控制系统。

为达到上述目的，本发明采用以下技术方案予以实现：

一种无人机视觉编队飞行控制系统，包括硬件系统和软件系统；

硬件系统包括无人机系统、地面站系统和单目成像系统；

无人机系统由n架无人机组成，每架无人机上均搭载有飞控电路板、惯性传感器、气压传感器、电池电压测量模块以及通信模块；

地面站系统由移动计算机、飞行操纵杆、无线电调制解调器和视频接收系统组成，用于向无人机发送指令并且实时监视飞机状态信息；

单目成像系统用于拍摄图像并将拍摄的每一帧图像发送给软件系统；

软件系统包括图像处理系统和编队飞行智能控制系统；

图像处理系统，用于基于探测标志物体计算出每架无人机的实时三维位置，并推导出实时的移动速度；当标志物体探测失败时，基于搭载的光流传感器的光流数据，结合光流计算公式，实时估计平移速度；

编队飞行智能控制系统，用于根据飞机的位置信息、速度和姿态信息，结合编队系统的运动学模型和分离饱和非线性控制方法，实时计算无人机所需的控制量，并将所述控制量发送给无人机的作动机构。

进一步的，所述图像处理系统的工作流程为：

采用适应性处理算法在每帧视觉图像的基础上对摄像头的外部参数进行处理；

对标志性物体的检测，设标志性物体是四边形物体，以四边形物体的四个顶点为圆心构造半径不相同的虚拟圆，对每个虚拟圆进行探测，根据虚拟圆大小进行分类，从而辨识出标志性物体的地理方位；

基于四边形的对边斜率差在预设范围内，对标志性物体的检测结果进行检验，通过检验则为有效的标志性物体的地理方位；

利用初始时四个圆心的地理位置坐标和方位计算适应性矩阵，基于所述适应性矩阵和摄像矩阵计算出摄像头参数，由此计算得到无人机相对标志物体的位置；其中，摄像矩阵由摄像头的安装位置确定；

基于视觉系统对无人机运动速度进行估计。

进一步的，适应性处理算法的计算过程为：

其中，

表示在图像中参考标志物的位置；s为比例因子；K为摄像头参数矩阵；[r1 r2 r3]为旋转参数；T为平移参数；

为实际的参考标志物的位置。

进一步的，对标志性物体的检测结果进行检验的过程为：

其中，i、f分别为初始和最终坐标；

对边的斜率差在预设范围内，即：

|m_up-m_lo|＜ε；|m_le-m_ri|＜ε。

进一步的，基于视觉系统对无人机运动速度进行估计的过程为：

估计摄像头的速度，过程为：

其中，

为无人机质心的速度矢量；z为高度；

通过对摄像头速度的估计值按照预定的比例因子推出无人机的速度。

进一步的，当标志物体探测失败时，图像处理系统用于基于光流测量估计当前四个虚拟圆的圆心位置。

进一步的，公式如下：

其中，

为k时刻圆心的位置；Δ_T为算法运行时间步长。

进一步的，编队飞行智能控制系统的工作流程为：

其中，L为拉普拉斯算子矩阵；

利用强迫一致算法：

其中，N_i为将自身信息传输给无人机i的无人机集合；

之后进行如下的变量转化：

其中，x_i,y_i,z_i,ψ_i,x_j,y_j,z_j,ψ_j分别为需要被协同控制的第i架和第j架无人机的三维位置和航向；

以一架无人机的临机位置为参考位置，每一架无人机的控制率如下：

其中，θ_i为第i架无人机实时俯仰角度，

为第i架无人机实时滚转角度，ψ_i为第i架无人机实时偏转角度，σ_i(i＝1,2,3,4)和a_i(i＝1,2,3,4)为控制参数，u_θi为俯仰控制量，u_φi为滚转控制量，F_Ti为油门控制量，u_ψi为偏航控制量；

基于所述控制率实时计算无人机所需的控制量并传给作动机构，作动机构驱使无人机在编队队形不变的前提下规避碰撞。

与现有技术相比，本发明具有以下有益效果：

本发明的无人机视觉编队飞行控制系统，图像处理系统基于适应性处理方法，能够通过探测标志物体计算出每架无人机的实时三维位置，并推导出实时的移动速度，在标志物体探测失败的情况下也能正常运行；编队飞行智能控制系统根据图像处理算法得到的飞机的位置信息、速度和姿态信息，结合编队系统的运动学模型和分离饱和非线性控制方法，实时计算无人机所需的控制量并传给作动机构，作动机构驱使无人机编队系统在编队队形不变的前提进行碰撞规避。本发明结合了机载视觉系统、传统的惯导单元以及先进的控制方法，能够在室内以及城市市中心这种复杂且干扰较多的环境下对无人机视觉编队飞行控制系统中的每一架无人机的状态信息进行准确的估计，显著提高了编队飞行控制系统的抗干扰能力，同时减少了系统的制造和运行成本；编队飞行控制系统中包括了大量的传感器，形成了高效完备的处理系统和闭环反馈机制，能够实现无人机集群的协同高效控制；编队飞行控制系统中的先进控制方法能够在保持编队队形不变的前提下实现碰撞规避，提高了编队飞行的安全性。

附图说明

图1为无人机视觉编队飞行控制系统的框图；

图2为视觉系统的框图；

图3为基于视觉系统的位置稳定方案；

图4为视觉系统对标志性物体的检测图像。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明提出了一种无人机编队飞行控制系统，该系统结合了机载视觉系统、传统的惯导单元以及先进的控制方法，无人机通过机载视觉系统获取状态信息，对标志性物体的探测，估计自身的相对位置，通过传统的惯导单元计算自身的姿态信息，并最后通智能控制方法实现在保持队形的前提下进行碰撞规避。

区别于以往的视觉编队飞行系统，本发明提出的视觉编队飞行系统不仅是机载的、重量轻，并且能够在参考物探测失效的情况下实现自身的飞行速度、位置的估计，并且能够和其他智能控制方法结合起来，提高可靠性和适应性，为接下来的编队控制打下坚实的基础。

下面结合附图对本发明做进一步详细描述：

参见图1，图1为本发明的无人机视觉编队飞行控制系统框图，一种无人机视觉编队飞行控制系统包括硬件系统和软件系统；其中，硬件系统包括无人机系统、地面站系统和单目成像系统；硬件系统中的无人机系统由n架重量仅为800g的无人机组成，每架无人机上均搭载有飞控电路板、惯性传感器、气压传感器、电池电压测量模块以及通信模块；硬件系统中的地面站系统由移动计算机、飞行操纵杆、无线电调制解调器和视频接收系统组成，利用地面站，操作者可实现向无人机发送指令并且实时监视飞机状态信息；参见图2，硬件系统中的单目成像系统由一个像素为640*480摄像机、一个无线PLL发射机、一台200mW的调压器和四组天线组成，单目成像系统搭载在无人机上。

软件系统包括图像处理系统和编队飞行智能控制系统；图像处理系统是一种适应性处理算法，用于通过探测标志物体计算出每架无人机的实时三维位置，并推导出实时的移动速度，最重要的是，该图像处理系统在标志物体探测失败的情况下也能正常运行。

图像处理系统的运行步骤如下：

步骤一：采用适应性处理算法在每帧视觉图像的基础上对摄像头的外部参数进行处理，适应性处理算法为：

其中，

表示在图像中参考标志物的位置；s为比例因子(初始时未知)；K为摄像头参数矩阵(初始时未知)；[r1 r2 r3]为旋转参数(摄像头安装完成后该参数就固定了)；T为平移参数(摄像头安装完成后该参数就固定了)；

为实际的参考标志物的位置；一般情况下，Z＝0；

参见图3，图3所示为本发明设定的无人机和地面参考物的坐标系，无人机机头向前为Xh方向，向上的zh方向，由右手准则确定yh方向。而地面参考物的坐标系就以向北为xlp方向，向西为ylp方向；

步骤二：对标志性物体的检测，辨识出标志性物体的地理方位；

参见图4，假设标志性物体是一个四边形物体，以四边形物体的四个顶点为圆心构造虚拟圆，虚拟圆的大小不一，计算机通过对每个虚拟圆进行探测，根据虚拟圆大小进行分类，从而辨识出标志性物体的地理方位；

步骤三：对标志性物体的检测结果进行检验

在步骤二中对假设标志性物体进行了检测，但是错误的检测结果需要放弃，因此需要对检测结果进行检验。理想情况下，四个圆布局形成一个矩形，上方的两个角之间的连线和右侧两个角之间的连线满足平行条件，对连接左侧两个角的直线和右侧两个角的连线也要满足相应的约束条件。平行性检验基于斜率方程：

其中，i、f分别为初始和最终坐标。因此，上部直线的斜率应约等于下部直线的斜率，同时左边直线斜率应约等于右边直线斜率，即：

|m_up-m_lo|＜ε；|m_le-m_ri|＜ε

只有满足这个条件的标志性物体的检测才是有效的。

步骤四：每个时刻，当无人机处于盘旋状态时，利用四个圆心位置的先验信息计算适应性矩阵H＝sK[r1 r2 T]，利用估计得到的变换矩阵以及摄像矩阵，计算出摄像头参数，由此可计算得到无人机相对标志物体的位置(x，y，z)。

步骤五：基于视觉系统对无人机运动速度进行估计

由于摄像机系统与无人机固定安装，因此摄像机系统与无人机有相同的速度。对摄像头的速度估计就是无人机速度的估计，摄像头的速度估计方法如下面的公式：

其中，

为无人机质心的速度矢量；z为高度；根据这个公式，当无人机飞行在常值高度时，通过对摄像机系统速度的估计值按照预定的比例因子就可推出无人机的速度。

步骤六：当标志物体探测失败时，利用光流测量估计当前四个虚拟圆的圆心位置，公式如下：

其中，

为k时刻圆心的位置；Δ_T为算法运行时间步长；

编队飞行智能控制系统，用于根据图像处理系统得到的飞机的位置信息、速度和姿态信息，结合编队系统的运动学模型，利用强迫一致算法实现多无人机的一致，具体过程为：

其中，L为拉普拉斯算子矩阵。

利用强迫一致算法：

实现多无人机的一致，其中，N_i为将自身信息传输给无人机i的无人机集合；

然后进行如下的变量转化：

其中，x_i,y_i,z_i,ψ_i,x_j,y_j,z_j,ψ_j分别为需要被协同控制的第i架和第j架无人机的三维位置和航向。

以一架无人机的临机位置作为参考位置，利用本发明提出的分离饱和非线性控制方法对每一架无人机进行稳定控制，控制率如下：

其中，θ_i为第i架无人机实时俯仰角度，

为第i架无人机实时滚转角度，ψ_i为第i架无人机实时偏转角度，σ_i(i＝1,2,3,4)和a_i(i＝1,2,3,4)为控制参数，u_θi为俯仰控制量，u_φi为滚转控制量，F_Ti为油门控制量，u_ψi为偏航控制量；

在该控制率作用下，实时计算无人机所需的控制量并传给作动机构，作动机构驱使无人机编队系统在编队队形不变的前提进行碰撞规避。

地面站向无人机编队系统发送定点模式指令；地面站接收和保存所有的编译信号，并对飞行实验和结果进行分析；利用地面站给无人机编队系统发送起飞指令，无人机编队系统所有无人机一键起飞，飞到设定好的相同高度。

在无人机编队飞行前，将无人机准确的放置在标志物体上，用于确认无人机编队系统的位置参考信号；用于参考的标志性物体可以是易于识别的飞行平台，也可以是某一个形状颜色突出的物体。

单目成像系统运行时，通过本发明适应性处理算法扫描参考物的每一帧图像，获从而取此飞机的实时三维位置。

无人机编队系统在获取的实时三维位置基础上，结合光流计算公式，实时估计平移速度。

通过每架无人机上的传统惯导单元，将测得的其他状态量实时反馈给智能控制器，如姿态信息，方位角信息。

无人机编队系统的每架无人机将自身的位置信息和速度信息通过无线电调制解调器传送给地面站，再由地面站发送给其他无人机，这样就实现了无人机编队系统的每架无人机的信息共享。

无人机编队系统依据每架无人机共享的位置信息，结合本发明提出的智能控制算法实现各无人机之间的三维位置协同控制；三维位置协同控制产生的效果就是无人机编队系统能够在保持队形不变的前提下实现碰撞规避；该三维位置协同控制算法可以扩展到n架无人机。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (6)

1.一种无人机视觉编队飞行控制系统，其特征在于，包括硬件系统和软件系统；

硬件系统包括无人机系统、地面站系统和单目成像系统；

无人机系统由n架无人机组成，每架无人机上均搭载有飞控电路板、惯性传感器、气压传感器、电池电压测量模块以及通信模块；

地面站系统由移动计算机、飞行操纵杆、无线电调制解调器和视频接收系统组成，用于向无人机发送指令并且实时监视飞机状态信息；

单目成像系统用于拍摄图像并将拍摄的每一帧图像发送给软件系统；

软件系统包括图像处理系统和编队飞行智能控制系统；

图像处理系统，用于基于探测标志物体计算出每架无人机的实时三维位置，并推导出实时的移动速度；当标志物体探测失败时，基于搭载的光流传感器的光流数据，结合光流计算公式，实时估计平移速度；

编队飞行智能控制系统，用于根据飞机的位置信息、速度和姿态信息，结合编队系统的运动学模型和分离饱和非线性控制方法，实时计算无人机所需的控制量，并将所述控制量发送给无人机的作动机构；

所述图像处理系统的工作流程为：

采用适应性处理算法在每帧视觉图像的基础上对摄像头的外部参数进行处理；

对标志性物体的检测，设标志性物体是四边形物体，以四边形物体的四个顶点为圆心构造半径不相同的虚拟圆，对每个虚拟圆进行探测，根据虚拟圆大小进行分类，从而辨识出标志性物体的地理方位；

基于四边形的对边斜率差在预设范围内，对标志性物体的检测结果进行检验，通过检验则为有效的标志性物体的地理方位；

利用初始时四个圆心的地理位置坐标和方位计算适应性矩阵，基于所述适应性矩阵和摄像矩阵计算出摄像头参数，由此计算得到无人机相对标志物体的位置；其中，摄像矩阵由摄像头的安装位置确定；

基于视觉系统对无人机运动速度进行估计；

基于视觉系统对无人机运动速度进行估计的过程为：

估计摄像头的速度，过程为：

其中，

为无人机质心的速度矢量；z为高度；

通过对摄像头速度的估计值按照预定的比例因子s推出无人机的速度。

2.根据权利要求1所述的无人机视觉编队飞行控制系统，其特征在于，适应性处理算法的计算过程为：

其中，

表示在图像中参考标志物的位置；s为比例因子；K为摄像头参数矩阵；[r1 r2r3]为旋转参数；T为平移参数；

为实际的参考标志物的位置。

3.根据权利要求1所述的无人机视觉编队飞行控制系统，其特征在于，对标志性物体的检测结果进行检验的过程为：

其中，i、f分别为初始和最终坐标；

对边的斜率差在预设范围内，即：

|m_up-m_lo|＜ε；|m_le-m_ri|＜ε。

4.根据权利要求1所述的无人机视觉编队飞行控制系统，其特征在于，当标志物体探测失败时，图像处理系统用于基于光流测量估计当前四个虚拟圆的圆心位置。

5.根据权利要求4所述的无人机视觉编队飞行控制系统，其特征在于，公式如下：

其中，

为k时刻圆心的位置；Δ_T为算法运行时间步长。

6.根据权利要求1所述的无人机视觉编队飞行控制系统，其特征在于，编队飞行智能控制系统的工作流程为：

其中，L为拉普拉斯算子矩阵；

利用强迫一致算法：

其中，N_i为将自身信息传输给无人机i的无人机集合；

之后进行如下的变量转化：

其中，x_i,y_i,z_i,ψ_i,x_j,y_j,z_j,ψ_j分别为需要被协同控制的第i架和第j架无人机的三维位置和航向；

以一架无人机的临机位置为参考位置，每一架无人机的控制率如下：

其中，θ_i为第i架无人机实时俯仰角度，

为第i架无人机实时滚转角度，Ψ_i为第i架无人机实时偏转角度，σ_i(i＝1,2,3,4)和a_i(i＝1,2,3,4)为控制参数，u_θi为俯仰控制量，u_φi为滚转控制量，F_Ti为油门控制量，u_Ψi为偏航控制量；

基于所述控制率实时计算无人机所需的控制量并传给作动机构，作动机构驱使无人机在编队队形不变的前提下规避碰撞。

Images