CN115357049B

CN115357049B - 基于视觉的无人机非合作目标有限时间跟踪方法及系统

Info

Publication number: CN115357049B
Application number: CN202211115584.8A
Authority: CN
Inventors: 李鸿一; 佘雪华; 周琪; 姚得银; 鲁仁全
Original assignee: Guangdong University of Technology
Current assignee: Guangdong University of Technology
Priority date: 2022-09-14
Filing date: 2022-09-14
Publication date: 2024-04-16
Anticipated expiration: 2042-09-14
Also published as: CN115357049A

Abstract

本发明属于跟踪控制技术领域，提供了一种基于视觉的无人机非合作目标有限时间跟踪方法及系统，首先，根据图像信息，跟踪者与非合作目标的运动方程和相对动力学方程；然后根据所述运动方程和所述相对动力学方程，得到跟踪者与非合作目标的比例相对动力学方程；最后根据比例相对动力学方程，采用积分滑模算法，建立对无人机进行控制的有限时间控制器；可以直接测量目标和跟随者之间的相对位置；与传统的跟踪控制算法相比，采用成本低、功耗小的单目传感器作为测量工具，可以应用于没有通讯或者信号差的室内或者郊区。

Description

基于视觉的无人机非合作目标有限时间跟踪方法及系统

技术领域

本发明属于跟踪控制技术领域，尤其涉及一种基于视觉的无人机非合作目标有限时间跟踪方法及系统。

背景技术

如今，无人机具有很高的机动性，较低的购置和维护成本以及出色的垂直起降能力，即使在恶劣的环境下，也被认为是最受欢迎的自动驾驶空中平台。此外，导航、感知传感器和高性能电池技术的快速进展显著提高了无人机的续航和载荷能力，使其成为执行各种任务的理想平台，例如搜索和救援、区域覆盖、监视、物体运输和智能农业。在无人机执行任务过程中，目标跟踪是工作基础，它可以帮助用户把目标对象设定为无人机的焦点，从而对跟随目标对象进行观测，因此要做好目标跟踪控制。此外，在目标跟踪过程中，可分为合作目标与非合作目标，非合作目标没有通信，且非合作目标为规避无人机的跟踪，会产生较强的机动变化。然而，现有无人机目标跟踪系统的跟踪控制方法大多只考虑当前时刻的目标状态，缺乏一种主动机制应对目标的规避行为。

在自主多旋翼操作过程中使用了许多导航传感器，比如GPS和INS等，这类方法主要是针对合作目标，即可通过与目标进行通信来获得目标信息。对于非合作目标，也有人采用视觉传感器来获取目标信息。由于摄像机重量轻、体积小、无源、低功耗等特点，使得其在无人机运动控制中至关重要，以便能够精确监视和跟踪感兴趣的区域和目标。如果是无人飞行系统，例如四旋翼飞行器，则可以通过将摄像头传感器直接安装在机器人上来轻松实现，从而形成所谓的“眼在手”系统。

发明人发现，随着对计算机技术和视觉研究的持续深入，图像处理的逐渐成熟，以及各种控制方法的发展，视觉伺服控制在机器人系统的发展和应用等方面展现出了巨大的价值。关于视觉伺服控制，可以定义四个主要类别：基于位置的视觉伺服(PBVS)，其中所选用的控制误差定义在笛卡尔空间中；基于图像的视觉伺服(IBVS)，其中控制误差函数在图像空间中定义；2-1/2或混合视觉伺服，其中控制误差函数在笛卡尔和图像空间中部分定义；直接视觉伺服，无需提取特定特征，而是在控制设计中利用完整图像。上述方法各有利弊，其功效在很大程度上取决于应用需求。通过以上可得，视觉传感器无法直接测量目标和跟随者之间的相对位置，需要采用其他方法进行估计，也就需要设置雷达或估计器等来实现。

发明内容

本发明为了解决上述问题，提出了一种基于视觉的无人机非合作目标有限时间跟踪方法及系统，本发明是一种基于单目传感器的基于视觉的无人机非合作目标有限时间跟踪方法，在缺少通信情况下，对非合作目标的跟踪，将单目传感器固定在无人机的万向节上，无人机通过单目传感器获得目标的图像信息，根据图像的变化，建立起无人机与目标的位置模型；在此基础上，利用积分滑模算法，设计有限时间控制器，实现无人机在有限时间内到达或拦截目标。

为了实现上述目的，本发明是通过如下的技术方案来实现：

第一方面，本发明提供了一种基于视觉的无人机非合作目标有限时间跟踪方法，包括：

获取非合作目标的图像信息；

根据图像信息，跟踪者与非合作目标的运动方程；

根据图像信息，跟踪者与非合作目标的相对动力学方程；

根据所述运动方程和所述相对动力学方程，得到跟踪者与非合作目标的比例相对动力学方程；

根据相对比例动力学方程，采用积分滑模算法，建立有限时间控制器；

利用建立的有限时间控制器，对跟踪者进行控制。

进一步的，将非合作目标的几何中心定为特征点；根据特征点，建立地球坐标系下非合作目标的运动方程与跟踪者的运动方程；非合作目标的运动方程与跟踪者的运动方程的差为跟踪者与非合作目标的相对动力学方程。

进一步的，通过非合作目标在图像平面的大小、非合作目标重心在图像平面的坐标以及获取非合作目标的图像信息时的无人机机载传感器的焦距，根据三角测量定理，获得非合作目标相对于跟随者的方位角和仰角。

进一步的，根据非合作目标相对于跟随者的方位角和仰角，得到在机体坐标系下非合作目标相对于跟随者的相对位置表达式；对机体坐标系下非合作目标相对于跟随者的相对位置表达式进行转换，得到地球坐标系下非合作目标相对于跟随者的相对位置表达式D；

根据小孔成像原理，得到：

其中，f为无人机机载传感器焦距；d为非合作目标的实际大小；d₁为非合作目标在图像平面的大小；(y₁,z₁)为非合作目标重心在图像平面的坐标。

进一步的，得到比例相对位置方程为非合作目标的加速度减去跟踪者的加速度的差与非合作目标的实际大小的比值。

进一步的，有限时间控制器为：

其中，d为非合作目标的实际大小；s_i为积分滑模面；v_i为对应i轴的相对速度；a∈(0,1)；b∈(1，∞)；r_i、δ_i、k_1i、k_2i和α_i为正数；c∈(0,1)。

进一步的，采用单目传感器获取非合作目标的图像信息。

第二方面，本发明还提供了一种基于视觉的无人机非合作目标有限时间跟踪系统，包括：

数据采集模块，被配置为：获取非合作目标的图像信息；

运动方程建立模块，被配置为：根据图像信息，跟踪者与非合作目标的运动方程；

相对动力学方程建立模块，被配置为：根据图像信息，跟踪者与非合作目标的相对动力学方程；

比例相对动力学方程建立模块，被配置为：根据所述运动方程和所述相对动力学方程，得到跟踪者与非合作目标的比例相对动力学方程；

控制器建立模块，被配置为：根据比例相对动力学方程，采用积分滑模算法，建立有限时间控制器；

控制模块，被配置为：利用建立的有限时间控制器，对跟踪者进行控制。

第三方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现了第一方面所述的基于视觉的无人机非合作目标有限时间跟踪方法的步骤。

第四方面，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现了第一方面所述的基于视觉的无人机非合作目标有限时间跟踪方法的步骤。

与现有技术相比，本发明的有益效果为：

1、本发明中，首先，根据图像信息，跟踪者与非合作目标的运动方程和相对动力学方程；然后，根据所述运动方程和所述相对动力学方程，得到跟踪者与非合作目标的比例相对动力学方程；最后，根据比例相对动力学方程，采用积分滑模算法，建立对无人机进行控制的有限时间控制器；通过本发明中的方法，只需获取视觉传感器中的图像信息即可进行有限时间控制器的建立，避免了对雷达或估计器等的应用，节约了成本；

2、本发明与传统的跟踪控制算法相比，采用成本低、功耗小的单目传感器作为测量工具，可以应用于没有通讯或者信号差的室内或者郊区；

3、本发明针对的目标可以是非合作的，即其机动随机但加速度有界，在没有通信情况下，采用单目传感器获得目标图像信息，根据图像变化，建立比例相对位置模型，解决了单目传感器无法直接测量相对位置的缺点，实现了对非合作目标的跟踪问题；

4、本发明考虑了无人机非合作目标跟踪的暂态过程，设计了积分滑模面，利用滑模控制方法设计系统输入，保证了系统控制器的连续性，缓解了抖振；

5、本发明采用基于有限时间稳定方法，不同于传统的时间间隔趋于无穷大的渐进稳定性理论，基于有限时间稳定的方法更有效地对实际系统进行控制，因为在现实生活中，对实际系统的进行控制，其时间不可能趋于无穷大。

附图说明

构成本实施例的一部分的说明书附图用来提供对本实施例的进一步理解，本实施例的示意性实施例及其说明用于解释本实施例，并不构成对本实施例的不当限定。

图1为本发明实施例1的流程图；

图2为本发明实施例1的在地球坐标系下跟随者与目标之间的相对位置模型；

图3为本发明实施例1的非合作目标在单目传感器下的成像模型；

图4为本发明实施例1的无人机与非合作目标的在二维平面的运动轨迹；

图5为本发明实施例1的无人机与非合作目标的在三维平面的运动轨迹；

图6为本发明实施例1的无人机与非合作目标的相对位置；

图7为本发明实施例1的无人机与非合作目标的相对速度。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

实施例1：

如图1所示，本实施例提供了一种基于视觉的无人机非合作目标有限时间跟踪方法，首先，获取非合作目标的图像信息；根据图像信息，跟踪者与非合作目标的运动方程；根据图像信息，跟踪者与非合作目标的相对动力学方程；然后，根据所述运动方程和所述相对动力学方程，得到跟踪者与非合作目标的比例相对动力学方程；最后，根据比例相对动力学方程，采用积分滑模算法，建立有限时间控制器；利用建立的有限时间控制器，对跟踪者进行控制，可以理解的，本实施中的跟踪者为需要控制的无人机。具体步骤包括：

S1、选择非合作目标；

S2、确定目标后，根据初步获得的跟随者与目标信息，编写跟随者与目标的运动方程，建立相对位置模型；

S3、通过无人机的单目传感器获取非合作目标在图像平面的大小，以及其重心坐标，并不断实时获取非合作目标的图像信息；

S4、根据非合作目标的图像信息变化，跟踪者与非合作目标的比例相对位置模型；

S5、根据步骤S4建立的动力学模型，采用积分滑模算法，设计有限时间控制器，实现无人机在有限时间内到达或拦截非合作目标。

其中，步骤S1具体包括：选择目标，地面站计算机在线接收和显示无人机回传的图像，运行目标检测算法或者人工选择跟踪目标，得到初始目标包围框区域；

其中，步骤S2具体包括：

S2.1、利用视觉算法，将非合作目标的几何中心定为特征点；

S2.2、根据无人机的飞行高度和相机内参、非合作目标在图像平面的几何中心的位置和大小，与有界加速度，考虑在地球坐标系O＝(N,E,D)下，目标的运动方程与跟随者运动方程表示为：

目标的位置D_G(t)，加速度为a_G(t)，则运动方程如下：

其中，为目标初始速度向量；/>为目标的初始位置向量。

跟踪者的位置为D_F(t)，加速度为a_F(t)，则运动方程如下：

其中，为跟踪者初始速度向量；/>为跟踪者初始位置向量。

从而建立跟随者与目标之间的相对位置模型为：

D(t)＝D_G(t)-D_F(t)

本文的控制目标是当时间趋于/>时，相对位置趋于原点，即跟随者在有限时间内到达(拦截)目标。

其中，步骤S3具体包括：通过无人机的单目传感器获取非合作目标在图像平面的大小d₁，以及其重心在图像平面的坐标(y₁,z₁)，已知无人机机载传感器焦距f和实际大小的范围d_min≤d≤d_max。根据三角测量定理，从中获得目标相对于跟随者的方位角χ和仰角具体表达式为：

其中，步骤S4具体包括：

S4.1、目标信息是由单目传感器提供的。单目传感器安装在无人机上的云台上，所述单目传感器的光轴平行于无人机的机体坐标系O_B＝(X_B,Y_B,Z_B)的X_B轴。

根据单目传感器提供的目标信息，如目标相对于跟随者的方位角χ和仰角从中可获得在机体坐标系下的相对位置表达式为：

根据无人机机体坐标系与地球坐标系之间的转换矩阵为因此在地球坐标系下的相对位置表达式为/>转换矩阵如下所示：

其中，φ，θ，ψ为系统欧拉角。

S4.2、根据不断实时获取被跟踪目标的图像信息，获取非合作目标在图像平面的大小d₁，已知无人机机载传感器焦距f和实际大小的范围d_min≤d≤d_max。建立基于单目传感器的非合作目标比例相对位置模型。

根据小孔成像原理，可以获得以下比例信息：

由于视觉测量无法获得目标实际大小，则可以得到比例相对位置模型为：

因此，该问题可以简化为对具有未知参数和扰动的二阶系统设计控制器，使相对位置在有限时间内收敛到原点的一个小邻域。

其中，步骤S5具体包括：根据步骤4建立的动力学模型，采用积分滑模算法，设计有限时间控制器，实现无人机在有限时间内到达(拦截)非合作目标。

S5.1、根据跟随者与目标的运动学和相对动力学方程，在单目传感器的测量下，得出以下比例相对动力学：

其中，r＝[r₁ r₂ r₃]^T为相对位置；v＝[v₁ v₂ v₃]^T是相对速度；d为目标的实际大小，为有界的未知常数，满足0<d_min<d<d_max；a_G＝[a_G1 a_G2 a_G3]^T为目标加速度，认为是有界扰动；其中a_Gmax＝[a_1max a_2max a_3max]^T为目标的最大加速度。

S5.2、误差r和v反映的是控制效果，当误差r和v都趋于零的附近时，就认为实现了控制目的。设计积分滑模面s_i，i＝1,2,3。具体表示为：

其中，k_1i和k_2i是积分增益，且a∈(0,1)和b∈(0,1)是函数指数项。

sig(*)^a＝|*|^asign(*)，|*|和sign(*)分别表示绝对值和信号函数。

S5.3、根据定义的积分滑模面，通过选择对应的李亚普诺夫函数设计对应的有限时间积分滑模控制器u表达式如下：

其中，d为非合作目标的实际大小；s_i为积分滑模面；v_i为对应i轴的相对速度；a∈(0,1)；b∈(1,∞)；r_i、δ_i、k_1i、k_2i和α_i为正数；c∈(0,1)。通过设计积分滑模面，使得获得控制器为连续函数，以消除抖振和奇异性。

S5.4、在S5.3设计的控制器下，基于单目传感器的无人机可以在有限时间内到达(拦截)非合作目标。

其中，k_i＝min{k_1i,k_2i}，k＝min{k_i},i＝1,2,3，0<β<1；V是设定的李雅普诺夫函数，V₀＝V(s₀)表示函数初值。

为了证明本实施例的有效性，在其他实施例中，进行如下仿真验证：

在本仿真实验中，控制目标是针对非合作目标，设计基于单目传感器的无人机有限时间控制器，使得无人机在有限时间内到达(拦截)非合作目标。本文考虑的是非合作目标，设定目标初始位置为D_G0＝[50,30,4]^Tm，初始速度为V_G0＝[4,2,1]^T m/s，加速度为a_G＝a₀+Δa m/s²，其中Δa＝0.05[sin(2πt/60),sin(2πt/60),sin(2πt/60)]^T m/s²，a₀表达式为：

跟随者为无人机，设定无人机初始位置与初始速度都为0。控制器参数分别为：k_1i＝k_2i＝2，δ_i＝0.001，d_min＝0.6，d_max＝1，α_i＝10。

运用MATLAB软件，对本实施例控制方法中所建立的数学模型进行仿真得到仿真图4到图7。图4表示在地球坐标系下，无人机与非合作目标在XOY平面上的跟踪轨迹。图5表示在地球坐标系下，无人机与非合作目标在三维立体上的跟踪轨迹。可以看出，无人机在有限时间内到达(拦截)非合作目标。图6与图7表示无人机与非合作目标的相对位置与相对速度的轨迹。可以看出，所述基于单目传感器的基于视觉的无人机非合作目标有限时间跟踪方法能够实现对运动目标有着较好的跟踪效果，实现在无GPS信号的环境下，通过无人机对非合作目标的有限时间跟踪控制。

稳定性分析：

设计Lyapunov函数为

积分滑模面为：控制器设计为/>选定合适的设计参数。可得/>其中，k_i＝min(k_1i,k_2i),k＝min(k₁,k₂,k₃),/>根据李雅普诺夫有限时间稳定性定理，可实现无人机在有限时间内到达(拦截)非合作目标。

本实施例在没有通信与未知非合作目标相对位置情况下，利用图像变化情况，将跟踪问题转化成处理带有未知扰动的二阶系统问题。其次避开了传统反步法的局限性，选择积分滑模控制算法，减少计算和抖振。并且考虑了跟踪中的暂态过程，设计了连续的有限时间控制器，使得无人机能在有限时间内到达(拦截)非合作目标。

实施例2：

本实施例提供了一种基于视觉的无人机非合作目标有限时间跟踪系统，包括：

数据采集模块，被配置为：获取非合作目标的图像信息；

所述系统的工作方法与实施例1的基于视觉的无人机非合作目标有限时间跟踪方法相同，这里不再赘述。

实施例3：

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现了实施例1所述的基于视觉的无人机非合作目标有限时间跟踪方法的步骤。

实施例4：

本实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现了实施例1所述的基于视觉的无人机非合作目标有限时间跟踪方法的步骤。

以上所述仅为本实施例的优选实施例而已，并不用于限制本实施例，对于本领域的技术人员来说，本实施例可以有各种更改和变化。凡在本实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本实施例的保护范围之内。

Claims

1.一种基于视觉的无人机非合作目标有限时间跟踪方法，其特征在于，包括：

获取非合作目标的图像信息；

根据图像信息，获取跟踪者与非合作目标的运动方程；

根据图像信息，建立跟踪者与非合作目标的相对动力学方程；

根据比例相对动力学方程，采用积分滑模算法，建立有限时间控制器；

利用建立的有限时间控制器，对跟踪者进行控制；

将非合作目标的几何中心定为特征点；根据特征点，建立地球坐标系下非合作目标的运动方程与跟踪者的运动方程；非合作目标的运动方程与跟踪者的运动方程的差为跟踪者与非合作目标的相对运动方程；

得到比例相对位置方程为非合作目标的加速度减去跟踪者的加速度的差与非合作目标的实际大小的比值；

有限时间控制器为：

其中，为非合作目标的实际大小；/>为积分滑模面；/>为对应/>轴的相对速度；；/>；/>、/>、/>、/>和/>为正数；/>。

2.如权利要求1所述的一种基于视觉的无人机非合作目标有限时间跟踪方法，其特征在于，通过非合作目标在图像平面的大小、非合作目标重心在图像平面的坐标以及获取非合作目标的图像信息时的无人机机载传感器的焦距，根据三角测量定理，获得非合作目标相对于跟随者的方位角和仰角。

3.如权利要求2所述的一种基于视觉的无人机非合作目标有限时间跟踪方法，其特征在于，根据非合作目标相对于跟随者的方位角和仰角，得到在机体坐标系下非合作目标相对于跟随者的相对位置表达式；对机体坐标系下非合作目标相对于跟随者的相对位置表达式进行转换，得到地球坐标系下非合作目标相对于跟随者的相对位置表达式D；

根据小孔成像原理，得到：

其中，为无人机机载传感器焦距；/>为非合作目标的实际大小；/>为非合作目标在图像平面的大小；/>为非合作目标重心在图像平面的坐标。

4.如权利要求1所述的一种基于视觉的无人机非合作目标有限时间跟踪方法，其特征在于，采用单目传感器非合作目标的图像信息。

5.一种基于视觉的无人机非合作目标有限时间跟踪系统，其特征在于，包括：

数据采集模块，被配置为：获取非合作目标的图像信息；

运动方程建立模块，被配置为：根据图像信息，获取跟踪者与非合作目标的运动方程；

相对动力学方程建立模块，被配置为：根据图像信息，建立跟踪者与非合作目标的相对动力学方程；

控制模块，被配置为：利用建立的有限时间控制器，对跟踪者进行控制;

有限时间控制器为：

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现了如权利要求1-4任一项所述的基于视觉的无人机非合作目标有限时间跟踪方法的步骤。

7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现了如权利要求1-4任一项所述的基于视觉的无人机非合作目标有限时间跟踪方法的步骤。