CN111665870B

CN111665870B - 一种轨迹跟踪方法及无人机

Info

Publication number: CN111665870B
Application number: CN202010592286.2A
Authority: CN
Inventors: 张添保
Original assignee: Shenzhen Autel Intelligent Aviation Technology Co Ltd
Current assignee: Shenzhen Autel Intelligent Aviation Technology Co Ltd
Priority date: 2020-06-24
Filing date: 2020-06-24
Publication date: 2024-06-14
Anticipated expiration: 2040-06-24
Also published as: WO2021259253A1; CN111665870A

Abstract

本发明实施例涉及无人机技术领域，公开了一种轨迹跟踪方法及无人机。其中，轨迹跟踪方法应用于无人机，包括无人机主体和云台，云台安装于无人机主体，无人机主体设置有至少一个视觉传感器，所述方法包括：获取至少一个视觉传感器采集的飞行图像，飞行图像包括待跟踪目标；对飞行图像进行视觉图像处理，生成云台转动指令和路径指令；根据云台转动指令和云台的云台状态参数，调整云台的角度，以锁定待跟踪目标；根据路径指令和无人机的飞行状态参数，控制无人机的飞行电机的电机转速，以使无人机按照路径指令跟踪待跟踪目标。通过上述方式，本发明实施例提升了无人机的跟踪性能。

Description

一种轨迹跟踪方法及无人机

技术领域

本发明涉及无人机技术领域，特别是涉及一种轨迹跟踪方法及无人机。

背景技术

随着无人机技术的快速发展，利用无人机对运动目标进行识别和跟踪已得到广泛应用。目前，在利用无人机对运动目标进行跟踪时，需要根据运动目标的位置，不断地进行路径规划，在保持跟踪的前提下避开障碍物飞行。

然而，在实现本发明的过程中，发明人发现上述轨迹跟踪方法仅根据运动目标的位置进行路径规划，导致无人机的跟踪精度不高，降低了无人机的跟踪性能。

发明内容

鉴于上述问题，本发明实施例提供了一种轨迹跟踪方法及无人机，其能够提升无人机的跟踪性能。

为解决上述技术问题，本发明实施例提供以下技术方案：

根据本发明实施例的一个方面，提供了一种轨迹跟踪方法，应用于无人机，包括无人机主体和云台，所述云台安装于所述无人机主体，所述无人机主体设置有至少一个视觉传感器，所述方法包括：

获取所述至少一个视觉传感器采集的飞行图像，所述飞行图像包括待跟踪目标；

对所述飞行图像进行视觉图像处理，生成云台转动指令和路径指令；

根据所述云台转动指令和所述云台的云台状态参数，调整所述云台的角度，以锁定待跟踪目标；

根据所述路径指令和所述无人机的飞行状态参数，控制所述无人机的飞行电机的电机转速，以使所述无人机按照所述路径指令跟踪所述待跟踪目标。

在一些实施例中，所述无人机主体包括机身，所述视觉传感器包括双目传感器；

所述双目传感器数量为6，分别设置于所述机身的上面、下面、左面、右面、前面以及后面。

在一些实施例中，所述云台转动指令包括航偏角指令、俯仰角指令、航偏角转动速度指令以及俯仰角转动速度指令；

所述云台状态参数包括云台姿态角和转动角速率。

在一些实施例中，所述根据所述云台转动指令和所述云台的云台状态参数，调整所述云台的角度，包括：

根据所述航偏角指令、所述俯仰角指令、所述航偏角转动速度指令、所述俯仰角转动速度指令以及所述云台姿态角，生成角速度参考期望值；

根据所述航偏角转动速度指令和所述俯仰角转动速度指令，生成角加速度指令；

根据所述角速度参考期望值、所述角加速度指令以及所述转动角速率，调整所述云台的角度。

在一些实施例中，所述根据所述角速度参考期望值、所述角加速度指令以及所述转动角速率，调整所述云台的角度，包括：

根据所述角速度参考期望值、所述角加速度指令以及所述转动角速率，生成云台控制指令；

利用所述云台控制指令，调整所述云台的角度。

在一些实施例中，所述路径指令包括位置指令、速度指令、加速度指令、加加速度指令、所述航偏角转动速度指令以及所述航偏角指令；

所述飞行状态参数包括位置、速度、航向角、无人机姿态角以及角速度。

在一些实施例中，所述根据所述路径指令和所述无人机的飞行状态参数，控制所述无人机的飞行电机的电机转速，包括：

根据所述位置指令、所述速度指令以及所述位置，生成速度参考期望值；

根据所述速度参考期望值、所述加速度指令以及所述速度，生成加速度参考期望值；

根据所述航向角，获得姿态角参考期望值和油门值；

根据所述加加速度指令、所述航偏角转动速度指令以及所述无人机姿态角，计算角速率指令和角加速度指令；

根据所述姿态角参考期望值、所述油门值、所述航偏角指令、所述无人机姿态角以及所述角速率指令，生成姿态角速率参考期望值；

根据所述姿态角速率参考期望值、所述角速度以及所述角加速度指令，生成归一化力矩控制量；

根据所述归一化力矩控制量和所述油门值，控制所述无人机的飞行电机的电机转速。

在一些实施例中，所述根据所述航向角，获得姿态角参考期望值和油门值，包括：

根据所述航向角，生成第一旋转矩阵；

利用所述第一旋转矩阵，将所述加速度参考期望值转换为姿态角参考期望值和油门值。

在一些实施例中，所述根据所述加加速度指令、所述航偏角转动速度指令以及所述无人机姿态角，计算角速率指令和角加速度指令，包括：

根据所述加加速度指令、所述航偏角转动速度指令以及所述无人机姿态角，生成第二旋转矩阵；

基于所述第二旋转矩阵，计算所述角速率指令和所述角加速度指令。

在一些实施例中，所述根据所述归一化力矩控制量和所述油门值，控制所述无人机的飞行电机的电机转速，包括：

根据所述归一化力矩控制量和所述油门值，生成飞行控制指令；

利用所述飞行控制指令，控制所述无人机的飞行电机的电机转速。

根据本发明实施例的一个方面，提供了一种无人机，包括：

无人机主体，设置有至少一个视觉传感器；

云台，安装于所述无人机主体；

第一传感模块，设置于所述云台，用于获取所述云台的云台状态参数；

第二传感模块，设置于所述无人机主体，用于获取所述无人机的飞行状态参数；

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上任一项所述的轨迹跟踪方法。

根据本发明实施例的一个方面，提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使无人机能够执行如上任一项所述的轨迹跟踪方法。

在本发明实施例中，根据至少一个视觉传感器实时采集的飞行图像、云台的云台状态参数以及无人机的飞行状态参数，调整云台的角度以及控制无人机的飞行电机的电机转速，重复上述调整过程，使得无人机按照对飞行图像处理得到的轨迹精确跟踪待跟踪目标。通过至少一个视觉传感器、云台以及无人机的飞行电机的配合，可提升无人机的跟踪性能。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是本发明实施例提供的轨迹跟踪方法的一种应用场景图；

图2a是图1所示的无人机的其中一个视图的结构示意图；

图2b是图1所示的无人机的另一个视图的结构示意图；

图3是本发明实施例提供的一种轨迹跟踪方法的方法流程图；

图4是图3所示的步骤S53的一种方法流程图；

图5是图4所示的步骤S533的一种方法流程图；

图6是图3所示的步骤S54的一种方法流程图；

图7是图6所示的步骤S543的一种方法流程图；

图8是图6所示的步骤S544的一种方法流程图；

图9是图6所示的步骤S547的一种方法流程图；

图10是本发明实施例提供的一种轨迹跟踪装置的结构示意图；

图11是本发明实施例提供的一种无人机的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。另外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。

此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明实施例提供的轨迹跟踪方法和装置可以应用于如图1所示的应用场景，在图1所示应用场景中，包括无人机100和待跟踪目标300。无人机100可以用于跟踪待跟踪目标300，在无人机100跟踪待跟踪目标300的过程中，有可能会遇到障碍物400。无人机100需跟踪待跟踪目标300的同时躲避障碍物400，以实现正常飞行。

其中，无人机100可以为合适的无人飞行器包括固定翼无人飞行器和旋转翼无人飞行器，例如直升机、四旋翼机和具有其它数量的旋翼和/或旋翼配置的飞行器。无人机100还可以是其他可移动物体，例如载人飞行器、航模、无人飞艇和无人热气球等。待跟踪目标300可以为任何合适的可移动或不可移动物体，包括交通工具、人、动物、建筑物、山川河流等。障碍物400例如建筑物、山体、树木、森林、信号塔或其他可移动或不可移动物体(图1中只示出了一个障碍物，实际应用中可能会有更多障碍物或者没有障碍物)。

其中，如图2a和图2b所示，无人机100包括无人机主体10和云台20，云台20安装于无人机主体10，无人机主体10设置有至少一个视觉传感器。视觉传感器是指利用光学元件和成像装置获取外部环境图像信息的仪器，通常用图像分辨率来描述视觉传感器的性能。视觉传感器的精度不仅与分辨率有关，而且同被测物体的检测距离相关。被测物体距离越远，其绝对精度越差。视觉传感器是无人机视觉系统信息的直接来源，主要由一个或两个图形传感器组成，有时还要配以光投射器及其他辅助设备。图形传感器可以使用激光扫描器、线阵和面阵CCD摄像机、TV摄像机或者数字摄像机。

其中，无人机主体10包括机身，视觉传感器包括双目传感器，双目传感器数量为6，分别设置于机身的上面、下面、左面、右面、前面以及后面。

在本实施例中，至少一个视觉传感器包括上视双目传感器11a、下视双目传感器11b、前视双目传感器11c、后视双目传感器11d、左视双目传感器11e以及右视双目传感器11f。具体的，上视双目传感器11a设置于机身外壳的上方，用于采集无人机100飞行过程中位于无人机100上方的图像。下视双目传感器11b设置于机身外壳的下方，用于采集无人机100飞行过程中位于无人机100下方的图像。前视双目传感器11c设置于机身外壳的前方，用于采集无人机100飞行过程中位于无人机100前方的图像。后视双目传感器11d设置于机身外壳的后方，用于采集无人机100飞行过程中位于无人机100后方的图像。左视双目传感器11e设置于机身外壳的左侧，用于采集无人机100飞行过程中位于无人机100左侧的图像。右视双目传感器11f设置于机身外壳的右侧，用于采集无人机100飞行过程中位于无人机100右侧的图像。

其中，上视双目传感器11a、下视双目传感器11b、前视双目传感器11c、后视双目传感器11d、左视双目传感器11e以及右视双目传感器11f将采集到的图像发送至无人机100的视觉轨迹模块中进行处理。从而，采用多路双目结构的方式降低了对双目传感器的清晰度和分辨率的要求。

在一些实施例中，无人机主体10还包括与机身相连的机臂、设于机臂的动力系统和设于机身的控制系统。动力系统用于提供无人机100飞行的推力、升力等，控制系统是无人机100的中枢神经，可以包括多个功能性单元，例如飞控系统、跟踪系统、路径规划系统、视觉系统以及其他具有特定功能的系统。其中，各个系统可以分别设置，在一些实施例中，上述系统中的部分或全部也可以集成在一个或多于一个的装置中。

在一些实施例中，无人机100根据目标特征对待跟踪目标进行跟踪。在无人机100的一些应用场景中还包括电子设备200，目标特征可以通过电子设备200发送给无人机100。具体的，电子设备200可以显示无人机100拍摄的图片，由用户对图片中的目标进行框选，用户框选的目标图片上传无人机100后，无人机100可以根据该框选的目标图片提取目标特征。无人机100和电子设备200之间，可以通过分别设置在各自内部的无线通信模块(例如信号接收器、信号发送器等)建立通信连接，上传或者下发数据/指令。其中，电子设备200例如智能手机、平板电脑、电脑、遥控器等。

图3是本发明实施例提供的一种轨迹跟踪方法的方法流程图，所述方法可以由图1中所示的无人机100执行。如图3所示，所述方法S500包括：

S51、获取所述至少一个视觉传感器采集的飞行图像，所述飞行图像包括待跟踪目标。

S52、对所述飞行图像进行视觉图像处理，生成云台转动指令和路径指令。

无人机的视觉轨迹规划模块获取上视双目传感器11a、下视双目传感器11b、前视双目传感器11c、后视双目传感器11d、左视双目传感器11e以及右视双目传感器11f发送的6路图像信息，并且，根据6路图像信息，建立实时的环境地图，从环境地图中搜寻可行路径，生成云台转动指令和路径指令。

其中，所述云台转动指令包括航偏角指令、俯仰角指令、航偏角转动速度指令以及俯仰角转动速度指令；所述云台状态参数包括云台姿态角和转动角速率。所述路径指令包括位置指令、速度指令、加速度指令、加加速度指令、所述航偏角转动速度指令以及所述航偏角指令；所述飞行状态参数包括位置、速度、航向角、无人机姿态角以及角速度。

航偏角是无人机的机体轴xt在水平面的投影与地轴xd之间的夹角，可采用陀螺仪等测量型传感器进行测量。俯仰角是无人机机体坐标系x轴与水平面的夹角，当机体坐标系x轴在惯性坐标系XOY平面上方时，俯仰角为正，否则为负。航偏角、俯仰角以及滚转角可用于描述无人机等飞行器的姿态。航偏角转动速度也称航偏角速度、方向角速度或航偏角速率，是无人机绕其坐标系竖轴旋转的角速度，无人机向左偏转时为正，向右偏转时为负。俯仰角转动速度也称俯仰角速度或俯仰角速率，是无人机绕其坐标系y轴旋转的角速度。云台姿态角是由云台坐标系和地理坐标系之间的关系确定的，用云台航偏角、云台俯仰角以及云台滚转角三个欧拉角表示，三者不同的转动顺序会形成不同的坐标变化矩阵，通常用云台航偏角、云台俯仰角以及云台滚转角的顺序来表示云台坐标系相对地理坐标系的空间转动。转动角速率描述了云台绕圆心运动的快慢。

S53、根据所述云台转动指令和所述云台的云台状态参数，调整所述云台的角度，以锁定所述待跟踪目标。

需要说明的是，根据所述云台转动指令和所述云台的云台状态参数，调整所述云台的角度的步骤在无人机的云台控制系统中进行，该云台控制系统包括第一姿态控制器、第一指令转换器以及第一角速率跟踪器。其中，第一姿态控制器、第一指令转换器以及第一角速率跟踪器可全部由硬件或软件实现，也可由硬件或软件组合实现。

如图4所示，所述根据所述云台转动指令和所述云台的云台状态参数，调整所述云台的角度，包括：

S531、根据所述航偏角指令、所述俯仰角指令、所述航偏角转动速度指令、所述俯仰角转动速度指令以及所述云台姿态角，生成角速度参考期望值。

假设航偏角指令为ψ_c，俯仰角指令为θ_c，航偏角转动速度指令为俯仰角转动速度指令为云台姿态角为φ_g,θ_g,ψ_g，转动角速率为ω_xg,ω_yg,ω_zg，则步骤S531具体包括：通过第一姿态控制器获取航偏角指令ψ_c、俯仰角指令θ_c、航偏角转动速度指令俯仰角转动速度指令同时获取云台姿态角φ_g,θ_g,ψ_g，并根据航偏角指令ψ_c、俯仰角指令θ_c、航偏角转动速度指令俯仰角转动速度指令以及云台姿态角φ_g,θ_g,ψ_g，生成角速度参考期望值其表达式如下：

其中，

S532、根据所述航偏角转动速度指令和所述俯仰角转动速度指令，生成角加速度指令。

在本实施例中，通过第一指令转换器获取航偏角转动速度指令和俯仰角转动速度指令并根据航偏角转动速度指令和俯仰角转动速度指令生成角加速度指令其表达式如下：

其中，τ_g为可调参数。

S533、根据所述角速度参考期望值、所述角加速度指令以及所述转动角速率，调整所述云台的角度。

如图5所示，所述根据所述角速度参考期望值、所述角加速度指令以及所述转动角速率，调整所述云台的角度，包括：

S5331、根据所述角速度参考期望值、所述角加速度指令以及所述转动角速率，生成云台控制指令；

S5332、利用所述云台控制指令，调整所述云台的角度。

具体的，通过第一角速率跟踪器获取角速度参考期望值角加速度指令以及转动角速率ω_xg,ω_yg,ω_zg，并根据角速度参考期望值角加速度指令以及转动角速率ω_xg,ω_yg,ω_zg，生成云台控制指令。云台控制指令的表达式如下：

其中，和为可调参数。

在本实施例中，云台控制指令为云台电机的电机PWM指令，利用云台电机的电机PWM指令，控制云台电机转动，以调整云台转到相应的角度，以精确锁定待跟踪目标。

S54、根据所述路径指令和所述无人机的飞行状态参数，控制所述无人机的飞行电机的电机转速，以使所述无人机按照所述路径指令跟踪所述待跟踪目标。

需要说明的是，根据所述路径指令和所述无人机的飞行状态参数，控制所述无人机的飞行电机的电机转速的步骤在无人机的飞控系统中进行，该飞控系统包括位置跟踪器、速度调节器、第二指令转换器、第三指令转换器、第二姿态控制器、第二角速率跟踪器以及指令融合器。其中，位置跟踪器、速度调节器、第二指令转换器、第三指令转换器、第二姿态控制器、第二角速率跟踪器以及指令融合器可全部由硬件或软件实现，也可由硬件或软件组合实现。

如图6所示，所述根据所述路径指令和所述无人机的飞行状态参数，控制所述无人机的飞行电机的电机转速，包括：

S541、根据所述位置指令、所述速度指令以及所述位置，生成速度参考期望值。

假设位置指令为x_c,y_c,z_c，速度指令为V_xc,V_yc,V_zc，加速度指令为a_c,a_c,a_c，加加速度指令为j_xc,j_yc,j_zc，位置为x,y,z，速度为V_x,V_y,V_z，无人机姿态角为φ,θ,ψ，角速度为ω_x,ω_y,ω_z，无人机姿态角φ,θ,ψ包括滚转角、俯仰角以及偏航角，则步骤S541具体包括：通过位置跟踪器获取位置指令x_c,y_c,z_c、速度指令V_xc,V_yc,V_zc以及飞行状态参数中的位置x,y,z，并根据位置指令x_c,y_c,z_c、速度指令V_xc,V_yc,V_zc以及飞行状态参数中的位置x,y,z，生成速度参考期望值V_xr,V_yr,V_zr，其表达式如下：

其中，K_p为可调参数。

S542、根据所述速度参考期望值、所述加速度指令以及所述速度，生成加速度参考期望值。

在本实施例中，通过速度调节器获取速度参考期望值V_xr,V_yr,V_zr、加速度指令a_c,a_c,a_c以及速度V_x,V_y,V_z，并根据速度参考期望值V_xr,V_yr,V_zr、加速度指令a_c,a_c,a_c以及速度V_x,V_y,V_z，生成加速度参考期望值a_xr,a_yr,a_zr，其表达式如下：

其中，K_v为可调参数。

S543、根据所述航向角，获得姿态角参考期望值和油门值。如图7所示，所述根据所述航向角，获得姿态角参考期望值和油门值，包括：

S5431、根据所述航向角，生成第一旋转矩阵。

S5432、利用所述第一旋转矩阵，将所述加速度参考期望值转换为姿态角参考期望值和油门值。

具体的，通过第二指令转换器获取航向角，并根据航向角，生成第一旋转矩阵同时获取加速度参考期望值a_xr,a_yr,a_zr，利用第一旋转矩阵将加速度参考期望值a_xr,a_yr,a_zr进行转换，得到姿态角参考期望值φ_r,θ_r和油门值T，表达式分别如下：

其中，

其中，g为重力加速度，a_max为无人机的最大推重比。其中，推重比是飞机和航空发动机重要的技术性能指标，飞机发动机推力与发动机重力或飞机重力之比，它表示飞机发动机或飞机单位重力所产生的推力。

S544、根据所述加加速度指令、所述航偏角转动速度指令以及所述无人机姿态角，计算角速率指令和角加速度指令。

如图8所示，所述根据所述加加速度指令、所述航偏角转动速度指令以及所述无人机姿态角，计算角速率指令和角加速度指令，包括：

S5441、根据所述加加速度指令、所述航偏角转动速度指令以及所述无人机姿态角，生成第二旋转矩阵；

S5442、基于所述第二旋转矩阵，计算所述角速率指令和所述角加速度指令。

具体的，通过第三指令转换器获取加加速度指令j_xc,j_yc,j_zc，航偏角转动速度指令以及无人机姿态角φ,θ,ψ，并根据加加速度指令j_xc,j_yc,j_zc，航偏角转动速度指令以及无人机姿态角φ,θ,ψ，生成第二旋转矩阵基于第二旋转矩阵计算角速率指令和角加速度指令其表达式分别如下：

其中，

其中，τ为可调参数。

S545、根据所述姿态角参考期望值、所述油门值、所述航偏角指令、所述无人机姿态角以及所述角速率指令，生成姿态角速率参考期望值。

在本实施例中，通过第二姿态控制器获取姿态角参考期望值φ_r,θ_r、油门值T、航偏角指令ψ_c、无人机姿态角φ,θ,ψ以及角速率指令并根据姿态角参考期望值φ_r,θ_r、油门值T、航偏角指令ψ_c、无人机姿态角φ,θ,ψ以及角速率指令生成姿态角速率参考期望值其表达式如下：

其中，

其中，K_A为可调参数。

S546、根据所述姿态角速率参考期望值、所述角速度以及所述角加速度指令，生成归一化力矩控制量。

在实施例中，通过角速率跟踪器获取姿态角速率参考期望值角速度ω_x,ω_y,ω_z以及角加速度指令并根据姿态角速率参考期望值角速度ω_x,ω_y,ω_z以及角加速度指令，生成归一化力矩控制量其表达式如下：

其中，K_w为可调参数，B为无人机自身效率参数，不同的无人机的B值不同。

S547、根据所述归一化力矩控制量和所述油门值，控制所述无人机的飞行电机的电机转速。

如图9所示，所述根据所述归一化力矩控制量和所述油门值，控制所述无人机的飞行电机的电机转速，包括：

S5471、根据所述归一化力矩控制量和所述油门值，生成飞行控制指令。

S5472、利用所述飞行控制指令，控制所述无人机的飞行电机的电机转速。

具体的，通过指令融合器获取归一化力矩控制量和油门值T，并根据归一化力矩控制量和油门值T，生成飞行控制指令，利用飞行控制指令，控制无人机的飞行电机的电机转速。飞行控制指令的表达式如下：

其中，M为分配矩阵，跟无人机有关，不同机型的无人机的M值不同。Kpwm为pwm增益，由无人机的电子调速器决定，pwm_base为基本pwm，由无人机的电子调速器决定。

在本实施例中，飞行控制指令为飞行电机的电机PWM指令，利用飞行电机的电机PWM指令，控制无人机的飞行电机的电机转速，以使无人机按照依据多路双目传感器采集的飞行图像生成的路径指令跟踪待跟踪目标。因此，本发明实施例通过多路双目传感器采集的飞行图像，生成云台转动指令和路径指令，根据云台转动指令和云台状态参数，调整云台的角度，以锁定待跟踪目标，根据路径指令和飞行状态参数，控制无人机的飞行电机的电机转速，以使无人机按照路径指令跟踪待跟踪目标，从而降低了无人机路径规划的更新频率，进而降低了处理器芯片的处理压力。

本发明实施例提供的一种轨迹跟踪方法，根据至少一个视觉传感器实时采集的飞行图像、云台的云台状态参数以及无人机的飞行状态参数，调整云台的角度以及控制无人机的飞行电机的电机转速，重复上述调整过程，使得无人机按照对飞行图像处理得到的轨迹精确跟踪待跟踪目标。通过至少一个视觉传感器、云台以及无人机的飞行电机的配合，可提升无人机的跟踪性能。

相应的，如图10所示，本发明实施例还提供了一种轨迹跟踪装置，所述装置可以应用于图1所示的无人机100，轨迹跟踪装置600包括：

获得模块601，用于获取所述至少一个视觉传感器采集的飞行图像，所述飞行图像包括待跟踪目标。

处理模块602，用于对所述飞行图像进行视觉图像处理，生成云台转动指令和路径指令。调整模块603，用于根据所述云台转动指令和所述云台的云台状态参数，调整所述云台的角度，以锁定所述待跟踪目标。

控制模块604，用于根据所述路径指令和所述无人机的飞行状态参数，控制所述无人机的飞行电机的电机转速，以使所述无人机按照所述路径指令跟踪所述待跟踪目标。

其中，所述云台转动指令包括航偏角指令、俯仰角指令、航偏角转动速度指令以及俯仰角转动速度指令；所述云台状态参数包括云台姿态角和转动角速率。在一些实施例中，调整模块603具体用于：

在一些实施例中，所述根据所述角速度参考期望值、所述角加速度指令以及所述转动角速率，调整所述云台的角度，包括：根据所述角速度参考期望值、所述角加速度指令以及所述转动角速率，生成云台控制指令；利用所述云台控制指令，调整所述云台的角度。

其中，所述路径指令包括位置指令、速度指令、加速度指令、加加速度指令、航偏角转动速度指令以及航偏角指令；所述飞行状态参数包括位置、速度、航向角、无人机姿态角以及角速度。

在一些实施例中，控制模块604具体用于：

根据所述航向角，获得姿态角参考期望值和油门值；

在一些实施例中，所述根据所述航向角，获得姿态角参考期望值和油门值，包括：根据所述航向角，生成第一旋转矩阵；利用所述第一旋转矩阵，将所述加速度参考期望值转换为姿态角参考期望值和油门值。

在一些实施例中，所述根据所述加加速度指令、所述航偏角转动速度指令以及所述无人机姿态角，计算角速率指令和角加速度指令，包括：根据所述加加速度指令、所述航偏角转动速度指令以及所述无人机姿态角，生成第二旋转矩阵；基于所述第二旋转矩阵，计算所述角速率指令和所述角加速度指令。

在一些实施例中，所述根据所述归一化力矩控制量和所述油门值，控制所述无人机的飞行电机的电机转速，包括：根据所述归一化力矩控制量和所述油门值，生成飞行控制指令；利用所述飞行控制指令，控制所述无人机的飞行电机的电机转速。

需要说明的是，上述装置可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在装置实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。

图11是本发明实施例提供的一种无人机的结构示意图，如图11所示，无人机100可应用于图1所示的应用场景中，包括无人机主体10、云台20、第一传感模块30、第二传感模块40、至少一个处理器50以及与所述至少一个处理器50通信连接的存储器60，图11中以其以一个处理器50为例。

其中，无人机主体10包括至少一个视觉传感器11，视觉传感器11用于采集无人机100的飞行图像，飞行图像包括待跟踪目标。云台20安装于无人机主体10，可用于安装、固定摄像设备。第一传感模块30设置于云台20，用于获取云台20的云台状态参数。第二传感模块40设置于无人机主体10，用于获取无人机100的飞行状态参数。存储器60存储有可被至少一个处理器50执行的指令，所述指令被所述至少一个处理器50执行，以使至少一个处理器50能够执行如上述方法实施例所述的轨迹跟踪方法。

其中，处理器50和存储器60可以通过总线或者其他方式连接，图11中以通过总线连接为例。

存储器60作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的轨迹跟踪方法对应的程序指令/模块，例如，图10所示的各个模块。处理器50通过运行存储在存储器60中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例所述的轨迹跟踪方法。

存储器60可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据轨迹跟踪装置的使用所创建的数据等。此外，存储器60可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器60可选包括相对于处理器50远程设置的存储器，这些远程存储器可以通过网络连接至控制无人车行车的装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器60中，当被所述一个或者多个处理器50执行时，执行上述任意方法实施例中的轨迹跟踪方法，例如，执行以上描述的图3-图9的方法步骤，实现图10中的各模块和各单元的功能。

上述无人机可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。

本发明实施例还提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，所述计算机可执行指令用于使无人机能够执行如上述任意实施例所述的轨迹跟踪方法。

本发明实施例还提供了一种计算机程序产品，包括存储在非易失性计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任意方法实施例所述的轨迹跟踪方法，例如，执行以上描述的图3-图9的方法步骤，实现图10中的各模块和各单元的功能。

需要说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施例的描述，本领域普通技术人员可以清楚地了解到各实施例可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种轨迹跟踪方法，应用于无人机，包括无人机主体和云台，所述云台安装于所述无人机主体，所述无人机主体包括机身，所述无人机主体设置有6个双目传感器，所述6个双目传感器分别设置于所述机身的上面、下面、左面、右面、前面以及后面，其特征在于，所述方法包括：

获取所述6个双目传感器采集的飞行图像，所述飞行图像包括待跟踪目标；

对所述飞行图像进行视觉图像处理，基于所述飞行图像生成云台转动指令和路径指令，所述云台转动指令包括航偏角指令、俯仰角指令、航偏角转动速度指令以及俯仰角转动速度指令；

根据所述角速度参考期望值、所述角加速度指令以及所述云台的转动角速率，调整所述云台的角度，以锁定所述待跟踪目标；

根据所述路径指令和所述无人机的飞行状态参数，控制所述无人机的飞行电机的电机转速，以使所述无人机按照所述路径指令跟踪所述待跟踪目标；

所述角速度参考期望值的表达式如下：

其中，所述表达式中：

为角速度参考期望值，为航偏角指令，为俯仰角指令，为航偏角转动速度指令，为俯仰角转动速度指令，为云台姿态角，为转动角速率。

2.根据权利要求1所述的方法，其特征在于，所述根据所述角速度参考期望值、所述角加速度指令以及所述云台的转动角速率，调整所述云台的角度，包括：

利用所述云台控制指令，调整所述云台的角度。

3.根据权利要求1所述的方法，其特征在于，

所述路径指令包括位置指令、速度指令、加速度指令、加加速度指令、所述航偏角转动速度指令以及所述航偏角指令；

4.根据权利要求3所述的方法，其特征在于，所述根据所述路径指令和所述无人机的飞行状态参数，控制所述无人机的飞行电机的电机转速，包括：

根据所述航向角，获得姿态角参考期望值和油门值；

5.根据权利要求4所述的方法，其特征在于，所述根据所述航向角，获得姿态角参考期望值和油门值，包括：

根据所述航向角，生成第一旋转矩阵；

6.根据权利要求5所述的方法，其特征在于，所述根据所述加加速度指令、所述航偏角转动速度指令以及所述无人机姿态角，计算角速率指令和角加速度指令，包括：

7.根据权利要求4-6任一项所述的方法，其特征在于，所述根据所述归一化力矩控制量和所述油门值，控制所述无人机的飞行电机的电机转速，包括：

8.一种无人机，其特征在于，包括：

无人机主体，设置有至少一个视觉传感器；

云台，安装于所述无人机主体；

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-7任一项所述的轨迹跟踪方法。

9.一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使无人机能够执行如权利要求1-7任一项所述的轨迹跟踪方法。