[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2023272633A1 - 无人机的控制方法、无人机、飞行系统及存储介质 - Google Patents

无人机的控制方法、无人机、飞行系统及存储介质 Download PDF

Info

Publication number
WO2023272633A1
WO2023272633A1 PCT/CN2021/103776 CN2021103776W WO2023272633A1 WO 2023272633 A1 WO2023272633 A1 WO 2023272633A1 CN 2021103776 W CN2021103776 W CN 2021103776W WO 2023272633 A1 WO2023272633 A1 WO 2023272633A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
drone
uav
preset
obstacle
Prior art date
Application number
PCT/CN2021/103776
Other languages
English (en)
French (fr)
Inventor
聂谷洪
李鑫超
王栋
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to PCT/CN2021/103776 priority Critical patent/WO2023272633A1/zh
Priority to CN202180087991.XA priority patent/CN116724281A/zh
Publication of WO2023272633A1 publication Critical patent/WO2023272633A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions

Definitions

  • the present application relates to the technical field of flight control, and in particular to a method for controlling an unmanned aerial vehicle, an unmanned aerial vehicle, a flight system, and a storage medium.
  • UAVs such as plant protection UAVs
  • flight safety includes the safety of operators and the safety of UAVs.
  • the UAVs currently on the market are only equipped with radar devices as sensing devices. Since the radar devices cannot cover all scenarios of UAV flight, it will inevitably bring about flight safety problems.
  • the embodiment of the present application provides a method for controlling a drone, the method comprising:
  • a target control strategy is determined according to the current working condition of the drone
  • the UAV is controlled to perform corresponding operations according to the target control strategy.
  • the embodiment of the present application also provides a drone, which includes a visual sensor, a radar device, a memory, and a processor;
  • the vision sensor is used to capture images and the radar device uses radar data
  • the memory is used to store computer programs
  • the processor is configured to execute the computer program and implement the following steps when executing the computer program:
  • the UAV is controlled to perform corresponding operations according to the target control strategy.
  • the embodiment of the present application also provides a flight system, the flight system includes the drone and the control terminal according to any one of the embodiments of the present application, and the control terminal user controls the drone flight.
  • the embodiment of the present application also provides a computer-readable storage medium, the computer-readable storage medium stores a computer program, and when the computer program is executed by a processor, the processor realizes the implementation of the present application.
  • Fig. 7 is a schematic diagram of the effect of another output recognition target provided by the embodiment of the present application.
  • UAVs use radar devices to collect information about obstacles, and perform obstacle-avoiding flight based on the information of obstacles. These scenarios are the ones that cannot be covered by radar devices.
  • the detection by the radar device may fail, and the blades of the UAV may injure people.
  • the detection ability of the radar device is weak or the detection effect is not good, and it cannot avoid obstacles well, and there may be collisions. possible.
  • the drone 100 may include two or more tripods, and the radar device 20 is mounted on one of the tripods.
  • the radar device 20 can also be mounted on other positions of the drone 100, which is not specifically limited.
  • the power system 11 may include one or more electronic governors (referred to as ESCs for short), one or more propellers and one or more motors corresponding to the one or more propellers, wherein the motors are connected between the electronic governor and the Between the propellers, the motor and the propeller are arranged on the arm of the UAV 100; the electronic governor is used to receive the drive signal generated by the control system, and provide drive current to the motor according to the drive signal to control the speed of the motor.
  • ESCs electronic governors
  • the drone 100 may be a plant protection drone, which includes a spraying system for spraying pesticides or fertilizers on crops.
  • the UAV 100 may include a rotor-type UAV, such as a quad-rotor UAV, a six-rotor UAV, an octo-rotor UAV, or a fixed-wing UAV, or a combination of a rotor-type and a fixed-wing unmanned aerial vehicle.
  • a rotor-type UAV such as a quad-rotor UAV, a six-rotor UAV, an octo-rotor UAV, or a fixed-wing UAV, or a combination of a rotor-type and a fixed-wing unmanned aerial vehicle.
  • the combination of machines is not limited here.
  • FIG. 3 shows a structure of a flight system provided by an embodiment of the present application, and the flight system includes a drone 100 and a control terminal 200 .
  • the control terminal 200 is located at the ground end of the flight system and can communicate with the UAV 100 in a wireless manner for remote control of the UAV 100 .
  • the unmanned aerial vehicle 100 specifically the controller of the control system of the unmanned aerial vehicle 100, can be used to implement any one of the control methods for the unmanned aerial vehicle provided in the embodiments of the present application, so as to improve the flight safety of the unmanned aerial vehicle and pedestrian safety.
  • the controller is used to: collect images through the visual sensor carried on the UAV; when it recognizes that the image includes a preset type of target, determine the target control strategy according to the current working condition of the UAV; according to the target
  • the control strategy controls the UAV to perform corresponding operations, such as stopping the propeller (that is, controlling the UAV to stop driving the propeller to rotate), locking in a certain flight position, or continuing to perform preset operations, etc.
  • stopping the propeller that is, controlling the UAV to stop driving the propeller to rotate
  • locking in a certain flight position or continuing to perform preset operations, etc.
  • FIG. 4 is a schematic flowchart of steps of a method for controlling a drone provided in an embodiment of the present application.
  • the method for controlling the drone includes steps S101 to S103.
  • the visual sensor mounted on the UAV collects images and performs target recognition on the images.
  • the working condition of the man-machine determines the target control strategy, which is the strategy used to control the UAV, and controls the UAV to perform corresponding operations according to the target control strategy to improve the safety of the UAV. including pedestrian safety.
  • the corresponding operation is specifically a specific strategy in the target control strategy, for example, controlling the drone to stop propellers, controlling the landing of the drone, controlling the hovering of the drone, continuing to fly, sending out an alarm message, and so on.
  • the preset types of targets in the scene that the radar device cannot cover can be divided into a preset first type and a preset second type, wherein the preset first The type is a threatening obstacle that affects the flight safety of the UAV, and the second default type is a non-threatening obstacle that does not affect the flight safety of the UAV.
  • the preset first The type is a threatening obstacle that affects the flight safety of the UAV
  • the second default type is a non-threatening obstacle that does not affect the flight safety of the UAV.
  • the visual sensor carried by the drone can be used to collect images.
  • the image includes an object with an inclined surface
  • the current flight information of the drone flight height, flight speed and flight direction, etc.
  • a target control strategy is determined, and the UAV is controlled to perform corresponding operations according to the target control strategy.
  • the target control strategy may be to control the drone to stop, and the brake can specifically control the drone to hover at a certain position to avoid hitting the object.
  • S204 Perform target detection on the image to obtain a first detection result, and perform multi-target tracking detection on the image to obtain a second detection result.

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

一种无人机的控制方法、无人机、飞行系统及存储介质，其中，该方法包括：通过无人机上搭载的视觉传感器采集图像(S101)；当识别到所述图像中包括预设类型的目标时，根据当前所述无人机所处的工况确定目标控制策略(S102)；根据所述目标控制策略控制所述无人机执行相应的操作(S103)。

Description

无人机的控制方法、无人机、飞行系统及存储介质 技术领域
本申请涉及飞行控制技术领域，尤其涉及一种无人机的控制方法、无人机、飞行系统以及存储介质。
背景技术
无人机，比如植保无人机，对其飞行作业的要求越来越高，尤其是飞行安全要求，飞行安全包括作业人员的安全以及无人机的安全。然而目前市面上的无人机仅安装有雷达装置作为感知设备，由于雷达装置不能覆盖无人机飞行的所有场景，由此必然会带来飞行安全问题。
发明内容
本申请实施例供了一种无人机的控制方法、无人机、飞行系统及存储介质，以提高无人机的飞行安全。
第一方面，本申请实施例提供了一种无人机的控制方法，所述方法包括：
通过无人机上搭载的视觉传感器采集图像；
当识别到所述图像中包括预设类型的目标时，根据当前所述无人机所处的工况确定目标控制策略；
根据所述目标控制策略控制所述无人机执行相应的操作。
第二方面，本申请实施例还提供了一种无人机，所述无人机包括视觉传感器、雷达装置、存储器和处理器；
所述视觉传感器用于拍摄图像，所述雷达装置采用雷达数据；
所述存储器用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
通过无人机上搭载的视觉传感器采集图像；
当识别到所述图像中包括预设类型的目标时，根据当前所述无人机所处的工况确定目标控制策略；
根据所述目标控制策略控制所述无人机执行相应的操作。
第三方面，本申请实施例还提供了一种飞行系统，所述飞行系统包括如本申请实施例提供的任一项所述的无人机和控制终端，所述控制终端用户控制无人机飞行。
第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如本申请实施例提供的任一项所述的无人机的控制方法的步骤。
本申请实施例公开的无人机的控制方法、无人机、飞行系统及存储介质，通过无人机上搭载的视觉传感器采集图像；当识别到所述图像中包括预设类型的目标时，根据当前所述无人机所处的工况确定目标控制策略；根据所述目标控制策略控制所述无人机执行相应的操作。可以应用于雷达装置无法覆盖的场景，由此可以提高无人机的飞行安全性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种无人机的结构示意图；
图2是本申请实施例提供的无人机的飞行控制系统的示意性框图；
图3是本申请实施例提供的一种飞行系统的结构示意图；
图4是本申请实施例提供的一种无人机的控制方法的步骤示意流程图；
图5是本申请实施例提供的显示告警信息的效果示意图；
图6是本申请实施例提供的输出识别目标的效果示意图；
图7是本申请实施例提供的另一种输出识别目标的效果示意图；
图8是本申请实施例提供的显示图像的效果示意图；
图9是本申请实施例提供的另一种无人机的控制方法的步骤示意流程图；
图10是本申请实施例提供的一种无人机的示意框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
目前，对无人机的飞行安全越来越重视，尤其是作业人员等行人的安全，比如，植保无人机(植保机)，随着植保无人机对作业效率的要求越来越高，植保机的载重也变得越来越重，植保机的杀伤力也会越来越强，有可能会造成作业人员受伤，对于安全的要求也会越来越高。
但是目前无人机均是采用雷达装置采集障碍物的信息，根据障碍物的信息进行避障飞行，然而发明人发现针对一些场景，使用雷达装置进行避障飞行会给无人机或作业人员带来危险，这些场景即为雷达装置无法覆盖的场景。
示例性的，比如，在无人机处于起飞阶段时，由于无人机的飞行高度相对行人偏低，雷达装置检测可能失效，出现无人机的桨叶伤人。再比如，无人机在作业过程中，如出现墓碑等具有倾斜表面的物体的场景下，导致雷达装置的 检测能力弱或检测效果不好，不能很好地避障，进而可能会出现撞击的可能。
此外，发明人还发现：无人机在作业过程中，如无人机旁边出现茅草、昆虫群、飞鸟等不应该避障的场景，可能误触发雷达避障，导致无人机作业终止或作业路径重新规划，进而影响作业效果和作业效率。
为此，本申请的实施例提供了一种无人机的控制方法、无人机、飞行系统及存储介质，以提高无人机的飞行安全性，同时还可以提高无人机在执行作业的作业效率。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参阅图1和图2，图1示出了本申请实施例提供的一种无人机100的结构，图2示出了本申请实施例提供的无人机100的飞行控制系统的结构框架。如图1和图2所示，无人机100可以包括机架10、动力系统11、控制系统12和雷达装置20。
在本申请的实施例中，无人机100还搭载有视觉传感器，用于拍摄无人机的周围图像，该视觉传感器也可以称为拍摄装置，比如为相机，或者也可以为双目相机等。
机架10可以包括机身和脚架(也称为起落架)。机身可以包括中心架以及与中心架连接的一个或多个机臂，一个或多个机臂呈辐射状从中心架延伸出。脚架与机身连接，用于在无人机100着陆时起支撑作用。
雷达装置20，可以安装在无人机上，具体可以安装在无人机100的机架10上，在无人机100的飞行过程中，用于测量无人机100的周围环境，比如障碍物等，以确保飞行的安全性。在本申请的实施例中，视觉传感器也可以安装无人机100的机架上。
该雷达装置20、视觉传感器均与控制系统12通信连接，雷达装置20将采集到的观测数据传输至控制系统12，由控制系统12进行处理，视觉传感器将采集的图像传输至控制系统12，由控制系统12进行处理。
需要说明的是，无人机100可以包括两个或两个以上脚架，雷达装置20搭载在其中一个脚架上。雷达装置20也可以搭载在无人机100的其他位置，对此不作具体限定。
雷达装置20主要包括射频前端模块和信号处理模块，射频前端模块可以包 括发射天线和接收天线，发射天线用于向目标发送信号，接收天线用于接收被目标反射回来的信号，信号处理模块负责产生调制信号以及对采集的中频信号进行处理分析，其中目标比如为建筑物、铁塔、农作物等。
动力系统11可以包括一个或多个电子调速器(简称为电调)、一个或多个螺旋桨以及与一个或多个螺旋桨相对应的一个或多个电机，其中电机连接在电子调速器与螺旋桨之间，电机和螺旋桨设置在无人机100的机臂上；电子调速器用于接收控制系统产生的驱动信号，并根据驱动信号提供驱动电流给电机，以控制电机的转速。
电机用于驱动螺旋桨旋转，从而为无人机100的飞行提供动力，该动力使得无人机100能够实现一个或多个自由度的运动。在某些实施例中，无人机100可以围绕一个或多个旋转轴旋转。例如，上述旋转轴可以包括横滚轴、偏航轴和俯仰轴。应理解，电机可以是直流电机，也可以是永磁同步电机。或者，电机可以是无刷电机，也可以是有刷电机。
控制系统12可以包括控制器和传感系统。控制器用于控制无人机100的飞行，例如，可以根据传感系统测量的姿态信息控制无人机100的飞行。应理解，控制器可以按照预先编好的程序指令对无人机100进行控制。传感系统用于测量无人机100的姿态信息，即无人机100在空间的位置信息和状态信息，例如，三维位置、三维角度、三维速度、三维加速度和三维角速度等。
传感系统例如可以包括陀螺仪、超声传感器、电子罗盘、惯性测量单元(Inertial Measurement Unit，IMU)、视觉传感器、全球导航卫星系统和气压计等传感器中的至少一种。例如，全球导航卫星系统可以是全球定位系统(Global Positioning System，GPS)。
控制器可以包括一个或多个处理器和存储器。处理器例如可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等。存储器可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
在一些实施例中，该无人机100可以为植保无人机，该植保无人机包括喷洒系统，用于对农作物喷洒农药或化肥等。
无人机100可以包括旋翼型无人机，例如四旋翼无人机、六旋翼无人机、 八旋翼无人机，也可以是固定翼无人机，还可以是旋翼型与固定翼无人机的组合，在此不作限定。
如图3所示，图3示出了本申请实施例提供的一种飞行系统的结构，该飞行系统包括无人机100和控制终端200。控制终端200为位于飞行系统的地面端，可以通过无线方式与无人机100进行通信，用于对无人机100进行远程操纵。
其中，控制终端200还包括终端设备201，该终端设备201比如为手机或平板电脑等，用于显示无人机100的控制界面以及视觉传感器采集的图像等，以及还可以显示雷达装置采集的雷达数据，以及无人机100周围目标的识别结果等。
应理解，上述对于无人机100各组成部分的命名仅是出于标识的目的，并不应理解为对本说明书的实施例的限制。该无人机100，具体为无人机100的控制系统的控制器，可以用于执行本申请实施例提供的任一项所述的无人机的控制方法，以提高无人机的飞行安全以及行人的安全。
示例性的，比如控制器用于：通过无人机上搭载的视觉传感器采集图像；当识别到图像中包括预设类型的目标时，根据当前无人机所处的工况确定目标控制策略；根据目标控制策略控制无人机执行相应的操作，比如停桨(即控制无人机停止驱动螺旋桨转动)、锁定在某个飞行位置，或继续执行预设作业等。由此可以提高无人机的飞行安全。
为了便于理解，以下基于上述实施例中的无人机或无人机的飞行系统，对本申请实施例提供无人机的控制方法，进行详细介绍。
请参阅图4，图4是本申请实施例提供的一种无人机的控制方法的步骤示意流程图。
如图4所示，该无人机的控制方法包括步骤S101至步骤S103。
S101、通过无人机上搭载的视觉传感器采集图像；
S102、当识别到所述图像中包括预设类型的目标时，根据当前所述无人机所处的工况确定目标控制策略；
S103、根据所述目标控制策略控制所述无人机执行相应的操作。
在一些场景中，比如雷达装置无法覆盖的场景，通过无人机上搭载的视觉传感器采集图像，并对该图像进行目标识别，当识别到所述图像中包括预设类 型的目标时，根据当前无人机所处的工况确定目标控制策略，该目标控制策略为用于控制无人机的策略，并根据该目标控制策略控制无人机执行相应的操作，以提高无人机的安全性，包括对行人的安全性。
该相应的操作具体为目标控制策略中的具体策略，示例性的，比如为控制无人机停桨、控制无人机降落、控制无人机悬停、继续飞行、发出告警信息等等。
预设类型的目标为无人机通过其搭载的雷达装置进行检测，但是可能会导致检测效果不好的目标。比如起飞阶段或降落阶段无人机周围的行人目标、或者飞行过程出现类似墓碑等具有倾斜表面的物体的目标等。
无人机所处的工况包括无人机所处的飞行状态和/或所处的环境信息等，飞行状态比如为处于起飞准备状态、降落准备状态、悬停状态、飞行状态、执行任务状态(例如，巡检、植保等)等，所处的环境信息比如可以周围环境包括的目标(比如障碍物)以及当前无人机至目标的距离等。
在一些实施例中，为了提高无人机的飞行安全性，可以将雷达装置无法覆盖的场景中目标的预设类型分为预设第一类型和预设第二类型，其中，预设第一类型为影响无人机飞行安全的威胁障碍物，预设第二类型为不影响无人机飞行安全的非威胁障碍物。由此方便在不同的预设类型，根据当前无人机所处的工况确定目标控制策略，以提高无人机的飞行安全性。
需要说明的是，不同的预设类型，即使当前无人机所处的工况相同时，所确定目标控制策略也可能不同；相同的预设类型，当前无人机所处的工况不相同时，所确定目标控制策略也可能不同。
示例性的，比如预设第一类型的第一目标包括行人、具有倾斜表面的物体(例如墓碑)中的一种或多种，预设第二类型的第二目标包括飞鸟、昆虫及茅草中的一种或多种。
需要说明的是，对于具有倾斜表面的物体，可能会导致雷达装置的检测失效，由此可能会导致无人机撞击到具有倾斜表面的物体，比如农田中的墓碑，由此降低了无人机飞行安全问题。
为此可以采用通过无人机上搭载的视觉传感器采集图像，当识别到所述图像中包括具有倾斜表面的物体时，根据当前所述无人机飞行信息(飞行高度、飞行速度和飞行方向等)确定目标控制策略，根据所述目标控制策略控制所述 无人机执行相应的操作。目标控制策略比如可以是控制无人机进行刹停，该刹停具体可以控制无人机悬停某个位置，以避免撞击该物体。
对于具有倾斜表面的物体的目标控制策略，还可以将包括该物体的图像发送无人机的控制终端(比如手机或FPV)进行显示，以便操作人员根据显示的图像中物体的大小判断无人机距离该目标的远近，图像中物体的大小为物体在图像中所占像素的多少，由此可以确定无人机是否接近该物体，进而通过无人机的控制终端触发刹停指令，无人机在接收到刹停指令响应该刹停指令控制无人机刹停。由此可以提高无人机的飞行安全性。
可以理解的是，预设第一类型和预设第二类型还可以包括其他类似的目标，在此不做限定。
在一些实施例中，预设类型包括预设第一类型，对视觉传感器采集的图像进行目标识别，当识别到图像中包括预设第一类型的第一目标时，根据当前无人机所处的工作状态和当前无人机至第一目标的距离，确定目标控制策略，根据目标控制策略控制无人机执行相应的操作，以提高飞行的安全性。
示例性的，比如，当识别到图像中包括预设第一类型的第一目标时，且无人机所处的工作状态为起飞准备状态以及当前第一目标的距离小于第一预设阈值时，控制无人机停桨；或者，无人机所处的工作状态为起飞准备状态以及当前第一目标的距离大于或等于第一预设阈值时，控制无人机起桨。
例如，当在起飞准备阶段，检测到行人时，在远程遥控终端的显示屏上显示人体框，并通过距离传感器(例如雷达)获取行人的距离，根据距离判断是否停桨，并通过远程遥控终端进行报警提示。报警提示可以通过显示目标类别等实现，例如，检测到行人。
需要说明的是，当前第一目标的距离为当前无人机至第一目标的距离，可以由雷达装置测量，当然也可以由视觉传感器测量得到。
示例性的，再比如，当识别到图像中包括预设第一类型的第一目标时，且无人机处于降落准备状态以及当前第一目标的距离大于第二预设阈值时，控制无人机降落。
示例性的，再比如，当识别到图像中包括预设第一类型的第一目标时，且无人机处于降落准备状态以及当前第一目标的距离小于或等于第二预设阈值时，控制无人机悬停。
示例性的，再比如，当识别到图像中包括预设第一类型的第一目标时，且无人机处于降落准备状态以及当前第一目标的距离小于或等于第二预设阈值时，控制无人机悬停并发送告警信息至无人机的控制终端以提示用户。告警信息用于提示操作人员无人机当前不适合降落。
示例性的，再比如，当识别到图像中包括预设第一类型的第一目标时，且无人机处于降落准备状态以及当前第一目标的距离小于或等于第二预设阈值时，控制无人机朝远离第一目标的方向飞行，直至距离大于第二预设阈值时控制无人机降落。
示例性的，再比如，当识别到图像中包括预设第一类型的第一目标时，且无人机处于低空悬停状态，控制无人机悬停在当前悬停位置，或，控制无人机悬停在当前悬停位置并发送告警信息至无人机的控制终端。其中，所述低空悬停状态为悬停高度小于或等于预设悬停高度。
需要说明的是，第一预设阈值和第二预设阈值可能根据实际应用进行设置，也可以由用户进行设置，只要满足安全需求即可。其中，第一预设阈值和第二预设阈值可以相同，也可以不同。
示例性的，如图5所示，可将告警信息发送至无人机100的控制终端200的终端设备201进行显示，以便操作用户可以查看该告警信息，进而知晓无人机的当前情况。
比如，第一目标为用户，告警信息用于提示用户远离该无人机，以便可以在当前第一目标的距离大于或等于第一预设阈值时，控制所述无人机起桨。或者，告警信息用于提示操作人员无人机当前不适合降落等等。由此不仅可以提高无人机的飞行安全，还可以提高操作人员的体验度。
在一些实施例中，预设类型包括预设第二类型，对视觉传感器采集的图像进行目标识别，当识别到图像中包括预设第二类型的第二目标时，根据无人机所执行的预设作业状态，按照当前的飞行路线控制无人机继续飞行并执行预设作业，其中，该预设作业包括如下至少一种：巡航作业、喷洒作业。由此不仅可以提高无人机的飞行安全，还可以提高作业效率。
在一些实施例中，由于预设第二类型不会影响无人机的飞行安全，因此该控制方法还可以删除所述无人机搭载的雷达装置采集关于第二目标的目标跟踪航迹。
在一些实施例中，为了进一步地提高无人机的飞行安全性，根据目标控制策略控制无人机执行相应的操作，具体还可以获取雷达装置采集的雷达数据和视觉传感器采集的图像，融合雷达数据和图像确定无人机周围的障碍物信息，并根据障碍物信息控制无人机飞行，进而提高无人机避障飞行的安全性。
在本申请的实施例中，障碍物信息包括如下至少一种：类别信息、距离信息和置信度信息，类别信息用于表示障碍物的类别，距离信息为无人机至障碍物的距离，置信度信息为用于确定障碍物的类别的概率。
在一些实施例中，融合雷达数据和图像确定无人机周围的障碍物信息，具体可以根据图像确定无人机周围存在的障碍物以及障碍物的类别信息和置信度信息，再根据雷达数据确定障碍物至无人机的距离信息，融合障碍物的类别信息和距离信息得到所述障碍物的障碍物信息。
其中，根据图像确定无人机周围存在的障碍物以及障碍物的类别信息和置信度信息，具体可以对图像进行目标检测得到第一检测结果，以及对图像进行多目标跟踪检测得到第二检测结果，再融合第一检测结果和第二检测结果，得到无人机周围的障碍物以及障碍物的类别信息和置信度信息。通过目标检测和多目标跟踪检测，可以更为准确地识别障碍物的类别信息和置信度信息，以确保无人机飞行的安全性。
具体地，对图像进行目标检测得到第一检测结果，可以基于预先训练好的目标检测模型，对图像进行识别并输出识别到障碍物的类别识别框和置信度信息，其中，所述目标检测模型为基于卷积神经网络训练得到的。
示例性的，比如如图6所示，基于预先训练好的目标检测模型对图像进行识别，比如识别无人机周围出现行人，可以输出行人的目标识别框以及对应的置信度信息99％，具体表示障碍物为行人的概率为99％。比如如7所示，基于预先训练好的目标检测模型对图像进行识别，比如识别无人机周围出现飞鸟群，可以输出飞鸟群的目标识别框以及对应的置信度信息98％，具体表示障碍物为飞鸟的概率为98％。
需要说明的是，卷积神经网络为神经网络的一种，其神经元可以响应一部分覆盖范围内的周围单元，适用于图像处理，内部包含大量的卷积操作。数学上地，卷积神经网络中的一层(卷积层)，接收一个激活张量，然后用层中的卷积权重对其进行卷积运算。由此可以准确地识别出障碍物的类别信息以及对 应的置信度信息。
具体地，对图像进行多目标跟踪检测得到第二检测结果，可以基于预先训练好的多目标跟踪器，对图像进行识别，得到障碍物的类别识别框以及障碍物的运行轨迹。
在一些实施例中，对图像进行多目标跟踪检测得到第二检测结果，具体可以获取所述目标检测模型识别到的障碍物对应的图像特征，基于预先训练好的多目标跟踪器，根据该图像特征对图像进行识别，得到障碍物的类别识别框以及障碍物的运行轨迹。其中，所述图像特征至少包括如下至少一种：颜色信息、纹理信息。由此可以快速准确地识别障碍物的类别。
需要说明的是，还可以根据运动轨迹进一步地判断目标(障碍物)的运动趋势，并结合无人机的工况来确定目标控制策略，以提高无人机的飞行安全性。
在一些实施例中，为了让无人机的操作人员知晓无人机的飞行情况，避免操作人员的误操作，还可以将视觉传感器采集的图像发送给无人机的控制终端进行显示，其中，图像至少包括障碍物的类别识别框。
示例性的，如图8所示，无人机100可以视觉传感器采集的图像发送给无人机的控制终端200上的终端201(比如手机)进行显示，其中，显示的图像中至少包括障碍物的类别识别框，比如为飞鸟以及为飞鸟的概率为98％，以让操作人员知晓无人机的飞行情况以及遇见的障碍物信息。
在一些实施例中，无人机100还可以将对图像进行检测的检测结果发送给无人机的控制终端进行显示，具体可以在控制终端显示的控制界面中实时显示该检测结果，该检测结果可以第一检测结果和/或第二检测结果，或者是融合第一检测结果和第二检测结果的数据，用于表示目标相对无人机的位置。由此可以防止操作员误操作，以提高无人机的飞行安全性。
在一些实施例中，为了提高无人机的飞行安全性，同时节省无人机的电量，可以在确定无人机处于目标飞行状态时，开启无人机搭载的视觉传感器执行本申请提供的无人机的控制方法，其中，目标飞行状态包括处于起飞准备状态、降落准备状态、悬停状态、飞行状态、执行任务状态(比如喷洒作业等)中的至少一项，在其他飞行状态可以不开启视觉传感器而使用雷达装置进行飞行控制。进而在提高无人机的飞行安全性，同时又节省无人机的电量。
在一些实施例中，为了提高无人机的飞行安全性，同时又可以节省无人机 的电量，在通过视觉传感器采集图像时，还可以降低视觉传感器的采集帧率至预设帧率，以预设帧率控制视觉传感器采集图像，该预设帧率可以确定采集的图像能用于识别到预设类型的目标，同时又低于正常采集的帧率，进而到达省电的目的。
上述实施例提供的无人机的控制方法，可以在雷达装置无法覆盖的场景中，通过视觉传感器采集的图像包括预设类型的目标，再结合无人机的工况确定相应的目标控制策略，对无人机进行控制，进而提供无人机的飞行安全性，同时还可以提高无人机的作业效率。
请参阅图9，图9示出了本申请实施例提供的另一种无人机的飞行控制方法的步骤流程。
如图9所示，该无人机的控制方法包括步骤S201至S205。
S201、通过无人机上搭载的视觉传感器采集图像。
S202、当识别到所述图像中包括预设类型的目标时，根据当前所述无人机所处的工况确定目标控制策略。
其中，该目标控制策略为使用无人机搭载的雷达装置和视觉传感器的融合数据进行相应的操作，比如为避障飞行等。
S203、获取所述雷达装置采集的雷达数据和所述视觉传感器采集的图像。
S204、对所述图像进行目标检测得到第一检测结果，以及对所述图像进行多目标跟踪检测得到第二检测结果。
具体地，可以基于预先训练好的目标检测模型，对所述图像进行识别得到第一检测结果，其中，第一检测结果包括识别到的障碍物的类别识别框和置信度信息，目标检测模型为基于卷积神经网络训练得到的。
具体地，基于预先训练好的多目标跟踪器，对所述图像进行识别，得到第二检测结果，其中，第二检测结果包括识别到的障碍物的类别识别框以及所述障碍物的运行轨迹。
S205、融合所述第一检测结果和第二检测结果，得到所述无人机周围的障碍物的障碍物信息。
其中，所述障碍物信息包括如下至少一种：类别信息、距离信息和置信度信息。
S206、根据所述障碍物信息控制所述无人机飞行。
示例性的，可以根据障碍物信息控制所述无人机进行避障飞行，或者控制无人机停桨，再或者控制无人机进行悬停等。
上述实施例提供的无人机的控制方法，可以在无人机搭载的雷达装置无法覆盖的场景中，通过视觉传感器采集的图像包括预设类型的目标，再结合无人机的工况确定相应的目标控制策略，即通过两次融合确定无人机周围的障碍物信息，进而根据障碍物信息对无人机进行控制，由此可以提供无人机的飞行安全性，同时还可以提高无人机的作业效率。
请参阅图10，图10是本申请实施例提供的一种无人机的示意性框图。如图10所示，该无人机300还至少包括一个或多个处理器301、存储器302、雷达303和拍摄装置304，该拍摄装置304为视觉传感器。
处理器301例如可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等。
存储器302可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
雷达303用于对作业区域进行扫描，获取无人机周围的雷达数据，拍摄装置304用于拍摄无人机的周围环境的图像。
其中，存储器302用于存储计算机程序；处理器301用于执行所述计算机程序并在执行所述计算机程序时，执行本申请实施例提供的任一项所述的无人机的控制方法，以提高无人机的飞行安全性。
示例性的，所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
通过无人机上搭载的视觉传感器采集图像；当识别到所述图像中包括预设类型的目标时，根据当前所述无人机所处的工况确定目标控制策略；根据所述目标控制策略控制所述无人机执行相应的操作。
在一些实施例中，所述预设类型包括以下至少一种：预设第一类型和预设第二类型；其中，所述预设第一类型为影响无人机飞行安全的威胁障碍物，所述预设第二类型为不影响无人机飞行安全的非威胁障碍物。
在一些实施例中，所述预设第一类型的第一目标包括行人、具有倾斜表面的物体中的一种或多种，所述预设第二类型的第二目标包括飞鸟、昆虫及茅草 中的一种或多种，具有倾斜表面的物体比如为墓碑等。
在一些实施例中，所述预设类型包括预设第一类型，所述方法还包括：
当识别到所述图像中包括预设第一类型的第一目标时，根据当前所述无人机所处的工作状态和当前所述无人机至所述第一目标的距离，确定目标控制策略。
在一些实施例中，所述无人机处于起飞准备状态以及所述当前第一目标的距离小于第一预设阈值时，控制所述无人机停桨；或者，所述无人机处于起飞准备状态以及所述当前第一目标的距离大于或等于第一预设阈值时，控制所述无人机停桨。
在一些实施例中，所述无人机处于降落准备状态以及所述当前第一目标的距离大于第二预设阈值时，控制所述无人机降落。
在一些实施例中，所述无人机处于降落准备状态以及所述当前第一目标的距离小于或等于第二预设阈值时，控制所述无人机悬停，或，控制所述无人机悬停并发送告警信息至所述无人机的控制终端以提示用户，或，控制所述无人机朝远离所述第一目标的方向飞行，直至所述距离大于所述第二预设阈值时控制所述无人机降落。
在一些实施例中，所述无人机处于低空悬停状态，控制所述无人机悬停在当前悬停位置，或，控制所述无人机悬停在当前悬停位置并发送告警信息至所述无人机的控制终端；其中，所述低空悬停状态为悬停高度小于或等于预设悬停高度。
在一些实施例中，所述预设类型包括预设第二类型，所述处理器用于：当识别到所述图像中包括预设第二类型的第二目标时，根据所述无人机所执行的预设作业状态，按照当前的飞行路线控制所述无人机继续飞行并执行预设作业。
在一些实施例中，所述处理器还用于：删除所述无人机搭载的雷达装置采集关于所述第二目标的目标跟踪航迹。
在一些实施例中，所述预设作业包括如下至少一种：巡航作业、喷洒作业。
在一些实施例中，所述根据所述目标控制策略控制所述无人机执行相应的操作，包括：
获取所述雷达装置采集的雷达数据和所述视觉传感器采集的图像；融合所述雷达数据和所述图像确定所述无人机周围的障碍物信息，并根据所述障碍物 信息控制所述无人机飞行。
在一些实施例中，所述障碍物信息包括如下至少一种：类别信息、距离信息和置信度信息；其中，所述类别信息用于表示障碍物的类别，所述距离信息为所述无人机至障碍物的距离，所述置信度信息为用于确定障碍物的类别的概率。
在一些实施例中，所述融合所述雷达数据和所述图像确定所述无人机周围的障碍物信息，包括：
根据所述图像确定所述无人机周围存在的障碍物以及所述障碍物的类别信息和置信度信息；根据所述雷达数据确定所述障碍物至所述无人机的距离信息；融合所述障碍物的类别信息和距离信息得到所述障碍物的障碍物信息。
在一些实施例中，所述根据所述图像确定所述无人机周围存在的障碍物以及所述障碍物的类别信息和置信度信息，包括：
对所述图像进行目标检测，得到第一检测结果；对所述图像进行多目标跟踪检测，得到第二检测结果；融合所述第一检测结果和第二检测结果，得到所述无人机周围的障碍物以及所述障碍物的类别信息和置信度信息。
在一些实施例中，所述对所述图像进行目标检测，得到第一检测结果，包括：
基于预先训练好的目标检测模型，对所述图像进行识别，并输出识别到障碍物的类别识别框和置信度信息，其中，所述目标检测模型为基于卷积神经网络训练得到的。
在一些实施例中，所述对所述图像进行多目标跟踪检测，得到第二检测结果，包括：
基于预先训练好的多目标跟踪器，对所述图像进行识别，得到障碍物的类别识别框以及所述障碍物的运行轨迹。
在一些实施例中，所述对所述图像进行多目标跟踪检测，得到第二检测结果，包括：
获取所述目标检测模型识别到的障碍物对应的图像特征；基于预先训练好的多目标跟踪器，根据所述图像特征对所述图像进行识别，得到所述障碍物的类别识别框以及所述障碍物的运行轨迹。
在一些实施例中，所述图像特征至少包括如下至少一种：颜色信息、纹理 信息。
在一些实施例中，所述处理器还用于：将所述视觉传感器采集的图像发送给所述无人机的控制终端进行显示，其中，所述图像至少包括障碍物的类别识别框。
本申请的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现上述实施例提供的任一种所述的无人机的控制方法的步骤。
其中，所述计算机可读存储介质可以是前述任一实施例所述的无人机的内部存储单元，例如所述无人机的存储器或内存。所述计算机可读存储介质也可以是所述无人机的外部存储设备，例如所述无人机上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (42)

  1. 一种无人机的控制方法，其特征在于，所述方法包括：
    通过无人机上搭载的视觉传感器采集图像；
    当识别到所述图像中包括预设类型的目标时，根据当前所述无人机所处的工况确定目标控制策略；
    根据所述目标控制策略控制所述无人机执行相应的操作。
  2. 根据权利要求1所述的方法，其特征在于，所述预设类型包括以下至少一种：预设第一类型和预设第二类型；
    其中，所述预设第一类型为影响无人机飞行安全的威胁障碍物，所述预设第二类型为不影响无人机飞行安全的非威胁障碍物。
  3. 根据权利要求2所述的方法，其特征在于，所述预设第一类型的第一目标包括行人、具有倾斜表面的物体中的一种或多种，所述预设第二类型的第二目标包括飞鸟、昆虫及茅草中的一种或多种。
  4. 根据权利要求1所述的方法，其特征在于，所述预设类型包括预设第一类型，所述方法还包括：
    当识别到所述图像中包括预设第一类型的第一目标时，根据当前所述无人机所处的工作状态和当前所述无人机至所述第一目标的距离，确定目标控制策略。
  5. 根据权利要求4所述的方法，其特征在于，所述无人机处于起飞准备状态以及所述当前第一目标的距离小于第一预设阈值时，控制所述无人机停桨；
    或者，所述无人机处于起飞准备状态以及所述当前第一目标的距离大于或等于第一预设阈值时，控制所述无人机起桨。
  6. 根据权利要求4所述的方法，其特征在于，所述无人机处于降落准备状态以及所述当前第一目标的距离大于第二预设阈值时，控制所述无人机降落。
  7. 根据权利要求4所述的方法，其特征在于，所述无人机处于降落准备状态以及所述当前第一目标的距离小于或等于第二预设阈值时，控制所述无人机悬停，或，控制所述无人机悬停并发送告警信息至所述无人机的控制终端以提示用户，或，控制所述无人机朝远离所述第一目标的方向飞行，直至所述距离 大于所述第二预设阈值时控制所述无人机降落。
  8. 根据权利要求4所述的方法，其特征在于，所述无人机处于低空悬停状态，控制所述无人机悬停在当前悬停位置，或，控制所述无人机悬停在当前悬停位置并发送告警信息至所述无人机的控制终端；
    其中，所述低空悬停状态为悬停高度小于或等于预设悬停高度。
  9. 根据权利要求1所述的方法，其特征在于，所述预设类型包括预设第二类型，所述方法包括：
    当识别到所述图像中包括预设第二类型的第二目标时，根据所述无人机所执行的预设作业状态，按照当前的飞行路线控制所述无人机继续飞行并执行预设作业。
  10. 根据权利要求9所述的方法，其特征在于，所述方法还包括：
    删除所述无人机搭载的雷达装置采集关于所述第二目标的目标跟踪航迹。
  11. 根据权利要求9所述的方法，其特征在于，所述预设作业包括如下至少一种：巡航作业、喷洒作业。
  12. 根据权利要求1所述的方法，其特征在于，所述根据所述目标控制策略控制所述无人机执行相应的操作，包括：
    获取所述雷达装置采集的雷达数据和所述视觉传感器采集的图像；
    融合所述雷达数据和所述图像确定所述无人机周围的障碍物信息，并根据所述障碍物信息控制所述无人机飞行。
  13. 根据权利要求12所述的方法，其特征在于，所述障碍物信息包括如下至少一种：类别信息、距离信息和置信度信息；
    其中，所述类别信息用于表示障碍物的类别，所述距离信息为所述无人机至障碍物的距离，所述置信度信息为用于确定障碍物的类别的概率。
  14. 根据权利要求12所述的方法，其特征在于，所述融合所述雷达数据和所述图像确定所述无人机周围的障碍物信息，包括：
    根据所述图像确定所述无人机周围存在的障碍物以及所述障碍物的类别信息和置信度信息；
    根据所述雷达数据确定所述障碍物至所述无人机的距离信息；
    融合所述障碍物的类别信息和距离信息得到所述障碍物的障碍物信息。
  15. 根据权利要求14所述的方法，其特征在于，所述根据所述图像确定所 述无人机周围存在的障碍物以及所述障碍物的类别信息和置信度信息，包括：
    对所述图像进行目标检测，得到第一检测结果；
    对所述图像进行多目标跟踪检测，得到第二检测结果；
    融合所述第一检测结果和第二检测结果，得到所述无人机周围的障碍物以及所述障碍物的类别信息和置信度信息。
  16. 根据权利要求15所述的方法，其特征在于，所述对所述图像进行目标检测，得到第一检测结果，包括：
    基于预先训练好的目标检测模型，对所述图像进行识别，并输出识别到障碍物的类别识别框和置信度信息，其中，所述目标检测模型为基于卷积神经网络训练得到的。
  17. 根据权利要求15所述的方法，其特征在于，所述对所述图像进行多目标跟踪检测，得到第二检测结果，包括：
    基于预先训练好的多目标跟踪器，对所述图像进行识别，得到障碍物的类别识别框以及所述障碍物的运行轨迹。
  18. 根据权利要求15所述的方法，其特征在于，所述对所述图像进行多目标跟踪检测，得到第二检测结果，包括：
    获取所述目标检测模型识别到的障碍物对应的图像特征；
    基于预先训练好的多目标跟踪器，根据所述图像特征对所述图像进行识别，得到所述障碍物的类别识别框以及所述障碍物的运行轨迹。
  19. 根据权利要求18所述的方法，其特征在于，所述图像特征至少包括如下至少一种：颜色信息、纹理信息。
  20. 根据权利要求1所述的方法，其特征在于，所述方法还包括：
    将所述视觉传感器采集的图像发送给所述无人机的控制终端进行显示，其中，所述图像至少包括障碍物的类别识别框。
  21. 一种无人机，其特征在于，所述无人机包括视觉传感器、雷达装置、存储器和处理器；
    所述视觉传感器用于拍摄图像，所述雷达装置采用雷达数据；
    所述存储器用于存储计算机程序；
    所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
    通过无人机上搭载的视觉传感器采集图像；
    当识别到所述图像中包括预设类型的目标时，根据当前所述无人机所处的工况确定目标控制策略；
    根据所述目标控制策略控制所述无人机执行相应的操作。
  22. 根据权利要求21所述的无人机，其特征在于，所述预设类型包括以下至少一种：预设第一类型和预设第二类型；
    其中，所述预设第一类型为影响无人机飞行安全的威胁障碍物，所述预设第二类型为不影响无人机飞行安全的非威胁障碍物。
  23. 根据权利要求22所述的无人机，其特征在于，所述预设第一类型的第一目标包括行人、具有倾斜表面的物体中的一种或多种，所述预设第二类型的第二目标包括飞鸟、昆虫及茅草中的一种或多种。
  24. 根据权利要求21所述的无人机，其特征在于，所述预设类型包括预设第一类型，所述处理器还用于：
    当识别到所述图像中包括预设第一类型的第一目标时，根据当前所述无人机所处的工作状态和当前所述无人机至所述第一目标的距离，确定目标控制策略。
  25. 根据权利要求24所述的无人机，其特征在于，所述无人机处于起飞准备状态以及所述当前第一目标的距离小于第一预设阈值时，控制所述无人机停桨；
    或者，所述无人机处于起飞准备状态以及所述当前第一目标的距离大于或等于第一预设阈值时，控制所述无人机起桨。
  26. 根据权利要求24所述的无人机，其特征在于，所述无人机处于降落准备状态以及所述当前第一目标的距离大于第二预设阈值时，控制所述无人机降落。
  27. 根据权利要求24所述的无人机，其特征在于，所述无人机处于降落准备状态以及所述当前第一目标的距离小于或等于第二预设阈值时，控制所述无人机悬停，或，控制所述无人机悬停并发送告警信息至所述无人机的控制终端以提示用户，或，控制所述无人机朝远离所述第一目标的方向飞行，直至所述距离大于所述第二预设阈值时控制所述无人机降落。
  28. 根据权利要求24所述的无人机，其特征在于，所述无人机处于低空悬 停状态，控制所述无人机悬停在当前悬停位置，或，控制所述无人机悬停在当前悬停位置并发送告警信息至所述无人机的控制终端；
    其中，所述低空悬停状态为悬停高度小于或等于预设悬停高度。
  29. 根据权利要求21所述的无人机，其特征在于，所述预设类型包括预设第二类型，所述处理器用于：
    当识别到所述图像中包括预设第二类型的第二目标时，根据所述无人机所执行的预设作业状态，按照当前的飞行路线控制所述无人机继续飞行并执行预设作业。
  30. 根据权利要求29所述的无人机，其特征在于，所述处理器还用于：
    删除所述无人机搭载的雷达装置采集关于所述第二目标的目标跟踪航迹。
  31. 根据权利要求29所述的无人机，其特征在于，所述预设作业包括如下至少一种：巡航作业、喷洒作业。
  32. 根据权利要求21所述的无人机，其特征在于，所述根据所述目标控制策略控制所述无人机执行相应的操作，包括：
    获取所述雷达装置采集的雷达数据和所述视觉传感器采集的图像；
    融合所述雷达数据和所述图像确定所述无人机周围的障碍物信息，并根据所述障碍物信息控制所述无人机飞行。
  33. 根据权利要求32所述的无人机，其特征在于，所述障碍物信息包括如下至少一种：类别信息、距离信息和置信度信息；
    其中，所述类别信息用于表示障碍物的类别，所述距离信息为所述无人机至障碍物的距离，所述置信度信息为用于确定障碍物的类别的概率。
  34. 根据权利要求32所述的无人机，其特征在于，所述融合所述雷达数据和所述图像确定所述无人机周围的障碍物信息，包括：
    根据所述图像确定所述无人机周围存在的障碍物以及所述障碍物的类别信息和置信度信息；
    根据所述雷达数据确定所述障碍物至所述无人机的距离信息；
    融合所述障碍物的类别信息和距离信息得到所述障碍物的障碍物信息。
  35. 根据权利要求34所述的无人机，其特征在于，所述根据所述图像确定所述无人机周围存在的障碍物以及所述障碍物的类别信息和置信度信息，包括：
    对所述图像进行目标检测，得到第一检测结果；
    对所述图像进行多目标跟踪检测，得到第二检测结果；
    融合所述第一检测结果和第二检测结果，得到所述无人机周围的障碍物以及所述障碍物的类别信息和置信度信息。
  36. 根据权利要求35所述的无人机，其特征在于，所述对所述图像进行目标检测，得到第一检测结果，包括：
    基于预先训练好的目标检测模型，对所述图像进行识别，并输出识别到障碍物的类别识别框和置信度信息，其中，所述目标检测模型为基于卷积神经网络训练得到的。
  37. 根据权利要求35所述的无人机，其特征在于，所述对所述图像进行多目标跟踪检测，得到第二检测结果，包括：
    基于预先训练好的多目标跟踪器，对所述图像进行识别，得到障碍物的类别识别框以及所述障碍物的运行轨迹。
  38. 根据权利要求35所述的无人机，其特征在于，所述对所述图像进行多目标跟踪检测，得到第二检测结果，包括：
    获取所述目标检测模型识别到的障碍物对应的图像特征；
    基于预先训练好的多目标跟踪器，根据所述图像特征对所述图像进行识别，得到所述障碍物的类别识别框以及所述障碍物的运行轨迹。
  39. 根据权利要求38所述的无人机，其特征在于，所述图像特征至少包括如下至少一种：颜色信息、纹理信息。
  40. 根据权利要求21所述的无人机，其特征在于，所述处理器还用于：
    将所述视觉传感器采集的图像发送给所述无人机的控制终端进行显示，其中，所述图像至少包括障碍物的类别识别框。
  41. 一种飞行系统，其特征在于，所述飞行系统包括如权利要求21-40任一项所述的无人机和控制终端，所述控制终端用户控制无人机飞行。
  42. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至20任一项所述的无人机的控制方法的步骤。
PCT/CN2021/103776 2021-06-30 2021-06-30 无人机的控制方法、无人机、飞行系统及存储介质 WO2023272633A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2021/103776 WO2023272633A1 (zh) 2021-06-30 2021-06-30 无人机的控制方法、无人机、飞行系统及存储介质
CN202180087991.XA CN116724281A (zh) 2021-06-30 2021-06-30 无人机的控制方法、无人机、飞行系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/103776 WO2023272633A1 (zh) 2021-06-30 2021-06-30 无人机的控制方法、无人机、飞行系统及存储介质

Publications (1)

Publication Number Publication Date
WO2023272633A1 true WO2023272633A1 (zh) 2023-01-05

Family

ID=84692194

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/103776 WO2023272633A1 (zh) 2021-06-30 2021-06-30 无人机的控制方法、无人机、飞行系统及存储介质

Country Status (2)

Country Link
CN (1) CN116724281A (zh)
WO (1) WO2023272633A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721095A (zh) * 2023-08-04 2023-09-08 杭州瑞琦信息技术有限公司 一种航拍式的道路照明故障检测方法及装置
CN116720122A (zh) * 2023-08-10 2023-09-08 清华大学 基于多站频率捷变雷达的气动目标分类方法及装置
CN117826826A (zh) * 2024-03-04 2024-04-05 广东电网有限责任公司阳江供电局 一种水下机器人的自主避障方法及系统
CN117894214A (zh) * 2024-03-15 2024-04-16 天津云圣智能科技有限责任公司 一种无人机碰撞检测的方法、装置、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107703951A (zh) * 2017-07-27 2018-02-16 上海拓攻机器人有限公司 一种基于双目视觉的无人机避障方法及系统
CN107831777A (zh) * 2017-09-26 2018-03-23 中国科学院长春光学精密机械与物理研究所 一种飞行器自主避障系统、方法及飞行器
US20180253980A1 (en) * 2017-03-03 2018-09-06 Farrokh Mohamadi Drone Terrain Surveillance with Camera and Radar Sensor Fusion for Collision Avoidance
CN111338382A (zh) * 2020-04-15 2020-06-26 北京航空航天大学 一种安全态势引导的无人机路径规划方法
CN112639655A (zh) * 2020-01-21 2021-04-09 深圳市大疆创新科技有限公司 无人机返航的控制方法、设备、可移动平台和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180253980A1 (en) * 2017-03-03 2018-09-06 Farrokh Mohamadi Drone Terrain Surveillance with Camera and Radar Sensor Fusion for Collision Avoidance
CN107703951A (zh) * 2017-07-27 2018-02-16 上海拓攻机器人有限公司 一种基于双目视觉的无人机避障方法及系统
CN107831777A (zh) * 2017-09-26 2018-03-23 中国科学院长春光学精密机械与物理研究所 一种飞行器自主避障系统、方法及飞行器
CN112639655A (zh) * 2020-01-21 2021-04-09 深圳市大疆创新科技有限公司 无人机返航的控制方法、设备、可移动平台和存储介质
CN111338382A (zh) * 2020-04-15 2020-06-26 北京航空航天大学 一种安全态势引导的无人机路径规划方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721095A (zh) * 2023-08-04 2023-09-08 杭州瑞琦信息技术有限公司 一种航拍式的道路照明故障检测方法及装置
CN116721095B (zh) * 2023-08-04 2023-11-03 杭州瑞琦信息技术有限公司 一种航拍式的道路照明故障检测方法及装置
CN116720122A (zh) * 2023-08-10 2023-09-08 清华大学 基于多站频率捷变雷达的气动目标分类方法及装置
CN116720122B (zh) * 2023-08-10 2023-10-31 清华大学 基于多站频率捷变雷达的气动目标分类方法及装置
CN117826826A (zh) * 2024-03-04 2024-04-05 广东电网有限责任公司阳江供电局 一种水下机器人的自主避障方法及系统
CN117894214A (zh) * 2024-03-15 2024-04-16 天津云圣智能科技有限责任公司 一种无人机碰撞检测的方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN116724281A (zh) 2023-09-08

Similar Documents

Publication Publication Date Title
WO2023272633A1 (zh) 无人机的控制方法、无人机、飞行系统及存储介质
JP6609833B2 (ja) 無人航空機の飛行を制御する方法及びシステム
US11604479B2 (en) Methods and system for vision-based landing
EP3640921B1 (en) Adaptive sense and avoid system
WO2022094854A1 (zh) 农作物的生长监测方法、设备及存储介质
CN110062919B (zh) 递送车辆的放下地点规划
JP6312178B2 (ja) ナビゲーションシステム、輸送機の状態情報を評価する方法、及び、輸送機の状態情報を評価する装置
JP6390013B2 (ja) 小型無人飛行機の制御方法
US20180204469A1 (en) Unmanned aerial vehicle visual point cloud navigation
US20170313439A1 (en) Methods and syststems for obstruction detection during autonomous unmanned aerial vehicle landings
WO2018094583A1 (zh) 无人机避障控制方法、飞行控制器及无人飞行器
CN111316066A (zh) 用于无人飞行器的备用导航系统
WO2016179802A1 (en) Apparatuses and methods of recognizing or detecting an obstacle
CN206804018U (zh) 环境数据服务器、无人飞行器及定位系统
CN110679584B (zh) 自动驱鸟装置及方法
CN104298248A (zh) 旋翼无人机精确视觉定位定向方法
JP2018504690A (ja) 無人機の飛行補助方法およびシステム、無人機、ならびに携帯端末
WO2023077341A1 (zh) 无人机的返航方法、装置、无人机、遥控设备、系统及存储介质
WO2017161563A1 (zh) 飞行器的控制方法和装置
CN107783545A (zh) 基于ooda环多传感器信息融合的灾后救援旋翼无人机避障系统
WO2021237618A1 (zh) 抓捕辅助方法、地面指挥平台、无人机、系统及存储介质
US20240176367A1 (en) Uav dispatching method, server, dock apparatus, system, and storage medium
US20240019866A1 (en) Aerial vehicle control method and apparatus, aerial vehicle, and storage medium
KR20200050487A (ko) Ｒｆｉｄ 태그 경로를 패트롤하는 카메라와 지향성 스피커를 구비하는 드론의 제어 시스템 및 방법
WO2018068193A1 (zh) 控制方法、控制装置、飞行控制系统与多旋翼无人机

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21947586

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202180087991.X

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21947586

Country of ref document: EP

Kind code of ref document: A1