CN110597275A - 利用无人机来生成地图的方法和系统 - Google Patents

Abstract

本发明提供了一种利用无人机来生成地图的方法和系统。系统包括汽车和无人机，其中汽车可进一步包括处理单元，所述处理单元可被配置成生成用于与其相关联的无人机执行与生成地图有关的飞行任务的指令；以及通信单元，所述通信单元可被配置成：将所述指令发送给所述无人机；以及从所述无人机接收生成地图所需的传感器数据；无人机可进一步包括：一个或多个传感器，所述一个或多个传感器可被配置成采集生成地图所需的传感器数据；以及通信模块，所述通信模块可被配置成：从与其相关联的汽车接收用于所述无人机执行与生成地图有关的飞行任务的指令；以及将所采集的传感器数据发送给所述汽车。

Description

利用无人机来生成地图的方法和系统

技术领域

本发明涉及车载无人机，更具体地，涉及利用车载无人机来生成地图的方法和系统。

背景技术

如今，随着导航技术的发展和成熟，人们在驾驶汽车时已习惯使用导航系统来规划路线以及提供实时指引。这类导航系统(诸如Google Map、Here、TomTom、高德地图等等)通常基于数字地图和定位技术来工作。此外，对于目前仍处于开发和测试阶段的自动驾驶汽车而言，更是必须完全依赖于数字地图，更确切地说，是高精度数字地图。例如，自动驾驶汽车需要实时地确定其在数字地图上的位置，并且自动驾驶汽车只能在数字地图覆盖的区域上实现自动驾驶。然而，这类高精度数字地图目前通常只覆盖城市和高速公路。如果是数字地图未覆盖的区域，或者是想要偏离道路驾驶(off-road)，则自动驾驶汽车的自动驾驶功能无法实现，自动驾驶汽车将无法前往这些区域或者不得不改为手动驾驶模式。

为了制作数字地图，尤其是高精度的数字地图，通常采用的办法是将各种传感器(诸如Lidar、相机、GPS接收机等等)安装在一辆汽车上，例如安装在汽车车顶上(如图1所示)。工作人员驾驶这样的地图采集车在地图覆盖区域中的每一条道路上巡游，从而采集道路上的各种信息供地图制作。然而，这种地图采集车的成本十分昂贵，动辄上百万元人民币。

因此，希望能够提供一种新的生成数字地图的方法，使得成本能够降低，并且能够在数字地图未覆盖的区域上使用自动驾驶功能。

发明内容

提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步的描述一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

针对以上问题，根据本发明的一个实施例，提供了一种汽车，所述汽车包括：处理单元，所述处理单元被配置成生成用于与其相关联的无人机执行与生成地图有关的飞行任务的指令；以及通信单元，所述通信单元被配置成：将所述指令发送给所述无人机；以及从所述无人机接收生成地图所需的传感器数据。

根据本发明的又一实施例，提供了一种用于生成地图的无人机，所述无人机包括：一个或多个传感器，所述一个或多个传感器被配置成采集生成地图所需的传感器数据；以及通信模块，所述通信模块被配置成：从与其相关联的汽车接收用于所述无人机执行与生成地图有关的飞行任务的指令；以及将所采集的传感器数据发送给所述汽车。

根据本发明的又一实施例，提供了一种由汽车执行的用于生成地图的方法，所述方法包括：生成用于与所述汽车相关联的无人机执行与生成地图有关的飞行任务的指令；将所述指令给所述无人机；以及从所述无人机接收生成地图所需的传感器数据。

根据本发明的又一实施例，提供了一种由无人机执行的用于生成地图的方法，所述方法包括：响应于来自与所述无人机相关联的汽车的指令执行飞行任务；在执行所述飞行任务的过程中采集生成地图所需的传感器数据；以及将采集的传感器数据发送给所述汽车。

通过阅读下面的详细描述并参考相关联的附图，这些及其他特点和优点将变得显而易见。应该理解，前面的概括说明和下面的详细描述只是说明性的，不会对所要求保护的各方面形成限制。

附图说明

为了能详细地理解本发明的上述特征所用的方式，可以参照各实施例来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中示出。然而应该注意，附图仅示出了本发明的某些典型方面，故不应被认为限定其范围，因为该描述可以允许有其它等同有效的方面。

图1示出了现有技术中的地图采集车的一个示例。

图2是根据本发明的一个实施例的利用车载无人机来生成数字地图的系统的示意图。

图3是根据本发明的一个实施例的由汽车执行的利用车载无人机来生成数字地图的方法的流程图。

图4是根据本发明的一个实施例的由无人机执行的利用车载无人机来生成数字地图的方法的流程图。

具体实施方式

下面结合附图详细描述本发明，本发明的特点将在以下的具体描述中得到进一步的显现。

根据本发明的一个实施例，提供了利用车载无人机来生成数字地图的系统和方法。图2是根据本发明的一个实施例的利用车载无人机来生成数字地图的系统的示意图。作为一个非限制性示例，本发明的地图采集系统100可包括汽车102和车载无人机104。

在一个实施例中，汽车102是自动驾驶汽车。自动驾驶汽车的驾驶基于数字地图，通过自动驾驶汽车上安装的定位设备(例如，GPS、北斗、Galileo等卫星定位系统)实时地确定汽车在数字地图上的位置。然而，当希望将汽车驾驶到数字地图未覆盖的区域，或者是想要偏离道路驾驶(off-road)，现有的自动驾驶汽车的自动驾驶功能将无法工作。针对这种情况，本发明的汽车102可指令车载无人机104起飞，由无人机104在目标区域上空飞行，并实时采集相关的地面信息。基于采集到的信息，汽车102可以生成该区域的数字地图，从而使汽车102可基于生成的数字地图在该区域上实现自动驾驶。

无人机104可进一步包括用于与汽车102通信的通信模块106。通信模块106可支持各种通信技术，包括但不限于：4G LTE、Wi-Fi(2.4GHz、5.8GHz)、或者用无人机厂商自行研发的专用通信技术(诸如大疆的LightBridge)等等。

为了采集生成地图所需的相关信息，无人机104可进一步包括一个或多个传感器108。由于目前无人机的动力有限，无人机上可能无法装载传统地图采集车上的所有传感器，尤其是那些体型大、质量重的传感器，诸如Lidar。为了尽可能延长无人机的续航里程，无人机可仅装载采集数字地图所需要的传感器，以尽可能减轻无人机的重量。作为非限制性示例，传感器可包括以下传感器中的一个或多个：惯性测量单元、相机、红外测距仪、GPS接收机、超声波雷达等等。其中，为了提供对环境的深度和立体的感知，相机可以是双目相机。当然，本领域技术人员能够理解，随着技术的发展，当无人机能够在满足续航要求的情况下携带更多负载时，无人机可以装置任何需要的传感器或其它组件以提供更多相关信息。

汽车102可进一步包括无人机起降平台。在非工作状态下，无人机104可停在汽车102的无人机起降平台上。作为一个示例，无人机起降平台可被安装在汽车的车顶上。作为另一示例，当汽车102是卡车(例如小型皮卡)时，无人机起降平台也可被安装在卡车的装货区。作为又一示例，当汽车102是两厢车或三厢车时，无人机起降平台也可被安装在后备箱中，在无人机起飞和降落时，后备箱可在汽车102的控制下自动开启。

汽车102还可进一步包括通信单元110和处理单元112。根据本发明的一个实施例，汽车的通信单元110用于与无人机104的通信。与无人机104的通信模块106相比，汽车102的通信单元110可支持相同或更多的通信技术，并且采用与无人机104的通信单元所采用的通信技术相同的通信技术来进行两者间的通信。

汽车102的处理单元112可被配置成控制无人机执行飞行任务以采集生成地图所需的传感器数据。在一个实施例中，处理单元112可以是汽车102的车载控制系统的中央处理单元。替代地，处理单元112也可以被实现为一个独立的组件。作为又一实施例，处理单元112的部分或全部功能可由经由通信网络与汽车102通信地耦合的云端的服务器来执行。

在如上文中提到的，在想要让汽车102自动驾驶到地图未覆盖的区域或道路或者任何其它需要利用车载无人机来生成采集并生成数字地图的情况下，处理单元112可生成用于无人机104执行飞行任务的指令。以下结合附图3和4来进一步详细描述本发明的利用车载无人机来生成数字地图的过程。

图3是根据本发明的一个实施例的由汽车执行的利用车载无人机来生成数字地图的方法300的流程图。方法300开始于步骤302。在步骤302，由汽车102(例如，由汽车102的处理单元112)生成用于与汽车102相关联的无人机104执行与生成地图有关的飞行任务的指令。更具体地，根据本发明的一个实施例，生成用于无人机104执行飞行任务的指令可包括确定目标区域以及基于所确定的目标区域来确定飞行任务的相关飞行参数和飞行路线。

确定目标区域可例如基于用户(例如，汽车102上的驾驶员或乘客)输入的目的地来确定。当处理单元112确定该目的地位于当前数字地图未覆盖的区域或道路时，则确定需要利用无人机104来生成数字地图。另外，处理单元112还可进一步确定该目的地距离现有数字地图边缘的距离是否在支持的距离范围内。例如，如果距离大于无人机104执行飞行任务支持的最远飞行距离，则无法通过单次飞行来完成任务，此时可提示用户修改目的地或放弃。

当处理单元112确定目的地位于无人机所支持的距离范围内时，则处理单元112可进一步确定无人机的飞行路线和飞行参数。作为一个最简单的示例，飞行路线可以是以汽车102为起点、以目的地为终点的直线往返。然而，如可以理解的，该飞行路线还可以受其它许多因素影响。例如，考虑到无人机在高空具有良好的视野，通常不需要飞到目的地的垂直上空即可足够清楚地观察到到该目的地之间的地面情况。另外，考虑到地形、建筑物等其它因素，无人机可能需要调整飞行路线以避开途中的障碍物。此外，考虑到无人机在飞行时是用内部电池供电，而充电需要时间，因此无人机飞行任务可能无法连续多次进行。为了提高任务执行的效率，如果该目的地离地图边缘比较近(例如，该距离仅仅是无人机所支持的飞行距离的三分之一或更少)，则无人机可设定为飞到比目的地更远一些的位置，或者向两侧做一些绕行，使得执行一次飞行任务能够生成覆盖面积较大的区域，避免频繁起飞的必要。

根据本发明的一个实施例，飞行参数可至少包括飞行高度和飞行速度。另一方面，飞行高度的设定受地形的影响，例如所在区域有树木、路灯、建筑物、或其它可能的障碍物。因此，飞行高度可被设定为至少能够足以避免受到障碍物的影响。另一方面，合适的飞行高度有利于地面信息的采集。当飞行高度过低时，采集到的画面缺乏对地面概括的总体认识。然而，若飞行高度过高，也可能因传感器性能而导致细节的丢失，无法精确地定位其中的某些对象。此外，飞行高度还可以基于要求生成的地图的分辨率来设定。例如，如果要生成高分辨率的数字地图，则相比于低分辨率的数字地图，要求相对较低的飞行高度以提供更多细节。

飞行速度是另一个可被设定的参数。对于采集地图信息任务，为了确保传感器数据的清晰度，可基于传感器的性能(诸如相机的快门速度)来设定合适的飞行速度，以避免过快的飞行所导致的拍摄画面模糊，同时也避免过慢导致额外的电量消耗以及较长的任务执行时间。另外，可以理解，飞行高度也对飞行速度产生影响，飞行高度越高，地面对象在无人机的传感器视野内的移动速度就越慢，同样可有效避免运动模糊。因此，飞行高度和飞行速度的设定可相互配合。另外，在满足地图采集精度的要求的情况下，可采用最有利于节省无人机电池电量消耗的方式来设定各飞行参数及传感器参数。

在无人机的飞行路线和飞行参数被确定之后，处理单元112可基于确定的飞行路线和飞行参数生成指令。随后，在步骤304，指令可经由通信单元发送给无人机104。无人机104随后基于收到的指令中所包含的各项与执行飞行任务有关的信息，从汽车102的无人机起降平台上起飞，并沿着所确定的飞行路线以所确定的飞行高度和飞行速度执行飞行任务。

在飞行过程中，无人机104上的各传感器按照预先设定的配置工作。例如，相机可以预先设定的拍摄参数进行自动拍摄。拍摄参数可包括但不限于感光度、曝光度、快门速度、光圈大小、焦距、白平衡等等。传感器采集到的数据可经由无人机的通信单元实时传输回汽车102。相应地，在步骤306，汽车102可经由通信单元从无人机104接收无人机104在飞行过程中采集到的各种生成地图所需的传感器数据。作为另一示例，传感器采集到的数据也可在无人机返回汽车102之后再传输给汽车102，以提高数据传输的稳定性并节省无人机的功耗。在数据实时传输的情况下，部分传感器数据(诸如相机拍摄的画面)可呈现在汽车102的中控台显示器上供用户观看，以方便用户直观地了解该区域的情况。

可选地，方法300还可包括步骤308，由汽车102的处理单元112对接收到的传感器数据进行分析和处理，以生成数字地图。在数据实时传输的情况下，对传感器数据的分析和处理可实时进行。替代地，处理单元112也可在飞行任务结束以后基于全部的传感器数据来生成数字地图。本领域技术人员可以理解，步骤508并不是必需的。作为另一示例，无人机所采集的传感器数据可被发送给后台/云，由远端的服务器来生成数字地图，而不是由处理单元112本地地生成数字地图。

众所周知，传统的地图采集车主要基于Lidar(激光雷达)来进行高精度数字地图中的信息采集。Lidar所采集的传感器数据的呈现形式通常被称为点云基于地图采集车采集的大量的点云数据，可进一步识别环境中的不同对象，例如道路、陆标、路灯、路牌、建筑物等等，最终构成高精度数字地图。自动驾驶汽车一般也配备Lidar。在驾驶过程中，可以通过将其Lidar实时感测到的传感器数据与基于点云生成的高精度数字地图进行对比，从而精确地确定自动驾驶汽车在地图上的位置。然而，由于无人机无法携带Lidar设备，因此其采集的传感器数据主要是相机捕捉的平面图像为主，并通过其它辅助的传感设备(例如红外测距仪、超声波雷达、高度计等)来补充图像中的深度信息。尽管如此，通过无人机采集的传感器数据生成的数字地图与传统方式生成的高精度数字地图的格式可能仍然不会完全相同，因此为了供自动驾驶汽车使用，通过无人机采集的传感器数据生成的数字地图需要进行格式转换以与现有的基于高精度数字地图的自动驾驶系统对接。作为一个示例，对于普通的道路路面，这样的转换可通过以下方式进行。

首先，对相机捕捉的图像进行分析，并识别出其中的关键对象，包括但不限于道路、车道标识、道路两侧的树木、建筑物等。随后，构建与点云形式类似的坐标系，将所识别的关键对象放置在坐标系中的相应位置。其中，由于无人机视角的优越性，识别图像中的道路和车道标识是相对较易和准确的，因此这类对象的转换可以最高精度进行。相对的，对于道路两侧的树木、建筑物等，虽然对其识别并不困难，但受限于拍摄角度和距离，一般很难将其还原成与用架设在车顶的Lidar采集的点云数据完全一样。在这种情况下，根据一个实施例，可以采用接近的模型来替代实际的对象。例如，可预先构建一些常见对象的模型数据库，例如各种树木的模型。在转换时，可在树木在坐标系中的位置处放置相应树木的模型。更优选地，树木实际的高度可通过对相机捕捉的图像的分析中确定，因此在放置时可基于树木的模型进行相应的调整以更接近于真实的对象。可以理解，在目标区域是仅具有少量对象的简单环境(例如，郊野、草原等)的情况下，这类转换的运算量会大幅降低，并且经转换后的数据可以非常接近于Lidar采集的数据，足以满足实现自动驾驶的需要。

图4是根据本发明的一个实施例的由无人机执行的利用车载无人机来生成数字地图的方法400的流程图。方法400开始于步骤402。在步骤402，无人机104响应于来自与无人机104相关联的汽车102的指令执行飞行任务。如之前提到的，无人机的通信单元可采用与汽车102的通信模块相同的通信技术来接收用于执行飞行任务的指令。随后，在步骤404，无人机104在执行飞行任务的过程中采集生成地图所需的传感器数据。之后，在步骤406，无人机104可经由通信单元将采集的传感器数据发送回汽车102。在执行完飞行任务之后，无人机104可返回汽车102，并降落在无人机起降平台上。

以上描述了本发明的利用无人机来生成数字地图的方法和系统的非限制性实施方式。通过所描述的方法和系统，能够使自动驾驶汽车在地图未覆盖的区域或道路的情况下仍然能够实现自动驾驶功能，并且还可以作为昂贵的地图采集车的一种低成本的替代。

以上所已经描述的内容包括所要求保护主题的各方面的示例。当然，出于描绘所要求保护主题的目的而描述每一个可以想到的组件或方法的组合是不可能的，但本领域内的普通技术人员应该认识到，所要求保护主题的许多进一步的组合和排列都是可能的。从而，所公开的主题旨在涵盖落入所附权利要求书的精神和范围内的所有这样的变更、修改和变化。

Claims (15)

1.一种汽车，其特征在于，所述汽车包括：

处理单元，所述处理单元被配置成生成用于与其相关联的无人机执行与生成地图有关的飞行任务的指令；以及

通信单元，所述通信单元被配置成：

将所述指令发送给所述无人机；以及

从所述无人机接收生成地图所需的传感器数据。

2.如权利要求1所述的汽车，其特征在于，所述汽车还包括用于所述无人机的起降平台。

3.如权利要求2所述的汽车，其特征在于，所述起降平台被安装在所述汽车的车顶上。

4.如权利要求1所述的汽车，其特征在于，所述处理单元被进一步配置成：

对所述传感器数据进行处理以生成地图。

5.如权利要求1所述的汽车，其特征在于，所述处理单元被进一步配置成：

对所述传感器数据进行处理以提取地图元素；

对所提取的地图元素进行转换以用地面车载地图采集系统所使用的数据格式来呈现；以及

将经转换的地图元素合并到现有地图中。

6.一种用于生成地图的无人机，其特征在于，所述无人机包括：

一个或多个传感器，所述一个或多个传感器被配置成采集生成地图所需的传感器数据；以及

通信模块，所述通信模块被配置成：

从与其相关联的汽车接收用于所述无人机执行与生成地图有关的飞行任务的指令；以及

将所采集的传感器数据发送给所述汽车。

7.如权利要求6所述的无人机，其特征在于，所述一个或多个传感器包括以下中的至少一个：

惯性测量单元；

相机；

红外测距仪；

GPS接收机；以及

超声波雷达。

8.如权利要求7所述的无人机，其特征在于，所述相机是双目相机。

9.一种由汽车执行的用于生成地图的方法，其特征在于，所述方法包括：

生成用于与所述汽车相关联的无人机执行与生成地图有关的飞行任务的指令；

将所述指令发送给所述无人机；以及

从所述无人机接收生成地图所需的传感器数据。

10.如权利要求9所述的方法，其特征在于，还包括：

对所述传感器数据进行处理以生成地图。

11.如权利要求10所述的方法，其特征在于，对所述传感器数据进行处理以生成地图进一步包括：

对所述传感器数据进行处理以提取地图元素；

对所提取的地图元素进行转换以用地面车载地图采集系统所使用的数据格式来呈现；以及

将经转换的地图元素合并到现有地图中。

12.如权利要求9所述的方法，其特征在于，所述生成用于无人机执行与生成地图有关的飞行任务的指令进一步包括：

确定目标区域；以及

基于所确定的目标区域来确定所述飞行任务的飞行参数和飞行路线。

13.如权利要求12所述的方法，其特征在于，所述飞行参数包括飞行高度。

14.如权利要求13所述的方法，其特征在于，生成用于无人机执行与生成地图有关的飞行任务的指令进一步包括：

确定待采集地图的精度；以及

基于所确定的待采集地图的精度来确定所述飞行任务的飞行高度。

15.一种由无人机执行的用于生成地图的方法，其特征在于，所述方法包括：

响应于来自与所述无人机相关联的汽车的指令执行飞行任务；

在执行所述飞行任务的过程中采集生成地图所需的传感器数据；以及

将采集的传感器数据发送给所述汽车。