CN109901589B - 移动机器人控制方法和装置 - Google Patents

Abstract

本发明实施例提供一种移动机器人控制方法和装置，其中方法包括：分别基于移动机器人上装设的定位传感装置和视觉传感装置获取当前定位信息和当前图像；将当前定位信息和当前图像输入至动作规划模型，获取动作规划模型输出的当前动作信息；其中，动作规划模型是基于样本定位信息、样本图像、样本动作信息和样本标识训练得到的；基于当前动作信息控制移动机器人。本发明实施例提供的方法和装置，直接通过定位传感装置获取当前定位信息，无需高精度的感知系统，也无需大量的先验知识，实现简单，降低了研发人员的应用门槛，定位效率高。此外，通过预先训练的动作规划模型获取当前动作信息，迁移能力强，能够适应大多数场景，应用范围广，稳定性高。

Description

移动机器人控制方法和装置

技术领域

本发明实施例涉及计算机视觉技术领域，尤其涉及一种移动机器人控制方法和装置。

背景技术

随着科技的发展，移动机器人在仓储、物流、电力巡检等领域的应用日益广泛。

现有的移动机器人控制方法，通常利用移动机器人上装设的单目相机，在工作区域内采集相关图像信息，并离线对图像信息进行处理，构建环境的3D稀疏点云图。在自主移动过程中，移动机器人基于先验的3D稀疏点云图，以及存储在地图中的纹理信息，基于视觉SLAM(Simultaneous Localization and Mapping，同步定位与建图)技术，对实时获取的图像进行处理，实现对当前位姿的精确估计。随后基于当前位姿进行行为规划，并结合障碍物检测结果，对移动机器人进行动作规划。

然后，上述方法的实现十分复杂，需要高精度的感知系统来进行地图构建和定位，对先验知识的需求量极大，且研发人员的应用门槛较高。此外，上述方法的迁移能力差，一旦应用场景发生变化，就需要重新绘制地图，费时费力。

发明内容

本发明实施例提供一种移动机器人控制方法和装置，用以解决现有的移动机器人控制方法对感知系统的精度要求高，需要大量先验知识，且迁移能力差的问题。

第一方面，本发明实施例提供一种移动机器人控制方法，包括：

分别基于移动机器人上装设的定位传感装置和视觉传感装置获取当前定位信息和当前图像；

将所述当前定位信息和所述当前图像输入至动作规划模型，获取所述动作规划模型输出的当前动作信息；其中，所述动作规划模型是基于样本定位信息、样本图像、样本动作信息和样本标识训练得到的；

基于所述当前动作信息控制所述移动机器人。

第二方面，本发明实施例提供一种移动机器人控制装置，包括：

获取单元，用于分别基于移动机器人上装设的定位传感装置和视觉传感装置获取当前定位信息和当前图像；

规划单元，用于将所述当前定位信息和所述当前图像输入至动作规划模型，获取所述动作规划模型输出的当前动作信息；其中，所述动作规划模型是基于样本定位信息、样本图像、样本动作信息和样本标识训练得到的；

控制单元，用于基于所述当前动作信息控制所述移动机器人。

第三方面，本发明实施例提供一种电子设备，包括处理器、通信接口、存储器和总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信，处理器可以调用存储器中的逻辑指令，以执行如第一方面所提供的方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。

本发明实施例提供的一种移动机器人控制方法和装置，直接通过定位传感装置获取当前定位信息，无需高精度的感知系统，也无需大量的先验知识，实现简单，降低了研发人员的应用门槛，定位效率高。此外，通过预先训练的动作规划模型获取当前动作信息，迁移能力强，能够适应大多数场景，应用范围广，稳定性高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的移动机器人控制方法的流程示意图；

图2为本发明另一实施例提供的移动机器人控制方法的流程示意图；

图3为本发明实施例提供的移动机器人控制装置的结构示意图；

图4为本发明实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

针对现有的移动机器人控制方法需要高精度的感知系统来进行地图构建和定位，对先验知识的需求量极大，且迁移能力差，一旦应用场景发生变化，就需要重新绘制地图，费时费力的问题，本发明实施例提供一种移动机器人控制方法。图1为本发明实施例提供的移动机器人控制方法的流程示意图，如图1所示，该方法包括：

步骤110，分别基于移动机器人上装设的定位传感装置和视觉传感装置获取当前定位信息和当前图像。

具体地，移动机器人上装设有定位传感装置，定位传感装置用于获取当前时刻移动机器人的位置信息，即当前定位信息。定位传感装置可以是GPS(Global PositioningSystem，全球定位系统)模块，也可以是基于RFID(Radio Frequency Identification，射频识别)定位技术、蓝牙定位技术或超声波定位技术等能够获取移动机器人的位置信息的传感装置，本发明实施例对此不作具体限定。

此外，移动机器人上还装设有视觉传感装置，视觉传感装置用于获取当前时刻移动机器人的动作路径前方环境的图像，即当前图像。视觉传感装置可以是单目视觉传感装置，也可以是集成有两个或者多个视觉传感装置的双目视觉传感装置或多目视觉传感装置。视觉传感装置具体可以是可见光相机，还可以是红外相机，或者是可见光相机和红外相机相结合，本发明实施例对此不作具体限定。

步骤120，将当前定位信息和当前图像输入至动作规划模型，获取动作规划模型输出的当前动作信息；其中，动作规划模型是基于样本定位信息、样本图像、样本动作信息和样本标识训练得到的。

具体地，动作规划模型用于基于当前定位信息和当前图像，对移动机器人在当前时刻应当执行的具体动作进行规划。在得到当前定位信息和当前图像后，将当前定位信息和当前图像输入至动作规划模型，即可得到动作规划模型输出的当前动作信息。此处，当前动作信息用于指示当前时刻移动机器人应当执行的动作信息，动作信息可以是移动机器人的线速度和/或角速度。

另外，在执行步骤120之前，还可以预先训练得到动作规划模型，具体可通过如下方式训练得到：首先，收集大量样本定位信息、样本图像、样本动作信息和样本标识。其中，样本定位信息为手动控制移动机器人动作过程中通过装设在移动机器人上的定位传感装置获取的定位信息；样本图像为手动控制移动机器人动作过程中通过装设在移动机器人上的视觉传感装置获取的动作路径前方环境的图像；样本动作信息是操作者针对样本图像表征的动作路径前方环境控制移动机器人具体执行的动作，可以是对移动机器人的线速度和/或角速度的调节；样本标识用于指示基于样本动作信息控制移动机器人动作的结果，样本标识可以用于表征移动机器人是否沿计划路径行走，还可以用于表征移动机器人是否成功避开障碍物，本发明实施例对此不作具体限定。

随即基于样本定位信息、样本图像、样本动作信息和样本标识对初始模型进行训练，从而得到动作规划模型。其中，初始模型可以是单一神经网络模型，也可以是多个神经网络模型的组合，本发明实施例不对初始模型的类型和结构作具体限定。

步骤130，基于当前动作信息控制移动机器人。

具体地，在得到当前动作信息后，基于当前动作信息控制移动机器人执行相应的动作，从而保证移动机器人在沿计划路径行走的同时能够成功避开障碍物。

本发明实施例提供的方法，直接通过定位传感装置获取当前定位信息，无需高精度的感知系统，也无需大量的先验知识，实现简单，降低了研发人员的应用门槛，定位效率高。此外，通过预先训练的动作规划模型获取当前动作信息，迁移能力强，能够适应大多数场景，应用范围广，稳定性高。

基于上述实施例，步骤120具体包括：

步骤121，将当前定位信息和当前图像输入至动作规划模型中的路径规划模型，获取路径规划模型输出的第一动作信息；其中，路径规划模型是基于样本定位信息、样本图像、样本动作信息和样本路径标识训练得到的。

具体地，动作规划模型包括路径规划模型，路径规划模型用于基于当前定位信息和当前图像分析如何使得移动机器人能够沿计划路径行走，并输出第一动作信息。此处，第一动作信息用于指示当前时刻为了保证移动机器人沿计划路径行走应当执行的动作信息。

另外，在执行步骤121之前，还可以预先训练得到路径规划模型，具体可通过如下方式训练得到：首先，收集大量样本定位信息、样本图像、样本动作信息和样本路径标识。其中，样本定位信息、样本图像和样本动作信息均是在手动控制移动机器人沿计划路径行走的过程中获取的，样本路径标识用于指示移动机器人是否沿计划路径行走，例如当移动机器人在计划路径上正常行驶时，样本路径标识为正，当移动机器人偏离计划路径时，样本路径标识为负。此外，样本路径标识的值可以根据预先设定的行走规则决定，例如完成计划路径行驶的时间越短，则样本路径标识的值越大，完成计划路径行驶的时间越长，则样本路径标识的值越小。随即基于样本定位信息、样本图像、样本动作信息和样本路径标识对初始模型进行训练，从而得到动作规划模型。其中，初始模型可以是单一神经网络模型，也可以是多个神经网络模型的组合，本发明实施例不对初始模型的类型和结构作具体限定。

步骤122，将当前图像输入至动作规划模型中的避障模型，获取避障模型输出的第二动作信息；其中，避障模型是基于样本图像、样本动作信息和样本避障标识训练得到的。

具体地，动作规划模型还包括避障模型，避障模型用于基于当前图像分析当前时刻移动机器人的动作路径前方环境中是否存在障碍物，且如果存在障碍物如何进行自动避障。此处，第二动作信息用于指示当前时刻为了保证移动机器人能够成功避开障碍物应当执行的动作信息。

另外，在执行步骤122之前，还可以预先训练得到避障模型，具体可通过如下方式训练得到：首先，收集大量样本图像、样本动作信息和样本避障标识。其中，样本图像和样本动作信息均是在手动控制移动机器人避障的过程中获取的，样本避障标识用于指示移动机器人是否成功避障，例如当移动机器人没有撞上障碍物时，样本避障标识为正，当移动机器人撞上障碍物时，样本避障标识为负。随即基于样本图像、样本动作信息和样本避障标识对初始模型进行训练，从而得到避障模型。其中，初始模型可以是单一神经网络模型，也可以是多个神经网络模型的组合，本发明实施例不对初始模型的类型和结构作具体限定。

需要说明的是，本发明实施例不对步骤121和步骤122的先后顺序作具体限定，步骤121可以先于步骤122执行，也可以在步骤122之后执行，还可以与步骤122同步执行。

步骤123，基于第一动作信息和第二动作信息获取当前动作信息。

此处，第一动作信息为仅考虑计划路径的动作信息，第二动作信息为仅考虑避障的动作信息，结合第一动作信息和第二动作信息，即可得到同时维持在计划路径上行走并能够成功避障的动作信息，也就是当前动作信息。

本发明实施例提供的方法，通过设置路径规划模型，获取用于控制移动机器人在计划路径上行走的第一动作信息；通过设置避障模型，获取用于控制移动机器人避障的第二动作信息；通过结合第一动作信息和第二动作信息，使得移动机器人能够在沿计划路径行走的同时成功避障。通过将动作规划模型细化为路径规划模型和避障模型，简化模型训练过程，使得单一模型输出的动作信息更加准确，进而提高动作规划模型的预测精度。

基于上述任一实施例，步骤121具体包括：步骤1211，基于当前定位信息和当前图像，从路径规划模型包括的道路直行模型、道路左转模型和道路右转模型中选取当前路径模型。步骤1212，将当前定位信息和当前图像输入至当前路径模型，获取当前路径模型输出的第一动作信息。

具体地，路径规划模型包括道路直行模型、道路左转模型和道路右转模型，其中道路直行模型、道路左转模型和道路右转模型分别用于在计划路径需要直行、左转和右转时基于当前定位信息和当前图像分析如何使得移动机器人能够沿计划路径行走。

对应地，在执行步骤1211之前，可以预先训练得到道路直行模型、道路左转模型和道路右转模型，具体可通过如下方式训练得到：首先，收集大量样本定位信息、样本图像、样本动作信息和样本路径标识，并根据采集时刻的计划路径对样本定位信息、样本图像、样本动作信息和样本路径标识进行分类，分别得到直行对应的样本定位信息、样本图像、样本动作信息和样本路径标识，左转对应的样本定位信息、样本图像、样本动作信息和样本路径标识，以及右转对应的样本定位信息、样本图像、样本动作信息和样本路径标识。随即基于不同目标方位对应的样本定位信息、样本图像、样本动作信息和样本路径标识对初始模型进行训练，从而分别得到道路直行模型、道路左转模型和道路右转模型。其中，初始模型可以是单一神经网络模型，也可以是多个神经网络模型的组合，本发明实施例不对初始模型的类型和结构作具体限定。

当前路径模型是基于当前定位信息和当前图像从路径规划模型中选取得到的，当前路径模型为道路直行模型、道路左转模型或道路右转模型。在确定当前路径模型后，将当前定位信息和当前图像输入至当前路径模型，获取当前路径模型输出的第一动作信息。

本发明实施例提供的方法，通过将路径规划模型细化为道路直行模型、道路左转模型或道路右转模型，能够进一步细化模型所承担的工作，提高单个模型的预测精度。

基于上述任一实施例，步骤1211具体包括：基于当前定位信息和目的地信息，获取任务路径；基于任务路径和当前图像，获取目标方位；基于目标方位，从道路直行模型、道路左转模型和道路右转模型中选取当前路径模型。

具体地，目的地信息是预先设定的期望移动机器人抵达的地点的位置信息。基于当前定位信息和目的地信息，可以得到任务路径，即移动机器人需要行走的路径。在得到任务路径后，基于当前图像可以获知当前时刻移动机器人动作路径的前方环境，进而确定当前时刻移动机器人的朝向，通过移动机器人的朝向和任务路径，即可获知当前时刻移动机器人需要行走的方位，即目标方位，目标方位可以是直行、左转或右转。在确定目标方位后，可以基于目标方位直接选取对应方位的模型作为当前路径模型，例如目标方位为直行，则选取道路直行模型为当前路径模型，又例如目标方位为左转，则选取道路左转模型为当前路径模型。

基于上述任一实施例，步骤130之后，还包括：基于优化定位信息、优化图像、优化动作信息和优化标识对动作规划模型进行训练。

具体地，在移动机器人自动行走过程中，可以记录当前定位信息、当前图像以及基于当前定位信息和当前图像获取的当前动作指令，以及移动机器人基于当前动作指令行走的结果。在移动机器人运行结束后，将记录的当前定位信息作为优化定位信息，当前图像作为优化图像，当前动作指令作为优化动作指令，基于当前动作指令行走的结果为优化标识。进一步地，优化定位信息是移动机器人在自动行走期间通过装设在移动机器人上的定位传感装置获取的移动机器人的位置信息，优化图像是移动机器人在自动行走期间通过装设在移动机器人上的视觉传感装置获取的用于表征移动机器人行走路径前方环境的图像，优化动作指令为原动作规划模型基于优化定位信息和优化图像输出的动作指令，优化标识用于指示基于优化动作指令沿计划路径行走和避障的结果。

基于上述优化定位信息、优化图像、优化动作指令和优化标识对动作规划模型进行迭代调优，能够进一步提高动作规划模型的准确率，弥补动作规划模型漏洞。尤其是在移动机器人偏离计划路径或者避障失败的情况下，可以将偏离计划路径或者避障失败时对应的优化定位信息、优化图像、优化动作指令和优化标识分别作为漏洞定位信息、漏洞图像、漏洞动作指令和漏洞标识。此处，漏洞定位信息是移动机器人在偏离计划路径或者避障失败期间通过装设在移动机器人上的定位传感装置获取的移动机器人的位置信息，漏洞图像是移动机器人在偏离计划路径或者避障失败期间通过装设在移动机器人上的视觉传感装置获取的用于表征移动机器人动作路径前方环境的图像，漏洞动作指令为原目标跟随模型基于漏洞定位信息和漏洞图像输出的导致偏离计划路径或者避障失败的动作指令，漏洞标识为偏离计划路径或者避障失败。基于漏洞定位信息、漏洞图像、漏洞动作指令和漏洞标识对动作规划模型进行训练更新，能够有效弥补漏洞，进一步提高动作规划模型的性能。

目前的移动机器人控制方法大多采用可见光视觉传感装置采集图像，然而可见光视觉传感装置只能在白天使用，无法在光照情况差的环境下，尤其是在夜晚开展工作，因此限制了移动机器人的工作范围和工作时间。对此，基于上述任一实施例，该方法中，视觉传感装置包括红外相机；对应地，当前图像包括当前红外热图像。

具体地，红外相机是用于记录通过红外光源发出的光线的相机，红外相机常应用于夜视监控领域。通过设置红外相机采集移动机器人行走路径的前方图像，能够解决可见光视觉传感装置无法在夜间工作的问题。对应地，红外相机采集的图像即红外热图像，当前红外热图像是指在针对移动机器人控制过程中，红外相机采集到的当前时刻移动机器人行走路径的前方图像。

需要说明的是，本发明实施例中的视觉传感装置可以不仅包括红外相机。还包括可见光视觉传感装置。对应地，当前图像可以包括当前红外热图像，还可以包括当前RGB图像或其他格式的图像。此处，当前红外热图像即当前时刻的红外热图像。

本发明实施例提供的方法，解决了现有的移动机器人受可见光视觉传感装置所限，只能在白天工作的问题，通过设置红外相机，使得移动机器人无需受时间和光线限制，扩大了移动机器人的应用范围和工作时间。

基于上述任一实施例，该方法中，定位传感装置为GNSS传感器。GNSS(GlobalNavigation Satellite System，全球导航卫星系统)是能在地球表面或近地空间的任何地点为用户提供全天候的3维坐标和速度以及时间信息的空基无线电导航定位系统。通过GNSS传感器能够实现简单的道路拓扑绘制，并且进行实时的低精度定位。相比通用的高精度感知系统，采用GNSS传感器的成本更加低廉，方法更加简便，且不会因为定位精度略低影响移动机器人的控制精度。

基于上述任一实施例，图2为本发明另一实施例提供的移动机器人控制方法的流程示意图，如图2所示，该方法包括如下步骤：

步骤210，样本采集。

收集大量样本定位信息、样本图像、样本动作信息和样本路径标识作为路径规划训练样本。其中，样本定位信息、样本图像和样本动作信息均是在手动控制移动机器人沿计划路径行走的过程中获取的，样本路径标识用于指示移动机器人是否沿计划路径行走，例如当移动机器人在计划路径上正常行驶时，样本路径标识为正，当移动机器人偏离计划路径时，样本路径标识为负。此外，样本路径标识的值可以根据预先设定的行走规则决定，例如完成计划路径行驶的时间越短或样本定位信息与计划路径的偏离越小，则样本路径标识的值越大，完成计划路径行驶的时间越长或样本定位信息与计划路径的偏离越大，则样本路径标识的值越小。

同时，收集大量样本图像、样本动作信息和样本避障标识作为避障训练样本。其中，样本图像和样本动作信息均是在手动控制移动机器人避障的过程中获取的，样本避障标识用于指示移动机器人是否成功避障，例如当移动机器人没有撞上障碍物时，样本避障标识为正，当移动机器人撞上障碍物时，样本避障标识为负。

需要说明的是，此处训练样本为全天候的训练样本，其中样本图像的采集是通过装设在移动机器人上的可见光相机和红外相机完成的，对应地样本图像包括样本RGB图像和样本红外热图像。

随后执行步骤220。

步骤220，模型训练。

为了提高训练的速度与精度，对每一样本图像进行去均值。

随后，基于去均值后的样本图像以及样本定位信息、样本动作信息和样本路径标识对若干个不同结构的初始模型进行训练，并从中挑选出一个准确率最高、效果最好的训练后的初始模型作为路径规划模型。在路径规划模型的训练过程中，可进一步基于样本定位信息和样本图像将路径规划训练样本划分为直行训练样本、左转训练样本和右转训练样本，进而通过对初始模型进行训练得到道路直行模型、道路左转模型和道路右转模型。

同时，基于去均值后的样本图像以及样本动作信息和样本避障标识对若干个不同结构的初始模型进行训练，并从中挑选出一个准确率最高、效果最好的训练后的初始模型作为避障模型。

随后执行步骤230。

步骤230，迭代调优。

在得到包含路径规划模型和避障模型的动作规划模型后，判断是否需要对动作规划模型进行调优迭代。

如果需要进行调优迭代，则将动作规划模型运用在移动机器人的自主行走过程中，获取在线的优化定位信息、优化图像、优化动作信息和优化标识。此处，优化定位信息是移动机器人在自动行走期间通过装设在移动机器人上的定位传感装置获取的移动机器人的位置信息，优化图像是移动机器人在自动行走期间通过装设在移动机器人上的视觉传感装置获取的用于表征移动机器人行走路径前方环境的图像，优化动作指令为原动作规划模型基于优化定位信息和优化图像输出的动作指令，优化标识用于指示基于优化动作指令沿计划路径行走和避障的结果。随后执行步骤220，基于优化定位信息、优化图像、优化动作信息和优化标识对动作规划模型进行训练，实现动作规划模型的迭代优化。进一步地，可以基于优化定位信息、优化图像、优化动作信息和优化路径标识对路径规划模型进行训练，基于优化图像、优化动作信息和优化避障标识对避障模型进行训练。

如果不需要进行调优迭代，则执行步骤240。

步骤240，系统部署。

将定位传感装置、可见光相机和红外相机装设在移动机器人上，完成移动机器人的控制系统部署。此处，定位传感装置是GNSS传感器，可见光相机是海康USB摄像头，红外相机是flir one。分别基于定位传感装置和视觉传感装置获取当前定位信息和当前图像，并将当前定位信息和当前图像输入至动作规划模型，获取动作规划模型输出的当前动作信息，基于当前动作信息控制移动机器人自主行走和避障。

本发明实施例提供的方法，直接通过定位传感装置获取当前定位信息，无需高精度的感知系统，也无需大量的先验知识，实现简单，降低了研发人员的应用门槛，定位效率高。此外，通过预先训练的动作规划模型获取当前动作信息，迁移能力强，能够适应大多数场景，应用范围广，稳定性高。

基于上述任一实施例，对该方法进行了实验。实验场景为变电站，大小约为800m*600m。实验过程中，首先进行数据采集工作，利用海康枪机摄像头与红外摄像头对全站白天道路数据与全站夜间的数据进行采集和训练，得到道路直行模型、道路左转模型、道路右转模型和避障模型。实验结果表明，基于本发明实施例提供的方法对移动机器人进行控制，日间和夜间都可以实现正常的行走与避障，且对光照、环境的变化具有很好的鲁棒性。

基于上述任一实施例，对该方法进行了实验。实验场景为变电站，大小约为400m*200m。实验过程中，首先进行数据采集工作，利用网络摄像头与红外摄像头对全站白天道路数据与全站夜间的数据进行采集和训练，得到道路直行模型、道路左转模型、道路右转模型和避障模型。实验结果表明，基于本发明实施例提供的方法对移动机器人进行控制，日间和夜间都可以实现正常的行走与避障，且对光照、环境的变化具有很好的鲁棒性。

基于上述任一实施例，对该方法进行了实验。实验场景为变电站，大小约为200m*100m。实验过程中，首先进行数据采集工作，利用海康USB摄像头与红外摄像头对全站白天道路数据与全站夜间的数据进行采集和训练，得到道路直行模型、道路左转模型、道路右转模型和避障模型。实验结果表明，基于本发明实施例提供的方法对移动机器人进行控制，日间和夜间都可以实现正常的行走与避障，且对光照、环境的变化具有很好的鲁棒性。

基于上述任一实施例，图3为本发明实施例提供的移动机器人控制装置的结构示意图，如图3所示，该装置包括获取单元310、规划单元320和控制单元330；

其中，获取单元310用于分别基于移动机器人上装设的定位传感装置和视觉传感装置获取当前定位信息和当前图像；

规划单元320用于将所述当前定位信息和所述当前图像输入至动作规划模型，获取所述动作规划模型输出的当前动作信息；其中，所述动作规划模型是基于样本定位信息、样本图像、样本动作信息和样本标识训练得到的；

控制单元330用于基于所述当前动作信息控制所述移动机器人。

本发明实施例提供的装置，直接通过定位传感装置获取当前定位信息，无需高精度的感知系统，也无需大量的先验知识，实现简单，降低了研发人员的应用门槛，定位效率高。此外，通过预先训练的动作规划模型获取当前动作信息，迁移能力强，能够适应大多数场景，应用范围广，稳定性高。

基于上述任一实施例，规划单元320包括路径规划子单元、避障子单元和复合子单元；

其中，路径规划子单元用于将所述当前定位信息和所述当前图像输入至所述动作规划模型中的路径规划模型，获取所述路径规划模型输出的第一动作信息；其中，所述路径规划模型是基于所述样本定位信息、所述样本图像、所述样本动作信息和样本路径标识训练得到的；

避障子单元用于将所述当前图像输入至所述动作规划模型中的避障模型，获取所述避障模型输出的第二动作信息；其中，所述避障模型是基于所述样本图像、所述样本动作信息和样本避障标识训练得到的；

复合子单元用于基于所述第一动作信息和所述第二动作信息获取当前动作信息。

基于上述任一实施例，路径规划子单元包括选取模块和路径规划模块；

其中，选取模块用于基于所述当前定位信息和所述当前图像，从所述路径规划模型包括的道路直行模型、道路左转模型和道路右转模型中选取当前路径模型；

路径规划模块用于将所述当前定位信息和所述当前图像输入至所述当前路径模型，获取所述当前路径模型输出的所述第一动作信息。

基于上述任一实施例，选取模块具体用于：

基于所述当前定位信息和目的地信息，获取任务路径；

基于所述任务路径和所述当前图像，获取目标方位；

基于所述目标方位，从所述道路直行模型、所述道路左转模型和所述道路右转模型中选取所述当前路径模型。

基于上述任一实施例，该装置还包括优化单元；

优化单元用于基于优化定位信息、优化图像、优化动作信息和优化标识对所述动作规划模型进行训练。

基于上述任一实施例，该装置中，所述视觉传感装置包括红外相机；对应地，所述当前图像包括当前红外热图像。

基于上述任一实施例，该装置中，所述定位传感装置为GNSS传感器。

图4为本发明实施例提供的电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)401、通信接口(Communications Interface)402、存储器(memory)403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信。处理器401可以调用存储在存储器403上并可在处理器401上运行的计算机程序，以执行上述各实施例提供的移动机器人控制方法，例如包括：分别基于移动机器人上装设的定位传感装置和视觉传感装置获取当前定位信息和当前图像；将所述当前定位信息和所述当前图像输入至动作规划模型，获取所述动作规划模型输出的当前动作信息；其中，所述动作规划模型是基于样本定位信息、样本图像、样本动作信息和样本标识训练得到的；基于所述当前动作信息控制所述移动机器人。

此外，上述的存储器403中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的移动机器人控制方法，例如包括：分别基于移动机器人上装设的定位传感装置和视觉传感装置获取当前定位信息和当前图像；将所述当前定位信息和所述当前图像输入至动作规划模型，获取所述动作规划模型输出的当前动作信息；其中，所述动作规划模型是基于样本定位信息、样本图像、样本动作信息和样本标识训练得到的；基于所述当前动作信息控制所述移动机器人。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种移动机器人控制方法，其特征在于，包括：

分别基于移动机器人上装设的定位传感装置和视觉传感装置获取当前定位信息和当前图像；

将所述当前定位信息和所述当前图像输入至动作规划模型，获取所述动作规划模型输出的当前动作信息；其中，所述动作规划模型是基于样本定位信息、样本图像、样本动作信息和样本标识训练得到的；

基于所述当前动作信息控制所述移动机器人；

其中，所述将所述当前定位信息和所述当前图像输入至动作规划模型，获取所述动作规划模型输出的当前动作信息，具体包括：

将所述当前定位信息和所述当前图像输入至所述动作规划模型中的路径规划模型，获取所述路径规划模型输出的第一动作信息；其中，所述路径规划模型是基于所述样本定位信息、所述样本图像、所述样本动作信息和样本路径标识训练得到的；

将所述当前图像输入至所述动作规划模型中的避障模型，获取所述避障模型输出的第二动作信息；其中，所述避障模型是基于所述样本图像、所述样本动作信息和样本避障标识训练得到的；

基于所述第一动作信息和所述第二动作信息获取当前动作信息；

所述将所述当前定位信息和所述当前图像输入至所述动作规划模型中的路径规划模型，获取所述路径规划模型输出的第一动作信息，具体包括：

基于所述当前定位信息和所述当前图像，从所述路径规划模型包括的道路直行模型、道路左转模型和道路右转模型中选取当前路径模型；

将所述当前定位信息和所述当前图像输入至所述当前路径模型，获取所述当前路径模型输出的所述第一动作信息；

基于所述当前定位信息和所述当前图像，从所述路径规划模型包括的道路直行模型、道路左转模型和道路右转模型中选取当前路径模型，具体包括：

基于所述当前定位信息和目的地信息，获取任务路径；

基于所述任务路径和所述当前图像，获取目标方位；

基于所述目标方位，从所述道路直行模型、所述道路左转模型和所述道路右转模型中选取所述当前路径模型。

2.根据权利要求1所述的方法，其特征在于，所述基于所述当前动作信息控制所述移动机器人，之后还包括：

基于优化定位信息、优化图像、优化动作信息和优化标识对所述动作规划模型进行训练。

3.根据权利要求1和2中任一项所述的方法，其特征在于，所述视觉传感装置包括红外相机；对应地，所述当前图像包括当前红外热图像。

4.根据权利要求1和2中任一项所述的方法，其特征在于，所述定位传感装置为GNSS传感器。

5.一种移动机器人控制装置，其特征在于，包括：

获取单元，用于分别基于移动机器人上装设的定位传感装置和视觉传感装置获取当前定位信息和当前图像；

规划单元，用于将所述当前定位信息和所述当前图像输入至动作规划模型，获取所述动作规划模型输出的当前动作信息；其中，所述动作规划模型是基于样本定位信息、样本图像、样本动作信息和样本标识训练得到的；

所述规划单元还用于：

将所述当前定位信息和所述当前图像输入至所述动作规划模型中的路径规划模型，获取所述路径规划模型输出的第一动作信息；其中，所述路径规划模型是基于所述样本定位信息、所述样本图像、所述样本动作信息和样本路径标识训练得到的；

将所述当前图像输入至所述动作规划模型中的避障模型，获取所述避障模型输出的第二动作信息；其中，所述避障模型是基于所述样本图像、所述样本动作信息和样本避障标识训练得到的；

基于所述第一动作信息和所述第二动作信息获取当前动作信息；

基于所述当前定位信息和所述当前图像，从所述路径规划模型包括的道路直行模型、道路左转模型和道路右转模型中选取当前路径模型；

将所述当前定位信息和所述当前图像输入至所述当前路径模型，获取所述当前路径模型输出的所述第一动作信息；

基于所述当前定位信息和目的地信息，获取任务路径；

基于所述任务路径和所述当前图像，获取目标方位；

基于所述目标方位，从所述道路直行模型、所述道路左转模型和所述道路右转模型中选取所述当前路径模型；

控制单元，用于基于所述当前动作信息控制所述移动机器人。

6.一种电子设备，其特征在于，包括处理器、通信接口、存储器和总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信，处理器可以调用存储器中的逻辑指令，以执行如权利要求1至4任一所述的方法。

7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至4任一所述的方法。

Images