[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN114612786A - 一种障碍物检测方法、移动机器人及机器可读存储介质 - Google Patents

一种障碍物检测方法、移动机器人及机器可读存储介质 Download PDF

Info

Publication number
CN114612786A
CN114612786A CN202210273033.8A CN202210273033A CN114612786A CN 114612786 A CN114612786 A CN 114612786A CN 202210273033 A CN202210273033 A CN 202210273033A CN 114612786 A CN114612786 A CN 114612786A
Authority
CN
China
Prior art keywords
determining
target
candidate
obstacle
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210273033.8A
Other languages
English (en)
Inventor
楼力政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Ezviz Network Co Ltd
Original Assignee
Hangzhou Ezviz Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Ezviz Network Co Ltd filed Critical Hangzhou Ezviz Network Co Ltd
Priority to CN202210273033.8A priority Critical patent/CN114612786A/zh
Publication of CN114612786A publication Critical patent/CN114612786A/zh
Priority to PCT/CN2023/074367 priority patent/WO2023173950A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

本申请提供一种障碍物检测方法、移动机器人及机器可读存储介质，该方法包括：通过激光传感器采集目标场景的激光数据，通过图像传感器采集目标场景的图像数据；基于所述激光数据确定所述目标场景的目标物体的第一特征信息；基于所述图像数据确定所述目标场景的候选物体的第二特征信息；基于第一特征信息和第二特征信息确定所述目标物体是否为障碍物。通过本申请的技术方案，能够基于激光数据和图像数据准确检测到目标场景下的障碍物，更好的进行障碍物检测与避障，极大的提升障碍物检测的准确性，在减小误报的前提下，极大的降低移动机器人和障碍物发生碰撞的可能性，实现避障功能。

Description

一种障碍物检测方法、移动机器人及机器可读存储介质
技术领域
本申请涉及移动机器人领域，尤其是涉及一种障碍物检测方法、移动机器人及机器可读存储介质。
背景技术
近年来，各种类型的移动机器人，在技术和市场方面发展迅猛，移动机器人是自动执行工作的机器装置，是依靠自身动力和控制能力来实现各种功能的机器。移动机器人可以接受人类指挥，也可以运行预先编排的程序，还可以根据以人工智能制定的策略行动。例如，用户使用手动遥控器控制移动机器人执行相关操作，如使用手动遥控器通过无线方式向移动机器人下发操作命令，移动机器人接收到操作命令后，执行该操作命令指定的操作，从而完成相关功能。
移动机器人在目标场景下移动时，能够在移动过程中对自身进行定位，并在自身定位的基础上构建增量地图。而且，在移动机器人的移动过程中，移动机器人需要检测目标场景下的障碍物，并基于障碍物的位置进行避障操作。
为了检测目标场景下的障碍物，移动机器人需要部署图像传感器，通过图像传感器采集目标场景的RGB图像，并基于RGB图像检测目标场景下的障碍物。但是，通过RGB图像检测障碍物时，会存在误检，比如说，光照影响会导致将光影识别为障碍物，从而导致无法准确检测到目标场景下的障碍物。
发明内容
本申请提供一种障碍物检测方法，应用于包括激光传感器和图像传感器的移动机器人，所述激光传感器用于采集目标场景的激光数据，所述图像传感器用于采集所述目标场景的图像数据，所述方法包括：
基于所述激光数据确定所述目标场景的目标物体的第一特征信息；
基于所述图像数据确定所述目标场景的候选物体的第二特征信息；
基于第一特征信息和第二特征信息确定所述目标物体是否为障碍物。
本申请提供一种移动机器人，包括：
激光传感器，用于采集目标场景的激光数据；
图像传感器，用于采集所述目标场景的图像数据；
处理器，用于基于所述激光数据确定所述目标场景的目标物体的第一特征信息；基于所述图像数据确定所述目标场景的候选物体的第二特征信息；基于所述第一特征信息和所述第二特征信息确定所述目标物体是否为障碍物。
本申请提供一种移动机器人，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；其中，所述处理器用于执行机器可执行指令，以实现本申请上述示例的障碍物检测方法。
本申请提供一种机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被处理器执行时，能够实现本申请上述示例的障碍物检测方法。
由以上技术方案可见，本申请实施例中，可以通过激光传感器采集目标场景的激光数据，并通过图像传感器采集目标场景的图像数据，基于激光数据和图像数据准确检测到目标场景下的障碍物，即针对激光传感器和图像传感器进行障碍物检测的融合，从而更好的进行障碍物检测与避障，极大的提升障碍物检测的准确性，在减小误报的前提下，极大的降低移动机器人和障碍物发生碰撞的可能性，更好的实现避障功能。结合激光传感器和图像传感器的优点，能够实现稠密、精确的障碍物深度估计。利用图像数据可以克服激光数据的检测缺陷，如难以较好检测低矮障碍物、黑色障碍物等问题，利用激光数据可以克服图像数据的缺陷，如光照影响导致将光影识别为障碍物等问题。
附图说明
为了更加清楚地说明本申请实施例或者现有技术中的技术方案，下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本申请实施例的这些附图获得其他的附图。
图1是本申请一种实施方式中的障碍物检测方法的流程示意图；
图2是激光传感器和图像传感器的位置关系示意图；
图3是本申请一种实施方式中的障碍物检测方法的流程示意图；
图4A是候选物体的位置坐标框的示意图；
图4B是候选物体在两帧RGB图像的位置坐标框的示意图；
图4C是采用三角化方法得到三维坐标的示意图；
图5是XOY平面的视图；
图6是本申请一种实施方式中的障碍物检测方法的流程示意图；
图7是本申请一种实施方式中的障碍物检测方法的流程示意图；
图8是本申请一种实施方式中的障碍物检测装置的结构示意图；
图9是本申请一种实施方式中的移动机器人的硬件结构图。
具体实施方式
在本申请实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本申请实施例中提出一种障碍物检测方法，用于检测目标场景是否存在障碍物，可以应用于包括激光传感器和图像传感器的移动机器人，激光传感器用于采集目标场景的激光数据，图像传感器用于采集目标场景的图像数据，参见图1所示，为该障碍物检测方法的流程示意图，该方法可以包括：
步骤101、基于激光数据确定目标场景的目标物体的第一特征信息。
步骤102、基于图像数据确定目标场景的候选物体的第二特征信息。
步骤103、基于第一特征信息和第二特征信息确定该目标物体是否为障碍物。
在一种可能的实施方式中，该第一特征信息可以包括目标物体的初始高度和三维坐标，该第二特征信息可以包括候选物体的可疑区域和物体类型，在此基础上，若该初始高度大于第一预设阈值且小于第二预设阈值、且该三维坐标位于该可疑区域内，则可以确定与该物体类型对应的目标高度。进一步的，若该初始高度与该目标高度匹配，则可以确定该目标物体为障碍物；或者，若该初始高度与该目标高度不匹配，则可以确定该目标物体不为障碍物。
在另一种可能的实施方式中，该第一特征信息可以包括目标物体的回波信号数量和三维坐标，该第二特征信息可以包括候选物体的可疑区域和物体颜色，在此基础上，若基于该回波信号数量确定该目标物体所在的区域是空洞区域、且该三维坐标位于该可疑区域内，则可以确定该物体颜色是否为黑色。进一步的，若该物体颜色为黑色，则可以确定该目标物体为障碍物；或者，若该物体颜色不为黑色，则可以确定该目标物体不为障碍物。
在另一种可能的实施方式中，该第一特征信息可以包括初始高度，在此基础上，在基于激光数据确定目标场景的目标物体的第一特征信息之后，若该初始高度不小于第二预设阈值，则可以确定该目标物体为障碍物。
在上述实施例中，基于激光数据确定目标场景的目标物体的第一特征信息，可以包括但不限于如下方式：基于激光数据确定目标物体的二维坐标和回波信号数量；基于二维坐标、激光传感器的位姿和移动机器人的位姿确定目标物体的三维坐标，基于该三维坐标确定目标物体的初始高度。在此基础上，可以基于该回波信号数量、该三维坐标和该初始高度确定目标物体的第一特征信息。
在上述实施例中，基于图像数据确定目标场景的候选物体的第二特征信息，可以包括但不限于如下方式：可以将图像数据输入给已训练的目标网络模型，得到该图像数据内的候选物体的位置坐标框、该候选物体的物体类型和物体颜色；然后，选取该位置坐标框内的候选特征点，并从该图像数据前一帧图像的图像数据中选取与该候选特征点对应的目标特征点；然后，基于该候选特征点的像素坐标和该目标特征点的像素坐标确定该候选特征点对应的三维坐标，并基于该三维坐标确定该候选物体对应的可疑区域。在此基础上，基于该可疑区域、该物体类型和该物体颜色确定候选物体的第二特征信息。
其中，位置坐标框内可以包括多个候选特征点，每个候选特征点对应的三维坐标均包括横轴坐标、纵轴坐标和竖轴坐标，基于该三维坐标确定该候选物体对应的可疑区域，可以包括但不限于：从所有候选特征点对应的横轴坐标中选取最小横轴坐标和最大横轴坐标，从所有候选特征点对应的纵轴坐标中选取最小纵轴坐标和最大纵轴坐标，从所有候选特征点对应的竖轴坐标中选取最小竖轴坐标和最大竖轴坐标；基于最小横轴坐标、最大横轴坐标、最小纵轴坐标、最大纵轴坐标、最小竖轴坐标和最大竖轴坐标，确定候选物体对应的可疑区域。
由以上技术方案可见，本申请实施例中，可以通过激光传感器采集目标场景的激光数据，并通过图像传感器采集目标场景的图像数据，基于激光数据和图像数据准确检测到目标场景下的障碍物，即针对激光传感器和图像传感器进行障碍物检测的融合，从而更好的进行障碍物检测与避障，极大的提升障碍物检测的准确性，在减小误报的前提下，极大的降低移动机器人和障碍物发生碰撞的可能性，更好的实现避障功能。结合激光传感器和图像传感器的优点，能够实现稠密、精确的障碍物深度估计。利用图像数据可以克服激光数据的检测缺陷，如难以较好检测低矮障碍物、黑色障碍物等问题，利用激光数据可以克服图像数据的缺陷，如光照影响导致将光影识别为障碍物等问题。
以下结合具体应用场景，对本申请实施例的上述技术方案进行说明。
在移动机器人的移动过程中，移动机器人需要检测目标场景(即移动机器人经过场景，如移动机器人在室内移动时，将室内场景作为目标场景)下的障碍物，并基于障碍物的位置进行避障操作。为了检测目标场景下的障碍物，移动机器人可以部署图像传感器，通过图像传感器采集目标场景的RGB图像，并基于RGB图像检测目标场景下的障碍物。但是，在通过RGB图像检测障碍物时，会存在误检，比如说，光照影响会导致将光影识别为障碍物，从而导致无法准确检测到目标场景下的障碍物，即障碍物检测的准确性比较差。
又例如，移动机器人可以部署激光传感器，通过激光传感器采集目标场景的激光数据，并基于激光数据检测目标场景下的障碍物。但是，由于激光传感器仅能检测物体高度信息，缺少物体属性，而相同高度的物体，有些是移动机器人可以越过，如门槛，有些是移动机器人不能越过，如线材，而两者的激光数据的特性基本一致，基于激光数据无法区分这两种类型的物体。在一些场景下，激光传感器存在测距不准，导致障碍物误检的情况，如针对大理石表面会存在测距不准等问题。在一些场景下，激光传感器无法探测到黑色障碍物。
针对上述发现，本申请实施例中，在移动机器人同时部署激光传感器和图像传感器。激光传感器可以是雷达传感器，或是其它类型的传感器，具有测距功能即可。激光传感器可以是单线激光传感器，或是多线激光传感器，对此不做限制，本实施例以单线激光传感器为例。图像传感器可以是RGB摄像头，或是其它类型的传感器，具有图像采集功能即可。图像传感器可以是单目传感器，也可以是多目传感器，对此不做限制，本实施例中以单目传感器为例。
参见图2所示，是激光传感器和图像传感器的位置关系示意图，图像传感器可以位于激光传感器的上侧，当然，激光传感器也可以位于图像传感器的上侧。其中，激光传感器的视野范围与图像传感器的视野范围可以完全重合或者部分重合，对此不做限制，只要两者的视野范围存在交叠区域即可。
在实际应用中，激光传感器的数量可以为一个，也可以为至少两个，图像传感器的数量可以为一个，也可以为至少两个，对此不做限制，为了方便描述，本实施例中以一个激光传感器和一个图像传感器为例进行说明。
本申请实施例中，可以通过激光传感器采集目标场景的激光数据，并通过图像传感器采集目标场景的图像数据，并对激光数据和图像数据进行融合，从而准确检测到目标场景下的障碍物，更好的进行障碍物检测与避障。
本申请实施例中，涉及基于图像数据的分析过程、基于激光数据的分析过程、障碍物融合检测过程。在基于图像数据的分析过程中，需要确定目标场景下各物体的特征信息(即基于图像数据得到的特征信息)，为区分方便，将目标场景下的物体称为候选物体，将候选物体的特征信息称为第二特征信息。在基于激光数据的分析过程中，需要确定目标场景下各物体的特征信息(即基于激光数据得到的特征信息)，为区分方便，将目标场景下的物体称为目标物体，将目标物体的特征信息称为第一特征信息。在障碍物融合检测过程中，可以基于候选物体的第二特征信息和目标物体的第一特征信息进行障碍物检测。
第一，基于图像数据的分析过程，参见图3所示，该过程可以包括：
步骤301、通过图像传感器采集目标场景的图像数据，该图像数据可以是RGB图像，也可以是其它类型的图像，对此图像数据的类型不做限制。
步骤302、将RGB图像输入给已训练的目标网络模型，得到该RGB图像内的候选物体的位置坐标框、该候选物体的物体类型和该候选物体的物体颜色。
示例性的，为了检测候选物体的位置坐标框、物体类型和物体颜色，涉及网络模型的训练过程和网络模型的检测过程。在网络模型的训练过程中，需要预先训练得到目标网络模型，该训练过程在步骤302之前执行，且该训练过程在训练设备(或训练平台)实现，对此训练设备的类型不做限制，只要能够训练得到目标网络模型即可。在训练得到目标网络模型之后，可以将目标网络模型部署到移动机器人。在网络模型的检测过程中，移动机器人可以采用目标网络模型检测候选物体的位置坐标框、物体类型和物体颜色。
针对网络模型的训练过程，可以配置一个初始网络模型，对此初始网络模型的结构和功能不做限制，只要初始网络模型用于检测物体的位置坐标框、物体类型和物体颜色即可。比如说，初始网络模型可以是基于深度学习算法的网络模型，可以是基于神经网络的网络模型，也可以是其它类型的网络模型。作为一个例子，初始网络模型可以是YOLOV3(YouOnly Look Once，你只看一次)模型，当然，YOLOV3模型只是初始网络模型的一个示例。
为了对网络模型进行训练，可以获取训练数据集，该训练数据集包括大量样本图像(如RGB类型的样本图像)，针对每个样本图像，该样本图像对应的标签信息包括：该样本图像内物体的位置坐标框、物体类型和物体颜色。
基于训练数据集和初始网络模型，就可以采用该训练数据集对该初始网络模型进行训练，对此训练过程不做限制，得到已训练的网络模型，为了区分方便，可以将已训练的网络模型记为目标网络模型。显然，由于初始网络模型用于检测候选物体的位置坐标框、物体类型和物体颜色，因此，目标网络模型用于检测候选物体的位置坐标框、物体类型和物体颜色。在实际应用中，若初始网络模型是YOLOV3模型，则目标网络模型是YOLOV3模型。
针对网络模型的检测过程，在步骤302中，在得到RGB图像之后，可以将RGB图像输入给目标网络模型，由于目标网络模型用于检测RGB图像内的候选物体的位置坐标框、物体类型和物体颜色，因此，目标网络模型可以输出RGB图像内的候选物体的位置坐标框、物体类型和物体颜色等特征。
示例性的，位置坐标框用于表示RGB图像内的候选物体的位置，位置坐标框可以是矩形坐标框，可以通过矩形坐标框的任一角点(如左上角点、或右上角点、或左下角点、或右下角点)坐标、及矩形坐标框的长度和高度表示，也可以通过矩形坐标框的四个角点(如左上角点、右上角点、左下角点和右下角点)坐标表示，当然，上述方式只是两个示例，对此不做限制。
示例性的，物体类型用于表示RGB图像内的候选物体的类型，如线材、袜子、鞋子、垃圾桶等等，本实施例中对此候选物体的类型不做限制。
示例性的，物体颜色用于表示RGB图像内的候选物体的颜色。在一个例子中，将物体颜色区分为黑色和非黑色(即黑色之外的所有颜色)，在另一个例子中，将物体颜色区分为黑色、红色、蓝色、绿色等，即包含各种颜色。
参见图4A所示，是通过目标网络模型检测到的候选物体的位置坐标框的示例，显然，通过该位置坐标框，就可以从RGB图像内找到该候选物体。
步骤303、从RGB图像中选取该位置坐标框内的候选特征点，并从该RGB图像前一帧RGB图像中选取与该候选特征点对应的目标特征点。
示例性的，在图像处理过程中，特征点可以是图像灰度值发生剧烈变化的点，或图像边缘上曲率较大的点(即两个边缘的交点)，在得到RGB图像的位置坐标框之后，可以从RGB图像的位置坐标框内选取候选特征点，即候选特征点处于RGB图像的位置坐标框内。比如说，采用Fast角点方法从RGB图像的位置坐标框内选取候选特征点。当然，Fast角点方法只是示例，对此特征点的选取方式不做限制，只要能够从RGB图像的位置坐标框内选取候选特征点即可。
其中，在从RGB图像的位置坐标框内选取候选特征点时，可以从该位置坐标框内选取多个候选特征点，对此候选特征点的数量不做限制。
示例性的，针对RGB图像中的每个候选特征点，可以从该RGB图像前面的另一RGB图像(比如说，该RGB图像的前一帧RGB图像)中选取与该候选特征点对应的目标特征点，即对两帧RGB图像中的特征点进行匹配，找到候选特征点与目标特征点之间的匹配关系，记为Pi和Sj之间的匹配关系，表示RGB图像P中的第i个特征点与RGB图像S中的第j个特征点匹配。
在对两帧RGB图像中的特征点进行匹配时，可以计算特征点的描述子之间的相似度，基于特征点的描述子之间的相似度确定两个特征点是否具有匹配关系。比如说，当两个特征点的描述子之间的相似度大于预设阈值时，确定这两个特征点之间具有匹配关系，否则确定这两个特征点之间不具有匹配关系。在该情况下，候选特征点的描述子与目标特征点的描述子之间的相似度大于预设阈值。又例如，计算候选特征点的描述子与另一RGB图像中每个特征点之间的相似度，将最大相似度对应的特征点作为该候选特征点对应的目标特征点。
在上述过程中，描述子可以如Brief描述子、sift描述子等，对此描述子的类型不做限制，描述子是用于从图像数据中提取特征的一种方法。
在上述过程中，为了能够快速对两帧RGB图像中的特征点进行匹配，还可以基于两帧RGB图像之间的位姿关系、候选物体在一帧RGB图像中的位置坐标框，找到候选物体在另一帧RGB图像中的位置坐标框。然后，对两个位置坐标框中的特征点进行匹配，从而快速完成特征点匹配。其中，两帧RGB图像之间的位姿关系，可以由移动机器人的定位系统给出，该定位系统可以是激光slam、也可以是视觉slam、还可以是惯性导航单元，对此定位系统的类型不做限制。
参见图4B所示，给出了前后一定位姿变换下，两帧RGB图像之间的位置关系，图4B示出了候选物体在两帧RGB图像的位置坐标框的示例。
步骤304、针对每个候选特征点，基于该候选特征点的像素坐标和该目标特征点的像素坐标，确定该候选特征点对应的三维坐标，即三维物理坐标。
比如说，基于特征点匹配结果，找到候选特征点和该候选特征点对应的目标特征点，结合候选特征点的像素坐标(像素位置)和目标特征点的像素坐标，就可以得到该候选特征点对应的三维坐标，如采用三角化方法得到候选特征点对应的三维坐标。参见图4C所示，为采用三角化方法得到三维坐标的示例，p1表示目标特征点的像素坐标，p2表示候选特征点的像素坐标，O1表示前一帧RGB图像时图像传感器的位置，O2表示当前帧RGB图像时图像传感器的位置，t表示从前一帧RGB图像到当前帧RGB图像之间的时间间隔，P表示三维坐标。
基于候选特征点的像素坐标和目标特征点的像素坐标，关于采用三角化方法得到三维坐标的具体实现方式，本实施例中不做限制，只要能够得到三维坐标即可，以下结合一个具体例子，对三维坐标的确定过程进行说明。
根据相机成像原理可知，K*x*1/Z＝p，且x＝[X Y Z]，p为像素坐标，即p1为目标特征点的像素坐标，p2为候选特征点的像素坐标，x为该候选特征点在世界坐标系下对应的三维坐标，即图4C中P点的三维坐标，K为相机内参。
对于匹配成功的候选特征点和目标特征点来说，该候选特征点在世界坐标系下对应的三维坐标与该目标特征点在世界坐标系下对应的三维坐标应该相同，在此基础上，基于上述关系，可以满足以下公式(1)和公式(2)：
Figure BDA0003554570350000101
Figure BDA0003554570350000102
在公式(1)和公式(2)中，
Figure BDA0003554570350000103
表示前一帧RGB图像时图像传感器的旋转矩阵，
Figure BDA0003554570350000104
表示前一帧RGB图像时图像传感器的平移矩阵，
Figure BDA0003554570350000105
表示当前帧RGB图像时图像传感器的旋转矩阵，
Figure BDA0003554570350000111
表示当前帧RGB图像时图像传感器的平移矩阵，而
Figure BDA0003554570350000112
和
Figure BDA0003554570350000113
就是前一帧RGB图像对应的位姿，
Figure BDA0003554570350000114
和
Figure BDA0003554570350000115
就是当前帧RGB图像对应的位姿，显然，
Figure BDA0003554570350000116
和
Figure BDA0003554570350000117
以及
Figure BDA0003554570350000118
和
Figure BDA0003554570350000119
均为已知量。此外，K为相机内参，p1为目标特征点的像素坐标，p2为候选特征点的像素坐标，这些参数也是已知量。从公式(1)和公式(2)可以看出，需要求的变量为Z1和Z2，其余均为已知量。
假设x'＝K-1p，则基于公式(1)和公式(2)，可以更改方程为公式(3)：
Figure BDA00035545703500001110
利用叉乘的特殊性，x表示叉乘，则可以更改方程为公式(4)：
Figure BDA00035545703500001111
由公式(4)即可以得到Z2，再带入公式(3)即可以得到Z1。
在将Z1代入K*x*1/Z＝p，就可以得到X1和Y1，继而得到x1＝[X1 Y1 Z1]，而x1就表示目标特征点对应的三维坐标，同理，将Z2代入K*x*1/Z＝p，就可以得到X2和Y2，继而得到x2＝[X2 Y2 Z2]，而x2就表示候选特征点对应的三维坐标。
综上所述，可以得到所有候选特征点在世界坐标系下对应的三维坐标。
步骤305、基于三维坐标确定候选物体对应的可疑区域。
示例性的，RGB图像的位置坐标框内可以包括多个候选特征点，每个候选特征点对应一个三维坐标，且该三维坐标均可以包括横轴坐标、纵轴坐标和竖轴坐标。在此基础上，可以从所有候选特征点对应的横轴坐标中选取最小横轴坐标和最大横轴坐标，并从所有候选特征点对应的纵轴坐标中选取最小纵轴坐标和最大纵轴坐标，并从所有候选特征点对应的竖轴坐标中选取最小竖轴坐标和最大竖轴坐标。基于最小横轴坐标、最大横轴坐标、最小纵轴坐标、最大纵轴坐标、最小竖轴坐标和最大竖轴坐标，就可以确定候选物体对应的可疑区域。
参见图5所示，为XOY平面的视图，示出了移动机器人和候选特征点，箭头表示朝向，黑色方框表示候选物体对应的可疑区域，由于RGB图像中提取的候选特征点稀疏，因此，候选物体对应的可疑区域应略大于候选特征点的分布。
其中，将最小横轴坐标记为xmin，将最大横轴坐标记为xmax，将最小纵轴坐标记为ymin，将最大纵轴坐标记为ymax，则候选物体对应的可疑区域的四个顶点为B1、B2、B3、B4，那么，B1、B2、B3、B4的坐标可以如下所示：
Figure BDA0003554570350000121
此外，将最小竖轴坐标记为zmin，将最大竖轴坐标记为zmax，那么，在Z轴上，也存在障碍物的高度上下限，即Hmax＝zmax+Δz和Hmin＝zmin-Δz。
示例性的，Δx、Δy和Δz均为经验量，和识别的物体种类有关，对此不做限制，比如说，对于线，Δx取0.05-0.1m，Δy取0.02-0.05m，Δz取0.02-0.05m。
步骤306、基于该可疑区域、该物体类型和该物体颜色确定候选物体的第二特征信息，即第二特征信息包括该可疑区域、该物体类型和该物体颜色。
示例性的，可以将该可疑区域投影到地图上，即在地图上标记该可疑区域，表示障碍物的可疑位置，并为该可疑区域标记该物体类型和该物体颜色。
综上所述，完成基于图像数据的分析过程，得到候选物体的第二特征信息。
第二，基于激光数据的分析过程，参见图6所示，该过程可以包括：
步骤601、通过激光传感器采集目标场景的激光数据，并基于该激光数据确定目标物体的二维坐标和回波信号数量。示例性的，激光传感器可以发出线激光，并接收线激光的回波信号，激光传感器基于回波信号采集目标场景的激光数据，该激光数据可以包括但不限于目标场景内的目标物体的二维坐标和回波信号数量，回波信号数量表示激光传感器接收到的回波信号的数量，这样，就可以基于该激光数据确定目标物体的二维坐标和回波信号数量。
步骤602、基于二维坐标、激光传感器的位姿和移动机器人的位姿确定目标物体的三维坐标，即目标物体在世界坐标系下对应的三维物理坐标。
示例性的，对于线激光来说，激光传感器检测的是单个平面上的点，坐标只有(x，y)，但通过摆放位置的设计，根据激光传感器的外参、移动机器人的位姿、激光传感器的位姿，可以得到目标物体的三维坐标，参见公式(5)所示：
Figure BDA0003554570350000131
在公式(5)中，
Figure BDA0003554570350000132
表示移动机器人的位姿，Tl表示激光传感器的位姿，(xl,yl)表示目标物体的二维坐标，(xw,yw,zw)表示目标物体的三维坐标。
步骤603、基于该三维坐标确定目标物体的初始高度。
示例性的，对于目标物体的三维坐标(xw,yw,zw)来说，zw就表示目标物体的高度，为了区分方便，将目标物体的高度称为目标物体的初始高度。
步骤604、基于该回波信号数量、该三维坐标和该初始高度确定目标物体的第一特征信息，即第一特征信息包括该回波信号数量、该三维坐标和初始高度。
综上所述，完成基于激光数据的分析过程，得到目标物体的第一特征信息。
第三，障碍物融合检测过程。对于初始高度zw等于0的目标物体，说明目标物体是地面，不是障碍物，而对于初始高度zw大于0的目标物体，说明目标物体是地面上的障碍物。但是，由于移动机器人的位姿
Figure BDA0003554570350000133
存在估计不准的情况，而线激光又只有二维信息，因此，在移动机器人移动过程中，存在颠簸抖动等情况，会影响最终检测到的障碍物的三维坐标。此外，线激光由于传感器数据特性，在大理石地面上同样存在测距不准等情况，也会导致障碍物的三维坐标计算有误。为了避免对于低矮障碍物的误报，本实施例中，需要结合激光数据和图像数据，障碍物融合检测过程可以参见图7所示，该过程可以包括：
步骤701、确定目标物体的初始高度是否不小于第二预设阈值。
若是，则可以执行步骤702，若否，则可以执行步骤703。
示例性的，目标物体的第一特征信息可以包括目标物体的初始高度，可以判断该初始高度是否不小于第二预设阈值，该第二预设阈值可以根据经验进行配置。若该初始高度不小于该第二预设阈值，则表示目标物体是一个高障碍物，若该初始高度小于该第二预设阈值，则表示目标物体不是一个高障碍物。
步骤702、若该初始高度不小于第二预设阈值，则确定目标物体为障碍物。
在一种可能的实施方式中，在确定目标物体为障碍物之后，还可以对障碍物(即目标物体)避障操作，本实施例中对此避障操作的方式不做限制。
步骤703、确定目标物体的初始高度是否大于第一预设阈值。
若是，则可以执行步骤704，若否，则可以执行步骤707。
示例性的，可以判断该初始高度是否大于第一预设阈值，该第一预设阈值可以根据经验进行配置。若该初始高度大于第一预设阈值，即大于第一预设阈值且小于第二预设阈值，则表示目标物体是一个低障碍物，若该初始高度不大于第一预设阈值，则表示目标物体不是一个低障碍物，可能是地面。
在上述实施例中，该第一预设阈值可以小于该第二预设阈值。
步骤704、若该初始高度大于第一预设阈值且小于第二预设阈值，则判断目标物体的三维坐标是否位于可疑区域内，即候选物体的可疑区域。
如果否，则可以执行步骤705，如果是，则可以执行步骤706。
示例性的，目标物体的第一特征信息包括目标物体的三维坐标，候选物体的第二特征信息包括候选物体的可疑区域，因此，可以判断该三维坐标是否位于该可疑区域内。例如，若可疑区域是二维可疑区域，当三维坐标的横坐标值xw位于可疑区域的最小横坐标值与最大横坐标值之间，且三维坐标的纵坐标值yw位于可疑区域的最小纵坐标值与最大纵坐标值之间，则确定三维坐标位于可疑区域内，否则，确定三维坐标不位于可疑区域内。若可疑区域是三维可疑区域，当三维坐标的横坐标值xw位于可疑区域的最小横坐标值与最大横坐标值之间，且三维坐标的纵坐标值yw位于可疑区域的最小纵坐标值与最大纵坐标值之间，且三维坐标的竖坐标值zw位于可疑区域的最小竖坐标值与最大竖坐标值之间，则确定三维坐标位于可疑区域内，否则，确定三维坐标不位于可疑区域内。
步骤705、确定目标物体不为障碍物，即检测出不为障碍物。
步骤706、确定候选物体的物体类型对应的目标高度，并判断该初始高度与该目标高度是否匹配。如果是，则执行步骤702，如果否，则执行步骤705。
示例性的，针对每组类型的障碍物，可以预先配置该障碍物的物体类型与该障碍物的目标高度(即该障碍物的实际高度)之间的映射关系，在此基础上，针对步骤706来说，若目标物体的三维坐标位于候选物体的可疑区域内，由于该候选物体的第二特征信息还可以包括候选物体的物体类型，因此，可以通过该物体类型查询该映射关系，从而得到该物体类型对应的目标高度。
然后，若该初始高度与该目标高度匹配，如该初始高度与该目标高度之间的差值的绝对值小于预设高度阈值，则可以确定该目标物体为障碍物。
若该初始高度与该目标高度不匹配，如该初始高度与该目标高度之间的差值的绝对值不小于预设高度阈值，则可以确定该目标物体不为障碍物。
步骤707、若该初始高度不大于第一预设阈值，则基于该目标物体对应的回波信号数量确定该目标物体所在的区域是否为空洞区域。
如果否，则可以执行步骤705，如果是，则可以执行步骤708。
示例性的，对于黑色物体来说，激光传感器的特性是检测时会存在空洞现象，也就是说，激光传感器发出去的激光被黑色吸光线吸收，导致激光传感器无法接收到回波信号，即存在空洞区域，因此，当激光传感器检测到目标物体所在的区域是空洞区域时，可以结合图像传感器的可疑区域进一步分析。
示例性的，目标物体的第一特征信息可以包括该目标物体的回波信号数量，可以基于该回波信号数量确定该目标物体所在的区域是否为空洞区域。比如说，若该回波信号数量大于第一阈值，则可以确定目标物体所在的区域不为空洞区域，若该回波信号数量不大于第一阈值，则可以确定目标物体所在的区域为空洞区域。又例如，若该回波信号数量与激光发射数量的比例大于第二阈值，则可以确定目标物体所在的区域不为空洞区域，若该回波信号数量与激光发射数量的比例不大于第二阈值，则可以确定目标物体所在的区域为空洞区域。
示例性的，若该目标物体所在的区域不为空洞区域，则初始高度不大于第一预设阈值时，可以直接确定目标物体不为障碍物，对此过程不再赘述。
示例性的，若该目标物体所在的区域为空洞区域，则初始高度不大于第一预设阈值时，目标物体可能为障碍物，也可能不为障碍物，执行步骤708。
步骤708、判断目标物体的三维坐标是否位于可疑区域内。示例性的，目标物体的第一特征信息包括目标物体的三维坐标，候选物体的第二特征信息包括候选物体的可疑区域，因此，可以判断该三维坐标是否位于该可疑区域内。
如果否，则可以执行步骤705，如果是，则可以执行步骤709。
步骤709、确定候选物体的物体颜色，并确定该物体颜色是否为黑色。
如果是，则可以执行步骤702，如果否，则可以执行步骤705。
示例性的，若候选物体的物体颜色为黑色，且线激光检测到空洞(即目标物体所在的区域为空洞区域)，则说明目标物体是黑色障碍物，即确定该目标物体为障碍物。若候选物体的物体颜色不为黑色，即使目标物体所在的区域为空洞区域，则说明目标物体不是黑色障碍物，即确定该目标物体不为障碍物。
示例性的，由于候选物体的第二特征信息还可以包括候选物体的物体颜色，因此，可以确定候选物体的物体颜色，该物体颜色为黑色或者不为黑色。
由以上技术方案可见，本申请实施例中，可以针对激光传感器和图像传感器进行障碍物检测的融合，更好的进行障碍物检测与避障，极大的提升障碍物检测的准确性，在减小误报的前提下，极大的降低移动机器人和障碍物发生碰撞的可能性，更好的实现避障功能。结合激光传感器和图像传感器的优点，能够实现稠密、精确的障碍物深度估计。利用图像数据可以克服激光数据的检测缺陷，如难以较好检测低矮障碍物、黑色障碍物等问题，利用激光数据可以克服图像数据的缺陷，如光照影响导致将光影识别为障碍物等问题，实现多种三维复杂障碍物的识别与避障。通过为图像传感器的图像数据融合激光数据，实现了稠密的障碍物位置估计。通过为激光传感器的激光数据融合图像数据，弥补了线激光对低矮障碍物、黑色障碍物检测效果较差的问题。
基于与上述方法同样的申请构思，本申请实施例中提出一种障碍物检测装置，应用于包括激光传感器和图像传感器的移动机器人，所述激光传感器用于采集目标场景的激光数据，所述图像传感器用于采集所述目标场景的图像数据，参见图8所示，为所述障碍物检测装置的结构示意图，所述装置包括：第一确定模块81，用于基于所述激光传感器采集的激光数据确定所述目标场景的目标物体的第一特征信息；第二确定模块82，用于基于所述图像传感器采集的图像数据确定所述目标场景的候选物体的第二特征信息；第三确定模块83，用于基于所述第一特征信息和所述第二特征信息确定所述目标物体是否为障碍物。
示例性的，第一特征信息包括初始高度和三维坐标，第二特征信息包括可疑区域和物体类型，所述第三确定模块83基于第一特征信息和第二特征信息确定所述目标物体是否为障碍物时具体用于：若所述初始高度大于第一预设阈值且小于第二预设阈值、且所述三维坐标位于可疑区域内，则确定与物体类型对应的目标高度；若所述初始高度与所述目标高度匹配，则确定目标物体为障碍物；若所述初始高度与所述目标高度不匹配，则确定目标物体不为障碍物。
示例性的，第一特征信息包括回波信号数量和三维坐标，第二特征信息包括可疑区域和物体颜色，所述第三确定模块83基于所述第一特征信息和第二特征信息确定所述目标物体是否为障碍物时具体用于：若基于所述回波信号数量确定所述目标物体所在的区域是空洞区域、且所述三维坐标位于所述可疑区域内，则确定所述物体颜色是否为黑色；若所述物体颜色为黑色，确定所述目标物体为障碍物；若所述物体颜色不为黑色，确定所述目标物体不为障碍物。
示例性的，所述第一特征信息包括初始高度，所述第三确定模块83还用于：若所述初始高度不小于第二预设阈值，则确定所述目标物体为障碍物。
示例性的，所述第一确定模块81基于所述激光传感器采集的激光数据确定所述目标场景的目标物体的第一特征信息时具体用于：基于所述激光数据确定所述目标物体的二维坐标和回波信号数量；基于所述二维坐标、所述激光传感器的位姿和所述移动机器人的位姿确定所述目标物体的三维坐标，基于所述三维坐标确定所述目标物体的初始高度；以及，基于所述回波信号数量、所述三维坐标和所述初始高度确定所述目标物体的所述第一特征信息。
示例性的，所述第二确定模块82基于所述图像传感器采集的图像数据确定所述目标场景的候选物体的第二特征信息时具体用于：将所述图像数据输入给已训练的目标网络模型，得到所述图像数据内的候选物体的位置坐标框、所述候选物体的物体类型和物体颜色；选取所述位置坐标框内的候选特征点，并从所述图像数据前一帧图像的图像数据中选取与所述候选特征点对应的目标特征点；基于所述候选特征点的像素坐标和所述目标特征点的像素坐标确定所述候选特征点对应的三维坐标；基于所述三维坐标确定所述候选物体对应的可疑区域；基于所述可疑区域、物体类型和物体颜色确定所述第二特征信息。
示例性的，所述位置坐标框内包括多个候选特征点，每个候选特征点对应的三维坐标均包括横轴坐标、纵轴坐标和竖轴坐标，所述第二确定模块82基于所述三维坐标确定所述候选物体对应的可疑区域时具体用于：从所有候选特征点对应的横轴坐标中选取最小横轴坐标和最大横轴坐标，从所有候选特征点对应的纵轴坐标中选取最小纵轴坐标和最大纵轴坐标，从所有候选特征点对应的竖轴坐标中选取最小竖轴坐标和最大竖轴坐标；基于所述最小横轴坐标、所述最大横轴坐标、所述最小纵轴坐标、所述最大纵轴坐标、所述最小竖轴坐标和所述最大竖轴坐标，确定所述候选物体对应的可疑区域。
基于与上述方法同样的构思，本申请实施例提出一种移动机器人，参见图9所示，为该移动机器人的结构示意图，该移动机器人可以包括：
激光传感器91，用于采集目标场景的激光数据；
图像传感器92，用于采集所述目标场景的图像数据；
处理器93，用于基于所述激光数据确定所述目标场景的目标物体的第一特征信息；基于所述图像数据确定所述目标场景的候选物体的第二特征信息；基于所述第一特征信息和所述第二特征信息确定所述目标物体是否为障碍物。
示例性的，所述第一特征信息包括初始高度和三维坐标，所述第二特征信息包括可疑区域和物体类型，所述处理器93基于所述第一特征信息和所述第二特征信息确定所述目标物体是否为障碍物时具体用于：若所述初始高度大于第一预设阈值且小于第二预设阈值、且所述三维坐标位于所述可疑区域内，则确定与所述物体类型对应的目标高度；若所述初始高度与所述目标高度匹配，则确定所述目标物体为障碍物；若所述初始高度与所述目标高度不匹配，则确定所述目标物体不为障碍物。
示例性的，所述第一特征信息包括回波信号数量和三维坐标，所述第二特征信息包括可疑区域和物体颜色，所述处理器93基于所述第一特征信息和第二特征信息确定所述目标物体是否为障碍物时具体用于：若基于所述回波信号数量确定所述目标物体所在的区域是空洞区域、且所述三维坐标位于所述可疑区域内，则确定所述物体颜色是否为黑色；若所述物体颜色为黑色，确定所述目标物体为障碍物；若所述物体颜色不为黑色，确定所述目标物体不为障碍物。
示例性的，所述第一特征信息包括初始高度，所述处理器93还用于：若所述初始高度不小于第二预设阈值，则确定所述目标物体为障碍物。
示例性的，所述处理器93基于所述激光数据确定所述目标场景的目标物体的第一特征信息时具体用于：基于所述激光数据确定所述目标物体的二维坐标和回波信号数量；基于所述二维坐标、所述激光传感器的位姿和所述移动机器人的位姿确定所述目标物体的三维坐标，基于所述三维坐标确定所述目标物体的初始高度；以及，基于所述回波信号数量、所述三维坐标和所述初始高度确定所述目标物体的所述第一特征信息。
示例性的，所述处理器93基于所述图像数据确定所述目标场景的候选物体的第二特征信息时具体用于：将所述图像数据输入给已训练的目标网络模型，得到所述图像数据内的候选物体的位置坐标框、所述候选物体的物体类型和物体颜色；选取所述位置坐标框内的候选特征点，并从所述图像数据前一帧图像的图像数据中选取与所述候选特征点对应的目标特征点；基于所述候选特征点的像素坐标和所述目标特征点的像素坐标确定所述候选特征点对应的三维坐标；基于所述三维坐标确定所述候选物体对应的可疑区域；基于所述可疑区域、物体类型和物体颜色确定所述第二特征信息。
示例性的，所述位置坐标框内包括多个候选特征点，每个候选特征点对应的三维坐标均包括横轴坐标、纵轴坐标和竖轴坐标，所述处理器93基于所述三维坐标确定所述候选物体对应的可疑区域时具体用于：从所有候选特征点对应的横轴坐标中选取最小横轴坐标和最大横轴坐标，从所有候选特征点对应的纵轴坐标中选取最小纵轴坐标和最大纵轴坐标，从所有候选特征点对应的竖轴坐标中选取最小竖轴坐标和最大竖轴坐标；基于所述最小横轴坐标、所述最大横轴坐标、所述最小纵轴坐标、所述最大纵轴坐标、所述最小竖轴坐标和所述最大竖轴坐标，确定所述候选物体对应的可疑区域。
基于与上述方法同样的申请构思，本申请实施例提出一种移动机器人，移动机器人还可以包括：处理器和机器可读存储介质，机器可读存储介质存储有能够被处理器执行的机器可执行指令；其中，处理器用于执行机器可执行指令，以实现本申请上述示例公开的障碍物检测方法。
基于与上述方法同样的申请构思，本申请实施例还提供一种机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被处理器执行时，能够实现本申请上述示例公开的障碍物检测方法。
其中，上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种障碍物检测方法，其特征在于，应用于包括激光传感器和图像传感器的移动机器人，所述激光传感器用于采集目标场景的激光数据，所述图像传感器用于采集所述目标场景的图像数据，所述方法包括：
基于所述激光数据确定所述目标场景的目标物体的第一特征信息；
基于所述图像数据确定所述目标场景的候选物体的第二特征信息；
基于第一特征信息和第二特征信息确定所述目标物体是否为障碍物。
2.根据权利要求1所述的方法，其特征在于，所述第一特征信息包括初始高度和三维坐标，所述第二特征信息包括可疑区域和物体类型，所述基于第一特征信息和第二特征信息确定所述目标物体是否为障碍物，包括：
若所述初始高度大于第一预设阈值且小于第二预设阈值、且所述三维坐标位于所述可疑区域内，则确定与所述物体类型对应的目标高度；
若所述初始高度与所述目标高度匹配，则确定所述目标物体为障碍物；
若所述初始高度与所述目标高度不匹配，则确定所述目标物体不为障碍物。
3.根据权利要求1所述的方法，其特征在于，所述第一特征信息包括回波信号数量和三维坐标，所述第二特征信息包括可疑区域和物体颜色，所述基于第一特征信息和第二特征信息确定所述目标物体是否为障碍物，包括：
若基于所述回波信号数量确定所述目标物体所在的区域是空洞区域、且所述三维坐标位于所述可疑区域内，则确定所述物体颜色是否为黑色；
若所述物体颜色为黑色，则确定所述目标物体为障碍物；
若所述物体颜色不为黑色，则确定所述目标物体不为障碍物。
4.根据权利要求1所述的方法，其特征在于，
所述第一特征信息包括初始高度，所述基于所述激光数据确定所述目标场景的目标物体的第一特征信息之后，所述方法还包括：
若所述初始高度不小于第二预设阈值，则确定所述目标物体为障碍物。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述基于所述激光数据确定所述目标场景的目标物体的第一特征信息，包括：
基于所述激光数据确定所述目标物体的二维坐标和回波信号数量；
基于所述二维坐标、所述激光传感器的位姿和所述移动机器人的位姿确定所述目标物体的三维坐标，基于所述三维坐标确定所述目标物体的初始高度；
基于所述回波信号数量、三维坐标和初始高度确定所述第一特征信息。
6.根据权利要求1-4任一项所述的方法，其特征在于，所述基于所述图像数据确定所述目标场景的候选物体的第二特征信息，包括：
将所述图像数据输入给已训练的目标网络模型，得到所述图像数据内的候选物体的位置坐标框、所述候选物体的物体类型和物体颜色；
选取所述位置坐标框内的候选特征点，并从所述图像数据前一帧图像的图像数据中选取与所述候选特征点对应的目标特征点；基于所述候选特征点的像素坐标和所述目标特征点的像素坐标确定所述候选特征点对应的三维坐标；
基于所述三维坐标确定所述候选物体对应的可疑区域；
基于所述可疑区域、物体类型和物体颜色确定所述第二特征信息。
7.根据权利要求6所述的方法，其特征在于，所述位置坐标框内包括多个候选特征点，每个候选特征点对应的三维坐标均包括横轴坐标、纵轴坐标和竖轴坐标，所述基于所述三维坐标确定所述候选物体对应的可疑区域，包括：
从所有候选特征点对应的横轴坐标中选取最小横轴坐标和最大横轴坐标，从所有候选特征点对应的纵轴坐标中选取最小纵轴坐标和最大纵轴坐标，从所有候选特征点对应的竖轴坐标中选取最小竖轴坐标和最大竖轴坐标；
基于所述最小横轴坐标、最大横轴坐标、最小纵轴坐标、最大纵轴坐标、最小竖轴坐标和最大竖轴坐标，确定所述候选物体对应的可疑区域。
8.一种移动机器人，其特征在于，包括：
激光传感器，用于采集目标场景的激光数据；
图像传感器，用于采集所述目标场景的图像数据；
处理器，用于基于所述激光数据确定所述目标场景的目标物体的第一特征信息；基于所述图像数据确定所述目标场景的候选物体的第二特征信息；基于所述第一特征信息和所述第二特征信息确定所述目标物体是否为障碍物。
9.根据权利要求8所述的移动机器人，其特征在于，其中，所述第一特征信息包括初始高度和三维坐标，所述第二特征信息包括可疑区域和物体类型，所述处理器基于所述第一特征信息和所述第二特征信息确定所述目标物体是否为障碍物时具体用于：若所述初始高度大于第一预设阈值且小于第二预设阈值、且所述三维坐标位于所述可疑区域内，则确定与所述物体类型对应的目标高度；若所述初始高度与所述目标高度匹配，则确定所述目标物体为障碍物；若所述初始高度与所述目标高度不匹配，则确定所述目标物体不为障碍物；
其中，所述第一特征信息包括回波信号数量和三维坐标，所述第二特征信息包括可疑区域和物体颜色，所述处理器基于所述第一特征信息和第二特征信息确定所述目标物体是否为障碍物时具体用于：若基于所述回波信号数量确定所述目标物体所在的区域是空洞区域、且所述三维坐标位于所述可疑区域内，则确定所述物体颜色是否为黑色；若所述物体颜色为黑色，确定所述目标物体为障碍物；若所述物体颜色不为黑色，确定所述目标物体不为障碍物；
其中，所述第一特征信息包括初始高度，所述处理器还用于：若所述初始高度不小于第二预设阈值，则确定所述目标物体为障碍物；
其中，所述处理器基于所述激光数据确定所述目标场景的目标物体的第一特征信息时具体用于：基于所述激光数据确定所述目标物体的二维坐标和回波信号数量；基于所述二维坐标、所述激光传感器的位姿和所述移动机器人的位姿确定所述目标物体的三维坐标，基于所述三维坐标确定所述目标物体的初始高度；以及，基于所述回波信号数量、所述三维坐标和所述初始高度确定所述目标物体的所述第一特征信息；
其中，所述处理器基于所述图像数据确定所述目标场景的候选物体的第二特征信息时具体用于：将所述图像数据输入给已训练的目标网络模型，得到所述图像数据内的候选物体的位置坐标框、所述候选物体的物体类型和物体颜色；选取所述位置坐标框内的候选特征点，并从所述图像数据前一帧图像的图像数据中选取与所述候选特征点对应的目标特征点；基于所述候选特征点的像素坐标和所述目标特征点的像素坐标确定所述候选特征点对应的三维坐标；基于所述三维坐标确定所述候选物体对应的可疑区域；基于所述可疑区域、物体类型和物体颜色确定所述第二特征信息；
其中，所述位置坐标框内包括多个候选特征点，每个候选特征点对应的三维坐标均包括横轴坐标、纵轴坐标和竖轴坐标，所述处理器基于所述三维坐标确定所述候选物体对应的可疑区域时具体用于：从所有候选特征点对应的横轴坐标中选取最小横轴坐标和最大横轴坐标，从所有候选特征点对应的纵轴坐标中选取最小纵轴坐标和最大纵轴坐标，从所有候选特征点对应的竖轴坐标中选取最小竖轴坐标和最大竖轴坐标；基于所述最小横轴坐标、所述最大横轴坐标、所述最小纵轴坐标、所述最大纵轴坐标、所述最小竖轴坐标和所述最大竖轴坐标，确定所述候选物体对应的可疑区域。
10.一种机器可读存储介质，其特征在于，
所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被处理器执行时，实现权利要求1-7任一所述的方法步骤。
CN202210273033.8A 2022-03-18 2022-03-18 一种障碍物检测方法、移动机器人及机器可读存储介质 Pending CN114612786A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210273033.8A CN114612786A (zh) 2022-03-18 2022-03-18 一种障碍物检测方法、移动机器人及机器可读存储介质
PCT/CN2023/074367 WO2023173950A1 (zh) 2022-03-18 2023-02-03 障碍物检测方法、移动机器人及机器可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210273033.8A CN114612786A (zh) 2022-03-18 2022-03-18 一种障碍物检测方法、移动机器人及机器可读存储介质

Publications (1)

Publication Number Publication Date
CN114612786A true CN114612786A (zh) 2022-06-10

Family

ID=81865549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210273033.8A Pending CN114612786A (zh) 2022-03-18 2022-03-18 一种障碍物检测方法、移动机器人及机器可读存储介质

Country Status (2)

Country Link
CN (1) CN114612786A (zh)
WO (1) WO2023173950A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023173950A1 (zh) * 2022-03-18 2023-09-21 杭州萤石软件有限公司 障碍物检测方法、移动机器人及机器可读存储介质
CN117268474A (zh) * 2023-11-21 2023-12-22 江西中汇云链供应链管理有限公司 一种用于场景内物体体积、数量及重量估算的装置及方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117022264B (zh) * 2023-10-09 2024-02-02 广州市德赛西威智慧交通技术有限公司 基于雷视融合的障碍物检测方法及装置
CN117994759A (zh) * 2024-01-31 2024-05-07 小米汽车科技有限公司 障碍物的位置检测方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021026831A1 (zh) * 2019-08-14 2021-02-18 珊口（深圳）智能科技有限公司 移动机器人及其控制方法和控制系统
CN111743464A (zh) * 2020-07-06 2020-10-09 追创科技(苏州)有限公司 一种基于线激光的避障方法及装置
CN112560580B (zh) * 2020-11-20 2022-01-28 腾讯科技（深圳）有限公司 障碍物识别方法、装置、系统、存储介质和电子设备
CN113096183B (zh) * 2021-03-18 2023-05-16 武汉科技大学 一种基于激光雷达与单目相机的障碍物检测与测量方法
CN114612786A (zh) * 2022-03-18 2022-06-10 杭州萤石软件有限公司 一种障碍物检测方法、移动机器人及机器可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023173950A1 (zh) * 2022-03-18 2023-09-21 杭州萤石软件有限公司 障碍物检测方法、移动机器人及机器可读存储介质
CN117268474A (zh) * 2023-11-21 2023-12-22 江西中汇云链供应链管理有限公司 一种用于场景内物体体积、数量及重量估算的装置及方法

Also Published As

Publication number Publication date
WO2023173950A1 (zh) 2023-09-21

Similar Documents

Publication Publication Date Title
CN114612786A (zh) 一种障碍物检测方法、移动机器人及机器可读存储介质
CN111665842B (zh) 一种基于语义信息融合的室内slam建图方法及系统
US11003939B2 (en) Information processing apparatus, information processing method, and storage medium
KR20180044279A (ko) 깊이 맵 샘플링을 위한 시스템 및 방법
CN108297115B (zh) 一种机器人的自主重定位方法
Li et al. Automatic targetless LiDAR–camera calibration: a survey
CN103886107B (zh) 基于天花板图像信息的机器人定位与地图构建系统
US20210227144A1 (en) Target tracking method and device, movable platform, and storage medium
CN112734765A (zh) 基于实例分割与多传感器融合的移动机器人定位方法、系统及介质
CN113936198A (zh) 低线束激光雷达与相机融合方法、存储介质及装置
CN112346453A (zh) 机器人自动回充方法、装置、机器人和存储介质
US20220319146A1 (en) Object detection method, object detection device, terminal device, and medium
US20210348927A1 (en) Information processing apparatus, information processing method, and recording medium
WO2021114773A1 (en) Target detection method, device, terminal device, and medium
CN113052907B (zh) 一种动态环境移动机器人的定位方法
TWI526879B (zh) 互動系統、遙控器及其運作方法
US12047674B2 (en) System for generating a three-dimensional scene of a physical environment
Zelener et al. Cnn-based object segmentation in urban lidar with missing points
CN111724432B (zh) 物体三维检测方法和装置
JP2016148956A (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
CN111198563B (zh) 一种用于足式机器人动态运动的地形识别方法及系统
CN116160458B (zh) 一种移动机器人多传感器融合快速定位方法、设备及系统
CN113538510A (zh) 一种生产线上工件实时追踪与定位装置
CN112405526A (zh) 一种机器人的定位方法及装置、设备、存储介质
Hochdorfer et al. 6 DoF SLAM using a ToF camera: The challenge of a continuously growing number of landmarks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination