CN116128841A - 托盘位姿检测方法及装置、无人叉车、存储介质 - Google Patents

Abstract

一种托盘位姿检测方法及装置、无人叉车、存储介质，该方法应用于无人叉车，该方法包括：在无人叉车处于目标检测位置的情况下，采集目标检测位置中包括托盘的初始点云数据；从初始点云数据中分离地面点云数据，得到候选托盘点云数据；将候选托盘点云数据中不符合法线夹角范围的偏移点剔除，并从剔除偏移点后的候选托盘点云数据中，搜索得到目标托盘面点云数据；对目标托盘面点云数据进行配准，以确定目标检测位置中的托盘对应的位姿。实施本申请实施例，能够提升无人叉车对托盘位姿进行检测的精确性，从而有效提高无人叉车的运输效率。

Description

托盘位姿检测方法及装置、无人叉车、存储介质

技术领域

本申请涉及无人叉车技术领域，尤其涉及一种托盘位姿检测方法及装置、无人叉车、存储介质。

背景技术

当前，在仓储物流的工作场景中，通过叉车对托盘上的货物进行运输是一种常见的运输需求。然而，在实践中发现，当使用无人叉车来实现智能化运输的时候，无人叉车往往很难准确获取托盘的位置、姿态等在运输过程中所需的具体数据，即，无人叉车对托盘位姿进行检测的精确性不高，从而降低了无人叉车的运输效率。

发明内容

本申请实施例公开了一种托盘位姿检测方法及装置、无人叉车、存储介质，能够提升无人叉车对托盘位姿进行检测的精确性，从而有效提高无人叉车的运输效率。

本申请实施例第一方面公开一种托盘位姿检测方法，应用于无人叉车，所述方法包括：

在所述无人叉车处于目标检测位置的情况下，采集所述目标检测位置中包括托盘的初始点云数据；

从所述初始点云数据中分离地面点云数据，得到候选托盘点云数据；

将所述候选托盘点云数据中不符合法线夹角范围的偏移点剔除，并从剔除所述偏移点后的候选托盘点云数据中，搜索得到目标托盘面点云数据；

对所述目标托盘面点云数据进行配准，以确定所述目标检测位置中的所述托盘对应的位姿。

本申请实施例第二方面公开一种托盘位姿检测装置，应用于无人叉车，所述托盘位姿检测装置包括：

点云采集单元，用于在所述无人叉车处于目标检测位置的情况下，采集所述目标检测位置中包括托盘的初始点云数据；

地面分离单元，用于从所述初始点云数据中分离地面点云数据，得到候选托盘点云数据；

平面搜索单元，用于将所述候选托盘点云数据中不符合法线夹角范围的偏移点剔除，并从剔除所述偏移点后的候选托盘点云数据中，搜索得到目标托盘面点云数据；

配准单元，用于对所述目标托盘面点云数据进行配准，以确定所述目标检测位置中的所述托盘对应的位姿。

本申请实施例第三方面公开了另一种无人叉车，包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行本申请实施例第一方面公开的任意一种托盘位姿检测方法中的全部或部分步骤。

本申请实施例第四方面公开了一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本申请实施例第一方面公开的任意一种托盘位姿检测方法中的全部或部分步骤。

与相关技术相比，本申请实施例具有以下有益效果：

本申请实施例中，应用托盘位姿检测方法的无人叉车可以在其处于目标检测位置的情况下，采集目标检测位置中包括托盘的初始点云数据，并从初始点云数据中分离地面点云数据，得到候选托盘点云数据。无人叉车可以进一步将候选托盘点云数据中不符合法线夹角范围的偏移点剔除，并从剔除偏移点后的候选托盘点云数据中，搜索得到目标托盘面点云数据。在此基础上，无人叉车可以对目标托盘面点云数据进行配准，以确定目标检测位置中的托盘对应的位姿。可见，实施本申请实施例，能够在仓储物流的工作场景中，利用无人叉车对运输货物所使用的托盘进行检测，准确获取托盘的位置、姿态等位姿数据。在相关技术中，常常是通过区域生长分割、RANSAC模型分割和聚类等算法来计算三维点云的几何特征，进而实现托盘检测，而这类基于几何特征的算法容易受噪点影响，无法准确地对缠膜等干扰下的托盘进行检测。相较于上述传统的基于几何特征的算法，本申请实施例的托盘位姿检测方法能够基于几何特征进行初始定位和点云配准，有效降低了检测过程中的噪点干扰，尤其可以适用于对不规则形状的托盘或存在干扰的托盘进行检测，从而有利于提升无人叉车对托盘位姿进行检测的精确性，降低检测误差，从而有效提高了无人叉车的自动化运输效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图进行简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例公开的一种无人叉车的应用场景示意图；

图2是本申请实施例公开的一种托盘位姿检测方法的流程示意图；

图3是本申请实施例公开的一种从初始点云数据中分离地面点云数据的示意图；

图4是本申请实施例公开的一种从候选托盘点云数据中剔除偏移点的示意图；

图5是本申请实施例公开的另一种托盘位姿检测方法的流程示意图；

图6是本申请实施例公开的又一种托盘位姿检测方法的流程示意图；

图7是本申请实施例公开的一种无人叉车的模块化示意图；

图8是本申请实施例公开的又一种无人叉车的模块化示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例公开了一种托盘位姿检测方法及装置、无人叉车、存储介质，能够提升无人叉车对托盘位姿进行检测的精确性，从而有效提高无人叉车的运输效率。

以下将结合实施例和附图进行详细描述。

请参阅图1，图1是本申请实施例公开的托盘位姿检测方法的一种应用场景示意图，可以包括无人叉车10(也可称为自动搬运机器人或自动导向车，即Automated GuidedVehicle，AGV)以及托盘20。其中，在仓储物流的工作场景中，无人叉车10可以通过对托盘20进行检测、识别，获取托盘20对应的位置、姿态等在运输过程中所需的位姿数据，以便于精确地对托盘20以及处于该托盘20上的货物进行运输。

如图1所示，无人叉车10可以包括感知模块11，该感知模块11可以包括感知元件以及处理元件(未具体图示)。其中，上述感知元件可以包括3D激光雷达等，用于对无人叉车10附近，尤其是其前方空间的点云数据进行采集，以获取包括待检测的托盘在内的初始点云数据。上述处理元件，则可以用于对该初始点云数据进行处理，以最终确定出上述托盘的位姿。

需要说明的是，图1所示的无人叉车10为车辆形态，这仅是一种示例，在其他实施例中，无人叉车10也可以具有其他不同的形态，例如轨道机器人、非车辆形态的无轨道机器人等，本申请实施例中不作具体限定。示例性地，上述无人叉车10所搭载的感知模块11，可以包括具备感知元件以及处理元件的各类设备或系统，例如车机、电脑、基于SoC(System-on-a-Chip，片上系统)的点云扫描处理系统等，本申请实施例中也不作具体限定。

在相关技术中，常常需要通过区域生长分割、RANSAC模型分割和聚类等算法来计算三维点云的几何特征，进而实现托盘检测。这类基于几何特征的算法容易受噪点影响，往往无法准确地对缠膜等干扰下的托盘20进行检测。

在本申请实施例中，为了在仓储物流的工作场景中对托盘20上的货物进行运输，并克服相关技术中无人叉车10往往难以准确确定托盘20的位姿的困难(尤其可以包括检测过程中容易受噪点影响的困难)，可以通过扫描点云的方式获取托盘20的位姿，并进一步对托盘20以及该托盘20上的货物进行定位。示例性地，在无人叉车10处于目标检测位置的情况下，该无人叉车10可以采集目标检测位置中包括托盘20的初始点云数据，并从该初始点云数据中分离地面点云数据，得到候选托盘点云数据。进一步地，无人叉车10可以将候选托盘点云数据中不符合法线夹角范围的偏移点剔除，并从剔除偏移点后的候选托盘点云数据中，搜索得到目标托盘面点云数据。其中，上述法线夹角范围，可以用于判断候选托盘点云数据中的点的点云法线与指定轴线的夹角是否处于预先设定的法线夹角范围内，继而可以确定相应的点是否属于偏移点。在此基础上，无人叉车10可以对上述剔除偏移点后的目标托盘面点云数据进行配准，以确定目标检测位置中的托盘20对应的位姿。

可见，实施本实施例的托盘位姿检测方法，能够在仓储物流的工作场景中，利用无人叉车10(所搭载的感知模块11)对运输货物所使用的托盘20进行检测，准确获取托盘20的位置、姿态等位姿数据。相较于传统基于几何特征的算法，这样的托盘位姿检测方法能够基于几何特征进行初始定位和点云配准，有效降低了检测过程中的噪点干扰，尤其可以适用于对不规则形状的托盘20或存在干扰的托盘20(例如缠膜等干扰)进行检测，从而有利于提升无人叉车10对托盘20的位姿进行检测的精确性，降低检测误差，从而有效提高了无人叉车10的自动化运输效率。

请参阅图2，图2是本申请实施例公开的一种托盘位姿检测方法的流程示意图，该方法可以应用于上述的无人叉车。如图2所示，该托盘位姿检测方法可以包括以下步骤：

202、在无人叉车处于目标检测位置的情况下，采集目标检测位置中包括托盘的初始点云数据。

在本申请实施例中，无人叉车可以通过其所搭载的感知模块对处于目标检测位置的托盘进行检测，以在后续步骤中确定该托盘相应的位姿数据。示例性地，上述无人叉车所搭载的感知模块可以包括感知元件，例如LiDAR(Light Detection And Ranging，光检测和测距)传感器(3D激光雷达)、超声波雷达等，以用于采集目标检测位置中包括托盘的初始点云数据。

以上述感知模块包括LiDAR传感器为例，可以将LiDAR传感器设置于无人叉车的叉臂根部间的中点处(例如设置于车体上或叉臂结构上，前者如图1所示)，也可以根据实际条件设置于其他位置(例如基于无人叉车形态、仓储空间环境的不同调整设置位置)。在一些实施例中，无人叉车可以在运行过程中保持开启其LiDAR传感器，并持续采集其前方空间的点云数据。当无人叉车运行至放置有托盘的目标检测位置时，可以将此时所采集到的点云数据作为初始点云数据，以用于后续确定托盘位姿的步骤中。在另一些实施例中，无人叉车也可以在运行至目标检测位置时，才触发其LiDAR传感器对前方空间中的点云数据进行采集，从而可以得到初始点云数据。

204、从初始点云数据中分离地面点云数据，得到候选托盘点云数据。

在本申请实施例中，无人叉车所采集到的初始点云数据往往会包含目标检测位置中的地面，即，包含一定的地面点云数据。为了剔除上述地面点云数据的影响，更准确地确定托盘位姿，无人叉车可以从初始点云数据中分离上述地面点云数据，得到相应的候选托盘点云数据。

示例性地，在无人叉车运行至目标检测位置(例如距离托盘1～3米)的情况下，可以获取其所搭载的感知模块的处理元件所下发的初始位姿。其中，上述初始位姿可以包括目标检测位置中的托盘的三轴位置坐标(即x轴、y轴、z轴坐标)、旋转角等。该初始位姿可以是由处理元件根据上述采集到的初始点云数据确定的，也可以是预先设定的默认位姿(由感知模块通过与其他设备通信获取，或者预先存储于该感知模块中)。在此基础上，基于上述初始位姿，无人叉车可以针对初始点云数据确定ROI区域(Region Of Interest，感兴趣区域)，并提取该ROI区域中的初始点云数据以进行一定的预处理，进而可以将其中属于地面点云数据的部分分离。在一些实施例中，无人叉车可以通过平面搜索的方式，分离与目标检测位置的地面对应的平面，从而实现对地面点云数据的分离。在另一些实施例中，无人叉车也可以采用其他方式分离上述地面点云数据，本申请实施例中不作具体限定。

示例性地，请参阅图3，图3是本申请实施例公开的一种从初始点云数据中分离地面点云数据的示意图。如图3所示，无人叉车可以针对ROI区域中的初始点云数据，分离出其中与目标检测位置的地面相匹配的点，得到候选托盘点云数据。可选地，无人叉车还可以对上述已分离地面点云数据的点云作进一步精细化处理，例如，可以将上述已分离地面点云数据的点云作为目标点云候选簇，并基于预先获取的托盘对应的规格数据(例如托盘厚度、立柱数量、立柱高度等)，从目标点云候选簇中，进一步确定出与该托盘规格数据对应的点云，作为候选托盘点云数据。

206、将候选托盘点云数据中不符合法线夹角范围的偏移点剔除，并从剔除偏移点后的候选托盘点云数据中，搜索得到目标托盘面点云数据。

其中，上述候选托盘点云数据中，可能仍包含不属于待检测的托盘对应的点，这可以基于候选托盘点云数据中的各个点对应的点云法线来进一步确定。其中，上述点云法线，指的是由点云中的点所处切平面的法向量所确定的法线。在本申请实施例中，通过设置一定的法线夹角范围，即，上述点云法线与指定的参考轴线(例如x轴)之间的夹角应当所属的角度范围，可以从候选托盘点云数据中剔除不符合该法线夹角范围的偏移点，从而可以进一步获取与托盘对应的目标托盘面点云数据。

示例性地，请参阅图4，图4是本申请实施例公开的一种从候选托盘点云数据中剔除偏移点的示意图。如图4所示，点A对应的点云法线m与x轴之间的夹角为α(如放大后的P区域所示)，点B对应的点云法线n与x轴之间的夹角为β(如放大后的Q区域所示)。若满足α属于X(X即表示预先设定的法线夹角范围)，则表示点A并非偏移点，可以保留；若满足β不属于X，表示点B属于偏移点，应当被剔除。

在此基础上，无人叉车可以进一步对已剔除偏移点后的候选托盘点云数据进行平面搜索，获取与目标检测位置对应，且与地面平行的点云，作为与托盘对应的目标托盘面点云数据。

208、对目标托盘面点云数据进行配准，以确定目标检测位置中的托盘对应的位姿。

在本申请实施例中，无人叉车在获取目标托盘面点云数据之后，可以通过配准的方式，进一步确定托盘对应的位置、姿态等位姿数据(具体地，例如托盘对应的点云中心以及平面角度等)。示例性地，上述配准过程可以包括粗配准以及精确配准，即，无人叉车可以先对目标托盘面点云数据进行粗配准，得到相应的初始配准点云数据；再针对初始配准点云数据作进一步迭代，确定符合预设条件的点云中心以及平面角度，作为精确配准所得到的托盘对应的位姿。

在一些实施例中，上述配准过程可以是基于模板来实现的。示例性地，在对目标托盘面点云数据进行粗配准的情况下，可以基于预先指定的模板点云数据，进行配准迭代，获取目标托盘面点云数据与模板点云数据之间的第一刚体变换矩阵。在对初始配准点云数据进行精确配准的情况下，也可以基于一定的模板，迭代确定第二刚体变换矩阵，继而确定出托盘对应的点云中心以及平面角度。

在另一些实施例中，对初始配准点云数据进行精确配准，也可以不基于模板，而是通过其他类型的迭代计算来实现，同样可以确定出相应的第二刚体变换矩阵，以进一步获取托盘对应的点云中心以及平面角度。

可选地，上述配准中的迭代过程可以采用SAC-IA(Sample Consensus InitialAligment，采样一致性初始配准)算法、ICP(Iterative Closest Point，迭代最近点)算法等来具体实现，在后续实施例中将作进一步阐述。

可见，实施上述实施例所描述的托盘位姿检测方法，能够在仓储物流的工作场景中，利用无人叉车对运输货物所使用的托盘进行检测，准确获取托盘的位置、姿态等位姿数据。这样的托盘位姿检测方法，能够基于几何特征进行初始定位和点云配准，有效降低了检测过程中的噪点干扰，尤其可以适用于对不规则形状的托盘或存在干扰的托盘进行检测，从而有利于提升无人叉车对托盘位姿进行检测的精确性，降低检测误差，从而有效提高了无人叉车的自动化运输效率。

请参阅图5，图5是本申请实施例公开的另一种托盘位姿检测方法的流程示意图，该方法可以应用于上述的无人叉车。如图5所示，该托盘位姿检测方法可以包括以下步骤：

502、在无人叉车处于目标检测位置的情况下，采集目标检测位置中包括托盘的初始点云数据。

其中，步骤502与上述步骤202类似，此处不再赘述。

504、针对初始点云数据确定感兴趣区域，并对感兴趣区域中的初始点云数据进行预处理，得到预处理点云数据。

在本申请实施例中，无人叉车在处于目标检测位置的情况下，可以基于指定的初始位姿，确定初始点云数据中包含待检测托盘的感兴趣区域，即ROI区域。其中，上述初始位姿可以包括目标检测位置中的托盘的三轴位置坐标(即x轴、y轴、z轴坐标)、旋转角等。示例性地，无人叉车可以根据上述初始位姿以及预设ROI阈值，对初始点云数据进行ROI提取，确定出相应的ROI区域。

在此基础上，无人叉车可以进一步对ROI区域中的初始点云数据进行预处理，以获取相应的预处理点云数据。示例性地，上述预处理可以包括噪点滤波、降采样等。其中，通过各种离群点滤波算法(例如点云半径滤波、RANSAC滤波等)来实现噪点滤波，可以剔除ROI区域中的离群噪点，确保ROI区域中点云的聚集性。通过各种体素降采样算法(例如均值降采样、随机降采样等)来实现降采样，可以降低点云密度，在尽可能不影响精确性的情况下，减少后续步骤的计算量，从而有利于提升无人叉车检测托盘位姿的效率。

506、从预处理点云数据中分离地面点云数据，得到与目标检测位置对应的目标点云候选簇，其中，上述地面点云数据包括在预处理点云数据中，与目标检测位置对应的地面相匹配的点。

在本申请实施例中，无人叉车可以从经过噪点滤波、降采样等预处理的预处理点云数据中，将属于地面点云数据的部分分离，以获取与目标检测位置对应的目标点云候选簇。

示例性地，无人叉车可以对上述预处理点云数据进行平面搜索，获取与地面平行的平面点云。需要说明的是，上述平面点云与地面平行，则表示其平面法向量与z轴平行。在一些实施例中，上述平面搜索可以基于RANSAC(RANdom SAmple Consensus，随机抽样一致性)平面搜索算法来实现，即，基于RANSAC算法，对预处理点云数据中的各个点进行平面拟合，确定出其中平面法向量与z轴平行的各个平面，从而可以获取相应的平面点云。

在此基础上，无人叉车可以将与目标检测位置对应的地面相匹配的平面点云确定为地面点云数据，并从上述预处理点云数据中，剔除该地面点云数据。此后，无人叉车可以基于DBSCAN算法(Density-Based Spatial Clustering of Applications with Noise，基于密度的有噪声空间聚类算法)，根据上述目标检测位置，对剔除地面点云数据后的预处理点云数据进行聚类，得到与该目标检测位置对应的目标点云候选簇。

508、从目标点云候选簇中，根据托盘对应的规格数据，确定出候选托盘点云数据。

在本申请实施例中，无人叉车在获取上述已分离地面点云数据的目标点云候选簇之后，可以进一步对该目标点云候选簇作精细化处理，以确定出更具体的候选托盘点云数据。在一些实施例中，无人叉车可以基于预先获取的托盘对应的规格数据，从上述目标点云候选簇中，确定出与该托盘规格数据对应的点云，作为候选托盘点云数据。

示例性地，上述托盘规格数据可以包括托盘厚度(或称托盘高度)、立柱(或称“墩”)数量、立柱高度(或称墩高)等。无人叉车可以根据上述托盘对应的规格数据，确定出相应的保留点云厚度。其中，该保留点云厚度可以大于上述托盘厚度，也可以大于上述托盘厚度与立柱高度之和，从而可以确保保留足够厚度的点云，以应对点云拖影等可能存在的误差影响。在此基础上，无人叉车可以按照该保留点云厚度，从上述目标点云候选簇中截取相应的平面点云，作为候选托盘点云数据。

510、根据候选托盘点云数据中的各个点的点云法线与参考轴线之间的法线夹角，确定出法线夹角大于或等于参考法线夹角的偏移点，并从候选托盘点云数据中剔除上述偏移点。

在本申请实施例中，考虑到候选托盘点云数据中可能仍包含不属于待检测的托盘对应的点，可以通过进一步的法线滤除算法，将不属于目标托盘面点云的偏移点剔除。其中，上述偏移点，可以包括其点云法线(由点云中的点所处切平面的法向量所确定的法线)与指定的参考轴线(例如x轴)之间的夹角超过指定的参考法线夹角(即不符合上述法线夹角范围)的点。

示例性地，无人叉车可以分别根据候选托盘点云数据中的各个点的点云法线与参考轴线之间的法线夹角，判断该法线夹角是否超过预先指定的参考法线夹角。若该法线夹角大于或等于参考法线夹角，则可以将相应的点确定为偏移点，并从候选托盘点云数据中剔除该偏移点(如图4所示的B点)；若该法线夹角小于上述参考法线夹角，则可以将相应的点确定为非偏移点，并在候选托盘点云数据中保留该点(如图4所示的A点)。

512、对剔除上述偏移点后的候选托盘点云数据进行平面搜索，获取与目标检测位置对应，且与地面平行的目标托盘面点云数据。

无人叉车在获取已剔除上述偏移点的候选托盘点云数据之后，可以进一步对剩下的候选托盘点云数据进行平面搜索，以获取与托盘对应的目标托盘面点云数据。在一些实施例中，上述平面搜索，同样可以基于RANSAC平面搜索算法来实现，本申请实施例中不作具体限定。

需要说明的是，通过上述平面搜索所得到的目标托盘面点云数据，其对应的点云中心以及平面角度，可以作为托盘待配准的初始位姿，应用于后续步骤中进行配准，以确定目标检测位置中的托盘对应的实际位姿。

514、对目标托盘面点云数据进行配准，以确定目标检测位置中的托盘对应的位姿。

其中，步骤514与上述步骤208类似，此处不再赘述。

可见，实施上述实施例所描述的托盘位姿检测方法，在仓储物流的工作场景中，利用无人叉车对运输货物所使用的托盘进行检测，并基于几何特征进行初始定位和点云配准，从而能够有效降低检测过程中的噪点干扰，尤其可以适用于对不规则形状的托盘或存在干扰的托盘进行检测，尽可能准确地获取托盘的位置、姿态等位姿数据，有利于提升无人叉车对托盘位姿进行检测的精确性，降低检测误差，进而有效提高了无人叉车的自动化运输效率。此外，通过平面搜索等几何方式逐步剔除非目标点云，能够提升所确定出的目标托盘面点云数据的精确性，有利于尽可能减少误判，提升无人叉车进行仓储物流运输的精细化程度及可靠性。

请参阅图6，图6是本申请实施例公开的又一种托盘位姿检测方法的流程示意图，该方法可以应用于上述的无人叉车。如图6所示，该托盘位姿检测方法可以包括以下步骤：

602、在无人叉车处于目标检测位置的情况下，采集目标检测位置中包括托盘的初始点云数据。

其中，步骤602与上述步骤202类似，此处不再赘述。

604、针对初始点云数据确定感兴趣区域，并对感兴趣区域中的初始点云数据进行预处理，得到预处理点云数据。

606、从预处理点云数据中分离地面点云数据，得到与目标检测位置对应的目标点云候选簇，其中，上述地面点云数据包括在预处理点云数据中，与目标检测位置对应的地面相匹配的点。

608、从目标点云候选簇中，根据托盘对应的规格数据，确定出候选托盘点云数据。

其中，步骤604、步骤606以及步骤608与上述步骤504、步骤506以及步骤508类似，此处不再赘述。

610、根据候选托盘点云数据中的各个点的点云法线与参考轴线之间的法线夹角，确定出法线夹角大于或等于参考法线夹角的偏移点，并从候选托盘点云数据中剔除上述偏移点。

612、对剔除上述偏移点后的候选托盘点云数据进行平面搜索，获取与目标检测位置对应，且与地面平行的目标托盘面点云数据。

其中，步骤610以及步骤612与上述步骤510以及步骤512类似，此处不再赘述。

614、基于模板点云数据，对目标托盘面点云数据进行粗配准，得到初始配准点云数据。

在本申请实施例中，为了准确确定目标检测位置中所包括的托盘的位姿(例如点云中心、平面角度等)，可以通过对目标托盘面点云数据进行配准来实现。其中，上述配准过程可以包括粗配准以及精确配准，即，无人叉车可以依次对上述目标托盘面点云数据进行粗配准以及进一步的精确配准，获取最符合条件的点云中心以及平面角度，作为上述托盘对应的位姿。

在一些实施例中，对上述目标托盘面点云数据进行粗配准的过程，可以基于预先指定的模板点云数据来进行。其中，该模板点云数据，可以是根据无人叉车所搭载的感知模块预先输入的托盘信息来确定的。示例性地，上述托盘信息可以包括作为模板的托盘对应的托盘厚度(托盘高度)、墩宽(立柱宽度)、墩高(立柱高度)、墩距(立柱距离)、上下卡板高度等，感知模块可以根据输入的托盘信息生成相应的模板点云数据，并将其应用于后续的配准过程中。

示例性地，无人叉车可以从上述模板点云数据以及目标托盘面点云数据中，分别选取N个(N为正整数)模板采样点以及N个目标采样点，并分别计算N个模板采样点对应的第一特征直方图数据，以及N个目标采样点对应的第二特征直方图数据。其中，上述N个模板采样点和N个目标采样点，应当尽可能具有不同的FPFH特征(Fast Point FeatureHistogram，快速点特征直方图)，且各个采样点之间的距离应当满足预先指定的最小距离阈值，以尽可能确保配准的有效性及可靠性。可选地，在选取上述采样点之前，无人叉车还可以先对模板点云数据以及目标托盘面点云数据进行降采样(例如体素降采样等)，从而可以进一步减少计算量，提升配准效率。

在此基础上，无人叉车可以根据上述第一特征直方图数据以及第二特征直方图数据，从模板点云数据以及目标托盘面点云数据中，获取具有相似FPFH特征的匹配点对，进而可以根据上述匹配点对，迭代计算目标托盘面点云数据与模板点云数据之间的第一刚体变换矩阵。在每次迭代的过程中，通过计算应用当次迭代所得到的第一刚体变换矩阵进行变换后的距离误差，可以判断该第一刚体变换矩阵应用于配准的准确性。在反复迭代直至获取最优的第一刚体变换矩阵，或者达到迭代次数上限之后，可以退出上述的迭代过程。

进一步地，根据上述迭代计算后的第一刚体变换矩阵，无人叉车可以确定对目标托盘面点云数据进行粗配准所得到的初始配准点云数据，并将该初始配准点云数据应用于后续的精确配准中。

616、根据初始配准点云数据，迭代确定符合迭代最近点条件的点云中心以及平面角度，作为目标检测位置中的托盘对应的位姿。

示例性地，上述迭代最近点条件，可以包括对初始配准点云数据进行最近点迭代计算所满足的误差阈值条件和/或迭代次数条件。

在本申请实施例中，无人叉车可以采用ICP算法对上述初始配准点云数据作进一步的精确配准。示例性地，无人叉车可以将初始配准点云数据以及相应的模板点云数据作为待配准的初始点集，该模板点云数据可以与上述步骤614中的模板点云数据相同，也可以不相同，本申请实施例中不作具体限定。

通过查找初始配准点云数据和模板点云数据中距离最近的点对，作为匹配点对，并在剔除方向不合理的误匹配点对后，可以进一步根据上述匹配点对计算得到相应的第二刚体变换矩阵。在此基础上，通过迭代上述查找最近点，并计算第二刚体变换矩阵的步骤，可以在符合上述迭代最近点条件的情况下退出迭代过程。根据上述初始配准点云数据，以及迭代计算后所得到的第二刚体变换矩阵，可以确定出将其应用于转换后的点云中心以及平面角度，作为目标检测位置中的托盘对应的位姿。

可见，实施上述实施例所描述的托盘位姿检测方法，在仓储物流的工作场景中，利用无人叉车对运输货物所使用的托盘进行检测，并基于几何特征进行初始定位和点云配准，从而能够有效降低检测过程中的噪点干扰，尤其可以适用于对不规则形状的托盘或存在干扰的托盘进行检测，尽可能准确地获取托盘的位置、姿态等位姿数据，有利于提升无人叉车对托盘位姿进行检测的精确性，降低检测误差，进而有效提高了无人叉车的自动化运输效率。此外，通过对目标托盘面点云数据进行多次迭代配准，有利于进一步提升无人叉车确定托盘位姿的精确性，实现精准检测，保障仓储物流的稳定可靠。

请参阅图7，图7是本申请实施例公开的一种托盘位姿检测装置的模块化示意图，该托盘位姿检测装置可以应用于上述的无人叉车。如图7所示，该托盘位姿检测装置可以包括点云采集单元701、地面分离单元702、平面搜索单元703以及配准单元704，其中：

点云采集单元701，用于在无人叉车处于目标检测位置的情况下，采集目标检测位置中包括托盘的初始点云数据；

地面分离单元702，用于从初始点云数据中分离地面点云数据，得到候选托盘点云数据；

平面搜索单元703，用于将候选托盘点云数据中不符合法线夹角范围的偏移点剔除，并从剔除偏移点后的候选托盘点云数据中，搜索得到目标托盘面点云数据；

配准单元704，用于对目标托盘面点云数据进行配准，以确定目标检测位置中的托盘对应的位姿。

可见，实施上述实施例所描述的智能床垫，能够在仓储物流的工作场景中，利用无人叉车对运输货物所使用的托盘进行检测，准确获取托盘的位置、姿态等位姿数据。这样的托盘位姿检测方法，能够基于几何特征进行初始定位和点云配准，有效降低了检测过程中的噪点干扰，尤其可以适用于对不规则形状的托盘或存在干扰的托盘(例如缠膜等)进行检测，从而有利于提升无人叉车对托盘位姿进行检测的精确性，降低检测误差，从而有效提高了无人叉车的运输效率。

在一种实施例中，上述地面分离单元702，具体可以用于：

针对初始点云数据确定感兴趣区域，并对感兴趣区域中的初始点云数据进行预处理，得到预处理点云数据；

从预处理点云数据中分离地面点云数据，得到与目标检测位置对应的目标点云候选簇，其中，地面点云数据包括在预处理点云数据中，与目标检测位置对应的地面相匹配的点；

从目标点云候选簇中，根据待检测托盘对应的规格数据，确定出候选托盘点云数据。

在一种实施例中，上述地面分离单元702在从预处理点云数据中分离地面点云数据，得到与目标检测位置对应的目标点云候选簇的时候，具体可以包括：

对预处理点云数据进行平面搜索，获取与地面平行的平面点云；

将与目标检测位置对应的地面相匹配的平面点云确定为地面点云数据，并从预处理点云数据中，剔除地面点云数据；

根据目标检测位置，对剔除地面点云数据后的预处理点云数据进行聚类，得到与目标检测位置对应的目标点云候选簇。

在一种实施例中，上述地面分离单元702在从目标点云候选簇中，根据待检测托盘对应的规格数据，确定出候选托盘点云数据的时候，具体可以包括：

根据待检测托盘对应的规格数据，确定保留点云厚度，其中，保留点云厚度大于托盘的厚度；

按照保留点云厚度，从目标点云候选簇中截取相应的平面点云，作为候选托盘点云数据。

在一种实施例中，上述平面搜索单元703，具体可以用于：

根据候选托盘点云数据中的各个点的点云法线与参考轴线之间的法线夹角，确定出法线夹角大于或等于参考法线夹角的偏移点，并从候选托盘点云数据中剔除偏移点；

对剔除偏移点后的候选托盘点云数据进行平面搜索，获取与目标检测位置对应，且与地面平行的目标托盘面点云数据。

在一种实施例中，上述配准单元704，具体可以用于：

基于模板点云，对目标托盘面点云数据进行粗配准，得到初始配准点云数据；

根据初始配准点云数据，迭代确定符合迭代最近点条件的点云中心以及平面角度，作为目标检测位置中的托盘对应的位姿，其中，迭代最近点条件，包括对初始配准点云数据进行最近点迭代计算所满足的误差阈值条件和/或迭代次数条件。

在一种实施例中，上述配准单元704在基于模板点云，对目标托盘面点云数据进行粗配准，得到初始配准点云数据的时候，具体可以包括：

从模板点云数据以及目标托盘面点云数据中，分别选取N个模板采样点以及N个目标采样点，其中，N为正整数；

分别计算N个模板采样点对应的第一特征直方图数据，以及N个目标采样点对应的第二特征直方图数据；

根据第一特征直方图数据以及第二特征直方图数据，从模板点云数据以及目标托盘面点云数据中，获取匹配点对；

根据匹配点对，迭代计算目标托盘面点云数据与模板点云数据之间的第一刚体变换矩阵，并根据迭代计算后的第一刚体变换矩阵，确定对目标托盘面点云数据进行粗配准所得到的初始配准点云数据。

可见，实施上述实施例所描述的智能床垫，能够在仓储物流的工作场景中，利用无人叉车对运输货物所使用的托盘进行检测，并基于几何特征进行初始定位和点云配准，从而能够有效降低检测过程中的噪点干扰，尤其可以适用于对不规则形状的托盘或存在干扰的托盘进行检测，尽可能准确地获取托盘的位置、姿态等位姿数据，有利于提升无人叉车对托盘位姿进行检测的精确性，降低检测误差，进而有效提高了无人叉车的自动化运输效率。此外，通过平面搜索等几何方式逐步剔除非目标点云，能够提升所确定出的目标托盘面点云数据的精确性，有利于尽可能减少误判，提升无人叉车进行仓储物流运输的精细化程度及可靠性。此外，通过对目标托盘面点云数据进行多次迭代配准，有利于进一步提升无人叉车确定托盘位姿的精确性，实现精准检测，保障仓储物流的稳定可靠。

请参阅图8，图8是本申请实施例公开的一种无人叉车的模块化示意图，该无人叉车可以包括上述的感知模块(例如车机、电脑、基于SoC的点云扫描处理系统等)。如图8所示，该无人叉车所搭载的感知模块可以包括：

存储有可执行程序代码的存储器801；

与存储器801耦合的处理器802；

其中，处理器802调用存储器801中存储的可执行程序代码，可以执行上述实施例所描述的任意一种托盘位姿检测方法中的全部或部分步骤。

此外，本申请实施例进一步公开了一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，该计算机程序使得计算机可以执行上述实施例所描述的任意一种托盘位姿检测方法中的全部或部分步骤。

此外，本申请实施例进一步公开一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机可以执行上述实施例所描述的任意一种托盘位姿检测方法中的全部或部分步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本申请实施例公开的一种托盘位姿检测方法及装置、无人叉车、存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种托盘位姿检测方法，其特征在于，应用于无人叉车，所述方法包括：

在所述无人叉车处于目标检测位置的情况下，采集所述目标检测位置中包括托盘的初始点云数据；

从所述初始点云数据中分离地面点云数据，得到候选托盘点云数据；

将所述候选托盘点云数据中不符合法线夹角范围的偏移点剔除，并从剔除所述偏移点后的候选托盘点云数据中，搜索得到目标托盘面点云数据；

对所述目标托盘面点云数据进行配准，以确定所述目标检测位置中的所述托盘对应的位姿。

2.根据权利要求1所述的方法，其特征在于，所述从所述初始点云数据中分离地面点云数据，得到候选托盘点云数据，包括：

针对所述初始点云数据确定感兴趣区域，并对所述感兴趣区域中的初始点云数据进行预处理，得到预处理点云数据；

从所述预处理点云数据中分离地面点云数据，得到与所述目标检测位置对应的目标点云候选簇，其中，所述地面点云数据包括在所述预处理点云数据中，与所述目标检测位置对应的地面相匹配的点；

从所述目标点云候选簇中，根据所述托盘对应的规格数据，确定出候选托盘点云数据。

3.根据权利要求2所述的方法，其特征在于，所述从所述预处理点云数据中分离地面点云数据，得到与所述目标检测位置对应的目标点云候选簇，包括：

对所述预处理点云数据进行平面搜索，获取与地面平行的平面点云；

将与所述目标检测位置对应的地面相匹配的平面点云确定为地面点云数据，并从所述预处理点云数据中，剔除所述地面点云数据；

根据所述目标检测位置，对剔除所述地面点云数据后的预处理点云数据进行聚类，得到与所述目标检测位置对应的目标点云候选簇。

4.根据权利要求3所述的方法，其特征在于，所述从所述目标点云候选簇中，根据所述托盘对应的规格数据，确定出候选托盘点云数据，包括：

根据所述托盘对应的规格数据，确定保留点云厚度，其中，所述保留点云厚度大于所述托盘的厚度；

按照所述保留点云厚度，从所述目标点云候选簇中截取相应的平面点云，作为候选托盘点云数据。

5.根据权利要求1所述的方法，其特征在于，所述将所述候选托盘点云中不符合法线夹角范围的偏移点剔除，并从剔除所述偏移点后的候选托盘点云中，搜索得到目标托盘面点云，包括：

根据所述候选托盘点云数据中的各个点的点云法线与参考轴线之间的法线夹角，确定出法线夹角大于或等于参考法线夹角的偏移点，并从所述候选托盘点云数据中剔除所述偏移点；

对剔除所述偏移点后的候选托盘点云数据进行平面搜索，获取与所述目标检测位置对应，且与地面平行的目标托盘面点云数据。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述对所述目标托盘面点云数据进行配准，以确定所述目标检测位置中的所述托盘对应的位姿，包括：

基于模板点云数据，对所述目标托盘面点云数据进行粗配准，得到初始配准点云数据；

根据所述初始配准点云数据，迭代确定符合迭代最近点条件的点云中心以及平面角度，作为所述目标检测位置中的所述托盘对应的位姿，其中，所述迭代最近点条件，包括对所述初始配准点云数据进行最近点迭代计算所满足的误差阈值条件和/或迭代次数条件。

7.根据权利要求6所述的方法，其特征在于，所述基于模板点云，对所述目标托盘面点云数据进行粗配准，得到初始配准点云数据，包括：

从模板点云数据以及所述目标托盘面点云数据中，分别选取N个模板采样点以及N个目标采样点，其中，N为正整数；

分别计算所述N个模板采样点对应的第一特征直方图数据，以及所述N个目标采样点对应的第二特征直方图数据；

根据所述第一特征直方图数据以及所述第二特征直方图数据，从所述模板点云数据以及所述目标托盘面点云数据中，获取匹配点对；

根据所述匹配点对，迭代计算所述目标托盘面点云数据与所述模板点云数据之间的第一刚体变换矩阵，并根据迭代计算后的第一刚体变换矩阵，确定对所述目标托盘面点云数据进行粗配准所得到的初始配准点云数据。

8.一种托盘位姿检测装置，其特征在于，应用于无人叉车，所述托盘位姿检测装置包括：

点云采集单元，用于在所述无人叉车处于目标检测位置的情况下，采集所述目标检测位置中包括托盘的初始点云数据；

地面分离单元，用于从所述初始点云数据中分离地面点云数据，得到候选托盘点云数据；

平面搜索单元，用于将所述候选托盘点云数据中不符合法线夹角范围的偏移点剔除，并从剔除所述偏移点后的候选托盘点云数据中，搜索得到目标托盘面点云数据；

配准单元，用于对所述目标托盘面点云数据进行配准，以确定所述目标检测位置中的所述托盘对应的位姿。

9.一种无人叉车，其特征在于，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。

Images