CN110488261B - 一种基于LiDAR的货架定位孔检测装置及方法 - Google Patents

Abstract

本发明公开了一种基于LiDAR的货架定位孔检测装置及方法。该装置包括执行机构、检测单元、数据存储单元、信息处理单元、通信单元和供电单元，其中执行机构包括直流电机、丝杆、联轴器和支架，检测单元包括工作台和LiDAR传感器。方法为：首先根据LiDAR传感器探头所在平面和距离传感器的深度信息，调整机械臂的位置；然后直流电机驱动工作台运动，使用LiDAR传感器扫描获取货架表面点的云数据；接着信息处理单元进行货架表面点云数据处理，计算出货架定位孔的具体坐标；最后通信单元将具体坐标发送给外部设备。本发明提高了非定点货架的定位精度和抓取效率。

Description

一种基于LiDAR的货架定位孔检测装置及方法

技术领域

本发明涉及货架定位技术领域，特别是一种基于LiDAR的货架定位孔检测装置及方法。

背景技术

物流仓库全自动化是电商零售行业进一步扩张的必然要求，能够有效解决零售仓库配送效率低、人力成本高、工作强度高等问题。目前订单履行中心的绝大多数业务已实现自动化，但货架商品的分拣作业仍占用了大量人力。利用机器人实现货物识别定位的分拣算法依然不够成熟，真正能够在仓库货架中投入应用产品极少，分拣自动化被认为是电商全自动化的最后一公里问题。随着电商行业的蓬勃发展，对于高效率，高质量的全自动仓库要求越来越高，迫切要求更好地解决大量货架商品的识别定位问题。

目前，非固定位置货架的抓取主要是利用基于相机的图像识别技术来实现的，存在容易受光照影响和精度较低的问题，难以实现比较精确的定位。使用人工操作则会增加工时，提高成本，降低效率。

发明内容

本发明主要目的在于提供一种受光照和粉尘影响小、检测精度高、稳定性好的基于LiDAR的货架定位孔检测装置及方法。

实现本发明目的的技术解决方案为：一种基于LiDAR的货架定位孔检测装置，包括执行机构、检测单元、数据存储单元、信息处理单元、通信单元和供电单元；

所述执行机构，包括支架、直流电机、丝杆和联轴器；

所述检测单元，包括工作台和LiDAR传感器；所述执行机构与检测单元连接，驱动检测单元行进；

所述数据存储单元与检测单元连接，将获取的检测数据进行存储；

所述信息处理单元与数据存储单元连接，从数据存储单元中读取数据进行处理并将临时产生的数据暂存到数据存储单元；

所述通信单元与信息处理单元连接，将处理结果发送到外部设备；

所述供电单元同时与执行机构、检测单元、数据存储单元、信息处理单元和通信单元连接，为这五个模块进行供电。

作为一种具体示例，所述数据存储单元、信息处理单元和通信单元均集成在执行机构的支架内部。

作为一种具体示例，所述支架上设置有四个安装孔和一条内嵌的导轨，所述安装孔用于将支架安装在机械臂上；所述导轨上设置工作台，工作台上设置LiDAR传感器。

作为一种具体示例，所述支架的末端设置有直流电机，所述直流电机通过联轴器与丝杆连接。

作为一种具体示例，所述LiDAR传感器为线扫描面阵传感器。

一种基于LiDAR的货架定位孔检测方法，包括以下步骤：

步骤1、以LiDAR传感器探头所在平面为x-y平面，z轴为距离传感器的深度信息，进行预处理，调整机械臂的位置；

步骤2、直流电机驱动工作台运动，使用LiDAR传感器扫描获取货架表面点的云数据；

步骤3、信息处理单元进行货架表面点云数据处理，计算出货架定位孔在x-y平面的具体坐标；

步骤4、通信单元将具体坐标发送给外部设备。

作为一种具体示例，步骤1中所述的预处理，具体如下：

由LiDAR传感器发射一束光束，判断货架是否在LiDAR传感器的检测范围之内，若在检测范围之内，则进行步骤2，否则，通信单元发送调整位置的信息到外部设备。

作为一种具体示例，步骤2中所述的货架表面点的云数据，是一个元素以(x,y,z)表示的数组。

作为一种具体示例，步骤3中所述的信息处理单元进行货架表面点云数据处理，包括距离阈值滤波、孔心计算及结果输出；

所述的距离阈值滤波，是设置两个距离阈值，通过三段不同的距离深度将背景、定位孔和货架表面分离，并将定位孔的点云数据提取出来。

作为一种具体示例，步骤3中所述的计算出货架定位孔在x-y平面的具体坐标，具体如下：

步骤3.1、将定位孔的点云数据投影到x-y平面，有投影的点标记为1，无投影的点标记为0，进行二值化；

步骤3.2、基于霍夫梯度算法，在x-y平面的投影点中，遍历二值图像中的非零点，沿梯度方向和反方向绘制线段，将线段经过的点进行计数，计数最多的点即为定位孔的空心坐标(x₀,y₀,0)。

本发明与现有技术相比，其显著优点在于：(1)采用LiDAR传感器，用带有深度信息的点云数据代替传统的二维图像，提高了检测精度；(2)采用LiDAR传感器，降低了受光照等环境因素的影响，提高了检测速度和稳定性。

附图说明

图1是本发明基于LiDAR的货架定位孔检测装置的结构示意图。

图2是本发明基于LiDAR的货架定位孔检测装置中各模块的连接框图。

图3是本发明基于LiDAR的货架定位孔检测装置的安装示意图。

图4是本发明基于LiDAR的货架定位孔检测方法的流程示意图。

图5是本发明实施例中三种不同工况下的机械臂初始位置示意图，其中(a)是工况1下的机械臂初始位置示意图，(b)是工况2下的机械臂初始位置示意图，(c)是工况3下的机械臂初始位置示意图。

图6是本发明实施例中距离阈值滤波的方法示意图。

图7是本发明实施例中利用霍夫梯度算法寻找孔心的方法示意图。

具体实施方式

LiDAR，即激光雷达，所测得的数据为对象表面的离散点的数据，即点云数据，包含了空间三维信息、激光强度信息等。LiDAR受光照等环境因素的影响小，数据噪点低于传统的图像采集系统，利用LiDAR技术可以显著提高定位孔检测的速度与精度。

本发明基于LiDAR的货架定位孔检测装置，包括执行机构、检测单元、数据存储单元、信息处理单元、通信单元和供电单元；

所述执行机构，包括支架、直流电机、丝杆和联轴器；

所述检测单元，包括工作台和LiDAR传感器；所述执行机构与检测单元连接，驱动检测单元行进；

所述数据存储单元与检测单元连接，将获取的检测数据进行存储；

所述信息处理单元与数据存储单元连接，从数据存储单元中读取数据进行处理并将临时产生的数据暂存到数据存储单元；

所述通信单元与信息处理单元连接，将处理结果发送到外部设备；

所述供电单元同时与执行机构、检测单元、数据存储单元、信息处理单元和通信单元连接，为这五个模块进行供电。

作为一种具体示例，所述数据存储单元、信息处理单元和通信单元均集成在执行机构的支架内部。

作为一种具体示例，所述支架上设置有四个安装孔和一条内嵌的导轨，所述安装孔用于将支架安装在机械臂上；所述导轨上设置工作台，工作台上设置LiDAR传感器。

作为一种具体示例，所述支架的末端设置有直流电机，所述直流电机通过联轴器与丝杆连接。

作为一种具体示例，所述LiDAR传感器为线扫描面阵传感器。

一种基于LiDAR的货架定位孔检测方法，包括以下步骤：

步骤1、以LiDAR传感器探头所在平面为x-y平面，z轴为距离传感器的深度信息，进行预处理，调整机械臂的位置；

步骤2、直流电机驱动工作台运动，使用LiDAR传感器扫描获取货架表面点的云数据；

步骤3、信息处理单元进行货架表面点云数据处理，计算出货架定位孔在x-y平面的具体坐标；

步骤4、通信单元将具体坐标发送给外部设备。

作为一种具体示例，步骤1中所述的预处理，具体如下：

由LiDAR传感器发射一束光束，判断货架是否在LiDAR传感器的检测范围之内，若在检测范围之内，则进行步骤2，否则，通信单元发送调整位置的信息到外部设备。

作为一种具体示例，步骤2中所述的货架表面点的云数据，是一个元素以(x,y,z)表示的数组。

作为一种具体示例，步骤3中所述的信息处理单元进行货架表面点云数据处理，包括距离阈值滤波、孔心计算及结果输出；

所述的距离阈值滤波，是设置两个距离阈值，通过三段不同的距离深度将背景、定位孔和货架表面分离，并将定位孔的点云数据提取出来。

作为一种具体示例，步骤3中所述的计算出货架定位孔在x-y平面的具体坐标，具体如下：

步骤3.1、将定位孔的点云数据投影到x-y平面，有投影的点标记为1，无投影的点标记为0，进行二值化；

步骤3.2、基于霍夫梯度算法，在x-y平面的投影点中，遍历二值图像中的非零点，沿梯度方向和反方向绘制线段，将线段经过的点进行计数，计数最多的点即为定位孔的空心坐标(x₀,y₀,0)。

下面结合附图及具体实施方式对本发明作进一步详细说明。

实施例

结合图1、图2、图3，本发明一种基于LiDAR的货架定位孔检测装置，包括执行机构、检测单元、数据存储单元、信息处理单元、通信单元和供电单元；

所述执行机构，包括支架、直流电机、丝杆和联轴器；

所述检测单元，包括工作台和LiDAR传感器；

所述执行机构与检测单元连接，驱动检测单元行进；所述数据存储单元与检测单元连接，将获取的检测数据进行存储；所述信息处理单元与数据存储单元连接，从数据存储单元中读取数据进行处理并将临时产生的数据暂存到数据存储单元；所述通信单元与信息处理单元连接，将处理结果发送到外部设备；所述供电单元同时与执行机构、检测单元、数据存储单元、信息处理单元和通信单元连接，为这五个模块进行供电。

作为一种具体示例，所述数据存储单元、信息处理单元和通信单元均集成在执行机构的支架内部。

作为一种具体示例，所述支架上设置有四个安装孔和一条内嵌的导轨，所述安装孔用于将支架安装在机械臂上；所述导轨上设置工作台，工作台上设置LiDAR传感器。

作为一种具体示例，所述支架的末端设置有直流电机，所述直流电机通过联轴器与丝杆连接。

作为一种具体示例，所述LiDAR传感器为线扫描面阵传感器。

图3为本发明的一种较佳实际安装示意图，机械爪的四个角分别安装了一个检测装置，检测货架四个角的定位孔。

结合图4，本发明一种基于LiDAR的货架定位孔检测方法，包括以下步骤：

步骤1、以LiDAR传感器探头所在平面为x-y平面，z轴为距离传感器的深度信息，进行预处理，调整机械臂的位置，具体如下：

LiDAR传感器在初始位置进行线扫描和机械臂调整位置的循环操作，四个传感器获得的数据采用同一个坐标系，坐标系的原点为机械爪的中点位置，点云数据的形式为元素为(x,y,z)的数组，x、y、z轴的方向如图3中所示；设置一个距离阈值d_th0，每一次循环过程中，对于四个传感器获得的各自的点云数据中z小于d_th0的点，将其z值相加，再除以该传感器获取的总的点的个数，得到平均深度值

其中下标分别对应检测装置的编号；

结合图5，对于工况1，如图5(a)所示，明显有

因此，应向左下调整机械臂位置；对于工况2，如图5(b)所示，明显有/>

应向下调整机械臂位置；对于工况3，如图5(c)所示，明显有/>

应向左调整机械臂位置；当

值接近即满足要求时，结束预处理循环过程。

步骤2、直流电机驱动工作台运动，使用LiDAR传感器扫描获取货架四个角的表面点云数据。

步骤3、信息处理单元进行货架表面点云数据处理，计算出货架定位孔在x-y平面的具体坐标，具体如下：

信息处理单元对获取的表面点云数据进行处理，对于当前要抓取的货架，先对其点云数据进行距离阈值滤波，距离阈值滤波的过程为：先设置两个距离阈值d_th1和d_th2，如图6所示，面扫描的点云数据根据深度信息可以分为三种：货架表面深度、定位孔深度和背景深度，定义d_th1＜z＜d_th2的点为定位孔上的点，将这些点提取出来；

步骤3.1、将提取出的点投影到x-y平面，在x-y平面中，有投影的点记为1，没有投影的点记为0，将点云数据处理成二值化图像；

步骤3.2、利用霍夫梯度算法，使用Sobel算子计算梯度，如图7所示，遍历二值图像中的非零点，沿着梯度方向和反方向画线段，将线段经过的点进行计数，计数被经过最多点即为定位孔的中心点(x₀,y₀,0)。

步骤4、通信单元将孔心坐标发送到机械臂控制器中，机械臂根据坐标完成抓取。

本发明采用LiDAR传感器，用带有深度信息的点云数据代替传统的二维图像，提高了检测精度；此外，降低了受光照等环境因素的影响，提高了检测速度和稳定性。

Claims (6)

1.一种基于LiDAR的货架定位孔检测方法，其特征在于，包括以下步骤：

步骤1、以LiDAR传感器探头所在平面为x-y平面，z轴为距离传感器的深度信息，进行预处理，调整机械臂的位置；

步骤2、直流电机驱动工作台运动，使用LiDAR传感器扫描获取货架表面点的云数据；

步骤3、信息处理单元进行货架表面点云数据处理，计算出货架定位孔在x-y平面的具体坐标；

步骤4、通信单元将具体坐标发送给外部设备；

步骤1中所述以LiDAR传感器探头所在平面为x-y平面，z轴为距离传感器的深度信息，进行预处理，调整机械臂的位置，具体如下：

LiDAR传感器在初始位置进行线扫描和机械臂调整位置的循环操作，四个传感器获得的数据采用同一个坐标系，坐标系的原点为机械爪的中点位置，点云数据的形式为元素为(x,y,z)的数组；设置一个距离阈值d_th0，每一次循环过程中，对于四个传感器获得的各自的点云数据中z小于d_th0的点，将其z值相加，再除以该传感器获取的总的点的个数，得到平均深度值

其中下标分别对应检测装置的编号；

对于工况1，有

因此，应向左下调整机械臂位置；对于工况2，有

应向下调整机械臂位置；对于工况3，有/>

应向左调整机械臂位置；当/>

值接近即满足要求时，结束预处理循环过程；

步骤3中所述的信息处理单元进行货架表面点云数据处理，包括距离阈值滤波、孔心计算及结果输出；

所述的距离阈值滤波，是设置两个距离阈值，通过三段不同的距离深度将背景、定位孔和货架表面分离，并将定位孔的点云数据提取出来；

步骤3中所述的计算出货架定位孔在x-y平面的具体坐标，具体如下：

步骤3.1、将定位孔的点云数据投影到x-y平面，有投影的点标记为1，无投影的点标记为0，进行二值化；

步骤3.2、基于霍夫梯度算法，在x-y平面的投影点中，遍历二值图像中的非零点，沿梯度方向和反方向绘制线段，将线段经过的点进行计数，计数最多的点即为定位孔的空心坐标(x₀,y₀,0)。

2.一种基于LiDAR的货架定位孔检测装置，其特征在于，包括执行机构、检测单元、数据存储单元、信息处理单元、通信单元和供电单元；

所述执行机构，包括支架、直流电机、丝杆和联轴器；

所述检测单元，包括工作台和LiDAR传感器；所述执行机构与检测单元连接，驱动检测单元行进；

所述数据存储单元与检测单元连接，将获取的检测数据进行存储；

所述信息处理单元与数据存储单元连接，从数据存储单元中读取数据进行处理并将临时产生的数据暂存到数据存储单元；

所述通信单元与信息处理单元连接，将处理结果发送到外部设备；

所述供电单元同时与执行机构、检测单元、数据存储单元、信息处理单元和通信单元连接，为这五个模块进行供电；

上述基于LiDAR的货架定位孔检测装置，采用权利要求1所述的货架定位孔检测方法实现货架定位。

3.根据权利要求2所述的基于LiDAR的货架定位孔检测装置，其特征在于，所述数据存储单元、信息处理单元和通信单元均集成在执行机构的支架内部。

4.根据权利要求2所述的基于LiDAR的货架定位孔检测装置，其特征在于，所述支架上设置有四个安装孔和一条内嵌的导轨，所述安装孔用于将支架安装在机械臂上；所述导轨上设置工作台，工作台上设置LiDAR传感器。

5.根据权利要求2所述的基于LiDAR的货架定位孔检测装置，其特征在于，所述支架的末端设置有直流电机，所述直流电机通过联轴器与丝杆连接。

6.根据权利要求2所述的基于LiDAR的货架定位孔检测装置，其特征在于，所述LiDAR传感器为线扫描面阵传感器。

Images