CN110070570B - 一种基于深度信息的障碍物检测系统及方法 - Google Patents

Abstract

本发明请求保护一种基于深度信息的障碍物检测系统及方法，主要涉及计算机视觉领域。所述方法包括以下步骤：首先通过深度摄像头采集环境的图像信息，并通过该设备获取环境及其中物体的点云信息；然后对采集到的深度点云信息进行滤波，去除图像中的噪声点和无用点，对采集到的深度图进行平面拟合；依据深度图和平面拟合结果，确定障碍物的初步点云集合；提取点云信息的特征点，并计算特征点的描述符；对场景和目标物体的描述符进行特征匹配，得到场景中障碍物检测结果。该方法不受环境变化的影响，并依据传感器特性加入色彩元素进行检测，提高了障碍物检测的准确率。

Description

一种基于深度信息的障碍物检测系统及方法

技术领域

本发明属于数字图像处理领域，具体是一种采用能够获得深度图像的实感摄像头为数据采集设备的深度信息障碍物检测系统和方法。

背景技术

近年来，随着计算机、人工智能及模式识别等各方面技术的飞速发展，机器人已经逐渐在各行各业开始普及。从国家的航天工作到百姓的家居生活，机器人正在慢慢的渗透到我们的生活中，机器人的研究也逐渐从固定的工作模式向人工智能自主作业的方向发展，而基于视觉传感器的自主移动机器人也越来越成为研究的热点。障碍物检测是移动机器人导航中分析环境信息的重要环节之一。在以往，研究人员通过给自主移动机器人安装格式各样的传感器，来实现移动机器人的自护导航，如声纳、红外、激光测距等。随着各种视觉传感器的产生，自主移动机器人的导航方式也发生了变化。视觉传感器使得机器人获取周围环境信息更加的直观和高效。

公开号为CN109271944A的中国发明专利公开了一种基于深度图的障碍物检测方法，它是通过双目摄像头来采集前方环境中的深度图信息，通过平面拟合和聚类分割的方式对深度图信息进行处理，获得障碍物信息，并安装激光雷达传感器扫描障碍物，将其扫描结果与检测结果交叉检测，实现障碍物的识别。该方法存在深度图信息获取较为复杂且检测时间较长的问题，不适用于应用在便捷性和实用性要求较高的场景。

综上所述，可以通过采用深度摄像头摄像头，准确实时的获取场景的深度图信息和彩色图信息，并将所采集到的各种信息最大程度的应用在障碍物检测过程中，开发出检测更准确、检测速率更高的障碍物检测系统。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种检测更准确、检测速率更高的基于深度信息的障碍物检测系统及方法。本发明的技术方案如下：

一种基于深度信息的障碍物检测系统，其包括：数据接口模块、图像信息预处理模块、特征提取模块、描述符计算模块以及描述符匹配模块，其中，所述数据接口模块和图像信息预处理模块相连接，所述图像信息预处理模块和特征提取模块相连接，所述特征提取模块和描述符计算模块相连接，所述描述符计算模块和描述符匹配模块相连接；所述数据接口模块包含了彩色信息接口组件和深度信息接口组件，所述彩色信息接口组件用于从数据采集设备获取环境的彩色图像信息，所述深度信息接口组件用于从数据采集设备获取环境的深度图像信息；所述图像信息预处理模块用于获取采集的图像信息并进行滤波处理，用于去除数据采集设备采集图像时产生的噪声点与无用点，并将滤波后的精简点云信息作为平面去除的输入，对于滤波后的图像信息进行平面去除操作；所述特征提取模块用于对平面去除后的障碍物图像信息进行特征提取；所述描述符计算模块用于计算场景与场景中目标物体的描述符；所述描述符匹配模块用于计算描述符计算模块计算的描述符之间的相似度，并通过描述符匹配算法确定场景中的目标物体的位置。

进一步的，所述数据采集设备是RealSense摄像头，具有同时采集场景彩色图像信息和深度图像信息功能，并且数据采集设备具有可编程的应用程序接口，能够稳定且准确的进行数据采集工作。

进一步的，所述数据接口模块即是数据采集设备所采集到的原始数据流，采集的信息包括当前场景及场景中目标物体的彩色图像信息和深度图像信息，其中，彩色图像信息包括了场景及目标物体轮廓和色彩信息；深度图像信息包括了场景及目标物体的距离信息。

进一步的，所述图像预处理模块包括直通滤波模块、统计滤波模块和平面去除组件；所述直通滤波模块用于通过设置坐标轴方向的参数，指定某坐标轴上的特定范围，对范围以内或者以外的点云进行删除，用于滤除捕获范围以外的点云，统计滤波模块用于识别并去除场景中的离散点；所述平面去除组件用于去除场景中的主平面元素。

进一步的，所述直通滤波模块通过设置坐标轴方向的参数，指定某坐标轴上的特定范围，对范围以内或者以外的点云进行删除，用于滤除捕获范围以外的点云，具体包括：B1、数据采集设备采集得到场景图像点云数据；B2、判断点云数据的Z轴坐标是否满足阈值范围；B3、满足阈值范围的点云被保留为有效点云；B4、不满足阈值范围的点云被认定为无效点云并剔除。

进一步的，所述统计滤波模块识别并去除场景中的离散点，具体包括：

通过直通滤波后的点云已经删除了捕获范围以外的无用点，但是在采集过程中，仍存在孤立于目标点云的离散点，通过对每个点邻域进行一个统计分析，从而修剪掉一些不符合标准的离散点，点邻域平均距离的概率密度函数表示为:

其中：x_i为任一点的领域平均距离，设置每个点最大临近点阈值为K，标准差倍数为n，超过平均距离nσ的点被定义为离群点。

进一步的，所述平面去除组件的方法是采用随机抽样一致算法RANSAC来提取并去除滤波后的目标物体的支撑平面。

一种基于系统的障碍物检测方法，其包括以下步骤：

首先通过深度摄像头采集环境的图像信息，并通过该深度摄像头获取环境及其中物体的点云信息；然后对采集到的深度点云信息进行综合滤波，包括直通滤波和统计滤波，用直通滤波器，去除位于设备采集器之外的无用点，再通过统计滤波器，识别并去除场景中的离散点；使用随机一致采样的方法对采集到的深度图进行平面拟合后，去除场景中的背景平面和目标物体的支撑面；依据深度图和平面拟合结果，确定障碍物的初步点云集合；最后提取点云信息的特征点，并计算特征点的描述符，对场景和目标物体的描述符进行特征匹配，得到场景中障碍物检测结果，并将检测的障碍物轮廓用方框标记出。

进一步的，所述使用随机一致采样的方法对采集到的深度图进行平面拟合的具体步骤包括：

步骤(1)：在经过滤波后的点云中选取任意3个点，判断其是否共线，若共线，则重新另取点；若不共线则解算出该三点所确定的对应初始平面ax+by+cz＝d，(a，b，c，d)均为拟合出来平面模型的相关系数，其中a，b，c代表该该平面模型的法向量，d为常量值。

步骤(2)：计算点到该初始平面的距离，d_i＝|ax_i+by_i+cz_i-d|；

步骤(3)：选取阈值t＝2σ₀,σ₀是点云到初始平面模型距离的标准偏差，当d_i>t时该点被当作平面外的点剔除，反之则被当作平面内的点保留，最后统计平面内点的数量；

重复以上步骤(1)，(2)，(3)步骤，迭代一定次数，比较并选择含有平面内点数量最大的平面作为拟合平面。

进一步的，所述特征提取是基于Harris角点检测算法的特征提取法，具体如下：

步骤(1)：利用水平、竖直差分算子对图像每个像素进行滤波以求得I_X、I_y，其中I_X、I_y分别为图像点像素值I(x,y)在x和y方向上的梯度。进而求得m中四个元素的值：

步骤(2)：对m的四个元素进行高斯平滑滤波，得到新的m，离散二维零均值高斯函数为：

步骤(3)：利用m计算对应于每个像素的角点量cim：

步骤(4)：在矩阵cim中，同时满足“cim大于阈值thresh和cim是某领域内的局部最大值”这两个条件的点被认为是角点。

本发明的优点及有益效果如下：

本发明使用RealSense摄像头作为数据采集设备，能提高数据采集的有效性和实时性，而且RealSense设备体积小，更适合作为自主移动机器人的导航传感器。对采集到的彩色图像信息和深度图像信息进行综合滤波，先通过直通滤波去除摄像头采集范围之外的无用点，再适用统计滤波将图像中的离散点进行去除，一方面能排除由设备本身采集所带来的干扰，另一方面能清除图像中的离散点，为后续检测工作提供更好的图像信息；滤波过后，运用随机抽样一致算法RANSAC对图像信息中的平面进行拟合并去除，这样能减少在检测过程中背景平面及物体支撑面对于识别效果的影响；在提取物体特征的过程中，使用Harris角点检测的方法对目标物体的轮廓特征进行提取，该方法能有效的保留物体边缘信息，更好的对物体的轮廓进行描述；使用视点特征直方图(VFH)的方法能够快速有效地对目标的特征描述符进行计算，并且基于RealSense摄像头特性的考虑，在计算特征描述符时添加同时采集的图像色彩信息作为补充，能够更加有效地对障碍物进行检测。

附图说明

图1是本发明提供优选实施例障碍物检测系统结构框图；

图2是直通滤波流程图；

图3是统计滤波流程图；

图4是平面拟合方法流程图；

图5是描述符匹配方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

一种基于深度信息的障碍物检测系统，其特征在于，包括：数据接口模块、图像信息预处理模块、障碍物信息特征提取模块、描述符计算模块以及描述符匹配模块。其中，所述数据接口模块包含了彩色信息接口组件和深度信息接口组件，所述彩色信息接口组建用于从数据采集设备获取环境的彩色图像信息，所述深度信息接口组件用于从数据采集设备获取环境的深度图像信息；所述图像预处理模块用于获取采集的图像信息并进行滤波处理，用以去除数据采集设备采集图像时产生的噪声点与无用点，并将滤波后的精简点云信息作为平面去除的输入；对于滤波后的图像信息进行平面去除操作。所述障碍物信息特征提取模块用于对平面去除后的图像信息进行特征提取，通过特征提取的操作，能够减少图像点的数目，从而降低后续模块的计算量；所述描述符计算模块用于计算场景与场景中目标物体的描述符；所述描述符匹配模块用于计算上一步输入的描述符之间的相似度，并通过描述符匹配算法确定场景中的目标物体的位置。

进一步的，所述数据采集设备是具有同时采集场景彩色图像信息和深度图像信息功能的摄像机，并且该设备具有可编程的应用程序接口，能够稳定且准确的进行数据采集工作。

进一步的，所述数据接口模块即是数据采集设备所采集到的原始数据流，采集的信息包括当前场景及场景中目标物体的彩色图像信息和深度图像信息。其中，彩色图像信息包括了场景及目标物体轮廓和色彩信息；深度图像信息包括了场景及目标物体的距离信息。

进一步的，所述图像预处理模块包括了点云滤波组件和平面去除组件；所述图像去噪组件用于对采集到的彩色图像信息和深度图像信息进行噪声去除处理，去除由于数据采集器视距限制所产生的噪声点和无用点；所述平面去除组件用于去除场景中的主平面元素。

进一步的，所述点云滤波组件进行点云滤波的方法是直通滤波和统计滤波。通过直通滤波器设置Z轴方向上的范围参数，将距离视点1.5米以外的点云数据进行去除，有效减少数据采集设备视距限制产生的数据失真部分；统计滤波通过计算每个点到其最近的k个点的平均距离得到平均距离的高斯分布，设置均值和方差后，在标准范围之外的点，可以被认定为离群点并从数据中去除。点云滤波组件能有效的去除数据采集时由于设备视距限制和操作所产生的噪声点和离群点

进一步的，所述平面去除组件的方法是采用随机抽样一致算法RANSAC来提取并去除滤波后的目标物体的支撑平面。

进一步的，所述目标检测结果能够通过直观显示场景中位于数据采集设备视距范围内的障碍物轮廓及其深度图像信息，并通过框图标记出障碍物轮廓以显示清楚。

一种基于深度信息的障碍物检测方法，其特征在于，包括以下步骤：首先通过深度摄像头采集环境的彩色图像信息和深度图像信息，并通过该设备获取环境及其中物体的点云信息；然后对采集到的深度点云信息进行综合滤波，包括直通滤波和统计滤波，用过直通滤波器，去除位于设备采集器之外的无用点，再通过统计滤波器，识别并去除场景中的离散点；使用随机一致采样的方法对采集到的深度图进行平面拟合后，去除场景中的背景平面和目标物体的支撑面；依据深度图和平面拟合结果，确定障碍物的初步点云集合；最后提取点云信息的特征点，并计算特征点的描述符，对场景和目标物体的描述符进行特征匹配，得到场景中障碍物检测结果，并将检测的障碍物轮廓用方框标记出。

进一步的，所述描述符计算的方法是基于视点特征直方图(VFH)的方式进行计算，并在计算时对方法进行了改进：依据RealSense作为数据采集器的特性，将场景及目标检测物体对应的彩色图像信息通过色调值的方式加入到视点特征直方图(VFH)的计算当中，使得采集到的图像信息得到最大的应用，提高障碍物检测的准确率。

如图1所示一种采用RealSense摄像头为采集数据设备的障碍物检测系统和方法，该系统主要包括：

A1～A10：A1是与数据采集设备相适应的数据接口模块、A2是对图像信息预处理模块、A3是特征提取模块、A4是描述符计算模块、A5是描述符匹配模块，其中数据接口模块包含了数据采集设备采集彩色图像信息接口组件A6和深度图像信息接口组件A7，图像信息预处理模块包含了直通滤波A8，统计滤波A9和平面去除组件A10。

如图2所示为直通滤波方法的流程图：

B1～B4：在本实例中，采用的数据采集设备是RealSense摄像头，其作为数据采集设备能够快速并准确的获取环境的彩色图像信息和深度图像信息，但是RealSense摄像头也具有捕获范围的限制。RealSense SR300设备的深度捕获范围为0.2～0.5米，故需要对采集到的相关深度点云进行捕获范围以外的滤波。直通滤波可以通过设置坐标轴方向的参数，指定某坐标轴上的特定范围，对范围以内或者以外的点云进行删除，用于滤除捕获范围以外的点云非常合适。B1是数据采集设备所采集的场景图像点云数据；B2是判断点云数据的Z轴坐标是否满足阈值范围；B3是满足阈值范围的点云被保留为有效点云；B4是不满足阈值范围的点云被认定为无效点云并剔除。

如图3所示为统计滤波方法的流程图：

C1～C4：通过直通滤波后的点云已经删除了捕获范围以外的无用点，但是在采集过程中，仍存在孤立于目标点云的离散点，这些点依然会对后续的检测过程产生干扰，故需对上一步实例中的点云进行进一步的离散点滤波。统计滤波通过对每个点邻域进行一个统计分析，从而修剪掉一些不符合标准的离散点。点邻域平均距离的概率密度函数可以表示为:

其中：x_i为任一点的领域平均距离。设置每个点最大临近点阈值为K，标准差倍数为n，超过平均距离nσ的点被定义为离群点。C1是经过直通滤波后的有效点云；C2判断单个点到其最近K个点的平均距离是否满足阈值范围；C3是满足阈值范围的点云被保留为有效点云；C4是不满足阈值范围的点被认定为离散点并剔除。

如图4所示为平面拟合方法流程图：

D1～D6：

步骤(1)：在经过滤波后的点云中选取任意3个点，判断其是否共线，若共线，则重新另取点；若不共线则解算出该三点所确定的对应初始平面ax+by+cz＝d，(a，b，c，d)均为拟合出来平面模型的相关系数，其中a，b，c代表该该平面模型的法向量，d为常量值；

步骤(2)：计算点到该初始平面的距离，d_i＝|ax_i+by_i+cz_i-d|；

步骤(3)：选取阈值t＝2σ₀,σ₀是点云到初始平面模型距离的标准偏差，当d_i>t时该点被当做平面外的点剔除，反之则被当做平面内的点保留。最后统计平面内点的数量；

重复以上步骤(1)，(2)，(3)步骤，迭代一定次数，比较并选择含有平面内点数量最大的平面作为拟合平面。

如图5所示为描述符匹配方法流程图：

E1～E6：E1是经过滤波和平面去除之后的物体点云；E2是对所述点云进行特征提取，本实例采取的方法是基于Harris角点检测算法的特征提取法，具体如下：

步骤(1)：利用水平、竖直差分算子对图像每个像素进行滤波以求得I_X、I_y，其中I_X、I_y分别为图像点像素值I(x,y)在x和y方向上的梯度。进而求得m中四个元素的值：

步骤(2)：对m的四个元素进行高斯平滑滤波，得到新的m。离散二维零均值高斯函数为：

步骤(3)：利用m计算对应于每个像素的角点量cim：

步骤(4)：在矩阵cim中，同时满足“cim大于阈值thresh和cim是某领域内的局部最大值”这两个条件的点被认为是角点。

E3、E4是将场景的色彩图像信息加入到描述符的计算，其中处理色彩信息的方法是利用目标物体中每个点在HSV模型中的色调之H来区分特征点是待检测物体中的点还是场景中非目标物体的点。具体步骤如下：

步骤(1)：计算目标物体中每个点在HSV模型中的色调值H，公式如下：

max＝max(R,G,B)

min＝min(R,G,B)

V＝max(R,G,R)

S＝(max-min)/max

H＝H+360,ifH<0

步骤(2)：依据公式可以知道色调值H的范围是0<H<360,为了方便后续计算，将H的值依照公式：

这样H_a的值就在0<H_a<72的范围中，这样能使用2个字节空间来表示。

描述符计算的方法采用基于视点特征直方图(VFH)的描述符计算方法。得到描述符

其中α，

θ为特征点云与其邻域点法线在三个方向的夹角。然后将计算好的色调值作为描述符的第四维度加入到其中，即得到

对于场景中的点，先计算其色调值，利用上述公式得到H_a,然后通过查询目标物体的色调值位图，来确定该点是否为目标物体中的点，若是，则计算其描述符，如不是，则舍弃该点。E5是描述符匹配算法；E6是物体的特征描述符。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (10)

1.一种基于深度信息的障碍物检测系统，其特征在于，包括：数据接口模块、图像信息预处理模块、特征提取模块、描述符计算模块以及描述符匹配模块，其中，所述数据接口模块和图像信息预处理模块相连接，所述图像信息预处理模块和特征提取模块相连接，所述特征提取模块和描述符计算模块相连接，所述描述符计算模块和描述符匹配模块相连接；所述数据接口模块包含了彩色信息接口组件和深度信息接口组件，所述彩色信息接口组件用于从数据采集设备获取环境的彩色图像信息，所述深度信息接口组件用于从数据采集设备获取环境的深度图像信息；所述图像信息预处理模块用于获取采集的图像信息并进行滤波处理，用于去除数据采集设备采集图像时产生的噪声点与无用点，并将滤波后的精简点云信息作为平面去除的输入，对于滤波后的图像信息进行平面去除操作；所述特征提取模块用于对平面去除后的障碍物图像信息进行特征提取；所述描述符计算模块用于计算场景与场景中目标物体的描述符；所述描述符匹配模块用于计算描述符计算模块计算的描述符之间的相似度，并通过描述符匹配算法确定场景中的目标物体的位置。

2.根据权利要求1所述的一种基于深度信息的障碍物检测系统，其特征在于，所述数据采集设备是RealSense摄像头，具有同时采集场景彩色图像信息和深度图像信息功能，并且数据采集设备具有可编程的应用程序接口，能够稳定且准确的进行数据采集工作。

3.根据权利要求1所述的一种基于深度信息的障碍物检测系统，其特征在于，所述数据接口模块即是数据采集设备所采集到的原始数据流，采集的信息包括当前场景及场景中目标物体的彩色图像信息和深度图像信息，其中，彩色图像信息包括了场景及目标物体轮廓和色彩信息；深度图像信息包括了场景及目标物体的距离信息。

4.根据权利要求1所述的一种基于深度信息的障碍物检测系统，其特征在于，所述图像预处理模块包括直通滤波模块、统计滤波模块和平面去除组件，所述直通滤波模块用于通过设置坐标轴方向的参数，指定某坐标轴上的特定范围，对范围以内或者以外的点云进行删除，用于滤除捕获范围以外的点云，所述统计滤波模块用于识别并去除场景中的离散点，所述平面去除组件用于去除场景中的主平面元素。

5.根据权利要求4所述的一种基于深度信息的障碍物检测系统，其特征在于，所述直通滤波模块通过设置坐标轴方向的参数，指定某坐标轴上的特定范围，对范围以内或者以外的点云进行删除，用于滤除捕获范围以外的点云，具体包括：B1、数据采集设备采集得到场景图像点云数据；B2、判断点云数据的Z轴坐标是否满足阈值范围；B3、满足阈值范围的点云被保留为有效点云；B4、不满足阈值范围的点云被认定为无效点云并剔除。

6.根据权利要求5所述的一种基于深度信息的障碍物检测系统，其特征在于，所述统计滤波模块识别并去除场景中的离散点，具体包括：

通过直通滤波后的点云已经删除了捕获范围以外的无用点，但是在采集过程中，仍存在孤立于目标点云的离散点，通过对每个点邻域进行一个统计分析，从而修剪掉一些不符合标准的离散点，点邻域平均距离的概率密度函数表示为:

其中：x_i为任一点的领域平均距离，设置每个点最大临近点阈值为K，标准差倍数为n，超过平均距离nσ的点被定义为离散点。

7.根据权利要求6所述的一种基于深度信息的障碍物检测系统，其特征在于，所述平面去除组件的方法是采用随机抽样一致算法RANSAC来提取并去除滤波后的目标物体的支撑平面。

8.一种基于权利要求1-7之一的所述系统的障碍物检测方法，其特征在于，包括以下步骤：

首先通过深度摄像头采集环境的图像信息，并通过该深度摄像头获取环境及其中物体的点云信息；然后对采集到的深度点云信息进行综合滤波，包括直通滤波和统计滤波，用直通滤波器，去除位于设备采集器之外的无用点，再通过统计滤波器，识别并去除场景中的离散点；使用随机一致采样的方法对采集到的深度图进行平面拟合后，去除场景中的背景平面和目标物体的支撑面；依据深度图和平面拟合结果，确定障碍物的初步点云集合；最后提取点云信息的特征点，并计算特征点的描述符，对场景和目标物体的描述符进行特征匹配，得到场景中障碍物检测结果，并将检测的障碍物轮廓用方框标记出。

9.根据权利要求8所述的障碍物检测方法，其特征在于，所述使用随机一致采样的方法对采集到的深度图进行平面拟合的具体步骤包括：

步骤(1)：在经过滤波后的点云中选取任意3个点，判断其是否共线，若共线，则重新另取点；若不共线则解算出该三点所确定的对应初始平面ax+by+cz＝d，a，b，c，d均为拟合出来平面模型的相关系数，其中a，b，c代表该平面模型的法向量，d为常量值；

步骤(2)：计算点到该初始平面的距离，d_i＝|ax_i+by_i+cz_i-d|；

步骤(3)：选取阈值t＝2σ₀,σ₀是点云到初始平面模型距离的标准偏差，当d_i>t时该点被当作平面外的点剔除，反之则被当作平面内的点保留，最后统计平面内点的数量；

重复以上(1)，(2)，(3)步骤，迭代一定次数，比较并选择含有平面内点数量最大的平面作为拟合平面。

10.根据权利要求9所述的障碍物检测方法，其特征在于，所述特征提取是基于Harris角点检测算法的特征提取法，具体如下：

步骤(1)：利用水平、竖直差分算子对图像每个像素进行滤波以求得I_X、I_y，其中I_X、I_y分别为图像点像素值I(x,y)在x和y方向上的梯度，进而求得m中四个元素的值：

步骤(2)：对m的四个元素进行高斯平滑滤波，得到新的m，离散二维零均值高斯函数为：

步骤(3)：利用m计算对应于每个像素的角点量cim：

步骤(4)：在矩阵cim中，同时满足“cim大于阈值thresh和cim是某领域内的局部最大值”这两个条件的点被认为是角点。

Images