发明内容
如上所述,传统的二维路面裂缝检测系统采用路面图像获取技术,即照明系统与照相机相结合的方式拍摄路面图像以记录路面裂缝信息,并采用二维灰度信息处理技术分析路面裂缝。其缺点主要有:光照不均导致图像对比度过高,掩盖了裂缝的特征信息,裂缝的漏识别率与识别不全率高;阴影造成的裂缝虚假信息,裂缝的误识别率高;裂缝信息较弱,裂缝信息丢失,裂缝无法识别。有鉴于此,本发明以裂缝三维检测方法为主,直接获取道路面的三维信息,利用大功率准直线激光器,能够为道路裂缝所产生的剖面提供照明,照明范围集中,有效解决了光照不均和阴影的问题;在光电编码器的控制下,道路剖面的识别间隔可以在1mm以内,极大地提高了微小裂缝的识别与检测效果。
如上所述,现有的三维裂缝检测系统主要利用激光三维扫描和结构光成像技术。然而,由于高精度三维激光扫描仪设备昂贵,尽管其测量较远距离目标时对目标大小识别精度要求不高,应用优势很大,但是在扫描近距离目标时,由于扫描速率(单位时间内产生的激光点数)的限制,在高速情况下的点云密度远远不够(速度越快,单位时间内的断面越多,断面上激光点分布越少,激光点的分辨率越低),精度很难达到道路面裂缝检测的需求。尽管基于结构光的路面裂缝三维检测技术具有数据精度高、特征丰富、对路面阴影、光照不均、裂缝信息较弱以及随机噪声不敏感等优势,但是,由于路面材料反射特性的差异,对结构光的吸收、镜面反射等容易导致数据的丢失与测量误差,由于结构光对扫描角度的限制,使得一定条件下的遮挡(例如结构光打到裂缝里面时,裂缝达到一定深度时,反射光被遮挡,无法被接收)直接引起测量数据的丢失,特别是裂缝信息的丢失。有鉴于此,本发明在结构光三维检测的基础上,同时获取每个坐标点的灰度信息,其目的是通过分析小范围内灰度的分布特征、深度的分布特征以及激光的线宽值分布特征来有效还原丢失的数据的测量误差,提高了道路面裂缝识别的准确率。
如上所述,现有的车载多传感器集成同步控制方法将距离传感器与内部时钟结合,用于按空间间隔采样控制传感器的工作,并为传感器的采集数据提供时间戳。其缺点是:没有将车辆行驶的线性参考坐标与采集的数据相关联,对于道路检测、轨道检测这类通常以线性参考坐标为基准的应用,空间定位表达十分不方便。有鉴于此,本发明通过GPS数据、高精度时间和里程数据的同步输出,快速建立GPS大地坐标系(WGS-84)与道路线性参考坐标系的转换模型。
另一方面,结构光路面三维测量系统与路面二维灰度测量系统测量精度不同、工作频率不同、测量角度不同,很难找到控制点来准确标定两个系统间的相对位置、姿态关系,精度往往不尽人意。有鉴于此,本发明的目的是通过激光线的中心提取技术获取目标的高精度三维信息,通过极小范围内灰度积分法计算对应激光线中心的灰度信息,实现目标点深度信息与灰度信息的无缝获取,极大地丰富了目标点的特征属性。
综上,为解决当前路面裂缝快速准确识别的技术瓶颈,本发明提出了一种利用图像处理技术、移动精细定位技术与多传感器集成与同步控制技术的道路面裂缝检测方法,该方法以车载移动平台为载体,集成了GPS接收机、惯性测量单元、高速大面阵CCD相机、大功率准直线激光器、光电编码器、同步控制器、嵌入式计算机等传感器及设备,采集道路面高精度三维深度数据与二维灰度数据,并结合GPS与惯性单元的定位数据,建立带灰度信息的道路面精细三维模型,综合裂缝灰度特征与深度特征,自动检测裂缝的长度、宽度、深度等信息,并将结果保存在嵌入式计算机中,作为道路维修与养护的参考依据。因此,结合深度图像与灰度图像的裂缝检测方法综合了二维与三维检测的优势,为路面裂缝检测提供了更多可行的解决方案。
本发明要解决的技术问题主要有:
1)利用道路面三维信息,从深度上提取裂缝,解决二维图像裂缝检测中对于光照不均、阴影、裂缝信息较弱带来的检测困难;
2)利用道路面灰度信息,辅助三维深度裂缝检测中数据缺失的还原和增强裂缝特征,提高裂缝的识别率;
3)将距离传感器、GPS、惯性单元与高精度时钟结合,建立高精度的空间基准,并解决道路线性参考坐标与大地坐标(WGS-84)之间的快速转换;
4)同时获取测量点的深度与灰度信息,物理上严格配准,无需对深度测量与灰度测量系统进行标定与匹配,减少了误差来源与工作量。
根据本发明的实施例,提出了一种基于深度和灰度图像的路面裂缝检测装置,包括:载体平台(1);位于载体平台上摄像装置(6)、线激光器(7)、计算装置(8),其中,载体平台(1)用来在裂缝检测的过程中,沿道路方向移动,线激光器(7)用来在载体平台(1)移动的同时,垂直路面照射激光,摄像装置(6)用来在载体平台(1)移动的同时,沿斜向角度,不断拍摄所述直线激光经路面反射的激光线,每次拍摄对一个道路断面进行成像,生成多个道路断面的激光线的图像数据,计算装置(8)用来从每个道路断面的激光线的图像数据生成该道路断面的深度数据、以及灰度数据,并将每个道路断面的深度数据和灰度数据拼接形成一段道路的图像数据,以进行裂缝识别。
本发明装置集成简单,功能全面,传感器的个数大为减少,可移植性强,安装、拆卸方便,可作为独立设备挂载在其他的移动平台。本发明的有益效果主要在于:
1、基于深度和灰度图像的路面裂缝检测装置可以快速获取路面精细三维深度数据和二维灰度数据;
2、本发明综合利用道路面的三维深度信息和二维灰度信息提取裂缝等路面特征,解决了单独利用二维灰度信息或者单独利用三维深度信息时遇到的技术瓶颈;
3、本发明采用了一台光电编码器,其行程脉冲控制道路面断面数据采集,因此断面间隔可以更加精细;
4、本发明采用GPS加惯性单元协同工作的方式来获取载体平台的绝对坐标,能更有效地与高密度行程数据和精细三维断面数据融合;
5、本发明中的同步控制器一方面主动触发传感器采集并记录触发时刻的时空坐标,另一方面被动接收传感器采样时刻的同步信号,以获取传感器采样时刻的时空坐标,用于采集数据的同步与融合;
6、由于采用的传感器少,但是功能全面,因此系统集成简单,可移植性强,不依赖于载体平台,可作为独立设备挂载于不同的移动平台上,适应不同的测量环境;
7、采用了嵌入式同步控制方案,建立高精度的时空基准,提高了各传感器的同步精度,减小了数据融合的难度,使检测效果更加可靠,采用了嵌入式同步控制方案,建立高精度的时空基准,快速建立了线性参考坐标系与大地坐标系的转换模型,同步控制电路以GPS时间为统一的时间基准,一方面在记录线性参考坐标的同时打上时间戳,另一方面记录GPS定位信息和GPS时间,最后通过时间插值的方式将线性坐标与大地坐标一一对应起来;
9、获取精细三维深度数据与二维灰度数据的速度快,提高了作业效率;
10、综合了三维路面裂缝检测与二维路面裂缝检测的优势,解决了单一检测方式遇到的技术瓶颈,提高了裂缝检测的效率和准确性。
具体实施方式
下面结合附图和具体实施方式对本发明的技术方案作进一步具体说明,由此,本发明的优点和特点将会随着描述而更为清楚。
本领域的技术人员能够理解,尽管以下的说明涉及到有关本发明的实施例的很多技术细节,但这仅为用来说明本发明的原理的示例、而不意味着任何限制。本发明能够适用于不同于以下例举的技术细节之外的场合,只要它们不背离本发明的原理和精神即可。
另外,为了避免使本说明书的描述限于冗繁,在本说明书中的描述中,可能对可在现有技术资料中获得的部分技术细节进行了省略、简化、变通等处理,这对于本领域的技术人员来说是可以理解的,并且这不会影响本说明书的公开充分性。
根据本发明的实施例的基于深度与灰度的路面裂缝识别系统利用3D相机、光电编码器、GPS及惯性单元等多个传感器集成及数据融合原理与方法,在车载平台以1-40公里/小时的正常城市车行速度移动的同时,由安装在车载平台上的3D相机和准直线激光器获取道路面三维数据,由安装在车轮上的光电编码器获取车载平台的行驶距离及运行速度,由安装在车载平台的GPS和惯性单元获取平台的位置、姿态数据,所有的传感器数据和同步数据传输到计算机中进行融合处理,综合深度与灰度图像信息提取道路面裂缝信息。
下面说明基于深度与灰度图像的路面裂缝检测装置的构成。
基于深度与灰度图像的路面裂缝检测系统由硬件和软件两部分组成。软件主要包括数据采集模块、数据滤波预处理模块、数据处理与特征提取模块与、数据存储模块与显示模块等组成。
图1为根据本发明的实施例的基于深度与灰度图像的裂缝检测装置的构成示意图。
如图1所示,基于深度与灰度图像的路面裂缝检测系统在硬件方面主要由载体平台(1)、光电编码器(2)、惯性单元(3)、GPS接收机(4)、同步控制电路(5)、3D相机(6)、线激光器(7)、计算机(8)以及显示装置(9)等构成。
载体平台(1)由车辆与安装在车辆尾部的支架构成,为道路面裂缝检测的各单元提供机械搭载平台以及稳定的电源。
光电编码器(2)安装在车辆后轮的中心轴上,以测量载体平台的运行速度和距离。
惯性单元(3)安装在位于车顶的支架上,测量载体平台的姿态参数,与安装在其上方的GPS接收机(4)一起用于载体平台的精确定位。
同步控制电路(5)安装在支架后端,用于协同控制光电编码器(2)、GPS接收机(4)、惯性单元(3)和3D相机(6)的工作,并且输出同步信息到嵌入式计算机(8)中。
3D相机(6)和线激光器(7)安装在支架后端,线激光器(7)垂直路面照射激光,用特定波长的大功率激光提供激光照射,3D相机(6)接收对应波长的反射光线,测量路面三维结构数据。
计算机(8)安装在车辆的后备箱中,用于路面三维结构数据和平台位置、姿态数据的采集、存储以及处理。
显示装置(9)安装在车辆座椅前,用于进行人工交互,例如参数的选择、检测的状态以及结果的显示等操作。
下面说明基于深度与灰度图像的路面裂缝检测原理与实现方式。
基于深度与灰度图像的路面裂缝检测装置是移动测量技术的一个具体应用,该发明采用了多传感器集成及同步控制技术、数据融合技术、图像处理技术、点云数据分析技术和移动精细定位技术等高新技术。图2为示出根据本发明的实施例的基于深度与灰度图像的裂缝检测装置的总体实现的原理框图。本发明的技术方案的功能框图如图2所示,其主要分为两大功能部分,一部分由GPS接收机、惯性单元、光电编码器、高稳晶振来建立高精度时间与空间基准;另一部分是高精度定位数据与深度、灰度数据的快速融合与处理分析。
如图2所示,GPS接收机、光电编码器与高稳晶振的信号输入到同步控制电路,由同步控制电路完成信号的处理,一方面输出信号同步惯性单元,一方面输出脉冲信号控制3D相机图像的采集,另一方面将GPS绝对定位数据、行程与速度数据和同步记录数据发送至计算机存储。GPS接收机与惯性单元共同获取载体平台的绝对位置坐标和姿态数据,光电编码器获取载体平台的速度与行程数据,3D相机获取道路面的精细三维几何信息与对应的二维灰度信息。结合光电编码器行程数据、GPS的位置坐标与惯性单元的姿态数据实现移动精细定位,通过对道路面三维几何数据和二维灰度数据进行分析,识别和提取道路面裂缝信息。
下面就各个子功能详细阐述本发明的原理与方案。
1)路面深度与灰度数据采集原理
图3为根据本发明的实施例的基于深度与灰度图像的裂缝检测装置的数据采集的原理框图。
如图3所示,同步控制电路接收光电编码器的行程信号,按照计算机发送的设置参数(3D相机数据采集间隔),产生触发脉冲信号,控制3D相机采集路面深度(高度)、灰度数据,同时记录下光电编码器的里程数据作为平台在线性参考坐标系下的y坐标;3D相机一次采集可以获得路面的一个断面(在光电编码器的该行程处采集的激光线经由路面反射后的形态)的灰度数据G0与深度数据D0(3D相机利用高速大面阵CCD获取路面灰度影像(反射激光线的成像灰度),并通过内置的集成硬件电路,利用重心法等中心提取技术提取路面断面轮廓并输出轮廓在像方坐标系中坐标值数组,根据像方坐标与实际路面深度(高度)的标定关系,计算出深度数据D0),并分别以一维数组的方式存储,即,在光电编码器的该行程处(y坐标值)的垂直于道路走向方向上的每个点(x坐标上的每个点)的灰度数据和深度数据。
通过载体平台的移动,3D相机连续采集路面多个断面数据(对应于不同的y坐标),从而得到路面上的每个采样点(x,y)的深度数据D(x,y)与灰度数据G(x,y)。
此外,GPS接收机和惯性单元按照一定频率分别输出载体平台在WGS84坐标系下的绝对位置数据(XWGS84,YWGS84,ZWGS84)与姿态数据(R,P,H)。计算机(例如,嵌入式计算机)主要用于同步控制电路及3D相机的采集参数设置与数据存储。
2)载体平台精细定位原理
图4为根据本发明的实施例的基于深度与灰度图像的裂缝检测装置的精细定位的原理框图。
如图4所示,GPS接收机获取载体平台的绝对位置坐标(XWGS84,YWGS84,ZWGS84),惯性单元获取载体平台运动过程中的连续姿态数据(R,P,H),光电编码器结合载体平台的起始位置获取线性参考坐标y。将上述数据结合相机像方中心与惯性单元中心的标定参数、GPS天线中心与惯性单元中心的标定参数,对以上定位数据进行配准,获得载体平台高精度、高密度的绝对坐标(XP,YP,ZP)与线性坐标y。
3)基于深度与灰度信息的路面裂缝检测原理
图5示出了基于深度与灰度信息的路面裂缝检测原理。
如图5所示,由于路面材料对激光的反射特性的不同、路面特征对激光反射点的遮挡等因素,导致3D相机无法正确接收到某些激光反射点的反射信息,因此,1)中得到的3D相机原始灰度数据G(x,y)与深度数据D(x,y)存在奇异点(包含粗差和无效点等),其中,相机没有接收到反射信息的点为无效点,在数据G(x,y)和/或D(x,y)中表现为零值,相机接收到错误的反射信息的点为粗差,在数据G(x,y)和/或D(x,y)中表现为毛刺,结合奇异点周边的灰度分布、深度分布和激光线宽值,计算每个奇异点周边像素的权值,利用加权均值滤波的方法对原始数据预处理,得到路面完整的灰度与深度数据(G,D),结合2)中得到的绝对坐标(XP,YP,ZP)和线性坐标y,得到路面点最终的绝对位置坐标(X,Y,Z)和灰度G。
下面,具体说明上述各计算过程。
3-1)权值与滤波计算过程:
选择线性滤波模板如下式所示
因此,当前像素点D0(i,j)滤波之后的值D(i,j)为:
引入灰度相似率函数g(i,j)和邻域可信度函数W(i,j),
式中,NWA为滤波模板窗口中对应有效灰度值的像素个数,利用有效灰度值的算术平均值将滤波窗中像素的灰度值划分为高低两个区域,nc为当前像素所属区域的有效灰度值的像素个数,WLS为滤波窗中当前像素对应的激光线宽度值。
因此,邻域内各像素点的权重可以由下式计算得到
w(i,j)=g(i,j)*W(i,j)
为了保持平滑处理后的图像的平均值不变,模板内各元素之和为1,将权值函数归一化得到
3-2)绝对位置坐标计算过程
2)中得到的绝对位置坐标是相机的像方中心在每一个断面上的绝对位置坐标(XP,YP,ZP),由上述预处理得到的每个断面上像素点的深度坐标D是相对于像方中心的,激光断面与像方中心的距离Y0由标定得到,断面上每个像素与像方中心的横坐标X0由像方坐标系的横坐标和当前深度D下的横轴分辨率(可由相机的视场角、焦距和拍摄深度等计算得到)共同计算得到,因此,每个像素点的绝对位置坐标(X,Y,Z)可由下式得到
经过预处理后的路面点包含完整的位置信息和灰度信息(X,Y,Z,G),一方面,在位置信息(X,Y,Z)中,首先采用梯度方向直方图来提取裂缝边缘信息(参见参考文献[1]),由于裂缝在深度影像上表现为扫描点深度值的急剧变化和边缘扫描线性聚集,对由位置信息(X,Y,Z)组成的深度影像,采用梯度方向直方图方法统计裂缝几何特征,得到每个像素八个方向的图像梯度值,将八方向中梯度极大值对应的角度作为该像素的边缘方向,得到裂缝边缘图像。在此基础上,采用分水岭算法提取裂缝区域(参见参考文献[2]),将深度影像中深度极小值作为种子位置,采用分水岭算法得到分割区域,利用得到的裂缝边缘图像采用约束Delaunay三角剖分方法修正裂缝目标边缘,由边缘的长度确定邻接区域的标识和大小,通过边界拟合来提取封闭边缘的标识,得到封闭边缘的图像;另一方面,在上述位置信息(X,Y,Z)对应的灰度信息G组成的灰度影像中,采用梯度算子提取裂缝边缘,采用2DOstu方法提取裂缝区域,得到封闭边缘的图像。
最后,可综合两种方式提取到的裂缝封闭边缘的图像,剔除虚假裂缝(深度图像上车辙等疑似裂缝特征,灰度图像上线状油迹、污渍等类疑似裂缝特征),得到最终的裂缝分布边缘图像,输出裂缝的走向、形状、长度、宽度等指标。
[1]DalalN.,TriggsB..2005.HistogramsofOrientedGradientsforHumanDetection[C]//IEEE.ComputerVisionandPatternRecognition.SanDiego:IEEE,2005:886-893.
[2]VincentL.,SoilleP..WatershedsinDigitalSpaces:AnEfficientAlgorithmbasedonImmersionSimulations[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,1991,13(6):583-598.
4)电源方案
图6为根据本发明的实施例的基于深度与灰度图像的裂缝检测装置的电源布置方案的原理框图。
如图6所示,车载蓄电池产生的直流电源,经过电源变送及控制模块后,一部分输送到线激光器和3D相机,一部分输送到计算机和显示器,一部分输送到同步控制电路,再经同步控制电路给GPS接收机和光电编码器提供电源。
最后所应说明的是,以上具体实施方式仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。