CN106558051A - 一种改进的从单幅图像检测道路的方法 - Google Patents
一种改进的从单幅图像检测道路的方法 Download PDFInfo
- Publication number
- CN106558051A CN106558051A CN201510622576.6A CN201510622576A CN106558051A CN 106558051 A CN106558051 A CN 106558051A CN 201510622576 A CN201510622576 A CN 201510622576A CN 106558051 A CN106558051 A CN 106558051A
- Authority
- CN
- China
- Prior art keywords
- image
- road
- region
- initial
- road region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 115
- 238000001514 detection method Methods 0.000 claims abstract description 59
- 238000009826 distribution Methods 0.000 claims abstract description 30
- 230000000007 visual effect Effects 0.000 claims description 25
- 238000009827 uniform distribution Methods 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims 1
- 230000009021 linear effect Effects 0.000 abstract description 8
- 230000011218 segmentation Effects 0.000 abstract description 5
- 241000209094 Oryza Species 0.000 abstract 3
- 235000007164 Oryza sativa Nutrition 0.000 abstract 3
- 235000009566 rice Nutrition 0.000 abstract 3
- 239000011159 matrix material Substances 0.000 description 22
- 239000013598 vector Substances 0.000 description 20
- 238000004364 calculation method Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 11
- 239000003086 colorant Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000013179 statistical model Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002969 morbid Effects 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种基于图像检测道路的方法。本发明根据一般道路图像中存在方向一致性较好的直线以及道路路面上像素点具有相似色彩分布的特征来检测道路消失点。检测道路消失点是通过满足上述条件的两条交叉直线的交点来实现，这两条交叉直线之间的区域会覆盖图像中部分道路区域,有时也会覆盖图像中部分非道路区域。利用这个初始分割结果,针对道路区域中色彩和纹理特征分布相对比较集中的特点为道路区域建立高斯分布模型,而针对非道路区域中色彩和纹理特征分布相对比较分散的特点为图像中非道路区域建立非参数分布加均匀分布模型,然后采用一个简单的似然度比例分类器能修正在检测消失点过程中附带检测到的初始道路部分。
Description
技术领域
本发明涉及一种改进的检测道路的方法，尤其是涉及一种自底向上从单幅图像检测道路的全自动方法。
背景技术
实时道路监控，智能行走机器人或自动驾驶车辆等计算机视觉系统中面临的一个重要问题就是检测前方可行的道路以及检测道路中的障碍物等。在没有任何有关道路的先验知识帮助下，从单幅图像检测道路在数学上是一个病态问题。
目前多数方法是针对在人工环境下拍摄得到的图像，如室内和城市街道图像等，进行道路检测。因为这些图像满足“曼哈顿世界”(Manhattan World)的假设，即图像中多数直线的方向与真实三维世界坐标系中相互正交的坐标轴相符，因此将这些线条按照不同方向进行聚类可以帮助计算机估计三维场景的空间结构信息。
然而在非人工环境中拍摄得到的图像与在人工环境下拍摄得到的图像有很大的差异性，如郊区、沙漠和荒野等地，从这些图像中检测到的多数直线是由树木、植被、远处山脉和天空中云彩等产生，而这些直线方向与真实三维世界中相互正交的坐标系并不相符，因而这些直线对于估计图像中道路会造成很大的干扰。
根据目前已查阅的技术文献来看，现有基于图像的道路检测技术中的一类在2010年8月发表于IEEE图像处理期刊的论文(H.Kong,J.Y.Audibert,and J.Ponce,“General road detection from a single image,”IEEE Trans.OnImage Processing,19(8):2211‐2220,2010)有所介绍。此类技术采用一组空间方向滤波器阵列，如Gabor滤波器，检测图像中每个像素点的纹理方向，然后采用投票策略，获得票数最多的像素点被确定为道路的消失点。在检测道路消失点的基础上，再估计道路两边边沿直线。这类方法的局限性在于投票过程计算复杂度高，不适用于实时系统；另外如果道路场景中存在一些与道路边界或车辆轨迹相比具有更强的边缘强度的对象，如广告牌，或车辆等，则投票结果会出现很大的偏差，因为投票点的资格一般由像素点上方向滤波器响应的强度决定；另外仅仅基于直线的检测方法对于弯曲度很大的道路并不适用。
发明内容
本发明一方面提供了一种基于图像检测道路的方法，该方法包括下列步骤：输入道路图像；基于图像中每个像素点属于道路区域或非道路区域的似然度预判该像素点属于道路区域或者非道路区域；确定所述道路图像中的天际线；根据图像中每个像素点与所述天际线的相对位置关系修正对于该像素点属于道路区域或者非道路区域的预判。
其中对图像中每个像素点属于道路区域或非道路区域的预判可以通过如下方式进行：把图像分割成初始道路区域和初始非道路区域；确定图像中每个像素点属于道路区域的似然度和属于非道路区域的似然度；然后将每个像素点属于道路区域的似然度和属于非道路区域的似然度的比值与一阈值比较，并根据比较结果预判该像素点是否属于道路区域。其中初始道路区域和初始非道路区域的划分可以采用简便的三角形初始道路区域划分的方法或者半圆形初始道路区域的划分方法。三角形初始道路区域的划分方法是通过先确定道路图像中点，再将道路图像中点与图像左下边界点和图像右下边界点构成的三角区域作为初始道路区域的估计，而图像中除了三角区域外的其它区域则作为初始非道路区域的估计。半圆形初始道路区域的划分方法则以图像基线中点为圆心，确定一位于图像内部的半圆区域作为初始道路区域的估计，而图像中除了半圆区域外的其它区域则作为初始非道路区域的估计。
此方法还可以利用一般道路图像中的直线信息，结合位于直线上像素点的梯度方向应具有一致性的特点，去除图像中与道路或车辆轨迹不相关的边缘线。然后采用最小二乘方法对这些图像边缘拟合得到对应直线的方程。并根据一般道路图像中道路边界是从道路消失点往图像底部延伸，道路内部的纹理色彩应具有相似性或均匀性，每两条相交直线从交点开始朝向图像底部的线段所包裹区域内像素点纹理色彩的差异性，和每相交的两条直线上像素点的梯度方向和直线方向一致性测度，构造一个能量函数，而将具有最小能量的交叉直线对的交点确定为检测到的道路消失点。针对具有最小能量的交叉直线对从消失点开始通向图像底部的两条线段之间的区域会覆盖图像中部分道路区域，有时会覆盖图像中部分非道路区域，利用这个初始粗略道路分割结果，由于一般道路区域内色彩分布相对比较集中，而非道路区域中色彩分布相对比较分散，采用不同的统计分布模型分别为道路区域和非道路区域建立色彩分布统计模型，然后采用一个简单的似然度比例分类器能修正在检测消失点过程中附带检测到的初始道路部分。对于特定类型的道路图像，基于消失点的检测方法可能不能准确地检测到初始道路区域。例如对于丁字型道路的图像，或者车辆正左转弯或右转弯等情况下拍摄到的道路图像中，可能是无法检测到道路消失点的。在此类情况下，则不再适用基于消失点的检测方法。
实际应用中，本发明的道路检测方法可以采用如下具体步骤来实现：
(1)输入一幅道路图像；
(2)设定一个长度阈值T1，角度偏差阈值T2，以及将用于直线拟合图像边缘的数目N1，长度阈值逐次减少的数值T3，和满足方向一致性要求的图像边缘的数目N2；
(3)采用图像边缘检测方法得到道路图像中每个像素点的梯度方向和边缘点；
(4)采用光栅扫描方式和八连通方法去除图像中孤立的边缘点，连接边缘点，得到图像边缘；
(5)检查前一步骤(4)得到的所有图像边缘的长度是否满足步骤(2)事先设置好的长度阈值T1，如果在当前长度阈值T1下，能收集到的用于直线拟合N1条符合长度要求的图像边缘，则跳转到下一步骤(6)，反之则逐次减少长度阈值T1，每次从当前长度阈值T1减少T3，直到能收集到N1条符合长度要求的图像边缘；
(6)针对得到的N1条满足长度要求的图像边缘，计算每条满足长度要求的图像边缘上像素点梯度方向一致性的测度值：
其中pk和pk+1是位于第i条满足长度要求图像边缘上的两个相邻像素点，和分别是这两个像素点上的梯度方向，符号| |表示求绝对值，Ci就是第i条满足长度要求的图像边缘上像素点梯度方向一致性的测度值，这个测度值越小表明边缘梯度方向一致性越好；
(7)依据公式(1)，将N1条满足长度要求的图像边缘按照各自计算出来的像素点梯度方向一致性的测度值从小到大进行排列，然后从小到大选择N2条方向一致性较好的图像边缘，即它们的方向一致性测度值C比较小；
(8)针对从步骤(7)得到的每一条满足长度和方向一致性要求的图像边缘，假设第i条满足长度和方向一致性要求图像边缘上共有ni个点，这些点构成如下齐次坐标矩阵Ai：
其中公式(2)中x和y表示位于第i条满足长度和方向一致性要求图像边缘上像素点的空间坐标，上标i表示满足长度和方向一致性要求图像边缘的序号，而下标则表示在该图像边缘上像素点的序号，范围从1到ni，然后采用奇异值分解方法分解这些得到的矩阵Ai，这些矩阵的个数等同于满足长度和方向一致性要求的图像边缘的数目N2，矩阵Ai最小奇异值所对应的单位奇异矢量就是满足长度和方向一致性要求第i条图像边缘拟合的直线参数矢量[ai bi ci]，该直线方程为aix+biy+ci＝0，换句话说是采用最小二乘方法得到这些图像边缘拟合的直线；
(9)根据所得到直线的参数，计算这些直线之间的交点，假设第i条和第j条图像边缘拟合得到的直线参数矢量分别为[ai bi ci]和[aj bj cj]，通过直线参数矢量叉积得到第i条和第j条图像边缘拟合直线的交点；
(10)针对每两条相交的直线，从它们的交点开始沿着这两条直线往图像下方方向检查这两条直线上每个像素点的梯度方向与所在直线方向之间的差异：
s表示直线li和直线lj的交点，其中表示直线li从交点s开始沿着直线朝向图像下方的那一段，pk表示位于线段上的一个像素点，而表示该像素点上的梯度方向，θ(li)表示直线li的方向(即)，T2就是步骤(2)中设置的角度偏差阈值，#是一个计数器，计算位于上有多少个像素点的梯度方向和直线方向θ(li)之间绝对值差异小于角度偏差阈值T2，表示直线li从交点s开始沿着直线朝向图像下方那一段的长度，公式(3)中值越大表明直线段上像素点的梯度方向和所在直线的方向越一致；
(11)一般道路图像中道路标识线或车辆轨迹都是从远处的消失点朝向图像下方的，而不会朝向图像上方，所以图像中直线方向的范围应该是[0°,180°)，其中180°方向直线和0°方向直线同属水平线，垂直向下的直线应该是90°，现在考虑每两条朝向图像下方相交直线所包裹区域内部纹理色彩之间的差异性：
直线li和直线lj相交于s点，其中和分别表示直线li和直线lj从交点s开始沿着各自直线朝向图像下方的那一段，相交直线之间的图像区域被通过交点s，并均分直线li和直线lj之间夹角的中分线分成两个部分：Ω1和Ω2，公式(4)就是用来计算这两部分之间的纹理色彩的差异性，#(Ω1)和#(Ω2)表示分别落在Ω1和Ω2区域内的像素点个数，而p1和p2分别表示落在Ω1和Ω2内的像素点，c(p1)和c(p2)表示这些点上的色彩，符号|| ||表示计算区域Ω1和Ω2之间色彩平均差异的范数；
(12)依照公式(3)和(4)，构造相交于s点直线段和的能量函数：
检查每两条相交直线的能量函数，具有最小能量直线对的交点就是检测到的道路消失点；
(13)上述用于检测道路消失点的两条相交直线会把图像分割成初始道路区域(夹于这两条相交直线之间的区域)和初始非道路区域(图像中除去初始道路区域的其余部分)；
(14)针对初始道路区域，计算位于这个区域内像素点色彩的样本平均向量值μ(包括RGB三个数值)和色彩的样本协方差矩阵Σ，得到位于这个区域内像素点色彩分布的高斯模型，图像中像素点属于道路区域的概率可以通过下式计算得到：
其中x表示图像中某个像素点的色彩值，|Σ|表示求色彩协方差矩阵Σ的行列式，ΨR表示属于道路的标记，p(x|ΨR)表示该像素点属于道路区域的似然度；在另一种实施方式中，可以先将图像的色彩空间从RGB转换到Lab色彩空间，并采用一个滑动窗口计算每个像素点的邻域纹理特征值，然后针对初始道路区域，计算位于该区域内像素点视觉特征的平均值(包括Lab三个数值和纹理数值)，以及视觉特征的协方差矩阵Σ，这时计算每个像素点属于道路区域概率的公式(6)中x和μ都将是一个4维矢量，而Σ将是一个4乘4矩阵，常系数将变为(2π)-2；在另一种实施方式中，公式(6)中的视觉特征向量可以采用7维向量，即每个像素点包含RGB三个色彩数值、Lab色彩空间的三个数值、以及一个纹理特征(SILTP)数值。这样x和μ都将是一个7维矢量，而Σ将是一个7乘7矩阵，常系数将变为
(15)针对初始非道路区域，位于这个区域的所有像素点被初始标记为非道路，这些像素点组成一个样本集ΨN＝{y1 y2 … ym}，其中yi表示像素点的色彩值(包括RGB三个数值，1≤i≤m，m表示位于初始非道路区域像素点的总数)，图像中像素点属于非道路区域的概率可以通过核密度估计算子得到：
其中H是一个对称正定矩阵，是一个对称、紧致、期望值为零、协方差矩阵为单位矩阵的核分布函数，其带宽(或方差)值可采用自适应选择的方法获得，ΨN表示属于非道路的标记，p(x|ΨN)表示这个像素点属于非道路区域的似然度；在另一种实施方式中，可以先将图像的色彩空间从RGB转换到Lab色彩空间，并采用一个滑动窗口计算每个像素点的邻域纹理特征值，针对初始非道路区域，位于这个区域的所有像素点组成一个样本集ΨN＝{y1 y2 … ym}，其中yi表示像素点的视觉特征(包括Lab三个数值和纹理特征值)并采用核密度估算的方法，根据每个像素点的视觉特征(包括Lab三个数值和纹理数值)，依据公式(7)计算每个像素点属于非道路区域的概率；与步骤(14)类似，在对初始非道路区域部分的计算中，每个像素点也可以包含RGB三个色彩数值、Lab色彩空间的三个数值、以及一个纹理特征(SILTP)数值，并且考虑到周围像素之间的依赖性，还加入空间位置信息，即每个像素点的坐标(x,y)，这种基于视觉特征和空间位置信息的联合非参数模型能避免孤立考虑每个像素点，而是把每个像素的邻域也考虑进来；
针对初始非道路区域，初始检测出的道路图像并不能保证与真正的道路区域完全吻合，为了增强道路模型相对极端情况的鲁棒性(Robustness)，非道路区域的模型可以基于非参数分布模型，也可在非参数分布模型的基础上增加一个均匀分布模型。该均匀分布模型可以独立于评估像素的位置以及视觉特征值。
基于非参数分布模型和均匀分布模型的公式如下：
其中，α是混合权重，α<<1，γ是一个服从均匀分布的随机变量。
(16)设置一个阈值τ0，采用一个简单的似然度比例分类器将图像中像素点分为属于道路和属于非道路两种标记：
t＝ln(p(x|ΨR))-ln(p(x|ΨN)) (9)
由于一般似然度采用对数方式，公式(9)中ln表示取自然对数，如果公式(9)计算出来的值t大于设置的阈值τ0，则判定当前像素点属于道路区域，反之则属于非道路区域。
(17)确定道路图像中的天际线(或称为地平线)，修正天际线之上的道路区域的像素点。因为道路一般是低于天际线的，所以通过确定天际线的位置，可以修正位于天际线之上被错误标记为道路像素的像素点。天际线的高度可以通过检测由一假定天际线隔开的输入图像的两个区域之间的组间非相似度(interclass dissimilarity)的最大值来进行估算。
天际线的检测可以基于颜色等图像特征作为特征空间来进行。此外，为了加快检测速度，输入图像可以通过采样进行尺寸压缩。图像压缩的方法也可以是先通过一个低通滤波器，然后进行采样。
检测天际线时，对图像中每一行像素计算其之上部分与之下部分的组间非相似度，计算公式如下：
其中，是上部分的HSV色彩空间的均值向量,是下部分的HSV色彩空间的均值向量,是HSV上部分的三个元素的方差，是HSV下部分的三个元素的方差。计算结果中最大的组间非相似度所在的行即为确定的天际线。由于计算天际线是在一个相对小的尺寸的图像上进行的，最后还需要将天际线位置通过插值方法还原到原始输入图像中。
如前所述，上述方法中基于道路消失点来划分成初始道路区域和初始非道路区域步骤也可以用三角形初始道路区域或半圆形初始道路区域预估法等其他方法代替。
本发明另一方面还提供了一种基于图像检测道路的系统，该系统包括接收道路图像输入的设备；基于图像中每个像素点属于道路区域或非道路区域的似然度预判该像素点属于道路区域或者非道路区域的设备；确定所述道路图像中的天际线的设备；根据图像中每个像素点与所述天际线的相对位置关系而对该像素点属于道路区域或者非道路区域的预判进行修正的设备。其中对图像中每个像素点属于道路区域或非道路区域进行预判的设备还可以包括：把图像分割成初始道路区域和初始非道路区域的设备，确定图像中每个像素点属于道路区域的似然度和属于非道路区域的似然度的设备，及将每个像素点属于道路区域的似然度和属于非道路区域的似然度的比值与一阈值比较以确定该像素点是否属于道路区域的设备。
本发明另一方面还提供了一种基于图像检测道路的装置，该装置包括一存储设备及一处理器。所述处理器可以用于执行如下操作：输入道路图像；基于图像中每个像素点属于道路区域或非道路区域的似然度预判该像素点属于道路区域或者非道路区域；确定所述道路图像中的天际线；根据图像中每个像素点与所述天际线的相对位置关系修正对于该像素点属于道路区域或者非道路区域的预判。
本发明还提供了一种车辆或其他可移动设备的导航装置，该导航装置包括上述基于图像检测道路的装置。
本发明还提供了一种计算机可读存储设备，该计算机可读存储设备包括计算机代码，该代码在一计算机上运行时可导致该计算机执行如下操作：输入道路图像；基于图像中每个像素点属于道路区域或非道路区域的似然度预判该像素点属于道路区域或者非道路区域；确定所述道路图像中的天际线；根据图像中每个像素点与所述天际线的相对位置关系修正对于该像素点属于道路区域或者非道路区域的预判。
本发明的上述技术方案不需要任何有关道路的先验知识，也不需要采用任何机器学习方法，是一种自底向上从单幅图像就能检测出道路的全自动方法。虽然本申请中着重介绍了依赖于直线段来检测道路消失点，基于初始道路分割结果，通过视觉特征统计分析能修正初始分割的道路区域的技术，本方法也可采用其他适当的初始道路分割的技术从而适用于面向弯曲度很大的道路图像。而且本方法还能检测出位于道路中障碍物，方法的计算复杂度低，速度快，具有推广应用到实时系统的前景。
附图说明
图1A及1B是本发明的流程图；
图2A及2B基于部分图像说明了本发明道路检测结果的示意图；
图3A及3B是本发明中确定初始道路区域及初始非道路区域的方法的示意图；
图4是实施本发明道路检测方法的装置的示意图；
图5是本发明道路检测方法的一种应用系统的示意图。
具体实施方式
图1A是本发明方法的一个流程图。如图所示，本方法的操作可通过下列步骤来完成。输入一幅道路图像；对道路图像进行边缘检测；确定符合长度要求和像素点梯度方向一致性条件的图像边缘；对所确定的图像边缘进行直线拟合；检查各相交直线对的能量，例如通过下述步骤(10)、(11)和(12)中的方法；确定能量最小的两条直线的交点即为道路的消失点；然后确定两条相交直线之间和之外的区域为初始道路和非道路区域；分别为上述初始道路区域和初始非道路区域建立统计分析模型；再针对每个像素点的特征，计算其属于道路的似然度及属于非道路的似然度；确定其属于道路的似然度和属于非道路的似然度的一个比值，并将此比值与一预设阈值进行比较；如果此比值大于该预设阈值，则判定当前像素点属于道路区域，反之则属于非道路区域。
根据本发明的一个较佳实施例，具体道路检测的操作可以通过下述步骤来实施。
(1)输入一幅道路图像。
(2)设置长度阈值T1，一般初始值为输入图像对角线长度的三分之一，设置公式(3)中检查方向一致性角度偏差阈值T2为3°，设置用于直线拟合的图像边缘的数目为N1，通常为10条左右；设置长度阈值每次减少的数值T3，通常为5个像素点；以及满足方向一致性要求的图像边缘数目N2，一般为5条。
(3)采用一维平滑滤波算子[0.037659 0.249153 0.426375 0.2491530.037659]和一维差分滤波算子[0.109604 0.276691 0.000000 ‐0.276691‐0.109604]分别作用于图像的行和列，得到图像水平方向的差分数值；然后将上述一维平滑滤波算子和一维差分滤波算子再分别作用于图像的列和行，得到图像垂直方向的差分数值；由此计算图像中每个像素点的梯度方向和幅度，然后采用Canny图像边缘检测算子检测图像中的边缘点。
(4)采用光栅扫描方式和八连通方法去除图像中孤立的边缘点，连接边缘点，得到图像边缘，即如果一个像素点的八个邻近像素点有一个像素点已经被判定为边缘点，这连接这两个边缘点，反之则作为孤立的边缘点，后续步骤不予考虑。
(5)检查前一步骤(4)得到的所有图像边缘的长度是否满足步骤(2)事先设置好的长度阈值T1，如果在当前长度阈值T1下，能收集到的用于直线拟合N1条符合长度要求的图像边缘，则跳转到下一步骤(6)，反之则逐渐减少长度阈值T1，每次从当前长度阈值T1减少T3，直到能收集到N1条符合长度要求的图像边缘。
(6)针对得到的N1条满足长度要求的图像边缘，计算每条满足长度要求的图像边缘上像素点梯度方向一致性的测度值：
其中pk和pk+1是位于第i条满足长度要求图像边缘上的两个相邻像素点，和分别是这两个像素点上的梯度方向，符号| |表示求绝对值，Ci就是第i条满足长度要求的图像边缘上像素点梯度方向一致性的测度值，这个测度值越小表明边缘上像素点梯度方向一致性越好。
(7)依据公式(1)，将N1条满足长度要求的图像边缘按照各自计算出来的像素点梯度方向一致性的测度值从小到大进行排列，然后从小到大选择N2条方向一致性较好的图像边缘，即它们的方向一致性测度值C比较小。
(8)针对从步骤(7)得到的每一条满足长度和方向一致性要求的图像边缘，假设第i条满足长度和方向一致性要求图像边缘上共有ni个点，这些点构成如下齐次坐标矩阵Ai：
其中公式(2)中x和y表示位于第i条满足长度和方向一致性要求图像边缘上像素点的空间坐标，上标i表示满足长度和方向一致性要求图像边缘的序号，而下标则表示位于该图像边缘上像素点的序号，范围从1到ni，然后采用奇异值分解方法分解这些得到的矩阵Ai，这些矩阵的个数等同于满足长度和方向一致性要求的图像边缘的数目N2，矩阵Ai最小奇异值所对应的单位奇异矢量就是满足长度和方向一致性要求第i条图像边缘拟合的直线参数矢量[ai bi ci]，该直线方程为aix+biy+ci＝0，换句话说是采用最小二乘方法得到这些图像边缘拟合的直线。
(9)根据所得到直线的参数，计算这些直线之间的交点，假设第i条和第j条图像边缘拟合得到的直线参数矢量分别为[ai bi ci]和[aj bj cj]，通过直线参数矢量叉积得到第i条和第j条图像边缘拟合直线的交点。
(10)针对每两条相交的直线，从它们的交点开始沿着这两条直线往图像下方方向检查这两条直线上每个像素点的梯度方向与所在直线方向之间的差异：
s表示直线li和直线lj的交点，其中表示直线li从交点s开始沿着直线朝向图像下方的那一段，pk表示位于线段上的一个像素点，而表示该像素点上的梯度方向，θ(li)表示直线li的方向(即)，T2就是步骤(2)中设置的角度偏差阈值，#是一个计数器，计算位于上有多少个像素点的梯度方向和直线方向θ(li)之间绝对值差异小于角度偏差阈值T2，表示直线li从交点s开始沿着直线朝向图像下方那一段的长度，公式(3)中值越大表明直线段上像素点的梯度方向和所在直线的方向越一致。
(11)一般道路图像中道路标识线或车辆轨迹都是从远处的消失点朝向图像下方的，而不会朝向图像上方，所以图像中直线方向的范围应该是[0°,180°)，其中180°方向直线和0°方向直线同属水平线，垂直向下的直线应该是90°，现在考虑每两条朝向图像下方相交直线所包裹区域内部纹理色彩之间的差异性：
直线li和直线lj相交于s点，其中和分别表示直线li和直线lj从交点s开始沿着各自直线朝向图像下方的那一段，相交直线之间的图像区域被通过交点s，并均分直线li和直线lj之间夹角的中分线分成两个部分：Ω1和Ω2，公式(4)就是用来计算这两部分之间的纹理色彩的差异性，#(Ω1)和#(Ω2)表示分别落在Ω1和Ω2区域内的像素点个数，而p1和p2分别表示落在Ω1和Ω2内的像素点，c(p1)和c(p2)表示这些像素点上的色彩，符号|| ||则表示计算区域Ω1和Ω2之间色彩平均差异的范数。
(12)依照公式(3)和(4)，构造相交于s点直线段和的能量函数：
检查每两条相交直线的能量函数，具有最小能量直线对的交点就是检测到的道路消失点。
(13)上述用于检测道路消失点的两条相交直线会把图像分割成初始道路区域(从道路消失点开始通向图像下方的两条线段所包裹的区域)和初始非道路区域(图像中除去初始道路区域的其余部分)。
(14)针对初始道路区域，计算位于这个区域内像素点色彩的平均值μ(包括RGB三个数值)和色彩的协方差矩阵Σ，得到位于这个区域内像素点色彩的高斯分布模型，图像中像素点属于道路区域的似然度可以通过下式计算得到：
其中x表示某个像素点的色彩值，|Σ|表示求色彩协方差矩阵Σ的行列式，ΨR表示属于道路的标记，p(x|ΨR)表示该像素点属于道路区域的似然度。
在另一种实施方式中，可以先将图像的色彩空间从RGB转换到Lab色彩空间，并采用一个滑动窗口计算每个像素点的邻域纹理特征值(计算纹理特征值可以依据发表于IEEECVPR2010国际会议上论文S.Liao,etal.,“Modeling pixel process with scale invariant local patterns for backgroundsubtraction in complex scenes”上描述的尺度不变的局部三元模版SILTP(Scale Invariant Local Ternary Pattern)，由于每个像素点的SILTP是根据一个邻域计算得到一串二进制数，按照一定空间顺序可以转换成一个十进制数值，因而每个像素点的纹理特征可以用一个十进制数值表示)。然后针对初始道路区域，计算位于该区域内像素点视觉特征的平均值(包括Lab三个数值和纹理数值)，以及视觉特征的协方差矩阵Σ，这时计算每个像素点属于道路区域概率的公式(6)中x和μ都将是一个4维矢量，而Σ将是一个4乘4矩阵，常系数将变为(2π)-2。
在另一种实施方式中，公式(6)中的视觉特征向量可以采用7维向量，即每个像素点包含RGB三个色彩数值、Lab色彩空间的三个数值、以及一个纹理特征(SILTP)数值。这样x和μ都将是一个7维矢量，而Σ将是一个7乘7矩阵，常系数将变为
(15)针对初始非道路区域，位于这个区域的所有像素点被初始标记为非道路，这些像素点组成一个样本集ΨN＝{y1 y2 … ym}，其中yi表示像素点的色彩值(包括RGB三个数值，1≤i≤m，m是位于初始非道路区域的像素点总数)，一种最简单的方法构造非道路区域的非参数色彩分布模型就是计算非道路区域色彩直方图，然后查看像素点色彩在直方图中出现的频率作为该像素点属于非道路区域的似然度p(x|ΨN)。
其中H是一个对称正定矩阵，是一个对称、紧致、期望值为零、协方差矩阵为单位矩阵的核分布函数，其带宽(或方差)值可采用自适应选择的方法获得，ΨN表示属于非道路的标记，p(x|ΨN)表示这个像素点属于非道路区域的似然度。
在另一种实施方式中，可以先将图像的色彩空间从RGB转换到Lab色彩空间，并采用一个滑动窗口计算每个像素点的邻域纹理特征值，针对初始非道路区域，位于这个区域的所有像素点组成一个样本集ΨN＝{y1 y2 … ym}，其中yi表示像素点的视觉特征(包括Lab三个数值和纹理特征值)并采用核密度估算的方法，根据每个像素点的视觉特征(包括Lab三个数值和纹理数值)，构造非道路区域的非参数视觉特征分布模型，可以采用高斯核函数估计方法，计算每个像素点属于非道路区域的概率。另外在高斯核函数估计方法中，可以采用自适应选择每个像素点核函数的方差值，如给出一组核函数的方差值，在每个像素点上根据最大似然准则选择最优的方差值。
与步骤(14)类似，在对初始非道路区域部分的计算中，每个像素点也可以包含RGB三个色彩数值、Lab色彩空间的三个数值、以及一个纹理特征(SILTP)数值，并且考虑到周围像素之间的依赖性，还加入空间位置信息，即每个像素点的坐标(x,y)，这种基于视觉特征和空间位置信息的联合非参数模型能避免孤立考虑每个像素点，而是把每个像素的邻域也考虑进来。
针对初始非道路区域，初始检测出的道路图像并不能保证与真正的道路区域完全吻合，为了增强道路模型相对极端情况的鲁棒性(Robustness)，非道路区域的模型可以基于非参数分布模型，也可在非参数分布模型的基础上增加一个均匀分布模型。该均匀分布模型可以独立于评估像素的位置以及视觉特征值。
基于非参数分布模型和均匀分布模型的公式如下：
其中，α是混合权重，α<<1，γ是一个服从均匀分布的随机变量。
(16)设置一个阈值τ0＝0.5，采用一个简单的似然度比例分类器将图像中像素点分为属于道路和属于非道路两种标记：
t＝ln(p(x|ΨR))-ln(p(x|ΨN)) (9)
由于一般似然度采用对数方式，公式(9)中ln表示取自然对数，如果公式(9)计算出来的t值大于设置的阈值0.5，则判定当前像素点属于道路区域，反之则属于非道路区域。
(17)为了提高本方法对道路图像中道路区域检测的准确性，本发明还采用了如图1B所示的对道路区域预判定的校正方法。根据图1B所示，本发明首先确定道路图像中的天际线(或称为地平线)，进而修正位于天际线之上的道路像素。因为道路一般是低于天际线的，所以通过确定天际线的位置，可以修正位于天际线之上被错误标记为道路像素的像素点。
而天际线位置的确定，可以采用如下方法。首先，基于颜色、纹理、灰度等图像特征预估天际线所在的位置，预估的天际线将输入道路图像分隔成第一区域及第二区域；然后计算第一及第二区域之间的组间非相似度；将预估的天际线上下移动，会得出变化的组间非相似度，而通过确定组间非相似度的最大值，可以确定天际线的较准确的高度。
如前所述，天际线的检测可以基于颜色、纹理、灰度等图像特征进行，较佳的方式是使用颜色等特征作为特征空间来进行检测。此外，为了加快检测速度，输入图像可以通过采样进行压缩。图像压缩的方法也可以是先通过一个低通滤波器，然后进行采样。
校正预估的天际线时，对图像中每一行像素计算其之上部分与之下部分的组间非相似度，可采用如下计算公式：
其中，是上部分的HSV色彩空间的均值向量。是下部分的HSV色彩空间的均值向量。是HSV上部分的三个元素的方差，是HSV下部分的三个元素的方差。计算结果中最大的组间非相似度所在的行即为确定的天际线。
上述为本发明的一种较佳的具体实施方式。本领域的技术人员可以理解，为实现本发明的目的，并非上述所有步骤都是必须的，并且多个步骤间的顺序也可以灵活互换。例如，图像边缘长度的检测及根据长度和像素点梯度方向的一致性等对图像边缘的选择并非必要步骤。而各个步骤中的具体计算方法及参数的选择也并非必须严格按照上述实施例中所述的方式来进行。例如图像中孤立的边缘点的去处并非必须采用光栅扫描方式和八连通方法，也可以采用其他常规判断方法；相交直线对的能量并非必须基于相关区域内色彩之间的差异性来确定，也可以基于其他视觉特征，如灰度、纹理等，来计算。又例如公式(3)中检查方向一致性角度偏差阈值T2不一定设为3°，也可以采用2°、4°等值；设置用于直线拟合的图像边缘的数目为N1也不一定要选择为10，也可以选择15、20等数值；长度阈值每次减少的数值T3也可以自由选择，而不是必须为5个像素点；满足方向一致性要求的图像边缘数目N2可以设置为5之外的条数。
通过对从互联网上下载了上千幅道路图像用本发明的方法进行处理，并手工标注每幅图像中的道路区域，测定了本方法进行道路检测的准确率，检出率和有效道路标识率等技术指标。这些图像中道路状况差别很大，有明显路面标识的城市道路、只有车辆轨迹的沙漠和雪地道路、高速公路、道路周围光照很暗的道路或夜间道路等。将本发明采用天际线进行像素校正之前方法部分的技术指标和Kong等人发表的论文中提出的方法的对应技术指标做一比较，可发现本发明的方法在道路检测的准确率和有效道路标识率上都有所提高，结果如表1所示。
表1.三种方法检测结果的定量比较
图2A基于上述上千幅道路图像中的部分图像示意性地说明了上述测定方法及结果。从左到右，位于第一列的图像是输入图像。第二列是对应输入图像的手工标注的道路区域。第三列是根据Kong等人论文中所介绍方法检测出的道路，其中深色点是根据该方法得到的初始消失点，浅色点是根据该方法修正后的消失点，而两条线段分别表示检测出道路的两条边界。第四列是根据本发明的方法检测到的消失点，其中中间线段是用于计算两条相交直线所包裹区域中被中间角度线分开的两子部分纹理色彩的差异，是构造每两条相交直线能量函数的一部份。图中外侧线段就是具有最小能量值的两条相交直线，所以位于这外侧两条线段之间的区域就是检测到的初始道路区域，图像中其它部分则为非道路区域；根据初始道路区域和初始非道路区域，分别采用高斯统计分布模型和非参数统计分布模型来为道路区域和非道路区域建立统计模型，不需要借助任何外界的知识。最右边列是道路检测结果。
如前所述，对于特定类型的道路图像，基于消失点的检测方法可能不能准确地检测到初始道路区域。例如对于丁字型道路的图像，或者车辆正左转弯或右转弯等情况下拍摄到的道路图像中，可能是无法检测到道路消失点的。在此类情况下，则不再适用基于消失点的检测方法，而使用下述图3A和3B所示的初始道路区域确定方法或者其他相当的方法替代。
而通过对若干道路图像数据库内的道路图像分析比较，可以看出本发明采用基于天际线进行道路区域内像素点校正方法之后，其道路检测准确度及精确度相比现有方法而言都有了显著提升。实际测试的道路图像数据库包括Sowerby数据库(包含104幅英国乡村道路图象)、CamVid数据库(包含超过700幅汽车行驶中拍摄的道路图象)及KITTI数据库(包括无标识的城市道路UU、带标识的城市道路UM和带标识的多车道城市道路UMM，实际测试其中289幅道路图像)。表2列出了本发明的方法与三种已知方法对三个图像数据库的道路图象测试结果。表中数值为三种方法测试得出的有效道路结果指数，其中括号内的分母数字表示所检测的图像总数，而分子数字表示TIP'2010方法能够检测图道路的图像数。
表2.本发明与三种已知方法检测结果的定量比较
另外，相比已知的基于图像的道路检测技术而言，本发明的方法还可以更加精确的检测出道路中的特征，例如车道分界等。图2B显示了本发明方法与几种已知的道路检测方法对道路中特征识别能力的对比。前例参照图1所述的检测方法实施例中步骤1至13描述了用于确定输入图像中初始道路区域及初始非道路区域的一种方法，步骤14至16描述了一种修正初始道路区域的估算的方法，步骤17是基于一确定的天际线来对图像中判定处于道路区域的像素点进行校正的方法。初始道路区域及初始非道路区域并非必须要用图1中所示方法来确定。在另一实施例中，初始道路区域及初始非道路区域可以基础粗略估计来确定。例如，如图3A所示，可以将输入图像的中点，以及图像左下边界点和图像右下边界点构成的三角阴影区域作为初始道路区域的估计，而图像中除了三角区域外的其它区域则作为初始非道路区域的估计。图3B显示了另外一种确定初始道路区域的方法，该方法以图像基线中点为圆心，确定一位于图像内部的半圆区域作为初始道路区域的估计，而图像中除了半圆区域外的其它区域则作为初始非道路区域的估计。
实验结果显示，对于特定种类的道路图像，例如非结构道路图像(也就是图像中没有明确的道路边界，和道路标识线的情况)，采用这样粗糙初始分割结果，道路检测结果可能优于基于消失点的检测效果，具体请参见表1。
相对已知的基于图像检测道路的方法，本发明计算方法简便，道路检测速度有了大幅提高。另外，采用初始道路区域预估的方法可以省却先要估计道路边界线的计算部分，加快检测速度。而在道路检测的计算之前对输入图像进行如前所述的压缩，可进一步加快道路检测速度。表3显示了本发明的方法与三种已知道路检测方法的检测速度对比。
表3.本发明与三种已知方法检测速度的比较
| TIP'2010[7] | ITS'2011[13] | PFSS‘2006[10] | 本发明方法 | |
| Sowerby(64 96) | 4～5s/帧 | ～0.25s/帧 | ～3s/帧 | ～0.1s/帧 |
| CamVid[28](240 320) | 9～10m/帧 | ～8s/帧 | ～45s/帧 | ～2s/帧 |
| KITTI[29](375 1242) | 9～10m/帧* | 165s/帧 | 4～5m/帧 | ～9s/帧 |
前述方法可应用于基于静态图像的道路检测，亦可应用于基于动态图像或视频上的道路检测。在应用于基于动态图像或视频上的道路检测时，该方法包括结合动态图像或视频序列前后帧之间的时域相关性，进一步采用滤波方法，如卡尔曼滤波方法，实现动态图像序列的道路检测。
前述针对视频序列，第一帧可以采用上述简单的方法来估计道路区域，由于视频前后帧之间存在很大的时域相关性，后续帧可以以前一帧的检测结果作为初始道路区域的估计，然后采用所提出的似然度比例分类器就能修正道路区域，达到随时间变化的修正结果。
图4显示了执行本发明方法的一种装置。该装置包括一图像/视频采集设备，该设备可以采用数码照相/摄像机，或其他类似设备，以获取道路图像和/或视频。该图像/视频采集设备通过一接收设备与一处理器相连。该接收设备可通过有线或无线数据传输接收来自于图像/视频采集设备的图像和/或视频，并将其传输处理器。该接收设备还可以接收命令，如用户指令，来控制或调整图像道路检测方法的执行。处理器可接收来自图像/视频采集设备的图像和/或视频，并在相关指令的控制下执行前述道路检测方法。检测完后，处理器可以基于检测结果发出操作指令，如控制车辆运行或机器人行走的指令。或者处理器仅将检测结果发送到运动控制系统，如一车辆自动/辅助驾驶系统或机器人行走控制系统，由该运动控制系统基于检测结果进行运动的控制。图像道路检测结果和/或输入图像可以通过一连接于处理器的显示设备进行显示。
图5是本发明道路检测方法的一种应用装置的示意图。本方法可用来自动检测行驶车辆所在的道路。图示装置中包括一个车载摄像设备，该车载摄像设备可安装在车辆前挡风玻璃上或附近位置，并可对车辆前方道路进行摄像。拍摄到的图像可以通过有线或无线连接发送至车载处理和存储设备，并可显示在车载显示器上。车载处理设备，可以使用本方法基于所收到的图像进行道路识别，并根据道路识别结果向车辆控制设备发出控制指令。
上述车载摄像设备可以安装在车辆前方，也可以安装在车辆后方或其他位置，以对倒车或其他驾驶操作提供指导或控制。该车载摄像设备可以具有一些特殊摄像功能，比如夜视功能，以使本发明的装置在采光条件较差的环境中对驾驶操作提供指导或控制。
本发明的方法也可以用于车辆自动驾驶之外的其他任意无轨道运动或驾驶的环境中。例如，本方法可以应用于可行走机器人的道路识别，玩具车辆自动行驶中道路的识别等等。
本申请中所用的“道路”，并不仅限于载人车辆所行驶的道路，还包括其他类型的通道，比如超市中货架之间的通道，房间内可供玩具车行驶的具有边界的区域等等。
参照附图所介绍的实施例涉及使用处理器执行计算机程序所定义的流程。所以本发明可扩展到可实施本发明的计算机程序，尤其是附着于一种载体的计算机程序。
这种计算机程序可以是源代码、目标代码或者是介于源代码和目标代码之间的一种代码，例如部分汇编的代码，或者其他任何适用于实施本发明所定义流程的代码。
前述载体可以是任何可以存储程序的载体。例如此载体可以包含存储介质，包括只读存储器，例如只读光盘或半导体只读存储器，或磁性存储介质，如软盘或硬盘，或光存储介质。更进一步，此介质可以是非实体的介质，例如可通过电缆或光缆或其他方式传输的电信号或者是光信号。此介质可以是用于刻写所述计算机程序的集成电路，该集成电路被制成用于运行前述相关流程。本发明可以通过软件来实现，也可以通过硬件设备或软件与硬件的结合来实现。
Claims (27)
1.一种基于图像检测道路的方法，其特征在于该方法包括下列步骤：
输入道路图像；
基于图像中每个像素点属于道路区域或非道路区域的似然度预判该像素点属于道路区域或者非道路区域；
根据所述输入道路图像的一视觉特征修正对每个像素点属于道路区域或者非道路区域的预判。
2.根据权利要求1所述的基于图像检测道路的方法，其中所述的视觉特征为所述道路图像中的天际线，所述修正包括：
确定所述道路图像中的天际线；
根据图像中每个像素点与所述天际线的相对位置关系修正对于该像素点属于道路区域或者非道路区域的预判。
3.根据权利要求1或2所述的基于图像检测道路的方法，其特征在于其中所述的对图像中每个像素点属于道路区域或非道路区域的似然度的预判包括：
将所输入道路图像分割成初始道路区域和初始非道路区域；
确定图像中每个像素点属于道路区域的似然度和属于非道路区域的似然度；
将每个像素点属于道路区域的似然度和属于非道路区域的似然度的比值与一阈值比较以预判该像素点是否属于道路区域。
4.根据权利要求2或3所述的基于图像检测道路的方法，其特征在于其中所述的检测所述道路图像中的天际线的步骤包括：
基于图像特征预估一天际线，该预估天际线将所述道路图像分成第一区域及第二区域；
校正所预估的天际线的高度，以使得所述第一区域及第二区域的组间非相似度最大化。
5.根据权利要求4所述的基于图像检测道路的方法，其特征在于该方法包括基于图像的色彩特征预估所述天际线。
6.根据前述任一权利要求所述的基于图像检测道路的方法，其特征在于在对每个像素点属于道路区域或者非道路区域预判之前，对所述输入道路图像进行压缩。
7.根据权利要求6所述的基于图像检测道路的方法，其特征在于其中所述图像压缩通过先低通滤波然后采样的方式进行。
8.根据前述任一权利要求所述的基于图像检测道路的方法，其特征在于所述将输入道路图像分割成初始道路区域和初始非道路区域包括：
将图像左下边界点、右下边界点及图像中点两两连接构成一三角区域，并确定此三角区域为初始道路区域；及
将图像中上述三角区域以外的区域确定为初始非道路区域。
9.根据权利要求1‐7中任一权利要求所述的基于图像检测道路的方法，其特征在于所述将输入道路图像分割成初始道路区域和初始非道路区域包括：
确定道路图像中像素点的梯度方向和边缘点；
连接边缘点以得到图像边缘；
确定所得到的图像边缘中符合预定要求的图像边缘；
针对上述符合预定要求的图像边缘得到这些图像边缘拟合的直线；
确定所得到直线之间的交点；
构造相交于各交点的直线对的能量函数并根据各直线对能量确定一直线对的交点为检测到的道路消失点；及
由上述确定道路消失点的两条直线把图像分割成所述初始道路区域及所述初始非道路区域。
10.根据前述任一权利要求所述的基于图像检测道路的方法，其特征在于所述确定图像中每个像素点属于道路区域的似然度和属于非道路区域的似然度包括：
确定初始道路区域内像素点的特定视觉特征的统计分布模型，并根据该统计分布模型和像素点上特定视觉特征计算图像中每个像素点属于道路区域的似然度；及
确定初始非道路区域内像素点的特定视觉特征的统计分布模型，并根据该统计分布模型和像素点上特定视觉特征确定图像中每个像素点属于非道路区域的似然度。
11.根据权利要求10所述的基于图像检测道路的方法，其特征在于所述特定视觉特征包括色彩特征。
12.根据权利要求10所述的基于图像检测道路的方法，其特征在于所述特定视觉特征还包括纹理特征。
13.根据权利要求11或12所述的基于图像检测道路的方法，其特征在于：
所述初始道路区域内像素点的色彩特征和/或纹理特征的统计分布模型为高斯分布模型；及
所述初始非道路区域内像素点的色彩特征和/或纹理特征的统计分布模型为非参数统计分布模型。
14.根据权利要求11或12所述的基于图像检测道路的方法，其特征在于所述初始非道路区域内像素点的色彩特征和/或纹理特征的统计分布模型为非参数统计分布模型加均匀分布模型。
15.根据权利要求14所述的基于图像检测道路的方法，其特征在于所述均匀分布模型独立于评估像素的位置。
16.根据权利要求14所述的基于图像检测道路的方法，其特征在于所述均匀分布模型独立于视觉特征值。
17.根据权利要求9至16中任一权利要求所述的基于图像检测道路的方法，其特征在于所述连接边缘点以得到图像边缘包括：
采用光栅扫描方式和八连通方法去除图像中孤立的边缘点，连接剩余边缘点以得到图像边缘。
18.根据权利要求9至17中任一权利要求所述的基于图像检测道路的方法，其特征在于所述确定所得到的图像边缘中符合预定要求的图像边缘包括：
根据一预设长度阈值检测连接边缘点所得到的图像边缘是否符合预定长度要求；及
如所得到的符合预定长度要求的图像边缘数量少于一预设数量，按一预定递减值逐次减小长度阈值，直至收集到预定数量的符合预定长度要求的图像边缘。
19.根据权利要求18所述的基于图像检测道路的方法，其特征在于所述确定所得到的图像边缘中符合预定要求的图像边缘包括：
计算每条满足长度要求的图像边缘上像素点梯度方向一致性的测度值；及
依据所得测度值从满足长度要求的图像边缘中选择预定数量的像素点梯度方向一致性较好的图像边缘。
20.根据权利要求9‐19中任一权利要求所述的基于图像检测道路的方法，其特征在于所述针对符合预定要求的图像边缘得到图像边缘拟合的直线包括采用最小二乘方法得到这些图像边缘拟合的直线。
21.根据权利要求9‐20中任一权利要求所述的基于图像检测道路的方法，其特征在于所述构造相交于各交点的直线对的能量函数包括：
针对每两条相交的直线，从其的交点开始沿着这两条直线往图像底部方向确定这两条直线上每个像素点的梯度方向与所在直线方向之间的差异；
确定每两条朝向图像底部的相交直线所包裹的区域内部纹理及色彩之间的差异性；及
根据上述两条相交直线上每个像素点的梯度方向与所在直线方向之间的差异及上述两条相交直线所包裹的区域内部纹理及色彩之间的差异性构造相交于各交点直线对的能量函数。
22.根据前述任一权利要求所述的基于图像检测道路的方法，其特征在于所述输入图像为动态图像，该方法包括结合动态图像序列前后帧之间的时域相关性，进一步采用滤波方法实现动态图像序列的道路检测。
23.根据权利要求22所述的基于图像检测道路的方法，其特征在于后续帧图像中初始道路区域及初始非道路区域以相邻前一帧的图像检测结果作为基础确定。
24.一种基于图像检测道路的装置，其特征在于该装置包括：
将图像分割成初始道路区域和初始非道路区域的设备；
基于图像中每个像素点属于道路区域或非道路区域的似然度预判该像素点属于道路区域或者非道路区域的设备；确定道路图像中的天际线的设备；及
根据图像中每个像素点与所述天际线的相对位置关系修正对于该像素点属于道路区域或者非道路区域的预判。
25.一种基于图像检测道路的装置，其特征在于该装置包括：
一存储设备；及
一处理器，与所述存储设备相连接，用于执行权利要求1至23中任一权利要求所述的方法。
26.一种车辆或其他可移动设备的导航装置，其特征在于该导航装置包括根据权利要求24或25所述的基于图像检测道路的装置。
27.一种计算机可读存储设备，其特征在于该计算机可读存储设备包括计算机代码，该代码在一计算机上运行时可导致权利要求1至23中任一权利要求所述方法的执行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510622576.6A CN106558051A (zh) | 2015-09-25 | 2015-09-25 | 一种改进的从单幅图像检测道路的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510622576.6A CN106558051A (zh) | 2015-09-25 | 2015-09-25 | 一种改进的从单幅图像检测道路的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106558051A true CN106558051A (zh) | 2017-04-05 |
Family
ID=58414578
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510622576.6A Pending CN106558051A (zh) | 2015-09-25 | 2015-09-25 | 一种改进的从单幅图像检测道路的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106558051A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108052904A (zh) * | 2017-12-13 | 2018-05-18 | 辽宁工业大学 | 车道线的获取方法及装置 |
| CN108399614A (zh) * | 2018-01-17 | 2018-08-14 | 华南理工大学 | 一种基于无抽样小波与Gumbel分布的织物缺陷检测方法 |
| CN108427935A (zh) * | 2018-03-28 | 2018-08-21 | 天津市测绘院 | 街景比对图像的生成方法和装置 |
| CN108510740A (zh) * | 2018-05-04 | 2018-09-07 | 百度在线网络技术（北京）有限公司 | 误报路况的挖掘方法及装置 |
| CN108960055A (zh) * | 2018-05-30 | 2018-12-07 | 广西大学 | 一种基于局部线段模式特征的车道线检测方法 |
| CN110059629A (zh) * | 2019-04-19 | 2019-07-26 | 北京理工大学 | 一种露天矿山道路的路面区域识别方法及系统 |
| CN110832568A (zh) * | 2017-07-05 | 2020-02-21 | 歌乐株式会社 | 车辆用外界识别装置 |
| CN111223114A (zh) * | 2020-01-09 | 2020-06-02 | 北京达佳互联信息技术有限公司 | 一种图像区域的分割方法、装置及电子设备 |
| CN112417943A (zh) * | 2019-08-21 | 2021-02-26 | 美光科技公司 | 利用算法天际线检测的经改进高级驾驶员辅助系统(adas)操作 |
| CN114820629A (zh) * | 2022-07-01 | 2022-07-29 | 山东意吉希精密制造有限公司 | 一种汽车零部件的焊接识别方法 |
-
2015
- 2015-09-25 CN CN201510622576.6A patent/CN106558051A/zh active Pending
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110832568A (zh) * | 2017-07-05 | 2020-02-21 | 歌乐株式会社 | 车辆用外界识别装置 |
| CN110832568B (zh) * | 2017-07-05 | 2022-03-25 | 歌乐株式会社 | 车辆用外界识别装置 |
| CN108052904A (zh) * | 2017-12-13 | 2018-05-18 | 辽宁工业大学 | 车道线的获取方法及装置 |
| CN108052904B (zh) * | 2017-12-13 | 2021-11-30 | 辽宁工业大学 | 车道线的获取方法及装置 |
| CN108399614A (zh) * | 2018-01-17 | 2018-08-14 | 华南理工大学 | 一种基于无抽样小波与Gumbel分布的织物缺陷检测方法 |
| CN108427935A (zh) * | 2018-03-28 | 2018-08-21 | 天津市测绘院 | 街景比对图像的生成方法和装置 |
| CN108510740A (zh) * | 2018-05-04 | 2018-09-07 | 百度在线网络技术（北京）有限公司 | 误报路况的挖掘方法及装置 |
| CN108960055B (zh) * | 2018-05-30 | 2021-06-08 | 广西大学 | 一种基于局部线段模式特征的车道线检测方法 |
| CN108960055A (zh) * | 2018-05-30 | 2018-12-07 | 广西大学 | 一种基于局部线段模式特征的车道线检测方法 |
| CN110059629A (zh) * | 2019-04-19 | 2019-07-26 | 北京理工大学 | 一种露天矿山道路的路面区域识别方法及系统 |
| CN112417943A (zh) * | 2019-08-21 | 2021-02-26 | 美光科技公司 | 利用算法天际线检测的经改进高级驾驶员辅助系统(adas)操作 |
| CN111223114A (zh) * | 2020-01-09 | 2020-06-02 | 北京达佳互联信息技术有限公司 | 一种图像区域的分割方法、装置及电子设备 |
| CN114820629A (zh) * | 2022-07-01 | 2022-07-29 | 山东意吉希精密制造有限公司 | 一种汽车零部件的焊接识别方法 |
| CN114820629B (zh) * | 2022-07-01 | 2022-09-02 | 山东意吉希精密制造有限公司 | 一种汽车零部件的焊接识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2015010451A1 (zh) | 一种从单幅图像检测道路的方法 | |
| CN106558051A (zh) | 一种改进的从单幅图像检测道路的方法 | |
| Menze et al. | Object scene flow | |
| CN107330376B (zh) | 一种车道线识别方法及系统 | |
| Yenikaya et al. | Keeping the vehicle on the road: A survey on on-road lane detection systems | |
| Zhou et al. | Efficient road detection and tracking for unmanned aerial vehicle | |
| US8487991B2 (en) | Clear path detection using a vanishing point | |
| Tan et al. | Color model-based real-time learning for road following | |
| Wu et al. | Lane-mark extraction for automobiles under complex conditions | |
| CN110232389B (zh) | 一种基于绿色作物特征提取不变性的立体视觉导航方法 | |
| CN108280450B (zh) | 一种基于车道线的高速公路路面检测方法 | |
| US8634593B2 (en) | Pixel-based texture-less clear path detection | |
| US8452053B2 (en) | Pixel-based texture-rich clear path detection | |
| US8890951B2 (en) | Clear path detection with patch smoothing approach | |
| CN108052904B (zh) | 车道线的获取方法及装置 | |
| US20100104137A1 (en) | Clear path detection using patch approach | |
| US20100121577A1 (en) | Three-dimensional lidar-based clear path detection | |
| CN108171695A (zh) | 一种基于图像处理的高速公路路面检测方法 | |
| CN111738033B (zh) | 基于平面分割的车辆行驶信息确定方法及装置、车载终端 | |
| Seo et al. | Detection and tracking of boundary of unmarked roads | |
| JP5531643B2 (ja) | 通路検出方法、装置、及びプログラム | |
| Gupta et al. | Robust lane detection using multiple features | |
| CN111860084B (zh) | 图像特征的匹配、定位方法及装置、定位系统 | |
| Chun-Zhao et al. | Drivable road boundary detection for intelligent vehicles based on stereovision with plane-induced homography | |
| Lee et al. | Vision-based ascending staircase detection with interpretable classification model for stair climbing robots |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170405 |