CN111284490A - 车载双目相机检测前车溜车的方法及车载双目相机 - Google Patents
车载双目相机检测前车溜车的方法及车载双目相机 Download PDFInfo
- Publication number
- CN111284490A CN111284490A CN201811489505.3A CN201811489505A CN111284490A CN 111284490 A CN111284490 A CN 111284490A CN 201811489505 A CN201811489505 A CN 201811489505A CN 111284490 A CN111284490 A CN 111284490A
- Authority
- CN
- China
- Prior art keywords
- line segment
- vehicle
- map
- abscissa
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000010586 diagram Methods 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 abstract description 16
- 238000005096 rolling process Methods 0.000 description 9
- 230000004888 barrier function Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
- B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供一种车载双目相机检测前车溜车的方法及车载双目相机,可以将拍摄的前车的第一前车图像的第一V视差图转换为第一VZ图,计算前车在第一VZ图和第二VZ图中的横坐标变化量,所述第二VZ图由之前已拍摄的所述前车的第二前车图像的第二V视差图转换得到;若所述横坐标变化量超过阈值,则确定前车溜车。因此本发明可以通过计算第一VZ图和第二VZ图中前车的横坐标变化量来准确判断前车是否溜车,从而提前做出溜车预警,并极大提高了溜车检测的准确率。
Description
技术领域
本发明涉及双目视觉及辅助驾驶技术领域,尤其涉及一种车载双目相机检测前车溜车的方法及车载双目相机。
背景技术
检测前车溜车的传统方法中,一般较多采用距离传感器检测,例如红外传感器、毫米波雷达等,通过准确监测前车与本车的距离,当距离缩小且移动变化达到一定阈值时,会进行溜车预警。
但是通过传感器检测溜车通常存在一些问题:首先,前车溜车时,一般溜车速度缓慢,如果传感器的反应不敏感,则无法及时察觉溜车的情况;其次,溜车之前,两车都处于怠速状态,本车和前车都会有不同程度的抖动,对传感器检测溜车带来较大的难度;再次,溜车检测的目的主要在于能及时预警,因此需要对不同距离、不同溜车速度等各种情况进行及时的自适应预警,而非针对不同场景设置固定预警阈值。
另外,基于单目相机在二维图像中通过对前车固定特征进行检测,并通过该特征在图像中坐标变化来进行溜车判断的方法,会由于无法准确估计前车距离而无法及时报警;且车辆在怠速过程中,本身在抖动,因此很容易造成溜车误判,进而导致误报警。
发明内容
有鉴于此,本发明提供一种车载双目相机检测前车溜车的方法及车载双目相机来解决现有技术中前车溜车误判的问题。
具体地,本发明是通过如下技术方案实现的:
本发明提供一种车载双目相机检测前车溜车的方法,所述方法包括:
将拍摄的前车的第一前车图像的第一V视差图转换为第一VZ图,其中,所述第一VZ图的横坐标为根据所述第一V视差图的视差值转换得到的距离值,纵坐标为所述第一V视差图的纵坐标;
计算所述前车在第一VZ图和第二VZ图中的横坐标变化量,所述第二VZ图由之前已拍摄的所述前车的第二前车图像的第二V视差图转换得到;
若所述横坐标变化量超过阈值,则确定前车溜车。
作为一个实施例,计算所述前车在第一VZ图和第二VZ图中的横坐标变化量,包括:
计算所述前车在第一VZ图中的横坐标均值;
计算所述前车在第二VZ图中的横坐标均值;
所述前车在第一VZ图中的横坐标均值与所述前车在第二VZ图中的横坐标均值之差为所述前车的横坐标变化量。
作为一个实施例,计算所述前车在第一VZ图的横坐标均值,包括:
在所述第一VZ图中查找满足预设条件的直线段;
将所述满足预设条件的直线段与预设的车尾模型进行匹配;
根据相匹配的车尾模型对应的预设算法,计算前车在第一VZ图的横坐标均值。
作为一个实施例,所述预设的车尾模型至少包括第一车尾模型、第二车尾模型和第三车尾模型;其中,所述第一车尾模型为竖直线段;所述第二车尾模型为向左倾斜的斜线段的下端点与竖直线段的上端点连接的组合线段;所述第三车尾模型为向左倾斜的斜线段的下端点与水平线段的左端点连接且水平线段的右端点与竖直线段的上端点连接的组合线段。
作为一个实施例,在所述第一VZ图中查找满足预设条件的直线段,包括:
若在所述第一VZ图中检测到与横坐标轴的夹角在第一角度范围内的至少一条竖直线段时;
从所述至少一条竖直线段中,选取上端点的横坐标最小且纵坐标最大的竖直线段作为满足预设条件的直线段。
作为一个实施例,在所述第一VZ图中查找满足预设条件的直线段,还包括:
当在所述第一VZ图中检测到与横坐标轴的夹角在第二角度范围内的至少一条横线段时,若已检测到竖直线段,则计算已检测到的竖直线段的上端点与所述至少一条横线段的左端点的坐标差值,从所述至少一条横线段中选取坐标差值最小的横线段作为满足预设条件的直线段;若未检测到竖直线段,则从所述至少一条横线段中选取横线段的左端点的纵坐标值最接近预设障碍物框高度的横线段作为满足预设条件的直线段。
作为一个实施例,在所述第一VZ图中查找满足预设条件的直线段,还包括:
当在所述第一VZ图中检测到与横坐标轴的夹角在第三角度范围内的至少一条斜线段时,若已检测到横线段,则根据计算所述横线段的右端点与所述至少一条斜线段的左端点的坐标差值,从所述至少一条斜线段中选取坐标差值最小的斜线段作为满足预设条件的直线段;若未检测到横线段,但检测到竖直线段,则根据计算所述竖直线段的上端点与所述至少一条斜线段的左端点的坐标差值,从所述至少一条横线段中选取坐标差值最小的斜线段作为满足预设条件的直线段;若未检测到横线段和竖直线段,则从所述至少一条斜线段中选取斜线段的左端点的纵坐标值最接近预设障碍物框高度的斜线段作为满足预设条件的直线段。
基于相同的构思,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现所述车载双目相机检测前车溜车的方法中的任一步骤。
基于相同的构思,本发明还提供一种车载双目相机,所述车载双目相机包括存储器、处理器、通信接口以及通信总线;
其中,所述存储器、处理器、通信接口通过所述通信总线进行相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的计算机程序,所述处理器执行所述计算机程序时实现所述车载双目相机检测前车溜车的方法中的任一步骤。
由此可见,本发明可以将拍摄的前车的第一前车图像的第一V视差图转换为第一VZ图,计算前车在第一VZ图和第二VZ图中的横坐标变化量,所述第二VZ图由之前已拍摄的所述前车的第二前车图像的第二V视差图转换得到;若所述横坐标变化量超过阈值,则确定前车溜车。因此本发明可以通过计算第一VZ图和第二VZ图中前车的横坐标变化量来准确判断前车是否溜车,从而提前做出溜车预警,并极大提高了溜车检测的准确率。
附图说明
图1是本发明一种示例性实施方式中的一种车载双目相机检测前车溜车的方法的处理流程图;
图2-1和图2-2分别是本发明一种示例性实施方式中的V视差图和基于面的视差图的对比示例;
图3-1、图3-2、图3-3、图3-4是本发明一种示例性实施方式中的V视差图和VZ图的对比示例图;
图4-1是本发明一种示例性实施方式中的第一车尾模型示例图;
图4-2是本发明一种示例性实施方式中的第二车尾模型示例图;
图4-3是本发明一种示例性实施方式中的第三车尾模型示例图;
图5-1是本发明一种示例性实施方式中的竖直线段检测结果示例图;
图5-2是本发明一种示例性实施方式中的横线段检测结果示例图;
图5-3是本发明一种示例性实施方式中的斜线段检测结果示例图;
图6是本发明一种示例性实施方式中的第一车尾模型计算距离有效区域的示例图;
图7是本发明一种示例性实施方式中的第二车尾模型a情况计算距离有效区域的示例图;
图8是本发明一种示例性实施方式中的第三车尾模型a情况计算距离有效区域的示例图;
图9本发明一种示例性实施方式中的一种车载双目相机的逻辑结构图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了解决现有技术存在的问题,本发明提供一种前车溜车的检测方法及装置,可以将拍摄的前车的第一前车图像的第一V视差图转换为第一VZ图,计算前车在第一VZ图和第二VZ图中的横坐标变化量,所述第二VZ图由之前已拍摄的所述前车的第二前车图像的第二V视差图转换得到;若所述横坐标变化量超过阈值,则确定前车溜车。因此本发明可以通过计算第一VZ图和第二VZ图中前车的横坐标变化量来准确判断前车是否溜车,从而提前做出溜车预警,并极大提高了溜车检测的准确率。
请参考图1,是本发明一种示例性实施方式中的一种车载双目相机检测前车溜车的方法的处理流程图,该方法包括:
步骤101、将拍摄的前车的第一前车图像的第一V视差图转换为第一VZ图,其中,所述第一VZ图的横坐标为根据所述第一V视差图的视差值转换得到的距离值,纵坐标为所述第一V视差图的纵坐标;
在本实施例中,车载双目相机可以通过拍摄获取第一前车图像并通过图像处理得到第一前车图像的第一V视差图。本实施例使用V视差图像进行前车溜车的检测,V视差图像是稀疏视差图像的一种,其特点是仅特征点或边缘有对应的视差值,非特征点处为无效视差,如图2-1所示,相较于基于面的视差图(如图2-2),V视差图像中的特征点视差通常相对准确,虽然无法避免存在视差噪点,但视差噪点对于计算距离的准确性影响不大。当获取前车图像的第一V视差图后,可以进一步将该第一V视差图转换为第一VZ图。
需要说明的是,本发明的VZ图与传统的V视差图类似,区别在于V视差图的横坐标是视差范围(单位是像素),纵坐标对应源视差图像的纵坐标,V视差图像的原点位于图像左上角;而本发明中定义的VZ图,其纵坐标依然是对应源视差图像的纵坐标,但其横坐标不再对应视差,而是对应检测距离值,即纵坐标单位为实际距离单位,米或分米等,其坐标原点位于图像左上角。VZ图的实质是将V视差图像对应的视差值转换为对应的距离值。
V视差图转换为VZ图的转换公式为:
其中,B为双目相机基线长度,f为焦距,d为视差值,Δd为无穷远处视差,为标定值,z为d对应的距离值。
在溜车检测时,由于前车与本车距离较近,因此本发明的VZ图中的距离范围不需要设置太大,同时由于距离近,前车视差较丰富,匹配精度较高,因此在具体实施例中,将VZ图中最大距离设置为属于前车像素视差对应的最大距离,例如,可以将VZ图中z方向的最小刻度设置为0.05米,具体实施方式如下:
首先,基于前车障碍物框中属于前车的视差,假设为(dmin,dmax),求得VZ图中最大的z值,即:
基于z方向最小刻度设置为0.05米,进而求得VZ图中横轴有Zmax/0.05列,纵轴行数等于障碍物框像素高度,假设障碍物框坐标为(u,v,w,h),则VZ图中纵轴有h行,进而生成一幅像素高度为h,像素宽度为Zmax/0.05,所有点的像素值为零的图像。
其次,逐一将障碍物框中属于障碍物上的视差值转换到VZ图中,其实施方法如下:遍历障碍物框(u,v,w,h)中的视差,若该视差在(dmin,dmax)范围内,则通过如下公式(三),计算其横坐标x,即
其中,[]为取整符号。
其纵坐标y为该像素点在源图中的坐标ysrc减去v值,即
y=ysrc-v 公式(四)
对于计算所得的x和y,可以找到其在VZ图中对应的坐标点(x,y),该坐标点对应的像素值加1,遍历完整个障碍物框后,会获得一幅基于障碍物框中前车V视差图转换后的VZ图。
举例来讲,同一幅图像中障碍物框的V视差图和转换为VZ图效果如下:
图3-1为车载双目相机拍摄的带有前车图像的源图;图3-2为基于该源图的源视差图,其中的白色框为障碍物框;图3-3为障碍物框中的图像经过视差转换后的V视差图;图3-4为障碍物框中的图像经过视差转换后的VZ图。根据图3-3和图3-4对比可知,V视差图的纵坐标为视差值,VZ图的纵坐标为距离值。
步骤102、计算所述前车在第一VZ图和第二VZ图中的横坐标变化量,所述第二VZ图由之前已拍摄的所述前车的第二前车图像的第二V视差图转换得到;
在本实施例中,可以进一步计算所述前车在第一VZ图和第二VZ图中的横坐标变化量,其中所述第二VZ图由之前已拍摄的所述前车的第二前车图像的第二V视差图转换得到,例如该第二VZ图可以是由第一VZ图的前一帧前车图像的V视差图转换得到,也可以是由第一VZ图的前N帧前车图像的V视差图转换得到,或者是由初始前车图像的V视差图转换得到。
作为一个实施例,计算所述前车在第一VZ图和第二VZ图中的横坐标变化量,具体为:计算所述前车在第一VZ图中的横坐标均值;以及计算所述前车在第二VZ图中的横坐标均值;然后将所述前车在第一VZ图中的横坐标均值与所述前车在第二VZ图中的横坐标均值之差作为所述前车的横坐标变化量。
其中,计算所述前车在第一VZ图的横坐标均值,具体为先在所述第一VZ图中查找满足预设条件的直线段;将所述满足预设条件的直线段与预设的车尾模型进行匹配;然后根据相匹配的车尾模型对应的预设算法,计算前车在第一VZ图的横坐标均值。计算所述前车在第二VZ图中的横坐标均值的方法与上述方法类似,此处不再赘述。下面具体说明针对前车在第一VZ图中的横坐标均值的计算方法。
作为一个实施例,由于不同类型的车辆的车尾造型有所差异,为了更加准确的检测到前车溜车,本发明还可以基于道路上经常遇见的车辆类型,按照车辆尾部的结构及姿态的不同,预先设置多个车尾模型(双目相机的光轴平行于路面安装):
第一类:常见车辆类型为大巴车、货车、面包车等,如图4-1左侧图(a)所示,其特点是在侧视图中车尾部基本垂直于地面,因此其抽象模型为一条竖直的直线段,将其作为第一车尾模型,该第一车尾模型的侧视图如图4-1右侧图(b)所示;
第二类:常见车辆类型为SUV、越野车等,如图4-2左侧图(a)所示,其特点是在侧视图中车尾部是折线,即第二车尾模型为向左倾斜的斜线段的下端点与竖直线段的上端点连接的组合线段;此为第二车尾模型a情况,其侧视图如图4-2中间图(b)所示;此类模型,当前车部分呈现在图像中时,其车尾部可能仅有一条斜线段,将其作为第二车尾模型b情况,即如图4-2右侧图(c)所示;
第三类:常见车辆类型为小型轿车等,如图4-3左起第一张图(a)所示,其特点是在侧视图中车尾部由多段线段组成,即第三车尾模型为向左倾斜的斜线段的下端点与水平线段的左端点连接且水平线段的右端点与竖直线段的上端点连接的组合线段,可将其作为第三车尾模型a情况,如图4-3左起第二张图(b)所示;此类模型,当前车部分呈现在图像中时,其车尾部可能仅有一条斜线段,或一条斜线段加一条横线段的情况,将车尾部一条斜线段加一条横线段的情况作为第三车尾模型b情况,如图4-3左起第三张图(c)所示;将车尾仅有一条斜线段的情况作为第三车尾模型c情况,如图4-3左起第四张图(d)所示。
作为一个实施例,在第一VZ图中可以进一步使用霍夫直线查找满足预设条件的直线段,其具体实施例如下:
第一步,若在所述第一VZ图中检测到与横坐标轴的夹角在第一角度范围内(例如与横坐标轴夹角为80至100度的范围)的至少一条竖直线段时;从所述至少一条竖直线段中,选取上端点的横坐标最小且纵坐标最大的竖直线段作为满足预设条件的直线段,从而可以保留该直线段,同时剔除剩余直线段,同时,将竖直线段的上的端点的横坐标x的一定范围内的有效像素点进行剔除,即将(x-Tx,x+Tx)范围内的非零像素点置零,从而避免噪点的干扰;若未查找到竖直线段,则进行下一步;实际检测结果示例如图5-1所示,其中左侧图(a)所示的为初始检测直线,其中包括多条竖直线段(灰色表示),根据上述判定条件筛选后,得到的竖直线段如中间图(b)所示;挑选后保留的该竖直线段,删除该竖直线段及其周围的点,删除后的结果如右侧图(c)所示。
第二步,当在所述第一VZ图中检测到与横坐标轴的夹角在第二角度范围(例如与横坐标轴夹角为-10至10度的范围)内的至少一条横线段时,若已检测到竖直线段,则计算已检测到的竖直线段的上端点与所述至少一条横线段的左端点的坐标差值,从所述至少一条横线段中选取坐标差值最小的横线段作为满足预设条件的直线段;若未检测到竖直线段,则从所述至少一条横线段中选取横线段的左端点的纵坐标值最接近预设障碍物框高度的横线段作为满足预设条件的直线段,进一步可以保留该直线段,同时剔除横线段的左端点的纵坐标y周围一定范围的有效像素点,即将(y-Ty,y+Ty)范围内的非零像素点置零,并进入下一步;实际检测结果示例如图5-2所示,其中左侧图(a)所示的为初始检测直线,其中包括多条横线段(灰色表示),根据上述判定条件筛选后,得到的横线段如中间图(b)所示;挑选后保留的横线段,删除该横线段及其周围的点,删除后的结果如右侧图(c)所示。
第三步,当在所述第一VZ图中检测到与横坐标轴的夹角在第三角度范围(例如与横坐标轴夹角为10至80度的范围)内的至少一条斜线段时,若已检测到横线段,则根据计算所述横线段的右端点与所述至少一条斜线段的左端点的坐标差值,从所述至少一条斜线段中选取坐标差值最小的斜线段作为满足预设条件的直线段;若未检测到横线段,但检测到竖直线段,则根据计算所述竖直线段的上端点与所述至少一条斜线段的左端点的坐标差值,从所述至少一条横线段中选取坐标差值最小的斜线段作为满足预设条件的直线段;若未检测到横线段和竖直线段,则从所述至少一条斜线段中选取斜线段的左端点的纵坐标值最接近预设障碍物框高度的斜线段作为满足预设条件的直线段,将该斜线段保留,同时剔除其他斜线段。实际检测结果示例如图5-3所示。
基于以上步骤获得直线段的种类和数量,将检测到的直线段与预设的车尾模型进行匹配,找出其对应的车尾模型:例如:一条竖直线段,则直接对应第一车尾模型;若一条斜线段和一条竖直线段,则对应第二车尾模型a情况;若一条斜线段,一条水平横线段,一条竖直线段则对应第三车尾模型a情况,或一条斜线段,一条水平横线段,则对应第三车尾模型b情况;若一条斜线段,可对应第二车尾模型b情况,也可对应第三车尾模型c情况。
进一步基于匹配的车尾模型对应的算法,根据检测到的直线段计算前车在第一VZ图的横坐标均值,具体如下:
对于第一车尾模型,即存在一条竖直线段,该竖直线段在VZ图中对应的横坐标为x,计算在(x-Tx,x+Tx)范围内的横坐标均值Zavg为:
其中,ymin,ymax分别为竖直线段上下两端点纵坐标值,P(i,j)为VZ图中(i,j)坐标的像素值,k为在横坐标范围(x-Tx,x+Tx)和纵坐标范围(ymin,ymax)内,P(i,j)像素值的累加和。由于前车的横坐标是分散的,因此通过计算横坐标均值可以减少计算误差。从起始帧开始,计算每一帧图像中前车障碍物框的横坐标均值Zavg,即可得到每两帧的横坐标变化量,以及从起始帧到当前帧的总变化量等信息。图6的虚线区域为计算Zavg的有效区域。
对于第二车尾模型,起始帧为a情况时,此时使用竖直线段信息,计算在横坐标范围(x-Tx,x+Tx)和纵坐标范围(ymin,ymax)内横坐标均值Zavg,计算方式同第一车尾模型;同时,以斜线段左上角端点(xL,yL)为中心,取其横坐标范围为(xL-Tx,xL+Tx),纵坐标范围为(yL-Ty,yL+Ty)内的点,同样计算横坐标均值ZavgL,计算公式为:
其中,k为在横坐标范围(xL-Tx,xL+Tx)和纵坐标范围(yL-Ty,yL+Ty)内的P(i,j)像素值的累加和;进而监测相邻两帧Zavg和ZavgL的横坐标变化,可通过加权方式,综合两者变化作为最终的横坐标变化。计算Zavg和ZavgL的有效区域如图7中的虚线区域所示。
对于第二类模型,起始帧为b情况,则以斜线段左上角端点(xL,yL)为中心,取其横坐标范围为(xL-Tx,xL+Tx),纵坐标范围为(yL-Ty,yL+Ty)内的点,计算横坐标均值ZavgL,计算方法同上公式(六),进而来监测前车横坐标变化量。
对于第三类模型,起始帧若为a情况,则按照第二类模型起始帧为a情况进行计算,即使用斜线段的左端点,以及竖直线段来分别计算相邻两帧Zavg和ZavgL的横坐标变化量,通过加权方式,最后综合两者变化作为最终的横坐标变化量;同时还可以记录横线段的长度,即累加不同帧横线段长度值,并记录累加帧数,用于后期由a情况转变为b情况时,计算之前横线段长度均值。计算Zavg和ZavgL的有效区域如图8中的虚线区域所示。
对于第三类模型的b情况,按照第二类模型的b情况首先计算ZavgL,然后基于每帧横线段的长度变化计算ZavgV,对两者进行加权,并最终由加权结果,计算前车横坐标变化量。
对于第三类模型,起始帧为c情况,同理,按照第二类模型的b情况进行处理,即计算ZavgL来监测前车横坐标变化量。
基于以上方法,对于第一车尾模型、第二车尾模型及第三车尾模型的全部情况均可有效准确的计算前车与本车距离的变化。通过区分不同车尾类型来建立不同模型并根据模型的特征根据相应的公式计算前车横坐标变化量可以更加准确,从而使前车溜车的判断结果更加准确。
步骤103、若所述横坐标变化量超过阈值,则确定前车溜车。
在本实施例中,可以根据计算的横坐标变化量来判断前车是否溜车。具体来讲,可以获得相邻两帧前车与本车的横坐标变化量,进而获得当前帧与上一帧的横坐标变化量,此时可设定距离变化阈值Ts,若横坐标变化量超过该变化阈值,则可认为前车溜车,进而触发溜车报警。
在可选的实施例中,在横坐标监测的同时,还可以基于横坐标变化量计算溜车相对速度v,即:
其中,s2为t2时刻距离值,s1为t1时刻距离值,设置预警时间阈值Ts,若v*Tt>s2,此时横坐标变化量在未超过阈值Ts时,可提前发出预警,即溜车速度较快时,可在未达到溜车变化阈值的前提下及时预警,从而可以在保证溜车报警稳定性的基础上,进一步保证预警的及时性。
基于相同的构思,本发明还提供一种车载双目相机,如图9所示,所述车载双目相机包括存储器91、处理器92、通信接口93以及通信总线94;
其中,所述存储器91、处理器92、通信接口93通过所述通信总线94进行相互间的通信;
所述存储器91,用于存放计算机程序;
所述处理器92,用于执行所述存储器91上所存放的计算机程序,所述处理器92执行所述计算机程序时实现本发明实施例提供的车载双目相机检测前车溜车的方法的任一步骤。
本发明还提供一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现本发明实施例提供的车载双目相机检测前车溜车的方法的任一步骤。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于计算机设备和计算机可读存储介质的实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
综上所述,本发明可以将拍摄的前车的第一前车图像的第一V视差图转换为第一VZ图,计算前车在第一VZ图和第二VZ图中的横坐标变化量,所述第二VZ图由之前已拍摄的所述前车的第二前车图像的第二V视差图转换得到;若所述横坐标变化量超过阈值,则确定前车溜车。因此本发明可以通过计算第一VZ图和第二VZ图中前车的横坐标变化量来准确判断前车是否溜车,从而提前做出溜车预警,并极大提高了溜车检测的准确率。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。
Claims (9)
1.一种车载双目相机检测前车溜车的方法,其特征在于,所述方法包括:
将拍摄的前车的第一前车图像的第一V视差图转换为第一VZ图,其中,所述第一VZ图的横坐标为根据所述第一V视差图的视差值转换得到的距离值,纵坐标为所述第一V视差图的纵坐标;
计算所述前车在第一VZ图和第二VZ图中的横坐标变化量,所述第二VZ图由之前已拍摄的所述前车的第二前车图像的第二V视差图转换得到;
若所述横坐标变化量超过阈值,则确定前车溜车。
2.根据权利要求1所述的方法,其特征在于,计算所述前车在第一VZ图和第二VZ图中的横坐标变化量,包括:
计算所述前车在第一VZ图中的横坐标均值;
计算所述前车在第二VZ图中的横坐标均值;
所述前车在第一VZ图中的横坐标均值与所述前车在第二VZ图中的横坐标均值之差为所述前车的横坐标变化量。
3.根据权利要求2所述的方法,其特征在于,计算所述前车在第一VZ图的横坐标均值,包括:
在所述第一VZ图中查找满足预设条件的直线段;
将所述满足预设条件的直线段与预设的车尾模型进行匹配;
根据相匹配的车尾模型对应的预设算法,计算前车在第一VZ图的横坐标均值。
4.根据权利要求3所述的方法,其特征在于,
所述预设的车尾模型至少包括第一车尾模型、第二车尾模型和第三车尾模型;其中,所述第一车尾模型为竖直线段;所述第二车尾模型为向左倾斜的斜线段的下端点与竖直线段的上端点连接的组合线段;所述第三车尾模型为向左倾斜的斜线段的下端点与水平线段的左端点连接且水平线段的右端点与竖直线段的上端点连接的组合线段。
5.根据权利要求4所述的方法,其特征在于,在所述第一VZ图中查找满足预设条件的直线段,包括:
若在所述第一VZ图中检测到与横坐标轴的夹角在第一角度范围内的至少一条竖直线段时;
从所述至少一条竖直线段中,选取上端点的横坐标最小且纵坐标最大的竖直线段作为满足预设条件的直线段。
6.根据权利要求5所述的方法,其特征在于,在所述第一VZ图中查找满足预设条件的直线段,还包括:
当在所述第一VZ图中检测到与横坐标轴的夹角在第二角度范围内的至少一条横线段时,若已检测到竖直线段,则计算已检测到的竖直线段的上端点与所述至少一条横线段的左端点的坐标差值,从所述至少一条横线段中选取坐标差值最小的横线段作为满足预设条件的直线段;若未检测到竖直线段,则从所述至少一条横线段中选取横线段的左端点的纵坐标值最接近预设障碍物框高度的横线段作为满足预设条件的直线段。
7.根据权利要求6所述的方法,其特征在于,在所述第一VZ图中查找满足预设条件的直线段,还包括:
当在所述第一VZ图中检测到与横坐标轴的夹角在第三角度范围内的至少一条斜线段时,若已检测到横线段,则根据计算所述横线段的右端点与所述至少一条斜线段的左端点的坐标差值,从所述至少一条斜线段中选取坐标差值最小的斜线段作为满足预设条件的直线段;若未检测到横线段,但检测到竖直线段,则根据计算所述竖直线段的上端点与所述至少一条斜线段的左端点的坐标差值,从所述至少一条横线段中选取坐标差值最小的斜线段作为满足预设条件的直线段;若未检测到横线段和竖直线段,则从所述至少一条斜线段中选取斜线段的左端点的纵坐标值最接近预设障碍物框高度的斜线段作为满足预设条件的直线段。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现所述权利要求1-7中任一项所述的方法。
9.一种车载双目相机,其特征在于,所述车载双目相机包括存储器、处理器、通信接口以及通信总线;
其中,所述存储器、处理器、通信接口通过所述通信总线进行相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811489505.3A CN111284490B (zh) | 2018-12-06 | 2018-12-06 | 车载双目相机检测前车溜车的方法及车载双目相机 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811489505.3A CN111284490B (zh) | 2018-12-06 | 2018-12-06 | 车载双目相机检测前车溜车的方法及车载双目相机 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111284490A true CN111284490A (zh) | 2020-06-16 |
CN111284490B CN111284490B (zh) | 2021-06-04 |
Family
ID=71025210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811489505.3A Active CN111284490B (zh) | 2018-12-06 | 2018-12-06 | 车载双目相机检测前车溜车的方法及车载双目相机 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111284490B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104952064A (zh) * | 2014-03-27 | 2015-09-30 | 株式会社理光 | 视差值计算装置、物体识别系统、视差值计算方法 |
CN105678787A (zh) * | 2016-02-03 | 2016-06-15 | 西南交通大学 | 一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法 |
CN106327465A (zh) * | 2015-06-18 | 2017-01-11 | 深圳超多维光电子有限公司 | 物体位置确定方法及装置 |
WO2017067187A1 (zh) * | 2015-10-23 | 2017-04-27 | 杭州海康威视数字技术股份有限公司 | 前车起步处理方法、装置和系统 |
CN107517592A (zh) * | 2016-09-28 | 2017-12-26 | 驭势科技(北京)有限公司 | 汽车可行驶区域实时检测方法和系统 |
CN107977649A (zh) * | 2017-12-21 | 2018-05-01 | 海信集团有限公司 | 一种障碍物识别方法、装置及终端 |
CN108399360A (zh) * | 2018-01-22 | 2018-08-14 | 海信集团有限公司 | 一种连续型障碍物检测方法、装置及终端 |
-
2018
- 2018-12-06 CN CN201811489505.3A patent/CN111284490B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104952064A (zh) * | 2014-03-27 | 2015-09-30 | 株式会社理光 | 视差值计算装置、物体识别系统、视差值计算方法 |
CN106327465A (zh) * | 2015-06-18 | 2017-01-11 | 深圳超多维光电子有限公司 | 物体位置确定方法及装置 |
WO2017067187A1 (zh) * | 2015-10-23 | 2017-04-27 | 杭州海康威视数字技术股份有限公司 | 前车起步处理方法、装置和系统 |
CN105678787A (zh) * | 2016-02-03 | 2016-06-15 | 西南交通大学 | 一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法 |
CN107517592A (zh) * | 2016-09-28 | 2017-12-26 | 驭势科技(北京)有限公司 | 汽车可行驶区域实时检测方法和系统 |
CN107977649A (zh) * | 2017-12-21 | 2018-05-01 | 海信集团有限公司 | 一种障碍物识别方法、装置及终端 |
CN108399360A (zh) * | 2018-01-22 | 2018-08-14 | 海信集团有限公司 | 一种连续型障碍物检测方法、装置及终端 |
Non-Patent Citations (1)
Title |
---|
邓向林: "基于稀疏深度影像分析的行车障碍物侦测技术", 《企业技术开发》 * |
Also Published As
Publication number | Publication date |
---|---|
CN111284490B (zh) | 2021-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11836989B2 (en) | Vehicular vision system that determines distance to an object | |
JP4956452B2 (ja) | 車両用環境認識装置 | |
EP0626655B1 (en) | Vehicle recognition apparatus | |
US8094934B2 (en) | Object detection system | |
JP4714104B2 (ja) | 物体傾き検出装置 | |
US8194998B2 (en) | Preceding vehicle detection system | |
CN105206109B (zh) | 一种基于红外ccd的车辆雾天识别预警系统及方法 | |
US20010002936A1 (en) | Image recognition system | |
EP1394761A2 (en) | Obstacle detection device and method therefor | |
US9513108B2 (en) | Sensor system for determining distance information based on stereoscopic images | |
KR102104005B1 (ko) | 자동차의 도로변의 물체를 검출하는 방법, 컴퓨팅 장치, 운전자 보조 시스템 및 자동차 | |
JP3747599B2 (ja) | 車両用障害物検出装置 | |
CN107909036B (zh) | 一种基于视差图的道路检测方法及装置 | |
EP3633619B1 (en) | Position detection apparatus and position detection method | |
CN112991732A (zh) | 一种基于双目相机的实时弯道侧翻预警系统与方法 | |
JP5073700B2 (ja) | 物体検出装置 | |
US20160307055A1 (en) | Stereoscopic object detection device and stereoscopic object detection method | |
JP6768554B2 (ja) | キャリブレーション装置 | |
CN111284490B (zh) | 车载双目相机检测前车溜车的方法及车载双目相机 | |
JP2006072757A (ja) | 物体検出装置 | |
CN111414857A (zh) | 一种基于视觉的多特征融合的前方车辆检测方法 | |
JP4106163B2 (ja) | 障害物検出装置及びその方法 | |
CN110765877B (zh) | 基于热像仪和双目相机的行人检测方法及系统 | |
CN113611143A (zh) | 一种新型记忆泊车系统及其建图系统 | |
CN113705403B (zh) | 一种与全景成像系统融合的前方目标车辆碰撞预警方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |