CN111998780A - 目标测距方法、装置及系统 - Google Patents
目标测距方法、装置及系统 Download PDFInfo
- Publication number
- CN111998780A CN111998780A CN201910447707.XA CN201910447707A CN111998780A CN 111998780 A CN111998780 A CN 111998780A CN 201910447707 A CN201910447707 A CN 201910447707A CN 111998780 A CN111998780 A CN 111998780A
- Authority
- CN
- China
- Prior art keywords
- target
- vehicle
- image
- blind area
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000005259 measurement Methods 0.000 claims abstract description 34
- 238000003384 imaging method Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 7
- 238000009434 installation Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Measurement Of Optical Distance (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请提供一种目标测距方法,方法包括:检测车载相机采集的每帧图像中的待测距目标;遍历所述每帧图像,判断当前遍历的图像中的待测距目标是否进入所述盲区;若是,则从已采集的图像中选择一帧采集时间与当前遍历的图像的采集时间的差值最小且所述待测距目标未进入盲区的图像;基于选择的图像确定所述待测距目标未进入盲区时的测距信息,并依据所述测距信息确定所述待测距目标进入盲区时距所述车辆的实际距离。当判断当前遍历的图像中的待测距目标进入盲区时,通过依据待测距目标位于非盲区时的测距信息,获得待测距目标位于盲区时与车辆的距离,以解决在纯视觉的基础上,目标在盲区时无法测距的问题。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种目标测距方法、装置及系统。
背景技术
在车辆辅助驾驶领域中,采用的基于视觉的目标测距模块,只能测量图像中露全目标(即图像中的目标与路面存在交汇点)的距离,而当目标的一部分进入到车辆盲区内,由于相机无法拍摄到目标与路面的交汇点,因此采用目前的目标测距模块无法计算得到目标的距离。
发明内容
有鉴于此,本申请提供一种目标测距方法、装置及系统,以解决目前所采用的目标测距模块无法计算车辆盲区内的目标的距离的问题。
根据本申请实施例的第一方面,提供一种目标测距方法,所述方法包括:
检测车载相机采集的每帧图像中的待测距目标,所述车载相机位于车辆引擎盖的上方,所述车载相机的可视区域边界与所述车辆之间的区域为盲区;
遍历所述每帧图像,判断当前遍历的图像中的待测距目标是否进入所述盲区;
若是,则从已采集的图像中选择一帧采集时间与当前遍历的图像的采集时间的差值最小且所述待测距目标未进入盲区的图像;
基于选择的图像确定所述待测距目标未进入盲区时的测距信息,并依据所述测距信息确定所述待测距目标进入盲区时距所述车辆的实际距离。
根据本申请实施例的第二方面,提供一种目标测距装置,所述装置包括:
检测模块,用于检测车载相机采集的每帧图像中的待测距目标,所述车载相机位于车辆引擎盖的上方,所述车载相机的可视区域边界与所述车辆之间的区域为盲区;
遍历判断模块,用于遍历所述每帧图像,判断当前遍历的图像中的待测距目标是否进入所述盲区;
选择模块,用于在判断为是时,从已采集的图像中选择一帧采集时间与当前遍历的图像的采集时间的差值最小且所述待测距目标未进入盲区的图像;
确定模块,用于基于选择的图像确定所述待测距目标未进入盲区时的测距信息,并依据所述测距信息确定所述待测距目标进入盲区时距所述车辆的实际距离。
根据本申请实施例的第三方面,提供一种目标测距系统,所述系统包括:
车载相机,用于采集图像并发送至处理器;
处理器,用于检测每帧图像中的待测距目标,所述车载相机位于车辆引擎盖的上方,所述车载相机的可视区域边界与所述车辆之间的区域为盲区;遍历所述每帧图像,判断当前遍历的图像中的待测距目标是否进入所述盲区;若是,则从已采集的图像中选择一帧采集时间与当前遍历的图像的采集时间的差值最小且所述待测距目标未进入盲区的图像,并基于选择的图像确定所述待测距目标未进入盲区时的测距信息,并依据所述测距信息确定所述待测距目标进入盲区时距所述车辆的实际距离。
应用本申请实施例,通过检测车载相机采集的每帧图像中的待测距目标,所述车载相机位于车辆引擎盖的上方,所述车载相机的可视区域边界与所述车辆之间的区域为盲区,然后遍历每帧图像,判断当前遍历的图像中的待测距目标是否进入盲区,若是,则从已采集的图像中选择一帧采集时间与当前遍历的图像的采集时间的差值最小且所述待测距目标未进入盲区的图像,并基于选择的图像确定所述待测距目标未进入盲区时的测距信息,并依据所述测距信息确定所述待测距目标进入盲区时距所述车辆的实际距离。
基于上述描述可知,当判断当前遍历的图像中的待测距目标进入盲区时,通过依据待测距目标位于非盲区时的测距信息,获得待测距目标位于盲区时与车辆的距离,以解决在纯视觉的基础上,目标在盲区时无法测距的问题。
附图说明
图1A-图1B为本申请根据一示例性实施例示出的一种车辆的盲区示意图;
图2A为本申请根据一示例性实施例示出的一种目标测距方法的实施例流程图;
图2B为本申请根据图2A所示实施例示出的一种待测距目标全露状态示意图;
图2C为本申请根据图2A所示实施例示出的一种待测距目标进入盲区示意图;
图3A为本申请根据一示例性实施例示出的另一种目标测距方法的实施例流程图;
图3B为本申请根据图3A所示实施例示出的一种关键信息匹配示意图;
图3C为本申请根据图3A所示实施例示出的一种小孔成像原理示意图;
图3D为本申请根据图3A所示实施例示出的另一种小孔成像原理示意图;
图3E为本申请根据图3A所示实施例示出的一种目标位于盲区时的测距示意图;
图4为本申请根据一示例性实施例示出的一种目标测距系统结构图;
图5为本申请根据一示例性实施例示出的一种目标测距装置的实施例结构图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
目前所使用的基于视觉的目标测距模块,采用的小孔成像原理只能测量图像中完整目标的距离,即需要相机拍摄到目标与路面的交汇点。而当目标进入车辆的盲区时,相机就无法拍摄到目标与路面的交汇点,此时目标测距模块无法采用小孔成像原理测量目标的距离,进而导致驾驶员无法获知与车前目标的距离,给行车安全带来隐患。
车辆的盲区指的是安装在车辆前挡风玻璃上的车载相机,由于车辆引擎盖遮挡或相机驾设角度导致的前方近距离拍摄不到的区域,如图1A所示,为由车辆引擎盖遮挡导致出现的盲区,图1B为由车载相机的架设角度导致出现的盲区。
为了测量目标进入盲区的距离,也有采用多传感器融合的方案,即在设置车载相机的同时再在车辆上安装测距雷达,利用测距雷达来测量目标位于车辆盲区时的距离,但这无疑增加了硬件成本,而且对于只配置了车载相机的一些低端的辅助驾驶产品中无法实现雷达测距。
为解决上述问题,本申请提出一种目标测距方法,通过检测车载相机采集的每帧图像中的待测距目标,所述车载相机位于车辆引擎盖的上方,所述车载相机的可视区域边界与所述车辆之间的区域为盲区,然后遍历每帧图像,判断当前遍历的图像中的待测距目标是否进入盲区,若是,则从已采集的图像中选择一帧采集时间与当前遍历的图像的采集时间的差值最小且所述待测距目标未进入盲区的图像,并基于选择的图像确定所述待测距目标未进入盲区时的测距信息,并依据所述测距信息确定所述待测距目标进入盲区时距所述车辆的实际距离。
基于上述描述可知,当判断当前遍历的图像中的待测距目标进入盲区时,通过待测距目标位于非盲区时的测距信息,获得待测距目标位于盲区时距车辆的距离,以解决在纯视觉的基础上,目标在盲区时无法测距的缺陷。
需要说明的是,对于没有在非盲区出现过而直接出现在盲区的目标,可以通过环视相机采集的图像得到目标位于非盲区时的测距信息,进而实现目标位于盲区时的距离。
需要进一步说明的是,在多传感器融合中,基于视觉的盲区测距结果也可以参与到多传感器融合方案中,通过对比获得更加精确的测距结果。
图2A为本申请根据一示例性实施例示出的一种目标测距方法的实施例流程图,所述目标测距方法可以应用在处理器上,该处理器可以集成在车载相机中,也可以是不集成在车载相机上。
如图2A所示,所述目标测距方法包括如下步骤:
步骤201:检测车载相机采集的每帧图像中的待测距目标。
其中,所述车载相机位于车辆引擎盖的上方,其可以设置在车辆引擎盖上方任一便于安装的位置,如车顶、车辆前挡风玻璃上等位置。但是,无论车载相机设置在车辆引擎盖上方哪个位置,由于车辆引擎盖遮挡或相机驾设角度问题,均会导致车载相机的可视区域边界与车辆的车头之间的区域拍摄不到,形成盲区。
示例性的,该盲区为车辆前方的盲区,可以包括车辆正前方盲区和侧前方盲区。
在一实施例中,可以通过检测车载相机采集的图像中的预设类型的目标,并获得所述目标的目标框,然后针对在每帧图像中获得的目标框,将与其他目标框不存在连接关系的目标框中的目标确定为待测距目标。
其中,在实际应用中,对于被其它目标遮挡而未露全的目标在真实场景中是不会直接进入车辆的盲区,而被遮挡目标的目标框是与其他目标框存在连接关系的,对于与其他目标框不存在连接关系的露全目标才有可能进入盲区,因此可以将露全目标作为待测距目标。
示例性的,预设类型的目标可以是车辆、人等,对于包含目标的目标框可以是四边形。
示例性的,对于图像中的目标检测方式可以采用传统的检测算法,也可以采用基于深度学习方法的网络模型进行目标检测,本申请对此不进行限定。
步骤202:遍历每帧图像,判断当前遍历的图像中的待测距目标是否进入盲区,若是,则执行步骤203,否则,继续执行步骤202。
在一实施例中,可以通过确定待测距目标在当前遍历的图像中与图像指定边缘之间的像素距离,并确定所述像素距离与图像高度之间的占比,若所述占比超过预设阈值,则确定当前遍历的图像中的待测距目标未进入所述盲区;若所述占比未超过预设阈值,则确定当前遍历的图像中的待测距目标进入所述盲区。
其中,所述指定图像边缘指的是图像下边缘,图像下边缘的像素点在实际空间中所指示的目标点是距车载相机最近的目标点。当目标与图像下边缘之间的距离占整个图像高度的占比超过预设阈值时,表示该目标仍处于露全状态,未进入盲区,当目标与图像下边缘之间的距离占整个图像高度的占比不超过预设阈值时,表示该目标的一部分已进入盲区,处于未露全状态,该预设阈值可以根据实践经验设置,如可以设置为5%。
在一实施例中,基于纯视觉目标测距所采用的小孔成像原理能够精确测量的是车辆正前方的目标,因此在确定待测距目标处于露全状态时,还可以利用车辆正前方条件进一步过滤待测距目标,即如果待测距目标符合正前方条件,则保留待测距目标,如果待测距目标不符合正前方条件,则丢掉待测距目标。
示例性的,正前方条件可以是目标与相机之间在水平方向上的距离(距离采用小孔成像原理获得)小于车辆宽度的预设倍数,例如,该预设倍数可以是0.5倍。
在一示例性场景中,如图2B所示,待测距目标位于车辆正前方,未进入盲区,处于露全状态,如图2C所示,为该待测距目标的一部分进入盲区,处于未露全状态。
需要说明的是,在检测每帧图像中的目标时,可以采用目标跟踪的方式进行检测,即每帧图像中对于同一目标用一个标签标记,从而可以将目标在每帧图像中关联起来。
步骤203:从已采集的图像中选择一帧采集时间与当前遍历的图像的采集时间的差值最小且所述待测距目标未进入盲区的图像。
其中,采集时间与当前遍历的图像的采集时间的差值最小且所述待测距目标未进入盲区的图像,指的是待测距目标进入盲区前最近一次采集的图像。
需要说明的是,在从已采集的图像中选择图像时,还可以考虑待测距目标附近的目标少的条件,即选择未进入盲区、采集时间与当前遍历的图像的采集时间的差值最小且附近的目标少的图像,以提高后续计算测距信息的精度。
步骤204:基于选择的图像确定所述待测距目标未进入盲区时的测距信息,依据所述测距信息确定所述待测距目标进入盲区时距所述车辆的实际距离。
在一实施例中,当待测距目标进入盲区后,车载相机仍会实时采集图像,因此车载相机在此期间每采集一帧图像,均需要依据所述测距信息确定一次所述待测距目标在盲区中时距车辆的实际距离,以实时提示驾驶员。
针对步骤204的过程可以参见下述图3A所示实施例的描述,在此暂不详述。
在本申请实施例中,通过检测车载相机采集的每帧图像中的待测距目标,所述车载相机位于车辆引擎盖的上方,所述车载相机的可视区域边界与所述车辆之间的区域为盲区,然后遍历每帧图像,判断当前遍历的图像中的待测距目标是否进入盲区,若是,则从已采集的图像中选择一帧采集时间与当前遍历的图像的采集时间的差值最小且所述待测距目标未进入盲区的图像,并基于选择的图像确定所述待测距目标未进入盲区时的测距信息,进而依据所述测距信息确定所述待测距目标进入盲区时距所述车辆的实际距离。
基于上述描述可知,当判断当前遍历的图像中的待测距目标进入盲区时,通过待测距目标位于非盲区时的测距信息,获得待测距目标位于盲区时距车辆的距离,以解决在纯视觉的基础上,目标在盲区时无法测距的缺陷。
图3A为本申请根据一示例性实施例示出的另一种目标测距方法的实施例流程图,在上述图2A所示实施例的基础上,本实施例以如何基于选择的图像确定所述待测距目标未进入盲区时的测距信息,并依据所述测距信息确定所述待测距目标进入盲区时距所述车辆的实际距离为例进行示例性说明。
如图3A所示,所述目标测距方法进一步包括如下步骤:
步骤301:在当前遍历的图像中提取所述待测距目标的关键信息。
其中,所述关键信息为所述待测距目标与图像指定边缘交汇处的像素信息,所述图像指定边缘指的是图像下边缘,即图像下边缘的像素点在实际空间中所指示的目标点是距车载相机最近的目标点。
示例性的,待测距目标与图像指定边缘交汇处的像素信息可以是线,或者也可以是点。
步骤302:在选择的图像中查找与所述关键信息匹配的像素点。
在一实施例中,所述像素点为所述待测距目标在选择的图像中所占区域中的像素点,因此可以通过在所述待测距目标在选择的图像中所占的区域中查找与关键信息匹配的像素点。
示例性的,查找匹配方式可以是sift匹配方式,或者也可以是surf匹配方式,本申请对此不进行限定。
以关键信息是线为例,如图3B所示,(b)为从已采集的图像中选择的图像,在(b)中,从待测距目标与图像下边缘的交汇处提取一条线(白色虚线),该线所占像素即为要提取的关键信息;(a)为当前遍历的图像,待测距目标未露全,有一部分已进入盲区,在(a)中,通过在待测距目标在图像中所占的区域中查找与关键信息匹配的像素点(白色虚线所占的像素点即为匹配到的像素点)。
步骤303:依据选择的图像确定所述待测距目标未进入盲区时距车载相机的实际距离。
在一实施例中,由于选择的图像是所述待测距目标未进入盲区的图像,因此可以采用小孔成像原理获得所述待测距目标距车载相机的实际距离。
其中,基于小孔成像原理测量目标距相机的距离公式如下:
其中,c1=cos(θ)、s1=sin(θ)、c2=cos(β)、s2=sin(β);θ表示的是相机的俯仰角;β表示的是相机的偏航角;H表示的是相机距离地面的安装高度;fx、fy分别表示相机在X、Y方向上的等效焦距,(u0,v0)表示的是相机光心坐标;(u,v)表示的是目标在图像中与地面的交汇处的像素坐标;xw、yW分别表示的是目标分别在水平方向和纵向方向上距相机的实际距离,所述水平方向指的是相机坐标系(相机的光心为原点,相机光轴为Z轴,X轴和Y轴分别与图像坐标系的x轴和y轴平行)中的X轴方向,所述纵向方向指的是相机坐标系中的Z轴方向,即相机光轴方向。
基于上述公式,通过在选择的图像中提取待测距目标与地面交汇处的像素点的像素坐标,并将提取的像素坐标输入上述公式,从而可获得待测距目标分别在水平方向和纵向方向上距车载相机的实际距离。
值得注意的是,本实施例需要计算的是目标距车辆的纵向实际距离,因此保留待测距目标在纵向方向上距车载相机的实际距离即可。
步骤304:依据所述待检测目标未进入盲区时距车载相机的实际距离,确定所述像素点所指示的目标点距地面的实际高度,并将所述实际高度和所述待测距目标未进入盲区时距车载相机的实际距离作为测距信息。
由于单个凸透镜的成像损失了图像的深度信息,因此利用小孔成像原理是无法直接得到目标的实际高度,但如果将相机垂直于地面安装(即相机的俯仰角为0°),则可以采用小孔成像原理并结合数学关系式得到准确度比较高的目标高度。
如图3C所示,相机成像平面为AB,h′为目标在图像中的高度(可以在检测目标过程中获得),h为目标的实际高度,相机的安装高度为H(已知量),相机焦距为f(已知量),假设由上述基于小孔成像原理得到的目标在纵向方向上距相机的实际距离为y,由三角形相似原理,可得相似公式:
需要说明的是,在实际安装相机过程中,相机的俯仰角不可能完全为0°,通常会有偏差,如图3D所示,相机的俯仰角为θ,在成像平面上目标投影的高度是AC,而不是AB,但该偏差很小可以近似为0°,仍然可以使用上述公式估计目标高度。
基于上述介绍,只要车载相机的成像平面满足与地面垂直的条件,即可用上述相似公式计算目标高度。
在一可选方式中,可以直接用上述相似公式计算像素点所指示的目标点距地面的实际高度,实现过程是:在选择的图像中,确定所述像素点距所述待测距目标指定边界的像素距离,并依据所述像素距离和未进入盲区时距车载相机的实际距离,确定所述像素点所指示的目标点距地面的实际高度。
示例性的,待测距目标指定边界可以是待测距目标所在目标框的下边缘,从而可以确定所述像素点与待测距目标所在目标框的下边缘之间的像素距离,然后将该像素距离作为h′和未进入盲区时距车载相机的实际距离y代入上述相似公式,得到所述像素点所指示的目标点距地面的实际高度h。
在另一可选方式中,还可以先在选择的图像中确定所述待测距目标所占区域的像素高度,并依据所述像素高度和未进入盲区时距车载相机的实际距离,确定所述待测距目标的实际高度。然后再在选择的图像中确定所述像素点与所述待测距目标指定边界之间的像素距离占所述像素高度的比例,并依据所述比例和所述待测距目标的实际高度,确定所述像素点所指示的目标点距地面的实际高度。
示例性的,以待测距目标所占区域为目标框,待测距目标指定边界是待测距目标所在目标框的下边缘为例,可以先将待测距目标所在目标框的像素高度h′和未进入盲区时距车载相机的实际距离y代入上述相似公式,得到待测距目标的实际高度,然后再确定像素点与待测距目标所在目标框的下边缘之间的像素距离占整个目标框的比例,进而根据该比例和待测距目标的实际高度得到所述像素点所指示的目标点距地面的实际高度。
步骤305:依据所述像素点所指示的目标点距地面的实际高度和未进入盲区时距车载相机的实际距离,确定待测距目标在选择的图像的采集时间与当前遍历的图像的采集时间之间相对车辆的移动距离。
步骤306:依据待测距目标未进入盲区时距车载相机的实际距离和相对车辆的移动距离,确定待测距目标进入盲区时距车载相机的实际距离。
针对上述步骤305至步骤306的过程,如图3E所示,目标进入盲区后,AB区域无法在相机中可视,而A点(属于关键信息所指示的目标点)距地面的实际高度AB可以通过步骤304得到,即与关键信息匹配的像素点所指示的目标点距地面的实际高度,IH为待测距目标未进入盲区时距相机的实际距离,即由上述步骤303基于小孔成像原理得到的目标在纵向方向上距车载相机的实际距离,另相机距地面的高度OH为已知量,因此,根据平行关系:
可得到,待测距目标在选择的图像的采集时间与当前遍历的图像的采集时间之间相对车辆的移动距离IB。
进而,由HB=IH-IB,得到待测距目标进入盲区时距离车载相机的实际距离HB。
步骤307:依据待测距目标进入盲区时距车载相机的实际距离和车载相机与车辆之间的安装距离,确定待测距目标进入盲区时距车辆的实际距离。
示例性的,在实际应用中,为了避免追尾,驾驶员关心的是目标与车头之间的距离,因此待测距目标进入盲区时距车辆的实际距离可以是待测距目标距车头的实际距离。
其中,由于车载相机安装在车辆引擎盖上方,因此需要预先获得车载相机与车辆之间的安装距离,进而将待测距目标进入盲区时距车辆的实际距离减去安装距离得到待测距目标进入盲区时距车头的实际距离。
至此,完成上述图3A所示实施例的流程,通过图3A实施例可以实现待测距目标进入盲区时与车辆之间的距离测量。
图4为本申请根据一示例性实施例示出的一种目标测距系统结构图,该系统包括:
车载相机410,用于采集图像并发送至处理器420;
处理器420,用于检测每帧图像中的待测距目标,所述车载相机位于车辆引擎盖的上方,所述车载相机的可视区域边界与所述车辆之间的区域为盲区;遍历所述每帧图像,判断当前遍历的图像中的待测距目标是否进入所述盲区;若是,则从已采集的图像中选择一帧采集时间与当前遍历的图像的采集时间的差值最小且所述待测距目标未进入盲区的图像,并基于选择的图像确定所述待测距目标未进入盲区时的测距信息,并依据所述测距信息确定所述待测距目标进入盲区时距所述车辆的实际距离。
对于上述系统实施例中,处理器420中各个步骤的详细实现过程,可以参见上述方法中对应步骤的实现过程,在此不再赘述。
图5为本申请根据一示例性实施例示出的一种目标测距装置的实施例结构图,所述目标测距装置可以应用在处理器上,所述目标测距装置包括:
检测模块510,用于检测车载相机采集的每帧图像中的待测距目标,所述车载相机位于车辆引擎盖的上方,所述车载相机的可视区域边界与所述车辆之间的区域为盲区;
遍历判断模块520,用于遍历所述每帧图像,判断当前遍历的图像中的待测距目标是否进入所述盲区;
选择模块530,用于在判断为是时,从已采集的图像中选择一帧采集时间与当前遍历的图像的采集时间的差值最小且所述待测距目标未进入盲区的图像;
确定模块540,用于基于选择的图像确定所述待测距目标未进入盲区时的测距信息,并依据所述测距信息确定所述待测距目标进入盲区时距所述车辆的实际距离。
在一可选实现方式中,所述检测模块510,具体用于检测车载相机采集的图像中的预设类型的目标,并获得所述目标的目标框;针对在每帧图像中获得的目标框,将与其他目标框不存在连接关系的目标框中的目标确定为待测距目标。
在一可选实现方式中,所述遍历判断模块520,具体用于在当前遍历的图像中确定待测距目标距图像指定边缘的像素距离;确定所述像素距离与图像高度之间的占比;若所述占比超过预设阈值,则确定当前遍历的图像中的待测距目标未进入所述盲区;若所述占比未超过预设阈值,则确定当前遍历的图像中的待测距目标进入所述盲区。
在一可选实现方式中,所述确定模块540,具体用于在基于选择的图像确定所述待测距目标未进入盲区时的测距信息过程中,在当前遍历的图像中提取所述待测距目标的关键信息,所述关键信息为所述待测距目标与图像指定边缘交汇处的像素信息;在选择的图像中查找与所述关键信息匹配的像素点,所述像素点为所述待测距目标在选择的图像中所占区域中的像素点;依据选择的图像确定所述待测距目标未进入盲区时距车载相机的实际距离;依据所述待检测目标未进入盲区时距车载相机的实际距离,确定所述像素点所指示的目标点距地面的实际高度,并将所述实际高度和所述待检测目标未进入盲区时距车载相机的实际距离作为测距信息。
在一可选实现方式中,所述确定模块540,具体用于在依据所述待检测目标未进入盲区时距车载相机的实际距离,确定所述像素点所指示的目标点距地面的实际高度过程中,在选择的图像中,确定所述像素点距所述待测距目标指定边界的像素距离;依据所述像素距离和未进入盲区时距车载相机的实际距离,确定所述像素点所指示的目标点距地面的实际高度;或者,在选择的图像中确定所述待测距目标所占区域的像素高度,并依据所述像素高度和未进入盲区时距车载相机的实际距离,确定所述待测距目标的实际高度;在选择的图像中确定所述像素点与所述待测距目标指定边界之间的像素距离占所述像素高度的比例;依据所述比例和所述待测距目标的实际高度,确定所述像素点所指示的目标点距地面的实际高度;其中,所述车载相机的成像平面与地面垂直。
在一可选实现方式中,所述确定模块540,具体用于在依据所述测距信息确定所述待测距目标进入盲区时距所述车辆的实际距离过程中,依据所述像素点所指示的目标点距地面的实际高度和待测距目标未进入盲区时距车载相机的实际距离,确定待测距目标在选择的图像的采集时间与当前遍历的图像的采集时间之间相对车辆的移动距离;依据待测距目标未进入盲区时距车载相机的实际距离和相对车辆的移动距离,确定待测距目标进入盲区时距车载相机的实际距离;依据待测距目标进入盲区时距车载相机的实际距离和车载相机与车辆之间的安装距离,确定待测距目标进入盲区时距车辆的实际距离。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。
Claims (10)
1.一种目标测距方法,其特征在于,所述方法包括:
检测车载相机采集的每帧图像中的待测距目标,所述车载相机位于车辆引擎盖的上方,所述车载相机的可视区域边界与所述车辆之间的区域为盲区;
遍历所述每帧图像,判断当前遍历的图像中的待测距目标是否进入所述盲区;
若是,则从已采集的图像中选择一帧采集时间与当前遍历的图像的采集时间的差值最小且所述待测距目标未进入盲区的图像;
基于选择的图像确定所述待测距目标未进入盲区时的测距信息,并依据所述测距信息确定所述待测距目标进入盲区时距所述车辆的实际距离。
2.根据权利要求1所述的方法,其特征在于,检测车载相机采集的每帧图像中的待测距目标,包括:
检测车载相机采集的图像中的预设类型的目标,并获得所述目标的目标框;
针对在每帧图像中获得的目标框,将与其他目标框不存在连接关系的目标框中的目标确定为待测距目标。
3.根据权利要求1所述的方法,其特征在于,判断当前遍历的图像中的待测距目标是否进入所述盲区,包括:
在当前遍历的图像中确定待测距目标距图像指定边缘的像素距离;
确定所述像素距离与图像高度之间的占比;
若所述占比超过预设阈值,则确定当前遍历的图像中的待测距目标未进入所述盲区;
若所述占比未超过预设阈值,则确定当前遍历的图像中的待测距目标进入所述盲区。
4.根据权利要求1所述的方法,其特征在于,基于选择的图像确定所述待测距目标未进入盲区时的测距信息,包括:
在当前遍历的图像中提取所述待测距目标的关键信息,所述关键信息为所述待测距目标与图像指定边缘交汇处的像素信息;
在选择的图像中查找与所述关键信息匹配的像素点,所述像素点为所述待测距目标在选择的图像中所占区域中的像素点;
依据选择的图像确定所述待测距目标未进入盲区时距车载相机的实际距离;
依据所述待检测目标未进入盲区时距车载相机的实际距离,确定所述像素点所指示的目标点距地面的实际高度,并将所述实际高度和所述待检测目标未进入盲区时距车载相机的实际距离作为测距信息。
5.根据权利要求4所述的方法,其特征在于,依据所述待检测目标未进入盲区时距车载相机的实际距离,确定所述像素点所指示的目标点距地面的实际高度,包括:
在选择的图像中,确定所述像素点距所述待测距目标指定边界的像素距离;依据所述像素距离和未进入盲区时距车载相机的实际距离,确定所述像素点所指示的目标点距地面的实际高度;或者,
在选择的图像中确定所述待测距目标所占区域的像素高度,并依据所述像素高度和未进入盲区时距车载相机的实际距离,确定所述待测距目标的实际高度;在选择的图像中确定所述像素点与所述待测距目标指定边界之间的像素距离占所述像素高度的比例;依据所述比例和所述待测距目标的实际高度,确定所述像素点所指示的目标点距地面的实际高度;
其中,所述车载相机的成像平面与地面垂直。
6.根据权利要求4所述的方法,其特征在于,依据所述测距信息确定所述待测距目标进入盲区时距所述车辆的实际距离,包括:
依据所述像素点所指示的目标点距地面的实际高度和待测距目标未进入盲区时距车载相机的实际距离,确定待测距目标在选择的图像的采集时间与当前遍历的图像的采集时间之间相对车辆的移动距离;
依据待测距目标未进入盲区时距车载相机的实际距离和相对车辆的移动距离,确定待测距目标进入盲区时距车载相机的实际距离;
依据待测距目标进入盲区时距车载相机的实际距离和车载相机与车辆之间的安装距离,确定待测距目标进入盲区时距车辆的实际距离。
7.一种目标测距装置,其特征在于,所述装置包括:
检测模块,用于检测车载相机采集的每帧图像中的待测距目标,所述车载相机位于车辆引擎盖的上方,所述车载相机的可视区域边界与所述车辆之间的区域为盲区;
遍历判断模块,用于遍历所述每帧图像,判断当前遍历的图像中的待测距目标是否进入所述盲区;
选择模块,用于在判断为是时,从已采集的图像中选择一帧采集时间与当前遍历的图像的采集时间的差值最小且所述待测距目标未进入盲区的图像;
确定模块,用于基于选择的图像确定所述待测距目标未进入盲区时的测距信息,并依据所述测距信息确定所述待测距目标进入盲区时距所述车辆的实际距离。
8.根据权利要求7所述的装置,其特征在于,所述遍历判断模块,具体用于在当前遍历的图像中确定待测距目标距图像指定边缘的像素距离;确定所述像素距离与图像高度之间的占比;若所述占比超过预设阈值,则确定当前遍历的图像中的待测距目标未进入所述盲区;若所述占比未超过预设阈值,则确定当前遍历的图像中的待测距目标进入所述盲区。
9.根据权利要求7所述的装置,其特征在于,所述确定模块,具体用于在基于选择的图像确定所述待测距目标未进入盲区时的测距信息过程中,在当前遍历的图像中提取所述待测距目标的关键信息,所述关键信息为所述待测距目标与图像指定边缘交汇处的像素信息;在选择的图像中查找与所述关键信息匹配的像素点,所述像素点为所述待测距目标在选择的图像中所占区域中的像素点;依据选择的图像确定所述待测距目标未进入盲区时距车载相机的实际距离;依据所述待检测目标未进入盲区时距车载相机的实际距离,确定所述像素点所指示的目标点距地面的实际高度,并将所述实际高度和所述待检测目标未进入盲区时距车载相机的实际距离作为测距信息。
10.一种目标测距系统,其特征在于,所述系统包括:
车载相机,用于采集图像并发送至处理器;
处理器,用于检测每帧图像中的待测距目标,所述车载相机位于车辆引擎盖的上方,所述车载相机的可视区域边界与所述车辆之间的区域为盲区;遍历所述每帧图像,判断当前遍历的图像中的待测距目标是否进入所述盲区;若是,则从已采集的图像中选择一帧采集时间与当前遍历的图像的采集时间的差值最小且所述待测距目标未进入盲区的图像,并基于选择的图像确定所述待测距目标未进入盲区时的测距信息,并依据所述测距信息确定所述待测距目标进入盲区时距所述车辆的实际距离。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910447707.XA CN111998780B (zh) | 2019-05-27 | 2019-05-27 | 目标测距方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910447707.XA CN111998780B (zh) | 2019-05-27 | 2019-05-27 | 目标测距方法、装置及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111998780A true CN111998780A (zh) | 2020-11-27 |
CN111998780B CN111998780B (zh) | 2022-07-01 |
Family
ID=73461282
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910447707.XA Active CN111998780B (zh) | 2019-05-27 | 2019-05-27 | 目标测距方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111998780B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112799098A (zh) * | 2020-12-08 | 2021-05-14 | 深兰科技(上海)有限公司 | 雷达盲区监测方法、装置、电子设备和存储介质 |
CN113103957A (zh) * | 2021-04-28 | 2021-07-13 | 上海商汤临港智能科技有限公司 | 一种盲区监测方法、装置、电子设备及存储介质 |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB9405695D0 (en) * | 1993-03-26 | 1994-05-11 | Mitsubishi Electric Corp | Vehicle-surroundings monitoring apparatus |
JP2011242860A (ja) * | 2010-05-14 | 2011-12-01 | Toyota Motor Corp | 障害物認識装置 |
CN202368473U (zh) * | 2011-12-06 | 2012-08-08 | 陈麒先 | 车辆前方盲区监控装置 |
CN103237685A (zh) * | 2010-12-30 | 2013-08-07 | 明智汽车公司 | 盲区显示装置及方法 |
CN103895572A (zh) * | 2014-04-22 | 2014-07-02 | 北京汽车研究总院有限公司 | 一种前方视野中车辆行驶信息显示装置及方法 |
CN104036275A (zh) * | 2014-05-22 | 2014-09-10 | 东软集团股份有限公司 | 一种车辆盲区内目标对象的检测方法及其装置 |
CN106153000A (zh) * | 2016-06-17 | 2016-11-23 | 合肥工业大学 | 一种前方车辆距离检测方法 |
CN106197382A (zh) * | 2016-08-25 | 2016-12-07 | 北方电子研究院安徽有限公司 | 一种车载单摄像头目标动态测距方法 |
CN106650708A (zh) * | 2017-01-19 | 2017-05-10 | 南京航空航天大学 | 一种自动驾驶障碍物视觉检测方法与系统 |
CN107038713A (zh) * | 2017-04-12 | 2017-08-11 | 南京航空航天大学 | 一种融合光流法和神经网络的运动目标捕捉方法 |
CN107953827A (zh) * | 2016-10-18 | 2018-04-24 | 杭州海康威视数字技术股份有限公司 | 一种车辆盲区预警方法及装置 |
US20180124360A1 (en) * | 2015-03-20 | 2018-05-03 | Nec Corporation | Monitoring system, monitoring method, and monitoring program |
CN108010383A (zh) * | 2017-09-29 | 2018-05-08 | 北京车和家信息技术有限公司 | 基于行驶车辆的盲区检测方法、装置、终端及车辆 |
CN108230393A (zh) * | 2016-12-14 | 2018-06-29 | 贵港市瑞成科技有限公司 | 一种智能车前方运动车辆的测距方法 |
DE102017002221A1 (de) * | 2017-03-08 | 2018-09-13 | Man Truck & Bus Ag | Technik zur Überwachung eines Totwinkelbereichs |
CN108830260A (zh) * | 2018-07-05 | 2018-11-16 | 苏州天瞳威视电子科技有限公司 | 一种基于视觉的盲区检测系统方法 |
US20190118811A1 (en) * | 2017-10-19 | 2019-04-25 | Toyota Jidosha Kabushiki Kaisha | Vehicle speed control device |
-
2019
- 2019-05-27 CN CN201910447707.XA patent/CN111998780B/zh active Active
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB9405695D0 (en) * | 1993-03-26 | 1994-05-11 | Mitsubishi Electric Corp | Vehicle-surroundings monitoring apparatus |
JP2011242860A (ja) * | 2010-05-14 | 2011-12-01 | Toyota Motor Corp | 障害物認識装置 |
CN103237685A (zh) * | 2010-12-30 | 2013-08-07 | 明智汽车公司 | 盲区显示装置及方法 |
CN202368473U (zh) * | 2011-12-06 | 2012-08-08 | 陈麒先 | 车辆前方盲区监控装置 |
CN103895572A (zh) * | 2014-04-22 | 2014-07-02 | 北京汽车研究总院有限公司 | 一种前方视野中车辆行驶信息显示装置及方法 |
CN104036275A (zh) * | 2014-05-22 | 2014-09-10 | 东软集团股份有限公司 | 一种车辆盲区内目标对象的检测方法及其装置 |
US20180124360A1 (en) * | 2015-03-20 | 2018-05-03 | Nec Corporation | Monitoring system, monitoring method, and monitoring program |
CN106153000A (zh) * | 2016-06-17 | 2016-11-23 | 合肥工业大学 | 一种前方车辆距离检测方法 |
CN106197382A (zh) * | 2016-08-25 | 2016-12-07 | 北方电子研究院安徽有限公司 | 一种车载单摄像头目标动态测距方法 |
CN107953827A (zh) * | 2016-10-18 | 2018-04-24 | 杭州海康威视数字技术股份有限公司 | 一种车辆盲区预警方法及装置 |
CN108230393A (zh) * | 2016-12-14 | 2018-06-29 | 贵港市瑞成科技有限公司 | 一种智能车前方运动车辆的测距方法 |
CN106650708A (zh) * | 2017-01-19 | 2017-05-10 | 南京航空航天大学 | 一种自动驾驶障碍物视觉检测方法与系统 |
DE102017002221A1 (de) * | 2017-03-08 | 2018-09-13 | Man Truck & Bus Ag | Technik zur Überwachung eines Totwinkelbereichs |
CN107038713A (zh) * | 2017-04-12 | 2017-08-11 | 南京航空航天大学 | 一种融合光流法和神经网络的运动目标捕捉方法 |
CN108010383A (zh) * | 2017-09-29 | 2018-05-08 | 北京车和家信息技术有限公司 | 基于行驶车辆的盲区检测方法、装置、终端及车辆 |
US20190118811A1 (en) * | 2017-10-19 | 2019-04-25 | Toyota Jidosha Kabushiki Kaisha | Vehicle speed control device |
CN109677407A (zh) * | 2017-10-19 | 2019-04-26 | 丰田自动车株式会社 | 车速控制装置 |
CN108830260A (zh) * | 2018-07-05 | 2018-11-16 | 苏州天瞳威视电子科技有限公司 | 一种基于视觉的盲区检测系统方法 |
Non-Patent Citations (2)
Title |
---|
魏丹: "基于数字图像处理的车辆智能防追尾系统", 《中国优秀硕士学位论文全文数据库(电子期刊)》 * |
魏丹: "基于数字图像处理的车辆智能防追尾系统", 《中国优秀硕士学位论文全文数据库(电子期刊)》, 31 December 2018 (2018-12-31), pages 1 - 71 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112799098A (zh) * | 2020-12-08 | 2021-05-14 | 深兰科技(上海)有限公司 | 雷达盲区监测方法、装置、电子设备和存储介质 |
CN112799098B (zh) * | 2020-12-08 | 2024-04-19 | 深兰科技(上海)有限公司 | 雷达盲区监测方法、装置、电子设备和存储介质 |
CN113103957A (zh) * | 2021-04-28 | 2021-07-13 | 上海商汤临港智能科技有限公司 | 一种盲区监测方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111998780B (zh) | 2022-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10115027B2 (en) | Barrier and guardrail detection using a single camera | |
CN106096525B (zh) | 一种复合型车道识别系统及方法 | |
EP3382336B1 (en) | Stereo camera device | |
JP3596314B2 (ja) | 物体端の位置計測装置および移動体の通行判断装置 | |
Hautiere et al. | Automatic fog detection and estimation of visibility distance through use of an onboard camera | |
JP5157067B2 (ja) | 自動走行用マップ作成装置、及び自動走行装置。 | |
CN106289159B (zh) | 基于测距补偿的车辆测距方法及装置 | |
JP4930046B2 (ja) | 路面判別方法および路面判別装置 | |
US20040057599A1 (en) | Image processing apparatus and method | |
CN107796373B (zh) | 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法 | |
JP2002175535A (ja) | 道路白線認識装置 | |
JP3596339B2 (ja) | 車間距離計測装置 | |
EP2293588A1 (en) | Method for using a stereovision camera arrangement | |
CN108645375B (zh) | 一种用于车载双目系统快速车辆测距优化方法 | |
DE102018108027A1 (de) | Objekterfassungsvorrichtung | |
CN114114312A (zh) | 一种基于多焦距相机与激光雷达融合的三维目标检测方法 | |
JP5539250B2 (ja) | 接近物体検知装置及び接近物体検知方法 | |
CN111998780B (zh) | 目标测距方法、装置及系统 | |
CN109886064A (zh) | 确定可驾驶空间的边界的方法 | |
Lion et al. | Smart speed bump detection and estimation with kinect | |
JP2005157731A (ja) | 車線認識装置および車線認識方法 | |
JP4936045B2 (ja) | 車体色判別装置、方法及びプログラム | |
JP4102885B2 (ja) | 駐車車両検知方法及び駐車車両検知システム | |
CN111414857B (zh) | 一种基于视觉的多特征融合的前方车辆检测方法 | |
KR20160125803A (ko) | 영역 추출 장치, 물체 탐지 장치 및 영역 추출 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |