[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN104155470A - 一种基于双目摄像头的实时车速检测方法及系统 - Google Patents

一种基于双目摄像头的实时车速检测方法及系统 Download PDF

Info

Publication number
CN104155470A
CN104155470A CN201410336598.1A CN201410336598A CN104155470A CN 104155470 A CN104155470 A CN 104155470A CN 201410336598 A CN201410336598 A CN 201410336598A CN 104155470 A CN104155470 A CN 104155470A
Authority
CN
China
Prior art keywords
binocular camera
camera shooting
shooting head
vehicle
optical axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410336598.1A
Other languages
English (en)
Other versions
CN104155470B (zh
Inventor
冯颖
张欣
杜娟
邹超洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201410336598.1A priority Critical patent/CN104155470B/zh
Priority claimed from CN201410336598.1A external-priority patent/CN104155470B/zh
Publication of CN104155470A publication Critical patent/CN104155470A/zh
Application granted granted Critical
Publication of CN104155470B publication Critical patent/CN104155470B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于双目摄像头的实时车速检测方法及系统,步骤如下:1)提取进入双目摄像头视角范围的矩形框和质心坐标,并且对目标车辆进行跟踪;2)通过对目标车辆的跟踪,记录车辆进入和离开双目摄像头视角范围的位置以及时间;3)预先建立双目摄像头视差深度表和双目摄像头各深度处视点距离光轴的垂直长度与其所成像的像素数比例关系表;4)获取车辆进入双目摄像视角范围视点以及离开双目摄像视角范围视点的视差,得出车辆进入和离开位置视点距离光轴的垂直距离长度;5)计算出车辆进入和离开位置视点之间的行驶距离,根据车辆的行驶距离和时间得出车辆的车速。具有速度测量精度高以及能够实现多车道多车辆目标同时测速的优点。

Description

一种基于双目摄像头的实时车速检测方法及系统
技术领域
本发明涉及一种车速的检测方法,特别涉及一种基于双目摄像头的实时车速检测方法及系统。 
背景技术
随着社会的发展、人们生活水平的不断提高,机动车辆的使用已经成为交通运输的重要手段之一。随着机动车辆的投入使用量的不断增大,如何有效实现对机动车辆的管理和统计,对于道路交通安全和管理有着重要作用。而对机动车辆速度的检测则是行车辆管理的一个重要方面。 
目前道路上主要采用雷达、激光或者感应线圈的方式来检测车速。以上方法都已发展得较为成熟,但在使用过程中存在一定的局限性。基于地感线圈的测速方法具有简单快速获得车辆速度的优点,但地感线圈在受到长期挤压后容易损坏,若更换则需要挖开路面重新埋设,维护成本高;基于雷达的测速方法对于多个被检测目标车辆同时出现在检测区域时容易导致检测错误;基于激光的测速方法对驾驶员的眼睛具有较大危害,同时该方法也不能对多车道多车辆目标进行测速,设备成本投入高。 
公告号为CN203365452 U的专利申请文件提出一种基于双目立体视觉车速检测系统。所提出的双目立体视觉车速检测系统中,需要额外使用红外探测装置检测目标车辆,当一条道路上同时有多辆车经过红外探测装置时,车速检测系统将有可能失效,具有一定的局限性。同时精度高、性能稳定的红外探测装置价格昂贵,增加了前期投入和后期维护成本。此外,在使用过程中需要预先知道双目摄像头距离路面的高度和红外探测装置距离双目摄像头的距离,增加了系统使用的复杂度。 
发明内容
本发明的目的在于克服现有技术的缺点与不足,提供一种速度测量精度高以及能够实现多车道多车辆目标同时测速的基于双目摄像头的实时车速检测方 法。 
本发明的另一个目的在于提供一种用于实现上述方法的基于双目摄像头的实时车速检测系统。 
本发明的第一目的通过下述技术方案实现:一种基于双目摄像头的实时车速检测方法,步骤如下: 
1)通过安装于道路旁的双目摄像头检测进入视角范围的车辆:采用三帧差法提取进入双目摄像头视角范围的车辆的矩形框和质心坐标,然后通过卡尔曼预测模型区域匹配运动车辆跟踪算法对目标车辆进行跟踪; 
2)通过对目标车辆的跟踪,记录车辆进入和离开双目摄像头视角范围的位置以及时间; 
3)根据双目视差测距原理建立双目摄像头视差深度表和双目摄像头各深度处视点距离光轴的垂直距离与其所成像的像素数比例关系表; 
4)获取车辆进入双目摄像视角并被检测到位置的视差以及离开双目摄像视角范围位置的视差,通过视差深度表得出车辆进入和离开位置的深度信息;获取车辆进入和离开双目摄像头视角范围的位置处视点距离光轴垂直距离在图像平面中的像素数,根据各深度处视点距离光轴的垂直距离长度与其所成像的像素数比例关系表,得出车辆进入和离开位置视点距离光轴的垂直距离; 
5)根据车辆进入和离开双目摄像头视角范围的位置视点距离光轴的垂直距离以及车辆进入和离开双目摄像头视角范围的位置的深度信息计算出车辆进入和离开双目摄像头视角范围的位置之间的行驶距离,然后根据车辆进入和离开双目摄像头视角范围的时间间隔,得出车辆的车速。 
优选的,所述步骤1)中采用三帧差法提取进入双目摄像头视角范围的目标车辆矩形框和质心坐标,具体过程如下: 
1-1)对双目摄像头拍摄到的图像序列进行中值滤波预处理; 
1-2)选取经过上述处理后的连续三帧图像,为前一帧图像PK-1(x,y)、当前帧图像PK(x,y)和后一帧图像PK+1(x,y),分别计算当前帧与前一帧的帧差图像FD(x,y),当前帧与后一帧的帧差图像FG(x,y); 
1-3)对帧差图像FD(x,y)和FG(x,y)进行二值化和形态学滤波处理; 
1-4)将上述步骤处理后帧差图像FD(x,y)和FG(x,y)进行与运算得到目标图像,通过目标图像提取目标车辆的矩形框和质心坐标。 
更进一步的,所述步骤1)中卡尔曼预测模型区域匹配运动车辆跟踪算法对 目标车辆进行跟踪的过程如下: 
1-5)计算图像序列当前帧和后一帧所提取的目标车辆矩形框的长、宽和质心坐标; 
1-6)获取当前帧图像提取的矩形框和后一帧图像提取的矩形框之间的重叠面S(i),重叠面积从大到小依次作为S(i)矩形框对应车辆的最佳预测、次最佳预测; 
1-7)计算当前帧图像中重叠面S(i)矩形框的面积、长、宽、质心坐标以及后一帧图像中经过卡尔曼预测预测与当前帧图像重叠面S(i)匹配的矩形框的面积、长、宽和质心坐标; 
1-8)计算当前帧图像中重叠面S(i)矩形框与后一帧图像经过预测与当前帧图像重叠面S(i)匹配的矩形框之间质心的距离、面积的差、周长的差以及运动车辆面积的差。 
1-9)若步骤1-8)中得到的质心的距离、面积的差、周长的差以及运动车辆面积的差均小于判决阈值,则认为前后帧图像中目标矩形框对应的车辆为同一辆车。 
优选的,所述步骤3)中双目摄像头视差深度表创建过程如下: 
3-1)在双目摄像头前方放置一块平面板,其中平面板保持与双目摄像头图像平面平行,将平面板移动至距离双目摄像头距离D1处,双目摄像头分别拍摄一张图像,根据这两组图像进行标定求单应性矩阵; 
3-2)将平面板按照d1距离的间隔向双目摄像头移动,拍摄一组图像。 
3-3)利用已求出的单应性矩阵做映射,得到平面板与双目摄像头在各深度下的视差,将深度与其对应视差的数据进行曲线拟合得到视差深度表。 
更进一步的,所述d1的值小于等于0.1米。 
优选的,所述步骤3)中双目摄像头各深度处视点距离光轴的垂直距离长度与其所成像的像素数比例关系表获取过程如下: 
3-4)将标有实际尺寸的棋盘格平面板和双目摄像头平行放置,将棋盘格平面板放置于距离摄像头距离D2处,并且向摄像头方向移动,每次移动距离d2,拍摄一组图像; 
3-5)通过视点的成像位置,得出各深度处视点距离光轴的垂直距离长度所成像的像素数,根据棋盘格上视点的位置,可以得出棋盘格上视点距离光轴的距离从而得出双目摄像头各深度处视点距离光轴的垂直距离长度与其所成像的 像素数比例关系,其中同一深度视点距离光轴的垂直距离长度与其所成像的像素数比例值相同。 
更进一步的,所述d2的值小于等于0.1米。 
优选的,所述步骤5)中车辆进入双目摄像头视角范围的位置视点A和离开双目摄像头视角范围的位置视点B之间的距离AB求取过程如下: 
5-1)双目摄像头获取视点A和B的视差,通过视差深度表,根据视点A的视差查出A点深度C1O1′和C2O2′,根据视点B的视差查出B点深度C1O1″和C2O2″,其中C1和C2为分别双目摄像头的光心;O1′为视点A在光心C1发射的光轴上的投影,O1″为视点B在光心C1发射的光轴上的投影,O2′为视点A在光心C1发射的光轴上的投影,O2″为视点B在光心C1发射的光轴上的投影;AO1′为视点A距离光轴的垂直距离长度,BO1″分为视点B距离光轴的垂直距离长度; 
5-2)获取AO1′和BO1″在双目摄像头图像平面上的成像A1′O1和B1′O1,其中O1为图像平面的中心,其中O1也在C1发射的光轴上;获取图像平面上的成像A1′O1和B1′O1的像素长度,根据A和B的深度,通过双目摄像头各深度处视点距离光轴的垂直距离长度与其所成像的像素数比例关系表,获取AO1′和BO1″的长度; 
5-3)根据AO1′和A点深度C1O1′获取直角三角形C1O1′A的内角α和C1A,其中α=∠O1′C1A,根据BO1″和B点深度C1O1″获取直角三角形C1O1″B的内角β和C1B,其中β=∠O1″C1B; 
5-4)根据O1C1A′=∠O1′C1A=α以及A1′O1的像素长度,获取直角三角形C1O1A1′中C1A1′的像素长度,根据O1C1B1′=∠O1′C1B=β以及B1′O1的向所长度,获取直角三角形C1O1B1′中C1B1′的像素长度;根据A1′和B1′在图像平面的位置计算出A1′B1′的像素长度; 
5-5)根据C1A1′、C1B1′和A1′B1′的像素长度,通过余弦定理获取三角形C1A1′B1′的内角θ,其中θ=∠A1′C1B1′;根据三角形C1AB中∠AC1B=∠A1′C1B1′=θ以及C1A和C1B,通过余弦定理获取三角形C1AB中AB的长度; 
AB = ( C 1 A ) 2 + ( C 1 B ) 2 - 2 ( C 1 A ) ( C 1 B ) cos θ .
本发明的第二目的通过以下技术方案实现:一种基于双目摄像头的实时车速检测系统,包括双目摄像头装置以及与双目摄像头装置通过电缆连接的后台监控系统,所述后台监控系统包括车辆检测模块、跟踪模块和距离测量模块; 
车辆检测模块:通过多帧差法提取进入双目摄像头视角范围的矩形框和质心坐标; 
跟踪模块:通过卡尔曼预测模型区域匹配运动车辆跟踪算法对目标车辆进行跟踪; 
距离测量模块:根据双目摄像头视差深度表和双目摄像头各深度处视点距离光轴的垂直距离长度与其所成像的像素数比例关系表求取车辆进入和离开双目摄像头视角范围的位置视点之间的距离,然后根据车辆进入和离开双目摄像头视角范围的位置视点的时间,计算出车辆的车速。 
优选的,所述双目摄像头包括两台独立的摄像头,所述两台摄像头之间的距离为40cm~60cm,且互相平行;所述双目摄像头装置安装在摄像头托架装置上,摄像头托架装置设置在道路旁。 
本发明相对于现有技术具有如下的优点及效果: 
(1)本发明通过双目摄像头拍摄进入视角范围的车辆,并且通过多帧方法和卡尔曼预测模型区域匹配运动车辆跟踪算法对进入双目摄像头视角范围的车辆进行检测和跟踪,然后通过预先创建的双目摄像头视差深度表以及双目摄像头各深度处视点距离光轴的垂直距离长度与其所成像的像素数比例关系表,获取车辆进入双目摄像视角范围位置的视差以及离开双目摄像视角范围位置的视差,根据车辆进入和离开位置距离光轴的垂直距离长度、车辆进入和离开位置的深度信息计算得到到车辆进入和离开双目摄像头视角范围的行驶距离,再通过车辆进入和离开双目摄像头视角范围的行驶时间,得到车辆的行驶速度。本发明方法能够同时针对进入和离开双目摄像头视角范围的每部车辆计算出行驶距离,因此能够同时实现多车道多目标的测量,并且具有测量速度快以及精度高的优点。 
(2)本发明设备投入和维护成本低,可以改装当前道路上的视频监控系统,在监控的同时可以采用本发明方法有选择对目标车辆进行车速检测,将大大的减少智能交通系统在设备上的投入和维护成本,克服原始测速方法投入大且维修成本高的问题。 
附图说明
图1是本发明方法流程图。 
图2是本发明三帧差法提取进入双目摄像头视角范围的目标车辆矩形框和质心坐标的流程图。 
图3是本发明卡尔曼预测模型区域匹配运动车辆跟踪算法对目标车辆进行 跟踪流程图。 
图4是本发明双目视差测距原理图。 
图5是本发明中不同深度下视点距离光轴的垂直距离长度与其所成像的像素数比例关系示意图。 
图6是本发明车辆进入和离开位置视点之间距离计算原理图。 
图7是本发明双目摄像头及其视角示意图。 
图8是本发明双目摄像头视角范围内各通道车辆行驶距离模型图。 
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。 
实施例 
如图1所示,本实施例公开了一种基于双目摄像头的实时车速检测方法,步骤如下: 
1)通过安装于道路旁的双目摄像头检测进入视角范围的车辆:采用三帧差法提取进入双目摄像头视角范围的车辆的矩形框和质心坐标,并且通过卡尔曼预测模型区域匹配运动车辆跟踪算法对目标车辆进行跟踪; 
如图2所示,其中本实施例中采用三帧差法提取进入双目摄像头视角范围的目标车辆矩形框和质心坐标,具体过程如下: 
1-1)对双目摄像头拍摄到的图像序列进行3×3中值滤波预处理;去掉图像随机噪声。减少以后运算的复杂度,克服噪声对图像处理结果的干扰; 
1-2)选取经过上述处理后的连续三帧图像,其中前一帧图像PK-1(x,y)、当前帧图像PK(x,y)和后一帧图像PK+1(x,y),并且分别计算当前帧与前一帧的帧差图像FD(x,y),当前帧与后一帧的帧差图像FG(x,y), 
1-3)对帧差图像FD(x,y)和FG(x,y)进行二值化和形态学滤波处理; 
1-4)将上述步骤处理后帧差图像FD(x,y)和FG(x,y)进行与运算得到目标图像,通过目标图提取当前帧图像目标车辆的矩形框和质心坐标。 
如图3所示,本实施例中卡尔曼预测模型区域匹配运动车辆跟踪算法对目标车辆进行跟踪的过程如下: 
1-5)计算图像序列当前帧与后一帧所提取的目标车辆矩形框的长、宽和质心坐标; 
1-6)获取当前帧K图像提取的矩形框和后一帧K+1图像提取的矩形框之间的重叠面S(i),重叠面积从大到小依次作为S(i)矩形框对后一帧K+1车辆的最佳预测、次最佳预测; 
1-7)计算当前帧K图像中重叠面S(i)矩形框的面积、长、宽、质心坐标以及后一帧K+1图像中经过卡尔曼滤波预测与当前帧图像重叠面S(i)匹配的矩形框的面积、长、宽和质心坐标; 
1-8)计算当前帧K图像中重叠面S(i)矩形框与后一帧K+1图像经过卡尔曼预测预测与当前帧图像重叠面S(i)匹配的矩形框之间质心的距离、面积的差、周长的差以及运动车辆面积的差; 
1-9)若步骤1-8)中得到的质心的距离、面积的差、周长的差以及运动车辆面积的差均小于判决阈值,则认为前后帧图像中的重叠矩形框为同一辆车。其中本实施例中的判决阈值根据实际情况进行设定。 
2)通过目标车辆的跟踪记录车辆进入和离开双目摄像头视角范围的位置以及时间; 
3)根据双目视差测距原理建立双目摄像头视差深度表,获取双目摄像头各深度处视点距离光轴的垂直距离长度与其所成像的像素数比例关系表; 
其中本实施例中双目摄像头视差深度表创建过程如下: 
3-1)在双目摄像头前方放置一块平面板,其中平面板保持与双目摄像头图像平面平行,将平面板移动至距离双目摄像头较远处,如10~100米处,然后双目摄像头分别拍摄一张图像,根据这两组图像进行标定求单应性矩阵; 
3-2)将平面板按照0.1米距离的间隔向双目摄像头移动,拍摄一组图像。 
3-3)利用已求出的单应性矩阵做映射,得到平面板与双目摄像头各距离下的视差,即双目摄像头各深度下的视差,通过matlab软件根据深度与视差的反比例关系将深度与其对应视差的数据进行曲线拟合得到视差深度表。 
如图4所示,根据双目视差测距原理,得到深度L与双目摄像头拍摄的两个图像平面的视差满足反比例关系: 
L = b * f X ;
其中b基线长度、f为摄像头焦距、X为视差。 
本实施例中双目摄像头各深度处视点距离光轴的垂直距离长度与其所成像的像素数比例关系表获取过程如下: 
3-4)将标有实际尺寸的棋盘格平面板和双目摄像头平行放置,将棋盘格平 面板放置于距离摄像头10~100米处,并且向摄像头方向移动,每次移动距离0.1米,拍摄一组图像; 
3-5)通过视点的成像位置,得出各深度处视点距离光轴的垂直距离长度所成像的像素数,根据棋盘格上视点的位置,可以得出棋盘格上视点距离光轴的距离;得出双目摄像头各深度处视点距离光轴的垂直距离长度与其所成像的像素数比例关系,其中同一深度视点距离光轴的垂直距离长度与其所成像的像素数比例值相同。通过matlab软件将各深度处点距离光轴的垂直距离长度与其所成像的像素数的数据进行曲线拟合得到双目摄像头各深度处视点距离光轴的垂直距离长度与其所成像的像素数比例关系表。如图5所示,在图像平面上的投影分别为像素数直线段1和2,对应于深度d11处的两个视点距离光轴的垂直距离分别是3和4,对应于深度d22处的的两个视点距离光轴的垂直距离长度是5和6。其中对应于深度d11,直线段1对应的像素长度和3对应的视点距离光轴的垂直距离比值与直线段2对应的像素长度和4对应的视点距离光轴的垂直距离比值相同;对应于深度d12,直线段1对应的像素长度和5对应的视点距离光轴的垂直距离比值与直线段2对应的像素长度和6对应的视点距离光轴的垂直距离比值相同 
4)获取车辆进入双目摄像位置并被检测到位置视点的视差以及离开双目摄像视角范围位置的视差,通过视差深度表得出车辆进入和离开位置视点的深度信息;获取车辆进入和离开双目摄像头视角范围的位置处视点距离光轴垂直距离长度在成像图中的像素数,根据各深度处视点距离光轴的垂直距离长度与其所成像的像素数比例关系表,得出车辆进入和离开双目摄像头视角范围的位置视点距离光轴的垂直距离长度; 
5)根据车辆进入和离开双目摄像头视角范围的位置距离光轴的垂直距离长度以及车辆进入和离开双目摄像头视角范围的位置的深度信息以及车辆进入和离开点与双目摄像头光心的夹角,运用余弦定理计算出车辆进入和离开双目摄像头视角范围的位置视点之间的行驶距离,然后根据车辆进入和离开位置的时间,得出车辆的车速。 
其中本实施例车辆进入双目摄像头视角范围的位置视点A和离开双目摄像头视角范围的位置视点B之间的距离AB求取过程如下: 
5-1)双目摄像头获取视点A和B的视差,通过视差深度表,根据视点A的视差查出A点深度C1O1′和C2O2′,根据视点B的视差查出B点深度C1O1″和 C2O2″,其中如图6所示,C1和C2为分别双目摄像头的光心;O1′为视点A在光心C1发射的光轴上的投影,O1″为视点B在光心C1发射的光轴上的投影,O2′为视点A在光心C1发射的光轴上的投影,O2″为视点B在光心C1发射的光轴上的投影;AO1′为视点A距离光轴的垂直距离长度,BO1″分为视点B距离光轴的垂直距离长度; 
5-2)获取AO1′和BO1″在双目摄像头图像平面上的成像A1′O1和B1′O1,如图6所示,其中O1为图像平面的中心,其中O1也在C1发射的光轴上;获取图像平面上的成像A1′O1和B1′O1的像素长度,根据A和B的深度,通过双目摄像头各深度处视点距离光轴的垂直距离长度与其所成像的像素数比例关系表,获取AO1′和BO1″的长度; 
5-3)根据AO1′和A点深度C1O1′获取直角三角形C1O1′A的内角α和C1A,其中α=∠O1′C1A,根据BO1″和B点深度C1O1″获取直角三角形C1O1″B的内角β和C1B,其中β=∠O1″C1B; 
5-4)根据O1C1A′=∠O1′C1A=α以及A1′O1的像素长度,获取直角三角形C1O1A1′中C1A1′的像素长度,根据O1C1B1′=∠O1′C1B=β以及B1′O1的向所长度,获取直角三角形C1O1B1′中C1B1′的像素长度;根据A1′和B1′在图像平面的位置计算出A1′B1′的像素长度; 
5-5)根据C1A1′、C1B1′和A1′B1′的像素长度,通过余弦定理获取三角形C1A1′B1′的内角θ,其中θ=∠A1′C1B1′: 
θ = arccos ( C 1 A 1 ′ ) 2 + ( C 1 B 1 ′ ) 2 + ( A 1 ′ B 1 ′ ) 2 2 ;
根据三角形C1AB中∠AC1B=∠A1′C1B1′=θ以及C1A和C1B,通过余弦定理获取三角形C1AB中AB的长度; 
AB = ( C 1 A ) 2 + ( C 1 B ) 2 - 2 ( C 1 A ) ( C 1 B ) cos θ ;
得到车速v为: 
v = AB t 2 - t 1 ;
其中t1为车辆进入双目摄像到视角范围的时间,t2为车辆离开双目摄像到视角范围的时间。 
本实施例还公开了用于实现上述一种基于双目摄像头的实时车速检测系统,包括双目摄像头以及与双目摄像头通过电缆连接的后台监控系统,所述后台监控系统包括车辆检测模块、跟踪模块和距离测量模块; 
车辆检测模块:通过多帧差法提取进入双目摄像头视角范围的矩形框和质心坐标; 
跟踪模块:通过卡尔曼预测模型区域匹配运动车辆跟踪算法对目标车辆进行跟踪; 
距离测量模块:根据双目摄像头视差深度表和双目摄像头各深度处视点距离光轴的垂直距离长度与其所成像的像素数比例关系表求取车辆进入和离开双目摄像头视角范围的位置视点的距离,然后根据车辆进入和离开位置的时间,计算出车辆的车速。 
如图7所示,本实施例中的双目摄像头包括两台独立的型号相同的摄像头,工作输出为8bit RGB图像,两台摄像头之间的距离为40cm~60cm,且互相平行,其中双目摄像头的视角范围如图7中55所示,双目摄像头44安装在摄像头托架装置上,摄像头托架装置设置在道路旁。根据实际情况通过摄像头托架装置调整摄像头高度,保证摄像头能监控道路上一定范围内的车辆。 
如图8所示为本实施例基于双目摄像头实时车速检测方法和系统的数学模型图。 
按照本实施例上述车速检测方法可以求得双目摄像头不同视角范围内不同车辆进入和离开时行驶距离为A1B1、A2B2、A3B3、、、,然后由PC可以计算得到车辆进入和离开视角的行驶时间分别T1、T2、T3、、、,通过步骤5)计算公式可以计算得到车辆的车速,可见本实施例方法能够实现多车道多车辆目标同时测速。 
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。 

Claims (10)

1.一种基于双目摄像头的实时车速检测方法,其特征在于,步骤如下: 
1)通过安装于道路旁的双目摄像头检测进入视角范围的车辆:采用三帧差法提取进入双目摄像头视角范围的车辆的矩形框和质心坐标,然后通过卡尔曼预测模型区域匹配运动车辆跟踪算法对目标车辆进行跟踪; 
2)通过对目标车辆的跟踪,记录车辆进入和离开双目摄像头视角范围的位置以及时间; 
3)根据双目视差测距原理建立双目摄像头视差深度表和双目摄像头各深度处视点距离光轴的垂直距离长度与其所成像的像素数比例关系表; 
4)获取车辆进入双目摄像视角并被检测到位置视点的视差以及离开双目摄像视角范围位置视点的视差,通过视差深度表得出车辆进入和离开位置的深度信息;获取车辆进入和离开双目摄像头视角范围的位置处视点距离光轴垂直距离长度在成像图中的像素数,根据各深度处视点距离光轴的垂直距离长度与其所成像的像素数比例关系表,得出车辆进入和离开双目摄像头视角范围的位置距离光轴的垂直距离长度; 
5)根据车辆进入和离开双目摄像头视角范围的位置距离光轴的垂直距离长度以及车辆进入和离开双目摄像头视角范围的位置的深度信息计算出车辆进入和离开双目摄像头视角范围的位置之间的行驶距离,然后根据车辆进入和离开双目摄像头视角范围的时间间隔,得出车辆的车速。 
2.根据权利要求1所述的基于双目摄像头的实时车速检测方法,其特征在于,所述步骤1)中采用三帧差法提取进入双目摄像头视角范围的目标车辆矩形框和质心坐标,具体过程如下: 
1-1)对双目摄像头拍摄到的图像序列进行中值滤波预处理; 
1-2)选取经过上述处理后的连续三帧图像,为前一帧图像PK-1(x,y)、当前帧图像PK(x,y)和后一帧图像PK+1(x,y),分别计算当前帧与前一帧的帧差图像FD(x,y),当前帧与后一帧的帧差图像FG(x,y); 
1-3)对帧差图像FD(x,y)和FG(x,y)进行二值化和形态学滤波处理; 
1-4)将上述步骤处理后帧差图像FD(x,y)和FG(x,y)进行与运算得到目标图像,通过目标图像提取目标车辆的矩形框和质心坐标。 
3.根据权利要求2所述的基于双目摄像头的实时车速检测方法,其特征在 于,所述步骤1)中卡尔曼预测模型区域匹配运动车辆跟踪算法对目标车辆进行跟踪的过程如下: 
1-5)计算图像序列当前帧和后一帧所提取的目标车辆矩形框的长、宽和质心坐标; 
1-6)获取当前帧图像提取的矩形框和后一帧图像提取的矩形框之间的重叠面S(i),重叠面积从大到小依次作为S(i)矩形框对应车辆的最佳预测、次最佳预测; 
1-7)计算当前帧图像中重叠面S(i)矩形框的面积、长、宽、质心坐标以及后一帧图像中经过卡尔曼预测预测与当前帧图像重叠面S(i)匹配的矩形框的面积、长、宽和质心坐标; 
1-8)计算当前帧图像中重叠面S(i)矩形框与后一帧图像经过预测与当前帧图像重叠面S(i)匹配的矩形框之间质心的距离、面积的差、周长的差以及运动车辆面积的差; 
1-9)若步骤1-8)中得到的质心的距离、面积的差、周长的差以及运动车辆面积的差均小于判决阈值,则认为前后帧图像中目标矩形框对应的车辆为同一辆车。 
4.根据权利要求1所述的基于双目摄像头的实时车速检测方法,其特征在于,所述步骤3)中双目摄像头视差深度表创建过程如下: 
3-1)在双目摄像头前方放置一块平面板,其中平面板保持与双目摄像头图像平面平行,将平面板移动至距离双目摄像头距离D1处,双目摄像头分别拍摄一张图像,根据这两组图像进行标定求单应性矩阵; 
3-2)将平面板按照d1距离的间隔向双目摄像头移动,拍摄一组图像; 
3-3)利用已求出的单应性矩阵做映射,得到平面板与双目摄像头各距离下的视差,即双目摄像头各深度下的视差,将深度与其对应视差的数据进行曲线拟合得到视差深度表。 
5.根据权利要求4所述的基于双目摄像头的实时车速检测方法,其特征在于,所述d1的值小于等于0.1米。 
6.根据权利要求1所述的基于双目摄像头的实时车速检测方法,其特征在于,所述步骤3)中双目摄像头各深度处视点距离光轴的垂直距离长度与其所成像的像素数比例关系表获取过程如下: 
3-4)将标有实际尺寸的棋盘格平面板和双目摄像头平行放置,将棋盘格平 面板放置于距离摄像头距离D2处,并且向摄像头方向移动,每次移动距离d2,拍摄一组图像; 
3-5)通过视点的成像位置,得出各深度处视点距离光轴的垂直距离长度所成像的像素数,根据棋盘格上视点的位置,可以得出棋盘格上视点距离光轴的距离从而得出双目摄像头各深度处视点距离光轴的垂直距离长度与其所成像的像素数比例关系,其中同一深度视点距离光轴的垂直距离长度与其所成像的像素数比例值相同。 
7.根据权利要求6所述的基于双目摄像头的实时车速检测方法,其特征在于,所述d2的值小于等于0.1米。 
8.根据权利要求1所述的基于双目摄像头的实时车速检测方法,其特征在于,所述步骤5)中车辆进入双目摄像头视角范围的位置视点A和离开双目摄像头视角范围的位置视点B之间的距离AB求取过程如下: 
5-1)双目摄像头获取视点A和B的视差,通过视差深度表,根据视点A的视差查出A点深度C1O1′和C2O2′,根据视点B的视差查出B点深度C1O1″和C2O2″,其中C1和C2为分别双目摄像头的光心;O1′为视点A在光心C1发射的光轴上的投影,O1″为视点B在光心C1发射的光轴上的投影,O2′为视点A在光心C1发射的光轴上的投影,O2″为视点B在光心C1发射的光轴上的投影;AO1′为视点A距离光轴的垂直距离长度,BO1″分为视点B距离光轴的垂直距离长度; 
5-2)获取AO1′和BO1″在双目摄像头图像平面上的成像A1′O1和B1′O1,其中O1为图像平面的中心,其中O1也在C1发射的光轴上;获取图像平面上的成像A1′O1和B1′O1的像素长度,根据A和B的深度,通过双目摄像头各深度处视点距离光轴的垂直距离长度与其所成像的像素数比例关系表,获取AO1′和BO1″的长度; 
5-3)根据AO1′和A点深度C1O1′获取直角三角形C1O1′A的内角α和C1A,其中α=∠O1′C1A,根据BO1″和B点深度C1O1″获取直角三角形C1O1″B的内角β和C1B,其中β=∠O1″C1B; 
5-4)根据O1C1A′=∠O1′C1A=α以及A1′O1的像素长度,获取直角三角形C1O1A1′中C1A1′的像素长度,根据O1C1B1′=∠O1′C1B=β以及B1′O1的向所长度,获取直角三角形C1O1B1′中C1B1′的像素长度;根据A1′和B1′在图像平面的位置计算出A1′B1′的像素长度; 
5-5)根据C1A1′、C1B1′和A1′B1′的像素长度,通过余弦定理获取三角形C1A1′B1′的内角θ,其中θ=∠A1′C1B1′;根据三角形C1AB中∠AC1B=∠A1′C1B1′=θ以及C1A和C1B, 通过余弦定理获取三角形C1AB中AB的长度; 
9.一种基于双目摄像头的实时车速检测系统,包括双目摄像头装置以及与双目摄像头装置通过电缆连接的后台监控系统,其特征在于,所述后台监控系统包括车辆检测模块、跟踪模块和距离测量模块; 
车辆检测模块:通过多帧差法提取进入双目摄像头视角范围的矩形框和质心坐标; 
跟踪模块:通过卡尔曼预测模型区域匹配运动车辆跟踪算法对目标车辆进行跟踪; 
距离测量模块:根据双目摄像头视差深度表和双目摄像头各深度处视点距离光轴的垂直距离长度与其所成像的像素数比例关系表求取车辆进入和离开双目摄像头视角范围的位置视点之间的距离,然后根据车辆进入和离开双目摄像头视角范围的位置视点的时间,计算出车辆的车速。 
10.根据权利要求9所述的基于双目摄像头的实时车速检测系统,其特征在于,所述双目摄像头包括两台独立的摄像头,所述两台摄像头之间的距离为40cm~60cm,且互相平行;所述双目摄像头装置安装在摄像头托架装置上,摄像头托架装置设置在道路旁。 
CN201410336598.1A 2014-07-15 一种基于双目摄像头的实时车速检测方法及系统 Expired - Fee Related CN104155470B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410336598.1A CN104155470B (zh) 2014-07-15 一种基于双目摄像头的实时车速检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410336598.1A CN104155470B (zh) 2014-07-15 一种基于双目摄像头的实时车速检测方法及系统

Publications (2)

Publication Number Publication Date
CN104155470A true CN104155470A (zh) 2014-11-19
CN104155470B CN104155470B (zh) 2017-01-04

Family

ID=

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574993A (zh) * 2014-12-30 2015-04-29 北京汉王智通科技有限公司 一种道路监控的方法及装置
CN105628951A (zh) * 2015-12-31 2016-06-01 北京小孔科技有限公司 用于测量对象的速度的方法和装置
CN106370883A (zh) * 2016-08-31 2017-02-01 宇龙计算机通信科技(深圳)有限公司 一种测速方法及终端
CN106375706A (zh) * 2015-07-22 2017-02-01 宇龙计算机通信科技(深圳)有限公司 利用双摄像头进行运动物体测速的方法、装置及移动终端
CN106803262A (zh) * 2016-12-21 2017-06-06 上海交通大学 利用双目视觉自主解算汽车速度的方法
CN106872722A (zh) * 2017-04-25 2017-06-20 北京精英智通科技股份有限公司 一种速度的测量方法和装置
CN107255812A (zh) * 2017-06-30 2017-10-17 努比亚技术有限公司 基于3d技术的测速方法、移动终端、及存储介质
CN107395972A (zh) * 2017-07-31 2017-11-24 华勤通讯技术有限公司 一种快速移动对象的拍摄方法及终端
CN107463174A (zh) * 2017-08-01 2017-12-12 沈阳工业大学 应用于随动小车上的红外测距引导方法
CN108877269A (zh) * 2018-08-20 2018-11-23 清华大学 一种交叉路口车辆状态检测及v2x广播方法
CN109126116A (zh) * 2018-06-01 2019-01-04 成都通甲优博科技有限责任公司 一种体感互动方法及其系统
CN109767629A (zh) * 2019-02-01 2019-05-17 深圳市润泽材料科技有限公司 一种集成测速功能的摄像系统及其测速方法
CN109829401A (zh) * 2019-01-21 2019-05-31 深圳市能信安科技股份有限公司 基于双拍摄设备的交通标志识别方法及装置
CN109859272A (zh) * 2018-12-18 2019-06-07 像工场(深圳)科技有限公司 一种自动对焦双目摄像头标定方法及装置
CN110097763A (zh) * 2018-01-30 2019-08-06 保定市天河电子技术有限公司 一种多车道车辆速度测量方法及系统
CN110490117A (zh) * 2019-08-14 2019-11-22 智慧互通科技有限公司 一种基于图像深度信息的停车事件确定方法及系统
CN110490938A (zh) * 2019-08-05 2019-11-22 Oppo广东移动通信有限公司 用于校验摄像头标定参数的方法、装置及电子设备
CN110824188A (zh) * 2019-10-17 2020-02-21 浙江大华技术股份有限公司 高速公路车辆的测速方法、装置、编解码器及存储装置
CN111539990A (zh) * 2020-04-20 2020-08-14 深圳Tcl数字技术有限公司 运动物体位置检测方法、装置、设备及介质
CN111583669A (zh) * 2019-02-15 2020-08-25 杭州海康威视数字技术股份有限公司 一种超速检测方法、装置、控制设备和存储介质
CN111835968A (zh) * 2020-05-28 2020-10-27 北京迈格威科技有限公司 图像清晰度还原方法及装置、图像拍摄方法及装置
CN111915641A (zh) * 2020-08-12 2020-11-10 四川长虹电器股份有限公司 一种基于tof技术的车辆测速方法及系统
CN112990128A (zh) * 2021-04-27 2021-06-18 电子科技大学 一种基于视频跟踪的多车辆测速方法
CN113433339A (zh) * 2021-06-17 2021-09-24 武汉唯理科技有限公司 一种基于双摄像机的测速方法、系统、计算机设备及可读介质
CN113556474A (zh) * 2021-09-23 2021-10-26 西南交通大学 刚性接触网悬挂装置的触发拍摄方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5642299A (en) * 1993-09-01 1997-06-24 Hardin; Larry C. Electro-optical range finding and speed detection system
JP2005260885A (ja) * 2004-03-15 2005-09-22 Kyocera Mita Corp 通信端末機器
CN102737386A (zh) * 2012-05-15 2012-10-17 北京硅盾安全技术有限公司 一种运动目标抗融合遮挡跟踪算法
CN103322984A (zh) * 2013-05-13 2013-09-25 成都理工大学 基于视频图像的测距、测速方法及装置
CN103679196A (zh) * 2013-12-05 2014-03-26 河海大学 视频监控中的人车自动分类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5642299A (en) * 1993-09-01 1997-06-24 Hardin; Larry C. Electro-optical range finding and speed detection system
JP2005260885A (ja) * 2004-03-15 2005-09-22 Kyocera Mita Corp 通信端末機器
CN102737386A (zh) * 2012-05-15 2012-10-17 北京硅盾安全技术有限公司 一种运动目标抗融合遮挡跟踪算法
CN103322984A (zh) * 2013-05-13 2013-09-25 成都理工大学 基于视频图像的测距、测速方法及装置
CN103679196A (zh) * 2013-12-05 2014-03-26 河海大学 视频监控中的人车自动分类方法

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574993A (zh) * 2014-12-30 2015-04-29 北京汉王智通科技有限公司 一种道路监控的方法及装置
CN104574993B (zh) * 2014-12-30 2016-07-13 北京数字智通科技有限公司 一种道路监控的方法及装置
CN106375706A (zh) * 2015-07-22 2017-02-01 宇龙计算机通信科技(深圳)有限公司 利用双摄像头进行运动物体测速的方法、装置及移动终端
CN106375706B (zh) * 2015-07-22 2019-12-10 宇龙计算机通信科技(深圳)有限公司 利用双摄像头进行运动物体测速的方法、装置及移动终端
US10289918B2 (en) 2015-12-31 2019-05-14 Pinhole (Beijing) Technology Co., Ltd. Method and apparatus for detecting a speed of an object
CN105628951B (zh) * 2015-12-31 2019-11-19 北京迈格威科技有限公司 用于测量对象的速度的方法和装置
CN105628951A (zh) * 2015-12-31 2016-06-01 北京小孔科技有限公司 用于测量对象的速度的方法和装置
CN106370883B (zh) * 2016-08-31 2020-05-19 宇龙计算机通信科技(深圳)有限公司 一种测速方法及终端
CN106370883A (zh) * 2016-08-31 2017-02-01 宇龙计算机通信科技(深圳)有限公司 一种测速方法及终端
CN106803262A (zh) * 2016-12-21 2017-06-06 上海交通大学 利用双目视觉自主解算汽车速度的方法
CN106872722A (zh) * 2017-04-25 2017-06-20 北京精英智通科技股份有限公司 一种速度的测量方法和装置
CN107255812A (zh) * 2017-06-30 2017-10-17 努比亚技术有限公司 基于3d技术的测速方法、移动终端、及存储介质
CN107395972A (zh) * 2017-07-31 2017-11-24 华勤通讯技术有限公司 一种快速移动对象的拍摄方法及终端
CN107395972B (zh) * 2017-07-31 2020-03-06 华勤通讯技术有限公司 一种快速移动对象的拍摄方法及终端
CN107463174B (zh) * 2017-08-01 2020-08-28 沈阳工业大学 应用于随动小车上的红外测距引导方法
CN107463174A (zh) * 2017-08-01 2017-12-12 沈阳工业大学 应用于随动小车上的红外测距引导方法
CN110097763A (zh) * 2018-01-30 2019-08-06 保定市天河电子技术有限公司 一种多车道车辆速度测量方法及系统
CN110097763B (zh) * 2018-01-30 2021-08-10 保定市天河电子技术有限公司 一种多车道车辆速度测量方法及系统
CN109126116A (zh) * 2018-06-01 2019-01-04 成都通甲优博科技有限责任公司 一种体感互动方法及其系统
CN108877269B (zh) * 2018-08-20 2020-10-27 清华大学 一种交叉路口车辆状态检测及v2x广播方法
CN108877269A (zh) * 2018-08-20 2018-11-23 清华大学 一种交叉路口车辆状态检测及v2x广播方法
CN109859272A (zh) * 2018-12-18 2019-06-07 像工场(深圳)科技有限公司 一种自动对焦双目摄像头标定方法及装置
CN109859272B (zh) * 2018-12-18 2023-05-19 像工场(深圳)科技有限公司 一种自动对焦双目摄像头标定方法及装置
CN109829401A (zh) * 2019-01-21 2019-05-31 深圳市能信安科技股份有限公司 基于双拍摄设备的交通标志识别方法及装置
CN109767629A (zh) * 2019-02-01 2019-05-17 深圳市润泽材料科技有限公司 一种集成测速功能的摄像系统及其测速方法
CN111583669B (zh) * 2019-02-15 2022-01-07 杭州海康威视数字技术股份有限公司 一种超速检测方法、装置、控制设备和存储介质
CN111583669A (zh) * 2019-02-15 2020-08-25 杭州海康威视数字技术股份有限公司 一种超速检测方法、装置、控制设备和存储介质
CN110490938A (zh) * 2019-08-05 2019-11-22 Oppo广东移动通信有限公司 用于校验摄像头标定参数的方法、装置及电子设备
CN110490117A (zh) * 2019-08-14 2019-11-22 智慧互通科技有限公司 一种基于图像深度信息的停车事件确定方法及系统
CN110490117B (zh) * 2019-08-14 2023-04-07 智慧互通科技股份有限公司 一种基于图像深度信息的停车事件确定方法及系统
CN110824188A (zh) * 2019-10-17 2020-02-21 浙江大华技术股份有限公司 高速公路车辆的测速方法、装置、编解码器及存储装置
CN111539990A (zh) * 2020-04-20 2020-08-14 深圳Tcl数字技术有限公司 运动物体位置检测方法、装置、设备及介质
CN111835968A (zh) * 2020-05-28 2020-10-27 北京迈格威科技有限公司 图像清晰度还原方法及装置、图像拍摄方法及装置
CN111835968B (zh) * 2020-05-28 2022-02-08 北京迈格威科技有限公司 图像清晰度还原方法及装置、图像拍摄方法及装置
CN111915641A (zh) * 2020-08-12 2020-11-10 四川长虹电器股份有限公司 一种基于tof技术的车辆测速方法及系统
CN112990128A (zh) * 2021-04-27 2021-06-18 电子科技大学 一种基于视频跟踪的多车辆测速方法
CN113433339A (zh) * 2021-06-17 2021-09-24 武汉唯理科技有限公司 一种基于双摄像机的测速方法、系统、计算机设备及可读介质
CN113433339B (zh) * 2021-06-17 2023-09-08 武汉唯理科技有限公司 一种基于双摄像机的测速方法、系统、计算机设备及可读介质
CN113556474A (zh) * 2021-09-23 2021-10-26 西南交通大学 刚性接触网悬挂装置的触发拍摄方法及装置

Similar Documents

Publication Publication Date Title
EP3057063B1 (en) Object detection device and vehicle using same
WO2021004548A1 (zh) 一种基于双目立体视觉系统的车辆智能测速方法
WO2021004312A1 (zh) 一种基于双目立体视觉系统的车辆智能测轨迹方法
CN107272021B (zh) 使用雷达和视觉定义的图像检测区域的对象检测
CN105225482B (zh) 基于双目立体视觉的车辆检测系统和方法
Kilicarslan et al. Predict vehicle collision by TTC from motion using a single video camera
CN108351207B (zh) 立体相机装置
US8964031B2 (en) Method and system for measuring the speed of a vehicle
CN103738243B (zh) 一种车道偏离预警方法
CN106370884B (zh) 基于双目相机计算机视觉技术的车辆测速方法
CN104575003B (zh) 一种基于道路监控视频的车辆速度检测方法
CN103630122B (zh) 一种单目视觉车道线检测方法及其测距方法
KR20200064873A (ko) 객체와 감지 카메라의 거리차를 이용한 속도 검출 방법
CN105043350A (zh) 一种双目视觉测量方法
CN103197090B (zh) 基于特征点变化的视频测速方法
CN106019264A (zh) 一种基于双目视觉的无人机危险车距识别系统及方法
CN104700414A (zh) 一种基于车载双目相机的前方道路行人快速测距方法
Zhang et al. A real-time curb detection and tracking method for UGVs by using a 3D-LIDAR sensor
JP2013109760A (ja) 対象検知方法及び対象検知システム
El Bouziady et al. Vehicle speed estimation using extracted SURF features from stereo images
CN203489844U (zh) 基于机器视觉及激光光幕车辆外轮廓尺寸测量系统
CN104981836A (zh) 障碍物检测装置和障碍物检测方法
Mammeri et al. Extending the detection range of vision-based vehicular instrumentation
KR101431373B1 (ko) 스테레오 정합을 이용한 차량의 움직임 측정 장치
US20190180121A1 (en) Detection of Objects from Images of a Camera

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170104

Termination date: 20210715

CF01 Termination of patent right due to non-payment of annual fee