[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN103487034A - 一种基于立式标靶的车载单目摄像头测距测高方法 - Google Patents

一种基于立式标靶的车载单目摄像头测距测高方法 Download PDF

Info

Publication number
CN103487034A
CN103487034A CN201310445576.4A CN201310445576A CN103487034A CN 103487034 A CN103487034 A CN 103487034A CN 201310445576 A CN201310445576 A CN 201310445576A CN 103487034 A CN103487034 A CN 103487034A
Authority
CN
China
Prior art keywords
point
template
pixel
angle point
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310445576.4A
Other languages
English (en)
Other versions
CN103487034B (zh
Inventor
高峰
徐国艳
丁能根
黄小云
邢龙龙
朱金龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201310445576.4A priority Critical patent/CN103487034B/zh
Publication of CN103487034A publication Critical patent/CN103487034A/zh
Application granted granted Critical
Publication of CN103487034B publication Critical patent/CN103487034B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于立式标靶的车载单目摄像头测距测高方法,属于智能车辆环境感知技术领域。本发明通过对立式标靶图像的感兴趣区进行模板匹配、候选点聚类及筛选、精确定位等操作,实现亚像素级角点检测及定位,结合投影几何模型,建立图像纵坐标与实际成像角度之间的映射关系,从而实现测距及测高,本发明不需要标定摄像头的内外部参数,也不需要多次放置标定板或参照物,降低了出现误差的可能性,既减少了操作环节,又提高了测量精度;与传统的角点检测相比,能够更准确地检测出标靶中的目标点,从而减少了后续聚类筛选的计算量,在计算的实际成像角度及距离的基础上实现了单目摄像头测高,大大减低了成本。

Description

一种基于立式标靶的车载单目摄像头测距测高方法
技术领域
本发明属于智能车辆环境感知技术领域,涉及一种基于机器视觉的测距及测高技术,具体涉及一种基于立式标靶的车载单目摄像头针对障碍物、桥洞或涵洞等的测距及测高方法。
背景技术
机器视觉作为智能车辆环境感知系统中最重要的组成部分,为决策层提供大量必要的环境信息,具有十分重要的意义。其中,物体的测距与测高分别为无人驾驶或辅助驾驶系统的防撞预警、路径规划及车辆分类、涵洞桥梁通过性检测等提供重要的参数信息。目前,智能车的机器视觉测量一般分为双目视觉测量和单目视觉测量两类。双目视觉测距容易受到特征点误匹配的影响,且计算量大,难以满足实时性要求。而单目视觉测距结构简单,运算速度快,具有广泛的应用前景。
目前单目视觉系统通常采用对应点标定法(简称标定法)来获取待测物体的深度信息。传统对应点标定法通常是利用棋盘格标定板标定出摄像头内外部参数后,结合投影模型,求解出图像坐标系与实际成像角度之间的对应关系,从而得到距离信息。此方法需要多次采集不同方位的标定板图像,并且需要精确记录每个点在世界坐标系和图像坐标系中的对应坐标,而且标定结果的误差会在测量中放大数十甚至上百倍,总体来说,过程复杂且误差较大。另外,通过在路面摆放参照物并测量其距离,利用参照物距离和像素数据直接拟合出距离与图像坐标间的数学模型,从而实现测距。此方法在工程中也有广泛的运用,但需要较大的场地,精度会受到实际测量和数据拟合误差的影响。而对于测高,主要还是运用激光雷达等传感器进行测量,仅用单目实时测高还鲜有发表的研究成果。
发明内容
本发明的目的在于提供一种基于立式标靶的车载单目摄像头测距测高方法,具体是通过对立式标靶图像的感兴趣区进行模板匹配、候选点聚类及筛选、精确定位等操作,实现亚像素级角点检测及定位,结合投影几何模型,建立图像纵坐标与实际成像角度之间的映射关系,从而实现测距及测高,此方法不仅提高了测量精度,且无需标定摄像头内外部参数,操作简单,可执行性强,具有较强的工程实用价值和研究意义。
本发明提供的一种基于立式标靶的车载单目摄像头测距测高方法,包括以下步骤:
步骤101:摄像头安装于车体的合适位置后,首先将立式标靶放置于摄像头正前方,且尽量靠近摄像头的同时,需满足采集的标靶图像中必须包含最低的角点,且角点总数大于8个,然后测量摄像头安装高度h及其与立式标靶靶面的水平距离D;
步骤102:采集标靶图像,分辨率为mm*nn,设置图像坐标系:左上角点为坐标原点,水平向右为x轴正方向,垂直向下为y轴正方向。设置角点检测的感兴趣区:x方向为[mm/3-1,2*mm/3-1],y方向为[0,nn-1]。对感兴趣区进行分块:块大小s*v可以调整,但一般大于50*50,对每个块分别采用最大类间方差法进行自适应二值化处理;
步骤103:在感兴趣区内利用设计的模板(a)和(b)分别进行全搜索匹配,保留所有匹配子图的左上角点,组成标靶角点的候选点集CC={(x1,y1),(x2,y2),…,(xk,yk)},其中k为匹配的子图总数;
步骤104:对候选点集CC中所有点进行分类,即将两点之间横坐标差值及纵坐标差值同时小于阈值T1的点记为同一小类,假设总共分成了g小类,则小类的集W={w1,w2,…,wg},再分别计算各小类的中心点坐标(xwi,ywi)(i=1,2,…,g),将中心点横坐标之差小于T1的小类记为同一个大类,最后保留包含小类数目最多的大类,剔除其他小类,并将保留下来的小类的中心点坐标在x和y方向上分别加上模板宽度和高度的一半e,存为初始角点集A={(xa1,ya1),(xa2,ya2),…,(xaj,yaj)},其中j为保留下来的小类的个数,而且A中各点的顺序是以ya1,ya2,…,yaj值从大到小排列;
步骤105:在初始角点集A中搜索出最大横坐标值xmax,利用模板(c)在横坐标小于xmax-e的感兴趣区内从上至下、从右至左搜索匹配的子图,一旦搜索到,则停止搜索。假设搜索到匹配的子图左上角点为(xf,yf),则角点的参考间隔ss=xmax-(xf+e),再利用模板(d)在点(xf,yf)左下方感兴趣区内从上至下、从右至左搜索匹配的子图,一旦搜索到,则停止搜索,记录匹配的子图左上角点为(xj,yj);
步骤106:搜索完毕后,判断是否存在步骤105的两个定位参考点(xf,yf)和(xj,yj),如果存在进入步骤107;否则返回步骤101;
步骤107:将初始角点集A中纵坐标最大值yc1与yj进行比较,如果yc1-yj为ss的3倍左右,认为点(xc1,yc1)为标靶最低角点;否则,将点(xmax,yj+ss*3)作为标靶的最低角点,然后利用初始角点集A和参考间隔ss将图像中全部角点补充完整,并得到角点集C={(xc1,yc1),(xc2,yc2),…,(xcn,ycn)},其中n表示图中标靶角点总数,且C中各点的顺序也以y值从大到小排列,最后运用openCV中的cvFindCornerSubPix()函数,以角点集C为基准将其更新为亚像素级角点集B={(xb1,yb1),(xb2,yb2),…,(xbn,ybn)};
步骤108:图像中n个角点的高度集HH={1.00,1.05,…,1.00+(n-1)*0.05},然后利用参数h和D,计算得到各角点的实际成像角度集Q={q1,q2,…,qn},其中各角度值与亚像素级角点集B的纵坐标{yb1,yb2,…,ybn}按顺序一一对应,得到映射点集P={(yb1,q1),(yb2,q2),…,(ybn,qn)},以直线拟合相邻两点,得到相邻点映射关系集F={f1,f2,…,fn-1};
步骤109:在实时测距过程中,将通过障碍物检测算法得到的障碍物底等部y方向坐标yz作为参数输入,首先判断出yz所属的映射关系fi(0<i<n),利用fi的直线方程计算yz对应的实际成像角度qZ,然后以qZ作为输入通过测距方程计算障碍物等的距离Lz
步骤110:根据系统需要判断是否需要测量障碍物等的高度,如果需要继续步骤111;否则结束此障碍物等的测距;
步骤111:将通过障碍物检测算法得到的障碍物顶部y方向像素值yd作为参数输入,首先判断出yd所属的映射关系fi(0<i<n),利用fi的直线方程计算yd对应的实际成像角度qd,然后以qd和障碍物距离Lz作为输入通过测高方程计算障碍物等的高度。
本发明一种基于立式标靶的车载单目摄像头测距测高方法的优点在于:
(1)本发明不需要标定摄像头的内外部参数,也不需要多次放置标定板或参照物,降低了出现误差的可能性,既减少了操作环节,又提高了测量精度;
(2)设计了感兴趣区和四个模板,以模板匹配的方式检测立式标靶中的角点及定位参考点,与传统的角点检测相比,能够更准确地检测出标靶中的目标点,从而减少了后续聚类筛选的计算量;
(3)通过检测定位参考点使得亚像素级角点集的纵坐标与实际成像角度一一对应,用分段直线的方式拟合图像纵坐标与实际成像角度之间的映射关系,减少了用一条直线拟合所引起的误差,从而提高了测量精度;
(4)本发明无需雷达等其它传感器,在计算的实际成像角度及距离的基础上实现了单目摄像头测高,大大减低了成本。
附图说明
图1为本发明一种基于立式标靶的车载单目摄像头测距测高方法的整体步骤流程图;
图2为本发明中匹配法检测角点的执行流程图;
图3为本发明所用到的立式标靶的示意图;
图4为本发明中用于角点及定位参考点检测的四种模板示意图,且e=11。
具体实施方式
下面将结合附图对本发明的技术方案做进一步的详细说明。
本发明在于提供一种基于立式标靶的车载单目摄像头测距测高方法,主要是针对在车载单目摄像头已经检测到路面物体的情况下,计算物体高度及其距本车距离。车辆前方障碍物等距离及测高为无人驾驶或辅助驾驶系统的防撞预警、路径规划及车辆分类、涵洞桥梁通过性检测等的重要参数信息,具有较强的工程应用价值。本发明提供的方法只需一个摄像头则可实现单目测距及测高,而且具有较高的测量精度,操作简单可行。
本发明提供的方法不需要对摄像头进行标定,避免了标定的内外部参数误差对测量的影响,也不需要多次放置参照物或长距离测量,减少了误差产生的可能性,使得测量精度足以满足智能车环境感知系统对测距及测高的精度及实时性要求。本发明将立式标靶放置于摄像头正前方的合适位置后,采集一次图像,对感兴趣区进行了分块的自适应二值化处理,立式标靶的示意图如图3所示;在感兴趣区内利用模板(a)和(b)搜索匹配的所有子图,得到感兴趣区内角点的候选点集CC,具体流程如图2所示,模板如图4所示;对候选点集CC进行聚类、筛选等操作后得到初始角点集A,利用参考点与点集A中纵坐标最大点的位置关系,最终补齐并定位所有角点;由于所有角点的高度及其与摄像头的水平距离都为已知,可以得到各角点的实际成像角度,并用分段直线拟合出了图像的纵坐标与实际成像角度之间的映射关系,最后利用障碍物等在图像上的底端与顶端像素值即可分别实现测距与测高。
所述的实际成像角度是指:摄像头光轴的侧向平面与被测物体离车体最近的底线交点,将其与摄像头光心相连呈直线,此直线与摄像头光心垂直于地面的直线之间的夹角。
图1展示了本发明一种基于立式标靶的车载单目摄像头测距测高方法的完整步骤流程,该方法分为以下几个步骤:
步骤101:将摄像头安装在车体上的合适位置,然后将立式标靶放置于摄像头正前方,且尽量靠近摄像头的同时,需满足摄像头采集的图像中必须包含立式标靶的最低角点,且角点总数大于8个,测量摄像头安装高度h及其与立式标靶靶面的水平距离D;
步骤102:采集标靶图像,分辨率为mm*nn,设置图像坐标系:左上角点为坐标原点,水平向右为x轴正方向,垂直向下为y轴正方向。设置角点检测的感兴趣区:x方向为[mm/3-1,2*mm/3-1],y方向为[0,nn-1]。对感兴趣区进行分块,对每个块分别采用最大类间方差法进行自适应二值化处理,使感兴趣区内的图像转化为二值图像;
其中块的大小s*v可以依据图像感兴趣区的宽高进行调整,但一般情况下s*v大于50*50,小于150*150,单位是pixel。
步骤103:在感兴趣区内分别利用模板(a)和(b)进行全搜索匹配,采用匹配法检测角点,得到标靶角点的候选点集CC={(x1,y1),(x2,y2),…,(xk,yk)},其中k为匹配的子图总数。此步骤的执行流程如图2所示;
如图2所示,本发明方法中匹配法检测角点分为以下几个步骤:
步骤201:初始化循环参数ii及jj,都设置为零;
步骤202:以(mm/3-1+jj,ii)为左上角点,在感兴趣区中扩展出与模板大小相同的待检测子图S;所述模板如图4所示,包括四种尺寸大小相同的模板,模板大小尺寸均为2e*2e,单位为pixel,但像素值各不相同。其中,e为正方形模板边长的一半,模板(a)中左上角及右下角的e*e个像素的像素值为0(黑色),其余为255(白色);模板(b)中右上角及左下角的e*e个像素的像素值为0(黑色),其余为255(白色);模板(c)中右上角e*e个像素的像素值为0(黑色),其余为255(白色);模板(d)中右下角e*e个像素的像素值为0(黑色),其余为255(白色);而且,其用途也不相同,搜索标靶图像中的角点时用到模板(a)和(b),搜索定位参考点时用到模板(c)和(d)。
步骤203:计算子图S与模板的差值图像G;
所述的差值图像是指对子图S和模板(a)图像在相同位置像素点的像素值求差,并取绝对值后所得到的图像,即当求差的两幅二值化图像对应像素点的像素值相等时,差值图像在对应像素点上的像素值为0(黑色),如果不相同,像素值为255(白色)。
步骤204:对差值图像G中的每个白色像素点,进行如下处理:以该白色像素点为左上角点,沿向右和向下方向扩充为7像素×7像素大小的块,将该块作为统计单元,计算该块中白色像素点的密度M;
所述的密度M是指差值图像中以7像素×7像素大小的块为统计单元,其中像素值为255(白色)的像素点的个数gg除以像素点的总个数49,公式如下:
M=gg49   (1)
步骤205:对所述的密度M进行如下判断:
(A)判断是否存在大于密度阈值的密度M,如果存在某个区域的密度M大于设定的密度阈值,则认为模板(a)不匹配,进入步骤(B);否则,进入步骤206;
(B)计算子图S与模板(b)差值图像,如果存在某个区域的密度M大于设定的密度阈值,则认为模板(b)不匹配,进入步骤207,否则,进入步骤206;
密度阈值设置为0.32,如果密度阈值过大就会将两幅有较大差异的图像认为匹配,增大了误匹配,反之,如果密度阈值过小就会把一些由于光线或路面不平造成标靶存在一定旋转角度而造成的小范围零散的不同点误判为不匹配。通过试验,本发明所设置的密度阈值可以实现较好的检测效果。
步骤206:将子图S左上角点坐标(mm/3-1+jj,ii)存入候选点集CC中;
步骤207:将ii加1,判断ii是否大于nn-1-2e,如果大于进入步骤208,否则,返回步骤202;
步骤208:将jj加1,ii设为初始值0,判断jj是否大于mm/3-2e,如果大于则结束此模板的匹配,否则,返回步骤202;
步骤104:对候选点集CC中所有点进行聚类及筛选处理;
由于感兴趣区内的背景图像中可能也会存在与模板(a)和(b)相匹配的子图,所以为了剔除不是标靶角点处的候选点,需要进行聚类及筛选处理。
聚类:首先将候选点集CC中所有的点进行分类处理,此过程为:分别计算第一个点与第二个点的横坐标之差值及纵坐标之差值,如果两个差值同时小于阈值T1则将这两个点记为同一个小类w1,否则将这两个点分别记为两个小类w1和w2;然后逐点计算候选点集CC中其它点与已经分为小类的所有点的横坐标之差值及纵坐标之差值,如果与小类中某点的两个差值同时小于阈值T1,则将待分类点与该小类的点记为同一个小类,否则认为都不属于已经存在的类,则将增加一个新的小类。假设总共分成了g小类,则小类的集W={w1,w2,…,wg}。分别计算各小类的中心点坐标(xwi,ywi)(i=1,2,…,g),将任意中心点横坐标之差值小于阈值T1的小类记为同一个大类;
所述的计算个各小类中心点坐标是指将小类内所有点的横、纵坐标分别相加,再除以小类中点总的个数得到的x、y值作为此小类的中心点横、纵坐标值。
筛选:由于标靶垂直于地面,而摄像头平行安装,在感兴趣区内标靶的角点的连线应基本竖直,横坐标之差值应小于阈值T1,则应属于一个大类。而且由于属于同一大类的误匹配点小类相对于属于同一大类的角点处小类,数量较少,所以保留包含小类数目最多的大类,剔除其他大类,并将保留下来的小类的中心点坐标在x和y方向上分别加上模板宽度和高度的一半e,存为初始角点集A={(xa1,ya1),(xa2,ya2),…,(xaj,yaj)},其中j为保留下来的小类的个数,而且初始角点集A中各点的顺序是以ya1,ya2,…,yaj值从大到小排列。
步骤105:在初始角点集A中搜索出最大横坐标值xmax,利用模板(c)在横坐标小于xmax-e的感兴趣区内从上至下、从右至左搜索匹配的子图,一旦搜索到,则停止搜索。假设搜索到匹配的子图左上角点为(xf,yf),则角点的参考间隔ss=xmax-(xf+e),再利用模板(d)在点(xf,yf)左下方感兴趣区内从上至下、从右至左搜索匹配的子图,一旦搜索到,则停止搜索,记录匹配的子图左上角点为(xj,yj);
此次模板匹配法检测定位参考点的过程包括匹配模板(c)和匹配模板(d)两部分,在匹配模板(c)时,在x方向[mm/3-1,xmax-2*e],y方向[0,nn-1-2*e]区域内,按照从上至下、从右至左的顺序逐点搜索,并进行匹配检测。方法是将搜索点作为左上角点,扩展出与模板大小相同的待检测子图S;然后计算子图S与模板(c)的差值图像G;最后将差值图像G中的每个白色像素点扩充为7像素×7像素大小的块,计算所有块中白色像素点的密度M,如果存在某个块的密度M大于设定的密度阈值则认为此子图S与模板(c)不匹配,继续搜索下一点作为左上角点进行检测,否则认为匹配,结束搜索。匹配模板(d)时,搜索区域改为x方向[mm/3-1,xf-2*e],y方向[yf+2*e,nn-1-2*e],同样按照从上至下、从右至左的顺序逐点搜索,并进行匹配检测。检测过程与模板(c)相同。
步骤106:搜索完毕后,判断是否存在步骤105的两个定位参考点(xf,yf)和(xj,yj),如果存在进入步骤107;否则返回步骤101;
其中定位参考点(xf,yf)有可能是图3所示的参考点①或者参考点②,因为如果标靶完全竖直或存在顺时针旋转,那首先搜索到的是参考点①,否则是参考点②,而(xj,yj)为参考点③。搜索定位参考点的目的为:(1)由于对立式标靶的靶面进行分析后发现在竖直角点集的左侧只有两处满足模板(c)的特征,而其左下方只有一处满足模板(d)的特征,所以搜索定位参考点可进一步确认检测到的初始角点集A的正确性;(2)由于参考点③及其与角点相对位置的唯一性,可以利用它对各角点进行定位。所述参考点①为从下至上第六个角点左侧的一个具有明显灰度分布特点的点,其右上角的e*e个像素的像素值为0(黑色),其余为255(白色);参考点②为第四个角点左侧与参考点①具有相同灰度分布的点;参考点③为第二个角点左侧大概两倍间隔处,灰度分布为右下角的e*e个像素的像素值为0(黑色),其余为255(白色)的点。
所以,如果由于摄像机安装或标靶放置不当,在步骤105中没有检测到两个定位参考点(xf,yf)和(xj,yj),则无法判断初始角点集A的准确性,更无法定位,则需要返回101重新开始。
步骤107:将初始角点集A中纵坐标最大值ya1与yj进行比较,如果ya1-yj为ss的3倍左右,认为点(xa1,ya1)为标靶最低角点,否则,将点(xmax,yj+ss*3)作为标靶的最低角点;然后将角点补充完整,并得到角点集C={(xc1,yc1),(xc2,yc2),…,(xcn,ycn)},其中n表示角点集中标靶角点总数,且C中各点的顺序也以y值从大到小排列,最后运用openCV中的cvFindCornerSubPix()函数,以角点集C为基准将其更新为亚像素级角点集B={(xb1,yb1),(xb2,yb2),…,(xbn,ybn)};
其中,将角点补充完整的过程为:如果点(xa1,ya1)为标靶最低角点,则依次计算初始角点集A中相邻点纵坐标值之差yaii-ya(ii+1),当差值为ss的t倍左右,则需要在点集A的第ii个点与第ii+1个点之间补充上t-1个点(如果t为1则不需要在这两点间补充),坐标分别为(xaii,yaii-jj*ss)(jj=1,…,t-1),当搜索到A中最后一个点(xaj,yaj)时,以yaj作为差值进行计算;如果点(xmax,yj+ss*2)为标靶最低角点,那么还需要计算差值yj+ss*2-ya1,以同样的方法将点(xmax,yj+ss*2)与点(xa1,ya1)之间的角点补充完整。
步骤108:图像中n个角点的高度集HH={h1,h2,…,hn}={1.00,1.05,…,1.00+(n-1)*0.05},然后利用参数h和D,通过式(2)计算得到各角点的实际成像角度集Q={q1,q2,…,qn},其中各角度值与亚像素级角点集B的纵坐标{yb1,yb2,…,ybn}按顺序一一对应,得到映射点集P={(yb1,q1),(yb2,q2),…,(ybn,qn)},以直线拟合映射点集内相邻两点,得到相邻点映射关系集F={f1,f2,…,fn-1},如式(3)所示;
qii=tan-1[D/(h-hii)]   (2)
其中,ii=1,…,n。
f ii = q ii + 1 - q ii y b ( ii + 1 ) - y bii ( y - y bii ) + q ii - - - ( 3 )
其中,ii=1,…,n-1。
步骤109:在实时测距过程中,将通过障碍物检测算法得到的障碍物底部y方向坐标yz作为参数输入,首先判断出yz所属的映射关系fii(0<ii<n),利用fii的直线方程计算yz对应的实际成像角度qZ,然后以qZ作为输入通过测距方程(4)计算障碍物的距离Lz
Lz=h·tanqz   (4)
其中,当yz小于等于yb2时,选择映射关系f1计算实际成像角度qZ;当yz大于等于yb(n-1)时,选择映射关系fn-1计算实际成像角度qZ;其他情况下,首先搜索到yz所在区间,即
ybii<yz<yb(ii+1),然后选择映射关系fii计算实际成像角度qZ
步骤110:根据系统需要判断是否需要测量障碍物的高度,如果需要判断则继续步骤111;否则结束此障碍物的测距;
由于在不同系统中,需要的信息不同,例如在防撞预警中可能不需要高度信息,但在桥梁涵洞等通过性检测时必须得到高度信息,所以需要判读系统是否需要高度信息。
步骤111:首先利用测距同样的方法判断障碍物检测算法得到的障碍物顶部y方向坐标yd所属的映射关系fii(0<ii<n),利用fii的直线方程计算yd对应的实际成像角度qd,然后以qd和障碍物距离Lz作为输入通过测高方程(5)计算障碍物等的高度Hz
Hz=h-a·Lz·tan(|90°-qd|)   (5)
其中,当qd≥90°时a取-1,当qd<90°时a取1。
表5为利用此方法测距的实验结果及误差,选用的图像分辨率为752*480,摄像头安装高度为1.32m,标靶与摄像头的水平距离为1.8m,从表5可以看出,此方法总体误差很小,一般小于1%,虽然在80m时可能由于路面平整度或障碍物检测精度等影响,误差达到2.3029%,但也已经远远满足智能车辆的测距精度要求。
表6为利用此方法测高的实验结果及误差,图像分辨率、摄像头高度及标靶放置位置与测距实验相同,测高的实验对象是身高为1.77m的人,从表6可以看出,误差均保持在4%以内。由于测高会受到测距误差、障碍物检测及图像畸变等影响,所以测高误差一般比测距误差大,但可以基本满足车辆在桥梁、涵洞等通过性检测的要求。
表5应用本发明提供的方法进行测距的实验结果及误差
表6应用本发明提供的方法进行测高的实验结果及误差

Claims (8)

1.一种基于立式标靶的车载单目摄像头测距测高方法,其特征在于,包括以下步骤:
步骤101:摄像头安装于车体的合适位置后,首先将立式标靶放置于摄像头正前方,然后测量摄像头安装高度h及其与立式标靶靶面的水平距离D;所述立式标靶与摄像头之间的距离需满足采集的标靶图像中必须包含最低的角点,且角点总数大于8个;
步骤102:采集标靶图像,分辨率为mm*nn,设置图像坐标系:左上角点为坐标原点,水平向右为x轴正方向,垂直向下为y轴正方向;设置角点检测的感兴趣区:x方向为[mm/3-1,2*mm/3-1],y方向为[0,nn-1];对感兴趣区进行分块并进行自适应二值化处理;
步骤103:在感兴趣区内利用设计的模板(a)和(b)分别进行全搜索匹配,采用匹配法检测角点,保留所有匹配子图的左上角点,组成标靶角点的候选点集CC={(x1,y1),(x2,y2),…,(xk,yk)},其中k为匹配的子图总数;
步骤104:对候选点集CC中所有点进行聚类及筛选处理,得到初始角点集A;
步骤105:在初始角点集A中搜索出最大横坐标值xmax,利用模板(c)在横坐标小于xmax-e的感兴趣区内从上至下、从右至左搜索匹配的子图,一旦搜索到,则停止搜索;假设搜索到匹配的子图左上角点为(xf,yf),则角点的参考间隔ss=xmax-(xf+e),再利用模板(d)在点(xf,yf)左下方感兴趣区内从上至下、从右至左搜索匹配的子图,一旦搜索到,则停止搜索,记录匹配的子图左上角点为(xj,yj);将角点(xf,yf)和(xj,yj)作为定位参考点;
步骤106:搜索完毕后,判断是否存在步骤105的两个定位参考点(xf,yf)和(xj,yj),如果存在进入步骤107;否则返回步骤101;
步骤107:将初始角点集A中纵坐标最大值yc1与yj进行比较,如果yc1-yj为ss的3倍左右,认为点(xc1,yc1)为标靶最低角点;否则,将点(xmax,yj+ss*3)作为标靶的最低角点,然后利用初始角点集A和参考间隔ss将图像中全部角点补充完整,并得到角点集C={(xc1,yc1),(xc2,yc2),…,(xcn,ycn)},其中n表示图中标靶角点总数,且C中各点的顺序也以y值从大到小排列,最后运用openCV中的cvFindCornerSubPix()函数,以角点集C为基准将其更新为亚像素级角点集B={(xb1,yb1),(xb2,yb2),…,(xbn,ybn)};
步骤108:图像中n个角点的高度集HH={1.00,1.05,…,1.00+(n-1)*0.05},然后利用参数h和D,计算得到各角点的实际成像角度集Q={q1,q2,…,qn},其中各角度值与亚像素级角点集B的纵坐标{yb1,yb2,…,ybn}按顺序一一对应,得到映射点集P={(yb1,q1),(yb2,q2),…,(ybn,qn)},以直线拟合相邻两点,得到相邻点映射关系集F={f1,f2,…,fn-1};
步骤109:在实时测距过程中,将通过障碍物检测算法得到的障碍物底等部y方向坐标yz作为参数输入,首先判断出yz所属的映射关系fi,0<i<n;利用fi的直线方程计算yz对应的实际成像角度qZ,然后以qZ作为输入通过测距方程计算障碍物等的距离Lz
Lz=h·tanqz   (4)
其中,当yz小于等于yb2时,选择映射关系f1计算实际成像角度qZ;当yz大于等于yb(n-1)时,选择映射关系fn-1计算实际成像角度qZ;其他情况下,首先搜索到yz所在区间,即
ybii<yz<yb(ii+1),然后选择映射关系fii计算实际成像角度qZ
步骤110:根据系统需要判断是否需要测量障碍物等的高度,如果需要继续步骤111;否则结束此障碍物等的测距;
步骤111:将通过障碍物检测算法得到的障碍物顶等部y方向像素值yd作为参数输入,首先判断出yd所属的映射关系fi,0<i<n,利用fi的直线方程计算yd对应的实际成像角度qd,然后以qd和障碍物距离Lz作为输入通过测高方程计算障碍物等的高度Hz:
Hz=h-a·Lz·tan(|90°-qd|)   (5)
其中,当qd≥90°时a取-1,当qd<90°时a取1。
2.根据权利要求1所述的一种基于立式标靶的车载单目摄像头测距测高方法,其特征在于:步骤102中所述感兴趣区内块大小大于50*50,单位是pixel,对每个块分别采用最大类间方差法进行自适应二值化处理。
3.根据权利要求1所述的一种基于立式标靶的车载单目摄像头测距测高方法,其特征在于:所述模板包括四种尺寸大小相同的模板,模板大小尺寸均为2e*2e,单位为pixel,其中,e为正方形模板边长的一半,模板(a)中左上角及右下角的e*e个像素的像素值为0,其余为255;模板(b)中右上角及左下角的e*e个像素的像素值为0,其余为255;模板(c)中右上角e*e个像素的像素值为0,其余为255;模板(d)中右下角e*e个像素的像素值为0,其余为255;搜索标靶图像中的角点时用到模板(a)和(b),搜索定位参考点时用到模板(c)和(d)。
4.根据权利要求1所述的一种基于立式标靶的车载单目摄像头测距测高方法,其特征在于:步骤103中所述的匹配法检测角点分为以下几个步骤:
步骤201:初始化循环参数ii及jj,都设置为零;
步骤202:以(mm/3-1+jj,ii)为左上角点,在感兴趣区中扩展出与模板大小相同的待检测子图S;
步骤203:计算子图S与模板的差值图像G;
所述的差值图像是指对子图S和模板(a)图像在相同位置像素点的像素值求差,并取绝对值后所得到的图像,即当求差的两幅二值化图像对应像素点的像素值相等时,差值图像在对应像素点上的像素值为0,如果不相同,像素值为255;
步骤204:对差值图像G中的每个白色像素点,进行如下处理:以该白色像素点为左上角点,沿向右和向下方向扩充为7像素×7像素大小的块,将该块作为统计单元,计算该块中白色像素点的密度M;
所述的密度M是指差值图像中以7像素×7像素大小的块为统计单元,其中像素值为255的像素点的个数gg除以像素点的总个数49,公式如下:
M=gg/49   (1)
步骤205:对所述的密度M进行如下判断:
(A)判断是否存在大于密度阈值的密度M,如果存在某个区域的密度M大于设定的密度阈值,则认为模板(a)不匹配,进入步骤(B);否则,进入步骤206;
(B)计算子图S与模板(b)差值图像,如果存在某个区域的密度M大于设定的密度阈值,则认为模板(b)不匹配,进入步骤207,否则,进入步骤206;
步骤206:将子图S左上角点坐标(mm/3-1+jj,ii)存入候选点集CC中;
步骤207:将ii加1,判断ii是否大于nn-1-2e,如果大于进入步骤208,否则,返回步骤202;
步骤208:将jj加1,ii设为初始值0,判断jj是否大于mm/3-2e,如果大于则结束此模板的匹配,否则,返回步骤202。
5.根据权利要求4所述的一种基于立式标靶的车载单目摄像头测距测高方法,其特征在于:所述的密度阈值设置为0.32。
6.根据权利要求1所述的一种基于立式标靶的车载单目摄像头测距测高方法,其特征在于:步骤104所述的聚类具体为:首先将候选点集CC中所有的点进行分类处理,此过程为:分别计算第一个点与第二个点的横坐标之差值及纵坐标之差值,如果两个差值同时小于阈值T1则将这两个点记为同一个小类w1,否则将这两个点分别记为两个小类w1和w2;然后逐点计算候选点集CC中其它点与已经分为小类的所有点的横坐标之差值及纵坐标之差值,如果与小类中某点的两个差值同时小于阈值T1,则将待分类点与该小类的点记为同一个小类,否则认为都不属于已经存在的类,则将增加一个新的小类;假设总共分成了g小类,则小类的集W={w1,w2,…,wg};分别计算各小类的中心点坐标(xwi,ywi)(i=1,2,…,g),将任意中心点横坐标之差值小于阈值T1的小类记为同一个大类;所述的计算个各小类中心点坐标是指将小类内所有点的横、纵坐标分别相加,再除以小类中点总的个数得到的x、y值作为此小类的中心点横、纵坐标值。
所述的筛选具体为:在感兴趣区内标靶的角点横坐标之差值小于阈值T1的,划分为一个大类,保留包含小类数目最多的大类,剔除其他大类,并将保留下来的小类的中心点坐标在x和y方向上分别加上模板宽度和高度的一半e,存为初始角点集A={(xa1,ya1),(xa2,ya2),…,(xaj,yaj)},其中j为保留下来的小类的个数,而且初始角点集A中各点的顺序是以ya1,ya2,…,yaj值从大到小排列。
7.根据权利要求1所述的一种基于立式标靶的车载单目摄像头测距测高方法,其特征在于:步骤105所述的定位参考点采用模板匹配法检测,包括匹配模板(c)和匹配模板(d)两部分,在匹配模板(c)时,在x方向[mm/3-1,xmax-2*e],y方向[0,nn-1-2*e]区域内,按照从上至下、从右至左的顺序逐点搜索,并进行匹配检测;方法是将搜索点作为左上角点,扩展出与模板大小相同的待检测子图S;然后计算子图S与模板(c)的差值图像G;最后将差值图像G中的每个白色像素点扩充为7像素×7像素大小的块,计算所有块中白色像素点的密度M,如果存在某个块的密度M大于设定的密度阈值则认为此子图S与模板(c)不匹配,继续搜索下一点作为左上角点进行检测,否则认为匹配,结束搜索;匹配模板(d)时,搜索区域改为x方向[mm/3-1,xf-2*e],y方向[yf+2*e,nn-1-2*e],同样按照从上至下、从右至左的顺序逐点搜索,并进行匹配检测,检测过程与模板(c)相同。
8.根据权利要求1所述的一种基于立式标靶的车载单目摄像头测距测高方法,其特征在于:步骤107中所述将角点补充完整的过程为:如果点(xa1,ya1)为标靶最低角点,则依次计算初始角点集A中相邻点纵坐标值之差yaii-ya(ii+1),当差值为ss的t倍左右,则需要在点集A的第ii个点与第ii+1个点之间补充上t-1个点,坐标分别为(xaii,yaii-jj*ss),jj=1,…,t-1,当搜索到A中最后一个点(xaj,yaj)时,以yaj作为差值进行计算;如果点(xmax,yj+ss*2)为标靶最低角点,那么还需要计算差值yj+ss*2-ya1,以同样的方法将点(xmax,yj+ss*2)与点(xa1,ya1)之间的角点补充完整。
CN201310445576.4A 2013-09-26 2013-09-26 一种基于立式标靶的车载单目摄像头测距测高方法 Expired - Fee Related CN103487034B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310445576.4A CN103487034B (zh) 2013-09-26 2013-09-26 一种基于立式标靶的车载单目摄像头测距测高方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310445576.4A CN103487034B (zh) 2013-09-26 2013-09-26 一种基于立式标靶的车载单目摄像头测距测高方法

Publications (2)

Publication Number Publication Date
CN103487034A true CN103487034A (zh) 2014-01-01
CN103487034B CN103487034B (zh) 2015-07-15

Family

ID=49827449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310445576.4A Expired - Fee Related CN103487034B (zh) 2013-09-26 2013-09-26 一种基于立式标靶的车载单目摄像头测距测高方法

Country Status (1)

Country Link
CN (1) CN103487034B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105203034A (zh) * 2015-07-29 2015-12-30 四川大学 一种基于单目摄像头三维测距模型的测高测面积方法
CN105241424A (zh) * 2015-09-25 2016-01-13 小米科技有限责任公司 室内定位方法和智能管理装置
CN105405117A (zh) * 2015-10-16 2016-03-16 凌云光技术集团有限责任公司 基于图像轮廓的角点提取方法及装置
CN105539311A (zh) * 2016-01-29 2016-05-04 深圳市美好幸福生活安全系统有限公司 一种摄像头的安装方法和安装装置
CN106023271A (zh) * 2016-07-22 2016-10-12 武汉海达数云技术有限公司 一种靶标中心坐标提取方法及装置
CN106504287A (zh) * 2016-10-19 2017-03-15 大连民族大学 基于模板的单目视觉目标空间定位系统
CN106981082A (zh) * 2017-03-08 2017-07-25 驭势科技(北京)有限公司 车载摄像头标定方法、装置及车载设备
CN107003409A (zh) * 2015-01-27 2017-08-01 宝马股份公司 在表面上的尺寸的测量
CN107305632A (zh) * 2017-02-16 2017-10-31 武汉极目智能技术有限公司 基于单目计算机视觉技术的目标对象距离测量方法与系统
CN108445496A (zh) * 2018-01-02 2018-08-24 北京汽车集团有限公司 测距标定装置及方法、测距设备及测距方法
CN108931205A (zh) * 2018-07-25 2018-12-04 杭州非白三维科技有限公司 一种三维扫描系统及扫描方法
CN109215083A (zh) * 2017-07-06 2019-01-15 华为技术有限公司 车载传感器的外部参数标定的方法和设备
CN109959919A (zh) * 2017-12-22 2019-07-02 比亚迪股份有限公司 汽车及单目摄像头测距方法、装置
CN111241224A (zh) * 2020-01-10 2020-06-05 福瑞泰克智能系统有限公司 目标距离估计的方法、系统、计算机设备和存储介质
CN112651359A (zh) * 2020-12-30 2021-04-13 深兰科技(上海)有限公司 障碍物检测方法、装置、电子设备和存储介质
CN112907675A (zh) * 2019-11-19 2021-06-04 浙江商汤科技开发有限公司 图像采集设备的标定方法、装置、系统、设备及存储介质
CN113041578A (zh) * 2021-02-24 2021-06-29 南京师范大学 一种基于形态特征和单目测量的机器人自主捡球方法
CN113218361A (zh) * 2020-01-21 2021-08-06 上海汽车集团股份有限公司 摄像机测距方法及装置
CN117928471A (zh) * 2024-03-18 2024-04-26 东莞潜星电子科技有限公司 一种基于立式标靶的车载单目摄像头测距测高设备以及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10338884A1 (de) * 2003-08-23 2005-03-17 Valeo Schalter Und Sensoren Gmbh Verfahren und Vorrichtung zum Ermitteln des Abstandes zwischen einem Fahrzeug und einem Objekt in der Umgebung des Fahrzeugs
CN101038165A (zh) * 2007-02-16 2007-09-19 北京航空航天大学 基于双目视觉的车载环境及距离测量系统
CN101055177A (zh) * 2007-05-30 2007-10-17 北京航空航天大学 基于双面靶标的流动式三维视觉测量拼接方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10338884A1 (de) * 2003-08-23 2005-03-17 Valeo Schalter Und Sensoren Gmbh Verfahren und Vorrichtung zum Ermitteln des Abstandes zwischen einem Fahrzeug und einem Objekt in der Umgebung des Fahrzeugs
CN101038165A (zh) * 2007-02-16 2007-09-19 北京航空航天大学 基于双目视觉的车载环境及距离测量系统
CN101055177A (zh) * 2007-05-30 2007-10-17 北京航空航天大学 基于双面靶标的流动式三维视觉测量拼接方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
姜岩等: "基于角点特征的立体视觉车辆环境感知系统研究", 《机械工程学报》 *
徐国艳等: "车辆视频检测感兴趣区域确定算法", 《北京航空航天大学学报》 *

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107003409A (zh) * 2015-01-27 2017-08-01 宝马股份公司 在表面上的尺寸的测量
CN105203034A (zh) * 2015-07-29 2015-12-30 四川大学 一种基于单目摄像头三维测距模型的测高测面积方法
CN105203034B (zh) * 2015-07-29 2018-07-17 四川大学 一种基于单目摄像头三维测距模型的测高测面积方法
CN105241424B (zh) * 2015-09-25 2017-11-21 小米科技有限责任公司 室内定位方法和智能管理装置
CN105241424A (zh) * 2015-09-25 2016-01-13 小米科技有限责任公司 室内定位方法和智能管理装置
CN105405117A (zh) * 2015-10-16 2016-03-16 凌云光技术集团有限责任公司 基于图像轮廓的角点提取方法及装置
CN105405117B (zh) * 2015-10-16 2018-07-03 凌云光技术集团有限责任公司 基于图像轮廓的角点提取方法及装置
CN105539311A (zh) * 2016-01-29 2016-05-04 深圳市美好幸福生活安全系统有限公司 一种摄像头的安装方法和安装装置
CN105539311B (zh) * 2016-01-29 2017-12-05 深圳市美好幸福生活安全系统有限公司 一种摄像头的安装方法和安装装置
CN106023271A (zh) * 2016-07-22 2016-10-12 武汉海达数云技术有限公司 一种靶标中心坐标提取方法及装置
CN106023271B (zh) * 2016-07-22 2018-12-11 武汉海达数云技术有限公司 一种靶标中心坐标提取方法及装置
CN106504287A (zh) * 2016-10-19 2017-03-15 大连民族大学 基于模板的单目视觉目标空间定位系统
CN106504287B (zh) * 2016-10-19 2019-02-15 大连民族大学 基于模板的单目视觉目标空间定位系统
CN107305632A (zh) * 2017-02-16 2017-10-31 武汉极目智能技术有限公司 基于单目计算机视觉技术的目标对象距离测量方法与系统
CN107305632B (zh) * 2017-02-16 2020-06-12 武汉极目智能技术有限公司 基于单目计算机视觉技术的目标对象距离测量方法与系统
CN106981082A (zh) * 2017-03-08 2017-07-25 驭势科技(北京)有限公司 车载摄像头标定方法、装置及车载设备
CN106981082B (zh) * 2017-03-08 2020-04-17 驭势科技(北京)有限公司 车载摄像头标定方法、装置及车载设备
CN109215083A (zh) * 2017-07-06 2019-01-15 华为技术有限公司 车载传感器的外部参数标定的方法和设备
US11670193B2 (en) 2017-07-06 2023-06-06 Huawei Technologies Co., Ltd. Extrinsic parameter of on-board sensor
CN109959919B (zh) * 2017-12-22 2021-03-26 比亚迪股份有限公司 汽车及单目摄像头测距方法、装置
CN109959919A (zh) * 2017-12-22 2019-07-02 比亚迪股份有限公司 汽车及单目摄像头测距方法、装置
CN108445496A (zh) * 2018-01-02 2018-08-24 北京汽车集团有限公司 测距标定装置及方法、测距设备及测距方法
CN108931205B (zh) * 2018-07-25 2024-04-09 杭州非白三维科技有限公司 一种三维扫描系统及扫描方法
CN108931205A (zh) * 2018-07-25 2018-12-04 杭州非白三维科技有限公司 一种三维扫描系统及扫描方法
CN112907675A (zh) * 2019-11-19 2021-06-04 浙江商汤科技开发有限公司 图像采集设备的标定方法、装置、系统、设备及存储介质
CN112907675B (zh) * 2019-11-19 2022-05-24 浙江商汤科技开发有限公司 图像采集设备的标定方法、装置、系统、设备及存储介质
CN111241224A (zh) * 2020-01-10 2020-06-05 福瑞泰克智能系统有限公司 目标距离估计的方法、系统、计算机设备和存储介质
CN113218361B (zh) * 2020-01-21 2023-02-17 上海汽车集团股份有限公司 摄像机测距方法及装置
CN113218361A (zh) * 2020-01-21 2021-08-06 上海汽车集团股份有限公司 摄像机测距方法及装置
CN112651359A (zh) * 2020-12-30 2021-04-13 深兰科技(上海)有限公司 障碍物检测方法、装置、电子设备和存储介质
CN113041578A (zh) * 2021-02-24 2021-06-29 南京师范大学 一种基于形态特征和单目测量的机器人自主捡球方法
CN113041578B (zh) * 2021-02-24 2022-02-11 南京师范大学 一种基于形态特征和单目测量的机器人自主捡球方法
CN117928471A (zh) * 2024-03-18 2024-04-26 东莞潜星电子科技有限公司 一种基于立式标靶的车载单目摄像头测距测高设备以及方法
CN117928471B (zh) * 2024-03-18 2024-08-09 东莞潜星电子科技有限公司 一种基于立式标靶的车载单目摄像头测距测高设备以及方法

Also Published As

Publication number Publication date
CN103487034B (zh) 2015-07-15

Similar Documents

Publication Publication Date Title
CN103487034B (zh) 一种基于立式标靶的车载单目摄像头测距测高方法
CN103499337B (zh) 一种基于立式标靶的车载单目摄像头测距测高装置
CN110031829B (zh) 一种基于单目视觉的目标精准测距方法
CN109084724A (zh) 一种基于双目视觉的深度学习障碍物测距方法
EP3792660B1 (en) Method, apparatus and system for measuring distance
JP3895238B2 (ja) 障害物検出装置及びその方法
Tao et al. Lane marking aided vehicle localization
WO2018105179A1 (ja) 車載用画像処理装置
CN104700414A (zh) 一种基于车载双目相机的前方道路行人快速测距方法
CN109359409A (zh) 一种基于视觉与激光雷达传感器的车辆可通过性检测系统
CN110307791B (zh) 基于三维车辆边界框的车辆长度及速度计算方法
CN106289159B (zh) 基于测距补偿的车辆测距方法及装置
CN107796373B (zh) 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法
CN110334678A (zh) 一种基于视觉融合的行人检测方法
CN110197173B (zh) 一种基于双目视觉的路沿检测方法
CN112070841A (zh) 一种毫米波雷达与摄像头快速联合标定方法
CN109410264A (zh) 一种基于激光点云与图像融合的前方车辆距离测量方法
CN111272139B (zh) 一种基于单目视觉的车辆长度测量方法
CN103424112A (zh) 一种基于激光平面辅助的运动载体视觉导航方法
CN108645375B (zh) 一种用于车载双目系统快速车辆测距优化方法
CN109827516B (zh) 一种通过车轮来测量距离的方法
Kellner et al. Road curb detection based on different elevation mapping techniques
CN114463303B (zh) 一种基于双目相机和激光雷达融合的道路目标检测方法
CN110136186A (zh) 一种用于移动机器人目标测距的检测目标匹配方法
Kellner et al. Multi-cue, model-based detection and mapping of road curb features using stereo vision

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150715

Termination date: 20180926