CN105224945A - 一种基于联合检测与辨识算法的车标识别方法 - Google Patents

Abstract

该发明公开了一种车标联合检测与识别的方法，属于车辆识别技术领域。该方法首先获得标准、清晰的车标图像，为模版图像，计算模版车标图像的特征，建立车标模板特征库；再截取获得车辆图像的车标图像，对截取图像进行灰度，二值化处理；再求出处理后的图像与所有模版图像的距离；然后计算相似度，将获得相似度与置信区间比较，处于置信区间内的就为对应的模板车标，从而实现发明目的。本发明具有对现有车标提取精度要求低；对25x25的超低分辨、多尺度、多光照条件下的车标图像检测具有鲁棒性；检测与识别一体，扩展性强的优点。

Description

一种基于联合检测与辨识算法的车标识别方法

技术领域

本发明属于车辆识别技术领域，尤其涉及车标识别方法。

背景技术

车牌识别系统在智能交通系统越来越收到重视，应用场景如：(1)道路桥梁自动收费系统；(2)车辆控制与管理系统；(3)道路布控系统；(4)信息服务系统；(5)车辆的进一步确认等。

传统的汽车标志识别系统中，需要先检测并提取出感兴趣区域(ROI),再提取ROI特征并送入识别模块以辨识。车牌检测与识别系统一般可以看为两个级联的模块：1、检测模块2、识别模块。检测模块对输入图像提取感兴趣区域，系统将其特征送入识别模块，进行多类车标的辨识。由于智能交通系统中获取的车标图像，有多尺度、多形态且低分辨率的特点，导致现有方法无法进行很好的分割，识别结果也会差强人意。

目前检测方法主流的研究方向有：

1、以云南大学计算机科学学院的Yunqiong,Wang2007年提出的方法为代表的是利用车前脸具有对称性的边缘特征，通过形态学的图像处理方法检测出车标的具体位置。但是，在光照集中，车前脸排气扇背景结构复杂等情况下，该方法是无法准确提取位置信息。

2、以阿尔卡拉大学计算机工程系Llorca,D.F.2013年提出的滑窗方法为代表，其在车牌位置的上方形成N个多尺度、多位置的检测假设框提取感兴趣区域，再将区域提取方向梯度直方图(HistogramofOrientedGradient,HOG)特征并送入识别模块。该系统在车牌识别(LicencePlateRecognition，LPR)的基础上，得到假设框的的尺度、位置等先验信息。由于车标的尺度和形态的多样性，使得ROI必须具有足够数量才能保证有准确的输出结果，并且当车辆检测不到车牌时，系统无法运作。

目前车标识别算法主流的研究方向有：

1、澳门科技大学的Kam-Tong,Sam2012年提出基于几何不变矩特征的车标识别，先提取分割后车标图像的RadialTchebichef矩特征，再计算其与车标模板特征的距离，最后选择最近邻作为车标类别输出。文献“Reliableclassificationofvehiclelogosbyanimprovedlocal-meanbasedclassifier”基于修正不变矩特征，识别架构两者类似，在精确分割提取车标的情况下，能取得很好的识别结果，但是当不能精确的切割出车标图像，识别的准确率将极大下降。

2、阿尔卡拉大学计算机工程系，Llorca,D.F.2013年提出基于HOG特征与奥卢大学的Ojala.T.2002年提出的基于LBP的局部区域灰度直方图特征。两者结合支持向量机具有很好的识别效果。但是同样，识别结果对车标精确分割图像十分敏感，当无法精确分割提取车标图像，将无法准确识别汽车标志。

3、希腊雅典国家技术大学的ApostolosP.Psyllos2012年提出的方法是：提取目标图片尺度不变特征(Scale-invariantfeaturetransform，SIFT)特征，并对车标模板图像提取增强型SIFT(M-SIFT)特征。通过将查询图像SIFT特征与车标模板M-SIFT特征分别匹配，得到特征匹配最多的模板将作为结果输出。但是在低分辨率的车标图像中，无法提取足够数量的SIFT特征完成匹配。

智能交通系统的实际应用的车标图像有如下特征：1、车标形状各异且多尺度2、图像分辨率极低，边缘特征不明显，难以精确分割3、车标周围背景多样复杂，光照条件不一。这种情况下难以精确的分割车标图像，当分割失败的情况下，传统的先检测后识别的系统无法识别车标种类。

鉴于以上的情况，本发明提出一种新的车标检测与辨识方法，将车标检测与辨识一体化。通过将输入包含车标的图像以点为单位去释义车标模版特征库，衡量释义结果，即可得到车标的分类种类。首先，对输入包含车标的图像提取DenseSIFT特征，以像素点为单位提取4尺度的128D梯度直方图特征，保证在低分辨率且多尺度的情况下也能够很好的描述图像。再次，基于反SIFT流(SIFTflow)算法，用输入图像释义图形模板，保证在不用精确的检测车标ROI的基础上也能得到可衡量的释义结果，并且释义模版能够很好的车标种类的多样性。最后，对释义结果通过判决标准以输出识别的车标种类。

由于车标图像具有上文所述的特点，所以传统车标检测识别系统的检测模块无法准确地检测目标，进而极大的影响到识别模块识别的准确性。本发明将检测模块与辨识模块一体化，能很好的解决检测模块在传统车标识别系统上的不足，对低分辨率、多光照、多尺度情况下的车标图像辨识都具有鲁棒性。

发明内容

有鉴于此，本发明的目的在于提供一种具有新的车标检测与识别算法：针对智能交通系统中低分辨率、总类繁多、多尺度的图像。对包含车标图像运用SIFTFlow反释义模版特征，根据释义的结果衡量，能检测与辨识一体地识别目标。

为实现上述目的，本发明提供如下的技术方案:

一种车标联合检测与识别的方法，包括以下步骤：

步骤1：获得清晰的车标模板图像，并计算模板图像的图像特征，获得车标模板特征库；

步骤2：截取获得车辆图像中的车标图像I₁，将彩色图像I₁转化为灰度图像，再进行二值化处理得到图像I₂；

步骤3：图像I₂通过SIFTFlow算法对车标模板特征库一一释义，得到释义结果图I_3Ni，和匹配能量分布E(w)，其中N为指定的模板车标，i＝1,2,3,4是得到的释义结果图的4个尺度；

步骤4：释义图I_3Ni与模板图之间运用相似度计算，得到相似度S；

步骤5：将平均能量分布E(w)与相似度S加权累加得到截取的车标图像分别与模板图像之间的相似距离L；

步骤6：获得判断车标的置信区间：获取同一监控处多张相同车标的监控车标图像，将这些监控车标图像与其对应的模版图像求取相似距离，获得模版车标与监控车标相似距离的均值E_N和方差σ_N，置信区间为(E_N-3σ_N,E_N+3σ_N)；

步骤7：将得到的最小相似距离L与置信区间进行比对，在置信区间的则判定为该车标，否则输出无车标。

进一步的，所述模板特征库由从多个标准车标图形提取的多个尺度的DenseSIFT特征矩阵组成。

进一步的，所述步骤3中的SIFTFlow算法是：

步骤3.1：提取图像I₂的DenseSIFTM×N×128特征矩阵；

步骤3.2：匹配图像I₂的特征矩阵与模板特征库，求解目标能量函数的最优解；目标函数由两部分构成：边缘特征项构成、邻域项；满足多尺度精确匹配，目标函数增加尺度变量D，并在依据全图确定最优解的搜索框；

步骤3.3：求解目标函数得到最优能量函数和最优解向量矩阵vx，vy；由I₂、vx和vy获得释义图I₃。

本发明一种基于联合检测与辨识算法的车标识别方法的优点是：1、无需精确分割车标图像，对现有车标提取精度要求低；2、对25x25的超低分辨、多尺度、多光照条件下的车标图像检测具有鲁棒性；3、检测与识别一体，扩展性强。

附图说明

图1为本发明一种基于联合检测与辨识算法的车标识别方法流程图；

图2为本发明处理过程图像示意图。

具体实施方式：

下面结合附图和具体实施例对本发明进行进一步的说明

S1:输入一帧包含logo且有一定的背景的矩形图像I₀，图像尺寸n×m，将图像转为双精度，并将像素值除以255重新调节数值在[0,1]之内，得到图像I₁。

S2:对图像I₁提取n×m×128维的DenseSIFT特征矩阵F。

S3:基于特征矩阵F，用改进的SIFTFlow算法对车标的模版进行一一释义匹配，得到释义图I_2Ni(N,i＝1,2,3,4)与能量分布E(w,D_i)

S4：所述改进的SIFTFlow算法为以下两个方面：

1、改进SIFTFlow的目标函数：

公式由两部分组成，第一部分是数据项，利用获取的DenseSIFT特征向量比较两个像素之间的边缘差距。第二部分是范围项，自身指向向量与邻域指向向量距离越远能量越大，利用邻域的匹配指向来限制周围的像素的匹配指向。目的是能够在复杂的背景环境下，检测与识别一体得释义目标库的车标。

是指数据项，

是指邻域项目标函数：

$\begin{array}{c}E(w,D_i)=\underset{p}{\Σ}|\left(\right|\left(s_1\left(p\right),D_i\right)-\left(s_2\left(p+w\left(p\right)\right),D_i\right)\left|\right|,t)+\\ \mathrm{\η}\underset{(p,q)\∈\mathrm{\ϵ}}{\Σ}\min \left(\mathrm{\λ}\right|\left(u\left(p\right),D_i\right)-\left(u\left(q\right),D_i\right)|,d)+\min \left(\mathrm{\λ}\right|\left(v\left(p\right),D_i\right)-\left(v\left(q\right),D_i\right)|,d)\end{array}$

其中，p是输入图像的像素点，q为p点的邻域像素点。s₁(p)是对输入的查询图像像素点p取出的DenseSIFT特征，w(p)是像素点指向匹配图像中的点的向量，u(p)，v(p)分别为w(p)的水平向量和竖直向量。D_i是指不同的尺度。η为经验常数，d为经验门限值。

2、改进的SIFTFlow算法对SIFTFlow算法进行搜索框优化：

SIFT原始图像的释义向量指向矩阵Vx，Vy的搜索范围是查询图像的大小一致。

S5:所述车标模板特征库，是指对每帧模版特征图像提取4个尺度的DenseSIFT特征。DenseSIFT的参数设置为Cellsize设定为3，gridpacing设定为1。当库的数量的为N，则模板库特征矩阵的数量为N×4。

S6：所述改进的SIFTFlow算法的释义模块初始参数设定为：d为经验阈值，设定为2040；nlevels为由粗到细搜索层数，设定为7；wsize为搜素框的大小，设定为7×7；topwsize为初始搜索框大小，设定为30×30；iteration为搜索最优解的迭代次数，设定为15；Topiteration为初始搜索迭代次数，设定为40。

S7：所述通过以上设定初始参数与改进修改，得到函数SIFTFlow()。将待检测图像特征矩阵与N×4个模板特征库B_Ni(N,i＝1,2,3,4)分别导入函数，通过多次多层的迭代，得到N×4个由原图像释义的4尺度模板图像的释义图I_Ni(N,i＝1,2,3,4)，同时分别得到N×4个能量分布E(w,D_i)_Ni(N,i＝1,2,3,4)。

S8:将得到的释义图I_2Ni(N,i＝1,2,3,4)与N×4帧模板图做相似比对。分别得到：1、边缘覆盖度；2、释义重复率。

S9：所述边缘覆盖率CoverRate的计算方法：对I_2Ni(N,i＝1,2,3,4)与N×4帧模板图同时用sobel算子分别得到边缘二值图像，并对图像做与或处理，像素值同为1或0就累加，得到累计总数m，再除以像素点总数得到边缘覆盖率，计算公式为： $CoverRate=\frac{\underset{(n,m)}{\Σ}{I}_{Ni}\⊕B_{Ni}}{n_{Ni}\×m_{Ni}},(N,i=1,2,3,4).$

S10：所述释义重复率DuplicationRate的计算方法：SIFTFlow允许多点对一点的匹配，引入释义重复率对其进行惩罚，计算方法为通过输入图像指向向量矩阵vx，vy，统计最后指向点的重复数，除以图像像素数，得到释义重复率DuplicationRate。

S11：由S9与S10得到的重复率DuplicationRate与释义重复率DuplicationRate，可计算得到最终判断的指标相似度距离：

S＝E(w,D_i)+α*DuplicationRate+β*CoverRate

α，β分别为经验常数

S12：统计N×4个模板正确释义车标的相似度距离S_Ni(N,i＝1,2,3,4)的均值E(S)_Ni(N,i＝1,2,3,4),方差σ(S)_Ni(N,i＝1,2,3,4)，选取S^*为数值最小的S_Ni(N,i＝1,2,3,4)，当S^*在E(S^*)±3σ(S^*)范围内，则选择该车标作为输出，若不在范围内，则输出无车标。

实施例：

S1:输入一帧包含logo且有一定的背景的矩形图像，图像尺寸76×150，将图像转为双精度，并将像素值除以255重新调节数值在[0,1]之内，因为是作归一化处理，本质上并不改变图像。

S2:对图像I₁提取76×150×128维的DenseSIFT特征矩阵F。

S3:基于特征矩阵F，用改进的SIFTFlow算法对车标的模版进行一一释义匹配，得到释义与能量分布E(w,D_i)，可得其能量均值为：1428.41629001883。

S4：所述改进的SIFTFlow算法为以下两个方面：

1、改进SIFTFlow的目标函数：

公式由两部分组成，第一部分是数据项，利用获取的DenseSIFT特征向量比较两个像素之间的边缘差距。第二部分是范围项，自身指向向量与邻域指向向量距离越远能量越大，利用邻域的匹配指向来限制周围的像素的匹配指向。目的是能够在复杂的背景环境下，检测与识别一体得释义目标库的车标。

是指数据项，

是指邻域项目标函数：

$\begin{array}{c}E(w,D_i)=\underset{p}{\Σ}|\left(\right|\left(s_1\left(p\right),D_i\right)-\left(s_2\left(p+w\left(p\right)\right),D_i\right)\left|\right|,t)+\\ \mathrm{\η}\underset{(p,q)\∈\mathrm{\ϵ}}{\Σ}\min \left(\mathrm{\λ}\right|\left(u\left(p\right),D_i\right)-\left(u\left(q\right),D_i\right)|,d)+\min \left(\mathrm{\λ}\right|\left(v\left(p\right),D_i\right)-\left(v\left(q\right),D_i\right)|,d)\end{array}$

其中，p是输入图像的像素点，q为p点的邻域像素点。s₁(p)是对输入的查询图像像素点p取出的DenseSIFT特征，w(p)是像素点指向匹配图像中的点的向量，u(p)，v(p)分别为w(p)的水平向量和竖直向量。D_i是指不同的尺度。η为经验常数，d为经验门限值。

2、改进的SIFTFlow算法对SIFTFlow算法进行搜索框优化：

SIFT原始图像的释义向量指向矩阵Vx，Vy的搜索范围是查询图像的大小一致。

S5:所述车标模板特征库，是指对每帧模版特征图像提取4个尺度的DenseSIFT特征。DenseSIFT的参数设置为Cellsize设定为3，gridpacing设定为1。当库的数量的为10，则模板库特征矩阵的数量为10×4。

S6：所述改进的SIFTFlow算法的释义模块初始参数设定为：d为经验阈值，设定为2040；nlevels为由粗到细搜索层数，设定为7；wsize为搜素框的大小，设定为7×7；topwsize为初始搜索框大小，设定为30×30；iteration为搜索最优解的迭代次数，设定为15；Topiteration为初始搜索迭代次数，设定为40。

S7：所述通过以上设定初始参数与改进修改，得到函数SIFTFlow()。将待检测图像特征矩阵与10×4个模板特征库B_Ni(N＝1,2...,10；i＝1,2,3,4)分别导入函数，通过多次多层的迭代，得到N×4个由原图像释义的4尺度模板图像的释义图I_Ni(N＝1,2...,10；i＝1,2,3,4)，同时分别得到10×4个能量分布E(w,D_i)_Ni(N＝1,2...,10；i＝1,2,3,4)和10×4大小的平均能量矩阵

S8:将得到的释义图如图2所示，与10×4帧模板图做相似比对。分别得到：1、边缘覆盖率；2、释义重复率，如奔驰优选释义图的边缘覆盖率为：0.6973；释义重复率为：0.0082。

S9：由S8得到的重复率DuplicationRate与释义重复率DuplicationRate，可计算得到最终判断的指标相似度距离：

S＝α*avg(E(w,D_i))+β*1/DuplicationRate+γ*CoverRate

α＝10，β＝1，γ＝5分别为经验常数

得到最终的判别数：S^*＝6.6015。

S10：统计10×4个模板正确释义车标的相似度距离S_Ni(N,i＝1,2,3,4)的均值E(S)_Ni(N,i＝1,2,3,4),方差σ(S)_Ni(N,i＝1,2,3,4)，选取S^*为数值最小的S_Ni(N,i＝1,2,3,4)，可的S^*＝6.6015，当S^*在[4.5521,12.4567]范围内，则选择该车标Audi作为输出。

Claims (3)

1.一种车标联合检测与识别的方法，包括以下步骤：

步骤1：获得清晰的车标模板图像，并计算模板图像的图像特征，获得车标模板特征库；

步骤2：截取获得车辆图像中的车标图像I₁，将彩色图像I₁转化为灰度图像，再进行二值化处理得到图像I₂；

步骤3：图像I₂通过SIFTFlow算法对车标模板特征库一一释义，得到释义结果图I_3Ni，和匹配能量分布E(w)，其中N为指定的模板车标，i＝1,2,3,4是得到的释义结果图的4个尺度；

步骤4：释义图I_3Ni与模板图之间运用相似度计算，得到相似度S；

步骤5：将平均能量分布E(w)与相似度S加权累加得到截取的车标图像分别与模板图像之间的相似距离L；

步骤6：获得判断车标的置信区间：获取同一监控处多张相同车标的监控车标图像，将这些监控车标图像与其对应的模版图像求取相似距离，获得模版车标与监控车标相似距离的均值E_N和方差σ_N，置信区间为(E_N-3σ_N,E_N+3σ_N)；

步骤7：将得到的最小相似距离L与置信区间进行比对，在置信区间的则判定为该车标，否则输出无车标。

2.如权利要求1所述的一种车标联合检测与识别的方法，其特征在于所述模板特征库由从多个标准车标图形提取的多个尺度的DenseSIFT特征矩阵组成。

3.如权利要求1所述的一种车标联合检测与识别的方法，其特征在于所述步骤3中的SIFTFlow算法是：

步骤3.1：提取图像I₂的DenseSIFTM×N×128特征矩阵；

步骤3.2：匹配图像I₂的特征矩阵与模板特征库，求解目标能量函数的最优解；目标函数由两部分构成：边缘特征项构成、邻域项；满足多尺度精确匹配，目标函数增加尺度变量D，并在依据全图确定最优解的搜索框；

步骤3.3：求解目标函数得到最优能量函数和最优解向量矩阵vx，vy；由I₂、vx和vy获得释义图I₃。