CN103034838B - 一种基于图像特征的特种车辆仪表类型识别与标定方法 - Google Patents

Abstract

一种基于图像特征的特种车辆仪表类型识别与标定方法。本发明属于图像处理、模式识别领域。首先对每种类型的特种车辆仪表，采集一些特种车辆仪表图像，经过人工判断，把有代表性的图像留下当作训练样本；针对每个训练样本，通过图像预处理方法对图像质量进行归一化；然后提取出仪表图像的圆盘，根据圆盘半径对仪表图像进行大小归一化；归一化后分别对特种车辆仪表图像提取颜色特征和Gabor纹理特征；最后针对所有的训练样本，分别以颜色特征和Gabor纹理特征为向量为每种类型建立模型；每种类型的仪表的训练样本库的特征模型建立好后，对于采集到的实时图像，同样经过图像预处理进行图像质量归一化，对这两种特征与各个类型的仪表训练样本的特征模板分别进行模式匹配，用最近邻法则得到仪表分类结果。

Description

一种基于图像特征的特种车辆仪表类型识别与标定方法

技术领域

本发明属于图像处理、模式识别领域，主要针对的是各种不同类型的特种车辆仪表的图像，对特种车辆仪表的类型进行自动识别，并结合各类型仪表事先的标定，给出指针固定点和仪表刻度的位置。

背景技术

自动检测技术在特种车辆仪表的生产中有着广泛的应用，比如说特种车辆仪表需要进行自动检测时。长期以来，特种车辆仪表的校准与测量普遍采用人工读取方法。人工检测虽然准确，但是有很大的不方便之处。进行仪表检定的员工需要进行人工查看指针读数、与标准源数字数据比对、计算误差、保存结果，在指针快速转动的时候会存在人为的操作误差和人的视觉误差，并且检定效率会很低。因此自动仪表的检定是非常需要的。指针式仪表的非接触式自动检测技术可以通过图像处理技术实现，也就是利用图像传感器来模拟人眼，对指针式仪表进行图像采集，然后将采集的视频数据传输到计算机中的智能系统中。再利用计算机对采集到的仪表图像进行分析和识别，最后得到仪表指针所指向的结果。

以往针对指针式仪表的研究中，主要是针对仪表的自动识别，并且主要是针对工业仪表进行研究而比，如文献1(常发亮,许有才,乔谊正,无人值守表针实时视觉自动识别与分析方法,电子测量与仪器学报,2006.4,20(2):35-38.)，文献2（孙琳，王永东,指针式仪表自动检定图像识别技术,现代电子技术[J]，2011.Vol.34(8):101-104.）等等。针对特种车辆仪表识别的研究非常的少,对特种车辆仪表类型的自动识别更少。特种车辆仪表比工业仪表有很大的不同，首先特种车辆仪表指针固定点往往不是仪表圆盘的中心点，其次很大特种车辆仪表的刻度往往不均匀，也就给指针固定点和仪表刻度的自动识别带来了很大的困难。如果能针对特定仪表类型建模，那么就可以自动识别输入的仪表图像的仪表类型，根据对该类型事先的标定，便可以得到指针固定点的位置、刻度的分布等仪表自动识别的必须信息，从而有利于特种车辆仪表的自动读数。

发明内容

本发明的目的，是针对的是各种不同类型的特种车辆仪表的图像，对特种车辆仪表的类型进行自动识别，并结合各类型仪表事先的标定，给出指针固定点和仪表刻度的位置。

本发明的技术方案是：基于图像特征的对特种车辆仪表类型进行识别与建模。提取特征的算法主要综合了两种图像特征，其中一个是颜色特征，另外一个是Gabor纹理特征，将这两种特征综合，然后用模板匹配的方法对特种车辆仪表类型进行分类和识别。

首先对每种类型的特种车辆仪表，采集一些特种车辆仪表图像，经过人工判断，把有代表性的图像留下当作训练样本。针对每个训练样本，通过图像增强等图像预处理方法对图像质量进行归一化；然后提取出仪表图像的圆盘，根据圆盘半径对仪表图像进行大小归一化；归一化后分别对特种车辆仪表图像提取颜色特征和Gabor纹理特征。最后针对所有的训练样本，分别以颜色特征和Gabor纹理特征为向量为每种类型建立模型。其具体流程如图2所示。

每种类型的仪表的训练样本库的特征模型建立好后，对于采集到的实时图像，同样经过图像预处理进行图像质量归一化，提取仪表圆盘进行仪表大小归一化，归一化后分别提取颜色特征和Gabor纹理特征，对这两种特征与各个类型的仪表训练样本的特征模板分别进行模式匹配，对于小类型的特种车辆仪表用最近邻法则得到仪表分类结果。其具体流程如图1所示。

本发明的主要研究内容有：(1)仪表图像归一化：包括图像质量归一化、仪表图像大小归一化；(2)特征提取：包括颜色特征提取、Gabor纹理特征提取；(3)特征建模与模式匹配；(4)根据特定的仪表类型的标定，通过仪表类型获取仪表指针固定点、刻度信息。

1、仪表图像归一化

特种车辆仪表图像的归一化其主要目的是减少同一种仪表类型内不同样本之间的变异，即增强类内聚合度。典型的特种车辆仪表的类内变异包括下面几种：仪表表盘的光照、仪表的图像质量、仪表表盘大小，等等。针对这些类内变异，首先要对仪表图像质量进行归一化，这方面主要依靠预处理尽量减少各种图像的噪声环境差异和光照环境差异。然后要对仪表图像进行大小归一化，这方面主要依赖于仪表圆盘和半径的提取。因此特种车辆仪表图像的归一化包括了几个步骤，按先后顺序依次是：

●仪表图像增强和除去噪声，

●仪表圆盘提取，

●根据圆盘的大小对仪表大小的线性归一化

对特种车辆仪表图像进行预处理，简单的说就是为了使得测试的图像与模板图像的图像质量差别最小。预处理可以解决图像因为光线或者拍摄角度等原因造成的仪表图像模糊、歪斜或缺损异常情况。这里采取了通过中值滤波去随机噪声、通过颜色拉伸增强仪表图像的对比度。在中值滤波中又以自适应中值滤波在去除噪声和保存细节两方面效果最好，我们采用结合了均值滤波和自适应中值滤波两者优点的改进型自适应中值滤波算法。并使用带修正的自适应邻域平均法消除图像干扰和噪音。

为了将仪表的彩色图像进行拉升。我们先获取彩色图像对应的灰度图像，并统计仪表图像中的灰度最小值g1，灰度最大值g2，将其拉升到(0,255)的灰度空间，使得灰度图像更加清晰。我们这里采用一种改进的灰度拉升方法，考虑到灰度最小值g1，灰度最大值g2所对应的像素灰度值个数很少的时候对整体图像改进作用不大。我们要求g1和g2对应的灰度值像素总个数被设置成需要大于某个值。设g1为总像素大于n(比如n=10)的最小灰度，g2为总像素大于n(比如n=10)的最大灰度。对于任意像素点，其灰度值为gray(x,y),拉升后对应的灰度值为GRAY(x,y),则有：

$\mathrm{GRAY}(x,y)=\frac{255\×[\mathrm{gray}(x,y)-g_1]}{(g_2-g_1)}---\left(1\right)$

对于RGB模式的彩色图像，其对应的红色、绿色、蓝色的色彩拉升分别为：

$R(x,y)=\frac{255\×[r(x,y)-g_1]}{(g_2-g_1)}---\left(2\right)$

$G(x,y)=\frac{255\×[g(x,y)-g_1]}{(g_2-g_1)}---\left(3\right)$

$B(x,y)=\frac{255\×[b(x,y)-g_1]}{(g_2-g_1)}---\left(4\right)$

我们利用Hough变换检测圆弧的方法获取特种车辆仪表圆盘的边缘。得到仪表圆盘的大小后，我们对仪表的大小进行线性归一化。所谓大小规一化就是把测试图像和模板图像都放缩到相同的尺寸。归一化主要目的是为了减少实时采集的图像和模板仪表类型图像之间半径大小的变异。我们所做的是裁剪掉仪表圆盘外的区域，然后把所有的仪表圆盘内的像素归一化成半径为64像素大小的图像。线性归一化时，在X和Y轴方向只做等比例的变换。归一化后，仪表图像变成128x128大小的矩形，矩形图像的边缘紧接着仪表圆盘，仪表圆盘外的区域的像素都设置成白像素。

2、特征提取

颜色特征是特种车辆仪表的重要特征之一。不同于工业仪表，某些特种车辆仪表的局部是彩色的，如图3，图6，图9中的仪表。大部分仪表是黑底的，如图3，图5，图6，图7，图8，图9，图10，图11，图12的仪表，并且不同类型的特种车辆仪表的颜色不同。根据我们的观察，在特种车辆仪表中，红色、绿色、黑色是最重要的几个颜色，因此我们针对这几个颜色进行特征提取。我们将归一好的仪表图像等分为8X8的方格，每个方格分别统计红色、绿色、黑色像素的总个数，然后除以这个方格的面积，这样组成了8X8X3=192维的颜色特征向量。

对于仪表图像基于Gabor灰度图像纹理特征提取，我们对于归一化好的仪表的灰度图像，每个灰度图像被分成8X8的方格，取每个方格的中心，这样生成了8X8的采样点。在每个采样点上，我们加上一个Gaussian滤波器，这里的Gaussian滤波器是从Gabor滤波器的Gaussian包络求得而来的，具体过程如下面公式。

$G(x,y)=\frac{{\mathrm{\κ}}^2}{{\mathrm{\σ}}^2}\exp [-\frac{{\mathrm{\κ}}^2(x^2+y^2)}{2{\mathrm{\σ}}^2}]=\frac{4}{{\mathrm{\λ}}^2}\exp [-\frac{2(x^2+y^2)}{{\mathrm{\λ}}^2}]---\left(5\right)$

$F_d(x_i,y_j)=\underset{x=-N}{\overset{x=N}{\mathrm{\Σ}}}\underset{y=-N}{\overset{y=N}{\mathrm{\Σ}}}{f}_d(x_i+x,y_j+y)G(x,y)---\left(6\right)$

在上面的公式中我们设参数σ=π,其中波长λ=8,N=2λ。

这样以每个采样点为中心，通过Gaussian滤波器对Gaussian包络里所有的像素值为非0的点进行求和，就在每个模板图像的每个采样点上得到了一个特征值,总共得到8X8(采样点)=64维特征向量。特征向量通过对每个特征值求平方根的方程得到最终的64维特征向量

3、特征建模与模式匹配

求得仪表模板类型图像的特征向量和被测字仪表的图像的特征向量后，计算它们之间的欧式距离d，越接近0表明这两幅图像越相似。这里设测试样本为X,标准样本为Y.测试样本的特征值为：(x₁,x₂,x₃,..,x_n)，标准样本的特征值为(y₁,y₂,y₃，...,y_n)，其中特征值都归一化到(0.0,1.0)的范围内。

对于颜色特征值和Gabor特征，本身都在(0,1)范围内的值，我们在这里不做归一化。

针对每一种特征的判别函数为：

$E(x,y)=\underset{k=0}{\overset{n}{\mathrm{\Σ}}}{(x_k-y_k)}^2,k=\mathrm{1,2},...,n---\left(7\right)$

对于分类器的选择，如果特种车辆仪表类型比较少，每种类型的仪表的训练样本非常的多，可以采用神经网络分类器达到比较好的识别效果。如果特种车辆仪表的类型只有2类，有大量的训练样本，可以采用SVM的分类器达到比较好的识别效果。如果特种车辆仪表类型的种类比较多，有成千上万种，可以采用混合高斯建模或者采用多模板匹配法进行分类和识别，那样的识别效果快速并且准确。

本发明中，由于针对特种车辆仪表类型不是很多（主要针对10种特种车辆仪表类型，如图3到图12所示），并且我们对每种仪表类型精心挑选训练样本，每种仪表类型的训练样本的数量不是很大（针对每种仪表类型，指针指向每个刻度取一个训练样本），都是精心挑选的有代表性的，因此我们采用最近邻法则进行类型匹配，采用最近邻法则对于我们这个问题有非常好的识别效果。通过最近来法找到与测试样本（输入的实时图像）最邻近的训练样本，也就是说均方误差最小的训练样本Y，也就是：

$Y=\min \left[\underset{k=0}{\overset{n}{\mathrm{\Σ}}}{(x_k-y_k)}^2\right],k=\mathrm{1,2},...,n---\left(8\right)$

如果Y属于某种仪表类型M,则测试样本（输入的实时图像）的仪表图像也属于该仪表类型M。

4、根据特定的仪表类型获取仪表指针固定点、刻度信息

相对于工业仪表，对特种车辆仪表的类型识别更加有必要，并且可行。首先，特种车辆仪表类型有限，因此可以每种特种车辆仪表进行特征建模。而工业仪表的类型则多很多，可能成千上万种。相对工业仪表来说，特种车辆不同类型的仪表的表盘具有不同的特征，而工业仪表的特征有规律一下，而且很多特种车辆仪表的刻度也不是均匀的，因此非常有必要对每种不同类型的特种车辆仪表进行特征建模，并且对每种特种车辆仪表进行人工设定参数值如其指针固定点、起始刻度和终止刻度位置、刻度分别。如图3至图12，展示了本发明涉及到的特种车辆仪表类型设定的指针固定点和刻度分布参数值。这样识别出特种车辆仪表的类型后，根据每种特种车辆仪表的设定值就可以推测出指针固定点，刻度分布等重要信息，进一步如果指针自动识别后就可以进行精确的仪表识别。

对比现有技术，本发明具有如下优点：

(1)本发明提取图像特征，对特种车辆仪表类型进行了建模和类型识别。

(2)颜色特征对于有彩色的仪表，如表盘上有红颜色、绿颜色的仪表类型效果非常明显。

(3)本发明自动识别了仪表类型后，使得特种车辆仪表的指针固定点、不均匀刻度的自动识别都成为可能。

5、附图说明

图1.基于图像特征的特种车辆仪表类型的自动识别流程图。

图2.基于图像特征的特种车辆仪表训练集合的建模过程。

图3.根据仪表类型1确定指针固定点、刻度、起始刻度和终止刻度。

图4.根据仪表类型2确定指针固定点、刻度、起始刻度和终止刻度。

图5.根据仪表类型3确定指针固定点、刻度、起始刻度和终止刻度。

图6.根据仪表类型4确定指针固定点、刻度、起始刻度和终止刻度。

图7.根据仪表类型5确定指针固定点、刻度、起始刻度和终止刻度。

图8.根据仪表类型6确定指针固定点、刻度、起始刻度和终止刻度。

图9.根据仪表类型7确定指针固定点、刻度、起始刻度和终止刻度。

图10.根据仪表类型8确定指针固定点、刻度、起始刻度和终止刻度。

图11.根据仪表类型9确定指针固定点、刻度、起始刻度和终止刻度。

图12.根据仪表类型10确定指针固定点、刻度、起始刻度和终止刻度。

具体实施方式

下面结合图对本发明的具体实施进行进一步的说明。

本发明的实施的总流程图如图1所示，其流程如下：利用图像采集系统和设备获取特种车辆仪表的一副实时的视频图像后，将视频数据传送到计算机中，计算机对单幅仪表图像进行自动识别处理。首先提取出这幅仪表图像的圆盘，然后根据圆盘半径将仪表图像进行归一化，归一化后分别提取颜色特征和Gabor纹理特征，对这两种特征与训练样本中的特征模板分别进行模式匹配，然后得到仪表分类结果，最后将两种的识别结果综合得到仪表类型。

本发明的训练样本的获取特征模板如图2所示，对每种类型的仪表，精心挑选有代表性的训练样本，比如说指针指向仪表的每个刻度取一个样本图像放在训练集合中，然后针对每一个训练样本图像提取颜色特征和Gabor纹理特征值。

Claims (4)

1.一种基于图像特征的特种车辆仪表类型识别与标定方法，其特征在于，所述方法如下：

首先对每种类型的特种车辆仪表，采集一些特种车辆仪表图像，经过人工判断，把有代表性的图像留下当作训练样本；针对每个训练样本，通过图像预处理方法对图像质量进行归一化；然后提取出仪表图像的圆盘，根据圆盘半径对仪表图像进行大小归一化；归一化后分别对特种车辆仪表图像提取颜色特征和Gabor纹理特征；最后针对所有的训练样本，分别以颜色特征和Gabor纹理特征为向量为每种类型建立模型；

每种类型的仪表的训练样本库的特征模型建立好后，对于采集到的实时图像，同样经过图像预处理进行图像质量归一化，提取仪表圆盘进行仪表大小归一化，归一化后分别提取颜色特征和Gabor纹理特征，对这两种特征与各个类型的仪表训练样本的特征模板分别进行模式匹配，用最近邻法则得到仪表分类结果；

所述仪表图像归一化具体如下：

首先对特种车辆仪表图像进行预处理，通过中值滤波去随机噪声、通过颜色拉伸增强仪表图像的对比度；其中中值滤波采用结合均值滤波和自适应中值滤波两者优点的改进型自适应中值滤波算法；并使用带修正的自适应邻域平均法消除图像干扰和噪音；其中，通过颜色拉伸增强仪表图像的对比度：先获取彩色图像对应的灰度图像，并统计仪表图像中的灰度最小值g1，灰度最大值g2，将灰度图像拉升到(0,255)的灰度空间，使得灰度图像更加清晰；设g1为总像素大于n的最小灰度，g2为总像素大于n的最大灰度，所述n＝10；对于任意像素点，其灰度值为gray(x,y),拉升后对应的灰度值为GRAY(x,y),则有：

对于RGB模式的彩色图像，其对应的红色、绿色、蓝色的色彩拉升分别为：

其次，利用Hough变换检测圆弧的方法获取特种车辆仪表圆盘的边缘；

得到仪表圆盘的大小后，对仪表的大小进行线性归一化，即裁剪掉仪表圆盘外的区域，然后把所有的仪表圆盘内的像素归一化成半径为64像素大小的图像；线性归一化时，在X和Y轴方向只做等比例的变换；归一化后，仪表图像变成128x128大小的矩形，矩形图像的边缘紧接着仪表圆盘，仪表圆盘外的区域的像素都设置成白像素。

2.根据权利要求1所述的方法，其特征在于，所述颜色特征提取具体如下：

将归一好的仪表图像等分为8X8的方格，每个方格分别统计红色、绿色、黑色像素的总个数，然后除以这个方格的面积，这样组成了8X8X3＝192维的颜色特征向量；

对于仪表图像基于Gabor灰度图像纹理特征提取，对于归一化好的仪表的灰度图像，每个灰度图像被分成8X8的方格，取每个方格的中心，这样生成了8X8的采样点；在每个采样点上，加上一个Gaussian滤波器，这里的Gaussian滤波器是从Gabor滤波器的Gaussian包络求得而来的，具体过程如下面公式；

在上面的公式中参数其中波长λ＝8,N＝2λ；

这样以每个采样点为中心，通过Gaussian滤波器对Gaussian包络里所有的像素值为非0的点进行求和，就在每个模板图像的每个采样点上得到了一个特征值,总共得到采样点8X8＝64维特征向量；特征向量通过对每个特征值求平方根的方程得到最终的64维特征向量

3.根据权利要求2所述的方法，其特征在于，所述特征建模与模式匹配具体如下：

求得仪表模板类型图像的特征向量和被测字仪表的图像的特征向量后，计算它们之间的欧式距离d，越接近0表明这两幅图像越相似；这里设测试样本为 X,标准样本为Y，测试样本的特征值为：(x₁,x₂,x₃,...,x_n)，标准样本的特征值为(y₁,y₂,y₃,...,y_n)，其中特征值都归一化到(0.0,1.0)的范围内；

针对每一种特征的判别函数为：

对于分类器的选择，采用最近邻法则进行类型匹配，通过最近邻法找到与测试样本最邻近的训练样本，所述测试样本为输入的实时图像，均方误差最小的训练样本Y：

如果Y属于某种仪表类型M,则测试样本的仪表图像也属于该仪表类型M。

4.根据权利要求1所述的方法，其特征在于，所述方法还进一步包括：

识别出特种车辆仪表的类型后，根据每种特种车辆仪表的设定值推测出指针固定点，刻度分布的重要信息，进一步进行精确的仪表识别。