CN109190455B - 基于高斯混合和自回归滑动平均模型的黑烟车识别方法 - Google Patents
基于高斯混合和自回归滑动平均模型的黑烟车识别方法 Download PDFInfo
- Publication number
- CN109190455B CN109190455B CN201810789111.3A CN201810789111A CN109190455B CN 109190455 B CN109190455 B CN 109190455B CN 201810789111 A CN201810789111 A CN 201810789111A CN 109190455 B CN109190455 B CN 109190455B
- Authority
- CN
- China
- Prior art keywords
- pixel
- vehicle
- value
- gaussian
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000779 smoke Substances 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 25
- 239000000203 mixture Substances 0.000 title claims abstract description 18
- 239000011159 matrix material Substances 0.000 claims abstract description 21
- 238000012544 monitoring process Methods 0.000 claims abstract description 10
- 238000004458 analytical method Methods 0.000 claims abstract description 9
- 238000009826 distribution Methods 0.000 claims description 39
- 238000004364 calculation method Methods 0.000 claims description 15
- 239000013598 vector Substances 0.000 claims description 12
- 230000009467 reduction Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 4
- 238000012300 Sequence Analysis Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 230000021615 conjugation Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000002945 steepest descent method Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000004321 preservation Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
- G06V10/507—Summing image-intensity values; Histogram projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
基于高斯混合和自回归滑动平均模型的黑烟车识别方法，包括如下步骤：（1）利用高斯混合模型从道路监控视频中检测车辆运动目标；（2）提取车辆关键区域的三种特征，包括Haar‑like特征，共生矩阵梯度方向直方图特征和局部二值模式傅里叶直方图特征；（3）利用自回归滑动平均模型对每种特征的连续多帧进行建模，得到三个不同模型；（4）对于新的车辆目标，将三个模型分别用于车辆关键区域提取到的三种特征的分类，结合不同特征的分类结果和连续多帧的综合分析，对当前视频段是否有黑烟车做出判断。本发明可以大大节省传统方法消耗的人力和财力，有利于证据的获取和保存，不影响正常交通，能有效的提高执法效率。
Description
技术领域
本发明涉及计算机视觉和模式识别技术领域，特别是涉及基于高斯混合和自回归滑动平均模型的黑烟车识别方法。
背景技术
2018年6月16日，中共中央国务院发布的《关于全面加强生态环境保护坚决打好污染防治攻坚战的意见》中指出要“打好柴油货车污染治理攻坚战,，……建设天地车人一体化的机动车排放监控系统，完善机动车遥感监测网络”。污染比较严重的柴油车又称黑烟车，通常在排气孔处会有浓浓的黑烟，其污染一直是机动车污染治理的重点，及时发现道路上行驶的黑烟车，并由环保部门做进一步的处理，将有助于降低机动车污染，提高空气质量，减少其对人体的危害。
目前很多城市仍旧采用道路巡查、群众举报和人工视频监控的方式检测道路上的黑烟车，费时费力，还会影响正常的交通运行，不利于相关车辆违法证据的保存。现在随机计算机视觉技术和模式识别技术的不断发展，如何采用视频分析的方式自动检测黑烟车越来越成为热点，非常值得研究。
本发明提供了一种基于视频分析的智能黑烟车检测方法，该发明将高斯混合模型和自回归滑动平均模型相结合，同时设计了Haar-like特征，共生矩阵梯度方向直方图特征(CoHOG)和局部二值模式傅里叶直方图特征(LBP-HF)，三种特征的融合增加了黑烟车识别的准确率，降低了误报率。
发明内容
为了以上问题，本发明提供基于高斯混合和自回归滑动平均模型的黑烟车识别方法，能综合不同类型的静态特征，并引入自回归滑动平均模型刻画关键区域的动态特征，对相机抖动和车辆阴影具有很高的鲁棒性，能降低噪声的干扰，进一步提高黑烟车的识别率，降低误报率。为达此目的，本发明提供一种基于高斯混合和自回归滑动平均模型的黑烟车识别方法，具体步骤如下，其特征在于：
(1)利用高斯混合模型从道路监控视频中检测车辆运动目标；
(2)提取车辆关键区域的三种特征，包括Haar-like特征，共生矩阵梯度方向直方图特征和局部二值模式傅里叶直方图特征；
(3)利用自回归滑动平均模型对每种特征的连续多帧进行建模，得到三个不同模型；
(4)对于新的车辆目标，将三个模型分别用于车辆关键区域提取到的三种特征的分类，结合不同特征的分类结果和连续多帧的综合分析，对当前视频段是否有黑烟车做出判断。
进一步，步骤(1)中的利用高斯混合模型从道路监控视频中检测车辆运动目标包括如下步骤：
(11)将每一帧图像转化为灰度图像，并均分为3*3像素的小块，对每个像素块建立高斯模型，以提高背景建模速度和稳定性，降低噪声的干扰；
(12)模型初始化，以某帧图像一个像素块M为例，该像素块的初始模型利用前N帧序列图像的像素块序列建立，记作{x1,x2,...,xN}，取像素块的灰度平均值μ0和方差
初始化第1个高斯分布的均值和方差，即
其中，I(x,y,k)表示该像素块在第k帧图像在位置(x,y)处的像素值；
(13)以第N+1帧为例来说明背景模型的更新方法，
若像素块的灰度值xN+1满足|xN+1-μi,N|≤2.5σi,N，则该像素块与对应的K个高斯分布匹配，参数更新如下，
其中，β和ρ分别是高斯分布均值和方差的学习率，
表示高斯概率密度函数，θ和γ为固定值，用于调整学习率的取值范围，xN+1为第N+1帧像素块的灰度平均值，μi,N和σi,N 2为第N+1帧,第i个高斯模型的均值和方差；
若该像素块的灰度值xN+1与对应的K个高斯分布不匹配，则参数μi,N和σi,N 2保持不变，需要以xN+1为均值，较大方差和较小权重建立一个新的高斯分布，取代原有K个高斯分布中权重最小的一个，同时，更新K个高斯分布的权重ωi,N,
ωi,N+1＝(1-α)ωi,N+αMi,N+1,i＝1,2,...,K
其中，α是学习率，对于参数Mi,N+1，当xN+1与第i个高斯分布不匹配时，Mi,N+1＝1，否则，Mi,N+1＝0；
(14)背景估计，按照
i＝1,2,...,K的值由大到小，对像素块M的K个高斯分布排序,取前B个高斯分布作为背景模型，取后K-B个高斯分布作为前景模型，
其中，T是阈值，决定了背景分布个数,
判断像素块M是否属于运动目标，当M的灰度值xN+1与前B个高斯分布中某个匹配时，认为M为背景像素；否则M为目标像素；
所有目标像素组成的区域即为前景目标区域(车辆目标)，为降低误报，需确定关键区域，以前景目标的包围盒的底边为关键区域的底边，该区域的宽等于车辆目标的宽的0.8倍，高为60像素，归一化该关键区域为80*120像素，记作Inorm。
进一步，步骤(2)中的Haar-like特征的计算包括如下步骤：
(21)Haar-like特征是计算机视觉领域一种常用的特征描述算子，其特征值是一个小区域内的黑色像素灰度值之和减去白色像素灰度值之和，采用基于块特征的方式替代基于像素的方式可以降低计算成本，特征选择主要边缘特征，线特征，点特征(中心环绕特征)和对角特征；
(22)Haar-like特征一般由2-3个矩形块组成，为了提高计算速度，采用积分图的方法快速计算出矩形内所有灰度的和；
(23)为降低特征维数，使用PCA算法进行特征选择和降维，得到降维后的Haar-like特征向量，记作FHaar-like。
进一步，步骤(2)中的共生矩阵梯度方向直方图特征的计算包括如下步骤：
(24)分别计算归一化关键区域Inorm在位置(x,y)处梯度的幅度mag(x,y)和方向ori(x,y)，即
其中，Inorm(x,y)表示归一化关键区域Inorm在位置(x,y)处的像素值；
(25)将关键区域按照宽高比均分为m×n个小块，小块是无重叠区域的；
(26)选定一种偏移方式对每个小块进行扫描，生成一个共生矩阵，偏移方式是指点对之间的相对位置，共31种，比如上下关系，左右关系等等，一种偏移方式对应一个共生矩阵，
将每个像素点的梯度方向进行成对的组合，同时将原来的梯度方向划分为8个，范围从0度到360度，即每45度为一个bin，由于每两个像素点组成一个组合，所以共生矩阵的大小为8*8＝64，因此，一种偏移方式得到一个m*n*64的列向量；
(27)变换一种偏移关系在整幅图像上扫描，直到所有偏移方式都扫描一次。这样将会生成31*64*m*n的列向量，也就是最终的共生矩阵梯度方向直方图特征，记作FCoHOG。
进一步，步骤(2)中的局部二值模式傅里叶直方图特征LBP-HF的计算包括如下步骤：
(28)利用下式计算规范型局部二值模式，
其中，P表示局部区域中邻域内像素的数量，R表示圆形邻域的半径，U(LBPP,R)表示领域像素个数为P，半径为R的图像区域的中心像素的规范型局部二值模式数值，gc区域的中心像素值，gp(p＝1,2,...,P)表示邻域上第p个像素点的像素值；
计算规范型局部二值模式的直方图特征；
(29)对直方图进行离散傅里叶变换，即
其中，P为近邻像素点的个数，Up(n,r)为某一规范化模式，hI(Up(n,r))为图像I中存在Up(n,r)规范化模式的个数，H(n,u)表示傅里叶变换后的直方图；
(210)利用下式得到局部二值模式傅里叶直方图特征LBP-HF，
其中，
表示H(n,u)的复数共轭，FLBP-HF表示局部二值模式傅里叶直方图特征。
进一步，步骤(3)中的利用自回归滑动平均模型对每种特征的连续多帧进行建模包括如下步骤：
(31)自回归滑动平均模型适用于客观世界大部分的时间序列的分析，且未知参数少，特性优化逼近程度较好，该模型认为序列当前值是现在和过去的误差以及先前的序列值的线性组合，其一般形式为，
ξt～WGN(0,σ2)
其中，p表示自回归阶数，q表示滑动平均阶数，
均表示自回归系数，θj均表示滑动平均系数，ξt表示随机干扰值，ξt～WGN(0,σ2)表示ξt为均值为0，方差为σ2的正态白噪声过程，Yi(i＝1,2,...,t.)表示时刻i的序列值；
(32)引入概率描述策略，变换上述模型公式为
(33)建立最小二乘问题，采用最基本的最速下降法估计模型参数，
对于同一关键区域，特征含有FHaar-like，FCoHOG和FLBP-HF三类，采用序列分析建立时间序列特征，因此可以得到三种不同的自回归滑动平均模型。
进一步，步骤(4)中的识别黑烟车视频片段包括如下步骤：
(41)对于新的车辆目标，将三个模型分别用于车辆关键区域提取到的三种特征的分类，选取概率最大的模型的识别结果作为该关键区域的识别结果，如果当前帧有一个关键区域被识别为黑烟区域，则当前帧被认定为黑烟帧；
(42)综合多帧的分析，如果在连续100帧内有超过δ帧被识别为黑烟帧，则认定当前视频段内含有黑烟车，参数δ为用户设置的调节检出率和漏报率的系数。
本发明的优点主要体现在：
(1)本发明融合了Haar-like特征，共生矩阵梯度方向直方图特征(CoHOG)和局部二值模式傅里叶直方图特征(LBP-HF)三种特征的优势，其中，Haar-like特征可以充分反映了图像的灰度变化情况，特别是水平边缘特征提取的作用最大；CoHOG特征在光照变化和形变下具有鲁棒性，该特征维数较高可以更加细化地表达图像的形状信息，且计算速度很快；LBP-HF不仅保留了传统LBP描述子在局部纹理描述方面较强的优势，而且增加了旋转不变的特性，同时对阴影有一定的鲁棒性。综合各个特征的优势，该技术发明进一步提高了识别率，降低了误报率，并且对相机抖动和车辆阴影具有很高的鲁棒性。
(2)本发明引入自回归滑动平均模型用于连续多帧的特征序列的分析，充分利用了关键区域的动态特征，刻画了黑烟区域的黑烟逐渐扩散的特征和非黑烟区域的车辆尾部逐渐向前平移并消失的特征，从而降低了黑烟车误报率。
(3)相比于传统方法，本发明的技术方案是一种智能黑烟车检测方法，可以大大节省传统方法消耗的人力和财力，有利于证据的获取和保存，不影响正常交通，能有效的提高执法效率。
附图说明
图1为本发明的方法流程示意图。
图2为本发明采用的Haar-like特征的边缘特征、线特征、点特征和对角特征。
图3为本发明检测到的黑烟车的一个例子。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述：
本发明提供一种基于高斯混合和自回归滑动平均模型的黑烟车识别方法，能综合不同类型的静态特征，并引入自回归滑动平均模型刻画关键区域的动态特征，对相机抖动和车辆阴影具有很高的鲁棒性，能降低噪声的干扰，进一步提高黑烟车的识别率，降低误报率。
本发明提供一种基于高斯混合和自回归滑动平均模型的黑烟车识别方法，其流程图如图1所示，具体按照以下步骤进行：
步骤1：利用高斯混合模型从道路监控视频中检测车辆运动目标；
步骤2：提取车辆关键区域的三种特征，包括Haar-like特征，共生矩阵梯度方向直方图特征(CoHOG)和局部二值模式傅里叶直方图特征(LBP-HF)；
步骤3：利用自回归滑动平均(ARMA)模型对每种特征的连续多帧进行建模，得到三个不同模型；
步骤4：对于新的车辆目标，将三个模型分别用于车辆关键区域提取到的三种特征的分类，结合不同特征的分类结果和连续多帧的综合分析，对当前视频段是否有黑烟车做出判断。
所述步骤1中的利用高斯混合模型从道路监控视频中检测车辆运动目标包括如下步骤：
步骤1.1：将每一帧图像转化为灰度图像，并均分为3*3像素的小块，对每个像素块建立高斯模型，以提高背景建模速度和稳定性，降低噪声的干扰；
步骤1.2：模型初始化，以某帧图像一个像素块M为例，该像素块的初始模型利用前N帧序列图像的像素块序列建立，记作{x1,x2,...,xN}，取像素块的灰度平均值μ0和方差
初始化第1个高斯分布的均值和方差，即
其中，I(x,y,k)表示该像素块在第k帧图像在位置(x,y)处的像素值；
步骤1.3：以第N+1帧为例来说明背景模型的更新方法，
若像素块的灰度值xN+1满足|xN+1-μi,N|≤2.5σi,N，则该像素块与对应的K个高斯分布匹配，参数更新如下，
其中，β和ρ分别是高斯分布均值和方差的学习率，
表示高斯概率密度函数，θ和γ为固定值，用于调整学习率的取值范围，xN+1为第N+1帧像素块的灰度平均值，μi,N和σi,N 2为第N+1帧,第i个高斯模型的均值和方差；
若该像素块的灰度值xN+1与对应的K个高斯分布不匹配，则参数μi,N和σi,N 2保持不变，需要以xN+1为均值，较大方差和较小权重建立一个新的高斯分布，取代原有K个高斯分布中权重最小的一个，同时，更新K个高斯分布的权重ωi,N,
ωi,N+1＝(1-α)ωi,N+αMi,N+1,i＝1,2,...,K
其中，α是学习率，对于参数Mi,N+1，当xN+1与第i个高斯分布不匹配时，Mi,N+1＝1，否则，Mi,N+1＝0；
步骤1.4：背景估计，按照
的值由大到小，对像素块M的K个高斯分布排序。取前B个高斯分布作为背景模型，取后K-B个高斯分布作为前景模型，
其中，T是阈值，决定了背景分布个数,
判断像素块M是否属于运动目标，当M的灰度值xN+1与前B个高斯分布中某个匹配时，认为M为背景像素；否则M为目标像素；
所有目标像素组成的区域即为前景目标区域，为降低误报，需确定关键区域，以前景目标的包围盒的底边为关键区域的底边，该区域的宽等于车辆目标的宽的0.8倍，高为60像素，归一化该关键区域为80*120像素，记作Inorm；
所述步骤2中的Haar-like特征的计算包括如下步骤：
步骤2.1：Haar-like特征是计算机视觉领域一种常用的特征描述算子，其特征值是一个小区域内的黑色像素灰度值之和减去白色像素灰度值之和，采用基于块特征的方式替代基于像素的方式可以降低计算成本，特征选择主要边缘特征，线特征，点特征(中心环绕特征)和对角特征，如图2所示，每一行代表一种特征；
步骤2.2：Haar-like特征一般由2-3个矩形块组成，为了提高计算速度，采用积分图的方法快速计算出矩形内所有灰度的和；
步骤2.3：为降低特征维数，使用PCA算法进行特征选择和降维，得到降维后的Haar-like特征向量，记作FHaar-like。
所述步骤2中的共生矩阵梯度方向直方图特征的计算包括如下步骤：
步骤2.4：分别计算归一化关键区域Inorm在位置(x,y)处梯度的幅度mag(x,y)和方向ori(x,y)，即
其中，Inorm(x,y)表示归一化关键区域Inorm在位置(x,y)处的像素值；
步骤2.5：将关键区域按照宽高比均分为m×n个小块，小块是无重叠区域的；
步骤2.6：选定一种偏移方式对每个小块进行扫描，生成一个共生矩阵，偏移方式是指点对之间的相对位置，共31种，比如上下关系，左右关系等等，一种偏移方式对应一个共生矩阵，
将每个像素点的梯度方向进行成对的组合，同时将原来的梯度方向划分为8个，范围从0度到360度，即每45度为一个bin，由于每两个像素点组成一个组合，所以共生矩阵的大小为8*8＝64，因此，一种偏移方式得到一个m*n*64的列向量；
步骤2.7：变换一种偏移关系在整幅图像上扫描，直到所有偏移方式都扫描一次。这样将会生成31*64*m*n的列向量，也就是最终的共生矩阵梯度方向直方图特征，记作FCoHOG。
所述步骤2中的局部二值模式傅里叶直方图特征的计算包括如下步骤：
步骤2.8：利用下式计算规范型局部二值模式，
其中，P表示局部区域中邻域内像素的数量，R表示圆形邻域的半径，U(LBPP,R)表示领域像素个数为P，半径为R的图像区域的中心像素的规范型局部二值模式数值，gc区域的中心像素值，gp(p＝1,2,...,P)表示邻域上第p个像素点的像素值；
计算规范型局部二值模式的直方图特征；
步骤2.9：对直方图进行离散傅里叶变换，即
其中，P为近邻像素点的个数，Up(n,r)为某一规范化模式，hI(Up(n,r))为图像I中存在Up(n,r)规范化模式的个数，H(n,u)表示傅里叶变换后的直方图；
步骤2.10：利用下式得到局部二值模式傅里叶直方图特征，
其中，
表示H(n,u)的复数共轭，FLBP-HF表示局部二值模式傅里叶直方图特征。
所述步骤3中的利用自回归滑动平均模型对每种特征的连续多帧进行建模包括如下步骤：
步骤3.1：自回归滑动平均模型适用于客观世界大部分的时间序列的分析，且未知参数少，特性优化逼近程度较好，该模型认为序列当前值是现在和过去的误差以及先前的序列值的线性组合，其一般形式为，
ξt～WGN(0,σ2)
其中，p表示自回归阶数，q表示滑动平均阶数，
均表示自回归系数，θj均表示滑动平均系数，ξt表示随机干扰值，ξt～WGN(0,σ2)表示ξt为均值为0，方差为σ2的正态白噪声过程，Yi(i＝1,2,...,t.)表示时刻i的序列值；
步骤3.2：引入概率描述策略，变换上述模型公式为
步骤3.3：建立最小二乘问题，采用最基本的最速下降法估计模型参数，
对于同一关键区域，特征含有FHaar-like，FCoHOG和FLBP-HF三类，采用序列分析建立时间序列特征，因此可以得到三种不同的自回归滑动平均模型。
所述步骤4中的识别黑烟车视频片段包括如下步骤：
步骤4.1：对于新的车辆目标，将三个模型分别用于车辆关键区域提取到的三种特征的分类，选取概率最大的模型的识别结果作为该关键区域的识别结果，如果当前帧有一个关键区域被识别为黑烟区域，则当前帧被认定为黑烟帧；
步骤4.2：综合多帧的分析，如果在连续100帧内有超过δ帧被识别为黑烟帧，则认定当前视频段内含有黑烟车；
参数δ为用户设置的调节检出率和漏报率的系数。
图3显示了利用本发明从车辆监控视频中检测到的一个黑烟车的例子，细线黑色矩形框表示检测到的前景目标的位置区域，粗线黑色矩形框表示关键区域的位置，矩形框底部的数值表示该区域是黑烟区域的概率。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。
Claims (2)
1.基于高斯混合和自回归滑动平均模型的黑烟车识别方法，具体步骤如下，其特征在于：
(1)利用高斯混合模型从道路监控视频中检测车辆运动目标；
步骤(1)中的利用高斯混合模型从道路监控视频中检测车辆运动目标包括如下步骤：
(11)将每一帧图像转化为灰度图像，并均分为3*3像素的小块，对每个像素块建立高斯模型，以提高背景建模速度和稳定性，降低噪声的干扰；
(12)模型初始化，以某帧图像一个像素块M为例，该像素块的初始模型利用前N帧序列图像的像素块序列建立，记作{x1,x2,...,xN}，取像素块的灰度平均值μ0和方差
初始化第1个高斯分布的均值和方差，即
其中，I(x,y,k)表示该像素块在第k帧图像在位置(x,y)处的像素值；
(13)以第N+1帧为例来说明背景模型的更新方法，
若像素块的灰度值xN+1满足|xN+1-μi,N|≤2.5σi,N，则该像素块与对应的K个高斯分布匹配，参数更新如下，
其中，β和ρ分别是高斯分布均值和方差的学习率，
表示高斯概率密度函数，θ和γ为固定值，用于调整学习率的取值范围，xN+1为第N+1帧像素块的灰度平均值，μi,N和σi,N 2为第N+1帧,第i个高斯模型的均值和方差；
若该像素块的灰度值xN+1与对应的K个高斯分布不匹配，则参数μi,N和σi,N 2保持不变，需要以xN+1为均值，较大方差和较小权重建立一个新的高斯分布，取代原有K个高斯分布中权重最小的一个，同时，更新K个高斯分布的权重ωi,N,
ωi,N+1＝(1-α)ωi,N+αMi,N+1,i＝1,2,...,K
其中，α是学习率，对于参数Mi,N+1，当xN+1与第i个高斯分布不匹配时，Mi,N+1＝1，否则，Mi,N+1＝0；
(14)背景估计，按照
的值由大到小，对像素块M的K个高斯分布排序，取前B个高斯分布作为背景模型，取后K-B个高斯分布作为前景模型，
其中，T是阈值，决定了背景分布个数,
判断像素块M是否属于运动目标，当M的灰度值xN+1与前B个高斯分布中某个匹配时，认为M为背景像素；否则M为目标像素；
所有目标像素组成的区域即为前景目标区域，为降低误报，需确定关键区域，以前景目标的包围盒的底边为关键区域的底边，该区域的宽等于车辆目标的宽的0.8倍，高为60像素，归一化该关键区域为80*120像素，记作Inorm；
(2)提取车辆关键区域的三种特征，包括Haar-like特征，共生矩阵梯度方向直方图特征和局部二值模式傅里叶直方图特征；
步骤(2)中的Haar-like特征的计算包括如下步骤：
(21)Haar-like特征是计算机视觉领域一种常用的特征描述算子，其特征值是一个小区域内的黑色像素灰度值之和减去白色像素灰度值之和，采用基于块特征的方式替代基于像素的方式可以降低计算成本，特征选择主要边缘特征，线特征，点特征即中心环绕特征和对角特征；
(22)Haar-like特征由2-3个矩形块组成，为了提高计算速度，采用积分图的方法快速计算出矩形内所有灰度的和；
(23)为降低特征维数，使用PCA算法进行特征选择和降维，得到降维后的Haar-like特征向量，记作FHaar-like；
步骤(2)中的共生矩阵梯度方向直方图特征的计算包括如下步骤：
(24)分别计算归一化关键区域Inorm在位置(x,y)处梯度的幅度mag(x,y)和方向ori(x,y)，即
其中，Inorm(x,y)表示归一化关键区域Inorm在位置(x,y)处的像素值；
(25)将关键区域按照宽高比均分为m×n个小块，小块是无重叠区域的；
(26)选定一种偏移方式对每个小块进行扫描，生成一个共生矩阵，偏移方式是指点对之间的相对位置，共31种，一种偏移方式对应一个共生矩阵，
将每个像素点的梯度方向进行成对的组合，同时将原来的梯度方向划分为8个，范围从0度到360度，即每45度为一个bin，由于每两个像素点组成一个组合，所以共生矩阵的大小为8*8＝64，因此，一种偏移方式得到一个m*n*64的列向量；
(27)变换一种偏移关系在整幅图像上扫描，直到所有偏移方式都扫描一次，这样将会生成31*64*m*n的列向量，也就是最终的共生矩阵梯度方向直方图特征，记作FCoHOG；
步骤(2)中的局部二值模式傅里叶直方图特征的计算包括如下步骤：
(28)利用下式计算规范型局部二值模式，
其中，P表示局部区域中邻域内像素的数量，R表示圆形邻域的半径，U(LBPP,R)表示领域像素个数为P，半径为R的图像区域的中心像素的规范型局部二值模式数值，gc区域的中心像素值，gp，p＝1,2,...,P表示邻域上第p个像素点的像素值；
计算规范型局部二值模式的直方图特征；
(29)对直方图进行离散傅里叶变换，即
其中，P为近邻像素点的个数，Up(n,r)为某一规范化模式，hI(Up(n,r))为图像I中存在Up(n,r)规范化模式的个数，H(n,u)表示傅里叶变换后的直方图；
(210)利用下式得到局部二值模式傅里叶直方图特征，
其中，
表示H(n,u)的复数共轭，FLBP-HF表示局部二值模式傅里叶直方图特征；
(3)利用自回归滑动平均模型对每种特征的连续多帧进行建模，得到三个不同模型；
步骤(3)中的利用自回归滑动平均模型对每种特征的连续多帧进行建模包括如下步骤：
(31)自回归滑动平均模型适用于客观世界大部分的时间序列的分析，且未知参数少，特性优化逼近程度较好，该模型认为序列当前值是现在和过去的误差以及先前的序列值的线性组合，其形式为，
ξt～WGN(0,σ2)
其中，p表示自回归阶数，q表示滑动平均阶数，
均表示自回归系数，θj均表示滑动平均系数，ξt表示随机干扰值，ξt～WGN(0,σ2)表示ξt为均值为0，方差为σ2的正态白噪声过程，Yi，i＝1,2,...,t表示时刻i的序列值；
(32)引入概率描述策略，变换上述模型公式为
(33)建立最小二乘问题，采用最基本的最速下降法估计模型参数，
对于同一关键区域，特征含有FHaar-like，FCoHOG和FLBP-HF三类，采用序列分析建立时间序列特征，因此可以得到三种不同的自回归滑动平均模型；
(4)对于新的车辆目标，将三个模型分别用于车辆关键区域提取到的三种特征的分类，结合不同特征的分类结果和连续多帧的综合分析，对当前视频段是否有黑烟车做出判断。
2.根据权利要求1所述的基于高斯混合和自回归滑动平均模型的黑烟车识别方法，其特征在于：步骤(4)中的识别黑烟车视频片段包括如下步骤：
(41)对于新的车辆目标，将三个模型分别用于车辆关键区域提取到的三种特征的分类，选取概率最大的模型的识别结果作为该关键区域的识别结果，如果当前帧有一个关键区域被识别为黑烟区域，则当前帧被认定为黑烟帧；
(42)综合多帧的分析，如果在连续100帧内有超过δ帧被识别为黑烟帧，则认定当前视频段内含有黑烟车，参数δ为用户设置的调节检出率和漏报率的系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810789111.3A CN109190455B (zh) | 2018-07-18 | 2018-07-18 | 基于高斯混合和自回归滑动平均模型的黑烟车识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810789111.3A CN109190455B (zh) | 2018-07-18 | 2018-07-18 | 基于高斯混合和自回归滑动平均模型的黑烟车识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109190455A CN109190455A (zh) | 2019-01-11 |
| CN109190455B true CN109190455B (zh) | 2021-08-13 |
Family
ID=64936156
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810789111.3A Active CN109190455B (zh) | 2018-07-18 | 2018-07-18 | 基于高斯混合和自回归滑动平均模型的黑烟车识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109190455B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110084220A (zh) * | 2019-05-08 | 2019-08-02 | 重庆邮电大学 | 一种基于多尺度二进制模式的车载疲劳检测方法 |
| CN111523492B (zh) * | 2020-04-26 | 2023-04-18 | 安徽皖仪科技股份有限公司 | 一种黑烟车的检测方法 |
| CN111539343B (zh) * | 2020-04-26 | 2023-05-23 | 安徽皖仪科技股份有限公司 | 一种基于卷积注意力网络的黑烟车检测方法 |
| CN112598648B (zh) * | 2020-12-24 | 2022-08-26 | 重庆邮电大学 | 一种基于图像梯度方向的图像接缝裁剪篡改检测方法 |
| CN117788570B (zh) * | 2024-02-26 | 2024-05-07 | 山东济矿鲁能煤电股份有限公司阳城煤矿 | 一种基于机器视觉的斗轮机定位方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103714554A (zh) * | 2013-12-12 | 2014-04-09 | 华中科技大学 | 一种基于传播融合的视频跟踪方法 |
| CN104680508A (zh) * | 2013-11-29 | 2015-06-03 | 华为技术有限公司 | 卷积神经网络和基于卷积神经网络的目标物体检测方法 |
| CN105703954A (zh) * | 2016-03-17 | 2016-06-22 | 福州大学 | 一种基于arima模型的网络数据流预测方法 |
| CN106780548A (zh) * | 2016-11-16 | 2017-05-31 | 南宁市浩发科技有限公司 | 基于交通视频的运动车辆检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101853389A (zh) * | 2009-04-01 | 2010-10-06 | 索尼株式会社 | 多类目标的检测装置及检测方法 |
-
2018
- 2018-07-18 CN CN201810789111.3A patent/CN109190455B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104680508A (zh) * | 2013-11-29 | 2015-06-03 | 华为技术有限公司 | 卷积神经网络和基于卷积神经网络的目标物体检测方法 |
| CN103714554A (zh) * | 2013-12-12 | 2014-04-09 | 华中科技大学 | 一种基于传播融合的视频跟踪方法 |
| CN105703954A (zh) * | 2016-03-17 | 2016-06-22 | 福州大学 | 一种基于arima模型的网络数据流预测方法 |
| CN106780548A (zh) * | 2016-11-16 | 2017-05-31 | 南宁市浩发科技有限公司 | 基于交通视频的运动车辆检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109190455A (zh) | 2019-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109190455B (zh) | 基于高斯混合和自回归滑动平均模型的黑烟车识别方法 | |
| CN109816024B (zh) | 一种基于多尺度特征融合与dcnn的实时车标检测方法 | |
| CN105404847B (zh) | 一种遗留物实时检测方法 | |
| CN113537099B (zh) | 一种公路隧道火灾烟雾动态检测方法 | |
| CN107301405A (zh) | 自然场景下的交通标志检测方法 | |
| CN109255326B (zh) | 一种基于多维信息特征融合的交通场景烟雾智能检测方法 | |
| CN109191495B (zh) | 基于自组织背景差模型和多特征融合的黑烟车检测方法 | |
| CN107103317A (zh) | 基于图像融合和盲反卷积的模糊车牌图像识别算法 | |
| Bedruz et al. | Real-time vehicle detection and tracking using a mean-shift based blob analysis and tracking approach | |
| CN108804992B (zh) | 一种基于深度学习的人群统计方法 | |
| CN111274964B (zh) | 一种基于无人机视觉显著性分析水面污染物的检测方法 | |
| CN106529461A (zh) | 一种基于积分特征通道和svm训练器的车型识别算法 | |
| CN111368742B (zh) | 基于视频分析的双黄交通标线的重建识别方法及系统 | |
| CN111915583A (zh) | 复杂场景中基于车载红外热像仪的车辆和行人检测方法 | |
| CN111611907A (zh) | 一种图像增强的红外目标检测方法 | |
| CN109086682A (zh) | 一种基于多特征融合的智能视频黑烟车检测方法 | |
| CN109271904B (zh) | 一种基于像素自适应分割和贝叶斯模型的黑烟车检测方法 | |
| CN109325426B (zh) | 一种基于三正交平面时空特征的黑烟车检测方法 | |
| CN110516666B (zh) | 基于mser和isodata相结合的车牌定位方法 | |
| CN108921147B (zh) | 一种基于动态纹理和变换域时空特征的黑烟车识别方法 | |
| CN112052768A (zh) | 基于无人机的城市违章停车检测方法、装置及存储介质 | |
| CN110414386B (zh) | 基于改进scnn网络的车道线检测方法 | |
| CN111339823A (zh) | 基于机器视觉和反向投影算法的打谷晒场检测方法 | |
| CN116152758A (zh) | 一种智能实时事故检测及车辆跟踪方法 | |
| CN109241824A (zh) | 基于码本和平滑转换自回归模型的黑烟车智能监控方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |