CN102768726B - 一种预防行人碰撞的行人检测方法 - Google Patents

Abstract

本发明公开了一种预防行人碰撞的行人检测方法，其包括有如下步骤：采集汽车前方图像并进行图像预处理；提取行人的感兴趣区域；对图像进行分块，重设感兴趣区域；对每一帧图像的待检测区域进行一倍的缩小；在分块后的感兴趣区域中对行人进行预定位；对预定位的行人区域进行判断；对检测的行人进行跟踪。本发明通过采用行人分类器检测道路上的行人，模糊了行人之间的个体特征，减少了个体性差异对检测结果的影响，同时减少了光照对检测结果的影响，提高了行人的检测效率。同时通过采用侧面行人姿态分类器检测道路上的横过马路的行人，针对特定的应用场景，减少了不同姿态非横过马路行人判别的影响，提高了算法判别行人的有效性与实时性。

Description

一种预防行人碰撞的行人检测方法

技术领域

本发明有关一种行人检测方法，特别是指一种基于机器视觉的预防行人碰撞的行人检测方法。

背景技术

利用影像处理技术为汽车辅助安全系统增加功能已经成为汽车设计的大趋势。在欧盟的法规带动下，汽车的车头外形及结构设计已经考虑了在与行人发生碰撞时，尽量减少行人的伤害及死亡率。目前来说，利用外形及结构设计减少行人伤亡这个方法已经取得一定成效，再沿用这个方法所得到的改善空间比较小。反之，利用影像处理技术检测行人并对驾驶者发出提示甚至介入驾驶系统避开行人是比较进取的方法，而且有很大的空间改善现有行人保护系统。

现有的行人检测系统一般包括两个模块：感兴趣区域分割和目标识别。感兴趣区域分割的目的是从图像中提取可能包含行人的窗口区域作进一步验证，以避免穷尽搜索，提高系统的速度。目标识别是行人检测系统的核心，它对得到的感兴趣区域进行验证，以判断其中是否包含行人，它的性能决定了整个系统可以达到的检测精度和鲁棒性。目前，行人检测技术一般有以下几种方式：一，基于运动的方法；二，基于明确人体模型的方法；三，基于模板匹配的方法；四，基于统计分类的方法。以上几种方法的基本原理和优缺点分析分别如下：

基于运动的方法，其原理是通过分析行人步态的周期性来识别行人；优点是受颜色、光照的影响较小，比较鲁棒；缺点是只能识别运动行人，需要多帧，影响实时性。

基于明确人体模型的方法，其原理是构造明确的人体参数模型来表示行人；优点是具有明确的模型，方便处理姿态和遮挡问题；缺点是建模和求解比较复杂。

基于模板匹配的方法，其原理是通过模板表示行人；优点是计算方法简单，系统开销小；缺点是需要很多模板对付姿态问题，匹配比较耗时间。

基于统计分类的方法，其原理是通过分类器对行人进行识别；优点是不需要人工设置大量参数、鲁棒性好；缺点是需要大量的训练数据并且训练周期较长。

发明内容

有鉴于此，本发明的主要目的在于提供一种用于汽车上，基于影像处理的预防行人碰撞的行人检测方法。

为达到上述目的，本发明提供一种预防行人碰撞的行人检测方法，其包括有如下步骤：

(1)采集汽车前方图像并进行图像预处理；

(2)提取行人的感兴趣区域；

(3)对图像进行分块，重设感兴趣区域；

(4)对每一帧图像的待检测区域进行一倍的缩小；

(5)在分块后的感兴趣区域中对行人进行预定位；

(6)对预定位的行人区域进行判断，以准确定位行人区域；

(7)对检测的行人进行跟踪。

所述步骤(1)中，通过设置在汽车上的摄像头采集前方实时图像，所述图像预处理包括对图像进行去锯齿化操作和直方图均衡化操作。

所述步骤(2)是基于采集的实时图像中行人可能发生碰撞的位置信息估计，对部分不可能出现行人及行人不处于危险区域的图像不计入检测，以设定行人的感兴趣区域。

所述步骤(3)是将图像划分为相等的若干块，块与块之间有重叠区域，对每一帧输入图像只处理其中一块区域，循环处理每一块区域。

所述步骤(5)中利用第一特征分类器在行人感兴趣区域中预定位行人区域，所述步骤(6)中利用第二特征分类器对预定位的行人区域进行筛选和判断，以准确定位行人区域，所述第一特征分类器为预先训练的适合行人横穿街道的特定场景下行人侧面的姿态信息的特征分类器，所述第二特征分类器为预先训练的行人整体以及局部的特征分类器。

所述第一特征分类器为矩形特征分类器，所述第二特征分类器为HOG特征分类器。

所述步骤(5)中采用AdaBoost算法，所述步骤(6)中采用SVM算法。

在所述步骤(5)中对图像进行积分图计算。

本发明通过采用行人分类器检测道路上的行人，模糊了行人之间的个体特征，减少了个体性差异对检测结果的影响，同时减少了光照对检测结果的影响，提高了行人的检测效率。同时通过采用侧面行人姿态分类器检测道路上的横过马路的行人，针对特定的应用场景，减少了不同姿态非横过马路行人判别的影响，提高了算法判别行人的有效性与实时性。

附图说明

图1为本发明预防行人碰撞的行人检测方法的流程图。

具体实施方式

下面通过具体实施方式对本发明作进一步详细说明。

本发明通过安装于汽车上方的摄像头获取汽车前方的实时图像，根据预防行人碰撞要求在图像中提取感兴趣区域，然后对所提取的区域进行一系列的图像处理和运算，实现行人的检测及预防碰撞。

本发明的实施包括以下步骤：

步骤一，采集汽车前方图像，通过设置在汽车上的摄像头(例如红外CCD摄像头或CMOS摄像头)采集前方实时图像，并对图像进行适当处理，例如根据数据格式的需要，将获取的图像转换成单通道灰度图像，以符合数据库格式的要求，对图像进行去锯齿化操作和直方图均衡化操作。

步骤二，提取行人的感兴趣区域，基于采集的实时图像中行人可能发生碰撞的位置信息估计，对部分不可能出现行人及行人不处于危险区域的图像不计入检测，例如去除图像上下部分像素的天空和地面场景，以及图像左右部分像素的马路两边场景，从而设定行人的感兴趣区域，只在较小范围内搜索行人，减少图像处理面积，从而减少数据处理量，提高算法实时性。

步骤三，对图像进行分块，重设感兴趣区域。将图像划分为相等的若干块，块与块之间有重叠区域，重叠区域大致为5-10m远的行人在图像中的大小。对每一帧输入图像只处理其中一块区域，循环处理每一块。此方法大大提高了算法的实时性。如图1所示，将预处理后的图像分为两块A与B，块与块之间可以有重叠C，两块区域分别为块A+C和块B+C，每一帧检测只对其中一块进行，循环检测每一块，对分块后的感兴趣区域中检测到的行人进行跟踪，有效的提高了算法的实时性。

步骤四，对每一帧图像的待检测区域进行一倍的缩小，即待检测区域缩小1/2，最小检测框大小也同比例的缩小，在不影响检测结果的情况下，减少了图像的处理时间，提高了算法的实时性；标定时还原检测框大小，即扩大一倍。

步骤五，在分块后的感兴趣区域中对行人进行预定位。根据行人横穿街道的特定场景下行人侧面的姿态信息，预先训练适合此场景行人识别的12级第一特征分类器，在定位行人时根据预先训练的第一特征分类器定位行人区域，若未定位到行人区域，则返回步骤一。此实施步骤具体包括：

采用矩形特征模板对图像进行遍历，根据已训练好的第一特征分类器，在图像感兴趣区域中预定位行人区域。为制作侧面行人的第一特征分类器，使用Haar特征(即矩形特征模板)，采用AdaBoost算法对大量的侧面行人样本和非行人背景样本进行训练，该第一特征分类器在大量行人样本和非行人背景样本数据的基础上训练出来，具有较强的普适性。

AdaBoost算法能够从大量的行人样本灰度图像中提取出行人图像中最具有区别性的特征，构造出一个具有高度精确的行人第一特征分类器；然后，使用该第一特征分类器中记录的行人Haar特征对行人检测感兴趣区域进行检测和定位，从而获取最匹配的行人区域。利用第一特征分类器和矩形特征进行行人区域的定位，其判断公式为

$H\left(x\right)=\mathrm{sign}\left(\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\α}}_t{h}_t\left(x\right)\right)$

其中，H(x)表示一级强分类器的表达式，T表示一级强分类器所包含的弱分类器个数，h_t(x)表示第t个弱分类器的表达式，α_t表示第t个弱分类器的权重。

由12级的级联第一特征分类器对输入图像区域进行计算，若每一级都输出H(x)＝1，则代表定位到行人区域，若有其中一级输出H(x)＝0，则代表未检测到行人区域。

步骤六，对预定位的行人区域进行判断。步骤四中提取的行人区域有较多的误检，通过对这些区域进行HOG(方向梯度直方图)特征提取，根据已训练好的行人整体以及局部的第二特征分类器对提取的特征进行判断，去除误检区域，从而准确定位行人区域。若未检测到行人，则返回步骤一。此实施步骤具体包括：

1)为了更好的对待检预定位行人区域进行特征提取，可将所有待检预定位行人区域扩大或缩小至相同大小，例如将所有预定位后的行人区域大小设置为64*128固定大小，64*128大小的检测框包括105个16*16大小的块，块与块间有重叠，每个块表示为36维的特征，整个检测框用3780维的特征向量描述，计算其3780维特征向量。

2)根据已训练好的第二特征分类器，对每个待检区域提取的特征进行判断，确定行人区域。为制作侧面行人的第二特征分类器，对大量的侧面行人样本和非行人背景样本进行HOG特征提取，采用SVM算法，使用libsvm训练工具得到SVM(Support Vector Machines，支持向量机)权值和阈值，即侧面行人的第二特征分类器。第二特征分类器提供了权重w和阈值b。利用第二特征分类器和所求的3780维HOG特征x对预定位的区域进行判断，侦测行人，其判断公式为

$f\left(x\right)=\mathrm{sgn}\{(w\·x)+b\}=\mathrm{sgn}\{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\λ}}_i{y}_i(x_i\·x)+b\}$

其中，(w，b)表示第二特征分类器提供的权重和阈值，x表示输入的特征向量，n为第二特征分类器的支持向量数，(x_i，y_i)表示第i个支持向量，λ_i为拉格朗日系数。

若f(x)＝1，则表示检测为行人。

3)本发明还采取了局部特征判定行人的方法，将行人等分成头部，上半身，脚部区域，分别对这三个区域结合指定局部行人样本进行训练，分别得到这三个区域的分类器，对预定位行人区域做出判断。

步骤七，对检测的行人进行跟踪。在步骤六准确定位出行人区域后，对行人进行跟踪可以大大提升算法的实时性，同时也是步骤三分块思想的一个补充。例如将检测的前一帧图像的行人区域作适当扩大后作为该帧图像的行人感兴趣区域，再使用步骤四方法进行检测。

在步骤五采用矩形特征模板对图像进行遍历时还可对图像进行积分图计算，积分图计算如下公式所述：

$S(u,v)={\∫}_{x=0}^u{\∫}_{y=0}^{v}I(x,y)\mathrm{dxdy}$

因此矩形特征模板的遍历即是在所得到的积分图像上进行，积分图像上每一点的灰度值等于原图像中以原点和该点为对角点的矩形区域的灰度总和，由此得到每一个矩形特征值，即矩形特征模板的特征值是指矩形特征模板所在位置的矩形上半部分和下半部分的灰度差。

本发明通过采用行人分类器检测道路上的行人，模糊了行人之间的个体特征，减少了个体性差异对检测结果的影响，同时减少了光照对检测结果的影响，提高了行人的检测效率。同时通过采用侧面行人姿态分类器检测道路上的横过马路的行人，针对特定的应用场景，减少了不同姿态非横过马路行人判别的影响，提高了算法判别行人的有效性与实时性。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (7)

1.一种预防行人碰撞的行人检测方法，其特征在于，其包括有如下步骤：

（1）采集汽车前方图像并进行图像预处理；

（2）提取行人的感兴趣区域，该步骤是基于采集的实时图像中行人可能发生碰撞的位置信息估计，对部分不可能出现行人及行人不处于危险区域的图像不计入检测，只在较小范围内搜索行人，减少图像处理面积，以设定行人的感兴趣区域；

（3）对图像进行分块，重设感兴趣区域；

（4）对每一帧图像的待检测区域进行一倍的缩小，最小检测框大小也同比例的缩小，减少图像的处理时间，提高了算法实时性；

（5）在分块后的感兴趣区域中对行人进行预定位；

（6）对预定位的行人区域进行判断，具体包括：

将所有待检预定位行人区域扩大或缩小至相同大小，同样大小的检测框包括多个同样大小的块，块与块间有重叠；根据已训练好的第二特征分类器，对每个待检区域提取的特征进行判断；并采取局部特征判定行人的方法，将行人等分成头部，上半身，脚部区域，分别对这三个区域结合指定局部行人样本进行训练，分别得到这三个区域的分类器，对预定位行人区域做出判断，以准确定位行人区域；

（7）对检测的行人进行跟踪。

2.如权利要求1所述的预防行人碰撞的行人检测方法，其特征在于，所述步骤（1）中，通过设置在汽车上的摄像头采集前方实时图像，所述图像预处理包括对图像进行去锯齿化操作和直方图均衡化操作。

3.如权利要求1所述的预防行人碰撞的行人检测方法，其特征在于，所述步骤（3）是将图像划分为相等的若干块，块与块之间有重叠区域，对每一帧输入图像只处理其中一块区域，循环处理每一块区域。

4.如权利要求1所述的预防行人碰撞的行人检测方法，其特征在于，所述步骤（5）中利用第一特征分类器在行人感兴趣区域中预定位行人区域，所述第一特征分类器为预先训练的适合行人横穿街道的特定场景下行人侧面的姿态信息的特征分类器，所述第二特征分类器为预先训练的行人整体以及局部的特征分类器。

5.如权利要求4所述的预防行人碰撞的行人检测方法，其特征在于，所述第一特征分类器为矩形特征分类器，所述第二特征分类器为HOG特征分类器。

6.如权利要求5所述的预防行人碰撞的行人检测方法，其特征在于，所述步骤（5）中采用AdaBoost算法，所述步骤（6）中采用SVM算法。

7.如权利要求1所述的预防行人碰撞的行人检测方法，其特征在于，在所述步骤（5）对图像进行积分图计算。