CN103442218B - 一种多模式行为识别与描述的视频信号预处理方法 - Google Patents

Abstract

本发明公布了一种多模式行为识别与描述的视频信号预处理方法，先提取训练图像并转换得到第一灰度图像，获取第一灰度图像的梯度方向直方图和LBP直方图并联立起来得到训练直方图，将训练直方图放入分类器中进行训练获得分类识别数据，再提取待测图像并转换得到第二灰度图像，获得第二灰度图像的梯度方向直方图和LBP直方图并联立起来得到识别直方图，将识别直方图与分类识别数据进行卷积得到一个结果的输出，如果输出为1，则表明是人；如果输出为0，则表明为车辆；如果输出是‑1，则表明是其它运动物体；优点是能够很好区分检测视频中运动物体的类型，剔除没有用的信息，也避免了无意义的后续工作。

Description

一种多模式行为识别与描述的视频信号预处理方法

技术领域

本发明涉及一种视频信号的处理方法，尤其是涉及一种多模式行为识别与描述的视频信号预处理方法。

背景技术

在智能交通事件检测系统中，大多将具有交通违章检测、识别及处理功能智能视频检测系统的作为智能交通系统的子系统。目前主要的智能视频检测技术是通过背景建模的方式，将运动目标从视频中提取出来。为了达到这个目的，首先需要通过帧差法、背景统计模型法、编码本模型法等方法学习背景模型，然后将背景模型和当前图像进行比较，从而得到前景的运动目标。由于背景建模算法目前已经比较成熟，现有的智能视频检测技术能够很好地检测出运动目标，但这些检测技术并未进一步辨别检测到的运动目标具体是人、车辆或者其他物体，这就对后续的分析和处理造成了不便，过多的运动目标造成了无用信息的堆积，系统无法识别有意义的目标，从而会对所有目标都会进行跟踪分析，加大了不必要的计算负担。

发明内容

本发明所要解决的技术问题是提供一种可以明确区分人、车辆或其他物体的多模式行为识别与描述的视频信号预处理方法。

本发明解决上述技术问题所采用的技术方案为：一种多模式行为识别与描述的视频信号预处理方法，包括以下步骤：

①提取视频中任意一幅包含人、车和其他运动物体的视频图像作为训练图像，将所述的训练图像转换成灰度图像，将所述的灰度图像记为第一灰度图像；

②获得所述的第一灰度图像的梯度方向直方图，所述的第一灰度图像的梯度方向直方图的维度记为x；

③获得所述的第一灰度图像的LBP值，通过统计所述的第一灰度图像的LBP值获得第一灰度图像的LBP直方图，所述的第一灰度图像的LBP直方图的维度记为y；

④将所述的第一灰度图像的梯度方向直方图和LBP直方图联立起来得到维度为x+y的训练直方图，所述的训练直方图中维度为0至x的直方图对应所述的第一灰度图像的梯度方向直方图，所述的训练直方图中维度为x至x+y的直方图对应所述的第一灰度图像的LBP直方图；

⑤将所述的训练直方图放入分类器中进行训练，获得分类识别数据；

⑥提取视频中的待测图像，将所述的待测图像转换成第二灰度图像，将所述的灰度图像记为第二灰度图像；

⑦获得所述的第二灰度图像的梯度方向直方图，所述的第二灰度图像的梯度方向直方图的维度记为m；

⑧获得所述的第二灰度图像的LBP值，通过统计所述的第二灰度图像的LBP值获得第二LBP直方图，所述的第二灰度图像的LBP直方图的维度记为n；

⑨将所述的第二灰度图像的梯度方向直方图和LBP直方图联立起来得到维度为m+n的识别直方图，所述的识别直方图中维度为0至m的直方图对应所述的第二灰度图像的梯度方向直方图，所述的训练直方图中的维度为m至m+n的直方图对应所述的第二灰度图像的LBP直方图；

⑩将所述的识别直方图与所述的分类识别数据进行卷积，得到一个结果的输出，如果输出为1，则表明是人；如果输出为0，则表明为车辆；如果输出是-1，则表明是其它运动物体。

与现有技术相比，本发明的优点在于：现有的检测技术采用了背景建模的方式来检测视频中的运动目标，然而背景建模的方式无法区分人、车和其他的物体。在本方法中，梯度方向直方图环节使得本发明能够区分不同检测目标的形状，而不受图像几何形变或者光学形变的影响，从而为判断是行人、车辆还是洒落物提供了基本条件；局部二值模式环节的添加可以让算法对目标物的纹理具有更强大的辨别力，从而提高了本发明的判断精度；SVM环节可以让本方法在用到较少的训练图像的前提下，快速准确地对运动目标进行分类识别。运用非背景建模的方式，能够很好区分检测视频中各个运动物体的类型，对于目标的跟踪有更好的意义，可以把有用的信息保留下来，剔除没有用的信息，也避免了无意义的后续工作。

具体实施方式

以下结合实施例对本发明作进一步详细描述。

一种多模式行为识别与描述的视频信号预处理方法，包括以下步骤：

①提取视频中任意一幅包含人、车和其他运动物体的视频图像作为训练图像，将训练图像转换成灰度图像，将灰度图像记为第一灰度图像；

②获得第一灰度图像的梯度方向直方图，第一灰度图像的梯度方向直方图的维度记为x；

③获得第一灰度图像的LBP值，LBP指局部二值模式，通过统计第一灰度图像的LBP值获得第一灰度图像的LBP直方图，第一灰度图像的LBP直方图的维度记为y；

④将第一灰度图像的梯度方向直方图和LBP直方图联立起来得到维度为x+y的训练直方图，训练直方图中维度为0至x的直方图对应第一灰度图像的梯度方向直方图，训练直方图中维度为x至x+y的直方图对应第一灰度图像的LBP直方图；

⑤将训练直方图放入分类器中进行训练，获得分类识别数据；

⑥提取视频中的待测图像，将待测图像转换成第二灰度图像，将灰度图像记为第二灰度图像；

⑦获得第二灰度图像的梯度方向直方图，第二灰度图像的梯度方向直方图的维度记为m；

⑧获得第二灰度图像的LBP值，通过统计第二灰度图像的LBP值获得第二LBP直方图，第二灰度图像的LBP直方图的维度记为n；

⑨将第二灰度图像的梯度方向直方图和LBP直方图联立起来得到维度为m+n的识别直方图，识别直方图中维度为0至m的部分对应第二灰度图像的梯度方向直方图，训练直方图中维度为m至m+n的直方图对应第二灰度图像的LBP直方图；

⑩将识别直方图与分类识别数据进行卷积，得到一个结果的输出，如果输出为1，则表明是人；如果输出为0，则表明为车辆；如果输出是-1，则表明是其它运动物体。

本实施例中，步骤②中得到第一灰度图像的梯度方向直方图的步骤为：

a利用水平梯度模板计算第一灰度图像上每一个待检测像素的水平梯度值，利用垂直梯度模板计算第一灰度图像上每一个待检测像素的垂直梯度值；

b通过水平梯度值和垂直梯度值计算待检测像素点在第一灰度图像中所处位置的梯度方向和梯度大小，以梯度大小为幅度，以梯度方向为维度，将维度划分成九个区间，统计获得每一个待检测像素的直方图；

c将第一灰度图像划分成多个块，将块的数量记为r，将块内的待检测像素的直方图合并得到分块直方图，将分块直方图的维度记为t，再将分块直方图联立起来得到维度为r×t的第一灰度图像的梯度方向直方图，第一灰度图像的梯度方向直方图中每一段维度为t的直方图都对应一个分块直方图。

本实施例中，步骤⑦中得到第二灰度图像的梯度方向直方图的步骤为：

a利用水平梯度模板计算第二灰度图像上每一个待检测像素的水平梯度值，利用垂直梯度模板计算第二灰度图像上每一个待检测像素的垂直梯度值；

b通过水平梯度值和垂直梯度值计算待检测像素点在第二灰度图像中所处位置的梯度方向和梯度大小，以梯度大小为幅度，以梯度方向为维度，将维度划分为九个区间，统计获得每一个待检测像素的直方图；

c将第二灰度图像划分成多个块，将块的数量记为w，将块内的待检测像素的直方图合并得到分块直方图，将分块直方图的维度记为q，再将分块直方图联立起来得到维度为q×w的第一灰度图像的梯度方向直方图，第一灰度图像的梯度方向直方图中每一段维度为q的直方图都对应一个分块直方图。

本实施例中，步骤③中得到第一灰度图像的LBP直方图的步骤为：取第二灰度图像中的待检测像素，获取每一个待检测像素周边相邻的多个像素，根据公式和公式 $s\left(x\right)=\left\{\begin{array}{c}\begin{array}{cc}1,\mathrm{if}& x\≥0\end{array}\\ 0,\mathrm{otherwise}\end{array}\right\}$ 计算并顺时针排列得出二进制值，再将二进制值转换为十进制值，其中P代表邻域像素点的总数，g_c为待检测像素点的灰度值，g_p为待检测像素点的邻域点的灰度值，x的值为g_P-g_C，统计所有的十进制值得到第一灰度直方图的LBP直方图。

本实施例中，步骤⑧中得到第二灰度图像的LBP直方图的步骤为：取第二灰度图像中的待检测像素，获取每一个待检测像素周边相邻的多个像素，根据公式和公式 $s\left(x\right)=\left\{\begin{array}{c}\begin{array}{cc}1,\mathrm{if}& x\≥0\end{array}\\ 0,\mathrm{otherwise}\end{array}\right\}$ 计算并顺时针排列得出二进制值，再将二进制值转换为十进制值，其中P代表邻域像素点的总数，g_c为待检测像素点的灰度值，g_p为待检测像素点的邻域点的灰度值，x的值为g_P-g_C，统计所有的十进制值得到第二灰度直方图的LBP直方图。

本实施例中，分类器为SUV分类器。

Claims (7)

1.一种多模式行为识别与描述的视频信号预处理方法，其特征在于包括以下步骤：

①提取视频中任意一幅包含人、车和其他运动物体的视频图像作为训练图像，将所述的训练图像转换成灰度图像，将所述的灰度图像记为第一灰度图像；

②获得所述的第一灰度图像的梯度方向直方图，所述的第一灰度图像的梯度方向直方图的维度记为x；

③获得所述的第一灰度图像的LBP值，通过统计所述的第一灰度图像的LBP值获得第一灰度图像的LBP直方图，所述的第一灰度图像的LBP直方图的维度记为y；

④将所述的第一灰度图像的梯度方向直方图和LBP直方图联立起来得到维度为x+y的训练直方图，所述的训练直方图中维度为0至x的直方图对应所述的第一灰度图像的梯度方向直方图，所述的训练直方图中维度为x至x+y的直方图对应所述的第一灰度图像的LBP直方图；

⑤将所述的训练直方图放入分类器中进行训练，获得分类识别数据；

⑥提取视频中的待测图像，将所述的待测图像转换成灰度图像，将所述的灰度图像记为第二灰度图像；

⑦获得所述的第二灰度图像的梯度方向直方图，所述的第二灰度图像的梯度方向直方图的维度记为m；

⑧获得所述的第二灰度图像的LBP值，通过统计所述的第二灰度图像的LBP值获得第二LBP直方图，所述的第二灰度图像的LBP直方图的维度记为n；

⑨将所述的第二灰度图像的梯度方向直方图和LBP直方图联立起来得到维度为m+n的识别直方图，所述的识别直方图中维度为0至m的直方图对应所述的第二灰度图像的梯度方向直方图，所述的训练直方图中的维度为m至m+n的直方图对应所述的第二灰度图像的LBP直方图；

⑩将所述的识别直方图与所述的分类识别数据进行卷积，得到一个结果的输出，如果输出为1，则表明是人；如果输出为0，则表明为车辆；如果输出是-1，则表明是其它运动物体。

2.按照权利要求1所述的一种多模式行为识别与描述的视频信号预处理方法，其特征在于所述的步骤②中得到第一灰度图像的梯度方向直方图的步骤为：

a利用水平梯度模板计算第一灰度图像上每一个待检测像素的水平梯度值，利用垂直梯度模板计算第一灰度图像上每一个待检测像素的垂直梯度值；

b通过所述的水平梯度值和所述的垂直梯度值计算待检测像素点在第一灰度图像中所处位置的梯度方向和梯度大小，以所述的梯度大小为幅度，以所述的梯度方向为维度，将所述的维度划分成多个区间，统计获得每一个待检测像素的直方图；

c将所述的第一灰度图像划分成多个块，将所述的块的数量记为r，将块内的待检测像素的直方图合并得到分块直方图，将所述的分块直方图的维度记为t，再将所述的分块直方图联立起来得到维度为r×t的第一灰度图像的梯度方向直方图，所述的第一灰度图像的梯度方向直方图中每一段维度为t的直方图都对应一个所述的分块直方图。

3.按照权利要求1所述的一种多模式行为识别与描述的视频信号预处理方法，其特征在于所述的步骤⑦中得到第二灰度图像的梯度方向直方图的步骤为：

a利用水平梯度模板计算第二灰度图像上每一个待检测像素的水平梯度值，利用垂直梯度模板计算第二灰度图像上每一个待检测像素的垂直梯度值；

b通过所述的水平梯度值和所述的垂直梯度值计算待检测像素点在第二灰度图像中所处位置的梯度方向和梯度大小，以所述的梯度大小为幅度，以所述的梯度方向为维度，将所述的维度划分为多个区间，统计获得每一个待检测像素的直方图；

c将所述的第二灰度图像划分成多个块，将所述的块的数量记为w，将块内的待检测像素的直方图合并得到分块直方图，将所述的分块直方图的维度记为q，再将所述的分块直方图联立起来得到维度为q×w的第二灰度图像的梯度方向直方图，所述的第二灰度图像的梯度方向直方图中每一段维度为q的直方图都对应一个所述的分块直方图。

4.按照权利要求2或3所述的一种多模式行为识别与描述的视频信号预处理方法，其特征在于所述的步骤b中所述的维度划分为九个区间时效果最好。

5.按照权利要求1所述的一种多模式行为识别与描述的视频信号预处理方法，其特征在于所述的步骤③中得到第一灰度图像的LBP直方图的步骤为：取所述的第一灰度图像中的待检测像素，获取每一个所述的待检测像素周边相邻的多个像素，根据公式和公式计算并顺时针排列得出二进制值，再将二进制值转换为十进制值，其中P代表邻域像素点的总数，g_c为待检测像素点的灰度值，g_p为所述的待检测像素点的邻域点的灰度值，x的值为g_P-g_C，统计所有的十进制值得到第一灰度直方图的LBP直方图。

6.按照权利要求1所述的一种多模式行为识别与描述的视频信号预处理方法，其特征在于所述的步骤⑧中得到第二灰度图像的LBP直方图的步骤为：取所述的第二灰度图像中的待检测像素，获取每一个所述的待检测像素周边相邻的多个像素，根据公式和公式计算并顺时针排列得出二进制值，再将二进制值转换为十进制值，其中P代表邻域像素点的总数，g_c为待检测像素点的灰度值，g_p为所述的待检测像素点的邻域点的灰度值，x的值为g_P-g_C，统计所有的十进制值得到第二灰度直方图的LBP直方图。

7.按照权利要求1所述的一种多模式行为识别与描述的视频信号预处理方法，其特征在于所述的分类器可以为SUV分类器。