CN101996307A

CN101996307A - 智能视频人体识别方法

Info

Publication number: CN101996307A
Application number: CN2009100561861A
Authority: CN
Inventors: 王正光; 黄波士
Original assignee: SHANGHAI LISHI MICROELECTRONICS CO Ltd
Current assignee: SHANGHAI LISHI MICROELECTRONICS CO Ltd
Priority date: 2009-08-10
Filing date: 2009-08-10
Publication date: 2011-03-30

Abstract

本发明属于计算机图形图像学技术领域，提供一种智能视频人体识别方法，该方法包括如下步骤：第一步，建立静态背景模型；第二步，利用帧间差法确定人体运动轮廓和背景减除法获得人体运动区域，并将人体运动区域填充到人体运动轮廓中；第三步，利用最大方差阈值分割方法将第二步所得填充结果进行二值化，同时分析分割的有效性；第四步，对于有效的分割，合并人体运动区域，并跟踪人体运动轨迹，更新静态背景模型，并返回第二步。本发明识别效果好、鲁棒性高、无需手动干预，此外，本发明抗干扰性强，可以准确的消除室内灯光突变等情况，也可以过滤树叶的摆动、空中飞行物的干扰及天气突变等常见室外环境，减少了误跟踪现象和误报警情况。

Description

智能视频人体识别方法

技术领域

本发明属于计算机图形图像学技术领域，是一种智能视频人体识别方法。

背景技术

智能视频分析是将计算机视觉方法引入到视频监控中，这一技术包括由视频图像序列自动地进行运动目标的检测、目标跟踪、目标分类和行为理解等方面的内容，目的是在图像及像描述之间建立映射关系，从而使计算机能够分析并理解视频画面中的内容。视频监控中所提到的智能视频技术主要指的是自动分析和抽取视频源中的关键信息，借助计算机强大的数据处理功能，对视频画面中的海量数据进行高速分析，过滤掉监控者不关心的信息，仅仅为监控者提供有用的关键信息。其中，人体的检测与识别是智能视频技术中最重要的一个部分。

智能视频人体识别，需要具有较强的抗干扰能力，有效解决由于外界环境引起的摄像机抖动，光线和天气引起的噪声干扰等等。目前，几种常用的运动目标检测方法有帧间差法(Temporal Difference)，背景减除法(BackgroundSubtraction)和光流法(Optical Flow)。光流法的运动检测采用了动态目标随时间变化的光流特性，计算方法相当复杂，在视频实时处理的环境中被业界弃用。

帧间差法又叫时间差分法，它充分利用了视频图像的特征，从连续得到的视频流中提取所需要的动态目标信息。在一般情况下采集的视频图像，若仔细对比相邻两帧，可以发现其中大部分的背景像素均保持不变，只有在有当前图像运动目标的部分相邻帧的像素差异比较大，时间差分方法就是利用相邻帧图像的相减来提取出当前图像运动目标的信息的。虽然时间差分运动检测方法对于动态环境具有较强的自适应性，但一般不能完全提取出所有相关的特征像素点，在运动实体内部容易产生空洞现象，只能够检测到目标的边缘。而且，当运动目标停止运动时，一般时间差分方法便失效。

背景减除法是利用当前图像与背景图像的差分来检测出运动目标。它是目前运动检测中最常用的一种方法，一般能够提供相对来说比较全面的运动目标的特征数据，大部分的研究人员目前都致力于开发更加实用的背景模型，用于减少动态场景变化对于运动目标检测效果的影响。最简单的背景模型是时间平均图像，即利用同一场景在一个时段的平均图像作为该场景的背景模型。背景的建模是背景减除方法的技术关键。但是，由于该方法背景模型是固定的，一旦建立之后，对于该场景图像所发生的任何变化都比较敏感，比如阳光照射方向、影子、树叶随风摇动等。

因此，本发明有必要提供一种新的方法来解决上述问题。

发明内容

为了克服上述传统方法的缺点，本发明提供一种智能视频人体识别方法，可以有效提高识别的精确性。

本发明通过这样的技术方案解决上述的技术问题：

一种智能视频人体识别方法，该方法包括如下步骤：

第一步，建立静态背景模型；

第二步，利用帧间差法确定人体运动轮廓和背景减除法获得人体运动区域，并将人体运动区域填充到人体运动轮廓中；

第三步，利用最大方差阈值分割方法将第二步所得填充结果进行二值化，同时分析分割的有效性；

第四步，对于有效的分割，合并人体运动区域，并跟踪人体运动轨迹，更新静态背景模型，并返回第二步。

作为本发明的一种改进，第一步中通过提取序列帧，并针对序列帧在时域上进行中值滤波后获得静态背景模型。

作为本发明的一种改进，第三步中：记t为人体运动区域与背景图像的分割阈值，当t使得值g＝w₀*(u₀-u)²+w₁*(u₁-u)²最大时，t即为分割的最大方差阈值；其中，人体运动区域的像素点数占图像比例为w₀，平均灰度为u₀；背景图像像素点数占图像比例为w1，平均灰度为u₁，则图像的总平均灰度为：u＝w₀*u₀+w₁*u₁。

作为本发明的一种改进，如果方差g小于一个经验阈值，即人体运动区域和背景图像无法明显的区分，直接将人体运动区域和背景图像构成的待处理图像全部设置为0；其中经验阈值的取值范围为100至200之间。

作为本发明的一种改进，所述方法包括如下步骤：

步骤11、从视频源提取序列帧；

步骤12、将提取的序列帧转为灰度图像，并做平滑滤波；

步骤13、对当前帧进行亮度标准化；

步骤14、利用帧间差法确定人体运动轮廓和背景减除法获得人体运动区域；

步骤15、将人体运动区域填充到人体运动轮廓中；

步骤16、利用最大方差阈值分割方法将所得结果进行二值化；

步骤17、判断分割是否有效，如果判断结果为是，则执行步骤18；

步骤18、找到人体运动轮廓，合并人体运动区域；

步骤19、跟踪并绘出人体运动轨迹；

步骤20、更新静态背景模型；

步骤21、判断是否最后一帧，如果不是，则返回步骤11，如果是，结束该识别。

作为本发明的一种改进，判断步骤12中提取的序列帧是否为前25帧，如果判断结果为是，则执行如下步骤：

步骤121、将前25帧图片转为灰度图像，存入缓冲；

步骤122、然后将前25帧图片在时域上进行中值滤波，作为静态背景模型，并返回步骤11。

作为本发明的一种改进，步骤17中，如果判断结果为否，则将人体运动区域和背景图像构成的待处理图像全部设置为0，并返回步骤11。

本发明与现有方法相比，其优点是，识别效果好、鲁棒性高、无需手动干预，此外，本方法抗干扰性强，可以准确的消除室内灯光突变等情况，也可以过滤树叶的摆动、空中飞行物的干扰、下雨、下雪、起雾及天气突变等常见室外环境，从而减少了行业内常见的误跟踪现象和误报警情况。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明智能视频人体识别方法的总体流程图。

图2为本发明智能视频人体识别方法的详细流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

本发明提供一种智能视频人体识别方法。请参阅图1，所述方法包括如下步骤：

第一步，建立静态背景模型，首先通过对1秒钟大概25帧左右的序列帧在时域上进行中值滤波后获得静态背景模型，从而消除了单帧作为背景模型的不稳定性；

第三步，利用最大方差阈值分割将第二步所得填充结果进行二值化，同时分析分割的有效性；

第四步，对于有效的分割，合并人体运动区域，并实现人体运动轨迹跟踪，更新静态背景模型，并返回第二步。

以下分别对每个步骤的实施进行详细描述：

1.静态背景模型建立与更新

静态背景模型的建立是背景减除法的技术关键，可以通过对1秒左右大概25帧的序列帧进行时域中值滤波获得。建立好的静态背景模型对于该场景图像所发生的任何变化都比较敏感，因此本发明利用跟踪后结果，利用公式B(x)更新静态背景模型，使其可以减少由于噪声引起的场景变化对于运动目标检测效果的影响。

2.利用帧间差法确定人体运动轮廓和背景减除法获得人体运动区域，并将人体运动区域填充到人体运动轮廓中；

利用帧间差法得到人体运动轮廓，然后用背景减除法来提取整个人体运动区域。

对于摄像机采集的视频，今I_n(x)为像素位置x，时间t＝n时的亮度值。三帧差分法首先是默认像素是合法的运动，如果一个像素的亮度值在当前帧和上一帧间以及当前帧和上上帧间变化很大，则判定该像素是运动的，即：

当|I_n(x)-I_n-1(x)|＞T_n(x)且|I_n(x)-I_n-2(x)|＞T_n(x)时，判断像素是运动的。

这里，T_n(x)是一个描述像素x处的有效亮度变化阈值，这个阈值是通过时域统计法得到的。帧间差法存在的主要问题是目标内部的亮度一样的像素没有被包括在“运动”的像素集中。

背景减除法得到人体运动区域b_n

其中，B(x)是表示随着时间实时更新的背景模型。

将b_n聚类到帧间差法得到的人体运动轮廓中，即可以得到一个较为完整的人体运动区域。

B(x)和T(x)随着时间不断更新：

这里α是时间常数，用于指定背景信息更新的速度，为一个经验数值；m为滤波系数。

这里要注意的是，每个值只有当像素被判定为不运动的时候才会改变，也就是静态背景的一部分。如果每个不运动的像素位置从时间序列来看，B_n(x)是和本地时间均值类似的，T_n(x)是和本地时间标准亮度差异的m倍类似。B_n(x)和T_n(x)都是用无限脉冲反馈(IIR)滤波器计算获得。

3.最大方差阈值分割及分割有效性判定

3.1、最大方差阈值分割，是自适应计算单阈值的简单高效方法。

对一副灰度图像，记t为人体运动区域与背景图像的分割阈值，人体运动区域的像素点数占图像比例为w₀，平均灰度为u₀，背景图像像素点数占图像比例为w1，平均灰度为u₁，则图像的总平均灰度为：u＝w₀*u₀+w₁*u₁。

从最小灰度值到最大灰度值遍历t，当t使得值g＝w₀*(u₀-u)²+w₁*(u₁-u)²最大时t即为分割的最佳阈值，也即是最大方差阀值。

最大方差阈值t分割出的人体运动区域和背景图像两部分构成了整幅图像，而人体运动区域取值u₀，概率为w₀，背景图像取值u₁，概率为w₁，总均值为u，方差值为g。

3.2、判断当前阈值分割是否有效

部分人体运动区域错分为背景图像或部分背景图像错分为人体运动区域都会导致人体运动区域和背景图像之间差别变小。而方差作为灰度分布均匀性的度量，方差值越大，说明构成人体运动区域和背景图像之间差别越大，如果方差值最大，则意味着错分概率最小，因此，方差值可用来表征当前阈值分割是否有效。

如果方差小于一个经验阈值说明人体运动区域和背景图像模糊，无法很明显的区分，就意味着最佳阈值其实是没有意义的，那么可以判定场景中是干扰信号，这时可以直接将人体运动区域全部设置为0。如果方差大于经验阈值，则说明当前阈值分割有效，则执行第四步，对人体运动区域进行合并。其中经验阈值的范围为100至200之间。

这种方法有效地解决了由于室内灯光突变、树叶的摆动、空中飞行物的干扰、下雨、下雪、起雾等引起的干扰。

4.人体运动区域合并及人体运动轨迹跟踪

4.1、经过上述步骤可以获得有效分割结果，但是由于分割不是理想中每一个人体只会得到一个有效运动区域，往往是一个人体被分割为多个有效运动区域，但是这些有效运动区域相邻特别近，而且根据前一帧的跟踪结果，进行目标区域的合并与聚类。

合并步骤如下：

步骤1，按照一定阈值将临近目标区域的包围盒进行聚类合并，其中包围盒是包围每个被分割的有效运动区域；

步骤2，如果当前帧中的某包围盒在上一帧合并过的包围盒内部，直接合并；

步骤3，如果不在合并过的包围盒内部，则根据阈值进行聚类；如果当前块离当前新合并包围盒较近，那么合并；如果跟上一帧未合并块临近也合并；否则独立为一个包围盒标记为合并；

步骤4，更新包围盒合并的结果，并标出哪一个包围盒合并过；

步骤5，对于所有的包围盒重复步骤3、4、5，直到所有的包围盒全部合并。

在上一帧中，若没有合并块，则说明上一帧分割比较理想；若上一帧分割不理想，则要执行合并，需要根据经验阈值进行判定。

4.2、通过卡尔曼滤波方法实现并绘出人体运动轨迹跟踪，卡尔曼滤波方法是以最小均方误差为估计的最佳准则，采用信号与噪声的状态空间模型，利用前一时刻的估计值和当前时刻的观测值来更新对状态变量的估计，求出当前时刻的估计值。卡尔曼滤波适合于实时处理和计算机运算，可以有效的跟踪人体运动轨迹。

请参阅图2，本发明提供的智能视频人体识别方法具体包括如下步骤：

步骤11、从视频源，摄像头或者视频文件提取序列帧；

步骤12、判断是否是前25帧，如果是，执行步骤121和步骤122，如果否，执行步骤13；

步骤121、将前25帧图片转为灰度图像，存入缓冲；

步骤122、然后将前25帧图片在时域上进行中值滤波，作为静态背景模型，并返回步骤11；

步骤13、将前25帧图片转为灰度图像，并做平滑滤波；

步骤14、对当前帧进行亮度标准化；

步骤15、利用帧间差法确定人体运动轮廓和背景减除法获得人体运动区域；

步骤16、将人体运动区域填充到人体运动轮廓中；

步骤17、最大方差阈值分割；

步骤18、判断分割结果是否有效，如果判断结果为否，则执行步骤181；如果判断结果为是，则执行步骤19；

步骤181、将人体运动区域和背景图像构成的待处理图像设置为0，并返回步骤11；

步骤19、找到人体运动轮廓，合并人体运动区域；

步骤20、跟踪并绘出人体运动轨迹；

步骤21、更新静态背景模型；

步骤22、判断是否最后一帧，如果不是，则返回步骤11，如果是，结束该识别。

本发明可以有效地解决业界提到的问题，例如室内灯光突变、室外环境的雨、雪、雾等天气状况，也可以过滤树叶的摆动、空中飞行物的干扰，从而提高了跟踪性能，降低了误跟踪误报警等情况。

将帧间差法和背景减除法的融合应用解决了传统算法运动人体信息提取不完整的缺点，以最大的可能性的将运动人体信息完整轮廓提供给用户，以便于后面的人体运动轨迹跟踪和静态背景更新。

阈值有效性判定可以非常准确的判定当前场景是否有真正的检测目标出现，这种方法一方面可以非常有效地提高智能视频监控系统对于雨雪等天气的容忍度，另一方面也可以消除一些空中飞行物，摄像头被动抖动等不可避免的因素。

实时静态背景更新算法解决了固定背景模型对于场景图像所发生的任何变化都比较敏感的缺点，比如一些无法避免的自然现象：阳光照射，影子，树叶随风摇动等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims

1.一种智能视频人体识别方法，其特征在于，该方法包括如下步骤：

第一步，建立静态背景模型；

2.根据权利要求1所述的智能视频人体识别方法，其特征在于，第一步中通过提取序列帧，并针对序列帧在时域上进行中值滤波后获得静态背景模型。

3.根据权利要求1所述的智能视频人体识别方法，其特征在于，第三步中：记t为人体运动区域与背景图像的分割阈值，当t使得值g＝w₀*(u₀-u)²+w₁*(u₁-u)²最大时，t即为分割的最大方差阈值；其中，人体运动区域的像素点数占图像比例为w₀，平均灰度为u₀；背景图像像素点数占图像比例为w1，平均灰度为u₁，则图像的总平均灰度为：u＝w₀*u₀+w₁*u₁。

4.根据权利要求3所述的智能视频人体识别方法，其特征在于，如果方差g小于一个经验阈值，即人体运动区域和背景图像无法明显的区分，直接将人体运动区域和背景图像构成的待处理图像全部设置为0；其中经验阈值的取值范围为100至200之间。

5.根据权利要求1所述的智能视频人体识别方法，其特征在于，所述方法进一步包括如下步骤：

步骤11、从视频源提取序列帧；

步骤12、将提取的序列帧转为灰度图像，并做平滑滤波；

步骤13、对当前帧进行亮度标准化；

步骤15、将人体运动区域填充到人体运动轮廓中；

步骤18、找到人体运动轮廓，合并人体运动区域；

步骤19、跟踪并绘出人体运动轨迹；

步骤20、更新静态背景模型；

步骤21、判断是否是最后一帧，如果不是，则返回步骤11，如果是，结束该识别。

6.根据权利要求5所述的智能视频人体识别方法，其特征在于，判断步骤12中提取的序列帧是否为前25帧，如果判断结果为是，则执行如下步骤：

步骤121、将前25帧图片转为灰度图像，存入缓冲；

7.根据权利要求5所述的智能视频人体识别方法，其特征在于，步骤17中，如果判断结果为否，则将人体运动区域和背景图像构成的待处理图像全部设置为0，并返回步骤11。