CN102324016B - 一种高密度人群流量统计方法 - Google Patents

Abstract

本发明提供一种高密度人群流量统计方法，包括：从对移动人群实时监控的视频图像中选择监控区域图像；将彩色的监控区域图像转化为灰度视频图像；比较所输入的灰度视频图像序列中相邻三帧间对应位置的像素点的绝对差；对所获得的检测结果进行阈值化，以获得二值化图像，从而提取图像中的移动人群；对当前监控区域图像进行异常行为检测；设定感兴趣区域，根据上述二值化图像，对感兴趣区域进行像素采集；根据像素个数与人数之间的对应关系，计算单位时间内通过监控区域的总人数，进而实现对人群流量的实时统计。本发明能够实现对复杂背景下的单向行进的高密度流动人群进行流量统计。

Description

一种高密度人群流量统计方法

技术领域

本发明涉及一种高密度人群流量统计方法，特别涉及一种单向行进的高密度人群的流量统计方法，可广泛应用于景区广场、地铁、车站、商场等人群流量较大的公共管理领域。

背景技术

随着社会经济的快速发展，越来越多的人口涌入城市，城市中的许多公共设施，如火车站、景区广场、大型商场等经常会迎来短期的人流高峰，如何实现对高密度的人群流量进行有效的统计和管理成为至关重要的问题。

人群流量指流动人群单位时间内通过某一固定区域的总人数。因此，通过对进入某一固定区域的人群进行实时的人数计算，即可实现人群流量的统计。

传统的人群流量统计方法是基于人工计数或人工电子设备触发计数而实现的。该方法不仅工作量大、误报和漏报率高，效率低下，而且受到设备和工作人员的限制，应用范围极其有限。随着计算机技术的发展，利用计算机视觉和图像处理技术实现视频人群流量自动统计与管理，已经在实际的公共管理领域中得到了广泛的应用。该方法主要借助摄像头和计算机对感兴趣区域中的人群进行监控，将图像处理、模式识别、计算机视觉等技术应用其中，从而达到对人群的自动、实时、定量分析，为管理者提供了流动人群的数值量化信息，从而有效的协助安全人员快速处理危机。目前，基于视频监控的人群流量统计方法在技术上主要遵循了人群检测、跟踪、计数的一般步骤。该方法在背景单一，人群密度较低的情况下(一般为单人独行通过某一区域)，具有很好的统计效果。但是，由于国内复杂的应用环境以及用户群体，加之行人在移动过程中存在形态多变、个体间位移速度差异大、行人密度过大而产生拥堵等问题，使得对流动人群的精确计数变得异常困难。因此，研究一种实现对复杂背景下的单向行进的高密度流动人群精确计数的统计方法，对于公共环境中的人群监控具有较高的实用价值，也为该领域的研究提供了新的方法和技术。

发明内容

本发明提供了一种高密度人群流量统计方法，以解决现有技术中难以实现对复杂背景下的单向行进的高密度流动人群精确计数问题。

为解决上述技术问题，本发明所述的高密度人群流量统计方法，包括以下步骤：

(1.1)从图像采集设备获取对移动人群实时监控的视频图像，从该视频图像中选择监控区域图像；

(1.2)将彩色的监控区域图像转化为灰度视频图像；

(1.3)采用三帧差分法，比较所输入的灰度视频图像序列中相邻三帧间对应位置的像素点的绝对差；

(1.4)利用自适用阈值化方法对步骤(1.3)中所获得的检测结果进行阈值化，以获得二值化图像，从而提取图像中的移动人群；

(1.5)对当前监控区域图像进行异常行为检测，其中异常行为主要包括人群聚集和人群逆向行走，若存在异常行为，则重新进行步骤(1.1)；若无异常行为，则进行步骤(1.6)；

(1.6)在监控区域图像中设定感兴趣区域，根据步骤(1.4)中获得的二值化图像，对感兴趣区域进行像素采集；

(1.7)根据感兴趣区域中的像素个数与人数之间的对应关系，计算单位时间内通过监控区域的总人数，进而实现对人群流量的实时统计。

根据本发明所述的高密度人群流量统计方法，步骤(1.2)还包括，对所获得的灰度视频图像进行滤波、去噪、平滑等预处理。

根据本发明所述的高密度人群流量统计方法，所述三帧差分法为通过比较灰度视频图像序列中相邻三帧间对应位置的像素点的绝对差来实现移动人群的检测，计算结果如公式(1)所示：

d(x，y)＝σ×|f₁(x，y)-f₂(x，y)|×|f₂(x，y)-f₃(x，y)|    (1)

其中，f₁(x，y)、f₂(x，y)、f₃(x，y)是灰度视频图像序列中相邻的三帧图像，σ(σ＞0)为差值结果的权重，σ的值可根据实际需要设定。

根据本发明所述的高密度人群流量统计方法，所述自适应阈值化方法包括：

(3.1)将监控区域图像划分为n×n大小的图像块；

(3.2)利用以下公式(2)求取每个图像块的像素平均值，

$T=\underset{x=0}{\overset{n}{\mathrm{\Σ}}}\underset{y=0}{\overset{n}{\mathrm{\Σ}}}d(x,y)/n\×n-p---\left(2\right)$

其中，n为奇数，其值可根据实际需要设定；p为大于零的常数，其值可根据实际需要设定；

(3.3)根据以下公式(3)可提取出监控区域图像中的移动目标D(x，y)，

$D(x,y)=\left\{\begin{array}{cc}255,& T\≤d(x,y)\\ 0,& T>d(x,y)\end{array}\right.---\left(3\right)$

由此，获得监控区域图像的二值化图像。

根据本发明所述的高密度人群流量统计方法，步骤(1.4)还包括对所获得的二值化图像进行滤波、去噪。

根据本发明所述的高密度人群流量统计方法，所述感兴趣区域的设定方法包括：根据某一时刻的监控区域图像中行人的实际身高和人数计算出该监控区域图像中行人的平均身高s，测定行人通过监控区域图像中的与行人的行进方向垂直的直线所用的平均时间t，则行人的平均移动速度v为：

$v=\frac{s}{t}---\left(4\right)$

其中，s的单位为像素，t的单位为帧，v的单位为像素/帧，将感兴趣区域的高度h设定为h∈[1，v]，h为整数，并且感兴趣区域的宽度w等于监控区域的宽度，即感兴趣区域的大小为w×h，其中h和w的单位为像素，并且优选将感兴趣区域设置在监控区域的中间。

根据本发明所述的高密度人群流量统计方法，像素个数与流动人群中人数的对应关系的计算方法具体如下：

(5.1)建立另外的视频库，其中，该视频库的视频图像中分别含有k个行人，1≤k≤30；

(5.2)利用以上所述的感兴趣区域对各视频图像中的k个行人进行像素采集，并记录人数和像素的个数，记为(k，y_k)；

(5.3)利用最小二乘法对所记录的所有的人数和像素个数(k，y_k)进行数据曲线拟合，拟合后的曲线为：y＝ax+b，其中，x为行人的个数，y为行人对应的像素个数，a和b为曲线的系数，a的值和b的值可利用最小二乘法获得。

根据本发明所述的高密度人群流量统计方法，人群聚集异常的检测方法包括：

(6.1)利用背景建模方法对输入的灰度视频图像进行建模，构造背景图像；

(6.2)将灰度视频图像与背景图像相减，并利用自适应阈值方法对灰度视频图像进行二值化；

(6.3)统计步骤(6.2)中的二值化图像和步骤(1.4)中的二值化图像中非零像素的个数，分别记为：N₁，N₂；

(6.4)令异常判别阈值θ＝N₁/N₂，若θ≥C，则判定视频图像中无人群聚集异常；若θ＜C，则判定视频图像中存在人群聚集现象，其中，C为常数，其值可根据实际需要进行设定。

根据本发明所述的高密度人群流量统计方法，所述背景建模方法包括：首先将获得的第一帧预处理后的视频图像作为背景图像，然后根据以下公式(5)进行背景图像的更新：

g(x，y)＝(1-α)×g(x，y)+α×f(x，y)    (5)

其中，g(x，y)为背景图像，f(x，y)为预处理后的灰度视频图像，α为图像权重，其值可根据实际需要进行设定。

根据本发明所述的高密度人群流量统计方法，所述行人逆向行走异常的检测方法包括：

(8.1)对灰度视频图像进行强角点检测，并确定角点的位置，所述角点是指视频图像中周围亮度变化剧烈的点或者视频图像边界曲线上具有足够大曲率的点；

(8.2)利用LK光流法对角点进行光流检测；

(8.3)统计逆向光流的个数M，若M≥δ，则判定视频图像中存在逆向行走的行人，若M＜δ，则判定视频图像中无异常行为，其中，δ为常数，其值可根据实际的需要进行设定。

根据本发明所述的高密度人群流量统计方法，采用KLT特征跟踪算法进行角点的检测和位置的确定。

根据本发明所述的高密度人群流量统计方法，采用基于图像金字塔的LK光流法对角点进行光流检测。

本发明所述的高密度人群流量统计方法，能够对视频图像中的异常行为进行实时的检测，在确保视频图像没有干扰的情况下，实现视频图像中单向行进的人群流量的准确统计，避免了对相同人员的重复统计，从而具有很好的鲁棒性和准确性。

附图说明

图1是本发明所述的高密度人群流量统计方法的流程图。

图2是本发明所述的人群聚集异常行为检测方法的流程图。

图3是本发明所述的行人逆向行走异常行为检测方法的流程图。

具体实施方式

图1是本发明所述的高密度人群流量统计方法的流程图。该方法包括以下步骤。

(1)从图像采集设备获取对移动人群实时监控的视频图像，从该视频图像中选择监控区域图像；

(2)将彩色的监控区域图像转化为灰度视频图像，并对其进行滤波、去噪、平滑等预处理，以改善所述灰度视频图像的品质；

(3)采用三帧差分法，比较所输入的灰度视频图像序列中相邻三帧间对应位置的像素点的绝对差，以对移动人群进行实时检测；

(4)利用自适用阈值化方法对步骤(3)中所获得的检测结果进行阈值化，以获得二值化图像，从而提取图像中的移动人群，并对提取结果进行滤波、去噪；

(5)对当前监控区域图像进行异常行为检测，其中异常行为主要包括人群聚集和人群逆向行走，若存在异常行为，则重新进行步骤(1)；若无异常行为，则进行步骤(6)；

(6)在监控区域图像中设定感兴趣区域，根据步骤(4)获得的二值化图像，对感兴趣区域进行像素采集；

(7)根据感兴趣区域中的像素个数与人数之间的对应关系，计算单位时间内通过监控区域的总人数，进而实现对人群流量的实时统计。

根据本发明所述的高密度人群流量统计方法，所述三帧差分法根据视频图像中监控环境变化大、人群运动速度低且连贯性强等特点，利用图像的时间信息，通过比较灰度视频图像序列中相邻三帧间对应位置的像素点的绝对差来实现移动人群的检测，计算结果如公式(1)所示：

d(x，y)＝σ×|f₁(x，y)-f₂(x，y)|×|f₂(x，y)-f₃(x，y)|    (1)

其中，f₁(x，y)、f₂(x，y)、f₃(x，y)是灰度视频图像序列中相邻的三帧图像，σ(σ＞0)为差值结果的权重，用于调节差值图像像素值的大小，以使运算结果更明显，σ的值可根据实际需要设定，例如可以为1～10。

根据本发明所述的高密度人群流量统计方法，所述自适应阈值化方法是利用图像中要提取的目标区域与背景区域在灰度特性上的差异，把图像看作具有不同灰度级的两类区域(目标区域和背景区域)的组合，选取合适的阈值，将图像中各点的像素值与该阈值进行比较，以确定各点属于目标区域还是背景区域，从而产生相应的二值化图像。计算过程如下所示。

首先，将监控区域图像划分为n×n大小的图像块，然后利用公式(2)求取每个图像块的像素平均值。

$T=\underset{x=0}{\overset{n}{\mathrm{\Σ}}}\underset{y=0}{\overset{n}{\mathrm{\Σ}}}d(x,y)/n\×n-p---\left(2\right)$

其中，n为奇数，其值可根据实际需要设定，如可设定为3、5、7等；p为大于零的常数，其值可根据实际需要设定，例如可设定为5～30。根据公式(3)可提取出监控区域图像中的移动目标D(x，y)：

$D(x,y)=\left\{\begin{array}{cc}255,& T\≤d(x,y)\\ 0,& T>d(x,y)\end{array}\right.---\left(3\right)$

根据本发明所述的高密度人群流量统计方法，所述感兴趣区域的设定方法如下。

假设感兴趣区域的宽度为w(单位为像素)，高度为h(单位为像素)，根据某一时刻的监控区域图像中行人的实际身高和人数计算出该监控区域图像中行人的平均身高s(单位为像素)，测定行人通过监控区域图像中的与行人的行进方向垂直的直线所用的平均时间t(单位为帧)，则行人的平均移动速度v(单位为像素/帧)为：

$v=\frac{s}{t}---\left(4\right)$

从而将感兴趣区域的高度h设定为h∈[1，v]，且h为整数，而感兴趣区域的宽度w等于监控区域的宽度，即感兴趣区域的大小为w×h，并且优选将感兴趣区域设置在监控区域的中间。本发明通过计算监控区域图像中行人的平均移动速度，能够有效地避免重复采集监控区域图像中同一行人的像素。

根据本发明所述的高密度人群流量统计方法，像素个数与流动人群中人数的对应关系的计算方法具体如下。

(A)建立另外的视频库，其中，该视频库的视频图像中分别含有k个行人，1≤k≤30；

(B)利用以上所述的感兴趣区域对各视频图像中的k个行人进行像素采集，并记录人数和像素的个数，记为(k，y_k)；

(C)利用最小二乘法对所记录的所有的人数和像素个数(k，y_k)进行数据曲线拟合，拟合后的曲线为：y＝ax+b，其中，x为行人的个数，y为行人对应的像素个数，a和b为曲线的系数，a的值和b的值可利用最小二乘法获得。

根据上述像素个数与流动人群中人数的对应关系，已知本发明的监控区域中的行人的像素个数之后，可计算单位时间内通过本发明的监控区域的总人数，进而实现对人群流量的实时统计。

根据本发明所述的高密度人群流量统计方法，监控区域图像中的异常行为主要分为：人群聚集和行人逆向行走。其中，当发生人群聚集时，视频图像的特征为：对视频图像进行背景差分后，所得到的非零像素个数较多，而对视频图像进行三帧差分后，所得到的非零像素的个数较少，当两种非零像素的比值达到一定值时，则可判定视频图像中存在人群聚集，根据上述特征，人群聚集异常的检测方法为：

(a)利用背景建模方法对输入的灰度视频图像进行建模，构造背景图像；

(b)将预处理后的灰度视频图像与背景图像相减，并利用自适应阈值方法对灰度视频图像进行二值化；

(c)统计步骤(b)中的二值化图像和上述步骤(4)中的二值化图像中非零像素的个数，分别记为：N₁，N₂；

(d)令异常判别阈值θ＝N₁/N₂，若θ≥C，则判定视频图像中无人群聚集异常；若θ＜C，则判定视频图像中存在人群聚集现象，其中，C为常数，其值可根据实际需要进行设定，例如可以设定为100～500。

根据本发明所述的高密度人群流量统计方法，背景建模方法为：首先将获得的第一帧预处理后的视频图像作为背景图像，然后根据公式(5)进行背景图像的更新：

g(x，y)＝(1-α)×g(x，y)+α×f(x，y)    (5)

其中，g(x，y)为背景图像，f(x，y)为预处理后的灰度视频图像，α为图像权重，用于调节背景图像的更新速率，其值可根据实际需要进行设定，例如可以设定为0.001～0.1。

根据本发明所述的高密度人群流量统计方法，当发生行人逆向行走异常行为时，视频图像的特征为：在进行人群流量统计时，首先规定行人移动的正方向，如果行人的移动方向与规定的正方向相反，则认为该行人逆向行走，由此，视频图像中的光流方向也与规定的正方向相反，当逆向的光流数目大于一定值时，可判定视频图像中存在逆向行走的行人。根据上述特征，则行人逆向行走异常的检测方法为：

①对预处理后的灰度视频图像进行强角点检测，并确定角点的位置；

②利用LK光流法对角点进行光流检测；

③统计逆向光流的个数M，若M≥δ，则判定视频图像中存在逆向行走的行人，若M＜δ，则判定视频图像中无异常行为，其中，δ为常数，其值可根据实际的需要进行设定，例如可以设定为50～200。

根据本发明所述的高密度人群流量统计方法，角点是指视频图像中周围亮度变化剧烈的点或者视频图像边界曲线上具有足够大曲率的点。由于角点是图像的重要特征，对图像的理解和分析有着重要的作用，因此，目前有多种角点检测方法，为此，本发明采用了经典的角点检测方法——KLT特征跟踪算法，实现对角点的检测和位置的确定。

根据本发明所述的高密度人群流量统计方法，所述LK光流法是求解移动目标图像梯度方向上的移动矢量，因此，当移动目标的梯度方向与移动目标速度方向相同时跟踪是最稳定的，即角点成为LK方法的最佳跟踪特征。LK光流法只需要每个感兴趣点周围的局部信息，但由于较大的移动会使点移出局部区域这个小窗口，因此，造成算法无法再跟踪到这些点，为克服上述缺点，本发明中采用基于图像金字塔的LK光流算法实现对移动人群的光流检测。

Claims (8)

1.一种高密度人群流量统计方法，包括以下步骤：

(1.1)从图像采集设备获取对移动人群实时监控的视频图像，从该视频图像中选择监控区域图像；

(1.2)将彩色的监控区域图像转化为灰度视频图像；

(1.3)采用三帧差分法，比较所输入的灰度视频图像序列中相邻三帧间对应位置的像素点的绝对差；

(1.4)利用自适用阈值化方法对步骤(1.3)中所获得的检测结果进行阈值化，以获得二值化图像，从而提取图像中的移动人群；

(1.5)对当前监控区域图像进行异常行为检测，其中异常行为主要包括人群聚集和人群逆向行走，若存在异常行为，则重新进行步骤(1.1)，若无异常行为，则进行步骤(1.6)；

(1.6)在监控区域图像中设定感兴趣区域，根据步骤(1.4)中获得的二值化图像，对感兴趣区域进行像素采集；

(1.7)根据感兴趣区域中的像素个数与人数之间的对应关系，计算单位时间内通过监控区域的总人数，进而实现对人群流量的实时统计，

其中，人群聚集异常的检测方法包括：

(6.1)利用背景建模方法对输入的灰度视频图像进行建模，构造背景图像；

(6.2)将灰度视频图像与背景图像相减，并利用自适应阈值方法对灰度视频图像进行二值化；

(6.3)统计步骤(6.2)中的二值化图像和步骤(1.4)中的二值化图像中非零像素的个数，分别记为：N₁，N₂；

(6.4)令异常判别阈值θ＝N₁/N₂，若θ≥C，则判定视频图像中无人群聚集异常；若θ＜C，则判定视频图像中存在人群聚集现象，其中，C为常数，其值可根据实际需要进行设定，

所述人群逆向行走异常的检测方法包括：

(8.1)对灰度视频图像进行强角点检测，并确定角点的位置，所述角点是指视频图像中周围亮度变化剧烈的点或者视频图像边界曲线上具有足够大曲率的点；

(8.2)利用LK光流法对角点进行光流检测；

(8.3)统计逆向光流的个数M，若M≥δ，则判定视频图像中存在逆向行走的行人，若M＜δ，则判定视频图像中无异常行为，其中，δ为常数，其值可根据实际的需要进行设定。

2.根据权利要求1所述的高密度人群流量统计方法，其特征在于，所述三帧差分法的计算结果如公式(1)所示：

d(x，y)＝σ×|f₁(x，y)-f₂(x，y)|×|f₂(x，y)-f₃(x，y)|    (1)

其中，f₁(x，y)、f₂(x，y)、f₃(x，y)是灰度视频图像序列中相邻的三帧图像，σ为差值结果的权重，σ的值可根据实际需要设定，并且σ＞0。

3.根据权利要求2所述的高密度人群流量统计方法，其特征在于，所述自适应阈值化方法包括：

(3.1)将监控区域图像划分为n×n大小的图像块；

(3.2)利用以下公式(2)求取每个图像块的像素平均值，

$T=\underset{x=0}{\overset{n}{\mathrm{\Σ}}}\underset{y=0}{\overset{n}{\mathrm{\Σ}}}d(x,y)/n\×n-p---\left(2\right)$

其中，n为奇数，其值可根据实际需要设定；p为大于零的常数，其值可根据实际需要设定；

(3.3)根据以下公式(3)提取出监控区域图像中的移动目标D(x，y)，

$D(x,y)=\left\{\begin{array}{cc}255,& T\≤d(x,y)\\ 0,& T>d(x,y)\end{array}\right.---\left(3\right)$

由此，获得监控区域图像的二值化图像。

4.根据权利要求1所述的高密度人群流量统计方法，其特征在于，所述感兴趣区域的设定方法包括：

根据某一时刻的监控区域图像中行人的实际身高和人数计算出该监控区域图像中行人的平均身高s，测定行人通过监控区域图像中的与行人的行进方向垂直的直线所用的平均时间t，则行人的平均移动速度v为：

$v=\frac{s}{t}---\left(4\right)$

其中，s的单位为像素，t的单位为帧，v的单位为像素/帧，将感兴趣区域的高度h设定为h∈[1，v]，h为整数，并且感兴趣区域的宽度w等于监控区域的宽度，即感兴趣区域的大小为w×h，其中h和w的单位为像素，并且优选将感兴趣区域设置在监控区域的中间。

5.根据权利要求4所述的高密度人群流量统计方法，其特征在于，像素个数与流动人群中人数的对应关系的计算方法具体如下：

(5.1)建立另外的视频库，其中，该视频库的视频图像中分别含有k个行人，1≤k≤30；

(5.2)利用以上所述的感兴趣区域对各视频图像中的k个行人进行像素采集，并记录人数和像素的个数，记为(k，y_k)；

(5.3)利用最小二乘法对所记录的所有的人数和像素个数(k，y_k)进行数据曲线拟合，拟合后的曲线为：y＝ax+b，其中，x为行人的个数，y为行人对应的像素个数，a和b为曲线的系数，a的值和b的值可利用最小二乘法获得。

6.根据权利要求1所述的高密度人群流量统计方法，其特征在于，所述背景建模方法包括：首先将获得的第一帧预处理后的视频图像作为背景图像，然后根据以下公式(5)进行背景图像的更新：

g(x，y)＝(1-α)×g(x，y)+α×f(x，y)    (5)

其中，g(x，y)为背景图像，f(x，y)为预处理后的灰度视频图像，α为图像权重，其值可根据实际需要进行设定。

7.根据权利要求1所述的高密度人群流量统计方法，其特征在于，采用KLT特征跟踪算法确定角点的检测和位置。

8.根据权利要求1所述的高密度人群流量统计方法，其特征在于，采用基于图像金字塔的LK光流法对角点进行光流检测。

Images