CN102098492A - 音视频联合分析的打架斗殴检测系统及其检测方法 - Google Patents

Abstract

本发明公开了一种音视频联合分析的打架斗殴检测系统及其检测方法，该音视频联合分析的打架斗殴检测系统包括视频获取模块、音频获取模块、算法检测模块和管理模块，视频获取模块和音频获取模块采用摄像机、采集卡和计算机，视频获取模块通过采集卡采集摄像机的模拟信号到计算机内存，音频获取模块通过采集卡采集摄像机的模拟信号到计算机内存，算法检测模块对目标区人员打架斗殴的判断及同步音频的判断，并且检测目标区人员混乱的打架行为，并加以识别、定位、输出结果到管理模块。本发明通过对监控场景中人群的行为进行分析、识别和定位，可以准确的诊断出视频图像中出现的人员的聚众、打架等异常行为并加以报警。

Description

音视频联合分析的打架斗殴检测系统及其检测方法

技术领域

本发明涉及一种打架斗殴检测系统，特别是涉及一种音视频联合分析的打架斗殴检测系统及其检测方法。

背景技术

打架斗殴事件是社会所不容的违法乱纪行为，对社会稳定及人民生活带来负面的影响。而对于打架事件的处理，目前基本以事后通知报警为主，公安机关很难在第一时间获得报警信息，同时也很难做到第一时间取证，为后续查处带来困难。对于监控系统的打架分析，因为仅仅利用了视频的信息，所以对于打架很难做到准确的判断，如对于快速奔跑、嬉戏打闹、运动做操等较为剧烈的活动很难通过视频的方式与打架加以区分，会产生较多的虚警。

发明内容

本发明所要解决的技术问题是提供一种音视频联合分析的打架斗殴检测系统及其检测方法，其通过对监控场景中人群的行为进行分析、识别和定位，可以准确的诊断出视频图像中出现的人员的聚众、打架等异常行为并加以报警。

本发明是通过下述技术方案来解决上述技术问题的：一种音视频联合分析的打架斗殴检测系统，其特征在于，其包括视频获取模块、音频获取模块、算法检测模块和管理模块，视频获取模块和音频获取模块采用摄像机、采集卡和计算机，视频获取模块通过采集卡采集摄像机的模拟信号到计算机内存，音频获取模块通过采集卡采集摄像机的模拟信号到计算机内存，算法检测模块对目标区人员打架斗殴的判断及同步音频的判断，并且检测目标区人员混乱的打架行为，并加以识别、定位、输出结果到管理模块。

优选地，所述算法检测模块还对出现的人员打架行为做出判断并及时报警。

优选地，所述音频获取模块采集和视频同步的音频，满足音频分析算法的要求。

本发明的另一技术方案是提供一种音视频联合分析的打架斗殴检测系统的检测方法，该检测方法采用上述音视频联合分析的打架斗殴检测系统，其特征在于，该检测方法包括音频包信息检测和视频帧信息检测，视频帧信息检测包括镜头检测和场景混乱检测，音频包信息检测后进行音频报警，视频帧信息检测后进行视频报警，报警点的时间差绝对值小于设定的阈值的时候，可给出音视频联合报警。

优选地，所述音频包信息检测计算音频包倒谱系数与背景声音倒谱系数估计值的倒谱距离，由倒谱距离得到倒谱距离轨迹，利用近似能量方法中门限判决的方法检测打架的声音与背景声音的差别，如果有差别，则进行音频报警。

优选地，所述镜头检测包括帧间运动分析、帧间纹理分析、帧间结构分析和快速运动判据融合。

优选地，所述场景混乱检测包括光流计算、目标光流场分析和光流场混乱度判定。

本发明的积极进步效果在于：本发明在任何环境下都能高效的自动检测出打架斗殴事件的发生并及时报警，对人员吵闹高叫的声音检测、人员快速运动检测、场景混乱度检测、音视频联合逻辑判断，整套系统保持长期稳定和高效的运行。本发明除了视频信息以外增加了音频信息的分析，对打架斗殴事件做整体判断，有效的提高了打架斗殴检测系统的精确性。

附图说明

图1为本发明音视频联合分析的打架斗殴检测系统的原理示意图。

图2为本发明音视频联合分析的打架斗殴检测系统的检测方法的流程图。

具体实施方式

下面结合附图给出本发明较佳实施例，以详细说明本发明的技术方案。

如图1所示，本发明音视频联合分析的打架斗殴检测系统包括视频获取模块、音频获取模块、算法检测模块和管理模块，视频获取模块和音频获取模块采用摄像机、采集卡和计算机，视频获取模块通过采集卡采集摄像机的模拟信号到计算机内存，音频获取模块通过采集卡采集摄像机的模拟信号到计算机内存，算法检测模块对目标区人员打架斗殴的判断及同步音频的判断，并且检测目标区人员混乱的打架行为，并加以识别、定位、输出结果到管理模块。其中，视频获取模块的监控对象是视频区域中的人员群体，一般直接采集的视频源信息可以满足算法分析的要求。音频获取模块采集和视频同步的音频，满足音频分析算法的要求。算法检测模块对目标区人员聚众、打架行为检测，目标区人员快速混乱运动、高声叫喊、打架行为检测，主要通过音视频算法处理来检测实时音视频流中出现的打架斗殴现象，及时抓取、报警和保存关键帧图片，此模块是整个系统的核心模块，算法的准确性决定了系统整体运行的效率。算法检测模块还对出现的人员打架行为做出判断，并及时报警，将结果输出到管理模块。

本发明音视频联合分析的打架斗殴检测系统一方面针对各个监控场景中人员的快速混乱运动情况来做判断，同时对与视频同步的音频的吵闹情况和高声叫喊做检测判断，对于报警来说可采用三种模式，即音频报警、视频报警以及音视频联合报警。对不同的应用环境可灵活选择不同的报警模式。音视频联合分析的打架斗殴检测系统中吵闹、高声叫喊的检测及人员快速混乱运动的实时检测技术是最为关键的技术之一，决定了检测系统能否实时判断打架事件的发生与否。如图2所示，本发明音视频联合分析的打架斗殴检测系统的检测方法包括音频包信息检测和视频帧信息检测，视频帧信息检测包括镜头检测和场景混乱检测。音频包信息检测后进行音频报警，视频帧信息检测后进行视频报警，本发明音视频联合分析的打架斗殴检测系统对报警逻辑判断，上述各判据，可按照三种模式分别处理报警，即音频报警、视频报警以及音视频联合报警。对于音频报警和视频报警，可由各自的判据分别处理。对于音视频联合报警，分别记录音频报警与视频报警的时间戳，当报警点的时间差绝对值小于设定的阈值的时候，可给出音视频联合报警。系统方案具有可选择性，采用模块化结构，每一个都是独立的模块，相互之间通过消息的方式传递。可以根据具体的要求和环境条件配置功能上或经济上最优的系统，也是本系统最大优点之一。

音频包信息检测的过程如下：人员打架斗殴的行为同步产生的声音，一般分为打架之前可能存在的吵闹、打架时发出的声音以及打架后周围的人的吵杂声音，声音检测的目的是在正常的环境声音中，检测出突然变化的声音。因为监控场景的声音普遍包含较多的背景噪声，对于期望检测的打架时的高声叫喊的声音来说，周围的日常声音都可作为背景噪声处理。对于音频检测描述来说，本发明选取倒谱系数作为特征参数。通过拾音器获取的原始音频流，按照视频一帧的时长分包，以15秒的音频包缓冲做背景声音，利用缓冲区的倒谱系数的平均作为背景声音的倒谱系数的估计值。计算音频包倒谱系数与背景声音倒谱系数估计值的倒谱距离，由倒谱距离得到倒谱距离轨迹，利用近似能量方法中门限判决的方法检测打架的声音与背景声音的差别，如果有差别，则进行音频报警。

镜头检测的过程如下：帧间运动分析，帧间纹理分析，帧间结构分析，快速运动判据融合。具体是对监控场景内的人员，当出现打架行为的时候，必然伴随着剧烈快速的运动变化，对于连续的场景来说，这种突然出现的快速运动属于镜头边缘的范畴，可通过镜头边缘检测的方法对人员快速运动予以检测。镜头产生跳变伴随着图像颜色分布和结构分布的急剧变化。对于图像颜色分布来说，统计前后帧图像的灰度分布获得图像直方图分别为H1和H2，采用归一化直方图差作为帧间部相似性的测度。以公式(2.2.1)计算直方图相似度，

$d(H1,H2)=\underset{i}{\mathrm{\Σ}}\frac{H1\left(i\right)-H2\left(i\right)}{H1\left(i\right)+H2\left(i\right)}$ ………………………………公式(2.2.1)

其中，d(H1，H2)为直方图相似度，H1和H2分别为前后帧的图像直方图，i为帧序列号，选取适当的第一阈值T1，当d(H1，H2)超过第一阈值T1的时候，满足快速运动颜色分布变化。

对于结构分布来说，采用结构相似法更能反映出镜头的细节信息变化。前后帧图像结构的剧烈变化可表示为后帧图像在前帧图像向量上添加变化向量。前后帧图像相似度测量函数如公式(2.2.2)：

S(x，y)＝f(l(x，y)，c(x，y)，s(x，y))…………………………公式(2.2.2)

其中，S(x，y)为相似度测量函数；l(x，y)为亮度比较函数，如公式(2.2.3)；c(x，y)为对比度比较函数，如公式(2.2.4)；s(x，y)为结构比较函数，如公式(2.2.5)，f为整合函数；(x，y)为图像像素点坐标。

$l(x,y)=\frac{2{\mathrm{\μ}}_x{\mathrm{\μ}}_y+c_1}{{\mathrm{\μ}}_x^2+{\mathrm{\μ}}_y^2+c_1}$ ……………………………………………………公式(2.2.3)

$c(x,y)=\frac{{2\mathrm{\σ}}_x{\mathrm{\σ}}_y+c_2}{{\mathrm{\σ}}_x^2+{\mathrm{\σ}}_y^2+c_2}$ ………………………………………………………公式(2.2.4)

$s(x,y)=\frac{{2\mathrm{\σ}}_{\mathrm{xy}}+c_3}{{\mathrm{\σ}}_x{\mathrm{\σ}}_y+c_3}$ …………………………………………………………公式(2.2.5)

其中，μ_x和μ_y为亮度估计，σ_xy、σ_x和σ_y为对比度估计，C1和C2分别为第一常数和第二常数。选取适当的第二阈值T2，当相似度度量值低于第二阈值T2的时候，满足快速运动结构分布变化。当同时满足颜色分布变化与结构分布变化的条件时，系统判定为场景内具有快速运动的镜头变化。

场景混乱检测的过程如下：光流计算，目标光流场分析和光流场混乱度判定。具体是镜头快速变化可能是打架的快速剧烈运动产生，也可能是由于光线剧烈变化或有高速运动的目标产生，如开关灯或人员奔跑。作为打架事件，除了具有剧烈的运动外，同时还伴随着场景的混乱无规则的运动。本发明以光流的混乱程度描述场景的混乱程度，光流是图像中模式运动的速度，光流场是一种二维(2D)瞬时速度场，其中的二维(2D)速度场矢量是景物中可见点的三维(3D)速度矢量在成像表面的投影。本发明采用微分法来计算光流场，其公式(2.3.1)如下：

f(x，t)＝f(g(x，t)，t₀)………………………………………公式(2.3.1)

其中，f(x，t)指相对于前面的t₀时刻变化的运动物体的光流场，t时刻在空间位置x的强度与t₀时刻在位置x′＝g(x，t)强度相同。f(x，t)在由g(x，t)＝c所定义的(x，t)时间曲线簇上是常数。速度U＝[u，v]^T是局部平滑的，u和v光流矢量在x和y方向上的两个分量，即待计算的u、v随着点的改变而缓慢变化，它成为一个约束条件，U为局部平滑的约束条件，可以将运动估计表示为最优化问题，即极小化下面的公式(2.3.2)：

$C_1=\frac{{\∂}^{2}u}{{\∂}^{2}x}+\frac{{\∂}^{2}u}{{\∂}^{2}y}+\frac{{\∂}^{2}v}{{\∂}^{2}x}+\frac{{\∂}^{2}v}{{\∂}^{2}y}$ ……………………………………………公式(2.3.2)

上面公式(2.3.2)可以用下面两式之一代替之：

C₂＝（u-u_avg)+(v-v_avg)………………………………………公式(2.3.3)

C₃＝(u-u_avg)²+(v-v_avg)²………………………………………公式(2.3.4)

其中，u_avg和v_avg为t₀时刻光流矢量在x和y方向上的分量。

对光流约束方程的极小化为以下公式(2.3.5)：

$M^2={[\frac{\∂f(x,t)}{\∂t}-\frac{\∂f(x,t)}{\∂x}u-\frac{\∂f(x,t)}{\∂y}v]}^2$ …………………………公式(2.3.5)

其中，M为极小值。

希望总误差最小，则有以下公式(2.3.6)：E为极小化约束函数和λ表示对数据集约束的信度。

$\left\{\begin{array}{c}\frac{\∂E}{\∂U}=0\\ \frac{\∂E}{\∂\mathrm{\λ}}=0\end{array}\right.$ ……………………………………………………公式(2.3.6)

根据上述公式(2.3.2)、(2.3.3)、(2.3.4)、(2.3.5)、(2.3.6)联合求解，并采用迭代算法，可以解出光流速度场如下公式(2.3.7)和(2.3.8)：

u_avg＝(u(x+1，y)+u(x-1，y)+u(x，y+1)+u(x，y-1)+u(x，y))/5公式(2.3.7)

v_avg＝(v(x+1，y)+v(x-1，y)+v(x，y+1)+v(x，y-1)+v(x，y))/5公式(2.3.8)

本发明系统将目标运动方向在直角坐标系四个象限做了划分，当超过阈值的光流在四个象限中都有较多的分布，可看作视频运动具有较大的混乱度，以此作为打架斗殴的判据之一。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改。因此，本发明的保护范围由所附权利要求书限定。

Claims (7)

1.一种音视频联合分析的打架斗殴检测系统，其特征在于，其包括视频获取模块、音频获取模块、算法检测模块和管理模块，视频获取模块和音频获取模块采用摄像机、采集卡和计算机，视频获取模块通过采集卡采集摄像机的模拟信号到计算机内存，音频获取模块通过采集卡采集摄像机的模拟信号到计算机内存，算法检测模块对目标区人员打架斗殴的判断及同步音频的判断，并且检测目标区人员混乱的打架行为，并加以识别、定位、输出结果到管理模块。

2.如权利要求1所述的音视频联合分析的打架斗殴检测系统，其特征在于，所述算法检测模块还对出现的人员打架行为做出判断并及时报警。

3.如权利要求1所述的音视频联合分析的打架斗殴检测系统，其特征在于，所述音频获取模块采集和视频同步的音频，满足音频分析算法的要求。

4.一种音视频联合分析的打架斗殴检测系统的检测方法，该检测方法采用如权利要求1-3中任一项所述的音视频联合分析的打架斗殴检测系统，其特征在于，该检测方法包括音频包信息检测和视频帧信息检测，视频帧信息检测包括镜头检测和场景混乱检测，音频包信息检测后进行音频报警，视频帧信息检测后进行视频报警，报警点的时间差绝对值小于设定的阈值的时候，可给出音视频联合报警。

5.如权利要求4所述的音视频联合分析的打架斗殴检测系统的检测方法，其特征在于，所述音频包信息检测计算音频包倒谱系数与背景声音倒谱系数估计值的倒谱距离，由倒谱距离得到倒谱距离轨迹，利用近似能量方法中门限判决的方法检测打架的声音与背景声音的差别，如果有差别，则进行音频报警。

6.如权利要求4所述的音视频联合分析的打架斗殴检测系统的检测方法，其特征在于，所述镜头检测包括帧间运动分析、帧间纹理分析、帧间结构分析和快速运动判据融合。

7.如权利要求4所述的音视频联合分析的打架斗殴检测系统的检测方法，其特征在于，所述场景混乱检测包括光流计算、目标光流场分析和光流场混乱度判定。

Images