发明内容
为了解决预警的可靠性较低的技术问题,本发明提供一种建筑施工视频监控大数据的智能预警系统,所采用的技术方案具体如下:
本发明提出了一种建筑施工视频监控大数据的智能预警系统,系统包括:
图像采集模块,用于周期性采集建筑施工视频的多帧监控图像帧;
第一处理模块,用于确定连续的多帧所述监控图像帧中的至少两处运动区域,根据所述运动区域内像素点的灰度值确定所述运动区域的模糊程度,根据所述模糊程度确定所述监控图像帧的清晰度系数,根据所述监控图像帧和其他监控图像帧的所述清晰度系数和所述模糊程度,确定所述监控图像帧中所述运动区域的清晰度权重;
第二处理模块,用于根据所述运动区域的所述清晰度权重和所述运动区域中像素点的梯度幅值,确定所述运动区域的细节评价指标,根据所述细节评价指标确定所述运动区域的引导滤波窗口的边长,将所述运动区域的运动方向作为所述引导滤波窗口的处理方向,基于所述引导滤波窗口的边长和所述处理方向对所述监控图像帧中的所述运动区域进行滤波处理,得到滤波图像,根据所述滤波图像中所述运动区域的所述模糊程度确定目标模糊程度,根据所述目标模糊程度对所述滤波图像进行图像去雾处理,得到目标图像;
预警模块,用于对所述目标图像进行图像识别,生成预警信息。
进一步地,所述根据所述运动区域内像素点的灰度值确定所述运动区域的模糊程度,包括:
计算所述运动区域中所有像素点的灰度值方差,将所述灰度值方差作为所述模糊程度。
进一步地,所述根据所述模糊程度确定所述监控图像帧的清晰度系数,包括:
将所述监控图像帧中所述运动区域的最大模糊程度与最小模糊程度的比值作为所述清晰度系数。
进一步地,所述根据所述监控图像帧和其他监控图像帧的所述清晰度系数和所述模糊程度,确定所述监控图像帧中所述运动区域的清晰度权重,对应的计算公式为:
式中,表示监控图像帧的索引,表示监控图像帧中运动区域的索引,表示第帧
监控图像帧中第个运动区域的清晰度权重,表示归一化函数,表示第帧监控图像
帧的清晰度系数,表示第帧监控图像帧的清晰度系数,表示求绝对值,表示除第帧监
控图像帧外的其他监控图像帧的索引,,且,表示监控图像帧的总帧数,
表示第帧监控图像帧中第个运动区域的模糊程度,表示第帧监控图像帧中第个运动
区域的模糊程度。
进一步地,所述根据所述运动区域的所述清晰度权重和所述运动区域中像素点的梯度幅值,确定所述运动区域的细节评价指标,包括:
对所述清晰度权重进行反向归一化处理,得到第一评价指标因子;
计算所述运动区域中所有像素点的梯度幅值的均值作为第二评价指标因子;
计算所述第一评价指标因子和所述第二评价指标因子的乘积作为所述运动区域的细节评价指标。
进一步地,所述根据所述细节评价指标确定所述运动区域的引导滤波窗口的边长,包括:
计算所述细节评价指标的归一化值和预设边长值的乘积作为所述引导滤波窗口的边长。
进一步地,所述根据所述滤波图像中所述运动区域的所述模糊程度确定目标模糊程度,包括:
将所述滤波图像中所述运动区域的最大模糊程度作为所述目标模糊程度。
进一步地,所述根据所述目标模糊程度对所述滤波图像进行图像去雾处理,得到目标图像,包括:
根据所述目标模糊程度,基于暗通道先验算法对所述滤波图像进行图像去雾处理,得到所述目标图像。
进一步地,所述对所述目标图像进行图像识别,生成预警信息,包括:
将所述目标图像输入至预训练的大数据图像处理模型中,基于所述大数据图像处理模型处理输出所述预警信息。
本发明具有如下有益效果:
本发明实施例中,通过确定连续的多帧监控图像帧中的运动区域,能够将运动区域作为重点区域,从而减少背景区域的影响,有效保证后续图像处理效果的可靠性,通过监控图像帧和其他监控图像帧的清晰度系数和模糊程度,确定监控图像帧中运动区域的清晰度权重,结合监控图像帧和其他监控图像帧确定运动区域中清晰度的变化,进而得到监控图像帧中运动区域的清晰度权重,能够分别为不同的运动区域确定对应的清晰度权重,从而使得不同的运动区域能够根据清晰度权重进行自适应的处理,进一步提高了图像处理的有效性,细节评价指标的确定能够获得运动区域中的细节保留情况,并根据细节评价指标准确确定引导滤波窗口的边长,进而能够使用更为合适的引导滤波窗口对对应的运动区域进行滤波处理,使得滤波处理生成的滤波图像效果更优,基于滤波图像中运动区域的模糊程度确定目标模糊程度,根据目标模糊程度对滤波图像进行图像去雾处理,得到目标图像,能够准确选择目标模糊程度,并根据目标模糊程度对滤波图像进行去雾处理,从而保证区域效果更优,有效避免处理过度导致图像细节丢失,有效提高去雾处理效果,并基于去雾后的目标图像进行图像识别,生成预警信息,增强预警的准确性,综上,本发明能够有效提高建筑施工场景中的预警可靠性。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种建筑施工视频监控大数据的智能预警系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种建筑施工视频监控大数据的智能预警系统的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种建筑施工视频监控大数据的智能预警系统结构图,建筑施工视频监控大数据的智能预警系统10包括:图像采集模块101、第一处理模块102、第二处理模块103,以及预警模块104。
其中,图像采集模块101,用于周期性采集建筑施工视频的多帧监控图像帧;第一处理模块102,用于确定连续的多帧监控图像帧中的至少两处运动区域,根据运动区域内像素点的灰度值确定运动区域的模糊程度,根据模糊程度确定监控图像帧的清晰度系数,根据监控图像帧和其他监控图像帧的清晰度系数和模糊程度,确定监控图像帧中运动区域的清晰度权重;第二处理模块103,用于根据运动区域的清晰度权重和运动区域中像素点的梯度幅值,确定运动区域的细节评价指标,根据细节评价指标确定运动区域的引导滤波窗口的边长,将运动区域的运动方向作为引导滤波窗口的处理方向,基于引导滤波窗口的边长和处理方向对监控图像帧中的运动区域进行滤波处理,得到滤波图像,根据滤波图像中运动区域的模糊程度确定目标模糊程度,根据目标模糊程度对滤波图像进行图像去雾处理,得到目标图像;预警模块104,用于对目标图像进行图像识别,生成预警信息。
其中,监控图像帧,为所拍摄得到的建筑施工视频的图像帧,本发明实施例中,可以使用监控设备获取建筑施工区域场景中的建筑施工视频,而后,周期性从建筑施工视频中采集监控图像帧,举例而言,可以从1秒的建筑施工视频中周期性采集10帧监控图像帧,当然,本发明还支持使用其他任意可能的实现方式采集监控图像帧,对此不作限制。可以理解的是,本发明对建筑施工视频的获取与监控图像帧的采集,其过程均符合相应的法律法规,且不违背公序良俗。
本发明在采集监控图像帧之后,可以按照采集时间顺序对监控图像帧进行排序,而后,使用帧差法确定监控图像帧中的运动区域。
其中,运动区域,为监控图像帧中产生运动的区域,可以将相邻监控图像帧中产生位置变化的区域作为运动区域,可以理解的是,在建筑施工区域的场景中,运动区域可以具体例如为施工工人、施工机械等,一帧监控图像帧中可以包含至少两处运动区域,对此不作限制。
本发明实施例中,可以结合多帧监控图像帧,将监控图像帧中产生纹理变化较大的区域作为运动区域,可以理解的是,由于运动中的物体可能在连续的某几帧监控图像帧中停止运动,此时,则将对应的位置作为停止运动的监控图像帧的运动区域,由此,保持所有图像监控帧中的运动区域数量相同,便于后续的计算与处理,本发明可以通过确定监控图像帧中的运动区域,能够有效减少背景区域的影响。
进一步地,本发明实施例中根据运动区域内像素点的灰度值确定运动区域的模糊程度,包括:计算运动区域中所有像素点的灰度值方差,将灰度值方差作为模糊程度。
本发明实施例中,可以使用方差公式计算运动区域中所有像素点的灰度值方差,将灰度值方差作为模糊程度,其中,对应的计算公式为:
式中,表示监控图像帧中第个运动区域的模糊程度,表示第个运动区域横坐
标的索引,表示第个运动区域纵坐标的索引,表示第个运动区域内像素点的数量,表示第个运动区域内位置处的像素点的灰度值,表示第个运动区域内像素点
的灰度值均值。
其中,第个运动区域内像素点的灰度值均值的计算公式如下式所示:
灰度值方差可以表示运动区域中灰度变化的平均程度,灰度值方差越大,可以说明运动区域中灰度变化的平均程度越大,灰度值方差越小,可以说明运动区域中灰度变化的平均程度越小。而在有雾或扬尘的场景中,因雾气或扬尘等对运动区域的遮挡,则对应的灰度变化越小,也即是说,灰度值方差越大,可以说明运动区域受雾气或扬尘等影响越小,图像越清晰,而灰度值方差越小,可以说明运动区域受雾气与扬尘等影响越大,图像越模糊。
进一步地,本发明实施例中,可以根据监控图像帧中所有运动区域的模糊程度确定监控图像帧的清晰度系数,一些实施例中,将监控图像帧中运动区域的最大模糊程度与最小模糊程度的比值作为清晰度系数。
本发明实施例中,在得到监控图像帧中所有运动区域的模糊程度之后,可以确定其中模糊程度最大的作为最大模糊程度,模糊程度最小的作为最小模糊程度,并计算最大模糊程度与最小模糊程度的比值作为清晰度系数。最大模糊程度与最小模糊程度的比值越大,越可以说明在同一帧监控图像帧中不同运动区域的清晰度差异越大,进而可以说明该监控图像帧中受到雾气或扬尘等影响的情况越复杂,则对应的清晰度系数越大。
进一步地,本发明实施例中,根据监控图像帧和其他监控图像帧的清晰度系数和模糊程度,确定监控图像帧中运动区域的清晰度权重,对应的计算公式为:
式中,表示监控图像帧的索引,表示监控图像帧中运动区域的索引,表示第帧
监控图像帧中第个运动区域的清晰度权重,表示归一化函数,表示第帧监控图像
帧的清晰度系数,表示第帧监控图像帧的清晰度系数,表示求绝对值,表示除第帧监
控图像帧外的其他监控图像帧的索引,,且,表示监控图像帧的总帧数,
表示第帧监控图像帧中第个运动区域的模糊程度,表示第帧监控图像帧中第个运动
区域的模糊程度。
如上式清晰度权重的计算公式所示,在第帧监控图像帧的清晰度系数与第帧监
控图像帧的清晰度系数间的差异越小时,可以表示对应的第个运动区域的模糊程度在所
有监控图像帧中的变化越小,则对应的,雾气或扬尘等对该运动区域的影响的变化较小,则
该运动区域的清晰度权重越小,相反,在第帧监控图像帧的清晰度系数与第帧监控图像帧
的清晰度系数间的差异越大时,可以表示对应的第个运动区域的模糊程度在所有监控图
像帧中的变化越大,也即是说,该运动区域可能从受雾气或扬尘等的影响变化较为明显,对
应的该运动区域越需要进行重点关注,清晰度权重越大。而运动区域在不同监控图像帧中
的模糊程度的变化越大,越可以表示模糊程度发生了较大的变化,清晰度权重越大。又因
表示除第帧监控图像帧外的其他监控图像帧的索引,则通过清晰度系数的差异的累加值
和模糊程度的差异的累加值的乘积,除以求得均值,并将均值的归一化值作为清晰度
权重。通过清晰度系数的差异与模糊程度的差异,可以进一步加强对运动区域的清晰度变
化的权重值,从而在后续进行滤波的过程中,选择更为合适的滤波窗口进行处理,便于对不
同的运动区域进行自适应的调整,增强图像处理的可靠性。
本发明实施例中,可以使用边缘检测算子sobel算子对运动区域进行边缘检测处理,得到运动区域中像素点的梯度幅值。
进一步地,本发明实施例中,根据运动区域的清晰度权重和运动区域中像素点的梯度幅值,确定运动区域的细节评价指标,包括:对清晰度权重进行反向归一化处理,得到第一评价指标因子;计算运动区域中所有像素点的梯度幅值的均值作为第二评价指标因子;计算第一评价指标因子和第二评价指标因子的乘积作为运动区域的细节评价指标。
其中,细节评价指标,为运动区域中纹理细节的变化指标,在细节评价指标越大时,可以表示对应的运动区域中纹理细节等变化越小,可以根据细节评价指标进一步确定所要使用的滤波窗口的大小。
本发明实施例中,可以使用细节评价指标公式计算运动区域的细节评价指标,其中,细节评价指标公式如下式所示:
式中,表示监控图像帧的索引,表示监控图像帧中运动区域的索引,表示第帧
监控图像帧中第个运动区域的细节评价指标,表示第帧监控图像帧中第个运动区域的
清晰度权重,表示自然常数,表示第帧监控图像帧中第个运动区域中像素点的总数量,表示第帧监控图像帧中第个运动区域中像素点的索引,表示第帧监控图像帧中第个
运动区域中第个像素点的梯度幅值,表示第帧监控图像帧中第个运动区域的梯
度幅值的均值。
如细节评价指标公式可知,在运动区域的清晰度权重越大时,可以表示运动区域中清晰度变化越大,也即是说,雾气或扬尘等对运动区域的影响较大,则由于雾气或扬尘的影响,运动区域中图像细节变化较小,则对应的细节评价指标越小,清晰度权重与细节评价指标呈反比关系;而运动区域的梯度幅值的均值越大,则可以表示运动区域中像素点的灰度变化越大,则对应的可以表示运动区域中受雾气或扬尘等的影响较小,则可以表示运动区域中图像细节变化较大,图像细节保留较为清晰,则细节评价指标越大。
进一步地,本发明实施例中,根据细节评价指标确定运动区域的引导滤波窗口的边长,包括:计算细节评价指标的归一化值和预设边长值的乘积作为引导滤波窗口的边长。
其中,预设边长值,为预设的引导滤波窗口的边长大小,可选地,预设边长值为10。
本发明实施例中,可以根据细节评价指标确定运动区域的引导滤波窗口的边长,由于细节评级指标越大,则可以表示运动区域中纹理细节的变化越大,则在选择引导滤波窗口时,可以选择更大的引导滤波窗口对运动区域进行处理,也即细节评级指标越大,对应的引导滤波窗口的边长越大,细节评级指标与引导滤波窗口的边长呈正比例关系。
本发明实施例中,可以使用边长计算公式计算引导滤波窗口的边长,对应的计算公式为:
式中,表示监控图像帧的索引,表示监控图像帧中运动区域的索引,表示第帧
监控图像帧中第个运动区域的引导滤波窗口的边长,表示第帧监控图像帧中第个运
动区域的细节评价指标,表示预设边长值,表示归一化函数,表示取整函数。
由边长计算公式可知,运动区域的细节评级指标越大,可以表示图像越清晰或者图像模糊程度变化越小,则可以使用边长更大的引导滤波窗口对对应的运动区域进行处理,细节评级指标与引导滤波窗口的边长呈正比例关系。
可以理解的是,引导滤波窗口越大,则对应的对图像细节处理精细度越低,但处理速度较快,而引导滤波窗口越小,对应的对图像细节处理精细度越高,但处理速度较慢,因此,根据运动区域的细节评级指标有效确定该运动区域所使用的引导滤波窗口的大小,从而在保证图像处理效果的同时兼顾图像处理速度。
本发明实施例中,在确定的大小之后,可以使用帧差法确定运动区域的运动方向,而后,基于引导滤波窗口的边长和处理方向对监控图像帧中的运动区域进行滤波处理,得到滤波图像。
其中,可以使用引导滤波窗口沿着运动方向遍历对应的运动区域进行滤波处理,可以理解的是,由于不同的运动区域可能具有不同大小的引导滤波窗口,不同的运动区域其运动方向也可能相同或不同,因此,不同运动区域可以分别使用对应的引导滤波窗口沿着对应的运动方向进行滤波处理,其中,引导滤波窗口,可以具体例如为均值滤波窗口,如图2所示,图2为本发明一个实施例所提供的3×3大小的引导滤波窗口的示意图,滤波处理过程可以具体例如为:沿着运动方向滑动引导滤波窗口,基于运动区域中像素点的灰度值与引导滤波窗口中对应位置的值进行相乘后累加,可以理解的是,由于图2中引导滤波窗口中的每个位置的数值均为1,则对应的求取累加后的均值作为引导滤波窗口中心点位置处像素点的灰度值。其中,由于是将运动区域中像素点的灰度值与引导滤波窗口中对应位置的值进行相乘后累加,并将累加后的均值作为引导滤波窗口中心点位置处像素点的灰度值,能够求得引导滤波窗口内像素点的灰度值均值作为引导滤波窗口中心点位置处像素点的灰度值,能够对运动区域进行平滑处理,消除运动区域中雾气或扬尘带来的像素点的噪声影响。当然,引导滤波窗口中的值也可以根据实际需求进行调整,对此不作限制。
本发明实施例中,经由滤波处理得到的图像,可以被称为滤波图像,滤波过程可以有效减少滤波图像中的图像锐化现象,则之后,可以根据滤波图像中运动区域的模糊程度确定目标模糊程度。
进一步地,本发明实施例中,根据滤波图像中运动区域的模糊程度确定目标模糊程度,包括:将滤波图像中运动区域的最大模糊程度作为目标模糊程度。
也即是说,本发明实施例可以使用模糊程度计算步骤重新计算滤波图像中运动区域的模糊程度,并选择滤波图像中运动区域的模糊程度最大的作为目标模糊程度,由于选择最大模糊程度作为目标模糊程度,能够在后续根据目标模糊程度进行处理时提高图像处理效果,同时,由于目标模糊程度为已滤波处理后的滤波图像中运动区域的模糊程度,则可以进一步防止目标模糊程度选取过大导致处理过度的现象,进一步提高图像处理效果。
本发明实施例中,根据目标模糊程度对滤波图像进行图像去雾处理,得到目标图像,包括:根据目标模糊程度,基于暗通道先验算法对滤波图像进行图像去雾处理,得到目标图像。
其中,暗通道先验算法为本领域所熟知的去雾算法,通过目标模糊程度构建大气散射模型,而后基于场景中的大气光值与滤波图像,得到去雾后的目标图像。
其中,大气散射模型如下式所示:
式中,表示目标图像在处像素点的灰度值,表示目标图像或滤波图像中
横坐标的索引,表示目标图像或滤波图像中纵坐标的索引,表示像素点在目标图像或
滤波图像中的坐标,表示滤波图像在处像素点的灰度值,表示目标模糊程度,
表示大气光值。
其中,大气光值为常数值,本发明实施例中,可以对滤波图像进行暗通道先验处理,得到暗通道图,在暗通道图中对像素点的灰度值进行大小排序,抽取出其中像素点的灰度值最大的前0.1%的像素点,并标记好这些像素点的下标。在滤波图像中搜索对应下标的像素点,这些像素点中的最大灰度值作为大气光值,当然,本发明还支持使用多种其他任意可能的实现方式确定大气光值,对此不作限制。
由此,基于大气散射模型,对滤波图像中的像素点进行处理,得到目标图像,而后,对目标图像进行图像识别,生成预警信息。
可以理解的是,在进行去雾处理之后,目标图像中的细节能够很好的展示出来,则可以根据目标图像中的细节识别建筑施工场景中的危险情况,其中,建筑施工场景中的危险情况可以具体包括:危险动作、未安全佩戴头盔等护具、施工机械的危险操作,以及进入危险区域等情况,对此不作限制。
其中,预警信息,可以具体包括危险类型、危险等级等信息,对此不作限制。
本发明实施例中,可以预先配置预设参数搭建待训练的大数据模型,采集包含历史危险情况的图像数据,对图像数据中的危险情况类型进行标注生成已标注数据,将已标注数据分为训练集与测试集,将训练集输入至待训练的大数据模型中,对待训练的大数据模型中配置的相关参数进行调整,实现模型训练,得到训练后参数,并使用测试集对训练完成的大数据模型进行测试,直至测试结果满足准确度要求,根据最终的训练后参数生成预训练的大数据图像处理模型,而后,将目标图像输入至预训练的大数据图像处理模型中,基于大数据图像处理模型处理输出预警信息,在得到预警信息之后,可以对相应的施工工作人员进行警告与记录,以保证安全施工。
本发明实施例中,通过确定连续的多帧监控图像帧中的运动区域,能够将运动区域作为重点区域,从而减少背景区域的影响,有效保证后续图像处理效果的可靠性,通过监控图像帧和其他监控图像帧的清晰度系数和模糊程度,确定监控图像帧中运动区域的清晰度权重,结合监控图像帧和其他监控图像帧确定运动区域中清晰度的变化,进而得到监控图像帧中运动区域的清晰度权重,能够分别为不同的运动区域确定对应的清晰度权重,从而使得不同的运动区域能够根据清晰度权重进行自适应的处理,进一步提高了图像处理的有效性,细节评价指标的确定能够获得运动区域中的细节保留情况,并根据细节评价指标准确确定引导滤波窗口的边长,进而能够使用更为合适的引导滤波窗口对对应的运动区域进行滤波处理,使得滤波处理生成的滤波图像效果更优,基于滤波图像中运动区域的模糊程度确定目标模糊程度,根据目标模糊程度对滤波图像进行图像去雾处理,得到目标图像,能够准确选择目标模糊程度,并根据目标模糊程度对滤波图像进行去雾处理,从而保证区域效果更优,有效避免处理过度导致图像细节丢失,有效提高去雾处理效果,并基于去雾后的目标图像进行图像识别,生成预警信息,增强预警的准确性,综上,本发明能够有效提高建筑施工场景中的预警可靠性。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。