CN117238100A - 一种基于图像识别的仓储安全智能监控的方法及系统 - Google Patents
一种基于图像识别的仓储安全智能监控的方法及系统 Download PDFInfo
- Publication number
- CN117238100A CN117238100A CN202311241183.1A CN202311241183A CN117238100A CN 117238100 A CN117238100 A CN 117238100A CN 202311241183 A CN202311241183 A CN 202311241183A CN 117238100 A CN117238100 A CN 117238100A
- Authority
- CN
- China
- Prior art keywords
- image
- gait
- field personnel
- personal computer
- industrial personal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012544 monitoring process Methods 0.000 title claims abstract description 30
- 230000005021 gait Effects 0.000 claims abstract description 84
- 238000001514 detection method Methods 0.000 claims abstract description 33
- 206010017577 Gait disturbance Diseases 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 239000013598 vector Substances 0.000 claims description 28
- 230000008859 change Effects 0.000 claims description 22
- 238000012706 support-vector machine Methods 0.000 claims description 18
- 230000007704 transition Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 8
- 230000000877 morphologic effect Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 12
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011410 subtraction method Methods 0.000 description 2
- IAYPIBMASNFSPL-UHFFFAOYSA-N Ethylene oxide Chemical compound C1CO1 IAYPIBMASNFSPL-UHFFFAOYSA-N 0.000 description 1
- 208000034819 Mobility Limitation Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000037396 body weight Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005283 ground state Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开一种基于图像识别的仓储安全智能监控的方法及系统,包括图像采集模块,工控机,以及报警模块,上位机操作显示模块。工控机内部运行有图像处理单元,摔倒检测单元,步态识别单元。视频采集模块实时获取摄像头图像序列,并传递给工控机,工控机内部图像预处理单元对图像序列进行数据处理后,分别传递给摔倒检测单元与步态识别单元,并分别对现场人员的轮廓数据进行摔倒检测和步态识别判断,若判断为有摔倒情况或者异常步态则发送安全危险信号。其优点在于,本申请可以远距离检测是否有现场人员摔倒事故发生以及可以识别现场可疑人员,及时发出预警警示,提高仓储现场人员安全以及财产安全。
Description
技术领域
本申请涉及仓储管理技术领域,具体涉及一种基于图像识别的仓储安全智能监控的方法及系统。
背景技术
物流仓储安全是企业至关重要的生产作业环节。目前,在物流仓储的安全管理中,需要管理人员对视频设备进行实时的监控。通常在异常情况发生后,以往通过回放监控视频这种方式,对目标不安全行为的发生过程不能进行及时有效的预警。并且由于人自身生理的弱点,在监控系统时往往会发生疏忽。在仓储区域传统的视频安防监控已不能满足企业日益增长的安防需求,正在向基于机器学习的视频监控的方向寻求发展。
由于仓储环境复杂,空间较大,监控摄像头一般安装在仓库较高位置,采用传统的目标检测方法,很难对现场工作人员的身份进行远距离识别,容易发生外来人员以及盗窃等现象;现有的仓库安全管理主要依靠管理人员对视频社会实时监控,由于场景较多,很难及时发现人员摔倒受伤以及身体状态,很容易造成次生灾难等现象;仓库一般储存大量物资容易发生外来人员以及盗窃等现象。
发明内容
基于上述问题,本申请提供一种基于图像识别的仓储安全智能监控的方法及系统,通过对仓储现场人员的检测与识别,可以远距离检测是否有现场人员摔倒事故发生以及可以识别现场可疑人员,以及检测现场人员是否出现受伤或者身体不适,及时发出预警警示,提高仓储现场人员安全以及财产安全。本申请具体采用如下技术方案。
一种基于图像识别的仓储安全智能监控的方法,其特征在于,包括以下步骤:
S1:实时获取视频采集模块图像序列,对现场人员进行目标检测;
S2:对现场人员图像序列进行数据处理,得到二值化现场人员轮廓数据;
S3:基于轮廓数据对现场人员进行安全风险识别,若有安全风险,则发出安全风险信号;
S4:根据风险信号发出预警提示,并开始保存当前图像。
优选的,步骤2对现场人员图像序列进行数据处理方法为:
采用中间值的方法进行背景建模,将原始图像序列图像函数与重建后的背景图像函数相减,并且选取一阈值作为区分背景和运动目标的边界,大于阈值则为目标,如果小于阈值则为背景,得到现场人员原始轮廓数据,然后采用形态学算子对原始轮廓数据滤除噪声和填充小的空洞。
优选的,步骤S3安全风险识别包括对现场人员的轮廓数据进行摔倒检测,
具体步骤为:
S31:判断人体外接矩形宽高比是否大于1,如果是,进入下一步,否则,返回步骤S1;
S32:判断人体有效面积比值是否大于阈值,如果是,则进入下一步,否则,返回步骤S1;
S33:判断人体质心变化率K是否为0,如果是,发出安全风险信号,否则,返回步骤S1。
优选的,步骤S3安全风险识别包括对现场人员的轮廓数据进行摔倒检测包括:
通过得到现场人员轮廓数据获取现场人员人体轮廓最小外接矩形的宽度值(W)和高度值(H)的比值,即宽高比:WHRatio=W/H;
通过现场人员轮廓数据计算最外轮廓矩形当中,人体所占的面积(Sp)和最外轮廓矩形面积(SR)的比值,即人体有效面积比EARatio=Sp/SR;
获取每帧现场人员轮廓人体质心坐标,计算相邻据计算前后两帧人体质心坐标A和B的人体质心变化率K=(y1-y0)/|(x1-x0)|,A=(x0,y0),B=(x1,y1)。
优选的,步骤S3安全风险识别包括对现场人员步态识别,具体过程为:
通过现场人员轮廓数据提取步态周期特征向量,将特征向量输入支持向量机进行步态分类检测,当检测为异常步态,则发出安全风险信号,否则,返回步骤1。
优选的,提取步态特征向量的方法为:
通过获取每帧图像中现场人员侧面轮廓数据中两脚之间的距离和身高之比,绘制步态周期特征变化曲线,根据特征曲线选取特征向量G=[Cy PH1 PH2 Wh WL Ah AL Pf T1T2],Cy为步态周期,PH1为步态前半周期,PH2为步态后半周期,Wh为波峰宽度,WL为波谷宽度,Ah为波峰幅值,AL为波谷幅值,Pf为峰值方差,T1为谷峰过渡时间,T2为峰谷过渡时间。
优选的,获取训练好的支持向量机的方法为:
将正常的步态特征向量和异常的步态特征向量训练数据集输入支持向量机训练得到训练好的支持向量机。
一种基于图像识别的仓储安全智能监控系统,包括图像采集模块,工控机以及报警模块,上位机操作显示模块;工控机内部部署有图像处理单元,摔倒检测单元,步态识别单元;图像采集模块、上位机操作显示模块,报警模块通过硬线与工控机连接;图像预处单元分别与所述摔倒检测单元、所述步态识别单元通过软件接口连接;
图像采集模块实时获取图像序列,对现场人员进行目标检测,并将图像序列传递给工控机,工控机内部图像预处理单元对图像序列进行数据处理,得到二值化的现场人员轮廓数据;并将现场人员轮廓数据分别传递给摔倒检测单元与所述步态识别单元,并分别对现场人员的轮廓数据进行摔倒检测和步态识别判断,若判断为有摔倒情况或者异常步态则通过工控机的硬线向报警模块发送安全风险信号,同时工控机开始保存当前图像,报警模块收到工控机的安全风险信号则发出报警声音;上位机操作显示模块实时显示图像采集模块获取的图像,并可以对工控机进行操作,读取保存的图像。
与现有技术相比,本申请的优点如下:
可以远距离对仓储人员进行目标识别和危险判断。通过摔倒检测可以及时对工作人员的摔倒等不安全情况进行及时预警,同时细化判断过程,在中间过程不满足时及时重新进行判断,可以节省算力,并且对识别结果进行修正,提高了识别的准确度。另一方面,基于步态特征参数的分析,通过步态识别,可以对现场工作人员身体状况进行识别判断,同时也可以对偷盗的行为进行预警。
附图说明
图1为基于图像识别的仓储安全智能监控系统的模块示意图。
图2为基于图像识别的仓储安全智能监控的方法流程图。
图3为摔倒检测方法的流程图。
图4为基于支持向量机的步态识别过程的流程图。
图5为正常步态周期的步态特征变化曲线
图6为异常步态周期的步态特征变化曲线
图7为步态周期的步态特征变化曲线特征参数示意图
具体实施方式
以下详细说明都是例示性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。
实施例一
采用管理人员对仓储实时监控,由于场景较多,很难及时发现人员摔倒受伤以及身体状态欠佳很容易造成次生灾难等现象;由于仓储环境复杂,空间较大,监控摄像头一般安装在仓库较高位置,很难对现场工作人员的身份进行远距离识别。本申请提供一种如图1所示的一种基于图像识别的仓储安全智能监控的系统,可以识别现场人员摔倒危险情况,包括视频采集模块,工控机,以及报警模块,上位机操作显示模块。工控机内部运行有图像处理单元,摔倒检测单元;视频采集模块摄像头、上位机操作显示模块,报警模块通过有线与工控机连接。图像预处单元与步态识别单元通过工控机内部软件接口连接。
一种基于图像识别的仓储安全智能监控的方法流程图如图2所示,具体为:
S1图像采集模块实时获取图像序列,对现场人员进行目标检测,并将图像序列传递给工控机;
S2工控机内部图像预处理单元对所述图像序列进行数据处理,得到二值化的现场人员轮廓数据;并将现场人员轮廓数据传递给摔倒检测单元;
具体图像预处理单元采用背景减除法,通过中间值的方法进行背景建模,将原始图像序列图像函数与重建后的背景图像函数相减,并且选取一阈值作为区分背景和运动目标的边界,大于阈值则为目标,如果小于这个边界则为背景,从而得到原始现场人员轮廓数据,然后采用形态学算子进对原始轮廓数据滤除噪声和填充小的空洞。
具体方法如下,采用RGB空间背景建模方法进行背景建模,取n帧图像的三个分量R,G,B的中间值作为背景图像的像素值,则背景图像为:
B(x,y)=med{f(k,x,y).c}
f(k,x,y),k=1,2,……n表示一序列获取的步态彩色图像函数,B(x,y)表示建立的背景点(x,y)处的RGB向量,c表示RGB彩色分量之一。
得到背景的模型以后,通过当前图像和背景图像相减,得到差值函数f(a,b),根据经验差值函数为:
0≤f(a,b)<1,0≤a(x,y),b(x,y)≤255
其中,a(x,y)和b(x,y)分别是当前图像和背景图像在像素(x,y)处的亮度值。
并通过选取一阈值T,通过以下公式得到原始二值化的图像。
当人体区域的颜色和背景的颜色差别不是很大的时候,阈值就可以设定的小一些,反之就需要设定的大一些。由于干扰和噪音的存在,对二值化后的人体轮廓数据采用形态学算子进一步滤除噪声和填充小的空洞,得到最终二值化现场人体轮廓数据。
S3摔倒检测单元基于轮廓数据对现场人员进行安全风险识别,具体为对现场人员的轮廓数据进行摔倒检测,若判断为有摔倒情况通过工控机硬线向报警模块发送安全风险信号;
如图3所示摔倒检测的具体过程为:
S11:判断人体外接矩形宽高比是否大于1,当大于1时,进入下一步,否则,返回步骤S1;
S12:判断人体有效面积比值是否大于阈值,当大于阈值时,则进入下一步,否则,返回步骤S1;
S13:判断所述人体质心变化率K是否为0,当为0时,则发出安全风险报警信号,否则,返回步骤S1。
下面给出该实施例中摔倒检测过程选择上述判断条件的原因进行说明,并列出其定义:
因为当人正常站立时,人体轮廓最小外接矩形,宽度与高度之比小于1,当人摔倒时,人体轮廓最小外接矩形的宽度与高度之比大于1。因此人体轮廓外接矩形的宽度与高度之比可反应人是否摔倒。
因此根据获得的人体轮廓数据,获取人体外接矩形宽度(W)和高度(H)。
但是仅仅通过这一特征进行判断会产生误判,因此接下来需要增加判断条件对其修正。
(1)比如现场工作人员在弯腰进行搬运货物可能其宽度与高度之比也可能大于1,但是因为人体的大小时确定的,当现场工作人员弯腰工作时,其人体外接矩形面积会变大,因此人体所占的面积(Sp)和最外轮廓矩形面积(SR)的比值会变小,因此当比值小于规定阈值时,可以认为其不是摔倒。
因此还需要计算人体所占的面积(Sp)和最外轮廓矩形面积(SR)的比值,即:EARatio=Sp/SR。式中,EARatio表示有效面积的比值,Sp表示矩形框当中像素值为1的像素点的个数,即表示人体外形像素点个数,SR表示整个矩形框中所有像素点的个数。
(2)除此之外如果工作人员摔倒之后又站起来,此时也认为其不需要预警,因此通过判断人体质心的变化,来进一步修正。根据获得的人体轮廓数据,计算前后两帧图像人体质心变化率即为K。设A和B分别是相邻的两帧当中质心坐标,它们两个分别是(x0,y1)和(x1,y1),那么质心变化率即为:
K=(y1-y0)/|(x1-x0)|
式中,K为质心变化率,当K为正值时,表示人体在向上移动,也就是说被测对象在向上移动,即使是在倒地状态,也是正在站起。说明此时摔倒者并没有出现比较危险的情况,这种情况是不需要报警的。当K为0时,说明被测对象在竖直方向上并未做任何移动,如果处于摔倒状态,则表明摔倒者在短时间内自己并没有能力站起来,需要别人的帮助,此时监控系统需要报警。当K为负值时,说明被检测对象处于下落过程中,此时有可能是正处于摔倒,也有可能是在做一些运动,需要进行下一帧进行判断。
S4报警模块收到工控机的安全风险信号则发出预警提示,同时工控机将开始保存视频在内存中,以便工作人员通过上位机操作显示模块调取储存的图像。
上位机操作显示模块则可以实时显示图像采集模块获取的图像。
实施例二
采用管理人员对仓储实时监控,由于场景较多,很难及时发现人员摔倒受伤以及身体状态欠佳很容易造成次生灾难等现象;由于仓储环境复杂,空间较大,监控摄像头一般安装在仓库较高位置,很难对现场工作人员的身份进行远距离识别。因此本申请如图1所示一种基于图像识别的仓储安全智能监控的系统,其可以通过步态识别,可以对现场人员身体异常状况进行预警。包括视频采集模块,工控机,以及报警模块,上位机操作显示模块。工控机内部运行有图像处理单元,步态识别单元。视频采集模块摄像头、上位机操作显示模块,报警模块通过有线与工控机连接。图像预处单元与步态识别单元通过工控机内部软件接口连接。
一种基于图像识别的仓储安全智能监控的方法流程图如图2所示,具体过程为:
S1图像采集模块实时获取图像序列,对现场人员进行目标检测,并将所述图像序列传递给工控机;
S2工控机内部图像预处理单元对所述图像序列进行数据处理,对现场人员进行检测识别,得到二值化的现场人员轮廓数据;并将所述现场人员轮廓数据传递给步态识别单元;
图像预处理单元采用背景减除法,通过中间值的方法进行背景建模,将原始图像序列图像函数与重建后的背景图像函数相减,并且选取一阈值作为区分背景和运动目标的边界,大于阈值则为目标,如果小于这个边界则为背景,从而得到现场人员原始轮廓数据。然后采用形态学算子进对原始轮廓数据滤除噪声和填充小的空洞。
具体方法为:采用RGB空间背景建模方法进行背景建模,取n帧图像的三个分量R,G,B的中间值作为背景图像的像素值,则背景图像为:
B(x,y)=med{f(k x y).c}
f(k,x,y),k=1,2,……n表示一序列获取的步态彩色图像函数,B(x,y)表示建立的背景点(x,y)处的RGB向量,c表示RGB彩色分量之一。
得到背景的模型以后,通过当前图像和背景图像相减,得到差值函数f(a,b),根据经验差值函数为:
0≤f(a,b)<1,0≤a,b≤255
其中,a与b分别是当前图像和背景图像在像素(x,y)处的亮度值。
并通过选取一阈值T,通过以下公式得到原始二值化的图像。
当人体区域的颜色和背景的颜色差别不是很大的时候,阈值就可以设定的小一些,反之就需要设定的大一些。由于干扰和噪音的存在,对二值化后的人体轮廓数据采用形态学算子进一步滤除噪声和填充小的空洞,得到最终二值化现场人员人体轮廓图像数据。
S3步态识别单元基于轮廓数据对现场人员进行安全风险识别,具体通过现场人员轮廓数据提取步态周期特征向量,将特征向量输入支持向量机进行步态分类检测,当检测为异常步态,则发出安全风险信号,否则,返回步骤1。
S31步态识别单元采用的方法是基于现有技术支持向量机的方法(SupportVector Machine,SVM),其可以进行单分类检测,即通过正常的步态特征向量和异常的步态特征向量数据集输入支持向量机训练得到训练好的支持向量机,其可以对输入的步态特征向量进行分类检测,判断是否异常。
S32提取步态特征向量的方法为:通过获取每帧图像中现场人员侧面轮廓数据中两脚之间的距离和身高之比,绘制步态周期特征变化曲线,根据特征曲线选取特征向量G=[Cy PH1 PH2 Wh WL Ah AL Pf T1 T2],Cy为步态周期,PH1为步态前半周期,PH2为步态后半周期,Wh为波峰宽度,WL为波谷宽度,Ah为波峰幅值,A为波谷幅值,Pf为峰值方差,T1为谷峰过渡时间,T2为峰谷过渡时间。
以下对提取上述步态特征向量的原因进行分析:首先在提取步态特征向量需要对人的步态运动过程进行分析,人的步态运动是一种周期运动,一个步态周期是指同一只脚连续两次处于脚跟触地的时间段。不同脚连续脚跟角着地为一步,一个步态周期包含两步。因此可以提取人行走时两脚之间的距离随时间的变化作为描述步态的参数,同时考虑到图像尺寸的影响。因此把特征量定义为每帧图像中现场人员轮廓数据两脚之间的距离(s)和身高(h)之比:R=s/h作为描述步态的参数。则一个正常步态周期的步态特征变化曲线表示为图5,当出现异常时步态特征变化曲线可以用图6表示,图中横坐标为帧数frame,纵坐标为R,通过对比,可以看出异常步态特征变化曲线中相邻两步比值R的峰值明显相差较大,差值大于0.05,反应了该行人可能受伤蹩脚;正常的步态周期前后两步的比值R的变化不大。因此采用该步态的参数的步态特征变化曲线可以区分正常步态和异常步态
进一步地,为了更好的描述步态特征,因此定义几个特征参数,并具体分析特征参数如何表征异常步态。如图7所示曲线,横坐标为帧数frame,纵坐标为比值R,为一个步态周期,具有两个相邻的波峰。
步态周期(Cy)定义为第i个波峰与第(i+2)个波峰之间的时间,它表征了步行者行走速度,如果步态周期较长则认为现场人员走路缓慢,可以认为其身体欠佳或者累不适合工作。如果步态周期很快,则说明行人比较紧急,可以怀疑有紧急情况发生或者偷盗行为。
步态前半周期(PH1)和步态后半周期(PH2)。指一个步态周期中用右脚或者左脚单足支撑身体重量的时间,分别定义为第i个峰值到第(i+1)峰值之间的时间和第(i+1)个峰值到第(i+2)峰值之间。正常情况下两者大约相等。如果两者不相等说明现场人员的某条腿或脚有问题,即现场人员受伤或者身体不适。
波峰宽度(Wh)和波谷宽度(WL)。波峰宽度是指现场人员在行走过程中两脚同时触地的时间,它表征了现场人员从两脚同时角如也的平衡状态到单足触地的非平衡状态的转换能力。如果波峰过宽,表明现场人员在进行由平衡到非平衡状态转换时力不从心。波谷宽度表示行走过程中两腿并拢时间的短,如果波谷过宽,表示现场人员必须在两腿并拢时双足着地稍事休息以解决支撑足支撑能力不足的问题。
波峰幅值Ah和波谷幅值AL,波峰幅值指曲线的峰值,它代表人的步长值,如果曲线中,值过小,表示现场人员的腿脚可能存在问题以至于难于迈大步。波谷幅值是指波谷位置的值,它代表了双腿重叠时的宽度,如果这个值过大则表明现场人员可能存在步行困难。
峰值方差(Pf),可以体现步幅的变化情况,当变的不均匀时则反应现场人员腿脚有问题。Pf的计算公式为:其中/>为一段时间内所有峰值的平均值。
谷峰过渡时间(T1)和峰谷过渡时间(T2),谷峰过渡时间是指步行者从两腿重叠到两脚同时触地的时间,通过结合波峰幅值可以描述现场人员在这段时间内的单脚动速度。当波峰幅值越大,谷值越小时,说明单脚移动速度很快,甚至在奔跑,此时证明有紧急或者异常事情发生,反之当幅值越大,过度时间较长,证明行人走得慢,有避免发出声响,或者引起注意的嫌疑。同理,峰谷过渡时间用来描述从两脚同时触地到两腿重叠这段时间内单脚移动速度。
因此上述特征参数能较好反应仓储中现场人员中正常与危险的情况,则在一个步态周期中根据提取每帧图像中提取的数据得到特征向量G=[Cy PH1 PH2 Wh WL Ah AL Pf T1T2]。
如图4所示,基于支持向量机步态识别过程包括两个步骤。第一部是步态训练部分,首先把从视频采集的图像序列进行处理,分别收集正常步态和异常步态特征向量作为步态识别数据,再将这些数据作为步态识别的训练样本集,输入支持向量机进行训练,得到训练后的支持向量机模型。第二部分时识别部分,同样读入视频采集模块获取的图像序列,对图像序列进行处理得到特征向量,将特征向量输入训练后的支持向量机,最后输出结果是否为异常步态。
S4报警模块收到工控机的安全风险信号则发出预警提示,同时工控机将开始保存视频在内存中,以便工作人员通过上位机操作显示模块调取储存的图像。
上位机操作显示模块则可以实时显示图像采集模块获取的图像。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。
Claims (8)
1.一种基于图像识别的仓储安全智能监控的方法,其特征在于,包括以下步骤:
S1:实时获取视频采集模块图像序列,对现场人员进行目标检测;
S2:对现场人员图像序列进行数据处理,得到二值化现场人员轮廓数据;
S3:基于轮廓数据对现场人员进行安全风险识别,若有安全风险,则发出安全风险信号;
S4:根据风险信号发出预警提示,并开始保存当前图像。
2.根据权利要求1所述的一种基于图像识别的仓储安全智能监控的方法,其特征在于,步骤2对现场人员图像序列进行数据处理方法为:
采用中间值的方法进行背景建模,将原始图像序列图像函数与重建后的背景图像函数相减,并且选取一阈值作为区分背景和运动目标的边界,大于阈值则为目标,如果小于阈值则为背景,得到现场人员原始轮廓数据,然后采用形态学算子对原始轮廓数据滤除噪声和填充小的空洞。
3.根据权利要求1所述的一种基于图像识别的仓储安全智能监控的方法,其特征在于,步骤S3安全风险识别包括对现场人员的轮廓数据进行摔倒检测,具体步骤为:
S31:判断人体外接矩形宽高比是否大于1,如果是,进入下一步,否则,返回步骤S1;
S32:判断人体有效面积比值是否大于阈值,如果是,则进入下一步,否则,返回步骤S1;
S33:判断人体质心变化率K是否为0,如果是,发出安全风险信号,否则,返回步骤S1。
4.根据权利要求3所述的一种基于图像识别的仓储安全智能监控的方法,其特征在于,步骤S3安全风险识别包括对现场人员的轮廓数据进行摔倒检测包括:
通过现场人员轮廓数据获取现场人员人体轮廓最小外接矩形的宽度值(W)和高度值(H)的比值,即宽高比WHRatio=W/H;
通过现场人员轮廓数据计算最外轮廓矩形当中,人体所占的面积(Sp)和最外轮廓矩形面积(SR)的比值,即人体有效面积比EARatio=Sp/SR;
获取每帧现场人员轮廓人体质心坐标,计算相邻据计算前后两帧人体质心坐标A和B的人体质心变化率K=(t1-y0)/|(x1-x0)|,A=(x0,y0),B=(x1,y1)。
5.根据权利要求1所述的一种基于图像识别的仓储安全智能监控的方法,其特征在于,步骤S3安全风险识别包括对现场人员步态识别,具体过程为:
通过现场人员轮廓数据提取步态周期特征向量,将特征向量输入训练好的支持向量机进行步态分类检测,当检测为异常步态,则发出安全风险信号,否则,返回步骤1。
6.根据权利要求5所述的一种基于图像识别的仓储安全智能监控的方法,其特征在于,提取步态特征向量的方法为:
获取每帧图像中现场人员侧面轮廓数据中两脚之间的距离和身高之比,绘制步态周期特征变化曲线,根据特征曲线选取特征向量G=[Cy PH1 PH2 Wh WL Ah ALPf T1 T2],Cy为步态周期,PH1为步态前半周期,PH2为步态后半周期,Wh为波峰宽度,WL为波谷宽度,Ah为波峰幅值,AL为波谷幅值,Pf为峰值方差,T1为谷峰过渡时间,T2为峰谷过渡时间。
7.根据权利要求6所述的一种基于图像识别的仓储安全智能监控的方法,其特征在于,获取训练好的支持向量机的方法为:
将正常的步态特征向量和异常的步态特征向量训练数据集输入支持向量机训练得到训练好的支持向量机。
8.一种基于图像识别的仓储安全智能监控系统,包括图像采集模块,工控机以及报警模块,上位机操作显示模块;工控机内部部署有图像处理单元,摔倒检测单元,步态识别单元;图像采集模块、上位机操作显示模块,报警模块通过硬线与工控机连接;图像预处单元分别与所述摔倒检测单元、所述步态识别单元通过软件接口连接;
图像采集模块实时获取图像序列,对现场人员进行目标检测,并将图像序列传递给工控机,工控机内部图像预处理单元对图像序列进行数据处理,得到二值化的现场人员轮廓数据;并将现场人员轮廓数据分别传递给摔倒检测单元与所述步态识别单元,并分别对现场人员的轮廓数据进行摔倒检测和步态识别判断,若判断为有摔倒情况或者异常步态则通过工控机的硬线向报警模块发送安全风险信号,同时工控机开始保存当前图像,报警模块收到工控机的安全风险信号则发出报警声音;上位机操作显示模块实时显示图像采集模块获取的图像,并可以对工控机进行操作,读取保存的图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311241183.1A CN117238100A (zh) | 2023-09-25 | 2023-09-25 | 一种基于图像识别的仓储安全智能监控的方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311241183.1A CN117238100A (zh) | 2023-09-25 | 2023-09-25 | 一种基于图像识别的仓储安全智能监控的方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117238100A true CN117238100A (zh) | 2023-12-15 |
Family
ID=89098082
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311241183.1A Pending CN117238100A (zh) | 2023-09-25 | 2023-09-25 | 一种基于图像识别的仓储安全智能监控的方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117238100A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117953639A (zh) * | 2023-12-25 | 2024-04-30 | 上海驰瑞云智能科技有限公司 | 基于物联网的智能家居安防系统及方法 |
-
2023
- 2023-09-25 CN CN202311241183.1A patent/CN117238100A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117953639A (zh) * | 2023-12-25 | 2024-04-30 | 上海驰瑞云智能科技有限公司 | 基于物联网的智能家居安防系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10810414B2 (en) | Movement monitoring system | |
CN103576660B (zh) | 智能家居监控方法 | |
CN112165600B (zh) | 一种溺水的识别方法、装置、摄像头及计算机系统 | |
CN103942850A (zh) | 基于视频分析和rfid技术的医护人员在岗监测方法 | |
CN109145696B (zh) | 一种基于深度学习的老人跌倒检测方法及系统 | |
JP5598751B2 (ja) | 動作認識装置 | |
CN113506416A (zh) | 一种基于智能视觉分析的工程异常预警方法及系统 | |
CN112163477A (zh) | 一种基于FasterR-CNN的扶梯行人位姿目标检测方法及系统 | |
CN117238100A (zh) | 一种基于图像识别的仓储安全智能监控的方法及系统 | |
EP2000998B1 (en) | Flame detecting method and device | |
CN113449675A (zh) | 一种煤矿人员越界检测方法 | |
CN112270807A (zh) | 一种老人跌倒预警系统 | |
CN114359825A (zh) | 监测方法和相关产品 | |
KR101454644B1 (ko) | 보행자 추적기를 이용한 서성거림을 탐지하는 방법 | |
TWI493510B (zh) | 跌倒偵測方法 | |
CN114155492A (zh) | 高空作业安全带挂绳高挂低用识别方法、装置和电子设备 | |
CN114842560B (zh) | 基于计算机视觉的建筑工地人员危险行为识别方法 | |
CN111144174A (zh) | 利用神经网络与传统算法识别视频中老人跌倒行为的系统 | |
CN111597889B (zh) | 一种视频中目标移动的检测方法、装置及系统 | |
CN113384267A (zh) | 一种跌倒实时检测方法、系统、终端设备及存储介质 | |
JP2021081804A (ja) | 状態認識装置、状態認識方法及び状態認識プログラム | |
US20230267751A1 (en) | Vehicle safety assistance system | |
CN112287758B (zh) | 基于关键点检测的攀爬识别方法 | |
CN114492656A (zh) | 一种基于计算机视觉和传感器的疲劳度监测系统 | |
CN113762124A (zh) | 告警方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |