CN113505709A - 一种用于实时监测人体危险行为的方法以及系统 - Google Patents

Abstract

本发明实施例涉及一种用于实时监测人体危险行为的方法以及系统。所述用于实时监测人体危险行为的方法首先使用视频采集模块实时采集感兴趣区域的图像；然后针对所采集的图像，使用完成训练的深度神经网络模型识别图像中是否具有包含人体及与之紧邻的危险物品的人体危险行为，若否则继续进行图像采集及识别，若是则存储人体危险行为图像、危险行为类型、危险行为位置以及危险行为时间，并发送警示触发信号；最后在接收到所述警示触发信号时对监控者进行危险行为警示，并向监控者显示所述人体危险行为图像、危险行为类型、危险行为位置以及危险行为时间。本发明可低成本、简单、准确高效地监测人体危险行为，并可避免人体危险行为造成的损失。

Description

一种用于实时监测人体危险行为的方法以及系统

技术领域

本发明实施例涉及安保监测领域，具体涉及一种用于实时监测人体危险行为的方法以及系统。

背景技术

为抑制自杀事件或其他危险行为的发生，期望在自杀前及时发现并进行人为干预及制止。现有技术中各大场所主要靠保安或民警等人为日常巡逻及监控室监控等方式来保证秩序、人员安全及干预自杀，但人工方式既费时又费力，又难以确保全方位24小时监控。

自杀的时间地点和方式充满了未知性及不确定性，因此迫切需要一种用于实时监测人体危险行为的方法以及系统，以便低成本、简单、准确高效地监测人体危险行为。

发明内容

为了解决现有技术存在的问题，本发明的至少一个实施例提供了一种用于实时监测人体危险行为的方法以及系统。

第一方面，本发明实施例提出一种用于实时监测人体危险行为的方法，包括：

步骤一、使用视频采集模块实时采集感兴趣区域的图像；

步骤二、针对所采集的图像，使用完成训练的深度神经网络模型识别图像中是否具有包含人体及与之紧邻的危险物品的人体危险行为，若是则分析获取危险行为类型并继续步骤三，若否则返回步骤一；

步骤三、存储人体危险行为图像、危险行为类型、危险行为位置以及危险行为时间，并发送警示触发信号；以及

步骤四、在接收到所述警示触发信号时对监控者进行危险行为警示，并向所述监控者显示所述人体危险行为图像、危险行为类型、危险行为位置以及危险行为时间。

在一些实施例中，步骤二中使用完成训练的深度神经网络模型识别出图像中具有包含人体及与之紧邻的危险物品的人体危险行为时，针对人体危险行为产生危险行为边框，步骤三中的人体危险行为图像中包括所述危险行为边框。

在一些实施例中，步骤二中的深度神经网络模型包括YoloV4神经网络以及YoloV5神经网络。

在一些实施例中，所述感兴趣区域包括楼顶边缘、高楼护栏、学校教室、监狱以及水域边缘，所述监控者为保安或警察，所述人体危险行为或危险行为类型包括跳楼行为、持刀行为、放火行为、跳水行为以及上吊行为，所述危险物品包括楼顶边缘、护栏、刀具、烟雾、火苗、水面、水花以及绳索。

在一些实施例中，所述视频采集模块包括对准感兴趣区域的多个摄像头以及设定模块，所述监控者通过所述设定模块为每个摄像头分别设置监测子区域，每个摄像头针对其相应的监测子区域进行图像采集。

第二方面，本发明实施例还提供一种用于实时监测人体危险行为的系统，包括：

视频采集模块，其用于实时采集感兴趣区域的图像；

危险行为检测模块，其用于针对所采集的图像，使用完成训练的深度神经网络模型识别图像中是否具有包含人体及与之紧邻的危险物品的人体危险行为，若有则分析获取危险行为类型并发送危险行为触发信号，若否则继续进行图像采集及识别；

危险行为处理模块，其用于在接收到所述危险行为触发信号时存储对应的人体危险行为图像、危险行为类型、危险行为位置以及危险行为时间，并发送警示触发信号；以及

危险行为警示模块，其用于在接收到所述警示触发信号时对监控者进行危险行为警示，并向所述监控者显示所述人体危险行为图像、危险行为类型、危险行为位置以及危险行为时间。

在一些实施例中，所述危险行为检测模块在使用完成训练的深度神经网络模型识别出图像中具有包含人体及与之紧邻的危险物品的人体危险行为时，所述深度神经网络模型针对人体危险行为产生危险行为边框，所述危险行为处理模块存储的人体危险行为图像中包括危险行为边框。

在一些实施例中，所述深度神经网络模型包括YoloV4神经网络以及YoloV5神经网络。

在一些实施例中，所述危险行为警示模块包括警示单元以及显示单元，所述警示单元用于在接收到所述警示触发信号时对监控者进行危险行为警示，所述显示单元用于向所述监控者显示所述人体危险行为图像、危险行为类型、危险行为位置以及危险行为时间。

在一些实施例中，所述感兴趣区域包括楼顶边缘、高楼护栏、学校教室、监狱以及水域边缘，所述监控者为保安或警察，所述人体危险行为或危险行为类型包括跳楼行为、持刀行为、放火行为、跳水行为以及上吊行为，所述危险物品包括楼顶边缘、护栏、刀具、烟雾、火苗、水面、水花以及绳索。

在一些实施例中，所述视频采集模块包括对准感兴趣区域的多个摄像头以及设定模块，所述监控者通过所述设定模块为每个摄像头分别设置监测子区域，每个摄像头针对其相应的监测子区域进行图像采集。

与现有技术中针对高楼及水域边缘等危险区域上的人体危险行为并无有效的监测手段相比，本发明实施例的用于实时监测人体危险行为的方法首先使用视频采集模块实时采集感兴趣区域的图像；然后针对所采集的图像，使用完成训练的深度神经网络模型识别图像中是否具有包含人体及与之紧邻的危险物品的人体危险行为，若否则继续进行图像采集及识别，若是则分析获取危险行为类型，存储人体危险行为图像、危险行为类型、危险行为位置以及危险行为时间，并发送警示触发信号；最后在接收到所述警示触发信号时对监控者进行危险行为警示，并向所述监控者显示所述人体危险行为图像、危险行为类型、危险行为位置以及危险行为时间。本发明可低成本、简单、准确高效地监测人体危险行为，并可避免人体危险行为造成的损失。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种用于实时监测人体危险行为的系统的组成结构示意图；

图2为由图1中的人体危险行为图像140A的示例性示意图；以及

图3为本发明实施例提供的一种用于实时监测人体危险行为的方法的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

参见图1，其显示了本发明实施例中的一种用于实时监测人体危险行为的系统1的组成结构。所述人体危险行为包括跳楼行为、持刀行为、放火行为、跳水行为以及上吊行为等。所述人体危险行为也可由监控者根据具体情况进行设定及变更。如图1所示，用于实时监测人体危险行为的系统1包括视频采集模块10、危险行为检测模块12、危险行为处理模块14以及危险行为警示模块16。以下对用于实时监测人体危险行为的系统1的各构件进行详细说明。

视频采集模块10用于实时采集感兴趣区域的图像。所述视频采集模块10包括对准感兴趣区域的多个摄像头100以及设定模块102，所述监控者通过所述设定模块102为每个摄像头100分别设置监测子区域，每个摄像头100针对其相应的监测子区域进行图像采集。所述感兴趣区域包括楼顶边缘（如图2所示）、高楼护栏、学校教室、监狱以及水域边缘等，所述感兴趣区域可由监控者根据实际情况进行设定及变更，例如街道也可被列为感兴趣区域。

危险行为检测模块12用于针对视频采集模块10所采集的图像，使用其完成训练的深度神经网络模型120识别图像中是否具有包含人体及与之紧邻的危险物品的人体危险行为，若有则分析获取危险行为类型并发送危险行为触发信号，若否则继续进行图像采集及识别。通过大量的人体危险行为的图像来对深度神经网络模型120进行训练。危险行为类型包括跳楼行为、持刀行为、放火行为、跳水行为以及上吊行为等。所述危险物品包括楼顶边缘、护栏、刀具、烟雾、火苗、水面、水花以及绳索等，其中，楼顶边缘以及护栏与跳楼行为相对应，刀具与持刀行为相对应，烟雾以及火苗与放火行为相对应，水面以及水花与跳水行为相对应，绳索与上吊行为相对应。

所述危险行为检测模块12在使用其完成训练的深度神经网络模型120识别出图像中具有人体危险行为时，所述深度神经网络模型120会针对人体危险行为产生如图2所示的危险行为边框120A，危险行为边框120A将人体及紧邻的危险物品框于其中，深度神经网络模型120可为YoloV4神经网络或者YoloV5神经网络。

YOLOv5神经网络为2020年最先进的目标检测网络，速度更快，精度更高，其使用CSPDarknet53网络，能减小计算量并能提高检测速度。YOLOv5神经网络的Neck部分加入了FPN和PAN加强特征融合增强小目标检测效果，使用新的box损失函数加快模型收敛提高box精确度，同时在数据处理方面增加多种数据增强技术，包括Mosaic，Mixup等技术提高网络侦测精度，并设置了多种尺寸的模型，以根据不同算力灵活选择不同的模型。将感兴趣区域的图像输入YOLOv5神经网络，假如有人体危险行为出现在图像中就会输出危险行为边框120A的坐标，假如无人体危险行为出现则反馈为空，并且支持检测同时出现多个人体危险行为的情况。

危险行为处理模块14包括数据库140，危险行为处理模块14在接收到所述危险行为触发信号时将人体危险行为图像140A、危险行为类型140B、危险行为位置140C以及危险行为时间140D存储至数据库140，并向危险行为警示模块16发送警示触发信号，在存储时可以用二进制代码001、010、011、100、101来分别表示跳楼行为、持刀行为、放火行为、跳水行为以及上吊行为等危险行为类型。危险行为位置140C可为对应摄像头100的监测子区域，具体可通过摄像头的标识码进行确定，例如图2的图像为2号摄像头针对其对应的监控子区域采集的图像，通过确定2号摄像头对应的监控子区域就能确定危险行为位置。

图2为由图1中的危险行为处理模块14处理存储的人体危险行为图像的示意图，深度神经网络模型120识别出图2中的包含人体以及与之紧邻的楼顶边缘的跳楼行为。如图2所示，人体危险行为图像140A中包括危险行为边框120A，危险行为边框120A是由深度神经网络模型120对视频采集模块10采集的感兴趣区域（例如楼顶边缘）的图像进行危险行为识别而获得的，所述深度神经网络模型120示例性地为YoloV5神经网络，危险行为边框120A准确完整地将人体及顶楼边缘框在其内。深度神经网络模型120识别出图2中的包括楼顶边缘以及与之紧邻的人体的跳楼行为。

危险行为警示模块16用于在接收到警示触发信号时对监控者进行危险行为警示，并向所述监控者显示人体危险行为图像140A、危险行为类型140B、危险行为位置140C以及危险行为时间140D。所述监控者为保安或警察。

所述危险行为警示模块16包括警示单元160以及显示单元162，所述警示单元160用于在接收到所述警示触发信号时对监控者进行危险行为警示，所述显示单元162用于向所述监控者显示人体危险行为图像140A、危险行为位置140C以及危险行为时间140D，警示单元160可通过语音方式或语音混合灯光的方式进行警示。

图3为本发明实施例提供的一种用于实时监测人体危险行为的方法的流程示意图。参见图3，结合参见图1至图2，用于实时监测人体危险行为的方法30首先进行步骤S300，使用视频采集模块10实时采集感兴趣区域的图像。在步骤S300中，所述感兴趣区域包括楼顶边缘、高楼护栏、学校教室、监狱以及水域边缘等。如图1所示，所述视频采集模块10包括对准感兴趣区域的多个摄像头100，所述监控者可通过所述视频采集模块10的设定模块102为每个摄像头100分别设置监测子区域，每个摄像头100针对其相应的监测子区域进行图像采集。

用于实时监测人体危险行为的方法30接着继续步骤S310，针对所采集的图像，使用完成训练的深度神经网络模型120识别图像中是否具有包含人体及与之紧邻的危险物品的人体危险行为，若是则并继续步骤S320，若否则返回步骤S300。步骤S310中的使用完成训练的深度神经网络模型120识别出图像中具有人体危险行为时，针对人体危险行为产生如图2所示的危险行为边框120A，深度神经网络模型120包括YoloV4神经网络以及YoloV5神经网络。步骤S310中的所述人体危险行为包括跳楼行为、持刀行为、放火行为、跳水行为以及上吊行为等，所述危险物品包括楼顶边缘、护栏、刀具、烟雾、火苗、水面、水花以及绳索等。

在步骤S320中，使用所述深度神经网络模型120分析获取危险行为类型140B。步骤S320中的所述危险行为类型包括跳楼行为、持刀行为、放火行为、跳水行为以及上吊行为等。

用于实时监测人体危险行为的方法30接着继续步骤S330，将人体危险行为图像140A、危险行为类型140B、危险行为位置140C以及危险行为时间140D存储至数据库140，并发送警示触发信号。步骤S330中的人体危险行为图像140A中包括如图2所示的危险行为边框120A。步骤S330中，在数据库140中可以用二进制代码001、010、011、100、101来分别表示跳楼行为、持刀行为、放火行为、跳水行为以及上吊行为。

用于实时监测人体危险行为的方法30接着继续步骤S340，在接受到所述警示触发信号时对监控者进行危险行为警示，并向所述监控者显示人体危险行为图像140A、危险行为类型140B、危险行为位置140C以及危险行为时间140D。步骤S340中的所述监控者为保安或警察，危险行为警示可通过语音方式或语音混合灯光的方式进行警示。

本发明实施例的用于实时监测人体危险行为的方法首先使用视频采集模块实时采集感兴趣区域的图像；接着针对所采集的图像，使用完成训练的深度神经网络模型识别图像中是否具有包含人体及与之紧邻的危险物品的人体危险行为，若否则继续进行图像采集及识别，若有则分析获取危险行为类型，存储人体危险行为图像、危险行为类型、危险行为位置以及危险行为时间，并发送警示触发信号；最后在接收到所述警示触发信号时对监控者进行危险行为警示，并向所述监控者显示所述人体危险行为图像、危险行为类型、危险行为位置以及危险行为时间。

本发明可低成本、简单、准确高效地监测人体危险行为，并可避免人体危险行为造成的损失。

对于软件实现，可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的实施例中，应该理解到，方法实施例的步骤之间除非存在明确的先后顺序，否则执行顺序可任意调整。所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者 网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种用于实时监测人体危险行为的方法，包括：

步骤一、使用视频采集模块实时采集感兴趣区域的图像；

步骤二、针对所采集的图像，使用完成训练的深度神经网络模型识别图像中是否具有包含人体及与之紧邻的危险物品的人体危险行为，若是则分析获取危险行为类型并继续步骤三，若否则返回步骤一；

步骤三、存储人体危险行为图像、危险行为类型、危险行为位置以及危险行为时间，并发送警示触发信号；以及

步骤四、在接收到所述警示触发信号时对监控者进行危险行为警示，并向所述监控者显示所述人体危险行为图像、危险行为类型、危险行为位置以及危险行为时间。

2.根据权利要求1所述的用于实时监测人体危险行为的方法，其特征在于，步骤二中使用完成训练的深度神经网络模型识别出图像中具有包含人体及与之紧邻的危险物品的人体危险行为时，针对人体危险行为产生危险行为边框，步骤三中的人体危险行为图像中包括所述危险行为边框。

3.根据权利要求1或2所述的用于实时监测人体危险行为的方法，其特征在于，步骤二中的深度神经网络模型包括YoloV4神经网络以及YoloV5神经网络。

4.根据权利要求1所述的用于实时监测人体危险行为的方法，其特征在于，所述感兴趣区域包括楼顶边缘、高楼护栏、学校教室、监狱以及水域边缘，所述监控者为保安或警察，所述人体危险行为或危险行为类型包括跳楼行为、持刀行为、放火行为、跳水行为以及上吊行为，所述危险物品包括楼顶边缘、护栏、刀具、烟雾、火苗、水面、水花以及绳索。

5.根据权利要求4所述的用于实时监测人体危险行为的方法，其特征在于，所述视频采集模块包括对准感兴趣区域的多个摄像头以及设定模块，所述监控者通过所述设定模块为每个摄像头分别设置监测子区域，每个摄像头针对其相应的监测子区域进行图像采集。

6.一种用于实时监测人体危险行为的系统，包括：

视频采集模块，其用于实时采集感兴趣区域的图像；

危险行为检测模块，其用于针对所采集的图像，使用完成训练的深度神经网络模型识别图像中是否具有包含人体及与之紧邻的危险物品的人体危险行为，若有则分析获取危险行为类型并发送危险行为触发信号，若否则继续进行图像采集及识别；

危险行为处理模块，其用于在接收到所述危险行为触发信号时存储对应的人体危险行为图像、危险行为类型、危险行为位置以及危险行为时间，并发送警示触发信号；以及

危险行为警示模块，其用于在接收到所述警示触发信号时对监控者进行危险行为警示，并向所述监控者显示所述人体危险行为图像、危险行为类型、危险行为位置以及危险行为时间。

7.根据权利要求6所述的用于实时监测人体危险行为的系统，其特征在于，所述危险行为检测模块在使用完成训练的深度神经网络模型识别出图像中具有包含人体及与之紧邻的危险物品的人体危险行为时，所述深度神经网络模型针对人体危险行为产生危险行为边框，所述危险行为处理模块存储的人体危险行为图像中包括危险行为边框。

8.根据权利要求6所述的用于实时监测人体危险行为的系统，其特征在于，所述深度神经网络模型包括YoloV4神经网络以及YoloV5神经网络；所述危险行为警示模块包括警示单元以及显示单元，所述警示单元用于在接收到所述警示触发信号时对监控者进行危险行为警示，所述显示单元用于向所述监控者显示所述人体危险行为图像、危险行为类型、危险行为位置以及危险行为时间。

9.根据权利要求6所述的用于实时监测人体危险行为的系统，其特征在于，所述感兴趣区域包括楼顶边缘、高楼护栏、学校教室、监狱以及水域边缘，所述监控者为保安或警察，所述人体危险行为或危险行为类型包括跳楼行为、持刀行为、放火行为、跳水行为以及上吊行为，所述危险物品包括楼顶边缘、护栏、刀具、烟雾、火苗、水面、水花以及绳索。

10.根据权利要求6所述的用于实时监测人体危险行为的系统，其特征在于，所述视频采集模块包括对准感兴趣区域的多个摄像头以及设定模块，所述监控者通过所述设定模块为每个摄像头分别设置监测子区域，每个摄像头针对其相应的监测子区域进行图像采集。

Images