CN114724246A - 危险行为识别方法及装置 - Google Patents
危险行为识别方法及装置 Download PDFInfo
- Publication number
- CN114724246A CN114724246A CN202210375655.1A CN202210375655A CN114724246A CN 114724246 A CN114724246 A CN 114724246A CN 202210375655 A CN202210375655 A CN 202210375655A CN 114724246 A CN114724246 A CN 114724246A
- Authority
- CN
- China
- Prior art keywords
- real
- dangerous behavior
- time image
- dangerous
- behavior recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000012549 training Methods 0.000 claims abstract description 20
- 230000006399 behavior Effects 0.000 claims description 148
- 238000004590 computer program Methods 0.000 claims description 25
- 230000007246 mechanism Effects 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 11
- 231100001261 hazardous Toxicity 0.000 claims description 5
- 238000001514 detection method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种危险行为识别方法及装置，其中，该方法包括：获取目标区域的实时图像；将所述实时图像输入危险行为识别模型，输出所述实时图像的危险行为识别结果；其中，所述危险行为识别模型，是基于yolov5算法，根据车辆样本和人物样本，以及所述车辆样本和人物样本对应的标签进行训练后得到的。本发明公开的危险行为识别方法及装置，通过获取目标区域的实时图像，将实时图像输入基于yolov5算法的危险行为识别模型，输出实时图像的危险行为识别结果，能进行更高效、及时、准确的危险行为识别。
Description
技术领域
本发明是关于计算机领域，特别是关于一种危险行为识别方法及装置。
背景技术
目前，对于战场等特定区域的危险行为，一般是通过人工进行目视识别。因而，存在效率低、发现不及时、发现距离有限和准确性差等不足。
发明内容
本发明的目的在于提供一种危险行为识别方法及装置，其能够进行更高效、及时、准确的危险行为识别。
为实现上述目的，本发明提供了一种危险行为识别方法，包括：
获取目标区域的实时图像；
将所述实时图像输入危险行为识别模型，输出所述实时图像的危险行为识别结果；
其中，所述危险行为识别模型，是基于yolov5算法，根据车辆样本和人物样本，以及所述车辆样本和人物样本对应的标签进行训练后得到的。
在本发明的一实施方式中，所述将所述实时图像输入危险行为识别模型，输出所述实时图像的危险行为识别结果之后，还包括：
在所述危险行为识别结果为目标行为的情况下，向执行机构发送所述目标行为对应的指令，以使得所述执行机构执行所述目标行为对应的操作。
在本发明的一实施方式中，所述获取目标区域的实时图像，与所述将所述实时图像输入危险行为识别模型，输出所述实时图像的危险行为识别结果之间，还包括：
对所述实时图像进行预处理。
在本发明的一实施方式中，一种危险行为识别装置，包括：
图像采集模块，用于获取目标区域的实时图像；
目标识别模块，用于将所述实时图像输入危险行为识别模型，输出所述实时图像的危险行为识别结果；
其中，所述危险行为识别模型，是基于yolov5算法，根据车辆样本和人物样本，以及所述车辆样本和人物样本对应的标签进行训练后得到的。
在本发明的一实施方式中，危险行为识别装置还包括：
指令发送模块，用于在所述危险行为识别结果为目标行为的情况下，向执行机构发送所述目标行为对应的指令，以使得所述执行机构执行所述目标行为对应的操作。
在本发明的一实施方式中，危险行为识别装置还包括：
图像预处理模块，用于对所述实时图像进行预处理。
在本发明的一实施方式中，一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于智能合约的危险行为识别方法的步骤。
在本发明的一实施方式中，一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于智能合约的危险行为识别方法的步骤。
在本发明的一实施方式中，一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于智能合约的危险行为识别方法的步骤。
与现有技术相比，根据本发明的危险行为识别方法及装置，通过获取目标区域的实时图像，将实时图像输入基于yolov5算法的危险行为识别模型，输出实时图像的危险行为识别结果，能进行更高效、及时、准确的危险行为识别。
附图说明
图1是根据本发明一实施方式的危险行为识别方法的流程示意图之一；
图2是根据本发明一实施方式的危险行为识别方法的流程示意图之二；
图3是根据本发明一实施方式的危险行为识别装置的结构示意图；
图4是根据本发明一实施方式的电子设备的结构示意图。
具体实施方式
下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。
如图1至图4所示，根据本发明优选实施方式的危险行为识别方法及装置可以通过以下方式实施。
图1是根据本发明一实施方式的危险行为识别方法的流程示意图之一。
如图1所示，该方法可以包括以下步骤：
步骤101、获取目标区域的实时图像；
步骤102、将实时图像输入危险行为识别模型，输出实时图像的危险行为识别结果；其中，危险行为识别模型，是基于yolov5算法，根据车辆样本和人物样本，以及车辆样本和人物样本对应的标签进行训练后得到的。
具体地，本发明实施例提供的危险行为识别方法，是一种基于yolov5(You OnlyLook Once v5)算法的危险行为识别方法。该危险行为识别方法，可以用于战场和特定场所(例如重点安全保护单位)等的危险行为识别。
该方法是一种基于深度学习技术的方法，具有结构灵活、特征自动提取、检测精度高和检测速度快等优点，在军事对抗中，可以更灵活地应对突发情况，提高打击能力。
在一个实施例中，可以采用无人机搭载摄像机的方式，实时获取图像数据，采集目标区域的实时图像。
在一个实施例中，无人机可以设有三光吊舱，无人机巡航警戒，该吊舱实时获取图像数据，获取到的图像实时传输到后台指挥系统。后台指挥系统(可以简称为“后台”)，可以执行步骤102。
在一个实施例中，无人机可以接入自组网设备，保障远距离数据传输，通过自组网方式将目标区域的实时图像传输到后台。后台可以将实时图像输入到危险行为识别模型进行预测，得到危险行为识别结果。
在一个实施例中，在存在危险行为的情况下，危险行为识别结果可以是在实时图像中标记了危险行为发生区域的特征图。
危险行为，可以是预先确定的多个会对目标区域造成危害的行为。
在一个实施例中，本发明实施例提供的危险行为识别方法的执行主体可以为目标识别系统(可以又称为危险行为识别装置)。目标识别系统包括图像采集、目标识别、训练系统三部分。本发明实施例的实施主要需要开发目标识别系统的目标识别和训练系统两部分。目标识别部分能够接收图像采集部分传输的图像数据，与无人机搭载的摄像机的位姿数据同步，对图像数据进行目标检测和定位，将结果按照接口协议输出。训练系统部分可以为目标识别部分提供机器学习算法使用的危险行为识别模型，在运营维护过程中，通过将大量的样本输入训练系统，不断进行机器学习，提高识别率。
该目标识别系统通过识别算法设计、海量车辆和人物样本的训练，可根据无人机载摄像头传回的实施图像对无人机俯视角度拍摄的车辆和人等目标进行自动检测识别。可选地，后期可以继续丰富训练样本和识别算法模型，拓展对其他特定化目标的识别。
使用无人机载摄像头收集目标区域的图像信息，再运用后台装载的计算机对成像目标区域自动地进行目标检测和识别，以实现快速、及时、高效地检测出危险行为。无人平台结合良好的计算机视觉技术对采集到的图像信息进行分析，可以达到对目标的快速检测与识别的效果。
目标检测识别的算法，可以主要使用YOLO目标检测算法。YOLO目标检测算，通过减少卷积层数与维度，并结合特征金字塔思想，可以增加检测尺度，从而达到提高检测精度的目的。结合基于深度学习的图像目标检测算法的通用处理框架，可以解决无法直接处理大量图像的问题。
YOLO算法具有较高的识别准确率与识别速度，其是一种快速紧凑的开源对象检测模型，YOLO家族一直有着旺盛的生命力，从YOLO V1一直到“V5”，如今已经延续五代，凭借着不断的创新和完善，一直被计算机视觉工程师作为对象检测的首选框架之一。YOLOv5算法相对前几代YOLO算法性能更好，框架更轻便，在小物体识别上也有很大的提升。
YOLO v5算法是在YOLO v3算法基础上进行改进得到的算法。YOLO v5跟其他YOLO模型一样都是由三个主要组件组成其网络结构，分别是Backbone、Neck和Prediction。其中，Backbone用于在不同图像细粒度上聚合并形成图像特征的卷积神经网络；Neck用于一系列混合和组合图像特征的网络层，并将图像特征传递到预测层。(一般是FPN或者PANET)；Prediction用于对图像特征进行预测，生成边界框和并预测类别。在这三个组件中用到了最重要的模块CBL、Focus、CSP、SPP以及PANet。
CBL模块结构如图所示，其为一个1x1的卷积结构，而CSP结构是由CBL结构和残差结构共同组成。
YOLO v5默认3x640x640的输入，Focus层的作用是将其复制四份，然后通过切片操作将这个四个图片切成了四个3x320x320的切片，接下来使用concat从深度上连接这四个切片，输出为12x320x320，之后再通过卷积核数为32的卷积层，生成32x320x320的输出，最后经过batch_norm和leaky_relu将结果输入到下一个卷积层。
SPP是空间金字塔层(Spatial pooling layer),输入是512x20x20，经过1x1的卷积层后输出256x20x20，然后经过并列的三个不同kernel_size的Maxpool进行下采样(5,9,13),注意，所有的max_pool的padding都是same的，所以可以将将其结果拼接后与其初始特征相加，输出1024x20x20，最后用512的卷积核将其恢复到512x20x20。
Neck网络部分则采用的PANet网络结构，PAN结构来自论文Path AggregationNetwork，其本意是用于实例分割任务中的(Instance Segmentation)。
该网络的特征提取器采用了一种新的增强自下向上(Bottom Up)路径的FPN结构，改善了低层特征的传播(a部分)。第三条通路的每个阶段都将前一阶段的特征映射作为输入，并用3x3卷积层处理它们。输出通过横向连接被添加到自上而下通路的同一阶段特征图中，这些特征图为下一阶段提供信息(b部分)。同时使用自适应特征池化(Adaptivefeature pooling)恢复每个候选区域和所有特征层次之间被破坏的信息路径，聚合每个特征层次上的每个候选区域，避免被任意分配(c部分)。
YOLO V5借鉴了YOLO V4的修改版PANET结构:PANET通常使用自适应特征池将相邻层加在一起，以进行掩模预测。但是，当在YOLO v4中使用PANET时，此方法略麻烦，因此，YOLO v4的作者没有使用自适应特征池添加相邻层，而是对其进行Concat操作，从而提高了预测的准确性。
本发明实施例通过获取目标区域的实时图像，将实时图像输入基于yolov5算法的危险行为识别模型，输出实时图像的危险行为识别结果，能进行更高效、及时、准确的危险行为识别。
在一个实施例中，将实时图像输入危险行为识别模型，输出实时图像的危险行为识别结果之后，还包括：在危险行为识别结果为目标行为的情况下，向执行机构发送目标行为对应的指令，以使得执行机构执行目标行为对应的操作。
具体地，后台接收到图像后，检测到危险行为后，可以发出指定动作或打击行为。
发出指定动作或打击行为，可以通过向执行机构发送目标行为对应的指令实现。执行机构响应于该指令，可以执行目标行为对应的操作，进行对该目标行为的处理。
目标行为可以为一种或多种预设的危险行为。
示例性地，目标行为对应的处理方式可以如表1所示。
表1目标行为对应的处理方式列表
在一个实施例中，获取目标区域的实时图像，与将实时图像输入危险行为识别模型，输出实时图像的危险行为识别结果之间，还包括：对实时图像进行预处理。
具体地，基于深度学习的目标检测算法无法直接处理大量图像，需要将图像裁剪后进行检测，图给出了处理框架。
在训练阶段，首先将图像裁剪为一定大小的图像小块，大幅图像标签也随之变化；然后将裁剪后的图像小块与标签送入设计好的深度学习网络中进行训练；在训练时，将正确标签信息与预测标签信息的差值作为误差，迭代优化网络参数，最后保存训练好的网络模型(即危险行为识别模型)。
在检测阶段，同样先将测试图像裁剪为小块图像；之后将小块图像送入在训练阶段训练好的网络模型中，经过NMS后处理算法消除重复定位窗口，得到小块图像的检测结果；最后将结果整合，得到原始图像的检测结果。
图2是根据本发明一实施方式的危险行为识别方法的流程示意图之二。
如图2所示，该方法可以包括以下步骤：
步骤201、无人机正常升空。
步骤202、开始图像采集。
无人机搭载的摄像机可以开始进行实时的图像采集。
步骤203、获取目标图像。
该摄像机采集的目标区域的图像可以作为目标图像。
步骤204、图像预处理。
可以对目标图像进行裁剪为预设尺寸等预处理操作。
步骤205、目标识别。
将危险行为作为目标，识别预处理后的图像中是否存在危险行为。
步骤206、是否满足要求。
若满足，则结束；若不满足，则可以返回执行步骤203。该要求可以根据实际需求预先设定，本发明实施例对此不进行具体限定。
下面对本发明提供的危险行为识别装置进行描述，下文描述的危险行为识别装置与上文描述的危险行为识别方法可相互对应参照。
图3是本发明提供的危险行为识别装置的结构示意图。基于上述任一实施例的内容，如图3所示，该装置包括图像采集模块301和目标识别模块302，其中：
图像采集模块301，用于获取目标区域的实时图像；
目标识别模块302，用于将实时图像输入危险行为识别模型，输出实时图像的危险行为识别结果；
其中，危险行为识别模型，是基于yolov5算法，根据车辆样本和人物样本，以及车辆样本和人物样本对应的标签进行训练后得到的。
具体地，图像采集模块301和目标识别模块302电连接。
在一个实施例中，该危险行为识别装置可以还包括：
指令发送模块，用于在危险行为识别结果为目标行为的情况下，向执行机构发送目标行为对应的指令，以使得执行机构执行目标行为对应的操作。
在一个实施例中，该危险行为识别装置可以还包括：
图像预处理模块，用于对实时图像进行预处理。
本发明实施例提供的危险行为识别装置，用于执行本发明上述危险行为识别方法，其实施方式与本发明提供的危险行为识别方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
该危险行为识别装置用于前述各实施例的危险行为识别方法。因此，在前述各实施例中的危险行为识别方法中的描述和定义，可以用于本发明实施例中各执行模块的理解。
本发明实施例通过获取目标区域的实时图像，将实时图像输入基于yolov5算法的危险行为识别模型，输出实时图像的危险行为识别结果，能进行更高效、及时、准确的危险行为识别。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行危险行为识别方法，该方法包括：获取目标区域的实时图像；将所述实时图像输入危险行为识别模型，输出所述实时图像的危险行为识别结果；其中，所述危险行为识别模型，是基于yolov5算法，根据车辆样本和人物样本，以及所述车辆样本和人物样本对应的标签进行训练后得到的。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供的电子设备中的处理器410可以调用存储器430中的逻辑指令，其实施方式与本申请提供的危险行为识别方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的危险行为识别方法，该方法包括：获取目标区域的实时图像；将所述实时图像输入危险行为识别模型，输出所述实时图像的危险行为识别结果；其中，所述危险行为识别模型，是基于yolov5算法，根据车辆样本和人物样本，以及所述车辆样本和人物样本对应的标签进行训练后得到的。
本申请实施例提供的计算机程序产品被执行时，实现上述危险行为识别方法，其具体的实施方式与前述方法的实施例中记载的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的危险行为识别方法，该方法包括：获取目标区域的实时图像；将所述实时图像输入危险行为识别模型，输出所述实时图像的危险行为识别结果；其中，所述危险行为识别模型，是基于yolov5算法，根据车辆样本和人物样本，以及所述车辆样本和人物样本对应的标签进行训练后得到的。
本申请实施例提供的非暂态计算机可读存储介质上存储的计算机程序被执行时，实现上述危险行为识别方法，其具体的实施方式与前述方法的实施例中记载的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。
Claims (9)
1.一种危险行为识别方法，其特征在于，包括：
获取目标区域的实时图像；
将所述实时图像输入危险行为识别模型，输出所述实时图像的危险行为识别结果；
其中，所述危险行为识别模型，是基于yolov5算法，根据车辆样本和人物样本，以及所述车辆样本和人物样本对应的标签进行训练后得到的。
2.根据权利要求1所述的危险行为识别方法，其特征在于，所述将所述实时图像输入危险行为识别模型，输出所述实时图像的危险行为识别结果之后，还包括：
在所述危险行为识别结果为目标行为的情况下，向执行机构发送所述目标行为对应的指令，以使得所述执行机构执行所述目标行为对应的操作。
3.根据权利要求1或2所述的危险行为识别方法，其特征在于，所述获取目标区域的实时图像，与所述将所述实时图像输入危险行为识别模型，输出所述实时图像的危险行为识别结果之间，还包括：
对所述实时图像进行预处理。
4.一种危险行为识别装置，其特征在于，包括：
图像采集模块，用于获取目标区域的实时图像；
目标识别模块，用于将所述实时图像输入危险行为识别模型，输出所述实时图像的危险行为识别结果；
其中，所述危险行为识别模型，是基于yolov5算法，根据车辆样本和人物样本，以及所述车辆样本和人物样本对应的标签进行训练后得到的。
5.根据权利要求4所述的危险行为识别装置，其特征在于，还包括：
指令发送模块，用于在所述危险行为识别结果为目标行为的情况下，向执行机构发送所述目标行为对应的指令，以使得所述执行机构执行所述目标行为对应的操作。
6.根据权利要求4或5所述的危险行为识别装置，其特征在于，还包括：
图像预处理模块，用于对所述实时图像进行预处理。
7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至3任一项所述危险行为识别方法的步骤。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述危险行为识别方法的步骤。
9.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述危险行为识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210375655.1A CN114724246B (zh) | 2022-04-11 | 2022-04-11 | 危险行为识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210375655.1A CN114724246B (zh) | 2022-04-11 | 2022-04-11 | 危险行为识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114724246A true CN114724246A (zh) | 2022-07-08 |
| CN114724246B CN114724246B (zh) | 2024-01-30 |
Family
ID=82244182
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210375655.1A Active CN114724246B (zh) | 2022-04-11 | 2022-04-11 | 危险行为识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114724246B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115272701A (zh) * | 2022-08-11 | 2022-11-01 | 电子科技大学 | 基于自适应特征提取与解耦预测头的船舶目标检测方法 |
| CN115527045A (zh) * | 2022-09-21 | 2022-12-27 | 北京拙河科技有限公司 | 一种用于雪场危险识别的图像辨别方法及装置 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101311947A (zh) * | 2008-06-12 | 2008-11-26 | 浙江大学 | 基于自然视频的实时智能监控方法 |
| US20180268222A1 (en) * | 2017-03-17 | 2018-09-20 | Nec Laboratories America, Inc. | Action recognition system for action recognition in unlabeled videos with domain adversarial learning and knowledge distillation |
| CN110969130A (zh) * | 2019-12-03 | 2020-04-07 | 厦门瑞为信息技术有限公司 | 一种基于yolov3司机危险动作识别方法及系统 |
| CN112487972A (zh) * | 2020-11-30 | 2021-03-12 | 福州外语外贸学院 | 金融行业办公场所防暴预警方法、装置及存储介质 |
| CN112818768A (zh) * | 2021-01-19 | 2021-05-18 | 南京邮电大学 | 一种基于元学习的变电站改扩建违章行为智能化识别方法 |
| CN112966589A (zh) * | 2021-03-03 | 2021-06-15 | 中润油联天下网络科技有限公司 | 一种在危险区域的行为识别方法 |
| CN113505709A (zh) * | 2021-07-15 | 2021-10-15 | 开放智能机器（上海）有限公司 | 一种用于实时监测人体危险行为的方法以及系统 |
| CN113642474A (zh) * | 2021-08-17 | 2021-11-12 | 四川航天电液控制有限公司 | 一种基于yolov5的危险区域人员监控方法 |
| CN113657211A (zh) * | 2021-07-30 | 2021-11-16 | 浙江大华技术股份有限公司 | 一种异常行为的预警方法、装置、系统和存储介质 |
| WO2022001091A1 (zh) * | 2020-06-29 | 2022-01-06 | 北京百度网讯科技有限公司 | 一种危险驾驶行为识别方法、装置、电子设备及存储介质 |
| CN113901871A (zh) * | 2021-09-07 | 2022-01-07 | 武汉未来幻影科技有限公司 | 一种驾驶员危险动作识别方法、装置以及设备 |
| CN114155601A (zh) * | 2021-12-02 | 2022-03-08 | 山东中科先进技术研究院有限公司 | 一种基于视觉的作业人员危险行为检测方法及系统 |
-
2022
- 2022-04-11 CN CN202210375655.1A patent/CN114724246B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101311947A (zh) * | 2008-06-12 | 2008-11-26 | 浙江大学 | 基于自然视频的实时智能监控方法 |
| US20180268222A1 (en) * | 2017-03-17 | 2018-09-20 | Nec Laboratories America, Inc. | Action recognition system for action recognition in unlabeled videos with domain adversarial learning and knowledge distillation |
| CN110969130A (zh) * | 2019-12-03 | 2020-04-07 | 厦门瑞为信息技术有限公司 | 一种基于yolov3司机危险动作识别方法及系统 |
| WO2022001091A1 (zh) * | 2020-06-29 | 2022-01-06 | 北京百度网讯科技有限公司 | 一种危险驾驶行为识别方法、装置、电子设备及存储介质 |
| CN112487972A (zh) * | 2020-11-30 | 2021-03-12 | 福州外语外贸学院 | 金融行业办公场所防暴预警方法、装置及存储介质 |
| CN112818768A (zh) * | 2021-01-19 | 2021-05-18 | 南京邮电大学 | 一种基于元学习的变电站改扩建违章行为智能化识别方法 |
| CN112966589A (zh) * | 2021-03-03 | 2021-06-15 | 中润油联天下网络科技有限公司 | 一种在危险区域的行为识别方法 |
| CN113505709A (zh) * | 2021-07-15 | 2021-10-15 | 开放智能机器（上海）有限公司 | 一种用于实时监测人体危险行为的方法以及系统 |
| CN113657211A (zh) * | 2021-07-30 | 2021-11-16 | 浙江大华技术股份有限公司 | 一种异常行为的预警方法、装置、系统和存储介质 |
| CN113642474A (zh) * | 2021-08-17 | 2021-11-12 | 四川航天电液控制有限公司 | 一种基于yolov5的危险区域人员监控方法 |
| CN113901871A (zh) * | 2021-09-07 | 2022-01-07 | 武汉未来幻影科技有限公司 | 一种驾驶员危险动作识别方法、装置以及设备 |
| CN114155601A (zh) * | 2021-12-02 | 2022-03-08 | 山东中科先进技术研究院有限公司 | 一种基于视觉的作业人员危险行为检测方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 孟柯;吴超仲;陈志军;吕能超;邓超;刘钢;: "人车碰撞风险识别及智能车辆控制系统", 交通信息与安全, no. 06, pages 22 - 29 * |
| 张继奎等: "基于罪犯危险行为预测的视频报警机制的研究", 《中国新通信》, pages 108 - 109 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115272701A (zh) * | 2022-08-11 | 2022-11-01 | 电子科技大学 | 基于自适应特征提取与解耦预测头的船舶目标检测方法 |
| CN115272701B (zh) * | 2022-08-11 | 2023-08-22 | 电子科技大学 | 基于自适应特征提取与解耦预测头的船舶目标检测方法 |
| CN115527045A (zh) * | 2022-09-21 | 2022-12-27 | 北京拙河科技有限公司 | 一种用于雪场危险识别的图像辨别方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114724246B (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112001902A (zh) | 缺陷检测方法和相关装置、设备、存储介质 | |
| CN111814902A (zh) | 目标检测模型训练方法、目标识别方法、装置和介质 | |
| CN108806334A (zh) | 一种基于图像的智能船舶身份识别方法 | |
| EP3690745B1 (en) | Learning method and learning device for providing functional safety by warning driver about potential dangerous situation by using explainable ai which verifies detection processes of autonomous driving network, and testing method and testing device using the same | |
| CN112036400B (zh) | 构建用于目标检测的网络的方法和目标检测方法及系统 | |
| CN110033481A (zh) | 用于进行图像处理的方法和设备 | |
| CN109389105B (zh) | 一种基于多任务的虹膜检测和视角分类方法 | |
| CN109815823B (zh) | 数据处理方法及相关产品 | |
| CN110059579B (zh) | 用于活体检验的方法和装置，电子设备和存储介质 | |
| CN114724246B (zh) | 危险行为识别方法及装置 | |
| CN110991385A (zh) | 一种识别船只行驶轨迹的方法、装置及电子设备 | |
| CN114926747A (zh) | 一种基于多特征聚合与交互的遥感图像定向目标检测方法 | |
| CN111709404B (zh) | 一种机房遗留物识别方法、系统以及设备 | |
| CN113569981A (zh) | 一种基于单阶段目标检测网络的电力巡检鸟窝检测方法 | |
| CN109167998A (zh) | 检测相机状态的方法及装置、电子设备、存储介质 | |
| CN115100614A (zh) | 车辆感知系统的评估方法、装置、车辆及存储介质 | |
| CN111310751A (zh) | 车牌识别方法、装置、电子设备和存储介质 | |
| CN111127327B (zh) | 一种图片倾斜检测方法及装置 | |
| CN111144361A (zh) | 一种基于二值化cgan网络的公路车道检测方法 | |
| CN112084815A (zh) | 一种基于摄像机焦距变换的目标检测方法、存储介质及处理器 | |
| CN113642353B (zh) | 一种人脸检测模型的训练方法、存储介质及终端设备 | |
| CN115311680A (zh) | 人体图像质量检测方法、装置、电子设备及存储介质 | |
| CN112927231B (zh) | 车身污垢检测模型的训练方法、车身污垢检测方法及装置 | |
| Alfinnur Charisma | Modified YOLOv5-based License Plate Detection: an Efficient Approach for Automatic Vehicle Identification | |
| CN114743264B (zh) | 拍摄行为检测方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |