CN112257545A - 一种违规行为实时监控分析方法、装置及存储介质 - Google Patents
一种违规行为实时监控分析方法、装置及存储介质 Download PDFInfo
- Publication number
- CN112257545A CN112257545A CN202011116520.0A CN202011116520A CN112257545A CN 112257545 A CN112257545 A CN 112257545A CN 202011116520 A CN202011116520 A CN 202011116520A CN 112257545 A CN112257545 A CN 112257545A
- Authority
- CN
- China
- Prior art keywords
- data
- real
- training
- model
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 111
- 230000006399 behavior Effects 0.000 claims abstract description 54
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 230000002159 abnormal effect Effects 0.000 claims abstract description 11
- 238000012360 testing method Methods 0.000 claims description 44
- 238000012795 verification Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 12
- 238000010200 validation analysis Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 230000009471 action Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000000391 smoking effect Effects 0.000 description 6
- 230000015654 memory Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 241000282414 Homo sapiens Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明提供了一种违规行为实时监控分析方法，通过首先采集若干个公开行为视频数据及真实场景视频数据，作为训练数据集；对所述训练数据集进行预处理，获得预处理数据；对所述预处理数据进行离线训练，获得离线训练模型；采集真实场景的摄像头实时视频流数据；通过所述离线训练模型对所述实时视频数据进行行为识别，判断所述实时视频数据中是否包含违规行为；若所述实施视频数据中包含违规行为，则输出异常警告信号。利用本发明，可以对采集的视频数据智能化的实时分析，减少人工大屏监控所引起的漏报、误报。
Description
技术领域
本发明涉及视频的行为监测领域，特别是涉及一种违规行为实时监控分析方法、装置及存储介质。
背景技术
目前，可实时监控特定区域内的违规行为，例如用于军人的违规行为监控，严禁在战备、训练、演习任务时携带和使用公网移动电话，军人在公共场所和其他禁止吸烟的场所不得吸烟。在军营内部，执勤监督人员通过大屏实时监控违规行为，但是这种人工监控方法存在安全隐患，容易出现误报、漏报。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供了一种违规行为实时监控分析方法，可以对军营内的行为进行实时监测，及时发现违规行为，采取相应措施，减少人工大屏监控所引起的漏报、误报。
为实现上述目的及其他相关目的，本发明首先提供了一种违规行为实时监控分析方法，其包括以下步骤：
采集若干个公开行为视频数据及真实场景视频数据，作为训练数据集；
对所述训练数据集进行预处理，获得预处理数据；
对所述预处理数据进行离线训练，获得离线训练模型；
对所述获得的离线训练模型进行测试，记录测试结果；
采集真实场景的摄像头实时视频流数据；
通过所述离线训练模型对所述实时视频流数据进行行为识别，判断所述实时视频流数据中是否包含违规行为；若所述实时视频流数据中包含违规行为，则输出异常警告信号。
在本发明的一实施例中，对所述训练数据集进行预处理的步骤包括：对所述训练数据集进行筛选、视频转成图像帧数据、冗余数据删除、训练数据集扩充。
在本发明的一实施例中预处理数据的集合包括训练集、验证集和测试集，所述训练集的数据用于训练，所述验证集的数据用于验证，所述测试集的数据用于测试。
在本发明的一实施例中，所述离线训练模型包括深度残差网络ResNet50、时间位移模型TSM和非局部连接网络模型non-local。
在本发明的一实施例中，所述深度残差网络ResNet50包括4个block单元，所述第一个block单元、第二个block单元、第三个block单元、第四个block单元分别包含3个、4个、6个、3个卷积层。
在本发明的一实施例中，所述时间位移模型TSM应用于所述block单元中的所有的卷积层，所述非局部连接网络模型non-local应用于第二个block单元的第1、3卷积层以及第三个block单元的第1、3、5卷积层。
在本发明的一实施例中，利用构建好的所述离线训练模型在所述训练集和所述验证集上进行训练和验证，得到训练好的最优模型，然后利用所述训练好的最优模型在所述测试集上测试得到图像分类的结果，并记录所述分类结果的准确率。
在本发明的一实施例中，采集所述真实场景的摄像头实时视频流数据的方法包括：采用关键区域摄像头的实时视频流，将其转化成图片帧数据。
为实现上述目的及其他相关目的，本发还提供了一种违规行为实时监控分析装置，其包括：
数据控制单元，其包括数据采集器和数据处理器，所述数据采集器和所述数据处理器连接，所述数据采集器用于采集若干个公开行为视频数据及真实场景视频数据作为训练数据集；所述数据处理器用于对所述训练数据进行预处理，得到预处理数据；
模型调试单元，其与所述数据控制器连接，所述模型调试单元包括训练处理模块和测试处理模块；所述训练处理模块对所述预处理数据进行离线训练，获得离线训练模型；所述测试处理模块对所述获得的离线训练模型进行测试，记录测试结果；
实时行为监控分析单元，与所述模型调试单元连接，所述实时监控分析单元用于采集真实场景的摄像头实时视频流数据，通过经过训练的所述模型对所述实时视频流数据进行行为识别，判断所述实时视频流数据中是否包含违规行为，若所述实时视频流数据中包含违规行为，则输出异常警告信号。
为实现上述目的及其他相关目的，本发明还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被用于执行实现如上述实施例所述的违规行为实时监控分析方法。
如上所述，本发明实施例提供的违规行为实时监控分析方法将时间位移模型TSM和非局部连接网络non-local应用到深度残差网络ResNet50的卷积层中，可以提高模型进行图像分类的准确度，并且所述模型运行计算量小，计算复杂程度低，可以对军营内的行为进行实时监测，及时发现违规行为，采取相应措施，减少人工大屏监控所引起的漏报、误报。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种违规行为实时监控分析方法的流程图；
图2是本发明一实施例提供的一种违规行为实时监控分析装置的结构示意图；
图3是本发明一实施例提供的数据控制器的结构示意图；
图4是本发明一实施例提供的模型调试单元的结构示意图；
图5是本发明一实施例提供的一种计算机可读存储介质的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
举例说明，军队作为国家级重要的特殊场所，一方面其高敏感度区域性特点决定了其安全级别控制的强烈要求；另一方面军队内部本身也存在严格的纪律和管理需要。这使得建设高度智能化的监控系统成为了一种趋势。而智能视频监控在军队的应用，将促使军队安全管理真正实现由“人工防范”到“技术防范”的转变。机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。智能视频分析系统提高了监控的有效性和持续性，其更加快速的反应时间以及更加强大的数据检索和分析功能，使得监控能力得到极大的改善，从而更加有效地协助安全人员应对袭击和处理突发事件，帮助管理人员进行科学的、可量化的管理，并帮助工作人员轻松维护大型安防系统。
在一些实施例中，可通过TSM(Temporal Shift Module，时间位移模型)的视频时域信息融合方法，通过时间维度特征位移的方式，用以在不新增参数的情况下做到了不同帧间的特征融合。TSM使用时间位移来提高网络视频理解能力，将一部分的特征图通道在时间维度上向前位移一步，一部分的通道在时间维度上向后位移一步，位移后的空缺补零，通过这种方式在特征图中引入时间维度上的上下文交互。
在一些实施例中，可通过非局部连接网络(non-local Neural Networks)，来计算目标特征点的同时会结合周围特征点的信息，例如可以是时间维度，也可以是空间维度。通过定义输出位置和所有输入位置之间的关联函数，建立具有全局关联特性的操作，输出特征图上的每个位置，都会受到输入特征图上所有位置的数据的影响。
在一些实施例中，ResNet50是ResNet(Deep residual network，深度残差网络)系列网络中性能和资源消耗较为平衡的选择。
在不同实施例中，本发明提供了一种违规行为实时监控分析方法，首先采集若干个公开行为视频数据及真实场景视频数据，作为训练数据集；对所述训练数据集进行预处理，获得预处理数据；对所述预处理数据进行离线训练，获得离线训练模型；采集真实场景的摄像头实时视频流数据；通过所述离线训练模型对所述实时视频数据进行行为识别，判断所述实时视频数据中是否包含违规行为；若所述实施视频数据中包含违规行为，则输出异常警告信号。利用本发明，可以实时监测例如军营内的异常行为。
请参阅图1，本发明一实施例提供了一种违规行为实时监控分析方法，包括：
S101：采集若干个公开行为视频数据及真实场景视频数据，作为训练数据集。
需要说明的是，所述公开行为视频数据例如可以从互联网获取，例如可以获取HMDB51、HOLLYWOOD2等视频数据集。所述真实场景视频数据例如可以是军营内真实违规的视频片段，例如可以是打电话、抽烟等视频片段。提取所述公开行为视频数据及真实场景视频数据中打电话、抽烟的视频片段进行分类。
S102：对所述训练数据集进行预处理，获得预处理数据。
需要说明的是，所述预处理可以包括对所述训练数据集进行筛选、视频转成图像帧数据、冗余数据删除、训练数据集扩充等过程。例如，可以利用Python的opencv库处理视频数据，将视频数据转化成图像帧数据。例如，可以利用直方图相似法计算同一所述视频数据片段前后两图像帧数据framei-1和framei的相似度S,所述相似度S＝framei-framei-1，若相似度S小于数值X，例如X的范围可以是0.6-0.8，例如可以是0.7，则所述图像帧数据framei-1作为当前片段末尾，所述图像帧数据framei作为下一片段的起点。当一段完整的视频数据图像被划分为若干个子图像帧数据片段时，删除所述子图像帧数据片段中帧数小于7的片段，所述帧数小于7的片段被认为是噪声片段，保留的每个子图像帧数据片段sub_frames作为新增的训练数据集，所述训练集数据越丰富，有利于提高所述实时监控分析方法的准确率。将获得的预处理数据划分为训练集、验证集、测试集三部分，所述训练集、验证集、测试集的比例例如可以是8:1:1或者6:2:2等等，所述训练集的数据用于训练，所述验证集的数据用于验证，所述测试集的数据用于测试，所述训练集占的比例越大，训练的数据越多，可以提高所述实时监控分析方法的准确率。
S103：对所述预处理数据进行离线训练，获得离线训练模型。
需要说明的是，所述离线训练模型的基础架构可以是ResNet50模型，所述ResNet50模型可以由多个block单元构成，所述block单元是残差单元，所述ResNet50模型例如可以包括4个block单元，所述第一个block单元、第二个block单元、第三个block单元、第四个block单元分别可以包含例如3个、4个、6个、3个卷积层。所述卷积层是由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最佳化得到的，卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网路能从低级特征中迭代提取更复杂的特征。将所述TSM模型和所述non-local模型应用于所述ResNet50模型的卷积层，可以提高图像分类的精度，并且所述TSM模型和所述non-local模型应用的个数以及插入的位置不同产生的效果也将会不同。例如，在本发明的一实施例中，所述TSM模型可以应用于所述block单元中的所有的卷积层，所述non-local模型可以应用于第二个block单元的例如第1、3卷积层以及第三个block单元的例如第1、3、5卷积层，这样应用的目的是为了进一步提高所述离线训练模型的准确率。所述离线训练模型例如主要判别抽烟和打电话两类违规行为，则所述ResNet50模型的全连接分类层的输出参数例如可以设置为2。
请参阅图1，在本发明的一实施例中，利用构建好的模型结构在训练集和验证集上进行训练和验证，得到训练好的最优图像分类模型，然后利用训练好的最优图像分类模型在测试集上测试得到图像分类的结果，并记录分类结果的分类准确率，完成一次完整的训练、验证和测试，在一次完整的训练、验证和测试中要使用相同的模型参数。例如，利用构建好的ResNet50+TSM+Non-local模型训练所述训练集的数据，训练的次数例如可以是20-35次，例如可以是30次，每一次训练后利用验证集的数据进行验证并记录所述模型的预测准确度。所述训练集的数量例如是1000，所述验证集的数量例如是125，如果验证时例如有100个验证集的数据是正确的，则该模型的预测准确率例如是80％。如果当前训练模型的预测准确率大于上一次训练模型的预测准确率，则保存当前模型。为了对比不同模型的准确率，将构建好的ResNet50+TSM模型、ResNet50+Non-Local模型也利用相同的训练数据进行训练和验证，并记录预测准确率。
S104：对所述获得的离线训练模型进行测试，记录测试结果。
需要说明的是，利用所述测试集的数据对上述三种模型进行测试，例如，将所述测试集的数据输入所述离线训练模型中，所述离线训练模型输出判断结果，观察输出的判断结果是否与所述测试集的真实标签相符。例如，所述ResNet50+TSM+Non-Local模型、ResNet50+TSM模型、ResNet50+Non-Local模型的准确率分别为91.5％、90.0％、89.7％。
S105：采集真实场景的摄像头实时视频流数据。
需要说明的是，所述实时视频流数据可以通过摄像监控获取，例如，采用Pythonopencv库获取军营内关键区域摄像头的实时视频流，例如可以是RTSP视频流，将其转化成图片帧数据，例如可以将所述图片帧数据分成若干组，例如可以是8个图片帧为一组。
S106：通过所述离线训练模型对所述实时视频流数据进行行为识别，判断所述实时视频流数据中是否包含违规行为，若所述实时视频流数据中包含违规行为，则输出异常警告信号。
需要说明的是，选取最优的所述离线训练模型，将所述图片帧组数据输入所述最优的离线训练模型中进行识别分析，判断是否包含违规行为的图片帧数据。如果所述最优的离线训练模型识别出有打电话、抽烟的违规行为图片帧数据，则输出异常警告信号发送给值班人员，及时采取措施。
请参阅图2和图3，在一实施例中，本发明还提供一种违规行为实时监控分析装置，包括：数据控制单元1，其包括数据采集器11和数据处理器12，所述数据采集器11和所述数据处理器12连接，所述数据采集器11用于采集训练数据，所述训练数据包括网络上的公开行为视频数据集和军营中真实场景违规视频数据集，例如抽烟、打电话的视频片段。所述数据处理器12用于对所述训练数据进行预处理，得到预处理数据，所述预处理例如可以是数据筛选、视频转成图像帧、冗余数据删除、训练数据集扩充等操作。将获得的预处理数据可以划分为训练集、验证集、测试集三部分，所述训练集、验证集、测试集的比例例如可以是8:1:1或者6:2:2等等，所述训练集占的比例越大，训练的数据越多，可以提高所述实时监控分析装置的准确率。例如，所述数据控制单元1可以设置在CPU服务器中。
请参阅图2和图4，所述实时监控分析装置还包括模型调试单元2，所述模型调试单元2与所述数据控制单元1连接，所述模型调试单元2包括训练处理模块21和测试处理模块22。例如，所述模型调试单元2的功能可以由Python编程语言编写，GPU服务器运算，所述模型例如可以是ResNet50+TSM+Non-local模型，所述ResNet50模型可以由多个block单元构成，所述ResNet50模型例如可以包括4个block单元，例如，第一个block单元、第二个block单元、第三个block单元、第四个block单元分别可以包含3个、4个、6个、3个卷积层。例如，所述TSM模型可以应用于所述block单元中的所有的卷积层，所述non-local模型可以应用于第二个block单元的例如第1、3卷积层以及第三个block单元的例如第1、3、5卷积层，这样应用的目的是为了提高所述模型的准确率。所述模型例如主要判别抽烟和打电话两类违规行为，则所述ResNet50模型的全连接分类层的输出参数例如可以设置为2。所述训练处理模块21对所述预处理数据进行训练，所述测试处理模块22对训练过的所述模型进行测试，例如，利用构建好的模型结构在训练集和验证集上进行训练和验证，得到训练好的最优模型，然后利用训练好的最优模型在测试集上测试得到图像分类的结果，并记录分类结果的分类准确度，即完成一次完整的训练、验证和测试，在一次完整的训练、验证和测试中要使用相同的模型参数。
请参阅图2，所述实时监控分析装置还包括实时行为监控分析单元3，所述实时行为监控分析单元3与所述模型调试单元2连接，所述实时监控分析单元3用于采集真实场景的摄像头实时视频流数据，例如可以通过摄像头监控获取实时视频数据，通过经过训练的所述模型对所述实时视频流数据进行行为识别，判断所述实时视频流数据中是否包含违规行为，若所述实时视频流数据中包含违规行为，则输出异常警告信号。
请参阅图5，在一实施例中，本发明还提供一种计算机可读存储介质4，存储有计算机程序，该计算机程序被用于执行实现本发明实施例提供的任意一种违规行为实时监控分析方法的步骤。本发明实施例提供的计算机可读存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(RandomAccess Memory，随即存储器)、EPROM(Erasable Programmable Read-OnlyMemory，可擦写可编程只读存储器)、EEPROM(Electrically Erasable ProgrammableRead-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是说，可读存储介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。
综上所述，本发明提供的一种违规行为实时监控分析方法，通过首先采集若干个公开行为视频数据及真实场景视频数据，作为训练数据集；对所述训练数据集进行预处理，获得预处理数据；对所述预处理数据进行离线训练，获得离线训练模型；采集真实场景的实时视频数据；通过所述离线训练模型对所述实时视频数据进行行为识别，判断所述实时视频数据中是否包含违规行为；若所述实施视频数据中包含违规行为，则输出异常警告信号。本发明旨在对采集的视频数据智能化的实时分析，及时发现军营人员违规行为，减少人工大屏监控所引起的漏报、误报。
本文已经在总体上将系统和方法描述为有助于理解本发明的细节。此外，已经给出了各种具体细节以提供本发明实施例的总体理解。然而，相关领域的技术人员将会认识到，本发明的实施例可以在没有一个或多个具体细节的情况下进行实践，或者利用其它装置、系统、配件、方法、组件、材料、部分等进行实践。在其它情况下，并未特别示出或详细描述公知结构、材料和/或操作以避免对本发明实施例的各方面造成混淆。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (10)
1.一种违规行为实时监控分析方法，其特征在于，其包括以下步骤：
采集若干个公开行为视频数据及真实场景视频数据，作为训练数据集；
对所述训练数据集进行预处理，获得预处理数据；
对所述预处理数据进行离线训练，获得离线训练模型；
对所述获得的离线训练模型进行测试，记录测试结果；
采集真实场景的摄像头实时视频流数据；
通过所述离线训练模型对所述实时视频流数据进行行为识别，判断所述实时视频流数据中是否包含违规行为；若所述实时视频流数据中包含违规行为，则输出异常警告信号。
2.根据权利要求1所述的一种违规行为实时监控分析方法，其特征在于，对所述训练数据集进行预处理的步骤包括：
对所述训练数据集进行筛选、视频转成图像帧数据、冗余数据删除、训练数据集扩充。
3.根据权利要求1所述的一种违规行为实时监控分析方法，其特征在于，预处理数据的集合包括训练集、验证集和测试集，所述训练集的数据用于训练，所述验证集的数据用于验证，所述测试集的数据用于测试。
4.根据权利要求1所述的一种违规行为实时监控分析方法，其特征在于，所述离线训练模型包括深度残差网络ResNet50、时间位移模型TSM和非局部连接网络模型non-local。
5.根据权利要求4所述的一种违规行为实时监控分析方法，其特征在于，所述深度残差网络ResNet50包括4个block单元，所述第一个block单元、第二个block单元、第三个block单元、第四个block单元分别包含3个、4个、6个、3个卷积层。
6.根据权利要求5所述的一种违规行为实时监控分析方法，其特征在于，所述时间位移模型TSM应用于所述block单元中的所有的卷积层，所述非局部连接网络模型non-local应用于第二个block单元的第1、3卷积层以及第三个block单元的第1、3、5卷积层。
7.根据权利要求3所述的一种违规行为实时监控分析方法，其特征在于，利用构建好的所述离线训练模型在所述训练集和所述验证集上进行训练和验证，得到训练好的最优模型，然后利用所述训练好的最优模型在所述测试集上测试得到图像分类的结果，并记录所述分类结果的准确率。
8.根据权利要求1所述的一种违规行为实时监控分析方法，其特征在于，采集所述真实场景的摄像头实时视频流数据的方法包括：
采用关键区域摄像头的实时视频流，将其转化成图片帧数据。
9.一种违规行为实时监控分析装置，其特征在于，其包括：
数据控制单元，其包括数据采集器和数据处理器，所述数据采集器和所述数据处理器连接，所述数据采集器用于采集若干个公开行为视频数据及真实场景视频数据作为训练数据集；所述数据处理器用于对所述训练数据进行预处理，得到预处理数据；
模型调试单元，其与所述数据控制单元连接，所述模型调试单元包括训练处理模块和测试处理模块；所述训练处理模块对所述预处理数据进行离线训练，获得离线训练模型；所述测试处理模块对所述获得的离线训练模型进行测试，记录测试结果；
实时行为监控分析单元，与所述模型调试单元连接，所述实时监控分析单元用于采集真实场景的摄像头实时视频流数据，通过经过训练的所述模型对所述实时视频流数据进行行为识别，判断所述实时视频流数据中是否包含违规行为，若所述实时视频流数据中包含违规行为，则输出异常警告信号。
10.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器用于执行实现如权利要求1-8中任一项所述的违规行为实时监控分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011116520.0A CN112257545A (zh) | 2020-10-19 | 2020-10-19 | 一种违规行为实时监控分析方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011116520.0A CN112257545A (zh) | 2020-10-19 | 2020-10-19 | 一种违规行为实时监控分析方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112257545A true CN112257545A (zh) | 2021-01-22 |
Family
ID=74244616
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011116520.0A Pending CN112257545A (zh) | 2020-10-19 | 2020-10-19 | 一种违规行为实时监控分析方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112257545A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114310488A (zh) * | 2021-12-27 | 2022-04-12 | 深圳市玄羽科技有限公司 | 刀具断裂检测模型的生成方法、检测方法、设备及介质 |
| CN114913172A (zh) * | 2022-07-13 | 2022-08-16 | 广东电网有限责任公司佛山供电局 | 一种电缆中间头制作风险的识别方法、系统、设备和介质 |
| CN117877219A (zh) * | 2023-12-20 | 2024-04-12 | 山东方垠智能制造有限公司 | 一种违规行为警报方法、系统、存储介质及设备 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105469383A (zh) * | 2014-12-30 | 2016-04-06 | 北京大学深圳研究生院 | 基于多特征融合的无线胶囊内窥镜冗余图像筛除方法 |
| CN109034092A (zh) * | 2018-08-09 | 2018-12-18 | 燕山大学 | 用于监控系统的异常事件检测方法 |
| CN109711320A (zh) * | 2018-12-24 | 2019-05-03 | 兴唐通信科技有限公司 | 一种值班人员违规行为检测方法及系统 |
| CN110084151A (zh) * | 2019-04-10 | 2019-08-02 | 东南大学 | 基于非局部网络深度学习的视频异常行为判别方法 |
| CN110263728A (zh) * | 2019-06-24 | 2019-09-20 | 南京邮电大学 | 基于改进的伪三维残差神经网络的异常行为检测方法 |
| CN110457984A (zh) * | 2019-05-21 | 2019-11-15 | 电子科技大学 | 监控场景下基于ResNet-50的行人属性识别方法 |
| CN110516529A (zh) * | 2019-07-09 | 2019-11-29 | 杭州电子科技大学 | 一种基于深度学习图像处理的投喂检测方法和系统 |
| WO2019246008A1 (en) * | 2018-06-19 | 2019-12-26 | Honeywell International Inc. | Autonomous predictive real-time monitoring of faults in process and equipment |
| CN110717433A (zh) * | 2019-09-30 | 2020-01-21 | 华中科技大学 | 一种基于深度学习的交通违规分析方法及装置 |
| CN111062278A (zh) * | 2019-12-03 | 2020-04-24 | 西安工程大学 | 基于改进残差网络的异常行为识别方法 |
| CN111259785A (zh) * | 2020-01-14 | 2020-06-09 | 电子科技大学 | 基于时间偏移残差网络的唇语识别方法 |
| CN111325144A (zh) * | 2020-02-19 | 2020-06-23 | 上海眼控科技股份有限公司 | 行为检测方法、装置、计算机设备和计算机可读存储介质 |
| CN111369299A (zh) * | 2020-03-11 | 2020-07-03 | 腾讯科技（深圳）有限公司 | 识别的方法、装置、设备及计算机可读存储介质 |
| CN111523566A (zh) * | 2020-03-31 | 2020-08-11 | 易视腾科技股份有限公司 | 目标视频片段定位方法和装置 |
| CN111582073A (zh) * | 2020-04-23 | 2020-08-25 | 浙江大学 | 一种基于ResNet101特征金字塔的变电站违规行为识别方法 |
| CN111601162A (zh) * | 2020-06-08 | 2020-08-28 | 北京世纪好未来教育科技有限公司 | 视频切分方法、装置和计算机存储介质 |
-
2020
- 2020-10-19 CN CN202011116520.0A patent/CN112257545A/zh active Pending
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105469383A (zh) * | 2014-12-30 | 2016-04-06 | 北京大学深圳研究生院 | 基于多特征融合的无线胶囊内窥镜冗余图像筛除方法 |
| WO2019246008A1 (en) * | 2018-06-19 | 2019-12-26 | Honeywell International Inc. | Autonomous predictive real-time monitoring of faults in process and equipment |
| CN109034092A (zh) * | 2018-08-09 | 2018-12-18 | 燕山大学 | 用于监控系统的异常事件检测方法 |
| CN109711320A (zh) * | 2018-12-24 | 2019-05-03 | 兴唐通信科技有限公司 | 一种值班人员违规行为检测方法及系统 |
| CN110084151A (zh) * | 2019-04-10 | 2019-08-02 | 东南大学 | 基于非局部网络深度学习的视频异常行为判别方法 |
| CN110457984A (zh) * | 2019-05-21 | 2019-11-15 | 电子科技大学 | 监控场景下基于ResNet-50的行人属性识别方法 |
| CN110263728A (zh) * | 2019-06-24 | 2019-09-20 | 南京邮电大学 | 基于改进的伪三维残差神经网络的异常行为检测方法 |
| CN110516529A (zh) * | 2019-07-09 | 2019-11-29 | 杭州电子科技大学 | 一种基于深度学习图像处理的投喂检测方法和系统 |
| CN110717433A (zh) * | 2019-09-30 | 2020-01-21 | 华中科技大学 | 一种基于深度学习的交通违规分析方法及装置 |
| CN111062278A (zh) * | 2019-12-03 | 2020-04-24 | 西安工程大学 | 基于改进残差网络的异常行为识别方法 |
| CN111259785A (zh) * | 2020-01-14 | 2020-06-09 | 电子科技大学 | 基于时间偏移残差网络的唇语识别方法 |
| CN111325144A (zh) * | 2020-02-19 | 2020-06-23 | 上海眼控科技股份有限公司 | 行为检测方法、装置、计算机设备和计算机可读存储介质 |
| CN111369299A (zh) * | 2020-03-11 | 2020-07-03 | 腾讯科技（深圳）有限公司 | 识别的方法、装置、设备及计算机可读存储介质 |
| CN111523566A (zh) * | 2020-03-31 | 2020-08-11 | 易视腾科技股份有限公司 | 目标视频片段定位方法和装置 |
| CN111582073A (zh) * | 2020-04-23 | 2020-08-25 | 浙江大学 | 一种基于ResNet101特征金字塔的变电站违规行为识别方法 |
| CN111601162A (zh) * | 2020-06-08 | 2020-08-28 | 北京世纪好未来教育科技有限公司 | 视频切分方法、装置和计算机存储介质 |
Non-Patent Citations (6)
| Title |
|---|
| JI LIN等: "TSM: Temporal Shift Module for Efficient Video Understanding" * |
| JI LIN等: "TSM: Temporal Shift Module for Efficient Video Understanding", 《2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
| XIAOLONG WANG等: "Non-local Neural Networks" * |
| XIAOLONG WANG等: "Non-local Neural Networks", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| 余博思: "基于低秩逼近的视频序列中的异常事件检测", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 杨珂等: "LSCN:一种用于动作识别的长短时序关注网络", 《电子学报》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114310488A (zh) * | 2021-12-27 | 2022-04-12 | 深圳市玄羽科技有限公司 | 刀具断裂检测模型的生成方法、检测方法、设备及介质 |
| CN114310488B (zh) * | 2021-12-27 | 2023-10-27 | 深圳市玄羽科技有限公司 | 刀具断裂检测模型的生成方法、检测方法、设备及介质 |
| CN114913172A (zh) * | 2022-07-13 | 2022-08-16 | 广东电网有限责任公司佛山供电局 | 一种电缆中间头制作风险的识别方法、系统、设备和介质 |
| CN114913172B (zh) * | 2022-07-13 | 2022-12-30 | 广东电网有限责任公司佛山供电局 | 一种电缆中间头制作风险的识别方法、系统、设备和介质 |
| CN117877219A (zh) * | 2023-12-20 | 2024-04-12 | 山东方垠智能制造有限公司 | 一种违规行为警报方法、系统、存储介质及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Generalized video anomaly event detection: Systematic taxonomy and comparison of deep models | |
| CN111741356B (zh) | 双录视频的质检方法、装置、设备及可读存储介质 | |
| CN112257545A (zh) | 一种违规行为实时监控分析方法、装置及存储介质 | |
| CN111369299B (zh) | 识别的方法、装置、设备及计算机可读存储介质 | |
| KR102217253B1 (ko) | 행동패턴 분석 장치 및 방법 | |
| CN112434178B (zh) | 图像分类方法、装置、电子设备和存储介质 | |
| US11037604B2 (en) | Method for video investigation | |
| CN112507860A (zh) | 一种视频标注方法、装置、设备及存储介质 | |
| CN110008102B (zh) | 一种基于智能视频应用的服务器性能测试方法和系统 | |
| CN114758271A (zh) | 视频处理方法、装置、计算机设备及存储介质 | |
| CN111353399A (zh) | 篡改视频检测方法 | |
| CN112380922B (zh) | 复盘视频帧确定方法、装置、计算机设备和存储介质 | |
| Kumar et al. | Crime activities prediction system in video surveillance by an optimized deep learning framework | |
| CN112686186A (zh) | 一种基于深度学习的高空抛物识别方法及其相关组件 | |
| CN116189063B (zh) | 一种用于智能视频监控的关键帧优化方法及装置 | |
| CN110490079A (zh) | 巡检数据处理方法、装置、计算机设备和存储介质 | |
| CN112272277B (zh) | 核电试验中的语音添加方法、装置和计算机设备 | |
| CN114241401B (zh) | 异常判定方法、装置、设备、介质及产品 | |
| CN115909144A (zh) | 一种基于对抗学习的监控视频异常检测方法及系统 | |
| CN116248346A (zh) | 面向智慧城市的cps网络安全态势感知建立方法和系统 | |
| CN114882229A (zh) | 一种目标检测图片生成方法、装置、设备及介质 | |
| CN111145558B (zh) | 一种基于高点视频监控的违法行为识别方法 | |
| CN118135377B (zh) | 一种模型部署方法、端侧设备及存储介质 | |
| CN112380393B (zh) | 持票试验方法、装置、计算机设备和存储介质 | |
| CN117829973B (zh) | 银行网点的风险控制方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Xu Guo Inventor after: Jiang Hancheng Inventor after: Xu Lei Inventor after: Zhang Xinxuan Inventor after: Wu Feng Inventor after: Yu Xiaohu Inventor after: Li Yangyang Inventor after: Xu Bin Inventor after: Xiong Zhongyuan Inventor after: Su Dan Inventor after: Zhu Zhenyu Inventor before: Xu Guo Inventor before: Li Yangyang Inventor before: Jiang Hancheng Inventor before: Xu Bin Inventor before: Su Dan Inventor before: Zhang Xinxuan Inventor before: Xiong Zhongyuan Inventor before: Zhu Zhenyu Inventor before: Xu Lei Inventor before: Yu Xiaohu |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210122 |