CN113657211A - 一种异常行为的预警方法、装置、系统和存储介质 - Google Patents
一种异常行为的预警方法、装置、系统和存储介质 Download PDFInfo
- Publication number
- CN113657211A CN113657211A CN202110874427.4A CN202110874427A CN113657211A CN 113657211 A CN113657211 A CN 113657211A CN 202110874427 A CN202110874427 A CN 202110874427A CN 113657211 A CN113657211 A CN 113657211A
- Authority
- CN
- China
- Prior art keywords
- abnormal
- early warning
- image
- abnormal behavior
- clustering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010000117 Abnormal behaviour Diseases 0.000 title claims abstract description 96
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012544 monitoring process Methods 0.000 claims abstract description 79
- 230000002159 abnormal effect Effects 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000010586 diagram Methods 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 24
- 238000001514 detection method Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 10
- 238000012795 verification Methods 0.000 claims description 8
- 230000015654 memory Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 5
- 238000003064 k means clustering Methods 0.000 claims description 3
- 239000000523 sample Substances 0.000 description 27
- 206010039203 Road traffic accident Diseases 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 241000283070 Equus zebra Species 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 208000031427 Foetal heart rate deceleration Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005200 bud stage Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种异常行为的预警方法、装置、系统和存储介质，该方法包括：对监控视频数据进行处理，得到第一监控图像；对第一监控图像进行异常行为检测，得到第一危险热点图，第一危险热点图包括第一监控图像中每个像素位置的异常行为类型以及相应的危险概率值；对第一危险热点图进行处理，得到存在异常行为的异常区域；基于异常区域产生预警信息。通过上述方式，本申请能够提升预警的有效性。
Description
技术领域
本申请涉及人工智能技术领域，具体涉及一种异常行为的预警方法、装置、系统和存储介质。
背景技术
随着车辆的不断增加，交通事故发生率也不断增加，许多交通事故的发生是由于道路或天气等因素，导致机动车的驾驶员对于行人/非机动车的位置及运动状况的不了解、反应不及时，从而发生碰撞，因此如何及时、有效地提醒驾驶员当前场景中存在异常行为成为亟需解决的问题。
发明内容
本申请提供一种异常行为的预警方法、装置、系统和存储介质，能够提升预警的有效性。
为解决上述技术问题，本申请采用的技术方案是：提供一种异常行为的预警方法，该方法包括：对监控视频数据进行处理，得到第一监控图像；对第一监控图像进行异常行为检测，得到第一危险热点图，第一危险热点图包括第一监控图像中每个像素位置的异常行为类型以及相应的危险概率值；对第一危险热点图进行处理，得到存在异常行为的异常区域；基于异常区域产生预警信息。
为解决上述技术问题，本申请采用的另一技术方案是：提供一种预警装置，该预警装置包括互相连接的存储器和处理器，其中，存储器用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的异常行为的预警方法。
为解决上述技术问题，本申请采用的另一技术方案是：提供一种监控预警系统，该监控预警系统包括预警装置、扬声器以及显示装置，预警装置与扬声器以及显示装置连接，用于向扬声器以及显示装置发送通知信息，其中，预警装置为上述技术方案中的预警装置。
为解决上述技术问题，本申请采用的另一技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的异常行为的预警方法。
通过上述方案，本申请的有益效果是：先对获取到的监控视频数据进行处理，得到包括至少一张第一监控图像；再对第一监控图像进行异常行为检测，得到第一危险热点图，该第一危险热点图包括第一监控图像中每个像素位置的异常行为类型以及与异常行为类型对应的危险概率值；然后对第一危险热点图进行处理，得到存在异常行为的异常区域，并生成与异常区域相关的预警信息，可以监控在指定路段上任意一处是否出现异常行为，全面对潜在的异常行为进行评估；而且基于第一危险热点图对异常行为进行检测，可以更有效地检测出潜在的异常行为，提升对异常行为预警的准确率，降低发生交通事故的几率，有助于提升道路的安全性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的异常行为的预警方法一实施例的流程示意图；
图2是本申请提供的摄像机、显示装置以及扬声器的安装示意图；
图3是本申请提供的异常行为的预警方法另一实施例的流程示意图；
图4是本申请提供的预警装置一实施例的结构示意图；
图5是本申请提供的监控预警系统一实施例的结构示意图；
图6是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在机动车的行驶过程中常出现“鬼探头”，“鬼探头”是一种由于行人或非机动车从驾驶员的视线盲区突然出现而驾驶员反应不及所导致的一种交通事故，其在所有事故种类中占了较大的比重，因而急需要一种预警方案来提前告知发生碰撞的可能性，提醒驾驶员及早减速或停车，从而减少、甚至避免发生此种类型的事故。
为了减少“鬼探头”的发生，相关技术中有些方案依据车辆与行人之间的距离关系来判定是否发生碰撞，但是存在以下弊端：(1)需要在行人的手机以及车辆上分别安装预警装置，较繁琐，不利于普及，且涉及到对远程服务器的维护，增加交通管理负担；(2)对行人或驾驶非机动车的人来说，在进行“鬼探头”的行为时，手机短信的提示可能会由于周围噪声的覆盖或本身手机置为静音，而完全丧失预警的功能；(3)对于机动车的驾驶员来说，当预警系统判断距离时，行人和车辆的距离已经在不断缩小，等完成判断再给驾驶员发送预警信息，驾驶员在短时间内已经很难迅速作出减速等反应，从而可能撞上行人或非机动车，这种延时实际上大大降低了预警的有效性；(4)仅通过距离这一参数作为是否进行预警的依据，无法全面地对潜在的异常行为进行评估，不适用于多目标的环境，且误报率较高；(5)应用场景局限于斑马线，这与“鬼探头”的发生地点随机不符合，无法真正有效预防“鬼探头”现象。
鉴于相关技术中存在的以上问题，本申请提出了一种对行人、非机动车的异常行为进行预警的方案，能够及时、有效地检测出当前监控场景下潜在的“鬼探头”行为，同时可以对指定的全路段中所有类型的“鬼探头”进行监测，并可以采用有效的方式及时提醒行人和驾驶员，从而大幅度降低“鬼探头”引起的交通事故。
请参阅图1，图1是本申请提供的异常行为的预警方法一实施例的流程示意图，该方法包括：
步骤11：对监控视频数据进行处理，得到第一监控图像。
通过安装于某个特定路段或者全部路段上方的监控摄像机，来获取当前监控路段的实时视频流；考虑到“鬼探头”现象的偶发性，可对当前监控路段进行实时视频流采集，即从实时视频流中采样出监控视频数据；然后对采样得到的监控视频数据进行预处理(比如：缩放、去噪、裁剪或几何变换等)，以获取第一监控图像。
步骤12：对第一监控图像进行异常行为检测，得到第一危险热点图。
在获取到第一监控图像后，可将第一监控图像中的第一监控图像输入预先训练好的异常行为检测网络中进行识别，以使得该异常行为检测网络对第一监控图像进行处理，生成第一危险热点图，该第一危险热点图包括第一监控图像中每个像素位置的异常行为类型以及异常行为类型对应的危险概率值，危险概率值为发生异常行为的概率。
进一步地，异常行为检测网络可以为YOLO(You Only Look Once)网络、长短期记忆网络(Long Short-Term Memory，LSTM)或卷积神经网络(Convolutional NeuralNetworks，CNN)等具有目标检测功能的网络，第一危险热点图的尺寸与监控图像的尺寸相同，异常行为可以为“鬼探头”，“鬼探头”包括5种异常行为类型：(1)行人或非机动车从机动车的车头突然跑出；(2)行人或非机动车闯红灯；(3)行人或非机动车突然从路口冲出；(4)翻越护栏；(5)小孩子突然冲向马路。例如，以第一监控图像的大小为M1×N1为例，第一危险热点图的大小为M1×N1，第一危险热点图中每个位置的值为第一监控图像中相应位置发生异常行为的类型以及该类型对应的危险概率值，比如，位置[a,b]对应的异常行为类型为第一种异常行为类型，且危险概率值为P1，1≤a≤M1，1≤b≤N1。
步骤13：对第一危险热点图进行处理，得到存在异常行为的异常区域。
异常行为检测网络的输出为当前监控场景下危险因子的热点图，可以对该第一危险热点图做进一步的后处理，以便提取出当前监控场景中最可能出现异常行为的区域(即异常区域)；具体地，可以对第一危险热点图进行聚类，得到的聚类中心即为高风险的异常区域，根据计算出的聚类中心计算出异常区域的坐标，并可截取异常区域对应的图像；或者直接获取第一危险热点图中危险概率值最大的位置，将以该位置为中心的区域作为异常区域，该异常区域的大小可以预先设置，该异常区域的形状可以为矩形、圆形等规则形状，或者还可根据具体应用场景将异常区域的形状设置为不规则形状。
步骤14：基于异常区域产生预警信息。
在获取到异常区域后，可生成预警信息，该预警信息包括警示信息、异常行为类型或异常区域的视频数据，可发送第一通知信息至扬声器，以使得扬声器播放预先设置的警示信息，该警示信息可以为鸣笛声、蜂鸣声或预先设置的人声语音警告声，但并不仅限于与此，可根据具体应用需要调整警示信息的内容或声音大小等；或者发送第二通知信息至显示装置，以使得显示装置显示异常行为类型、警示语或播放异常区域的视频，从而提醒机动车的驾驶员当前发生异常行为，需减速或停车，同时起到提醒行人或非机动车的驾驶员的效果。
在一具体的实施例中，如图2所示，在道路两边每间隔N米(例如：100米)安装一个设备安置杆21，摄像机22安装在设备安置杆21的横臂(图中未示出)上，摄像机22可根据需要和条件安装一个或多个；显示装置23被安装于同一根设备安置杆21上，扬声器24可根据条件安装或不安装在同一根设备安置杆21上。
为了保证全场景监测，控制摄像机22的安装高度以及两个设备安置杆21之间的间隔，使摄像机22的监控视野可覆盖道路一侧N米内的道路情况；并且为了避免车辆的遮挡影响监测，可在道路另一侧设置设备安置杆21的点位，以扩大视野范围，点位可与对侧点位正对或者错位(如图2所示)。由于仅能在摄像机22的监控视野内的路段对行人或非机动车的异常行为进行监控，因此若要实现全路段监控“鬼探头”行为，可在所有路段上每隔N米的位置加设点位。
当判断出当前监控场景中出现异常行为时，采用扬声器24广播警示信息以警告行人退回，并提示过往车辆注意避让；而且，还可在显示装置23上输出警示语，并实时播放存在“鬼探头”的路段的视频流。例如，如图2所示，行人25出现在机动车26a的前侧，此时扬声器24可播放“行人请退回”或“车辆避让”等语音信息，以提醒行人25以及机动车26a-26b，防止出现交通事故；显示装置23显示的警示语包含“鬼探头”的类型为第一种异常行为类型，即“行人或非机动车从机动车的车头突然跑出”。
本实施例提供了一种对行人/非机动车的异常行为进行预警的方法，能够在全路段对“鬼探头”进行预警覆盖，即可以监控在指定路段上任意一处的“鬼探头”行为，可以全面对潜在的异常行为进行评估，降低发生危险的几率；而且基于危险热点图对异常行为进行检测，可以更有效地检测出潜在的异常行为，提升对异常行为预警的准确率，有助于提升预警的有效性；此外，将语音提醒以及画面提醒相结合，使用更直接、更有效的提示方式对行人和驾驶员进行预警，提升了预警的有效性，降低驾驶员或行人无法接收到预警信息的几率，进一步提升道路的安全性。
请参阅图3，图3是本申请提供的异常行为的预警方法另一实施例的流程示意图，该方法包括：
步骤31：对监控视频数据进行处理，得到第一监控图像。
确定监控视频数据中的第二监控图像，第二监控图像可以通过对监控视频数据进行间隔采样得到，或者第二监控图像为监控视频数据中的每一帧图像，或者先对监控视频数据进行检测，将存在机动车辆与行人/非机动车辆的图像作为第二监控图像；先对第二监控图像进行缩放，得到缩放图像；再对缩放图像进行剪裁，得到采样图像；然后对采样图像进行去均值和归一化处理，得到第一监控图像。可以理解地，采用现有的手段来实现去均值和归一化，在此不再赘述。
进一步地，可判断缩放图像的尺寸是否大于预设尺寸；若缩放图像的尺寸大于预设尺寸，则沿着缩放图像的宽度方向和/或长度方向对缩放图像进行裁剪，以使得采样图像的尺寸等于预设尺寸。
在一具体的实施例中，对采样得到的第二监控图像进行等比例缩放，得到图像尺寸为m*k的缩放图像，m为预设的正整数，m≤k，m和k均为像素点的个数；对缩放图像进行裁剪，获取缩放图像的中心区域的m*m个像素，作为采样图像；对采样图像进行去均值和归一化处理，得到最终的第一监控图像，用于输入异常行为检测网络。
在其他实施例中，还可对第二监控图像进行非等比例的缩放，以生成采样图像；然后对采样图像进行去均值和归一化处理，得到第一监控图像。
步骤32：获取数据集，采用训练集对异常行为检测网络进行训练，并采用验证集进行验证，直至满足预设训练终止条件，得到训练完的异常行为检测网络。
数据集包括训练集与验证集，训练集与验证集包括多张训练测试图像以及训练测试图像对应的标签热点图，标签热点图为基于高斯分布为每个位置设置异常行为类型对应的危险概率值生成的图。
进一步地，先准备一个存在异常行为的数据集，该数据集包含了各种异常行为类型和危险场景的训练测试图像，可以人工选出每张训练测试图像中的异常区域，将该异常区域的中心点作为高斯分布的中心点，按照高斯分布为该训练测试图像的每个设置相应的危险概率值，得到标签热点图。然后用该训练集训练异常行为检测网络，最终选择在验证集上性能表现最优的网络参数作为异常行为检测网络的网络参数。
可以理解地，可采用常用的损失函数，来计算训练测试图像与该训练测试图像对应的标签热点图之间的损失值(记作当前损失值)；预设训练停止条件可以包括：损失值收敛，即上一损失值与当前损失值的差值小于设定值；判定当前损失值是否小于预设损失值，该预设损失值为预先设置的损失阈值；训练次数达到设定值(例如：训练10000次)；或者使用验证集进行测试时获得的准确率大于设定的准确率等。
步骤33：对第一监控图像进行异常行为检测，得到第一危险热点图。
将第一监控图像输入到异常行为检测网络中，异常行为检测网络通过计算，输出一个和输入图像的尺寸相同的危险热点图(即第一危险热点图)，第一危险热点图中每个位置的值表示该位置的异常行为类型对应的危险概率值。
步骤34：对第一危险热点图进行聚类处理，得到聚类结果。
采用K均值(K-Means)聚类法对第一危险热点图进行聚类处理，得到聚类结果，该聚类结果包括至少一个聚类簇，聚类簇的聚类中心包括中心位置以及中心位置对应的危险概率值；具体地，聚类簇包括至少一个样本，每个样本对应的数据包括位置(即横坐标与纵坐标)以及相应的危险概率值，中心位置包括中心横坐标与中心纵坐标，中心横坐标为对该聚类簇中所有样本的横坐标进行平均得到的值，中心纵坐标为对该聚类簇中所有样本的纵坐标进行平均得到的值，中心位置对应的危险概率值为对该聚类簇中所有样本的危险概率值进行平均得到的值。
在一具体的实施例中，假设第一危险热点图的宽为ow、高为oh，以左上角为坐标原点，坐标(mi,ni)处的值为si，si表示异常行为检测网络输出的危险概率值，则第一危险热点图可被表示为大小为n(n＝ow×oh)的3维数据的集合，如下所示：
其中，
为第一危险热点图中第i个样本对应的数据。
对于上述定义的第一危险热点图，使用K均值聚类法对其进行分割；具体地，对于给定的第一危险热点图，按照第一危险热点图中各个样本之间的距离的大小，将样本集划分为K个聚类簇，假设聚类簇划分为C＝(C1,C2,…,CK)，C＝(m,n,s)T，通过最小化平方误差来获取这K个聚类簇：
其中，E为平方误差，μi是聚类簇Ci的均值向量，μi＝[μim,μin,μis]，μi的计算公式如下所示：
可以理解地，除了采用K均值聚类法之外，还可采用其他聚类方法，比如：层次聚类或基于密度的聚类方法等。
步骤35：对聚类结果进行筛选处理，得到筛选结果。
判断聚类簇的聚类中心的危险概率值是否大于预设危险阈值；若该聚类中心的危险概率值大于预设危险阈值，则将聚类簇放入筛选结果中；若该聚类中心的危险概率值小于/等于预设危险阈值，则不做处理。
在一具体的实施例中，在获取到最优的K个聚类中心C＝(C1,C2,…,CK)后，将所输出的K个聚类中心代入如下公式：
其中，
为预设危险阈值，s为聚类中心的危险概率值，δ(Ci)为第i个聚类簇的聚类中心的危险概率值是否大于预设危险阈值的判断结果。
通过上述处理，最终可以得到存在高风险的Q个异常区域的聚类中心C＝(C1,C2,…,CQ)。
步骤36：基于筛选结果，确定异常区域。
异常区域包括多个子区域，基于中心位置，构建子区域(即异常行为发生的区域)，子区域为以中心位置为中心的区域；具体地，子区域为矩形区域，将中心位置为中心、尺寸为设定尺寸的区域作为子区域；例如，假设子区域记作D＝(D1,D2,…,DQ)，每个子区域的宽为wd，每个子区域的高为hd，则子区域的定义如下：
其中，Dj为第j个子区域，(mj,nj)为第j个子区域的中心位置。
步骤37：发送第一通知信息至扬声器，控制扬声器播放警示信息；发送第二通知信息至显示装置，控制显示装置播放视频数据以及显示异常行为类型。
预警信息包括警示信息、异常行为类型以及异常区域的视频数据，可生成第一通知信息与第二通知信息，发送第一通知信息至扬声器，以使得扬声器播放警示信息；同时发送第二通知信息至显示装置，以使得显示装置播放视频数据、显示异常行为类型或显示警示语。
本实施例所提供的预警方案具备以下优势：
(1)全路段“鬼探头”预警覆盖，可以监控在指定路段上任意一处的“鬼探头”行为。
相关技术中的“鬼探头”预警系统局限于“斑马线”等特定交通区域，与“鬼探头”行为的地点随机性不符合，且大多需要在行人的手机上以及车辆上分别安装预警装置，较繁琐，不利于普及，还涉及到对远程服务器的维护，增加交通管理负担。而在本实施例所提供的方案中，将摄像机与扬声器以及显示装置组合成一套监控预警系统，并间隔的在道路两侧安装，可以实现指定路段的全路段监控预警，且仅需在指定路段安装即可，更有利于普及和维护。
(2)使用更直接、更有效的提示方式对行人和驾驶员进行预警。
相关技术大多通过手机等多媒体终端向行人或驾驶员发送预警信息，这种方式的延时性和终端提醒的方式使得预警信息不能第一时间被行人或驾驶员获得，大大降低了预警信息接收的有效性。而在本实施例所提供的方案中，采用扬声器广播语音警告，并使用显示装置显示预警信息、实时播放异常区域的视频，使得全路段上的车辆以及行人都可以第一时间获取预警信息，极大提升了预警的有效性以及降低事故发生的可能性。
(3)基于全图分析对异常行为进行检测，可以更有效地检测出潜在的异常区域。
相关技术通常仅依靠雷达计算出的距离和速度进行预警，不适合多目标的复杂环境，且误报率较高；对于机动车的驾驶员来说，当预警系统判断距离时，行人和车辆的距离已经在不断缩小，等完成判断再给驾驶员发送预警信息，驾驶员在短时间内已经很难迅速作出减速等反应，从而导致容易撞上行人或非机动车，这种延时实际上大大降低了预警的有效性。而在本实施例所提供的方案中，通过将实时的视频帧图像输入异常行为检测网络，综合全图信息，对当前监控场景中潜在的危险状况的危险概率值进行预测，通过对输出的危险热点图进行聚类，可以对多个区域中潜在的异常危险现象进行预警和显示，提升道路的安全性，对于“鬼探头”现象的预警具有更高的效率。
请参阅图4，图4是本申请提供的预警装置一实施例的结构示意图，预警装置40包括互相连接的存储器41和处理器42，存储器41用于存储计算机程序，计算机程序在被处理器42执行时，用于实现上述实施例中的异常行为的预警方法。
请参阅图5，图5是本申请提供的监控预警系统一实施例的结构示意图，监控预警系统50包括预警装置51、扬声器52以及显示装置53，预警装置51与扬声器52以及显示装置53连接，其用于向扬声器52以及显示装置53发送通知信息，其中，预警装置51为上述实施例中的预警装置。
本实施例所提供的方案可以应用于人工智能中的视频监控领域，特别是“鬼探头”的车辆预警领域；将摄像机与显示装置组合成一套监控预警系统，并间隔的在道路两侧安装点位，可以实现指定路段的全路段监控预警；而且，采用扬声器广播语音警告，并用显示装置显示预警信息以及实时播放异常区域的视频，使得全路段上的车辆与行人都可以第一时间获取预警信息，极大提升了预警的有效性以及降低事故发生的可能性；此外，将实时的视频帧图像输入异常行为检测网络，综合全图信息，对当前监控场景中潜在的危险概率值进行预测，通过对输出的危险热点图进行聚类，可以对多个区域中潜在的异常危险现象进行预警和显示，达到将危险扼杀在萌芽阶段的效果，对于“鬼探头”现象的预警具有更高的效率。
请参阅图6，图6是本申请提供的计算机可读存储介质一实施例的结构示意图，计算机可读存储介质60用于存储计算机程序61，计算机程序61在被处理器执行时，用于实现上述实施例中的异常行为的预警方法。
计算机可读存储介质60可以是服务端、U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (12)
1.一种异常行为的预警方法，其特征在于，包括：
对监控视频数据进行处理，得到第一监控图像；
对所述第一监控图像进行异常行为检测，得到第一危险热点图，所述第一危险热点图包括所述第一监控图像中每个像素位置的异常行为类型以及相应的危险概率值；
对所述第一危险热点图进行处理，得到存在异常行为的异常区域；
基于所述异常区域产生预警信息。
2.根据权利要求1所述的异常行为的预警方法，其特征在于，所述对所述第一危险热点图进行处理，得到存在异常行为的异常区域的步骤，包括：
对所述第一危险热点图进行聚类处理，得到聚类结果；
对所述聚类结果进行筛选处理，得到筛选结果；
基于所述筛选结果，确定所述异常区域。
3.根据权利要求2所述的异常行为的预警方法，其特征在于，所述第一危险热点图的尺寸与所述监控图像的尺寸相同，所述对所述第一危险热点图进行聚类处理，得到聚类结果的步骤，包括：
采用K均值聚类法对所述第一危险热点图进行聚类处理，得到所述聚类结果；
其中，所述聚类结果包括至少一个聚类簇，所述聚类簇的聚类中心包括中心位置以及所述中心位置对应的危险概率值。
4.根据权利要求3所述的异常行为的预警方法，其特征在于，所述异常区域包括多个子区域，所述基于所述筛选结果，确定所述异常区域的步骤，包括：
基于所述中心位置，构建所述子区域；
其中，所述子区域为以所述中心位置为中心的区域。
5.根据权利要求3所述的异常行为的预警方法，其特征在于，所述对所述聚类结果进行筛选处理，得到筛选结果的步骤，包括：
判断所述聚类簇的聚类中心的危险概率值是否大于预设危险阈值；
若是，则将所述聚类簇放入所述筛选结果中。
6.根据权利要求1所述的异常行为的预警方法，其特征在于，所述预警信息包括警示信息、所述异常行为类型以及所述异常区域的视频数据，所述基于所述异常区域产生预警信息的步骤，包括：
发送第一通知信息至扬声器，控制所述扬声器播放警示信息；
发送第二通知信息至显示装置，控制所述显示装置播放所述视频数据以及显示所述异常行为类型。
7.根据权利要求1所述的异常行为的预警方法，其特征在于，所述对所述第一监控图像进行异常行为检测的步骤之前，还包括：
获取数据集，所述数据集包括训练集与验证集；
采用所述训练集对所述异常行为检测网络进行训练，并采用所述验证集进行验证，直至满足预设训练终止条件，得到训练完的异常行为检测网络；
其中，所述训练集与所述验证集包括多张训练测试图像以及所述训练测试图像对应的标签热点图，所述标签热点图为基于高斯分布为每个位置设置异常行为类型对应的危险概率值生成的图。
8.根据权利要求1所述的异常行为的预警方法，其特征在于，所述对监控视频数据进行处理，得到第一监控图像的步骤，包括：
确定所述监控视频数据中的第二监控图像；
对所述第二监控图像进行缩放，得到缩放图像；
对所述缩放图像进行剪裁，得到采样图像；
对所述采样图像进行去均值和归一化处理，得到所述第一监控图像。
9.根据权利要求8所述的异常行为的预警方法，其特征在于，所述对所述缩放图像进行剪裁，得到采样图像的步骤，包括：
判断所述缩放图像的尺寸是否大于预设尺寸；
若是，则沿着所述缩放图像的宽度方向和/或长度方向对所述缩放图像进行裁剪，以使得所述采样图像的尺寸等于所述预设尺寸。
10.一种预警装置，其特征在于，包括互相连接的存储器和处理器，其中，所述存储器用于存储计算机程序，所述计算机程序在被所述处理器执行时，用于实现权利要求1-9中任一项所述的异常行为的预警方法。
11.一种监控预警系统，其特征在于，包括预警装置、扬声器以及显示装置，所述预警装置与所述扬声器以及所述显示装置连接，用于向所述扬声器以及所述显示装置发送通知信息，其中，所述预警装置为权利要求10所述的预警装置。
12.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序在被处理器执行时，用于实现权利要求1-9中任一项所述的异常行为的预警方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110874427.4A CN113657211A (zh) | 2021-07-30 | 2021-07-30 | 一种异常行为的预警方法、装置、系统和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110874427.4A CN113657211A (zh) | 2021-07-30 | 2021-07-30 | 一种异常行为的预警方法、装置、系统和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113657211A true CN113657211A (zh) | 2021-11-16 |
Family
ID=78478183
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110874427.4A Pending CN113657211A (zh) | 2021-07-30 | 2021-07-30 | 一种异常行为的预警方法、装置、系统和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113657211A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114495275A (zh) * | 2022-01-26 | 2022-05-13 | 城云科技（中国）有限公司 | 异常行为预警方法、装置及应用 |
| CN114648879A (zh) * | 2022-05-18 | 2022-06-21 | 浙江大华技术股份有限公司 | 基于危险品的异常区域监测方法、装置及存储介质 |
| CN114724246A (zh) * | 2022-04-11 | 2022-07-08 | 中国人民解放军东部战区总医院 | 危险行为识别方法及装置 |
| CN114912719A (zh) * | 2022-07-15 | 2022-08-16 | 北京航空航天大学 | 一种基于图神经网络的异质交通个体轨迹协同预测方法 |
| CN116110006A (zh) * | 2023-04-13 | 2023-05-12 | 武汉商学院 | 一种用于智慧旅游系统的景区游客异常行为识别方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180322366A1 (en) * | 2017-05-02 | 2018-11-08 | General Electric Company | Neural network training image generation system |
| CN109040673A (zh) * | 2018-07-19 | 2018-12-18 | 中国科学院深圳先进技术研究院 | 视频图像处理方法、装置及具有存储功能的装置 |
| CN111753612A (zh) * | 2019-09-11 | 2020-10-09 | 上海高德威智能交通系统有限公司 | 一种抛洒物检测方法、装置及存储介质 |
| WO2020221031A1 (zh) * | 2019-04-28 | 2020-11-05 | 杭州海康威视数字技术股份有限公司 | 行为热力图生成及报警方法、装置、电子设备及存储介质 |
| CN113159198A (zh) * | 2021-04-27 | 2021-07-23 | 上海芯物科技有限公司 | 一种目标检测方法、装置、设备及存储介质 |
-
2021
- 2021-07-30 CN CN202110874427.4A patent/CN113657211A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180322366A1 (en) * | 2017-05-02 | 2018-11-08 | General Electric Company | Neural network training image generation system |
| CN109040673A (zh) * | 2018-07-19 | 2018-12-18 | 中国科学院深圳先进技术研究院 | 视频图像处理方法、装置及具有存储功能的装置 |
| WO2020221031A1 (zh) * | 2019-04-28 | 2020-11-05 | 杭州海康威视数字技术股份有限公司 | 行为热力图生成及报警方法、装置、电子设备及存储介质 |
| CN111753612A (zh) * | 2019-09-11 | 2020-10-09 | 上海高德威智能交通系统有限公司 | 一种抛洒物检测方法、装置及存储介质 |
| CN113159198A (zh) * | 2021-04-27 | 2021-07-23 | 上海芯物科技有限公司 | 一种目标检测方法、装置、设备及存储介质 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114495275A (zh) * | 2022-01-26 | 2022-05-13 | 城云科技（中国）有限公司 | 异常行为预警方法、装置及应用 |
| CN114724246A (zh) * | 2022-04-11 | 2022-07-08 | 中国人民解放军东部战区总医院 | 危险行为识别方法及装置 |
| CN114724246B (zh) * | 2022-04-11 | 2024-01-30 | 中国人民解放军东部战区总医院 | 危险行为识别方法及装置 |
| CN114648879A (zh) * | 2022-05-18 | 2022-06-21 | 浙江大华技术股份有限公司 | 基于危险品的异常区域监测方法、装置及存储介质 |
| CN114648879B (zh) * | 2022-05-18 | 2022-08-16 | 浙江大华技术股份有限公司 | 基于危险品的异常区域监测方法、装置及存储介质 |
| CN114912719A (zh) * | 2022-07-15 | 2022-08-16 | 北京航空航天大学 | 一种基于图神经网络的异质交通个体轨迹协同预测方法 |
| CN116110006A (zh) * | 2023-04-13 | 2023-05-12 | 武汉商学院 | 一种用于智慧旅游系统的景区游客异常行为识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113657211A (zh) | 一种异常行为的预警方法、装置、系统和存储介质 | |
| US11380105B2 (en) | Identification and classification of traffic conflicts | |
| CN109191829B (zh) | 道路安全监控方法及系统、计算机可读存储介质 | |
| US20220139090A1 (en) | Systems and methods for object monitoring | |
| CN109934075A (zh) | 异常事件检测方法、装置、系统及电子设备 | |
| CN113676702B (zh) | 基于视频流的目标追踪监测方法、系统、装置及存储介质 | |
| CN112766069A (zh) | 基于深度学习的车辆违停检测方法、装置及电子设备 | |
| WO2020210960A1 (zh) | 交通道路的数字化全景重建的方法和系统 | |
| CN109996212A (zh) | 车辆盲区信息获取方法、车载终端以及存储设备 | |
| CN110782677A (zh) | 一种违规车辆抓拍警示方法及装置 | |
| CN113658427A (zh) | 基于视觉与雷达的路况监控方法及系统、设备 | |
| CN115713745A (zh) | 障碍物检测方法、电子设备及存储介质 | |
| CN111932889B (zh) | 一种基于车路协同的交通疏导系统 | |
| CN112084892B (zh) | 一种道路异常事件检测管理装置及其方法 | |
| CN115270400A (zh) | 用于自动驾驶仿真的测试场景构建方法及可读存储介质 | |
| CN111427063B (zh) | 一种移动装置通行控制方法、装置、设备、系统及介质 | |
| CN111746526B (zh) | 一种后方无人驾驶车辆的预警方法、装置、设备和车辆 | |
| EP0403193A2 (en) | Method and apparatus for traffic monitoring | |
| CN112633228A (zh) | 停车检测方法、装置、设备及存储介质 | |
| CN117169873A (zh) | 超视域鸟瞰感知方法及装置、目标感知装置、设备、介质 | |
| CN116311946A (zh) | 用于展示实时交通态势的方法、系统、终端及存储介质 | |
| CN116434610A (zh) | 交通安全告警方法、设备及存储介质 | |
| CN112419750B (zh) | 一种静默式低点出口道溢出事件检测方法 | |
| CN115909806A (zh) | 一种碰撞预警方法、装置及路侧设备 | |
| EP4439488A1 (en) | Systems and methods for detecting vehicle following distance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |