[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN112149618B - 适用于巡检车的行人异常行为检测方法与装置 - Google Patents

适用于巡检车的行人异常行为检测方法与装置 Download PDF

Info

Publication number
CN112149618B
CN112149618B CN202011094116.8A CN202011094116A CN112149618B CN 112149618 B CN112149618 B CN 112149618B CN 202011094116 A CN202011094116 A CN 202011094116A CN 112149618 B CN112149618 B CN 112149618B
Authority
CN
China
Prior art keywords
behavior
space
joint
node
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011094116.8A
Other languages
English (en)
Other versions
CN112149618A (zh
Inventor
贾立东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ziqing Zhixing Technology Beijing Co ltd
Original Assignee
Ziqing Zhixing Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ziqing Zhixing Technology Beijing Co ltd filed Critical Ziqing Zhixing Technology Beijing Co ltd
Priority to CN202011094116.8A priority Critical patent/CN112149618B/zh
Publication of CN112149618A publication Critical patent/CN112149618A/zh
Application granted granted Critical
Publication of CN112149618B publication Critical patent/CN112149618B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种适用于巡检车的行人异常行为检测方法与装置，该方法包括：预先设置异常行为检测网络，对RGB‑D相机和监控相机中采集到的视频数据中存在的异常行为进行在线检测；所述异常行为检测网络获取方法包括：步骤1，标定原始视频数据中存在的行为类别和属性，得到每一行为对应的类别标签和属性标签；步骤2，选取连续T帧图像序列作为训练样本数据；步骤3，建立无向图；步骤4，根据无向图，利用时空图卷积网络和卷积神经网络，获得异常行为检测网络。本发明能够在全天时情况下对于异常行为进行精准检测，为智能监控预警提供依据。

Description

适用于巡检车的行人异常行为检测方法与装置
技术领域
本发明涉及机器人和视频监控技术领域，特别是关于一种基于RGB-D相机的适用于巡检车的行人异常行为检测方法与装置。
背景技术
异常行为检测是指在监控视频场景下，基于各类计算机设备代替或补充监控人员对于视频监控场景下人类发的异常行为进行实时辨别，从而达到预警目的。其中异常行为一般是指场景中与其他人类行为有明显不同或者是在场景中人类发生概率较低的行为。实际上，对比正常行为，异常行为出现概率非常小，但异常行为几乎会产生严重后果。因而对于异常行为进行监控预警十分有必要。
机器人技术能够逐渐替代某些需要人类的单调和危险工作场景，从而极大降低人力成本。目前，监控预警一般采用视觉相机结合人工监控的方式进行，但是在夜间这两种监控方式都有不同程度的削弱和不便，其缺陷主要体现在：夜晚环境下人类和普通可见光相机感知能力下降。针对这一情况，目前并没有特别好的解决方案。
行为识别是一类重要的计算机视觉任务，其在视频理解、运动分析和智能监控领域都有广泛应用。Kinect是微软公司推出的民用型RGB-D相机，能够同时获取彩色图和深度图像，并且配备红外设备，能够在夜间环境下运行，是典型的3D目标识别设备。
发明内容
本发明的目的在于提供一种基于RGB-D相机的适用于巡检车的行人异常行为检测方法和装置来克服或至少减轻现有技术的上述缺陷中的至少一个。
为实现上述目的，本发明提供一种适用于巡检车的行人异常行为检测方法，预先设置异常行为检测网络，对RGB-D相机和监控相机中采集到的视频数据中存在的异常行为进行在线检测；所述异常行为检测网络获取方法包括：
步骤1，标定原始视频数据中存在的行为类别和属性，得到每一行为对应的类别标签A＝{a1,a2,...,an}和属性标签B＝{bnor,bab}；其中，所述原始视频数据包括RGB-D相机数据，an表示第n种行为的类别标签，bnor表示正常行为，bab表示异常行为；
步骤2，选取由步骤1标定好的连续T帧图像序列作为训练样本数据；
步骤3，获取训练样本数据的每一帧图像中的人体位置框，并建立无向图G＝(V,E)；
其中，关节节点位置集合V＝{vti|t＝1,...,T,i＝1,...,N}包括连续T帧图像序列中的所有关节节点的位置，vti表示第t帧图像中的第i个关节节点的位置，共有N个关节节点；
边集合E具有两个子集分别是空间边子集和时序边子集，其中：所述空间边子集ES＝{vtivtj|(i,j)∈H}，H表示单帧图像中的所有关节节点的位置；相邻两帧图像上同一关节节点连接而成的边组成的时序边子集EF＝{vtiv(t+1)i}，vtj表示第t帧图像中的第j个关节节点的位置，v(t+1)i表示第t+1帧图像中的第j个关节节点的位置；
步骤4，根据无向图G＝(V,E)，利用时空图卷积网络和卷积神经网络，获得异常行为检测网络。
进一步地，步骤4包括：
步骤41，利用时空图卷积网络进行时空空间位置建模，其具体包括：
步骤411，对无向图G＝(V,E)进行时空图卷积操作，采用卷积核为K×K，输出与关节节点vti直接连接的局部特征图fout(vti)：
Figure BDA0002723092670000021
式(1)中，B(vti)对应表示vti的邻居节点集合，w(vti,vtj)是权重函数，Zti(vtj)是正则函数项，p(vti,vtj)表示采样函数，代表在关节点中具备关系两个点之间的最小距离，权重函数用于表示临近关节点所分配的不同权重；
步骤412，对于步骤411输出的局部特征图fout(vti)，采用公式(2)进行关节节点空间构型划分，获得由关节节点构成人体局部肢体；
Figure BDA0002723092670000022
式(2)中，ri代表第i个关节节点距离其所在人体重心的平均距离，rj代表第j个关节节点距离其所在人体重心的平均距离，lti(vtj)表示计算得到的关节节点空间构型，将每个关节节点自身及其周围邻居分为根节点子集、向心组子集和离心组子集，其中，根节点子集由根节点自身组成，向心组子集由邻居节点中比根节点距离身体重心节点更近的节点组成，离心组子集由邻居节点中比根节点距离身体重点节点更远的节点。
进一步地，步骤4还包括：
步骤42，利用时空图卷积网络进行与获取分类后行为，其具体包括：
步骤421，利用步骤411输出的与关节节点vti直接连接的局部特征图fout(vti)和步骤412划分得到的空间构型，在每一帧图像上运行单层采用式(3)提供的时空图卷积操作，获得骨架动作特征分类；
Figure BDA0002723092670000031
式(3)中，fout表示骨架动作特征分类，fin表示步骤411输出的节点输出特征图和步骤412划分得到的空间构型，
Figure BDA0002723092670000032
由单帧图像的邻接矩阵A和单位矩阵I确定，
Figure BDA0002723092670000033
表示在整个无向图G＝(V,E)的邻接矩阵，
Figure BDA0002723092670000034
表示在整个无向图G＝(V,E)的单位矩阵，W是由前述多通道的权重向量w(vti,vtj)叠加后的权重矩阵；
步骤422，经由多层如步骤411、步骤412和步骤421中时空图卷积操作后，最后经由Softmax函数，输出最终行为分类结果。
进一步地，步骤4还包括：
步骤43，对步骤3中建立的所述无向图G＝(V,E)中的前T/2帧图像中的关节节点位置集合所对应的分类输出行为序列fout中每一行为分别进行编码为统一向量xuni，将统一向量xuni输入到LSTM网络中进行训练，输出行为预测结果
Figure BDA0002723092670000035
步骤44，将经由时空图卷积网络识别的原始行为结果STCaction与LSTM网络预测的行为结果LSTMaction进行按照式(4)进行融合：
Figure BDA0002723092670000041
式(4)中，若二者差值小于设定阈值则最后结果采用原始时空卷积图后结果，若二者相差结果大于设定阈值则取二者预测结果中间值。
进一步地，在云控平台、车载控制器和/或智能终端中预先设置所述异常行为检测网络。
本发明还提供一种适用于巡检车的行人异常行为检测装置，其包括异常行为检测网络，用于对RGB-D相机和监控相机中采集到的视频数据中存在的异常行为进行在线检测，所述异常行为检测网络的获取装置包括：
标定模块，其用于标定原始视频数据中存在的行为类别和属性，得到每一行为对应的类别标签A＝{a1,a2,...,an}和属性标签B＝{bnor,bab}；其中，所述原始视频数据包括RGB-D相机数据，an表示第n种行为的类别标签，bnor表示正常行为，bab表示异常行为；
训练样本数据选取模块，其用于选取由步骤1标定好的连续T帧图像序列作为训练样本数据；
无向图构建装置，其用于获取训练样本数据的每一帧图像中的人体位置框，并建立无向图G＝(V,E)；
其中，关节节点位置集合V＝{vti|t＝1,...,T,i＝1,...,N}包括连续T帧图像序列中的所有关节节点的位置，vti表示第t帧图像中的第i个关节节点的位置，共有N个关节节点；
边集合E具有两个子集分别是空间边子集和时序边子集，其中：所述空间边子集ES＝{vtivtj|(i,j)∈H}，H表示单帧图像中的所有关节节点的位置；相邻两帧图像上同一关节节点连接而成的边组成的时序边子集EF＝{vtiv(t+1)i}，vtj表示第t帧图像中的第j个关节节点的位置，v(t+1)i表示第t+1帧图像中的第j个关节节点的位置；
异常行为检测网络离线训练模块，其用于根据无向图G＝(V,E)，利用时空图卷积网络和卷积神经网络，获得异常行为检测网络。
进一步地，所述异常行为检测网络离线训练模块包括：
时空空间位置建模单元，其用于利用时空图卷积网络进行时空空间位置建模，其具体包括：
首先，对无向图G＝(V,E)进行时空图卷积操作，采用卷积核为K×K，输出与关节节点vti直接连接的局部特征图fout(vti)：
Figure BDA0002723092670000051
式(1)中，B(vti)对应表示vti的邻居节点集合，w(vti,vtj)是权重函数，Zti(vtj)是正则函数项，p(vti,vtj)表示采样函数，代表在关节点中具备关系两个点之间的最小距离，权重函数用于表示临近关节点所分配的不同权重；
然后，对于局部特征图fout(vti)，采用公式(2)进行关节节点空间构型划分，获得由关节节点构成人体局部肢体；
Figure BDA0002723092670000052
式(2)中，ri代表第i个关节节点距离其所在人体重心的平均距离，rj代表第j个关节节点距离其所在人体重心的平均距离，lti(vtj)表示计算得到的关节节点空间构型，将每个关节节点自身及其周围邻居分为根节点子集、向心组子集和离心组子集，其中，根节点子集由根节点自身组成，向心组子集由邻居节点中比根节点距离身体重心节点更近的节点组成，离心组子集由邻居节点中比根节点距离身体重点节点更远的节点。
进一步地，所述异常行为检测网络离线训练模块还包括：
行为分类单元，其用于利用时空图卷积网络进行与获取分类后行为，其具体包括：
首先，利用所述时空空间位置建模单元输出的所述与关节节点vti直接连接的局部特征图和所述划分得到的空间构型，在每一帧图像上运行单层时空图卷积操作，获得骨架动作特征分类；
然后，经由多层如是说时空空间位置建模单元和行为分类单元的时空图卷积操作后，最后经由Softmax函数，输出最终行为分类结果；
行为预测单元，对所述无向图G＝(V,E)中的前T/2帧图像中的关节节点位置集合所对应的分类输出行为序列fout中每一行为分别进行编码为统一向量xuni，将统一向量xuni输入到LSTM网络中进行训练，输出行为预测结果
Figure BDA0002723092670000061
融合单元，其用于将经由时空图卷积网络识别的原始行为结果STCaction与LSTM网络预测的行为结果LSTMaction进行按照式(4)进行融合：
Figure BDA0002723092670000062
式(4)中，若二者差值小于设定阈值则最后结果采用原始时空卷积图后结果，若二者相差结果大于设定阈值则取二者预测结果中间值。
进一步地，所述异常行为检测网络预先设置在云控平台、车载控制器和/或智能终端中。
进一步地，所述智能终端为巡航机器小车，其包括与所述异常行为检测网络信号连接的RGB-D相机。
本发明由于采取以上技术方案，其具有以下优点：本发明能够在全天时情况下对于异常行为进行精准检测，为智能监控预警提供依据。
附图说明
图1为是本发明的异常行为检测计算框架图。
图2是人体18点关节点示意图。
图3是空间构型划分示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
如图1所示，本发明实施例提供的适用于巡检车的行人异常行为检测方法包括：预先设置异常行为检测网络，对RGB-D相机和监控相机中采集到的视频数据中存在的异常行为进行在线检测；所述异常行为检测网络获取方法包括：
步骤1，标定原始视频数据中存在的行为类别和属性，得到每一行为对应的类别标签A＝{a1,a2,...,an}和属性标签B＝{bnor,bab}，an表示第n种行为的类别标签，bnor表示正常行为，bab表示异常行为。
其中，所述原始视频数据包括基于确定的监控区域的全天的RGB-D相机数据和监控相机数据。
在一个实施例中，步骤1采用的标定方法为算法自动标定和人为辅助标定相结合的方法，其具体包括：
步骤11，自动标定：采用AlphaPose算法对原始视频数据进行自动标定，自动标定的姿态置信度取值范围[0,1]。当姿态置信度值为0时，表示完全不相信自动标定结果或没有生成可用的姿态标定结果；当姿态置信度值为1时，表示确信所得出的姿态置信度值。
步骤12，手动二次标定：根据给定标定策略，对于不满足如下条件之一的自动标定结果进行二次手工标定。
第一条件，当自动标定算法所得姿态置信度小于预定阈值Pα(比如Pα＝0.5)，利用手工进行二次标定；
第二条件，对于夜间视频(晚上12点～早晨6点),对于夜间视频每隔5分钟1次利用进行随机抽样1分钟视频进行手工标定。
利用手工标定方法对于标定好行为进行属性分类，分类为正常行为bnor和异常行为bab，构建行为和属性数据集。
步骤2，选取由步骤1标定好的连续T帧图像序列作为训练样本数据。
步骤3，获取训练样本数据的每一帧图像中的人体位置框，并建立无向图G＝(V,E)。其中，可以采用预训练好的目标检测模型YOLO v5获取人体位置框。
无向图G＝(V,E)中，关节节点位置集合V＝{vti|t＝1,...,T,i＝1,...,N}包括连续T帧图像序列中的所有关节节点的位置，vti表示第t帧图像中的第i个关节节点的位置，共有N个关节节点。
无向图G＝(V,E)中，边集合E具有两个子集，分别是空间边子集和时序边子集。
其中：所述空间边子集ES＝{vtivtj|(i,j)∈H}，H表示单帧图像中的所有关节节点的位置。相邻两帧图像上同一关节节点连接而成的边组成的时序边子集EF＝{vtiv(t+1)i}。vtj表示第t帧图像中的第j个关节节点的位置，v(t+1)i表示第t+1帧图像中的第j个关节节点的位置。
如图2所示，图2提供的实施例示意了单帧图像的无向图G＝(V,E)，其中单个人体节点总数设置为18个。
步骤4，根据无向图G＝(V,E)，利用时空图卷积网络进行时空空间位置建模与获取分类后行为、以及利用卷积神经网络模块对于不同行为进行权重估计以判断是否属于异常行为，从而获得异常行为检测网络。
在一个实施例中，步骤4包括：
步骤41，利用时空图卷积网络进行时空空间位置建模，其具体包括：
步骤411，对无向图G＝(V,E)进行时空图卷积操作，输出与关节节点vti直接连接的局部特征图。
具体地，输入特征图fin为包含节点但节点之间无连接的无向图G＝(V,E)(如图2所示)，采用卷积核为K×K，则输出与关节节点vti直接连接的局部特征图fout(vti)(如图3所示)：
Figure BDA0002723092670000081
式(1)中，B(vti)对应表示vti的邻居节点集合；Zti(vtj)是正则函数项，此处任意机器学习L1或者L2正则项均可；p(vti,vtj)表示采样函数，代表在关节点中具备关系两个点之间的最小距离，可采用任意通用采样函数，如随机粒子滤波等；w(vti,vtj)是权重函数，用于表示临近关节点所分配的不同权重，其中的临近关节点指对于某个关节点周围与其直接相连或相关的关节节点。
步骤412，对于步骤411输出的与关节节点vti直接连接的局部特征图fout(vti)进行关节节点空间构型划分，获得由关节节点构成人体局部肢体。
关节节点空间构型划分具有多种方式，如均匀标注、基于距离和基于空间构型。考虑本发明的适用途径，对于所建立的与关节节点vti直接连接的局部特征图fout(vti)进行空间构型划分，如图3所示。将每个局部关节点自身及其周围邻居分为三个子集，分别为根节点子集、向心组子集和离心组子集，其中，根节点子集由根节点自身组成，向心组子集由邻居节点中比根节点距离身体重心节点更近的节点组成，离心组子集由邻居节点中比根节点距离身体重点节点更远的节点。采用的式(2)进行空间构型划分：
Figure BDA0002723092670000082
式(2)中，ri代表第i个关节节点距离其所在人体重心(图3中的三角形所在位置)的平均距离，rj代表第j个关节节点距离其所在人体重心的平均距离，lti(vtj)表示计算得到的关节节点空间构型，如图2所示，经过计算后的图2中的关节节点11、关节节点12和关节节点13节点构成人体的胳膊。
步骤42，利用时空图卷积网络进行与获取分类后行为，其具体包括：
步骤421，利用步骤411输出的与关节节点vti直接连接的局部特征图fout(vti)和步骤412划分得到的空间构型，在每一帧图像上运行单层时空图卷积操作，获得骨架动作特征分类。
步骤421利用步骤411输出的与关节节点vti直接连接的局部特征图fout(vti)和步骤412划分得到的空间构型在每一帧图像上运行单层时空图卷积操作表示为式(3)：
Figure BDA0002723092670000091
式(3)中，fout表示骨架动作特征分类，fin表示步骤411输出的节点输出特征图和步骤412划分得到的空间构型，
Figure BDA0002723092670000092
由单帧图像的邻接矩阵
Figure BDA0002723092670000093
和单位矩阵
Figure BDA0002723092670000094
确定，
Figure BDA0002723092670000095
表示在整个无向图G＝(V,E)的邻接矩阵，
Figure BDA0002723092670000096
表示在整个无向图G＝(V,E)的单位矩阵，W是由前述多通道的权重向量w(vti,vtj)堆叠而成的权重矩阵。
步骤422，经由多层(比如5层)如步骤411、步骤412和步骤421中时空图卷积操作后，最后经由Softmax函数，输出最终行为分类结果STCaction＝{act1,act2,...,actT}。
步骤43，根据无向图G＝(V,E)，对步骤3中建立的所述无向图G＝(V,E)中的前T/2帧图像中的关节节点位置集合所对应的分类输出行为序列fout中每一行为分别进行编码为统一向量xuni，将统一向量xuni输入到LSTM((英文全称为Long Short-Term Memory，中文全称为长短时记忆网络)网络中进行训练，输出行为预测结果
Figure BDA0002723092670000097
通过步骤43，LSTM能够对获取的动作序列信息中的长期依赖进行建模，可用于解决前述行为识别中的行为跳变问题，提高异常行为检测网络的鲁棒性。
步骤44，将经由时空图卷积网络识别的原始行为结果STCaction与LSTM网络预测的行为结果
Figure BDA0002723092670000098
进行按照式(4)进行融合：
Figure BDA0002723092670000101
式(4)中，若二者差值小于设定阈值Hthre，则最后结果采用原始时空卷积图后结果，若二者相差结果大于设定阈值则取二者预测结果中间值。其中，阈值Hthre为所有在已标定好的行为库中的正常行为的正则化后平均行为值。
通过步骤44可以将原始行为识别结果与行为预测结果进行对比，进行优化增强，克服行为识别中容易出现的行为跳变问题。
步骤45，对于最终行为识别结果进行正常与异常行为分类。
根据设定规则对于识别的动作序列通过浅层卷积神经网络模块分类为正常行为和异常行为，若输出异常行为则发出警报。
在一个实施例中，本发明还包括：
步骤5，模型剪枝方法，其具体包括：
步骤51，评价所提出的异常行为检测网络中神经元参数重要性，将重要性最低的神经元移去除掉，之后微调异常行为检测网络。
步骤52，根据将预训练的YOLO v5网络采用组卷积剪枝方法进行模型剪枝后，推理部署到云控平台、车载控制器和/或智能终端(巡航小车)。
本发明实施例所提出的方法首先利用卷积网络检测人体区域，再将人体骨骼关键点建模为图卷积网络，利用识别的骨骼关键点进行人体行为识别，并对异常行为检测。配套的LSTM增强算法能够利用人类行为连续性，增强行为识别准确性。
在一个实施例中，适用于巡检车的行人异常行为检测方法包括：在云控平台、车载控制器和/或智能终端(巡航小车)中预先设置异常行为检测网络。
以配置有异常行为检测网络的巡航小车为例，说明异常行为检测网络在线检测异常行为的方法：
巡航小车根据规定路线巡检，其配备RGB-D增强相机，白天环境下可利用产生的RGB图像和深度图像进行行为检测，夜晚时可以利用红外相机和深度相机实现行为检测，从而可以实现全天时视频数据中的异常行为检测。在检测到异常行为时，可以采用声光报警方式进行预警。
本发明还提供一种适用于巡检车的行人异常行为检测装置，其包括异常行为检测网络，用于对RGB-D相机和监控相机中采集到的视频数据中存在的异常行为进行在线检测。所述异常行为检测网络的获取装置包括标定模块、训练样本数据选取模块、无向图构建装置和异常行为检测网络离线训练模块，其中：
标定模块用于标定原始视频数据中存在的行为类别和属性，得到每一行为对应的类别标签A＝{a1,a2,...,an}和属性标签B＝{bnor,bab}；其中，所述原始视频数据包括RGB-D相机数据，an表示第n种行为的类别标签，bnor表示正常行为，bab表示异常行为。
训练样本数据选取模块用于选取由步骤1标定好的连续T帧图像序列作为训练样本数据。
无向图构建装置用于获取训练样本数据的每一帧图像中的人体位置框，并建立无向图G＝(V,E)。
其中，关节节点位置集合V＝{vti|t＝1,...,T,i＝1,...,N}包括连续T帧图像序列中的所有关节节点的位置，vti表示第t帧图像中的第i个关节节点的位置，共有N个关节节点。
边集合E具有两个子集分别是空间边子集和时序边子集，其中：所述空间边子集ES＝{vtivtj|(i,j)∈H}，H表示单帧图像中的所有关节节点的位置；相邻两帧图像上同一关节节点连接而成的边组成的时序边子集EF＝{vtiv(t+1)i}，vtj表示第t帧图像中的第j个关节节点的位置，v(t+1)i表示第t+1帧图像中的第j个关节节点的位置。
异常行为检测网络离线训练模块用于根据无向图G＝(V,E)，利用时空图卷积网络和卷积神经网络，获得异常行为检测网络。
在一个实施例中，所述异常行为检测网络离线训练模块包括时空空间位置建模单元、行为分类单元、行为预测单元和融合单元：
时空空间位置建模单元用于利用时空图卷积网络进行时空空间位置建模，其具体包括：
首先，对无向图G＝(V,E)进行时空图卷积操作，输出节点特征图。
然后，对于所述节点特征图进行关节节点空间构型划分，获得由关节节点构成人体局部部件。
其中，空间构型划分的方法包括：
将每个关节节点自身及其周围邻居分为根节点子集、向心组子集和离心组子集，其中，根节点子集由根节点自身组成，向心组子集由邻居节点中比根节点距离身体重心节点更近的节点组成，离心组子集由邻居节点中比根节点距离身体重点节点更远的节点；
行为分类单元。用于利用时空图卷积网络进行与获取分类后行为，其具体包括：
首先，利用所述时空空间位置建模单元输出的所述节点输出特征图和所述划分得到的空间构型，在每一帧图像上运行单层时空图卷积操作，获得骨架动作特征分类。
然后，经由多层如是说时空空间位置建模单元和行为分类单元的时空图卷积操作后，最后经由Softmax函数，输出最终行为分类结果。
行为预测单元用于4对所述无向图G＝(V,E)中的前T/2帧图像中的关节节点位置集合所对应的分类输出行为序列fout中每一行为分别进行编码为统一向量xuni，将统一向量xuni输入到LSTM网络中进行训练，输出行为预测结果
Figure BDA0002723092670000121
融合单元，其用于将经由时空图卷积网络识别的原始行为结果STCaction与LSTM网络预测的行为结果LSTMaction进行按照式(4)进行融合：
Figure BDA0002723092670000122
式(4)中，若二者差值小于设定阈值则最后结果采用原始时空卷积图后结果，若二者相差结果大于设定阈值则取二者预测结果中间值。
在一个实施例中，所述异常行为检测网络预先设置在云控平台、车载控制器和/或智能终端中，用于对RGB-D相机和监控相机中采集到的视频数据中存在的异常行为进行在线检测。
在一个实施例中，所述智能终端为巡航机器小车，其包括RGB-D相机以及与RGB-D相机信号连接的异常行为检测网络。通过巡航机器小车中的RGB-D相机和异常行为检测网络，能够全天时对于巡检环境下的异常行为进行检测。
最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种适用于巡检车的行人异常行为检测方法，其特征在于，预先设置异常行为检测网络，对RGB-D相机和监控相机中采集到的视频数据中存在的异常行为进行在线检测；所述异常行为检测网络获取方法包括：
步骤1，标定原始视频数据中存在的行为类别和属性，得到每一行为对应的类别标签A＝{a1,a2,...,an}和属性标签B＝{bnor,bab}；其中，所述原始视频数据包括基于确定的监控区域的全天的RGB-D相机数据和监控相机数据，an表示第n种行为的类别标签，bnor表示正常行为，bab表示异常行为；所述步骤1采用的标定方法为算法自动标定和人为辅助标定相结合的方法，其具体包括：
步骤11，自动标定：采用AlphaPose算法对原始视频数据进行自动标定，自动标定的姿态置信度取值范围[0,1]，当姿态置信度值为0时，表示完全不相信自动标定结果或没有生成可用的姿态标定结果；当姿态置信度值为1时，表示确信所得出的姿态置信度值；
步骤12，手动二次标定：根据给定标定策略，对于不满足如下条件之一的自动标定结果进行二次手工标定；
第一条件，当自动标定算法所得姿态置信度小于预定阈值Pα，利用手工进行二次标定；
第二条件，对于夜间视频每隔5分钟1次利用进行随机抽样1分钟视频进行手工标定；
利用手工标定方法对于标定好行为进行属性分类，分类为正常行为bnor和异常行为bab，构建行为和属性数据集；
步骤2，选取由步骤1标定好的连续T帧图像序列作为训练样本数据；
步骤3，获取训练样本数据的每一帧图像中的人体位置框，并建立无向图G＝(V,E)；
其中，关节节点位置集合V＝{vti|t＝1,...,T,i＝1,...,N}包括连续T帧图像序列中的所有关节节点的位置，vti表示第t帧图像中的第i个关节节点的位置，共有N个关节节点；
边集合E具有两个子集分别是空间边子集和时序边子集，其中：所述空间边子集ES＝{vtivtj|(i,j)∈H}，H表示单帧图像中的所有关节节点的位置；相邻两帧图像上同一关节节点连接而成的边组成的时序边子集EF＝{vtiv(t+1)i}，vtj表示第t帧图像中的第j个关节节点的位置，v(t+1)i表示第t+1帧图像中的第i个关节节点的位置；
步骤4，根据无向图G＝(V,E)，利用时空图卷积网络和卷积神经网络，获得异常行为检测网络；
步骤4包括：
步骤43，对步骤3中建立的所述无向图G＝(V,E)中的前T/2帧图像中的关节节点位置集合所对应的分类输出行为序列fout中每一行为分别进行编码为统一向量xuni，将统一向量xuni输入到LSTM网络中进行训练，输出行为预测结果
Figure FDA0003769789700000021
步骤44，将经由时空图卷积网络识别的原始行为结果STCaction与LSTM网络预测的行为结果LSTMaction进行按照式(4)进行融合：
Figure FDA0003769789700000022
式(4)中，若二者差值小于设定阈值Hthre则最后结果采用原始时空卷积图后结果，若二者相差结果大于设定阈值Hthre则取二者预测结果中间值，阈值Hthre为所有在已标定好的行为库中的正常行为的正则化后平均行为值。
2.如权利要求1所述的适用于巡检车的行人异常行为检测方法，其特征在于，步骤4包括：
步骤41，利用时空图卷积网络进行时空空间位置建模，其具体包括：
步骤411，对无向图G＝(V,E)进行时空图卷积操作，采用卷积核为K×K，输出与关节节点vti直接连接的局部特征图fout(vti)：
Figure FDA0003769789700000023
式(1)中，B(vti)对应表示vti的邻居节点集合，w(vti,vtj)是权重函数，Zti(vtj)是正则函数项，p(vti,vtj)表示采样函数，代表在关节点中具备关系两个点之间的最小距离，权重函数用于表示临近关节点所分配的不同权重；
步骤412，对于步骤411输出的局部特征图fout(vti)，采用公式(2)进行关节节点空间构型划分，获得由关节节点构成的人体局部肢体；
Figure FDA0003769789700000031
式(2)中，ri代表第i个关节节点距离其所在人体重心的平均距离，rj代表第j个关节节点距离其所在人体重心的平均距离，lti(vtj)表示计算得到的关节节点空间构型，将每个关节节点自身及其周围邻居分为根节点子集、向心组子集和离心组子集，其中，根节点子集由根节点自身组成，向心组子集由邻居节点中比根节点距离身体重心节点更近的节点组成，离心组子集由邻居节点中比根节点距离身体重点节点更远的节点。
3.如权利要求2所述的适用于巡检车的行人异常行为检测方法，其特征在于，步骤4还包括：
步骤42，利用时空图卷积网络获取分类行为，其具体包括：
步骤421，利用步骤411输出的与关节节点vti直接连接的局部特征图fout(vti)和步骤412划分得到的空间构型，在每一帧图像上运行单层采用式(3)提供的时空图卷积操作，获得骨架动作特征分类；
Figure FDA0003769789700000032
式(3)中，fout表示骨架动作特征分类，fin表示步骤411输出的节点输出特征图和步骤412划分得到的空间构型，
Figure FDA0003769789700000033
由单帧图像的邻接矩阵A和单位矩阵I确定，A表示在整个无向图G＝(V,E)的邻接矩阵，I表示在整个无向图G＝(V,E)的单位矩阵，W是由多通道的权重向量w(vti,vtj)叠加后的权重矩阵；
步骤422，经由多层如步骤411、步骤412和步骤421中时空图卷积操作后，最后经由Softmax函数，输出最终行为分类结果。
4.如权利要求3所述的适用于巡检车的行人异常行为检测方法，其特征在于，将所述异常行为检测网络预先设置在云控平台、车载控制器和/或智能终端中。
5.一种适用于巡检车的行人异常行为检测装置，其特征在于，包括异常行为检测网络，用于对RGB-D相机和监控相机中采集到的视频数据中存在的异常行为进行在线检测，所述异常行为检测网络的获取装置包括：
标定模块，其用于标定原始视频数据中存在的行为类别和属性，得到每一行为对应的类别标签A＝{a1,a2,...,an}和属性标签B＝{bnor,bab}；其中，所述原始视频数据包括基于确定的监控区域的全天的RGB-D相机数据和监控相机数据，an表示第n种行为的类别标签，bnor表示正常行为，bab表示异常行为；标定模块采用的标定方法为算法自动标定和人为辅助标定相结合的方法，其具体包括：
步骤11，自动标定：采用AlphaPose算法对原始视频数据进行自动标定，自动标定的姿态置信度取值范围[0,1]，当姿态置信度值为0时，表示完全不相信自动标定结果或没有生成可用的姿态标定结果；当姿态置信度值为1时，表示确信所得出的姿态置信度值；
步骤12，手动二次标定：根据给定标定策略，对于不满足如下条件之一的自动标定结果进行二次手工标定；
第一条件，当自动标定算法所得姿态置信度小于预定阈值Pα，利用手工进行二次标定；
第二条件，对于夜间视频每隔5分钟1次利用进行随机抽样1分钟视频进行手工标定；
利用手工标定方法对于标定好行为进行属性分类，分类为正常行为bnor和异常行为bab，构建行为和属性数据集；
训练样本数据选取模块，其用于选取由标定模块标定好的连续T帧图像序列作为训练样本数据；
无向图构建装置，其用于获取训练样本数据的每一帧图像中的人体位置框，并建立无向图G＝(V,E)；
其中，关节节点位置集合V＝{vti|t＝1,...,T,i＝1,...,N}包括连续T帧图像序列中的所有关节节点的位置，vti表示第t帧图像中的第i个关节节点的位置，共有N个关节节点；
边集合E具有两个子集分别是空间边子集和时序边子集，其中：所述空间边子集ES＝{vtivtj|(i,j)∈H}，H表示单帧图像中的所有关节节点的位置；相邻两帧图像上同一关节节点连接而成的边组成的时序边子集EF＝{vtiv(t+1)i}，vtj表示第t帧图像中的第j个关节节点的位置，v(t+1)i表示第t+1帧图像中的第i个关节节点的位置；
异常行为检测网络离线训练模块，其用于根据无向图G＝(V,E)，利用时空图卷积网络和卷积神经网络，获得异常行为检测网络；
所述异常行为检测网络离线训练模块包括：
行为预测单元，对无向图构建装置建立的所述无向图G＝(V,E)中的前T/2帧图像中的关节节点位置集合所对应的分类输出行为序列fout中每一行为分别进行编码为统一向量xuni，将统一向量xuni输入到LSTM网络中进行训练，输出行为预测结果
Figure FDA0003769789700000051
融合单元，其用于将经由时空图卷积网络识别的原始行为结果STCaction与LSTM网络预测的行为结果LSTMaction进行按照式(4)进行融合：
Figure FDA0003769789700000052
式(4)中，若二者差值小于设定阈值Hthre则最后结果采用原始时空卷积图后结果，若二者相差结果大于设定阈值Hthre则取二者预测结果中间值，阈值Hthre为所有在已标定好的行为库中的正常行为的正则化后平均行为值。
6.如权利要求5所述的适用于巡检车的行人异常行为检测装置，其特征在于，所述异常行为检测网络离线训练模块还包括：
时空空间位置建模单元，其用于利用时空图卷积网络进行时空空间位置建模，其具体包括：
首先，对无向图G＝(V,E)进行时空图卷积操作，采用卷积核为K×K，输出与关节节点vti直接连接的局部特征图fout(vti)：
Figure FDA0003769789700000053
式(1)中，B(vti)对应表示vti的邻居节点集合，w(vti,vtj)是权重函数，Zti(vtj)是正则函数项，p(vti,vtj)表示采样函数，代表在关节点中具备关系两个点之间的最小距离，权重函数用于表示临近关节点所分配的不同权重；
然后，对于局部特征图fout(vti)，采用公式(2)进行关节节点空间构型划分，获得由关节节点构成的人体局部肢体；
Figure FDA0003769789700000054
式(2)中，ri代表第i个关节节点距离其所在人体重心的平均距离，rj代表第j个关节节点距离其所在人体重心的平均距离，lti(vtj)表示计算得到的关节节点空间构型，将每个关节节点自身及其周围邻居分为根节点子集、向心组子集和离心组子集，其中，根节点子集由根节点自身组成，向心组子集由邻居节点中比根节点距离身体重心节点更近的节点组成，离心组子集由邻居节点中比根节点距离身体重点节点更远的节点。
7.如权利要求6所述的适用于巡检车的行人异常行为检测装置，其特征在于，所述异常行为检测网络离线训练模块还包括：
行为分类单元，其用于利用时空图卷积网络获取分类行为，其具体包括：
首先，利用所述时空空间位置建模单元输出的与关节节点vti直接连接的局部特征图fout(vti)和时空空间位置建模单元划分得到的空间构型，在每一帧图像上运行单层采用式(3)提供的时空图卷积操作，获得骨架动作特征分类；
Figure FDA0003769789700000061
式(3)中，fout表示骨架动作特征分类，fin表示时空空间位置建模单元输出的节点输出特征图和时空空间位置建模单元划分得到的空间构型，
Figure FDA0003769789700000062
由单帧图像的邻接矩阵A和单位矩阵I确定，A表示在整个无向图G＝(V,E)的邻接矩阵，I表示在整个无向图G＝(V,E)的单位矩阵，W是由多通道的权重向量w(vti,vtj)叠加后的权重矩阵；
然后，经由多层时空空间位置建模单元和行为分类单元的时空图卷积操作后，最后经由Softmax函数，输出最终行为分类结果。
8.如权利要求5所述的适用于巡检车的行人异常行为检测装置，其特征在于，所述异常行为检测网络预先设置在云控平台、车载控制器和/或智能终端中。
9.如权利要求8所述的适用于巡检车的行人异常行为检测装置，其特征在于，所述智能终端为巡航机器小车，其包括与所述异常行为检测网络信号连接的RGB-D相机。
CN202011094116.8A 2020-10-14 2020-10-14 适用于巡检车的行人异常行为检测方法与装置 Active CN112149618B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011094116.8A CN112149618B (zh) 2020-10-14 2020-10-14 适用于巡检车的行人异常行为检测方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011094116.8A CN112149618B (zh) 2020-10-14 2020-10-14 适用于巡检车的行人异常行为检测方法与装置

Publications (2)

Publication Number Publication Date
CN112149618A CN112149618A (zh) 2020-12-29
CN112149618B true CN112149618B (zh) 2022-09-09

Family

ID=73951779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011094116.8A Active CN112149618B (zh) 2020-10-14 2020-10-14 适用于巡检车的行人异常行为检测方法与装置

Country Status (1)

Country Link
CN (1) CN112149618B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801061A (zh) * 2021-04-07 2021-05-14 南京百伦斯智能科技有限公司 一种体态识别方法及系统
CN113837306B (zh) * 2021-09-29 2024-04-12 南京邮电大学 一种基于人体关键点时空图模型的异常行为检测方法
CN114359797A (zh) * 2021-12-29 2022-04-15 福建天晴数码有限公司 一种基于gan网络的工地夜间异常实时检测方法
CN115984787A (zh) * 2023-03-20 2023-04-18 齐鲁云商数字科技股份有限公司 一种产业大脑公交智能车载实时告警方法
CN118072388A (zh) * 2024-02-22 2024-05-24 淮阴工学院 一种人员行为智能监控与报警方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1963824A (zh) * 2006-11-17 2007-05-16 东华大学 基于神经网络的聚合物挤出法非织造布纤维直径预测方法
CN110852152A (zh) * 2019-09-27 2020-02-28 中山大学 一种基于数据增强的深度哈希行人重识别方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831442A (zh) * 2011-06-13 2012-12-19 索尼公司 异常行为检测设备和方法及生成该检测设备的设备和方法
CN110135319B (zh) * 2019-05-09 2022-09-16 广州大学 一种异常行为检测方法及其系统
CN110796110B (zh) * 2019-11-05 2022-07-26 西安电子科技大学 一种基于图卷积网络的人体行为识别方法及系统
CN111597929B (zh) * 2020-04-30 2023-05-05 青岛科技大学 基于通道信息融合和组群关系空间结构化建模的组群行为识别方法
CN111723729B (zh) * 2020-06-18 2022-08-05 四川千图禾科技有限公司 基于知识图谱的监控视频犬类姿态和行为智能识别方法
CN111723779B (zh) * 2020-07-20 2023-05-02 浙江大学 一种基于深度学习的中文手语识别系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1963824A (zh) * 2006-11-17 2007-05-16 东华大学 基于神经网络的聚合物挤出法非织造布纤维直径预测方法
CN110852152A (zh) * 2019-09-27 2020-02-28 中山大学 一种基于数据增强的深度哈希行人重识别方法

Also Published As

Publication number Publication date
CN112149618A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN112149618B (zh) 适用于巡检车的行人异常行为检测方法与装置
CN111582201B (zh) 一种基于几何注意力感知的车道线检测系统
KR102129893B1 (ko) 딥러닝 네트워크 및 평균 이동을 기반으로 하는 선박 자동추적 방법 및 시스템
US11037005B2 (en) Method and apparatus for identifying traffic light
KR101995107B1 (ko) 딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템
Chen et al. A UAV-based forest fire detection algorithm using convolutional neural network
Qu et al. Moving vehicle detection with convolutional networks in UAV videos
Shinzato et al. Fast visual road recognition and horizon detection using multiple artificial neural networks
GB2573738A (en) Driving monitoring
CN115761537B (zh) 一种面向动态特征补充机制的输电线路异物入侵识别方法
CN116704273A (zh) 一种自适应红外可见光双模融合检测方法
CN113688797A (zh) 一种基于骨架提取的异常行为识别方法及系统
Zhao et al. Fusion of Velodyne and camera data for scene parsing
CN114898322A (zh) 行车环境识别方法、装置、车辆及存储介质
CN117218380A (zh) 无人船遥感图像的动态目标检测追踪方法
CN113642403A (zh) 基于边缘计算的人群异动智能安全检测系统
CN113378638B (zh) 基于人体关节点检测和d-gru网络的轮机员异常行为识别方法
KR20220153247A (ko) 블랙아이스 모니터링 시스템
CN115147450B (zh) 基于运动帧差图像的移动目标检测方法及检测装置
CN115578700A (zh) 一种基于强化学习的多传感器融合方法和装置
CN118097933B (zh) 双光谱雷视一体机交通事件监测方法、系统、设备及介质
Baba Flying robots for a smarter life
CN108171168A (zh) 弱小目标变动智能图像检测方法及装置
Samundeswari et al. Emergency People Evacuation System using Crowd Density Detection and Path Finding Algorithm
Joshua et al. Object Detection System in Adverse Weather Conditions Using Ann

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant