[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111899281B - 一种基于行为树的辅助监控系统控制策略实现方法及系统 - Google Patents

一种基于行为树的辅助监控系统控制策略实现方法及系统 Download PDF

Info

Publication number
CN111899281B
CN111899281B CN202010683228.0A CN202010683228A CN111899281B CN 111899281 B CN111899281 B CN 111899281B CN 202010683228 A CN202010683228 A CN 202010683228A CN 111899281 B CN111899281 B CN 111899281B
Authority
CN
China
Prior art keywords
image
behavior
human
face
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010683228.0A
Other languages
English (en)
Other versions
CN111899281A (zh
Inventor
王晨
陈红英
程远
石韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Hollysys Co Ltd
Original Assignee
Beijing Hollysys Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Hollysys Co Ltd filed Critical Beijing Hollysys Co Ltd
Priority to CN202010683228.0A priority Critical patent/CN111899281B/zh
Publication of CN111899281A publication Critical patent/CN111899281A/zh
Application granted granted Critical
Publication of CN111899281B publication Critical patent/CN111899281B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于行为树的辅助监控系统控制策略实现方法及系统，通过获取包含有人脸或人体的图像；将包含有人脸或人体的图像输入至分层矢量化模型中，获得图像的人脸或人体特征向量；获取包含有多个行为节点的行为树；将图像的人脸或人体特征向量映射至行为树中，使行为树中的每个节点对应人脸或人体特征向量；获取监控任务，并将监控任务映射至行为树的根节点中；按照监控任务从根节点遍历整个树，并根据遍历结果确定目标对象的运动信息。本发明能够利用不同行人在监控视频中的人脸或人体特征，来构建不同行人在不同目标区域下的运动轨迹，从而实现对不同行人的跨区域、跨镜头跟踪。

Description

一种基于行为树的辅助监控系统控制策略实现方法及系统
技术领域
本发明涉及软件技术领域，特别是涉及一种基于行为树的辅助监控系统控制策略实现方法及系统。
背景技术
随着科技的进步与发展，在计算机视觉领域中，出现了人脸识别、无人驾驶、无人看管的视频监控等应用。而随着高科技犯罪的情况增多，在案发现场进行视频监控，特定目标与嫌疑目标的跟踪监测对于锁定嫌疑人和减少破案时间具有重要意义。但由于存储设备与视频拍摄技术的局限性,出现了视频堆积，人工甄别难度大且耗时久等问题。如果能通过算法实现对监控场景的目标进行检测、定位、跟踪与识别，对于提高警方破案率有重大意义。
在我国，此前采取人力查看监控视频进行案件侦破是警方破案的一大方法，且对于抓捕嫌犯起到了重要作用。但随着案件发生后时间的延续，嫌疑目标移动范围的扩大，人力查看监控视频已不能满足办案要求。而目前，对人员等特定目标失踪后的机器自动化追踪检测，都是只针对单一特定目标进行追踪监控。单一特定目标追踪监控因存在追踪信息少，追踪过程不完整，跟踪效果不明显等问题，对于案件侦破作用不大。因此，本发明基于行为树的行为节点，提出一种辅助监控系统控制策略实现方法及系统。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于行为树的辅助监控系统控制策略实现方法及系统，用于解决现有技术中存在的问题。
为实现上述目的及其他相关目的，本发明提供一种基于行为树的辅助监控系统控制策略实现方法，包括有：
获取包含有一个或多个人脸或人体的图像；
将包含有所述一个或多个人脸或人体的图像输入至分层矢量化模型中，获得所述图像的人脸或人体特征向量；
获取包含有多个行为节点的行为树；
将所述图像的人脸或人体特征向量映射至所述行为树中，使所述行为树中的每个节点对应一个人脸或人体特征向量；
获取一个或多个监控任务，并将所述一个或多个监控任务映射至所述行为树的根节点中；按照所述一个或多个监控任务从根节点遍历整个树，并根据遍历结果确定一个或多个目标对象的运动信息。
可选地，获取包含有所述一个或多个目标对象的证件照或获取摄像机采集的包含有所述一个或多个目标对象的图像，并将其作为目标图像；
根据所述目标图像建立一个或多个监控任务，将所述一个或多个监控任务映射至所述行为树的根节点中；
把所述目标图像输入至所述行为树的根节点中，并从根节点开始对整个行为树的节点进行遍历；
对每个行为节点中映射的人脸或人体特征向量与目标图像进行比对识别；
筛选出识别成功的一个或多个行为节点，并根据筛选的一个或多个行为节点确定所述一个或多个目标对象的运动信息。
可选地，将目标图像与每个行为节点中映射的人脸或人体特征向量进行比对，包括有：
将目标图像与所有行为节点分输入至少两个深度神经网络中，使所述目标图像与每个节点中映射的人脸或人体特征向量同时映射至同一比对空间中；
在所述比对空间中根据所述行为节点中映射的人脸或人体特征向量识别所述目标图像；
获取能够识别出所述目标图像的行为节点，根据所述行为节点确定所述一个或多个目标对象的运动信息。
可选地，所述图像包括单帧或多帧图像，所述多帧图像包括一个或多个连续帧图像、多个单帧图像；
获取包含有一个或多个人脸或人体的单帧或多帧图像；
将包含有所述一个或多个人脸或人体的某一帧图像输入至分层矢量化模型中，获得该帧图像对应的人脸或人体特征向量。
可选地，将包含有一个或多个人脸或人体的某一帧图像输入至所述分层矢量化模型中；
对包含有一个或多个人脸或人体的所述某一帧图像进行分割，分割为一个或多个图像块；
提取每一个图像块的局部特征，根据所述局部特征获取每一个图像块的局部特征描述子；
对所述每一个图像块的局部特征描述子进行量化，生成图像块特征字典；
根据所述图像块特征字典与所述某一帧图像的映射，编码形成所述某一帧图像的人脸或人体特征向量；
获取所述某一帧图像的人脸或人体特征向量。
可选地，所述运动信息包括以下至少之一：运动时间、运动地理位置。
可选地，还包括：基于所述运动时间、运动地理位置绘制所述一个或多个目标对象的运动轨迹，实时监控所述一个或多个目标对象。
本发明还提供一种基于行为树的辅助监控系统控制策略实现系统，包括：
图像采集模块，用于获取包含有一个或多个人脸或人体的图像；
特征采集模块，用于将包含有所述一个或多个人脸或人体的图像输入至分层矢量化模型中，获得所述图像的人脸或人体特征向量；
行为树模块，用于获取包含有多个行为节点的行为树；
特征映射模块，用于将所述图像的人脸或人体特征向量映射至所述行为树中，使所述行为树中的每个节点对应一个人脸或人体特征向量；
监控模块，用于获取一个或多个监控任务，并将所述一个或多个监控任务映射至所述行为树的根节点中；按照所述一个或多个监控任务从根节点遍历整个树，并根据遍历结果确定一个或多个目标对象的运动信息。
可选地，获取包含有所述一个或多个目标对象的证件照或获取摄像机采集的包含有所述一个或多个目标对象的图像，并将其作为目标图像；
根据所述目标图像建立一个或多个监控任务，将所述一个或多个监控任务映射至所述行为树的根节点中；
把所述目标图像输入至所述行为树的根节点中，并从根节点开始对整个行为树的节点进行遍历；
对每个行为节点中映射的人脸或人体特征向量与目标图像进行比对识别；
筛选出识别成功的一个或多个行为节点，并根据筛选的一个或多个行为节点确定所述一个或多个目标对象的运动信息。
可选地，将目标图像与每个行为节点中映射的人脸或人体特征向量进行比对，包括有：
将目标图像与所有行为节点分输入至少两个深度神经网络中，使所述目标图像与每个节点中映射的人脸或人体特征向量同时映射至同一比对空间中；
在所述比对空间中根据所述行为节点中映射的人脸或人体特征向量识别所述目标图像；
获取能够识别出所述目标图像的行为节点，根据所述行为节点确定所述一个或多个目标对象的运动信息。
如上，本发明提供一种基于行为树的辅助监控系统控制策略实现方法及系统，具有以下有益效果：通过获取包含有一个或多个人脸或人体的图像；将包含有一个或多个人脸或人体的图像输入至分层矢量化模型中，获得图像的人脸或人体特征向量；获取包含有多个行为节点的行为树；将图像的人脸或人体特征向量映射至行为树中，使行为树中的每个节点对应一个人脸或人体特征向量；获取一个或多个监控任务，并将一个或多个监控任务映射至行为树的根节点中；按照一个或多个监控任务从根节点遍历整个树，并根据遍历结果确定一个或多个目标对象的运动信息。通过本发明能够识别出单帧或多帧图像中是否包含有一个或多个目标对象的人脸或人体，再判断这单帧或多帧图像来源于何处的图像采集设备，根据图像采集设备对应的地理位置，生成一个或多个目标对象的运动信息，从而可以对一个或多个目标对象进行跨境头跟踪。本发明能够利用一个或多个对象在监控视频下的图像特征来构建该一个或多个对象的完整活动轨迹，实现对该一个或多个对象的跨镜头、跨区域跟踪。若对象为人，本发明能够利用不同行人在监控视频中的人脸或人体特征，来构建不同行人在不同目标区域下的运动轨迹，从而实现对不同行人的跨区域、跨镜头跟踪。并且，本发明还可以在进行跨区域、跨镜头跟踪时进行联动报警，并在报警后根据行踪轨迹对对象进行追踪，实现报警联动控制。
附图说明
图1为一实施例提供的基于行为树的辅助监控系统控制策略实现方法的流程示意图；
图2为一实施例提供的基于行为树的辅助监控系统控制策略实现系统的硬件结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
请参阅图1所示，本发明提供一种基于行为树的辅助监控系统控制策略实现方法，包括以下步骤：
S100，获取包含有一个或多个人脸或人体的图像；
S200，将包含有一个或多个人脸或人体的图像输入至分层矢量化模型中，获得图像的人脸或人体特征向量；
S300，获取包含有多个行为节点的行为树；
S400，将图像的人脸或人体特征向量映射至行为树中，使行为树中的每个节点对应一个人脸或人体特征向量；
S500，获取一个或多个监控任务，并将一个或多个监控任务映射至行为树的根节点中；按照一个或多个监控任务从根节点遍历整个树，并根据遍历结果确定一个或多个目标对象的运动信息。
通过本方法能够识别出单帧或多帧图像中是否包含有一个或多个目标对象的人脸或人体，再判断这单帧或多帧图像来源于何处的图像采集设备，根据图像采集设备对应的地理位置，生成一个或多个目标对象的运动信息，从而可以对一个或多个目标对象进行跨境头跟踪。本方法能够利用一个或多个对象在监控视频下的图像特征来构建该一个或多个对象的完整活动轨迹，实现对该一个或多个对象的跨镜头、跨区域跟踪。若对象为人，本方法能够利用不同行人在监控视频中的人脸或人体特征，来构建不同行人在不同目标区域下的运动轨迹，从而实现对不同行人的跨区域、跨镜头跟踪。
在一示例性实施例中，获取包含有一个或多个目标对象的证件照或获取摄像机采集的包含有一个或多个目标对象的图像，并将其作为目标图像；
根据目标图像建立一个或多个监控任务，将一个或多个监控任务映射至行为树的根节点中；
把目标图像输入至行为树的根节点中，并从根节点开始对整个行为树的节点进行遍历；
对每个行为节点中映射的人脸或人体特征向量与目标图像进行比对识别；
筛选出识别成功的一个或多个行为节点，并根据筛选的一个或多个行为节点确定一个或多个目标对象的运动信息。
本申请实施例中，若识别出行为节点映射的人脸或人体特征向量与目标对象的一致，则进行报警联动控制；同时对待控制对象进行统一加锁，并对加锁后的对象进行跟踪；完成跟踪或取消跟踪后，再对控制对象进行解锁。其中，本申请实施例中的加锁和解锁可以根据行为节点的优先级策略进行选择，先选择优先级较高的行为节点，其次选择优先级次高的，最后再选择优先级低的行为节点。同时，本发明通过将目标图像输入至行为树的根节点中，在进行报警联动控制时，支持串行、并行、条件选择等流程控制。
本申请实施例中，将目标图像与每个行为节点中映射的人脸或人体特征向量进行比对，包括有：
将目标图像与所有行为节点分输入至少两个深度神经网络中，使目标图像与每个节点中映射的人脸或人体特征向量同时映射至同一比对空间中；
在比对空间中根据行为节点中映射的人脸或人体特征向量识别目标图像；
获取能够识别出目标图像的行为节点，根据行为节点确定一个或多个目标对象的运动信息。
本方法预先将与目标对象相关的单帧或多帧图像输入至分层矢量化模型中来获取对应的人脸或人体特征向量，并将对应的人脸或人体特征向量映射至行为树中的行为节点中。再将包含有目标对象的证件照或摄像机采集的包含有目标对象的图像作为目标图像，同时将行为节点和目标图像映射输入至两个深度神经网络中，使得目标图像与每个节点中映射的人脸或人体特征向量同时映射至同一比对空间中；在比对空间中根据行为节点中映射的人脸或人体特征向量识别目标图像；获取能够识别出目标图像的行为节点，根据行为节点确定一个或多个目标对象的运动信息。
在一些示例性实施例中，图像包括单帧或多帧图像，多帧图像包括一个或多个连续帧图像、多个单帧图像；
获取包含有一个或多个人脸或人体的单帧或多帧图像；
将包含有一个或多个人脸或人体的某一帧图像输入至分层矢量化模型中，获得该帧图像对应的人脸或人体特征向量。
具体地，将包含有一个或多个人脸或人体的某一帧图像输入至分层矢量化模型中；
对包含有一个或多个人脸或人体的某一帧图像进行分割，分割为一个或多个图像块；
提取每一个图像块的局部特征，根据局部特征获取每一个图像块的局部特征描述子；
对每一个图像块的局部特征描述子进行量化，生成图像块特征字典；
根据图像块特征字典与某一帧图像的映射，编码形成某一帧图像的人脸或人体特征向量；
获取某一帧图像的人脸或人体特征向量。
作为示例，将包含有一个或多个人脸或人体的所述某一帧图像输入至所述分层矢量化模型中；分层矢量化模型中的每一层包括有一个或多个训练完成后的深度神经网络。
对包含有一个或多个人脸或人体的所述某一帧图像进行分割，分割为一个或多个图像块；
提取每一个图像块的局部特征，根据所述局部特征获取每一个图像块的局部特征描述子；其中，本申请实施例中的局部特征包括以下至少之一：眼睛的形状、鼻子的形状、嘴的形状、眼睛的间隔距离、五官的位置、脸的轮廓。作为示例，在计算机人脸识别过程中，可以将人脸的明显外在特征：眼睛大小形状(例如丹凤眼、浓眉大眼等)、鼻子形状(例如鹰钩鼻、平鼻等)、嘴的大小形状(例如樱桃小嘴等)作为第一层；将眼睛的距离、五官的位置、脸的轮廓等作为第二层。
对所述每一个图像块的局部特征描述子进行量化，生成图像块特征字典；
根据所述图像块特征字典与所述某一帧图像的映射，编码形成所述某一帧图像的人脸或人体特征向量；
获取所述某一帧图像的人脸或人体特征向量，作为示例，本申请将某一帧图像的人脸或人体特征向量定义为人脸或人体DNA。其中，人脸或人体特征向量不受干扰因素的影响，所述干扰因素包括以下至少之一：光照、遮挡、角度、年龄、种族。
根据上述记载，运动信息包括以下至少之一：运动时间、运动地理位置。还包括：基于运动时间、运动地理位置绘制一个或多个目标对象的运动轨迹，实时监控一个或多个目标对象。具体地，先获取一个或多个摄像机拍摄的一个或多个视频，再确定这些视频中的每一帧图像所呈现出的画面中是否包含有一个或多个目标对象的人脸或人体。如果某些视频中的某些帧图像所呈现出的画面中包含有一个或多个目标对象的人脸或人体，则根据这些图像画面确定一个或多个目标对象的运动时间和运动地理位置。作为示例，例如获取某一居民区中其中5个摄像机拍摄的视频，每个摄像机均拍摄有一段视频，人工观看这5段视频中是否存在人脸或人体，剪切出这5段视频中存在人脸或人体的视频片段，再将存在人脸或人体的视频片段切分为一帧一帧包含有人脸或人体的图像，然后将每一帧包含有人脸或人体的图像输入至分层矢量化模型中，获取所述每一帧图像的人脸或人体特征向量；根据每一帧图像的人脸或人体特征向量，识别所述某一帧图像中是否包含有一个或多个目标对象的人脸或人体。其中，分层矢量化模型中的每一层包括有一个或多个训练完成后的深度神经网络，深度神经网络根据包含有目标对象的人脸或人体的图像进行训练。若识别出某些视频片段存在一个或多个目标对象的人脸或人体，直接从视频片段中获得这一个或多个目标对象的运动时间，再判断这些视频片段来源于哪些摄像机，根据摄像机的安装位置，则可以大致得到这一个或多个目标对象的运动地理位置；从而可以对这一个或多个目标对象实现跨镜头跟踪。其中，本申请实施例中的目标对象是人，例如失踪的小孩、存在某种状态的嫌疑人等。
请参阅图2所示，本发明还提供一种基于行为树的辅助监控系统控制策略实现系统，包括：
图像采集模块M10，用于获取包含有一个或多个人脸或人体的图像；
特征采集模块M20，用于将包含有一个或多个人脸或人体的图像输入至分层矢量化模型中，获得图像的人脸或人体特征向量；
行为树模块M30，用于获取包含有多个行为节点的行为树；
特征映射模块M40，用于将图像的人脸或人体特征向量映射至行为树中，使行为树中的每个节点对应一个人脸或人体特征向量；
监控模块M50，用于获取一个或多个监控任务，并将一个或多个监控任务映射至行为树的根节点中；按照一个或多个监控任务从根节点遍历整个树，并根据遍历结果确定一个或多个目标对象的运动信息。
通过本系统能够识别出单帧或多帧图像中是否包含有一个或多个目标对象的人脸或人体，再判断这单帧或多帧图像来源于何处的图像采集设备，根据图像采集设备对应的地理位置，生成一个或多个目标对象的运动信息，从而可以对一个或多个目标对象进行跨境头跟踪。本系统能够利用一个或多个对象在监控视频下的图像特征来构建该一个或多个对象的完整活动轨迹，实现对该一个或多个对象的跨镜头、跨区域跟踪。若对象为人，本系统能够利用不同行人在监控视频中的人脸或人体特征，来构建不同行人在不同目标区域下的运动轨迹，从而实现对不同行人的跨区域、跨镜头跟踪。
在一示例性实施例中，获取包含有一个或多个目标对象的证件照或获取摄像机采集的包含有一个或多个目标对象的图像，并将其作为目标图像；
根据目标图像建立一个或多个监控任务，将一个或多个监控任务映射至行为树的根节点中；
把目标图像输入至行为树的根节点中，并从根节点开始对整个行为树的节点进行遍历；
对每个行为节点中映射的人脸或人体特征向量与目标图像进行比对识别；
筛选出识别成功的一个或多个行为节点，并根据筛选的一个或多个行为节点确定一个或多个目标对象的运动信息。
本申请实施例中，若识别出行为节点映射的人脸或人体特征向量与目标对象的一致，则进行报警联动控制；同时对待控制对象进行统一加锁，并对加锁后的对象进行跟踪；完成跟踪或取消跟踪后，再对控制对象进行解锁。其中，本申请实施例中的加锁和解锁可以根据行为节点的优先级策略进行选择，先选择优先级较高的行为节点，其次选择优先级次高的，最后再选择优先级低的行为节点。同时，本发明通过将目标图像输入至行为树的根节点中，在进行报警联动控制时，支持串行、并行、条件选择等流程控制。
本申请实施例中，将目标图像与每个行为节点中映射的人脸或人体特征向量进行比对，包括有：
将目标图像与所有行为节点分输入至少两个深度神经网络中，使目标图像与每个节点中映射的人脸或人体特征向量同时映射至同一比对空间中；
在比对空间中根据行为节点中映射的人脸或人体特征向量识别目标图像；
获取能够识别出目标图像的行为节点，根据行为节点确定一个或多个目标对象的运动信息。
本系统预先将与目标对象相关的单帧或多帧图像输入至分层矢量化模型中来获取对应的人脸或人体特征向量，并将对应的人脸或人体特征向量映射至行为树中的行为节点中。再将包含有目标对象的证件照或摄像机采集的包含有目标对象的图像作为目标图像，同时将行为节点和目标图像映射输入至两个深度神经网络中，使得目标图像与每个节点中映射的人脸或人体特征向量同时映射至同一比对空间中；在比对空间中根据行为节点中映射的人脸或人体特征向量识别目标图像；获取能够识别出目标图像的行为节点，根据行为节点确定一个或多个目标对象的运动信息。
在一些示例性实施例中，图像包括单帧或多帧图像，多帧图像包括一个或多个连续帧图像、多个单帧图像；
获取包含有一个或多个人脸或人体的单帧或多帧图像；
将包含有一个或多个人脸或人体的某一帧图像输入至分层矢量化模型中，获得该帧图像对应的人脸或人体特征向量。
具体地，将包含有一个或多个人脸或人体的某一帧图像输入至分层矢量化模型中；
对包含有一个或多个人脸或人体的某一帧图像进行分割，分割为一个或多个图像块；
提取每一个图像块的局部特征，根据局部特征获取每一个图像块的局部特征描述子；
对每一个图像块的局部特征描述子进行量化，生成图像块特征字典；
根据图像块特征字典与某一帧图像的映射，编码形成某一帧图像的人脸或人体特征向量；
获取某一帧图像的人脸或人体特征向量。
作为示例，将包含有一个或多个人脸或人体的所述某一帧图像输入至所述分层矢量化模型中；分层矢量化模型中的每一层包括有一个或多个训练完成后的深度神经网络。
对包含有一个或多个人脸或人体的所述某一帧图像进行分割，分割为一个或多个图像块；
提取每一个图像块的局部特征，根据所述局部特征获取每一个图像块的局部特征描述子；其中，本申请实施例中的局部特征包括以下至少之一：眼睛的形状、鼻子的形状、嘴的形状、眼睛的间隔距离、五官的位置、脸的轮廓。作为示例，在计算机人脸识别过程中，可以将人脸的明显外在特征：眼睛大小形状(例如丹凤眼、浓眉大眼等)、鼻子形状(例如鹰钩鼻、平鼻等)、嘴的大小形状(例如樱桃小嘴等)作为第一层；将眼睛的距离、五官的位置、脸的轮廓等作为第二层。
对所述每一个图像块的局部特征描述子进行量化，生成图像块特征字典；
根据所述图像块特征字典与所述某一帧图像的映射，编码形成所述某一帧图像的人脸或人体特征向量；
获取所述某一帧图像的人脸或人体特征向量，作为示例，本申请将某一帧图像的人脸或人体特征向量定义为人脸或人体DNA。其中，人脸或人体特征向量不受干扰因素的影响，所述干扰因素包括以下至少之一：光照、遮挡、角度、年龄、种族。
根据上述记载，运动信息包括以下至少之一：运动时间、运动地理位置。还包括：基于运动时间、运动地理位置绘制一个或多个目标对象的运动轨迹，实时监控一个或多个目标对象。具体地，先获取一个或多个摄像机拍摄的一个或多个视频，再确定这些视频中的每一帧图像所呈现出的画面中是否包含有一个或多个目标对象的人脸或人体。如果某些视频中的某些帧图像所呈现出的画面中包含有一个或多个目标对象的人脸或人体，则根据这些图像画面确定一个或多个目标对象的运动时间和运动地理位置。作为示例，例如获取某一居民区中其中5个摄像机拍摄的视频，每个摄像机均拍摄有一段视频，人工观看这5段视频中是否存在人脸或人体，剪切出这5段视频中存在人脸或人体的视频片段，再将存在人脸或人体的视频片段切分为一帧一帧包含有人脸或人体的图像，然后将每一帧包含有人脸或人体的图像输入至分层矢量化模型中，获取所述每一帧图像的人脸或人体特征向量；根据每一帧图像的人脸或人体特征向量，识别所述某一帧图像中是否包含有一个或多个目标对象的人脸或人体。其中，分层矢量化模型中的每一层包括有一个或多个训练完成后的深度神经网络，深度神经网络根据包含有目标对象的人脸或人体的图像进行训练。若识别出某些视频片段存在一个或多个目标对象的人脸或人体，直接从视频片段中获得这一个或多个目标对象的运动时间，再判断这些视频片段来源于哪些摄像机，根据摄像机的安装位置，则可以大致得到这一个或多个目标对象的运动地理位置；从而可以对这一个或多个目标对象实现跨镜头跟踪。其中，本申请实施例中的目标对象是人，例如失踪的小孩、存在某种状态的嫌疑人等。
本发明提供一种基于行为树的辅助监控系统控制策略实现方法及系统，通过获取包含有一个或多个人脸或人体的图像；将包含有一个或多个人脸或人体的图像输入至分层矢量化模型中，获得图像的人脸或人体特征向量；获取包含有多个行为节点的行为树；将图像的人脸或人体特征向量映射至行为树中，使行为树中的每个节点对应一个人脸或人体特征向量；获取一个或多个监控任务，并将一个或多个监控任务映射至行为树的根节点中；按照一个或多个监控任务从根节点遍历整个树，并根据遍历结果确定一个或多个目标对象的运动信息。通过本发明能够识别出单帧或多帧图像中是否包含有一个或多个目标对象的人脸或人体，再判断这单帧或多帧图像来源于何处的图像采集设备，根据图像采集设备对应的地理位置，生成一个或多个目标对象的运动信息，从而可以对一个或多个目标对象进行跨境头跟踪。本发明能够利用一个或多个对象在监控视频下的图像特征来构建该一个或多个对象的完整活动轨迹，实现对该一个或多个对象的跨镜头、跨区域跟踪。若对象为人，本发明能够利用不同行人在监控视频中的人脸或人体特征，来构建不同行人在不同目标区域下的运动轨迹，从而实现对不同行人的跨区域、跨镜头跟踪。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (6)

1.一种基于行为树的辅助监控系统控制策略实现方法，其特征在于，包括以下步骤：
获取包含有一个或多个人脸或人体的图像；
将包含有所述一个或多个人脸或人体的图像输入至分层矢量化模型中，获得所述图像的人脸或人体特征向量；
获取包含有多个行为节点的行为树；
将所述图像的人脸或人体特征向量映射至所述行为树中，使所述行为树中的每个节点对应一个人脸或人体特征向量；
获取一个或多个监控任务，并将所述一个或多个监控任务映射至所述行为树的根节点中；按照所述一个或多个监控任务从根节点遍历整个树，并根据遍历结果确定一个或多个目标对象的运动信息；包括：获取包含有所述一个或多个目标对象的证件照或获取摄像机采集的包含有所述一个或多个目标对象的图像，并将其作为目标图像；
根据所述目标图像建立一个或多个监控任务，将所述一个或多个监控任务映射至所述行为树的根节点中；
把所述目标图像输入至所述行为树的根节点中，并从根节点开始对整个行为树的节点进行遍历；
对每个行为节点中映射的人脸或人体特征向量与目标图像进行比对识别；
筛选出识别成功的一个或多个行为节点，并根据筛选的一个或多个行为节点确定所述一个或多个目标对象的运动信息；将目标图像与每个行为节点中映射的人脸或人体特征向量进行比对，包括有：
将目标图像与所有行为节点分输入至少两个深度神经网络中，使所述目标图像与每个节点中映射的人脸或人体特征向量同时映射至同一比对空间中；
在所述比对空间中根据所述行为节点中映射的人脸或人体特征向量识别所述目标图像；
获取能够识别出所述目标图像的行为节点，根据所述行为节点确定所述一个或多个目标对象的运动信息。
2.根据权利要求1所述的基于行为树的辅助监控系统控制策略实现方法，其特征在于，所述图像包括单帧或多帧图像，所述多帧图像包括一个或多个连续帧图像、多个单帧图像；
获取包含有一个或多个人脸或人体的单帧或多帧图像；
将包含有所述一个或多个人脸或人体的某一帧图像输入至分层矢量化模型中，获得该帧图像对应的人脸或人体特征向量。
3.根据权利要求2所述的基于行为树的辅助监控系统控制策略实现方法，其特征在于，将包含有一个或多个人脸或人体的某一帧图像输入至所述分层矢量化模型中；
对包含有一个或多个人脸或人体的所述某一帧图像进行分割，分割为一个或多个图像块；
提取每一个图像块的局部特征，根据所述局部特征获取每一个图像块的局部特征描述子；
对所述每一个图像块的局部特征描述子进行量化，生成图像块特征字典；
根据所述图像块特征字典与所述某一帧图像的映射，编码形成所述某一帧图像的人脸或人体特征向量；
获取所述某一帧图像的人脸或人体特征向量。
4.根据权利要求1所述的基于行为树的辅助监控系统控制策略实现方法，其特征在于，所述运动信息包括以下至少之一：运动时间、运动地理位置。
5.根据权利要求4所述的基于行为树的辅助监控系统控制策略实现方法，其特征在于，还包括：基于所述运动时间、运动地理位置绘制所述一个或多个目标对象的运动轨迹，实时监控所述一个或多个目标对象。
6.一种基于行为树的辅助监控系统控制策略实现系统，其特征在于，包括：
图像采集模块，用于获取包含有一个或多个人脸或人体的图像；
特征采集模块，用于将包含有所述一个或多个人脸或人体的图像输入至分层矢量化模型中，获得所述图像的人脸或人体特征向量；
行为树模块，用于获取包含有多个行为节点的行为树；
特征映射模块，用于将所述图像的人脸或人体特征向量映射至所述行为树中，使所述行为树中的每个节点对应一个人脸或人体特征向量；
监控模块，用于获取一个或多个监控任务，并将所述一个或多个监控任务映射至所述行为树的根节点中；按照所述一个或多个监控任务从根节点遍历整个树，并根据遍历结果确定一个或多个目标对象的运动信息；包括：获取包含有所述一个或多个目标对象的证件照或获取摄像机采集的包含有所述一个或多个目标对象的图像，并将其作为目标图像；
根据所述目标图像建立一个或多个监控任务，将所述一个或多个监控任务映射至所述行为树的根节点中；
把所述目标图像输入至所述行为树的根节点中，并从根节点开始对整个行为树的节点进行遍历；
对每个行为节点中映射的人脸或人体特征向量与目标图像进行比对识别；
筛选出识别成功的一个或多个行为节点，并根据筛选的一个或多个行为节点确定所述一个或多个目标对象的运动信息；
将目标图像与每个行为节点中映射的人脸或人体特征向量进行比对，包括有：
将目标图像与所有行为节点分输入至少两个深度神经网络中，使所述目标图像与每个节点中映射的人脸或人体特征向量同时映射至同一比对空间中；
在所述比对空间中根据所述行为节点中映射的人脸或人体特征向量识别所述目标图像；
获取能够识别出所述目标图像的行为节点，根据所述行为节点确定所述一个或多个目标对象的运动信息。
CN202010683228.0A 2020-07-15 2020-07-15 一种基于行为树的辅助监控系统控制策略实现方法及系统 Active CN111899281B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010683228.0A CN111899281B (zh) 2020-07-15 2020-07-15 一种基于行为树的辅助监控系统控制策略实现方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010683228.0A CN111899281B (zh) 2020-07-15 2020-07-15 一种基于行为树的辅助监控系统控制策略实现方法及系统

Publications (2)

Publication Number Publication Date
CN111899281A CN111899281A (zh) 2020-11-06
CN111899281B true CN111899281B (zh) 2023-10-31

Family

ID=73192033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010683228.0A Active CN111899281B (zh) 2020-07-15 2020-07-15 一种基于行为树的辅助监控系统控制策略实现方法及系统

Country Status (1)

Country Link
CN (1) CN111899281B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6144755A (en) * 1996-10-11 2000-11-07 Mitsubishi Electric Information Technology Center America, Inc. (Ita) Method and apparatus for determining poses
CN106169188A (zh) * 2016-07-11 2016-11-30 西南交通大学 一种基于蒙特卡洛树搜索的对象跟踪方法
CN106250100A (zh) * 2016-08-15 2016-12-21 腾讯科技（深圳）有限公司 系统逻辑控制方法及装置
WO2018126275A1 (en) * 2016-12-30 2018-07-05 Dirk Schneemann, LLC Modeling and learning character traits and medical condition based on 3d facial features
CN108434740A (zh) * 2018-03-23 2018-08-24 腾讯科技（深圳）有限公司 一种策略信息确定的方法及装置
CN108710856A (zh) * 2018-05-22 2018-10-26 河南亚视软件技术有限公司 一种基于视频流的人脸识别方法
WO2019071664A1 (zh) * 2017-10-09 2019-04-18 平安科技（深圳）有限公司 结合深度信息的人脸识别方法、装置及存储介质
CN109671023A (zh) * 2019-01-24 2019-04-23 江苏大学 一种人脸图像超分辨率二次重建方法
CN110377040A (zh) * 2019-07-31 2019-10-25 北京智行者科技有限公司 基于行为树的自动驾驶决策方法及装置
CN110458796A (zh) * 2019-06-10 2019-11-15 腾讯科技（深圳）有限公司 一种图像标注方法、装置和存储介质
CN110533700A (zh) * 2019-08-30 2019-12-03 腾讯科技（深圳）有限公司 对象跟踪方法和装置、存储介质及电子装置
CN111107319A (zh) * 2019-12-25 2020-05-05 眸芯科技（上海）有限公司 基于区域摄像头的目标追踪方法、装置及系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6144755A (en) * 1996-10-11 2000-11-07 Mitsubishi Electric Information Technology Center America, Inc. (Ita) Method and apparatus for determining poses
CN106169188A (zh) * 2016-07-11 2016-11-30 西南交通大学 一种基于蒙特卡洛树搜索的对象跟踪方法
CN106250100A (zh) * 2016-08-15 2016-12-21 腾讯科技（深圳）有限公司 系统逻辑控制方法及装置
WO2018126275A1 (en) * 2016-12-30 2018-07-05 Dirk Schneemann, LLC Modeling and learning character traits and medical condition based on 3d facial features
WO2019071664A1 (zh) * 2017-10-09 2019-04-18 平安科技（深圳）有限公司 结合深度信息的人脸识别方法、装置及存储介质
CN108434740A (zh) * 2018-03-23 2018-08-24 腾讯科技（深圳）有限公司 一种策略信息确定的方法及装置
CN108710856A (zh) * 2018-05-22 2018-10-26 河南亚视软件技术有限公司 一种基于视频流的人脸识别方法
CN109671023A (zh) * 2019-01-24 2019-04-23 江苏大学 一种人脸图像超分辨率二次重建方法
CN110458796A (zh) * 2019-06-10 2019-11-15 腾讯科技（深圳）有限公司 一种图像标注方法、装置和存储介质
CN110377040A (zh) * 2019-07-31 2019-10-25 北京智行者科技有限公司 基于行为树的自动驾驶决策方法及装置
CN110533700A (zh) * 2019-08-30 2019-12-03 腾讯科技（深圳）有限公司 对象跟踪方法和装置、存储介质及电子装置
CN111107319A (zh) * 2019-12-25 2020-05-05 眸芯科技（上海）有限公司 基于区域摄像头的目标追踪方法、装置及系统

Also Published As

Publication number Publication date
CN111899281A (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN109819208B (zh) 一种基于人工智能动态监控的密集人群安防监控管理方法
CN109508684B (zh) 一种视频中人体行为识别的方法
CN104915655A (zh) 一种多路监控视频的管理方法与设备
CN112053391B (zh) 一种基于动态三维模型的监控预警方法、系统及存储介质
CN107004271A (zh) 显示方法、装置、电子设备、计算机程序产品和非暂态计算机可读存储介质
CN111199556A (zh) 基于摄像头的室内行人检测和跟踪方法
CN109948474A (zh) Ai热成像全天候智能监控方法
CN115019241B (zh) 一种行人识别与追踪方法、装置、可读存储介质及设备
Saif et al. Crowd density estimation from autonomous drones using deep learning: challenges and applications
CN111126411B (zh) 一种异常行为识别方法及装置
CN113065506B (zh) 一种人体姿态识别方法及系统
CN116824641B (zh) 姿态分类方法、装置、设备和计算机存储介质
CN111899281B (zh) 一种基于行为树的辅助监控系统控制策略实现方法及系统
CN110276233A (zh) 一种基于深度学习的多相机协同跟踪系统
CN112069997A (zh) 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置
CN111667507A (zh) 一种高速公路车辆轨迹跟踪方法
CN117710874A (zh) 目标区域的火灾识别方法、装置、设备及存储介质
CN117253166A (zh) 基于海量视频的校园安全跨域跟踪方法及系统
CN113743380B (zh) 一种基于视频图像动态监测的主动跟踪方法
CN112766033B (zh) 一种基于多视角相机估计场景下行人共同关注目标的方法
CN116012609A (zh) 一种环视鱼眼多目标跟踪方法、装置、电子设备及介质
CN112818743B (zh) 图像识别的方法、装置、电子设备及计算机存储介质
Psarras et al. Visual saliency in navigation: Modelling navigational behaviour using saliency and depth analysis
Yang et al. Visual-GPS: ego-downward and ambient video based person location association
CN112507803A (zh) 一种基于双流网络的步态识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220216

Address after: 100083 floor 1-3, No. 25, Qinghua East Road, Haidian District, Beijing

Applicant after: BEIJING HOLLYSYS Co.,Ltd.

Address before: Room 109, 1f, No. 9, Kexing Road, Fengtai District, Beijing 100070 (Park)

Applicant before: Beijing Sifang Technology Development Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant