[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN113160273A - 一种基于多目标跟踪的监控视频智能分段方法 - Google Patents

一种基于多目标跟踪的监控视频智能分段方法 Download PDF

Info

Publication number
CN113160273A
CN113160273A CN202110320711.7A CN202110320711A CN113160273A CN 113160273 A CN113160273 A CN 113160273A CN 202110320711 A CN202110320711 A CN 202110320711A CN 113160273 A CN113160273 A CN 113160273A
Authority
CN
China
Prior art keywords
video
target
segmentation
speed
target tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110320711.7A
Other languages
English (en)
Inventor
周培培
侯幸林
俞霖
周慧敏
张丽萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Institute of Technology
Original Assignee
Changzhou Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Institute of Technology filed Critical Changzhou Institute of Technology
Priority to CN202110320711.7A priority Critical patent/CN113160273A/zh
Publication of CN113160273A publication Critical patent/CN113160273A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种基于多目标跟踪的监控视频智能分段方法，步骤包括：多目标跟踪：对监控视频中的多目标进行跟踪，取得不同目标的运动轨迹点的位置坐标；计算目标速度：以运动轨迹点为参照，计算每个轨迹点处目标的速度大小和速度方向；视频智能分段：首先把速度大小或方向变化量超过阈值的轨迹点作为视频分割结点，对长视频进行初次分段，然后初次分段后大于设定帧数阈值的视频，按固定帧数进行平均分段。本发明以多目标跟踪轨迹为基础，以事件为导向进行对视频进行智能分段，可以有效避免关键事件的漏检。

Description

一种基于多目标跟踪的监控视频智能分段方法
技术领域
本发明涉及视频分段技术，特别是一种基于多目标跟踪的监控视频智能分段方法。
背景技术
随着目标跟踪技术的日趋成熟，研究人员可以对视频中的多目标同时跟踪[如文献1-5]， 为视频分段技术的实现提供了一种解决路径。
[1]Bewley A,Ge Z,Ott L,et al.Simple Online and Realtime Tracking[C]//2016IEEE International Conference on Image Processing(ICIP).IEEE,2016.
[2]Wojke N,Bewley A,Paulus D.Simple online and realtime tracking witha deep association metric[C]//2017IEEE international conference on imageprocessing(ICIP).IEEE,2017: 3645-3649.
[3]Son J,Baek M,Cho M,et al.Multi-object tracking with quadrupletconvolutional neural networks[C]//Proceedings of the IEEE conference oncomputer vision and pattern recognition.2017: 5620-5629.
[4]Zhu J,Yang H,Liu N,et al.Online multi-object tracking with dualmatching attention networks[C]//Proceedings of the European Conference onComputer Vision(ECCV).2018: 366-382.
[5]Wang Q,Zhang L,Bertinetto L,et al.Fast online object tracking andsegmentation:A unifying approach[C]//Proceedings of the IEEE conference oncomputer vision and pattern recognition.2019: 1328-1338.
目前视频分析任务多在标准视频数据集中进行，标准数据集中的视频多为120帧左右的 小视频，目的偏重于对比视频分析算法的有效性。然而，实际应用中，监控视频多为长达数 小时的长视频，需要提前对长视频分割成为小视频，否则无法直接应用于视频分析任务中。 目前的视频分段方法，多为暴力等分的方法，然而，该方法可能会把关键的动作分到两段小 视频中，严重影响后续的视频分析。
发明内容
针对现有技术中存在的问题，本发明提供了一种以多目标跟踪轨迹为基础，以事件为导 向进行对视频进行智能分段，可以有效避免关键事件的漏检的基于多目标跟踪的监控视频智 能分段方法。
本发明的目的通过以下技术方案实现。
一种基于多目标跟踪的监控视频智能分段方法，步骤包括：
多目标跟踪：对监控视频中的多目标进行跟踪，取得不同目标的运动轨迹点的位置坐标； 计算目标速度：以运动轨迹点为参照，计算每个轨迹点处目标的速度大小和速度方向；
视频智能分段：首先把速度大小或方向变化量超过阈值的轨迹点作为视频分割结点，对长视 频进行初次分段，然后初次分段后大于设定帧数阈值的视频，按固定帧数进行平均分段。
所述多目标跟踪：针对监控视频中的运动目标，所述运动目标包括人及交通工具，为了 在视频分割过程中，不同目标行为的事件同等程度地被照顾到，采用多目标跟踪算法(如简 单快速的SORT(Simple Online And Realtime Tracking)多目标跟踪方法[1]、对遗失和障碍物 更为鲁棒的Deep SORT跟踪算法[2]或其它可对视频图像中的多目标进行跟踪的算法[3-5])， 对监控视频中的目标进行跟踪，并分别标记不同目标的轨迹。
所述计算每个轨迹点处目标的速度大小和速度方向步骤包括：根据视频发生的先后顺 序标记目标的行进方向，该目标连续两帧的轨迹点记为P1和P2，其位置坐标分别为(x1,y1) 和(x2,y2)；计算P2处的速度大小
Figure BDA0002992882630000021
计算P2处的速度方向，令Vx＝x2-x1， Vy＝y2-y1，速度方向的计算方法如下：
Figure BDA0002992882630000022
速度大小变化量阈值设定为当前速度的50％；速度方向变化量的阈值设定为
Figure BDA0002992882630000023
所述设定帧数阈值为150帧。
所述按固定帧数进行平均分段具体为设定平均分段步长，对视频进行平均分段，尾部不 满足一个步长的视频帧则并入最后一段。
相比于现有技术，本发明的优点在于：突发事件多发生在分段后的一个小视频内，更有 益于后续的视频分析任务，尤其针对视频中包含异常事件时，可以极大降低漏检的概率，提 升视频分析的效率。
附图说明
图1为本发明监控视频画面示例；
图2为多目标跟踪后的目标轨迹点示例；
具体实施方式
下面结合说明书附图和具体的实施例，对本发明作详细描述。
实施例1
如图1和2所示，多目标跟踪：针对监控视频中的运动目标，所述运动目标包括人及交 通工具，为了在视频分割过程中，不同目标行为的事件同等程度地被照顾到，采用多目标跟 踪算法(如简单快速的SORT(Simple Online And Realtime Tracking)多目标跟踪方法[1]、对 遗失和障碍物更为鲁棒的Deep SORT跟踪算法[2]或其它可对视频图像中的多目标进行跟踪 的算法[3-5])，对监控视频中的目标进行跟踪，并分别标记不同目标的轨迹；
记录同一目标轨迹点的坐标位置，针对特定目标计算出其每个轨迹点处的速度矢量：
根据视频发生的先后顺序标记目标的行进方向，该目标连续两帧的轨迹点记为P1和P2， 其位置坐标分别为(x1,y1)和(x2,y2)；
计算P2处的速度大小
Figure BDA0002992882630000031
计算P2处的速度方向，令Vx＝x2-x1，Vy＝y2-y1，速度方向的计算方法如下：
Figure BDA0002992882630000032
设定速度标量变化阈值，如当前速度的50％；设定速度方向变化的阈值，如
Figure BDA0002992882630000033
此外， 可针对不同的监控场景、不同的任务需求等设定不同的速度变化阈值；
根据轨迹分段结果对视频进行初次分段，此时，每一段视频内是一个完整的事件；
若初分段的视频帧数大于设定阈值，如150帧，则转入步骤6进行再分段，否则结束；
针对初分段过长的视频片段，进行再分段：设定平均分段步长，对视频进行平均分段， 尾部不满足一个步长的视频帧则并入最后一段。

Claims (6)

1.一种基于多目标跟踪的监控视频智能分段方法，其特征在于步骤包括：
多目标跟踪：对监控视频中的多目标进行跟踪，取得不同目标的运动轨迹点的位置坐标；
计算目标速度：以运动轨迹点为参照，计算每个轨迹点处目标的速度大小和速度方向；
视频智能分段：首先把速度大小或方向变化量超过阈值的轨迹点作为视频分割结点，对长视频进行初次分段，然后初次分段后大于设定帧数阈值的视频，按固定帧数进行平均分段。
2.根据权利要求1所述的一种基于多目标跟踪的监控视频智能分段方法，其特征在于所述多目标跟踪：针对监控视频中的运动目标，所述运动目标包括人及交通工具，为了在视频分割过程中，不同目标行为的事件同等程度地被照顾到，采用多目标跟踪算法对监控视频中的目标进行跟踪，并分别标记不同目标的轨迹。
3.根据权利要求1所述的一种基于多目标跟踪的监控视频智能分段方法，其特征在于所述计算每个轨迹点处目标的速度大小和速度方向步骤包括：根据视频发生的先后顺序标记目标的行进方向，该目标连续两帧的轨迹点记为P1和P2，其位置坐标分别为(x1,y1)和(x2,y2)；计算P2处的速度大小
Figure FDA0002992882620000011
计算P2处的速度方向，令Vx＝x2-x1，Vy＝y2-y1，速度方向的计算方法如下：
Figure FDA0002992882620000012
4.根据权利要求1所述的一种基于多目标跟踪的监控视频智能分段方法，其特征在于速度大小变化量阈值设定为当前速度的50％；速度方向变化量的阈值设定为
Figure FDA0002992882620000013
5.根据权利要求1所述的一种基于多目标跟踪的监控视频智能分段方法，其特征在于所述设定帧数阈值为150帧。
6.根据权利要求1所述的一种基于多目标跟踪的监控视频智能分段方法，其特征在于所述按固定帧数进行平均分段具体为设定平均分段步长，对视频进行平均分段，尾部不满足一个步长的视频帧则并入最后一段。
CN202110320711.7A 2021-03-25 2021-03-25 一种基于多目标跟踪的监控视频智能分段方法 Pending CN113160273A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110320711.7A CN113160273A (zh) 2021-03-25 2021-03-25 一种基于多目标跟踪的监控视频智能分段方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110320711.7A CN113160273A (zh) 2021-03-25 2021-03-25 一种基于多目标跟踪的监控视频智能分段方法

Publications (1)

Publication Number Publication Date
CN113160273A true CN113160273A (zh) 2021-07-23

Family

ID=76884796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110320711.7A Pending CN113160273A (zh) 2021-03-25 2021-03-25 一种基于多目标跟踪的监控视频智能分段方法

Country Status (1)

Country Link
CN (1) CN113160273A (zh)

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6493042B1 (en) * 1999-03-18 2002-12-10 Xerox Corporation Feature based hierarchical video segmentation
JP2006352878A (ja) * 2005-06-17 2006-12-28 Fuji Xerox Co Ltd 活動セグメント識別方法、マンガストーリーボード作成方法、マンガストーリーボード生成システム、マンガストーリーボード作成プログラム
US20090109298A1 (en) * 2007-10-30 2009-04-30 Canon Kabushiki Kaisha Method of segmenting videos into a hierarchy of segments
CN101571952A (zh) * 2009-06-18 2009-11-04 北京航空航天大学 一种基于定时段区域补偿的视频对象分割方法
CN102833492A (zh) * 2012-08-01 2012-12-19 天津大学 一种基于颜色相似度的视频场景分割方法
CN102970528A (zh) * 2012-12-28 2013-03-13 北京航空航天大学 基于变化检测和帧差累积的视频对象分割方法
CN103227963A (zh) * 2013-03-20 2013-07-31 西交利物浦大学 基于视频运动目标检测和跟踪的静态监控视频摘要方法
CN103347167A (zh) * 2013-06-20 2013-10-09 上海交通大学 一种基于分段的监控视频内容描述方法
CN103413137A (zh) * 2013-08-05 2013-11-27 浙江大学 基于多规则的交互手势运动轨迹分割方法
CN103971383A (zh) * 2014-05-21 2014-08-06 国家电网公司 一种计算视频图像中目标运动速度的方法
CN104156987A (zh) * 2014-09-10 2014-11-19 成都金盘电子科大多媒体技术有限公司 一种视频内容多目标跟踪方法
CN104954889A (zh) * 2014-03-28 2015-09-30 宇龙计算机通信科技(深圳)有限公司 片头生成方法及生成系统
CN105227907A (zh) * 2015-08-31 2016-01-06 电子科技大学 基于视频的无监督异常事件实时检测方法
CN105513095A (zh) * 2015-12-30 2016-04-20 山东大学 一种行为视频无监督时序分割方法
CN105744356A (zh) * 2016-01-29 2016-07-06 杭州观通科技有限公司 一种基于内容的视频分段方法
CN105930833A (zh) * 2016-05-19 2016-09-07 重庆邮电大学 一种基于视频监控的车辆跟踪与分割方法
CN106127807A (zh) * 2016-06-21 2016-11-16 中国石油大学(华东) 一种实时的视频多类多目标跟踪方法
CN106686452A (zh) * 2016-12-29 2017-05-17 北京奇艺世纪科技有限公司 一种动态图片的生成方法及装置
CN107092349A (zh) * 2017-03-20 2017-08-25 重庆邮电大学 一种基于RealSense的手语识别系统及方法
US20190130585A1 (en) * 2017-11-01 2019-05-02 Adobe Systems Incorporated Detection of partially motion-blurred video frames
CN110826758A (zh) * 2018-08-14 2020-02-21 上海能链众合科技有限公司 行程类型确定方法及装置、存储介质、终端
CN112380999A (zh) * 2020-11-16 2021-02-19 东北大学 一种针对直播过程中诱导性不良行为的检测系统及方法

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6493042B1 (en) * 1999-03-18 2002-12-10 Xerox Corporation Feature based hierarchical video segmentation
JP2006352878A (ja) * 2005-06-17 2006-12-28 Fuji Xerox Co Ltd 活動セグメント識別方法、マンガストーリーボード作成方法、マンガストーリーボード生成システム、マンガストーリーボード作成プログラム
US20090109298A1 (en) * 2007-10-30 2009-04-30 Canon Kabushiki Kaisha Method of segmenting videos into a hierarchy of segments
CN101571952A (zh) * 2009-06-18 2009-11-04 北京航空航天大学 一种基于定时段区域补偿的视频对象分割方法
CN102833492A (zh) * 2012-08-01 2012-12-19 天津大学 一种基于颜色相似度的视频场景分割方法
CN102970528A (zh) * 2012-12-28 2013-03-13 北京航空航天大学 基于变化检测和帧差累积的视频对象分割方法
CN103227963A (zh) * 2013-03-20 2013-07-31 西交利物浦大学 基于视频运动目标检测和跟踪的静态监控视频摘要方法
CN103347167A (zh) * 2013-06-20 2013-10-09 上海交通大学 一种基于分段的监控视频内容描述方法
CN103413137A (zh) * 2013-08-05 2013-11-27 浙江大学 基于多规则的交互手势运动轨迹分割方法
CN104954889A (zh) * 2014-03-28 2015-09-30 宇龙计算机通信科技(深圳)有限公司 片头生成方法及生成系统
CN103971383A (zh) * 2014-05-21 2014-08-06 国家电网公司 一种计算视频图像中目标运动速度的方法
CN104156987A (zh) * 2014-09-10 2014-11-19 成都金盘电子科大多媒体技术有限公司 一种视频内容多目标跟踪方法
CN105227907A (zh) * 2015-08-31 2016-01-06 电子科技大学 基于视频的无监督异常事件实时检测方法
CN105513095A (zh) * 2015-12-30 2016-04-20 山东大学 一种行为视频无监督时序分割方法
CN105744356A (zh) * 2016-01-29 2016-07-06 杭州观通科技有限公司 一种基于内容的视频分段方法
CN105930833A (zh) * 2016-05-19 2016-09-07 重庆邮电大学 一种基于视频监控的车辆跟踪与分割方法
CN106127807A (zh) * 2016-06-21 2016-11-16 中国石油大学(华东) 一种实时的视频多类多目标跟踪方法
CN106686452A (zh) * 2016-12-29 2017-05-17 北京奇艺世纪科技有限公司 一种动态图片的生成方法及装置
CN107092349A (zh) * 2017-03-20 2017-08-25 重庆邮电大学 一种基于RealSense的手语识别系统及方法
US20190130585A1 (en) * 2017-11-01 2019-05-02 Adobe Systems Incorporated Detection of partially motion-blurred video frames
CN110826758A (zh) * 2018-08-14 2020-02-21 上海能链众合科技有限公司 行程类型确定方法及装置、存储介质、终端
CN112380999A (zh) * 2020-11-16 2021-02-19 东北大学 一种针对直播过程中诱导性不良行为的检测系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孙红星;赵楠楠;徐心和;: "一种"时-空"域自动视频分割算法", 东北大学学报(自然科学版), no. 04 *
祝世平;郭智超;高洁;马丽;: "基于Snake活动轮廓模型的视频跟踪分割方法", 光电子.激光, no. 01 *

Similar Documents

Publication Publication Date Title
CN110853078B (zh) 一种基于遮挡对的在线多目标跟踪方法
CN107145862B (zh) 一种基于霍夫森林的多特征匹配多目标跟踪方法
CN110738690A (zh) 一种基于多目标追踪框架的无人机视频中车速校正方法
CN113011367A (zh) 一种基于目标轨迹的异常行为分析方法
CN101493944A (zh) 一种运动目标检测与跟踪的方法和系统
CN112489076B (zh) 一种多目标跟踪方法与系统
CN111353448A (zh) 基于相关性聚类和时空约束的行人多目标跟踪方法
CN116402850A (zh) 一种面向智能驾驶的多目标跟踪方法
CN112561960A (zh) 一种基于轨迹相似性度量学习的多目标跟踪重定位方法
Azari et al. Real time multiple object tracking and occlusion reasoning using adaptive kalman filters
CN113379795A (zh) 一种基于条件卷积和光流特征的多目标跟踪与分割方法
CN108241150B (zh) 一种三维声呐点云环境中的移动物体检测与跟踪方法
Li et al. Fish trajectory extraction based on object detection
Alagarsamy et al. Identifying the Missing People using Deep Learning Method
CN113160273A (zh) 一种基于多目标跟踪的监控视频智能分段方法
CN113592900A (zh) 一种基于注意力机制与全局推理的目标跟踪方法及系统
CN108898614B (zh) 一种基于层次式时空区域合并的物体轨迹提议方法
CN117078718A (zh) 基于DeepSORT的高速公路场景中多目标车辆跟踪方法
Zhang et al. What makes for good multiple object trackers?
Liu et al. Online multi-object tracking under moving unmanned aerial vehicle platform based on object detection and feature extraction network
Xu et al. Object tracking via deep multi-view compressive model for visible and infrared sequences
Wang et al. Object tracking via dual fuzzy low-rank approximation
Shravya et al. A comprehensive survey on multi object tracking under occlusion in aerial image sequences
Sujatha et al. An innovative moving object detection and tracking system by using modified region growing algorithm
Delibaşoğlu Vehicle Detection from Aerial Images with Object and Motion Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210723

WD01 Invention patent application deemed withdrawn after publication