CN103839276A - 一种基于预测的运动跟踪方法 - Google Patents
一种基于预测的运动跟踪方法 Download PDFInfo
- Publication number
- CN103839276A CN103839276A CN201210490994.0A CN201210490994A CN103839276A CN 103839276 A CN103839276 A CN 103839276A CN 201210490994 A CN201210490994 A CN 201210490994A CN 103839276 A CN103839276 A CN 103839276A
- Authority
- CN
- China
- Prior art keywords
- moving object
- motor point
- frame
- speed
- point group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于预测的运动跟踪方法，包括以下步骤：运动物体初始化，运动点团层做运动跟踪；运动物体跟踪，预测阶段根据前一时刻运动物体的位置预测现在时刻运动物体位置，修正阶段找到当前帧运动点团分别属于哪个运动物体；运动物体的消失，矫正目标变化趋势。由于本发明通过预测和修正的方法进行运动点团的跟踪，解决了在运动物体预测位置寻找所有的运动点团时出现的一个运动物体分裂成多个连通区域的问题；由于本发明使用基于预测的运动跟踪，克服了卡尔曼滤波系统的跟踪方式计算量巨大且不能很好的适应了实际的运动变化的缺陷，可以得到复杂运动物体跟踪的清晰结果。
Description
技术领域
本发明涉及一种运动跟踪技术，特别是一种基于预测的运动跟踪方法。
背景技术
目标检测技术是当前研究的一个热点。经过二十多年的发展,目标检测技术已经取得了较大的进展，成为模式识别、图像处理、机器视觉、制导等领域的一个重要课题。目标检测的最终目的是在视频图像序列中，将目标从背景中准确地分离出来，然后在灰度图像序列上提取背景，以及之后提取运动点团、运动跟踪等。
而对于运动跟踪的图像处理中，将一个连通区域称作一个运动点团。在一幅运动点团二值图像中，有很多个连通区域，不论运动物体是否分裂成多个连通区域或者运动物体只是一个连通区域的一部分，在道路场景中，车辆在经过与其某部分颜色接近的道路区域时，与背景作差就会导致一辆车分裂成多个连通区域，即一个运动物体分裂成多个运动点团。道路上的栏杆、灯柱、电线杆等会对经过它们的车辆造成遮挡，也会导致车辆分裂成多个连通区域。如果多辆车行使在一起，那么就会导致在图像中多个车辆成为一个连通区域，即多个运动物体合并成了一个运动点团。因此，我们需要在运动点团上再加一层，再把运动物体跟踪出来。
由此，从运动点团中得到运动物体，基本的思路是充分运用物体的运动信息，即除了运用当前帧的运动点团信息，还要利用之前帧的运动点团信息。卡尔曼滤波是去除时序信号噪声的有效方法，可运用到运动跟踪之中。
但是用卡尔曼滤波做运动跟踪却存在诸多问题：首先，系统噪声矢量的协方差矩阵是必须的，而系统噪声是由运动物体加速度导致，这个协方差矩阵难以确定。观察噪声的协方差矩阵也是必须的，但其难以量化。其次，观测结果采用二维搜索的的方法得到，这是非常费时的方法，因为图像像素数是很大的。最后，在求卡尔曼增益时，需要计算矩阵的逆，如果矩阵的逆不存在，需要计算其广义逆，计算复杂费时。而且每帧图像都有多个运动物体，每个运动物体都要算一次矩阵的逆，计算开销是非常大的。
发明内容
为解决现有技术存在的上述问题，本发明要设计一种基于预测的运动跟踪方法：包括以下步骤：
A、运动物体初始化：
A1、对运动点团层做运动跟踪；
对当前帧的运动点团链表中的每个运动点团元素B：
在前一帧的运动点团链表中找运动点团元素A，使A与B的重叠部分面积大于A或B的一半，
如果满足要求的元素A不存在，则B是新出现的运动点团，其速度为0；
否则，如果满足要求的元素A不止一个，则这是合并情形，B的速度为所有满足要求的元素的速度的平均值；
否则，如果重叠部分面积小于A的一半，则这是分裂情形，B的速度等于A的速度；
否则，计算运动点团B速度：B的最小外接矩形的中心与A的最小外接矩形的中心的矢量差，它有两个分量，分别代表图像中两个方向的速度，单位是像素/采样周期；
B、运动物体跟踪
在运动物体跟踪步骤，分预测和修正阶段；
B1、预测阶段，根据前一时刻运动物体的位置预测现在时刻运动物体位置；假设运动物体前一时刻的位置，设前一时刻运动物体的速度是Vx,Vy，将每个点都位移2Vx,2Vy，得到另一个内框，这两个内框的最小外接矩形即作为当前时刻物体的预测位置；
预测位置包含物体原来位置到两倍前一时刻速度运动后的位置，即适应了实际速度在0到2V的变化，而速度是连续的，前一时刻速度是V，则当前时刻速度大于2V的可能性不大；
B2、修正阶段，目标是找到当前帧运动点团分别属于哪个运动物体；
首先，对当前帧的每个运动点团，在运动物体链表上找预测位置矩形框与运动点团矩形框有交集的运动物体；如果运动点团矩形与运动物体预测位置矩形的重叠面积大于它们之一的1/2，则将其分入此运动物体；
如果有超过一个运动物体满足这个条件，则将运动点团拆分，分入每个运动物体的部分不超过每个运动物体的预测矩形框；如果只有一个运动物体满足条件，则将运动点团全部分入这个运动物体；如果没有运动物体满足条件，则此运动点团是新出现的，对其做运动物体初始化；
接着，对每个运动物体取分到它的所有运动点团的最小外接框作为它的新位置，但要限制每边的边长不能小于预测框的4/5，不能大于预测框的6/5；得到新位置后就可以计算运动物体的新速度了：运动物体框运动速度和前一时刻速度的平均值；
C、运动物体的消失
基于预测的方法，一个运动物体框会越来越大，乃至覆盖了整个图像中的所有运动物体；所以需要通过运动物体的消失步骤解决这个问题；
C1、如果运动物体框中没有运动点团或者运动点团的面积小于一定的像素300像素，并且持续了1/3秒，则运动物体消失，在运动物体链表中去除这个节点；
C2、当运动物体框达到整个图像的1/8时，如果运动物体框中所有运动点团像素总数占运动物体框的比例小于一定值0.7，则前述靠近的物体分离的情况出现，把运动物体链表中的这个节点删除，之后这些分离的运动物体将各自初始化；
如果运动物体框中有多个分离的物体，则其中必有很大空隙，因此以运动物体框很大，超过整个图像1/8，且框中运动点团总数与物体框比例小于0.7作为判断多个物体分离情况出现的条件。
与现有技术相比，本发明具有以下有益效果：
1、由于本发明使用基于预测的运动跟踪，经过运动物体初始化，运动物体跟踪的预测和修正阶段以及运动物体消失阶段，区别于之前的卡尔曼滤波系统的跟踪方式，很好的适应了实际的运动变化，所以可以较好的跟踪出了运动物体，特别是一个运动物体分成几个连通区域的情况，尤其是远处挤在一起的多个运动物体运动到近处后能正确的分离出来。
2、由于本发明通过预测和修正的方法进行运动点团的跟踪，解决了在运动物体预测位置寻找所有的运动点团时出现的一个运动物体分裂成多个连通区域的问题。所以，该方法中一个连通区域可以拆分入不同的运动物体，解决了几个运动物体互相靠近成为一个连通区域的问题。
3、如果使用将卡尔曼滤波用于运动跟踪，在处理由运动物体加速度导致的系统噪声时，协方差矩阵难以确定，观测结果采用二维搜索的的方法得到，系统开销十分巨大。而本发明采用基于卡尔曼滤波系统进行改进的基于预测的运动跟踪方法，不仅算法有很好的健壮性，并且克服了原有方法计算开销大的缺点，并能在实际中获得很好的跟踪结果。
附图说明
本发明共有附图2张，其中：
图1是本发明的流程框图；
图2是本发明的物体位置预测示意图。
具体实施方式
下面结合附图对本发明进行进一步地描述。如图1所示，对当前运动点团图像帧算法实现步骤如下：
用运动点团位置提取算法得到所有运动点团位置、大小；
把太小的运动点团作为噪声丢弃（面积小于100像素）；
对每个运动点团，在运动物体链表上找预测位置矩形框与运动点团矩形框有交集的运动物体——如果运动点团矩形与运动物体预测位置矩形的重叠面积大于它们之一的1/2，则将其分入此运动物体：
如果有超过一个运动物体满足这个条件，则将运动点团拆分，分入每个运动物体的部分不超过每个运动物体的预测矩形框；
如果只有一个运动物体满足条件，则将运动点团全部分入这个运动物体；
对每个运动物体取分到它的所有运动点团的最小外接框作为它的新位置，但要限制每边的边长不能小于预测框的4/5，不能大于预测框的6/5；
计算运动物体的新速度：运动物体框运动速度和前一时刻速度的均值；
预测运动物体下一时刻的位置，预测方法前面已述；
如果运动物体框中没有运动点团或者运动点团的面积小于一定的像素（300像素）并且持续了1/3秒，在运动物体链表中删除这个节点；
如果运动物体框达到整个图像的1/8时，而运动物体框中所有运动点团像素总数占运动物体框的比例小于一定值（取0.7），在运动物体链表中删除这个节点；
而图像帧中没有分入运动物体的运动点团为新出现的运动点团，采用基于运动点团层的运动跟踪方法，如果新出现的运动点团持续了1/3秒，面积大于一定像素（300像素），则在运动物体链表中增加一个节点，用运动点团矩形框作为运动物体矩形框，用运动点团的速度作为运动物体的速度（单位是像素/采样周期），预测运动物体下一时刻的位置。
Claims (1)
1.一种基于预测的运动跟踪方法，其特征在于：包括以下步骤：
A、运动物体初始化：
A1、对运动点团层做运动跟踪；
对当前帧的运动点团链表中的每个运动点团元素B：
在前一帧的运动点团链表中找运动点团元素A，使A与B的重叠部分面积大于A或B的一半，
如果满足要求的元素A不存在，则B是新出现的运动点团，其速度为0；
否则，如果满足要求的元素A不止一个，则这是合并情形，B的速度为所有满足要求的元素的速度的平均值；
否则，如果重叠部分面积小于A的一半，则这是分裂情形，B的速度等于A的速度；
否则，计算运动点团B速度：B的最小外接矩形的中心与A的最小外接矩形的中心的矢量差，它有两个分量，分别代表图像中两个方向的速度，单位是像素/采样周期；
B、运动物体跟踪
在运动物体跟踪步骤，分预测和修正阶段；
B1、预测阶段，根据前一时刻运动物体的位置预测现在时刻运动物体位置；假设运动物体前一时刻的位置，设前一时刻运动物体的速度是Vx,Vy，将每个点都位移2Vx,2Vy，得到另一个内框，这两个内框的最小外接矩形即作为当前时刻物体的预测位置；
预测位置包含物体原来位置到两倍前一时刻速度运动后的位置，即适应了实际速度在0到2V的变化，而速度是连续的，前一时刻速度是V，则当前时刻速度大于2V的可能性不大；
B2、修正阶段，目标是找到当前帧运动点团分别属于哪个运动物体；
首先，对当前帧的每个运动点团，在运动物体链表上找预测位置矩形框与运动点团矩形框有交集的运动物体；如果运动点团矩形与运动物体预测位置矩形的重叠面积大于它们之一的1/2，则将其分入此运动物体；
如果有超过一个运动物体满足这个条件，则将运动点团拆分，分入每个运动物体的部分不超过每个运动物体的预测矩形框；如果只有一个运动物体满足条件，则将运动点团全部分入这个运动物体；如果没有运动物体满足条件，则此运动点团是新出现的，对其做运动物体初始化；
接着，对每个运动物体取分到它的所有运动点团的最小外接框作为它的新位置，但要限制每边的边长不能小于预测框的4/5，不能大于预测框的6/5；得到新位置后就可以计算运动物体的新速度了：运动物体框运动速度和前一时刻速度的平均值；
C、运动物体的消失
基于预测的方法，一个运动物体框会越来越大，乃至覆盖了整个图像中的所有运动物体；所以需要通过运动物体的消失步骤解决这个问题；
C1、如果运动物体框中没有运动点团或者运动点团的面积小于一定的像素300像素，并且持续了1/3秒，则运动物体消失，在运动物体链表中去除这个节点；
C2、当运动物体框达到整个图像的1/8时，如果运动物体框中所有运动点团像素总数占运动物体框的比例小于一定值0.7，则前述靠近的物体分离的情况出现，把运动物体链表中的这个节点删除，之后这些分离的运动物体将各自初始化；
如果运动物体框中有多个分离的物体，则其中必有很大空隙，因此以运动物体框很大，超过整个图像1/8，且框中运动点团总数与物体框比例小于0.7作为判断多个物体分离情况出现的条件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210490994.0A CN103839276A (zh) | 2012-11-27 | 2012-11-27 | 一种基于预测的运动跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210490994.0A CN103839276A (zh) | 2012-11-27 | 2012-11-27 | 一种基于预测的运动跟踪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103839276A true CN103839276A (zh) | 2014-06-04 |
Family
ID=50802742
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210490994.0A Pending CN103839276A (zh) | 2012-11-27 | 2012-11-27 | 一种基于预测的运动跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103839276A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104361610A (zh) * | 2014-11-18 | 2015-02-18 | 电子科技大学 | 基于交叉耦合的边检测边跟踪系统 |
| CN104598155A (zh) * | 2015-01-30 | 2015-05-06 | 广州华欣电子科技有限公司 | 一种平滑处理方法及装置 |
| CN105136120A (zh) * | 2015-08-24 | 2015-12-09 | 陈建武 | 物体位移图像检测系统及方法 |
| CN106408080A (zh) * | 2015-07-31 | 2017-02-15 | 富士通株式会社 | 运动物体的计数装置及方法 |
| CN106856577A (zh) * | 2015-12-07 | 2017-06-16 | 北京航天长峰科技工业集团有限公司 | 可解决多目标碰撞及遮挡问题的视频摘要生成方法 |
| CN109241952A (zh) * | 2018-10-26 | 2019-01-18 | 北京陌上花科技有限公司 | 拥挤场景下人物计数方法及装置 |
-
2012
- 2012-11-27 CN CN201210490994.0A patent/CN103839276A/zh active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104361610A (zh) * | 2014-11-18 | 2015-02-18 | 电子科技大学 | 基于交叉耦合的边检测边跟踪系统 |
| CN104598155A (zh) * | 2015-01-30 | 2015-05-06 | 广州华欣电子科技有限公司 | 一种平滑处理方法及装置 |
| CN104598155B (zh) * | 2015-01-30 | 2018-05-22 | 广州华欣电子科技有限公司 | 一种用于触摸屏输出曲线的平滑处理方法及装置 |
| CN106408080A (zh) * | 2015-07-31 | 2017-02-15 | 富士通株式会社 | 运动物体的计数装置及方法 |
| CN106408080B (zh) * | 2015-07-31 | 2019-01-01 | 富士通株式会社 | 运动物体的计数装置及方法 |
| CN105136120A (zh) * | 2015-08-24 | 2015-12-09 | 陈建武 | 物体位移图像检测系统及方法 |
| CN106856577A (zh) * | 2015-12-07 | 2017-06-16 | 北京航天长峰科技工业集团有限公司 | 可解决多目标碰撞及遮挡问题的视频摘要生成方法 |
| CN106856577B (zh) * | 2015-12-07 | 2020-12-11 | 北京航天长峰科技工业集团有限公司 | 可解决多目标碰撞及遮挡问题的视频摘要生成方法 |
| CN109241952A (zh) * | 2018-10-26 | 2019-01-18 | 北京陌上花科技有限公司 | 拥挤场景下人物计数方法及装置 |
| CN109241952B (zh) * | 2018-10-26 | 2021-09-07 | 北京陌上花科技有限公司 | 拥挤场景下人物计数方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105844234B (zh) | 一种基于头肩检测的人数统计的方法及设备 | |
| CN103839276A (zh) | 一种基于预测的运动跟踪方法 | |
| CN104318782B (zh) | 一种面向区域重叠的高速公路视频测速方法及系统 | |
| Chauhan et al. | Moving object tracking using gaussian mixture model and optical flow | |
| Styles et al. | Forecasting pedestrian trajectory with machine-annotated training data | |
| Qi et al. | Efficient railway tracks detection and turnouts recognition method using HOG features | |
| CN101344965A (zh) | 基于双目摄像的跟踪系统 | |
| CN102622884A (zh) | 一种基于跟踪的车辆违章掉头行为检测方法 | |
| CN112561951B (zh) | 一种基于帧差绝对误差和sad的运动和亮度检测方法 | |
| CN113396423A (zh) | 处理来自基于事件的传感器的信息的方法 | |
| Rabiu | Vehicle detection and classification for cluttered urban intersection | |
| Heisele | Motion-based object detection and tracking in color image sequences | |
| CN114757977A (zh) | 融合改进光流和目标检测网络的移动物体轨迹提取方法 | |
| US20170169311A1 (en) | Clustering method and system, corresponding apparatus and computer program product | |
| Khan | Estimating Speeds and Directions of Pedestrians in Real-Time Videos: A solution to Road-Safety Problem. | |
| CN103077533A (zh) | 一种基于蛙眼视觉特性定位运动目标的方法 | |
| CN103136935B (zh) | 在有遮挡情况下跟踪车辆的方法 | |
| Unno et al. | Vehicle motion tracking using symmetry of vehicle and background subtraction | |
| Nalepa et al. | Real-time people counting from depth images | |
| Li et al. | Moving vehicle detection based on an improved interframe difference and a Gaussian model | |
| CN115100565B (zh) | 一种基于空间相关性与光流配准的多目标跟踪方法 | |
| CN110796035B (zh) | 一种基于人形检测和速度计算的进出人数统计方法 | |
| CN115909497A (zh) | 一种人体姿态识别方法及装置 | |
| CN109509205B (zh) | 前景检测方法及装置 | |
| Huang | Video-based traffic analysis system using a hierarchical feature point grouping approach |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20140604 |
|
| RJ01 | Rejection of invention patent application after publication |