[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN113139984B - 检测与跟踪融合的长时间无人机目标跟踪方法及系统 - Google Patents

检测与跟踪融合的长时间无人机目标跟踪方法及系统 Download PDF

Info

Publication number
CN113139984B
CN113139984B CN202010990120.6A CN202010990120A CN113139984B CN 113139984 B CN113139984 B CN 113139984B CN 202010990120 A CN202010990120 A CN 202010990120A CN 113139984 B CN113139984 B CN 113139984B
Authority
CN
China
Prior art keywords
tracking
target
frame
unmanned aerial
aerial vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010990120.6A
Other languages
English (en)
Other versions
CN113139984A (zh
Inventor
林德福
沈灏
何绍溟
宋韬
程子恒
郑多
范世鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202010990120.6A priority Critical patent/CN113139984B/zh
Publication of CN113139984A publication Critical patent/CN113139984A/zh
Application granted granted Critical
Publication of CN113139984B publication Critical patent/CN113139984B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种检测与跟踪融合的长时间无人机目标跟踪方法及系统，该方法中同时执行检测与跟踪的任务，并且通过检测结果验证跟踪结果的准确与否，当验证跟踪结果不够准确时，通过检测结果修正跟踪结果，以便于继续准确地跟踪目标。

Description

检测与跟踪融合的长时间无人机目标跟踪方法及系统
技术领域
本发明涉及无人机跟踪目标的自动控制领域，尤其涉及一种检测与跟踪融合的长时间无人机目标跟踪方法及系统。
背景技术
近年来无人机的智能化高速发展，其中重要的一项就是无人机对目标的自主跟踪。目标跟踪存在较多难点，比如快速运动、运动模糊、旋转、尺度变化、相似目标干扰、光照变化、变形、遮挡、离开视野等，这些难点对跟踪算法的鲁棒性提出了较高要求。
目前的主流目标跟踪算法尚不能实现对目标的长时间跟踪，在遇到特殊状况时，其稳定性通常较差，因此需要结合其他方法来实现长时间跟踪。
但是在现有的方案中，多种跟踪方案的叠加使用并不能完全避免意外状况的发发生，多种方案之间也难以做到有效的互补与彼此验证。
由于上述原因，本发明人对现有的无人机目标跟踪方法及系统做了深入研究，以期待设计出一种能够解决上述问题的检测与跟踪融合的长时间无人机目标跟踪方法及系统。
发明内容
为了克服上述问题，本发明人进行了锐意研究，设计出一种检测与跟踪融合的长时间无人机目标跟踪方法及系统，该方法中同时执行检测与跟踪的任务，并且通过检测结果验证跟踪结果的准确与否，当验证跟踪结果不够准确时，通过检测结果修正跟踪结果，以便于继续准确地跟踪目标，从而完成本发明。
具体来说，本发明的目的在于提供一种检测与跟踪融合的长时间无人机目标跟踪方法，该方法包括如下步骤，
步骤1，通过安装在无人机上的摄像头实时拍摄获得地面照片；
步骤2，从初始照片中选择需要跟踪的目标；
步骤3，实时从获得的照片中框选出包含同类目标的建议区域；
步骤4，实时从获得的照片中框选出跟踪选框；
步骤5，根据步骤3和步骤4中的结果确定目标位置。
其中，在步骤2中，通过框选的方式来选择需要跟踪的目标。
其中，在步骤3中，通过实时识别初始照片之后的每一帧照片，在每一帧照片中都框选出包含特定物体的区域作为建议区域，所述特定物体为与待跟踪目标外形相似或者同种类的物体。
其中，在步骤3中，在每帧照片中都可以包含任意数量个建议区域。
其中，在步骤4中，建立高斯分布回归标签，利用初始照片中及其上框选的需要追踪目标来训练回归模型，再通过回归模型在后续其他的照片中连续地挑选并跟踪该目标。
其中，在后续的每一帧照片中给出包含该待跟踪目标的跟踪选框。
其中，所述步骤3和步骤4同步进行。
其中，在步骤5中，通过步骤3中获得的建议区域来校准步骤4中获得的跟踪选框。
其中，在步骤5中，计算初始照片之后每一帧照片中的重叠度；
Figure BDA0002690581130000031
其中，当该重叠度大于阈值时，将该建议区域作为目标位置；优选地，所述阈值的取值为0.2～0.7。
本发明还提供一种检测与跟踪融合的长时间无人机目标跟踪系统，该系统包括安装在旋翼无人机上的摄像头1、传输模块2、地面控制模块3、检测器4、跟踪器5和执行模块6，
其中，所述摄像头1用于实时拍摄地面照片，
所述传输模块2用于实时将拍摄到的地面照片传输给地面控制模块3，将地面控制模块3产生的控制指令及目标位置信息传递给检测器4和跟踪器5；
所述地面控制模块3用于控制旋翼无人机飞行，实时显示摄像头1拍摄到的地面照片，并可从中框选出需要跟踪的目标位置；
所述检测器4用于在目标位置确定后从后续的地面照片中框选建议区域；
所述跟踪器5用于在目标位置确定后从后续的地面照片中框选跟踪选框；
所述执行模块6用于实时根据建议区域和跟踪选框获得重叠度，并根据重叠度控制检测器4、跟踪器5的工作状态及旋翼无人机的飞行状态。
本发明所具有的有益效果包括：
(1)根据本发明提供的检测与跟踪融合的长时间无人机目标跟踪方法及系统设置了一套检测结果-跟踪结果的置信策略，提高跟踪的鲁棒性，尤其适用于十分钟以上的长时间快速机动目标的跟踪；
(2)根据本发明提供的检测与跟踪融合的长时间无人机目标跟踪方法及系统中检测和跟踪的解算方法计算简单，耗时短，能够在机载计算机上实时运行，实现无人的自动检测跟踪；
(3)根据本发明提供的检测与跟踪融合的长时间无人机目标跟踪方法及系统中建议区域可以更精确的包罗目标，但无法区分目标和同类型物体，跟踪选框可以区分目标和同类物体，但是边框回归的精度较低，通过二者结合的方式来提高整体的目标跟踪效果。
附图说明
图1示出根据本发明一种优选实施方式的检测与跟踪融合的长时间无人机目标跟踪方法整体流程图；
图2示出根据本发明一种优选实施方式的检测与跟踪融合的长时间无人机目标跟踪系统结构模块图；
图3示出实施例1中，在照片中框选出需要跟踪的目标；
图4示出实施例1中，在后续帧中框选出建议区域和跟踪选框；
图5示出实施例2中，在间隔预定时间的不同帧中框选建议区域和跟踪选框；
图6示出实施例和对比例中对车辆进行跟踪的精度图；
图7示出实施例和对比例中对行人进行跟踪的精度图。
附图标号说明：
1-摄像头
2-传输模块
3-地面控制模块
4-检测器
5-跟踪器
6-执行模块
具体实施方式
下面通过附图和实施例对本发明进一步详细说明。通过这些说明，本发明的特点和优点将变得更为清楚明确。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
根据本发明提供的检测与跟踪融合的长时间无人机目标跟踪方法，其特征在于，该方法包括如下步骤，
步骤1，通过安装在无人机上的摄像头实时拍摄获得地面照片；
步骤2，从初始照片中选择需要跟踪的目标；
步骤3，实时从获得的照片中框选出包含同类目标的建议区域；即通过检测算法获得建议区域；
步骤4，实时从获得的照片中框选出跟踪选框；即通过跟踪算法获得跟踪选框；
步骤5，根据步骤3和步骤4中的结果确定目标位置。
优选地，在步骤1中，所述摄像头朝向地面，并按照特定频率实时拍摄，并将活动的照片信息传递给控制单元，所述控制单元可以为设置在地面的指挥控制平台，包括能够实时显示所述照片的显示屏。所述摄像头的频率为20～30Hz，优选为20Hz。所述无人机是旋翼无人机，能够在空中悬停。
优选地，在步骤2中，使用者通过观察指挥平台上实时显示得到的照片，从任意一帧照片中挑选出需要跟踪的目标，该帧照片即为所述初始照片，该初始照片之后的其他照片都用来持续跟踪该目标。使用者在挑选出需要跟踪的目标时可以通过框选的方式来选择需要跟踪的目标。
优选地，在步骤3中，通过实时识别初始照片之后的每一帧照片，在每一帧照片中都框选出可能包含特定物体的区域作为建议区域，所述特定物体为与待跟踪目标外形相似或者同种类的物体。优选地，在每帧照片中都可以包含任意数量个建议区域。
优选地，在步骤4中，建立高斯分布回归标签，利用初始照片中及其上框选的需要跟踪目标来训练回归模型，再通过回归模型在后续其他的照片中连续地挑选并跟踪该目标，即在后续的每一帧照片中给出包含该待跟踪目标的跟踪选框。
优选地，所述步骤3和步骤4同步进行。在执行步骤2以后，即选择了需要跟踪的目标以后，步骤3和步骤4同步进行，摄像头每获得一帧地面照片，都对应地在该地面照片上画出建议区域和跟踪选框。
优选地，在步骤5中，通过步骤3中获得的建议区域来校准步骤4中获得的跟踪选框。
在一个优选的实施方式中，在步骤3中，通过检测器来框选出包含同类目标的建议区域。在所述检测器中存储有经过样本冲刷的目标模型，能够从该目标模型中调取该目标的外形信息，即该检测器能够从地面照片中框选出与要跟踪的目标外观近似的物体，得到带有边界框的建议区域。
进一步优选地，在步骤3中，将活动的地面照片统一采样成448×448大小，并划分为7×7的网格区域，即49个64×64的网格区域，以每个网格为单位，预测B个中心落在网格里的目标边界框位置大小，以及边界框里目标的置信度，并对边界框中的物体进行分类。
其中，预测位置大小和置信度都由神经网络输出，所述神经网络通过大量数据学习获得输出规律。
所述置信度是指神经网络预测该区域属于该类别的概率，比如神经网络输出某个位置有一辆汽车，置信度0.6表示神经网络认为该区域60％可能性是汽车，40％可能性不是汽车。
在步骤3中输出的结果为7×7×(5×B+C)的张量。其中，5表示每个边界框的位置、大小和置信度(x,y,w,h,p)，所述边界框的位置包括边界框中心点在X轴上的坐标x和在Y轴上的坐标y；所述边界框的大小包括边界框的宽度值w和高度值h，置信度由字母p表示。B表示每个网格预设的候选区域数量，通常取2。C表示分类数量，具体来说是汽车、行人、自行车、飞机等具体类别。
在步骤3中，最后一个全连接层可以预测物体边界框中心点坐标(x,y)和宽高(w,h)及置信度p和物体分到每一类的概率。其中宽高是相对于地面照片的归一化值，中心位置坐标是相对于网格位置的归一化值，均介于0到1之间。
在步骤3中，在得到输出结果以后，对输出结果进行检测；具体来说，每个网格预测的分类信息和对应边界框的置信度相乘，得到每个边界框的分类置信度，过滤置信度过低的边界框，通常过滤掉置信度小于0.7的边界框；并对剩余的窗口按置信度大小顺序，进行非极大抑制处理，过滤重叠窗口，输出剩余的窗口作为最终输出，即为所述的建议区域。
在一个优选的实施方式中，在步骤4中，当选择需要跟踪的目标以后，针对初始照片和其中的需要跟踪的目标做如下处理：
子步骤1，构造高斯分布回归标签，所述高斯回归标签可以用y1表示，越接近中心值越大，边缘接近0，y1矩阵和搜索窗口大小相同。
通常跟踪算法不是在整张照片中寻找目标，而是在上一帧目标的位置，取目标大小2.5倍的区域寻找目标，这个区域称之为“搜索窗口”。
子步骤2，从第1帧中目标位置P1裁剪出搜索窗口，提取特征x1，x1和搜索窗口大小相同，需要对x1加一个余弦窗；其中，x1是搜索窗口区域的方向梯度直方图(HOG)；
所述余弦窗是指中间为1，边缘接近0的窗口，通过添加该余弦窗能够抑制周围样本，突出中间样本。
子步骤3，使用x1和y1，训练回归模型f1，使y1＝f1(x1)成立，所述回归标签的中间得分最高，边缘得分为0。在步骤4中，当摄像头获得初始照片以后的其他地面照片时，具体通过下述子步骤识别跟踪目标；
子步骤a，在第t帧照片中，从Pt中提取特征xt，构造高斯分布回归标签yt，训练回归模型yt，该回归模型能对固定大小窗口的样本予以响应；
子步骤b，在第t+1帧照片中，从Pt+1位置附近生成候选窗口；具体来说，在上一帧目标位置，选取上一帧目标大小的2.5倍区域作为候选窗口，用回归模型yt测试每个候选窗口的响应；
子步骤c，得到最大响应窗口和位置Pt+1，该位置Pt+1即为该第t+1帧照片中的待跟踪目标位置，所述响应窗口即跟踪选框。
子步骤d，待得到下一帧即第t+2帧地面照片时，重复上述子步骤a至子步骤c。
在一个优选的实施方式中，在步骤5中，在选择需要跟踪的目标以后，得到初始照片之后的每一帧照片时，都通过步骤3得到建议区域，通过步骤4得到跟踪选框，并计算重叠度：
Figure BDA0002690581130000091
由于所述建议区域和跟踪选框都是在同一帧地面照片上框选的，所以能够直接读取其交集和并集，并根据像素点数量读取各自的面积，
当该重叠度大于阈值时，步骤4中获得的跟踪选框准确，其中包含待跟踪目标；所述阈值的取值为0.2～0.7，优选地为0.5。
当最大的重叠度小于0，则认为跟踪失败。
步骤3中给出N个建议区域，步骤4中给出1个跟踪选框，N个建议区域中每个区域都分别解算与跟踪选框之间的重叠度。
将重叠度大于阈值的建议区域作为目标位置；当步骤4中未能得到跟踪选框时，或者不存在使得重叠度大于阈值的建议区域时，判定目标被遮挡，无人机进入悬停模式并提醒操作者进行人工干预。
本发明还提供一种检测与跟踪融合的长时间无人机目标跟踪系统，如图2中所示，该系统包括安装在旋翼无人机上的摄像头1、传输模块2、地面控制模块3、检测器4、跟踪器5和执行模块6，
其中，所述摄像头1用于实时拍摄地面照片，
所述传输模块2用于实时将拍摄到的地面照片传输给地面控制模块3，也用于将地面控制模块3产生的控制指令及目标位置信息传递给检测器4和跟踪器5；
所述地面控制模块3用于控制旋翼无人机飞行，实时显示摄像头1拍摄到的地面照片，并可从中框选出需要跟踪的目标位置；
所述检测器4用于在目标位置确定后从后续的地面照片中框选建议区域；
所述跟踪器5用于在目标位置确定后从后续的地面照片中框选跟踪选框；
所述执行模块6用于实时根据建议区域和跟踪选框获得重叠度，并根据重叠度控制检测器4、跟踪器5的工作状态及旋翼无人机的飞行状态。
优选地，当所述重叠度大于阈值时，继续执行当前的工作过程，持续追踪目标；
当所述跟踪器5不能输出跟踪选框时，或者不存在使得重叠度大于阈值的建议区域时，认为目标被遮挡，控制旋翼无人机悬停，通过传输模块2通知地面控制模块3，由地面控制模块3重新给出控制指令。
实施例1：
以UAV123数据集为例，由使用者从初始照片中框选出需要跟踪的目标，如图3中所示，通过绿色点划线框选的目标为一辆黑色汽车，其框选过程为：先用鼠标点击目标左上角，再用鼠标点击目标右下角，完成框选。
后续帧中，检测算法输出建议区域，跟踪算法给出跟踪选框。如图4中所示，黄色实线框表示检测算法获得的建议区域，检测算法获得的建议区域可以更精确的包罗目标，但是检测算法无法区分目标和同类型物体。绿色点划线框表示跟踪算法获得的跟踪选框，跟踪算法可以区分目标和同类物体，但是边框回归的精度低于检测算法的建议区域。
根据每一帧图像上的建议区域和跟踪选框，利用下式解算重叠度，
Figure BDA0002690581130000101
选取和绿色点划线框重合最大的黄色实线框作为最后的目标跟踪结果，针对每一帧图像都通过上述方法获得目标，从而对目标做持续追踪。
本实施例中利用检测与跟踪融合的长时间无人机目标跟踪方法对UAV123数据集中的车辆进行跟踪，实现了曲线下面积(AUC)57.8％的精度，如图6中虚线ours所示；对UAV123数据集中的行人进行跟踪，实现了56.3％的AUC精度，如图7中虚线ours所示。
对比例1：
只使用跟踪算对UAV123数据集中的车辆进行跟踪，实现了曲线下面积(AUC)51.3％的精度，如图6中实线KCF所示；对UAV123数据集中的行人进行跟踪实现了曲线下面积(AUC)47.5％的精度，如图7中实线KCF所示。
根据对比结果可知，本申请中提供的检测与跟踪融合的长时间无人机目标跟踪方法及系统能够提高跟踪精度。
实施例2：
以UAV123数据集的person7_1序列为例，由使用者从初始照片中框选出需要跟踪的目标，如图5中所示，框选的目标为一个行人。后续帧中，检测算法获得建议区域，跟踪算法获得跟踪选框。根据每一帧图像上的建议区域和跟踪选框，利用下式解算重叠度，
Figure BDA0002690581130000111
选取和绿色点划线框重合最大的黄色实线框作为最后的目标跟踪结果。
本例中，在行人走出视野后，检测算法没有检测到行人，检测算法和跟踪算法的输出结果没有重合度大于阈值的边界框，此时判断目标丢失。
以上结合了优选的实施方式对本发明进行了说明，不过这些实施方式仅是范例性的，仅起到说明性的作用。在此基础上，可以对本发明进行多种替换和改进，这些均落入本发明的保护范围内。

Claims (7)

1.一种检测与跟踪融合的长时间无人机目标跟踪方法，其特征在于，该方法包括如下步骤，
步骤1，通过安装在无人机上的摄像头实时拍摄获得地面照片；
步骤2，从初始照片中选择需要跟踪的目标；
步骤3，实时从获得的照片中框选出包含同类目标的建议区域；
步骤4，实时从获得的照片中框选出跟踪选框；
步骤5，根据步骤3和步骤4中的结果实时确定目标位置；
在步骤3中，将活动的地面照片统一采样成448×448大小，并划分为7×7的网格区域，即49个64×64的网格区域，以每个网格为单位，预测B个中心落在网格里的目标边界框位置大小，以及边界框里目标的置信度，并对边界框中的物体进行分类；
在步骤3中输出的结果为7×7×(5×B+C)的张量；其中，5表示每个边界框的位置、大小和置信度，即x，y，w，h，p，所述边界框的位置包括边界框中心点在X轴上的坐标x和在Y轴上的坐标y；所述边界框的大小包括边界框的宽度值w和高度值h，置信度由字母p表示；B表示每个网格预设的候选区域数量；C表示分类数量；
在步骤3中，在得到输出结果以后，对输出结果进行检测；具体来说，每个网格预测的分类信息和对应边界框的置信度相乘，得到每个边界框的分类置信度，过滤掉置信度小于0.7的边界框；并对剩余的窗口按置信度大小顺序，进行非极大抑制处理，过滤重叠窗口，输出剩余的窗口作为最终输出，即为所述的建议区域；
在步骤3中，在每帧照片中都包含任意数量个建议区域；
在步骤4中，建立高斯分布回归标签，利用初始照片中及其上框选的需要追踪目标来训练回归模型，再通过回归模型在后续其他的照片中连续地挑选并跟踪该目标；
在步骤4中，当摄像头获得初始照片以后的其他地面照片时，具体通过下述子步骤识别跟踪目标；
子步骤a，在第t帧照片中，从位置Pt中提取特征xt，构造高斯分布回归标签yt，训练回归模型yt，该回归模型能对固定大小窗口的样本予以响应；
子步骤b，在第t+1帧照片中，从Pt+1位置附近生成候选窗口；具体来说，在上一帧目标位置，选取上一帧目标大小的2.5倍区域作为候选窗口，用回归模型yt测试每个候选窗口的响应；
子步骤c，得到最大响应窗口和位置Pt+1，该位置Pt+1即为该第t+1帧照片中的待跟踪目标位置，所述响应窗口即跟踪选框；
子步骤d，待得到下一帧即第t+2帧地面照片时，重复上述子步骤a至子步骤c。
2.根据权利要求1所述的检测与跟踪融合的长时间无人机目标跟踪方法，其特征在于，
在步骤2中，通过框选的方式来选择需要跟踪的目标。
3.根据权利要求1所述的检测与跟踪融合的长时间无人机目标跟踪方法，其特征在于，
在步骤3中，通过实时识别初始照片之后的每一帧照片，在每一帧照片中都框选出包含特定物体的区域作为建议区域，所述特定物体为与待跟踪目标外形相似或者同种类的物体。
4.根据权利要求1所述的检测与跟踪融合的长时间无人机目标跟踪方法，
在后续的每一帧照片中都给出一个包含该待跟踪目标的跟踪选框。
5.根据权利要求1所述的检测与跟踪融合的长时间无人机目标跟踪方法，
所述步骤3和步骤4同步进行。
6.根据权利要求1所述的检测与跟踪融合的长时间无人机目标跟踪方法，
在步骤5中，通过步骤3中获得的建议区域来校准步骤4中获得的跟踪选框。
7.根据权利要求6所述的检测与跟踪融合的长时间无人机目标跟踪方法，
在步骤5中，计算初始照片之后每一帧照片中的重叠度；
Figure FDA0003921419850000031
其中，当该重叠度大于阈值时，将该建议区域作为目标位置；所述阈值的取值为0.2～0.7。
CN202010990120.6A 2020-09-18 2020-09-18 检测与跟踪融合的长时间无人机目标跟踪方法及系统 Active CN113139984B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010990120.6A CN113139984B (zh) 2020-09-18 2020-09-18 检测与跟踪融合的长时间无人机目标跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010990120.6A CN113139984B (zh) 2020-09-18 2020-09-18 检测与跟踪融合的长时间无人机目标跟踪方法及系统

Publications (2)

Publication Number Publication Date
CN113139984A CN113139984A (zh) 2021-07-20
CN113139984B true CN113139984B (zh) 2023-04-07

Family

ID=76809424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010990120.6A Active CN113139984B (zh) 2020-09-18 2020-09-18 检测与跟踪融合的长时间无人机目标跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN113139984B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127518A (zh) * 2019-12-24 2020-05-08 深圳火星探索科技有限公司 基于无人机的目标跟踪方法及装置
CN111160365A (zh) * 2019-12-06 2020-05-15 南京航空航天大学 基于检测器和跟踪器相结合的无人机目标跟踪方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10140719B2 (en) * 2016-12-22 2018-11-27 TCL Research America Inc. System and method for enhancing target tracking via detector and tracker fusion for unmanned aerial vehicles
CN109791615B (zh) * 2017-05-05 2023-07-28 京东方科技集团股份有限公司 用于检测并跟踪目标对象的方法、目标对象跟踪设备和计算机程序产品

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160365A (zh) * 2019-12-06 2020-05-15 南京航空航天大学 基于检测器和跟踪器相结合的无人机目标跟踪方法
CN111127518A (zh) * 2019-12-24 2020-05-08 深圳火星探索科技有限公司 基于无人机的目标跟踪方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于深度学习的多旋翼无人机单目视觉目标定位追踪方法;魏明鑫等;《计算机测量与控制》;20200425;第28卷(第04期);第156-160页 *
结合核相关滤波器和深度学习的运动相机中;梁栋等;《http://hkxb.buaa.edu.cn/CN/html/20200913.html》;20200309;第1-13页 *

Also Published As

Publication number Publication date
CN113139984A (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
US11645765B2 (en) Real-time visual object tracking for unmanned aerial vehicles (UAVs)
CN106874854B (zh) 基于嵌入式平台的无人机车辆跟踪方法
US10671068B1 (en) Shared sensor data across sensor processing pipelines
CN109800689B (zh) 一种基于时空特征融合学习的目标跟踪方法
CN112836640B (zh) 一种单摄像头多目标行人跟踪方法
CN111797657A (zh) 车辆周边障碍检测方法、装置、存储介质及电子设备
CN114299417A (zh) 一种基于雷视融合的多目标跟踪方法
CN112334906B (zh) 从机器学习模型输出推断出的实例分割
CN111932596B (zh) 摄像头遮挡区域的检测方法、装置、设备和存储介质
CN107273832B (zh) 基于积分通道特征与卷积神经网络的车牌识别方法及系统
CN106910204B (zh) 一种对海面船只自动跟踪识别的方法和系统
CN115049948B (zh) 基于神经网络模型的无人机巡检方法、装置及相关设备
CN115147745A (zh) 一种基于城市无人机图像的小目标检测方法
CN117197676A (zh) 一种基于特征融合的目标检测识别方法
CN118279770B (zh) 一种基于slam算法的无人机跟拍方法
CN114511792B (zh) 一种基于帧计数的无人机对地探测方法及系统
CN112069997B (zh) 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置
CN111881833B (zh) 一种车辆检测方法、装置、设备及存储介质
CN113139984B (zh) 检测与跟踪融合的长时间无人机目标跟踪方法及系统
CN117148853A (zh) 一种基于5g技术和深度学习的无人机环境自适应避障方法及系统
Zhang et al. Accurate Detection and Tracking of Small‐Scale Vehicles in High‐Altitude Unmanned Aerial Vehicle Bird‐View Imagery
CN112733671A (zh) 行人检测方法、装置及可读存储介质
Parlange et al. Leveraging single-shot detection and random sample consensus for wind turbine blade inspection
CN118552885B (zh) 索道入侵事件分析预警方法
Dudek et al. Cloud Detection System for UAV Sense and Avoid: Challenges and Findings in Flight Experiments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant