[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN116245916B - 一种面向无人艇的红外舰船目标跟踪方法及装置 - Google Patents

一种面向无人艇的红外舰船目标跟踪方法及装置 Download PDF

Info

Publication number
CN116245916B
CN116245916B CN202310524458.6A CN202310524458A CN116245916B CN 116245916 B CN116245916 B CN 116245916B CN 202310524458 A CN202310524458 A CN 202310524458A CN 116245916 B CN116245916 B CN 116245916B
Authority
CN
China
Prior art keywords
ship
frame
ship target
track
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310524458.6A
Other languages
English (en)
Other versions
CN116245916A (zh
Inventor
苏绍璟
吴鹏
左震
孙备
郭润泽
童小钟
张家菊
黄泓赫
袁书东
党昭洋
李�灿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202310524458.6A priority Critical patent/CN116245916B/zh
Publication of CN116245916A publication Critical patent/CN116245916A/zh
Application granted granted Critical
Publication of CN116245916B publication Critical patent/CN116245916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)

Abstract

一种面向无人艇的红外舰船目标跟踪方法及装置，该方法包括：构建红外舰船目标视频数据集；将数据集划分为训练集和测试集；对舰船目标检测器进行训练；构建外观特征提取网络结构模型，并进行训练；构建舰船目标跟踪器，并进行训练；利用训练好的舰船目标检测器检测测试集的舰船目标；利用训练好的外观特征提取网络结构模型提取舰船目标的外观特征向量；根据舰船目标及舰船目标的外观特征向量，利用训练好的舰船目标跟踪器对测试集进行测试；部署舰船目标检测器、外观特征提取网络结构模型、舰船目标跟踪器，进行舰船目标跟踪。还包括一种面向无人艇的红外舰船目标跟踪装置。本发明鲁棒性好，精度高，能适用短时遮挡、非线性运动场景。

Description

一种面向无人艇的红外舰船目标跟踪方法及装置
技术领域
本发明涉及红外舰船目标跟踪领域，具体是涉及一种面向无人艇的红外舰船目标跟踪方法及装置。
背景技术
红外探测系统在透过烟雾、灰尘和低照度情况下检测舰船目标方面具有独特的优势，可以实现全天候昼夜连续被动探测，适合复杂水面场景船舶目标的跟踪。红外探测跟踪系统具有重要的军事和民用价值，例如海面环境侦察、护航、港口安全保障、船舶交通管理等。
对于红外舰船目标的跟踪任务实现，目前主要有3种跟踪策略：基于初始化特征的跟踪技术，检测跟踪一体化技术和基于检测的跟踪技术。基于初始化特征的跟踪技术适用于目标数量不变的情况，难以满足无人艇的红外舰船目标跟踪需求。检测跟踪一体化技术将现有检测器和跟踪器组合在同一框架中，这种方式节省了计算量且降低了模型规模，然而这类模型在多场景变换的情况下是不够灵活的。基于检测的跟踪技术具有较高的运算效率和跟踪精度且能应对灵活多变的应用场景，是目前常用的跟踪方法。
然而，红外舰船目标跟踪具有很大的技术挑战。舰船目标相互遮挡、水面晃动引起的目标在图像中非线性运动或者由于岛屿、桥墩等固定物的遮挡导致红外舰船目标跟踪难度十分具有挑战性。红外舰船目标因为图像特征不明显、弱纹理现象，对采用余弦距离的目标特征之间的相似性度量以及卷积网络（CNN）提取特征带来了极大的挑战。此外，在目标被遮挡时，当没有向卡尔曼滤波预测模块提供观察结果时，它只根据自己的预测递归地更新参数，在没有观测的监督情况下，卡尔曼滤波（KF）线性运动假设的估计随时间的变化成平方阶误差积累，导致预测的结果与新检测的结果无法正确匹配，导致跟踪失败。
总之，在复杂场景下，实现稳定的红外舰船目标跟踪是当前亟需解决的技术问题。
发明内容
本发明所要解决的技术问题是，克服上述背景技术的不足，提供一种面向无人艇的红外舰船目标跟踪方法及装置，鲁棒性好，精度高，能够适用短时遮挡、非线性运动场景。
本发明解决其技术问题采用的技术方案是，一种面向无人艇的红外舰船目标跟踪方法，包括以下步骤：
S1：在实际水面环境中，录制舰船目标红外视频数据，构建红外舰船目标视频数据集，将视频数据进行预处理；
S2：将红外舰船目标视频数据集划分为训练集和测试集；
S3：基于训练集对舰船目标检测器进行训练，得到训练好的舰船目标检测器；
S4：构建外观特征提取网络结构模型，基于训练集对外观特征提取网络模型进行训练，得到训练好的外观特征提取网络结构模型；
S5：构建舰船目标跟踪器，基于训练集对舰船目标跟踪器进行训练，得到训练好的舰船目标跟踪器；
S6：利用训练好的舰船目标检测器检测测试集的舰船目标；
S7：利用训练好的外观特征提取网络结构模型提取检测到的舰船目标的外观特征向量；
S8：根据检测到的舰船目标及舰船目标的外观特征向量，利用训练好的舰船目标跟踪器对测试集进行测试；
S9：将舰船目标检测器、外观特征提取网络结构模型、舰船目标跟踪器部署到无人艇的处理平台进行实际应用，对实时采集的舰船目标红外视频数据进行舰船目标跟踪。
进一步，步骤S1中，所述预处理是指将视频数据进行抽帧处理，对每帧图像中的舰船目标进行矩形框标注，并标注舰船目标的身份序号。
进一步，步骤S4中，所述外观特征提取网络结构模型包括特征提取骨干网络和精细化特征提取网络，舰船目标检测器检测的舰船目标图像经过特征提取骨干网络进行特征提取，特征提取骨干网络的输出作为精细化特征提取网络的输入特征图，精细化特征提取网络包括三个分支，分别为第一分支、第二分支和第三分支，第一分支中，对输入特征图进行1×1的卷积操作，得到第一输入特征图，然后对第一输入特征图采用全局最大池化生成2048维的特征向量，并通过1×1的卷积压缩为256维的特征向量；第二分支中，对输入特征图进行3×3的卷积操作，得到第二输入特征图，第三分支中，对输入特征图进行5×5的卷积操作，得到第三输入特征图，第二输入特征图和第三输入特征图经过交叉融合模块，得到第一融合特征图和第二融合特征图，第二分支中，第一融合特征图采用全局最大池化生成2048维的特征向量，并通过1×1的卷积压缩为256维的特征向量，除此之外，在竖直方向上将经过融合模块后的特征图均匀划分为2部分，并分别进行全局最大池化，通过1×1的卷积分别压缩为2个256维的特征向量，第二分支共计得到3个256维的特征向量；第三分支中，第二融合特征图采用全局最大池化生成2048维的特征向量，并通过1×1的卷积压缩为256维的特征向量，除此之外，在竖直方向上将经过融合模块后的特征图均匀划分为3部分，并分别进行全局最大池化，通过1×1的卷积分别压缩为3个256维的特征向量，第三分支共计得到4个256维的特征向量；外观特征提取网络结构模型经过三个分支共计得到8个256维的特征向量，拼接后得到1个2048维的特征向量，拼接后得到的2048维的特征向量再经过1×1的卷积得到卷积后的2048维的特征向量，卷积后的2048维的特征向量作为舰船目标的外观特征向量F。
进一步，所述交叉融合模块的具体结构为：第二分支中，第二输入特征图经过三个1×1的卷积，生成对应的Q1、K1、V1向量，Q1、K1向量相乘得到注意力矩阵A1；第三分支中，第三输入特征图经过三个1×1的卷积，生成对应的Q2、K2、V2向量；Q2、K2向量相乘得到注意力矩阵A2；第二分支中的注意力矩阵A1与第三分支的V2向量相乘，然后将第二输入特征图相加，得到第一融合特征图；第三分支中的注意力矩阵A2与第二分支中的V1向量相乘，然后将第三输入特征图相加，得到第二融合特征图。
进一步，步骤S9中，所述红外舰船目标跟踪器包括代价矩阵计算模块、第一级联匹配模块、第二级联匹配模块、常规卡尔曼滤波器参数更新模块、假想轨迹卡尔曼滤波参数更新模块；代价矩阵计算模块与第一级联匹配模块相连，第一级联匹配模块与第二级联匹配模块、常规卡尔曼滤波器参数更新模块相连，第二级联匹配模块与常规卡尔曼滤波器参数更新模块、假想轨迹卡尔曼滤波参数更新模块相连，常规卡尔曼滤波器参数更新模块、假想轨迹卡尔曼滤波参数更新模块分别与代价矩阵计算模块相连；
所述代价矩阵计算模块用于计算总的代价矩阵，总的代价矩阵包括外观相似度矩阵、位置度量矩阵和运动方向度量矩阵；
所述第一级联匹配模块用于根据总的代价矩阵对检测框与对应的预测框进行级联匹配；
所述第二级联匹配模块用于根据位置度量矩阵对检测框与对应的预测框进行级联匹配；
所述常规卡尔曼滤波器参数更新模块用于根据连续轨迹对检测框进行卡尔曼滤波器参数更新；
所述假想轨迹卡尔曼滤波参数更新模块用于生成假想轨迹，并根据假想轨迹对检测框进行卡尔曼滤波器参数更新。
进一步，步骤S9中，舰船目标跟踪器对舰船目标的跟踪原理如下：
检测框与对应的预测框作为舰船目标跟踪器的输入，预测框分为确认态轨迹的预测框和未确认态轨迹的预测框，其中，检测框和确认态轨迹的预测框作为代价矩阵计算模块的输入，未确认态轨迹的预测框作为第二联匹配模块的输入；所述检测框是指通过舰船目标检测器检测当前帧图像中的舰船目标得到的检测结果，用矩形框标注；所述对应的预测框是指对上一帧图像中的检测框在当前帧图像中的预测结果，用矩形框标注；
所述代价矩阵计算模块计算得到总的代价矩阵，根据总的代价矩阵，所述第一级联匹配模块对检测框与确认态轨迹的预测框进行第一次级联匹配；第一次级联匹配中，对与预测框匹配上的检测框，经过常规卡尔曼滤波器参数更新模块进行卡尔曼滤波器参数更新得到下一帧的预测框；未确认态轨迹的预测框以及第一次级联匹配中未匹配上的检测框、未匹配上的预测框作为第二级联匹配模块的输入；
所述第二级联匹配模块对未确认态轨迹的预测框以及第一次级联匹配中未匹配上的检测框、未匹配上的预测框进行第二次级联匹配，重新计算位置度量矩阵，根据位置度量矩阵进行第二次级联匹配，对第二次级联匹配中与预测框匹配上的检测框，假想轨迹卡尔曼滤波参数更新模块为该检测框生成假想轨迹，并根据假想轨迹对与预测框匹配上的检测框进行卡尔曼滤波器参数更新，得到下一帧的预测框；对第二次级联匹配中未匹配上的检测框，经过常规卡尔曼滤波器参数更新模块进行卡尔曼滤波器参数更新得到下一帧的预测框；对第二次级联匹配中未匹配 上的预测框，则删除。
进一步，所述第一次级联匹配和第二次级联匹配中，连续3帧经过级联匹配而匹配上的检测框，3帧图像中的检测框所连成的轨迹为确认态轨迹，该检测框为确认态轨迹的检测框，否则为未确认态轨迹，该检测框为未确认态轨迹的检测框；确认态轨迹的检测框经过卡尔曼滤波器参数更新得到的预测框为确认态轨迹的预测框，未确认态轨迹的检测框经过卡尔曼滤波器参数更新得到的预测框为未确认态轨迹的预测框；所述假想轨迹是指对确认态轨迹中断裂不连续的部分填充假想的轨迹所形成的轨迹；连续轨迹是指没有断裂连续的确认态轨迹。
进一步，所述总的代价矩阵的计算方法如下：
所述外观相似度矩阵的计算方法为，
;
其中，表示第/>个舰船目标的外观特征向量的转置，/>表示与第k个轨迹相关联的最后一帧图像中舰船目标的外观特征向量；
所述位置度量矩阵的计算方法为，
;
其中，为检测框与预测框的交集面积，/>为检测框与预测框的并集面积，表示检测框与预测框的中心点的欧氏距离，/>为最小外交框的对角线长度，/>是权重函数，/>为长宽比相似性；
所述运动方向度量矩阵的计算方法为，
;
其中，代表第/>帧图像与第/>帧图像中舰船目标中心位置所连成的方向，代表第/>帧图像与/>帧图像中舰船目标中心位置所连成的方向，/>表示两个方向之间的夹角的弧度值，/>表示帧数；
所述总的代价矩阵的计算方法为，
;
其中，为外观相似度矩阵，/>为位置度量矩阵，/>为运动方向度量矩阵。
进一步，所述假想轨迹的生成方法为：
;
其中，为最后一次观测到的轨迹记录，/>为最后一次观测到的轨迹记录对应的时间，/>为经过第二次级联匹配而再次链接到的轨迹记录，/>为再次链接到轨迹记录对应的时间；/>表示舰船目标丢失对应的时间。
一种面向无人艇的红外舰船目标跟踪装置，包括舰船目标检测器、外观特征提取网络结构模型及舰船目标跟踪器，所述舰船目标检测器分别与外观特征提取网络结构模型、舰船目标跟踪器相连，所述外观特征提取网络结构模型与舰船目标跟踪器相连；所述舰船目标检测器用于检测舰船目标；所述外观特征提取网络结构模型用于提取舰船目标的外观特征向量；所述舰船目标跟踪器用于跟踪舰船目标。
与现有技术相比，本发明的优点如下：
本发明设计了更加鲁棒的外观特征提取网络结构模型实现特性重识别，更好的实现区分个体差异，减少跟踪过程中的身份跳变；设计了舰船目标跟踪器，提出了二次级联匹配和假想轨迹策略，能够处理一个合理的时间间隔遮挡的情况，根据假想轨迹来进行参数优化的过程，缓解了卡尔曼滤波中由于缺乏观测器而导致的误差积累，以获得更好的估计目标位置，最终实现鲁棒的舰船目标稳定跟踪。相比于已有的红外舰船目标跟踪方法，本发明方法的鲁棒性好，精度高，能够适用短时遮挡、非线性运动场景。
附图说明
图1是本发明实施例中外观特征提取网络结构模型的结构示意图。
图2是本发明实施例中交叉融合模块的结构示意图。
图3是本发明实施例中舰船目标跟踪器的结构示意图。
图4是本发明方法与其他方法的跟踪性能指标对比图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细描述。
本实施例之面向无人艇的红外舰船目标跟踪方法，包括以下步骤：
S1：在实际水面环境中，录制舰船目标红外视频数据，构建红外舰船目标视频数据集，将视频数据进行预处理；预处理是指将视频数据进行抽帧处理，对每帧图像中的舰船目标进行矩形框标注，并标注舰船目标的身份序号（ID）；
S2：将红外舰船目标视频数据集划分为训练集和测试集；
S3：基于训练集对舰船目标检测器进行训练，得到训练好的舰船目标检测器；
S4：构建外观特征提取网络结构模型，基于训练集对外观特征提取网络模型进行训练，得到训练好的外观特征提取网络结构模型；外观特征提取网络结构模型用于提取舰船目标的外观特征向量；
S5：构建舰船目标跟踪器，基于训练集对舰船目标跟踪器进行训练，得到训练好的舰船目标跟踪器；
S6：利用训练好的舰船目标检测器检测测试集的舰船目标；
S7：利用训练好的外观特征提取网络结构模型提取检测到的舰船目标的外观特征向量；
S8：根据检测到的舰船目标及舰船目标的外观特征向量，利用训练好的舰船目标跟踪器对测试集进行测试，计算跟踪性能指标；
S9：将舰船目标检测器、外观特征提取网络结构模型、舰船目标跟踪器部署到无人艇的处理平台进行实际应用，对实时采集的舰船目标红外视频数据进行舰船目标跟踪。
本实施例中，构建了面向无人艇的红外舰船目标跟踪系统，该系统包括无人艇、岸基平台，无人艇上设有处理平台，处理平台上部署有红外舰船目标跟踪装置，红外舰船目标跟踪装置包括舰船目标检测器、外观特征提取网络结构模型及舰船目标跟踪器，舰船目标检测器分别与外观特征提取网络结构模型、舰船目标跟踪器相连，外观特征提取网络结构模型与舰船目标跟踪器相连，处理平台为NVIDIA Jetson Orin NX，无人艇上搭载有红外测量吊舱、电子罗盘、船舱电台、船舱天线和GPS定位装置，红外测量吊舱设置于无人艇前方，红外测量吊舱的供电电源为24V，红外测量吊舱通过SDI采集卡与处理平台相连，将红外图像实时传递给处理平台，处理平台对实时采集的红外图像进行舰船目标跟踪。电子罗盘用于获取无人艇的俯仰角、方位角等姿态信息，GPS定位装置用于获取无人艇的经纬度坐标位置信息，岸基平台包括岸边基站和显示平台，岸边基站包括基站天线和基站电台，显示平台与基站电台相连，基站电台与基站天线相连，基站天线与船舱天线通过无线通信相连。处理平台与船舱电台相连，无人艇通过船舱电台、船舱天线与岸基平台进行通信，无人艇上处理平台的计算结果传递给显示平台。
本实施例是在某公园开展的实验测试，湖面范围100米×200米，红外测量吊舱的红外摄像头波长在8-12um之间，得到的视频帧率为25帧，分辨率为640×480像素。
本发明所指的舰船包括军舰船和民用船，本实施例以民用船作为目标船，目标船具体为游船，共采集原始视频20段，共计时长约405秒，合计10133帧图像。训练集和测试集的划分比例为3:2，其中12段视频用来训练，8段视频用来测试。将视频进行抽帧处理，每帧图像都进行保存，对图像中的舰船目标进行矩形框标注，并注明舰船目标的身份序号（ID）。
本实施例中，舰船目标检测器采用现有的检测器，检测器采用Yolov5检测算法。
参照图1，本实施例中，构建的外观特征提取网络结构模型包括特征提取骨干网络和精细化特征提取网络，舰船目标检测器检测的舰船目标图像经过特征提取骨干网络进行特征提取，特征提取骨干网络的输出作为精细化特征提取网络的输入特征图，精细化特征提取网络包括三个分支，分别为第一分支、第二分支和第三分支，第一分支中，对输入特征图进行1×1的卷积操作，得到第一输入特征图，然后对第一输入特征图采用全局最大池化生成2048维的特征向量，并通过1×1的卷积压缩为256维的特征向量；第二分支中，对输入特征图进行3×3的卷积操作，得到第二输入特征图，第三分支中，对输入特征图进行5×5的卷积操作，得到第三输入特征图，第二输入特征图和第三输入特征图经过交叉融合模块，得到第一融合特征图和第二融合特征图，第二分支中，第一融合特征图采用全局最大池化生成2048维的特征向量，并通过1×1的卷积压缩为256维的特征向量，除此之外，在竖直方向上将经过融合模块后的特征图均匀划分为2部分，并分别进行全局最大池化，通过1×1的卷积分别压缩为2个256维的特征向量，第二分支共计得到3个256维的特征向量。第三分支中，第二融合特征图采用全局最大池化生成2048维的特征向量，并通过1×1的卷积压缩为256维的特征向量，除此之外，在竖直方向上将经过融合模块后的特征图均匀划分为3部分，并分别进行全局最大池化，通过1×1的卷积分别压缩为3个256维的特征向量，第三分支共计得到4个256维的特征向量；外观特征提取网络结构模型经过三个分支共计得到8个256维的特征向量，拼接后得到1个2048维的特征向量，拼接后得到的2048维的特征向量再经过1×1的卷积得到卷积后的2048维的特征向量，卷积后的2048维的特征向量作为舰船目标的外观特征向量F。
参照图2，本实施例中，外观特征提取网络结构模型中，第二分支和第三分支采用了交叉融合结构，具体结构为，第二分支中，第二输入特征图经过三个1×1的卷积，生成对应的Q1、K1、V1向量，Q1、K1向量相乘得到注意力矩阵A1；第三分支中，第三输入特征图经过三个1×1的卷积，生成对应的Q2、K2、V2向量；Q2、K2向量相乘得到注意力矩阵A2；第二分支中的注意力矩阵A1与第三分支的V2向量相乘，然后将第二输入特征图相加，得到第一融合特征图；第三分支中的注意力矩阵A2与第二分支中的V1向量相乘，然后将第三输入特征图相加，得到第二融合特征图。
参照图3，本实施例中，构建的红外舰船目标跟踪器包括代价矩阵计算模块、第一级联匹配模块、第二级联匹配模块、常规卡尔曼滤波器参数更新模块、假想轨迹卡尔曼滤波参数更新模块。
代价矩阵计算模块与第一级联匹配模块相连，第一级联匹配模块与第二级联匹配模块、常规卡尔曼滤波器参数更新模块相连，第二级联匹配模块与常规卡尔曼滤波器参数更新模块、假想轨迹卡尔曼滤波参数更新模块相连，常规卡尔曼滤波器参数更新模块、假想轨迹卡尔曼滤波参数更新模块分别与代价矩阵计算模块相连。
代价矩阵计算模块用于计算总的代价矩阵，总的代价矩阵包括外观相似度矩阵、位置度量矩阵和运动方向度量矩阵。
第一级联匹配模块用于根据总的代价矩阵对检测框与对应的预测框进行级联匹配。
第二级联匹配模块用于根据位置度量矩阵对检测框与对应的预测框进行级联匹配。
常规卡尔曼滤波器参数更新模块用于根据连续轨迹对检测框进行卡尔曼滤波器参数更新。
假想轨迹卡尔曼滤波参数更新模块用于生成假想轨迹，并根据假想轨迹对检测框进行卡尔曼滤波器参数更新。
舰船目标跟踪器对舰船目标的跟踪原理如下：
检测框与对应的预测框作为舰船目标跟踪器的输入，检测框是指通过舰船目标检测器检测当前帧图像中的舰船目标得到的检测结果，用矩形框标注；对应的预测框是指对上一帧图像中的检测框在当前帧图像中的预测结果，用矩形框标注。预测框分为确认态轨迹的预测框和未确认态轨迹的预测框，其中，检测框和确认态轨迹的预测框作为代价矩阵计算模块的输入，未确认态轨迹的预测框作为第二联匹配模块的输入。
代价矩阵计算模块计算得到总的代价矩阵，根据总的代价矩阵，第一级联匹配模块对检测框与确认态轨迹的预测框进行第一次级联匹配，第一次级联匹配采用匈牙利算法，总的代价矩阵作为匈牙利算法的输入对检测框和预测框进行最大匹配。第一次级联匹配中，对与预测框匹配上的检测框，经过常规卡尔曼滤波器参数更新模块进行卡尔曼滤波器参数更新得到下一帧的预测框。未确认态轨迹的预测框以及第一次级联匹配中未匹配上的检测框、未匹配上的预测框作为第二级联匹配模块的输入。
第二级联匹配模块对未确认态轨迹的预测框以及第一次级联匹配中未匹配上的检测框、未匹配上的预测框进行第二次级联匹配，重新计算位置度量矩阵，根据位置度量矩阵进行第二次级联匹配，第二次级联匹配采用匈牙利算法，位置度量矩阵作为匈牙利算法的输入对检测框和预测框进行最大匹配。对第二次级联匹配中与预测框匹配上的检测框，假想轨迹卡尔曼滤波参数更新模块为之生成假想轨迹，并根据假想轨迹对与预测框匹配上的检测框进行卡尔曼滤波器参数更新，得到下一帧的预测框。假想轨迹是指对确认态轨迹中断裂不连续的部分填充假想的轨迹所形成的轨迹。连续轨迹是指没有断裂连续的确认态轨迹。对第二次级联匹配中未匹配上的检测框，经过常规卡尔曼滤波器参数更新模块进行卡尔曼滤波器参数更新得到下一帧的预测框。对第二次级联匹配中未匹配 上的预测框，则删除。
第一次级联匹配和第二次级联匹配中，连续3帧经过级联匹配而匹配上的检测框，3帧图像中的检测框所连成的轨迹为确认态轨迹，该检测框为确认态轨迹的检测框，否则为未确认态轨迹，该检测框为未确认态轨迹的检测框。确认态轨迹的检测框经过卡尔曼滤波器参数更新得到的预测框为确认态轨迹的预测框，未确认态轨迹的检测框经过卡尔曼滤波器参数更新得到的预测框为未确认态轨迹的预测框。
本实施例中，外观相似度矩阵的计算方法为，
;
其中，表示第/>个舰船目标的外观特征向量的转置，/>表示与第k个轨迹相关联的最后一帧图像中舰船目标的外观特征向量。
本实施例中，位置度量矩阵的计算方法为，
;
其中，为检测框与预测框的交集面积，/>为检测框与预测框的并集面积，表示检测框与预测框的中心点的欧氏距离，/>为最小外交框的对角线长度，/>是权重函数，/>为长宽比相似性。
本实施例中，运动方向度量矩阵的计算方法为，
;
其中，代表第/>帧图像与第/>帧图像中舰船目标中心位置所连成的方向，代表第/>帧图像与/>帧图像中舰船目标中心位置所连成的方向，/>表示两个方向之间的夹角的弧度值，/>表示帧数。
本实施例中，总的代价矩阵的计算方法为，
;
其中，为外观相似度矩阵，/>为位置度量矩阵，/>为运动方向度量矩阵。
本实施例中，假想轨迹的生成方法为：
;
其中，为最后一次观测到的轨迹记录，/>为最后一次观测到的轨迹记录对应的时间，/>为经过第二次级联匹配而再次链接到的轨迹记录，/>为再次链接到轨迹记录对应的时间；/>表示舰船目标丢失对应的时间，此处时间均用帧数对应的时间表示，一帧的时间为0.04秒。
本实施例中，对本发明方法与Bytetrack、FairMOT、CStrack、GTR、TransTrack 5种方法在测试集上的跟踪效果和指标性能进行了对比。Bytetrack方法通过把高置信度和低置信度的检测框都与跟踪轨迹来匹配，可以有效减少目标遮挡、运动模糊等带来的目标漏检问题，提升目标跟踪的准确性，由于该方法匹配更多的检测框，因此计算量更大、效率慢。FairMOT方法采用一阶段多目标跟踪器，检测模型和目标外观特征模型同时进行，提升了运行速率，但存在外观特征提取不充分的问题。CStrack方法重新思考了跟踪任务中的检测和外观特征提取之间的关系，提出两者共享网络参数存在竞争关系，该方法通过解耦思想设计了关系学习结构，对两个任务进行解耦，并针对外观特征提取任务设计了多尺度的特征增强来提高跟踪准确性，但该方法存在计算量大的问题。GTR方法是一种基于transformer模型（一种神经网络模型）的全局多目标跟踪体系结构方法，网络以一个短时间的帧序列作为输入，并为所有对象产生全局轨迹，其核心组件是一个全局跟踪转换器，它操作序列中所有帧中的对象，该方法存在运行效率慢的问题，难以移植到嵌入式系统实时运行。TransTrack方法是基于一种联合检测和跟踪的框架，首先追踪当前帧已经存在的目标的同时完成新目标的检测，通过简单的匹配检测框和轨迹框完成输出，该方法没有使用任何的基于锚或者点的检测框架，运算效率较低。从对比结果看，GTR，CSTrack，ByteTrack，FairMOT，TransTrack方法的结果均出现了ID变化现象。本发明方法对图像中的舰船目标能够持续稳定跟踪，ID保持稳定一致，表明了本发明方法能够很好应对复杂场景。图4中，性能指标采用了MOTP（multiple objects tracking precision，即多目标跟踪精度，用来衡量目标跟踪结果与目标真实位置的差异程度）、MOTA（multiple object tracking accuracy，即多目标跟踪准确度，计算假阳性率、假阴性率和错配率的综合值，可以衡量算法跟踪目标的准确性）、DetA（detection accuracy，即检测精度，超过设定阈值的检测目标与实际总目标之间的比值）、HOTA（Higher Order Tracking Accuracy，即高阶跟踪精度，计算检测精度和关联精度的几何平均值）、AssA（association accuracy，即关联精度，所有匹配检测的关联Jaccard索引中超过定位阈值的平均值）、AssRe（association recall，即关联召回率，计算所有匹配检测的平均值，平均结果要超过定位阈值）、IDF1（frag and localizationaccuracy，即被检测和跟踪的目标中获取正确的身份序号的检测目标的比例）、Frag（中文含义为碎片，作为多目标跟踪指标，其含义为轨迹碎片化的总次数，即在跟踪过程中轨迹中断的次数）和IDs（identity switch，即为目标分配的身份序号(ID)切换的次数）等指标，指标旁边带↑表示该指标数值越大跟踪性能越好，↓表示该指标数值越小跟踪性能越好。
本发明方法在MOTP、MOTA、DetA、HOTA、AssA、AssRe、IDF1等指标与其他算法相比均位于最高水平，例如MOTP、MOTA指标分别比ByteTrack要高9.241和22.406，表明本发明方法可以更好地适应缺乏细节信息的红外船目标跟踪的应用。此外，对于IDs指标，本发明方法的值最小，比ByteTrack和TransTrack分别低26和66，表明本发明方法跟踪稳定性较好，尽管红外船目标存在频繁的交叉以及晃动引起的跟踪困难，本发明方法能够较好的应对这些情况。
本发明方法能够满足实际应用需求，在海面场景下能够实现红外舰船目标跟踪功能，鲁棒性好，精度高，能够适用短时遮挡、非线性运动场景，具备很强的实用价值。
本领域的技术人员可以对本发明进行各种修改和变型，倘若这些修改和变型在本发明权利要求及其等同技术的范围之内，则这些修改和变型也在本发明的保护范围之内。
说明书中未详细描述的内容为本领域技术人员公知的现有技术。

Claims (9)

1.一种面向无人艇的红外舰船目标跟踪方法，其特征在于：包括以下步骤：
S1：在实际水面环境中，录制舰船目标红外视频数据，构建红外舰船目标视频数据集，将视频数据进行预处理；
S2：将红外舰船目标视频数据集划分为训练集和测试集；
S3：基于训练集对舰船目标检测器进行训练，得到训练好的舰船目标检测器；
S4：构建外观特征提取网络结构模型，基于训练集对外观特征提取网络模型进行训练，得到训练好的外观特征提取网络结构模型；所述外观特征提取网络结构模型包括特征提取骨干网络和精细化特征提取网络，舰船目标检测器检测的舰船目标图像经过特征提取骨干网络进行特征提取，特征提取骨干网络的输出作为精细化特征提取网络的输入特征图，精细化特征提取网络包括三个分支，分别为第一分支、第二分支和第三分支，第一分支中，对输入特征图进行1×1的卷积操作，得到第一输入特征图，然后对第一输入特征图采用全局最大池化生成2048维的特征向量，并通过1×1的卷积压缩为256维的特征向量；第二分支中，对输入特征图进行3×3的卷积操作，得到第二输入特征图，第三分支中，对输入特征图进行5×5的卷积操作，得到第三输入特征图，第二输入特征图和第三输入特征图经过交叉融合模块，得到第一融合特征图和第二融合特征图，第二分支中，第一融合特征图采用全局最大池化生成2048维的特征向量，并通过1×1的卷积压缩为256维的特征向量，除此之外，在竖直方向上将经过融合模块后的特征图均匀划分为2部分，并分别进行全局最大池化，通过1×1的卷积分别压缩为2个256维的特征向量，第二分支共计得到3个256维的特征向量；第三分支中，第二融合特征图采用全局最大池化生成2048维的特征向量，并通过1×1的卷积压缩为256维的特征向量，除此之外，在竖直方向上将经过融合模块后的特征图均匀划分为3部分，并分别进行全局最大池化，通过1×1的卷积分别压缩为3个256维的特征向量，第三分支共计得到4个256维的特征向量；外观特征提取网络结构模型经过三个分支共计得到8个256维的特征向量，拼接后得到1个2048维的特征向量，拼接后得到的2048维的特征向量再经过1×1的卷积得到卷积后的2048维的特征向量，卷积后的2048维的特征向量作为舰船目标的外观特征向量F；
S5：构建舰船目标跟踪器，基于训练集对舰船目标跟踪器进行训练，得到训练好的舰船目标跟踪器；
S6：利用训练好的舰船目标检测器检测测试集的舰船目标；
S7：利用训练好的外观特征提取网络结构模型提取检测到的舰船目标的外观特征向量；
S8：根据检测到的舰船目标及舰船目标的外观特征向量，利用训练好的舰船目标跟踪器对测试集进行测试；
S9：将舰船目标检测器、外观特征提取网络结构模型、舰船目标跟踪器部署到无人艇的处理平台进行实际应用，对实时采集的舰船目标红外视频数据进行舰船目标跟踪。
2.如权利要求1所述的面向无人艇的红外舰船目标跟踪方法，其特征在于：步骤S1中，所述预处理是指将视频数据进行抽帧处理，对每帧图像中的舰船目标进行矩形框标注，并标注舰船目标的身份序号。
3.如权利要求1所述的面向无人艇的红外舰船目标跟踪方法，其特征在于：所述交叉融合模块的具体结构为：第二分支中，第二输入特征图经过三个1×1的卷积，生成对应的Q1、K1、V1向量，Q1、K1向量相乘得到注意力矩阵A1；第三分支中，第三输入特征图经过三个1×1的卷积，生成对应的Q2、K2、V2向量；Q2、K2向量相乘得到注意力矩阵A2；第二分支中的注意力矩阵A1与第三分支的V2向量相乘，然后将第三输入特征图相加，得到第一融合特征图；第三分支中的注意力矩阵A2与第二分支中的V1向量相乘，然后将第二输入特征图相加，得到第二融合特征图。
4.如权利要求1所述的面向无人艇的红外舰船目标跟踪方法，其特征在于：步骤S9中，所述红外舰船目标跟踪器包括代价矩阵计算模块、第一级联匹配模块、第二级联匹配模块、常规卡尔曼滤波器参数更新模块、假想轨迹卡尔曼滤波参数更新模块；代价矩阵计算模块与第一级联匹配模块相连，第一级联匹配模块与第二级联匹配模块、常规卡尔曼滤波器参数更新模块相连，第二级联匹配模块与常规卡尔曼滤波器参数更新模块、假想轨迹卡尔曼滤波参数更新模块相连，常规卡尔曼滤波器参数更新模块、假想轨迹卡尔曼滤波参数更新模块分别与代价矩阵计算模块相连；
所述代价矩阵计算模块用于计算总的代价矩阵，总的代价矩阵包括外观相似度矩阵、位置度量矩阵和运动方向度量矩阵；
所述第一级联匹配模块用于根据总的代价矩阵对检测框与对应的预测框进行级联匹配；
所述第二级联匹配模块用于根据位置度量矩阵对检测框与对应的预测框进行级联匹配；
所述常规卡尔曼滤波器参数更新模块用于根据连续轨迹对检测框进行卡尔曼滤波器参数更新；
所述假想轨迹卡尔曼滤波参数更新模块用于生成假想轨迹，并根据假想轨迹对检测框进行卡尔曼滤波器参数更新。
5.如权利要求4所述的面向无人艇的红外舰船目标跟踪方法，其特征在于：步骤S9中，舰船目标跟踪器对舰船目标的跟踪原理如下：
检测框与对应的预测框作为舰船目标跟踪器的输入，预测框分为确认态轨迹的预测框和未确认态轨迹的预测框，其中，检测框和确认态轨迹的预测框作为代价矩阵计算模块的输入，未确认态轨迹的预测框作为第二级联匹配模块的输入；所述检测框是指通过舰船目标检测器检测当前帧图像中的舰船目标得到的检测结果，用矩形框标注；所述对应的预测框是指对上一帧图像中的检测框在当前帧图像中的预测结果，用矩形框标注；
所述代价矩阵计算模块计算得到总的代价矩阵，根据总的代价矩阵，所述第一级联匹配模块对检测框与确认态轨迹的预测框进行第一次级联匹配；第一次级联匹配中，对与预测框匹配上的检测框，经过常规卡尔曼滤波器参数更新模块进行卡尔曼滤波器参数更新得到下一帧的预测框；未确认态轨迹的预测框以及第一次级联匹配中未匹配上的检测框、未匹配上的预测框作为第二级联匹配模块的输入；
所述第二级联匹配模块对未确认态轨迹的预测框以及第一次级联匹配中未匹配上的检测框、未匹配上的预测框进行第二次级联匹配，重新计算位置度量矩阵，根据位置度量矩阵进行第二次级联匹配，对第二次级联匹配中与预测框匹配上的检测框，假想轨迹卡尔曼滤波参数更新模块为该检测框生成假想轨迹，并根据假想轨迹对与预测框匹配上的检测框进行卡尔曼滤波器参数更新，得到下一帧的预测框；对第二次级联匹配中未匹配上的检测框，经过常规卡尔曼滤波器参数更新模块进行卡尔曼滤波器参数更新得到下一帧的预测框；对第二次级联匹配中未匹配 上的预测框，则删除。
6.如权利要求5所述的面向无人艇的红外舰船目标跟踪方法，其特征在于：所述第一次级联匹配和第二次级联匹配中，连续3帧经过级联匹配而匹配上的检测框，3帧图像中的检测框所连成的轨迹为确认态轨迹，该检测框为确认态轨迹的检测框，否则为未确认态轨迹，该检测框为未确认态轨迹的检测框；确认态轨迹的检测框经过卡尔曼滤波器参数更新得到的预测框为确认态轨迹的预测框，未确认态轨迹的检测框经过卡尔曼滤波器参数更新得到的预测框为未确认态轨迹的预测框；所述假想轨迹是指对确认态轨迹中断裂不连续的部分填充假想的轨迹所形成的轨迹；连续轨迹是指没有断裂连续的确认态轨迹。
7.如权利要求4所述的面向无人艇的红外舰船目标跟踪方法，其特征在于：所述总的代价矩阵的计算方法如下：
所述外观相似度矩阵的计算方法为，
其中，/>表示第/>个舰船目标的外观特征向量的转置，/>表示与第/>个轨迹相关联的最后一帧图像中舰船目标的外观特征向量；
所述位置度量矩阵的计算方法为，
其中，/>为检测框与预测框的交集面积，/>为检测框与预测框的并集面积，/>表示检测框与预测框的中心点的欧氏距离，/>为最小外交框的对角线长度，是权重函数，/>为长宽比相似性；
所述运动方向度量矩阵的计算方法为，
其中，/>代表第/>帧图像与第/>帧图像中舰船目标中心位置所连成的方向，/>代表第/>帧图像与/>帧图像中舰船目标中心位置所连成的方向，/>表示两个方向之间的夹角的弧度值，/>表示帧数；
所述总的代价矩阵的计算方法为，
其中，/>为外观相似度矩阵，/>为位置度量矩阵，/>为运动方向度量矩阵。
8.如权利要求4所述的面向无人艇的红外舰船目标跟踪方法，其特征在于：所述假想轨迹的生成方法为：
其中，/>为最后一次观测到的轨迹记录，/>为最后一次观测到的轨迹记录对应的时间，/>为经过第二次级联匹配而再次链接到的轨迹记录，为再次链接到轨迹记录对应的时间；/>表示舰船目标丢失对应的时间。
9.一种应用于权利要求1至8中任一项所述的面向无人艇的红外舰船目标跟踪方法的面向无人艇的红外舰船目标跟踪装置，其特征在于：包括舰船目标检测器、外观特征提取网络结构模型及舰船目标跟踪器，所述舰船目标检测器分别与外观特征提取网络结构模型、舰船目标跟踪器相连，所述外观特征提取网络结构模型与舰船目标跟踪器相连；所述舰船目标检测器用于检测舰船目标；所述外观特征提取网络结构模型用于提取舰船目标的外观特征向量；所述舰船目标跟踪器用于跟踪舰船目标。
CN202310524458.6A 2023-05-11 2023-05-11 一种面向无人艇的红外舰船目标跟踪方法及装置 Active CN116245916B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310524458.6A CN116245916B (zh) 2023-05-11 2023-05-11 一种面向无人艇的红外舰船目标跟踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310524458.6A CN116245916B (zh) 2023-05-11 2023-05-11 一种面向无人艇的红外舰船目标跟踪方法及装置

Publications (2)

Publication Number Publication Date
CN116245916A CN116245916A (zh) 2023-06-09
CN116245916B true CN116245916B (zh) 2023-07-28

Family

ID=86635326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310524458.6A Active CN116245916B (zh) 2023-05-11 2023-05-11 一种面向无人艇的红外舰船目标跟踪方法及装置

Country Status (1)

Country Link
CN (1) CN116245916B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116977367A (zh) * 2023-07-14 2023-10-31 陕西师范大学 基于Transformer与卡尔曼滤波的校园多目标跟踪方法
CN117173221B (zh) 2023-09-19 2024-04-19 浙江大学 一种基于真实性分级与遮挡恢复的多目标跟踪方法
CN117193003B (zh) * 2023-09-25 2024-06-04 广东工业大学 一种基于事件触发与预测补偿的无人艇控制方法
CN117593371B (zh) * 2023-11-30 2024-09-10 中北大学 一种低帧率水面航行多目标跟踪方法、系统及电子设备
CN117541625B (zh) * 2024-01-05 2024-03-29 大连理工大学 一种基于域适应特征融合的视频多目标跟踪方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3017481B1 (fr) * 2014-02-07 2016-02-26 Sagem Defense Securite Procede de detection et de pistage de cibles
JP6686249B2 (ja) * 2016-12-28 2020-04-22 三井Ｅ＆Ｓ造船株式会社 船舶の自動操縦システム、船舶、及び船舶の自動操縦方法
CN110472732B (zh) * 2019-08-19 2023-02-21 杭州凝眸智能科技有限公司 基于优化特征提取装置的图像特征提取系统
CN113034548B (zh) * 2021-04-25 2023-05-26 安徽科大擎天科技有限公司 一种适用于嵌入式终端的多目标跟踪方法及其系统
CN113744310A (zh) * 2021-08-24 2021-12-03 北京百度网讯科技有限公司 目标跟踪方法、装置、电子设备及可读存储介质
CN114529799A (zh) * 2022-01-06 2022-05-24 浙江工业大学 一种基于改进型yolov5算法的飞机多目标跟踪方法
CN114724082A (zh) * 2022-04-08 2022-07-08 河海大学 一种基于改进的YOLOv5和DeepSORT的行人追踪方法
CN115471782B (zh) * 2022-09-22 2023-06-16 中国人民解放军国防科技大学 一种面向无人艇的红外舰船目标检测方法及装置
CN115761534A (zh) * 2022-11-08 2023-03-07 长春理工大学 一种空中背景下红外无人机小目标检测及跟踪方法
CN115984319A (zh) * 2022-11-15 2023-04-18 南京航空航天大学 一种基于改进YoLov7和DeepSort的无人机目标跟踪方法
CN115984969A (zh) * 2023-02-10 2023-04-18 沈阳大学 一种复杂场景下轻量级行人跟踪方法

Also Published As

Publication number Publication date
CN116245916A (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
CN116245916B (zh) 一种面向无人艇的红外舰船目标跟踪方法及装置
CN113485441B (zh) 结合无人机高精度定位和视觉跟踪技术的配网巡检方法
CN107818571B (zh) 基于深度学习网络和均值漂移的船只自动跟踪方法及系统
CN103822635B (zh) 基于视觉信息的无人机飞行中空间位置实时计算方法
CN107451593B (zh) 一种基于图像特征点的高精度gps定位方法
CN113223045B (zh) 基于动态物体语义分割的视觉与imu传感器融合定位系统
CN110751077B (zh) 一种基于部件匹配与距离约束的光学遥感图片船舶检测方法
CN103679674A (zh) 一种无人飞行器实时图像拼接方法及系统
CN111968046B (zh) 一种基于拓扑结构的雷达光电传感器目标关联融合方法
CN109212545A (zh) 基于主动视觉的多信源目标跟踪测量系统及跟踪方法
CN105184816A (zh) 基于usv的视觉检测和水面目标追踪系统及其检测追踪方法
CN111275760A (zh) 一种基于5g与深度图像信息的无人机目标跟踪系统及方法
CN112346096B (zh) 一种高低轨遥感卫星舰船目标航迹与点迹关联方法及系统
CN107817679A (zh) 基于红外与可见光融合跟踪的舰船水炮控制系统及方法
CN110458089B (zh) 一种基于高低轨光学卫星观测的海上目标关联系统及方法
Wu et al. Cooperative unmanned surface vehicles and unmanned aerial vehicles platform as a tool for coastal monitoring activities
Yao et al. Waterscenes: A multi-task 4d radar-camera fusion dataset and benchmark for autonomous driving on water surfaces
CN115861591B (zh) 基于transformer关键纹理编码匹配的无人机定位方法
Qiao et al. Early Wildfire Detection and Distance Estimation Using Aerial Visible-Infrared Images
Xu et al. An effective stereo SLAM with high-level primitives in underwater environment
CN111652276B (zh) 一种全天候便携式多功能仿生定位定姿观瞄系统及方法
CN116129332B (zh) 多船舶目标的跟踪识别方法、装置、电子设备及存储介质
Wu et al. Multimodal Collaboration Networks for Geospatial Vehicle Detection in Dense, Occluded, and Large-Scale Events
Tang et al. Radar-optical fusion detection of UAV based on improved YOLOv7-tiny
CN107941220B (zh) 一种基于视觉的无人船海天线检测与导航方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant