CN117765031B - 一种边缘智能设备的图像多目标预跟踪方法及系统 - Google Patents
一种边缘智能设备的图像多目标预跟踪方法及系统 Download PDFInfo
- Publication number
- CN117765031B CN117765031B CN202410191085.XA CN202410191085A CN117765031B CN 117765031 B CN117765031 B CN 117765031B CN 202410191085 A CN202410191085 A CN 202410191085A CN 117765031 B CN117765031 B CN 117765031B
- Authority
- CN
- China
- Prior art keywords
- target
- tracking
- candidate
- locked
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000004891 communication Methods 0.000 claims abstract description 42
- 238000001514 detection method Methods 0.000 claims abstract description 41
- 230000005540 biological transmission Effects 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000003993 interaction Effects 0.000 claims description 37
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 abstract description 2
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000005693 optoelectronics Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种边缘智能设备的图像多目标预跟踪方法及系统，属于边缘计算和人工智能技术领域。所述方法包括：S1：获取光电图像；S2：多目标检测模型对光电图像进行处理；S3：使用多目标关联跟踪方法得到跟踪目标数据；S4：历史跟踪管理模块将跟踪目标数据存放；最迟在跟踪目标数据输入到历史跟踪管理模块时，输入待锁定目标ID或候选区域坐标数据到历史管理跟踪模块；当输入为待锁定目标ID时执行ID锁定当前帧目标策略对当前帧目标进行锁定；当输入为候选区域坐标数据时，执行候选区锁定当前帧目标策略进行当前帧候选目标查询。具有跟踪对象少，需要无线传输的数据量少，不需要边缘智能设备端与远程控制端进行多次无线通信才能锁定目标的优势。
Description
技术领域
本发明涉及边缘计算和人工智能技术领域，尤其涉及一种边缘智能设备的图像多目标预跟踪方法及系统。
背景技术
边缘智能设备是智能无人机、智能远程设备的重要组成部分，如：机载边缘智能设备是智能无人机的重要载荷，常用于广域侦察监视。为了实现边缘智能设备与远程控制设备的数据交互，在远距离、视场遮挡场景，通过无线电链路或卫星通信链路传输光电图像数据，存在传输数据量比较大且传输延迟通常会超过1s的问题。因大传输延迟的存在导致远程控制设备操作人员无法稳定操控边缘智能设备光电图像中的感兴趣目标，增加了操控难度。
现有解决方法主要采用特征点集和多次人机交互筛选的策略来解决延迟大导致的感兴趣目标操控难问题。但该类方法不仅依赖数以百计的特征点集且需要经过多次人机交互筛选才能确定目标，具有特征点数据传输量大且操控耗时的缺点。
发明内容
本发明的目的在于克服现有技术的不足，提供一种边缘智能设备的图像多目标预跟踪方法及系统。
本发明的目的是通过以下技术方案来实现的：本发明第一方面提供：一种边缘智能设备的图像多目标预跟踪方法，包括以下步骤：
S1：获取光电图像并输入到多目标检测模型；
S2：多目标检测模型对光电图像进行处理，得到光电图像中多个检测目标的目标框box、目标类别cls、目标置信度conf和图像时间戳timestamp作为检测目标数据输出；
S3：使用多目标关联跟踪方法对前一时刻t-1和当前时刻t的检测目标关联并对每个检测目标赋予唯一的目标ID，将目标ID加入到检测目标数据中得到跟踪目标数据并输入到历史跟踪管理模块；
S4：历史跟踪管理模块将跟踪目标数据存放；最迟在跟踪目标数据输入到历史跟踪管理模块时，输入待锁定目标ID或候选区域坐标数据到历史管理跟踪模块；当输入为待锁定目标ID时执行ID锁定当前帧目标策略对当前帧目标进行锁定；当输入为候选区域坐标数据时，执行候选区锁定当前帧目标策略进行当前帧候选目标查询。
优选的，所述的目标框box为（x, y, w, h），x代表目标框box中心的横坐标、y代表目标框box中心的纵坐标、w代表目标框box的宽度、h代表目标框box的高度；所述的多目标检测模型为FasterRCNN模型或YOLO模型或DETR模型。
优选的，所述的多目标关联跟踪方法使用Sort算法或DeepSort算法或ByteTrack算法或BoT-SORT算法。
优选的，所述的历史跟踪管理模块包括一个字典，所述字典包括键key和值value，所述键key的取值为目标ID，所述值value是一个列表用于存放跟踪目标数据，所述字典能够增加跟踪目标数据、查询跟踪目标数据和删除跟踪目标数据。
优选的，所述的当前帧目标策略包括以下步骤：
在历史跟踪管理模块查询跟踪目标数据中是否存在待锁定目标ID，如果存在则将待锁定目标ID记为已锁定目标ID，并输出已锁定图像时间戳、已锁定光电图像、已锁定目标ID、已锁定目标框、已锁定目标类别和已锁定目标置信度；如果不存在待锁定目标ID则执行以下步骤：
查询待锁定目标ID丢失时刻跟踪目标数据中的图像时间戳记为丢失图像时间戳；
计算待锁定图像时间戳和丢失图像时间戳的时间差，计算时间差内待锁定目标的最大移动距离，以丢失目标框为圆心，最大移动距离为半径生成候选区域，在候选区域中查询是否存在待锁定目标ID，如果存在则将待锁定目标ID记为候选目标ID，并输出候选图像时间戳、候选光电图像、候选目标ID、候选目标框、候选目标类别和候选目标置信度。
优选的，所述的候选区锁定当前帧目标策略包括以下步骤：
根据候选区域坐标数据得到候选区域，判断候选区域是否存在候选目标ID，如果存在则输出候选图像时间戳、候选光电图像、候选目标ID、候选目标框、候选目标类别和候选目标置信度；
如果不存在候选目标ID，则执行以下步骤：
根据候选区域坐标数据从光电图像中裁剪得到候选区图像，将候选区图像送入多目标检测模型得到多个候选检测目标数据，然后将候选检测目标数据按光电图像的坐标进行还原后记为检测目标数据执行S3。
本发明第二方面提供：一种边缘智能设备的图像多目标预跟踪系统，用于实现上述任一种边缘智能设备的图像多目标预跟踪方法，包括：
边缘智能设备端，所述边缘智能设备端连接地面控制端；所述边缘智能设备端包括光电设备，用于拍摄光电图像，所述光电设备连接多目标预跟踪模块；所述多目标预跟踪模块用于对光电图像进行处理，能够接收地面控制端输入的待锁定目标ID或候选区域坐标数据对当前帧目标进行锁定或进行当前帧候选目标查询，所述多目标预跟踪模块连接传输数据处理模块；所述传输数据处理模块用于传输地面控制端输出的数据给多目标预跟踪模块，并根据无线通信信号等级将多目标预跟踪模块输出的数据传输给第一无线通讯设备A，所述传输数据处理模块连接第一无线通讯设备A；所述第一无线通讯设备A用于通过无线通信链路进行传输数据处理模块和地面控制端的数据交互；
所述地面控制端包括第二无线通信设备B，用于通过无线通信链路与边缘智能设备端进行数据交互，所述第二无线通信设备B连接人机交互显示模块；所述人机交互显示模块用于对边缘智能设备端传输的数据进行可视化，用第一类别a代表未选中目标、第二类别b代表人机交互选中的目标、第三类别c代表候选目标、第四类别d代表已锁定目标、第五类别e代表光电图像中未被检测到的目标，所述人机交互显示模块连接人机交互设备；所述人机交互设备为鼠标和/或键盘和/或无人机控制手柄，使用点选或框选或预定义数字键快选选中待锁定目标。
优选的，所述的无线通信信号等级分为第一信号等级、第二信号等级、第三信号等级和第四信号等级，当为第一信号等级时，传输1080P光电图像以及跟踪目标数据；当为第二信号等级时，传输640P光电图像以及跟踪目标数据；当为第三信号等级时，仅传输跟踪目标数据；当为第四信号等级时，不传输跟踪目标数据。
优选的，所述的点选是使用鼠标点击选中待锁定目标；所述的框选是使用鼠标拉框选中待锁定目标，若框选区域没有检测到待锁定目标则输出候选区域坐标数据到边缘智能设备端；所述预定义数字键快选是对待锁定目标进行编号，输入待锁定目标对应的编号数字则代表选中了对应的待锁定目标。
本发明的有益效果是：
1）采用图像区域目标作为预跟踪对象，相较于基于特征点的预跟踪方法，具有跟踪对象少，需要无线传输的数据量少，不需要边缘智能设备端与远程控制端进行多次无线通信才能锁定目标的优势。
2）根据无线通信信号等级划分，实现不同等级数据量的无线传输，能够很好克服信号不佳或信号干扰条件下的传输数据丢失或延时问题。
3）支持目标ID、候选区2种当前帧目标锁定策略，可以非常简单的通过人机交互设备实现目标的快速、稳定锁定。
附图说明
图1为边缘智能设备的图像多目标预跟踪系统框图；
图2为边缘智能设备的图像多目标预跟踪方法流程图；
图3为地面控制端人机交互显示UI图。
具体实施方式
下面将结合实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
名词解释：边缘智能设备端：带光电吊舱和计算单元的无人机或远程设备；远程控制端：带显示和人机交互设备的远程控制设备。
如图1所示，输入1：来自光电设备的相机图像流。输入2：来自地面控制端人工输入的待锁定目标ID或候选区域坐标数据。输出1：已锁定图像时间戳、已锁定光电图像、已锁定目标ID、已锁定目标框、已锁定目标类别和已锁定目标置信度。输出2：候选图像时间戳、候选光电图像、候选目标ID、候选目标框、候选目标类别和候选目标置信度。所述的已锁定目标ID和候选目标ID为一个或多个，已锁定目标ID和候选目标为多个时，输出1和输出2中输出的数据均为集合。
参阅图1-图3，本发明第一方面提供：一种边缘智能设备的图像多目标预跟踪方法，包括以下步骤：
S1：获取光电图像并输入到多目标检测模型；
S2：多目标检测模型对光电图像进行处理，得到光电图像中多个检测目标的目标框box、目标类别cls、目标置信度conf和图像时间戳timestamp作为检测目标数据输出；
S3：使用多目标关联跟踪方法对前一时刻t-1和当前时刻t的检测目标关联并对每个检测目标赋予唯一的目标ID，将目标ID加入到检测目标数据中得到跟踪目标数据并输入到历史跟踪管理模块；
S4：历史跟踪管理模块将跟踪目标数据存放；最迟在跟踪目标数据输入到历史跟踪管理模块时，输入待锁定目标ID或候选区域坐标数据到历史管理跟踪模块；当输入为待锁定目标ID时执行ID锁定当前帧目标策略对当前帧目标进行锁定；当输入为候选区域坐标数据时，执行候选区锁定当前帧目标策略进行当前帧候选目标查询。
在一些实施例中，所述的目标框box为（x, y, w, h），x代表目标框box中心的横坐标、y代表目标框box中心的纵坐标、w代表目标框box的宽度、h代表目标框box的高度；所述的多目标检测模型为FasterRCNN模型或YOLO模型或DETR模型。
在一些实施例中，所述的多目标关联跟踪方法使用Sort算法或DeepSort算法或ByteTrack算法或BoT-SORT算法。
在一些实施例中，所述的历史跟踪管理模块包括一个字典，所述字典包括键key和值value，所述键key的取值为目标ID，所述值value是一个列表用于存放跟踪目标数据，所述字典能够增加跟踪目标数据、查询跟踪目标数据和删除跟踪目标数据。
所述跟踪目标数据在值value中按时间先后顺序存放。
在一些实施例中，所述的当前帧目标策略包括以下步骤：
在历史跟踪管理模块查询跟踪目标数据中是否存在待锁定目标ID，如果存在则将待锁定目标ID记为已锁定目标ID，并输出已锁定图像时间戳、已锁定光电图像、已锁定目标ID、已锁定目标框、已锁定目标类别和已锁定目标置信度；如果不存在待锁定目标ID则执行以下步骤：
查询待锁定目标ID丢失时刻跟踪目标数据中的图像时间戳记为丢失图像时间戳；
计算待锁定图像时间戳和丢失图像时间戳的时间差，计算时间差内待锁定目标的最大移动距离，以丢失目标框为圆心，最大移动距离为半径生成候选区域，在候选区域中查询是否存在待锁定目标ID，如果存在则将待锁定目标ID记为候选目标ID，并输出候选图像时间戳、候选光电图像、候选目标ID、候选目标框、候选目标类别和候选目标置信度。
具体实施中，假设时间差为0.1s，0.1s内待锁定目标在光电图像中最大移动距离为50像素，则时间差内，待锁定目标最多在以丢失目标框为圆心，50像素为半径的圆形候选区域内移动。
在一些实施例中，所述的候选区锁定当前帧目标策略包括以下步骤：
根据候选区域坐标数据得到候选区域，判断候选区域是否存在候选目标ID，如果存在则输出候选图像时间戳、候选光电图像、候选目标ID、候选目标框、候选目标类别和候选目标置信度；
如果不存在候选目标ID，则执行以下步骤：
根据候选区域坐标数据从光电图像中裁剪得到候选区图像，将候选区图像送入多目标检测模型得到多个候选检测目标数据，然后将候选检测目标数据按光电图像的坐标进行还原后记为检测目标数据执行S3。
由于候选区图像是从光电图像中裁剪得到的，因此送入固定输入大小的多目标检测模型中时，候选区图像相对于光电图像被放大了，可以实现细小目标的识别提高识别精准度，识别完成后还需要根据光电图像的坐标进行还原，以执行后续的步骤。
本发明第二方面提供：一种边缘智能设备的图像多目标预跟踪系统，用于实现上述任一种边缘智能设备的图像多目标预跟踪方法，包括：
边缘智能设备端，所述边缘智能设备端连接地面控制端；所述边缘智能设备端包括光电设备，用于拍摄光电图像，所述光电设备连接多目标预跟踪模块；所述多目标预跟踪模块用于对光电图像进行处理，能够接收地面控制端输入的待锁定目标ID或候选区域坐标数据对当前帧目标进行锁定或进行当前帧候选目标查询，所述多目标预跟踪模块连接传输数据处理模块；所述传输数据处理模块用于传输地面控制端输出的数据给多目标预跟踪模块，并根据无线通信信号等级将多目标预跟踪模块输出的数据传输给第一无线通讯设备A，所述传输数据处理模块连接第一无线通讯设备A；所述第一无线通讯设备A用于通过无线通信链路进行传输数据处理模块和地面控制端的数据交互；
所述地面控制端包括第二无线通信设备B，用于通过无线通信链路与边缘智能设备端进行数据交互，所述第二无线通信设备B连接人机交互显示模块；所述人机交互显示模块用于对边缘智能设备端传输的数据进行可视化，用第一类别a代表未选中目标、第二类别b代表人机交互选中的目标、第三类别c代表候选目标、第四类别d代表已锁定目标、第五类别e代表光电图像中未被检测到的目标，所述人机交互显示模块连接人机交互设备；所述人机交互设备为鼠标和/或键盘和/或无人机控制手柄，使用点选或框选或预定义数字键快选选中待锁定目标。
在一些实施例中，所述的无线通信信号等级分为第一信号等级、第二信号等级、第三信号等级和第四信号等级，当为第一信号等级时，传输1080P光电图像以及跟踪目标数据；当为第二信号等级时，传输640P光电图像以及跟踪目标数据；当为第三信号等级时，仅传输跟踪目标数据；当为第四信号等级时，不传输跟踪目标数据。
传输数据处理模块负责多目标预跟踪模块与第一无线通信设备A的传输数据处理。具体而言，该模块通过第一无线通信设备A获取地面控制端的第二无线通信设备B传输过来的人机交互数据，如人机交互时刻的图像时间戳、待锁定目标ID或候选框坐标等信息，并将接收到的人机交互数据送给多目标预跟踪模块做为输入，如图2中的输入2。同时，该模块将多目标预跟踪模块的输出1、输出2传递给第一无线通信设备A，由第一无线通信设备A通过无线通信传输给地面控制端的第二无线通信设备B。由于边缘智能设备端需要传输光电图像、跟踪目标数据，传输数据量大，在无线电链路信号不佳或无线电干扰时会导致数据丢失、延时大等问题。该模块主要特征在于根据根据无线电通信信号的强弱，将信号分为第一信号等级、第二信号等级、第三信号等级和第四信号等级4个等级，具体实施时，用dBm（毫瓦分贝）作为衡量单位，4个等级如下：第一信号等级：-40dBm~0dBm；第二信号等级：-80dBm~-40dBm；第三信号等级：-120dBm~-80dBm；第四信号等级：<-120dBm。
在一些实施例中，所述的点选是使用鼠标点击选中待锁定目标；所述的框选是使用鼠标拉框选中待锁定目标，若框选区域没有检测到待锁定目标则输出候选区域坐标数据到边缘智能设备端；所述预定义数字键快选是对待锁定目标进行编号，输入待锁定目标对应的编号数字则代表选中了对应的待锁定目标。
人机交互模块实现边缘智能设备端光电图像以及待锁定目标的显示、实现人机交互设备（如鼠标、键盘）通过点选、框选、预定义数字键（0～9）快选三种方式快速完成待锁定目标的选中；地面控制端人机交互显示UI，如图3所示。所述点选：利用鼠标点击实现，其以鼠标点击位置P作为中心坐标，以w为边长（具体实施中w取100像素），生成候选框，如图3中A鼠标点选，其选中了待锁定目标9。
所述框选：选利用鼠标拉框实现，起点坐标是O，终点坐标是E，如图3中B1鼠标框选和B2鼠标框选。B1鼠标框选代表利用鼠标框选且选中目标，图3中代表选中了待锁定目标6和待锁定目标8；B2鼠标框选代表鼠标框选且未选中目标，但因为框选区域没有被检测到的目标，则代表输出了候选区域坐标数据到边缘智能设备端，假设O2坐标为（x1, y1），E2左边为（x2, y2），则候选区域坐标为（bx, by, bw, bh），其中bw=x2-x1，bh=y2-y1，bx=x1 + bw/2、by=y1+bh/2。
所述预定义数字键快选，待锁定目标按面积从大到小最多10个，编号0～9。如图3中C预定义数字键，其代表人机交互时输入了数字7，即代表选中了编号为7的待锁定目标。
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。
Claims (7)
1.一种边缘智能设备的图像多目标预跟踪方法，其特征在于：包括以下步骤：
S1：获取光电图像并输入到多目标检测模型；
S2：多目标检测模型对光电图像进行处理，得到光电图像中多个检测目标的目标框box、目标类别cls、目标置信度conf和图像时间戳timestamp作为检测目标数据输出；
S3：使用多目标关联跟踪方法对前一时刻t-1和当前时刻t的检测目标关联并对每个检测目标赋予唯一的目标ID，将目标ID加入到检测目标数据中得到跟踪目标数据并输入到历史跟踪管理模块；
S4：历史跟踪管理模块将跟踪目标数据存放；最迟在跟踪目标数据输入到历史跟踪管理模块时，输入待锁定目标ID或候选区域坐标数据到历史管理跟踪模块；当输入为待锁定目标ID时执行ID锁定当前帧目标策略对当前帧目标进行锁定；当输入为候选区域坐标数据时，执行候选区锁定当前帧目标策略进行当前帧候选目标查询；
所述的ID锁定当前帧目标策略包括以下步骤：
在历史跟踪管理模块查询跟踪目标数据中是否存在待锁定目标ID，如果存在则将待锁定目标ID记为已锁定目标ID，并输出已锁定图像时间戳、已锁定光电图像、已锁定目标ID、已锁定目标框、已锁定目标类别和已锁定目标置信度；如果不存在待锁定目标ID则执行以下步骤：
查询待锁定目标ID丢失时刻跟踪目标数据中的图像时间戳记为丢失图像时间戳；
计算待锁定图像时间戳和丢失图像时间戳的时间差，计算时间差内待锁定目标的最大移动距离，以丢失目标框为圆心，最大移动距离为半径生成候选区域，在候选区域中查询是否存在待锁定目标ID，如果存在则将待锁定目标ID记为候选目标ID，并输出候选图像时间戳、候选光电图像、候选目标ID、候选目标框、候选目标类别和候选目标置信度；
所述的候选区锁定当前帧目标策略包括以下步骤：
根据候选区域坐标数据得到候选区域，判断候选区域是否存在候选目标ID，如果存在则输出候选图像时间戳、候选光电图像、候选目标ID、候选目标框、候选目标类别和候选目标置信度；
如果不存在候选目标ID，则执行以下步骤：
根据候选区域坐标数据从光电图像中裁剪得到候选区图像，将候选区图像送入多目标检测模型得到多个候选检测目标数据，然后将候选检测目标数据按光电图像的坐标进行还原后记为检测目标数据执行S3。
2.根据权利要求1所述的边缘智能设备的图像多目标预跟踪方法，其特征在于：所述的目标框box为（x, y, w, h），x代表目标框box中心的横坐标、y代表目标框box中心的纵坐标、w代表目标框box的宽度、h代表目标框box的高度；所述的多目标检测模型为FasterRCNN模型或YOLO模型或DETR模型。
3.根据权利要求1所述的边缘智能设备的图像多目标预跟踪方法，其特征在于：所述的多目标关联跟踪方法使用Sort算法或DeepSort算法或ByteTrack算法或BoT-SORT算法。
4.根据权利要求1所述的边缘智能设备的图像多目标预跟踪方法，其特征在于：所述的历史跟踪管理模块包括一个字典，所述字典包括键key和值value，所述键key的取值为目标ID，所述值value是一个列表用于存放跟踪目标数据，所述字典能够增加跟踪目标数据、查询跟踪目标数据和删除跟踪目标数据。
5.一种边缘智能设备的图像多目标预跟踪系统，其特征在于：用于实现如权利要求1-4任一项所述的边缘智能设备的图像多目标预跟踪方法，包括：
边缘智能设备端，所述边缘智能设备端连接地面控制端；所述边缘智能设备端包括光电设备，用于拍摄光电图像，所述光电设备连接多目标预跟踪模块；所述多目标预跟踪模块用于对光电图像进行处理，能够接收地面控制端输入的待锁定目标ID或候选区域坐标数据对当前帧目标进行锁定或进行当前帧候选目标查询，所述多目标预跟踪模块连接传输数据处理模块；所述传输数据处理模块用于传输地面控制端输出的数据给多目标预跟踪模块，并根据无线通信信号等级将多目标预跟踪模块输出的数据传输给第一无线通讯设备A，所述传输数据处理模块连接第一无线通讯设备A；所述第一无线通讯设备A用于通过无线通信链路进行传输数据处理模块和地面控制端的数据交互；
所述地面控制端包括第二无线通信设备B，用于通过无线通信链路与边缘智能设备端进行数据交互，所述第二无线通信设备B连接人机交互显示模块；所述人机交互显示模块用于对边缘智能设备端传输的数据进行可视化，用第一类别a代表未选中目标、第二类别b代表人机交互选中的目标、第三类别c代表候选目标、第四类别d代表已锁定目标、第五类别e代表光电图像中未被检测到的目标，所述人机交互显示模块连接人机交互设备；所述人机交互设备为鼠标和/或键盘和/或无人机控制手柄，使用点选或框选或预定义数字键快选选中待锁定目标。
6.根据权利要求5所述的边缘智能设备的图像多目标预跟踪系统，其特征在于：所述的无线通信信号等级分为第一信号等级、第二信号等级、第三信号等级和第四信号等级，当为第一信号等级时，传输1080P光电图像以及跟踪目标数据；当为第二信号等级时，传输640P光电图像以及跟踪目标数据；当为第三信号等级时，仅传输跟踪目标数据；当为第四信号等级时，不传输跟踪目标数据。
7.根据权利要求5所述的边缘智能设备的图像多目标预跟踪系统，其特征在于：所述的点选是使用鼠标点击选中待锁定目标；所述的框选是使用鼠标拉框选中待锁定目标，若框选区域没有检测到待锁定目标则输出候选区域坐标数据到边缘智能设备端；所述预定义数字键快选是对待锁定目标进行编号，输入待锁定目标对应的编号数字则代表选中了对应的待锁定目标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410191085.XA CN117765031B (zh) | 2024-02-21 | 2024-02-21 | 一种边缘智能设备的图像多目标预跟踪方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410191085.XA CN117765031B (zh) | 2024-02-21 | 2024-02-21 | 一种边缘智能设备的图像多目标预跟踪方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117765031A CN117765031A (zh) | 2024-03-26 |
| CN117765031B true CN117765031B (zh) | 2024-05-03 |
Family
ID=90322264
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410191085.XA Active CN117765031B (zh) | 2024-02-21 | 2024-02-21 | 一种边缘智能设备的图像多目标预跟踪方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117765031B (zh) |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104243901A (zh) * | 2013-06-21 | 2014-12-24 | 中兴通讯股份有限公司 | 基于智能视频分析平台的多目标跟踪方法及其系统 |
| CN105338248A (zh) * | 2015-11-20 | 2016-02-17 | 成都因纳伟盛科技股份有限公司 | 智能多目标主动跟踪监控方法及系统 |
| CN107564034A (zh) * | 2017-07-27 | 2018-01-09 | 华南理工大学 | 一种监控视频中多目标的行人检测与跟踪方法 |
| CN109903312A (zh) * | 2019-01-25 | 2019-06-18 | 北京工业大学 | 一种基于视频多目标跟踪的足球球员跑动距离统计方法 |
| CN110428447A (zh) * | 2019-07-15 | 2019-11-08 | 杭州电子科技大学 | 一种基于策略梯度的目标跟踪方法与系统 |
| CN111260689A (zh) * | 2020-01-16 | 2020-06-09 | 东华大学 | 一种有效的置信度增强相关滤波视觉跟踪算法 |
| CN111696128A (zh) * | 2020-05-27 | 2020-09-22 | 南京博雅集智智能技术有限公司 | 一种高速多目标检测跟踪和目标图像优选方法及存储介质 |
| WO2020187095A1 (zh) * | 2019-03-20 | 2020-09-24 | 深圳市道通智能航空技术有限公司 | 一种目标跟踪方法、装置和无人机 |
| CN112163473A (zh) * | 2020-09-15 | 2021-01-01 | 郑州金惠计算机系统工程有限公司 | 一种多目标跟踪方法、装置、电子设备和计算机存储介质 |
| CN112285698A (zh) * | 2020-12-25 | 2021-01-29 | 四川写正智能科技有限公司 | 一种基于雷达传感器的多目标跟踪装置及方法 |
| WO2021073528A1 (zh) * | 2019-10-18 | 2021-04-22 | 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） | 一种无人艇智能决策方法及系统 |
| WO2021145784A1 (ru) * | 2020-01-13 | 2021-07-22 | Юрий Александрович ГАБЛИЯ | Иерархическая архитектура системы безопасности подконтрольных участков местности |
| CN113525370A (zh) * | 2021-08-06 | 2021-10-22 | 郑州高识智能科技有限公司 | 一种基于车辆远光灯抓拍双目视觉和卫星导航数据的多目标跟踪系统 |
| CN113793260A (zh) * | 2021-07-30 | 2021-12-14 | 武汉高德红外股份有限公司 | 半自动修正目标跟踪框的方法、装置及电子设备 |
| CN114581954A (zh) * | 2022-03-15 | 2022-06-03 | 沈阳航空航天大学 | 基于行人特征的跨域检索和跟踪目标的方法 |
| CN114972818A (zh) * | 2022-05-07 | 2022-08-30 | 浙江理工大学 | 一种基于深度学习与混合现实技术的目标锁定系统 |
| CN115272816A (zh) * | 2022-06-23 | 2022-11-01 | 江苏嘉和天盛信息科技有限公司 | 基于深度卷积神经网络的道路交通目标跟踪方法 |
| WO2023077754A1 (zh) * | 2021-11-05 | 2023-05-11 | 北京小米移动软件有限公司 | 目标跟踪方法、装置及存储介质 |
| WO2024032091A1 (zh) * | 2022-08-12 | 2024-02-15 | 亿航智能设备（广州）有限公司 | 一种目标跟踪方法、设备及计算机可读存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020258258A1 (zh) * | 2019-06-28 | 2020-12-30 | 深圳市大疆创新科技有限公司 | 目标跟随的方法、系统、可读存储介质和可移动平台 |
-
2024
- 2024-02-21 CN CN202410191085.XA patent/CN117765031B/zh active Active
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104243901A (zh) * | 2013-06-21 | 2014-12-24 | 中兴通讯股份有限公司 | 基于智能视频分析平台的多目标跟踪方法及其系统 |
| CN105338248A (zh) * | 2015-11-20 | 2016-02-17 | 成都因纳伟盛科技股份有限公司 | 智能多目标主动跟踪监控方法及系统 |
| CN107564034A (zh) * | 2017-07-27 | 2018-01-09 | 华南理工大学 | 一种监控视频中多目标的行人检测与跟踪方法 |
| CN109903312A (zh) * | 2019-01-25 | 2019-06-18 | 北京工业大学 | 一种基于视频多目标跟踪的足球球员跑动距离统计方法 |
| WO2020187095A1 (zh) * | 2019-03-20 | 2020-09-24 | 深圳市道通智能航空技术有限公司 | 一种目标跟踪方法、装置和无人机 |
| CN110428447A (zh) * | 2019-07-15 | 2019-11-08 | 杭州电子科技大学 | 一种基于策略梯度的目标跟踪方法与系统 |
| WO2021073528A1 (zh) * | 2019-10-18 | 2021-04-22 | 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） | 一种无人艇智能决策方法及系统 |
| WO2021145784A1 (ru) * | 2020-01-13 | 2021-07-22 | Юрий Александрович ГАБЛИЯ | Иерархическая архитектура системы безопасности подконтрольных участков местности |
| CN111260689A (zh) * | 2020-01-16 | 2020-06-09 | 东华大学 | 一种有效的置信度增强相关滤波视觉跟踪算法 |
| CN111696128A (zh) * | 2020-05-27 | 2020-09-22 | 南京博雅集智智能技术有限公司 | 一种高速多目标检测跟踪和目标图像优选方法及存储介质 |
| CN112163473A (zh) * | 2020-09-15 | 2021-01-01 | 郑州金惠计算机系统工程有限公司 | 一种多目标跟踪方法、装置、电子设备和计算机存储介质 |
| CN112285698A (zh) * | 2020-12-25 | 2021-01-29 | 四川写正智能科技有限公司 | 一种基于雷达传感器的多目标跟踪装置及方法 |
| CN113793260A (zh) * | 2021-07-30 | 2021-12-14 | 武汉高德红外股份有限公司 | 半自动修正目标跟踪框的方法、装置及电子设备 |
| CN113525370A (zh) * | 2021-08-06 | 2021-10-22 | 郑州高识智能科技有限公司 | 一种基于车辆远光灯抓拍双目视觉和卫星导航数据的多目标跟踪系统 |
| WO2023077754A1 (zh) * | 2021-11-05 | 2023-05-11 | 北京小米移动软件有限公司 | 目标跟踪方法、装置及存储介质 |
| CN114581954A (zh) * | 2022-03-15 | 2022-06-03 | 沈阳航空航天大学 | 基于行人特征的跨域检索和跟踪目标的方法 |
| CN114972818A (zh) * | 2022-05-07 | 2022-08-30 | 浙江理工大学 | 一种基于深度学习与混合现实技术的目标锁定系统 |
| CN115272816A (zh) * | 2022-06-23 | 2022-11-01 | 江苏嘉和天盛信息科技有限公司 | 基于深度卷积神经网络的道路交通目标跟踪方法 |
| WO2024032091A1 (zh) * | 2022-08-12 | 2024-02-15 | 亿航智能设备（广州）有限公司 | 一种目标跟踪方法、设备及计算机可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| "Ensuring Port Safety: Improved YOLOX and DeepSORT for Accurate Detection and Tracking of Trucks and Truck Drivers";Xueqin Zheng等;《Proceedings of the 42nd Chinese Control Conference》;20230726;7693-7698 * |
| "卫星视频多目标跟踪算法研究";崔浩文;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》;20240215;C028-280 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117765031A (zh) | 2024-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11322011B2 (en) | Systems, methods, and devices for automatic signal detection based on power distribution by frequency over time | |
| CN115542318B (zh) | 面向无人机群目标的空地联合多域探测系统和方法 | |
| CN113064117B (zh) | 一种基于深度学习的辐射源定位方法及装置 | |
| CN102752574A (zh) | 一种视频监控系统及方法 | |
| CN116027324A (zh) | 基于毫米波雷达的跌倒检测方法、装置及毫米波雷达设备 | |
| CN115393681A (zh) | 一种目标融合方法、装置、电子设备及存储介质 | |
| WO2021076084A1 (en) | A system providing prediction of communication channel parameters | |
| CN112917467A (zh) | 机器人的定位及地图构建方法、装置及终端设备 | |
| Darlis et al. | Performance Analysis of 77 GHz mmWave Radar Based Object Behavior. | |
| CN117765031B (zh) | 一种边缘智能设备的图像多目标预跟踪方法及系统 | |
| Guo et al. | [Retracted] Automatic Parking System Based on Improved Neural Network Algorithm and Intelligent Image Analysis | |
| Liu et al. | Internet of Things technology in mineral remote sensing monitoring | |
| CN113177980B (zh) | 用于自动驾驶的目标对象速度确定方法、装置及电子设备 | |
| CN118053266B (zh) | 一种基于多模数据通信的高位滑坡灾害链监测方法 | |
| CN102044171B (zh) | 一种飞行信息屏幕跟踪显示装置及方法 | |
| CN117520466A (zh) | 一种可同类数据对比的地理信息采集系统 | |
| Gao et al. | Intelligent video surveillance of sand mining based on object detection and tracking | |
| CN113747400B (zh) | 车对车通讯传输优化方法、装置、设备及存储介质 | |
| CN112614162B (zh) | 基于空间优化策略的室内视觉快速匹配定位方法及系统 | |
| CN114913657A (zh) | 一种森林浮空通信中继平台的控制方法 | |
| CN118555591B (zh) | 基于无线电监测的指挥调度方法及指挥调度系统 | |
| CN114740970B (zh) | 一种基于联邦学习的毫米波手势识别方法及系统 | |
| Wen | [Retracted] Research on Architecture Design of Mobile Video Surveillance System in Information Room Based on Intelligent Robot Technology | |
| US20240381099A1 (en) | System, method, and apparatus for providing dynamic, prioritized spectrum management and utilization | |
| US20220400398A1 (en) | Vehicle connectivity and communication device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |