CN112016483B - 目标检测的接力系统、方法、装置及设备 - Google Patents
目标检测的接力系统、方法、装置及设备 Download PDFInfo
- Publication number
- CN112016483B CN112016483B CN202010898920.5A CN202010898920A CN112016483B CN 112016483 B CN112016483 B CN 112016483B CN 202010898920 A CN202010898920 A CN 202010898920A CN 112016483 B CN112016483 B CN 112016483B
- Authority
- CN
- China
- Prior art keywords
- target
- radar
- coordinates
- camera
- global
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 159
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000006243 chemical reaction Methods 0.000 claims abstract description 75
- 238000004590 computer program Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 13
- 238000012544 monitoring process Methods 0.000 description 8
- 238000009434 installation Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明实施例提供了一种目标检测的接力系统、方法、装置及设备。其中,接力系统包括中心端处理设备和第一雷视设备,第一雷视设备包括第一相机和第一雷达,第一相机和第一雷达具有重叠视场;第一雷视设备用于通过第一相机探测目标并获取探测目标图像数据,并且通过第一雷达探测目标并获取探测目标雷达数据;中心端处理设备用于:当根据第一雷视设备的图像坐标与雷达坐标的转换关系确定第一相机和第一雷达探测到的目标为相同的第一目标时,从探测目标图像数据中提取第一目标的特征信息作为第一目标的目标标识,并根据第一目标的目标标识和雷达探测数据生成第一目标的运动轨迹信息。可以有效提高生成的运动轨迹信息的准确性。
Description
技术领域
本发明涉及监控技术领域,特别是涉及目标检测的接力系统、方法、装置及设备。
背景技术
监控系统可以包括摄像机,如网络摄像机、球机、双目相机、鱼眼相机等。在道路交通监控中,摄像机可以对视场内的目标,如车辆、人员等,进行拍摄,以使监控系统可以通过目标在摄像机拍摄的图像中的图像坐标,检测出目标的运动轨迹。
但是,摄像机受到镜头畸变的影响,拍摄到的图像可能存在失真现象。基于失真的图像可能难以获取准确的运用轨迹。因此,如何准确确定目标的运动轨迹成为亟待解决的技术问题。
发明内容
本发明实施例的目的在于提供目标检测的接力系统、方法、装置及设备,以实现提高生成的运动轨迹信息的准确性。具体技术方案如下:
在本发明实施例的第一方面,提供了一种目标检测的接力系统,所述接力系统包括中心端处理设备和第一雷视设备,所述第一雷视设备包括第一相机和第一雷达,所述第一相机和所述第一雷达具有重叠视场;
所述第一雷视设备用于通过所述第一相机探测目标并获取探测目标图像数据,并且通过所述第一雷达探测目标并获取探测目标雷达数据;将所述目标图像数据和所述目标雷达数据发送至所述中心端处理设备;
所述中心端处理设备用于:接收所述第一雷视设备发送的探测目标图像数据以及探测目标雷达数据,当根据所述第一雷视设备的图像坐标与雷达坐标的转换关系确定所述第一相机和所述第一雷达探测到的目标为相同的第一目标时,从所述探测目标图像数据中提取所述第一目标的特征信息作为所述第一目标的目标标识,并根据所述第一目标的目标标识和所述雷达探测数据生成所述第一目标的运动轨迹信息。
在一种可能的实施例中,所述中心端处理设备根据所述第一目标的目标标识和所述雷达探测数据生成所述第一目标的运动轨迹信息,包括:
根据所述第一雷达的雷达坐标与全局坐标的转换关系,将所述雷达探测数据中所述第一目标的雷达坐标转换成全局坐标,根据所述第一目标的全局坐标和所述第一目标的目标标识生成所述第一目标的全局运动轨迹信息。
在一种可能的实施例中,在接收所述第一雷视设备发送的探测目标图像数据以及探测目标雷达数据之后,当所述中心端处理设备根据所述第一雷视设备的图像坐标与雷达坐标的转换关系确定存在所述第一相机探测到并且所述第一雷达没有探测到的第二目标时,所述中心端处理设备还用于:
根据所述第一雷达和所述第一相机的坐标转换关系,将所述第二目标的图像坐标转换成雷达坐标;从所述探测目标图像数据中提取所述第二目标的特征信息作为所述第二目标的目标标识;并根据所述第二目标的目标标识和所述第二目标的雷达坐标生成所述第二目标的运动轨迹信息。
在一种可能的实施例中,所述中心端处理设备根据所述第二目标的目标标识和所述第二目标的雷达坐标生成所述第二目标的运动轨迹信息,包括:
根据所述第一雷达的雷达坐标与全局坐标的转换关系,将所述第二目标的雷达坐标转换成全局坐标,根据所述第二目标的全局坐标和所述第二目标的目标标识生成所述第二目标的全局运动轨迹信息。
在一种可能的实施例中,所述接力系统还包括与所述第一雷视设备相邻的第二雷视设备,所述第二雷视设备的探测区域与所述第一雷视设备的探测区域具有重叠的第一接力区;第二雷视设备包括第二相机和第二雷达,所述第二相机和所述第二雷达具有重叠视场;所述中心端处理设备还用于:
当根据所述第一雷视设备探测到的第三目标的运动轨迹信息确定所述第三目标从所述第一雷视设备的探测区域进入所述第一接力区,并且所述第二雷视设备探测到的第四目标位于所述第一接力区时,根据所述第一雷达与所述第二雷达之间的坐标转换关系,将所述第三目标的雷达坐标转换到所述第三目标在所述第二雷达的坐标系中的雷达坐标;
根据所述第三目标在所述第二雷达的坐标系中的雷达坐标和所述第四目标在所述第二雷达的坐标系中的雷达坐标,确定所述第三目标和所述第四目标是否为同一目标;
如果根据所述第三目标在所述第二雷达的坐标系中的雷达坐标和所述第四目标在所述第二雷达的坐标系中的雷达坐标确定所述第三目标和所述第四目标为同一目标,则将所述第四目标的目标标识更新为所述第三目标的目标标识,控制所述第二雷视设备对所述第三目标进行接力探测,并根据所述第二雷达对所述第三目标探测获取到的雷达探测数据和所述第三目标的目标标识,更新所述第三目标的运动轨迹信息,其中,所述第三目标更新后的运动轨迹信息包括所述第三目标在所述第一雷视设备和所述第二雷视设备的探测范围内的完整运动轨迹。
在一种可能的实施例中,所述接力系统还包括至少一个球机;
所述中心端处理设备还用于:根据关心目标的目标特征信息从通过所述接力系统中的雷视设备探测到的所有目标中选择出与所述目标特征信息匹配的关心目标;根据所述关心目标的位置信息,确定匹配的球机为第一球机时,根据所述关心目标的位置信息确定并发送所述第一球机的PTZ坐标;
所述第一球机,用于根据所述中心端处理设备发送的PTZ坐标对所述关心目标的细节图像进行抓拍,并向所述中心端处理设备反馈所述关心目标的细节图像;
所述中心端处理设备还用于根据所述关心目标的细节图像和所述关心目标的完整运动轨迹信息,将所述关心目标的完整运动轨迹信息存储为带有细节图像的完整运动轨迹。
在一种可能的实施例中,所述至少一个球机与所述接力系统中的雷视设备具有联动关系;
若当前对所述关心目标进行探测的匹配雷视设备为第三雷视设备,所述中心端处理设备根据所述关心目标的位置信息确定并发送所述第一球机的PTZ坐标包括:
根据所述关心目标的当前雷达坐标以及所述第三雷视设备的雷达与所述第一球机的标定关系,确定所述第一球机的PTZ坐标;或者
根据所述关心目标的当前雷达坐标以及所述第三雷视设备的雷达与全局坐标的转换关系,将所述关心目标的雷达坐标转换成全局坐标;并根据所述全局坐标,以及所述第一球机与所述全局坐标的标定关系,确定所述第一球机的PTZ坐标。
在一种可能的实施例中,所述至少一个球机分别与全局坐标存在标定关系;
所述中心端处理设备根据所述关心目标的位置信息确定并发送所述第一球机的PTZ坐标包括:
当所述关心目标的运动轨迹信息为全局坐标系下的全局运动轨迹信息时,根据所述关心目标的全局位置信息,以及所述第一球机与所述全局坐标的标定关系,确定所述第一球机的PTZ坐标。
在一种可能的实施例中,所述关心目标的位置信息包括预测位置信息,所述中心端处理设备根据所述关心目标的位置信息确定并发送所述第一球机的PTZ坐标,包括:
根据所述关心目标的运动轨迹信息,对所述关心目标的下一位置进行预测,得到所述关心目标的预测位置信息;根据所述关心目标的预测位置信息,对所述第一球机的PTZ坐标进行预测,以使所述第一球机根据预测的PTZ坐标实时的对所述关心目标进行细节图像抓拍。
在一种可能的实施例中,所述中心端处理设备根据所述关心目标的位置信息,确定匹配的球机为第一球机,包括:
根据所述关心目标的位置信息,确定当前对所述关心目标进行探测的匹配雷视设备,根据各个球机与各个雷视设备的联动关系,确定与所述匹配雷视设备联动的球机为所述第一球机。
在一种可能的实施例中,所述中心端处理设备根据所述关心目标的位置信息,确定匹配的球机为第一球机,包括:
当所述关心目标的运动轨迹为全局坐标系下的全局运动轨迹时,获取所述关心目标的全局位置信息;
根据所述第一球机与所述全局坐标的标定关系,将与所述关心目标的全局位置信息匹配的球机确定为所述第一球机。
在本发明实施例的第二方面,提供了一种目标检测的接力方法,应用于接力系统中的中心端处理设备,所述接力系统还包括第一雷视设备,所述第一雷视设备包括第一相机和第一雷达,所述第一相机和所述第一雷达具有重叠视场;所述第一雷视设备用于通过所述第一相机探测目标并获取探测目标图像数据,并且通过所述第一雷达探测目标并获取探测目标雷达数据;将所述目标图像数据和所述目标雷达数据发送至所述中心端处理设备;
所述方法包括:
接收所述第一雷视设备发送的探测目标图像数据以及探测目标雷达数据;
当根据所述第一雷视设备的图像坐标与雷达坐标的转换关系确定所述第一相机和所述第一雷达探测到的目标为相同的第一目标时,从所述探测目标图像数据中提取所述第一目标的特征信息作为所述第一目标的目标标识;
根据所述第一目标的目标标识和所述雷达探测数据生成所述第一目标的运动轨迹信息。
在本发明实施例的第三方面,提供了一种目标检测的接力装置,应用于接力系统中的中心端处理设备,所述接力系统还包括第一雷视设备,所述第一雷视设备包括第一相机和第一雷达,所述第一相机和所述第一雷达具有重叠视场;所述第一雷视设备用于通过所述第一相机探测目标并获取探测目标图像数据,并且通过所述第一雷达探测目标并获取探测目标雷达数据;将所述目标图像数据和所述目标雷达数据发送至所述中心端处理设备;
所述方法包括:
接收所述第一雷视设备发送的探测目标图像数据以及探测目标雷达数据;
当根据所述第一雷视设备的图像坐标与雷达坐标的转换关系确定所述第一相机和所述第一雷达探测到的目标为相同的第一目标时,从所述探测目标图像数据中提取所述第一目标的特征信息作为所述第一目标的目标标识;
根据所述第一目标的目标标识和所述雷达探测数据生成所述第一目标的运动轨迹信息。
在本发明实施例的第三方面,提供了一种目标检测的接力装置,其特征在于,应用于接力系统中的中心端处理设备,所述接力系统还包括第一雷视设备,所述第一雷视设备包括第一相机和第一雷达,所述第一相机和所述第一雷达具有重叠视场;所述第一雷视设备用于通过所述第一相机探测目标并获取探测目标图像数据,并且通过所述第一雷达探测目标并获取探测目标雷达数据;将所述目标图像数据和所述目标雷达数据发送至所述中心端处理设备;
所述装置包括:
数据接收模块,用于接收所述第一雷视设备发送的探测目标图像数据以及探测目标雷达数据;
目标识别模块,用于当根据所述第一雷视设备的图像坐标与雷达坐标的转换关系确定所述第一相机和所述第一雷达探测到的目标为相同的第一目标时,从所述探测目标图像数据中提取所述第一目标的特征信息作为所述第一目标的目标标识;
轨迹生成模块,用于根据所述第一目标的目标标识和所述雷达探测数据生成所述第一目标的运动轨迹信息。
在本发明实施例的第四方面,提供了一种中心端处理设备,应用于接力系统,所述接力系统还包括第一雷视设备,所述第一雷视设备包括第一相机和第一雷达,所述第一相机和所述第一雷达具有重叠视场;所述第一雷视设备用于通过所述第一相机探测目标并获取探测目标图像数据,并且通过所述第一雷达探测目标并获取探测目标雷达数据;将所述目标图像数据和所述目标雷达数据发送至所述中心端处理设备;
所述中心端处理设备包括:
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述第二方面所述的方法步骤。
在本发明实施例的第五方面,提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第二方面所述的方法步骤。
本发明实施例有益效果:
本发明实施例提供的目标检测的接力系统、方法、装置及设备,可以通过联动第一雷视设备中的第一相机与第一雷达,利用第一相机探测到的探测目标图像数据对目标进行识别,并利用第一雷达探测到的探测目标雷达数据生成目标的运动轨迹信息,因此可以有效克服图像失真导致的运动轨迹信息的不准确性,即可以有效提高生成的运动轨迹信息的准确性。
当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的实施例。
图1a为本发明实施例提供的目标检测的接力系统的一种结构示意图;
图1b为本发明实施例提供的雷视设备的一种原理示意图;
图2a为本发明实施例提供的目标检测的接力系统的另一种结构示意图;
图2b为本发明实施例提供的应用于车辆检测场景的接力系统的一种结构示意图;
图3为本发明实施例提供的目标检测的接力系统的另一种结构示意图;
图4a为本发明实施例提供的目标检测的接力系统的另一种结构示意图;
图4b为本发明实施例提供的应用于车辆检测场景的接力系统的另一种结构示意图;
图5为本发明实施例提供的目标检测的接力方法的一种流程示意图;
图6a为本发明实施例提供的目标检测的接力装置的一种结构示意图;
图6b为本发明实施例提供的目标检测的接力装置的另一种结构示意图;
图7为本发明实施例提供的中心端处理设备的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图1,图1所示为本发明实施例提供的目标运行轨迹检测的接力系统的一种结构示意图,可以包括:
中心端处理设备100以及第一雷视设备210,第一雷视设备210可以包括第一相机211和第一雷达212,第一相机211和第一雷达212具有重叠视场,示例性的,可以图1b所示,第一雷视设备210可以对重叠视场内的目标进行探测。
第一雷视设备210用于通过第一相机211探测目标并获取探测目标图像数据,并且通过第一雷达212探测目标并获取探测目标雷达数据,将目标图像数据和目标雷达数据发送至中心端处理设备100。
中心端处理设备100用于:接收第一雷视设备210发送的探测目标图像数据以及探测目标雷达数据,当根据第一雷视设备210的图像坐标与雷达坐标的转换关系确定第一相机211和第一雷达212探测到的目标为相同的第一目标时,从探测目标图像数据中提取第一目标的特征信息作为第一目标的目标标识,并根据第一目标的目标标识和雷达探测数据生成第一目标的运动轨迹信息。
一种示例,本发明中的第一雷视设备210为任意雷视设备,将一台雷达和一台相机进行组合称为雷视设备,雷视设备中的相机包括但不局限于摄像机,摄像机包括网络摄像机IPC、枪机、双目相机、鱼眼相机、球机等,雷达包括不限于毫米波雷达和激光雷达等,雷视设备中的相机和雷达对准同一警戒区域。毫米波雷达可以获得场景内目标的距离、速度、方位等信息,相机可以获得场景内目标的图像信息。雷视设备中的相机和雷达可以是一体结构,也可以非一体结构。雷达和相机可以同向安装,如图1b所示,也可以对向安装,要保证监控场景能同时在相机和雷达的视场内。通常来说,雷达的有效监控范围要大于相机有效监控范围。
一种示例中,雷视设备由一枪机和一毫米波雷达构成。毫米波雷达:是工作在毫米波波段(millimeter wave)探测的雷达。毫米波是指30~300GHz频域(波长为1~10mm)的电磁波,但通常24GHz的雷达也认为是毫米波雷达。
选用该实施例,可以通过联动第一雷视设备210中的第一相机211与第一雷达212,利用第一相机211探测到的探测目标图像数据对目标进行识别,并利用第一雷达212探测到的探测目标雷达数据生成目标的运动轨迹信息,因此可以有效克服图像失真导致的运动轨迹信息的不准确性,即可以有效提高生成的运动轨迹信息的准确性。
其中,接力系统中也可以包括除第一雷视设备210以外的其他雷视设备,并且可以是包括一个其他雷视设备,也可以是包括多个其他雷视设备。中心端处理设备100可以是独立于接力系统中各个雷视设备的电子设备,例如,中心端处理设备100可以是独立于雷视设备的服务器,或者,中心端处理设备100也可以是集成在接力系统中的任一雷视设备上的。另外,中心端处理设备100也可以是分布式的,示例性的,接力系统中可以包括多个集成有嵌入式智能芯片的雷视设备,则中心端处理设备100可以是由各个集成有嵌入式智能芯片的雷视设备所构成的分布式设备。雷视设备的雷达和相机可以通过GPS授时实现时间同步。雷视设备与中心端处理设备之间可以通过GPS授时实现时间同步。
第一雷视设备210的图像坐标是指第一雷视设备210中第一相机211的图像坐标系下的坐标,第一雷视设备210的雷达坐标是指第一雷视设备210中第一雷达212的雷达坐标系下的坐标。第一雷视设备210的图像坐标和雷达坐标的转换关系可以预先标定得到的,并且预先存储于中心端处理设备100中。
第一雷视设备210的图像坐标和雷达坐标的转换关系,可以将第一雷视设备210的图像坐标和雷达坐标转换至相同坐标系下。示例性的,该转换关系可以用于将图像坐标转换至第一雷达212的雷达坐标系下,也可以用于将雷达坐标转换至第一相机211的图像坐标系下,还可以用于将图像坐标和雷达坐标转换至除第一雷达212的雷达坐标系以及第一相机211的图像坐标系以外的其他坐标系下,本实施例对此不做限制。
可以是根据第一雷视设备210的图像坐标和雷达坐标的转换关系,将第一相机211探测到的目标的位置与第一雷达212探测到的目标的位置转换至相同坐标系下,从而计算第一相机211探测到的目标与第一雷达212探测到的目标在该相同坐标系下的距离,如果该距离小于预设距离阈值,则确定第一相机211探测到的目标与第一雷达212探测到的目标为相同的第一目标,如果该距离不小于预设距离阈值,则确定第一相机211探测到的目标与第一雷达212探测到的目标不为相同的第一目标。
示例性的,假设第一相机211探测到目标A,并且目标A的图像坐标为(Xp,Yp),第一雷达212探测到目标B,并且目标B的雷达坐标为(Xr,Yr),则可以是根据第一雷视设备210的图像坐标和雷达坐标的转换关系,将雷达坐标(Xr,Yr)转换至第一相机211的图像坐标系下,假设转换后得到的图像坐标为(Xt,Yt),则可以是计算图像坐标(Xt,Yt)与(Xp,Yp)之间的欧式距离,如果计算得到的欧式距离小于预设距离阈值,则确定目标A和目标B为相同的第一目标。
可以理解的是,虽然第一雷达212探测到的雷达探测数据是在第一雷达212的雷达坐标系下的雷达探测数据,但是第一目标的运动轨迹根据实际需求的不同可以是不同坐标系下的运动轨迹。
在一种可能的实施例中,可以是根据第一雷达的雷达坐标与全局坐标的转换关系,将雷达探测数据中第一目标的雷达坐标转换成全局坐标,根据第一目标的全局坐标和第一目标的目标标识生成第一目标的全局运动轨迹信息。
其中,全局坐标可以是指任一用于全局定位的坐标系下的坐标,例如全局坐标可以是GPS(Global Positioning System,全球定位系统)坐标,也可以是BDS(BeiDouNavigation Satellite System,北斗卫星导航系统)坐标。雷达坐标与全局坐标的转化关系可以是预先通过标定得到的,并且预先存储于中心端处理设备100的,也可以是由中心端处理设备100根据第一雷达212的安装参数计算得到的。
选用该实施例,可以通过根据雷达坐标反算目标的全局坐标,从而实现将目标的运动轨迹统一为全局坐标系下的全局运动轨迹。
在一些应用场景中,出于一些特殊原因,因雷达信号被屏蔽导致目标处于雷达的盲区等,则可能导致第一雷达212没有探测到目标,因此可能无法获取目标的完整的运动轨迹信息。
基于此,在一种可能的实施例中,当中心端处理设备100根据第一雷视设备210的图像坐标与雷达坐标的转换关系确定存在第一相机211探测到并且第一雷达212没有探测到的第二目标时,可以根据第一雷达212和第一相机211的坐标转换关系,将第二目标的图像坐标转换成雷达坐标,从探测目标图像数据中提取第二目标的特征信息作为第二目标的目标标识,并根据第二目标的目标标识和第二目标的雷达坐标生成第二目标的运动轨迹信息。
选用该实施例,可以利用第一雷视设备210的图像坐标与雷达坐标之间的转换关系,在雷达漏检目标的情况下,中心端处理设备100能够根据相机探测到的图像坐标计算得到漏检的目标的雷达坐标,从而生成漏检的目标的运动轨迹信息,可以有效避免因雷达漏检导致的运动轨迹信息不完整。
其中,如果第一雷达212的视场完全覆盖第一相机211的视场,则中心端处理设备100可以是针对第一相机211探测到的每个目标,根据第一雷视设备210的图像坐标和雷达坐标之间的转换关系确定第一雷达212是否探测到相同的目标,关于如何确定第一相机211探测到的目标和第一雷达212探测到的目标是否为相同的目标可以参见前述相关描述,在此不再赘述。如果第一雷达212没有探测到相同的目标,则中心端处理设备100可以确定第一相机211探测到的该目标为第二目标。
如果第一雷达212的视场未完全覆盖第一相机211的视场,即第一相机的视场中至少存在一个不属于第一雷达212视场的区域。则中心端处理设备100可以是针对第一相机211探测到的每个目标,根据第一雷视设备210的图像坐标和雷达坐标之间的转换关系,确定该目标是否位于第一雷达212的视场内,如果该目标位于第一雷达212的视场内,则确定第一雷达212是否探测到相同的目标。如果第一雷达212没有探测到相同的目标,则中心端处理设备100可以确定第一相机211探测到的该目标为第二目标。
第二目标的运动轨迹信息的生成方式根据应用场景的不同可以不同,示例性的,在一种可能的实施例中,可以是根据第一雷达212的雷达坐标与全局坐标的转换关系,将第二目标的雷达坐标转换成全局坐标,根据第二目标的全局坐标和第二目标的目标标识生成第二目标的全局运动轨迹信息。
关于全局坐标可以参见前述相关说明,在此不再赘述。选用该实施例,可以通过根据雷达坐标反算目标的全局坐标,从而实现将漏检的目标的运动轨迹统一为全局坐标系下的全局运动轨迹。
相关技术中,由于单个摄像机的视场有限,当目标离开摄像机的视场时,则监控系统无法继续对该目标进行跟踪,因此,监控系统中可以包括多个摄像机,相邻的摄像机的视场之间存在重叠区域(下文称接力区)。
相关技术中,针对监控系统中相邻的两个摄像机,对前一摄像机拍摄到的关于接力区的图像,与后一摄像机拍摄到的关于该接力区的图像进行配准,从而在后一摄像机探测出的目标中确定出与前一摄像机探测出的目标为同一目标的目标,以通过后一摄像机继续对前一摄像机探测出的目标进行运动轨迹检测。这样,可以实现在较大空间尺度上针对同一目标的运动轨迹检测。
但是,接力区往往为摄像机的视场的边缘区域,受到镜头畸变的影响较大,图像失真较为严重。这样,在利用相关技术进行运动轨迹检测时,由于图像失真严重,导致图像配准的结果准确性较低,从而难以从出现在后一摄像机探测出的目标中准确确定出与前一摄像机探测的目标为同一目标的目标,因此导致检测得到的运动轨迹信息不够准确。
基于此,在一种可能的实施例中,本发明实施例提供的接力系统也可以如图2a所示,图2a所示为本发明实施例提供的接力系统的另一种可能的结构示意图,接力系统还可以包括与第一雷视设备210相邻的第二雷视设备220。
第二雷视设备220的探测区域与第一雷视设备210的探测区域具有重叠的第一接力区,第二雷视设备220包括第二相机221和第二雷达222,第二相机221和第二雷达222具有重叠视场。示例性的,以车辆检测的应用场景为例,可以如图2b所示,其中虚线表示第一雷视设备210和第二雷视设备220的探测区域,粗实线围成的矩形区域为第一雷视设备210的探测区域和第二雷视设备220的探测区域之间的第一接力区。
中心端处理设备100还可以用于:当根据第一雷视设备210探测到的第三目标的运动轨迹信息确定第三目标从第一雷视设备210的探测区域进入第一接力区,并且第二雷视设备220探测到第四目标位于第一接力区时,根据第一雷达212与第二雷达222之间的坐标转换关系,将第三目标的雷达坐标转换到第三目标在第二雷达222的坐标系中的雷达坐标。
根据第三目标在第二雷达222的坐标系中的雷达坐标和第四目标在第二雷达222的坐标系中的雷达坐标,确定第三目标和第四目标是否同一目标。如果根据第三目标在第二雷达222的坐标系中的雷达坐标和第四目标在第二雷达222的坐标系中的雷达坐标确定第三目标和第四目标为同一目标,则将第四目标的目标标识更新为第三目标的目标标识,并控制第二雷视设备220对第三目标进行接力探测,并根据第二雷达222对第三目标探测获取到的雷达探测数据和第二目标的目标标识,更新第三目标的运动轨迹信息,其中,第三目标更新后的运动轨迹信息包括第三目标在第一雷视设备210和第二雷视设备220的探测范围内的完整运动轨迹。
其中,第一雷视设备210和第二雷视设备220相邻可以是指在空间上第一雷视设备210和第二雷视设备220之间不存在其他的雷视设备,也可以是指第一雷视设备210和第二雷视设备220之间建立有相邻关系,该相邻关系可以是用户预先配置的,也可以是中心端处理设备100根据各雷视设备的位置计算得到的。
由于第一接力区为第一雷视设备210的探测区域和第二雷视设备220的探测区域之间重叠的区域,因此当第三目标处于第一接力区域时,理论上将被第一雷视设备210和第二雷视设备220同时探测到。理论上第二雷视设备220探测到的目标中存在与第三目标相同的目标。
在该实施例中,根据第一雷达212与第二雷达222之间的坐标转换关系,将第三目标投影至第二雷达222的坐标系下,从而确定第三目标与第四目标是否为相同的目标。在其他可能的实施例中,也可以是根据第一雷达212与第二雷达222之间的坐标转换关系,将第四目标投影至第一雷达212的坐标系下,从而确定三目标与第四目标是否为相同的目标。还可以是根据第一雷达212与预设坐标系之间的坐标转换关系,将第三目标投影至预设坐标系下,并根据第二雷达222与预设坐标系之间的坐标转换关系,将第四目标投影至预设坐标系下,根据第三目标和第四目标在预设坐标系下的坐标确定第三目标和第四目标是否为同一目标。
第一雷达212与第二雷达222之间的坐标转换关系可以如下所示:
其中,x2为第二雷达222的雷达坐标系的横坐标,y2为为第二雷达222的雷达坐标系的纵坐标,x1为第一雷达212的雷达坐标系的横坐标,y1为第一雷达212的雷达坐标系的纵坐标,Δx为第二雷达222相对第一雷达212的水平偏移量,Δy为第二雷达222相对第一雷达212的竖直偏移量,θ为第二雷达222的朝向相对第一雷达212的朝向的偏转角。
选用该实施例,可以通过具有空间定位能力和视频采集能力的雷视设备进行接力,使得相邻雷视设备进行接力时可以在空间维度上确定两个雷视设备探测出的目标是否为同一目标,有效避免了视场边缘图像失真对目标识别的影响,从而可以在出现在后一雷视设备探测到的目标中准确识别出前一雷视设备探测到的目标,因此可以提高检测得到的运动轨迹信息的准确性。
在一些应用场景中,出于实际需求可能还需要采集目标的细节图像,基于此,在一种可能的实施例中,本发明实时提供的接力系统如图3所示,还可以包括至少一个球机300。球机与中心端处理设备之间可以通过GPS授时实现时间同步。
中心端处理设备100还用于:根据关心目标的目标特征信息从通过接力系统中的雷视设备探测到的所有目标中选择出与目标特征信息匹配的关心目标。根据关心目标的位置信息,确定匹配的球机为第一球机时,根据关心目标的位置信息确定并发送第一球机的PTZ坐标。第一球机可以是多个球机中的其中一个。通过设置PTZ(Pan Title Zoom,云台控制)坐标可以对球机的全方位(上下、左右)移动以及镜头变倍进行控制。
第一球机,用于根据中心端处理设备100发送的PTZ坐标对关心目标的细节图像进行抓拍,并向中心端处理设备100反馈关心目标的细节图像。中心端处理设备100还用于根据关心目标的细节图像和关心目标的完整运动轨迹信息,将关心目标的完整运动轨迹信息存储为带有细节图像的完整运动轨迹。
其中,关心目标根据应用场景的不同可以不同,以智能交通的应用场景为例,关心目标可以是速度高于预设速度阈值的车辆,也可以是车牌号为指定车牌号的车辆。关心目标的目标特征信息可以是预先输入至中心端处理设备100的,示例性的,可以是在中心端处理设备100配置预设速度阈值,如60Km/h,则中心端处理设备100可以针对通过雷视设备探测到的每个目标,确定该目标的速度是否达到60Km/h,如果该目标的速度达到60Km/h则可以确定该目标为关心目标。
关心目标的位置信息可以是指关心目标当前所处的位置的位置信息,也可以是指关心目标在下一时刻预期所处的位置的位置信息。并且,位置信息根据实际需求的不同,可以是以不同坐标系下的坐标表示的,例如可以是以探测到关心目标的雷视设备的雷达的坐标系下的坐标表示的,也可以是以全局坐标系下的坐标表示的,还可以是以除该雷达的坐标系以及全局坐标系以外的其他坐标系下的坐标表示的,本实施例对此不做限制。
第一球机为从接力系统中的至少一个球机300中确定出的匹配的球机,第一球机的探测范围应当包括关心目标的位置信息所表示的位置。第一球机在接收到中心端处理设备100发送的PTZ坐标后,可以调整第一球机的水平朝向、竖直朝向以及变倍倍率,以使得第一球机的水平朝向、竖直朝向以及变倍倍率与该PTZ坐标所表示的水平朝向、竖直朝向以及变倍倍率相同。由于该PTZ坐标是根据关心目标的位置信息确定得到的,因此当第一球机的水平朝向、竖直朝向以及变倍倍率与该PTZ坐标所表示的水平朝向、竖直朝向以及变倍倍率相同时,理论上第一球机应当能够抓拍到关心目标的细节图像。
在一种可能的应用场景中,至少一个球机300与接力系统中的雷视设备具有联动关系。可以是至少一个球机300中的部分球机300与接力系统中的雷视设备具有联动关系,也可以是至少一个球机300中的所有球机300与接力系统中的雷视设备具有联动关系。每个球机300可以与一个或多个雷视设备具有联动关系,并且每个雷视设备至多与一个球机300具有联动关系。
球机300的探测范围应当覆盖每个与该球机300具有联动关系的雷视设备的探测范围。示例性的,假设第一球机与第三雷视设备具有联动关系,则第一球机的探测范围覆盖第三雷视设备的探测范围,其中,第三雷视设备可以是与前述第一雷视设备为同一雷视设备,也可以是前述第二雷视设备220为同一雷视设备,还可以是第一雷视设备210和第二雷视设备220以外的其他雷视设备。
若当前对关心目标进行探测的匹配雷视设备为第三雷视设备,则中心端处理设备100根据关心目标的位置信息确定并发送第一球机的PTZ参数可以是:根据关心目标的当前雷达坐标以及第三雷视设备的雷达与第一球机的标定关系,确定第一球机的PTZ坐标。中心端处理设备100根据关心目标的位置信息确定并发送第一球机的PTZ参数也可以是:根据关心目标的雷达坐标以及第三雷视设备的雷达与全局坐标的转换关系,将关心目标的雷达坐标转换成全局坐标。并根据全局坐标,以及第一球机与全局坐标的标定关系,确定第一球机的PTZ坐标。
可以理解的是,由于当前对关心目标进行探测的匹配雷视设备为第三雷视设备,因此关心目标的当前雷达坐标为关心目标在第三雷视设备的雷达的坐标系下的坐标。第三雷视设备的雷达与第一球机的标定关系可以用于表示第三雷视设备的雷达的坐标系下的坐标与第一球机的PTZ坐标之间的转换关系,该标定关系可以是预先标定得到的,也可以是根据第一球机的安装参数以及第三雷视设备的安装参数计算得到的,并且预先存储于中心端处理设备100。因此,中心端处理设备100可以根据关心目标的当前雷达坐标以及第三雷视设备的雷达与第一球机的标定关系,确定第一球机的PTZ坐标。
同理,第三雷视设备的雷达与全局坐标的转换关系可以是预先标定得到的,也可以是根据第三雷视设备的安装参数计算得到的,并且预先存储于中心端处理设备100。因此,中心端处理设备100可以根据关心目标的当前雷达坐标以及第三雷视设备的雷达与全局坐标的转换关系,将关心目标的雷达坐标转换成全局坐标。全局坐标与第一球机的标定关系可以用于表示全局坐标系下的全局坐标与第一球机的PTZ坐标之间的转换关系,该标定关系可以是预先标定得到的,也可以是根据第一球机的安装参数计算得到的,并且预先存储于中心端处理设备100。因此,中心端处理设备100可以根据转换得到的全局坐标以及第一球机与全局坐标的标定关系,确定第一球机的PTZ坐标。
在一种可能的应用场景中,至少一个球机300与接力系统中的雷视设备也可以不具有联动关系,并且至少一个球机300分别与全局坐标存在标定关系。该标定关系可以是预先标定得到的,也可以是至少一个球机300各自的安装参数分别计算得到的,并且预先存储于中心端处理设备100。
则根据关心目标的位置信息确定并发送第一球机的PTZ坐标可以是:当关心目标的运动轨迹信息为全局坐标系下的全局运动轨迹信息时,中心端处理设备100可以根据关心目标的全局位置信息,以及第一球机与全局坐标的标定关系,确定第一球机的PTZ坐标。
关心目标的全局位置信息可以是根据关心目标的全局运动轨迹信息确定得到的,例如,可以是根据关心目标的全局运动轨迹信息确定关心目标当前所处的全局坐标作为关心目标的全局位置信息。
选用该实施例,可以在球机300与雷视设备未联动的情况下,通过关心目标的全局运动轨迹信息控制球机300抓拍关心目标的细节图像。
可以理解的是,从中心端处理设备100开始确定第一球机的PTZ坐标,直至第一球机根据中心端处理设备确定的PTZ参数抓拍关心目标的细节图像这一过程需要花费一定的时间,因此关心目标的位置在该过程中可能发生改变。为使得第一球机根据中心端处理设备100确定的PTZ参数可以准确地抓拍到关心目标的细节图像,在一种可能的实施例中,中心端处理设备100可以根据关心目标的运动轨迹,对关心目标的下一位置进行预测,得到关心目标的预测位置信息,根据关心目标的预测位置信息,对第一球机的PTZ坐标进行预测,以使第一球机根据预测的PTZ坐标实时的对关心目标进行细节图像抓拍。
其中,下一位置是当前时刻的下一时刻关心目标所处的位置,例如,假设当前时刻为t=15s,则下一位置可以是t=16s时关心目标所处的位置,当前时刻与下一时刻之间的时间间隔根据应用场景的不同可以不同,本实施例对此不做限制。
预测的方式根据应用场景的不同可以不同,示例性的,可以是根据关心目标的运动轨迹信息,预测关心目标在当前时刻至下一时刻之间的运动速率,根据预测得到的运动速率以及当前时刻与下一时刻之间的时间间隔,预测关心目标的下一位置。也可以是将关心目标的运动轨迹信息输入至预先经过训练的用于预测下一位置的模型,如卷积神经网络模型,得到该模型输出的关心目标的预测位置信息。
下面将分情况对第一球机的确定方式进行说明:
情况一,至少一个球机300与接力系统中的雷视设备具有联动关系。则中心端处理设备100可以是根据关心目标的位置信息,确定当前对关心目标进行探测的匹配雷视设备,根据各个球机与各个雷视设备的联动关系,确定匹配雷视设备联动的球机为第一球机。
示例性的,假设球机A与雷视设备A1、雷视设备A2、雷视设备A3具有联动关系,球机B与雷视设备B1、雷视设备B2、雷视设备B3具有联动关系。如果根据关心目标的位置信息,确定当前对关心目标进行探测的匹配雷视设备为雷视设备A2,则可以确定球机A为第一球机,如果根据关心目标的位置信息,确定当前对关心目标进行探测的匹配雷视设备为雷视设备B3,则可以确定球机B为第一球机。
可以理解的是,关心目标当前所处的位置位于当前对关心目标进行探测的匹配雷视设备的探测范围中,而与匹配雷视设备联动的球机的探测范围覆盖匹配雷视设备的探测范围,因此关心目标当前所处的位置理论上位于与匹配雷视设备联动的球机的探测范围内,即与匹配雷视设备联动的球机理论上可以抓拍到关心目标的细节图像,因此可以将与匹配雷视设备联动的球机确定为第一球机。
情况二,关心目标的运动轨迹为全局坐标系下的全局运动轨迹。则中心端处理设备100可以获取关心目标的全局位置信息,根据第一球机与全局坐标的标定关系,将与关心目标的全局位置信息匹配的球机确定为第一球机。
第一球机与全局坐标的标定关系可以是预先标定得到的,也可以是基于第一球机的安装参数计算得到的,并且预先存储于中心端处理设备100。该标定关系可以用于表示各全局坐标是否位于第一球机的探测范围内,中心端处理设备100可以是根据第一球机与全局坐标的标定关系,确定获取到的全文位置信息所表示的全局坐标是否位于第一球机的探测范围内,如果获取到的全文位置信息所表示的全局坐标位于第一球机的探测范围内,则可以确定第一球机与关心目标的全局位置信息匹配。
选用该实施例,可以在球机300与雷视设备不具有联动关系的情况下,利用关心目标的全局位置信息,确定出能够抓拍关心目标的细节图像的第一球机。
可以参见图4a,图4a所示为本发明实施例提供接力系统的另一种结构示意图,还可以包括用户终端400,用户终端400可以是移动终端或PC端,用户终端400可以包括应用模块410、存储模块420以及显示模块430,存储模块420用于存储来自中心端处理设备100的数据,以及用于存储来自雷视设备的探测数据,显示模块430,用于响应中心端处理设备100或应用模块410的显示指示从存储模块420获取数据进行显示。在其他可能的实施例中,用户终端400也可以只包括这三个模块中的一个或多个模块。
一种示例中,用户终端400中的应用模块410,可以请求获取球机300拍摄得到的关心目标的细节图像,还可以响应用户的操作调整球机300的PTZ坐标,以使得球机300拍摄用户感兴趣目标的细节图像。
一种示例中,用户终端400中的应用模块410,可以响应用户的操作,为用户呈现所有目标或部分目标在指定路段上的完整运动轨迹。其中,部分目标可以是用户指定的部分目标,也可以是根据预设规则筛选出的部分目标,例如以车辆检测的应用场景为例,可以是为用户呈现车身颜色为红色的车辆在指定路段上的完整运动轨迹。
一种示例中,用户终端400中的应用模块410,可以响应用户的操作,获取关心目标信息,并根据关心目标信息,为用户呈现关心目标在指定路段上的完整运动轨迹以及在一个或多个指定时刻的细节图像信息。呈现方式根据应用场景的不同可以不同,可以是通过用户终端400中的显示模块430进行显示,也可以是通过其他信息输出设备呈现细节图像信息,如指定的电视墙。
存储模块420,可以接收并存储来自中心端处理设备100的全部目标的完整运动轨迹信息或者关心目标的完整运动轨迹信息,可以接收并存储球机300拍摄到的关心目标的细节图像。
显示模块430,可以响应应用模块410的显示需求,显示指定路段中所有目标的完整运动轨迹。
显示模块430,可以响应应用模块410的显示需求,只显示指定路段中关心目标的完整运动轨迹。
显示模块430,还可以响应应用模块410的显示需求,接收并显示球机300拍摄到的关心目标在一个或多个指定时刻的细节图像。
显示模块430,还可以响应应用模块410的显示需求,将指定路段中关心目标的完整运动轨迹和全部细节图像进行叠加显示,以呈现关心目标在指定路段的完整运动轨迹上任意时刻的细节图像。
一种示例中,显示模块430,在显示关心目标和/或关心目标以外的其他目标的运动轨迹时,关心目标和/或其他目标在下一时刻的预测位置也可以同步显示。
一种示例中,存储模块420,还可以接收任意雷视设备中相机拍摄到的图像并存储,显示模块430,可以接收雷视设备中相机拍摄到的图像并进行显示。
显示模块430,还可以在显示雷视设备中相机拍摄到的图像时,可以是将各雷视设备中相机拍摄到的图像进行拼接显示,也可以是将各雷视设备中相机拍摄到的图像分别显示。
以车辆检测的应用场景为例,则可以如图4b所示,其中虚线表示球机300与各雷视设备的探测范围,粗实线围成的矩形区域表示相邻两个雷视设备的探测范围之间的接力区。
参见图5,图5所示为本发明实施例提供的一种目标检测的接力方法,应用于前述接力系统,方法可以包括:
S501,接收所述第一雷视设备发送的探测目标图像数据以及探测目标雷达数据;
S502,当根据所述第一雷视设备的图像坐标与雷达坐标的转换关系确定所述第一相机和所述第一雷达探测到的目标为相同的第一目标时,从所述探测目标图像数据中提取所述第一目标的特征信息作为所述第一目标的目标标识;
S503,根据所述第一目标的目标标识和所述雷达探测数据生成所述第一目标的运动轨迹信息。
在一种可能的实施例中,所述根据所述第一目标的目标标识和所述雷达探测数据生成所述第一目标的运动轨迹信息,包括:
根据所述第一雷达的雷达坐标与全局坐标的转换关系,将所述雷达探测数据中所述第一目标的雷达坐标转换成全局坐标;
根据所述第一目标的全局坐标和所述第一目标的目标标识生成所述第一目标的全局运动轨迹信息。
在一种可能的实施例中,所述方法还包括:
在接收所述第一雷视设备发送的探测目标图像数据以及探测目标雷达数据之后,当所述中心端处理设备根据所述第一雷视设备的图像坐标与雷达坐标的转换关系确定存在所述第一相机探测到并且所述第一雷达没有探测到的第二目标时,根据所述第一雷达和所述第一相机的坐标转换关系,将所述第二目标的图像坐标转换成雷达坐标;
从所述探测目标图像数据中提取所述第二目标的特征信息作为所述第二目标的目标标识;
根据所述第二目标的目标标识和所述第二目标的雷达坐标生成所述第二目标的运动轨迹信息。
在一种可能的实施例中,所述根据所述第二目标的目标标识和所述第二目标的雷达坐标生成所述第二目标的运动轨迹信息,包括:
根据所述第一雷达的雷达坐标与全局坐标的转换关系,将所述第二目标的雷达坐标转换成全局坐标;
根据所述第二目标的全局坐标和所述第二目标的目标标识生成所述第二目标的全局运动轨迹信息。
在一种可能的实施例中,所述接力系统还包括与所述第一雷视设备相邻的第二雷视设备,所述第二雷视设备的探测区域与所述第一雷视设备的探测区域具有重叠的第一接力区;第二雷视设备包括第二相机和第二雷达,所述第二相机和所述第二雷达具有重叠视场;
所述方法还包括:
当根据所述第一雷视设备探测到的第三目标的运动轨迹信息确定所述第三目标从所述第一雷视设备的探测区域进入所述第一接力区,并且所述第二雷视设备探测到的第四目标位于所述第一接力区时,根据所述第一雷达与所述第二雷达之间的坐标转换关系,将所述第三目标的雷达坐标转换到所述第三目标在所述第二雷达的坐标系中的雷达坐标;
根据所述第三目标在所述第二雷达的坐标系中的雷达坐标和所述第四目标在所述第二雷达的坐标系中的雷达坐标,确定所述第三目标和所述第四目标是否为同一目标;
如果根据所述第三目标在所述第二雷达的坐标系中的雷达坐标和所述第四目标在所述第二雷达的坐标系中的雷达坐标确定所述第三目标和所述第四目标为同一目标,则将所述第四目标的目标标识更新为所述第三目标的目标标识;
控制所述第二雷视设备对所述第三目标进行接力探测;
根据所述第二雷达对所述第三目标探测获取到的雷达探测数据和所述第三目标的目标标识,更新所述第三目标的运动轨迹信息,其中,所述第三目标更新后的运动轨迹信息包括所述第三目标在所述第一雷视设备和所述第二雷视设备的探测范围内的完整运动轨迹。
在一种可能的实施例中,所述接力系统还包括至少一个球机,所述方法还包括:
根据关心目标的目标特征信息从通过所述接力系统中的雷视设备探测到的所有目标中选择出与所述目标特征信息匹配的关心目标;
根据所述关心目标的位置信息,确定匹配的球机为第一球机时,根据所述关心目标的位置信息确定并发送所述第一球机的PTZ坐标,以使得所述第一球机根据所述中心端处理设备发送的PTZ坐标对所述关心目标的细节图像进行抓拍,并向所述中心端处理设备反馈所述关心目标的细节图像;
根据所述关心目标的细节图像和所述关心目标的完整运动轨迹信息,将所述关心目标的完整运动轨迹信息存储为带有细节图像的完整运动轨迹。
在一种可能的实施例中,所述至少一个球机与所述接力系统中的雷视设备具有联动关系;
若当前对所述关心目标进行探测的匹配雷视设备为第三雷视设备,所述根据所述关心目标的位置信息确定并发送所述第一球机的PTZ坐标包括:
根据所述关心目标的当前雷达坐标以及所述第三雷视设备的雷达与所述第一球机的标定关系,确定所述第一球机的PTZ坐标;或者
根据所述关心目标的当前雷达坐标以及所述第三雷视设备的雷达与全局坐标的转换关系,将所述关心目标的雷达坐标转换成全局坐标;并根据所述全局坐标,以及所述第一球机与所述全局坐标的标定关系,确定所述第一球机的PTZ坐标。
在一种可能的实施例中,所述至少一个球机分别与全局坐标存在标定关系;
所述根据所述关心目标的位置信息确定并发送所述第一球机的PTZ坐标包括:
当所述关心目标的运动轨迹信息为全局坐标系下的全局运动轨迹信息时,根据所述关心目标的全局位置信息,以及所述第一球机与所述全局坐标的标定关系,确定所述第一球机的PTZ坐标。
在一种可能的实施例中,所述关心目标的位置信息包括预测位置信息,所述根据所述关心目标的位置信息确定并发送所述第一球机的PTZ坐标,包括:
根据所述关心目标的运动轨迹信息,对所述关心目标的下一位置进行预测,得到所述关心目标的预测位置信息;
根据所述关心目标的预测位置信息,对所述第一球机的PTZ坐标进行预测,以使所述第一球机根据预测的PTZ坐标实时的对所述关心目标进行细节图像抓拍。
在一种可能的实施例中,所述根据所述关心目标的位置信息,确定匹配的球机为第一球机,包括:
根据所述关心目标的位置信息,确定当前对所述关心目标进行探测的匹配雷视设备,根据各个球机与各个雷视设备的联动关系,确定与所述匹配雷视设备联动的球机为所述第一球机。
在一种可能的实施例中,所述根据所述关心目标的位置信息,确定匹配的球机为第一球机,包括:
当所述关心目标的运动轨迹为全局坐标系下的全局运动轨迹时,获取所述关心目标的全局位置信息;
根据所述第一球机与所述全局坐标的标定关系,将与所述关心目标的全局位置信息匹配的球机确定为所述第一球机。
参见图6a,图6a所示为本发明实施例提供的一种目标检测的接力装置,应用于前述接力系统中的中心端处理设备。所述装置可以包括:
数据接收模块601,用于接收所述第一雷视设备发送的探测目标图像数据以及探测目标雷达数据;
目标识别模块602,用于当根据所述第一雷视设备的图像坐标与雷达坐标的转换关系确定所述第一相机和所述第一雷达探测到的目标为相同的第一目标时,从所述探测目标图像数据中提取所述第一目标的特征信息作为所述第一目标的目标标识;
轨迹生成模块603,用于根据所述第一目标的目标标识和所述雷达探测数据生成所述第一目标的运动轨迹信息。
在一种可能的实施例中,所述轨迹生成模块603根据所述第一目标的目标标识和所述雷达探测数据生成所述第一目标的运动轨迹信息,包括:
根据所述第一雷达的雷达坐标与全局坐标的转换关系,将所述雷达探测数据中所述第一目标的雷达坐标转换成全局坐标;
根据所述第一目标的全局坐标和所述第一目标的目标标识生成所述第一目标的全局运动轨迹信息。
在一种可能的实施例中,所述轨迹生成模块603还用于:
在接收所述第一雷视设备发送的探测目标图像数据以及探测目标雷达数据之后,当所述中心端处理设备根据所述第一雷视设备的图像坐标与雷达坐标的转换关系确定存在所述第一相机探测到并且所述第一雷达没有探测到的第二目标时,根据所述第一雷达和所述第一相机的坐标转换关系,将所述第二目标的图像坐标转换成雷达坐标;
从所述探测目标图像数据中提取所述第二目标的特征信息作为所述第二目标的目标标识;
根据所述第二目标的目标标识和所述第二目标的雷达坐标生成所述第二目标的运动轨迹信息。
在一种可能的实施例中,所述轨迹生成模块603根据所述第二目标的目标标识和所述第二目标的雷达坐标生成所述第二目标的运动轨迹信息,包括:
根据所述第一雷达的雷达坐标与全局坐标的转换关系,将所述第二目标的雷达坐标转换成全局坐标;
根据所述第二目标的全局坐标和所述第二目标的目标标识生成所述第二目标的全局运动轨迹信息。
在一种可能的实施例中,所述接力系统还包括与所述第一雷视设备相邻的第二雷视设备,所述第二雷视设备的探测区域与所述第一雷视设备的探测区域具有重叠的第一接力区;第二雷视设备包括第二相机和第二雷达,所述第二相机和所述第二雷达具有重叠视场;
所述轨迹生成模块603还用于:
当根据所述第一雷视设备探测到的第三目标的运动轨迹信息确定所述第三目标从所述第一雷视设备的探测区域进入所述第一接力区,并且所述第二雷视设备探测到的第四目标位于所述第一接力区时,根据所述第一雷达与所述第二雷达之间的坐标转换关系,将所述第三目标的雷达坐标转换到所述第三目标在所述第二雷达的坐标系中的雷达坐标;
根据所述第三目标在所述第二雷达的坐标系中的雷达坐标和所述第四目标在所述第二雷达的坐标系中的雷达坐标,确定所述第三目标和所述第四目标是否为同一目标;
如果根据所述第三目标在所述第二雷达的坐标系中的雷达坐标和所述第四目标在所述第二雷达的坐标系中的雷达坐标确定所述第三目标和所述第四目标为同一目标,则将所述第四目标的目标标识更新为所述第三目标的目标标识;
控制所述第二雷视设备对所述第三目标进行接力探测;
根据所述第二雷达对所述第三目标探测获取到的雷达探测数据和所述第三目标的目标标识,更新所述第三目标的运动轨迹信息,其中,所述第三目标更新后的运动轨迹信息包括所述第三目标在所述第一雷视设备和所述第二雷视设备的探测范围内的完整运动轨迹。
在一种可能的实施例中,所述接力系统还包括至少一个球机,所述装置如图6b所示,还可以包括细节抓拍模块604,用于:
根据关心目标的目标特征信息从通过所述接力系统中的雷视设备探测到的所有目标中选择出与所述目标特征信息匹配的关心目标;
根据所述关心目标的位置信息,确定匹配的球机为第一球机时,根据所述关心目标的位置信息确定并发送所述第一球机的PTZ坐标,以使得所述第一球机根据所述中心端处理设备发送的PTZ坐标对所述关心目标的细节图像进行抓拍,并向所述中心端处理设备反馈所述关心目标的细节图像;
根据所述关心目标的细节图像和所述关心目标的完整运动轨迹信息,将所述关心目标的完整运动轨迹信息存储为带有细节图像的完整运动轨迹。
在一种可能的实施例中,所述至少一个球机与所述接力系统中的雷视设备具有联动关系;
若当前对所述关心目标进行探测的匹配雷视设备为第三雷视设备,所述细节抓拍模块604根据所述关心目标的位置信息确定并发送所述第一球机的PTZ坐标包括:
根据所述关心目标的当前雷达坐标以及所述第三雷视设备的雷达与所述第一球机的标定关系,确定所述第一球机的PTZ坐标;或者
根据所述关心目标的当前雷达坐标以及所述第三雷视设备的雷达与全局坐标的转换关系,将所述关心目标的雷达坐标转换成全局坐标;并根据所述全局坐标,以及所述第一球机与所述全局坐标的标定关系,确定所述第一球机的PTZ坐标。
在一种可能的实施例中,所述至少一个球机分别与全局坐标存在标定关系;
所述细节抓拍模块604根据所述关心目标的位置信息确定并发送所述第一球机的PTZ坐标包括:
当所述关心目标的运动轨迹信息为全局坐标系下的全局运动轨迹信息时,根据所述关心目标的全局位置信息,以及所述第一球机与所述全局坐标的标定关系,确定所述第一球机的PTZ坐标。
在一种可能的实施例中,所述关心目标的位置信息包括预测位置信息,所述细节抓拍模块604根据所述关心目标的位置信息确定并发送所述第一球机的PTZ坐标,包括:
根据所述关心目标的运动轨迹信息,对所述关心目标的下一位置进行预测,得到所述关心目标的预测位置信息;
根据所述关心目标的预测位置信息,对所述第一球机的PTZ坐标进行预测,以使所述第一球机根据预测的PTZ坐标实时的对所述关心目标进行细节图像抓拍。
在一种可能的实施例中,所述根细节抓拍模块604据所述关心目标的位置信息,确定匹配的球机为第一球机,包括:
根据所述关心目标的位置信息,确定当前对所述关心目标进行探测的匹配雷视设备,根据各个球机与各个雷视设备的联动关系,确定与所述匹配雷视设备联动的球机为所述第一球机。
在一种可能的实施例中,所述细节抓拍模块604根据所述关心目标的位置信息,确定匹配的球机为第一球机,包括:
当所述关心目标的运动轨迹为全局坐标系下的全局运动轨迹时,获取所述关心目标的全局位置信息;
根据所述第一球机与所述全局坐标的标定关系,将与所述关心目标的全局位置信息匹配的球机确定为所述第一球机。
本发明实施例还提供了一种中心端处理设备,如图7所示,包括:
存储器701,用于存放计算机程序;
处理器702,用于执行存储器701上所存放的程序时,实现如下步骤:
接收所述第一雷视设备发送的探测目标图像数据以及探测目标雷达数据;
当根据所述第一雷视设备的图像坐标与雷达坐标的转换关系确定所述第一相机和所述第一雷达探测到的目标为相同的第一目标时,从所述探测目标图像数据中提取所述第一目标的特征信息作为所述第一目标的目标标识;
根据所述第一目标的目标标识和所述雷达探测数据生成所述第一目标的运动轨迹信息。
在一种可能的实施例中,所述根据所述第一目标的目标标识和所述雷达探测数据生成所述第一目标的运动轨迹信息,包括:
根据所述第一雷达的雷达坐标与全局坐标的转换关系,将所述雷达探测数据中所述第一目标的雷达坐标转换成全局坐标;
根据所述第一目标的全局坐标和所述第一目标的目标标识生成所述第一目标的全局运动轨迹信息。
在一种可能的实施例中,所述方法还包括:
在接收所述第一雷视设备发送的探测目标图像数据以及探测目标雷达数据之后,当所述中心端处理设备根据所述第一雷视设备的图像坐标与雷达坐标的转换关系确定存在所述第一相机探测到并且所述第一雷达没有探测到的第二目标时,根据所述第一雷达和所述第一相机的坐标转换关系,将所述第二目标的图像坐标转换成雷达坐标;
从所述探测目标图像数据中提取所述第二目标的特征信息作为所述第二目标的目标标识;
根据所述第二目标的目标标识和所述第二目标的雷达坐标生成所述第二目标的运动轨迹信息。
在一种可能的实施例中,所述根据所述第二目标的目标标识和所述第二目标的雷达坐标生成所述第二目标的运动轨迹信息,包括:
根据所述第一雷达的雷达坐标与全局坐标的转换关系,将所述第二目标的雷达坐标转换成全局坐标;
根据所述第二目标的全局坐标和所述第二目标的目标标识生成所述第二目标的全局运动轨迹信息。
在一种可能的实施例中,所述接力系统还包括与所述第一雷视设备相邻的第二雷视设备,所述第二雷视设备的探测区域与所述第一雷视设备的探测区域具有重叠的第一接力区;第二雷视设备包括第二相机和第二雷达,所述第二相机和所述第二雷达具有重叠视场;
所述方法还包括:
当根据所述第一雷视设备探测到的第三目标的运动轨迹信息确定所述第三目标从所述第一雷视设备的探测区域进入所述第一接力区,并且所述第二雷视设备探测到的第四目标位于所述第一接力区时,根据所述第一雷达与所述第二雷达之间的坐标转换关系,将所述第三目标的雷达坐标转换到所述第三目标在所述第二雷达的坐标系中的雷达坐标;
根据所述第三目标在所述第二雷达的坐标系中的雷达坐标和所述第四目标在所述第二雷达的坐标系中的雷达坐标,确定所述第三目标和所述第四目标是否为同一目标;
如果根据所述第三目标在所述第二雷达的坐标系中的雷达坐标和所述第四目标在所述第二雷达的坐标系中的雷达坐标确定所述第三目标和所述第四目标为同一目标,则将所述第四目标的目标标识更新为所述第三目标的目标标识;
控制所述第二雷视设备对所述第三目标进行接力探测;
根据所述第二雷达对所述第三目标探测获取到的雷达探测数据和所述第三目标的目标标识,更新所述第三目标的运动轨迹信息,其中,所述第三目标更新后的运动轨迹信息包括所述第三目标在所述第一雷视设备和所述第二雷视设备的探测范围内的完整运动轨迹。
在一种可能的实施例中,所述接力系统还包括至少一个球机,所述方法还包括:
根据关心目标的目标特征信息从通过所述接力系统中的雷视设备探测到的所有目标中选择出与所述目标特征信息匹配的关心目标;
根据所述关心目标的位置信息,确定匹配的球机为第一球机时,根据所述关心目标的位置信息确定并发送所述第一球机的PTZ坐标,以使得所述第一球机根据所述中心端处理设备发送的PTZ坐标对所述关心目标的细节图像进行抓拍,并向所述中心端处理设备反馈所述关心目标的细节图像;
根据所述关心目标的细节图像和所述关心目标的完整运动轨迹信息,将所述关心目标的完整运动轨迹信息存储为带有细节图像的完整运动轨迹。
在一种可能的实施例中,所述至少一个球机与所述接力系统中的雷视设备具有联动关系;
若当前对所述关心目标进行探测的匹配雷视设备为第三雷视设备,所述根据所述关心目标的位置信息确定并发送所述第一球机的PTZ坐标包括:
根据所述关心目标的当前雷达坐标以及所述第三雷视设备的雷达与所述第一球机的标定关系,确定所述第一球机的PTZ坐标;或者
根据所述关心目标的当前雷达坐标以及所述第三雷视设备的雷达与全局坐标的转换关系,将所述关心目标的雷达坐标转换成全局坐标;并根据所述全局坐标,以及所述第一球机与所述全局坐标的标定关系,确定所述第一球机的PTZ坐标。
在一种可能的实施例中,所述至少一个球机分别与全局坐标存在标定关系;
所述根据所述关心目标的位置信息确定并发送所述第一球机的PTZ坐标包括:
当所述关心目标的运动轨迹信息为全局坐标系下的全局运动轨迹信息时,根据所述关心目标的全局位置信息,以及所述第一球机与所述全局坐标的标定关系,确定所述第一球机的PTZ坐标。
在一种可能的实施例中,所述关心目标的位置信息包括预测位置信息,所述根据所述关心目标的位置信息确定并发送所述第一球机的PTZ坐标,包括:
根据所述关心目标的运动轨迹信息,对所述关心目标的下一位置进行预测,得到所述关心目标的预测位置信息;
根据所述关心目标的预测位置信息,对所述第一球机的PTZ坐标进行预测,以使所述第一球机根据预测的PTZ坐标实时的对所述关心目标进行细节图像抓拍。
在一种可能的实施例中,所述根据所述关心目标的位置信息,确定匹配的球机为第一球机,包括:
根据所述关心目标的位置信息,确定当前对所述关心目标进行探测的匹配雷视设备,根据各个球机与各个雷视设备的联动关系,确定与所述匹配雷视设备联动的球机为所述第一球机。
在一种可能的实施例中,所述根据所述关心目标的位置信息,确定匹配的球机为第一球机,包括:
当所述关心目标的运动轨迹为全局坐标系下的全局运动轨迹时,获取所述关心目标的全局位置信息;
根据所述第一球机与所述全局坐标的标定关系,将与所述关心目标的全局位置信息匹配的球机确定为所述第一球机。
上述中心端处理设备提到的存储器可以包括随机存取存储器(Random AccessMemory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一目标检测的接力方法的步骤。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一目标检测的接力方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于方法、装置、中心端处理设备、计算机可读存储介质以及计算机程序产品而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (21)
1.一种目标检测的接力系统,其特征在于,所述接力系统包括中心端处理设备和第一雷视设备,所述第一雷视设备包括第一相机和第一雷达,所述第一相机和所述第一雷达具有重叠视场;
所述第一雷视设备用于通过所述第一相机探测目标并获取探测目标图像数据,并且通过所述第一雷达探测目标并获取探测目标雷达数据;将所述目标图像数据和所述目标雷达数据发送至所述中心端处理设备;
所述中心端处理设备用于:接收所述第一雷视设备发送的探测目标图像数据以及探测目标雷达数据,当根据所述第一雷视设备的图像坐标与雷达坐标的转换关系确定所述第一相机和所述第一雷达探测到的目标为相同的第一目标时,从所述探测目标图像数据中提取所述第一目标的特征信息作为所述第一目标的目标标识,并根据所述第一目标的目标标识和所述雷达探测数据生成所述第一目标的运动轨迹信息;
所述接力系统还包括与所述第一雷视设备相邻的第二雷视设备,所述第二雷视设备的探测区域与所述第一雷视设备的探测区域具有重叠的第一接力区;第二雷视设备包括第二相机和第二雷达,所述第二相机和所述第二雷达具有重叠视场;所述中心端处理设备还用于:
当根据所述第一雷视设备探测到的第三目标的运动轨迹信息确定所述第三目标从所述第一雷视设备的探测区域进入所述第一接力区,并且所述第二雷视设备探测到的第四目标位于所述第一接力区时,根据所述第一雷达与所述第二雷达之间的坐标转换关系,将所述第三目标的雷达坐标转换到所述第三目标在所述第二雷达的坐标系中的雷达坐标;
根据所述第三目标在所述第二雷达的坐标系中的雷达坐标和所述第四目标在所述第二雷达的坐标系中的雷达坐标,确定所述第三目标和所述第四目标是否为同一目标;
如果根据所述第三目标在所述第二雷达的坐标系中的雷达坐标和所述第四目标在所述第二雷达的坐标系中的雷达坐标确定所述第三目标和所述第四目标为同一目标,则将所述第四目标的目标标识更新为所述第三目标的目标标识,控制所述第二雷视设备对所述第三目标进行接力探测,并根据所述第二雷达对所述第三目标探测获取到的雷达探测数据和所述第三目标的目标标识,更新所述第三目标的运动轨迹信息,其中,所述第三目标更新后的运动轨迹信息包括所述第三目标在所述第一雷视设备和所述第二雷视设备的探测范围内的完整运动轨迹;
在接收所述第一雷视设备发送的探测目标图像数据以及探测目标雷达数据之后,当所述中心端处理设备根据所述第一雷视设备的图像坐标与雷达坐标的转换关系确定存在所述第一相机探测到并且所述第一雷达没有探测到的第二目标时,所述中心端处理设备还用于:
根据所述第一雷达和所述第一相机的坐标转换关系,将所述第二目标的图像坐标转换成雷达坐标;从所述探测目标图像数据中提取所述第二目标的特征信息作为所述第二目标的目标标识;并根据所述第二目标的目标标识和所述第二目标的雷达坐标生成所述第二目标的运动轨迹信息。
2.根据权利要求1所述的接力系统,其特征在于,所述中心端处理设备根据所述第一目标的目标标识和所述雷达探测数据生成所述第一目标的运动轨迹信息,包括:
根据所述第一雷达的雷达坐标与全局坐标的转换关系,将所述雷达探测数据中所述第一目标的雷达坐标转换成全局坐标,根据所述第一目标的全局坐标和所述第一目标的目标标识生成所述第一目标的全局运动轨迹信息。
3.根据权利要求1所述的接力系统,其特征在于,所述中心端处理设备根据所述第二目标的目标标识和所述第二目标的雷达坐标生成所述第二目标的运动轨迹信息,包括:
根据所述第一雷达的雷达坐标与全局坐标的转换关系,将所述第二目标的雷达坐标转换成全局坐标,根据所述第二目标的全局坐标和所述第二目标的目标标识生成所述第二目标的全局运动轨迹信息。
4.根据权利要求1所述的接力系统,其特征在于,所述接力系统还包括至少一个球机;
所述中心端处理设备还用于:根据关心目标的目标特征信息从通过所述接力系统中的雷视设备探测到的所有目标中选择出与所述目标特征信息匹配的关心目标;根据所述关心目标的位置信息,确定匹配的球机为第一球机时,根据所述关心目标的位置信息确定并发送所述第一球机的云台控制PTZ坐标;
所述第一球机,用于根据所述中心端处理设备发送的PTZ坐标对所述关心目标的细节图像进行抓拍,并向所述中心端处理设备反馈所述关心目标的细节图像;
所述中心端处理设备还用于根据所述关心目标的细节图像和所述关心目标的完整运动轨迹信息,将所述关心目标的完整运动轨迹信息存储为带有细节图像的完整运动轨迹。
5.根据权利要求4所述的接力系统,其特征在于,所述至少一个球机与所述接力系统中的雷视设备具有联动关系;
若当前对所述关心目标进行探测的匹配雷视设备为第三雷视设备,所述中心端处理设备根据所述关心目标的位置信息确定并发送所述第一球机的PTZ坐标包括:
根据所述关心目标的当前雷达坐标以及所述第三雷视设备的雷达与所述第一球机的标定关系,确定所述第一球机的PTZ坐标;或者
根据所述关心目标的当前雷达坐标以及所述第三雷视设备的雷达与全局坐标的转换关系,将所述关心目标的雷达坐标转换成全局坐标;并根据所述全局坐标,以及所述第一球机与所述全局坐标的标定关系,确定所述第一球机的PTZ坐标。
6.根据权利要求4所述的接力系统,其特征在于,所述至少一个球机分别与全局坐标存在标定关系;
所述中心端处理设备根据所述关心目标的位置信息确定并发送所述第一球机的PTZ坐标包括:
当所述关心目标的运动轨迹信息为全局坐标系下的全局运动轨迹信息时,根据所述关心目标的全局位置信息,以及所述第一球机与所述全局坐标的标定关系,确定所述第一球机的PTZ坐标。
7.根据权利要求4-6中任意一项所述的接力系统,其特征在于,所述关心目标的位置信息包括预测位置信息,所述中心端处理设备根据所述关心目标的位置信息确定并发送所述第一球机的PTZ坐标,包括:
根据所述关心目标的运动轨迹信息,对所述关心目标的下一位置进行预测,得到所述关心目标的预测位置信息;根据所述关心目标的预测位置信息,对所述第一球机的PTZ坐标进行预测,以使所述第一球机根据预测的PTZ坐标实时的对所述关心目标进行细节图像抓拍。
8.根据权利要求5所述的接力系统,其特征在于,所述中心端处理设备根据所述关心目标的位置信息,确定匹配的球机为第一球机,包括:
根据所述关心目标的位置信息,确定当前对所述关心目标进行探测的匹配雷视设备,根据各个球机与各个雷视设备的联动关系,确定与所述匹配雷视设备联动的球机为所述第一球机。
9.根据权利要求6所述的接力系统,其特征在于,所述中心端处理设备根据所述关心目标的位置信息,确定匹配的球机为第一球机,包括:
当所述关心目标的运动轨迹为全局坐标系下的全局运动轨迹时,获取所述关心目标的全局位置信息;
根据所述第一球机与所述全局坐标的标定关系,将与所述关心目标的全局位置信息匹配的球机确定为所述第一球机。
10.一种目标检测的接力方法,其特征在于,应用于接力系统中的中心端处理设备,所述接力系统还包括第一雷视设备,所述第一雷视设备包括第一相机和第一雷达,所述第一相机和所述第一雷达具有重叠视场;所述第一雷视设备用于通过所述第一相机探测目标并获取探测目标图像数据,并且通过所述第一雷达探测目标并获取探测目标雷达数据;将所述目标图像数据和所述目标雷达数据发送至所述中心端处理设备;
所述方法包括:
接收所述第一雷视设备发送的探测目标图像数据以及探测目标雷达数据;
当根据所述第一雷视设备的图像坐标与雷达坐标的转换关系确定所述第一相机和所述第一雷达探测到的目标为相同的第一目标时,从所述探测目标图像数据中提取所述第一目标的特征信息作为所述第一目标的目标标识;
根据所述第一目标的目标标识和所述雷达探测数据生成所述第一目标的运动轨迹信息;
所述接力系统还包括与所述第一雷视设备相邻的第二雷视设备,所述第二雷视设备的探测区域与所述第一雷视设备的探测区域具有重叠的第一接力区;第二雷视设备包括第二相机和第二雷达,所述第二相机和所述第二雷达具有重叠视场;
所述方法还包括:
当根据所述第一雷视设备探测到的第三目标的运动轨迹信息确定所述第三目标从所述第一雷视设备的探测区域进入所述第一接力区,并且所述第二雷视设备探测到的第四目标位于所述第一接力区时,根据所述第一雷达与所述第二雷达之间的坐标转换关系,将所述第三目标的雷达坐标转换到所述第三目标在所述第二雷达的坐标系中的雷达坐标;
根据所述第三目标在所述第二雷达的坐标系中的雷达坐标和所述第四目标在所述第二雷达的坐标系中的雷达坐标,确定所述第三目标和所述第四目标是否为同一目标;
如果根据所述第三目标在所述第二雷达的坐标系中的雷达坐标和所述第四目标在所述第二雷达的坐标系中的雷达坐标确定所述第三目标和所述第四目标为同一目标,则将所述第四目标的目标标识更新为所述第三目标的目标标识;
控制所述第二雷视设备对所述第三目标进行接力探测;
根据所述第二雷达对所述第三目标探测获取到的雷达探测数据和所述第三目标的目标标识,更新所述第三目标的运动轨迹信息,其中,所述第三目标更新后的运动轨迹信息包括所述第三目标在所述第一雷视设备和所述第二雷视设备的探测范围内的完整运动轨迹;
所述方法还包括:
在接收所述第一雷视设备发送的探测目标图像数据以及探测目标雷达数据之后,当所述中心端处理设备根据所述第一雷视设备的图像坐标与雷达坐标的转换关系确定存在所述第一相机探测到并且所述第一雷达没有探测到的第二目标时,根据所述第一雷达和所述第一相机的坐标转换关系,将所述第二目标的图像坐标转换成雷达坐标;
从所述探测目标图像数据中提取所述第二目标的特征信息作为所述第二目标的目标标识;
根据所述第二目标的目标标识和所述第二目标的雷达坐标生成所述第二目标的运动轨迹信息。
11.根据权利要求10所述的方法,其特征在于,所述根据所述第一目标的目标标识和所述雷达探测数据生成所述第一目标的运动轨迹信息,包括:
根据所述第一雷达的雷达坐标与全局坐标的转换关系,将所述雷达探测数据中所述第一目标的雷达坐标转换成全局坐标;
根据所述第一目标的全局坐标和所述第一目标的目标标识生成所述第一目标的全局运动轨迹信息。
12.根据权利要求10所述的方法,其特征在于,所述根据所述第二目标的目标标识和所述第二目标的雷达坐标生成所述第二目标的运动轨迹信息,包括:
根据所述第一雷达的雷达坐标与全局坐标的转换关系,将所述第二目标的雷达坐标转换成全局坐标;
根据所述第二目标的全局坐标和所述第二目标的目标标识生成所述第二目标的全局运动轨迹信息。
13.根据权利要求10所述的方法,其特征在于,所述接力系统还包括至少一个球机,所述方法还包括:
根据关心目标的目标特征信息从通过所述接力系统中的雷视设备探测到的所有目标中选择出与所述目标特征信息匹配的关心目标;
根据所述关心目标的位置信息,确定匹配的球机为第一球机时,根据所述关心目标的位置信息确定并发送所述第一球机的PTZ坐标,以使得所述第一球机根据所述中心端处理设备发送的PTZ坐标对所述关心目标的细节图像进行抓拍,并向所述中心端处理设备反馈所述关心目标的细节图像;
根据所述关心目标的细节图像和所述关心目标的完整运动轨迹信息,将所述关心目标的完整运动轨迹信息存储为带有细节图像的完整运动轨迹。
14.根据权利要求13所述的方法,其特征在于,所述至少一个球机与所述接力系统中的雷视设备具有联动关系;
若当前对所述关心目标进行探测的匹配雷视设备为第三雷视设备,所述根据所述关心目标的位置信息确定并发送所述第一球机的PTZ坐标包括:
根据所述关心目标的当前雷达坐标以及所述第三雷视设备的雷达与所述第一球机的标定关系,确定所述第一球机的PTZ坐标;或者
根据所述关心目标的当前雷达坐标以及所述第三雷视设备的雷达与全局坐标的转换关系,将所述关心目标的雷达坐标转换成全局坐标;并根据所述全局坐标,以及所述第一球机与所述全局坐标的标定关系,确定所述第一球机的PTZ坐标。
15.根据权利要求13所述的方法,其特征在于,所述至少一个球机分别与全局坐标存在标定关系;
所述根据所述关心目标的位置信息确定并发送所述第一球机的PTZ坐标包括:
当所述关心目标的运动轨迹信息为全局坐标系下的全局运动轨迹信息时,根据所述关心目标的全局位置信息,以及所述第一球机与所述全局坐标的标定关系,确定所述第一球机的PTZ坐标。
16.根据权利要求13-15任意一项所述的方法,其特征在于,所述关心目标的位置信息包括预测位置信息,所述根据所述关心目标的位置信息确定并发送所述第一球机的PTZ坐标,包括:
根据所述关心目标的运动轨迹信息,对所述关心目标的下一位置进行预测,得到所述关心目标的预测位置信息;
根据所述关心目标的预测位置信息,对所述第一球机的PTZ坐标进行预测,以使所述第一球机根据预测的PTZ坐标实时的对所述关心目标进行细节图像抓拍。
17.根据权利要求14所述的方法,其特征在于,所述根据所述关心目标的位置信息,确定匹配的球机为第一球机,包括:
根据所述关心目标的位置信息,确定当前对所述关心目标进行探测的匹配雷视设备,根据各个球机与各个雷视设备的联动关系,确定与所述匹配雷视设备联动的球机为所述第一球机。
18.根据权利要求15所述的方法,其特征在于,所述根据所述关心目标的位置信息,确定匹配的球机为第一球机,包括:
当所述关心目标的运动轨迹为全局坐标系下的全局运动轨迹时,获取所述关心目标的全局位置信息;
根据所述第一球机与所述全局坐标的标定关系,将与所述关心目标的全局位置信息匹配的球机确定为所述第一球机。
19.一种目标检测的接力装置,其特征在于,应用于接力系统中的中心端处理设备,所述接力系统还包括第一雷视设备,所述第一雷视设备包括第一相机和第一雷达,所述第一相机和所述第一雷达具有重叠视场;所述第一雷视设备用于通过所述第一相机探测目标并获取探测目标图像数据,并且通过所述第一雷达探测目标并获取探测目标雷达数据;将所述目标图像数据和所述目标雷达数据发送至所述中心端处理设备;
所述装置包括:
数据接收模块,用于接收所述第一雷视设备发送的探测目标图像数据以及探测目标雷达数据;
目标识别模块,用于当根据所述第一雷视设备的图像坐标与雷达坐标的转换关系确定所述第一相机和所述第一雷达探测到的目标为相同的第一目标时,从所述探测目标图像数据中提取所述第一目标的特征信息作为所述第一目标的目标标识;
轨迹生成模块,用于根据所述第一目标的目标标识和所述雷达探测数据生成所述第一目标的运动轨迹信息;
所述轨迹生成模块还用于:
当根据所述第一雷视设备的图像坐标与雷达坐标的转换关系确定存在所述第一相机探测到且所述第一雷达未探测到的第二目标时,根据所述第一雷达和所述第一相机的坐标转换关系,将所述第二目标的图像坐标转换成雷达坐标;
从所述探测目标图像数据中提取所述第二目标的特征信息作为第二目标标识;
根据所述第二目标的目标标识和所述第二目标的雷达坐标生成所述第二目标的运动轨迹;
所述接力系统还包括与所述第一雷视设备相邻的第二雷视设备,所述第二雷视设备的探测区域与所述第一雷视设备的探测区域具有重叠的第一接力区;第二雷视设备包括第二相机和第二雷达,所述第二相机和所述第二雷达具有重叠视场;
所述轨迹生成模块还用于:
当根据所述第一雷视设备探测到的第三目标的运动轨迹信息确定所述第三目标从所述第一雷视设备的探测区域进入所述第一接力区,并且所述第二雷视设备探测到的第四目标位于所述第一接力区时,根据所述第一雷达与所述第二雷达之间的坐标转换关系,将所述第三目标的雷达坐标转换到所述第三目标在所述第二雷达的坐标系中的雷达坐标;
根据所述第三目标在所述第二雷达的坐标系中的雷达坐标和所述第四目标在所述第二雷达的坐标系中的雷达坐标,确定所述第三目标和所述第四目标是否为同一目标;
如果根据所述第三目标在所述第二雷达的坐标系中的雷达坐标和所述第四目标在所述第二雷达的坐标系中的雷达坐标确定所述第三目标和所述第四目标为同一目标,则将所述第四目标的目标标识更新为所述第三目标的目标标识;
控制所述第二雷视设备对所述第三目标进行接力探测;
根据所述第二雷达对所述第三目标探测获取到的雷达探测数据和所述第三目标的目标标识,更新所述第三目标的运动轨迹信息,其中,所述第三目标更新后的运动轨迹信息包括所述第三目标在所述第一雷视设备和所述第二雷视设备的探测范围内的完整运动轨迹。
20.一种中心端处理设备,其特征在于,应用于接力系统,所述接力系统还包括第一雷视设备,所述第一雷视设备包括第一相机和第一雷达,所述第一相机和所述第一雷达具有重叠视场;所述第一雷视设备用于通过所述第一相机探测目标并获取探测目标图像数据,并且通过所述第一雷达探测目标并获取探测目标雷达数据;将所述目标图像数据和所述目标雷达数据发送至所述中心端处理设备;所述接力系统还包括与所述第一雷视设备相邻的第二雷视设备,所述第二雷视设备的探测区域与所述第一雷视设备的探测区域具有重叠的第一接力区;第二雷视设备包括第二相机和第二雷达,所述第二相机和所述第二雷达具有重叠视场;
所述中心端处理设备包括:
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求10-18任意一项所述的方法步骤。
21.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求10-18任意一项所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010898920.5A CN112016483B (zh) | 2020-08-31 | 2020-08-31 | 目标检测的接力系统、方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010898920.5A CN112016483B (zh) | 2020-08-31 | 2020-08-31 | 目标检测的接力系统、方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112016483A CN112016483A (zh) | 2020-12-01 |
CN112016483B true CN112016483B (zh) | 2024-06-04 |
Family
ID=73503162
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010898920.5A Active CN112016483B (zh) | 2020-08-31 | 2020-08-31 | 目标检测的接力系统、方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112016483B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112541416B (zh) * | 2020-12-02 | 2023-07-14 | 深兰科技(上海)有限公司 | 跨雷达障碍物跟踪方法、装置、电子设备和存储介质 |
CN113253255A (zh) * | 2021-05-11 | 2021-08-13 | 浙江大学 | 一种多点位多传感器目标监测系统和方法 |
CN113470109A (zh) * | 2021-06-09 | 2021-10-01 | 浙江大华技术股份有限公司 | 一种客流统计方法、电子设备和计算机存储介质 |
CN113542695B (zh) * | 2021-07-27 | 2024-04-12 | 安徽云森物联网科技有限公司 | 一种全自动的物联网用区域监视系统 |
CN113573022B (zh) * | 2021-07-27 | 2024-03-26 | 安徽云森物联网科技有限公司 | 一种基于毫米波雷达和ptz云台的目标自动跟踪方法 |
CN113744348A (zh) * | 2021-08-31 | 2021-12-03 | 南京慧尔视智能科技有限公司 | 一种参数标定方法、装置及雷视融合检测设备 |
CN116958884B (zh) * | 2023-09-18 | 2024-01-16 | 杭州靖安防务科技有限公司 | 目标追踪的方法和系统 |
CN117111019B (zh) * | 2023-10-25 | 2024-01-09 | 深圳市先创数字技术有限公司 | 一种基于雷达探测的目标跟踪监控方法和系统 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104754302A (zh) * | 2015-03-20 | 2015-07-01 | 安徽大学 | 一种基于枪球联动系统的目标检测跟踪方法 |
CN105979210A (zh) * | 2016-06-06 | 2016-09-28 | 深圳市深网视界科技有限公司 | 一种基于多枪多球摄像机阵列的行人识别系统 |
CN106878679A (zh) * | 2017-02-24 | 2017-06-20 | 深圳英飞拓科技股份有限公司 | 智能监控联动系统及控制方法 |
CN107862703A (zh) * | 2017-10-31 | 2018-03-30 | 天津天地伟业信息系统集成有限公司 | 一种多目联动ptz跟踪方法 |
CN108596081A (zh) * | 2018-04-23 | 2018-09-28 | 吉林大学 | 一种基于雷达和摄像机融合的车辆行人探测方法 |
CN109905641A (zh) * | 2017-12-08 | 2019-06-18 | 杭州海康威视数字技术股份有限公司 | 一种目标监控方法、装置、设备及系统 |
CN110189424A (zh) * | 2019-05-27 | 2019-08-30 | 武汉万集信息技术有限公司 | 基于多目标雷达的多车道自由流车辆检测方法及系统 |
CN110660186A (zh) * | 2018-06-29 | 2020-01-07 | 杭州海康威视数字技术股份有限公司 | 基于雷达信号在视频图像中识别目标对象的方法及装置 |
CN111045000A (zh) * | 2018-10-11 | 2020-04-21 | 阿里巴巴集团控股有限公司 | 监测系统和方法 |
CN111366926A (zh) * | 2019-01-24 | 2020-07-03 | 杭州海康威视系统技术有限公司 | 跟踪目标的方法、装置、存储介质和服务器 |
CN111402296A (zh) * | 2020-03-12 | 2020-07-10 | 浙江大华技术股份有限公司 | 基于摄像机、雷达的目标跟踪方法及相关装置 |
CN111476099A (zh) * | 2020-03-09 | 2020-07-31 | 深圳市人工智能与机器人研究院 | 一种目标检测方法、目标检测装置及终端设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101845503B1 (ko) * | 2009-01-29 | 2018-04-04 | 트랙맨 에이/에스 | 레이더 및 촬상 요소를 포함하는 조립체 |
US9339697B2 (en) * | 2010-08-18 | 2016-05-17 | Edge Technology | RFID golf ball target system and method |
-
2020
- 2020-08-31 CN CN202010898920.5A patent/CN112016483B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104754302A (zh) * | 2015-03-20 | 2015-07-01 | 安徽大学 | 一种基于枪球联动系统的目标检测跟踪方法 |
CN105979210A (zh) * | 2016-06-06 | 2016-09-28 | 深圳市深网视界科技有限公司 | 一种基于多枪多球摄像机阵列的行人识别系统 |
CN106878679A (zh) * | 2017-02-24 | 2017-06-20 | 深圳英飞拓科技股份有限公司 | 智能监控联动系统及控制方法 |
CN107862703A (zh) * | 2017-10-31 | 2018-03-30 | 天津天地伟业信息系统集成有限公司 | 一种多目联动ptz跟踪方法 |
CN109905641A (zh) * | 2017-12-08 | 2019-06-18 | 杭州海康威视数字技术股份有限公司 | 一种目标监控方法、装置、设备及系统 |
CN108596081A (zh) * | 2018-04-23 | 2018-09-28 | 吉林大学 | 一种基于雷达和摄像机融合的车辆行人探测方法 |
CN110660186A (zh) * | 2018-06-29 | 2020-01-07 | 杭州海康威视数字技术股份有限公司 | 基于雷达信号在视频图像中识别目标对象的方法及装置 |
CN111045000A (zh) * | 2018-10-11 | 2020-04-21 | 阿里巴巴集团控股有限公司 | 监测系统和方法 |
CN111366926A (zh) * | 2019-01-24 | 2020-07-03 | 杭州海康威视系统技术有限公司 | 跟踪目标的方法、装置、存储介质和服务器 |
CN110189424A (zh) * | 2019-05-27 | 2019-08-30 | 武汉万集信息技术有限公司 | 基于多目标雷达的多车道自由流车辆检测方法及系统 |
CN111476099A (zh) * | 2020-03-09 | 2020-07-31 | 深圳市人工智能与机器人研究院 | 一种目标检测方法、目标检测装置及终端设备 |
CN111402296A (zh) * | 2020-03-12 | 2020-07-10 | 浙江大华技术股份有限公司 | 基于摄像机、雷达的目标跟踪方法及相关装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112016483A (zh) | 2020-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112016483B (zh) | 目标检测的接力系统、方法、装置及设备 | |
US7583815B2 (en) | Wide-area site-based video surveillance system | |
CN110163885B (zh) | 一种目标跟踪方法及装置 | |
KR101343975B1 (ko) | 돌발검지 시스템 | |
CN104754302A (zh) | 一种基于枪球联动系统的目标检测跟踪方法 | |
CN113447923A (zh) | 目标检测方法、装置、系统、电子设备及存储介质 | |
CN112017250A (zh) | 标定参数确定方法、装置、雷视设备和雷球接力系统 | |
KR102001594B1 (ko) | 비가시공간 투시 레이더-카메라 융합형 재난 추적 시스템 및 방법 | |
KR102310192B1 (ko) | 객체 인식률 및 감시 정확성을 높인 융복합 카메라 및 이를 이용한 경계 감시시스템 | |
CN109905641B (zh) | 一种目标监控方法、装置、设备及系统 | |
CN109752713B (zh) | 一种雷达视频监视方法 | |
CN111983603A (zh) | 运动轨迹接力方法、系统、装置和中心端处理设备 | |
CN102713933A (zh) | 用于监视视频目标的装置和方法 | |
CN111402296B (zh) | 基于摄像机、雷达的目标跟踪方法及相关装置 | |
EP2946283B1 (en) | Delay compensation while controlling a remote sensor | |
CN112911249B (zh) | 目标对象的跟踪方法、装置、存储介质及电子装置 | |
KR101290782B1 (ko) | 지능적 다중 객체 추적 알고리즘 기반의 다중 ptz 카메라 제어 시스템 및 방법 | |
CN115407355B (zh) | 库位地图的验证方法、装置及终端设备 | |
CN112489338B (zh) | 一种报警方法、系统、装置、设备及存储介质 | |
Yuan et al. | MMAUD: A Comprehensive Multi-Modal Anti-UAV Dataset for Modern Miniature Drone Threats | |
CN115932834A (zh) | 一种基于多源异构数据融合的反无人机系统目标检测方法 | |
CN113068000A (zh) | 视频目标的监控方法、装置、设备、系统及存储介质 | |
CN102930554B (zh) | 一种监控场景下目标精确抓取的方法及系统 | |
CN111200722A (zh) | 一种低空管制系统及信号管理方法 | |
CN112305534A (zh) | 目标检测方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |