CN114170270A - 单、多传感器多目标关联匹配方法、系统及车辆 - Google Patents
单、多传感器多目标关联匹配方法、系统及车辆 Download PDFInfo
- Publication number
- CN114170270A CN114170270A CN202111382918.3A CN202111382918A CN114170270A CN 114170270 A CN114170270 A CN 114170270A CN 202111382918 A CN202111382918 A CN 202111382918A CN 114170270 A CN114170270 A CN 114170270A
- Authority
- CN
- China
- Prior art keywords
- target
- sensor
- tracking
- detection
- sift
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 41
- 238000010586 diagram Methods 0.000 claims abstract description 26
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 230000004927 fusion Effects 0.000 claims description 8
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 230000001133 acceleration Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000011161 development Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种单、多传感器多目标关联匹配方法、系统及车辆，包括：步骤1、获取驾驶道路的目标信息；步骤2、对获取的目标信息进行预处理；步骤3、对检测的目标进行时间补偿和空间同步；步骤4、根据检测目标的位置和速度生成第一检测sift特征图；步骤5、对跟踪目标进行时间补偿和空间同步；步骤6、根据跟踪目标的位置和速度生成第一跟踪sift特征图；步骤7、基于第一检测sift特征图和第一跟踪sift特征图进行目标关联配对；步骤8、结合跟踪配对信息评估出最优匹配对，并将最优匹配对作为传感器的检测目标输出。本发明能够实现单传感器目标多帧关联跟踪，以获取目标轨迹信息，还能够实现多源异构传感器之间的目标关联，还原驾驶真实场景。
Description
技术领域
本发明属于多传感器融合技术领域，具体涉及一种单、多传感器多目标关联匹配方法、系统及车辆。
背景技术
随着科技时代的蓬勃发展，技术创新成为了推动各行各业的核心动力。大众消费者对自动化产品的需求越来越大，也越来越广。然而对于汽车行业，自动驾驶不仅是满足客户需求的重要功能，也是拉动品牌的有效途径。因此，汽车行业的自动驾驶在新时代、新技术背景下，已成为新一轮研究热潮。在当前各行业的技术支撑下，基于结构化道路的自动驾驶成为本领域的主要方向，但是仍然存在两大技术难题：1、多源传感器目标关联；2、多源传感器目标属性融合。复杂的现实环境决定了单一传感器对现实表达不足，多源异构传感器架构成为自动驾驶开发模式首选，对车辆驾驶环境重构有着关键性的作用。但不同传感器由于受环境和硬件限制，都会存在目标虚假、丢失以及位置、速度等关键信息的跳变和误差。
因此，有必要开发一种新的单、多传感器多目标关联匹配方法、系统及车辆。
发明内容
本发明的目的是提供一种单传感器多目标关联匹配方法、系统及车辆，能实现单传感器目标多帧关联跟踪，以获取目标轨迹信息。
本发明的另一目的是提供一种多传感器多目标关联匹配方法、系统及车辆，能实现多源异构传感器之间的目标关联，还原驾驶真实场景。
第一方面，本发明所述的一种单传感器多目标关联匹配方法，包括以下步骤：
步骤1、获取驾驶道路的目标信息，其中，驾驶道路目标信息包括目标跟踪ID、车辆坐标系下的位置、速度、加速度、目标类型、运动趋势和航向角；
步骤2、对获取的目标信息进行预处理，过滤无效以及明显异常目标；
步骤3、对检测的目标进行时间补偿和空间同步；
步骤4、根据检测目标的位置和速度生成第一检测sift特征图；
步骤5、结合传感器的目标跟踪特性，对跟踪目标进行时间补偿和空间同步；
步骤6、根据跟踪目标的位置和速度生成第一跟踪sift特征图；
步骤7、基于第一检测sift特征图和第一跟踪sift特征图进行目标关联配对；
步骤8、结合跟踪配对信息评估出最优匹配对，并将最优匹配对作为传感器的检测目标输出。
可选地，所述步骤4中，将检测目标的位置作为主属性关键点，将目标的速度作为像素点亮度，构建第一检测sift特征图。
可选地，所述步骤6中，将跟踪目标的位置作为主属性关键点，将跟踪目标的速度作为像素点亮度，构建第一跟踪sift特征图。
第二方面，本发明所述的一种多传感器多目标关联匹配方法，用于对多个传感器的目标进行关联匹配，包括以下步骤：
步骤1、 单传感器多目标关联匹配：
采用如本发明所述的单传感器多目标关联匹配方法，每个单传感器将最优匹配对作为自身所检测的目标输出；
步骤2、多传感器目标关联匹配：
根据多传感器检测的目标信息构建第二检测sift特征图；
根据多传感器跟踪的目标信息构建第二跟踪sift特征图；
基于第二检测sift特征图和第二跟踪sift特征图进行目标关联配对；
结合融合特性评估出最优匹配对，并将最优匹配对作为多传感器的检测目标输出。
可选地，根据多传感器检测的目标信息构建第二检测sift特征图，具体为：
根据各单传感器输出的目标属性，采用权重分配方式计算sift的特征值，构建出第二检测sift特征图。
可选地，所述根据多传感器跟踪的目标信息构建第二跟踪sift特征图，具体为：
根据各单传感器跟踪的目标属性，采用权重分配方式计算sift的特征值，构建出第二检测sift特征图。
第三方面，本发明所述的一种单传感器多目标关联匹配系统，包括存储器和控制器，所述存储器内存储有计算机可读程序，所述计算机可读程序被控制器调用时能执行如本发明所述的单传感器多目标关联匹配方法的步骤。
第四方面，本发明所述一种多传感器多目标关联匹配系统，其特征在于：包括存储器和控制器，所述存储器内存储有计算机可读程序，所述计算机可读程序被控制器调用时能执行如本发明所述的多传感器多目标关联匹配方法步骤。
第五方面，本发明所述的一种车辆，采用如本发明所述的单传感器多目标关联匹配系统。
第六方面，本发明所述的一种车辆，采用如本发明所述的多传感器多目标关联匹配系统。
本发明具有以下优点：
（1）针对单传感器的目标关联，能够基于跟踪目标关联匹配检测目标形成目标关联链表，有效地结合目标在环境中的上下文信息；不仅增强了单传感器的目标的健壮性和稳定性，同时也提升了目标真实属性的可信度，增强了融合的效率和性能，降低了资源消耗；
（2）针对多传感器的目标关联，能够使融合跟踪目标与各传感器检测目标有效关联，提升了融合目标对现实场景的真实性，增强了目标融合的可靠性，降低了环境认知的资源消耗。
附图说明
图1 是本实施例中单传感器多目标关联匹配方法的流程图；
图2 是本实施例中多传感器多目标关联匹配方法的流程图。
具体实施方式
下面结合附图对本发明作进一步说明。
如图1所示，本实施例中，一种单传感器多目标关联匹配方法，包括以下步骤：
步骤1、获取驾驶道路的目标信息，其中，驾驶道路目标信息包括目标跟踪ID、车辆坐标系下的位置、速度、加速度、目标类型、运动趋势和航向角。其中，单传感器可以是摄像头、毫米波雷达和激光雷达中的任一种；
步骤2、对获取的目标信息进行预处理，即根据不同传感器特性以及先验知识指定预处理数据清洗规则，过滤掉无效以及明显异常目标。
步骤3、结合传感器测量特性，对检测的目标进行时间补偿和空间同步。由于传感器从感知环境到目标输出，存在算法和传输延时，需结合感知模型延时特性补偿时差，并对延时时间进行空间同步。
步骤4、根据检测目标的位置和速度生成第一检测sift特征图，具体为：
将检测目标的位置作为主属性关键点，将目标的速度作为像素点亮度，构建第一检测sift特征图。
步骤5、结合传感器的目标跟踪特性，对跟踪目标进行时间补偿和空间同步。
步骤6、根据跟踪目标（基于历史检测的目标，采用目标跟踪算法计算得到，跟踪目标是现有技术，此处不再赘述）的位置和速度生成第一sift特征图，具体为：
将跟踪目标的位置作为主属性关键点，将跟踪目标的速度作为像素点亮度，构建第一跟踪sift特征图。
步骤7、基于第一检测sift特征图和第一跟踪sift特征图，采用图像处理特征点匹配算法，进行目标关联配对，寻找出特征图中匹配对。
步骤8、结合跟踪配对信息评估出最优匹配对，并将最优匹配对作为传感器的检测目标输出。运用跟踪过程中提取的特征数据，评估出当前匹配对的置信度，增强了单传感器输出目标的可靠性。
本实施例中，根据历史匹配对信息，将确认配对从配对池中去除；采用目标位置几何关系确认配对的最优性。
本实施例中，sift特征图包括特征目标与本车的几何位置关系、目标速度以及目标间相互关系。
如图2所示，本实施例中，一种多传感器多目标关联匹配方法，用于对多个传感器的目标进行关联匹配，包括以下步骤：
步骤1、 单传感器多目标关联匹配：
采用如本实施例中所述的单传感器多目标关联匹配方法，每个单传感器将最优匹配对作为自身所检测的目标输出。
不同传感器通过不同的方式提取驾驶道路目标信息。例如、摄像头采用深度学习算法检测车道图像中的目标；毫米波和激光雷达采用点云聚类算法提取目标。
步骤2、多传感器目标关联匹配：
根据多传感器检测的目标信息构建第二检测sift特征图；
根据多传感器跟踪的目标信息构建第二跟踪sift特征图；
基于第二检测sift特征图和第二跟踪sift特征图进行目标关联配对；
结合融合特性评估出最优匹配对，并将最优匹配对作为多传感器的检测目标输出。
可选地，根据多传感器检测的目标信息构建第二检测sift特征图，具体为：
根据各单传感器输出的目标属性，采用权重分配方式计算sift的特征值，构建出第二检测sift特征图。
可选地，所述根据多传感器跟踪的目标信息构建第二跟踪sift特征图，具体为：
根据各单传感器跟踪的目标属性，采用权重分配方式计算sift的特征值，构建出第二检测sift特征图。
本实施例中，一种单传感器多目标关联匹配系统，包括存储器和控制器，所述存储器内存储有计算机可读程序，所述计算机可读程序被控制器调用时能执行如本实施例中所述的单传感器多目标关联匹配方法的步骤。
本实施例中，一种多传感器多目标关联匹配系统，其特征在于：包括存储器和控制器，所述存储器内存储有计算机可读程序，所述计算机可读程序被控制器调用时能执行如本发明所述的多传感器多目标关联匹配方法步骤。
本实施例中，一种车辆，采用如本实施例中所述的单传感器多目标关联匹配系统。
本实施例中，一种车辆，采用如本实施例中所述的多传感器多目标关联匹配系统。
Claims (10)
1.一种单传感器多目标关联匹配方法，其特征在于，包括以下步骤：
步骤1、获取驾驶道路的目标信息，其中，驾驶道路目标信息包括目标跟踪ID、车辆坐标系下的位置、速度、加速度、目标类型、运动趋势和航向角；
步骤2、对获取的目标信息进行预处理，过滤无效以及明显异常目标；
步骤3、对检测的目标进行时间补偿和空间同步；
步骤4、根据检测目标的位置和速度生成第一检测sift特征图；
步骤5、结合传感器的目标跟踪特性，对跟踪目标进行时间补偿和空间同步；
步骤6、根据跟踪目标的位置和速度生成第一跟踪sift特征图；
步骤7、基于第一检测sift特征图和第一跟踪sift特征图进行目标关联配对；
步骤8、结合跟踪配对信息评估出最优匹配对，并将最优匹配对作为传感器的检测目标输出。
2.根据权利要求1所述的单传感器多目标关联匹配方法，其特征在于：所述步骤4中，将检测目标的位置作为主属性关键点，将目标的速度作为像素点亮度，构建第一检测sift特征图。
3.根据权利要求1或2所述的单传感器多目标关联匹配方法，其特征在于：所述步骤6中，将跟踪目标的位置作为主属性关键点，将跟踪目标的速度作为像素点亮度，构建第一跟踪sift特征图。
4.一种多传感器多目标关联匹配方法，用于对多个传感器的目标进行关联匹配，其特征在于，包括以下步骤：
步骤1、 单传感器多目标关联匹配：
采用如权利要求1至3任一所述的单传感器多目标关联匹配方法，每个单传感器将最优匹配对作为自身所检测的目标输出；
步骤2、多传感器目标关联匹配：
根据多传感器检测的目标信息构建第二检测sift特征图；
根据多传感器跟踪的目标信息构建第二跟踪sift特征图；
基于第二检测sift特征图和第二跟踪sift特征图进行目标关联配对；
结合融合特性评估出最优匹配对，并将最优匹配对作为多传感器的检测目标输出。
5.根据权利要求4所述的多传感器多目标关联匹配方法，其特征在于：根据多传感器检测的目标信息构建第二检测sift特征图，具体为：
根据各单传感器输出的目标属性，采用权重分配方式计算sift的特征值，构建出第二检测sift特征图。
6.根据权利要求4或5所述的多传感器多目标关联匹配方法，其特征在于：所述根据多传感器跟踪的目标信息构建第二跟踪sift特征图，具体为：
根据各单传感器跟踪的目标属性，采用权重分配方式计算sift的特征值，构建出第二检测sift特征图。
7.一种单传感器多目标关联匹配系统，其特征在于：包括存储器和控制器，所述存储器内存储有计算机可读程序，所述计算机可读程序被控制器调用时能执行如权利要求1至3任一所述的单传感器多目标关联匹配方法的步骤。
8.一种多传感器多目标关联匹配系统，其特征在于：包括存储器和控制器，所述存储器内存储有计算机可读程序，所述计算机可读程序被控制器调用时能执行如权利要求4至6任一所述的多传感器多目标关联匹配方法步骤。
9.一种车辆，其特征在于：采用如权利要求7所述的单传感器多目标关联匹配系统。
10.一种车辆，其特征在于：采用如权利要求8所述的多传感器多目标关联匹配系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111382918.3A CN114170270A (zh) | 2021-11-22 | 2021-11-22 | 单、多传感器多目标关联匹配方法、系统及车辆 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111382918.3A CN114170270A (zh) | 2021-11-22 | 2021-11-22 | 单、多传感器多目标关联匹配方法、系统及车辆 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114170270A true CN114170270A (zh) | 2022-03-11 |
Family
ID=80479760
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111382918.3A Pending CN114170270A (zh) | 2021-11-22 | 2021-11-22 | 单、多传感器多目标关联匹配方法、系统及车辆 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114170270A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110286631A1 (en) * | 2010-05-21 | 2011-11-24 | Qualcomm Incorporated | Real time tracking/detection of multiple targets |
| US20130006577A1 (en) * | 2010-03-15 | 2013-01-03 | Bae Systems Pic | Target tracking |
| CN104036524A (zh) * | 2014-06-18 | 2014-09-10 | 哈尔滨工程大学 | 一种改进sift算法的快速目标跟踪方法 |
| CN106447697A (zh) * | 2016-10-09 | 2017-02-22 | 湖南穗富眼电子科技有限公司 | 一种基于动平台的特定动目标快速跟踪方法 |
| CN111696128A (zh) * | 2020-05-27 | 2020-09-22 | 南京博雅集智智能技术有限公司 | 一种高速多目标检测跟踪和目标图像优选方法及存储介质 |
| US20200369296A1 (en) * | 2019-05-20 | 2020-11-26 | Hyundai Mobis Co., Ltd | Autonomous driving apparatus and method |
| CN112163473A (zh) * | 2020-09-15 | 2021-01-01 | 郑州金惠计算机系统工程有限公司 | 一种多目标跟踪方法、装置、电子设备和计算机存储介质 |
| CN113514806A (zh) * | 2021-04-02 | 2021-10-19 | 苏州挚途科技有限公司 | 自动驾驶过程中障碍物确定方法、装置及电子设备 |
-
2021
- 2021-11-22 CN CN202111382918.3A patent/CN114170270A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130006577A1 (en) * | 2010-03-15 | 2013-01-03 | Bae Systems Pic | Target tracking |
| US20110286631A1 (en) * | 2010-05-21 | 2011-11-24 | Qualcomm Incorporated | Real time tracking/detection of multiple targets |
| CN104036524A (zh) * | 2014-06-18 | 2014-09-10 | 哈尔滨工程大学 | 一种改进sift算法的快速目标跟踪方法 |
| CN106447697A (zh) * | 2016-10-09 | 2017-02-22 | 湖南穗富眼电子科技有限公司 | 一种基于动平台的特定动目标快速跟踪方法 |
| US20200369296A1 (en) * | 2019-05-20 | 2020-11-26 | Hyundai Mobis Co., Ltd | Autonomous driving apparatus and method |
| CN111696128A (zh) * | 2020-05-27 | 2020-09-22 | 南京博雅集智智能技术有限公司 | 一种高速多目标检测跟踪和目标图像优选方法及存储介质 |
| CN112163473A (zh) * | 2020-09-15 | 2021-01-01 | 郑州金惠计算机系统工程有限公司 | 一种多目标跟踪方法、装置、电子设备和计算机存储介质 |
| CN113514806A (zh) * | 2021-04-02 | 2021-10-19 | 苏州挚途科技有限公司 | 自动驾驶过程中障碍物确定方法、装置及电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 刘雅婷;王坤峰;王飞跃;: "基于踪片Tracklet关联的视觉目标跟踪:现状与展望", 自动化学报, no. 11, 15 November 2017 (2017-11-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Asvadi et al. | 3D object tracking using RGB and LIDAR data | |
| CN109086788B (zh) | 用于从异构装置感测的多种不同格式的数据的多模式融合处理的设备、方法和系统 | |
| WO2021072696A1 (zh) | 目标检测与跟踪方法、系统、可移动平台、相机及介质 | |
| CN109099920B (zh) | 基于多传感器关联的传感器目标精确定位方法 | |
| JP6456141B2 (ja) | 地図データの生成 | |
| WO2013133129A1 (ja) | 移動物体位置姿勢推定装置及び移動物体位置姿勢推定方法 | |
| JP2013530435A (ja) | 自動車のための車道推移を求める方法 | |
| CN110501036A (zh) | 传感器参数的标定检查方法及装置 | |
| KR102547274B1 (ko) | 이동 로봇 및 이의 위치 인식 방법 | |
| KR20180076815A (ko) | Qr 마커와 레이저 스캐너를 이용하여 광범위 실내 공간에서 로봇의 위치를 인식하기 위한 방법 및 장치 | |
| CN112462381A (zh) | 一种基于车路协同的多激光雷达融合方法 | |
| CN108074251A (zh) | 基于单目视觉的移动机器人导航控制方法 | |
| JP2020154983A (ja) | 物体認識装置及び車両制御システム | |
| CN116503803A (zh) | 障碍物检测方法、装置、电子设备以及存储介质 | |
| Muresan et al. | Multimodal sparse LIDAR object tracking in clutter | |
| CN114677655A (zh) | 多传感器目标检测方法、装置、电子设备以及存储介质 | |
| CN111781606A (zh) | 一种新型激光雷达和超声波雷达融合的小型化实现方法 | |
| CN110426714B (zh) | 一种障碍物识别方法 | |
| Kotur et al. | Camera and LiDAR sensor fusion for 3d object tracking in a collision avoidance system | |
| CN114170270A (zh) | 单、多传感器多目标关联匹配方法、系统及车辆 | |
| CN117518189A (zh) | 基于激光雷达的相机处理方法、装置、电子设备以及介质 | |
| CN116304992A (zh) | 传感器时差确定方法、装置、计算机设备和存储介质 | |
| CN117075132A (zh) | 基于激光雷达盲区的障碍物跟踪方法、装置、设备和介质 | |
| CN117036447A (zh) | 基于多传感器融合的室内场景稠密三维重建方法及装置 | |
| Richter et al. | Advanced occupancy grid techniques for lidar based object detection and tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |