CN115049700A - 一种目标检测方法及装置 - Google Patents

Abstract

本申请涉及智能驾驶领域，公开了一种目标检测方法及装置，用以提高目标检测的准确性以及实时性。该方法包括：获取来自三维扫描设备的点云和来自视觉传感器的图像；将所述点云和至少一个目标跟踪轨迹在所述点云中预测目标的三维空间位置输入到目标检测模型进行处理，得到至少一个第一目标的三维空间位置；根据所述至少一个第一目标的三维空间位置在所述图像中的投影和所述至少一个目标跟踪轨迹在所述图像中预测目标的二维空间位置，确定所述图像中至少一个第二目标的二维空间位置；根据所述至少一个第二目标的二维空间位置在所述点云中的投影，确定所述点云中所述至少一个第二目标的三维空间位置。

Description

一种目标检测方法及装置

技术领域

本申请实施例涉及智能驾驶领域，尤其涉及一种目标检测方法及装置。

背景技术

随着城市的发展，交通越来越拥堵，人们驾车越来越趋于疲劳。为了满足人们的出行要求，智能驾驶(包括辅助驾驶、无人驾驶)应运而生。而如何可靠的实现对环境中的目标检测，对于智能驾驶的决策至关重要。

目前大多数目标检测方法都是基于单一类型传感器，例如仅依赖激光雷达获取点云或者仅依赖相机获取图像。点云能提供目标的三维信息，能较好地克服目标相互遮挡问题，但点云较为稀疏，对目标特征的识别率不高。而图像相比点云具有更丰富的信息，但图像受光照、天气等的影响较大，检测和跟踪的可靠性较差。而且图像只有二维平面信息，无法获取被遮挡的目标的信息，容易丢失目标或造成错误。融合点云和图像能充分发挥点云和图像的互补性，提高检测的鲁棒性。但是，目前对多传感器融合的目标检测研究较少，目标检测的准确性和实时性有待提升。

发明内容

本申请实施例提供一种目标检测方法及装置，用以提高目标检测的准确性和实时性。

第一方面，本申请实施例提供一种目标检测方法，该方法包括：获取来自三维扫描设备的点云和来自视觉传感器的图像；将所述点云和至少一个目标跟踪轨迹在所述点云中预测目标的三维空间位置输入到目标检测模型进行处理，得到至少一个第一目标的三维空间位置，其中所述目标检测模型是基于已知目标跟踪轨迹对应的预测目标的三维空间位置的多个点云样本，以及与所述多个点云样本一一对应的多个目标的三维空间位置检测结果训练得到的；根据所述至少一个第一目标的三维空间位置在所述图像中的投影和所述至少一个目标跟踪轨迹在所述图像中预测目标的二维空间位置，确定所述图像中至少一个第二目标的二维空间位置；根据所述至少一个第二目标的二维空间位置在所述点云中的投影，确定所述点云中所述至少一个第二目标的三维空间位置。

在本申请实施例中，增加了目标跟踪轨迹反馈机制，在点云和图像中进行目标检测时，更关注目标跟踪轨迹在点云和图像中的预测目标位置所在的区域，可以有效减小漏检，提高目标检测的准确性。

在一种可能的设计中，所述方法还包括：根据所述至少一个目标跟踪轨迹对应的目标特征以及所述至少一个第二目标的目标特征，对所述至少一个目标跟踪轨迹和所述至少一个第二目标进行匹配；将匹配的所述目标跟踪轨迹和所述第二目标关联。可选的，所述目标特征包括以下中的一项或多项：位置、尺寸、速度、方向、类别、点云点数、点云各方向坐标数值分布、点云反射强度分布、外观特征、深度特征等。

上述设计中，可以基于目标特征将检测到的目标与已有的目标跟踪轨迹关联起来，有利于获取完整的目标跟踪轨迹，以及对目标下一时刻即将出现的位置进行预测。

在一种可能的设计中，所述方法还包括：对于未匹配到所述目标跟踪轨迹的所述第二目标，建立所述第二目标对应的目标跟踪轨迹。

上述设计中，对于新出现的目标，可以赋予该目标一个新的ID，并建立该目标对应的目标跟踪轨迹，有利于实现对出现的所有目标进行跟踪。

在一种可能的设计中，所述方法还包括：对于未匹配到所述第二目标的所述目标跟踪轨迹，将所述目标跟踪轨迹与所述目标跟踪轨迹在所述点云和/或所述图像中的预测目标关联。

上述设计中，对于未在点云和图像中检测到对应目标的目标跟踪轨迹，可以将该目标跟踪轨迹与该目标跟踪轨迹在点云和/或图像中的预测目标关联，有利于避免因漏检造成同一目标对应多个目标跟踪轨迹的问题，提高目标跟踪的可靠性。

在一种可能的设计中，所述对于未匹配到所述第二目标的所述目标跟踪轨迹，将所述目标跟踪轨迹与所述目标跟踪轨迹在所述点云和/或所述图像中的预测目标关联之前，所述方法还包括：当所述目标跟踪轨迹关联预测目标的次数大于或等于第一阈值时，删除所述目标跟踪轨迹。

上述设计中，对于多次未在获取的点云和/或图像中检测到对应目标的目标跟踪轨迹进行删除，有利于节约处理资源。

在一种可能的设计中，所述方法还包括：获取来自三维扫描设备的标定物点云和来自视觉传感器的标定物图像；根据标定物中多个标定点在所述标定物点云中的三维坐标以及在所述标定物图像中的二维坐标，确定点云坐标系和图像坐标系的投影矩阵。

上述设计中，可以通过标定物对三维扫描设备和视觉传感器进行联合标定，确定点云坐标系和图像坐标系(也可以称为像素坐标系)的投影矩阵，有利于对点云和图像中的目标检测结果进行融合，提高目标检测的准确性。

第二方面，本申请实施例提供一种目标检测装置，该装置具有实现上述第一方面或者第一方面的任一种可能的设计中方法的功能，所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的单元(模块)，比如包括获取单元和处理单元。

第三方面，本申请实施例提供一种目标检测装置，包括至少一个处理器和接口，所述处理器用于从所述接口调用并运行计算机程序，当所述处理器执行所述计算机程序时，可以实现上述第一方面或者第一方面的任一种可能的设计中所述的方法。

第四方面，本申请实施例提供一种终端，该终端包括上述第二方面所述的装置。可选的，该终端可以为车载设备、车辆、监控控制器、无人机、机器人、路侧单元等。或者，所述终端也可以为智能家居、智能制造等需要进行目标探测或跟踪的智能设备。

第五方面，本申请实施例提供一种芯片系统，所述芯片系统包括：处理器和接口，所述处理器用于从所述接口调用并运行计算机程序，当所述处理器执行所述计算机程序时，可以实现上述第一方面或者第一方面的任一种可能的设计中所述的方法。

第六方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质具有用于执行上述第一方面或者第一方面的任一种可能的设计中所述的方法的计算机程序。

第七方面，本申请实施例还提供一种计算机程序产品，包括计算机程序或指令，当所述计算机程序或指令被执行时，可以实现上述第一方面或者第一方面的任一种可能的设计中所述的方法。

上述第二方面至第七方面所能达到的技术效果请参照上述第一方面所能达到的技术效果，这里不再重复赘述。

附图说明

图1为本申请实施例提供的目标检测系统的示意图；

图2为本申请实施例提供的目标检测流程示意图；

图3为本申请实施例提供的智能驾驶场景示意图；

图4为本申请实施例提供的基于多传感器融合目标检测方案示意图之一；

图5为本申请实施例提供的基于多传感器融合目标检测方案示意图之二；

图6为本申请实施例提供的基于多传感器融合目标检测方案示意图之三；

图7为本申请实施例提供的目标检测方法过程示意图；

图8为本申请实施例提供的目标检测装置示意图之一；

图9为本申请实施例提供的目标检测装置示意图之二。

具体实施方式

图1为本申请实施提供的一种目标检测系统的示意图，包括数据预处理模块、联合标定模块、点云检测模块、图像感兴趣区域获取模块、点云域预测模块、图像域预测模块、预测决策模块、数据关联模块、轨迹管理模块。

结合如图2所示的目标检测流程示意图，数据预处理模块：主要用于对点云滤波，去除地面点；对图像进行畸变矫正等。

联合标定模块：主要用于对三维扫描设备和视觉传感器获取的点云和图像进行联合标定，获取点云坐标系和图像坐标系之间的投影矩阵。

点云检测模块：主要用于将当前时刻获取的点云和反馈的目标跟踪轨迹管理后的结果(如至少一个目标跟踪轨迹在当前时刻获取的点云中预测目标的三维空间位置)输入已训练好的目标检测模型(如深度神经网络模型)中，获得目标检测结果。

图像感兴趣区域获取模块：主要用于使用投影矩阵将基于点云获取的目标检测结果投影到图像中，并结合反馈的目标跟踪轨迹管理后的结果(如至少一个目标跟踪轨迹在当前时刻获取的图像中预测目标的二维空间位置)，获得感兴趣区域。

预测决策模块：主要用于将图像的目标检测结果反投影到点云，并和点云的目标检测结果对比，决策出更准确的目标检测结果。

数据关联模块：主要用于将预测决策后的目标检测结果和目标跟踪轨迹进行关联匹配。

轨迹管理模块：主要用于根据数据关联结果，对所有目标跟踪轨迹进行管理更新。

点云域预测模块：主要用于对基于更新后的目标跟踪轨迹，预测目标跟踪轨迹在下一时刻获取的点云中预测目标的三维空间位置。

图像域预测模块：主要用于对基于更新后的目标跟踪轨迹，预测目标跟踪轨迹在下一时刻获取的图像中预测目标的二维空间位置。

可以理解的是，本申请实施例示意的目标检测系统的结构并不构成对目标检测系统的具体限定。在本申请另一些实施例中，目标检测系统可以包括比图示更多或更少的模块，或者组合某些模块，或者拆分某些模块，或者不同的模块布置。

本申请实施例提供的目标检测方案，可以适用于应用有如图1所示的目标检测系统的终端，所述终端可以为车载设备、车辆、监控控制器、无人机、机器人、路侧单元(roadside unit，RSU)等设备，适用于监控、智能驾驶、无人机航行、机器人行进等场景。在本申请实施例的后续说明中，以智能驾驶场景下应用有如图1所示的目标检测系统的终端为例进行说明。如图3所示，终端(如车辆A)可以通过终端上设置的三维扫描设备(一个或多个)和视觉传感器(一个或多个)获取周围环境的点云和图像，并可以对周围环境中的车辆(如车辆B、车辆C等)、行人、自行车(图中未示出)、树木(图中未示出)等目标进行检测和跟踪。

目前基于多传感器融合目标检测方案主要包括以下几种：

第一种方案：如图4所示，该方案从激光雷达获取点云后，使用深度卷积神经网络检测出目标的三维空间位置并提取点云特征。从单目相机获取图像，将从点云中检测出的目标的三维边界投影到图像，并使用深度卷积神经网络提取投影区域的图像特征。接着，计算检测到的目标和目标跟踪轨迹在点云三维空间位置、点云特征以及图像特征上的相似度矩阵，并对三个相似度矩阵进行合并，将合并的相似度矩阵通过匈牙利算法计算目标和目标跟踪轨迹之间的二分图匹配关系，并结合卡尔曼滤波器对目标跟踪轨迹进行状态估计，从而实现对点云中目标的跟踪。然而该方案同时在图像和点云中使用深度网络进行特征提取，资源消耗较多，计算效率较低，实现性差；并且一旦基于激光雷达获取的点云中出现漏检，则无法通过图像找回漏检目标，准确性较低。

第二种方案：如图5所示，该方案首先利用深度学习算法获取采集的图像和点云中的目标检测信息。例如：对图像采用深度学习图像目标检测算法获取图像中目标的二维(2-dimension，2D)检测框类别、中心点像素坐标位置及长宽尺寸信息；对点云采用深度学习点云目标检测算法获取点云中目标的三维(3-dimension，3D)检测框类别、中心点空间坐标及长宽高尺寸的信息。然后，利用匈牙利算法，基于检测框之间的最小距离，分别对相邻时刻获取的图像和点云中目标的检测框做最优匹配，实现目标跟踪，分别建立图像及点云的目标跟踪轨迹。然而该方案同时在图像和点云中使用深度学习算法进行特征提取，资源消耗较多，实时性差；另外没有真正的跟踪算法，在目标密集或相邻时刻间位移较大的目标使用检测框和检测框的距离匹配容易出错。

第三种方案：如图6所示，该方案采集目标的点云，对采集到的点云进行滤波，输出滤除地面点后的地物点数据，将得到的地物点数据映射生成距离图像以及基于反射强度图像，根据所述距离图像、反射强度图像以及回波强度信息对所述地物点数据进行点云分割聚类，得到多个点云区域，根据目标的先验知识从各个点云区域中筛选出疑似目标的目的点云区域；对各目的点云区域进行特征提取，由提取的特征向量进行分类以识别出目标，得到第一目标检测结果。采集到图像，对图像进行预处理，对预处理后的图像使用投影变换矩阵提取感兴趣区域，在感兴趣区域中进行图像特征提取，根据提取的图像特征识别出目标，得到第二目标检测结果。若所述第一目标检测结果、第二目标检测结果相同，将第一目标检测结果或第二目标检测结果作为最终的目标检测结果输出，若第一目标检测结果、第二目标检测结果不相同，基于贝叶斯决策对第一目标检测结果、第二目标检测结果进行融合判决，得到最终的目标检测结果输出。最后，使用基于马尔科夫决策过程(markov decisionprocss，MDP)的多目标跟踪方法进行跟踪。然而，基于点云的目标检测依赖大量先验知识准确度较差。点云漏检时，则无法通过图像找回漏检目标，准确性较低。

本申请旨在提供一种目标检测方案，通过图像中的目标检测结果对点云中的目标检测结果进行修正，并使用目标跟踪轨迹反馈机制降低漏检率，提高目标检测的准确性以及实时性。

在介绍本申请实施例之前，首先对本申请实施例中的部分用语进行解释说明，以便于本领域技术人员理解。

1)、点云，通过三维扫描设备扫描得到的物体表面上的点数据集合可称之为点云(point cloud)。点云是在一个三维坐标系统中的一组向量的集合。这些向量通常以x，y，z三维坐标的形式表示，而且一般主要用来代表一个物体的外表面形状。不仅如此，除(x，y，z)代表的几何位置信息之外，点云还可以表示一个点的RGB颜色，灰度值，深度，物体反射面强度等。在本申请实施例中涉及的点云坐标系即点云中点云点所在的三维(x，y，z)坐标系。

2)、图像坐标系，也可以称为像素坐标系，通常是以图像左上角为原点建立的二维坐标系，单位为像素(pixel)。所述图像坐标系的两个坐标轴由u和v构成。所述图像坐标系中某个点的坐标可以标识为(u，v)。

3)、角点，角点即在某方面属性特别突出的点，在点云和图像中指具有代表性以及稳健性的点，如两条边的交点等。

4)、感兴趣区域(region of interesting，ROI)，图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域，在本申请实施例中感兴趣区域可以认为是图像中存在目标的区域。

另外，需要理解的是，本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。在本申请的文字描述中，字符“/”，一般表示前后关联对象是一种“或”的关系。另外，除非有相反的说明，本申请实施例提及“第一”、“第二”等序数词用于对多个对象进行区分，不用于限定多个对象的顺序、时序、优先级或者重要程度，并且“第一”、“第二”的描述也并不限定对象一定不同。在本申请中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请的实施例的范围。上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定。在本申请中，“示例性的”或者“例如”等词用于表示例子、例证或说明，被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念，便于理解。下面将结合附图，对本申请实施例进行详细描述。

图7为本申请实施例提供的一种目标检测方法示意图，该方法包括：

S701：终端获取来自三维扫描设备的点云和来自视觉传感器的图像。

其中，三维扫描设备可以是激光雷达、毫米波雷达、深度相机等，视觉传感器可以为单目摄像头、多目摄像头等。

在一种可能的实施中，终端上可安装至少一个三维扫描设备以及至少一个视觉传感器，终端可以通过三维扫描设备对终端周围(或某个方向上，如行进方向上)的物体进行扫描，采集终端周围(或某个方向上)的物体的点云；也可以通过视觉传感器对终端周围(或某个方向上)的物体进行扫描，采集终端周围(或某个方向上)的物体的图像。其中，点云可以是点云点的集合，该集合中的每个点云点的信息包括点云点的三维坐标(x，y，z)，在三维扫描设备为激光雷达或毫米波雷达时，每个点云点的信息还可以包括激光反射强度或毫米波反射强度等信息。

另外，为了避免点云和图像的采集时间不一致，终端启动初始获取来自三维扫描设备的点云和来自视觉传感器的图像时，还可以从三维扫描设备和视觉传感器获取点云和图像的采集时间，从而根据点云和图像的采集时间，将从三维扫描设备和视觉传感器获取的点云和图像进行时间对齐，保证进行目标检测的同一组点云和图像的采集时间一致。

在一些实施中，获取到点云和图像后，终端还可以对点云和/或图像进行数据预处理操作。举例来说，终端可以对点云进行滤波，去除地面点云点，降低点云的数据量，提高目标检测效率；也可以根据视觉传感器的内参和外参(通常由视觉传感器生产厂商提供)对采集的图像存在的桶形畸变或枕形畸变等进行畸变矫正等。

作为一种示例，终端可以根据预先给出的属于地面的点云点应该满足的条件(如点云点的z坐标小于某一阈值)，将上述点云中满足上述条件的点云点去除，滤除地面的点云点，从而降低点云的数据量，提高目标检测效率。

S702：所述终端将所述点云和至少一个目标跟踪轨迹在所述点云中预测目标的三维空间位置输入到目标检测模型进行处理，得到至少一个第一目标的三维空间位置。

其中，目标的三维空间位置包括中心点坐标、长宽高尺寸等信息，也可以称为三维检测框或三维边界盒(3D BBox)，所述目标检测模型是基于已知目标跟踪轨迹对应的预测目标的三维空间位置的多个点云样本，以及与所述多个点云样本一一对应的多个目标的三维空间位置检测结果训练得到的。

在本申请实施例中，一个目标跟踪轨迹对应一个目标，目标跟踪轨迹记录有该目标的信息，如身份标识号(identity document，ID)、目标特征、存在时间、在存在该目标的每一帧点云中的三维空间位置、在存在该目标的每一帧图像中的二维空间位置等。通过卡尔曼(kalman)算法等可以对目标在点云中进行跟踪，根据目标对应的目标跟踪轨迹中存在该目标的每一帧点云中该目标的三维空间位置，即可预测该目标在下一帧点云(即下一时刻采集的点云)中出现的三维空间位置，也即可以得到该目标跟踪轨迹在下一帧点云中预测目标的三维空间位置；通过光流算法等可以对目标在图像中进行跟踪，根据目标对应的目标跟踪轨迹中存在该目标的每一帧图像中该目标的二维空间位置，通过光流算法等即可预测该目标在下一帧图像(即下一时刻采集的图像)中出现的二维空间位置，也即可以得到该目标跟踪轨迹在下一帧图像中预测目标的二维空间位置。

在对点云进行目标检测时，已有目标跟踪轨迹在当前的点云中预测目标的三维空间位置所在的位置区域出现目标的可能性明显高于点云中的其它位置区域，是对点云进行目标检测时需要重点关注的位置区域。

对于点云进行目标检测，终端可以通过目标检测模型对点云和至少一个目标跟踪轨迹在点云中预测目标的三维空间位置的处理实现。具体的，目标检测模型可以由训练设备基于样本集中维护的已知目标跟踪轨迹对应的预测目标的三维空间位置的多个点云样本，以及与所述多个点云样本一一对应的多个目标的三维空间位置检测结果训练得到。在对目标检测模型进行训练时，训练设备可以根据每个点云样本对应的目标的三维空间位置，为每个点云样本添加三维空间位置标签向量(如由中心点坐标、长宽高尺寸等信息构成的标签向量)。另外，需要理解的是，如果点云样本中存在多个目标的三维空间位置，则为点云样本添加的三维空间位置标签向量存在多个，与多个目标一一对应，多个目标的三维空间位置标签向量也可以以矩阵的形式存在。

为训练集中每个点云样本添加目标的三维空间位置标签向量后，训练设备可以将点云样本和目标跟踪轨迹(一个或多个)对应的预测目标的三维空间位置输入到目标检测模型进行处理，得到目标检测模型输出的目标(一个或多个)的三维空间位置预测值，根据输出的目标的三维空间位置预测值以及点云样本对应真实的目标的三维空间位置标签向量，通过损失函数(loss function)训练设备可以计算目标检测模型的损失(loss)，loss越高表示通过目标检测模型输出的目标的三维空间位置预测值与真实的目标的三维空间位置标签向量的差异越大，训练设备根据loss调整目标检测模型中的参数，如采用随机梯度下降法更新目标检测模型中神经元的参数，那么对目标检测模型的训练过程就变成了尽可能缩小这个loss的过程。通过样本集中的点云样本不断对目标检测模型进行训练，当这个loss缩小至预设范围，即可得到训练完成的目标检测模型。其中，目标检测模型可以是深度神经网络等。

需要理解的是，训练集中的点云样本可以采用预采样的方式获取，如通过终端预先采集点云样本，并根据目标跟踪轨迹(一个或多个)预测采集的点云样本中预测目标的三维空间位置，并进行记录，同时标注点云样本中存在的真实目标的三维空间位置。

上述训练设备可以为个人电脑(personal computer，PC)、笔记本电脑、服务器等设备，也可以为终端，如果训练设备和终端不是同一设备，训练设备对目标检测模型训练完成后，可以将训练完成的目标检测模型导入终端中，以便终端对获取的点云中的第一目标进行检测。

S703：所述终端根据所述至少一个第一目标的三维空间位置在所述图像中的投影和所述至少一个目标跟踪轨迹在所述图像中预测目标的二维空间位置，确定所述图像中至少一个第二目标的二维空间位置。

通过点云坐标系(三维)和图像坐标系(二维)的投影矩阵，可以点云中的三维空间位置投影到图像中，得到在图像中的二维空间位置，也可以将图像中的二维空间位置投影到点云中，得到在点云中的三维空间位置。

在一些实施中，对于投影矩阵的确定可以预先设置若干标定物(如具有多个棱角的立体纸箱)放置在三维扫描设备和视觉传感器的公共视野内，通过三维扫描设备和视觉传感器采集标定物点云和标定物图像，在采集的标定物点云和标定物图像中选取多个标定点(如立体纸箱的角点)，得到多个标定点在标定物点云中的三维坐标以及在标定物图像中的二维坐标，根据多个标定点在标定物点云中的三维坐标以及在标定物图像中的二维坐标，即可求解点云坐标系和图像坐标系的投影矩阵。

作为一种示例：假设(x，y，z)和(u，v)分别为标定点在点云坐标系和图像坐标系下的坐标，可以得到两坐标系间转换关系如下：

其中，K为视觉传感器的内参矩阵，视觉传感器的内参矩阵在出厂后是固定，通常由生产厂商提供或通过标定算法获得，[R，T]是视觉传感器的外参矩阵，通过多个(至少3个)标定点在标定物点云中的三维坐标以及在标定物图像中的二维坐标，即可求解点云坐标系到图像坐标系的投影矩阵M。

另外，虽然点云中第一目标检测时，已经增加了对目标跟踪轨迹的预测目标的反馈，降低漏检率，但是目标检测模型输出的第一目标的三维空间位置检测结果仍存在漏检的可能，因此在一些实施例中，终端还可以在对图像中第二目标检测时，增加对目标跟踪轨迹的预测目标的反馈，将至少一个第一目标在图像中的投影得到的二维空间位置，以及至少一个目标跟踪轨迹在图像中预测目标的二维空间位置均认为存在目标，将投影得到的二维空间位置和预测目标的二维空间位置均作为存在第二目标的二维空间位置输出。

S704：所述终端根据所述至少一个第二目标的二维空间位置在所述点云中的投影，确定所述点云中所述至少一个第二目标的三维空间位置。

终端将图像中至少一个第二目标的二维空间位置投影到点云中，即可得到点云中所述至少一个第二目标的三维空间位置，得到点云最终的目标检测结果输出。

对于任一个第二目标，该第二目标的特征可以包括在点云中三维空间位置中的目标特征和在图像中二维空间位置的目标特征。其中在点云中三维空间位置中的目标特征可以包括位置(如中心点坐标)、尺寸(如长宽高)、速度、方向、类别、点云点数、点云各方向坐标数值分布、点云反射强度分布(如点云反射强度分布直方图)、深度特征等，在图像中二维空间位置的目标特征包括位置(中心点坐标)、尺寸(如长宽)、速度、方向、类别、外观特征(如图像颜色直方图、方向梯度直方图)等。

对于目标跟踪，一个目标跟踪轨迹对应一个目标，目标跟踪轨迹记录有该目标的信息，如ID、目标特征、存在时间、在存在该目标的每一帧点云中的三维空间位置、在存在该目标的每一帧图像中的二维空间位置等，为了实现对同一目标的跟踪，在一些实施例中，终端可以根据已有至少一个目标跟踪轨迹对应的目标特征以及检测到至少一个第二目标的目标特征，对所述至少一个目标跟踪轨迹和所述至少一个第二目标进行匹配。将匹配到目标跟踪轨迹的第二目标与目标跟踪轨迹进行关联，完善已有的目标跟踪轨迹。

作为一种示例，可以将至少一个目标跟踪轨迹的目标特征和至少一个第二目标的目标特征之间的匹配度(或相似度)作为成本矩阵，采用匈牙利算法对至少一个目标跟踪轨迹和至少一个第二目标进行全局最优匹配。其中匈牙利算法是一种在多项式时间内求解任务分配问题的组合优化算法。终端在计算目标跟踪轨迹的目标特征和第二目标的目标特征之间的相似度时，考虑了位置(点云中和/或图像中)、尺寸(点云中和/或图像中)、速度(点云中和/或图像中)、方向(点云中和/或图像中)、类别(点云中和/或图像中)、点云点数、点云各方向坐标数值分布、点云反射强度分布、外观特征、深度特征等目标特征中的一项或多项，当考虑了多项目标特征时，可以对不同的目标特征赋予不同的权值，且所有权值的和为1。

对于匹配上已有目标跟踪轨迹的第二目标，将第二目标赋予匹配的目标跟踪轨迹的ID，完善已有目标跟踪轨迹；对于未匹配上目标跟踪轨迹的第二目标，终端可以为该目标赋予一个新的目标跟踪轨迹ID，新建一条目标跟踪轨迹。

对于未匹配上第二目标的目标跟踪轨迹，终端可以将所述目标跟踪轨迹与所述目标跟踪轨迹在点云和/或图像中的预测目标关联，完善该目标跟踪轨迹，避免因漏检等原因，造成同一目标对应多个目标跟踪轨迹。

需要理解的是，虽然第二目标中已涵盖有目标跟踪轨迹的预测目标，但是如果该预测目标在点云中的三维空间位置和在图像中的二维空间位置未真实出现，则目标特征仍不会与该目标跟踪轨迹的目标特征匹配成功。

另外，为了避免对已移出检测范围的目标进行检测及跟踪浪费处理资源，对于未匹配到第二目标的目标跟踪轨迹，将该目标跟踪轨迹与该目标跟踪轨迹在点云和/或图像中的预测目标关联之前，如果该目标跟踪轨迹关联预测目标的次数大于或等于第一阈值，终端删除该目标跟踪轨迹。

上述主要从方法流程的角度对本申请提供的方案进行了介绍，下述将从硬件或逻辑划分模块的角度对本申请实施例的技术方案进行详细阐述。可以理解的是，为了实现上述功能，装置可以包括执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在采用集成的单元的情况下，图8示出了本申请实施例中所涉及的目标检测装置的可能的示例性框图，该目标检测装置800可以以软件模块或硬件模块的形式存在。目标检测装置800可以包括：获取单元803和处理单元802。一种示例中，该装置可以为芯片。

可选的，装置800还可以包括存储单元801，用于存储装置800的程序代码和/或数据。

具体地，在一个实施例中，获取单元803，用于获取来自三维扫描设备的点云和来自视觉传感器的图像；

处理单元802，用于将所述点云和至少一个目标跟踪轨迹在所述点云中预测目标的三维空间位置输入到目标检测模型进行处理，得到至少一个第一目标的三维空间位置，其中所述目标检测模型是基于已知目标跟踪轨迹对应的预测目标的三维空间位置的多个点云样本，以及与所述多个点云样本一一对应的多个目标的三维空间位置检测结果训练得到的；

所述处理单元802，还用于根据所述至少一个第一目标的三维空间位置在所述图像中的投影和所述至少一个目标跟踪轨迹在所述图像中预测目标的二维空间位置，确定所述图像中至少一个第二目标的二维空间位置；

所述处理单元802，还用于根据所述至少一个第二目标的二维空间位置在所述点云中的投影，确定所述点云中所述至少一个第二目标的三维空间位置。

在一种可能的设计中，所述处理单元802，还用于根据所述至少一个目标跟踪轨迹对应的目标特征以及所述至少一个第二目标的目标特征，对所述至少一个目标跟踪轨迹和所述至少一个第二目标进行匹配；将匹配的所述目标跟踪轨迹和所述第二目标关联。

在一种可能的设计中，所述处理单元802，还用于对于未匹配到所述目标跟踪轨迹的所述第二目标，建立所述第二目标对应的目标跟踪轨迹。

在一种可能的设计中，所述处理单元802，还用于对于未匹配到所述第二目标的所述目标跟踪轨迹，将所述目标跟踪轨迹与所述目标跟踪轨迹在所述点云和/或所述图像中的预测目标关联。

在一种可能的设计中，所述处理单元802对于未匹配到所述第二目标的所述目标跟踪轨迹，将所述目标跟踪轨迹与所述目标跟踪轨迹在所述点云和/或所述图像中的预测目标关联之前，还用于当所述目标跟踪轨迹关联预测目标的次数大于或等于第一阈值时，删除所述目标跟踪轨迹。

在一种可能的设计中，所述目标特征包括以下中的一项或多项：位置、长宽高尺寸、速度、方向、类别、点云点数、点云各方向坐标数值分布、点云反射强度分布、外观特征、深度特征。

在一种可能的设计中，所述获取单元803，还用于获取来自三维扫描设备的标定物点云和来自视觉传感器的标定物图像；

所述处理单元802，还用于根据标定物中多个标定点在所述标定物点云中的三维坐标以及在所述标定物图像中的二维坐标，确定点云坐标系和图像坐标系的投影矩阵。

如图9所示，本申请实施例还提供一种目标检测装置900，如图9所示，目标检测装置900包括至少一个处理器902以及接口电路。进一步，所述装置还包括至少一个存储器901，所述至少一个存储器901和处理器902连接。所述接口电路用于为所述至少一个处理器提供数据和/或信息的输入输出。存储器901用于存储计算机执行指令，当目标检测装置900运行时，处理器902执行存储器901中存储的计算机执行指令，以使目标检测装置900实现上述目标检测方法，具体目标检测方法的实现可参考上文及其附图的相关描述，在此不做赘述。

作为本实施例的另一种形式，提供一种计算机可读存储介质，其上存储有程序或指令，该程序或指令被执行时可以执行上述方法实施例中的目标检测方法。

作为本实施例的另一种形式，提供一种包含指令的计算机程序产品，该指令被执行时可以执行上述方法实施例中的目标检测方法。

作为本实施例的另一种形式，提供一种芯片，所述芯片可以与存储器耦合，用于调用存储器中存储的计算机程序产品，以实现上述方法实施例中的目标检测方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (19)

1.一种目标检测方法，其特征在于，包括：

获取来自三维扫描设备的点云和来自视觉传感器的图像；

将所述点云和至少一个目标跟踪轨迹在所述点云中预测目标的三维空间位置输入到目标检测模型进行处理，得到至少一个第一目标的三维空间位置；

根据所述至少一个第一目标的三维空间位置在所述图像中的投影和所述至少一个目标跟踪轨迹在所述图像中预测目标的二维空间位置，确定所述图像中至少一个第二目标的二维空间位置；

根据所述至少一个第二目标的二维空间位置在所述点云中的投影，确定所述点云中所述至少一个第二目标的三维空间位置。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述至少一个目标跟踪轨迹对应的目标特征以及所述至少一个第二目标的目标特征，对所述至少一个目标跟踪轨迹和所述至少一个第二目标进行匹配；

将匹配的所述目标跟踪轨迹和所述第二目标关联。

3.如权利要求2所述的方法，其特征在于，所述方法还包括：

对于未匹配到所述目标跟踪轨迹的所述第二目标，建立所述第二目标对应的目标跟踪轨迹。

4.如权利要求2或3所述的方法，其特征在于，所述方法还包括：

对于未匹配到所述第二目标的所述目标跟踪轨迹，将所述目标跟踪轨迹与所述目标跟踪轨迹在所述点云和/或所述图像中的预测目标关联。

5.如权利要求4所述的方法，其特征在于，所述对于未匹配到所述第二目标的所述目标跟踪轨迹，将所述目标跟踪轨迹与所述目标跟踪轨迹在所述点云和/或所述图像中的预测目标关联之前，所述方法还包括：

当所述目标跟踪轨迹关联预测目标的次数大于或等于第一阈值时，删除所述目标跟踪轨迹。

6.如权利要求2-5中任一项所述的方法，其特征在于，所述目标特征包括以下中的一项或多项：

位置、尺寸、速度、方向、类别、点云点数、点云各方向坐标数值分布、点云反射强度分布、外观特征、深度特征。

7.如权利要求1-6中任一项所述的方法，其特征在于，所述方法还包括：

获取来自三维扫描设备的标定物点云和来自视觉传感器的标定物图像；

根据标定物中多个标定点在所述标定物点云中的三维坐标以及在所述标定物图像中的二维坐标，确定点云坐标系和图像坐标系的投影矩阵。

8.一种目标检测装置，其特征在于，包括：

获取单元，用于获取来自三维扫描设备的点云和来自视觉传感器的图像；

处理单元，用于将所述点云和至少一个目标跟踪轨迹在所述点云中预测目标的三维空间位置输入到目标检测模型进行处理，得到至少一个第一目标的三维空间位置；

所述处理单元，还用于根据所述至少一个第一目标的三维空间位置在所述图像中的投影和所述至少一个目标跟踪轨迹在所述图像中预测目标的二维空间位置，确定所述图像中至少一个第二目标的二维空间位置；

所述处理单元，还用于根据所述至少一个第二目标的二维空间位置在所述点云中的投影，确定所述点云中所述至少一个第二目标的三维空间位置。

9.如权利要求8所述的装置，其特征在于，所述处理单元，还用于根据所述至少一个目标跟踪轨迹对应的目标特征以及所述至少一个第二目标的目标特征，对所述至少一个目标跟踪轨迹和所述至少一个第二目标进行匹配；将匹配的所述目标跟踪轨迹和所述第二目标关联。

10.如权利要求9所述的装置，其特征在于，所述处理单元，还用于对于未匹配到所述目标跟踪轨迹的所述第二目标，建立所述第二目标对应的目标跟踪轨迹。

11.如权利要求9或10所述的装置，其特征在于，所述处理单元，还用于对于未匹配到所述第二目标的所述目标跟踪轨迹，将所述目标跟踪轨迹与所述目标跟踪轨迹在所述点云和/或所述图像中的预测目标关联。

12.如权利要求11所述的装置，其特征在于，所述处理单元对于未匹配到所述第二目标的所述目标跟踪轨迹，将所述目标跟踪轨迹与所述目标跟踪轨迹在所述点云和/或所述图像中的预测目标关联之前，还用于当所述目标跟踪轨迹关联预测目标的次数大于或等于第一阈值时，删除所述目标跟踪轨迹。

13.如权利要求9-12中任一项所述的装置，其特征在于，所述目标特征包括以下中的一项或多项：位置、尺寸、速度、方向、类别、点云点数、点云各方向坐标数值分布、点云反射强度分布、外观特征、深度特征。

14.如权利要求8-13中任一项所述的装置，其特征在于，所述获取单元，还用于获取来自三维扫描设备的标定物点云和来自视觉传感器的标定物图像；

所述处理单元，还用于根据标定物中多个标定点在所述标定物点云中的三维坐标以及在所述标定物图像中的二维坐标，确定点云坐标系和图像坐标系的投影矩阵。

15.一种目标检测装置，其特征在于，包括至少一个处理器和接口；

所述至少一个处理器用于从所述接口调用并运行计算机程序，当所述至少一个处理器执行所述计算机程序时，实现如权利要求1-7中任一项所述的方法。

16.一种芯片系统，其特征在于，所述芯片系统包括：至少一个处理器和接口；

所述至少一个处理器用于从所述接口调用并运行计算机程序，当所述至少一个处理器执行所述计算机程序时，实现如权利要求1-7中任一项所述的方法。

17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序被计算机执行时，使得所述计算机执行如权利要求1-7中任一项所述的方法。

18.一种终端，其特征在于，所述终端包括如权利要求8-14中任一项所述的目标检测装置。

19.如权利要求18所述的终端，其特征在于，所述终端为车辆、无人机或机器人。

Images