CN113261010A - 基于对象轨迹的用于跨域对应的多模态传感器融合方法 - Google Patents

Abstract

一种用于计算多个传感器观测值之间的对应关系的系统包括：接口，用于基于源自捕获不同类型的信号的第一传感器和第二传感器的信号接收多个运动对象的第一时空数据集和第二时空数据集；处理电路，用于：分别基于所述第一时空数据集和所述第二时空数据集生成多个第一时空对象轨迹和多个第二时空对象轨迹；通过从相应域到预定域的相应映射，计算所述第一和第二时空对象轨迹之间的距离度量；采用距离度量来执行所述多个第一和第二时空对象轨迹的映射之间的匹配计算，以便计算第一和第二时空对象轨迹的每对映射之间的相似度，以及输出所述匹配计算的结果。

Description

基于对象轨迹的用于跨域对应的多模态传感器融合方法

背景技术

在本发明的一些实施例中，本发明涉及运动对象数据的多模态传感器融合，但非排他地，涉及用于由车辆传感器生成的运动对象数据的多模态传感器融合系统。

汽车应用中通常需要对车辆周围区域有清晰的感知。感知包括，例如，识别例如其它车辆和行人等运动对象，以及例如道路标志和碎片等静态对象。为了生成适当的感知，车辆配备有传感器，例如摄像机、无线探测与测距(雷达)和/或光探测与测距(激光雷达)传感器。先进的预警系统使用由传感器生成的信息来警告潜在的危险，而自主车辆控制系统则利用其来安全地操纵车辆。先进的预警系统需要实时运行，并在整合由不同传感器接收到的数据的同时，将运动对象的识别和分类错误减至最低。

发明内容

本发明的一些实施例的目标是提供一种用于运动对象数据的多模态传感器融合的系统和方法。

前述目标和其它目标通过独立权利要求的特征实现。从从属权利要求、说明书以及图式中可以明显看出另外的实施形式。

根据本发明的第一方面，一种用于计算场景的多个传感器观测值之间的对应关系的系统，其包括：接口，其用于接收场景中的多个运动对象的第一时空数据集和第二时空数据集，所述第一时空数据集和第二时空数据集基于从所述多个运动对象反射的信号，并且分别源自第一传感器和第二传感器，其中所述第一传感器和所述第二传感器捕获不同类型的信号；处理电路，其用于：分别基于所述第一时空数据集和所述第二时空数据集生成多个第一时空对象轨迹和多个第二时空对象轨迹；通过从相应域到预定域的相应映射，计算所述第一和第二时空对象轨迹之间的距离度量；在第一和第二时空对象轨迹中的每一个之间执行计算，并计算特征序列之间的欧几里得距离。

根据本发明的第二方面，一种用于计算场景的多个传感器观测值之间的对应关系的方法，其包括：接口，其用于接收场景中的多个运动对象的第一时空数据集和第二时空数据集，所述第一时空数据集和第二时空数据集基于从所述多个运动对象反射的信号，并且分别源自第一传感器和第二传感器，其中所述第一传感器和所述第二传感器捕获不同类型的信号；分别基于所述第一时空数据集和所述第二时空数据集生成多个第一时空对象轨迹和多个第二时空对象轨迹；为每个第一和第二时空对象轨迹计算从相应域到预定域的相应映射；采用距离度量来执行所述多个第一和第二时空对象轨迹的映射之间的匹配计算，以便计算第一和第二时空对象轨迹的每对映射之间的相似度，以及输出所述匹配计算的结果。

参考第一和第二方面，任选地，所述第一时空数据集源自摄像机传感器，例如，在许多车辆中，摄像机被安装在驾驶室的前面，以记录车辆前方的活动。

参考第一和第二方面，任选地，第二时空数据集源自无线探测与测距(雷达)和/或光探测与测距(激光雷达)传感器。雷达和/或激光雷达传感器在跟踪运动对象的位置和速度方面是广泛可用且有效的，并且可以补充摄像机传感器提供的跟踪信息。

参考第一和第二方面，任选地，匹配计算将轨迹配对，在所有可能的轨迹匹配组合中，使轨迹对之间的距离的总和最小化。确定哪些轨迹彼此匹配是一个计算上很困难且很复杂的问题。因此，使用优化方法是克服所述困难的有效方法。

参考第一和第二方面，任选地，预定域是包括根据源自摄像机传感器的第一时空轨迹的坐标系的域。当运动对象的速度相对容易估计且地形预期相对平坦时，此方法可为有益的，因为可以粗略估算从雷达/激光雷达域投影的对象高度。

参考第一和第二方面，任选地，方法还包括通过估计第一时空轨迹内的相应运动对象位置之间的差值，为与所述第一时空轨迹相关联的每个运动对象分配速度。可以通过例如光流等已知有效解决方案来实现估计运动对象的速度。

参考第一和第二方面，任选地，与第二时空数据集的轨迹相对应的每个运动对象的高度通过预定的常数来估算。如果预期地形相对平坦，例如道路或轨道，并且预期运动对象相似，例如汽车，则为每个运动对象分配相同的高度，这样的估算就很合适。

参考第一和第二方面，任选地，预定域是包括根据源自雷达和/或激光雷达传感器的第二时空轨迹的坐标系的域。由于摄像机深度信息可用于速度估计，并可提高匹配计算的准确性，因此可以利用此方法来解决如地形不平坦的问题。

参考第一和第二方面，任选地，相应映射使用在第一时空数据集中表示的每个运动对象的限界框表示，以便通过计算相应限界框的质心到车辆坐标的投影之间的相应差值来估计相应运动对象的速度。以所述方式估计速度简单而且计算效率高。

参考第一和第二方面，任选地，预定域包括潜在车辆坐标域，并且相应映射将第一时空运动对象轨迹和第二时空运动对象轨迹的配对的每个可能的组合映射到相应潜在状态中。基于潜在状态的方法可将雷达/激光雷达精确速度探测与精确摄像机空间探测组合在一起，以获得比相应域上的投影更稳定的匹配计算结果。

参考第一和第二方面，任选地，相应映射采用卡尔曼滤波器以便估计多个潜在状态。卡尔曼滤波器包括一组用于估计运动对象属性的有效的现有解决方案。

参考第一和第二方面，任选地，匹配计算包括：通过首先计算潜在状态的序列(轨迹)来估计两个轨迹与同一对象相对应的可能性，然后针对每个估计潜在状态：计算分别与第一和第二时空数据集相对应的第一和第二域中的投影。通过测量投影序列与实际观测到的信号轨迹之间的欧几里得距离，可以估算出可能性。例如，在具有已知协方差矩阵的高斯分布的假设下，通过以下方式计算多个第一和第二时空运动对象轨迹之间的匹配：计算使所有估计潜在状态的计算概率最大化的总和，并且在与计算出的总和中的相应潜在状态相对应的第一和第二时空运动对象轨迹之间进行匹配。一种计算潜在空间的有用方法是同时对两个数据集使用非线性卡尔曼滤波器，并任选地进行平滑处理。在计算出距离度量之后，可以将其用于匹配，例如通过最小化所有匹配轨迹之间的距离的总和。

在查阅以下图式和具体实施方式后，本公开的其它系统、方法、特征以及优点将对本领域的技术人员变得显而易见。旨在将所有此类另外的系统、方法、特征以及优点都包括在此描述内、在本公开的范围内，且受到所附权利要求书的保护。

除非另外定义，否则本文所使用的所有技术和/或科学术语都具有与本发明所涉及领域的技术人员通常所理解的相同的含义。下文描述示例性方法和/或材料，但与本文所述的方法和材料类似或等效的方法和材料也可以用于本发明的实施例的实践或测试中。倘若有冲突，将以包括定义的本专利说明书为准。另外，材料、方法和实例仅为说明性的且并不意图为必定限制性的。

附图说明

本文中仅借助于实例参考随附图式描述本发明的一些实施例。现特定详细地参考图式，强调细节以实例的方式且出于对本发明的实施例的说明性论述的目的示出。就此而言，结合图式进行的描述使如何实践本发明的实施例对所属领域的技术人员而言变得显而易见。

在图式中：

图1是根据本发明的一些实施例的用于运动对象数据的多模态传感器融合的系统的各个组件的示例性布局；

图2是根据本发明的一些实施例的用于运动对象数据的多模态传感器融合的进程的示例性数据流；

图3是根据本发明一些实施例的将时空轨迹映射到与摄像机域相对应的域上的进程的示例性数据流；

图4是根据本发明一些实施例的将时空轨迹映射到与雷达/激光雷达域相对应的域上的进程的示例性数据流；

图5是根据本发明的一些实施例的使用潜在状态模型来匹配时空轨迹的进程的数据流；

图6是根据本发明一些实施例的潜在状态的属性值和使用卡尔曼滤波器评估潜在状态的概率的更新函数的表；

图7是根据本发明的一些实施例的摄像机和雷达/激光雷达轨迹的示例性描绘，每条轨迹在相同场景的相应域中；以及

图8是本发明的实施例的应用的示例性描绘。

具体实施方式

在本发明一些实施例中，本发明涉及运动对象数据的多模态传感器融合，且更确切地说，但非排他地，涉及用于由车辆传感器生成的运动对象数据的多模态传感器融合系统。

根据本发明的一些实施例，提供了多模态传感器融合系统和方法，其中整合了从不同传感器生成的数据集，以便以组合方式向用户呈现数据。例如，系统和方法可以融合来自例如摄像机、一个或多个雷达和/或一个或多个激光雷达等传感器的时空流数据。

多模态传感器融合系统存在许多计算上的挑战，例如：克服归因于不同传感器的不同坐标系、不兼容的探测次数(例如，误报和漏报)、不同模态(例如，用于不同传感器的不同感测频率)之间的跨时间调准和噪音。克服这些计算上的挑战是很重要的，因为多模态传感器融合系统通常在时间紧迫和敏感的情况中使用，例如在用于预防车辆事故的预警系统中使用。

现有的多模态传感器融合解决方案表现出一些缺点，例如，在Wang、Xiao等人的《使用MMW雷达和monovision融合进行道路车辆探测和跟踪(On-road vehicle detectionand tracking using MMW radar and monovision fusion)》(IEEE智能交通系统汇刊17.7(2016):2075-2084)中，描述了一种通过使用轨迹融合雷达和图像模态的系统，但是，融合是在逐帧级别上执行的，并且轨迹仅用作额外的验证层。

在Lynen、Simon等人的《应用于MAV导航的稳固的模块化多传感器融合方法(Arobust and modular multi-sensor fusion approach applied to MAV navigation)》(智能机器人和系统(IROS)，2013IEEE/RSJ国际会议，IEEE,2013)中描述了一种系统，所述系统跨时间跟踪多个模态以获取比使用单个模态时更好的障碍物估计，但是未提供用于在模态之间匹配观测值的解决方案。

相反，本文所描述的《多模态传感器融合系统》通过时空轨迹之间的匹配而在不同模态之间进行匹配，因为时空轨迹是针对每一模态单独计算的，且接着输入到在完整轨迹之间进行匹配的匹配计算中。摄像机和雷达探测的轨迹之间的匹配可以提高鲁棒性，因为每条轨迹含有比单个摄像机帧更多的有关运动对象的信息。

另一可能的优点是通过脱机使用本文所描述的系统来辅助进行离线培训和评估，以便生成模态之间匹配的高质量估计。

以下是根据本发明的一些实施例的时空数据处理的数据流的简要说明。为了简洁起见，‘时空轨迹’在本文中可以被称为‘轨迹’，‘雷达和/或激光雷达’在本文中可以被称为‘雷达/激光雷达’，并且‘变量’和‘属性’在本文中可以互换使用。

所描述的系统中的每一个都包括用于执行代码的处理电路并且所描述的方法中的每一个都使用用于执行代码的处理电路来实施。处理电路可包括硬件和固件和/或软件。举例来说，处理电路可包括一个或多个处理器和连接到所述一个或多个处理器且携载代码的非暂时性介质。在由一个或多个处理器执行代码时，使系统进行本文所描述的操作。

例如，通过对预定数量的摄像机帧进行计数，并根据摄像机帧的预定数量对与时间间隔相对应的来自雷达/激光雷达的数据进行缓存，来缓存源自摄像机和/或雷达/激光雷达的时空数据。接下来，执行用于为每个传感器探测到的每个运动对象产生时空轨迹的代码。

接下来，对于每对时空轨迹，计算“距离”度量，以量化每对时空轨迹之间的相似度。任选地，轨迹由代码处理以便映射到预定域中。根据本发明的一些实施例，预定域可以包括根据源自摄像机传感器的数据的坐标系，或者，根据源自雷达/激光雷达传感器的数据的坐标系，或者，包括每个运动对象的一组位置、方向和速度属性的潜在时间域。

处理时空轨迹可以包括估计速度和/或估计相应运动对象的尺寸和/或高度。例如，摄像机通常会在与摄像机镜头位置和方向对应的视场中产生没有深度的二维数据，而雷达/激光雷达通常会根据雷达/激光雷达方向和车辆上的安装位置产生具有深度但没有高度的二维数据。此外，使用提供摄像机和雷达相对于自车中心(安装有摄像机和雷达的车辆的中心)的相对位置的校准矩阵以及摄像机投影属性(内部和外部属性)，以便对齐源自不同传感器的数据。

接下来，在估计相应运动对象的相应轨迹的速度和高度，并对坐标进行对准之后，对映射的轨迹执行轨迹匹配计算，以便结合两个相应轨迹来识别每个运动对象。任选地，匹配计算使用欧几里得距离度量，并且使用此度量来进行轨迹之间的匹配，例如通过使所有可能的轨迹匹配组合中的配对之间的距离的总和最小化，这可通过应用优化算法来进行。

根据本发明的一些实施例，其中将潜在时间域用作映射轨迹的预定域，针对用作潜在模型的两种类型的观测值的每一对摄像机和雷达/激光雷达轨迹估计潜在状态，并且假定一个统计模型将其与潜在状态变量相关联。在匹配计算中，采用统计模型来匹配轨迹，所述轨迹的联合潜在状态具有源自单个运动对象的高概率。

在匹配计算之后，将匹配的结果输出到相应组件，例如一个或多个车辆控制器和/或一个或多个输出显示器。

在详细解释本发明的至少一个实施例之前，应理解，本发明在其申请中不必限于在以下描述中阐述和/或在图式和/或实例中所说明的组件和/或方法的构造以及布置的细节。本发明能够具有其它实施例或能够以各种方式实践或进行。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可包括一个或多个计算机可读存储介质，其上具有计算机可读程序指令以使处理器进行本发明的各方面。

计算机可读存储介质可以是能够保持和存储供指令执行装置使用的指令的有形设备。计算机可读存储介质可以是例如但不限于：电子存储设备、磁性存储设备、光学存储设备、电磁存储设备、半导体存储设备或前述各项的任何合适组合。

本文所描述的计算机可读程序指令可以从计算机可读存储介质下载到相应计算/处理设备或通过网络(例如，因特网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。

计算机可读程序指令可完全在用户的计算机上执行、部分地在用户的计算机上执行、作为独立软件包执行、部分地在用户的计算机上且部分地在远程计算机上执行，或完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过包括局域网(localarea network，LAN)或广域网(wide area network，WAN)的任何类型的网络而连接到用户的计算机，或者可以对外部计算机进行连接(例如，使用因特网服务提供方通过因特网连接)。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(field-programmablegate array，FPGA)或可编程逻辑阵列(programmable logic array，PLA)的电子电路可以通过利用计算机可读程序指令的状态信息将电子电路个人化而执行计算机可读程序指令，以便执行本发明的各方面。

本文参看根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图说明和/或框图来描述本发明的各方面。应理解，流程图说明和/或框图的每个框，以及流程图说明和/或框图中的框的组合可以由计算机可读程序指令实施。

图中的流程图和框图说明根据本发明的各种实施例的系统、方法和计算机程序产品的可能实施方案的架构、功能性和工序。就此而言，流程图或框图中的每个框可以表示模块、区段或指令的部分，其包括用于实施指定逻辑功能的一个或多个可执行指令。在一些替代实施方案中，各个框中提及的功能可以不按图中所提及的次序发生。举例来说，根据所涉及的功能性，连续示出的两个框实际上可以大体上同时执行，或这些框有时可以相反次序执行。还应注意，框图和/或流程图说明中的每个框，以及框图和/或流程图说明中的框的组合可以通过专用的基于硬件的系统实施，所述系统执行指定功能或动作，或实行专用硬件和计算机指令的组合。

现在参看图1，其是根据本发明的一些实施例的在多模态传感器融合系统100中的系统组件和相关的车辆组件的描绘。根据本发明的一些实施例，系统100用于多模态传感器融合，其中时空传感器102由摄像机和雷达/激光雷达组成。例如，系统100可以作为预警机制的一部分集成在车辆中，由驾驶员通过抬头显示(HUD)访问，以便向驾驶员呈现融合传感器信息流，例如运动对象的速度、方向和高亮显示的指示，这有助于驾驶员缩短在有与碎片、行人和其它车辆相撞的危险时的反应时间。或者，系统100可以向负责自主驾驶车辆的车辆控制器呈现关于车辆前方的运动对象的融合数据，使得车辆控制器可基于运动对象融合数据决定关于车辆导航的动作。

I/O接口104从时空传感器102接收原始时空数据，随后由一个或多个处理器108执行存储于存储器106中的代码，并由所述代码对原始时空数据进行处理。代码含有用于运动对象数据的多模态传感器融合的进程的指令，方法是根据预定的数据采样标准从原始时空数据生成时空轨迹，并在不同模态上匹配生成的时空轨迹，例如，将摄像机轨迹与雷达/激光雷达轨迹进行匹配。

时空轨迹的匹配结果是由执行代码指令的一个或多个处理器通过I/O接口104输出，而输出可以定向到输出显示器110和/或控制器112。例如，如果使用系统的车辆由驾驶员控制，则输出可以定向到输出显示器110，而如果车辆由控制器112自主地控制，则控制器112可利用所述输出进行避障和路线规划。

现在参看图2，其是根据本发明的一些实施例的用于运动对象数据的多模态传感器融合的进程的示例性数据流。首先，如在200和202处所示，接收原始摄像机和雷达/激光雷达数据，例如，以一定速率接收摄像机帧数据作为数据流，且/或以一定频率接收雷达/激光雷达探测。

接下来，如204和206所示，针对预定义的采样速率检查所接收的原始数据，所述预定义的采样速率对于摄像机和/或雷达/激光雷达传感器可能有所不同。预定义的采样速率可以是例如预定义数量的秒、预定义数量的摄像机帧和/或预定义次数的雷达/激光雷达探测。如果达到所述采样速率，则如208所示，每个原始数据流都会生成时空轨迹。时空轨迹是由在时间上的扩展对象跟踪进程生成的。根据本发明的一些实施例，使用卡尔曼跟踪进程以便跟踪和生成时空轨迹。

接下来，如210所示，将所生成的时空轨迹映射到预定域上。分别用X,Y,Z水平、垂直和深度轴线表示，然后雷达/激光雷达域描述XZ平面中的运动对象，并包括每个运动对象的速度，而摄像机域描述XY平面中的运动对象。此外，根据传感器相对于自车中心的位置，可使用校准矩阵以便对齐源自不同传感器的轨迹。

任选地，预定域可包括与摄像机域或雷达/激光雷达域相对应的域，或者，可包括潜在时间域，而对于本发明的不同实施例，预定域的每一选择相比于其它选择可表现出某些优点/缺点。例如，将时空轨迹映射到潜在时间域上可以增加轨迹匹配的准确性，但也可能增加计算复杂性。

接下来，如212所示，在将时空轨迹映射到预定域上之后，在所映射的时空轨迹之间执行匹配计算，以便在与相同运动对象相对应的轨迹之间进行匹配。通过使用预定义的距离度量，例如使用欧几里得距离，来执行匹配计算，并且通过应用优化算法来最小化距离的总和，例如，可使用Kuhn-Munkres(“匈牙利”)算法来选择匹配(即所有配对的子集，其中每条轨迹最多出现一次)，从而最小化距离的总和。

接下来，如214所示，输出匹配计算的结果。可以通过I/O接口104将匹配轨迹输出到输出显示器110和/或控制器112。

同样参考图3，其是根据本发明的一些实施例的将时空轨迹映射到与摄像机域相对应的域上的进程的示例性数据流，如208所描绘。在生成时空轨迹之后，如206所示，分别接收摄像机和雷达/激光雷达轨迹，如300和302所示。接下来，如304所示，对于在XY坐标中给出的每条摄像机轨迹，都将估算速度。任选地，通过对象边界内部的平均光流来估计速度。光流是由对象或摄像机的运动引起的图像对象在两个连续帧之间的表观运动的模式。计算光流的方式有很多，从视觉处理算法(例如，Lucas-Kanade方法)到深度神经网络(例如，使用FlowNet 2.0)。光流算法输出通常包括图像像素的摄像机域中的运动向量。对象边界内部的平均光流提供了投影到摄像机平面的对象运动的估计。可以将在摄像机轨迹上计算出的一系列速度估计值与基于限界框的速度计算值进行加权求和，以获得更可靠的估计值。可以使用机器学习技术从样本训练数据集中学习加权求和中权重的精确值。

如306所示，每个运动对象估算的高度与在XZ坐标中给出的雷达/激光雷达轨迹相对应。任选地，每个雷达/激光雷达轨迹都分配有预定义的相同高度，例如，一米的高度。接下来，如308所示，将雷达/激光雷达轨迹连同其所分配的高度映射到摄像机域上，任选地使用校准矩阵进行坐标调准。最后，如310所示，将映射的时空轨迹输出，以供映射计算210进一步处理。

同样参考图4，其是根据本发明的一些实施例的将时空轨迹映射到与雷达/激光雷达域相对应的域上的进程的示例性数据流，如208所描绘。首先，如400所示，进程接收摄像机轨迹。接下来，如402所示，对于每条摄像机轨迹，检索二维空间限界框的时间序列，其中每个限界框与相应摄像机帧中的相应运动对象相对应。根据本发明的一些实施例，通过应用预定义的摄像机对象探测算法来检索限界框。接下来，如404所示，对于每条摄像机轨迹，估计相应运动对象速度。可以如针对304所解释的类似方式估计速度，或任选地，包括基于限界框的计算。接下来，如406所示，使用坐标校准矩阵将摄像机轨迹映射到雷达/激光雷达域上。最后，如408所示，将映射的摄像机和雷达/激光雷达轨迹输出，以供映射计算210进一步处理。

接下来，同样参考图5，其是根据本发明的一些实施例的使用潜在状态模型来匹配时空轨迹的进程的示例性数据流，与208和210有关。首先，如500所示，在206中生成轨迹之后，进程接收时空轨迹。接下来，如502所示，针对摄像机和雷达/激光雷达轨迹的配对的每个可能的组合来估计潜在状态。每条时空轨迹可分配有数字索引以供参考，并且可以根据升序索引来执行轨迹的配对。

任选地，采用具有平滑的非线性双模型卡尔曼滤波器估计潜在状态，并将其用作观测值，以用于在潜伏状态下使用的相应轨迹对中的每条相应轨迹进行相应限界框和相应雷达/激光雷达探测的估计。

每个潜在状态含有属性(x,y,z,V(x),V(y),A(x),A(y),h,w)，分别包括：在自车运动的轴线上距自车的距离、在正交于运动的轴线上的位置、速度X分量、速度Y分量、加速度X分量、加速度Y分量、在面向自车的平面中的对象高度以及面向自车的平面中的对象宽度。在图6中描绘卡尔曼滤波器所采用的属性值和更新函数的示例性细节。

接下来，如504所示，对于每个估计的潜在状态，将映射执行到摄像机域和雷达/激光雷达域中。映射的目的是针对每个映射来估计如506所示的条件概率，在给出相应映射的情况下，其表示相应潜在状态与由时空传感器探测到的运动对象相对应的事件。例如，摄像机观测值预处理为由摄像机域中的左上值和右下值表征的限界框。给出潜在状态，通过将从潜在状态得出的值投影到摄像机域上，可以计算出具有左上值和右下值的摄像机观测值。接下来，评估与所观测到的摄像机属性的差，并且计算具有预定方差的高斯密度函数的乘积(如图6中详细描述)。

接下来，求和与相应潜在状态相对应的两个条件概率，并且将所得总和指定为摄像机和雷达/激光雷达轨迹的相应配对之间的距离。

接下来，如508所示，检查是否存在任何未映射的摄像机和雷达/激光雷达轨迹的配对，且如果存在，则在502处继续选择轨迹的配对。

在完成配对轨迹并计算每对的条件概率后，如510所示，生成概率矩阵P_i,j，其中P(i,j)等于506中估计的条件概率，即具有分配索引i的相应摄像机轨迹和具有分配索引j的相应雷达/激光雷达轨迹源自相同对象的观测值。

接下来，如512所示，通过最大化P(i,j)中的概率的总和，使得P(i,j)的每一行和每一列中最多选择一个条目，来匹配摄像机和雷达/激光雷达轨迹。根据本发明的一些实施例，通过使用Kuhn-Munkres(“匈牙利”)算法来执行匹配。接下来，如514所示，将匹配轨迹输出到212。

现在参看图6，其是根据本发明一些实施例的潜在状态的属性值和使用卡尔曼滤波器评估潜在状态的概率的更新函数的表；

如600所示，每个潜在状态属性均分配有初始值，所述初始值可以根据实验确定。如602所示，每个属性分配有初始概率，其中卡尔曼滤波器以标准方式使用初始概率，其中VarForDeltaAndP(delta,p)表示满足Pr[|X-mean|<delta]＝p的方差，其中X以正态分布N(mean,Var)分布。

现在参看图7，其描绘根据本发明的一些实施例的摄像机和雷达/激光雷达轨迹，每条轨迹在同一场景的相应域中。如700所示，显示摄像机帧，其展示车辆前方的汽车。如700所示，每辆汽车都由一个限界框包围，且运动中的汽车的摄像机轨迹以点序列的形式映射到帧上，表示在多个时间帧上的汽车探测。如702所示，显示源自雷达数据的轨迹，其中圆锥体表示车辆前方的雷达传感器的边界。雷达轨迹对应于与700中的摄像机轨迹相同的时间间隔。在704和706中演示了潜在状态模型的应用，其中两个由椭球形标记的轨迹分别在相应域中匹配为源自同一辆汽车。

现在参看图8，其描绘本发明的实施例的示例性应用。如800所示，摄像机帧为每辆汽车显示相应限界框和估计距离，这是通过匹配相应轨迹将摄像机和雷达数据融合而得出的。例如，摄像机显示器可以是指定用于驾驶员的HUD，以便警告驾驶员任何潜在的危险，例如周围汽车方向的突然变化。

在查阅以下图式和具体实施方式后，本公开的其它系统、方法、特征以及优点将对本领域的技术人员是显而易见的或变得显而易见。旨在将所有此类另外的系统、方法、特征以及优点都包括在此描述内、在本公开的范围内，且受到所附权利要求书的保护。

已出于说明的目的呈现本发明的各种实施例的描述，但所述描述并不意图为穷尽性的或限于所公开的实施例。在不脱离所描述实施例的范围和精神的情况下，对本领域的技术人员而言多个修改和变化将是显而易见的。选择本文中所使用的术语以最好地解释实施例的原理、实际应用或对市场中发现的技术的技术改进，或使所属领域的一般技术人员能够理解本文所公开的实施例。

预期在本申请到期的专利有效期内，将开发出许多相关系统、方法和计算机程序，且术语传感器融合的范围意图先验地包括所有此类新技术。

本文所使用的术语“约”是指±10％。

术语“包括(comprises/comprising)”、“包括(includes/including)”、“具有(having)”以及其共轭物意指“包括但不限于”。这个术语涵盖术语“由……组成”和“主要由……组成”。

短语“基本上由……组成”意指组合物或方法可以包括额外成分和/或步骤，但前提是所述额外成分和/或步骤不会实质上改变所要求的组合物或方法的基本和新颖特性。

除非上下文另外明确指出，否则如本文中所使用，单数形式“一(a、an)”和“所述”包括多个参考物。例如，术语“化合物”或“至少一个化合物”可以包括多个化合物，包括其混合物。

本文中使用的词语“示例性”意指“充当实例、例子或说明”。描述为“示例性”的任何实施例不一定解释为比其它实施例优选或有利，和/或并不排除来自其它实施例的特征的并入。

本文中使用词语“任选地”意指“在一些实施例中提供且在其它实施例中不提供”。本发明的任何特定实施例皆可包括多个“任选”特征，除非此类特征相矛盾。

本申请中，本发明的各种实施例可以以范围格式呈现。应理解，范围格式的描述仅为了方便和简洁起见，并且不应该被解释为对本发明范围的固定限制。因此，范围的描述应被认为是已经具体地公开所有可能的子范围以及所述范围内的个别数值。举例来说，例如1到6的范围描述应被视为已经具体地公开了例如1到3、1到4、1到5、2到4、2到6、3到6等的子范围，以及所述范围内的个别数字，例如1、2、3、4、5和6。不管范围的广度如何，这都适用。

本文中每当指示数字范围时，其意味着包括所指示范围内的任何引用数字(分数或整数)。短语“在第一指示数字与第二指示数字之间的范围变化/范围”以及“从第一指示数字到第二指示数字的范围变化/范围”在本文中互换使用并且意图包括第一指示数字和第二指示数字以及其间的所有分数和整数数字。

应了解，为了清晰起见在分开的实施例的上下文中描述的本发明的某些特征还可以以组合形式提供于单个实施例中。相反，本发明出于简洁的目的在单个实施例的情形中描述的各个特征还可以单独地或以任何合适的子组合提供或在本发明的任何其它描述的实施例中提供为合适的。在各种实施例的上下文中描述的某些特征并非被认为是那些实施例的基本特征，除非所述实施例在不具有那些元件的情况下不起作用。

本说明书中所提及的所有公开案、专利和专利申请在此以全文引用的方式并入本说明书中，同样，每个单独的公开案、专利或专利申请也具体且单独地指示以引用的方式并入本文中。此外，本申请中对任何参考文件的引用或鉴别不应理解为承认该参考文件可被用作本发明的现有技术。在使用章节标题的情况下，它们不应被解释为必定限制性的。

Claims (13)

1.一种用于计算场景的多个传感器观测值之间的对应关系的系统，其特征在于，所述系统包括：

接口，用于接收场景中的多个运动对象的第一时空数据集和第二时空数据集，其中，所述第一时空数据集和第二时空数据集基于从所述多个运动对象反射的信号，并且分别源自第一传感器和第二传感器，所述第一传感器和所述第二传感器捕获不同类型的信号；

处理电路，用于：

分别基于所述第一时空数据集和所述第二时空数据集生成多个第一时空对象轨迹和多个第二时空对象轨迹；

通过从相应域到预定域的相应映射，计算所述第一和第二时空对象轨迹之间的距离度量；

采用距离度量来执行所述多个第一和第二时空对象轨迹的映射之间的匹配计算，以便计算第一和第二时空对象轨迹的每对映射之间的相似度，以及

输出所述匹配计算的结果。

2.根据权利要求1所述的系统，其特征在于，所述第一时空数据集源自摄像机传感器。

3.根据权利要求1所述的系统，其特征在于，所述第二时空数据集源自无线探测与测距(雷达)和/或光探测与测距(激光雷达)传感器。

4.根据权利要求3所述的系统，其特征在于，所述匹配计算将轨迹配对，在所有可能的轨迹匹配组合中，使轨迹对之间的距离的总和最小化。

5.根据权利要求4所述的系统，其特征在于，所述预定域是包括根据源自所述摄像机传感器的所述第一时空轨迹的坐标系的域。

6.根据权利要求5所述的系统，其特征在于，所述系统还包括：通过估计第一时空轨迹内的相应运动对象位置之间的差值，为与所述第一时空轨迹相关联的每个运动对象分配速度。

7.根据权利要求6所述的系统，其特征在于，与所述第二时空数据集的轨迹相对应的每个运动对象的高度通过预定常数来估计。

8.根据权利要求4所述的系统，其特征在于，所述预定域是包括根据源自所述雷达和/或激光雷达传感器的所述第二时空轨迹的坐标系的域。

9.根据权利要求8所述的系统，其特征在于，相应映射使用在所述第一时空数据集中表示的每个运动对象的限界框表示，以便通过计算相应限界框的质心之间的相应差值来估计相应运动对象的速度。

10.根据权利要求4所述的系统，其特征在于，所述预定域包括潜在时间域，并且相应映射将成对第一和第二时空运动对象轨迹的每个可能组合映射到多个潜在状态中的相应潜在状态。

11.根据权利要求10所述的系统，其特征在于，相应映射采用卡尔曼(kalman)滤波器以便估计所述多个潜在状态。

12.根据权利要求11所述的系统，其特征在于，所述匹配计算包括：

针对每个估计潜在状态：

计算分别与所述第一和第二时空数据集相对应的第一和第二域中的相应投影；

基于相应投影计算相应的一对第一和第二时空运动对象轨迹源自同一运动对象的概率；通过以下操作在所述多个第一和第二时空运动对象轨迹之间进行匹配：

计算使所有估计潜在状态的计算概率最大化的总和，

在与计算出的总和中的相应潜在状态相对应的第一和第二时空运动对象轨迹之间进行匹配。

13.一种用于计算场景的多个传感器观测值之间的对应关系的方法，其特征在于，所述方法包括：

接收场景中的多个运动对象的第一时空数据集和第二时空数据集，其中，所述第一时空数据集和第二时空数据集基于从所述多个运动对象反射的信号，并且分别源自第一传感器和第二传感器，所述第一传感器和所述第二传感器捕获不同类型的信号；

分别基于所述第一时空数据集和所述第二时空数据集生成多个第一时空对象轨迹和多个第二时空对象轨迹；

通过从相应域到预定域的相应映射，计算所述第一和第二时空对象轨迹之间的距离度量；

采用距离度量来执行所述多个第一和第二时空对象轨迹的映射之间的匹配计算，以便计算第一和第二时空对象轨迹的每对映射之间的相似度，以及

输出所述匹配计算的结果。

Images