CN108446622A - 目标物体的检测跟踪方法及装置、终端 - Google Patents

Abstract

本发明揭示了一种目标物体的检测跟踪方法及装置、终端，该方案包括：获取待测场景的当前视差图像，在当前视差图像中进行目标物体检测，确定当前视差图像中目标物体的候选区域；根据候选区域在当前视差图像中所处位置，获取当前视差图像中候选区域的特征信息；根据历史视差图像中目标物体的特征信息，获得当前视差图像中目标物体的特征预测信息；将候选区域的特征信息和目标物体的特征预测信息进行相似度匹配，根据相似度匹配结果确定目标物体在当前视差图像中的目标区域，得到目标物体的跟踪结果。本发明提供的技术方案降低了由于单帧视差图像中存在的误检情况，利用了多帧连续图像的相互关联性，从而提高了目标物体检测的准确性。

Description

目标物体的检测跟踪方法及装置、终端

技术领域

本发明涉及安全驾驶技术领域，特别涉及一种目标物体的检测跟踪方法及装置、终端。

背景技术

在传统的基于双目立体视觉的辅助驾驶应用中，障碍物检测是一个非常重要的技术环节，该技术主要用于检测汽车前进方向上潜在的障碍物，并通过提醒的方式为司机在驾驶过程中提供辅助信息，在司机疏忽或者注意力不集中的情况下，提升车辆行驶的安全性。

现有技术基于单目相机所采集的光学图像的障碍物检测和跟踪算法，在特定场景下对某一类或者几类外观较为统一的物体检测效果不错，但是在出现局部遮挡的情况下效果较差，检测率低，并且很难对障碍物所在的位置进行有效定位。

在常规的基于光学图像的障碍物检测中，主流算法是通过对某一类或者几类外观较为统一的物体检测(例如行人或者车辆等)，所使用的方法是通过机器学习算法对该类物体的批量正负样本进行模型的训练，然后通过训练好的模型在新图像中基于滑动窗口进行行人或车辆的判断。如果将上述策略用于行人检测并配以特定的跟踪策略，则可以有效的跟踪到监控区域内的行人。然而这一类算法的局限性非常大，对障碍物的类别泛化能力差。面对没有训练过或者外观差异较大的障碍物，检测率相当低，不能有效的应用到辅助驾驶的障碍物检测中，或者仅仅能够对特定目标进行预警。

综上，现有的障碍物检测方法中，经常会出现误检、漏检和物体前后帧之间显示的检测窗口跳动的现象，检测准确性不高。

发明内容

为了解决现有技术碍物检测方法中检测准确性不高的问题，本发明提供了一种目标物体的检测跟踪方法。

一方面，本发明提供了一种目标物体的检测跟踪方法，包括：

获取待测场景的当前视差图像，在所述当前视差图像中进行目标物体检测，确定所述当前视差图像中目标物体的候选区域；

根据所述候选区域在当前视差图像中所处位置，获取所述当前视差图像中候选区域的特征信息；

根据历史视差图像中目标物体的特征信息，获得当前视差图像中目标物体的特征预测信息；

将所述候选区域的特征信息和所述目标物体的特征预测信息进行相似度匹配，根据相似度匹配结果确定所述目标物体在当前视差图像中的目标区域，得到所述目标物体的跟踪结果。

在一种示例性实施例中，所述特征信息包括位置信息、尺寸信息以及色彩信息；根据所述候选区域在当前视差图像中所处位置，获取所述当前视差图像中候选区域的特征信息，包括：

根据所述候选区域在当前视差图像中所处位置，确定所述候选区域所属障碍物在三维空间中的位置信息以及所述候选区域在当前视差图像所属双目图像中的色彩信息；

根据所述候选区域所属障碍物在三维空间中的位置信息，获得所述候选区域所属障碍物的尺寸信息。

在一种示例性实施例中，根据历史视差图像中目标物体的特征信息，获得当前视差图像中目标物体的特征预测信息，包括：

根据历史视差图像中目标物体的位置信息、尺寸信息以及色彩信息，计算所述目标物体在当前视差图像中的位置预测信息、尺寸预测信息和色彩预测信息。

在一种示例性实施例中，根据历史视差图像中目标物体的位置信息、尺寸信息以及色彩信息，计算所述目标物体在当前视差图像中的位置预测信息、尺寸预测信息和色彩预测信息，包括：

根据所述历史视差图像中目标物体的位置信息，计算所述目标物体的运动速度和加速度；

根据当前视差图像的前一帧视差图像中目标物体的位置信息，以及所述运动速度和加速度，计算所述目标物体在当前视差图像中的位置预测信息。

在一种示例性实施例中，根据历史视差图像中目标物体的位置信息、尺寸信息以及色彩信息，计算所述目标物体在当前视差图像中的位置预测信息、尺寸预测信息和色彩预测信息，包括：

根据所述历史视差图像中目标物体的尺寸信息，计算所述目标物体的尺寸均值；

删除与所述尺寸均值之间的差异大于阈值的尺寸信息，重新计算剩余尺寸信息的尺寸均值，得到所述目标物体的在当前视差图像中的尺寸预测信息。

在一种示例性实施例中，将所述候选区域的特征信息和所述目标物体的特征预测信息进行相似度匹配，根据相似度匹配结果确定所述目标物体在当前视差图像中的目标区域，得到所述目标物体的跟踪结果，包括：

将所述候选区域所述障碍物的位置信息、尺寸信息以及色彩信息，与所述目标物体的位置预测信息、尺寸预测信息和色彩预测信息进行相似度对比，获得与所述目标物体之间相似度最高的候选区域；

根据与所述目标物体之间相似度最高的候选区域，确定所述当前视差图像中目标物体的目标区域，得到所述目标物体的跟踪结果。

在一种示例性实施例中，将所述候选区域的特征信息和所述目标物体的特征预测信息进行相似度匹配，根据相似度匹配结果确定所述目标物体在当前视差图像中的目标区域，得到所述目标物体的跟踪结果，包括：

根据相似度匹配结果，若得到当前视差图像中不存在与所述目标物体的特征预测信息匹配的候选区域，则继续判断后续多帧视差图像中是否存在与所述目标物体的特征预测信息匹配的候选区域；

若后续多帧均不存在与所述目标物体的特征预测信息匹配的候选区域，则停止所述目标物体的检测跟踪。

在一种示例性实施例中，将所述候选区域的特征信息和所述目标物体的特征预测信息进行相似度匹配，根据相似度匹配结果确定所述目标物体在当前视差图像中的目标区域，得到所述目标物体的跟踪结果包括：

根据所述目标物体在当前视差图像中的目标区域，获得所述目标区域的特征信息；

根据所述目标区域的特征信息与目标物体的特征预测信息，优化当前视差图像中目标物体的特征信息。

另一方面，本发明还提供了一种目标物体的检测跟踪装置，包括：

候选区域确定模块，用于获取待测场景的当前视差图像，在所述当前视差图像中进行目标物体检测，确定所述当前视差图像中目标物体的候选区域；

特征信息获取模块，用于根据所述候选区域在当前视差图像中所处位置，获取所述当前视差图像中候选区域的特征信息；

预测信息获得模块，用于根据历史视差图像中目标物体的特征信息，获得当前视差图像中目标物体的特征预测信息；

相似度匹配模块，用于将所述候选区域的特征信息和所述目标物体的特征预测信息进行相似度匹配，根据相似度匹配结果确定所述目标物体在当前视差图像中的目标区域，得到所述目标物体的跟踪结果。

进一步的，本发明还提供了一种终端，所述终端包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述任意一种目标物体的检测跟踪方法。

本发明的实施例提供的技术方案可以包括以下有益效果：

本发明基于历史视差图中目标物体的特征信息，获得当前视差图像中目标物体的特征预测信息，并通过对当前视差图像中可能存在的目标物体进行检测，将目标物体候选区域的特征信息与特征预测信息进行匹配和关联，得到当前视差图像中较为精准的目标物体所处区域，从而可以为辅助驾驶提供更可靠的提示信息。本发明利用了多帧连续视差图像的相互关联性，根据历史视差图像中目标物体的特征信息以及当前视差图像中候选区域的特征信息，综合得到当前视差图像中目标物体所处区域，解决了现有技术只基于单帧视差图像进行目标物体检测存在的误检问题，减少了由于误检造成的误报警次数，提升了辅助驾驶过程中障碍物检测的准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。

图1是根据本发明所涉及的实施环境的示意图；

图2是根据一示例性实施例示出的一种车载终端的框图；

图3是根据一示例性实施例示出的一种目标物体的检测跟踪方法的流程图；

图4是根据一示例性实施例示出的基于视差图像进行目标物体检测的效果图；

图5是图3对应实施例的步骤320的细节流程图；

图6是根据一示例性实施例示出的两个行人在多帧图像中的色彩差异对比示意图；

图7是在图3对应实施例的基础上另一示例性实施例提出的目标物体的检测跟踪方法的流程图；

图8是根据一示例性实施例示出的特定目标的位置预测示意图；

图9是在图3对应实施例的基础上又一示例性实施例提出的目标物体的检测跟踪方法的流程图；

图10是图3对应实施例的步骤340的细节流程图；

图11是采用本发明提供的方案进行目标物体跟踪的效果示意图；

图12是基于光学图像的行人检测和跟踪效果示意图；

图13是根据一示例性实施例示出的一种目标物体的检测跟踪装置的框图；

具体实施方式

这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的本发明所涉及的实施环境示意图。本发明所涉及的实施环境包括车载终端110。车载终端110可以采用本发明所提供的目标物体的检测跟踪方法，对采集的车辆行驶方向的图像进行障碍物检测，从而实现辅助驾驶。

根据需要，该实施环境还将包括提供数据，即车辆行驶方向图像的数据来源。具体而言，在本实施环境中，数据来源可以为双目摄像头120。双目摄像头 120可以安装在车头，实时采集车辆行驶方向的左右灰度图像。车载终端110可以根据左右灰度图像生成车辆行驶方向的视差图像。其中，车辆行驶方向的视差图像就是待跟踪目标物体所处场景的视差图像。

应当说明的是，本发明提供的目标物体的检测跟踪方法，不限于在车载终端110中部署相应的处理逻辑，其也可以是部署于其它机器中的处理逻辑。例如，在具备计算能力的终端设备中部署目标物体的检测跟踪方法的处理逻辑等。

可选的，本发明提供一种终端，该终端可以作为图1所示实施环境的车载终端110，执行下述图3、图5、图7、图9、图10任一所示的目标物体的检测跟踪方法的全部或者部分步骤。所述终端包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行下述示例性实施例提供的目标物体的检测跟踪方法。

该实施例中终端的处理器执行操作的具体方式参见下述目标物体的检测跟踪方法的实施例，此处将不做详细阐述说明。

图2是根据一示例性实施例示出的一种车载终端110的框图。

参照图2，车载终端110可以包括以下一个或多个组件：处理组件202，存储器204，电源组件206，多媒体组件208，音频组件210，传感器组件214以及通信组件216。

处理组件202通常控制车载终端110的整体操作，诸如与显示，电话呼叫，数据通信，相机操作以及记录操作相关联的操作等。处理组件202可以包括一个或多个处理器218来执行指令，以完成下述的方法的全部或部分步骤。此外，处理组件202可以包括一个或多个模块，便于处理组件202和其他组件之间的交互。例如，处理组件202可以包括多媒体模块，以方便多媒体组件208和处理组件202之间的交互。

存储器204被配置为存储各种类型的数据以支持在车载终端110的操作。这些数据的示例包括用于在车载终端110上操作的任何应用程序或方法的指令。存储器204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory，简称EPROM)，可编程只读存储器(Programmable Red-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。存储器204中还存储有一个或多个模块，该一个或多个模块被配置成由该一个或多个处理器218执行，以完成下述图3、图5、图7、图9、图10任一所示方法中的全部或者部分步骤。

电源组件206为车载终端110的各种组件提供电力。电源组件206可以包括电源管理系统，一个或多个电源，及其他与为车载终端110生成、管理和分配电力相关联的组件。

多媒体组件208包括在所述车载终端110和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(Liquid Crystal Display，简称LCD)和触摸面板。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。屏幕还可以包括有机电致发光显示器(Organic Light Emitting Display，简称OLED)。

音频组件210被配置为输出和/或输入音频信号。例如，音频组件210包括一个麦克风(Microphone，简称MIC)，当车载终端110处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器204或经由通信组件216发送。在一些实施例中，音频组件210还包括一个扬声器，用于输出音频信号。

传感器组件214包括一个或多个传感器，用于为车载终端110提供各个方面的状态评估。例如，传感器组件214可以检测到车载终端110的打开/关闭状态，组件的相对定位，传感器组件214还可以检测车载终端110或车载终端110 一个组件的位置改变以及车载终端110的温度变化。在一些实施例中，该传感器组件214还可以包括磁传感器，压力传感器或温度传感器。

通信组件216被配置为便于车载终端110和其他设备之间有线或无线方式的通信。车载终端110可以接入基于通信标准的无线网络，如WiFi (WIreless-Fidelity，无线保真)。在一个示例性实施例中，通信组件216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件216还包括近场通信(NearField Communication，简称NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(Radio Frequency Identification，简称RFID)技术，红外数据协会(Infrared DataAssociation，简称IrDA)技术，超宽带(Ultra Wideband，简称UWB)技术，蓝牙技术和其他技术来实现。

在示例性实施例中，车载终端110可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器、数字信号处理设备、可编程逻辑器件、现场可编程门阵列、控制器、微控制器、微处理器或其他电子元件实现，用于执行下述方法。

图3是根据一示例性实施例示出的一种目标物体的检测跟踪方法的流程图。该目标物体的检测跟踪方法的适用范围和执行主体，例如该方法用于图1所示实施环境的车载终端110。如图3所示，该方法可以由车载终端110执行，可以包括以下步骤。

在步骤310中，获取待测场景的当前视差图像，在所述当前视差图像中进行目标物体检测，确定所述当前视差图像中目标物体的候选区域。

其中，待测场景可以是辆行驶方向的场景。随着车辆的前进，待测场景实时变化，得到连续变化的双目灰度图像，进而基于该双目灰度图像生成实时的视差图像。当然，也可以将双目摄像头120安装在指定位置(例如路边、路口等)，双目摄像头120能够拍摄的范围就是待测场景。

需要说明的是，当前视差图像是指通过双目摄像头120当前时刻采集的双目灰度图像生成的视差图像。双目摄像头120可以按照预设的帧率进行双目灰度图像的连续采集，进而车载终端110可以基于实时采集的双目灰度图像，实时生成当前时刻的视差图像，即当前视差图像。

具体的，在当前视差图像中进行目标物体检测，可以采用现有的基于视差图像的障碍物检测方法。例如，基于景深信息的障碍物检测方法中，借助于双目立体相机或者其他的深度信息传感器进行障碍物检测。这一类方法主要是从拍摄区域内提取出光学图像对应的每一个像素的深度信息，并利用像素之间的相邻关系和深度信息，进行基于深度信息的区域分块或者相似像素聚合，得到前景方向上潜在的障碍物信息。双目立体视觉，如图4所示，通过双目立体相机采集得到两张平行等位的基准图401和匹配图402，并利用匹配算法计算出基准图401对应的视差图像403。这里为了方便，根据视差值的大小可以设置不同的颜色，得到视差图像403对应的色彩条404。从该视差图像403对应的色彩条 404中可以看出，从左到右，视差值逐渐增大。进而通过相机的参数(双目间距、焦距)可以计算出对应的景深图，并基于每个像素点的深度信息进行区域分块，分割出距离较近的障碍物候选区域405，即得到目标物体的候选区域。目标物体可以是指车辆、行人等路面上的障碍物。

在步骤320中，根据所述候选区域在当前视差图像中所处位置，获取所述当前视差图像中候选区域的特征信息。

其中，特征信息可以是指候选区域对应障碍物的位置信息、尺寸信息和色彩信息。需要说明的是，根据视差图像中每个像素点的视差值，可以计算每个像素点在双目摄像头120所确定的三维空间坐标系中的位置坐标，具体可以采用以下公式进行计算：

Z＝B×f/d

Y＝H'-(v-H/2)XB/d

其中，(X，Y，Z)三维空间坐标值，B为双目摄像头120的两个摄像头之间的距离，f为摄像头镜头焦距，d为是视差值，H’为双目摄像头120距离地面的高度，视差图像尺寸大小为(W，H)，例如：1280×960，像素点在图像坐标系中的坐标为(u，v)，例如像素(100，100)。

由于B、f、d、H’以及(W，H)和(u，v)均为已知量，由此通过上述公式就可以计算出候选区域的每个像素点的三维空间坐标值。

具体的，根据候选区域在当前视差图像中所处位置，可以获得候选区域在视差图像中的平均视差值，并基于该平均视差值、双目摄像头120的双目间距以及焦距，可以计算出候选区域对应障碍物的距离信息Z。进而根据候选区域中心点在当前视差图像中坐标系中的坐标为(u，v)，通过上述公式计算出候选区域的位置信息(X，Y，Z)。进一步的，尺寸信息可以是候选区域所属障碍物在三维空间中的高度和宽度。色彩信息可以是候选区域在对应双目灰度图像中的色彩信息，例如灰度直方图信息、HOG(Histogram of OrientedGradient，方向梯度直方图)或LBP(Local Binary Pattern，局部二值模式)纹理特征。

在一种示例性实施例中，如图5所示，上述步骤320具体包括：

在步骤321中，根据所述候选区域在当前视差图像中所处位置，确定所述候选区域所属障碍物在三维空间中的位置信息以及所述候选区域在当前视差图像所属双目图像中的色彩信息。

具体的，根据候选区域在当前视差图像中的平均视差值，计算出候选区域的深度信息(Z)，并基于候选区域中心点在视差图像中的位置坐标，通过上述公式计算出候选区域所属障碍物在双目摄像头120所确定的三维空间中的位置信息(X，Y，Z)。

简单而言，可以直接根据当前视差图像与双目灰度图像的映射关系，在双目灰度图像中确定候选区域所映射的位置，并获取该位置的色彩信息，即得到候选区域所属障碍物的色彩信息。但是考虑到候选区域的检测窗口有可能不能很好的包含目标物体(窗口偏大或者偏小，有些需要拆分或者合并)。考虑到如果窗口和物体不一致的情况，在色彩信息比对过程中，效果较差。因此，在这一部分，要充分考虑对比区域的一致性，在实际操作中，不是简单的把检测到的窗口直接拿来和目标物体进行色彩信息比对。可以采用在检测窗口区域，按照目标物体的实际大小和检测窗口的距离信息转换到图像中，使用滑动窗的方法进行窗口色彩信息提取(多个滑动窗口提取特征，并估计出最佳窗口)。

在一种示例性实施例中，可以根据当前视差图像中视差值的分布提取检测窗口内视差值满足要求的区域的灰度纹理信息，物体四周的有效视差区域(检测窗口内视差值满足要求的区域)以外的像素点灰度纹理信息不计入提取的色彩信息，排除背景变化较大对目标特征稳定性的影响。图6是两个行人在多帧图像中的色彩差异对比，从图6中可以看出，通过色彩信息可以区分颜色差异较大的不同目标。

在步骤322中，根据所述候选区域所属障碍物在三维空间中的位置信息，获得所述候选区域所属障碍物的尺寸信息。

基于候选区域所属障碍物的深度信息以及候选区域的检测窗口的大小，可以计算出候选区域所属障碍物的尺寸信息，即宽度和高度。具体的，可以根据候选区域的检测窗口的宽度和高度、双目摄像头120的参数(焦距、视场角等)，以及候选区域所属障碍物的深度信息，计算出候选区域所属障碍物的宽度和高度。

在步骤330中，根据历史视差图像中目标物体的特征信息，获得当前视差图像中目标物体的特征预测信息。

需要解释的是，按照预设帧率连续对待测场景进行双目灰度图像采集。历史视差图像是指在采集当前视差图像所对应双目灰度图像之前，对待测场景采集的双目灰度图像的视差图像。历史视差图像是一种相对概念，是相对当前视差图像而言的，当采集了新一帧双目灰度图像并生成新一帧视差图像时，当前视差图像称为历史视差图像。历史视差图像可以是一帧或连续的多帧。每帧视差图像均有其目标物体对应的特征信息，该特征信息可以包括目标物体的位置信息、尺寸信息以及色彩信息。通过历史视差图像中目标物体的特征信息，可以预测该目标物体在下一帧视差图像中提取的特征信息。

其中，步骤330具体包括：根据历史视差图像中目标物体的位置信息、尺寸信息以及色彩信息，计算所述目标物体在当前视差图像中的位置预测信息、尺寸预测信息和色彩预测信息。

也就是说，可以根据连续多帧视差图像中目标物体的位置信息、尺寸信息以及色彩信息，预测该目标物体在下一帧视差图像(即当前视差图像)中提取的位置信息、尺寸信息以及色彩信息，即获得当前视差图像中目标物体的位置预测信息、尺寸预测信息和色彩预测信息。

在一种示例性实施例中，如图7所示，根据历史视差图像中目标物体的位置信息、尺寸信息以及色彩信息，计算所述目标物体在当前视差图像中的位置预测信息、尺寸预测信息和色彩预测信息，具体包括：

在步骤701中，根据所述历史视差图像中目标物体的位置信息，计算所述目标物体的运动速度和加速度；

假设历史视差图像包括连续的多帧视差图像，则根据每帧视差图像中目标物体的位置信息，估计目标物体的运动速度和加速度。具体的，利用多帧图像中目标物体中心点的位置信息，计算目标物体的移动速度和加速度。单帧中的速度和加速度计算公式为：

公式中的i为当前的帧数，i-1为上一帧的帧数，Δt为相邻两帧之间的间隔时间，d_i为当前帧中的三维坐标位置，ν_i为当前帧的速度，a_i为当前帧的加速度。

利用多帧中的信息进行融合，得到该目标最近几帧内的平均速度和加速度：

公式中的n+1为最近的N帧中，该目标被有效跟踪的帧数。

利用每帧计算出来的移动速度ν_i和加速度a_i(t-n≤i≤t)，计算多帧中平均的速度和加速度换句话说，对存在目标物体的帧中提取到的移动信息进行融合。

在步骤702中，根据当前视差图像的前一帧视差图像中目标物体的位置信息，以及所述运动速度和加速度，计算所述目标物体在当前视差图像中的位置预测信息。

假设跟踪第p个目标物体，第p个目标物体预测位置可以根据目标物体在上一帧中的位置信息和前n+1帧中的速度和加速度信息进行的综合评估。该预测位置可以表示为：(这里的位置预测也可以改成卡尔曼滤波的方式进行)。其中，d_p表示目标物体在上一帧中的位置信息，通过目标物体的速度和加速度，可以预测目标物体在下一帧的位置信息。

如图8所示，给定的某一个目标物体在新一帧中的预测位置(用“□”表示)可以通过历史帧(前七帧，用“圆点”表示)中的位置和移动信息进行预估，用预估得到的位置信息和新一帧中检测到的障碍物候选区域的位置信息进行差异比较更加合理。

进一步的，如图9所示，根据历史视差图像中目标物体的位置信息、尺寸信息以及色彩信息，计算所述目标物体在当前视差图像中的位置预测信息、尺寸预测信息和色彩预测信息，还可以包括：

在步骤901中，根据所述历史视差图像中目标物体的尺寸信息，计算所述目标物体的尺寸均值；

在步骤902中，删除与所述尺寸均值之间的差异大于阈值的尺寸信息，重新计算剩余尺寸信息的尺寸均值，得到所述目标物体在当前视差图像中提取的尺寸预测信息。

具体的，尺寸信息可以是目标物体的宽度、高度，还可以是面积等。具体的，在当前视差图像之前，根据目标物体被有效跟踪的视差图像中提取到的目标物体的三维空间信息，估计目标物体在每一帧视差图像中提取出的尺寸信息 (高w和宽h)。由于在多帧中检测到的目标物体边缘信息不够精准，并且会出现一个检测窗口中存在多个物体叠加和一个物体被分割成多个窗口的情况，通过多帧中该目标物体对应的窗口中的高和宽信息直接进行平均计算稳定性不高。在该部分的信息融合过程中，可以通过这n+1帧(即最近的N帧)中的信息进行有挑选的进行信息融合。具体操作方式为通过异常尺寸筛选的方式来丢弃一部分异常尺寸信息。

具体的丢弃方式为：把最近的n+1帧中的该目标物体的尺寸信息提取出来，然后进行异常分析。分析的方式如下：首先对这n+1帧中提取到的该目标物体的高和宽求取平均值和。然后把和均值差异较大的删除，对保留下来的信息再次求取平均值，作为最终的目标物体尺寸，用于新一帧图像中检测到的物体进行匹配操作。

在步骤340中，将所述候选区域的特征信息和所述目标物体的特征预测信息进行相似度匹配，根据相似度匹配结果确定所述目标物体在当前视差图像中的目标区域，得到所述目标物体的跟踪结果。

其中，相似度匹配是指计算候选区域的特征信息与目标物体的特征预测信息之间的相似度。相似度匹配结果可以是按照与目标物体之间的相似度，对候选区域进行排序的排序结果，或者每个候选区域的特征信息与目标物体之间的相似度值。

假设存在3个候选区域，3个候选区域的特征信息依次表示为A，B，C，而目标物体的特征预测信息表示为G，通过分别比较G与A、B、C之间的相似度，可以得到与G相似度最高的特征信息，例如C。进而C对应的候选区域就是目标物体在当前视差图像中的目标区域，该目标区域就是目标物体在当前时刻的跟踪结果。

在一种示例性实施例中，如图10所示，上述步骤340具体包括：

在步骤341中，将所述候选区域所述障碍物的位置信息、尺寸信息以及色彩信息，与所述目标物体的位置预测信息、尺寸预测信息和色彩预测信息进行相似度对比，获得与所述目标物体之间相似度最高的候选区域。

需要说明的是，在被跟踪的目标物体与新一帧视差图像中检测到的候选区域进行匹配过程中，可以将目标物体与新一帧中所有检测到的目标物体候选区域进行特征匹配，并以相似度最大化的原则进行匹配关联。特征匹配的原则可以是把位置信息、三维空间的实际尺寸信息和色彩信息进行逐个比对，并把三个不同信息的相似度进行综合考量，从而得到最终结果。

其中，综合评估上述三种信息的相似度的公式为：

在上述公式中，λ₁，λ₂和λ₃为三个分函数的权重，取值范围介于(0,1)之间；p∈P为被跟踪目标的标签，q∈Q为新一帧图像中的潜在障碍物标签。其中，f₁表示目标物体p的预测位置与障碍物q所在位置之间的距离，f₂表示目标物体p的预测尺寸与障碍物q尺寸之间的差异大小，f₃表示目标物体p的图像特征与障碍物q图像特征之间的差异。

举例来说，根据距离差异、尺寸差异以及图像特征差异的重要程度，λ₁，λ₂和λ₃依次可以设置为0.5、0.3、0.2。假设存在历史视差图像中存在目标物体001，新一帧视差图像中检测出障碍物005、006，则可以根据历史视差图像计算出目标物体001的预测位置、预测尺寸和图像特征。之后，将该目标物体001的预测位置与障碍物005的位置计算得到距离差异aa，将目标物体001的预测尺寸与障碍物005的尺寸计算出尺寸差异bb，将目标物体001的图像特征与障碍物 005的图像特征计算出图像差异cc。λ₁aa+λ₂bb+λ₃cc得到目标物体001与障碍物 005的整体差异。

同理，可以计算出目标物体001与障碍物006的整体差异，通过比较目标物体001与不同障碍物之间的差异，例如可以得到与目标物体最相似的障碍物可能是005，由此得到目标物体在新一帧视差图像中的检测结果，并且可以基于目标物体的预测位置、预测尺寸和图像特征对障碍物005所处的位置、尺寸、图像特征进行修正。

其中，三个分函数的性质如下：

(1)用于刻画被跟踪的第p个目标的预测位置和新一帧中被检测到的第q个障碍物之间的三维空间中的坐标位置之间的差异。第p个目标的预测位置为目标的上一帧中的位置信息和前n+1帧中的速度和加速度信息进行的综合评估。该预测位置可以表示为：

第p个目标的预测位置和第q个障碍物之间的三维空间中的坐标位置之差可以表示为 为一个跟成反相关关系的函数随着的增大而减小)。

(2)用于刻画被跟踪的第p个目标和新一帧中被检测到的第 q个障碍物之间的三维空间中的尺寸之间的差异。高度之差为宽度之差为则有为一个跟和均成反相关关系的函数(随着两个值的增大而减小)。

(3)用于刻画被跟踪的第p个目标和新一帧中被检测到的第q个障碍物的彩色或灰度图像中图像特征(灰度直方图信息、检测窗口内提取到的 HOG或LBP纹理特征等)之间的差异。跟和g_q之间的差异成反相关关系，即差异越大，最小。

综合以上信息，当F(A_p,B_q)最大时，表示被跟踪的第p个目标和新一帧中被检测到的第q个障碍物相似度最高，差异越小。

将新一帧中所有的候选区域和当前有效的目标物体进行匹配关联，在所有可行的组合中进行科学筛选，使得全局关联函数数值最大。

进一步的，考虑实际应用中的具体情况，双目摄像头120在测距方面，会有远处测距不准确的问题。因此，在远处物体的距离和尺寸信息的准确度要小于近处。因此，为了充分考虑这一问题，在相似度公式中增大对远距离物体的容忍度，可以在该公式中添加物体尺寸和距离之间的相互影响关系，即在公式中的第二项由修改为当d_p越大，对物体尺寸的容错性就越大。具体的表现形式为和均成反相关关系的函数。由该公式可知，在目标物体和双目摄像头120距离d_p较远的情况下，受到候选区域尺寸信息和目标物体的尺寸预测信息之间的尺寸差异的影响越小。这样就能很好地弥补远处物体在测距不准确的情况下，对匹配效果的影响。和d_p之间的关系也可以采用其他的形式，但要保证二者之间的反相关关系。

在步骤342中，根据与所述目标物体之间相似度最高的候选区域，确定所述当前视差图像中目标物体的目标区域，得到所述目标物体的跟踪结果。

通过上述公式进行新一帧中候选区域的特征信息与目标物体的特征预测信息的相似度计算，可以在新一帧视差图像中找出与目标物体相似度最高的候选区域，并将其作为目标物体在新一帧视差图像中的目标区域，该目标区域就是目标物体在新一帧视差图像中的跟踪结果。

进一步的，上述步骤340还可以包括：

根据所述目标物体在当前视差图像中的目标区域，获得所述目标区域的特征信息；

根据所述目标区域的特征信息与目标物体的特征预测信息，优化当前视差图像中目标物体的特征信息。

具体的，在通过相似度匹配后，可以找出特征信息与目标物体的特征预测信息相似度最高的候选区域，该候选区域就是目标物体在当前视差图像中的目标区域，由此该候选区域的特征信息就是该目标区域的特征信息。结合当前视差图像中目标区域的特征信息以及目标物体的特征预测信息，优化当前视差图像中目标物体的位置信息、尺寸信息、运动信息和色彩信息等特征信息。换句话说，可以根据目标物体的特征预测信息调整当前视差图像中目标物体的检测结果，提高障碍物检测准确性。举例来说，通过计算目标物体的特征预测信息与目标区域的特征信息的均值，作为当前视差图像中目标物体的特征信息。

在一种示例性实施例中，上述步骤340还可以包括：

根据相似度匹配结果，若得到当前视差图像中不存在与所述目标物体的特征预测信息匹配的候选区域，则继续判断后续多帧视差图像中是否存在与所述目标物体的特征预测信息匹配的候选区域；

若后续多帧均不存在与所述目标物体的特征预测信息匹配的候选区域，则停止所述目标物体的检测。

需要说明的是，如果某个目标物体p未能在新一帧(即当前视差图像)中找到障碍物候选区域q，使相似度函数数值较大(即大于一个预设的上限值J)，则认为该目标物体在新的一帧中未能取得有效匹配，并把该目标物体对应的相似度函数值设置为J。在连续多帧图像中均未能成功匹配到的目标物体，则视为该目标物体离开待测场景或者不能有效被检测到，从整个目标集中删除，不再对该目标物体进行匹配跟踪，以此可以在目标物体离开视野时及时停止检测，减少没有必要的匹配占用计算资源；新检测到且未能被匹配关联的目标，要及时进行跟踪目标初始化，即记录产生新一个目标，并在后续视差图像中对该目标进行检测。

需要说明的是，本发明提供的目标物体的检测跟踪方法还可能包括以下步骤：

若不存在待测场景的历史视差图像，将所述当前视差图像作为历史视差图像，所述当前视差图像中候选区域的特征信息作为历史视差图像中目标物体的特征信息，继续获取下一帧视差图像。

换句话说，当前视差图像可能是待测场景的首帧双目灰度图像生成的视差图像，因此不存在历史视差图像。或者进而通过步骤310-320检测出目标物体的候选区域，得到候选区域的特征信息。此时，当前视差图像中的候选区域就是目标物体的目标区域，提取的候选区域的特征信息就是目标物体的特征信息，继续获取下一帧视差图像作为当前视差图像，而上一帧视差图像作为历史视差图像，为下一帧视差图像中目标物体的检测提供参照，实现目标物体的跟踪。

图11是采用本发明提供的方案进行目标物体跟踪的效果示意图。如图11 所示，对待测场景进行双目灰度图像的连续采集，并对依次采集的双目灰度图像生成对应的视差图像。基于第一次采集的双目灰度图像1101(附图中只画出一张作为示意)生成第一张视差图像1105，基于第二次采集的双目灰度图像1102 生成第二张视差图像1106，基于第三次采集的双目灰度图像1103生成第三张视差图像1107，基于第四次采集的双目灰度图像1104生成第四张视差图像1108。

如图11所示，第一张视差图像1105中没有检测到行人目标。

第二张视差图像1106中提取出道路上的物体(行人、车辆等)。以右侧行人为例，通过提取到的矩形框区域中的视差信息，可以计算出候选区域对应行人目标的距离信息，进而估计出该行人目标的位置信息。通过结合该行人目标的距离信息和矩形框区域窗口大小，可以计算出行人目标的高度和宽度。根据第二次采集的双目灰度图像1102中矩形框区域对应位置，可以提取出该对应位置中的色彩信息。例如HOG纹理特征、LBP纹理特征等。

第三张视差图像1107中，可以提取出两个目标物体的候选区域，进而获得每个候选区域的位置信息、高度、宽度以及第三张灰度图1105中的色彩信息。此时第二张视美图像1106作为历史视美图像，通过公式F(A_p，B_q)分别计算出第二张视差图像1106中行人目标的特征预测信息与两个候选区域的特征信息的相似度。由于行人目标在第二张视差图像1106中首次出现，尚不具有运动信息，即速度和加速度可以初始化为0。通过行人目标与两个候选区域的相似度的比较，根据最优匹配结果确定行人目标和候选区域的关联关系，即可以将相似度最高的候选区域作为行人目标在第三张视差图像1107中的检测结果。

在确定关联关系后，根据关联的候选区域的特征信息以及第二张视差图像 1106中行人目标的特征预测信息，可以对当前时刻行人目标的位置、高宽、运动信息以及色彩特征进行优化。

在第四张视差图像1108中，行人目标离开了待测场景，没有检测到候选区域与行人目标进行有效匹配，如果在后续多帧中均未能对该行人目标进行有效匹配关联，则从目标库中删除该行人目标，并终止后续帧中对该行人目标的匹配关联操作。在整个检测和跟踪过程中，新出现的目标会不断地被初始化，消失的目标(在连续多帧中不能有效的得到匹配)会从跟踪的目标中逐步删除，一直保持整个有效跟踪目标集的时效性。

需要强调的是，现有技术中均是对单帧图像中的障碍物进行检测，如图12 所示，基于光学图像的行人检测和跟踪效果示例，只能检测出经过训练的样本，没有经过训练或差异较大的障碍物无法检测出。常规的基于景深信息的障碍物检测算法大都是通过单帧图像中所得到的障碍物信息进行直接输出，在简单场景下，简洁高效。但是，在障碍物较多时会有误检和漏检的情况，效果很难得到保障。

针对以上问题，本发明有效利用前后多帧的障碍物的位置、尺寸、色彩等特征信息进行综合评判，在提升检测精度的前提下，有效的定位目标所在位置，并利用障碍物所在位置信息和时间关联性进行目标的长时间的有效跟踪，提升传统的基于深度传感器的障碍物检测算法的精准性和鲁棒性。

本发明通过对单帧图像中可能存在的目标物体进行检测，并把之前多帧图像的目标物体进行特征信息匹配和关联，得到较为精准的目标物体信息，从而可以为辅助驾驶提供更可靠的提示信息。本发明为了降低由于单帧视差图像中存在的误检情况，多帧连续图像的相互关联性被使用到，用于减少由于单张图像中存在的误检测结果造成的误报警，提升障碍物检测的准确性。

本发明在基于多帧的障碍物检测结果的基础上，对不同目标在连续帧之间进行关联，制定相应的处理方案。在尽量避免不同物体错误关联的基础上，把同一个物体在连续帧中进行有效的关联。最终通过跟踪的策略来提升障碍物预警的精度和可靠性。

下述为本发明装置实施例，可以用于执行本发明上述车载终端110执行的目标物体的检测跟踪方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明目标物体的检测跟踪方法实施例。

图13是根据一示例性实施例示出的一种目标物体的检测跟踪装置的框图，该目标物体的检测跟踪装置可以用于图1所示实施环境的车载终端110中，执行图3、图5、图7、图9、图10任一所示的目标物体的检测跟踪方法的全部或者部分步骤。如图13所示，该装置包括但不限于：候选区域确定模块1310、特征信息获取模块1320、预测信息获得模块1330、相似度匹配模块1340。

候选区域确定模块1310，用于获取待测场景的当前视差图像，在所述当前视差图像中进行目标物体检测，确定所述当前视差图像中目标物体的候选区域；

特征信息获取模块1320，用于根据所述候选区域在当前视差图像中所处位置，获取所述当前视差图像中候选区域的特征信息；

预测信息获得模块1330，用于根据历史视差图像中目标物体的特征信息，获得当前视差图像中目标物体的特征预测信息；

相似度匹配模块1340，用于将所述候选区域的特征信息和所述目标物体的特征预测信息进行相似度匹配，根据相似度匹配结果确定所述目标物体在当前视差图像中的目标区域，得到所述目标物体的跟踪结果。

上述装置中各个模块的功能和作用的实现过程具体详见上述目标物体的检测跟踪方法中对应步骤的实现过程，在此不再赘述。

候选区域确定模块1310比如可以是图2中的某一个物理结构处理器218。

特征信息获取模块1320、预测信息获得模块1330、相似度匹配模块1340 也可以是功能模块，用于执行上述目标物体的检测跟踪方法中的对应步骤。可以理解，这些模块可以通过硬件、软件、或二者结合来实现。当以硬件方式实现时，这些模块可以实施为一个或多个硬件模块，例如一个或多个专用集成电路。当以软件方式实现时，这些模块可以实施为在一个或多个处理器上执行的一个或多个计算机程序，例如图2的处理器218所执行的存储在存储器204中的程序。

在一种示例性实施例中，所述特征信息包括位置信息、尺寸信息以及色彩信息；特征信息获取模块1320包括：

位置色彩确定单元，用于根据所述候选区域在当前视差图像中所处位置，确定所述候选区域所属障碍物在三维空间中的位置信息以及所述候选区域在当前视差图像所属双目图像中的色彩信息；

尺寸获得单元，用于根据所述候选区域所属障碍物在三维空间中的位置信息，获得所述候选区域所属障碍物的尺寸信息。

在一种示例性实施例中，预测信息获得模块1330包括：

特征预测单元，用于根据历史视差图像中目标物体的位置信息、尺寸信息以及色彩信息，计算所述目标物体在当前视差图像中的位置预测信息、尺寸预测信息和色彩预测信息。

其中，上述特征预测单元包括：

尺寸计算子单元，用于根据所述历史视差图像中目标物体的尺寸信息，计算所述目标物体的尺寸均值；

尺寸预测子单元，用于删除与所述尺寸均值之间的差异大于阈值的尺寸信息，重新计算剩余尺寸信息的尺寸均值，得到所述目标物体的在当前视差图像中的尺寸预测信息。

在一种示例性实施例中，相似度匹配模块1340包括：

信息比对单元，用于将所述候选区域所述障碍物的位置信息、尺寸信息以及色彩信息，与所述目标物体的位置预测信息、尺寸预测信息和色彩预测信息进行相似度对比，获得与所述目标物体之间相似度最高的候选区域；

目标跟踪单元，用于根据与所述目标物体之间相似度最高的候选区域，确定所述当前视差图像中目标物体的目标区域，得到所述目标物体的跟踪结果。

其中，上述特征预测单元还包括：

运动状态计算子单元，用于根据所述历史视差图像中目标物体的位置信息，计算所述目标物体的运动速度和加速度；

位置预测子单元，用于根据当前视差图像的前一帧视差图像中目标物体的位置信息，以及所述运动速度和加速度，计算所述目标物体在当前视差图像中的位置预测信息。

在一种示例性实施例中，相似度匹配模块1340还包括：

连续匹配单元，用于根据相似度匹配结果，若得到当前视差图像中不存在与所述目标物体的特征预测信息匹配的候选区域，则继续判断后续多帧视差图像中是否存在与所述目标物体的特征预测信息匹配的候选区域；

目标删除单元，用于若后续多帧均不存在与所述目标物体的特征预测信息匹配的候选区域，则停止所述目标物体的检测。

在一种示例性实施例中，相似度匹配模块1340还包括：

当前特征获得单元，用于根据所述目标物体在当前视差图像中的目标区域，获得所述目标区域的特征信息；

当前特征调整单元，用于根据所述目标区域的特征信息与目标物体的特征预测信息，调整当前视差图像中目标物体的特征信息。

在示例性实施例中，还提供了一种存储介质，该存储介质为计算机可读存储介质，例如可以为包括指令的临时性和非临时性计算机可读存储介质。该存储介质存储有计算机程序，该计算机程序可由车载终端110的处理器218执行以完成上述目标物体的检测跟踪方法。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种目标物体的检测跟踪方法，其特征在于，包括：

获取待测场景的当前视差图像，在所述当前视差图像中进行目标物体检测，确定所述当前视差图像中目标物体的候选区域；

根据所述候选区域在当前视差图像中所处位置，获取所述当前视差图像中候选区域的特征信息；

根据历史视差图像中目标物体的特征信息，获得当前视差图像中目标物体的特征预测信息；

将所述候选区域的特征信息和所述目标物体的特征预测信息进行相似度匹配，根据相似度匹配结果确定所述目标物体在当前视差图像中的目标区域，得到所述目标物体的跟踪结果。

2.根据权利要求1所述方法，其特征在于，所述特征信息包括位置信息、尺寸信息以及色彩信息；根据所述候选区域在当前视差图像中所处位置，获取所述当前视差图像中候选区域的特征信息，包括：

根据所述候选区域在当前视差图像中所处位置，确定所述候选区域所属障碍物在三维空间中的位置信息以及所述候选区域在当前视差图像所属双目图像中的色彩信息；

根据所述候选区域所属障碍物在三维空间中的位置信息，获得所述候选区域所属障碍物的尺寸信息。

3.根据权利要求1所述方法，其特征在于，根据历史视差图像中目标物体的特征信息，获得当前视差图像中目标物体的特征预测信息，包括：

根据历史视差图像中目标物体的位置信息、尺寸信息以及色彩信息，计算所述目标物体在当前视差图像中的位置预测信息、尺寸预测信息和色彩预测信息。

4.根据权利要求3所述的方法，其特征在于，根据历史视差图像中目标物体的位置信息、尺寸信息以及色彩信息，计算所述目标物体在当前视差图像中的位置预测信息、尺寸预测信息和色彩预测信息，包括：

根据所述历史视差图像中目标物体的尺寸信息，计算所述目标物体的尺寸均值；

删除与所述尺寸均值之间的差异大于阈值的尺寸信息，重新计算剩余尺寸信息的尺寸均值，得到所述目标物体的在当前视差图像中的尺寸预测信息。

5.根据权利要求3所述的方法，其特征在于，将所述候选区域的特征信息和所述目标物体的特征预测信息进行相似度匹配，根据相似度匹配结果确定所述目标物体在当前视差图像中的目标区域，得到所述目标物体的跟踪结果，包括：

将所述候选区域所述障碍物的位置信息、尺寸信息以及色彩信息，与所述目标物体的位置预测信息、尺寸预测信息和色彩预测信息进行相似度对比，获得与所述目标物体之间相似度最高的候选区域；

根据与所述目标物体之间相似度最高的候选区域，确定所述当前视差图像中目标物体的目标区域，得到所述目标物体的跟踪结果。

6.根据权利要求3所述的方法，其特征在于，根据历史视差图像中目标物体的位置信息、尺寸信息以及色彩信息，计算所述目标物体在当前视差图像中的位置预测信息、尺寸预测信息和色彩预测信息，包括：

根据所述历史视差图像中目标物体的位置信息，计算所述目标物体的运动速度和加速度；

根据当前视差图像的前一帧视差图像中目标物体的位置信息，以及所述运动速度和加速度，计算所述目标物体在当前视差图像中的位置预测信息。

7.根据权利要求1所述的方法，其特征在于，将所述候选区域的特征信息和所述目标物体的特征预测信息进行相似度匹配，根据相似度匹配结果确定所述目标物体在当前视差图像中的目标区域，得到所述目标物体的跟踪结果，包括：

根据相似度匹配结果，若得到当前视差图像中不存在与所述目标物体的特征预测信息匹配的候选区域，则继续判断后续多帧视差图像中是否存在与所述目标物体的特征预测信息匹配的候选区域；

若后续多帧均不存在与所述目标物体的特征预测信息匹配的候选区域，则停止所述目标物体的检测。

8.根据权利要求1所述的方法，其特征在于，将所述候选区域的特征信息和所述目标物体的特征预测信息进行相似度匹配，根据相似度匹配结果确定所述目标物体在当前视差图像中的目标区域，得到所述目标物体的跟踪结果包括：

根据所述目标物体在当前视差图像中的目标区域，获得所述目标区域的特征信息；

根据所述目标区域的特征信息与目标物体的特征预测信息，调整当前视差图像中目标物体的特征信息。

9.一种目标物体的检测跟踪装置，其特征在于，包括：

候选区域确定模块，用于获取待测场景的当前视差图像，在所述当前视差图像中进行目标物体检测，确定所述当前视差图像中目标物体的候选区域；

特征信息获取模块，用于根据所述候选区域在当前视差图像中所处位置，获取所述当前视差图像中候选区域的特征信息；

预测信息获得模块，用于根据历史视差图像中目标物体的特征信息，获得当前视差图像中目标物体的特征预测信息；

相似度匹配模块，用于将所述候选区域的特征信息和所述目标物体的特征预测信息进行相似度匹配，根据相似度匹配结果确定所述目标物体在当前视差图像中的目标区域，得到所述目标物体的跟踪结果。

10.一种终端，其特征在于，所述终端包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行权利要求1-8任意一项所述的目标物体的检测跟踪方法。