CN106503653B - 区域标注方法、装置和电子设备 - Google Patents

Abstract

公开了一种区域标注方法、装置和电子设备。所述方法包括：在生成用于训练机器学习模型的训练样本的过程中，获取成像器件所采集的行驶环境的图像信息；获取与所述图像信息在时间上同步的所述行驶环境的深度信息；以及根据所述深度信息在所述图像信息中标注所述行驶环境中的障碍物区域。因此，能够自动地标注行驶环境中的障碍物区域，提高了区域标注的效率。

Description

区域标注方法、装置和电子设备

技术领域

本申请涉及辅助驾驶领域，且更具体地，涉及一种区域标注方法、装置、电子设备、计算机程序产品和计算机可读存储介质。

背景技术

近年来随着交通工具(例如，车辆)产业的高速发展，交通事故已经成为全球性的问题，全世界每年交通事故的死伤人数估计超过50万人，因此集自动控制、人工智能、模式识别等技术于一体的辅助驾驶技术应运而生。辅助驾驶技术能够在用户驾驶交通工具时向用户提供必要的信息和/或警告，以避免产生碰撞、偏离轨迹等危险情况。在某些情况下，甚至可以使用辅助驾驶技术来自动地控制交通工具行进。

一直以来，可行驶区域检测都是辅助驾驶技术中的关键部分之一。目前最常使用的是基于机器学习模型的检测方式。为了保证机器学习模型的准确性，需要预先采用大量的行驶环境的图像信息作为训练样本来对该模型进行离线训练。由于在行驶环境中往往存在诸如交通工具、行人等各种障碍物，所以在离线训练之前需要在训练样本中将这些障碍物区域标注出来，从而保留可供交通工具行驶的可行驶区域。目前，训练样本中障碍物区域的标注主要依赖于用户手工完成，也就是说，用户需要在大量图像信息中手动地找到各种障碍物个体，并对每个个体的大小、位置等进行标注。由于训练样本库一般需要达到几十万的规模，所以采用这种手动标注方式非常耗时，人力成本非常高，且不具扩展性。

因此，现有的区域标注技术是效率低下的。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种区域标注方法、装置、电子设备、计算机程序产品和计算机可读存储介质，其能够自动地标注行驶环境中的障碍物区域。

根据本申请的一个方面，提供了一种区域标注方法，包括：在生成用于训练机器学习模型的训练样本的过程中，获取成像器件所采集的行驶环境的图像信息；获取与所述图像信息在时间上同步的所述行驶环境的深度信息；以及根据所述深度信息在所述图像信息中标注所述行驶环境中的障碍物区域。

根据本申请的另一方面，提供了一种区域标注装置，包括：图像获取单元，用于在生成用于训练机器学习模型的训练样本的过程中，获取成像器件所采集的行驶环境的图像信息；深度获取单元，用于获取与所述图像信息在时间上同步的所述行驶环境的深度信息；以及障碍标注单元，用于根据所述深度信息在所述图像信息中标注所述行驶环境中的障碍物区域。

根据本申请的另一方面，提供了一种电子设备，包括：处理器；存储器；以及存储在所述存储器中的计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行上述的区域标注方法。

根据本申请的另一方面，提供了一种计算机程序产品，包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行上述的区域标注方法。

根据本申请的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行上述的区域标注方法。

与现有技术相比，采用根据本申请实施例的区域标注方法、装置、电子设备、计算机程序产品和计算机可读存储介质，可以在生成用于训练机器学习模型的训练样本的过程中，获取成像器件所采集的行驶环境的图像信息，获取与所述图像信息在时间上同步的所述行驶环境的深度信息，并且根据所述深度信息在所述图像信息中标注所述行驶环境中的障碍物区域。因此，与如现有技术中对障碍物区域进行人工标注的情况相比，可以自动地标注行驶环境中的障碍物区域，提高了区域标注的效率。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1图示了根据本申请实施例的成像器件所采集到的行驶环境的图像信息的示意图。

图2图示了根据本申请第一实施例的区域标注方法的流程图。

图3图示了根据本申请实施例的获取深度信息步骤的流程图。

图4图示了根据本申请实施例的标注障碍物步骤的流程图。

图5图示了根据本申请第二实施例的区域标注方法的流程图。

图6图示了根据本申请实施例的标注可行驶区域步骤的流程图。

图7A图示了根据本申请实施例的在图1所示的图像信息中结合有深度信息和用户输入的示意图，图7B图示了根据本申请实施例的在图1所示的图像信息中标注有障碍物区域和可行驶区域的示意图。

图8图示了根据本申请实施例的区域标注装置的框图。

图9图示了根据本申请实施例的电子设备的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

如上所述，在现有技术中，训练样本中障碍物区域的标注主要依赖于用户手工完成，因此存在操作复杂且效率低的问题。

针对该技术问题，本申请的基本构思是提出一种新的区域标注方法、装置、电子设备、计算机程序产品和计算机可读存储介质，其可以在标注过程中，通过结合来自深度传感器的深度信息，自动在成像器件所采集的图像信息中将障碍物区域标注出来，无需用户手工操作，从而降低了标注成本、提高了标注速度。

本申请的实施例可以应用于各种场景。例如，本申请的实施例可以用于对交通工具所处的行驶环境中的障碍物区域进行标注。例如，该交通工具可以是不同的类型，其可以是车辆、飞行器、航天器、水中运载工具等。为了便于说明，下面将以车辆作为交通工具的示例来继续描述。

例如，为了使得车辆能够在实际行驶中确定作为其行驶环境的道路路面中的各种障碍物、进而实现辅助驾驶等目的，需要预先采用大量的行驶环境的图像信息作为训练样本来对车辆中的机器学习模型进行离线训练。为此，可以事先在测试车辆上装备一个或多个成像器件，用于采集关于不同行驶环境的大量图像信息。当然，本申请不限于此。例如，所述图像信息也可以来自于设置在固定位置的监控摄像头、或者直接来自于互联网等等。

图1图示了根据本申请实施例的成像器件所采集到的行驶环境的图像信息的示意图。

如图1所示，装备有成像器件的测试车辆所获取的图像信息指示出该车辆正行驶在作为其典型性行驶环境的道路路面上。在该道路路面上存在3个障碍物(位于不同距离的作为其他车辆的障碍物1、障碍物2、和障碍物3)、4条车道线(从左到右的车道线1、车道线2、车道线3、和车道线4)、和1条交界线(道路与草地之间的交界线1)等物体。

现有的障碍物区域标注方法通常需要用户基于人眼识别来寻找图像信息中的各种障碍物个体，并使用鼠标圈选的方式对每个个体的大小、位置等进行标注。在通常情况下，这种障碍物标注方法是简单且有效的。然而，用于对机器学习模型进行离线训练的样本库往往包括大量的图像信息，如果每一幅图像都需要用户人眼分辨、手动标识，则必定耗时耗力，且由于人工操作可能出现漏标或错标，因此，现有的障碍物区域标注可能不够准确，从而导致后续的机器学习结果产生错误，进而可能导致在在线使用时车辆对实际的道路状况产生错误的判断，产生交通安全隐患。

为此，在本申请的实施例中，在生成用于训练机器学习模型的训练样本的过程中，获取成像器件所采集的行驶环境的图像信息，获取与所述图像信息在时间上同步的所述行驶环境的深度信息，并且根据所述深度信息在所述图像信息中标注所述行驶环境中的障碍物区域。因此，根据该基本构思的本申请实施例能够自动地标注行驶环境中的障碍物区域，提高了区域标注的效率。

当然，尽管上面以交通工具为例对本申请的实施例进行了说明，但是本申请不限于此。本申请的实施例可以应用于诸如对可移动机器人、固定监控摄像头等各种在线电子设备所处的行驶环境中的障碍物区域进行标注。

下面，将结合图1的应用场景，参考附图来描述根据本申请的各个实施例。

示例性方法

图2图示了根据本申请第一实施例的区域标注方法的流程图。

如图2所示，根据本申请第一实施例的区域标注方法可以包括：

在步骤S110中，在生成用于训练机器学习模型的训练样本的过程中，获取成像器件所采集的行驶环境的图像信息。

为了对机器学习模型进行离线训练，需要预先对作为训练样本的行驶环境的图像信息进行标注，寻找其中的障碍物区域。例如，可以通过一个或多个成像器件来采集行驶环境的大量图像信息。例如，在成像器件装备在测试车辆(或称之为，当前车辆)上的应用场景中，可以通过该成像器件获取当前车辆的行驶方向中的道路路面的图像信息，例如，如图1所示。

例如，该成像器件可以是用于捕捉图像信息的图像传感器，其可以是摄像头或摄像头阵列。例如，图像传感器所采集到的图像信息可以是连续图像帧序列(即，视频流)或离散图像帧序列(即，在预定采样时间点采样到的图像数据组)等。例如，该摄像头可以是如单目相机、双目相机、多目相机等，另外，其可以用于捕捉灰度图，也可以捕捉带有颜色信息的彩色图。当然，本领域中已知的以及将来可能出现的任何其他类型的相机都可以应用于本申请，本申请对其捕捉图像的方式没有特别限制，只要能够获得输入图像的灰度或颜色信息即可。为了减小后续操作中的计算量，在一个实施例中，可以在进行分析和处理之前，将彩色图进行灰度化处理。

在步骤S120中，获取与所述图像信息在时间上同步的所述行驶环境的深度信息。

在步骤S110之前、之后、或与之同时地，可以另外获取与图像信息同时获取的道路路面的深度信息。

例如，深度传感器可以是任何合适的传感器，比如基于双目视差图测量深度的双目相机或基于红外线的照射测量深度的红外线深度传感器(或激光深度传感器)。例如，深度传感器可以生成诸如深度图或激光点云之类的深度信息，以用于测量障碍物相对于当前车辆的位置。深度传感器可以收集任何与障碍物距当前车辆的距离相关的合适的深度信息。例如，深度传感器可以收集关于障碍物在当前车辆前面多远处的信息。更进一步地，深度传感器除了距离信息之外，还可以收集诸如关于障碍物是在当前车辆右边还是左边的信息之类的方向信息。深度传感器还可以收集在不同时间点关于障碍物距当前车辆的距离的信息，以确定该障碍物是朝向还是远离当前车辆运动。下面，将以激光深度传感器为例继续说明。

图3图示了根据本申请实施例的获取深度信息步骤的流程图。

如图3所示，步骤S120可以包括：

在子步骤S121中，确定所述成像器件采集所述图像信息的采集时间。

例如，图像信息中可以包括含有采集时间之类的各种属性信息。通过该属性信息即可确定出所述图像信息的采集时间。

在子步骤S122中，获取所述当前车辆的深度传感器在所述采集时间所采集的所述行驶方向中的道路路面的深度信息。

类似地，深度信息中也可以包括含有采集时间之类的各种属性信息。通过图像信息的采集时间，即可确定出在与之相同时间点上采集的深度信息。

需要说明的是，本申请不限于此。例如，还可以在成像器件和深度传感器的采集阶段，将在相同时间点采集到的采集信息和深度信息作为一对相关信息存储在一起，以便稍后获取。

返回参考图2，在步骤S130中，根据所述深度信息在所述图像信息中标注所述行驶环境中的障碍物区域。

在获得对应的图像信息和深度信息之后，可以通过各种方法来将两者结合以检测所述行驶环境中的障碍物及其区域。

图4图示了根据本申请实施例的标注障碍物步骤的流程图。

如图4所示，步骤S130可以包括：

在子步骤S131中，根据所述深度信息来判断在所述道路路面上是否存在障碍物。

例如，所述障碍物可以为以下各项中的至少一个：行人、动物、遗撒物、警示牌、隔离墩、和其他车辆。

由于激光深度传感器是通过发射特别短的光脉冲，并测量此光脉冲从发射到被障碍物反射回来的时间，通过测时间间隔来计算与物体之间的距离，所以根据该传感器检测到的激光点云的位置和返回时间，可以判断出在所述道路路面上是否存在障碍物、以及该障碍物与当前车辆之间的位置关系。

在子步骤S132中，响应于存在障碍物，根据所述障碍物的深度信息在所述图像信息中确定所述障碍物在所述道路路面上的投影区域。

一旦根据激光点云判断出在道路路面上存在障碍物，例如，可以根据该激光点云进行聚簇，以大致识别出可能的障碍物个数，并且根据每个障碍物的深度信息来将其对应到图像信息中，以确定所述障碍物在所述道路路面上的投影区域。需要说明的是，尽管在图像信息中多个障碍物之间可能存在交叠，但是，由于车辆行驶的规律决定了在各个障碍物之间为了保持安全必须相距一定的距离，这就使得根据深度信息来进行聚簇的结果往往比根据图像信息来进行聚簇的结果要更为准确。

具体地，例如，首先，可以根据所述障碍物的深度信息和所述深度传感器的标定参数来确定所述障碍物相对于所述当前车辆的三维坐标。

由于制造公差，在将深度传感器安装到车辆上之后，每辆车都必须执行独立的终检线传感器校准(end-of-line sensor calibration)或后续市场传感器调节，以便确定深度传感器在该车辆上的俯仰角等标定参数，从而最终用于辅助驾驶等目的。例如，所述标定参数可以是指所述深度传感器的外参矩阵，其可以包括所述深度传感器相对于所述当前车辆的形式方向的俯仰角和倾斜角等中的一个或多个。可以根据该校准后的俯仰角等和预设的算法，基于障碍物的深度信息来计算与障碍物相关的每个激光点的三维坐标，例如，坐标(x,y,z)。该三维坐标可以是障碍物在世界坐标系下的绝对坐标，也可以是与当前车辆的参考位置之间的相对坐标。

然后，可以将所述障碍物的三维坐标中的高度坐标z设置为零，以生成向所述道路路面上投影后的三维坐标。也就是说，可以将与障碍物相关的每个激光点的三维坐标修改为(x,y,0)。

最后，可以根据所述投影后的三维坐标和所述成像器件的标定参数来在所述图像信息中确定所述障碍物在所述道路路面上的投影区域。

与深度传感器类似地，由于制造公差，在将成像器件安装到车辆上之后，也需要首先确定该成像器件在该车辆上的俯仰角等标定参数。因此，可以根据成像器件相对于所述当前车辆的行驶方向的俯仰角等和预设的算法，来将与障碍物相关的每个激光点的投影后的三维坐标转换为图像信息中的各个图像坐标，并将各个图像坐标的最外围区域(即，最大轮廓区域)确定为所述障碍物在所述道路路面上的投影区域。

在子步骤S133中，将所述投影区域标注为所述道路路面上的障碍物区域。

可以将根据各个图像坐标的最外围区域所确定的所述障碍物在所述道路路面上的投影区域，通过圈选等方式自动地标注为所述道路路面上的障碍物区域。

由此可见，采用根据本申请第一实施例的区域标注方法，可以在生成用于训练机器学习模型的训练样本的过程中，获取成像器件所采集的行驶环境的图像信息，获取与所述图像信息在时间上同步的所述行驶环境的深度信息，并且根据所述深度信息在所述图像信息中标注所述行驶环境中的障碍物区域。因此，与如现有技术中对障碍物区域进行人工标注的情况相比，可以自动地标注行驶环境中的障碍物区域，提高了区域标注的效率。

在上述的第一实施例中，可以在标注过程中，通过结合来自深度传感器的深度信息，自动在成像器件所采集的图像信息中将障碍物区域标注出来。然而，为了实现辅助驾驶等目的，不但要将障碍物区域标注出来，而且还希望将整个行驶环境中的可行驶区域都标注出来，并且基于上述标注结果来生成用于机器学习模型的训练样本。

为了解决上述问题，在本申请的第一实施例的基础上提出了本申请的第二实施例。

图5图示了根据本申请第二实施例的区域标注方法的流程图。

如图5所示，根据本申请第二实施例的区域标注方法可以包括：

在图5中，采用了相同的附图标记来指示与图2相同的步骤。因此，图5中的步骤S110-S130与图2的步骤S110-S130相同，并可以参见上面结合图2到图4进行的描述。图5与图2的不同之处在于增加了步骤S140和进一步可选的步骤S150。

在步骤S140中，根据用户输入和所述障碍物区域来在所述图像信息中标注所述行驶环境中的可行驶区域。

当在所述图像信息中标注了道路路面上的障碍物区域之前、之后、或与之同时地，还可以通过各种方法来在图像信息中检测所述道路路面上的可行驶区域。

图6图示了根据本申请实施例的标注可行驶区域步骤的流程图。

如图6所示，步骤S140可以包括：

在子步骤S141中，接收用户输入。

该用户输入可以是用户基于人眼识别寻找到的道路路面的边界位置信息，其可以包括图像上的坐标输入或圈选输入等。

在子步骤S142中，根据所述用户输入来确定所述道路路面的路面边界。

例如，可以根据用户输入的边界位置信息来在图像信息中标注出所述道路路面的路面边界。例如，所述路面边界可以为以下各项中的至少一个：路沿、隔离带、绿化带、护栏、车道线、和其他车辆的边缘。

在子步骤S143中，根据所述路面边界和所述障碍物区域来标注所述道路路面上的可行驶区域。

例如，可以根据所述路面边界确定所述道路路面上的路面区域，并且从所述路面区域中去除所述障碍物区域，以获得所述可行驶区域。

下面，将通过一个具体的实验来说明本申请实施例的效果。

图7A图示了根据本申请实施例的在图1所示的图像信息中结合有深度信息和用户输入的示意图，图7B图示了根据本申请实施例的在图1所示的图像信息中标注有障碍物区域和可行驶区域的示意图。

参考图7A，可以在标注过程中，获取时间同步的图像信息和激光传感器信息。在图像信息中，用户可以通过人眼辨识在图1所示的道路路面中标注出其中存在4条车道线(车道线1到4)和1条交界线(交界线1)，作为路面边界的候选标识。这里，可以取决于不同的辅助驾驶策略来确定当前车辆可行驶的路面范围。例如，在车道线3和车道线4为实线时，在通常情况下，可以将它们作为路面边界来确定路面范围，但是在紧急情况下(如前方或后方出现可能碰撞的预警时)，也可以将最大的物理可行驶范围，即道路边界1和道路边界5作为路面边界来确定路面范围。另外，如图7A所示，还可以基于激光点云等深度信息检测出在该道路路面中存在3个激光点簇(激光点簇1到3)。接下来，可以通过将激光点簇1到3的空间坐标进行转换并在图像信息中投射到道路路面的地平面上，获得障碍物1到3与地平面的交点。最后，可以将交点以上的最大轮廓区域，标注为障碍物区域，也即不可行驶区域，而剩余区域即可以标注为可行驶区域，如图7B所示，其中以将道路边界1和道路边界5作为路面边界为例进行了图示。

返回参考图5，接下来，可选地，在步骤S150中，基于其中标注有所述可行驶区域的图像信息来生成所述训练样本。

例如，可以将图像信息和相关联的标注信息打包在一起，以生成训练样本，以供机器学习模型的后续训练使用。

由此可见，采用根据本申请第二实施例的区域标注方法，可以根据深度传感器所采集的深度信息在成像器件所采集的图像信息中标注所述行驶环境中的障碍物区域，并且还可以根据用户输入在所述图像信息中标注行驶环境中的环境边界，根据所述环境边界和所述障碍物区域来确定所述行驶环境中的可行驶区域，并基于其中标注有所述可行驶区域的图像信息来生成所述训练样本。因此，能够可靠地且高效地检测行驶环境中的可行驶区域并生成供机器学习模型使用的训练样本。

示例性装置

下面，参考图8来描述根据本申请实施例的区域标注装置。

图8图示了根据本申请实施例的区域标注装置的框图。

如图8所示，所述区域标注装置100可以包括：图像获取单元110，用于在生成用于训练机器学习模型的训练样本的过程中，获取成像器件所采集的行驶环境的图像信息；深度获取单元120，用于获取与所述图像信息在时间上同步的所述行驶环境的深度信息；以及障碍标注单元130，用于根据所述深度信息在所述图像信息中标注所述行驶环境中的障碍物区域。

在一个示例中，所述图像获取单元110可以获取当前车辆的行驶方向中的道路路面的图像信息。

在一个示例中，所述深度获取单元120可以包括：时间确定模块，用于确定所述成像器件采集所述图像信息的采集时间；以及深度获取模块，用于获取所述当前车辆的深度传感器在所述采集时间所采集的所述行驶方向中的道路路面的深度信息。

在一个示例中，所述障碍标注单元130可以包括：障碍判断模块，用于根据所述深度信息来判断在所述道路路面上是否存在障碍物；投影确定模块，用于响应于存在障碍物，根据所述障碍物的深度信息在所述图像信息中确定所述障碍物在所述道路路面上的投影区域；以及障碍标注模块，用于将所述投影区域标注为所述道路路面上的障碍物区域。

在一个示例中，所述投影确定模块可以根据所述障碍物的深度信息和所述深度传感器的标定参数来确定所述障碍物相对于所述当前车辆的三维坐标；将所述障碍物的三维坐标中的高度坐标设置为零，以生成向所述道路路面上投影后的三维坐标；以及根据所述投影后的三维坐标和所述成像器件的标定参数来在所述图像信息中确定所述障碍物在所述道路路面上的投影区域。

在一个示例中，所述障碍物可以为以下各项中的至少一个：行人、动物、遗撒物、警示牌、隔离墩、和其他车辆。

在一个示例中，所述区域标注装置100还可以包括：可行驶标注单元(未示出)，用于根据用户输入和所述障碍物区域来在所述图像信息中标注所述行驶环境中的可行驶区域。

在一个示例中，所述可行驶标注单元可以包括：输入接收模块，用于接收用户输入；边界确定模块，用于根据所述用户输入来确定所述道路路面的路面边界；以及可行驶标注模块，用于根据所述路面边界和所述障碍物区域来标注所述道路路面上的可行驶区域。

在一个示例中，所述可行驶标注模块可以根据所述路面边界确定所述道路路面上的路面区域；以及从所述路面区域中去除所述障碍物区域，以获得所述可行驶区域。

在一个示例中，所述区域标注装置100还可以包括：样本生成单元(未示出)，用于基于其中标注有所述可行驶区域的图像信息来生成所述训练样本。

上述区域标注装置100中的各个单元和模块的具体功能和操作已经在上面参考图1到图7B描述的区域标注方法中详细介绍，并因此，将省略其重复描述。

如上所述，本申请的实施例可以应用于对其上装备有成像器件的诸如交通工具、可移动机器人、固定监控摄像头之类的各种在线电子设备所处的行驶环境中的障碍物区域进行标注。并且，根据本申请实施例的区域标注方法和区域标注装置可以直接实现在上述在线电子设备上。但是，考虑到在线电子设备往往处理能力有限，所以为了获得更好的性能，也可以将本申请的实施例实现在能够与在线电子设备进行通信以向其传送训练好的机器学习模型的各种离线的电子设备中。例如，该离线的电子设备可以包括诸如终端设备、服务器等。

相应地，根据本申请实施例的区域标注装置100可以作为一个软件模块和/或硬件模块而集成到该离线的电子设备中，换言之，该电子设备可以包括该区域标注装置100。例如，该区域标注装置100可以是该电子设备的操作系统中的一个软件模块，或者可以是针对于该电子设备所开发的一个应用程序；当然，该区域标注装置100同样可以是该电子设备的众多硬件模块之一。

替换地，在另一示例中，该区域标注装置100与该离线的电子设备也可以是分立的设备，并且该区域标注装置100可以通过有线和/或无线网络连接到该电子设备，并且按照约定的数据格式来传输交互信息。

示例性电子设备

下面，参考图9来描述根据本申请实施例的电子设备。该电子设备可以是其上装备有成像器件的诸如交通工具、可移动机器人之类的在线电子设备，也可以是能够与在线电子设备进行通信以向其传送训练好的机器学习模型的离线的电子设备。

图9图示了根据本申请实施例的电子设备的框图。

如图9所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的区域标注方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如图像信息、深度信息、障碍物区域、可行驶区域、标注信息等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。应当注意，图9所示的电子设备10的组件和结构只是示例性的、而非限制性的，根据需要，电子设备10也可以具有其他组件和结构。

例如，该输入装置13可以是成像器件，用于采集图像信息，所采集的图像信息可以被存储在存储器12中以供其他组件使用。当然，也可以利用其他集成或分立的成像器件来采集该图像帧序列，并且将它发送到电子设备10。又如，该输入装置13也可以是深度传感器，用于采集深度信息，所采集的深度信息也可以被存储在存储器12中。此外，该输入设备13还可以包括例如键盘、鼠标、以及通信网络及其所连接的远程输入设备等等。

输出装置14可以向外部(例如，用户或机器学习模型)输出各种信息，包括确定出的行驶环境的障碍物区域、可行驶区域、训练样本等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图9中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的区域标注方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的区域标注方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (12)

1.一种区域标注方法，包括：

在生成用于训练机器学习模型的训练样本的过程中，获取成像器件所采集的行驶环境的图像信息，所述图像信息包括所述行驶环境的灰度或颜色信息；

获取与所述图像信息在时间上同步的深度传感器采集的所述行驶环境的深度信息，所述深度信息包括指示不同时间点所述行驶环境中的障碍物距当前车辆的距离的信息；以及

根据所述深度信息在所述图像信息中标注所述行驶环境中的障碍物区域，所述标注包括：

基于所述深度信息检测道路路面中存在的激光点簇；

将所述激光点簇的空间坐标进行转换并在所述图像信息中投射到道路路面的地平面上，获得障碍物与地平面的交点；以及

将所述交点以上的最大轮廓区域，标注为障碍物区域，

所述深度传感器是激光深度传感器。

2.如权利要求1所述的方法，其中，获取成像器件所采集的行驶环境的图像信息包括：

获取当前车辆的行驶方向中的道路路面的图像信息。

3.如权利要求2所述的方法，其中，获取与所述图像信息在时间上同步的深度传感器采集的所述行驶环境的深度信息包括：

确定所述成像器件采集所述图像信息的采集时间；以及

获取所述当前车辆的深度传感器在所述采集时间所采集的所述行驶方向中的道路路面的深度信息。

4.如权利要求3所述的方法，其中，根据所述深度信息在所述图像信息中标注所述行驶环境中的障碍物区域包括：

根据所述深度信息来判断在所述道路路面上是否存在障碍物；

响应于存在障碍物，根据所述障碍物的深度信息在所述图像信息中确定所述障碍物在所述道路路面上的投影区域；以及

将所述投影区域标注为所述道路路面上的障碍物区域。

5.如权利要求4所述的方法，其中，根据所述障碍物的深度信息在所述图像信息中确定所述障碍物在所述道路路面上的投影区域包括：

根据所述障碍物的深度信息和所述深度传感器的标定参数来确定所述障碍物相对于所述当前车辆的三维坐标；

将所述障碍物的三维坐标中的高度坐标设置为零，以生成向所述道路路面上投影后的三维坐标；以及

根据所述投影后的三维坐标和所述成像器件的标定参数来在所述图像信息中确定所述障碍物在所述道路路面上的投影区域。

6.如权利要求4或5所述的方法，其中，所述障碍物为以下各项中的至少一个：行人、动物、遗撒物、警示牌、隔离墩、和其他车辆。

7.如权利要求5所述的方法，还包括：

接收用户输入；

根据所述用户输入来确定所述道路路面的路面边界；以及

根据所述路面边界和所述障碍物区域来标注所述道路路面上的可行驶区域。

8.如权利要求7所述的方法，其中，根据所述路面边界和所述障碍物区域来标注所述道路路面上的可行驶区域包括：

根据所述路面边界确定所述道路路面上的路面区域；以及

从所述路面区域中去除所述障碍物区域，以获得所述可行驶区域。

9.如权利要求7或8所述的方法，还包括：

基于其中标注有所述可行驶区域的图像信息来生成所述训练样本。

10.一种区域标注装置，包括：

图像获取单元，用于在生成用于训练机器学习模型的训练样本的过程中，获取成像器件所采集的行驶环境的图像信息，所述图像信息包括所述行驶环境的灰度或颜色信息；

深度获取单元，用于获取与所述图像信息在时间上同步的深度传感器采集的所述行驶环境的深度信息，所述深度信息包括指示不同时间点所述行驶环境中的障碍物距当前车辆的距离的信息；以及

障碍标注单元，用于根据所述深度信息在所述图像信息中标注所述行驶环境中的障碍物区域，所述标注包括：

基于所述深度信息检测道路路面中存在的激光点簇；

将所述激光点簇的空间坐标进行转换并在所述图像信息中投射到道路路面的地平面上，获得障碍物与地平面的交点；以及

将所述交点以上的最大轮廓区域，标注为障碍物区域。

11.一种电子设备，包括：

处理器；

存储器；以及

存储在所述存储器中的计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-9中任一项所述的方法。

12.一种计算机程序产品，包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1-9中任一项所述的方法。

Images