CN111098850A - 一种自动停车辅助系统及自动泊车方法 - Google Patents

Abstract

本发明涉及一种智能驾驶领域，具体涉及一种自动停车辅助检测系统及自动停车方法；现有技术中的自动停车系统或是特征表达能力较弱或是不能直接提供一个车位的完整结构信息；本发明提供了一种自动停车辅助系统，其通过待检测图像输入到所述道路图像模型中，得到道路图像的语义信息，并根据其中的语义特征进行实时地图构建及高精度定位。同时利用视觉信息及超声波进行空白车位检测，依托高精度定位技术对车辆泊车路径进行精确控制，完成泊车过程。

Description

一种自动停车辅助系统及自动泊车方法

技术领域

本发明涉及一种智能驾驶领域，具体涉及一种自动泊车辅助检测系统及自动停车方法。

背景技术

随着科学技术的发展，自动驾驶、无人车等新兴概念应运而生。自动泊车系统是自动驾驶技术中一个不可或缺的部分，汽车工业界对发展自动泊车系统的兴趣也在逐渐提升。事实上，智能泊车辅助系统最早在2003年就在一些车辆上得到应用，近年来相关技术在不断发展。具体的，车辆的摄像头或者超声波等传感器可以感知车辆当前所处的环境，采用停车位检测技术对传感器获取的车辆周围环境信息进行处理，可以获取附近的空白停车位的位置信息，进而自动规划泊车路线进行停车。对这样的系统而言，怎样精准有效地检测、定位车辆附近的停车位是一个关键的问题，仍有待于进一步的研究。

现有的泊车系统，有一类是基于超声波传感器的，这类方法通常在离车位很近之后利用超声波传感器进行空车位检测及定位，然后规划路径进行泊车。此类方法，由于超声波定位的局限性，仅能处理垂直车位或水平车位，同时需要驾驶员将车辆停到车位旁，然后借助超声波进行粗略定位，从而实现泊车。

此外，还有一些基于车辆上摄像头拍摄的图像的方法，对车辆附近地面图像进行分析，从中提取停车位，来对泊车过程进行指导，这种方法依赖于停车位检测算法。对于通用的停车位检测算法，一类通常利用底层边缘及角特征，基于人工构造规则来提取车位框，其特征表达能力较弱，基于规则的方法很难延伸到多样的停车位形态；另一类方法基于目标检测技术，使用一个方框来检测、提取车位，这类方法无法处理斜向停车位，而且对停车位边界框的定位也很不精确；还有一类方法通过整合停车位分隔点和分隔线的检测信息找到停车位的位置，这类方法不能直接提供一个车位的完整结构信息且较难给出车位是否可停的信息。

发明内容

有鉴于此，本申请提出了一种基于多源传感器融合的自动泊车辅助系统。本发明利用环视俯瞰图，使用深度学习方法对其进行语义特征提取，并根据语义特征进行实时地图构建及高精度定位。同时利用视觉信息及超声波进行空白车位检测，依托高精度定位技术对车辆泊车路径进行精确控制，完成泊车过程。

本发明提供了一种自动停车辅助系统，其特征在于：所述系统包括道路图像检测模型，所述道路图像检测模型是经过道路样本图像训练的神经网络；

所述系统通过将待检测图像输入到所述道路图像模型中，得到道路图像的语义信息；

所述系统还包括地图构建模块，所述地图构建模块对所述语义信息进行跟踪，通过图像优化方法估计车辆位姿并构建地图；

所述系统还包括定位模块，所述定位模块根据当前观测语义信息与地图匹配进行定位。

优选地，所述语义信息包括车道线、车位线、障碍物。

优选地，所述神经网络是RefineNet。

优选地，所述定位模块利用不同传感器的特性采用视觉、轮速计融合的方法进行匹配定位。

优选地，所述语义信息进行跟踪具体表示为：不同时刻满足以下关系：

其中，P_i为i时刻的车辆位姿，

为i时刻的观测到的视觉特征的位置，X_j为i时刻观测数据

在地图中的位置。

本发明还提供了一种利用自动停车辅助系统进行自动停车的方法，其特征在于所述方法包括以下步骤：

步骤S1：获取当实时道路图像；

步骤S2：将实时道路图像输入到所述道路图像检测模型中，得到道路图像的语义信息；

步骤S3：对不同时刻的语义信息进行跟踪，通过图像优化方法估计车辆位姿并构建地图；

步骤S4：根据当前观测语义特征与地图匹配进行定位；

步骤S5：判断车位空闲状况，规划路径自动泊车。

优选地，所述语义信息包括车道线、车位线、障碍物。

优选地，所述神经网络是RefineNet。

优选地，在步骤S5中，使用多种传感器判断停车位空闲状况，获取候选停车位，利用所述地图对停车路径进行规划，最终完成自动停车。

优选地，在步骤S4中，利用不同传感器的特性采用视觉、轮速计融合的方法进行匹配定位。

优选地，将所述道路样本图像输入初始神经网络模型，利用所述道路样本图像以有监督学习方式对所述初始神经网络模型进行微调，得到道路图像检测模型。

本发明的发明点在于以下几个方面，但也不限于下述的几个方面：

(1)基于深度卷积神经网络，利用预先训练好的道路图像语义信息检测模型，对车辆摄像头实时获取的道路图像进行语义分割识别，提取实时道路图像中的车道线、车位线、障碍物等信息。这里的语义分割是指从像素级别对图像进行分割并识别其内容，在语义分割中我们需要将视觉输入分为不同的语义可解释类别。语义的可解释性即分类类别在真实世界中是有意义的。例如，我们可能需要区分图像中属于汽车的所有像素，并把这些像素涂成蓝色。所述的道路图像语义信息检测模型能够以端到端的方式提取实时道路图像语义特征并进行学习，可以最大程度上发挥大数据的效用；

(2)充分利用视觉以及其他多源传感器，可以实现实时建图及高精度匹配定位以及处理任意角度的车位；现有的建图方案有利用多源传感器的，但并没有与本申请中视觉图像信息结合使用，更没有将多源传感器的信息与视觉图像语义信息相匹配使用。本发明中使用语义信息跟踪，由

得到观测数据

在地图中的位置，再由该得到的位置结合多源传感器例如轮速计等进行匹配定位。

(3)采用RefineNet神经网络，因为可以在修改其部分结构后，对其进行微调。使用RefineNet神经网络带来了极大的灵活性，能够适时的调整计算模型，以适应多种实际泊车情况下的计算。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1为本申请实施例中一种道路图像语义信息检测模型的训练方法的流程图；

图2为对道路图像进行语义分割标注的示意图；

图3为车辆获取的环视俯瞰图及对其进行标注的示意图；

图4为本申请实施例中一种自动泊车方法的流程图；

图5为本申请实施例中构建地图与车辆定位的算法流程图。

具体实施例

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。

本申请实例提供了一种道路图像语义信息检测模型的训练方法和基于该道路图像语义信息检测模型的自动泊车方法。上述道路图像语义信息检测模型以及自动泊车方法，可以应用于终端、服务器或者二者的结合。其中，终端可以是现有的、正在研发的或将来研发的、能够通过任何形式的有线和/或无线连接(例如，Wi-Fi、LAN、蜂窝、同轴电缆等)实现与服务器交互的任何用户设备，包括但不限于：现有的、正在研发的或将来研发的智能手机、非智能手机、平板电脑、膝上型个人计算机、桌面型个人计算机、小型计算机、中型计算机、大型计算机等。本申请实施例中服务器可以是现有的、正在研发的或将来研发的、能够向用户提供信息推荐的应用服务的设备的一个实例。本申请的实施方式在此方面不受任何限制。

下面结合附图对本申请实施例的具体实现方式进行介绍。

首先，对本申请实施例中提供的一种道路图像语义信息检测模型的训练方法的具体实现方式进行介绍。

图1所示为本申请实例提供的一种道路图像语义信息检测模型的训练方法的流程图，应用于自动驾驶领域，参见图1，该方法包括：

步骤101：获取道路样本图像，所述道路样本图像标注有语义特征信息。

道路样本图像可以视为用于训练道路图像语义信息检测模型的样本图像。本申请实施例中，训练模型采用了有监督的训练方式，因而，道路样本图像中标注有语义特征信息。通过标注语义特征信息，可以加快模型训练的速率，提高模型检测的准确率。

为了解释语义特征，下面先对语义分割进行介绍。语义分割是计算机视觉中的基本任务，在语义分割中我们需要将视觉输入分为不同的语义可解释类别，“语义的可解释性”即分类类别在真实世界中是有意义的。图像理解的关键在于将一个整体场景分解成几个单独的实体，这也有助于我们推理目标的不同行为。目标检测方法可以帮助我们绘制某些确定实体的边框，但人类对场景的理解能以像素级的精细程度对每一个实体进行检测并标记精确的边界。我们已经开始发展自动驾驶汽车和智能机器人，这些都需要深入理解周围环境，因此精确分割实体变得越来越重要。例如，我们可能需要区分图像中属于汽车的所有像素，并把这些像素涂成蓝色。一个对道路图像进行语义特征标注的示例如图2所示。

在本申请实施例的一些可能的实现方式中，我们所处理的图像可以是由位于车身的前部、左侧、后部、右侧等位置的摄像头所获取到的图像进行拼合所得到的环视俯瞰图。所述的摄像头可以是特定的鱼眼相机，相机系统事先进行标定，使得四个鱼眼相机采集的图像可拼接为环视俯瞰图，而图像的中心位置为车辆所在的位置，其余位置为潜在的停车区域，如图3所示。在本申请实例的一些可能的实现方式中，可以采用语义掩码的方式对车位线、车道线、障碍物等进行标注。在本申请实施例的一些可能的实现方式也可以采用其他方式进行标注。

在本申请实施例中，可以预先建立样本库，从样本库中获取样本图像。其中，样本库可以采用公开的数据集中的图像，也可以从车辆的存储设备中获取车辆的摄像头所采集的图像，对图像中的车位区域进行标注，从而建立样本库。在有些情况下，也可以直接获取样本图像，例如，直接获取车辆的摄像头实时采集的图像，对图像的车位区域进行标注，将标注后的图像作为样本图像。

步骤102：将所述道路图像输入到预先建立的初始神经网络模型。

在获取到道路样本图像后，可以将道路样本图像输入到预先建立的初始神经网络模型，以便利用道路样本图像对初始神经网络模型进行训练。

在本申请实施例的一些可能的实现方式中，在将道路样本图像输入预先建立的初始神经网络模型之前，还可以将道路样本图像缩放至预设尺寸。如此，可以使得初始神经网络模型对同一尺寸的道路样本图像进行学习，从而能够更快速、更准确地对道路样本进行处理，提高模型的训练效率。

步骤103：利用所述样本图像训练所述神经网络模型，得到道路图像语义信息检测模型。

为了便于理解，首先对神经网络模型的概念进行简单介绍。神经网络是由大量的、简单的处理单元广泛地互相连接而形成的网络系统，它是一个高度复杂的非线性动力学习系统，具有大规模并行、分布式存储和处理、自组织、自适应和自学能力。神经网络模型即为基于神经网络建立的一种数学模型，基于神经网络模型的强大的学习能力，神经网络模型在许多领域都得到广泛的应用。

其中，在图像处理和模式识别领域，常常采用卷积神经网络模型进行模式识别。由于卷积神经网络模型中的卷积层局部连接以及权值共享的特性，使得需要训练的参数大大减少，简化了网络模型，提高了训练效率。经过近几年的快速发展，目前卷积神经网络在语义分割领域也有了一系列突破性的进展，可以实现像素级别的分割。对于图像中的多个同类物体，语义分割会将这多个物体整体的所有像素预测为同一类别。

在一个道路图像中，可能存在多种类别，如前面所述的车道线、车位线、障碍物等。通过语义分割，我们可以提取出这些不同类型的语义特征，使其具有不同的标注信息。

具体到本实施例，可以采用在语义分割领域内取得较好结果的网络作为初始神经网络模型，如RefineNet、PSPNet等，对其输出类别数量及可能需要修改的其他部位的结构做出相应的修改，利用道路样本图像，采用微调的方法，对神经网络模型进行训练。具体为初始神经网络模型中的卷积层充分学习道路样本图像中语义特征，根据学习到的道路样本图像的相关特征，初始神经网络模型中的全连接层可以对相关特征进行映射，得到不同语义的分割结果，将语义分割的识别结果与道路样本图像预先标注的语义特征进行比较，可以对初始神经网络模型的参数进行优化，当初始神经网络模型经过较多训练样本的迭代训练后，可以获得道路图像语义信息检测模型。

由上可知，本申请提供了一种道路图像语义信息检测模型的训练方法。获取道路样本图像，道路样本图像中标注有语义特征，将道路样本图像输入初始神经网络模型，利用道路样本图像以有监督学习方式对初始神经网络模型进行微调，得到道路图像语义信息检测模型。采用标注有停车位区域的道路样本图像对初始神经网络模型进行训练，大量的道路样本图像可以使得训练得到的道路图像语义信息检测模型在对停车位区域进行预测时具有较高的准确度和效率。

基于上述实施例中提供的一种道路图像语义信息检测模型的训练方法，本申请实施例中还提供了一种基于所述道路图像语义信息检测模型的道路图像语义信息检测方法。

接下来，结合附图对本申请实施例中提供的一种自动泊车方法进行详细说明。

图4为本申请实施例中提供的一种自动泊车方法的流程图，该方法应用于自动驾驶领域，参见图4，该方法包括：

步骤401：获取当前道路图像。

当前道路图像指的是车辆当前所处位置周围的图像，因为在实际中，此自动泊车方法总要在车辆准备进行停车的操作时才会被利用到，此时车辆所处位置周围应当存在停车位。

可以理解，当前道路图像可以是实时获取的道路图像。在本申请实施例的一些可能的实现方式中，可以对车辆的前视、左视、后视、右视摄像头拍摄到的图像进行去失真、拼合的操作，将得到的环视俯瞰图作为当前道路图像。在一些可能的实现方式中，也可能存在更多或更少的摄像头，或者可以通过车辆的环视摄像头拍摄车辆所在位置附近的道路图像，从而获取当前道路图像。

以上仅为获取当前道路图像的一些具体示例，本申请对当前道路图像的获取不做限定，可以根据需求采取不同的实现方式。

步骤402：将当前道路图像输入到道路图像语义信息检测模型，得到车道线、车位线、障碍物等语义特征。

所述道路图像语义信息检测模型是根据上述实施例中提供的道路图像语义信息检测模型的训练方法生成的道路图像语义信息检测模型。

将当前道路图像输入到道路图像语义信息检测模型后，道路图像语义信息检测模型可以通过对当前道路图像进行特征提取，并对提取到的特征进行映射，得到表征各语义特征区域的类别掩码图像，该类别掩码即为道路图像语义信息检测模型的输出结果，此结果是对当前道路图像进行的像素级的分割，一个区域表示一个语义类别。其中对提取到的特征进行映射，再得到表征各语义特征区域的类别掩码图像，将该类别掩码图像进行输出可以更准确的为后续进行语义类别划分提供基础，这是本发明的创新点之一。

步骤403：对不同时刻的语义信息进行跟踪，通过图优化方法估计车辆位姿并构建地图。

在步骤402中我们通过将当前道路图像输入到道路图像语义信息检测模型，得到语义特征信息。进一步地，我们可以通过将问题转化为一个优化问题，解决这个优化问题来对求解车辆当前位姿。

设P_i为i时刻的车辆位姿，

为i时刻的观测到的视觉特征的位置，X_j为i时刻观测数据

在地图中的位置。可以理解，这些数据满足以下关系：

不同时刻观测数据满足以下关系：

也就是说，一个特征点在一个地图中的位置在不同时刻应当是相同的。我们建立以下优化问题：

P_i*Aⁱ＝P_i+1*Aⁱ⁺¹

P_i+1＝argmin(||P_i*Aⁱ-P_i+1*Aⁱ⁺¹||²)

把φ＝||P_i*Aⁱ-P_i+1*Aⁱ⁺¹||²也就是实际误差的二范数作为目标函数进行求解，当前时刻的位姿作为优化变量。改变优化变量，误差平方和就会相应地变大或变小，我们可以用数值方法求它们的梯度和二阶梯度，然后用梯度下降法求最优值：

上述的两个矩阵即为雅各布矩阵与海森矩阵。因为每个视觉特征往往不可能出现在所有运动过程中，通常只出现在小部分图像里，因此上述两个矩阵是稀疏矩阵，可以用稀疏代数的方法进行求解。对所述优化问题而言，也可以采用其他方法对其进行求解，这里对求解方法不做限定。上述得到的结果也就是根据以前时刻车辆位姿估计的当前车辆位姿。

根据车辆行驶的连续性，时间邻域中不同时刻的共视观测信息提供了局部定位的可能性，而非共视信息完成了局部地图的扩展。随着时间的推移，车辆驶过的区域扩大，不同局部地图进行融合，形成全局地图。

步骤404：根据当前观测语义特征与地图匹配进行定位。

在构建完地图之后，车辆在泊车过程中只需根据当前观测到的语义信息同构建好的地图进行匹配定位，这是一个迭代的过程。车辆行驶过程中，位姿不断变化，在信息输入方面体现在观测数据的变化，从观测数据获取的语义特征可以帮助我们在地图中进行语义特征的匹配，从而完成定位。这里的语义特征属于语义信息，这里语义特征指地图中于自动驾驶相关的特殊标志图形的特征。图5所示为本算法实现定位的流程图。

在车辆定位过程中，可能遇到视觉语义信息不足的情况，为保证定位精度以及车辆轨迹的平滑性，采用视觉、轮速计融合的方案，充分利用不同传感器的特性。

步骤405：判断车位空闲状况，规划路径自动泊车。

根据以上步骤，我们建立了车辆行驶区域的全局地图，并准确定位了车辆位置。在通过视觉信息构建全局地图与精准定位的同时，对停车位区域的空闲情况进行判断。这里判断停车位空闲状况可以采用多种方法。例如，通过对道路图像语义特征进行联合分析，若停车位区域不存在障碍物，则将其判别为空闲；也可以通过超声波传感器进行障碍物检测。这里我们不对停车位空闲状况检测的方法做限定。

当车位空闲，且其位置满足停车要求时，将其识别为候选停车位。找到候选停车位后，在建立的地图中进行路径规划，并利用自动驾驶技术进行自动泊车。在泊车过程中，利用高精度定位实时动态调整路径，最终完成车辆停泊。

由上可知，本申请实施例中提供了一种自动泊车方法，通过将当前道路图像输入到预先训练的道路图像语义信息检测模型，基于道路图像语义信息检测模型的输出结果，可以确定当前道路图像中的语义特征。根据道路图像语义特征，通过建立优化问题，我们可以得到车辆当前位姿，并构建全局地图。使用多种传感器判断停车位空闲状况，获取候选停车位，利用全局地图对停车路径进行规划，最终完成自动泊车。

以上实施例，主要是以卷积神经网络模型作为神经网络模型进行训练得到道路图像语义信息检测模型，并基于该道路图像语义信息检测模型对当前道路图像中的语义特征进行检测。而随着机器学习的不断发展，卷积神经网络模型也在不断发展。具体的，基于所要训练的模型的功能以及该模型所要处理的数据，可以采用不同类型的卷积神经网络作为初始神经网络。常见的用于语义分割领域的卷积神经网络包括FCN、SegNet、RefineNet、PSPNet、DFN等。在一些可能的实现方式中，优选采用RefineNet作为初始神经网络模型，因为可以在修改其部分结构后，对其进行微调，得到道路图像语义信息检测模型。也可以采用其他神经网络或者自行设计适合的神经网络。

由此可见，本申请实施例提供了一种基于多源传感器融合的自动泊车方法。获取道路样本图像，道路样本图像中标注有停车位区域，将道路样本图像输入初始神经网络模型，利用道路样本图像以有监督学习方式对初始神经网络模型进行微调，得到道路图像语义信息检测模型。采用标注有语义特征的道路样本图像对初始神经网络模型进行训练，大量的道路样本图像可以使得训练得到的道路图像语义信息检测模型在对语义特征进行分割时具有较高的准确度和效率。通过将当前道路图像输入到预先训练的道路图像语义信息检测模型，基于道路图像语义信息检测模型的输出结果，可以确定当前道路图像中的语义特征。根据道路图像语义特征，通过建立优化问题，我们可以得到车辆当前位姿，并构建全局地图。使用多种传感器判断停车位空闲状况，获取候选停车位，利用全局地图对停车路径进行规划，最终完成自动泊车。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例中所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

Claims (10)

1.一种自动停车辅助系统，其特征在于：所述系统包括道路图像检测模型，所述道路图像检测模型是经过道路样本图像训练的神经网络；

所述系统通过将待检测图像输入到所述道路图像模型中，得到道路图像的语义信息；

所述系统还包括地图构建模块，所述地图构建模块对所述语义信息进行跟踪，通过图像优化方法估计车辆位姿并构建地图；

所述系统还包括定位模块，所述定位模块根据当前观测的所述语义信息与地图匹配进行定位。

2.根据权利要求1所述的系统，其特征在于：所述语义信息包括车道线、车位线、障碍物。

3.根据权利要求1-2中任一项所述的系统，其特征在于：所述神经网络是RefineNet。

4.根据权利要求1-3中任一项所述的系统，其特征在于：所述定位模块利用不同传感器的特性采用视觉、轮速计融合的方法进行匹配定位。

5.根据权利要求1-4中任一项所述的系统，其特征在于：所述语义信息进行跟踪具体表示为：不同时刻满足以下关系：

其中，P_i为i时刻的车辆位姿，

为i时刻的观测到的视觉特征的位置，X_j为i时刻观测数据

在地图中的位置。

6.利用权利要求1-5任一项所述的自动停车辅助系统进行自动停车的方法，其特征在于所述方法包括以下步骤：

步骤S1：获取当前实时道路图像；

步骤S2：将所述当前实时道路图像输入到所述道路图像检测模型中，得到道路图像的语义信息；

步骤S3：对不同时刻的所述语义信息进行跟踪，通过图像优化方法估计车辆位姿并构建地图；

步骤S4：根据当前观测的所述语义信息与地图匹配进行定位；

步骤S5：判断车位空闲状况，规划路径自动泊车。

7.根据权利要求6所述的方法，其特征在于：所述语义信息包括车道线、车位线、障碍物。

8.根据权利要求6所述的方法，其特征在于：所述神经网络是RefineNet。

9.根据权利要求6所述的方法，其特征在于：在步骤S5中，使用多种传感器判断停车位空闲状况，获取候选停车位，利用所述地图对停车路径进行规划，最终完成自动停车。

10.根据权利要求6所述的方法，其特征在于：在步骤S4中，利用不同传感器的特性采用视觉、轮速计融合的方法进行匹配定位。

Images