CN110688943A

CN110688943A - 一种基于实际驾驶数据自动获取图像样本的方法和装置

Info

Publication number: CN110688943A
Application number: CN201910913456.XA
Authority: CN
Inventors: 朱敦尧; 周风明; 郝江波; 余洋
Original assignee: Wuhan Kotei Informatics Co Ltd
Current assignee: Wuhan Kotei Informatics Co Ltd
Priority date: 2019-09-25
Filing date: 2019-09-25
Publication date: 2020-01-14

Abstract

本发明实施例提供一种基于实际驾驶数据自动获取图像样本的方法和装置，包括：基于所需场景提取场景检索要素，基于所述检索要素和实际驾驶数据获取场景关键数据信息；基于所述场景关键数据信息所在时间与行车记录仪记录时间提取图像样本。先根据需求场景制定规则条件，根据条件筛选出特定场景，再根据筛选出的特定场景对应的时间，从行车记录仪中提取图像样本，可利用采集数据和行车记录仪信息，通过自动驾驶数据提取特定图像样本，获取想要的对应场景图像样本。

Description

一种基于实际驾驶数据自动获取图像样本的方法和装置

技术领域

本发明涉及自动驾驶领域，更具体地，涉及一种基于实际驾驶数据自动获取图像样本的方法和装置。

背景技术

随着移动互联网的流量天花板逐渐见顶，互联网与实体行业如农业、工业、建筑行业和服务行业等传统行业的数字融合将成为新的趋势，产业互联网结合5G和云计算等技术将加快实体经济转型。汽车作为产业互联网场景下必不可少的智能移动设备，随着新一代的汽车技术革命如新能源、智能网联、自动驾驶的创新，将结合不同落地场景打造可复制循环的商业模式闭环。

自动驾驶是指智能汽车通过安装配备在车上的传感器设备(包括2D摄影视觉感知、激光雷达、毫米波雷达等)感知汽车周围的驾驶环境，结合导航的高精度地图，进行快速的运算与分析，在不断模拟和深度学习潜在的路况环境并作出判断，进一步借助算法规划汽车最理想或最合适的行驶路线及方式，再通过芯片反馈给控制系统进行刹车、方向盘控制等实际操作动作。

目前自动驾驶已经处于高速发展的阶段，其对应系统的研发与测试也在迅速发展，但业界仍未就如何在现实世界中进行安全性测试达成一致。在现实道路中，因为未知的场景难以穷尽，那么在限定范围内的测试场景也因为道路、环境、交通参与者的组合众多而导致场景数量异常庞大，由于保密原因，路试采集系统的数据都是通过加密处理，无法直接快速的通过加密的视频及数据中提取想要的场景图像样本，训练自动驾驶算法。

发明内容

为了解决上述问题，本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的一种基于实际驾驶数据自动获取图像样本的方法和装置。

根据本发明实施例的第一方面，提供一种基于实际驾驶数据自动获取图像样本的方法，包括：

基于所需场景提取场景检索要素，基于所述检索要素和实际驾驶数据获取场景关键数据信息；

基于所述场景关键数据信息所在时间与行车记录仪记录时间提取图像样本。

作为优选的，基于所需场景提取场景检索要素前，还包括：

获取路试采集系统采集的实际驾驶数据，所述实际驾驶数据包括驾驶场景中的对象、路况、环境和行为。

作为优选的，所述对象包括自动驾驶典型场景中出现的其他人或车，以及其他影响行驶决策的或所有可自主运动的物体或动物；

所述路况为道路的特征以及交通管制的特征；

所述环境为自动驾驶典型场景中可变化的、依靠外界实时传输给自动驾驶汽车的环境因素；

所述行为为自动驾驶汽车本身的驾驶行为。

作为优选的，基于所需场景提取场景检索要素，具体包括：

提取所需场景中的目标对象、目标路况、目标环境和目标行为，将所述目标对象、目标路况、目标环境和目标行为作为检索要素，制定检索规则。

作为优选的，基于所述检索要素和实际驾驶数据获取场景关键数据信息，具体包括：

基于所述检索要素，提取实际驾驶数据中满足目标对象、目标路况、目标环境和目标行为的场景关键数据信息。

作为优选的，基于所述场景关键数据信息所在时间与行车记录仪记录时间提取图像样本，具体包括：

获取场景关键数据信息所在时间，并找到场景关键数据信息所在时间对应的行车记录仪信息，基于所述新车记录仪信息提取图像样本。

作为优选的，并找到场景关键数据信息所在时间对应的行车记录仪信息，具体包括：

若判断获知场景关键数据信息所在时间与行车记录仪时间存在误差，则修正误差，并找到修正误差后场景关键数据信息所在时间对应的行车记录仪信息，基于所述新车记录仪信息提取图像样本；

若判断获知场景关键数据信息所在时间与行车记录仪时间不存在误差，则并找到场景关键数据信息所在时间对应的行车记录仪信息，基于所述新车记录仪信息提取图像样本。

根据本发明实施例的第二方面，提供了一种基于实际驾驶数据自动获取图像样本的装置，包括关键数据提取模块和图像样本提取模块；

关键数据提取模块，用于基于所需场景提取场景检索要素，基于所述检索要素和实际驾驶数据获取场景关键数据信息；

图像样本提取模块，用于基于所述场景关键数据信息所在时间与行车记录仪记录时间提取图像样本。

根据本发明实施例的第三方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如第一方面的各种可能的实现方式中任一种可能的实现方式所提供的基于实际驾驶数据自动获取图像样本的方法。

根据本发明实施例的第四方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面的各种可能的实现方式中任一种可能的实现方式所提供的基于实际驾驶数据自动获取图像样本的方法。

本发明实施例提供的一种基于实际驾驶数据自动获取图像样本的方法和装置，先根据需求场景制定规则条件，根据条件筛选出特定场景，再根据筛选出的特定场景对应的时间，从行车记录仪中提取图像样本，可利用采集数据和行车记录仪信息，通过自动驾驶数据提取特定图像样本，获取想要的对应场景图像样本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。

图1为本发明实施例提供的基于实际驾驶数据自动获取图像样本的方法的流程示意图；

图2为本发明实施例提供的电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

场景是自动驾驶测试系统中相当重要的一环，测试场景的多样性、覆盖性、典型性等能够影响测试结果的准确性，从而保证自动驾驶的安全与质量。

场景，指的是行驶场合和驾驶情景的组合，它受行驶环境的深刻影响，如道路、交通、天气、光照等因素，共同构成整个场景概念。场景是在一定时间和空间范围内环境与驾驶行为的综合反映，描述了道路、交通设施、气象条件、交通参与物等外部状态以及自车的驾驶任务和状态等信息。从场景架构来看，有不同的行驶场合，像高速公路、乡村道路、城市工况、机场、码头、封闭园区等；在该场合下，如何驾驶、驾驶任务、驾驶速度、驾驶模式等一起构成了整个场景的三维架构。

因此，本发明实施例提供的一种基于实际驾驶数据自动获取图像样本的方法和装置，先根据需求场景制定规则条件，根据条件筛选出特定场景，再根据筛选出的特定场景对应的时间，从行车记录仪中提取图像样本，可利用采集数据和行车记录仪信息，通过自动驾驶数据提取特定图像样本，获取想要的对应场景图像样本。以下将通过多个实施例进行展开说明和介绍。

如图1中所示，本发明实施例提供了一种基于实际驾驶数据自动获取图像样本的方法，包括：

在本实施例中，作为一种优选的实施方式，先根据需求场景制定规则条件，根据条件筛选出特定场景，再根据筛选出的特定场景对应的时间，从行车记录仪中提取图像样本，可利用采集数据和行车记录仪信息，通过自动驾驶数据提取特定图像样本，获取想要的对应场景图像样本。

在上述实施例的基础上，基于所需场景提取场景检索要素前，还包括：

自动驾驶汽车上路行驶时要面临各种各样错综复杂的环境，测试体系不可能对其一一穷尽，因此可以按照一定的分类方法将各种测试场景进行分类划归，在本实施例中，作为一种优选的实施方式，将自动驾驶典型场景中的因素分为对象、路况、环境和行为。

在上述各实施例的基础上，对象包括自动驾驶典型场景中出现的其他人或车，以及其他影响行驶决策的或所有可自主运动的物体或动物；

路况为道路的特征以及交通管制的特征；

环境为自动驾驶典型场景中可变化的、依靠外界实时传输给自动驾驶汽车的环境因素；

行为为自动驾驶汽车本身的驾驶行为。

在本实施例中，作为一种优选的实施方式，将对象定义为场景(自动驾驶场景)里出现的其他人或车，以及其他影响行驶决策的或是所有可能自主运动的物体或动物。这一方面主要依赖自动驾驶的各种传感器，包括毫米波雷达雷达、摄像头、超声波探头、激光雷达等，同时也要进行大量的实时计算，预测对方下一秒的前进方向。如：

物体类型：如路灯、垃圾箱、路牌等；

对象移动速度：静止、低速移动(如骑自行车的人)、高速移动(如飞驰的汽车)；

对象移动方向：在自动驾驶汽车的左边还是右边，移动相对角度是多少；

对象数量：如果看到很多辆警车停在路边，或是遇到一群鸭子过马路，都需要减慢速度；

环境意识：对于有生命的对象，自动驾驶车也需要判断该对象有没有在仔细看路，比如酒驾的司机、5岁的小孩、一边走路一边看手机的年轻人。

在本实施例中，作为一种优选的实施方式，将路况定义为道路的特征以及交通管制的特征，不会随环境变化而变动，自动驾驶车都可以提前预知，主要通过提前绘制好的地图自主定位。

例如：

交叉口设计：十字路口、T型路口、Y型路口；

交通管制方式：红绿灯样式、停车牌、避让牌；

车道数量：单车道、4车道；

车道线：有分割线、无分割线；

车道类型：自行车道、公交车道、超车道；

限速：25mph，商业区限速、居民区限速；

马路类型：高速、普通路、小路；

角度：上坡、下坡、颠簸；

区域：学校区、医院区、山区、施工区。

环境是场景必不可少的元素，很大程度上决定了自动驾驶汽车能否上路。在本实施例中，作为一种优选的实施方式，将环境定义为所有可能变化的环境因素，其很多数据需要依赖外界实时传给自动驾驶汽车。

例如：

天气：降雨量、风速、温度、能见度；

光照：阴天、日出日落时间、太阳光角度；

路面：结冰、积水、施工；

信号：5G信号强弱(地道里的信号可能会很差)；

噪音：周围噪音会影响行人或其他车辆听到自动驾驶汽车发出的信号。

在本实施例中，作为一种优选的实施方式，将行为定义为自动驾驶汽车本身的行为，这方面的数据主要依靠路径规划。

例如：

驾驶方向：直行、倒车、U型掉头、左转、右转、弧线、离开车道、并入车道；

速度：静止、低速行驶、高速行驶；

加速度：加速、减速、匀速；

信号：自动驾驶汽车发出的视觉信号和声音信号等。

在上述各实施例的基础上，所述对象包括自动驾驶典型场景中出现的其他人或车，以及其他影响行驶决策的或所有可自主运动的物体或动物；

所述路况为道路的特征以及交通管制的特征；

所述行为为自动驾驶汽车本身的驾驶行为。

在上述各实施例的基础上，基于所需场景提取场景检索要素，具体包括：

在上述各实施例的基础上，基于所述检索要素和实际驾驶数据获取场景关键数据信息，具体包括：

在上述各实施例的基础上，基于所述场景关键数据信息所在时间与行车记录仪记录时间提取图像样本，包括：计算场景关键数据信息和行车记录数据是否存在误差，不存在误差，找到对应的行车记录数据提取样本，存在误差修正后提取，具体的：

在上述各实施例的基础上，并找到场景关键数据信息所在时间对应的行车记录仪信息，具体包括：

根据本发明实施例的第二方面，提供了一种基于实际驾驶数据自动获取图像样本的装置，基于上述各实施例中的基于实际驾驶数据自动获取图像样本的方法，包括关键数据提取模块和图像样本提取模块；

本发明实施例提供了本发明实施例提供了一种电子设备，如图2所示，该设备包括：处理器(processor)501、通信接口(Communications Interface)502、存储器(memory)503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。处理器501可以调用存储器503上并可在处理器501上运行的计算机程序，以执行上述各实施例提供的基于实际驾驶数据自动获取图像样本的方法，例如包括：

此外，上述的存储器503中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于实际驾驶数据自动获取图像样本的方法，例如包括：

综上所述，本发明实施例提供的一种基于实际驾驶数据自动获取图像样本的方法和装置，先根据需求场景制定规则条件，根据条件筛选出特定场景，再根据筛选出的特定场景对应的时间，从行车记录仪中提取图像样本，可利用采集数据和行车记录仪信息，通过自动驾驶数据提取特定图像样本，获取想要的对应场景图像样本。

以上所描述的电子设备等实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种基于实际驾驶数据自动获取图像样本的方法，其特征在于，包括：

2.根据权利要求1所述的基于实际驾驶数据自动获取图像样本的方法，其特征在于，基于所需场景提取场景检索要素前，还包括：

3.根据权利要求2所述的基于实际驾驶数据自动获取图像样本的方法，其特征在于，所述对象包括自动驾驶典型场景中出现的其他人或车，以及其他影响行驶决策的或所有可自主运动的物体或动物；

所述路况为道路的特征以及交通管制的特征；

所述行为为自动驾驶汽车本身的驾驶行为。

4.根据权利要求3所述的基于实际驾驶数据自动获取图像样本的方法，其特征在于，基于所需场景提取场景检索要素，具体包括：

5.根据权利要求4所述的基于实际驾驶数据自动获取图像样本的方法，其特征在于，基于所述检索要素和实际驾驶数据获取场景关键数据信息，具体包括：

6.根据权利要求1所述的基于实际驾驶数据自动获取图像样本的方法，其特征在于，基于所述场景关键数据信息所在时间与行车记录仪记录时间提取图像样本，具体包括：

7.根据权利要求6所述的基于实际驾驶数据自动获取图像样本的方法，其特征在于，并找到场景关键数据信息所在时间对应的行车记录仪信息，具体包括：

8.一种基于实际驾驶数据自动获取图像样本的装置，其特征在于，包括关键数据提取模块和图像样本提取模块；

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。