CN110796024B - 一种针对失效样本的自动驾驶视觉感知测试方法和装置 - Google Patents

Abstract

本发明实施例提供一种针对失效样本的自动驾驶视觉感知测试方法和装置，以感知失效样本为核心，通过失效场景定义、失效图片抽取、失效图片学习、HIL测试构建等多项技术点有机结合，实现视觉感知的快速、有效验证；有效利用已有的自然驾驶影像数据库，是测试系统的原始数据源，测试系统通过迭代更新的方式保证数据库的不断增加式更新；视觉感知的样本集来源于同类和自身的失效样本，针对性强，通过对失效样本的大量分析，总结提炼失效场景，有效性大大提升，通过预检测和正式检测的分阶段实施，可快速提升测试进度，仅对提炼的特定样本进行标注和测试验证，效率大大提高。

Description

一种针对失效样本的自动驾驶视觉感知测试方法和装置

技术领域

本发明涉及自动驾驶领域，更具体地，涉及一种针对失效样本的自动驾驶视觉感知测试方法和装置。

背景技术

随着移动互联网的流量天花板逐渐见顶，互联网与实体行业如农业、工业、建筑行业和服务行业等传统行业的数字融合将成为新的趋势，产业互联网结合5G和云计算等技术将加快实体经济转型。汽车作为产业互联网场景下必不可少的智能移动设备，随着新一代的汽车技术革命如新能源、智能网联、自动驾驶的创新，将结合不同落地场景打造可复制循环的商业模式闭环。

自动驾驶是指智能汽车通过安装配备在车上的传感器设备(包括2D摄影视觉感知、激光雷达、毫米波雷达等)感知汽车周围的驾驶环境，结合导航的高精度地图，进行快速的运算与分析，在不断模拟和深度学习潜在的路况环境并作出判断，进一步借助算法规划汽车最理想或最合适的行驶路线及方式，再通过芯片反馈给控制系统进行刹车、方向盘控制等实际操作动作。

目前自动驾驶已经处于高速发展的阶段，而智能化尤为火热。感知、融合、决策、控制、执行是智能化的各个阶段，感知作为汽车的眼睛、耳朵尤为重要。据市场调查报告显示，2019一季度的前置摄像头安装同比增长71.7％。依托视觉传感器的效果、成本优势，大量的ADAS及L3以上功能倾向于单个或多个视觉感知来实现，通过视觉对自车周边交通世界进行结构化，如人车、车线、标识牌、泊车位等，进而为控制单元提供准确信息。

然而摄像头作为光学组件，较易受到光线影响，且交通世界类型千奇百怪，视觉需要强大的训练作为机器学习、AI的后盾。即使是全球领先的摄像头企业，也面临如下几个问题：1.如何获取足够多的原始影像集；2.如何从影像中找到样本集；3.如何在样本集中挑选合适的训练集；4.如何快速且精准地实现样本集标注；5.如何投入最少的成本对带标注的训练集和测试集开展验证。现有技术更多是解决某单一问题的方法，如仅关注标注的实施流程或对象，未考虑被标注内容的代表性；仅关注对品质的提升，未考虑投入的精减；仅关注标注本身的效率提升，未关注被标注内容的快速获取；仅关注单一批次的技术实现，未有效利用历史数据的迭代优化。并没有从“多、快、好、省”的整体角度提出一套完整的测试系统。导致现阶段很多Tier1及车厂，受限于感知测试成本投入大、效果不理想、耗时太漫长等因素，迟迟未有较大进展。

发明内容

为了解决上述问题，本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的一种针对失效样本的自动驾驶视觉感知测试方法和装置。

根据本发明实施例的第一方面，提供一种针对失效样本的自动驾驶视觉感知测试方法，包括：

以自动驾驶视觉感知失效图片作为原始输入，对被测视觉感知产品进行硬件在环HIL环境预检测，得到被测产品预检测失效样本；

基于已训练的失效图片扩充检索模型，获取自然驾驶影像数据库中与被测产品预检测失效样本特征匹配的自动驾驶视觉感知失效扩充图片，并基于所述自动驾驶视觉感知失效扩充图片对被检测视觉感知产品进行HIL环境正式检测。

作为优选的，以自动驾驶视觉感知失效图片作为原始输入前，还包括：

基于历史自然驾驶数据采集或历史视觉感知产品自然驾驶环境验证记录自然驾驶影像数据，并形成自然驾驶影像数据库；

基于历史视觉感知产品自然驾驶环境验证或历史视觉感知产品初期阶段的验证收集自动驾驶视觉感知失效数据，得到感知失效集。

作为优选的，还包括：

提取所述感知失效集中的自动驾驶视觉感知失效场景特征，并基于所述自动驾驶视觉感知失效场景特征提取所述自然驾驶影像数据库中的自动驾驶视觉感知失效图片。

作为优选的，得到被测产品预检测失效样本后，还包括：

基于所述被测产品预检测失效样本和所述自动驾驶影像数据库进行机器学习训练，得到用于从所述自动驾驶影像数据集中提取自动驾驶视觉感知失效扩充图片的失效图片扩充检索模型。

作为优选的，获取自然驾驶影像数据库中被测产品预检测失效样本对应的自动驾驶视觉感知失效扩充图片后，还包括：

对所述自动驾驶视觉感知失效扩充图片进行标注，得到带标注训练集。

作为优选的，对所述自动驾驶视觉感知失效扩充图片进行标注后，还包括：

将标注后的自动驾驶视觉感知失效扩充图片作为自动驾驶视觉感知失效图片，以对被测视觉感知产品进行HIL环境预检测。

作为优选的，并基于所述自动驾驶视觉感知失效扩充图片对被检测视觉感知产品进行HIL环境正式检测后，还包括：

输出被测产品检测失效结果，并将被测产品检测失效结果作为被测产品预检测失效样本。

根据本发明实施例的第二方面，提供了一种针对失效样本的自动驾驶视觉感知测试装置，包括预检测模块和正式检测模块；

所述预检测模块，用于以自动驾驶视觉感知失效图片作为原始输入，对被测视觉感知产品进行硬件在环HIL环境预检测，得到被测产品预检测失效样本；

所述正式检测模块，用于基于已训练的失效图片扩充检索模型，获取自然驾驶影像数据库中与被测产品预检测失效样本特征匹配的自动驾驶视觉感知失效扩充图片，并基于所述自动驾驶视觉感知失效扩充图片对被检测视觉感知产品进行HIL环境正式检测。

根据本发明实施例的第三方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如第一方面的各种可能的实现方式中任一种可能的实现方式所提供的针对失效样本的自动驾驶视觉感知测试方法。

根据本发明实施例的第四方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面的各种可能的实现方式中任一种可能的实现方式所提供的针对失效样本的自动驾驶视觉感知测试方法。

本发明实施例提供的一种针对失效样本的自动驾驶视觉感知测试方法和装置，以感知失效样本为核心，通过失效场景定义、失效图片抽取、失效图片学习、HIL测试构建等多项技术点有机结合，实现视觉感知的快速、有效验证；有效利用已有的自然驾驶影像数据库，是测试系统的原始数据源，测试系统通过迭代更新的方式保证数据库的不断增加式更新；视觉感知的样本集来源于同类和自身的失效样本，针对性强，通过对失效样本的大量分析，总结提炼失效场景，有效性大大提升，通过预检测和正式检测的分阶段实施，可快速提升测试进度，仅对提炼的特定样本进行标注和测试验证，效率大大提高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。

图1为本发明实施例提供的针对失效样本的自动驾驶视觉感知测试方法框图；

图2为本发明实施例提供的针对失效样本的自动驾驶视觉感知测试方法的具体流程示意图；

图3为本发明实施例提供的电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前智能网联汽车快速发展，而智能化尤为火热。感知、融合、决策、控制、执行是智能化的各个阶段，感知作为汽车的眼睛、耳朵尤为重要。据市场调查报告显示，2019一季度的前置摄像头安装同比增长71.7％。依托视觉传感器的效果、成本优势，大量的ADAS及L3以上功能倾向于单个或多个视觉感知来实现，通过视觉对自车周边交通世界进行结构化，如人车、车线、标识牌、泊车位等，进而为控制单元提供准确信息。

然而摄像头作为光学组件，较易受到光线影响，且交通世界类型千奇百怪，视觉需要强大的训练作为机器学习、AI的后盾。即使是全球领先的摄像头企业，也面临如下几个问题：1.如何获取足够多的原始影像集；2.如何从影像中找到样本集；3.如何在样本集中挑选合适的训练集；4.如何快速且精准地实现样本集标注；5.如何投入最少的成本对带标注的训练集和测试集开展验证。现有技术更多是解决某单一问题的方法，如仅关注标注的实施流程或对象，未考虑被标注内容的代表性；仅关注对品质的提升，未考虑投入的精减；仅关注标注本身的效率提升，未关注被标注内容的快速获取；仅关注单一批次的技术实现，未有效利用历史数据的迭代优化。并没有从“多、快、好、省”的整体角度提出一套完整的测试系统。导致现阶段很多Tier1及车厂，受限于感知测试成本投入大、效果不理想、耗时太漫长等因素，迟迟未有较大进展。

因此，本发明实施例提供的一种针对失效样本的自动驾驶视觉感知测试方法和装置，以感知失效样本为核心，通过失效场景定义、失效图片抽取、失效图片学习、HIL测试构建等多项技术点有机结合，实现视觉感知的快速、有效验证。以下将通过多个实施例进行展开说明和介绍。

如图1和图2中所示，本发明实施例提供了一种针对失效样本的自动驾驶视觉感知测试方法，包括：

以自动驾驶视觉感知失效图片作为原始输入，对被测视觉感知产品进行硬件在环HIL环境预检测，得到被测产品预检测失效样本；

基于已训练的失效图片扩充检索模型，获取自然驾驶影像数据库中与被测产品预检测失效样本特征匹配的自动驾驶视觉感知失效扩充图片，并基于所述自动驾驶视觉感知失效扩充图片对被检测视觉感知产品进行HIL环境正式检测。

在本实施例中，以感知失效样本为核心，通过失效场景定义、失效图片抽取、失效图片学习、HIL测试构建等多项技术点有机结合，实现视觉感知的快速、有效验证；有效利用已有的自然驾驶影像数据库，是测试系统的原始数据源，测试系统通过迭代更新的方式保证数据库的不断增加式更新；视觉感知的样本集来源于同类和自身的失效样本，针对性强，通过对失效样本的大量分析，总结提炼失效场景，有效性大大提升，通过预检测和正式检测的分阶段实施，可快速提升测试进度，仅对提炼的特定样本进行标注和测试验证，效率大大提高。

在上述实施例的基础上，以自动驾驶视觉感知失效图片作为原始输入前，还包括：

基于历史自然驾驶数据采集或历史视觉感知产品自然驾驶环境验证记录自然驾驶影像数据，并形成自然驾驶影像数据库；

基于历史视觉感知产品自然驾驶环境验证或历史视觉感知产品初期阶段的验证收集自动驾驶视觉感知失效数据，得到感知失效集。

在本实施例中，作为一种优选的实施方式，基于历史自然驾驶数据采集或历史视觉感知产品自然驾驶环境验证记录自然驾驶影像数据并形成自然驾驶影像数据库。

在本实施例中，作为一种优选的实施方式，基于历史视觉感知产品自然驾驶环境验证或产品初始阶段的验证收集自动驾驶视觉感知失效。

1、从视觉感知产品的最终应用场景收集测试数据是测试系统的第一步，以TSR\ACC\LDW为例，为此类ADAS(Advanced DrivingAssistant System，高级驾驶辅助系统)功能进行环境感知的前置摄像头，将应用到用户的商用车、乘用车上，在任何时间、任何天气出现在国内百万公里路段的任何地方。搭载感知所需的视觉模组，准确安装到测试车辆的指定位置，通过调参及标定，确定软硬件的满足。并通过多城市走行，覆盖五万公里以上的路段。

在上述各实施例的基础上，作为一种优选的实施方式，还包括：

2、在上述步骤1的基础上，通过HDD(Hard Disk Drive，硬盘驱动器)存储，保存“自然驾驶影像数据”。

3、除步骤1阶段的纯采数据外，一般也会存在DEMO版\研发版的被测感知单元或产品，在自然驾驶环境中进行验证。

在上述各实施例的基础上，作为一种优选的实施方式，还包括：

4、在步骤3的基础上，通过HDD存储，保存“自然驾驶影像数据”。

在上述各实施例的基础上，作为一种优选的实施方式，还包括：

5、上述步骤2至步骤4的数据都将存储到数据管理室，通过数据管理平台维护“自然驾驶影像数据库”。

在上述各实施例的基础上，还包括：

提取所述感知失效集中的自动驾驶视觉感知失效场景特征，并基于所述自动驾驶视觉感知失效场景特征提取所述自然驾驶影像数据库中的自动驾驶视觉感知失效图片。

在本实施例中，作为一种优选的实施方式，还包括：

6、在上述数据采集过程中，步骤3的输出中包含大量“自动驾驶视觉感知失效”，并且包含视频背后的大量结构化数据，可以通过手工或自动化的方式进行失效样本提取。首先通过在线或离线的方式提取小部分样本，再进行归类汇总提炼样本特性。针对特性，自动化进行规则制定、疑似失效锁定、疑似失效提取、人工再次判定等步骤，逐步形成“自动驾驶视觉感知失效”集。

在本实施例中，根据自动驾驶视觉感知失效开展自动驾驶视觉感知失效场景定义，并通过半自动化的手段从自然驾驶影像数据库中获取自动驾驶视觉感知失效图片。

在本实施例中，作为一种优选的实施方式，以自动驾驶视觉感知失效图片作为原始输入，对被测视觉感知产品开展HIL环境预检测，并产生被测产品预检测失效。

在本实施例中，作为一种优选的实施方式，还包括：

7、“自动驾驶视觉感知失效”集类似于缺陷集，只有通过大量的统计分析、归类汇总才能提炼失效的根本原因，本实施例中定义为失效场景，场景包括场景因素和因子，通过数据分析提炼场景因素的全面性、场景因子的有效性，并通过一些列的方法和工具形成“自动驾驶视觉感知失效场景”定义。

在本实施例中，作为一种优选的实施方式，还包括：

8、基于上述步骤7中的失效场景定义，基本了解到哪些因素因子对视觉感知有局限性或代表性，基于此，通过人工或自动化的方式在步骤5中提取“自动驾驶视觉感知失效图片”，形成有效试题集；并通过半自动化的方式进行准确标注，形成有效带答案的试题集。这部分集合无需太多，到此，“初始数据样本阶段”完成。

在本实施例中，作为一种优选的实施方式，还包括：

9、拿到被测视觉感知产品后，通过视频暗香、视频注入等方式构建HIL环境，输入上述步骤8中输出的自动驾驶视觉感知失效图片，将被测产品的答案与标准答案进行对比。

10、针对对比结果，给出预评估报告，并重点对预检测失效的样本进行归类。

在上述各实施例的基础上，得到被测产品预检测失效样本后，还包括：

基于所述被测产品预检测失效样本和所述自动驾驶影像数据库进行机器学习训练，得到用于从所述自动驾驶影像数据集中提取自动驾驶视觉感知失效扩充图片的失效图片扩充检索模型。

在本实施例中，作为一种优选的实施方式，还包括：

11、通过自研工具，针对被测产品失效样本进行多轮次机器学习。采用YOLO v3对失效样本进行机器学习(100遍以上)，自学习失效特征。在上述各实施例的基础上，获取自然驾驶影像数据库中被测产品预检测失效样本对应的自动驾驶视觉感知失效扩充图片后，还包括：

对所述自动驾驶视觉感知失效扩充图片进行标注，得到带标注训练集。

在本实施例中，作为一种优选的实施方式，还包括：

12、学习完毕后，通过自动化的方式在步骤5中提取“针对被测产品失效的扩充图片”，这个集合远比步骤8更有价值，形成新的试题集。图片自动提取后，通过人工方式区分正向样本、反向样本，对正向样本同样采用半自动化的方式进行准确标注，形成有效带答案的试题集。(该试题集融入步骤8中，后续被测产品待用)，形成闭环迭代更新，优化样本库。

在上述各实施例的基础上，对所述自动驾驶视觉感知失效扩充图片进行标注后，还包括：

将标注后的自动驾驶视觉感知失效扩充图片作为自动驾驶视觉感知失效图片，以对被测视觉感知产品进行HIL环境预检测。

在本实施例中，作为一种优选的实施方式，还包括：

13、如同步骤9，通过视频暗香、视频注入等方式构建HIL环境，输入步骤12的成果物，将被测产品的答案与标准答案进行对比。

在上述各实施例的基础上，并基于所述自动驾驶视觉感知失效扩充图片对被检测视觉感知产品进行HIL环境正式检测后，还包括：

输出被测产品检测失效结果，并将被测产品检测失效结果作为被测产品预检测失效样本。

在本实施例中，作为一种优选的实施方式，还包括：

14、针对对比结果，给出正式评估报告，并重点对预检测失效的样本进行归类。(该失效样本融入步骤6中，后续被测产品待用)。以形成闭环迭代更新，优化失效集。

整个测试系统的工程流共分两大部分14个节点。“自动驾驶视觉感知失效图片”之前为初始数据样本阶段；之后为被测产品验证阶段。而两大部分分别在失效样本、图片测试集方面有关联。

实线为业务流(也包含数据流的概念)，而虚线仅为数据流，被测产品的结果是测试集的输入，从而输出给过多的被测产品，实现数据积累。

基于本实施例的上述方法，能够对自动驾驶视觉感知产品做出全面、有效、快速、低成本的品质验证，具有以下优点：

1.全面性：

1.1有效利用已有的自然驾驶影像数据库，是测试系统的原始数据源

1.2测试系统通过迭代更新的方式保证数据库的不断增加式更新

2.有效性：

2.1视觉感知的样本集来源于同类和自身的失效样本，针对性强

2.2通过对失效样本的大量分析，总结提炼失效场景，有效性大大提升

3.快速性：

3.1通过预检测和正式检测的分阶段实施，可快速提升测试进度

3.2仅对提炼的特定样本进行标注和测试验证，效率大大提高

3.3采用HIL的方式代替公共道路环境验证，执行效率提升

4.低成本：

4.1基于失效场景进行样本抽取和标注，因规模较小，投入较小

4.2通过机器学习的应用，代替手工抽取样本，成本降低

根据本发明实施例的第二方面，提供了一种针对失效样本的自动驾驶视觉感知测试装置，基于上述各实施例中的针对失效样本的自动驾驶视觉感知测试方法，包括预检测模块和正式检测模块；

所述预检测模块，用于以自动驾驶视觉感知失效图片作为原始输入，对被测视觉感知产品进行硬件在环HIL环境预检测，得到被测产品预检测失效样本；

所述正式检测模块，用于基于已训练的失效图片扩充检索模型，获取自然驾驶影像数据库中与被测产品预检测失效样本特征匹配的自动驾驶视觉感知失效扩充图片，并基于所述自动驾驶视觉感知失效扩充图片对被检测视觉感知产品进行HIL环境正式检测。

本发明实施例提供了本发明实施例提供了一种电子设备，如图3所示，该设备包括：处理器(processor)501、通信接口(Communications Interface)502、存储器(memory)503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。处理器501可以调用存储器503上并可在处理器501上运行的计算机程序，以执行上述各实施例提供的针对失效样本的自动驾驶视觉感知测试方法，例如包括：

以自动驾驶视觉感知失效图片作为原始输入，对被测视觉感知产品进行硬件在环HIL环境预检测，得到被测产品预检测失效样本；

基于已训练的失效图片扩充检索模型，获取自然驾驶影像数据库中与被测产品预检测失效样本特征匹配的自动驾驶视觉感知失效扩充图片，并基于所述自动驾驶视觉感知失效扩充图片对被检测视觉感知产品进行HIL环境正式检测。

此外，上述的存储器503中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的针对失效样本的自动驾驶视觉感知测试方法，例如包括：

以自动驾驶视觉感知失效图片作为原始输入，对被测视觉感知产品进行硬件在环HIL环境预检测，得到被测产品预检测失效样本；

基于已训练的失效图片扩充检索模型，获取自然驾驶影像数据库中与被测产品预检测失效样本特征匹配的自动驾驶视觉感知失效扩充图片，并基于所述自动驾驶视觉感知失效扩充图片对被检测视觉感知产品进行HIL环境正式检测。

综上所述，本发明实施例提供的一种针对失效样本的自动驾驶视觉感知测试方法和装置，以感知失效样本为核心，通过失效场景定义、失效图片抽取、失效图片学习、HIL测试构建等多项技术点有机结合，实现视觉感知的快速、有效验证；有效利用已有的自然驾驶影像数据库，是测试系统的原始数据源，测试系统通过迭代更新的方式保证数据库的不断增加式更新；视觉感知的样本集来源于同类和自身的失效样本，针对性强，通过对失效样本的大量分析，总结提炼失效场景，有效性大大提升，通过预检测和正式检测的分阶段实施，可快速提升测试进度，仅对提炼的特定样本进行标注和测试验证，效率大大提高。

以上所描述的电子设备等实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种针对失效样本的自动驾驶视觉感知测试方法，其特征在于，包括：

以自动驾驶视觉感知失效图片作为原始输入，对被测视觉感知产品进行硬件在环HIL环境预检测，得到被测产品预检测失效样本；

基于所述被测产品预检测失效样本和自动驾驶影像数据库进行机器学习训练，得到用于从所述自动驾驶影像数据库中提取自动驾驶视觉感知失效扩充图片的失效图片扩充检索模型；

基于已训练的失效图片扩充检索模型，获取自然驾驶影像数据库中与被测产品预检测失效样本特征匹配的自动驾驶视觉感知失效扩充图片，并基于所述自动驾驶视觉感知失效扩充图片对被检测视觉感知产品进行HIL环境正式检测；

以自动驾驶视觉感知失效图片作为原始输入之前，还包括：

基于历史自然驾驶数据采集或历史视觉感知产品自然驾驶环境验证记录自然驾驶影像数据，并形成自然驾驶影像数据库；

基于历史视觉感知产品自然驾驶环境验证或历史视觉感知产品初期阶段的验证收集自动驾驶视觉感知失效数据，得到感知失效集；

提取所述感知失效集中的自动驾驶视觉感知失效场景特征，并基于所述自动驾驶视觉感知失效场景特征提取所述自然驾驶影像数据库中的自动驾驶视觉感知失效图片。

2.根据权利要求1所述的针对失效样本的自动驾驶视觉感知测试方法，其特征在于，获取自然驾驶影像数据库中被测产品预检测失效样本对应的自动驾驶视觉感知失效扩充图片后，还包括：

对所述自动驾驶视觉感知失效扩充图片进行标注，得到带标注训练集。

3.根据权利要求2所述的针对失效样本的自动驾驶视觉感知测试方法，其特征在于，对所述自动驾驶视觉感知失效扩充图片进行标注后，还包括：

将标注后的自动驾驶视觉感知失效扩充图片作为自动驾驶视觉感知失效图片，以对被测视觉感知产品进行HIL环境预检测。

4.根据权利要求1所述的针对失效样本的自动驾驶视觉感知测试方法，其特征在于，并基于所述自动驾驶视觉感知失效扩充图片对被检测视觉感知产品进行HIL环境正式检测后，还包括：

输出被测产品检测失效结果，并将被测产品检测失效结果作为被测产品预检测失效样本。

5.一种针对失效样本的自动驾驶视觉感知测试装置，其特征在于，包括预检测模块和正式检测模块；

所述预检测模块，用于以自动驾驶视觉感知失效图片作为原始输入，对被测视觉感知产品进行硬件在环HIL环境预检测，得到被测产品预检测失效样本；基于所述被测产品预检测失效样本和自动驾驶影像数据库进行机器学习训练，得到用于从所述自动驾驶影像数据库中提取自动驾驶视觉感知失效扩充图片的失效图片扩充检索模型；

所述正式检测模块，用于基于已训练的失效图片扩充检索模型，获取自然驾驶影像数据库中与被测产品预检测失效样本特征匹配的自动驾驶视觉感知失效扩充图片，并基于所述自动驾驶视觉感知失效扩充图片对被检测视觉感知产品进行HIL环境正式检测；

所述预检测模块，还用于基于历史自然驾驶数据采集或历史视觉感知产品自然驾驶环境验证记录自然驾驶影像数据，并形成自然驾驶影像数据库；

基于历史视觉感知产品自然驾驶环境验证或历史视觉感知产品初期阶段的验证收集自动驾驶视觉感知失效数据，得到感知失效集；

提取所述感知失效集中的自动驾驶视觉感知失效场景特征，并基于所述自动驾驶视觉感知失效场景特征提取所述自然驾驶影像数据库中的自动驾驶视觉感知失效图片。

6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述方法的步骤。

7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至4任一项所述方法的步骤。

Images