CN111841012B - 一种自动驾驶模拟仿真系统及其测试资源库建设方法 - Google Patents

Abstract

一种自动驾驶模拟仿真系统及其测试资源库建设方法。本发明所涉及的自动驾驶模拟仿真系统基于游戏引擎如虚幻4引擎构建测试环境，并创新性提出动静态结合的模拟仿真测试资源库建设方法，实现高度真实动态场景仿真，最后结合国内外的自动驾驶评价的经验和L1～L3级自动驾驶测试特点构建自动驾驶系统性能综合评价体系。本发明提出的动静态结合的模拟仿真测试资源库建设方法。

Description

一种自动驾驶模拟仿真系统及其测试资源库建设方法

技术领域

本发明涉及交通领域，特别涉及一种自动驾驶车辆的模拟仿真系统。

背景技术

自动驾驶技术作为一项系统性工程，涉及的模块繁多、业务逻辑复杂，为保证整体安全性需要经常实车上路测试。然而这也正是目前自动驾驶系统研发所面临的一大挑战——实车路测“道阻且长”。按照《中国自动驾驶仿真技术研究报告(2019)》中的数据：配置有一支1000辆自动驾驶测试车的车队需要花费大约50年的时间才能完成足够的里程测试。企业难以持续投入巨大资源以支持广泛实车路测，而且实际上广泛的道路测试仍难以覆盖复杂多样的交通场景，同时频繁实车路测为交通安全带来巨大潜在安全风险。比如2016年，Uber无人车就曾撞死一位突然出现在路中央的行人。因此，自动驾驶虚拟仿真系统开始被各家研究机构所重视，用于前期验证算法，在实车路测前解决可能存在的技术问题，加速自动驾驶系统的研发。

自动驾驶仿真测试，是指通过计算机仿真技术，建立现实静态与动态交通场景的数学模型，让自动驾驶汽车与算法在虚拟交通场景中进行驾驶测试。仿真测试相对于实车道路测试更加容易，其能够有效的降低试验成本，缩短算法开发迭代周期；同时通过仿真软件可构建定制化针对性强的交通测试场景，实现算法特异性升级迭代与加强；同时对于某些复现代价高的场景如雨雪天气下的高速公路等不需要搭建实物测试场景或者专门等待测试时机如雨雪天气，模拟仿真极大降低了测试场景的实现难度、扩大了测试的广度。目前，无人驾驶高效的测试流程是，先在计算机软件上通过仿真测试技术来升级算法，确保它在虚拟环境中可以运行成功，再进行封闭场地测试，最后再进行开放道路测试。

目前自动驾驶仿真模拟技术正在被越来越多的无人车研发企业和科研机构引入开发流程，如Waymo无人车开展公共道路测试前将仿真测试作为必做项目；百度将其仿真平台列为Apollo主要变现途径，通过给Apollo合作伙伴提供仿真云服务来创收；Roadstar.ai、Pony.ai等诸多自动驾驶初创公司都在自主研发模拟器。《中国自动驾驶仿真技术研究报告(2019)》指出未来5年仿真软件与测试的国际市场总规模约在百亿美元左右，并且满足自动驾驶算法开发与整车系统集成的商业化仿真软件必将成为研发链条上的底层基础工具之一。我国也将发展自动驾驶模拟仿真技术摆到了战略高度。在2020年初，工业和信息化部等11部委联合盖章发布的《智能汽车创新发展战略》明确要求重点研发虚拟仿真、软硬件结合仿真、实车道路测试等技术和验证工具，以及多层级测试评价系统。

高可信自动驾驶模拟仿真测试的前提是合理且多样化的测试场景，届时仿真测试才能充分挖掘自动驾驶系统的性能潜力并暴露算法漏洞。现有国内外模拟仿真测试场景设计基本集中于复现重要自然驾驶场景，这种方法虽然可以在一定程度上测试自动驾驶系统的安全性，但是却忽略了其他危险边界情形。更重要的是，目前测试场景的设计并不能完善解决场景中的动态元素仿真，如机动车仿真、行人与非机动车仿真这些涉及到其他交通参与者的仿真。目前已有的动态仿真场景模拟系统诸如Waymo的仿真世界Carcraft、开源仿真测试环境CARLA等都存在仿真测试中模拟交通参与者缺乏与被试车互动、对真实场景的泛化方法缺乏深入研究等问题。在仿真测试过程中，仿真环境中的车辆按实测或者模拟轨迹行驶，缺乏与被试车的互动或者产生的互动是不合理“不真实”的。而模拟动态场景对真实场景的泛化存在真实性损失的问题，例如，对密集交通流案例进行泛化，更改一条车辆轨迹后，实际会对周边多条轨迹产生影响并扩散开来，单车的行驶扰动有时会造成整个交通流的失稳，而简单的泛化扩样方法可能难以重现这类现象。

因此本发明创新性提出动静态结合的模拟仿真测试资源库建设方法，实现高度真实动态场景仿真，首先以被试车与周围所有干扰车辆的相对位置与运动关系的排列组合所形成的复杂场景群为基础，利用组合推理方法和场景筛选规则，构建具有测试价值的各个层级及功能的典型静态测试场景库。在典型静态测试场景库的基础上，研发基于网页、安卓等多平台的线上引流系统，通过线上游戏玩家的介入，接管被试车周围干扰车辆的驾驶权，通过真人用户的参与实现真实的动态场景模拟。更进一步提取针对性测试场景下的真人驾驶数据，基于深度学习等人工智能算法训练智能交通模型，补充/替代线上引流系统中的真人玩家。以动静态结合的模拟仿真测试资源库为核心，本发明系统地设计了一种高度真实的自动驾驶模拟仿真系统，其中测试环境基于游戏引擎如虚幻4引擎构建，测试期间平台可以记录下被试车从起点出发之后所有的细微表现，并从车辆智能性、驾驶安全性、驾驶舒适性和交通协调性这四方面对算法的性能做出评价。本发明很好地解决了现在动态场景模拟过程中交通参与者行为失真的问题，将极大提高仿真系统的测试可信度，助力我国自动驾驶技术发展。

发明内容

本发明所要解决的技术问题是提供一种自动驾驶模拟仿真系统，以解决现有模拟仿真系统动态场景模拟过程中交通参与者行为失真的问题，提高仿真系统的测试可信度。

本发明解决其技术问题所采用的技术方案是：设计一种自动驾驶模拟仿真系统，基于游戏引擎如虚幻4引擎构建测试环境，并提出动静态结合的模拟仿真测试资源库建设方法，实现高度真实动态场景仿真，最后结合国内外的自动驾驶评价的经验和L1～L3级自动驾驶测试特点构建自动驾驶系统性能综合评价体系。本发明提出的动静态结合的模拟仿真测试资源库建设方法，首先以被试车与周围所有干扰车辆的相对位置与运动关系的排列组合所形成的复杂场景群为基础，基于组合推理方法和场景筛选规则，构建具有测试价值的各个层级及功能的典型静态测试场景库。在典型静态测试场景库的基础上，研发基于网页、安卓等多平台的线上引流系统，通过线上游戏玩家的介入，接管被试车周围干扰车辆的驾驶权，通过真人用户的参与实现真实的动态场景模拟。更进一步提取针对性测试场景下的真人驾驶数据，基于深度学习等人工智能算法训练智能交通模型，补充/替代线上引流系统中的真人玩家。自动驾驶算法接入仿真平台并开始测试后，平台可以记录下被试车从起点出发之后所有的细微表现，并从车辆智能性、驾驶安全性、驾驶舒适性和交通协调性这四方面对算法的性能做出评价。本发明以动静态结合的模拟仿真测试资源库建设方法为核心系统地设计了一种高度真实的自动驾驶模拟仿真系统，很好地解决了现在动态场景模拟过程中交通参与者行为失真的问题，将极大提高仿真系统的测试可信度。

仿真技术的基本原理是在虚拟场景内模拟生成真实物理世界中的障碍物、行人、车辆、天气等，并将其作为传感器感知对象以测试感知算法，模拟车辆行人等交通参与者的移动轨迹及相关场景布置以测试决策规划算法，模拟车辆动力学特性以测试控制算法。自动驾驶仿真模拟技术应包括构建测试环境、构建测试场景库、动态场景仿真和建立自动驾驶系统评价体系。

构建的测试环境通常应包括道路(车道线与路面材质等)、交通元素(交通灯与交通标志牌)、交通参与者(机动车、非机动车与行人)、道路周边元素(包括路灯与建筑物)等。本发明基于游戏引擎构建测试环境，可以极高的精度模拟道路交通场景及虚拟城市场景，并借助游戏引擎还原出折射、反射等光照条件，以及风、霜、雨、雪等天气条件的变化，使得场景和传感器仿真的测试条件接近真实，进而保证感知算法测试效果的真实性。另外还可直接使用游戏引擎内置的物理引擎，模拟车辆打滑、碰撞等效果，为控制算法的测试提供支持。

测试场景是一定时间和空间范围内环境与驾驶行为的综合反映，描述了道路、交通设施、气象条件、交通参与者等外部状态以及被试车驾驶任务和状态等信息。多个场景的有机集合，就是“场景库”。自动驾驶测试场景库即由满足某种测试需求的一系列自动驾驶测试场景构成的数据库。本发明以被试车与周围所有干扰车辆的相对位置与运动关系的排列组合所形成的复杂场景群为基础，基于组合推理方法和场景筛选规则，构建具有测试价值的各个层级及功能的典型静态测试场景库。组合推理方法的具体步骤如下：

确定复杂场景群：针对指定的道路交通环境，分析被试车和周围N个交通参与者可能的相对位置和运动方向的组合，以涵盖驾驶任务最复杂的组合或者可能引起交通事故的组合为前提条件，确定被试车和N个交通参与者的相对位置范围；

筛选测试场景：设计场景筛选规则，从复杂场景群中筛选出有测试价值的场景组成正常行驶工况和预碰撞工况等场景群；

确定参数：在筛选后的测试场景群中添加必要的约束条件，并覆盖全部的组合场景群。

鉴于贪婪组合得到的复杂场景群里的测试场景并非都是有效的，其中不可实现或者效用重复的场景会徒增测试的成本，因此本发明还需遵循如下的场景筛选规则剔除复杂场景群中的无用场景：

脱离实际的场景，删除；

相似场景中对被试车运动影响较小的场景，删除；

对被试车运动影响相同的场景，只保留1个场景。

动态场景主要指仿真中具备动态特性的管控、车流等部分，是仿真测试场景的关键构件，主要包括：交通管理控制仿真，机动车/非机动车/行人运动规划与反馈仿真等。目前已有的动态仿真场景模拟系统大多存在仿真测试过程中模拟交通参与者缺乏与被试车互动、对真实场景的泛化方法缺乏深入研究等问题。本发明设计线上引流系统，研发基于网页、安卓等多平台的在线游戏客户端，面向社会、科研院所、政府部门有偿开展测试，通过真人用户的参与实现真实交通互动。更进一步通过后台采集真人驾驶数据，基于深度神经网络等人工智能算法提取泛化行为模型组成动态交通模型库，测试期间模型库调用对应场景下的智能交通体模型接管对应干扰车和行人，通过与真实交通参与者的互动特异性修正各自行为模式以实现高度拟人。动态交通模型库与静态测试场景库共同构成本发明的核心，即动静态结合的模拟仿真测试资源库，为典型测试场景下的高真实度仿真模拟提供支持。

测试期间自动驾驶模拟仿真平台可以记录下被试车从起点出发之后所有的细微表现，并据此对其算法性能做出评价。本发明所构建的自动驾驶系统性能综合评价体系包含车辆智能性、驾驶安全性、驾驶舒适性和交通协调性这四方面，并基于多层次模糊综合评价方法得到综合性能评价值。本发明基于经验法所构建的性能指标体系如下：

车辆智能性：从感知、路径规划、控制等方面对所测自动驾驶算法进行评价，其中感知方面包括对信号灯相位、行人等对象的识别要求；路径规划方面包括对轨迹平稳，障碍规避等方面要求；控制方面是对规划结果执行的要求，如最大偏差、振荡次数及振荡周期等；

驾驶安全性：被试车在道路上行驶时对其他交通参与者是否会造成危险，类似是否在红灯时在停止线内停车，是否冲撞行人，是否发生交通事故等；

驾驶舒适性：被试车在道路上行驶期间驾驶员的驾乘体验和交互体验。测试期间，驾乘体验依据行驶过程中平台记录下的油门、刹车、转向状态，评估车辆驾乘是否平稳，转弯是否平顺；交互体验通过驾驶员在环，采用问卷的形式确定被试自动驾驶系统的操作品质等交互体验；

交通协调性：被试车在道路上行驶时相对其他交通参与者的交通移动表现。测试期间，通过行驶时间、交通流量、道路资源有效利用率等指标对交通协调性进行评价。

构建性能指标体系后，本发明基于多层次模糊综合评价方法确定自动驾驶算法的总体性能：

(1)指标类型一致化处理

定性指标量化表示为极大值型指标；

定量指标(极大值型、极小值型、居中型及区间型)转换为极大值型指标；

(2)指标无量纲化处理

指标进行无量纲化处理后才能进行加权综合，采用归一化处理法：

x_ij代表第j个指标在第i次测试时的被测值。

(3)指标权重的确定

采用基于“功能驱动”原理的序关系分析法来确定各指标的权值：

在指标集{x₁，x₂，...，x_j，…，x_m}中根据自定义评价准则依次选出最重要的指标；

按表1确定评价指标x_j-1与x_j之间的重要程度之比r_j(w_j-1/w_j)；

计算排序好的各指标对应的权重系数w_j：

w_j-1＝r_jw_j，j＝m，m-1，...，3，2 (3)

表1r_j赋值表

(4)多层次模糊综合评价

在指标体系确定的基础上，针对单因素(某一层f评价指标)x_j(j＝1，2，...，m，m为指标个数)进行单因素评判，得到与评价等级y_k(k＝1，2，...，h，h为等级个数)间的隶属度l_jk，继而构成评价矩阵L：

基于序关系法确定权重集W＝(w₁，w₂，...，w_j，...，w_m)，与评价矩阵L合成得到模糊综合评价模型C：

由最下层开始计算，得到的结果组成上一级评价指标的评价矩阵，迭代得到总评价模型C_t；

确定评价等级对应的分数集μ＝(μ₁，μ₂，...，μ_h)^T后计算综合得分G：

G＝100C_tμ＝(c₁，c₂，...，c_h)·(μ₁，μ₂，...，μ_h)^T×100 (6)

由于采用了上述的技术方案，本发明与现有技术相比，具有以下优点和积极效果：游戏引擎的支持使得模拟仿真测试环境更加逼真，车辆动力学仿真更加简便。构建动静态结合的模拟仿真测试资源库，基于组合推理方法和场景筛选规则构建具有测试价值的各个层级及功能的静态测试场景库，同时通过真人玩家的参与实现真实交通互动。更进一步通过后台采集真人驾驶数据，驱动智能交通体模型训练，构建动态交通模型库，为AI玩家驾驶行为提供支持。最后结合国内外的自动驾驶评价的经验和L1～L3级自动驾驶测试特点构建自动驾驶系统性能综合评价体系，为算法测试提供全面且合理的评价。所以综合而言，本方法对于提高车辆自动驾驶模拟仿真的总体性能具有极大的意义。

附图说明

图1是动静态结合的自动驾驶模拟仿真系统架构图；

图2是动静态结合的测试资源库构建示意图；

图3是自动驾驶系统性能指标体系图；

图4是自动驾驶系统性能指标体系图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。

应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明做各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

在本发明一种动静态结合的自动驾驶模拟仿真系统及其测试资源库建设方法实施例中，本发明所提动静态结合的自动驾驶模拟仿真系统的框架及其测试资源库的构建分别如图1和图2所示。图1中系统框架分为底层支撑、核心模块、仿真平台及评价体系共四层。底层支撑中游戏引擎如虚幻4引擎用于构建模拟仿真测试环境，TensorFlow和Torch7等机器学习库用于支持动态交通模型库中交通智能体模型训练，MySQL等数据库支撑玩家驾驶数据采集、测试场景储存及模型训练，ROS等作为模拟仿真系统内各个模块的通信机制，最后基于安卓等平台研发线上引流系统。基于底层支撑，构建本发明所提出的核心模块——动静态结合的模拟仿真资源库，资源库包括静态测试场景库和动态交通模型库。在核心模块之上，开发模拟仿真服务端和基于安卓、网页等平台的多平台用户端。最后针对自动驾驶平台所记录的被试车各种测试数据，建立一套评价体系。

本实施例中对于本发明所提动静态结合的模拟仿真资源库，其构建方案具体如图2所示。首先以被试车与周围所有干扰车辆的相对位置与运动关系的排列组合所形成的复杂场景群为基础，基于组合推理方法和场景筛选规则，构建具有测试价值的各个层级及功能的典型静态测试场景库。如图3所示，本实施例以双车道直行段场景下被试车辆直行为例说明基于组合推理方法和场景筛选规则的静态测试场景库构建方法。如图3所示场景下，干扰车V1～V3的存在对于被试车T的行驶影响不大，无需考虑。因此只需要考虑干扰车V4和V5的三种运动方向(直行，左转，刹车)，同时还有V4或V5不存在的情形，与被试车直行组合而成的12种测试场景，如下表所示。

表2双车道直行段场景下被试车辆直行测试场景

排列组合的时候就已经将无影响干扰车排除，因此考虑场景筛选规则中的第二条和第三条，发现表2中的12种测试场景都不符合筛选规则，因此全部保留。接着参考L1级自动驾驶已有测试法规如EURO-NCAP确定测试场景参数，并利用游戏引擎实现对应的测试场景，存入静态测试场景库。

接着开放基于安卓、网页等平台的多平台用户端给社会、科研院所、政府部门有偿开展测试，通过真人用户的参与实现真实交通互动。更进一步通过后台采集真人驾驶数据，基于深度神经网络等人工智能算法提取泛化行为模型组成对应场景下智能交通模型库，测试期间模型库调用对应场景下的智能交通体模型接管对应干扰车和行人，通过与真实交通参与者的互动特异性修正各自行为模式以实现高度拟人。

测试期间自动驾驶模拟仿真平台可以记录下被试车从起点出发之后所有的细微表现，并据此对其算法性能从车辆智能性、驾驶安全性、驾驶舒适性和交通协调性这四方面做出评价。本实施例建立如图4所示的自动驾驶性能评价指标体系。接着基于多层次模糊综合评价方法确定自动驾驶算法的总体性能，详细步骤如下：

(1)指标类型一致化处理

定性指标量化表示为极大值型指标；

定量指标(极大值型、极小值型、居中型及区间型)转换为极大值型指标；

(2)指标无量纲化处理

采用归一化处理法对指标进行无量纲化处理；

(3)指标权重的确定

采用基于“功能驱动”原理的序关系分析法来确定各指标的权值：

在指标集{x₁，x₂，...，x_j，...，x_m}中根据自定义评价准则依次选出最重要的指标；

按表1确定评价指标x_j-1与x_j之间的重要程度之比r_j(w_j-1/w_j)；

计算排序好的各指标对应的权重系数w_j；

(4)多层次模糊综合评价

在指标体系确定的基础上，针对单因素(某一层f评价指标)x_j(j＝1，2，...，m，m为指标个数)进行单因素评判，得到与评价等级y_k(k＝1，2，...，h，h为等级个数)间的隶属度l_jk，继而构成评价矩阵L；

基于序关系法确定权重集W＝(w₁，w₂，...，w_j，...，w_m)，与评价矩阵L合成得到模糊综合评价模型C。由最下层开始计算，得到的结果组成上一级评价指标的评价矩阵，迭代得到总评价模型C_t；

确定评价等级对应的分数集μ＝(μ₁，μ₂，...，μ_h)^T后计算综合得分6。

需要说明的是，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (1)

1.一种自动驾驶模拟仿真系统的建设方法，其特征在于，所述方法包括基于游戏引擎构建测试环境，构建动静态结合的模拟仿真测试资源库，构建自动驾驶系统性能综合评价体系，所述的模拟仿真测试资源库包括“静态测试场景库”和“动态交通模型库”，首先基于组合推理构建静态测试场景库，接着通过线上引流系统引入真人玩家进入测试系统并接管被试车辆周围干扰车、行人交通参与对象实现真实的动态场景模拟，同时提取测试场景下的真人驾驶数据，基于深度学习人工智能算法训练智能交通模型构建动态交通模型库，补充/替代线上引流系统中的真人玩家，所述的自动驾驶系统性能综合评价体系包含车辆智能性、驾驶安全性、驾驶舒适性和交通协调性这四方面，并基于多层次模糊综合评价方法得到综合性能评价值；

其中，测试期间自动驾驶模拟仿真系统记录被试车从起点出发之后的细微表现，并从所述车辆智能性、驾驶安全性、驾驶舒适性和交通协调性这四方面对算法的性能做出评价；

其中，所述的基于组合推理构建静态测试场景库的具体过程为以被试车与周围所有干扰车辆的相对位置与运动关系的排列组合所形成的复杂场景群为基础，利用组合推理方法和场景筛选规则，构建具有测试价值的各个层级及功能的典型静态测试场景库；

其中，所述组合推理方法具体步骤包括：确定复杂场景群、筛选测试场景和确定参数；

其中，所述的车辆智能性从感知、路径规划、控制方面对所测自动驾驶算法进行评价，所述的驾驶安全性指被试车在道路上行驶时对其他交通参与者是否会造成危险，所述的驾驶舒适性指被试车在道路上行驶期间驾驶员的驾乘体验和交互体验，所述的交通协调性指被试车在道路上行驶时相对其他交通参与者的交通移动表现；

其中， 所述确定复杂场景群：针对指定的道路交通环境，分析被试车和周围个交通参与者相对位置和运动方向的组合，以涵盖驾驶任务最复杂的组合或者引起交通事故的组合为前提条件，确定被试车和/>个交通参与者的相对位置范围；

所述筛选测试场景：设计场景筛选规则，从复杂场景群中筛选出有测试价值的场景组成正常行驶工况、预碰撞工况场景群；

所述确定参数：在筛选后的测试场景群中添加约束条件，并覆盖全部的组合场景群；

其中，所述场景筛选规则具体为：

(1) 脱离实际的场景，删除；

(2) 相似场景中对被试车运动影响较小的场景，删除；

(3) 对被试车运动影响相同的场景，只保留1个场景；

其中，所述的线上引流系统为基于智能手机、网页和驾驶模拟器平台研发的多平台客户端，玩家通过网络登录自动驾驶仿真平台服务端，接管被试车辆周围干扰车、行人在内的交通参与对象，所述的动态交通模型库是对应于静态测试场景库内所有测试场景的交通体模型集合“场景-智能体模型库”，集合内的元素为对应场景下的基于学习算法驱动的交通参与者模型；

其中，其中感知方面包括对信号灯相位、行人在内的对象的识别要求；路径规划方面包括对轨迹平稳，障碍规避在内的方面要求；控制方面是对规划结果执行的要求；

其中，所述的驾驶安全性指被试车是否在红灯时在停止线内停车，是否冲撞行人，是否发生交通事故，所述的驾驶舒适性指测试期间，驾乘体验依据行驶过程中平台记录下的油门、刹车、转向状态，评估车辆驾乘是否平稳，转弯是否平顺；交互体验采用问卷的形式确定；

其中，所述的交通协调性指测试期间，通过行驶时间、交通流量、道路资源有效利用率在内的指标对交通协调性进行评价。