CN113997950A - 车辆控制装置和车辆控制方法 - Google Patents

Abstract

公开了车辆控制装置和车辆控制方法。一种自动驱动装置包括基于周围监视传感器的输出信号识别行驶环境车辆的融合单元(F2)和基于融合单元的识别结果生成控制计划的控制计划单元(F3)。诊断装置(30)包括异常检测单元(G4)，该异常检测单元(G4)通过监视随时间的推移的周围监视传感器的输出信号和融合单元的识别结果来检测从周围监视传感器到融合单元(F2)的现场识别系统的异常。诊断装置(30)请求控制计划单元(F3)基于由异常检测单元(G4)对识别系统的异常的检测来执行MRM。

Description

车辆控制装置和车辆控制方法

技术领域

本公开内容总体上涉及用于生成用于自动驾驶车辆的控制计划的技术。

背景技术

专利文献1公开了下述配置：在该配置中，在自主驾驶中使用被称为RSS(责任敏感安全)模型的数学公式模型和地图数据生成车辆行驶计划，换言之控制计划。

在RSS模型中，作为用于制定控制计划的功能块的计划器利用地图数据计算针对多个控制计划中的每一个的潜在事故责任值，并且采用潜在事故责任值在允许范围内的控制计划。潜在事故责任值是指示在存在于本车辆周围的附近车辆与本车辆之间发生事故的情况下本车辆的责任程度的参数。潜在事故责任值是考虑到本车辆与附近车辆之间的车间距离是否小于基于道路结构等确定的安全距离的值。

[专利文献1]WO 2018/115963 A1

在RSS模型中，基于地图数据和周围监视传感器例如摄像装置的感测信息来计算由计划者生成的每个控制计划的潜在事故责任值，并且选择被确定为相对安全的计划。然而，如果周围监视传感器本身中或基于周围监视传感器的观察数据执行对象识别处理的系统(在下文中被称为现场识别系统)中存在异常，则可能导致潜在事故责任值的误算。最终，如果对潜在事故责任值的评估不正确，则自动驾驶的安全性劣化。

发明内容

本公开内容的目的是提供能够基于上述假设提高自动驾驶期间的安全性的车辆控制装置。

为了实现该目的的车辆控制装置是例如创建针对车辆的自主行驶的控制计划的车辆控制装置，该车辆控制装置包括：

(i)异常检测单元，其基于下述中的至少之一来检测包括至少一个周围监视传感器和识别单元的现场识别系统的异常：(a)检测预定检测范围内的对象的至少一个周围监视传感器的输出信号，以及(b)识别单元基于至少一个周围监视传感器的输出信号识别车辆附近的对象的识别结果，以及

(ii)车辆停止处理单元，其执行用于基于由异常检测单元对现场识别系统的异常的检测而停止车辆的处理。

以上配置对应于或者被设置为下述配置：在该配置中，当检测到用于车辆的自主行驶的车辆控制装置的异常检测单元已检测到识别系统中的异常作为触发时，计划用于停止车辆的车辆控制。利用这种配置，车辆控制装置能够减少在识别系统中引起异常的状态下继续自动驾驶的机会。也就是说，可以提高车辆的自动驾驶期间的安全性。

此外，用于实现上述目的的车辆控制方法是由至少一个处理器执行以用于创建针对车辆的自主行驶的控制计划的车辆控制方法，该车辆控制方法包括：

(i)异常检测步骤，其基于下述中的至少之一来检测包括至少一个周围监视传感器和识别单元的现场识别系统的异常：(a)检测预定检测范围内的对象的至少一个周围监视传感器的输出信号，以及(b)识别单元基于至少一个周围监视传感器的输出信号识别车辆附近的对象的识别结果，以及

(ii)车辆停止处理步骤，其执行用于基于由异常检测单元对现场识别系统的异常的检测而停止车辆的处理。

此处，权利要求中描述的括号中的附图标记指示与作为本公开内容的示例的实施方式中描述的具体手段的对应。因此，本公开内容的技术范围不一定限于此。

附图说明

本公开内容的目的、特征和优点将根据参照附图进行的以下详细描述而变得更明显，在附图中：

图1是用于说明自动驾驶系统的配置的图；

图2是示出车辆控制系统1的配置的框图；

图3是用于说明自动驱动装置20和诊断装置30的功能的框图；

图4是用于说明风险确定单元G5的操作的图；

图5是用于说明风险确定单元G5的操作的另一图；

图6是用于说明风险确定单元G5的操作的又一图；

图7是用于说明异常检测单元G4的操作的流程图；

图8是用于说明异常检测单元G4的操作的图；

图9是用于说明异常检测单元G4的操作的图；

图10是用于说明诊断装置30的操作的流程图；

图11是用于说明识别系统的操作的图；

图12是用于说明识别系统的操作的图；

图13是示出系统配置的修改的图；

图14是示出根据第二实施方式的车辆控制系统1的配置的框图；

图15是用于说明第二实施方式的诊断装置30的操作的框图；

图16是用于说明第二实施方式的异常检测单元G4的操作的图；

图17是用于说明第二实施方式的异常检测单元G4的操作的图；

图18是用于说明第二实施方式的异常检测单元G4的操作的图；以及

图19是示出第二实施方式的配置的修改的图。

具体实施方式

将参照附图描述向其应用了根据本公开内容的车辆控制装置的车辆控制系统1的实施方式。在下面，以左侧通行合法化的地区为示例进行说明。在右侧通行合法的地区，左右两侧可以反过来。本公开内容可以适当地修改和实施以符合使用车辆控制系统1的地区的法律和习俗。

(第一实施方式)

在下文中，将参照附图描述本公开内容的第一实施方式。图1是示出根据本公开内容的自动驾驶系统的配置的示例的图。如图1所示，自动驾驶系统包括建立在车辆Ma上的车辆控制系统1和外部服务器Sv。车辆控制系统1可以安装/装配在可以在道路上行驶的车辆上，并且车辆Ma可以是四轮车辆，也可以是两轮车辆、三轮车辆等。机动自行车也可以包括在两轮车辆中。车辆Ma可以是个人拥有的自有车、共享车或服务车。服务车包括出租车、固定路线公共汽车和共享公共汽车。出租车或公共汽车可以是没有司机在车上的机器人出租车等。

车辆控制系统1通过与外部服务器Sv执行无线通信从外部服务器Sv下载作为本地高精度地图数据的部分地图数据，并且使用其用于自动驾驶和导航。在下文中，其上安装有车辆控制系统1的车辆也被描述为本车辆Ma，并且坐在本车辆Ma的驾驶员座椅上的乘员(即，驾驶员座椅乘员)也可以被描述为用户。驾驶员座椅乘员的概念还包括具有远程地控制本车辆Ma的权限的操作员。以下描述中的前后方向、左右方向和上下方向参照本车辆Ma来定义。具体地，前后方向对应于本车辆Ma的纵向方向。左右方向对应于本车辆Ma的宽度方向。竖直方向对应于车辆高度方向。从另一个角度来看，竖直方向对应于垂直于与前后方向和左右方向两者平行的平面的方向。

<地图数据>

下面将描述由外部服务器Sv保持的地图数据。地图数据对应于以针对自动驾驶的适当精度示出道路结构、在地面上和沿道路布置/设置的特征对象的位置坐标等的地图数据。地图数据包括节点数据、链路数据、特征对象数据等。节点数据包括各种数据，例如为地图上的每个节点分配了唯一编号的节点ID、节点坐标、节点名称、节点类型、描述了连接至节点的链路的链路ID等的连接链路ID。

链路数据是关于作为连接节点的路段的链路的数据。链路数据包括各种数据，例如作为针对链路的唯一标识符的链路ID、链路形状信息(在下文中为链路形状)、针对链路的起始侧和终止侧的节点坐标、道路属性等。链路形状可以由表示道路边缘的形状的坐标序列来表示。链路形状对应于道路形状。链路形状可以由三阶样条曲线(three-orderspline curve)表示。道路属性包括例如道路名称、道路类型、道路宽度、指示车道的数目的车道数目信息、速度调节值等。链路数据还可以包括指示道路类型的数据，例如道路是高速公路还是普通道路。此处的高速公路是指其上禁止行人和自行车进入的道路，例如收费道路如快速公路。链路数据可以包括指示道路是否允许车辆的自主驾驶的属性信息。可以针对每个车道细分和描述链路数据。

特征对象数据包括车道标记数据和地标数据。车道标记数据包括针对每个车道标记的车道标记ID和表示特征对象的安装部分的一组坐标点。车道标记数据包括图案信息诸如虚线、实线和道路轨道。车道标记数据与车道信息例如车道级别的车道ID或链路ID相关联。地标是位于道路沿线的三维结构。沿着道路的三维结构是例如护栏、路缘、树木、电线杆、道路标志、交通灯等。道路标志包括导向标志诸如方向标志和道路名称标志。地标数据表示每个地标的位置和类型。每个特征对象的形状和位置由一组坐标点表示。POI(兴趣点)数据是指示影响车辆行驶计划的特征对象例如用于离开主要公路的分支点、交叉点、限速变更点、车道变更点、交通拥堵、建筑段、路口、隧道、收费站等的位置和类型的数据。POI数据包括类型和位置信息。

地图数据可以是包括道路形状和结构的一组特征点的三维地图数据。三维地图数据对应于以三维坐标表示特征对象诸如道路边缘、车道标记和道路标志的位置的地图数据。注意，三维地图可以由REM(道路体验管理)基于所捕获的图像生成。此外，地图数据可以包括行驶轨迹模型。行驶轨迹模型是通过对多个车辆的行驶轨迹进行统计整合生成的轨道数据。行驶轨迹模型是例如针对每个车道的行驶轨迹的平均值。行驶轨迹模型对应于指示在自动驾驶期间用作参考的行驶轨道的数据。

地图数据被分成多个小块来管理。每个小块对应于针对不同区域的地图数据。如图1所示，例如，地图数据以地图图块为单位存储，其中地图记录区域被划分为2平方公里的矩形形状。地图图块对应于上述小块的从属概念。每个地图图块都被给予指示地图图块所对应的现实世界区域的信息。指示现实世界区域的信息由例如纬度、经度和高度表示。此外，每个地图图块都被给予唯一的ID(在下文中为图块ID)。针对每个小块或每个地图图块的地图数据是整个地图记录区域的一部分，换言之，部分地图数据。地图图块对应于部分地图数据。外部服务器Sv基于来自车辆控制系统1的请求，根据车辆控制系统1的位置分发部分地图数据。

注意，地图图块的形状不限于2平方公里的矩形形状。它可以具有1平方公里或4平方公里的矩形形状。此外，地图图块可以是六边形或圆形。每个地图图块可以被设置成部分地交叠相邻的地图图块。地图记录区域可以是使用该车辆的整个国家，或者可以是该区域即国家的仅一部分。例如，地图记录区域可以限于允许一般车辆的自动驾驶的区域或者提供自动驾驶移动(例如，公共汽车)服务的区域。此外，划分地图数据的方式可以由数据大小来定义。换言之，可以在由数据大小限定的范围内划分和管理地图记录区域。在这种情况下，每个小块被设置成使得数据量小于预定值。根据这种模式，可以将一个分布中的数据大小设置为某个值或更小。通过例如整合从多个车辆上传的探测数据来随时更新地图数据。

<车辆控制系统1的配置>

接下来，将参照图2描述第一实施方式的车辆控制系统1的配置。图2所示的车辆控制系统1用在能够执行自动驾驶的车辆(在下文中称为自动驾驶车辆)中。如图2所示，车辆控制系统1包括周围监视传感器11、车辆状态传感器12、V2X车载装置13、地图保持单元14、定位器15、行驶控制致动器16、自动驱动装置20和诊断装置30。注意，描述名称中的“HMI”是人机接口的缩写。此外，V2X是车辆对X(一切事物)的缩写，并且是指将各种事物连接至车辆的通信技术。V2X中的“V”是指作为本车辆Ma的车辆，并且“X”可以指除本车辆Ma以外的各种对象，例如行人、其他车辆、道路设备、网络、服务器等。

本公开内容中“自主驾驶”指示的级别可以为例如等同于由汽车工程师协会(SAE国际)定义的级别3，或者可以为级别4或更高。在下文中，将描述本车辆Ma以至少自动化级别3或更高级别执行自动驾驶的示例。注意，级别3是指系统执行操作设计域(ODD)内所有驾驶任务的级别，而在紧急情况下，操作权限从系统转移至用户。ODD限定了可以执行自动驾驶的条件，例如行驶位置在快速公路上等。在级别3，要求用户能够在存在来自系统的更改/切换操作的请求时迅速做出响应。接管驾驶操作的人可以是存在于车辆外部的操作员。级别3对应于所谓的有条件自动驾驶。级别4是系统可以在除了诸如在不兼容自动驾驶的道路上行驶、极端环境等特定情况外执行所有驾驶任务的级别。级别5是系统可以在任何环境中执行所有驾驶任务的级别。级别3至级别5也可以被称为自动地执行与车辆行驶相关的所有控制的自主驾驶级别。

周围监视传感器11是监视本车辆的“外围”区域或周围的传感器。周围监视传感器11被配置成检测预定检测目标的存在和位置。检测目标包括例如移动对象如行人或另外的车辆。另外的车辆可以包括自行车、机动自行车和摩托车。此外，周围监视传感器11被配置成能够检测预定特征对象。要由周围监视传感器11检测的特征对象包括道路边缘、道路标记和沿道路安装/建造的三维结构。道路标记是指在道路表面上绘制用于交通控制和交通法规的油漆。例如，指示车道边界、人行横道、停止线、分流区、安全区、监管箭头等的车道标记包括在道路标记中。车道标记也称为车道标线或车道标记物。车道标记还包括由道钉诸如猫眼(或振动条)和反光点实现的那些标记。如上所述，沿道路安装的三维结构是例如护栏、道路标志、交通灯等。即，优选地，周围监视传感器11被配置成能够检测地标。路缘、护栏、墙壁等也属于上述三维结构。周围监视传感器11可以被配置成能够检测落下的对象，即遗留在道路上的对象。

例如，可以采用外围监视摄像装置、毫米波雷达、LiDAR(光检测和测距/激光成像检测和测距)、声纳等作为周围监视传感器11。外围监视摄像装置是被布置成在预定方向上对本车辆的外部进行成像的车载摄像装置。外围监视摄像装置包括设置在车辆内侧的风挡的上端的位置、前格栅等处以拍摄/捕获本车辆Ma的前场的前置摄像装置。毫米波雷达在预定方向上发射毫米波或准毫米波，并且分析接收到的由对象反射的发射波的反射波的数据，从而检测对象相对于本车辆Ma的相对位置和相对速度。毫米波雷达生成例如指示每个检测方向和距离的接收强度和相对速度的数据，或者指示被检测对象的相对位置和接收强度的数据，作为观测数据。LiDAR是通过用激光照射场来生成指示在每个检测方向上的反射点的位置的三维点云数据的装置。LiDAR也可以称为激光雷达。LiDAR可以是扫描型或闪光型。声纳是通过在预定方向上发射超声波并且分析接收到的反射波的数据来检测对象相对于其本车辆Ma的相对位置和相对速度的装置，该反射波是由对象反射并返回的发射波的反射。

在图3中，周围监视传感器11包括前置摄像装置11A、毫米波雷达11B、LiDAR 11C和声纳11D作为周围监视传感器11。前置摄像装置11A、毫米波雷达11B、LiDAR 11C和声纳11D均被配置成将车辆的行驶方向(例如，车辆的正面方向/前向方向)包括在检测范围内。注意，声纳11D可以布置在车辆的前保险杠和后保险杠上。

前置摄像装置11A、LiDAR11C等通过使用例如使用CNN(卷积神经网络)或DNN(深度神经网络)的分类器来检测上述检测目标。毫米波雷达11B和声纳11D通过分析接收到的反射波的强度、检测点的分布等来检测上述检测目标。

周围监视传感器11中的每一个输出指示每个被检测对象的相对位置、类型、移动速度等的信号作为检测结果。被检测对象的类型的识别结果包括识别结果的相似度，即指示对被检测对象的类型的识别在多大范围/程度上是正确的正确识别概率数据。例如，正确识别概率数据包括被检测对象为车辆的概率值、被检测对象为行人的概率值、被检测对象为骑行人的概率值、被检测对象为三维结构例如招牌等的概率值。可以将针对各个类型的概率值视为指示特征值的匹配程度的分数。注意，此处的骑自行车的人是指骑手骑乘在其上的自行车、或在自行车上的骑手。周围监视传感器11的检测结果可以被视为识别结果或确定结果。

此外，当发生内部故障等时，周围监视传感器11中的每一个向车载网络Nw输出错误信号。例如，当检测到图像传感器或处理电路中的异常时，前置摄像装置11A输出错误信号。周围监视传感器11输出的错误信号被输入至例如自动驱动装置20和/或诊断装置30。

注意，由车辆控制系统1使用作为周围监视传感器11的传感器的类型可以被适当地设计，并且不必包括所有上述传感器。此外，基于由周围监视传感器11产生的观察数据进行的对象识别处理可以由传感器外部的ECU(电子控制单元)例如自动驱动装置20来执行。自动驱动装置20可以设置在周围监视传感器11例如前置摄像装置11A和毫米波雷达中包括的对象识别功能的一部分或全部。在这种情况下，各种周围监视传感器11可以向自动驱动装置20提供观察数据诸如图像数据和测距数据作为检测结果数据。

简要地返回至图2，车辆状态传感器12是检测与本车辆Ma的行驶控制相关的状态量的传感器组。车辆状态传感器12包括车辆速度传感器、转向传感器、加速度传感器、偏航率传感器等。车辆速度传感器检测本车辆的车辆速度。转向传感器检测本车辆的转向角。加速度传感器检测本车辆的加速度例如前后加速度、横向加速度等。加速度传感器还可以检测减速度，即负方向/负值上的加速度。偏航率传感器检测本车辆的角速度。由车辆控制系统1使用作为车辆状态传感器12的传感器的类型可以被适当设计，并且不必包括所有的上述传感器。

V2X车载装置13是本车辆Ma中用于与其他装置执行无线通信的装置。V2X车载装置13包括广域通信单元和窄域通信单元作为通信模块。广域通信单元是用于执行符合预定广域无线通信标准的无线通信的通信模块。可以采用诸如LTE(长期演进)、4G和5G的各种标准作为此处的广域无线通信标准。除了经由无线基站进行通信之外，广域通信单元还可以被配置成通过符合广域无线通信标准的方法直接与其他装置执行无线通信，即不经过基站。也就是说，广域通信单元可以被配置成执行蜂窝V2X。本车辆Ma成为可以通过安装V2X车载装置13而连接至因特网的连接汽车。例如，自动驱动装置20根据本车辆Ma的当前位置从与V2X车载装置13协作的外部服务器Sv下载最新的部分地图数据。此外，V2X车载装置13从外部服务器Sv、路边单元等获取交通拥堵信息和天气信息。交通拥堵信息包括位置信息诸如交通拥堵的起点和终点。

V2X车载装置13中包括的窄域通信单元是根据下述通信标准(在下文中为窄域通信标准)与其他装置即存在于本车辆Ma周围的其他移动对象和路边单元直接进行通信的通信模块，在所述通信标准中，通信距离被限制在几百米或更小的范围内。其他移动对象不限于车辆，还可以包括行人、自行车等。可以采用诸如在IEEE1709中公开的WAVE(车辆环境中的无线接入)标准和DSRC(专用短距离通信)标准中的任何一种标准作为窄距离通信标准。例如，窄域通信单元以预定传输周期向附近的车辆广播关于其本车辆Ma的车辆信息，并且接收从其他车辆发送的车辆信息。车辆信息包括车辆ID、当前位置、行驶方向、移动速度、方向指示器的操作状态、时间戳等。

地图保持单元14是存储与本车辆Ma的当前位置对应的部分地图数据的装置，所述部分地图数据由V2X车载装置13从外部服务器Sv获取的。地图保持单元14保持例如与本车辆Ma在预定时间内计划通过的道路相关的部分地图数据。地图保持单元14是非暂态存储介质。地图保持单元14可以通过使用例如包括在稍后参照图2描述的存储器23或RAM 22中的存储区域的一部分来实现。地图保持单元14可以设置为内置于自动驱动装置20中的装置。从与V2X车载装置13协作的外部服务器Sv获取地图数据并将数据存储在地图保持单元14中的处理可以由自动驱动装置20控制，或者可以由定位器15控制。注意，地图保持单元14可以是存储所有地图数据的非易失性存储装置。

定位器15是通过将多条信息组合的组合定位来生成本车辆Ma的高度准确的位置信息等的装置。定位器15使用例如GNSS接收器进行配置。GNSS接收器是通过接收从构成GNSS(全球导航卫星系统)的定位卫星发送的导航信号(在下文中称为定位信号)来重复和/或间歇地检测GNSS接收器的当前位置的装置。例如，如果GNSS接收器可以接收来自四个或更多个定位卫星的定位信号，则它每100毫秒输出定位结果。可以采用GPS、GLONASS、Galileo、IRNSS、QZSS、Beidou等作为GNSS。

定位器15通过将GNSS接收器的定位结果和惯性传感器的输出进行组合来重复和/或间歇地确定本车辆Ma的位置。例如，当GNSS接收器不能接收GNSS信号时，例如在隧道中，定位器15使用偏航率和车辆速度执行航位推算(即，自主导航)。用于航位推算的偏航率可以是由使用SfM技术的前置摄像装置计算的偏航率，或者可以由偏航率传感器检测。定位器15可以使用加速度传感器或陀螺仪传感器的输出来执行航位推算。例如，以纬度、经度和高度的三维坐标表示车辆位置。由定位器15提供的车辆位置信息被输出至车载网络Nw并且被自动驱动装置20等使用。

定位器15可以被配置成能够执行定位处理。定位处理是通过将基于由车内摄像装置诸如前置摄像装置11A捕获的图像确定出的地标的坐标与登记在地图数据中的地标的坐标进行核对/比较以获得本车辆Ma的精确位置来执行的处理。此外，定位器15可以被配置成基于距由前置摄像装置或毫米波雷达检测到的道路边缘的距离来确定作为本车辆Ma正在行驶的车道的标识符的行驶车道ID。行驶车道ID指示例如本车辆Ma正在行驶的车道距最左侧道路边缘或最右侧道路边缘的数目。自动驱动装置20可以具有由定位器15提供的功能中的一些或全部。

行驶控制致动器16是行驶致动器。行驶控制致动器16包括例如作为制动装置的制动致动器、电子节气门、转向致动器等。转向致动器包括EPS(电动助力转向)电机。行驶控制致动器16由自动驱动装置20控制。注意，自动驱动装置20与行驶控制致动器16之间可以介入用于执行转向控制的转向ECU以及用于执行加速度/减速度控制的动力单元控制ECU、制动ECU等。

自动驱动装置20是通过基于周围监视传感器11的检测结果控制行驶控制致动器16来代表驾驶员座椅的乘员执行驾驶操作的一部分或全部的ECU(电子控制单元)。此处，作为示例，自动驱动装置20被配置成能够执行一直到自动化级别5，并且被配置成能够切换对应于各个自动化级别的操作模式。在下文中，为了方便起见，对应于自动操作级别N(N＝0至5)的操作模式也将被称为级别N模式。在下面，在假设在自动化级别3或更高的模式下操作的情况下继续描述。在级别3或更高的操作模式中，自动驱动装置20使车辆自动地转向、加速和减速(换言之，引起制动)，使得车辆Ma沿道路行驶至驾驶员座椅的乘员或操作者设置的目的地。注意，除了用户操作之外，由于系统限制、从ODD的退出等自动执行操作模式的切换。

自动驱动装置20主要包括具有处理单元21、RAM 22、存储器23、通信接口24、连接它们的总线等的计算机。处理单元21是与RAM 22组合的用于算术处理的硬件。处理单元21被配置成包括至少一个算术核，例如CPU(中央处理单元)。处理单元21通过访问RAM 22来执行用于实现功能单元中的每一个的功能的各种处理，这将在后面描述。存储器23被配置成包括非易失性存储介质诸如闪存等。存储器23存储由处理单元21执行的程序(在下文中为自动驾驶程序)。由处理单元21执行自动驾驶程序对应于执行与自动驾驶程序对应的方法作为车辆控制方法。通信接口24是用于经由车内网络Nw与其他装置进行通信的电路。通信接口24可以通过使用模拟电路元件、IC等来实现。

通信接口24对应于例如用于获取作为周围监视传感器11的输出信号的检测结果(即，感测信息)和车辆状态传感器12的检测结果的配置。感测信息包括存在于本车辆Ma周围的其他移动对象、特征对象、障碍物等的位置、移动速度等。例如，作为在本车辆Ma前方行驶的车辆的前方车辆与本车辆Ma之间的距离以及前方车辆的移动速度被包括在感测信息中。此处的前方车辆可以包括与本车辆在同一车道上行驶的车辆即所谓的在前车辆，以及在相邻车道上行驶的车辆。也就是说，此处的前方不限于本车辆Ma的正前方方向，而是可以包括斜前方。感测信息包括距道路边缘的横向距离、行驶车道ID、与行驶车道的中心线的偏移量等。

自动驱动装置20从车辆状态传感器12接收各种输入，例如指示本车辆Ma的行驶速度、加速度、偏航率等的信号、由定位器15检测到的本车辆位置信息、以及保持在地图保持单元14中的地图数据。此外，由V2X车载装置13从路边单元等获取的交通信息以及通过车辆间通信获取的其他车辆信息也被输入至自动驱动装置20。后面将描述自动驱动装置20基于这些输入信号的操作的细节。

诊断装置30被配置成基于来自周围监视传感器11的输出信号和自动驱动装置20的输出信号来检测现场识别系统中的异常。此处的现场识别系统还包括单独的周围监视传感器11。此外，现场识别系统还包括诸如后面描述的融合单元F2的模块，其基于自动驱动装置20中的周围监视传感器11的输出信号来执行识别本车辆周围的环境的处理。此处的行驶环境的识别包括识别存在于车辆周围的对象的类型和位置。

诊断装置30主要包括具有处理单元31、RAM 32、存储器33、通信接口34、连接它们的总线等的计算机。存储器33存储由处理单元31执行的程序(在下文中称为车辆控制程序)。由处理单元31执行车辆控制程序对应于执行与车辆控制程序对应的方法作为车辆控制方法。

注意，诊断装置30接收来自各种装置的输入，即由各种周围监视传感器11输出的检测结果和错误信号、以及指示包括在自动驱动装置20中的融合单元F2的操作情况的数据等。指示融合单元F2的操作情况等的数据包括例如融合的结果、用于传感器融合的周围监视传感器11的利用率(换言之，权重)等。

此外，诊断装置30向自动驱动装置20输出指示诊断结果的信号。指示诊断结果的信号包括各种周围监视传感器11的可用性。此外，当识别系统中存在异常时，与异常事件的影响程度对应的控制信号被输出至自动驱动装置20。后面将描述诊断装置30的细节。诊断装置30对应于车辆控制装置。

<自动驱动装置20和诊断装置30的配置，图3>

此处，将参照图3描述自动驱动装置20和诊断装置30的配置。自动驱动装置20包括地图链接单元F1、融合单元F2、控制计划单元F3和安全评估单元F4作为由处理单元21(图2中)执行自动驾驶程序而实现的功能单元。此外，诊断装置30具有诊断材料获取单元G1、识别结果保持单元G2、对应关系确定单元G3、异常检测单元G4、风险确定单元G5和风险响应单元G6作为由处理单元31执行车辆控制程序而实现的功能单元。

地图链接单元F1通过将前置摄像装置11A的识别结果和地图数据进行组合来识别车辆周围的环境。例如，修正存在于本车辆的前方的结构和道路标记的位置和类型。使用地图数据来增加或校正前置摄像装置11A的识别结果的可靠性和信息量。此外，地图链接单元F1通过将地图数据中示出的作为地标的结构与由前置摄像装置11A识别的地标信息进行比较来确定本车辆在地图上的位置，这被称为所谓的定位处理。

地图链接单元F1向诊断装置30和融合单元F2输出通过互补/补偿地使用前摄像装置11A的识别结果和地图数据确定的识别结果数据。为方便起见，地图链接单元F1也被描述为第一识别单元，这是因为它对应于对融合单元F2执行预处理的配置，并且地图链接单元F1的识别结果也被描述为第一识别结果。作为第一识别结果的对象识别结果数据包括指示每个被检测对象的位置和类型的信息。如上所述，被检测对象的类型信息包括针对每种类型的正确识别概率数据。例如，正确识别概率数据包括被检测对象为车辆的概率值、被检测对象为行人的概率值等。

此外，地图链接单元F1向诊断装置30和融合单元F2输出针对每个被检测对象的传感器使用率数据。针对某一对象的传感器使用率数据指示前置摄像装置11A的识别结果的权重和分别用于确定对象的类型的地图数据的权重。传感器使用率可以是恒定值或者可以根据从车辆到被检测对象的距离而变化。此外，传感器使用率可以根据由前置摄像装置11A识别的对象的类型及其正确识别概率而改变。此外，传感器使用率可以根据驾驶场景而改变。例如，当图像识别性能可能劣化时，例如在夜间或在雨中，前置摄像装置11A的识别结果的权重被设置得相对小。除上述情况外，图像识别性能可能劣化的驾驶场景可能包括下沉、日落的太阳照耀/刺眼的情况、隧道入口/出口附近、在弯道上驾驶、产生雾的情况等。

在本实施方式中，地图链接单元F1布置在融合单元F2之外。然而，融合单元F2可以具有地图链接单元F1的功能。前置摄像装置11A和定位器15的输出信号以及地图数据可以直接输入至融合单元F2。地图链接单元F1是任意元件。地图链接单元F1和融合单元F2对应于识别单元。

融合单元F2通过以预定权重(换言之，传感器使用率)整合各种周围监视传感器11的检测结果的传感器融合处理来识别本车辆Ma的行驶环境。行驶环境不仅包括存在于车辆周围的对象的位置、类型和移动速度，还包括道路的曲率、车道的数目、作为道路上行驶位置的行驶车道、天气、道路表面状况等。通过将前置摄像装置11A的识别结果和通过V2X车载装置13获取的天气信息进行组合可以确定天气和道路表面状况。主要基于从地图链接单元F1输入的信息来确定道路结构。

示出融合单元F2的识别结果的数据也被描述为融合结果数据，以便将其与地图链接单元F1的识别结果区分开。例如，融合单元F2通过以预定或动态设置的传感器使用率整合地图链接单元F1、毫米波雷达11B、LiDAR 11C和声纳11D的检测结果来生成融合结果数据。融合结果数据被输出至诊断装置30、控制计划单元F3和安全评估单元F4。

融合结果数据还包含指示每个被检测对象的位置和类型的信息。例如，融合结果数据包括针对每个被检测对象的类型、位置、形状、大小、相对速度等。如上所述，类型信息包括针对每种类型的正确识别概率数据。注意，融合单元F2被配置成通过使用用作第一识别单元的地图链接单元F1的识别处理结果来再次/独立地执行对象识别处理，从而可指定为第二识别单元。因此，融合单元F2的识别结果也被描述为二次识别结果。在融合结果数据中，融合单元F2中的识别结果也被描述为二次识别结果。下文中，可以将二次识别结果数据称为融合结果数据。

融合单元F2还将针对每个被检测对象的传感器使用率数据输出至诊断装置30、控制计划单元F3和安全评估单元F4。如上所述，针对某一对象的传感器使用率数据指示用于确定对象的类型的各个信息源的权重。此处的信息源对应于周围监视传感器11，例如毫米波雷达11B、LiDAR 11C等。此外，地图链接单元F1也对应于针对融合单元F2的信息源。地图链接单元F1还基于前置摄像装置11A的识别结果来识别存在于车辆周围的对象。因此，地图链接单元F1可以包括在周围监视传感器11的概念中。

融合单元F2中的传感器使用率可以是恒定值或者可以根据从车辆到被检测对象的距离而变化。融合单元F2中的传感器使用率可以根据由每个周围监视传感器11输出的正确识别概率来设置值。例如，具有正确识别概率为80％的周围监视传感器11的权重可以被设置为0.8(对应于80％)。周围监视传感器11识别某一对象的使用率可以是通过将周围监视传感器11的正确识别概率乘以预定转换系数获得的值。此外，传感器使用率可以根据对象的类型而改变。此外，传感器使用率可以根据驾驶场景而改变。此外，可以针对每个对象检测目标项来改变传感器使用率。检测目标项包括距离、水平方位角、高度方位角、移动速度、大小、类型等。例如，关于距离、高度方位角和移动速度，基于前置摄像装置11A的检测结果，毫米波雷达11B或LiDAR 11C的权重可能大于地图链接单元F1的权重。此外，关于类型和水平方位角，LiDAR 11C或地图链接单元F1的权重可能大于毫米波雷达11B的权重。

控制计划单元F3使用地图数据和融合单元F2的识别结果来生成用于本车辆Ma通过自动驾驶的自主行驶的行驶计划或控制计划。例如，控制计划单元F3执行路线搜索处理作为中长期行驶计划以生成用于引导车辆从本车辆的位置到目的地的推荐路线。此外，控制计划单元F3根据中/长期行驶计划来生成车道改变驾驶计划、用于行驶在车道的中央的驾驶计划、用于跟随在前车辆的行驶计划、用于跟随该在前车辆的行驶计划、用于避开障碍物的行驶计划等作为用于行驶的短期控制计划。例如，使用地图数据来基于车道的数目和道路宽度来确定车辆可以行驶的区域，并且基于前方道路的曲率来设置转向量和目标速度。

作为短期控制计划，控制计划单元F3生成例如与识别出的行驶车道标记保留某一距离的路线、或者保持车道的中央的路线、或者根据识别出的在前车辆的路线、或者沿识别出的在前车辆的行驶轨迹的路线作为行驶计划。当本车辆的行驶车道对应于(即，包括在)交通的两侧上具有多个车道的道路时，控制计划单元F3可以生成用于将车道改变至在与本车辆的行驶车道相同的方向上的相邻车道的计划候选。当融合单元F2识别出在本车辆Ma的前方存在障碍物时，控制计划单元F3可以生成经过障碍物一侧的行驶计划。当融合单元F2已经识别出在本车辆Ma前方存在障碍物时，控制计划单元F3可以生成在障碍物之前停止车辆的减速度控制作为行驶计划。控制计划单元F3可以被配置成生成通过机器学习等被确定为最佳的行驶计划。

控制计划单元F3计算例如一个或更多个计划候选作为用于短期行驶计划的候选。多个计划候选具有不同的加速量/减速量、颠簸前进(即，短途旅行)、转向量、用于执行各种控制的时刻等。也就是说，短期行驶计划可以包括用于计算出的路线上的速度调整的加速/减速时间表信息。计划候选也可以称为路线候选。控制计划单元F3向安全评估单元F4输出指示至少一个生成的计划候选的数据。

安全评估单元F4基于识别结果和融合单元F2中的地图数据，从由控制计划单元F3生成的控制计划当中确定最终执行计划，并且根据该计划向行驶控制致动器16输出控制信号。地图数据用于基于道路结构和交通规则/法规的安全距离的计算处理以及用于潜在事故责任值的计算处理。安全评估单元F4包括责任值计算单元F41和动作确定单元F42作为子功能。

责任值计算单元F41对应于用于评估由控制计划单元F3生成的行驶计划的安全性的配置。作为示例，责任值计算单元F41基于本车辆与周围对象之间的距离(在下文中称为对象间距离)是否等于或大于通过使用制定安全驾驶概念的数学公式模型确定的安全距离来评估安全性。例如，责任值计算单元F41针对由控制计划单元F3制定的候选计划中的每一个，关于在本车辆Ma沿候选计划的行驶期间发生的事故，确定/计算指示本车辆Ma的责任程度的潜在事故责任值。潜在事故责任值是通过使用(i)本车辆Ma与周围车辆之间的车辆间距离与(ii)本车辆Ma根据计划候选在道路上行驶时的安全距离之间的比较结果作为决定因素之一来确定的。

责任越低，潜在的事故责任值就变得越小。因此，潜在事故责任值随着本车辆Ma“更渴望/更坚定地”安全驾驶而变小。例如，如果车辆间距离得到充分保证，则潜在事故责任值就变成小值。此外，当本车辆Ma突然加速或减速时，潜在事故责任值可能是大值。

此外，当本车辆Ma根据交通规则/法规行驶时，责任值计算单元F41可以将潜在事故责任值设置为低值。换言之，也可以采用路线是否符合车辆位置处的交通规则作为影响潜在事故责任值的决定因素。为了确定本车辆Ma是否根据交通规则行驶，责任值计算单元F41可以设置有用于获取本车辆Ma正在行驶的点处的交通规则的配置。本车辆Ma正在行驶的点处的交通规则可以从预先确定的数据库中获取，或者可以通过对捕获本车辆Ma的周围的摄像装置拍摄的图像进行分析以及检测标志、交通灯、道路标记等来获取。交通规则可以包括在地图数据中。

由责任值计算单元F41使用的安全距离是用作用于评估本车辆与目标车辆例如在前车辆之间的安全性的参考的参数，并且根据行驶环境动态地确定。安全距离至少基于本车辆Ma的诸如加速度的行为信息来设置。由于可以采用各种模型作为安全距离的计算方法，此处省略计算方法的详细说明。此外，例如，可以使用RSS(责任敏感安全)模型作为用于计算安全距离的数学公式模型。此外，也可以采用SFF(安全力场，注册商标)作为用于计算安全距离的数学公式模型。安全距离包括距在前车辆的安全距离即在纵向方向上的安全距离，以及在左右方向即水平/横向方向上的安全距离。上述数学公式模型包括用于确定这两种类型的安全距离的模型。

上述数学公式模型不保证无事故驾驶，但是，该模型保证只要在车辆间距离下降到低于安全距离的情况下采取适当的防撞措施，则本车辆免除事故责任。可以考虑以合理的力进行制动作为此处用于避免碰撞的适当动作的示例。以合理的力进行制动包括例如以本车辆可能的最大减速度进行制动。由数学公式模型计算出的安全距离可以改写为车辆应当在车辆自身与障碍物之间为避免车辆近距离接触障碍物而保留的最小距离。

动作确定单元F42被配置成基于由责任值计算单元F41计算出的潜在事故责任值根据来自多个控制计划当中的计划之一来确定最终执行计划。例如，在动作确定单元F42中，从由控制计划单元F3生成的控制计划当中采用(a)具有由责任值计算单元F41计算出的最小潜在事故责任值的计划、或者(b)将潜在事故责任值计算为允许水平的计划，作为最终执行计划。

安全评估单元F4将与由动作确定单元F42确定的控制计划对应的控制信号输出至控制对象，即输出至行驶控制致动器16以对其进行控制。例如，当计划减速时，用于实现计划的减速的控制信号被输出至制动致动器和电子节气门。

诊断材料获取单元G1获取作为诊断材料或线索的信息，用于确定任何现场识别系统即周围监视传感器11、地图链接单元F1和融合系统F2中是否发生异常。可以采用指示每个周围监视传感器11的检测结果的信号、地图链接单元F1的识别结果数据和融合单元F2的识别结果数据作为诊断材料。此外，当从周围监视传感器11输出错误信号时，该错误信号也可以用作诊断材料。注意，确定是否已发生异常对应于检测到已发生异常。此处的异常是指它(即，传感器11)由于某种失灵而不能正常操作的状态。传感器11的异常状态包括由于故障而没有输出识别结果的状态和输出信号被卡住(例如保持不变)的状态。诊断材料获取单元G1从周围监视传感器11、地图链接单元F1和融合单元F2中的每一个重复和/或间歇地获取可以用作诊断材料的预定类型的数据。诊断材料获取单元G1将从这些配置部件中的每一个获取的数据区分为各自的信息类型，并且将其存储在识别结果保持单元G2中。此外，例如，将具有不同获取时间点的相同类型的数据按时间顺序进行排序和保存，使得最新的数据在顶部。各种数据被配置成使得可以确定获取的顺序，例如添加与获取时间对应的时间戳。注意，已保存达某一时间段的数据然后可能被依次丢弃。诊断材料获取单元G1对应于识别结果获取单元。

识别结果保持单元G2通过使用例如RAM 32中的存储区域的一部分来实现。识别结果保持单元G2被配置成存储例如在最近10秒内获取的数据。识别结果保持单元G2对应于用于临时汇集数据作为诊断材料的存储器。

对应关系确定单元G3基于被检测对象的位置和移动速度将先前时刻检测到的对象与下一时刻检测到的对象相关联。也就是说，对应关系确定单元G3对应于对曾经检测到的对象进行跟踪(即，对被检测对象的跟踪)的配置。可以使用各种方法作为对象跟踪方法。例如，对应关系确定单元G3基于先前时刻的位置和每个被检测对象的移动速度来估计当前时刻的位置，并且在当前观察数据中，最接近估计位置的对象可以视为同一对象。此外，对应关系确定单元G3还可以被配置成通过使用被检测对象在这些(当前和先前)时刻的特征值的相似程度，在先前数据与当前数据之间执行关于它们是否为同一对象的关联(换言之，跟踪)。可以根据每个周围监视传感器11的特征采用诸如颜色直方图、大小、反射强度等的项作为被检测对象的特征值。

此外，对应关系确定单元G3还基于被检测对象的位置信息将由不同的周围监视传感器11共同检测到的对象进行关联。例如，如果毫米波雷达11B在距前置摄像装置11A检测到另一车辆的位置的预定距离内也检测到另一车辆，则将两者视为同一对象。可能优选的是，同一对象被给予相同的检测目标ID，以便促进随着时间进行跟踪。被检测对象ID是用于确定被检测对象的标识符。对应关系确定单元G3的确定结果被反映至存储在识别结果保持单元G2中的识别结果数据。

异常检测单元G4被配置成基于存储在识别结果保持单元G2中的识别结果数据等来检测现场识别系统中的异常。异常检测单元G4的细节将在后面单独地描述。在下文，由异常检测单元G4确定为未正常操作的周围监视传感器11将被称为异常传感器。从另一观点来看，异常检测单元G4对应于用于确定异常传感器的存在或不存在的配置。

风险确定单元G5被配置成基于异常传感器的存在或不存在以及异常传感器在传感器融合处理中的使用程度来确定风险的程度或风险级别。此处，作为示例，风险的程度以从0到2的三个级别来表示。风险级别0对应于非危险状态。风险级别1对应于与通常相比更安全地执行控制更好的状态。更安全地控制是指诸如增加安全距离或将操作权限转移至用户的处理。风险级别2指示车辆应当停止的状态。

例如，如图4所示，当不存在异常传感器时，风险级别被确定为0。此外，如图5所示，即使存在异常传感器，如果异常传感器的使用程度小于预定的风险确定阈值，则风险级别被确定为1。如图6所示，当存在异常传感器并且异常传感器的使用程度等于或高于风险确定阈值时，风险级别被确定为2。图4至图6所示的传感器A对应于例如前置摄像装置11A或地图链接单元F1。传感器B是例如毫米波雷达11B，并且传感器C是例如LiDAR 11C。传感器D是例如声纳11D。风险确定阈值可以为例如10％、25％等。

每个周围监视传感器11的使用程度可以是例如传感器融合中的传感器本身的权重。此外，当加权系数针对每个对象不同时，每个周围监视传感器11的使用程度可以是针对每个对象的权重的平均值或最大值。此外，周围监视传感器11的使用程度可以是在一定时间段内将用于计算的目标周围监视传感器11的识别结果用于传感器融合处理中的次数的比率。也就是说，每个周围监视传感器11的使用程度可以是某一时间段内的值。传感器融合中每个周围监视传感器11的使用程度可以是例如从用于传感器融合的目标周围监测传感器11的检测结果中的对象的数目除以在距车辆的预定距离内检测到的对象的总数目得出的比率。在传感器融合中使用的周围监视传感器11可以是例如其他传感器当中具有25％或更多权重的传感器。如果用于计算的目标周围监视传感器11的权重不为0，则可以认为该传感器用于传感器融合并且可以计算使用程度。当然，可以考虑权重来计算使用程度。

此外，当在稍后描述的个体诊断处理中确定融合单元F2没有正常操作时，风险确定单元G5将风险级别确定为2。作为另一方面，当融合单元F2具有异常时，风险级别可以为1。此外，如果确定地图链接单元F1没有正常操作，则风险级别可以被确定为1。

风险响应单元G6被配置成基于风险级别为非零的确定来请求安全评估单元F4根据风险级别执行车辆控制。风险响应单元G6基于风险级别为1的确定来请求安全评估单元F4执行预定安全动作。安全动作可以是例如在超过10秒至1分钟使车辆缓慢停止的车辆控制。此外，安全动作可以是交接请求处理。交接请求处理对应于结合HMI(人机接口)系统诸如显示器向驾驶员座椅乘员或操作员提出接管驾驶操作的请求。交接请求处理可以称为交接请求。安全动作可以是增加用于计算潜在事故责任值的安全距离。例如，安全动作可以是例如将车辆的行驶速度从计划的目标速度降低预定量的处理。安全动作对应于用于在保持行驶的同时将车辆行为转移到比平常更安全的动作。

注意，风险级别1的情况是在传感器融合中以等于或高于预定值的比率使用的周围监视传感器11具有异常。也就是说，以上情况可以被改写为并且对应于以下配置：在该配置中，基于在传感器融合中以大于或等于预定阈值的比率使用的周围监视传感器11中引起的异常来触发/调用用于执行安全动作的处理。

此外，风险响应单元G6基于风险级别为2的确定来请求安全评估单元F4执行预定的紧急动作。紧急动作可以是例如下面描述的MRM(最小风险操纵)。MRM的具体内容可以是例如将车辆自主地驾驶到安全的地方并在停放车辆的同时向周围发出警报的处理。安全的地方包括具有宽度等于或大于预定值的路肩、指定为紧急疏散区域的地方等。MRM的内容可以是使得车辆在车辆当前正在行驶的车道上以温和的减速停下。可能优选地是，采用4[m/s^2]或更小的值例如2[m/s^2]或3[m/s^2]作为这种操纵时的减速。当然，当需要避免与在前车辆等发生碰撞时，可以采用超过4[m/s^2]的减速。考虑到MRM开始时的行驶速度和在车辆可以在例如10秒内停止的范围内距在后车辆的车辆间距离，可以动态地确定并重复和/或间歇地更新MRM时的减速。启动MRM对应于针对紧急停止开始减速。

上述配置是基于风险级别为2的确定来执行紧急停止车辆的处理的配置。例如，风险响应单元G6输出请求安全评估单元F4执行MRM的信号。风险响应单元G6可以指示控制计划单元F3生成用于实施MRM作为紧急动作的计划。请求紧急动作的信号可以输出至控制计划单元F3。风险响应单元G6对应于执行用于使本车辆Ma停止的处理的车辆停止处理单元。

<异常检测单元G4的操作的细节>

此处，将使用图7所示的流程图来描述传感器诊断处理，该传感器诊断处理是确定多个周围监视传感器11中的每一个是正常操作还是处于异常状态的处理。传感器诊断处理以预定周期重复和/或间歇地执行，例如，当用于车辆行驶的系统电力接通时或者当自动驾驶功能启用时。重复该处理的周期可以为例如200毫秒。注意，此处提及的系统电力是用于车辆行驶的电力来源，并且当车辆为汽油发动机车辆时，系统电力是指点火电力的来源。当车辆是电动车辆或混合动力车辆时，系统电力是指系统主继电器。本实施方式的传感器诊断处理包括作为示例的步骤S101至S105。对周围监视传感器11中的每一个执行传感器诊断处理。在下文中，经受诊断处理的周围监视传感器11也可以被指定为诊断目标传感器。

在步骤S101中，异常检测单元G4将由诊断目标传感器检测到的任意对象设置(即选择)为要在随后的处理中使用的目标对象，并且进行至步骤S102。在步骤S102中，异常检测单元G4访问识别结果保持单元G2，并且获取在最近预定时间(例如，最后几分钟)内诊断目标传感器对目标对象的识别结果的历史(换言之，时间序列数据)。识别结果的时间序列数据示出了针对目标对象的每种类型的正确识别概率数据的转变。例如，识别结果的时间序列数据示出了目标对象为车辆的概率的转变和目标对象为行人的概率的转变。限定过去的识别结果的参考范围的采样周期可以为例如4秒、6秒等。

在步骤S103中，异常检测单元G4基于在步骤S102中获取的识别结果的时间序列数据来确定针对目标对象的识别结果是否稳定。例如，当针对目标对象的识别结果如图8所示稳定(图7的步骤S103中为是)时，处理进行至步骤S104。在步骤S104中，确定诊断目标传感器很可能正常工作，并且流程结束。另一方面，如图9所示，当针对目标对象的识别结果波动很大时，即当它不稳定(步骤S103为否)时，处理进行至步骤S105，并且确定诊断目标传感器可能具有由此引起的异常。图8和图9的竖轴线表示概率值，并且横轴线表示时间。单点划线表示例如目标对象的类型为车辆的概率值p1的转变，而双点划线表示例如目标对象的类型为行人的概率值p2的转变。p1和p2的幅度越大，p1和p2的高低切换越频繁，识别结果越不稳定。可以适当/任意地设计每种类型的概率值的幅度的阈值和用于确定异常操作的可能性的高低切换频率的阈值。

异常检测单元G4对由诊断目标传感器检测到的所有对象执行上述处理，并且基于异常确定的数目(其为确定可能已经发生异常的次数)，最终/决定性地确定诊断目标传感器是否正常操作。例如，当异常确定的数目等于或大于预定阈值时，确定在诊断目标传感器中已经发生了异常。注意，异常检测单元G4可以在例如两个计数，即异常确定计数与总确定计数(即，异常确定计数和对传感器很可能正常操作的确定的数目进行计数的正常操作确定计数的总和)的比率等于或大于预定阈值时确定诊断目标传感器具有由此引起的异常。此外，例如，异常检测单元G4可以被配置成不针对由诊断目标传感器检测到的所有对象而是针对随机或基于预定规则选择的多个对象执行上述诊断处理。此外，异常检测单元G4可以仅针对随机或基于预定规则选择的一个对象执行上述诊断处理，并且可以确定诊断目标传感器是否正常操作。然而，如果仅存在一个对象用作诊断材料，则可能由于例如对象的特性而冒着确定实际正常操作的周围监视传感器11未正常操作的错误确定的风险。因此，可以优选地是，异常检测单元G4使用多个对象对诊断结果进行统计处理以确定诊断目标传感器是否正常。

注意，异常检测单元G4可以确定输出错误信号的周围监视传感器11具有由此引起的异常。也就是说，可以将输出错误信号的周围监视传感器11视为异常传感器。

此外，异常检测单元G4也对地图链接单元F1和融合单元F2执行与图7所示的传感器诊断处理相同的处理。从而，从识别结果的稳定性的观点来看，地图链接单元F1和融合单元F2两者都受到关于这两个单元中的每一个是否正常操作的诊断。确定异常操作的标准可以与确定周围监视传感器11的标准相同。在下文中，构成现场识别系统的各个元件例如周围监视传感器11、地图链接单元F1、融合单元F2等将被称为识别模块。

<风险确定单元G5的操作>

将参照图10所示的流程图来描述诊断装置30基于每个周围监视传感器11的操作状态的操作。例如，在用于车辆行驶的电力接通时或在自动驾驶功能启用时，以预定周期重复和/或间歇地执行图10所示的流程图。

首先，在步骤S201中，获取针对识别模块中的每一个的诊断结果，并且处理进行至步骤S202。如上所述，识别模块包括周围监视传感器11、地图链接单元F1和融合单元F2中的每一个。注意，可以针对识别模块中的每一个单独地执行上述传感器诊断处理作为步骤S201。步骤S201对应于异常检测步骤。

在步骤S202中，确定是否存在异常传感器。如果不存在异常传感器，则在步骤S202中做出否定确定，并且处理进行至步骤S203。如果存在异常传感器，则在步骤S202中做出肯定确定，并且处理进行至步骤S209。

在步骤S203中，异常检测单元G4读出融合单元F2是否被确定为正常。如果异常检测单元G4已经确定融合单元F2正常，则在步骤S203中做出肯定确定，并且处理进行至步骤S204。另一方面，如果由异常检测单元G4检测到融合单元F2中的异常，则在步骤S203中做出否定确定，并且处理进行至步骤S210。

在步骤S204中，异常检测单元G4读出地图链接单元F1是否已被确定为正常。如果异常检测单元G4已确定地图链接单元F1正常，则在步骤S204中做出肯定确定，并且处理进行至步骤S205。另一方面，当异常检测单元G4已检测到地图链接单元F1中的异常时，在步骤S204中做出否定确定，并且处理进行至步骤S207。

在步骤S205中，将风险级别设置为0，并且处理进行至步骤S206。在步骤S206中，向安全评估单元F4输出指示在现场识别系统中未发生异常的信号。以这种方式，自动驾驶被维持为正常控制。

在步骤S207中，将风险级别设置为1，并且处理进行至步骤S208。在步骤S208中，输出请求安全评估单元F4执行安全动作的信号。以这种方式，因此执行诸如增加安全距离的安全动作。

在步骤S209中，确定异常传感器的使用程度(换言之，依赖程度)是否等于或高于预定风险确定阈值。如果异常传感器的使用程度等于或高于风险确定阈值，则在步骤S209中做出肯定确定，并且处理进行至步骤S210。另一方面，如果异常传感器的使用程度小于风险确定阈值，则在步骤S209中做出否定确定，并且处理进行至步骤S207。

在步骤S210中，将风险级别设置为2并且处理进行至步骤S211。在步骤S211中，输出请求安全评估单元F4执行紧急动作的信号。以这种方式，因此执行诸如MRM的紧急动作。由于MRM是用于安全停止车辆的控制，因此步骤S211对应于停止处理步骤。

根据上述配置，当现场识别系统中发生异常时，采取/采用安全动作或紧急动作。以这种方式，可以降低在潜在事故责任值的计算结果可能不正确的情况下继续车辆通过自动驾驶行驶的可能性。以这种方式，可以提高在自动驾驶期间的安全性。

注意，当风险级别为1时，诊断装置30可以在不执行安全动作的情况下继续正常控制。这是因为，当风险级别为1时，异常传感器对行驶环境的识别结果的影响小，利用观察结果的控制计划一般是可执行的。此外，作为另一方面，当风险级别为1时，诊断装置30可以被配置成执行就像风险级别2的情况的紧急动作。

<对异常检测单元G4的补充>

可以使用各种方法作为异常检测方法，各种方法例如看门狗定时器方法和作业回答方法。看门狗定时器方法意指：在超时之前从被监视装置输入的看门狗脉冲没有清除监视装置的看门狗定时器的情况下，确定被监视装置没有正常操作。此处，异常检测单元G4对应于监视侧上的配置，并且周围监视传感器11、地图链接单元F1、融合单元F2等中的每一个对应于被监视装置。

<周围监视传感器11变型>

车辆控制系统1除了布置在车辆内侧上的风挡的上端处的用于相对远程(即远的)图像的摄像装置之外并且与该摄像装置分开，还可以具有用于现场监视的广角短程摄像装置作为前置摄像装置11A。也就是说，前置摄像装置11A可以被设置为具有不同视角的多个摄像装置。例如，可以设置三种类型的摄像装置，即中程摄像装置、远距摄像装置和广角摄像装置。中程摄像装置是具有约50度的视角并且具有被配置成捕获例如高达150m的图像的透镜等的摄像装置。远距摄像装置是具有相对较窄的视角以用于捕获比中程摄像装置更远的远距离图像的摄像装置。例如，远距摄像装置具有约30度至40度的视角并且被配置成能够捕获250m或更大的距离。广角摄像装置是被配置成拍摄车辆的周围环境的宽图像的摄像装置。广角摄像装置具有例如约120度至150度的视角，并且被配置成能够捕获车辆前方50m内的图像。

此外，车辆控制系统1可以分别包括后置摄像装置、右侧摄像装置、左侧摄像装置、右后雷达和左后雷达作为周围监视传感器11。后置摄像装置是以预定视角捕获车辆的后视图的摄像装置。后置摄像装置布置在车身的后部上的预定位置处，例如靠近后牌照或后窗。右侧摄像装置和左侧摄像装置是以预定视角捕获车辆的侧视图的摄像装置，并且被布置在车身或后视镜的左侧和右侧上的预定位置处(例如，靠近A柱的基部)。右侧摄像装置和左侧摄像装置的水平视角可以被设置为180°，并且这些摄像装置的垂直视角被设置为120°。右后雷达是毫米波雷达，其检测范围为通过朝向车辆的右后方发射探测波而在车辆的右后方的预定范围，并且该右后雷达安装在例如后保险杠的右拐角处。左后雷达是毫米波雷达，其检测范围为通过朝向车辆的左后方发射探测波而在车辆的左后方的预定范围，并且该左后雷达安装在例如后保险杠的左拐角处。

另外，通过路对车通信和/或车对车通信获取的障碍物和其他车辆的位置信息也对应于指示本车辆周围的环境的信息。因此，V2X车载装置13也可以被视为周围监视传感器11之一。

<现场识别系统的操作>

融合单元F2通过将周围监视传感器11中的每一个的识别结果与周围监视传感器11的概率值和权重进行整合来确定或检测被检测对象中的每一个的位置、速度、类型等。然而，周围监视传感器11可能根据检测方法/原理具有下述情况：某些类型的对象只能以低准确度被检测或识别或者甚至不能被检测到。鉴于这种情况，可能优选的是，基于各种周围监视传感器11的特征来校正和使用识别结果的正确识别概率，作为擅长对象或不擅长对象。例如，现场识别系统可以如下配置。

如图11所示，每个周围监视传感器11具有感测单元B1、识别处理单元B2、传感器设置存储单元B3、校正信息输出单元B4、校正信息获取单元B5、概率值校正单元B6和检测结果输出单元B7。尽管此处将通过以前置摄像装置11A作为示例来描述每个配置，但是除了前置摄像装置11A之外的周围监视传感器，例如毫米波雷达11B和LiDAR11C，也设置有相同的功能单元。在图11中，未示出地图链接单元F1和其他配置。

感测单元B1具有生成用于对象识别处理的观察数据并且将其输出至识别处理单元B2的配置。感测单元B1包括用于生成观察数据的传感器元件。例如，用于前置摄像装置11A的传感器元件是图像传感器。对于毫米波雷达11B和声纳11D，包括用于接收无线电波或超声波作为探测波的电路的配置对应于感测单元B1。在LiDAR11C中，包括接收照射激光的反射波的光接收元件的配置对应于感测单元B1。

识别处理单元B2具有基于从感测单元B1输入的观察数据识别被检测对象的位置、速度、类型等的配置。基于观察数据中示出的特征值来确定类型。可以采用HOG(定向梯度直方图)特征等作为图像数据的特征值。此外，在使用无线电波、超声波、雷达光等作为检测介质的配置中，例如，可以采用对象的检测距离与接收强度之间的相关性、高度、宽度、轮廓形状、检测点的数目、检测点的密度等作为特征值。识别处理单元B2的识别结果被输出作为指示针对每个被检测对象的位置信息、类型等的信号。如上所述，被检测对象的类型的识别结果包括指示识别结果的确定性的正确识别概率数据。此外，它包括针对对象的每种类型的正确识别概率数据。例如，正确识别概率数据指示被检测对象为车辆的概率值、被检测对象为行人的概率值、被检测对象为骑车人的概率值、被检测对象为三维结构例如招牌等的概率值。

传感器设置存储单元B3是存储指示每个周围监视传感器11的安装位置和检测方向的传感器位置数据的存储介质。此外，传感器设置存储单元B3登记传感器特征数据，传感器特征数据为指示每个周围监视传感器11的特征的数据。这样的传感器设置存储单元B3也可以被称为传感器特征存储单元。传感器特征数据示出：由于本传感器的检测原理的特征，对于周围监视传感器中的每一个分别具有一定的限制/约束，例如，(a)本传感器难以检测的不擅长对象(即，对象传感器不擅长检测的对象)，以及(b)对象传感器对对象的检测性能可能劣化的不擅长情况。应当注意，不擅长对象包括容易被误认为(即误检测)为其他类型对象的对象和其检测结果不稳定的对象。

例如，声纳11D不擅长检测不易反射超声波的对象，例如海绵状对象和网状对象。另外，作为布置在道路表面上方预定距离处的结构的漂浮结构例如梁和设置在道路表面上的低轮廓固体对象例如路缘石和楔块，可能例如根据车辆的姿态/位置被识别或不被识别。也就是说，对于声纳11D，漂浮结构和低轮廓固体对象对应于其检测结果不稳定的检测目标对象。注意，漂浮结构是指例如布置在道路表面上方1m或更多的三维对象。低轮廓固体对象是指其高度小于预定阈值(例如0.2m)的三维对象。此外，声纳11D可能将来自道路表面的反射错误地识别为三维对象例如另一车辆或壁。也就是说，海绵状对象、网状对象、漂浮结构、低轮廓固体对象、道路表面等对应于声纳11D不擅长检测的对象。

另外，当图像由于背光、光束、拖尾等而曝光过度时，前置摄像装置11A可能无法识别图像帧的一部分。换言之，由于背光、光束、拖尾等引起图像的一部分曝光过度的情况对应于不擅长的情况。

LiDAR 11C不擅长检测黑色对象。这是因为黑色对象吸收激光束。另外，LiDAR 11C难以检测具有银色车身颜色的车辆。银色车身具有包含在涂膜中的铝薄片漫反射光的特性。当这样的车辆在车辆的正前方时，其是易于被检测到的，但是当这样的车辆成角度时，即在斜前方或斜后方，光的反射改变，从而斜前方或斜后方存在的银色车辆可能是LiDAR11C不擅长的对象。

此外，毫米波雷达11B具有比前置摄像装置11A和LiDAR 11C低的空间分辨率。因此，在多个对象彼此靠近或多个对象彼此交叠的情况下，毫米波雷达11B难以将它们检测为单独的对象。也就是说，多个对象彼此靠近或彼此交叠的情况对应于毫米波雷达11B不擅长的情况。在一些情况下，毫米波雷达11B将具有复杂形状的单个对象识别为两个或更多个对象。也就是说，具有复杂形状的对象对于毫米波雷达11B是不擅长的对象。此外，关于毫米波雷达11B，探测波在在前车辆下方通过，这导致在前车辆前面的车辆可能被识别或不能被识别的情况。换言之，在前车辆之前的车辆对应于针对毫米波雷达11B的不擅长的对象。另外，毫米波雷达11B可能会将人孔错误地检测为三维对象。因此，人孔也可以被认为是针对毫米波雷达11B的不擅长的对象。

另外，在任一周围监视传感器11中，当对象存在于感测单元B1的附近时，可能存在附近对象后面的对象由于附近对象的遮挡而无法被识别的情况。也就是说，在任一周围监视传感器11中，对象存在于感测单元B1的安装位置附近的情况可以对应于不擅长的情况。注意，本公开内容中的术语“邻近/附近”指的是例如0.3m或更小的范围。

校正信息输出单元B4基于识别处理单元B2的输出信号和传感器设置存储单元B3中存储的数据，确定是否正在检测也是周围监视传感器11的其他传感器的不擅长的对象或不擅长的情况。然后，当检测到其他传感器不擅长检测的不擅长对象/情况时，校正信息输出单元B4向其他传感器即不擅长传感器发送预定概率值校正信息。

概率值校正信息是用于向其他传感器通知对象的存在或其他传感器不擅长检测的情况的信息。概率值校正信息包括例如指示不擅长对象或不擅长情况的类型及其位置的信息。注意，概率值校正信息可以包括不擅长对象或不擅长情况存在的方向，而不是不擅长对象或不擅长情况的位置。另外，概率值校正信息可以包括不擅长对象或不擅长情况的位置和方向两者。

例如，当前置摄像装置11A的校正信息输出单元B4通过图像分析识别海绵状对象、网状对象、漂浮结构、低轮廓固体对象和道路表面区域中的至少之一时，校正信息输出单元B4向声纳11D输出指示这些对象存在于其处或存在于的位置或方向的概率值校正信息。此外，当前置摄像装置11A的校正信息输出单元B4通过图像分析检测到黑色对象时，校正信息输出单元B4向LiDAR 11C输出指示黑色对象存在的方向或位置的概率值校正信息。此外，当前置摄像装置11A的校正信息输出单元B4通过图像分析检测到在前车辆的前方存在车辆时，校正信息输出单元B4向毫米波雷达11B输出指示前方车辆前面的车辆存在于其处或存在于其中的方向或位置的概率值校正信息。

另外，当检测到其安装位置不同于本传感器的安装位置的其他传感器的附近存在对象时，每个校正信息输出单元B4生成指示附近对象的位置的概率值校正信息并且将其输出至其他传感器。例如，当右侧摄像装置检测到右后雷达附近存在自行车时，右侧摄像装置将指示这种情况的概率值校正信息输出至右后雷达。此外，当某个摄像装置正在检测太阳的位置或具有预定亮度或更高的光的位置时，将指示这种光源的位置或方向的概率值校正信息输出至受这种光源影响的摄像装置。

校正信息获取单元B5获取从其他传感器输出的寻址至本传感器的概率值校正信息，并且将其提供给概率值校正单元B6。例如，前置摄像装置11A的校正信息获取单元B5从作为其他传感器的其他摄像装置获取太阳、前灯等存在的方向作为概率值校正信息。此外，例如，声纳11D的校正信息获取单元B5从作为其他传感器的前置摄像装置11A和LiDAR 11C获取指示海绵状对象、网状对象、漂浮结构、低轮廓固体对象、道路表面区域等存在的区域或方向的概率值校正信息。

概率值校正单元B6基于由校正信息获取单元B5获取的概率值校正信息，相对于不擅长对象或不擅长情况存在的位置或方向，降低对象的识别结果的正确识别概率。例如，前置摄像装置11A降低可能存在逆光、拖尾、光束等区域的识别结果的正确识别概率。此外，声纳11D降低由其他传感器检测到的海绵状对象所存在区域、道路表面区域等的识别结果的正确识别概率。当从前置摄像装置11A接收到存在黑色对象的区域的通知作为概率值校正信息时，LiDAR 11C的概率值校正单元B6降低对于这种区域的识别结果的正确识别概率。

此外，毫米波雷达11B的概率值校正单元B6降低由前置摄像装置11A和LiDAR 11C检测到的多个对象彼此靠近或交叠的区域中的识别结果的正确识别概率。此外，例如，当前置摄像装置11A、LiDAR 11C和/或V2X车载装置13通知在前车辆的前方存在车辆时，毫米波雷达11B的概率值校正单元B6降低在前车辆的延长线上的目标的识别结果的正确识别概率。以这种方式，在前车辆前面的区域的检测结果的波动的风险可降低。作为另一方面，毫米波雷达11B的概率值校正单元B6可以在从前置摄像装置11A等通知在前车辆的前方存在车辆时，提高在前车辆的延长线上的目标的识别结果的正确识别概率。这也降低了毫米波雷达11B的检测结果将变得不稳定的风险。

注意，通过概率值校正单元B6的正确识别概率的减少量或增加量可以是恒定值。例如，正确识别概率的减少量或增加量可以是10％或20％。此外，可以根据概率值校正信息的输出源的类型来改变正确识别概率的减少量。接收侧上的通过概率值校正单元B6的正确识别概率的减少量可以根据概率值校正信息的输出源处的目标对象的正确识别概率而改变。当从多个其他传感器获取具有相同内容的概率值校正信息时，可以提高减少量。可以优选的是，概率值校正信息的可靠性越高，减少量越大。如果概率值校正信息中通知的内容与本传感器的识别结果匹配，则可以提高目标区域的识别结果的正确识别概率。概率值校正单元B6对于未获取概率值校正信息的位置或方向的识别结果，原样采用识别处理单元B2的输出。

检测结果输出单元B7将以上生成的识别结果即本传感器的识别结果和指示正确识别概率的数据输出至地图链接单元F1或融合单元F2。融合单元F2通过整合周围监视传感器11的识别结果，最终/决定性地计算被检测对象的类型和位置、移动速度、加速度等。这用于计算针对作为被检测对象的每个目标的安全距离并且用于跟踪处理。

根据上述配置，当存在某个周围监视传感器11的不擅长对象/情况时，本传感器的识别处理单元B2的结果不被原样采用，而是被调整，即基于来自其他传感器的概率值校正信息，将识别结果的正确识别概率降低预定量。以这种方式，可以提高整合后识别结果的正确识别概率。上述周围监视传感器11对应于下述配置：与其他传感器执行通信并且基于其他传感器的识别结果降低并且输出本传感器的识别结果的正确识别概率。

顺便提及，在以上内容中，公开了下述模式：相关的周围监视传感器11彼此通信，并且通过周围监视传感器11校正正确识别概率，并且将经校正的概率输出至融合单元F2等。本公开内容的构思不限于这种形式。

如图12所示，每个周围监视传感器11不必包括校正信息获取单元F5和概率值校正单元B6。替代地，融合单元F2包括校正信息获取单元F5和概率值校正单元B6。在图12所示的配置示例中，每个周围监视传感器11向融合单元F2通知识别结果和本传感器的正确识别概率。此外，当每个周围监视传感器11识别出其他传感器的不擅长对象或不擅长情况时，它向融合单元F2输出包括目标其他传感器的信息的概率值校正信息。

此处的概率值校正信息包括其他目标传感器的识别信息(例如，传感器ID)、不擅长对象或不擅长情况存在的位置或方向、其类型等。融合单元F2中包括的概率值校正单元B6通过使用概率值校正信息针对每个传感器的识别结果的正确识别概率进行校正。根据这样的配置，融合单元F2在使用概率值校正信息对每个传感器的识别结果的正确识别概率进行校正之后，对每个周围监视传感器11的检测结果进行整合，从而增加整合之后的识别结果的正确识别概率。

例如，当融合单元F2整合声纳11D的识别结果和后置摄像装置的识别结果时，如果后置摄像装置检测到短(即低轮廓)的对象，例如路缘石或车轮楔块，则声纳11D对于对应即相同位置的识别结果对于信息的整合具有较低的权重。以这种方式，当声纳11D识别出对应区域中不存在三维对象时，由于声纳11D的识别结果的影响而引起整合之后识别结果劣化/篡改的风险可降低。此外，例如，当由具有不同安装位置的另一传感器检测到在某个周围监视传感器前方存在对象时，靠近该对象的周围监视传感器11的识别结果的正确识别概率降低。以这种方式，整合之后的识别结果不正确的误识别情况的数目可减少。另外，当融合单元F2确定由图像传感器或LiDAR检测到预定量或更多的降雪时，可以认为可能存在雪附着至声纳的可能性并且可以降低通过声纳的识别结果的权重以整合信息。

上述配置对应于下述配置：当作为任意周围监视传感器的第一传感器检测到作为其他传感器的第二传感器不擅长检测的对象/情况时，基于检测结果将第二传感器的识别结果确定为具有低的可靠性。此外，整合感测信息的融合单元F2对应于降低第二传感器的识别结果的权重以整合感测信息的配置。也就是说，融合单元F2对应于整合多个周围监视传感器11的识别结果的配置，其中，基于一个传感器的识别结果通过降低/调整其他传感器的识别结果的权重来执行信息的整合。在基于识别结果的正确识别概率确定传感器融合中针对每个传感器的权重的配置中，校正正确识别概率对应于在执行传感器融合时校正针对每个传感器的权重。第二传感器对应于不擅长的传感器。

上述配置对应于下述配置：当作为任意周围监视传感器的第一传感器检测到作为其他传感器的第二传感器不擅长检测的对象/情况时，基于检测结果降低第二传感器的识别结果的正确识别概率。然而，虽然存在第二传感器不擅长检测的对象/情况，但是也存在第二传感器擅长检测的对象/情况。某个周围监视传感器擅长检测的对象是易于检测的对象。某个周围监视传感器擅长检测的情况意指：在这种情况下，被检测对象的检测准确度不会劣化。当第一传感器检测到第二传感器擅长检测的对象/情况时，其可以被配置成基于检测结果提高第二传感器的识别结果的正确识别概率。即使利用这种配置，也可以提高通过融合单元F2整合之后的识别结果的正确识别概率。当基于第一传感器的识别结果增加第二传感器的识别结果的正确识别概率时，可以在传感器之间或者在传感器与融合单元F2之间发送和接收概率值校正信息。应当注意，本领域技术人员可以理解用于实现基于以上公开内容的基于第一传感器的识别结果来提高第二传感器的识别结果的正确识别概率的配置的方法，从而省略了这种配置的细节。

<系统配置的修改示例>

如图13所示，可以独立于自动驱动装置20设置与安全评估单元F4对应的安全评估器40。安全评估器40是具有与安全评估单元F4相同功能的模块，并且具有下述配置：基于由自动驱动装置20生成的控制计划的潜在事故责任值来确定最终控制内容。上述安全评估单元F4和上述安全评估器40可以彼此切换以用于实现相同的功能。安全评估器40被配置为包括处理单元41和内存42的计算机。通过使用处理器来配置处理单元41。内存42包括RAM和闪存。

(第二实施方式)

除了用于控制计划单元F3以生成控制计划的现场识别系统之外，车辆控制系统1还可以包括用于安全评估器40以计算潜在事故责任值的现场识别系统。也就是说，现场识别系统可以被配置为双系统/双工系统。在下文中，将参照作为第二实施方式的图14和图15来描述对应于这种技术构思的配置。在以下内容中，为了方便起见，用于生成控制计划的现场识别系统将被称为用于控制计划的识别系统。另一方面，生成用于计算潜在事故责任值的识别结果的现场识别系统被描述为用于安全评估的识别系统(在下文中，SE：安全评估)。SE也可以被描述为SA(安全评价)。

如图14所示，第二实施方式的车辆控制系统1除了与上述周围监视传感器11对应的第一周围监视传感器11之外还包括第二周围监视传感器17。第一周围监视传感器11为上述前置摄像装置11A、毫米波雷达11B、LiDAR 11C、声纳11D等。第一周围监视传感器11是由包括控制计划单元F3的自动驱动装置20所使用的传感器组。包括在自动驱动装置20中的地图链接单元F1和融合单元F2基于第一周围监视传感器11的输出信号识别行驶环境。第一周围监视传感器11、地图链接单元F1和融合单元单元F2对应于构成用于控制计划的识别系统的识别模块。地图链接单元F1和融合单元F2对应于第一识别单元。

第二周围监视传感器17是例如前置摄像装置17A、毫米波雷达17B、LiDAR 17C、声纳17D等。前置摄像装置17A是物理上与前置摄像装置11A不同/分离的传感器。这同样适用于毫米波雷达17B、LiDAR 17C、声纳17D等。

例如，虽然各种第一周围监视传感器11是安装在车身上的传感器，但是第二周围监视传感器17可以是改装至车辆的顶部的传感器组。例如，第二周围监视传感器17被配置成作为用于自动驾驶的集合可附接至车身并且可从车身拆卸。第一周围监视传感器11和第二周围监视传感器17的位置可以互换。也就是说，第一周围监视传感器11可以是附接至车辆的顶部等的可拆卸传感器。

此外，第二实施方式的车辆控制系统1包括基于第二周围监视传感器17的输出信号来识别行驶环境的SE识别装置50。SE识别装置50被配置为包括处理单元51和内存52的计算机。处理单元51通过利用处理器例如GPU来配置，并且内存52包括RAM和闪存。

如图15所示，类似于自动驱动装置20，SE识别装置50包括地图链接单元H1和融合单元H2。地图链接单元H1具有基于前置摄像装置17A的识别结果和地图数据执行对象识别的配置。地图链接单元H1可以被配置成执行与自动驱动装置20中包括的地图链接单元F1相同的处理。融合单元H2具有基于地图链接单元H1、毫米波雷达17B、LiDAR 17C和声纳17D中的全部的识别结果执行对象识别的配置。融合单元H2也可以被配置成执行与自动驱动装置20中包括的融合单元F2相同的处理。第二周围监视传感器17、地图链接单元H1和融合单元H2对应于构成用于SE的识别系统的识别模块。地图链接单元H1和融合单元H2对应于识别单元和第二识别单元。

除了第一周围监视传感器11的输出信号、地图链接单元F1的识别结果和融合单元F2的识别结果之外，诊断装置30还接收来自各种装置的输入，例如第二周围监视传感器17的输出信号和地图链接单元H1的识别结果以及融合单元H2的识别结果。诊断装置30的异常检测单元G4还对各种第二周围监视传感器17、地图链接单元H1和融合单元H2中的每一个执行以上提到的传感器诊断处理。也就是说，还对构成用于SE的识别系统的识别模块执行传感器诊断处理。

此外，异常检测单元G4通过将用于控制计划的融合单元F2的识别结果与用于SE的融合单元H2的识别结果进行比较来检测用于控制计划的融合单元F2和用于SE的融合单元H2之一的异常。例如，如图16所示，当用于控制计划的融合单元F2的识别结果和用于SE的融合单元H2的识别结果相似时，确定两者都正常。在图16中，纵轴示出概率值，并且横轴示出时间。单点划线和双点划线示出用于控制计划的融合单元F2的识别结果，并且虚线和点线示出用于SE的融合单元H2的识别结果。具体地，单点划线示出用于控制计划的融合单元F2中的概率值p1f的转变，其中目标对象的类型是车辆，并且双点划线示出融合单元F2中的概率值p2f的转变，其中目标对象的类型是行人。虚线示出用于SE的融合单元H2中的概率值p1h的转变，其中目标对象的类型是车辆，并且点线示出融合单元H2中的概率值p2h的转变，其中目标对象的类型是行人。

例如，异常检测单元G4通过由模式匹配等对识别结果的概率值的历史数据进行比较来计算预定目标对象的识别结果之间的相似度。然后，在识别结果的相似度等于或高于预定阈值(例如，75％)的情况下，确定两者都正常操作。另一方面，当两者的识别结果都小于预定阈值或彼此不同时，异常检测单元G4确定在用于控制计划的融合单元F2和用于SE的融合单元H2中的任何一个中发生了异常。在这种情况下，基于传感器诊断处理的结果来确定哪一个具有异常。确定识别结果相似对应于确定相似识别结果一致/匹配，或者将相似性解释为一致性和正态性。

现在，在图17中，虽然在来自融合单元F2和融合单元H2的识别结果中目标对象的类型是一致/匹配的，但是两者的概率值彼此显著不同，从而图中的这种模式被确定为用于控制计划的融合单元F2和用于SE的融合单元H2之一的异常。具体地，虽然用于控制计划的融合单元F2和用于SE的融合单元H2两者都确定目标对象的类型是车辆，但是图中的模式示出概率值彼此相差预定阈值(例如，30％)或更多。此外，图18示出了图中的另一模式，其用于确定用于控制计划的融合单元F2和用于SE的融合单元H2之一的异常，其中识别结果中的目标对象的类型不同。具体地，在以上内容中，用于控制计划的融合单元F2确定目标对象是车辆，而用于SE的融合单元H2确定目标对象是行人。图17和图18中由符号和线型指示的项与图16中的那些相同。

当用于控制计划的融合单元F2的识别结果与用于SE的融合单元H2的识别结果不匹配时，也就是说，当它们中的一个异常时，异常检测单元G4基于传感器诊断处理的结果确定哪一个具有异常。

在以上内容中，讨论了通过将用于控制计划的融合单元F2的识别结果和用于SE的融合单元H2的识别结果进行比较来检测用于控制计划的融合单元F2和用于SE的融合单元H2之一中的异常的处理。此外，异常检测单元G4对地图链接单元F1和H1执行相同的比较处理。也就是说，异常检测单元G4通过将用于控制计划的地图链接单元F1的识别结果和用于SE的地图链接单元H1的识别结果进行比较来检测地图链接单元F1和H1之一中的异常。以这种方式，变得可以更准确地确定地图链接单元F1或H1中是否发生了异常。此外，当地图链接单元F1的识别结果和用于SE的地图链接单元H1的识别结果不一致/不匹配时，也就是说，当它们中的任何一个异常时，异常检测单元G4基于传感器诊断处理的结果确定两者中的哪一个具有异常。

如果用于SE的识别系统中出现异常，则诊断装置30可以将这种情况通知给安全评估器40，同时通过使用用于控制计划的融合单元F2的识别结果来执行对潜在事故责任值的计算。根据这种配置，潜在事故责任值的计算可以持续直到车辆停止为止。以这种方式，变得可以选择用于以全制动以外的模式停止车辆的控制计划。通过使其可以采用全制动模式以外的减速控制模式，可以降低轮胎打滑或锁定的风险。

此外，当用于控制计划的识别系统中出现异常时，诊断装置30将这种情况通知给自动驱动装置20和安全评估器40。另外，当用于控制计划的识别系统中出现异常时，诊断装置30可以控制控制计划单元F3以通过使用用于SE的融合单元H2的识别结果来生成用于停止车辆的控制计划。根据这种配置，可以更安全地停止车辆。

例如，在确定用于SE的融合单元H2没有正常操作的情况下，第二实施方式的风险确定单元G5可以将风险级别确定为1。在融合单元H2中出现异常的情况下，风险级别可以是2。此外，即使确定用于SE的融合单元H2没有正常操作，只要用于控制计划的融合单元F2正常操作，风险级别也可以被认为是0。这是因为，只要用于控制计划的融合单元F2正常操作，安全评估器40就可以通过利用用于控制计划的融合单元F2的识别结果来继续计算潜在事故责任值。

此外，风险确定单元G5可以被配置成在用于控制计划的融合单元F2和用于SE的融合单元H2两者中都发生异常的情况下，确定风险级别为2，并且，在(即，只要)两者中的至少一个正常操作的情况下，确定风险级别为1或更小。另外，可以基于地图链接单元H1不正常操作的确定来将风险级别确定为1。替选地，如果第二周围监视传感器17具有异常传感器并且异常传感器的使用程度等于或高于预定的风险确定阈值，则可以将风险级别确定为1。

根据上述配置，比较两个识别系统的识别结果，并且然后执行每个系统的异常诊断。通过以这种方式在识别系统中的每一个中执行异常诊断，即使在两者中同时发生异常，也变得可以确定在两者中都发生了异常。另外，当通过将两个识别系统的识别结果进行比较来检测两个识别系统之一的异常时，可以基于传感器诊断处理的结果来确定哪一个具有异常。当诊断装置30在用于控制计划的识别系统或用于SE的识别系统中检测到异常时，优选的是，诊断装置30至少执行安全动作例如减速或交接请求。

此外，如图19所示，车辆控制系统1可以具有第三融合单元X2，其通过整合第一周围监视传感器11的一部分的感测信息和第二周围监视传感器17的一部分的感测信息来识别周围环境。例如，第三融合单元X2可以被配置成将作为第一周围监视传感器11的前置摄像装置11A和毫米波雷达11B的识别结果以及作为第二周围监视传感器17的LiDAR 17C和声纳17D的识别结果整合。第三融合单元X2可以设置为自动驱动装置20的一部分或作为SE识别装置50的一部分。第三融合单元X2可以由其他ECU例如驾驶支持ECU设置，或者可以内置在前置摄像装置11A中。第三融合单元X2的识别结果也被输入至诊断装置30。

根据上述配置，诊断装置30可以通过将三个融合单元F2、H2和X2的识别结果进行比较来检测三个之一的异常操作。例如，异常检测单元G4可以通过使用概念例如多数投票来确定异常操作的融合单元。第三融合单元X2可以通过将第一周围监视传感器11和第二周围监视传感器17进行逻辑组合来实现。因此，可以在无需在硬件方面增加新的周围监视传感器11的情况下提供“三重”冗余。

<附加说明>

本公开内容中描述的控制单元及其方法也可以由专用计算机实现，该专用计算机构成被编程为执行由计算机程序实现的一个或更多个功能的处理器。此外，本公开内容中描述的装置及其方法也可以通过专用硬件逻辑电路来实现。此外，本公开内容中描述的装置及其方法也可以由一个或更多个专用计算机来实现，这些专用计算机由用于执行计算机程序的处理器和一个或更多个硬件逻辑电路的组合构成。计算机程序可以作为要由计算机执行的指令存储在有形的非暂态计算机可读存储介质中。也就是说，由自动驱动装置20和诊断装置30等所提供的手段和/或功能可作为记录在实际存储装置和计算机中的软件、仅软件、仅硬件或它们的组合来提供。例如，包括在诊断装置30中的功能的一些或全部可以被实现为硬件。将某个功能实现为硬件的配置包括通过使用一个或更多个IC等实现该功能的配置。处理单元21、31、41、51可以通过使用MPU或GPU代替CPU来实现。处理单元21、31、41、51可以通过将多个类型的算术处理装置例如CPU、MPU和GPU进行组合来实现。处理单元21、31、41、51可以被实现为片上系统(SoC)。此外，各种处理单元可以通过使用FPGA(现场可编程门阵列)或ASIC(专用集成电路)来实现。各种程序可以存储在非过渡性有形存储介质中。各种存储介质例如HDD(硬盘驱动器)、SSD(固态驱动器)、EPROM(可擦除可编程ROM)、闪存、USB存储器、SD(安全数字)存储卡等可用作用于程序的存储介质。

Claims (16)

1.一种生成用于车辆的自主行驶的控制计划的车辆控制装置，所述车辆控制装置包括：

异常检测单元(G4)，其基于下述中的至少之一来检测包括至少一个周围监视传感器(11，11A至11D，17，17A至17D)和识别单元(F1，F2，H1，H2，X2)的现场识别系统的异常：(a)检测预定检测范围内的对象的所述至少一个周围监视传感器的输出信号，以及(b)所述识别单元基于所述至少一个周围监视传感器的输出信号识别所述车辆附近的对象的识别结果；以及

车辆停止处理单元(G6)，其执行用于基于由所述异常检测单元对所述现场识别系统的异常的检测而停止所述车辆的处理。

2.根据权利要求1所述的车辆控制装置，还包括：

识别结果获取单元(G1)，其重复地和/或间歇地获取所述识别单元的识别结果；以及

识别结果保持单元(G2)，其将由所述识别结果获取单元在多个时间点处获取的识别结果与关联的时间相关联地进行临时保持，其中，

所述异常检测单元

通过参考由所述识别结果保持单元保持的、针对所述周围监视传感器所检测到的对象中的任一对象的、所述识别单元的识别结果的时间序列数据，确定识别结果是否稳定，并且

基于识别结果被确定为不稳定的对象，确定在所述现场识别系统中已经出现异常。

3.根据权利要求1或2所述的车辆控制装置，其中，

设置多个所述周围监视传感器，

所述周围监视传感器输出指示关于所检测到的对象的位置和类型的识别结果的信号作为所述输出信号，并且

所述异常检测单元基于多个所述周围监视传感器的输出信号诊断多个所述周围监视传感器中的每一个的操作情况。

4.根据权利要求3所述的车辆控制装置，其中，

所述识别单元通过对多个所述周围监视传感器的识别结果进行加权和整合来确定所检测到的对象的类型，以及

所述车辆停止处理单元执行下述处理：基于被所述异常检测单元确定为具有异常的周围监视传感器的权重等于或大于预定阈值而停止所述车辆。

5.根据权利要求3所述的车辆控制装置，其中，

所述识别单元通过对多个所述周围监视传感器的识别结果进行加权和整合来确定所检测到的对象的类型，

设置了风险确定单元(G5)以用于根据被所述异常检测单元确定为具有异常的周围监视传感器的权重来确定风险级别，以及

所述车辆停止处理单元执行下述处理：基于所述风险级别等于或高于预定阈值而停止所述车辆。

6.根据权利要求3所述的车辆控制装置，其中，

所述识别单元通过对多个所述周围监视传感器的识别结果进行加权和整合来确定所检测到的对象的类型，

多个所述周围监视传感器中的每一个输出指示所检测到的对象的类型的识别结果的可能性的正确识别概率，以及

所述识别单元在基于所述正确识别概率和驾驶场景中的至少之一整合多个所述周围监视传感器的识别结果的情况下，改变每个周围监视传感器的权重。

7.根据权利要求3所述的车辆控制装置，其中，

在保持关于其他传感器难以检测的不擅长对象的信息的同时，所述多个所述周围监视传感器中的每一个周围监视传感器在检测到所述其他传感器的不擅长对象的情况下向作为不擅长检测相关对象的不擅长传感器的所述其他传感器发送预定的概率值校正信息，其中，所述其他传感器是多个所述周围监视传感器当中除本周围监视传感器之外的其他周围监视传感器之一，所述概率值校正信息包括指示所述不擅长对象存在的位置或方向的信息，并且

所述周围监视传感器在接收到所述概率值校正信息的情况下，基于所接收到的概率值校正信息校正所述不擅长对象可能存在的位置或方向的识别结果的正确识别概率。

8.根据权利要求7所述的车辆控制装置，还包括：

摄像装置(11A)和声纳(11D)，其被设置为所述周围监视传感器，其中，

当通过分析捕获的图像检测到海绵状对象、网状结构、漂浮在道路表面上方预定距离的漂浮结构、高度小于预定阈值的低轮廓固体对象中的至少之一时，所述摄像装置向所述声纳通知包括所检测到的对象存在的位置或方向的概率值校正信息，并且

所述声纳降低由所述概率值校正信息所指示的位置或方向的识别结果的正确识别概率。

9.根据权利要求7所述的车辆控制装置，还包括：

摄像装置(11A)和激光雷达(11C)，其被设置为所述周围监视传感器，其中，

当通过分析捕获的图像检测到黑色对象或银色对象时，所述摄像装置向所述激光雷达通知包括所检测到的对象存在的位置或方向的概率值校正信息，并且

所述激光雷达降低由所述概率值校正信息所指示的位置或方向的识别结果的正确识别概率。

10.根据权利要求3所述的车辆控制装置，其中，

在保持关于由其他传感器对对象的检测性能劣化的不擅长情况的信息的同时，多个所述周围监视传感器中的每一个周围监视传感器在检测到所述其他传感器的不擅长情况的情况下向作为不擅长检测相关情况中的对象的不擅长传感器的所述其他传感器发送预定的概率值校正信息，其中，所述其他传感器是多个所述周围监视传感器当中除本周围监视传感器之外的其他周围监视传感器之一，所述概率值校正信息包括指示下述的信息：(i)所述不擅长情况的类型，以及(ii)所述其他传感器的检测性能可能由于所述不擅长情况而劣化的所述不擅长情况的方向，并且

所述周围监视传感器在接收到所述概率值校正信息的情况下，基于所接收到的概率值校正信息校正由所述不擅长情况影响的方向的识别结果的正确识别概率。

11.根据权利要求3所述的车辆控制装置，其中，

在保持关于其他传感器难以检测的不擅长对象的信息的同时，多个所述周围监视传感器中的每一个周围监视传感器在检测到所述其他传感器的不擅长对象的情况下向所述识别单元发送作为预定的概率值校正信息的信息，其中，所述其他传感器是除本周围监视传感器之外的其他周围监视传感器，

所述概率值校正信息包括指示所述不擅长对象的类型和所述不擅长对象存在的位置或方向的信息，以及

所述识别单元使用所述概率值校正信息对每个周围监视传感器的识别结果的正确识别概率进行校正，并且整合多个所述周围监视传感器的识别结果。

12.根据权利要求1所述的车辆控制装置，包括：

对应于所述周围监视传感器的至少一个第一周围监视传感器；以及

至少一个第二周围监视传感器，其安装在与所述第一周围监视传感器不同的位置处，并且其中，

作为所述识别单元，设置了基于所述第一周围监视传感器的输出信号执行行驶环境识别处理的第一识别单元和基于所述第二周围监视传感器的输出信号执行行驶环境识别处理的第二识别单元，以及

所述异常检测单元基于所述第一识别单元的识别结果与所述第二识别单元的识别结果之间的不匹配来确定在所述现场识别系统中发生了异常。

13.根据权利要求12所述的车辆控制装置，其中，

所述第一周围监视传感器是安装在车身上的周围监视传感器，并且

所述第二周围监视传感器是改装至所述车辆的可移动周围监视传感器。

14.根据权利要求1所述的车辆控制装置，其中，

所述周围监视传感器被设置为并且包括摄像装置、毫米波雷达、激光雷达和声纳中的至少之一。

15.一种车辆控制方法，所述车辆控制方法由至少一个处理器(21，31)执行以生成用于车辆的自主行驶的控制计划，所述方法包括下述步骤：

异常检测(S201)，其基于下述中的至少之一来检测包括至少一个周围监视传感器(11，11A至11D，17，17A至17D)和识别单元(F1，F2，H1，H2，X2)的现场识别系统的异常：(a)检测预定检测范围内的对象的所述至少一个周围监视传感器的输出信号，以及(b)所述识别单元基于所述至少一个周围监视传感器的输出信号识别所述车辆附近的对象的识别结果；以及

车辆停止处理(S211)，其执行用于基于由所述异常检测单元对所述现场识别系统的异常的检测来停止所述车辆的处理。

16.一种车辆控制装置，包括：

处理器(21，31)；

计算机可读存储介质；

融合单元(F2)；

地图链接单元(F1)；

第一传感器(11A)；以及

第二传感器(11B)，

其中，所述车辆控制装置被配置成：

获取针对每个传感器的识别结果(S201)；

确定任一传感器是否异常(S202)；

在确定下述时，将风险级别设置为低级别并且维持正常控制(S205，S206)：

(i)不存在异常传感器，

(ii)所述融合单元正常，并且

(iii)所述地图链接单元正常；

在确定下述时，将所述风险级别设置为中间级别并且请求安全动作(S207，S208)：

(i)不存在异常传感器，

(ii)所述融合单元正常，并且

(iii)所述地图链接单元不正常；

在确定下述时，将所述风险级别设置为所述中间级别并且请求所述安全动作(S207，S208)：

(i)存在至少一个异常传感器，并且

(ii)所述至少一个异常传感器未被重度使用；

在确定下述时，将所述风险级别设置为高级别并且请求紧急动作(S210，S211)：

(i)存在至少一个异常传感器，并且

(ii)所述至少一个异常传感器被大量使用；

在确定下述时，将所述风险级别设置为所述高级别并且请求所述紧急动作(S210，S211)：

(i)不存在异常传感器，并且

(ii)所述融合单元不正常。

Images