[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN115100614A - 车辆感知系统的评估方法、装置、车辆及存储介质 - Google Patents

车辆感知系统的评估方法、装置、车辆及存储介质 Download PDF

Info

Publication number
CN115100614A
CN115100614A CN202210707488.6A CN202210707488A CN115100614A CN 115100614 A CN115100614 A CN 115100614A CN 202210707488 A CN202210707488 A CN 202210707488A CN 115100614 A CN115100614 A CN 115100614A
Authority
CN
China
Prior art keywords
trained
source image
vehicle
network
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210707488.6A
Other languages
English (en)
Inventor
马金燕
罗咏刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Changan Automobile Co Ltd
Original Assignee
Chongqing Changan Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Changan Automobile Co Ltd filed Critical Chongqing Changan Automobile Co Ltd
Priority to CN202210707488.6A priority Critical patent/CN115100614A/zh
Publication of CN115100614A publication Critical patent/CN115100614A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及自动驾驶技术领域，特别涉及一种车辆感知系统的评估方法、装置、车辆及存储介质，其中，方法包括：获取车辆的源图像；基于预先训练的对抗样本生成网络，添加目标扰动至源图像，得到第一对抗样本，其中，预先训练的对抗样本生成网络由生成对抗网络GAN训练得到；将第一对抗样本输入至车辆的感知系统的多个检测子系统，并根据多个检测子系统检测的多个感知结果得到感知系统的评估结果，由此，通过利用对抗样本攻击的方法，解决了感知系统受到自身潜在漏洞和外界特殊因素的影响，可能无法对交通要素进行正确识别的问题，可以对自动驾驶感知系统的各个模块的鲁棒性进行评估，在一定程度上保障自动驾驶感知系统的安全性及可靠性。

Description

车辆感知系统的评估方法、装置、车辆及存储介质
技术领域
本申请涉及自动驾驶技术领域，特别涉及一种车辆感知系统的评估方法、装置、车辆及存储介质。
背景技术
近年来，以机器学习尤其是深度学习为代表的人工智能技术的迅速发展正在深刻改变人类生产、生活的方方面面，自动驾驶领域也取得了巨大的进步。自动驾驶感知系统作为智能汽车的眼睛主要负责感知车辆行驶过程中周边的各种信息，为后续的决策规控提供强有力的支撑。
相关技术中，一种是通过在原始图像阴影区域增加对抗性扰动，评估视觉模型的鲁棒性，另一种是针对自动驾驶系统中的目标识别任务感知系统漏洞。
然而，第一种仅对阴影部分增加扰动，仍存在许多没有阴影的正常场景；第二种仅针对自动驾驶系统中的目标识别任务，但自动驾驶感知系统不仅包含目标检测任务，还包含语义分割以及车道线检测等任务，无法覆盖。
发明内容
本申请提供一种车辆感知系统的评估方法、装置、车辆及存储介质，以解决感知系统受到自身潜在漏洞和外界特殊因素的影响，可能无法对交通要素进行正确识别的问题，可以对自动驾驶感知系统的各个模块的鲁棒性进行评估，在一定程度上保障自动驾驶感知系统的安全性及可靠性。
本申请第一方面实施例提供一种车辆感知系统的评估方法，包括以下步骤：获取车辆的源图像；基于预先训练的对抗样本生成网络，添加目标扰动至所述源图像，得到第一对抗样本，其中，所述预先训练的对抗样本生成网络由生成对抗网络GAN(GenerativeAdversarial Networks，生成式对抗网络)训练得到；以及将所述第一对抗样本输入至所述车辆的感知系统的多个检测子系统，并根据所述多个检测子系统检测的多个感知结果得到所述感知系统的评估结果。
根据上述技术手段，本申请实施例可以解决感知系统受到自身潜在漏洞和外界特殊因素的影响，可能无法对交通要素进行正确识别的问题，可以对自动驾驶感知系统的各个模块的鲁棒性进行评估，在一定程度上保障自动驾驶感知系统的安全性及可靠性。
进一步地，在一些实施例中，所述基于预先训练的对抗样本生成网络，添加目标扰动至所述源图像，得到第一对抗样本，包括：提取所述源图像的图像特征；对所述图像特征进行解码生成所述源图像的对抗扰动；对所述对抗扰动和所述源图像进行叠加，得到所述第一对抗样本。
根据上述技术手段，本申请实施例可以通过增加对抗样本对感知系统进行干扰，可能误导感知系统进行准确分类，暴露感知系统的漏洞。
进一步地，在一些实施例中，在基于所述预先训练的对抗样本生成网络，添加所述目标扰动至所述源图像，得到所述第一对抗样本之前，还包括：获取车辆的待训练源图像；确定所述感知系统中多个感知子系统的的替代网络；基于所述待训练源图像和所述感知系统中多个感知子系统的的替代网络，对所述生成对抗网络GAN进行训练，得到所述预先训练的对抗样本生成网络。
根据上述技术手段，本申请实施例可以针对不同的感知子系统生成对应的替代网络对自动感知系统的各个模块的鲁棒性进行评估。
进一步地，在一些实施例中，所述多个感知子系统包括目标检测子系统、语音分割子系统和车道线检测子系统，所述基于所述待训练源图像和所述感知系统中多个感知子系统的的替代网络，对所述生成对抗网络GAN进行训练，得到所述预先训练的对抗样本生成网络，包括获取所述待训练源图像的第二对抗样本；基于所述目标检测子系统的损失函数、所述语音分割子系统的损失函数和所述车道线检测子系统的损失函数，将所述第二对抗样本分别输入至所述目标检测子系统、所述语音分割子系统和所述车道线检测子系统，得到所述目标检测子系统的第一输出结果、所述语音分割子系统的第二输出结果和所述车道线检测子系统的第三输出结果；根据所述第一输出结果、所述第二输出结果和所述第三输出结果，对所述生成对抗网络GAN进行训练，得到所述预先训练的对抗样本生成网络。
根据上述技术手段，本申请实施例可以针对不同的感知子系统生成对应的替代网络对自动感知系统的各个模块的鲁棒性进行评估，在一定程度上保障自动驾驶感知系统的安全性及可靠性。
进一步地，在一些实施例中，所述目标检测子系统的损失函数为：
Figure BDA0003705925770000021
其中，i为第i张图像，CE为交叉熵损失函数，Lloc为smoothL1损失，y′ic为YOLOv5s网络预测的类别信息，
Figure BDA0003705925770000022
为相应的标签信息，y′it预测的位置信息，
Figure BDA0003705925770000023
为相应的标签信息。
所述语音分割子系统的损失函数为：
Figure BDA0003705925770000031
其中，i代表为第i张图像，CE为交叉熵损失函数，y′ip为U-Net对于图片i中每个像素的预测结果，
Figure BDA0003705925770000032
为图像中每个像素真实的标签信息。
所述车道线检测子系统的损失函数为：
Figure BDA0003705925770000033
其中，i代表为第i张图像，Lcls为Focal Loss，Lreg为Smooth L1损失函数，y′icls为LaneATT预测的车道线类别，
Figure BDA0003705925770000034
代表为车道线真实的类别信息，y′ireg代表为LaneATT预测的车道线位置信息，
Figure BDA0003705925770000035
为车道线真实的位置信息。
根据上述技术手段，本申请实施例可以利用损失函数每个感知子系统识别误差最小化。
本申请第二方面实施例提供一种车辆感知系统的评估装置，包括：获取模块，用于获取车辆的源图像；训练模块，用于基于预先训练的对抗样本生成网络，添加目标扰动至所述源图像，得到第一对抗样本，其中，所述预先训练的对抗样本生成网络由生成对抗网络GAN训练得到；以及评估模块，用于将所述第一对抗样本输入至所述车辆的感知系统的多个检测子系统，并根据所述多个检测子系统检测的多个感知结果得到所述感知系统的评估结果。
进一步地，在一些实施例中，所述训练模块，包括：提取单元，用于提取所述源图像的图像特征；解码单元，用于对所述图像特征进行解码生成所述源图像的对抗扰动；叠加单元，用于对所述对抗扰动和所述源图像进行叠加，得到所述第一对抗样本。
进一步地，在一些实施例中，在基于所述预先训练的对抗样本生成网络，添加所述目标扰动至所述源图像，得到所述第一对抗样本之前，所述叠加模块，还包括：获取单元，用于获取车辆的待训练源图像；感知单元，用于确定所述感知系统中多个感知子系统的的替代网络；训练单元，用于基于所述待训练源图像和所述感知系统中多个感知子系统的的替代网络，对所述生成对抗网络GAN进行训练，得到所述预先训练的对抗样本生成网络。
进一步地，在一些实施例中，所述多个感知子系统包括目标检测子系统、语音分割子系统和车道线检测子系统，所述训练单元，具体用于：获取所述待训练源图像的第二对抗样本；基于所述目标检测子系统的损失函数、所述语音分割子系统的损失函数和所述车道线检测子系统的损失函数，将所述第二对抗样本分别输入至所述目标检测子系统、所述语音分割子系统和所述车道线检测子系统，得到所述目标检测子系统的第一输出结果、所述语音分割子系统的第二输出结果和所述车道线检测子系统的第三输出结果；根据所述第一输出结果、所述第二输出结果和所述第三输出结果，对所述生成对抗网络GAN进行训练，得到所述预先训练的对抗样本生成网络。
进一步地，在一些实施例中，所述目标检测子系统的损失函数为：
Figure BDA0003705925770000041
其中，i为第i张图像，CE为交叉熵损失函数，Lloc为smoothL1损失，y′ic为YOLOv5s网络预测的类别信息，
Figure BDA0003705925770000042
为相应的标签信息，y′it预测的位置信息，
Figure BDA0003705925770000043
为相应的标签信息。
所述语音分割子系统的损失函数为：
Figure BDA0003705925770000044
其中，i代表为第i张图像，CE为交叉熵损失函数，y′ip为U-Net对于图片i中每个像素的预测结果，
Figure BDA0003705925770000045
为图像中每个像素真实的标签信息。
所述车道线检测子系统的损失函数为：
Figure BDA0003705925770000046
其中，i代表为第i张图像，Lcls为Focal Loss，Lreg为Smooth L1损失函数，y′icls为LaneATT预测的车道线类别，
Figure BDA0003705925770000047
代表为车道线真实的类别信息，y′ireg代表为LaneATT预测的车道线位置信息，
Figure BDA0003705925770000048
为车道线真实的位置信息。
本申请第三方面实施例提供一种车辆，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的车辆感知系统的评估方法。
本申请第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上述实施例所述的车辆感知系统的评估方法。
由此，获取车辆的源图像；基于预先训练的对抗样本生成网络，添加目标扰动至源图像，得到第一对抗样本，其中，预先训练的对抗样本生成网络由生成对抗网络GAN训练得到；将第一对抗样本输入至车辆的感知系统的多个检测子系统，并根据多个检测子系统检测的多个感知结果得到感知系统的评估结果。由此，解决了感知系统受到自身潜在漏洞和外界特殊因素的影响，可能无法对交通要素进行正确识别的问题，可以对自动驾驶感知系统的各个模块的鲁棒性进行评估，在一定程度上保障自动驾驶感知系统的安全性及可靠性。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的车辆感知系统的评估方法的流程图；
图2为根据本申请一个实施例提供的车辆感知系统的评估方法的流程图
图3为根据本申请实施例提供的车辆感知系统的评估装置的方框示意图；
图4为根据本申请实施例提供的车辆的示意图。
其中，10-车辆感知系统的评估装置，100-获取模块，200-训练模块和300-评估模块。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的车辆感知系统的评估方法、装置、车辆及存储介质。针对上述背景技术中心提到的感知系统受到自身潜在漏洞和外界特殊因素的影响，可能无法对交通要素进行正确识别的问题，本申请提供了一种车辆感知系统的评估方法，在该方法中，获取车辆的源图像；基于预先训练的对抗样本生成网络，添加目标扰动至源图像，得到第一对抗样本，其中，预先训练的对抗样本生成网络由生成对抗网络GAN训练得到；将第一对抗样本输入至车辆的感知系统的多个检测子系统，并根据多个检测子系统检测的多个感知结果得到感知系统的评估结果。由此，解决了感知系统受到自身潜在漏洞和外界特殊因素的影响，可能无法对交通要素进行正确识别的问题，可以对自动驾驶感知系统的各个模块的鲁棒性进行评估，在一定程度上保障自动驾驶感知系统的安全性及可靠性。具体而言，图1为本申请实施例所提供的一种车辆感知系统的评估方法的流程示意图。
如图1所示，该车辆感知系统的评估方法包括以下步骤：
在步骤S101中，获取车辆的源图像。
其中，车辆的源图像可以通过车辆摄像头采集得到。
在步骤S102中，基于预先训练的对抗样本生成网络，添加目标扰动至源图像，得到第一对抗样本，其中，预先训练的对抗样本生成网络由生成对抗网络GAN训练得到。
进一步地，在一些实施例中，基于预先训练的对抗样本生成网络，添加目标扰动至源图像，得到第一对抗样本，包括：提取源图像的图像特征；对图像特征进行解码生成源图像的对抗扰动；对对抗扰动和源图像进行叠加，得到第一对抗样本。
其中，源图像的图像特征可以由图像编码器提取得到，对抗扰动可以通过解码器生成。
可以理解的是，对抗样本通常以某类可以被感知系统分类器正确识别的图片(由车载摄像头采集得到)为基底，随后通过在基底上添加一些微小的像素值的扰动(对抗扰动)而生成，这类添加了扰动的对抗样本往往无法被人眼识别，然而一旦被送入已经设计好的基于深度神经网络模型的分类器就可能误导其进行准确分类，干扰驾驶决策，进而暴露感知系统的漏洞。
具体地，本申请实施例利用图像编码器以车辆摄像头获取源图像x作为输入，采用3个卷积层(C1，C2，C3)对输入图像进行特征提取，卷积核的大小分别为7×7×64、3×3×128以及3×3×256，提取的特征分别用F1、F2以及F3表示，图像编码器最终的输出特征为F。
编码器输出特征F经过解码器并生成相应的对抗扰动，具体地，解码器由6个残差模块(ResidualBlock)以及2个反卷积层(Deconv)构成，其中，每个残差模块包含2个卷积层，以及一个跳跃连接层。两个卷积层的卷积核大小分别为3×3×256。2个反卷积层的卷积核的大小分别为3×3×128、3×3×256，最后一个反卷积层提取的特征用F′表示。解码器对编码器提取的图像特征作Fe进行解码，得到对抗扰动δ，其大小与原图大小保持一致。为了使生成的扰动肉眼不可见，通常需要将扰动限制在一定的范围之内，本申请实施例采用平滑投影S使得对抗扰动δ在扰动范围ε之内，ε的取值为16。平滑投影S的定义为：
δ＝εgtanh(F′)
由于tanh(F′)的范围始终为[-1,1]，因此可以保证生成的扰动始终在扰动范围ε之内。
然后，将原图与对抗扰动叠加得到对抗样本，具体地，由于生成的对抗扰动δ与原图x大小保持一致，因此，本申请实施例可以将原图与对抗扰动叠加就可以得到对抗样本x*＝x+δ。
在步骤S103中，将第一对抗样本输入至车辆的感知系统的多个检测子系统，并根据多个检测子系统检测的多个感知结果得到感知系统的评估结果。
具体地，在测试阶段，车辆摄像头采集的源图像x依次经过图像编码器、解码器这两个模块，得到对应的对抗扰动δ，再将对抗扰动与源图像叠加得到对抗样本x*。将对抗样本输入到自动驾驶感知系统得到相应的感知结果，如果感知结果与标签信息不一致则认为自动驾驶感知系统被攻击成功，其鲁棒性的具体定义为：
Figure BDA0003705925770000061
其中，X为总的测试样本数，t为成功攻击自动驾驶感知系统的样本数量。
进一步地，在一些实施例中，在基于预先训练的对抗样本生成网络，添加目标扰动至源图像，得到第一对抗样本之前，还包括：获取车辆的待训练源图像；确定感知系统中多个感知子系统的替代网络；基于待训练源图像和感知系统中多个感知子系统的的替代网络，对生成对抗网络GAN进行训练，得到预先训练的对抗样本生成网络。
进一步地，在一些实施例中，多个感知子系统包括目标检测子系统、语音分割子系统和车道线检测子系统，基于待训练源图像和感知系统中多个感知子系统的的替代网络，对生成对抗网络GAN进行训练，得到预先训练的对抗样本生成网络，包括：获取待训练源图像的第二对抗样本；基于目标检测子系统的损失函数、语音分割子系统的损失函数和车道线检测子系统的损失函数，将第二对抗样本分别输入至目标检测子系统、语音分割子系统和车道线检测子系统，得到目标检测子系统的第一输出结果、语音分割子系统的第二输出结果和车道线检测子系统的第三输出结果；根据第一输出结果、第二输出结果和第三输出结果，对生成对抗网络GAN进行训练，得到预先训练的对抗样本生成网络。
具体地，在得到预先训练的对抗样本生成网络时，本申请实施例可以先获取车辆的待训练源图像，基于图像编码器提取待训练源图像的图像特征，并经过解码器生成相应的对抗扰动，将待训练源图像与对抗扰动叠加得到第二对抗样本，从而将第二对抗样本分别输入至目标检测子系统、语音分割子系统和车道线检测子系统，得到目标检测子系统的第一输出结果、语音分割子系统的第二输出结果和车道线检测子系统的第三输出结果，将在得到目标检测子系统的第一输出结果、语音分割子系统的第二输出结果和车道线检测子系统的第三输出结果后，基于输出结果对生成对抗网络GAN进行训练，得到预先训练的对抗样本生成网络。
需要说明的是，在确定感知系统中多个感知子系统的替代网络时，本申请实施例可以针对不同的任务选取不同的替代模型，例如，针对目标检测子系统可以选取YOLOv5s作为替代网络，针对语音分割子系统可以选取U-Net作为替代网络，针对车道线检测子系统可以选取LaneATT作为替代网络
具体地，替代网络以对抗样本x*作为输入，并输出相应的检测和分割结果y′，然后通过loss＝L(y′,y*)反向传播的方式对的编码器以及的解码器进行参数更新，而替代网络的参数保持不变。其中，y*表示标签信息，L为损失函数。其中，针对不同的任务，损失函数L的定义也各不相同。
其中，目标检测子系统的损失函数为：
Figure BDA0003705925770000071
i代表为第i张图像，CE为交叉熵损失函数，Lloc为smooth L1损失，y′ic为YOLOv5s网络预测的类别信息，
Figure BDA0003705925770000081
为相应的标签信息，y′it预测的位置信息，
Figure BDA0003705925770000082
为相应的标签信息。
语音分割子系统的损失函数为：
Figure BDA0003705925770000083
i代表为第i张图像，CE为交叉熵损失函数，y′ip为U-Net对于图片i中每个像素的预测结果，
Figure BDA0003705925770000084
为图像中每个像素真实的标签信息。
车道线检测子系统的损失函数为：
Figure BDA0003705925770000085
i代表为第i张图像，Lcls为Focal Loss，Lreg为Smooth L1损失函数，y′icls为LaneATT预测的车道线类别，
Figure BDA0003705925770000086
代表为车道线真实的类别信息，y′ireg代表为LaneATT预测的车道线位置信息，
Figure BDA0003705925770000087
为车道线真实的位置信息。
为使得本领域技术人员进一步了解本申请实施例的车辆感知系统的评估方法，下面结合具体实施例进行详细阐述。
图2为根据本申请实施例提出的车辆感知系统的评估方法的流程图。
步骤1，基于图像编码器提取图像特征：
步骤2，编码器特征经过解码器并生成相应的对抗扰动：
步骤3，原图与对抗扰动叠加得到对抗样本：
步骤4，将对抗样本输入替代网络并反向传播：
步骤5，将对抗样本送入自动驾驶感知系统评估其鲁棒性。
综上，在训练阶段：从车辆摄像头获取图像并构建训练集；构建基于GAN网络的对抗样本生成网络；为自动驾驶感知系统中的各个任务(目标检测、语义分割、车道线检测)选取相应的替代网络；根据原图像以及替代网络对基于GAN的对抗样本生成网络进行训练。
在测试阶段，从车辆摄像头获取源图像；采用训练好的基于GAN的对抗样本生成网络生成扰动；将扰动添加到源图像上获得对抗样本；将对抗样本输入自动驾驶感知系统从而评估感知系统的鲁棒性。
根据本申请实施例提出的车辆感知系统的评估方法，获取车辆的源图像；基于预先训练的对抗样本生成网络，添加目标扰动至源图像，得到第一对抗样本，其中，预先训练的对抗样本生成网络由生成对抗网络GAN训练得到；将第一对抗样本输入至车辆的感知系统的多个检测子系统，并根据多个检测子系统检测的多个感知结果得到感知系统的评估结果。由此，解决了感知系统受到自身潜在漏洞和外界特殊因素的影响，可能无法对交通要素进行正确识别的问题，可以对自动驾驶感知系统的各个模块的鲁棒性进行评估，在一定程度上保障自动驾驶感知系统的安全性及可靠性。
其次参照附图描述根据本申请实施例提出的车辆感知系统的评估装置。
图3是本申请实施例的车辆感知系统的评估装置的方框示意图。
如图3所示，该车辆感知系统的评估装置10包括：获取模块100、训练模块200和评估模块300。
其中，获取模块100，用于获取车辆的源图像；训练模块200，用于基于预先训练的对抗样本生成网络，添加目标扰动至源图像，得到第一对抗样本，其中，预先训练的对抗样本生成网络由生成对抗网络GAN训练得到；以及评估模块300，用于将第一对抗样本输入至车辆的感知系统的多个检测子系统，并根据多个检测子系统检测的多个感知结果得到感知系统的评估结果。
进一步地，在一些实施例中，训练模块100，包括：提取单元，用于提取源图像的图像特征；解码单元，用于对图像特征进行解码生成源图像的对抗扰动；叠加单元，用于对对抗扰动和源图像进行叠加，得到第一对抗样本。
进一步地，在一些实施例中，在基于预先训练的对抗样本生成网络，添加目标扰动至源图像，得到第一对抗样本之前，叠加单元，还包括：获取单元，用于获取车辆的待训练源图像；感知单元，用于确定感知系统中多个感知子系统的的替代网络；训练单元，用于基于待训练源图像和感知系统中多个感知子系统的的替代网络，对生成对抗网络GAN进行训练，得到预先训练的对抗样本生成网络。
进一步地，在一些实施例中，多个感知子系统包括目标检测子系统、语音分割子系统和车道线检测子系统，训练单元，具体用于：获取待训练源图像的第二对抗样本；基于目标检测子系统的损失函数、语音分割子系统的损失函数和车道线检测子系统的损失函数，将第二对抗样本分别输入至目标检测子系统、语音分割子系统和车道线检测子系统，得到目标检测子系统的第一输出结果、语音分割子系统的第二输出结果和车道线检测子系统的第三输出结果；根据第一输出结果、第二输出结果和第三输出结果，对生成对抗网络GAN进行训练，得到预先训练的对抗样本生成网络。
进一步地，在一些实施例中，目标检测子系统的损失函数为：
Figure BDA0003705925770000091
其中，i为第i张图像，CE为交叉熵损失函数，Lloc为smooth L1损失，y′ic为YOLOv5s网络预测的类别信息，
Figure BDA0003705925770000101
为相应的标签信息，y′it预测的位置信息，
Figure BDA0003705925770000102
为相应的标签信息。
语音分割子系统的损失函数为：
Figure BDA0003705925770000103
其中，i代表为第i张图像，CE为交叉熵损失函数，y′ip为U-Net对于图片i中每个像素的预测结果，
Figure BDA0003705925770000104
为图像中每个像素真实的标签信息。
车道线检测子系统的损失函数为：
Figure BDA0003705925770000105
其中，i代表为第i张图像，Lcls为Focal Loss，Lreg为Smooth L1损失函数，y′icls为LaneATT预测的车道线类别，
Figure BDA0003705925770000106
代表为车道线真实的类别信息，y′ireg代表为LaneATT预测的车道线位置信息，
Figure BDA0003705925770000107
为车道线真实的位置信息。
需要说明的是，前述对车辆感知系统的评估方法实施例的解释说明也适用于该实施例的车辆感知系统的评估装置，此处不再赘述。
根据本申请实施例提出的车辆感知系统的评估装置，获取车辆的源图像；基于预先训练的对抗样本生成网络，添加目标扰动至源图像，得到第一对抗样本，其中，预先训练的对抗样本生成网络由生成对抗网络GAN训练得到；将第一对抗样本输入至车辆的感知系统的多个检测子系统，并根据多个检测子系统检测的多个感知结果得到感知系统的评估结果。由此，解决了感知系统受到自身潜在漏洞和外界特殊因素的影响，可能无法对交通要素进行正确识别的问题，可以对自动驾驶感知系统的各个模块的鲁棒性进行评估，在一定程度上保障自动驾驶感知系统的安全性及可靠性。
图4为本申请实施例提供的车辆的结构示意图。该车辆可以包括：
存储器401、处理器402及存储在存储器401上并可在处理器402上运行的计算机程序。
处理器402执行程序时实现上述实施例中提供的车辆感知系统的评估方法。
进一步地，车辆还包括：
通信接口403，用于存储器401和处理器402之间的通信。
存储器401，用于存放可在处理器402上运行的计算机程序。
存储器401可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器401、处理器402和通信接口403独立实现，则通信接口403、存储器401和处理器402可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选地，在具体实现上，如果存储器401、处理器402及通信接口403，集成在一块芯片上实现，则存储器401、处理器402及通信接口403可以通过内部接口完成相互间的通信。
处理器402可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的车辆感知系统的评估方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或N个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种车辆感知系统的评估方法，其特征在于，包括以下步骤：
获取车辆的源图像；
基于预先训练的对抗样本生成网络，添加目标扰动至所述源图像，得到第一对抗样本，其中，所述预先训练的对抗样本生成网络由生成对抗网络GAN训练得到；以及
将所述第一对抗样本输入至所述车辆的感知系统的多个检测子系统，并根据所述多个检测子系统检测的多个感知结果得到所述感知系统的评估结果。
2.根据权利要求1所述的方法，其特征在于，所述基于预先训练的对抗样本生成网络，添加目标扰动至所述源图像，得到第一对抗样本，包括：
提取所述源图像的图像特征；
对所述图像特征进行解码生成所述源图像的对抗扰动；
对所述对抗扰动和所述源图像进行叠加，得到所述第一对抗样本。
3.根据权利要求1所述的方法，其特征在于，在基于所述预先训练的对抗样本生成网络，添加所述目标扰动至所述源图像，得到所述第一对抗样本之前，还包括：
获取车辆的待训练源图像；
确定所述感知系统中多个感知子系统的的替代网络；
基于所述待训练源图像和所述感知系统中多个感知子系统的的替代网络，对所述生成对抗网络GAN进行训练，得到所述预先训练的对抗样本生成网络。
4.根据权利要求3所述的方法，其特征在于，所述多个感知子系统包括目标检测子系统、语音分割子系统和车道线检测子系统，所述基于所述待训练源图像和所述感知系统中多个感知子系统的的替代网络，对所述生成对抗网络GAN进行训练，得到所述预先训练的对抗样本生成网络，包括：
获取所述待训练源图像的第二对抗样本；
基于所述目标检测子系统的损失函数、所述语音分割子系统的损失函数和所述车道线检测子系统的损失函数，将所述第二对抗样本分别输入至所述目标检测子系统、所述语音分割子系统和所述车道线检测子系统，得到所述目标检测子系统的第一输出结果、所述语音分割子系统的第二输出结果和所述车道线检测子系统的第三输出结果；
根据所述第一输出结果、所述第二输出结果和所述第三输出结果，对所述生成对抗网络GAN进行训练，得到所述预先训练的对抗样本生成网络。
5.根据权利要求4所述的方法，其特征在于，所述目标检测子系统的损失函数为：
Figure FDA0003705925760000011
其中，i为第i张图像，CE为交叉熵损失函数，Lloc为smooth L1损失，y′ic为YOLOv5s网络预测的类别信息，
Figure FDA0003705925760000021
为相应的标签信息，y′it预测的位置信息，
Figure FDA0003705925760000022
为相应的标签信息。
所述语音分割子系统的损失函数为：
Figure FDA0003705925760000023
其中，i代表为第i张图像，CE为交叉熵损失函数，y′ip为U-Net对于图片i中每个像素的预测结果，
Figure FDA0003705925760000024
为图像中每个像素真实的标签信息。
所述车道线检测子系统的损失函数为：
Figure FDA0003705925760000025
其中，i代表为第i张图像，Lcls为Focal Loss，Lreg为Smooth L1损失函数，y′icls为LaneATT预测的车道线类别，
Figure FDA0003705925760000026
代表为车道线真实的类别信息，y′ireg代表为LaneATT预测的车道线位置信息，
Figure FDA0003705925760000027
为车道线真实的位置信息。
6.一种车辆感知系统的评估装置，其特征在于，包括：
获取模块，用于获取车辆的源图像；
训练模块，用于基于预先训练的对抗样本生成网络，添加目标扰动至所述源图像，得到第一对抗样本，其中，所述预先训练的对抗样本生成网络由生成对抗网络GAN训练得到；以及
评估模块，用于将所述第一对抗样本输入至所述车辆的感知系统的多个检测子系统，并根据所述多个检测子系统检测的多个感知结果得到所述感知系统的评估结果。
7.根据权利要求6所述的装置，其特征在于，所述训练模块，包括：
提取单元，用于提取所述源图像的图像特征；
解码单元，用于对所述图像特征进行解码生成所述源图像的对抗扰动；
叠加单元，用于对所述对抗扰动和所述源图像进行叠加，得到所述第一对抗样本。
8.根据权利要求6所述的装置，其特征在于，在基于所述预先训练的对抗样本生成网络，添加所述目标扰动至所述源图像，得到所述第一对抗样本之前，所述叠加模块，还包括：
获取单元，用于获取车辆的待训练源图像；
感知单元，用于确定所述感知系统中多个感知子系统的的替代网络；
训练单元，用于基于所述待训练源图像和所述感知系统中多个感知子系统的的替代网络，对所述生成对抗网络GAN进行训练，得到所述预先训练的对抗样本生成网络。
9.一种车辆，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的车辆感知系统的评估方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的车辆感知系统的评估方法。
CN202210707488.6A 2022-06-21 2022-06-21 车辆感知系统的评估方法、装置、车辆及存储介质 Pending CN115100614A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210707488.6A CN115100614A (zh) 2022-06-21 2022-06-21 车辆感知系统的评估方法、装置、车辆及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210707488.6A CN115100614A (zh) 2022-06-21 2022-06-21 车辆感知系统的评估方法、装置、车辆及存储介质

Publications (1)

Publication Number Publication Date
CN115100614A true CN115100614A (zh) 2022-09-23

Family

ID=83293003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210707488.6A Pending CN115100614A (zh) 2022-06-21 2022-06-21 车辆感知系统的评估方法、装置、车辆及存储介质

Country Status (1)

Country Link
CN (1) CN115100614A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115588131A (zh) * 2022-09-30 2023-01-10 北京瑞莱智慧科技有限公司 模型鲁棒性检测方法、相关装置及存储介质
CN116821699A (zh) * 2023-08-31 2023-09-29 山东海量信息技术研究院 一种感知模型训练方法、装置及电子设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609486A (zh) * 2017-08-16 2018-01-19 中国地质大学（武汉） 一种车辆前向防撞预警方法及系统
CN111325324A (zh) * 2020-02-20 2020-06-23 浙江科技学院 一种基于二阶方法的深度学习对抗样本生成方法
CN112418332A (zh) * 2020-11-26 2021-02-26 北京市商汤科技开发有限公司 一种图像处理的方法及装置、图像生成的方法及装置
CN113792791A (zh) * 2021-09-14 2021-12-14 百度在线网络技术（北京）有限公司 针对视觉模型的处理方法及装置
CN114093371A (zh) * 2021-10-11 2022-02-25 浙江大学 基于神经网络生成模型的音素级声纹识别对抗样本构造系统和方法
CN114330652A (zh) * 2021-12-22 2022-04-12 杭州师范大学 一种目标检测攻击方法和装置
CN114386476A (zh) * 2021-12-03 2022-04-22 浙江大华技术股份有限公司 对抗样本生成方法、目标识别模型的训练方法及相关装置
CN114444081A (zh) * 2021-12-16 2022-05-06 开源网安物联网技术(武汉)有限公司 一种视觉感知系统的漏洞检测方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609486A (zh) * 2017-08-16 2018-01-19 中国地质大学（武汉） 一种车辆前向防撞预警方法及系统
CN111325324A (zh) * 2020-02-20 2020-06-23 浙江科技学院 一种基于二阶方法的深度学习对抗样本生成方法
CN112418332A (zh) * 2020-11-26 2021-02-26 北京市商汤科技开发有限公司 一种图像处理的方法及装置、图像生成的方法及装置
CN113792791A (zh) * 2021-09-14 2021-12-14 百度在线网络技术（北京）有限公司 针对视觉模型的处理方法及装置
CN114093371A (zh) * 2021-10-11 2022-02-25 浙江大学 基于神经网络生成模型的音素级声纹识别对抗样本构造系统和方法
CN114386476A (zh) * 2021-12-03 2022-04-22 浙江大华技术股份有限公司 对抗样本生成方法、目标识别模型的训练方法及相关装置
CN114444081A (zh) * 2021-12-16 2022-05-06 开源网安物联网技术(武汉)有限公司 一种视觉感知系统的漏洞检测方法和装置
CN114330652A (zh) * 2021-12-22 2022-04-12 杭州师范大学 一种目标检测攻击方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115588131A (zh) * 2022-09-30 2023-01-10 北京瑞莱智慧科技有限公司 模型鲁棒性检测方法、相关装置及存储介质
CN115588131B (zh) * 2022-09-30 2024-02-06 北京瑞莱智慧科技有限公司 模型鲁棒性检测方法、相关装置及存储介质
CN116821699A (zh) * 2023-08-31 2023-09-29 山东海量信息技术研究院 一种感知模型训练方法、装置及电子设备和存储介质
CN116821699B (zh) * 2023-08-31 2024-01-19 山东海量信息技术研究院 一种感知模型训练方法、装置及电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN109478239B (zh) 检测图像中的对象的方法和对象检测系统
EP3796228A1 (en) Device and method for generating a counterfactual data sample for a neural network
Ribeiro et al. An end-to-end deep neural architecture for optical character verification and recognition in retail food packaging
EP3654248A1 (en) Verification of classification decisions in convolutional neural networks
CN109740617A (zh) 一种图像检测方法及装置
KR102476022B1 (ko) 얼굴검출 방법 및 그 장치
CN111914665B (zh) 一种人脸遮挡检测方法、装置、设备及存储介质
CN111257341A (zh) 基于多尺度特征与堆叠式全卷积网络的水下建筑物裂缝检测方法
CN114359851A (zh) 无人驾驶目标检测方法、装置、设备及介质
JP2008130086A (ja) 分類境界確定方法及び分類境界確定装置
CN115100614A (zh) 车辆感知系统的评估方法、装置、车辆及存储介质
CN112149491A (zh) 用于确定探测到的对象的信任值的方法
CN114937086B (zh) 多图像目标检测的训练方法、检测方法及相关产品
CN110582783A (zh) 训练装置、图像识别装置、训练方法和程序
US20220245955A1 (en) Method and Device for Classifying Pixels of an Image
CN112052907A (zh) 基于图像边缘信息的目标检测方法、装置及存储介质
CN111144425B (zh) 检测拍屏图片的方法、装置、电子设备及存储介质
Saravanarajan et al. Improving semantic segmentation under hazy weather for autonomous vehicles using explainable artificial intelligence and adaptive dehazing approach
CN112150344A (zh) 用于确定一类别的对象的置信值的方法
CN112232368A (zh) 目标识别模型训练方法、目标识别方法及其相关装置
CN114724246A (zh) 危险行为识别方法及装置
Choodowicz et al. Hybrid algorithm for the detection and recognition of railway signs
CN113255766B (zh) 一种图像分类方法、装置、设备和存储介质
CN114419584A (zh) 一种改进的非极大值抑制YOLOv4交通标志识别定位方法
CN113591543B (zh) 交通标志识别方法、装置、电子设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination