CN117854039A - 面向车辆目标检测模型的对抗样本生成方法和端到端对抗训练系统 - Google Patents
面向车辆目标检测模型的对抗样本生成方法和端到端对抗训练系统 Download PDFInfo
- Publication number
- CN117854039A CN117854039A CN202311758543.5A CN202311758543A CN117854039A CN 117854039 A CN117854039 A CN 117854039A CN 202311758543 A CN202311758543 A CN 202311758543A CN 117854039 A CN117854039 A CN 117854039A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- challenge
- loss
- sample
- countermeasure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 53
- 238000001514 detection method Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000009499 grossing Methods 0.000 claims description 6
- 230000001537 neural effect Effects 0.000 claims description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 4
- 238000002156 mixing Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000001172 regenerating effect Effects 0.000 claims 1
- 238000005457 optimization Methods 0.000 abstract description 12
- 230000008569 process Effects 0.000 abstract description 6
- 238000013461 design Methods 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 5
- 238000013515 script Methods 0.000 abstract description 4
- 238000011156 evaluation Methods 0.000 abstract description 3
- 230000000007 visual effect Effects 0.000 abstract description 3
- 210000005036 nerve Anatomy 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 13
- 238000012937 correction Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000007123 defense Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 241000252210 Cyprinidae Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种面向车辆目标检测模型的对抗样本生成方法和端到端对抗训练系统，本发明通过控制摄像头视角、天气状态等参数，生成多样化的自动驾驶场景数据，再基于神经渲染器绘制并优化物理可部署的对抗纹理，得到对抗样本，实现多视角下的有效攻击；可以将优化的纹理张贴到车辆表面，实现物理世界的评估与检测；且具有良好的泛化性，能够干扰不同的目标检测模型，可以提升其鲁棒性。发明还通过预置若干超参数控制交通流特征，设计脚本实现自动化训练。针对识别效果不佳的样本，系统会提取其对应的拍摄参数特征，在下一个轮次生成更多的类似样本，实现自适应的流水线训练过程，定向优化模型的薄弱环节，极大地减少了训练开销。
Description
技术领域
本发明属于自动驾驶技术领域，尤其涉及一种面向车辆目标检测模型的对抗样本生成方法和端到端对抗训练系统。
背景技术
随着“智慧城市”建设的不断推进，传统汽车产业借助人工智能的发展，致力于无人驾驶技术的研发。无人驾驶技术在降低驾驶员负担、提升驾驶安全性等方面发挥着重要作用，具备广阔的发展前景。作为无人驾驶系统的关键一环，视觉感知模块是沟通智能车辆与物理世界之间的纽带，确保该模块的正常运转至关重要。其中，车辆目标检测模型旨在获取障碍信息，是感知模块中运行的基石。
然而，一方面由于测试样本难以模拟物理世界的复杂环境，另一方面，深度学习的固有漏洞也为不法分子提供可乘之机。现有研究表明，通过生成精心扰动的图像纹理，可以有效欺骗视觉感知模块。例如：攻击者通过张贴补丁、优化纹理、光线投射等方式，都可以实现干扰乃至欺骗车辆检测模型，降低其性能。应对上述对抗攻击，常见的防御策略有如下几种：
1.对抗训练(Adversarial Training)：对抗通过在训练数据中引入经过修改的对抗样本，使模型在训练过程中逐渐适应这些扰动。在每次训练迭代中，模型会同时更新以最小化正常样本和对抗样本的损失，这有助于提升模型对对抗性扰动的鲁棒性。
2.防御性预处理(Defensive Preprocessing)：这种策略在输入图像被输入模型之前，对图像进行预处理以减弱对抗扰动的影响。例如，可以应用滤波、降噪等技术来去除或减少对抗性扰动。
3.模型融合(Ensemble Methods)：使用多个不同的模型进行预测，然后将它们的预测结果结合起来。由于不同模型可能对对抗样本具有不同的敏感性，这种方法可以减少对抗样本的影响。
4.随机防御策略：在模型的输入或隐藏层引入随机性，使对抗攻击者难以预测模型的响应。这可以包括随机扰动、随机投影等方法。
5.检测与修复(Detection and Correction)：使用额外的模块来检测是否存在对抗样本，然后针对检测到的对抗样本进行修复。这可以通过恢复被扰动的特征或重建干净图像来实现。
6.生成对抗网络(GANs)：使用生成对抗网络来生成与原始样本相似但不容易受到攻击的样本。这些生成的样本可以用来增强模型的训练数据，提高其鲁棒性。
然而，目前通过生成精心扰动的图像纹理的方法仍存在如下问题：
1.数据采集难度较高。以nuScenes、Waymo为代表的大型自动驾驶数据集，由于需要在真实路面上采集数据，需要耗费巨大的时间与经济成本。
2.对抗样本难以直接在物理世界部署。传统的对抗样本主要着眼于数字域的优化方案，而往往未考虑扰动可行域，忽略了物理世界可迁移性，因此不具有较高的实际意义。
3.对抗样本只能干扰特定的检测模型。主流的对抗样本通常以白盒方式生成，针对某一种目标检测模型实施攻击，优化图像使其产生误判。然而，当模型的结构、参数发生变化时，这种攻击通常就会失效。
发明内容
本发明的目的是针对现有技术中生成精心扰动的图像纹理方法的不足，提供一种面向车辆目标检测模型的对抗样本生成方法和端到端对抗训练系统。
本发明采用的技术方案具体如下：
一种面向车辆目标检测模型的对抗样本生成方法，包括：
在Unity引擎中生成车辆与城市3D地图，提取记录车辆模型中的三维网格，并导入自动驾驶仿真器；
在自动驾驶仿真器中生成动态交通流和天气场景，多角度布置RGB摄像头并拍摄车辆图像，并记录对应的拍摄参数；
获取每一车辆图像的标签真值和二值化掩码，所述车辆图像的标签真值包含车辆目标的矩形边界框和类别信息；
将车辆模型中的三维网格、车辆图像对应的拍摄参数和随机生成的平面纹理样式T输入至可微分的神经渲染器生成初始对抗车辆实例，再利用二值化掩码将初始对抗车辆实例嵌入原始的车辆图像中获得第一对抗图像集；
将第一对抗图像集的每一图像输入至一目标检测器中，以分类结果为输出，通过最小化损失函数对平面纹理样式进行优化，获得对抗样本；所述损失函数包括定位损失置信度损失/>分类损失/>平滑损失/>和伪装损失/>所述伪装损失为平面纹理样式与图像背景主要颜色的差异。
进一步地，平滑损失具体如下：
其中，xi,j表示平面纹理样式T在坐标(x,y)处的像素值；hT,wT分别表示平面纹理样式T的高度和宽度。
进一步地，所述定位损失采用目标检测器输出的预测边界框与真实边界框之间的交并比中和/或心坐标的欧几里得距离表示。
进一步地，所述伪装损失具体如下：
其中，xi,j表示平面纹理样式T在坐标(x,y)处的像素值；hT,wT分别表示平面纹理样式T的高度和宽度，C是图像背景主要颜色集合。
进一步地，生成动态交通流和天气场景的参数，包括天气状态、时间状态、车流密度、车辆类型中的一种或多种。
进一步地，通过对拍摄参数进行线性插值实现多角度布置RGB摄像头并拍摄车辆图像。
进一步地，在自动驾驶仿真器中生成动态交通流和天气场景，多角度布置RGB摄像头并拍摄车辆图像后，还包括对获得的车辆图像进行数据增强。
进一步地，数据增强的方法包括仿射变换、拼接、混合中的一种或多种。
一种面向车辆目标检测模型的端到端对抗训练系统，包括：
样本生成模块，用于基于所述一种面向车辆目标检测模型的对抗样本生成方法生成正常样本和对抗样本；所述正常样本为车辆图像或者数据增强后的车辆图像；
自动对抗训练模块，用于基于样本生成模块获得的正常样本和对抗样本对车辆目标检测模型进行训练，直至模型收敛或达到预期性能，停止训练，保存模型参数。
进一步地，所述自动对抗训练模块还包括用于针对正常样本和/或对抗样本中难以正确识别的车辆，使用对应拍摄参数基于样本生成模块重新生成对抗样本，并开启下一轮迭代训练。
本发明的有益效果是：
1.定制化样本构建。借助于自动驾驶仿真软件，本发明设计了数据采集脚本以控制摄像头视角、天气状态等参数，可以高效快捷地生成多位姿、全场景的自动驾驶场景数据集。
2.自动化模型训练。本发明预置若干超参数控制交通流特征，设计脚本实现自动化训练。针对识别效果不佳的样本，系统会提取其对应的拍摄参数特征，在下一个轮次生成更多的类似样本，实现自适应的流水线训练过程，定向优化模型的薄弱环节，极大地减少了训练开销。
3.可迁移的黑盒训练。一方面，本发明设计了一种物理可部署的纹理样式，可以将优化的纹理张贴到车辆表面，实现物理世界的评估与检测；另一方面，对抗样本具有良好的泛化性，能够干扰不同的目标检测模型，因此对抗训练可以提升其鲁棒性。
附图说明
图1是本发明一种面向车辆目标检测模型的对抗样本生成方法流程图；
图2是本发明一种面向车辆目标检测模型的端到端对抗训练系统结构图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
本发明的核心思想在于，探究现有目标检测(object detection)模型的通用漏洞，设计优化可物理部署的车辆对抗样本，并通过自动对抗训练的方式提升现有模型的鲁棒性。具体地，本发明提供的一种面向车辆目标检测模型的对抗样本生成方法，如图1所示，包括以下步骤：
S1：在Unity引擎中生成车辆与城市3D地图，提取记录车辆模型中的三维网格，并导入自动驾驶仿真器。
S11:首先，在Unity等引擎中制作车辆与城市的3D模型，将其导入Carla等自动驾驶仿真器。具体而言，车辆模型主要包含轿车(car)、卡车(truck)、面包车(van)、公交车(bus)、摩托车(motorcycle)、自行车(bicycle)等六个类别。
S12：提取各类车辆模型中的三维网格(3D mesh)M，三维网格记录车辆的物理可喷漆范围(除大灯、玻璃、轮胎之外的部位)，以供后续绘制对抗纹理样式。
S2：生成动态交通流和天气场景，多角度布置RGB摄像头并拍摄车辆图像，并记录对应的拍摄参数。
S21:在自动驾驶仿真器中随机初始化一系列场景相关的参数，如天气状态、时间状态、车流密度、车辆类型等。通过控制摄像头视角、天气状态等参数，可以高效快捷地生成多位姿、全场景的自动驾驶场景数据。
S22确定位置并放置摄像头后，在视野范围内随机放置若干车辆模型。以世界坐标系为参考，假定摄像头所在坐标为(x1,y1,z1)，其朝向角为(a1,b1,c1)，目标车辆坐标为(x2,y2,z2)，转向角为(a2,b2,c2)。则二者的位置距离
姿态角度
最终得到拍摄参数θcam＝(d,θ)。通过对拍摄参数进行线性插值，调整摄像头及车辆位置，即可生成不同位姿下的多视角车辆图像。需要注意的是，同一张图像中可以出现多个车辆，不同车辆之间也可能发生遮挡，这有助于提升检测模型的鲁棒性。
S3：获取每一车辆图像的标签真值和二值化掩码。
S31:为构建目标检测数据集，需要获取每一车辆图像的标签真值，所述车辆图像的标签真值包含车辆目标的矩形边界框和类别信息；该标签真值可通过人工标注或者使用预训练的目标检测模型(如YOLOv5)求出获取车辆的标签真值得到正常样本；在一个具体的实施例中，标签真值Y＝(xc,yc,w,h,cls)(ground truth)。其中，前四个参数构成了目标的矩形边界框(bounding box)，含义分别为中心横坐标、中心纵坐标、宽度和高度，cls则代表了类别信息。
S32:为过滤无关背景图案，且将对抗纹理渲染到车辆上，需要获取目标车辆的二值化掩码m∈RH×W×1(mask)，其中H×W表示车辆图像的尺寸大小。在本实施例中，相当于原始车辆图像分离为前景(车辆，为1)和背景(周围环境，为0)两个部分。由于YOLOv5本身具备语义分割(semantic segmentation)的能力，该掩码也可以直接通过该模型生成。
S4:基于神经渲染器绘制并优化对抗纹理，得到对抗样本。
S41:对于一张正常样本图像输入I∈RH×W×3，首要的步骤是将特制的纹理样式绘制到目标车辆上。首先借助于可微分的神经渲染器(neural renderer)，输入车辆模型中的三维网格、车辆图像对应的拍摄参数θcam和随机生成的大小为hT×wT的平面纹理样式T(texture)，可以得到初始对抗车辆实例：
S42:下一步，需要利用二值化掩码m将渲染的车辆实例嵌入原始图像背景中，即
Iadv＝Ρ(O)＝m·O+(1-m)·I
这样就可以将对抗车辆实例呈现到模拟驾驶场景中。事实上，通过S41步骤得到的不同拍摄参数θcam下的车辆图像，可以使用此方法轻松嵌入至不同背景环境，增强数据的多样性。
S43:由于纹理是随机初始化的，此时的对抗图像还不具备欺骗检测器的能力。为此，需要利用特定目标检测器优化该纹理。假设采用预训练的YOLOv5模型其模型参数为θf，可以得到目标检测器的输出，即分类结果b：
其中，(bx,by,bw,bh)表示预测目标车辆的矩形边界框，bconf表示该矩形边界框包含目标的置信度，bcls则代表该边界框属于哪个类别。
S44:通过对主流的目标检测器模型结构和训练方式进行分析，主要提取并设计三个对抗相关的损失函数：定位损失置信度损失/>和分类损失/>定位损失/>用以评估模型输出边界框和真实边界框之间的重合程度，通常可以采用交并比(IoU)指标进行评估。然而，当两个预测与真实的矩形边界框没有重叠区域时，无法使用交并比进一步优化。为此，本发明综合考虑交并比和矩形位置两个信息，将定位损失定义为
其中，bi和分别表示第i个尺度的模型输出和标签真实的边界框，/>表示两个边界框中心点之间的欧几里得距离，c表示同时包含两个边界框的最小外接矩阵的对角线距离，作用是防止损失函数的值过大，提升收敛速度。考虑两个极端位置：当模型输出边界框bi和真实边界框/>完全重合时，IoU等于1，/>为0，此时定位损失值为2；相反，当bi和/>相距较远、没有重叠时，定位损失值趋近于0，但仍然可以下降，这就实现了在交并比失效时候的进一步优化。
此外，Nscale表示YOLOv5的多尺度(multi-scale)输出结果的数量，由于现有的目标检测模型通常都会采用多尺度训练方式，即将一张输入图像放缩到不同的尺寸进行训练，因此，对抗样本也必须针对各类尺寸的图像进行优化。
S45:置信度损失代表输出的边界框存在某一物体的可能性，其值等同于模型的输出值bconf。
S46:分类损失代表目标类别(即车辆)的分类概率。具体而言，选取检测结果中第i个尺度的目标类别k,记为/>则分类损失可以表示为
由此将上述三项损失按权相加，可以得到对抗损失为
α,β,γ分别为对应三相损失的权重。
S47:除了对抗损失外，为了保证生成的纹理图案具有自然的外观，且能够在物理世界实际打印，额外引入一项平滑损失
其中，xi,j表示平面纹理样式T在坐标(x,y)处的像素值，hT和wT分别表示原始平面纹理样式图像的高度和宽度。当纹理相邻像素点颜色相近时，该项损失函数有较小值。此处使用基于L1范数的LASSO优化方式可以保持纹理特征的稀疏性，同时结合对数函数可以让优化过程更加平滑和稳定。
S48:进一步，由前述的二值化掩码M提取车辆背景，再通过K-means聚类提取包含5种主要颜色的背景颜色集合C，可得伪装损失为
通过伪装损失，能够使得车辆纹理色彩接近背景图像，进一步提升对抗纹理的自然性。
S49:最后，将对抗损失和平滑损失两项损失函数按权相加，即可得到最终损失函数
δ,ε分别为平滑损失、伪装损失的权重。
S410:至此，可以使用梯度下降方式进行优化：
需要说明的是，由于该损失函数是在保证纹理自然的同时实现对抗攻击，实际上包含了对抗有效性和物理可行性、伪装隐蔽性三个子任务，也即多任务优化问题。这些个任务的耦合度较强，但相关性并不高，如果直接不加限制地对神经网络进行反向传播与更新迭代，会导致每个子任务的更新方向产生冲突，损失函数值在区间内不断震荡，无法收敛至最优状态。为此，需要针对反向传播后的梯度更新方式进行修正，将每个任务的梯度投影到对方的正交方向上。具体而言，假设在t-1轮次，当前考虑修正第i个任务的梯度。初始化修正梯度为原始梯度gi，则依次遍历其余子任务。假设修正梯度/>和若干个子任务梯度的gj,j∈Nc产生冲突，即余弦相似度小于0，则需要将子任务i的梯度依次投影到子任务j,j∈Nc的梯度方向上进行更新：
其中，m＝1,2,…,M，M表示更新次数，i∈N，j∈Nc，N表示子任务集合，Nc表示N集合除i子任务外的其余子任务中与第i个子任务产生冲突的子任务集合；gi表示当前轮次中第i个子任务反向传播后得到的梯度，表示第i个子任务第m次更新后对应的修正梯度；修正梯度的初始值即/>等于gi。
则t轮次模型参数的更新策略为
这样，就把冲突的分量进行过滤与剪切，实现损失函数的稳定下降。
α,β,γ,分别为对抗损失种三个子损失对应的权重，一般可设置为0.1,0.4,0.25。δ,ε分别为平滑损失和伪装损失的权重，一般可设置为0.1和0.15。η为学习率，一般可设置为0.001。
冻结YOLOv5的模型参数，经过多次反向传播，将对抗纹理不断进行优化，以达到让检测器判断失效的目的。至此，就可以得到一系列对抗样本。需要说明的是，虽然此处采用的目标检测器是YOLOv5，但是该方案不失一般性，可以轻松推广到其它目标检测模型，在此处不再赘述。
一方面，由于平滑损失的引入，将优化的纹理张贴到车辆表面，在物理世界中对不同车辆目标检测模型进行抗干扰检测，评估车辆目标检测模型性能。
另一方面，对抗样本具有良好的泛化性，能够干扰不同的目标检测模型，因此对抗训练可以提升其鲁棒性。
在一个具体的实施例中，还包括对现有样本进行数字域数据增强，增强模型鲁棒性。
S51:S4的图像处理方式可以增强目标检测器识别物理可部署的车辆对抗纹理的能力，可以进一步从数字域入手，增强其检测对抗样本的鲁棒性。为此，考虑采用如下数据增强方式进行数据增强。
仿射变换(Affine)：包含平移、旋转、缩放、错切等常见图像处理方式。
拼接(Mosaic)：将4张图像以一定的比例合并拼接成一张。可以丰富一张图像上的信息，让模型学习到更多的场景和目标，防止模型过拟合。
混合(Mixup)：将相同大小的两张图像按像素点依次按权相加与线性融合，提升模型的泛化能力和对对抗样本的抵抗能力。
与前述一种面向车辆目标检测模型的对抗样本生成方法的实施例相对应，本发明还提供了一种面向车辆目标检测模型的端到端对抗训练系统的实施例。该系统通过创新性地将自动驾驶仿真软件、自适应的模型训练策略以及可迁移的黑盒对抗训练相结合，实现了针对现有问题的一体化解决方案。
在技术方案中，首先通过自动驾驶仿真软件定制化地构建数据集，通过控制摄像头视角、天气状态等参数，生成多样化的自动驾驶场景数据。其次，引入了自动化模型训练策略，预置超参数以控制交通流特征，自动调整模型训练过程，提取样本的拍摄参数特征，从而实现了定向优化模型的能力，极大地提升了训练效率。最重要的是，本发明采用了可迁移的黑盒对抗训练方法，不仅可以通过物理渲染将对抗样本快速应用于现实世界，还具备对不同目标检测模型的干扰能力，从而增强了模型的鲁棒性。
具体地，本发明的一种面向车辆目标检测模型的端到端对抗训练系统，如图2所示，包括：
样本生成模块，用于基于所述一种面向车辆目标检测模型的对抗样本生成方法生成正常样本和对抗样本；所述正常样本为车辆图像或者数据增强后的车辆图像；构建得到完整的目标检测数据集。
自动对抗训练模块，用于基于样本生成模块获得的正常样本和对抗样本对车辆目标检测模型(可以为各类目标检测器，如YOLOv5、MASK-RCNN等)进行训练。如果模型收敛或达到预期性能，停止训练，保存模型参数。反之，针对正常样本和/或对抗样本中难以正确识别的车辆，使用对应拍摄参数从S2步骤开始重新生成对抗样本，并开启下一轮迭代训练。
进一步地，本发明的样本生成模块具体包括仿真数据生成模块、对抗样本生成模块和纹理样式优化模块，其中仿真数据生成模块用于仿真场景设置、相机参数设置及渲染要素生成，具体为：
在Unity引擎中生成车辆与城市3D地图，提取记录车辆模型中的三维网格，并导入自动驾驶仿真器；
在自动驾驶仿真器中生成动态交通流和天气场景，多角度布置RGB摄像头并拍摄车辆图像，并记录对应的拍摄参数；
对抗样本生成模块用于数据集预处理及对抗图像渲染，具体为：
将车辆模型中的三维网格、车辆图像对应的拍摄参数和随机生成的平面纹理样式T输入至可微分的神经渲染器生成初始对抗车辆实例，再利用二值化掩码将初始对抗车辆实例嵌入原始的车辆图像中获得第一对抗图像集；
纹理样式优化模块用于使用目标检测器获取目标图像输出，计算各项损失函数并按权相加，修正子任务梯度值并更新纹理样式。
本发明系统预置若干超参数控制交通流特征，设计脚本实现自动化训练。针对识别效果不佳的样本，系统会提取其对应的拍摄参数特征，在下一个轮次生成更多的类似样本，实现自适应的流水线训练过程，定向优化模型的薄弱环节，极大地减少了训练开销。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化或变动。这里无需也无法把所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围。
Claims (10)
1.一种面向车辆目标检测模型的对抗样本生成方法，其特征在于，包括：
在Unity引擎中生成车辆与城市3D地图，提取记录车辆模型中的三维网格，并导入自动驾驶仿真器；
在自动驾驶仿真器中生成动态交通流和天气场景，多角度布置RGB摄像头并拍摄车辆图像，并记录对应的拍摄参数；
获取每一车辆图像的标签真值和二值化掩码，所述车辆图像的标签真值包含车辆目标的矩形边界框和类别信息；
将车辆模型中的三维网格、车辆图像对应的拍摄参数和随机生成的平面纹理样式T输入至可微分的神经渲染器生成初始对抗车辆实例，再利用二值化掩码将初始对抗车辆实例嵌入原始的车辆图像中获得第一对抗图像集；
将第一对抗图像集的每一图像输入至一目标检测器中，以分类结果为输出，通过最小化损失函数对平面纹理样式进行优化，获得对抗样本；所述损失函数包括定位损失置信度损失/>分类损失/>平滑损失/>和伪装损失/>所述伪装损失为平面纹理样式与图像背景主要颜色的差异。
2.根据权利要求1所述的方法，其特征在于，平滑损失具体如下：
其中，xi,j表示平面纹理样式T在坐标(x,y)处的像素值；hT,wT分别表示平面纹理样式T的高度和宽度。
3.根据权利要求1所述的方法，其特征在于，所述定位损失采用目标检测器输出的预测边界框与真实边界框之间的交并比中和/或心坐标的欧几里得距离表示。
4.根据权利要求1所述的方法，其特征在于，所述伪装损失具体如下：
其中，xi,j表示平面纹理样式T在坐标(x,y)处的像素值；hT,wT分别表示平面纹理样式T的高度和宽度，C是图像背景主要颜色集合。
5.根据权利要求1所述的方法，其特征在于，生成动态交通流和天气场景的参数，包括天气状态、时间状态、车流密度、车辆类型中的一种或多种。
6.根据权利要求1所述的方法，其特征在于，通过对拍摄参数进行线性插值实现多角度布置RGB摄像头并拍摄车辆图像。
7.根据权利要求1所述的方法，其特征在于，在自动驾驶仿真器中生成动态交通流和天气场景，多角度布置RGB摄像头并拍摄车辆图像后，还包括对获得的车辆图像进行数据增强。
8.根据权利要求7所述的方法，其特征在于，数据增强的方法包括仿射变换、拼接、混合中的一种或多种。
9.一种面向车辆目标检测模型的端到端对抗训练系统，其特征在于，包括：
样本生成模块，用于基于权利要求1-8任一项所述一种面向车辆目标检测模型的对抗样本生成方法生成正常样本和对抗样本；所述正常样本为车辆图像或者数据增强后的车辆图像；
自动对抗训练模块，用于基于样本生成模块获得的正常样本和对抗样本对车辆目标检测模型进行训练，直至模型收敛或达到预期性能，停止训练，保存模型参数。
10.根据权利要求9所述的系统，其特征在于，所述自动对抗训练模块还包括用于针对正常样本和/或对抗样本中难以正确识别的车辆，使用对应拍摄参数基于样本生成模块重新生成对抗样本，并开启下一轮迭代训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311758543.5A CN117854039A (zh) | 2023-12-20 | 2023-12-20 | 面向车辆目标检测模型的对抗样本生成方法和端到端对抗训练系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311758543.5A CN117854039A (zh) | 2023-12-20 | 2023-12-20 | 面向车辆目标检测模型的对抗样本生成方法和端到端对抗训练系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117854039A true CN117854039A (zh) | 2024-04-09 |
Family
ID=90537541
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311758543.5A Pending CN117854039A (zh) | 2023-12-20 | 2023-12-20 | 面向车辆目标检测模型的对抗样本生成方法和端到端对抗训练系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117854039A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118212239A (zh) * | 2024-05-22 | 2024-06-18 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种针对车辆目标检测器的物理对抗涂装生成方法及装置 |
| CN118397431A (zh) * | 2024-06-27 | 2024-07-26 | 西安科技大学 | 面向行人目标的多视角自适应权重平衡对抗攻击方法 |
-
2023
- 2023-12-20 CN CN202311758543.5A patent/CN117854039A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118212239A (zh) * | 2024-05-22 | 2024-06-18 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种针对车辆目标检测器的物理对抗涂装生成方法及装置 |
| CN118397431A (zh) * | 2024-06-27 | 2024-07-26 | 西安科技大学 | 面向行人目标的多视角自适应权重平衡对抗攻击方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6849898B2 (ja) | 生成ニューラルネットワークと、判別ニューラルネットワークとを含む敵対的生成ネットワークを利用して、合成可否判断不可の合成イメージを生成する方法、及び装置 | |
| CN111462130B (zh) | 使用车道掩码检测包含于输入图像的车道线的方法及装置 | |
| CN117854039A (zh) | 面向车辆目标检测模型的对抗样本生成方法和端到端对抗训练系统 | |
| CN110175611B (zh) | 面向车牌识别系统黑盒物理攻击模型的防御方法及装置 | |
| CN109598268A (zh) | 一种基于单流深度网络的rgb-d显著目标检测方法 | |
| CN113643278B (zh) | 面向无人机影像目标检测的对抗样本生成方法 | |
| Zhang et al. | Adversarial attacks on monocular depth estimation | |
| CN111598182A (zh) | 训练神经网络及图像识别的方法、装置、设备及介质 | |
| Li et al. | Image manipulation localization using attentional cross-domain CNN features | |
| CN114519819B (zh) | 一种基于全局上下文感知的遥感图像目标检测方法 | |
| CN112115761B (zh) | 自动驾驶汽车视觉感知系统漏洞检测的对抗样本生成方法 | |
| CN109389618A (zh) | 前景和背景检测方法 | |
| CN112818783B (zh) | 一种基于交通标志目标检测器改进的对抗样本生成方法 | |
| Jiang et al. | Dfnet: Semantic segmentation on panoramic images with dynamic loss weights and residual fusion block | |
| CN116843636A (zh) | 基于改进YOLOv7算法的雾天场景下绝缘子缺陷检测方法 | |
| CN111553242B (zh) | 用于预测驾驶行为的生成对抗网络的训练方法和电子设备 | |
| Ren et al. | Environment influences on uncertainty of object detection for automated driving systems | |
| CN115424072A (zh) | 一种基于探测技术的无人机防御方法 | |
| CN115481716A (zh) | 一种基于深度网络前景激活特征转移的物理世界对抗攻击方法 | |
| Wu et al. | Real-time vehicle color recognition based on yolo9000 | |
| CN115861997B (zh) | 一种关键前景特征引导知识蒸馏的车牌检测识别方法 | |
| CN111160282A (zh) | 一种基于二值化Yolov3网络的红绿灯检测方法 | |
| Wu et al. | DHGAN: Generative adversarial network with dark channel prior for single‐image dehazing | |
| CN114067176A (zh) | 一种无需样本数据的对抗贴片生成方法 | |
| CN113095181A (zh) | 基于Defense-GAN的交通标志识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |