CN114550110A - 一种基于无监督域适应的车辆重识别方法及系统 - Google Patents
一种基于无监督域适应的车辆重识别方法及系统 Download PDFInfo
- Publication number
- CN114550110A CN114550110A CN202210013476.3A CN202210013476A CN114550110A CN 114550110 A CN114550110 A CN 114550110A CN 202210013476 A CN202210013476 A CN 202210013476A CN 114550110 A CN114550110 A CN 114550110A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- data set
- identification
- image
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000006978 adaptation Effects 0.000 title claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 79
- 238000001514 detection method Methods 0.000 claims abstract description 37
- 238000012544 monitoring process Methods 0.000 claims abstract description 35
- 230000007246 mechanism Effects 0.000 claims abstract description 20
- 230000009977 dual effect Effects 0.000 claims abstract description 7
- 101100133212 Drosophila melanogaster NetB gene Proteins 0.000 claims description 54
- 241001181114 Neta Species 0.000 claims description 52
- 238000012545 processing Methods 0.000 claims description 51
- 238000007781 pre-processing Methods 0.000 claims description 30
- 238000010586 diagram Methods 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 12
- 238000005286 illumination Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 230000003416 augmentation Effects 0.000 claims description 5
- 230000003321 amplification Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000007689 inspection Methods 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 238000013434 data augmentation Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000003064 k means clustering Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及车辆识别技术领域，提出一种基于无监督域适应的车辆重识别方法及系统，其中包括：构建基于非局部注意力机制的车辆重识别网络模型和车辆目标检测模型，其中车辆重识别网络模型包括2个相同架构的网络；将源域数据集输入车辆重识别网络模型中进行有监督预训练；将停车场监控视频输入车辆目标检测模型中，得到无标注的车辆图像，组成目标域数据集；将目标域数据集输入完成有监督预训练的车辆重识别网络模型中进行无监督训练，其中车辆重识别网络模型中的2个相同架构的网络采用双重网络学习方法进行训练；从完成无监督训练的2个网络中选择性能更优的一个网络作为车辆重识别模型，将待识别的车辆图像输入车辆重识别模型中得到重识别结果。
Description
技术领域
本发明涉及车辆识别技术领域，更具体地，涉及一种基于无监督域适应的车辆重识别方法及系统。
背景技术
在停车场场景下，传统的以车牌识别为主的车辆识别方法会因拍摄角度、物体遮挡和弱光照等问题存在一定的局限，而以车辆外观特征为主的车辆重识别技术则能有效克服这些问题。在车辆重识别技术中，主要通过从真实场景中获取图像数据，再构建一个神经网络，通过有监督的方式训练网络，最后将该网络应用于实际当中。
目前应用于车辆重识别中的神经网络的训练主要采用监督学习，但是监督学习需要大量标注好的图像进行训练，标注图像成本高且耗时，而且现实场景中难以实时获得带有标签的图像构建训练集数据，此时监督学习技术的应用就受到了限制。此外，由于实际场景的复杂性让车辆重识别面临着诸多挑战。比如，摄像头拍摄角度多样、拍摄时间跨度大、图像分辨率差异等。这些都会导致预先训练好的神经网络模型在实际使用中识别性能大幅下降。
发明内容
本发明为克服上述现有技术所述的车辆重识别中难以获取带有标签的训练数据，影响神经网络模型的车辆重识别性能及其泛化性的缺陷，提供一种基于无监督域适应的车辆重识别方法，以及一种基于无监督域适应的车辆重识别系统。
为解决上述技术问题，本发明的技术方案如下：
一种基于无监督域适应的车辆重识别方法，包括以下步骤：
S1、获取车辆基础数据集，并对基础数据集进行预处理，得到源域数据集；
S2、构建基于非局部注意力机制的车辆重识别网络模型和车辆目标检测模型，其中所述车辆重识别网络模型包括2个相同架构的网络NetA和NetB；
S3、将所述源域数据集输入所述车辆重识别网络模型中进行有监督预训练；
S4、将停车场监控视频输入所述车辆目标检测模型中，得到无标注的车辆图像，组成目标域数据集；
S5、将所述目标域数据集输入完成有监督预训练的车辆重识别网络模型中进行无监督训练，其中所述车辆重识别网络模型中的2个相同架构的网络NetA和NetB采用双重网络学习方法进行训练；
S6、从完成无监督训练的网络NetA和NetB选择性能更优的一个网络作为车辆重识别模型，将待识别的车辆图像输入所述车辆重识别模型中得到重识别结果。
进一步的，本发明还提出了一种基于无监督域适应的车辆重识别系统，应用了上述基于无监督域适应的车辆重识别方法，包括数据获取模块、车辆目标检测模块、预处理模块、车辆重识别模块。
其中，数据获取模块用于获取车辆基础数据集，以及获取停车场监控视频，数据获取模块对获取的停车场监控视频进行抽帧得到监控视频图像；数据获取模块将其获取的车辆基础数据集发送至预处理模块，将其获取的监控视频图像发送至车辆目标检测模块。
车辆目标检测模块中设置有车辆目标检测模型，用于对输入的监控视频图像进行车辆检测，得到无标注的车辆图像，组成目标域数据集，再将目标域数据集发送至预处理模块。
预处理模块用于将输入的车辆基础数据集进行增广处理和尺寸归一化处理，得到源域数据集，以及用于将输入的目标域数据集进行尺寸归一化处理。预处理模块会将完成预处理的源域数据集和目标域数据集发送至车辆重识别模块中。
车辆重识别模块中包括基于非局部注意力机制的车辆重识别网络模型、有监督训练单元、无监督训练单元和检验单元。其中，车辆重识别网络模型包括2个相同架构的网络NetA和NetB。有监督训练单元用于利用源域数据集对车辆重识别模块进行有监督训练，无监督训练单元用于利用目标域数据集对车辆重识别模块进行无监督训练，检验单元用于检验NetA和NetB的性能，并决策出一个网络作为车辆重识别网络用于进行车辆重识别。
进一步的，本发明还提出了一种基于无监督域适应的车辆重识别系统，其中包括摄像机和处理模块，所述摄像机用于采集待识别的车辆图像，并发送至处理模块中进行车辆重识别；所述处理模块中设置有处理器和存储器，所述存储器上存储有计算机程序，所述处理器执行存储器中的计算机程序时实现本发明的基于无监督域适应的车辆重识别方法的步骤。
与现有技术相比，本发明技术方案的有益效果是：本发明通过无监督域适应的方法，将经过少量或一定数量的带标签的训练数据对车辆重识别网络模型进行有监督后，再采用无标签的训练数据，通过双重网络相互学习的方法同时训练两个网络NetA和NetB，并从中选择性能更优的一个网络进行车辆重识别，从而能够很好地解决了停车场环境下监控视频数据没有标注且标注困难的问题；本发明具有较强的泛化能力，能够在一定网络模型的基础上进行优化，可以降低伪标签噪声，且在公开基础数据集和现实停车场场景中实现较好的识别性能。
附图说明
图1为实施例1的基于无监督域适应的车辆重识别方法的流程图。
图2为实施例1的车辆重识别模型训练的流程示意图。
图3为实施例1的图像预处理效果图。
图4为实施例1的对车辆目标检测模型训练的流程图。
图5为实施例1的对车辆重识别网络模型进行无监督训练的流程图。
图6为实施例1的车辆重识别网络模型进行无监督训练的示意图。
图7为实施例2的车辆重识别网络模型的结构示意图。
图8为实施例3的基于无监督域适应的车辆重识别系统的架构图。
图9为实施例4的基于无监督域适应的车辆重识别系统的架构图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
本实施例提出一种基于无监督域适应的车辆重识别方法，如图1、2所示，为本实施例的基于无监督域适应的车辆重识别方法的流程图。
本实施例提出的基于无监督域适应的车辆重识别方法中，包括以下步骤：
S1、获取车辆基础数据集，并对基础数据集进行预处理，得到源域数据集。
本实施例中，所获取的车辆基础数据集包括VeRi-776数据集。VeRi-776数据集是由20台摄像机在真实世界的无约束监视场景中拍摄并标有例如车型、颜色和品牌等不同属性的标签。本实施例通过从VeRi-776数据集中的图像中选取大量图像样本构建一个具有丰富特征且具有场景复杂度的源域数据集。
进一步的，本实施例对基础数据集进行预处理的步骤包括：
S1.1、对图像进行水平翻转处理；
S1.2、将图像进行数据增广处理；所述数据增广处理包括运动模糊处理、随机裁剪至图像的10％～20％、随机擦除处理、弱化光照处理和旋转处理中的一种或多种；
S1.3、将图像调整为统一尺寸；
S1.4、将经过尺寸调节的原始图像、经过水平翻转处理的图像以及经过数据增广处理的图像进行存储，组成源域数据集。
本步骤为提高数据集的复杂度，对图像数据进行增广处理，生成不同复杂场景的图像。其中，增广处理中的运动模糊处理用于模拟停车场中因车辆运动导致拍摄产生运动模糊；随机擦除处理用于对原始图片进行随机擦除操作，模拟停车场中相机拍摄车辆出现遮挡的情况；弱化光照处理用于模拟现实场景下停车场中的弱光照场景；旋转处理用于模拟摄像头不同拍摄角度。
在一具体实施例中，以0.5的概率对图像进行水平翻转处理，以0.1～0.2的概率对图像进行运动模糊处理、随机裁剪至图像的10％～20％、随机擦除处理、弱化光照处理和旋转处理。图像经过预处理的效果图如图3所示。
此外，本步骤为了保证图像进入模型后输出的特征向量大小一致，将输入图像调整为同一尺寸。在一具体实施例中，图像统一调整为320×320大小。
S2、构建基于非局部注意力机制的车辆重识别网络模型和车辆目标检测模型，其中所述车辆重识别网络模型包括2个相同架构的网络NetA和NetB。
本实施例中，车辆重识别网络模型包括2个相同架构的网络NetA和NetB。本发明旨在对车辆重识别网络模型中的2个相同架构的网络采用双重网络相互学习的方法进行无监督域适应训练。
S3、将源域数据集输入车辆重识别网络模型中进行有监督预训练。
其具体步骤如下：将源域数据集的样本输入所述车辆重识别网络模型中训练得到一个特征提取器F(·|θ)，源域数据集中的第i个样本
经过所述特征提取器后提取得到特征
再利用特征
和样本的真实标签
进行损失函数的计算，直至损失函数值收敛，完成所述车辆重识别网络模型的有监督预训练。
进一步的，在对车辆重识别网络模型进行有监督预训练时，总的损失包括分类损失和三元组损失。
S4、将停车场监控视频输入车辆目标检测模型中，得到无标注的车辆图像，组成目标域数据集。如图4所示，为本实施例中对车辆目标检测模型训练的流程图。
其具体步骤如下：
S4.1、获取真实场景的停车监控视频，将停车监控视频进行抽帧，提取得到车辆图像；
S4.2、将提取的车辆图像输入车辆目标检测模型中，所述车辆目标检测模型对图像中的车辆目标进行识别，并通过标识框对车辆图像中的车辆进行截取，得到无标注的车辆图像；
S4.3、将车辆目标检测模型输出的无标注的车辆图像调整为统一尺寸后，组成目标域数据集。
在一具体实施例中，所述车辆目标检测模型采用YOLO目标检测网络。将抽帧得到的车辆图像输入车辆目标检测模型中，根据训练好的车辆目标检测模型得到所有视频帧中的车辆的位置和边界框参数，利用车辆位置和边界参数将图片中的车辆一一裁剪出来并将图片缩放至320×320大小。
S5、将所述目标域数据集输入完成有监督预训练的车辆重识别网络模型中进行无监督训练，其中所述车辆重识别网络模型中的2个相同架构的网络NetA和NetB采用双重网络学习方法进行训练。如图5所示，为本实施例对车辆重识别网络模型进行无监督训练的流程图。
其具体步骤如下：
S5.1、所述车辆重识别网络模型中的NetA和NetB分别加载经过有监督预训练得到的参数，并将所述NetA和NetB迁移到目标域上，将目标域数据集中不同的样本分别输入所述NetA和NetB中进行迭代训练；
S5.2、将所述NetA和NetB输出的识别特征分别进行K均值聚类得到硬伪标签A和硬伪标签B；
S5.3、将每次迭代训练得到的网络参数进行加权平均，得到平均模型Mean NetA和Mean NetB；
S5.4、将目标域数据集中的样本输入所述平均模型Mean NetA和Mean NetB中，平均模型Mean NetA和Mean NetB生成软伪标签A和软伪标签B；
S5.5、利用所述硬伪标签A和软伪标签B对NetA进行有监督训练，利用所述硬伪标签B和软伪标签A对NetB进行有监督训练，根据损失函数对所述NetA和NetB分别进行优化直至参数收敛，得到完成训练的NetA和NetB。
如图6所示，为本实施例对车辆重识别网络模型进行无监督训练的示意图。
针对网络NetA和NetB，假设给定两个网络的参数分别为θ1和θ2，T表示迭代次数，将它们的平均模型Mean NetA和Mean NetB的参数表示为E(T)[θ1]和E(T)[θ2]。平均模型的参数E(T)[θ1]和E(T)[θ2]是双重网络NetA和NetB过去迭代的参数的加权平均，其表达公式如下：
E(T)[θ1]＝αE(T-1)[θ1]+(1-α)θ1
E(T)[θ2]＝αE(T-1)[θ2]+(1-α)θ2
式中，E(T-1)[θ1]和E(T-1)[θ2]表示在之前的(T-1)次迭代的参数的平均，在第一次迭代时初始参数为E(0)[θ1]＝θ1和E(0)[θ2]＝θ2，α为加权的权值，范围在[0，1)之间。
本实施例中，为了增强网络NetA和NetB的独立性，两个网络使用不同的随机种子，且输入图像为经过不同的预处理方式，尽可能扩大两个网络的差异。在网络训练过程中，将每个网络每次迭代的参数进行平均得到平均模型，利用平均模型生成的伪标签即为软伪标签，使用软伪标签对另一个网络进行监督，即每个网络不仅受自身硬伪标签的监督，还受另一个网络的平均模型的软伪标签监督。
S6、从完成无监督训练的网络NetA和NetB选择性能更优的一个网络作为车辆重识别模型，将待识别的车辆图像输入所述车辆重识别模型中得到重识别结果。
本步骤中，根据所述NetA和NetB提取的特征与测试图像之间的特征距离计算相似度，并根据所述相似度衡量网络的性能。具体的，在源域的预训练和目标域的无监督训练后要对模型进行测试来检验模型的性能，测试过程使用模型来提取测试图片的特征，再计算测试图片间的特征距离来衡量图片间的相似度。其中，常用的距离度量和相似度度量方法有欧氏距离、余弦距离和马氏距离等，单纯采用一种距离来进行相似度度量的效果可能不佳，在本实施例中，采用欧氏距离和余弦距离加权平均的方法来进行相似度度量，不仅衡量空间各点间的绝对距离，同时衡量在方向上的差异。
本实施例中，衡量网络的性能的步骤如下：
将若干带真实标签yk的测试车辆图像输入完成训练的NetA和NetB中，所述NetA和NetB输出识别结果
和
计算识别结果
与真实标签yk的欧氏距离和余弦距离，其计算公式如下：
式中，D1(·)表示欧氏距离，D2(·)表示余弦距离；将识别结果
与真实标签yk的欧氏距离和余弦距离按照一定权重λ进行加权平均得到NetA中第k个测试车辆图像的相似度度量
其计算公式如下：
计算识别结果
与真实标签yk的欧氏距离和余弦距离，再计算NetB中第k个测试车辆图像的相似度度量
将所有测量车辆图像在NetA和NetB中得到的相似度度量进行排序，得到相似度排序表，再根据相似度排序表进行模型准确率的计算，根据模型准确率来检验模型的性能，以模型准确率较高的网络作为车辆重识别模型。
在具体实施过程中，设置在停车场用于获取停车场监控视频的摄像机将采集的车辆图像发送至经过S1～S6步骤训练得到的车辆重识别模型中，车辆重识别模型输出当前车辆图像的特征识别结果，并根据当前车辆图像的特征识别结果与预设的车辆图像图库之间的特征距离矩阵，在车辆图像图库中选择特征距离矩阵中特征距离最近的车辆图像匹配的信息ID作为车辆重识别结果进行输出。
本实施例将经过少量或一定数量的带标签的训练数据对车辆重识别网络模型进行有监督后，再采用无标签的训练数据，通过双重网络相互学习的方法同时训练两个网络NetA和NetB，在网络不断迭代过程中，将每次迭代的网络参数进行加权平均得到平均模型Mean NetA和Mean NetB，使每个网络的平均模型监督另一个网络训练。本实施例能够在少量或一定数量的带标签的训练数据的情况下确保车辆重识别网络模型的车辆重识别性能，可以很好地解决停车场环境下监控视频数据没有标注且标注困难的问题。
实施例2
本实施例在实施例1提出的基于无监督域适应的车辆重识别方法的基础上，对其车辆重识别网络模型的结构进行说明。
本实施例中的车辆重识别网络模型包括依次连接的骨干网络模型和池化层，所述骨干网络模型包括若干卷积层和非局部注意力波动模块；所述非局部注意力波动模块包括依次连接的用于对输入的特征图采用不同的块方向波进行调制的波动单元，以及用于放大经波动单元产生的后向梯度差异的非局部注意力机制单元。
如图7所示，为本实施例的车辆重识别网络模型的结构示意图。
在一具体实施例中，骨干网络模型采用ResNet-50网络，并引入一个无参数模块(即非局部注意力波动模块)，通过不同的波形块特征图分别在两个网络NetA和NetB中学习到的特征之间创建了一个差异，并利用注意力机制来扩大所创造的差异，发现更多互补的特征。
本实施例中的波动单元用不同的块方向波调制给定的特征图，使得网络产生差异的同时，一定程度地保留原始信息。
在具体实施过程中，给定特征图F∈RC×H×W，其中C为通道数，H和W分别为高度和宽度，给定波形宽度率rw和波形高度率rh。
首先，生成一个均匀分布的随机整数X：
X～U(0,[H·(1-rw)])
其中[·]为取整函数。
将经过ResNet-50的2个卷积层后得到的特征图Fi,j,k输入波动单元进行调制，其表达公式如下：
式中，
为波动单元调制的特征图，i、j、k分别代表特征图维度、高度以及宽度。
波动单元将完成调制的特征图
输入非局部注意力机制单元中，非局部注意力机制单元的处理过程表示如下：
Yi＝WZ*φ(Xi)+Xi
式中，WZ为学习获取的权重矩阵，φ(·)表示非局部操作，Yi为，Xi为。
非局部注意力机制单元对经过块方向波调制的特征图
依次对
施加通道注意图Mc和空间注意图Ms；其表达公式如下：
其中，
为矩阵元素的点乘。
本发明采用先波动单元，后非局部注意力机制单元的设计，以提高两个网络之间的差异。由此，非局部注意力波动模块中对特征图F的处理过程表达如下：
在这里，非局部注意力机制单元用于放大由波动单元产生的后向梯度的差异。虽然波动单元能够使两个网络在特征图的不同区域上工作，但从非歧视性区域学习到的一些特征，如背景，可能仍然是相似的。通过将非局部注意力机制单元与波动单元相结合，两个网络将注意力集中在不同的、有区别的区域，从而可以学习更多不同的特征。
本实施例在现有的卷积网络ResNet-50的基础上，除了加入用于发现更多互补的特征的非局部注意力波动模块，还加入了广义平均池化(Generalized-mean(GeM)Pooling)，使得车辆重识别网络模型能够在联合训练源域和目标域的数据时更好地提取特定域的辨别性特征，并利用源域数据集中的有效数据来提升自身的泛化性并为目标域生成更可靠的伪标签。
传统的平均池化和最大池化并不能提取特定域的辨别性特征。本实施例加入广义平均池化层将输入特征分为若干块，其pooling层也是学习得到的，可以提高深度学习网络的效果，表示为如下公式：
式中，N为分块特征X中元素x的数量；p为池化超参，可以在反向传播过程中学习，当p→∞时，广义平均池化层近似于最大池化，当p＝1时广义平均池化层等价于平均池化。初始化设置广义平均池化层时，p取为5。
本实施例通过在车辆重识别网络模型的双向互学习网络中，引入了一个无参数的非局部注意力波动模块，非局部注意力波动模块通过对输入的特征图以不同的块方向波进行调制，在两个网络NetA和NetB学习到的特征之间创建了一个差异，并利用注意力机制来扩大所创造的差异，发现更多互补的特征，从而进一步提高车辆重识别网络模型的泛化能力，在经过预训练的网络模型基础上进行优化，可以降低伪标签噪声，能够在公开基础数据集和现实停车场场景中实现较好的识别性能。
进一步的，在测试阶段，只使用性能更好的一个平均模型进行测试。为了增强网络的独立性，两个网络NetA和NetB使用不同的随机种子，且将输入图像进行不同的预处理方式等，尽可能扩大NetA和NetB之间的差异。
实施例3
本实施例提出一种基于无监督域适应的车辆重识别系统，应用于实施例1或实施例2提出的基于无监督域适应的车辆重识别方法。如图8所示，为本实施例的基于无监督域适应的车辆重识别系统的架构图。
本实施例提出的基于无监督域适应的车辆重识别系统中，包括数据获取模块、车辆目标检测模块、预处理模块、车辆重识别模块。
其中，数据获取模块用于获取车辆基础数据集，以及获取停车场监控视频，数据获取模块对获取的停车场监控视频进行抽帧得到监控视频图像；其中，所述数据获取模块将其获取的车辆基础数据集发送至预处理模块，将其获取的监控视频图像发送至车辆目标检测模块。
所述车辆目标检测模块中设置有车辆目标检测模型，用于对输入的监控视频图像进行车辆检测，得到无标注的车辆图像，组成目标域数据集，再将目标域数据集发送至预处理模块。
预处理模块用于将输入的车辆基础数据集进行增广处理和尺寸归一化处理，得到源域数据集；以及用于将输入的目标域数据集进行尺寸归一化处理；所述预处理模块将完成预处理的源域数据集和目标域数据集发送至车辆重识别模块中。
进一步的，本实施例中的预处理模块包括动态模糊场景生成单元、遮挡场景生成单元、随机裁剪单元、弱光照模拟单元、图片倾斜单元和尺寸归一单元，其中，动态模糊生成单元对图像进行线性空间滤波，产生运动模糊图像，建立退化模型；遮挡场景生成单元通过在输入图片上随机生成不同大小的黑块模拟真实场景中的遮挡效果；随机裁剪单元则是随机裁剪原始图片的一定比例；弱光照模拟单元将降低原始图片亮度的同时，适当地提高其对比度；图片倾斜单元将原始图片倾斜一定角度，并用黑色填充其中的空白处，模拟摄像头拍摄角度不同的情况。
所述车辆重识别模块中包括基于非局部注意力机制的车辆重识别网络模型、有监督训练单元、无监督训练单元和检验单元；其中，所述车辆重识别网络模型包括2个相同架构的网络NetA和NetB；所述有监督训练单元用于利用源域数据集对车辆重识别模块进行有监督训练；所述无监督训练单元用于利用目标域数据集对车辆重识别模块进行无监督训练；所述检验单元用于检验NetA和NetB的性能，并决策出一个网络作为车辆重识别网络用于进行车辆重识别。
在具体实施过程中，数据获取模块通过互联网或外部输入获取车辆基础数据集，以及通过设置在真实场景下的停车场中的摄像机获取停车场监控视频，并对获取的停车场监控视频进行抽帧得到监控视频图像。数据获取模块将其获取的车辆基础数据集发送至预处理模块，将其获取的监控视频图像发送至车辆目标检测模块。
车辆目标检测模块对输入的监控视频图像中的车辆目标进行识别，并通过标识框对车辆图像中的车辆进行截取，得到无标注的车辆图像组成目标域数据集，再将目标域数据集发送至预处理模块。
预处理模块将其接收的基础数据集统一或随机输入动态模糊场景生成单元、遮挡场景生成单元、随机裁剪单元、弱光照模拟单元和图片倾斜单元中进行数据增广处理，生成不同复杂场景的图像，再输入尺寸归一单元中，将图像统一调整为320×320大小。此外，预处理模块还将其接收的监控视频图像输入尺寸归一单元中，将图像统一调整为320×320大小，得到目标域数据集。然后，预处理模块将完成预处理的源域数据集和目标域数据集发送至车辆重识别模块中。
车辆重识别模块中，通过有监督训练单元利用其接收的源域数据集对车辆重识别网络模型进行有监督预训练，通过无监督训练单元利用其接收的目标域数据集对车辆重识别网络模型进行无监督训练，其中所述车辆重识别网络模型中的2个相同架构的网络NetA和NetB采用双重网络学习方法进行训练。检验单元对车辆重识别网络模型中的2个相同架构的网络NetA和NetB进行检验并从中选择性能更优的一个网络作为车辆重识别模型。
在实际应用中，外接摄像机或数据获取模块将其获取的待识别的车辆图像输入该车辆重识别模型中，车辆重识别模型输出当前车辆图像的特征识别结果，并根据当前车辆图像的特征识别结果与预设的车辆图像图库之间的特征距离矩阵，在车辆图像图库中选择特征距离矩阵中特征距离最近的车辆图像匹配的信息ID作为车辆重识别结果进行输出。
实施例4
本实施例提出一种基于无监督域适应的车辆重识别系统，应用实施例1或2提出的一种基于无监督域适应的车辆重识别方法。如图9所示，为本实施例的基于无监督域适应的车辆重识别系统的架构图。
本实施例提出的基于无监督域适应的车辆重识别系统中，包括摄像机和处理模块，所述摄像机用于采集待识别的车辆图像，并发送至处理模块中进行车辆重识别；所述处理模块中设置有处理器和存储器，所述存储器上存储有计算机程序，所述处理器执行存储器中的计算机程序时实现实施例1或实施例2的基于无监督域适应的车辆重识别方法的步骤。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种基于无监督域适应的车辆重识别方法，其特征在于，包括以下步骤：
S1、获取车辆基础数据集，并对基础数据集进行预处理，得到源域数据集；
S2、构建基于非局部注意力机制的车辆重识别网络模型和车辆目标检测模型，其中所述车辆重识别网络模型包括2个相同架构的网络NetA和NetB；
S3、将所述源域数据集输入所述车辆重识别网络模型中进行有监督预训练；
S4、将停车场监控视频输入所述车辆目标检测模型中，得到无标注的车辆图像，组成目标域数据集；
S5、将所述目标域数据集输入完成有监督预训练的车辆重识别网络模型中进行无监督训练，其中所述车辆重识别网络模型中的2个相同架构的网络NetA和NetB采用双重网络学习方法进行训练；
S6、从完成无监督训练的网络NetA和NetB选择性能更优的一个网络作为车辆重识别模型，将待识别的车辆图像输入所述车辆重识别模型中得到重识别结果。
2.根据权利要求1所述的基于无监督域适应的车辆重识别方法，其特征在于，所述S1步骤中，对基础数据集进行预处理的步骤包括：
S1.1、对图像进行水平翻转处理；
S1.2、将图像进行数据增广处理；所述数据增广处理包括运动模糊处理、随机裁剪至图像的10％～20％、随机擦除处理、弱化光照处理和旋转处理中的一种或多种；
S1.3、将图像调整为统一尺寸；
S1.4、将经过尺寸调节的原始图像、经过水平翻转处理的图像以及经过数据增广处理的图像进行存储，组成源域数据集。
3.根据权利要求1所述的基于无监督域适应的车辆重识别方法，其特征在于，所述S3步骤中，将所述源域数据集输入所述车辆重识别网络模型中进行有监督预训练的步骤包括：将源域数据集的样本输入所述车辆重识别网络模型中训练得到一个特征提取器F(·|θ)，源域数据集中的第i个样本
经过所述特征提取器后提取得到特征
再利用特征
和样本的真实标签
进行损失函数的计算，直至损失函数值收敛，完成所述车辆重识别网络模型的有监督预训练；其中θ为特征提取器的参数。
4.根据权利要求1所述的基于无监督域适应的车辆重识别方法，其特征在于，所述S4步骤中，其具体步骤如下：
S4.1、获取停车监控视频，将停车监控视频进行抽帧，提取得到车辆图像；
S4.2、将提取的车辆图像输入车辆目标检测模型中，所述车辆目标检测模型对图像中的车辆目标进行识别，并通过标识框对车辆图像中的车辆进行截取，得到无标注的车辆图像；
S4.3、将车辆目标检测模型输出的无标注的车辆图像调整为统一尺寸后，组成目标域数据集。
5.根据权利要求1所述的基于无监督域适应的车辆重识别方法，其特征在于，所述基于非局部注意力机制的车辆重识别网络模型包括依次连接的骨干网络模型和池化层，所述骨干网络模型包括若干卷积层和非局部注意力波动模块；所述非局部注意力波动模块包括依次连接的用于对输入的特征图采用不同的块方向波进行调制的波动单元，以及用于放大经波动单元产生的后向梯度差异的非局部注意力机制单元。
6.根据权利要求5所述的基于无监督域适应的车辆重识别方法，其特征在于，所述S5步骤中，对车辆重识别网络模型基于双重网络互相学习方法进行无监督训练，其具体步骤包括：
S5.1、所述车辆重识别网络模型中的NetA和NetB分别加载经过有监督预训练得到的参数，并将所述NetA和NetB迁移到目标域上，将目标域数据集中不同的样本分别输入所述NetA和NetB中进行迭代训练；
S5.2、将所述NetA和NetB输出的识别特征分别进行K均值聚类得到硬伪标签A和硬伪标签B；
S5.3、将每次迭代训练得到的网络参数进行加权平均，得到平均模型Mean NetA和MeanNetB；
S5.4、将目标域数据集中的样本输入所述平均模型Mean NetA和Mean NetB中，平均模型Mean NetA和Mean NetB生成软伪标签A和软伪标签B；
S5.5、利用所述硬伪标签A和软伪标签B对NetA进行有监督训练，利用所述硬伪标签B和软伪标签A对NetB进行有监督训练，根据损失函数对所述NetA和NetB分别进行优化直至参数收敛，得到完成训练的NetA和NetB。
7.根据权利要求6所述的基于无监督域适应的车辆重识别方法，其特征在于，所述S6步骤中，根据所述NetA和NetB提取的特征与测试图像之间的特征距离计算相似度，并根据所述相似度衡量网络的性能。
8.根据权利要求7所述的基于无监督域适应的车辆重识别方法，其特征在于，所述NetA和NetB提取的特征与测试图像之间的特征距离包括欧氏距离和余弦距离，其中，衡量网络的性能的步骤如下：
将若干带真实标签yk的测试车辆图像输入完成训练的NetA和NetB中，所述NetA和NetB输出识别结果
和
计算识别结果
与真实标签yk的欧氏距离和余弦距离，其计算公式如下：
式中，D1(·)表示欧氏距离，D2(·)表示余弦距离；将识别结果
与真实标签yk的欧氏距离和余弦距离按照一定权重λ进行加权平均得到NetA中第k个测试车辆图像的相似度度量
其计算公式如下：
计算识别结果
与真实标签yk的欧氏距离和余弦距离，再计算NetB中第k个测试车辆图像的相似度度量
将所有测量车辆图像在NetA和NetB中得到的相似度度量进行排序，得到相似度排序表，再根据相似度排序表进行模型准确率的计算，根据模型准确率来检验模型的性能，以模型准确率较高的网络作为车辆重识别模型。
9.一种基于无监督域适应的车辆重识别系统，其特征在于，包括：
数据获取模块，用于获取车辆基础数据集，以及获取停车场监控视频，数据获取模块对获取的停车场监控视频进行抽帧得到监控视频图像；
其中，所述数据获取模块将其获取的车辆基础数据集发送至预处理模块，将其获取的监控视频图像发送至车辆目标检测模块；
车辆目标检测模块，所述车辆目标检测模块中设置有车辆目标检测模型，用于对输入的监控视频图像进行车辆检测，得到无标注的车辆图像，组成目标域数据集，再将目标域数据集发送至预处理模块；
预处理模块，用于将输入的车辆基础数据集进行增广处理和尺寸归一化处理，得到源域数据集；以及用于将输入的目标域数据集进行尺寸归一化处理；所述预处理模块将完成预处理的源域数据集和目标域数据集发送至车辆重识别模块中；
车辆重识别模块，所述车辆重识别模块中包括基于非局部注意力机制的车辆重识别网络模型、有监督训练单元、无监督训练单元和检验单元；其中，所述车辆重识别网络模型包括2个相同架构的网络NetA和NetB；所述有监督训练单元用于利用源域数据集对车辆重识别模块进行有监督训练；所述无监督训练单元用于利用目标域数据集对车辆重识别模块进行无监督训练；所述检验单元用于检验NetA和NetB的性能，并决策出一个网络作为车辆重识别网络用于进行车辆重识别。
10.一种基于无监督域适应的车辆重识别系统，其特征在于，包括摄像机和处理模块，所述摄像机用于采集待识别的车辆图像，并发送至处理模块中进行车辆重识别；所述处理模块中设置有处理器和存储器，所述存储器上存储有计算机程序，所述处理器执行存储器中的计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210013476.3A CN114550110A (zh) | 2022-01-06 | 2022-01-06 | 一种基于无监督域适应的车辆重识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210013476.3A CN114550110A (zh) | 2022-01-06 | 2022-01-06 | 一种基于无监督域适应的车辆重识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114550110A true CN114550110A (zh) | 2022-05-27 |
Family
ID=81670221
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210013476.3A Pending CN114550110A (zh) | 2022-01-06 | 2022-01-06 | 一种基于无监督域适应的车辆重识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114550110A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114859317A (zh) * | 2022-06-14 | 2022-08-05 | 中国人民解放军海军航空大学 | 雷达目标自适应反向截断智能识别方法 |
| CN115457420A (zh) * | 2022-11-10 | 2022-12-09 | 松立控股集团股份有限公司 | 一种基于无人机拍摄夜间低对比度的车辆重检测方法 |
| CN117437604A (zh) * | 2023-12-21 | 2024-01-23 | 华侨大学 | 无监督车辆再辨识模型训练方法、车辆再辨识方法及装置 |
| CN118134935A (zh) * | 2024-05-08 | 2024-06-04 | 成都数之联科技股份有限公司 | 一种电子元器件的外观缺陷检测方法、装置、介质和设备 |
-
2022
- 2022-01-06 CN CN202210013476.3A patent/CN114550110A/zh active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114859317A (zh) * | 2022-06-14 | 2022-08-05 | 中国人民解放军海军航空大学 | 雷达目标自适应反向截断智能识别方法 |
| CN115457420A (zh) * | 2022-11-10 | 2022-12-09 | 松立控股集团股份有限公司 | 一种基于无人机拍摄夜间低对比度的车辆重检测方法 |
| CN115457420B (zh) * | 2022-11-10 | 2023-03-17 | 松立控股集团股份有限公司 | 一种基于无人机拍摄夜间低对比度的车辆重检测方法 |
| CN117437604A (zh) * | 2023-12-21 | 2024-01-23 | 华侨大学 | 无监督车辆再辨识模型训练方法、车辆再辨识方法及装置 |
| CN117437604B (zh) * | 2023-12-21 | 2024-03-12 | 华侨大学 | 无监督车辆再辨识模型训练方法、车辆再辨识方法及装置 |
| CN118134935A (zh) * | 2024-05-08 | 2024-06-04 | 成都数之联科技股份有限公司 | 一种电子元器件的外观缺陷检测方法、装置、介质和设备 |
| CN118134935B (zh) * | 2024-05-08 | 2024-07-05 | 成都数之联科技股份有限公司 | 一种电子元器件的外观缺陷检测方法、装置、介质和设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110135366B (zh) | 基于多尺度生成对抗网络的遮挡行人重识别方法 | |
| CN108346159B (zh) | 一种基于跟踪-学习-检测的视觉目标跟踪方法 | |
| CN114550110A (zh) | 一种基于无监督域适应的车辆重识别方法及系统 | |
| CN112036447B (zh) | 零样本目标检测系统及可学习语义和固定语义融合方法 | |
| CN110348319A (zh) | 一种基于人脸深度信息和边缘图像融合的人脸防伪方法 | |
| US20110221769A1 (en) | Robust object recognition by dynamic modeling in augmented reality | |
| KR20200121206A (ko) | 심층 네트워크와 랜덤 포레스트가 결합된 앙상블 분류기의 경량화를 위한 교사-학생 프레임워크 및 이를 기반으로 하는 분류 방법 | |
| CN109978882A (zh) | 一种基于多模态融合的医疗影像目标检测方法 | |
| CN114998220B (zh) | 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法 | |
| CN113052185A (zh) | 一种基于Faster R-CNN的小样本目标检测方法 | |
| CN113112416B (zh) | 一种语义引导的人脸图像修复方法 | |
| CN112070158A (zh) | 一种基于卷积神经网络和双边滤波的面部瑕疵检测方法 | |
| CN116052212A (zh) | 一种基于双重自监督学习的半监督跨模态行人重识别方法 | |
| CN117152625B (zh) | 一种基于CoordConv和YOLOv5的遥感小目标识别方法、系统、设备及介质 | |
| Jain et al. | Analyzing and improving neural networks by generating semantic counterexamples through differentiable rendering | |
| Zhao et al. | End-to-end visual place recognition based on deep metric learning and self-adaptively enhanced similarity metric | |
| CN117058735A (zh) | 一种基于参数迁移和光流特征提取的微表情识别方法 | |
| CN110503157B (zh) | 基于细粒度图像的多任务卷积神经网络的图像隐写分析方法 | |
| CN112329771A (zh) | 一种基于深度学习的建筑材料样本识别方法 | |
| Raif et al. | Metamorphic testing for edge real-time face recognition and intrusion detection solution | |
| CN117495718A (zh) | 一种多尺度自适应的遥感图像去雾方法 | |
| CN114972869B (zh) | 一种基于反事实因果学习的红外微弱目标检测方法 | |
| CN116912144A (zh) | 一种基于大律算法与通道注意力机制的数据增强方法 | |
| CN115359525A (zh) | 基于深度学习的人脸检测与识别方法及装置 | |
| CN111046861B (zh) | 识别红外影像的方法、构建识别模型的方法及应用 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |