[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111582178B - 基于多方位信息和多分支神经网络车辆重识别方法及系统 - Google Patents

基于多方位信息和多分支神经网络车辆重识别方法及系统 Download PDF

Info

Publication number
CN111582178B
CN111582178B CN202010387486.4A CN202010387486A CN111582178B CN 111582178 B CN111582178 B CN 111582178B CN 202010387486 A CN202010387486 A CN 202010387486A CN 111582178 B CN111582178 B CN 111582178B
Authority
CN
China
Prior art keywords
vehicle
branch
shared view
pictures
view group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010387486.4A
Other languages
English (en)
Other versions
CN111582178A (zh
Inventor
聂秀山
尹义龙
孙自若
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jianzhu University
Original Assignee
Shandong Jianzhu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jianzhu University filed Critical Shandong Jianzhu University
Priority to CN202010387486.4A priority Critical patent/CN111582178B/zh
Publication of CN111582178A publication Critical patent/CN111582178A/zh
Application granted granted Critical
Publication of CN111582178B publication Critical patent/CN111582178B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于车辆方向信息和多分支神经网络的车辆重识别方法及系统,包括:采集若干车辆待识别图片,和检索数据集上的若干车辆对比图片;获取车辆待识别图片、车辆对比图片的方向信息;将车辆待识别图片与车辆对比图片配对形成若干个图片组,根据方向信息将若干个图片组划分为共享视域组和非共享视域组;将图片输入训练模型,获取共享视域组特征,或,非共享视域组特征;根据共享视域组特征或非共享视域组特征计算车辆待识别图片与车辆对比图片的欧式距离,并进行排序,检索出与待识别车辆相似度靠前的若干车辆;根据是否具有共享视域从而学习出两种不同的特征,有助于学习出辨别力强的特征,增强检索排序表现,提高了车辆重识别的准确率。

Description

基于多方位信息和多分支神经网络车辆重识别方法及系统
技术领域
本发明涉及一种基于多方位信息和多分支神经网络的车辆重识别方法及系统,属于计算视觉、人工智能技术领域。
背景技术
随着社会经济发展,车辆的数目日益增多,对车辆的管理也愈发困难。车辆重识别是指在不依赖车牌信息的前提下对不同监控相机下的车辆图片进行匹配,在非重叠相机不同时间拍摄的视频中找到目标车辆的过程。车辆重识别在现实生活中有着重要的应用,如刑侦、城市计算、公共管理、智能交通。
最初,主要是通过一些传感器来进行车辆的识别,如:磁传感器、感应线圈传感器、全球定位系统等。但是部署这些传感器的成本非常大,而且得到的信息也有限。随着大规模城市监控系统的部署以及计算机视觉技术在智能交通领域的广泛应用,基于视觉的车辆重识别方法成为重点研究领域,而基于视觉的方法又分为基于手工提取特征的方法以及基于深度特征的方法,而随着深度卷积神经网络在计算机视觉多个领域取得巨大成功,基于深度特征的方法由于其卓越的性能成为主流。
现有的基于深度特征的方法,大多数都是从整幅图片最显而易见的部分来学习特征而忽略了一些局部的细节信息,而这些局部的细节信息往往包含着区分视觉上特别相似的车辆的关键特征。此外尽管有一些方法利用这些局部的细节信息,但是忽略了车辆方向对特征提取的影响。由于摄像头拍摄角度不同以及车辆的行驶状况不同,造成了拍摄的各个图片上车辆的方向差别很大。
发明内容
为了解决上述技术问题,本发明提出了一种基于方向信息和多分支神经网络的车辆重识别方法及系统。根据图片中的车辆是否存在共享视域使网络学习到两种不同的特征表示,并且每种特征表示中都包含了全局宏观信息以及局部细节信息,提高了车辆重识别的精度。
本发明采用的技术方案为:
第一方面,本发明提供了一种基于车辆方向信息和多分支神经网络的车辆重识别方法,步骤包括:
采集若干车辆待识别图片,和检索数据集上的若干车辆对比图片;
获取车辆待识别图片、车辆对比图片的方向信息;
将车辆待识别图片与车辆对比图片配对形成若干个图片组,根据方向信息将若干个图片组划分为共享视域组和非共享视域组;将图片组输入训练模型,获取共享视域组特征,或,非共享视域组特征;
根据共享视域组特征或非共享视域组特征计算车辆待识别图片与车辆对比图片的欧式距离,并进行排序,检索出与待识别车辆相似度靠前的若干车辆。
第二方面,本发明还提供了一种基于车辆方向信息和多分支神经网络的车辆重识别系统,包括:
数据采集模块,被配置为:采集若干车辆待识别图片,和检索数据集上的若干车辆对比图片;
方向信息获取模块,被配置为:获取车辆待识别图片、车辆对比图片的方向信息;
训练模块,被配置为:将车辆待识别图片与车辆对比图片配对形成若干个图片组,根据方向信息将若干个图片组划分为共享视域组和非共享视域组;将图片组输入训练模型,获取共享视域组特征,或,非共享视域组特征;
车辆检索模块,被配置为:根据共享视域组特征,或,非共享视域组特征计算车辆待识别图片与车辆对比图片的欧式距离,并进行排序,检索出与待识别车辆相似度靠前的若干车辆。
第三方面,本发明还提供了一种计算机可读存储介质,用于存储计算机指令,所述计算机指令被处理器执行时,完成如第一方面所述的车辆重识别方法。
第四方面,本发明还提供了一种电子设备,包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器运行时,完成如第一方面所述的车辆重识别方法。
与现有技术对比,本发明具备以下有益效果:
1、本发明通过获取车辆待识别图片、车辆对比图片的方向信息,实现了根据是否具有共享视域从而学习出两种不同的特征,并且每种特征中都包含全局宏观信息以及局部的细节信息,提高了车辆重识别的准确率。
2、本发明通过判断两张车辆图片是否具有共享视域采用不同的特征去计算距离,然后根据车辆图片之间的距离进行车辆的检索;根据是否具有共享视域从而学习出两种不同的特征,并且每种特征中都包含全局宏观信息以及局部的细节信息,提高了车辆重识别的准确率。
3、本发明的训练模型采用包括四分支深度卷积神经网络,并使用多任务设计,在分类任务中使用交叉熵函数作为损失函数;在度量学习任务中采用三元组损失作为网络损失函数,通过这两种任务,并根据是否具有共享视域从而有效地学习出两种不同的并具有强辨别力的特征,增强检索排序表现。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。
图1是本发明所述基于方向信息和多分支神经网络的车辆重识别方法的主网络示意图。
具体实施方式:
下面结合附图与实施例对本发明作进一步说明。
应该指出,以下详细说明都是示例性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例1
如附图1所示,提出了一种基于方向信息和多分支神经网络的车辆重识别方法。根据图片中的车辆是否存在共享视域使网络学习到两种不同的特征表示,并且每种特征表示中都包含了全局宏观信息以及局部细节信息,提高了车辆重识别的精度。
本发明采用的技术方案为:
一种基于车辆方向信息和多分支神经网络的车辆重识别方法,步骤包括:
采集若干车辆待识别图片,和检索数据集上的若干车辆对比图片;
获取车辆待识别图片、车辆对比图片的方向信息;
将车辆待识别图片与车辆对比图片配对形成若干个图片组,根据方向信息将若干个图片组划分为共享视域组和非共享视域组;将图片组输入训练模型,获取共享视域组特征,或,非共享视域组特征;
根据共享视域组特征或非共享视域组特征计算车辆待识别图片与车辆对比图片的欧式距离,并进行排序,检索出与待识别车辆相似度靠前的若干车辆。
进一步的,所述获取车辆待识别图片、车辆对比图片的方向信息步骤包括:
采集若干车辆图片作为训练集图片,标注训练集图片的方向信息;将标注好的车辆图片输入深度卷积网络模型中进行训练,获得方向分类训练模型;
将车辆待识别图片、车辆对比图片输入到方向分类训练模型中获取车辆待识别图片、车辆对比图片的方向信息。
进一步的,所述方向信息包括若干个方向;所述若干个方向为八个方向,分别为:前、后、左、右、左前、右前、左后和右后。
进一步的,所述训练模型为深度卷积网络训练模型,包括四个分支,即GS分支、GD分支、LS分支和LD分支,分别用于提取共享视域组全局信息、非共享视域组全局信息、共享视域组局部信息和非共享视域组局部信息。
进一步的,所述提取共享视域组全局信息是通过信息分类和度量学习获取的;所述信息分类包括颜色分类、车型分类和车辆I D分类,信息分类中使用交叉熵函数作为损失函数;所述度量学习采用三元组损失作为网络损失函数,所述度量学习的网络损失包括空间内损失和跨空间损失。
进一步的,所述空间内损失是采用共享视域组,或,非共享视域组每组各自对应的车辆样本来组成三元组进行计算损失。
进一步的,跨空间损失具有两个,分别对应局部分支和全局分支;局部分支包括LS分支和LD分支;全局分支包括GS分支和GD分支。在跨空间损失的函数计算时采用锚图像、与锚图像组成的共享视域组的正例图像、与锚图像组成的非共享组的反例图像来构成一个三元组。
进一步的,局部分支,也就是LS分支和LD分支上仅进行车辆ID分类任务;全局分支,也就是GS分支和GD分支上进行三个分类任务,包括颜色分类,车型分类和车辆ID分类。
所述空间内损失是通过获取m分支中的三元组损失(m={gs、gd、ls、ld}分别对应于GS、GD、LS和LD分支)、m分支中将图片映射为特征的映射函数、一个批次中车辆种类数目、每个类中的车辆图片数目、正例和负例的最小距离和三元组损失中的锚图像、正例图像、负例图像来计算的。
进一步的,所述深度卷积网络训练模型的训练步骤包括:将图片组经过一个由ResNet-50的前三部分组成的共享参数卷积层,之后分为共享视域分支(S分支)和非共享视域分支(D分支),共享分支用来学习共享视域组的特征,非共享分支用来学习非共享视域组的特征;
进一步的,在共享分支和非共享分支中,在通过了由ResNet-50的第四部分组成的卷积层后又各自分成两个分支,一个用来提取全局宏观信息,另一个用来提取局部细节信息;即GS分支、GD分支、LS分支和LD分支,分别用于提取共享视域组全局信息、非共享视域组全局信息、共享视域组局部信息和非共享视域组局部信息。
进一步的,所述提取局部特征的步骤为:对一个批次的图片在通过上述提到的卷积层之后得到的特征图进行空间域上的随机遮盖(通过一个随机生成的由0,1组成的与特征图同等尺寸掩码矩阵,通过与特征图进行点乘丢弃掩码矩阵上为0的相应区域),从而迫使网络在剩下的区域里进行学习,以捕捉到更多的局部细节信息。
进一步的,所述共享视域组特征包括共享视域全局特征和共享视域局部特征;所述非共享视域组特征包括非共享视域全局特征和非共享视域局部特征。
进一步的,所述共享视域全局特征为颜色特征,车型特征和车辆ID特征;非共享视域组特征为车辆ID特征;所述非共享视域全局特征为颜色特征,车型特征和车辆ID特征;非共享视域局部特征为车辆ID特征。
进一步的,所述将车辆待识别图片与车辆对比图片配对形成若干个图片组的步骤包括:将一张车辆待识别图片与一张车辆对比图片为一组分为若干组。
进一步的,所述根据方向信息将若干个图片组划分为共享视域组和非共享视域组的步骤包括:根据一个图片组中两个图片的方向信息是非具有共享视域,将图片组划分为共享视域组或非共享视域组;所述共享视域为两张车辆待识别图片中是否具有相同的视域特征,例如:方向为“前”和方向为“左前”的两张图片,由于均具有“前”视域特征,它们具有共享视域。
通过判断两张车辆图片是否具有共享视域采用不同的特征去计算距离,然后根据车辆图片之间的距离进行车辆的检索;根据是否具有共享视域从而学习出两种不同的特征,并且每种特征中都包含全局宏观信息以及局部的细节信息,提高了车辆重识别的准确率。
实施例2
一种基于车辆方向信息和多分支神经网络的车辆重识别方法,其特征在于该方法包括以下步骤:
方向信息处理,具体方法为:
①标注一些图片的方向信息来训练一个深度卷积网络分类器用于判断未标注图片的方向。这里将车辆图片的方向分成了8种。
②判断两种方向的图片是否具有共享视域。以便在特征提取阶段根据是否具有共享视域而提取不同的特征。
特征提取,具体方法为:
本发明设计了一个四分支的深度卷积神经网络用于特征的提取,并且采用多任务设计,通过分类任务(损失函数为交叉熵损失)和度量学习任务(损失函数为三元组损失)来获得更加鲁棒的特征表示。在四个分支中通过对特征图不同的处理方式以及根据是否具有共享视域而选择的不同的三元组组建方式来获得四种不同的特征表示,包括具有相同视域的全局宏观特征、不具有相同视域的全局宏观特征、具有相同视域的局部细节特征、不具有相同视域的局部细节特征。最终本发明融合全局和局部特征来作为最终的特征表示。
车辆检索,具体方法为通过判断两张车辆图片是否具有共享视域采用不同的特征去计算距离,然后根据车辆图片之间的距离进行车辆的检索。
本发明的方法包括如下具体步骤。
方向信息处理
首先标注一些车辆的图片的方向信息,本发明将车辆的标注为8个方向,分别是前、后、左、右、左前、右前,左后,右后。然后利用这些标注好的图片去训练一个方向分类器,分类器是一个在深度卷积神经网络,它在ResNet-50的基础上进行微调,损失函数为交叉熵损失。通过该分类器本发明可以得到未标注的车辆的方向信息。由于方向预测属于简单任务,所以可以到达一个较高的准确率,同时该分类器独立于本发明的主网络,可以被单独训练。
根据方向信息,本发明通过两张图片是否包含相同视域来判定两张图片是否具有共享视域,比如方向为“前”和方向为“左前”的两张图片,本发明把他们当做具有共享视域,记做S对,而“左前”和“右后”则当做没有共享视域,记做D对。具体的判断图表见下表,其中S代表两张这样方向的图片对具有共享视域,而D代表没有共享视域。
表1是否具有共享视域判定图表
左前 左后 右前 右后
S D D S D D S D
D S D D S D D S
D D S S S S S S
左前 S D S S D S S D
左后 D S S D S S D S
D D S S S S S S
右前 S D S S D S S D
右后 D S S D S S D S
深度特征提取
使用深度卷积网络来获取特征,网络基于ResNet-50,本发明将其扩展为四个分支,每个分支提取特定的特征。网络结构如图1所示,首先输入的图片会经过一个由ResNet-50的前三部分组成的共享参数卷积层,之后分为两个分支,一个分支用来学习S对的特征,另外一个分支用来学习D对的特征。在这两个分支中,在通过了由ResNet-50的第四部分组成的卷积层后又各自分成两个分支,一个用来提取全局宏观信息,另一个用来提取局部细节信息。这里提取局部细节信息的方法是对一个批次的图片在通过上面提到的卷积层之后得到的特征图进行空间域上的随机遮盖(通过一个随机生成的由0,1组成的与特征图同等尺寸掩码矩阵,通过与特征图进行点乘丢弃掩码矩阵上为0的相应区域),从而迫使网络在剩下的区域里进行学习,以捕捉到更多的局部细节信息。这样网络就被扩展为四个分支,分别记做GS、GD、LS和LD分支。
在四个分支上都要完成分类任务和度量学习任务。分类有助于学习出辨别力强的特征,而度量学习有助于增强检索排序表现。在全局分支也就是GS和GD上本发明完成三个分类任务,包括颜色分类,车型分类和车辆ID分类。而在局部分支LS和LD上仅进行车辆ID分类任务,分类任务中本发明使用交叉熵函数作为损失函数。对于度量学习任务,本发明使用三元组损失作为网络的损失函数。本发明将度量学习损失函数分为两类,一类是空间内损失函数,每一个分支都有一个空间内损失函数,其中在S对分支也就是GS和LS上本发明使用S对的车辆样本来组成三元组来计算损失,而在D对分支GD和LD上本发明使用D对的车辆样本组成三元组来计算损失。另外一类是跨空间损失,共有两个,分别对应全局分支GS和GD以及局部分支LS和LD,在这种损失中,本发明用锚图像、与锚图像组成D对的正例图像以及与锚图像组成S对的反例图像来构成一个三元组。两种类型的三元组损失公式表示如下:
Figure BDA0002484594920000111
Figure BDA0002484594920000112
其中s-pair和d-pair分别代表S对和D对,Tm是第m分支中的三元组损失(m={gs、gd、ls、ld}分别对应于GS、GD、LS和LD分支),[·]+是铰链损失。符号fm(·)是m分支中将图片映射为特征的映射函数。符号P和K分别是一个批次中车辆种类数目(车辆ID的数量)以及每个类中的车辆图片数目。符号α代表正例和负例的最小距离
Figure BDA0002484594920000113
Figure BDA0002484594920000114
分别表示三元组损失中的锚图像、正例图像和负例图像。
Figure BDA0002484594920000115
其中Tg/l-cross表示GS和GD分支或LS和LD分支中的跨空间三元组损失。同样地,fgd/ld(·)表示GD或者LD分支上的映射函数,fgs/ls(·)表示GD或者LD分支上的映射函数。
最终四个分支分别获取到S对的全局宏观特征、S对的局部细节特征、D对的全局宏观特征,D对的局部细节特征,本发明融合全局和局部特征作为S对和D对最终的特征表示。这样对于每张车辆图片,网络都可以学习出它作为S对时的特征以及它作为D对时的特征。
车辆检索
本发明利用本方法设计的网络学习到的特征表示来进行车辆图片的检索,首先计算查询图片与检索数据集上所有图片的欧氏距离,这里,当本发明计算的两张车辆图片为S对时,本发明使用两张图片的S对特征来计算距离,反之,当两张图片为D对时,使用D对特征。然后根据欧氏距离对车辆图片进行排序。从而检索出和查询车辆相同ID的车辆。
表2是本发明方法的一个仿真实验,该实验采用mAP(平均准确率)和CMC(累积匹配曲线)曲线中Rank-1和Rank-5指标进行度量,在VeRi-776数据库上进行实验。表2中数据为本发明(OMNet)与其他算法的性能比较。其中RK代表使用了重排序策略。
表2本发明与其他算法mAP以及rank-1和rank-5性能
Figure BDA0002484594920000121
在本发明的其他实施例中,还提供了:
一种基于车辆方向信息和多分支神经网络的车辆重识别系统,包括:
数据采集模块,被配置为:采集若干车辆待识别图片,和检索数据集上的若干车辆对比图片;
方向信息获取模块,被配置为:获取车辆待识别图片、车辆对比图片的方向信息;
训练模块,被配置为:将车辆待识别图片与车辆对比图片配对形成若干个图片组,根据方向信息将若干个图片组划分为共享视域组和非共享视域组;将图片组输入训练模型,获取共享视域组特征,或,非共享视域组特征;
车辆检索模块,被配置为:根据共享视域组特征,或,非共享视域组特征计算车辆待识别图片与车辆对比图片的欧式距离,并进行排序,检索出与待识别车辆相似度靠前的若干车辆。
进一步的,所述数据采集模块、方向信息获取模块、训练模块、车辆检索模块的具体配置分别对应上述实施例中车辆重识别方法中的步骤,详细过程可以查看实施例1。
一种计算机可读存储介质,用于存储计算机指令,所述计算机指令被处理器执行时,完成如实施例1或实施例2所述的车辆重识别方法。
一种电子设备,包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器运行时,完成如实施例1或实施例2所述的车辆重识别方法。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (6)

1.一种基于车辆方向信息和多分支神经网络的车辆重识别方法,其特征在于,步骤包括:
采集若干车辆待识别图片,和检索数据集上的若干车辆对比图片;
获取车辆待识别图片、车辆对比图片的方向信息;
将车辆待识别图片与车辆对比图片配对形成若干个图片组,根据方向信息将若干个图片组划分为共享视域组和非共享视域组;将图片组输入训练模型,获取共享视域组特征,或,非共享视域组特征;
根据共享视域组特征,或,非共享视域组特征计算车辆待识别图片与车辆对比图片的欧式距离,并进行排序,检索出与待识别车辆相似度靠前的若干车辆;
所述共享视域组特征包括共享视域全局特征和共享视域局部特征;
所述训练模型为深度卷积网络训练模型,深度卷积网络基于ResNet-50,将其扩展为四个分支,即GS分支、GD分支、LS分支和LD分支,GS分支用于提取共享视域组全局信息,GD分支用于提取非共享视域组全局信息,LS分支用于提取共享视域组局部信息,LD分支用于提取非共享视域组局部信息;
在GS分支和GD分支上完成三个分类任务,三个分类任务包括颜色分类,车型分类和车辆ID分类;在LS分支和LD分支上进行车辆ID分类任务,ID分类任务中使用交叉熵函数作为损失函数;对于度量学习任务,使用三元组损失作为网络的损失函数,度量学习损失函数分为两类,一类是空间内损失函数,另外一类是跨空间损失;
所述空间内损失函数为每一个分支都有一个空间内损失函数,其中在GS分支和LS分支上使用共享视域组对的车辆样本来组成三元组来计算损失,而在GD分支和LD分支上使用非共享视域组对的车辆样本组成三元组来计算损失;
所述跨空间损失共有两个,第一个对应GS分支和GD分支,第二个对应LS分支和LD分支,在跨空间损失中用锚图像、与锚图像组成非共享视域组对的正例图像以及与锚图像组成共享视域组对的反例图像来构成一个三元组;
提取所述共享视域局部特征的方法是对一个批次的图片在通过卷积层之后得到的特征图进行空间域上的随机遮盖,使网络在剩下的区域里进行学习。
2.如权利要求1所述的车辆重识别方法,其特征在于,所述获取车辆待识别图片、车辆对比图片的方向信息步骤包括:
采集若干车辆图片作为训练集图片,标注训练集图片的方向信息;将标注好的车辆图片输入深度卷积网络模型中进行训练,获得方向分类训练模型;
将车辆待识别图片、车辆对比图片输入到方向分类训练模型中获取车辆待识别图片、车辆对比图片的方向信息。
3.如权利要求1所述的车辆重识别方法,其特征在于,所述根据方向信息将若干个图片组划分为共享视域组和非共享视域组的步骤包括:根据一个图片组中两个图片的方向信息是否具有共享视域,将图片组划分为共享视域组或非共享视域组;所述共享视域为两张车辆待识别图片中是否具有相同的视域特征。
4.一种基于车辆方向信息和多分支神经网络的车辆重识别系统,其特征在于,包括:
数据采集模块,被配置为:采集若干车辆待识别图片,和检索数据集上的若干车辆对比图片;
方向信息获取模块,被配置为:获取车辆待识别图片、车辆对比图片的方向信息;
训练模块,被配置为:将车辆待识别图片与车辆对比图片配对形成若干个图片组,根据方向信息将若干个图片组划分为共享视域组和非共享视域组;将图片组输入训练模型,获取共享视域组特征,或,非共享视域组特征;
车辆检索模块,被配置为:根据共享视域组特征,或,非共享视域组特征计算车辆待识别图片与车辆对比图片的欧式距离,并进行排序,检索出与待识别车辆相似度靠前的若干车辆;
所述共享视域组特征包括共享视域全局特征和共享视域局部特征;
所述训练模型为深度卷积网络训练模型,深度卷积网络基于ResNet-50,将其扩展为四个分支,即GS分支、GD分支、LS分支和LD分支,GS分支用于提取共享视域组全局信息,GD分支用于提取非共享视域组全局信息,LS分支用于提取共享视域组局部信息,LD分支用于提取非共享视域组局部信息;
在GS分支和GD分支上完成三个分类任务,三个分类任务包括颜色分类,车型分类和车辆ID分类;在LS分支和LD分支上进行车辆ID分类任务,ID分类任务中使用交叉熵函数作为损失函数;对于度量学习任务,使用三元组损失作为网络的损失函数,度量学习损失函数分为两类,一类是空间内损失函数,另外一类是跨空间损失;
所述空间内损失函数为每一个分支都有一个空间内损失函数,其中在GS分支和LS分支上使用共享视域组对的车辆样本来组成三元组来计算损失,而在GD分支和LD分支上使用非共享视域组对的车辆样本组成三元组来计算损失;
所述跨空间损失共有两个,第一个对应GS分支和GD分支,第二个对应LS分支和LD分支,在跨空间损失中用锚图像、与锚图像组成非共享视域组对的正例图像以及与锚图像组成共享视域组对的反例图像来构成一个三元组;
提取所述共享视域局部特征的方法是对一个批次的图片在通过卷积层之后得到的特征图进行空间域上的随机遮盖,使网络在剩下的区域里进行学习。
5.一种计算机可读存储介质,用于存储计算机指令,其特征在于,所述计算机指令被处理器执行时,完成如权利要求1-3任一所述的车辆重识别方法。
6.一种电子设备,其特征在于,包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器运行时,完成如权利要求1-3任一所述的车辆重识别方法。
CN202010387486.4A 2020-05-09 2020-05-09 基于多方位信息和多分支神经网络车辆重识别方法及系统 Active CN111582178B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010387486.4A CN111582178B (zh) 2020-05-09 2020-05-09 基于多方位信息和多分支神经网络车辆重识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010387486.4A CN111582178B (zh) 2020-05-09 2020-05-09 基于多方位信息和多分支神经网络车辆重识别方法及系统

Publications (2)

Publication Number Publication Date
CN111582178A CN111582178A (zh) 2020-08-25
CN111582178B true CN111582178B (zh) 2021-06-18

Family

ID=72110749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010387486.4A Active CN111582178B (zh) 2020-05-09 2020-05-09 基于多方位信息和多分支神经网络车辆重识别方法及系统

Country Status (1)

Country Link
CN (1) CN111582178B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112214631B (zh) * 2020-10-19 2024-02-27 山东建筑大学 方向信息指导的车辆重识别检索重排序方法及系统
CN112766353B (zh) * 2021-01-13 2023-07-21 南京信息工程大学 一种加强局部注意的双分支车辆再识别方法
CN112818837B (zh) * 2021-01-29 2022-11-11 山东大学 一种基于姿态校正和困难样本感知的航拍车辆重识别方法
CN114067293B (zh) * 2022-01-17 2022-04-22 武汉珞信科技有限公司 基于双重属性的车辆重识别重排列方法、系统及电子设备
CN115408580B (zh) * 2022-08-31 2023-04-25 广东数鼎科技有限公司 一种车源型号的识别方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084139A (zh) * 2019-04-04 2019-08-02 长沙千视通智能科技有限公司 一种基于多分支深度学习的车辆重识别方法
CN110765954A (zh) * 2019-10-24 2020-02-07 浙江大华技术股份有限公司 一种车辆重识别方法、设备及存储装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118609067A (zh) * 2018-09-20 2024-09-06 辉达公司 训练神经网络以用于车辆重新识别

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084139A (zh) * 2019-04-04 2019-08-02 长沙千视通智能科技有限公司 一种基于多分支深度学习的车辆重识别方法
CN110765954A (zh) * 2019-10-24 2020-02-07 浙江大华技术股份有限公司 一种车辆重识别方法、设备及存储装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Batch DropBlock Network for Person Re-identification and Beyond;Zuozhuo Dai 等;《2019 IEEE/CVF International Conference on Computer Vision (ICCV)》;20200227;摘要,正文第3部分,Figure.3 *
PAMTRI: Pose-Aware Multi-Task Learning for Vehicle Re-Identification Using Highly Randomized Synthetic Data;Zheng Tang 等;《2019 IEEE/CVF International Conference on Computer Vision (ICCV)》;20200227;正文第3部分,Figure.2 *
Ruihang Chu 等.Vehicle Re-identification with Viewpoint-aware Metric Learning.《2019 IEEE/CVF International Conference on Computer Vision (ICCV)》.2020,正文第3部分,Figure.3. *
Vehicle Re-identification with Viewpoint-aware Metric Learning;Ruihang Chu 等;《2019 IEEE/CVF International Conference on Computer Vision (ICCV)》;20200227;正文第3部分,Figure.3 *

Also Published As

Publication number Publication date
CN111582178A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN111582178B (zh) 基于多方位信息和多分支神经网络车辆重识别方法及系统
CN108875608B (zh) 一种基于深度学习的机动车交通信号识别方法
CN111259786B (zh) 一种基于视频的外观和运动信息同步增强的行人重识别方法
Cao et al. Landmark recognition with sparse representation classification and extreme learning machine
CN108197326B (zh) 一种车辆检索方法及装置、电子设备、存储介质
CN110598543B (zh) 基于属性挖掘和推理的模型训练方法及行人再识别方法
CN111639564B (zh) 一种基于多注意力异构网络的视频行人重识别方法
CN110175615B (zh) 模型训练方法、域自适应的视觉位置识别方法及装置
CN107679078A (zh) 一种基于深度学习的卡口图像车辆快速检索方法及系统
CN112101150A (zh) 一种基于朝向约束的多特征融合行人重识别方法
CN109492583A (zh) 一种基于深度学习的车辆重识别方法
CN108830254B (zh) 一种基于数据均衡策略和密集注意网络的细粒度车型检测与识别方法
CN109165658B (zh) 一种基于Faster-RCNN的强负样本水下目标检测方法
CN109492528A (zh) 一种基于高斯和深度特征的行人再识别方法
CN109165698A (zh) 一种面向智慧交通的图像分类识别方法及其存储介质
CN104281572A (zh) 一种基于互信息的目标匹配方法及其系统
CN112836677A (zh) 一种利用深度学习的弱监督车辆重识别方法
CN111881716A (zh) 一种基于多视角生成对抗网络的行人重识别方法
CN109165612A (zh) 基于深度特征和双向knn排序优化的行人再识别方法
Li et al. VRID-1: A basic vehicle re-identification dataset for similar vehicles
Barodi et al. An enhanced artificial intelligence-based approach applied to vehicular traffic signs detection and road safety enhancement
Chen et al. Part alignment network for vehicle re-identification
CN112668662B (zh) 基于改进YOLOv3网络的野外山林环境目标检测方法
CN106650814B (zh) 一种基于车载单目视觉室外道路自适应分类器生成方法
CN116503618B (zh) 一种基于多模态多级特征聚合的显著目标检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant