[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN110163110B - 一种基于迁移学习和深度特征融合的行人重识别方法 - Google Patents

一种基于迁移学习和深度特征融合的行人重识别方法 Download PDF

Info

Publication number
CN110163110B
CN110163110B CN201910329733.2A CN201910329733A CN110163110B CN 110163110 B CN110163110 B CN 110163110B CN 201910329733 A CN201910329733 A CN 201910329733A CN 110163110 B CN110163110 B CN 110163110B
Authority
CN
China
Prior art keywords
pedestrian
training
network model
global
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910329733.2A
Other languages
English (en)
Other versions
CN110163110A (zh
Inventor
丁剑飞
王进
阚丹会
闫盈盈
曹扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC Big Data Research Institute Co Ltd
Original Assignee
CETC Big Data Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC Big Data Research Institute Co Ltd filed Critical CETC Big Data Research Institute Co Ltd
Priority to CN201910329733.2A priority Critical patent/CN110163110B/zh
Publication of CN110163110A publication Critical patent/CN110163110A/zh
Application granted granted Critical
Publication of CN110163110B publication Critical patent/CN110163110B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于迁移学习和深度特征融合的行人重识别方法，包括以下步骤：预训练‑人体姿态矫正和分割‑特征向量‑深度特征融合‑训练模型‑测试模型‑识别结果。本发明通过利用深度卷积神经网络提取行人全局和局部特征，对两种特征进行深度融合获得最终的行人特征表征，然后在深度卷积神经网络训练过程中，采用迁移学习的方式进而获得效果更好的行人重识别网络模型，最终使得行人重识别网络模型提取的特征具有更强的分辨能力，从而达到提升行人重识别准确率的目的。

Description

一种基于迁移学习和深度特征融合的行人重识别方法
技术领域
本发明涉及一种基于迁移学习和深度特征融合的行人重识别方法，属于深度学习、迁移学习技术领域。
背景技术
行人重识别，主要目的在非重叠视角域多摄像头网络下进行的行人匹配任务，即找出不同位置的摄像头在不同时刻拍摄的目标行人。
随着人工智能技术的发展，在公共安防、图像检索等应用场景中行人重识别技术被广泛研究域关注。但是行人重识别技术与人脸识别、手势识别等传统生物识别技术相比，因监控视频的环境复杂不可控等原因，进而面临图像分辨率低、视角变化、姿态变化、光线变化以及遮挡等因素导致识别精度低的问题。因此，行人重识别技术在实际应用场景下面临较大的挑战。
为了提升行人重识别的准确率和增强系统的鲁棒性，众多学者经过长期的研究，提出了不同的行人重识别方法。旷视科技Facce++在行人重识别领域取得巨大的进展，该团队发表的论文AlignedReID中提出了一种新方法，通过动态对准(Dynamic Alignment)和协同学习(Mutual Learing)，然后在重新排序(Re-Ranking)，该论文通过实验发现，在测试阶段提取行人全局特征和融合行人全局与局部特征的识别准确率相差无几；Yi等基于孪生卷积神经网络提出了一种深度度量学习方法，取得了不错的效果；Liu等基于邻域成分分析和深度置信网络提出一种深度非线性度量学习方法，邻域变换分析的作用是通过数据变换使训练数据中每类数据的可识别样本数目最大化，为了扩展邻域变换分析中的数据变换，采用深度置信网络来学习非线性特征变换。但在研究中发现，上述行人重识别方法大部分在训练过程中基于行人全局图像作为输入提取全局特征向量，同时有些方法虽然提取了局部特征，并没有充分利用行人局部特征进行深度融合，获得具有区分性的图像表征。且在使用预训练模型在行人数据库上进行简单的微调，并没有考虑到源域与目标域数据集之间的数据分布差异。进而到网络迁移效果不理想。
发明内容
为解决上述技术问题，本发明提供了一种基于迁移学习和深度特征融合的行人重识别方法，该基于迁移学习和深度特征融合的行人重识别方法能够针对行人全局特征与局部特征未进行深度融合，以及在网络微调过程中没有充分考虑到数据分布的差异。
本发明通过以下技术方案得以实现。
本发明提供的一种基于迁移学习和深度特征融合的行人重识别方法，包括以下步骤：
①预训练：将基于ImageNet的预训练模型在行人重识别数据上进行预训练，获得行人重识别预训练网络模型；
②人体姿态矫正和分割：在行人数据集上选取难分样本对，并输入到人体骨骼关键点检测网络，检测出的十四个关键点，并进行人体姿态矫正和行人局部ROI分割，获取数据增强后的难分样本对、矫正后的全局和局部图像；
③特征向量：将矫正后的全局和局部图像、数据增强后的难分样本对，输入到行人重识别预训练网络模型，获取行人局部和全局特征向量；
④深度特征融合：将行人局部和全局特征向量进行深度特征融合，获取最终行人特征向量；
⑤训练模型：采用迁移学习的方式和步骤④中最终行人特征向量，对行人重识别预训练网络模型进行微调，并在行人重识别预训练网络模型中添加自适应层，获取行人重识别网络模型；
⑥测试模型：输入查询行人和目标行人图像，仅使用行人重识别网络模型提取两个具有区分性的行人全局特征向量；
⑦识别结果：基于步骤中⑥的行人全局特征向量，计算查询行人与目标行人数据集中任意一张图像之间的相似度，其中相似度最高的被认为是相同的行人。
训练阶段中的行人重识别网络模型的输入，采用三元组行人图像。
所述步骤①分为以下步骤：
(1.1)获取在ImageNet数据集上预先训练好的深度卷积网络模型，并将其在行人重识别数据上进行训练；
(1.2)在行人重识别数据上预训练深度卷积神经网络模型时，仅利用了样本标注信息对深度卷积网络模型进行微调。
所述步骤(1.2)分为以下步骤：
(1.2.1)将在ImageNet数据集上预训练的ResNet50网络模型，去除顶层的全连接层，在最大池化层后添加两层全连接层和一层softmax层；
(1.2.2)利用行人图像标注的标签信息对构建的深度卷积神经网络进行微调，在微调过程中固定深度卷积神经网络的前三层；
(1.2.3)根据深度卷积神经网络获取行人全局图像的预测概率；
(1.2.4)根据预测概率定义深度卷积神经网络中的损失函数。
所述步骤②中获取的矫正后的全局和局部图像，为难分正负样本三元组行人图像、人体姿态矫正后的行人全局图像和局部ROI图像。
所述步骤②分为以下步骤：
(2.1)将每一个训练batch，随机挑选P个ID的行人，每个行人随机挑选K张不同的图像，每个batch含有P×K张行人图像；
(2.2)将每一个训练batch中图像为锚样本Hn，选择一个最难的正样本
Figure GDA0004088048170000041
和一个最难的负样本
Figure GDA0004088048170000042
和Hn组成一个三元组，选择难分样本对的要求是
Figure GDA0004088048170000043
最大，
Figure GDA0004088048170000044
最小；
(2.3)将难分正负样本三元组行人图像输入到人体骨骼关键点检测网络，分别检测出十四个人体骨骼关键点，包括头部、四肢、上半身、下半身，并以十四个关键点为坐标对人体姿态进行矫正；
(2.4)根据十四个人体骨骼关键点，将行人全局图像分割为头部、上半身、下半身三个行人局部ROI图像，获取一张矫正后行人全局图像和三张行人局部图像。
所述步骤(2.2)中，使用步骤(1.1)中的预训练深度卷积神经网络模型，在与锚样本Hn相同行人ID图像中选择得分最低的行人图像样本组成难分正样本对，在与锚样本Hn不同行人ID图像中选择得分最高的行人图像样本组成难分负样本对。
所述步骤③分为以下步骤：
(3.1)获取经过步骤(1.1)预训练深度卷积神经网络模型和经过步骤②矫正后的全局和局部图像，并去除预训练深度卷积神经网络模型顶层的softmax层和一层全连接层；
(3.2)将数据增强后的难分样本对、矫正后的全局和局部图像分别输入到深度卷积神经网络模型，经过步骤(3.1)构建的深度卷积神经网络模型，获取行人全局特征向量和行人局部特征向量。
所述步骤④分为以下步骤：
(4.1)将步骤③中的行人局部和全局特征向量输入到一层全连接层，进行深度特征融合，获取输出融合后的行人特征向量；
(4.2)将融合后的行人特征向量和步骤(3.2)中的行人局部特征向量，分别输入一层平方层，平方层使用平方欧氏距离度量难分样本对之间的相似度。
所述步骤⑥分为以下步骤：
(6.1)将查询与目标行人图像输入到人体关键点与姿态矫正网络进行人体姿态矫正；
(6.2)将人体姿态矫正后的行人图像输入行人重识别网络模型，获取行人全局特征向量。
本发明的有益效果在于：通过利用深度卷积神经网络提取行人全局和局部特征，对两种特征进行深度融合获得最终的行人特征表征，然后在深度卷积神经网络训练过程中，采用迁移学习的方式进而获得效果更好的行人重识别网络模型，最终使得行人重识别网络模型提取的特征具有更强的分辨能力，从而达到提升行人重识别准确率的目的。
附图说明
图1是本发明的流程图；
图2是本发明实施例全局特征与局部特征深度融合的网络结构图；
图3是本发明实施例基于深度卷积神经网络的深度特征融合与局部特征学习模型的网络结构图。
具体实施方式
下面进一步描述本发明的技术方案，但要求保护的范围并不局限于所述。
如图1所示，一种基于迁移学习和深度特征融合的行人重识别方法，包括以下步骤：
①预训练：将基于ImageNet的预训练模型在行人重识别数据上进行预训练，获得行人重识别预训练网络模型；
②人体姿态矫正和分割：在行人数据集上选取难分样本对，并输入到人体骨骼关键点检测网络，检测出的十四个关键点，并进行人体姿态矫正和行人局部ROI分割，获取数据增强后的难分样本对、矫正后的全局和局部图像；
③特征向量：将矫正后的全局和局部图像、数据增强后的难分样本对，输入到行人重识别预训练网络模型，获取行人局部和全局特征向量；
④深度特征融合：将行人局部和全局特征向量进行深度特征融合，获取最终行人特征向量；
⑤训练模型：采用迁移学习的方式和步骤④中最终行人特征向量，对行人重识别预训练网络模型进行微调，并在行人重识别预训练网络模型中添加自适应层，获取行人重识别网络模型；
⑥测试模型：输入查询行人和目标行人图像，仅使用行人重识别网络模型提取两个具有区分性的行人全局特征向量；
⑦识别结果：基于步骤中⑥的行人全局特征向量，计算查询行人与目标行人数据集中任意一张图像之间的相似度，其中相似度最高的被认为是相同的行人。
训练阶段中的行人重识别网络模型的输入，采用三元组行人图像。
所述步骤①分为以下步骤：
(1.1)获取在ImageNet数据集上预先训练好的深度卷积网络模型，并将其在行人重识别数据上进行训练；
(1.2)在行人重识别数据上预训练深度卷积神经网络模型时，仅利用了样本标注信息对深度卷积网络模型进行微调。
所述步骤(1.2)分为以下步骤：
(1.2.1)将在ImageNet数据集上预训练的ResNet50网络模型，去除顶层的全连接层，在最大池化层后添加两层全连接层和一层softmax层；
(1.2.2)利用行人图像标注的标签信息对构建的深度卷积神经网络进行微调，在微调过程中固定深度卷积神经网络的前三层；
(1.2.3)根据深度卷积神经网络获取行人全局图像的预测概率；
(1.2.4)根据预测概率定义深度卷积神经网络中的损失函数。
所述步骤②中获取的矫正后的全局和局部图像，为难分正负样本三元组行人图像、人体姿态矫正后的行人全局图像和局部ROI图像。
所述步骤②分为以下步骤：
(2.1)将每一个训练batch，随机挑选P个ID的行人，每个行人随机挑选K张不同的图像，每个batch含有P×K张行人图像；
(2.2)将每一个训练batch中图像为锚样本Hn，选择一个最难的正样本
Figure GDA0004088048170000081
和一个最难的负样本
Figure GDA0004088048170000082
和Hn组成一个三元组，选择难分样本对的要求是
Figure GDA0004088048170000083
最大，
Figure GDA0004088048170000084
最小；
(2.3)将难分正负样本三元组行人图像输入到人体骨骼关键点检测网络，分别检测出十四个人体骨骼关键点，包括头部、四肢、上半身、下半身，并以十四个关键点为坐标对人体姿态进行矫正；
(2.4)根据十四个人体骨骼关键点，将行人全局图像分割为头部、上半身、下半身三个行人局部ROI图像，获取一张矫正后行人全局图像和三张行人局部图像。
所述步骤(2.2)中，使用步骤(1.1)中的预训练深度卷积神经网络模型，在与锚样本Hn相同行人ID图像中选择得分最低的行人图像样本组成难分正样本对，在与锚样本Hn不同行人ID图像中选择得分最高的行人图像样本组成难分负样本对。
所述步骤③分为以下步骤：
(3.1)获取经过步骤(1.1)预训练深度卷积神经网络模型和经过步骤②矫正后的全局和局部图像，并去除预训练深度卷积神经网络模型顶层的softmax层和一层全连接层；
(3.2)将数据增强后的难分样本对、矫正后的全局和局部图像分别输入到深度卷积神经网络模型，经过步骤(3.1)构建的深度卷积神经网络模型，获取行人全局特征向量和行人局部特征向量。
所述步骤④分为以下步骤：
(4.1)将步骤③中的行人局部和全局特征向量输入到一层全连接层，进行深度特征融合，获取输出融合后的行人特征向量；
(4.2)将融合后的行人特征向量和步骤(3.2)中的行人局部特征向量，分别输入一层平方层，平方层使用平方欧氏距离度量难分样本对之间的相似度。
所述步骤⑥分为以下步骤：
(6.1)将查询与目标行人图像输入到人体关键点与姿态矫正网络进行人体姿态矫正；
(6.2)将人体姿态矫正后的行人图像输入行人重识别网络模型，获取行人全局特征向量。
综上所述，本发明利用迁移学习和深度学习的自适应学习的优势，采用融合行人图像局部特征和整体特征，获得能够关注行人局部特征的网络模型，提高了行人重识别的准确率。
实施例1
如上所述，一种基于迁移学习和深度特征融合的行人重识别方法，包括以下步骤：
①预训练：将基于ImageNet的预训练模型在行人重识别数据上进行预训练，获得行人重识别预训练网络模型；具体分为以下步骤：
(1.1)获取在ImageNet数据集上预先训练好的深度卷积网络模型，并将其在行人重识别数据上进行训练；
(1.2)在行人重识别数据上预训练深度卷积神经网络模型时，仅利用了样本标注信息对深度卷积网络模型进行微调；
(1.2.1)将在ImageNet数据集上预训练的ResNet50网络模型，去除顶层的全连接层，在最大池化层后添加两层全连接层和一层softmax层；
(1.2.2)利用行人图像标注的标签信息对构建的深度卷积神经网络进行微调，在微调过程中固定深度卷积神经网络的前三层，因为深度卷积神经网络的前三层提取的特征通常为纹理、边缘等，其特征具有一定的通用性；
(1.2.3)根据深度卷积神经网络获取行人全局图像的预测概率yi，表示为：
Figure GDA0004088048170000101
其中，yi表示样本x属于第i个类别的概率，
Figure GDA0004088048170000102
是归一化项，C为类别总数；
(1.2.4)根据预测概率定义深度卷积神经网络中的损失函数LI，表示为：
Figure GDA0004088048170000103
其中，qj表示标签概率，C为类别总数。
②人体姿态矫正和分割：在行人数据集上选取难分样本对，并输入到人体骨骼关键点检测网络检测出的十四个关键点中，并进行人体姿态矫正和行人局部ROI分割，获取数据增强后的难分样本对、矫正后的全局和局部图像；其中矫正后的全局和局部图像，为难分正负样本三元组行人图像、人体姿态矫正后的行人全局图像和局部ROI图像；具体分为以下步骤：
(2.1)将每一个训练batch，随机挑选P个ID的行人，每个行人随机挑选K张不同的图像，每个batch含有P×K张行人图像；
(2.2)将每一个训练batch中图像为锚样本Hn，选择一个最难的正样本
Figure GDA0004088048170000104
和一个最难的负样本
Figure GDA0004088048170000105
和Hn组成一个三元组，选择难分样本对的要求是
Figure GDA0004088048170000106
最大，
Figure GDA0004088048170000107
最小；
具体的，使用步骤(1.1)中的预训练深度卷积神经网络模型，在与锚样本Hn相同行人ID图像中选择得分最低的行人图像样本组成难分正样本对，在与锚样本Hn不同行人ID图像中选择得分最高的行人图像样本组成难分负样本对；
(2.3)将难分正负样本三元组行人图像输入到人体骨骼关键点检测网络，分别检测出十四个人体骨骼关键点，包括头部、四肢、上半身、下半身，并以十四个关键点为坐标对人体姿态进行矫正；
(2.4)根据十四个人体骨骼关键点，将行人全局图像分割为头部、上半身、下半身三个行人局部ROI图像，获取一张矫正后行人全局图像和三张行人局部图像。
③特征向量：将矫正后的全局和局部图像、数据增强后的难分样本对，输入到行人重识别预训练网络模型，获取行人局部和全局特征向量；具体分为以下步骤：
(3.1)获取经过步骤(1.1)预训练深度卷积神经网络模型和经过步骤②矫正后的全局和局部图像，并去除预训练深度卷积神经网络模型顶层的softmax层和一层全连接层；
(3.2)将数据增强后的难分样本对、矫正后的全局和局部图像分别输入到深度卷积神经网络模型，经过步骤(3.1)构建的深度卷积神经网络模型，获得行人全局特征向量A和行人局部特征向量B1、B2、B3，其中B1为头部区域特征向量、B2为上半身区域特征向量、B3为下半身特征向量。
进一步地，数据增强后的难分样本对分别并行输入到深度卷积神经网络时，各个深度卷积神经网络模型同时进行传播，同时共享权重。
④深度特征融合：将行人局部和全局特征向量进行深度特征融合，获取最终行人特征向量；具体分为以下步骤：
(4.1)将步骤③中的行人局部和全局特征向量输入到一层全连接层，进行深度特征融合，获取输出融合后的行人特征向量C；
(4.2)将融合后的行人特征向量C和步骤(3.2)中的行人局部特征向量B1、B2、B3，分别输入一层平方层，平方层使用平方欧氏距离度量难分样本对之间的相似度，表示为：
Figure GDA0004088048170000121
Figure GDA0004088048170000122
其中，a为锚样本，p为最难正样本，n为最难负样本，da,p为难分正样本对之间的距离，da,n为难分负样对之间的距离。
优选的，为了使深度卷积神经网络能够提取行人特征具有更高的分辨性，同时充分利用行人样本的标注信息，训练过程中，使用了交叉熵损失和三元组损失，其中融合全局特征和局部特征的深度卷积神经网络在训练过程中使用两种损失函数，提取头部、上半身、下半身的深度卷积神经网络仅使用了三元组损失函数；
进一步地，融合全局特征和局部特征的深度卷积神经网络使用了交叉熵损失和TriHard损失，表示为：
Figure GDA0004088048170000123
其中，与锚样本a具有相同ID的样本集为A，剩下不同ID的样本集为B。Lth为TriHard损失，LI为交叉熵损失，Lth中的α是认为设定的阈值参数，qj表示标签概率，C为类别总数；
进一步地，提取行人的头部、上半身、下半身的深度卷积神经网络使用了TriHard损失函数，通过共享权重参数使得提取行人全局特征的深度卷积神经网络能够更多关注具有区分性的局部特征，其中，损失函数Lth为：
Figure GDA0004088048170000131
其中，与锚样本a具有相同ID的样本集为A，剩下不同ID的样本集为B。Lth中的α是认为设定的阈值参数；
最后将提取深度融合特征和局部特征的损失，按照相应的权重加权，形成Totalloss，对整体网络进行反向传播更新网络参数；
⑤训练模型：采用迁移学习的方式和步骤④中最终行人特征向量，对行人重识别预训练网络模型进行微调，并在行人重识别预训练网络模型中共添加自适应层，获取行人重识别网络模型；为了获得更好的迁移学习效果，添加自适应层，使得源域和目标域的数据分布更接近，从而使得行人重识别网络模型的效果更好；
具体的，将多核MMD度量的参数学习添加在深度卷积神经网络的训练中，目的度量源域和目标域的差异，其中多核MMD度量的多核表示为：
Figure GDA0004088048170000132
源域与目标域之间的分布距离表示为：
Figure GDA0004088048170000133
其中，φ()是映射，用于将原变量映射到再生核希尔伯特空间，H表示表示度量距离是由φ()将数据映射到再生希尔伯特空间(RKHS)中进行度量的；
自适应层的优化目标由损失函数和自适应损失组成，表示为：
Figure GDA0004088048170000141
其中，Θ表示网络的所有权重和偏置参数，是学习的目标参数，l1到l2是网络适配的开始与结束层，前面的不进行适配，
Figure GDA0004088048170000142
na表示源域和目标域中所有标注数据的集合，J()是损失函数；
具体的，将获得的预训练深度卷积神经网络去除顶层softmax层后，选择一张行人图像输入并使用训练好的分类器计算卷积神经网络顶端几层卷积层的得分，固定得分最高的一层之前的网络，得分最高的一层及之后的网络层进行微调；
⑥测试模型：仅使用行人重识别网络模型，输入查询行人和目标行人图像，获取两个具有区分性的行人特征向量，从两个具有区分性的行人特征向量中分别提取行人全局特征向量；具体分为以下步骤：
(6.1)将查询与目标行人图像输入到人体关键点与姿态矫正网络进行人体姿态矫正；
(6.2)将人体姿态矫正后的行人图像输入行人重识别网络模型，获取行人全局特征向量。
⑦识别结果：基于步骤中⑥的行人全局特征向量，计算查询行人与目标行人数据集中任意一张图像之间的相似度，其中相似度最高的被认为是相同的行人。
进一步地，训练阶段中的行人重识别网络模型的输入，采用三元组(triplet)行人图像。
实施例2
如上所述，一种基于迁移学习和深度特征融合的行人重识别方法，包括以下步骤：
步骤S1，将基于ImageNet的预训练模型在行人重识别数据上进行预训练，获得行人重识别预训练网络模型；
步骤S11，获取在ImageNet数据集上预先训练好的深度卷积网络模型，并将其在行人重识别数据上进行训练；
步骤S12，在行人重识别数据上预训练深度卷积神经网络模型时，仅使用了样本标注信息对网络模型进行微调；
步骤S121，将在ImageNet数据集上预训练的ResNet50网络模型，去除顶层的全连接层，在最大池化层后添加两层全连接层和一层softmax层；
进一步地，添加的两层全连接层参数分别为1×1×2048、1×1×751，输入图像224×224，在对ResNet50进行预训练时，采用梯度下降法进行迭代优化，迭代次数设置为75次，学习率初始化为0.1，优化过程中权重衰减值设置为0.001，每个batch输入64张行人样本；
步骤S122，利用行人图像标注的标签信息对构建的深度卷积神经网络进行微调，在微调过程中固定网络的前三层。因为卷积神经网络的前三层提取的特征通常为纹理、边缘等，其特征具有一定的通用性；
步骤S123，根据所述的卷积神经网络得到行人全局图像的预测概率，表示为：
Figure GDA0004088048170000151
其中，yi表示样本x属于第i个类别的概率，
Figure GDA0004088048170000152
是归一化项，C为类别总数；
优选的，在Market-1501数据库进行训练与测试时，C＝751。
步骤S124，根据所述的预测概率将所述卷积神经网络中的损失函数设置为LI，表示为：
Figure GDA0004088048170000161
其中，qj表示标签概率，C为751；
步骤S2，训练阶段，网络模型的输入采用三元组(triplet)行人图像。首先，在行人数据集上选取难分样本对，并输入到人体骨骼关键点检测网络检测出十四个关键点，然后进行人体姿态矫正和行人局部ROI分割，获得矫正后的全局图像和局部图像；
步骤S21，将每一个训练batch，随机挑选P个ID的行人，每个行人随机挑选K张不同的图像，每个batch即含有P×K张行人图像；
具体的，在本实施例中选取6个ID的行人，每个ID行人随机挑选16张不同的图像，每个batch含有64张行人图像；
步骤S22，将每一个训练batch中图像为锚样本Hn，选择一个最难的正样本
Figure GDA0004088048170000162
和一个最难的负样本
Figure GDA0004088048170000163
和Hn组成一个三元组，选择难分样本对的要求是
Figure GDA0004088048170000164
最大，
Figure GDA0004088048170000165
最小；
进一步地，使用步骤S1预训练的卷积神经网络模型，在与锚样本Hn相同行人ID图像中选择得分最低的行人图像样本组成难分正样本对，在与锚样本Hn不同行人ID图像中选择得分最高的行人图像样本组成难分负样本对；
步骤S23，将三元组行人图像输入到人体骨骼关键点检测网络，分别检测出十四个人体骨骼关键点，包括头部、四肢、上半身、下半身，并以十四个关键点为坐标对人体姿态进行矫正；
步骤S24，依据十四个人体骨骼关键点，将行人全局图像分割为头部、上半身、下半身三个行人局部ROI图像，进而获得一张矫正后行人全局图像和三张行人局部图像；
步骤S3，将经过人体姿态矫正和数据增强后的难分样本对，输入到预训练网络进而获得行人局部和全局特征向量；
步骤S31，获取经过步骤S1预训练的深度卷积神经网络模型和经过步骤S2得到基于难分样本对的行人全局图像和局部图像，并去除预训练深度卷积神经网络顶层的softmax层和一层全连接层；
在本实施例中，添加的全连接层参数分别为1×1×751，输入图像224×224，在对ResNet50进行预训练时，采用梯度下降法进行迭代优化，迭代次数设置为60次，前20次迭代学习率初始化为0.01，后面40次迭代的学习率为0.001，优化过程中权重衰减值设置为0.0001，每个batch输入64张行人样本；
步骤S32，将获取的难分样本对分别输入到深度卷积神经网络，包括行人全局图像和局部图像，经过步骤S31构建的深度卷积神经网络，获得行人全局特征向量A和行人局部特征向量B1,B2,B3，其中B1为头部区域特征向量、B2为上半身区域特征向量、B3为下半身特征向量；
步骤S33，难分样本对分别并行输入到深度卷积神经网络时，各个深度卷积神经网络模型同时进行传播，同时共享权重；
步骤S4，将获得的行人局部特征向量与全局特征向量进行深度特征融合，得到最终行人特征向量；
步骤S41，经过步骤S3得到行人全局特征向量A和行人局部特征向量B1,B2,B3，然后将行人全局特征向量和局部特征向量输入到一层全连接层进行深度特征融合，进行输出融合后的行人特征向量C，如图2所示；
步骤S42，将融合后的行人特征向量C和局部特征向量B1,B2,B3，分别输入一层平方层，平方层使用平方欧氏距离度量难分样本对之间的相似度，表示为：
Figure GDA0004088048170000181
Figure GDA0004088048170000182
其中，a为锚样本，p为最难正样本，n为最难负样本，da,p为难分正样本对之间的距离，da,n为难分负样对之间的距离；
步骤S43，为了使深度卷积神经网络能够提取行人特征具有更高的分辨性，同时充分利用行人样本的标注信息，训练网络过程中使用了交叉熵损失和三元组损失，其中融合全局特征和局部特征的深度卷积神经网络在训练过程中使用两种损失函数，提取头部、上半身、下半身特征的深度卷积神经网络仅使用了三元组损失函数；
步骤S431，融合全局特征和局部特征的深度卷积神经网络使用了交叉熵损失和TriHard损失，表示为：
Figure GDA0004088048170000183
其中，与锚样本a具有相同ID的样本集为A，剩下不同ID的样本集为B。Lth为TriHard损失，LI为交叉熵损失，Lth中的α是认为设定的阈值参数，qj表示标签概率，C为751；
步骤S432，提取行人的头部、上半身、下半身的深度卷积神经网络使用了TriHard损失函数，通过共享权重参数使得提取行人全局特征的深度卷积神经网络能够更多关注具有区分性的局部特征，其中，损失函数Lth为：
Figure GDA0004088048170000184
其中，与锚样本a具有相同ID的样本集为A，剩下不同ID的样本集为B。Lth中的α是认为设定的阈值参数；
步骤S433，最后将提取深度融合特征和局部特征的损失，按照相应的权重加权，形成Total loss，对整体网络进行反向传播更新网络参数，如图3所示；
进一步地，所述各网络损失按照相应的权重加权的组合方式为：
Figure GDA0004088048170000191
其中，pc为提取深度融合特征的交叉熵损失，pt、
Figure GDA0004088048170000192
分别为提取的深度融合特征、头部特征、上半身特征、下半身特征的TriHard损失，权重因子α1、α2、α3、α4、α5分别设置为0.2、0.2、0.2、0.2、0.2；
步骤S5，在行人重识别网络模型训练的整个过程中，采用迁移学习的方式对预训练网络进行微调，通过在网络中添加自适应层；
步骤S51，将获得的预训练卷积神经网络去除顶层softmax层后，选择一张行人图像输入到网络中并使用训练好的分类器计算卷积神经网络顶端几层卷积层的得分，固定得分最高的一层之前的网络，得分最高的一层及之后的网络层进行微调；
步骤S52，为了获得更好的迁移学习效果在微调的网络层中添加自适应层，目的使得源域和目标域的数据分布更接近，从而行人重识别网络获得更好的效果。将多核MMD度量的参数学习添加在深度卷积神经网络的训练中，目的度量源域和目标域的差异，其中多核MMD度量的多核表示为：
Figure GDA0004088048170000193
源域与目标域之间的分布距离表示为：
Figure GDA0004088048170000201
其中，φ()是映射，用于将原变量映射到再生核希尔伯特空间，H表示表示度量距离是由φ()将数据映射到再生希尔伯特空间(RKHS)中进行度量的；
步骤S53，自适应层的优化目标由损失函数和自适应损失组成，表示为：
Figure GDA0004088048170000202
其中，Θ表示网络的所有权重和偏置参数，是学习的目标参数，l1到l2是网络适配的开始与结束层，前面的不进行适配，
Figure GDA0004088048170000203
na表示源域和目标域中所有标注数据的集合，J()是损失函数；
步骤S6，在测试阶段，仅使用训练好的网络模型提取行人全局特征向量。基于上述步骤训练好的网络模型，输入查询行人和目标行人图像，获得两个具有较高区分性的行人特征向量；
步骤S61，经过上述步骤训练后的深度卷积神经网络提取的行人全局特征向量具有较高的区分性，因此模型的测试阶段仅提取行人全局特征向量；
步骤S62，将查询与目标行人图像输入到人体关键点与姿态矫正网络进行人体姿态矫正；
步骤S7，基于行人全局特征向量，计算查询行人图像与目标行人图像数据集中任意一张图像之间的相似度，其中相似度最高的被认为是相同的行人，进行得到行人重识别结果。
具体的，本发明实施例以Market-1501行人数据库作为训练集与测试集，提出的一种基于迁移学习和深度特征融合的行人重识别方法的rank-1达到85％，mAp达到60％。本发明行人重识别方法采用迁移学习和在训练采用深度融合行人全局特征与局部特征的方法，大大提升了行人重识别的准确率，由此可见本发明方法的有效性。
综上所述，本发明采用迁移学习的方式训练深度融合行人局部和全局特征的网络模型，在训练阶段，用行人数据集上选取难分正样本对和难分负样本对，并输入到人体骨骼关键点检测网络，检测出十四个关键点，以十四个关键点对行人姿态进行矫正以及分割成三个行人图像子区域；将包含难分正样本对和难分负样本对的行人训练图像分别输入到预训练网络，其中输入每张样本扩展为一张行人整体图像和三张行人子区域图像，获得行人局部和全局特征向量；将三个行人局部特征向量输入到一层全连接层与行人全局特征向量进行融合，得到深度特征融合的行人特征向量；在行人重识别网络训练过程采用迁移学习的方式对预训练网络进行微调，在预训练网络顶层添加自适应层来完成源域和目标域的自适应，使得源域和目标域的数据分布更加接近，从而行人重识别网络的效果更好；测试阶段，仅使用全局特征网络模型，输入查询行人图像和目标行人图像到全局特征提取网络模型，得到两个全局特征向量，进而计算查询行人和目标行人的相似度，得到识别结果。

Claims (6)

1.一种基于迁移学习和深度特征融合的行人重识别方法，其特征在于：包括以下步骤：
①预训练：将基于ImageNet的预训练模型在行人重识别数据上进行预训练，获得行人重识别预训练网络模型；
②人体姿态矫正和分割：在行人数据集上选取难分样本对，并输入到人体骨骼关键点检测网络，检测出的十四个关键点，并进行人体姿态矫正和行人局部ROI分割，获取数据增强后的难分样本对、矫正后的全局和局部图像；
③特征向量：将矫正后的全局和局部图像、数据增强后的难分样本对，输入到行人重识别预训练网络模型，获取行人局部和全局特征向量；
④深度特征融合：将行人局部和全局特征向量进行深度特征融合，获取最终行人特征向量；
⑤训练模型：采用迁移学习的方式和步骤④中最终行人特征向量，对行人重识别预训练网络模型进行微调，并在行人重识别预训练网络模型中添加自适应层，获取行人重识别网络模型；
⑥测试模型：输入查询行人和目标行人图像，仅使用行人重识别网络模型提取两个具有区分性的行人全局特征向量；
⑦识别结果：基于步骤中⑥的行人全局特征向量，计算查询行人与目标行人数据集中任意一张图像之间的相似度，其中相似度最高的被认为是相同的行人；
所述步骤①分为以下步骤：
(1.1)获取在ImageNet数据集上预先训练好的深度卷积网络模型，并将其在行人重识别数据上进行训练；
(1.2)在行人重识别数据上预训练深度卷积神经网络模型时，仅利用了样本标注信息对深度卷积网络模型进行微调；
所述步骤(1.2)分为以下步骤：
(1.2.1)将在ImageNet数据集上预训练的ResNet50网络模型，去除顶层的全连接层，在最大池化层后添加两层全连接层和一层softmax层；
(1.2.2)利用行人图像标注的标签信息对构建的深度卷积神经网络进行微调，在微调过程中固定深度卷积神经网络的前三层；
(1.2.3)根据深度卷积神经网络获取行人全局图像的预测概率；
(1.2.4)根据预测概率定义深度卷积神经网络中的损失函数；
所述步骤②分为以下步骤：
(2.1)将每一个训练batch，随机挑选P个ID的行人，每个行人随机挑选K张不同的图像，每个batch含有P×K张行人图像；
(2.2)将每一个训练batch中图像为锚样本Hn，选择一个最难分的正样本
Figure QLYQS_1
和一个最难分的负样本
Figure QLYQS_2
和Hn组成一个三元组，选择难分样本对的要求是
Figure QLYQS_3
最大，
Figure QLYQS_4
最小；
(2.3)将难分正负样本三元组行人图像输入到人体骨骼关键点检测网络，分别检测出十四个人体骨骼关键点，包括头部、四肢、上半身、下半身，并以十四个关键点为坐标对人体姿态进行矫正；
(2.4)根据十四个人体骨骼关键点，将行人全局图像分割为头部、上半身、下半身三个行人局部ROI图像，获取一张矫正后行人全局图像和三张行人局部图像；
所述步骤⑥分为以下步骤：
(6.1)将查询与目标行人图像输入到人体关键点与姿态矫正网络进行人体姿态矫正；
(6.2)将人体姿态矫正后的行人图像输入行人重识别网络模型，获取行人全局特征向量；
所述步骤⑤中，将多核MMD度量的参数学习添加在深度卷积神经网络的训练中，目的度量源域和目标域的差异，其中多核MMD度量的多核表示为：
Figure QLYQS_5
源域与目标域之间的分布距离表示为：
Figure QLYQS_6
其中，φ()是映射，用于将原变量映射到再生核希尔伯特空间，H表示表示度量距离是由φ()将数据映射到再生希尔伯特空间RKHS中进行度量的；
自适应层的优化目标由损失函数和自适应损失组成，表示为：
Figure QLYQS_7
其中，Θ表示网络的所有权重和偏置参数，是学习的目标参数，l1到l2是网络适配的开始与结束层，前面的不进行适配，
Figure QLYQS_8
na表示源域和目标域中所有标注数据的集合，J()是损失函数。
2.如权利要求1所述的基于迁移学习和深度特征融合的行人重识别方法，其特征在于：训练阶段中的行人重识别网络模型的输入，采用三元组行人图像。
3.如权利要求1所述的基于迁移学习和深度特征融合的行人重识别方法，其特征在于：所述步骤②中获取的矫正后的全局和局部图像，为难分正负样本三元组行人图像、人体姿态矫正后的行人全局图像和局部ROI图像。
4.如权利要求1所述的基于迁移学习和深度特征融合的行人重识别方法，其特征在于：所述步骤(2.2)中，使用步骤(1.1)中的预训练深度卷积神经网络模型，在与锚样本Hn相同行人ID图像中选择得分最低的行人图像样本组成难分正样本对，在与锚样本Hn不同行人ID图像中选择得分最高的行人图像样本组成难分负样本对。
5.如权利要求1所述的基于迁移学习和深度特征融合的行人重识别方法，其特征在于：所述步骤③分为以下步骤：
(3.1)获取经过步骤(1.1)预训练深度卷积神经网络模型和经过步骤②矫正后的全局和局部图像，并去除预训练深度卷积神经网络模型顶层的softmax层和一层全连接层；
(3.2)将数据增强后的难分样本对、矫正后的全局和局部图像分别输入到深度卷积神经网络模型，经过步骤(3.1)构建的深度卷积神经网络模型，获取行人全局特征向量和行人局部特征向量。
6.如权利要求1所述的基于迁移学习和深度特征融合的行人重识别方法，其特征在于：所述步骤④分为以下步骤：
(4.1)将步骤③中的行人局部和全局特征向量输入到一层全连接层，进行深度特征融合，获取输出融合后的行人特征向量；
(4.2)将融合后的行人特征向量和步骤(3.2)中的行人局部特征向量，分别输入一层平方层，平方层使用平方欧氏距离度量难分样本对之间的相似度。
CN201910329733.2A 2019-04-23 2019-04-23 一种基于迁移学习和深度特征融合的行人重识别方法 Active CN110163110B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910329733.2A CN110163110B (zh) 2019-04-23 2019-04-23 一种基于迁移学习和深度特征融合的行人重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910329733.2A CN110163110B (zh) 2019-04-23 2019-04-23 一种基于迁移学习和深度特征融合的行人重识别方法

Publications (2)

Publication Number Publication Date
CN110163110A CN110163110A (zh) 2019-08-23
CN110163110B true CN110163110B (zh) 2023-06-06

Family

ID=67639792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910329733.2A Active CN110163110B (zh) 2019-04-23 2019-04-23 一种基于迁移学习和深度特征融合的行人重识别方法

Country Status (1)

Country Link
CN (1) CN110163110B (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569779B (zh) * 2019-08-28 2022-10-04 西北工业大学 基于行人局部和整体属性联合学习的行人属性识别方法
CN110533184B (zh) * 2019-08-31 2023-01-06 南京人工智能高等研究院有限公司 一种网络模型的训练方法及装置
CN110555420B (zh) * 2019-09-09 2022-04-12 电子科技大学 一种基于行人区域特征提取和重识别融合模型网络及方法
CN110674881B (zh) * 2019-09-27 2022-02-11 长城计算机软件与系统有限公司 商标图像检索模型训练方法、系统、存储介质及计算机设备
CN110688976A (zh) * 2019-10-09 2020-01-14 创新奇智(北京)科技有限公司 基于图像识别的门店比对方法
CN110705499B (zh) * 2019-10-12 2020-06-02 成都考拉悠然科技有限公司 一种基于迁移学习的人群计数方法
CN110795580B (zh) * 2019-10-23 2023-12-08 武汉理工大学 基于时空约束模型优化的车辆重识别方法
CN112784630A (zh) * 2019-11-06 2021-05-11 广东毓秀科技有限公司 一种基于物理分割的局部特征进行行人重识别的方法
CN111126198B (zh) * 2019-12-11 2023-05-09 中山大学 一种基于深度表示学习跟动态匹配的行人再识别方法
CN112990424B (zh) * 2019-12-17 2024-05-10 杭州海康威视数字技术股份有限公司 神经网络模型训练的方法和装置
CN111126599B (zh) * 2019-12-20 2023-09-05 复旦大学 一种基于迁移学习的神经网络权重初始化方法
CN111126275B (zh) * 2019-12-24 2023-05-05 广东省智能制造研究所 一种基于多粒度特征融合的行人再识别方法及装置
CN111160295B (zh) * 2019-12-31 2023-05-12 广州视声智能科技有限公司 基于区域引导和时空注意力的视频行人重识别方法
CN111274922B (zh) * 2020-01-17 2022-11-29 山东师范大学 基于多层次深度学习网络的行人重识别方法及系统
CN111401265B (zh) * 2020-03-19 2020-12-25 重庆紫光华山智安科技有限公司 行人重识别方法、装置、电子设备和计算机可读存储介质
CN111428650B (zh) * 2020-03-26 2024-04-02 北京工业大学 一种基于sp-pggan风格迁移的行人重识别方法
CN111539257B (zh) * 2020-03-31 2022-07-26 苏州科达科技股份有限公司 人员重识别方法、装置和存储介质
CN111428675A (zh) * 2020-04-02 2020-07-17 南开大学 一种融入行人体态姿态特征的行人重识别方法
CN111582154A (zh) * 2020-05-07 2020-08-25 浙江工商大学 基于多任务骨架姿态划分部件的行人重识别方法
CN111696056B (zh) * 2020-05-25 2023-05-02 五邑大学 一种基于多任务迁移学习的数字档案图像的矫正方法
CN111881842A (zh) * 2020-07-30 2020-11-03 深圳力维智联技术有限公司 行人重识别方法、装置、电子设备及存储介质
CN111967389B (zh) * 2020-08-18 2022-02-18 厦门理工学院 基于深度双路径学习网络的人脸属性识别方法及系统
CN112132200B (zh) * 2020-09-17 2024-07-02 山东大学 基于多尺度岩石图像深度学习的岩性识别方法及系统
CN112183438B (zh) * 2020-10-13 2022-11-04 深圳龙岗智能视听研究院 基于小样本学习神经网络的违规行为的图像识别方法
CN112989911B (zh) * 2020-12-10 2024-10-15 奥比中光科技集团股份有限公司 一种行人再识别方法及系统
CN112990144B (zh) * 2021-04-30 2021-08-17 德鲁动力科技(成都)有限公司 一种用于行人重识别的数据增强方法及系统
CN113221770B (zh) * 2021-05-18 2024-06-04 青岛根尖智能科技有限公司 基于多特征混合学习的跨域行人重识别方法及系统
CN113379627B (zh) * 2021-06-07 2023-06-27 北京百度网讯科技有限公司 图像增强模型的训练方法和对图像进行增强的方法
CN113377991B (zh) * 2021-06-10 2022-04-15 电子科技大学 一种基于最难正负样本的图像检索方法
CN113378729B (zh) * 2021-06-16 2024-05-10 西安理工大学 一种基于位姿嵌入的多尺度卷积特征融合行人重识别方法
CN113591864B (zh) * 2021-07-28 2023-04-07 北京百度网讯科技有限公司 文本识别模型框架的训练方法、装置及系统
CN114863138B (zh) * 2022-07-08 2022-09-06 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766791A (zh) * 2017-09-06 2018-03-06 北京大学 一种基于全局特征和粗粒度局部特征的行人再识别方法及装置
CN107832672A (zh) * 2017-10-12 2018-03-23 北京航空航天大学 一种利用姿态信息设计多损失函数的行人重识别方法
CN108334849A (zh) * 2018-01-31 2018-07-27 中山大学 一种基于黎曼流形的行人重识别方法
CN109002761A (zh) * 2018-06-13 2018-12-14 中山大学新华学院 一种基于深度卷积神经网络的行人重识别监控系统
CN109271870A (zh) * 2018-08-21 2019-01-25 平安科技（深圳）有限公司 行人重识别方法、装置、计算机设备及存储介质
CN109446898A (zh) * 2018-09-20 2019-03-08 暨南大学 一种基于迁移学习和特征融合的行人重识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018081135A1 (en) * 2016-10-25 2018-05-03 Vmaxx Inc. Point to set similarity comparison and deep feature learning for visual recognition

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766791A (zh) * 2017-09-06 2018-03-06 北京大学 一种基于全局特征和粗粒度局部特征的行人再识别方法及装置
CN107832672A (zh) * 2017-10-12 2018-03-23 北京航空航天大学 一种利用姿态信息设计多损失函数的行人重识别方法
CN108334849A (zh) * 2018-01-31 2018-07-27 中山大学 一种基于黎曼流形的行人重识别方法
CN109002761A (zh) * 2018-06-13 2018-12-14 中山大学新华学院 一种基于深度卷积神经网络的行人重识别监控系统
CN109271870A (zh) * 2018-08-21 2019-01-25 平安科技（深圳）有限公司 行人重识别方法、装置、计算机设备及存储介质
CN109446898A (zh) * 2018-09-20 2019-03-08 暨南大学 一种基于迁移学习和特征融合的行人重识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"GLAD: Global-Local-Alignment Descriptor for Scalable Person Re-Identification";Longhui Wei;《IEEE Transactions on Multimedia》;20180914;986-999页 *
"基于深度学习的行人再识别研究综述";徐梦洋;《计算机科学》;20181031;119-122页 *

Also Published As

Publication number Publication date
CN110163110A (zh) 2019-08-23

Similar Documents

Publication Publication Date Title
CN110163110B (zh) 一种基于迁移学习和深度特征融合的行人重识别方法
CN113378632B (zh) 一种基于伪标签优化的无监督域适应行人重识别方法
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN108960140B (zh) 基于多区域特征提取和融合的行人再识别方法
CN107862705B (zh) 一种基于运动特征和深度学习特征的无人机小目标检测方法
US20200285896A1 (en) Method for person re-identification based on deep model with multi-loss fusion training strategy
CN113326731B (zh) 一种基于动量网络指导的跨域行人重识别方法
CN110276264B (zh) 一种基于前景分割图的人群密度估计方法
CN113033520B (zh) 一种基于深度学习的树木线虫病害木识别方法及系统
CN109598268A (zh) 一种基于单流深度网络的rgb-d显著目标检测方法
CN109190446A (zh) 基于三元组聚焦损失函数的行人再识别方法
CN109284767B (zh) 一种基于增广样本和多流层的行人检索方法
CN110390308B (zh) 一种基于时空对抗生成网络的视频行为识别方法
CN112347888A (zh) 基于双向特征迭代融合的遥感图像场景分类方法
CN109635726B (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
CN113158943A (zh) 一种跨域红外目标检测方法
CN112084895B (zh) 一种基于深度学习的行人重识别方法
CN112966647A (zh) 一种基于逐层聚类及增强判别的行人重识别方法
CN108960142B (zh) 基于全局特征损失函数的行人再识别方法
JP2022082493A (ja) ノイズチャネルに基づくランダム遮蔽回復の歩行者再識別方法
CN115376159A (zh) 一种基于多模态信息的跨外观行人重识别方法
CN115830643B (zh) 一种姿势引导对齐的轻量行人重识别方法
CN112446305A (zh) 一种基于分类权重等距分布损失模型的行人重识别方法
CN116051917B (zh) 一种训练图像量化模型的方法、检索图像的方法及装置
Guo et al. Discriminative Prototype Learning for Few-Shot Object Detection in Remote Sensing Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant