[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN112580488B - 一种基于自启发的人体姿态估计模型训练方法及装置 - Google Patents

一种基于自启发的人体姿态估计模型训练方法及装置 Download PDF

Info

Publication number
CN112580488B
CN112580488B CN202011478197.1A CN202011478197A CN112580488B CN 112580488 B CN112580488 B CN 112580488B CN 202011478197 A CN202011478197 A CN 202011478197A CN 112580488 B CN112580488 B CN 112580488B
Authority
CN
China
Prior art keywords
model
training
loss
heat map
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011478197.1A
Other languages
English (en)
Other versions
CN112580488A (zh
Inventor
王妙辉
许倬维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202011478197.1A priority Critical patent/CN112580488B/zh
Publication of CN112580488A publication Critical patent/CN112580488A/zh
Application granted granted Critical
Publication of CN112580488B publication Critical patent/CN112580488B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Social Psychology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Psychiatry (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于自启发的人体姿态估计模型训练方法与装置，包括：训练初始化，建立训练模型及指引模型；获取具有人体姿态内容的图像；将图像转换为热图；根据所述热图获取原生姿态损失及指引损失；根据联合补偿损失函数获取联合补偿损失；更新训练模型的权重以及更新指引模型的权重；将当前训练模型指定为下一指引模型，将当前指引模型指定为下一训练模型。本发明的有益效果在于：提供了一种交替式的自启发模型训练框架，通过新设计损失函数进行差异性度量、联合补偿损失的监督强化以及指引更新策略的指引更新，实现训练模型与指引模型的交替训练与指引，使得模型训练经验被更多地提取与学习，从而获得更佳的人体姿态估计关键点特征表达。

Description

一种基于自启发的人体姿态估计模型训练方法及装置
技术领域
本发明涉及一种人体姿态估计技术领域，尤其是指一种基于自启发的人体姿态估计模型训练方法及装置。
背景技术
人体姿态估计指对于具有人体姿态内容的图片，输出人体关键部位在图中的具体位置与关系，通过此类定位信息构建出人体姿态骨架图，并最终以图形形式来表示人体姿势的计算机视觉任务。人体姿态估计结果在本质上是一组坐标，并通过关键点之间的关系进行相互连接，以描述人体的姿势。在运动分析、视频监控以及人机交互等计算机视觉应用领域中，对人体关键点进行定位以构建姿势是必不可少的关键环节以及亟待解决的重要问题，俨然成为了计算机视觉领域中基础又非常热门的研究方向。
二维人体姿态估计算法主要可分为基于整体特征的人体姿态估计算法、基于模型的人体姿态估计算法和基于深度学习的人体姿态估计算法等。
基于整体特征的人体姿态估计算法主要针对人的整体轮廓表征方法进行算法设计。如何设计有效的表征以表达人体姿态特征，如何设计有效的映射将特征描述转换为拟合函数，是这类算法研究任务所在。
基于模型的人体姿态估计算法则是研究人体各个关键部位的空间关系求解，得到关键点预测值。由于人体结构基础部位可视为刚性结构，因此其形体特征的关联信息与空间特征的连接信息往往是具备一定规律的。
基于深度学习的算法能够从大数据中自动学习人体姿态特征以及关节点空间关系，实现更佳精准的人体姿态表达。
然而，各种大规模模型反映了性能和复杂性之间的矛盾。高性能模型通常非常复杂，而简单模型的性能不够好。究其原因，现有的人体姿态方法大多着眼于提高模型的性能，而没有考虑模型的复杂性。因此，大规模模型的实际部署都表现出较差的可扩展性和成本效益。这就要求在尽可能保持预测精度的前提下，降低模型的规模和复杂度。
发明内容
本发明所要解决的技术问题是：针对现有人体姿态估计模型复杂度过高的问题，提出一种基于自启发的人体姿态估计模型训练方法，以提高简单模型性能，从而降低模型复杂度需求。
为了解决上述技术问题，本发明采用的技术方案为：一种基于自启发的人体姿态估计模型训练方法，包括：
S1、训练初始化，建立训练模型及指引模型；
S2、获取具有人体姿态内容的图像；
S3、将图像转换为热图，所述热图包括基准标签值热图训练模型的输出热图heatmapn和指引模型的输出热图/>
S4、根据所述热图获取原生姿态损失及指引损失；
S5、根据联合补偿损失函数获取联合补偿损失；
S6、更新训练模型的权重以及更新指引模型的权重；
S7、将当前训练模型指定为下一指引模型，将当前指引模型指定为下一训练模型；
S8、返回步骤S2。
进一步的，在步骤S4之中，根据原生姿态损失计算公式获取原生姿态损失，所述原生姿态损失计算公式为：
根据指引损失计算公式获取指引损失，所述指引损失计算公式为：
其中，n为关键点集合的序号，满足n＝1，2，...，N，其中N为待估计的人体姿态关键点总数，pn(i，j)表示对于关键点jn的训练模型的输出热图heatmapn在位置(i，j)的置信度值大小，代表对于关键点jn的基准标签值热图/>的置信度分布，即/>代表在/>位置为(i，j)的置信度值大小；/>代表对于关键点(i，j)的指引模型的输出热图/>的置信度分布，即/>代表在/>位置为(i，j)的置信度值大小；ξn表示在/>中对关键点jn损失的权重分配值，ξ′n表示在/>中对关键点jn损失的权重分配值，ε，ε′，ρ，ρ′，σ1，σ′1，σ2，σ′2为常数，(ipredict，jpredict)表示模型的输出关于关键点jn的坐标位置，且满足关键点坐标标识条件：
pn(ipredict，jpredict)＝max(pn)。
进一步的，在步骤S5之中，所述联合补偿损失函数为：
其中，w1和w2为常数。
进一步的，在步骤S6之中，通过Adam优化器进行梯度优化策略的执行，使用联合补偿损失进行梯度反向传播，更新训练模型的权重。
进一步的，在步骤S6之中，通过指引更新函数对指引模型的权重进行更新，对于当前迭代轮次ITER，所述指引更新函数为：
其中，为指引模型在某一迭代轮次iter的网络权重，θiter为训练模型在某一迭代轮次iter的网络权重，num是常数，以表示指引更新中所使用的轮次范围。
本发明还涉及一种基于自启发的人体姿态估计模型训练装置，包括图像识别模块、获取模块、转换模块、更新模块和指定模块，
所述图像识别模块用于识别图像中人体姿态的各个关键点，并且使得人体关键点与图像其他部分进行区别标识；
所述获取模块用于获取具有人体姿态内容的图像、根据所述热图获取原生姿态损失及指引损失以及根据联合补偿损失函数获取联合补偿损失；
所述转换模块用于将图像转换为热图，所述热图包括基准标签值热图训练模型的输出热图heatmapn和指引模型的输出热图/>
所述更新模块用于更新训练模型的权重以及更新指引模型的权重；
所述指定模块用于将当前训练模型指定为下一指引模型，以及将当前指引模型指定为下一训练模型。
进一步的，所述获取模块根据原生姿态损失计算公式获取原生姿态损失，所述原生姿态损失计算公式为：
根据指引损失计算公式获取指引损失，所述指引损失计算公式为：
其中，n为关键点集合的序号，满足n＝1，2，...，N，其中N为待估计的人体姿态关键点总数，pn(i，j)表示对于关键点jn的训练模型的输出热图heatmapn在位置(i，j)的置信度值大小，代表对于关键点jn的基准标签值热图/>的置信度分布，即/>代表在/>位置为(i，j)的置信度值大小；/>代表对于关键点(i，j)的指引模型的输出热图/>的置信度分布，即/>代表在/>位置为(i，j)的置信度值大小；ξn表示在/>中对关键点jn损失的权重分配值，ξ′n表示在/>中对关键点jn损失的权重分配值，ε，ε′，ρ，ρ′，σ1，σ′1，σ2，σ′2为常数，(ipredict，jpredict)表示模型的输出关于关键点jn的坐标位置，且满足关键点坐标标识条件：
pn(ipredict，jpredict)＝max(pn)。
进一步的，所述获取模块根据联合补偿损失函数获取联合补偿损失，所述联合补偿损失函数为：
其中，w1和w2为常数。
进一步的，所述更新模块通过Adam优化器进行梯度优化策略的执行，使用联合补偿损失进行梯度反向传播，更新训练模型的权重。
进一步的，所述更新模块通过指引更新函数对指引模型的权重进行更新，对于当前迭代轮次ITER，所述指引更新函数为：
其中，为指引模型在某一迭代轮次iter的网络权重，θiter为训练模型在某一迭代轮次iter的网络权重，num是常数，以表示指引更新中所使用的轮次范围。
本发明的有益效果在于：提供了一种交替式的自启发模型训练框架，通过新设计损失函数进行差异性度量、联合补偿损失的监督强化以及指引更新策略的指引更新，实现训练模型与指引模型的交替训练与指引，使得模型训练经验被更多地提取与学习，从而获得更佳的人体姿态估计关键点特征表达。
附图说明
下面结合附图详述本发明的具体流程及结构：
图1为本发明的流程示意图；
图2为本发明的迭代轮次示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不应理解为必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
实施例1
请参阅图1，一种基于自启发的人体姿态估计模型训练方法，包括：
S1、训练初始化，建立训练模型及指引模型；
在训练初始化的过程中，生成训练模型及指引模型组成交替式自启动训练框架，在接连的训练轮次中，训练模型在当前训练中只进行训练，指引模型通过联合补偿损失进行监督增强。每个轮次中训练模型与指引模型均进行权重的更新。训练模型与指引模型在网络框架、模型结构上完全一致，仅具备有不同的模型权重，并且在训练初始化时均处于未训练阶段。
S2、获取具有人体姿态内容的图像；
S3、将图像转换为热图，所述热图包括基准标签值热图训练模型的输出热图heatmapn和指引模型的输出热图/>
识别图像中人体姿态的各个关键点，并将关键点以热图的形式与图像其他部分进行区别标识，调整不同关键点在损失组成中的权重分配，从而提高人体姿态估计模型对部分关键点的敏感程度。
S4、根据所述热图获取原生姿态损失及指引损失，原生姿态损失权衡了训练模型与基准标签值(ground-truth label)之间差异，指引损失/>权衡了训练模型与指引模型之间差异；
具体的，根据原生姿态损失计算公式结合基准标签值热图和训练模型的输出热图heatmapn获取原生姿态损失，所述原生姿态损失计算公式为：
根据指引损失计算公式结合训练模型的输出热图heatmapn和指引模型的输出热图获取指引损失，所述指引损失计算公式为：
其中，n为关键点集合的序号，满足n＝1，2，...，N，其中N为待估计的人体姿态关键点总数，pn(i，j)表示对于关键点jn的训练模型的输出热图heatmapn在位置(i，j)的置信度值大小，代表对于关键点jn的基准标签值热图/>的置信度分布，即/>代表在/>位置为(i，j)的置信度值大小；/>代表对于关键点(i，j)的指引模型的输出热图/>的置信度分布，即/>代表在/>位置为(i，j)的置信度值大小；ξn表示在/>中对关键点jn损失的权重分配值，ξ′n表示在/>中对关键点jn损失的权重分配值，ε，ε′，ρ，ρ′，σ1，σ′1，σ2，σ′2为常数，(ipredict，jpredict)表示模型的输出关于关键点jn的坐标位置，且满足关键点坐标标识条件：
pn(ipredict，jpredict)＝max(pn)。
通过关键点权重分配，损失集获得不同关键点在热图上损失计算上的权重比例，并以加权求和得方式得到了训练模型输出与标签之间的原生损失，训练模型与指引模型之间的指引损失。
S5、根据联合补偿损失函数获取联合补偿损失，可有效进行训练指引的传递；
所述联合补偿损失函数为：
其中，w1和w2为常数，用于衡量原生姿态损失与指引损失/>之间的关系，实验性地通常有w1＝1，w2满足/>
S6、更新训练模型的权重以及更新指引模型的权重；
在每次迭代轮次中，分别对训练模型与指引模型进行权重更新，以获得更好的关键点表达。
通过Adam优化器进行梯度优化策略的执行，使用联合补偿损失进行梯度反向传播，更新训练模型的权重。
通过指引更新函数对指引模型的权重进行更新，对于当前迭代轮次ITER，所述指引更新函数为：
其中，为指引模型在某一迭代轮次iter的网络权重，θiter为训练模型在某一迭代轮次iter的网络权重，num是常数，以表示指引更新中所使用的轮次范围。
S7、将当前训练模型指定为下一指引模型，将当前指引模型指定为下一训练模型；
请参阅图2，在每个新的训练轮次的开始，上一轮次的训练模型将作为本轮次的指引模型，而上一轮次的指引模型将作为本轮次的训练模型，从而进行交替式的训练与指引，使得训练中所传递的训练指引随着训练阶段的推进而不断更新，使得训练指引更加适合训练阶段。
S8、返回步骤S2。
从上述描述可知，本发明的有益效果在于：提供了一种交替式的自启发模型训练框架，通过新设计损失函数进行差异性度量、联合补偿损失的监督强化以及指引更新策略的指引更新，实现训练模型与指引模型的交替训练与指引，使得模型训练经验被更多地提取与学习，从而获得更佳的人体姿态估计关键点特征表达。
实施例2
本发明还涉及一种基于自启发的人体姿态估计模型训练装置，包括图像识别模块、获取模块、转换模块、更新模块和指定模块，
所述图像识别模块用于识别图像中人体姿态的各个关键点，并且使得人体关键点与图像其他部分进行区别标识；
所述获取模块用于获取具有人体姿态内容的图像、根据所述热图获取原生姿态损失及指引损失以及根据联合补偿损失函数获取联合补偿损失；
其中，原生姿态损失权衡了训练模型与基准标签值(ground-truth label)之间差异，指引损失/>权衡了训练模型与指引模型之间差异；在损失获取过程中，调整不同关键点在损失组成中的权重分配，从而提高人体姿态估计模型对部分关键点的敏感程度。
所述转换模块用于将图像转换为热图，所述热图包括基准标签值热图训练模型的输出热图heatmapn和指引模型的输出热图/>
获取模块最后根据原生姿态损失计算公式结合基准标签值热图知训练模型的输出热图heatmapn获取原生姿态损失，所述原生姿态损失计算公式为：
根据指引损失计算公式结合训练模型的输出热图heatmapn和指引模型的输出热图获取指引损失，所述指引损失计算公式为：
其中，n为关键点集合的序号，满足n＝1，2，...，N，其中N为待估计的人体姿态关键点总数，pn(i，j)表示对于关键点jn的训练模型的输出热图heatmapn在位置(i，j)的置信度值大小，代表对于关键点jn的基准标签值热图/>的置信度分布，即/>代表在/>位置为(i，j)的置信度值大小；/>代表对于关键点(i，j)的指引模型的输出热图/>的置信度分布，即/>代表在/>位置为(i，j)的置信度值大小；ξn表示在/>中对关键点jn损失的权重分配值，ξ′n表示在/>中对关键点jn损失的权重分配值，ε，ε′，ρ，ρ′，σ1，σ′1，σ2，σ′2为常数，(ipredict，jpredict)表示模型的输出关于关键点jn的坐标位置，且满足关键点坐标标识条件：
pn(ipredict，jpredict)＝max(pn)。
通过关键点权重分配，损失集获得不同关键点在热图上损失计算上的权重比例，并以加权求和得方式得到了训练模型输出与标签之间的原生损失，训练模型与指引模型之间的指引损失。
为了能够使指引模型对训练提供监督增强，所述获取模块还用于根据联合补偿损失函数获取联合补偿损失，所述联合补偿损失函数为：
其中，w1和w2为常数，用于衡量原生姿态损失与指引损失/>之间的关系，实验性地通常有w1＝1，w2满足/>
所述更新模块用于更新训练模型的权重以及更新指引模型的权重；
在每次迭代轮次中，分别对训练模型与指引模型进行权重更新，以获得更好的关键点表达。
通过Adam优化器进行梯度优化策略的执行，使用联合补偿损失进行梯度反向传播，更新训练模型的权重。
通过指引更新函数对指引模型的权重进行更新，对于当前迭代轮次ITER，所述指引更新函数为：
其中，为指引模型在某一迭代轮次iter的网络权重，θiter为训练模型在某一迭代轮次iter的网络权重，num是常数，以表示指引更新中所使用的轮次范围。
所述指定模块用于将当前训练模型指定为下一指引模型，以及将当前指引模型指定为下一训练模型。
在每个新的训练轮次的开始，上一轮次的训练模型将作为本轮次的指引模型，而上一轮次的指引模型将作为本轮次的训练模型，从而进行交替式的训练与指引，使得训练中所传递的训练指引随着训练阶段的推进而不断更新，使得训练指引更加适合训练阶段。
实施例3
本发明还涉及一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现上述任意一项所述方法的步骤。
所述处理器执行计算机程序时实现上述各个方法实施例中的步骤。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块或单元的功能。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述计算机设备中的执行过程。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
实施例4
本发明还涉及一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现上述任意一项所述的方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于自启发的人体姿态估计模型训练方法，包括：
S1、训练初始化，建立训练模型及指引模型；
S2、获取具有人体姿态内容的图像；
S3、将图像转换为热图，所述热图包括基准标签值热图训练模型的输出热图heatmapn和指引模型的输出热图/>
S4、根据所述热图获取原生姿态损失及指引损失；
在步骤S4之中，根据原生姿态损失计算公式获取原生姿态损失，所述原生姿态损失计算公式为：
根据指引损失计算公式获取指引损失，所述指引损失计算公式为：
其中，n为关键点集合的序号，满足n＝1,2,…,N，其中N为待估计的人体姿态关键点总数，pn(i,j)表示对于关键点jn的训练模型的输出热图heatmapn在位置(i,j)的置信度值大小，代表对于关键点jn的基准标签值热图/>的置信度分布，即/>代表在位置为(i,j)的置信度值大小；/>代表对于关键点(i,j)的指引模型的输出热图/>的置信度分布，即/>代表在/>位置为(i,j)的置信度值大小；ξn表示在/>中对关键点jn损失的权重分配值，ξ′n表示在/>中对关键点jn损失的权重分配值，ε,ε′,ρ,ρ′,σ1,σ′1,σ2,σ2′为常数，(ipredict,jpredict)表示模型的输出关于关键点jn的坐标位置，且满足关键点坐标标识条件：
pn(ipredict,jpredict)＝max(pn)；
S5、根据联合补偿损失函数获取联合补偿损失；
S6、更新训练模型的权重以及更新指引模型的权重；
S7、将当前训练模型指定为下一指引模型，将当前指引模型指定为下一训练模型；
S8、返回步骤S2。
2.如权利要求1所述的基于自启发的人体姿态估计模型训练方法，其特征在于：在步骤S5之中，所述联合补偿损失函数为：
其中，w1和w2为常数。
3.如权利要求2所述的基于自启发的人体姿态估计模型训练方法，其特征在于：在步骤S6之中，通过Adam优化器进行梯度优化策略的执行，使用联合补偿损失进行梯度反向传播，更新训练模型的权重。
4.如权利要求3所述的基于自启发的人体姿态估计模型训练方法，其特征在于：在步骤S6之中，通过指引更新函数对指引模型的权重进行更新，对于当前迭代轮次ITRE，所述指引更新函数为：
其中，为指引模型在某一迭代轮次iter的网络权重，θiter为训练模型在某一迭代轮次iter的网络权重，num是常数，以表示指引更新中所使用的轮次范围。
5.一种基于自启发的人体姿态估计模型训练装置，其特征在于：包括图像识别模块、获取模块、转换模块、更新模块和指定模块，
所述图像识别模块用于识别图像中人体姿态的各个关键点，并且使得人体关键点与图像其他部分进行区别标识；
所述转换模块用于将图像转换为热图，所述热图包括基准标签值热图训练模型的输出热图heatmapn和指引模型的输出热图/>
所述获取模块用于获取具有人体姿态内容的图像、根据所述热图获取原生姿态损失及指引损失以及根据联合补偿损失函数获取联合补偿损失；
所述获取模块根据原生姿态损失计算公式获取原生姿态损失，所述原生姿态损失计算公式为：
根据指引损失计算公式获取指引损失，所述指引损失计算公式为：
其中，n为关键点集合的序号，满足n＝1,2,…,N，其中N为待估计的人体姿态关键点总数，pn(i,j)表示对于关键点jn的训练模型的输出热图heatmapn在位置(i,j)的置信度值大小，代表对于关键点jn的基准标签值热图/>的置信度分布，即/>代表在位置为(i,j)的置信度值大小；/>代表对于关键点(i,j)的指引模型的输出热图/>的置信度分布，即/>代表在/>位置为(i,j)的置信度值大小；ξn表示在/>中对关键点jn损失的权重分配值，ξ′n表示在/>中对关键点jn损失的权重分配值，ε,ε′,ρ,ρ′,σ1,σ1′,σ2,σ2′为常数，(ipredict,jpredict)表示模型的输出关于关键点jn的坐标位置，且满足关键点坐标标识条件：
pn(ipredict,jpredict)＝max(pn)；
所述更新模块用于更新训练模型的权重以及更新指引模型的权重；
所述指定模块用于将当前训练模型指定为下一指引模型，以及将当前指引模型指定为下一训练模型。
6.如权利要求5所述的基于自启发的人体姿态估计模型训练装置，其特征在于：所述获取模块根据联合补偿损失函数获取联合补偿损失，所述联合补偿损失函数为：
其中，w1和w2为常数。
7.如权利要求6所述的基于自启发的人体姿态估计模型训练装置，其特征在于：所述更新模块通过Adam优化器进行梯度优化策略的执行，使用联合补偿损失进行梯度反向传播，更新训练模型的权重。
8.如权利要求7所述的基于自启发的人体姿态估计模型训练装置，其特征在于：所述更新模块通过指引更新函数对指引模型的权重进行更新，对于当前迭代轮次ITER，所述指引更新函数为：
其中，为指引模型在某一迭代轮次iter的网络权重，θiter为训练模型在某一迭代轮次iter的网络权重，num是常数，以表示指引更新中所使用的轮次范围。
CN202011478197.1A 2020-12-15 2020-12-15 一种基于自启发的人体姿态估计模型训练方法及装置 Active CN112580488B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011478197.1A CN112580488B (zh) 2020-12-15 2020-12-15 一种基于自启发的人体姿态估计模型训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011478197.1A CN112580488B (zh) 2020-12-15 2020-12-15 一种基于自启发的人体姿态估计模型训练方法及装置

Publications (2)

Publication Number Publication Date
CN112580488A CN112580488A (zh) 2021-03-30
CN112580488B true CN112580488B (zh) 2023-12-22

Family

ID=75135133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011478197.1A Active CN112580488B (zh) 2020-12-15 2020-12-15 一种基于自启发的人体姿态估计模型训练方法及装置

Country Status (1)

Country Link
CN (1) CN112580488B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486772B (zh) * 2021-07-01 2024-05-21 中国科学院空天信息创新研究院 人体姿态估计模型训练方法、估计方法、装置和设备
CN113255319B (zh) * 2021-07-02 2021-10-26 深圳市北科瑞声科技股份有限公司 模型训练方法、文本分段方法、摘要抽取方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110020633A (zh) * 2019-04-12 2019-07-16 腾讯科技（深圳）有限公司 姿态识别模型的训练方法、图像识别方法及装置
CN111339903A (zh) * 2020-02-21 2020-06-26 河北工业大学 一种多人人体姿态估计方法
CN111832383A (zh) * 2020-05-08 2020-10-27 北京嘀嘀无限科技发展有限公司 姿态关键点识别模型的训练方法、姿态识别方法及装置
CN111881804A (zh) * 2020-07-22 2020-11-03 汇纳科技股份有限公司 基于联合训练的姿态估计模型训练方法、系统、介质及终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110020633A (zh) * 2019-04-12 2019-07-16 腾讯科技（深圳）有限公司 姿态识别模型的训练方法、图像识别方法及装置
CN111339903A (zh) * 2020-02-21 2020-06-26 河北工业大学 一种多人人体姿态估计方法
CN111832383A (zh) * 2020-05-08 2020-10-27 北京嘀嘀无限科技发展有限公司 姿态关键点识别模型的训练方法、姿态识别方法及装置
CN111881804A (zh) * 2020-07-22 2020-11-03 汇纳科技股份有限公司 基于联合训练的姿态估计模型训练方法、系统、介质及终端

Also Published As

Publication number Publication date
CN112580488A (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
US11670071B2 (en) Fine-grained image recognition
JP6433149B2 (ja) 姿勢推定装置、姿勢推定方法およびプログラム
JP6596164B2 (ja) 単一ビューオブジェクト再構成のためのファイングレインデータセットにおける教師なしマッチング
US9928405B2 (en) System and method for detecting and tracking facial features in images
Basak et al. An exceedingly simple consistency regularization method for semi-supervised medical image segmentation
CN112580488B (zh) 一种基于自启发的人体姿态估计模型训练方法及装置
US20210150283A1 (en) Noise-Resistant Object Detection with Noisy Annotations
CN110459317B (zh) 基于动态脑网络图核的阿尔茨海默病辅助诊断系统及方法
CN110674323A (zh) 基于虚拟标签回归的无监督跨模态哈希检索方法及系统
CN104424629A (zh) 一种x光胸片肺部分割方法和装置
CN109741378A (zh) 基于mrf模型的多模态医学图像配准方法、装置、平台及介质
US11948368B2 (en) Real-time target detection and 3d localization method based on single frame image
CN113011568B (zh) 一种模型的训练方法、数据处理方法及设备
CN110738650B (zh) 一种传染病感染识别方法、终端设备及存储介质
WO2021042798A1 (zh) 通过计算机执行的、用于识别车辆部件的方法及装置
JP2022548187A (ja) 対象再識別方法および装置、端末並びに記憶媒体
Liao et al. Joint image quality assessment and brain extraction of fetal MRI using deep learning
Thorley et al. Nesterov accelerated ADMM for fast diffeomorphic image registration
Gutiérrez-Becker et al. Learning optimization updates for multimodal registration
CN106021402A (zh) 用于跨模态检索的多模态多类Boosting框架构建方法及装置
WO2023109361A1 (zh) 用于视频处理的方法、系统、设备、介质和产品
Lian et al. Unsupervised SAR image segmentation based on conditional triplet Markov fields
CN111582449B (zh) 一种目标域检测网络的训练方法、装置、设备及存储介质
Xu et al. Category-level regularized unlabeled-to-labeled learning for semi-supervised prostate segmentation with multi-site unlabeled data
CN117475168A (zh) 一种基于图像的三维物体可供性定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant