JP2022092528A - 三次元人物姿勢推定装置、方法およびプログラム - Google Patents
三次元人物姿勢推定装置、方法およびプログラム Download PDFInfo
- Publication number
- JP2022092528A JP2022092528A JP2020205383A JP2020205383A JP2022092528A JP 2022092528 A JP2022092528 A JP 2022092528A JP 2020205383 A JP2020205383 A JP 2020205383A JP 2020205383 A JP2020205383 A JP 2020205383A JP 2022092528 A JP2022092528 A JP 2022092528A
- Authority
- JP
- Japan
- Prior art keywords
- person
- dimensional
- image
- twist rotation
- posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 239000013589 supplement Substances 0.000 claims 1
- 230000036544 posture Effects 0.000 description 85
- 210000003414 extremity Anatomy 0.000 description 42
- 238000004364 calculation method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
Claims (14)
- 被写体人物の三次元姿勢を推定する三次元人物姿勢推定装置において、
被写体人物の画像に基づいて関節点ごとに三次元座標を推定する手段と、
被写体人物の画像に基づいて関節点ごとに四肢のひねり回転量を推定する手段と、
前記三次元座標およびひねり回転量の各推定結果に基づいて被写体人物の姿勢パラメータを推定する手段とを具備したことを特徴とする三次元人物姿勢推定装置。 - 前記姿勢パラメータを推定する手段は、身体モデルの各関節点の三次元座標および四肢のひねり回転量と前記三次元座標およびひねり回転量の各推定結果との差分が最小化するように身体モデルを変形させて被写体人物の姿勢パラメータを推定することを特徴とする請求項1に記載の三次元人物姿勢推定装置。
- 前記姿勢パラメータを推定する手段は、任意の人物画像の各関節点の三次元座標および四肢のひねり回転量と姿勢パラメータとの関係を学習した回帰モデルに前記三次元座標およびひねり回転量の各推定結果を適用することで被写体人物の姿勢パラメータを推定することを特徴とする請求項1に記載の三次元人物姿勢推定装置。
- 前記ひねり回転量を推定する手段は、任意の人物画像とその四肢のひねり回転量との関係を学習した回帰モデルに被写体人物の画像を適用して各四肢のひねり回転量を推定することを特徴とする請求項1ないし3のいずれかに記載の三次元人物姿勢推定装置。
- 前記三次元座標を推定する手段が推定した三次元座標または当該三次元座標の推定過程で得られる二次元情報に基づいて関節点のヒートマップを生成する手段を具備し、
前記ひねり回転量を推定する手段は、任意の人物画像とその関節点ごとの四肢のひねり回転量との関係を学習した回帰モデルに被写体人物の画像およびヒートマップを適用して各四肢のひねり回転量を推定することを特徴とする請求項1ないし3のいずれかに記載の三次元人物姿勢推定装置。 - 前記ひねり回転量を推定する手段は、任意の人物画像とその関節点ごとの四肢のひねり回転量との関係を学習した回帰モデルに被写体人物の画像および前記三次元座標の推定結果を適用して各四肢のひねり回転量を推定することを特徴とする請求項1ないし3のいずれかに記載の三次元人物姿勢推定装置。
- 被写体人物の三次元姿勢をコンピュータが推定する三次元人物姿勢推定補方法において、
被写体人物の画像に基づいて関節点ごとに三次元座標を推定し、
被写体人物の画像に基づいて関節点ごとに四肢のひねり回転量を推定し、
前記三次元座標およびひねり回転量の各推定結果に基づいて被写体人物の姿勢パラメータを推定することを特徴とする三次元人物姿勢推定方法。 - 任意の人物画像とその四肢のひねり回転量との関係を学習した回帰モデルに被写体人物の画像を適用して各四肢のひねり回転量を推定することを特徴とする請求項7に記載の三次元人物姿勢推定方法。
- 前記関節点の三次元座標の推定結果に基づいて関節点のヒートマップを生成し、
任意の人物画像とその関節点ごとの四肢のひねり回転量との関係を学習した回帰モデルに被写体人物の画像およびヒートマップを適用して各四肢のひねり回転量を推定することを特徴とする請求項7に記載の三次元人物姿勢推定方法。 - 任意の人物画像とその関節点ごとの四肢のひねり回転量との関係を学習した回帰モデルに被写体人物の画像および前記三次元座標の推定結果を適用して各四肢のひねり回転量を推定することを特徴とする請求項7に記載の三次元人物姿勢推定方法。
- 被写体人物の三次元姿勢を推定する三次元人物姿勢推定プログラムにおいて、
被写体人物の画像に基づいて関節点ごとに三次元座標を推定する手順と、
被写体人物の画像に基づいて関節点ごとに四肢のひねり回転量を推定する手順と、
前記三次元座標およびひねり回転量の各推定結果に基づいて被写体人物の姿勢パラメータを推定する手順と、をコンピュータに実行させる三次元人物姿勢推定プログラム。 - 前記ひねり回転量を推定する手順では、任意の人物画像とその四肢のひねり回転量との関係を学習した回帰モデルに被写体人物の画像を適用して各四肢のひねり回転量を推定することを特徴とする請求項11に記載の三次元人物姿勢推定プログラム。
- 前記三次元座標を推定する手段が推定した三次元座標に基づいて関節点のヒートマップを生成する手順を含み、
前記ひねり回転量を推定する手順では、任意の人物画像とその関節点ごとの四肢のひねり回転量との関係を学習した回帰モデルに被写体人物の画像およびヒートマップを適用して各四肢のひねり回転量を推定することを特徴とする請求項11に記載の三次元人物姿勢推定プログラム。 - 前記ひねり回転量を推定する手順では、任意の人物画像とその関節点ごとの四肢のひねり回転量との関係を学習した回帰モデルに被写体人物の画像および前記三次元座標の推定結果を適用して各四肢のひねり回転量を推定することを特徴とする請求項11に記載の三次元人物姿勢推定プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020205383A JP7464512B2 (ja) | 2020-12-10 | 2020-12-10 | 三次元人物姿勢推定装置、方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020205383A JP7464512B2 (ja) | 2020-12-10 | 2020-12-10 | 三次元人物姿勢推定装置、方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022092528A true JP2022092528A (ja) | 2022-06-22 |
JP7464512B2 JP7464512B2 (ja) | 2024-04-09 |
Family
ID=82067939
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020205383A Active JP7464512B2 (ja) | 2020-12-10 | 2020-12-10 | 三次元人物姿勢推定装置、方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7464512B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117726907A (zh) * | 2024-02-06 | 2024-03-19 | 之江实验室 | 一种建模模型的训练方法、三维人体建模的方法以及装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5898199B2 (ja) | 2011-07-15 | 2016-04-06 | パナソニック株式会社 | 姿勢推定装置、姿勢推定方法、および姿勢推定プログラム |
JP6433149B2 (ja) | 2013-07-30 | 2018-12-05 | キヤノン株式会社 | 姿勢推定装置、姿勢推定方法およびプログラム |
WO2019069358A1 (ja) | 2017-10-03 | 2019-04-11 | 富士通株式会社 | 認識プログラム、認識方法および認識装置 |
WO2020049692A2 (ja) | 2018-09-06 | 2020-03-12 | 株式会社ソニー・インタラクティブエンタテインメント | 推定装置、学習装置、推定方法、学習方法及びプログラム |
JP2023057498A (ja) | 2021-10-11 | 2023-04-21 | リアルビジョンスポーツ株式会社 | 画像の重ね合わせ比較による運動姿勢評価システム |
-
2020
- 2020-12-10 JP JP2020205383A patent/JP7464512B2/ja active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117726907A (zh) * | 2024-02-06 | 2024-03-19 | 之江实验室 | 一种建模模型的训练方法、三维人体建模的方法以及装置 |
CN117726907B (zh) * | 2024-02-06 | 2024-04-30 | 之江实验室 | 一种建模模型的训练方法、三维人体建模的方法以及装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7464512B2 (ja) | 2024-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109636831B (zh) | 一种估计三维人体姿态及手部信息的方法 | |
CN110827342B (zh) | 三维人体模型重建方法及存储设备、控制设备 | |
Balan et al. | Detailed human shape and pose from images | |
US10949649B2 (en) | Real-time tracking of facial features in unconstrained video | |
JP4950787B2 (ja) | 画像処理装置及びその方法 | |
Taylor et al. | The vitruvian manifold: Inferring dense correspondences for one-shot human pose estimation | |
JP6433149B2 (ja) | 姿勢推定装置、姿勢推定方法およびプログラム | |
EP4307233A1 (en) | Data processing method and apparatus, and electronic device and computer-readable storage medium | |
Li et al. | Hybrik-x: Hybrid analytical-neural inverse kinematics for whole-body mesh recovery | |
WO2007010893A1 (ja) | 関節物体位置姿勢推定装置及びその方法ならびにプログラム | |
CN111862299A (zh) | 人体三维模型构建方法、装置、机器人和存储介质 | |
CN111680550B (zh) | 情感信息识别方法、装置、存储介质及计算机设备 | |
JP2019096113A (ja) | キーポイントデータに関する加工装置、方法及びプログラム | |
CN112401369B (zh) | 基于人体重建的身体参数测量方法、系统、设备、芯片及介质 | |
JP2005339288A (ja) | 画像処理装置及びその方法 | |
CN112419419A (zh) | 用于人体姿势和形状估计的系统和方法 | |
CN109655011B (zh) | 一种人体建模维度测量的方法及系统 | |
Krishna | SignPose: Sign language animation through 3D pose lifting | |
Jatesiktat et al. | Personalized markerless upper-body tracking with a depth camera and wrist-worn inertial measurement units | |
JP7464512B2 (ja) | 三次元人物姿勢推定装置、方法およびプログラム | |
WO2022018811A1 (ja) | 被写体の3次元姿勢推定装置、3次元姿勢推定方法、及びプログラム | |
JP5767078B2 (ja) | 姿勢推定装置、姿勢推定方法及び姿勢推定プログラム | |
US20230290101A1 (en) | Data processing method and apparatus, electronic device, and computer-readable storage medium | |
Cha et al. | Mobile. Egocentric human body motion reconstruction using only eyeglasses-mounted cameras and a few body-worn inertial sensors | |
CN111445573A (zh) | 人手建模方法、系统、芯片、电子设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230307 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240306 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240327 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240328 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7464512 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |