[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2022092528A - 三次元人物姿勢推定装置、方法およびプログラム - Google Patents

三次元人物姿勢推定装置、方法およびプログラム Download PDF

Info

Publication number
JP2022092528A
JP2022092528A JP2020205383A JP2020205383A JP2022092528A JP 2022092528 A JP2022092528 A JP 2022092528A JP 2020205383 A JP2020205383 A JP 2020205383A JP 2020205383 A JP2020205383 A JP 2020205383A JP 2022092528 A JP2022092528 A JP 2022092528A
Authority
JP
Japan
Prior art keywords
person
dimensional
image
twist rotation
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020205383A
Other languages
English (en)
Other versions
JP7464512B2 (ja
Inventor
智尋 中塚
Tomohiro NAKATSUKA
和之 田坂
Kazuyuki Tasaka
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2020205383A priority Critical patent/JP7464512B2/ja
Publication of JP2022092528A publication Critical patent/JP2022092528A/ja
Application granted granted Critical
Publication of JP7464512B2 publication Critical patent/JP7464512B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】人物の四肢のひねり回転量も含めた姿勢を少ない計算量で正しく推定できる三次元人物姿勢推定装置、方法およびプログラムを提供する。【解決手段】三次元人物姿勢推定装置1において、関節点三次元座標推定部20は、被写体人物の画像に基づいて関節点ごとに三次元座標を推定する。ひねり回転量推定部30は、被写体人物の画像に基づいて関節点ごとに四肢のひねり回転量を推定する。身体モデル記憶部40には、人物の代表的な関節点が各関節点を連結する四肢(リブ)の定義や拘束条件と共に身体モデルとして記憶されている。姿勢パラメータを推定部50は、身体モデルの各関節点の三次元座標および四肢のひねり回転量と前記三次元座標およびひねり回転量の各推定結果との差分が最小化するように身体モデルを変形させて被写体人物の姿勢パラメータを推定する。【選択図】図1

Description

本発明は、三次元人物姿勢推定装置、方法およびプログラムに係り、特に、関節点同士を繋ぐ四肢のひねり回転量を考慮して三次元人物の姿勢を推定する三次元人物姿勢推定装置、方法およびプログラムに関する。
三次元人物姿勢推定技術とは、人物の三次元空間における姿勢を推定する技術を言う。一般に、三次元空間における身体の姿勢は主要な関節それぞれについて、基準点に対する相対的な三次元座標、あるいは基準姿勢に対する相対的な三次元回転によって表現される。
三次元座標ベースの姿勢表現では、例えば肘と手首の三次元座標だけでは腕のひねりが表現できないなど、詳細な姿勢を表現するには不向きな場合が多い。これに対して、三次元回転ベースの姿勢表現では、基準となる身体モデルが必要とはなるものの四肢のひねりを含めた詳細な姿勢の表現が可能になる。人物画像から姿勢パラメータを推定する先行技術は多数存在する。
非特許文献1には、人物のRGB画像から各関節点の二次元座標を推定し、姿勢パラメータの初期値を適用した身体モデルの各関節点の三次元座標を画像上に投影することで各関節の初期の二次元座標を求め、各関節点についてこれら二つの二次元座標の差分が最小化されるようにカメラパラメータ及び姿勢パラメータの最適化を行うことで目的の姿勢パラメータを獲得する技術が開示されている。
非特許文献2には、非特許文献1が考慮する関節点に加えて、目や鼻といった顔のキーポイントや手指の細かい関節点の二次元座標についても考慮することで全身の詳細な姿勢を推定する技術が開示されている。非特許文献2では更に、姿勢パラメータの最適化において不可能な姿勢や時間方向の急激な変化を避けるための制約を導入することで推定精度の向上を図っている。
非特許文献3は、RGB画像中の人物周辺の矩形領域から直接、姿勢パラメータを求める回帰モデルを提案する。非特許文献3では、大量の人物画像と姿勢パラメータとの対から回帰モデルを学習するだけでなく、モーションセンサーなどから得た実際の人物の動きを表す大量の姿勢パラメータデータから、その分布を事前知識として獲得することで学習に活用している。
非特許文献4には、RGB画像から人物の関節点の二次元座標を推定すると同時に、奥行などの三次元情報を効率よく抽出し、関節点の三次元座標を推定する技術が開示されている。非特許文献4では、関節点の三次元座標に対して身体モデルが合わさるように姿勢パラメータが最適化される。最適化には不可能な姿勢や時間方向の急激な変化を避ける制約が導入されている。
特許文献1には、人物のRGBD画像と身体モデルから人物の姿勢パラメータを予測し、そのときの身体モデルの関節点の三次元座標を二次元画像上に投影した座標と時間方向の変化とについて整合性を評価し、評価値を反映して最終的な姿勢パラメータの推定結果を得る技術が開示されている。
特開2007-333690号公報
Bogo, F., Kanazawa, A., Lassner, C., Gehler, P., Romero, J., & Black, M. J. (2016). Keep It SMPL: Automatic Estimation of 3D Human Pose and Shape from a Single Image. ECCV, 561-578. Pavlakos, G., Choutas, V., Ghorbani, N., Bolkart, T., Os-man, A. A., Tzionas, D., & Black, M. J. (2019). Ex-pressive Body Capture: 3D Hands, Face, and Body From a Single Image. CVPR, 10967-10977. Kanazawa, A., Black, M. J., Jacobs, D. W., & Malik, J. (2018). End-to-end recovery of human shape and pose. CVPR, 7122-7131. Mehta, D., Sotnychenko, O., Mueller, F., Xu, W., Elgha-rib, M., Fua, P., Seidel, H.-P., Rhodin, H., Pons-Moll, G., & Theobalt, C. (2020). XNect: Real-time Multi-Person 3D Motion Capture with a Single RGB Cam-era. TOG, 39(4), 82:1-82:17.
非特許文献1では、RGB画像から関節点の二次元情報のみを抽出し、これと身体モデルが持つ人体形状に関する事前知識とを合わせることで奥行情報を補間して三次元姿勢を推定するため、奥行情報に曖昧さが残る上に四肢のひねりなどを含む詳細な姿勢を正しく推定することは難しい。
非特許文献2では、より多くの関節点及び身体上のキーポイントの二次元情報と人体のとりうる姿勢に関する事前知識を使うことで奥行情報の曖昧さを軽減し、さらに四肢のひねりなどを含む詳細な姿勢をより正しく推定できるようにしている。しかしながら、参照情報が増えることで最適化処理にかかる計算量が増大してしまう。
非特許文献3では、人物のRGB画像から姿勢パラメータを直接推定するが、姿勢パラメータは三次元回転によって構成されていることから非連続で複雑な値をとる。そのため、回帰の学習が難しく精度が比較的低くなる傾向がある。また、回帰の学習において主に関節点の三次元座標の誤差を最小化することを目的としていることから、四肢のひねりなどを含む詳細な姿勢を正しく推定することは難しい。
非特許文献4では、RGB画像から推定した人物の関節点の三次元座標に対して身体モデルを適合させることで姿勢パラメータを求める際に、身体モデルが不可能な姿勢をとることのないよう関節の回転角について制約を設けているが、四肢のひねりを推定することは難しい。
特許文献1では、RGBD画像から関節点の二次元および三次元座標とその時間変化に着目するものの四肢のひねりなど含む詳細な姿勢については考慮していない。
このように、先行技術の多くは主要な関節点の位置を正しくかつ不可能な姿勢とならない制約下で推定するに留まっており、四肢のひねりも含めた姿勢を正しく推定することは難しい。そのため、ジェスチャーやスポーツフォームのように四肢のひねりも重要な意味を持つシーンでの姿勢推定では十分な精度を得られない。また、非特許文献2には計算量が大きいという問題もある。
本発明の目的は、上記の技術課題を解決し、人物の四肢のひねりも含めた姿勢を少ない計算量で正しく推定できる三次元人物姿勢推定装置、方法およびプログラムを提供することにある。
上記の目的を達成するために、本発明は、被写体人物の三次元姿勢を推定する三次元人物姿勢推定装置において、以下の構成を具備した点に特徴がある。
(1) 被写体人物の画像に基づいて関節点ごとに三次元座標を推定する手段と、被写体人物の画像に基づいて関節点ごとに四肢のひねり回転量を推定する手段と、前記三次元座標およびひねり回転量の各推定結果に基づいて被写体人物の姿勢パラメータを推定する手段とを具備した。
(2) ひねり回転量を推定する手段は、任意の人物画像とその四肢のひねり回転量との関係を学習した回帰モデルに被写体人物の画像を適用して各四肢のひねり回転量を推定するようにした。
(3)ひねり回転量を推定する手段は、任意の人物画像とその関節点ごとの四肢のひねり回転量との関係を学習した回帰モデルに、被写体人物の画像および各関節点の三次元座標の推定結果または当該推定結果に基づいて生成した各関節点のヒートマップを適用して各四肢のひねり回転量を推定するようにした。
(1) 姿勢推定の対象となる実際の人物の四肢にはひねりが生じ得るところ、本発明では四肢のひねり回転量を考慮して被写体人物の三次元姿勢を推定するので、特に四肢にひねりが生じている人物の姿勢を正確に推定できるようになる。
(2) 任意の人物画像とその四肢のひねり回転量との関係を学習して構築した回帰モデルを予め用意し、当該回帰モデルに被写体画像を適用することで四肢のひねり回転量を推定するので、少ない計算量で四肢のひねり回転量を考慮した姿勢推定が可能になる。
(3) 被写体画像に基づいて推定した各関節点の三次元座標または当該推定結果に基づいて生成した関節点のヒートマップを用いて各関節点のひねり回転量を推定するので、各関節点の探索範囲を制限できる。したがって、より少ない計算量でより精度の高い姿勢推定が可能になる。
本発明の第1実施形態に係る三次元人物姿勢推定装置の主要部の構成を示した機能ブロック図である。 身体モデルの一例を示した図である。 関節点と四肢との関係を示した図である。 対象の関節点、振り回転、ひねり回転およびひねり回転の軸との関係を示した図である。 三次元人物姿勢推定の手順を示したフローチャートである。 本発明の第2実施形態に係る三次元人物姿勢推定装置の主要部の構成を示した機能ブロック図である。 本発明の第3実施形態に係る三次元人物姿勢推定装置の主要部の構成を示した機能ブロック図である。
以下、図面を参照して本発明の実施の形態について詳細に説明する。図1は、本発明の第1実施形態に係る三次元人物姿勢推定装置1の主要部の構成を示した機能ブロック図であり、ここでは本発明の説明に不要な構成は図示を省略している。本発明は三次元回転ベースでの姿勢推定を対象とする。
このような三次元人物姿勢推定装置1は、CPU,ROM,RAM,バス,インタフェース等を備えた少なくとも一台の汎用のコンピュータやサーバに各機能を実現するアプリケーション(プログラム)を実装することで構成できる。あるいはアプリケーションの一部をハードウェア化またはソフトウェア化した専用機や単能機としても構成できる。
画像入力部10は、被写体として姿勢推定対象の人物が映ったカメラ画像を取得する。カメラ画像はカメラから直接取得しても良いし、あるいは事前に撮影してHDDなどに保蔵されているカメラ画像ファイルを読み出すことで取得しても良い。本実施形態ではカメラ画像がRGB形式で取得される。
身体モデル記憶部40には、図2に一例を示したように人物の代表的な関節点が、図3に一例を示したように各関節点を連結する四肢(リブ)の定義や拘束条件と共に身体モデルとして記憶されている。
関節点三次元座標推定部20は、被写体のカメラ画像から被写体人物の各関節点の三次元座標を推定する。本実施形態では、各関節点の定義や拘束条件に従い、右手首や右肘などの区別をもって各関節点を検出し、更にその三次元座標を推定する。このような関節点の検出および座標推定には任意の手法を採用することが可能であり、例えば非特許文献4と同様の手法を採用できる。
あるいは、CNNベースの学習済モデルによって画像上で特定の関節点が存在している可能性の高い箇所を検出し、更にその奥行に関する情報を抽出することで三次元座標を推定する手法を採用しても良い。推定した三次元座標の原点は、例えば腰の中心点とすることができる。三次元座標のスケールは、各関節点を連結する全てのリブの合計が一定の値となるように設定することができる。
ひねり回転量推定部30は、前記三次元座標の推定と前後または並行して、被写体人物の画像領域から各リブのひねり回転量を推定する。ひねり回転量は、前記身体モデル上で定義される値であり、同じく身体モデル上で定義される姿勢パラメータ(各関節点の三次元回転Rj:jは関節点識別子)から算出できる。
本実施形態では、多数の人物画像とその四肢のひねり回転量との関係を学習して構築した回帰モデルを用意し、当該回帰モデルに取得した被写体人物の画像を適用することで関節点ごとに各四肢のひねり回転量を推定する。
各関節点の三次元回転Rjは、図4に示すように、前記身体モデルの各関節点のツリー構造に従い、対象の関節点を中心にその子関節点と間にあるリブを回転させる値である。ひねり回転Tjは、関節点の三次元回転のうちリブを回転軸とする要素であり、それ以外の回転要素は振り回転Sjと呼ばれる。ひねり回転Tj、振り回転Sjおよびひねり回転角は以下のように導出される。
すなわち、各関節点Jjの三次元回転Rjは、これを分解して得られる振り回転Sjおよびひねり回転Tjに回転表現としてクオータニオン表現を用いれば次式(1)で表現できる。
Figure 2022092528000002
ある姿勢(通常は姿勢パラメータが全て0)をとる身体モデルの各関節点Jjからその子関節点への方向ベクトルをvjとすると、これを三次元回転Rjで回転させた結果wjは、次式(2)のように振り回転Sjで回転させた結果と等しい。
Figure 2022092528000003
このことから、次式(3)に示すように、方向ベクトルvjとwjとが成す平面の垂直方向ベクトルを軸とし、方向ベクトルvjとwjとが成す角を回転角とする回転を振り回転Sjとできる。ただし、Φは回転ベクトル表現からクオータニオン表現への変換式を表す。ひねり回転Tjは次式(4)から求まる。
Figure 2022092528000004
Figure 2022092528000005
ここで、ひねり回転Tjを次式(5)でクオータニオン表現から回転ベクトル表現に変換(ψ)することでひねり回転角θjが求まる。
Figure 2022092528000006
また、ひねり回転角θjは人体の構造上ある一定の範囲内しかとり得ないことが期待されることから、例えばその範囲で正規化することで0から1の値域の連続する値として定義できる。これを本実施形態ではひねり回転量と呼ぶ。
ひねり回転量は、そのリブや関節点の見えから推定できると期待でき、例えば人物の画像領域から直接、全てのリブのひねり回転量をCNNベースの学習済回帰モデルを用いて推定すれば良い。
姿勢パラメータ推定部50は、関節点三次元座標推定部20が出力する各関節点の三次元座標の推定結果、ひねり回転量推定部30が出力する各リブのひねり回転量の推定結果および身体モデル記憶部40に記憶されている身体モデルを用いて、モデルフィッティングベースの最適化手法により、身体モデルと被写体人物との類似度が最大化するように身体モデルを変形させることで被写体人物の姿勢パラメータを推定する。
本実施形態では、身体モデルの各関節点の三次元座標および四肢のひねり回転量と、前記関節点三次元座標推定部20が推定した三次元座標、およびひねり回転量推定部30が推定したひねり回転量との差分からなる損失関数が最小化するように身体モデルの姿勢パラメータを繰り返し更新することで被写体人物の姿勢パラメータを推定する。前記最適化には任意の非線形最適化手法を用いることができ、例えば勾配降下法やレーベンバーグ・マーカート法などを採用できる。
前記画像入力から姿勢パラメータ推定までの各処理は画像の入力が止まるまで繰り返し行う。なお、画像中から複数の人物が抽出された場合、関節点三次元座標推定から姿勢パラメータ推定までの各処理は並行して行われる。得られた姿勢パラメータはファイル出力や身体モデルへ適用した姿を描画するなど任意の形式で出力する。
図5は、本実施形態による三次元人物姿勢推定の手順を示したフローチャートである。ステップS1では、画像入力部10によりカメラ画像が所定の周期、例えばフレーム単位で取得される。ステップS2では、取得したカメラ画像から人物領域が抽出される。ステップS3では、前記関節点三次元座標推定部20において、人物領域ごとに各関節点が検出され、更に関節点ごとに三次元座標が推定される。
これと前後または並行して、ステップS4では前記ひねり回転量推定部30において、予め構築されている回帰モデルに各人物領域の画像を適用することで被写体人物の各四肢のひねり回転量が推定される。本実施形態では、任意の人物画像とその四肢のひねり回転量との関係を大量に学習することで回帰モデルが予め構築される。
ステップS5では、前記姿勢パラメータ推定部50において、身体モデルの現在の姿勢を反映した姿勢パラメータに基づいて当該身体モデルを構成する各関節点の三次元座標および各四肢のひねり回転量が計算される。
ステップS6では、前記身体モデルの各関節点の三次元座標および各四肢のひねり回転量と、前記関節点三次元座標推定部20およびひねり回転量推定部30がそれぞれ推定した各関節点の三次元座標および各四肢のひねり回転量との差分Δdからなる損失関数f(Δd)が計算される。
ステップS7では、損失関数f(Δd)が所定の収束条件を充足する十分に小さな値であるか否かが判断される。収束条件を充足する値でなければステップS8へ進み、身体モデルの姿勢パラメータを更新(姿勢変形)してステップS5へ戻る。その後、ステップS7で損失関数f(Δd)が所定の収束条件を充足すると判断されるまで上記の各処理が繰り返される。
損失関数f(Δd)が所定の収束条件を充足するとステップS9へ進み、現時点での身体モデルの姿勢パラメータが被写体人物の姿勢パラメータと推定される。ステップS10では次画像の有無が判断され、全ての画像について姿勢推定が終了するまでは、ステップS1へ戻って上記の各処理が繰り返される。
このように、姿勢推定の対象となる実際の人物の四肢にはひねりが生じ得るところ、本実施形態によれば四肢のひねり回転量を考慮して被写体人物の三次元姿勢を推定するので、特に四肢にひねりが生じている人物の姿勢を正確に推定できるようになる。
また、本実施形態によれば、任意の人物画像とその四肢のひねり回転量との関係を学習して構築した回帰モデルを予め用意し、当該回帰モデルに被写体画像を適用することで四肢のひねり回転量を推定するので、少ない計算量で四肢のひねり回転量を考慮した姿勢推定が可能になる。
図6は、本発明の第2実施形態に係る三次元人物姿勢推定装置1の主要部の構成を示した機能ブロック図であり、第1実施形態と同一の符号は同一または同等部分を表しているので、その説明は省略する。
第1実施形態では、ひねり回転量推定部30がカメラ画像のみから被写体人物の各四肢のひねり回転量を直接推定するものとして説明した。しかしながら、人物の各関節点は相対的あるいは絶対的に所定の位置関係を有することから、カメラ画像上で各関節点の位置を予め限定できれば各四肢のひねり回転量の推定精度の向上が期待できる。
そこで、本実施形態では関節点三次元座標推定部20に、各関節点の三次元座標の推定結果に基づいて関節点座標のヒートマップを生成するヒートマップ生成部21を設け、ひねり回転量推定部30へヒートマップを出力するようにした。ヒートマップでは各関節点の位置をその推定位置を中心とする二次元の正規分布で表現することができる。なお、ヒートマップは前記三次元座標の推定過程で得られる二次元情報に基づいて生成しても良い。
また、本実施形態では回帰モデルを予め構築する際に、人物画像と関節ごとの四肢のひねり回転量との関係に各関節点の座標位置を追加して回帰モデルを構築する。そして、推定時には被写体画像およびヒートマップに基づく各関節点の推定位置を前記回帰モデルに適用することで関節点ごとに各四肢のひねり回転量を推定する。
本実施形態によれば、被写体画像に基づいて生成した関節点のヒートマップを用いて各関節点のひねり回転量を推定するので、各関節点の探索範囲を制限できる。したがって、より少ない計算量でより精度の高い姿勢推定が可能になる。
なお、上記の第2実施形態では各関節点の推定位置をヒートマップ形式でひねり回転量推定部30へ提供するものとして説明したが、本発明はこれのみに限定されるものではなく、図7に示したように、関節点三次元座標推定部20が出力する各関節点の三次元座標の推定結果を前記ヒートマップに代えて回転量推定部30へ提供するようにしても良い。
さらに、上記の各実施形態では姿勢パラメータ推定部50がフィッティングベースの最適化手法により被写体人物の姿勢パラメータを推定するものとして説明した。しかしながら、本発明はこれのみに限定されるものではなく、予め各関節点の三次元座標およびひねり回転量と各姿勢パラメータとの関係を、例えばニューラルネットワークベースで学習させた任意の回帰モデルを使って、三次元座標およびひねり回転量の各推定結果から姿勢パラメータを推定するようにしても良い。
10…画像入力部,20…関節点三次元座標推定部,30…ひねり回転量推定部,31…ヒートマップ生成部,40…身体モデル記憶部,50…姿勢パラメータ推定部

Claims (14)

  1. 被写体人物の三次元姿勢を推定する三次元人物姿勢推定装置において、
    被写体人物の画像に基づいて関節点ごとに三次元座標を推定する手段と、
    被写体人物の画像に基づいて関節点ごとに四肢のひねり回転量を推定する手段と、
    前記三次元座標およびひねり回転量の各推定結果に基づいて被写体人物の姿勢パラメータを推定する手段とを具備したことを特徴とする三次元人物姿勢推定装置。
  2. 前記姿勢パラメータを推定する手段は、身体モデルの各関節点の三次元座標および四肢のひねり回転量と前記三次元座標およびひねり回転量の各推定結果との差分が最小化するように身体モデルを変形させて被写体人物の姿勢パラメータを推定することを特徴とする請求項1に記載の三次元人物姿勢推定装置。
  3. 前記姿勢パラメータを推定する手段は、任意の人物画像の各関節点の三次元座標および四肢のひねり回転量と姿勢パラメータとの関係を学習した回帰モデルに前記三次元座標およびひねり回転量の各推定結果を適用することで被写体人物の姿勢パラメータを推定することを特徴とする請求項1に記載の三次元人物姿勢推定装置。
  4. 前記ひねり回転量を推定する手段は、任意の人物画像とその四肢のひねり回転量との関係を学習した回帰モデルに被写体人物の画像を適用して各四肢のひねり回転量を推定することを特徴とする請求項1ないし3のいずれかに記載の三次元人物姿勢推定装置。
  5. 前記三次元座標を推定する手段が推定した三次元座標または当該三次元座標の推定過程で得られる二次元情報に基づいて関節点のヒートマップを生成する手段を具備し、
    前記ひねり回転量を推定する手段は、任意の人物画像とその関節点ごとの四肢のひねり回転量との関係を学習した回帰モデルに被写体人物の画像およびヒートマップを適用して各四肢のひねり回転量を推定することを特徴とする請求項1ないし3のいずれかに記載の三次元人物姿勢推定装置。
  6. 前記ひねり回転量を推定する手段は、任意の人物画像とその関節点ごとの四肢のひねり回転量との関係を学習した回帰モデルに被写体人物の画像および前記三次元座標の推定結果を適用して各四肢のひねり回転量を推定することを特徴とする請求項1ないし3のいずれかに記載の三次元人物姿勢推定装置。
  7. 被写体人物の三次元姿勢をコンピュータが推定する三次元人物姿勢推定補方法において、
    被写体人物の画像に基づいて関節点ごとに三次元座標を推定し、
    被写体人物の画像に基づいて関節点ごとに四肢のひねり回転量を推定し、
    前記三次元座標およびひねり回転量の各推定結果に基づいて被写体人物の姿勢パラメータを推定することを特徴とする三次元人物姿勢推定方法。
  8. 任意の人物画像とその四肢のひねり回転量との関係を学習した回帰モデルに被写体人物の画像を適用して各四肢のひねり回転量を推定することを特徴とする請求項7に記載の三次元人物姿勢推定方法。
  9. 前記関節点の三次元座標の推定結果に基づいて関節点のヒートマップを生成し、
    任意の人物画像とその関節点ごとの四肢のひねり回転量との関係を学習した回帰モデルに被写体人物の画像およびヒートマップを適用して各四肢のひねり回転量を推定することを特徴とする請求項7に記載の三次元人物姿勢推定方法。
  10. 任意の人物画像とその関節点ごとの四肢のひねり回転量との関係を学習した回帰モデルに被写体人物の画像および前記三次元座標の推定結果を適用して各四肢のひねり回転量を推定することを特徴とする請求項7に記載の三次元人物姿勢推定方法。
  11. 被写体人物の三次元姿勢を推定する三次元人物姿勢推定プログラムにおいて、
    被写体人物の画像に基づいて関節点ごとに三次元座標を推定する手順と、
    被写体人物の画像に基づいて関節点ごとに四肢のひねり回転量を推定する手順と、
    前記三次元座標およびひねり回転量の各推定結果に基づいて被写体人物の姿勢パラメータを推定する手順と、をコンピュータに実行させる三次元人物姿勢推定プログラム。
  12. 前記ひねり回転量を推定する手順では、任意の人物画像とその四肢のひねり回転量との関係を学習した回帰モデルに被写体人物の画像を適用して各四肢のひねり回転量を推定することを特徴とする請求項11に記載の三次元人物姿勢推定プログラム。
  13. 前記三次元座標を推定する手段が推定した三次元座標に基づいて関節点のヒートマップを生成する手順を含み、
    前記ひねり回転量を推定する手順では、任意の人物画像とその関節点ごとの四肢のひねり回転量との関係を学習した回帰モデルに被写体人物の画像およびヒートマップを適用して各四肢のひねり回転量を推定することを特徴とする請求項11に記載の三次元人物姿勢推定プログラム。
  14. 前記ひねり回転量を推定する手順では、任意の人物画像とその関節点ごとの四肢のひねり回転量との関係を学習した回帰モデルに被写体人物の画像および前記三次元座標の推定結果を適用して各四肢のひねり回転量を推定することを特徴とする請求項11に記載の三次元人物姿勢推定プログラム。
JP2020205383A 2020-12-10 2020-12-10 三次元人物姿勢推定装置、方法およびプログラム Active JP7464512B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020205383A JP7464512B2 (ja) 2020-12-10 2020-12-10 三次元人物姿勢推定装置、方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020205383A JP7464512B2 (ja) 2020-12-10 2020-12-10 三次元人物姿勢推定装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2022092528A true JP2022092528A (ja) 2022-06-22
JP7464512B2 JP7464512B2 (ja) 2024-04-09

Family

ID=82067939

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020205383A Active JP7464512B2 (ja) 2020-12-10 2020-12-10 三次元人物姿勢推定装置、方法およびプログラム

Country Status (1)

Country Link
JP (1) JP7464512B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117726907A (zh) * 2024-02-06 2024-03-19 之江实验室 一种建模模型的训练方法、三维人体建模的方法以及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5898199B2 (ja) 2011-07-15 2016-04-06 パナソニック株式会社 姿勢推定装置、姿勢推定方法、および姿勢推定プログラム
JP6433149B2 (ja) 2013-07-30 2018-12-05 キヤノン株式会社 姿勢推定装置、姿勢推定方法およびプログラム
WO2019069358A1 (ja) 2017-10-03 2019-04-11 富士通株式会社 認識プログラム、認識方法および認識装置
WO2020049692A2 (ja) 2018-09-06 2020-03-12 株式会社ソニー・インタラクティブエンタテインメント 推定装置、学習装置、推定方法、学習方法及びプログラム
JP2023057498A (ja) 2021-10-11 2023-04-21 リアルビジョンスポーツ株式会社 画像の重ね合わせ比較による運動姿勢評価システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117726907A (zh) * 2024-02-06 2024-03-19 之江实验室 一种建模模型的训练方法、三维人体建模的方法以及装置
CN117726907B (zh) * 2024-02-06 2024-04-30 之江实验室 一种建模模型的训练方法、三维人体建模的方法以及装置

Also Published As

Publication number Publication date
JP7464512B2 (ja) 2024-04-09

Similar Documents

Publication Publication Date Title
CN109636831B (zh) 一种估计三维人体姿态及手部信息的方法
CN110827342B (zh) 三维人体模型重建方法及存储设备、控制设备
Balan et al. Detailed human shape and pose from images
US10949649B2 (en) Real-time tracking of facial features in unconstrained video
JP4950787B2 (ja) 画像処理装置及びその方法
Taylor et al. The vitruvian manifold: Inferring dense correspondences for one-shot human pose estimation
JP6433149B2 (ja) 姿勢推定装置、姿勢推定方法およびプログラム
EP4307233A1 (en) Data processing method and apparatus, and electronic device and computer-readable storage medium
Li et al. Hybrik-x: Hybrid analytical-neural inverse kinematics for whole-body mesh recovery
WO2007010893A1 (ja) 関節物体位置姿勢推定装置及びその方法ならびにプログラム
CN111862299A (zh) 人体三维模型构建方法、装置、机器人和存储介质
CN111680550B (zh) 情感信息识别方法、装置、存储介质及计算机设备
JP2019096113A (ja) キーポイントデータに関する加工装置、方法及びプログラム
CN112401369B (zh) 基于人体重建的身体参数测量方法、系统、设备、芯片及介质
JP2005339288A (ja) 画像処理装置及びその方法
CN112419419A (zh) 用于人体姿势和形状估计的系统和方法
CN109655011B (zh) 一种人体建模维度测量的方法及系统
Krishna SignPose: Sign language animation through 3D pose lifting
Jatesiktat et al. Personalized markerless upper-body tracking with a depth camera and wrist-worn inertial measurement units
JP7464512B2 (ja) 三次元人物姿勢推定装置、方法およびプログラム
WO2022018811A1 (ja) 被写体の3次元姿勢推定装置、3次元姿勢推定方法、及びプログラム
JP5767078B2 (ja) 姿勢推定装置、姿勢推定方法及び姿勢推定プログラム
US20230290101A1 (en) Data processing method and apparatus, electronic device, and computer-readable storage medium
Cha et al. Mobile. Egocentric human body motion reconstruction using only eyeglasses-mounted cameras and a few body-worn inertial sensors
CN111445573A (zh) 人手建模方法、系统、芯片、电子设备及介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230307

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240327

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240328

R150 Certificate of patent or registration of utility model

Ref document number: 7464512

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150