JP4812063B2 - 人物動画作成システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、２次元的な線画から人物動画を生成することができる動画像生成システムであり、特に時間軸上の前後関係を記述することができる動画像生成システムに関する。
【０００２】
【背景技術】
近年のエンターティンメントや教育などのマルチメディア・コンテンツの制作現場では、ＣＧ（コンピュータ・グラフィクス）による複数の仮想人物の相互作用や、仮想人物と人間の対話が含まれるコンテンツが増加している。
ところが、従来のＣＧソフトウェアで利用されているキーフレーム・アニメーションのような動作生成法や、ＣＧプログラミング言語による動作の記述で、多様な相互作用を記述して生成することは極めて困難である。
ＣＧアニメーションを作成するときには、キーフレームにより間欠的な動作を指定して、フレーム間の動作をスプライン曲線などの単純な手法で補間する方法が一般的である。このような手法で自然な動作を生成するためには、多数のキーフレームを設定することが必要となり、熟練も必要となる。また、フレーム単位での動きを直接扱う必要があるため、ストーリーに沿って長い動作を組み立てるための手法はまた別途考える必要がある。
【０００３】
ＣＧアニメーションの制作現場では、作品に対する漠然としたイメージを定着させて、様々なアイデアを統合化するための道具として、紙によるストーリーボードが利用されている。ストーリーボードには、台詞に加えて、ト書きによる状況説明や、アニメーション作成時の様々な指定事項（色や動き方の指定など）を記述する。また、複数のアニメーターがイメージを共有化するための場としても活用されている。
ところが、紙によるストーリーボードでは、アニメーションを作成するプロセスと分離されているという問題がある。そのため、アニメーションを作成するときには、最初から作り直すことが必要となる。また、作業の途中で書き換えたり編集するなどのインタラクティブな操作ができない。
仮想人物の対話を記述する方法としては、ＴＶＭＬ（テレビ番組制作言語：TV program Making Language）のような特殊なスクリプト言語により動作の記述を行うことが一般的である。しかし、言語による抽象化された記述のみで、多様な動作を表現することは困難である。抽象化された言語で、細かい動作を記述すると、結局はプログラミング言語のように数値レベルでの記述が必要となる。
【０００４】
【発明が解決しようとする課題】
本発明は、ストーリーボードに描いた２次元的な線画から仮想人物の３次元姿勢を推定し、３次元アニメーションを生成することを目的とする。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、本発明は、２次元的な人物の線画から動画を生成することができる動画像生成システムであって、該システムは、人物の一連の動作に対する３次元の姿勢パラメータである動作セグメントを複数蓄積するデータ蓄積部を有しており、動画を作成するために、２次元的な人物の線画により記述するストーリーボード記述部と、前記ストーリーボード記述部に入力した２次元的な線画から、３次元の姿勢パラメータを推定する姿勢推定部と、前記姿勢推定部からの複数の姿勢パラメータに基づいて、姿勢間の補間を行うために、前記データ蓄積部から、複数の姿勢パラメータに当てはまる動作セグメントを用いて補間することで、動作を生成する動作生成部と、前記生成した動作を表示する画像表示部とを備える。
上述の構成により、ストーリーボードに記述した２次元的な人物の線画から動画を生成することが可能となる。
【０００６】
前記動作生成部は、前記姿勢推定部で得られた複数の姿勢パラメータを固有空間に投影して、投影した固有空間内の各点との距離がもっとも小さい動作セグメントを選択する。
また、前記ストーリーボード記述部は、時間軸上の関係を記述することができ、さらに、ストーリーボード記述部を複数備え、各ストーリーボード記述部で記述されたストーリーボードを共通の蓄積部に蓄積することができる。また、前記蓄積するストーリーボードに対して、進行状態を示すように、表示状態を変化させることもできる。
【０００７】
人物が動作している３次元の姿勢パラメータを入力し、該姿勢パラメータを分割して動作セグメントとして、前記データ蓄積部に蓄積する動作入力部をさらに備えることができる。
前記動作入力部における３次元の姿勢パラメータの分割は、前記姿勢パラメータを固有空間に投影して動作曲線を生成し、該動作曲線を最小記述規範により分割して、動作セグメントを得ることにより行う。
【０００８】
なお、動画像生成システムをコンピュータ・システムに構成させるコンピュータ・プログラムおよびコンピュータ・プログラムを記録した記録媒体も本発明である。
【０００９】
【発明の実施の形態】
＜概要＞
本発明のシステムは、２次元的な絵コンテから３次元ＣＧアニメーションを生成するシステムであり、ストーリーボードに記述した２次元的な線画から３次元的な姿勢を自動的に推定する。そして、あらかじめサンプリングして蓄積してあるサンプル動作のデータより、ストーリーボードで記述した間欠的な動作から推定して連続的な３次元動作を生成することができる。
また、ストーリーボードに時間軸上の前後関係を記述する機能を付加することで、複数の仮想人物間の対話のタイミング等を表現できる。更に、複数のＣＧアニメーターの間でストーリーボードを共有することで、ＣＧ作成時の共同作業を支援することも可能となる。
以下、上述のシステムの実施形態を図面を用いて詳細に説明する。
【００１０】
＜構成＞
図１は本発明の人物動画像生成システムの機能構成を示す図である。動作信号入力部１２と動作分離部１４を備えた動作入力部１０、ストーリーボード２２，２４，２６を備えたストーリーボード記述部２０、３次元姿勢推定部３２と３次元動作補間部３４を備えた動作生成部３０、データ蓄積部４０、画像表示部５０で構成されている。
動作入力部１０は、動作信号入力部１２を用いてサンプル動作の３次元姿勢を入力し、動作分離部１４を用いて、入力されたサンプル動作の自動分割を行う。入力データ蓄積部４０は、仮想人物の各関節のパラメータを蓄積する。ストーリーボード記述部２０は、利用者がＣＧを作成したいシーンの２次元的なスケッチをストーリーボード２２，２４，２６に記述するのに用いられる。これは、例えば、マウス等のポインティング・ディバイスや、タブレットから、ストーリーボード欄に入力することで行われる。動作生成部３０では、３次元姿勢推定部３２を用いて２次元姿勢からの３次元姿勢の推定を行い、サンプル動作に基づく補間を３次元動作補間部３４にて行う。そして、生成したＣＧアニメーションを画像表示部５０に表示する。
次に、本発明のシステムの動作処理を、処理ごとに説明する。
【００１１】
＜２次元姿勢から３次元姿勢の算出＞
ストーリーボードからアニメーションを生成するための最初のステップは、２次元の絵コントから、３次元モデルの姿勢を推定することである。ストーリーボード上に記述した２次元的な姿勢の絵コンテから、３次元姿勢を推定する手法については、本発明の発明者による特許出願である「動画像生成システム（特願２００１−６３８５４）」の明細書中の段落［００１０］以降に記述した＜モデルに基づく人物動作の推定＞に用いた手法を利用する。以下に詳細に説明する。
【００１２】
動作生成部３０においては、人体の３次元モデルを当てはめて、姿勢を推定している。図２に、動作生成部３０で用いている仮想人物モデル１００を示す。図２のように、仮想人物モデル１００は、各パーツをオブジェクトで表し、それらを接続することで全体を表している。この仮想人物モデル１００は、頭部１０１、胴体１０２、右上腕１０３、左上腕１０４、右前腕１０５、左前腕１０６、右腿１０７、左腿１０８、右膝下１０９、左膝下１１０の各パーツ（各オブジェクト）で構成している。動作生成部３０では、このような仮想人物モデル１００を利用して姿勢を推定する。仮想人物モデル１００の各パーツ（各オブジェクト）の接続関係は、胴体１０２を頂点として、腕や頭部といった末端のパーツに向かって親子関係の接続として定めることができる。親パーツが動くと、その子に当たるパーツは親パーツの座標系で規定される接続関係で一緒に動くことになる。この仮想人物モデル１００を用いて、以下説明を行う。
図３は、カメラ座標系およびワールド座標系におけるストーリーボード上の線画と３次元人物モデルの関係を示す図である。この図において、動画像はカメラ座標系で記述される画像面１５０に表示される。仮想人物モデル１００上の任意の点を、ワールド座標系を用いて、
【数１】
ｐ＝（ｘ，ｙ，ｚ）^Ｔ
とする（上式で括弧の肩に付けられているＴは転置行列を表す）と、カメラ座標系に投影した画像面１５０上の点（Ｘ，Ｙ）は、
【数２】
Ｘ＝ｆｘ／ｚ
Ｙ＝ｆｙ／ｚ （ｆは画像面１５０を生成するカメラの焦点距離）
となる。
【００１３】
（姿勢の推定）
以下では、拡張カルマン・フィルタにより、シルエット画像から抽出した中心線と、人物モデルの体軸を一致させる手法を述べる。
ワールド座標系での仮想人物モデル１００の各パーツの姿勢ａを表した式を以下に示す。
【数３】
ａ＝［ｒ，ｄ］^Ｔ
ｄはワールド座標の原点からの移動成分を表すベクトルである。また、ｒはワールド座標の各座標軸である回転軸に沿ったベクトルであり、ベクトルの大きさは回転角に等しい。
【００１４】
図４は、画面上の線分の関係と、それに対応する仮想人物モデル１００中のパーツとの関係を示す図である。３次元（３Ｄ）線分Ｐの投影された画像面１５０上の２次元（２Ｄ）予測線分がＱである。図４における２次元（２Ｄ）観測線分Ｑ’と２Ｄ予測線分Ｑを、２次元の画像面上１５０での始点および終点を表わすワールド座標系のベクトルｑ_１’，ｑ_２’，ｑ_１およびｑ_２で表わした式を以下に示す。
【数４】
Ｑ’＝（ｑ_１’，ｑ_２’）
Ｑ＝（ｑ_１，ｑ_２）
また、３Ｄ線分Ｐをワールド座標系での線分の始点および終点を表わすベクトルｐ_１およびｐ_２で表わした式を以下に示す。
【数５】
Ｐ＝（ｐ_１，ｐ_２）
そして、初期位置で観測された２Ｄ観測線分Ｑ’と３Ｄ線分Ｐの組をｌとして、以下の式に示す。
【数６】
ｌ＝（Ｐ，Ｑ’）
この３Ｄ線分Ｐと、それに対応する画像面１５０上での２Ｄ観測線分Ｑ’の組ｌを求める手法を図５を参照しながら以下に説明する。図５はストーリーボードに記述した絵コンテの線画より人物モデルの初期位置を推定するまでの処理の過程を示す図である。
【００１５】
（中心線の推定）
ストーリーボードより入力した２次元的な線画から中心線を推定する際には、手や足などの部位が胴体に隠れた場合、姿勢を推定できないため、絵コンテに記述した仮想人物のシルエット画像を用いて行う。以下の手順で中心線を推定する。
【００１６】
▲１▼中心線が抽出しやすい姿勢のシルエット画像をあらかじめ選択してデータ蓄積部４０に記憶しておく。このときに、シルエット画像に対応した人物モデルの姿勢パラメータも与えておく。姿勢パラメータは後述する手法により姿勢を微調整することができるので、大まかな値で構わない。
▲２▼図５（ａ）（ｉ）および（ii）のような、ストーリーボード記述部２０からの入力画像系列で、あらかじめデータ蓄積部４０に記憶してあるシルエット画像とのマッチングを行い、姿勢が類似しているフレームを選択する。
▲３▼選択したシルエット画像では、人物モデルの大まかな姿勢が分かっているため、画像面１５０上に各パーツの領域を投影することができる。それぞれの領域内のシルエットを切り出して、主軸を求めて中心線とする。図５（ｂ）（ｉ）および（ii）は入力画像に人物モデルを当てはめ、各パーツの中心線を抽出し、表示した画像を示す。
【００１７】
上記の手法より、抽出した中心線を利用して、３Ｄ線分Ｐと、それに対応する画像面１５０上での２Ｄ観測線分Ｑ’の組ｌを求めることができ、後述する手法により人物モデルの正確な姿勢の推定を行うことができる。
【００１８】
（姿勢の調整）
各パーツの姿勢ａが正確な場合は、観測画像から得られた画像面１５０上の２Ｄ観測線分Ｑ’とカメラの原点Ｏとが作る平面Ｍの上に３Ｄ線分Ｐが含まれる。ところが各パーツの姿勢ａに誤差がある場合は、図４（ａ）のように、画像面１５０上に表示される線分Ｑ’とカメラの原点Ｏとが作る平面Ｍと３Ｄ線分Ｐの間に距離が生じる。この距離の最短距離を、予測誤差ｈ（ａ，ｌ）とし、以下の式のように表す。
【数７】

ｈ（ａ，ｌ）は２×１のベクトルである。Ｒはｒから導出される３×３の回転行列である。また、ｎは面Ｍの単位法線ベクトル
【数８】

である。ａに誤差がない場合は、ｈ（ａ，ｌ）＝０となり、図４（ｂ）のように画像面１５０上の２Ｄ予測線分Ｑが２Ｄ観測線分Ｑ’と重なる。そして２Ｄ観測線分Ｑ’とカメラの原点が作る平面の上に３Ｄ線分Ｐが含まれるようになる。このときの３Ｄ線分Ｐの姿勢ａが画像面１５０上に表示されている２Ｄ観測線分Ｑ’に対応しているということになる。ｈ（ａ，ｌ）は非線形なので、観測値ｌ＝＾ｌ_ｉと推定値ａ＝＾ａ_ｉ−１のまわりに１次テーラー展開をして線形近似する。
【数９】

ただし∂ｈ／∂ａ，∂ｈ／∂ｌは偏微分を表す。これらの偏微分係数は、以下のカルマン・フィルタを適用して人物モデルの各パーツの姿勢ａ＝［ｒ，ｄ］^Ｔの最適値を求める際に利用する。
【００１９】
対応付けがついた２Ｄ観測線分Ｑ’と３Ｄ線分Ｐの誤差ｈ（ａ，ｌ）が最小になるように、人体姿勢ａを補正し、位置の誤差分布σ_ｘｉを減少させる。直前に示したｈ（ａ，ｌ_ｉ）の線形近似式をゼロとおいて書き直すと、次のような観測方程式が得られる。
【数１０】
ｚ_ｉ＝Ｈ_ｉａ＋ν_ｉ
ただし、
【数１１】

である。ここでν_ｉの分散Ｂ_ｉは次のように求める。
【数１２】

【００２０】
以上の観測方程式より、人体パーツの姿勢ｘ_ｉの２乗誤差を最小にする推定値は、カルマン・フィルタで与えられる。
【数１３】

人体姿勢ａ_ｉと誤差分布σ_ｉは、新しい線分の対応付けが行われるたびに更新される。以上の姿勢推定を人体の各部位に適用することで、ストーリーボード上の２次元の線画の３次元モデルにおける姿勢を推定する。本発明のシステムでは、胴体の姿勢を最初に求めて、上腕、上脚、下腕、下脚と胴体に近い順番に中心線とのマッチングを行い、姿勢の推定を行う。
このようにして、図５（ａ）（ｉ）および（ii）の入力画像に初期姿勢を推定し、図５（ｃ）（ｉ）および（ii）のように人物モデルを重ね合わせた画像を得ることができる。
【００２１】
（２Ｄ、３Ｄ線分の対応付け）
上述の手法では、シルエット画像のマッチングにより、抽出した中心線を利用して、３Ｄ線分Ｐと対応する２Ｄ観測線分Ｑ’の組ｌが求まったとして説明した。しかし、撮影環境内に中心線として抽出可能な複数の線分がある場合、１つの３Ｄ線分に対して複数の２Ｄ線分の候補があることとなる。そこで以下に示す２つの手法を併用して対応付けを行う。
まず、２Ｄ画像面１５０上で見たときに、２Ｄ観測線分Ｑ’に射影したときに射影像が２Ｄ観測線分Ｑ’と重なる線分を候補として選択する。次に、推定値の誤差分布と、２Ｄ、３Ｄ線分の誤差分布を考慮に入れて、統計的に一致すると判定できる線分を選択する。
【００２２】
▲１▼２次元画面上での対応付け
図４を用いて２次元画像面１５０上で対応付けを行う手法を示す。まず、図５（ａ）のように、３Ｄ線分Ｐを画面上に投影して、２Ｄ予測線分Ｑ＝（ｑ_１，ｑ_２）を求める。また、観測画像から２Ｄ観測線分Ｑ’＝（ｑ_１’，ｑ_２’）を得る。２Ｄ観測線分Ｑ’に対して射影した２Ｄ予測線分Ｑの射影像が重複領域をもつ場合は、対応の候補として選択する。重複領域の判定方法としては、２Ｄ予測線分Ｑを２Ｄ観測線分Ｑ’に射影したときに、ｑ_１あるいはｑ_２のどちらかの点がＱ’の内部にあれば、２Ｄ予測線分Ｑの射影像が２Ｄ観測線分Ｑ’に重なっていると考えることができる。まず、ｑ_１をＱ’に射影した場合の座標ｃは、Ｑ’に沿う単位方向ベクトルを
【数１４】
ｍ＝Ｎ［ｑ_２’−ｑ_１’］（Ｎ［ ］はベクトルの正規化を表わす）
とすると、
【数１５】
ｃ＝ｑ_１’＋ｍ・（ｑ_１−ｑ_１’）ｍ
である。そして、ｃがＱ’の内部に含まれる条件は、
【数１６】
（ｃ−ｑ_１’）・（ｃ−ｑ_２’）＜０
となる。この操作をｑ_１，ｑ_２，ｑ_１’，ｑ_２’に関して行い、上記の条件を満たさない線分は棄却する。
【００２３】
▲２▼誤差分布を考慮に入れた対応付け
人体姿勢の誤差分布σ_ｘｉと、２Ｄ，３Ｄ線分の誤差分布σ_ｌｉを使ってχ^２検定を行い、統計的に一致しないと考えられる線分を棄却する。ここでは、２Ｄ−３Ｄ線分が一致していると仮定して、仮説検定を行う。人体姿勢ａ＝［ｒ，ｄ］^Ｔと観測値ｌ＝（Ｐ，Ｑ’）の誤差分布を、正規分布σ_ａｉ〜Ｎ（０，Ｐ_０），σ_ｌｉ〜Ｎ（０，Ｌ_０）と仮定する。ｈ（＾ａ_ｉ−ｌ，＾ｌ_ｉ）の１次、２次統計量は、
【数１７】

【数１８】

となる。これよりマハラノビス距離ｋを次のように求めることができる。
【数１９】

ｈ（＾ａ_ｉ−１，＾ｌ_ｉ）の誤差分布はｈ（＾ａ_ｉ−１，＾ｌ_ｉ）〜Ｎ（０，Ｚ_ｉ）であるため、ｋ（＾ａ_ｉ−１，＾ｌ_ｉ）〜χ^２（ζ）となる（ただしζ＝Ｒａｎｋ（Ｚ_ｉ））。χ^２（ζ）分布から、確率に基づくしきい値を設置することができる。例えばｋ（＾ａ_ｉ−１，＾ｌ_ｉ）＜９．２１は、Ｚ_ｉがランク２（ζ＝２）のときに９９％の線分が受け付けられることを意味している。しきい値以上の線分は、統計的に一致すると考えられないため、棄却することができる。複数の線分が候補として残った場合は、ｋ（＾ａ_ｉ−１，＾ｌ_ｉ）の距離値が最小のものを選択する。
以上の２つの手法を併用して、２Ｄ予測線分Ｑが２Ｄ観測線分Ｑ’に一番近い３Ｄ線分Ｐと画像面１５０上で対応する２Ｄ観測線分Ｑ’の組ｌ＝（Ｐ，Ｑ’）を求めることができる。
なお、上述の人物モデルの姿勢は、利用者が人物モデルの姿勢を推定して画像面に投影し、入力画像に重ね合わせて当てはめることにより求めてもよい。
【００２４】
＜サンプル動作に基づく補間＞
ストーリーボードから連続的な人物動作を生成する際には、フレーム間の動作の間隔が広いため、単純に動作を補間するだけでは自然な動作とならないという問題がある。そのため、データ蓄積部４０に蓄積したサンプル動作を当てはめることで、欠落している動作情報を補う。
サンプル動作を取得する手法としては、ビデオ映像で人物動作を記録して、動画像処理によって、手動もしくは自動にて３次元姿勢を求めることができる。また、磁気センサや光学式センサによるモーション・キャプチャ装置を利用することもできる。
ここで、マッチングの際の計算量を低減するとともに、サンプル動作の変形により多様な動作を生成するために、固有空間へ投影することでパラメータ数を減少させる。これについて、以下説明する。
まず、時刻ｔにおける人体の姿勢パラメータを、
【数２０】

と表す。ｍは姿勢パラメータの総数である。本明細書では、等間隔に撮影した動画像から姿勢パラメータを推定するため、ｔはフレーム番号に対応する。Ｎを教示動作の総サンプル数とするとき、人体の姿勢の平均ｃは、
【数２１】

である。教示動作の各姿勢から、姿勢の平均ｃを差し引いた行列をＸとすると、姿勢データ列の共分散行列Ｑは、
【数２２】
Ｑ ＝ Ｘ Ｘ^Ｔ
である。次の固有方程式を解いて固有値と固有ベクトルを求める。
【数２３】
λ_ｉ ｅ_ｉ ＝ Ｑ ｅ_ｉ
ｋ次元の固有空間は、固有値の中から大きい順にｋ個選んだ固有ベクトルを、基底ベクトルとすることにより得られる。固有値ｍ個の中の大きい方からｎ個の固有値が占める割合を累積寄与率
【数２４】

と呼ぶ。なお、本明細書では多項式近似を容易にするために、上位２つの固有ベクトルを利用した。
固有空間内の動作曲線は、姿勢パラメータを固有空間に射影することで得られる。
【数２５】
ｇ_ｔ ＝ ［ｅ_１ ，ｅ_２］^Ｔ （ｘ_ｔ−ｃ）
図６は以上の手法により求めた固有空間における人体の動作曲線と、各座標値に対応する３次元姿勢の例を示す図である。
【００２５】
＜動作曲線の自動分割＞
図７は固有空間の動作曲線の分割手法を示す図であり、図７（ａ）は分割前の動作曲線、図７（ｂ）は分割後の動作曲線を示す。入力画像から人物の姿勢パラメータを推定した後に、以下の２つの手順で連続動作の分割と記述を行う。
▲１▼上記のサンプル動作に基づく補間を求める手法を利用して、姿勢パラメータを固有空間に投影して次元数を低減し、動作曲線（action trajectory）を生成する。
▲２▼最小記述規範により動作曲線を分割する。曲線を記述するモデルとしては、多項式モデルを利用する。
最小記述規範では、あるモデルを仮定したときに、モデルによる記述長が最短になる記述を選択し、モデルの当てはめによる測定データの記述と、近似誤差のトレードオフを扱う。つまり、長時間の動作を簡単なモデルで記述した場合、モデルの記述長は減少するが、モデルから外れる値が増加する。一方で、動作を細かな時間間隔で区切り、モデルで近似をした場合、入力動作からの誤差は減少するが、モデルの記述に必要なビット数が増加する。そのため、モデルの記述長と、外れ値の記述長の両方が最小となるように最適化を行う。
【００２６】
動作曲線を近似するモデルとして、２次多項式（2nd order polynominal）を利用し、動作曲線の座標値をそれぞれＧ_１（ｔ），Ｇ_２（ｔ）とすると、
【数２６】
Ｇ_１（ｔ）＝ａ_１ｔ^２＋ａ_２ｔ＋ａ_３
Ｇ_２（ｔ）＝ｂ_１ｔ^２＋ｂ_２ｔ＋ｂ_３
である。これを最小２乗推定により上記の式の２次多項式の係数を推定する。
【数２７】
Ａ＝［ａ_１，ａ_２，ａ_３］^Ｔ
Ｂ＝［ｂ_１，ｂ_２，ｂ_３］^Ｔ
φ＝［１，ｔ，ｔ^２］^Ｔ
と置くと、次のように書くことができる。
【数２８】
Ｇ_１（ｔ）＝φ^ＴＡ，Ｇ_２（ｔ）＝φ^ＴＢ
また、ロバスト推定法によりＡ_ｘ，Ａ_ｙを求めると、
【数２９】
Ａ＝［ΣφＷφ^Ｔ］^{〜 1}Σ［φＷＧ₁（ｔ）］
Ｂ＝［ΣφＷφ^Ｔ］^{〜 1}Σ［φＷＧ₂（ｔ）］
となる。ＷはCanchyの重み関数を利用した。Σは動作セグメントの始点と終点の間で和を計算する操作を表す。
【００２７】
人物の動作曲線は複雑な軌跡を描くことが多いため、全体を１つの多項式で近似することは困難である。そのため、多項式曲線から大きく外れる部分については、再帰的に分割を行い、個々の動作セグメントの近似精度を高める。動作曲線の記述長Ｌ_ｓｋは次の３つの項目から構成される。
【数３０】
Ｌ_ｓｋ＝Ｌ_parameters＋Ｌ_outliers＋Ｌ_offset
実数値のパラメータの記述長は、αをパラメータの個数、ｎをパラメータのしきい値とするとき、α（ｌｏｇ₂ｎ）／２で求めることができる。よって、各パラメータの記述長は次の通りである。
▲１▼モデルの記述長（Ｌ_parameters）
多項式を表すためには、２つの終点と６つのパラメータを記述することが必要となる。｜ζ｜を固有空間内の点のパラメータ幅、｜η｜を多項式係数のパラメータ幅、εを解像度とするとき、モデルの記述長は次式で表すことができる。
【数３１】

▲２▼外れ値の記述長（Ｌ_outliers）
外れ値がある場合は、固有空間内のランダムな点として記述することができる。λ個の外れ値があった場合の記述長は、次式で表すことができる。
【数３２】

▲３▼モデルからの誤算の記述長（Ｌ_{model points}）
モデルからの誤算の記述長は、ガウシアン分布ζ〜Ｎ（０，σ²）を解像度εでサンプリングした場合の記述長に相当する。
【数３３】

分割候補点のところで分割するかどうかを決定するためには、分割前の動作セグメントと、分割後の動作セグメントの記述長を比較する。記述長が減少する場合は、分割点で動作セグメントを分割する。
【数３４】
Ｌ_ｓｋ＞Ｌ_{ｓｋ 1}＋Ｌ_{ｓｋ 2}
図８は一連の動作を固有空間に投影したところを示す図である。また、図９は上記の手法により、図８に示す動作を自動的に０〜２４９のフレームに分割したところを示す図である。図９のグラフに○印を示し、数字を添えた部分は、その番号に対応したフレームに関するところである。
図１０は０〜２４９フレームに分割した動作セグメントに対応した３次元動作を示す図である。図１０（ａ）は歩行動作に対応したフレーム（フレーム０〜５９）、図１０（ｂ）は座る動作に対応したフレーム（フレーム６０〜１２９）、図１０（ｃ）は立ち上がる動作に対応したフレーム（フレーム１９８〜２４９）である。各フレームの右下に記している番号が対応しているフレームを表す。
【００２８】
＜人物動作の個性の分析と再構成＞
固有空間内の動作セグメントを変形することで、人物動作の個性の推定と再構成を行う。複数人で同じ動作を行った場合のサンプルを利用して、平均動作と、平均動作からの分散を求める。平均動作からの変動をランダム発生させて、動作セグメントを変形させることで、入力したサンプル動作とは異なる個性を持った動きを生成する。
図１１は３名のモデルに同じ動作をさせた場合を平均化し、計算により新たな動作を生成したことを示す図である。図１１（ａ）は３名が同じ動作をしているところを固有空間に投影したものを示す図である。そして、図１１（ｂ）は３名のモデルの平均動作を求めた後に、３名の動作の分散を利用して新しい個性を持った動作を生成したところである。
【００２９】
＜固有空間内の動作セグメントによる動作の補間＞
あらかじめデータ蓄積部４０に蓄積してある動作セグメントを利用して、ストーリーボードによって記述された間欠的な姿勢を補間する手法を次に説明する。
▲１▼上記のサンプル動作に基づく補間を求める手法を利用して、ストーリーボード上の２次元線分から３次元姿勢を推定する。
▲２▼求めた３次元姿勢を固有空間に投影する。各姿勢に対応する固有空間内での点をｐ１，ｐ２，…，ｐｎとする。
▲３▼固有空間内の点ｐ１，ｐ２，…，ｐｎからの距離が最も小さい動作セグメントを選択する。
図１２はストーリーボードに入力した絵コンテと、上記の処理によって生成したＣＧアニメーションの例を示す図である。図１２（ａ）はストーリーボードに記述された絵コンテであり、（ｉ）〜（iii）の順番でストーリーになっている。これを上記の間欠的な姿勢を補間する処理を施し、図１２（ｂ）（ｉ）〜（vi）に示すような連続したＣＧアニメーションを生成する。
【００３０】
＜ストーリーボード・システムにおける対話の記述＞
図１３はストーリーボードに、各キャラクタの動作の速さを制御する機能を追加した例を示す図である。上述した手法では、ストーリーボード間の動作の連結を表すことはできても、例えば同じストーリーボード内で複数のキャラクタが対話をしている場合の動作の前後関係や速さを表現することはできない。そのため、ストーリーボードに各キャラクタに対応したタイムラインの記述欄を追加することで、同一フレーム内の動作の因果関係を記述することができる。
図１３に示すように、ストーリーボード記述部の下部に各キャラクタに対応したタイムラインを制御するための欄２２０を設けることができる。この欄２２０には、例えばビデオ映像から推定した動作のタイムライン（動作時間の表示）の各線分と、動作セグメントの開始点、終了点とを対応させる。そして、このタイムラインを動かす（スライダ機能）ことで、対応させた動作セグメントの動作を変更させる。即ち、このタイムラインを長くすると、これに対応したキャラクタの動作は遅くなる。また、このタイムラインの開始点や終了点を移動することで、動作の開始時点や終了時点を制御することができる。このように、この欄に表示されるタイムライン（線分）を変更させることを利用して、微妙な発話のタイミングを調整することができる。
【００３１】
＜ストーリーボードの共有による共同作業支援＞
ストーリーボード・システムの応用として、複数のＣＧアニメーターの間でストーリーボードを共有することで、共同作業の支援を行う。また、複数のアニメーターがイメージを共有化するための場としても活用する。
図１４は共同作業支援作業を行うためのシステムの構成例を示す図である。サーバ内のデータ蓄積部４０に各種のデータを蓄積し、サーバにはストーリーボード記述部３０２，３０４，３０６を有するクライアントを接続する。各作業者はこれらクライアントからストーリーボードを参照することができる。
【００３２】
図１５は複数制作者による共同作業を支援するための、ストーリーボードを利用した作業工程管理とメッセージの伝達手法を示す図である。
▲１▼作業工程管理
複数人でＣＧアニメーションを作成するときには、どの部分がどの程度作業が進んでいるのかなどの作業工程の進捗を把握することが重要である。本システムでは、ストーリーボードを利用して作業工程の管理に必要な情報の記述を行う。例えば、モーションデータやモデルデータが得られていることを色などで示すことで、どこまでアニメーション作成が進んでいるかを表示している。
▲２▼メッセージボード
複数の作業者間で情報交換を支援する方法として、ストーリーボード記述部上にメッセージボード２４０を付加することで、メッセージを添付する機能を追加することも可能である。例えば、各キャラクタの台詞、ト書きによる状況説明や、アニメーション作成時の様々な指定事項を記述する。これらのメッセージは、メール送信機能と連動することで、管理者等から特定の作業者に送ることもできる。
【００３３】
上述の動作入力部、ストーリーボード記述部、動作生成部、データ蓄積部、画像表示部のそれぞれの処理は、計算機上で実行することもできる。また、その処理を行うためにプログラムを格納した記録媒体から読み出したり、通信回線を介して受信等をしたプログラムを実行する等により、本発明の構成を実現することもできる。この記録媒体には、フロッピー・ディスク、ＣＤ−ＲＯＭ、磁気テープ、ＲＯＭカセット等がある。また、通信回線としては、インターネット等がある。
【００３４】
【発明の効果】
２次元スケッチから３次元ＣＧアニメーションを生成することができるため、アニメーション作成の生産性を大幅に向上することが可能となる。
そして、３次元のサンプル動作を自動的に分割して蓄積するとともに、蓄積したサンプル動作を利用して、ストーリーボードによる間欠的な動作から連続的な動作を生成することにも利用することができる。また、ストーリーボードに時間軸上の前後関係を記述する機能を付加することで、複数の仮想人物間の対話のタイミングを記述することが容易になる。
そのうえ、複数のＣＧアニメーターの間でストーリーボードを共有することができるため、共同作業の効率を大幅に向上させることが可能となる。
【図面の簡単な説明】
【図１】 本発明のシステムの機能構成を示す図である。
【図２】 仮想人物モデルを示す図である。
【図３】 ストーリーボード上の線画（画面）と３次元人物モデルの関係を示す図である。
【図４】 画面上の線分の関係と、それに対応する仮想人物モデルのパーツとの関係を示す図である。
【図５】 ストーリーボードに記述した絵コンテの線画より人物モデルの初期位置を推定するまでの処理の過程を示す図である。
【図６】 固有空間の動作曲線と、各座標値に対応する３次元姿勢の例を示す図である。
【図７】 固有空間の動作曲線の分割手法を示す図である。
【図８】 一連の動作を固有空間に投影したところを示す図である。
【図９】 図８に示す動作を分割したところを示す図である。
【図１０】 分割した動作セグメントに対応した３次元動作を示す図である。
【図１１】 ３名のモデルに同じ動作をさせた場合を平均化し、計算により新たな動作を生成したものを示す図である。
【図１２】 ストーリーボードに入力した絵コンテから生成したＣＧアニメーションの例を示す図である。
【図１３】 ストーリーボードに時間フレーム（タイムライン）を追加した例を示す図である。
【図１４】 共同作業支援作業を行うためのシステムの構成例を示す図である。
【図１５】 ストーリーボードを利用した作業工程管理とメッセージの伝達手法を示す図である。
【符号の説明】
１０ 動作入力部
１２ 動作信号入力部
１４ 動作分離部
２０ ストーリーボード記述部
２２，２４，２６ ストーリーボード
３０ 動作生成部
３２ ３次元姿勢推定部
３４ ３次元動作補間部
４０ データ蓄積部
５０ 画像表示部
１００ 仮想人物モデル
１５０ 画像面
２１２，２１４，２１６ ストーリーボード
２２０ タイムライン記述欄
２２２，２２４，２２６ ストーリーボード
２４０ メッセージ欄
３０２，３０４，３０６ ストーリーボード記述部

Claims (9)

1. ２次元的な人物の線画から動画を生成することができる動画像生成システムであって、
   該システムは、人物の一連の動作に対する３次元の姿勢パラメータである動作セグメントを複数蓄積するデータ蓄積部を有しており、
   動画を作成するために、２次元的な人物の線画により記述するストーリーボード記述部と、
   前記ストーリーボード記述部に入力した２次元的な線画から、３次元の姿勢パラメータを推定する姿勢推定部と、
   前記姿勢推定部からの複数の姿勢パラメータに基づいて、姿勢間の補間を行うために、前記データ蓄積部から、複数の姿勢パラメータに当てはまる動作セグメントを用いて補間することで、動作を生成する動作生成部と、
   前記生成した動作を表示する画像表示部と
   を備えることを特徴とする動画像生成システム。
2. 請求項１に記載の動画像生成システムにおいて、
   前記動作生成部は、前記姿勢推定部で得られた複数の姿勢パラメータを固有空間に投影して、投影した固有空間内の各点との距離がもっとも小さい動作セグメントを選択することを特徴とする動画像生成システム。
3. 請求項１又は２に記載の動画像生成システムにおいて、
   前記ストーリーボード記述部は、時間軸上の関係を記述することができることを特徴とする動画像生成システム。
4. 請求項１〜３のいずれかに記載の動画像生成システムにおいて、
   ストーリーボード記述部を複数備え、各ストーリーボード記述部で記述されたストーリーボードを共通の蓄積部に蓄積することができることを特徴とする動画像生成システム。
5. 請求項４に記載の動画像生成システムにおいて、
   前記蓄積するストーリーボードに対して、進行状態を示すように、表示状態を変化させることができることを特徴とする動画像生成システム。
6. 請求項１〜５のいずれかに記載の動画像生成システムにおいて、
   人物が動作している３次元の姿勢パラメータを入力し、該姿勢パラメータを分割して動作セグメントとして、前記データ蓄積部に蓄積する動作入力部をさらに備えることを特徴とする動画像生成システム。
7. 請求項１〜６のいずれかに記載の動画像生成システムにおいて、
   前記動作入力部における３次元の姿勢パラメータの分割は、前記姿勢パラメータを固有空間に投影して動作曲線を生成し、該動作曲線を最小記述規範により分割して、動作セグメントを得ることにより行うことを特徴とする動画像生成システム。
8. 請求項１〜７のいずれかに記載の動画像生成システムをコンピュータ・システムに構成させるためのプログラム。
9. 請求項８に記載の動画像生成システムをコンピュータ・システムに構成させるためのプログラムを格納した記録媒体。

Images