JP2005337983A - モーションキャプチャー方法及びシステム - Google Patents

Abstract

【課題】 この発明は、人体その他動物などの運動を正確に捕捉し、これを収録することを目的としたものである。
【解決手段】 この発明は、人体等対象物各部の骨格のデータをコンピュータに入力すると共に、前記人体各部に夫々ジャイロセンサーを取り付けて、前記ジャイロセンサーにより得た姿勢データを、前記人体各部の骨格のデータに重ね合わせることにより、前記ジャイロセンサーを取り付けた人体各部の骨格の姿勢を正確に捕捉すると共に、前記コンピュータに、前記人体の腰から下の姿勢制御用のソフトを入力して歩行の動作を行なうようにし、前記人体各部の動作及び歩行等の移動姿勢を正確に捕捉し、人体各部の動作を把握して収録することを特徴としたモーションキャプチャー方法により目的を達成した。
【選択図】 図１

Description

この発明は、人体又は動物など（人体等）、対象物の運動により変化する姿勢を正確に捕捉し、収録することを目的としたモーションキャプチャー方法及びシステムに関する。前記収録したデータは、ライブパフォーマンス、ＣＧデータ、アニメーション又は広告その他に使用される。

従来モーションキャプチャーの検出値を無線送信する方式があり、また計測原理としては、ビデオカメラなどで二次元の映像として記録後、画像解析する光学方式、機械的なリンクなどで動きを捕捉する機械方式、超音波発信器からの音波の到達時間から距離（位置）を求める超音波方式、磁場内部で磁気センサーの出力から位置と方向を求める磁場方式及びジャイロで方向を求め、加速度センサーから情報を処理する慣性方式などが知られている。
特開２００１−２６５５２１ 特開２０００−３２１０４４ 特開２００３−３０８５３２ 特開２００３−１０６８１２ 特開平１０−２６１０９０ 特開平９−１５３１５１

前記特許文献１に記載された発明は、身体動作要点部に、夫々アンテナエレメントを取り付け、身体に着けた無線送信装置から、各アンテナエレメントを識別可能な無線信号を送出し、これを各アンテナから送出する。この無線信号を周囲に配置した無線受信装置で受信し、各信号の受信電解強度から動作要点部の位置、動き、向きをデータ処理装置で計算し、動きの自由度の高いリアルタイムのモーションキャプチャーシステムが提案されている。然しながら前記提案においては、各データを無線で個々に送る為に、送受信上の制約があることは免れず、かつ雑音によるデータの不正確性を排除する困難性などの問題点があった。

また特許文献２に記載された発明は、角度検出部と、ビデオカメラと、データ処理装置よりなるモーションキャプチャー装置であって、角度検出部から出される折れ曲がり角度を示す信号に基づいて身体の部位の相対的な位置を導出すると共に、ビデオカメラから出される映像信号に基づいて身体の絶対的な位置と角度を導出し、これらの導出結果に基づいて各部位の絶対的な位置を導出することにより身体の動きを計測するものであるが、角度検出部を取り付けた身体位置の正確な設定基準が表示されない為に測定値を不正確にするおそれがあると共に、異質の情報（位置の相対的検出と絶対的検出）を使用する為に精度の向上が難しい問題点があった。

次に特許文献３に記載された発明は、複数の受動的光学式マーカを装着した身体を撮影する撮影工程と、各時刻に撮影した全マーカの３次元座標を得る３次元再構成工程と、ある時刻のあるマーカがそれ以前の時刻のどのマーカに対応するかを求め、マーカと、身体の各部位との対応を決定するラベリング工程と、ラベリングされた全マーカから、それらが固定されている身体の部位に関する知識に基づいて各関節の角度を決定し、全身の姿勢を求める関節角計算工程とからなる受動的光学式モーションキャプチャーデータの処理法において、ラベリングと関節角計算をループ状に結合し、同時進行させる受動的光学式モーションキャプチャーデータの処理法である。

この発明においては、撮影工程を必須要件とする為に、人体の姿勢的制約があるので、例えば自動車に乗っている時のモーションキャプチャーは求めることができないなど、環境的制約が著しい問題点があった。

特許文献４に記載された発明は、身体に装着された光学マーカの位置情報により、前記身体の動きを検出捕捉する光学式モーションキャプチャー装置と、前記身体に装着された磁気センサの動きを検出・捕捉する磁気式モーションキャプチャー装置と、前記光学式モーションキャプチャー装置で検出・捕捉した光学データ及び前記磁気式モーションキャプチャー装置で検出・捕捉した磁気データをキャリブレートするためのキャリブレーション手段と、キャリブレートされた前記身体の光学データ及び磁気データを用いて、前記身体スケルトンの動作データを作成し、生成された動作データを動体キャラクタスケルトンに変換する制御手段を備えた画像情報処理方法、その方法を利用したシステムである。このシステムは、光学式モーションキャプチャーと磁気式モーションキャプチャーを併用する点に特質があるが、人体に対するセンサーの取り付け場所の表示がコンピュータ処理上不正確になり易いのみならず、人体の姿勢に制約がある問題点があった。

次に特許文献５に記載した発明は、使用者の両肩と両手首にそれぞれ取り付けた三次元位置センサーの出力に基づいて、以下の要件（１）、（２）、（３）を実行し、使用者の動作状態を検出するモーションキャプチャーシステムである。

（１）三次元位置センサーの存在する場所を特定する位置情報のみを用いる。

（２）両肩のセンサーの位置から使用者の向きを特定する。

（３）同一側に位置する肩と手首に装着したセンサー間の距離から、肘の曲げ角を算出し、前記同一側に位置する肩と手首に装着したセンサーの相対位置関係から腕の振れ角を算出し、それら算出した肘の曲げ角並びに腕の振れ角に基づいて腕の状態姿勢を特定する。

前記発明は、センサー位置の確認が不正確であり、かつ下半身の動作（例えば歩行）について収録されない問題点がある。

特許文献６に記載された発明は、マーカ位置と骨格構造の対応づけを定義する機構を設ける。その中で、２つのマーカを結ぶ直線の内分・外分点に関節位置を決める。また３つのマーカの作る平面内の任意の位置に関節位置を設定する。さらに関節の捻れの基準を定義する機構をそれぞれ持たせる。また関節位置からそのローカル座標系での回転角度に変換する際に、回転の順番に設定して回転角度に変換する３次元骨格構造の動き生成装置である。

前記発明によれば、マーカ位置の夫々を３次元計測とするのでなく、３つのマーカの作る平面内の位置に関節位置を設定するものであるから、マーカを装着した人体の位置決定でない問題点がある。然して骨格を基準としたマーカの装着ではないので、位置の特定が難しくなりやすい問題点がある。

従来のモーションキャプチャーには、前記のような構成と問題点があった。そこでこの発明は、ジャイロセンサー（３次元センサー）を人体各部（例えば７箇所乃至２０箇所）に設置し、そのデータを有線で整理用のコンピュータに入力し、該コンピュータで整理した後、無線で基コンピュータに発信する。

前記整理したデータを受けた基コンピュータでは、予め収録した前記人体の骨格に、前記ジャイロセンサーの設置位置を収録すると共に、予め収録してある人体の下半身の移動ソフトを用いて、人体各部の動きを正確に捕捉することに成功し、前記従来の問題点を解決したのである。

即ち方法の発明は、人体等対象物各部の骨格のデータをコンピュータに入力すると共に、前記人体各部に夫々ジャイロセンサーを取り付けて、前記ジャイロセンサーにより得た姿勢データを、前記人体各部の骨格のデータに重ね合わせることにより、前記ジャイロセンサーを取り付けた人体各部の骨格の姿勢を正確に捕捉すると共に、前記コンピュータに、前記人体の腰から下の姿勢制御用のソフトを入力して歩行の動作を行なうようにし、前記人体各部の動作及び歩行等の移動姿勢を正確に捕捉し、人体各部の動作を把握して収録することを特徴としたモーションキャプチャー方法であり、各ジャイロセンサーにより捕捉したデータは、有線により集めてコンピュータでまとめた後、このデータを無線により基コンピュータに送信し、収録するものであり、各ジャイロセンサーにより捕捉したデータは、コンピュータ処理によりまとめた後、これを無線により基コンピュータに送信するものである。

また他の発明は、人体等対象物の各部動作の回転データを得るジャイロセンサーと、各部のジャイロセンサーのデータを送信する送信手段と、前記送信手段により送られたデータをコンピュータ処理してまとめるデータ整理手段と、該整理されたデータを送信する送信手段と、送信されたデータと、予め入力されている骨格情報及び腰から下の運動ソフトを用いて人体の運動を収録する基コンピュータとを組み合せたことを特徴とするモーションキャプチャーシステムであり、ジャイロセンサーからの情報の送信手段は有線送信としたものである。

更に、有線送信されたデータをコンピュータで整理し、これを基コンピュータに送る送信手段は無線発信装置としたものであり、基コンピュータは、入力される骨格情報を、予め収録されている運動ソフトに入力することにより、人体の運動を収録するものであり、人体各部に取り付けるジャイロセンサーの数は、７個乃至２０個としたものである。

前記発明において、ジャイロセンサーの取り付け数を７個乃至２０個としたのは、人体各部の運動捕捉における必要ジャイロセンサーの最少数は７個であるからである（図３）。また人体各部の運動捕捉におけるジャイロセンサーの必要最大数は２０個であるからである。

従って使用目的に応じてジャイロセンサーの取り付け箇所及び数を決定する。

例えば自動車などの運転時には、腰から下の運動は比較的単純化されるので、使用するジャイロセンサーは少なくなるが、バレーなどのように複雑な運動の収録には、必然的に多くのジャイロセンサーを使用する。

要するに、対象物の運動状態を正確に把握する為に必要なジャイロセンサーを使用する。

この発明は正常な機能を保有する人体について説明したが、介護を必要とするような運動機能が低下した人、又は猿その他の動物についても採用し、運動機能の研究、収録、開示その他に利用し得るものである。従ってアニメーション用原画の作成、運動予測、自動器機に対する人力の対応その他居住空間と姿勢の研究開発などにも応用することができる。

更に従来のモーションキャプチャーでは不可能であった走行中の自動車、オートバイなどの運転者の動作も正確かつ経時的に収録できるので、運転性能の研究又は疲労軽減の研究などにも使用することができる。

この発明によれば、人体等の各所へ、ジャイロセンサーを取り付け、このジャイロセンサーで得た情報を集計し、演算処理した後、これを無線で基コンピュータに送信し、運動ソフトを利用して、所定の仕上げ整理することができる効果がある。

また人体の骨格を予めコンピュータに入力しておき、ジャイロセンサーの入力位置を正確に決定できる効果がある。

次にコンピュータへ下半身の運動ソフトを入力しておけば、下半身のスムースな動作の再現ができると共に、歩行状態を得ることができる効果がある。

この発明によれば、整理コンピュータは情報は優先入力で人体に装着し、整理した情報は無線で基コンピュータに入力できるので、人体等の姿勢及び状態に関係なく、正確な運動を収録できる効果がある。

従って従来のモーションキャプチャーでは不可能であった運動姿勢でのモーションキャプチャーまたは疾走中でのモーションキャプチャーも容易にできる効果がある。

この発明は、人体（以下、被測定者という）各部に１８個のジャイロセンサーを取り付けると共に、当該被測定者の骨格のデータをコンピュータに入力し、前記１８個のジャイロセンサーを発信装置と、有線接続し、該発信装置を被測定者に取り付ける。

前記発信装置は、各ジャイロセンサーからのデータをコンピュータに無線発信し、コンピュータで受信して目的に対応した方法でデータを整理し、収録する。

前記コンピュータには、腰から下の姿勢制御用ソフトを搭載してあって、被測定者が前後、左右に移動する一般動作についても対応できるようにしてある。

前記ジャイロセンサーは、３次元センサーであって、回転方向に対しても正確にデータを取ることができるので、被測定者の身体の微妙な運動、各部変化についても収録することができる。

前記ジャイロセンサーの取り付け位置は、被測定者の骨格に基づき位置決めがしてあるので、取り付け後は偏倚するおそれがなく、そのデータは修正を要しない。

即ちコンピュータに入力するデータは骨格対応位置におけるデータとして、そのまま演算することにより、真実の形態と、連動を再現し得ることになり、被測定者の運動を正確かつ円滑に再現させることができる。

前記被測定者の骨格寸法を予め測定した猿の骨格寸法に置換することにより、当該猿の運動を表現収録することができる。

即ちアニメーションの登場者を収録するには、人体の実録データを利用し、登場者（例えば他の動物又は架空の動物、想像上の動物）の活動を真実らしく具現させることができる。前記実施形態においては、ジャイロセンサーを１８個取り付けたが、１８個に限定するものではなく、詳細な部分運動を採用する為に、取り付け位置を変え、取り付け個数を変えることは自由である。

従ってアニメーション登場の動物から、各種ロボット（介護用、家庭用、工業用その他人体に代る各種作業ロボット）の運動改善資料として採用することができる。

前記については、被測定者（人間）の運動を収録したものを、求める動物（例えば猿）の運動に置換する為には、被測定者の骨格データを猿の骨格データに変換すればよいと説明した。

然しながら更に正確には、同種の動物（例えば日本猿）の運動状態をアニメーションに採用しようとする日本猿の骨格データとを変換することにより、一層真実に近い運動をさせることができる。

前記のように、この発明は人間以外の動物その他動く物について測定して収録し、その動きを分析して改善することができる。

この発明の実施例を図１について説明する。被測定者の身体の適所（関節部等）にジャイロセンサーを装着すると共に、コンピュータを内蔵した発信装置を腰に固着して、前記ジャイロセンサーと、発信装置とを有線で連結する。

この場合に被測定者の身体を構成する骨格データは、正確に測定して基コンピュータに蓄積する。ついで被測定者に運動させると、各ジャイロセンサーから毎秒１００〜５００のデータが発信されるので、このデータを前記発信装置に内蔵したコンピュータで処理し、各骨格の運動姿勢を定めて、無線により基コンピュータを内蔵した受信装置に送信する。

前記送信を受信した基コンピュータは、前記データに基づいて被測定者の運動画像を作成し、これを収録する。又は前記被測定者の運動を連続的データとして取り出し、そのまま利用し、又は運動を解析して他の用途に用いる。

この発明の実施例を図２について説明すると、被測定者１の身体各部に、ジャイロセンサー２ａ、２ｂ、２ｃ、２ｄ、２ｅ、２ｆ、２ｇ、２ｈ、２ｉ、２ｊ、２ｋ、２ｌ、２ｍ、２ｎ、２ｏ、２ｐ、２ｑ、２ｒを夫々取り付ける。

次にコンピュータを内蔵した発信装置３と、前記各ジャイロセンサー２（全部を指す時はアルファベットなしとする）とを電線４、４で接続し、発信装置３はベルトなどを用いて被測定者１の腰に装着する。また前記発信装置３と、前記を操作するコンピュータ付の受信装置５との間は無線で送受信されている。

従って被測定者１の身体各部で検出された運動データは、電線４、４を介して発信装置に送られ、ここで演算（Ｘ、Ｙ、Ｚの点から位置を決定する）して位置を定める。この演算値を無線で受信装置５に送り、受信装置５内に設置した基コンピュータに入力して、基コンピュータ内に登録された骨格との関係から、骨格の運動による画像を収録する。前記ジャイロセンサーから毎秒１００〜５００のデータが入力されるので、前記骨格の運動は極めてスムースに行われる。

前記実施例によれば、被測定者の身体に１８個以上のジャイロセンサーをつけて、その３次元データを送り、このデータに基づき骨格の動きを表示するので、被測定者の運動状態を正確に収録することができる。

またジャイロセンサーのデータは、コンピュータ処理（３次元データより一点を求める）して、無線送信するので、例えば自動車又はオートバイなどの運転中でも、運転者の動きを適確に収録することができる。このようなことは、従来知られているモーションキャプチャーでは不可能であった。

図３は主要骨格に、ジャイロセンサーの取り付け位置を示したものである。即ち頭６、首７、腰８、脚の付け根９、足１０ａ、１０ｂへ、ジャイロセンサー１１ａ、１１ｂ、１１ｃ、１１ｄ、１１ｅ、１１ｆ、１１ｇを夫々取り付けた図である。この場合には人体の重要部の動きを測定する為の実例であるが、人体については最小でも図３のように７個のジャイロセンサーが必要である。人間の場合、動物の場合により最小必要個数は異なる。

この発明の実施例のブロック図。 同じくジャイロセンサーを取り付けた状態の説明図。 同じくジャイロセンサーと骨格の相互位置を示すコンピュータ映像。

符号の説明

１ 被測定者
２ａ、２ｂ、２ｃ、２ｄ、２ｅ、２ｆ、２ｇ、２ｈ、２ｉ、２ｊ、２ｋ、２ｌ、２ｍ、２ｎ、２ｏ、２ｐ、２ｑ、２ｒ ジャイロセンサー
３ 発信装置
４ 電線
５ 受信装置
１１ａ、１１ｂ、１１ｃ、１１ｄ、１１ｅ、１１ｆ、１１ｇ ジャイロセンサー

Claims (8)

1. 人体等対象物各部の骨格のデータをコンピュータに入力すると共に、前記人体各部に夫々ジャイロセンサーを取り付けて、前記ジャイロセンサーにより得た姿勢データを、前記人体各部の骨格のデータに重ね合わせることにより、前記ジャイロセンサーを取り付けた人体各部の骨格の姿勢を正確に捕捉すると共に、前記コンピュータに、前記人体の腰から下の姿勢制御用のソフトを入力して歩行の動作を行なうようにし、前記人体各部の動作及び歩行等の移動姿勢を正確に捕捉し、人体各部の動作を把握して収録することを特徴としたモーションキャプチャー方法。
2. 各ジャイロセンサーにより捕捉したデータは、有線により集めてコンピュータでまとめた後、このデータを無線により基コンピュータに送信し、収録することを特徴とした請求項１記載のモーションキャプチャー方法。
3. 各ジャイロセンサーにより捕捉したデータは、コンピュータ処理によりまとめた後、これを無線により基コンピュータに送信することを特徴とした請求項１記載のモーションキャプチャー方法。
4. 人体等対象物の各部動作の回転データを得るジャイロセンサーと、各部のジャイロセンサーのデータを送信する送信手段と、前記送信手段により送られたデータをコンピュータ処理してまとめるデータ整理手段と、該整理されたデータを送信する送信手段と、送信されたデータと、予め入力されている骨格情報及び腰から下の運動ソフトを用いて人体の運動を収録する基コンピュータとを組み合せたことを特徴とするモーションキャプチャーシステム。
5. ジャイロセンサーからの情報の送信手段は有線送信としたことを特徴とする請求項４記載のモーションキャプチャーシステム。
6. 有線送信されたデータをコンピュータで整理し、これを基コンピュータに送る送信手段は無線発信装置としたことを特徴とする請求項４記載のモーションキャプチャーシステム。
7. 基コンピュータは、入力される骨格情報を、予め収録されている運動ソフトに入力することにより、人体の運動を収録することを特徴とした請求項４記載のモーションキャプチャーシステム。
8. 人体各部に取り付けるジャイロセンサーの数は、７個乃至２０個としたことを特徴とする請求項４記載のモーションキャプチャーシステム。

Images