JP2001084375A - 動作検証システムおよび非接触マニピュレーションシステム - Google Patents

Abstract

(57)【要約】 【構成】 動作検証システム１０は、カメラ１２〜２２
を含む。たとえば、オペレータがバットのスイングのト
レーニングを受ける場合には、カメラ１２〜１６で撮影
されるトレーニのスイングとカメラ１８〜２２で撮影さ
れるトレーナのスイングとの差異が、カラー画像から得
られる身体の特徴点の３次元座標データに基づいて３次
元的差異検出装置２８で検出される。また、それぞれの
スイングは、モニタ３０に２画面で（または重ねて）表
示される。さらに、スイングの差異が大きい場合には、
警告ランプ３２が点灯する。したがって、トレーニはト
レーナのスイングとの差異を簡単に知ることができる。 【効果】 トレーニングシステムなどに用いられる新規
な動作検証システムを提供することができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は動作検証システムおよ
び非接触マニピュレーションシステムに関し、特にたと
えば複数の視点から撮影した複数の画像に基づいて身体
の特徴点を検出し、その特徴点から人物の３次元姿勢を
推定する装置を用いた、動作検証システムおよび非接触
マニピュレーションシステムに関する。

【０００２】

【従来の技術】この種の従来の動作検証システムおよび
非接触マニピュレーションシステムは存在しなかった。

【０００３】

【発明が解決しようとする課題】従来では、非接触で人
物の動きを正確に認識し、基準動作との差異を検証する
ような動作検証システムはなかった。また、非接触で人
物の全部または一部の動きを認識し、その動きをスレー
ブマニピュレーションで再現するようなマニピュレーシ
ョンシステムもなかった。

【０００４】それゆえに、この発明の主たる目的は、ト
レーニングシステム，監視システム等に用いられる新規
な動作検証システムおよび非接触マニピュレーションシ
ステムを提供することである。

【０００５】

【課題を解決するための手段】第１の発明は、複数の視
点から撮影した複数の画像に基づいて人物の３次元姿勢
を推定する装置を用いた動作検証システムであって、推
定した３次元姿勢に基づいて人物の実時間での動作を検
出する動作検出手段、およびその動作と基準動作とを比
較する比較手段を備える、動作検証システムである。

【０００６】第２の発明は、複数の視点から撮影した複
数の画像に基づいて人物の３次元姿勢を推定する装置を
用いた非接触マニピュレーションシステムであって、推
定した３次元姿勢に基づいて人物の実時間での動作を検
出する動作検出手段、およびその動作の全部または一部
をスレーブマニピュレータを用いて再現する再現手段を
備える、非接触マニピュレーションシステムである。

【０００７】

【作用】第１の発明の動作検証システムでは、たとえば
複数のカメラを用いて複数の視点で人物を撮影する。そ
して、撮影した画像に基づいて身体の特徴点、すなわち
頭頂点、手先などの特徴的な身体的部位を検出し、その
特徴点から人物の３次元姿勢を推定する。この推定した
３次元姿勢に基づいて、動作検出手段が人物の動作を検
出する。比較手段が、人物の動作と基準動作とを比較す
る。たとえば、野球のバットスイングにおいて、トレー
ナのスイングを基準動作とし、トレーニのスイングを実
時間の人物の動作として互いを比較することができる。

【０００８】たとえば、第１表示手段がたとえばＣＲＴ
モニタを用いて可視表示する。したがって、トレーナと
トレーニとのスイングを２画面で（または重ねて）表示
することができる。

【０００９】また、第２表示手段が、比較手段の比較結
果を表示するので、どの程度の割合でトレーナのスイン
グに近づけているかを具体的に知ることができる。

【００１０】さらに、基準動作を他の人物の実時間の動
作から取得するようにしてもよい。つまり、トレーナと
トレーニとが遠隔地にいる場合であっても、トレーニは
実時間でトレーニングを受けることができる。

【００１１】さらにまた、基準動作は予め他の人物の動
作を記憶したものを供給してもよい。したがって、この
場合にはトレーナとトレーニとが同時にスイングする必
要がない。また、トレーナのスイングをＣＲＴモニタに
スロー再生すれば、トレーニはスローなスイングでトレ
ーニングすることもできる。

【００１２】また、警告手段を設ければ、トレーナのス
イングとトレーニのスイングとの差異が所定量以上であ
る場合に、警告手段を用いて差異が大きいことをトレー
ニに報知することができる。

【００１３】たとえば、記憶手段に少なくとも２以上の
基準動作を記録しておき、動作と基準動作とを所定時間
毎に比較する。このような比較動作を、すべての基準動
作について実行し、一番近似している基準動作を人物の
動作に同定することができる。たとえば、握手、抱擁、
挨拶などの基準動作を記憶しておき、検出した動作と比
較し、一番近い基準動作から特定の動作に同定する。

【００１４】また、第３表示手段によって、同定した特
定の動作を可視表示すれば、たとえばＣＲＴモニタに表
示されたＣＧキャラクタを用いて人物の動作を再現させ
ることができる。

【００１５】第２の発明の非接触マニピュレーションシ
ステムでは、推定した３次元姿勢に基づいて動作検出手
段が人物の動作を実時間で検出する。この動作をスレー
ブマニピュレータが再現する。このため、危険な作業を
人間の代わりにロボット（スレーブマニピュレータ）に
させることができる。

【００１６】たとえば、ロボットを遠隔地で可視表示す
るためのＣＲＴモニタなどの表示装置を設れば、爆発物
などの危険物を安全に取り扱うことができる。

【００１７】また、ロボットの動作に関連するおよび周
辺の音声を検出するようにすれば、映像と音声とに基づ
いて作業場の状況を把握することができる。

【００１８】

【発明の効果】この発明によれば、非接触で得られた人
物の動作と基準動作と比較するので、新規なトレーニン
グシステムや監視システムを提供することができる。

【００１９】他の発明によれば、非接触で得られた人物
の動作をスレーブマニピュレータを用いて再現すること
ができるので、非接触マニピュレーションシステムを実
現することができる。

【００２０】この発明の上述の目的，その他の目的，特
徴および利点は、図面を参照して行う以下の実施例の詳
細な説明から一層明らかとなろう。

【００２１】

【実施例】図１を参照して、この実施例の動作検証シス
テム１０は、カラーカメラ（以下、単に「カメラ」とい
う。）１２〜２２を含む。カメラ１２〜１６は第１モー
ションキャプチャシステム２４に接続され、カメラ１８
〜２２は第２モーションキャプチャシステム２６に接続
される。第１モーションキャプチャシステム２４は、第
１身体動作合成装置２７に接続されるとともに、３次元
的差異検出装置２８に接続される。また、第２モーショ
ンキャプチャシステム２６は、３次元的差異検出装置２
８と第２身体動作合成装置２９とに接続される。第１身
体動作合成装置２７と第２身体動作合成装置とはモニタ
３０に接続され、３次元的差異検出装置２８はモニタ３
０および警告ランプ３２に接続される。

【００２２】また、カメラ１２〜２２は、人物を正面、
側面および上面（立面）から撮影するために設けられ
る。なお、カメラ１２および１８が正面用であり、カメ
ラ１４および２０が側面用であり、カメラ１６および２
２が立面用である。したがって、カメラ１２〜１６でオ
ペレータ（被験者）を撮影し、カメラ１８〜２２で基準
動作をするオペレータ以外の人物を撮影することができ
る。このため、カメラ１２〜１６とカメラ１８〜２２と
は、同じ建物の他の部屋や遠隔地に設置されてもよい。
したがって、カメラ１８〜２２の遠隔地設置に伴って、
第２モーションキャプチャシステム２６も遠隔地等に設
置され、電話回線等のネットワークによって３次元的差
異検出装置２８に接続される。このカメラ１２〜１６で
撮影された映像に対応するカラー画像が第１モーション
キャプチャシステム２４に出力され、カメラ１８〜２２
で撮影された映像に対応するカラー画像が第２モーショ
ンキャプチャシステム２６に出力される。

【００２３】この第１モーションキャプチャシステム２
４（または第２モーションキャプチャシステム２６）
は、図２に示すように、カメラ１２〜１６（またはカメ
ラ１８〜２２）のそれぞれに対応して設けられた画像処
理装置４０〜４４を含む。画像処理装置４０〜４４は、
３次元座標算出装置４６に接続される。３次元座標算出
装置４６が、先の３次元的差異検出装置２８に対して３
次元座標データを出力する。また、第１モーションキャ
プチャシステム２４の３次元座標算出装置４６は、第１
身体動作合成装置２７にも接続される。さらに、第２モ
ーションキャプチャシステム２６の３次元座標算出装置
４６は、第２身体動作合成装置２９にも接続される。

【００２４】画像処理装置４０〜４４は、それぞれパソ
コン程度の処理能力を有するコンピュータであり、カメ
ラ１２〜１６（またはカメラ１８〜２２）から出力され
たカラー画像を処理して各画像上における身体の特徴
点、すなわち頭頂点、手先等の特徴的な身体的部位の２
次元座標を検出する。なお、画像処理装置４０〜４４
は、時分割的に処理することによって１つないし複数の
より高性能のコンピュータを共有することによって個別
のコンピュータを代替えすることができる。

【００２５】画像処理装置４０〜４４で得られた特徴点
の２次元座標の情報が、３次元座標算出装置４６に与え
られる。この３次元座標算出装置４６もまた、パソコン
程度の処理能力を有する１台のコンピュータであり、本
件出願人により先に出願された特願平１１−１１１６４
５号において開示されているように、特徴点の２次元座
標を三角測量の原理で３次元に復元するとともに、復元
したデータ（３次元座標データ）が妥当であるかどうか
を、たとえば初期的に設定されている人物の身体データ
に基づいて検証する。言い換えると、複数の視点から得
られるカラー画像、つまり正面，立面および側面に対応
するカラー画像に基づいて、オペレータまたはオペレー
タ以外の人物の３次元的な姿勢（３次元姿勢）が推定さ
れる。

【００２６】オペレータ側の第１モーションキャプチャ
システム２４の３次元座標算出装置４６で得られた３次
元座標データが、３次元的差異検出装置２８に与えられ
る。また、第１モーションキャプチャシステム２４で得
られた３次元座標データは、第１身体動作合成装置２７
にも与えられる。第１身体動作合成装置２７は、第１モ
ーションキャプチャシステム２４から得られる３次元座
標データに基づいて、コンピュータグラフィックスの手
法により、ＣＧキャラクタを用いてアバタと呼ばれるオ
ペレータの分身を仮想３次元環境内に再現または再生す
る。このオペレータに対応するＣＧキャラクタのデータ
（モーションデータ）がモニタ３０に与えられる。

【００２７】また、オペレータ以外の人物側の第２モー
ションキャプチャシステム２６の３次元座標算出装置４
６で得られた３次元座標データも、３次元的差異検出装
置２８に与えられる。また、第２モーションキャプチャ
システム２６で得られた３次元座標データは、第２身体
動作合成装置２９にも与えられる。第２身体動作合成装
置２９は、第２モーションキャプチャシステム２６から
得られる３次元座標データに基づいて、第１身体動作合
成装置２７と同様に、オペレータ以外の人物の分身を仮
想３次元環境内に再現または再生する。このオペレータ
以外の人物に対応するＣＧキャラクタのモーションデー
タもまた、モニタ３０に与えられる。

【００２８】３次元的差異検出装置２８は、第１モーシ
ョンキャプチャシステム２４および第２モーションキャ
プチャシステム２６のそれぞれから出力される３次元座
標データを所定時間（たとえば、１０ｍｓ）毎に比較
し、オペレータの動作とオペレータ以外の人物の基準動
作との差異を検出する。つまり、所定時間毎に比較され
る３次元座標データは１画面分の静止画像データであ
り、その瞬間の姿勢が比較される。続いて、それぞれの
姿勢の比較結果（誤差量）に基づいて互いの動作の差異
を検出する。たとえば、動作の開始から終了までの時間
が１０秒であれば、１００個の誤差量が得られ、これら
の平均値を算出することにより、互いの動作の差異が検
出される。

【００２９】そして、差異（誤差量の平均値）が所定量
より大きい場合には、３次元的差異検出装置２８は警告
ランプ３２を点灯させる。一方、差異が所定量より小さ
い場合には、警告ランプ３２は消灯されたままである。
ここで、所定量はオペレータの動作が他の人物の基準動
作にどの程度近似しているかを示す割合であり、その値
はオペレータが自由に設定できる。なお、上述のような
カラー画像による人物の３次元姿勢の推定方法および装
置は、本件出願人により先に出願された平成１１年特許
願第１１１６４５号に詳細に示されている。

【００３０】この発明は、図３に示すような、具体的な
トレーニングシステムに適用することができる。つま
り、オペレータ（トレーニ）がカメラ１２〜１６で撮影
され、トレーニのアバタとしてのＣＧキャラクタがモニ
タ３０の下側に表示される。一方、オペレータ以外の人
物（トレーナ）がカメラ１８〜２２で撮影され、トレー
ナのアバタとしてのＣＧキャラクタがモニタ３０の上側
に表示される。したがって、トレーニがモニタ３０を見
ることによって、トレーナの動作（スイング）との差異
を簡単に知ることができる。なお、図３では分かり易く
説明するために、トレーナとトレーニとを２画面に表示
するようにしたが、重ねて表示するようにすれば差異を
より簡単かつ明確に知ることができる。

【００３１】ここで、３次元的差異検出装置２８が差異
の量を検出し、所定量（たとえば、４０％）以上の差異
がある場合に警告ランプ３２を点灯させる。このよう
に、警告ランプ３２を用いてトレーナのスイングとの差
異の大小を知ることができるが、具体的な数値を表示す
るようにしてもよい。つまり、何パーセントの割合でト
レーナと同じスイングができているかが表示される。ま
た、点数で表示するようにしてもよい。このように、数
値で表示する場合には、警告ランプ３２の代わりに他の
表示装置を設けてもよく、また点数等の数値をモニタ３
０の画面で表示するようにしてもよい。さらに、モニタ
３０を用いて、たとえば“右肩が下がっています。”な
どのように、具体的に身体のどの部分の動作に差異があ
るかを表示させるようにしてもよい。このように、数値
等で差異を表示する場合には、特にトレーナのスイング
とトレーニのスイングとを表示しなくもよい。

【００３２】また、図１の実施例では、同時にトレーナ
とトレーニとがスイングして、その差異を検出するよう
にしたが、図４に示す変形例を用いることもできる。つ
まり、モーションキャプチャ２６と３次元的差異検出装
置２８との間に第２の３次元座標データ記憶装置３４が
さらに設けられる。なお、図４では、第２の３次元座標
データ記憶装置３４が設けられた以外は図１と同じであ
るため、重複した説明は省略する。

【００３３】図４に示す変形例では、第２モーションキ
ャプチャシステム２６からの出力、つまり基本動作を示
すトレーナのスイングの３次元座標データが第２の３次
元座標データ記憶装置３４に記憶される。したがって、
３次元的差異検出装置２８が第２の３次元座標データ記
憶装置３４から予め記憶しておいたトレーナのスイング
に対応する３次元座標データを読み出し、第２身体動作
合成装置２９に供給する。したがって、記憶されていた
トレーナのスイングが第２身体動作合成装置２９を用い
て再生され、これを見ながらトレーニはトレーニングす
ることができる。また、図１実施例と同様にその差異を
３次元的差異検出装置２８が検出し、差異が所定量より
大きい場合には、警告することもできる。このように、
リアルタイムでなく、非同期にトレーナとトレーニとが
スイングするようなトレーニングシステムにも適用する
ことができる。また、トレーナのスイングをスロー再生
すれば、トレーニはスローなスイングでトレーニングす
ることもできる。

【００３４】なお、図１および図４実施例では、野球の
スイングのトレーニングシステムについて示したが、ピ
ッチャーの投球フォーム、各種スポーツのフォーム（ゴ
ルフのスイングやボーリングの投球フォームなど）、拳
法，太極拳および空手などの型および各種ダンスの振り
付けなどのあらゆるトレーニングシステムに適用するこ
とができる。

【００３５】さらに、他の変形例として図５に示す動作
検証システム１０を用いて、オペレータの動作を２以上
の基準動作と比較し、２以上の基準動作から同じ動作を
同定することができる。たとえば、基準動作は「握
手」、「抱擁」、「挨拶」、「殴る」、「蹴る」などで
ある。なお、この動作検証システム１０は、第１の３次
元座標データ記憶装置３６を設け、警告ランプ３２を削
除した以外は、図４実施例と同じであるため、重複した
説明は省略する。

【００３６】この動作検証システム１０では、オペレー
タの動作を撮影し、カラー画像から得られた３次元座標
データが第１の３次元座標データ記憶装置３６に記憶さ
れる。一方、上述のような２以上の基準動作が予め撮影
され、それぞれの基準動作に対応する３次元座標データ
が第２の３次元座標データ記憶装置３４に記憶されてい
る。したがって、３次元的差異検出装置２８は、第１の
３次元座標データ３６および第２の３次元座標データ記
憶装置３４を制御して、オペレータの動作に対応する３
次元座標データを出力させるとともに、基準動作に対応
する３次元座標データを出力させる。３次元的差異検出
手段２８は、所定時間（たとえば、１０ｍｓ）毎に互い
の３次元座標データを比較し、その差異を検出する。

【００３７】このような動作を、３次元的差異検出手段
２８は、すべての基準動作について実行し、差異が最も
少ない、つまり最も近似している（この実施例では、８
０％以上の割合で近似している）基準動作をオペレータ
の動作と同じ動作に同定する。オペレータの動作が同定
されると、３次元的差異検出装置２８は第２の３次元座
標データ記憶装置３４から同定した基準動作に対応する
３次元座標データを読み出す。すると、第２身体動作合
成装置２９からモーションデータが出力され、モニタ３
０に表示されたＣＧキャラクタに同定した基準動作を再
現させることができる。なお、差異が最も少なくても、
８０％に満たない場合には、３次元的差異検出装置２８
は該当する基準動作がないと判断し、モニタ３０のＣＧ
キャラクタには、何の動作もさせず、該当なしの旨を表
示する。

【００３８】たとえば、このような図５に示す動作検証
システム１０を用いることにより、ゲームや映画などの
登場人物にオペレータの動作を再現させることができ
る。つまり、３次元的差異検出装置２８によって複数の
基準動作との差異を検出して最も近い基準動作を選択
し、その動作によってゲームや映画などのストーリの展
開を違わせるなどすれば、オペレータが登場人物とな
り、ストーリなどの展開を操るようなこともできる。

【００３９】図６に示す、他の実施例の動作検証システ
ム１０では、先の実施例の３次元的差異検出装置２８を
同様の３次元的差異検出装置を含む監視装置５０に置き
換え、さらに顔の表情を検出するためのカメラ５２およ
び顔表情検出装置５４を設け、第２身体動作合成装置２
９を削除した以外は、図４に示す実施例と同じであるた
め、重複した説明は省略する。

【００４０】この図６に示す動作検証システム１０は、
特定の動作を監視する監視システムとして適用すること
ができる。つまり、モデルの所定の動作（基準動作）を
カメラ１８〜２２で撮影し、その動作に対応する３次元
座標データを第２の３次元座標データ記憶装置３４に予
め記憶しておく。そして、監視する対象の人物（対象人
物）が所定の動作を実行すると、対象人物の動作がカメ
ラ１２〜１６で撮影される。また、カメラ５２で対象人
物の顔が撮影される。監視装置５０は、対象人物の所定
の動作に応じて記憶しておいた基準動作に対応する３次
元座標データを第２の３次元座標データ記憶装置３４を
制御して逐次読み出し（再生し）、対象人物の動作との
差異を検出する。また、顔表情検出装置５４は、カメラ
５２から出力される顔画像に基づいて対象人物の目の動
きなどを検出し、監視装置５０に出力する。つまり、対
象人物の動作と顔の表情が検出され、たとえば顔があち
らこちらに向いたり、目が泳いだりするなどの挙動不
審、または危険な作業の手順の間違えなどを検出する
と、監視装置５０は警告ランプ３２を用いて警告を発す
る。

【００４１】したがって、警告ランプ３２が設置されて
いる場所の付近にいる人物がモニタ３０に表示されたＣ
Ｇキャラクタ（アバタ）を通して挙動不審の対象人物を
実時間で監視することができ、また危険な作業をしてい
る対象人物に対しては、手順が間違えていることを知ら
せることができる。さらに、危険な作業をしている対象
人物が直接警告ランプ３２を見ることができる位置に警
告ランプ３２を配置するようにしてもよい。なお、図６
において、第２身体動作合成装置２９を削除したが、動
作検証システム１０を危険な作業の監視システムとして
適用する場合には、図４と同様に第２身体動作合成装置
２９を設け、基準動作をモニタ３０に表示すれば、一目
でその動作（作業）の差異を知ることができる。

【００４２】具体的には、図７に示すような、銀行など
のＡＴＭの監視システムに適用することができる。対象
人物（被験者）が、たとえばお金を引き出す場合には、
各種サービスを案内するためのタッチパネルの“お引き
出し”を指で押さえる。これに応じて、監視装置５０は
第２の３次元座標データ記憶装置３４にお金を引き出す
場合の基準動作の３次元座標データの再生を指示する。
つまり、対象人物の動作と予め記憶されたお金の引き出
しに関連した基準動作との差異が検出される。また、た
とえばお金の引き出しでは行わない動作を対象人物が行
った場合には、監視装置５０が挙動不審と判断して警告
ランプ３２を動作させる。さらに、このときカメラ５２
で顔が撮影され、顔画像に基づいて顔表情が検出され
る。したがって、監視装置５０が挙動不審を検出する
と、警告ランプ３２を用いてたとえば警備員に知らせる
ことができる。したがって、警備員はモニタ３０を見
て、実時間で監視でき、また不審な行動が続くようであ
れば、ＡＴＭが設置されている場所に向かえばよい。

【００４３】なお、複数の人物の所定の動作を検出する
ためのカメラ１８〜２２および第２第２モーションキャ
プチャシステム２６を設けているが、ＡＴＭに適用する
場合には、カメラ１２〜１６および第１モーションキャ
プチャシステム２４を用いて予めデータを記憶しておい
てもよい。つまり、カメラ１８〜２２および第２モーシ
ョンキャプチャシステム２６を省略することができる。
また、このようにＡＴＭに適用する場合には、カメラ１
２〜１６および５２は各ＡＴＭにそれぞれ対応して設置
する必要があるが、他の装置は遠隔地に設けてもよい。
つまり、モニタ３０および警告ランプ３２を監視する人
物の近傍に設置さえすればよい。

【００４４】その他の実施例の非接触マニピュレーショ
ンシステム（以下、単に「システム」という。）６０を
図８に示す。このシステム６０は、スレーブマニピュレ
ータ（以下、単に「マニピュレータ」という。）６２を
含む。なお、カメラ１２〜１６，第１モーションキャプ
チャシステム２４およびモニタ３０は、上述の図１実施
例等と同じであるため、同じ参照番号を付してある。マ
ニピュレータ６２の関節角度を計算するための関節角度
計算装置６４が、第１モーションキャプチャシステム２
４に接続される。関節角度計算装置６４は、パソコン程
度の処理能力を有するコンピュータであり、第１モーシ
ョンキャプチャシステム２４から出力される３次元座標
データに基づいてマニピュレータ６２の関節角度を計算
する。その計算結果が駆動装置６６に与えられ、駆動装
置６６の指示に従ってマニピュレータ６２が駆動され
る。つまり、オペレータの動きをマニピュレータ６２で
再現することができる。駆動装置６６もまた、パソコン
程度の処理能力を有するコンピュータである。

【００４５】また、関節角度計算装置６４の計算結果
が、仮想環境生成装置６８に出力される。仮想環境生成
装置６８もまた、パソコン程度の処理能力を有するコン
ピュータであり、この計算結果に基づいてマニピュレー
タ６２の動きを推定して、仮想環境においてＣＧキャラ
クタで表現するためのモーションデータを生成する。ま
た、仮想環境生成装置６８は、そのＣＧキャラクタの動
きに関連するおよび周辺の音声を推定した音声データ、
つまり仮想環境の音声データを生成する。生成されたモ
ーションデータは、画像出力装置７０を介してモニタ３
０から出力される。また、生成された音声データは、音
声出力装置７２を介してスピーカ７４から出力される。

【００４６】さらに、マニピュレータ６２の近傍には、
カメラ７６およびマイク７８が設けられる。カメラ７６
は、マニピュレータ６２を撮影し、つまり実際のマニピ
ュレータ６２および周辺の映像に対応する画像データが
画像出力装置７０に与えられる。また、マイク７８に
は、マニピュレータ６２に関連するおよび周辺の音声、
つまりマニピュレータ６２が設置された場所（空間）の
音声が入力され、その音声に対応する音声データが音声
出力装置７２に与えられる。つまり、マニピュレータ６
２の実際の動きおよびマニピュレータ６２が設置された
空間の実際の音声が与えられる。

【００４７】つまり、画像出力装置７０では、仮想環境
生成装置６８から出力されたモーションデータとカメラ
７６から出力された画像データとが切り換えられる。ま
た、音声出力装置７２では、仮想環境生成装置６８から
出力された音声データとマイク７８から出力された音声
データとが切り換えられる。さらに、画像出力装置７０
は、モーションデータおよび画像データの両方を出力す
るようにしてもよい。したがって、モニタ３０には、生
成したマニピュレータ６２および周辺の映像または実際
のマニピュレータ６２および周辺の映像を切り換えて表
示することができる。この場合には、モニタ３０に表示
されている映像に対応する音声データが音声出力装置７
２から出力される。また、生成したマニピュレータ６２
および周辺の映像と実際のマニピュレータ６２および周
辺の映像とを２画面に分割して表示したり、重ねて表示
するようにしてもよい。この場合には、生成された音声
データとマイク７８から出力された音声データとが切り
換えられ、いずれか一方の音声データが音声出力装置７
２から出力される。

【００４８】なお、その他の実施例では、マニピュレー
タ６２および駆動装置６６が遠隔地に設けられ、関節角
度計算装置６４と駆動装置６６とが電話回線等で接続さ
れる。また、マニピュレータ６２のみを遠隔地に設ける
ようにしてもよく、この場合には駆動装置６６とマニピ
ュレータとが電話回線等で接続される。

【００４９】したがって、オペレータは、モニタ３０に
表示されたＣＧキャラクタおよびスピーカ７４から出力
される音声によって、マニピュレータ６２が設置された
空間（作業場）の状況を把握でき、遠隔地においてマニ
ピュレータ６２を用いて作業することができる。このた
め、作業の対象物がたとえば爆発物、薬品および放射性
物質のような危険物であっても、安全に取り扱うことが
できる。

【００５０】具体的には、図９と図１０とによって示さ
れるマニピュレーションシステムに適用することができ
る。図９に示すように、オペレータ側では、カメラ１２
〜１６でオペレータが撮影される。このマニピュレーシ
ョンシステムでは、図１０に示すように、人物の肩から
指先まで（身体の一部）と同様の動きを再現できるマニ
ピュレータ６２を用いているため、オペレータの肩から
指先までを撮影できるように、カメラ１２〜１６を配置
すればよい。つまり、オペレータの肩，肘，手首，指の
関節および腕の動きをマニピュレータ６２で再現するこ
とができる。したがって、オペレータは、モニタ３０に
表示される作業場の映像とスピーカ７４から出力される
作業場の音声とによって、作業場の状況を把握し、腕等
を動かして作業場の対象物を取り扱うことができる。一
方、図１０に示す作業場では、マニピュレータ６２が人
物の腕等の動きを再現し、対象物が取り扱われるととも
に、マニピュレータ６２がカメラ７６で撮影され、作業
場の音声がマイク７８に入力される。上述したように、
作業の対象物が危険物である場合には、オペレータの存
在する空間と作業場とを遠隔地に設けるようにすれば、
安全に作業をすることができる。

【００５１】なお、この実施例では、マニピュレータを
用いて身体の一部の動作を再現させるようにしたが、身
体の全部の動作を再現させるようなマニピュレータにも
適用できることは言うまでもない。

【００５２】これらの実施例によれば、カラー画像を用
いて人物の動きを検出し、検出した動作と基準動作との
差異を可視表示するので、新規なトレーニングシステム
や監視システムを提供することができる。また、検出し
た動作をマニピュレータを用いて再現するので、非接触
マニピュレーションシステムを実現することができる。

【００５３】なお、これらの実施例では、オペレータ等
の動作の撮影には３台のカメラで正面，側面および立面
を撮影するようにしたが、３台のカメラでは身体領域の
１／４が死角となるため、さらにカメラを設けて光学的
な死角をなくすようにすれば、より正確に人物の動きを
検出できる。

【００５４】また、これらの実施例では、カラーカメラ
を用いてオペレータ等の動作を検出するようにしたが、
モノクロ用のカメラであってもよい。しかし、モノクロ
では、身体の一部、たとえば手先が他の部位、たとえば
胴体と重なる場合には、その部位を検出することができ
ない。つまり、カラーカメラを用いて、カラー画像によ
り人物の動作を検出する方が、動作検出の精度を高くす
ることができる。

【００５５】さらに、これらの実施例では、警告ランプ
を用いるようにしたが、警告ブザーや具体的に音声で警
告を報知するようなスピーカを用いてもよい。

【図面の簡単な説明】

【図１】この発明の一実施例を示す図解図である。

【図２】図１実施例に示すモーションキャプチャを示す
図解図である。

【図３】図１実施例の具体例を示す図解図である。

【図４】図１実施例の変形例を示す図解図である。

【図５】図１実施例の他の変形例を示す図解図である。

【図６】この発明の他の実施例を示す図解図である。

【図７】図６実施例の具体例を示す図解図である。

【図８】他の発明の一実施例を示す図解図である。

【図９】図８実施例の具体例の一部を示す図解図であ
る。

【図１０】図８実施例の具体例の他の一部を示す図解図
である。

【符号の説明】

１０ …動作検証システム １２，１４，１６，１８，２０，２２ …カメラ ２４ …第１モーションキャプチャシステム ２６ …第２モーションキャプチャシステム ２７ …第１身体動作合成装置 ２８ …３次元的差異検出装置 ２９ …第２身体動作合成装置 ３０ …モニタ ３２ …警告ランプ ３４ …第２の３次元座標データ記憶装置 ３６ …第１の３次元座標データ記憶装置 ４０，４２，４４ …画像処理装置 ４６ …３次元座標算出装置 ５０ …監視装置 ６０ …非接触マニピュレーションシステム ６２ …マニピュレータ ６４ …関節角度計算装置 ６８ …仮想環境生成装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者 大谷 淳 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール知能映 像通信研究所内 Ｆターム(参考） 2F065 AA04 AA09 AA32 AA37 BB15 CC16 DD00 FF04 FF05 FF09 FF61 JJ03 JJ05 JJ19 JJ26 QQ25 QQ31 QQ42 RR07 RR09 SS09 SS13 SS15 TT03 4C038 VA04 VB35 VC05 5B057 AA05 AA19 BA11 CA13 CB13 CE08 CH11 DA15 DA16 DB03 DC05 DC32

Claims (11)

【特許請求の範囲】
1. 【請求項１】複数の視点から撮影した複数の画像に基づ
   いて人物の３次元姿勢を推定する装置を用いた動作検証
   システムであって、 推定した３次元姿勢に基づいて前記人物の実時間での動
   作を検出する動作検出手段、および前記動作と基準動作
   とを比較する比較手段を備える、動作検証システム。
2. 【請求項２】前記人物の実時間での動作および基準動作
   を可視表示する第１表示手段をさらに備える、請求項１
   記載の動作検証システム。
3. 【請求項３】前記比較手段の比較結果を可視表示する第
   ２表示手段をさらに備える、請求項１または２記載の動
   作検証システム。
4. 【請求項４】前記比較手段は、他の人物の実時間での動
   作から前記基準動作を取得する取得手段を含む、請求項
   １ないし３のいずれかに記載の動作検証システム。
5. 【請求項５】他の人物の動作を予め記憶する第１記憶手
   段、および予め記憶した前記他の人物の動作を前記比較
   手段に前記基準動作として供給する供給手段をさらに備
   える、請求項１ないし３のいずれかに記載の動作検証シ
   ステム。
6. 【請求項６】前記動作と前記基準動作との差異が所定量
   以上であれば警告する警告手段をさらに備える、請求項
   １ないし５のいずれかに記載の動作検証システム。
7. 【請求項７】前記動作を記憶する第２記憶手段、少なく
   とも２以上の基準動作を記憶する第３記憶手段、および
   同定手段をさらに備え、前記比較手段は前記動作と前記
   ２以上の基準動作のそれぞれとを比較し、 前記同定手段は前記比較手段の比較結果に基づいて前記
   動作を前記基準動作に同定する、請求項１記載の動作検
   証システム。
8. 【請求項８】前記同定した前記基準動作を可視表示する
   第３表示手段をさらに備える、請求項７記載の動作検証
   システム。
9. 【請求項９】複数の視点から撮影した複数の画像に基づ
   いて人物の３次元姿勢を推定する装置を用いた非接触マ
   ニピュレーションシステムであって、 推定した３次元姿勢に基づいて前記人物の実時間での動
   作を検出する動作検出手段、および前記動作の全部また
   は一部をスレーブマニピュレータを用いて再現する再現
   手段を備える、非接触マニピュレーションシステム。
10. 【請求項１０】前記スレーブマニピュレータを遠隔地で
    可視表示するための表示手段をさらに備える、請求項９
    記載の非接触マニピュレーションシステム。
11. 【請求項１１】前記スレーブマニピュレータの動作に関
    連するおよび周辺の音声を検出する音声検出手段をさら
    に備える、請求項１０記載の非接触マニピュレーション
    システム。