JP6590609B2 - 画像解析装置及び画像解析方法 - Google Patents

Description

本発明は画像解析装置及び画像解析方法に関し、特に、撮像装置で撮影した画像から人物の動作を解析する画像解析装置に関する。

近年、セキュリティのために店舗内への監視カメラの設置が急速に普及している。そのような監視カメラを使って、映像を取得するだけでなく、映像中の人物を検出することによって混雑度を計測したり、人物の動線を解析したりすることで、店舗のマーケティング調査に使用することも提案されている。更に、マーケティング用途においては、監視カメラに映った人物の動作を解析し、解析した人物の動作から店舗に置かれた商品を手に取る等の興味行動を分析したいという要望もある。

このような動作解析を行う場合、人物の部位の検出精度が十分でないと役に立つ情報が得られない。特許文献１では、画像中の人物の複数の部位を検出して姿勢推定を行う方法が提案されている。しかしながら、顔等の特徴のある部位の検出は比較的容易であるが、胴体や手、足と言った単純な形状の部位は背景に映っている他の物体との区別が困難であるため、精度良く検出できないといった問題点がある。

この問題に対し、特許文献２では、３Ｄカメラで撮影された三次元画像から人物の頭部と手を検出し、動作を認識する方法が提案されている。
また、特許文献３では、二次元距離データに含まれる人物領域を認識し、人物の行動を解析する方法が提案されている。このような従来例においては、三次元で認識を行うことで精度向上を狙っているが、距離画像の取得のための膨大な処理が必要になるといった問題がある。

更には、特許文献４のように、検出された個々の人物をステレオ立体視して、個々の人物の三次元位置を推定する方法が提案されている。この例では、複数カメラ夫々の画像から検出した頭部の検出結果を統合して三次元位置を推定、人物の移動軌跡を解析している。しかしながら、頭部位置のみからでは人物の動作の解析を行うことはできないといった問題がある。

特開２０１２−１５５３９１号公報 特開２００８−８４１４１号公報 特開２０１０−６７０７９号公報 特開２００９−１４３７２２号公報

Dalal and Triggs. Histograms of Oriented Gradients for Human Detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (2005) 徐剛、辻三郎著．「３次元ビジョン」．共立出版（1998）

前述の方式を拡張して、複数のカメラ夫々の画像から検出した複数部位の結果を統合して夫々の三次元位置を推定し、動作の解析を行うことは可能であるが、動作の解析に必要な部位が複数のカメラで映っている必要がある。

例えば、店舗に設置された監視カメラを複数台用いてこのような解析処理を行おうとすると、頭部のような部位は複数のカメラで捉えることは容易である。しかしながら、手や足と言った部位は隠れる確率が高く、三次元位置を推定することが困難であった。
本発明は前述の問題点に鑑み、複数の撮像装置で撮影した画像から人物部位を高精度に検出し、その三次元位置を推定できるようにし、更に検出対象お部位が隠れる場合も安定した人物動作の解析を実現できるようにすることを目的とする。

本発明の画像解析装置は、第１の撮像手段および第２の撮像手段から画像を取得する画像取得手段と、前記画像から一つの物体における異なる部位である第１のオブジェクトおよび第２のオブジェクトを夫々検出する検出手段と、前記第１の撮像手段から取得された画像より前記第１のオブジェクトと前記第２のオブジェクトとが検出された場合に、当該第１のオブジェクトと当該第２のオブジェクトとを関連付ける関連付け手段と、前記第１の撮像手段および第２の撮像手段の夫々の視野の位置関係を記憶した記憶手段と、前記第１の撮像手段および第２の撮像手段の夫々で撮像された画像から前記第１のオブジェクトが検出された場合に、当該検出結果と前記位置関係とに基づいて前記第１のオブジェクトの三次元位置を推定する第１の推定手段と、前記第１の撮像手段から取得された画像より検出された前記第１のオブジェクトと前記第２のオブジェクトとが前記関連付け手段で関連付けられている場合に、前記第１のオブジェクトの三次元位置に基づいて前記第１の撮像手段から前記第２のオブジェクトまでの距離を推定し、当該推定された距離と、前記第１の撮像手段から取得された画像における前記第２のオブジェクトの検出結果とに基づいて、前記第２のオブジェクトの三次元位置を推定する第２の推定手段とを備えることを特徴とする。

本発明によれば、関連付け手段によって関連付けられた画像中の第１のオブジェクトと第２のオブジェクトにおいて、第１のオブジェクトの三次元位置推定結果を用いて第２のオブジェクトの三次元位置を推定するようにした。これにより、第２のオブジェクトを複数の撮像手段で同時に捉えられない場合においても、その三次元位置を推定することが可能となる。

本発明の実施形態に係る画像解析装置の機能構成を示すブロック図である。 本発明の実施形態に係る画像解析装置の撮影シーンを説明する図である。 本発明の実施形態に係る画像解析装置の処理の流れを示すフローチャートである。 本発明の実施形態に係るカメラで撮影した画像の例を示す図である。 本発明の実施形態に係る部位関連付け部の処理の流れを示すフローチャートである。 本発明の実施形態に係る頭部三次元位置推定部の処理の流れを示すフローチャートである。 本発明の実施形態に係る手三次元位置推定部の処理の流れを示すフローチャートである。 本発明の実施形態に係る画像解析装置のハードウェア構成を示すブロック図である。

以下、本発明に係る実施形態について図面に基づいて説明する。
図８は、本実施形態に係る画像解析装置１００のハードウェア構成を示すブロック図である。画像解析装置１００は、ＣＰＵ（Central Processing Unit）１、記憶装置２、入力装置３、及び出力装置４を含んで構成される。なお、各装置は、互いに通信可能に構成され、バス５等により接続されている。

ＣＰＵ１は、画像解析装置１００の動作をコントロールし、記憶装置２に格納されたプログラムの実行等を行う。
記憶装置２は、磁気記憶装置、半導体メモリ等のストレージデバイスであり、ＣＰＵ１の動作に基づき読み込まれたプログラム、長時間記憶しなくてはならないデータ等を記憶する。本実施形態では、ＣＰＵ１が、記憶装置２に格納されたプログラムの手順に従って処理を行うことによって、画像解析装置１００における各機能及び後述するフローチャートに係る処理が実現される。記憶装置２は、また、本発明の実施形態に係る画像解析装置１００が処理対象とする画像および検出結果を記憶する。

入力装置３は、マウス、キーボード、タッチパネルデバイス、ボタン等であり、各種の指示を入力する。入力装置３は、また、カメラ等の撮像装置を含む。
出力装置４は、液晶パネル、外部モニタ等であり、各種の情報を出力する。
なお、画像解析装置１００のハードウェア構成は、前述した構成に限られるものではない。例えば、画像解析装置１００は、各種の装置間で通信を行うためのＩ／Ｏ装置を備えてもよい。例えば、Ｉ／Ｏ装置は、メモリーカード、ＵＳＢケーブル等の入出力部、有線、無線等による送受信部である。

図１は、本実施形態に係る画像解析装置１００の機能構成を示すブロック図である。画像解析装置１００の処理及び機能は、図１に示す各部により実現される。
以下の実施形態では、複数のカメラで第１のオブジェクトおよび第２のオブジェクトとして、夫々、人物の頭部および人物の手を検出し、夫々の三次元位置を推定する場合について説明する。そして、推定した手の三次元位置から物を手に取る等の動作を認識することで、店舗に設置された監視カメラ映像から顧客の興味行動の解析を行うことを想定する。

第１の撮像部として機能するカメラ１０１および第２の撮像部として機能するカメラ１０２は、監視対象のシーンを撮影する。
画像取得部１１０は、カメラ１０１およびカメラ１０２で撮影した画像を夫々取得する。取得した画像は記憶装置２に記憶される。
頭部検出部１２０、手検出部１３０は、画像取得部１１０で取得した画像から夫々画像中に映っている人物の頭部および手を検出する。
部位関連付け部１４０は、頭部検出部１２０および手検出部１３０で検出した頭部および手を人物単位で関連付ける。

撮影情報記憶部１５０は、カメラ１０１およびカメラ１０２の撮影情報をカメラ毎に記憶する。ここで、撮影情報とはカメラで撮影した画像の位置座標と撮影するシーンの三次元空間座標とを対応付ける情報であり、カメラの撮影倍率、撮影方向から決定される。また、撮影情報は、カメラ１０１とカメラ１０２で撮影する画像の夫々の視野の幾何学的な位置関係を表す情報を含む。

頭部三次元位置推定部１６０は、カメラ１０１およびカメラ１０２で撮影した画像の夫々から頭部検出部１２０で検出した結果と、撮影情報記憶部１５０に記憶されている撮影情報とを用いて頭部の三次元空間での位置座標を推定する。
手三次元位置推定部１７０は、カメラ１０１およびカメラ１０２で撮影した画像の夫々から手検出部１３０で検出した結果と、撮影情報記憶部１５０に記憶されている撮影情報とを用いて手の三次元空間での位置座標を推定する。また、部位関連付け部１４０で頭部と手を関連付けた結果を用いて、頭部三次元位置推定部１６０で求めた頭部の三次元位置と手検出部１３０で検出した結果から手の三次元位置を推定する。
動作認識部１８０は、手三次元位置推定部１７０で求めた手の三次元位置の時系列データから手の動作を認識する。
認識結果出力部１９０は、動作認識部１８０で認識した結果を出力装置４に表示する。

以下、本実施形態の動作について説明する。なお、カメラ１０１およびカメラ１０２は図２に示すように、撮影シーンに対して視野を共有するように設置され、以下の説明では撮影するシーンの視野は固定であり、撮影情報は変わらないものとする。
本実施形態の画像解析装置１００の解析処理の流れの概略を図３のフローチャートに示す。
まず、Ｓ１００で、画像取得部１１０は、カメラ１０１およびカメラ１０２で撮影した画像を夫々取得する。ここで取得する画像は、例えば、ＲＧＢ各８ビットで表現されるビットマップデータである。また、２つの画像は撮影時刻が一致するように同期して取得することが望ましい。取得した各画像は記憶装置２に記憶される。以下では、カメラ１０１から取得した画像を第１の画像、カメラ１０２から取得した画像を第２の画像として説明する。

次に、Ｓ２００で、頭部検出部１２０、手検出部１３０は、第１の画像および第２の画像から夫々画像中に映っている人物の頭部および手を検出する。本実施形態では、画像から頭部および手を検出する方法として非特許文献１に記載された人の全身を検出する方法を利用する。但し、人の全身の代わりに夫々頭部および手を識別するモデルを事前学習によって構築して入力画像に適用する。

非特許文献１では、画像から勾配方向ヒストグラム特徴（Histograms of Oriented Gradients）を抽出し、抽出した特徴量をサポートベクターマシンで学習したモデルを用いて人か否かを識別するようにしている。しかし、他の方法を用いてもよい。例えば、抽出する特徴量は勾配方向ヒストグラム特徴に限らず、Haar-like特徴、LBPH特徴（Local Binary Pattern Histogram）等を用いてもよいし、それらを組み合せてもよい。抽出した特徴量は頭部および手の検出のために共用される。

また、人を識別するモデルはサポートベクターマシンに限らず、アダブースト識別器、ランダム分類木（Randomized Tree）等を用いてもよい。頭部および手のモデルが別々に学習され、頭部および手の検出のために夫々適用される。
ここでは、頭部および手の検出結果は、夫々画像中の頭部および手を囲む矩形を表す４つの頂点の位置座標として出力される。また、位置座標と共に検出部位を表すラベルと尤度を出力する。ここで、検出部位を表すラベルは頭部または手を表す。また、尤度は抽出した特徴量と頭部または手を識別するモデルとを照合した結果であり、モデルとの一致度を表す。

次に、Ｓ３００で、部位関連付け部１４０は、頭部検出部１２０および手検出部１３０で検出した頭部および手を人物単位で関連付ける。以下、処理の詳細を図面を用いて説明する。

図４（ａ）および図４（ｂ）に、夫々カメラ１０１およびカメラ１０２で撮影した画像の例を示す。この例では、カメラ１０１は人物を側面から捉えており、頭部、手共に見えている。
図４（ａ）の図中、ＨＥ１１は頭部検出の結果、ＨＡ１１、ＨＡ１２は手検出の結果を示す矩形枠である。一方、カメラ１０２は人物を背面から捉えており、頭部は見えているが、手は隠れている。
図４（ｂ）の図中、ＨＥ２１は頭部検出の結果を示す矩形枠である。このように、店舗等の天井に取り付けた監視カメラで人物の動作を解析しようとする状況においては、人物の頭部は複数のカメラで捉えることは可能であるが、カメラによっては、手は隠れている場合が多い。

図５に、部位関連付け部１４０の処理フローを示す。
まず、Ｓ３１０では、部位関連付け部１４０は頭部検出部１２０および手検出部１３０で検出した頭部および手の検出結果を取得する。
取得した検出結果のうち、ラベルが手である結果に対して以下のＳ３２０〜Ｓ３４０の処理を繰り返す。図４に示した事例ではＨＡ１１およびＨＡ１２に対して処理を行う。

次に、Ｓ３２０では、一つの手検出結果に対して同一画像から検出した頭部を関連部位候補として抽出する。例えば、図４（ａ）に示した第１の画像の例では、手検出結果ＨＡ１１に対してラベルが頭部である結果ＨＥ１１を組として関連部位候補とする。この例では、関連部位候補として１組抽出したが、画像から複数の頭部を検出した場合には複数の組を候補として抽出する。また、それぞれの検出結果の位置座標を用いて手検出結果と頭部検出結果が所定距離内にある組のみに絞り込んで候補とする方が望ましい。

次に、Ｓ３３０では、ＣＰＵ１は検出結果の位置座標および尤度を用いて関連部位候補の信頼度を算出する。手検出結果ＨＡ１１と頭部検出結果ＨＥ１１を組とした候補の夫々の位置座標から矩形枠の中心を求め、変位ベクトルを算出する。また、手および頭部の矩形枠の面積を求め、面積比を算出する。求めた変位ベクトルおよび面積比に対して人物の手と頭部の幾何的関係を表すモデル（以下、人物幾何モデルと称す）と照合し、幾何的信頼度を得る。

ここで、人物幾何モデルは予め多数の人物画像のサンプルを収集し、それらの手と頭部の位置関係の統計量を元に取得した確率モデルである。そして、求めた幾何的信頼度と手検出結果ＨＡ１１、頭部検出結果ＨＥ１１の夫々の尤度とを統合し、総合的な信頼度を得る。ここで、統合処理は、例えば、幾何的信頼度と尤度とを所定の重みで線形結合するものを用いる。

次に、Ｓ３４０では、ＣＰＵ１は求めた関連部位候補の信頼度から手検出結果と頭部検出結果の関連付けを判定する。すなわち、Ｓ３３０で得た信頼度が所定の値以上かどうかを比較し、所定値以上の場合は手検出結果と頭部検出結果を同一人物の部位であるとして関連付ける。
手検出結果ＨＡ１２に対しても同様にＳ３２０〜Ｓ３４０の処理を繰り返す。第２の画像についても同様の処理を繰り返すが、図４（ｂ）に示した例では、第２の画像から手は検出されなかったので処理は行わない。

次に、Ｓ４００では、頭部三次元位置推定部１６０は、第１の画像および第２の画像から検出した頭部検出結果から撮影情報記憶部１５０に記憶されている撮影情報を用いて頭部の三次元空間での位置座標を推定する。

図６に、頭部三次元位置推定部１６０の処理フローを示す。
Ｓ４１０では、頭部三次元位置推定部１６０は頭部検出部１２０で検出した頭部検出結果を取得する。
次に、Ｓ４２０では、ＣＰＵ１は取得した頭部検出結果を撮影情報記憶部１５０に記憶されている撮影情報を用いて２つの画像間で対応付ける。
ここで用いる撮像情報は、カメラ１０１とカメラ１０２で撮影する画像の幾何学的関係を表す基礎行列であり、エピポーラ幾何によってカメラ間の頭部検出結果を対応付ける。

まず、カメラ１０１で撮影した第１の画像中の頭部検出結果の位置座標から頭部代表点の座標を求める。
頭部の代表点は、例えば、頭部矩形枠の中心点である。頭部代表点の座標を基礎行列によって射影し、第２の画像中のエピポーラ線を求める。そして、求めたエピポーラ線と第２の画像中の頭部検出結果の代表点の座標との距離を算出し、距離が所定値以下の検出結果を対応させる。

図４の例の場合は、第１の画像から検出された頭部検出結果ＨＥ１１に対して、第２の画像から検出された頭部検出結果ＨＥ２１が対応付くかどうかをエピポーラ線との距離によって判定することになる。
距離が所定値を超える場合は対応しない、すなわち２つの画像間で検出された頭部は同一の人物ではないことになる。

以下、ＨＥ１１とＨＥ２１が同一人物として対応付けられたものとして説明する。なお、一つの頭部検出結果に対して複数の結果が対応する場合には別の尺度を利用して一つに絞り込む。例えば、検出された頭部の大きさのカメラ間での関係の整合性や画像の類似性等を用いる。第１の画像中の頭部検出結果が複数ある場合には全ての検出結果に対して対応付けを行う。なお、撮影情報を用いたエピポーラ線の推定および対応付けの詳細については非特許文献２を参照のこと。

次に、Ｓ４３０では、ＣＰＵ１はＳ４２０で対応付けた頭部の組について三次元位置を算出する。
まず、撮影情報記憶部１５０に記憶されているカメラ１０１の撮影情報を用いて第１の画像中の頭部検出結果の代表点とカメラ１０１の中心とを通る三次元空間での直線を求める。

同様に、撮影情報記憶部１５０に記憶されているカメラ１０２の撮影情報を用いて第２の画像中の対応する頭部検出結果の代表点とカメラ１０２の中心とを通る三次元空間での直線を求める。そして、求めた２つの直線の交点を算出し、頭部の三次元位置とする。但し、実際には計算精度に誤差が発生するので２つの直線の距離が最小となる位置での夫々の直線上の点の中点を三次元位置とする。
このように、頭部三次元位置推定部１６０は、第１のオブジェクトである頭部の三次元位置を推定する第１の三次元位置推定処理を行う。

次に、Ｓ５００では、手三次元位置推定部１７０は、第１の画像および第２の画像から検出した手検出結果から撮影情報記憶部１５０に記憶されている撮影情報を用いて手の三次元空間での位置座標を推定する。

図７に、手三次元位置推定部１７０の処理フローを示す。
まず、Ｓ５１０では、手三次元位置推定部１７０は手検出部１３０で検出した手検出結果を取得する。
次に、Ｓ５２０では、ＣＰＵ１は取得した手検出結果を撮影情報記憶部１５０に記憶されている撮影情報を用いて２つの画像間で対応付ける。ここでの処理は頭部三次元位置推定部１６０の対応付け処理Ｓ４２０と同様にして行うので説明は省略する。

Ｓ５２１において、ＣＰＵ１は、Ｓ５１０で取得した手検出結果が２つの画像間で対応付けられたか否かを判断する。
Ｓ５２１の判断の結果、対応付けられた組に対してはＳ５３０で三次元位置算出処理を行う。
Ｓ５３０の処理は、頭部三次元位置推定部１６０の三次元位置算出処理Ｓ４３０と同様にして行うので説明は省略する。
一方、Ｓ８０１の判断の結果、カメラ間で対応付けが行われなかった手検出結果（図４の例ではＨＡ１１とＨＡ１２）に対してはＳ５４０に処理を移す。

Ｓ５４０では、カメラ間で対応付けが行われなかった手検出結果に対して、ＣＰＵ１は部位関連付け部１４０で関連付けられた頭部検出結果を取得する。図４の例では、ＨＡ１１とＨＡ１２の夫々に対して、ＨＥ１１を取得する。
次に、Ｓ５５０で、ＣＰＵ１は取得した頭部検出結果とその三次元位置から検出した手の三次元位置を算出する。このとき、手と頭部が同一人物の部位として関連付けられているので、カメラからの距離がほぼ同じであると仮定する。

まず、撮影情報記憶部１５０に記憶されているカメラの撮影情報を用いて、手検出結果の代表点とカメラ中心を通る三次元空間での直線を求める。そして、求めた直線上の頭部検出結果のＳ４００で求めた三次元位置と奥行きが同じ点を三次元空間での位置とする。例えば、図４の例では、手検出結果ＨＡ１１とカメラ１０１の中心を通る三次元空間での直線上で頭部検出結果ＨＥ１１と奥行きが同じ点の位置を求めるようにする。手検出結果ＨＡ１２の三次元位置も同様にして求める。
このように、手三次元位置推定部１７０は、部位関連付け部１４０で関連付けられた第１のオブジェクトである人物の頭部の三次元位置から第２のオブジェクトである人物の手の三次元位置を推定する第２の三次元位置推定処理を行う。
第２の画像から検出された手に対しても同様に処理を行う。図４の例の場合は、第２の画像から手が検出されていないので、処理はスキップされる。

次に、Ｓ６００では、動作認識部１８０は、手三次元位置推定部１７０で求めた手の三次元位置の時系列データから手の動作を認識する。すなわち、順次取得された複数の時点での手の三次元位置から手の移動軌跡を求める。例えば、店舗に置かれた商品を手に取る動作を認識する場合には、予め設定された商品棚の空間座標を参照し、求めた移動軌跡から手が商品棚に近づき、その後、離れたかどうかを判定する。

次に、Ｓ７００では、認識結果出力部１９０は、動作認識部１８０で認識した結果を出力装置４に表示する。例えば、カメラで撮影した画像上に認識結果が分かるように手の検出枠を重畳して表示する。
図４の例では、手の映っている第１の画像上にＨＡ１１で示した枠を表示するようにする。あるいは、カメラ画像の枠外に「物を手に取る動作検知」等の結果を文字で表示するようにする。また、動作認識部１８０で認識した結果を対象とする動作毎にその回数を表示するようにしてもよい。
以上説明したＳ１００〜Ｓ７００の工程は、カメラ１０１およびカメラ１０２で撮影した画像について繰り返し行われる。

なお、以上の実施形態では、部位関連付け部１４０において頭部および手の全ての検出結果を関連部位候補として関連付けを行うようにしたが、カメラ間の検出結果から三次元位置推定が出来ていない検出結果のみについて関連付けを行うようにしてもよい。その場合、頭部および手のカメラ間検出結果による三次元位置推定を夫々先に行い、その結果から部位関連付けの関連部位候補を抽出するようにすればよい。

また、以上の実施形態では、２つのカメラで視野を重複するようにして撮影した画像から動作を解析するようにしたが、３台以上のカメラを用いて処理するようにしてもよい。
また、以上の実施形態では、人物の頭部と手を検出して物を手に取る動作を認識するようにしたが、検出する対象は人物の他の部位であってもよい。

また、この際、頭部の三次元位置から手の三次元位置を推定するようにしたが、頭部が一方のカメラでしか見えない場合には、更に、手の三次元位置から頭部の三次元位置を推定するようにすると、より効果的である。また、本発明は何らかの関連付けができる複数のオブジェクトを検出すれば、人物以外の対象についても適用可能である。

（その他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ カメラ
１０２ カメラ
１１０ 画像取得部
１２０ 頭部検出部
１３０ 手検出部
１４０ 部位関連付け部
１５０ 撮影情報記憶部
１６０ 頭部三次元位置推定部
１７０ 手三次元位置推定部
１８０ 動作認識部
１９０ 認識結果出力部

Claims (9)

1. 第１の撮像手段および第２の撮像手段から画像を取得する画像取得手段と、
   前記画像から一つの物体における異なる部位である第１のオブジェクトおよび第２のオブジェクトを夫々検出する検出手段と、
   前記第１の撮像手段から取得された画像より前記第１のオブジェクトと前記第２のオブジェクトとが検出された場合に、当該第１のオブジェクトと当該第２のオブジェクトとを関連付ける関連付け手段と、
   前記第１の撮像手段および第２の撮像手段の夫々の視野の位置関係を記憶した記憶手段と、
   前記第１の撮像手段および第２の撮像手段の夫々で撮像された画像から前記第１のオブジェクトが検出された場合に、当該検出結果と前記位置関係とに基づいて前記第１のオブジェクトの三次元位置を推定する第１の推定手段と、
   前記第１の撮像手段から取得された画像より検出された前記第１のオブジェクトと前記第２のオブジェクトとが前記関連付け手段で関連付けられている場合に、前記第１のオブジェクトの三次元位置に基づいて前記第１の撮像手段から前記第２のオブジェクトまでの距離を推定し、当該推定された距離と、前記第１の撮像手段から取得された画像における前記第２のオブジェクトの検出結果とに基づいて、前記第２のオブジェクトの三次元位置を推定する第２の推定手段とを備えることを特徴とする画像解析装置。
2. 複数の時点での前記第２のオブジェクトの三次元位置から前記第２のオブジェクトの動作を認識する動作認識手段を備えることを特徴とする請求項１に記載の画像解析装置。
3. 前記検出手段により同一画像から検出された第１のオブジェクトと前記第２のオブジェクトとの組み合わせに対して、当該組み合わせの幾何的関係の信頼度と、前記第１のオブジェクトの尤度と、前記第２のオブジェクトの尤度とを統合して総合的な信頼度を算出する算出手段と、
   前記総合的な信頼度が所定値以上であるかを判定する判定手段とをさらに備え、
   前記関連付け手段は、前記総合的な信頼度が所定値以上であれば、前記組み合わせにおける前記第１のオブジェクトと前記第２のオブジェクトとを関連付けることを特徴とする請求項１または２に記載の画像解析装置。
4. 前記第１のオブジェクトおよび第２のオブジェクトは人物の部位であることを特徴とする請求項１ないし３のいずれか１項に記載の画像解析装置。
5. 前記第１のオブジェクトは人物の頭部であり、前記第２のオブジェクトは人物の手であることを特徴とする請求項４に記載の画像解析装置。
6. 複数の時点での前記人物の手の三次元位置から人物の手の動作を認識する動作認識手段を備えることを特徴とする請求項５に記載の画像解析装置。
7. 前記人物の手の動作は人物が物を手に取る動作であることを特徴とする請求項６に記載の画像解析装置。
8. 第１の撮像手段および第２の撮像手段から画像を取得する画像取得工程と、
   前記画像から一つの物体における異なる部位である第１のオブジェクトおよび第２のオブジェクトを夫々検出する検出工程と、
   前記第１の撮像手段から取得された画像より前記第１のオブジェクトと前記第２のオブジェクトとが検出された場合に、当該第１のオブジェクトと当該第２のオブジェクトとを関連付ける関連付け工程と、
   前記第１の撮像手段および第２の撮像手段の夫々で撮像された画像から前記第１のオブジェクトが検出された場合に、当該検出結果と、前記第１の撮像手段および第２の撮像手段の夫々の視野の位置関係とに基づいて前記第１のオブジェクトの三次元位置を推定する第１の推定工程と、
   前記第１の撮像手段から取得された画像より検出された前記第１のオブジェクトと前記第２のオブジェクトとが前記関連付け工程で関連付けられている場合に、前記第１のオブジェクトの三次元位置に基づいて前記第１の撮像手段から前記第２のオブジェクトまでの距離を推定し、当該推定された距離と、前記第１の撮像手段から取得された画像における前記第２のオブジェクトの検出結果とに基づいて、前記第２のオブジェクトの三次元位置を推定する第２の推定工程とを備えることを特徴とする画像解析方法。
9. 請求項８に記載の画像解析方法の各工程をコンピュータに実行させるためのプログラム。