JP2010057105A - オブジェクトの３次元追跡方法およびシステム - Google Patents

Abstract

【課題】複雑なオクルージョンを扱うことが可能な、オブジェクトの追跡方法を提供する。
【解決手段】オブジェクトを３次元で追跡するために、所定の環境を斜め上方から観察する３Ｄカメラの映像を解析して、環境の背景の深度マップと環境の現在シーンの深度マップとを形成する。作成した深度マップを比較して前景の深度マップを形成し、前景の深度マップに基づいて各点の３次元座標を計算する。この３次元座標をワールド座標に変換し、前景の各点について前記ワールド座標のｚｗ値のみを抽出し、イメージ平面の各ピクセルにマッピングすることにより、ワールド−Ｚマップを形成する。前記ワールド−Ｚマップ上の隣接するピクセル間でｚｗ値の変化量の大きい点を検出して、前景に含まれる１個またはそれ以上のオブジェクトの境界を検出し、検出した境界に基づいてオブジェクトをセグメント化し、３次元軌跡を作成する。
【選択図】図１

Description

本発明は、一連の動画像（ビデオシーケンス）からリアルタイムで、一個または複数の移動体（以下、オブジェクト）を検出し、３次元で追跡することが可能な方法およびシステムに関する。

ビデオシーケンスにおいて、オブジェクト、例えば人物を追跡（トラッキング）して検出するためには、ビデオ画像の監視領域内に出現した人物（単数あるいは複数）を検出すること、この領域内にその人物がいる限り各人物に固有のＩＤをアサインすること、さらに、追跡した各人物の軌跡を３次元で再現すること、が必要である。理想的なシステムを構築するためには、次のような要求を満足する必要がある。

第一に、オクルージョン（オブジェクトの重なり）が頻繁な複雑なシーン、例えば混雑シーンであってもトラッキングが可能なことが必要である。オクルージョンには、（１）被写体の一部分のみがセンサに対して可視であるような部分的なオクルージョン、（２）被写体が短時間完全にオクルージョン状態である、短期間オクルージョン、および（３）被写体が長期間にわたって視野を離れる、拡張オクルージョンの三つのタイプが有り、これらのオクルージョンを識別し、トラッキングを行う必要がある。

第二に、シーンにおける照明の変化および背景の複雑性に対してロバスト性が求められる。追跡システムは、室内あるいは室外環境で、しかも複雑でかつダイナミックな背景で動作しなければならない。第三に、３次元空間あるいはフロア平面において、各人物の軌跡を正確に再現できること、および外見が似た人物を区別して正確にトラッキングできることが必要であり、第四に、処理時間が速いこと、即ち、リアルタイムで作動して人物の行動を分析し、異常を検出することが可能なこと、第五に、システムの設置コストが低くセットアップと維持が容易であること、などが要求される。なお、第五の要求を満足するためには、システムの調整のためのパラメータが最小であることが望まれる。

既に幾つかの追跡システムが提案されている。非特許文献３は、一個の単眼カメラベースのシステムを提案している。このシステムでは、オブジェクトトラッキングのために、ベイジアン−マルチ・ブロブの考えを導入している。トラックすべきオブジェクトが一旦、一個の単眼カメラで検出（ブロッブ）されると、このトラッキングは各ブロッブの外見に基づいて行われる。彼らは、シーンにおけるオブジェクトの数が未知で経時的に変化する場合に、マルチ・ブロブ尤度関数および複数オブジェクトトラッキングのためのベイジアンフィルタリングを適用することを提案した。

しかしながら、このシステムではオクルージョンを効果的に識別できず、似たような外見を有する人物の区別に失敗し、照明状況の変化に敏感で、さらに追跡オブジェクトの３Ｄ軌跡を再現することができない。

非特許文献１は、複数の単眼カメラベースのシステムを提案している。このシステムは、モニタシーンの周囲にセットされた複数の単眼カメラを使用する。前景イメージを抽出するために、カラーベースの背景減算を実行する。オーバーヘッド平面上の前景に相当するコーンの交点は、追跡する候補者のセットを生成する。現在の候補者と以前のフレームにおいて検出された人物との対応付けを、モーション、カラーおよび外見に基づいて実行することにより、追跡する候補者の新しい軌跡を生成する。

このシステムは、人物が全ての視野においてオクルージョンされていない限りにおいて、オクルージョンを処理することができ、３Ｄ軌跡を再現させることができる。各時間において１００フレームのパッチを処理するので、２秒の遅延を有するが比較的早い処理であると言える。

また、カラーと外見に基づいて各人物を認識するので、それぞれの人物のＩＤを保存することができると考えられる。しかしながら、このシステムでは、コーンの交点に基づいて動作しているので、複数の人物が合流した場合などをうまく処理することができない。また、似たような色を着た、似たような外見を有する人物を識別することもできない。さらに、背景減算およびトラッキングをカラーベースデータで行うため、照明の変化にロバストではない。

非特許文献２および特許文献１のシステムは、高い位置に固定され、斜め方向からシーンを観測する３Ｄカメラを使用している。この３Ｄカメラはシーンの深度マップを提供する。このシステムの操作は次のとおりである。

１）前景（フォアグラウンド）から、シーンにオブジェクトが無い状態で記録された背景（バックグラウンド）を減算することによって、スタートする。

２）前景の深さから３Ｄポイントを計算し、仮想オーバーヘッド平面をレンダリングする。オーバーヘッド平面上には、最も高いポイントのみが表示される。

３）幾つかの形態的操作によってブロブを後処理することにより、各合成ブロブはシーン中の各個人を表すようになる。

４）検出された人物の対応付けは、各人物の高さ（身長）パターンの経時的な軌跡を提供するトラッキングに基づいてなされる。

このシステムはオクルージョンを扱うことができるが、人物が相互に接近しかつ同じような外見、特に、同じような身長を有している場合はうまく処理することができない。一方、カラーに代わって３Ｄデータを使用するので、照明の変化に対してロバストである。また、３Ｄ軌跡を再現し、処理速度が速く、コストが低いが、人物がシーンから一旦退場し再入場する場合に、その人物のＩＤをキープすることはない。さらに、トラッキングのために高さパターンを使用するので、人物が座ったり、ジャンプしたりあるいは手を上げたりした場合には混乱が生じる。

米国特許第７、００３、１３６号 F. Fleuret, J. Berclaz, R. Lengagne and P. Fua, "Multi-Camera People Tracking with a Probabilistic Occupancy Map", IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), February (30)2, pp. 267-282, Feb.2008. M. Harville. "Stereo person tracking with adaptive plan-view templates of height and occupancy statistics" Journal of Image and Vision Computing (22), No. 2, pp. 127-142, 2004. M. Isard and J. MacCormick. Bramble: "A bayesian multiple-blob tracker". In Proceedings of the International Conference on Computer Vision, ICCV’01, pages 34-41, 2001. Arun Hampapur, Lisa M. Brown, Jonathan Connell, Max Lu, Hans Merkl, S. Pankanti , Multi-scale Tracking for Smart Video Surveillance, IEEE Transactions on Signal Processing, Vol. 22, No. 2, March 2005. IBM smart surveillance system: http://reaserch.ibm.com/peoplevision/

本発明は、上記した従来技術の問題点を解決する目的でなされたもので、室内および室外環境において、さらに複雑でしかもダイナミックな背景においてロバストで、しかも外見が類似した移動体または人物のオクルージョンを効果的に処理することが可能な、オブジェクトの３次元追跡方法およびシステムを提供することを課題とする。

上記課題を解決するために、本発明の方法は、所定の環境を斜め上方から観察する３Ｄカメラの映像を解析して、前記環境の背景の深度マップと前記環境の現在シーンの深度マップとを形成し、前記背景および現在シーンの深度マップを比較して、前景の深度マップを形成し、前記前景の深度マップに基づいて前記前景の各点の３次元座標を計算し、
前記３次元座標をワールド座標に変換し、前記前景の各点について前記ワールド座標のｚｗ値のみを抽出し、イメージ平面の各ピクセルにマッピングしてワールド−Ｚマップを形成し、前記ワールド−Ｚマップ上の隣接するピクセル間でｚｗ値の変化量の大きい点を検出して、前記前景に含まれる１個またはそれ以上のオブジェクトの境界を検出し、
前記検出した境界に基づいて前記オブジェクトをセグメント化し、前記セグメント化されたオブジェクトに対して３次元軌跡を作成する、各ステップを備える。

上記課題を解決するために、本発明のシステムは、所定の環境を斜め上方から観察する３Ｄカメラと、前記３Ｄカメラの映像を解析するプロセッサと、を備え、前記プロセッサは、前記映像から前記環境の背景と現在シーンそれぞれの深度マップを形成し、前記それぞれの深度マップを比較して前景の深度マップを計算し、前記前景の深度マップに基づいて前記前景の各点における３次元座標を算出し、前記算出した３次元座標をワールド座標に変換し、前記前景の各点について前記ワールド座標のｚｗ値のみを抽出し、イメージ平面の各ピクセルにマッピングして、ワールド−Ｚマップを形成し、前記ワールド−Ｚマップ上の隣接するピクセル間でｚｗ値の変化量の大きい点を検出して、前記前景に含まれる１個またはそれ以上のオブジェクトの境界を検出し、前記検出した境界に基づいて前記オブジェクトをセグメント化し、前記セグメント化されたオブジェクトに対して３次元軌跡を作成する、各手順を実行する。

また、上記方法あるいはシステムにおいて、前記背景の深度マップを、前記環境にオブジェクトが存在しない場合に撮影された映像に基づいて形成し、前記前景の深度マップを前記現在シーンの深度マップから前記背景の深度マップを減算することによって形成するようにしても良い。

さらに、上記方法あるいはシステムにおいて、さらに、前記前景の３次元座標のデータを前記３Ｄカメラに対する入射角でフィルタしてノイズを除去するようにしても良い。

３Ｄカメラから得た映像を解析して、観察しようとする領域（ＲＯＩ、region of interest）の前景の深度マップを形成し、この深度マップに基づいて前景の各点の３次元座標を計算する。次に、計算された３次元座標をワールド座標に変換する。このとき、ワールド座標系のＸＹ平面をＲＯＩのフロア面に平行とし、かつ、３Ｄカメラの中心のワールド座標を（００ｈ）（ｈは任意の値）としてワールド座標系を作成する。ワールド座標に変換された前景の各点から、Ｚ軸上の座標ｚｗ値のみを取り出し、これをイメージ平面上にマップして前景のワールド−Ｚマップを形成する。このようにして形成したワールド−Ｚマップでは、同一のオブジェクトに属する点のｚｗ値はイメージ平面のＹ軸方向で連続的でかつ一様に変化する特性を有している。

この特性を利用することにより、前景に含まれる複数オブジェクトの境界を検出することが出来る。即ち、ワールド−Ｚマップを走査していくとき、隣接するピクセル間でｚｗ値が一様に減少（あるいは増加）せず急激に変化する点が存在すれば、その点はオブジェクト間の境界であると考えられる。従って、オブジェクト間の境界を示唆するｚｗ値の大きな変化に基づいて前景に含まれる複数オブジェクトを検出し、これらを別個にセグメント化すれば、複数のオブジェクトが混在する、いわゆるオクルージョンが頻発する状況であっても、高い精度で複数オブジェクトを区別してセグメント化することが可能となる。

個々のオブジェクトがセグメント化されると、例えば線形確率モデルを使用することにより、時間ｔ−１と時間ｔ間でオブジェクトがどのように移動したかの対応付けを行うことができる。これにより、個々のオブジェクトの３次元軌跡を検出することが出来る。オブジェクトの対応付けは、オブジェクトの３Ｄ座標、平均のカラー、顔の特徴などの特徴量を基に、確率計算を行うことにより実現される。

本発明の方法およびシステムでは、基本的に深度マップに基づいてオブジェクトの検出を行うので、検出しようとする環境の照明変化、背景の複雑性に対してロバストである。さらに、オクルージョンの発生頻度の高い環境であっても、複数オブジェクトを効果的にセグメント化することができる。また、本発明の方法およびシステムを実施する場合、システムセットアップのための重要なパラメータは３Ｄカメラの設置角度だけであり、従って、システムのセットアップコスト、維持コストを低くすることが可能である。

以下に、本発明の種々の実施形態を、図面を参照して説明する。なお、以下の図面において同一の参照符号は同一または類似の構成要素を示すので、重複した説明は行わない。

図１は、本発明の一実施形態に係る移動体（以下、オブジェクト）の３次元追跡方法を示すフローチャートであり、図２は、図１の方法を実施するためのシステム構成を示す図、さらに、図３（ａ）〜（ｆ）は、図１のフローチャートの幾つかのステップにおける操作を説明するためのイメージ図である。

図２に示す様に、本実施形態に係るオブジェクトの３次元追跡システムは基本的に、オブジェクトの移動を追跡すべき空間１の斜め上方に固定された一台の３Ｄカメラ（例えば立体カメラ）２と、このカメラ２から得られた情報を処理する処理装置（プロセッサを含む）３とで構成されている。処理装置３は通常の情報処理装置、例えばコンピュータであっても良く、あるいはカメラ２と一体に構成されたカメラシステムであっても良い。３Ｄカメラ２は空間１を傾斜した角度から観測し、処理装置３は観測イメージから空間１の深度マップ（デプスマップ）を作成する。

オブジェクト追跡の前処理として、まず、背景（バックグラウンド）のモデルが作成される。図１のステップＳ１とステップＳ２は背景モデル作成のためのステップである。まず、ステップＳ１において、カメラ２によって空間１の背景（バックグラウンド）イメージを取得する。背景イメージとは、追跡すべきオブジェクトが存在しない場合の空間のイメージである。ステップＳ２において、取得した背景イメージから深度マップ、即ち背景モデルを作成する。図３の（ｃ）に、このようにして作成された背景モデルを示す。なお、背景モデルは一旦作成されれば、これを毎回のシーンイメージの処理に使用すればよく、したがって、ステップＳ１とステップＳ２を時間ｔ毎のシーンの撮影に対して、繰り返す必要はない。

図１に示すステップＳ３では、３Ｄカメラ２によって空間１の実際のシーンを撮像する。実際のシーンには追跡すべきオブジェクトが含まれている。図３の（ａ）にシーンイメージの一例を示す。なお、シーンの撮影は一定の時間ｔ毎に行われ、従ってステップＳ３以下は時間ｔ毎に繰り返して実行される。ステップＳ４では撮像したシーンの深度マップを作成する。図３の（ｂ）は、図（ａ）のシーンイメージから作成された深度マップを示している。オブジェクトを識別しその移動を追跡するためには、イメージの深度マップ（図３（ｂ）参照）からオブジェクトのみを切り出す必要がある。したがって、ステップＳ５で、シーンイメージの深度マップから背景イメージの深度マップを減算することにより、オブジェクト全体のの深度マップ、即ち前景（フォアグラウンド）イメージの深度マップを作成する。

次のステップＳ６では、ステップＳ５で作成された前景イメージの深度マップに基づいて、前景イメージの各点について３Ｄデータを作成する。ステップＳ７では、３Ｄデータに含まれるノイズを除去するための処理を行う。ノイズ除去処理については、［３Ｄデータ中のノイズ除去処理］の項で図４を参照して詳細に説明する。

ステップＳ８では、ノイズ除去後の３Ｄデータを、ワールド座標に変換する。なお、３Ｄデータはカメラ座標に基づくものであり、これをワールド座標に変換する場合、シーンのフロア面をワールド座標のＸＹ平面に平行とする。また、カメラの中心座標がワールド座標系の（００ｈ）（ｈ：任意の値）となるように、ワールド座標系を設定する。カメラ座標系のワールド座標系への変換に関しては、［ワールド−Ｚマップの作成］の項で図５を参照して詳述する。

ステップＳ９では、前景の各点について、ワールド座標のＺｗ軸上の値、即ち、ｚｗ値を取り出しこれをイメージ平面の各ピクセル上にマップすることにより、ワールド−Ｚマップを作成する。図３の（ｄ）はこのようにして作成されたワールド−Ｚマップを示す。

なお、図３の（ｂ）、（ｃ）、（ｄ）に示すマップは、実際は数値データの集合であるが、マップの機能を説明のためにイメージ化して示されている。したがって、図（ｄ）のワールド−Ｚマップでは、ｚｗ値の大きなピクセルを明るく、小さなピクセルを暗くなるように示してある。前景以外の部分はｚｗ値を０として処理されている。

以上の処理により、前景の各点について、ワールド座標におけるｚｗ値のみを保持したワールド−Ｚマップが作成されると、次のステップＳ１０ではこのマップを走査して前景イメージ中の各オブジェクトを検出する。マップの走査は、通常、マップの最上部左端から最上部右端に、同様にマップの上から下に向かって行われるが、システムの構成に基づいてどのような走査アルゴリズムをとっても良い。

ワールド−Ｚマップでは、各ピクセルにおいて、ワールド座標のｚｗ値、即ちオブジェクトのフロア面からの高さがマップされているので、同一のオブジェクト内では、ワールド座標のＹｗ軸方向にそのｚｗ値は一様に変化する。ステップＳ１１では、この特性を利用して、ワールド−Ｚマップ中でオブジェクト間の境界を検出する。オブジェクト間の境界を検出するための具体的な手順に関しては、［ワールド−Ｚマップの特性］の項で、図６および７を参照して詳述する。

オブジェクトの境界が検出されると、ステップＳ１２で、検出された各オブジェクトをセグメント化する。図３の（ｅ）に図（ｄ）のワールド−Ｚマップから２個のオブジェクトを識別し、セグメント化した状態を示す。ステップＳ１２のセグメント化、即ちセグメンテーションについては、［セグメンテーション］の項で、図７を参照して詳述する。

ステップＳ１３では、例えば、線形確率モデルを使用して、時間ｔ−１においてセグメント化されたオブジェクトと、現在の時間ｔにおいてセグメント化されたオブジェクトとの間の対応付けを実行する。ステップＳ１４では、ステップＳ１３の対応付けに基づいて、各オブジェクトの３Ｄ軌跡を作成する。以上の手順、即ち、ステップＳ３からステップＳ１４を一定の時間毎に繰り返して実行することにより、オブジェクトの３Ｄ追跡を実行することができる。

次に、図１の主要なステップの詳細を説明する。

［３Ｄデータ中のノイズ除去処理］
３Ｄカメラによる深度情報に固有のノイズを除去するために、ノイズ除去処理を行う。このようなノイズは、主に、オブジェクトの境界に発生しやすく、その存在によってオブジェクトのセグメンテーションにおける精度が劣化する。発明者等は、このようなノイズが、ポイントクラウド（点群）よりも大きな入射角（カメラに対する）を有していることに注目した。この特性を利用することによって、ノイズを除去するためのフィルタの閾値を決定することができる。

即ち、イメージ平面上に、各ピクセルがポイントクラウドの一個の点の入射角を記録した入射角マップを形成する。次に、予め決定した閾値よりも小さな入射角を有する点のみを保存するために、このマップをフィルタする。このようにして形成されたマップは、ワールド−Ｚマップのためのマスクとして使用される。

図４にステレオ処理において発生するノイズを示す。この図に示す様に、ノイズ４０のカメラ２０に対する入射角βは、ポイント３０のカメラ２０に対する入射角γよりも大きい傾向がある。なお、図４において、３２はノイズ４０とポイント３０それぞれの入射ベクトルを示し、３４はノイズ４０のノーマルベクトルを示す。ある所定の点ｐの入射角のコサインは、点ｐの単位ノーマルベクトル
と、カメラの中心と点ｐとを結ぶ単位ベクトル
との積として示される。このノーマルベクトルは、点ｐに隣接するが点ｐとは整列していない有効点ｐ１、ｐ２を用いて計算することができる。即ち、ノーマルベクトル
は、
と
の外積で与えられる。

その結果、点ｐに関する入射マップエントリＩ（ｐ）は、
で与えられる。

［ワールド−Ｚマップの作成］
ワールド−Ｚマップはイメージ平面の各ピクセル上に、シーンの各３次元ポイントのワールド−Ｚ座標を記録したものである。図５は、カメラ座標とワールド座標の関係を示す。図５において、Ｘｃ、Ｙｃ、Ｚｃはカメラ座標の座標軸を、Ｘｗ、Ｙｗ、Ｚｗはワールド座標の座標軸を示す。カメラ２は、フロア面から高さｈの位置に、フロア面を角度αで観測するように配置される。さらに、フロア面がＸＹ平面に平行であると仮定し、カメラ２の中心のワールド座標を（００ｈ）とする。この場合、カメラ座標が（ｘｃ、ｙｃ、ｚｃ）である点Ｐのワールド座標（ｘｗ、ｙｗ、ｚｗ）は、
ｘｗ＝ｚｃｓｉｎ（α）
ｙｗ＝ｘｃ
ｚｗ＝ｈ−ｚｃｃｏｓ（α） （１）
として計算される。ワールド−Ｚマップは、式（１）に基づいて計算されたワールドＺ座標値のみを取り出し、これをイメージ平面上の各ピクセルにマップすることによって作成される。

［ワールド−Ｚマップの特性］
図６および図７は、ワールド−Ｚマップの特性を示す図である。図６は、フロア面１０上に近接して位置するオブジェクトＡおよびＢを含むシーンをカメラ２によって観測する場合を示し、図７は図６のシーンのワールド−Ｚマップを示す。図７において、１２はイメージ平面である。図６のシーンをカメラ２によって観察した場合、カメラ２とオブジェクトＡ間の距離ｄ１はカメラ２とオブジェクトＢ間の距離ｄ２よりも小さいので、ワールド−Ｚマップのイメージ平面１２上では、オブジェクトＡはオブジェクトＢより低い位置に現れる。

したがって、人物の場合の様に、オブジェクトＡとオブジェクトＢが同じような高さ（身長）を有する場合、ワールド−Ｚマップ上で最も高い位置（Ｙ座標）にある点は、カメラ２から最も遠い位置のオブジェクトに属すると考えて良い。具体的には、図７の点Ｐ３はオブジェクトＡより遠いオブジェクトＢに属する点であると考えられる。また、図６から明らかなように、オブジェクトＡの点Ｐ１とオブジェクトＢの点Ｐ２はイメージ平面１２上で同じ位置に現れる。しかしながら、オブジェクトＡはオブジェクトＢよりもカメラに近く、したがって点Ｐ１のワールド−Ｚ座標値Ｚ１は点Ｐ２のワールド−Ｚ座標値Ｚ２よりも大きい。即ち、Ｚ１＞Ｚ２である。

また、同じオブジェクト内では、ワールド−Ｚ座標の値は、イメージ平面のＹ軸座標が大きくなるにしたがって一様に減少する。即ち、図７のオブジェクトＢでは、点Ｐ３からＹ座標が大きくなるに従ってその点のｚｗ値は一様に減少していく。同様に、オブジェクトＡ内では、点Ｐ１のｚｗ値が最も大きく、Ｙ座標が大きくなるに従ってｚｗ値は一様に減少する。

以上を要約すると、ワールド−Ｚマップは、次のような特性を有している。

１）ワールド−Ｚマップは深度マップから計算された全ての３Ｄ点を含んでいるため、情報の損失がない。
２）一個のオブジェクト内のｚｗ値は、Ｙ軸の値が大きくなるにしたがって一様に減少する。
３）カメラに近い位置のオブジェクトはカメラから遠い位置のオブジェクトよりも、ワールド−Ｚマップ上で大きなｚｗ値を有する。このことは、オブジェクトが人物の場合の様にほぼ同じような高さ（身長）を有する場合、ワールド−Ｚマップ上で最も高い位置（Ｙ座標）にある点は、カメラから最も遠い位置のオブジェクトに属することを意味する。

［オブジェクトセグメンテーション］
ワールド−Ｚマップの上記特性２）および３）を利用することによって、イメージ平面上で一部が重なった複数のオブジェクトを識別し、セグメント化することができる。即ち、図７に示すワールド−Ｚマップを、例えば右から左に、かつ上から下に走査していくとき、隣接するピクセル間でｚｗ値が一様に減少せず大きく変化する場合がある。このような場合に、そこが複数オブジェクトの境界であると考えることができる。例えば、ワールド−Ｚマップにおいて、オブジェクトＢ内でのｚｗ値は、点Ｐ３から点Ｐ２に向かって一様に減少していくが、点Ｐ２に達するとそこはオブジェクトＡの点Ｐ１に相当するため、そのｚｗ値は急激に大きくなる。図６に示す様に、Ｚ１＞Ｚ２であるためである。オブジェクトＡ内では、点Ｐ１のｚｗ値Ｚ１を最大に、以降、一様に減少する。

以上のように、ワールド−Ｚマップを走査して隣接するピクセル間でｚｗ値の変化が急激な点を検出することにより、オブジェクト間の境界を検出することが出来る。本方法では、この特性を利用して、ワールド−Ｚマップから複数オブジェクトを識別する。

［セグメンテーション］
図８は、モニタエリア内に２個のオブジェクトＡ、Ｂを含むワールド−Ｚマップから、オブジェクトＡ、Ｂをセグメント化する手順を説明するための図である。図８（ａ）は３Ｄカメラから得られたイメージを基にして作成されたワールド−Ｚマップを示す。このマップを最上部左端から走査を開始し、画面の右から左、さらに上から下に走査することによって、オブジェクトＢと他のオブジェクトとの境界１３を検出する。境界を検出するために、隣接するピクセル間のｚｗ値の変化にユーザ指定の閾値εを設けても良い。次に、検出された境界１３に基づいて、図（ｂ）に示す様にオブジェクトＢをセグメント化する（セグメントＢ’）。

次に、ワールド−ＺマップからセグメントＢ’を除去し、残りのマップを走査することにより、オブジェクトＡを確定し（図（ｃ））、図（ｄ）に示す様にこれをセグメント化する（セグメントＡ’）。この結果、ワールド−Ｚマップ内でオブジェクトＡとオブジェクトＢが、セグメントＡ’、セグメントＢ’としてセグメント化される。

［セグメントトラッキング］
図９は、線形確率モデルに基づいた３Ｄオブジェクトトラッキングの全体像を示す。図９の（ａ）は、時間ｔ−１において検出されたオブジェクトＸ１、Ｘ２およびＸ３の位置を示し、図（ｂ）は、時間ｔにおいて検出された２個のセグメントＹ１、Ｙ２の位置を示す。トラッキングは、時間ｔにおいて検出されたセグメントＹ１、Ｙ２と時間ｔ−１において検出されたオブジェクトＸ１、Ｘ２およびＸ３間の対応関係を見出すことである。各変数Ｘｉ（ｉ＝１、２、３）は、オブジェクトＸｉの、トラッキングに関係するある特徴を符号化する。これらの特徴には、３Ｄ位置、配置、外見および動き等が含まれる。

例えば、（ｘ１、ｙ１、ｚ１）をオブジェクトの３Ｄ位置とし、（ｈ１、ｗ１）をオブジェクトの身長および横幅であるとし、（ｒ１、ｇ１、ｂ１）をオブジェクトの平均の色であるとした場合、Ｘ１＝（ｘ１、ｙ１、ｚ１、ｗ１、ｒ１、ｇ１、ｂ１）と仮定することができる。Ｙｊ（ｊ＝１、２）に対しても同様の仮定を行う。この対応関係を構築するために、シーン中のオブジェクトの数が時間の経過とともに変化することも有りうると仮定する。例えば、ある人物がシーンから出てしまい、他の人物がシーン内に入り込むことも可能である。システムはこのような状況を自動的に取り扱う。

一般に、時間ｔ−１において検出されたオブジェクトセットを、
Ｘ＝（Ｘ１、Ｘ２、・・・、Ｘｎ）、ｎはオブジェクトの数、
時間ｔにおいて検出されたセグメントセットを、
Ｙ＝（Ｙ１、Ｙ２、・・・、Ｙｎ）、ｍはセグメントの数、
として示すことができる。なお、ｍ≠ｎである。

トラッキングのために、ｍ＋１個の行とｎ個の列を有する行列Ｐを考える。各列は、以前のフレームにおいて検出されたオブジェクトに相当し、各行はフレームｔにおいて検出されたセグメントに相当する。この行列に、追加の行を加える。この行は、時間ｔ−１において検出された人物Ｘｉが時間ｔにおいて姿を消す確率に相当する。ｉを行番号、ｊを列番号とする時、行列の各エントリＰ（ｉ、ｊ）は、ＹｉがＸｊに相当する確率となる。

図９の（ｄ）は、このような行列Ｐの一例を示す。行列Ｐが決定されると、次のステップは最適な割当を見出すことである。図９の（ｃ）はこのような割当の一例を示す。即ち、図（ｃ）ではＹ１はＸ３に割当てられ、Ｙ２はＸ２に割当てられ、さらにＸ１は時間ｔにおいて姿を消したものと見なされる（φに割当てられる）。この割当ての確率は、Ｐ（１、３）×Ｐ（２、２）×Ｐ（３、１）＝０．３４３であり、この値は他の可能な割当ての中で最も高い値である。

ｍ＞ｎの場合、新しいオブジェクトがシーン内に入り込んできたことを示す。このアルゴリズムでは、シーンに入り込んできたオブジェクトに対して何らの割当ても見出さない。この場合、それらは新しく来たオブジェクトであると解釈され、時間ｔにおいて検出された人物のリストの中に加えられる。行列Ｐの値は、オブジェクトＸ１、Ｘ２、Ｘ３とセグメントＹ１、Ｙ２間の類似の程度に基づいて計算される。この類似としては、オブジェクト間の幾つかの特性を使用することも可能である。例えば、オブジェクト間の３Ｄ距離、色の類似性、顔の類似性あるいはこれらの組合せを使用することができる。

本発明の一実施形態に係るオブジェクト追跡方法を実施するための手順を示すフローチャート。 本発明の一実施形態に係るオブジェクト追跡システムの構成を示す概略図。 図１の方法を説明するためのイメージ図。 ポイントクラウドとノイズの関係を示す図。 カメラ座標とワールド座標の関係を示す図。 オブジェクトとカメラとの関係を示す図。 ワールド−Ｚマップを示す図。 オブジェクトセグメンテーションの手順を示す図。 オブジェクトの３Ｄトラッキングの手順を示す図。

符号の説明

１ 空間
２ ３Ｄカメラ
３ 処理装置（コンピュータ）

Claims (6)

1. 所定の環境を斜め上方から観察する３Ｄカメラの映像を解析して、前記環境の背景の深度マップと前記環境の現在シーンの深度マップとを形成し、
   前記背景および現在シーンの深度マップを比較して、前景の深度マップを形成し、
   前記前景の深度マップに基づいて前記前景の各点の３次元座標を計算し、
   前記３次元座標をワールド座標に変換し、
   前記前景の各点について前記ワールド座標のｚｗ値のみを抽出し、イメージ平面の各ピクセルにマッピングしてワールド−Ｚマップを形成し、
   前記ワールド−Ｚマップ上の隣接するピクセル間でｚｗ値の変化量の大きい点を検出して、前記前景に含まれる１個またはそれ以上のオブジェクトの境界を検出し、
   前記検出した境界に基づいて前記オブジェクトをセグメント化し、
   前記セグメント化されたオブジェクトに対して３次元軌跡を作成する、
   各ステップを備える、オブジェクトの３次元追跡方法。
2. 請求項１に記載の方法において、前記背景の深度マップは、前記環境にオブジェクトが存在しない場合に撮影された映像に基づいて形成され、前記前景の深度マップは前記現在シーンの深度マップから前記背景の深度マップを減算することによって形成される、オブジェクトの３次元追跡方法。
3. 請求項１または２に記載の方法において、さらに、前記前景の３次元座標のデータを前記３Ｄカメラに対する入射角でフィルタしてノイズを除去するステップを備える、オブジェクトの３次元追跡方法。
4. 所定の環境を斜め上方から観察する３Ｄカメラと、
   前記３Ｄカメラの映像を解析するプロセッサと、を備え、
   前記プロセッサは、
   前記映像から前記環境の背景と現在シーンそれぞれの深度マップを形成し、
   前記それぞれの深度マップを比較して前景の深度マップを計算し、
   前記前景の深度マップに基づいて前記前景の各点における３次元座標を算出し、
   前記算出した３次元座標をワールド座標に変換し、
   前記前景の各点について前記ワールド座標のｚｗ値のみを抽出し、イメージ平面の各ピクセルにマッピングして、ワールド−Ｚマップを形成し、
   前記ワールド−Ｚマップ上の隣接するピクセル間でｚｗ値の変化量の大きい点を検出して、前記前景に含まれる１個またはそれ以上のオブジェクトの境界を検出し、
   前記検出した境界に基づいて前記オブジェクトをセグメント化し、
   前記セグメント化されたオブジェクトに対して３次元軌跡を作成する、各手順を実行する、オブジェクトの３次元追跡システム。
5. 請求項１に記載のシステムにおいて、前記背景の深度マップは、前記環境にオブジェクトが存在しない場合に撮影された映像に基づいて形成され、前記前景の深度マップは前記現在シーンの深度マップから前記背景の深度マップを減算することによって形成される、オブジェクトの３次元追跡システム。
6. 請求項４または５に記載のシステムにおいて、さらに、前記前景の３次元座標のデータを前記３Ｄカメラに対する入射角でフィルタしてノイズを除去するステップを備える、オブジェクトの３次元追跡システム。