JP7289746B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Description

本発明は、情報処理装置に関するものである。

複数の撮像装置の撮像により得られた複数の画像を用いて、ユーザにより指定された仮想視点からの仮想視点画像を生成する技術が注目されている。特許文献１では、複数の撮像装置を異なる位置に設置して被写体を撮像し、撮像により得られた撮像画像から推定される被写体の３次元形状を用いて、仮想視点画像を生成する方法について記載されている。

３次元形状の推定のため、通常、予め撮像装置の状態が取得され、この撮像装置の状態と複数の撮像画像とに基づいて３次元形状の推定がなされる。この撮像装置の状態は、位置と姿勢などの状態（いわゆる外部パラメータ）と、焦点距離、画像中心、歪みなどの状態（いわゆる内部パラメータ）とを含む。

特開２０１５－４５９２０号公報

予め撮像装置の状態を取得した後に、撮像装置が人と接触したり、風などにより撮像装置が振動したり、撮像装置のレンズの自重などにより、撮像装置の状態が予め取得された状態から変化する可能性がある。撮像装置の状態が変化したにもかかわらず、予め取得した撮像装置の状態に基づいて被写体の３次元形状の推定を行うと、推定される形状の精度が低下してしまう。そのため、撮像装置の状態の変化を検出する技術が求められているが、そのような技術は提案されていなかった。

本発明は、上記の課題に鑑みてなされたものであり、撮像装置の状態の変化を検出する技術を提供することを目的とする。

本発明の一つの態様は、以下のとおりである。すなわち、情報処理装置は、複数の撮像装置による撮像に基づく複数の画像を取得する第２の取得手段と、前記複数の画像と、前記複数の撮像装置の前記撮像の時点より前の時点における状態とに基づいて生成される３次元形状データを取得する第１の取得手段と、前記第１の取得手段により取得された複数の画像と、前記第２の取得手段により取得された３次元形状データとに基づいて、前記複数の撮像装置のいずれかの撮像装置の前記撮像の時点における状態が前記撮像の時点より前の時点における状態と異なることを検出する検出手段と、前記検出手段による検出結果に基づく情報を出力する出力手段と、を有する。

本発明によれば、撮像装置の状態の変化を検出することができる。

実施形態１の装置構成の一例を示す図である。 実施形態１の処理の一例を示すフローチャートである。 実施形態１の形状推定処理を説明する図である。 実施形態１の形状推定結果から生成した投影像の例を示す図である。 実施形態１の処理の他の一例を示す図である。 実施形態２の装置構成の一例を示す図である。 実施形態２の処理の一例を示すフローチャートである。 実施形態２の形状推定結果の一例を示す図である。 実施形態２の形状推定結果から生成した投影像と、シルエット画像における被写体の領域との重複領域を示す図である。 外部パラメータ又は内部パラメータにずれが生じた際の投影像とシルエット画像における被写体の領域のずれの一例を示す図である。 実施形態３の装置構成の一例を示す図である。 実施形態３の処理の一例を示すフローチャートである。 実施形態３の形状推定処理を説明する図である。 実施形態３の形状推定結果から生成した投影像と、投影像とシルエット画像における被写体の領域との重複領域を示す図である。 実施形態１の装置構成のハードウェア構成の一例を示す図である。 実施形態４の装置構成の一例を示す図である。

以下、図面を参照しながら、本発明を実施するための形態について説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

（実施形態１）
本実施形態では、被写体の３次元形状を推定し、その結果を撮像装置の視点に投影した投影画像と、撮像装置による撮像に基づくシルエット画像とのずれを検出し、ずれが生じたことを表す情報を画面に表示する形態について述べる。このずれは、撮像装置の状態を変化したことを表す情報である。ここで、撮像装置の状態とは、撮像装置の位置、姿勢（向き、撮像方向）、焦点距離、画像中心、歪みなどの状態のことをいう。撮像装置の位置、姿勢（向き、撮像方向）は、撮像装置そのもので制御されてもよいし、撮像装置の位置や姿勢を制御する雲台により制御されてもよい。以下では、撮像装置の状態を撮像装置のパラメータとして説明を行うが、そのパラメータには、雲台等の別の装置により制御されるパラメータが含まれていてもよい。また、撮像装置の位置、姿勢（向き、撮像方向）に関するパラメータは、いわゆる外部パラメータであり、撮像装置の焦点距離、画像中心、歪みに関するパラメータは、いわゆる内部パラメータである。

また、撮像装置の状態の変化は、２つの時刻間における撮像装置のパラメータの変化をいう。被写体の３次元形状の推定は、撮像装置による撮像に基づく画像と、その撮像より前に取得された撮像装置のパラメータとに基づいて行われる。上記変化とは、その撮像における撮像装置のパラメータと、その撮像より前に取得された撮像装置のパラメータとが異なることをいう。例えば、第１の時刻において、３次元形状の推定のために撮像装置のパラメータが取得された場合を考える。その第１の時刻以降に開始される撮像の期間内の第２の時刻における撮像装置のパラメータが、第１の時刻における撮像装置のパラメータと異なることを、撮像装置のパラメータの変化があるという。また、撮像の期間中の２つの時刻間の撮像装置のパラメータが異なる場合も、撮像装置のパラメータの変化があるという。

なお、撮像装置の状態（パラメータ）は、撮像装置のそのものの状態（パラメータ）でもよいし、撮像装置の位置や姿勢を制御する雲台などにより設定された撮像装置の制御情報であってもよい。

本実施形態の画像処理システムは、複数の撮像装置による撮像に基づく複数の画像と、指定された仮想視点とに基づいて、指定された仮想視点からの見えを表す仮想視点画像を生成するシステムである。本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、仮想視点の指定は、ユーザ操作により行われてもよいし、画像解析の結果等に基づいて自動で行われてもよい。また、本実施形態では仮想視点画像が動画である場合を中心に説明するが、仮想視点画像は静止画であってもよい。

仮想視点画像の生成に用いられる仮想視点情報は、仮想視点の位置及び向きを示す情報である。具体的には、仮想視点情報は、仮想視点の３次元位置を表すパラメータと、パン、チルト、及びロール方向における仮想視点の向きを表すパラメータとを含む、パラメータセットである。なお、仮想視点情報の内容は上記に限定されない。例えば、仮想視点情報としてのパラメータセットには、仮想視点の視野の大きさ（画角）を表すパラメータが含まれてもよい。また、仮想視点情報は複数のパラメータセットを有していてもよい。例えば、仮想視点情報が、仮想視点画像の動画を構成する複数のフレームにそれぞれ対応する複数のパラメータセットを有し、連続する複数の時点それぞれにおける仮想視点の位置及び向きを示す情報であってもよい。

画像処理システムは、撮像領域を複数の方向から撮像する複数の撮像装置を有する。撮像領域は、例えばサッカーや空手などの競技が行われる競技場、もしくはコンサートや演劇が行われる舞台などである。複数の撮像装置は、このような撮像領域を取り囲むようにそれぞれ異なる位置に設置され、同期して撮像を行う。なお、複数の撮像装置は撮像領域の全周にわたって設置されていなくてもよく、設置場所の制限等によっては撮像領域の一部の方向にのみ設置されていてもよい。また、撮像装置の数は限定されず、例えば撮像領域をサッカーの競技場とする場合には、競技場の周囲に数十～数百台程度の撮像装置が設置されてもよい。また、望遠カメラと広角カメラなど機能が異なる撮像装置が設置されていてもよい。

仮想視点画像は、例えば以下のような方法で生成される。まず、複数の撮像装置によりそれぞれ異なる方向から撮像することで複数の画像（複数視点画像）が取得される。次に、複数視点画像から、人物やボールなどの所定のオブジェクトに対応する前景領域を抽出した前景画像と、前景領域以外の背景領域を抽出した背景画像が取得される。前景画像、背景画像は、テクスチャ情報（色情報など）を有している。そして、所定のオブジェクトの３次元形状を表す前景モデルと前景モデルに色付けするためのテクスチャデータとが前景画像に基づいて生成される。また、競技場などの背景の３次元形状を表す背景モデルに色づけするためのテクスチャデータが背景画像に基づいて生成される。そして、前景モデルと背景モデルに対してテクスチャデータをマッピングし、仮想視点情報が示す仮想視点に応じてレンダリングを行うことにより、仮想視点画像が生成される。ただし、仮想視点画像の生成方法はこれに限定されず、３次元モデルを用いずに撮像画像の射影変換により仮想視点画像を生成する方法など、種々の方法を用いることができる。

前景画像とは、撮像装置により撮像されて取得された撮像画像から、オブジェクトの領域（前景領域）を抽出した画像である。前景領域として抽出されるオブジェクトとは、時系列で同じ方向から撮像を行った場合において動きのある（その絶対位置や形が変化し得る）動的オブジェクト（動体）を指す。オブジェクトは、例えば、競技において、それが行われるフィールド内にいる選手や審判などの人物、球技であれば人物に加えボールなどを含み、またコンサートやエンタテイメントにおける歌手、演奏者、パフォーマー、司会者などである。

背景画像とは、少なくとも前景となるオブジェクトとは異なる領域（背景領域）の画像である。具体的には、背景画像は、撮像画像から前景となるオブジェクトを取り除いた状態の画像である。また、背景は、時系列で同じ方向から撮像を行った場合において静止している、又は静止に近い状態が継続している撮像対象物を指す。このような撮像対象物は、例えば、コンサート等のステージ、競技などのイベントを行うスタジアム、球技で使用するゴールなどの構造物、フィールド、などである。ただし、背景は少なくとも前景となるオブジェクトとは異なる領域であり、撮像対象としては、オブジェクトと背景の他に、別の物体等が含まれていてもよい。

［構成］
本実施形態では、画像処理システムに用いられる情報処理装置について図面を参照しながら説明する。

図１は、本実施形態における情報処理装置の機能構成図である。情報処理装置１は、複数の撮像装置２と表示装置３に接続される。情報処理装置１は、撮像装置２それぞれから撮像画像又は前景画像などを取得する。また、情報処理装置１は、複数の撮像装置２から得られた情報などに基づいて、仮想視点画像を生成し、表示装置３へ出力する。

撮像装置２（カメラという場合もある）は、例えば、撮像機能の他、撮像した画像から前景画像を抽出する機能など、他の機能やその機能を実現するハードウェア（回路や装置など）も含んでもよい。複数の撮像装置２のそれぞれ異なる方向から被写体を撮像するように配置されている。表示装置３は、情報処理装置１で生成した仮想視点画像や後述するずれ情報を取得し、それらをディスプレイなどの表示デバイスを用いて出力する。

情報処理装置１の構成について説明する。情報処理装置１は、取得部１００と、形状推定部１１０、投影像生成部１２０、判定部１３０、仮想視点画像生成部１４０、ずれ情報生成部１５０を有する。取得部１００は、複数の撮像装置２により撮像された撮像画像（又は前景画像）を取得する。撮像装置２は、個体を識別するための識別番号を持つものとする。また、全撮像装置２は現実世界の１つの時刻情報で同期され、撮像した映像には毎フレームの画像に撮像時刻情報が付与される。

取得部１００は、複数の撮像装置２の撮像により取得された撮像画像を取得する。また、取得部１００は、撮像画像から被写体を示す領域が抽出された前景画像を取得してもよい。また、取得部１００は、複数の撮像装置２のそれぞれのパラメータを取得する。このパラメータは、複数の撮像装置２から取得されてもよいし、不図示の記憶装置から取得してもよい。また、取得部１００が、複数の撮像装置２のそれぞれのパラメータを算出するようにしてもよい。例えば、取得部１００は、複数の撮像画像から対応点を算出し、対応点を各撮像装置２に投影した時の誤差が最小になるように最適化し、各撮像装置２を校正することで各パラメータを算出する。なお、校正方法は既存のいかなる方法であってもよい。なお、パラメータは、撮像画像に同期して取得されてもよいし、事前準備の段階で取得されてもよいし、また必要に応じて撮像画像に非同期で取得されてもよい。

形状推定部１１０は、取得部１００が取得した複数の撮像画像と、パラメータと、を用いて被写体の３次元形状を推定する。投影像生成部１２０は、形状推定部１１０による形状推定の結果である３次元形状データを、パラメータを用いて、撮像装置２それぞれの視点に投影した投影像を生成する。なお、取得部１００により前景画像を取得する場合は、撮像画像に代えて前景画像を用いて被写体の３次元形状を推定すればよい。

判定部１３０は、２つの異なるタイミングにおける撮像装置２のパラメータの変化を検出する。例えば、判定部１３０は、撮像の事前準備の段階で予め取得された撮像装置２のパラメータと、準備が終了した後に開始される撮像時の撮像装置２のパラメータとの変化を検出する。そして、判定部１３０は、ずれを検出した場合、そのずれに応じて、仮想視点画像を生成するか、仮想視点画像の生成を中止してずれ情報を生成するかの判定を行う。具体的には、判定部１３０は、投影像生成部１２０が生成した被写体の投影像と、取得部１００で取得された撮像画像に基づいて生成されるシルエット画像における被写体の領域とを比較する。撮像画像は、撮像時点における撮像装置２のパラメータが反映されたものである。そのため、シルエット画像も、撮像時点における撮像装置２のパラメータが反映されたものである。一方、投影像生成部１２０が生成した被写体の投影像は、その撮像時点より前の、例えば撮像の事前準備の段階で予め取得された撮像装置２のパラメータが反映されたものである。そのため、投影像生成部１２０が生成した被写体の投影像と、取得部１００で取得された撮像画像に基づいて生成されるシルエット画像における被写体の領域とを比較することにより、撮像装置２のパラメータの変化を検出することができる。

シルエット画像は、被写体の２次元形状を示す画像であり、各撮像装置２の視点に対応する画像である。また、シルエット画像は、例えば被写体が存在する領域の画素値を２５５、それ以外の領域の画素値を０にしたものである。言い換えると、シルエット画像は、被写体の領域以外がマスクされた画像であり、テクスチャ情報を有さない画像である。なお、被写体が存在する領域がその他の領域と区別することが可能であれば、画素値は限定されない。このシルエット画像は、撮像装置２それぞれから取得されてよいし、撮像装置２から取得された画像（撮像画像又は前景画像）に基づいて形状推定部１１０により生成されるようにしてもよい。以下では、シルエット画像が形状推定部１１０により生成される例について説明を行う。なお、取得部１００が、撮像装置２からシルエット画像を取得するようにしてもよい。この場合、撮像装置２は、撮像画像からシルエット画像を生成する機能を有する。

仮想視点画像生成部１４０は、１枚の仮想視点画像を生成するために、１つの仮想視点情報の指定を受け付け、その仮想視点情報に基づいて仮想視点画像を生成する。仮想視点情報は、例えば、ジョイスティック、ジョグダイヤル、タッチパネル、キーボード、及びマウスなどの入力部により、ユーザ（操作者）から指定される。なお、仮想視点情報の指定に関してはこれに限定されず、被写体を認識するなどして、自動的に指定しても構わない。生成した仮想視点画像は表示装置３へ出力される。ずれ情報生成部１５０は、判定部１３０により検出されたずれに基づいて、ずれ情報を生成する。ずれ情報は、例えば、テキスト情報であってもよい。

情報処理装置１のハードウェア構成について、図１５を用いて説明する。情報処理装置１は、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、補助記憶装置２１４、表示部２１５、操作部２１６、通信Ｉ／Ｆ２１７、及びバス２１８を有する。

ＣＰＵ２１１は、ＲＯＭ２１２やＲＡＭ２１３に格納されているコンピュータプログラムやデータを用いて情報処理装置１の全体を制御することで、図１に示す情報処理装置１の各機能を実現する。なお、情報処理装置１がＣＰＵ２１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ２１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ２１３は、補助記憶装置２１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ２１７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置２１４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。

表示部２１５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが情報処理装置１を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部２１６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２１１に入力する。ＣＰＵ２１１は、表示部２１５を制御する表示制御部、及び操作部２１６を制御する操作制御部として動作する。

通信Ｉ／Ｆ２１７は、情報処理装置１の外部の装置との通信に用いられる。例えば、情報処理装置１が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２１７に接続される。情報処理装置１が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２１７はアンテナを備える。バス２１８は、情報処理装置１の各部をつないで情報を伝達する。

本実施形態では表示部２１５と操作部２１６が情報処理装置１の内部に存在するものとするが、表示部２１５と操作部２１６との少なくとも一方が情報処理装置１の外部に別の装置として存在していてもよい。

［動作フロー］
図２に示すフローチャートを用いて、情報処理装置１が行う処理について説明する。

Ｓ２００において、取得部１００は、複数の撮像装置２から、複数の撮像画像を取得する。また、取得部１００には、撮像装置２により抽出された前景画像が入力されてもよい。また、前景画像は、取得部１００により撮像画像から抽出されるようにしてもよい。

Ｓ２１０において、取得部１００は、不図示の記憶装置から各撮像装置２のパラメータを取得する。なお、取得部１００が、パラメータを算出するようにしてもよい。ただし、その場合、パラメータは、撮像画像を取得する度に算出される必要はなく、形状推定する前に少なくとも１度算出されればよい。そして、算出されたパラメータは、記憶装置に格納されていればよい。取得部１００は、次回以降、その記憶装置から各撮像装置２のパラメータを取得すればよい。取得された撮像画像（又は前景画像）とパラメータは、形状推定部１１０と仮想視点画像生成部１４０に出力される。

Ｓ２２０において、形状推定部１１０は、複数の撮像画像と、各撮像装置２のパラメータとに基づいて、被写体の３次元形状を推定する。具体的には、形状推定部１１０は、被写体の３次元形状データを生成する。形状推定の結果である３次元形状データは、判定部１３０と仮想視点画像生成部１４０に出力される。

本実施形態における形状推定処理は、被写体のシルエット画像を生成する処理と３次元形状を推定する処理で構成される。シルエット画像は、被写体を撮像した撮像画像から、試合開始前などに被写体が存在しない時に予め撮像した背景画像との差分を算出する背景差分法などの一般的な手法を用いて生成されてもよい。ただし、シルエット画像を生成する方法は、これに限定されない。例えば、被写体（人体）を認識するなどの方法を用いて、被写体の領域を抽出するようにしてもよい。

また、取得部１００により前景画像を取得する場合は、その前景画像は被写体の形状情報とテクスチャ情報の両方を有しているので、テクスチャ情報を消すことでシルエット画像が生成される。具体的には、被写体が存在する領域の画素値を２５５、それ以外の領域の画素値を０にすればよい。また、取得部１００でシルエット画像を取得してもよく、その場合は、被写体のシルエット画像を生成する処理は省略することができる。

次に、生成した各撮像装置２に対応するシルエット画像と、各撮像装置２のパラメータを用いて、被写体の３次元形状を推定する。３次元形状の推定には、例えば、視体積交差法（ｓｈａｐｅ ｆｒｏｍ ｓｉｌｈｏｕｅｔｔｅ）を用いてもよい。ただし、３次元形状の推定は、これに以外の一般的な方法を用いることもできる。

図３（ａ）は、形状推定処理における推定空間３００と、３台の撮像装置のパラメータから算出した撮像装置の画角３１０（破線）と、シルエット画像３２０（実線）の一例を示す図である。なお、シルエット画像３２０は、縦横４画素の画像で構成される例を示す。このシルエット画像３２０には、被写体の２次元形状を示すシルエットが含まれる。図３（ｂ）は、図３（ａ）に示した、３台の撮像装置のシルエット画像３２０を用いて、形状推定部１１０により生成される形状データを示す図である。なお、図３では、説明の便宜上、２次元空間における形状推定処理を記述するが、３次元空間においても同様である。なお、説明を簡単にするため、シルエット画像３２０の全体にわたって被写体の領域が存在するものとするが、多くのシルエット画像３２０では、シルエット画像３２０の一部に、被写体の領域が存在する。

図３（ａ）で示す例では、３台の撮像装置のうち撮像装置Ａ、Ｂにおいて、画角３１０とシルエット画像３２０とはずれていない。一方、撮像装置Ｃの画角３１０とシルエット画像３２０とはずれている。図３（ｂ）において、縦横４画素のボクセル空間の各ボクセル４００が持つ値は、以下の条件で決定される。すなわち、各ボクセルを、撮像装置のパラメータを用いて各撮像装置に投影した際に、そのボクセルに対応する画素または領域が、３台の撮像装置のシルエット画像３２０の全てに含まれる場合は１となる。それ以外の場合は０となる。ボクセル４００は、実際には３次元の座標Ｘｗ（ｘ，ｙ，ｚ）を持ち、この座標は実世界の任意の位置を原点とする３つの直交する軸を持つ世界座標系で表現される。この処理が推定空間３００の全ボクセルで繰り返される。そして、図３（ｂ）で示すような「１」を持つボクセルは、被写体を構成するボクセルとして残し、「０」を持つボクセルが削除されることで、被写体の３次元形状データが生成される。つまり、３次元形状データは、値が１であるボクセルのみで表される。

Ｓ２３０において、投影像生成部１２０は、複数の撮像装置２のパラメータと推定された３次元形状データに基づいて、複数の撮像装置２における投影像を生成する。生成した投影像は、判定部１３０に出力される。具体的には、投影像生成部１２０は、３次元形状データを、撮像装置２のパラメータを用いて各撮像装置２に投影することにより、各撮像装置２での投影像を生成する。投影像は、判定部１３０に出力される。

図４は、図３（ａ）の３台の撮像装置それぞれに被写体の３次元形状データを投影して生成する投影像の模式図である。この図４を用いて、投影像生成部１２０が投影像を生成する処理について説明する。なお、図４において、各撮像装置のシルエット画像（被写体の領域）も重ねて示している。投影像生成部１２０は、まず、全撮像装置の投影像の全画素値を０で初期化する。次に、撮像装置のパラメータを用いて、３次元形状データのボクセルを世界座標系で表現される３次元座標から各撮像装置の画像座標系で表現される２次元座標へ変換する。つまり、図３（ｂ）で示す、値が１で表されているボクセルのみが各撮像装置の画像座標系に変換される。これを全ボクセルについて処理する。図４において、変換後の座標において、値が１で表されているボクセルに対応する領域をグレーでハッチングされている。このグレーでハッチングされた領域は、３次元形状データが各撮像装置に投影された被写体の投影像５００を示す。さらに、全撮像装置２に対して上述する投影処理が行われることにより、被写体の投影像が生成される。なお、投影像において、グレーでハッチングされた領域の画素値は２５５である。

Ｓ２４０において、判定部１３０は、複数の撮像装置２のいずれかの撮像装置２のパラメータが変化したことか否かを判定する。具体的には、判定部１３０は、撮像装置２ごとに、被写体のシルエットと投影像とを比較し、そのずれを算出する。その結果を評価する。そして、判定部１３０は、仮想視点画像を生成するか、仮想視点画像を生成せずに、ずれ情報を生成するかを判定する。

判定部１３０は、各撮像装置２について、シルエット画像３２０における被写体の領域（図３ではシルエット画像３２０と同じ）の画素値が２５５である画素数と、被写体の投影像５００の画素値が２５５である画素数をカウントする。そして、判定部１３０は、シルエット画像３２０における被写体の領域においてカウントした画素数に対する、投影像５００においてカウントした画素数の割合を算出し、各撮像装置２のずれとする。なお、ずれの算出方法は、これに限られない。

形状推定処理で用いた視体積交差法では、ボクセルをシルエット画像に投影し、全撮像装置２において被写体の領域（シルエット）内と判定されたボクセルだけが被写体の形状と推定される。つまり、被写体の領域と投影像とのずれが小さいほど、算出される割合は１．０に近く、反対に、そのずれが大きくなるほど、算出される割合は減少する。複数の撮像装置２全体のずれの統計値は、例えば、各撮像装置２において算出されるずれの平均値や、最大値・最小値を用いて表すことができる。

判定部１３０は、あらかじめユーザが設定した閾値と、複数の撮像装置２全体におけるずれの統計値と、を比較する。複数の撮像装置２全体のずれの統計値が閾値より小さい場合、その時刻の複数の撮像装置２のいずれかの撮像装置２において、パラメータの変化が生じていると判定し、Ｓ２６０の処理に進む。複数の撮像装置２全体のずれの統計値が閾値より大きい場合、その時刻の複数の撮像装置２のいずれかの撮像装置２において、パラメータの変化が生じていないと判定し、Ｓ２５０の処理に進む。

Ｓ２５０において、仮想視点画像生成部１４０は、複数の撮像装置２の撮像画像と、撮像装置２のパラメータと、３次元形状データと、指定された仮想視点情報に基づいて、仮想視点画像を生成する。生成された仮想視点画像は、表示装置３に出力される。なお、取得部１００により、前景画像を取得する場合は、撮像画像の代わりに前景画像を用いて、以下かの処理を行えばよい。

仮想視点画像を生成する方法について説明する。仮想視点画像生成部１４０は、前景仮想視点画像（被写体領域の仮想視点画像）を生成する処理と、背景仮想視点画像（被写体領域以外の仮想視点画像）を生成する処理を実行する。そして、生成した背景仮想視点画像に前景仮想視点画像を重ねることで仮想視点画像を生成する。

まず、仮想視点画像の前景仮想視点画像を生成する方法について説明する。前景仮想視点画像は、ボクセルを３次元点と仮定し、３次元点の色を算出し、色が付いたボクセルを既存のＣＧレンダリング手法によりレンダリングすることで生成できる。ボクセルに色を割り当てるために、まず、色を割り当てる点Ｐ（Ｘｗ）を画角内に含む撮像装置２において、撮像画像の座標系にＸｗを変換し、撮像画像上の座標Ｘｉが算出される。撮像装置２のシルエット画像における座標Ｘｉの画素値が２５５（シルエット内）であれば、撮像画像の画素を点Ｐの色とする。点Ｐが複数の撮像装置２において画角内である場合、各撮像装置２の撮像画像から画素値が取得され、例えば、それらの平均値を点Ｐの色とする。全ボクセルについて同じ処理を繰り返すことで３次元形状データを構成する全ボクセルに色を割り当てることができる。ただし、色を算出する方法はこれに限定されない。例えば、平均値ではなく、仮想視点から最も近い撮像装置２から取得された撮像画像の画素値を用いるなどの方法を用いても構わない。

次に、仮想視点画像の背景仮想視点画像を生成する方法について説明する。背景仮想視点画像を生成するために、競技場などの背景の３次元形状データが取得される。背景の３次元形状データは、競技場などのＣＧモデルを予め作成し、システム内に保存しておいたＣＧモデルが用いられる。ＣＧモデルを構成する各面の法線ベクトルと各撮像装置２の方向ベクトルを比較し、各面を画角内に収め、最も正対する撮像装置２が算出される。そして、この撮像装置２に面の頂点座標を投影し、面に貼るテクスチャ画像が生成され、既存のテクスチャマッピング手法でレンダリングすることで、背景仮想視点画像が生成される。このようにして得られた仮想視点画像の背景仮想視点画像上に前景仮想視点画像を重ねることで、仮想視点画像が生成される。

Ｓ２６０において、ずれ情報生成部１５０は、判定部１３０による検出結果に基づく情報（以下、ずれ情報という）を生成する。例えば、ずれ情報生成部１５０は、複数の撮像装置２のいずれかの撮像装置２においてパラメータが変化したことを示す情報を生成する。その情報は、表示装置３に出力される。ずれ情報としては、「撮像装置のパラメータ変化」、「ずれ発生」などのテキスト情報や、仮想視点画像と同じ画像サイズの枠情報などが挙げられる。ずれ情報は、撮像装置２のパラメータの修正を促すことを示す情報を含んでいてもよい。具体的には、ずれ情報は、撮像装置２のパラメータの算出を再度行うことを促したり、撮像装置２の位置と姿勢などの再調整を促したりする情報を含んでいてもよい。

Ｓ２７０において、仮想視点画像生成部１４０が、表示装置３に、生成した仮想視点画像を出力するか、または、ずれ情報生成部１５０が、表示装置３に、生成したずれ情報を出力する。出力された仮想視点画像またはずれ情報は、表示装置３により、不図示のディスプレイなどに表示される。なお、仮想視点画像とずれ情報は、共通の表示装置３に出力される例を示したが、それぞれ異なる表示装置３に出力されてもよい。また、仮想視点画像は、表示装置３以外に別の表示装置３に出力されてもよい。例えば、システムの管理者用の表示装置３には、仮想視点画像とずれ情報が出力され、システムの管理者用の表示装置３に出力される仮想視点画像は、視聴者用の表示装置や視聴者が所有するポータブル端末に出力されるようにしてもよい。この場合、視聴者用の表示装置や視聴者が所有するポータブル端末には、ずれ情報そのものではなくエラーを示す情報を出力するようにしてもよい。

そして、表示装置３は、ずれ情報が入力されていない場合は、仮想視点画像のみをディスプレイに表示する。表示装置３は、ずれ情報が入力された場合、ずれ情報を表示する。また、表示装置３は、ずれ情報のみを表示するのではなく、仮想視点画像上にずれ情報を重畳して表示してもよい。しかし、Ｓ２４０においてＹｅｓの場合、仮想視点画像生成処理が実行されていないので、表示装置３は、最新時刻の仮想視点画像が得られていない。この場合、１フレーム以上前に取得した仮想視点画像上にずれ情報を重畳して表示してもよい。または、表示装置３は、設定した枠情報を用いて仮想視点画像を囲うようにずれ情報を表示してもよい。

本実施形態により、撮像装置２のパラメータが校正時のパラメータから変化したことを認識することが容易になり、撮像装置２の再校正の必要性などを判断することができる。また、そのようなずれを検出することにより、画質の劣化が見込まれる仮想視点画像の表示を中断することができる。

上述した本実施形態では、複数の撮像装置２全体のずれの統計値に基づいて、仮想視点画像を生成するか、ずれ情報を生成するかを判定する例について示したが、これに限られない。複数の撮像装置２全体のずれの統計値ではなく、特定の撮像装置２において算出される投影像と被写体の領域のずれと、閾値とを比較し、その差分に応じて、仮想視点画像を生成するか、ずれ情報を生成するかを判定するようにしてもよい。また、次のように判定が行われるようにしてもよい。すなわち、まず、２以上の撮像装置２のそれぞれにおいて算出される投影像と被写体の領域のずれと、閾値とを比較する。そして、パラメータが変化していると考えらえる撮像装置２の台数をカウントし、その台数に応じて仮想視点画像を生成するか、ずれ情報を生成するかを判定する。

また、ずれ情報を生じる場合であっても、仮想視点画像を生成するようにしてもよい。その場合、例えば、図５のように、Ｓ２６０において、ずれ情報生成部１５０によりずれ情報が生成された後、Ｓ２５０において仮想視点画像を生成するようにしてもよい。そして、Ｓ２８０において、Ｓ２６０において生成されたずれ情報とＳ２５０で生成された仮想視点画像とが両方とも、表示装置３に出力されるようにしてもよい。この場合、表示装置３は、ずれ情報が入力されていない場合は、仮想視点画像のみをディスプレイに表示する。一方、ずれ情報と仮想視点画像とが両方とも入力された場合、表示装置３は、ずれ情報を仮想視点画像上に重畳する、もしくはＳ２５０で設定した枠情報を用いて仮想視点画像を囲うようにずれ情報を表示する。

また、図５におけるＳ２４０とＳ２５０とを入れ替えてもよい。この場合、Ｓ２６０を実行する場合であっても、すでに仮想視点画像が生成されているため、Ｓ２６０の後、Ｓ２８０に移り、ずれ情報と仮想視点画像とが表示装置３に出力される。なお、Ｓ２４０でＮｏの場合は、Ｓ２５０で生成された仮想視点画像が表示装置３に出力される。

また、上述した実施形態では、毎フレームで、Ｓ２３０とＳ２４０が実行される例を説明したが、Ｓ２３０とＳ２４０は、所定フレームごと、または所定時間ごとに実行されるようにしてもよい。Ｓ２３０とＳ２４０が実行されない場合、情報処理装置１は、Ｓ２００、Ｓ２１０、Ｓ２２０、Ｓ２５０、Ｓ２７０（又はＳ２８０）の順に処理を実行する。

また、一度、ずれが生じていると判定された場合、撮像装置２のパラメータの修正がなされない場合は、生成されたずれ情報を継続的に表示するようにしてもよい。ずれが生じていると判定された場合、その次以降のフレームにおいて、図２の動作フローは省略されてもよい。

また、表示装置３が複数の撮像装置２のパラメータの制御や設定を行う装置であってもよい。この場合、入力されたずれ情報に基づいて、自動的に撮像装置２のパラメータの修正を行うようにしてもよい。具体的には撮像装置２の位置や姿勢（向き）などが、初期の設定値に自動的に調整されるようにしてもよい。この構成によれば、ユーザが手動で初期の設定値に撮像装置２の位置や姿勢（向き）などを調整する必要がなく、簡便に撮像装置２のパラメータを初期のパラメータに修正することができる。

（実施形態２）
本実施形態では、複数の撮像装置に含まれる複数の撮像装置２の中でパラメータが変化した撮像装置２の台数を算出し、パラメータが変化した撮像装置２の識別情報を表示する例を述べる。また、パラメータが変化した撮像装置２のパラメータの種類を判別し、表示する例と、撮像装置２のパラメータの補正量を算出し、その補正量に基づき仮想視点画像を生成する例について述べる。

以下、本実施形態における情報処理装置４の構成について、図６を参照しながら説明する。情報処理装置４は、取得部１００と、形状推定部６１０、設定部６１１、投影像生成部６２０、判定部６３０、ずれ補正量算出部６３５、仮想視点画像生成部６４０、ずれ情報生成部６５０を有する。以下では、実施形態１とは異なる箇所について説明し、実施形態１と共通する箇所については説明を省略する。なお、情報処理装置４は、図１５で示すハードウェア構成で表されるため、その説明は省略する。

形状推定部６１０は、実施形態１における形状推定部１１０と同様に複数の撮像画像（又は前景画像）と撮像装置２のパラメータとに基づいて被写体の３次元形状を推定する。ただし、実施形態１における形状推定では、３次元空間を構成するボクセルが全撮像装置２のシルエット内にあった場合、被写体の３次元形状データを構成するボクセルであると推定する方式であった。本実施形態では、ボクセルがシルエット内に投影された数を得票数としてカウントする方式で、被写体の３次元形状を推定する。この方式では、得票数が閾値を超えたボクセルを、３次元形状データを構成するボクセルとする方式である。この閾値は、設定部６１１において、形状推定パラメータとして設定される。投影像生成部６２０は、実施形態１における投影像生成部１２０と同様に撮像装置２のパラメータと３次元形状データとに基づいて複数の撮像装置２のそれぞれの投影像を生成する。

判定部６３０は、撮像装置２のずれを評価し、形状推定パラメータが設定されている場合、パラメータが変化した撮像装置２を判定する。そして、パラメータの変化の発生に応じて、判定部６３０は、仮想視点画像を生成するか、仮想視点画像の生成を中止し、ずれ情報を生成するかを判定する。

ずれ補正量算出部６３５は、算出された、投影像とシルエット画像における被写体の領域とのずれに基づいて、撮像装置２の外部パラメータと、内部パラメータのいずれに生じているのか、また両方に生じているのかを判別する。また、ずれ補正量算出部６３５は、算出されたずれに基づいて、ずれ補正量を算出する。

仮想視点画像生成部６４０は、投影像とシルエット画像における被写体の領域とのずれが生じている場合、算出されたずれ補正量を適用しながら、仮想視点画像を生成する。仮想視点画像を生成する方法は、実施形態１と同様である。

ずれ情報生成部６５０は、ずれが生じたことだけではなく、ずれた撮像装置２の情報やずれが発生した撮像装置２のパラメータの種類の情報を生成する。

以下に、各部の詳細を、図７に示すフローチャートに沿って説明する。Ｓ７００、Ｓ７１０、Ｓ７２０、Ｓ７３０、Ｓ７４０、Ｓ７５０、Ｓ７６０、Ｓ７７０は実施形態１におけるＳ２００、Ｓ２１０、Ｓ２２０、Ｓ２３０、Ｓ２４０、Ｓ２５０、Ｓ２６０の処理と同様であるので説明を省略する。

Ｓ７１５において、設定部６１１は、不図示のユーザから、予めキーボードなどの入力デバイスを介して、形状推定処理で用いる形状推定パラメータの入力を受け付け、そのパラメータを設定する。設定されたパラメータは、形状推定部６１０に出力される。例えば、パラメータが２台と設定されていれば、２台以上の撮像装置２で被写体の領域（シルエット）内と判定されたボクセルが被写体形状の一部であると推定される。実施形態１における方式の形状推定処理は、このパラメータが全撮像装置２の台数と同じである場合の処理とも言える。

Ｓ７２０において、形状推定部６１０は、実施形態１のＳ２２０と同様に、複数の撮像画像（又は前景画像）と、各撮像装置２のパラメータとに加え、形状推定パラメータにも基づいて、被写体の３次元形状を推定する。形状推定部６１０は、図８に示すボクセル８００を各撮像装置２に投影し、各撮像装置２のシルエット内に投影される回数（＝得票数）をカウントする。図８におけるボクセル８００の値（得票数）は、ボクセルがシルエット画像内の被写体の領域に投影されたシルエット画像の数を示す。つまり、このボクセル値が３である場合は、ボクセルが３つの撮像装置のシルエット内に投影されたことを示す。例えば、図３（ａ）に示したシルエット画像（被写体の領域と同じ）の場合、撮像装置Ａ、Ｂにだけ投影されるボクセル８００は、得票数が２となり、ボクセル値が２となる。一方、撮像装置Ａ、Ｂ、Ｃすべてに投影されるボクセル８００は、得票数が３となり、ボクセル値も３となる。形状推定パラメータが２と設定されている場合、形状推定部６１０は、ボクセル８００のうち得票数が２以上のボクセルが、被写体の３次元形状データを構成するボクセルとする。つまり、ボクセル値が２以上のボクセルは残し、１以下のボクセルを削除することにより、３次元形状データが生成される。形状推定の結果である３次元形状データは、仮想視点画像生成部６４０に出力される。

Ｓ７３０において、投影像生成部６２０は、３次元形状データと複数の撮像装置２のパラメータに基づいて、投影像を生成する。この投影像は、判定部６３０とずれ補正量算出部６３５に出力される。投影像を生成する処理は、実施形態１のＳ２３０と同様である。しかし、形状推定パラメータが２以上に設定された場合、３次元形状データの撮像装置Ａ、Ｂ、Ｃへの投影像は、図４とは異なる図９（ａ）に示すような投影像９００が得られる。なお、図９（ａ）において、グレーでハッチングされている領域が投影像である。また、図９（ａ）には、各撮像装置のシルエット画像も重ねて示している。図９（ａ）で示すように、撮像装置Ａ、Ｂは、投影像９００とシルエット画像３２０における被写体の領域とは概ねに一致している。一方で、撮像装置Ｃについては、投影像９００とシルエット画像３２０における被写体の領域は、ずれが生じている。なお、図９（ａ）においてもシルエット画像３２０の全域に被写体の領域が存在する例を示す。

Ｓ７３５において、判定部６３０は、形状推定パラメータの設定値を確認する。パラメータが全撮像装置２の台数と同じ値に設定されている場合（Ｓ７３５でＹｅｓ）、Ｓ７４０に進み、実施形態１と同様の処理フローとなる。それ以外の場合（Ｓ７３５でＮｏ）、Ｓ７８０に進む。

Ｓ７８０において、判定部６３０は、被写体の投影像とシルエット画像における被写体の領域を比較することで、各撮像装置２において、投影像とシルエット画像における被写体の領域との間でずれが生じているか否かを判定する。そして、判定部６３０は、ずれが生じている撮像装置２の台数をカウントする。実施形態１では、複数の撮像装置２全体でずれが生じているか否かを評価したが、本実施形態では撮像装置を１台ずつ判定する。

判定部６３０は、図９（ｂ）で示すように、投影像９００とシルエット画像３２０における被写体の領域との重複領域９１０を算出する。撮像装置Ａ、Ｂのように投影像９００とシルエット画像３２０における被写体の領域との間のずれが小さい場合、投影像９００と重複領域９１０の画素数は概ね一致する。しかし、撮像装置Ｃのように、投影像９００とシルエット画像３２０における被写体の領域との間のずれがある場合、投影像９００と重複領域９１０の画素数には差異が生じる。この差異がずれ判定閾値より小さい撮像装置をずれが生じている（パラメータが変化している）撮像装置とする。そして、そのずれが生じている撮像装置の台数をカウントし、ずれ台数とする。

Ｓ７８１において、判定部６３０は、ずれ台数が、ずれ許容台数を超えるかを判定する。ずれ台数がずれ許容台数を超える場合（Ｓ７８１でＹｅｓ）、Ｓ７５０に進む。ずれ台数がずれ許容台数以下である場合（Ｓ７８１でＮｏ）、Ｓ７８２に進む。ここで、ずれ許容台数は、全撮像装置２の台数から、形状推定パラメータの値を引いた台数である。ずれ台数と、ずれが生じている撮像装置２の番号（撮像装置番号）は、ずれ情報生成部６５０とずれ補正量算出部６３５に出力される。なお、いずれの撮像装置２において投影像９００とシルエット画像３２０における被写体の領域の間でずれが生じていない場合は、ずれ台数が０である情報、またはその旨を示す情報がずれ情報生成部６５０に出力される。

Ｓ７８２において、ずれ補正量算出部６３５は、ずれの原因となる撮像装置２のパラメータが、外部パラメータか、内部パラメータ（歪含む）のいずれであるのか、または両方であるのかを判別する。その判別の結果は、ずれ情報生成部６５０に出力される。なお、ずれ台数が０の場合、本ステップは必要ではなく、補正量を０として、Ｓ７８５へ進んでもよい。

ずれ補正量算出部６３５が、ずれの原因である撮像装置２のパラメータの種類を判定する方法について説明する。図１０（ａ）は、外部パラメータが校正時から変化した場合のシルエット画像１０００（被写体の領域と同じ）と投影像とのずれを示す図である。撮像装置２の位置や姿勢を表す外部パラメータが変化した場合、画像全体にわたってシルエット画像１０００における被写体の領域と投影像１０１０が並行移動するようにずれる。一方、図１０（ｂ）は、内部パラメータ校正時から変化した場合のシルエット画像１０００における被写体の領域と投影像とのずれを示す図である。画像の焦点距離や画像中心を表す内部パラメータが変化した場合、シルエット画像１１００（被写体の領域と同じ）内に投影像１１０１がくずれた形で可視化される。このため、画像処理を用いて、変化した撮像装置２のパラメータの種類を判別することができる。

より具体的な判別方法は以下のとおりである。まず、ずれ補正量算出部６３５は、シルエット画像を既存のラベリング手法により各領域に分割し、領域毎に外接矩形を算出する。次に、投影像もラベリングし、各領域に分割する。投影像の各領域の外接矩形とシルエット画像の外接矩形で最も近いもの同士を同じ被写体を示す領域として対応付ける。次に、対応付けた各領域の外接矩形の４頂点において、投影像からシルエット画像への差分ベクトルを計算する。各頂点の差分ベクトルの内積を計算する。この内積が正の値の場合、ずれが１方向を向いていると判断し、外部パラメータの変化と判定する。各領域において、４頂点の差分ベクトルの内積に負の値が混入する場合、差分ベクトルが領域の内側を向いていると判断し、内部パラメータのずれと判別する。判別の結果は、ずれ情報生成部６５０に出力される。

Ｓ７８３において、ずれ補正量算出部６３５は、検出されたずれに、内部パラメータの変化によるずれを含むかどうかを判定する。内部パラメータの変化によるずれを含まない場合（Ｓ７８３でＹｅｓ）、Ｓ７８５に進む。一方、内部パラメータの変化によるずれを含まない場合（Ｓ７８３でＮｏ）、Ｓ７８４に進む。なお、内部パラメータの変化によるずれを含むとは、内部パラメータの変化によるずれと、内部パラメータの変化によるずれに加え外部パラメータの変化によるずれを含む場合をいう。つまり、外部パラメータの変化によるずれしか含まれない場合は、Ｓ７８４に進む。

Ｓ７８４において、ずれ補正量算出部６３５は、パラメータが変化した撮像装置２のずれ補正量を算出する。具体的には、ずれ補正量算出部６３５は、ずれの原因が外部パラメータの場合、各領域で算出した差分ベクトルを基に、ずれ補正量も算出する。例えば、各領域の４頂点で算出した差分ベクトルの平均値を投影像からシルエット画像における被写体の領域へのずれ補正量として算出してもよい。もしくは、ずれ補正量算出部６３５は、各領域のベクトルの最大値を算出し、補正量としてもよい。これらの補正量は、仮想視点画像生成部６４０に出力される。

Ｓ７８５において、ずれ台数が１以上の場合、ずれ情報生成部６５０は、判定部６３０による検出結果に基づく情報を、ずれ情報として生成する。例えば、ずれ情報生成部６５０は、パラメータが変化した撮像装置２を示す情報や、パラメータが変化した撮像装置の台数を示す情報などを生成してもよい。さらに具体的には、パラメータが変化した撮像装置２を示す情報として、その撮像装置２の識別番号をディスプレイなどに表示できるように、ずれ情報として生成してもよい。具体的には、ずれが生じている撮像装置２の識別番号をテキスト情報として表示できるずれ情報に変換してもよい。

また、ずれ情報生成部６５０は、ずれ情報として、ずれが生じた原因を示す情報を生成してもよい。例えば、ずれ情報生成部６５０は、ずれ補正量算出部６３５が判別した、変化したパラメータの種類を示す情報を生成してもよい。つまり、ずれ情報生成部６５０は、ずれが生じる原因が外部パラメータにあるのか「内部パラメータにあるのか、又はその両方であるのかを示す情報を生成してもよい。また、ずれ情報は、テキスト情報などが挙げられる。

また、ずれ情報は、撮像装置２のパラメータの修正を促すことを示す情報を含んでいてもよい。具体的には、ずれ情報は、撮像装置２のパラメータの算出を再度行うことを促したり、撮像装置２の位置と姿勢などの再調整を促したりする情報を含んでいてもよい。

ずれ情報は、表示装置３に出力される。なお、ずれ台数が０である場合は、Ｓ７８５の処理は実行されない。また、Ｓ７８４で、ずれ補正量が算出された場合は、Ｓ７８５の処理が省略されてもよい。

Ｓ７８６において、仮想視点画像生成部６４０は、ずれ補正量算出部６３５から、ずれが生じた撮像装置２の識別番号と、ずれ補正量が入力された場合、その補正量を考慮しながら仮想視点画像を生成する。つまり、仮想視点画像生成部６４０は、ずれが生じる原因が外部パラメータの変化のみにある場合、補正量を考慮しながら仮想視点画像を生成する。ずれが生じる原因が内部パラメータの変化を含む場合は、Ｓ７８６は省略される。

仮想視点画像生成部６４０が実行する処理について説明する。ボクセルの色の割り当てにおいて、世界座標系で表現された３次元座標を各撮像装置２の画像座標系へ変換する処理までは、実施形態１のＳ２６０と同様である。撮像装置２が、パラメータが変化した撮像装置２である場合、本実施形態では、さらに、算出された画像座標の（ｘ，ｙ）にずれ補正量として入力された補正ベクトル（ｖｘ，ｖｙ）を加算することで、補正後の座標を取得する。そして、仮想視点画像生成部６４０は、撮像画像における補正後の座標に対応する画素値に基づいて、仮想視点画像を生成する。仮想視点画像生成に関する他の処理については、Ｓ２６０と同じである。

本実施形態により、ユーザは、パラメータが変化した撮像装置２を容易に認識することができる。さらに、一部の撮像装置２のパラメータを補正する補正量を取得することができ、撮像装置２の位置や姿勢を再調整しなくても仮想視点画像を生成することができる。つまり、３次元形状データを再生成する処理時間を必要としないため、短時間で仮想視点画像の画質を改善することができる。

また、表示装置３が複数の撮像装置２のパラメータの制御や設定を行う装置であってもよい。この場合、入力されたずれ情報に基づいて、自動的に撮像装置２のパラメータの修正を行うようにしてもよい。具体的には撮像装置２の位置や姿勢（向き）などが、初期の設定値に自動的に調整されるようにしてもよい。この構成によれば、ユーザが手動で初期の設定値に撮像装置２の位置や姿勢（向き）などを調整する必要がなく、簡便に撮像装置２のパラメータを初期のパラメータに修正することができる。

なお、上記の実施形態では、ずれ情報を表示装置３で表示する場合を例にとって説明したが、これに限定されず、例えば、仮想視点画像のデータに付与したり、記録部（不図示）に記録したりするようにしてもよい。

また、本実施形態において、実施形態１と適宜組み合わせることも可能である。

（実施形態３）
本実施形態では、ずれ台数が実施形態２で述べたずれ許容台数よりも大きい場合、形状推定パラメータを操作して、次の時刻、もしくは同一フレームを再処理し、パラメータが変化した撮像装置２の影響を除いた形状推定結果を取得する例を述べる。

図１１は、本実施形態における情報処理装置５の構成を示す。情報処理装置５の各部の構成は、実施形態２と同様である。ただし、判定部６３０で検出したずれ情報を形状推定処理にフィードバックできるように、判定部６３０から形状推定部６１０と設定部６１１への接続が追加される。なお、情報処理装置５は、図１５で示すハードウェア構成で表されるため、その説明は省略する。

図１２は、本実施形態における情報処理装置５が実行する処理フローを示す。ただし、実施形態２との差異を中心に説明し、実施形態２と同様のステップについては説明を省略する。Ｓ１２００～Ｓ１２１０は、実施形態２におけるＳ７００～Ｓ７１０同様であるため、説明を省略する。

Ｓ１２１５において、設定部６１１は、不図示のユーザから、予めキーボードなどの入力デバイスを介して、形状推定処理で用いる形状推定パラメータの入力を受け付け、そのパラメータを設定する。ただし、設定部６１１は、後述する再設定の指示を受けると、その指示に従い、形状推定パラメータを変更する。

ここで、図１３（ａ）を例に、形状推定パラメータ等の設定値の変更について説明する。図１３（ａ）は、撮像に用いる撮像装置Ａ～Ｄの４台のうち、撮像装置Ｃ、Ｄの２台において、画角１３１０とシルエット画像１３２０（被写体の領域と同じ）がずれていることを示す図である。この場合、Ｓ１２２０の形状推定処理で生成される３次元形状データは、図１３（ｂ）に示すボクセル１３３０の数値である得票数が３以上のボクセルのみで表されるデータである。ここで、形状推定パラメータを３とすると、図１４（ａ）のように、各撮像装置２の投影像１４００とシルエット画像１４２０における被写体の領域との重畳領域１４１０が示される。なお、Ｓ１２２０～Ｓ１２３５については、実施形態２におけるＳ７２０～Ｓ７３５と同様であるため、説明を省略する。

Ｓ１２８０において、判定部６３０は、ずれ台数を算出する。図１４（ａ）から、ずれ台数は、４台という結果が得られる。

そして、Ｓ１２８１において、ずれ許容台数を１台とした場合、判定部６３０は、ずれ台数がずれ許容台数を超えると判定する。つまり、Ｓ１２８１でＹｅｓとなった場合、Ｓ１２８７に進む。

Ｓ１２８７において、判定部６３０は、形状推定パラメータの再設定を行う。つまり、形状推定パラメータを１減算するように、設定部６１１に指示を出す。これを受けて、設定部６１１は、形状推定パラメータを１減算する。この減算された形状推定パラメータは、次以降のフレームにおいて、図１２の処理を情報処理装置が実行する際に、利用される。

そして、Ｓ１２５０、Ｓ１２７０の処理は、実施形態２と同様なので、説明を省略する。また、Ｓ１２４０、Ｓ１２６０、Ｓ１２８０～Ｓ１２８６の処理は、実施形態２のＳ７４０、Ｓ７６０、Ｓ７８０～Ｓ７８６と同様の処理のため、説明を省略する。

Ｓ１２８７を経て再設定された形状推定パラメータは、２となる。つまり、次以降のＳ１２１５において設定される形状推定パラメータは、２となる。この場合、Ｓ１２２０の形状推定処理で生成される３次元形状データは、図１３（ｂ）に示すボクセル１３３０の数値である得票数が２以上のボクセルのみで表されるデータである。つまり、各撮像装置２の投影像１５００とシルエット画像１５２０（被写体の領域と同じ）との重畳領域１５１０は、図１４（ｂ）で示すような結果となる。撮像装置Ａ、Ｂは、投影像１５００とシルエット画像１５２０における被写体の領域との間のずれが生じなくなる。この場合、Ｓ１２８１において、判定部６３０は、ずれ台数がずれ許容台数を超えないと判定する。そしてＳ１２８２以降の処理に進む。

また、判定部６３０は、形状推定部６１０へ、撮像装置Ｃ、Ｄが、パラメータが変化した撮像装置であるという情報を出力するようにしてもよい。形状推定部６１０は、パラメータが変化した撮像装置２を使用せずに、視体積交差法による形状推定を実施するようにしてもよい。このようにすることで、ずれが生じなかった時に全撮像装置２を用いて形状推定した結果とは異なるが、パラメータが変化した撮像装置２による形状劣化の影響を取り除いた推定結果を得ることができる。

また、本実施形態では、形状推定パラメータの再設定後に、同時刻の複数の撮像画像に基づいて３次元形状データを生成する再処理を行うようにしてもよい。

また、本実施形態において、実施形態１又は２と適宜組み合わせることも可能である。

（実施形態４）
上述した実施形態は、情報処理装置が形状推定部と仮想視点画像生成部とを有する構成であったが、本実施形態では、情報処理装置が形状推定部と仮想視点画像生成部とを有さない構成について説明する。図１６は、本実施形態の画像処理システムを示す図である。本実施形態の画像処理システムは、形状推定装置１６１０と、仮想視点画像生成装置１６４０と、情報処理装置６と、を有する。さらに、画像処理システムは、複数の撮像装置２と表示装置３とを有していてもよい。なお、情報処理装置６、形状推定装置１６１０、仮想視点画像生成装置１６４０のそれぞれは、図１５で示すハードウェア構成で表されるため、その説明は省略する。

ここで、形状推定装置１６１０は、上述した取得部と形状推定部の機能を有し、仮想視点画像生成装置１６４０は、上述した仮想視点画像生成部の機能を有する。

また、情報処理装置６は、取得部１６００、投影像生成部１６２０、判定部１６３０、ずれ情報生成部１６５０を有する。

本実施形態における画像処理システムの処理については、図２と同様である。ただし、動作主体が異なる。具体的には、Ｓ２００～Ｓ２２０は、形状推定装置１６１０により実行される。情報処理装置６は、Ｓ２３０、Ｓ２４０、Ｓ２６０を実行する。Ｓ２５０は仮想視点画像生成装置１６４０により実行される。なお、Ｓ２７０は、仮想視点画像生成装置１６４０により実行される場合もあれば、情報処理装置６により実行される場合もある。

情報処理装置６で実行されるＳ２３０、Ｓ２４０、Ｓ２６０の処理の主体は、以下のとおりである。すなわち。Ｓ２３０は、投影像生成部１６２０により実行される。Ｓ２４０は、判定部１６３０により実行される。Ｓ２６０は、ずれ情報生成部１６５０により実行される。

なお、判定部１６３０は、検出結果に応じて、仮想視点画像を生成するか否かを判定する。また、例えば、図５で示すように、ずれ情報が生成されても、仮想視点画像の生成が行われる場合には、ずれ情報生成部１６５０から仮想視点画像生成装置１６４０にずれ情報が出力されてもよい。

また、本実施形態において、実施形態１乃至３の形態と適宜組み合わせることも可能である。

（その他の実施形態）
上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

また、本発明の目的は、以下でも達成される。前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給する。そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、以下の処理によって前述した実施形態の機能が実現される場合も含まれる。コンピュータが読出したプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行う。

さらに、以下の処理によって前述した実施形態の機能が実現される場合も含まれる。まず記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。次にそのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行う。

１ 情報処理装置
１００ 取得部
１３０ 判定部
１５０ ずれ情報生成部

Claims (18)

1. 複数の撮像装置による撮像に基づく複数の画像を取得する第１の取得手段と、
   前記複数の画像と、前記複数の撮像装置の前記撮像の時点より前の時点における状態とに基づいて生成される３次元形状データを取得する第２の取得手段と、
   前記第１の取得手段により取得された複数の画像と、前記第２の取得手段により取得された３次元形状データとに基づいて、前記複数の撮像装置のいずれかの撮像装置の前記撮像の時点における状態が前記撮像の時点より前の時点における状態と異なることを検出する検出手段と、
   前記検出手段による検出結果に基づく情報を出力する出力手段と、を有する情報処理装置。
2. 前記複数の撮像装置の前記撮像の時点より前の時点における状態を取得する第３の取得手段をさらに有し、
   前記第３の取得手段により取得された状態と、前記第２の取得手段により取得された３次元形状データに基づいて、前記複数の撮像装置のそれぞれに対応する被写体の投影像を生成する生成手段を、さらに有することを特徴とする請求項１に記載の情報処理装置。
3. 前記検出手段は、前記生成手段により生成された被写体の投影像と、前記第１の取得手段により取得された画像における被写体の領域とに基づいて、前記複数の撮像装置のいずれかの撮像装置の前記撮像の時点における状態が前記撮像の時点より前の時点における状態と異なることを検出することを特徴とする請求項２に記載の情報処理装置。
4. 前記検出手段は、撮像装置ごとに、前記生成手段により生成された被写体の投影像と、前記第１の取得手段により取得された画像における被写体の領域とを比較することにより、前記複数の撮像装置のいずれかの撮像装置の前記撮像の時点における状態が前記撮像の時点より前の時点における状態と異なることを検出することを特徴とする請求項３に記載の情報処理装置。
5. 前記検出手段は、前記生成手段により生成された被写体の投影像と、前記第１の取得手段により取得された画像における被写体の領域とを比較した結果と、閾値とに基づいて、前記複数の撮像装置のいずれかの撮像装置の前記撮像の時点における状態が前記撮像の時点より前の時点における状態と異なることを検出することを特徴とする請求項４に記載の情報処理装置。
6. 前記検出結果に基づく情報は、前記生成手段により生成された被写体の投影像と、前記第１の取得手段により取得された画像における被写体の領域とのずれに基づく情報であることを特徴とする請求項５に記載の情報処理装置。
7. 前記ずれは、前記第１の取得手段により取得された画像における被写体の領域に対する前記生成手段により生成された被写体の投影像の割合で表されることを特徴とする請求項６に記載の情報処理装置。
8. 前記ずれに基づいて、前記撮像の時点における状態と前記撮像の時点より前の時点における状態とが異なる撮像装置の状態の補正量を算出する算出手段をさらに有することを特徴とする請求項６又は７に記載の情報処理装置。
9. 前記検出結果に基づく情報は、前記複数の撮像装置のいずれかの撮像装置の前記撮像の時点における状態が前記撮像の時点より前の時点における状態と異なることを示す情報を含むことを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
10. 前記検出結果に基づく情報は、前記撮像の時点における状態と前記撮像の時点より前の時点における状態とが異なる撮像装置を示す情報を含むことを特徴とする請求項１乃至９の何れか１項に記載の情報処理装置。
11. 前記検出結果に基づく情報は、前記撮像の時点における状態と前記撮像の時点より前の時点における状態とが異なる撮像装置の台数を示す情報を含むことを特徴とする請求項１乃至１０の何れか１項に記載の情報処理装置。
12. 前記検出結果に基づく情報は、変化した状態の種類を示す情報を含むことを特徴とする請求項１乃至１１の何れか１項に記載の情報処理装置。
13. 前記検出結果に基づく情報は、撮像装置の状態の修正を促すことを示す情報を含むことを特徴とする請求項１乃至１２の何れか１項に記載の情報処理装置。
14. 撮像装置の前記撮像の時点より前の時点における状態を取得する第３の取得手段をさらに有することを特徴とする請求項１に記載の情報処理装置。
15. 前記撮像の時点より前の時点における状態は、前記複数の撮像装置による撮像の事前準備の段階の状態であることを特徴とする請求項１乃至１４の何れか１項に記載の情報処理装置。
16. 撮像装置の前記撮像の時点より前の時点における状態を取得する第３の取得手段をさらに有し、
    前記複数の撮像装置による撮像の事前準備の段階の状態が記憶された記憶装置から、前記複数の撮像装置による撮像の事前準備の段階の状態を取得することを特徴とする請求項１５に記載の情報処理装置。
17. 複数の撮像装置による撮像に基づく複数の画像を取得する第１の取得工程と、
    前記複数の画像と、前記複数の撮像装置の前記撮像の時点より前の時点における状態とに基づいて生成される３次元形状データを取得する第２の取得工程と、
    前記第１の取得工程において取得された複数の画像と、前記第２の取得工程において取得された３次元形状データとに基づいて、前記複数の撮像装置のいずれかの撮像装置の前記撮像の時点における状態が前記撮像の時点より前の時点における状態と異なることを検出する検出工程と、
    前記検出工程において検出結果に基づく情報を出力する出力工程と、を有する情報処理方法。
18. コンピュータに、請求項１乃至１３の何れか１項に記載の情報処理装置として機能させるためのプログラム。

Images