JP3593466B2 - 仮想視点画像生成方法およびその装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は，視点位置の異なる複数の画像と，その視点位置から見た被写体の奥行き情報を入力とし，実際にはカメラの置かれていない任意の視点位置から見た画像を出力する仮想視点画像生成方法およびその装置に関する。
【０００２】
【従来の技術】
従来，実写イメージをもとに撮像した位置とは異なる視点の画像を再構成する方法として，例えば「多視点映像から任意視点映像の生成」（信学技報，ＩＥ９６−１２１：９１−９８， １９９７．）に記載されている方法がある。この方法は，多視点画像から物体の奥行きマップを推定し，このマップを仮想的な視点の奥行きマップに変換した後，与えられた多視点画像を利用して仮想視点画像を生成する。
【０００３】
図１７は，前記の従来方法で用いる多眼カメラシステムのカメラ配置と仮想視点画像生成の概念を説明するための図である。図１７において，８１は基準カメラ，８２〜８５は参照カメラ，８６は仮想視点位置（生成する仮想視点画像の視点位置と視線方向）を示したものである。この方法では，基準カメラ８１で撮影した基準画像中のある点に対し，参照カメラ８２，８３，８４，８５で撮影した各参照画像のエピポーララインに沿ってマッチングウインドウを１画素ずつ移動させながらマッチングの尺度であるＳＳＤ（ｓｕｍ ｏｆ ｓｑｕａｒｅｄ−ｄｉｆｆｅｒｅｎｃｅ） を計算する。マッチングウインドウをｄだけ移動させたとき，４つの方向からＳＳＤの値が計算される。このうち，小さい方の２つの値を加算する。このような処理を探索範囲内にわたって行い，その最小値のところのｄを視差として求める。視差ｄと奥行きｚは，カメラの焦点距離ｆとカメラ間距離ｂと次式の関係がある。
【０００４】
ｚ＝ｂｆ／ｄ
この関係を用いて，基準カメラ８１のカメラ位置から見た奥行きマップを生成する。次にこの奥行きマップを仮想視点位置８６から見た奥行きマップに変換する。基準カメラ８１から観測できる領域は，同時にテクスチャマッピングを行う。視点の移動に伴い新たに生じた領域は，奥行き値を線形補間し，参照画像のテクスチャをマッピングして，仮想視点画像を生成する。
【０００５】
しかし，この従来方法では，使用する多眼画像の各画素について対応点を推定しなければならないため，基準カメラ８１と参照カメラ８２〜８５の間隔，すなわち基線長が制限される。仮想視点画像は，多視点画像からテクスチャマッピングにより生成されるので，自然な仮想視点画像が得られる仮想視点位置は，図１７の点線で示した範囲内に限られる。ゆえに，仮想視点を置くことのできる範囲が制限されるという問題がある。
【０００６】
このほかの従来技術として，例えば「Ｖｉｅｗ Ｇｅｎｅｒａｔｉｏｎ ｆｏｒ Ｔｈｒｅｅ−Ｄｉｍｅｎｔｉｏｎａｌ Ｓｃｅｎｅｓ ｆｒｏｍ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ」（ＩＥＥＥ Ｔｒａｎｓ． Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， ｖｏｌ．６ ｐｐ．５８４−５９８， Ａｐｒ．１９９７）に記載されているような方法がある。これは，ビデオカメラで撮影した一連の映像シークエンスをもとに，三次元空間における物体の位置および輝度の情報を取得し，これを再構成しようとする画像の視点に合わせて三次元空間に幾何変換し，さらに二次元平面に射影する方法である。
【０００７】
図１８は，この従来方法の撮影方法を幾何学的に示した図である。図１８において，８７は被写体，８８はビデオカメラ，８９はビデオカメラで撮影するときの水平な軌道である。この方法では，ビデオカメラ８８を手に持ち，軌道８９に沿ってビデオカメラ８８を移動しながら被写体８７を撮像した映像シークエンスを用いて，三次元空間における物体の位置および輝度の情報を取得する。
【０００８】
図１９は，図１８に示す方法により撮影した映像シークエンスに含まれる個々の映像フレームの位置関係を示している。図１９において，９１〜９５はビデオカメラ８８で撮影した映像フレームである。図１９に示すように，個々のフレームが視差像となるので，これらの画像間で対応点を抽出することにより，被写体の三次元空間における位置および輝度の情報が求められる。
【０００９】
この方法では，ビデオカメラを移動させて撮影した映像シークエンスから視差像を取得するため，静止物体については適用できるが，動物体については適用できないという問題がある。また，この方法は，被写体の三次元空間における位置情報をもとに三次元形状モデルを生成して，これにテクスチャマッピングする手法であるため，位置情報の誤差により，生成される仮想視点画像の不自然さが目立つという問題がある。さらに，この方法は，三次元形状モデルを生成するため，処理するデータ量が多く，リアルタイム処理に向かないという問題がある。
【００１０】
【発明が解決しようとする課題】
本発明は，上記問題点を解決するためのものである。本発明の目的は，生成可能な仮想視点画像の視点位置の範囲が狭いという制限を緩和し，比較的簡易な処理で動画像を含む自然で滑らかな仮想視点画像を生成できる仮想視点画像生成方法および装置を提供することにある。
【００１１】
【課題を解決するための手段】
本発明の前記目的を達成するための代表的な手段の概要を以下に簡単に説明する。
【００１２】
（１）任意の視点位置から見た画像を生成するための仮想視点画像生成方法において，
それぞれ異なる位置を視点とする複数の画像データを入力し，
前記入力された複数の画像データのそれぞれに対応して，該画像データの各画素について，前記それぞれ異なる視点位置から見た被写体までの奥行き値を保持する複数枚の奥行きマップを生成し，
前記複数枚の奥行きマップの中から，指定された仮想視点に最も近い視点位置から見た奥行きマップを含む２枚以上の奥行きマップを選択し，該選択された奥行きマップのうちの１枚をもとに，三次元空間内での視点位置を座標変換することにより，前記仮想視点から見た仮想視点奥行きマップを生成し，
前記仮想視点奥行きマップについて，前記１枚の奥行きマップの視点位置から見ると物体の影になって隠されているオクルージョン領域の奥行き値を，前記選択された奥行きマップのうち前記オクルージョン領域が隠されないような他の視点位置から見た奥行きマップのデータをもとに，三次元空間内での視点位置を座標変換することで補間処理し，
前記の方法を用いても補間できない仮想視点奥行きマップのオクルージョン領域の奥行き値を，その周囲の奥行き値を用いて補間処理し，
前記補間処理された仮想視点奥行きマップの奥行きの値の分布が滑らかでない部分を平滑化処理し，
前記平滑化処理された仮想視点奥行きマップに，該奥行きマップが持つ被写体の奥行き値に基づいて，前記入力された複数の画像データのうち視点位置が前記仮想視点に近い方の画像を優先してテクスチャマッピングすることで輝度と色度を描画することにより，前記仮想視点から見た画像を生成する
ことを特徴とするものである。
【００１３】
（２）前記（１）の目的を達成するための仮想視点画像生成装置として，
それぞれ異なる位置を視点とする複数の画像データを入力する画像データ入力手段と，
前記入力された複数の画像データのそれぞれに対応して，該画像データの各画素について，前記それぞれ異なる視点位置から見た被写体までの奥行き値を保持する複数枚の奥行きマップを生成する奥行きマップ生成手段と，
前記複数枚の奥行きマップの中から，指定された仮想視点に最も近い視点位置から見た奥行きマップを含む２枚以上の奥行きマップを選択し，該選択された奥行きマップのうちの１枚をもとに，三次元空間内での視点位置を座標変換することにより，前記仮想視点から見た仮想視点奥行きマップを生成する仮想視点奥行きマップ生成手段と，
前記仮想視点奥行きマップについて，前記１枚の奥行きマップの視点位置から見ると物体の影になって隠されているオクルージョン領域の奥行き値を，前記選択された奥行きマップのうち前記オクルージョン領域が隠されないような他の視点位置から見た奥行きマップのデータをもとに，三次元空間内での視点位置を座標変換することで補間処理する仮想視点奥行きマップ補正処理手段と，
前記補間処理された仮想視点奥行きマップの奥行き値の分布が滑らかでない部分を平滑化処理する平滑化処理手段と，
前記平滑化処理後の仮想視点奥行きマップに，該奥行きマップが持つ被写体の奥行き値に基づいて，前記入力された複数の画像データのうち視点位置が前記仮想視点に近い方の画像を優先してテクスチャマッピングすることで輝度と色度を描画することにより，前記仮想視点から見た画像を生成する仮想視点画像生成手段とを有し，
前記仮想視点奥行きマップ補正処理手段は，
前記補間処理によっても補間できないオクルージョン領域の奥行き値を，その周囲の奥行き値を用いて補間処理する仮想視点奥行きマップ補間処理手段を有する
ことを特徴とする。
【００１４】
（３）前記（２）の仮想視点画像生成装置において，奥行きマップ生成手段は，前記それぞれ異なる視点位置ごとに多視点画像データを入力し，該多視点画像データ間の対応点を抽出してステレオ法により奥行きを推定するものであることを特徴とする。
【００１５】
（４）前記（２）の仮想視点画像生成装置において，奥行きマップ生成手段は，レーザ光や画像パターンを照射することにより奥行きを推定するものであることを特徴とする。
【００１６】
（５）前記（２）の仮想視点画像生成装置において，画像データ入力手段は，カメラと鏡等を組み合わせることにより，１台のカメラから複数の視点位置における画像データを取得できるようなものであることを特徴とする。
【００１７】
すなわち，本発明においては，複数の視点から見た奥行きマップを同時に取得し，これらを統合して仮想視点位置から見た奥行きマップを生成することを特徴とする。
【００１８】
従来技術のように，多視点画像間の対応点を抽出して多視点画像間を補間する方法とは，本発明は，対応点抽出する多視点画像のカメラ位置の外側に仮想視点位置を置いても滑らかな仮想視点画像を生成できるという点で異なる。また，ビデオカメラを移動しながら視差像を撮像する方法とは，本発明は，動物体にも適用可能であり，明らかな三次元形状モデルを生成しないという点で異なる。
【００１９】
本発明の作用は，以下のとおりである。本発明では，複数の奥行きマップを統合して１枚の仮想視点の奥行きマップを生成するため，奥行きマップの生成に関与しない画像間については対応点を推定する必要がない。したがって，すべての多視点画像間の対応点が抽出されなくても，仮想視点画像を生成することができる。このため，多視点画像のカメラ間隔が離れている場合においても，滑らかな仮想視点画像を生成することができる。
【００２０】
本発明は，一方の視点から見えないオクルージョン領域の奥行きデータを他の視点から見た奥行きデータで補間して仮想視点奥行きマップを生成する手法であるため，１枚の奥行きマップから仮想視点奥行きマップを生成する手法と比較して，密な仮想視点奥行きマップを生成することができる。
【００２１】
また，本発明は，いったん仮想視点から見た奥行きマップを生成し，この仮想視点奥行きマップに多視点画像データをマッピングする手法であるため，三次元形状モデルにテクスチャマッピングを施す手法と比較して，より精度の低い奥行きマップからも，より滑らかな仮想視点画像を生成することができる。
【００２２】
また，本発明は，三次元形状モデルを生成しないため，仮想視点画像生成処理にかかるデータ量を低く抑えることができる。
【００２３】
【発明の実施の形態】
〔第１の実施の形態〕
図１は，本発明の第１の実施の形態による仮想視点画像生成装置の全体的な構成の概要を示す図である。図中，１０は被写体，２１〜２４，３１〜３４はカメラ，１００は仮想視点画像生成部，４０は画像表示装置を表す。
【００２４】
奥行きマップは，ステレオ法により，多眼カメラ２１〜２４により取得された多眼画像と多眼カメラ３１〜３４により取得された多眼画像から，それぞれ１枚ずつ合計２枚を取得する。これらの奥行きマップとカメラ２１〜２４，３１〜３４により取得された多眼画像を仮想視点画像生成部１００に入力し，仮想視点画像生成部１００で生成された仮想視点画像を画像表示装置４０に表示する。
【００２５】
図１では，４台のカメラから１枚の奥行きマップを取得する場合について示しているが，任意の台数のカメラから１枚の奥行きマップを取得してもよい。また，図１では，２ヶ所の視点位置から見た奥行きマップを取得する場合について説明したが，３ヶ所以上の視点位置から見た奥行きマップを取得してもよい。
【００２６】
以上により構成された仮想視点画像生成装置における処理動作を，図２を用いて説明する。図２は，図１に示す仮想視点画像生成装置の処理の流れを説明するためのブロック図である。図中，カメラ装置２０，３０は多視点画像を撮影するための上下左右のマトリックス状に配置された多眼のカメラ装置である。多視点画像入力部１０１は，カメラ装置２０，３０によって撮影された多視点画像を入力する。奥行き検出部１０２は，カメラ装置２０，３０のそれぞれの視点位置から見た被写体の奥行きデータを検出する。
【００２７】
視点位置指定部１０３は，生成しようとする仮想視点画像の視点位置を指定する手段である。奥行きマップ入力部１０４は，奥行き検出部１０２によって検出された奥行きデータを奥行きマップとして入力する。仮想視点位置入力部１０５は，視点位置指定部１０３によって指定された視点位置を入力する。カメラパラメータデータ入力部１０６は，多眼のカメラ装置２０，３０の位置や焦点距離等のカメラパラメータを入力する。仮想視点奥行きマップ生成部１０７は，奥行きマップ入力部１０４の奥行きマップと仮想視点位置入力部１０５の仮想視点位置データとカメラパラメータデータ入力部１０６のカメラパラメータデータをもとに仮想視点奥行きマップを生成する。
【００２８】
奥行きマップ補間処理部１０８は，仮想視点奥行きマップ生成部１０７で生成された仮想視点奥行きマップで欠落した部分を補間処理する。奥行きマップ平滑化処理部１０９は，奥行きマップ補間処理部１０８で補間処理された奥行きマップを平滑化処理する。仮想視点画像再構成部１１０は，多視点画像入力部１０１の多視点画像をもとに奥行きマップ平滑化処理部１０９で処理された仮想視点奥行きマップと仮想視点位置入力部１０５の仮想視点位置データとカメラパラメータデータ入力部１０６のカメラパラメータデータに基づいて，仮想視点画像を再構成する。画像表示部１１１は，仮想視点画像再構成部１１０によって構成された仮想視点画像を表示する。表示スクリーン４１は，仮想視点画像を表示させるための装置である。
【００２９】
奥行き検出部１０２には，例えば多眼のカメラ画像の対応点を抽出してステレオ法により奥行きを推定する装置を用いる。奥行き検出部１０２の動作を，図３を用いて詳細に説明する。図３は，多眼カメラシステムのカメラ配置と投影の概念を説明するための図である。
【００３０】
原点に基準カメラ５１を置き，その周りの一定の距離Ｌに４つの参照カメラ５２〜５５を置く。すべてのカメラの光軸は平行にする。また，すべてのカメラは同じ仕様のものを用い，仕様の違いはカメラの構成に応じて補正し，図３に示すような幾何学構成に補正する。図３の配置では，三次元空間の点Ｐ＝（Ｘ，Ｙ，Ｚ）はＸ−Ｙ平面から焦点距離ｆの距離にある基準画像上の点ｐ_０ ＝（ｕ_０ ，ｖ_０ ）に投影される。ここで，ｕ_０ ＝ｆＸ／Ｚ，ｖ_０ ＝ｆＹ／Ｚ，である。点Ｐはまた，参照カメラＣ_ｉ （ｉ＝１，２，３，４）の画像上の点ｐ_ｉ ＝（ｕ_ｉ ，ｖ_ｉ ）にも投影される。ここで，
ｕ_ｉ ＝ｆ（Ｘ−Ｄ_ｉ，ｘ ）／Ｚ ｖ_ｉ ＝ｆ（Ｙ−Ｄ_ｉ，ｙ ）／Ｚ
ただし，基線長ベクトルＤ_ｉ ＝（Ｄ_ｉ，ｘ ，Ｄ_ｉ，ｙ ）はそれぞれＤ_１ ＝（Ｌ，０），Ｄ_２ ＝（−Ｌ，０），Ｄ_３ ＝（０，Ｌ），Ｄ_４ ＝（０，−Ｌ）である。すべての参照カメラ５２〜５５と基準カメラ５１の基線長が等しい構成の下では，点Ｐの真の視差ｄ_ｉ は，すべてのｉに対して，
ｄ_ｉ ＝ｆＬ／Ｚ＝｜ｐ_ｉ −ｐ_０ ｜
であることから，視差を推定することによって奥行きが取得できる。視差から奥行きを求めるためには最低２台のカメラがあれば可能であるが，図３に示すようなカメラ構成を用いることにより，オクルージョンのために真の視差の推定が困難で奥行きを決定できないような場合を回避することができる。
【００３１】
次に，仮想視点奥行きマップ生成部１０７の動作をより詳細に説明する。奥行きマップは，ある視点位置から撮影された画像中の各画素について，カメラから被写体までの距離の値を保持するものである。いわば，通常の画像は画像面上の各画素に輝度と色度とが対応しているものであるのに対し，奥行きマップは，画像面上の各画素に奥行き値が対応しているものである。
【００３２】
仮想視点奥行きマップ生成部１０７では，奥行きマップ入力部１０４に保持されている奥行きマップと仮想視点位置入力部１０５の仮想視点位置データとカメラパラメータデータ入力部１０６のカメラパラメータデータに基づいて，仮想視点から見た奥行きマップを生成する。奥行きマップ入力部１０４に保持されている奥行きマップは，多視点画像を撮影した各視点位置から見た画像の各画素についての被写体の奥行き情報を持つものとする。
【００３３】
まず，仮想視点位置入力部１０５の仮想視点位置データとカメラパラメータデータ入力部１０６のカメラパラメータデータとにより，仮想視点位置に最も近い視点位置から見た奥行きマップを，奥行きマップ入力部１０４に保持されている奥行きマップの中から２枚以上選択する。
【００３４】
図４に，実画像を撮影した視点と仮想視点のカメラ座標系と投影画像面の座標系とを示す。選択された奥行きマップのうち任意の１枚を撮像したカメラ座標系を（Ｘ_１ ，Ｙ_１ ，Ｚ_１ ）^Ｔ ，仮想視点位置のカメラ座標系を（Ｘ_２ ，Ｙ_２ ，Ｚ_２ ）^Ｔ とする。前記奥行きマップ上の任意の点ｐ_ｉ ＝（ｕ_１ ，ｖ_１ ）に投影された三次元空間の点Ｐ＝（Ｘ_１ ，Ｙ_１ ，Ｚ_１ ）^Ｔ のＺ_１ が求められているとき，実視点の座標系から見た点ＰのＸ，Ｙ座標はそれぞれ
Ｘ_１ ＝Ｚ_１ ｕ_１ ／ｆ （式１）
Ｙ_１ ＝Ｚ′ｖ_１ ／ｆ （式２）
で与えられる。ここで，ｆはカメラの焦点距離である。
【００３５】
今，二つの座標系（Ｘ_１ ，Ｙ_１ ，Ｚ_１ ）^Ｔ と（Ｘ_２ ，Ｙ_２ ，Ｚ_２ ）^Ｔ とが，回転行列Ｒ_２１＝［ｒ_ｉｊ］∈Ｒ^３ｘ３ と並進行列Ｔ_２１＝（Δｘ，Δｙ，Δｚ）^Ｔ を用いて，
（Ｘ_２ ，Ｙ_２ ，Ｚ_２ ）^Ｔ ＝Ｒ_２１（Ｘ_１ ，Ｙ_１ ，Ｚ_１ ）^Ｔ ＋Ｔ_２１ （式３）
の関係で表わせるとする。（式３）より得られた奥行き値Ｚ_２ は，仮想視点座標系（Ｘ_２ ，Ｙ_２ ，Ｚ_２ ）^Ｔ で見た点Ｐの奥行き値である。点Ｐ＝（Ｘ_２ ，Ｙ_２ ，Ｚ_２ ）^Ｔ は，仮想視点奥行きマップ上の点ｐ_２ ＝（ｕ_２ ，ｖ_２ ）に投影される。（ｕ_２ ，ｖ_２ ）は，（式３）により得られたＸ_２ ，Ｙ_２ を用いて，次式により求められる。
【００３６】
ｕ_２ ＝ｆＸ_２ ／Ｚ_２ （式４）
ｖ_２ ＝ｆＹ_２ ／Ｚ_２ （式５）
したがって，仮想視点奥行きマップ上の点ｐ_２ ＝（ｕ_２ ，ｖ_２ ）の奥行き値をＺ_２ と決定できる。
【００３７】
以上の処理を，奥行きマップ中のすべての点（ｕ_１ ，ｖ_１ ）について繰り返し行い，選択された奥行きマップの保持する奥行きの値を，仮想視点から見た奥行きマップ中の画素の奥行き値に変換する。同様の処理を，選択されたすべての奥行きマップについて行うことにより，奥行き値の空白の少ない，密な仮想視点奥行きマップを作る。
【００３８】
次に，奥行きマップ補間処理部１０８と奥行きマップ平滑化処理部１０９について，図５を用いて説明する。図５（Ｂ）〜（Ｅ）は，図５（Ａ）に示す球を撮影した画像を走査線Ａ−Ｂで切断し，その走査線上の奥行きの値を縦軸に表したものである。
【００３９】
奥行きマップ補間処理部１０８では，仮想視点奥行きマップ生成部１０７で生成された（Ｂ）に示す仮想視点奥行きマップ中の，オクルージョンにより視差が推定できなかったために奥行き値を持たない画素６１の奥行き値を，奥行き値が既知であるような周囲の画素６２の奥行き値を用いて，局所的な領域内では奥行きは急激に変化しないという仮定の下，線形補間処理を行う。結果として，すべての画素の奥行き値を持つ（Ｃ）に示す仮想視点奥行きマップが生成される。
【００４０】
奥行きマップ平滑化処理部１０９では，奥行きマップ補間処理部１０８で処理された（Ｃ）に示す仮想視点奥行きマップの奥行き値の平滑化処理を行う。まず，仮想視点奥行きマップの走査線上で奥行きが急激に変化している画素６３の奥行き値を除去し，周囲の画素６４の奥行き値を用いて，局所的な領域内では奥行きは急激に変化しないという仮定の下，線形補間処理を行い，（Ｄ）に示すような仮想視点奥行きマップを生成する。さらに，被写体の表面を滑らかな曲面で近似するために，仮想視点奥行きマップ全体に対して平滑化処理を行い，（Ｅ）に示す仮想視点奥行きマップを得る。
【００４１】
平滑化処理には，例えば一般的な二次微分フィルタを用いることができる。このような被写体の表面を滑らかな曲面で近似する平滑化処理には，仮想視点画像にテクスチャをマッピングしたときの画質の低下を抑制する効果がある。
【００４２】
次に，仮想視点画像再構成部１１０について，図６を用いて説明する。仮想視点画像再構成部１１０は，カメラパラメータデータ入力部１０６のカメラパラメータデータと奥行きマップ平滑化処理部１０９の仮想視点奥行きマップのデータをもとに，多視点画像入力部１０１が入力した多視点画像のテクスチャをマッピングして，仮想視点位置入力部１０５の仮想視点位置から見た仮想視点画像を生成する。
【００４３】
仮想視点画像再構成部１１０で用いる座標変換は，仮想視点奥行きマップ生成部１０７で用いたものの逆変換に当たる。しかし，奥行きマップ補間処理部１０８と奥行きマップ平滑化処理部１０９での処理により，仮想視点奥行きマップの保持する奥行き値が変化しているため，もう一度新しい奥行き値を用いて座標変換を行う必要がある。
【００４４】
ここで，仮想視点奥行きマップの座標系を（Ｘ_２ ，Ｙ_２ ，Ｚ_２ ）^Ｔ ，多視点画像の中の任意の１枚の座標系を（Ｘ_３ ，Ｙ_３ ，Ｚ_３ ）^Ｔ とする。仮想視点奥行きマップ中の任意の点ｐ_２ ＝（ｕ_２ ，ｖ_２ ）の画素の奥行きがＺ_２ であるとき，この画素ｐ_２ ＝（ｕ_２ ，ｖ_２ ）に投影される被写体の三次元空間中の点Ｐ＝（Ｘ_２ ，Ｙ_２ ，Ｚ_２ ）^Ｔ の座標は，
Ｘ_２ ＝Ｚ_２ ｕ_２ ／ｆ （式６）
Ｙ_２ ＝Ｚ_２ ｖ_２ ／ｆ （式７）
で与えられる。ここで，ｆはカメラの焦点距離である。
【００４５】
今，二つの座標系（Ｘ_２ ，Ｙ_２ ，Ｚ_２ ）^Ｔ と（Ｘ_３ ，Ｙ_３ ，Ｚ_３ ）^Ｔ とが，回転行列Ｒ_３２＝［ｒ_ｉｊ］∈Ｒ^３ｘ３ と並進行列Ｔ_３２＝（Δｘ，Δｙ，Δｚ）^Ｔ を用いて，
（Ｘ_３ ，Ｙ_３ ，Ｚ_３ ）^Ｔ ＝Ｒ_３２（Ｘ_２ ，Ｙ_２ ，Ｚ_２ ）^Ｔ ＋Ｔ_３２ （式８）
の関係で表せるとする。（式６），（式７）を（式８）に代入すると，（Ｘ_３ ，Ｙ_３ ，Ｚ_３ ）^Ｔ 系で見た，仮想視点画像中の点（ｕ_２ ，ｖ_２ ）に投影される被写体の三次元空間中の点Ｐ＝（Ｘ_３ ，Ｙ_３ ，Ｚ_３ ）^Ｔ が計算される。点Ｐは，実画像上の点ｐ_３ ＝（ｕ_３ ，ｖ_３ ）に投影される。（ｕ_３ ，ｖ_３ ）は，（式８）により得られたＸ_３ ，Ｙ_３ を用いて次式により計算することができる。
【００４６】
ｕ_３ ＝ｆＸ_３ ′／Ｚ_３ （式９）
ｖ_３ ＝ｆＹ_３ ′／Ｚ_３ （式１０）
この（式９），（式１０）により計算された多視点画像中の点（ｕ_３ ，ｖ_３ ）の画素の輝度値と色度値を仮想視点画像中の点（ｕ_２ ，ｖ_２ ）に描画する。この処理を多視点画像中のすべての点について繰り返し行うことで，仮想視点位置入力部１０５の視点位置から見た仮想視点画像が生成される。
【００４７】
〔第２の実施の形態〕
次に，本発明の第２の実施の形態について，図７を用いて説明する。図７は，第２の実施の形態による仮想視点画像生成装置の全体的な構成の概要を示す図である。図７中，２２１，２３１は奥行き検出器，２２０，２３０はカメラ，１０は被写体，２００は仮想視点画像生成部，２４０は画像表示装置を表す。
【００４８】
奥行き検出器２２１，２３１は，レーザビームや画像パターンを照射することにより，能動的に被写体の奥行きを取得する装置である。このような奥行き検出器として，例えばレーザレンジファインダを用いることができる。奥行き検出器２２１，２３１により取得された奥行きマップと，カメラ２２０，２３０により取得された多視点画像を仮想視点画像生成部２００に入力し，仮想視点画像生成部２００で生成された仮想視点画像を，画像表示装置２４０に表示する。
【００４９】
図７では，奥行き検出器２２１，２３１とカメラ２２０，２３０を別個の装置として説明したが，一つの装置で奥行きマップと画像が同時に取得できるような装置を用いてもよい。このほか，奥行き検出器２２１，２３１には，カメラ２２０，２３０により撮影された画像の各画素についての奥行き情報を検出することができるいかなる装置でも用いることができる。また，図７では，２ヶ所の視点位置から見た奥行きマップを取得する場合について説明したが，３ヶ所以上の視点位置から見た奥行きマップを取得してもよい。
【００５０】
〔第３の実施の形態〕
次に，本発明の第３の実施の形態について，図８を用いて説明する。図８は，本実施の形態で用いるカメラ装置の構成を示す図である。
【００５１】
本実施の形態では，カメラと液晶シャッタと偏向ビームスプリッタと鏡とを組み合わせることにより，１台のカメラで複数の視点位置から見た多視点画像データを取得する。図８中，３０１はカメラ，３０２は液晶シャッタ（ＴＮ），３０３は偏向ビームスプリッタ（ＰＢＳ），３０４は鏡，３０５は多視点画像データの視点位置で，実際にはカメラが置かれていない位置を示す。液晶シャッタ３０２は，電圧を加えた時はＰ偏向光だけを通し，電圧を加えない時はＳ偏向光だけを通す。偏向ビームスプリッタ３０３は，Ｐ偏向光を透過し，Ｓ偏向光を反射するような素子である。
【００５２】
まず，カメラ３０１を用いて，カメラ３０１の位置から見た画像データを取得する場合について説明する。液晶シャッタ３０２に電圧を加え，Ｐ偏向光だけを通すようにする。そうすると，偏向ビームスプリッタ３０３の透過成分であるＰ偏向光だけがカメラ３０１に入射し，その結果カメラ３０１の位置から見た画像データを取得することができる。
【００５３】
次に，カメラ３０１を用いて，視点位置３０５から見た画像データを取得する場合について説明する。液晶シャッタ３０２の電圧を切り，Ｓ偏向光だけを通すようにする。すると，偏向ビームスプリッタ３０３の反射成分であるＳ偏向光だけがカメラ３０１に入射する。カメラ３０１に入射するＳ偏向光は鏡３０４により反射されたものであるため，視点位置３０５から見た画像データを取得することができる。
【００５４】
【実施例】
次に，本発明の具体的な実施例について，図９を用いて説明する。本実施例では，図９に示すように，三次元位置が既知である２ヶ所の視点から見た奥行き画像Ａ，Ｂを用いて，一方の視点から見えないオクルージョン領域を他方の視点からの情報で補間して，仮想視点から見た仮想視点奥行き画像を生成する。ここで２枚の奥行き画像Ａ，Ｂは，個々の画素の対応関係がとれている必要はない。
【００５５】
この仮想視点奥行き画像には，ノイズの影響や奥行きが急激に変化する部分で，奥行きの値が決定されない点がある。それらの点は，周囲の画素で線形補間する。さらに，二次微分フィルタを用いて仮想視点奥行き画像を平滑化処理し，処理後の仮想視点奥行き画像に，実画像をテクスチャマッピングして仮想視点画像を生成する。その際，視点位置の近い方の実画像を優先する。
【００５６】
この方法の特徴は，２枚の奥行き画像をもとに仮想視点から見た奥行き画像を生成し，これに処理を加えて実画像をテクスチャマッピングすることで，元の奥行き画像の精度が悪かったり，ノイズが多い場合でも，滑らかな仮想視点画像を生成できるところにある。
【００５７】
図１０〜図１６は，本実施例で用いた画像を示す図である。図１０および図１１は実画像であり，この２つの実画像の視点から見た奥行き画像を，図１２および図１３に示す。奥行き画像は，１ｃｍ間隔でｘ軸方向に移動するカメラで撮像した５枚の多視点画像をもとに，多基線ステレオ法を用いて計算した。これらの奥行き画像の図において，奥行き値は実際には濃度値の変化で表されているが，本図では図面表記の都合上，奥行き値（濃度値）が大きく変化する部分の輪郭を示している。これら２枚の奥行き画像から，本発明の手法を用いて生成した仮想視点奥行き画像が，図１４に示す画像である。図１５は，図１４に示す仮想視点奥行き画像に，図１０と図１１の実画像をテクスチャマッピングして得られた仮想視点画像である。
【００５８】
図１６は，本発明による手法と従来の手法との比較を示す図である。図１６（Ａ）に示すように，本発明の手法による仮想視点画像では，奥行きが急激に変化するような顔の輪郭部分のノイズが軽減され，図１６（Ｂ）に示す従来の手法による仮想視点画像に比べて，鮮明な画像が得られている。また，仮想視点奥行き画像を平滑化処理しているため，テクスチャマッピングの際の仮想視点画像の解像度の低下も抑えられている。
【００５９】
【発明の効果】
以上説明したように，本発明によれば，与えられた視点位置に応じて，複数枚の画像とその奥行き情報をもとに観察者から見た画像を再構成することにより，視点位置を移動させた場合にそれに対応した画像をスムーズに出力することができる。本手法では，奥行き情報をもとに画像を再構成して仮想視点画像を生成するため，もととなる画像を撮像する位置の間隔が離れている場合においても，滑らかな仮想視点画像を生成できる利点がある。装置に必要な記憶容量も，考えうる視点移動に対応した画像をすべて保持する場合に比べて，極めて少なくてすむ。処理速度については，三次元形状モデルにテクスチャをマッピングする手法に比べて，高速化が可能である。滑らかに補正された仮想視点奥行きマップに基づいて仮想視点画像を生成する手法であるため，滑らかな仮想視点画像を生成することが可能である。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の仮想視点画像生成装置の全体的な構成の概要を示す図である。
【図２】第１の実施の形態における仮想視点画像生成装置の処理の流れを説明するためのブロック図である。
【図３】多眼カメラシステムのカメラ配置と投影の概念を説明するための図である。
【図４】仮想視点奥行きマップ生成部で用いる座標変換を説明するための図である。
【図５】奥行きマップ補間処理部と奥行きマップ平滑化処理部の処理を説明するための図である。
【図６】仮想視点画像再構成部で用いる座標変換を説明するための図である。
【図７】本発明の第２の実施の形態の仮想視点画像生成装置の全体的な構成の概要を示す図である。
【図８】本発明の第３の実施の形態で用いるカメラ装置の構成を示す図である。
【図９】本発明の実施例の概要を説明するための図である。
【図１０】実画像の例を示す図である。
【図１１】実画像の例を示す図である。
【図１２】図１０の実画像に対応する奥行き画像の例を示す図である。
【図１３】図１１の実画像に対応する奥行き画像の例を示す図である。
【図１４】仮想視点奥行き画像の例を示す図である。
【図１５】生成した仮想視点画像の例を示す図である。
【図１６】本発明の手法による仮想視点画像と従来の手法による仮想視点画像との比較を示す図である。
【図１７】従来の技術を説明するための図である。
【図１８】
従来の技術を説明するための図である。
【図１９】
従来の技術を説明するための図である。
【符号の説明】
１０ 被写体
２０，３０ カメラ装置
２１〜２４ カメラ
３１〜３４ カメラ
４０ 画像表示装置
４１ 表示スクリーン
１００ 仮想視点画像生成部
１０１ 多視点画像入力部
１０２ 奥行き検出部
１０３ 視点位置指定部
１０４ 奥行きマップ入力部
１０５ 仮想視点位置入力部
１０６ カメラパラメータデータ入力部
１０７ 仮想視点奥行きマップ生成部
１０８ 奥行きマップ補間処理部
１０９ 奥行きマップ平滑化処理部
１１０ 仮想視点画像再構成部
１１１ 画像表示部

Claims (6)

1. 視点位置に応じた画像を生成するための仮想視点画像生成方法において，
   それぞれ異なる位置を視点とする複数の画像データを入力する過程と，
   前記入力された複数の画像データのそれぞれに対応して，該画像データの各画素について，前記それぞれ異なる視点位置から見た被写体までの奥行き値を保持する複数枚の奥行きマップを生成する過程と，
   前記複数枚の奥行きマップの中から，指定された仮想視点に最も近い視点位置から見た奥行きマップを含む２枚以上の奥行きマップを選択し，該選択された奥行きマップのうちの１枚をもとに，三次元空間内での視点位置を座標変換することにより，前記仮想視点から見た仮想視点奥行きマップを生成する過程と，
   前記仮想視点奥行きマップについて，前記１枚の奥行きマップの視点位置から見ると物体の影になって隠されているオクルージョン領域の奥行き値を，前記選択された奥行きマップのうち前記オクルージョン領域が隠されないような他の視点位置から見た奥行きマップのデータをもとに，三次元空間内での視点位置を座標変換することで補間処理する過程と，
   前記補間処理された仮想視点奥行きマップの奥行き値の分布が滑らかでない部分を平滑化処理する過程と，
   前記平滑化処理後の仮想視点奥行きマップに，該奥行きマップが持つ被写体の奥行き値に基づいて，前記入力された複数の画像データのうち視点位置が前記仮想視点に近い方の画像を優先してテクスチャマッピングすることで輝度と色度を描画することにより，前記仮想視点から見た画像を生成する過程とを有する
   ことを特徴とする仮想視点画像生成方法。
2. 視点位置に応じた画像を生成するための仮想視点画像生成装置において，
   それぞれ異なる位置を視点とする複数の画像データを入力する画像データ入力手段と，
   前記入力された複数の画像データのそれぞれに対応して，該画像データの各画素について，前記それぞれ異なる視点位置から見た被写体までの奥行き値を保持する複数枚の奥行きマップを生成する奥行きマップ生成手段と，
   前記複数枚の奥行きマップの中から，指定された仮想視点に最も近い視点位置から見た奥行きマップを含む２枚以上の奥行きマップを選択し，該選択された奥行きマップのうちの１枚をもとに，三次元空間内での視点位置を座標変換することにより，前記仮想視点から見た仮想視点奥行きマップを生成する仮想視点奥行きマップ生成手段と，
   前記仮想視点奥行きマップについて，前記１枚の奥行きマップの視点位置から見ると物体の影になって隠されているオクルージョン領域の奥行き値を，前記選択された奥行きマップのうち前記オクルージョン領域が隠されないような他の視点位置から見た奥行きマップのデータをもとに，三次元空間内での視点位置を座標変換することで補間処理する仮想視点奥行きマップ補正処理手段と，
   前記補間処理された仮想視点奥行きマップの奥行き値の分布が滑らかでない部分を平滑化処理する平滑化処理手段と，
   前記平滑化処理後の仮想視点奥行きマップに，該奥行きマップが持つ被写体の奥行き値に基づいて，前記入力された複数の画像データのうち視点位置が前記仮想視点に近い方の画像を優先してテクスチャマッピングすることで輝度と色度を描画することにより，前記仮想視点から見た画像を生成する仮想視点画像生成手段とを備える
   ことを特徴とする仮想視点画像生成装置。
3. 請求項２記載の仮想視点画像生成装置において，
   前記仮想視点奥行きマップ補正処理手段は，前記補間処理によっても補間できないオクルージョン領域の奥行き値を，その周囲の奥行き値を用いて補間処理する手段を備える
   ことを特徴とする仮想視点画像生成装置。
4. 請求項２または請求項３記載の仮想視点画像生成装置において，
   前記奥行きマップ生成手段は，前記それぞれ異なる視点位置ごとに多視点画像データを入力し，該多視点画像データ間の対応点を抽出してステレオ法により三角測量の原理を用いて受動的に奥行きを推定することによって奥行きマップを生成する
   ことを特徴とする仮想視点画像生成装置。
5. 請求項２または請求項３記載の仮想視点画像生成装置において，
   前記奥行きマップ生成手段は，レーザ光による画像パターンを被写体に照射することにより能動的に奥行きを推定することによって奥行きマップを生成する
   ことを特徴とする仮想視点画像生成装置。
6. 請求項２，請求項３，請求項４または請求項５記載の仮想視点画像生成装置において，
   前記画像データ入力手段は，複数の視点位置に対応する光路上に配置され光の一部または全部を反射または透過する複数の光学的手段によって反射または透過された光が通る光路上の一つに配置された１台のカメラから複数の視点位置における画像データを取得するものである
   ことを特徴とする仮想視点画像生成装置。

Images