JP5035195B2 - 画像生成装置及びプログラム - Google Patents

Description

本発明は、自由視点映像生成技術に関する。

複数のカメラで撮影した動画像から、任意の位置における映像を再現する自由視点映像技術について様々な提案がなされている。（例えば、特許文献１、非特許文献１及び非特許文献２、参照。）。

上記、従来技術における方法は、イメージ・ベースド・レンダリングと呼ばれるものであり、複数カメラで撮影した画像から、光線空間を構築し、この光線空間に基づき、任意の位置から見たときの画像を補間処理により生成するものである。

特開２００８−１５７５６号公報 Ｔａｋｅｓｈｉ Ｎａｅｍｕｒａ、ｅｔ ａｌ．、"Ｒａｙ−Ｂａｓｅｄ Ｃｒｅａｔｉｏｎ ｏｆ Ｐｈｏｔｏ−Ｒｅａｌｉｓｔｉｃ Ｖｉｒｔｕａｌ Ｗｏｒｌｄ"、ＶＳＭＭ９７、ｐｐ．５９−６２、１９９７年９月 Ｍｉｃｈａｅｌ Ｄｒｏｅｓｅ、ｅｔ ａｌ．、"Ｒａｙ−Ｓｐａｃｅ Ｉｎｔｅｒｐｏｌａｔｉｏｎ ｂａｓｅｄ ｏｎ Ｆｉｌｔｅｒｉｎｇ ｉｎ Ｄｉｓｐａｒｉｔｙ Ｄｏｍａｉｎ"、Ｐｒｏｃ． ｏｆ ３Ｄ Ｉｍａｇｅ Ｃｏｎｆｅｒｅｎｃｅ ２００４、ｐｐ．２９−３０、２００４年

例えば、パーソナル・コンピュータといった利用者端末にて、視点、すなわち、位置及び方向が指定されると、その視点から見た動画像を生成して利用者端末に表示する自由視点映像システムを構築するためには、これら補間処理による動画像生成に必要な時間をできるだけ短くすることが必要である。ほぼ総ての視点位置からの画像を、あらかじめ補間処理により画像生成装置に蓄積しておくことで、動画像生成に必要な時間は短縮できるが、膨大な量の記憶装置が必要となるため現実的ではない。

したがって、本発明は、上記問題を解決する画像生成装置及び前記画像生成装置としてコンピュータを機能させるプログラムを提供することを目的とする。

本発明における画像生成装置によれば、
複数の画像を保存する保存手段と、前記複数の画像に含まれる２つの画像で構成される組に関連付けた視差マップを生成する視差マップ生成手段とを備えており、視差マップは、関連付けられた２つの画像内の画素の対応関係を示していることを特徴とする。

本発明の画像生成装置における他の実施形態によれば、
視差マップは、関連付けられた２つの画像の視点間の視点である視差マップ視点に対応して１つ以上設けられ、視差マップは、それぞれ、当該視差マップ視点での画像の画素に対応する、関連付けた２つの画像内の画素を示していることも好ましい。

また、本発明の画像生成装置における他の実施形態によれば、
視差マップ生成手段は、視差マップに関連付けられた２つの画像それぞれに探索範囲を設定し、設定した各探索範囲の画素から、当該視差マップ視点での画像の第１の画素に対応する、第２の画素と第３の画素をそれぞれ決定することで視差マップを生成し、前記探索範囲の中心は、第１の画素の位置と同じであり、前記探索範囲の範囲は、当該視差マップ視点と、関連付けられた画像の視点との距離に基づき決定することも好ましい。

さらに、本発明の画像生成装置における他の実施形態によれば、
視差マップ生成手段は、当該視差マップ視点での画像及び関連付けられた２つの画像を、それぞれ平行に、かつ、視点の距離だけ離して配置したときに、第１の画素、第２の画素及び第３の画素が直線上に並ぶ様に、第２の画素と第３の画素を決定することも好ましい。

さらに、本発明の画像生成装置における他の実施形態によれば、
前記複数の画像は、カメラが撮影した画像と、前記カメラが撮影した画像に基づき生成された画像を含むことも好ましい。

さらに、本発明の画像生成装置における他の実施形態によれば、
空間を被写体が存在する領域と被写体が存在しない領域に分割し、被写体が存在しない領域を第１の空間とし、被写体が存在する領域を第２の空間としたとき、前記複数の画像は、第１の空間内の位置を視点とし、第２の空間の一部を少なくとも視野に含む複数の第１の画像と、第２の空間内の位置を視点とする複数の第２の画像に分類され、第２の画像は、第１の画像に基づき生成されたものであることも好ましい。

さらに、本発明の画像生成装置における他の実施形態によれば、
前記第２の画像の視点は、第２の空間内のあらかじめ決められた線上、第２の空間内の被写体上に設定する線上、第２の空間内の被写体を取り囲む線上、又は、第１の空間側から見て、第２の空間にある被写体の直後に設定する線上にあることも好ましい。

本発明のプログラムは、上記画像生成装置として、コンピュータを機能させることを特徴とする。

光線空間における総ての光線についての情報を持つのではなく、必要となった時点で、視差マップにより生成する。視差マップによる画素値の計算は簡易なものであり、よって、あらかじめ用意しておく画像数を削減することができる。さらに、被写体が存在する第２の空間内の位置を視点とする第２の画像と、第２の画像の組に対する視差マップをあらかじめ作成しておくことで、第１の空間から見て、対象物を越えた視点における画像も素早く生成することが可能になる。

本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。なお、以下の説明において“視点”とは、位置及び方向できまる値であり、“視点の画像”又は“視点における画像”とは、視点が示す位置において、視点が示す方向を中心とした所定範囲を表す画像を意味するものとする。また、視点Ａにおける画像を参照するために“画像Ａ”との表現を使用する。また、視点Ｂにおける画像が、カメラにより実際に撮影されたものである場合、この画像を参照するために“画像Ｂ”と、このカメラの位置を“カメラ位置Ｂ”として参照する。

図１は、本発明による画像生成装置の機能ブロック図である。図１によると、画像生成装置は、保存部１と、視差マップ生成部２と、事前画像生成部３と、送信処理部４と、視点入力部５とを備えている。また、図２は、本発明による利用者端末の機能ブロック図である。図２によると、利用者端末は、視点画像生成部６と、視点送信部７とを備えている。なお、本発明による画像生成装置と利用者端末は、例えば、インターネット等の通信網経由で通信を行う。なお、図１及び図２は、本発明の説明に必要な部分のみを表示するものである。

画像生成装置の保存部１は、複数のカメラ１００のカメラパラメータ、配置位置及び方向と、各カメラ１００が撮影した動画像を構成する各画像（以後、撮影画像と呼ぶ。）と、事前画像生成部３が、撮影画像から補間処理により生成した画像（以後、補間画像と呼ぶ。）と、視差マップ生成部２が、撮影画像及び補間画像に基づき生成した視差マップを保持している。複数のカメラ１００は、所定の領域又は空間（以後、第２の空間として参照）に存在する被写体の撮影のために、被写体が存在しない領域又は空間（以後、第１の空間として参照）に想定する所定の線上に配置されている。なお、以下の説明においては、この所定の線が、円又は直線であるものとし、円である場合には各カメラの光軸は同一高さにおいて円の中心を向き、直線である場合には、各カメラの光軸は同一高さで同一方向を向くものとする。また、撮影画像については、どのカメラが撮影したものかの対応関係を示す情報も保持している。なお、以後の説明において、撮影画像及び補間画像の両方を示す場合には単に“画像”と呼ぶ。

利用者端末の視点送信部７は、利用者が指定した視点を示す視点情報を、画像生成装置に送信し、画像生成装置の視点入力部５は、利用者端末から受信する視点情報を送信処理部４に出力する。送信処理部４は、視点情報に基づき、保存部１が保存している画像及び視差マップのうち、利用者が指定した視点から見た動画を生成するのに必要な画像及び視差マップのデータを利用者端末に送信し、利用者端末の視点画像生成部６は、受信するデータに基づき指定した視点から見た動画像を生成する。なお、画像生成装置側で利用者が指定した視点から見た動画を生成して、利用者端末に送信する構成であっても良く、この場合には、画像生成装置の送信処理部４に、視点画像生成部６の機能が組み込まれることになり、利用者端末は、受信した動画像を示すデータを表示するための処理を行うことになる。

図３は、事前画像生成部３のブロック図である。図３によると、事前画像生成部３は、前処理部３１と、第１補間画像生成部３２と、第２補間画像視点決定部３３と、第２補間画像生成部３４とを備えている。前処理部３１は、各カメラがほぼ同時刻に撮影した撮影画像に基づき、カメラキャリブレーションを行って、カメラパラメータを調整し、各画素について、前景であるか背景であるかを判定し、前景である各画素については、被写体等、対象物のモデル化を行い、各対象物とその位置を認識し、各撮影画像に対し、対象物とその位置を示すモデル情報を生成する。これら処理には、公知の様々な方法を利用可能である。

続いて、第１補間画像生成部３２は、カメラ１００が配置されている線上において、カメラ１００間の位置を視点とする補間画像を生成する。図４は、第１補間画像生成部３２で生成する補間画像を説明する図である。図４において、実線の矢印は撮影画像の視点であり、点線の矢印は補間画像の視点を示している。例えば、図４（ａ）は、カメラ１００を直線１０に沿って同一方向を向くように配置している場合を示しており、図４（ｂ）は、カメラ１００を円周１１に沿って円の中心を向くように配置している場合を示している。なお、設定する視点位置の密度、つまり、隣接する視点の撮影画像間において生成する補間画像の密度は、要求される視点の解像度により決定することになり、補間画像は、その視点に近い位置にある撮影画像、例えば、両隣にある撮影画像から、その距離に応じた重み付けを用いて生成する。また、生成した補間画像についてもモデル情報を生成する。

第２補間画像視点決定部３３は、対象物の位置及び大きさに基づき、第２の空間において、さらに生成する補間画像の視点を決定する。図５は、第２補間画像視点決定部３３が行う処理を説明する図である。なお、図５（ａ）及び（ｂ）は、それぞれ、図４（ａ）及び（ｂ）のカメラ配列に対応しており、点線の矢印は設定する視点を示している。例えば、図５（ａ）に示す様に、カメラ１００を直線１０に沿って同一方向を向く様に配置している場合、対象物２１上又は対象物２１の直線１０とは逆側における領域に、直線１０と平行な直線を設定し、この設定した直線上に、カメラ１００と同じ方向を向く少なくとも２つの視点を設定する。なお、視点の数は、対象物２１の大きさに基づき決定し、対象物２１が大きくなる程、増加させる。好ましくは、直線１０上を視点とする画像の、その視点位置から視点方向に延長した線と対象物２１の交点を視点と決定する。つまり、直線１０上の視点と同じ密度で、対象物２１の位置に設定した直線上に視点を設定する。

また、図５（ｂ）に示す様に、カメラ１００を円周１１に沿って円の中心を向く様に配置している場合、対象物２１の境界に沿った線上、又は、対象物２１を取り囲む円若しくは楕円周上において、少なくとも直交する４方を向く様に視点を設定する。直線に配置する場合と同様に、視点の数は、対象物２１の大きさに基づき決定を行い、対象物２１が大きくなる程、その数を増加させる。例えば、円周１１上を視点とする画像の、その視点を延長した線と対象物２１の交点において、その延長した線の方向の視点、あるいは、対象物２１における曲線上において円周１１と同一密度の視点を設定する。

なお、対象物２１の境界に沿った線上や、対象物２１を取り囲む円又は楕円上に設定する視点は、図５（ｃ）に示す様に、これら閉曲線の外側を向くように設定する形態と、図５（ｄ）に示す様に、閉曲線の内側を向くように設定する形態があり、どちらも可能である。

第２補間画像生成部３４は、第２補間画像視点決定部３３が決定した視点における補間画像を、直線１０又は円周１１上に視点を持つ画像、つまり、カメラ１００が撮影した撮影画像及び第１補間画像生成部３２が生成した補間画像に基づき生成する。図６は、第２補間画像生成部３４における補間画像の生成を説明する図である。図６は、カメラ１００を直線状に配置した場合であり、対象物２１の位置に設定した視点１５における補間画像を生成するものとする。例えば、補間画像１５の生成のためには、対象物２２の点２３の位置の画素値を決定する必要があるが、直線上に視点を持つ各画像のうち、符号１２で示す視点の画像において、点２３は対象物２１により遮蔽されているため、画像１２を点２３の画素値の決定に使用することはできない。また、点２３は符号１３で示す視点の視野の範囲外、つまり視点での画像の範囲外であるため、画像１３を点２３の画素値の決定に使用することもできない。これに対し、点２３は、符号１４で示す視点の視野の範囲内にあり、かつ、視点１４と点２３の間に遮蔽物もないため、第２補間画像生成部３４は、画像１４の点２３に対応する画素の画素値に基づき、補間画像１５の点２３に対応する画素の画素値を決定する。

この様に、第２補間画像生成部３４は、第２補間画像視点決定部３３が決定した視点における補間画像を生成するために使用する、直線１０又は円周１１上に視点を持つ画像を、直線１０又は円周１１上に視点を持つ画像に対するモデル情報に基づき決定する。言い換えると、補間画像の各画素についての画素値の情報を持つ、直線１０又は円周１１上に視点を持つ画像を、これら画像のモデル情報が示す対象物の位置に基づき決定して、補間処理により補間画像を生成する。

図１に戻り、視差マップ生成部２は、直線１０又は円周１１上を視点とする画像及び対象物の位置に設定した直線又は曲線上に視点を持つ画像の隣接する組それぞれに対して１つ以上の視差マップを生成する。図７は、視差マップを生成する画像の組を説明する図である。なお、図７において実線の矢印は、各視点の画像を示している。図７（ａ）に示す様に、直線上に４つの画像がある場合、画像の組Ａ、Ｂ、Ｃそれぞれに関連付けられた視差マップを、それぞれ１つ以上生成する。また、図７（ｂ）に示す様に、円状に４つの画像がある場合、画像の組Ａ、Ｂ、Ｃ、Ｄにそれぞれ関連付けられた視差マップを、それぞれ１つ以上生成する。以下、視差マップの生成について説明する。

図８は、視差マップの生成を説明する図である。視差マップは、隣接する視点の画像の組に関連付けられると共に、関連付けられている画像が存在する線上において、その画像の視点間にある視点にも対応付けられる。ここで、対応付けられる視点の方向は、両側にある画像と同じ方向、つまり、関連付けられている画像の視点が、例えば、線１０又は円周１１上といった、第１の空間にある場合には、被写体が存在する領域を向く方向であり、第２の空間にある場合には、第２補間画像生成部３３が決定する補間画像のための視点と同じ考え方で決定される方向である。図８は、視点５００の画像と、視点６００の画像の組に関連付けられ、それぞれ、視点５００、６００、７００に対応する３つの視差マップを生成する場合を示している。なお、例えば、関連付けられている画像の視点が、円周１１といった曲線である場合には、曲線に代えて、関連付けられている画像の視点間を結ぶ直線上の視点に対応付けて視差マップを作成しても良い。この場合には、視点の方向は、この直線に垂直な２つの方向のうち、両側の画像の視点の方向に近い方向とする。

なお、以後の説明において、各視点における画像間に直線を設定するとの表現を用いるが、これは、各視点の位置における画像を、互いに並行で、同一位置の画素を結ぶ線が画像の面に垂直となり、画像間の距離が、当該画像が存在する線上における視点間の距離に対応する様に配置した状態を前提としたものである。

図８（ａ）は、視点５００に対応する視差マップ生成の説明図である。画像５００の画素５１と同一位置にある画像６００の画素を中心とする探索範囲を画像６００に設定し、この探索範囲から画素５１に対応する、画像６００の画素を判定する。対応画素の判定は、画素５１を中心とする所定サイズのブロックによるブロック・マッチングを、画像６００の探索範囲に適用し、画像６００の探索範囲から、画素５１を中心とするブロックと最も相関の高いブロックを見つけることにより行う。つまり、画像６００の探索範囲内にあるブロックそれぞれについて、画素５１を中心とするブロックの同じ位置にある画素の値の差の絶対値の総和又は値の差の２乗の総和を求め、値が一番小さくなるブロックを、画像６００の探索範囲内から見つける。図８（ａ）においては、画素６１が対応するものと判定されている。この場合、画像６００の画素５１と同一位置からのずれΔａを、図９（ａ）に示す様に、画素５１に対する視差情報として、視点５００に対応する視差マップに記録する。なお、視差情報は、実際には水平方向と垂直方向それぞれの位置の差を示す２次元の値である。また、探索範囲は、視点５００と視点６００の距離に基づき決定する。この様に、画像５００の全画素について、視差情報を決定する。

図８（ｂ）は、視点６００に対応する視差マップ生成の説明図である。視点５００に対応する視差マップの生成と同様、探索範囲を画像５００に設定し、この探索範囲から画素６２に対応する、画像５００の画素を判定する。図８（ｂ）においては、画素５２が対応するものと判定されている。この場合、画像５００の画素６２と同一位置からのずれΔｂを、図９（ｂ）に示す様に、画素６２に対する視差情報として、視点６００に対応する視差マップに記録する。

図８（ｃ）は、視点７００に対応する視差マップ生成の説明図である。視点７００に画像があるとした場合の、この画像の画素７３を想定し、この画素７３と同一位置の画素を中心とする探索範囲を、それぞれ、画像５００と画像６００に設定する。続いて、画素７３を通り、両探索範囲内でそれぞれ画像５００と画像６００と交差する直線をそれぞれ求め、求めた直線と画像５００及び画像６００の交点の画素の組から、ブロック・マッチングにより対応画素を判定する。具体的には、画像５００及び画像６００の２つの交点それぞれを中心とする所定サイズのブロックの相関を、各直線について求め、最も相関の高いブロックの中心画素を対応画素とする。図８（ｃ）においては、画素５３、６３が求められている。この場合、画素７３と同一位置からのずれΔｃ１を、図９（ｃ）に示す様に、画素７３に対する視差情報として、視点７００での視差マップに記録する。

なお、画素５３、６３、７３は直線上に存在するので、Δｃ１の代わりにΔｃ２を記録する形態であっても良い。また、図８（ａ）から（ｃ）に示す様に、視差情報は、視差マップの対応する視点における画像の各画素が、当該視差マップに関連付けられている画像の組のどの画素に対応するかを判定できれば良く、例えば、対応画素を結ぶ線の傾きで表す等、他の方法で特定しても良い。

なお、図８（ａ）及び（ｂ）は、視差マップに対応する視点が、関連付けられている画像の視点５００，６００と同一位置となる特別な形態であり、視差マップは、対応する視点における画像の画素を基準とした場合において、関連付けられている画像の画素のうち、前記基準とする画素に最も対応すると判定された画素を特定するものである。なお、異なる視点を基準として視差情報を探索するため、例えば、視点５００、６００、７００の視差マップがそれぞれ示す画像５００と６００の対応画素は、通常、一致しない。本発明において、好ましくは、視差マップを、関連付けられている画像の両視点に対応させて２つ生成する。好ましくは、さらに、関連付けられている画像の中間位置における視点での視差マップを生成する。

続いて、送信処理部４及び視点画像生成部６における、指定された視点の画像（以下、視点画像と呼ぶ。）の生成について説明する。図１０は、指定された視点が、各画像の視点が位置する線上において、各画像と同一方向で有る場合の、視点画像の生成を説明する図である。図１０において、符号５００、６００、７００、８００及び９００は視点を示し、保存部１は、視点５００の画像と、視点６００の画像と、画像５００と画像６００の組に関連付けられている視点５００、６００及び７００にそれぞれ対応する視差マップとを保持しており、視点８００及び９００での視点画像を生成するものとする。

送信処理部４は、視点画像の視点が、視差マップの視点のいずれに近いかをまず判定する。続いて、視点画像の各画素の画素値を算出するために使用する画像５００と画像６００の画素を、一番近い視差マップに基づき決定する。例えば、図１０において、視点５００、６００、７００のうち、視点９００に一番近いのは、視点６００であるため、視点９００における画像の各画素値を決定するために、視点５００、６００、７００における視差マップのうち、視点６００における視差マップを使用すると決定する。以下に、視点画像生成部６における画素値の決定を具体的に説明する。

まず、視差マップに基づき、視点９００における画像の画素９４に対応する画像５００及び画像６００の画素を決定する。このため、使用する視差マップである視点６００における画像６００の、画素９４に対応する画素を中心とする所定範囲の探索範囲を、画像６００に設定する。この探索範囲は、図８に示す視差マップの生成と同様に視点９００と視点６００間の距離に基づき決定する。続いて、この探索範囲の各画素から、視点６００における視差マップの各画素の視差情報に従い、画像５００の対応画素へ直線を引き、画素９４を通過するものを探索する。図１０においては、画素６４から画素５４への直線が画素９４を通過している。この場合、視点画像生成部６は、画素９４の画素値を以下の通り決定する。
画素９４の画素値＝ａ×画素５４の画素値＋（１−ａ）×画素６４の画素値
ここで、ａは、０＜ａ＜１であり、視点５００と視点６００の距離に対する視点９００と視点６００の距離に依存する値である。なお、画素９４を通る直線が複数ある場合には、例えば、傾きの最も小さい直線を選択して上記式を適用する。また、画素９４を通る直線が１本も存在しない場合には、画素９４に一番近い位置を通過する直線を選択して上記式を適用する。

同様に、図１０において、視点８００に一番近いのは視点７００であるため、視点８００における画像の各画素については、視点７００での視差マップに基づき、画像５００と画像６００の対応画素を決定する。画素９４の場合と同様に、視点８００の画素８５に対応する視点７００での画素を中心として探索範囲を設定する。続いて、視点７００における視差マップの各画素の視差情報に基づき、この探索範囲内の各画素を通過する直線を、画像５００と画像６００間に引き、この直線のうち、画素８５を通過するものを探索する。図１０においては、視点７００での画素７５に対する視差情報に基づき引いた直線が、画素８５を通過し、この直線は、画像５００の画素５５と、画像６００の画素６５と交差している。よって、画素８５の値は、画素５５及び６５に基づき、画素９４の場合と同様に決定する。なお、画素８５を通過する直線が複数ある場合や、一本もない場合の処理も、画素９４で説明したのと同じである。

続いて、視点画像生成部６における一般的な視点画像の生成方法、つまり、上述した場合以外における方法について説明する。図１１は、視点画像の生成方法の説明図である。図１１（ａ）において、符号４３及び４４は、カメラ１００を配置している直線又は円周上にある視点の画像を、つまり、カメラ１００が直接取得した画像又は第１補間画像生成部３２が生成した画像を示している。また、符号４１及び４２は、対象物２１の存在により第２補間画像生成部が生成した画像を示している。また、点線４０は、生成する視点画像である。なお、図１１（ｃ）に示す様に、符号４０から４４における画像の表現において、面４７が画像の画面を、点４８が視点の位置を、点４８から面４７に引いた法線の方向が視点の方向を表すものとする。この場合、例えば、面４７にある画素４９の画素値は、画素４９を通過し、視点４８に到達する光線２７により決定されることになる。

視点画像４０を生成するために、視点画像生成部６は、例えば、図１１（ｂ）に符号２５で示す光線による画素の画素値を決定する必要がある。このため、送信処理部４は、この光線２５を延長した線の両側を視点位置とする画像４３と画像４４の組とその視差マップを選択し、視点画像生成部６は、選択した組及びその視差マップに基づき、図１０を用いて説明した方法にて視点画像４６の光線２５に対応する画素の画素値を計算し、これを、視点画像４０の光線２５に対応する画素値とする。

つまり、送信処理部４は、求めたい画素に対応する光線空間の点、例えば、図１１（ｂ）の光線２５を求め、視点マップに関連付けられている各画像の組のうち、その組の画像の視点間を視点とする画像に、光線２５による画素を含んでいる組を選択する。つまり、図１１（ｂ）においては、画像４３及び４４を選択する。その後、この見つけた画像の組と、この組の視差マップに基づき視点画像４０の光線２５による画素の画素値を決定する。なお、視点位置４０と４６の距離に応じて画素値を修正しても良い。

同様に、視点画像生成部６は、図１１（ｂ）に符号２４で示す光線による画素の画素値を決定する必要がある。このため、視点画像生成部６は、画像４１と画像４２の組とその視差マップに基づき、図１０を用いて説明した方法にて視点画像４５の光線２４に対応する画素の画素値を計算し、これを、視点画像４０の光線２４に対応する画素値とする。なお、図中点線で示す光線と、符号２４で示す光線は、光線空間において同一の点であるが、視点画像生成部６は、モデル情報から点線で示す光線ではなく、光線２４が画像４０の生成に必要であることを判断する。

言い換えると、視点画像生成部６は、視点マップに関連付けられている各画像の組のうち、その組の画像の視点間を視点とする画像に、求めたい画素と光線空間において同一位置となる画素を含んでいる組を探索し、複数の組が該当する場合には、被写体の位置及び視点画像４０の視点に基づき、１つの組を選択して、選択した組の画像に基づき画素値を決定する。

自由視点映像を実現するために、まず、空間を被写体が存在する第２の空間と、被写体が存在しない第１の空間に分割し、第１の空間内において、被写体の方を向けて複数のカメラを設置して撮影を行うことになるが、使用できるカメラの数には、通常、制限があるため、カメラが設置されていない位置を視点とする画像については、補間処理により作成することになる。しかしながら、補間処理により、要求される視点位置の解像度に対応する総ての画像をあらかじめ作成し、保存部１に保存しておくこと、つまり、光線空間における総ての光線をあらかじめ作成して保存しておくことは、その記憶容量や処理負荷の点で現実的ではない。このため、画像の組に対して視差マップを生成しておき、あらかじめ用意していない光線に対応する画素については、視差マップに基づき生成を行う。つまり、光線空間における総ての光線についての情報を持つのではなく、必要となった時点で、視差マップにより生成する。視差マップによる画素値の計算は簡易なものであり、よって、あらかじめ用意しておく画像数を削減することができる。このため、第１の空間におけるカメラの配置位置と、このカメラが撮影した画像に基づき作成する第１の空間内を視点とする補間画像の視点位置と、視差マップの視点に対応する位置をあらかじめ決めておく。上述した実施形態では、直線又は円としたが、各画像の画素の光線空間における位置が確定できればよく、各画像の画素と光線空間における位置はカメラの設置位置及び方向と、カメラパラメータに基づき計算可能であるため、本発明は、第１の空間における任意の線を定義して、その線上においてカメラを配置し、補間画像を生成し、視差マップを生成することができる。

ただし、第１の空間に設定した線上に配置したカメラで撮影した撮影画像と、これら撮影画像から生成した、カメラと同じ線上を視点位置とする補間画像からは、対象物により遮蔽された位置の画素値を素早く計算することはできない。例えば、図１１（ｂ）に示す光線２４は、対象物２１により遮蔽されているため、この光線２４を延長した、図中に点線で示す光線と、カメラ１００を配置している線との交点付近にある撮影画像及び補間画像には、光線２４の情報はなく、光線２４についての情報は、例えば図６で説明した様に、モデル情報等に基づき光線２４に対応する画素の情報を有する画像を探索して生成することが必要となる。これら処理には時間がかかるため、本発明においては、あらかじめ、第２の空間内にある対象物の位置においても、あらかじめ補間画像と視差マップを生成しておく。これにより、カメラの配置位置から見て、対象物を越えた視点における画像も素早く生成することが可能になる。

なお、図８において探索範囲は、対応点を中心とする所定の範囲に設定していた。これは、カメラを円周状に配置している形態に対応しており、例えば、直線に配置している場合には、一方向にのみずれが生じるため、図１２に示す様に、図８に示す形態における水平方向の半分については探索範囲から外すことができる。

また、上述した実施形態において、対象物の位置に補間画像を生成するとしていたが、他の実施形態として、対象物の位置に拘らず、第２の空間内において、あらかじめ視点を設定する線を決めておく形態であっても良い。例えば、図１３において、符号２００は、第１の空間と第２の空間の境界を示しており、第１の空間に設定したカメラを配置する円周１１と同心円である複数の円周１６、１７をあらかじめ第２の空間に設定し、この円周状において中心方向を視点とする補間画像の生成を行う形態であっても良い。この場合、対象物により遮蔽された部分の画像の生成については、上述した実施形態より劣ることになるが、第２補間画像位置決定部３３は必要ではなく、あらかじめ用意しておく画像の生成負荷を軽くすることができる。なお、図５における（ｃ）と（ｄ）の形態は、視点とした位置に対象物が存在した場合に生成される画像が異なるという結果をもたらすものである。

さらに、上述した実施形態における視差マップの役割を、例えば、前処理部３１で生成するモデル情報から作成する奥行きマップに置き換えることも可能である。ここで、奥行きマップは、対象物とその位置を示す情報を示すものである。この場合、図１４に示す様に、画像４３と画像４４の位置と、対象物２２の点２３の位置に基づき、点２３に対応する光線２４と２５を求めて、視点画像４６における点２３の画素値に対応する光線２６を求めることにより視点画像を生成することになる。また、生成画像については、そのまま使用する形態であったが、カメラキャリブレーショ結果に基づき、その光軸のずれを補正するように変換して使用することも可能である。

なお、本発明による画像生成装置は、コンピュータを上述した画像生成装置として機能させるプログラムにより実現することができる。コンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。さらに、本発明の各機能ブロックのうち一部のみをハードウェアで実現し、他の部分をコンピュータプログラムにより実現する、つまり、ハードウェア及びソフトウェアの組合せによっても実現可能である。

本発明による画像生成装置の機能ブロック図である。 本発明による利用者端末の機能ブロック図である。 事前画像生成部のブロック図である。 第１補間画像生成部で生成する補間画像を説明する図である。 第２補間画像視点決定部における視点の決定を説明する図である。 第２補間画像生成部における補間画像の生成を説明する図である。 視差マップを生成する画像の組を説明する図である。 視差マップの生成を説明する図である。 視差マップの例示的形態を示す図である。 視差マップによる視点画像の画素値の決定を説明する図である。 視点画像生成の説明図である。 探索範囲の設定の他の形態を示す図である。 第２の補間画像の視点決定の他の形態を示す図である。 モデル情報による視点画像の画素値の決定を説明する図である。

符号の説明

１ 保存部
２ 視差マップ生成部
３ 事前画像生成部
４ 送信処理部
５ 視点入力部
６ 視点画像生成部
７ 視点送信部
１０ 直線
１２、１３、１４、４１、４２、４３、４４ 画像
１１、１６、１７ 円周
１５、４８、５００、６００、７００、８００、９００ 視点
２１、２２ 対象物
２３、４９ 点
３１ 前処理部
３２ 第１補間画像生成部
３３ 第２補間画像視点決定部
３４ 第２補間画像生成部
４０、４５、４６ 視点画像
４７ 面
２４、２５、２６、２７ 光線
５１〜５６、６１〜６５、７３、７５、８５、９４ 画素
１００ カメラ

Claims (9)

1. 複数の画像を保存する保存手段と、
   前記複数の画像に含まれる２つの画像で構成される組に関連付けた視差マップを生成する視差マップ生成手段と、
   を備えており、
   視差マップは、関連付けられた２つの画像内の画素の対応関係を示し、
   視差マップは、関連付けられた２つの画像の視点間の視点である視差マップ視点に対応して１つ以上設けられ、
   視差マップは、それぞれ、当該視差マップ視点での画像の画素に対応する、関連付けた２つの画像内の画素を示し、
   視差マップ生成手段は、
   視差マップに関連付けられた２つの画像それぞれに探索範囲を設定し、設定した各探索範囲の画素から、当該視差マップ視点での画像の第１の画素に対応する、第２の画素と第３の画素をそれぞれ決定することで視差マップを生成し、
   前記探索範囲の中心は、第１の画素の位置と同じであり、
   前記探索範囲の範囲は、当該視差マップ視点と、関連付けられた画像の視点との距離に基づき決定する、
   画像生成装置。
2. 視差マップ生成手段は、
   当該視差マップ視点での画像及び関連付けられた２つの画像を、それぞれ平行に、かつ、視点の距離だけ離して配置したときに、第１の画素、第２の画素及び第３の画素が直線上に並ぶ様に、第２の画素と第３の画素を決定する、
   請求項１に記載の画像生成装置。
3. 前記複数の画像は、カメラが撮影した画像と、前記カメラが撮影した画像に基づき生成した画像を含む、
   請求項１または２に記載の画像生成装置。
4. 空間を被写体が存在する領域と被写体が存在しない領域に分割し、被写体が存在しない領域を第１の空間とし、被写体が存在する領域を第２の空間としたとき、
   前記複数の画像は、第１の空間内の位置を視点とし、第２の空間の一部を少なくとも視野に含む複数の第１の画像と、第２の空間内の位置を視点とする複数の第２の画像に分類され、
   第２の画像は、第１の画像に基づき生成されたものである、
   請求項１から３のいずれか１項に記載の画像生成装置。
5. 前記第２の画像の視点は、第２の空間内のあらかじめ決められた線上にある、
   請求項４に記載の画像生成装置。
6. 前記第２の画像の視点は、第２の空間内の被写体上に設定する線上にある、
   請求項４に記載の画像生成装置。
7. 前記第２の画像の視点は、第２の空間内の被写体を取り囲む線上にある、
   請求項４に記載の画像生成装置。
8. 前記第２の画像の視点は、第１の空間側から見て、第２の空間にある被写体の直後に設定する線上にある、
   請求項４に記載の画像生成装置。
9. 請求項１から８のいずれか１項に記載の画像生成装置として、コンピュータを機能させるプログラム。

Images