JP2005142765A - 撮像装置及び方法 - Google Patents

Abstract

【課題】 システム全体を複雑化させることなく、よりリアルで臨場感のある遠隔対話を実現する。
【解決手段】 撮影対象を少なくとも３台のカメラにより互いに異なる角度から撮像し、各カメラにより撮像された各画像の法線方向を仮想的に設定された仮想平面の法線方向に合わせることにより補正処理を施し、この補正処理を施した各画像間において撮影対象と関連させつつ画素位置毎に対応付けを行い、各カメラに対する上記撮影対象の相対的な位置関係を示す相対位置情報を生成し、互いに対応付けた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、新たに生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める。
【選択図】図２

Description

本発明は、例えばテレビ会議システム或いはテレビ電話システム等に適用され、ネットワークを介して画像を双方向で送受信する通信システム、送受信する画像を撮像して、ユーザの視線方向に応じてこれを再構成する撮像装置及び方法に関する。

テレビ電話システムやテレビ会議システム等に代表されるように、複数のユーザが互いに離れた場所から相手の表示像を視認しながら遠隔対話するシステムが提案されている。このようなシステムでは、相手の表示像をディスプレイ上に表示するとともに、当該ディスプレイを視認するユーザを撮影対象として撮像し、得られた画像信号を公衆回線、専用回線等のネットワークを介して相手側の端末装置へ送信することにより、双方のユーザに対し臨場感を持たせることが可能となる。

従来におけるテレビ会議システムでは、ディスプレイの中心付近に写し出される相手の表示像を視認するユーザを、ディスプレイ上部にあるカメラにより撮像するため、ユーザが下を向いた状態の画像が相手側のディスプレイ上に表示されることになる。このため、実際にディスプレイを視認するユーザ間において視線が不一致の状態で対話がなされることになり、互いに違和感を与えてしまうという問題がある。

理想的には、相手の表示像が写し出されるディスプレイの中心付近にカメラを設置すれば、双方のユーザの視線を一致させた状態で対話を実現することができる。しかしながら、かかるディスプレイの中心付近にカメラを設置することは物理的に困難である。

このような視線不一致に関する問題点を解決すべく、例えばハーフミラーを用いてカメラの向きと表示画面を合わせるテレビ電話装置（例えば、特許文献１参照。）、光透過状態と光散乱状態を制御できるスクリーンとプロジェクタを用いて時系列で表示と撮像を行う画像表示／制御装置（例えば、特許文献２参照。）、ホログラムスクリーンとプロジェクタを用いることにより、表示と撮像の双方を同時に実現できる撮像機能付き表示装置（例えば、特許文献３参照。）が提案されている。

また、視線と顔の位置に応じて相手側のカメラの光軸を制御することにより、表示画面と視線を一致させる双方向通信システム、端末装置及び制御方法が提案されている（例えば、特許文献４参照。）。

また、ディスプレイの両側に配置された複数のカメラにより撮影された入力画像に基づいて被写体の３次元情報を抽出し、抽出した３次元情報と受信者の視点位置に関する情報に応じて被写体の出力画像を再構成し、これを相手側のディスプレイへ表示させる画像処理装置が提案されている（例えば、特許文献５参照。）。この画像処理装置では、一直線上に配置された複数のカメラ映像から生成されたエピポーラ平面画像を用いて画面中心の仮想視点カメラ映像を合成することにより、利用者の視線を一致させて臨場感の高いコミュニケーションを実現することができる。

また、観察者の視点位置に合わせた画像を入力された画像群より切り替えて表示し、観察者の視点位置に応じた画像を表示する画像処理方法及びその装置（例えば、特許文献６参照。）も提案されている。この画像処理方法等においても、対応点の探索を容易化すべく、同様にエピポーラ平面画像を用いることができる。

また、ＴＶ会議で互いの視線を一致させるべく、画面の左右に設置された２台のカメラで撮影した画像に基づいて３次元位置情報を生成する画像通信装置（例えば、特許文献７参照。）も提案されている。

特開昭６１−６５６８３号公報 特開平４−１１４８５号公報 特開平９−１６８１４１号公報 特開２０００−８３２２８号公報 特開２００１−５２１７７号公報 特開平７−２９６１３９号公報 特開平７−９９６４４号公報

しかしながら、上述した従来のシステムでは、実際にディスプレイを視認するユーザ間において視線を一致させた状態で対話を実現することができるが、ハーフミラーやホログラムスクリーン、更にはプロジェクタ等のような特殊装置を使用する必要があり、簡易で安価なシステムを構成することができないという問題点があった。

特に近年において、ブロードバンドネットワーク技術の進歩に伴い、このテレビ電話システムやテレビ会議システムに対するニーズがますます高くなる中、ディスプレイを視認するユーザの視線方向を常時抽出することにより、細かい動きや表情までを正確に捉えた、よりリアルで臨場感のある遠隔対話を実現する必要がある。

そこで本発明は上述した問題点を解決すべく案出されたものであり、その目的とするところは、システム全体を複雑化させることなく、よりリアルで臨場感のある遠隔対話を実現することができる通信システム、撮像装置及び方法を提供することにある。

上述した問題点を解決するために、本発明では、撮影対象を少なくとも３台のカメラにより互いに異なる角度から撮像し、各カメラにより撮像された各画像の法線方向を仮想的に設定された仮想平面の法線方向に合わせることにより補正処理を施し、この補正処理を施した各画像間において撮影対象と関連させつつ画素位置毎に対応付けを行い、各カメラに対する上記撮影対象の相対的な位置関係を示す相対位置情報を生成し、互いに対応付けた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、新たに生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める。

即ち、本発明を適用した撮像装置は、撮影対象を互いに異なる角度から撮像する少なくとも３台のカメラを含む撮像手段と、少なくとも各カメラにより撮像された各画像の法線方向を合わせる画像補正手段と、画像補正手段により補正された各画像間において、撮影対象と関連させつつ画素位置毎に対応付けを行うマッチング手段と、各カメラに対する撮影対象の相対的な位置関係を示す相対位置情報を生成する情報生成手段と、マッチング手段により互いに対応付けされた画素位置並びにその輝度成分から、生成された相対位置情報に応じて、新たに生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成手段とを備える。

また、本発明を適用した撮像方法は、撮影対象を少なくとも３台のカメラにより互いに異なる角度から撮像し、各カメラにより撮像された各画像の法線方向を一方向に合わせる補正処理を施し、補正処理を施した各画像間において撮影対象と関連させつつ画素位置毎に対応付けを行い、各カメラに対する上記撮影対象の相対的な位置関係を示す相対位置情報を生成し、互いに対応付けた画素位置並びにその輝度成分から、生成した相対位置情報に応じて、新たに生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める。

本発明を適用した撮像装置及び方法では、撮影対象を少なくとも３台のカメラにより互いに異なる角度から撮像し、各カメラにより撮像された各画像の法線方向を仮想的に設定された仮想平面の法線方向に合わせることにより補正処理を施し、この補正処理を施した各画像間において撮影対象と関連させつつ画素位置毎に対応付けを行い、各カメラに対する撮影対象の相対的な位置関係を示す相対位置情報を生成し、互いに対応付けた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、新たに生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める。

これにより、本発明を適用した撮像装置及び方法では、システム全体を複雑化させることなく対話するユーザ間において常時視線を一致させたビジュアルコミュニケーションを実現することができ、よりリアルで臨場感のある遠隔対話を実現することができる。また、撮像した画像につき法線ベクトルを一方向に合わせることによる幾何学的正規化を施し、エピポーラ線を平行化させることによって、画像間の対応付け、並びに画像内挿を利用した仮想視点画像の生成を効果的に行うことができる。

以下、本発明を実施するための最良の形態について図面を参照しながら詳細に説明する。

本発明を適用した通信システム１は、例えば図１に示すように、Ａ地点のユーザａと、Ｂ地点のユーザｂとの間で、互いに離れた場所から相手の表示像を視認しながら遠隔対話するシステムである。

Ａ地点には、撮影対象としてのユーザａを互いに異なる角度から撮像するカメラ１１ａ、カメラ１２ａ,カメラ１３ａと、Ｂ地点側で撮像されたユーザｂの画像をユーザａに対して表示するためのディスプレイ５ａと、カメラ１１ａ,１２ａ,１３ａより撮像された各画像Ｐａ１,Ｐａ２,Ｐａ３に基づいて仮想視点画像Ｉｍａを生成し、これをネットワーク７を介してＢ地点へ送信する端末装置２ａが配設されている。

Ｂ地点には、撮影対象としてのユーザｂを互いに異なる角度から撮像するカメラ１１ｂ、カメラ１２ｂと、カメラ１３ｂと、Ａ地点側で撮像されたユーザａの画像をユーザｂに対して表示するためのディスプレイ５ｂと、カメラ１１ｂ,１２ｂ,１３ｂより撮像された各画像Ｐｂ１,Ｐｂ２,Ｐｂ３に基づいて仮想視点画像Ｉｍｂを生成し、これをネットワーク７を介してＡ地点へ送信する端末装置２ｂが配設されている。

なお、この端末装置２ａ,２ｂにより生成される上記仮想視点画像Ｉｍａ,Ｉｍｂは、相手の表示像が写し出されるディスプレイ５ａ,５ｂの中心付近において仮想的に設置された仮想カメラにより撮像される画像に相当する。

カメラ１１ａ,１１ｂは、それぞれユーザａ,ｂ側から見てディスプレイ５ａ,５ｂの左側面に設置されてなり、カメラ１２a,１２ｂは、それぞれユーザａ,ｂ側から見てディスプレイの右側面に設置されてなる。更にカメラ１３ａ,１３ｂは、それぞれユーザａ,ｂ側から見てディスプレイの上側面に設置されてなる。

このカメラ１１、１２、１３は、撮影方向、撮影画角が固定された状態で設置されるが、各ユーザａ,ｂからの入力される情報に基づき、これらを自在に変更するようにしてもよい。ちなみに、以下の通信システム１の説明においては、カメラ１１、１２、１３の各々のカメラの焦点で構成される三角形領域が、ユーザの視線の高さに合わせて設置される場合を例に挙げて説明をする。

ディスプレイ５ａ,５ｂは、それぞれネットワーク７を介して相手側地点から供給される仮想視点画像Ｉｍｂ,Ｉｍａに基づく画像を、例えば液晶表示面を介して表示する。このディスプレイ５ａ,５ｂにおける液晶表示面は、多数の液晶表示素子等からなり、各仮想視点画像Ｉｍｂ,Ｉｍａに基づく出力信号に応じて液晶表示素子を光変調させてユーザに表示する画像を作り出す。

端末装置２ａ,２ｂは、通常、パーソナルコンピュータ（ＰＣ）等の電子機器で構成される。これらの端末装置２ａ,２ｂは、ネットワーク７を介して互いに通信するための機能を備え、相手側からの要求に応じて画像や音声を送信する。なお、端末装置２ａ,２ｂの構成については後述する。

ネットワーク７は、例えば端末装置２と電話回線を介して接続されるインターネット網を始め、ＴＡ／モデムと接続されるＩＳＤＮ（Integrated Services Digital Network）／Ｂ（broadband）−ＩＳＤＮ等のように、情報の双方向送受信を可能とした公衆通信網である。ちなみにこの通信システム１を、一定の狭いエリア内で運用する場合には、このネットワーク７を、ＬＡＮ（Local Area Network）で構成してもよい。さらにこのネットワーク７は、動画像を送信する場合には、インターネットプロトコル（ＩＰ）に基づき、例えばＭＰＥＧ（Moving Picture Experts Group）データを始めとする動画像がある一つのチャネルから継続的に送信される。また静止画像を送信する場合には、動画像を送信するチャネルとは別のチャネルから一定時間毎に送信されることになる。なお、このネットワーク７には、さらに図示しないネットワークサーバを接続してもよい。この図示しないネットワークサーバは、例えばインターネット情報を管理し、端末装置２による要求を受けて、自身に格納してある所定の情報を送信する。

次に、端末装置２の構成について、端末装置２ａを例にとり図２を用いて説明をする。

端末装置２ａは、接続されたカメラ１１ａ,１２ａ,１３ａより画像Ｐａ１,Ｐａ２,Ｐａ３が供給される補正部２０と、この補正部２０に接続されるマッチング部２９と、さらにこのマッチング部２９に接続される仮想視点画像生成部３０と、仮想視点画像生成部３０により生成された仮想視点画像Ｉｍａを相手側の端末装置２ｂへ送信するための出力制御部３１と、各カメラ１１ａ,１２ａ,１３ａに対するユーザａの相対的な位置関係を示す相対位置情報を生成する情報生成部３３とを備えている。

補正部２０は、カメラ１１ａ,１２ａ,１３ａから送信される各画像Ｐａ１,Ｐａ２,Ｐａ３につき幾何学的な画像補正を施すための幾何学的画像補正部２１,２２,２３と、これら幾何学的画像補正部２１,２２,２３により画像補正が施された画像を正規化するための正規化処理部２４とを備えている。

幾何学的画像補正部２１,２２,２３は、カメラキャリブレーション部２６から送信される、上記カメラ１１ａ,１２ａ,１３ａの幾何学的な位置関係を含む制御情報に基づいて、各画像Ｐａ１,Ｐａ２,Ｐａ３を補正する。このカメラ１１ａ,１２ａ,１３ａの幾何学的な位置関係は、上述したカメラキャリブレーション部２６から送信される制御情報においてパラメータ化されていてもよい。また、各カメラ１１ａ,１２ａ,１３ａの撮影方向及び／又は撮影画角を変更しつつ撮像を実行する場合には、カメラキャリブレーション部２６においてこれらをパラメータ化し、画像を補正する際にこれらのパラメータを制御情報に含めるようにしてもよい。これにより、幾何学的画像補正部２１,２２,２３は、各カメラ１１ａ,１２ａ,１３ａの撮影方向及び／又は撮影画角に応じてリアルタイムに画像補正することができる。

なお、このカメラキャリブレーション部２６は、同様にカメラ１１ａ,１２ａ,１３ａの各レンズにおける色収差や歪み、光軸のずれをパラメータ化し、これらを各補正部２０へ送信するようにしてもよい。

正規化処理部２４は、各幾何学的画像補正部２１,２２,２３において補正された画像がそれぞれ供給され、これらにつき幾何学的正規化処理を施す。この正規化処理部２４は、各カメラにより撮像された各画像Ｐａ１,Ｐａ２,Ｐａ３の法線方向を合わせる。即ち、この正規化処理部２４は、各画像Ｐａ１,Ｐａ２,Ｐａ３の法線方向を仮想的に設定された仮想平面πの法線方向に合わせることによりこれを正規化し、それぞれ正規化画像Ｐｍ１,Ｐｍ２,Ｐｍ３を生成する。かかる場合において、正規化処理部２４は、各カメラ１１ａ,１２ａ,１３ａにより撮像された各画像Ｐａ１,Ｐａ２,Ｐａ３を上記仮想平面πへ射影するための射影変換行列を求め、求めた射影変換行列に基づいて上記各画像の法線方向を上記仮想平面πの法線方向に合わせる。

ちなみに、カメラキャリブレーション部２６は、カメラ１１ａ,１２ａ,１３ａとしていわゆる固定視点カメラを適用する場合には、予めカメラキャリブレーション部２６により画像Ｐａ１,Ｐａ２,Ｐａ３の法線方向を取得するようにしてもよい。また、各カメラ１１ａ,１２ａ,１３ａの撮影方向及び／又は撮影画角を変更しつつ撮像を実行する場合には、カメラキャリブレーション部２６においてこれらをパラメータ化し、画像を正規化する際にこれらのパラメータを制御情報に含めるようにしてもよい。これにより、ユーザａ,ｂの位置に応じて撮影方向等を順次変更しつつ撮像を行う場合においても柔軟に対応することができる。

また、このカメラキャリブレーション部２６において、これらのパラメータを図示しないＲＯＭやＲＡＭへ格納しておくことにより、補正部２０は、状況に応じて随時これらを参照することができ、高速な補正処理を実現することができる。またカメラキャリブレーション部２６は、上記カメラ１１ａ,１２ａ,１３ａから画像Ｐａ１,Ｐａ２,Ｐａ３が供給される度にこれらのパラメータを求めることにより、幾何学的画像補正部２１,２２,２３において精度の高い補正処理を実現することができる。

マッチング部２９は、正規化処理部２４において生成された正規化画像Ｐｍ１,Ｐｍ２,Ｐｍ３がそれぞれ供給される。このマッチング部２９は、これら正規化画像Ｐｍ１,Ｐｍ２,Ｐｍ３につき、互いに対応付けを行う。

この対応付けは、ユーザａの顔を構成する同一の箇所にある画素位置と輝度成分を正規化画像Ｐｍ１,Ｐｍ２,Ｐｍ３間で抽出して対応をとるようにする。例えば図３に示すように、正規化画像Ｐｍ１上にある画素位置Ｐ１１に対して、正規化画像Ｐｍ２上において同一の箇所に存在する画素位置Ｐ１１’をその対応点として特定し、更に正規化画像Ｐｍ３上において同一の箇所に存在する画素位置Ｐ１１’’をその対応点として特定する。かかる場合において、正規化画像Ｐｍ１上にある画素位置Ｐ１１と、正規化画像Ｐｍ２上にある画素位置Ｐ１１’とを対応付けする際に、正規化画像Ｐｍ３上の画素情報を参照する形で実行するようにしてもよい。同様の方法に基づき、正規化画像Ｐｍ１上にある画素位置Ｐ１２に対して、正規化画像Ｐｍ２上において同一の箇所に存在する画素位置Ｐ１２’をその対応点として特定し、更に正規化画像Ｐｍ３上において同一の箇所に存在する画素位置Ｐ１２’’をその対応点として特定する。

即ち、このマッチング部２９では、正規化処理部２４において正規化された正規化画像Ｐｍ１,Ｐｍ２,Ｐｍ３において、撮影対象と関連させつつ、画素位置毎に対応付けを行う。ちなみにマッチング部２９は、この対応付けにつき特徴抽出した箇所のみについて実行してもよいし、正規化画像Ｐｍ１,Ｐｍ２,Ｐｍ３を構成する全ての画素に対して実行してもよい。

情報生成部３３は、生成すべき相対位置情報をユーザａのディスプレイ５ａに対する視線方向に基づいて生成してもよい。かかる場合において情報生成部３０は、カメラ１１ａ,１２ａ,１３ａから供給される画像Ｐａ１,Ｐａ２,Ｐａ３からユーザａの視線方向を取得し、これに基づいて相対位置情報を生成する。これにより、いわば仮想カメラの撮影方向をユーザａの視線方向に合わせ込むことと同様の処理を実現することができる。また、情報生成部３３は、各カメラ１１ａ,１２ａ,１３ａにより生成された画像情報からDepth情報を取得し、当該取得したDepth情報に基づいて相対位置情報を生成するようにしてもよい。また情報生成部３３は、図示しないキーボードやマウス等の操作部を介して入力された情報に基づき、相対位置情報を生成するようにしてもよい。

仮想視点画像生成部３０は、マッチング部２９により互いに対応付けされた画素位置並びにその輝度成分がそれぞれ入力される。また、仮想視点画像生成部３０は、互いに対応付けされた画素位置並びにその輝度成分から、情報生成部３３より生成された相対位置情報に応じて、新たに生成すべき仮想視点画像Ｉｍａを構成する画素位置並びにその輝度成分を求める。仮想視点画像生成部３０は、求めた画素位置並びにその輝度成分により構成される仮想視点画像Ｉｍａを出力制御部３１へ供給する。

出力制御部３１は、仮想視点画像生成部３０において生成された仮想視点画像Ｉｍａを、ネットワーク７を介して端末装置２ｂへ送信するように制御する。かかる場合において、この出力制御部３１は、カメラ１１ａ,１２ａ,１３ａにより生成された画像Ｐａ１,Ｐａ２,Ｐａ３を単独で端末装置２ｂへ送信するように制御してもよい。

次に、この端末装置２における具体的な動作につき説明をする。

撮影対象としてのユーザａは、カメラ１１ａ,１２ａ,１３ａにより互いに異なる角度から撮影される。その結果、カメラ１１ａ,１２ａ,１３ａにより生成される画像Ｐａ１,Ｐａ２,Ｐａ３上のユーザａの視線方向、顔の向き等は、互いに異なる状態となる。このような画像Ｐａ１,Ｐａ２,Ｐａ３がそれぞれ補正部２０における正規化処理部２４へ供給されると、これらは、以下に示される方法に基づいて正規化されることになる。

例えば図４に示すように、各カメラ１１ａ,１２ａ,１３ａの光学中心Ｃ１,Ｃ２,Ｃ３により互いに異なる角度から撮影対象のＭ点へ光軸を合わせて撮像を行うと、これにより生成される画像Ｐａ１,Ｐａ２,Ｐａ３は、各カメラ１１ａ,１２ａ,１３ａの撮像面に対して平行となる。ここで各カメラ１１ａ,１２ａ,１３ａと、Ｍ点を結ぶ直線の方向は、各カメラにより撮像された各画像Ｐａ１,Ｐａ２,Ｐａ３の法線方向に一致するが、これらは互いに異なる方向を指している。これら各画像Ｐａ１,Ｐａ２,Ｐａ３の法線方向が同一方向となるように正規化を行うことにより、画像面が互いに平行な正規化画像Ｐｍ１,Ｐｍ２,Ｐｍ３を作り出す。

具体的には、図４に示すように光学中心Ｃ１,Ｃ２,Ｃ３により囲まれる仮想平面πを設定しておき、この仮想平面πの法線方向に対してこれら各画像Ｐａ１,Ｐａ２,Ｐａ３の法線方向が同一方向となるように、射影変換行列Ｐを用いて正規化する。このため、仮想平面πの設定は、各画像Ｐａ１,Ｐａ２,Ｐａ３の画像面を如何なる方向において平行化させるかを決定付けることとなる。

ちなみに、この射影変換行列と画像面との関係を説明する前提として、以下では、画像上の点をｍ＝［ｍ_０,ｍ_１］^Ｔとし、また空間中の点をｗ＝［ｗ_０,ｗ_１,ｗ_１］^Ｔとする。ここで、図５に示すように、Ｍ点を世界座標系で表したものを上記ｗで表示し、また各カメラ１１ａ,１２ａ,１３ａの光学中心Ｃ（Ｃ１,Ｃ２,Ｃ３）とＭ点とを結ぶ直線と各画像Ｐａ１,Ｐａ２,Ｐａ３との交点の座標を上記ｍにより表示する。即ち、各画像Ｐａ１,Ｐａ２,Ｐａ３における像平面内の位置をｍ＝［ｍ_０,ｍ_１］^Ｔにより定義する。かかる場合において、各点における斎次座標系での記述をそれぞれ以下のようにおく。

また、空間中の点ｗiと画像上の点ｍiの関係は以下に示す式で与えられる。

ここで、ｓは任意の変数であり、Ｐは上述した射影変換行列である。この射影変換行列は、Ｐ＝Ａ［Ｒ｜ｔ］で表される。Ｒは、画像の回転行列を表し、以下に示す式で与えられる。

またｔは、画像の並進行列を表し、以下の式で与えられる。

また、行列Ａは、カメラの内部パラメータと呼ばれるものであり、以下の示す式で与えられる。

ここで（ｕ_０,ｖ_０）は、それぞれ画像中心を表し、α（＝−ｆ・ｋｕ）、β（＝−ｆ・ｋｖ／ｓｉｎθ）は、それぞれｍ_０軸、ｍ_１軸のスケール因子を表し、γ（＝ｆ・ｋｕ・ｃｏｔθ）は、２つの軸のねじれを表す。

即ち、上記各式に基づいて、画像Ｐａ１,Ｐａ２,Ｐａ３毎に射影変換行列Ｐｏ１,Ｐｏ２,Ｐｏ３を求めることにより、図６(a)に示すように、各画像Ｐａ１,Ｐａ２,Ｐａ３につき、３次元空間から２次元画像平面へ射影変換することができる。換言すれば世界座標系で定義されるｍからカメラ座標系で定義されるｗへ射影変換することができる。

図６(b)は、この求めた射影変換行列Ｐｏｘ（Ｐｏ１,Ｐｏ２,Ｐｏ３）と像平面との関係を示している。これらカメラ座標系に射影変換された各画像Ｐａ（Ｐａ１,Ｐａ２,Ｐａ３）につき正規化を施すことにより、上記正規化画像Ｐｍ（Ｐｍ１,Ｐｍ２,Ｐｍ３）を作り出すことができる。

本発明を適用した通信システム１では、更にこの世界座標系として表される３次元空間から正規化画像Ｐｍ１,Ｐｍ２,Ｐｍ３へ射影変換するための射影変換行列Ｐｎｘ（Ｐｎ１,Ｐｎ２,Ｐｎ３）を求める。この射影変換行列Ｐｎｘ（Ｐｎ１,Ｐｎ２,Ｐｎ３）は、上述した画像の回転行列Ｒを再定義することで実現する。

図７は、この回転行列Ｒを再定義する手順を示している。ステップＳ１１において、回転行列Ｒ＝［ｒ０ｔ,ｒ１ｔ,ｒ２ｔ］につき、光学中心Ｃ（Ｃ１,Ｃ２,Ｃ３）を通る平面に対して垂直となるようにｒ２ｔを調整する。次にステップＳ１２へ移行し、ｒ０ｔにつき任意の値となるように調整する。更に、ステップＳ１３へ移行し、ｒ０ｔとｒ２ｔの外積からｒ１ｔを求める。最後にステップＳ１４へ移行し、上記ステップＳ１１〜Ｓ１３において各パラメータを調整したＲ＝［ｒ０ｔ,ｒ１ｔ,ｒ２ｔ］に基づき、射影変換行列Ｐｎ１,Ｐｎ２,Ｐｎ３を求める。

ちなみに、この正規化処理部２４において射影変換された正規化画像Ｐｍ１,Ｐｍ２,Ｐｍ３は、マッチング部２９において上述の如く撮影対象と関連させつつ、画素位置毎に対応付けされる。本発明においては、マッチング部２９の前段にある正規化処理部２４において予め正規化され、エピポーラ線が平行化されている。これと相俟って、本発明では、正規化画像Ｐｍ１〜Ｐｍ３のうち任意の２枚の正規化画像の対応付けを実行する。マッチング方法は、例えば下記文献「"A Maximum Likelihood Stereo Algorithm",Ingemar J. Cox, Sunita L. Hingorani, Satish B. Rao, and Bruce M. Maggs, CVIM vol.63, (1996).」に示される方法を用いるようにしてもよい。

上述の如く対応付けされた画素位置は、その輝度成分と共に、仮想視点画像生成部３０へ出力される。この仮想視点画像生成部３０には、情報生成部３３により生成された相対位置情報も送信される。

仮想視点画像生成部３０は、上述したマッチング部２９における対応付けの結果に基づき仮想視点画像Ｉｍａを生成する。ここで、この仮想視点画像生成部３０において、光学中心Ｃｑを有する仮想カメラにより撮像される仮想視点画像Ｉｍａを生成する場合を考える。かかる場合において光学中心Ｃｑの位置を、図８に示すように光学中心Ｃ１,Ｃ２,Ｃ３との関係で定義するとき、かかる光学中心Ｃｑと、各カメラ１１ａ,１２ａ,１３ａの光学中心Ｃ１,Ｃ２,Ｃ３の関係は、以下の式（１）により表すことができる。
Ｃｑ＝（１−α）（１−β）・Ｃ１＋α（１−β）・Ｃ２＋β・Ｃ３・・・・・（１）
この式（１）においてα、βは、情報生成部３３において生成される相対位置情報である。この相対位置情報α、βは、各カメラ１１ａ,１２ａ,１３ａの光学中心Ｃ１,Ｃ２,Ｃ３に対する仮想カメラの光学中心Ｃｑの位置との関係において決定される。ここでαは、仮想カメラにおける仮想視点がカメラ１１ａの光学中心Ｃ１に近くなるにつれて小さくなり、また仮想視点がカメラ１２ａの光学中心Ｃ２に近くなるにつれて大きくなる。また、βは、仮想カメラにおける仮想視点がカメラ１３ａの光学中心Ｃ３に近くなるにつれて大きくなる。即ち、上述した情報生成部３３において、ユーザａのディスプレイ５ａに対する視線方向に基づいて相対位置情報α、βを生成することにより、ユーザａの視線に合わせた仮想カメラの光学中心Ｃｑを設定することも可能となる。

また、仮想カメラにより撮像される仮想視点画像Ｉｍａを構成する各画素位置は、以下の式（２）に基づいて決定することができる。なお、この（２）式において、仮想視点画像Ｉｍａにおける画素位置をｗｑとし、仮想視点画像Ｉｍａの射影変換行列をＰｎｑとする。また、かかる画素位置ｗｑに対応する各正規化画像Ｐｍ１,Ｐｍ２,Ｐｍ３の画像位置をそれぞれｗ１,ｗ２,ｗ３とする。なお、これらの画素位置は、全て世界座標で表されているものとし、それぞれ射影変換行列を乗算することにより、像平面内の位置として表されるものとする。
Ｐｎｑ・ｗｑ＝（１−α）（１−β）・Ｐｎ１・ｗ１＋α（１−β）・Ｐｎ２・ｗ２＋β・Ｐｎ３・ｗ３・・・・・（２）
この式（２）に基づいて決定される画素位置ｗｑは、仮想カメラの光学中心Ｃｑがカメラ１１ａの光学中心Ｃ１に近づくにつれてｗ１へ近づき、カメラ１２ａの光学中心Ｃ２に近づくにつれてｗ２へ近づき、更にカメラ１３ａの光学中心Ｃ３に近づくにつれてｗ３へ近づくことになる。即ち、画素位置ｗｑを、仮想カメラの位置に応じて自在に決定することができるため、仮想視点画像Ｉｍａ上に表示させるユーザａの位置を自在に変化させることができる。

また、画像位置をそれぞれｗ１,ｗ２,ｗ３における輝度成分をそれぞれＪ１１, Ｊ１１',Ｊ１１''としたとき、仮想視点画像Ｉｍａ上の画素位置ｗｑにおける輝度成分Ｐｔを以下の式（３）に基づき決定することができる。
Ｐｔ＝（１−α）（１−β）・Ｊ１１＋α（１−β）・Ｊ１１'＋β・Ｊ１１''・・・（３）
この式（３）に基づいて決定される輝度成分Ｐｔは、仮想カメラの光学中心Ｃｑがカメラ１１ａの光学中心Ｃ１に近づくにつれてＪ１１へ近づき、カメラ１２ａの光学中心Ｃ２に近づくにつれてＪ１１'へ近づき、更にカメラ１３ａの光学中心Ｃ３に近づくにつれてＪ１１''へ近づくことになる。即ち、輝度成分Ｐｔを、仮想カメラの位置に応じて自在に決定することができるため、仮想視点画像Ｉｍａ上に表示させるユーザａを構成する画素の輝度を自在に変化させることができる。

このように仮想視点画像生成部３０は、仮想視点画像Ｉｍａを構成する各画素の座標並びにその輝度成分につき、相対位置情報としてのα、βに基づいて決定することができる。

また、本発明では、上述の如き幾何学的正規化を施しエピポーラ線を平行化させてあるため、このような画像内挿をより効果的に実行することが可能となる。

特に、各カメラ１１ａ,１２ａ,１３ａは互いに撮影方向が異なるため、同一の画像を示す画像位置ｗ１,ｗ２,ｗ３の輝度成分が互いに異なる。この互いに異なる輝度成分の何れか一方を最小値とし、他方が最大値となるようにして、相対位置情報としてのα、βに応じて輝度成分Ｐｔを線形に増減させることにより、仮想カメラの位置に応じて仮想視点画像Ｉｍａ上に表示させるユーザａを構成する画素の輝度成分を決定することが可能となる。

例えば、画像位置ｗ１,ｗ２,ｗ３とが、互いにユーザａが着用している眼鏡の縁の部分を捉えている場合に、これらは互いに異なる撮影方向で撮像されているため、その輝度成分は異なる。これらの輝度成分をそれぞれ最小値又は最大値として割り当て、相対位置情報としてのα、βに応じて輝度成分を線形に増減させることにより、輝度成分Ｐｔを決定する。この決定した輝度成分Ｐｔが、新たに生成すべき仮想視点画像Ｉｍａにおける眼鏡の縁を示す輝度成分に相当することになる。

また図９は、仮想視点画像Ｉｍａ並びに各カメラ１１ａ,１２ａ,１３ａにより生成される画像Ｐａ１,Ｐａ２,Ｐａ３の法線ベクトルを示している。この仮想視点画像生成部３３において得られる仮想視点画像Ｉｍａの法線ベクトルｎ_ｘは、画像Ｐａ１,Ｐａ２,Ｐａ３の法線ベクトルｎ_１,ｎ_２,ｎ_３を用いて以下の式（４）に基づき表すこともできる。
ｎ_ｘ＝（１−α）（１−β）・ｎ_１＋α（１−β）・ｎ_２＋β・ｎ_３・・・・・（４）
上述のようにして画素位置ｗｑにおける座標並びにその輝度成分Ｐｔを順次決定することにより、表示されるユーザａの視線方向、顔の向き等は互いに異なっていた画像Ｐａ１,Ｐａ２,Ｐａ３に対して、ユーザａの顔、視線方向が常時正面を向いている状態にある仮想視点画像Ｉｍａを作り出すことが可能となる。

生成された仮想視点画像Ｉｍａは、出力制御部３１を介して、ネットワーク７へ送出される。そして相手側の端末装置２ｂへ送信された仮想視点画像Ｉｍａは、端末装置２ｂにおける制御の下、ディスプレイ５ｂ上へ表示されることになる。ユーザｂは、ディスプレイ５ｂに表示される仮想視点画像Ｉｍａ上のユーザａを視認しつつ対話をすることになるが、ユーザａの顔、視線方向は常時正面を向いている状態にあるため、あたかも画面中央付近に設置された仮想カメラで撮像されたような画像を視認しているような感覚を味わうことができる。ユーザａについても同様にディスプレイ５ａに表示される仮想視点画像Ｉｍａ上のユーザｂを視認しつつ対話をすることになるが、常時正面を向いているユーザｂを視認することができる。即ち、この通信システム１では、いわば対話するユーザ間において常時視線を一致させたビジュアルコミュニケーションを実現することができ、よりリアルで臨場感のある遠隔対話を実現することができる。

特にこの通信システム１では、少なくとも３台のカメラ１１,１２,１３をディスプレイ５の両側に配設すれば足り、また被写体の３次元情報をその都度抽出する必要もなくなるため、システム全体が複雑化することがなくなるという利点もある。

また、この通信システム１では、ハーフミラーやホログラムスクリーン、更にはプロジェクタ等のような特殊装置を用いる必要もなく、簡易で安価なシステムを構成することができる。

なお、上述した実施の形態では、３台のカメラにより撮影対象を撮像する場合を例に挙げて説明をしたが、かかる場合に限定されるものではなく、４台以上のカメラをディスプレイの側面に設置して撮像を行うようにしてもよい。図１０は、ｎ台（ｎは４以上）のカメラ１１ａ〜カメラ１００が配設される端末装置２ａの構成図である。カメラ１１ａ〜カメラ１００により撮像された画像は、カメラ選択部１０１へ送信される。カメラ選択部１０１は、情報生成部３３から送信される相対位置情報に基づき、仮想カメラの光学中心Ｃｑに最も近い光学中心を持つカメラを３台選択し、上述の如く仮想視点画像Ｉｍａを生成する。互いに異なる４方向以上からユーザａを撮像することにより、仮にユーザの視線の高さが微妙に変化する場合であっても、細かい視線の動きを捉えた上位３方向から撮像した画像を取得することにより、常時視線を一致させた状態で対話を実現することが可能となる。

なお、本発明を適用した端末装置２とカメラ１１,１２とを一体化させた撮像装置として適用してもよいことは勿論である。また、これら端末装置２や通信システム１をテレビ会議システム以外の仮想視点画像を生成を必要とする各種映像コンテンツ制作に適用してもよいことは勿論である。

本発明を適用した通信システムの概略を示す図である。 端末装置の構成につき説明するための図である。 マッチング部における対応付けにつき説明するための図である。 各画像Ｐａ１,Ｐａ２,Ｐａ３の法線方向を合わせる正規化につき説明するための図である。 ３次元空間の点と像平面の点との位置関係につき説明するための図である。 求めた射影変換行列と像平面との関係につき説明するための図である。 回転行列Ｒを再定義する手順を示すフローチャートである。 仮想視点画像を作成する方法につき説明するための図である。 仮想視点画像並びに各カメラより生成される画像の法線ベクトルの関係につき示す図である。 ４台以上のカメラをディスプレイの側面に設置して撮像を行う場合につき説明するための図である。

符号の説明

１ 通信システム、２ 端末装置、５ ディスプレイ、７ ネットワーク、１１,１２,１３ カメラ、２１〜２４ 幾何学的画像補正部、２４ 正規化処理部、２６ カメラキャリブレーション部、２９ マッチング部、３０ 仮想視点画像生成部、３１ 出力生成部、３３ 情報生成部

Claims (7)

1. 撮影対象を互いに異なる角度から撮像する少なくとも３台のカメラを含む撮像手段と、
   少なくとも上記各カメラにより撮像された各画像の法線方向を一方向に合わせる画像補正手段と、
   上記画像補正手段により補正された各画像間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチング手段と、
   上記各カメラに対する上記撮影対象の相対的な位置関係を示す相対位置情報を生成する情報生成手段と、
   上記マッチング手段により互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、新たに生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成手段とを備えること
   を特徴とする撮像装置。
2. 上記画像補正手段は、上記各カメラにより撮像された各画像の法線方向を仮想的に設定された仮想平面の法線方向に合わせること
   を特徴とする請求項１記載の撮像装置。
3. 上記情報生成手段により生成された相対位置情報に応じて上記仮想平面を設定する仮想平面設定手段をさらに備えること
   を特徴とする請求項２記載の撮像装置。
4. 上記画像補正手段は、上記各カメラにより撮像された各画像を上記仮想平面へ射影するための射影変換行列を求め、求めた射影変換行列に基づいて上記各画像の法線方向を上記仮想平面の法線方向に合わせること
   を特徴とする請求項２記載の撮像装置。
5. 上記画像補正手段は、上記撮像手段におけるカメラが４台以上含まれている場合には、上記情報生成手段により生成された相対位置情報に基づいて３台のカメラを選択し、選択した３台のカメラにより撮像された各画像の法線方向を上記仮想平面の法線方向に合わせること
   を特徴とする請求項１記載の撮像装置。
6. 上記撮像手段は、上記各カメラの撮影方向及び／又は撮影画角を制御し、
   上記画像補正手段は、上記撮影手段により制御された各カメラの撮影方向及び／又は撮影画角に基づいて、上記各カメラにより撮像された各画像の法線方向を上記仮想平面の法線方向に合わせること
   を特徴とする請求項１記載の撮像装置。
7. 撮影対象を少なくとも３台のカメラにより互いに異なる角度から撮像し、
   上記各カメラにより撮像された各画像の法線方向を一方向に合わせる補正処理を施し、
   上記補正処理を施した各画像間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行い、
   上記各カメラに対する上記撮影対象の相対的な位置関係を示す相対位置情報を生成し、
   上記互いに対応付けた画素位置並びにその輝度成分から、上記生成した相対位置情報に応じて、新たに生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求めること
   を特徴とする撮像方法。

Images