JP2013074381A - 視差画像生成装置、視差画像生成方法及び視差画像生成装置の制御プログラム - Google Patents

Abstract

【課題】左右の視差画像の信号を１つの信号として出力する視差画像生成装置、視差画像生成方法及び視差画像生成装置の制御プログラムを提供すること
【解決手段】本発明にかかる視差画像生成装置１０は、３次元情報を有する映像信号を受信する受信部１１と、左目用画像を生成するための第１の位置データと、右目用画像を生成するための第２の位置データと、を出力する位置データ出力部１３と、前記映像信号及び前記第１の位置データに基づく左目用画像の生成と、前記映像信号及び前記第２の位置データに基づく右目用画像の生成と、を交互に行って２次元画像信号を出力する画像信号出力部１２と、を備える。
【選択図】図１

Description

本発明は、視差画像生成装置、視差画像生成方法及び視差画像生成装置の制御プログラムに関する。

映像産業分野においては、近年、３次元映像を表示可能なテレビ（３Ｄテレビ）が販売されるなど、３次元映像の作成、表示等に関する技術が進歩している。

例えば、特許文献１は、２次元表示装置用の３次元コンテンツデータを立体ディスプレイ装置用データに加工して出力するステレオビューアの技術を開示している。このステレオビューアは、右目用画像及び左目用画像を、それぞれ別のＶＲＭＬプラグインの描画エンジンで生成する。

特開２０１１−０７０４３２号公報

従来、映像の拡大、縮小、移動、回転等の座標変換の映像処理を実行する場合は、座標変換の回路が１出力に対して１回路必要となる。立体表示のために左右の視差画像を作成する場合、その回路が左右の視差画像毎に１セットずつ必要となる。そのため、視差画像を作成するための回路規模が大きくなってしまう。

例えば、特許文献１においては、右目用画像及び左目用画像を生成するための描画エンジンがそれぞれ必要である。

本発明は、このような問題点を解決するためになされたものであり、左右の視差画像の信号を１つの信号として出力する視差画像生成装置、視差画像生成方法及び視差画像生成装置の制御プログラムを提供することを目的とする。

本発明にかかる視差画像生成装置は、映像信号を受信する受信部と、左目用画像を生成するための第１の位置データと、右目用画像を生成するための第２の位置データと、を出力する位置データ出力部と、前記映像信号及び前記第１の位置データに基づく左目用画像の生成と、前記映像信号及び前記第２の位置データに基づく右目用画像の生成と、を交互に行って２次元画像信号を出力する画像信号出力部と、を備える。

本発明にかかる視差画像生成方法は、映像信号を受信するステップと、左目用画像を生成するための第１の位置データと、右目用画像を生成するための第２の位置データと、を出力するステップと、前記映像信号及び前記第１の位置データに基づく左目用画像の生成と、前記映像信号及び前記第２の位置データに基づく右目用画像の生成と、を交互に行って２次元画像信号を出力するステップと、を備える。

本発明にかかる視差画像生成装置の制御プログラムは、映像信号を受信するステップと、左目用画像を生成するための第１の位置データと、右目用画像を生成するための第２の位置データと、を出力するステップと、前記映像信号及び前記第１の位置データに基づく左目用画像の生成と、前記映像信号及び前記第２の位置データに基づく右目用画像の生成と、を交互に行って２次元画像信号を出力するステップと、を視差画像生成装置に実行させる。

本発明により、左右の視差画像の信号を１つの信号として出力する視差画像生成装置、視差画像生成方法及び視差画像生成装置の制御プログラムを提供することができる。

実施の形態１にかかる視差画像生成装置の構成例を示す図である。 実施の形態２にかかる視差画像生成装置の構成例を示す図である。 実施の形態２にかかるカメラ座標変換に用いる、仮想的なカメラ撮影位置の例を示す図である。 実施の形態２にかかる制御信号変換器等の処理例を示す図である。 実施の形態２にかかる出力制御部等の処理例を示す図である。 実施の形態３にかかる視差画像生成装置の構成例を示す図である。 実施の形態４にかかる合成出力信号の例を示す図である。 実施の形態４にかかる合成出力信号の例を示す図である。 実施の形態４にかかる合成出力信号の例を示す図である。

実施の形態１
本実施形態にかかる視差画像生成装置は、左目用の視差画像の信号及び右目用の視差画像の信号を交互に出力する。このようにすることにより、左目用の視差画像の信号及び右目用の視差画像の信号を１つの信号として出力することができる。

以下、図面を参照して本発明の実施の形態について説明する。図１は、本実施形態にかかる視差画像生成装置の全体構成例である。視差画像生成装置１０は、受信部１１、画像信号出力部１２及び位置データ出力部１３を備える。視差画像生成装置１０は、例えばプロダクションスイッチャ、映像編集機、パーソナルコンピュータ等のコンピュータ、といった映像の生成・編集を行う装置である。受信部１１、画像信号出力部１２及び位置データ出力部１３は、適宜ＩＣ（集積回路）等のハードウェアあるいはソフトウェア、又はその両方により構成される。

受信部１１は、外部から映像信号を受信し、画像信号出力部１２に出力する。なお、この映像信号は、２次元の映像信号である。

画像信号出力部１２は、受信した２次元の映像信号及び位置データ出力部１３から受信した位置データに基づいて、２つの視差画像である２次元の左目用画像及び右目用画像を生成し、出力する。

なお、画像信号出力部１２は、受信した２次元の映像信号を、映像信号中のオブジェクトの３次元情報のデータに変換する。変換に必要な各種パラメータは、外部から提供されてもよいし、視差画像生成装置１０にある図示しないデータ保持部から提供されてもよい。そして、その３次元情報のデータと、３次元の第１の位置データとに基づいて、左目用画像を生成する。さらに、その３次元情報のデータと、３次元の第２の位置データとに基づいて、右目用画像を生成する。このようにして、画像信号出力部１２は、受信した映像信号に基づいて、２次元の左目用画像及び右目用画像を生成する。

このとき、画像信号出力部１２は、左目用画像の生成と、右目用画像の生成とを交互に実行する。これにより、画像信号出力部１２は、左目用画像の信号と右目用画像の信号とを交互に出力する。

位置データ出力部１３は、第１の位置データ及び第２の位置データという２種類の３次元の位置データを、画像信号出力部１２に出力する。この位置データは、例えば、３次元座標上において、左目用画像及び右目用画像の仮想的なカメラ撮影位置を示すデータである。

なお、位置データ出力部１３は、画像信号出力部１２に対し、第１の位置データ及び第２の位置データを１回だけ出力してもよいし、複数回出力してもよい。位置データが１回だけ出力される場合、画像信号出力部１２は出力された位置データを保持し、そのデータに基づいて左目用画像及び右目用画像を生成する。位置データ出力部１３から新しく位置データが出力された場合、画像信号出力部１２は、前の位置データに代わり、新しく出力された位置データを保持し、そのデータに基づいて左目用画像及び右目用画像を生成する。

あるいは、位置データ出力部１３は、交互に第１の位置データ及び第２の位置データを画像信号出力部１２に対して出力してもよい。その場合、画像信号出力部１２は、出力された位置データが第１の位置データであれば左目用画像を生成し、出力された位置データが第２の位置データであれば右目用画像を生成する。

以上のようにして、画像信号出力部１２は、左目用画像及び右目用画像を交互に生成して、２次元の画像信号を出力する。画像信号出力部１２は、左目用画像の信号及び右目用画像の信号を交互に出力することによって、出力する２次元の画像信号を１つの信号にすることができる。これにより、左目用画像及び右目用画像を生成する回路が１つで済むため、視差画像生成装置１０の回路規模が削減できるという効果が生じる。さらに、信号線も、左目用画像と右目用画像とで１本ずつ用意する（合計２本用意する）必要がなく、左目用画像及び右目用画像を合わせて１本の信号線ですむ。これによっても、視差画像生成装置１０の回路規模を削減することができる。

実施の形態２
本実施形態にかかる視差画像生成装置は、クロックに基づいて、左目用の視差画像の信号及び右目用の視差画像の信号を周期的に出力する。このようにして、実施の形態１と同様に、左目用の視差画像の信号及び右目用の視差画像の信号を１つの信号として出力することができる。

以下、図面を参照して本発明の実施の形態について説明する。図２は、本実施形態にかかる視差画像生成装置の全体構成例である。視差画像生成装置２０は、受信部２１、３次元座標変換部３０、制御信号発生器２２、距離データ保持部２３、クロック生成部２４、制御信号変換器２５、出力制御部２６、画像信号出力部２７及び画像信号出力部２８を備える。３次元座標変換部３０は、実施の形態１に示した画像信号出力部１２に対応する。制御信号発生器２２、距離データ保持部２３、クロック生成部２４及び制御信号変換器２５は、実施の形態１に示した位置データ出力部１３に対応する。

受信部２１は、外部から２次元の映像信号を受信し、３次元座標変換部３０に出力する。この映像信号は、例えばハイビジョンで用いられる画面アスペクト比１６：９の映像信号である。視差画像生成装置２０は、この映像信号に基づいて、座標変換を実行し、立体視用の左目用画像及び右目用画像の視差画像を生成する。

３次元座標変換部３０は、入力された２次元の映像信号の３次元座標変換を実行する。具体的には、２次元の映像信号の画像に表示されたオブジェクトを、仮想的な３次元空間中にあるオブジェクトとして定義する。その後、３次元座標変換部３０は、その３次元空間上において、左目用画像の仮想的な第１のカメラ撮影位置でオブジェクトを撮影した２次元画像と、右目用画像の仮想的な第２のカメラ撮影位置でオブジェクトを撮影した２次元画像とを生成して出力する。

３次元座標変換部３０は、左目用画像及び右目用画像の生成のため、拡大・縮小部３１、ローカル座標変換部３２、ワールド座標変換部３３、カメラ座標変換部３４及び透視変換部３５を備える。

拡大・縮小部３１は、入力された２次元の映像信号において、画面サイズの拡大又は縮小といった加工を実行する。拡大・縮小部３１は、加工した２次元の映像信号を、ローカル座標変換部３２に出力する。なお、画面サイズの拡大又は縮小の比率といった加工に必要なパラメータは、制御信号発生器２２から出力される制御信号により供給される。

ローカル座標変換部３２は、受信した２次元の映像信号において、オブジェクト毎の３次元座標系（ローカル座標系）の情報を設定する。これにより、ローカル座標変換部３２は、各オブジェクトのモデリングを実行する。設定されたオブジェクトの情報は、ワールド座標変換部３３に出力される。以上のローカル座標系の設定に必要なパラメータは、制御信号発生器２２から供給される。

ワールド座標変換部３３は、ローカル座標変換部３２で設定された各オブジェクトを３次元仮想空間（ワールド座標により定義される空間）に配置する。これにより、ローカル座標系からワールド座標系への変換を実行する。以上の変換を行った後、ワールド座標変換部３３は、ワールド座標系で見たオブジェクトの３次元の座標情報をカメラ座標変換部３４に出力する。

この変換に際して、オブジェクトの拡大又は縮小、回転、平行移動等が適宜実施される。例えば、オブジェクトの拡大又は縮小を表すスケーリング行列ｓｉｚｅの一例は、次の通りである。

この行列は同次変換行列であり、これによって、オブジェクトのｘ軸方向のサイズがＸｓｉｚｅ倍に拡大され、オブジェクトのｙ軸方向のサイズがＹｓｉｚｅ倍に拡大される。なお、（式１）におけるｘ軸、ｙ軸、ｚ軸は、ワールド座標のｘ軸、ｙ軸、ｚ軸のことである。以下の（式２）〜（式５）も同様である。

オブジェクトの回転を表す回転行列は、次の通りである。ｚ軸回りの回転を表す回転行列Ｚｒｏｔは

であり、ｘ軸回りの回転を表す回転行列Ｘｒｏｔは

であり、ｙ軸回りの回転を表す回転行列Ｙｒｏｔは

である。（式２）中の角度Ｚ、（式３）中の角度Ｘ、（式４）中の角度Ｙは、それぞれ、ｚ軸回りの回転角、ｘ軸回りの回転角、ｙ軸回りの回転角を示す。（式２）の回転行列Ｚｒｏｔにより、オブジェクトはｚ軸回りに角度Ｚで回転する。（式３）の回転行列Ｙｒｏｔにより、オブジェクトはｙ軸回りに角度Ｙで回転する。（式４）の回転行列Ｘｒｏｔにより、オブジェクトはｘ軸回りに角度Ｘで回転する。

オブジェクトの平行移動を表す平行移動行列ｐｏｓは、次の通りである。

（式５）の平行移動行列ｐｏｓにより、オブジェクトは、ｘ軸方向にＸｐｏｓ、ｙ軸方向にＹｐｏｓ、ｚ軸方向にＺｐｏｓだけ平行移動する。なお、以上のワールド座標系の設定に必要なパラメータは、制御信号発生器２２から供給される。

カメラ座標変換部３４は、ワールド座標変換部３３から受信したオブジェクトの３次元情報において、ワールド座標系をカメラ座標系に変換する。なお、カメラ座標系は、オブジェクトを撮影するカメラの撮影位置及び撮影方向のパラメータに基づいて決定される。このパラメータは、制御信号変換器２５から出力される制御信号により供給される。

カメラ座標変換部３４は、オブジェクトの３次元情報及び左目用画像のための仮想的な第１のカメラ撮影位置に基づいて、その第１のカメラ撮影位置から撮影したオブジェクトの３次元座標の情報（左目用画像のための３次元情報）を生成する。同様に、オブジェクトの３次元情報及び右目用画像のための仮想的な第２のカメラ撮影位置に基づいて、その第２のカメラ撮影位置から撮影したオブジェクトの３次元座標の情報（右目用画像のための３次元情報）を生成する。カメラ座標変換部３４は、左目用画像のための３次元情報と、右目用画像のための３次元情報とを、透視変換部３５に対し、周期的に出力する。この詳細については後述する。

透視変換部３５は、透視変換を行い、出力された左目用画像のための３次元情報から、２次元の左目用画像を生成する。同様に、出力された右目用画像のための３次元情報から、２次元の右目用画像を生成する。

透視変換に用いる変換行列ｐｅｒｓの一例は以下の通りである。

ここで、ｒは、カメラから、透視変換に用いる仮想的なスクリーンまでの距離を表す。透視変換により、仮想的なスクリーンに映し出されたオブジェクトの画像を、透視変換部３５は２次元の画像として出力する。透視変換に必要なｒ等のパラメータは、制御信号発生器２２から制御信号により供給される。なお、（式６）におけるｘ軸、ｙ軸、ｚ軸は、カメラ座標系におけるｘ軸、ｙ軸、ｚ軸のことである。

透視変換部３５には、カメラ座標変換部３４から、左目用画像のための３次元情報及び右目用画像のための３次元情報が周期的に出力される。これにより、透視変換部３５は、左目用画像のみを含む第１の画像信号及び右目用画像のみを含む第２の画像信号を分けて出力する。ここでは、第１の画像信号及び第２の画像信号を、１つの出力信号として出力する。以上のようにして、３次元座標変換部３０は、第１の画像信号及び第２の画像信号を出力する。

制御信号発生器２２は、拡大、縮小、移動、回転等の変換に用いるパラメータを保持する。制御信号発生器２２は、これらのパラメータを、拡大・縮小部３１、ローカル座標変換部３２、ワールド座標変換部３３及び透視変換部３５に対し、制御信号として供給する。

制御信号発生器２２は、更に、カメラの基準位置のデータを保持しており、制御信号変換器２５に対し、基準位置のデータを制御信号として出力する。

距離データ保持部２３は、制御信号変換器２５に対し、カメラ座標系における第１のカメラ撮影位置とカメラの基準位置との距離（以下、視差距離と表す）のデータをパラメータとして出力する。なお、距離データ保持部２３が保持する視差距離のデータは、ここでは一意的に定められている。

ここで、図３を用いて、制御信号変換器２５及び視差距離について説明する。図３では、図３（ａ）に示すようなオブジェクト（球として表されている）を、図３（ｂ）に示す撮影位置によりカメラで撮影する。図３（ｂ）では、カメラ座標系におけるカメラの基準位置（立体視を行わないときのカメラ位置）はＣ、左目用画像用のカメラ（以下第１のカメラと表記）の位置はＬ、右目用画像用のカメラ（以下第２のカメラと表記）の位置はＲである。この場合、視差距離ｄ（正の値）は、ｘ軸方向のＣとＬとの距離、又はＣとＲとの距離を示す。つまり、カメラ座標系における第１のカメラ撮影位置とカメラの基準位置との距離、第２のカメラ撮影位置とカメラの基準位置との距離は同じである。図３（ｂ）の例では、視差距離はｄなので、Ｃ＝（ｘ，ｙ，ｚ）としたとき、Ｌ＝（ｘ−ｄ，ｙ，ｚ）、Ｒ＝（ｘ＋ｄ，ｙ，ｚ）となる。

なお図３（ｂ）の例では、ｘ軸方向にカメラの視差距離をとっている場合を考慮したが、ｙ軸方向としてもよい。

図３（ｂ）における第１のカメラの注視方向は、基準位置にあるカメラの注視方向と平行ではなく、基準位置にあるカメラと同じオブジェクトを撮影するように、注視方向がずれている。

図３（ｂ）における第２のカメラの注視方向も、基準位置にあるカメラの注視方向と平行ではなく、基準位置にあるカメラと同じオブジェクトを撮影するように、注視方向がずれている。この第１のカメラ及び第２のカメラの注視方向は、視差距離ｄ及びカメラの注視点によって一意的に決定される。

この第１のカメラ及び第２のカメラの注視方向のデータは、視差距離に応じて変化するように設定される。制御信号発生器２２は、このデータを制御信号変換器２５に供給する。

以下、図２の視差画像生成装置２０の説明に戻る。クロック生成部２４は、クロックを生成し、制御信号変換器２５に出力する。

制御信号変換器２５は、カメラ座標変換部３４へ渡す制御信号を変換する。ここで、制御信号変換器２５には、制御信号発生器２２からカメラの基準位置のデータ及びカメラの注視方向のデータがパラメータとして出力される。距離データ保持部２３からは、視差距離のデータがパラメータとして出力され、クロック生成部２４からは、クロックが出力される。

ここで、図４を用いて、図２のカメラ座標変換部３４、制御信号発生器２２、距離データ保持部２３、クロック生成部２４及び制御信号変換器２５の処理の詳細を説明する。カメラ座標変換部３４は、制御信号発生器２２から出力されたデータ（図３における、カメラの基準位置（ｘ,ｙ,ｚ））に対して、クロック生成部２４で発生したクロックに基づいて変換を行っている。その変換方法は、１クロック毎にカメラ位置ｘに対して視差距離ｄを加減算し、第１のカメラ撮影位置（ｘ−ｄ，ｙ，ｚ）のデータと第２のカメラ撮影位置（ｘ＋ｄ，ｙ，ｚ）のデータを１クロック毎に出力するというものである。こうすることによって、カメラの基準位置が１クロック毎に立体視用の左右のカメラ位置に変換され、カメラ座標変換部３４に供給される。

なお、第１のカメラ撮影位置のデータが出力される場合、そのカメラの位置に対応するカメラの注視方向についてもカメラ座標変換部３４に供給される。第２のカメラ撮影位置に対応するカメラの注視方向についても同様である。制御信号発生器２２は、カメラの注視方向を、対象物の方向及び距離データ保持部２３に保持された視差距離に基づいて計算し、制御信号変換器２５に出力する。

なお、図４では１クロック毎に視差距離ｄを加減算したが、数クロック毎に視差距離ｄの加減算を行ってもよい。以上のようにして、制御信号変換器２５は、クロックのタイミングに基づき、制御信号を変換して、第１のカメラ撮影位置のデータと第２のカメラ撮影位置のデータとを交互にカメラ座標変換部３４に出力する。カメラの注視方向のデータについても、同様に交互にカメラ座標変換部３４に出力する。カメラ座標変換部３４は、第１のカメラ撮影位置のデータ及び対応する注視方向のデータ、第２のカメラ撮影位置のデータ及び対応する注視方向のデータに基づいて、右目用画像のための３次元情報と、左目用画像のための３次元情報とを交互に生成する。

以下、図２に戻って視差画像生成装置２０の説明を続ける。出力制御部２６は、透視変換部３５から出力された１つの映像信号を、第１の画像信号及び第２の画像信号の２つの信号として分割する。

ここで、図５を用いて、クロック生成部２４、出力制御部２６及び画像信号出力部２７、２８の処理の詳細を説明する。図５では、透視変換部３５から出力された映像信号は、出力制御部２６によって、１クロック毎に右目用画像及び左目用画像の出力信号に分けて出力される。

図５において、１クロック毎に０〜４で示された画像信号が、出力制御部２６に入力される。出力制御部２６は、クロック生成部２４のクロックに基づいて、透視変換部３５から出力された映像信号を左目用画像の出力信号及び右目用画像の出力信号に分配する。図５において、画像信号０、２、４は左目用画像の信号であり、１、３は右目用画像の信号であるため、画像信号０、２、４は画像信号出力部２７に、画像信号１、３は画像信号出力部２８に入力される。これによって、視差画像生成装置２０は、１画面の出力あたり、受信部２１が受信した映像信号の１/２の解像度の映像信号を２つ生成する。あるいは、視差画像生成装置２０は、クロックがない場合に生成される右目用画像の信号及び左目用画像の信号の１/２の解像度となる映像信号を２つ生成する、と言ってもよい。以上から、画像信号出力部２７からは偶数番目の画像信号のみが出力され、奇数番目の画像信号は出力されない。反対に、画像信号出力部２８からは奇数番目の画像信号のみが出力され、偶数番目の画像信号は出力されない。

以上の通り、制御信号変換器２５は、３次元座標変換の途中でカメラ座標変換部３４がカメラ座標系での座標変換を実行するときに、カメラ座標変換部３４にクロックに基づく視差距離のデータを与える。これによって、３次元座標変換部３０は、右目用画像及び左目用画像の視差画像を生成する。

映像の制作編集をする映像制作スイッチャ等の視差画像生成装置において、拡大、縮小、回転、移動等の３次元座標変換を実行する場合、入力された１つの映像に対して変換された映像が１つ出力される。そのため、従来の装置では、３次元映像のための右目用画像及び左目用画像を生成するために、ハードウェア上に左目用と右目用のそれぞれの座標変換の回路を備える必要がある。

具体的にいえば、従来の視差画像生成装置では、図２におけるクロック生成部２４、制御信号変換器２５がなく、第１のカメラ、第２のカメラに対応するカメラ座標変換部が２個設けられていた。制御信号発生器２２から出力された第１のカメラ撮影位置のデータが一方のカメラ座標変換部に、第２のカメラ撮影位置のデータが他方のカメラ座標変換部に供給された。２個のカメラ座標変換部は、それぞれ左目用画像のための３次元情報と右目用画像のための３次元情報を独立に生成し、個々に１つの信号線で出力した。そして、左目用画像のための３次元情報と右目用画像のための３次元情報は、別々の透視変換部により、第１の画像信号と第２の画像信号に変換され、そのまま１本ずつの信号として出力される。そのため、カメラ座標変換部及び透視変換部が２個ずつ必要になった。

しかしながら、座標変換の回路を左目用と右目用の２個用意する必要があるため、視差画像生成装置内における回路規模が膨らむという第一の問題点があった。さらに、座標変換前と比較して信号の解像度が変わらない左目用と右目用の信号が計２本出力されるため、装置内の信号線が多くなるという第二の問題点があった。

図２に示した視差画像生成装置２０では、クロック信号に基づき、入力信号の解像度を１/２にして座標変換を行い、出力信号を生成する。そのため、１個の座標変換回路で右目用画像及び左目用画像を生成することができ、立体視に対応した座標変換信号生成装置の回路規模を小さく出来る。さらに、座標変換回路の途中においても、信号帯域の合計が１信号分の帯域と同等となり、信号線が１本で済むため、立体視に対応した座標変換信号生成装置の信号線を少なくすることが出来る。

さらに、出力制御部２６は、カメラ座標変換に用いたクロック信号を用いることで、他の制御装置等を用いずに第１の画像信号及び第２の画像信号を分けて出力することができる。このため、座標変換信号生成装置の回路数を少なくすることが出来る。

実施の形態３
本実施の形態においては、実施の形態２において示した視差距離を変更することにより、右目用画像及び左目用画像からなる３次元映像の立体感を変えることができる。

図６を用いて、本実施の形態にかかる視差画像生成装置２０の構成について説明する。視差画像生成装置２０は、図２に示した構成の他に、距離データ変更部２９を備える。それ以外の視差画像生成装置２０の構成要素については、図２と同様なので説明を省略する。視差画像生成装置２０の処理動作についても、実施の形態２と同様である。

この距離データ変更部２９は、視差距離のデータを変えて距離データ保持部２３に出力することで、距離データ保持部２３が保持する視差距離のデータを変更する。これにより、実施の形態２において一意的に定められていた視差距離のデータ及び対応するカメラの注視方向のデータを適宜変更することができる。

例えば、距離データ変更部２９は、視差距離を０からｄの値までリニアに変更して、距離データ保持部２３に供給する。従って、距離データ保持部２３が制御信号変換器２５に供給する視差距離は、０からｄの値までリニアに変更する。制御信号変換器２５は、初期時刻において、カメラ座標変換部３４に対し、第１のカメラ撮影位置の座標としてＬ＝（ｘ，ｙ，ｚ）、第２のカメラ撮影位置の座標としてＲ＝（ｘ，ｙ，ｚ）を出力する。その後、第１のカメラ撮影位置の座標としてＬ＝（ｘ−α，ｙ，ｚ）、第２のカメラ撮影位置の座標としてＲ＝（ｘ＋α，ｙ，ｚ）を出力する。なお、０＜α＜ｄであり、αは時間経過に従い一定の割合で大きくなる。最後に、第１のカメラ撮影位置の座標としてＬ＝（ｘ−ｄ，ｙ，ｚ）、第２のカメラ撮影位置の座標としてＲ＝（ｘ＋ｄ，ｙ，ｚ）を出力する。

カメラ座標変換部３４は、この第１のカメラ撮影位置の座標及び対応する注視方向のデータに基づいて、左目用画像のための３次元情報を生成し、透視変換部３５に出力する。カメラ座標変換部３４は、同様に、第２のカメラ撮影位置の座標及び対応する注視方向のデータに基づいて、右目用画像のための３次元情報を生成し、透視変換部３５に出力する。透視変換部３５は、実施の形態２と同様の処理を行い、右目用画像及び左目用画像を生成する。以上のようにして、視差画像生成装置２０は、右目用画像及び左目用画像を生成する。

この右目用画像と左目用画像は、初期時刻においては同じ画像（同じ視差を有する画像）であったのが、時刻が経過するに従い、視差が次第に大きくなるような画像に変わる。この右目用画像及び左目用画像を見るユーザは、最初は立体視ではない２次元映像を見ていたのが、徐々に立体感が増す３次元映像を見ることができる。このように、視差距離をリニアに変化して、第１のカメラ撮影位置の座標及び第２のカメラ撮影位置の座標を変化させることにより、以上のような効果を得ることができる。

なお、視差距離が０の場合、右目用画像の仮想的な第１のカメラ撮影位置と、左目用画像の仮想的な第２のカメラ撮影位置は同じ位置である。さらに、カメラの注視方向も、第１のカメラ及び第２のカメラで同じである。視差距離の拡大に伴い、第１のカメラの注視方向と第２のカメラの注視方向の変化の向きも大きくなる。以上のように、第１のカメラの注視方向及び第２のカメラの注視方向は、視差距離に応じて変化する。そのため、制御信号発生器２２は、距離データ変更部２９から、変化する視差距離のデータを取得して、クロック毎に注視方向を算出する。制御信号発生器２２は、この算出した注視方向のデータをパラメータとして制御信号変換器２５に出力する。

実施の形態４
本実施の形態においては、実施の形態２又は３において視差画像生成装置２０から出力した右目用画像及び左目用画像を、合成出力信号により、特定の映像信号フォーマットとして出力することができる。

以下、図７を用いて、本実施の形態にかかる視差画像生成装置２０の構成について説明する。視差画像生成装置２０は、図２に示した構成の他に、図７に示した信号合成器４１を備える。それ以外の視差画像生成装置２０の構成要素については、図２と同様なので説明を省略する。視差画像生成装置２０の処理動作についても、実施の形態２と同様である。

信号合成器４１は、画像信号出力部２７から出力された右目用画像の信号と、画像信号出力部２８から出力された左目用画像の信号とを合成して、合成出力信号を合成する。これにより、右目用画像の信号と左目用画像の信号とを、視差画像生成装置２０に入力された映像信号と同じ映像信号フォーマットとして出力することができる。なお、信号合成器４１には、合成出力信号の画像を表示する画面を有する図示しない表示装置が接続されている。この表示装置は、入力された右目用画像の信号及び左目用画像の信号を変換して画面に表示することにより、立体画像を表示することができる。

図７では、表示装置の画面における垂直同期信号をクロック発生器として扱い、垂直方向に解像度が１/２となった右目用画像の信号及び左目用画像の信号を合成することによって、トップアンドボトムフォーマットの合成出力信号を出力する。なお、図７において、画像信号出力部２７に入力される画像信号０、２、４は左目用画像の信号であり、画像信号出力部２８に入力される画像信号１、３は右目用画像の信号である。画像信号０〜４は、図５で示した画像信号０〜４と同じものである。

信号合成器４１が出力する合成出力信号により、１枚の画像の上半分に左目用画像、下半分に右目用画像が並ぶような伝送フォーマットで、左目用画像及び右目用画像が出力される。

従来、１つの３次元映像信号を生成するためには、視差画像を有する２つの映像信号を１つの３次元映像信号に変換する２Ｄ−３Ｄ変換器が必要であった。しかし本実施形態においては、信号合成器を用いるだけで１つの３次元映像信号に変換することができる。

なお、信号合成器により、他の映像信号フォーマットを出力することもできる。図８は、図７の信号合成器４１とは異なる信号合成器４２の処理を示す。信号合成器４２は、表示装置の画面における水平同期信号をクロック発生器として扱い、水平方向に解像度が１/２となった右目用画像の信号及び左目用画像の信号を信号合成器４２で合成することによって、サイドバイサイドフォーマットの合成出力信号を出力する。なお、図８において、画像信号出力部２７に入力される画像信号０、２、４は左目用画像の信号であり、画像信号出力部２８に入力される画像信号１、３は右目用画像の信号である。画像信号０〜４は、図７で示した画像信号０〜４と同じものである。

信号合成器４２が出力する合成出力信号により、１枚の画像の左半分に左目用画像、右半分に右目用画像が並ぶような伝送フォーマットで、左目用画像及び右目用画像が出力される。

次に、図９を用いて、図７の信号合成器４１、図８の信号合成器４２とは異なる信号合成器４３の処理を示す。信号合成器４３は、表示装置の画面における水平同期信号をクロック発生器として扱い、フィールドあるいはフレーム毎に交互に出力された右目用画像の信号及び左目用画像の信号を合成することによって、フレームパッキングフォーマットの合成出力信号を出力する。なお、図９において、画像信号出力部２７に入力される画像信号０、２、４は左目用画像の信号であり、画像信号出力部２８に入力される画像信号１、３は右目用画像の信号である。画像信号０〜４は、図７、図８で示した画像信号０〜４と同じものである。

信号合成器４３が出力する合成出力信号により、画像全体に左目用画像と右目用画像が交互に表示されるような伝送フォーマットで、左目用画像及び右目用画像が出力される。

図７〜図９に示した通り、視差画像生成装置に信号合成器を設けることによって、複数の３Ｄフォーマットに対応した出力信号を作成することが出来る。その理由は、出力信号制御の基となるクロック生成部の設定を変更することが出来るからである。トップアンドボトム、サイドバイサイド等の３Ｄフォーマットにおける画像は、水平方向又は垂直方向の解像度が通常の画像の半分である。そのため、クロック生成部で生成するクロックを水平同期又は垂直同期の周波数をもとに生成あるいは変更することにより、複数の３Ｄフォーマットに対応可能とすることができる。

以上、実施の形態２〜４に記載した視差画像生成装置により、ディジタル映像処理において、座標変換された映像の視差画像を出力することができる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、実施の形態２において、３次元座標変換を実行するプロセスは、図２に示した方法に限られない。

例えば、実施の形態２、３においては、距離データ保持部２３及び制御信号変換器２５を設けず、制御信号発生器２２が、第１のカメラ撮影位置と第２のカメラ撮影位置とを周期的にカメラ座標変換部３４に出力してもよい。そのようにしても、３次元座標変換部３０は、左目用画像及び右目用画像を生成することができる。ただし、ユーザの設定により、カメラの基準位置を変更せず、視差距離を適宜変更して３次元映像を作成するような場合が考えられる。そのような場合は、実施の形態２、３に記載したように、視差距離のパラメータをカメラ撮影位置のパラメータと分けて制御する方が、制御が簡便である。具体的には、同じシーンにおいて、大人用の３次元映像及び子供用の３次元映像を作成するような場合である。このように視差距離を適宜変更できると、２Ｄの映像から３Ｄの映像に移り変わる映像効果や、立体感をリニアに変更できる映像効果を得ることができる。

実施の形態３において、視差距離をリニアに変更するような例を記載したが、両眼視差の角度をリニアに変更するように、視差距離を変更してもよい。どのような方法で視差距離を変更するにせよ、左目用画像及び右目用画像からなる３次元映像の立体感を変えることができる。

実施の形態４において、３次元座標変換部３０から出力された２次元の画像信号は、出力制御部２６によって左目用画像の信号及び右目用画像の信号に分離された後、画像信号出力部２７、２８を介して信号合成器４１に入力される。しかしながら、３次元座標変換部３０から出力された２次元の画像信号は、そのまま信号合成器４１に入力されてもよい。信号合成器４１は、入力された２次元の画像信号に基づき、トップアンドボトムフォーマットの合成出力信号を出力する。サイドバイサイドフォーマット又はフレームパッキングフォーマットの合成出力信号も、同様に出力することができる。

実施の形態４において、信号合成器４３が出力する合成出力信号は、適宜変更することができる。例えば、１枚の画像の上半分に右目用画像、下半分に左目用画像が並ぶような伝送フォーマットにより、トップアンドボトムフォーマットの合成出力信号を出力してもよい。

実施の形態１〜４に示した視差画像生成装置の処理は、制御方法の１つとして、視差画像生成装置に実行させることができる。例えば、制御プログラムとして視差画像生成装置に実行させることができる。また、当該制御プログラムは、視差画像生成装置によって読み取り可能なようにプログラム記録媒体に記録されてもよい。

１０ 視差画像生成装置
１１ 受信部
１２ 画像信号出力部
１３ 位置データ出力部
２０ 視差画像生成装置
２１ 受信部
２２ 制御信号発生器
２３ 距離データ保持部
２４ クロック生成部
２５ 制御信号変換器
２６ 出力制御部
２７、２８ 画像信号出力部
３０ ３次元座標変換部
３１ 拡大・縮小部
３２ ローカル座標変換部
３３ ワールド座標変換部
３４ カメラ座標変換部
３５ 透視変換部
４１、４２、４３ 信号合成器

Claims (10)

1. 映像信号を受信する受信部と、
   左目用画像を生成するための第１の位置データと、右目用画像を生成するための第２の位置データと、を出力する位置データ出力部と、
   前記映像信号及び前記第１の位置データに基づく左目用画像の生成と、前記映像信号及び前記第２の位置データに基づく右目用画像の生成と、を交互に行って２次元画像信号を出力する画像信号出力部と、
   を備える視差画像生成装置。
2. 前記視差画像生成装置は、クロックを生成するクロック生成部をさらに備え、
   前記位置データ出力部は、前記クロックに基づき、前記第１の位置データと、第２の位置データと、を周期的に出力する、
   請求項１に記載の視差画像生成装置。
3. 前記視差画像生成装置は、前記クロックに基づいて、前記２次元画像信号を、前記左目用画像のみを含む第１の画像信号及び前記右目用画像のみを含む第２の画像信号に分けて出力する出力制御部をさらに備える、
   請求項２に記載の視差画像生成装置。
4. 前記視差画像生成装置は、立体画像を表示する表示装置の垂直同期信号又は水平同期信号を同期信号として、前記左目用画像の信号と、前記右目用画像の信号とを合成し、トップアンドボトム方式、サイドバイサイド方式又はフレームパッキング方式で前記表示装置に出力する信号合成器をさらに備える、
   請求項１乃至３のいずれか一項に記載の視差画像生成装置。
5. 前記第１の位置データは、前記左目用画像の仮想的な第１のカメラ撮影位置のデータであり、前記第２の位置データは、前記右目用画像の仮想的な第２のカメラ撮影位置のデータである、
   請求項１乃至４のいずれか一項に記載の視差画像生成装置。
6. 前記視差画像生成装置は、カメラの基準位置のデータを保持する基準位置データ保持部と、前記第１のカメラ撮影位置と前記第２のカメラ撮影位置との距離に関する距離データを保持する距離データ保持部と、をさらに備え、
   位置データ出力部は、前記基準位置のデータ及び前記距離データに基づいて、前記第１の位置データ及び前記第２の位置データを決定する、
   請求項５に記載の視差画像生成装置。
7. 前記視差画像生成装置は、前記距離データ保持部が保持する前記距離データを変更する距離データ変更部をさらに備える、
   請求項６に記載の視差画像生成装置。
8. 前記距離データ変更部は、前記第１のカメラ撮影位置と前記第２のカメラ撮影位置との距離をリニアに変更する、
   請求項７に記載の視差画像生成装置。
9. 映像信号を受信するステップと、
   左目用画像を生成するための第１の位置データと、右目用画像を生成するための第２の位置データと、を出力するステップと、
   前記映像信号及び前記第１の位置データに基づく左目用画像の生成と、前記映像信号及び前記第２の位置データに基づく右目用画像の生成と、を交互に行って２次元画像信号を出力するステップと、
   を備える視差画像生成方法。
10. 映像信号を受信するステップと、
    左目用画像を生成するための第１の位置データと、右目用画像を生成するための第２の位置データと、を出力するステップと、
    前記映像信号及び前記第１の位置データに基づく左目用画像の生成と、前記映像信号及び前記第２の位置データに基づく右目用画像の生成と、を交互に行って２次元画像信号を出力するステップと、
    を視差画像生成装置に実行させる視差画像生成装置の制御プログラム。

Images