JP5438082B2 - 表示装置及び表示方法 - Google Patents

Description

本発明は、画像情報を表示する表示装置、特に、立体画像における被写体の前後の位置関係を表す奥行方向位置情報を表示する表示装置に関する。また、本発明は、上記の表示装置において実行される表示方法に関する。

近年、立体画像（３Ｄ画像）を表示する表示装置や、それら立体画像を撮像する撮像装置に注目が集まっている。表示方法には様々な方式が提案されているが、いずれの方式も基本原理は同じである。この基本原理では、左眼及び右眼の視差を人工的に作り出して、見ている人の脳内で立体像を認知させる。
立体画像を撮像する場合、撮像される被写体が手前に位置しすぎて、視差が大きくなりすぎると、人間の脳がうまく立体像を融合できず、不快に感じるという問題点がある。このため、撮影現場では、大きな視差をつけないように、輻輳角、水平画角、及び／又は被写体の前後の位置関係を表す奥行方向位置情報などを調整して、撮影を行っている。
奥行方向位置情報を２次元表示装置で可視化する方法としては、距離画像がある。距離画像の主な表示方法としては、元画像の画素に対する奥行方向位置情報に基づいて、画素を色相で表現する方法がある。この場合、例えば、画素の位置が手前から奥に向かうにつれて、画素の色相が、光の波長の高い色（赤）から光の波長の低い色（紫）へと変化する。また、上記とは別の表示方法として、元画像の画素に対する奥行方向位置情報に基づいて、画素を無彩色の明度（グレースケール）で表現する方法もある。この場合、例えば、画素の位置が手前から奥に向かうにつれて、画素の明度が、輝度の高い白から輝度の低い黒へと変化する。

奥行方向位置情報を表示する方法として、３次元形状データから表面の各点の向きを抽出し、抽出した向きを識別可能に出力する方法が開示されている（特許文献１を参照）。ここでは、抽出した向きを線分の方向と長さとで表現したり、色の色相と彩度とで表現したりしている。

特開平６−１１１０２７号公報

しかしながら、従来の技術では、元画像に変換処理を施すことによって、上記の距離画像が生成され表示されていた。そして、距離画像の色相や明度等によって、奥行き情報が把握されていた。しかしながら、距離画像の色相や明度では、対象の位置を感覚的に把握することはできても、対象の位置を正確には把握することが困難であった。このように、従来の技術では、奥行方向の情報を正確且つ容易に認識することができないという課題があった。

本発明は、上記従来の課題を解決するためになされたものである。本発明の表示装置は、入力部と、奥行方向位置情報処理部と、表示処理部とを、備えている。入力部には、奥行方向位置情報が、入力される。奥行方向位置情報は、被写体の奥行方向の位置及び情報の少なくともいずれか一方を示す情報である。この奥行方向位置情報は、被写体に対応する２次元画像の少なくとも一部に、設定される。奥行方向位置情報処理部は、２次元情報を処理する。２次元情報は、水平方向位置情報及び垂直方向位置情報のいずれか一方と、奥行方向位置情報とから構成される。水平方向位置情報は、被写体の水平方向の位置を示す情報である。水平方向位置情報は、２次元画像の少なくとも一部に設定される。垂直方向位置情報は、被写体の垂直方向の位置を示す情報である。垂直方向位置情報は、２次元画像の少なくとも一部に設定される。表示処理部は、奥行方向位置情報処理部において処理された２次元情報に対応する奥行画像を、表示する。

上記の構成により、奥行方向の情報を正確且つ容易に認識することができる。また、この奥行方向の情報に基づいて、表示画面端の物体切れ調整や基準面調整等を容易に実行することができる。

奥行方向位置情報表示装置の構成の一例を示すブロック図 奥行方向位置情報表示装置の動作の一例を示すフローチャートを示す図 実施の形態における被写体の３次元空間での位置情報の一例を示す図 実施の形態における被写体の２次元画像の一例を示す図 実施の形態における奥行方向位置情報画像の一例を示す図 実施の形態における被写体の２次元画像の一例を示す図 実施の形態における奥行方向位置情報画像の一例を示す図 実施の形態における合成表示画像の一例を示す図 実施の形態における合成表示画像の一例を示す図 実施の形態における合成表示画像の一例を示す図 実施の形態における合成表示画像の一例を示す図 実施の形態における奥行方向位置情報画像の一例を示す図 実施の形態における合成表示画像の一例を示す図 実施の形態における被写体の３次元空間での位置情報の一例を示す図 実施の形態における被写体の２次元画像の一例を示す図 実施の形態における奥行方向位置情報画像の一例を示す図 実施の形態における合成表示画像の一例を示す図 実施の形態における奥行方向位置情報画像の一例を示す図 実施の形態における奥行方向位置情報画像の一例を示す図

以下に、実施の形態について、図面を参照しながら説明する。
［実施の形態］
図１は、実施の形態における奥行方向位置情報表示装置の構成の一例を示すブロック図である。なお、以下では、「画像」「画素」「情報」「視差量」「距離」「座標」等の文言が用いられるが、これら文言は、「画像データ」「画素データ」「情報データ」「視差量データ」「距離データ」「座標データ」等の意味で用いられる場合がある。また、「画像」という文言は、「被写体を撮影することによって得られた画像」という意味で用いられる場合がある。
奥行方向位置情報表示装置１００は、入力部１０１、画像処理部１０２、奥行方向位置情報処理部１０３、表示処理部１０４および設定部１０９、で構成される。

入力部１０１には、画像及び奥行方向位置情報が入力される。すると、入力部１０１は、画像を画像処理部１０２へ出力し、奥行方向位置情報を奥行方向位置情報処理部１０３へ出力する。奥行方向位置情報は、画像を水平方向と垂直方向とからなる２次元平面で表した場合に、２次元平面上の画像（２次元画像）の少なくとも一部の領域（例えば、被写体、ブロック、画素等）に対して、設定される。
ここで入力される画像（入力画像）は、例えば、１フィールドごとや１フレームごとの静止画像である。また、入力画像は、例えば、連続した静止画像であってもよい。この場合、入力画像は動画像として取り扱われる。
入力画像には、例えば、１つの画像や、両眼視差を持つ左眼画像及び右眼画像、及びＣＧなどのサーフェスモデルで表現された３次元画像等が、含まれる。

奥行方向位置情報には、例えば、計測で得られた被写体までの奥行方向の距離（奥行座標）、両眼視差を持つ左眼画像と右眼画像の視差量、及び３次元画像におけるテクスチャ情報やモデルの頂点ごとの３次元空間での位置情報を示す座標等が、含まれる。なお、視差量は、例えば、左眼画像と右眼画像とで互いに対応する領域における、水平方向の位置情報の変化量に対応する。
以下では、入力画像に基づいて、奥行方向位置情報を設定する形態について、説明する。まず、１つの画像に基づいて、奥行方向の距離を算出する形態について、具体的に説明する。図３に示すカメラは、画像、及びカメラから被写体までの距離を測定可能である。このカメラによって、図３に示すような被写体が撮像された場合、例えば、１つの画像は、図４に示すように、水平方向及び垂直方向を基準方向とした２次元画像となる。また、この場合、各被写体までの奥行方向の距離は、例えば、各被写体の少なくとも一部の領域に対する測定で得られた実測距離となる。

次に、両眼視差を持つ左眼画像と右眼画像とに基づいて、その視差量を設定する形態について、具体的に説明する。図３に示すような被写体を、２眼式カメラで撮像した場合、両眼視差を持つ左眼画像と右眼画像とは、例えば、それぞれが水平方向及び垂直方向を基準方向とした２次元画像となる。この場合、例えば、左眼画像と右眼画像とにおいて互いに対応する領域が、検知される。そして、この領域を含むブロックにおいて、ブロックマッチングが行われる。そして、画像の領域ごとの視差量、例えば水平方向において位置情報の変化量（画素数）が、算出される。そして、画像全体の水平サイズに対する、位置情報の変化量の割合が、奥行方向位置情報として設定される。
なお、以下では、左眼画像と右眼画像とが一致する面、すなわち水平方向及び垂直方向によって構成される両眼視差のない平面を、基準面と定義する。例えば、左眼画像及び右眼画像に基づいて視差がゼロとなる平面が計算され、この平面が基準面として設定される。例えば、２眼式カメラを用いた撮像時には、この基準面によって、各被写体の位置関係を把握することができ、立体撮像を容易に行うことができる。ここで、「両眼視差のない平面」及び「視差がゼロになる平面」という文言は、「両眼視差が所定の誤差の範囲内である平面」及び「視差がゼロを基準とした所定の誤差の範囲内である平面」という意味を含んでいる。

最後に、ＣＧなどのサーフェスモデルで表現された３次元画像に基づいて、このモデルの頂点ごとの３次元空間での位置情報を示す座標を設定する形態について、具体的に説明する。図３に示すような被写体が、サーフェスモデルで表現されている場合、画像は、例えば、カメラの位置を視点とする、水平方向及び垂直方向を基準とした２次元画像となる。また、奥行方向位置情報は、例えば、カメラの位置を視点としたときの、モデルの頂点ごとの３次元空間での位置情報を示す座標となる。なお、画像は、３次元画像の状態で情報を保持し、後の処理で視点変換しても良い。
設定部１０９は、奥行方向位置情報の表示に関する設定を行う。設定部１０９は、画像処理部１０２と、奥行方向位置情報処理部１０３と、表示処理部１０４とに、対応する設定情報を出力する。奥行方向位置情報の表示に関する設定としては、例えば、以下のようなものがある。

（１）基準となる奥行方向位置情報、すなわち基準面位置情報（視差の測定開始位置、両眼視差のない位置など）の設定。
基準となる奥行方向位置情報、すなわち基準面位置情報は、実測に基づいて設定される場合や、画像から相対的に計算して設定される場合がある。例えば、図３に示すような被写体を、カメラから被写体までの距離を測定できるカメラで撮像した場合、カメラの位置を示す情報が、基準面位置情報として設定される。このように、基準面位置情報が設定されると、この基準面位置情報に基づいて基準面が設定される。
また、別の形態としては、３次元画像として表示する際に両眼視差がなくなる位置を示す情報が、基準面位置情報として設定される。例えば、図３に示すような被写体を２眼式カメラで撮像した場合、上記の視差量の設定において説明した形態で、両眼視差がない領域を規定するための情報が、基準面位置情報として設定される。さらに、例えば、図３に示すような被写体が、サーフェスモデルで表現されている場合、３次元画像として表示する際に左眼画像と右眼画像との視差量がない面を規定するための情報が、基準面位置情報として設定される。このように、基準面位置情報が設定されると、この基準面位置情報に基づいて基準面が設定される。

（２）奥行方向位置情報とともに用いる位置情報（水平方向位置情報、又は垂直方向位置情報）の設定。
水平方向位置情報及び垂直方向位置情報は、画像の水平方向の位置（水平座標）及び垂直方向の位置（垂直座標）を定義するためのものである。水平方向位置情報及び垂直方向位置情報は、画像を水平方向と垂直方向とからなる２次元平面で表した場合に、２次元平面上の画像（２次元画像）の少なくとも一部の領域（例えば、被写体、ブロック、画素等）に対して、設定される。
ここでは、奥行方向位置情報画像を表示するために、水平方向位置情報又は奥行方向位置情報が選択される。例えば、図３に示すような被写体に対する奥行方向位置情報画像は、水平方向位置情報及び奥行方向位置情報を用いて、図５のように示される。より具体的には、水平方向位置情報及び奥行方向位置情報を２次元グラフにプロットすることによって、図５に示すような奥行方向位置情報画像が生成される。これにより、被写体間の奥行方向位置関係と水平方向位置関係を容易に把握することができる。この奥行方向位置情報画像（２次元グラフ）では、横軸が水平方向に設定され、縦軸が奥行方向に設定されている。

また、図３に示すような被写体に対する奥行方向位置情報画像は、垂直方向位置情報及び奥行方向位置情報を用いて、図１２のように示される。より具体的には、垂直方向位置情報及び奥行方向位置情報を２次元グラフにプロットすることによって、図１２に示すような奥行方向位置情報画像が生成される。これにより、被写体間の奥行方向位置関係と垂直方向位置関係を容易に把握することができる。この奥行方向位置情報画像（２次元グラフ）では、横軸が奥行方向に設定され、縦軸が垂直方向に設定されている。なお、この場合、被写体Ｄと被写体Ｅは同じ奥行方向位置情報にあるため、重なって表示されている。
なお、画像が３次元情報を有している場合は、視点位置を変更する設定を実行してもよい。例えば、視点位置が変更された場合、視点変更後の水平方向位置情報、視点変更後の垂直方向位置情報、及び視点変換後の奥行方向位置情報を用いて、上記のような処理を行ってもよい。

このように、奥行方向位置情報を、水平方向位置情報及び垂直方向位置情報を用いて表示することによって、被写体の位置関係を様々な視点から確認することができる。すなわち、立体撮像時に各被写体の位置関係を把握でき、立体撮像を容易に行うことができる。
（３）表示する奥行方向位置情報の奥行方向の範囲の設定。
ここでは、奥行方向位置情報の表示範囲が、設定される。例えば、図３に示すような被写体に対する、奥行方向位置情報の表示範囲（図３の破線）が設定された場合、表示範囲外に存在する被写体（図３の被写体Ａ及び被写体Ｃ）の奥行方向位置情報は、非表示に設定してもよい。
また、これとは別の形態として、表示範囲外に存在する被写体（図３の被写体Ａ及び被写体Ｃ）の奥行方向位置情報が、表示範囲内に収まるように、奥行方向位置情報を変換する処理を行ってもよい。この場合、例えば、図５に示すように、被写体Ａの奥行方向位置情報は表示範囲の下辺に表示され、被写体Ｃの奥行方向位置情報は表示範囲の上辺に表示される。

ここで、表示範囲外に存在する被写体の奥行方向位置情報を、色付け表示したり、点滅表示させたりしてもよい。これによって、被写体が表示範囲外に存在することを、報知することができる。また、奥行方向位置情報の表示範囲内において、立体視の際に視差が大きくなりすぎて不快と感じる範囲が存在する場合は、この範囲を、図１４に示すように、視差注意領域（斜線部の領域）として設定してもよい。この場合、例えば、図１６に示すように視差注意領域の背景を色付け表示したり、視差注意領域にプロットした奥行方向位置情報そのものを、色付け表示したり点滅表示させたりしてもよい。
同様に、立体視の際に手前に飛び出る被写体が画面の端で切れてしまう場合、図１８に示すように、この範囲を視差注意領域（斜線部の領域）として示してもよい。さらに、図１６と図１８で示した領域（斜線部の領域）を、図１９のように合わせて示してもよい。

このように、被写体が奥行方向位置情報の表示範囲外に存在する場合、この被写体の奥行方向位置情報が明示的に表示されるので、立体視の際に視差が大きくなりすぎて不快と感じる恐れのある被写体を、立体撮像時にあらかじめ撮影者に知らせることができる。また、表示範囲外の被写体に対する奥行方向位置情報を、表示範囲内に表示可能に変換することによって、奥行方向位置情報の表示範囲を変更することなく、全ての被写体の奥行方向位置情報を把握することができる。
（４）２次元画像の全領域の奥行方向位置情報を用いるか２次元画像の部分的な領域の奥行方向位置情報を用いるかの設定。
ここでは、例えば、図３に示すような被写体に対応する、図４に示した画像全体の領域が、奥行方向位置情報を表示する領域として、設定される。この場合、図５に示すように、画像全体の被写体に対応する奥行方向位置情報が、奥行方向位置情報画像として、表示される。

また、ここでは、例えば、図３に示すような被写体に対応する、図６に示した画像の一部の領域（採用領域）が、奥行方向位置情報を表示する領域として、設定される。この場合、図７に示すように、画像の一部の領域に写る被写体部分に対応する奥行方向位置情報が、奥行方向位置情報画像として、表示される。なお、図７では、採用領域内の被写体Ａ及び被写体Ｆの奥行方向位置情報が、部分的に表示されている。また、図６では被写体Ｂが採用領域外に位置しているため、図７では被写体Ｂの奥行方向位置情報は表示されていない。
（５）画像の表示位置の設定と表示サイズの設定。
ここでは、画像の表示位置の設定と表示サイズの設定が行われる。例えば、画像の合成に関する設定、画像の切り替え表示に関する設定、及び別の表示装置へ出力する画像を作成するための設定等が、行われる。

例えば、図４に示すように画像全体を表示する設定や、図６に示すように採用領域の画像のみを部分的に表示する設定が、行われる。また、図１１や図１３で示すように画像を縮小表示する設定や、注目したい領域だけを拡大表示する設定が、行われる。また、図９に示すように、奥行方向位置情報画像に重なる部分の画像、又は画像全体を、モノクロ画像に変換する設定が、行われる。また、注目したい領域やその領域以外の領域を、所定の色に色変換する設定が、行われる。
また、図１５で示したように、２眼式カメラなどで撮像した場合の左眼画像と右眼画像とを重ね合わせて表示する設定が、行われる。さらに、画像が３次元情報を有している場合は、３次元情報に基づいて、２次元画像を作成する設定を、行う。この場合は、視点位置を変更する設定を実行し、視点変換後に２次元画像を作成してもよい。

なお、ここに示した設定は一例であって、他の画像の表示位置の設定と他の表示サイズの設定を、行ってもよい。
（６）奥行方向位置情報画像を画像と合成して表示するかしないかの設定。奥行方向位置情報画像を合成して表示する場合、全画面に重ねて表示するか部分的な領域に表示するかの設定。奥行方向位置情報画像の表示位置の設定と表示サイズの設定。
ここでは、画像と奥行方向位置情報画像とを合成して表示するか否かが、設定される。例えば、以下のような様々な表示を指示するための設定が、実行される。
合成しない場合は、奥行方向位置情報画像のみが表示される。また、この場合、奥行方向位置情報画像を、メインの表示装置とは異なる他の表示装置で表示してもよい。さらに、この場合、画像と奥行方向位置情報画像とを、１つの表示装置で切換表示してもよい。

一方で、例えば、図４に示した画像に図５のような奥行方向位置情報画像を合成して表示する場合、図８に示すように、奥行方向位置情報画像の水平方向位置情報と、画像の画素の水平位置とを一致させることによって、奥行方向位置情報が、画像の一部に重ねて表示される。これにより、水平位置情報と被写体との関連を把握しやすくなる。この場合、図４で示した被写体Ｂの画像は、非表示である。このため、図９で示すように、奥行方向位置情報画像を画像の上に半透明のレイヤとして重ねて表示しても良い。これにより、被写体Ｂの画像を把握することができる。また、図１１のように、奥行方向位置情報画像と画像とを、縮小表示して並べて表示してもよい。また、図５の奥行方向位置情報画像を半透明のレイヤに変換し、図４の画像全体に重ねてもよい。
また、画像の全体構成を把握する場合は、図１０で示すように、奥行方向位置情報画像を子画面として画像の一部に重ねて表示してもよい。また、図４に示した画像に、図１２のような奥行方向位置情報画像を合成して表示してもよい。この場合、例えば図１３のように合成することによって、垂直位置情報と被写体との関連を容易に把握することができる。なお、図４に示した画像と、図１２のような奥行方向位置情報画像との合成は、上記で説明した他の合成表示でもよい。

画像処理部１０２は、入力部１０１から入力された画像を処理することによって、２次元画像を作成し、表示処理部１０４へ出力する。ここでの画像処理によって、設定部１０９で設定された表示形態に対応する２次元画像が、生成される。画像処理としては、例えば、上記（５）で設定したような、両眼視差を持つ左眼画像と右眼画像を重ね合わせた合成画像の作成、モノクロ画像の作成、画像サイズの変換、一部の表示領域の抽出、３次元画像の所定の視点から見た２次元画像への変換等が、ある。
奥行方向位置情報処理部１０３は、設定部１０９で設定した表示になるように、入力部１０１から出力された奥行方向位置情報を処理することによって、２次元画像（奥行方向位置情報画像）を作成し表示処理部１０４へ出力する。
ここでは、２次元画像の作成に必要な情報を抽出することによって、奥行方向位置情報が処理される。例えば、上記（２）で設定したような、画像の設定領域における、奥行方向位置情報とその水平方向位置情報、又は奥行方向位置情報とその垂直方向位置情報が、奥行方向位置情報画像の作成に必要な情報として、抽出される。そして、抽出された情報に対して、例えば、上記（３）、（５）で設定したような、指定した表示範囲内に奥行方向位置情報を収める変換や、３次元画像において設定した視点から見た２次元画像に対応する奥行方向位置情報への変換が、行われる。

奥行方向位置情報を示す２次元画像（奥行方向位置情報画像）は、例えば、奥行方向位置情報とその水平方向位置情報を、垂直方向と水平方向とから構成される画像情報に変換し、２次元のグラフとしてプロットすることによって、作成される。また、奥行方向位置情報画像は、奥行方向位置情報とその垂直方向位置情報を、水平方向と垂直方向とから構成される画像情報に変換し、２次元のグラフとしてプロットすることによって、作成される。なお、２次元画像には、グラフを見やすくするための色付け処理や、点滅処理等を、
などが施してもよい。また、２次元画像には、例えば、上記（１）で設定した基準面を表示してもよい。
表示処理部１０４は、画像処理部１０２から入力された画像と、奥行方向位置情報処理部１０３から入力された画像とを合成し、合成後の画像を表示する。具体的には、表示処理部１０４は、設定部１０９における表示設定、例えば上記（４）、（６）の表示設定に基づいて、画像処理部１０２で出力した画像と、奥行方向位置情報処理部１０３で出力した画像とを、合成し表示する。

以上、実施の形態における奥行方向位置情報表示装置の構成の一例を、ブロック図を用いて説明した。
図２は、実施の形態における奥行方向位置情報表示装置の動作の一例を示すフローチャートである。ここでは、例えば、入力情報が、両眼視差を持つ左眼画像及び右眼画像と、その画素ごとの視差量とであり、最終表示として図１７に示すような合成表示画像が表示される場合の処理を、説明する。
この場合、設定部１０９では、次のように処理される。まず、設定部１０９は、基準となる奥行方向位置情報を設定する。例えば、図１４に示すように、基準面位置情報が、基準となる奥行方向位置情報として、設定される。基準面位置情報は、立体表示の際に両眼視差がない位置を示す情報である。次に、設定部１０９は、奥行方向位置情報と水平方向位置情報とを用いて、奥行方向位置情報の表示範囲を、図１４に示した範囲に設定する。ここでは、例えば、基準面位置情報により設定される基準面に対して、視差量が画像の水平方向サイズの±３％以内に収まるように、表示範囲が設定される。ここに示す表示範囲は、奥行方向の表示範囲である。

続いて、設定部１０９は、視差注意領域を、図１４に示した範囲に設定する。設定部１０９は、例えば、基準面位置情報により設定される基準面に対して、画像の水平方向サイズの＋２％を超える、又は−２％を下回る視差量の奥行方向の範囲に、視差注意領域を設定する。ここでは、設定部１０９は、視差注意領域を色付け表示する設定も行う。
続いて、設定部１０９は、図４に示した２次元画像の全領域に対する奥行方向位置情報を用いて、図１６に示した奥行方向位置情報画像を作成する設定を、行う。続いて、設定部１０９は、図１５に示した合成画像、例えば２眼式カメラなどで撮像したときの左眼画像と右眼画像を重ね合わせた画像を、作成する設定を、行う。続いて、設定部１０９は、図１６の奥行方向位置情報画像と図１５の画像とを、図１７に示すように合成して表示する設定を、行う。例えば、図１７では、奥行方向位置情報画像が半透明に設定され、画像の下から１／３の領域において、水平方向位置情報と画像の画素の水平位置とが一致するように、画像と奥行方向位置情報画像とが合成して表示されている。

上記のような設定が設定部１０９において行われると、この設定に基づいて、各種の処理が以下のように実行される。
まず、入力処理Ｐ１において、入力部１０１に、両眼視差を持つ左眼画像と右眼画像と、左眼画像及び右眼画像の画素ごとの視差量とが、入力される。視差量は左眼画像に対するものでもよいし、右眼画像に対するものでもよいし、左眼画像及び右眼画像の両方でもよい。次に、入力部１０１は、画像を画像処理部１０２へ出力し、奥行方向位置情報を奥行方向位置情報処理部１０３へ出力する。ここでは、画像に対応する奥行方向位置情報の位置は、水平方向位置情報と垂直方向位置情報とによって定義される。
画像変換処理Ｐ２において、画像処理部１０２は、設定部１０９の表示設定に従って、画像を作成する。例えば、画像処理部１０２は、両眼視差を持つ左眼画像と右眼画像とにおいて同位置の画素値を加算して、その結果を２で除算する処理を行う。このようにして、画像処理部１０２は、図１５のような画像を作成する。ここでは、同位置の画素値は、両眼視差を持つ左眼画像と右眼画像とにおいて水平方向及び垂直方向から構成される平面上の同位置に存在する画素値に、対応している。

図１５では、基準面にある被写体Ｄと被写体Ｅの被写体は、両眼視差がないので、左眼画像と右眼画像とは同位置で重なって表示されている。また、基準面にない被写体は、両眼視差が存在しているので、左眼画像と右眼画像とは、２重にぶれたように表示されている。
奥行方向位置情報変換処理Ｐ３において、奥行方向位置情報処理部１０３は、設定部１０９の表示設定に基づいて、２次元画像の全領域に対する、奥行方向位置情報とその水平方向位置情報を、抽出する。奥行方向位置情報処理部１０３は、上述した２次元グラフに、基準面位置情報によって設定される基準面を表示する。また、奥行方向位置情報処理部１０３は、この基準面を基準として、画像の水平方向サイズの±３％以内の視差量を、２次元グラフにプロットする。例えば、画像の水平サイズが１９２０画素である場合、画像の水平方向サイズの±３％の視差量は、±５８画素である。ここでは、＋側は水平方向の右側へシフトさせた方向に定義し、−側は水平方向の左側へシフトさせた方向に定義している。この場合、奥行方向位置情報処理部１０３は、画素ごとの視差量が＋５８画素から−５８画素までの範囲の視差量、すなわち奥行方向表示範囲の視差量を、２次元グラフにプロットする。

ここで、視差量が奥行方向表示範囲を超えている対象については、この対象の視差量は、採用領域内にある視差量（この場合は全画面が採用領域であるので、全視差量）の上限値又は下限値に、設定される。例えば、対象の視差量が＋５８画素を超えている場合は、この対象の視差量は、＋５８画素に設定される。また、対象の視差量が−５８画素を下回っている場合は、この対象の視差量が−５８画素に設定される。
また、ここでは、画像の水平方向サイズの±２％の範囲外である視差量に対応する領域が、視差注意領域として、設定されている。例えば、画像の水平サイズが１９２０画素である場合、画像の水平方向サイズの±２％の視差量は、±３８画素である。この場合、奥行方向位置情報処理部１０３は、上記の奥行方向表示範囲の場合と同様に、±３８画素の範囲外の視差量を、２次元グラフにプロットする。そして、奥行方向位置情報処理部１０３は、視差注意領域を報知するために、グラフ背景に、例えば黄色や赤色などの色付けをし、図１６のような奥行方向位置情報画像を作成する。

合成設定判定Ｐ４において、画像と奥行方向位置情報画像との合成の設定がなされているか否かが、判定される。本実施の形態では、図１７に示したような表示の設定がなされているため、ここでは合成処理Ｐ５へ進む。
合成処理Ｐ５において、表示処理部１０４は、画像と奥行方向位置情報画像を合成し、合成表示画像を作成する。例えば、奥行方向位置情報画像がフルサイズで生成されている場合、表示処理部１０４は、奥行方向位置情報画像を半透明に変換し、奥行方向位置情報画像の縦軸（奥行方向）サイズを１／３に縮小変換する。そして、表示処理部１０４は、変換後の奥行方向位置情報画像を、画像の下から１／３の領域に重ね合わせる。詳細には、表示処理部１０４は、画像の下から１／３の領域において、奥行方向位置情報画像の水平方向位置情報と、画像の画素の水平位置とを、一致させる。これにより、変換後の奥行方向位置情報画像が画像の下から１／３の領域に重ね合わせられ、合成表示画像が作成される。より詳細には、例えば、画像の下から１／３の領域の画像の輝度を上げ、輝度を上げた画像と変換後の奥行方向位置情報画像とにおいて同位置の画素値を加算して、その結果を２で割る処理を行うことによって、合成表示画像は作成される。

表示処理Ｐ６においては、表示処理部１０４は、合成処理Ｐ５において生成された合成後の画像を、表示する。これにより、例えば、設定部１０９における表示設定に対応する画像が、表示される。
以上では、実施の形態における奥行方向位置情報表示装置の動作の一例を、フローチャートを用いて説明した。
上述した奥行方向位置情報表示装置１００における各種の設定及び処理は、図示しない制御部において、実行されえる。制御部は、例えば、ＲＯＭ（Read Only Memory）及びＣＰＵ（Central Processing Unit）等により構成される。ＲＯＭには、各種の設定及び処理を実行するためのプログラム等が、格納されている。制御部は、ＲＯＭのプログラムをＣＰＵに実行させることにより、入力部１０１、画像処理部１０２、奥行方向位置情報処理部１０３、表示処理部１０４、及び設定部１０９の設定及び処理を制御する。なお、各種の設定及び処理を実行する場合には、データを一時的に格納するための記録部（図示しない）例えばＲＡＭ（Random Access Memory）が、用いられる。

上記の奥行方向位置情報表示装置１００では、奥行方向の情報を正確且つ容易に認識することができる。また、この奥行方向の情報に基づいて、表示画面端の物体切れ調整や、基準面調整等を容易に実行することができる。さらに、奥行方向位置情報画像を用いて、視差注意領域に被写体がかからないように、撮影時に指示したり、記録済みの画像を補正したり、左右の視差量がない基準面の奥行方向位置情報を調整したりすることができる。
［他の実施の形態］
（ａ）前記実施形態では、画素ごとの視差量を奥行方向位置情報として用いたが、ブロックごとや領域ごと又は被写体ごとの視差量を、奥行方向位置情報として用いても良い。また、説明を容易にするために、人物や物等の被写体を対象として説明を行ったが、視差量を有する被写体すべてに対して、上記のように処理することができる。例えば、図１５に示すように、壁などの背景についても同様に処理することができる。
（ｂ）前記実施形態では、図１５に示すように右眼画像と左眼画像とを重ね合わせることによって、表示画像を生成する場合の例を示したが、画像の一部例えば右眼画像及び左眼画像のいずれか一方だけを、表示画像として用いてもよい。
（ｃ）前記実施形態では、奥行方向位置情報画像に、奥行距離を示すメジャー（メートル、画素数など）を組み込むことによって、奥行方向位置情報を報知するようにしてもよい。これにより、ユーザは、奥行方向位置情報を、より分かりやすく把握することができる。
（ｄ）前記実施形態では、右眼画像と左眼画像とを平均的に重ね合わせることによって、合成画像を生成する場合の例を示したが、合成画像の生成形態は、前記実施形態に限定されず、どのようにしてもよい。例えば、右眼画像と左眼画像とを交互に高速表示することによって、合成画像を生成してもよい。また、右眼画像及び左眼画像それぞれを１ライン毎に重ね合わせることによって、合成画像を生成してもよい。
（ｅ）前記実施形態では、設定部１０９において奥行方向位置情報の表示に関する設定を行ったが、奥行方向位置情報の表示に関する設定は、上記の（１）〜（６）の内容に限定するものではなく、どのようにしてもよい。上記の（１）〜（６）とは異なる形態で奥行方向位置情報の表示に関する設定したとしても、設定に応じて動作させることができる。
（ｆ）前記実施形態では、奥行方向位置情報が入力部１０１に入力される場合の例を示したが、奥行方向位置情報は、入力部１０１に入力された画像に基づいて、生成してもよい。
（ｇ）前記実施形態では、例えば、水平方向位置情報が水平方向座標（ex. ｘ座標）を含み、垂直方向位置情報が垂直方向座標（ex. ｙ座標）を含み、奥行方向位置情報が奥行方向座標（ex. ｚ座標）を含む場合の例を示した。すなわち、前記実施形態では、画像の３次元位置情報が、３次元直交座標系において定義されていたが、画像の３次元位置情報は、どのように定義してもよい。例えば、画像の３次元位置情報は、基準点からの距離ｒ、基準点まわりの角度θ、基準点からの高さｙからなる極座標系によって、定義してもよい。基準点（原点）は、任意に設定可能である。

ここに開示された技術は、立体画像の情報を表示する表示装置に広く適用することができる。

１００ 表示装置
１０１ 入力部
１０２ 画像処理部
１０３ 奥行方向位置情報処理部
１０４ 表示処理部
１０９ 設定部

Claims (10)

1. 被写体の奥行方向の位置及び情報の少なくともいずれか一方を示し、前記被写体に対応する２次元画像の少なくとも一部に、設定される奥行方向位置情報が、入力される入力部と、
   前記被写体の水平方向の位置を示し前記２次元画像の少なくとも一部に設定される水平方向位置情報、及び被写体の垂直方向の位置を示し前記２次元画像の少なくとも一部に設定される垂直方向位置情報のいずれか一方と、前記奥行方向位置情報とから構成される２次元情報を、処理する奥行方向位置情報処理部と、
   前記奥行方向位置情報処理部において処理された前記２次元情報に対応する奥行画像を、表示する表示処理部と、
   を備える表示装置。
2. 被写体画像が入力される入力部と、
   被写体の奥行方向の位置及び情報の少なくともいずれか一方を示し、前記被写体に対応する２次元画像の少なくとも一部に設定される奥行方向位置情報を、前記被写体画像に基づいて算出し、且つ前記被写体の水平方向の位置を示し前記２次元画像の少なくとも一部に設定される水平方向位置情報、及び前記被写体の垂直方向の位置を示し前記２次元画像の少なくとも一部に設定される垂直方向位置情報のいずれか一方と、前記奥行方向位置情報とから構成される２次元情報を、処理する奥行方向位置情報処理部と、
   前記奥行方向位置情報処理部において処理された前記２次元情報に対応する奥行画像を、表示する表示処理部と、
   を備える表示装置。
3. 前記奥行方向位置情報は、前記２次元画像の奥行方向の位置を示す位置情報、及び前記２次元画像の相対的な距離情報の少なくともいずれか一方を、有している、
   請求項１又は２に記載の表示装置。
4. 前記入力部に入力される被写体画像の少なくとも一部を、２次元画像に変換する画像処理部、
   をさらに備え、
   前記奥行方向位置情報処理部は、前記被写体画像の少なくとも一部に対応する前記２次元情報を、処理し、
   前記表示処理部は、前記被写体画像の少なくとも一部に対応する前記奥行画像を、表示し、前記画像処理部において変換された前記２次元画像を、さらに表示し、
   前記水平方向位置情報及び前記垂直方向位置情報のいずれか一方に対応する軸上における前記奥行画像の位置と、前記軸上における前記２次元画像の位置とは、互いに同じである、
   請求項１又は２に記載の表示装置。
5. 前記奥行方向位置情報処理部は、前記２次元情報に対応する前記画像において、被写体の位置関係を把握するために、基準面を前記奥行方向の所定の位置に設定する、
   請求項１又は２に記載の表示装置。
6. 前記基準面は、前記画像を立体表示した場合に両眼視差のない位置に設定され、
   前記奥行方向位置情報処理部は、前記２次元情報に対応する前記画像において、前記基準面を表示する、
   請求項５に記載の表示装置。
7. 前記奥行方向位置情報処理部は、前記奥行方向位置情報に関する表示形態を、前記奥行方向の所定の範囲内で、変更する、
   請求項１又は２に記載の表示装置。
8. 前記奥行方向位置情報処理部は、前記奥行方向位置情報が所定値を超える場合に、前記奥行方向位置情報を前記所定値に設定する、
   請求項１又は２に記載の表示装置。
9. 被写体の奥行方向の位置及び情報の少なくともいずれか一方を示し、前記被写体に対応する２次元画像の少なくとも一部に、設定される奥行方向位置情報が、入力される入力ステップと、
   前記被写体の水平方向の位置を示し前記２次元画像の少なくとも一部に設定される水平方向位置情報、及び被写体の垂直方向の位置を示し前記２次元画像の少なくとも一部に設定される垂直方向位置情報のいずれか一方と、前記奥行方向位置情報とから構成される２次元情報を、処理する奥行方向位置情報処理ステップと、
   前記奥行方向位置情報処理部において処理された前記２次元情報に対応する奥行画像を、表示する表示処理ステップと、
   を備える表示方法。
10. 被写体画像が入力される入力ステップと、
    被写体の奥行方向の位置及び情報の少なくともいずれか一方を示し、前記被写体に対応する２次元画像の少なくとも一部に設定される奥行方向位置情報を、前記被写体画像に基づいて算出し、且つ前記被写体の水平方向の位置を示し前記２次元画像の少なくとも一部に設定される水平方向位置情報、及び前記被写体の垂直方向の位置を示し前記２次元画像の少なくとも一部に設定される垂直方向位置情報のいずれか一方と、前記奥行方向位置情報とから構成される２次元情報を、処理する奥行方向位置情報処理ステップと、
    前記奥行方向位置情報処理部において処理された前記２次元情報に対応する奥行画像を、表示する表示処理ステップと、
    を備える表示方法。

Images