JP4328311B2 - 三次元画像表示用多視点画像の作成方法およびプログラム - Google Patents

Description

本発明は、三次元画像表示のための多視点画像を取得する三次元画像表示用多視点画像の作成方法に関する。

三次元画像表示方法として、二次元平面上に画素がマトリクス状に並んだ液晶ディスプレイ（ＬＣＤ）に代表されるフラットディスプレイと、光線方向制御のためのレンチキュラーシート（レンズの稜線が観察者からみて垂直方向に伸張）またはスリット（同左）といった光線制御素子とを組み合わせ、観察方向の水平位置に応じた画像を観察させることにより三次元画像を認識される水平パララックス方式がある。水平パララックス方式としてインテグラルイメージング方式、多眼式、二眼式と詳細な分類があるが、水平方向の視差を与えるという意味では同一である。

これらの水平パララックス方式における三次元画像表示には、水平方向に異なる複数の視点から取得した多視点画像が必要になる。すなわち、水平方向に異なる視点から取得した画像を、水平方向に異なる観察位置（視点）に略再生することにより、三次元画像が略再生される。

方式によって、三次元画像の観察範囲も異なれば多視点画像の取得位置や数も異なるが、ディスプレイ面の水平方向をＸ方向、垂直方向をＹ方向、観察方向と多視点画像取得方向をＺ方向とした場合に、複数視点の座標はＸ成分のみ一定間隔で変動したものとなる。これは、フラットディスプレイの画素が一定間隔であることに起因する。各視点から取得する画像の投影面は３次元画像表示装置（以下、３Ｄディスプレイともいう）の表示面に一致させ、注視点はディスプレイの中心に一致させる。

ところが、注視点を固定のまま各視点のｘ座標を異ならせると、視点と注視点を結ぶ直線と、本来３Ｄディスプレイの表示面に一致させるべき投影面とのなす角度が視点ごとに異なる。このような画像取得を実空間中のカメラまたは、コンピューターグラフィック（ＣＧ）で画像を作成する場合のカメラモデルで実現する場合には、レンズシフト機能を用いる必要がある。

しかしながら現状では、この機能を持たないカメラまたはカメラモデルが大半を占める。レンズシフト機能を持たないカメラまたはカメラモデルで画像を取得する場合、視点と注視点を結ぶ直線と投影面のなす角度は９０度に固定されている。すなわち、各視点から取得された画像の投影面が各視点ごとに異なる結果となる。この各視点から取得した画像の投影面と３Ｄディスプレイの表示面に一致させるべき理想の投影面とのずれを補正するには、キーストン補正が必要になる。

このキーストン補正を行わない方法として、視点ごとに注視点（個別注視点）を用意し、視点と個別注視点を結ぶ線と投影面のなす角度を９０度に維持したまま画像を取得し、個別注視点のずれ分だけシフトした投影面のオーバーラップした領域から各視点画像を切り出すことにより、レンズシフト機能がないカメラまたはカメラモデルを用いて行う方法が知られている（特許文献１参照）。

一方、水平パララックス方式の三次元画像表示方法において、飛び出し、奥行き方向に表示限界があることが知られている（非特許文献１参照）。より詳細に述べると、フラットパネルディスプレイの解像度が一定である限り、３Ｄディスプレイの解像度と、三次元画像が観察できる範囲、そして飛び出し奥行き限界はトレードオフの関係にある。現状のフラットパネルディスプレイの解像度とサイズからは、飛び出し奥行き限界は数cm〜数十cmに限定される。通常のテレビやパソコンのモニターと同様、３Ｄディスプレイの表示面を垂直に設定すると、この表示限界の制限から表示できるものが限定されてしまうという問題があった。例えば遠景や観察者の目前の物、または厚みが±数十cmのものが表示できない。

平面上に置かれたものは、その安定性から、床面積に比較して高さが制限される傾向にある。すなわち、ディスプレイの面積が制限されれば、その上に表示される物の高さも自然に制限される。

さらに、水平パララックス方式３Ｄディスプレイの特徴として、ディスプレイ画枠に対する不動点が画面上に固定されるという問題があり、人間は水平方向を観察するとき、無意識に無限遠を不動点と考える。すなわち、頭を動かすことで観察対象が左右に移動して見えても、無限遠にした不動点と物体が動かずに、自分が動いたと認識する。

ところが、水平パララックス方式三次元画像表示の場合、ディスプレイ筐体や印刷物なら印刷対象のエッジといった表示面上に不動点があるように認識されてしまい、手前にある物体が観察者の移動方向と逆方向に動いて見え、奥にある物体が観察者の移動方向と同じ方向に動いて見える。すなわち、遠い背景は観察者と同じ方向に大きく動くように見える。これが実空間と乖離して感じられるという問題があった。

実空間では同じような現象として、窓越しに風景を見る場合などが考えられるが、窓の中心を基準（不動点）として風景を観察するようなことはない。これに対し、水平面上の物体を見下ろして観察する場合、人間は自然に不動点を平面上に設ける。すなわち、注視点（不動点）がディスプレイ上（または印刷物の場合印刷対象上）にあっても全く違和感がない。

水平パララックス方式のディスプレイを平置きにする場合、垂直方向には視差情報がないことから、表示面の法線に対して角度を持って各視点画像を取得し、三次元画像を表示することにより自然な表示が実現できることが知られている（特許文献１参照）。以下、このような表示方法を、以後俯角をつけた撮影と呼ぶ。

ところが、既に述べたように多視点画像を取得する場合に水平方向（Ｘ方向）のレンズシフト機能が必要だったように、俯角のために視点と注視点を結ぶ線と投影面のなす角度が９０度からずれることから、垂直方向（Ｙ方向）のレンズシフト機能が望まれる。これを補正する方法として、特許文献２ではキーストン補正を採用している。

ところが、多視点画像を取得するための水平方向と、俯角を実現するための垂直方向の二軸のキーストン補正は補正そのものが困難であるとともに、補正のための拡大縮小に耐えるように、より高い解像度で画像を取得する必要がある。
H. Hoshino et al., J. Opt. Soc. Am. A., 15(8), 2059 (1998). 特開２００１−２２７０４０号公報 特開２００４−１９８９７１号公報

前述したように、平置き型水平パララックス方式三次元画像表示のための多視点画像の取得においては、水平および垂直の二軸のレンズシフト機能と同等の撮影方法が望まれるが、レンズシフト機能を有するカメラやカメラモデルが限定されており、一般的な方法とは言い難かった。また、二軸のキーストン補正そのものが一軸のキーストン補正に比べて補正を行うことの困難度が高いとともに、画像に歪みが発生し易い。

本発明は、上記事情を考慮してなされたものであって、レンズシフトを持たないカメラまたはカメラモデルを用いても、歪みのない多視点画像を得ることができる三次元画像表示のための多視点画像の作成方法を提供することを目的とする。

本発明の第１の態様による三次元画像表示用多視点画像の作成方法は、水平方向に視差を与えることで観察者に三次元を認識させる三次元画像表示に用いる多視点画像を取得する三次元画像表示用多視点画像の作成方法において、基準となる注視点を含む単一の基準投影面に対し垂直な方向に同一の距離離間して設けられる複数の視点を前記基準投影面に平行な第１の方向に一定間隔で離間させるステップと、各視点に対応して前記基準投影面を含む平面である投影面上に、それぞれが前記基準となる注視点とは異なる、前記複数の視点の垂線の足となる複数の個別注視点を設けるステップと、前記複数の視点から取得する画像の前記投影面における領域である個別投影面の形状と面積を一定とし、前記複数の視点の最端に位置する２視点から取得される前記個別投影面のオーバーラップした領域に前記基準投影面が含まれるように前記個別投影面の形状とサイズを決定するステップと、各視点から取得された前記個別投影面から前記基準投影面の領域だけ切り出して三次元画像表示用多視点画像とするステップと、を備えたことを特徴とする。

なお、前記基準投影面の解像度を三次元画像表示装置の解像度に略一致するように各視点画像の解像度を定めるようにしてもよい。

なお、前記基準投影面の範囲を三次元画像表示装置の表示面積に略一致するように各個別投影面の範囲を定めるようにしてもよい。

なお、前記基準となる注視点と各視点を結ぶ線の、前記第１の方向に垂直な平面への射影成分と前記投影面がなす角度である俯角が５０度〜６０度としてもよい。

なお、前記俯角が５５度であってもよい。

なお、前記第１の方向に平行な幅と、前記基準投影面に平行でかつ前記第１の方向に垂直な第２の方向に平行な幅の両方について前記基準投影面の占有範囲を上回る占有範囲を有する前記個別投影面の範囲で画像を取得し、かつ前記基準投影面の範囲だけ切り出して各視点画像として保存してもよい。この場合、多視点画像が占めるメモリ領域を削減することができる。

なお、前記個別投影面の範囲のなかで前記基準投影面が占有する範囲以外に極力モデルを配置しないか、またはモデルがあってもレンダリング対象から極力除いてもよい。この場合、個別投影範囲の画像取得のためのレンダリング時間を削減することができる。

なお、撮像装置のフィルムの長手方向を前記基準投影面の前記第１の方向に垂直な第２の方向に一致させてもよい。この場合、低俯角を実現することができる。

なお、前記投影面を実際の床面より上方に設置することにより、三次元画像表示装置の奥行き方向の表示可能範囲を利用してもよい。

本発明の第２の態様による三次元画像表示用多視点画像の作成プログラムは、水平方向に視差を与えることで観察者に三次元を認識させる三次元画像表示に用いる多視点画像を取得する三次元画像表示用多視点画像の作成プログラムにおいて、基準となる注視点を含む単一の基準投影面に対し垂直な方向に同一の距離離間して設けられる複数の視点を前記基準投影面に平行な第１の方向に一定間隔で離間させる手順と、各視点に対応して前記基準投影面を含む平面である投影面上に、それぞれが前記基準となる注視点とは異なる、前記複数の視点の垂線の足となる複数の個別注視点を設ける手順と、前記複数の視点から取得する画像の前記投影面における領域である個別投影面の形状と面積を一定とし、前記複数の視点の最端に位置する２視点から取得される前記個別投影面のオーバーラップした領域に前記基準投影面が含まれるように前記個別投影面の形状とサイズを決定する手順と、各視点から取得された前記個別投影面から前記基準投影面の領域だけ切り出して三次元画像表示用多視点画像とする手順と、をコンピュータに実行させる。

本発明によれば、レンズシフトを持たないカメラまたはカメラモデルを用いても、歪みのない多視点画像を得ることができる。

以下に図面を参照して本発明の実施形態を詳細に説明する。
（第１実施形態）
本発明の第１実施形態による三次元画像表示のための多視点画像の作成方法を説明する。この実施形態の多視点画像作成方法は、水平パララックス方式３Ｄディスプレイ用の三次元画像表示のための多視点画像の作成方法であって、３Ｄ−ＣＧモデル空間における多視点画像を取得するものである。本実施形態の多視点画像作成方法に特徴的なのは、カメラモデルが存在するだけで、フィルムサイズや解像度、焦点距離といった諸パラメータが制限されないことである。よって、後述するように、要求される個別投影面に合わせて任意の広角撮影が可能である。

本実施形態の多視点画像作成方法の概念図を図１（ａ）、（ｂ）、（ｃ）に示す。図１（ａ）は本実施形態の多視点画像作成方法の概念を説明する斜視図、図１（ｂ）は図１（ａ）において画像取得方向と直交する方向からみたときの正面図、図１（ｃ）は画像取得方向からみたときの側面図である。図１（ａ）、（ｂ）、（ｃ）において、符号１は視点、符号２は基準投影面、符号３は個別投影面、符号４は注視点、符号５は個別注視点、符号６はカメラ（またはカメラモデル）のフィルム面、符号７は最端の視点同士の間の距離、ｇは２Ｄディスプレイと光線制御素子の射出瞳の間隔、L1は多視点画像取得距離を示す。

ところで、図２に観察者からの視差情報のイメージを示す。図２（ａ）、（ｂ）において、符号８は３Ｄディスプレイ、符号９は観察者、符号１０は３Ｄディスプレイより手前に表示された三次元画像、符号１１は３Ｄディスプレイより奥側に表示された三次元画像、符号１２は観察者９がみたイメージ、符号１３は３Ｄディスプレイの画枠をそれぞれ表す。水平パララックス方式３Ｄディスプレイ８は、ディスプレイ画枠１３に対する不動点が画面上に固定されるという問題がある（図２（ａ）参照）。人間は水平方向を観察するとき、無意識に無限遠を不動点と考える。すなわち、頭を動かすことで観察対象が左右に移動して見えても、無限遠にした不動点と物体が動かずに、自分が動いたと認識する（図２（ｂ）参照）。

次に、パラメータについて説明する。ここでは、２Ｄディスプレイや光線制御素子の関係で定まる、水平パララックス方式の視差数や視域角（三次元画像が観察できる角度）、観察視距離、必要な多視点画像の数、（理想的な）多視点画像の視点座標、といった関係については割愛し、以下のパラメータの値が既に求められているか決まっているものとして説明する。
視差数[視差]：Np
多視点画像取得距離[mm]：L1
２Ｄディスプレイと光線制御素子の射出瞳の間隔[mm]：g
多視点画像数［枚］：N_need
俯角[degrees]：φ

パラメータgは、２Ｄディスプレイと光線制御素子の射出瞳の空気換算ギャップであり、より具体的には２Ｄディスプレイの画素１４の表面と光線制御素子１６の射出瞳１７との間の空気換算ギャップを意味する。これは、水平パララックス方式３Ｄディスプレイ８において、視差情報を持った多視点画像が観察できる間隔を決定するパラメータとなる（図３参照）。図３において、符号９は観察者、符号１５は画素から射出し、射出瞳を経由して方向が限定された光線の主光線、Ｌは視距離をそれぞれ表す。

次に、水平パララックス方式３Ｄディスプレイに用いる多視点画像に関する基準投影面と個別投影面のパラメータを図４、５に示す。３Ｄディスプレイの表面に相当する投影面を含む面をｘｙ面、観察方向または多視点画像取得方向をｚ方向とする。

水平パララックス方式三次元画像表示は、２Ｄディスプレイの水平に並んだ複数画素を用いて３Ｄディスプレイの１画素を構成するので、３Ｄディスプレイの水平解像度は２Ｄディスプレイの水平解像度より低下する。

図１（ａ）乃至図１（ｃ）に示すように、基準投影面２とは、水平パララックス方式三次元画像表示に用いる多視点画像の投影面を意味し、等倍撮影に相当する（ズームを用いない）画像取得の場合、占有面積や解像度は３Ｄディスプレイの各パラメータに一致する。個別投影面３とは、本実施形態の視点１と注視点４を結ぶ線が投影面の法線に平行な関係を維持して画像を取得する多視点画像の生成において、各視点から得られる画像の位置（ｘ座標）がずれても、基準投影面２が全ての視点から取得した画像に含まれるように広角で取得する画像を指している。この個別投影面から基準投影面の領域を切り出し、水平パララックス方式三次元画像表示のための多視点画像を生成できる。

混乱を避けるため以下、基準投影面２の注視点（レンズシフト機能がある場合に利用する注視点）を単に注視点４、本実施形態の作成方法のために、各視点毎に設ける注視点を個別注視点５と呼ぶ。個別注視点５の水平座標のずれ、最端の投影面同士の水平座標のずれ、個別投影面３のオーバーラップ領域の水平幅についてもそれぞれパラメータを設ける（図４参照）。

これらに加えて、個別投影面３のパラメータの中にある、多視点画像取得距離L1における光線間隔（P_ray）について追加説明する。これは、図３に示したように、視差情報を観察できる光線１５の射出方向は、水平パララックス方式３Ｄディスプレイ８に用いられる２Ｄディスプレイの画素ピッチと光線制御子１６の空気換算ギャップｇで定まるので、これに基づいて、多視点画像取得距離L1における多視点画像の取得位置が定められる。よって、L1における光線間隔P_rayを個別投影面３のパラメータに含めた。

図４に示すパラメータとは別に、多視点画像の拡大縮小に関するパラメータZoom_S、zoom_Nを設ける（図５）。これは、水平パララックス方式３Ｄディスプレイに表示するコンテンツの大きさ、解像度に関係する。基準投影面のサイズを３Ｄディスプレイと同一にしておけば、３Ｄディスプレイに表示されるモデルの大きさはモデル空間における大きさと同一になる。基準投影面のサイズを水平方向および垂直方向ともに２倍にすれば、３Ｄディスプレイに表示されるモデルの大きさは、モデル空間における大きさの１／２になる。また、取得した多視点画像の基準投影面における解像度が３Ｄディスプレイの解像度を下回ると、３Ｄディスプレイの表示性能を十分に利用できない。

これらのパラメータを関係付ける関係式を図６に示す。前提として、
Np [視差]、L1 [mm]、g [mm]、N_need [視点]、φ[degree] ，D_x_h [pixel]，D_p_h [pixel]，
D_x_v [mm/pixel]，D_p_ｖ [mm/pixel]はそれぞれ，既定値を与えるとする。

水平パララックス方式３Ｄディスプレイの水平解像度は、２Ｄディスプレイの水平解像度を視差数（Nｐ）で割って得られる。液晶ディスプレイをはじめとする２Ｄディスプレイは水平方向に３つ並んだサブピクセルにＲＧＢを割り当て１ピクセルとしているが、ここではサブピクセルピッチで視差画像を並べるため、３Ｄディスプレイの水平解像度（3D_x_h [pixel]）は、
3D_x_h ＝ D_x_h×３/Np
で与えられる。

一方、垂直解像度（3D_x_v）については三次元画像表示とは独立に設定可能で、３Ｄディスプレイの水平解像度と垂直解像度とのバランスを基準に選んだり、解像度重視で選ぶなど、任意に設定が可能である。

次に、基準投影面２のサイズ、解像度は基本的には３Ｄディスプレイに一致すればよく、場合によっては多視点画像の拡大縮小に関するパラメータZoomS、ZoomNの値を反映したものとなる。個別投影面３に関するパラメータは、画像取得のための距離（L1）における視差情報を担う光線の間隔（P_ray）を反映する。すなわち，光線の間隔に合致するように個別投影画像の視点が設定される。

次に、個別投影面３のパラメータの画素ピッチを全てP_p_vに等しくしているが、これは前述したように３Ｄディスプレイにおける3D_p_hと3D_p_vが独立に設定され、これを反映してP_p_hとP_p_vも独立に設定されるために、個別投影面３の画素ピッチはP_p_hとP_p_vの小さいほうを充たすことが望ましいからである。

３Ｄディスプレイの解像度は２Ｄディスプレイの解像度に比較して低下することが避けられないことから、表示画像の品位を保つ目的で、３Ｄディスプレイの視差数と独立な3D_x_v は3D_x_hより大きく設定する場合がある。すなわち、3D_p_vは3D_p_hと同等かそれより小さくなる場合が多いことから、今回も3D_p_vが小さい場合を想定し、個別投影面３に関するパラメータの画素ピッチを全てP_p_vとした。

次に、視距離Ｌにおける光線間隔（P_ray）と等しくなるように、個別投影面のｘ座標の各視点毎のずれShift_x[pixel]を、
Shift_x ＝ ROUND(P_ray_/P_p_v)
で与える。ここで、ROUND（w)はwの小数点１位の値を四捨五入して整数にする演算子である。四捨五入を行うするのは、個別投影面３のずれはそのまま基準投影面２の切り出し位置のずれに相当するので、個別投影画像のサンプリングピッチ（Shift_p [mm/pixel]）の整数倍にすることで切り出し後の多視点画像の劣化を防止できる（リサンプリングの必要がない）ためである。

次に、必要な視点数（N_need [視点]）から最端の２点の視点の間隔（Shift_all_x [pixel]）を、
Shift_all_x ＝ Shift_x*(N_need-1)
から求める。これが、最も離れた二点の視点からの個別投影面３のずれであり、このずれを吸収し、かつ基準投影面２に相当するオーバーラップ領域（Overlap_x [pixel]）を追加したものが（図１（ｂ）、図６参照）、個別投影面の水平画素数（S_x_h）と、水平幅（S_W_h[mm]）になる。これらのパラメータは以下の式から求められる。
Overlap_x ＝ P_x_h*P_p_h/P_p_v
S_x_h ＝ Shift_all_x+Overlap_x
S_W_v ＝ S_p_v*S_x_v

一方、垂直解像度（S_x_v[pixel]）のほうは、俯角（φ[degree]）から求める。すなわち、
S_x_v ＝ ROUND(2*(L1/TAN(φ)+P_W_v/2)/P_p_v)
とすることで、基準投影面２の中心と視点を結ぶ線と、基準投影面２のなす角度の垂直成分（ｙｚ平面）をφとすることができる。ここでも、個別投影面３から基準投影面２を切り出す位置が個別投影面３のサンプリングピッチ（S_p_v [mm/pixel]）の整数倍とし、切り出し後の各視点画像のリサンプリングを防ぐために，四捨五入を行う。

ここで，３Ｄディスプレイの水平画素ピッチ（3D_p_h）を、
3D_p_h ＝ 3D_W_h/3D_x_h
で与えているが、これは３Ｄディスプレイの水平画素ピッチを２Ｄディスプレイの水平画素ピッチの整数倍に設定し、平行光の関係を実現するインテグラルイメージング方式のときの計算式であり、多眼式のように視距離で集光点を設ける方式では、
3D_p_h ＝ 3D_W_h/3D_x_h*L/(L+g)
となる。

また、俯角は５５度を中心として、５０〜６０度の間が好ましい。この理由について以下に述べる。水平パララックス方式を適用した平置き三次元表示における問題点は、垂直方向（ｙ方向）に視差情報が無いために、観察者がy方向に移動した場合に物体が歪むことである（図７参照）。図７において、符号８は３Ｄディスプレイ、符号９は観察者、符号１２は観察者９が見たイメージ、符号２７は俯角、符号２８は設定した俯角の観察方向、符号２９は設定した俯角より大きい俯角の観察方向をそれぞれ表している。望ましい俯角があっても、観察者９をその位置に固定することは難しく、逆に表示された内容に興味を持てば持つほど、観察者９は正面から見ようとする（俯角が大きくなる）傾向があった。すなわち、ある程度ｙ方向の観察位置の変動に対してロバストである必要がある。

さらに、本発明者達が検討を進めた結果、俯角が大きいほど観察位置の変動に対して違和感が少ないのに対し、俯角が大きすぎると物体の側面が殆ど観察されず、平置き表示という印象が低下するという関係があることが判明した。この主観評価を踏まえて、俯角４５，５０，５５，６０，６５度で比較したところ、５５度が最も好ましく、続いて５０度、６０度の順であることが判明した。これは次の関係式で理解できる。

平置き型３Ｄディスプレイ上に配置したｚｘ面に平行な板を想定し、ｚ軸に平行な高さをａとする（ｘ，ｙ軸に平行な幅は今回考慮しなくても良い）。俯角を持って観察した場合のこの高さaのｘｙ平面（投影面）における成分（ｂ）のaに対する割合は、次の式で示される。
b/a ＝ 1/TAN(φ)
すなわち、図８に示す結果となる。

φ＝４５度の場合、b/a＝１、すなわち高さが維持されたままｘｙ平面に投影される。例えば、立方体を想定すると、ｘ、ｙ方向の幅と高さが同一に見える。等しいというのは人間には検出しやすい関係であることから、観察者がｙ方向に頭を動かし俯角が増加したときに、a ＝ bの関係が維持されたままというのは違和感が大きい。一方、φ＝６５度になると、b/aは１／２を下回る（b/a＜１）。例えば、ｘ、ｙ方向の幅の２倍の高さを有する直方体を想定すると、ｘ、ｙ方向の幅と高さが同一に見える。２倍の高さというのも人間には知覚しやすい関係だが、この高さが俯角を小さくしてもｘ、ｙの幅と同一のままというのはやはり違和感が大きい。よって、元の高さよりは減少するが、１／２を下回らない５０度〜６０度の範囲というのは、高さaがｘｙ平面に投影されることで若干小さくなるので、俯角の変動による変化が認識されにくい。なかでも５５度のb/a＝０．７というのは、この中でも中間に位置し、俯角の変動に対してロバストだったと考えられる。

以上、モデル空間における平置き型３Ｄディスプレイのための多視点画像の作成方法の手順を図９のフローチャートに示す。使用する２Ｄディスプレイの諸パラメータに加え、水平パララックス方式３Ｄディスプレイの設計値である、視差数（Np）、観察距離（L1）、２Ｄディスプレイの画素部と光線制御子の空気換算ギャップ（ｇ）を定める。そして、これらとは独立に３Ｄディスプレイの垂直解像度を決めると、３Ｄディスプレイのその他のパラメータが定まる。この３Ｄディスプレイの表示に用いる多視点画像の品質（解像度、サイズ）、そして俯角を決めると、基準投影面パラメータ、個別投影面パラメータが定まる。そして、これらの基準投影面パラメータ、個別投影面パラメータに基づいて、多視点画像を以下のように形成する。

まず、基準となる注視点を含む単一の基準投影面に対し垂直な方向に同一の距離離間して設けられる複数の視点を前記基準投影面に平行な第１の方向に一定間隔で離間させ、
各視点に対応して前記基準投影面を含む平面である投影面上に、それぞれが前記基準となる注視点とは異なる、前記複数の視点の垂線の足となる複数の個別注視点を設け、
前記複数の視点から取得する画像の前記投影面における領域である個別投影面の形状と面積を一定とし、前記複数の視点の最端に位置する２視点から取得される前記個別投影面のオーバーラップした領域に前記基準投影面が含まれるように前記個別投影面の形状とサイズを決定し、
各視点から取得された前記個別投影面から前記基準投影面の領域だけ切り出して三次元画像表示用多視点画像とする。

なお、前記基準投影面の解像度を三次元画像表示装置の解像度に略一致するように各視点画像の解像度を定めてもよい。

なお、前記基準投影面の範囲を三次元画像表示装置の表示面積に略一致するように各個別投影面の範囲を定めてもよい。

なお、前記基準となる注視点と各視点を結ぶ線の、前記第１の方向に垂直な平面への射影成分と前記投影面がなす角度である俯角が５０度〜６０度としてもよい。

なお、前記俯角が５５度であってもよい。

なお、前記第１の方向に平行な幅と、前記基準投影面に平行でかつ前記第１の方向に垂直な第２の方向に平行な幅の両方について前記基準投影面の占有範囲を上回る占有範囲を有する前記個別投影面の範囲で画像を取得し、かつ前記基準投影面の範囲だけ切り出して各視点画像として保存してもよい。この場合、多視点画像が占めるメモリ領域を削減することができる。

なお、前記個別投影面の範囲のなかで前記基準投影面が占有する範囲以外に極力モデルを配置しないか、またはモデルがあってもレンダリング対象から極力除いてもよい。この場合、個別投影範囲の画像取得のためのレンダリング時間を削減することができる。

以上説明したように、本実施形態によれば、レンズシフトを持たないカメラまたはカメラモデルを用いても、歪みのない多視点画像を得ることができる。

（第２実施形態）
次に、本発明の第２実施形態による三次元画像表示用多視点画像の作成方法を説明する。この実施形態の多視点画像作成方法は、水平パララックス方式３Ｄディスプレイ用の三次元画像表示のための多視点画像の作成方法であって、実空間における画像取得、すなわちカメラを用いた画像取得するものである。ＣＧ空間におけるカメラモデルと実際のカメラで大きく異なるのは、フィルムサイズや解像度、焦点距離といった諸パラメータが制限されていることである。よって、これまでに第１実施形態で説明した各パラメータに加え、図１０に示すカメラパラメータを追加する。

図１０に示すパラメータを追加し、ＣＧモデル空間の場合（図６参照）とは異なる部分の関係式を図１１に示す。これらの式に関して説明する。実写の撮影における特徴をまとめると、
（１） 視点数（N_need）が定まった状態で、両端の視点から取得した個別投影面３のオーバーラップ領域を３Ｄディスプレイ幅相当に確保するためには、個別投影面３における基準投影面２の水平幅を相対的に狭くする必要がある。すなわち、視点１をある程度遠ざけて（L1を大きくする）個別投影面３を相対的に大きくする必要がある（図１２で破線で表示）。
（２） カメラの焦点距離（ｆ）が固定された状態で俯角（φ）を大きくするには、個別投影面３における基準投影面２の切り出し範囲を相対的に狭くする必要がある。すなわち、視点１をある程度遠ざけて（L1を大きくする）個別投影面３を相対的に大きくする必要がある（図１３に破線で表示）。
（３） 視点−投影面距離（L1）が大きくなると、投影面における画像サンプリング間隔（P_p_h，P_p_v）が粗くなる、
という特徴がある。すなわち、（１）〜（３）の要請を全て満たす必要がある。この撮影条件を求めるための関係式を以下に説明する。

まず、カメラの焦点距離（ｆ [mm]）と、ＣＣＤ（またはフィルム）のサイズ（F_W_h，F_W_v）や解像度（F_x_h，F_x_v）が定まっているので、撮影距離（L1）が決まると、基準投影面（＝個別投影面）における画像の解像度（P_p_h，P_p_v）が定まる。
P_p_h ＝ F_p_h*L1/f
P_p_v ＝ F_p_v*L1/f
基準投影面の高さ（P_W_v）を定めることにより、
P_W_v ＝ 3D_W_v*Zoom_S
基準投影面における解像度（P_x_h，P_x_v）が定まる。
P_x_v ＝ ROUND(P_W_v/P_p_v)
P_x_h ＝ ROUND(P_x_v*3D_W_h/3D_W_v)
ここで四捨五入を行うのは、これまでにも説明したように、基準投影面の切り出し時にリサンプリングを起こさないためである。

一方、（１）で述べたように実現可能な俯角（φ[degree]）は、基準投影面の高さ（P_W_v [mm]）と撮影距離（L1[mm]）に関連する。すなわち、
L1/（F_W_v*L1/f - P_W_v ）/2 ＝ TAN(φ)
したがって、
L1＝(TAN(φ)*P_W_v)/2/(TAN(φ)*F_W_v/f/2-1)
を満たすL1にすることで、φが実現できる。ただし、このとき、（２）で述べた両端の視点から取得する個別投影面のオーバーラップ領域（Overlap_W [mm]）が画面幅を満たすか、投影面の解像度（P_p_v [mm/pixel]）が、３Ｄディスプレイの解像度（3D_p_h [mm/pixel]，3D_p_ｖ[mm/pixel]の小さいほう）を満たすか、という問題がある。この値によっては、φを大きめに設定する必要が生じる。

ここで、３Ｄディスプレイの水平画素ピッチ（3D_p_h）を、
3D_p_h ＝ 3D_W_h/3D_x_h
で与えているが、これは３Ｄディスプレイの水平画素ピッチを２Ｄディスプレイの水平画素ピッチの整数倍に設定し、平行光の関係を実現するインテグラルイメージング方式のときの計算式であり、多眼式のように視距離で集光点を設ける方式では、
3D_p_h ＝ 3D_W_h/3D_x_h*L/(L+g)
となる。

以上説明した実写における平置き型３Ｄディスプレイのための多視点画像の作成方法の手順を図１４のフローチャートに示す。使用する２Ｄディスプレイの諸パラメータに加え、水平パララックス方式３Ｄディスプレイの設計値である、視差数（Np）、観察距離（L1）、２Ｄディスプレイの画素部と光線制御子の空気換算ギャップ（ｇ）を定め、かつ、これらとは独立に３Ｄディスプレイの垂直解像度を決めると、３Ｄディスプレイのその他のパラメータが定まる。そして俯角（φ）を仮定した場合に、これを実現する撮影距離（L1）が存在し、かつ、最端の二点の視点から取得した個別投影面のオーバーラップ領域の水平幅が、基準投影面の幅を充たすかどうかを判定する。この二つの関係を満たさない場合、俯角を低減し、充たすようにする。充たしたところで、基準投影面のパラメータ（P_p_h，P_p_v）と、撮影距離での光線間隔（P_ray）が定まる。これらのパラメータが、３Ｄディスプレイの表示性能に耐える解像度を実現しない場合、L1を小さくする（必然、φを増加させる）。すなわち、水平幅が基準幅を充たし、かつ、３Ｄディスプレイの表示解像度より低下しない範囲で、L1を大きく（＝φを小さく）する。最後に、L1が大きすぎて撮影が困難な場合、個別投影面をディスプレイ面より小さく撮影（ZooｍSを１以下にする）することができる。以上のプロセスを経て、基準投影面と個別投影面の各パラメータ画定まる（撮影条件が定まる）。これらの基準投影面パラメータ、個別投影面パラメータに基づいて、多視点画像を以下のように形成する。

まず、基準となる注視点を含む単一の基準投影面に対し垂直な方向に同一の距離離間して設けられる複数の視点を前記基準投影面に平行な第１の方向に一定間隔で離間させ、
各視点に対応して前記基準投影面を含む平面である投影面上に、それぞれが前記基準となる注視点とは異なる、前記複数の視点の垂線の足となる複数の個別注視点を設け、
前記複数の視点から取得する画像の前記投影面における領域である個別投影面の形状と面積を一定とし、前記複数の視点の最端に位置する２視点から取得される前記個別投影面のオーバーラップした領域に前記基準投影面が含まれるように前記個別投影面の形状とサイズを決定し、
各視点から取得された前記個別投影面から前記基準投影面の領域だけ切り出して三次元画像表示用多視点画像とする。

なお、前記基準投影面の解像度を三次元画像表示装置の解像度に略一致するように各視点画像の解像度を定めてもよい。

なお、前記基準投影面の範囲を三次元画像表示装置の表示面積に略一致するように各個別投影面の範囲を定めてもよい。

なお、前記基準となる注視点と各視点を結ぶ線の、前記第１の方向に垂直な平面への射影成分と前記投影面がなす角度である俯角が５０度〜６０度としてもよい。

なお、前記俯角が５５度であってもよい。

なお、撮像装置のフィルムの長手方向を前記基準投影面の前記第１の方向に垂直な第２の方向に一致させてもよい。この場合、低俯角を実現することができる。

なお、前記投影面を実際の床面より上方に設置することにより、三次元画像表示装置の奥行き方向の表示可能範囲を利用してもよい。

最後に、広角で撮影するというのは被写体深度、または被写界深度を深くするという効果がある。水平パララックス方式三次元画像表示の場合，多視点画像からの切り出し位置を調整することで表示位置を手前，または奥に変更することができる．より具体的には，三次元空間における基準投影面がディスプレイに一致するという関係にあることから，個別投影面を広角で取得しておくと，基準投影面の選択の仕方（切り出し方）で，ディスプレイ上に固定される点が決まる。より詳しく述べると、図１５（ａ）に示すように、基準投影面を多視点画像として利用する範囲２２より広角に取得し、多視点画像として利用する範囲の水平位置をずらすことで、三次元画像としての表示位置を変動することができる。図１５（ａ）、（ｂ）、（ｃ）において、符号２０は視点（＋ｎ）から取得した基準投影面、符号２１は視点（−ｎ）から取得した基準投影面、符号２２は基準投影面としての利用範囲、符号２３は注視点を含む投影面より手前の存在した物体またはモデル、符号２４は注視点を含む投影面より奥に存在した物体またはモデルをそれぞれ表す。

図１５（ｂ）では、基準投影面の注視点を基準に切り出したことから、注視点は３Ｄディスプレイの画面上に表示されて見える。これに対して、図１５（ｃ）のように、注視点より手前にあったモデルを基準に切り出して多視点画像として利用すると、この注視点より手前にあったはずのモデル２２が３Ｄディスプレイの画面上に表示されてみえ、注視点より奥にあったモデル２３はより奥に表示されて見える。このような操作を行うには，被写界深度の深い撮影をしておくことが前提になる。すなわち、図１５（ａ）でいう、モデル２２〜２３の範囲でフォーカスしていればこのような切り出し位置の変化による表示位置の移動も可能だが、注視点からはなれるにしたがって発生するボケの程度によっては、表示面に移動することができない。その意味でも，被写界震度が限られている実写において広角撮影は有用である。

なお、第１または第２実施形態にかかる三次元画像表示のための多視点画像の作成方法を実行するプログラムは、ＣＰＵ(Central Processing Unit)などの制御装置と、ＲＯＭ(Read Only Memory)やＲＡＭ(Random Access Memory)などの記憶装置と、ＨＤＤ、ＣＤ(Compact Disc)ドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えた通常のコンピュータを利用したハードウェア構成により、実施される。

第１または第２実施形態にかかる三次元画像表示のための多視点画像の作成プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ(Compact Disk Read Only Memory)、フレキシブルディスク(FD)、ＣＤ−Ｒ(Compact Disk Recordable)、ＤＶＤ(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、第１または第２実施形態にかかる三次元画像表示のための多視点画像の作成プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、第１または第２実施形態にかかる三次元画像表示のための多視点画像の作成プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

また、第１または第２実施形態の三次元画像表示のための多視点画像の作成プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

また、個別投影面から基準投影面の切り出しについては、これまでは個別投影面の画像から基準投影面を切り出すと表現してきたが、基準投影面の範囲しか利用しないことから、特にＣＧモデルのレンダリングの場合、基準投影面に相当する範囲のみレンダリング作業を行うことで、大幅な効率の向上が実現が可能である。

さらには、より低角の俯角を実現するには、フィルム面積のｙ軸に平行な方向の長さが大きいことが明らかであるが、このためには、横長のフィルムまたは受光素子アレイを用いたカメラの場合、９０度回転させ、縦長のフィルムまたは受光素子アレイとして撮影することが効果的である。これについては実施例で詳しく述べる。

（実施例１）
２Ｄディスプレイとして、例えば、解像度（D_x_h，D_x_v）1920 [pixel]×1200[pixel]、表示領域サイズ（D_W_h×D_W_v）331.2[mm]×207.0[mm]のＱＵＸＧＡディスプレイを用いた場合、画素ピッチ（D_p_h，D_p_ｖ）は0.1725[mm]である。視差数（Np）を１８とし、光線制御素子として水平方向にのみレンズ成分を有する稜線が垂直のレンチキュラーシートを用いた。インテグラルイメージング方式（水平レンズピッチを２Ｄディスプレイの画素ピッチの正確に整数倍に設計することで、多視点画像として平行投影画像を用いる方式）を採用したので、視域を最大に確保するために、視差数（Np）に比較して必要な視点数（N_need）が大きくなっている。水平レンズピッチ（3D_p_h）は1.035[mm/pixel]となった。３Ｄ−ＣＧモデルから各視点画像を作成する場合のパラメータを図１６に記載する。ここで、
Np ＝ １８［視差］
L1 ＝ ７００ [mm]
g ＝ ２ [mm]
N_need ＝ ３６ [視点]
φ ＝ ５５ [degree]
とした。

すなわち、個別投影面のサイズ（S_W_h，S_W_v）は、1037.5875 [mm]×1187.145[mm]と若干縦長の形状となり,投影面おける画像のサンフ゜リンク゛ヒ゜ッチは0.5175[mm]と、３Ｄディスプレイの垂直画素ピッチ（3D_p_v）に完全に一致し、個別投影面の解像度（S_x_h，S_x_v）は、2005[pixel]×2294[pixel]となった。視点同士の間隔(Shift_W)は、水平方向に20.1825[mm]となり、各視点画像の切り出し位置は視点ごとに３９ [pixel]ずらして切り出すことで、水平パララックス方式の多視点画像を生成することができた。

この手法を用いて取得した多視点画像より要素画像アレイを作成、平置き型インテグラルイメージング方式３Ｄディスプレイに表示した三次元画像は自然で存在感の高く、また俯角を５５度に設定したことから、観察者のｙ方向の移動に対して違和感が抑制された三次元画像となった。

（実施例２）
実施例１と同様の水平パララックス方式３Ｄディスプレイにおいて、インテグラルイメージング方式を採用し、擬似多眼と呼ばれる手法（要素画像アレイのを多眼に近似して作成する）を用いることで、必要な視点数（N_need）を多眼と同等にした。実写撮影にて各視点画像を作成する場合のパラメータを図１７に示す。カメラは焦点距離f＝１８mmのカメラを利用した。ここで、
Np ＝ 18［視差］
L1 ＝ 921.1658667 [mm]
g ＝ 2 [mm]
N_need ＝ 18 [視点]
φ ＝ 61 [degree]
とした。

カメラは、９０度回転させ、撮像素子の長手方向（24mm，画素数3000）のほうを、ディスプレイのｙ軸に平行になるようにして用いた。投影面から920mm離間したレール上にカメラを２６．６mmずつ水平方向に移動させながら個別投影画像を取得し、６５[pixel]ずつずらしながら切り出して多視点画像とした。また、広角撮影のために被写界深度が深く、基準投影面（多視点画像）の切り出し位置を６４〜３０[pixel]と、変化させることで、三次元映像の表示位置を全体的により手前に移動させることも可能だった。

ここではインテグラルイメージング方式について説明したが、多眼式の場合の設計値もほぼ同様の値となった。

以上の条件に基づいて作成したところ、多視点画像の解像度は３Ｄディスプレイの解像度と同等を確保することができ、かつ６１度という俯角をもって、画像を取得することができたため、実写の存在感の高い三次元画像表示を実現できた。

（比較例１）
実施例２の構成において、φ＝５７度を実現しようとしたところ、L1=5996.8 [mm]，投影面における画像サンプリングピッチ（P_p_h，P_p_v）は 2.7[mm]となり、撮影自体が現実的でなくなるとともに、仮に画像が取得できても３Ｄディスプレイの解像度に対して大きく不足することから、十分な品位の三次元画像を表示することはできない。

（比較例２）
実施例２と同様の構成において、カメラのフィルム面の長手方向をｘ方向に一致させたまま画像を取得しようとしたところ、実現可能な俯角は７０度と望ましい範囲から大きく
はずれた値となった。このときのパラメータを図１８に示す。この場合、
Np = 18
L1 = 1145.8511
g= 2
φ = 70.5
N_need = 36
とした。

取得した多視点画像を用いて三次元画像表示をしたところ、側面の殆ど見えない（俯角の大きな）表示となり、存在感が著しく低下した。

本発明の一実施形態による三次元画像表示用多視点画像の作成方法を説明する概念図。 観察者が得る視差情報のイメージを説明する図。 ２Ｄディスプレイの画素ピッチと２Ｄディスプレイと光線制御子の射出瞳までのギャップにより視差情報を担う光線の間隔との関係を示す図。 第１実施形態で用いるパラメータを示す図。 第１実施形態で用いるパラメータを示す図。 第１実施形態で用いるパラメータの関係式を示す図。 水平パララックス方式平置き３Ｄディスプレイの見え方の俯角依存性の概念を説明する図。 水平面と垂直面の比率（ｂ／ａ）の俯角依存性を説明する図。 第１実施形態のＣＧ空間における多視点画像生成の過程を示すフローチャート。 第２実施形態で用いるパラメータを示す図。 第２実施形態で用いるパラメータの関係式を示す図。 個別投影面と基準面の比率の撮影距離依存性を説明する図。 俯角の撮影距離依存性を説明する図。 第２実施形態の実写における多視点画像生成の過程を示すフローチャート。 取得した多視点画像の切り出し位置による表示位置操作の概念図。 実施例１での各パラメータの数値を示す図。 実施例２での各パラメータの数値を示す図。 比較例２での各パラメータの数値を示す図。

符号の説明

１ 視点
２ 基準投影面
３ 個別投影面
４ 注視点
５ 個別注視点
６ （カメラまたはカメラモデルの）フィルム面
７ 最端の視点同士の間の距離
８ ３Ｄディスプレイ
９ 観察者
１０ ３Ｄディスプレイより手前に表示された三次元画像
１１ ３Ｄディスプレイより奥側に表示された三次元画像
１２ 観察者が見たイメージ
１３ ３Ｄディスプレイの画枠
１４ ２Ｄディスプレイの画素部
１５ 画素から射出し、射出瞳を経由して方向が限定された光線の主光線
１６ 光線制御子
１７ 射出瞳
２０ 視点（＋ｎ）から取得した基準投影面
２１ 視点（−ｎ）から取得した基準投影面
２２ 基準投影面としての利用範囲
２３ 注視点を含む投影面より手前に存在した物体またはモデル
２４ 注視点を含む投影面より奥に存在した物体またはモデル
２７ 俯角
２８ 設定した俯角の観察方向
２９ 設定した俯角より大きい俯角の観察方向

Claims (10)

1. 水平方向に視差を与えることで観察者に三次元を認識させる三次元画像表示に用いる多視点画像を取得する三次元画像表示用多視点画像の作成方法において、
   基準となる注視点を含む単一の基準投影面に対し垂直な方向に同一の距離離間して設けられる複数の視点を前記基準投影面に平行な第１の方向に一定間隔で離間させるステップと、
   各視点に対応して前記基準投影面を含む平面である投影面上に、それぞれが前記基準となる注視点とは異なる、前記複数の視点の垂線の足となる複数の個別注視点を設けるステップと、
   前記複数の視点から取得する画像の前記投影面における領域である個別投影面の形状と面積を一定とし、前記複数の視点の最端に位置する２視点から取得される前記個別投影面のオーバーラップした領域に前記基準投影面が含まれるように前記個別投影面の形状とサイズを決定するステップと、
   各視点から取得された前記個別投影面から前記基準投影面の領域だけ、水平方向と垂直方向に切り出し位置をずらして切り出して三次元画像表示用多視点画像とするステップと、
   を備えたことを特徴とする三次元画像表示用多視点画像の作成方法。
2. 前記基準投影面の解像度を三次元画像表示装置の解像度に略一致するように各視点画像の解像度を定めることを特徴とする請求項１記載の三次元画像表示用多視点画像の作成方法。
3. 前記基準投影面の範囲を三次元画像表示装置の表示面積に略一致するように各個別投影面の範囲を定めることを特徴とする請求項１または２記載の三次元画像表示用多視点画像の作成方法。
4. 前記基準となる注視点と各視点を結ぶ線の、前記第１の方向に垂直な平面への射影成分と前記投影面がなす角度である俯角が５０度〜６０度としたことを特徴とする請求項１乃至３のいずれかに記載の三次元画像表示用多視点画像の作成方法。
5. 前記俯角が５５度であることを特徴とする請求項４記載の三次元画像表示用多視点画像の作成方法。
6. 前記第１の方向に平行な幅と、前記基準投影面に平行でかつ前記第１の方向に垂直な第２の方向に平行な幅の両方について前記基準投影面の占有範囲を上回る占有範囲を有する前記個別投影面の範囲で画像を取得し、かつ前記基準投影面の範囲だけ切り出して各視点画像として保存したことを特徴とする請求項１乃至５のいずれかに記載の三次元画像表示用多視点画像の作成方法。
7. 前記基準投影面に相当する範囲についてレンダリングすることを特徴とする請求項１記載の三次元画像表示用多視点画像の作成方法。
8. 撮像装置のフィルムの長手方向を前記基準投影面の前記第１の方向に垂直な第２の方向に一致させたことを特徴とする請求項１記載の三次元画像表示用実写多視点画像の作成方法。
9. 前記投影面を実際の床面より上方に設置することを特徴とする請求項１〜５、８のいずれかに記載の三次元画像表示用実写多視点画像の作成方法。
10. 水平方向に視差を与えることで観察者に三次元を認識させる三次元画像表示に用いる多視点画像を取得する三次元画像表示用多視点画像の作成プログラムにおいて、
    基準となる注視点を含む単一の基準投影面に対し垂直な方向に同一の距離離間して設けられる複数の視点を前記基準投影面に平行な第１の方向に一定間隔で離間させる手順と、
    各視点に対応して前記基準投影面を含む平面である投影面上に、それぞれが前記基準となる注視点とは異なる、前記複数の視点の垂線の足となる複数の個別注視点を設ける手順と、
    前記複数の視点から取得する画像の前記投影面における領域である個別投影面の形状と面積を一定とし、前記複数の視点の最端に位置する２視点から取得される前記個別投影面のオーバーラップした領域に前記基準投影面が含まれるように前記個別投影面の形状とサイズを決定する手順と、
    各視点から取得された前記個別投影面から前記基準投影面の領域だけ、水平方向と垂直方向に切り出し位置をずらして切り出して三次元画像表示用多視点画像とする手順と、
    をコンピュータに実行させる三次元画像表示用多視点画像の作成プログラム。

Images