JP4763571B2 - 立体画像生成装置及び立体画像復号装置 - Google Patents

Description

本発明は、立体画像を生成するための立体画像生成装置に関する。

従来、３次元画像を表示する様々な方法が提案されてきた。その中でも一般的に用いられているのは、両眼視差を利用する「２眼式」と呼ばれるものである。すなわち、「２眼式」では、両眼視差を持った左目用の画像及び右目用の画像（以降、「左目用画像」、「右目用画像」とそれぞれ称する。）を用意し、それぞれ独立に左右の眼に投影することにより立体視を行うことができる。

以下の説明では、３Ｄは３次元または立体を、２Ｄは２次元を意味する用語としてそれぞれ用い、立体視用の画像データを３Ｄ画像データ、通常の２次元画像データを２Ｄ画像データと称する。

ここで、２眼式の代表的な方式のひとつとして、偏光眼鏡を用いて左目と左目とに入る画像を分離することにより立体感を持たせる偏光プロジエクタ式立体視装置について下記特許文献１に開示されている。この方式では、左目用と右目用とのそれぞれの画像を偏光面が互いに直交する偏光板を取り付けた２台のプロジエクタでスクリーンに投射し、偏光眼鏡によって左右画像を左右眼に分離して入射させる。

また、放送局から送られてきた３次元映像情報と、この３次元映像情報をそのまま再生した場合に好適な立体感が得られる３次元表示装置の表示サイズに関する情報と、を受信して、表示サイズに関する情報に基づいて３次元映像情報を再生するデジタル放送システム受信端末が特許文献２に記載されている。

実開昭６２−１２１２０号公報 特開平１０−１５０６０８号公報

しかしながら、上記特許文献２では、立体表示に関するパラメータ（以下「３Ｄ制御情報」と称する。）として、３次元表示装置の表示サイズに関する情報のみが存在するだけであり、偏光めがねと、プロジェクタ、スクリーン等を用いて立体表示を行なう際に、スクリーンが大型である空間、例えばシアターなどで立体映像を鑑賞する場合に、表示サイズに関する情報に従って立体表示しても、例えば観察者がシアターの両端の席から観察すると、本来想定していた視差と異なって表示され、立体映像の立体感が変化し映像が歪むことにより、または、視差が大きくなることによって立体視が難しくなる。また、観察者に悪い生体影響を与えてしまう可能性があるという問題があった。

さらに、シアターなどで立体映画を上映する場合、立体視がしづらい座席などに観客を座らせないように、スクリーンからどの範囲までなら想定した立体視が可能なのかを確認する必要があるが、そのための情報がないため、実際に立体上映を行ない、上映された映像を実際に目で見て確認する方法しかないため、非常に不便であるという問題があった。

本発明は、ゆがみの影響が少ない立体映像が生成する技術を提供することを特徴とする。

本発明の一観点によれば、立体表示に関するパラメータを含む、２つ以上の異なる視点に対応する画像データを入力とし、立体画像を生成する装置において、想定画像表示サイズと、想定鑑賞距離、最大視差、最小視差を入力とし、前記想定画像表示サイズ、前記想定鑑賞距離、前記最大視差、及び前記最小視差から想定視野角を生成する想定視野角生成手段と、画像配置情報と、前記想定画像表示サイズ、前記想定鑑賞距離、前記最大視差、前記最小視差、及び前記想定視野角を含む３Ｄ制御情報を生成する３Ｄ制御情報生成手段と、前記２つ以上の異なる視点に対応する画像データと前記画像配置情報とを入力とし、合成画像データを生成する画像合成手段と、前記合成画像データを符号化して符号化データを生成する圧縮手段と、前記３Ｄ制御情報と前記符号化データとを多重化して３Ｄ画像データを生成する多重化手段と、を備えることを特徴とする立体画像生成装置が提供される。

前記想定視野角生成手段は、前記想定画像表示サイズと、前記想定鑑賞距離、前記最大視差から第１の所定の想定視野角候補を生成し、前記想定画像表示サイズと、前記想定鑑賞距離、前記最小視差から第２の所定の想定視野角候補を生成することが好ましい。

前記想定視野角生成手段は、前記第１の所定の想定視野角候補と、前記第２の所定の想定視野角候補のうち、より小さな値をもつ想定視野角候補を前記想定視野角として生成することが好ましい。前記想定視野角を、前記想定画像表示サイズ、前記想定鑑賞距離とともに前記３Ｄ画像データ内に記録することが好ましい。前記３Ｄ画像データのコンテンツごとに異なる値をもつ前記想定視野角を、コンテンツと一対のデータとして記録することが好ましい。
これにより、３Ｄ画像データのコンテンツを立体視する際に、観察者は、コンテンツごとに観察位置を特定することができる。

上記に記載の前記３Ｄ画像データを復号する装置であって、前記３Ｄ制御情報から前記想定視野角を復号する３Ｄ制御情解析手段を備えることを特徴とする立体画像復号装置でも良い。

上記に記載のコンテンツ内に含まれる想定視野角を解析することにより、立体映像を上映する際の適切な観察位置を求める手段と、前記観察位置により発生するゆがみの少ない品質の高い立体映像を提供するための座席配置を求める手段と、を備える立体画像シアターの座席管理装置であっても良い。

本発明の他の観点によれば、立体表示に関するパラメータを含む、２つ以上の異なる視点に対応する画像データを入力とし、立体画像を生成する方法であって、想定画像表示サイズと、想定鑑賞距離、最大視差、最小視差を入力とし、前記想定画像表示サイズ、前記想定鑑賞距離、前記最大視差、及び前記最小視差から想定視野角を生成する想定視野角生成手段と、画像配置情報と、前記想定画像表示サイズ、前記想定鑑賞距離、前記最大視差、前記最小視差、及び前記想定視野角を含む３Ｄ制御情報を生成する３Ｄ制御情報生成ステップと、前記２つ以上の異なる視点に対応する画像データと前記画像配置情報とを入力とし、合成画像データを生成する画像合成ステップと、前記合成画像データを符号化して符号化データを生成する圧縮ステップと、前記３Ｄ制御情報と前記符号化データとを多重化して３Ｄ画像データを生成する多重化ステップと、を備えることを特徴とする立体画像生成方法が提供される。本発明は、上記各ステップをコンピュータに実行させるためのプログラムであっても良い。

本発明の立体画像生成装置によれば、ゆがみの影響が少ない立体映像を観察者に提示することができる。
また、本発明の立体画像復号装置によれば、立体映像を多人数で鑑賞する場合、観察者は、適切なスクリーンサイズ、観察位置、視野角から計算した座席配置の設定などが容易に可能である。

また、本発明の立体画像復号装置によれば、製作者の意図する、かつゆがみの影響が少ない立体映像を、観察者に表示することができる。

また、本発明の立体画像復号装置によれば、観察位置により発生するゆがみの少ない品質の高い立体映像を提供するための座席配置に関する管理を行なうことが簡単になる。

以下、本発明の一実施の形態による立体画像生成技術について図面を例にして図面を参照しながら説明する。以下の説明において、異なる図面においても同じ符号を付した構成は同様のものであるとして説明を省略することとする。

図１は、本発明の一実施の形態による立体画像生成装置の一構成例を示す機能ブロック図である。図１に示すように、本実施の形態による立体画像生成装置１は、想定視野角生成手段２と、３Ｄ制御情報生成手段３と、画像合成手段４と、圧縮手段５と、多重化手段６と、を有している。

想定視野角生成手段２は、外部から、想定画像表示サイズ情報と、想定鑑賞距離情報と、最大視差、最小視差、各視点の画像の水平画像サイズ、各視点の画像の垂直画像サイズ、水平視点数、垂直視点数、画像配置情報、左目用の画像データ及び右目用の画像データを入力とし、想定画像表示サイズ、想定鑑賞距離、最大視差及び最小視差を入力とし、入力された情報から想定視野角を計算し、出力する。

３Ｄ制御情報生成手段３は、想定画像表示サイズと、想定鑑賞距離、最大視差、最小視差、各視点の画像の水平画像サイズ、各視点の画像の垂直画像サイズ、水平視点数、垂直視点数、画像配置情報、及び想定視野角を入力とし、入力された情報から３Ｄ制御情報を生成し、出力する。画像合成手段４は、各視点の画像の水平画像サイズ、各視点の画像の垂直画像サイズ、水平視点数、垂直視点数、画像配置情報、左目用の画像データ、及び右目用の画像データを入力とし、入力された情報と画像データから合成画像データを生成し、出力する。圧縮手段５は、合成画像データを入力とし、入力された画像データに符号化を行い、画像符号化データとして出力する。多重化手段６は、３Ｄ制御情報と、画像符号化データを入力とし、入力された３Ｄ制御情報と、画像符号化データを多重化して、立体視用の画像データとして３Ｄ画像データを生成し、出力する。

ここで、３Ｄ制御情報とは、立体視用の画像データである３Ｄ画像データの、例えばヘッダ内に含まれるデータである。上記各手段に関する説明については後述することとし、まず、３Ｄ画像データと、３Ｄ制御情報、想定画像表示サイズ、想定鑑賞距離、最大視差、最小視差、水平視点数、垂直視点数、及び画像配置情報について説明を行なう。

図２は、３Ｄ画像データの一構成例を示す図である。３Ｄ画像データは、ヘッダ７と画像データ８とから構成されており、ヘッダ７内には、画像データ８の画像サイズ情報や３Ｄ制御情報９が含まれている。ヘッダ７の例としては、EXIF（Exchangeable Image File Format）ヘッダや、ＡＶＩ（Audio Video Interleave）、ＡＳＦ（Advanced Streaming Format）、ＷＭＶ（Windows Media Video）、ＭＰ４などのファイルフォーマットのヘッダなどが挙げられる。また、画像データの例としては、未圧縮の画像データや、ＪＰＥＧ（Joint Photographic Experts Group）やＭＰＥＧ（Moving Picture Experts Group）などの圧縮方式で圧縮された圧縮画像データが挙げられる。

また、３Ｄ制御情報９とは、立体表示に関するパラメータ含む情報であり、３Ｄ画像データ内の画像データの構成に関する情報や、３Ｄ画像を表示する際に表示を制御するための情報を示す。３Ｄ制御情報内には、想定画像表示サイズと、想定鑑賞距離、最大視差、最小視差、各視点の画像の水平画像サイズ、各視点の画像の垂直画像サイズ、水平視点数、垂直視点数、画像配置情報が含まれる。

まず、想定画像表示サイズについて説明する。これは、この情報を含む３Ｄ画像データの作成者が想定し、意図している３Ｄ画像の表示サイズを、水平方向の長さで表す。

次に、想定鑑賞距離について説明する。これは、この情報を含む３Ｄ画像データの作成者が想定、意図している鑑賞位置から３Ｄ画像の再生機の表示面位置までの鑑賞距離を表す。

次に、最大視差、最小視差について説明する。図３は、最大視差、最小視差の一例を示す図である。左目用画像１０の点１１と点１２に、対応する右目用画像１３の点をそれぞれ点１４、点１５とする。ここで、点１１と点１４は、この画像を立体視した際に最も画面より手前に飛び出している、つまり、近く見えている点である。また、点１２と点１５は、この画像を立体視した際に最も画面より奥に引っ込んでいる、つまり、遠く見えている点である。点１１、１２、１３、１４の画像左端からの距離をそれぞれ、ＤｎＬ、ＤｆL、ＤｎＲ、ＤｆＲとすると、最大視差と最小視差は、以下の式で定義される。
（最大視差） ＝ （ＤｎＬ − ＤｎＲ ）
（最小視差） ＝ （ＤｆＬ − ＤｆＲ ）
次に、視点数と画像配置情報について説明する。視点数は、３Ｄ画像データ内に含まれる視点の異なる画像データの数の情報を示し、水平方向及び垂直方向の視点数の２種類から構成される。

図４は、左目用画像と右目用画像との一例について、また、図５は、３Ｄ画像データ内の画像データの一例について説明するための図である。例えば図４の（ａ）は、左目用画像を、図４の（ｂ） は右目用画像をそれぞれ示し、左目用画像、右目用画像とも同じ大きさの水平画像サイズｈ、垂直画像サイズｖとする。ここで、水平方向の視点数を２、垂直方向の視点数を１とする。

例えば、ここで、図５（ａ）のように、この左目用画像と右目用画像を視点の順どおりに左から水平に並べて、一枚の画像データとする。このときの画像データの視点数は、水平方向が２、垂直方向が１となる。この３Ｄ画像データの画像サイズは水平が２×ｈ、垂直がｖとなる。

また、例えば、図５（ｂ）も、図５（ａ）と同様にして、視点の順どおりに左から水平に並べて、一枚の画像データとする。しかし、この場合、画像サイズは水平方向に半分に間引きしてｈとし、垂直は間引きなしでｖとする。また、例えば、図５（ｃ）は、視点の順どおりに上から垂直に並べて一枚の画像データとする例であり、この場合、画像サイズは垂直方向に半分に間引きしてｖとし、水平は間引きなしでｈとする。上記のような、複数の視点画像（単眼視した画像）を３Ｄ画像データ内にどのように格納するかを示す情報を画像配置情報とする。

本実施の形態では、例えば、図５（ａ）や図５（ｂ）のように、左目用画像と右目用画像とを、視点の順で左から右に並べて作成した平置視点画像であることを示す情報を画像配置情報とする。ここで、並置視点画像とは、複数の視点画像（単眼視した画像）を１つの画像上に並列的に配置した画像であると定義する。

また、図５で示したような並置視点画像の配置以外に、画像の配置の方法および画像配置情報は、図５（ｃ）のような垂直方向に並ぶようなものであってもよいし、別のフォーマットを示す情報であってもよい。例えば、動画の場合などは、図５（ｄ）のように、横軸を時刻ｔとして、時刻ｔ０の左画像、時刻ｔ０の右画像、時刻ｔ１の左画像、時刻ｔ１の右画像というように、同時刻の左画像と右画像という順番で、フレーム単位で並べた一つの画像シーケンスとして格納してもよい。また、フィールド構造を利用して、トップフィールドを左画像とし、ボトムフィールドを右画像にしてもよいし、逆に、トップフィールドを右画像とし、ボトムフィールドを左画像として格納してもよい。

また、例えば、左画像と右画像とをそれぞれ別に記録してもよい。さらにまた、上記で説明した水平または垂直の間引きの有無は、画像アスペクト比情報として、３Ｄ制御情報内に格納してもよい。ここでは、本発明とは直接係わり合いがないので、水平または垂直方向の間引きはないものとして画像アスペクト比情報の説明は省略して、以下では説明を行なう。

以上では、３Ｄ制御情報、及び３Ｄ制御情報を含む３Ｄ画像データについて説明した。

次に、図１の立体画像生成装置１を構成する各手段の動作について説明を行なう。以下の説明では、水平方向の視点数が２、垂直方向の視点数が１、画像配置情報は並置視点画像であることを示す情報とする。

外部から、想定画像表示サイズと、想定鑑賞距離、最大視差、及び最小視差が想定視野角生成手段２に入力される。想定視野角生成手段２は、想定画像表示サイズ、想定鑑賞距離、最大視差、及び最小視差から、想定視野角を計算し、出力する。このときの想定視野角生成手段２の動作について、フローチャート図を参照しながら詳細に説明する。

図６は、本実施の形態による立体画像生成装置１の動作の流れを説明するためのフローチャート図である。まずステップＳ１において、立体画像生成装置１の電源がＯＮされると、判定ステップＳ２へ進む。判定ステップＳ２において、想定視野角生成手段２は、外部から、想定画像表示サイズ、想定鑑賞距離、最大視差、及び最小視差が入力されたか否かを判定し、入力された場合は（Ｙｅｓ）ステップＳ３へ進み、そうでない場合は（Ｎｏ）判定ステップＳ２に戻る。ステップＳ３において、想定視野角生成手段２は、想定画像表示サイズ、想定鑑賞距離、及び最大視差から第１の想定視野角候補を計算し、ステップＳ４に進む。このときのステップＳ３における第１の想定視野角候補の求め方について図面を用いて説明する。

図７は、観察者がステレオ画像内の最大視差の点を見た際の様子を示す図である。図７では、例えば、従来例で述べたような２種類の偏光の異なる映像をスクリーン上に投射し、偏光メガネをかけて観察するものとし、スクリーン１６には、図４で説明した画像が表示されているものとする。また、観察者は、スクリーン１６より距離Ｄ１だけ離れた位置から、変更メガネをかけて両眼視するものとする。

ここで、スクリーン１６に表示された右目画像内の点１１と、左目画像内の点１４とは、それぞれ、水平方向に関してスクリーンの中心近傍の点とし、それぞれ対応点（対応点とは、空間上で同一の位置にある点のことを示す）であり、その視差は、最大視差Ｄmax（Ｄmaxは正の数とする）とする。また、右目１７と左目１８との位置は、スクリーンの中心に観察者がいる場合の位置とする。ここで、点１１は右目１７に、点１４は左目１８にそれぞれ入射し、観察者には、スクリーン１６より手前に飛び出した点１９の位置に点があるようにみえる。

このとき、点１９とスクリーン１６との距離をＤ２、両眼１７・１８の基線長をＴとする。また、以下では、右目１７、右目２１、左目１８、左目２２は、それぞれ点として扱うものとする。点１１と、点１４、点１９の作る三角形と、点１７と、点１８、点１９の作る三角形において、三角形の相似の関係から、
Ｄ２：Ｄ１−Ｄ２ ＝ Ｄmax：Ｔ （１）
となり、距離Ｄ２は以下の式で表される。

Ｄ２＝Ｄ１×Ｄmax／（Ｔ＋Ｄmax） （２）
次に、右目１７と左目１８との位置の観察者が、スクリーンと平行な線２０上を平行移動する。例えば、右目２１と左目２２との位置に距離aだけ左に移動する場合、点１９は点２３に、距離ｂだけ移動したようにみえる。点１１と、点１７、点２１の作る三角形と、点１１と、点１９、点２３の作る三角形において、三角形の相似の関係から、
ｂ：ａ＝Ｄ２：Ｄ１ （３）
となり、式（２）より、
ａ＝ｂ×（Ｔ＋Ｄmax）／Ｄmax （４）
と表すことができる。

距離ｂの大きさが大きくなりすぎると、立体像の歪みも大きくなるため、距離ｂの大きさが第１の所定の値である第１のゆがみ限界値Ｂ以下となるように、観察者の移動距離ａを制限する。例えばここで、距離ｂを第１のゆがみ限界値Ｂとした場合の距離ａを観察者の移動限界距離Ａとすると、Ａは、
Ａ＝Ｂ×（Ｔ＋Ｄmax）／Ｄmax （５）
となる。

図８は、観察者がステレオ画像内の最大視差の点を見た際の様子を示す図である。図８において、点１１と点１４の中心と、右目１７と左目１８の中心、及び右目２１と左目２２の中心の点をそれぞれ、点２３、点２４、点２５とし、また、点２３、点２４は、水平方向に関して同じ位置にあるものとする。また、点２３と点２４とを結んだ線は、線２０と直行するものとする。

点２３、点２４、点２５をそれぞれ線で結んだ三角形を考え、点２３と点２４を結んだ線と、点２３と点２５を結んだ線による角度をθmaxとすると、
θmax＝ｔａｎ^−１（Ａ／Ｄ１） （６）
で表すことができる。

式（５）と（６）より、
θmax＝ｔａｎ^−１（Ｂ×（Ｔ＋Ｄmax）／Ｄmax／Ｄ１） （７）
となり、第１のゆがみ限界値Ｂの値を設定することにより角度θmaxの値も決まる。このＢの値は、コンテンツの製作者が任意に決めてもよいし、最小視差を持つ点がスクリーンから飛び出して見える距離Ｄ２や、想定画像表示サイズ、想定鑑賞距離Ｄ１のうちから少なくとも一つ以上を選択し、選択したデータの値に合わせて異なる値をもつテーブルをあらかじめ用意しておいて、そのテーブルから参照してもよい。

このθmaxを２倍したものを、第１の想定視野角候補α１とすると、
α１＝２×ｔａｎ^−１（Ｂ×（Ｔ＋Ｄmax）／（Ｄmax×Ｄ１）） （８）
で表すことができる。

次に、ステップＳ４において、想定視野角生成手段２は、最小視差から第２の想定視野角候補を計算し、ステップＳ５へ進む。このときのステップＳ４における、第２の想定視野角候補の計算方法について図面を用いて説明する。
図９は、観察者がステレオ画像内の最小視差の点を見た際の様子を示す図である。図９では、図７と同じように、例えば、従来例で述べたような２種類の偏光の異なる映像をスクリーン上に投射し、偏光メガネをかけて観察するものとし、スクリーン１６には、図４で説明した画像が表示されているものとする。また、観察者は、スクリーン１６より距離Ｄ１離れた位置から、変更メガネをかけてステレオ視するものとする。

ここで、スクリーン１６に表示された右目画像内の点２６と、左目画像内の点２７と、は、それぞれ、水平方向に関してスクリーンの中心近傍の点とし、それぞれ対応点であり、その視差は、最小視差Ｄmin（Ｄminは負の数とする）である。また、図７と同様に、右目１７と左目１８の位置は、スクリーンの中心に観察者がいる場合の位置とする。

ここで、点２６は右目１７に、点２７は左目１８に、それぞれ入射し、観察者には、スクリーン１６より手前に引っ込んだ点２８の位置に点があるようにみえる。

このとき、点２８とスクリーン１６との距離をＤ３とし、両眼の基線長をＴとする。また、以下では、図７のときと同様に、右目１７、右目２９、左目１８、左目３０を、それぞれ点として扱うものとする。点２６と、点２７、点２８の作る三角形と、点１７と、点１８、点２８の作る三角形において、三角形の相似の関係から、
Ｄ３：（Ｄ３＋Ｄ１）＝|Ｄmin|：Ｔ （９）
となり、距離Ｄ３は以下の式で表される。
Ｄ３＝Ｄ１×|Ｄmin|／（Ｔ+|Ｄmin|） （１０）

次に、右目１７と左目１８との位置の観察者が、スクリーンと平行な線２０上を平行移動する。例えば、右目２９と左目３０との位置に距離ｅだけ左に移動する場合、点２８は点３１に距離ｆだけ右に移動したようにみえる。点２６と点２８、点３１の作る三角形と、点２６と点１７、点２９の作る三角形において、三角形の相似の関係から、
ｅ：ｆ＝Ｄ１：Ｄ３ （１１）
となり、式（１０）より、
ｅ＝ｆ×（Ｔ+|Ｄmin|）／|Ｄmin| （１２）
と表すことができる。

距離ｆの大きさが大きくなりすぎると、立体像の歪みも大きくなるため、距離ｆの大きさが第２の所定の値である第２のゆがみ限界値Ｆ以下となるように、観察者の移動距離ｅを制限する。例えば、ここで、距離ｆを第２のゆがみ限界値Ｆとした場合の距離ｅを観察者の移動限界距離Ｅとすると、Ｅは、
Ｅ＝Ｆ×（Ｔ＋|Ｄmin|）／|Ｄmin| （１３）
となる。

図１０は、観察者がステレオ画像内の最小視差の点を見た際の様子を示す図である。図１０において、点２７と点２６との中心の点を点３２とし、点３２と点２４を結んだ線と、線２０は直交するものとする。

点２４、点２５、点３２をそれぞれ線で結んだ三角形において、点３２と点２４とを結んだ線と、点３２と点２５とを結んだ線による角度をθminとすると、
θmin＝ｔａｎ−１（Ｅ／Ｄ１） （１４）
で表すことができる。
式（１３）と（１４）より、
θmin＝ｔａｎ−１（Ｆ×Ｄ１×（Ｔ＋|Ｄmin|）／|Ｄmin|） （１５）
となり、第２のゆがみ限界値Ｆの値を設定することにより角度θminの値も決まる。このＦの値は、コンテンツの製作者が任意に決めてもよいし、最小視差を持つ点がスクリーンから引っ込んで見える距離Ｄ３や、想定画像表示サイズ、想定鑑賞距離Ｄ１のうちから少なくとも一つ以上を選択し、選択したデータの値に合わせて異なる値をもつテーブルをあらかじめ用意しておいて、そのテーブルから参照してもよい。

このθminを２倍したものを、第２の想定視野角候補α２とすると、
α１＝２×ｔａｎ^−１（Ｆ×（Ｔ＋|Ｄmin|）／|Ｄmin|／Ｄ１） （１６）
で表すことができる。

ステップＳ５において、想定視野角生成手段２は、第１の想定視野角候補α１と、第２の想定視野角候補α２と、を比較して、より値の小さいほうを想定視野角として算出し、ステップＳ６へ進む。ステップＳ６において、想定視野角生成手段２はその動作を終了する。

このようにして、想定視野角生成手段２は、想定鑑賞距離、最大視差、及び最小視差から、想定視野角を計算し、出力する。

次に、想定視野角生成手段２から想定視野角を、外部から想定画像表示サイズと、想定鑑賞距離、最大視差、最小視差、各視点の画像の水平画像サイズ、各視点の画像の垂直画像サイズ、水平視点数、垂直視点数、及び画像配置情が、３Ｄ制御情報生成手段３に入力される。３Ｄ制御情報生成手段３では、これらの入力された情報を用いて、図３で説明したような３Ｄ制御情報を作成し、出力する。

これと同時に、外部から、各視点の画像の水平画像サイズ、各視点の画像の垂直画像サイズ、水平視点数、垂直視点数、画像配置情、左目用の画像データ、及び右目用の画像データが、画像合成手段４にそれぞれ入力される。

画像合成手段４では、各視点の画像の水平画像サイズ、各視点の画像の垂直画像サイズ、水平視点数、垂直視点数と画像配置情にしたがい、左目用の画像データと、右目用の画像データから合成画像データを作成し、出力する。ここでは、各視点の画像の水平画像サイズをｈ、各視点の画像の垂直画像サイズをｖ、水平視点数を２、垂直視点数を１、画像配置情を視点の順で左から右に並べて作成した平置視点画像となる配置であることを示す情報とし、図５で説明した画像を合成画像として作成するものとする。

上記合成画像は圧縮手段５に入力される。圧縮手段５は入力画像に対して画像符号化及び圧縮を行い、画像符号化データを作成し、出力する。このときの画像符号化の方法はどのような形式のものでもよく、例えばＭＰＥＧや、ＪＰＥＧなどといった一般的な符号化の方法を用いれば良く、その詳細な説明は省略する。

多重化手段６に、前記３Ｄ制御情報と前記画像符号化データがそれぞれ入力される。多重化手段６は入力されたデータに対して多重化を行い、図２で説明したような３Ｄ画像データを作成し、出力する。

本実施の形態による立体画像生成装置によれば、上記のようにして、ゆがみの影響が少ない立体映像を、観察者が鑑賞できる領域を示す想定視野角を算出し、算出した想定視野角を、想定画像表示サイズや、想定鑑賞距離とともに３Ｄ画像データ内に記録することにより、３Ｄ画像データのコンテンツごとに異なる値をもつ想定視野角を、コンテンツと一対のデータとして扱うことができるため、このような３Ｄ画像データのコンテンツを立体視する際に、観察者は、コンテンツごとに観察位置を特定することができ、また、観察者の観察位置に対する制作側の意図をコンテンツ内に反映させることも可能である。
特に、大画面で立体視を行なう場合、想定視野角の情報は有効である。

上記で作成したデータは、例えば、ＣＤや、ＤＶＤ、ビデオなどのパッケージメディアや、ハードディスクなどといったストレージメディア、インターネットや、衛星を用いた通信、無線の通信、電波による放送の送受信などにより、後述する立体画像復号装置に伝送される。この立体画像服符号装置にデータを送るための送受信の方法については、どのようなものであってもよく、本発明とは直接関係がないため、その説明は省略する。

また、上記の説明では、左目用画像と右目用画像の２視点の場合について説明したが、３視点以上の画像の場合であってもかまわない。この場合であっても、上記で説明したのと同様にして想定視野角を計算すればよい。

次に、立体画像生成装置１で作成した３Ｄ画像データを復号する立体画像復号装置について説明する。

図１１は、本実施の形態による立体画像復号装置の一構成例を示す機能ブロック図である。立体画像復号装置３３は、外部から３Ｄ画像データを入力とし、入力された３Ｄ画像データから３Ｄ制御情報と画像符号化データに分離し、それぞれ出力する分離手段３４と、３Ｄ制御情報を入力とし、入力された３Ｄ制御情報を解析して、想定画像表示サイズと、想定鑑賞距離、最大視差、最小視差、各視点の画像の水平画像サイズ、各視点の画像の垂直画像サイズ、水平視点数、垂直視点数、画像配置情報、及び想定視野角などの情報を出力する３Ｄ制御情報解析手段３５と、画像符号化データを入力とし、入力された画像符号化データを復号する復号手段３６と、３Ｄ制御情報と復号画像データを入力とし、入力された復号画像データを所定の立体表示装置の表示方法に適した画像のフォーマットに変換した出力画像データを作成し、出力する画像変換手段３７から構成されている。

次に、図１１の立体画像復号装置３３を構成する各手段の動作について説明を行なう。図１１において、外部から３Ｄ画像データが、立体画像復号装置３３に入力される。立体画像復号装置３３に入力された３Ｄ画像データはそのまま分離手段３４に入力される。分離手段３４は、入力された３Ｄ画像データを３Ｄ制御情報と画像符号化データに分離し、それぞれを出力する。そして、３Ｄ制御情報が３Ｄ制御情報解析手段３５に入力される。３Ｄ制御情報解析手段３５は、入力された３Ｄ制御情報を解析して、想定画像表示サイズと、想定鑑賞距離、最大視差、最小視差、各視点の画像の水平画像サイズ、各視点の画像の垂直画像サイズ、水平視点数、垂直視点数、画像配置情報、及び想定視野角などの情報を出力する。これととともに、画像符号化データが復号手段３６に入力される。復号手段３６は、入力された画像符号化データを復号し、復号画像データを出力する。ここで、復号手段３６は、一般の圧縮符号化された画像データを復号する汎用の復号手段であり、公知の復号技術により復号することができる。

次に、各視点の画像の水平画像サイズ、各視点の画像の垂直画像サイズ、水平視点数、垂直視点数、画像配置情報、及び復号画像データが、画像変換手段３７に入力される。画像変換手段３７は、各視点の画像の水平画像サイズ、各視点の画像の垂直画像サイズ、水平視点数、垂直視点数、画像配置情報から、入力された復号画像データに含まれる各視点の画像データがどのように格納されているかを解析し、立体表示を行なう機器に適した立体表示用フォーマット形式に画像データを変換し、変換した画像データを出力画像データとして出力する。このとき、変換する立体表示用フォーマットを、画像変換手段３７はあらかじめ複数設定しておき、ユーザーが外部からどの立体表示用フォーマットに画像を変換するかを選択できるようにしてもよい。

また、このときの立体表示用フォーマットの例として、例えば左目用画像と右目用画像を別々に出力してもよいし、図５の（ｂ）、（ｃ）などで説明したような、左目用画像と右目用画像を上下または左右に並べて、垂直または水平方向にそれぞれ半分に間引きした画像を出力してもよいし、図５の（ｄ）で説明したように、フレーム毎に左画像と右画像を切り替えて出力してもよいし、フィールドごとに左画像と右画像を切り替えて出力してもよい。

このようにして、立体画像復号装置３３は、想定画像表示サイズと、想定鑑賞距離、最大視差、最小視差、各視点の画像の水平画像サイズ、各視点の画像の垂直画像サイズ、水平視点数、垂直視点数、画像配置情報、及び想定視野角などを含む３Ｄ制御情報と、立体表示装置にあわせた立体表示用フォーマットに変換された出力画像データをそれぞれ出力する。

このとき、立体画像復号装置３３から出力される３Ｄ制御情報のうち、想定画像表示サイズと、想定鑑賞距離、想定視野角を用いることにより、立体表示装置を用いて、立体映像を多人数で鑑賞する場合に、想定画像表示サイズから適切なスクリーンサイズを、想定鑑賞距離から観察者とスクリーン間の観察距離を、想定鑑賞距離と想定視野角から観察領域に適した座席の配置などをそれぞれ求め、適切な立体シアターの設計が容易に可能である。

例えば、立体画像復号装置３３の復号した立体映像や３Ｄ制御情報を、立体視用のプロジェクタと偏光メガネを用いて大人数で鑑賞を行なう際の立体映像シアターの最適な観察位置について、以下に図面を用いて説明する。

図１２は、側面からみた立体映像シアターを説明するための図である。まず、スクリーン上の立体画像の大きさを調節する。例えば、立体画像復号装置３３から出力される立体画像を、立体視用プロジェクタ３８を用いて、スクリーン３９に表示する。このとき、スクリーン３９に表示する画像の大きさが、想定画像表示サイズになるように、プロジェクタ３８とスクリーン３９の位置を調整してもよいし、プロジェクタ３８のレンズ交換、またはレンズのズーム機能などにより調節してもよい。

次に、スクリーンと座席との間の距離を調節する。例えば、スクリーン３９と、スクリーン３９に対して一番手前にある座席４０との距離が、想定鑑賞距離となるように座席４０の座席位置を調節してもよいし、スクリーン３９と、シアターにある座席の中心に位置する座席４１と、の距離が、想定鑑賞距離となるように座席４１の座席位置を調節してもよいし、スクリーン３９と、スクリーン３９から最もと多くにある座席４２の距離とが、想定鑑賞距離となるように座席４２の座席位置を調節しても良い。スクリーン上の立体画像の大きさとスクリーンと座席の間の距離が決められると、最後に、座席の配置を調節する。

図１３は、上方からみた立体映像シアターを説明するための図である。例えば、想定視野角θから、水平方向に関するスクリーン３９の中心点４３を中心として、角度θの範囲内が、観察者がゆがみの影響が少ない立体映像を鑑賞することができる観察位置とする。このとき、スクリーン３９から座席をみた場合の左の境界線を符号４４とし、右の境界線を符号４５とすると、最も手前の座席列にある左端の座席４６と右端の座席４７とを、この視野角θの範囲内に納まるようにそれぞれ座席位置を配置、または調整する。

以上のようにして、コンテンツ内に含まれる想定視野角を解析することにより、立体映像を上映する際の適切な観察位置が明確になり、製作者の意図する立体映像を、観察者に表示することができる。

また、観察位置により発生するゆがみの少ない品質の高い立体映像を提供するための座席配置があらかじめ簡単に分かるため、シアター内の座席の管理を行なうことが非常に簡易となる。

例えば、シアター内の座席をコンピュータにより管理しているような劇場では、立体視しづらい座席のチケットの販売を制限するなどして、高品質な立体映像を観客に提供することができる。

また、逆に、既にあるシアターの設計図から、想定画像表示サイズや、想定鑑賞距離、想定視野角を逆算して、その条件にあった立体映像を作成してもよいし、あらかじめ、複数の種類の想定画像表示サイズと、想定鑑賞距離、想定視野角の組み合わせに対応した立体映像を配信側が用意しておき、それらの情報に適したもののみを配信するようにしてもよい。

以上、本実施の形態による立体画像生成装置によれば、ゆがみの影響が少ない立体映像を、観察者が鑑賞できる領域を示す想定視野角を算出し、算出した想定視野角を、想定画像表示サイズや、想定鑑賞距離とともに３Ｄ画像データ内に記録することにより、３Ｄ画像データのコンテンツごとに異なる値をもつ想定視野角を、コンテンツと一対のデータとして扱うことができるため、このような３Ｄ画像データのコンテンツを立体視する際に、観察者は、コンテンツごとに観察位置を特定することができ、また、観察者の観察位置に対する制作側の意図をコンテンツ内に反映させることも可能である。

また、本実施の形態による立体画像復号装置によれば、前記立体画像復号装置から出力される想定画像表示サイズと、想定鑑賞距離、想定視野角の３Ｄ制御情報を用いることにより、立体表示装置を用いて、立体映像を多人数で鑑賞する場合、観察者は、適切なスクリーンサイズ、観察位置、視野角から計算した座席配置の設定などが容易に可能である。

また、本発明の立体画像復号装置によれば、想定視野角は、コンテンツ内の最大視差や最小視差に依存し、その値はコンテンツごとに異なるため、各コンテンツ内に記録された前記想定視野角を用いて適切な観察位置を提示することにより、製作者の意図する、かつ観察者がゆがみの影響が少ない立体映像を、観察者に表示することができる。

また、本実施の形態による立体画像復号装置によれば、観察位置により発生するゆがみの少ない品質の高い立体映像を提供するための座席配置があらかじめ簡単に分かるため、座席の管理を行なうことが非常に簡易となる。

尚、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は立体画像表示装置に利用可能である。

本発明の一実施の形態による立体画像生成装置の構成を示すブロック図である。 ３Ｄ画像データの一構成例を示す図である。 最大視差、最小視差の一例を示す図である。 左目用画像と右目用画像の一例を示す図である。 ３Ｄ画像データ内の画像データの一例を示す図である。 立体画像生成装置１の動作の流れを説明するためのフローチャート図である。 観察者がステレオ画像内の最大視差の点を見た際の様子を示す図である 観察者がステレオ画像内の最大視差の点を見た際の様子を示す図である。 観察者がステレオ画像内の最小視差の点を見た際の様子を示す図である。 観察者がステレオ画像内の最小視差の点を見た際の様子を示す図である。 本実施の形態による立体画像復号装置の構成を示すブロック図である。 側面からみた立体映像シアターを説明するための図である。 上方からみた立体映像シアターを説明するための図である。

符号の説明

１ 立体画像生成装置
２ 想定視野角生成手段
３ ３Ｄ制御情報生成手段
４ 画像合成手段
５ 圧縮手段
６ 多重化手段
７ ヘッダ
８ 画像データ
９ ３Ｄ制御情報
１０ 左目用画像
１１，１２，１４，１５，１９，２３，２４，２５，２６，２７，２８，３１，３２，４３ 点
１３ 右目用画像
１６ スクリーン
１７，２１，２９ 右目
１８，２２，３０ 左目
２０ 線
３３ 立体画像復号装置
３４ 分離手段
３５ ３Ｄ制御情報解析手段
３６ 復号手段
３７ 画像変換手段
３８ 立体視用プロジェクタ
３９ スクリーン
４０，４１，４２，４６，４７ 座席
４４，４５ 境界線
Ｓ１，Ｓ３，Ｓ４，Ｓ５，Ｓ６ ステップ
Ｓ２ 判定ステップ

Claims (9)

1. 立体表示に関するパラメータを含む、２つ以上の異なる視点に対応する画像データを入力とし、立体画像を生成する装置において、
   想定画像表示サイズと、想定鑑賞距離、最大視差、最小視差を入力とし、前記想定画像表示サイズ、前記想定鑑賞距離、前記最大視差、及び前記最小視差から想定視野角を生成する想定視野角生成手段と、画像配置情報と、前記想定画像表示サイズ、前記想定鑑賞距離、前記最大視差、前記最小視差、及び前記想定視野角を含む３Ｄ制御情報を生成する３Ｄ制御情報生成手段と、
   前記２つ以上の異なる視点に対応する画像データと前記画像配置情報とを入力とし、合成画像データを生成する画像合成手段と、
   前記合成画像データを符号化して符号化データを生成する圧縮手段と、
   前記３Ｄ制御情報と前記符号化データとを多重化して３Ｄ画像データを生成する多重化手段と
   を備えることを特徴とする立体画像生成装置。
2. 前記想定視野角生成手段は、
   前記想定画像表示サイズと、前記想定鑑賞距離、前記最大視差から第１の所定の想定視野角候補を生成し、前記想定画像表示サイズと、前記想定鑑賞距離、前記最小視差から第２の所定の想定視野角候補を生成することを特徴とする請求項１記載の立体画像生成装置。
3. 前記想定視野角生成手段は、
   前記第１の所定の想定視野角候補と、前記第２の所定の想定視野角候補のうち、より小さな値をもつ想定視野角候補を前記想定視野角として生成することを特徴とする請求項２に記載の立体画像生成装置。
4. 前記想定視野角を、前記想定画像表示サイズ、前記想定鑑賞距離とともに前記３Ｄ画像データ内に記録することを特徴とする請求項１から３までのいずれか１項に記載の立体画像生成装置。
5. 前記３Ｄ画像データのコンテンツごとに異なる値をもつ前記想定視野角を、コンテンツと一対のデータとして記録することを特徴とする請求項４に記載の立体画像生成装置。
6. 請求項１から５までのいずれか１項に記載の前記３Ｄ画像データを復号する装置であって、
   入力された３Ｄ画像データから３Ｄ制御情報と画像符号化データに分離し、それぞれ出力する分離手段と、前記３Ｄ制御情報を入力とし、入力された前記３Ｄ制御情報を解析し、前記想定画像表示サイズと、前記想定鑑賞距離、前記最大視差、前記最小視差、前記各視点の画像の水平画像サイズ、前記各視点の画像の垂直画像サイズ、水平視点数、垂直視点数、前記画像配置情報、及び前記想定視野角を含む情報を出力する３Ｄ制御情報解析手段と、画像符号化データを入力とし、入力された画像符号化データを復号する復号手段と、前記３Ｄ制御情報と前記復号手段により復号された復号画像データを入力とし、入力された前記復号画像データを所定の立体表示装置の表示方法に適した画像のフォーマットに変換した出力画像データを作成し、出力する画像変換手段と、を有することを特徴とする立体画像復号装置。
7. 請求項１から５までのいずれか１項に記載のコンテンツ内に含まれる想定視野角を解析することにより、立体映像を上映する際の適切な観察位置を求める手段と、
   前記観察位置により発生するゆがみの少ない品質の高い立体映像を提供するための座席配置を求める手段と
   を備える立体画像シアターの座席管理装置。
8. 立体表示に関するパラメータを含む、２つ以上の異なる視点に対応する画像データを入力とし、立体画像を生成する方法であって、
   想定画像表示サイズと、想定鑑賞距離、最大視差、最小視差を入力とし、前記想定画像表示サイズ、前記想定鑑賞距離、前記最大視差、及び前記最小視差から想定視野角を生成する想定視野角生成手段と、画像配置情報と、前記想定画像表示サイズ、前記想定鑑賞距離、前記最大視差、前記最小視差、及び前記想定視野角を含む３Ｄ制御情報を生成する３Ｄ制御情報生成ステップと、
   前記２つ以上の異なる視点に対応する画像データと前記画像配置情報とを入力とし、合成画像データを生成する画像合成ステップと、
   前記合成画像データを符号化して符号化データを生成する圧縮ステップと、
   前記３Ｄ制御情報と前記符号化データとを多重化して３Ｄ画像データを生成する多重化ステップと
   を備えることを特徴とする立体画像生成方法。
9. コンピュータに、請求項８に記載の立体画像生成方法の各ステップを実行させるためのプログラム。

Images