JP4222817B2 - 立体画像表示装置、記録方法、及び伝送方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、複数の視点に対応した複数の画像を、立体表示する技術に関する。
【０００２】
【従来の技術】
従来、視差を有する一組の画像を立体視することにより立体感のある画像を見ることができる立体画像表示方法が知られている。例えば、表示装置に左眼用と右眼用の画像を交互に出力し、ユーザーは、その表示の切り替えタイミングに同期してシャッターを切り替えることのできる眼鏡を通して画像を再生することにより、立体画像を観察することができる。
【０００３】
また、特別な眼鏡等を用いずに立体画像を再生する方法には、パララックスバリア方式と呼ばれる方法がある。左眼用の画像と右眼用の画像のそれぞれを画像の垂直走査方向に短冊状に分解し、交互に並べて一枚の画像とする。その画像を表示する表示装置には、画像を分解した場合と同様の短冊状のスリットがある。短冊状の画像データをスリットを通して表示装置により観察する。偏光板により短冊状に配置された左眼用の画像はユーザーの左眼で、右眼用の画像は右眼で再生すると、画像に立体感を得ることができる。スリットの代わりにレンチキュラレンズを用いたレンチキュラ方式と呼ばれる方法もある。
【０００４】
ユーザーが、より良い立体画像を見るために、再生画像の立体感を変更する技術が開示されている。人間が物体を立体的に観察する際には、左右の眼では異なる像を観察しており、それらの像は視差と呼ばれるずれを有する。
【０００５】
人間はこの視差によって立体感を認識する。視差の量を視差量といい、視差量を調整することにより立体感を調整する。デジタル放送において立体映像を受信し表示する際に、視差量を調整することにより立体ディスプレイに表示する技術について記載しており、ユーザーがその立体映像を視聴する環境などに合わせて、立体画像を観察することができる（例えば特許文献１参照）。
【特許文献１】
特開２０００−７８６１５号公報、図１
【０００６】
【発明が解決しようとする課題】
ところで、視差量の調整を行う際に、例えば、レンチキュラ方式、パララックスバリア方式などの左右の画像を１ラインごと交互に短冊状に並べて表示する方式では、通常、その短冊状データの組み合わせ位置を変えることにより視差量の調整が可能であるが、調整の精度は短冊幅によって規定されることになる。従って、必ずしもユーザーの好みに合わせて立体感を調整できるとは限らない。
【０００７】
また、短冊状データの組み合わせ位置を変えると、立体画像として再生するためのデータが存在しない部分が発生し、その部分は良好な立体視表示ができない。従って、立体画像を良好に表示できる部分（立体画像が観察できる表示領域）は小さくなってしまう。
【０００８】
一方、視差量調整後の画像において、全ての画像データを表示させようとしても、視差量調整後の短冊状の画像データの幅は視差量調整分だけ表示領域の幅より広くなり、全て画像データを表示することが出来ない。
本発明の目的は、視差量が調整された立体画像において、違和感が少なく良好な立体画像を表示させることである。
【０００９】
【課題を解決するための手段】
本発明の一観点によれば、複数の視点に対応した複数の画像に基づいて立体画像を表示する立体画像表示装置であって、視差量の変更に関する情報に基づいて、視差量の調整に関する視差量調整情報を算出する視差量調整情報算出部と、前記視差量調整情報に基づいて立体表示用の画像を生成する画像処理部と、前記複数の画像中の所定の領域を補間する画像補間部とを有する立体画像表示装置が提供される。
【００１０】
前記画像補間部は、前記立体表示用の画像の表示領域に画素値が存在しない無画素値領域がある場合に、該無画素値領域のみを、他の画素値を用いて補間するのが好ましい。
上記立体画像表示装置によれば、視差量の変更に関連して前記無画素値領域の画素値を補間することができる。
【００１１】
本発明の他の一観点によれば、複数の視点に対応した複数の画像に基づいて立体画像を表示する立体画像表示装置であって、視差量の変更に関する情報に基づいて、視差量の調整に関する視差量調整情報を算出する視差量調整情報算出部と、前記視差量調整情報に基づいて立体表示用の画像を生成する画像処理部と、前記複数の画像中の所定の領域に新たな画像を生成する画像生成部とを備える立体画像表示装置が提供される。
【００１２】
前記画像生成部は、前記立体表示用の画像の表示領域に画素値が存在しない無画素領域がある場合、該無画素領域のみに、新たな画像を生成するのが好ましい。
上記立体画像表示装置によれば、視差量の変更に関連して前記無画素値領域に新たな画像を生成することができる。
【００１３】
【発明の実施の形態】
本明細書において、３原色のＲＧＢデータのそれぞれをドットと称し、３原色のＲＧＢデータのひとまとまりを画素と称す。また、本実施の形態において、画像データは、動画像、静止画像を含む。さらに、画像データ中には、例えばＪＰＥＧなどの静止画像圧縮技術や、ＭＰＥＧ−４などの動画圧縮技術を用いた圧縮画像データを含む。
【００１４】
以下に、本発明の第１の実施の形態による立体画像表示技術について、図面を参照して説明する。図１は、本実施の形態による立体画像表示装置の構成例を示す機能ブロック図である。図１に示すように、本実施の形態による立体画像表示装置Ａは、入力画像データＤｉｎに基づいて立体視表示が可能な画像データ（以下、「立体視用画像データ」とも称する。）を生成するための画像処理を行う立体画像処理部１と、ユーザーが入力を行うユーザー入力部２と、ユーザーの入力に基づいて視差量調整情報を算出する視差量調整情報算出部３と、画像処理された立体映像から実際に立体映像表示装置に表示する領域を判定する表示領域判定部４と、特定の領域に補間データを生成する画像補間部５と、生成された画像のうち判定された領域を表示する表示部６から成る。
【００１５】
立体画像表示装置Ａに入力された左眼用画像データ及び右眼用画像データは、まず立体画像処理部１において、立体視表示可能なデータに変換される。例えば、パララックスバリア方式又はレンチキュラ方式による立体画像表示装置であれば、立体画像処理部１は、左眼用画像データと右眼用画像データとが短冊状に交互に並べられた立体視用画像データを生成する。
【００１６】
ユーザーは、ユーザー入力部２により、表示する立体画像の視差量調整用データを入力する。入力された視差量調整用データは、視差量調整情報算出部３において、視差量調整情報に変換され、立体画像処理部１に出力される。立体画像処理部１においては、立体視用画像データを生成する際に視差量調整情報の入力があると、これを用いて立体視用画像データを生成する。生成された立体視用画像データは、表示領域判定部４へ出力される。
【００１７】
表示領域判定部４では、生成された立体視用画像データが表示部６において良好に表示できるか否かを判定する。視差量調整が行われた立体視用画像データの画像幅は、表示部６が表示可能な画像幅と対応しない場合がある。このような場合に、表示部６の画素領域と立体視用画像データの画素領域とが一致せず、対応しない領域が発生する。このような領域においては、どのように表示されるかわからず、良好な状態で画像データを表示できない場合がある。
【００１８】
そこで、表示領域判定部４において対応が取れない領域の有無を判定し、表示領域判定部４において対応が取れない領域があると判定されると、画像補間部５に対して、対応が取れない領域に関する情報Ｓ1を出力する。表示領域判定部４において、対応が取れない領域が無いと判定された場合には、立体視用画像データＳ2をそのまま（スルーで）表示部６に出力する。
【００１９】
画像補間部５において、表示領域判定部４より出力された立体視用画像データは、表示領域判定部４で判定された領域に所定の方法で画素データを与えるように補間処理を行う。また、補間処理がなされた立体視用画像データを表示部６へ出力する。表示部６では、表示領域判定部４から出力された立体視用画像データＳ2、あるいは画像補間部５から出力された立体視用画像データＳ3の表示を行う。
【００２０】
尚、本実施の形態による立体画像表示装置Ａでは、表示部６で表示する立体視用画像データの形式は、パララックスバリア方式やレンチキュラ方式に代表される左右の画像を１画素分の画像データ毎に交互に短冊状に並べて立体視を行う方式である。入力画像は立体視可能なデータを含む画像データとし、表示部６において立体視する画像データは、左眼用画像と右眼用画像とのデータが短冊状に並んでいるものを扱うものとする。入力画像データは、立体画像処理部１において短冊状データが生成可能であればよい。例えば、入力画像は、元々短冊状に合成された画像データであっても良い。この場合、立体画像処理部１は入力データを改めて短冊状の画像を作成することなく、そのまま出力する。
【００２１】
或いは、左眼用と右眼用とのそれぞれの画像データが分離された形式の画像データであってもよい。この場合には、立体画像処理部１において、以下の図２（Ａ）で説明するように、左眼用画像と右眼用画像とから短冊状の画像を作成する。図２（Ａ）は、左眼用入力画像データと右眼用入力画像データとから、立体画像データを生成する例を示す図である。図２（Ａ）中の左眼用画像データと右眼用画像データとから、短冊状データを立体視する際に同一のスリットによって再生される画素（２０１、２０２）を取得し、それらを並べて立体表示用のデータ２００を生成する。この処理を繰り返すことにより、短冊状の幅が１画素分である立体視用画像データを生成することができる。
【００２２】
このような方法により短冊状の立体視用画像データ２００を作成すると、短冊状の立体視用画像データ２００の幅は、左眼用の入力画像データ２０１と右眼用の入力画像データ２０２とのそれぞれの画像幅を合わせた幅と等しくなる。従って、表示部６が表示可能なデータを作成するには、左眼用の入力画像データ２０１と右眼用の入力画像２０２とを、生成される短冊状の立体表示用画像データ２００の半分の画像幅にしておく必要がある。
【００２３】
左眼用の入力画像データ２０１と右眼用の入力画像データ２０２との画像幅が、表示部６の表示幅と同じ幅である場合は、短冊状の画像データを生成する際に、左眼用の入力画像データ２０１と右眼用の入力画像データ２０２との画像幅が半分になるようにデータを間引いた上で短冊状の画像データを生成する。
【００２４】
図２（Ｂ）に、入力された画像データからデータを間引いて短冊状のデータを作成する方法の例を示す。図２（Ｂ）に示すように、左眼用及び右眼用の画像の各画素から、ＲＧＢ３原色のうち、左眼用の入力画像データ２０１からＧデータ２０４の１ドットを取り、右眼用の入力画像データ２０２からＲデータ２０５，Ｂデータ２０６の２ドットのみを取ることにより１つのＲＧＢパタン２０３を生成する処理を行う。この処理を、それぞれの画像に対して交互に（左眼用の入力画像データ２０１から１つのデータを取り右眼用の入力画像データ２０２から２つのデータを取るパタンと、左眼用の入力画像データ２０１から２つのデータを取り右眼用の入力画像データ２０２から１つのデータを取るパタン）繰り返すことにより、立体視用の画像データ２００を作成する。短冊状の画像を作る方法は、図２（Ｂ）を参照して説明した方法に限定されるものではなく、例えば、図２の符号２０３で示す画素は、左眼用Ｇ１ドット（２０４）、右眼用のＲ１ドット（２０５）、Ｂ１ドット（２０６）で構成されているが、パタンを逆にした左眼用Ｒ１ドット（２０７）とＢ１ドット（２０８）と右眼用Ｇ１ドット（２０９）とから画像データを生成しても良い。図１に示す立体画像処理部１では、入力画像のそれぞれの画素数と表示可能な画素数を比較し、入力画像を間引いて短冊状の画像を生成するかどうかの判定を行い、短冊状画像の生成を行う。
【００２５】
次にユーザーが視差量調整を行う際の処理について説明する。ユーザーは、図１のユーザー入力部２により視差量を調整する。ユーザー入力部２は、キーボードやマウスなどの入力装置、或いは、リモコンなど形状および方式を問わない。例えば、キーボードの特定方向を指示するためのキーを１回以上押すことにより、その特定方向にキーを押した回数に比例した量だけ視差量を調整する方法も考えられる。ユーザー入力部２により入力されたデータは、視差量調整情報算出部３において視差量調整情報に変換される。例えば、「右眼用画像データを左方向に１画素分移動する。」などの具体的な情報に変換される。視差量調整情報算出部３は、算出した視差量調整情報を立体画像処理部１へ出力する。立体画像処理部１では、この視差量調整情報を用いて短冊状画像データを生成する。
【００２６】
図３及び図４を参照して前記視差量調整処理の経過を説明する。図３において、符号３０１等で示すブロックは、１画素分のデータを示しており、ＬとＲとは、それぞれ左眼用画像と右眼用画像とであることを示す符号である。また、Ｌ又はＲの下に付された数字は画素番号を示し、説明の便宜上付与したものであり、画像データ左端より順に画素番号を付与している。符号３０１は、左眼用画像の最左端の画素ということを示す。図３の符号３０４、図４の符号４０３は、表示部が各画像データを表示する表示領域の幅を示すものとする。
【００２７】
また、レンチキュラレンズやパララックスバリアなどを用いて立体画像を観察する際に、同一のスリットを通って観察される画素同士（例えば図１１の符号１１０３及び符号１１０４で示される画素）を立体映像として再生されるペアとして、図３の符号３０２と符号３０３のように上下に対応して表す。ここで生成された短冊状の画像データは、ユーザーにより視差量調整が行われなければ、表示部６が持つ全ての画素に対して表示すべきデータがあるので、表示領域判定部４での表示領域判定において補間すべき領域は無いものと判定される。
視差量調整情報算出部３によるユーザーの調整が、例えば左眼用画像を右へ１画素分移動する場合の画素とそれに対応する画素データを示したのが図４である。
【００２８】
画像データの表示位置を移動した状態でそのまま表示すると図４の画素４０１の位置（破線で示される）のように、表示すべき画素データがなくなり、また、図４の符号４０２で示される画素のように、表示領域４０３からはみ出るために表示できない画素データが生じる。このとき表示領域判定部４は、画素４０１に表示すべき画像データがないこと、画素４０２が表示領域４０３からはみ出していることを判定し、その情報を画像補間部５へ出力する。
【００２９】
以上において説明した視差量調整のための画像の移動は、１画素の単位である場合について説明を行った。このようにすると、画像データのサイズや表示部６のサイズによっては、調整精度が粗すぎる場合もある。
【００３０】
人間が画像を認識することは、各画素を構成するＲＧＢ３原色データの各ドットが眼に像を結ぶ際に、ＲＧＢをひとまとまりのデータとして認識することであると考えることができる。従って、例えば、ＲＧＢの並びをＧＲＢに変更したとしても、これらが人間の眼でひとまとまりと認識されればよい。図５は、図３における左眼用画像データをＲＧＢのドットレベルで表現したものである。Ｌ３の画像データ（図３の画素３０２）を認識するためには、Ｌ−Ｒ３（図５のドット５０１）、 Ｌ−Ｇ３（図５のドット５０２）、 Ｌ−Ｂ３（図５のドット５０３） の３ドットをひとまとまりと認識できればよい。
【００３１】
すなわち、３原色データＲＧＢのドットレベルで移動させることが可能である。このときの様子を図６に示す。図６は、図５での左眼用画像に着目しており、図６（Ａ）は、図５と同じ状態である。符号６０４は、表示部が左眼用画像を表示する表示領域を示す。図６（Ｂ）は、１画素分移動した状態（図４）を示している。図６（Ｃ）がドットレベルで１ドット分だけ移動した状態を示している。網がけの部分は左眼用画像の移動により、ドットのデータが欠落していることを示す。図６（Ｃ）は左眼用画像のＲデータ（図６（Ａ）の符号６０１）のドットに着目し、それぞれＬ−Ｒ１をＬ−Ｒ２へ、Ｌ−Ｒ２をＬ−Ｒ３へ、Ｌ−Ｒ３をＬ−Ｒ４の位置へとＲデータを移動した状態を示す図である。
【００３２】
このようにデータを移動しても、図６（Ｃ）に示すように、元のＲＧＢ１画素の並びは変化していない。この移動方法による画像の移動量は、図６（Ｃ）の符号６０２に示すように、１画素単位の移動（図６（Ｂ）の６０３）に比べて小さい、１／３画素分の移動となる。従って１画素分のデータ単位で移動させるよりも細かい視差量調整が可能である。
【００３３】
同様に、ＲデータとＧデータの２ドットに着目すれば、図７（Ｃ）のように、Ｌ−Ｒ１、Ｌ−Ｇ１をＬ−Ｒ２、Ｌ−Ｇ２へＬ−Ｒ２、Ｌ−Ｇ２をＬ−Ｒ３、Ｌ−Ｇ３へとそれぞれ移動させることにより調整量を細かくすることが可能となる。この移動は、２／３画素分の移動に対応する（図７の符号７０３）。この場合でも、１画素分のデータ単位で移動させるよりも細かい視差量調整が可能である。
【００３４】
本実施の形態では、Ｒデータの移動およびＲデータとＧデータの移動の例を示したが、該当データの組み合わせのみに限定されるものではない。また、色データ単位の移動と１画素単位の移動とを組み合わせて画像データを移動させてもよい。
【００３５】
以上に説明した方法により視差量を調整する際に、左右のうちの片方の画像のみを移動していくと、ユーザーが観察する立体画像の中心も移動した方向へずれてしまい、良好な立体視が難しい。そこで、視差量調整情報算出部３は、視差量調整情報を算出する際に、左眼用画像と右眼用画像とを連動させて、ともに移動するように調整してもよい。例えば、ユーザーによる視差量の調整が４画素分であれば、左眼用画像を４画素分移動させるのではなく、左眼用画像を２画素分、右眼用画像を左眼用画像とは逆方向に２画素分移動することで調整する方法を用いることもできる。このように、左眼用画像と右眼用画像を互いに逆方向に同量だけ移動させることにより、立体表示の中心を移動の前後でずらすことなく視差量の調整が可能である。
【００３６】
ユーザーによる視差量の調整量が偶数画素分である場合、立体表示の中心をずらさないように調整することが可能である。しかしながら、調整量が奇数画素である場合、左眼用画像、右眼用画像それぞれを同量だけ移動できないため立体表示の中心は左右どちらかにずれてしまう。
【００３７】
このような場合には、視差量調整情報算出部３が、立体表示の中心のずれが最小になるように左眼用画像と右眼用画像とを移動する量を算出する。例えば、ユーザーから５画素分の視差量調整の要求があった場合、画像を移動させる単位が１画素単位であれば、左眼用画像を３画素分、右眼用画像を２画素分だけ互いに逆方向に移動させる。前述したようにＲＧＢのそれぞれのドットごとに移動が可能であれば、左眼用画像を２＋（２／３）画素分、右眼用画像を２＋（１／３）画素分移動させる。
【００３８】
このように、立体表示の中心のずれを最小にするようにしても、調整量が奇数画素分の移動を繰り返すと、この中心のずれは大きくなる。そこで、視差量調整情報算出部３は移動を繰り返す場合に、ずれの情報を算出して記憶しておき、この記憶に基づき立体視表示の中心のずれが小さくなるように左眼用画像と右眼用画像の移動量を決定する。好ましくは、立体視表示の中心のずれが最小になるように調整する。
【００３９】
図８（Ａ）は、左眼用画像と右眼用画像との初期状態を示す。符号８０１は表示部６で各画像を表示する表示領域を示し、符号８０２は表示領域８０１の中心を示す。図８（Ａ）の画像データが立体視された場合に、その立体視表示の中心と表示領域の中心（８０２）は同一となる。図８（Ａ）の状態から、ユーザーが、まず左眼用画像データを右方向に１画素分移動させた状態を図８（Ｂ）に示す。視差量調整情報算出部３は、ユーザーからの視差量調整の入力から、移動する量を１画素分と算出し、立体画像処理部１へ通知する。例えば、「左眼用画像を１画素右方向に移動する」ことを示すベクトル情報として通知する（図８（Ｂ）の符号８０３）。
【００４０】
このベクトル情報が通知された立体画像処理部１は、図８（Ｂ）に示すように、移動した画像を生成する。視差調整量情報算出部３は、この情報から、立体視表示の中心の表示領域の中心からのずれを算出し記憶しておく。この例では、片方の画像のみを移動するため、立体表示の中心は図８（Ｂ）の符号８０４の位置となる。従って、視差量調整情報算出部３が算出したずれ情報は、図８（Ｂ）の符号８０５で示す矢印（ベクトル）となる。
【００４１】
次に、ユーザーが、再度視差量の調整を行うと、視差量調整情報算出部３は、前回の移動の際のずれ情報を用い、ずれが小さくなるように視差量調整情報を算出する。ずれが最小となるように調整するのが好ましい。視差量調整情報として「左眼用画像データを、さらに３画素分右に移動する」旨が算出された場合は、図８（Ｂ）の符号８０５のずれを解消するように、左眼用画像を右に１画素分移動し、右眼用画像を左に１画素分移動するように立体画像処理部１へ通知する。この通知に基づいて移動する様子を図８（Ｃ）に示している。図８（Ｃ）の符号８０６、符号８０７で示される矢印（ベクトル）が、それぞれの画像を移動した量に対応する。図８（Ｃ）の符号８０８で示される線が、移動後の立体視表示の中心となり、表示領域８０１の中心とのずれが解消されていることがわかる。
【００４２】
本実施の形態では、記憶したずれ情報に基づいてずれを調整する方法を例にして説明したが、ユーザーによる視差量調整後に立体表示の中心のずれが小さくなる方法、好ましくは最小になる方法であれば、他の方法を用いても良い。例えば、ユーザーが、１画素ごとに視差を調整する装置を用い、移動させた画像と方向とを記憶し、続く操作において前回の操作で移動対象では無かった画像を移動対象とし、交互に移動させることによりずれを解消する方法を用いても良い。このようにして、立体画像処理部１で視差量調整がなされた画像データは、表示領域判定部４へ出力される。
【００４３】
入力画像は、通常、視差量の調節なしに表示部６で良好に表示されることを考慮して作成されたものであるため、視差量の調整が行われなければ、入力画像から生成される短冊状の画像は表示部６が持つ表示領域と同じサイズである。しかし、視差量の調整が行われて生成された短冊状の画像は、表示部６が持つ表示領域より大きいサイズとなる。そこで、表示領域判定部４では、短冊状の画像のどの領域を表示部６で表示させるかを決定する。この領域の決定基準として、例えば、立体視表示の中心を可能な限り表示の中心からずらさないような方法、また、立体視可能な領域だけを抽出して表示させる方法などが考えられる。
【００４４】
図９及び図１０を参照して、入力画像データを移動させた際の処理を説明する。図９（Ａ）は、入力画像データを示している。図９（Ａ）の符号９０１が左眼用立体画像データであり、符号９０２が右眼用立体画像データである。これらの入力画像データから生成される短冊状の画像のサイズは図１の表示部６の表示領域と同一のサイズであるとする。図９（Ａ）から（Ｃ）までの符号９０３、符号９０５、符号９０９は、左眼用立体画像データ、右眼用立体画像データのそれぞれに対応した表示領域の幅を表す矢印である。
【００４５】
図９（Ｂ）は、右眼用立体画像データを符号９０６で示すベクトル分だけ移動した例である。符号９０４は、表示すべき画像データが存在しない領域であり、符号９１１は表示領域の中心を示し、符号９１２は立体視表示の中心を示し、符号９１３は、符号９１１から符号９１２へのずれ量を示す。図９（Ｂ）に示すように、表示領域判定部４（図１）により、画像データの表示領域を変更し、立体視表示の中心を変えないような領域を抽出することにより、良好な立体画像を再生することができる。
【００４６】
例えば、図１０の符号１００１の矢印で示す範囲を表示領域とする。図１０に示すように、符号１００４、符号１００５、符号１００６、符号１００７の領域は表示に用いない。このうち、符号１００６と符号１００５とで示す領域には、画素が存在するが、表示からは切り捨てられる部分である。また、領域１００２と、領域１００３とは、表示領域ではあるが画像データが存在しないため、後述する画像補間処理によりデータを与える部分である。このように表示領域を選択することで、表示位置の中心と立体視表示の中心とを一致または近傍に設定することが可能となる。
【００４７】
図９、図１０に示すように、画像を移動させると、図９（Ａ）の符号９０４の領域や、図１０の符号１００２、符号１００３の領域のように、画像データが無い表示領域が生じる。そこで、このような領域をより良好に再現するために、画像データの補間処理を行う。本実施の形態による方法では、表示部６（図１）に部分的に２次元表示モードと３次元表示モード（立体表示）とを切替可能なディスプレイを用いることを想定し、そのディスプレイにおいて良好に表示できるような補間処理を行う。図１も参照して説明する。
【００４８】
表示モードの切り替えは、例えば、図１１（Ａ）に示したバリアの一部（符号１１０１、符号１１０２）を無くすことにより、それぞれの片方の眼で再生されていた符号１１０３と符号１１０４とで指示される画素が、図１１（Ｂ）に示すように両眼で再生可能になることにより実現される。但し、部分的に表示モードが切り替えられば、その切り替え手段は、図１１（Ｂ）に示される方法に限定されるものではない。
【００４９】
前述のように、ユーザ−により視差量の調整が行われた画像データは、表示領域判定部４により表示領域すべき領域が設定され、その設定された表示領域中に画素データが無い領域が存在するかどうかを判定する。この領域に関する情報は、画像データと共に画像補間部５に出力される。２次元表示モードで良好に再生される画像データを得るため、画像補間部５では、画像データが存在しない画素に対して周辺画素のデータに基づく補間処理によって画素データを生成する。
【００５０】
図９を参照して、画像補間部５での処理の例を説明する。前述したように、図９（Ｂ）の符号９０４で示される領域が、移動に起因して補間処理が必要になる領域である。表示領域判定部４は、符号９０４で示される領域には表示するための画像データがない旨を判定し、この領域９０４を２次元表示モードで表示するように表示部６に指示する。併せて、画像補間部５に、この領域９０４に補間データを生成するように指示する。
【００５１】
画像補間部５では、まず、画像の移動によりデータが欠落した領域であり、かつ、表示対象でもある領域に対して、左眼用画像から対応する部分のデータをコピーする。図９（Ｃ）に示す例では、領域９０７のデータが領域９０８にコピーされる。実際には、図９（Ｃ）に示す状態は、左眼用立体画像データと右眼用立体画像データとが短冊状に並べられている。図９（Ｃ）の領域９１０付近を拡大した図を図１２（Ａ）に示す。図１２（Ａ）に示すように、木の部分を黒、背景の部分を白で示す。この部分を含む短冊状に変換された立体視用画像データは、図１２（Ｂ）に示すようになる。
【００５２】
図１２（Ｂ）の網かけの部分（符号１２０１で示される領域など）の部分は、右眼用立体画像データが移動したために、表示すべき画素データがない部分である。図１２（Ｃ）は、上述のように左眼用立体画像データの対応部分から右眼用立体画像データへ画素データをコピーした様子を示す図である。図１２（Ｃ）では、Ｌ１の画像データをＲ２へ、Ｌ２の画像データをＲ３へコピーしたことを示している。このような処理を行うことにより、該当領域を表示した際には、図１２（Ｂ）よりは良好に観察されるが、実際には粗さは目立つ。そこで、画像補間部５は、補間処理の際に、図１２（Ｄ）に示すような補間画像を生成する。例えば、水平方向に２タップの低域通過フィルタをかける。例えば、Ｒ５の画像領域（符号１２０４）のデータは、Ｌ４(符号１２０３)とＬ５（符号１２０２）から（Ｌ４＋Ｌ５）／２の式に基づいて算出する。例えば、符号１２０５で示される列の画素データを含む画素のデータがない他の領域の画素データに関しても、同様に隣り合う左眼用画像データに基づいて算出する。
【００５３】
補間方法は、上記のような平均値を用いる方法に限定されるものではなく、例えば、３タップ以上の低域通過フィルタを用いて補間を行ってもよい。また補間を行った領域は、その補間処理により水平エリアシングやフィルタによるボケが発生することがあるため、鮮鋭フィルタやノイズ除去フィルタなどを用いることにより、良好な表示が得られるようにしてもよい。このようにして生成された補間された立体画像データは、表示部６に出力される。前述のように低域通過フィルタを用いて補間画像データを生成することにより、表示部６において、２次元表示モードに適した良好な画像が得られる。図１０において画素データが存在しない表示領域１００２、１００３が生じているが、これらの領域についても、前述と同様の方法で補間しても良い。
【００５４】
以上のように、図１の表示領域判定部４では、実際の表示に用いられる領域内における画素データの有無を判定し、画素データが無い領域を画像補間部５において補間すべき領域と判定する。このように、補間する領域を表示領域内に限定することで、補間処理の負担を軽減を図ることができる。
【００５５】
また本実施の形態では、画素単位での画像の移動を例にして説明したが、前述のように、３原色データのＲＧＢデータ単位での移動の例に関しても、同様の領域判定処理や補間処理が可能であることは言うまでもない。また、表示装置において補間された領域を部分的に２次元表示モードに切り替える技術について説明したが、上記の方法は、部分的に２次元表示モードに切り替える機能を備えない立体表示装置に対して適用することも可能である。この場合には、補間された領域は、従来通り立体表示モードにより表示される。
【００５６】
以上、本発明の第１の実施の形態による立体画像表示技術によれば、視差量が調整された立体画像において、立体視表示が困難な領域に対して補間画像を作成して表示することにより、表示領域を縮小することなく、また、違和感の少ない良好な立体画像を表示することが可能となる。
【００５７】
次に、本発明の第２の実施の形態による立体画像表示技術について説明する。第１の実施の形態による立体画像表示技術では、ユーザーの視差量調整により画素データが存在しない表示領域については補間画像データを作成し、該当領域を２次元表示する技術について説明した。本実施の形態による立体画像表示技術は、画素データが存在しない表示領域に他の画像データを表示することで良好な立体表示を行う技術である。
【００５８】
図１３は、本実施の形態による立体画像表示装置の構成例を示すブロック図である。図１に示す立体画像表示装置との違いは、画像補間部５（図１）の代わりに画像データ生成部７を設けた点である。画像データ生成部７は、例えば図１０の領域１００２と領域１００２に対応する左眼用画像データの領域、および、領域１００３と領域１００３に対応する右眼用画像データの領域に新たな画像データを挿入する。
【００５９】
図１４は、画像データ生成部７（図１３）が、新たな画像データを挿入する様子を示す図である。図１４（Ａ）において、符号１４０１及び符号１４０２は、画素データが存在しない部分を示し、符号１４０３及び符号１４０４は、立体表示のためのペアになるデータが存在しない部分である。画像データ生成部７は、これらの領域（図１４（Ａ）の符号１４０６、１４０７の矢印で示される領域）に対して、図１４（Ｂ）に示すように新たな画像１４１１ａ、１４１１ｂを合成し、図１４（Ｃ）に示す画像を得る。尚、符号１４０５で示す矢印の領域は表示領域を示す。
このように、良好な立体視が出来ない領域に新たに画像データを生成して表示させることにより、ユーザーは良好な立体画像の箇所のみを再生することができる。
【００６０】
尚、本実施の形態で用いる新たな画像は２次元表示モード用の画像であっても、立体表示モード用の画像であっても良い。また、２次元表示モード用の画像を用いた場合、部分的に表示モードを２次元表示モードに切り替えてもよいが、このような機能が無い場合には、３次元表示モードのまま再生を行ってもよい。
本実施の形態よる立体画像表示技術によれば、立体視表示が困難な領域に対し、新たな画像を生成することにより違和感が少ない良好な立体画像を表示することができる。
【００６１】
次に、本発明の第３の実施の形態による立体画像表示技術について図面を参照して説明する。第１及び第２の実施の形態による立体画像表示技術は、ユーザーによる立体画像の視差量調整と視差量調整を行った際の立体画像の表示処理である。ところで、複数の立体画像を繰り返し表示する際に、その度毎に改めて視差量調整の操作を行うと、ユーザーにとって処理が煩雑になる。そこで、これを回避するため、本実施の形態による立体画像表示技術では、ユーザーが調整した視差量を立体画像毎に記憶する。
【００６２】
尚、以降、視差量調整情報をシフトベクトルと称する。このシフトベクトルは、例えば、図９（Ｂ）の符号９０６で示すベクトルである。シフトベクトルの内容は、調整した視差量を表せるものであれば、いかなる形式でもよい。例えば、立体画像が撮影された状態、すなわち、ユーザーによる視差量調整が行われていない状態を０とし、特定画像の特定方向への移動を＋とし、その逆の方向への移動を−とし、調整量（ドット数あるいは画素数）を示すようにしても良い。また、シフトベクトルの大きさを画素数で表した場合、立体画像を観察するディスプレイの大きさが変わると視差量も変わるため、見え方（飛び出し距離など）が変化する。従って、ディスプレイの大きさを変えても同様の状態が観察ができるように、シフトベクトルとして、立体画像の飛び出し距離そのものを、例えばｃｍなどの単位によって記録しておいてもよい。飛び出し距離は、例えば視差量を調整しない状態を基準（０）として表される。飛び出し距離の算出例を図２５を参照して説明する。
【００６３】
図２５（Ａ）に示すように、観察者の左眼と右眼の間の距離をｅとし、観察者とディスプレイとの間の距離をＬとする。図２５（Ａ）の状態は、右眼で観察する画素と左眼で観察する画素が同一のスリット（Ｐ１）で観察される状態である。この時、この画素はディスプレイ上において観察される。
【００６４】
次に、右眼で観察する画像を図面の左方向に１画素分だけ移動させる。この状態を図２５（Ｂ）に示す。Ｐ１に存在した画素はＰ２の位置に移動する。この時、左眼で観察される画素と右眼で観察される画素は異なるスリットで観察され、Ｓ１の位置に像を結び、立体感が生じる。この時のディスプレイからの距離ｄが飛び出し距離である。
【００６５】
ここで、図２５（Ｂ）に示すようにＰ１からＰ２への移動距離をｗとする。ｗは、装置（ディスプレイ）に依存する値である。また、ディスプレイと観察者との距離Ｌも、パララックスバリア方式やレンチキュラ方式の場合、ディスプレイに依存する。従って、飛び出し量を算出するためには、ディスプレイと観察者との距離Ｌと移動距離ｗとを知る必要がある。尚、観察者の左眼と右眼の距離ｅはほぼ一定と考えられる。これらを前提として、飛び出し距離ｄは次の式で求められる。
【００６６】
ｅ：（Ｌ−ｄ）＝ｗ：ｄ （１）
（１）式より（２）式が求められる。
ｄ＝（ｗ×Ｌ）／（ｅ＋ｗ） （２）
【００６７】
ここで、飛び出し距離ｄと移動距離ｗは正負の値をとる。飛び出し距離ｄが正の値を取る時は、ユーザーが視差量の調整を行う前の状態から飛び出すように見えることを示し、負の値を取る時は、ユーザーが視差量の調整を行う前の状態から奥に見えることを示す。また、移動距離ｗは、右眼で観察する画像を左に移動させる時は正の値をとり、右眼で観察する画像を右に移動させるときは負の値をとる。図２５（Ｂ）では、ｗ及びｄが共に正の値を取るため、ｄの距離だけ飛び出して見える。これとは逆に、図２５（Ａ）から右眼で観察する画像を右に１画素分だけ移動させた図が、図２５（Ｃ）である。Ｐ１に存在した画素がＰ３の位置に移動し、Ｓ２の位置に像を結ぶ。この時、移動距離ｗは負の値を取るため、飛び出し距離ｄは、上記（２）式より負の値となる。従って、図２５（Ａ）に比べ、図２５（Ｃ）では奥に像が見えることになる。また、左眼で観察する画像を移動させる時は、移動距離ｗの正負の値は、右眼で観察する画像を移動させる時の逆となる。本発明の第１の実施の形態による立体画像表示技術では、表示領域を自動的に設定していたが、ユーザーが表示領域を任意に設定する場合には、シフトベクトルの他に設定された表示領域の情報（表示領域情報）を記録し、次回の表示の際に利用する。表示領域情報は、例えば、右眼用画像に着目し、右眼用画像の左端が初期の表示領域の左端からどれだけ移動したかによって示される。
【００６８】
本発明の第１の実施の形態による立体画像表示技術では、表示領域を自動的に設定していたが、ユーザーが表示領域を任意に設定する場合には、シフトベクトルの他に設定された表示領域の情報（表示領域情報）を記録し、次回の表示の際に利用する。表示領域情報は、例えば、右眼用画像に着目し、右眼用画像の左端が初期の表示領域の左端からどれだけ移動したかによって示される。
【００６９】
以上の原理に基づく立体画像表示技術について、より具体的に説明する。図１５は、本実施の形態による立体画像表示装置の構成例を示す機能ブロック図である。図１５に示すように、本実施の形態による立体画像表示装置は、図１に示す立体画像表示装置と同様に、入力画像を立体視表示可能なように画像処理を行う立体画像処理部１と、ユーザーからの入力を行うユーザー入力部２と、ユーザーの入力から視差量の調整情報を算出する視差量調整情報算出部３と、画像処理された立体映像から実際にディプレイに表示する領域を判定する表示領域判定部４と特定領域に補間データを生成する画像補間部５と、生成された画像のうち判定された領域を表示する表示部６とを含む。図１との相違点は、立体視情報記録部８を備えた点である。その他の部分の基本的な動作はこれまでの実施形態の説明と同様である。
【００７０】
図１５において、視差量調整情報算出部３で算出された視差量調整情報（シフトベクトル）は立体画像処理部１に出力されると共に、立体視情報記録部８へも出力される（符号１５０１）。表示領域判定部４は、表示領域を判定し、さらにユーザーが任意に表示領域を設定するような場合は表示領域を変更し、変更後の表示領域情報を立体視情報記録部８に出力する（符号１５０２）。立体視情報記録部８は、シフトベクトルを記録（記憶）し、必要に応じて表示領域情報も記録する。
【００７１】
次にシフトベクトルと表示領域情報の記録方法の例を示す。本実施の形態では、立体視用画像データにシフトベクトルや表示領域情報を記録するための領域を設ける。通常、画像データは、その画像の大きさや再生時間等を管理するための情報を記憶する領域が設けられている。図１６（Ａ）、（Ｂ）は、画像データのデータ構造例を示す図である。図１６（Ａ）に示すように、立体視用画像データは、例えば、再生時間・画像サイズ等の画像情報を管理する管理情報領域と左眼用・右眼用それぞれの画像データを記録する画像データ領域とを含んで構成されている。
【００７２】
図１６（Ａ）に示すように、画像情報１６０１には、画像のサイズや動画ならばその再生時間などの画像全体に関する情報が記述され、右眼用・左眼用画像データ情報１６０２・１６０３には、各画像データを復号するのに必要な情報（例えば、符号化の技術としてＭＰＥＧ−４技術が用いられているなどの情報）が記載されている。さらに、図１６（Ｂ）に示すように、この管理領域に立体視用画像データのための情報（立体視情報）を記録する領域１６０４を設け、シフトベクトルや表示領域位置を記録する。
【００７３】
記録する際には、装置がこれらの情報を正しく読み取れるように、立体視情報の存在を示すヘッダが必要である。このために、立体視情報１６０４の先頭に、立体（３Ｄ）画像識別情報１６０５を記録する領域を設ける。立体画像識別情報１６０５は、立体視情報の存在を示すとともに、後に続く画像データが立体視用画像データである旨を示す。立体画像識別情報１６０５は、固定長或いは可変長の符号で符号化されたフラグでも良いが、識別可能であれば、例えば、特定の記号列や文字列などでも良い。
【００７４】
立体視情報１６０４中に、立体視画像識別情報１６０５の他に、シフトベクトルや表示領域位置に関する情報があるが、例えば、長時間の立体視は眼に負担をかけるため、連続視聴時間を制限するといった場合には、その視聴可能時間を合わせて記録してもよい。これらの情報を立体視制御情報と称し、符号１６０６で示す領域に記録される。立体画像識別情報と立体視制御情報との構成例を、図１６（Ｂ）に示す。図１６（Ｂ）に示すように、立体画像識別情報１６０５に続いて立体視制御情報１６０６が記録されている。
【００７５】
図１７（Ａ）、（Ｂ）を参照して立体視制御情報について具体的に説明する。シフトベクトルは、移動させる画素数を表す。図１７（Ａ）及び（Ｂ）に示すように、右眼用画像データに着目し、視差が広がる方向（右方向）に右眼用画像データを４画素移動させた状態であり、シフトベクトル１７０４は４である。表示領域１７０３は、画像の左端を基準位置として、水平方向（符号１７０１の矢印で示される。）に２画素分だけ元の表示領域から移動している。これをベクトル１７０５で表す。このベクトルの成分は、水平方向に２、垂直方向（１７０２）に０であり、図１７（Ａ）に、表示領域情報として（２，０）で表される。
尚、これまで、立体視制御情報を画像データに付随する管理情報領域に記録する場合を例にして説明したが、立体視制御情報を、表示装置が有する所定の記憶部に記録させても良い。
【００７６】
視差量情報記録部８で所定の記録領域に格納されるシフトベクトルや表示領域情報の例を図１８に示す。図１８に示すように、視差量情報記録部には、コンテンツＡ、Ｂ及びＣなどのファイル名を付して立体視用画像データを識別する情報とともに、立体視制御情報（シフトベクトルや表示領域情報）がファイル名と対応付けされてテーブル化されている。例えば、コンテンツＡは、シフトベクトル（画素数）が４であり、表示領域情報（画素数）が、（２，０）である。尚、図１８では、シフトベクトルを１次元ベクトルとして表現している。
【００７７】
本実施の形態による立体画像表示技術においては、シフトベクトルと表示領域情報とは、整数画素が単位となっている場合を例にして説明しているが、これに限定するものではなく、整数でない画素単位をシフトベクトルと表示領域情報とを表示する情報として用いることもできる。
【００７８】
また、本実施の形態による立体画像表示技術では、シフトベクトルを、右眼用画像／左眼用画像を水平方向に移動させる画素数でも立体視の飛び出し距離の変化量でも良い。従って、シフトベクトルを、移動させる画素数又は立体視の飛び出し距離のいずれの形式で表しているかを示す情報やフラグを、上記立体視制御情報中に記録しても良い。また、立体視制御情報としてシフトベクトルと表示領域情報との両方を記録する例について説明したが、シフトベクトルのみを記録し、予め決められた所定の領域や自動的に求める領域を表示領域としてもよい。或いは、表示領域情報のみを記録してもよい。また、その他の立体視のための情報を記録してもよい。
【００７９】
また、本実施の形態では、立体画像識別情報と立体視制御情報とを、画像ファイルの先頭に一箇所だけ記録させた例を示した。しかしながら、抽出が可能であれば、画像ファイルのいずれの領域に記録されていても良く、或いは、画像データ内に記録させていても良い。例えば、画像がＭＰＥＧ−４で符号化されている場合、画像データには符号化データと符号化データを復号するための情報（ヘッダ情報）が含まれている。このヘッダ情報には、ユーザーが自由に使用できる領域（ユーザー領域）が設けられており、立体画像識別情報や立体視制御情報をこのユーザー領域に記録しても良い。また、立体画像識別情報や立体視制御情報は画像データ内に複数個存在してもよい。これにより、例えば、画像データの途中で視差量を変更することも可能となる。
【００８０】
次に、第３の実施の形態による立体画像表示技術により画像データを再生する手順について説明する。ここで、画像データ中には、図１７で示した立体画像識別情報と立体視制御情報が記録されているものと仮定する。
【００８１】
図１９は、本実施の形態における立体視制御情報が付加された立体視用の画像データを表示する立体画像表示装置の構成例を示す機能ブロック図である。図１に示す構成に加えて、立体視情報読み出し部９を有している。立体視情報読み出し部９において、入力画像データに含まれる立体画像識別情報を読み出す。立体画像識別情報の確認により立体視用画像であることが認識されると、立体視情報読み出し部９は立体視制御情報（シフトベクトルや表示領域情報）を読み出し、立体視情報が符号化されている場合は復号する。立体視制御情報にシフトベクトルが存在すれば、視差量調整情報算出部３へ出力し、領域表示位置が存在すれば表示領域判定部４へ出力する。
【００８２】
視差量調整情報算出部３では、立体視情報読み出し部９から入力されたシフトベクトルとユーザー入力部２から入力された視差量調整のためのデータを用い、視差量調整情報を算出する。ユーザー入力による視差量の調整がない場合は、シフトベクトのみから視差量調整情報を算出する。立体画像処理部１では、視差量調整情報を用いて立体表示用画像データを生成する。
【００８３】
また、表示領域判定部４では、立体視情報読み出し部９から入力された表示領域情報と視差量調整情報とに従って、新たな表示領域を判定する。ユーザー入力による視差量調整がない場合は、立体視情報読み出し部９からの視差量調整情報がそのまま用いられる。
【００８４】
以上説明したように、ユーザーが同一の立体画像データを繰り返して再生する際に、前回の再生時にユーザーが行った調整を立体視制御情報として記憶しておき、再生時に立体視制御情報を利用することにより、再生の度に視差量調整を行う手間をかけることなく、前回の再生時と同様に再生することが可能となる。
【００８５】
以上、本発明の第３の実施の形態によれば、画像データ即ちコンテンツに関するシフトベクトルを記録することで、同一のコンテンツを視聴する際には再度視差量を調整する手間が省け、また、コンテンツ毎に適切なシフトベクトルを記録しておくことができる。
【００８６】
次に、本発明の第４の実施の形態による立体画像表示技術について、図面を参照して説明する。適切な視差量の調整は、ユーザーにとってはより良好な状態で再生可能となるため有効である。しかし、調整方法を誤ると良好に立体視ができなくなる場合がある。本実施の形態では、これを避けるために、シフトベクトルの最大値（最大シフトベクトル）設定しておき、ユーザーが調整できる視差量を制限する。最大シフトベクトルは、画像データの管理領域（図１６（Ｂ）の立体視制御情報）中に含まれていてもよいし、本実施の形態による表示装置の所定の記録領域に記録されていてもよい。
【００８７】
最大シフトベクトルの記述例を図２０（Ａ）、（Ｂ）に示す。図２０（Ａ）、（Ｂ）において、最大シフトベクトルは前述したシフトベクトルと同一の記述方法で記述される。すなわち、移動させるドット数や飛び出し距離として表現する。図２０（Ａ）は、画像データに記録した例であり、最大シフトベクトルは１０に設定されている。図２０（Ｂ）は、表示装置の所定の記憶部にテーブル形式で記録した例であり、コンテンツ毎に最大シフトベクトル値が決められ、例えばコンテンツＡでは最大シフトベクトルが１０である。図２０（Ａ）、（Ｂ）の例では、最大シフトベクトルだけでなく他の立体視のための情報も含んでいる例を示しているが、必ずしもそれらと同じ領域に含まれている必要はない。
【００８８】
本実施の形態による立体画像データを再生装置の構成例を図２１に示す。図２１に示すように、図１９に示す立体視情報読み出し部９を、最大シフトベクトル読み出し部１０で置き換えた構成を有している。最大シフトベクトル読み出し部１０は、最大シフトベクトルを立体視制御情報から読み出す。立体視制御情報が入力画像データと同一ファイル内に存在すれば、そのファイル中から最大シフトベクトルの情報を抽出する。また、ファイルとは独立した記憶部に記録されている場合には、入力画像データに対応したシフトベクトルを記憶部より読み出し、最大シフトベクトル情報を抽出する。
【００８９】
抽出された最大シフトベクトルは視差量調整情報算出部３へ出力される。視差量調整情報算出部３はユーザー入力から算出したシフトベクトルが最大シフトベクトルの範囲内にあるかどうかを判定して、範囲内であれば算出したシフトベクトルをそのまま立体画像処理部１に送る。シフトベクトルが最大シフトベクトルより大きい場合は、最大シフトベクトルを、シフトベクトルとして出力する。これにより、立体視が困難となるような大きなシフトベクトルを用いた表示は行われなくなるため、良好な立体表示が可能となる。尚、最大シフトベクトルは、正の値と負の値の両方を定義することが出来、正の値の絶対値と負の値の絶対値とは必ずしも等しくなくても良い。例えば、図２０（Ｂ）のコンテンツＡに対する最大シフトベクトル（この例では１次元ベクトル）として、（＋１０）と共に、例えば（−７）を定義した場合には、ユーザー入力から算出したシフトベクトルは、（−７）から（＋１０）までの間の値に制限されることになる。
【００９０】
ユーザー入力から算出したシフトベクトルが、上記最大シフトベクトルの範囲外となる場合は、そのシフトベクトルを用いないようにしてもよい。例えば、図２０（Ｂ）のコンテンツＡの再生時にユーザー入力によるシフトベクトルが２０と算出された場合に、表示に用いるシフトベクトルをシフトベクトル値“４”のままとする。また、表示部６で表示モードの切替が可能である場合に、ユーザー入力によるシフトベクトルが最大シフトベクトルを超えたときは、画像全体を２次元表示モードで表示するようにしてもよい。
【００９１】
本実施の形態では、最大シフトベクトルを抽出するために、最大シフトベクトル読み出し部１０を設けたが、同様の処理を実行できる機能を、図１９に示した立体視情報読み出し部９に付加した構成としても良い。
【００９２】
本発明の第４の実施の形態によれば、最大シフトベクトルを設定することで、立体視が困難となるほどの視差量の調整を禁止することが可能となり、コンテンツ製作者の意図を損なうことがなく、良好な立体視用画像を生成することができる。
【００９３】
次に、本発明の第５の実施の形態による立体画像表示装置について、図面を参照して説明する。シフトベクトルと表示領域とが設定されている立体画像データを用いて画像の再生を行う場合や、画像の再生中に立体画像の視差量を調整する場合において、画像の拡大・縮小などの画像処理を併用して立体画像データの再生を行う場合に、シフトベクトルと実際にシフトすべき画素数とが異ってしまうことがある。このような場合には、画像の拡大・縮小処理とともに、シフトベクトルにも拡大・縮小処理を行うと良い。この様子を図２２（Ａ）から図２２（Ｅ）までを参照して説明する。
【００９４】
図２２（Ａ）に示す画像データを入力画像データとし、図２２（Ｂ）に示す画像データを、視差量調整（１画素シフト）を行った画像データとする。これに対して、図２２（Ｃ）に示す画像データは、入力画像データを拡大処理（水平方向に２倍拡大）を行った画像であり、図２２（Ｄ）に示す画像データは、図２２（Ｃ）に示す画像データを視差量調整した（１画素シフト）である。シフトベクトルが画素単位で表されている場合は、このように拡大後の画像に対しても図２２（Ｄ）のような調整を行うこととなるが、これは、ユーザーが意図した調整とは異なってしまう。そこで、本実施の形態による技術は、画像の拡大・縮小に合わせてシフトベクトルなどの立体視制御情報の拡大・縮小も行う。
【００９５】
図２３は、本実施の形態による立体画像表示装置の構成例を示す機能ブロック図である。図２３は、図１９に示す構成に加えて、画像の拡大・縮小処理を行う拡大・縮小処理部１１と、立体視制御情報変換部１２とが設けられている。拡大・縮小が行われる際は、拡大・縮小処理部１１において、入力画像データの拡大・縮小処理が行われ、拡大・縮小された画像データは、画像処理部１へ出力される。その時、拡大・縮小処理部１１はその拡大・縮小率を、立体視制御情報変換部１２に出力する。
【００９６】
画像データに付随する立体視制御情報は、立体視情報読み出し部９で読み出される。本実施の形態における立体視情報読み出し部９は、シフトベクトル、表示領域情報に加え、最大シフトベクトルも読み出す。読み出された立体視制御情報は、視差量調整情報算出部３や表示領域判定部４に出力される。
【００９７】
視差量調整情報算出部３で算出された視差量調整情報は、立体視制御情報変換部１２において入力画像データの拡大・縮小率を乗じて変換される。例えば、視差量調整情報が１次元ベクトルで（−３）、拡大・縮小率が２である時、視差量調整情報は（−６）に変換される。同様に、表示領域判定部４にて生成された表示領域情報は、立体視制御情報変換部１２において拡大・縮小率に合わせて変換される。
【００９８】
本実施の形態による立体画像表示技術を用いると、図２２（Ｄ）ではなく図２２（Ｅ）のような拡大・縮小率に合わせた視差量調整が行われることになり、ユーザーは適切な画像を観察することができる。
【００９９】
本発明の第５の実施の形態によれば、視差量調整のためのシフトベクトルは、立体画像が拡大・縮小された際には、その拡大・縮小率に合わせた補正を行うので、視差量調整を行う立体画像データが拡大・縮小処理された場合にも、良好な立体視用画像を生成することができる。
【０１００】
次に、本発明の第６の実施の形態による立体画像表示技術について図面を参照して説明する。上記各実施の形態における技術は、ファイルに格納された立体視用の画像データに対し、立体視情報を格納する技術である。ところで、ＢＳ放送や地上デジタル放送などの放送コンテンツとして立体視用の画像データを伝送する際には、立体視情報を放送に適した方法で格納・伝送する必要がある。例えば、ユーザーがチャンネルを変えて、新たな放送コンテンツを受信し始めた時にも、このような立体視情報が取得できるようにする必要がある。
【０１０１】
ＢＳ放送や地上デジタルの放送等の場合、どのような番組が放送されているかを管理するための番組配列情報が、例えば図２４（Ａ）に示すようにコンテンツと多重化されて放送されている。放送コンテンツには複数のコンテンツのデータが含まれており、これらの内容を示す情報が番組配列情報である。番組配列情報は、各コンテンツを構成する映像信号及び音声信号を放送コンテンツの中から分離・識別するための情報（ＰＭＴ：Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ）や各コンテンツの内容を記述した番組案内情報（ＥＩＴ：Ｅｖｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ Ｔａｂｌｅ）などからなる。
【０１０２】
番組配列情報は、受信機におけるチャンネルの切替が、どの時点で行われても対応できるように、放送コンテンツの中に繰り返し多重化されて送られる。本実施の形態による立体画像表示技術では、番組配列情報に、立体視情報を含めるものである。
【０１０３】
図２４（Ｂ）に、立体視情報を番組配列情報に組み込んだ例を示す。ここで、立体視情報は、本発明の第３の実施の形態において説明したように、立体画像識別情報と立体視制御情報とを含んでいるものとする。すなわち、立体画像識別情報は、コンテンツが立体画像であることを示し、立体視制御情報中には、シフトベクトルや表示領域情報、最大シフトベクトルなどの情報が含まれる。
【０１０４】
受信機は、上記のような放送コンテンツから立体画像識別情報を利用して、コンテンツが立体画像であることを判別し、立体視制御情報を抽出する。そして、これまで説明してきた他の実施の形態と同様に立体視制御情報からシフトベクトル等を取得し、立体視用画像データを生成・表示する。
【０１０５】
立体視制御情報中のシフトベクトルや領域表示位置などの情報は、ユーザーが画像の立体感を変更した際のデータを記録するものとして説明してきたが、これらの情報を放送側が設定してもよい。例えば、放送開始時には、シフトベクトルの値を０としておき、後に放送局が独自に、あるいはユーザーからの要求によって、放送側でシフトベクトルの値を０以外の値に設定して放送することも可能である。また、コンテンツ製作者の意図に従って、放送側で最大シフトベクトルを設定し立体視制御情報に含め、受信機にて視差量調整を行う際の制限に利用することも可能である。
【０１０６】
また、立体画像識別情報と立体視制御情報とは、番組配列情報に含まれるとして説明したが、これらの情報は番組配列情報中に限らず、画像データ中に含めてもよい。例えば、放送コンテンツがＭＰＥＧ−４で符号化されている場合、立体画像識別情報や立体視制御情報を先に説明したようにユーザー領域に含めるようにしてもよい。このような場合も、コンテンツを番組途中から視聴を可能にするために、立体画像識別情報や立体視制御情報を周期的に画像データに含まれなければならない。この復号のための情報に立体画像識別情報と立体視制御情報を含めようにしてもよい。
【０１０７】
本発明の第６の実施の形態によれば、ＢＳ放送や地上デジタル放送等の番組配列情報に立体視情報を含めることで、立体画像のコンテンツを放送する際にも、視差量の調整、表示位置の変更、視差量調整の制限を行うことができる。
【０１０８】
次に、本発明の第７の実施形態である立体画像表示技術について、図面を参照して説明する。前記第３の実施形態において、視差量を調整するための情報であるシフトベクトルとして、水平方向に移動させる画素数を指定する例を挙げているが、別の例として、立体画像の飛び出し方向及び距離を指定する例，画像を移動させる方向と距離を指定する例，立体画像の視差の角度を指定する例を以下に示す。
【０１０９】
図２５に示したように、右眼で観察される画像に関して、Ｐ１に位置する画素がＰ２やＰ３に位置するように移動すると、立体画像の見え方としては、移動前にはディスプレイ面上Ｐ１の位置に像を結んでいた画素が、移動後はディスプレイ面上から距離｜ｄ｜だけ離れた位置S1やS2に像を結ぶことになる。ここで｜ｄ｜は、ｃｍ等長さの単位で表せる量である。ｄ自体は正負の値をとり、例えば図２５（Ｂ）に示すように像がディスプレイ面より手前に離れていれば正の値、図２５（Ｃ）に示すように像がディスプレイ面より奥に離れていれば負の値とする。
【０１１０】
ｄは、ディスプレイの特性や観察条件が既知であって標準的な環境、即ち「標準観察環境」の下で測定もしくは規定される量とする。立体画像表示装置においては、このｄを基にして実際に必要な視差量の調整値を算出する。このような構成をとることにより、視差量調整の結果表示される立体画像から受ける観察者の印象や影響が、表示部（ディスプレイ）の特性や観察条件が様々に異なる複数の立体画像表示装置間で、同程度になるように制御することが可能になる。以下に、前記ｄを基にして視差量の調整値を算出する方法の例を示す。
【０１１１】
図２５（Ｂ）に示す状態を例に説明する。既に説明した通り、ディスプレイ面上の右眼用画素Ｐ１を、水平方向に距離ｗだけ離れた位置Ｐ２に来るように右眼用画像を水平移動すると、移動前はディスプレイ面上の位置Ｐ１で像を結んでいた画像が、ディスプレイ面から距離ｄだけ離れた位置Ｓ１で像を結ぶ。この時ｄは、前述の式（２）のように与えられる。
【０１１２】
ここで、式（２）で用いられている各変数ｄ，Ｌ，ｗ，ｅは、全て前記標準観察環境における値とする。同様に、任意の立体画像表示装置においても、前記式（２）の関係が成り立つ。ただし、ｅを除いた、ｄ，Ｌ，ｗは通常、前記標準観察環境とは異なる値になる。ここでは、任意の立体画像表示装置におけるこれらの変数を、ｄ’，Ｌ’，ｗ’と表す。即ち、以下の式（２’）が成り立つ。
ｄ’＝（ｗ’×Ｌ’）／（ｅ＋ｗ’） …（２’）
【０１１３】
ｅは、観察条件に関わらず一定とする。式（２）及び式（２’）からｄ’について解くと、以下の式（３）の関係が得られる。ただし、ここでＷ及びＷ’はそれぞれ、前記標準観察環境におけるディスプレイ上の画像表示幅Ｗ，および、上記任意の立体画像表示装置におけるディスプレイ上の画像表示幅Ｗ’を表し、これらは（Ｗ：Ｗ’＝ｗ：ｗ’）の関係にあることを仮定している。
ｄ’＝Ｌ’×Ｗ’×ｄ／（Ｌ×Ｗ＋（Ｗ’−Ｗ）×ｄ） …（３）
【０１１４】
前記式（３）のようにｄ’が得られれば、前記式（２’）の関係からｗ’が得られる。ｗ’は、ディスプレイ面上における画像の移動距離を表しているため、実際に移動させる必要のある画素数をｈ’とすると、ｈ’は以下の式（４）から得られる。ここでｐ’は、ディスプレイの水平方向の画素ピッチ（隣接した画素間の距離）である。
ｈ’＝ｗ’／ｐ’ …（４）
【０１１５】
以上のように、前記標準観察環境におけるＬ，Ｗ，ｄ等のパラメータが分かっていれば、任意の立体画像表示装置において必要な視差量の調整値を算出することが可能である。
【０１１６】
前記パラメータの内、ＬやＷは、標準観察環境を規定すれば値が固定されるパラメータであるので、立体視用画像データ毎に指定する必要はなく、予め各立体画像表示装置で記憶していれば良い。従って、視差量を調整するためには、前記ｄに相当するパラメータを立体視用画像データに関連付けて記録あるいは伝送すれば良い。ｄに相当するパラメータを記録あるいは伝送する場合には、該パラメータをｄの正負の方向を示すパラメータと、距離の絶対値を示すパラメータの二つのパラメータで構成しても良いし、両者を含んだ正負の値を持つ一つのパラメータのみで構成しても良い。
【０１１７】
図２６（ａ）、（ｂ）に、前記ｄに相当するパラメータを含む前記立体視情報の構成例を示す。図２６（ａ）の例は、ｄを飛び出し方向２６０１と飛び出し距離２６０２の二つのパラメータで表しており、図２６（ｂ）の例は、ｄを方向と距離を含んだ飛び出しベクトル２６０３のみで表している。ｄを示すパラメータは、上記のようにディスプレイ面からの飛び出し位置（もしくは引っ込み位置）を示すパラメータでも良いし、ディスプレイ面からは離れた任意の基準位置にあった画素の、ディスプレイ面に直交する方向の移動量を表すパラメータであっても良い。
【０１１８】
なお、上記ｄは、調整すべき飛び出し量を指定するための値である場合と、飛び出し量の許容最大値を指定するための値である場合の二通りが考えられる。従って、ｄに相当するパラメータを記録または伝送する際には、いずれであるかを予め決定しておくか、前記立体視制御情報中に、これらいずれの値であるかを示すパラメータを別途含めておけば良い。あるいは、両者を前記立体視制御情報中に含んでも良い。
視差量を調整するための情報の別の例として、画像を移動させる方向と距離を指定する例を以下に示す。
【０１１９】
前記のように、（Ｗ：Ｗ’＝ｗ：ｗ’）の関係にあることを仮定すると、標準観察環境の条件としてＷの値が予め分かっていれば、後はｗが与えられれば、Ｗ’の条件を備える立体画像表示装置において、ｗ’を算出することが可能である。従って、視差量を調整するための情報としてｗを示すパラメータを指定すれば良い。ｗを示すパラメータとしては、ｄと同様に、ｗの正負の方向を示す値と、距離の絶対値を示す値の二つのパラメータで構成されていても良いし、両者を含んだ正負の値を持つ一つのパラメータのみで構成されていても良い。このときのｗの方向は、例えば右眼用画像を右方向へ移動させる場合が正で、左方向へ移動させる場合を負とする。
視差量を調整するための情報のさらに別の例として、立体画像の視差の角度を指定する例を以下に示す。
【０１２０】
図２５に示したように、Ｐ１に位置する画素がＰ２やＰ３に位置するように移動すると、像を結ぶ位置に関して視差θであった角度がθ１、θ２に変化する。これら角度を、標準観察環境における値として規定すれば、ＬとＬ’の関係やＷとＷ’の関係などから、任意の立体画像表示装置における視差の角度θ’を算出することが可能である。従って、視差量を調整するための情報としてθｎを示すパラメータを指定すれば良い。θｎを示すパラメータとしては、θ１やθ２で表されるような、角度の絶対値を示すパラメータで構成されていても良いし、図２５（Ａ）で示すような視差の無い状態のθと、これらθ１やθ２との差を示すパラメータ（即ち、θ１−θやθ２−θを表す値）で構成されていても良い。
【０１２１】
次に、上記視差量調整の結果、どのように表示領域を決定するかについて説明する。既に説明した通り、視差量調整のために画像を移動させると、立体画像として表示できる画像の幅が変化するため、表示領域が一意に定まらない。前記第3の実施形態においては、この表示領域をユーザーが任意に設定し、表示領域情報として記録する例を挙げている。この表示領域情報の代わりに、平面表示画像選択情報を用いる例を以下に説明する。
【０１２２】
平面表示画像選択情報は、立体視用画像データを平面画像として表示する際に、左眼用画像，右眼用画像のいずれを用いるかを示す情報である。立体視用画像データは、前記のように左眼用画像と右眼用画像を含んでいるため、いずれかの画像をそのまま平面画像として表示することが可能である。もちろん、そのままではなく、補間処理や補正処理を加えた上で表示しても良い。
【０１２３】
平面表示画像選択情報は、図２６に示すように、立体視制御情報中に含める。平面表示画像選択情報は、前記表示領域情報と同様にユーザーが設定した結果を記録しても良いし、前記第6の実施形態に示したように、予め立体視情報の中に含まれていても良い。
【０１２４】
この平面表示画像選択情報は、前記立体画像表示装置においては、表示領域判定部４において解釈され、視差量調整を行った立体画像の表示領域を決定するために用いられる。即ち、前記表示領域判定部４は、立体視制御情報中の平面表示画像選択情報で指定された画像、即ち左眼用画像もしくは右眼用画像の全体を表示するように、視差量の調整された立体画像の表示領域を決定する。なお、本動作は、前記全ての実施形態で説明された構成の立体画像表示装置（図１、図１３、図１５、図１９、図２１、図２３）に関して適用可能である。
【０１２５】
前記のように表示領域を決定した際の、前記表示部６での表示状態を図２７に示す。図２７は、（ａ）が視差量調整を行わなかった場合の状態で、（ｂ），（ｃ）はいずれも、左眼用画像に対して右眼用画像を右方向にシフトした状態である。シフトしたことによって、図のように、左眼用画像と右眼用画像の水平位置が一致しなくなる。左眼用画像と右眼用画像の両方（両眼画像）が存在する領域は、そのまま立体表示ができる領域である。左眼用画像と右眼用画像のいずれか（片眼画像）しか存在しない領域は、そのままでは立体表示ができない領域である。片眼画像の領域は、観察者の両眼に同一の画像を見せて平面画像としてもよいし、該片眼画像をもとに他方の片眼画像を生成あるいは補間する等何らかの画像処理を施して立体画像としてもよい。この時、表示領域を、前記平面表示画像選択情報で指定された方の画像の位置と一致するように決定する。図２７（ｂ）は、前記平面表示画像選択情報で「左眼用画像」が指定されている例における左右画像の位置と表示領域の関係を、図２７（ｃ）は、前記平面表示画像選択情報で「右眼用画像」が指定されている例における左右画像の位置と表示領域の関係をそれぞれ示している。
【０１２６】
以上のように表示領域を決定することによって、次のような効果がある。即ち、前記のように、立体画像表示装置において平面表示する場合は、前記平面表示画像選択情報に従って、左眼用画像もしくは右眼用画像のみを用いて表示を行う。例えば、平面表示画像選択情報で「左眼用画像」が指定されている場合、左眼用画像全体が表示される。この時、表示モードを立体画像表示に切り替えたとしても、同様に左眼用画像全体が表示されるように表示領域が選択されるため、平面表示／立体表示の違いはあるが観察者からは左眼用画像の位置が固定して見えることになり、その結果、表示モード切り替えの違和感を少なくすることが可能である。
【０１２７】
なお、このように立体表示と平面表示の切り替えが可能な立体画像表示装置においては、表示部６は立体表示モードと平面表示モードを備え、両者を切り替えることが可能な表示デバイスである。立体表示モードと平面表示モードの切り替えは、立体画像表示装置のユーザーがボタンなどの操作によって切り替えても良いし、前記第6の実施形態に記載のように立体視情報が繰り返し伝送されるようなケースでは、前記立体視制御情報中に立体表示と平面表示を切り替えるためのパラメータを含めていても良い。また、立体画像識別情報自体、即ち立体視情報自体の有無によっても、立体表示と平面表示を切り替えるような構成とする。また、表示モードは、表示画面全体に対して切り替えても良いし、任意の表示範囲単位で切り替えても良い。
【０１２８】
次に、本発明の第８の実施の形態による立体画像記録技術について説明する。本発明の第３の実施の形態又は第７の実施の形態において、視差量を調整するための情報を指定する例を挙げている。本実施形態による立体画像記録技術は、このような立体視情報を含んだ記録方法の１形態であり、デジタルビデオテープに立体画像と立体視情報を記録する記録方法、及びそのための記録装置である。
【０１２９】
はじめに、本実施の形態による立体画像記録技術により記録されたデジタルビデオテープのトラックフォーマットについて説明する。一般に普及しているデジタルＶＴＲではヘリカルスキャンと呼ばれる方式が採用されている。図２８に示すように、この方式ではテープ上の不連続なトラックに対してデータが記録される。この様子を示したものが図２８であり、テープ２８００上にトラック２８０１が複数形成されており、１枚の立体画像も複数のトラック２８０１に分割して記録される。テープの走行方向は図２８の右から左方向（矢印方向）であり、左端のトラックが下方から上方に向けて走査され、続いてその右隣のトラックの下方から上方へと走査されていく。
【０１３０】
図２９は、１つのトラック２８０１の構成例を示す図であり、本実施の形態による立体画像記録技術によって記録されたデジタルＶＴＲのトラックフォーマットの１構成例を示す図である。トラック２８０１はアフレコを確実にするためのＩＴＩ（Ｉｎｓｅｒｔ ａｎｄ Ｔｒａｃｋ Ｉｎｆｏｒｍａｔｉｏｎ）領域２９０１と、音声に関するデータが記録される音声記録領域２９０２と、画像に関するデータが記録される画像記録領域２９０３、タイムコードなどの付随情報が記録されるサブコード記録領域２９０４と、を含んで構成される。画像記録領域２９０３には、立体画像そのものだけでなく、立体画像とかかわりのある付随情報も記録可能である。同様に、音声記録領域２９０２には、音声そのものだけでなく、音声とかかわりのある付随情報も記録可能である。また、これら２つとは別に、前述のとおりサブコード記録領域２９０４にも付随情報が記録可能である。また、各領域の間にはマージンがあり、個別にアフレコが可能になっている。
【０１３１】
図３０は画像記録領域２９０３を拡大したものである。画像記録領域２９０３は、同期パターンなどが記録されたプリアンブル３００１と、画像に関する付随情報が記録されるＶＡＵＸ（Ｖｉｄｅｏ ＡＵＸｉｌｉａｒｙ ｄａｔａ）α３００２及びＶＡＵＸβ３００４と、画像符号化データが記録される画像符号化データ記録領域３００３と、エラー訂正符号３００５と、マージンを稼ぐための機能を持つポストアンブル３００６とを含んで構成される。本実施の形態による立体画像記録技術では、画像に関する付随情報が記録される領域がＶＡＵＸα３００２とＶＡＵＸβ３００４の２つに分けられているが、以後、これらの２つの領域をまとめてＶＡＵＸ領域と呼ぶ。
また、図示はしないが音声記録領域２９０２にも、音声に関する付随情報を記録する領域としてＡＡＵＸ（Ａｕｄｉｏ ＡＵＸｉｌｉａｒｙ ｄａｔａ）領域が用意されている。
【０１３２】
続いて、図３１を参照して、本実施の形態による記録装置について説明する。図３１は本実施形態の記録装置の構成を示すブロック図である。図３１に示すように、本記録装置は立体画像符号化部３１０１、音声符号化部３１０２、付随情報符号化部３１０３、多重化部３１０４、テープ記録部３１０５を含む。
【０１３３】
立体画像符号化部３１０１は、立体視用画像データを入力とする。立体視用画像データは、前記第１の実施の形態等に関して説明したように、複数の画像を基に生成された立体視表示が可能な画像データである。立体画像符号化部３１０１は、この立体視用画像データを所定の方法で符号化して、立体画像符号化データを出力する。
【０１３４】
音声符号化部３１０２は、音声データを入力とし、これを符号化して音声符号化データを出力する。
付随情報符号化部３１０３は、前記立体視用画像データに関する立体視情報、即ち、立体画像であることを示すための立体画像識別情報、視差量調整のためのシフトベクトルもしくは飛び出し方向及び距離、表示領域を決定するための平面表示画像選択情報などを含む付随情報を符号化し、付随情報符号化データを出力する。ここでの符号化方法としては、それぞれの情報に対応する固定長の数値への変換などがあげられる。
【０１３５】
多重化部３１０４は、立体画像符号化データ、音声符号化データ、付随情報符号化データを入力とし、これらをテープに記録できる形式に多重化してテープ記録用データを出力する。
テープ記録部３１０５は、テープ記録用データを先に示したフォーマットに従って記録媒体であるテープに記録する。
【０１３６】
続いて、多重化部３１０４について、図３２を参照してより詳細に説明する。図３２に示すように、多重化部３１０４は、付随情報符号化データ振り分け部３２０５と、画像記録領域用データ合成部３２０１と、音声記録領域用データ合成部３２０２と、サブコード記録領域用データ合成部３２０３と、トラック合成部３２０４と、を含む。
【０１３７】
付随情報符号化データ振り分け部３２０５は、付随情報符号化データを入力とし、これらをＶＡＵＸ領域、ＡＡＵＸ領域、サブコード領域のいずれに記録するかを判別して振り分ける。本実施の形態では、立体画像識別情報と平面表示画像選択情報とに関する符号化データはＶＡＵＸ領域に、シフトベクトルや飛び出し方向／距離に関する符号化データはサブコード領域に振り分ける。
【０１３８】
画像記録領域用データ合成部３２０１は、立体画像符号化部３１０１から出力される立体画像符号化データ、及び付随情報符号化データ振り分け部３２０５から出力されるＶＡＵＸ領域用付随情報符号化データを入力とし、図３０に示したフォーマットとなるよう付随情報符号化データ及び立体画像符号化データを合成し、画像記録領域用データを出力する。
【０１３９】
音声記録領域用データ合成部３２０２は、音声画像符号化部３１０２から出力される音声符号化データ、及び付随情報符号化データ振り分け部３２０５から出力されるＡＡＵＸ領域用付随情報符号化データを入力とし、これらを所定のフォーマットとなるよう合成して音声記録領域用データを出力する。
【０１４０】
サブコード記録領域用データ合成部３２０３は、付随情報符号化データ振り分け部３２０５から出力されるサブコード領域用付随情報符号化データを入力とし、これらを所定のフォーマットとなるよう合成してサブコード記録領域用データを出力する。
【０１４１】
トラック合成部３２０４は、画像記録領域用データと、音声記録領域用データと、サブコード記録領域用データとを入力とし、これらが図２９に示したフォーマットとなるよう合成し、さらにＩＴＩ情報２９０１や各領域間のマージンを付加して記録用データを出力する。
【０１４２】
なお、本実施の形態では音声記録領域、画像記録領域、サブコード記録領域を同時に記録したが、これらは必ずしも同時に記録する必要があるものではなく、一部、例えば音声記録領域と画像記録領域のみを先に記録しておき、サブコード記録領域をアフレコによって記録することも可能である。あるいは、同時に全てを記録したとしても、それぞれの領域は個別にアフレコによって更新することも可能である。
【０１４３】
視差量調整のためのシフトベクトルや飛び出し方向／距離のような情報は、撮影時に決定される場合だけでなく、最終的なコンテンツの出来上がりに応じて撮影終了後の編集段階で決定される可能性がある。例えば、撮影時にはデフォルト値を記録しておき、編集段階で仕上がりを確認してからシフトベクトルや飛び出し方向／距離を示す情報をアフレコする場合がある。シフトベクトルや飛び出し方向／距離のデフォルト値としては、例えば全て０、即ち視差量を調整しないよう指定する。また、編集段階での調整方法としては、例えば前記第３の実施形態で示した立体画像表示装置と同様に、前記立体画像記録装置が、さらに入力画像を立体視可能なように画像処理を行う手段と、ユーザーからの入力を受けつける手段と、ユーザーの入力から視差量の調整情報を算出する手段と、視差量の調整情報を使用して画像処理された立体映像から実際にディスプレイに表示する領域を判定する手段と、判定された領域を表示する手段とを備え、前記立体画像記録装置において、ユーザーが立体画像の表示を確認しながら視差量を調整すれば良い。本実施の形態による記録方式及び記録装置によれば、シフトベクトルや飛び出し方向／距離を示す情報がアフレコの容易なサブコード領域に記録されているため、編集段階でも容易に変更することが可能である。
【０１４４】
また、本実施の形態ではシフトベクトルや飛び出し方向／距離を示す情報をサブコード領域に記録したが、これらも画像に関する付随情報であるという観点から、全てをまとめてＶＡＵＸ領域に記録するという方法もある。これには、図３２の付随情報符号化データ振り分け部３２０５の動作を変更し、上記の情報の符号化データを全てＶＡＵＸ領域に向けて出力する構成とする。この場合、アフレコの容易性はなくなるが、画像に関する付随情報が一箇所にまとまっていることによって取り扱いが簡易になるという長所がある。例えば、別の記録フォーマットを持つ媒体に複製を作る際に、画像記録領域の複製だけをつくれば画像に関する全ての情報を取得できることになり、サブコード領域を取り扱う必要がなくなる。また、アフレコによる上書きを避けるために、サブコード領域とＶＡＵＸ領域の両方に記録するという方法も可能である。
【０１４５】
あるいは、サブコード領域、ＶＡＵＸ領域のサイズ上の制限により、これらの領域に格納できなかった場合には、立体画像に関連する情報のうち、前記格納できなかった情報をＡＡＵＸ領域に記録するということも可能である。
【０１４６】
なお、本実施の形態の構成は、立体画像に特有の部分を除けば家庭用に普及しているデジタルＶＴＲの方式にも準拠している。このため、本実施形態が記録する付随情報のうち、立体画像に特有の付随情報、即ち、立体画像識別情報、平面表示画像選択情報、シフトベクトル、飛び出し方向及び距離に関する情報などを家庭用デジタルＶＴＲのフォーマットで拡張が許されている拡張領域に記録すれば、平面画像と立体画像を同一のテープに記録することが可能である。
【０１４７】
また、本発明の立体画像記録方法の説明では図２８及び図３１の構成に基づいて、記録媒体であるデジタルビデオテープに記録しているが、一般に画像処理装置や端末が具備する記録領域、あるいはデジタルビデオテープのカセットに装着されたＩＣメモリの記録領域等に記録することも可能である。この場合、これまでの説明と同様に、当該記録領域が音声記録領域、画像記録領域、サブコード記録領域などを備え、立体視情報などの付随情報をこれらの領域に記録することも可能である。
以上、本実施の形態に沿って説明したが、本発明はこれらの例に限定されるものではなく、種々の変形が可能であるのは言うまでもない。
【０１４８】
【発明の効果】
以上説明したように、本発明によれば、視差量が調整された立体画像において、違和感が少なく良好な立体画像を表示することが可能となる。
また、視差量が調整された立体画像を表示する場合に、画像の飛び出し具合や長時間観賞した場合の疲労度など観察者の受ける印象や影響が、画面サイズ等が異なるディスプレイ間で比較した際に大きく異ならないようにすることができる。
【０１４９】
また、視差量が調整された立体画像を表示する際は、表示領域を左眼画像もしくは右眼画像の全体が表示されるように選択することによって、立体表示／平面表示の表示モード切り替えを行った場合の、両モードで表示される画像の範囲がずれずに済み、違和感なく表示モードの切り替えを行うことが可能である。
【０１５０】
本発明によればさらに、視差量の調整に関する情報をアフレコの容易なサブコード領域に記録することにより、編集の利便性を高めることが可能となる。
本発明によればさらに、視差量の調整に関する情報を含む立体視制御情報をまとめて画像記録領域に記録することにより、取り扱いを簡易にすることが可能となる。
【０１５１】
本発明によればさらに、視差量の調整に関する情報を含む立体視制御情報をサブコード領域と画像記録領域の両方に記録しておくことにより、アフレコ時の上書きによるデータ消失を防ぐことが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態による立体画像表示装置の構成例を示す機能ブロック図である。
【図２】図２（Ａ）、（Ｂ）は、本発明の第１の実施の形態による立体画像表示装置における左眼用画像データと右眼用画像データから立体視用画像データを生成する例を示す図である。
【図３】本発明の第１の実施の形態による立体画像表示装置における立体視する際の左眼用画像データと右眼用画像データの対応する画素の例を示す図である。
【図４】本発明の第１の実施の形態による立体画像表示装置における視差量調整した際の画像の移動例を示す図である。
【図５】本発明の第１の実施の形態による立体画像表示装置におけるＲＧＢ３原色のドットデータと画素の対応例を示す図である。
【図６】本発明の第１の実施の形態による立体画像表示装置における画像を移動させる際にＲＧＢ３原色のドットデータのうち１ドットを移動させる例を示す図である。
【図７】本発明の第１の実施の形態による立体画像表示装置における画像を移動させる際にＲＧＢ３原色のドットデータのうち２ドットを移動させる例を示す図である。
【図８】図８（Ａ）から（Ｃ）までは、本発明の第１の実施の形態による立体画像表示装置における視差量調整の際に画像を中心をずらすことなく移動させる例を示す図である。
【図９】図９（Ａ）から（Ｃ）までは、本発明の第１の実施の形態による立体画像表示装置における視差量調整のために画像データを移動させた際の例を示す図である。
【図１０】本発明の第１の実施の形態による立体画像表示装置における視差量地要請のために画像データを移動させ、移動後の中心をずらさないように領域を判定した際の補間対象領域の例を示す図である。
【図１１】図１１（Ａ）及び（Ｂ）は、本発明の第１の実施の形態による立体画像表示装置におけるディスプレイを３次元表示と２次元表示とを切り替える方法の例を示す図である。
【図１２】図１２（Ａ）から（Ｄ）までは、本発明の第１の実施の形態による立体画像表示装置における画像データを補間する例を示す図である。
【図１３】本発明の第２の実施の形態による立体画像表示装置の構成例を示す機能ブロック図である。
【図１４】図１４（Ａ）から（Ｃ）までは、本発明の第２の実施の形態における、視差量調整を行い、画像の表示領域に画素値が存在しない時に、その領域に画像を生成する例を示す図である。
【図１５】本発明の第３の実施の形態による立体画像表示装置の構成例を示す機能ブロック図である。
【図１６】図１６（Ａ）及び（Ｂ）は、本発明の第３の実施の形態による立体画像表示装置における立体視を行うための立体視制御情報の格納方法の例を示す図である。
【図１７】図１７（Ａ）及び（Ｂ）は、本発明の第３の実施の形態による立体画像表示装置における立体視を行うための立体視制御情報を画像データ内に格納する際の記述方法の例を示す図である。
【図１８】本発明の第３の実施の形態による立体画像表示装置における立体視を行うための立体視制御情報を装置内に記録する時の記述方法の例を示す図である。
【図１９】立体視制御情報を付随する立体視用の画像データを表示させる立体画像表示装置の構成例を示す機能ブロック図である。
【図２０】図２０（Ａ）及び（Ｂ）は、本発明の第４の実施の形態による立体画像表示装置における最大シフトベクトルを立体視制御情報に含めて記録する例を示す図である。
【図２１】本発明の第４の実施の形態による立体画像表示装置における最大シフトベクトルの情報を持つ立体視用の画像データを表示する立体画像表示装置の構成例を示す機能ブロック図である。
【図２２】図２２（Ａ）から（Ｅ）までは、本発明の第５の実施の形態による立体画像表示装置における立体視用の画像データを拡大・縮小して表示する時に視差量調整を行う時の画像データの移動例を示す図である。
【図２３】本発明の第５の実施の形態による立体画像表示装置の構成例を示す機能ブロック図である。
【図２４】図２４（Ａ）及び（Ｂ）は、本発明の第６の実施の形態による立体画像表示装置における立体視制御情報を伝送媒体で伝送する際の格納例を示す図である。
【図２５】図２５（Ａ）から（Ｃ）までは、本発明の第３の実施の形態による立体画像表示装置における飛び出し距離を算出するための計算例を示す図である。
【図２６】本発明による第７の実施の形態による立体視情報の構成例を示す図である。
【図２７】本発明による第７の実施の形態による画像表示領域の選択例を示す図である。
【図２８】デジタルビデオテープ上のトラックの記録状態を示す図である。
【図２９】デジタルＶＴＲのトラックフォーマットを示す図である。
【図３０】各トラックの画像記録領域内のデータ構成を示す図である。
【図３１】本発明の第８の実施の形態による立体画像記録装置の構成を示す図である。
【図３２】本発明の第８の実施の形態による立体画像記録装置の多重化部の構成を示す図である。
【符号の説明】
１…立体画像処理部、２…ユーザー入力部、３…視差量調整情報算出部、４…表示領域判定部、５…画像補間部、６…表示部、７…画像データ生成部、８…立体視情報記録部、９…立体視情報読み出し部、１０…最大シフトベクトル読み出し部、１１…拡大・縮小処理部、２６０１…飛び出し方向、２６０２…飛び出し距離、２６０３…飛び出しベクトル、２６０４…平面表示画像選択情報、３００２…ＶＡＵＸα、３００３…画像符号化データ記録領域、３００４…ＶＡＵＸβ、３１０３…付随情報符号化部、３１０４…多重化部、３２０５…付随情報符号化データ振り分け部。

Claims (12)

1. 左右の画像を１ラインごと交互に短冊状に並べて表示する方式を用い、複数の視点に対応した複数の画像に基づいて立体画像を表示する立体画像表示装置であって、視差量の変更を指示する情報に基づいて、視差量を調整しない状態からの画像の移動量を示す視差量調整情報を前回の移動の際の立体視表示の中心の表示領域の中心からのずれ情報を用い、立体視表示の中心の表示領域の中心からのずれが小さくなるように算出する視差量調整情報算出部と、前記視差量調整情報に基づいて、複数の視点に対応した複数の画像から構成される立体視可能な立体視用画像を生成する画像処理部と、前記複数の画像中の所定の領域を補間する画像補間部と、を備える立体画像表示装置において、
   前記画像補間部は、前記立体視用画像を構成する複数画像間で対応する画素の存在しない領域がある場合、該領域のみを、他の画素値を用いて補間し、
   前記画像処理部は、前記視差量調整情報算出部で算出された視差量調整情報に基づいて、前記立体視用画像を構成する複数画像間で対応する画素の存在しない領域の幅が立体視用画像内の左右端間で略均等となるように、立体視用画像を生成することを特徴とする立体画像表示装置。
2. 左右の画像を１ラインごと交互に短冊状に並べて表示する方式を用い、複数の視点に対応した複数の画像に基づいて立体画像を表示する立体画像表示装置であって、視差量の変更を指示する情報に基づいて、視差量を調整しない状態からの画像の移動量を示す視差量調整情報を前回の移動の際の立体視表示の中心の表示領域の中心からのずれ情報を用い、立体視表示の中心の表示領域の中心からのずれが小さくなるように算出する視差量調整情報算出部と、前記視差量調整情報に基づいて、複数の視点に対応した複数の画像から構成される立体視可能な立体視用画像を生成する画像処理部と、前記複数の画像中の所定の領域に新たな画像を生成する画像生成部と、を備える立体画像表示装置において、
   前記画像生成部は、前記立体視用画像を構成する複数画像間で対応する画素の存在しない領域がある場合、該領域のみに、新たな画像を生成し、
   前記画像処理部は、前記視差量調整情報算出部で算出された視差量調整情報に基づいて、前記立体視用画像を構成する複数画像間で対応する画素の存在しない領域の幅が立体視用画像内の左右端間で略均等となるように、立体視用画像を生成することを特徴とする立体画像表示装置。
3. さらに、前記立体視用画像を表示する際の表示用領域を判定する表示領域判定部であって、前記立体視用画像を表示する表示画面領域上の水平方向における中心位置と前記立体視用画像上の水平方向における中心位置とのずれが小さくなるように、前記表示領域の判定を行う表示領域判定部を有することを特徴とする請求項１又は２に記載の立体画像表示装置。
4. 前記視差量調整情報算出部は、前記視差量の変更量を制限する機能を有することを特徴とする請求項１から３までのいずれか１項に記載の立体画像表示装置。
5. さらに、少なくとも前記複数の画像が立体視用の画像であることを示す立体画像識別情報と前記視差量の変更を示す情報とを含む立体視情報を記録する立体視情報記録部を有することを特徴とする請求項１から４までのいずれか１項に記載の立体画像表示装置。
6. さらに、少なくとも前記複数の画像が立体視用の画像であることを示す立体画像識別情報と前記表示用領域の情報とを含む立体視情報を記録する立体視情報記録部を有することを特徴とする請求項１から４までのいずれか１項に記載の立体画像表示装置。
7. さらに、少なくとも前記複数の画像が立体視用の画像であることを示す立体画像識別情報と前記視差量の変更の範囲を示す情報とを含む立体視情報を記録する立体視情報記録部を有することを特徴とする請求項１から４までのいずれか１項に記載の立体画像表示装置。
8. さらに、前記複数の画像を拡大あるいは縮小する拡大・縮小処理部と、立体視制御情報を変換する立体視制御情報変換部とを備え、
   前記立体視制御情報変換部は、前記複数の画像が前記拡大・縮小処理部において拡大・縮小された拡大・縮小率に基づいて、前記視差量の変更を示す情報を変換することを特徴とする請求項１から７までのいずれか１項に記載の立体画像表示装置。
9. さらに、前記複数の画像を拡大あるいは縮小する拡大・縮小処理部と、立体視制御情報を変換する立体視制御情報変換部とを備え、
   前記立体視制御情報変換部は、前記複数の画像が前記拡大・縮小処理部において拡大・縮小された拡大・縮小率に基づいて、前記表示用領域の情報を変換することを特徴とする請求項１から７までのいずれか１項に記載の立体画像表示装置。
10. さらに、前記複数の画像を拡大あるいは縮小する拡大・縮小処理部と、立体視制御情報を変換する立体視制御情報変換部とを備え、
    前記立体視制御情報変換部は、前記複数の画像が前記拡大・縮小処理部において拡大・縮小された拡大・縮小率に基づいて、前記視差量の変更の範囲を示す情報を変換することを特徴とする請求項１から７までのいずれか１項に記載の立体画像表示装置。
11. 左右の画像を１ラインごと交互に短冊状に並べて表示する方式を用い、複数の視点に対応した複数の画像に基づいて立体画像を表示する立体画像表示方法であって、視差量の変更を指示する情報に基づいて、視差量を調整しない状態からの画像の移動量を示す視差量調整情報を前回の移動の際の立体視表示の中心の表示領域の中心からのずれ情報を用い、立体視表示の中心の表示領域の中心からのずれが小さくなるように算出する視差量調整情報算出ステップと、前記視差量調整情報に基づいて、複数の視点に対応した複数の画像から構成される立体視可能な立体視用画像を生成する画像処理ステップと、前記複数の画像中の所定の領域を補間する画像補間ステップと、を有する立体画像表示方法において、
    前記画像補間ステップは、前記立体視用画像を構成する複数画像間で対応する画素の存在しない領域がある場合、該領域のみを、他の画素値を用いて補間し、
    前記画像処理ステップは、前記視差量調整情報算出ステップで算出された視差量調整情報に基づいて、前記立体視用画像を構成する複数画像間で対応する画素の存在しない領域の幅が立体視用画像内の左右端間で略均等となるように、立体視用画像を生成することを特徴とする立体画像表示方法。
12. 左右の画像を１ラインごと交互に短冊状に並べて表示する方式を用い、複数の視点に対応した複数の画像に基づいて立体画像を表示する立体画像表示方法であって、視差量の変更を指示する情報に基づいて、視差量を調整しない状態からの画像の移動量を示す視差量調整情報を前回の移動の際の立体視表示の中心の表示領域の中心からのずれ情報を用い、立体視表示の中心の表示領域の中心からのずれが小さくなるように算出する視差量調整情報算出ステップと、前記視差量調整情報に基づいて、複数の視点に対応した複数の画像から構成される立体視可能な立体視用画像を生成する画像処理ステップと、前記複数の画像中の所定の領域に新たな画像を生成する画像生成ステップと、を有する立体画像表示方法において、
    前記画像生成ステップは、前記立体視用画像を構成する複数画像間で対応する画素の存在しない領域がある場合、該領域のみに、新たな画像を生成し、
    前記画像処理ステップは、前記視差量調整情報算出ステップで算出された視差量調整情報に基づいて、前記立体視用画像を構成する複数画像間で対応する画素の存在しない領域の幅が立体視用画像内の左右端間で略均等となるように、立体視用画像を生成することを特徴とする立体画像表示方法。

Images