JP5049416B2 - 画像ファイル生成装置、画像ファイル再生装置及び画像ファイル生成方法 - Google Patents

Description

本発明は、立体視を可能とする立体画像データを生成可能な画像生成装置及び立体画像を表示可能な画像再生装置に関する。

特許文献１は、複数の視点に対応した複数の画像で構成される立体画像を視差調整した後に記録する立体画像記録装置を開示する。

この立体画像記録装置は、立体画像を記録する際、立体画像とともに、立体画像の視差調整に関する情報である調整情報を記録する。この調整情報は、ディスプレイに依存しない物理的な長さを示す単位に変換した後、記録される。

この調整情報を用いることにより、この立体画像記録装置に記録された立体画像は、ディスプレイに依存することなく、最初に視差調整を行ったユーザの意図に合った視差量調整を行うことが可能となる。

特開２００５−７３０１２号公報

前述のように、特許文献１に示す立体画像記録装置は、立体画像を構成する複数の画像と、当該立体画像の視差調整に関する調整情報とを記録することができる。

しかし、特許文献１は、調整情報として、画面全体についてのシフト量を示す情報を記録するため、シーンの構図や被写体の配置とは関係なく、画面全体の視差が調整されてしまい、使用者の意図に応じて立体画像を再現できないという課題があった。

本発明は、シーンの構図や被写体の配置に応じて視差調整を可能とし、使用者の意図に応じた立体画像の再現を可能とする画像ファイル生成装置や画像ファイル再生装置を提供することを目的とする。

本発明の第１の態様において、画像ファイル生成装置が提供される。画像ファイル生成装置は、立体視を可能とする立体画像のデータを取得する画像取得部と、立体画像の全領域を複数の領域に分割した分割領域毎に視差情報を取得する視差情報取得部と、画像取得部が取得した立体画像のデータを格納するデータ部と、データ部に格納される立体画像のデータに関する管理データを格納するヘッダ部とを有する画像ファイルを生成するファイル生成部とを備える。ファイル生成部は、画像ファイルのヘッダ部に、分割領域毎の視差情報及び分割領域の分割方法に関する情報を格納する。

本発明の第２の態様において、立体視を可能とする立体画像データの再生が可能な画像ファイル再生装置が提供される。画像ファイル再生装置は、立体視を可能とする立体画像データを含む画像ファイルを格納する記録媒体から画像ファイルを読み出すファイル読み出し部と、画像ファイルを解析する解析部と、立体画像が表示される表示画面に垂直な方向におけるオブジェクトの表示位置を規定する視差情報を格納する記憶部と、を備える。画像ファイルは、立体画像データを格納するデータ部と、データ部に格納される立体画像データに関する管理データを格納するヘッダ部とを有する。画像ファイルのヘッダ部は、立体画像の全領域を複数の領域に分割した分割領域毎の視差情報と、分割領域の分割方法に関する情報とを格納する。解析部は、ヘッダ部から、分割方法に関する情報と、分割領域毎の視差情報とを読み出し、読み出した分割方法に関する情報に基づき確保された記憶部の記憶領域に、読み出した視差情報を記憶する。

本発明の第３の態様において画像ファイルの生成方法が提供される。画像ファイルの生成方法は、立体視を可能とする立体画像のデータを取得し、立体画像の全領域を複数の領域に分割した分割領域毎に、立体画像が表示される表示画面に垂直な方向におけるオブジェクトの表示位置を規定する視差情報を取得し、取得した立体画像のデータを格納するデータ部と、データ部に格納される立体画像のデータに関する管理データを格納するヘッダ部とを有する画像ファイルを生成し、ヘッダ部に、分割領域毎の視差情報及び分割領域の分割方法に関する情報を格納する。

本発明の画像ファイル生成装置によれば、画像ファイルを再生装置において再生する際に、画像ファイルのヘッダ部を解析するだけで、画像の所定の部分領域毎に視差情報を取得することができる。これにより、画像の部分領域毎の視差調整が可能となり、シーンの構図や被写体の配置に応じて視差調整を可能とし、使用者の意図に応じた立体画像の再現を可能となる。

本実施形態の画像ファイル生成装置の構成図 画像領域の分割を説明した図 被写体が画面から飛び出して視認されるときの視差および被写体が画面から引っ込んで視認されるときの視差を説明した図 本実施形態における主要被写体を含む領域を示す情報を説明するための図 視差条件を説明するための図 本実施形態で生成される画像ファイルのデータ構造を説明した図 本実施形態で生成される立体画像に関する管理情報のデータ構造を説明した図 主要被写体の判定結果を示す情報を含む、立体画像に関する管理情報のデータ構造の例を説明した図 主要被写体の判定結果を示す情報を含む、立体画像に関する管理情報のデータ構造の別の例を説明した図 本実施形態の画像ファイル再生装置の構成図

以下、図面を参照しながら本発明の実施形態について説明する。

１．画像ファイル生成装置
図１は、本実施形態の画像ファイル生成装置の構成を示す図である。画像ファイル生成装置１０としては、立体映像を生成可能なデジタルカメラ、デジタルムービーなどが想定される。要するに、画像ファイル生成装置１０は、立体映像を構成する複数の画像を生成可能な装置であれば、どのような構成の装置でも構わない。なお、本実施形態では、立体映像は、異なる２つの視点（第１視点及び第２視点）で撮影された２つの画像（第１視点画像及び第２視点画像）で構成されるとする。

図１に示すように、画像ファイル生成装置１０は、第１視点画像取得部１０１、第２視点画像取得部１０２、画像分割部１０３、視差解析部１０４、撮影制御部１０５、映像処理部１０６、ファイル生成部１０７、及びファイル記録部１０８で構成される。

第１視点画像取得部１０１は、撮影制御部１０５からの制御に基づいて、ズーム（焦点距離の変更）、フォーカス、絞り、手振れ補正等に関する撮影パラメータを設定する。そして、第１視点画像取得部１０１は、設定した撮影パラメータに基づいて、第１視点における画像（以下「第１視点画像」という。）を生成する。生成された第１視点画像は、画像分割部１０３および映像処理部１０６に出力される。

第２視点画像取得部１０２は、撮影制御部１０５からの制御に基づいて、ズーム（焦点距離の変更）、フォーカス、絞り、手振れ補正等に関する撮影パラメータを設定する。この場合、第１視点画像取得部１０１と同様の撮影パラメータを設定するのが好ましい。そして、第２視点画像取得部１０２は、設定した撮影パラメータに基づいて、第１視点と異なる第２視点における画像（以下「第２視点画像」という。）を生成する。生成された第２視点画像は、画像分割部１０３および映像処理部１０６に出力する。

第１視点画像取得部１０１および第２視点画像取得部１０２は、撮影制御部１０５からの制御信号に基づいて、第１視点画像取得部１０１の視点と、第２視点画像取得部１０２の視点の間の距離（ステレオベース）を変更することができる。また、第１視点画像取得部１０１および第２視点画像取得部１０２は、撮影制御部１０５からの制御信号に基づいて、第１視点画像取得部１０１および第２視点画像取得部１０２の光軸が成す輻輳角を変更することができる。

画像分割部１０３は、第１視点画像取得部１０１および第２視点画像取得部１０２から入力した第１視点画像および第２視点画像のうちのいずれか一方の画像を複数の領域に論理的に分割する。例えば、画像分割部１０３は、視差解析部１０４で視差情報を求める際に基準となる画像（第１視点画像または第２視点画像）を複数の領域に分割する。

例えば、画像分割部１０３は、１つの画像を、１行×３列、３行×１列、３行×３列または３行×６列のように、ｎ行×ｍ列（ただし、ｎ、ｍは正の整数）の領域に論理的に分割する。図２は、画像分割を説明した図である。図中、Ｈは水平方向の分割数、Ｖは垂直方向の分割数を示す。Ｄ（ｘ，ｙ）は、ｘおよびｙで指定される分割領域における視差情報を示す。ｘおよびｙは各領域の位置を表す水平座標および垂直座標である。図２では、水平座標、垂直座標はラスタースキャン順に設定されているが、ラスタースキャン順に限らず、各領域の位置が特定できれば、他の順序で設定してもよい。図２（ａ）は、１行×１列（Ｈ＝１、Ｖ＝１）に分割された場合、図２（ｂ）は、３行×１列（Ｈ＝１、Ｖ＝３）に分割された場合、図２（ｃ）は、３行×３列（Ｈ＝３、Ｖ＝３）に分割された場合、図２（ｄ）は、３行×６列（Ｈ＝６、Ｖ＝３）に分割される場合を示す。

画像分割部１０３は、画像領域の分割数に関する情報を視差解析部１０４およびファイル生成部１０７に出力する。ここで、領域の分割数に関する情報は、画像分割部１０３が、分割された領域の数を特定することができる情報であれば、どのようなものでもよい。例えば、領域の分割数に関する情報は、水平分割数Ｈと垂直分割数Ｖを含む情報であってもよい。例えば、画像全体が３行×１列に分割される場合、画像分割部１０３はＨ＝３、Ｖ＝１を示す情報を出力してもよい。

また画像分割部１０３は、第１視点画像取得部１０１および第２視点画像取得部１０２のそれぞれから得られる２つの画像を視差解析部１０４に出力する。

視差解析部１０４は、画像分割部１０３から受信した２つの画像を解析して視差情報を取得し、映像処理析部１０６およびファイル生成部１０７に出力する。なお、視差解析部１０４は、画像分割部１０３から受信する領域の分割数に関する情報に基づいて、視差情報を取得する。

１．１ 視差情報
図３は、被写体が表示画面から飛び出した位置に視認される場合および被写体が表示画面から引っ込んだ位置に視認される場合における視差情報を説明した図である。図３（ａ）は、表示画面よりも視聴者側に飛び出して被写体が視認される場合を示し、図３（ｂ）は表示画面から引っ込んだ位置に被写体が視認される場合を示す。図３に示すように、被写体が飛び出した位置に視認される場合と、被写体引っ込んだ位置に視認される場合とで、第１視点画像と第２視点画像において、被写体は水平方向の異なる位置に表示される。この被写体の表示位置の差（ずれ）に関する量を示す情報を視差情報とする。この視差情報は、例えばピクセル値や、このピクセル値を表示画面の横幅で除算した値により表現される。なお、視差情報は上記の値に限定されるものではなく、差を特定できる値であればどのような指標を用いても構わない。

視差解析部１０４は、画像分割部１０３から取得される２枚の画像に基づいて、画像の所定の領域毎に視差情報を取得する。例えば、画像分割部１０３から取得する領域の分割数に関する情報がＨ＝３、Ｖ＝１を示す場合（１行×３列）、視差解析部１０４は合計３個の視差情報を取得する。同様に、領域の分割数に関する情報がＨ＝３、Ｖ＝６を示す場合（６行×３列）、視差解析部１０４は、合計１８個の視差情報を取得する。

視差解析部１０４は、分割領域毎に視差情報を取得するために、１つの分割領域をさらに複数の単位領域に分割し、分割した単位領域毎に視差量を求め、各単位領域に対して求めた視差量に基づいて１つの分割領域の視差情報を取得する。ここで、単位領域は、１画素のみを含む単位でも良いし（画素単位）、複数画素を含む単位でもよい。また、画素以外の長さに関する単位を用いても構わない。つまり、視差解析部１０４は、第１視点画像と第２視点画像の水平方向のずれを表現できる単位であれば、どのようなものを用いても構わない。

視差解析部１０４は、分割領域における視差情報として、例えば各分割領域を代表する１つの視差情報を取得する。分割領域を代表する視差情報とは、例えば、視差情報の平均値や中央値などの情報である。または、分割領域内で求めた視差量のうち最大の飛び出しを示す最大視差量と、最大の引っ込みを示す最大視差量との２つを視差情報として取得してもよい。

各分割領域を代表する１つの視差情報を取得する場合は、図２に示した例では、各領域の視差情報Ｄ（ｘ，ｙ）に含まれる情報数は１である。各領域において、飛び出し最大視差量と引っ込み最大視差量の２つを取得する場合は、視差情報Ｄ（ｘ、ｙ）に含まれる情報数は２となる。

または、視差解析部１０４は、別途、画像全体の視差情報として、無限遠方に対応する視差情報を１つ取得し、各領域の視差情報として、飛び出し最大視差のみを取得してもよい。すなわち、無限遠方に対応する視差情報は、分割領域毎に取得する必要はなく、画像全体で１つ取得すればよい。この場合、視差情報Ｄ（ｘ、ｙ）に含まれる情報数は１となる。

また、視差解析部１０４は、分割領域内における視差量の分布に関する情報を取得してもよい。例えば、画像分割部１０３から取得する領域の分割数に関する情報が、Ｈ＝３、Ｖ＝１を示す情報を含む場合、視差解析部１０４は、３個の分割領域の各々に対して、各分割領域を代表する視差量を求める。さらに、視差解析部１０４は、３個の分割領域の各々に対して、各分割領域内における視差量の分布に関する情報を求める。この場合、各分割領域を代表する視差量と、視差量の分布に関する情報とは対応付けられて求められる。ここで、視差量の分布に関する情報は、例えば、分割領域における視差量の分散を示す値であり、また、それ以外の分布を示す情報でもよい。

また、視差解析部１０４は、画像全体で求めた視差量に基づき、分割領域毎に視差情報の信頼度を算出してもよい。この場合、視差解析部１０４は、算出した視差情報の信頼度をファイル生成部１０７に出力する。視差情報の信頼度の出力において、算出した視差情報の信頼度と、その信頼度に関連する分割領域との対応が判別できるように構成する。視差情報の信頼度として、例えば、視差情報をブロックマッチングによる視差ベクトルから算出する場合、所定のコスト関数に基づいて算出されたマッチングコストを用いてもよい。このマッチングコストは視差情報を取得する過程で算出される値である。このマッチングコストが所定の値よりも小さい場合は、マッチング精度が高く、信頼度が高いと判定し、マッチングコストが所定の値よりも大きい場合には、信頼度が低いと判定するような方式を用いることが可能である。なお、視差情報の信頼度の判定は、視差情報の確からしさを表す情報であれば、マッチングコストに基づく判定に限定されるものではない。例えば、平坦度を示す情報も信頼度を示す情報として利用できる。

また、視差解析部１０４は、画像データに基づき、分割領域に主要被写体（注目被写体）が含まれているか否かを判定する機能を有しても構わない。顔検出された領域を、主要被写体が含まれている領域として、主要被写体を含む領域を判定してもよい。なお、顔検出以外の方法で主要被写体を検出してもよい。視差解析部１０４は、領域に主要被写体が含まれているか否かの判定結果を示す情報をファイル生成部１０７に出力する。判定結果を示す情報は、算出した判定結果が画像全体の中のどの分割領域の関連するのかが判別できるように出力する。図４は、主要被写体を含む分割領域を説明した図である。図４では、画像全体がＨ＝３、Ｖ＝３として９つの領域に分割され、座標（１，１）の分割領域において、主要被写体（人物の顔）が含まれる場合を示している。

また、視差解析部１０４は、予め理想的な視差条件が設定されており、取得した視差情報がこの視差条件を満たすか否かを判定する機能を備えても構わない。この場合、視差解析部１０４は、分割領域毎に視差条件を満たすか否かを判定する。視差解析部１０４は、判定結果をファイル生成部１０７に出力する。判定結果は例えば１ビットで示される。例えば、判定結果は、視差情報が視差条件を満たす場合は「１」に、視差情報が視差条件を満たさない場合は「０」に設定される。ただし、判定結果は１ビットの値に限定されるものではなく、視差条件の判定結果を識別できれば、どのような値を用いても構わない。

また、視差解析部１０４は、上記判定の結果、視差情報が視差条件を満たさない場合、視差条件を満たすように撮影パラメータを算出し、算出した撮影パラメータを撮影制御部１０５に出力する。この撮影パラメータは、第１視点画像および第２視点画像を立体映像として視聴した際、当該立体映像の飛出しまたは引っ込みの程度に影響するパラメータであり、輻輳角、ステレオベース、画角、ズーム等の情報が該当する。なお、視差解析部１０４は、映像処理部１０６に対して、算出した撮影パラメータを出力しても構わない。

１．２ 撮影条件
予め設定される撮影条件について図面を参照しながら説明する。図５は、視差条件を説明するための図である。図５（ａ）に示すように、視差解析部１０４は、第１視点画像および第２視点画像の画像情報に基づいて、視差が略０となる位置すなわち表示画面上の位置の視差角をα０に設定する。また、視差解析部１０４は、表示画面から飛び出して視認される被写体についての最大の視差角をα１に、表示画面に対して引っ込んで視認される被写体についての最小の視差角をα２に設定する。α０とα１の差、およびα０とα２の差が所定の範囲内（例えば±１°）に収まると視認しやすいという事実に基づいて、視差解析部１０４は、α１−α０＜１°、α０−α２＜１°という視差条件を設定する。視差条件については、立体視しやすいための条件、立体感が得られやすい条件など、安全性や画像品質等を考慮して決定することができる。

また、視差解析部１０４は、図５（ｂ）に示すように、最も飛び出した位置に視認される被写体の視差角β１および、最も引っ込んだ位置に視認される被写体の視差角β２を設定する。そして、奥行きレンジ（β１−β２）が所定の範囲内（例えば１°）に収まると視認しやすいという事実に基づいて、視差解析部１０４はβ１−β２＜１°という視差条件を想定してもよい。また、引っ込みの最大視差が、画面上のずれ量に換算して、人間の眼間距離（例えば、子供の場合で５０ｍｍ）以下という条件を想定してもよい。これらの条件は、組み合わせた条件でも構わない。

なお、視差解析部１０４は、画像を表示する想定ディスプレイサイズに関する情報を、使用者により入力できるように構成されてもよい。また、視差解析部１０４は、入力された想定ディスプレイサイズに関する情報に基づいて、画像を視聴する際の推奨距離を設定するようにしてもよい。推奨距離は例えば想定ディスプレイサイズの縦サイズの３倍の距離に設定される。

撮影制御部１０５は、視差解析部１０４から出力される撮影パラメータに基づき、第１視点画像取得部１０１および第２視点画像取得部１０２におけるズーム（焦点距離の変更）、２つの視点画像取得部１０１、１０２の間の輻輳角、２つの視点画像取得部１０１、１０２間の間隔、フォーカス、絞り、手振れ補正などの撮影パラメータを変更する。

映像処理部１０６は、入力される２つの視点画像に対して、各種の処理を施す。映像処理部１０６は、例えば、第１視点画像および第２視点画像に対してガンマ補正やホワイトバランス補正、傷補正などの各種映像処理を行う。さらに、映像処理部１０６は、上記処理された第１視点画像および第２視点画像に対して、それぞれＪＰＥＧ規格に準拠した圧縮形式等により画像を圧縮する。映像処理部１０６は、圧縮した画像をファイル生成部１０７に出力する。

なお、映像処理部１０６は、視差解析部１０４から撮影パラメータを入力すると、第１及び第２指定画像取得部１０１、１０２から入力した２つの視点画像に対して視差調整を実施する。視差調整とは、視差解析部１０４から出力される撮影パラメータを満たすような画像となるように、信号処理によって２つの視点画像を補正する動作をいう。補正動作には、例えば、２つの視点画像をトリミングする動作または、画素データをシフトする動作が含まれる。なお、視差調整は、上記の方法に限定されるものではなく、２つの視点画像を立体映像として視聴した際に、立体感を変更するための方法であれば、任意の方法が利用できる。

ファイル生成部１０７は、映像処理部１０６が出力する２つの視点画像と、画像分割部１０３が出力する領域の分割数に関する情報と、視差解析部１０４が出力する領域毎に取得した視差情報とを対応付けた画像ファイルを生成する。ファイル生成部１０７は、生成した画像ファイルをファイル記録部１０８に出力する。上記の画像ファイルは、例えばマルチピクチャフォーマットに即して生成される。なお、ファイル生成部１０７は、映像処理部１０６が出力する２つの視点画像を、画像分割部１０３が出力する領域の分割数に関する情報と、視差解析部１０４が出力する領域毎に取得した視差情報とに対応付けて格納できるファイルフォーマットであれば、任意のファイルフォーマットが利用できる。

ファイル生成部１０７は、視差解析部１０４から、所定の判定処理（主要被写体の判定、視差条件の判定等）の結果や撮影パラメータを入力してもよい。ファイル生成部１０７は、視差解析部１０４から判定結果や撮影パラメータを入力すると、当該判定結果または撮影パラメータを上記の３つの情報（２つの視点画像、領域の分割数に関する情報、視差情報）と対応付けて格納する。

ファイル記録部１０８は、ファイル生成部１０７から入力された画像ファイルをメモリカード１０９に記録する。メモリカード１０９は、ＳＤカードなどの不揮発性のメモリカードであるが、ファイル生成部１０７で生成した画像ファイルを記録できる記録媒体であれば、任意の記録媒体が利用できる。

本実施形態の画像ファイル生成装置１０において、視差解析部１０４、映像処理部１０６、撮影制御部１０５、ファイル生成部１０７は、マイクロコンピュータやＤＳＰのソフトウェアとして実装してもよい。

１．３ ファイルフォーマット
図６を用いて、本実施形態の画像ファイル生成装置１０で生成される画像ファイルのデータ構造（ファイルフォーマット）を説明する。画像ファイル生成装置１０で生成される画像ファイルは複数の画像データを含む。図６の例では、画像ファイルは、第１視点画像データと第２視点画像データを含む。ここで、第１視点画像データは、メインヘッダ情報を格納するメインヘッダ部（以下単に「ヘッダ部」ともいう）５０２と異なるデータ領域５０３に格納される。第２視点画像データは、第２視点画像用ヘッダ情報を格納するヘッダ部５０６と異なるデータ領域５０７に格納される。なお、図６では、１つの画像ファイルに、２つの画像データが格納されているが、３以上の複数の画像データを格納することも可能である。つまり、１つの画像ファイルに、第１視点画像および第２視点画像に加えて第３視点画像を格納することも可能である。

先頭識別子５０１、メインヘッダ情報５０２、第１視点画像データ５０３および末尾識別子５０４は、第１視点画像に関する１つのグループとして、画像ファイル内に格納される。

先頭識別子５０１は、第１視点画像データ５０３が格納されるグループの起点をあらわすマーカである。先頭識別子５０１は、例えば、ＪＰＥＧ規格で規定されたファイルのスタート情報（ｘＦＦＤ８）である。

メインヘッダ部５０２は画像ファイル全体の管理データ（メインヘッダ情報）を格納する。この管理データは、第１視点画像と第２視点画像を立体映像として視聴する際の立体感に関する情報を格納する。

第１視点画像データ５０３は例えばＪＰＥＧ形式で圧縮されたデータである。

末尾識別子５０４は、第１視点画像データ５０３の終点を示すマーカ（ｘＦＦＤ９）である。第１視点画像データ５０３の最後尾にこのマーカを設けておくことにより、画像ファイルを、第１視点画像データ５０３からなる画像ファイルと、第２視点画像データからなる画像ファイルとの２つの画像ファイルに分割する際に、ファイルに新たに先頭識別子（ＳＯＩ）や末尾識別子（ＥＯＩ）を付加する必要がない。従って、画像ファイルの分割を容易に行うことができる。

先頭識別子５０５、第２視点画像用ヘッダ部５０６、第２視点画像データおよび末尾識別子５０８は、第２視点画像に関する１つのグループとして、画像ファイル内に格納される。

先頭識別子５０５は、第２視点画像データに関するグループの起点を示すマーカである。このマーカを管理するテーブルをメインヘッダ部５０２に設ける。このテーブルにより、第２視点画像データの検索を容易に行うことができ、また、ファイルを分割する際、分割点を容易に見つけることができる。さらに、マーカを設けておくことにより、画像ファイルを複数の画像ファイルに分割する際に、ファイルに新たにＳＯＩやＥＯＩを付加する必要がない。従って、ファイルの分割を容易に行うことができる。

第２視点画像用ヘッダ情報５０６は、第２視点画像データの属性情報などを格納する。第２視点画像データはＪＰＥＧ形式で圧縮されたデータである。

末尾識別子５０８は、第２視点画像データに関するグループの終点を示すマーカである。このマーカを管理するテーブルをメインヘッダ部５０２に設ける。これにより、第２視点画像データの検索を容易に行うことができる。また、ファイルを分割する際、分割点を容易に見つけることができる。さらに、マーカを設けておくことにより、画像ファイルを分割する際に、ファイルに新たにＳＯＩやＥＯＩを付加する必要がなく、ファイルの分割を容易に行うことができる。

１．３．１ メインヘッダ部に記載される管理データ
図７は、画像ファイルのメインヘッダ部５０２に格納される管理データの構成例を示す図である。図７に示すように、管理データは例えば、領域分割数６０１、視差情報タイプ６０２、視差情報６０３を含む。管理データは所定の圧縮方法で圧縮されてもよい。

領域分割数６０１は、画像分割部１０３から出力される、画像の分割方法（ここでは、水平方向及び垂直方向の分割数）に関する情報を格納する。図７に示す（Ｈ，Ｖ）のＨ，Ｖはそれぞれ水平方向の分割数、垂直方向の分割数を示す。図７の場合、画像は３行１列に分割して視差情報が取得されていることがわかる。また、領域分割数６０１は１つの情報で表現しているが、水平方向の分割数Ｈと、垂直方向の分割数Ｖの２つの情報を用いて表現してもよい。なお、画像の分割の数を示す情報ではなく、画像の分割方法（例えば、領域の分け方、分割数）が特定できる情報であれば、他の情報を利用することもできる。

視差情報タイプ６０２は、視差解析部１０４で取得される視差情報の種類を示す情報である。視差情報の種類としては例えば以下のタイプを規定する。
タイプ１：視差情報として、分割領域内で求めた視差量の中で、被写体の飛び出し方向（表示画面から視聴者へ向かう第１の方向）の視差量の最大値と、引っ込み方向（第１の方向と逆方向である第２の方向）の視差量の最大値とを用いる。
タイプ２：視差情報として、分割領域内で求めた視差量の平均値を用いる。
タイプ３：視差情報として、分割領域内で求めた視差量の中央値を用いる。
タイプ４：視差情報として、分割領域内で求めた視差量の中でオブジェクトの飛び出し方向の視差量の最大値と、画像領域全体で求められる無限遠方に対応する視差量とを用いる。

図７に示す例では、視差情報タイプ６０２には「１」と記載されているので、タイプ１の視差情報であることがわかる。視差情報タイプ６０２は、あらかじめ規定されたタイプのみが用いられる場合は、省略されてもかまわない。

視差情報６０３は、分割領域毎に実際に取得した視差情報が格納されている。図７の例では、「タイプ１」の視差情報が格納されている。よって、視差情報６０３は、分割領域内で求めた視差量のうち、オブジェクトの飛び出し方向の視差量の最大値Ｄ１と、オブジェクトの引っ込み方向の視差量の最大値Ｄ２の２つの視差量が格納されている。

なお、視差解析部１０４において、ある分割領域で視差情報が算出できない場合、その分割領域の視差情報は、視差情報が算出できなかったことを示す所定の値となる。例えば、事前に画像ファイル生成装置と画像ファイル再生装置との間で、その所定の値を決めておけばよい。また、視差解析部１０４から分割領域毎の信頼度が取得できる場合、その信頼度に応じて視差情報を変更してもよい。例えば、視差解析部１０４は、信頼度が低い領域の視差情報を、視差情報が算出できなかったことを示す所定の値に設定してもよい。

なお、画像が２次元に分割されている場合、視差情報６０３に記載される情報の順序は例えばラスター順と等しい順序となる。

領域分割数６０１は、管理データの読み込み時において、視差情報６０３よりも先に読み込まれるように管理データ内に配置されることが好ましい。これにより、領域分割数６０１を視差情報６０３よりも先に読み出すことができるため、画像ファイルの再生装置は領域分割数６０１に基づいて迅速に処理を開始することが可能となる。

画像ファイルのメインヘッダ部５０２に格納される管理データは、図７に示した情報に限られない。以下、画像ファイルのメインヘッダ部５０２に格納される管理データの他の例を説明する。

管理データは、図７に示した情報以外に、例えば、視差解析部１０４において視差条件を判定する際に想定したディスプレイサイズの情報や視聴距離などの情報、飛び出し最大視差条件、引っ込み最大視差条件、奥行きレンジ条件、及び眼間視差条件などを含んでもよい。また、管理データは、視差解析部１０４から取得される撮影パラメータ（輻輳角、ステレオベース、画角、ズーム等の情報）を含んでもよい。また、管理データは、視差解析部１０４から出力される分割領域毎の信頼度を含んでもよい。

また、管理データは、視差解析部１０４から出力される、分割領域毎の主要被写体が存在するか否かを示す判定結果を含んでもよい。例えば、図７Ａに示すように、その判定結果を示す情報（フラグ）６１０を分割領域毎に格納しても良い。または、図７Ｂに示すように、画像全体に対して、主要被写体の位置を示す情報（座標、分割領域を特定する情報、等）６１１を格納しても良い。

管理データは、視差解析部１０４で視差情報を取得する際に基準とした画像（第１視点画像または第２視点画像）を示す情報を含んでもよい。このようにすれば、画像ファイルの再生装置において画像再生時に、当該情報を読出すだけで、ヘッダ部５０２に格納される視差情報を取得する際に基準とした画像を容易に特定することが可能となる。

また、ヘッダ部５０２に、１つの分割領域に含まれる視差情報の数を示す情報を格納してもよい。このようにすれば、画像ファイルの再生装置における画像の再生時において、画像ファイルのヘッダ部５０２を解析するだけで、分割領域毎に記録された視差情報の数を容易に判定することが可能となる。

また、管理データは、分割領域毎に取得した視差情報のビット数（ビット精度）に関する情報を格納してもよい。このようにすれば、画像ファイルの再生装置による画像再生時において、画像ファイルのヘッダ部５０２を解析するだけで、視差情報がどのようなビット精度で記録されているかを判定することができる。

また、管理データに、分割領域毎の代表視差量に関する情報を格納してもよい。このようにすれば、ヘッダ部５０２において、代表視差量に関する情報だけ格納しておけばよいので、ヘッダ部５０２に格納する情報の量を低減することが可能となる。

さらに、管理データに、分割領域毎の代表視差量に関する情報に加えて、立体画像全体に対し、取得した無限遠方における視差量に関する情報を格納してもよい。このようにすれば、ヘッダ部５０２において、画像全体に対して、無限遠方視差情報を１つだけ格納しておけばよいので、例えば、分割領域毎に、飛び出し最大視差量と引っ込み最大視差量を格納するよりも、ヘッダ部５０２に格納する情報の量を低減することが可能となる。

また、管理データに、分割領域毎に、分割領域内の視差量を代表する代表視差量と、分割領域内の視差量の分布を示す情報を格納してもよい。このようにすれば、ヘッダ部５０２に格納する情報の量を低減することが可能となる。また、画像ファイルの再生装置による画像再生時において、分割領域の視差量の分布に基づいて視差調整等の処理を実行することが可能となる。

また、管理データに、視差情報が検出不可であることを示す情報を含む視差情報を格納してもよい。画像ファイルの再生装置による画像再生時において、視差情報が検出不可であることを示す情報を参照することで、特定の分割領域において視差情報が取得できていないことを容易に判断することができる。

また、管理データに、分割領域毎の信頼度を示す情報を格納してもよい。このようにすれば、画像ファイルの再生装置による画像再生時において、視差情報に対応する信頼度に応じて分割領域毎に処理動作（例えば、視差情報の再度の取得）を好適に切り替えることが可能となる。

２．画像ファイル再生装置
上記の画像ファイル生成装置１０が生成した画像ファイルを再生する画像ファイル再生装置を説明する。図８は、画像ファイル再生装置の構成を示す図である。

画像ファイル再生装置２０は、デジタルテレビ、デジタルビデオプレーヤ／デジタルビデオレコーダとデジタルテレビのシステム、デジタルカメラ／デジタルムービーとデジタルテレビのシステムなどである。

画像ファイル再生装置２０は、ファイル読み込み部２０１、ファイル解析部２０２、領域視差情報抽出部２０３、画像再生部２０４、視差調整領域指定部２０５、視差調整部２０６および映像表示部２０７を備える。

ファイル読み込み部２０１は、メモリカード１０９に記録された画像ファイルを読み出し、読み出した画像ファイルをファイル解析部２０２に出力する。

ファイル解析部２０２は、ファイル読み込み部２０１から取得した画像ファイルの解析を行なう。具体的に、ファイル解析部２０２は、画像ファイルのメインヘッダ部５０２が有する管理データに記載される情報を抽出する。より具体的には、領域分割数６０１に記載された情報、視差情報タイプ６０２に記載された情報が抽出される。なお、他の情報が記載されている場合は上記の情報と合わせて抽出を行なう。

ファイル解析部２０２は、各視点の画像データを画像再生部２０４に出力し、抽出した情報を領域視差情報抽出部２０３に出力する。なお、ファイル解析部２０２は、画像ファイルを解析した結果、画像ファイルのヘッダ部から撮影パラメータまたは視差条件を抽出すると、それらを領域視差情報抽出部２０３に出力する。また、ファイル解析部２０２は、画像ファイル生成装置１０の視差解析部１０４において視差条件を判定する際に想定したディスプレイサイズの情報、視聴距離などの情報、飛び出し最大視差条件、引っ込み最大視差条件、奥行きレンジ条件、眼間視差条件などを抽出した場合、それらを視差調整判定部２０３に出力する。

領域視差情報抽出部２０３は、ファイル解析部２０２から受けた視差情報６０３に記載される情報に基づいて、視差情報６０３に記載される情報を格納するための記憶領域（記憶容量）を確保する。なお、ファイル解析部２０２から各分割領域のデータサイズが取得できる場合は、当該分割領域毎のデータサイズと領域分割数６０１に記載される情報とに基づいて視差情報６０３に記載される情報を格納するための記憶領域（記憶容量）を確保する。

領域視差情報抽出部２０３は、記憶領域を確保できた場合、視差情報６０３に記載された情報を読み出す。領域視差情報抽出部２０３は読み出した情報を視差調整部２０６に出力する。また、領域視差情報抽出部２０３はファイル解析部２０２から取得した情報を合わせて視差調整部２０６に出力する。

画像再生部２０４は、各視点の画像データを、復号化などの処理を実施して表示可能な形式に変換して視差調整部２０６に出力する。

視差調整領域指定部２０５は、使用者による、視差調整を行なう領域を指定する操作を受け付ける指示部材である。視差調整領域指定部２０５は、使用者の操作により指示された視差調整を行なう領域を指定する信号を視差調整部２０６に出力する。視差調整領域指定部２０５はタッチパネルや上下左右の方向キーで構成できる。

視差調整部２０６は、領域視差情報抽出部２０３からの情報および視差調整領域指定部２０５からの信号に基づいて、画像再生部２０４から取得する各視点の画像における使用者により指示された領域に対して視差調整を行なう。視差調整部２０５は、視差調整を行なった画像を映像表示部２０６に出力する。視差調整部２０６は、視差調整領域指定部２０５から信号を取得しない場合、視差調整を行なわないように構成されてもよい。

映像表示部２０７は、視差調整部２０６から取得した第１及び第２視点画像を立体映像として表示する。

上記の画像ファイル再生装置２０では、ファイル解析部２０２、視差調整判定部２０３、画像再生部２０４、視差調整部２０５は、マイクロコンピュータやＤＳＰのソフトウェアとして実装してもよい。

なお、視差調整部２０６は、視差調整をして画像を映像表示部２０７に出力する場合、視差調整を行なったことを示す情報を、当該画像と同時に表示させてもよい。また、視差調整を行っても画像が視差条件を満たさない場合、映像表示部２０７に警告を示す情報を表示してもよい。

また、画像ファイルのヘッダ部５０２において、分割領域において主要被写体が含まれることを示す情報を含んでいる場合（図７Ａ、図７Ｂ参照）、視差調整部２０６は、主要被写体領域の位置に基づき視差調整すべき分割領域を特定し、その特定した分割領域に対して視差調整を実施するようにしてもよい。

また、画像ファイルのヘッダ部５０２において、撮影パラメータとしてのステレオベースの情報が含まれている場合、視差調整部２０６は、ステレオベース情報と分割領域毎の視差情報を用いて、分割領域毎に被写体の距離を算出してもよい。この様に算出された情報を参照することにより、画像再生時において、被写体の距離に応じた種々の画像処理が可能となる。

３．まとめ
３．１ 画像ファイル生成装置
本実施形態における画像ファイル生成装置１０は、立体視を可能とする立体画像のデータを取得する第１及び第２視点画像取得部１０１、１０２と、立体画像の全領域を複数の領域に分割した分割領域毎に、視差情報を取得する視差解析部１０４と、第１及び第２視点画像取得部１０１、１０２が取得した立体画像のデータを格納するデータ部５０３、５０７と、データ部に格納される立体画像のデータに関する管理データを格納するヘッダ部５０２、５０６とを有する画像ファイルを生成するファイル生成部１０７とを備える。ファイル生成部１０７は、画像ファイルのヘッダ部５０２に、分割領域毎の視差情報（６０３）及び分割領域の分割方法に関する情報（６０１）を格納する。

画像ファイル生成装置１０により上記のようにして画像ファイルが生成されることで、画像ファイルの再生装置において、画像の分割領域毎に視差情報を取得することができるため、画像の領域において部分的に視差調整を実行することができる。

また、ファイル生成部１０７は、画像ファイルのヘッダ部５０２において、分割方法に関する情報６０１を視差情報６０３よりも時間的に前に読み出される位置に配置する。このようにすれば、分割方法に関する情報６０１を視差情報６０３よりも先に読み出すことができるため、画像ファイルの再生装置は当該分割方法に関する情報６０１に基づいて迅速に処理を開始することが可能となる。

また、ヘッダ部５０２は、視差情報を取得する際に基準とした画像（第１視点画像または第２視点画像）を示す情報を含んでもよい。このようにすれば、画像ファイルの再生装置において画像再生時に、当該情報を読出すだけで、ヘッダ部５０２に格納される視差情報を取得する際に基準とした画像を容易に特定することが可能となる。

また、視差解析部１０１４は、分割領域毎に、表示画面から視聴者へ向かう第１の方向（飛び出し方向）における視差量の最大値に関する情報と、第１の方向と逆方向である第２の方向（引き込み方向）における視差量の最大値に関する情報とを取得してもよい。このようにすれば、画像ファイルの再生装置における再生時において、画像ファイルのヘッダ部５０２を解析するだけで、分割領域毎に立体視の視認容易性を容易に判定することが可能となる。

また、ファイル生成部１０７は、ヘッダ部５０２に、１つの分割領域に含まれる視差情報の数を示す情報を格納してもよい。このようにすれば、画像ファイルの再生装置における画像の再生時において、画像ファイルのヘッダ部５０２を解析するだけで、分割領域毎に記録された視差情報の数を容易に判定することが可能となる。

また、ファイル生成部１０７は、画像ファイルのヘッダ部５０２に、分割領域毎に取得した視差情報のビット数に関する情報を格納してもよい。このようにすれば、画像ファイルの再生装置による画像再生時において、画像ファイルのヘッダ部５０２を解析するだけで、視差情報がどのようなビット精度で記録されているかを判定することができる。

また、視差解析部１０４は、各分割領域内の視差量を代表する代表視差量に関する情報を視差情報として取得し、ファイル生成部１０７は、画像ファイルのヘッダ部５０２に、分割領域毎の代表視差量に関する情報を格納してもよい。このようにすれば、ヘッダ部５０２において、代表視差量に関する情報だけ格納しておけばよいので、ヘッダ部５０２に格納する情報の量を低減することが可能となる。

さらに、視差解析部１０４は、立体画像内の無限遠方における視差量に関する情報を視差情報として取得し、ファイル生成部１０７は、ヘッダ部５０２に、前記分割領域毎の代表視差量に関する情報に加えて、立体画像全体に対し、取得した無限遠方における視差量に関する情報を格納してもよい。このようにすれば、ヘッダ部５０２において、画像全体に対して、無限遠方視差情報を１つだけ格納しておけばよいので、例えば、分割領域毎に、飛び出し最大視差量と引っ込み最大視差量を格納するよりも、ヘッダ部５０２に格納する情報の量を低減することが可能となる。

また、視差解析部１０４は、分割領域毎に、分割領域内の視差量を代表する代表視差量と、分割領域内の視差量の分布を示す情報とを含む視差情報を取得してもよい。このようにすれば、ヘッダ部５０２に格納する情報の量を低減することが可能となる。また、画像ファイルの再生装置による画像再生時において、分割領域の視差量の分布に基づいて視差調整等の処理を実行することが可能となる。

また、視差解析部１０４は、視差情報が取得できない分割領域について、視差情報が検出不可であることを示す情報を含む視差情報を出力してもよい。これにより、画像ファイルの再生装置による画像再生時において、視差情報が検出不可であることを示す情報を参照することで、特定の分割領域において視差情報が取得できていないことを容易に判断することができる。

また、視差解析部１０４は、取得した視差情報の信頼度を分割領域毎に算出し、ファイル生成部１０７は、ヘッダ部５０２にさらに、分割領域毎の信頼度を示す情報を格納してもよい。このようにすれば、画像ファイルの再生装置による画像再生時において、視差情報に対応する信頼度に応じて分割領域毎に処理動作（例えば、視差情報の再度の取得）を好適に切り替えることが可能となる。

また、ファイル生成部１０７は、ヘッダ部５０２に、視差解析部１０４が取得した視差情報を格納するか、または、取得した視差情報に代えて、視差情報が検出できなかったことを示す情報を格納するかを、信頼度に基づいて切り替えてもよい。このようにすれば、画像ファイル内のヘッダ部５０２に視差情報を格納する際、特定の視差情報に対応する信頼度に応じて、分割領域毎に、格納する視差情報を変更することができる。

また、視差解析部１０４は、分割領域内に主要被写体が存在するか否かを判定してもよい。ファイル生成部１０７は、視差解析部１０４による判定結果を示す情報をヘッダ部５０２に格納してもよい。このようにすれば、画像ファイルの再生装置による画像再生時において、画像ファイルのヘッダ部５０２を解析するだけで、所定の領域に主要被写体が存在するか判別することができるので、例えば視差調整の要否を簡単に判断することができる。

また、ヘッダ部５０２に含まれる視差情報は情報量が圧縮された情報でもよい。このようにすれば、ヘッダ部のデータ量を低減できる。

また、ヘッダ部５０２にさらに２つの光学系間の距離を示すステレオベース情報を格納してもよい。画像ファイルの再生装置は、ヘッダ部５０２から読み出したステレオベース情報と視差情報に基づいて、分割領域毎に被写体の距離を算出することができる。

３．２ 画像ファイル再生装置
本実施形態の画像ファイル再生装置２０は、立体視を可能とする立体画像データの再生が可能な画像再生装置であって、立体視を可能とする立体画像データを含む画像ファイルを格納するメモリカード１０９から画像ファイルを読み出すファイル読み出し部２０１と、画像ファイルを解析するファイル解析部２０２と、立体画像が表示される表示画面に垂直な方向におけるオブジェクトの表示位置を規定する視差情報を格納する記憶部２０３と、を含む。

画像ファイルは、立体画像データを格納するデータ部５０３、５０７と、データ部に格納される立体画像データに関する管理データを格納するヘッダ部５０２、５０６とを含む。画像ファイルのヘッダ部５０２は、立体画像の全領域を複数の領域に分割した分割領域毎の視差情報６０３と、分割領域の分割方法に関する情報６０１とを格納する。ファイル解析部２０２は、ヘッダ部５０２から、分割方法に関する情報６０１と、分割領域毎の視差情報６０３とを読み出し、読み出した分割方法に関する情報に基づき確保された記憶部の記憶領域に、読み出した視差情報を記憶する。

上記構成により、分割領域毎の視差情報を用いて、画像の部分的な領域毎の視差調整が可能となる。さらに、分割方法に関する情報（例えば、分割領域の数）に基づき視差情報を記憶する領域を確保することができるため、視差情報を読み出した際のオーバーフローを回避することが可能となる。

また、ヘッダ部５０２はさらに、１つの分割領域に含まれる視差情報の数に関する情報を含んでもよい。ファイル解析部２０２は、ヘッダ部５０２から、分割方法に関する情報および視差情報の数に関する情報を読み出し、取得したそれらの情報に基づき確保した記憶部の記憶領域に、読み出した視差情報を記憶する。このようにすれば、ヘッダ部５０２から、視差に関連する情報の記憶に必要な容量を判断するために必要な情報を取得することが可能となる。

また、画像ファイル再生装置２０は、視差情報に基づき、分割領域毎に視差調整を行なう視差調整部２０６をさらに備えてもよい。これにより、画像の部分的な領域毎の視差調整が可能となる。

ヘッダ部５０２は、分割領域毎に、当該分割領域における視差情報、及び、当該分割領域において視差情報が検出できない旨を示す情報のうちのいずれか一方を格納してもよい。視差調整部２０６は、視差情報が検出できない旨を示す情報を有する分割領域を視差調整の対象外としてもよい。このようにすれば、画像ファイル再生装置２０において、画像ファイルのヘッダ部５０２を解析するだけで、視差情報が検出できていない領域を特定することができ、視差情報が検出できていない領域のみ、視差情報を解析したり、視差情報が検出できていない領域のみ、視差解析を実施したりすることが可能となる。

また、ヘッダ部５０２はさらに、分割領域に対する視差情報の信頼度を示す情報を格納してもよい。視差調整部２０６は、信頼度を示す情報に基づいて、分割領域の視差調整を実行するか否かを切り替えてもよい。このようにすれば、画像ファイル再生装置２０において、ヘッダ部５０２を解析するだけで、視差情報の信頼度の高／低を特定することができ、信頼度が低い領域のみ、視差情報を高精度な視差解析方法で解析したり、信頼度が高い領域のみ、視差調整を実施したりすることが可能となる。

また、ヘッダ部５０２は、分割領域内に主要被写体が存在するか否かを示す被写体情報を格納してもよい。このとき、視差調整部２０６は、被写体情報に基づいて、分割領域の視差調整を実行するか否かを切り替えてもよい。このようにすれば、ヘッダ部を解析するだけで、主要被写体が含まれる領域の視差情報に基づいて視差調整を実施することが可能となる。

ヘッダ部５０２はさらに２つの光学系間の距離を示すステレオベース情報を格納してもよい。視差調整部２０６は、ステレオベース情報と視差情報に基づいて、分割領域における被写体の距離を求めてもよい。この構成により、画像ファイル再生装置において、分割領域毎に、被写体の距離を求めることができる。

本発明は、立体映像を生成可能なデジタルカメラ、デジタルムービーのような立体画像データの生成装置、またはデジタルテレビ、デジタルビデオプレーヤ／デジタルビデオレコーダのような立体画像データの再生装置に適用可能である。

１０１ 第１視点画像取得部
１０２ 第２視点画像取得部
１０３ 画像分割部
１０４ 視差解析部
１０５ 撮影制御部
１０６ 映像処理部
１０７ ファイル生成部
１０８ ファイル記録部
１０９ メモリカード
２０１ ファイル読み込み部
２０２ ファイル解析部
２０３ 領域視差情報抽出部
２０４ 画像再生部
２０５ 視差調整領域指定部
２０６ 視差調整部
２０７ 映像表示部
５０１、５０５ 先頭識別子
５０２ メインヘッダ部
５０３ 第１視点画像データ
５０４、５０８ 末尾識別子
５０６ 第２視点画象用ヘッダ部
５０７ 第２視点画像データ
６０１ 領域分割数
６０２ 視差情報タイプ
６０３ 視差情報

Claims (24)

1. 立体視を可能とする立体画像のデータを取得する画像取得部と、
   前記立体画像の全領域を複数の領域に分割した分割領域毎に視差情報を取得する視差情報取得部と、
   前記画像取得部が取得した立体画像のデータを格納するデータ部と、前記データ部に格納される立体画像のデータに関する管理データを格納するヘッダ部とを有する画像ファイルを生成するファイル生成部と、を備え、
   前記ファイル生成部は、前記ヘッダ部に、前記分割領域毎の視差情報及び前記分割領域の分割方法に関する情報を格納する、
   画像ファイル生成装置。
2. 前記ファイル生成部は、前記ヘッダ部において、前記分割方法に関する情報を、前記視差情報よりも時間的に先に読み出される位置に配置する、
   請求項１に記載の画像ファイル生成装置。
3. 前記立体画像は、異なる視点位置で撮像された複数の画像で構成され、
   前記ファイル生成部は、前記ヘッダ部に、前記複数の画像の中の、前記視差情報を取得する際に基準とした画像を示す情報を格納する、請求項１または請求項２に記載の画像ファイル生成装置。
4. 前記視差情報取得部は、前記分割領域毎に、前記表示画面から視聴者へ向かう第１の方向における視差量の最大値に関する情報と、前記第１の方向と逆方向である第２の方向における視差量の最大値に関する情報とを取得する、請求項１または請求項２に記載の画像ファイル生成装置。
5. 前記ファイル生成部は、前記ヘッダ部に、１つの分割領域に含まれる視差情報の数を示す情報を格納する、請求項１または請求項２に記載の画像ファイル生成装置。
6. 前記ファイル生成部は、前記ヘッダ部に、前記分割領域毎に取得した視差情報のビット数に関する情報を格納する、請求項１または請求項２に記載の画像ファイル生成装置。
7. 前記視差情報取得部は、各分割領域内の視差量を代表する代表視差量に関する情報を視差情報として取得し、
   前記ファイル生成部は、前記ヘッダ部に、前記分割領域毎の前記代表視差量に関する情報を格納する、請求項１または請求項２に記載の画像ファイル生成装置。
8. 前記視差情報取得部はさらに、立体画像内の無限遠方における視差量に関する情報を視差情報として取得し、
   前記ファイル生成部は、前記ヘッダ部に、前記分割領域毎の代表視差量に関する情報に加えて、立体画像全体に対し、前記取得した無限遠方における視差量に関する情報を格納する、請求項７に記載の画像ファイル生成装置。
9. 前記視差情報取得部は、前記分割領域毎に、当該分割領域内の視差量を代表する代表視差量と、当該分割領域内の視差量の分布を示す情報とを含む視差情報を取得する、請求項１または請求項２に記載の画像ファイル生成装置。
10. 前記視差情報取得部は、視差情報が取得できない分割領域について、視差情報が検出不可であることを示す情報を含む視差情報を出力する、請求項１または請求項２に記載の画像ファイル生成装置。
11. 前記視差情報取得部が取得した視差情報の信頼度を前記分割領域毎に算出する信頼度算出部をさらに備え、
    前記ファイル生成部は、前記ヘッダ部にさらに、前記分割領域毎の信頼度を示す情報を格納する、
    請求項１に記載の画像ファイル生成装置。
12. 前記ファイル生成部は、前記ヘッダ部に、前記視差情報取得部が取得した視差情報を格納するか、または、前記取得した視差情報に代えて、前記視差情報が検出できなかったことを示す情報を格納するかを、前記信頼度に基づいて切り替える、請求項１１に記載の画像ファイル生成装置。
13. 前記分割領域内に主要被写体が存在するか否かを判定する判定部をさらに備え、
    前記ファイル生成部は、前記判定部による判定結果を示す情報を前記ヘッダ部に格納する、
    請求項１または請求項２に記載の画像ファイル生成装置。
14. 前記立体画像は異なる視点位置に配置された２つの光学系で撮像された２つの画像で構成され、
    前記ヘッダ部にさらに前記２つの光学系間の距離を示すステレオベース情報を格納する、請求項１または請求項２に記載の画像ファイル生成装置。
15. 前記ヘッダ部にさらに、前記ヘッダ部に格納される視差情報の種類を示す情報を格納する、請求項１または請求項２に記載の画像ファイル生成装置。
16. 前記視差情報は、情報量が圧縮された形式で前記ヘッダ部に格納される、請求項１または請求項２に記載の画像ファイル生成装置。
17. 立体視を可能とする立体画像データの再生が可能な画像ファイル再生装置であって、
    立体視を可能とする立体画像データを含む画像ファイルを格納する記録媒体から画像ファイルを読み出すファイル読み出し部と、
    前記画像ファイルを解析する解析部と、
    立体画像が表示される表示画面に垂直な方向におけるオブジェクトの表示位置を規定する視差情報を格納する記憶部と、を備え、
    前記画像ファイルは、立体画像データを格納するデータ部と、前記データ部に格納される立体画像データに関する管理データを格納するヘッダ部とを有し、
    前記画像ファイルのヘッダ部は、前記立体画像の全領域を複数の領域に分割した分割領域毎の視差情報と、前記分割領域の分割方法に関する情報とを格納し、
    前記解析部は、前記ヘッダ部から、前記分割方法に関する情報と、分割領域毎の視差情報とを読み出し、前記読み出した分割方法に関する情報に基づき確保された前記記憶部の記憶領域に、前記読み出した視差情報を記憶する、
    画像ファイル再生装置。
18. 前記ヘッダ部はさらに、前記１つの分割領域に含まれる視差情報の数に関する情報を含み、
    前記解析部は、前記ヘッダ部から、前記分割方法に関する情報および前記視差情報の数に関する情報を読み出し、取得したそれらの情報に基づき確保した前記記憶部の記憶領域に、前記読み出した視差情報を記憶する、
    請求項１７に記載の画像ファイル再生装置。
19. 前記視差情報に基づき、前記分割領域毎に視差調整を行なう視差調整部をさらに備えた、請求項１７に記載の画像ファイル再生装置。
20. 前記ヘッダ部は、分割領域毎に、当該分割領域における視差情報、及び、当該分割領域において視差情報が検出できない旨を示す情報のうちのいずれか一方を格納し、
    前記視差調整部は、視差情報が検出できない旨を示す情報を有する分割領域を視差調整の対象外とする、
    請求項１９に記載の画像ファイル再生装置。
21. 前記ヘッダ部はさらに、前記分割領域に対する視差情報の信頼度を示す情報を格納し、
    前記視差調整部は、前記信頼度を示す情報に基づいて、前記分割領域の視差調整を実行するか否かを切り替える、
    請求項１９に記載の画像ファイル再生装置。
22. 前記ヘッダ部はさらに、前記分割領域内に主要被写体が存在するか否かを示す被写体情報を格納し、
    前記視差調整部は、前記被写体情報に基づいて、前記分割領域の視差調整を実行するか否かを切り替える、
    請求項１９に記載の画像ファイル再生装置。
23. 前記立体画像は、異なる視点に配置された２つの光学系で撮影された２つの画像で構成され、
    前記ヘッダ部はさらに前記２つの光学系間の距離を示すステレオベース情報を格納し、
    前記視差調整部は、前記ステレオベース情報と前記視差情報に基づいて、前記分割領域における被写体の距離を求める、
    請求項１７に記載の画像ファイル再生装置。
24. 立体視を可能とする立体画像のデータを取得し、
    前記立体画像の全領域を複数の領域に分割した分割領域毎に、立体画像が表示される表示画面に垂直な方向におけるオブジェクトの表示位置を規定する視差情報を取得し、
    前記取得した立体画像のデータを格納するデータ部と、前記データ部に格納される立体画像のデータに関する管理データを格納するヘッダ部とを有する画像ファイルを生成し、
    前記ヘッダ部に、前記分割領域毎の視差情報及び前記分割領域の分割方法に関する情報を格納する、
    画像ファイルの生成方法。

Images