JP2005094168A - ファイル構造及びそれを用いる画像記録装置並びに画像再生装置 - Google Patents

Abstract

【課題】 ２Ｄと３Ｄが混在する画像データを所定の時間単位での視聴及び管理が可能とする。
【解決手段】 全てのフレームの識別情報を、それぞれのフレームに付加情報として記録するものである。すなわち、このファイル６０は、ファイルヘッダ６１、２Ｄあるいは３Ｄの各画像データ６２からなり、画像データ６２は識別情報６３とフレームデータ６４から構成される。このようにして、２Ｄと３Ｄを識別する識別情報を、２Ｄと３Ｄが混在する画像データとともに、一つまたは関連する複数のファイルにまとめて記録する。
【選択図】 図４

Description

本発明は、２次元画像と３次元画像を記録するファイル構造及びそれを用いる画像記録装置並びに画像再生装置に関するものである。

従来、３次元画像を表示する様々な方法が提案されてきた。その中でも一般的に用いられているのは両眼視差を利用する「２眼式」と呼ばれるものである。すなわち、両眼視差を持った左眼用画像と右眼用画像を用意し、それぞれ独立に左右の眼に投影することにより立体視を行うことができる。
２眼式の代表的な方式としてフィールドシーケンシャル方式やパララクスバリア方式が提案されている。

図２２は、フィールドシーケンシャル方式を説明するための概念図である。このフィールドシーケンシャル方式は、図２２のように、左眼用画像と右眼用画像が垂直方向１画素おきに交互にならんだ形に配置され、左眼用画像の表示と右眼用画像の表示が交互に切り換えて表示されるものである。左眼用画像および右眼用画像は通常の２次元表示時に比べて垂直解像度が１／２になっている。観察者はディスプレイの切り替え周期に同期して開閉するシャッタ式のメガネを着用する。ここで使用するシャッタは、左眼用画像が表示されている時は左眼側が開いて右眼側が閉じ、右眼用画像が表示されている時は左眼側が閉じて右眼側が開く。こうすることで、左眼用画像は左眼だけで、右眼用画像は右眼だけで観察されることになり、立体視を行うことができる。

図２３は、パララクスバリア方式を説明するための概念図である。図２３（Ａ）は、視差が生じる原理を示す図である。一方、図２３（Ｂ）は、パララクスバリア方式で表示される画面を示す図である。

図２３（Ａ）では、図２３（Ｂ）に示すような左眼用画像と右眼用画像が水平方向１画素おきに交互にならんだ形に配置された画像を、画像表示パネル２０１に表示し、同一視点の画素の間隔よりも狭い間隔でスリットを持つパララクスバリア２０２を画像表示パネル２０１の前面に置くことにより、左眼用画像は左眼２０３だけで、右眼用画像は右眼２０４だけで観察することになり、立体視を行うことができる。

以上のような立体視を行うために、表示する左眼用画像や右眼用画像をデジタルカメラなどでそれぞれ撮影するが、この場合２つのファイルが作成される。これらのファイルを汎用の記録再生装置や伝送装置で取り扱った場合には、これらの画像が立体視を行うための左眼用画像と右眼用画像を構成する２つのペアの画像であることを認識することができず、全て独立の画像として取り扱われることになり、誤って左眼用画像や右眼用画像のうちのどちらか１コマだけ消去したり、伝送したりされる不具合を生じる問題があった。

このような問題を解決するために、特許文献１では、１つの画像内に左右の視点の画像を含んだステレオ画像データに、該ステレオ画像に関する画像以外の情報であるステレオデータを付加して、１つの画像取り扱い単位（ファイル）として構成した画像を取り扱う画像装置に関する技術が開示されている。
特開２００２−７７９４３号公報

しかしながら、特許文献１では、１つの画像取り扱い単位（ファイル）に対してステレオデータを付加するような構成であるため、動画ファイルに適応した場合、２Ｄ画像と３Ｄ画像のシーンが混在する動画ファイルでは取り扱うことが出来ないという問題があった。

ここで、２Ｄとは２次元、３Ｄとは３次元を指し、２Ｄ画像とは、従来の、１つ視点の画像のみにより構成される画像である。これに対し、３Ｄ画像とは、視差のある複数の画像の組により構成される画像である。図２４に３Ｄ画像の一例を示す。この例の３Ｄ画像２１２は、左眼用画像２１０と右眼用画像２１１の２つの視点に対応する画像を、水平方向に２分の１に間引きした後、横並びに配置した３Ｄ画像である。

また、このような混在ファイルは３Ｄ画像が表示できない従来端末では再生できない、もしくは、図２４のような水平方向に２分の１に間引きされて、横並びに配置された左眼用画像２１０と右眼用画像２１１がそのまま表示されてしまうという問題があった。

本発明は、以上のような問題点を解決するためになされたものであって、その目的は、２Ｄシーンのみの、もしくは３Ｄシーンのみの、もしくは２Ｄと３Ｄのシーンが混在する画像データをそれぞれ入力とし、少なくとも１つ以上の２Ｄシーンや３Ｄシーンの動画を、そのままもしくは圧縮や変換をして記録を行い、所定の時間単位での視聴及び管理が可能な２Ｄ／３Ｄ識別情報の自動生成を行う画像記録装置と、該識別情報に従って、少なくとも１つ以上の２Ｄシーンや３Ｄシーンの動画の再生を行うファイル構造及びそれを用いる画像記録装置並びに画像再生装置を提供することにある。

本発明は、２次元画像及び３次元画像が混在する画像データを記録するためのファイル構造において、２次元画像と３次元画像を識別可能な識別情報を備えたことを特徴とする。

また、本発明は、前記ファイル構造において、前記識別情報を全てのフレームデータに備えたことを特徴とする。

また、本発明は、前記ファイル構造において、前記識別情報は、２次元から３次元または３次元から２次元の画像に変化するフレーム位置の情報を備えたことを特徴とする。

また、本発明は、前記ファイル構造において、前記識別情報を任意の指定フレームに備えたことを特徴とする。

また、本発明は、前記ファイル構造において、前記識別情報をランダムなフレームに備えたことを特徴とする。

また、本発明は、前記ファイル構造において、前記識別情報をファイルの先頭にまとめて記録することを特徴とする。

また、本発明は、前記ファイル構造において、前記識別情報をフレームデータの付加情報として備えたことを特徴とする。

また、本発明は、前記ファイル構造において、前記識別情報を画像データとは別のストリームにして備えたことを特徴とする。

また、本発明は、前記ファイル構造において、前記識別情報を画像データとは別のファイルに備えたことを特徴とする。

また、本発明は、前記ファイル構造において、前記識別情報は３Ｄ指定情報であることを特徴とする。

また、本発明は、前記ファイル構造において、前記識別情報が３Ｄ制御情報であることを特徴とする。

また、本発明は、２次元画像及び３次元画像が混在する画像データを記録する画像記録装置において、入力データから画像データと制御データを分離する分離手段と、２次元画像と３次元画像を識別可能な識別情報を生成する識別情報生成手段と、前記識別情報を備えた前記ファイル構造を有するファイルを作成するファイル作成手段と、を備えたことを特徴とする。

また、本発明は、前記画像記録装置が出力したファイルの識別情報に従って画像データを再生することを特徴とする画像再生装置である。

本発明によれば、識別情報を付加されたファイルであるので、２Ｄ、３Ｄ動画の混在したファイルを作成が可能であり、このファイルに従って再生も可能となる。また、１フレームまたはキーフレームごとにフレームの付加情報として２Ｄ、３Ｄ識別情報を持たせた場合、編集が容易になる。また、２Ｄ／３Ｄの変化位置のフレームに識別情報を持たせた場合、付加データ量が少なくてすむ。さらに、ヘッダに識別情報を持たせた場合、シークが容易になる。

＜第１実施形態＞
本発明における第１の実施形態である画像記録装置について図面を参照して説明する。

以下、識別情報とは、その画像が２Ｄであるか、３Ｄであるかを識別する情報とする。この情報は、例えば、フレームの時刻＋２Ｄ識別子、フレームの時刻＋３Ｄ識別子であってもよいし、フレーム番号＋２Ｄ識別子、フレーム番号＋３Ｄ識別子であってもよい。また、識別情報データは、識別情報データであることを示す識別情報データの識別子と、識別情報データの中身から構成されてもよい。また、識別情報データは、３Ｄ指定情報（２Ｄでは付加情報無し、３Ｄ時に情報を付加）でも良いし、３Ｄ制御情報（３Ｄコンテンツの属性情報。例えば３Ｄコンテンツの格納方法や３Ｄ表示に用いるパラメータなどが含まれる）でも良い。また、識別情報データが３Ｄ制御情報ではない場合でも、３Ｄを示す識別子のほかに、３Ｄ制御情報を併記しても良い。

図１は本発明の第１の実施形態による画像記録装置の構成例を示すブロック図である。図１において、画像記録装置１は、分離手段２、付加情報生成手段３、識別情報生成手段４、多重化手段５から構成される。図１では、音声データを明記しないが、音声データが存在する場合は、画像データに含まれる。

分離手段２は、ヘッダなどの制御用データや、画像データ、音声データなどの複数種類のデータを所定の方式により多重化した多重化データをそれぞれの構成要素のデータに分離する。多重化の方式としては、ＭＰＥＧ−２システム規格で定められたトランスポートストリーム（以下、ＴＳと称す）や、ＡＶＩフォーマット、ＡＳＦフォーマットなどが知られている。また画像や音声データには、符号化されたデータも含む。例えば、画像データでは、ＭＰＥＧ（Moving Picture Experts Group）−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＡＶＣ、音声データでは、ＡＡＣ（Advanced Audio Coding）、ＭＰ３（Mpeg audio layer3）、ＷＭＡ（Windows（Ｒ） Media Audio）などを含んでいる。なお、分離手段２を用いずに、画像の２Ｄデータや３Ｄデータ、音声データ、制御用データを別々に入力するようにしてもよい。

付加情報生成手段３は、制御用データから、画像データや音声データなどが適切に再生できるために必要なデータを抽出し、付加情報データとして多重化手段５に入力する。ここで、付加情報データとは、動画ファイルに必要なヘッダ情報や３Ｄ制御情報（３Ｄ画像特有の情報）である。また、３Ｄ制御情報には、例えば１枚の画像に含まれる視点の数に関する情報、図２２や図２４で示されるような、複数の視点を一枚の画像に合成する方法（３Ｄ画像のフォーマット形式）に関する情報、３Ｄ画像データを識別するための情報、撮影条件、３Ｄ画像データの飛び出し具合の強さを示す立体強度に関する情報、３Ｄ表示する時間を制限するためのしきい値情報などに関する情報などが含まれる。

識別情報生成手段４は、分離手段２から入力された制御用データを元に、識別情報データを生成する。入力された制御用データが、２Ｄのものであった場合、２Ｄの識別情報データを生成し、３Ｄのものであった場合は３Ｄの識別情報データを生成し、多重化手段５に伝送する。

この時、識別情報生成手段４が生成する識別情報データは、全てのフレームに生成しても良いし、ランダムなフレームに生成しても良いし、２Ｄと３Ｄが切り替わるフレームのみに生成しても良いし、キーフレーム（任意の指定フレーム、Ｉフレーム（ＧＯＰ単位）など）ごとに生成しても良い。

ここで、ＧＯＰについて簡単に説明する。ＧＯＰ（Group of Picture）とは、動画圧縮方式であるＭＰＥＧの、圧縮・伸張が行われる固まり単位を言う。また、ＭＰＥＧは、空間型圧縮と、時間型圧縮双方を利用した非可逆圧縮である。
ＧＯＰは、Ｉフレーム、Ｐフレーム、Ｂフレームから構成されている。ただし、Ｐ、Ｂフレームは無いこともある。

Ｉフレーム（Intra Picture）とは、基準になるフレームであり、このフレームについては、空間型圧縮のみを行う。これは、８×８ピクセルを単位としたＤＣＴ（離散コサイン変換）がベースになっている。Ｉフレームでは、フレーム内圧縮のみしか行わないため、このフレームにおいては、圧縮率は低い（データ量が多い）。

Ｐフレーム（Predictive Picture）は、フレーム内圧縮の他に、時間軸順方向のみの予測を取り入れ、Ｉフレームとの差異を元にした時間型（フレーム間）圧縮をしている。結果として、フレーム内情報とその前のＩフレーム ａｎｄ／ｏｒ Ｐフレームの情報から復元される。これにより、Ｉフレームに比べるとＰフレームでは圧縮率は高くなる（データ量は削減される）。

Ｂフレーム（Bidirectional Predictive Picture）は、フレーム内圧縮の他に、前後フレームとの差異を利用した双方向予測的圧縮をする。したがって、Ｂフレームは、さらにＰフレームよりも圧縮率が高くなる。

多重化手段５は、分離手段２から入力された画像及び音声のデータと、識別情報生成手段４を通じて入力された識別情報データと、付加情報生成手段３から入力された付加情報データをそれぞれ多重化して、ファイルを出力する。多重化の方式は、分離手段で述べたのと同様に、ＴＳや、ＡＶＩフォーマット、ＡＳＦフォーマットなどが含まれるが、これらに限定されないものとする。

また、多重化手段５の識別情報の多重化のしかたとしては、ファイルの先頭（ヘッダ）などにまとめて記録しても良いし、画像データ（フレーム）の付加情報として記録しても良いし、フレームのヘッダに含んでも良いし、画像データとは別のストリームにして記録しても良い。また、識別情報は３Ｄ制御情報に含めても良い。また、３Ｄ制御情報を識別情報に含めても良い。

多重化手段５の内部の構造を図２に示す。画像データ、付加情報データ、識別情報データは多重化手段５の中のスイッチ１１の各接点に入力される。スイッチ１１は、出力したいフォーマットに従って、順に各データの接点１１ａ，１１ｂ，１１ｃと出力端子１１ｄとを接続し、ファイル作成手段１２においてファイルを構成する。
なお、識別情報生成手段４が、上記のどの方法で識別情報を生成しても、多重化手段５による、全ての多重化のしかたが適応できる。

以下に、図３に示したような放送を入力としたときに、この記録装置が出力するファイルのフォーマット例を示す。すなわち、この放送は、図３に示すように、２Ｄシーンと３Ｄシーンが混在するものであり、２Ｄ、３Ｄ、２Ｄの順に各シーンが送られてくるものとする。

〔第１のフォーマット〕
第１のフォーマットは、図４に示すように、全てのフレームの識別情報を、それぞれのフレームに付加情報として記録するものである。すなわち、このファイル６０は、ファイルヘッダ６１、２Ｄあるいは３Ｄの各画像データ６２からなり、画像データ６２は識別情報６３とフレームデータ６４から構成される。
ここで、図１の付加情報生成手段３が出力する付加情報データは、ファイルヘッダ６１または各フレームデータ６４に付加される。

この時の識別情報生成手段４の動作フローについて説明する。
図５は、全てのフレームに識別情報を持たせる場合の識別情報生成手段４内部の判定フローを示すフローチャートである。

分離手段２により入力データから分離された制御用データが、識別情報生成手段４に入力される（ステップＳ１）。
判定ステップＳ２において、識別情報生成手段４は、次のフレームの制御用データが入力されたかを判定し、入力されていなければステップＳ３に進み、入力されていればステップＳ４に進む。ステップＳ３では、次のフレームの制御用データがまだ入力されていないので、識別情報生成手段４は識別情報を出力しない。ステップＳ４では、次のフレームの制御用データが入力されたので、識別情報生成手段４は、制御用データに基づいて、そのフレームの識別情報を出力する。

次に、この時の多重化手段５の動作フローについて説明する。
図６は、各フレームの位置に識別情報を記録する場合の、多重化手段５の動作フローを示すフローチャートである。

分離手段２により分離された制御用データが付加情報生成手段３に入力され、付加情報が生成される。これが、多重化手段５のスイッチ１１の接点１１ｂに出力され、接点１１ｂと出力端子１１ｄとが接続され、ファイル作成手段１２に出力される（ステップＳ１１）。ファイル作成手段１２において、ファイルヘッダ６１への書き込みを実行し、ファイルヘッダ６１への書き込みが終了したかを判定する（ステップＳ１２）。

付加情報のファイルヘッダへの書き込みが終了した場合に、識別情報生成手段４が識別情報をスイッチ１１の接点１１ｃに出力する。スイッチ１１は接点１１ｃと出力端子１１ｄとを接続し、識別情報をファイル作成手段１２に出力する（ステップＳ１３）。ファイル作成手段１２において、各フレームごとに識別情報６３を書き込む。そして、フレームへの識別情報の書き込みが終了したかを確認する（ステップＳ１４）。

識別情報書き込みが終了した場合、付加情報生成手段３が３Ｄ情報をスイッチ１１の接点１１ｂに出力する。ただし、例えば現在のフレームが２Ｄであるなどの理由で、そのフレームに３Ｄ情報が存在しない場合は、３Ｄ情報は出力されない。そして、ステップＳ１５において、フレームに３Ｄ情報が有るかを確認し、無い場合はステップＳ１８に進み、有る場合は、接点１１ｂと出力端子１１ｄとを接続し、ファイル作成手段１２に出力する（ステップＳ１６）。そして、フレームへの３Ｄ情報の書き込みが終了したかを確認する（ステップＳ１７）。

３Ｄ情報のフレームへの書き込みが終了した場合に、分離手段２が画像データをスイッチ１１の接点１１ａに出力する。スイッチ１１は接点１１ａと出力端子１１ｄとを接続し、画像データをファイル作成手段１２に出力する（ステップＳ１８）。ファイル作成手段１２において、各フレームごとに画像データをフレームデータ６４部分に書き込む。そして、各フレームの画像データの書き込みが終了したかを確認する（ステップＳ１９）。終了していれば、次のフレームが有るかを確認し（ステップＳ２０）、次のフレームがあればステップＳ１３に戻り、次のフレームがなければ処理を終了する。

このように作成したファイル６０を多重化手段５が出力し、ＤＶＤやハードディスク等の記録媒体に記録を行う。

また、このファイルは各フレームのデータの前に識別情報が記録されており、再生する場合、まずその識別情報を読み取って、次のフレームが２Ｄか３Ｄかを判断し、続くデータを再生する。そのフレームを再生したら、次の識別情報を読み取り、以下順次再生していく。

この例では、フレームヘッダ、フレームデータと異なる、特定の大きさを持った領域を識別情報を書き込む領域として確保し、フレームヘッダ、フレームデータと異なるデータとして記録することを想定して説明したが、この時、フレームヘッダの前、フレームヘッダとフレームデータ間、又はフレームデータの後に記録してもよい。また、フレームヘッダと別のデータではなく、フレームヘッダの一部として格納するようにしても良い。

このファイルフォーマットでは、各フレームを再生するときに、各フレーム毎に、そのフレームに関する情報がまとまって記録されているので、ファイルのヘッダなどの別の場所をシークして読み取ったり、もしくはあらかじめ全フレームの識別情報を読み取ってメモリ上に保存したりなどの手順が必要ない。また、この動画を編集するときに、途中で二つに分けるときなど、各フレームに識別情報が付帯しているため、単純にデータを２つに分ければよい。識別情報と動画データをそれぞれ２つに分割して、その識別情報と動画データをまたそれぞれ１つのファイルに合成するというような手間が無い。

〔第２のフォーマット〕
第２のフォーマットは、図７に示すように、動画の先頭から見ていって、２Ｄ→３Ｄまたは３Ｄ→２Ｄの変化があった部分にのみ、識別情報を持たせ、その動画全体の変化位置を記録した識別情報を全てまとめてファイルのヘッダ部分に記録するものである。すなわち、このファイル７０は、ファイルヘッダ７１と、２Ｄフレームデータ７５，７６，７９と、３Ｄフレームデータ７７，７８とから構成される。ここで、２Ｄ→３Ｄまたは３Ｄ→２Ｄの変化位置、すなわち変化点は、フレームデータ７５（→２Ｄの変化点１）、フレームデータ７７（２Ｄ→３Ｄの変化点２）、フレームデータ７９（３Ｄ→２Ｄの変化点３）である。ファイルヘッダ７１には、その動画全体の変化位置を記録した識別情報（→２Ｄの変化点１の情報）７２、識別情報（２Ｄ→３Ｄの変化点２の情報）７３、識別情報（３Ｄ→２Ｄの変化点３の情報）７４が書き込まれる。

この時の識別情報生成手段４の動作フローについて説明する。
図８は、変化位置のフレームに識別情報を持たせる場合の識別情報生成手段４内部の判定フローを示すフローチャートである。

分離手段２により入力データから分離された制御用データが、識別情報生成手段４に入力される（ステップＳ２１）。
判定ステップＳ２２において、識別情報生成手段４は、画像データが２Ｄから３Ｄに変化しているかを判定し、変化していればステップＳ２５に進み、変化していなければステップＳ２３に進む。ステップＳ２３では、画像データが３Ｄから２Ｄに変化しているかを判定し、変化していればステップＳ２５に進み、変化していなければステップＳ２４に進む。
ステップＳ２４において、２Ｄ／３Ｄの変化点ではないため、識別情報生成手段４は識別情報データは出力しない。ステップＳ２５において、２Ｄ／３Ｄの変化点であるため、識別情報生成手段４は識別情報データを出力する。

次に、この時の多重化手段５の動作フローについて説明する。
図９は、各フレームの位置に識別情報を記録する場合の、多重化手段５の動作フローを示すフローチャートである。

分離手段２により分離された制御用データが付加情報生成手段３に入力され、付加情報が生成される。これが、多重化手段５のスイッチ１１の接点１１ｂに出力され、接点１１ｂと出力端子１１ｄとが接続され、ファイル作成手段１２に出力される（ステップＳ３１）。ファイル作成手段１２においてファイルヘッダ７１への書き込みを実行し、ファイルヘッダ７１への書き込みが終了したかを判定する（ステップＳ３２）。

付加情報のファイルヘッダへの書き込みが終了した場合に、識別情報生成手段４が識別情報をスイッチ１１の接点１１ｃに出力する。スイッチ１１は接点１１ｃと出力端子１１ｄとを接続し、識別情報をファイル作成手段１２に出力する（ステップＳ３３）。ファイル作成手段１２において、各フレームごとに識別情報７２から７４を書き込む。そして、全ての識別情報の書き込みが終了したかを確認する（ステップＳ３４）。

識別情報書き込みが終了した場合、付加情報生成手段３が３Ｄデータをスイッチ１１の接点１１ｂに出力する。ただし、例えば現在のフレームが２Ｄであるなどの理由で、そのフレームに３Ｄ情報が存在しない場合は、３Ｄ情報は出力されない。ステップＳ３５において、フレームに３Ｄ情報が有るかを確認し、無い場合はステップＳ３８に進み、有る場合は、接点１１ｂと出力端子１１ｄとを接続し、ファイル作成手段１２に出力する（ステップＳ３６）。ファイル作成手段１２は、フレームデータに書き込む（図７には図示していない）。そして、フレームへの３Ｄ情報の書き込みが終了したかを確認する（ステップＳ３７）。

３Ｄ情報のフレームへの書き込みが終了した場合に、分離手段２が画像データをスイッチ１１の接点１１ａに出力する。スイッチ１１は接点１１ａと出力端子１１ｄとを接続し、画像データをファイル作成手段１２に出力する（ステップＳ３８）。ファイル作成手段１２において、フレームごとに画像データをフレームデータ７５から７９のいずれかの部分に（順番に）書き込む。そして、そのフレームの画像データの書き込みが終了したかを確認する（ステップＳ３９）。終了していれば、次のフレームが有るかを確認し（ステップＳ４０）、次のフレームがあればステップＳ３５に戻り、次のフレームがなければ処理を終了する。次のフレームがあってステップＳ３５に戻った場合、またの画像データ出力ステップＳ３８に来た場合、書き込むフレームデータは一つ後になる。例えば、初めて出力するときはフレームデータ７５であるし、次はフレームデータ７６である。

このファイルを再生するときには、まずファイルヘッダ７１の内容を全て読み取り、メモリ上に保存する。そして、そのヘッダ７１に記述された識別情報に従い、２Ｄと３Ｄの変化位置で、２Ｄと３Ｄの再生を切り換えるようにする。また、途中から再生する場合などには、その再生したいフレームの直前の変化位置を探し、そのフレームが２Ｄか３Ｄかを調べて再生を始める。

この例ではファイルヘッダの拡張領域に格納することを想定して説明したが、ファイルヘッダではない特定の大きさを持った領域を確保し、ファイルヘッダ（または画像データ）と異なるデータとして記録してもよい。この場合、ファイルヘッダの前、ファイルヘッダと画像データ間、又は画像データの後に記録してもよい。

このフォーマットのように、識別情報データをまとめる場合、以下の２パターンがある。また、この２パターンは、まとめてヘッダに記録するときだけでなく、画像データと別ストリームに識別情報を記録する場合にも適用できるし、ファイルを別にする場合にも適用できる。

（１）識別情報データだということを示す識別子を毎回入れて、変化点の数ｎ回分だけ繰り返す。（図１０）
（２）識別情報データだということを示す識別子の後に、変化点の数ｎを記録して、その後は変化するフレームの時刻と２Ｄまたは３Ｄ識別子のみをｎ回繰り返す。（図１１）

このファイルフォーマットでは、変化のあった位置のみの識別情報を保存するため、動画データ全体を見た場合の識別情報のデータ量が小さく抑えられる。また、順次再生した場合には、１フレームごとに識別情報を読み込む必要が無いので、結果的にデータを読み込む時間が短縮できる。

〔第３のフォーマット〕
この第３のフォーマットは、図１２に示すように、動画の先頭から見ていって、２Ｄ→３Ｄまたは３Ｄ→２Ｄの変化があった部分にのみ、識別情報を持たせ、その動画全体の変化位置を記録した識別情報を、その動画用ストリームとは別のストリームとして記録し、その動画用ストリームと多重化して１ファイルとするものである。すなわち、画像（動画）データストリーム１００と、これとは別のストリームである動画変化点を記録した識別情報ストリーム１１０とを組み合わせて、識別情報パケット１２２と動画データパケット１２３に、ファイルヘッダ１２１を加えてファイル１２０を構成している。

この時の多重化手段５の動作フローについて説明する。
図１３は動画用ストリームとは別のストリームに識別情報を記録し、その動画用ストリームと識別情報ストリームを多重化して１ファイルとする場合の、多重化手段５の動作フローを示すフローチャートである。

分離手段２により分離された制御用データが付加情報生成手段３に入力され、付加情報が生成される。これが、多重化手段５のスイッチ１１の接点１１ｂに出力され、接点１１ｂと出力端子１１ｄとが接続され、ファイル作成手段１２に出力される（ステップＳ４１）。ファイル作成手段１２においてファイルヘッダ１２１への書き込みを実行し、ファイルヘッダ１２１への書き込みが終了したかを判定する（ステップＳ４２）。

付加情報のファイルヘッダへの書き込みが終了した場合に、識別情報生成手段４が識別情報ストリームをスイッチ１１の接点１１ｃに出力する。スイッチ１１は接点１１ｃと出力端子１１ｄとを接続し、識別情報ストリームをファイル作成手段１２に出力する（ステップＳ４３）。識別情報ストリームが一定量出力されたかを判定して（ステップＳ４４）、一定量出力した場合にステップＳ４５に進む。

ステップＳ４５において、分離手段２が画像データストリームをスイッチ１１の接点１１ａに出力する。スイッチ１１は接点１１ａと出力端子１１ｄとを接続し、画像データストリームをファイル作成手段１２に出力する（ステップＳ４５）。ファイル作成手段１２において、画像データストリームをファイル１２０に書き込む。そして、画像データストリームが一定量出力したかを判定し（ステップＳ４６）、一定量出力した場合に、ストリームデータがまだあるかを判定し（ステップＳ４７）、ストリームがまだある場合、ステップＳ４３に戻り、なければ処理を終了する。

このファイルを再生するときは、識別情報用ストリームをまず読み込み、その識別情報に従って動画用ストリームを読み込みながら、再生していく。このとき、再生位置が、読み込んだ識別情報の最後の変化位置よりも先へ進まないようにしながら、両者を読み込み、再生する。

このファイルフォーマットでは、識別情報が動画と別ストリームになっていることで、識別情報のみを取り出すことが容易である。また、ヘッダ部分にまとめて記録する方式ではないので、全ての識別情報を初めに読み込んで全て保持する必要が無く、使用するメモリ領域が少ない。

＜第２実施形態＞
本発明における第２の実施形態である画像記録装置について図面を参照して説明する。

図１４は本発明の第２の実施形態による画像記録装置の構成例を示すブロック図である。図１４において、画像記録装置２１は、分離手段２２、付加情報生成手段２３、識別情報生成手段２４、多重化手段２５から構成される。

分離手段２２、識別情報生成手段２４は、第１実施形態と同様の機能を有するので、説明は省略する。
付加情報生成手段２３は、第１実施形態の付加情報生成手段３と違って、２つの付加情報データを出力する。片方は、画像データファイル用の付加情報データであり、もう片方は、識別情報ファイル用の付加情報データである。

多重化手段２５は、図１５に示すようにスイッチ３１，３２と、ファイル作成手段３３，３４とから構成されている。スイッチ３１は、接点３１ａ，３１ｂと、出力端子３１ｃからなり、スイッチ３２は、接点３２ａ，３２ｂと、出力端子３２ｃとからなる。スイッチ３１において、接点３１ａには画像データが入力され、接点３１ｂには画像ファイル用付加情報データが入力され、出力端子３１ｃとの接続を切り換える。このデータはファイル作成手段３３に入力され、画像データファイルを作成する。スイッチ３２において、接点３２ａには識別情報データが入力され、接点３２ｂには識別情報ファイル用付加情報データが入力され、出力端子３２ｃとの接続を切り換える。このデータはファイル作成手段３４に入力され、識別情報データファイルを作成する。
この多重化手段２５は、第１実施形態の多重化手段５と違って、２つのファイル（画像データファイル、識別情報ファイル）を出力する。

この時の多重化手段２５の動作フローを図１６と図１９に示す。
分離手段２２により分離された制御用データが付加情報生成手段２３に入力され、付加情報（画像データファイル用付加情報、識別情報ファイル用付加情報）が生成される。これが、多重化手段２５のスイッチ３１，３２の接点３１ｂ，３２ｂに出力され、接点３１ｂ，３２ｂと出力端子３１ｃ，３２ｃとが接続され、ファイル作成手段３３，３４に出力される（ステップＳ５１およびＳ７１）。ファイル作成手段３３，３４においてファイルヘッダへの書き込みを実行し、ファイルヘッダへの書き込みが終了したかを判定する（ステップＳ５２およびＳ７２）。これより後の動作は、画像データファイル（図１６）と識別情報ファイル（図１９）で異なるため、まず画像データファイルの説明をし、続けて識別情報ファイルの説明をする。

（画像データファイル）
ファイルヘッダへの書き込みが終了した場合、付加情報生成手段２３が３Ｄデータをスイッチ３１の接点３１ｂに出力する。ただし、例えば現在のフレームが２Ｄであるなどの理由で、そのフレームに３Ｄ情報が存在しない場合は、３Ｄ情報は出力されない。ステップＳ５３において、フレームに３Ｄ情報が有るかを確認し、無い場合はステップＳ５６に進み、有る場合は、接点３１ｂと出力端子３１ｃとを接続し、ファイル作成手段３３に出力する（ステップＳ５４）。ファイル作成手段３３は、フレームデータに書き込む。そして、フレームへの３Ｄ情報の書き込みが終了したかを確認する（ステップＳ５５）。

３Ｄ情報のフレームへの書き込みが終了した場合に、分離手段２が画像データをスイッチ３１の接点３１ａに出力する。スイッチ３１は接点３１ａと出力端子３１ｃとを接続し、画像データをファイル作成手段３３に出力する（ステップＳ５６）。ファイル作成手段３３において、各フレームごとに画像データをフレームデータ部分に書き込む。そして、各フレームの画像データの書き込みが終了したかを確認する（ステップＳ５７）。終了していれば、次のフレームが有るかを確認し（ステップＳ５８）、次のフレームがあればステップＳ５３に戻り、次のフレームがなければ処理を終了する。

（識別情報ファイル）
ファイルヘッダへの書き込みが終了した場合、識別情報生成手段２４が識別情報データをスイッチ３２の接点３２ａに出力する。スイッチ３２は接点３２ａと出力端子３２ｃとを接続し、識別情報データをファイル作成手段３４に出力する（ステップＳ７３）。ファイル作成手段３４において、識別情報を持った各フレームごとに識別情報データを書き込む。そして、そのフレームの識別情報データの書き込みが終了したかを確認する（ステップＳ７４）。終了していれば、次のステップＳ７５にうつる。

識別情報データの書き込みが終了した場合、付加情報生成手段２３が３Ｄデータをスイッチ３２の接点３２ｂに出力する。ただし、例えば現在のフレームが２Ｄであるなどの理由で、そのフレームに３Ｄ情報が存在しない場合は、３Ｄ情報は出力されない。ステップＳ７５において、フレームに３Ｄ情報が有るかを確認し、無い場合はステップＳ７８に進み、有る場合は、接点３２ｂと出力端子３２ｃとを接続し、ファイル作成手段３４に出力する（ステップＳ７６）。ファイル作成手段３４は、フレームデータに書き込む。そして、フレームへの３Ｄ情報の書き込みが終了したかを確認する（ステップＳ７７）。終了していれば、次のフレームが有るかを確認し（ステップＳ７８）、次のフレームがあればステップＳ７３に戻り、次のフレームがなければ処理を終了する。

なお、識別情報生成手段２４が第１実施形態で示したのと同様な、どの方法で識別情報を生成しても、多重化手段２５で適切に処理することができる。

〔第４のフォーマット〕
以下にこの画像記録装置２１が出力するファイルのフォーマットの一例を示す。
このフォーマットは、図１７に示すように、ＧＯＰ単位のキーフレームであるＩフレームに識別情報を持たせ、それらの識別情報を、その動画用ファイルとは別のファイルに記録するものである。すなわち、ＧＯＰ単位の画像データファイル１２０とＩフレームの識別情報を有する識別情報ファイル１３０とをそれぞれ別ファイルとしたものである。

この時の識別情報生成手段２４の動作フローについて説明する。
図１８は、キーフレーム（この場合はＩピクチャ）に識別情報を持たせる場合の、識別情報生成手段２４内部の判定フローを示すフローチャートである。

分離手段２２により入力データから分離された制御用データが、識別情報生成手段２４に入力される（ステップＳ６１）。
判定ステップＳ６２において、識別情報生成手段２４は、画像データがＩピクチャかを判定し、ＩピクチャでなければステップＳ６３に進み、ＩピクチャであればステップＳ６４に進む。ステップＳ６３では、画像データがＩピクチャではないため、識別情報生成手段２４は識別情報を出力しない。ステップＳ６４では、画像データがＩピクチャであるため、識別情報生成手段２４は、制御用データに基づいて、そのフレームの識別情報を出力する。

次に、この時の多重化手段２５の動作フローについて説明する。
この時の多重化手段２５の動作フローのうち、画像データファイル出力部分については、図１６の処理を行う。識別情報ファイル出力部分については図１９に示す処理を行う。

このファイルを再生するときは、識別情報用ファイルと動画用ファイルの両方を開き、再生が進むにしたがってその両ファイルをそれぞれ読み進めていくか、識別情報ファイルを全て読み込んでメモリに保存し、動画ファイルのみ順次読み進めるようにする。

このファイルフォーマットでは、識別情報が動画と別ファイルになっていることで、識別情報のみを取り出すことが容易である。また、識別情報の内容を変更する場合に、動画用のファイルを編集する必要が無いため、容易かつ高速に変更できる。また、ＧＯＰ単位で識別情報を持つため、全てのフレームに持たせた場合よりも識別情報の容量が小さく、かつ、ＧＯＰ単位での動画の編集は容易にできる。

＜第３実施形態＞
本発明における第３の実施形態である画像再生装置について図面を参照して説明する。

本発明の実施形態による画像再生装置は、第１実施形態で示した画像記録装置から出力されたファイルから、２Ｄ画像データと３Ｄ画像データを再生する再生装置である。
図２０は本発明の第３の実施形態による画像再生装置の構成例を示すブロック図である。

図２０において、画像再生装置４１は、分離手段４２、制御手段４３、復号手段４４、表示手段４５から構成される。
分離手段４２は、入力されたファイルの内容を、画像データと、識別情報データ、付加情報データに分離する。制御手段４３は、分離手段４２より入力された識別情報データと付加情報データに従って表示手段４５を制御して、データを適切に再生する。ここで、識別情報データ、付加情報データとは第１実施形態において説明したものと同じ情報である。復号手段４４は、入力された符号化データを復号して画像データを出力する手段である。表示手段４５は、制御手段４３から入力される制御用データに従い、２Ｄ表示と３Ｄ表示を切り換えて入力画像データを表示する手段である。ここで、制御用データとは２Ｄ表示を行うか、３Ｄ表示を行うかを指示する情報や、その表示の仕方に関する情報である。

＜第４実施形態＞
本発明における第４の実施形態である画像再生装置について図面を参照して説明する。
本発明の実施形態による画像再生装置は、第２実施形態で示した画像記録装置から出力されたファイルから、２Ｄ画像データと３Ｄ画像データを再生する再生装置である。

図２１は本発明の第４の実施形態による画像再生装置の構成例を示すブロック図である。図２１において、画像再生装置５１は、制御手段５３、復号手段５４、表示手段５５から構成される。

制御手段５３は、識別情報ファイルより入力された識別情報データと付加情報データに従って表示手段５５を制御して、データを適切に再生する。ここで、識別情報データ、付加情報データとは第１実施形態において説明したものと同じ情報である。

復号手段５４は、入力された符号化データを復号して画像データを出力する手段である。表示手段５５は、制御手段５３から入力される制御用データに従い、２Ｄ表示と３Ｄ表示を切り換えて入力画像データを表示する手段である。ここで、制御用データとは２Ｄ表示を行うか、３Ｄ表示を行うかを指示する情報や、その表示の仕方に関する情報である。

本発明の第１の実施形態による画像記録装置の構成例を示すブロック図である。 図１の多重化手段５の内部構造を示すブロック図である。 ２Ｄシーンと３Ｄシーンが混在した放送データの一例を示す概念図である。 本発明の第１の実施形態によるファイルフォーマットの１例を示した概念図である。 全てのフレームに識別情報を持たせる場合の、識別情報生成手段４内部の判定フローを示すフローチャートである。 各フレームの位置に識別情報を記録する場合の、多重化手段５の動作フローを示すフローチャートである。 本発明の第１の実施形態によるファイルフォーマットの１例を示した概念図である。 変化位置のフレームに識別情報を持たせる場合の、識別情報生成手段４内部の判定フローを示すフローチャートである。 ファイルのヘッダ部分に識別情報を記録する場合の、多重化手段５の動作フローを示すフローチャートである。 識別情報の簡単なフォーマットの一例を示した概念図である。 識別情報の簡単なフォーマットの一例を示した概念図である。 本発明の第１の実施形態によるファイルフォーマットの１例を示した概念図である。 画像データとは別のストリームに識別情報を記録し、１つのファイルに多重化して出力する場合の、多重化手段５の動作フローを示すフローチャートである。 本発明の第１の実施形態による画像記録装置の構成例を示すブロック図である。 図２の多重化手段２５の内部構造を示すブロック図である。 画像データと識別情報を別のファイルに記録する場合において、画像データファイルを出力する際の、多重化手段２５の動作フローをしめすフローチャートである。 本発明の第２の実施形態によるファイルフォーマットの１例を示した概念図である。 キーフレーム（この場合はＩピクチャ）に識別情報を持たせる場合の、識別情報生成手段２４内部の判定フローを示すフローチャートである。 画像データと識別情報を別のファイルに記録する場合において、識別情報ファイルを出力する際の、多重化手段２５の動作フローをしめすフローチャートである。 本発明の第３の実施形態による画像記録装置の構成例を示すブロック図である。 本発明の第４の実施形態による画像記録装置の構成例を示すブロック図である。 フィールドシーケンシャル方式を説明するための概念図である。 パララクスバリア方式を説明するための概念図である。 ３Ｄ画像の一例を示す概念図である。

符号の説明

１ 画像記録装置
２ 分離手段
３ 付加情報生成手段
４ 識別情報生成手段
５ 多重化手段
２１ 画像記録装置
２２ 分離手段
２３ 付加情報生成手段
２４ 識別情報生成手段
２５ 多重化手段
７１ 画像再生装置
７２ 分離手段
７３ 制御手段
７４ 復号手段
７５ 表示手段
８１ 画像再生装置
８３ 制御手段
８４ 復号手段
８５ 表示手段
１００ 左眼用画像データ
１０１ 右眼用画像データ
１０２ ３Ｄ画像データ
１２１ 画像表示パネル
１２２ パララクスバリア
１２３ 左眼
１２４ 右眼

Claims (13)

1. ２次元画像及び３次元画像が混在する画像データを記録するためのファイル構造において、
   ２次元画像と３次元画像を識別可能な識別情報を備えたことを特徴とするファイル構造。
2. 前記識別情報を全てのフレームデータに備えたことを特徴とする請求項１記載のファイル構造。
3. 前記識別情報は、２次元から３次元または３次元から２次元の画像に変化するフレーム位置の情報を備えたことを特徴とする請求項１記載のファイル構造。
4. 前記識別情報を任意の指定フレームに備えたことを特徴とする請求項１記載のファイル構造。
5. 前記識別情報をランダムなフレームに備えたことを特徴とする請求項１記載のファイル構造。
6. 前記識別情報をファイルの先頭にまとめて記録することを特徴とする請求項１記載のファイル構造。
7. 前記識別情報をフレームデータの付加情報として備えたことを特徴とする請求項１記載のファイル構造。
8. 前記識別情報を画像データとは別のストリームにして備えたことを特徴とする請求項１記載のファイル構造。
9. 前記識別情報を画像データとは別のファイルに備えたことを特徴とする請求項１記載のファイル構造。
10. 前記識別情報は３Ｄ指定情報であることを特徴とする請求項１記載のファイル構造。
11. 前記識別情報が３Ｄ制御情報であることを特徴とする請求項１記載のファイル構造。
12. ２次元画像及び３次元画像が混在する画像データを記録する画像記録装置において、
    入力データから画像データと制御データを分離する分離手段と、
    ２次元画像と３次元画像を識別可能な識別情報を生成する識別情報生成手段と、
    前記識別情報を備えた請求項１乃至１３のいずれかに記載のファイル構造を有するファイルを作成するファイル作成手段と、
    を備えたことを特徴とする画像記録装置。
13. 請求項１２に記載の画像記録装置が出力したファイルの識別情報に従って画像データを再生することを特徴とする画像再生装置。

Images