[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5231563B2 - 立体映像データを記録する方法 - Google Patents

立体映像データを記録する方法 Download PDF

Info

Publication number
JP5231563B2
JP5231563B2 JP2010529881A JP2010529881A JP5231563B2 JP 5231563 B2 JP5231563 B2 JP 5231563B2 JP 2010529881 A JP2010529881 A JP 2010529881A JP 2010529881 A JP2010529881 A JP 2010529881A JP 5231563 B2 JP5231563 B2 JP 5231563B2
Authority
JP
Japan
Prior art keywords
video
information
box
stereoscopic
recorded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010529881A
Other languages
English (en)
Other versions
JP2011502382A (ja
Inventor
ジョン，ド−ヨン
パク，テ−ソン
オー，ユン−ジェ
ソン，ジェ−ヨン
ファン，ソ−ヨン
スー，ドン−ヨン
パク，グァン−フン
キム，キュ−ホン
リー，ユン−ジン
リー，ジャン−ウォン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2011502382A publication Critical patent/JP2011502382A/ja
Application granted granted Critical
Publication of JP5231563B2 publication Critical patent/JP5231563B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

本発明は立体(three-dimensional：以下、“３Ｄ”と称する)映像データを記録する方法に関するもので、特に３Ｄ映像データをＩＳＯベースのメディアファイルフォーマットと互換性のあるフォーマットで３Ｄ映像データを生成して格納する方法に関する。
一般的なメディアファイルフォーマットは、該当メディアに関する情報を記述する(describe)ヘッダー部分と圧縮されたメディアデータを格納する映像データ部を含む。一般的なメディアファイルフォーマットを用いて単純な映像データを格納することは可能であるが、多様なタイプのメディアを収容するための包括的な構造としては適合しない。
国際標準機構であるＭＰＥＧ(Moving Picture Experts Group)では、多様なアプリケーションに一般に適用できる基本的なファイルフォーマットとしてＩＳＯベースのメディアファイルフォーマットを定義している。ＩＳＯベースのメディアファイルフォーマットは、圧縮されたメディアストリーム及びこのメディアストリームに関連した構成情報のようなデータを複数のコンテナー(container)に階層的に(hierachically)格納するように設計される。このＩＳＯベースのメディアファイルフォーマットは、符号化及び復号化方式を定義することでなく、基本的に符号化又は復号化されたメディアストリームを効率的に格納するための基本構造を定義する。
ステレオスコピック映像は、左映像と右映像を組み合わせる方法によって多様に構成されることができる。これに関して、ステレオスコピック映像をディスプレイ装置に表現するために、左右映像を組み合わせる方法に関する情報、左右映像の分割個数及びサイズ、及び分割された映像の位置などに関する情報がディスプレイ装置のメモリに格納することが必要である。また、ステレオスコピック映像は、左右映像の同期化に基づいて時間的情報が必須的に要求される。
したがって、従来の一般的なメディアのファイルフォーマットを用いてステレオスコピック映像を格納するためのファイルフォーマットを効率的に構成することは困難である。ＩＳＯベースのメディアファイルフォーマットは、ステレオスコピック映像の構造を考慮して定義されていないので、ステレオスコピック映像に適合しない。
それによって、ステレオスコピック映像の構造を考慮して定義されたデータ格納フォーマットが要求される。同時に、このようなステレオスコピック映像のデータ格納フォーマットは、多様なマルチメディアアプリケーションに適用できるように国際標準ファイルフォーマット、すなわちＩＳＯベースのメディアファイルフォーマットとの互換性が要求される。
したがって、本発明は、ステレオスコピック映像の構成に関する情報を含み、かつ国際標準ファイルフォーマットであるＩＳＯベースのメディアファイルフォーマットと互換できるデータ格納フォーマット、及びこのデータ格納フォーマットを生成する方法を提供することを目的とする。
上記のような目的を達成するために、本発明は、立体(３Ｄ)映像データを記録媒体に格納する方法であって、モノスコピック映像及びステレオスコピック映像を含む複合映像又は単一のステレオスコピック映像のいずれか一つを指示する映像タイプ情報をファイルタイプフィールドにロードするステップと、立体映像に含まれた複数のメディアオブジェクト間の時間的及び空間的関係を示すシーン記述情報、複数のメディアオブジェクトの各メディアオブジェクトの属性及び複数のメディアオブジェクトの符号化ストリームの構成関係を示すオブジェクト構成情報、及び符号化ストリームの構成情報を所定の映像構成情報コンテナーフィールドにロードするステップと、格納される映像のメディアデータを映像データコンテナーフィールドにロードするステップと、立体映像を再生するための情報を含むメタデータをメタコンテナーフィールドにロードするステップとを具備することを特徴とする。
提示されたデータ格納フォーマットによると、本発明は、３Ｄ映像データは、国際標準ファイルフォーマットであるＩＳＯベースのメディアファイルフォーマットと互換性のあるフォーマットで格納されることができ、格納されたデータを多様なマルチメディアアプリケーションに伝送又は適用されることができる。
本発明の上記特徴及び利点は、添付の図面と共に述べる以下の詳細な説明から、一層明らかになるはずである。
本発明が適用されるステレオスコピック映像装置のブロック構成図である。 本発明の一実施形態による立体映像に含まれるステレオスコピック映像構成の一例を示す図である。 本発明の一実施形態による立体映像に含まれるステレオスコピック映像構成の一例を示す図である。 本発明の一実施形態による立体映像に含まれるステレオスコピック映像構成の一例を示す図である。 本発明の一実施形態による立体映像データの格納フォーマットを示す図である。 本発明の一実施形態による立体映像データの格納フォーマットを示す図である。 本発明の一実施形態による立体映像データの格納フォーマットに含まれるｍｏｏｖコンテナーの詳細構成を示す図である。 本発明の一実施形態による立体映像データの格納フォーマットに含まれるメタコンテナーの詳細構成を示す図である。 本発明の一実施形態による立体映像データの格納フォーマットの一例を示す概念図である。 本発明の一実施形態による立体映像データの格納フォーマットの他の例を示す概念図である。 本発明の他の実施形態による立体映像に含まれるステレオスコピック映像構成の一例を示す図である。 本発明の他の実施形態による立体映像データの格納フォーマットの一例を示す概念図である。 本発明の他の実施形態による立体映像データの格納フォーマットの他の例を示す概念図である。
以下、本発明の望ましい実施形態を添付の図面を参照して詳細に説明する。
図面において、同一の構成要素に対してはできるだけ同一の参照符号及び参照番号を付して説明する。下記の説明で、本発明に関連した公知の機能又は構成に関する具体的な説明が本発明の要旨を不明にすると判断された場合には、明瞭性と簡潔性のために、その詳細な説明を省略する。さらに、本発明の要点を不明瞭にしないように、本発明による動作理解のために必要な部分のみを記述し、その以外の部分に関する説明は省略することに留意すべきである。
本発明の一実施形態において、立体(３Ｄ)映像は、左映像と右映像との組み合わせからなるステレオスコピック映像、及びこのステレオスコピック映像とモノスコピック映像との組み合わせからなる複合映像を含む。ここで、モノスコピック映像は、左映像と右映像のうちいずれか一つのみを含む映像を意味する。左右映像は、メディアデータに該当し、本発明の実施形態ではメディアデータと呼ばれることができる。また、このようなメディアデータは、ビデオデータ及びオーディオデータを含むことができる。さらに、ビデオデータ及びオーディオデータは、その例として、少なくとも一つのトラックのメディアデータを含むことができる。
図１は、本発明が適用されるステレオスコピック映像装置を示す。
ステレオスコピック映像装置は、映像入力部１０、エンコーダ２０、３Ｄ映像生成部３０、データ格納制御部４０、メモリ５０、ディスプレイ６０、及び通信モジュール７０を含む。
映像入力部１０は、ステレオスコピック映像の生成に必要な複数の入力映像を受信する手段であって、被写体から反射される特定波長のカラー信号を多様な角度で投影する複数のレンズと、複数のレンズを通じて入力されるカラー信号を電気信号に変換する複数のセンサーモジュール(例えば、ＣＣＤ及びＣＭＯＳのようなセンサーを含むモジュール)とを含む。また、映像入力部１０は、複数のセンサーモジュールから入力されるデータを時/空間的情報を含む映像信号に変換し、それによってセンサーモジュールと同数の映像データを生成するビデオ信号処理処置を含む。例えば、ステレオスコピック映像が左右映像のメディアデータの組み合わせを含む場合、映像入力部１０は、被写体の左側部を撮影するためのレンズ及びセンサーモジュールと、被写体の右側部を撮影するためのレンズ及びセンサーモジュールを含み、２個のセンサーモジュールから入力されるデータを用いてそれぞれの映像データ、すなわち左映像及び右映像のメディアデータを生成する。
エンコーダ２０は、映像入力部１０から出力される複数の映像データ(左右映像データ)をステレオスコピック映像構成方法を用いてステレオスコピック映像で構成した後に符号化する。動画符号化方式(例えば、ＭＰＥＧ-１、ＭＰＥＧ-２、ＭＰＥＧ-３、ＭＰＥＧ-４、及びＨ．２６４方式)によってステレオスコピック映像の符号化を遂行する通常の装置は、エンコーダ２０として使用されることができる。
また、映像入力部１０は、特定帯域のオーディオ信号を電気信号に変換するマイクをさらに含み、エンコーダ２０は、当該分野で知られている通常のオーディオ圧縮方式を用いてマイクから入力されるオーディオ信号を圧縮することができる。
３Ｄ映像生成部３０は、撮影オブジェクトとの距離、撮影角度、撮影装置の移動を考慮して符号化された複数のメディアデータから３Ｄ映像データを生成する。
一方、ユーザーがステレオスコピック映像のみを含む３Ｄ映像を長時間視聴すると、モノスコピック映像を視聴する場合より一層目の疲労を感じるようになる。これによって、ユーザーは、ステレオスコピック映像のみを含む３Ｄ映像を長時間視聴しにくい。したがって、３Ｄ映像は、ステレオスコピック映像だけでなく、目の疲労感を減少させて長時間３Ｄ映像の視聴を保証するためには、ステレオスコピック映像とモノスコピック映像との適切な組み合わせが好ましい。ステレオスコピック映像とモノスコピック映像は、撮影装置のユーザーの制御下で、撮影装置に所定の設定によって、又は撮影されたステレオスコピック映像及びモノスコピック映像の編集によって、組み合わせることができる。所定の設定は、一定の間隔で周期的及び反復的にステレオスコピック映像又はモノスコピック映像を撮影するもので、ステレオスコピック映像又はモノスコピック映像は、撮影されるオブジェクトの特性又は種類によって選択的に撮影されるか、あるいは撮影された映像は適切に編集される。
図２は、本発明の一実施形態による３Ｄ映像に含まれるステレオスコピック映像の構成を示す。本発明の実施形態による３Ｄ映像に含まれるステレオスコピック映像は、左映像１と右映像５との組み合わせを含む。このようなステレオスコピック映像は、映像内で左映像１及び右映像５を垂直に１:１の割合で組み合わせて一つのフレームを構成し、このフレームを時間軸に沿って配列して構成され(図２Ａ)、左映像１及び右映像５を各々垂直分割した後に分割された映像を順次に交互的に組み合わせて一つのフレームを構成し、このフレームを時間軸に沿って配列して構成され(図２Ｂ)、左映像１又は右映像５を含むフレームを時間軸に沿って配列して構成される(図２Ｃ)ことができる。
さらに、３Ｄ映像生成部３０は、３Ｄ映像の生成時に発生するビデオデータ及びオーディオデータを構成する情報を含む３Ｄ映像構成情報をデータ格納制御部４０に提供する。
データ格納制御部４０は、３Ｄ映像生成部３０から提供される３Ｄ映像のデータと３Ｄ映像構成情報を用いて生成される３Ｄ映像データをメモリ５０に格納する。また、ディスプレイ６０は、３Ｄ映像生成部３０によって生成された３Ｄ映像を出力する。通信モジュール７０は、メモリ５０に格納された３Ｄ映像を外部の装置(例えば、移動端末、ＰＤＡ、無線ＬＡＮを備える携帯用端末、及びＵＳＢ又はシリアル通信を支援する個人用コンピュータ)に伝送できるインターフェースを含む。
図３Ａは、本発明の一実施形態による３Ｄ映像データの格納フォーマットを示す。図３Ａを参照すると、データ格納制御部４０によってメモリ５０に格納される３Ｄ映像データの格納フォーマットは、ｆｔｙｐヘッダー１００、ｍｄａｔコンテナー２００、ｍｏｏｖコンテナー３００、及びメタコンテナー４００を含む。
ｆｔｙｐヘッダー１００は、格納されたデータのファイルタイプと互換性(compatibility)に関する情報を含む。特に、ｆｔｙｐヘッダー１００は、３Ｄ映像がステレオスコピック映像のみで構成されるか、あるいはステレオスコピック映像とモノスコピック映像との組み合わせを含む複合映像で構成されるかを示す情報を含む。
各チャンネルのビデオ又はオーディオデータは、ｍｄａｔコンテナー２００にフレーム単位で記録される。
ｍｏｏｖコンテナー３００は、オブジェクトベースの構造体として構成され、このｍｏｏｖコンテナー３００に上述した３Ｄ映像構成情報が記録される。また、メディアデータのフレームレート、ビットレート、及び映像サイズを含むコンテンツ情報とメディアデータの同期(sync)情報は、ｍｏｏｖコンテナー３００に記録される。
メタコンテナー４００は、単一のステレオスコピック映像又は複合映像を再生するための情報を含む。
望ましくは、メタコンテナー４００は、ｍｏｏｖコンテナー３００内に含まれる。
このメタコンテナー４００は、本発明の実施形態ではｍｏｏｖコンテナー３００に含まれることを示しているが、本発明はこれに限定されるものではない。例えば、メタデータが記録されたメタコンテナー４００は、別途のコンテナーとして形成されることができる(図３Ｂを参照)。
図４は、本発明の一実施形態による３Ｄ映像データの格納フォーマットに含まれるｍｏｏｖコンテナー３００の詳細構成を示す。
図４を参照すると、本発明の実施形態によるｍｏｏｖコンテナー３００は、ｍｖｈｄボックス３０１、ｉｏｄｓボックス３０２、及びｔｒａｋボックス３０３を含む。
ｍｖｈｄボックス３０１は、ムービー(movie)ヘッダーを示すボックスであって、“ｍｖｈｄ”のサイズ、タイプ、バージョン、ファイル生成時間、ファイル変更時間、タイムスケール(scale)、及びファイルの総再生時間を含む。
シーン構成とオブジェクト記述のためのプロファイル及びレベルのような初期化情報は、ｉｏｄｓボックス３０２に記録される。また、ｉｏｄｓボックス３０２は、シーン構成のためのＢＩＦＳ(Binary Format For Scenes)ストリームとオブジェクト記述のためのＯＤ(Object Descriptor)ストリームの設定情報を含むことができる。
ｔｒａｋボックス３０３は、３Ｄ映像に含まれたトラック又はストリームの構成情報が記録されるフィールドであって、ｔｋｈｄボックス３０４、ｔｒｅｆボックス３０５、ｅｄｔｓボックス３０６、及びｍｄｉａボックス３０７を含む。
例えば、トラックに含まれた映像のサイズ及び再生時間、トラック生成時間、及びトラック変更時間を含む基本トラック情報は、ｔｋｈｄボックス３０４に記録される。
ｔｒｅｆボックス３０５は、データ基準ボックスに該当する。
トラック時間の同期情報を含むリストは、ｅｄｔｓボックス３０６に記録される。
ｍｄｉａボックス３０７は、トラック内のメディアデータに関する情報を記録するために提供され、ｍｄｈｄボックス３０８、ｈｄｌｒボックス３０９、及びｍｉｎｆボックス３１０を含む。
ｍｄｈｄボックス３０８は、メディアヘッダーを示すボックスであって、トラックに含まれたメディアの再生時間、生成時間、及び変更時間を含む情報は、ｍｄｈｄボックス３０８に記録される。
ｈｄｌｒボックス３０９は、メディアタイプを定義するハンドラボックスに該当する。
ｍｉｎｆボックス３１０は、メディアデータ情報を記録するために提供され、ビデオメディアヘッダー情報が記録されるｖｍｈｄボックス３１１、サウンドメディアヘッダー情報が記録されるｓｍｈｄボックス３１２、ヒントメディアヘッダー情報が記録されるｈｍｈｄボックス３１３、ヌル(null)メディアヘッダー情報が記録されるｎｍｈｄボックス３１４、及び該当トラックサンプルに対するヘッダー情報が記録されるｓｔｂｌボックス３１５を含む。
ｓｔｂｌボックス３１５は、コーデックタイプ情報、初期化情報などが記録されるｓｔｓｄボックス３１６、チャンク(chunk)当たり包含されるサンプルの数に関する情報が記録されるｓｔｓｃボックス３１７、各サンプルの符号化時間に関する情報が記録されるｓｔｔｓボックス３１８、各サンプルのビットストリームサイズに関する情報が記録されるｓｔｓｚボックス３１９、コンパクトなサンプルに対するビットストリームサイズ情報が記録されるｓｔｚ２ボックス３２０、チャンクが始まるファイルでの開始アドレス値に関する情報が記録されるｓｔｃｏボックス３２１、及び大きなファイルである場合にチャンクが始まるファイルでの開始アドレス値に関する情報が記録されるｃｏ６４ボックス３２３を含む。
図５は、本発明の一実施形態による立体映像データの格納フォーマットに含まれるメタコンテナーの詳細構成を示す。図５を参照すると、メタデータが記録されるメタコンテナー４００は、ｈｄｌｒボックス４０１、ｉｌｏｃボックス４０２、ｉｉｎｆボックス４０３、ｘｍｌボックス４０４、ｂｘｍｌボックス４０５、及びｓｎｍｉボックス４０６を含む。
ｈｄｌｒボックス４０１は、メタデータのタイプを定義するハンドラボックスに該当する。
ステレオスコピック映像又はモノスコピック映像を構成する各アイテムの識別コード、それぞれのアイテムの位置情報、及び各アイテムのサイズに関する情報は、ｉｌｏｃボックス４０２に記録される。例えば、位置情報はメディアデータに対応するアイテムが格納されたメモリのアドレス値となり、サイズに関する情報は対応するアイテムのビットストリーム長を示す値となることができる。
ｉｉｎｆボックス４０３は、映像のタイプを示す映像タイプ識別子を含む。映像タイプ識別子は、アイテムの符号化のための情報を含むことが好ましい。例えば、アイテムがステレオスコピック映像である場合に、映像タイプ識別子は、ステレオスコピック映像を示す‘Ｓ’を有する識別コードとして設定する。詳しく説明すれば、映像タイプ識別子は、Ｓ１,Ｓ２,Ｓ３,…,Ｓｎとして設定されることができる。また、このアイテムがモノスコピック映像である場合には、映像タイプ識別子は、モノスコピック映像を示す‘Ｍ’を有する識別コードとして設定される。詳細には、映像タイプ識別子は、Ｍ１,Ｍ２,Ｍ３,…,Ｍｎとして設定されることができる。
ｘｍｌボックス４０４は、ｘｍｌデータが記録されるコンテナーであり、ｂｘｍｌボックス４０５はバイナリｘｍｌデータが記録されるコンテナーである。
モノスコピック映像及び複数の映像(例えば、左右映像)で構成されるステレオスコピック映像のサイズ、ステレオスコピック映像を撮影するカメラに関する情報、ディスプレイ情報、及びステレオスコピック映像の構成情報を含む情報は、ｓｎｍｉボックス４０６に記録される。この実施形態において、ｓｎｍｉボックス４０６は、複数の映像(例えば、左右映像)で構成されるステレオスコピック映像のサイズ、ステレオスコピック映像を撮影するカメラに関する情報、ディスプレイ情報、及びステレオスコピック映像の構成情報を含む情報が記録されるボックスとして示される。しかしながら、本発明はこれに限定されず、ｓｎｍｉボックス４０６に含まれた情報のみを記録するのに十分である。
より具体的に説明すると、複合映像の映像幅と高さ、左右映像を撮影する２台のカメラ間の距離、被写体に対するカメラレンズの焦点距離、オブジェクトに対する回転角、中心焦点、詳細なカメラ配列(左映像及び右映像を撮影するカメラが各々左側と右側に配列されているか、あるいは左映像及び右映像を撮影するカメラが各々相互に交差する方式で配列されているかを示す情報)、３Ｄ映像視聴者とディスプレイ装置との間の光学距離、３Ｄ効果に使用される垂直視差(vertical disparity）の最大値、左右映像間の最小視差、左右映像間の最大視差、３Ｄ映像タイプ(図２に示したフォーマット、単一の左映像又は右映像のみを含むフォーマットなど)を設定するための値、各タイプによって配列される映像のサイズ及び順序、３Ｄ映像に含まれたフレーム間の同期を指定するための値、左右映像の間で初期に符号化される映像を設定するための値などが、ｓｎｍｉボックス４０６に記録されることができる。
また、ｓｎｍｉボックスは、各メディアデータのフレームレートが相互に異なる場合に、基準メディアデータを示す情報と合成映像のタイプによってまず圧縮されるメディアデータを示す情報を含んでいてもよい。
図６は、本発明の一実施形態による３Ｄ映像データの格納フォーマットの一例を概念的に示す。図６を参照すると、本発明の実施形態による３Ｄ映像データの格納フォーマットは、ＩＳＯベースのメディアファイルフォーマットに基づき、複合映像データの構成情報がｍｏｏｖコンテナー３００に格納されるケースを例示する。この複合映像データは、少なくとも一つのステレオスコピック映像ストリーム及びモノスコピック映像ストリームを含む。これを考慮して、メタコンテナー４００のｓｎｍｉボックス４０６は、モノスコピック映像及び複数の映像(例えば、左右映像)で構成されるステレオスコピック映像のサイズ、ステレオスコピック映像を撮影したカメラに関する情報、ディスプレイ情報、及びステレオスコピック映像構成情報を含む。また、ｉｌｏｃボックス４０２は、ステレオスコピック映像ストリームとモノスコピック映像ストリームに順次に割り当てられる識別子(例えば、ｉｔｅｍ_ＩＤ)、メモリのアドレス値(例えば、ｏｆｆｓｅｔ)、及び映像ストリームの長さ(例えば、ｌｅｎｇｔｈ)を含む。また、ｉｉｎｆボックス４０３は、映像タイプ識別子(例えば、ｉｔｅｍ_ｎａｍｅ)を含む。
ｉｌｏｃボックス４０２及びｉｉｎｆボックス４０３は、一つのボックスに形成されることが好ましい。
図７は、本発明の一実施形態による３Ｄ映像データの格納フォーマットの他の例を概念的に示す。図７を参照すると、本発明の実施形態による３Ｄ映像データの格納フォーマットは、図６と異なり、複合映像を２個のエレメンタリストリーム(elementary stream)で構成することを例示する。例えば、２個のエレメンタリストリームは、左映像ストリームと右映像ストリームである。したがって、ｍｏｏｖコンテナー３００は、各ストリームの構成情報を記録する２個のｔｒａｋボックス３０３からなる。メタコンテナー４００のｓｎｍｉボックス４０６は、モノスコピック映像及びステレオスコピック映像のサイズ、ステレオスコピック映像を撮影するカメラの情報、ディスプレイ情報、及びステレオスコピック映像構成情報を含む。ｉｌｏｃボックス４０２は、ステレオスコピック映像ストリーム及びモノスコピック映像ストリームに順次に割り当てられる識別(例えば、ｉｔｅｍ_ＩＤ)、メモリのアドレス値(例えば、ｏｆｆｓｅｔ)、及び映像ストリームの長さ(例えば、ｌｅｎｇｔｈ)を含み、ｉｉｎｆボックス４０３は映像タイプ識別(例えば、ｉｔｅｍ_ｎａｍｅ)を含む。
２個のエレメンタリストリームで構成されても、複合映像は、メタコンテナー４００に提供されるｓｎｍｉ４０６、ｉｌｏｃボックス４０２、及びｉｉｎｆボックス４０３を用いて容易に格納できることがわかる。
本発明の一実施形態による３Ｄ映像データの格納フォーマットにおいて、メタコンテナー４００が図６及び図７のようにｍｏｏｖコンテナー３００に含まれている場合を示しているが、本発明はこれに限定されない。例えば、メタデータが記録されるメタコンテナー４００は、ｆｔｙｐヘッダー１００又は別途のコンテナーに含まれることができる。
本発明で提案されるフォーマットは、国際標準ファイルフォーマット、すなわちＩＳＯベースのメディアファイルフォーマットから拡張されたファイルフォーマットと交換性を有するため、複合映像を含むデータは、多様なマルチメディアアプリケーションに伝送されるか、あるいは適用されることができる。
一方、データ格納制御部４０は、３Ｄ映像生成部３０によって生成される３Ｄ映像データを本発明による３Ｄ映像データのフォーマットでメモリに格納する。上述した構成要素及び３Ｄ映像データの格納フォーマットを参照して、以下に、本発明の一実施形態による３Ｄ映像データの格納フォーマットを生成する手順を説明する。
データ格納制御部４０は、ｆｔｙｐヘッダー１００、ｍｄａｔコンテナー２００、ｍｏｏｖコンテナー３００、及びメタコンテナー４００を生成し、生成されたデータを含むフォーマットで３Ｄ映像データを格納する。
まず第一に、データ格納制御部４０は、ｆｔｙｐヘッダー１００を生成する。格納される３Ｄ映像データのファイルタイプと互換性に関する情報はｆｔｙｐヘッダー１００に含まれる。データ格納制御部４０は、３Ｄ映像生成部３０から３Ｄ映像がステレオスコピック映像のみを含むか、あるいはステレオスコピック映像とモノスコピック映像との組み合わせを含む複合映像を含むかを示す情報を受信し、この情報をｆｔｙｐヘッダー１００に含んで記録する。例えば、データ格納制御部４０は、下記の表１に与えられたプログラムに対応する演算を遂行することにより、３Ｄ映像がステレオスコピック映像のみを含むか、あるいはステレオスコピック映像とモノスコピック映像との組み合わせを含む複合映像を含むかを設定できる。
Figure 0005231563
 すなわち、データ格納制御部４０は、ｆｔｙｐヘッダーのブランドを用いて、ステレオスコピックコンテンツが部分的にモノスコピックデータを含んでいるか否かに対してステレオスコピックＭＡＦ(Multimedia Application File Format)を示す識別情報を設定する。例えば、識別情報として使用されるブランドは、３Ｄ映像が単一のステレオスコピック映像を含む場合には“ｓｓ０１”に設定され、３Ｄ映像がモノスコピック映像とステレオスコピック映像との組み合わせを含む場合には“ｓｓ０２”に設定される。ステレオスコピック映像のファイルタイプと互換性に関する情報を設定することにおいて、本発明の実施形態では、ｆｔｙｐヘッダーのブランドを具体的に指定していないが、ｍａｊｏｒ_ｂｒａｎｄ、ｍｉｎｏｒ_ｂｒａｎｄ、ｃｏｍｐａｔｉｂｌｅ_ｂｒａｎｄなどとして設定される多様なブランドが使用されることができる。
次に、データ格納制御部４０は、３Ｄ映像生成部３０から受信したデータに基づいてｍｄａｔコンテナー２００を生成する。各チャンネルのビデオ又はオーディオデータは、ｍｄａｔコンテナー２００にフレーム単位で記録される。
また、データ格納制御部４０は、３Ｄ映像生成部３０から受信したデータに基づいてｍｏｏｖコンテナー３００を生成する。ｍｄａｔコンテナー２００に格納される各３Ｄ映像データに対応する３Ｄ映像構成情報は、オブジェクトベースの構造体としてｍｏｏｖコンテナー３００に記録される。さらに、メディアデータのフレームレート、ビットレート、及び映像のサイズを含むコンテンツ情報とメディアデータの同期情報とは、ｍｏｏｖコンテナー３００に記録される。
具体的に、ｍｏｏｖコンテナー３００は、ｍｖｈｄボックス３０１及びｔｒａｋボックス３０３を含む。ｍｖｈｄボックス３０１は、ムービーヘッダを示すボックスであって、“ｍｖｈｄ”のサイズ、タイプ、バージョン、ファイル生成時間、ファイル変更時間、時間スケール、及びファイルの総再生時間を含む。
望ましくは、ｍｏｏｖコンテナー３００は、３Ｄ映像関連情報の格納フォーマットによってｉｏｄｓボックス３０２を選択的に含むことができる。シーン構成とオブジェクト記述のためのプロファイル及びレベルのような初期化情報がｉｏｄｓボックス３０２に記録される。また、ｉｏｄｓボックス３０２は、シーン構成のためのＢＩＦＳストリームとオブジェクト記述のためのＯＤストリームの設定情報を含むことができる。
さらに、ｔｒａｋボックス３０３は、ｔｋｈｄボックス３０４、ｔｒｅｆボックス３０５、ｅｄｔｓボックス３０６、及びｍｄｉａボックス３０７を含む。基本トラック情報、例えばトラックに含まれる映像のサイズ及び再生時間、トラック生成時間、及びトラック変更時間は、ｔｋｈｄボックス３０４に記録される。データ基準は、ｔｒｅｆボックス３０５に含まれ、トラックの時間同期情報を含むリストはｅｄｔｓボックス３０６に記録されることができる。そして、トラック内のメディアデータに関する情報は、ｍｄｉａボックス３０７に記録できる。
より具体的に説明すれば、ｍｄｉａボックス３０７は、ｍｄｈｄボックス３０８、ｈｄｌｒボックス３０９、及びｍｉｎｆボックス３１０を含むことができる。ｍｄｈｄボックス３０８は、メディアヘッダーを示すボックスであって、トラックに含まれるメディアの再生時間、生成時間、及び変更時間を有する情報を含む。また、メディアタイプを定義するハンドラデータは、ｈｄｌｒボックス３０９に記録されることができる。ｍｉｎｆボックス３１０は、メディアデータ情報を記録するために提供されるフィールドであって、ビデオメディアヘッダー情報が記録されるｖｍｈｄボックス３１１、サウンドメディアヘッダー情報が記録されるｓｍｈｄボックス３１２、ヒントメディアヘッダー情報が記録されるｈｍｈｄボックス３１３、ヌルメディアヘッダー情報が記録されるｎｍｈｄボックス３１４、及び該当トラックサンプルに対するヘッダー情報が記録されるｓｔｂｌボックス３１５を含む。
さらに、ｓｔｂｌボックス３１５は、コーデックタイプ情報、初期化情報などが記録されるｓｔｓｄボックス３１６、チャンク当たり包含されるサンプルの数に関する情報が記録されるｓｔｓｃボックス３１７、各サンプルの符号化時間に関する情報が記録されるｓｔｔｓボックス３１８、各サンプルのビットストリームサイズに関する情報が記録されるｓｔｓｚボックス３１９、コンパクトサンプルに対するビットストリームサイズ情報が記録されるｓｔｚ２ボックス３２０、チャンクが始まるファイルでの開始アドレス値に関する情報が記録されるｓｔｃｏボックス３２１、及び大きなファイルである場合にチャンクが始まるファイルでの開始アドレス値に関する情報が記録されるｃｏ６４ボックス３２３を含む。
加えて、データ格納制御部４０は、メタコンテナー４００を生成し、このメタコンテナー４００に３Ｄ映像生成部３０から受信された３Ｄ映像データのメタデータに関する情報を格納する。このように、メタコンテナー４００は、ｈｄｌｒボックス４０１、ｉｌｏｃボックス４０２、ｉｉｎｆボックス４０３、ｘｍｌボックス４０４、及びｂｘｍｌボックス４０５を含む(図５を参照)。また、データ格納制御部４０は、メタコンテナー４００にステレオスコピック映像情報が記録されるｓｎｍｉボックス４０６をさらに包含できる。本発明の一実施形態による３Ｄ映像データの格納フォーマットにおいて、メタコンテナー４００がｍｏｏｖコンテナー３００に含まれている場合を図示しているが、本発明はこれに限定されるものではない。例えば、メタデータが記録されるメタコンテナー４００は、ｆｔｙｐヘッダー１００又は別途のコンテナーに含まれることができる。
メタデータのタイプを定義するデータは、ｈｄｌｒボックス４０１に記録される。また、ステレオスコピック映像又はモノスコピック映像からなる各アイテムの識別コードと、それぞれのアイテムの長さに関する情報はｉｌｏｃボックス４０２に記録され、各アイテムに関する情報はｉｉｎｆボックス４０３に記録される。さらに、ｘｍｌデータはｘｍｌボックス４０４に記録され、バイナリｘｍｌデータはｂｘｍｌボックス４０５に記録される。また、複数の映像(例えば、左右映像)で構成されるステレオスコピック映像のサイズ、ステレオスコピック映像を撮影するカメラの情報、ディスプレイ情報、及びステレオスコピック映像構成情報は、ｓｎｍｉボックス４０６に記録されることができる。例えば、ｓｎｍｉボックス４０６に記録される情報は、データ格納制御部４０に格納される下記の表２に示すプログラムに対する演算を実行することにより設定されることができる。
Figure 0005231563
Figure 0005231563
表２において、“ｃｏｍｐｏｕｎｄ_ｉｍａｇｅ_ｗｉｄｔｈ”は、複合映像のディスプレイ幅を意味し、“ｃｏｍｐｏｕｎｄ_ｉｍａｇｅ_ｈｅｉｇｈｔ”は複合映像のディスプレイ高さを意味する。また、カメラ情報を示す“ｂａｓｅｌｉｎｅ”は左右映像を撮影する２台のカメラ間の距離を、“ｆｏｃａｌｌｅｎｇｔｈ”は被写体とのカメラレンズの焦点距離を、“ｒｏｔａｔｉｏｎ”は２台のカメラ間の回転角を、“ｃｏｎｖｅｒｇｅｎｃｅ”は中心焦点とベースラインとの間の距離を、“ｃａｍｅｒａ_ｓｅｔｔｉｎｇ”は下記の表３によって定義される詳細なカメラ配列を、各々意味する。また、“ｌｅｆｔ_ｉｍａｇｅ_ｗｉｄｔｈ”はサイドバイサイド(side-by-side)フォーマットで左映像の幅を、“ｒｉｇｈｔ_ｉｍａｇｅ_ｗｉｄｔｈ”はサイドバイサイドフォーマットで右映像の幅を、“ｏｄｄ_ｌｉｎｅ_ｗｉｄｔｈ”は垂直(vertical)ラインインターリーブフォーマットで奇数ラインの幅を、“ｏｄｄ_ｌｉｎｅ_ｃｏｕｎｔ”は垂直ラインインターリーブフォーマットで奇数ラインの順序を、“ｅｖｅｎ_ｌｉｎｅ_ｗｉｄｔｈ”は垂直ラインインターリーブフォーマットで偶数ラインの幅を、“ｅｖｅｎ_ｌｉｎｅ_ｃｏｕｎｔ”は垂直ラインインターリーブフォーマットで奇数ラインの順序を、それぞれ意味する。さらに、“ｆｉｅｌｄ_ｗｉｄｔｈ”はフィールド順次(sequential)フォーマットで映像の幅を、“ｆｉｅｌｄ_ｈｅｉｇｈｔ”はフィールド順次フォーマットで映像の高さを、それぞれ意味する。
Figure 0005231563
 表３において、“ｐａｒａｌｌｅｌ ａｒｒａｎｇｅｍｅｎｔ”は左映像及び右映像を撮影するカメラが各々左側と右側に配列されることを表し、“ｃｒｏｓｓ ａｒｒａｎｇｅｍｅｎｔ”は左映像及び右映像を撮影するカメラが各々相互に交差する方式で配列されることを表す。
また、表２において、ディスプレイ装置の情報を示す“ＶｉｅｗｉｎｇＤｉｓｐｌａｙＳｉｚｅ”は、３Ｄ映像視聴者とディスプレイ装置との間の光学距離を、“ＭａｘＶｅｒｔｉｃａｌＤｉｓｐａｒｉｔｙ”は３Ｄ効果に使用される垂直視差の最大値を、“ＭｉｎｏｆＤｉｓｐａｒｉｔｙ”は左右映像間の最小視差を、“ＭａｘｏｆＤｉｓｐａｒｉｔｙ”は左右映像間の最大視差を、それぞれ意味する。また、“ＳｔｅｒｅｏＳｃｏｐｉｃ_ＥＳ_ｔｙｐｅ”は下記の表４に示すように、ＥＳタイプを設定するための値を意味する。
Figure 0005231563
 表４において、“ｓｉｄｅ-ｂｙ-ｓｉｄｅ ｆｏｒｍａｔ”は、左右映像が図２Ａに示したように形成されるフォーマットで、“ｖｅｒｔｉｃａｌ ｌｉｎｅ ｉｎｔｅｒｌｅａｖｅｄ ｆｏｒｍａｔ”は図２Ｂに示したように形成されるフォーマットで、“ｆｒａｍｅ ｓｅｑｕｅｎｔｉａｌ ｆｏｒｍａｔ”は図２Ｃに示したように形成されるフォーマットである。“ｓｔｅｒｅｏｓｃｏｐｉｃ ｌｅｆｔ ｖｉｅｗ ｓｅｑｕｅｎｃｅ”は左映像のみで形成される３Ｄ映像を意味し、“ｓｔｅｒｅｏｓｃｏｐｉｃ ｒｉｇｈｔ ｖｉｅｗ ｓｅｑｕｅｎｃｅ”は右映像のみで形成される３Ｄ映像を意味する。
また、表２において、“ｆｒａｍｅ_ｓｙｎｃ”は３Ｄ映像に含まれるフレーム間の同期を指定するための値を意味し、“ＬＲ_ｆｉｒｓｔ”は左右映像間に初期に符号化されるイメージを設定するための値を意味する。“ＬＲ_ｆｉｒｓｔ”は、下記に示す表５によって指定される。
Figure 0005231563
 本発明の実施形態において、ｆｔｙｐヘッダー１００、ｍｄａｔコンテナー２００、ｍｏｏｖコンテナー３００、及びメタコンテナー４００は順次に生成されてメモリ５０に格納されることを示したが、本発明はこれに限定されるものではない。ｆｔｙｐヘッダー１００、ｍｄａｔコンテナー２００、ｍｏｏｖコンテナー３００、及びメタコンテナー４００の生成順序に関係なく、ｆｔｙｐヘッダー１００、ｍｄａｔコンテナー２００、ｍｏｏｖコンテナー３００、及びメタコンテナー４００を含むフォーマットでメモリ５０に３Ｄ映像データを格納すれば良い。
上記のような手順を通じて、３Ｄ映像生成部３０によって生成される３Ｄ映像データは、ｆｔｙｐヘッダー１００、ｍｄａｔコンテナー２００、ｍｏｏｖコンテナー３００、及びメタコンテナー４００を含むフォーマットでメモリ５０に格納されることができる。このように、３Ｄ映像データは、国際標準ファイルフォーマット、すなわちＩＳＯベースのメディアファイルフォーマットと互換される方式で管理されることができる。
図８は、本発明の他の実施形態によるステレオスコピック映像の構成の一例を示す。図８を参照すると、本発明の実施形態による複合映像に含まれるステレオスコピック映像は、複数のフラグメントを含むことができる。例えば、ステレオスコピック映像は、フラグメントＳ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５を含むことができる。各フラグメントは、ステレオスコピック映像情報が変化するポイントで相互に区分されることができる。
図９は、本発明の他の実施形態による３Ｄ映像データの格納フォーマットの一例を概念的に示す。図９を参照すると、本発明の実施形態による３Ｄ映像データの格納フォーマットは、ＩＳＯベースのメディアファイルフォーマットに基づき、複合映像データの構成情報がｍｏｏｖコンテナー３００に格納されているケースを例示する。
メタコンテナー４００のｓｎｍｉボックス４０６は、モノスコピック映像及び複数の映像(例えば、左右映像)で構成されるステレオスコピック映像のサイズ、ステレオスコピック映像を撮影するカメラの情報、ディスプレイ情報、及びステレオスコピック映像の構成情報を含む。特に、ステレオスコピック映像に含まれるフラグメントの数は、ｓｎｍｉボックス４０６に定義されている。フラグメントは、同一の構成情報によってグルーピングされる。また、対応するグルーピング情報は、ｓｎｍｉボックス４０６に記録される。
ｉｌｏｃボックス４０２は、ステレオスコピック映像情報が変化するポイントに基づいて、ステレオスコピック映像ストリームとモノスコピック映像ストリームに順次に割り当てられる識別子(例えば、ｉｔｅｍ_ＩＤ)、メモリのアドレス値(例えば、ｏｆｆｓｅｔ)、及び映像ストリームの長さ(例えば、ｌｅｎｇｔｈ)を含み、ｉｉｎｆボックス４０３は映像タイプ識別子(例えば、ｉｔｅｍ_ｎａｍｅ)を含む。例えば、アイテムがステレオスコピック映像である場合、この映像タイプ識別子は、ステレオスコピック映像を表す‘Ｓ’を有する識別コードに設定される。詳細には、映像タイプ識別子は、Ｓ１，Ｓ２，Ｓ３，…，Ｓｎに設定されることができる。また、アイテムがモノスコピック映像である場合に、映像タイプ識別は、ステレオスコピック映像を表す‘Ｍ’を有する識別コードに設定される。詳細には、映像タイプ識別子がＭ１，Ｍ２， Ｍ３，…，Ｍｎに設定されることができる。
好ましく、ｉｌｏｃボックス４０２及びｉｉｎｆボックス４０３は、単一のボックスとして形成される。
さらに、複合映像が２個のエレメンタリストリームで構成される場合でも、上述したように複数のフラグメントを含むステレオスコピック映像が採用される。図１０は、本発明の他の実施形態による３Ｄ映像データの格納フォーマットの他の例を示す。図１０を参照すると、本発明の実施形態による３Ｄ映像データの格納フォーマットは、図６と異なり、複合映像が２個のエレメンタリストリームで構成されることを例示する。例えば、２個のエレメンタリストリームは、左映像ストリームと右映像ストリームである。したがって、ｍｏｏｖコンテナー３００は、各ストリームの構成情報を記録する２個のｔｒａｋボックス３０３を含む。メタコンテナー４００のｓｎｍｉボックス４０６は、モノスコピック映像及び複数の映像(例えば、左右映像)で構成されるステレオスコピック映像のサイズ、ステレオスコピック映像を撮影するカメラの情報、ディスプレイ情報、及びステレオスコピック映像の構成情報を含む。特に、ステレオスコピック映像に含まれるフラグメントの数は、ｓｎｍｉボックス４０６に定義されている。フラグメントは、同一の構成情報によってグルーピングされる。また、対応するグルーピング情報は、ｓｎｍｉボックス４０６に記録される。
ｉｌｏｃボックス４０２は、ステレオスコピック映像情報が変化するポイントに基づいて、ステレオスコピック映像ストリームとモノスコピック映像ストリームに順次に割り当てられる識別子(例えば、ｉｔｅｍ_ＩＤ)、メモリのアドレス値(例えば、ｏｆｆｓｅｔ)、及び映像ストリームの長さ(例えば、ｌｅｎｇｔｈ)を含み、ｉｉｎｆボックス４０３は映像タイプ識別子(例えば、ｉｔｅｍ_ｎａｍｅ)を含む。ここで、識別子(例えば、ｉｔｅｍ_ＩＤ）及び映像タイプ識別子(例えば、ｉｔｅｍ_ｎａｍｅ)の割り当ては、ステレオスコピック映像情報が変わるポイントを基にする。
本発明の一実施形態による３Ｄ映像データの格納フォーマットにおいて、メタコンテナー４００は図９及び図１０に示すようにｍｏｏｖコンテナー３００に含まれているが、本発明はこれに限定されるものではない。例えば、メタデータが記録されるメタコンテナー４００は、ｆｔｙｐヘッダー１００又は別途のコンテナーに形成されることができる。
メタコンテナー４００の生成において、データ格納制御部４０は、各ステレオスコピック映像がフラグメント単位で区分されることを考慮する。すなわち、データ格納制御部４０は、下記の表６に示すプログラムに対応する演算を遂行することによって、各ステレオスコピック映像に含まれたフラグメントの数(ｉｔｅｍ_ｃｏｕｎｔ)を識別し、順次にｉｔｅｍ_ＩＤを割り当てる。また、同一の情報を含むフラグメントが存在する場合に、データ格納制御部４０は、別途の識別子(ｄｅｐｅｎｄｅｎｃｅ ｆｌａｇ)を用いて表示する。そして、データ格納制御部４０は、表６のプログラムに対応する演算を遂行することによって、同一の情報を含むフラグメントに対して別途のｉｔｅｍ_ＩＤを割り当てる。例えば、別途のｉｔｅｍ_ＩＤは、ｄｅｐｅｎｄｅｎｃｅ_ｉｔｅｍ_ＩＤであり得る。別途のｉｔｅｍ_ＩＤ、すなわちｄｅｐｅｎｄｅｎｃｅ_ｉｔｅｍ_ＩＤは、特定ｉｔｅｍ_ＩＤのフラグメントに含まれるような同一の情報を含むフラグメントを示し、既存のｉｔｅｍ_ＩＤを参照して使用されることができる。
Figure 0005231563
Figure 0005231563
また、データ格納制御部４０は、下記に示す表７のプログラムに対応する演算を遂行することによって同一の情報を含むフラグメントをグルーピングすることができる。すなわち、ＩＳＯベースのメディアファイルフォーマットで提供される“ｅｘｔｅｎｔ_ｃｏｕｎｔ”を用いて、データ格納制御部４０は、各ステレオスコピック映像に含まれた相互に異なるフラグメントタイプの数を演算して表示し、各タイプに従ってステレオスコピック映像関連情報を記録する。
Figure 0005231563
Figure 0005231563
さらに、データ格納制御部４０は、各ステレオスコピック映像に含まれたフラグメントの数に対応するｉｔｅｍ_ＩＤを割り当てるためのプログラムに対応する演算(すなわち、表６のプログラムに対応する演算)と、同一の情報を含むフラグメントをグルーピングする演算(すなわち、表７のプログラムに対応する演算)とを統合して遂行することが可能である。このような、統合された演算は、下記の表８のプログラムに対応する演算によって実現されることができる。
Figure 0005231563
Figure 0005231563
以上、本発明を具体的な実施形態に関して図示及び説明したが、添付した特許請求の範囲により規定されるような本発明の精神及び範囲を外れることなく、形式や細部の様々な変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。

Claims (17)

  1. 立体(３Ｄ)映像データを記録媒体に格納する方法であって、
    モノスコピック映像及びステレオスコピック映像を含む複合映像又は単一のステレオスコピック映像のいずれか一つを指示する映像タイプ情報をファイルタイプフィールドにロードするステップと、
    立体映像に含まれた複数のメディアオブジェクト間の時間的及び空間的関係を示すシーン記述情報、前記複数のメディアオブジェクトの各メディアオブジェクトの属性及び複数のメディアオブジェクトの符号化ストリームの構成関係を示すオブジェクト構成情報、及び前記符号化ストリームの構成情報を所定の映像構成情報コンテナーフィールドにロードするステップと、
    格納される映像のメディアデータを映像データコンテナーフィールドにロードするステップと、
    立体映像を再生するための情報を含むメタデータをメタコンテナーフィールドにロードするステップと、
    を具備し、
    前記メタデータは、複合映像及び単一のステレオスコピック映像に関する情報のうち少なくとも一つを含み、前記メタコンテナーフィールドのｓｎｍｉボックスに記録される
    ことを特徴とする方法。
  2. 前記メタコンテナーフィールドは前記所定の映像構成情報コンテナーフィールドに含まれることを特徴とする請求項１に記載の方法。
  3. 前記メタコンテナーフィールドは個別フィールドとして形成されることを特徴とする請求項１に記載の方法。
  4. 前記メタデータは、複合映像及び単一のステレオスコピック映像の構成情報、前記複合映像及び単一のステレオスコピック映像に含まれる映像のサイズ、撮影情報、及びディスプレイ情報を含むことを特徴とする請求項２に記載の方法。
  5. 前記メタデータは、前記複合映像に含まれたモノスコピック映像及びステレオスコピック映像の位置情報、前記モノスコピック映像及びステレオスコピック映像のデータサイズ情報、及び前記モノスコピック映像及びステレオスコピック映像の映像タイプ識別情報を含んでおり、
    前記位置情報及びデータサイズは、前記メタコンテナーフィールドのｉｌｏｃボックスに記録され、
    前記映像タイプ識別情報は、前記メタコンテナーフィールドのｉｉｎｆボックスに記録されることを特徴とする請求項４に記載の方法。
  6. 前記撮影情報は、複数のカメラ間の距離、被写体との焦点距離、オブジェクトに対する回転角、最大垂直視差、及び複数のカメラレンズを通じて撮影される映像間の最小視差及び最大視差で構成されることを特徴とする請求項４に記載の方法。
  7. 各メディアデータのフレームレートが相互に異なる場合、前記ｓｎｍｉボックスは、基準メディアデータを示す情報と、合成映像のタイプによってまず圧縮されるメディアデータを示す情報を含むことを特徴とする請求項４に記載の方法。
  8. 前記ステレオスコピック映像は少なくとも一つのフラグメントで構成されることを特徴とする請求項２に記載の方法。
  9. 前記ステレオスコピック映像は複数のフラグメントを含み、同一の映像情報を包含するフラグメントはフラグメントグループに一緒にグルーピングされ、前記フラグメントは前記フラグメントグループによって前記メタコンテナーフィールドに記録されることを特徴とする請求項８に記載の方法。
  10. 相互に異なる映像情報を包含するフラグメントの数を計算し、前記計算されたフラグメントの数に基づき、各フラグメントによって示される映像情報は前記メタコンテナーに記録されることを特徴とする請求項９に記載の方法。
  11. 前記メタデータは、複合映像及び単一のステレオスコピック映像の構成情報、前記複合映像及び単一のステレオスコピック映像に含まれた映像のサイズ、撮影情報、及びディスプレイ情報を含み、前記メタコンテナーフィールドのｓｎｍｉボックスに記録されることを特徴とする請求項３に記載の方法。
  12. 前記メタデータは、前記複合映像に含まれたモノスコピック映像及びステレオスコピック映像の位置情報、前記モノスコピック映像及びステレオスコピック映像のデータサイズ、及び前記モノスコピック映像及びステレオスコピック映像の映像タイプ識別情報を含み、
    前記位置情報及びデータサイズは前記メタコンテナーフィールドのｉｌｏｃボックスに記録され、
    前記映像タイプ識別情報は前記メタコンテナーフィールドのｉｉｎｆボックスに記録されることを特徴とする請求項１１に記載の方法。
  13. 前記撮影情報は、複数のカメラ間の距離、被写体に対する複数のカメラとの焦点距離、オブジェクトに対する回転角、最大の垂直視差、前記複数のカメラレンズを通じて撮影された映像間の最小及び最大視差を含むことを特徴とする請求項１１に記載の方法。
  14. 前記ｓｎｍｉボックスは、各メディアデータのフレームレートが相互に異なる場合に、基準メディアデータを示す情報と合成映像のタイプによってまず圧縮されるメディアデータを示す情報を含むことを特徴とする請求項１１に記載の方法。
  15. 前記ステレオスコピック映像は少なくとも一つのフラグメントで構成されることを特徴とする請求項３に記載の方法。
  16. 前記ステレオスコピック映像は複数のフラグメントを含むことによって、同一の映像情報を包含するフラグメントはフラグメントグループに一緒にグループ化され、前記フラグメントは前記メタコンテナーフィールドに前記フラグメントグループによって記録されることを特徴とする請求項１５に記載の方法。
  17. 異なる映像情報を包含するフラグメントグループの数を計算し、前記計算されたフラグメントの数に基づき、各フラグメントによって示される映像情報は前記メタコンテナーフィールドに記録されることを特徴とする請求項１６に記載の方法。
JP2010529881A 2007-10-19 2008-10-20 立体映像データを記録する方法 Active JP5231563B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20070105831 2007-10-19
KR10-2007-0105831 2007-10-19
KR20070131535 2007-12-14
KR10-2007-0131535 2007-12-14
PCT/KR2008/006193 WO2009051457A2 (en) 2007-10-19 2008-10-20 Method of recording three-dimensional image data

Publications (2)

Publication Number Publication Date
JP2011502382A JP2011502382A (ja) 2011-01-20
JP5231563B2 true JP5231563B2 (ja) 2013-07-10

Family

ID=40567991

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010529881A Active JP5231563B2 (ja) 2007-10-19 2008-10-20 立体映像データを記録する方法

Country Status (8)

Country Link
US (1) US8922621B2 (ja)
EP (1) EP2213093B1 (ja)
JP (1) JP5231563B2 (ja)
KR (1) KR101533114B1 (ja)
CN (1) CN101868970B (ja)
BR (1) BRPI0818398B1 (ja)
MX (1) MX2010004275A (ja)
WO (1) WO2009051457A2 (ja)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101506217B1 (ko) * 2008-01-31 2015-03-26 삼성전자주식회사 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치
KR101530713B1 (ko) * 2008-02-05 2015-06-23 삼성전자주식회사 영상 파일을 생성하고 표시하기 위한 장치 및 방법
US20090199100A1 (en) * 2008-02-05 2009-08-06 Samsung Electronics Co., Ltd. Apparatus and method for generating and displaying media files
US9088817B2 (en) 2009-06-16 2015-07-21 Lg Electronics Inc. Broadcast transmitter, broadcast receiver and 3D video processing method thereof
KR101473035B1 (ko) 2009-06-19 2014-12-16 한국전자통신연구원 프리셋을 이용한 객체기반 오디오 시스템, 객체기반 오디오 제공 방법 및 객체기반 오디오 재생 방법
JP5227910B2 (ja) * 2009-07-21 2013-07-03 株式会社コナミデジタルエンタテインメント ビデオゲーム装置、ゲーム画像表示方法及びゲーム画像表示プログラム
RU2554465C2 (ru) * 2009-07-27 2015-06-27 Конинклейке Филипс Электроникс Н.В. Комбинирование 3d видео и вспомогательных данных
JP2011087195A (ja) * 2009-10-16 2011-04-28 Sony Corp 画像処理装置および画像処理方法
US20120212579A1 (en) * 2009-10-20 2012-08-23 Telefonaktiebolaget Lm Ericsson (Publ) Method and Arrangement for Multi-View Video Compression
EP2381693A4 (en) * 2009-11-18 2012-12-26 Jvc Kenwood Corp THREE-DIMENSIONAL IMAGE DISPLAY DEVICE AND MOTION VECTOR CALCULATION METHOD
US8743178B2 (en) * 2010-01-05 2014-06-03 Dolby Laboratories Licensing Corporation Multi-view video format control
KR20110096494A (ko) * 2010-02-22 2011-08-30 엘지전자 주식회사 전자 장치 및 입체영상 재생 방법
JP5449535B2 (ja) 2010-04-28 2014-03-19 富士フイルム株式会社 立体撮像装置及びその制御方法
CN102860019B (zh) * 2010-04-28 2015-07-29 富士胶片株式会社 立体图像再生装置及方法、立体摄像装置、立体显示器装置
US9030536B2 (en) 2010-06-04 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for presenting media content
JP5510097B2 (ja) * 2010-06-16 2014-06-04 ソニー株式会社 信号伝送方法、信号送信装置および信号受信装置
US8593574B2 (en) 2010-06-30 2013-11-26 At&T Intellectual Property I, L.P. Apparatus and method for providing dimensional media content based on detected display capability
US9787974B2 (en) 2010-06-30 2017-10-10 At&T Intellectual Property I, L.P. Method and apparatus for delivering media content
US8640182B2 (en) 2010-06-30 2014-01-28 At&T Intellectual Property I, L.P. Method for detecting a viewing apparatus
US8918831B2 (en) 2010-07-06 2014-12-23 At&T Intellectual Property I, Lp Method and apparatus for managing a presentation of media content
US9049426B2 (en) 2010-07-07 2015-06-02 At&T Intellectual Property I, Lp Apparatus and method for distributing three dimensional media content
US9232274B2 (en) 2010-07-20 2016-01-05 At&T Intellectual Property I, L.P. Apparatus for adapting a presentation of media content to a requesting device
US9032470B2 (en) 2010-07-20 2015-05-12 At&T Intellectual Property I, Lp Apparatus for adapting a presentation of media content according to a position of a viewing apparatus
US9560406B2 (en) 2010-07-20 2017-01-31 At&T Intellectual Property I, L.P. Method and apparatus for adapting a presentation of media content
EP2596637B1 (en) * 2010-07-21 2021-08-04 Dolby Laboratories Licensing Corporation Systems and methods for multi-layered frame-compatible video delivery
US8994716B2 (en) 2010-08-02 2015-03-31 At&T Intellectual Property I, Lp Apparatus and method for providing media content
JP5652642B2 (ja) * 2010-08-02 2015-01-14 ソニー株式会社 データ生成装置およびデータ生成方法、データ処理装置およびデータ処理方法
US8438502B2 (en) 2010-08-25 2013-05-07 At&T Intellectual Property I, L.P. Apparatus for controlling three-dimensional images
US8947511B2 (en) * 2010-10-01 2015-02-03 At&T Intellectual Property I, L.P. Apparatus and method for presenting three-dimensional media content
KR101212170B1 (ko) * 2010-12-10 2012-12-13 엘지디스플레이 주식회사 패턴드 리타더를 이용한 입체 영상 표시 장치 및 그 구동 방법
JP5750457B2 (ja) * 2011-01-25 2015-07-22 富士フイルム株式会社 立体動画処理装置、立体動画処理プログラム及びその記録媒体、立体撮像装置並びに立体動画処理方法
JP5695972B2 (ja) * 2011-05-20 2015-04-08 日立マクセル株式会社 コンテンツ受信機およびコンテンツ情報出力方法
US9030522B2 (en) 2011-06-24 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for providing media content
US9445046B2 (en) 2011-06-24 2016-09-13 At&T Intellectual Property I, L.P. Apparatus and method for presenting media content with telepresence
US9602766B2 (en) 2011-06-24 2017-03-21 At&T Intellectual Property I, L.P. Apparatus and method for presenting three dimensional objects with telepresence
US8947497B2 (en) 2011-06-24 2015-02-03 At&T Intellectual Property I, Lp Apparatus and method for managing telepresence sessions
US8587635B2 (en) 2011-07-15 2013-11-19 At&T Intellectual Property I, L.P. Apparatus and method for providing media services with telepresence
KR101903443B1 (ko) 2012-02-02 2018-10-02 삼성전자주식회사 멀티미디어 통신 시스템에서 장면 구성 정보 송수신 장치 및 방법
BR112013026086A2 (pt) * 2012-02-16 2020-08-11 Sony Corporation aparelho de transmissão, método de transmissão e aparelho de recepção
CN102780897A (zh) * 2012-05-31 2012-11-14 新奥特（北京）视频技术有限公司 一种单文件视频素材支持3d技术的方法
KR20150018125A (ko) * 2013-08-09 2015-02-23 엘지전자 주식회사 전자 디바이스 및 전자 디바이스와 통신하는 단말기
US9699390B2 (en) * 2014-09-02 2017-07-04 Htc Corporation Controlling method for image capturing and image integration
KR101979842B1 (ko) 2017-07-21 2019-05-17 안주신 신축암
CN107818594A (zh) * 2017-09-06 2018-03-20 北京矩阵空间科技有限公司 三维模型文件格式系统及读取方法
US11509878B2 (en) * 2018-09-14 2022-11-22 Mediatek Singapore Pte. Ltd. Methods and apparatus for using track derivations for network based media processing
CN109600601A (zh) * 2018-11-23 2019-04-09 维沃移动通信有限公司 一种存储3d图像的方法及终端设备
CN111953909B (zh) * 2019-05-16 2022-02-01 佳能株式会社 图像处理设备、图像处理方法和存储介质
CN110933364A (zh) * 2019-10-25 2020-03-27 深圳市道通智能航空技术有限公司 全向视觉避障实现方法、系统、装置及存储介质
US11589032B2 (en) * 2020-01-07 2023-02-21 Mediatek Singapore Pte. Ltd. Methods and apparatus for using track derivations to generate new tracks for network based media processing applications
EP3958566A1 (en) * 2020-08-17 2022-02-23 Axis AB Wearable camera and a method for encoding video captured by the wearable camera
CN115412760A (zh) * 2022-08-31 2022-11-29 海宁奕斯伟集成电路设计有限公司 视频帧图像的显示装置及方法
EP4336482A1 (en) * 2022-09-12 2024-03-13 Nokia Technologies Oy An apparatus for projecting images towards a user

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2180717B1 (en) 1996-12-04 2012-11-14 Panasonic Corporation Optical disk for high resolution and three-dimensional video recording, optical disk reproduction apparatus, and optical disk recording apparatus
JP2002095018A (ja) 2000-09-12 2002-03-29 Canon Inc 画像表示制御装置及び画像表示システム、並びに画像データの表示方法
JP2001238181A (ja) * 2001-01-12 2001-08-31 Sanyo Electric Co Ltd 立体情報記録媒体
US20030030675A1 (en) * 2001-08-09 2003-02-13 International Business Machines Corporation Entry panel processing system
US7277121B2 (en) 2001-08-29 2007-10-02 Sanyo Electric Co., Ltd. Stereoscopic image processing and display system
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
JP2004357156A (ja) 2003-05-30 2004-12-16 Sharp Corp 映像受信装置および映像再生装置
GB0319697D0 (en) * 2003-08-21 2003-09-24 Falanx Microsystems As Method of and apparatus for differential encoding and decoding
KR100540172B1 (ko) * 2003-09-04 2006-01-10 한국전자통신연구원 객체기반 다시점 비디오 서비스 시스템 및 그 방법
DE602004008794T2 (de) * 2003-09-30 2008-06-12 Koninklijke Philips Electronics N.V. Bildwiedergabe mit interaktiver bewegungsparallaxe
US7979886B2 (en) * 2003-10-17 2011-07-12 Telefonaktiebolaget Lm Ericsson (Publ) Container format for multimedia presentations
WO2006111919A2 (en) * 2005-04-22 2006-10-26 Koninklijke Philips Electronics, N.V. Auto-stereoscopic display with mixed mode for concurrent display of two- and three-dimensional images
KR100703715B1 (ko) * 2005-05-17 2007-04-06 한국전자통신연구원 다시점 3차원 동영상 송수신 시스템
KR100716142B1 (ko) * 2006-09-04 2007-05-11 주식회사 이시티 스테레오스코픽 영상 데이터의 전송 방법
US20100161686A1 (en) * 2007-06-19 2010-06-24 Electronic And Telecommunications Research Institute Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata
JP2011502375A (ja) * 2007-10-10 2011-01-20 韓國電子通信研究院 ステレオスコピックデータの保存および再生のためのメタデータ構造ならびにこれを利用するステレオスコピックコンテンツファイルの保存方法

Also Published As

Publication number Publication date
WO2009051457A2 (en) 2009-04-23
CN101868970A (zh) 2010-10-20
EP2213093B1 (en) 2015-10-14
EP2213093A4 (en) 2010-12-08
CN101868970B (zh) 2015-01-21
WO2009051457A3 (en) 2009-06-04
KR20090040245A (ko) 2009-04-23
MX2010004275A (es) 2010-07-29
EP2213093A2 (en) 2010-08-04
KR101533114B1 (ko) 2015-07-03
US20090122134A1 (en) 2009-05-14
BRPI0818398B1 (pt) 2021-02-23
US8922621B2 (en) 2014-12-30
JP2011502382A (ja) 2011-01-20

Similar Documents

Publication Publication Date Title
JP5231563B2 (ja) 立体映像データを記録する方法
US9781403B2 (en) Method and apparatus for generating stereoscopic file
EP2001235B1 (en) MPEG-4 format extension for recording stereoscopic or synthetic 3D video data with related metadata
JP7399224B2 (ja) メディアコンテンツを送信するための方法、装置及びコンピュータプログラム
US9602802B2 (en) Providing frame packing type information for video coding
EP2757788B1 (en) Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata
US8396906B2 (en) Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata
EP2071853B1 (en) System and method for generating and reproducing image file including 2D image and 3D stereoscopic image
US20090208119A1 (en) Method for generating and playing image files for slideshows
KR102339197B1 (ko) 어안 비디오 데이터에 대한 하이-레벨 시그널링
CN103202021A (zh) 编码装置、解码装置、再现装置、编码方法及解码方法
KR20120027366A (ko) 3ｄ 트릭플레이용 엔트리 포인트들
CN104137558B (zh) 用于显示三维图像的数字广播接收方法及其接收设备
KR101480186B1 (ko) 2ｄ 영상과 3ｄ 입체영상을 포함하는 영상파일을 생성 및재생하기 위한 시스템 및 방법
KR101434674B1 (ko) 스테레오스코픽 파일을 생성하기 위한 장치 및 방법
WO2012165218A1 (ja) 記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置
KR101382618B1 (ko) 콘텐츠 정보 생성 방법 및 콘텐츠 정보를 이용한 콘텐츠처리 장치
Jolly et al. Three-dimensional television: a broadcaster's perspective

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120214

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120514

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120521

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120710

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121112

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130321

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160329

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5231563

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250