[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2011223247A - 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム - Google Patents

情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム Download PDF

Info

Publication number
JP2011223247A
JP2011223247A JP2010089447A JP2010089447A JP2011223247A JP 2011223247 A JP2011223247 A JP 2011223247A JP 2010089447 A JP2010089447 A JP 2010089447A JP 2010089447 A JP2010089447 A JP 2010089447A JP 2011223247 A JP2011223247 A JP 2011223247A
Authority
JP
Japan
Prior art keywords
information
image
data
file
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010089447A
Other languages
English (en)
Inventor
Toshiya Hamada
俊也 浜田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010089447A priority Critical patent/JP2011223247A/ja
Priority to TW100109206A priority patent/TW201206155A/zh
Priority to KR1020127025412A priority patent/KR20130066569A/ko
Priority to PCT/JP2011/057536 priority patent/WO2011125574A1/ja
Priority to CN2011800268715A priority patent/CN102918850A/zh
Priority to US13/636,135 priority patent/US20130011124A1/en
Priority to EP11765474.9A priority patent/EP2557801A4/en
Publication of JP2011223247A publication Critical patent/JP2011223247A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/12Formatting, e.g. arrangement of data block or words on the record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327Table of contents
    • G11B27/329Table of contents on a disc [VTOC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/10537Audio or video recording
    • G11B2020/10592Audio or video recording specifically adapted for recording or reproducing multichannel signals
    • G11B2020/106113D video data
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2541Blu-ray discs; Blue laser DVR discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】記録メディアに記録された3次元画像の符号化処理に関する属性情報を容易に取得可能としたデータ記録再生構成を実現する。
【解決手段】3次元画像の属性情報を階層化された管理情報ファイルの各々に各管理情報ファイルの管理データ単位の属性として記録する。記録する属性情報に3次元画像の符号化処理に関する属性情報を含めて記録する。具体的には、3次元画像の復号時に、左眼用画像(L画像)と右眼用画像(R画像)の画像間参照が必要となる可能性があるか否かを示す画像間参照識別データ、あるいは、3次元画像の符号化にエントロピー符号化モードを使用しているか否かを示す符号化態様識別データを属性情報として記録する。この構成により、再生装置は再生対象データの解析を行うことなく符号化態様を判別して正しい復号処理を実行できる。
【選択図】図38

Description

本発明は、情報処理装置、情報記録媒体、および情報処理方法、並びにプログラムに関する。さらに詳細には、ディスクやフラッシュメモリなどの記録メディアを利用した3次元画像(3D画像)のデータ記録処理またはデータ再生処理を実行する情報処理装置、情報記録媒体、および情報処理方法、並びにプログラムに関する。
昨今、3次元画像(3D画像)を表示可能としたテレビなどの表示装置や、3次元画像(3D画像)を記録可能としたビデオカメラ、スチルカメラなどが開発され利用されている。3D画像は異なる視点からの撮影画像、すなわち左目用画像と右目用画像を利用して表示処理が行われる。従って、3次元画像をメディアに記録する場合は、左目用画像と右目用画像の1組の画像を記録することが必要となり、再生処理に際してはこれらの1組の画像を利用して再生を行うことになる。
3次元画像データの記録あるいは転送に際して行われる符号化方式には様々な方式がある。例えば、代表的な方式として、
フレームシーケンシャル(Frame Sequential)方式、
サイドバイサイド(Side by Side)方式、
トップアンドボトム(Top&Bottom)方式、
これらの方式が知られている。
フレームシーケンシャル(Frame Sequential)方式は、左目用画像(L画像)と右目用画像(R画像)のフレームをL、R、L、R、・・・と交互に記録/転送する符号化方式である。
サイドバイサイド(Side by Side)方式は、LR画像を1フレーム画像中の左右に分割して記録/転送する符号化方式である。
トップアンドボトム(Top&Bottom)方式は、LR画像を1フレーム画像中の上下に分割して記録/転送する符号化方式である。
現行はこのような様々な方式が混在して利用されている。例えば、テレビ放送向けにある放送局が配信している3Dコンテンツはサイドバイサイド方式である。また、あるビデオカメラによる記録方式はフレームシーケンシャル方式である。このような多様な方式が混在している現状では、例えば録画再生機にデータを記録する場合、それぞれの方式を判別するための情報や各方式に対応した制御情報や属性情報を記録することが必要となる。また再生時には各方式を判別して各方式に応じた制御情報や属性情報を利用して再生することが必要となる。しかしながら、現行のメディアに対する映像記録や再生規格には、これら様々な3次元画像方式の制御情報や属性情報の記録領域が設定されていないものが存在するという問題がある。
例えば、映像の記録再生アプリケーション規格(フォーマット)としてBDMVやBDAV規格(フォーマット)がある。これらのアプリケーション規格は、主にBD(Blu−ray Disc(登録商標))を利用したデータ記録再生アプリケーション規格として策定されたものである。なお、BD規格については例えば特許文献1(特開2002−158972号公報)、特許文献2(特開2007−179671号公報)に記載がある。なお、BDMVやBDAVは、主にBDを利用したデータ記録再生のアプリケーション規格であるが、これらの規格はBDに限らず、フラッシュメモリなど、その他のBD以外のメディアを利用したデータ記録再生にも適用可能である。
BDMVは、例えば映画コンテンツなどを予め記録したBD−ROM向けに開発されたアプリケーション規格であり、主に、パッケージコンテンツ等の書き換え不能なBD−ROMで広く使われている。BDMVは、ユーザ操作に応じて再生を制御するプログラムとしてのナビコマンドやBD−Jをディスクに格納し、コンテンツ制作者が意図した様々なインタラクティブ機能を提供できるという特徴がある。またグラフィックスとボタンで構成したメニュー画面を利用した記録再生が出来るという特徴がある。
BDMV規格は、上述のように主に映画コンテンツなどを予め記録したBD−ROM向けのアプリケーション規格であり、コンテンツ制作者の意図に従ったコンテンツの記録再生が可能なようにコンテンツ固有の様々な制御情報や属性情報を記録できる仕様となっている。3次元画像の記録再生に必用となる制御情報や属性情報についてもBDMV規格に従って記録可能であり、既に、3Dコンテンツの記録されたBDMV規格対応のディスクがユーザに提供されている。
なお、2009年12月に、BDA(Blu−ray Disc Association)は、BD対応の3次元画像記録再生方式に関するブルーレイ3D(Blu−ray 3D)の仕様を最終決定したことを発表し、消費者が家庭で3D体験を楽しむ環境が整いつつある。この仕様については、非特許文献1[http://www.blu−raydisc.com/jp/Press/PressRelease.html]に記載がある。この仕様は、読み出し専用メディアであるBD−ROMに3Dコンテンツを格納可能とした拡張されたBDMV規格であり、「BD−ROM Part3 ver2.4」として規定されている。
一方、BDAVは、主に書き換え可能なBD−RE型ディスクや、一回のみ記録可能なBD−R型ディスク等を利用したデータ記録再生処理に適用することを目的として開発された規格である。BDAVは、例えばユーザがビデオカメラなどで撮影した映像をBD−RE型ディスクやBD−R型ディスクに記録し再生する際に利用される。あるいは、ビデオレコーダなどにテレビ放送を記録し再生するために利用される。しかし、BDAV規格はユーザによる容易なデータの記録を可能とするため、複雑な制御情報の記録や再生には不向きであるという特徴がある。例えば、BDMVに比較するとインタラクティブ機能やコンテンツ記録再生のための多様な制御を実現するための機能が少ないという特徴がある。
上述したようにBD−ROM向けのBDMV規格は3次元画像の記録再生が可能であるが、現行のBDAV規格は3次元画像コンテンツを記録し再生するために必要となる情報の記録領域が規定されていない。また、BD−ROM用途ではない、書き換え可能な記録媒体や一回のみ記録可能な記録媒体を利用したデータ記録再生アプリケーション規格であり、BDMV規格とも呼ばれるBD−RE Part3 ver3.xにおいても、BDAV規格と同様に、3次元画像コンテンツを記録し再生するために必要となる情報の記録領域が規定されていない。
従って、3次元画像を撮影可能なカメラによって撮影された3次元画像データをBDAV規格で記録しても、3次元画像の再生に必要なデータが失われ、3次元画像の再生ができなくなる可能性がある。同様に、放送波として受信する3次元画像コンテンツをBDレコーダ等によりBDAV規格で記録しても3次元画像の再生に必要なデータが失われてしまい、3次元画像の再生ができなくなるという問題が発生する可能性があった。
特開2002−158972号公報 特開2007−179671号公報
http://www.blu−raydisc.com/jp/Press/PressRelease.html
本発明は、例えば上述の状況に鑑みてなされたものであり、3次元画像の記録再生に必要となる情報の記録や、これらの情報を利用した3次元画像の再生を実現する情報処理装置、情報記録媒体、および情報処理方法、並びにプログラムを提供することを目的とする。
さらに、本発明の一実施態様では、例えばBDAV規格等、3次元画像の記録再生に必用となる情報の記録領域が規定されていない規格を適用したデータ記録再生処理において、3次元画像の記録や再生を可能とする情報処理装置、情報記録媒体、および情報処理方法、並びにプログラムを提供することを目的とする。
本発明の第1の側面は、
記録メディアに対するデータ記録処理を行うデータ処理部を有し、
前記データ処理部は、
記録メディアに対するデータ記録処理に際して、記録データに含まれる3次元画像の属性情報を階層化された管理情報ファイルの各々に各管理情報ファイルの管理データ単位の属性として記録する処理を実行し、
前記属性情報に3次元画像の符号化処理に関する属性情報を含めて記録する情報処理装置にある。
さらに、本発明の情報処理装置の一実施態様において、前記データ処理部は、前記3次元画像の復号時に、左眼用画像(L画像)と右眼用画像(R画像)の画像間参照が必要となる可能性があるか否かを示す画像間参照識別データを前記属性情報として前記管理情報ファイルに記録する処理を実行する。
さらに、本発明の情報処理装置の一実施態様において、前記データ処理部は、前記3次元画像の符号化にエントロピー符号化モードを使用しているか否かを示す符号化態様識別データを前記属性情報として前記管理情報ファイルに記録する処理を実行する。
さらに、本発明の情報処理装置の一実施態様において、前記エントロピー符号化モードを利用した処理は、CABAC(Context−based Adaptive Binary Arithmetic Coding)である。
さらに、本発明の情報処理装置の一実施態様において、前記データ処理部は、さらに、前記3次元画像の符号化方式を示す3次元画像構成情報を前記属性情報に含めて前記管理情報ファイルに記録する。
さらに、本発明の情報処理装置の一実施態様において、前記データ処理部は、
(a)画像データの格納ファイルであるストリームファイルに対応付けて設定されるクリップ情報ファイル、
(b)前記クリップ情報ファイルに対する再生区間指定情報を持つプレイリストファイル、
上記(a)〜(b)に示す管理情報ファイルの各々に各管理情報ファイルの管理データ単位で前記属性情報を記録する。
さらに、本発明の第2の側面は、
記録メディアからのデータ再生処理を行うデータ処理部を有し、
前記データ処理部は、
記録メディアからのデータ再生処理に際して、記録メディアに記録された符号化された3次元画像の属性情報を階層化された管理情報ファイルの各々から順次読み出し、各管理情報ファイルの管理データ単位の属性として3次元画像の符号化処理に関する属性情報を取得し、取得した属性情報に従って復号処理を行う情報処理装置にある。
さらに、本発明の情報処理装置の一実施態様において、前記データ処理部は、前記3次元画像の復号時に、左眼用画像(L画像)と右眼用画像(R画像)の画像間参照が必要となる可能性があるか否かを示す画像間参照識別データを前記属性情報から取得し、取得した画像間参照識別データに従って画像間参照の要否を判定して復号処理を実行する。
さらに、本発明の情報処理装置の一実施態様において、前記データ処理部は、前記3次元画像の符号化にエントロピー符号化モードを使用しているか否かを示す符号化態様識別データを前記属性情報から取得し、取得した符号化態様識別データに応じて復号態様を決定して復号処理を実行する。
さらに、本発明の情報処理装置の一実施態様において、前記エントロピー符号化モードを利用した処理は、CABAC(Context−based Adaptive Binary Arithmetic Coding)である。
さらに、本発明の情報処理装置の一実施態様において、前記属性情報は、3次元画像の符号化方式を示す3次元画像構成情報を含み、前記データ処理部は、前記3次元画像構成情報に基づいて、前記記録メディアに記録された3次元画像の符号化方式を判別する。
さらに、本発明の情報処理装置の一実施態様において、前記属性情報は、
(a)画像データの格納ファイルであるストリームファイルに対応付けて設定されるクリップ情報ファイル、
(b)前記クリップ情報ファイルに対する再生区間指定情報を持つプレイリストファイル、
上記(a)〜(b)に示す管理情報ファイルの各々に記録され、
前記データ処理部は、プレイリストファイル、次にクリップ情報ファイルの順で再生対象データに応じて選択される管理情報ファイルから管理データ単位の属性情報を読み出す。
さらに、本発明の第3の側面は、
画像データを記録した情報記録媒体であり、
再生対象となるコンテンツとして3次元画像データを格納したストリームファイルと、
前記コンテンツの管理情報を格納した階層化構成を持つ管理情報ファイルを記録データとして有し、
前記階層化された管理情報ファイルの各々は、記録コンテンツに含まれる3次元画像の属性情報として、前記3次元画像データの符号化処理に関する属性情報を格納し、
前記コンテンツを再生する再生装置が、管理情報ファイルの階層に従って前記属性情報を順次参照することで、情報記録媒体の記録コンテンツに含まれる3次元画像の符号化処理に関する属性を各管理情報ファイルの管理データ単位の属性として解析可能とした構成を持つ情報記録媒体にある。
さらに、本発明の情報記録媒体の一実施態様において、前記属性情報は、前記3次元画像の復号時に左眼用画像(L画像)と右眼用画像(R画像)の画像間参照が必要となる可能性があるか否かを示す画像間参照識別データを含み、前記再生装置が、前記画像間参照識別データに従って画像間参照の要否を判定して復号処理を実行可能とした。
さらに、本発明の情報記録媒体の一実施態様において、前記属性情報は、前記3次元画像の符号化にエントロピー符号化モードを使用しているか否かを示す符号化態様識別データを含み、前記再生装置が、前記符号化態様識別データに応じて復号態様を決定して復号処理を実行可能とした。
さらに、本発明の情報記録媒体の一実施態様において、前記属性情報は、
(a)画像データの格納ファイルであるストリームファイルに対応付けて設定されるクリップ情報ファイル、
(b)前記クリップ情報ファイルに対する再生区間指定情報を持つプレイリストファイル、
上記(a)〜(b)に示す管理情報ファイルの各々に記録され、
前記再生装置が、まずプレイリストファイル、次にクリップ情報ファイルの順で再生対象データに応じて選択される管理情報ファイルから前記属性情報を読み出し、各管理情報ファイルの管理するデータ単位で3次元画像の符号化処理に関する属性を解析可能とした。
さらに、本発明の第4の側面は、
情報処理装置において記録メディアに対するデータ記録処理を実行する情報処理方法であり、
データ処理部が、記録メディアに対するデータ記録処理に際して、記録データに含まれる3次元画像の属性情報を階層化された管理情報ファイルの各々に各管理情報ファイルの管理データ単位の属性として記録する処理を実行し、
前記属性情報に3次元画像の符号化処理に関する属性情報を含めて記録する情報処理装方法にある。
さらに、本発明の第5の側面は、
情報処理装置において記録メディアからのデータ再生処理を実行する情報処理方法であり、
データ処理部が、記録メディアからのデータ再生処理に際して、記録メディアに記録された符号化された3次元画像の属性情報を階層化された管理情報ファイルの各々から順次読み出し、各管理情報ファイルの管理データ単位の属性として3次元画像の符号化処理に関する属性情報を取得し、取得した属性情報に従って復号処理を行う情報処理方法にある。
さらに、本発明の第6の側面は、
情報処理装置において記録メディアに対するデータ記録処理を実行させるプログラムであり、
データ処理部に、記録メディアに対するデータ記録処理に際して、記録データに含まれる3次元画像の属性情報を階層化された管理情報ファイルの各々に各管理情報ファイルの管理データ単位の属性として記録する処理を実行させ、
前記属性情報に3次元画像の符号化処理に関する属性情報を含めて記録する処理を実行させるプログラムにある。
さらに、本発明の第7の側面は、
情報処理装置において記録メディアからのデータ再生処理を実行させるプログラムであり、
データ処理部に、記録メディアからのデータ再生処理に際して、記録メディアに記録された符号化された3次元画像の属性情報を階層化された管理情報ファイルの各々から順次読み出させ、各管理情報ファイルの管理データ単位の属性として3次元画像の符号化処理に関する属性情報を取得させて、取得した属性情報に従って復号処理を行わせるプログラムにある。
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本発明の一実施例によれば、記録メディアに記録された3次元画像の符号化処理に関する属性情報を容易に取得可能としたデータ記録再生構成を実現する。3次元画像の属性情報を階層化された管理情報ファイルの各々に各管理情報ファイルの管理データ単位の属性として記録する。記録する属性情報に3次元画像の符号化処理に関する属性情報を含めて記録する。具体的には、3次元画像の復号時に、左眼用画像(L画像)と右眼用画像(R画像)の画像間参照が必要となる可能性があるか否かを示す画像間参照識別データ、あるいは、3次元画像の符号化にエントロピー符号化モードを使用しているか否かを示す符号化態様識別データを属性情報として記録する。この構成により、再生装置は再生対象データの解析を行うことなく符号化態様を判別して正しい復号処理を実行できる。
3次元画像の符号化方式について説明する図である。 3次元画像の符号化方式について説明する図である。 BDAV規格に従ってメディアに記録されるデータ記録構成であるBDAVディレクトリについて説明する図である。 BDAV規格に含まれる管理情報であるデータベースファイル(インフォファイル[info.bdav])〜クリップ情報ファイル)に基づくデータ管理構成について説明する図である。 プレイリストと再生パス情報(プレイアイテム)と、クリップ情報ファイルとクリップAVストリームファイルとの対応関係について説明する図である。 BDAV規格における管理情報ファイル(データベースファイル)として定義されているインフォファイル[info.bdav]のシンタクスを示す図である。 インフォファイル[info.bdav]のメーカプライベートデータ領域のシンタクスを説明する図である。 インフォファイル[info.bdav]のメーカプライベートデータ領域のメーカID[maker_ID]記録領域、メーカモデルコード記録領域の記録例を示す図である。 インフォファイル[info.bdav]のメーカプライベートデータ領域のデータブロック[data_block]記録領域に記録される3次元画像情報について説明する図である。 インフォファイル[info.bdav]のメーカプライベートデータ領域のデータブロック[data_block]記録領域に記録される3次元画像情報の具体例を示す図である。 プレイリストファイルのメーカプライベートデータ領域内のデータブロックのデータについて説明する図である。 プレイリストファイルのメーカプライベートデータ領域内のデータブロックに記録されるデータの具体例を示す図である。 プレイリストファイルのメーカプライベートデータ領域内のデータブロックに記録されるデータの具体例を示す図である。 プレイリストファイルのメーカプライベートデータ領域内のデータブロックに記録されるデータの具体例を示す図である。 プレイリストファイルのメーカプライベートデータ領域内のデータブロックに記録されるデータの具体例を示す図である。 プレイリストファイルのメーカプライベートデータ領域内のデータブロックに記録されるデータの具体例を示す図である。 メインパスとサプパスの利用形態について説明する図である。 プレイリストファイルのメーカプライベートデータ領域内のデータブロックに記録されるデータの具体例を示す図である。 プレイリストファイルのメーカプライベートデータ領域内のデータブロックに記録されるデータの具体例を示す図である。 プレイリストファイルのシンタクスを示す図である。 サブパス(サブプレイアイテム)情報記録領域142の記録データの詳細シンタクスを示す図である。 プレイリストファイルのサブパス(サブプレイアイテム)情報記録領域の記録データの具体例について説明する図である。 クリップ情報ファイルのシンタクスを示す図である。 クリップ情報ファイルのProgramInfoと、プログラムシーケンス(program_sequence)について説明する図である。 クリップ情報ファイルのProgramInfoのシンタクスを示す図である。 クリップ情報ファイルのCPIのシンタクスを示す図である。 クリップ情報ファイルのCPIに記録されるEPマップについて説明する図である。 クリップ情報ファイルのCPIに記録されるEPマップについて説明する図である。 クリップ情報ファイルのメーカプライベートデータ領域内のデータブロック[data_block]記録領域に記録される3次元画像情報(multiview_video_info)の具体例について説明する図である。 クリップ情報ファイルのメーカプライベートデータ領域内のデータブロック[data_block]記録領域に記録される3次元画像情報の具体例を示す図である。 クリップ情報ファイルのメーカプライベートデータ領域内のデータブロック[data_block]記録領域に記録される3次元画像情報の具体例を示す図である。 クリップ情報ファイルのメーカプライベートデータ領域内のデータブロック[data_block]記録領域に記録される3次元画像情報の具体例を示す図である。 クリップ情報ファイルのメーカプライベートデータ領域内のデータブロック[data_block]記録領域に記録される3次元画像情報の具体例を示す図である。 クリップ情報ファイルのメーカプライベートデータ領域内のデータブロック[data_block]記録領域に記録される3次元画像情報の具体例を示す図である。 クリップ情報ファイルのメーカプライベートデータ領域内のデータブロック[data_block]記録領域に記録される3次元画像情報の具体例を示す図である。 クリップ情報ファイルのメーカプライベートデータ領域内のデータブロック[data_block]記録領域に記録される3次元画像情報の具体例を示す図である。 情報処理装置の実行するコンテンツの記録処理シーケンスについて説明するフローチャートを示す図である。 情報処理装置の実行するクリップ情報ファイルに対する3次元画像情報の記録/更新処理シーケンスについて説明するフローチャートを示す図である。 情報処理装置の実行するクリップ情報ファイルに対する3次元画像情報としてのフレーム0画像識別フラグと、ベース画像識別フラグの記録/更新処理シーケンスについて説明するフローチャートを示す図である。 情報処理装置の実行するプレイリストファイルに対する3次元画像情報の記録/更新処理シーケンスについて説明するフローチャートを示す図である。 情報処理装置の実行するコンテンツの追記処理シーケンスについて説明するフローチャートを示す図である。 情報処理装置の実行するコンテンツの編集処理シーケンスについて説明するフローチャートを示す図である。 情報処理装置の実行するコンテンツの再生処理シーケンスについて説明するフローチャートを示す図である。 本発明の一実施例に係る情報処理装置の構成例について説明する図である。
以下、図面を参照しながら本発明の情報処理装置、情報記録媒体、および情報処理方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
1.記録メディアを利用した記録再生処理の対象となる3次元画像のソースおよび3次元画像の符号化方式についての概要
2.BDAV規格の概要
3.3次元画像情報の記録処理、および記録された3次元画像情報を利用した再生処理について
3−1.管理情報ファイル(データベースファイル)を利用した3次元画像情報の記録処理と利用処理について
3−1−a.インフォファイルに3次元画像情報を記録する例
3−1−b.プレイリストファイルに3次元画像情報を記録する例
3−1−c.プレイリストファイルの再生パス情報(サブプレイアイテム情報)に3次元画像情報を記録する例
3−1−d.クリップ情報ファイルに3次元画像情報を記録する例
4.情報処理装置の実行する処理シーケンスについて
4−1.コンテンツの記録処理シーケンス
4−2.クリップ情報ファイルに対する3次元画像情報の記録/更新処理シーケンス
4−3.クリップ情報ファイルに対する3次元画像情報としてのフレーム0画像識別フラグと、ベース画像識別フラグの記録/更新処理シーケンス
4−4.プレイリストファイルに対する3次元画像情報の記録/更新処理シーケンス
4−5.コンテンツの追記処理シーケンス
4−6.コンテンツの編集処理シーケンス
4−7.コンテンツの再生処理シーケンス
5.情報処理装置の構成例について
[1.記録メディアを利用した記録再生処理の対象となる3次元画像のソースおよび3次元画像の符号化方式についての概要]
まず、例えば、BD(Blu−ray Disc(登録商標))やフラッシュメモリ等、様々な記録メディアに記録可能な3次元画像の提供元としてのソース、および現在利用されている3次元画像の符号化方式についての概要を説明する。
記録メディアに記録可能な3次元画像の提供主体としては例えば以下のような提供主体がある。
(1)テレビ局等の放送事業者の提供する放送コンテンツ
(2)ビデオカメラの撮影コンテンツ
(3)インターネット等の通信ネットワークを介して提供されるネット配信コンテンツ
例えばこれらの3次元画像コンテンツが記録メディア(BD、フラッシュメモリなど)に対する記録コンテンツとなる。
3次元画像の記録あるいは転送処理に際しては、所定のフォーマットに従った符号化処理がなされる。3次元画像の符号化方式の例について説明する。
図1、図2を参照して3次元画像の符号化方式の以下の5つの方式について説明する。
(1)サイドバイサイド方式
(2)トップアンドボトム方式
(3)フレームシーケンシャル方式
(4)ビュー間参照ありストリーム方式(1または2ストリーム)(MVC)
(5)ビュー間参照なし2ストリーム方式
(1)サイドバイサイド(Side by Side)方式は、LR画像を1フレーム画像中の左右に分割して記録/転送する符号化方式である。なお、L画像は左眼用画像、R画像は右眼用画像を意味する。
(2)トップアンドボトム(Top&Bottom)方式は、LR画像を1フレーム画像中の上下に分割して記録/転送する符号化方式である。
(3) フレームシーケンシャル(Frame Sequential)方式は、左目用画像(L画像)と右目用画像(R画像)のフレームをL、R、L、R、・・・と交互に記録/転送する符号化方式である。
(4)ビュー間参照ありストリーム方式(1または2ストリーム)(MVC:Multi View Coding)は、L画像とR画像のいずれか一方を復号処理において参照される参照画像として設定したベースビュー、他方を復号処理において参照画像を参照して復号を行うノンベースビューとして設定した方式である。図に示す矢印は、各画像の復号に際して参照対象となる画像を示す矢印である。図に示す例は、L画像をベースビュー、R画像をノンベースビューとした例である。この方式では、L画像とR画像を各々個別のストリームとした2ストリーム方式と、L画像とR画像を混合した1つのストリームとして設定した1ストリーム方式がある。
(5)ビュー間参照なし2ストリーム方式は、L画像とR画像を、各々個別のストリームとした2ストリーム方式であり、L画像の復号にはL画像のみを参照し、R画像の復号にはR画像のみを参照する構成であり。LからRまたはRからLのビュー間参照を不要とした方式である。
3次元画像の符号化方式には、このように様々な符号化方式が存在し、放送コンテンツ、ビデオ記録コンテンツ等において利用される方式は統一されていないのが現状である。従って、3次元画像を例えばメディアに記録する場合には、これらの方式を判別可能な情報を記録するとともに、方式に応じた様々な制御情報や属性情報を記録することが必要となり、また再生時には、メディアに記録された3次元画像の符号化方式情報を読み取った方式に応じた復号処理を実行することが必要となる。
[2.BDAV規格の概要]
次に、例えばBD(Blu−ray Disc(登録商標))等の記録メディアを利用したデータ記録再生の規格(フォーマット)であるBDAV規格の概要について説明する。
前述したように、主にBD(Blu−ray Disc(登録商標))を利用したデータ記録再生のアプリケーション規格としてBDMV規格およびBDAV規格がある。なお、これらの規格はBDに限らず、フラッシュメモリなど、その他のメディアを利用したデータ記録再生にも適用可能な規格である。
BDMVは、例えば映画コンテンツなどを予め記録したBD−ROM向けに開発されたアプリケーション規格である。
BDAVは書き換え可能なBD−REや、一回のみ記録可能なBD−Rで利用することを目的に開発されたアプリケーション規格である。
図3を参照して、BDAV規格に従ってメディアに記録されるデータ記録構成であるBDAVディレクトリについて説明する。なお、BDAV規格にも様々なバージョンがあるが、以下において説明するBDAV規格はBD−RE2.1規格に対応したものである。図3に示すように、ルート[Root]ディレクトリの下に、ディレクトリ[BDAV]が置かれる。
ディレクトリ[BDAV]の直下に、
インフォファイル[info.bdav]、
メニューファイル[menu.tidx],[menu.tdt1/tdt2]
マークファイル[mark.tidx],[mark.tdt1/tdt2]
が記録される。
さらにBDAVディレクトリ[BDAV]の下位ディレクトリとして、
プレイリストディレクトリ[PLAYLIST]、
クリップ情報ディレクトリ[CLIPINF]、
ストリームディレクトリ[STREAM]、
が設定される。
プレイリストディレクトリ[PLAYLIST]にプレイリストファイル[xxxxx.mpls]が設定され、クリップ情報ディレクトリ[CLIPINF]にクリップ情報ファイル[xxxxx.clpi]が設定され、ストリームディレクトリ[STREAM]にAVストリームファイル[xxxxx.m2ts]が設定される。
インフォファイル[info.bdav]は、BDAV規格に従ったファイルであり、ディスク全体を管理するファイルであって、プレイリストのテーブルを持つファイルである。一方、インデックスファイルは、BDMV規格に従ったファイルであり、同様にディスク全体を管理するファイルであり、ムービーオブジェクトのテーブルをもつファイルである。このムービーオブジェクトからプレイリストファイルが指定されるため、インデックスファイルは、間接的にプレイリストを指定するファイルである。また、インフォファイルと、インデックスファイルはディスク全体を管理するファイルという点で共通である。そのため、BDMV形式で多種の3Dデータを記録する必要がある場合には、下記に述べるBDAV形式での追加と同様に、インフォファイルの代わりにインデックスファイルに記録すればよい。
メニューファイル[menu.tidx],[menu.tdt1/tdt2]は、各AVストリームファイルの代表画のサムネイル画像を格納する。[menu.tidx]がサムネイル管理情報を格納し、[menu.tdt1/tdt2]がサムネイル画像を格納している。
BDAV規格では、BDMV規格と違い、様々な情報を持つメニューの作成機能がなく、例えばユーザの撮影した映像の先頭画像をサムネイルとして表示する簡易的なメニュー表示を行う設定としている。メニューファイル[menu.tidx],[menu.tdt1/tdt2]はこのためのサムネイル画像を管理、格納している。
マークファイル[mark.tidx],[mark.tdt1/tdt2]は、ユーザの撮影画像(AVストリームファイル)に対する編集処理などにおいて設定したインデックス情報であるマーク位置に対応するサムネイル画像を管理、格納しているファイルである。[mark.tidx]がサムネイル管理情報を格納し、[mark.tdt1/tdt2]がサムネイル画像を格納している。
プレイリストディレクトリ[PLAYLIST]にプレイリストファイル[xxxxx.mpls]が設定され、クリップ情報ディレクトリ[CLIPINF]にクリップ情報ファイル[xxxxx.clpi]が設定され、ストリームディレクトリ[STREAM]にクリップAVストリームファイル[xxxxx.m2ts]が設定される。
インフォファイル〜クリップ情報ファイルはクリップAVストリームファイルに格納されたデータの再生に適用する管理情報ファイルである。これらの管理情報ファイルはデータベースファイル、またはデータベースとも呼ばれる。
インフォファイルは、メディア全体の記録データについての管理情報ファイルである。インフォファイルには、上述したようにプレイリストのテーブルを記録している。メディア(情報記録媒体)を記録再生装置に装填した際にはまずインフォファイルが読み込まれ、インフォファイルの記述情報に従ってタイトルを含むメニューが表示される。ユーザはメニュー上のタイトルを選択して選択的なコンテンツ再生を行うことができる。
プレイリストディレクトリ[PLAYLIST]に記録されるプレイリストファイル[xxxxx.mpls]は、ユーザに見せるタイトルに対応して設けられ、少なくとも1以上の再生パス情報(プレイアイテム)で構成される再生リストである。各再生パス情報(プレイアイテム)は、クリップに対する再生開始点(IN点)と再生終了点(OUT点)を持つ再生区間指定情報である。例えば複数のプレイリストの複数の再生パス情報(プレイアイテム)を時間軸上に並べることで、それぞれの再生区間の再生順序を指定することができる。
クリップ情報ディレクトリ[CLIPINF]に記録されるクリップ情報ファイル[xxxxx.clpi]は、ストリームディレクトリ[STREAM]に記録されるAVストリームファイル[xxxxx.m2ts]に対応して設定される。クリップ情報ファイルは、実際のストリームを再生する上で必要となるストリームに関する情報が記載されたファイルである。
ストリームディレクトリ[STREAM]に記録されるAVストリームファイル[xxxxx.m2ts]は、様々な符号化方式で符号化された画像データを含むストリームが格納されているファイルである。なお、AVストリームファイル[xxxxx.m2ts]はクリップAVストリームファイルとも呼ばれる。3次元画像データもこのAVストリームファイル(=クリップAVストリームファイル)内に格納される。
なお、クリップ情報ディレクトリ[CLIPINF]に記録されるクリップ情報ファイル[xxxxx.clpi]と、AVストリームファイルを併せてクリップと総称する場合がある。
上述したように、インフォファイル〜クリップ情報ファイルはクリップAVストリームファイルに格納されたデータの再生に適用する管理情報ファイルである。この管理情報ファイルは、インフォファイルの下位に1以上のプレイリストファイル、プレイリストファイルの下位に1以上のクリップ情報ファイルが設定された階層構成を持つ。すなわち複数の異なる管理情報ファイルが階層化された設定となっている。本発明の構成では、これらの階層化された管理情報ファイルの各々に3次元画像情報を記録し、メディアからのコンテンツ再生時には、これらの階層化された管理情報ファイルから順次、3次元画像情報を読み取って利用する。
再生装置は、例えば、インフォファイル、プレイリストファイル、クリップ情報ファイルの順で3次元画像情報を読み取って再生対象コンテンツに3次元画像が含まれるか否か、あるいは3次元画像の符号化態様等の詳細情報を取得して利用する。なお、この処理については後段において説明する。
図4を参照して、BDAV規格に含まれる管理情報であるデータベースファイル(インフォファイル〜クリップ情報ファイル)に基づくデータ管理構成について説明する。図4は、クリップAVストリーム、クリップ情報(Clip Information)、クリップ、プレイアイテム、プレイリスト、インフォファイルの関係を示すUML(Unified Modeling Language)図である。
インフォファイルは、例えばBDAV対応コンテンツを記録したディスク等のメディアに一つのみ存在する。再生装置は、まず、インフォファイルを読み出して、インフォに含まれるプレイリストファイルのテーブルに基づいてメニュー情報等を表示させることができる。表示されたメニューには、ディスクに記録したコンテンツに対応するプレイリスト等のリストが提示され、ユーザは、タイトルを指定してコンテンツを再生することができる。なお、コンテンツ実体データはクリップAVストリームファイルに格納されている。
インフォファイルに基づいてユーザに提示されるメニューに対するユーザの指定情報は、プレイリスト(PlayList)やプレイリスト内の再生パス情報(プレイアイテム)の指定処理となる。プレイリストは前述したように、再生区間指定情報となる再生パス情報(プレイアイテム)を有する。
再生パス情報(プレイアイテム)には、
メインパス(メインプレイアイテム(PlayItem))
サブパス(サブプレイアイテム(SubPlayItem))
これらの2種類が存在する。
これらのメインパス(メインプレイアイテム)、サブパス(サブプレイアイテム)の各々は、個別にある1つのクリップ(Clip)に対応付けられている。
メインパス(メインプレイアイテム)や、サブパス(サブプレイアイテム)は、再生開始点(IN time)と再生終了点(OUT time)の指定情報を持つ。これらの再生開始点(IN time)と再生終了点(OUT time)の指定情報は、クリップに1対1に対応付けられるクリップAVストリームファイルに含まれるコンテンツの再生区間指定情報として利用される。
このように、インフォに基づいてユーザに提示されるメニューに含まれるタイトルの指定情報がプレイリストやプレイアイテムの選択情報として利用され、選択された再生パス情報(プレイアイテム)に設定された再生開始点(IN time)と再生終了点(OUT time)に従って再生区間が決定され、決定した再生区間に応じてクリップであるクリップ情報ファイルおよびクリップAVストリームファイルが選択され再生が実行される。図4に示す構造を定義することにより、クリップAVストリームファイルを変更することなく、任意の部分だけを再生する、非破壊の再生順序指定を行うことが可能となる。
プレイリストと、プレイリストに含まれる再生パス情報(プレイアイテム)、さらに再生パス情報(プレイアイテム)によって再生開始/終了点を指定されるクリップ情報ファイル、クリップ情報ファイルと1対1に対応付けられた再生コンテンツを格納したクリップAVストリームファイルとの対応関係について、図5を参照して説明する。
図5には、プレイリストと、プレイリストに含まれる再生パス情報(プレイアイテム)、さらに再生パス情報(プレイアイテム)によって再生開始/終了点を指定されるクリップ情報ファイル、クリップ情報ファイルを示している。なお、クリップAVストリームファイル(Clip AV stream)とその付属情報であるクリップ情報ファイル(Clip Informatoion)は、1つのオブジェクトと考え、これらのセットをクリップ(Clip)と称する。
先に説明したように、プレイリストには、
メインパス(メインプレイアイテム(PlayItem))
サブパス(サブプレイアイテム(SubPlayItem))
が含まれる。これらは、各々が再生開始点(IN time)と再生終了点(OUT time)の指定情報を持つ。図5に示す、メインパス(メインプレイアイテム(PlayItem))と、サブパス(サブプレイアイテム(SubPlayItem))からクリップ情報ファイル(Clip Informatoion)に向けた矢印11が再生開始点(IN time)と再生終了点(OUT time)の指定情報に対応する。
これらの再生開始点(IN time)と再生終了点(OUT time)の指定情報は、クリップ情報ファイルに1対1に対応付けられるクリップAVストリームファイルに含まれるコンテンツの再生区間指定情報として利用される。
[3.3次元画像情報の記録処理、および記録された3次元画像情報を利用した再生処理について]
次に、3次元画像情報の記録処理、および記録された3次元画像情報を利用した再生処理について説明する。例えば、上述したBDAV規格など、既存のデータ記録再生規格(フォーマット)の多くは、3次元画像に関する属性情報を記録する領域を定義していないものが多い。このようなフォーマットに従って3次元画像を記録しても2次元画像と同様に記録され、再生時に通常の2次元画像として再生される可能性がある。以下では、このような問題を解決するために、記録メディアに3次元画像を記録する場合、記録画像が3次元画像であるか否かの情報や、3次元画像の符号化態様情報、さらに3次元画像の記録や再生に適用する制御情報等を含む様々な属性情報を記録し、再生時にこれらの属性情報を参照することで3次元画像を正しく再生可能とした構成について説明する。
本発明の構成は、階層化された管理情報ファイルの各々に3次元画像の属性情報である3次元画像情報を記録する。各管理情報ファイルには各ファイルの管理データ単位の属性情報が記録される。メディアからのコンテンツ再生時には、これらの階層化された管理情報ファイルから順次、3次元画像情報を読み取って、各管理情報ファイルの管理データ単位の属性を認識することが可能となり、各データ単位で正しい3次元画像の復号、再生処理が実現される。
なお、3次元画像を記録するメディアは、例えばBD(Blu−ray Disc(登録商標))やフラッシュメモリなど様々なメディアが利用可能である。本発明は特定の記録メディアに限らず、様々なメディアを利用した記録再生処理に適用できる。
また、以下では、3次元画像に関する情報の記録領域の定義のない記録再生フォーマットとしてBDAV規格(フォーマット)を例として説明するが、これは一例であり、本発明は、BDAV規格に限らず、その他の規格に対しても適用可能である。
(3−1.管理情報ファイル(データベースファイル)を利用した3次元画像情報の記録処理と利用処理について)
まず、BD(Blu−ray Disc(登録商標))などのディスクやフラッシュメモリなど、様々な記録メディアを利用したコンテンツ記録再生において、管理情報ファイル(データベースファイル)に3次元画像情報を記録する処理と利用処理について説明する。
先に説明したように、BDAV規格ではメディアに対するコンテンツ記録に際して、実体データとしてのコンテンツはAVストリームファイルに格納されて記録される。さらに、記録コンテンツの管理情報として管理情報ファイル(データベースファイル)が記録される。管理情報ファイル(データベースファイル)には以下のファイルが含まれる。
(a)インフォファイル[info.bdav]
(b)プレイリストファイル
(c)クリップ情報ファイル
以下において説明する例は、これらのデータベースファイルに3次元画像情報を記録し、再生時に利用する処理例である。
(3−1−a.インフォファイルに3次元画像情報を記録する例)
まず、インフォファイル[info.bdav])に3次元画像情報を記録する例について説明する。
図6に、BDAV規格における管理情報ファイル(データベースファイル)として定義されているインフォファイル[info.bdav]のシンタクスを示す。
なお、以下の説明では、BDAV規格で定義されている様々な管理情報についてのシンタクスについて図を参照して説明する。メディアへのデータ記録を実行する情報処理装置は、コンテンツ記録処理に際して以下において説明するシンタクスからなる管理情報を生成して記録する処理を行う。また、情報処理装置が、記録済みコンテンツの編集などの処理を実行して記録コンテンツを変更した場合も、変更に併せて管理情報の更新が実行されることになる。また、コンテンツを記録したメディアからデータ再生を実行する情報処理装置は、シンタクスに従って再生対象コンテンツである符号化ストリームを解析して復号処理を実行して再生データを生成する。
なお、以下の各図に示すシンタクスには、左からシンタクス項目(Syntax)、ビット長(No.of bits)、およびそのタイプ・伝送順序を示すニーモニック(Mnemonic)を要素として示してある。
図6に示すインフォファイル[info.bdav]は、図に示すように主として以下の3個のオブジェクトから構成される。
UI情報[UIAppInfoBDAV()]101、
プレイリスト情報[TableOfPlayLists()]102、
メーカプライベートデータ領域[MakersPrivateData()]103、
これらのオブジェクトである。
インフォファイル[info.bdav]は、プレイリストの指定情報を持つ。
上記情報中、UI情報[UIAppInfoBDAV()]101は、例えばコンテンツタイトル等を含むメニュー情報の表示に関する情報を記録した領域である。
プレイリスト情報[TableOfPlayLists()]102はタイトルに対応するコンテンツを再生するためのプレイリスト情報を記録した領域である。
メーカプライベートデータ領域[MakersPrivateData()]103は、例えば再生機器等の情報処理装置の提供メーカが自由な情報を記録できる領域である。例えば、記録再生装置のメーカが、記録再生装置において実行する各社の特別なアプリケーションのための情報などを自由に記録できる領域として設定されている。なお、[MakersPrivateData()]103は、各メーカが個別にプライベートデータを挿入できる設定となっている。
メーカプライベートデータ領域103のシンタクスを図7に示す。
図7に示すように、メーカプライベートデータ領域[MakersPrivateData()]103には、
メーカID[maker_ID]記録領域111
メーカモデルコード[maker_model_code]記録領域112
データブロック[data_block]記録領域113
これらのデータ記録領域が含まれる。
まず、これらのデータ記録領域の一般的な利用形態について説明する。
メーカID[maker_ID]記録領域111は、メーカプライベートデータを記録したメーカの識別情報記録領域である。例えばA社の記録再生装置がコンテンツ記録を実行してA社の装置固有のアプリケーションに適用するパラメータを記録する場合などには、A社の設定したIDを記録し、メーカプライベートデータの実データ記録領域にパラメータを記録する処理が行われる。
メーカモデルコード[maker_model_code]記録領域112は、そのメーカプライベートデータを記録した装置の製品識別情報等のコードである。
データブロック[data_block]記録領域113がメーカプライベートデータの実データ記録領域となる。
本実施例では、図7に示す
メーカID[maker_ID]記録領域111
メーカモデルコード[maker_model_code]記録領域112
データブロック[data_block]記録領域113
これらのデータ記録領域を利用して3次元画像情報(multiview_video_info)を記録する。
なお、データブロック[data_block]記録領域113には、メーカ固有の様々な情報が記録される。その一部として3次元画像情報(multiview_video_info)が記録されることになる。
各記録情報に応じて、メーカID[maker_ID]、メーカモデルコード[maker_model_code]、データブロック[data_block]、これらの3つのセットが設定可能となる。
従って、データブロック[data_block]記録領域113に3次元画像についての属性情報や制御情報を記録する場合、まず、データブロック[data_block]記録領域113に記録された情報が、3次元画像情報(multiview_video_info)であるか否かについてのインデックス情報を、
メーカID[maker_ID]記録領域111
メーカモデルコード[maker_model_code]記録領域112
これらのフィールドに記録する。具体的なデータ記録態様の一例を図8に示す。
メーカID[maker_ID]記録領域111には、データブロックに記録されたメーカプライベートデータが3次元画像情報であるか否かの識別情報を記録する。
例えば、図8に示すように、メーカID[maker_ID]記録領域111に、予め定義された3次元画像情報(multiview_video_info)に対応するID情報[0x2000]が記録されている場合、以下のデータブロックに記録された情報が3次元画像情報(multiview_video_info)であることを示す。
また、メーカモデルコード[maker_model_code]記録領域112には、データブロックに記録された3次元画像情報のバージョン情報を記録する。図8に示す例では、[0x0100]が3次元画像情報のバージョン情報である。
図7に示すデータブロック[data_block]記録領域113に記録される3次元画像情報(multiview_video_info)の具体例を図9に示す。
3次元画像情報(multiview_video_info)には、図9に示すようにフラグ情報[Index_multiview_video_flag]115が記録される。
フラグ情報115は、メディアに記録されたコンテンツにおけるBDAVディレクトリ下の設定コンテンツ(このインフォファイルによる管理対象コンテンツ)に3次元画像が含まれるか否かについての情報を設定したタフラグである。
フラグ情報115の具体例を図10に示す。
フラグの値=0:管理対象ディレクトリ下には2Dコンテンツのみ含まれ、3Dコンテンツは含まれない
フラグの値=1:管理対象ディレクトリ下に3Dコンテンツが含まれている可能性がある。
このようにフラグ=0/1のいずれかの情報が設定され、0の場合は、管理対象ディレクトリ下には2Dコンテンツのみ含まれ、3Dコンテンツは含まれない。1の場合は、管理対象ディレクトリ下に3Dコンテンツが含まれている可能性がある。
これらの情報を判別可能としている。
このようなフラグ情報をインフォファイルに含めることで、例えば再生装置はインフォファイルを利用して、メディアに格納されたコンテンツタイトルを含むメニュー表示を行う場合、フラグ情報に基づいて各タイトル対応のコンテンツに3次元画像が含まれるか否かの情報をユーザに提示することができる。
例えば、
タイトルA:3次元画像を含みます
タイトルB:2次元画像です タイトルC:3次元画像を含みます

このようなメニュー表示が可能となる。
なお、コンテンツ記録を行う装置は、記録コンテンツに3次元画像が含まれる場合、このフラグ=1にセットし、記録コンテンツに3次元画像が含まれない場合、このフラグ=0にセットしたインフォファイルを生成して記録する。なお、その後、記録データに対する編集や削除を行った場合、フラグの値は、クリップを確認して3Dコンテンツが消えていれば0にセットするといった更新処理を実行する。
(3−1−b.プレイリストファイルに3次元画像情報を記録する例)
次に、プレイリストファイルに3次元画像情報を記録する例について説明する。上述した例は、インフォファイル[info.bdav])のメーカプライベートデータ領域に3次元画像情報を記録する例について説明した。
プレイリストファイルは、先に図4、図5を参照して説明したように、インフォファイル[info.bdav]を用いたタイトル表示メニューから選択されたタイトルに対応して選択されるプレイリストを格納したファイルである。図5を参照して説明したように、プレイリストには、クリップに対する再生開始点(IN点)と再生終了点(OUT点)を持つ再生区間指定情報を持つ再生パス情報(プレイアイテム)を格納している。
メディアには複数のタイトル各々に対応付けられた複数のプレイリストファイルが存在する。これらプレイリストファイルの各々にも、インフォファイル[info.bdav]と同様、メーカプライベートデータ領域が設定されている。すなわち、例えば記録再生機器等の情報処理装置の提供メーカが自由な情報を記録できる領域である。
本例は、このプレイリストファイルのメーカプライベートデータ領域に3次元画像情報(multiview_video_info)を記録する例である。
なお、プレイリストファイルのメーカプライベートデータ領域にも、図7に示したインフォファイルと同様、
メーカID[maker_ID]記録領域
メーカモデルコード[maker_model_code]記録領域
データブロック[data_block]記録領域
これらのデータ記録領域が設定される。
プレイリストファイルのメーカプライベートデータ領域に3次元画像情報(multiview_video_info)を記録する場合、プレイリストファイルのメーカID記録領域にはデータブロックに記録されたデータが3次元画像情報であるか否かの識別情報を記録する。同様にプレイリストファイルのメーカモデルコード[maker_model_code]記録領域には、データブロックに記録された3次元画像情報のバージョン情報を記録する。これらは図8を参照して説明したインフォファイルの場合と同様の記録構成である。
次に、図11を参照してプレイリストファイルのメーカプライベートデータ領域内のデータブロック[data_block]記録領域に記録される3次元画像情報(multiview_video_info)の具体例について説明する。
プレイリストファイルのメーカプライベートデータ領域内のデータブロック[data_block]記録領域には、図11に示すように、以下の情報が記録される。
3次元画像フラグ[PlayList_multiview_video_flag]121、
3次元画像構成情報[PlayList_multiview_video_configuration]122、
フレーム0画像識別フラグ[PlayList_frame0_is_Left_flag]123、
ベース画像識別フラグ[PlayList_base_view_is_Left_flag]124、
メインパス画像識別フラグ[PlayList_MainPath_is_Left_flag]125、
符号化態様識別フラグ[PlayList_use_entropy_coding_mode_flag]126、
画像間参照識別フラグ[PlayList_use_inter−view_prediction_flag]127、
これらの情報が、各プレイリストファイルに記録される3次元画像情報である。
これらは各プレイリストファイルによって指定される再生対象コンテンツに関する管理情報であり、プレイリストファイルに含まれる再生パス情報(プレイアイテム)によって規定される再生指定区間のコンテンツに対応して設定される情報となる。
従って再生対象コンテンツが異なるプレイリストファイルには異なる情報が記録される。
コンテンツ記録を行う装置は、記録コンテンツに3次元画像が含まれるか否かを判別して、判別情報に応じてプレイリストファイルのメーカプライベートデータ領域内のデータブロック[data_block]記録領域に図11に示す3次元画像情報を記録する。
コンテンツ再生を実行する装置は、このプレイリストファイルに記録された情報を適用することで正しい3次元画像再生を実行できる。
図11に示すメーカプライベートデータ領域内のデータブロック[data_block]記録領域に記録される各情報の詳細例について、図12以下を参照して説明する。
(3次元画像フラグ[PlayList_multiview_video_flag]121)
まず、3次元画像フラグ121の具体例について図12を参照して説明する。
3次元画像フラグ121は、プレイリストの管理対象データに3次元画像が含まれる可能性があるか否かを示す3次元画像識別データである。図12に示すように、
3次元画像フラグの値=0:このプレイリストの再生対象コンテンツには2Dコンテンツのみ含まれ、3Dコンテンツは含まれない
3次元画像フラグの値=1:このプレイリストの再生対象コンテンツには3Dコンテンツが含まれている可能性がある。
このようにフラグ=0/1のいずれかの情報を記録する。
なお、本例では、プレイリストに含まれる再生パス(プレイアイテム)単位では3次元画像情報を持っていない例として説明しているが、プレイリストの下位区分であるプレイアイテム単位の情報としては、後述するクリップ情報ファイルのプログラムシーケンス(program_sequence)ごとに設定する3次元画像情報が利用できる。
また、1つのプレイリストに対応する記録コンテンツが、プレイアイテム単位で2D画像と3D画像が混在する可能性がある。この場合は、フラグ設定は、以下の設定とする。
3次元画像フラグの値=1:このプレイリストの再生対象コンテンツには3Dコンテンツが含まれている可能性がある。
この設定とする。
コンテンツ記録を実行する装置は、記録コンテンツに3次元画像が含まれるか否かを判別して、判別情報に応じて上記のフラグを記録する。
コンテンツ再生を実行する装置は、フラグの値を参照し、このプレイリストを利用して再生されるコンテンツに3次元画像が含まれるか否か識別できる。
(3次元画像構成情報[PlayList_multiview_video_configuration]122)
次に、3次元画像構成情報122の具体例について図13を参照して説明する。
3次元画像構成情報122は、このプレイリストによって再生されるコンテンツである3次元画像の符号化態様情報を記録する領域として設定される。
具体的には、図13に示すように以下の設定である。
値=3:サイドバイサイド方式(side by side)
値=4:トップアンドボトム方式(top and bottom)
値=5:フレームシーケンシャル方式(frame sequential)
値=30:MVC符号化2エレメンタリストリーム/1システムストリーム(1クリップAVストリーム)
値=31:MVC符号化2エレメンタリストリーム/2システムストリーム(2クリップAVストリーム)
値=32:MVC符号化1エレメンタリストリーム/1システムストリーム(1クリップAVストリーム)
値=40:独立2エレメンタリストリーム/1システムストリーム(1クリップAVストリーム)(MVC符号化でない)
値=41:独立2エレメンタリストリーム/2システムストリーム(2クリップAVストリーム)(MVC符号化でない)
このような符号化構成情報を記録する。
なお、プレイリスト内の3Dコンテンツの種別を知ることができない場合、あるいは、プレイリスト内で、3Dコンテンツの種別が混在している場合は、20(no information)とする。
値=3のサイドバイサイド方式は、図1(1)に示す符号化方式に対応する。
値=4のトップアンドボトム方式は、図1(2)に示す符号化方式に対応する。
値=5のフレームシーケンシャル方式は、図1(3)に示す符号化方式に対応する。
値30〜32のMVC符号化方式は、図2(4)に示す符号化方式に対応する。
この場合は、エレメンタリストリームが1または2、システムストリームが1または2の場合に分類されている。
値40〜41の符号化方式は、図2(5)に示す符号化方式に対応する。
この場合はエレメンタリストリームが2、システムストリームが1または2の場合に分類されている。
コンテンツ記録を実行する装置は、記録コンテンツに3次元画像が含まれる場合、その符号化態様情報に応じて上記の値を記録する。
コンテンツ再生を実行する装置は、上記の値を参照し、このプレイリストを利用して再生されるコンテンツの符号化態様を識別して、識別情報に対応した復号処理を実行することができる。
(フレーム0画像識別フラグ[PlayList_frame0_is_Left_flag]123)
次に、フレーム0画像識別フラグ123の具体例について図14を参照して説明する。
フレーム0画像識別フラグ123は、3次元画像の符号化方式がフレームシーケンシャル方式(図1(3)参照)の場合に記録され、再生時に利用される情報である。すなわち、図13を参照して説明した3次元画像構成情報=5の場合に利用される。
図1(3)に示すようにフレームシーケンシャル方式の場合、左眼用画像(L画像)と右眼用画像(R画像)が交互のフレームとして設定される。
例えば、
フレーム0が左眼用画像(L画像)
フレーム1が右眼用画像(R画像)
あるいは、
フレーム0が右眼用画像(R画像)
フレーム1が左眼用画像(L画像)
これらの組み合わせのいずれかとなる。
再生する場合、例えば表示装置には、L画像とR画像が交互に表示され、その表示に合わせて例えば、ユーザの装着したシャッタ式メガネのシャッタの開閉が実行される。
この処理によって、L画像はユーザの左眼のみによって観察され、R画像は右眼のみによって観察され正しい奥行き感を得ることができる。
しかし、L画像とR画像の取り違えが発生すると、表示部にL画像が表示されているタイミングにシャッタ式メガネの右眼がオープンし、R画像が表示されているタイミングにシャッタ式メガネの左眼がオープンするといった全く逆の設定での表示処理がなされる可能性がある。このような表示制御が実行されてしまうと正しい立体感を持つ3次元画像の観察ができなくなる。
このような事態を防止するための情報が、図14に示すフレーム0画像識別フラグ123である。すなわち、
フレーム0が左眼用画像(L画像)であるか、
フレーム0が右眼用画像(R画像)であるか、
これらのいずれであるかの情報を記録する領域である。
具体的には、例えば、図14に示すように、
値=2:フレーム0が右眼用画像(R画像)である。
値=3:フレーム0が左眼用画像(L画像)である。
これらの情報を記録する。
なお、プレイリスト内で、フレーム0とL/Rの対応付けが混在している場合、あるいは、対応付けの情報を取得できない場合は、0(no information)とする。
コンテンツ記録を実行する装置は、記録コンテンツに3次元画像が含まれ、その符号化態様が、フレームシーケンシャル方式である場合、フレーム情報に応じて上記の値を記録する。
コンテンツ再生を実行する装置は、このプレイリストを利用して再生されるコンテンツの復号処理に際して、上記の値を参照し、フレーム0がL画像であるかR画像であるかを正確に判別してLR画像の正しい再生表示を行うことができる。
(ベース画像識別フラグ[PlayList_base_view_is_Left_flag]124)
次に、図15を参照して、ベース画像識別フラグ124の具体例について説明する。
ベース画像識別フラグ124は、3次元画像の符号化方式がMVC符号化方式(図2(4)参照)の場合に記録され、再生時に利用される情報である。すなわち、図13を参照して説明した3次元画像構成情報=30〜33の場合に利用される。
図2(4)を参照して説明したMVC符号化方式ではL画像とR画像との間で参照符号化処理がなされる場合がある。ビュー間参照による符号化が行われた場合は、LRいずれかをベースビュー(基本画像)として、ベースビューを参照することで、他方の画像の復号が行われる。
ベース画像識別フラグ124は、このベースビューがL画像であるかR画像であるかを示す値である。具体的には、例えば、図15に示すように、
値=2:ベースビューは右眼用画像(R画像)である。
値=3:ベースビューは左眼用画像(L画像)である。
これらの情報を記録する。
なお、プレイリスト内で、ベースビューとL/Rの対応付けが混在している場合、あるいは、対応付けの情報を取得できない場合は、0(no information)とする。
コンテンツ記録を実行する装置は、記録コンテンツに3次元画像が含まれ、その符号化態様が、MVC符号化方式(図2(4)参照)の場合、ベースビュー情報に応じて上記の値を記録する。
コンテンツ再生を実行する装置は、このプレイリストを利用して再生されるコンテンツの復号処理に際して、上記の値を参照しベースビューがLRいずれの画像であるかを判別してLR画像を正しく復号して表示することができる。
(メインパス画像識別フラグ[PlayList_MainPath_is_Left_flag]125)
次に、図16を参照して、メインパス画像識別フラグ125の具体例について説明する。
メインパス画像識別フラグ125は、図2(5)を参照して説明した符号化方式、すなわち、[ビュー(view)間参照なしの独立ストリーム(2ストリーム)(MVCではない)]、この符号化方式で、かつ、独立2エレメンタリストリーム/2システムストリーム(2クリップAVストリーム)の場合に利用されるフラグを記録する。
具体的には、図13を参照して説明した3次元画像構成情報=41:独立2エレメンタリストリーム/2システムストリーム(2クリップAVストリーム)
この設定の場合に利用される。
このメインパス画像識別フラグ125は、プレイリストに設定される2つの以下のパス、すなわち、
メインパス(メインプレイアイテム)
サブパス(サブプレイアイテム)
これらの2つのパスの各々がL画像、R画像のどちらに対応するかを示すための情報が記録される。
具体的には、例えば、図16に示すように、
値=2:メインパスは右眼用画像(R画像)である。
値=3:メインパスは左眼用画像(L画像)である。
これらの情報を記録する。
なお、プレイリスト内で、メインパスとL/Rの対応付けが混在している場合、あるいは、対応付けの情報を取得できない場合は、0(no information)とする。
コンテンツ記録を実行する装置は、記録コンテンツに3次元画像が含まれ、その符号化態様が、図13を参照して説明した3次元画像構成情報=41:独立2エレメンタリストリーム/2システムストリーム(2クリップAVストリーム)の場合、作成または更新するプレイリストの設定に応じて上記の値を記録する。
コンテンツ再生を実行する装置は、このプレイリストを利用して再生されるコンテンツの復号処理に際して、上記の値を参照しメインパスとサブパスがそれぞれLR画像のいずれの画像の再生パスであるかを正確に判別可能となり、LR画像を正しく復号して表示することができる。
メインパスとサプパスの利用形態について、図17を参照して説明する。
図17には1つのプレイリスト130を示している。プレイリスト130は、
メインパス(メインプレイアイテム)131、
サブパス(サブプレイアイテム)132、
を有している。
メインパス(メインプレイアイテム)131は、クリップa,135に対する再生開始点(IN_time)と再生終了点(OUT_time)を保持し、クリップa135に対応付けられたAVストリームを再生する。
サブパス(サブプレイアイテム)132は、クリップb,136に対する再生開始点(IN_time)と再生終了点(OUT_time)を保持し、クリップb136に対応付けられたAVストリームを再生する。
このような設定の場合、メインパスとサブパスがLR画像のいずれに対応するかのパターンとして以下の2つのパターンがある。
(a)パターン1
メインパスによって指定されるクリップがL画像再生クリップ、
サブパスによって指定されるクリップがR画像再生クリップ、
(b)パターン2
メインパスによって指定されるクリップがR画像再生クリップ、
サブパスによって指定されるクリップがL画像再生クリップ、
このパターン1またはパターン2がある。
このような設定とすることで、L画像とR画像を1つのプレイリスト内のメインパス(メインプレイアイテム)131と、サブパス(サブプレイアイテム)132を利用して3次元画像再生を実行することができる。
しかし、再生装置は、メインパスとサブパスがLR画像のどちらに対応するかを知らないと、正しい3次元画像表示が実行できない。図16に示すメインパス画像識別フラグ125は、メインパスがL画像対応であるかR画像対応であるかを示すフラグであり、再生装置は、これらの情報を参照してLR画像を正しく復号して表示することができる。
(符号化態様識別フラグ[PlayList_use_entropy_coding_mode_flag]126)
次に、図18を参照して、符号化態様識別フラグ126の具体例について説明する。
符号化態様識別フラグ126は、図2(4)を参照して説明した符号化方式、すなわち、[ビュー(view)間参照ありストリーム(MVC)]、この符号化方式の場合に利用されるフラグを記録する。
具体的には、図13を参照して説明した3次元画像構成情報=30〜32の設定の場合に利用される。
符号化態様識別フラグ126は、符号化処理としてエントロピー符号化モード(entropy coding mode)を使用した符号化処理を実行しているか否かを示す識別フラグである。
なお、エントロピー符号化モード(entropy coding mode)を利用した符号化処理とは、具体的には、例えば、
CABAC(Context−based Adaptive Binary Arithmetic Coding)
を利用した符号化処理である。
エントロピー符号化モード(entropy coding mode)を利用しない符号化処理とは、具体的には、例えば、
CAVLC(Context−based Adaptive Variable Length Coding)
を利用した符号化処理である。
具体的には、例えば、図18に示すように、
値=1:エントロピー符号化モード(entropy coding mode)を利用していない。
値=2:エントロピー符号化モード(entropy coding mode)を利用している可能性がある。
これらの情報を記録する。
なお、プレイリストから再生されるビデオストリームについての情報を取得できない場合は、0(no information)とする。
コンテンツ記録を実行する装置は、記録コンテンツに3次元画像が含まれ、その符号化態様が、MVC符号化方式(図2(4)参照)の場合、符号化処理がエントロピー符号化モードを適用しているか否かに応じて上記の値を記録する。
コンテンツ再生を実行する装置は、このプレイリストを利用して再生されるコンテンツの復号処理に際して、上記の値を参照して符号化態様を知り、LR画像を正しく復号して表示することができる。
なお、例えば、再生装置は、エントロピー符号化モード(entropy coding mode)であるCAVLC符号化データの復号を実行できない装置である場合がある。このような場合は、符号化態様識別フラグ126の設定情報に基づいて、3次元画像の復号再生処理を中止し、L画像のみまたはR画像のみの再生による2次元画像の再生を行うといった処理も実行できる。このフラグがないと、再生装置は自己の再生可能な符号化態様で符号化されているか否かを識別できないため、復号処理を開始してしまい、結果として処理エラーが発生してしまう。
(画像間参照識別フラグ[PlayList_use_inter−view_prediction_flag]127)
次に、図19を参照して、画像間参照識別フラグ[PlayList_use_inter−view_prediction_flag]127について説明する。
画像間参照識別フラグ127も、図2(4)を参照して説明した符号化方式、すなわち、[ビュー(view)間参照ありストリーム(MVC)]、この符号化方式の場合に利用されるフラグを記録する。
具体的には、図13を参照して説明した3次元画像構成情報=30〜32の設定の場合に利用される。
画像間参照識別フラグ127は、図13を参照して説明した3次元画像構成情報=30〜32の設定の場合にビュー間参照が実行された符号化が行われているか否かを示す情報である。図2(4)を参照して説明した符号化方式、すなわち、[ビュー(view)間参照ありストリーム(MVC)]の設定に従った符号化処理においても、実際には、L画像とR画像との間の参照処理が実行されていない場合も存在する。
具体的には、1つのプレイリストに対して再生コンテンツとして利用される符号化データが、
L画像とR画像との間の参照がない符号化データのみ、
L画像とR画像との間の参照がある符号化データが含まれる、
これらの符号化データがある。
これら2種類のデータの識別を可能としたフラグが画像間参照識別フラグ127として設定される。
具体的には、例えば図19に示すように、
値=1:ビュー間参照なし
値=2:ビュー間参照が含まれる可能性がある
これらの情報が設定される。
なお、プレイリストから再生されるビデオストリームについての情報を取得できない場合は、0(no information)とする。
コンテンツ記録を実行する装置は、記録コンテンツに3次元画像が含まれ、その符号化態様が、MVC符号化方式(図2(4)参照)の場合、符号化処理においてビュー間参照が実行されているか否かに応じて上記の値を記録する。
コンテンツ再生を実行する装置は、このプレイリストを利用して再生されるコンテンツの復号処理に際して、上記の値を参照して符号化態様を知り、LR画像を正しく復号して表示することができる。
(3−1−c.プレイリストファイルの再生パス情報(サブプレイアイテム情報)に3次元画像情報を記録する例)
次に、プレイリストファイルの再生パス情報(サブプレイアイテム情報)に3次元画像情報を記録する例について説明する。
図20は、プレイリストファイルのシンタクスを示す図である。プレイリストファイルは、先に図4、図5を参照して説明したように、インフォファイルを用いたタイトル表示メニューから選択されたタイトルに対応して選択されるプレイリストを格納したファイルである。図5を参照して説明したように、プレイリストには、クリップに対する再生開始点(IN点)と再生終了点(OUT点)を持つ再生区間指定情報を持つ再生パス情報(プレイアイテム)を格納している。
再生パス情報(プレイアイテム)には、
メインパス(メインプレイアイテム(PlayItem))
サブパス(サブプレイアイテム(SubPlayItem))
これらの2種類が存在する。
これらのメインパス(メインプレイアイテム)、サブパス(サブプレイアイテム)の各々は、個別にある1つのクリップ(Clip)に対応付けられている。
3次元画像の符号化態様が、図13を参照して説明した3次元画像構成情報=41:独立2エレメンタリストリーム/2システムストリーム(2クリップAVストリーム)の場合、図16、図17を参照して説明したように、
プレイリストに含まれるメインパス(プレイアイテム)とサブパス(サブプレイアイテム)の各々がL画像とR画像の再生パスとして設定される。
すなわち、
(a)パターン1
メインパスによって指定されるクリップがL画像再生クリップ、
サブパスによって指定されるクリップがR画像再生クリップ、
(b)パターン2
メインパスによって指定されるクリップがR画像再生クリップ、
サブパスによって指定されるクリップがL画像再生クリップ、
このパターン1またはパターン2の設定で画像が記録される。
このいずれの設定で記録されたかについては、先に図13、図16を参照して説明したように、メインパス画像識別フラグ[PlayList_MainPath_is_Left_flag]125に記録され、再生時にはこのフラグを参照して識別することができる。
しかし、例えばビデオカメラで画像を撮影しメディアに記録する場合、プレイリストに設定されるメインパス(プレイアイテム)とサブパス(サブプレイアイテム)の組み合わせが、3次元画像を構成するL画像とR画像の組み合わせであるとは限らない。
例えば
メインパス(プレイアイテム)を通常の2次元画像データの再生用のパス
サブパス(サブプレイアイテム)をアフレコ用の音声データ用の再生パス
このような設定とする場合もある。
その他、メインパスとサブパスの利用形態としては、
ワイド画像と望遠画像各々の画像再生パス、
全景画像と、部分拡大画像各々の画像再生パス、 フォーカス位置の異なる2つの画像の再生パス、
このような異なる画像の再生パスの組み合わせといった設定が可能である。
このようにメインパス(プレイアイテム)は、メインの画像データ用の再生パス情報として利用されるが、サブパス(サブプレイアイテム)の利用形態はさまざまな形態となる。従って、再生時にはサブパスの利用形態を判別して再生を行うことが必要となる。
このための情報として、プレイリストファイルの再生パス情報(サブプレイアイテム情報)に3次元画像情報を記録する。
図20に示すプレイリストファイルのシンタクスには、プレイリストに含まれるメインパス(プレイアイテム)とサブパス(サブプレイアイテム)の固有情報を記録する領域が設定される。
メインパス(プレイアイテム)情報記録領域141、
サブパス(サブプレイアイテム)情報記録領域142、
これらの情報記録領域である。
サブパス(サブプレイアイテム)情報記録領域142の記録データの詳細シンタクスを図21に示す。図21に示すように、サブパス(サブプレイアイテム)情報記録領域142には、
サブパス(サブプレイアイテム)タイプ情報記録領域145
が設定される。
本処理例では、このサブパス(サブプレイアイテム)タイプ情報記録領域145にサブパス(サブプレイアイテム)が3次元画像を構成するLR画像のいずれか一方を再生するためのサブパス(サブプレイアイテム)であるか否かを識別するサブパス利用タイプ識別値を設定する。例えば、図22に示す値である。
図22に示す例では、サブパス利用タイプ識別値の設定は以下の通りである。
値=1:音声ストリーム用の再生パス
値=2:3次元画像の構成画像(LR画像)の1方の画像再生パス
このような値を設定する。
コンテンツ記録を実行する装置は、記録コンテンツに3次元画像が含まれ、その3次元画像が、1つのプレイリスト内のメインパス(プレイアイテム)とサブパス(サブプレイアイテム)をそれぞれLR画像の再生パスとして利用する場合、上記の値(2)を記録する。
コンテンツ再生を実行する装置は、このプレイリストを利用して再生されるコンテンツの復号処理に際して、上記の値を参照してサブパスが3次元画像を構成するLR画像の一方の画像の再生パスであることを確認してLR画像を正しく復号して表示することができる。
なお、BDAV規格では、1つのプレイリスト内のメインパス(プレイアイテム)に対してサブパス(サブプレイアイテム)を一つのみ、付加することができる。サブパス(サブプレイアイテム)は、メインパス(プレイアイテム)の時間軸上、全体あるいは一部分にのみ設定することが出来る。その際、サブパス(サブプレイアイテム)はメインパス中の複数のプレイアイテムの境界をまたぐような形で設定しても良い。
(3−1−d.クリップ情報ファイルに3次元画像情報を記録する例)
次に、クリップ情報ファイルに3次元画像情報を記録する例について説明する。
先に図3等を参照して説明したように、クリップ情報ディレクトリ[CLIPINF]に記録されるクリップ情報ファイル[xxxxx.clpi]は、ストリームディレクトリ[STREAM]に記録されるAVストリームファイル[xxxxx.m2ts]に対応して1対1の対応で設定される。クリップ情報ファイルは、実際のストリームを再生する上で必要となるストリームに関する情報が記載されたファイルである。
先に、インフォファイルと、プレイリストファイルのメーカプライベートデータ領域に3次元画像情報を記録する例について説明した。
クリップ情報ファイルにもプレイリストファイルやインフォファイルと同様、メーカプライベートデータ領域が設定される。すなわち、例えば記録再生機器等の情報処理装置の提供メーカが自由な情報を記録できる領域である。
本例は、このクリップ情報ファイルのメーカプライベートデータ領域に3次元画像情報(multiview_video_info)を記録する例である。
クリップ情報ファイルのシンタクスを図23に示す。クリップ情報ファイルは、図23に示すように6個のオブジェクトから構成される。それらは、
ClipInfo()201、
SequenceInfo()202、
ProgramInfo()203、
CPI()204、
ClipMark()205、および
MakersPrivateData()206、
である。
ClipInfo()201は、クリップ情報ファイルに対応するAVストリームファイルの属性情報を記録する。
SequenceInfo()202について説明する。
MPEG−2トランスポートストリームの中でSTC(System Time Clock(基準時間))の不連続点(システムタイムベースの不連続点)を含まない時間区間をSTC_sequenceと称し、Clipの中で、STC_sequenceは、stc_idの値によって特定される。同じSTC_sequenceの中で同じSTCの値は、決して現れない。従って、同じSTC_sequenceの中で同じPTS(Presentation Time Stamp(同期再生のための時間情報))の値もまた、決して現れない。AVストリームが、N(N>0)個のSTC不連続点を含む場合、Clipのシステムタイムベースは、(N+1)個のSTC_sequenceに分割される。
SequenceInfoは、STCの不連続(システムタイムベースの不連続)が発生する場所のアドレスを記録する。
ProgramInfo()203について説明する。図24を参照して説明する。クリップ情報ファイルによって再生される再生区間や時間区間であり、以下の特徴を持つ再生区間をプログラムシーケンス(program_sequence)と呼ぶ。
PCR_PID(Program Clock Reference Packet ID)の値が変わらない。
ビデオエレメンタリーストリームの数が変化しない。
それぞれのビデオストリームについてのPIDの値とそのVideoCodingInfoによって定義される符号化情報が変化しない。
オーディオエレメンタリーストリームの数が変化しない。
それぞれのオーディオストリームについてのPIDの値とそのAudioCodingInfoによって定義される符号化情報が変化しない。
プログラムシーケンス(program_sequence)は、同一の時刻において、ただ1つのシステムタイムベースを持ち、同一の時刻において、ただ1つのPMT(Program Map Table)を持つ。
MPEGデータを構成するトランスポートストリーム(TS)は複数のプログラムを含み、ストリームに含まれているプログラムとそのプログラムを構成している映像や音声ストリームなどのプログラムの要素との関係を表すテーブル情報が複数規定されている。テーブル情報はPSI(Program Specific Information)と呼ばれ、PAT (Program Association Table)、PMT(Program Map Table)など複数のテーブルが含まれる。PATにはプログラム番号に対応したPMTのPIDなどが記述され、PMTには対応するプログラムに含まれる映像、音声、付加データおよびPCRのPIDが記述される。PATとPMTを参照することによりストリームの中から目的のプログラムを構成するTSパケットを取り出すことができる。
ProgramInfo()は、プログラムシーケンス(program_sequence)が開始する場所のアドレスを記録する。SPN_program_sequence_startが、そのアドレスを示す。SPNはソースパケット番号である。
なお、プログラムシーケンス(program_sequence)の境界と、STC_sequenceの境界は必ずしも一致しない。また、プレイアイテム(PlayItem)が有する再生開始点(IN_time)と再生終了点(OUT_time)は、同一のSTC_sequence上にある必要があるが、プログラムシーケンス(program_sequence)に対してはそのような制限はない。すなわち、一般には、あるプレイアイテム(PlayItem)が有する再生開始点(IN_time)と再生終了点(OUT_time)が、異なるプログラムシーケンス(program_sequence)上に存在する場合がある。
図25は、ProgramInfoのシンタクスを示す図である。
num_of_program_sequencesは、クリップ情報ファイル内のプログラムシーケンス(program_sequence)の数を示す。
SPN_program_sequence_start[i]は、AVストリームファイル上でプログラムシーケンスが開始する場所の相対アドレスである。
program_map_PID[i]は、プログラムシーケンス(program_sequence)に有効なPMTのPIDを示す。 num_of_streams_in_ps[i]は、プログラムシーケンス(program_sequence)に存在するストリームの数を示す。
num_of_groups[i]は、プログラムシーケンス(program_sequence)が再生される際のストリームの組み合わせ数を示す。
次に、図23に示したシンタクス中の
CPI (Characteristic Point Information)204について説明する。図26は、CPIのシンタクスを示す図である。
CPIは、AVストリームの中の時間情報とそのファイルの中のアドレスとを関連づけるためのデータを記録する。具体的には、エントリポイントマップ(EPマップ(EP_map))210を記録する。
図27、図28を参照してEPマップ210について説明する。図27に示すように、EPマップ(EP_map)210は、クリップ情報ファイルに含まれるデータである。EPマップは、例えばランダムアクセス開始可能なポイント(エントリポイント)となるMPEGデータの基準データとしてのIピクチャ位置の検出情報を持つ。Iピクチャ位置の検出処理について図28参照して説明する。図28(A)はクリップAVストリームを示し、各矩形は192バイトソースパケットを示している。各ソースパケットにはタイムスタンプが設定され再生処理時間が規定されている。
図28(B)に、ソースパケットNo.(X1)の詳細構成を示す。1つのソースパケットは、TP_extraヘッダとトランスポートパケットとによって構成され、トランスポートパケットには、各種のヘッダ情報と、MPEGデータの実体としてのI−PICH〜のデータによって構成される。
図28(C)に示すクリップ情報ファイルには、前述したようにEPマップが含まれる。EPマップには、図に示すように、[PTS_EP start]、[SPN_EP start]、[I_end_position_offset]の各データが含まれる。各データの意味は、以下の通りである。
PTS_EP_start:シーケンスヘッダを含むsource packetに対応するタイムスタンプ(プレゼンテーションタイムスタンプ)。
SPN_EP_start:シーケンスヘッダを含むsource packetの先頭アドレス。
I_end_position_offset:シーケンスヘッダを含むsource packetから、Iピクチャの終わりを含むsource packetのオフセット
これらのデータ関係を示すのが図28(D)である。
すなわち、図28(B)に示すように、ソースパケットに含まれるデータの構成が規定されており、図28(C)に示す[PTS_EP start]、[SPN_EP start]、[I_end_position_offset]の各データをEPマップから求めることで、これらのデータに基づいて、ソースパケット中のIピクチャ位置が求められることになる。再生装置は、EPマップからIピクチャの位置を求めることで、任意の位置からの再生処理を行することができる。
次に、図23に示したシンタクス中の
ClipMark205について説明する。
ClipMark205は、クリップについてのマーク情報であり、ClipMarkの中にストアされる。このマークは、記録器(記録再生装置1)によってセットされるものであり、ユーザによってセットされるものではない。
次に、図23に示したシンタクス中の
MakersPrivateData()206、
について説明する。
クリップ情報ファイルにもプレイリストファイルやインフォファイルと同様、メーカプライベートデータ領域が設定される。すなわち、例えば記録再生機器等の情報処理装置の提供メーカが自由な情報を記録できる領域である。
本例は、このクリップ情報ファイルのメーカプライベートデータ領域に3次元画像情報(multiview_video_info)を記録する例である。
なお、クリップ情報ファイルのメーカプライベートデータ領域にも、図7に示したインフォファイルと同様、
メーカID[maker_ID]記録領域
メーカモデルコード[maker_model_code]記録領域
データブロック[data_block]記録領域
これらのデータ記録領域が設定される。
クリップ情報ファイルのメーカプライベートデータ領域に3次元画像情報(multiview_video_info)を記録する場合、クリップ情報ファイルのメーカID記録領域にはデータブロックに記録されたデータが3次元画像情報であるか否かの識別情報を記録する。同様にクリップ情報ファイルのメーカモデルコード[maker_model_code]記録領域には、データブロックに記録された3次元画像情報のバージョン情報を記録する。これらは図8を参照して説明したインフォファイルの場合と同様の記録構成である。
図29を参照してクリップ情報ファイルのメーカプライベートデータ領域内のデータブロック[data_block]記録領域に記録される3次元画像情報(multiview_video_info)の具体例について説明する。
クリップ情報ファイルのメーカプライベートデータ領域内のデータブロック[data_block]記録領域には、図29に示すように、例えば以下の情報が記録される。
プログラムシーケンス数(number_of_program_sequences)220
3次元画像フラグ[ClipInfo_multiview_video_flag]221、
3次元画像構成情報[ClipInfo_multiview_video_configuration]222、
フレーム0画像識別フラグ[ClipInfo_frame0_is_Left_flag]223、
ベース画像識別フラグ[ClipInfo_base_view_is_Left_flag]224、
クリップ対応画像識別フラグ[ClipInfo_this_clip _is_Left_flag]225、
符号化態様識別フラグ[ClipInfo_use_entropy_coding_mode_flag]226、
画像間参照識別フラグ[ClipInfo_use_inter−view_prediction_flag]227、
これらの情報が、各クリップ情報ファイルに記録される。
プログラムシーケンス数(number_of_program_sequences)220は、クリップ情報ファイルに含まれるプログラムシーケンスの数である。クリップ情報ファイルには1以上のプログラムシーケンスが含まれる。プログラムシーケンスは、先に図24等を参照して説明したように、ビデオエレメンタリーストリームの数や符号化情報が不変等、大きな処理の切り替わりのないコンテンツ再生時間区間であり、クリップ情報ファイルに1対1に対応付けられたAVストリームファイルの全再生区間の分割再生区間に対応する。すなわち、プレイリストの再生パス(プレイアイテム)によって指定される再生開始点(IN_time)と再生終了点(OUT_time)間には複数のプログラムシーケンスが設定可能である。
図29に示す3次元画像フラグ221〜画像間参照識別フラグ227は、先に図11を参照して説明したプレイリストファイルの3次元画像情報とを維持する情報である。これらの3次元画像情報は、プログラムシーケンス単位で記録されることになる。
従って異なるプログラムシーケンスに対応する3次元画像情報は異なる情報となる場合がある。
コンテンツ記録を行う装置は、記録コンテンツに3次元画像が含まれるか否かを判別して、判別情報に応じてクリップ情報ファイルのメーカプライベートデータ領域内のデータブロック[data_block]記録領域にプログラムシーケンス単位で、図29に示す各種の3次元画像情報を記録する。
コンテンツ再生を実行する装置は、このクリップ情報ファイルに記録された情報をプログラムシーケンス単位で適用することで正しい3次元画像再生を実行できる。
図29に示すクリップ情報ファイルのメーカプライベートデータ領域内のデータブロック[data_block]記録領域に記録される3次元画像情報、すなわち、3次元画像フラグ221〜画像間参照識別フラグ227、これらの各情報の詳細例について、図30以下を参照して説明する。なお、前述したように、これらの情報はプログラムシーケンス単位で個別に記録される。
(3次元画像フラグ[ClipInfo_multiview_video_flag]221)
まず、3次元画像フラグ221の具体例について図30を参照して説明する。
3次元画像フラグの値=0:このクリップ情報のプログラムシーケンスの再生対象コンテンツには2Dコンテンツのみ含まれ、3Dコンテンツは含まれない
3次元画像フラグの値=1:このクリップ情報のプログラムシーケンスの再生対象コンテンツには3Dコンテンツが含まれている可能性がある。
このようにフラグ=0/1のいずれかの情報を記録する。
なお、コンテンツ記録を実行する装置は、記録コンテンツに3次元画像が含まれるか否かを判別して、判別情報に応じて上記のフラグを記録する。この処理は、クリップ情報ファイルに設定されるプログラムシーケンス各々に対応して実行される。
コンテンツ再生を実行する装置は、クリップ情報ファイルのプログラムシーケンス単位でフラグの値を参照し、プログラムシーケンス単位でコンテンツに3次元画像が含まれるか否か識別できる。
(3次元画像構成情報[ClipInfo_multiview_video_configuration]222)
次に、3次元画像構成情報222の具体例について図31を参照して説明する。
3次元画像構成情報222は、このクリップ情報によって再生されるコンテンツである3次元画像の符号化態様情報を記録する領域として設定される。
具体的には、図31に示すように以下の設定である。
値=3:サイドバイサイド方式(side by side)
値=4:トップアンドボトム方式(top and bottom)
値=5:フレームシーケンシャル方式(frame sequential)
値=30:MVC符号化2エレメンタリストリーム/1システムストリーム(クリップはMVC符号化された2つのエレメンタリストリームを含む)
値=31:MVC符号化2エレメンタリストリーム/2システムストリーム(クリップはMVC符号化された2つのエレメンタリストリームの片方を含む)
値=32:MVC符号化1エレメンタリストリーム/1システムストリーム
値=40:独立2エレメンタリストリーム/1システムストリーム(クリップはMVC符号化と異なる符号化のなされた2つのエレメンタリストリームを含む)
値=41:独立2エレメンタリストリーム/2システムストリーム(クリップはMVC符号化と異なる符号化のなされた2つのエレメンタリストリームの片方を含む)
このような符号化構成情報を記録する。
ただし、プログラムシーケンス(program sequence)内で、3Dコンテンツの種別が混在している、あるいは、不明の場合は、20(no information)とする。
値=3のサイドバイサイド方式は、図1(1)に示す符号化方式に対応する。
値=4のトップアンドボトム方式は、図1(2)に示す符号化方式に対応する。
値=5のフレームシーケンシャル方式は、図1(3)に示す符号化方式に対応する。
値30〜33のMVC符号化方式は、図2(4)に示す符号化方式に対応する。
この場合は、エレメンタリストリームが1または2、システムストリームが1または2の場合に分類されている。
値40〜41の符号化方式は、図2(5)に示す符号化方式に対応する。
この場合もエレメンタリストリームが2、システムストリームが1または2の場合に分類されている。
コンテンツ記録を実行する装置は、記録コンテンツに3次元画像が含まれる場合、その符号化態様情報に応じて上記の値を記録する。この処理は、クリップ情報ファイルに設定されるプログラムシーケンス各々に対応して実行される。
なお、3Dコンテンツの種別が変化するごとにプログラムシーケンス(program sequence)を分けて記録し、1つのプログラムシーケンス(program sequence)を1つの符号化態様とした設定での3次元画像記録を実行する。
コンテンツ再生を実行する装置は、上記の値を参照し、このクリップ情報を利用して再生されるコンテンツの符号化態様を識別して、識別情報に対応した復号処理を実行することができる。プログラムシーケンス単位で3次元画像の符号化態様を判別し、その態様に応じた復号を実行することができる。
(フレーム0画像識別フラグ[ClipInfo_frame0_is_Left_flag]223)
次に、フレーム0画像識別フラグ223の具体例について図32を参照して説明する。
フレーム0画像識別フラグ223は、3次元画像の符号化方式がフレームシーケンシャル方式(図1(3)参照)の場合に記録され、再生時に利用される情報である。すなわち、図31を参照して説明した3次元画像構成情報=5の場合に利用される。
先に説明したように、図1(3)に示すようにフレームシーケンシャル方式の場合、左眼用画像(L画像)と右眼用画像(R画像)が交互のフレームとして設定される。
例えば、
フレーム0が左眼用画像(L画像)
フレーム1が右眼用画像(R画像)
あるいは、
フレーム0が右眼用画像(R画像)
フレーム1が左眼用画像(L画像)
これらの組み合わせのいずれかとなる。
L画像はユーザの左眼のみによって観察され、R画像は右眼のみによって観察されれば、正しい奥行き感を得ることができる。LR画像の表示シーケンスを正しく設定するための情報が、図32に示すフレーム0画像識別フラグ223である。
具体的には、例えば、図32に示すように、
値=2:フレーム0が右眼用画像(R画像)である。
値=3:フレーム0が左眼用画像(L画像)である。
これらの情報を記録する。
ただし、フレーム0がL/Rのどちらに対応するか、その情報を取得できない場合は、0(no information)とする。
コンテンツ記録を実行する装置は、記録コンテンツに3次元画像が含まれ、その符号化態様が、フレームシーケンシャル方式である場合、フレーム情報に応じて上記の値を記録する。この処理は、クリップ情報ファイルに設定されるプログラムシーケンス各々に対応して実行される。
コンテンツ再生を実行する装置は、このクリップ情報を利用して再生されるコンテンツの復号処理に際して、上記の値を参照し、フレーム0がL画像であるかR画像であるかを正確に判別してLR画像の正しい再生表示を行うことができる。再生装置は、プログラムシーケンス単位で判別を実行して判別情報に従った復号処理を実行することができる。
(ベース画像識別フラグ[ClipInfo_base_view_is_Left_flag]224)
次に、図33を参照して、ベース画像識別フラグ224の具体例について説明する。
ベース画像識別フラグ224は、3次元画像の符号化方式がMVC符号化方式(図2(4)参照)の場合に記録され、再生時に利用される情報である。すなわち、図31を参照して説明した3次元画像構成情報=30〜32の場合に利用される。
図2(4)を参照して説明したMVC符号化方式ではL画像とR画像との間で参照符号化処理がなされる場合がある。ビュー間参照による符号化が行われた場合は、LRいずれかをベースビュー(基本画像)として、ベースビューを参照することで、他方の画像の復号が行われる。
ベース画像識別フラグ224は、このベースビューがL画像であるかR画像であるかを示す値である。具体的には、例えば、図33に示すように、
値=2:ベースビューは右眼用画像(R画像)である。
値=3:ベースビューは左眼用画像(L画像)である。
これらの情報を記録する。
ただし、ベースビューがL/Rのどちらに対応するか、その情報を取得できない場合は、0(no information)とする。
コンテンツ記録を実行する装置は、記録コンテンツに3次元画像が含まれ、その符号化態様が、MVC符号化方式(図2(4)参照)の場合、ベースビュー情報に応じて上記の値を記録する。記録処理は、プログラムシーケンス単位で実行する。
コンテンツ再生を実行する装置は、このクリップ情報を利用して再生されるコンテンツの復号処理に際して、上記の値を参照しベースビューがLRいずれの画像であるかを判別してLR画像を正しく復号して表示することができる。プログラムシーケンス単位で情報を取得し処理を切り換えることが可能となる。
(クリップ対応画像識別フラグ[ClipInfo_this_Clip_is_Left_flag]225)
次に、図34を参照して、クリップ対応画像識別フラグ225の具体例について説明する。
クリップ対応画像識別フラグ225は、図2(5)を参照して説明した符号化方式、すなわち、[ビュー(view)間参照なしの独立ストリーム(2ストリーム)(MVCではない)]、この符号化方式で、かつ、独立2エレメンタリストリーム/2システムストリーム(2クリップAVストリーム)の場合に利用されるフラグを記録する。
具体的には、図31を参照して説明した3次元画像構成情報=41:独立2エレメンタリストリーム/2システムストリーム(クリップはMVC符号化と異なる符号化のなされた2つのエレメンタリストリームを含む)
この設定の場合に利用される。
このクリップ対応画像識別フラグ225は、このクリップが、3次元画像を構成する左眼用画像(L画像)対応のクリップであるか右眼用画像(R画像)対応のクリップであるかを示す情報である。なおこの情報はプログラムシーケンス単位の情報として設定される。
具体的には、例えば、図34に示すように、
値=2:当該クリップが右眼用画像(R画像)対応クリップであり、ペアになる他方のクリップが左眼用画像(L画像)対応クリップである。
値=3:当該クリップが左眼用画像(L画像)対応クリップであり、ペアになる他方のクリップが右眼用画像(R画像)対応クリップである。
すなわち、クリップ対応画像識別フラグ225は、値=3のとき、当該クリップがL画像(Left view)であり、ペアになるもう片方のクリップがR画像(Right view)であることを表す。また、値=2のとき、当該クリップがR画像(Right view)であり、ペアになるもう片方のクリップがL画像(Left view)であることを表す。
なお、クリップのプログラムシーケンス対応のコンテンツがL/Rのどちらに対応するか、その情報を取得できない場合は、0(no information)とする。
コンテンツ記録を実行する装置は、記録コンテンツに3次元画像が含まれ、その符号化態様が、図31を参照して説明した3次元画像構成情報=41:独立2エレメンタリストリーム/2システムストリームの場合、作成または更新するクリップ情報の設定に応じて上記の値を記録する。記録処理は、プログラムシーケンス単位で実行する。
コンテンツ再生を実行する装置は、このクリップ情報を利用して再生されるコンテンツの復号処理に際して、上記の値を参照しメインパスとサブパスがそれぞれLR画像のいずれの画像の再生パスであるかを正確に判別可能となり、LR画像を正しく復号して表示することができる。プログラムシーケンス単位で情報を取得し処理を切り換えることが可能となる。
(符号化態様識別フラグ[ClipInfo_use_entropy_coding_mode_flag]226)
次に、図35を参照して、符号化態様識別フラグ226の具体例について説明する。
符号化態様識別フラグ226は、図2(4)を参照して説明した符号化方式、すなわち、[ビュー(view)間参照ありストリーム(MVC)]、この符号化方式の場合に利用されるフラグを記録する。
具体的には、図31を参照して説明した3次元画像構成情報=30〜32の設定の場合に利用される。
符号化態様識別フラグ226は、符号化処理としてエントロピー符号化モード(entropy coding mode)を使用した符号化処理を実行しているか否かを示す識別フラグである。
なお、エントロピー符号化モード(entropy coding mode)を利用した符号化処理とは、先に説明したように、具体的には、例えば、
CABAC(Context−based Adaptive Binary Arithmetic Coding)
を利用した符号化処理である。
エントロピー符号化モード(entropy coding mode)を利用しない符号化処理とは、具体的には、例えば、
CAVLC(Context−based Adaptive Variable Length Coding)
を利用した符号化処理である。
具体的には、例えば、図35に示すように、
値=1:エントロピー符号化モード(entropy coding mode)を利用していない。
値=2:エントロピー符号化モード(entropy coding mode)を利用している可能性がある。
これらの情報を記録する。
なお、クリップ情報のプログラムシーケンス対応の符号化データの符号化に関する情報を取得できない場合は、0(no information)とする。
コンテンツ記録を実行する装置は、記録コンテンツに3次元画像が含まれ、その符号化態様が、MVC符号化方式(図2(4)参照)の場合、符号化処理がエントロピー符号化モードを適用しているか否かに応じて上記の値を記録する。記録処理は、プログラムシーケンス単位で実行する。
コンテンツ再生を実行する装置は、このクリップ情報を利用して再生されるコンテンツの復号処理に際して、上記の値を参照して符号化態様を知り、LR画像を正しく復号して表示することができる。プログラムシーケンス単位で情報を取得し処理を切り換えることが可能となる。
なお、例えば、再生装置は、エントロピー符号化モード(entropy coding mode)であるCAVLC符号化データの復号を実行できない装置である場合がある。このような場合は、符号化態様識別フラグ226の設定情報に基づいて、3次元画像の復号再生処理を中止し、L画像のみまたはR画像のみの再生による2次元画像の再生を行うといった処理も実行できる。このフラグがないと、再生装置は自己の再生可能な符号化態様で符号化されているか否かを識別できないため、復号処理を開始してしまい、結果として処理エラーが発生してしまう。
(画像間参照識別フラグ[ClipInfo_use_inter−view_prediction_flag]227)
次に、図36を参照して、画像間参照識別フラグ[ClipInfo_use_inter−view_prediction_flag]227について説明する。
画像間参照識別フラグ227も、図2(4)を参照して説明した符号化方式、すなわち、[ビュー(view)間参照ありストリーム(MVC)]、この符号化方式の場合に利用されるフラグを記録する。
具体的には、図31を参照して説明した3次元画像構成情報=30〜32の設定の場合に利用される。
画像間参照識別フラグ227は、図31を参照して説明した3次元画像構成情報=30〜32の設定の場合にビュー間参照が実行された符号化が行われているか否かを示す情報である。図2(4)を参照して説明した符号化方式、すなわち、[ビュー(view)間参照ありストリーム(MVC)]の設定に従った符号化処理においても、実際には、L画像とR画像との間の参照処理が実行されていない場合も存在する。
具体的には、1つのクリップ情報のプログラムシーケンス対応の再生コンテンツである符号化データが、
L画像とR画像との間の参照がない符号化データのみ、
L画像とR画像との間の参照がある符号化データが含まれる、
これらの符号化データがある。
これら2種類のデータの識別を可能としたフラグが画像間参照識別フラグ227として設定される。
具体的には、例えば図36に示すように、
値=1:ビュー間参照なし
値=2:ビュー間参照が含まれる可能性がある
これらの情報が設定される。
ただし、クリップ情報のプログラムシーケンス対応の符号化データの符号化に関する情報を取得できない場合は、0(no information)とする。
コンテンツ記録を実行する装置は、記録コンテンツに3次元画像が含まれ、その符号化態様が、MVC符号化方式(図2(4)参照)の場合、符号化処理においてビュー間参照が実行されているか否かに応じて上記の値を記録する。
コンテンツ再生を実行する装置は、このクリップ情報を利用して再生されるコンテンツの復号処理に際して、上記の値を参照して符号化態様を知り、LR画像を正しく復号して表示することができる。
[4.情報処理装置の実行する処理シーケンスについて]
次に、図37以下のフローチャートを参照して情報処理装置の実行する処理シーケンスについて説明する。なお、以下のフローにおいて説明する処理は、情報処理装置のデータ処理部において実行される。データ処理部はプログラム実行機能を持つCPUを有する。例えばメモリに記録されたプログラムに従って一連の処理が実行される。
(4−1.コンテンツの記録処理シーケンス)
まず、メディアに対するデータ記録処理シーケンスについて図37に示すフローチャートを参照して説明する。なお、この処理は、記録データが3次元画像コンテンツを含む場合の処理である。
ステップS101〜S103において、情報処理装置が例えば撮影処理により取得または外部から入力した3次元画像コンテンツの画像(ビデオ)エレメンタリストリームの数と、トランスポートストリーム数を確認する。これらの情報は、ステップS101において、入力データに設定された属性情報(メタデータ)等から取得する、あるいは入力ストリームの解析によって取得する。
なお、エレメンタリストリームは、画像のエンコード直後のデータストリームであり、トランスポートストリームは、タイムスタンプ等、他のデータ、例えば音声情報等との同期用データを設定したストリームデータであり、エレメンタリストリームを多重化したトランスポートストリームに基づいてMPEGデータファイル(例えばm2tsファイル)を生成してメディアに記録する処理が実行される。
3次元画像を記録する場合、L画像とR画像を個別のエレメンタリストリームとする場合と、1つのエレメンタリストリームとする場合がある。
また、L画像とR画像が1つのエレメンタリストリームに設定されている場合は、その1つのエレメンタリストリームから1つのトランスポートストリームが生成される。L画像とR画像を個別のエレメンタリストリームに設定されている場合は、これら個別の2つのトランスポートストリームとする場合と、2つのエレメンタリストリームをまとめて1つのトランスポートストリームとする場合がある。これらは、例えば、先に図1、図2を参照して説明した符号化態様等によって決定される。
なお、3次元画像の符号化方式が、例えば特定の放送局や特定の機種の装置等、入力ソースに応じて予め決まっている場合には、これらの入力ソースに応じたテーブル等を保持し、このテーブルを参照する処理によって入力データの態様を判別する構成としてもよい。
ステップS102において、画像(ビデオ)エレメンタリストリームの数が1か2かを判定し、1である場合は、ステップS121に進み、2である場合は、ステップS103に進む。
ステップS103では、トランスポートストリームの数が1か2かを判定し、1である場合は、ステップS121に進み、2である場合はステップS111に進む。
ステップS111に進む場合は、3次元画像を構成するL画像とR画像とが個別の、すなわち2つのトランスポートストリームとして設定されている場合である。
一方、ステップS121に進む場合は、3次元画像を構成するL画像とR画像とが1つのトランスポートストリームとして設定されている場合である。
まず、ステップS111以下の処理について説明する。すなわち、3次元画像を構成するL画像とR画像とが個別の、すなわち2つのトランスポートストリームとして設定されている場合の処理である。
ステップS111では、2本の入力ストリームを解析し、エントリポイントマップを作成しながら2本の入力ストリームを別々のAVストリームファイル(MPEG−2トランスポートストリーム(m2ts)ファイル)として記録する。すなわち、2つのクリップを作成する。なお、ここで、クリップとはコンテンツ実体を格納したAVストリームファイルと、管理情報ファイルとしてのクリップ情報ファイルからなる1組のファイルのセットを意味する。
ステップS112では、2つのクリップ対応のm2tsファイル毎に以下の処理を行う。
3Dコンテンツ部分を示すプログラムシーケンスを作成する。
クリップ情報ファイルの3次元画像フラグ[ClipInfo_multiview_video_flag]を[1]にセットし、エントリポイントマップ(EPマップ)とともにクリップ情報ファイルに記録する。
先に説明したように、クリップ情報ファイルには、クリップを区分した再生区分単位としてのプログラムシーケンス(program_sequence)単位で情報が記録される。プログラムシーケンスは、同一の時刻においてただ1つのシステムタイムベースを持ち、同一の時刻において、ただ1つのPMT(Program Map Table)を持つ。
また、図23、図26〜図28を参照して説明したようにクリップ情報ファイルには、例えばランダム再生等の際の再生開始点としてのIピクチャ位置情報等を記録したエントリポイントマップ(EPマップ)が記録される。
ステップS112では、LR各画像対応のクリップの各々について、クリップ情報ファイルを作成する。なお、この処理に際しては、プログラムシーケンス単位でクリップ情報ファイルの3次元画像フラグ[ClipInfo_multiview_video_flag]を[1]にセットする他、3次元画像情報を記録する処理を行う。
なお、この処理の詳細については、後段で図38および図39に示すフローチャートを参照して説明する。
次のステップS113〜S115の処理はプレイリストファイルに関する処理である。
まず、ステップS113では、第1クリップに対して、3Dコンテンツが含まれるクリップの位置を参照する再生パス情報(プレイアイテム(PlayItem))を生成する。
なお、3次元画像コンテンツの構成ストリームとしてのLR画像いずれかの画像対応のクリップを第1クリップとして、他方の画像対応のクリップを第2クリップとする。
ステップS114では、第2クリップに対して、3Dコンテンツが含まれるクリップの位置を参照する再生パス情報(サブプレイアイテム(SubPlayItem))を生成する。
ステップS115では、メインパス(プレイアイテム(PlayItem))とサブパス(サブプレイアイテム(SubPlayItem))から構成されるプレイリストを作成する。さらに、3次元画像コンテンツが含まれるプレイリストであることを示すプレイリストファイルの3次元画像フラグ[Playlist_multiview_video_flag]を[1]にセットする。
なお、プレイリストファイルの作成時には、3次元画像フラグ以外の3次元画像情報についても記録画像に応じた値を設定する処理を実行する。この詳細処理については、後段で図40に示すフローチャートを参照して説明する。
最後に、ステップS131において、インフォファイルを更新する。この処理に際して、インフォファイルに記録される3次元画像情報に、3Dコンテンツが含まれることを示す3次元画像フラグ[Index_multiview_video_flag]を[1]にセットする処理を行う。
次に、ステップS121以下の処理について説明する。すなわち、3次元画像を構成するL画像とR画像を併せて1つのトランスポートストリームとして設定されている場合の処理である。
ステップS121では、1本の入力ストリームを解析し、エントリポイントマップを作成しながら入力ストリームを1つのAVストリームファイル(MPEG−2トランスポートストリーム(m2ts)ファイル)として記録する。すなわち、1つのクリップを作成する。クリップはコンテンツ実体を格納したAVストリームファイルと、管理情報ファイルとしてのクリップ情報ファイルからなる1組のファイルのセットを意味する。
ステップS122では、クリップ対応のm2tsファイルに対して以下の処理を行う。
3Dコンテンツ部分を示すプログラムシーケンスを作成する。
クリップ情報ファイルの3次元画像フラグ[ClipInfo_multiview_video_flag]を[1]にセットし、エントリポイントマップ(EPマップ)とともにクリップ情報ファイルに記録する。
なお、この処理に際しては、プログラムシーケンス単位でクリップ情報ファイルの3次元画像フラグ[ClipInfo_multiview_video_flag]を[1]にセットする他、3次元画像情報を記録する処理を行う。この処理の詳細については、後段で図38および図39に示すフローチャートを参照して説明する。
次のステップS123〜S124の処理はプレイリストファイルに関する処理である。
まず、ステップS123では、クリップに対して、3Dコンテンツが含まれるクリップの位置を参照する再生パス情報(プレイアイテム(PlayItem))を生成する。
なお、この場合、クリップはLR画像とも1つのクリップに格納されており、生成するパス情報はメインパス(プレイアイテム)のみであり、3次元画像用のサブパス(サブプレイアイテム)は生成されない。
ステップS124では、メインパス(プレイアイテム(PlayItem))から構成されるプレイリストを作成する。さらに、3次元画像コンテンツが含まれるプレイリストであることを示すプレイリストファイルの3次元画像フラグ[Playlist_multiview_video_flag]を[1]にセットする。
なお、プレイリストファイルの作成時には、3次元画像フラグ以外の3次元画像情報についても記録画像に応じた値を設定する処理を実行する。この詳細処理については、後段で図40に示すフローチャートを参照して説明する。
最後に、ステップS131において、インフォファイルを更新する。この処理に際して、インフォファイルに記録される3次元画像情報に、3Dコンテンツが含まれることを示す3次元画像フラグ[Index_multiview_video_flag]を[1]にセットする処理を行う。
(4−2.クリップ情報ファイルに対する3次元画像情報の記録/更新処理シーケンス)
次に、図38に示すフローチャートを参照して、クリップ情報ファイルの3次元画像情報の記録または更新処理シーケンスについて説明する。
この処理は、図37に示すフロー中のステップS112、およびステップS122の詳細処理を示すフローである。
まず、ステップS151において、クリップ内の処理対象とするプログラムシーケンスを選択する。
次に、ステップS152において、選択したプログラムシーケンスに対応するコンテンツは3Dコンテンツを含むか否かを判定する。含む場合はステップS153に進み、含まない場合はステップS154に進む。
含まない場合は、ステップS154に進み、クリップ情報ファイルのプログラムシーケンス対応の3次元画像フラグ[ClipInfo_multiview_video_flag]を[0]にセットする。すなわち、プログラムシーケンス対応のコンテンツには3次元画像が含まれないことを示すフラグを設定する。その後、ステップS156に進む。
一方、ステップS152において、選択したプログラムシーケンスに対応するコンテンツは3Dコンテンツを含むと判定した場合は、ステップS153に進み、クリップ情報ファイルのプログラムシーケンス対応の3次元画像フラグ[ClipInfo_multiview_video_flag]を[1]にセットする。すなわち、プログラムシーケンス対応のコンテンツには3次元画像が含まれることを示すフラグを設定する。
さらに、ステップS155に進み、クリップ情報ファイルのプログラムシーケンス対応のその他の3次元画像情報の記録処理を実行する。すなわち、先に図29を参照して説明した以下の3次元画像情報についての値設定処理を行なう。
3次元画像構成情報[ClipInfo_multiview_video_configuration]
フレーム0画像識別フラグ[ClipInfo_frame0_is_Left_flag]
ベース画像識別フラグ[ClipInfo_base_view_is_Left_flag]
クリップ対応画像識別フラグ[ClipInfo_this_Clip_is_Left_flag]
符号化態様識別フラグ[ClipInfo_use_entropy_coding_mode_flag]
画像間参照識別フラグ[ClipInfo_use_inter−view_prediction_flag]
これらの設定値を記録/更新データに応じて設定する処理を行なう。
なお、これらの情報は、記録する3次元画像の符号化態様等の情報に応じて設定することになる。
これらの処理の後、ステップS156に進む。ステップS156では、クリップに設定されたプログラムシーケンスの全てに対する処理が終了したか否かを判定し、未終了のプログラムシーケンスがある場合は、ステップS151以下の処理を未終了のプログラムシーケンスに対して実行する。
ステップS156において、クリップに設定されたプログラムシーケンスの全てに対する処理が終了したと判定した場合は、処理を終了する。
(4−3.クリップ情報ファイルに対する3次元画像情報としてのフレーム0画像識別フラグと、ベース画像識別フラグの記録/更新処理シーケンス)
次に、クリップ情報ファイルに記録される3次元画像情報中の以下の情報、すなわち、
フレーム0画像識別フラグ[ClipInfo_frame0_is_Left_flag]
ベース画像識別フラグ[ClipInfo_base_view_is_Left_flag]
これらの情報の記録シーケンスについて図39に示すフローチャートを参照して説明する。
まず、ステップS161において、クリップ内の処理対象とするプログラムシーケンスを選択する。
次に、ステップS162において、選択したプログラムシーケンスに対応する3次元画像情報から、3次元画像構成情報[ClipInfo_multiview_video_configuration]を取得し、設定値が[5]であるか否かを判定する。すなわち、符号化方式がフレームシーケンシャル方式であるか否かを判定する。
フレーム0画像識別フラグは、再生装置では、フレームシーケンシャル方式である場合にのみ参照される値であり、記録処理に際しても、記録画像がフレームシーケンシャル方式である場合にのみ有効情報の記録が実行される。
ステップS162において、3次元画像構成情報の設定値が[5]であると判定した場合は、ステップS163に進み、[5]でないと判定した場合は、ステップS167に進む。
ステップS162において、3次元画像構成情報の設定値が[5]であると判定した場合は、ステップS163において、画像(ビデオ)エレメンタリストリーム中のメタデータ、例えばSEI(Supplemental Enhancement Information)あるいはユーザデータ(user data)を解析し、フレーム0の画像がL/R画像のどちらに対応するかを判定する。
ステップS164において、フレーム0の画像がL画像であると判定した場合は、ステップS166に進み、クリップ情報ファイルのプログラムシーケンス対応のフレーム0画像識別フラグ[ClipInfo_frame0_is_Left_flag]の設定値を[3](フレーム0=L画像を示す)に設定する。
一方、ステップS164において、フレーム0の画像がR画像であると判定した場合は、ステップS165に進み、クリップ情報ファイルのプログラムシーケンス対応のフレーム0画像識別フラグ[ClipInfo_frame0_is_Left_flag]の設定値を[2](フレーム0=R画像を示す)に設定する。
これらの処理の完了後に、ステップS167に進む。
ステップS167では、選択したプログラムシーケンスに対応する3次元画像情報から、3次元画像構成情報[ClipInfo_multiview_video_configuration]を取得し、設定値が[30]または[31]または[32]であるか否かを判定する。すなわち、符号化方式がビュー間参照を実行している可能性のある符号化方式であるか否かを判定する。
ベース画像識別フラグ[ClipInfo_base_view_is_Left_flag]は、再生装置では、ビュー間参照を実行している可能性のある符号化方式である場合にのみ参照される値であり、記録処理に際しても、記録画像がビュー間参照を実行している可能性のある符号化方式である場合にのみ有効情報の記録が実行される。
ステップS167において、3次元画像構成情報の設定値が[30]または[31]または[32]であると判定した場合は、ステップS168に進み、[30]または[31]または[32]でないと判定した場合は、ステップS172に進む。
ステップS167において、3次元画像構成情報の設定値が[30]または[31]または[32]であると判定した場合は、ステップS168において、画像(ビデオ)エレメンタリストリーム中のメタデータ、例えばSEI(Supplemental Enhancement Information)あるいはユーザデータ(user data)を解析し、ベースビューの画像がL/R画像のどちらに対応するかを判定する。
ステップS169において、ベースビュー画像がL画像であると判定した場合は、ステップS171に進み、クリップ情報ファイルのプログラムシーケンス対応のベース画像識別フラグ[ClipInfo_base_view_is_Left_flag]の設定値を[3](ベースビュー=L画像を示す)に設定する。
一方、ステップS169において、ベースビュー画像がR画像であると判定した場合は、ステップS170に進み、クリップ情報ファイルのプログラムシーケンス対応のベース画像識別フラグ[ClipInfo_base_view_is_Left_flag]の設定値を[2](ベースビュー=R画像を示す)に設定する。
これらの処理の後、ステップS172に進む。ステップS172では、クリップに設定されたプログラムシーケンスの全てに対する処理が終了したか否かを判定し、未終了のプログラムシーケンスがある場合は、ステップS161以下の処理を未終了のプログラムシーケンスに対して実行する。
ステップS172において、クリップに設定されたプログラムシーケンスの全てに対する処理が終了したと判定した場合は、処理を終了する。
(4−4.プレイリストファイルに対する3次元画像情報の記録/更新処理シーケンス)
次に、図40に示すフローチャートを参照して、プレイリストファイルの3次元画像情報の記録または更新処理シーケンスについて説明する。
この処理は、図37に示すフロー中のステップS115、およびステップS124の詳細処理を示すフローである。
まず、ステップS181において、処理対象としているプレイリストに対応するコンテンツが3Dコンテンツを含むか否かを判定する。含む場合はステップS182に進み、含まない場合はステップS183に進む。
含まない場合は、ステップS183に進み、プレイリストファイルの3次元画像フラグ[PlayList_multiview_video_flag]を[0]にセットする。すなわち、プレイリスト対応のコンテンツには3次元画像が含まれないことを示すフラグを設定し、処理を終了する。
一方、ステップS181において、処理対象のプレイリストに対応するコンテンツは3Dコンテンツを含むと判定した場合は、ステップS182に進み、プレイリストファイルのプログラムシーケンス対応の3次元画像フラグ[PlayList_multiview_video_flag]を[1]にセットする。すなわち、プレイリスト対応のコンテンツには3次元画像が含まれることを示すフラグを設定する。
さらに、ステップS184に進み、プレイリストファイルのその他の3次元画像情報の記録処理を実行する。すなわち、先に図11を参照して説明した以下の3次元画像情報についての値設定処理を行なう。
3次元画像構成情報[PlayList_multiview_video_configuration]
フレーム0画像識別フラグ[PlayList_frame0_is_Left_flag]
ベース画像識別フラグ[PlayList_base_view_is_Left_flag]
メインパス画像識別フラグ[PlayList_MainPath_is_Left_flag]
符号化態様識別フラグ[PlayList_use_entropy_coding_mode_flag]
画像間参照識別フラグ[PlayList_use_inter−view_prediction_flag]
これらの設定値を記録/更新データに応じて設定する処理を行なう。
なお、これらの情報は、記録する3次元画像の符号化態様等の情報に応じて設定することになる。
これらの処理の後、処理を終了する。
(4−5.コンテンツの追記処理シーケンス)
次に、図41を参照して、3次元画像の追記処理のシーケンスについて説明する。
すなわち、既にメディアに記録済みのコンテンツがあり、その記録済みコンテンツに対応するプレイリストがメディア上に存在する場合に、この既存プレイリストに対応する新たなコンテンツを追加記録する場合の処理シーケンスである。
まず、ステップS201において、既存プレイリストに対する3Dコンテンツの追加記録の実行指示を入力する。例えばビデオカメラ等において、撮影画像の追加記録を行うユーザからの指示情報などを入力する。
ステップS202以下の処理は、先に図37を参照して説明した処理と類似する処理となる。
ステップS202〜S204において、情報処理装置が例えば撮影処理により取得または外部から入力した3次元画像コンテンツの画像(ビデオ)エレメンタリストリームの数と、トランスポートストリーム数を確認する。これらの情報は、ステップS202において、入力データに設定された属性情報(メタデータ)等から取得する、あるいは入力ストリームの解析によって取得する。
ステップS203において、画像(ビデオ)エレメンタリストリームの数が1か2かを判定し、1である場合は、ステップS121に進み、2である場合は、ステップS204に進む。
ステップS204では、トランスポートストリームの数が1か2かを判定し、1である場合は、ステップS221に進み、2である場合はステップS211に進む。
ステップS211に進む場合は、3次元画像を構成するL画像とR画像とが個別の、すなわち2つのトランスポートストリームとして設定されている場合である。
一方、ステップS221に進む場合は、3次元画像を構成するL画像とR画像とが1つのトランスポートストリームとして設定されている場合である。
まず、ステップS211以下の処理について説明する。すなわち、3次元画像を構成するL画像とR画像とが個別の、すなわち2つのトランスポートストリームとして設定されている場合の処理である。
ステップS211では、2本の入力ストリームを解析し、エントリポイントマップを作成しながら2本の入力ストリームを別々のAVストリームファイル(MPEG−2トランスポートストリーム(m2ts)ファイル)として記録する。すなわち、2つのクリップを作成する。なお、ここで、クリップとはコンテンツ実体を格納したAVストリームファイルと、管理情報ファイルとしてのクリップ情報ファイルからなる1組のファイルのセットを意味する。
ステップS212では、2つのクリップ対応のm2tsファイル毎に以下の処理を行う。
3Dコンテンツ部分を示すプログラムシーケンスを作成する。
クリップ情報ファイルの3次元画像フラグ[ClipInfo_multiview_video_flag]を[1]にセットし、エントリポイントマップ(EPマップ)とともにクリップ情報ファイルに記録する。
ステップS212では、LR各画像対応のクリップの各々について、クリップ情報ファイルを作成する。なお、この処理に際しては、プログラムシーケンス単位でクリップ情報ファイルの3次元画像フラグ[ClipInfo_multiview_video_flag]を[1]にセットする他、3次元画像情報を記録する処理を行う。なお、このステップでは、先に図38および図39に示すフローチャートを参照して説明した処理が実行される。
次のステップS213〜S215の処理はプレイリストファイルに関する処理である。
まず、ステップS213では、第1クリップに対して、3Dコンテンツが含まれるクリップの位置を参照する再生パス情報(プレイアイテム(PlayItem))を生成する。
なお、3次元画像コンテンツの構成ストリームとしてのLR画像いずれかの画像対応のクリップを第1クリップとして、他方の画像対応のクリップを第2クリップとする。
ステップS214では、第2クリップに対して、3Dコンテンツが含まれるクリップの位置を参照する再生パス情報(サブプレイアイテム(SubPlayItem))を生成する。
ステップS215では、追記対象のプレイリストにメインパス(プレイアイテム(PlayItem))とサブパス(サブプレイアイテム(SubPlayItem))を追加する。さらに、3次元画像コンテンツが含まれるプレイリストであることを示すプレイリストファイルの3次元画像フラグ[Playlist_multiview_video_flag]を[1]にセットする。
なお、プレイリストファイルの更新時には、3次元画像フラグ以外の3次元3次元画像情報についても記録画像に応じた値を設定する処理を実行する。この詳細処理は、先に図40に示すフローチャートを参照して説明した通りである。
最後に、ステップS231において、インフォファイルを更新する。この処理に際して、インフォファイルに記録される3次元画像情報に、3Dコンテンツが含まれることを示す3次元画像フラグ[Index_multiview_video_flag]を[1]にセットする処理を行う。
次に、ステップS221以下の処理について説明する。すなわち、3次元画像を構成するL画像とR画像を併せて1つのトランスポートストリームとして設定されている場合の処理である。
ステップS221では、1本の入力ストリームを解析し、エントリポイントマップを作成しながら入力ストリームを1つのAVストリームファイル(MPEG−2トランスポートストリーム(m2ts)ファイル)として記録する。すなわち、1つのクリップを作成する。クリップはコンテンツ実体を格納したAVストリームファイルと、管理情報ファイルとしてのクリップ情報ファイルからなる1組のファイルのセットを意味する。
ステップS222では、クリップ対応のm2tsファイルに対して以下の処理を行う。
3Dコンテンツ部分を示すプログラムシーケンスを作成する。
クリップ情報ファイルの3次元画像フラグ[ClipInfo_multiview_video_flag]を[1]にセットし、エントリポイントマップ(EPマップ)とともにクリップ情報ファイルに記録する。
なお、この処理に際しては、プログラムシーケンス単位でクリップ情報ファイルの3次元画像フラグ[ClipInfo_multiview_video_flag]を[1]にセットする他、3次元画像情報を記録する処理を行う。この処理の詳細については、先に図38および図39に示すフローチャートを参照して説明した通りである。
次のステップS223〜S224の処理はプレイリストファイルに関する処理である。
まず、ステップS223では、クリップに対して、3Dコンテンツが含まれるクリップの位置を参照する再生パス情報(プレイアイテム(PlayItem))を生成する。
なお、この場合、クリップはLR画像とも1つのクリップに格納されており、生成するパス情報はメインパス(プレイアイテム)のみであり、3次元画像用のサブパス(サブプレイアイテム)は生成されない。
ステップS224では、追記対象のプレイリストに、追記コンテンツに対応する再生パス情報としてのメインパス(プレイアイテム(PlayItem))を作成する。さらに、3次元画像コンテンツが含まれるプレイリストであることを示すプレイリストファイルの3次元画像フラグ[Playlist_multiview_video_flag]を[1]にセットする。
なお、プレイリストファイルの更新時には、3次元画像フラグ以外の3次元画像情報についても記録画像に応じた値を設定する処理を実行する。この詳細処理は、先に図40に示すフローチャートを参照して説明した通りである。
最後に、ステップS231において、インフォファイルを更新する。この処理に際して、インフォファイルに記録される3次元画像情報に、3Dコンテンツが含まれることを示す3次元画像フラグ[Index_multiview_video_flag]を[1]にセットする処理を行う。
(4−6.コンテンツの編集処理シーケンス)
次に、情報処理装置の実行するデータ編集処理のシーケンスについて図42に示すフローチャートを参照して説明する。
図42に示すフローは、メディアに記録済みの3次元画像コンテンツを削除する編集処理を行った場合の処理シーケンスを説明するフローである。
まず、ステップS301において、ユーザからのコンテンツ削除指示入力を検出する。このコンテンツ削除は、規定の削除単位で行われることになる。具体的には、プレイリストに設定された再生パス情報であるプレイアイテム単位で実行される。
ステップS302では、削除指定されたプレイアイテムが参照するクリップ(クリップ情報ファイルとAVストリームファイル)の指定部分を削除する。
ステップS303では、削除指定されたプレイアイテムを削除する。
次に、ステップS304において、プレイアイテム削除を実行したプレイリスト内に残存するプレイアイテムが参照するクリップに3次元画像フラグ[ClipInfo_multiview_video_flag]=1が設定されたプログラムシーケンスがあるか否かを判定する。すなわち、削除処理後にクリップ中に残存するプログラムシーケンスの3次元画像情報として、3次元画像が含まれていることを示す3次元画像フラグ=1を持つプログラムシーケンスがあるか否かを判定する。
ある場合は、ステップS306に進み、編集対象のプレイリストの3次元画像フラグ[Playlist_multiview_video_flag]の設定値を[1]のまま維持する。すなわち、削除処理後のプレイリストの再生対象コンテンツに3次元画像が含まれていることを示す3次元画像フラグ=1をそのまま維持する。
一方、ステップS304において、プレイアイテム削除を実行したプレイリスト内に残存するプレイアイテムが参照するクリップに3次元画像フラグ[ClipInfo_multiview_video_flag]=1が設定されたプログラムシーケンスがないと判定した場合は、ステップS305に進む。
ステップS305では、編集対象のプレイリストの3次元画像フラグ[Playlist_multiview_video_flag]の設定値を[1]から[0]に変更する。すなわち、削除処理後のプレイリストの再生対象コンテンツに3次元画像が含まれていないことを示す3次元画像フラグ=0を設定する。
その後、ステップS307において、編集対象プレイリストを設定したディレクトリ(例えば図3に示すBDAVディレクトリ)下に設定された全てのプレイリストの中に3次元画像フラグ[Playlist_multiview_video_flag]の設定値が[1]となっているプレイリストがあるか否かを判定する。すなわち、3次元画像を含むことを示すフラグを設定したプレイリストが残っているか否かを判定する。残っている場合は、ステップS309に進み、残っていない場合はステップS308に進む。
残っていると判定した場合は、ステップS309において、編集対象のプレイリストを含むディレクトリのインフォファイルの3次元画像フラグ[Index_multiview_video_flag]の設定値[1]を変更せず維持する。すなわち、インフォファイルの管理下のコンテンツに3次元画像が含まれることを示すフラグの値をそのまま維持する。
一方、ステップS307において、編集対象プレイリストを設定したディレクトリ下のプレイリストに3次元画像フラグ=1のプレイリストがないと判定した場合は、ステップS308において、編集対象のプレイリストを含むディレクトリのインフォファイルの3次元画像フラグ[Index_multiview_video_flag]の設定値[1]を[0]に変更する。すなわち、インフォファイルの管理下のコンテンツに3次元画像が含まれないことを示すフラグの値を設定する。
(4−7.コンテンツの再生処理シーケンス)
次に、図43に示すフローチャートを参照して、情報処理装置のコンテンツ再生処理シーケンスについて説明する。
まず、ステップS401において、情報処理装置が再生指示入力を検出する。なお、コンテンツ再生指示は、例えば初期表示メニューに対するユーザによる再生指示入力等によって実行される。
次に、情報処理装置はステップS402において、インフォファイルの3次元画像フラグ[Index_multiview_video_flag]=1であるか否かを判定する。
3次元画像フラグ=1である場合は、インフォファイルが管理対象としているコンテンツ中に3次元画像が含まれていることを示す。この場合は、ステップS411に進む。
一方、3次元画像フラグ=0である場合は、インフォファイルが管理対象としているコンテンツ中に3次元画像が含まれていないことを示す。この場合は、ステップS403に進む。
まず、ステップS403以下の処理について説明する。すなわち3次元画像フラグ=0である場合であり、インフォファイルが管理対象としているコンテンツ中に3次元画像が含まれていない場合の処理である。
この場合は、ステップS403において、再生装置(プレーヤ)内部のプレーン構成、すなわち再生処理構成を2次元画像の再生処理を実行する設定とし、さらにビデオ出力を2次元画像の出力設定とする処理を行う。
次にステップS404において、表示部にタイトルのリストを表示し、ユーザの入力を受けてタイトル(プレイリスト)の再生を開始する。あるいはタイトルの自動再生を開始する。なお、タイトルリスト表示は、インフォファイルの持つデータを利用して行われる。タイトルリストに対してユーザが特定のタイトルを指定することで、その指定タイトルの再生が開始される。なお、ユーザの指定の有無に拘らず、予めデフォルトで規定されたタイトル対応コンテンツを再生する設定としている場合は、そのコンテンツが再生されることになる。
次に、ステップS405において、ユーザによって指定されたコンテンツ、あるいは予め規定されたコンテンツの再生が実行される。この場合は、インフォファイル管理化のコンテンツに3Dコンテンツは含まれないため、2Dコンテンツの再生処理が行われる。
ステップS406において、再生終了指示を検出しない場合は、ステップS404以下の処理が繰り返され、コンテンツ再生が継続される。ステップS406において、再生終了指示を検出した場合は、処理を終了する。
次に、ステップS411以下の処理について説明する。すなわち3次元画像フラグ=1である場合であり、インフォファイルが管理対象としているコンテンツ中に3次元画像が含まれている場合の処理である。
この場合は、ステップS411において、再生装置(プレーヤ)内部のプレーン構成、すなわち再生処理構成を3次元画像の再生処理を実行する設定とし、さらにビデオ出力を3次元画像の出力設定とする処理を行う。
次にステップS412において、タイトルのリストを表示し、ユーザの入力を受けてタイトル(プレイリスト)の再生を開始する。あるいはタイトルの自動再生を開始する。なお、タイトルリスト表示は、インフォファイルの持つデータを利用して行われる。タイトルリストに対してユーザが特定のタイトルを指定することで、その指定タイトルの再生が開始される。なお、ユーザの指定の有無に拘らず、予めデフォルトで規定されたタイトル対応コンテンツを再生する設定としている場合は、そのコンテンツが再生されることになる。
次にステップS413において、再生タイトルに対応するプレイリストファイルに設定された3次元画像情報を取得する。すなわち、先に、図11等を参照して説明した以下の情報である。
3次元画像フラグ[PlayList_multiview_video_flag]、
3次元画像構成情報[PlayList_multiview_video_configuration]、
フレーム0画像識別フラグ[PlayList_frame0_is_Left_flag]、
ベース画像識別フラグ[PlayList_base_view_is_Left_flag]、
メインパス画像識別フラグ[PlayList_MainPath_is_Left_flag]、
符号化態様識別フラグ[PlayList_use_entropy_coding_mode_flag]、
画像間参照識別フラグ[PlayList_use_inter−view_prediction_flag]、
なお、再生装置は、まず、3次元画像フラグ[PlayList_multiview_video_flag]と、3次元画像構成情報[PlayList_multiview_video_configuration]、を参照する。
3次元画像構成情報には、先に、図13を参照して説明した符号化態様情報が記録されている。再生装置は、まず、この3次元画像構成情報に基づいて、自装置で再生実行できる符号化データであるか否かを判定する。
先に図13を参照して説明したように、3次元画像構成情報には、記録画像である3次元画像が以下のどの符号化態様で記録されているかの情報が設定されている。
値=3:サイドバイサイド方式(side by side)
値=4:トップアンドボトム方式(top and bottom)
値=5:フレームシーケンシャル方式(frame sequential)
値=30:MVC符号化2エレメンタリストリーム/1システムストリーム(1クリップAVストリーム)
値=31:MVC符号化2エレメンタリストリーム/2システムストリーム(2クリップAVストリーム)
値=32:MVC符号化1エレメンタリストリーム/1システムストリーム(1クリップAVストリーム)
値=40:独立2エレメンタリストリーム/1システムストリーム(1クリップAVストリーム)(MVC符号化でない)
値=41:独立2エレメンタリストリーム/2システムストリーム(2クリップAVストリーム)(MVC符号化でない)
再生装置は、この3次元画像構成情報に基づいて、自装置で再生実行できる符号化データであるか否かを判定する。
なお、3次元画像構成情報=30〜32の設定の場合には、さらに、符号化態様識別フラグを参照して自装置で再生実行できる符号化データであるか否かを判定する。
すなわち、符号化態様識別フラグは、先に、図18を参照して説明したように、符号化処理としてエントロピー符号化モード(entropy coding mode)を使用した符号化処理を実行しているか否かを示す識別フラグである。
エントロピー符号化モード(entropy coding mode)を利用した符号化処理とは、具体的には、例えば、
CABAC(Context−based Adaptive Binary Arithmetic Coding)
を利用した符号化処理である。
エントロピー符号化モード(entropy coding mode)を利用しない符号化処理とは、具体的には、例えば、
CAVLC(Context−based Adaptive Variable Length Coding)
を利用した符号化処理である。
再生装置は、3次元画像構成情報=30〜32の設定の場合には、さらに、符号化態様識別フラグを参照して自装置で再生実行できる符号化データであるか否かを判定する。
ステップS414において、自装置での再生処理が実行できない符号化データであると判定した場合は、ステップS415に進み、3次元画像を適用して2次元画像の再生処理を実行する。この処理は例外的な処理であり、例えばL画像のみを再生データとして利用した再生処理等が実行されることになる。
一方、ステップS414において、自装置での再生処理を実行できる符号化データであると判定した場合は、ステップS416に進み、味源画像の再生処理を実行する。なお、この再生処理においては、プレイリストファイルおよびクリップ情報ファイルに設定された3次元画像情報を参照して、参照情報に対応する最適な処理を実行して再生処理を行うことになる。
なお、クリップ情報ファイルにはプログラムシーケンス単位で3次元画像情報が設定されており、プログラムシーケンスの切り替えが実行される場合は、参照する3次元画像情報も切り替えて処理を実行する。
ステップS417において、再生終了指示を検出しない場合は、ステップS412以下の処理が繰り返され、コンテンツ再生が継続される。ステップS417において、再生終了指示を検出した場合は、処理を終了する。
なお、ステップS404やステップS412において実行するタイトルリストの表示処理に際しては、例えばインフォファイルやプレイリストファイル等の管理情報ファイルに含まれる3次元画像識別フラグに基づく判定情報、すなわち、3次元画像が含まれる可能性があるか否かの判定情報を表示部に表示する処理を行う構成としてもよい。
例えば、記録メディア全体に格納されたコンテンツに3次元画像が含まれる可能性があるか否かの判定情報については、インフォファイルの3次元画像識別フラグに基づく判定情報を表示し、記録メディアに記録されたコンテンツのタイトル単位で3次元画像が含まれる可能性があるか否かについては、プレイリストファイルの3次元画像識別フラグに基づく判定情報を表示するといった処理が可能である。ユーザはこの表示により、メディア全体、あるいは各タイトル単位で3次元画像の有無を判定することができる。
[5.情報処理装置の構成例について]
次に、上述した記録再生処理を実行する情報処理装置の構成例について図44を参照して説明する。図44は、本発明の一実施例に係る情報処理装置400の構成例を示すブロック図である。情報処理装置400は、メディア410に対するデータ記録、またはデータ再生の少なくともいずれかの処理を行う装置である。具体的には例えば、記録再生装置、プレーヤ装置、レコーダ装置、ビデオカメラ、PCなどの装置である。
なお、図44にはメディア410としてディスク型メディアを示しているが、メディアはディスク型メディアに限らず、フラッシュメモリなどのメディアでもよい。
情報処理装置400は、図44に示すように、データ処理部(記録再生処理部)401、メモリ402、入力部403、出力部404、メディアインタフェース405、ローカル記憶部406を有する。
データ処理部401は、様々なデータ処理プログラムを実行するプログラム実行機能を持つCPUを有する。例えばデータ記録再生処理を行うアプリケーションプログラムを実行する。例えば、図37〜図43に示すフローチャートに従った処理等を実行する。
メモリ402は、RAM,ROM等によって構成され、データ処理部401において実行するアプリケーションプログラムなどの格納領域として利用される。またメモリ402は、アプリケーション用のパラメータ、ワーク領域としても利用され、さらに、メディア記録データのバッファ領域などとしても利用される。
入力部403は、例えばユーザの操作部であり、データ記録または再生指示の入力など、様々な入力が行われる。なお、入力部403にはリモコンも含まれ、リモコン操作情報の入力も可能である。出力部404は、ディスプレイ、スピーカ等によって構成される画像や音声の出力部である。
メディアインタフェース405は、メディア410を利用したデータ記録、再生処理に適用されるインタフェースである。データ処理部401の要求に従って、データをメディア410に書き込み、またメディア410からのデータ読み取り処理などを行う。
ローカル記憶部406は例えばハードディスクなどによって構成される。例えばコンテンツ他の各種データや、プログラムの記録領域として利用される。
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本発明の一実施例によれば、記録メディアに記録された3次元画像の符号化処理に関する属性情報を容易に取得可能としたデータ記録再生構成を実現する。3次元画像の属性情報を階層化された管理情報ファイルの各々に各管理情報ファイルの管理データ単位の属性として記録する。記録する属性情報に3次元画像の符号化処理に関する属性情報を含めて記録する。具体的には、3次元画像の復号時に、左眼用画像(L画像)と右眼用画像(R画像)の画像間参照が必要となる可能性があるか否かを示す画像間参照識別データ、あるいは、3次元画像の符号化にエントロピー符号化モードを使用しているか否かを示す符号化態様識別データを属性情報として記録する。この構成により、再生装置は再生対象データの解析を行うことなく符号化態様を判別して正しい復号処理を実行できる。
101 UI情報[UIAppInfoBDAV()]
102 プレイリスト情報[TableOfPlayLists()]
103 メーカプライベートデータ領域[MakersPrivateData()]
111 メーカID[maker_ID]記録領域
112 メーカモデルコード[maker_model_code]記録領域
113 データブロック[data_block]記録領域
115 フラグ情報[Index_multiview_video_flag]
121 3次元画像フラグ[PlayList_multiview_video_flag]
122 次元画像構成情報[PlayList_multiview_video_configuration]
123 フレーム0画像識別フラグ[PlayList_frame0_is_Left_flag]
124 ベース画像識別フラグ[PlayList_base_view_is_Left_flag]
125 メインパス画像識別フラグ[PlayList_MainPath_is_Left_flag]
126 符号化態様識別フラグ[PlayList_use_entropy_coding_mode_flag]
127 画像間参照識別フラグ[PlayList_use_inter−view_prediction_flag]
130 プレイリスト
131 メインパス(メインプレイアイテム)
132 サブパス(サブプレイアイテム)
135 クリップa
136 クリップb
141 メインパス(プレイアイテム)情報記録領域
142 サブパス(サブプレイアイテム)情報記録領域
145 サブパス(サブプレイアイテム)タイプ情報記録領域
201 ClipInfo
202 SequenceInfo
203 ProgramInfo
204 CPI
205 ClipMark
206 MakersPrivateData
210 EPマップ
220 プログラムシーケンス数(number_of_program_sequences)
221 3次元画像フラグ[ClipInfo_multiview_video_flag]
222 3次元画像構成情報[ClipInfo_multiview_video_configuration]
223 フレーム0画像識別フラグ[ClipInfo_frame0_is_Left_flag]
224 ベース画像識別フラグ[ClipInfo_base_view_is_Left_flag]
225 クリップ対応画像識別フラグ[ClipInfo_this_Clip_is_Left_flag]
226 符号化態様識別フラグ[ClipInfo_use_entropy_coding_mode_flag]
227 画像間参照識別フラグ[ClipInfo_use_inter−view_prediction_flag]
400 情報処理装置
401 データ処理部(記録再生処理部)
402 メモリ
403 入力部
404 出力部
405 メディアインタフェース
406 ローカル記憶部
410 メディア

Claims (20)

  1. 記録メディアに対するデータ記録処理を行うデータ処理部を有し、
    前記データ処理部は、
    記録メディアに対するデータ記録処理に際して、記録データに含まれる3次元画像の属性情報を階層化された管理情報ファイルの各々に各管理情報ファイルの管理データ単位の属性として記録する処理を実行し、
    前記属性情報に3次元画像の符号化処理に関する属性情報を含めて記録する情報処理装置。
  2. 前記データ処理部は、
    前記3次元画像の復号時に、左眼用画像(L画像)と右眼用画像(R画像)の画像間参照が必要となる可能性があるか否かを示す画像間参照識別データを前記属性情報として前記管理情報ファイルに記録する処理を実行する請求項1に記載の情報処理装置。
  3. 前記データ処理部は、
    前記3次元画像の符号化にエントロピー符号化モードを使用しているか否かを示す符号化態様識別データを前記属性情報として前記管理情報ファイルに記録する処理を実行する請求項1に記載の情報処理装置。
  4. 前記エントロピー符号化モードを利用した処理は、CABAC(Context−based Adaptive Binary Arithmetic Coding)である請求項3に記載の情報処理装置。
  5. 前記データ処理部は、
    さらに、前記3次元画像の符号化方式を示す3次元画像構成情報を前記属性情報に含めて前記管理情報ファイルに記録する請求項1〜4いずれかに記載の情報処理装置。
  6. 前記データ処理部は、
    (a)画像データの格納ファイルであるストリームファイルに対応付けて設定されるクリップ情報ファイル、
    (b)前記クリップ情報ファイルに対する再生区間指定情報を持つプレイリストファイル、
    上記(a)〜(b)に示す管理情報ファイルの各々に各管理情報ファイルの管理データ単位で前記属性情報を記録する請求項1に記載の情報処理装置。
  7. 記録メディアからのデータ再生処理を行うデータ処理部を有し、
    前記データ処理部は、
    記録メディアからのデータ再生処理に際して、記録メディアに記録された符号化された3次元画像の属性情報を階層化された管理情報ファイルの各々から順次読み出し、各管理情報ファイルの管理データ単位の属性として3次元画像の符号化処理に関する属性情報を取得し、取得した属性情報に従って復号処理を行う情報処理装置。
  8. 前記データ処理部は、
    前記3次元画像の復号時に、左眼用画像(L画像)と右眼用画像(R画像)の画像間参照が必要となる可能性があるか否かを示す画像間参照識別データを前記属性情報から取得し、取得した画像間参照識別データに従って画像間参照の要否を判定して復号処理を実行する請求項7に記載の情報処理装置。
  9. 前記データ処理部は、
    前記3次元画像の符号化にエントロピー符号化モードを使用しているか否かを示す符号化態様識別データを前記属性情報から取得し、取得した符号化態様識別データに応じて復号態様を決定して復号処理を実行する請求項7に記載の情報処理装置。
  10. 前記エントロピー符号化モードを利用した処理は、CABAC(Context−based Adaptive Binary Arithmetic Coding)である請求項9に記載の情報処理装置。
  11. 前記属性情報は、3次元画像の符号化方式を示す3次元画像構成情報を含み、
    前記データ処理部は、
    前記3次元画像構成情報に基づいて、前記記録メディアに記録された3次元画像の符号化方式を判別する請求項7〜10いずれかに記載の情報処理装置。
  12. 前記属性情報は、
    (a)画像データの格納ファイルであるストリームファイルに対応付けて設定されるクリップ情報ファイル、
    (b)前記クリップ情報ファイルに対する再生区間指定情報を持つプレイリストファイル、
    上記(a)〜(b)に示す管理情報ファイルの各々に記録され、
    前記データ処理部は、
    プレイリストファイル、次にクリップ情報ファイルの順で再生対象データに応じて選択される管理情報ファイルから管理データ単位の属性情報を読み出す請求項7に記載の情報処理装置。
  13. 画像データを記録した情報記録媒体であり、
    再生対象となるコンテンツとして3次元画像データを格納したストリームファイルと、
    前記コンテンツの管理情報を格納した階層化構成を持つ管理情報ファイルを記録データとして有し、
    前記階層化された管理情報ファイルの各々は、記録コンテンツに含まれる3次元画像の属性情報として、前記3次元画像データの符号化処理に関する属性情報を格納し、
    前記コンテンツを再生する再生装置が、管理情報ファイルの階層に従って前記属性情報を順次参照することで、情報記録媒体の記録コンテンツに含まれる3次元画像の符号化処理に関する属性を各管理情報ファイルの管理データ単位の属性として解析可能とした構成を持つ情報記録媒体。
  14. 前記属性情報は、前記3次元画像の復号時に左眼用画像(L画像)と右眼用画像(R画像)の画像間参照が必要となる可能性があるか否かを示す画像間参照識別データを含み、
    前記再生装置が、前記画像間参照識別データに従って画像間参照の要否を判定して復号処理を実行可能とした請求項13に記載の情報記録媒体。
  15. 前記属性情報は、前記3次元画像の符号化にエントロピー符号化モードを使用しているか否かを示す符号化態様識別データを含み、
    前記再生装置が、前記符号化態様識別データに応じて復号態様を決定して復号処理を実行可能とした請求項13に記載の情報記録媒体。
  16. 前記属性情報は、
    (a)画像データの格納ファイルであるストリームファイルに対応付けて設定されるクリップ情報ファイル、
    (b)前記クリップ情報ファイルに対する再生区間指定情報を持つプレイリストファイル、
    上記(a)〜(b)に示す管理情報ファイルの各々に記録され、
    前記再生装置が、まずプレイリストファイル、次にクリップ情報ファイルの順で再生対象データに応じて選択される管理情報ファイルから前記属性情報を読み出し、各管理情報ファイルの管理するデータ単位で3次元画像の符号化処理に関する属性を解析可能とした請求項13〜15いずれかに記載の情報記録媒体。
  17. 情報処理装置において記録メディアに対するデータ記録処理を実行する情報処理方法であり、
    データ処理部が、記録メディアに対するデータ記録処理に際して、記録データに含まれる3次元画像の属性情報を階層化された管理情報ファイルの各々に各管理情報ファイルの管理データ単位の属性として記録する処理を実行し、
    前記属性情報に3次元画像の符号化処理に関する属性情報を含めて記録する情報処理装方法。
  18. 情報処理装置において記録メディアからのデータ再生処理を実行する情報処理方法であり、
    データ処理部が、記録メディアからのデータ再生処理に際して、記録メディアに記録された符号化された3次元画像の属性情報を階層化された管理情報ファイルの各々から順次読み出し、各管理情報ファイルの管理データ単位の属性として3次元画像の符号化処理に関する属性情報を取得し、取得した属性情報に従って復号処理を行う情報処理方法。
  19. 情報処理装置において記録メディアに対するデータ記録処理を実行させるプログラムであり、
    データ処理部に、記録メディアに対するデータ記録処理に際して、記録データに含まれる3次元画像の属性情報を階層化された管理情報ファイルの各々に各管理情報ファイルの管理データ単位の属性として記録する処理を実行させ、
    前記属性情報に3次元画像の符号化処理に関する属性情報を含めて記録する処理を実行させるプログラム。
  20. 情報処理装置において記録メディアからのデータ再生処理を実行させるプログラムであり、
    データ処理部に、記録メディアからのデータ再生処理に際して、記録メディアに記録された符号化された3次元画像の属性情報を階層化された管理情報ファイルの各々から順次読み出させ、各管理情報ファイルの管理データ単位の属性として3次元画像の符号化処理に関する属性情報を取得させて、取得した属性情報に従って復号処理を行わせるプログラム。
JP2010089447A 2010-04-08 2010-04-08 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム Pending JP2011223247A (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2010089447A JP2011223247A (ja) 2010-04-08 2010-04-08 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
TW100109206A TW201206155A (en) 2010-04-08 2011-03-17 Information processing device, information recording medium, information processing method, and program
KR1020127025412A KR20130066569A (ko) 2010-04-08 2011-03-28 정보 처리 장치, 정보 기록 매체 및 정보 처리 방법, 및 프로그램
PCT/JP2011/057536 WO2011125574A1 (ja) 2010-04-08 2011-03-28 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
CN2011800268715A CN102918850A (zh) 2010-04-08 2011-03-28 信息处理装置、信息记录介质、信息处理方法以及程序
US13/636,135 US20130011124A1 (en) 2010-04-08 2011-03-28 Information processing device, information recording medium, information processing method, and program
EP11765474.9A EP2557801A4 (en) 2010-04-08 2011-03-28 INFORMATION PROCESSING DEVICE, INFORMATION RECORDING MEDIUM, INFORMATION PROCESSING METHOD, AND PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010089447A JP2011223247A (ja) 2010-04-08 2010-04-08 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2011223247A true JP2011223247A (ja) 2011-11-04

Family

ID=44762525

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010089447A Pending JP2011223247A (ja) 2010-04-08 2010-04-08 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム

Country Status (7)

Country Link
US (1) US20130011124A1 (ja)
EP (1) EP2557801A4 (ja)
JP (1) JP2011223247A (ja)
KR (1) KR20130066569A (ja)
CN (1) CN102918850A (ja)
TW (1) TW201206155A (ja)
WO (1) WO2011125574A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014151853A (ja) * 2013-02-13 2014-08-25 Nissan Motor Co Ltd 道路形状予測装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104109535B (zh) * 2014-06-23 2016-03-02 中国石油化工股份有限公司 一种压裂液胶体保护剂及其应用

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006025388A1 (ja) * 2004-08-31 2006-03-09 Matsushita Electric Industrial Co., Ltd. 動画像符号化方法及び装置
WO2009133714A1 (ja) * 2008-05-01 2009-11-05 パナソニック株式会社 立体視映像を再生するための光ディスク

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4599740B2 (ja) 2000-04-21 2010-12-15 ソニー株式会社 情報処理装置および方法、記録媒体、プログラム、並びに記録媒体
JP4972933B2 (ja) 2005-12-28 2012-07-11 ソニー株式会社 データ構造、記録装置、記録方法、記録プログラム、再生装置、再生方法および再生プログラム
JP5295236B2 (ja) * 2008-06-18 2013-09-18 三菱電機株式会社 三次元映像変換記録装置、三次元映像変換記録方法、記録媒体、三次元映像変換装置、及び三次元映像伝送装置
JP4974984B2 (ja) * 2008-09-11 2012-07-11 三菱電機株式会社 映像記録装置及び方法
AU2009299356A1 (en) * 2008-09-30 2011-08-25 Panasonic Corporation Reproduction device, recording medium, and integrated circuit
EP2348747A4 (en) * 2008-11-18 2013-08-28 Panasonic Corp REPRODUCTION DEVICE, INTEGRATED CIRCUIT, AND REPRODUCTION METHOD WHEREAS SPECIALIZED REPRODUCTION
US9124874B2 (en) * 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006025388A1 (ja) * 2004-08-31 2006-03-09 Matsushita Electric Industrial Co., Ltd. 動画像符号化方法及び装置
WO2009133714A1 (ja) * 2008-05-01 2009-11-05 パナソニック株式会社 立体視映像を再生するための光ディスク

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014151853A (ja) * 2013-02-13 2014-08-25 Nissan Motor Co Ltd 道路形状予測装置

Also Published As

Publication number Publication date
EP2557801A4 (en) 2014-07-16
WO2011125574A1 (ja) 2011-10-13
CN102918850A (zh) 2013-02-06
US20130011124A1 (en) 2013-01-10
TW201206155A (en) 2012-02-01
KR20130066569A (ko) 2013-06-20
EP2557801A1 (en) 2013-02-13

Similar Documents

Publication Publication Date Title
JP5577805B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
CA2816434C (en) Recording medium, playback device, recording device, playback method and recording method for editing recorded content while maintaining compatibility with old format
JP5601006B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP5494152B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
WO2011125575A1 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP5369956B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP4984184B2 (ja) 再生装置および再生方法
WO2011125574A1 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP4984194B2 (ja) 記録方法
JP2010244635A (ja) 情報処理装置、情報処理方法、再生装置、再生方法、プログラム、および記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140120

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140304