JP7310816B2 - 情報処理装置および情報処理方法、並びにプログラム - Google Patents
情報処理装置および情報処理方法、並びにプログラム Download PDFInfo
- Publication number
- JP7310816B2 JP7310816B2 JP2020528720A JP2020528720A JP7310816B2 JP 7310816 B2 JP7310816 B2 JP 7310816B2 JP 2020528720 A JP2020528720 A JP 2020528720A JP 2020528720 A JP2020528720 A JP 2020528720A JP 7310816 B2 JP7310816 B2 JP 7310816B2
- Authority
- JP
- Japan
- Prior art keywords
- sample
- image
- information
- geometry
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 91
- 238000003672 processing method Methods 0.000 title claims description 9
- 238000012545 processing Methods 0.000 claims description 111
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 description 128
- 238000010586 diagram Methods 0.000 description 56
- 238000012856 packing Methods 0.000 description 46
- 230000011664 signaling Effects 0.000 description 37
- 238000006243 chemical reaction Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 15
- 230000006835 compression Effects 0.000 description 10
- 238000007906 compression Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 9
- 238000000605 extraction Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000001131 transforming effect Effects 0.000 description 4
- 238000007405 data analysis Methods 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- AWSBQWZZLBPUQH-UHFFFAOYSA-N mdat Chemical compound C1=C2CC(N)CCC2=CC2=C1OCO2 AWSBQWZZLBPUQH-UHFFFAOYSA-N 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 208000031509 superficial epidermolytic ichthyosis Diseases 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 229920000785 ultra high molecular weight polyethylene Polymers 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
本技術を適用した符号化方法について説明する前に、図1乃至図4を参照して、従来の符号化方法について説明する。
図5を参照して、ISOBMFF格納のために新たに定義するPoint Cloud sample(以下、PC sampleと称する)について説明する。
図6乃至図19を参照して、ISOBMFFの1 trackにPC streamを格納する方法である第1の格納方法について説明する。
図17は、コンテンツを提供するサーバ側で、Point CloudコンテンツからPC streamを生成し、そのPC streamをISOBMFFに格納したPCファイルを生成するPCファイル生成処理を実行する情報処理装置の第1の構成例を示すブロック図である。
図19は、図17の情報処理装置11が、Point CloudからPCファイルを生成するPCファイル生成処理を説明するフローチャートである。
図30は、コンテンツを提供するサーバ側で、Point CloudコンテンツからPCファイルを生成するPCファイル生成処理を実行する情報処理装置の第2の構成例を示すブロック図である。なお、図30に示す情報処理装置11Aにおいて、図17の情報処理装置11と共通する構成については、同一の符号を付し、その詳細な説明は省略する。
図32は、図30の情報処理装置11Aが、Point Cloudからpacked PC streamを生成し、そのpacked PC streamをISOBMFFに格納したpacked PCファイルを生成するpacked PCファイル生成処理を説明するフローチャートである。
図36乃至図43を参照して、PC sampleを定義せずPC streamをISOBMFFの1 trackに格納する方法である第3の格納方法について説明する。ここで、第3の格納方法は、上述したようなPC sampleという概念を用いずに、texture subsampleおよびgeometry subsampleをISOBMFFのsampleとして格納する点で、第1の格納方法および第2の格納方法に対する変形例となる。
図44乃至図53を参照して、PC streamをgeometry video streamおよびtexture video streamに分け、ISOBMFFの2 tracksに格納する方法である第4の格納方法について説明する。
図52および図53を参照して、DASHのシグナリングについて説明する。
図56および図57を参照して、本技術を適用したデータ生成装置およびデータ再生装置のシステム構成について説明する。
次に、上述した一連の処理(情報処理方法)は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
なお、本技術は以下のような構成も取ることができる。
(1)
3次元構造を表す3Dデータを2次元に変換することによって、少なくとも第1の画像および第2の画像と、前記第1の画像および前記第2の画像を3次元に構築するのに必要な3次元情報メタデータとが得られ、特定時刻に表示される前記3Dデータを構成する1単位のファイルを、前記第1の画像および前記第2の画像を前記3次元情報メタデータに基づいて3次元に再現して再生する際に必要な再生順に従って、前記第1の画像および前記第2の画像と前記3次元情報メタデータとを格納して生成するファイル生成部
を備える情報処理装置。
(2)
前記第1の画像および前記第2の画像を符号化して、第1の画像ストリームおよび第2の画像ストリームを生成する符号化部
をさらに備え、
前記ファイル生成部は、前記第1の画像ストリームおよび前記第2の画像ストリームがそれぞれ復号された後に、前記第1の画像および前記第2の画像を前記3次元情報メタデータに基づいて3次元構造として再構築されるのに必要な復号順に従って、前記第1の画像および前記第2の画像と前記3次元情報メタデータとを格納して前記ファイルを生成する
上記(1)に記載の情報処理装置。
(3)
前記符号化部は、前記第1の画像および前記第2の画像をnon-layered codingで符号化する
上記(2)に記載の情報処理装置。
(4)
前記3次元情報メタデータは、前記第1の画像および前記第2の画像を指し示す情報を含む
上記(1)から(3)までのいずれかに記載の情報処理装置。
(5)
前記3次元情報メタデータは、Group of Framesを示す情報を含む
上記(1)から(4)までのいずれかに記載の情報処理装置。
(6)
前記3次元情報メタデータは、同時刻に表示するlayer数およびcomponent数を示す情報を含む
上記(1)から(5)までのいずれかに記載の情報処理装置。
(7)
前記3次元情報メタデータは、前記3Dデータの前記3次元構造の構成要素ごとのコーデック情報を含む
上記(1)から(6)までのいずれかに記載の情報処理装置。
(8)
前記符号化部は、前記第1の画像および前記第2の画像をlayered codingで符号化する
上記(2)に記載の情報処理装置。
(9)
複数の画像を1つのパッキング画像にパッキングするパッキング処理部
をさらに備え、
前記ファイル生成部は、前記パッキング画像、前記3次元情報メタデータ、および、前記パッキングの方法を示すパッキング情報を前記ファイルに格納する
上記(1)から(8)までのいずれかに記載の情報処理装置。
(10)
前記パッキング処理部は、同一のlayerの前記第1の画像どうし、および、同一のlayerの前記第2の画像どうしをパッキングする
上記(9)に記載の情報処理装置。
(11)
前記パッキング処理部は、前記第1の画像と前記第2の画像との同一のlayerどうしをパッキングする
上記(9)に記載の情報処理装置。
(12)
前記パッキング処理部は、前記第1の画像および前記第2の画像の全てのlayerをパッキングする
上記(9)に記載の情報処理装置。
(13)
前記ファイル生成部は、前記第1の画像および前記第2の画像と前記3次元情報メタデータとを少なくとも含むストリームを、ISOBMFF(ISO Base Media File Format)の1 sampleとして格納することで前記ファイルを生成する
上記(1)から(12)までのいずれかに記載の情報処理装置。
(14)
前記第1の画像および前記第2の画像のいずれか一方が前記3次元情報メタデータを含み、前記第1の画像および前記第2の画像で、それぞれが前記1 sampleとして格納される
上記(13)に記載の情報処理装置。
(15)
前記ファイル生成部は、前記第1の画像および前記第2の画像と前記3次元情報メタデータとを少なくとも含むストリームを、異なるトラックに格納することで前記ファイルを生成する
上記(1)から(14)までのいずれかに記載の情報処理装置。
(16)
前記3次元情報メタデータは、前記トラックの間の関係性を示す情報を含む
上記(15)に記載の情報処理装置。
(17)
前記第1の画像および前記第2の画像と前記3次元情報メタデータとは、ISOBMFFでシグナルされる
上記(1)から(16)までのいずれかに記載の情報処理装置。
(18)
前記第1の画像および前記第2の画像と前記3次元情報メタデータとは、DASH(Dynamic Adaptive St reaming over HTTP)のMPD(Media Presentation Description)でシグナルされる
上記(1)から(16)までのいずれかに記載の情報処理装置。
(19)
情報処理装置が、
3次元構造を表す3Dデータを2次元に変換することによって、少なくとも第1の画像および第2の画像と、前記第1の画像および前記第2の画像を3次元に構築するのに必要な3次元情報メタデータとが得られ、特定時刻に表示される前記3Dデータを構成する1単位のファイルを、前記第1の画像および前記第2の画像を前記3次元情報メタデータに基づいて3次元に再現して再生する際に必要な再生順に従って、前記第1の画像および前記第2の画像と前記3次元情報メタデータとを格納して生成すること
を含む情報処理方法。
(20)
情報処理装置のコンピュータに、
3次元構造を表す3Dデータを2次元に変換することによって、少なくとも第1の画像および第2の画像と、前記第1の画像および前記第2の画像を3次元に構築するのに必要な3次元情報メタデータとが得られ、特定時刻に表示される前記3Dデータを構成する1単位のファイルを、前記第1の画像および前記第2の画像を前記3次元情報メタデータに基づいて3次元に再現して再生する際に必要な再生順に従って、前記第1の画像および前記第2の画像と前記3次元情報メタデータとを格納して生成すること
を含む情報処理を実行させるためのプログラム。
Claims (26)
- 特定時刻に表示されるPoint Cloudを構成する単位であるPC Sampleにおいて、
PC Sampleは、前記Point Cloudに対応する3Dデータを2次元に変換することにより得られるGeometry画像のSub Sample、Texture画像のSub Sample、および3次元情報メタデータで構成され、
前記3次元情報メタデータには、前記PC Sampleのheader情報であるPC headerが含まれ、
前記PC headerには、前記PC Sample内における前記Geometry画像のSub Sample数または前記Texture画像のSub Sample数であるLayer数の情報が含まれており、
前記Geometry画像のSub Sample、前記Texture画像のSub Sample、および前記3次元情報メタデータを格納してファイルを生成するファイル生成部
を備える情報処理装置。 - 前記ファイルはISOBMFF(ISO Base Media File Format)であって、
前記Layer数の情報は、前記ファイルのメタデータ領域であるmoovBoxに格納される
請求項1に記載の情報処理装置。 - 前記Layer数の情報は、前記ファイルに格納される前記Geometry画像のSub Sampleおよび前記Texture画像のSub Sampleに対応するTrackのSample Entryに格納される
請求項2に記載の情報処理装置。 - 前記PC headerには、さらに前記Sub SampleがGeometry画像のSub Sampleか、Texture画像のSub Sampleかを示すType情報、および、前記Sub Sampleが対応するLayerを示すLayer識別子が含まれる
請求項1に記載の情報処理装置。 - 前記Type情報が0であるとき、前記Sub SampleはGeometry画像のSub Sampleであることを示し、前記Type情報が1であるとき、前記Sub SampleはTexture画像のSub Sampleであることを示す
請求項4に記載の情報処理装置。 - 前記Type情報は、SubSampleInformationとしてシグナルされる
請求項5に記載の情報処理装置。 - 前記Type情報は、SubSampleEntryBoxにシグナルされる
請求項5に記載の情報処理装置。 - 特定時刻に表示されるPoint Cloudを構成する複数のSampleにおいて、
前記複数のSampleは、前記Point Cloudに対応する3Dデータを2次元に変換することにより得られるGeometry画像のSample、Texture画像のSample、および3次元情報メタデータで構成され、
前記3次元情報メタデータには、前記Sampleのheader情報であるPCheaderが含まれ、
前記PCheaderには、特定時刻に表示されるPoint Cloudを構成する前記Geometry画像のSample数または前記Texture画像のSample数であるLayer数の情報が含まれており、
前記Geometry画像のSample、前記Texture画像のSample、および前記3次元情報メタデータを格納してファイルを生成するファイル生成部
を備える情報処理装置。 - 前記ファイルはISOBMFF(ISO Base Media File Format)であって、
前記Layer数の情報は、前記ファイルのメタデータ領域であるmoovBoxに格納される
請求項8に記載の情報処理装置。 - 前記Layer数の情報は、前記ファイルに格納される前記Geometry画像のSampleおよび前記Texture画像のSampleに対応するTrackのSample Entryに格納される
請求項9に記載の情報処理装置。 - 前記PCheaderには、さらに前記SampleがGeometry画像のSampleか、Texture画像のSampleかを示すType情報、および、前記Sampleが対応するLayerを示すLayer識別子が含まれる
請求項9に記載の情報処理装置。 - 前記Layer識別子は、SampleEntryでシグナルされる
請求項11に記載の情報処理装置。 - 前記Type情報が0であるとき、前記SampleはGeometry画像のSampleであることを示し、前記Type情報が1であるとき、前記SampleはTexture画像のSampleであることを示す
請求項11に記載の情報処理装置。 - 前記Type情報は、SubSampleInformationとしてシグナルされる
請求項13に記載の情報処理装置。 - 前記Type情報は、SubSampleEntryBoxにシグナルされる
請求項13に記載の情報処理装置。 - 前記3次元情報メタデータは、前記複数のSampleの間の関係性を示す情報を含む
請求項8に記載の情報処理装置。 - 前記Geometry画像および前記Texture画像と前記3次元情報メタデータとは、ISOBMFFでシグナルされる
請求項8に記載の情報処理装置。 - 前記Geometry画像および前記Texture画像と前記3次元情報メタデータとは、DASH(Dynamic Adaptive St reaming over HTTP)のMPD(Media Presentation Description)でシグナルされる
請求項8に記載の情報処理装置。 - 情報処理装置が、
特定時刻に表示されるPoint Cloudを構成する単位であるPC Sampleにおいて、
PC Sampleは、前記Point Cloudに対応する3Dデータを2次元に変換することにより得られるGeometry画像のSub Sample、Texture画像のSub Sample、および3次元情報メタデータで構成され、
前記3次元情報メタデータには、前記PC Sampleのheader情報であるPC headerが含まれ、
前記PC headerには、前記PC Sample内における前記Geometry画像のSub Sample数または前記Texture画像のSub Sample数であるLayer数の情報が含まれており、
前記Geometry画像のSub Sample、前記Texture画像のSub Sample、および前記3次元情報メタデータを格納してファイルを生成すること
を含む情報処理方法。 - 情報処理装置のコンピュータに、
特定時刻に表示されるPoint Cloudを構成する単位であるPC Sampleにおいて、
PC Sampleは、前記Point Cloudに対応する3Dデータを2次元に変換することにより得られるGeometry画像のSub Sample、Texture画像のSub Sample、および3次元情報メタデータで構成され、
前記3次元情報メタデータには、前記PC Sampleのheader情報であるPC headerが含まれ、
前記PC headerには、前記PC Sample内における前記Geometry画像のSub Sample数または前記Texture画像のSub Sample数であるLayer数の情報が含まれており、
前記Geometry画像のSub Sample、前記Texture画像のSub Sample、および前記3次元情報メタデータを格納してファイルを生成すること
を含む情報処理を実行させるためのプログラム。 - 情報処理装置が、
特定時刻に表示されるPoint Cloudを構成する複数のSampleにおいて、
前記複数のSampleは、前記Point Cloudに対応する3Dデータを2次元に変換することにより得られるGeometry画像のSample、Texture画像のSample、および3次元情報メタデータで構成され、
前記3次元情報メタデータには、前記Sampleのheader情報であるPCheaderが含まれ、
前記PCheaderには、特定時刻に表示されるPoint Cloudを構成する前記Geometry画像のSample数または前記Texture画像のSample数であるLayer数の情報が含まれており、
前記Geometry画像のSample、前記Texture画像のSample、および前記3次元情報メタデータを格納してファイルを生成すること
を含む情報処理方法。 - 情報処理装置のコンピュータに、
特定時刻に表示されるPoint Cloudを構成する複数のSampleにおいて、
前記複数のSampleは、前記Point Cloudに対応する3Dデータを2次元に変換することにより得られるGeometry画像のSample、Texture画像のSample、および3次元情報メタデータで構成され、
前記3次元情報メタデータには、前記Sampleのheader情報であるPCheaderが含まれ、
前記PCheaderには、特定時刻に表示されるPoint Cloudを構成する前記Geometry画像のSample数または前記Texture画像のSample数であるLayer数の情報が含まれており、
前記Geometry画像のSample、前記Texture画像のSample、および前記3次元情報メタデータを格納してファイルを生成すること
を含む情報処理を実行させるためのプログラム。 - 特定時刻に表示されるPoint Cloudを構成する単位であるPC Sampleにおいて、
PC Sampleは、前記Point Cloudに対応する3Dデータを2次元に変換することにより得られるGeometry画像のSub Sample、Texture画像のSub Sample、および3次元情報メタデータで構成され、
前記3次元情報メタデータには、前記PC Sampleのheader情報であるPC headerが含まれ、
前記PC headerには、前記PC Sample内における前記Geometry画像のSub Sample数または前記Texture画像のSub Sample数であるLayer数の情報が含まれており、
前記Geometry画像のSub Sample、前記Texture画像のSub Sample、および前記3次元情報メタデータが格納されているファイルを再生する再生部
を備える情報処理装置。 - 特定時刻に表示されるPoint Cloudを構成する複数のSampleにおいて、
前記複数のSampleは、前記Point Cloudに対応する3Dデータを2次元に変換することにより得られるGeometry画像のSample、Texture画像のSample、および3次元情報メタデータで構成され、
前記3次元情報メタデータには、前記Sampleのheader情報であるPCheaderが含まれ、
前記PCheaderには、特定時刻に表示されるPoint Cloudを構成する前記Geometry画像のSample数または前記Texture画像のSample数であるLayer数の情報が含まれており、
前記Geometry画像のSample、前記Texture画像のSample、および前記3次元情報メタデータが格納されているファイルを再生する再生部
を備える情報処理装置。 - 特定時刻に表示されるPoint Cloudを構成する単位であるPC Sampleにおいて、
PC Sampleは、前記Point Cloudに対応する3Dデータを2次元に変換することにより得られるGeometry画像のSub Sample、Texture画像のSub Sample、および3次元情報メタデータで構成され、
前記3次元情報メタデータには、前記PC Sampleのheader情報であるPC headerが含まれ、
前記PC headerには、前記PC Sample内における前記Geometry画像のSub Sample数または前記Texture画像のSub Sample数であるLayer数の情報が含まれており、
前記Geometry画像のSub Sample、前記Texture画像のSub Sample、および前記3次元情報メタデータが格納されているファイルを再生すること
を含む情報処理方法。 - 特定時刻に表示されるPoint Cloudを構成する複数のSampleにおいて、
前記複数のSampleは、前記Point Cloudに対応する3Dデータを2次元に変換することにより得られるGeometry画像のSample、Texture画像のSample、および3次元情報メタデータで構成され、
前記3次元情報メタデータには、前記Sampleのheader情報であるPCheaderが含まれ、
前記PCheaderには、特定時刻に表示されるPoint Cloudを構成する前記Geometry画像のSample数または前記Texture画像のSample数であるLayer数の情報が含まれており、
前記Geometry画像のSample、前記Texture画像のSample、および前記3次元情報メタデータが格納されているファイルを再生すること
を含む情報処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018129332 | 2018-07-06 | ||
JP2018129332 | 2018-07-06 | ||
PCT/JP2019/021191 WO2020008758A1 (ja) | 2018-07-06 | 2019-05-29 | 情報処理装置および情報処理方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020008758A1 JPWO2020008758A1 (ja) | 2021-07-08 |
JP7310816B2 true JP7310816B2 (ja) | 2023-07-19 |
Family
ID=69060629
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020528720A Active JP7310816B2 (ja) | 2018-07-06 | 2019-05-29 | 情報処理装置および情報処理方法、並びにプログラム |
Country Status (7)
Country | Link |
---|---|
US (1) | US11516453B2 (ja) |
EP (1) | EP3820147A4 (ja) |
JP (1) | JP7310816B2 (ja) |
KR (1) | KR20210025527A (ja) |
CN (1) | CN112369016A (ja) |
TW (1) | TW202006667A (ja) |
WO (1) | WO2020008758A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3836088A4 (en) * | 2018-08-08 | 2021-12-15 | Panasonic Intellectual Property Corporation of America | THREE-DIMENSIONAL DATA ENCODING PROCESS, THREE-DIMENSIONAL DATA DECODING PROCESS, THREE-DIMENSIONAL DATA ENCODING DEVICE, AND TRIDIMENSIONAL DATA DECODING DEVICE |
MX2021003050A (es) * | 2018-09-14 | 2021-08-11 | Huawei Tech Co Ltd | Soporte mejorado de atributos en codificacion de nube de puntos. |
EP3853822A1 (en) * | 2018-09-18 | 2021-07-28 | Vid Scale, Inc. | Methods and apparatus for point cloud compression bitstream format |
WO2020076058A1 (ko) * | 2018-10-08 | 2020-04-16 | 삼성전자 주식회사 | 3차원 비디오 컨텐츠를 포함하는 미디어 파일을 생성하는 방법 및 장치 및 3차원 비디오 컨텐츠를 재생하는 방법 및 장치 |
MX2022015369A (es) * | 2020-06-12 | 2023-01-16 | Sony Group Corp | Dispositivo y metodo de procesamiento de informacion. |
EP3979644A1 (en) * | 2020-10-02 | 2022-04-06 | Koninklijke Philips N.V. | A method and apparatus for encoding and decoding one or more views of a scene |
CN116018618A (zh) * | 2020-10-06 | 2023-04-25 | 索尼集团公司 | 图像处理装置和方法 |
US12044779B2 (en) * | 2020-12-08 | 2024-07-23 | Argo AI, LLC | Methods and system for analyzing dynamic lidar point cloud data |
CN114298092A (zh) * | 2021-12-14 | 2022-04-08 | 深圳市智慧海洋科技有限公司 | 声呐数据转化方法、装置、电子设备、存储介质及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017082076A1 (ja) | 2015-11-11 | 2017-05-18 | ソニー株式会社 | 符号化装置および符号化方法、復号装置および復号方法 |
WO2017104115A1 (ja) | 2015-12-14 | 2017-06-22 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置及び三次元データ復号装置 |
WO2018021069A1 (ja) | 2016-07-29 | 2018-02-01 | ソニー株式会社 | 画像処理装置および画像処理方法 |
US20180268570A1 (en) | 2017-03-16 | 2018-09-20 | Samsung Electronics Co., Ltd. | Point cloud and mesh compression using image/video codecs |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9264690B2 (en) * | 2008-09-07 | 2016-02-16 | Dolby Laboratories Licensing Corporation | Conversion of interleaved data sets, including chroma correction and/or correction of checkerboard interleaved formatted 3D images |
RU2554465C2 (ru) * | 2009-07-27 | 2015-06-27 | Конинклейке Филипс Электроникс Н.В. | Комбинирование 3d видео и вспомогательных данных |
US20110310235A1 (en) * | 2009-12-28 | 2011-12-22 | Taiji Sasaki | Display device and method, recording medium, transmission device and method, and playback device and method |
JP2011142586A (ja) | 2010-01-08 | 2011-07-21 | Sony Corp | 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム |
EP2752011B1 (en) * | 2011-08-31 | 2020-05-20 | Nokia Technologies Oy | Multiview video coding and decoding |
EP2995082B1 (en) * | 2013-05-10 | 2016-11-30 | Koninklijke Philips N.V. | Method of encoding a video data signal for use with a multi-view rendering device |
KR102076494B1 (ko) * | 2014-01-20 | 2020-02-14 | 한국전자통신연구원 | 3차원 데이터 처리 장치 및 방법 |
US10389999B2 (en) * | 2016-02-17 | 2019-08-20 | Qualcomm Incorporated | Storage of virtual reality video in media files |
US10620441B2 (en) * | 2016-12-14 | 2020-04-14 | Qualcomm Incorporated | Viewport-aware quality metric for 360-degree video |
JP6171079B1 (ja) * | 2016-12-22 | 2017-07-26 | 株式会社Cygames | 不整合検出システム、複合現実システム、プログラム及び不整合検出方法 |
WO2018169139A1 (ko) * | 2017-03-17 | 2018-09-20 | 엘지전자 주식회사 | 360도 비디오의 영역 정보 전달 방법 및 장치 |
US11062738B2 (en) * | 2017-03-23 | 2021-07-13 | Qualcomm Incorporated | Signalling of video content including sub-picture bitstreams for video coding |
US10778993B2 (en) * | 2017-06-23 | 2020-09-15 | Mediatek Inc. | Methods and apparatus for deriving composite tracks with track grouping |
US10873733B2 (en) * | 2017-06-23 | 2020-12-22 | Mediatek Inc. | Methods and apparatus for deriving composite tracks |
EP3649776A4 (en) * | 2017-07-03 | 2020-11-04 | Nokia Technologies Oy | APPARATUS, METHOD, AND COMPUTER PROGRAM FOR OMNIDIRECTIONAL VIDEO |
US20200120326A1 (en) * | 2017-07-06 | 2020-04-16 | Sharp Kabushiki Kaisha | Systems and methods for signaling view information for virtual reality applications |
JP7043755B2 (ja) * | 2017-08-29 | 2022-03-30 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム、及び、移動体 |
-
2019
- 2019-05-29 CN CN201980044256.3A patent/CN112369016A/zh active Pending
- 2019-05-29 WO PCT/JP2019/021191 patent/WO2020008758A1/ja active Application Filing
- 2019-05-29 US US15/734,559 patent/US11516453B2/en active Active
- 2019-05-29 KR KR1020207037126A patent/KR20210025527A/ko active IP Right Grant
- 2019-05-29 EP EP19830286.1A patent/EP3820147A4/en active Pending
- 2019-05-29 JP JP2020528720A patent/JP7310816B2/ja active Active
- 2019-06-26 TW TW108122317A patent/TW202006667A/zh unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017082076A1 (ja) | 2015-11-11 | 2017-05-18 | ソニー株式会社 | 符号化装置および符号化方法、復号装置および復号方法 |
WO2017104115A1 (ja) | 2015-12-14 | 2017-06-22 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置及び三次元データ復号装置 |
WO2018021069A1 (ja) | 2016-07-29 | 2018-02-01 | ソニー株式会社 | 画像処理装置および画像処理方法 |
US20180268570A1 (en) | 2017-03-16 | 2018-09-20 | Samsung Electronics Co., Ltd. | Point cloud and mesh compression using image/video codecs |
Also Published As
Publication number | Publication date |
---|---|
EP3820147A4 (en) | 2022-07-20 |
KR20210025527A (ko) | 2021-03-09 |
US11516453B2 (en) | 2022-11-29 |
TW202006667A (zh) | 2020-02-01 |
JPWO2020008758A1 (ja) | 2021-07-08 |
EP3820147A1 (en) | 2021-05-12 |
CN112369016A (zh) | 2021-02-12 |
WO2020008758A1 (ja) | 2020-01-09 |
US20210235056A1 (en) | 2021-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7310816B2 (ja) | 情報処理装置および情報処理方法、並びにプログラム | |
KR102699245B1 (ko) | 포인트 클라우드 데이터 부호화 장치, 포인트 클라우드 데이터 부호화 방법, 포인트 클라우드 데이터 복호화 장치 및 포인트 클라우드 데이터 복호화 방법 | |
TWI679885B (zh) | 用於產生媒體資料的方法及設備 | |
JP7399224B2 (ja) | メディアコンテンツを送信するための方法、装置及びコンピュータプログラム | |
JP7439762B2 (ja) | 情報処理装置および情報処理方法、並びにプログラム | |
KR102655630B1 (ko) | 3차원 비디오 컨텐츠를 포함하는 미디어 파일을 생성하는 방법 및 장치 및 3차원 비디오 컨텐츠를 재생하는 방법 및 장치 | |
JP6037567B2 (ja) | 2次元にも対応する立体映像フローのデコード方法 | |
KR101257386B1 (ko) | 통합 멀티미디어 파일 구조를 이용한 3d 멀티미디어콘텐츠 서비스 시스템 및 방법 | |
US11477489B2 (en) | Apparatus, a method and a computer program for video coding and decoding | |
US12131754B2 (en) | Apparatus, a method and a computer program for video coding and decoding | |
GB2585760A (en) | Method, device, and computer program for transmitting media content | |
JP7415936B2 (ja) | 情報処理装置および情報処理方法 | |
US20240107049A1 (en) | Information processing device and information processing method | |
JPWO2017122543A1 (ja) | 情報処理装置および情報処理方法 | |
KR20160142626A (ko) | 공통 홀로그래픽 데이터 포맷 및 부복호화 장치 및 방법 | |
JP2024515091A (ja) | メディアファイル処理方法及びその装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A527 Effective date: 20201130 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220405 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230414 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230606 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230619 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7310816 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |