JP7233561B2 - 点群圧縮のための方法並びにその、装置およびコンピュータプログラム - Google Patents
点群圧縮のための方法並びにその、装置およびコンピュータプログラム Download PDFInfo
- Publication number
- JP7233561B2 JP7233561B2 JP2021552977A JP2021552977A JP7233561B2 JP 7233561 B2 JP7233561 B2 JP 7233561B2 JP 2021552977 A JP2021552977 A JP 2021552977A JP 2021552977 A JP2021552977 A JP 2021552977A JP 7233561 B2 JP7233561 B2 JP 7233561B2
- Authority
- JP
- Japan
- Prior art keywords
- quantization
- delta
- octree
- information
- signaling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/40—Tree coding, e.g. quadtree, octree
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
- H03M13/29—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes combining two or more codes or code structures, e.g. product codes, generalised product codes, concatenated codes, inner and outer codes
- H03M13/2906—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes combining two or more codes or code structures, e.g. product codes, generalised product codes, concatenated codes, inner and outer codes using block codes
- H03M13/2927—Decoding strategies
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
- H03M7/42—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code using table look-up for the coding or decoding process, e.g. using read-only memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Generation (AREA)
Description
本開示は、2019年7月2日に出願された米国仮出願第62/869,946号の「点群符号化における適応ジオメトリ量子化のためのQP変動のシグナリング」、2019年10月3日に出願された米国仮出願第62/910,387号の「点群符号化のための適応ジオメトリ量子化および暗黙的なジオメトリパーティションに関する追加情報」、および2020年1月7日に出願された米国仮出願第62/958,131号の「点群符号化のための適応ジオメトリ量子化および並列八分木符号化に関する追加情報」の優先権を主張する、2020年6月30日に出願された米国特許出願第16/916,944号の「点群圧縮のための方法および装置」の優先権を主張する。その内容を全て参照により本明細書に組み込むものとする。
本開示は、一般に点群圧縮に関する実施形態を説明する。
一実施形態では、前記分割情報に含まれる八分木パーティション構造に基づいて、前記境界ボックスを複数のパーティションに分割する。
一実施形態では、前記分割情報に含まれる複数の領域の座標情報に基づいて、前記境界ボックスを前記複数の領域に分割する。
一実施形態では、前記適応ジオメトリ量子化情報に含まれる基底量子化パラメータに基づいて、前記量子化パラメータを決定する。
一実施形態では、1つまたは複数のデルタ量子化パラメータのシグナリングが有効になっていることを示す第1のシンタックス要素に応答して、前記1つまたは複数のデルタ量子化パラメータに基づいて前記量子化パラメータを決定する。前記第1のシンタックス要素は、前記適応ジオメトリ量子化情報に含まれる。
一実施形態では、(i)前記量子化パラメータ、および(ii)前記1つまたは複数のデルタ量子化パラメータのうちのいずれかは、ルックアップテーブルに含まれている。
一実施形態では、前記適応ジオメトリ量子化情報は、(i)前記ルックアップテーブルのインデックス、および(ii)前記インデックスと前記インデックスの予測子との差分のうちのいずれかを含む。
一実施形態では、前記境界ボックス内の各部分のデルタ量子化パラメータは、前記それぞれの部分に対応するノードの親ノードの量子化パラメータ、前記それぞれの部分に対応するノードの同じパーティション深度で先に符号化された兄弟ノードの量子化パラメータ、および前記基底量子化パラメータのうちの少なくとも一方に基づいて予測される。
一実施形態では、前記1つまたは複数のデルタ量子化パラメータは、量子化パラメータ予測子の候補リストに基づいて予測される。
図1は、本開示の一実施形態による通信システム(100)の概略ブロック図を示している。通信システム(100)は、例えばネットワーク(150)を介して互いに通信可能な複数の端末装置を含む。例えば、通信システム(100)は、ネットワーク(150)を介して相互接続された一対の端末装置(110)および(120)を含む。図1の例では、第1の対の端末装置(110)および(120)は、点群データの単方向送信を実行する。例えば、端末装置(110)は、端末装置(110)に接続されたセンサー105によってキャプチャされた点群(例えば、構造物を表す点)を圧縮することができる。圧縮された点群は、例えばビットストリーム形式で、ネットワーク(150)を介して他の端末装置(120)に送信されることができる。端末装置(120)は、圧縮された点群をネットワーク(150)から受信し、ビットストリームを解凍して点群を再構成し、再構成された点群を好適に表示することができる。単方向のデータ送信は、メディア供給アプリケーションなどで一般的である。
ストリーミングシステム(200)は、キャプチャサブシステム(213)を含み得る。キャプチャサブシステム(213)は、点群ソース(201)、例えば光検出と測距(light detection and ranging、LIDAR)システム、3Dカメラ、3Dスキャナ、ソフトウェアで非圧縮の点群を生成するグラフィックス生成コンポーネントなど、例えば非圧縮の点群(202)を生成するようなものを含むことができる。一例では、点群(202)は、3Dカメラでキャプチャされた点を含む。点群(202)は、圧縮された点群(204)(圧縮された点群のビットストリーム)と比較して、高データ量を強調するために太線で示されている。圧縮された点群(204)は、点群ソース(201)に結合されたエンコーダ(203)を含む電子デバイス(220)によって生成されることができる。エンコーダ(203)は、以下でより詳細に説明するように、開示された主題の態様を可能にするか或いは実施するために、ハードウェア、ソフトウェア、またはそれらの組み合わせを含むことができる。点群(202)のストリームと比較してより低いデータ量を強調するために細い線で示される圧縮された点群(204)(または圧縮された点群(204)のビットストリーム)は、将来使うためにストリーミングサーバ(205)に記憶されることができる。図2のクライアントサブシステム(206)および(208)などの1つまたは複数のストリーミングクライアントサブシステムは、ストリーミングサーバ(205)にアクセスして、圧縮された点群(204)のコピー(207)および(209)を検索することができる。クライアントサブシステム(206)は、例えば、電子デバイス(230)におけるデコーダ(210)を含むことができる。デコーダ(210)は、圧縮された点群の入り方向コピー(207)をデコードし、レンダリングデバイス(212)上でレンダリング可能な再構成された点群(211)の出方向ストリームを作成する。一部のストリーミングシステムでは、圧縮された点群(204)、(207)、および(209)(例えば、圧縮された点群のビットストリーム)は、特定の規格に従って圧縮されることができる。いくつかの例では、点群の圧縮においてビデオ符号化規格が使用される。それらの規格の例としては、高効率ビデオ符号化(High Efficiency Video Coding、HEVC)、多用途ビデオ符号化(Versatile Video Coding、VVC)などがある。
1.点群データ
点群は近年、広く使用されている。例えば、点群データは、自動運転車で物体検出および位置特定のために使用されている。また、点群データは、地理情報システム(GIS)でマッピングのために使用され、文化遺産における文化遺産実物および集合体の可視化とアーカイブなどのために使用されることもできる。
点群データには、それぞれが3D位置情報および色や反射率などの付加的な属性を含む高次元、典型的には3次元(3D)の点のセットが含まれている。それらは、複数のカメラと深度センサー、又は種々の設定のLidarでキャプチャされることができ、元のシーンをリアルに表現するために、数千から数十億の点で構成されることがある。
したがって、点群を表すために必要なデータ量を削減してより高速な伝送またはストレージの削減を実現するために、圧縮技術が必要である。
ジオメトリ情報と色や反射率などの関連する属性は、(例えば、Test Model 13(TMC13)モデルで)別々に圧縮されることができる。点群の3D座標を含むジオメトリ情報は、八分木パーティションによってその占有情報で符号化されることができる。属性は、例えば予測およびリフティングテクニックを用いて、再構成されたジオメトリに基づいて圧縮されることができる。
八分木パーティションの入力は、変換された位置の集合体、即ち、
八分木パーティション構造の現在のノードの占有コードは、算術エンコーダによって圧縮されることができる。占有コードは、8ビットの整数であるSとして表されることができ、Sの各ビットは、現在のノードの各子ノードの占有状態を示す。占有コードの(例えば、TMC13における)2つの例示的なエンコード方法は、ビット単位エンコードとバイト単位エンコードである。TMC13において、デフォルトでビット単位エンコードが有効になっている。どちらの方法でも、コンテキストモデリングを用いた算術符号化を実行して占有コードをエンコードし、コンテキストステータスは、符号化プロセス全体の開始時に初期化され、符号化プロセス中に更新される。
関連するいくつかのケース(TMC13など)では、点群は、それぞれが位置
本開示の態様によれば、新しい量子化スキームがPCCの八分木符号化手順に提出され、これにより、適応ジオメトリ量子化が可能になる。図8Bに示されるように、この新しい量子化は、八分木符号化におけるQP変動を含み、QPは、八分木パーティション構造の異なるノードに対して変動し得る。各ノードは、点群の境界ボックスの立方体(または一部)に対応する。これに応じて、八分木パーティションとそれに対応する占有符号化を調整することができる。QP変動をシグナリングする方法も詳しく説明されている。本開示は、ジオメトリ符号化のための空間全体にわたる適応ビット割り当てという新しい機能を可能にし、それゆえ、レート制御およびその他の低レベル最適化がより実現可能である。なお、本開示は、TMC13ソフトウェアまたはMPEG-PCC規格に限定されるものではなく、様々なPCCシステムのための一般的な解決策である。
1.制御フラグのシグナリング
1つまたは複数のQP変動(デルタQP)のシグナリングが有効になっているか否かを示す第1の高レベルシンタックス要素を追加することができる。有効になっている場合、1つまたは複数のデルタQPのシグナリングが許可される八分木パーティション深度を示す第2の高レベルシンタックス要素を追加することができる。
変数sps_geo_delta_qp_flagが1に等しい場合、ビットストリームのシーケンスに対してデルタQPのシグナリングが有効になっていることを指定する。変数sps_geo_delta_qp_flagが0に等しい場合、ビットストリームのシーケンスに対してデルタQPのシグナリングが無効になっていることを指定する。デルタQPのシグナリングが有効になっている場合、変数sps_geo_delta_qp_signal_depthは、デルタQPがシグナリングされる八分木パーティションの深度を指定する。八分木パーティション深度が、指定された変数sps_geo_delta_qp_signal_depthを下回る場合、
デルタQP値を直接シグナリングする代わりに、デルタQPをルックアップテーブルに含めて、そのテーブルのインデックスが参照することができる。このテーブルは、固定されているか、或いは、ビットストリームでシグナリングされることができる。テーブルがビットストリームでシグナリングされる場合、テーブルの要素は、独立してシグナリングされるか、或いは、それらの差分(すなわち、テーブルの2つの要素間の差分)によってシグナリングされることができる。テーブルの要素は、QP値またはデルタQP値のいずれかであり得る。以下の実施形態では、QPテーブルは、ビットストリームのシーケンスヘッダでシグナリングされる。なお、QPテーブルは、スライスヘッダなどの他のレベルでシグナリングされることもできる。
一実施形態では、適応ジオメトリ量子化で使用され得るすべてのQP値(基底QPを除く)を指定するルックアップテーブルは、表8でシグナリングされる。
そして、QPテーブルの各要素は、変数sps_geo_qp_table_element[i]によってシグナリングされる。この要素は、適応ジオメトリ量子化で使用され得るすべてのQPを
一実施形態では、適応ジオメトリ量子化で使用され得るすべてのデルタQP値を指定するルックアップテーブルは、表9でシグナリングされる。
そして、デルタQPテーブルの各要素は、変数sps_geo_delta_qp_table_element[i]によってシグナリングされる。それらは、適応ジオメトリ量子化で使用され得るすべてのデルタQPを、
本開示の態様によれば、例えば3D空間において、特定の領域を定義することができ、異なる領域に対して異なる領域QPを割り当てることができる。これは、境界ボックスおよび対応する領域QPによって指定されることができる、領域ベースの適応ジオメトリ量子化と呼ばれることができる。図10は、本開示の一実施形態による、異なる領域QPに関連付けられた3つの境界ボックスを示す。
そして、各領域に対して、変数sps_geo_region_qp_start_pos_x [i]、sps_geo_region_qp_start_pos_y [i]、およびsps_geo_region_qp_start_pos_z [i]は、デカルト座標における領域の開始位置を指定し、変数sps_geo_region_qp_end_pos_x [i]、sps_geo_region_qp_end_pos_y [i]、およびsps_geo_region_qp_end_pos_z [i]は、デカルト座標における領域の終了位置を指定し、変数sps_geo_region_qp [i]は、この領域の対応する領域QPを指定する。この場合、シンタックスで指定されていない残りの領域について、変数sps_geo_qp_baseによって指定された
一実施形態では、表11に示されるように、領域は各次元の開始位置および長さによって指定され、対応する領域QP値は各領域ごとに指定される。
この場合、シンタックスで指定されていない残りの領域について、変数sps_geo_qp_baseによって指定された
前節では、QP変動をシグナリングするための例示的な高レベルシンタックスを説明したが、本節では、八分木符号化によるデルタQPのシグナリング方法をさらに説明する。八分木パーティションの各サブノードは、異なるQP、すなわち
変数depthShiftは、
本開示の態様によれば、提案された適応ジオメトリ量子化は、特定の八分木パーティション深度で適用され、この深度は高レベルシンタックスで指定される。
ジオメトリスライスヘッダのシンタックスの変更は、表23に示される通りである。
if( geo_delta_qp_is_nonzero_flag ) {
if( geo_delta_qp_sign )
geo_octree_dqp = geo_delta_qp_abs_minus_one + 1;
else
geo_octree_dqp = - geo_delta_qp_abs_minus_one - 1;
} else
geo_octree_dqp = 0;
変数geo_octree_dqpがデコードされると、変数geoOctreeQP[depth][nodeIdx]は次のように更新される。
geoOctreeQP[depth][nodeIdx] = geo_octree_dqp + baseQP
現在のノードのQSは、次のように導出されることができる。
geoQp = geoOctreeQP[depth][nodeIdx],
geoOctreeQS = geomLevelScale[ geoQp % 6 ] << (geoQp / 6)
変数depthShiftは、ジオメトリビット深度のシフトを次のように指定する。
depthShift = floor ( ( geoQp - 4 ) / 6 )
導出されたパラメータdepthShiftは、表25に示されるように、現在のノードのジオメトリ符号化に影響を与え得る。
変数direct_mode_flagが0に等しい場合、以下が適用される。
このプロセスへの入力は、(1)パックされたジオメトリ八分木における現在のジオメトリ八分木ノードの位置を指定する八分木ノード位置(depth,nodeIdx)、(2)現在のスライスにおける現在のジオメトリ八分木ノードの位置を指定する空間的位置(xN,yN,zN)、(3)QPによるジオメトリ量子化が適用される、現在のスライスにおける現在のジオメトリ八分木ノードの基底位置を指定する空間的位置(xNBase,yNBase,zNBase)、および(4)(xNBase,yNBase,zNBase)によって指定される基底位置に対する、現在のスライスにおける現在のジオメトリ八分木ノードの量子化された位置を指定する空間的位置(xNQuant,yNQuant,zNQuant)を含む。
このプロセスの出力は、修正された配列PointPosと更新された変数PointCountである。
占有されている各子における点の空間的位置は、各子における重複点の数と、直接符号化された位置の使用に従って、以下のように決定されることができる。
本開示の態様によれば、QP変動はスライスレベルで指定されることができ、これは、各スライスに異なるQPが割り当てられることができることを示している。
一実施形態では、QP変動のシグナリングがスライスレベルで有効になっているか否かを示す活性化フラグが、ジオメトリパラメータセットに追加される。有効になっている場合、QP差分をシグナリングする際に、基底QPが予測子としてシグナリングされる。
ジオメトリパラメータセットのシンタックス変更を表26に示す。
現在のスライスの八分木デコードプロセスが完了した後、以下のような逆量子化プロセスが適用される。
for (i = 0; i < PointCount; i++) {
PointPos[ i ][ 0 ] = (PointPos[ i ][ 0 ] * geoSliceQS + (1 << 19)) >> 20;
PointPos[ i ][ 1 ] = (PointPos[ i ][ 1 ] * geoSliceQS + (1 << 19)) >> 20;
PointPos[ i ][ 2 ] = (PointPos[ i ][ 2 ] * geoSliceQS + (1 << 19)) >> 20;
}
本開示の態様によれば、スライスベースのジオメトリ量子化を、八分木ベースのジオメトリ量子化と整列させることができる。2つの内部量子化ステップを適用する代わりに、それらを1つの操作、すなわち、八分木レベルにおける内部量子化にマージすることができる。そのソリューションは次の通りである。(1)八分木ベースの量子化のみが有効になっている場合、内部量子化が特定の指定された八分木パーティション深度で適用される八分木ベースのスキームと同じである。(2)スライスベースの量子化のみが有効になっている場合、内部量子化は第1の八分木パーティション深度で適用されることができる。(3)スライスベースの量子化と八分木ベースの量子化の両方が有効になっている場合、実際の量子化は八分木ベースのスキームで指定された八分木パーティション深度で適用されることができる。スライスレベルの決定されたQPは、八分木レベルでデルタQPをシグナリングするための基底QPとして使用されることができる。
ジオメトリパラメータセットのシンタックス変更を表28に示す。
ジオメトリスライスヘッダのシンタックス変更を表29に示す。
if( geo_delta_qp_is_nonzero_flag ) {
if( geo_delta_qp_sign )
geo_octree_dqp = geo_delta_qp_abs_minus_one + 1;
else
geo_octree_dqp = - geo_delta_qp_abs_minus_one - 1;
} else
geo_octree_dqp = 0;
現在のノードのQSは、次のように導出されることができる。
変数depthShiftは、ジオメトリビット深度のシフトをdepthShift=floor((geoQp-4)/6)として指定する。
導出されたパラメータdepthShiftは、表31に示されるように、現在のノードのジオメトリ符号化に影響を与え得る。
変数direct_mode_flagが0に等しい場合、以下が適用される。
このプロセスへの入力は、(1)パックされたジオメトリ八分木における現在のジオメトリ八分木ノードの位置を指定する八分木ノード位置(depth,nodeIdx)、(2)現在のスライスにおける現在のジオメトリ八分木ノードの位置を指定する空間的位置(xN,yN,zN)、(3)QPによるジオメトリ量子化が適用される、現在のスライスにおける現在のジオメトリ八分木ノードの基底位置を指定する空間的位置(xNBase,yNBase,zNBase)、および(4)(xNBase,yNBase,zNBase)によって指定される基底位置に対する、現在のスライスにおける現在のジオメトリ八分木ノードの量子化された位置を指定する空間的位置(xNQuant,yNQuant,zNQuant)を含む。
このプロセスの出力は、修正された配列PointPosと更新された変数PointCountである。
占有されている各子における点の空間的位置は、各子における重複点の数と、直接符号化された位置の使用に従って、以下のように決定されることができる。
本開示の態様によれば、提案された適応ジオメトリ量子化は、異なるジオメトリ八分木ノードに対して異なる量子化ステップサイズを許可することができる。このプロセスを簡略化するために、ジオメトリ量子化スキームに制約を導入することができる。
一実施形態では、適応ジオメトリ量子化は、特定のパーティション深度におけるノードに対してのみ許可される。
本節では、暗黙的なジオメトリパーティションを紹介する。2つのパラメータKおよびMがどのように更新されるか、KおよびMに基づいてパーティションの種類と方向がどのように決定されるかについて説明する。
まず、表32に示されるように、制御フラグと2つのパラメータKおよびMがジオメトリパラメータセットで指定されている。
このパラメータは、すべての次元がMと等しいか、それより小さい場合に暗黙的なQTおよびBTパーティションを防止する。
暗黙的なQTBTが有効になっている場合、境界ボックスのサイズは、表33に示されるように、ジオメトリスライスヘッダ内の3つの値によって指定される。
MaxNodeSizeXLog2=gsh_log2_max_nodesize_x,
MaxNodeSizeX = 1 << MaxNodeSizeXLog2
MaxNodeSizeYLog2 = gsh_log2_max_nodesize_y_minus_x + MaxNodeSizeXLog2,
MaxNodeSizeY = 1 << MaxNodeSizeYLog2
MaxNodeSizeZLog2 = gsh_log2_max_nodesize_z_minus_y + MaxNodeSizeYLog2,
MaxNodeSizeZ = 1 << MaxNodeSizeZLog2
gsh_log2_max_nodesize = max{ MaxNodeSizeXLog2, MaxNodeSizeYLog2, MaxNodeSizeZLog2}
gsh_log2_min_nodesize = min{ MaxNodeSizeXLog2, MaxNodeSizeYLog2, MaxNodeSizeZLog2}
if (K > (gsh_log2_max_nodesize - gsh_log2_min_nodesize))
K = gsh_log2_max_nodesize - gsh_log2_min_nodesize;
if (M > gsh_log2_min_nodesize)
M = gsh_log2_min_nodesize;
if (gsh_log2_max_nodesize == gsh_log2_min_nodesize)
M = 0;
if (log2_trisoup_node_size != 0) {
K = gsh_log2_max_nodesize - gsh_log2_min_nodesize;
M = 0;
}
ジオメトリスライスデータの例示的な変更を表34に示す。表35は、例示的なシンタックステーブルを示す。
MaxGeometryOctreeDepth=gsh_log2_max_nodesize - log2_trisoup_node_size
NodeSizeXLog2 = MaxNodeSizeXLog2 - depthX;
NodeSizeYLog2 = MaxNodeSizeYLog2 - depthY;
NodeSizeZLog2 = MaxNodeSizeZLog2 - depthZ;
if( !(partitionSkip & 4 )
ChildNodeSizeXLog2 = NodeSizeXLog2 - 1;
else
ChildNodeSizeXLog2 = NodeSizeXLog2;
if( !(partitionSkip & 2 )
ChildNodeSizeYLog2 = NodeSizeYLog2 - 1;
else
ChildNodeSizeYLog2 = NodeSizeYLog2;
if( !(partitionSkip & 1 )
ChildNodeSizeZLog2 = NodeSizeZLog2 - 1;
else
ChildNodeSizeZLog2 = NodeSizeZLog2;
このプロセスは、各八分木深度の符号化開始時に起動される。
八分木パーティションが指定された深度
この再初期化プロセスは、各八分木深度の符号化開始時に以下のように起動される。
if (gps_parallel_octree_coding_flag && depth == d_min) {
for (k = 0; k < 32; k++)
lut0Svld[k]= lut0[k];
for (k = 0; k < 256; k++)
lut0HistogramSvld[k]= lut0Histogram [k];
lut0UpdatePeriodSvld = lut0UpdatePeriod;
lut0SymbolsUntilUpdateSvld = lut0SymbolsUntilUpdate;
lut0ResetSvld = lut0Reset;
for (k = 0; k < 16; k++)
lut1Svld[k]= lut1[k];
lut1IndexLastSymbolSvld = lut1IndexLastSymbol;
ctxLut0HitSvld = ctxLut0Hit;
ctxLut1HitSvld = ctxLut1Hit;
ctxSymbolBitSvld = ctxSymbolBit;
for (k = 0; k < 32; k++)
ctxLut0IndexSvld[k] = ctxLut0Index[k];
}
if (gps_parallel_octree_coding_flag && depth >= d_min) {
for (k = 0; k < 32; k++)
lut0[k]= lut0Svld[k];
for (k = 0; k < 256; k++)
lut0Histogram [k]= lut0HistogramSvld [k];
lut0UpdatePeriod = lut0UpdatePeriodSvld;
lut0SymbolsUntilUpdate = lut0SymbolsUntilUpdateSvld;
lut0Reset = lut0ResetSvld;
for (k = 0; k < 16; k++)
lut1 [k]= lut1Svld [k];
lut1IndexLastSymbol = lut1IndexLastSymbolSvld;
ctxLut0Hit = ctxLut0HitSvld;
ctxLut1Hit = ctxLut1HitSvld;
ctxSymbolBit = ctxSymbolBitSvld;
for (k = 0; k < 32; k++)
ctxLut0Index [k] = ctxLut0IndexSvld [k];
}
八分木パーティションが指定された深度
この再初期化プロセスは、各八分木深度の符号化開始時に以下のように起動される。
if (gps_parallel_octree_coding_flag && depth == d_min) {
localDensitySvld = localDensity;
for (axisIdx = 0; k < 2; k++) {
planeRateSvld [axisIdx]= planeRate [axisIdx];
}
}
if (gps_parallel_octree_coding_flag && depth >= d_min) {
localDensity = localDensitySvld;
for (axisIdx = 0; k < 2; k++) {
planeRate [axisIdx]= planeRateSvld [axisIdx];
}
}
図11は、本開示の一実施形態によるプロセス(1100)を概説するフローチャートを示す。このプロセス(1100)は、点群をエンコードするためのエンコードプロセス中に使用され得る。様々な実施形態において、プロセス(1100)は、端末装置(110)の処理回路、エンコーダ(203)の機能を実行する処理回路、エンコーダ(300)の機能を実行する処理回路などの処理回路によって実行される。いくつかの実施形態では、プロセス(1100)はソフトウェア命令で実施されるため、処理回路がソフトウェア命令を実行すると、処理回路は、(S1110)で開始し得るプロセス(1100)を実行する。
(S1110)では、プロセス(1100)は、量子化された空間における点群のシンタックス情報を、符号化されたビットストリームからデコードする。シンタックス情報は、点群の境界ボックスの分割情報および適応ジオメトリ量子化情報を含む。その後、プロセス(1100)は、ステップ(S1120)に進む。
(S1120)では、プロセス(1100)は、分割情報に基づいて、点群の境界ボックスを複数の部分に分割する。部分は、上述したように、パーティションまたは領域に対応することができる。その後、プロセス(1100)は、ステップ(S1130)に進む。
(S1130)では、プロセス(1100)は、適応ジオメトリ量子化情報に基づいて、境界ボックス内の部分の量子化パラメータを決定する。その後、プロセス(1100)は、ステップ(S1140)に進む。
(S1140)では、プロセス(1100)は、境界ボックス内のそれぞれの部分の量子化パラメータに基づいて、点群の境界ボックス内の各部分の点を再構成する。その後、プロセス(1100)は終了する。
一実施形態では、分割情報に含まれる複数の領域の座標情報に基づいて、境界ボックスを複数の領域に分割する。
一実施形態では、適応ジオメトリ量子化情報に含まれる基底量子化パラメータに基づいて、量子化パラメータを決定される。
一実施形態では、1つまたは複数のデルタ量子化パラメータのシグナリングが有効になっていることを示す第1のシンタックス要素に応答して、1つまたは複数のデルタ量子化パラメータに基づいて量子化パラメータを決定する。第1のシンタックス要素は、適応ジオメトリ量子化情報に含まれる。
一実施形態では、量子化パラメータ、基底量子化パラメータ、および1つまたは複数のデルタ量子化パラメータのうちの少なくとも一方は、2の累乗である。
一実施形態では、(i)量子化パラメータと、(ii)1つまたは複数のデルタ量子化パラメータのうちのいずれかは、ルックアップテーブルに含まれる。
一実施形態では、適応ジオメトリ量子化情報は、(i)ルックアップテーブルのインデックスと、(ii)インデックスとインデックスの予測子との差分のうちのいずれかを含む。
一実施形態では、1つまたは複数のデルタ量子化パラメータは、量子化パラメータ予測子の候補リストに基づいて予測される。
以上で説明された技法は、コンピュータ読取可能な命令を使用するコンピュータソフトウェアとして実施され、1つまたは複数のコンピュータ読取可能な媒体に物理的に記憶されることができる。例えば、図12は、開示された主題のいくつかの実施形態を実施することに適したコンピュータシステム(1200)を示す。
Claims (20)
- デコーダにおける点群符号化のための方法であって、
符号化されたビットストリームから量子化された空間における点群のシンタックス情報をデコードするステップであって、前記シンタックス情報は前記点群の境界ボックスの分割情報および適応ジオメトリ量子化情報を含む、ステップと、
前記分割情報に基づいて、前記点群の前記境界ボックスを複数の部分に分割するステップと、
前記適応ジオメトリ量子化情報に基づいて、前記境界ボックス内の前記部分の量子化パラメータを決定するステップと、
前記境界ボックス内のそれぞれの部分の前記量子化パラメータに基づいて、前記点群の前記境界ボックス内の各前記部分における点を再構成するステップと、を含む方法。 - 前記分割情報は、八分木パーティション構造を含み、
前記分割するステップは、前記八分木パーティション構造に基づいて、前記境界ボックスを複数のパーティションに分割するステップを含む、請求項1に記載の方法。 - 前記分割情報は、複数の領域の座標情報を含み、
前記分割するステップは、前記座標情報に基づいて、前記境界ボックスを前記複数の領域に分割するステップを含む、請求項1に記載の方法。 - 前記適応ジオメトリ量子化情報は、基底量子化パラメータを含み、
前記決定するステップは、前記基底量子化パラメータに基づいて前記量子化パラメータを決定するステップを含む、請求項1に記載の方法。 - 前記適応ジオメトリ量子化情報は、1つまたは複数のデルタ量子化パラメータのシグナリングが有効になっているか否かを示す第1のシンタックス要素を含み、
前記決定するステップは、前記1つまたは複数のデルタ量子化パラメータの前記シグナリングが有効になっていることを示す前記第1のシンタックス要素に応答して、前記1つまたは複数のデルタ量子化パラメータに基づいて前記量子化パラメータを決定するステップを含む、請求項1に記載の方法。 - 前記適応ジオメトリ量子化情報は、前記1つまたは複数のデルタ量子化パラメータの前記シグナリングが有効になっていることを示す前記第1のシンタックス要素に基づいて、第2のシンタックス要素および第3のシンタックス要素のうちのいずれかを含み、前記第2のシンタックス要素は、前記1つまたは複数のデルタ量子化パラメータの前記シグナリングが許可される八分木パーティション深度を示し、前記第3のシンタックス要素は、前記1つまたは複数のデルタ量子化パラメータの前記シグナリングが許可される最小の八分木パーティション深度を示す、請求項5に記載の方法。
- 前記適応ジオメトリ量子化情報は、基底量子化パラメータと、1つまたは複数のデルタ量子化パラメータのシグナリングが有効になっているか否かを示す第1のシンタックス要素とを含み、
前記量子化パラメータ、前記基底量子化パラメータ、および前記1つまたは複数のデルタ量子化パラメータのうちの少なくとも一方は、2の累乗である、請求項1に記載の方法。 - (i)前記量子化パラメータ、および(ii)前記1つまたは複数のデルタ量子化パラメータのうちのいずれかは、ルックアップテーブルに含まれている、請求項5に記載の方法。
- 前記適応ジオメトリ量子化情報は、(i)前記ルックアップテーブルのインデックス、および(ii)前記インデックスと前記インデックスの予測子との差分のうちのいずれかを含む、請求項8に記載の方法。
- 前記適応ジオメトリ量子化情報は、基底量子化パラメータと、1つまたは複数のデルタ量子化パラメータのシグナリングが有効になっているか否かを示す第1のシンタックス要素とを含み、
前記境界ボックス内の各部分のデルタ量子化パラメータは、前記それぞれの部分に対応するノードの親ノードの量子化パラメータ、前記それぞれの部分に対応するノードの同じパーティション深度で先に符号化された兄弟ノードの量子化パラメータ、および前記基底量子化パラメータのうちの少なくとも一方に基づいて予測される、請求項1に記載の方法。 - 前記1つまたは複数のデルタ量子化パラメータは、量子化パラメータ予測子の候補リストに基づいて予測される、請求項5に記載の方法。
- 点群符号化のための装置であって、
符号化されたビットストリームから量子化された空間における点群のシンタックス情報をデコードし、前記シンタックス情報は前記点群の境界ボックスの分割情報および適応ジオメトリ量子化情報を含み、
前記分割情報に基づいて、前記点群の前記境界ボックスを複数の部分に分割し、
前記適応ジオメトリ量子化情報に基づいて、前記境界ボックス内の前記部分の量子化パラメータを決定し、
前記境界ボックス内のそれぞれの部分の前記量子化パラメータに基づいて、前記点群の前記境界ボックス内の各前記部分における点を再構成する、ように構成される処理回路を備える装置。 - 前記処理回路は、さらに、
前記分割情報に含まれる八分木パーティション構造に基づいて、前記境界ボックスを複数のパーティションに分割するように構成される、請求項12に記載の装置。 - 前記処理回路は、さらに、
前記分割情報に含まれる複数の領域の座標情報に基づいて、前記境界ボックスを前記複数の領域に分割するように構成される、請求項12に記載の装置。 - 前記処理回路は、さらに、
前記適応ジオメトリ量子化情報に含まれる基底量子化パラメータに基づいて、前記量子化パラメータを決定するように構成される、請求項12に記載の装置。 - 前記処理回路は、さらに、
前記適応ジオメトリ量子化情報に含まれる、1つまたは複数のデルタ量子化パラメータのシグナリングが有効になっていることを示す第1のシンタックス要素に応答して、前記1つまたは複数のデルタ量子化パラメータに基づいて前記量子化パラメータを決定するように構成される、請求項12に記載の装置。 - 前記適応ジオメトリ量子化情報は、前記1つまたは複数のデルタ量子化パラメータの前記シグナリングが有効になっていることを示す前記第1のシンタックス要素に基づいて、第2のシンタックス要素および第3のシンタックス要素のうちのいずれかを含み、前記第2のシンタックス要素は、前記1つまたは複数のデルタ量子化パラメータの前記シグナリングが許可される八分木パーティション深度を示し、前記第3のシンタックス要素は、前記1つまたは複数のデルタ量子化パラメータの前記シグナリングが許可される最小の八分木パーティション深度を示す、請求項16に記載の装置。
- 前記適応ジオメトリ量子化情報は、基底量子化パラメータと、1つまたは複数のデルタ量子化パラメータのシグナリングが有効になっているか否かを示す第1のシンタックス要素とを含み、
前記量子化パラメータ、前記基底量子化パラメータ、および前記1つまたは複数のデルタ量子化パラメータのうちの少なくとも一方は、2の累乗である、請求項12に記載の装置。 - (i)前記量子化パラメータ、および(ii)前記1つまたは複数のデルタ量子化パラメータのうちのいずれかは、ルックアップテーブルに含まれている、請求項16に記載の装置。
- コンピュータに請求項1~11のいずれか一項に記載の方法を実行させるコンピュータプログラム。
Applications Claiming Priority (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962869946P | 2019-07-02 | 2019-07-02 | |
US62/869,946 | 2019-07-02 | ||
US201962910387P | 2019-10-03 | 2019-10-03 | |
US62/910,387 | 2019-10-03 | ||
US202062958131P | 2020-01-07 | 2020-01-07 | |
US62/958,131 | 2020-01-07 | ||
US16/916,944 US11469771B2 (en) | 2019-07-02 | 2020-06-30 | Method and apparatus for point cloud compression |
PCT/US2020/040328 WO2021003173A1 (en) | 2019-07-02 | 2020-06-30 | Method and apparatus for point cloud compression |
US16/916,944 | 2020-06-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022526232A JP2022526232A (ja) | 2022-05-24 |
JP7233561B2 true JP7233561B2 (ja) | 2023-03-06 |
Family
ID=74065234
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021552977A Active JP7233561B2 (ja) | 2019-07-02 | 2020-06-30 | 点群圧縮のための方法並びにその、装置およびコンピュータプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11469771B2 (ja) |
EP (1) | EP3994668A4 (ja) |
JP (1) | JP7233561B2 (ja) |
CN (1) | CN113632142B (ja) |
WO (1) | WO2021003173A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12165368B2 (en) * | 2019-06-26 | 2024-12-10 | Lg Electronics Inc. | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device and point cloud data reception method |
US11368717B2 (en) | 2019-09-16 | 2022-06-21 | Tencent America LLC | Method and apparatus for point cloud compression |
US11363285B2 (en) * | 2020-02-20 | 2022-06-14 | Tencent America LLC | Block partitioning at picture boundaries |
CN113286152B (zh) | 2020-02-20 | 2023-05-23 | 腾讯美国有限责任公司 | 视频解码方法、装置、计算机设备及存储介质 |
CN115474058A (zh) * | 2021-06-11 | 2022-12-13 | 维沃移动通信有限公司 | 点云编码处理方法、点云解码处理方法及相关设备 |
WO2023059136A1 (ko) * | 2021-10-08 | 2023-04-13 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
WO2024065269A1 (zh) * | 2022-09-28 | 2024-04-04 | Oppo广东移动通信有限公司 | 点云编解码方法、装置、设备及存储介质 |
WO2024178687A1 (zh) * | 2023-03-01 | 2024-09-06 | 上海交通大学 | 编解码方法、码流、编码器、解码器以及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018101404A (ja) | 2016-09-13 | 2018-06-28 | ダッソー システムズDassault Systemes | 物理的属性を表す信号の圧縮 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010151334A1 (en) * | 2009-06-26 | 2010-12-29 | Thomson Licensing | Methods and apparatus for video encoding and decoding using adaptive geometric partitioning |
KR101924249B1 (ko) | 2011-08-25 | 2018-11-30 | 톰슨 라이센싱 | 계위적 엔트로피 인코딩 및 디코딩 |
US9332283B2 (en) | 2011-09-27 | 2016-05-03 | Broadcom Corporation | Signaling of prediction size unit in accordance with video coding |
US9736488B2 (en) | 2013-11-27 | 2017-08-15 | Nxp Usa, Inc. | Decoding for high efficiency video transcoding |
US9734595B2 (en) | 2014-09-24 | 2017-08-15 | University of Maribor | Method and apparatus for near-lossless compression and decompression of 3D meshes and point clouds |
US20170214943A1 (en) | 2016-01-22 | 2017-07-27 | Mitsubishi Electric Research Laboratories, Inc. | Point Cloud Compression using Prediction and Shape-Adaptive Transforms |
US11297346B2 (en) | 2016-05-28 | 2022-04-05 | Microsoft Technology Licensing, Llc | Motion-compensated compression of dynamic voxelized point clouds |
US10223810B2 (en) * | 2016-05-28 | 2019-03-05 | Microsoft Technology Licensing, Llc | Region-adaptive hierarchical transform and entropy coding for point cloud compression, and corresponding decompression |
CN109313820B (zh) | 2016-06-14 | 2023-07-04 | 松下电器(美国)知识产权公司 | 三维数据编码方法、解码方法、编码装置、解码装置 |
JP6876822B2 (ja) * | 2017-03-21 | 2021-05-26 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ルミナンス情報を用いた量子化パラメーター予測 |
JP7234925B2 (ja) * | 2017-07-10 | 2023-03-08 | ソニーグループ株式会社 | 情報処理装置および方法 |
US10984541B2 (en) * | 2018-04-12 | 2021-04-20 | Samsung Electronics Co., Ltd. | 3D point cloud compression systems for delivery and access of a subset of a compressed 3D point cloud |
CN110662087B (zh) * | 2018-06-30 | 2021-05-11 | 华为技术有限公司 | 点云编解码方法和编解码器 |
-
2020
- 2020-06-30 JP JP2021552977A patent/JP7233561B2/ja active Active
- 2020-06-30 US US16/916,944 patent/US11469771B2/en active Active
- 2020-06-30 WO PCT/US2020/040328 patent/WO2021003173A1/en unknown
- 2020-06-30 EP EP20834720.3A patent/EP3994668A4/en active Pending
- 2020-06-30 CN CN202080023446.XA patent/CN113632142B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018101404A (ja) | 2016-09-13 | 2018-06-28 | ダッソー システムズDassault Systemes | 物理的属性を表す信号の圧縮 |
Also Published As
Publication number | Publication date |
---|---|
CN113632142B (zh) | 2024-07-26 |
EP3994668A1 (en) | 2022-05-11 |
EP3994668A4 (en) | 2023-11-22 |
JP2022526232A (ja) | 2022-05-24 |
WO2021003173A1 (en) | 2021-01-07 |
US11469771B2 (en) | 2022-10-11 |
US20210004991A1 (en) | 2021-01-07 |
CN113632142A (zh) | 2021-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7257547B2 (ja) | 点群圧縮のための方法及び装置、並びにコンピュータプログラム | |
JP7233561B2 (ja) | 点群圧縮のための方法並びにその、装置およびコンピュータプログラム | |
US11743498B2 (en) | Implicit quadtree or binary-tree geometry partition for point cloud coding | |
CN113994383A (zh) | 点云编解码方法和装置 | |
JP7325534B2 (ja) | 点群符号化のための方法および装置 | |
US12217465B2 (en) | Method and apparatus for point cloud coding | |
CN115152225A (zh) | 用于点云译码的方法和设备 | |
RU2778864C1 (ru) | Неявное геометрическое разделение на основе квадродерева или бинарного дерева для кодирования облака точек | |
JP2024515208A (ja) | メッシュ圧縮のための境界uv2xyzインデックスの予測コーディング | |
CN116368523A (zh) | Uv坐标编码 | |
CN117917078A (zh) | 计算用于点云编解码的基于距离的加权平均的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210909 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210909 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221011 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230123 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230221 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7233561 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |