[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2024516538A - スピンセンサヘッドによって捕捉された点群幾何学データを符号化/復号化する方法及び装置 - Google Patents

スピンセンサヘッドによって捕捉された点群幾何学データを符号化/復号化する方法及び装置 Download PDF

Info

Publication number
JP2024516538A
JP2024516538A JP2023561168A JP2023561168A JP2024516538A JP 2024516538 A JP2024516538 A JP 2024516538A JP 2023561168 A JP2023561168 A JP 2023561168A JP 2023561168 A JP2023561168 A JP 2023561168A JP 2024516538 A JP2024516538 A JP 2024516538A
Authority
JP
Japan
Prior art keywords
point
res
point cloud
radius
sign
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023561168A
Other languages
English (en)
Inventor
ラセール,セバスチャン
タケ,ジョナサン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Publication of JP2024516538A publication Critical patent/JP2024516538A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/001Model-based coding, e.g. wire frame
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/005Statistical coding, e.g. Huffman, run length coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/40Tree coding, e.g. quadtree, octree
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

物理オブジェクトを表す点群に対して符号化/復号化を行う方法と装置を提供し、前記点群の各点は、前記点から参照物までの距離に応じた半径と予測半径との間の残差半径に関連付けられる。前記方法は、以前の点に関連付けられる以前のエントロピー符号化/エントロピー復号化された非ゼロ残差半径の正負符号に基づいて、点群の現在の点に関連付けられる残差半径の正負符号に対してエントロピー符号化/エントロピー復号化を行う。【選択図】 図10

Description

関連出願の相互引用
本願は2021年4月9日に提出された欧州特許出願第EP21305460.4号の優先権を主張し、該出願の内容は援用により全体に組み込まれ且つ開示される。
本願は、一般に、点群圧縮に関し、特にスピンセンサヘッドによって捕捉された点群幾何学データを符号化/復号化する方法及び装置に関する。
この部分は、本分野の各態様を読者に紹介することを目的としており、これらの態様は、以下で説明された及び/又は保護が求められる本願の少なくとも1つの例示的な実施例の各態様に関連付けられる。本議論は、読者に背景情報を提供することで本願の各態様への理解に役立つと認められる。
3Dデータの一種の表現形式として、点群は、あらゆるタイプの物理オブジェクト又はシーンを表現する面では様々な機能を備えるため、最近注目を集めている。点群は、文化遺産や建物など様々な目的に使用可能であり、例えば、雕像又は建筑物のようなオブジェクトを3D方式でスキャンすることで、物体を送信したり訪問したりしない場合で物体の空間配置を共有する。また、それは、物体が破壊される場合に備えて物体の知識を保存する方式でもあり、例えば、地震によって破壊された寺院である。このような点群は通常、静的で、色が付いていて巨大である。
もう1つの使用例は、トポロジーと地図作成である、3D表現を使用すると、地図は平面に限定されず、起伏を含む地形を含むこともできる。現在、グーグルマップは3D地図の良好な例であるが、使用されるのは点群ではなくメッシュである。しかし、点群は3D地図の適切なデータフォーマットであってもよく、このような点群は通常、静的で、色が付いていて巨大である。
仮想現実(VR)、拡張現実(AR)及び没入型世界は最近話題となっており、2Dフラットビデオの未来として多くの人が予見している。その基本的な理念は、視聴者が目の前の仮想世界を見ることしかできない標準的なテレビとは対照的に、視聴者を周囲の環境に没入させることである。環境における視聴者の自由度に応じて、没入感にはいくつかの段階がある。点群はVR/AR世界を配布するための適切な形式の候補である。
自動車産業、特に予測されている自動運転車は、点群を大量に使用できる分野でもある。自動運転車は、周囲の環境を「検出」し、検出した最も近い物体の存在と性質及び道路の構成に基づいて良好な運転決断を下す必要がある。
点群は、3次元(3D)空間における点のセットであり、選択可能に各の追加値を追加する。これらの追加値は通常属性と呼ばれる。属性は、例えば3つの要素からなる色、材料特性(例えば反射率)及び/又は点に関連付けられた表面の2成分法線ベクトルであってもよい。
したがって、点群は幾何学(3D空間における位置、通常は3Dデカルト座標x、yとzで示される)と属性との組み合わせである。
点群は、カメラのアレイ、深度センサ、レーザ機器(光検出と測距、ライダとも呼ばれる)、レーダなど各種のデバイスによって捕捉可能であり、又はコンピュータによって生成(例えば、映画のポストプロダクションなど)可能である。使用例に応じて、点群には、数千から最大で数十億の点が地図作成アプリケーションに使用される場合がある。点群の元の表現は、デカルト座標x、yごとに少なくとも十数ビットの、点ごとに非常に高いビット数が必要とされており、選択的に、(1つ又は複数の)属性により多くのビット、例えば10ビットの三倍を提供して色に使用する。
多くのアプリケーションでは、許容可能な(または非常に優れた)エクスペリエンスの品質を維持しながら、適切な量のビットレートまたはストレージスペースのみを消費することで、点群をエンドユーザに配布したり、サーバに保存したりすることができ、これは非常に重要である。これらの点群の効率的な圧縮は多くの没入型ワールドで流通チェーンを実用化するための重要なポイントである。
AR/VRメガネやその他の3D対応デバイスなど、エンドユーザによる配布および視覚化の場合に対して、圧縮は非可逆圧縮(例えばビデオ圧縮において)になる可能性がある。医療アプリケーションや自動運転などの他の使用例は、圧縮および送信された点群のその後の分析から得られた決定の結果が変更されないように、確かに可逆圧縮を必要としている。
最近まで、点群圧縮(別名PCC)の問題は大衆市場で扱われておらず、利用可能な標準化された点群コーデックもない。2017年に、運動画像専門家グループ又はMPEGとも呼ばれる標準化ワーキンググループISO/JCT1/SC29/WG11は、点群圧縮に関する作業項目を開始した。これにより、以下の2つの標準が生まれた。すなわち、
MPEG-I第5部分(ISO/IEC 23090-5)又はビデオに基づく点群圧縮(V-PCC)
MPEG-I第9部分(ISO/IEC 23090-9)又は幾何学に基づく点群圧縮(G-PCC)
V-PCC符号化方法は、3Dオブジェクトに対して複数回の投影を実行して点群を圧縮することで、画像(又は動的点群を取り扱う時ビデオ)に詰め込まれた2Dパッチを得る。その後、従来の画像/ビデオコーデックを用いて、取得した画像又はビデオを圧縮して、これにより、すでに展開されている画像とビデオの解決案を最大限に活用する。画像/ビデオコーデックは、ライダによって捕捉された疎な幾何学データの投影から取得した滑らかでないパッチなど、滑らかでないパッチを通常のように圧縮できないため、本質的には、V-PCCは高密度で連続した点群上でのみ効率的である。
G-PCC符号化方法には、捕捉された幾何学データを圧縮する2つの解決案がある。
第1の解決案は占有ツリーを基にしており、ローカルでは8分木、4分木、または2分木のうちのいずれか1つであり、点群の幾何学形状を表す。占有されたノードは一定のサイズに分割され、占有されたリーフノードは点の3D位置を提供し、通常、これらのノードの中心にある。占有情報は占有フラグによって運ばれ、占有フラグは信号を送信してノードの各子ノードの占有状態を通知する。隣接ベースの予測技術を使用することで、高密度の点群の占有フラグの高レベルの圧縮が可能になる。疎な点群は、ノード内の最小サイズ以外の点の位置を直接符号化することによって対処することができ、ノードに孤立点のみが存在する場合にツリー構造を停止し、この技術は直接符号化モード(DCM)と呼ばれる。
第2の解決案は予測ツリーを基にしており、各ノードは1つの点の3D位置を表し、且つノード間の親/子関係は、親から子まで空間予測を表す。この方法は疎ら点群のみを解決でき、占有ツリーよりも低い遅延やよりシンプルな復号化を提供する優位性がある。しかし、第1の占有ベースの方法と比べて、圧縮パフォーマンスはわずかに優れているだけであり、エンコーダが予測ツリーを構築する際に(潜在的な予測子の長いリストの中から)最適な予測子を集中的に探す必要があるため、符号化も複雑になる。
この2種類の解決案では、属性(復号化)の符号化は、幾何学(復号化)符号化が完成した後に実行され、実際には、2回の符号化が発生した。したがって、ジョイント幾何/属性の低遅延は、3D空間を独立して符号化されたサブボリュームに分割するスライスを使用することで得られたものであり、サブボリューム間で予測する必要はない。多くのスライスを使用する場合は、圧縮性能に大きな影響を与える。
エンコーダとデコーダのシンプルさ、低遅延、圧縮パフォーマンスの要件を組み合わせることは、従来の点群コーデックが十分に対処していない問題である。
1つの重要な使用例は、移動車両に搭載されたスピンセンサヘッド(例えば、スピンライダヘッド)によって捕捉された疎らな幾何学データの送信である。これは通常、シンプルで遅延の少ない組み込み型エンコーダが必要である。エンコーダが、他の処理(例えば(半)自動運転)を並列実行するための計算ユニットに配置される可能性があるため、シンプルさが求められ、したがって、点群エンコーダの利用可能な処理能力が制限される。車両からクラウドへの高速送信を可能にするために、低い遅延も求められ、これにより、複数の車両の収集に基づいてローカル交通をリアルタイムにチェックし、且つ交通情報に基づいて十分な速度で判断を行うことを容易にする。5Gを使用することも遅延を十分低くすることもできるが、エンコーダ自体は符号化により過度の遅延を導入すべきではない。そして、数百万台の自動車からクラウドへのデータストリームは非常に大規模になる可能性があるため、圧縮パフォーマンスは非常に重要になる
スピンセンサヘッドによって捕捉された疎らな幾何学データに関連する特定のアプリオリは、非常に効率的である符号化/復号化方法を得るために使用されている。
例えば、G-PCCはスピンセンサヘッドによって捕捉された仰角(水平地面に対して)、例えば図1と図2で描かれたものを利用している。スピンセンサヘッド10はセンサ11のセット(例えば、レーザ)を含み、ここで、5つのセンサが示される。スピンセンサヘッド10は垂直軸z周りに回転することで物理オブジェクトの幾何学データ、即ち、点群の点の3D位置を捕捉することができ。その後、スピンセンサヘッドによって捕捉された幾何学データを球座標(r3D,φ,θ)で示す、r3Dは点Pとスピンセンサヘッドの中心との距離であり、φはセンサヘッドの参考物に対してスピンする方位角であり、且つθはスピンセンサヘッドのセンサの水平参考平面(ここでy軸)に対する仰角インデックスkに対する仰角である。仰角インデックスkは例えばセンサkの仰角であってもよく、又は単一のセンサが連続する仰角のそれぞれを次々に検出する場合の第k個のセンサ位置である。
スピンセンサヘッドにより捕捉された幾何学データにおいて、方位角に沿うルール分布を観察しており、図3上で描かれたとおりである。この規律性はG-PCCにおいて点群の準1D表現を得るために使用され、ここで、ノイズまで、半径r3Dのみが連続値の範囲に属し、角度φとθは離散数の値のみを用い、φ∀i=0~I-1、ここで、Iは点の方位角を捕捉するための数であり、θ∀k=0~K-1、ここでKはスピンセンサヘッド10のセンサ数である。基本的には、G-PCCは図3上で描かれた2D離散角平面(φ,θ)によるスピンセンサヘッドによって捕捉された疎らな幾何学データ及び各点の半径値r3Dを表す。
球座標空間において、角度の離散性質を用いて、符号化された点に基づいて現在の点の位置を予測し、この準1D特性はすでにG-PCCにおける占有ツリーと予測ツリーで利用されている
より正確に、占有ツリーはDCMを大量に使用し、コンテキスト適応エントロピーエンコーダを使用してノード内の点の直接位置に対してエントロピー符号化を行う。その後、点位置から座標(φ,θ)までのローカル変換及びこれらの座標の、符号化された点から得られた離散角座標(φ,θ)の位置からコンテキストを取得する。
この座標空間の準1D性質(r,φ,θ)を用い、予測ツリーは、球座標(r,φ,θ)における現在の点Pの位置の第1バージョンを直接符号化し、ここで、rは水平xy平面における投影半径であり、図4上でr2Dによって描かれたものの通りである。その後、球座標(r,φ,θ)を3Dデカルト座標(x,y,z)に変換し、且つxyz残差を符号化することで座標変換の誤差、仰角及び方位角の近似及び潜在的なノイズを解決する。
以上のように説明されたように、スピンセンサヘッド10によって捕捉された捕捉点群幾何学データは(r,φ,θ)座標空間において有利に表現される。角度の準(ノイズまで)離散性質により、角座標(φ,θ)を効果的に圧縮することができる。しかし、検出対象のオブジェクトのスピンセンサヘッド10からの距離により、半径rは任何の値を取ることができる。有利なことに、図5に示す方法100により、隣接する符号化された点の半径から点群の点の半径rを予測することで、符号化された残差半径を得る。
図5は、従来技術によりビットストリーム内の残差半径を符号化する方法100を示す。
ステップ110では、予測半径rpredを現在の点の半径rの予測として選択する。
予測半径rpredの例は後ほど説明される等式(7)によって与えらえる。
予測半径rpredは、候補予測モードリストから選択される予測モードから得られる、球面座標を予測する座標(rpred,φpred,θpred)であってもよい。予測モードの選択は、レート又はレート歪みに基づくコスト関数を最小化することによって完成する。
選択される予測モードは、予測モードリストにおいて予測モードインデックスIselによって識別することができ、該予測モードインデックスはビットストリームBにおいて信号で通知する(ステップ120)。予測モードインデックスIselは、ビットストリームBにおいて、点群の各点(又は等価的にG-PCC予測ツリーの各葉ノード)を信号により通知する。
例えば、候補予測モードは(rmin,φ,θ)に等しくてもよく、ここで、rminは最小半径値(幾何学パラメータセットにおいて提供される)であり、φとθは、現在のノード(現在の点P)に親ノードがない場合に0に等しく、又は親ノードに関連付けられる点の方位角と仰角に等しい。
もう1つの候補予測モードは(r,φ,θ)に等しくてもよく、r,φとθは、それぞれ現在のノードの親ノードに関連付けられる点の半径、方位角と仰角である。
もう1つの候補予測モードは、現在ノードの親ノードに関連付けられる半径、方位角と仰角(r,φ,θ)及び祖父ノードに関連付けられる半径、方位角、仰角(r,φ,θ)の線形予測に等しくてもよい。例えば、該候補予測モードは2*(r,φ,θ)-(r,φ,θ)によって与えられる。
もう1つの候補予測モードは、現在ノードの親ノードに関連付けられる点の半径、方位角と仰角(r,φ,θ)、祖父ノードに関連付けられる点の半径、方位角と仰角(r,φ,θ)及び曾祖父ノードに関連付けられる点の半径、方位角と仰角(r,φ,θ)の線形予測に等しくてもよい。
例えば、該候補予測モードは(r,φ,θ)+(r,φ,θ)-(r,φ,θ)によって与えられる。
ステップ130では、残差半径rres=r-rpredを計算する。
ステップ140では、ビットストリームBにおいて第1フラグfを信号することで、残差半径rresがヌルであるか否かを指示する。
残差半径rresがヌルである場合、残差半径の符号化は完了し、且つ該方法は、点群の次の点の残差半径を符号化するために反復される。
そうでなければ、ステップ150において、大きさ|rres|-1はビットストリームB内に符号化され、|.|は「絶対値」を指示する。通常、一連のフラグ(各フラグは、該大きさが特定値であるか否かを指示する)及び/又は指数コロンブス(exp-Golomb)エンコーダを用いて大きさを符号化する。ステップ160において、正負符号sresはビットストリーム内に符号化され、通常、各正負符号に対して1つのビットを使用する。その後、該方法は、点群の次の点の残差半径を符号化するために反復される。
図6は、従来技術に係るビットストリームから半径を復号化する方法200を示す。
ステップ210では、ビットストリームBにおいて第1フラグfにアクセスする。
第1フラグfは現在の点の残差半径がヌルであると指示する場合、残差半径に対する復号化は完成する。
そうでなければ、ステップ220において、ビットストリームBから大きさ|rres|-1を復号化する。ステップ230において、ビットストリームBから残差半径の正負符号sresを復号化する。ステップ240において、復号化された正負符号sres及び復号化された大きさから正負符号付きの残差半径rresを取得する。
ステップ250において、図5において説明されたように、予測モードから予測半径rpredを取得する。その後、復号化された残差半径rresと予測半径rpredを加算することで、復号化された半径rdecを取得する。最後に、該方法は残差半径を復号化し且つ点群の次の点の復号化半径rdecを取得するために反復される。
図7は、図5の残差半径符号化方法100を用いる、G-PCC予測ツリーに基づくエンコーダと同様な点群エンコーダを示す。
まず、点群の点のデカルト座標(x、y、z)は(r,φ,θ)=C2A(x,y,z)により球面座標(r,φ,θ)に変換され、rは水平xy平面上の投影半径r2Dであり、図4に示すように、φは方位角であり、及びθは仰角である。
変換関数C2A(.)部分は下式によって与えられる。
r=round(sqrt(x*x+y*y)/Δr)
φ=round(atan2(y,x)/Δφ)
round()は、最も近い整数値までの切り上げ演算であり、sqrt()は平方根関数であり、atan2(y、x)はy/xに適用される逆正接である。量ΔrとΔφは量子化ステップサイズである。
角度θは以下、仰角値として使用され、該値は、例えば、以下の式により取得され得る。
θ=atan(z/r)、
atan(.)は逆正接関数である。実際には、例えば、G-PCCにおいて、θは、θの仰角インデックスk(即ちk番目の仰角のインデックス)の整数値を表し、そのため、以下で提供される、θに対して実行する操作(予測、残差(解)符号化等)は、仰角インデックスに適用されるように変更される。
球面座標(r,φ,θ)と予測球面座標(rpred,φpred,θpred)との間の残差球面座標res,φres,θres)は下式によって与えらえる。
(rres,φres,θres)=(r,φ,θ)-(rpred,φpred,θpred) (1)
(rpred,φpred,θpred)は、図5で説明される予測モードから得た球面座標である。
演算子Q(.)により残差球面座標res,φres,θres)を、ビットストリームB内に符号化された量子化された残差球面座標Qres,φres,θres)に量子化する。量子化された残差半径rresは図5の符号化方法100を用いてビットストリームB内に符号化することができる。
選択された予測モードを用いて、予測される方位角φpredを取得することができる。
変形では、ビットストリームBにおいて追加的に信号を用いて、選択された予測モードに追加される基本ステップサイズΔφの数(正又は負)を表す整数μを通知することにより、予測される方位角φpredをφ’predに微調整することができる。
φ’pred=φpred+μ*Δφ
数μは、ビットストリームB点群の各点(即ち予測ツリーの各ノード)において信号によって通知される。
予測されたデカルト座標(xpred,ypred,zpred)は、以下の方式により、復号化された球面座標(rdec,φdec,θdec)に対して逆変換を行って得られたものである。
xpred,ypred,zpred)=A2C(rdec,φdec,θdec) (2)
ここで、デコーダによって復号化された球面座標(rdec,φdec,θdec)は下式によって与えられる。
(rdec,φdec,θdec)=(rres,dec,φres,dec,θres,dec)+(rpred,φpred,θpred) (3)
復号化された残差球面座標(rres,dec,φres,dec,θres,dec)は、量子化された残差球面座標Q(rres,φres,θres)の逆量子化(IQ)の結果であってもよい。
復号化の球面座標(rdec,φdec,θdec)に対して逆変換を行うことは下式によって与えられる。
r=rdec*Δr
pred=round(r*cos(φdec*Δφ))
pred=round(r*sin(φdec*Δφ)
pred=round(tan(θdec)*r)
sin()、cos()和tan()は、固定小数点精度の算術演算で近似できるサイン、コサイン、タンジェント関数である。
残差デカルト座標(xres,res,res)は量子化(Q)可能であり、量子化された残差デカルト座標Q(xres,res,res)はビットストリームB内に符号化され得る。
x、y、zの量子化ステップサイズが原点精度(通常は1)に等しい場合、残差デカルト座標に対して可逆符号化を行うことができ、又は量子化ステップサイズが原点精度(通常量子化ステップサイズ大于1)より大きい時、残差デカルト座標に対して非可逆符号化を行うことができる。
デコーダによって取得される復号化のデカルト座標(xdec,ydec,zdec)は下式によって与えられる。
(xdec,ydec,zdec)=(xpred,ypred,zpred)+IQ(Q(xres,res,res)) (4)
図8は、図6の残差半径復号化方法200を用いる、G-PCC予測ツリーに基づくデコーダと同様な点群デコーダを示す。
量子化された残差球面座標Q(rres,φres,θres)をビットストリームBから復号化する。量子化された残差球面座標Q(rres,φres,θres)に対して逆量子化を行うことで、復号化された残差球面座標(rres,dec,φres,dec,θres,dec)を得る。図6の復号化方法200により、量子化された残差半径Q(rres,dec)をビットストリームBから復号化することができる。
等式(3)により、復号化された球面座標(rdec,φdec,θdec)を取得し、
ここで、(rpred,φpred,θpred)は、図5で説明される予測モードにより、該符号化方法と同様な方法を用いることで得られる球面座標である。その後、予測されたデカルト座標(xpred,ypred,zpred)を等式(2)から取得する。
変形では、ビットストリームBにおいてアクセスする予測モードインデックスによって識別される予測モードを用いることで得られた予測された方位角φpredはφ’predに微調整することができ、下式によって与えられる。
φ’pred=φpred+μ*Δφ
点群の各点(即ち予測ツリーの各ノード)に対して、ビットストリームBにおいて数μにアクセスする。
量子化された残差デカルト座標Q(xres,res,res)をビットストリームから復号化され、且つそれに対して逆量子化(IQ)を行うことで、逆量子化されたデカルト座標IQ(Q(xres,res,res))を得る。復号化されたデカルト座標(xdec,ydec,zdec)は等式(4)によって与えられる。
欧州特許出願第EP20306672号は、一本鎖符号化/復号化方法を、図7と図8の符号化/復号化方法の代替的な解決案として開示する。
一本鎖符号化において、点群の点の3Dデカルト座標は半径値r(r2D又はr3D)とともに2D座標系(Cφ,λ)に表示される。粗方位角の座標Cφはセンサヘッドのスピンの方位角インデックスであり、その離散値はCφ(∀i=0~I-1)として表され、角度がφであるセンサヘッドの有効回転に対応する。座標λはセンサインデックスであり、その離散値はλ(∀k=0~K-1)として表される。半径rは、連続する値の範囲に属する。
点群の各点に対して、前記点を捕捉するセンサに関連付けられるセンサインデックスλ(λはセンサインデックスλ(∀k=0~K-1)の1つである)を取得し、前記センサによって捕捉される角度の方位角インデックスCφ(Cφは離散角度インデックスCφ(∀i=0~I-1)の1つである)、及び点の球面座標の半径値rを表す。
捕捉された点の3D位置を示す3Dデカルト座標(x、y、z)を変換することでセンサインデックスλと方位角インデックスCφを取得する。これらの3Dデカルト座標(x、y、z)はスピンセンサヘッド10の出力であってもよい。
例えば、角度φstepが、与えられたセンサインデックスλのセンサヘッドの連続する2回の検出の間の基本方位角ステップサイズであると仮定し、且つ関数atan2(y、x)から返されたy/xの逆正接値を[0;2*π]区間のうちの値とすると仮定する場合、Cφは以下の方式で取得することができ、
Cφ=round(φ/φ_step)、
ここで、φ=atan2(y,x)。その後、回転角度φは式によって得られる。
φ=Cφ*φstep
この場合、離散角度のセットφ(0≦i<I)は実質的にφ=i*φstepによって定義される。
また、λは、センサのインデックスλとして決定することができ、その仰角θは点群の点の仰角θに最も近い。
続いて、一本鎖符号化において、方位角インデックスCφとセンサインデックスλに基づいて点群の点を並べ替えられる。
変形では、辞書の順序により、まず方位角に基づいて、そしてセンサインデックスに基づいて、点を並べ替える。点Pの順序インデックスo(P)は以下の方式によって取得される。
o(P)=Cφ*K+λ
もう1つの変形では、辞書の順序により、まずセンサインデックスに基づいて、そして方位角に基づいて、点を並べ替える。点Pの順序インデックスo(P)は以下の方式によって取得される。
o(P)=λ*I+Cφ
並べ替えられた点をビットストリームBに符号化することは、順序インデックス差Δoに対して符号化を行うことを含んでもよく、該順序インデックス差はそれぞれ、連続する2つのPn-1とPn(n=2~Nに対して)の順序インデックスの間の差を表す。
Δo=o(P)-o(Pn-1
第1点Pの順序インデックスo(P)はビットストリームB内に直接符号化することができる。これは、仮想の第0の点の順序インデックスを任意に0に設定することに相当し、即ちo(P)=0であり、且つΔo=o(P)-o(P)=o(P)を符号化する。
第1点の順序インデックスo(P)及び順序差Δoが与えられている場合、以下の方式により、任意の点Pの順序インデックスo(P)を再帰的に構築することができる。
o(P)=o(Pn-1)+Δo
その後、以下の方式により、点Pに関連付けられるセンサインデックスλ及び方位角インデックスCφ
λ=o(P)moduloK (5)
φ=o(P)/K (6)
除算/Kは整数除算(ユークリッド除算とも呼ばれる)である。したがって、o(P)とΔoはλとCφの代替的な表示である。
符号化側において、残差方位角φresは下式によって与えられる。
φres=φ-φpred=φ-Cφ*φstep (7)
ここで、φpredは予測された方位角である。
その後、並べ替えられた点をビットストリームBに符号化することは、並べ替えられた点に関連付けられる残差(Qrres,Qφres,res)を符号化することをさらに含んでもよく、下式によって与えられる。
(Qrres,Qφres,res)=(r,Qφres)-(rpred,Qφres,pred) (8)
ここで、Qrresは量子化された残差半径であり、Qφresは量子化された残差方位角であり、Qφres,resは量子化された残差方位角の残差であり、且つQφres,predは量子化された予測残差方位角である。点群の各点Pの仰角インデックスθは予測符号化されない。
量子化された残差半径Qrresは、量子化器を残差半径rres=r-rpredに適用することで取得され、ここで、rpredは、図5で説明される予測モードから得られる球面座標である。
図5の符号化方法100を用いて量子化された残差半径QrresをビットストリームB内に符号化することにより、図6の復号化方法200により復号化され、且つ逆量子化されて逆量子化された残差半径IQrresを得ることを可能とし、それは復号化された残差半径rres,decに等しい。
残差方位角φresは下式によって与えられる
φres=φ-φpred
ここで、φpredは等式(7)によって与えられる予測された方位角である。
量子化された残差方位角Qφresは、量子化器Qを残差方位角φresに適用することで取得され、且つビットストリームB内に符号化される。
復号化された残差方位角φres,decは、逆量子化器IQを適用することで得る逆量子化された残差方位角IQφresに等しい。その後、復号化された残差方位角φres,decと、等式(7)によって与えられる予測された方位角φpredとを加えることで、復号化された方位角φdecを取得し、
(rdec,φdec)=(IQrres,IQφres)+(rpred,φpred) (9)
並べ替えられた点をビットストリームB内に符号化することは、以下の方式により、並べ替えられた点の三次元デカルト座標を取得する残差デカルト座標(xres,res,res)をさらに含む。
(xres,res,res)=(x,y,z)-(xpred,ypred,zpred
ここで、(x、y、z)は、並べ替えられた点の三次元デカルト座標であり、且つ(xpred,ypred,zpred)は以下の方式により得られた予測的デカルト座標である。
残差デカルト座標(xres,res,res)は、ビットストリームB内に符号化される量子化された残差デカルト座標Q(xres,res,res)に量子化される。
x、y、zの量子化ステップサイズが原点精度(通常は1)に等しい場合、残差デカルト座標に対して可逆符号化を行うことができ、又は量子化ステップサイズが原点精度より大きい場合(通常、量子化ステップサイズは1より大きい)、残差デカルト座標に対して非可逆符号化を行うことができる。
復号化側において、ビットストリームBから順序インデックス差Δo(n=2~N)を復号化する。現在の点Pに対して各順序インデックス差Δoを復号化する。
現在の点Pに対して、以下の方式により順序インデックスo(P)を取得する。
o(P)=o(Pn-1)+Δo
現在の点を捕捉するセンサに関連付けられるセンサインデックスλと前記センサの捕捉角度を表す方位角φは順序インデックスo(P)から(等式(5)と(6))を得る。
図6の復号化方法200により、ビットストリームBにおいて、復号化された量子化された残差半径Qrres,decを復号化することができ、且つ逆量子化器をQrres,decに適用することで、復号化された残差半径rres,decを得る。
その後、復号化された半径rdecは下式によって与えられる。
dec=rres,dec+rpred
predは図5で説明される予測モードから得られる球面座標である。
量子化された残差方位角QφresをビットストリームBから復号化する。逆量子化により、復号化された残差方位角φres,decを取得する。
φres,dec=IQ(Qφres
その後、復号化された球面座標は下式によって与えられる。
(rdec,φdec)=(rres,dec,φres,dec)+(rpred,φpred) (10)
復号化されたデカルト座標(xdec,ydec,zdec)は下式によって与えられる。
(xdec,ydec,zdec)=(xpred,ypred,zpred)+IQ(Q(xres,res,res))
ここで、IQ(Q(xres,res,res))は、ビットストリームBから復号化された逆量子化された量子化された残差デカルト座標である。
従来技術では、(Cφ,λ)形式の角度データを良好に圧縮することができる。しかしながら、半径圧縮は、半径の連続性のためだけではなく、残差半径rresのエントロピー符号化の弱点により、効率が遥かに低い。
したがって、ほとんどのビットストリームは、半径を示すデータにより構成される。我々のテストでは、半径データが総ビットストリームの70%~90%を占めることはすでに観察されている。そのため、GPCC予測ツリー符号化/復号化方法又は一本鎖符号化/復号化方法の全体的な圧縮効率を向上させるために、圧縮半径データ(例えば残差半径rres)の課題を解決しなければならない。
以下、本出願の幾つかの態様に対する基本的な理解を提供するために、少なくとも1つの例示的な実施例の簡略化された概要が部分的に示される。該概要は、例示的な実施例の詳しい概要ではない。それは、実施例の肝心又は重要な要素を認識することを目的とするものではない。以下の概要は単純に、簡略された形式により例示的な実施例の少なくとも1つの幾つかの態様を、明細書の他の箇所で提供されるより詳しい説明の前置きとして示されている。
本出願の第1態様によると、物理オブジェクトを表す符号化された点群データのビットストリームに点群を符号化する方法を提供し、該点群の各点は、点から参照物までの距離に応じた半径と予測半径との間の残差半径に関連付けらる。該方法は、点群の以前の点に関連付けられる以前にエントロピー符号化された非ゼロ残差半径の正負符号に基づいて、点群の現在の点に関連付けられる残差半径の正負符号に対してエントロピー符号化を行うことを含む。
例示的な一実施例では、点群の各点は、スピンセンサヘッドのセンサによる捕捉角度を示す方位角、及び前記点を捕捉するセンサに関連付けらるセンサインデックスを含む座標に関連付けら、同じセンサインデックスで異なる方位角座標で捕捉された点群の点に基づいて、同じ座標を有する前記点群の点を適応的に並べ替える。
本出願の第2態様によると、物理オブジェクトを表す符号化点群データのビットストリームから点群を復号化する方法を提供し、該点群の各点は、点から参照物までの距離に応じた半径和と予測半径との間の残差半径に関連付けられる。該方法は、点群の以前の点に関連付けられる以前にエントロピー復号化された非ゼロ残差半径の正負符号に基づいて、点群の現在の点に関連付けられる残差半径の正負符号に対してエントロピー復号化を行うことを含む。
一実施例では、現在の点の残差半径の正負符号に対するエントロピー符号化又は復号化は、以前にエントロピー符号化又は復号化された非ゼロ残差半径の正負符号に基づいてコンテキストを使用した、コンテキストに基づくエントロピー符号化又は復号化である。
一実施例では、現在の点と以前の点はスピンセンサヘッドの異なるセンサによって捕捉される。
一実施例では、現在の点と以前の点はスピンセンサヘッドの同じセンサによって捕捉される。
一実施例では、特定の順序に基づいて点群の点を並べ替え、且つ以前の点は、エントロピー符号化又は復号化された非ゼロ残差半径に関連付けられる最後の、以前の並べ替えられた点である。
一実施例では、点群の各点は、スピンセンサヘッドのセンサによる捕捉角度を示す方位角、及び前記点を捕捉するセンサに関連付けられるセンサインデックスを含む座標に関連付けられ、さらに、前記並べ替えられた点のうち現在の点と以前の点が同じ方位角で捕捉されたか否かを指示する第1二進法データからコンテキストを取得する。
一実施例では、さらに、現在の点が、並べ替えられた点のうちの少なくとも第3点であるか否かを指示する第2二進法データからコンテキストを取得する。
一実施例では、点群の点はツリーのノードに関連付けら、ここで、現在の点に関連付けらる残差半径を取得するための予測半径が現在の点の親ノードによって決まるか否かに関係ない場合、第3二進法データからコンテキストを取得する。
一実施例では、第1二進法データと、第2二進法データと、第3二進法データと、以前にエントロピー符号化された非ゼロ残差半径的正負符号と、の情報のうちの少なくとも1つをエントリとして有するコンテキストテーブルからコンテキストを取得する。
本出願の第3態様によると、物理オブジェクトを表す符号化された点群データのビットストリームに点群を符号化する装置を提供する。該装置は1つ又は複数のプロセッサを含み、該プロセッサは、本出願の第1態様の方法を実行するように構成される。
本出願の第4態様によると、物理オブジェクトを表す点群の点をビットストリームから復号化する装置を提供する。該装置は1つ又は複数のプロセッサを含み、該プロセッサは、本出願の第2態様の方法を実行するように構成される。
本出願の第5態様によると、命令を含むコンピュータプログラム製品を提供し、当該プログラムが1つ又は複数のプロセッサによって実行される時、該命令は、該本出願第2態様の方法を1つ又は複数のプロセッサに実行させる。
本出願の第6態様によると、本出願の第2態様の方法を実行するためのプログラムコードの命令が運ばれる非一時的記憶媒体を提供する。
図面と組み合わせた以下の説明により、例示的な実施例における少なくとも1つの具体的な性質及び前記例示的な実施例の少なくとも1つの他の目的、利点、特徴及び用途は明らかになる。
ここで、例示的な方式で図面を参照し、図面は本出願の例示的な実施例を示している。
従来技術に係るセンサヘッド及びいくつかパラメータの側面図である。 従来技術に係るセンサヘッド及びいくつかパラメータの上面図である。 従来技術に係るスピンセンサヘッドによって捕捉されたデータの規律分布である。 従来技術に係る3D空間における点の表示である。 従来技術により残差半径をビットストリーム内に符号化する方法100である。 従来技術に係るビットストリームから半径を復号化する方法200である。 従来技術に係るG-PCC予測ツリーに基づくエンコーダと同様な点群エンコーダである。 従来技術に係るG-PCC予測ツリーに基づくデコーダと同様な点群デコーダである。 スピンセンサヘッドによって捕捉された点群の点の半径の自然単調性を示すものである。 本発明の少なくとも1つの例示的な実施例に係る、残差半径をビットストリーム内に符号化する方法300のステップのブロック図である。 本発明の少なくとも1つの例示的な実施例に係る、ビットストリームから残差半径を復号化する方法400のステップのブロック図である。 従来技術に係る、スピンセンサヘッドによって捕捉された点群の点の半径の進化の例である。 本発明の少なくとも1つの例示的な実施例に係る、同じ座標(Cφ,λ)を有する捕捉点の適応的な半径の並べ替え方法500のステップのブロック図である。 図13における方法500である。 図13における方法500である。 本発明の例示的な実施例に係る、スピンセンサヘッドによって捕捉された点群の点の半径の進化の例である。 各態様と例示的な実施例を実現するシステムの例示的なブロック図である。
異なる図面では、類似する符号を用いて類似する部品を表すことができる。
以下、図面を参照して例示的な実施例のうちの少なくとも1つを説明し、ここで、例示的な実施例のうちの少なくとも1つの例を示す。しかし、例示的な実施例は多くの代替の形で実施可能であり且つ本明細書で説明される例を限定するものとして理解すべきではない。したがって、例示的な実施例を開示された特定の形式に限定すべきではないことを理解されたい。むしろ、本開示は、本願の精神と範囲内に含まれるすべての修正、同等物及び代替の解決案をカバーすることを目的としている。
図面がフローチャットの形式で示される時、対応する装置のブロック図も提供されることを理解されたい。同様に、図面がブロック図の形式で示される時、対応する方法/プロセスのフローチャットも提供されることを理解されたい。
これらの態様の少なくとも1つは、一般に、点群符号化と復号化に関し、且つ少なくとも1つの他の態様は、一般に、生成又は符号化されたビットストリームの送信に関する。
そして、本態様は、点群圧縮に関連するMPEG-I第5部分又は第9部分のようなMPEG標準に限らず、他の標準と推薦に適用可能であり、例えば事前に存在したもの、まだ開発されていないもの、及び任意のこのような標準と推薦(MPEG-I第5部分と第9部分を含む)の拡張である。特に指示がない限り、又は技術的に除外されていない限り、本願で説明される態様は単独又は組み合わせて使用することができる。
本発明は符号化と復号化技術分野に関し、点群データを符号化/復号化する技術的解決案を提供することを目的としている。点群が大量データの集合であるため、点群を記憶するには大量のメモリが消費され、そして、点群を圧縮しない場合、ネットワーク層で点群を直接送信することができず、よって、点群の圧縮が求められることになる。したがって、したがって、自律航法、巡回検査、地理情報サービス、文化遺産/建造物の保護、3D没入型通信および対話などにおいて点群がますます使用されるようになっていることにより、本発明は多くの適用シーンで使用できるようになる。
本発明は特に残差半径の正負符号に対する符号化/復号化に関し、これは、正負符号の符号化コストを削減することができる。そして、スピンセンサヘッドによって捕捉された点群幾何学データの全体的な符号化効率を向上させる。
本発明は、物理オブジェクトを表す点群を符号化/復号化する方法に関し、該点群の各点は、該点から参照物までの距離に応じた半径と予測半径との間の残差半径に関連付けられる。
本発明は、以前にエントロピー符号化/復号化された非ゼロ残差半径の正負符号に基づいて、点群の点に関連付けられる残差半径の正負符号をエントロピー符号化/復号化する。
通常、どのような残差の正負符号も予測不可能であり、残差がゼロではない場合、該正負符号を符号化するには1つの非圧縮ビットのコストがかかる。しかしながら、幾何学データがスピンセンサヘッド10によって捕捉された場合、捕捉された点の半径は、自然な単調性に従い、図9に示すとおりである。左側では、センサビームは、センサからオブジェクトに向かって放射されるように示され、ここで、灰色の影の矩形で概略的に示す。7つの点を捕捉し、各点は特定の方位角φに対応する。右側の図は、捕捉された7つの点の半径の方位角に対する進化を示す。該図は、捕捉された点の半径の単調性をはっきりと示しており、即ち負(方位角が増加する際に半径が減少する)と正(方位角が増加する際に半径が増加する)である。したがって、同一のセンサによって捕捉された以前の点の半径rprecにより現在の点の半径rを予測する場合、残差半径rres=r-rprevは居所的に一定の正負符号を示し、一連の負の残差半径であるか、或いは一連の正の残差半径である。無論、これは常に正しいとは限らないが、統計的には十分顕著であり、該特性を用いて残差半径rresの正負符号sresの圧縮を改善することにとって十分である。
したがって、以前に符号化された残差半径rres,prevの正負符号sres,prevに基づいてrresの正負符号sresを符号化/復号化することは、正負符号sresの符号化コストを削減する(各正負符号よりも1ビット低い)。その後、スピンセンサヘッド10によって捕捉された点群幾何学データの全体的な符号化効率は向上する。
図10は、少なくとも1つの例示的な実施例に係る、残差半径rresをビットストリームB内に符号化する方法300のステップのブロック図である。
該方法は、点群の現在の点の残差半径rresを符号化するように説明され、得られた量子化された残差半径Qrresの符号化について、例えば、以上の図7又は一本鎖符号化で説明されたとおりである。
方法300の1つの例示的な実施例では、エントロピー符号化はコンテキストを用い、即ち、エントロピー符号化は、コンテキストに基づく符号化である。
ステップ310では、点群の以前の点相に関連付けられる、以前にエントロピー符号化された非ゼロ残差半径rres,prevの正負符号sres,prevを取得する。
ステップ320では、正負符号sres,prevに基づいて、現在の点的残差半径rresの正負符号sresを符号化するための、コンテキストのエントロピー符号化に基づいて使用されるコンテキストCtxsignを取得する。
例えば、正負符号sres,prevが正である場合、第1コンテキストCtxsign,1を取得し、正負符号sres,prevが負である場合、第2コンテキストCtxsign,2を取得する。
ステップ330では、コンテキストに基づくエントロピー符号化を用い、コンテキストCtxsignを用いて、残差半径rresの正負符号sresをビットストリームB内に符号化する。
図10では、残差半径rresの大きさは、残差半径rresの正負符号sresの前に符号化される。代替的に、残差半径rresの大きさの前に残差半径rresの正負符号sresを符号化する。
変形では、使用コンテキスト適応二進法算術エンコーダ(CABAC)を用いる。
図11は、少なくとも1つの例示的な実施例に係る、ビットストリームBから残差半径rresを復号化する方法400のステップのブロック図である。
該方法は、点群の現在の点の残差半径rresを復号化するように説明され、得られた量子化された残差半径Qrresの復号化については、例えば、以上の図8又は一本鎖復号化で説明されたとおりである。
方法400の1つの例示的な実施例では、エントロピー復号化はコンテキストを用い、即ちエントロピー復号化はコンテキストに基づく復号化である。
ステップ410では、以前の点に関連付けられる以前にエントロピー復号化された非ゼロ残差半径rres,prevの正負符号sres,prevを取得する。
ステップ320では、正負符号sres,prevに基づいて、現在の点の残差半径rresの正負符号sresを復号化するためのコンテキストに基づくエントロピー復号化によって使用されるコンテキストCtxsignを取得する
ステップ420では、コンテキストに基づくエントロピー符号化を使用し、コンテキストCtxsignを使用し、残差半径rresの復号化された正負符号sresをビットストリームBから復号化する。
ステップ320の1つの例示的な実施例では、現在の点と以前の点はスピンセンサヘッド10の同じセンサによって捕捉される。
ほとんどの場合、同一センサによって取得される点が連続的に符号化されるような予測ツリー(例えばG-PCCにおいて定義されるもの)を構築する場合、又は連続して符号化された半径残差が同じ正負符号を有する予測ツリーをエンコーダによって構築する場合、該例示的な実施例は圧縮利得を提供する。
ステップ320の1つの例示的な実施例において、現在の点と以前の点は、スピンセンサヘッド10の異なるセンサによって捕捉される。
該例示的な実施例は、構築された予測ツリーから独立する圧縮利得をさらに提供する。
ステップ320の1つの例示的な実施例では、特定の順序に基づいて、同一センサによって捕捉された点群の点を並べ替え、且つ以前の点は、エントロピー符号化された非ゼロ残差半径rres,prevに関連付けられる最後の、以前の並べ替えられた点である。
各センサインデックスに対して、以前に符号化/復号化された残差半径の正負符号をメモリに保持することができる。新しい点の残差半径の正負符号とセンサインデックスを符号化/復号化した後も、該正負符号を更新する。その後、該メカニズムは、エントロピー符号化された非ゼロ残差半径rres,prevに関連付けられる最後の以前の点を検索するために使用されてもよい。
変形では、G-PCCにおいて定義された予測ツリー符号化によって与えられる符号化順序に基づいて、同一センサによって捕捉された点を並べ替える。
変形では、同一センサによって捕捉された点の符号化順序の半径の単調性を考慮することを容易にするために、予測ツリーを構築することができる。
変形では、一本鎖符号化/復号化方法において、同じ座標(Cφ,λ)を有する点群の点は、増加(又は減少)した半径の順序で並べ替えることができる。
図12に示す内容を観察して分かるように、半径rはオブジェクトセンシングの過程で自然に増加する際に、半径rの進化はスムーズである。しかし、半径rはセンシングの過程で減少する傾向がある場合、鋸歯状曲線が観察される。これは、同一座標(Cφ,λ)の局部への(複数の捕捉された点)追加、そして捕捉されたオブジェクトにおけるセンシングの進展による全体的な減少によって容易に説明することができる。
変形では、一本鎖符号化/復号化方法では、同じセンサインデックスλ(同じセンサ)で異なる大まかな座標によって捕捉される点群の点に基づいて、同じ座標(Cφ,λ)を有する点群の点を適応的に並べ替える。
図13は、同じ座標(Cφ,λ)を有する捕捉点の適応的な半径の並べ替え方法500のステップのブロック図である。方法500は符号化側のみに適用される。
ステップ510において、図14に示すように、座標(Cφ,λ)の点の最高半径と、座標(φ-1,λ)に関連付けられる以前の並べ替えられた点の最後の点の半径との間において、第1半径ジャンプJ1を計算し、ここで、座標φ-1=Cφ-φstepである。
ステップ520において、図15に示すように、同じ座標(Cφ,λ)を有する点の最低半径と、座標(φ-1,λ)に関連付けられる以前の並べ替えられた点の最後の点の半径との間において、第2半径ジャンプJ2を計算する。
ステップ530において、第2半径ジャンプJ2が第1半径ジャンプJ1より高い場合、同じ座標(Cφ,λ)を有する点は、半径が逓減する順序に応じて並べ替えられ、図14に示すとおりであり、そうでなければ、半径が逓増する順序に応じて並べ替えられ(ステップ540)、図15に示すとおりである。このようにすれば、半径の居所的な単調性を保持すると同時に、同じ座標(Cφ,λ)を有する点のうちの第1点と、座標(φ-1,λ)に関連付けられる以前の並べ替えられた点の最後の点との間のジャンプを最小化し、これによって、半径残差の正負符号のコンテキスト符号化から利得を容易に得る。
また、適応的な半径並べ替え方法500を、図13の同じ座標(Cφ,λ)を有する捕捉点に適用することにより、よりスムーズ、より単調な半径の進化を提供することができ、図16に示すとおりである。
方法500を、同じ座標(Cφ,λ)を有する点群の点に適用する場合、該同じ座標を有する並べ替えられた点のリスト{…,P-2;P-1;P;…}における現在の点Pを考慮し、且つPを少なくとも前記並べ替えられた点のリストにおける第3点とする。その後、以前の点の半径は、半径予測子として選択される場合、現在の点Pに関連付けらる残差半径の正負符号sresは、以前の点P-1に関連付けらる残差半径の正負符号sres,precに等しい。これは、方法500の直接的な結果であり、それは、r(P)-r(P-1)とr(P-1)-r(P-2)との正負符号が等しく、即ちsres=sres,precであるように、最後の3つの点が、減少又は増加する半径を有すること強制する。
ステップ320の1つの例示的な実施例では、さらに、二進法データDlastからコンテキストCtxsignを取得し、二進法データDlastは、並べ替えられた点のリストにおける現在の点と以前の点とが同じ大まかな方位角Cφによって捕捉されたか否かを指示する。
該例示的な実施例は、センサによって捕捉された現在の点に関連付けらる残差半径の正負符号sresが何時から、同一センサによって捕捉された以前の点に関連付けらる、以前にエントロピー符号化された非ゼロ残差半径rres,prevの正負符号sres,prevから予測可能となるかを指示するため、点群幾何学データの全体的な符号化効率を向上させる。
ステップ320の以前の例示的な実施例の組み合わせのステップ320の1つの例示的な実施例において、さらに、現在の点が並べ替えられた点であるか否かを指示するリストのうちの少なくとも第3点Ppenultの二進法データDpenultからコンテキストCtxsignを取得する。
G-PCC符号化/復号化方法に適用されるステップ320の1つの例示的な実施例では、ビットストリームBにおいて、信号で通知される又はビットストリームBにおいてアクセスする、点群の以前の符号化された点(図7)の整数の数μprevはメモリに記憶可能であり、その後、記憶された、以前の点に関連付けらる整数の数μprevから、二進法データDpenultを推定し、及び/又はビットストリームにおいて信号で通知する整数μにおいて二進法情報Dlastを推定する。
G-PCCにおいて、複数の点は、同じ又は異なる方位角を有する同一センサにより捕捉可能である。同じ方位角に対して2つの点を連続して捕捉する時、連続して捕捉された2つの点の符号化に対して、整数数量μは0に等しい。異なる方位角によって現在の点及び以前の点を連続して捕捉する場合、現在の点を符号化するための整数の数μは0に等しく、以前の点を符号化するための整数の数は1に等しい。したがって、ビットストリームBにおいて信号で通知する整数の値は、二進法データDpenult及びDlastと類似する情報を指示する。
例えば、μprev=0である場合、Dpenult=0であり、そうでなければDpenult=1であり、及び、μ=0である場合、Dlast=0であり、そうでなければDlast=1である。
ステップ320の1つの例示的な実施例では、点群の以前の符号化された点(図7)に対して、ビットストリームBにおいて信号で通知される又はビットストリームBにおいてアクセスする予測モードインデックスIsel(図5)はメモリに記憶することができ、その後、予測子モードインデックスIsel,prec、又は予測モードインデックスIselによって候補予測モードリストにおいて識別される予測モードからコンテキストCtxsignを取得する。
例えば、以上で説明されたように、候補予測モードは、予測半径が親ノードによって決まるか否かを指示する。その後、予測半径が現在の点の親ノードによって決まるか否かを指示するために、予測子モードインデックスIsel,precから二進法データDpreviousを決定することができる。
ステップ320の1つの例示的な実施例では、コンテキストCtxsignは、第1二進法データDlastと、第2二進法データDpenultと、第3二進法データDpreviousと、以前にエントロピー符号化された非ゼロ残差半径rres,prevの正負符号sres,prevと、のうちの少なくとも1つをエントリとして有するコンテキストテーブルctxTabから取得することができる。
例えば、
Ctxsign=ctxTab[Dpenult][Dlast][sres,prec
又は、
Ctxsign=ctxTab[Dprevious][Dpenult][Dlast][sres,prec
本符号化/復号化方法は、点群に対する符号化/復号化に使用され、それは、様々な目的に使用することができ、特に、残差半径の正負符号を符号化/復号化するために使用され、これは、正負符号の符号化を削減することができ、且つこれにより、スピンセンサヘッドによって捕捉された点群幾何学データの全体的な符号化効率を向上させる。
図17は、各態様と例示的な実施例を実現するシステムの例示的な1つの概略ブロック図である。
システム600は1つ又は複数のデバイスに組み込まれてもよく、次に説明される各コンポーネントを含む。各種の実施例では、システム600は、本願で説明される1つ又は複数の態様を実現するように構成されてもよい。
システム600のすべて又は一部を構成できる装置の例は、パーソナルコンピュータ、ノートパソコン、スマートフォン、タブレット、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、個人用ビデオ記録システム、接続された家電製品、接続された車両及びその関連する処理システム、ヘッドマウントディスプレイデバイス(HMD、透視メガネ)、プロジェクタ(投影機)、「洞窟(cave)」(複数のディスプレイを含むシステム)、サーバ、ビデオエンコーダ、ビデオデコーダ、ビデオデコーダからの出力を処理するポストプロセッサ、ビデオエンコーダに入力を提供するプリプロセッサ、webサーバ、セットトップボックス、点群、ビデオ又は画像を処理するための他の任意のデバイス、又は他の通信デバイスを含む。システム600の素子は、単一集積回路(IC)、複数のIC及び/又はディスクリートコンポーネントにおいて個別に又は組み合わせて実施することができる。例えば、少なくとも1つの実施例において、システム600の処理とエンコーダ/デコーダ素子は複数のIC及び/又はディスクリートコンポーネントにわたって分布することができる。様々な実施例では、システム600は例えば通信バス又は専用の入力及び/又は出力ポートを介して、類似する他のシステム又は他の電子デバイスと通信可能に結合され得る。
システム600は少なくとも1つのプロセッサ610を含むことができ、該少なくとも1つのプロセッサ610は、ロードされる命令を実行することで、本願で説明された各態様を実現ように構成される。プロセッサ610は組み込み型メモリ、入力出力インターフェース及び当分野で知られている様々な他の回路を含むことができる。システム600は少なくとも1つのメモリ620(例えば、揮発性メモリデバイス及び/又は不揮発性メモリデバイス)を含むことができる。システム600は記憶デバイス640を含むことができ、不揮発性メモリ及び/又は揮発性メモリを含むことができ、電気的に消去可能なプログラマブル読み取り専用メモリ(EEPROM)、読み取り専用メモリ(ROM)、プログラマブル読み取り専用メモリ(PROM)、ランダムアクセスメモリ(RAM)、ダイナミックランダムアクセスメモリ(DRAM)、スタティックランダムアクセスメモリ(SRAM)、フラッシュメモリー、ディスクドライブ及び/又は光ディスクドライブを含むことができるが、これらに限らない。非限定的な例として、記憶デバイス640は内部記憶デバイス、付属記憶デバイス及び/又はネットワークアクセス可能な記憶デバイスを含むことができる。
システム600は、例えばデータを処理することで符号化/復号化された点群幾何学データを提供するように構成されるエンコーダ/デコーダモジュール630を含むことができ、そして、エンコーダ/デコーダモジュール630はその自体のプロセッサとメモリを含む。エンコーダ/デコーダモジュール630は、符号化及び/又は復号化機能を実行するようにデバイスに含まれ得る(1つ又は複数の)モジュールを表すことができる。既知のように、デバイスは、符号化と復号化モジュールのいずれか1つ又はその両方を含むことができる。また、エンコーダ/デコーダモジュール630は、システム600の独立した素子として実現可能であり、又は当業者によって知られているハードウェアとソフトウェアとの組み合わせとしてプロセッサ610内に結合可能である。
本願で説明される各態様を実行するようにプロセッサ610又はエンコーダ/デコーダ630にロードされるプログラムコードは記憶デバイス640に記憶可能であり、その後、メモリ620にロードされてプロセッサ610によって実行される。各種の実施例によると、本願で説明されるプロセスを実行する間、プロセッサ610、メモリ620、記憶デバイス640及びエンコーダ/デコーダモジュール630のうちの1つ又は複数は様々な項目のうちの1つ又は複数を記憶することができる。このような記憶された項目は、点群フレーム、符号化/復号化された幾何学形状/属性ビデオ/画像又は符号化/復号化された幾何学形状/属性ビデオ/画像の一部、ビットストリーム、行列、変数、及び等式、公式、演算と演算論理処理の中間又は最終結果を含むことができるが、これらに限らない。
いくつかの実施例では、プロセッサ610及び/又はエンコーダ/デコーダモジュール630内部のメモリは、命令を記憶し、且つ符号化又は復号化する間に実行される処理のため作業メモリを提供するために使用することができる。
しかし、他の実施例では、処理デバイス外部のメモリ(例えば、処理デバイスはプロセッサ610又はエンコーダ/デコーダモジュール630であってもよい)は、これらの機能のうちの1つ又は複数に用いられる。外部メモリはメモリ620及び/又は記憶デバイス640であってもよく、例えば、ダイナミック揮発性メモリ及び/又は不揮発性フラッシュメモリーである。いくつかの実施例では、外部不揮発性フラッシュメモリーは、テレビの操作システムを記憶するために使用される。少なくとも1つの実施例では、例えばRAMのような快速外部ダイナミック揮発性メモリは、ビデオの符号化と復号化操作のための作業メモリとして使用することができ、例えば、MPEG-2第2部分(ITU-T Recommendation H.262とISO/IEC 13818-2とも呼ばれ、MPEG-2ビデオとも呼ばれる)に対して、HEVC(効率的なビデオ符号化)、VVC(汎用ビデオ符号化)又はMPEG-I第5部分又は第9部分である。
ブロック690によって指示されたように、様々な入力デバイスを介して、システム600の素子への入力を提供することができる。このような入力デバイスは、(i)例えばブロードキャストデバイスが無線伝送するRF信号を受信できるRF部分、(ii)複合入力端子、(iii)USB入力端子、及び/又は(iv)HDMI入力端子、を含むが、これらに限定されない。
各種の実施例では、当分野において既知のように、ブロック690の入力デバイスは、関連付けられる対応する入力処理素子を有している。例えば、RF部分は、以下の必要な素子に関連付けられてもよい:(i)所望の周波数を選択し(信号選択、又は信号周波数帯域を周波数帯域内に制限することとも呼ばれ)、(ii)ダウンコンバートによって選択される信号、(iii)周波数帯域を再び狭い周波数帯域に制限することで、特定の実施例ではチャネルと呼ばれる信号周波数帯域を選択(例えば)し、(iv)ダウンコンバートされた信号と周波数帯域が制限される信号を復調し、(v)デバッグを実行し、及び(vi)逆多重化することで所望のパケットストリームを選択する。各種の実施例のRF部分は、これらの機能を実行する1つ又は複数の素子、例えば、周波数選択器、信号選択器、周波数帯域リミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、デバッグ装置及びデマルチプレクサを含むことができる。RF部分は、これらの機能のうちの各機能を実行するチューナーを含むことができ、これらの機能は、受信した信号をより低い周波数(例えば、中間周波数又はベースバンド付近周波数)又はベースバンドにダウンコンバートすることを含む。
1つのセットトップボックス実施例では、RF部分およびその関連する入力処理素子は、有線(例えば、ケーブル)媒体において送信されるRF信号を受信することができる。その後、RF部分はフィルタリング、ダウンコンバート、及び所望の周波数帯域に再フィルタリングすることにより周波数の選択を実行することができる。
各種の実施例は、上記(及び他の)素子の順序を再配置し、これらの素子のうちの一部を削除し、及び/又は、類似する又は異なる機能を実行する他の素子を追加する。
素子の追加は、従来の素子の間の素子を挿入すること、例えば、アンプとアナログデジタルコンバータを挿入することであってもよい。各種の実施例では、RF部分はアンテナを含むことができる。
また、USB及び/又はHDMI端子は対応するインターフェースプロセッサを含むことができ、USB及び/又はHDMI接続によりシステム600を他の電子デバイスに接続するために使用される。なお、必要な時に、入力処理の各態様(例えば、Reed-Solomonデバッグ)は、例えば分離した入力処理IC内又はプロセッサ610内で実現可能である。同様に、必要な時に、分離したインターフェースIC内又はプロセッサ610内でUSB又はHDMIインターフェース処理の各態様を実現可能である。復調、デバッグ及び逆多重化されたストリームは、各種の処理素子に提供することができ、例えばプロセッサ610及びエンコーダ/デコーダ630を含み、それはメモリ及び記憶素子と組み合わせて操作され、これにより、必要な時にデータストリームを処理することで出力デバイスにおいて表示する。
一体型筐体内にシステム600の各種の素子を提供することである。一体型筐体内において、適切な接続配置690を行うことができ、例えば、当分野で知られている内部バス(I2Cバスを含む)、配線及びプリント回路基板を介して各種の素子を接続し且つそれらの間でデータを送信する。
システム600は通信インターフェース650を含むことができるので、通信接口650は通信チャネル1000経由で他のデバイスと通信することができる。通信インターフェース650は、通信チャネル1000においてデータを送受信する送受信機を含むが、これに限らない。通信インターフェース650はモデム又はネットワークカードを含むが、これらに限らず、且つ通信チャネル1000は例えば有線及び/又は無線媒体内で実現可能である。
各種の実施例では、IEEE 802.11のようなWi-Fiネットワークを用いてデータをシステム600にストリーミングすることができる。これらの実施例のWi-Fi信号は、Wi-Fi通信に適合する通信チャネル1000と通信インターフェース650によって受信され得る。これらの実施例の通信チャネル1000は通常、アクセスポイント又はルータに接続することができ、該アクセスポイント又はルータは、インターネットを含める外部ネットワークのアクセスを提供し、ストリーミングアプリケーションやその他のオーバーザトップ(Over-the-top)通信を可能にする。
他の実施例はセットトップボックスを用いてシステム600にストリームデータを提供することができ、該セットトップボックスは入力ブロック690のHDMI接続を介してデータを送信する。
他の実施例も入力ブロック690のRFを用いてストリームデータをシステム600に提供することができる。
ストリームデータは、システム600が使用するシグナリング情報の方式として使用可能である。シグナリング情報はビットストリームBを含むことができ、ビットストリームBは少なくとも、フラグf、コンテキストCtxsignを使用したコンテキストに基づくエントロピー符号化を使用した符号化された残差半径rresの正負符号sres及び残差半径の大きさを表す情報、点群の点の数、2D座標(Cφ,λ)系における第1点の座標又は順序o(P)及び/又はセンサ設定パラメータ、例えば、スピンセンサヘッド10のセンサに関連付けらるパラメータμ又は仰角θ。を含む。
なお、様々なシグナリングを実現可能である。例えば、各種の実施例では、1つ又は複数の構文要素、フラグなどは、対応するデコーダに信号通知情報を送信するために使用されてもよい。
システム600は、ディスプレイ700、スピーカー800及び他の周辺機器900を含む各種の出力デバイスに出力信号を提供することができる。実施例の各種の例では、他の周辺機器900は、独立DVR、ディスクプレーヤ、ステレオシステム、照明システム、及びシステム600の出力提供機能に基づく他のデバイスのうちの1つ又は複数を含むことができる。
各種の実施例では、制御信号は、例えばAV.Link(オーディオ/ビデオリンク)、CEC(家電制御)又はユーザの介入の有無にかかわらずデバイス間の制御を可能にする他の通信プロトコルのシグナリングを用いて、システム600と、ディスプレイ700、スピーカー800又は他の周辺機器900との間で通信することができる。
出力デバイスは、対応するインターフェース660、670及び680により、専用の接続経由で通信可能にシステム600に結合される。
代替的に、通信インターフェース650経由で通信チャネル1000を用いて出力デバイスをシステム600に接続することができる。ディスプレイ700とスピーカー800は電子デバイス(例えばテレビ)内のシステム600の他のコンポーネントとともに単一のユニットに統合され得る。
各種の実施例では、表示インターフェース660は、例えばタイミングコントローラ(T Con)チップのような表示ドライバを含むことができる。
例えば、入力端690のRF部分は別個のセットトップボックスの一部である場合、ディスプレイ700及びスピーカー800は選択可能に他のコンポーネントのうちの1つ又は複数と分離することができる。ディスプレイ600及びスピーカー700が外部コンポーネントであってもよい各種の実施例では、専用の出力接続(例えばHDMIポート、USBポート又はCOMP出力端を含む)経由で出力信号を提供することができる。
図1~17では、本明細書では各種の方法が説明され、それぞれの方法は1つ又は複数のステップ又は動作を含むことで、説明される方法を実現する。方法の正確な操作は特定のステップ又は動作順序を必要としない限り、特定のステップ及び/又は動作の順序及び/又は使用を修正するか、又は組み合わせることができる。
ブロック図及び/又は操作フローチャットについて幾つかの例が説明される。各ブロックは回路素子、モジュール又はコードの部分を表し、それは、(1つ又は複数の)指定論理機能を実現するための1つ又は複数の実行可能な命令を含む。なお、他の実施形態では、ブロック内にマークされた(1つ又は複数の)機能は指示された順序と異なってもよいことを理解されたい。例えば、関わる機能により、連続して示される2つのブロックは、実際には、基本的に同時に実行されてもよく、又はこれらのブロックが逆の順序で実行される場合もある。
例えば方法又はプロセス、装置、コンピュータプログラム、データストリーム、ビットストリーム又は信号において、本明細書で説明される実施形態和と態様を実現することができる。単一形式の実施形態のコンテキストのみで議論する場合でも(例えば、方法のみとして議論する)、議論される特徴の実施形態は他の形式(例えば、装置又はコンピュータプログラム)で実現可能である。
方法は例えばプロセッサにおいて実現可能であり、プロセッサは、一般に、例えばコンピュータ、マイクロプロセッサ、集積回路又はプログラマブル論理デバイスを含む処理デバイスを指す。プロセッサは通信デバイスをさらに含む。
また、方法は、プロセッサにより実行可能な命令で実現することができ、このような命令(及び/又は実施形態によって生成されるデータ値)はコンピュータ読み取り可能な記憶媒体に記憶することができる。コンピュータ読み取り可能な記憶媒体は、1つ又は複数のコンピュータ読み取り可能な媒体において実施され且つそれに実施されたコンピュータにより実行可能なコンピュータ読み取り可能なプログラムコードを有するコンピュータ読み取り可能なプログラム製品の形式を用いることができる。情報を記憶する固有の能力及び情報の検索を提供する固有の能力を考慮すると、本明細書で使用されるコンピュータ読み取り可能な記憶媒体は、非一時的な記憶媒体として見なすことができる。コンピュータ読み取り可能な記憶媒体は、電子、磁気、光学、電磁、赤外線又は半導体システム、装置又はデバイス、又は前述したものの任意の適切な組み合わせであってもよいが、これらに限定されない。なお、以下、それに対して本実施例のコンピュータ読み取り可能な記憶媒体を適用するより具体的な例を提供したが、当業者であれば容易に理解できるように、それは単なる説明的なものであり、詳しいリストではない:ポータブルコンピュータのフロッピーディスク、ハードディスク、読み取り専用メモリ(ROM)、消去可能なプログラマブル読み取り専用メモリ(EPROM又はフラッシュメモリー)、ポータブルコンパクトディスク読み取り専用メモリ(CD-ROM)、光学記憶デバイス、磁気記憶デバイス、又は前述したものの任意の組み合わせ。
前記命令は、プロセッサ読み取り可能な媒体に有形に実施されるアプリケーションプログラムを形成することができる。
例えば、命令はハードウェア、ファームウェア、ソフトウェア又は組み合わせに存在することができる。例えば、オペレーティングシステム、独立したアプリケーション又は両者の組み合わせにおいて命令を見つけることができる。したがって、プロセッサは、例えばプロセスを実行するように構成されるデバイス、及びプロセスの命令を実行するためのプロセッサ読み取り可能な媒体(例えば記憶デバイス)を有するデバイスとして特徴付けられ得る。また、命令以外にも、又は命令の代わりに、プロセッサ読み取り可能な媒体は、実施形態によって生成されたデータ値を記憶することができる。
装置は、例えば適切なハードウェア、ソフトウェア及びファームウェアにおいて実現可能である。このような装置の例は、パーソナルコンピュータ、ノートパソコン、スマートフォン、タブレット、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、個人ビデオ録画システム、接続された家電、ヘッドマウントディスプレイデバイス(HMD、透視メガネ)、プロジェクタ(投影機)、「洞窟」(複数のディスプレイを含むシステム)、サーバ、ビデオエンコーダ、ビデオデコーダ、ビデオデコーダからの出力を処理するポストプロセッサ、ビデオエンコーダに入力を提供するプリプロセッサ、webサーバ、セットトップボックス、点群、ビデオ又は画像を処理するための他の任意のデバイス、又は他の通信デバイスを含む。なお、装置は移動可能であり、且つ移動中の車両に取り付けることもできる。
コンピュータソフトウェアは、プロセッサ510、ハードウェア、又はハードウェアとソフトウェアとの組み合わせによって実現可能である。非限定的な例として、1つ又は複数の集積回路によって実施例を実現することができる。メモリ520は、技術環境に適した任意のタイプであり且つ如何なる適切なデータ記憶技術(非限定的な例として、例えば光学メモリデバイス、磁器メモリデバイス、半導体に基づくメモリデバイス、固定メモリ及びリムーバブルメモリを含む)を用いて実現することができる。プロセッサ510は技術環境に適した如何なるタイプであってもよく、且つ非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、及びマルチコアアーキテクチャに基づくプロセッサのうちの1つ又は複数を含むことができる。
実施形態が、例えば記憶可能又は送信可能な情報を運ぶようにフォーマットされた信号を生成できることは、当業者にとって自明なことである。情報は、例えば方法を実行するための命令又は説明された実施形態の1つによって生成されたデータを含むことができる。例えば、信号は、説明された実施例のビットストリームを運ぶようにフォーマットされ得る。このような信号は、例えば電磁波(例えば、スペクトルの無線周波数部分を使用)又はベースバンド信号にフォーマットされ得る。フォーマットは、例えばデータストリームを符号化し且つ符号化されたデータストリームを用いて搬送波を変調すること含む。信号によって運ばれる情報は、例えばアナログ又はデジタル情報であってもよい。既知のように、信号は異なる各種の有線又は無線リンクで送信され得る。信号はプロセッサ読み取り可能な媒体に記憶され得る。
本明細書で使用される用語は、特定の実施例を説明することを目的としており、限定するものではない。コンテキストに明示的な指示がない限り、本明細書で使用される単数型の「1つ」、「一種」及び「該」は、複数型をも含む。さらに、本明細書で使用される場合、「含む/備える(include/comprise)」及び/又は「含む/備える(including/comprising)」という用語は、例えば記載された特徴、整数、ステップ、操作、要素及び/又はコンポーネントの存在を指定することができるが、1つ又は複数の他の特徴、整数、ステップ、操作、要素、コンポーネント及び/又はそれらの組み合わせの存在又は追加を排除できない。そして、1つの要素が、もう1つの要素に「応答」又は「接続」すると呼ばれる場合、それは、直接、もう1つの要素に応答又は接続することができ、又は中間要素が存在してもよい。逆に、1つの要素が、もう1つの要素に「直接応答」又は「直接接続」すると呼ばれる場合、中間要素は存在しない。
なお、例えば「A/B」、「A及び/又はB」と「AとBのうちの少なくとも1つ」の場合、「/」、「及び/又は」と「少なくとも1つの」という符号/用語のうちのいずれか1つの使用は、挙げられた第1の選択肢(A)の選択のみを含むこと、又は挙げられた第2の選択肢(B)の選択のみを含むこと、又は2つの選択肢(AとB)の選択を含むことを目的としている。さらなる例として、「A、B及び/又はC」t「AとBのうちの少なくとも1つ」の場合、このような表現は、挙げられた第1の選択肢(A)の選択のみを含むこと、又は挙げられた第2の選択肢(B)の選択を含むこと、又は挙げられた第3の選択肢(C)の選択のみを含むこと、又は挙げられた第1と第2の選択肢(AとB)の選択のみを含むこと、又は挙げられた第1と第3の選択肢(AとC)の選択のみを含むこと、又は挙げられた第2と第3の選択肢(BとC)の選択のみを含むこと、又は3つの選択肢(AとBとC)の選択をすべて含むことを目的としている。当業者には明らかなように、これは列挙されたものと同じ数の項目に拡張することができる。
本願では、各種の数値を用いることができる。特定値は例示目的で使用でき、且つ説明された各態様はこれらの特定値に限らない。
なお、第1、第2などの用語は本明細書において各種の要素を説明するために使用可能であるが、これらの要素はこれらの用語によって限定されない。これらの用語は、1つの要素をもう1つの要素から区別することのみに使用される。例えば、本願の教示から逸脱しない限り、第1要素は第2要素と呼ばれることもでき、同様に、第2要素は第1要素と呼ばれてもよい。第1要素と第2要素との間は順序が暗示されない。
「例示的な一実施例」又は「例示的な実施例」又は「一実施形態」又は「実施形態」及他の変化についての引用は、頻繁に、特定の特徴、構造、特点など(実施例/実施形態に合わせて説明される)が少なくとも1つの実施例/実施形態に含まれ得ることを表すために使用される。したがって、本願のあちこちに現れた「例示的な一実施例では」又は「例示的な実施例では」又は「一実施形態では」又は「実施形態では」という用語及び他の如何なる変化の出現は必ずしも同一の実施例を指しているとは限らない。
同様に、本明細書は、「例示的な実施例/例/実施形態による」又は「例示的な実施例/例/実施形態では」及び他の変化の引用は、頻繁に、特定の特徴、構造又は特点(例示的な実施例/例/実施形態と組み合わせて説明される)が少なくとも1つの例示的な実施例/例/実施形態に含まれ得ることを表すために使用される。したがって、本願のあちこちに現れた「例示的な実施例/示例/実施形態による」又は「例示的な実施例/例/実施形態では」という記載は、必ずしも同一の例示的な実施例/例/実施形態を指すとは限らず、独立又は代替の例示的な実施例/例/実施形態は、必ずしも他の例示的な実施例/例/実施形態と相互排他的ではない。
請求項で現れる図面の符号は、説明的なものであり、請求項の範囲を限定するものではない。明確な説明がないが、任意の組み合わせ又は一部の組み合わせで本実施例/例及び変形例を採用することができる。
図面はフローチャットとして表現される場合、対応する装置のブロック図を提供する。同様に、図面はブロック図として表現される場合、対応する方法/プロセスのフローチャットも提供されることを理解されたい。
一部の図面は、通信の主な方向を示すために経路上に矢印が含まれているが、通信は、描かれたと逆の方向に発生する可能性があることを理解されたい。
各種の実施形態は復号化に関連する。本願で使用された「復号化」は、例えば、受信した点群フレーム(1つ又は複数の点群フレームに対して符号化を行う、受信したビットストリームを含む場合がある)に対して実行したプロセスの全部又は一部を含むことができ、これにより、表示される又は再構築された点群領域においてさらに処理されることに適合する最終出力を生成する。各種の実施例では、この種類のプロセスは、通常デコーダによって実行されるプロセスのうちの1つ又は複数を含む。各種の実施例では、例えば、この種類のプロセスは、選択可能に、本願で説明される各種の実施形態のデコーダによって実行されるプロセスをさらに含むことができる。
さらなる例として、一実施例では、「復号化」はエントロピー復号化を指すことができ、もう1つの実施例では、「復号化」は差分復号化のみを指してもよく、もう1つの実施例では、「復号化」はエントロピー復号化と差分復号化の組み合わせを指してもよい。具体的に説明されるコンテキストに基づいて、「復号化プロセス」という用語が果たして具体的に演算のサブセットを指しているか、それとも一般的により広い復号化プロセスを指しているかは明らかにあり、そして本分野技術者がよく理解できると認められる。
各種の実施形態はいずれも符号化に関する。以上の「復号化」の機論と同様に、本願で使用される「符号化」は、例えば入力点群フレームに対して実行して符号化されたビットストリームを生成するプロセスの全部又は一部を含むことができる。各種の実施例では、この種類のプロセスは、通常エンコーダによって実行されるプロセスのうちの1つ又は複数を含む。各種の実施例では、この種類のプロセスは、本願で説明される各種の実施形態のエンコーダによって実行されるプロセスを含むか、或いは選択的に含む。
さらなる例として、一実施例では、「符号化」はエントロピー符号化のみを指すことができ、もう1つの実施例では、「符号化」は差分符号化のみを指してもよく、もう1つの実施例では、「符号化」は差分符号化とエントロピー符号化との組み合わせを指すことができる。限定的に説明されたコンテキストに基づいて、「復号化プロセス」という用語が果たして具体的に演算のサブセットを指しているか、それとも一般的により広い復号化プロセスを指しているかは明らかにあり、そして本分野技術者がよく理解できると認められる
また、本願では、各種の情報の「決定」が言及された。情報の決定は、例えば、情報の推定、情報の計算、情報の予測又はメモリから情報を検索すること、のうちの1つ又は複数を含むことができる。
また、本願では、各種の情報への「アクセス」が言及された。情報へのアクセスは、情報の受信、(例えば、メモリ又はビットストリームからの)情報の検索、情報の記憶、情報の移動、情報のコピー、情報の計算、情報の決定、情報の予測又は情報の推定のうちの1つ又は複数を含むことができる。
また、各種の情報の「受信」が言及された。「アクセス」と同様に、受信は広義的な用語である。情報の受信は、例えば、情報へのアクセス又は(例えば、メモリ又はビットストリームからの)情報の検索のうちの1つ又は複数を含むことができる。また、1つ又はもう1つの形態として、情報の記憶、情報の処理、情報の送信、情報の移動、情報のコピー、情報の削除、情報の計算、情報の決定、情報の予測又は情報の推定のような操作期間は、通常、「受信」に関連する。
そして、本明細書で使用される「信号」という用語は、対応するデコーダに特定のことを指示することを指す。例えば、いくつかの実施例では、デコーダは、信号通知フラグfを用いて、Ctxsignを用いるコンテキストに基づくエントロピ符号化により符号化された残差半径rresの正負符号sresの情報、残差半径の大きさ、点群の点の数又は2D座標系(Cφ,λ)における第1点の座標又は順序o(P)又はセンサ設定パラメータ、例えばセンサkに関連付けらるパラメータμ又は仰角θを表す。このように、エンコーダ側とデコーダ側で同一パラメータを使用することができる。したがって、例えば、エンコーダはデコーダに特定パラメータを送信(明示的なシグナリング)することができ、これにより、デコーダは同一の特定パラメータを使用することができる。逆に、デコーダが特定のパラメータ及び他のパラメータを有している場合、伝送(暗黙的なシグナリング)する必要なくシグナリングを使用することで、デコーダが特定のパラメータを知り且つ選択することを許可する。如何なる実際の機能の送信を回避することにより、各実施例ではビットの節約を実現する。なお、多くの方式でシグナリングを完成させることができる。例えば、各種の実施例では、1つ又は複数の構文要素、フラグなどは、信号を送信して情報を対応するデコーダに通知するために使用される。前文では「信号(signal)」の動詞形が言及されたが、「信号」という用語は、本明細書では名詞として使用することもできる。
複数の実施形態をすでに説明している。しかし、各種の修正が可能であることを理解されたい。例えば、異なる実施形態の要素を組み合わせ、補充、修正又は除去することで他の実施形態を生成することができる。また、当業者であれば、開示された構造とプロセスは他の構造とプロセスで代替することができ、これにより生じた実施形態は、少なくとも基本的に同じである(1つ又は複数の)方式で少なくとも基本的に同じである(1つ又は複数の)機能を実行し、これにより、開示された実施形態と少なくとも基本的に同じである(1つ又は複数の)結果を実現する。したがって、本願はこれらと他の実施形態を構想した。

Claims (15)

  1. 物理オブジェクトを表す符号化された点群データのビットストリームに点群を符号化する方法であって、前記点群の各点は、前記点から参照物までの距離に応じた半径と予測半径との間の残差半径に関連付けられ、前記方法は、前記点群の以前の点に関連付けられる以前にエントロピー符号化された非ゼロ残差半径(rres,prev)の正負符号(sres,prev)に基づいて、前記点群の現在の点に関連付けられる残差半径(rres)の正負符号(sres)に対してエントロピー符号化を行う、
    物理オブジェクトを表す符号化された点群データのビットストリームに点群を符号化する方法。
  2. 前記点群の各点は、スピンセンサヘッドのセンサによる捕捉角度を示す方位角(Cφ)、及び前記点を捕捉するセンサに関連付けられるセンサインデックス(λ)を含む座標に関連付けられ、同じセンサインデックス(λ)で異なる方位角座標(Cφ)で捕捉された点群の点に基づいて、同じ座標(Cφ,λ)を有する点群の点を適応的に並べ替える、
    請求項1に記載の方法。
  3. 物理オブジェクトを表す符号化点群データのビットストリームから点群を復号化する方法であって、前記点群の各点は、前記点から参照物までの距離に応じた半径と予測半径との間の残差半径に関連付けられ、前記方法は、前記点群の以前の点に関連付けられる以前にエントロピー復号化された非ゼロ残差半径(rres,prev)の正負符号(sres,prev)に基づいて、前記点群の現在の点に関連付けられる残差半径(rres)の正負符号(sres)に対してエントロピー復号化を行うことを含む、
    物理オブジェクトを表す符号化点群データのビットストリームから点群を復号化する方法。
  4. 前記現在の点の残差半径(rres)の正負符号(sres)に対するエントロピー符号化又はエントロピー復号化は、以前にエントロピー符号化又は復号化された非ゼロ残差半径(rres,prev)の正負符号(sres,prev)に基づくコンテキスト(Ctxsign)を使用した、コンテキストに基づくエントロピー符号化又はエントロピー復号化である、
    請求項1又は3のいずれか一項に記載の方法。
  5. 前記現在の点と以前の点はスピンセンサヘッドの異なるセンサによって捕捉される、
    請求項1~4のいずれか一項に記載の方法。
  6. 前記現在の点と以前の点はスピンセンサヘッドの同じセンサによって捕捉される、
    請求項1~4のいずれか一項に記載の方法。
  7. 特定の順序に基づいて前記点群の点を並べ替え、前記以前の点は、エントロピー符号化又はエントロピー復号化された非ゼロ残差半径(rres,prev)に関連付けられる最後の、以前の並べ替えられた点である、
    請求項4に記載の方法。
  8. 前記点群の各点は、スピンセンサヘッドのセンサによる捕捉角度を示す方位角(Cφ)、及び前記点を捕捉するセンサに関連付けられるセンサインデックス(λ)を含む座標に関連付けられ、前記コンテキストCtxsignはさらに、前記並べ替えられた点のうち現在の点と以前の点が同じ方位角で捕捉されたか否かを指示する第1二進法データ(Dlast)から取得される、
    請求項7に記載の方法。
  9. 前記コンテキストCtxsignはさらに、前記現在の点が、前記並べ替えられた点のうちの少なくとも第3点であるか否かを指示する第2二進法データ(Dpenult)から取得される、
    請求項7又は8に記載の方法。
  10. 前記点群の点はツリーのノードに関連付けられ、前記コンテキストCtxsignはさらに、現在の点に関連付けられる残差半径の予測半径が前記現在の点の親ノードによって決まるか否かを指示する第3二進法データ(Dprevious)から取得される、
    請求項7~9のいずれか一項に記載の方法。
  11. 前記コンテキストCtxsignは、
    第1二進法データ(Dlast)と、
    第2二進法データ(Dpenult)と、
    第3二進法データ(Dprevious)と、
    以前にエントロピー符号化された非ゼロ残差半径(rres,prev)の正負符号(sres,prev)と、の情報のうちの少なくとも1つをエントリとして有するコンテキストテーブル(ctxTab)から取得される、
    請求項7~10に記載の方法。
  12. 物理オブジェクトを表す符号化された点群データのビットストリームに点群を符号化する装置であって、前記点群の各点は、前記点から参照物までの距離に応じた半径と予測半径との間の残差半径に関連付けられ、前記装置は1つ又は複数のプロセッサを含み、前記プロセッサは、前記点群の以前の点に関連付けられる以前にエントロピー符号化された非ゼロ残差半径(rres,prev)の正負符号(sres,prev)に基づいて、前記点群の現在の点に関連付けられる残差半径(rres)の正負符号(sres)に対してエントロピー符号化を行うように構成される、
    物理オブジェクトを表す符号化された点群データのビットストリームに点群を符号化する装置。
  13. 物理オブジェクトを表す符号化された点群データのビットストリームから点群を復号化する装置であって、前記点群の各点は、前記点から参照物までの距離に応じた半径と予測半径との間の残差半径に関連付けられ、前記装置は1つ又は複数のプロセッサを含み、前記プロセッサは、前記点群の以前の点に関連付けられる以前にエントロピー復号化された非ゼロ残差半径(rres,prev)の正負符号(sres,prev)に基づいて、前記点群の現在の点に関連付けられる残差半径(rres)の正負符号(sres)に対してエントロピー復号化を行うように構成される、
    物理オブジェクトを表す符号化された点群データのビットストリームから点群を復号化する装置。
  14. 命令を含むコンピュータプログラム製品であって、前記プログラムが1つ又は複数のプロセッサによって実行される時、前記命令は、前記1つ又は複数のプロセッサに、物理オブジェクトを表す符号化された点群データのビットストリームから点群を復号化する方法を実行させ、前記点群の各点は、前記点から参照物までの距離に応じた半径と予測半径との間の残差半径に関連付けられ、前記方法は、前記点群の以前の点に関連付けられる以前にエントロピー復号化された非ゼロ残差半径(rres,prev)的正負符号(sres,prev)に基づいて、前記点群の現在の点に関連付けられる残差半径(rres)の正負符号(sres)に対してエントロピー復号化を行うことを含む、
    命令を含むコンピュータプログラム製品。
  15. プログラムコードの命令を運ぶ非一時的記憶媒体であって、前記プログラムコードは、物理オブジェクトを表す符号化された点群データのビットストリームから点群を復号化する方法を実行するために使用され、前記点群の各点は、前記点から参照物までの距離に応じた半径と予測半径との間の残差半径に関連付けられ、前記方法は、前記点群の以前の点に関連付けられる以前にエントロピー復号化された非ゼロ残差半径(rres,prev)の正負符号(sres,prev)に基づいて、前記点群の現在の点に関連付けられる残差半径(rres)の正負符号(sres)に対してエントロピー復号化を行うことを含む、
    プログラムコードの命令を運ぶ非一時的記憶媒体。
JP2023561168A 2021-04-09 2021-10-13 スピンセンサヘッドによって捕捉された点群幾何学データを符号化/復号化する方法及び装置 Pending JP2024516538A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP21305460.4 2021-04-09
EP21305460.4A EP4072145A1 (en) 2021-04-09 2021-04-09 Method and apparatus of encoding/decoding point cloud geometry data captured by a spinning sensors head
PCT/CN2021/123661 WO2022213568A1 (en) 2021-04-09 2021-10-13 Method and apparatus of encoding/decoding point cloud geometry data captured by a spinning sensors head

Publications (1)

Publication Number Publication Date
JP2024516538A true JP2024516538A (ja) 2024-04-16

Family

ID=77050943

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023561168A Pending JP2024516538A (ja) 2021-04-09 2021-10-13 スピンセンサヘッドによって捕捉された点群幾何学データを符号化/復号化する方法及び装置

Country Status (7)

Country Link
US (1) US20240185472A1 (ja)
EP (1) EP4072145A1 (ja)
JP (1) JP2024516538A (ja)
KR (1) KR20230169271A (ja)
CN (1) CN117121483A (ja)
BR (1) BR112023020636A2 (ja)
WO (1) WO2022213568A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11875541B2 (en) 2020-10-07 2024-01-16 Qualcomm Incorporated Predictive geometry coding in G-PCC

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180053324A1 (en) * 2016-08-19 2018-02-22 Mitsubishi Electric Research Laboratories, Inc. Method for Predictive Coding of Point Cloud Geometries
US20190116372A1 (en) * 2017-10-16 2019-04-18 Mitsubishi Electric Research Laboratories, Inc. Systems and Methods for Compressing, Representing and Processing Point Clouds
US10762667B2 (en) * 2018-11-30 2020-09-01 Point Cloud Compression, B.V. Method and apparatus for compression of point cloud data
WO2020147021A1 (zh) * 2019-01-15 2020-07-23 深圳市大疆创新科技有限公司 三维数据点的编解码方法和装置
US11475604B2 (en) * 2019-03-26 2022-10-18 Tencent America LLC Method and apparatus for adaptive point cloud attribute coding
CN111699683B (zh) * 2019-06-13 2022-05-17 深圳市大疆创新科技有限公司 一种点云编码方法、点云解码方法及相关设备

Also Published As

Publication number Publication date
US20240185472A1 (en) 2024-06-06
CN117121483A (zh) 2023-11-24
BR112023020636A2 (pt) 2023-12-05
EP4072145A1 (en) 2022-10-12
WO2022213568A1 (en) 2022-10-13
KR20230169271A (ko) 2023-12-15

Similar Documents

Publication Publication Date Title
JP7550317B2 (ja) 自己回転センサヘッドによってキャプチャされた点群ジオメトリデータをエントロピー符号化/復号化する方法及び装置
JP2024516538A (ja) スピンセンサヘッドによって捕捉された点群幾何学データを符号化/復号化する方法及び装置
WO2023123261A1 (en) Method and apparatus of encoding/decoding point cloud geometry data
WO2022213569A1 (en) Method and apparatus of encoding/decoding point cloud geometry data captured by a spinning sensors head
WO2022213570A1 (en) Method and apparatus of encoding/decoding point cloud geometry data captured by a spinning sensors head
WO2022213571A1 (en) Method and apparatus of encoding/decoding point cloud geometry data using azimuthal coding mode
JP7535665B2 (ja) 自己回転センサヘッドでキャプチャされた点群ジオメトリデータを符号化/復号化する方法及び装置
RU2818834C2 (ru) Способ и устройство кодирования/декодирования геометрических данных облака точек с использованием режима азимутального кодирования
RU2824331C1 (ru) Способ и устройство для кодирования/декодирования данных геометрии облака точек, захваченных вращающейся головкой датчиков
US20240371047A1 (en) Method and apparatus of encoding/decoding point cloud geometry data sensed by at least one sensor
US20240362824A1 (en) Method and apparatus of encoding/decoding point cloud geometry data sensed by at least one sensor
WO2023029672A1 (en) Method and apparatus of encoding/decoding point cloud geometry data sensed by at least one sensor
WO2023273537A1 (en) Method and apparatus of encoding/decoding point cloud captured by a spinning sensors head
WO2023147742A1 (en) Method and apparatus of encoding/decoding a slice of point cloud data
US20240193818A1 (en) Method and apparatus of encoding/decoding point cloud geometry data captured by a spinning sensors head
JP2024528550A (ja) スピンセンサヘッドによってキャプチャされた点群を符号化/復号化する方法及び装置
JP2024537731A (ja) 少なくとも1つのセンサでセンシングされた点群ジオメトリデータを符号化/復号化する方法および装置
JP2024538574A (ja) 少なくとも1つのセンサでセンシングされた点群ジオメトリデータを符号化/復号化する方法および装置
JP2024536845A (ja) 少なくとも1つのセンサでセンシングされた点群ジオメトリデータを符号化/復号化する方法及び装置関連出願の相互引用

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231109