JP7568952B2 - 復号方法、復号装置及び復号プログラム - Google Patents

Description

本発明は、復号方法、復号装置及び復号プログラムに関する。

点群データによって表される動画像を符号化する方法として、combine frame codingが提案されている（非特許文献１を参照）。combine frame codingは、複数のフレームに属する点群を併合してから符号化する手法である。点群データの符号化方式として８分木が知られている。動画像において連続するフレームに表される点群同士は互いにその位置について高い相関を有するため、８分木の上位レベル（ルートに近いレベル）において同様の構造を有している。そのため、combine frame codingを用いることで、符号化効率を高めることができる。なお、併合された複数の点それぞれには、フレームインデックスが付与されることで、復号時にフレーム別に点群を取り出すことができる。

N19525、ISO/IEC JTC 1/SC 29/WG 11"Coding of moving pictures and audio"、２０２０年１０月２日

ところで、点の位置（Geometry）以外の属性（Attribute）は、必ずしもフレーム間で高い相関を有するとは限らない。そのため、combine frame codingを用いる場合、少なくとも点の位置については符号化効率を高めることができる一方、他の属性については符号化効率を高めることができない可能性がある。
本発明の目的は、点群の属性について符号化効率を高めたデータから、点群を復号することができる復号方法、復号装置及び復号プログラムを提供することにある。

本発明の一態様は、点群データを復号する復号方法であって、複数の点それぞれに対応する基準値を特定するステップと、前記複数の点の前記基準値に対する属性値の残差である属性残差を符号化した符号化残差データから前記複数の点の属性残差を復号するステップと、前記複数の点それぞれについて、前記点の属性残差と前記点に対応する基準値とから前記点の属性値を算出するステップとを有する復号方法である。

本発明の一態様は、異なるフレームに属する点群を併合した併合点群データに含まれる複数の点のそれぞれについて、前記点が属する前記フレームを示すフレームインデックスと前記基準値に対する属性値の残差である属性残差とを含む属性データを符号化した符号化属性データから、前記複数の点それぞれの前記フレームインデックスと前記属性残差とを復号するステップと、前記フレームインデックスと前記基準値との対応関係を示す基準データを取得するステップと、前記複数の点それぞれについて、復号された前記フレームインデックスに対応する前記基準値を前記基準データから特定するステップと、前記複数の点それぞれについて、復号された前記属性残差と特定された前記基準値とから前記属性値を算出するステップとを含む復号方法である。

本発明の一態様は、点群データを復号する復号装置であって、複数の点それぞれに対応する基準値を特定する基準特定部と、前記複数の点の前記基準値に対する属性値の残差である属性残差を符号化した符号化残差データから前記複数の点の属性残差を復号する残差復号部と、前記複数の点それぞれについて、前記点の属性残差と前記点に対応する基準値とから前記点の属性値を算出する属性値算出部５６とを有する復号装置である。

本発明の一態様は、コンピュータに、複数の点と基準値との対応関係を示す基準データから前記複数の点それぞれに対応する基準値を特定するステップと、前記複数の点の前記基準値に対する属性値の残差である属性残差を符号化した符号化残差データから前記複数の点の属性残差を復号するステップと、前記複数の点それぞれについて、前記点の属性残差と前記点に対応する基準値とから前記点の属性値を算出するステップとを実行させる復号プログラムである。

本発明の一態様は、複数の点の前記基準値に対する属性値の残差である属性残差を符号化したデータであって、前記コンピュータによって前記属性残差を復号する処理に用いられる符号化残差データと、前記複数の点と基準値との対応関係を示すデータであって、前記コンピュータによって、前記複数の点それぞれについて、前記属性残差と前記基準値とから前記属性値を算出する処理に用いられる基準データとを含む符号化点群データのデータ構造である。

上記態様によれば、点群の属性について符号化効率を高めたデータから、点群を復号することができる。

第１の実施形態に係る動画像処理システムの構成を示す概略図である。 第１の実施形態に係る符号化装置の構成を示す概略ブロック図である。 第１の実施形態に係る符号化点群データのデータ構造の例を示す図である。 第１の実施形態に係る符号化装置による動的点群データの符号化方法を示すフローチャートである。 第１の実施形態に係る復号装置の構成を示す概略ブロック図である。 第１の実施形態に係る復号装置による符号化点群データの復号方法を示すフローチャートである。 少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。

〈第１の実施形態〉
《動画像処理システム１の構成》
以下、図面を参照しながら実施形態について詳しく説明する。
図１は、第１の実施形態に係る動画像処理システムの構成を示す概略図である。動画像処理システム１は、点群生成装置１０と、符号化装置３０と復号装置５０とを備える。

点群生成装置１０は、対象空間に存在する物体の三次元形状を表す点群データを生成する。点群生成装置１０は、所定のフレーム時間ごとに点群データを生成することで、動的点群データを生成する。点群生成装置１０の例としては、ＬｉＤＡＲ（Light Detection and Ranging）装置が挙げられる。点群生成装置１０は、ＧＮＳＳ（Global Navigation Satellite System）により特定されるグローバル位置と、慣性センサにより特定される姿勢とを用いて、計測された各点のグローバル位置を特定する。点群データには、特定された位置を示すデータ（Geometry data）と、色、計測時刻、各種計測器の計測値などの属性データ（Attribute data）とが含まれる。

符号化装置３０は、点群生成装置１０が生成した動的点群データを符号化した符号化点群データを生成する。動的点群データにおいて、連続するフレームに表される点群同士は互いにその位置について高い相関を有する。一方で、点の位置以外の属性は、必ずしもフレーム間における近い位置の点同士で高い相関を有するとは限らない。属性によっては、同じフレームの異なる位置の点、異なるフレームの異なる位置の点等において、近しい値、若しくは高い相関を有する値を取る場合がある。例えば、上記で例示した計測時刻は、異なるフレームの近い位置の点同士より、同じフレームの異なる位置の点同士において、近い値をとる可能性が高い。また、点群生成装置１０が定期的に現実空間における同じ位置の点を取得するような場合、異なるフレームにおける近傍の位置の点同士や、異なるフレームにおける異なる位置の点同士において、近い値をとる可能性がある。第１の実施形態に係る符号化装置３０は、この性質を利用して動的点群データの符号化効率を高める。

復号装置５０は、符号化点群データを復号し、動的点群データを再生する。符号化装置３０は、例えばネットワークを介して符号化点群データを復号装置５０に出力する。

《符号化装置３０の構成》
図２は、第１の実施形態に係る符号化装置３０の構成を示す概略ブロック図である。符号化装置３０は、点群取得部３１、併合部３２、幾何符号化部３３、基準決定部３４、残差算出部３５、属性符号化部３６、出力部３７を備える。

点群取得部３１は、点群生成装置１０から動的点群データを取得する。併合部３２は、動的点群データを構成する複数のフレームを併合する。幾何符号化部３３は、併合された動的点群データに含まれる複数の点の位置を符号化することで、符号化幾何データを生成する。点群データの符号化方式としては、８分木符号化が挙げられる。

基準決定部３４は、併合された動的点群データの複数の属性項目のうち、属性残差を符号化すべき属性項目に係る基準値を決定する。属性残差を符号化すべき属性項目は予め定められる。少なくともフレームインデックスは、属性残差を符号化すべき属性項目に含めない。属性残差を符号化すべき属性項目として、レーザ照射点からの距離や受光角度など、時間に応じて値が変化する属性項目を選択すると、符号化効率を高めることができる。

属性残差を符号化すべき属性項目の例としては、例えば、サーモグラフィデータ、スキャン時の点群生成装置１０の三次元位置及び姿勢、セグメンテーションラベル、パーティクルシミュレーションのパラメータ（例えば、速度ベクトル）、法線、レーザーの反射強度、透明度、マテリアルＩＤなどが挙げられる。サーモグラフィデータは、外気温の影響を受けて時間に応じて値が変化する。点群生成装置１０の三次元位置及び姿勢は、点群生成装置１０が車両などの移動体に設けられる場合、時間に応じて変化する。セグメンテーションラベルは、例えばセマンティックセグメンテーションなどにより付される、点が属するカテゴリを示すラベルである。フレームごとにセマンティックセグメンテーションを行う場合、フレーム間で付されるセグメンテーションラベルが変化する可能性がある。

基準決定部３４は、フレーム間の属性値の乖離が小さくなるように基準値を決定する。基準決定部３４は、例えばフレームごとの属性値の平均値を基準値として算出する。基準決定部３４は、フレームを示すフレームインデックスと、属性項目と、基準値とを関連付けた基準データを生成する。基準決定部３４は、基準データを符号化してもよい。

残差算出部３５は、併合された動的点群データに含まれる複数の点それぞれについて、基準値を決定した属性項目の属性値と基準値の残差である属性残差を算出する。属性符号化部３６は、併合された動的点群データに含まれる複数の点の属性残差を符号化することで、符号化残差データを生成する。属性符号化部３６は、併合された動的点群データに含まれる複数の点の属性残差を符号化しない属性項目に係る属性値を符号化することで、符号化属性データを生成する。属性符号化部３６は、各点の属性残差を変換符号化する。一方で、属性符号化部３６は、各点のフレームインデックスをロスレス符号化する。フレームインデックスに係る符号化属性データは、符号化インデックスデータともよぶ。

出力部３７は、符号化幾何データ、符号化属性データ、符号化残差データ及び基準データを含む符号化点群データを、復号装置５０へ出力する。図３は、第１の実施形態に係る符号化点群データのデータ構造の例を示す図である。図３に示す例では、符号化点群データは、ヘッダに基準データを含み、ボディに符号化幾何データ、符号化属性データ及び符号化残差データを含む。符号化幾何データ、符号化属性データ及び符号化残差データは、それぞれ複数のスライスに分割されて格納されてもよい。なお、他の実施形態においては、基準データがadditional messageとして出力されてもよい。

《符号化装置３０の動作》
図４は、第１の実施形態に係る符号化装置３０による動的点群データの符号化方法を示すフローチャートである。符号化装置３０の点群取得部３１は、点群生成装置１０から動的点群データを取得する（ステップＳ１）。点群取得部３１が取得する動的点群データは、大量のフレームを有する動的点群データの一部を構成するものであってもよい。

併合部３２は、ステップＳ１で取得した動的点群データを構成する複数のフレームを併合する（ステップＳ２）。幾何符号化部３３は、併合された動的点群データに含まれる複数の点の位置について符号化幾何データを生成する（ステップＳ３）。

基準決定部３４は、属性残差を符号化すべき属性項目について、フレームごとの基準値を決定し、基準データを生成する（ステップＳ４）。残差算出部３５は、ステップＳ４で決定した基準値に基づいて、属性残差を符号化すべき属性項目の属性値から属性残差を算出する（ステップＳ５）。属性符号化部３６は、ステップＳ５で算出された属性残差を符号化することで、符号化残差データを生成する（ステップＳ６）。また、属性符号化部３６は、属性残差を算出しない属性項目の属性値を符号化することで、符号化属性データを生成する（ステップＳ７）。属性残差を算出しない属性項目には、フレームインデックスが含まれる。

出力部３７は、符号化幾何データ、符号化属性データ、符号化残差データ及び基準データを含む符号化点群データを、復号装置５０へ出力する（ステップＳ８）。

上述したように、レーザ照射点からの距離や受光角度など、時間に応じて値が変化する属性項目は、フレーム間で値が大きく変化する。一方で、各点が表す物体はフレーム間で変わらないため、属性項目におけるフレーム内の点同士の相対的な関係は、フレーム間で大きく変化しない。したがって、符号化装置３０は、フレームごとの基準値と属性値との残差を符号化することで、符号化効率の良い符号化点群データを生成することができる。

《復号装置５０の構成》
図５は、第１の実施形態に係る復号装置５０の構成を示す概略ブロック図である。復号装置５０は、入力部５１、幾何復号部５２、属性復号部５３、残差復号部５４、基準特定部５５、属性値算出部５６、分解部５７、表示部５８を備える。

入力部５１は、復号装置５０から符号化点群データの入力を受け付ける。幾何復号部５２は、符号化点群データに含まれる符号化幾何データを復号する。属性復号部５３は、符号化点群データに含まれる符号化属性データを復号する。これにより、属性復号部５３は、フレームインデックスを含む各点の属性値を取得する。

残差復号部５４は、符号化点群データに含まれる符号化残差データを復号する。これにより、残差復号部５４は、各点の属性残差を取得する。基準特定部５５は、符号化点群データに含まれる基準データから、フレームインデックス別の基準値を特定する。属性値算出部５６は、各点の属性残差に基準値を加算することで、各点の属性を算出する。分解部５７は、複数の点をフレーム別に分解することで、動的点群データを再生する。表示部５８は、動的点群データに基づいて、表示装置に動画像を表示させる。

《復号装置５０の動作》
図６は、第１の実施形態に係る復号装置５０による符号化点群データの復号方法を示すフローチャートである。入力部５１は、復号装置５０から符号化点群データの入力を受け付ける（ステップＳ３１）。幾何復号部５２は、ステップＳ３１で入力された符号化点群データに含まれる符号化幾何データを復号する（ステップＳ３２）。これにより、幾何復号部５２は、複数の点の位置を特定する。

属性復号部５３は、ステップＳ３１で入力された符号化点群データに含まれる符号化属性データを復号する（ステップＳ３３）。これにより、属性復号部５３は、フレームインデックスを含む各点の属性値を取得する。残差復号部５４は、符号化点群データに含まれる符号化残差データを復号する（ステップＳ３４）。これにより、残差復号部５４は、各点の属性残差を取得する。

復号装置５０は、符号化点群が表す点を１つずつ選択し（ステップＳ３５）、選択した点について以下のステップＳ３６からステップＳ３８の処理を実行する。基準特定部５５は、ステップＳ３３で取得した複数の点の属性値から、ステップＳ３５で特定した点のフレームインデックスを特定する（ステップＳ３６）。基準特定部５５は、ステップＳ３１で入力された符号化点群データに含まれる基準データから、ステップＳ３６で特定したフレームインデックスに対応する基準値を特定する（ステップＳ３７）。属性値算出部５６は、ステップＳ３５で特定した点の属性残差にステップＳ３７で特定した基準値を加算することで、属性値を算出する（ステップＳ３８）。

復号装置５０がすべての点の属性値を算出すると、分解部５７は、複数の点をフレーム別に分解することで、動的点群データを再生する（ステップＳ３９）。表示部５８は、動的点群データに基づいて、表示装置に動画像を表示させる（ステップＳ４０）。つまり、表示部５８は、再生された動的点群データを表示装置に出力する。

このように、第１の実施形態に係る復号装置５０は、基準データから複数の点それぞれに対応する基準値を特定し、符号化残差データから復号された複数の点の属性残差と基準値とから複数の点それぞれの属性値を算出する。これにより、復号装置５０は、点群の属性について符号化効率を高めた符号化幾何データを復号し、動的点群データを得ることができる。

〈他の実施形態〉
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。すなわち、他の実施形態においては、上述の処理の順序が適宜変更されてもよい。また、一部の処理が並列に実行されてもよい。

上述した実施形態に係る符号化装置３０及び復号装置５０は、それぞれ単独のコンピュータによって構成されるものであってもよいし、符号化装置３０又は復号装置５０の構成を複数のコンピュータに分けて配置し、複数のコンピュータが互いに協働することで符号化装置３０又は復号装置５０として機能するものであってもよい。また、他の実施形態においては符号化装置３０及び復号装置５０同一のコンピュータによって構成されるものであってもよい。

上述した実施形態に係る符号化点群データは、フレームインデックスと基準値との関係を示す基準データを有するが、これに限られない。例えば、他の実施形態に係る符号化点群データは、フレームとは別のグループについて基準値を持ってもよい。例えば、他の実施形態においては、異なる点群生成装置１０によって生成された点群データを併合したものについて、点群生成装置１０に対応する基準値を持ってもよい。

また例えば、点の属性のうちGPS timeは、ＬｉＤＡＲによるレーザの走査中にリセットされる場合があり、フレーム単位で相関を有しない場合がある。例えば、他の実施形態に係る符号化点群データの基準データは、グループインデックスと基準値とを関連付けたルックアップテーブルを表すものであってよい。この場合、符号化残差データが表す属性残差は、グループに対応する基準値と属性値との残差を表す。また符号化属性データは、フレームインデックスに加えグループインデックスを含む属性値を表す。これにより、フレーム内の値についても異なる基準値を持たせることができる。
上述した変形例の場合、符号化される点群データは、必ずしも動的点群データでなくてもよい。

また、他の実施形態に係る符号化点群データは、フレームインデックスに代えて、参照先の点を示すポインタを含み、当該ポインタが示す点と同じ基準値を用いることを表してもよい。

上述した実施形態に係る点群生成装置１０は、ＬｉＤＡＲであるが、他の実施形態においてはこれに限られない。例えば、他の実施形態に係る点群生成装置１０はステレオカメラ装置などの他の装置であってもよい。

〈コンピュータ構成〉
図７は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ９０は、プロセッサ９１、メインメモリ９３、ストレージ９５、インタフェース９７を備える。
上述の符号化装置３０及び復号装置５０は、コンピュータ９０に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ９５に記憶されている。プロセッサ９１は、プログラムをストレージ９５から読み出してメインメモリ９３に展開し、当該プログラムに従って上記処理を実行する。また、プロセッサ９１は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ９３に確保する。プロセッサ９１の例としては、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、マイクロプロセッサなどが挙げられる。

プログラムは、コンピュータ９０に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージに既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、コンピュータ９０は、上記構成に加えて、または上記構成に代えてＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）を備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。この場合、プロセッサ９１によって実現される機能の一部または全部が当該集積回路によって実現されてよい。このような集積回路も、プロセッサの一例に含まれる。

ストレージ９５の例としては、磁気ディスク、光磁気ディスク、光ディスク、半導体メモリ等が挙げられる。ストレージ９５は、コンピュータ９０のバスに直接接続された内部メディアであってもよいし、インタフェース９７または通信回線を介してコンピュータ９０に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ９０に配信される場合、配信を受けたコンピュータ９０が当該プログラムをメインメモリ９３に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、ストレージ９５は、一時的でない有形の記憶媒体である。

また、当該プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、当該プログラムは、前述した機能をストレージ９５に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。

１…動画像処理システム １０…点群生成装置 ３０…符号化装置 ３１…点群取得部 ３２…併合部 ３３…幾何符号化部 ３４…基準決定部 ３５…残差算出部 ３６…属性符号化部 ３７…出力部 ５０…復号装置 ５１…入力部 ５２…幾何復号部 ５３…属性復号部 ５４…残差復号部 ５５…基準特定部 ５６…属性値算出部 ５７…分解部 ５８…表示部 ９０…コンピュータ ９１…プロセッサ ９３…メインメモリ ９５…ストレージ ９７…インタフェース

Claims (5)

1. コンピュータが、異なるフレームに属する点群を併合した併合点群データを復号する復号方法であって、
   前記コンピュータが、フレームごとに定められた基準値を特定するステップと、
   前記コンピュータが、前記併合点群データの複数の点の前記基準値に対する属性値の残差である属性残差を符号化した符号化残差データから前記複数の点の属性残差を復号するステップと、
   前記コンピュータが、前記複数の点それぞれについて、属するフレームに対応する前記基準値と、前記点の属性残差とから前記点の属性値を算出するステップと
   を有する復号方法。
2. 前記コンピュータが、前記複数の点それぞれが属するフレームを示す値を符号化した符号化属性データから前記複数の点それぞれが属するフレームを復号するステップを有し、
   前記基準値を特定するステップにおいて、前記コンピュータが、前記複数の点それぞれについて、復号された前記フレームに対応する基準値を特定する
   請求項１に記載の復号方法。
3. コンピュータが、異なるフレームに属する点群を併合した併合点群データに含まれる複数の点のそれぞれについて、前記点が属する前記フレームを示すフレームインデックスを符号化した符号化インデックスデータと、基準値に対する属性値の残差である属性残差を符号化した符号化残差データと、前記フレームインデックスと前記基準値との対応関係を示す基準データとを含む符号化点群データとから、前記複数の点それぞれの前記フレームインデックスと前記属性残差とを復号するステップと、
   前記コンピュータが、前記符号化点群データから前記基準データを取得するステップと、
   前記コンピュータが、前記複数の点それぞれについて、復号された前記フレームインデックスに対応する前記基準値を前記基準データから特定するステップと、
   前記コンピュータが、前記複数の点それぞれについて、復号された前記属性残差と特定された前記基準値とから前記属性値を算出するステップと
   を含む復号方法。
4. 異なるフレームに属する点群を併合した併合点群データを復号する復号装置であって、
   フレームごとに定められた基準値を特定する基準特定部と、
   前記併合点群データの複数の点の前記基準値に対する属性値の残差である属性残差を符号化した符号化残差データから前記複数の点の属性残差を復号する残差復号部と、
   前記複数の点それぞれについて、属するフレームに対応する前記基準値と、前記点の属性残差とから前記点の属性値を算出する属性値算出部と
   を有する復号装置。
5. 異なるフレームに属する点群を併合した併合点群データを復号するコンピュータに、
   複数の点と基準値との対応関係を示す基準データからフレームごとに定められた基準値を特定するステップと、
   前記併合点群データの複数の点の前記基準値に対する属性値の残差である属性残差を符号化した符号化残差データから前記複数の点の属性残差を復号するステップと、
   前記複数の点それぞれについて、属するフレームに対応する前記基準値と、前記点の属性残差とから前記点の属性値を算出するステップと
   を実行させるための復号プログラム。

Images