JP6250805B2 - 深度ベース・ブロック・パーティショニングを使用して、テクスチャブロックを符号化および復号するための方法ならびに装置 - Google Patents

Description

本発明の実施形態は、コンピュータビジョンの分野に関し、特に、例えば、3D画像およびビデオコーディングにおいて使用されるような、テクスチャ＋深度の画像およびビデオコーディングに関する。

3Dビデオ処理において、深度データは、通常、テクスチャビデオの各フレームに対応する深度マップのセットとして表現される。深度マップの各ポイントの強度は、このポイントにより表現される視覚的シーンのカメラからの距離を示す。代替的に、視差値が深度マップの深度値に反比例する、視差マップが使用されてもよい。

3Dビデオコーディングにおいて、従来のビデオデータの他に、テクスチャデータまたはテクスチャ情報とも呼ばれる、各ビューの深度マップが符号化される必要がある。非3Dコーデックに対する後方互換性を保つために、既存の3Dビデオコーデックにおいて、ベースビューに対するテクスチャデータが最初に符号化される。残りの成分をコーディングする順序は調節できる。現在、2つの主なコーディング順序が利用されている：テクスチャ−ファーストおよび深度−ファーストである。双方とも、3Dビデオコーデックのコーディング性能全体を増加させるために、成分間の依存、すなわち、テクスチャ成分と対応する深度成分または視差成分との間の依存を活用する機会を提供する。テクスチャ−ファーストのコーディング順序により、深度データのコーディングのために、進化したテクスチャ依存コーディングツールを使用できるようになる。一方、深度−ファーストのコーディング順序は、テクスチャコーディングのために、進化した深度依存コーディング手段を可能にする。

3D−HEVCと呼ばれる、3Dビデオコーディングに関する将来の標準規格［G．Tech， K． Wegner， Y． Chen， S． Yea， “3D−HEVC test model 2，” Document of Joint Collaborative Team on 3D Video Coding Extension Development， JCT3V−B1005， October， 2012］では、現在のテクスチャ−ファーストコーディング順序は、共通テスト条件（CTC）で使用される。3D−AVCと呼ばれる、3Dビデオコーディングに関するさらに将来の標準規格［，，“3D−AVC Draft Text 6’’， JCT3V−D1002， Incheon， Rep． of Korea， Apr． 2013］では、現在の深度−ファーストコーディング順序は、共通テスト条件（CTC）で使用される。

3Dビデオの組み合わされたコーディングは、コーディング性能全体を増加させるために成分間の依存を活用するというゴールを持った、重要な研究分野である。双方の方向（テクスチャから深度および深度からテクスチャ）が可能であり、結果的に、成分間の依存を利用することにより、コーディング性能全体を改善することになる。

［P． Merkle， C． Bartnik， K． M¨uller， D． Marpe， T． Wiegand， ，，Depth coding based on inter−component prediction of block partitions’’， Picture Coding Symposium， Krakow， Poland， May 2012］では、同じビューの既にコード化されたテクスチャ情報はイントラ予測されたブロック中の配置された深度ブロックを予測するのに使用される、セグメンテーションマスクを生成させるために使用される。結果のバイナリ・セグメンテーション・マスクの2つのセグメントのそれぞれに関して、DC予測値が導出される。テクスチャから深度へのこの形状予測は、予測品質、特に、深度の不連続性のロケーションの精度を改善する。

同様の概念は、深度マップコーディングに対するWedgeletおよびContourパーティショニングが紹介された、［，，Description of 3D Video Technology Proposal by Fraunhofer HHI （HEVC compatible； configuration A）’’， Doc．M22570， Nov． 2011， Geneva， Switzerland］で提唱された。

さらに、インター予測中のテクスチャ成分と深度成分との間の高い相関性を利用するための方法が提唱された。同じビューの深度成分の必要とされるビットレートを減少させるために、テクスチャビューの既にコード化された動き情報（すなわち、動きベクトルおよび参照ピクチャインデックス）を再利用することが、［M．Winken， H． Schwarz， T． Wiegand， “Motion vector inheritance for high efficiency 3D video plus depth coding”， Picture Coding Symposium， Krakow， Poland， May 2012］において提唱された。このアプローチでは、動きベクトル情報および予測ユニットのパーティショニングも、深度ブロックをコーディングするときに、配置されたテクスチャブロックから継承できる。

［Joint Collaborative Team on 3D Video Coding Extension Development （JCT−3V） of ITU−T VCEG and ISO／IEC MPEG， “3D−CE3．h： Depth quadtree prediction for 3DHTM 4．1，” JCT3V−B0068， Tech．Rep．， Oct． 2012］において、著者らは、深度成分に関する、対応するテクスチャ・クアド・ツリーへのブロックパーティショニング（すなわち、コーディング・クアド・ツリーの深度）を制限することを提唱した。この制限により、深度成分における分割フラグに対するビットレートを節約することが可能になるが、2つの成分間にパース依存も導入する。

既にコード化された深度情報に基づいて、依存テクスチャビューに対する追加の予測信号を合成することが、［，，Description of 3D Video Coding Technology Proposal by Nokia’’， Doc．M22552， Nov． 2011， Geneva， Switzerland］および［C．Lee， Y．−S．Ho， “A framework of 3D video coding using view synthesis prediction”， Picture Coding Symposium， Krakow， Poland， May 2012］により提唱された。ここでは、ビュー間のピクセルポジションを適切にマッピングするために深度を必要とする深度画像ベースレンダリング技術を使用して、参照テクスチャビューから、符号化されたブロックのコンテンツ（ピクセル値）を合成する。

［，，Description of 3D Video Technology Proposal by Fraunhofer HHI （HEVC compatible； configuration A）’’， Doc．M22570， Nov． 2011， Geneva， Switzerland］および［，，Technical Description of Poznan University of Technology proposal for Call on 3D Video Coding Technology’’， Doc．M22697， Nov． 2011， Geneva， Switzerland］において、現在コード化されたブロックを符号化するために使用される、参照ビューからの動き情報の予測に対する候補が、コード化されたブロックに関連付けられた深度値に基づいて、導出される。

既に符号化された参照ビューからの残余を予測するように、同様のアプローチが［，，Description of 3D Video Technology Proposal by Fraunhofer HHI （HEVC compatible； configuration A）’’， Doc．M22570， Nov． 2011， Geneva， Switzerland］で提唱された。深度推定に基づいて、現在のブロックに対する視差ベクトルが決定され、現在のブロックの残存を予測するために、視差ベクトルにより参照される参照ビュー中の残りのブロックが使用される。

［"Depth−based weighted bi−prediction for video plus depth map coding“， ICIP 2012， Sept． 2012］では、深度情報に基づいて値が計算される重みを使用して、コード化されたブロックに対する双方向インター予測結果のマージが行われる。ブロックの1つまたは別のエリアに対するバイナリ割り当てを含む、重みを算出するための異なる方法が提唱される。

本発明の目的は、効率的なコーディングソリューション、すなわち、3D画像または3Dビデオのテクスチャ画像のテクスチャブロックをコーディングするための、符号化および復号ソリューションを提供することである。

本発明の先述の目的および他の目的は、独立請求項の特徴により達成される。さらなる実施形態は、従属請求項、説明および図面から明白である。

既存のソリューションの大半が、テクスチャ対深度の依存を利用する。しかし、双方の方向（テクスチャから深度および深度からテクスチャ）が多少の利点を示すという事実にかかわらず、一般に、テクスチャビットレートを減少させるために深度情報を使用することが、より望ましいと考えられる。その理由は、テクスチャビットレートは、深度成分に対するビットレートよりも著しく高いためである。

さらに、テクスチャを符号化するために、先行技術方法は、パーティションの通常の形状でのブロックパーティショニングを使用するか、または、このような方法のコーディング性能を減少させる任意の形状をシグナリングするための洗練された方法を必要とする。パーティションの任意の形状を決定するための成分間の依存は、これまで、テクスチャに基づく深度パーティショニングに対してのみ使用された。深度情報に基づいてテクスチャパーティションの任意の形状を決定することにより、コーディング性能全体を改善できる。

本発明の態様および実施形態は、このテクスチャブロックに関連付けられる深度情報に基づいて決定されたパーティショニングを使用して、テクスチャブロックをコーディング、すなわち、符号化および復号するためのソリューションを提供する。本発明に従って、テクスチャブロックをコーディングするための、通常の、典型的には長方形の形状のパーティションを使用する代わりに、ブロックは、深度情報に基づいて形状が決定された、任意の、典型的には通常の形、特に長方形ではない形の、予め規定された数のパーティションを使用してコード化される。パーティションの形状は、深度情報に関する以前の知識により決定できることから（深度ファーストコーディング）、パーティション形状を決定するための計算が、復号器で繰り返されるため、任意の形状のパーティションは、符号化器から復号器に送信される必要はない。記述したソリューションは、深度ベース・ブロック・パーティショニング（DBBP）とも呼ばれてもよい。

さらなる態様および実施形態は、3Dに対するDBBPを使用したテクスチャコーディングおよびテクスチャ＋深度ビデオコーディングを改善するための、ならびに／あるいは、DBBPベースのビデオコーディングの複雑性を減少させるための、ソリューションを提供する。

第1の態様に従って、発明は、テクスチャ画像のテクスチャブロックを符号化するための方法に関し、方法は、テクスチャブロックに関連付けられる深度情報に基づいて、テクスチャブロックに対するパーティショニングマスクを決定するステップであって、パーティショニングマスクは、テクスチャブロックの複数のパーティションを規定し、テクスチャブロックのテクスチャブロック要素を、複数のパーティションのうちのパーティションに関連付けるように適合される、決定するステップと、パーティショニングマスクに基づいて、テクスチャブロックの複数のパーティションのうちのパーティションを符号化することにより、テクスチャブロックを符号化するステップとを含む。

言い換えると、第1の態様に従った方法は、深度ベース・ブロック・パーティショニングを使用し、深度ベース・ブロック・パーティショニングまたは深度ベース・ブロック・パーティショニング符号化と呼ばれてもよい。

第1の態様に従った方法は、テクスチャ成分と深度成分との間の成分間依存を活用する。さらに、テクスチャビットレートを減少させるために深度情報を使用することにより、テクスチャ成分に対するビットレートが、対応する深度成分に対するビットレートよりも著しく高くなることから、コーディング効率を改善できる。

なおさらに、テクスチャブロックをコーディングするための、通常の、例えば長方形の形状のパーティションを使用する代わりに、第1の態様に従った符号化により、任意の形状のパーティションを規定できるようになり、任意の形状のパーティションは、符号化されることになるテクスチャブロックに関連付けられる深度情報に基づいて決定される。テクスチャブロック内の同様のまたは同じテクスチャ特性を持つエリアが、典型的に、通常の形状を示さない、特に、長方形でない形状のときに、テクスチャブロックに関連付けられる深度情報に基づく任意の形状パーティショニングは、このような任意のテクスチャエリアのさらに正確な記述またはモデリングを促進する。そのため、例えば、従来の長方形の形状のブロックパーティショニングと比較して、通常の形状のパーティショニングと比較した予測誤差を減少できる、および／または、ディープ・クアド・ツリー・パーティショニングをシグナリングするのに必要とされるシグナリングオーバーヘッドを減少できる。

言い換えると、第1の態様に従った方法により、通常でないパーティションおよび通常のパーティションを含む任意の種類のパーティションへと、テクスチャブロックを分割できるようになる。最後に、テクスチャブロックのパーティションの形状は、テクスチャブロックに関連付けられる深度情報に関する以前の知識により決定できることから、テクスチャブロックのパーティションの任意の形状を記述するための情報は、符号化器から復号器に送信される必要はない。その理由は、例えば、復号されることになる、符号化されたテクスチャブロックに関連付けられる復号された深度情報に基づいて（深度ファーストコーディング）、テクスチャブロックのパーティションの形状を決定するための計算を、復号器において効率よく実行できるためである。

テクスチャ画像は、静止画像のテクスチャ成分であってもよく、または、ビデオフレームのテクスチャ成分であってもよい。

深度情報は、深度マップの深度値または視差マップの視差値であってもよい。

第1の態様に従った方法の第1の可能性ある実施形態において、複数のパーティションのうちのパーティションの符号化は、テクスチャブロックの複数のパーティションのうちの第1のパーティションを符号化するために使用される、テクスチャブロックコーディング情報の複数のパーティションのうちの第2のパーティションとは別の第1のパーティションを決定するステップを含む。コーディング情報は、テクスチャブロックの個別のセグメントの予測コーディング、または、テクスチャブロックの個別のセグメントの非予測コーディングに関するものであってもよく、あるいは、これらに関連する情報を含んでもよい。

予測コーディングに対して、コーディング情報は、予測モード、予測因子インデックス、予測方向、参照ピクチャインデックス、参照ビューインデックス、変換係数、動きベクトルおよびコーディングコンテキストのうちの1以上を含んでもよい。

複数のパーティションのうちのパーティションの符号化は、各パーティションに対して別々に実行されてもよい。いくつかまたは全てのパーティションに対してコーディング情報を別々に決定することにより、予測精度を増加できるため、予測誤差を減少できる。

このようなものである第1の態様に従った、または、第1の態様の第1の実施形態に従った、方法の第2の可能性ある実施形態では、複数のパーティションを形成するパーティションの数は、予め定められる、または、適応可能に決定される。

複数のパーティションを形成するパーティションの数を決定するための双方の方法（予め定められる、または、適応可能に決定される）は、コード化されたブロックを表現するパーティションの数の、ビットレートでの追加のシグナリングを必要としない。そうでなければ、符号化器は、深度ベース・ブロック・パーティショニングをビットストリームに対して使用する各ブロックに関して、このような情報を、例えば、パーティションの数を追加しなければならない。

第1の態様の先行する実施形態のうちの任意のもの、または、このようなものである第1の態様に従った、方法の第3の可能性ある実施形態では、複数のパーティションを形成するパーティションの数は、テクスチャブロックに関連付けられる深度情報を解析することにより、適応可能に決定される。

テクスチャブロックに関連付けられる深度情報、例えば、深度マップ値または視差マップ値を解析することは、テクスチャブロックのテクスチャ情報、例えば、色度および輝度を解析するよりも複雑でない。このため、深度情報を使用して、効率的な方法で、テクスチャブロックのパーティションの数を決定できる。特に、ブロックレベルに関して、深度情報は、典型的に、テクスチャブロックに関連付けられる深度情報を分割すること、および、それに応じて、テクスチャブロックを複数のパーティションに信頼性高く分割することに関する、非常に少ない数の範囲または深度情報値のみを含む。多くの場合、例えば、テクスチャブロック内のフォアグラウンドオブジェクトのエリアを表現する第1のパーティションと、テクスチャブロック内のバックグラウンドのエリアに対応する第2のパーティションの、2つのパーティションのみで十分である。

第1の態様の先行する実施形態のうちの任意のもの、または、第1の態様に従った、方法の第4の可能性ある実施形態では、テクスチャブロック要素に関連付けられた深度情報値と、しきい値との比較に基づいて、パーティショニングマスクにより、複数のパーティションのうちの1つに、テクスチャブロックのテクスチャブロック要素を関連付けることが実行される。

パーティショニングマスクおよび対応するパーティションを決定するためにしきい値を使用することにより、複雑性が低くなるが、それにもかかわらず、特に、1次元の深度情報値との組み合わせにおいて、セグメンテーションを実行する効率的な方法を提供する。

第4の実施形態に従った方法の第5の実施形態に従って、しきい値は予め定められるか、または、適応可能に決定される。

しきい値を決定するための双方の方法（予め定められる、または、適応可能に決定される）は、コード化されたブロックに対するしきい値のビットストリームにおける追加のシグナリングを必要としない。これにより、復号器に送信されなければならないビットの数を節約し、コーディング性能を改善する。そうでなければ、符号化器は、深度ベース・ブロック・パーティショニングをビットストリームに対して使用する各ブロックに対して、しきい値に関する情報を追加しなければならないだろう。

第1の態様の第4または第5の実施形態に従った方法の第6の実施形態に従って、しきい値は、テクスチャブロックに関連付けられる深度情報を解析することにより、適応可能に決定される。

しきい値を適応可能に決定するステップは、符号化されることになるテクスチャブロックに関連付けられるエリアに対する深度情報値の平均値を計算するステップと、しきい値を計算された平均値に設定するステップとを含んでもよい。

しきい値を適応可能に決定するステップは、符号化されることになるテクスチャブロックに関連付けられるエリアに対する深度情報値の重み付けされた平均を計算するステップであって、重み付けされた平均を計算する際に使用される重みは、テクスチャブロックの中心からの距離に依存する、計算するステップと、計算された重み付けされた平均値に対してしきい値を設定するステップとを含んでもよい。

しきい値を適応可能に決定するステップは、符号化されることになるテクスチャブロックに関連付けられるエリアから、深度情報値に対する中央値を計算するステップと、計算された中央値に対してしきい値を設定するステップとを含んでもよい。

提唱した実施は、計算上複雑でない、比較的簡潔なしきい値の計算方法を提供する。これは、電力消費および計算電力制約の双方を通常有する復号器にとって、特に、重要である。さらに、提唱した方法は、ハードウェア実施をさらに容易にする通常の構造のアルゴリズムで実現されてもよい。

第1の態様の第1〜第3の実施形態のうちの任意のものに従った、または、第1の態様に従った、方法の第7の実施形態に従って、パーティショニングマスクを決定するステップは、テクスチャブロックに関連付けられる深度情報値のエリアに、エッジ検出アルゴリズムを適用することに基づいて、実行される。

深度情報を表現する画像中で検出されたエッジのロケーションに関する情報の使用により、オブジェクト境界を保つパーティションを決定する簡潔な方法が提供される。特に、このようなパーティショニングは通常、コーディング性能を最大化するようにコーデックにより選択されることになる、最も望ましいパーティショニングを反映する。さらに、深度情報を表現する画像上で実行されるエッジ検出は、通常、計算上複雑でない、容易なタスクである。

先行する実施形態のうちの任意のものに従った、または、第1の態様に従った、第8の実施形態に従って、パーティショニングマスクを決定するステップは、反復的な方法で実行され、各反復において、予め定められた選択基準を満たすパーティションは、予め定められた終了基準を満たすまで、または、さらなるパーティショニング基準がさらに満たされる限り、サブパーティションにさらに分割され、テクスチャブロックは、反復的なパーティショニングに対して使用される最初のパーティションを実行する。

最初のパーティションのパーティショニングに対して、または、任意の後続するサブパーティションに対して、先行する実施形態のうちの任意のものが使用されてもよい。

このような反復的なパーティショニング方法は、ハードウェアで実施されるのが比較的容易な、通常のアルゴリズム構造を表現する。また、アルゴリズムを変更または調整するケースでは、以下の反復の全てがまさに同じプロセスを使用するため、任意の基準の改変が、一度行われる必要がある。

第1の態様の先行する実施形態のうちの任意のものに従った、または、第1の態様に従った、第9の実施形態に従って、方法は、テクスチャブロックの複数のパーティションの複数のパーティションのうちの符号化されるパーティションのコーディング情報を含むビットストリームにコーディング・モード・インジケータを多重化するステップをさらに含み、コーディング・モード・インジケータは、テクスチャブロックのパーティショニングが、テクスチャブロックに関連付けられる深度情報に基づいて導出されたパーティショニングマスクを使用して実行されたか否かを示す、および／または、コーディング・モード・インジケータは、テクスチャブロックに関連付けられる深度情報に基づいて導出されたパーティショニングマスクを使用して、複数の異なるパーティショニングモードのうちの特定のパーティショニングモードが使用された否かを示す。

本発明により提唱する、深度ベース・ブロック・パーティショニングの使用をシグナリングするこのような方法は、非常に柔軟性があり、既存のビデオコーデックの構造（シンタックスおよびセマンティクス）中で容易な実施を提供する。

第1の態様の先行する実施形態のうちの任意のものに従った、または、第1の態様に従った、方法の第10の実施形態に従って、方法は、パーティショニングマスクを決定するのに使用される深度情報を取得するために、テクスチャブロックに関連付けられる深度情報を符号化および復号するステップをさらに含む。

本来の深度情報の代わりに、既に符号化または復号された深度情報を使用することにより、符号化器は、復号器に対して利用可能な同じ深度情報を使用し、このため、予測誤差をさらに正確に計算でき、予測誤差は、復号器側で本来のテクスチャブロックのさらに正確な再構築が可能になるように、復号器に送信されてもよい。

発明の第2の態様に従って、発明は、テクスチャ画像のテクスチャブロックを符号化する方法に関し、方法は、第1の態様または第1の態様の実施形態のうちの任意のものにより特定されるような、深度ベース・ブロック・パーティショニング・コーディング・モードに従って、テクスチャブロックを符号化するステップと、1つまたは複数の通常の形状のパーティショニングコーディングモードを使用して、テクスチャブロックを符号化するステップと、選択基準に基づいて、符号化されるテクスチャブロックの送信のために先述のコーディングモードのうちの1つを選択するステップとを含む。

他のコーディングモード、特に、通常の形状のパーティショニングコーディングモードと組み合わせて、第1の態様の実施形態の任意のものの第1の態様に従って符号化するための方法を使用することにより、最適なコーディングモード、例えば、コーディング効率に関して最適なものを、送信のために選択できる。

第2の態様の第1の実施形態に従って、選択するステップは、深度ベース・ブロック・パーティショニングコーディングモードの符号化コストと、1つの通常の形状のパーティショニングコーディングモードの符号化コストまたは複数の通常の形状のパーティショニングコーディングモードの符号化コストとを比較するステップと、深度ベース・ブロック・パーティションコーディングモードの符号化コストが、1つの通常の形状のパーティショニング符号化モードの符号化コストより低い、または、複数の通常の形状のパーティショニングコーディングモードの全ての符号化コストより低いケースにおいて、深度ベース・ブロック・パーティショニングコーディングモードを選択するステップとを含む。

第2の態様の第1の実施形態に従った、または、第2の態様に従った、方法の第2の実施形態に従って、テクスチャブロックを符号化するための先述のコーディングモードのうちの1つを選択するステップは、テクスチャブロックごとに実行され、ならびに／あるいは、方法は、GOPごと、ピリオド内ごと、画像ごと、スライスごと、コーディングユニットごと、または、マクロブロックごとに、深度ベース・ブロック・パーティショニングコーディングモードをイネーブルまたはディセーブルするステップをさらに含み、深度ベース・ブロック・パーティショニングコーディングモードに対するイネーブルまたはディセーブルの表示は、SPS、PPS、PBS、VPS、ピクチャヘッド、SH、マクロブロック中、または、コーディングユニットシンタックス中でシグナリングされる。

テクスチャブロックごとにコーディングモードを選択することにより、最適なコーディングモードが使用されるため、コーディング効率の改善が可能になる。

さらに大きなスケールで、深度ベース・ブロック・パーティショニングコーディングモードを使用する可能性をイネーブルまたはディセーブルすることにより、例えば、テクスチャの一部の統計解析により、テクスチャ画像の一部の深度ベース・ブロック・パーティショニングに対してより適切でないと考えられ、かつ、通常の形状ベースのコーディングモードを含む、他のコーディングモードがさらに適切であると考えられる、テクスチャ画像の一部に対するシグナリングオーバーヘッドを減少させることが可能になる。

第2の態様の第1または第2の実施形態に従った、または、第2の態様に従った、方法の第3の実施形態に従って、複数の選択可能なコーディングモードは、通常の形状のパーティショニングに基づくコーディングモードのセットおよび1つの深度ベース・ブロック・パーティショニングコーディングモードを含み、通常の形状のパーティショニングに基づく各コーディングモードは、各コーディングモードに関連付けられるモード固有のコーディング・モード・インジケータを有し、モード固有のコーディング・モード・インジケータは、それぞれの通常の形状のパーティショニングコーディングモードを、他の通常の形状のパーティショニングモードから区別し、深度ベース・パーティショニング・コーディングモードの選択はコーディング・モード・インジケータのセットのうちのコーディング・モード・インジケータのうちの1つにのみフラグを追加することによりシグナリングされ、フラグの第1の値は、コーディング・モード・インジケータに関連付けられる通常の形状のパーティショニングコーディングモードが選択されたことを示し、フラグの第2の値は、深度ベース・ブロック・パーティショニングコーディングモードが選択されたことを示す。

コーディング・モード・インジケータのうちの1つにのみフラグを追加することにより、コーディング性能全体を増加できる。例えば、フラグは、提唱した方法を使用するため、使用される頻度がさらに少ないモードインジケータに追加できる。このように、他のモードインジケータ、使用頻度の高いモードは、追加フラグにより影響を受けず、ビットレート全体を減少できる。

第2の態様の先行する実施形態のうちの任意のものに従った、または、第2の態様に従った、方法の第4の実施形態に従って、方法は、パーティショニングマスクを通常の形状のパーティションにマッピングするステップと、パーティショニングマスクの通常の形状のパーティショニング表現に基づいて、または、パーティショニングマスクの通常の形状のパーティショニング表現に基づいて導出される情報に基づいて、連続的なテクスチャブロックを符号化するステップとをさらに含む。

連続的なテクスチャブロックを符号化するために使用される符号化は、第1または第2の態様あるいは第1または第2の態様の実施形態のうちの任意のものに従った深度ベース・ブロック・パーティショニング符号化を使用して、あるいは、通常の形状のパーティショニングコーディングモードを使用して、実行されてもよい。

第3の態様に従って、発明は、コンピュータプログラムがコンピュータ上で実行するときに、態様1または態様1の実施形態のうちの任意のものならびに／あるいは態様2および態様2の実施形態のうちの任意のものに従った方法を実行するためのプログラムコードを持つコンピュータプログラムに関する。

第4の態様に従って、発明は、符号化装置により使用されるための、その上にプログラムコードを記憶するコンピュータ読取可能記憶媒体を具備するコンピュータプログラム製品に関し、プログラムは、第1の態様または第1の態様の実施形態のうちの任意のものならびに／あるいは第2の態様および第2の態様の実施形態のうちの任意のものに従った方法を実行するための命令を含む。

第5の態様に従って、発明は、第1の態様または第1の態様の実施形態のうちの任意のものならびに／あるいは第2の態様および第2の態様の実施形態のうちの任意のものに従った方法を実行するように構成された符号化装置に関する。

符号化装置は、第1の態様または第1の態様の実施形態のうちの任意のものならびに／あるいは第2の態様および第2の態様の実施形態のうちの任意のものに従った方法を実行するように構成されたプロセッサを備えてもよい。

コンピュータおよび／またはコンピュータのプロセッサは、第3の態様にしたがった方法を実行するためのコンピュータプログラムを実行するようにプログラム可能に配置されてもよい。

コンピュータおよび／またはコンピュータのプロセッサは、第4の態様に従ったコンピュータプログラム製品のコンピュータ読取可能記憶媒体上に記憶されたプログラムコードを使用するように、および、第1の態様および第1の態様の実施形態のうちの任意のものならびに／あるいは第2の態様および第2の態様の実施形態のうちの任意のものに従った方法を実行するためのプログラムコード中に含まれる命令を実行するように、プログラム可能に配置されてもよい。

第6の態様に従って、発明は、テクスチャ画像のテクスチャブロックを符号化するための符号化装置に関し、符号化装置は、テクスチャブロックに関連付けられる深度情報に基づいて、テクスチャブロックに対するパーティショニングマスクを決定するように適合されたパーティショナーであって、パーティショニングマスクは、テクスチャブロックの複数のパーティションを規定し、テクスチャブロックのテクスチャブロック要素を、複数のパーティションのうちのパーティションに関連付けるように適合される、パーティショナーと、パーティショニングマスクに基づいて、テクスチャブロックの複数のパーティションのうちのパーティションを符号化することにより、テクスチャブロックを符号化するように適合された符号化器とを備える。

符号化装置はまた、深度ベース・ブロック・パーティショニング符号化装置と呼ばれてもよい。

第6の態様に従った装置の第1の可能性ある実施形態において、符号化器は、テクスチャブロックの複数のパーティションのうちの第1のパーティションを符号化するために使用される、テクスチャブロックコーディング情報の複数のパーティションのうちの第2のパーティションとは別の第1のパーティションを決定するように適合されている。

コーディング情報は、テクスチャブロックの個別のセグメントの予測コーディング、または、テクスチャブロックの個別のセグメントの非予測コーディングに関するものであってもよく、あるいは、これらに関連する情報を含んでもよい。

予測コーディングに対して、コーディング情報は、予測モード、予測因子インデックス、予測方向、参照ピクチャインデックス、参照ビューインデックス、変換係数、動きベクトルおよびコーディングコンテキストのうちの1以上を含んでもよい。

符号化器は、複数のパーティションのうちのパーティションの符号化を、各パーティションに対して別々に実行するように適合されてもよい。いくつかまたは全てのパーティションに対してコーディング情報を別々に決定することにより、予測精度を増加できるため、予測誤差を減少できる。

このようなものである第6の態様に従った、または、第6の態様の第1の実施形態に従った、装置の第2の可能性ある実施形態では、複数のパーティションを形成するパーティションの数は、例えば、パーティショナーにより、予め定められる、または、適応可能に決定される。

第6の態様の先行する実施形態のうちの任意のもの、または、このようなものである第6の態様に従った、装置の第3の可能性ある実施形態では、複数のパーティションを形成するパーティションの数は、テクスチャブロックに関連付けられる深度情報を解析することにより、パーティショナーにより、適応可能に決定される。

第6の態様の先行する実施形態のうちの任意のもの、または、第6の態様に従った、装置の第4の可能性ある実施形態に従って、パーティショナーは、テクスチャブロック要素に関連付けられた深度情報値と、しきい値との比較に基づいて、パーティショニングマスクにより、複数のパーティションのうちの1つに、テクスチャブロックのテクスチャブロック要素を関連付けるように適合される。

第4の実施形態に従った装置の第5の実施形態に従って、しきい値は、例えば、パーティショナーにより、予め定められるか、または、適応可能に決定される。

第6の態様の第4または第5の実施形態に従った装置の第6の実施形態に従って、しきい値は、テクスチャブロックに関連付けられる深度情報を解析することにより、例えば、決定器により、適応可能に決定される。

しきい値を適応可能に決定するステップは、符号化されることになるテクスチャブロックに関連付けられるエリアに対する深度情報値の平均値を計算するステップと、しきい値を計算された平均値に設定するステップとを含んでもよい。

例えば、パーティショナーにより、しきい値を適応可能に決定するステップは、符号化されることになるテクスチャブロックに関連付けられるエリアに対する深度情報値の重み付けされた平均を計算するステップであって、重み付けされた平均を計算する際に使用される重みは、テクスチャブロックの中心からの距離に依存する、計算するステップと、計算された重み付けされた平均値に対してしきい値を設定するステップとを含んでもよい。

例えば、パーティショナーにより、しきい値を適応可能に決定するステップは、符号化されることになるテクスチャブロックに関連付けられるエリアから、深度情報値に対する中央値を計算するステップと、計算された中央値に対してしきい値を設定するステップとを含んでもよい。

第6の態様の第1〜第3の実施形態のうちの任意のものに従った、または、第6の態様に従った、装置の第7の実施形態に従って、パーティショナーは、テクスチャブロックに関連付けられる深度情報値のエリアに、エッジ検出アルゴリズムを適用することに基づいて、パーティショニングマスクを決定するように適合される。

先行する実施形態のうちの任意のものに従った、または、第6の態様に従った、装置の第8の実施形態に従って、パーティショナーは、反復的な方法でパーティショニングマスクを決定するように適合され、各反復において、予め定められた選択基準を満たすパーティションは、予め定められた終了基準を満たすまで、または、さらなるパーティショニング基準がさらに満たされる限り、サブパーティションにさらに分割され、テクスチャブロックは、反復的なパーティショニングに対して使用される最初のパーティションを実行する。

最初のパーティションのパーティショニングに対して、または、任意の後続するサブパーティションに対して、先行する実施形態のうちの任意のものが使用されてもよい。

第6の態様の先行する実施形態のうちの任意のものに従った、または、第6の態様に従った、装置の第9の実施形態に従って、符号化装置は、テクスチャブロックの複数のパーティションの複数のパーティションのうちの符号化されるパーティションのコーディング情報を含むビットストリームにコーディング・モード・インジケータを多重化するように適合されたマルチプレクサをさらに含み、コーディング・モード・インジケータは、テクスチャブロックのパーティショニングが、テクスチャブロックに関連付けられる深度情報に基づいて導出されたパーティショニングマスクを使用して実行されたか否かを示す、および／または、コーディング・モード・インジケータは、テクスチャブロックに関連付けられる深度情報に基づいて導出されたパーティショニングマスクを使用して、複数の異なるパーティショニングモードのうちの特定のパーティショニングモードが使用された否かを示す。

第6の態様の先行する実施形態のうちの任意のものに従った、または、第6の態様に従った、装置の第10の実施形態に従って、符号化装置は、テクスチャブロックに関連付けられる深度情報を符号化するように適合された符号化器と、パーティショニングマスクを決定するのに使用されるテクスチャブロックに関連付けられる深度情報を取得するために、符号化器により符号化された深度情報を復号するための復号器とをさらに備える。

発明の第7の態様に従って、発明は、テクスチャ画像のテクスチャブロックを符号化するためのマルチモード符号化装置に関し、符号化装置は、第6の態様または第6の態様の実施形態のうちの任意のものにより特定されるような、深度ベース・ブロック・パーティショニング・コーディング・モードに従って、テクスチャブロックを符号化する符号化装置と、1つまたは複数の通常の形状のパーティショニングコーディングモードを使用して、テクスチャブロックを符号化するように適合されたさらなる符号化装置と、選択基準に基づいて、符号化されるテクスチャブロックの送信のために先述のコーディングモードのうちの1つを選択するように適合された選択器とを備える。

第7の態様に従ったマルチモード符号化装置の第1の実施形態に従って、選択器は、深度ベース・ブロック・パーティショニングコーディングモードの符号化コストと、1つの通常の形状のパーティショニングコーディングモードの符号化コストまたは複数の通常の形状のパーティショニングコーディングモードの符号化コストとを比較するようにと、深度ベース・ブロック・パーティションコーディングモードの符号化コストが、1つの通常の形状のパーティショニング符号化モードの符号化コストより低い、または、複数の通常の形状のパーティショニングコーディングモードの全ての符号化コストより低いケースにおいて、深度ベース・ブロック・パーティショニングコーディングモードを選択するようにさらに適合される。

第7の態様の第1の実施形態に従った、または、第7の態様に従った、マルチモード符号化装置の第2の実施形態に従って、選択器は、テクスチャブロックごとに、テクスチャブロックを符号化するための先述のコーディングモードのうちの1つを選択するように適合され、ならびに／あるいは、GOPごと、ピリオド内ごと、画像ごと、スライスごと、マクロブロックごと、または、コーディングユニットごとに、深度ベース・ブロック・パーティショニングコーディングモードをイネーブルまたはディセーブルするように適合され、選択器は、SPS、PPS、PBS、VTS、ピクチャヘッド、SH、マクロブロック中、または、コーディングユニットシンタックス中の、深度ベース・ブロック・パーティショニングコーディングモードに対するイネーブルまたはディセーブルの表示をシグナリングするように適合される。

第7の態様の第1または第2の実施形態に従った、または、第7の態様に従った、マルチモード符号化装置の第3の実施形態に従って、複数の選択可能なコーディングモードは、通常の形状のパーティショニングに基づくコーディングモードのセットおよび1つの深度ベース・ブロック・パーティショニングコーディングモードを含み、通常の形状のパーティショニングに基づく各コーディングモードは、各コーディングモードに関連付けられるモード固有のコーディング・モード・インジケータを有し、モード固有のコーディング・モード・インジケータは、それぞれの通常の形状のパーティショニングコーディングモードを、他の通常の形状のパーティショニングモードから区別し、選択器は、コーディング・モード・インジケータのセットのうちのコーディング・モード・インジケータのうちの1つにのみフラグを追加することにより、深度ベース・パーティショニング・コーディングモードの選択をシグナリングするように適合され、フラグの第1の値は、コーディング・モード・インジケータに関連付けられる通常の形状のパーティショニングコーディングモードが選択されたことを示し、フラグの第2の値は、深度ベース・ブロック・パーティショニングコーディングモードが選択されたことを示す。

第7の態様の先行する実施形態のうちの任意のものに従った、または、第7の態様に従った、マルチモード符号化装置の第4の実施形態に従って、符号化装置は、パーティショニングマスクを通常の形状のパーティションにマッピングするように適合され、符号化装置は、パーティショニングマスクの通常の形状のパーティショニング表現に基づいて、または、パーティショニングマスクの通常の形状のパーティショニング表現に基づいて導出される情報に基づいて、連続的なテクスチャブロックを符号化するように適合されたテクスチャ符号化器を備える。

テクスチャ符号化器は、第1の態様または第1の態様の実施形態のうちの任意のものに従った符号化器または符号化装置、あるいは、通常の形状のパーティショニングコーディングモードを使用して連続的なテクスチャを符号化するように適合された追加の符号化器とすることができる。

発明の第8の態様に従って、発明は、テクスチャ画像の符号化されたテクスチャブロックを復号するための方法に関し、方法は、符号化されたテクスチャブロックに関連付けられる深度情報に基づいて、符号化されたテクスチャブロックに対するパーティショニングマスクを決定するステップであって、パーティショニングマスクは、複数のパーティションを規定し、符号化されたテクスチャブロックのテクスチャブロック要素を、符号化されたテクスチャブロックの複数のパーティションのうちのパーティションに関連付けるように適合される、決定するステップと、パーティショニングマスクに基づいて、符号化されたテクスチャブロックの複数のパーティションのうちのパーティションを復号するステップとを含む。

第8の態様に従った方法の第1の可能性ある実施形態において、複数のパーティションのうちのパーティションの復号は、テクスチャブロックの複数のパーティションのうちの第2のパーティションに対するコーディング情報とは別の、符号化されたテクスチャブロックの複数のパーティションのうちの第1のパーティションに対するビットストリームコーディング情報から抽出するステップを含み、コーディング情報は、第1のパーティションを復号するために使用される。

コーディング情報は、予測コーディングまたは非予測コーディングに関してもよい。コーディング情報は、第1のパーティションを復号するために使用され、予測モード、予測因子インデックス、予測方向、参照ピクチャインデックス、参照ビューインデックス、変換係数、動きベクトルおよびコーディングコンテキストのうちの1以上を含んでもよい。

第8の態様の第1の実施形態に従った、または、第8の態様に従った、方法の第2の可能性ある実施形態では、複数のパーティションを形成するパーティションの数は、予め定められる、または、適応可能に決定される。

第8の態様の第1または第2の実施形態に従った、または、第8の態様に従った、方法の第3の可能性ある実施形態では、複数のパーティションを形成するパーティションの数は、テクスチャブロックに関連付けられる深度情報を解析することにより、適応可能に決定される。

第8の態様の先行する実施形態のうちの任意のものに従った、または、第8の態様に従った、方法の第4の可能性ある実施形態では、複数のパーティションを形成するパーティションの数は、テクスチャブロックに関連付けられる深度情報値のヒストグラムを解析することにより、例えば、ヒストグラム中のピークの数をカウントし、カウントしたピークの数と等しい、複数のパーティションを形成するパーティションの数を設定することにより、決定される。

第8の態様の先行する実施形態のうちの任意のもの、または、第8の態様に従った、方法の第5の可能性ある実施形態では、テクスチャブロック要素に関連付けられた深度情報値と、しきい値との比較に基づいて、パーティショニングマスクにより、複数のパーティションのうちの1つに、テクスチャブロックのテクスチャブロック要素を関連付けることが実行される。

第8の態様の第5の実施形態に従った方法の第6の可能性ある実施形態では、しきい値は予め定められるか、または、適応可能に決定される。

第8の態様の第6の実施形態に従った方法の第7の可能性ある実施形態では、しきい値を適応可能に決定するステップは、符号化されることになるテクスチャブロックに関連付けられるエリアに対する深度情報値の平均値を計算するステップおよび計算した平均値にしきい値を設定するステップ、あるいは、符号化されることになるテクスチャブロックに関連付けられるエリアに対する深度情報値の重み付けされた平均を算出するステップであって、重み付けされた平均を算出するのに使用される重みは、テクスチャブロックの中心からの距離に依存する、算出するステップおよび重み付けされた平均値にしきい値を設定するステップ、あるいは、符号化されることになるテクスチャブロックに関連付けられるエリアから、深度情報値に対する中央値を算出するステップおよび算出した中央値にしきい値を設定するステップを含む。

第8の態様の先行する実施形態のうちの任意のものに従った、または、第8の態様に従った、方法の第8の可能性ある実施形態では、パーティショニングマスクを決定するステップは、テクスチャブロックに関連付けられる深度情報値のエリアに、エッジ検出アルゴリズムを適用することに基づいて、実行される。

第8の態様の先行する実施形態のうちの任意のものに従った、または、第8の態様に従った、方法の第9の可能性ある実施形態では、パーティショニングマスクを決定するステップは、反復的な方法で実行され、各反復において、予め定められた選択基準を満たすパーティションは、予め定められた終了基準を満たすまで、または、さらなるパーティショニング基準がさらに満たされる限り、サブパーティションにさらに分割され、テクスチャブロックは、反復的なパーティショニングに対して使用される最初のパーティションを実行する。

第8の態様の先行する実施形態のうちの任意のものに従った、または、第8の態様に従った、方法の第10の可能性ある実施形態では、方法は、テクスチャブロックの複数のパーティションのうちの符号化されるパーティションのコーディング情報を含むビットストリームからコーディング・モード・インジケータを抽出するステップをさらに含み、コーディング・モード・インジケータは、テクスチャブロックのパーティショニングが、テクスチャブロックに関連付けられる深度情報に基づいて導出されたパーティショニングマスクを使用して実行されたか否かを示す、および／または、コーディング・モード・インジケータは、テクスチャブロックに関連付けられる深度情報に基づいて導出されたパーティショニングマスクを使用して、複数の異なるパーティショニングモードのうちの特定のパーティショニングモードが使用された否かを示す。

発明の第9の態様に従って、発明は、テクスチャ画像のテクスチャブロックを復号するための方法に関し、方法は、テクスチャブロックの複数のパーティションのうちの符号化されたパーティションのコーディング情報を含むビットストリームを受信するステップと、ビットストリームからコーディング・モード・インジケータを抽出するステップであって、コーディング・モード・インジケータは、複数のコーディングモードのうちのどのコーディングモードがテクスチャブロックを符号化するのに使用されたかを示す、抽出するステップと、コーディング・モード・インジケータが、対応する深度ベース・ブロック・ポーショニングコーディングモードが、テクスチャブロックを符号化するために使用されたことを示すケースにおいて、第8の態様または第8の態様の実施形態のうちの任意のものに従った深度ベース・ブロック・ポーショニング復号モードに従って、符号化されたテクスチャブロックを復号するステップとを含む。

第9の態様に従った方法の第1の可能性ある実施形態では、符号化されたテクスチャブロックを復号するのに使用される、複数の復号モードのうちの復号モードを決定するためのコーディング・モード・インジケータを抽出するステップは、テクスチャブロックごとに実行される。

第9の態様の第1の実施形態に従った、または、第9の態様に従った、方法の第2の可能性ある実施形態では、方法は、GOPごと、ピリオド内ごと、画像ごと、スライスごと、または、コーディングユニットごとに、ビットストリームから、イネーブルまたはディセーブルのインジケータを抽出するステップをさらに含み、深度ベース・ブロック・ポーショニングコーディングモードに対するイネーブルまたはディセーブルの表示は、SPS、PPS、PBS、VPS、ピクチャヘッド、SH、マクロブロック中、または、コーディングユニットシンタックス中でシグナリングされ、イネーブルまたはディセーブルのインジケータは、深度ベース・ブロック・ポーショニングコーディングモードが、イネーブルまたはディセーブルのインジケータ後に受信したテクスチャブロックに対してイネーブルまたはディセーブルであるかを示す。

第9の態様の第1または第2の実施形態に従った、または、第9の態様に従った、方法の第3の可能性ある実施形態では、複数のコーディングモードは、通常の形状のパーティショニングに基づくコーディングモードのセットおよび1つの深度ベース・ブロック・ポーショニングコーディングモードを含み、通常の形状のパーティショニングに基づく各コーディングモードは、各コーディングモードに関連付けられるモード固有のコーディング・モード・インジケータを有し、モード固有のコーディング・モード・インジケータは、それぞれの通常の形状のパーティショニングコーディングモードを、他の通常の形状のパーティショニングコーディングモードから区別し、深度ベース・ブロック・ポーショニングコーディングモードの選択は、コーディング・モード・インジケータのセットのうちのコーディング・モード・インジケータのうちの1つにのみフラグを追加することによりシグナリングされ、フラグの第1の値は、コーディング・モード・インジケータに関連付けられる通常の形状のパーティショニングコーディングモードが選択されたことを示し、フラグの第2の値は、深度ベース・ブロック・ポーショニングコーディングモードが選択されたことを示す。

第9の態様の先行する実施形態のうちの任意のものに従った、または、第9の態様に従った、方法の第4の実施形態に従って、方法は、パーティショニングマスクを通常の形状のパーティションにマッピングするステップと、パーティショニングマスクの通常の形状のパーティショニング表現に基づいて、または、パーティショニングマスクの通常の形状のパーティショニング表現に基づいて導出される情報に基づいて、符号化された連続的なテクスチャブロックを復号するステップとをさらに含む。

連続的なテクスチャブロックを符号化するために使用される復号は、第8または第9の態様あるいは第8または第9の態様の実施形態のうちの任意のものに従った深度ベース・ブロック・パーティショニング復号を使用して、あるいは、通常の形状のパーティショニング復号モードを使用して、実行されてもよい。

第10の態様に従って、発明は、コンピュータプログラムがコンピュータ上で実行するときに、第8の態様または第8の態様の実施形態のうちの任意のものならびに／あるいは第9の態様または第9の態様の実施形態のうちの任意のものに従った方法を実行するためのプログラムコードを持つコンピュータプログラムに関する。

第11の態様に従って、発明は、復号装置により使用されるための、その上にプログラムコードを記憶するコンピュータ読取可能記憶媒体を具備するコンピュータプログラム製品に関し、プログラムは、第8の態様または第8の態様の実施形態のうちの任意のものならびに／あるいは第9の態様または第9の態様の実施形態のうちの任意のものに従った方法を実行するための命令を含む。

第12の態様に従って、発明は、第8の態様または第8の態様の実施形態のうちの任意のものならびに／あるいは第9の態様または第9の態様の実施形態のうちの任意のものに従った方法を実行するように構成された復号装置に関する。

復号装置は、第8の態様または第8の態様の実施形態のうちの任意のものならびに／あるいは第9の態様または第9の態様の実施形態のうちの任意のものに従った方法を実行するように構成されたプロセッサを備えてもよい。

コンピュータおよび／またはコンピュータのプロセッサは、第10の態様にしたがったコンピュータプログラムを実行するようにプログラム可能に配置されてもよい。

コンピュータおよび／またはコンピュータのプロセッサは、第11の態様に従った、コンピュータプログラム製品のコンピュータ読取可能記憶媒体上に記憶されたプログラムコードを使用するようにと、プログラムコード中に含まれる命令を実行するように、プログラム可能に配置されてもよい。

第13の態様に従って、発明は、テクスチャ画像の符号化されたテクスチャブロックを復号するための復号装置に関し、復号装置は、符号化されたテクスチャブロックに関連する深度情報に基づいて、符号化されたテクスチャブロックに対するパーティショニングマスクを決定するように適合されたパーティショナーであって、パーティショニングマスクは、複数のパーティションを規定し、符号化されたテクスチャブロックの複数のパーティションのうちのパーティションに、符号化されたテクスチャブロックのテクスチャブロック要素を関連付けるように適合された、パーティショナーと、パーティショニングマスクに基づいて、符号化されたテクスチャブロックの複数のパーティションのうちのパーティションを復号するように適合された復号器とを備える。

第13の態様に従った復号装置の第1の可能性ある実施形態では、復号装置は、ビットストリームから符号化された深度情報を抽出するように適合されたデマルチプレクサをさらに備え、深度復号器は、符号化されたテクスチャブロックに関連付けられる深度情報を取得するために、符号化された深度情報を復号するように適合される。

第13の態様の第1の実施形態に従った、または、第13の態様に従った、復号装置の第2の可能性ある実施形態では、デマルチプレクサは、テクスチャブロックの複数のパーティションのうちの第2のパーティションに対するコーディング情報とは別の、符号化されたテクスチャブロックの複数のパーティションのうちの第１のパーティションに対するビットストリームコーディング情報から抽出するように適合され、復号器は、コーディング情報を使用して第1のパーティションを復号するように適合される。

コーディング情報は、予測コーディングまたは非予測コーディングに関してもよい。コーディング情報は、第1のパーティションを復号するために使用され、予測モード、予測因子インデックス、予測方向、参照ピクチャインデックス、参照ビューインデックス、変換係数、動きベクトルおよびコーディングコンテキストのうちの1以上を含んでもよい。

第13の態様の第1または第2の実施形態に従った、または、第13の態様に従った、復号装置の第3の可能性ある実施形態では、複数のパーティションを形成するパーティションの数は、例えば、パーティショナーにより、予め定められる、または、適応可能に決定される。

第13の態様の先行する実施形態のうちの任意のものに従った、または、第13の態様に従った、復号装置の第4の可能性ある実施形態では、パーティショナーは、テクスチャブロックに関連付けられる深度情報を解析することにより、複数のパーティションを形成するパーティションの数を、適応可能に決定するように適合される。

第13の態様の第1の実施形態に従った、または、第13の態様に従った、復号装置の第5の可能性ある実施形態では、パーティショナーは、テクスチャブロックに関連付けられる深度情報値のヒストグラムを解析することにより、例えば、ヒストグラム中のピークの数をカウントし、カウントしたピークの数と等しい、複数のパーティションを形成するパーティションの数を設定することにより、複数のパーティションを形成するパーティションの数を決定するように適合される。

第13の態様の第1の実施形態に従った、または、第13の態様に従った、復号装置の第6の可能性ある実施形態では、パーティショナーは、テクスチャブロック要素に関連付けられた深度情報値と、しきい値との比較に基づいて、複数のパーティションのうちの1つに、テクスチャブロックのテクスチャブロック要素を関連付けるように適合される。

第13の態様の第6の実施形態に従った復号装置の第7の可能性ある実施形態では、しきい値は、例えば、パーティショナーにより、予め定められるか、または、適応可能に決定される。

第13の態様の第7の実施形態に従った復号装置の第8の可能性ある実施形態では、パーティショナーは、符号化されることになるテクスチャブロックに関連付けられるエリアに対する深度情報値の平均値を計算するステップおよびしきい値を計算した平均値に設定するステップ、あるいは、符号化されることになるテクスチャブロックに関連付けられるエリアに対する深度情報値の重み付けされた平均を算出するステップであって、重み付けされた平均を算出するのに使用される重みは、テクスチャブロックの中心からの距離に依存する、算出するステップおよびしきい値を重み付けされた平均値に設定するステップ、あるいは、符号化されることになるテクスチャブロックに関連付けられるエリアからの深度情報値に対する中央値を算出するステップおよびしきい値を算出した中央値に設定するステップにより、しきい値を適応可能に決定するように適合される。

第13の態様の先行する実施形態のうちの任意のものに従った、または、第13の態様に従った、復号装置の第9の可能性ある実施形態では、パーティショナーは、テクスチャブロックに関連付けられる深度情報値のエリアに、エッジ検出アルゴリズムを適用することに基づいて、パーティショニングマスクを決定するように適合される。

第13の態様の先行する実施形態のうちの任意のものに従った、または、第13の態様に従った、復号装置の第10の可能性ある実施形態では、パーティショナーは、反復的な方法で、パーティショニングマスクを決定するように適合され、各反復において、予め定められた選択基準を満たすパーティションは、予め定められた終了基準を満たすまで、または、さらなるパーティショニング基準がさらに満たされる限り、サブパーティションにさらに分割され、テクスチャブロックは、反復的なパーティショニングに対して使用される最初のパーティションを実行する。

第13の態様の先行する実施形態のうちの任意のものに従った、または、第13の態様に従った、復号装置の第11の実施形態では、復号装置は、テクスチャブロックの複数のパーティションのうちの符号化されるパーティションのコーディング情報を含むビットストリームからコーディング・モード・インジケータを抽出するように適合されたデマルチプレクサをさらに備え、コーディング・モード・インジケータは、テクスチャブロックのパーティショニングが、テクスチャブロックに関連付けられる深度情報に基づいて導出されたパーティショニングマスクを使用して実行されたか否かを示す、および／または、コーディング・モード・インジケータは、テクスチャブロックに関連付けられる深度情報に基づいて導出されたパーティショニングマスクを使用して、複数の異なるパーティショニングモードのうちの特定のパーティショニングモードが使用された否かを示す。

第14の態様に従って、発明は、マルチモード復号装置に関し、テクスチャブロックの複数のパーティションのうちの符号化されるパーティションのコーディング情報を含むビットストリームを受信するように適合された受信機と、ビットストリームからコーディング・モード・インジケータを抽出するように適合されたデマルチプレクサであって、コーディング・モード・インジケータは、複数のコーディングモードのうちのどのコーディングモードがテクスチャブロックを符号化するのに使用されたかを示す、デマルチプレクサと、コーディング・モード・インジケータが、対応する深度ベース・ブロック・ポーショニングコーディングモードが、テクスチャブロックを符号化するために使用されたことを示すケースにおいて、深度ベース・ブロック・ポーショニング復号モードに従って、符号化されたテクスチャブロックを復号するように適合された、第11の態様または第11の態様の実施形態のうちの任意のものに従った深度ベース・ブロック・パーティショニング復号装置とを備える。

第14の態様に従ったマルチモード復号装置の第1の可能性ある実施形態では、デマルチプレクサは、符号化されたテクスチャブロックをテクスチャブロックごとに復号するのに使用される、複数の復号モードのうちの復号モードを決定するためのコーディング・モード・インジケータを抽出するように適合される。

第14の態様の第1の実施形態に従った、または、第14の態様に従った、マルチモード復号装置の第2の可能性ある実施形態では、デマルチプレクサは、GOPごと、ピリオド内ごと、画像ごと、スライスごと、マクロブロックごと、または、コーディングユニットごとに、ビットストリームから、イネーブルまたはディセーブルのインジケータを抽出するように適合され、深度ベース・ブロック・ポーショニングコーディングモードに対するイネーブルまたはディセーブルの表示は、SPS、PPS、PBS、VPS、ピクチャヘッド、SH、マクロブロック中、または、コーディングユニットシンタックス中でシグナリングされ、イネーブルまたはディセーブルのインジケータは、深度ベース・ブロック・ポーショニングコーディングモードが、イネーブルまたはディセーブルのインジケータ後に受信したテクスチャブロックに対してイネーブルまたはディセーブルであるかを示す。

第14の態様の第1または第2の実施形態に従った、または、第14の態様に従った、マルチモード復号装置の第3の可能性ある実施形態では、複数のコーディングモードは、通常の形状のパーティショニングに基づくコーディングモードのセットおよび1つの深度ベース・ブロック・ポーショニングコーディングモードを含み、通常の形状のパーティショニングに基づく各コーディングモードは、各コーディングモードに関連付けられるモード固有のコーディング・モード・インジケータを有し、モード固有のコーディング・モード・インジケータは、それぞれの通常の形状のパーティショニングコーディングモードを、他の通常の形状のパーティショニングコーディングモードから区別し、深度ベース・ブロック・ポーショニングコーディングモードの選択は、コーディング・モード・インジケータのセットのうちのコーディング・モード・インジケータのうちの1つにのみ追加されたフラグによりシグナリングされ、フラグの第1の値は、コーディング・モード・インジケータに関連付けられる通常の形状のパーティショニングコーディングモードが選択されたことを示し、フラグの第2の値は、深度ベース・ブロック・ポーショニングコーディングモードが選択されたことを示す。

第14の態様の先行する実施形態のうちの任意のものに従った、または、第14の態様に従った、マルチモード復号装置の第4の可能性ある実施形態では、深度ベース・ブロック・パーティショニング装置は、パーティショニングマスクを通常の形状のパーティションにマッピングするように適合され、装置は、パーティショニングマスクの通常の形状のパーティショニング表現に基づいて、または、パーティショニングマスクの通常の形状のパーティショニング表現に基づいて導出される情報に基づいて、符号化された連続的なテクスチャブロックを復号するように適合されたテクスチャ復号器を備える。

テクスチャ復号器は、深度ベース・ブロック・パーティショニング装置の復号器、または、通常の形状のパーティショニングコーディングモードに基づいて、符号化された連続的なテクスチャブロックを復号するように適合された追加のテクスチャ復号器とすることができる。

発明の態様および態様の実施形態は、ハードウェアおよび／またはソフトウェアで、あるいは、双方の組み合わせで、実現できる。発明の態様および態様の実施形態は、デジタル信号プロセッサ（DSP）中、マイクロ制御装置中、または、他の任意のサイドプロセッサ中のソフトウェアとして、あるいは、特定用途向け集積回路（ASIC）内のハードウェア回路として、実施されてもよい。

発明の態様および態様の実施形態のうちの任意のものは、デジタル電気回路で、あるいは、コンピュータハードウェア、ファームウェア、ソフトウェア、または、これらの組み合わせで、実現できる。

以下の図面に関して、本発明のさらなる実施形態を述べる。

例えば、マルチビュービデオ＋深度コーディングにおいて使用される、画像のテクスチャ＋深度表現に対するフレームワークを示す。 深度ベース・ブロック・パーティショニングを使用して、テクスチャ画像のテクスチャブロックを符号化するための方法の実施形態のフローチャートを示す。 テクスチャ画像の例示的な対および対応する深度マップ、ならびに、深度ベース・ブロック・パーティショニングに基づいて、テクスチャ画像の2つの異なるテクスチャブロックに対して導出される、2つのパーティショニングマスクを示す。 反復に基づいて、深度ベース・ブロック・パーティショニングを使用して、テクスチャ画像のテクスチャブロックを符号化するための方法の実施形態のフローチャートを示す。 深度ベース・ブロック・パーティショニングを使用して、テクスチャ画像のテクスチャブロックを符号化するための符号化装置の実施形態のブロック図を示す。 深度ベース・ブロック・パーティショニングを使用して、テクスチャ画像の符号化されたテクスチャブロックを復号するための方法の実施形態のフローチャートを示す。 深度ベース・ブロック・パーティショニングを使用して、テクスチャ画像の符号化されたテクスチャブロックを復号するための復号装置のブロック図を示す。 対応する符号化装置および復号装置を具備する、深度ベース・ブロック・パーティショニングを使用してテクスチャ画像のテクスチャブロックをコーディングするためのシステムを示す。 発明の復号実施形態に従った、例示的なコンピュータコードを示す。 深度ベース・ブロック・パーティショニングモードと、例示的な従来の通常のパーティショニングモードとのオーバーラップを示す。 予測のための、深度ベース・ブロック・パーティショニングブロックの、通常のパーティションへのマッピングを使用した実施形態のブロック図を示す。

等しいまたは同等の要素は、図面の以下の説明では、等しいまたは同等の参照記号により示される。

発明の実施形態をより良く理解するために、発明の実施形態を記述するのに使用されるある用語を、図1に基づいて説明する。

図1は、典型的な3Dビデオまたはマルチビュービデオフレームワークを示し、3D視覚的シーンの各ビューは、テクスチャ画像Tと深度マップDとの対応する対により表現される。3Dまたはマルチビュービデオ＋深度コーディングにおいて、輝度および色度のような従来の2Dビデオデータだけでなく、従来のビデオデータに関連する対応する深度情報を表現するために、深度マップDは、テクスチャデータTとも呼ばれる、従来のビデオデータの他に、符号化される必要がある。

図1は、カメラによりシンボル的に示される、第1のビューV1に関して、第1のビューに対するテクスチャ画像T1およびテクスチャ画像T1の対応する深度マップD1を示す。テクスチャ画像T1−1および対応する深度マップD1−1が、第1の時間t1における3D視覚的シーンの第1のビューV1を表現するのに対し、テクスチャ画像T1−2および対応する深度マップD1−2は、第2の時間インスタンスt2における3D視覚的シーンの第1のビューV1を表現する。図1にも示した、3D視覚的シーンの第2のビューV2に対して同じことがあてはまり、テクスチャ画像T2−1および対応する深度マップD2−1は、第1の時間インスタンスT1における第2のビューV2を表現し、テクスチャ画像T2−1および対応する深度マップD2−2は、第2の時間インスタンスt2における第2のビューを表現する。3D視覚的シーンのビューのこのようなテクスチャ＋深度表現により、ディスプレイフォーマットから捕捉および送信フォーマットを分離することが可能になる。その理由は、2つのビューのテクスチャ画像および対応する深度マップに基づいて、3D画像は、そのサイズおよび解像度とは関係なく、3D可能なディスプレイにレンダリングされてもよく、合成視覚的ビューの作成さえも可能になる。テクスチャ画像に関連付けられる深度情報を提供するために、深度マップの代わりに、視差マップが使用されてもよい。

ビデオコーディングに対して、テクスチャ画像は、ブロックと呼ばれる小さなパート、例えば、マクロブロックまたはコーディングユニット（CU）に分割される。コーディングプロセスにおいて、符号化器は、各ブロックをより小さなサブパートに分割する可能性を含む、各ブロックに対するコーディングモードに関する決定を行う。このプロセスは、通常、ブロックパーティショニングと呼ばれる。結果として、各ブロックは、1以上のパーティションからなってもよい。最近のビデオコーデックでは、通常長方形の形状のパーティション、すなわち、長方形の形状のパーティションが可能になる。さらに、各ブロックまたはパーティションに対して、予測モードが選択される。予測コーディングは、ビデオコンテンツを符号化するための非常に効率的な方法であることから、符号化されることになる各ブロックに対して、コード化されたブロックより前に既に符号化された、参照ブロックが選択される。このようなブロックが、符号化されることになるブロックに対する参照として設定され、この参照ブロックに関する予測誤差のみが、符号化されたビデオのビットストリームでシグナリングされる必要がある。イントラピクチャ予測とも呼ばれる、符号化されることになるブロックと同じピクチャのブロックから、あるいは、インターピクチャ予測とも呼ばれる、利用可能な以前に符号化されたピクチャのうちの1つから、参照ブロックを選択できる。イントラ画像予測または略してイントラ予測とも呼ばれる、イントラピクチャ予測に対して、符号化されることになるブロックの各パーティションは、1以上の選択された方向予測変装を使用して予測される。インター画像予測または短いインター予測とも呼ばれる、インターピクチャ予測において、動き推定として知られる方法が適用でき、この方法は、現在のピクチャ中の符号化されるブロックの空間的なポジションに対する、参照ピクチャ中の参照ブロックの空間的ロケーションを特定するために動きベクトルを使用する。さらに、参照ピクチャは、特定される必要があり、参照ピクチャは、通常、参照ピクチャインデックスにより示される。符号化されることになるブロックの各パーティションに対して、動きベクトルおよび参照ピクチャインデックスの個別のセットは、符号化器により選択できる。結果的に、インター予測は、各パーティションに対して異なってもよい。3Dビデオにおいて、さらに、参照として他のビューのブロックの使用が可能になるインタービュー予測を使用できる。

最後に、残余とも呼ばれる、予測エリア、すなわち、コード化されたブロックと参照ブロックとの予測の間の差は、符号化され、ビットストリームで送信される。

図1は、テクスチャ画像T1−1の例示的な4つの近接ブロック111、112、113および114をさらに示す。図1は、テクスチャ画像T1−1に対応する深度マップD1−2 120をさらに示し、深度マップD1−2 120は、対応する深度マップブロックを含み、深度マップブロック121はテクスチャブロック111に対応し、深度マップブロック122はテクスチャブロック112に対応し、深度マップブロック123はテクスチャブロック113に対応し、深度マップブロック124はテクスチャブロック114に対応する。その理由は、これらのブロックは、同じ時間における同じビューの同じエリアを表現するためである。例えば、深度マップブロック124は、テクスチャブロック114のテクスチャ値に対応する深度マップ値を含む。

上述したように、テクスチャブロック114のテクスチャ値またはテクスチャブロック114のパーティションのテクスチャ値は、同じテクスチャ画像からの参照ブロックまたは参照ブロックの参照パーティションを使用して、同じ時間インスタントに対する異なるビューのテクスチャ画像、例えば、T2−1から、または、以前にコード化された、例えば、T1−1からの同じビューT1のテクスチャ画像から、予測できる。図1は、イントラコーディングに対する例を示す。近接テクスチャブロック111を使用して、テクスチャブロック114の予測を示す矢印118を参照されたい。図1は、インタービュー予測に対する例も示す。テクスチャ画像T2−1 150のテクスチャブロックから、テクスチャT1−2のテクスチャブロック114を指し示す矢印158を参照されたい。最後に、図1は、インター予測の例も示す。テクスチャ画像T1−1 130のテクスチャブロックから、テクスチャ画像T1−2 110のテクスチャブロック114を指し示す矢印138を参照されたい。

発明の実施形態を記述するために、以下の用語を使用する。

用語「画像」は、通常は2次元の行列である、データの2次元表現のことを指し、ピクチャと呼ばれてもよい。

用語「視覚的シーン」は、現実の世界または視覚システム（例えば、単一のカメラまたは複数のカメラ）で得られる合成シーンのことを指し、静止画像またはビデオの形で表現される。

用語「3Dビデオフレーム」は、シーンの3Dジオメトリを記述する情報を含む信号のことを指す。特に、この情報は、視覚的シーンの2つの異なるビューポイントに関連付けられる少なくとも2つのテクスチャ画像（ステレオ画像）、あるいは、少なくとも1つのテクスチャおよび深度／視差マップ（テクスチャ＋深度画像）により表現できる。個別の3Dビデオフレームは、3D画像または3Dピクチャとも呼ばれてもよい。

用語「3Dビデオシーケンス」は、動きピクチャを表現する後続する3Dビデオフレームのセットのことを指す。

用語「テクスチャ画像」は、特定のビューポイントを表現し、通常は（色度および輝度の値を含む）RGBまたはYUVのフォーマットで表現される、特定のビューポイントに関する視覚的シーンのカラーおよび光の強度に関する情報を含む、画像、静止画像のことを指し、またはビデオシーケンスのフレームとも呼ばれる。通常、2次元の行列は、テクスチャ情報、例えば、色度および輝度の値を含む。

用語「深度マップ」は、各行列要素に対して、視覚的シーンの物理的または仮想カメラに対する距離を決定する対応する深度値を含む、2次元の行列のことを指す。深度マップは、各グレー値が深度値または距離に対応する、グレースケール画像とみなされることがある。代替的に、視差は、3D視覚的シーンの深度アスペクトを決定するために使用されてもよい。視差マップの視差値は、深度マップの深度値に反比例する。

用語「視差マップ」は、3次元の視覚的シーンの2次元表現のことを指し、各要素の値は、この要素により表現される3D世界のポイントのカメラに対する距離と反比例する。

用語「コーディングブロック」または「ブロック」は、ブロックに対して選択されたコーディングモードに関して特定されたシンタックスを使用したピクチャまたは画像の符号化されたエリアを記述する、普通は、通常の長方形の形状のコーディングユニットである。

用語「コーディングモード」は、コード化されたブロックをコード化、すなわち、符号化および／または復号するのに使用される手段ならびに方法のセットを記述する。

用語「スライス」は、ビデオシーケンスのピクチャまたは画像全体のパートを含むビデオシーケンスの構造のことを指す。

用語「スライスヘッダ」は、スライスのはじめに送られる、スライスを記述するパラメータのセットのことを指す。

用語「コーディングユニット（CU）」は、ピクチャ（テクスチャまたは深度）のパート、例えば、64x64ピクセルを含むパートを有する、予め規定されたサイズのビデオシーケンスの基本コーディング構造のことを指す。

用語「コード化されたブロック」は、コーディングユニットにより表現されるエリアに対応する、または、このエリアのパートである、符号化された画像のエリアのことを指す。

用語「I−スライス」は、全てのコーディングユニットがイントラ予測されたスライスのことを指し、そのため、他のピクチャに対する参照は何ら許可されない。

用語「ランダムアクセスポイント」は、復号器が、ビデオストリームの以前のパートの知識なく、ビデオシーケンス（2Dおよび3D）の復号を開始できる、シーケンスの構造中のポイントを規定する。

用語「ピクチャのグループ」（GOP）は、ディスプレイ順で、GOP内で順序付けられる必要のない、予め規定された数の後続するピクチャ（テクスチャまたは深度または双方）を含む、ビデオシーケンスの基本データ構造のうちの1つを指す。

用語「シーケンスパラメータセット」（SPS）は、ビデオストリームを適切に復号するために必要とされる基本情報を含む、編成されたメッセージの形で送られるパラメータのセットのことを指し、毎ランダムアクセスポイントのはじめにシグナリングされなければならない。

用語「ピクチャパラメータセット」（PPS）は、ビデオシーケンス中のピクチャを適切に復号するために必要とされる基本情報を含む、編成されたメッセージの形で送られるパラメータのセットのことを指す。

用語「補足エンハンスメント情報」（SEI）は、ビデオシーケンスに関する追加またはオプション的な情報、コーディングツール等を含む、ビデオシーケンスのストリームでシグナリングできるメッセージのことを指す。

用語「参照ブロック」は、予測コーディング（および復号）において現在のブロックを符号化するために使用され、現在のブロックの予測コーディングのための参照として使用される、ピクチャ（テクスチャまたは深度）のブロック（テクスチャブロックまたは深度ブロック）のことを指す。

以下では、図2および図3に基づいて、深度ベース・ブロック・パーティショニングを使用して、テクスチャ画像のテクスチャブロックを符号化するための方法の実施形態を記述する。図2は、深度ベース・ブロック・パーティショニングを使用して、テクスチャ画像のテクスチャブロックを符号化するための方法の実施形態のフローチャートを示す。図3は、テクスチャブロックに対する2つの例示的な深度ベース・ブロック・パーティショニングを示す。

図3は、第1のテクスチャブロック312および第2のテクスチャブロック314を含むテクスチャ画像310を示す。図3は、深度ブロック322の形で、深度情報ブロック322を再度含む、深度マップ320の形で、テクスチャ画像310に関連付けられる深度情報をさらに示し、深度ブロック322は、第1のテクスチャブロック312に関連付けられる深度値の形での深度情報を含み、深度ブロック324の形での第2の深度情報ブロック324は、第2のテクスチャブロック314に関連付けられる深度値の形で深度情報を含む。第1の深度情報ブロック322は、2つの異なる主要なグレー値のみ、すなわち、深度値を基本的に含むのに対し、第2の深度情報ブロック314は、3つの主要なグレー値、すなわち、深度値を基本的に含む。

図3は、それぞれの深度ブロック322および324に含まれる深度情報に基づいて決定された2つの例示的なパーティショニングマスク332および334を示す。図2においてm_D1（x，y）としても参照された第1のパーティショニングマスク332は、2つのパーティションである、第1のパーティションP1および第2のパーティションP2を含み、第1のパーティションP1および第2のパーティションP2の形状およびエリアは、第1の深度マップブロック322の2つの主要なグレー値のエリアに対応する。第2のパーティショニングマスク334は、3つのパーティションである、第1のパーティションP1、第2のパーティションP2および第3のパーティションP3を含み、第1のパーティションP1、第2のパーティションP2および第3のパーティションP3の形状およびエリアは、第2の深度マップブロック314の3つの主要なグレー値のエリアに対応する。

図2に示したような深度ベース・ブロック・パーティショニング符号化の方法200は以下を含む。

テクスチャブロック312に関連付けられる深度情報322に基づいて、テクスチャブロックに対するパーティショニングマスク332を決定するステップ210であって、パーティショニングマスク332は、テクスチャブロックの複数のパーティションP1、P2を規定するようにと、複数のパーティションのうちのパーティションに、テクスチャブロック312のテクスチャブロック要素を関連付けるように適合される。

パーティショニングマスク332に基づいて、テクスチャブロックの複数のパーティションのうちのパーティションP1、P2を符号化することにより、テクスチャブロックを符号化するステップ220。

言い換えると、第1の深度ブロック322に基づいて決定されたパーティションP1およびP2は、テクスチャブロック312にマッピングされ、このため、2つのパーティションP1またはP2のうちの1つにテクスチャブロック要素を関連付ける。

読み易さのために、以下では、そうではないと述べられていない限り、第1のテクスチャブロック312および対応する深度情報ブロック322ならびに深度ブロック322に基づいて導出されるパーティショニングマスク332を参照して、本発明の実施形態を説明する。これは、発明の実施形態を限定するものではなく、発明の実施形態は、第2のテクスチャブロック314、対応する第2の深度ブロック324ならびに深度情報ブロック324から導出されるパーティショニングマスク334に基づいて、図3において示すような3以上のパーティションにテクスチャブロックをパーティショニングするようにも使用できることを、述べるべきである。

テクスチャブロックのパーティションの符号化は、テクスチャブロックパーティションと呼ばれてもよく、従来の符号化方法および先述の深度ベース・ブロック・パーティショニングのために特に設計された符号化方法を使用して、実行されてもよい。

実施形態に従って、テクスチャブロックの複数のパーティションのうちのパーティションを符号化するステップ220は、さらに以下を含む：テクスチャブロック312の複数のパーティションのうちの第2のパーティションP2とは別の、テクスチャブロック312の複数のパーティションのうちの第1のパーティションP1に対して、第1のパーティションP1を符号化するために使用されるコーディング情報を決定するステップであって、コーディング情報は、例えば、予測モード、予測因子インデックス、予測方向、参照ピクチャインデックス、参照ビューインデックス、変換係数、動きベクトルおよびコーディングコンテキストのうちの1以上を含む。

図2に示すような方法の実施形態に対して、複数のパーティションを形成するパーティションの数は、予め定められている、または、適応可能に決定されてもよい。

発明に従って、しきい値T=｛T₁，．．．，T_N−1｝を使用して、コード化されたテクスチャブロックのポイントに関連付けられる深度情報値、例えば、深度値または視差値を二値化することにより、ブロックは、複数の（少なくとも2つの）パーティションに、例えば、N、N＞1の数のパーティションP=｛P₁，．．．，P_N｝に、パーティショニングされる。テクスチャブロックのポイントは、テクスチャ要素とも呼ばれてもよい。コード化されたテクスチャブロックの各ポイントp（x，y）に対して、コード化されたテクスチャブロックの関連付けられた深度値または視差値d（x，y）としきい値Tとの間の以下の比較が行われる：
If： d（x，y，）≧T_N−1=＞p（x，y）→P_N，
Else if： d（x，y，）＜Ti=＞p（x，y）→P_i，i=［1，N−1］。

しきい値およびしきい値の数は、予め定められる、または、適応可能に選択できる。しきい値の数の決定に関して、実施形態は、例えば、以下を含んでもよい：
−パーティションの数を予め規定する、あるいは、
−コード化されたテクスチャブロックに関連付けられるエリアに対して算出された深度値または視差値のヒストグラム中で検出されるピークの数をカウントする。

しきい値の数の決定に関して、実施形態は、例えば、以下を含んでもよい：
−予め規定された値を使用する
−コード化されたテクスチャブロックに関連付けられるエリアからの深度値または視差値の平均値を算出して、しきい値を算出した平均値に設定する
−符号化されたテクスチャブロックに関連付けられるエリアからの深度値または視差値の重み付けされた平均値を算出して、しきい値を算出した重み付けされた平均値に設定し、例えば重みは、テクスチャブロックの中心からのポイントの距離に依存する、あるいは、
−符号化されたテクスチャブロックに関連付けられるエリアからの深度値または視差値の中央値を算出して、しきい値を算出した中央値に設定する。

2つのパーティションに対するこのような深度ベース・ブロック・パーティショニング（DBBP）の例示的な結果およびしきい値T₁を決定するために簡潔な平均値を使用することは、図3で提示する。結果のパーティショニングは、コード化されたテクスチャブロックのどのポイントp（x，y）が、どのパーティション（P_1、またはP₂）に属するかを決定する、バイナリマスクm_D1（x，y）の形で提示される。

発明により提唱されるコード化されたテクスチャブロックに関連付けられる深度情報に基づいて、パーティショニングを決定するための第2のソリューションは、深度マップまたは視差マップの形で深度情報を表現する画像におけるエッジ検出アルゴリズムの適用である。本実施形態では、各検出されたエッジは、パーティション間の境界を決定する。

パーティショニングを決定するための別の実施形態は、深度マップまたは視差マップの形で深度情報を表現する画像におけるセグメンテーションアルゴリズムの使用である。セグメンテーションは、深度値または視差値を表現する強度値を解析すること、および、単一のセグメントと同様または等しい値を持つ画像ポイントをマージすることにより実行される。各パーティションは、同じセグメントに属する全てのポイントにこれを割り当てることにより、決定される。さらに、オブジェクトの形状に関する何らかの以前の知識を考慮し、および／または、解析された画像中でのオブジェクトの検出を実行する、より進化したセグメンテーション方法を使用する、オブジェクト指向セグメンテーションを実行できる。

さらなる実施形態では、パーティショニングは、ピクチャレベルで実行できる、すなわち、パーティションは、ピクチャ全体に対して算出され、コード化されたブロックのパーティショニングは、コード化されたブロックに対応するエリアからピクチャレベルのパーティションを単に割り当てることにより行われる。このように、ピクチャレベルのパーティションは、コード化されたブロックの各ポイントに対して割り当てられ、同じピクチャレベルのパーティションに割り当てられる全てのポイントは、ブロックレベルパーティションを形成する。このアプローチは、オブジェクト指向の深度または視差セグメンテーション、深度または視差画像セグメンテーション、あるいは、深度または視差画像エッジ検出のような、深度ベースパーティショニング方法に対して特に適用される。

さらなる実施形態では、深度ベースブロック化パーティショニングは、反復的な方法で実行される。各反復において、予め定められた選択基準を満たすパーティションが選択され、予め定められた終了基準を満たすまで、または、さらなるパーティショニング基準がさらに満たされる限り、サブパーティションにさらに分割され、テクスチャブロックは、反復的なパーティショニングに対して使用される最初のパーティションを実行する

図4は、反復的な深度ベース・ブロック・パーティショニングの実施形態のフローチャートを示す。図4で示されるステップは、図2のステップ210に対応する。図4に従った実施形態は、以下を含む。

予め規定された基準に基づいて、予め規定された数のサブパーティションに分割されることになるパーティションを選択するステップ401。第1の反復に対して、テクスチャブロックは全体として、開始のパーティションまたは最初のパーティションとして使用される。以下の反復では、ステップ401において分割されることになるパーティションを選択するために、特定の選択基準が使用される。

テクスチャブロックの選択したパーティションに関連付けられる深度情報に基づいて、予め規定されたパーティショニング方法を使用して、選択したパーティションを、予め規定された数のサブパーティションに分割するステップ403。パーティショニング方法として、上述したものの任意のものを使用してもよい。例えば、上述したしきい値ベースのパーティショニング方法は、反復的なパーティショニングに対して非常に効率的である。

予め規定された基準に基づいて、選択したパーティションの、サブパーティションへのさらなるパーティショニングが許容されるか、または、維持されるかを決定するステップ。はいの場合、新しいパーティショニングは、現在のパーティショニングになり、そうでない場合、以前のパーティショニングが維持される。

反復的なパーティショニングが終了するか否か、または、反復的なパーティショニングが予め規定された基準に基づいて継続されるかを決定するステップ。

分割されることになるパーティションを選択するための可能性ある選択基準は、例えば、単独で、または、組み合わせて、以下を含んでもよい：
−最大パーティション
−パーティション内のポイント間の最大深度差または最大視差差を持つパーティション。差は、例えば、最大値と最小値との間の差、分散、標準偏差、または、他の統計モーメントとして測定できる。
−1より多いパーティションを含む、既に符号化／復号された近接ブロックに近接するパーティション。これらのパーティション間の境界は、2つのブロックの境界上にある。
−全てのまたは選択した近接パーティションに対して算出される平均値とは最も異なる、パーティション内のポイントの平均深度値または視差値を持つパーティション。

その後、以前に記述したように、選択したパーティションの、サブパーティションへの分割が実行される（DBBPの反復的でないバリアントを参照）。

次に、特定の基準を使用して、さらなるパーティショニングが許容される場合に、選択したパーティションがテストされる。決定関数の可能性ある実施形態は、以下であるかどうかをテストすることを含む（単一の基準または基準の組み合わせを使用してもよい）：
−選択したパーティションのサイズは、十分大きい（例えば、入力ブロックサイズに依存した、予め規定された、または、適応可能なしきい値）。
−各サブパーティション内のポイント間の深度差または視差差が十分に小さい／大きい（予め規定された、または、適応可能なしきい値）。
−サブパーティションの数が十分に少ないまたは多い（予め規定された、または、適応可能なしきい値）。

最後に、パーティショニングプロセスを終了するための条件がチェックされる。決定関数の可能性ある実施形態は、以下であるかどうかをテストすることを含む（単一の基準または基準の組み合わせを使用してもよい）：
−パーティションの数は、予め規定された数のパーティションに等しいまたは上回る（予め規定された、または、適応可能なしきい値）。
−各パーティション内のポイント間の深度差または視差差が十分に小さい／大きい（予め規定された、または、適応可能なしきい値）、または、
−反復の最大数を上回った（予め規定された、または、適応可能なしきい値）。

上記の2つのステップを1つに組み合わせることができ、この際、新しいパーティショニングの許容および反復的なパーティショニングを終了するための条件の双方のテストが実行される。

このようなパーティショニングの例を図3に示す。結果のパーティショニングは、コード化されたテクスチャブロックのどのポイントp（x，y）が、どのパーティション（P_1、P₂またはP₃）に属するかを決定する、パーティショニングマスクm_D2（x，y）334の形で提示される。この例では、第1の反復において、テクスチャブロックは、しきい値を決定するために、簡潔な平均値を使用して、2つのパーティションP₁およびP₂|P₃に分割される。結果のサブパーティションにおける深度値または視差値の差が十分に小さくないことから、パーティショニングプロセスは継続される。第2の反復では、さらに分割されるように、最大のパーティション（P₂|P₃）が選択される。簡潔な平均値による二値化の結果として、パーティションは、2つのパーティションP₂およびP₃に分割される。ここで、結果のサブパーティションにおける深度値または視差値の差は、十分に小さく、結果的に、パーティショニングプロセスは終了する。

方法のさらなる実施形態は、テクスチャブロックの複数のパーティションのうちの符号化されるパーティションのコーディング情報を含むビットストリームにコーディング・モード・インジケータを追加するステップを含み、コーディング・モード・インジケータは、テクスチャブロックのパーティショニングが、テクスチャブロックに関連付けられる深度情報に基づいて導出されたパーティショニングマスクを使用して実行されたか否かを示す、および／または、コーディング・モード・インジケータは、テクスチャブロックに関連付けられる深度情報に基づいて導出されたパーティショニングマスクを使用して、複数の異なるパーティショニングモードのうちの特定のパーティショニングモードが使用された否かを示す。

他の実施形態では、方法は、パーティショニングマスクを決定するために使用される深度情報を取得するために、テクスチャブロックに関連付けられる深度情報を符号化および復号するステップをさらに含む。

発明の実施形態では、テクスチャブロックに関連付けられる深度情報は、テクスチャブロックに関連付けられる深度情報ブロックに含まれる深度情報であってもよい。発明の実施形態では、深度情報ブロックは、深度情報として深度値を含む深度ブロックであってもよく、または、深度情報として視差値を含む視差ブロックであってもよい。発明の実施形態では、テクスチャブロックに関連付けられる深度情報は、画像またはピクチャの同じエリア、テクスチャブロックと同じビューおよび／または同じ時間インスタントに関連付けられる。発明の実施形態では、深度情報は、深度マップの深度値または視差マップの視差値であってもよい。発明の実施形態では、テクスチャブロック要素またはポイントは、ピクチャ要素あるいはテクスチャブロックの空間的解像度を規定する他の何らかの空間的に大きなまたは小さな要素であってもよい。

発明のさらなる実施形態は、テクスチャブロックに関連付けられる深度情報のみを使用するように、ならびに／あるいは、パーティショニングマスクを決定するための、および／または、テクスチャブロックをパーティショニングするための、テクスチャブロックに関連付けられるテクスチャ情報を何ら使用しないように適合できる。

図5は、パーティショナー510および符号化器520を備える符号化装置500の実施形態のブロック図を示す。

パーティショナー510は、テクスチャブロックに関連付けられる深度情報322に基づいて、テクスチャブロック312に対するパーティショニングマスク332を決定するように適合され、パーティショニングマスク332は、複数のパーティションP1、P2を規定するようにと、テクスチャブロックの複数のパーティションのうちのパーティションに、テクスチャブロックのテクスチャブロック要素を関連付けるように適合される。

符号化器520は、符号化されたテクスチャブロック312'を取得するために、パーティショニングマスクに基づいて、テクスチャブロックの複数のパーティションのうちのパーティションを符号化するように適合される。

パーティショナー510の実施形態は、例えば、テクスチャブロックに対するパーティショニングマスクを決定する、対応する方法ステップ210に関して、あるいは図8、図10および図11に関して、図2および図4に基づいて、本明細書で記述したような、深度情報に基づいた、パーティショニングマスクの決定や、テクスチャブロックの複数のパーティションへの分割に関連する方法ステップのうちの任意のものを実行するように適合されてもよい。

符号化器520は、例えば図1〜図4に基づいて、あるいは、図8、図10および図11に関して、本明細書で記述したような、テクスチャブロックを符号化する220ステップの実施形態のうちの任意のものを実行するように適合される。

図6は、深度ベース・ブロック・パーティショニングを使用して、テクスチャ画像の符号化されたテクスチャブロックを復号するための復号方法600の実施形態のブロック図を示し、深度ベース・ブロック・パーティショニング復号の方法は、以下を含む。

符号化されたテクスチャブロック312 ’に関連付けられる深度情報322に基づいて、符号化されたテクスチャブロック312’に対するパーティショニングマスク332を決定するステップ210であって、パーティショニングマスク332は、符号化されたテクスチャブロックの複数のパーティションP1、P2のうちのパーティションに、符号化されたテクスチャブロック312’のテクスチャブロック要素を関連付けるように適合される、決定するステップ210。

復号されたテクスチャブロック312''を取得するために、パーティショニングマスク332に基づいて、符号化されたテクスチャブロック312’の複数のパーティションのうちのパーティションを復号するステップ720。

復号ステップ620に対して、従来の復号方法および深度ベース・ブロック・パーティショニングのために特に設計された復号方法は、符号化されたブロックを復号するために使用されてもよい。

図7は、深度ベース・ブロック・パーティショニングを使用して、テクスチャ画像の符号化されたテクスチャブロックを復号するための復号装置の実施形態のブロック図を示し、復号装置700は、パーティショナー510および復号器720を備える。

パーティショナー510は、符号化されたテクスチャブロック312’に関連付けられる深度情報に基づいて、符号化されたテクスチャブロック312’に対するパーティショニングマスク332を決定するように適合され、パーティショニングマスク332は、符号化されたテクスチャブロックの複数のパーティションP1、P2のうちのパーティションに、符号化されたテクスチャブロックのテクスチャブロック要素を関連付けるように適合される。

テクスチャ復号器720と呼ばれてもよい復号器720は、復号されたテクスチャブロック312''を取得するために、パーティショニングマスク332に基づいて、符号化されたテクスチャブロック312’の複数のパーティションのうちのパーティションを復号するように適合される。

パーティショナー510は、例えば、図2、図4、図8、図10および図11に基づいて、本明細書で記述するようなパーティショニング210に関連するステップまたは機能性のうちの任意のものを実行するように適合される。特に、復号装置700のパーティショナー510の実施形態は、図5に基づいて記述される符号化装置500のパーティショナー510と同じ機能性を有してもよい。

復号器720は、例えば、図6、図8、図10または図11に基づいて、本明細書で記述するような復号ステップ220に関連するステップまたは機能性のうちの任意のものを実行するように適合される。復号器は、符号化器520のカウンターパートであるため、復号器720は、符号化されたテクスチャブロックからテクスチャブロックを再構築するために、符号化器520により実行された符号化に対する逆コーディングを実行するように適合される。

図8は、符号化装置500および復号装置700を具備するシステム800のブロック図を示す。

図5で示した符号化装置500と比較して、図8中の符号化装置の実施形態は、深度符号化器810、深度復号器820およびマルチプレクサ830をさらに備える。図7で示した復号装置700と比較して、図8中の復号装置700の実施形態は、デマルチプレクサ860および深度復号器820をさらに備える。

符号化装置500を参照して、深度符号化器810は、例えば、深度マップ320および／または対応する深度情報ブロック322の形で、深度情報を受信するようにと、マルチプレクサ830および深度復号器820に対する、符号化された深度情報、例えば、符号化された深度マップ320’および／または対応する符号化された深度情報ブロック322’を取得するために、深度情報を符号化するように、適合される。深度復号器820は、復号された深度情報、例えば、復号された深度マップ320’’および／または復号された深度情報ブロック322’’を取得するために、深度符号化器810により実行される符号化に対応した復号を、符号化された深度情報において実行するように適合される。パーティショナー510は、復号された深度情報、例えば、復号された深度マップ322’’および／または復号された深度情報ブロック322’’を受信するようにと、符号化されることになるテクスチャブロック312に関連付けられる復号された深度情報に基づいて、パーティショニングマスク332を決定するように、適合される。

代替的に、パーティショナー510は、テクスチャブロックに関連付けられる本来の深度情報（図8の破線の矢印を参照）、例えば、本来の深度マップ320および／または本来の対応する深度情報ブロック322、あるいは、他の何らかの処理されたバージョンのテクスチャブロックに関連付けられる深度情報を受信するようにと、復号された深度情報の代わりに、符号化されることになるテクスチャブロックに関連付けられる本来の深度情報を使用するように、適合されてもよい。

パーティショニングに対して復号器側で利用可能な深度情報322’’に対応する、復号された深度情報322’’を使用することは、復号装置700における状況をさらに正確にモデリングし、このため、例えば、復号器側における残余に対応する残余の算出およびコーディング効率の改善が可能になる。

マルチプレクサ830は、符号化された深度情報および符号化されたテクスチャ情報、例えば、符号化されたテクスチャブロック312’を受信するようにと、復号装置700に送信される、ビットストリーム890に、これらの情報およびさらに可能性のある情報を多重化するように、適合される。代替的に、ビットストリームは、記憶媒体上に記憶されてもよい。

復号装置700を参照して、デマルチプレクサ860は、深度情報322’、例えば、符号化された深度マップおよび／または符号化された深度情報ブロック322’と、ビットストリーム890からの符号化されたテクスチャブロック312’とを抽出するようにと、深度復号器820に符号化された深度情報322’をパスするように適合される。深度復号器820は、復号された深度情報322’’、例えば、復号された深度マップおよび／または復号された深度ブロックを取得するために、符号化された深度情報322’を復号するように適合され、このような情報は、さらなる処理のために出力されてもよく、パーティショニングマスク332を決定するためにパーティショナー510にも転送される。テクスチャ復号器720は、符号化されたテクスチャブロックを受信し、パーティショナー510から受信したパーティショニングマスク332に基づいて、復号されたテクスチャブロック312’’を取得するために、符号化されたテクスチャブロックを復号する。

発明の実施形態は、3Dおよびテクスチャ＋深度ビデオコーディングのための深度ベース・ブロック・パーティショニング（DBBP）を使用したテクスチャコーディングのための様々な方法で使用されてもよい。

実施形態は、コード化されたテクスチャブロックのコーディング情報を表現するために、DBBPを使用して決定された任意の形状のパーティションを使用するように適合できる。各パーティションは、コーディング情報、例えば、動きベクトル、視差ベクトル、参照ピクチャインデックス、予測モード、イントラ予測因子、残余の各パーティション自体のセットまたはサブセットを有してもよい。

実施形態は、コーデックの従来のパーティショニングモードに対する置換として、または、コーデックの従来のパーティショニングモードに加えて、DBBPパーティションを使用するように適合でき、すなわち、DBBPパーティションは、コーデックにより使用される唯一の利用可能なパーティションであり、または、追加のパーティショニングモードを持つコーデックのパーティショニングモードの本来の利用可能なセットを豊かにする。

実施形態は、シーケンスごと、GOPごと、ピリオド内ごと、ピクチャごと、スライスごと、および、コーディングユニットごとに、切り替え可能なDBBPを使用するように適合でき、DBBPパーティションの利用は、特定の範囲に対してイネーブルまたはディセーブルできる。

実施形態は、インターリーブされたビデオコーディングにおいてDBBPを使用するように適合でき、DBBPは、インターリーブされたビデオの各フィールドに独立して適用される。

実施形態は、HEVCベースのコーデック（HEVC−高効率ビデオコーディング）において、適応した既存のコーディング・モード・インジケータにより、DBBPパーティショニングを効率的にシグナリングするように適合できる。コード化されたテクスチャブロックを表現するためにDBBPパーティションを利用するという選択は、2つの垂直な等分（Nx2N=幅N高さ2N）へのパーティショニングおよび本来のNx2NパーティショニングからDBBPの利用を区別するために必要とされる追加の1ビットのdbbp_flagとして、例えば、依存テクスチャビューでシグナリングされる。

図9は、どのコーディングモードがシグナリングされるかを決定し、符号化されたテクスチャブロックの復号のために使用される、コーディング・モード・インジケータのパースに関して、発明の実施形態の擬似コードを示す。910では、パーティショニングモードが読み取られる。920では、従来の、例えば、通常の形状のパーティショニングと、DBBPパーティショニングとの間を区別するためのフラグdbbp_flagの値は、デフォルト値「false」に設定される。930では、従来のパーティショニングモードがNx2Xパーティショニングの使用を示す場合、および、このような場合にのみ、dbbp_flagの値が読み取られる。940では、dbbp_flagが「true」であるケースでは、DBBPパーティショニング210が実行される。そうでなければ、従来のNx2Nパーティショニングが実行される。このように、DBBPを使用しないブロックに対して送信される必要があるDBBPフラグの数を著しく減少させることができ、コーディング性能を再び増加させる。

実施形態は、イントラ予測のために、DBBPパーティションP1、P2を使用するように適合でき、イントラ予測モードは、各DBBPパーティションに対して決定される。予測されたイントラ予測モードが各DBBPパーティションに対して決定される。使用されるコーディングコストは、DBBPパーティションに対して算出される。各要素のコーディング520、720は、パーティションごとに行われる。

実施形態は、動き予測および／または視差補償予測のために、DBBPパーティションP1、P2を使用するように適合でき、動きベクトルおよび／または視差ベクトル、参照ピクチャインデックス、参照ピクチャの数は、各DBBPパーティションに対して決定される。予測された動きベクトルおよび／または視差ベクトル、参照ピクチャインデックスならびに参照ピクチャの数は、各DBBPパーティションに対して決定される。使用されるコーディングコストは、DBBPパーティションに対して算出される。各要素のコーディング520は、パーティションごとに行われる。

残余予測−残余に対してDBBPパーティションを使用することは、各DBBPパーティションに対して決定される。予測された残余は、各DBBPパーティションに対して決定される。使用されるコーディングコストは、DBBPパーティションに対して算出される。各要素のコーディング520、720は、パーティションごとに行われる。

実施形態は、後の符号化／復号されるブロックにより容易に参照される（予測のために使用される）ように、コード化されたブロック（パーティショニングを含む）に対するコーディング情報を記憶するため、DBBPパーティションの任意の形状を、利用可能な通常の、例えば、長方形のパーティションにマッピングするように適合できる。

このようなマッピングを使用する第1の例示的な実施形態では、マッピングは、本来の、例えば、ピクセル全体のパーティショニングマスクを、2x2、4x4、8x8、16x16、32x32、64x64等のピクセルグリッドにダウンサンプリングすることにより実行される。同じコースのパーティショニングを与える通常のパーティションを使用した最低コストのパーティショニングは、DBBPパーティショニングに対する代表として選択される。

2つのパーティションのケースで使用できる、このようなマッピングを使用した第2の例示的な実施形態では、マッピングは、ブロックツリー、例えば、HEVCベースコーデックのクアドツリー中の現在のレベルに対して利用可能な全ての通常のパーティショニングモードとの相関を算出し、DBBPパーティショニングに対する代表として最も類似したものを選択することにより実行される。例えば、図10に示すような、HEVCの6つの利用可能な2セグメントパーティショニングモードのうちの1つへの、DBBPパーティションのマッピングは、相関解析により実行される。

図10は、従来の通常の形状のパーティショニングモード（グレイおよび透明）と、例示的な深度ベース・ブロック・パーティショニングマスク332（白および黒のP1およびP2）との例示的な重畳を示す。重畳1010は、パーティショニングマスク332と2NxNパーティショニングとの重畳である。重畳1020は、パーティショニングマスク332とNx2Nパーティショニングとの重畳である。重畳1030は、パーティショニングマスク332と2NxnUパーティショニングとの重畳である。重畳1040は、パーティショニングマスク332とnLx2Nパーティショニングとの重畳である。重畳1050は、パーティショニングマスク332とnRx2Nパーティショニングとの重畳である。コーディング情報、例えば、動きベクトル、参照ピクチャインデックス、コーディングモード、残余、視差ベクトル等を記憶するために、最良にマッチした通常の形状のパーティショニングモードioptが選択される。

最良のマッチは、例えば、以下の通り決定できる。利用可能なパーティショニングモードi∈［0，5］（図11）のそれぞれに対して、2つのバイナリマスクm_2i（x，y）およびm_2i＋1（x，y）が生成され、m_2i＋1（x，y）はm_2i（x，y）の否定である（図3に示した例を参照）。現在の深度ベースセグメンテーションマスクm_D（x，y）に対する最良のマッチングパーティショニングモードi_optを見つけるために、以下のアルゴリズムが実行される：

このように、DBBPパーティションを持つブロック後に、コード化、すなわち、符号化または復号される全てのブロックは、従来の通常の形状のパーティショニングベースアプローチを使用して、予測および／またはコンテキスト導出のために、DBBPブロックのマッピングされたブロックパーティショニングスキームを容易に解釈および利用できる。しかし、DBBPブロックは、DBBPパーティショニングにより依然としてコード化され、これは、マッピング手順が、DBBPブロックの符号化または復号プロセスに影響を与えないことを意味する。

このようなマッピングと組み合わされるDBBPパーティショニングの実施形態は、以下の利点を有する。

より少ない数のコンテキストの利用（特に、CABACコンテキストモデル）。新しいコンテキストモデルの追加は必要とされず、または、少なくとも追加されるモデルの数は、非常に少ない数に限定できる。

既存のコーデックへのさらに容易な組み込み。従来のコーディングモードは、従来コード化されるブロックのうちの1つのような、DBBPブロックを容易に取り扱い、参照近接ブロックからの予測の既存の方法のさらなる改変またはDBBP参照ブロックからの特定の予測方法の開発を行う必要はない。

図11は、DBBPパーティショニングマスクの、通常のパーティションへのマッピングを使用した、DBBP参照ブロックB0 1110からの例示的な予測を示す。DBBPコード化ブロックB0は、通常の2NxNのパーティショニングされたブロック1110’としてマッピングされる。結果的に、このDBBP後に符号化または復号される全てのブロックに対して、従来の予測方法を利用した参照として、ブロックB0を利用できる。コード化されたブロックを表現する情報、例えば、動きベクトルおよびブロックB0のDBBPパーティションに割り当てられる参照ピクチャインデックスを、連続的なブロック、例えば、連続的なブロックB1 1120の動き情報の従来のコーディングのための予測参照として、さらに使用できる。

実施形態は、ブロックおよび／またはパーティションに対するコーディングモードを選択するために使用されるコストを算出するように適合できる。コスト関数は、各パーティションに対して、このパーティションに属するピクセルのみが、コストの計算の考慮に入れられているという方法で修正される。

実施形態は、各パーティションを表現する単一の深度値または視差値を算出するように適合できる。代表値は、コード化されたテクスチャブロックに関連付けられる深度値または視差値の平均、重み付けされた平均、中央値、最小値、最大値として計算される（例えば、重みは、ブロック／パーティションの中心からの距離に依存する）。結果の値は、パーティションおよび／またはブロックに対する深度値または視差値を予測するために、視差補償予測に対して、あるいは、他のブロックおよび／またはパーティションをコーディングするための参照深度値または視差値として、使用できる。

実施形態は、各DBBPパーティションを表現する深度値または視差値を使用して、フォアグラウンドおよびバックグラウンドのパーティションを決定するように適合できる。各DBBPパーティションを表現する深度値または視差値は、どのパーティションがカメラからより近いか、または、より遠いかを決定するのに使用される。

実施形態は、各DBBPパーティションを表現する深度値または視差値に基づいて計算されたフォアグラウンドおよびバックグラウンドのピクチャエリアに基づいて、遮蔽（disocclusion）エリアを決定するように適合できる。各DBBPパーティションを表現する深度値または視差値に基づいて決定されたフォアグラウンドおよびバックグラウンドのパーティションは、ピクチャ中の遮蔽エリアを決定するために使用される。

実施形態は、視差補償予測に対して、DBBPに基づいて計算された深度値または視差値を使用することにより、コーディング効率を改善するように適合できる。各DBBPパーティションを表現する深度値または視差値は、視差補償予測に対して使用される視差ベクトルの予測として使用される。

実施形態は、カメラからの距離に基づく、適応可能な量子化パラメータ（QP）または深度に対する量子化パラメータ（QD）の選択のために、DBBPに基づいて計算される深度値または視差値を使用することにより、コーディング効率を改善するように適合できる。各DBBPパーティションを表現する深度値または視差値は、カメラからの距離に基づいて、各パーティションに対するQPまたはQDの量子化パラメータを選択するために使用される（カメラからの距離が大きくなればなるほど、より高いQPまたはQD値が選択される）。

発明の実施形態はまた、以下で説明するように、DBBPを利用するときに、ビデオコーディングの複雑性を最小化するためのソリューションを提供する。

実施形態は、通常の（長方形の）形状のブロックでの各パーティションに対して、イントラ予測された予測信号、動き予測信号、視差補償予測信号および残りの予測信号を算出ならびに記憶するように適合できる。メモリ中の先述の予測信号の算出および記憶に対して、通常の（長方形の）形状のブロックが各パーティションに使用されるが、それぞれのパーティションに属するピクセルのみが各ブロック中で有効である。これにより、メモリの通常のブロック全体がコピー、読み取り、および／または、記憶されるため、メモリに対する個別の呼び出し数を節約し、メモリに対するピクセル全体での呼び出しを回避することが可能になる。結果として、通常のメモリアクセスが提供される。

実施形態は、まばらな深度情報に基づいてDBBPパーティショニングを計算するように適合でき、パーティショニングは、深度情報のまばらな、すなわち、ピクセル全体ではない、表現（例えば、ダウンサンプリングされた深度または視差マップ）を使用して計算される。このように、解析および処理されることになる深度ポイントまたは視差ポイントの数が減少するが、パーティショニングの精度はわずかに低くなる。

実施形態は、密集した、例えば、ピクセル全体での深度情報および、パーティショニングマスクの解像度の2x2、4x4、8x8、16x16等のグリッドへのダウンサンプリングに基づいて、DBBPパーティショニングを計算するように適合できる。このように、コード化されたパーティションを記述する全てのコーディング情報を記憶するデータ構造の解像度を減少でき、メモリの容量およびメモリ読み取り／書き込み動作の数を節約できる。

実施形態は、ループフィルタをオフにすることにより適用されるDBBPによるビデオコーディングの複雑性を減少させるように適合できる。ビデオコーディングプロセスの複雑性は、ループフィルタ、例えば、DBBPパーティションを含むブロックに対するデブロッキング（ALFまたはSAOフィルタ）をオフにすることにより、減少できる。結果として、ビデオコーディングの複雑性は低くなり、コーディング性能、すなわち、レート歪み比は、少しだけ低下する。

発明の実施形態は、深度ベース・ブロック・パーティショニング（DBBP）と呼ぶことができる方法を提供する。実施形態において、テクスチャブロックのパーティショニングは、深度情報のみを使用し、テクスチャ情報を使用することなく、例えば、テクスチャブロックに関連する深度情報のみを使用するが、テクスチャブロックのテクスチャ情報を使用することなく、実行されてもよい。代替実施形態は、例えば、複雑性を低く維持するために粗いテクスチャ情報に基づいて、他のパーティショニング方法と、深度ベース・ブロック・パーティショニングを組み合わせてもよい。しかし、パーティショニングマスクの形で深度情報のみを使用することにより、簡潔で、複雑性は低くなるが、それにもかかわらず、テクスチャブロックをパーティショニングするための効率的な方法となる。

このように、復号器で利用可能な深度情報は、ビットストリームで、パーティションの形状に関するさらに任意の情報を送る必要なく、圧縮を改善するために再利用できる。

上記を要約すると、発明の実施形態は、深度情報に基づいて決定される、例えば、コード化されたテクスチャブロックに関連付けられる深度マップまたは視差マップの形での、任意の形状の少なくとも2つのパーティションを使用して、テクスチャブロックをコーディングするためのコーディングソリューションを提供する。パーティションの形状は、テクスチャブロックのオブジェト境界によく適していることから、コーディングプロセスに対する追加の柔軟性が取得され、これにより、テクスチャブロックをさらに小さな通常の、すなわち、長方形の形状のパーティションに、さらにパーティショニングすることから符号化器を保護し、これらのパーティションをシグナリングするためのビットを節約する。発明の実施形態に従って、パーティションの任意の形状は、コード化されたテクスチャブロックに関連付けられる利用可能な深度情報に基づいて、復号器において決定できる。結果的に、深度ベースパーティションの正確な形状は、ビットストリームで送信される必要はなく、ビットレートは減少する。

111 近接ブロック
111 近接テクスチャブロック
112 近接ブロック
112 テクスチャブロック
113 テクスチャブロック
113 近接ブロック
114 テクスチャブロック
118 矢印
121 深度マップブロック
122 深度マップブロック
123 深度マップブロック
124 深度マップブロック
138 矢印
158 矢印
210 DBBPパーティショニング
310 テクスチャ画像
312 テクスチャブロック
312’ テクスチャブロック
312’’ テクスチャブロック
312'' テクスチャブロック
314 第2の深度情報ブロック
314 深度マップブロック
320 深度マップ
320’ 深度マップ
320’’ 深度マップ
322 第1の深度マップブロック
322 深度情報ブロック
322 深度情報
322 深度ブロック
322’ 深度情報ブロック
322’ 深度情報
322’’ 深度情報ブロック
322’’ 深度情報
322’’ 深度マップ
324 深度ブロック
324 第2の深度情報ブロック
332 パーティショニングマスク
334 第2のパーティショニングマスク
500 符号化装置
510 パーティショナー
520 コーディング
520 符号化器
700 復号装置
720 テクスチャ復号器
720 コーディング
720 復号器
800 システム
810 深度符号化器
820 深度復号器
830 マルチプレクサ
860 デマルチプレクサ
890 ビットストリーム
1110’ ブロック

Claims (14)

1. テクスチャ画像の符号化されたテクスチャブロックを復号する装置であって、前記復号する装置は、
   前記符号化されたテクスチャブロックに関連する深度情報（322）に基づいて、前記符号化されたテクスチャブロック（312’）に対するパーティショニングマスク（332）を決定するように適合されたパーティショナー（510）であって、前記パーティショニングマスク（332）は、複数のパーティション（P1、P2）を規定し、前記符号化されたテクスチャブロックの前記複数のパーティションのうちのパーティションに、前記符号化されたテクスチャブロックのテクスチャブロック要素を関連付けるように適合された、前記パーティショナー（510）と、
   前記パーティショニングマスクに基づいて、前記符号化されたテクスチャブロックの前記複数のパーティションのうちの前記パーティションを復号するように適合された復号器（720）とを備え、
   前記パーティショナーは、前記テクスチャブロック要素に関連付けられた深度情報値と、しきい値との比較に基づいて、前記複数のパーティションのうちの1つに、前記テクスチャブロックの前記テクスチャブロック要素を関連付けるように適合され、
   前記パーティショナーは、前記符号化されることになる前記テクスチャブロックに関連付けられるエリアに対する前記深度情報値の重み付けされた平均を算出するステップであって、前記重み付けされた平均を算出するのに使用される重みは、前記テクスチャブロックの中心からの距離に依存する、算出するステップ、および前記しきい値を前記重み付けされた平均値に設定するステップにより、前記しきい値を適応可能に決定するように適合される、装置。
2. 前記複数のパーティションを形成するパーティションの数は、例えば、前記テクスチャブロックに関連付けられる前記深度情報を解析することにより、予め定められる、または、適応可能に決定される、請求項１に記載の装置。
3. 前記パーティショナーは、反復的な方法で前記パーティショニングマスクを決定するように適合され、各反復において、予め定められた選択基準を満たすパーティションは、予め定められた終了基準を満たすまで、または、さらなるパーティショニング基準がさらに満たされる限り、サブパーティションにさらに分割され、前記テクスチャブロックは、前記反復的なパーティショニングに対して使用される最初のパーティションを実行する、請求項１または２に記載の装置。
4. 前記装置は、
   ビットストリームから符号化された深度情報を抽出するように適合されたデマルチプレクサ（860）と
   前記符号化されたテクスチャブロックに関連付けられる前記深度情報を取得するために、前記符号化された深度情報を復号するように適合される深度復号器とをさらに備える、請求項１から３のいずれか一項に記載の装置。
5. 前記装置は、前記テクスチャブロックの前記複数のパーティションのうちの第2のパーティションに対するコーディング情報とは別の、前記符号化されたテクスチャブロックの前記複数のパーティションのうちの第1のパーティションに対するビットストリームコーディング情報から抽出するように適合されたデマルチプレクサ（860）をさらに備え、
   前記復号器は、前記コーディング情報を使用して前記第1のパーティションを復号するように適合され、
   前記コーディング情報は、予測モード、予測因子インデックス、予測方向、参照ピクチャインデックス、参照ビューインデックス、変換係数、動きベクトルおよびコーディングコンテキストのうちの1以上を含む、請求項１から４のいずれか一項に記載の装置。
6. テクスチャ画像の符号化されたテクスチャブロックを復号する装置であって、前記復号する装置は、
   前記テクスチャブロックの複数のパーティションのうちの符号化されるパーティションのコーディング情報を含むビットストリームを受信するように適合された受信機と、
   前記ビットストリームからコーディング・モード・インジケータを抽出するように適合されたデマルチプレクサであって、前記コーディング・モード・インジケータは、複数のコーディングモードのうちのどのコーディングモードが前記テクスチャブロックを符号化するのに使用されたかを示す、デマルチプレクサと、
   前記コーディング・モード・インジケータが、対応する深度ベース・ブロック・ポーショニングコーディングモードが、前記テクスチャブロックを符号化するために使用されたことを示すケースにおいて、深度ベース・ブロック・ポーショニング復号モードに従って、前記符号化されたテクスチャブロックを復号するように適合された、請求項１から５のいずれか一項に従った深度ベース・ブロック・パーティショニング装置とを備える、装置。
7. 前記デマルチプレクサは、前記符号化されたテクスチャブロックをテクスチャブロックごとに復号するのに使用される、前記複数の復号モードのうちの復号モードを決定するための前記コーディング・モード・インジケータを抽出するように適合され、および／または、
   前記デマルチプレクサは、GOPごと、ピリオド内ごと、画像ごと、スライスごと、または、コーディングユニットごとに、前記ビットストリームから、イネーブルまたはディセーブルのインジケータを抽出するように適合され、前記深度ベース・ブロック・ポーショニングコーディングモードに対するイネーブルまたはディセーブルの表示は、SPS、PPS、VPS、ピクチャヘッド、マクロブロック中、または、コーディングユニットシンタックス中でシグナリングされ、前記イネーブルまたはディセーブルのインジケータは、前記深度ベース・ブロック・ポーショニングコーディングモードが、前記イネーブルまたはディセーブルのインジケータ後に受信したテクスチャブロックに対してイネーブルまたはディセーブルであるかを示す、請求項６に記載の装置。
8. 前記複数のコーディングモードは、通常の形状のパーティショニングに基づくコーディングモードのセットおよび1つの深度ベース・ブロック・ポーショニングコーディングモードを含み、
   前記通常の形状のパーティショニングに基づく各コーディングモードは、前記各コーディングモードに関連付けられるモード固有のコーディング・モード・インジケータを有し、前記モード固有のコーディング・モード・インジケータは、それぞれの通常の形状のパーティショニングコーディングモードを、他の通常の形状のパーティショニングコーディングモードから区別し、
   前記深度ベース・ブロック・ポーショニングコーディングモードの選択は、前記コーディング・モード・インジケータのセットのうちのコーディング・モード・インジケータのうちの1つにのみ追加されたフラグによりシグナリングされ、前記フラグの第1の値は、前記コーディング・モード・インジケータに関連付けられる前記通常の形状のパーティショニングコーディングモードが選択されたことを示し、前記フラグの第2の値は、前記深度ベース・ブロック・ポーショニングコーディングモードが選択されたことを示す、請求項６または請求項７のいずれか一項に記載の装置。
9. 前記深度ベース・ブロック・パーティショニング装置（700）は、前記パーティショニングマスク（332）を通常の形状のパーティションにマッピングするように適合され、
   前記装置は、
   前記パーティショニングマスクの前記通常の形状のパーティショニング表現に基づいて、または、前記パーティショニングマスクの前記通常の形状のパーティショニング表現に基づいて導出される情報に基づいて、符号化された連続的なテクスチャブロックを復号するように適合されたテクスチャ復号器を備える、請求項６から８のいずれか一項に記載の装置。
10. テクスチャ画像の符号化されたテクスチャブロックを復号するための方法であって、前記方法は、
    前記符号化されたテクスチャブロックに関連付けられる深度情報に基づいて、前記符号化されたテクスチャブロックに対するパーティショニングマスクを決定するステップであって、前記パーティショニングマスクは、複数のパーティションを規定し、前記符号化されたテクスチャブロックのテクスチャブロック要素を、前記符号化されたテクスチャブロックの前記複数のパーティションのうちのパーティションに関連付けるように適合される、決定するステップと、
    前記パーティショニングマスクに基づいて、前記符号化されたテクスチャブロックの前記複数のパーティションのうちの前記パーティションを復号するステップとを含み、
    前記テクスチャブロック要素に関連付けられた深度情報値と、しきい値との比較に基づいて、前記複数のパーティションのうちの1つに、前記テクスチャブロックの前記テクスチャブロック要素を関連付けられ、
    前記符号化されることになる前記テクスチャブロックに関連付けられるエリアに対する前記深度情報値の重み付けされた平均を算出するステップであって、前記重み付けされた平均を算出するのに使用される重みは、前記テクスチャブロックの中心からの距離に依存する、算出するステップ、および前記しきい値を前記重み付けされた平均値に設定するステップにより、前記しきい値が適応可能に決定される、方法。
11. コンピュータプログラムがコンピュータ上で実行するときに、請求項１０に従った方法を実行するためのプログラムコードを持つコンピュータプログラム。
12. テクスチャ画像（310）のテクスチャブロック（312）を符号化するための装置であって、前記装置は、
    前記テクスチャブロック（312）に関連付けられる深度情報（322）に基づいて、前記テクスチャブロックに対するパーティショニングマスク（332）を決定するように適合されたパーティショナー（510）であって、前記パーティショニングマスク（332）は、前記テクスチャブロックの複数のパーティションを規定し、前記テクスチャブロック（312）のテクスチャブロック要素を、前記複数のパーティションのうちのパーティションに関連付けるように適合される、パーティショナー（510）と、
    前記パーティショニングマスク（332）に基づいて、前記テクスチャブロックの前記複数のパーティションのうちの前記パーティション（P1、P2）を符号化することにより、前記テクスチャブロックを符号化するように適合された符号化器（520）とを備え、
    前記パーティショナーは、前記テクスチャブロック要素に関連付けられた深度情報値と、しきい値との比較に基づいて、前記複数のパーティションのうちの1つに、前記テクスチャブロックの前記テクスチャブロック要素を関連付けるように適合され、
    前記パーティショナーは、前記符号化されることになる前記テクスチャブロックに関連付けられるエリアに対する前記深度情報値の重み付けされた平均を算出するステップであって、前記重み付けされた平均を算出するのに使用される重みは、前記テクスチャブロックの中心からの距離に依存する、算出するステップ、および前記しきい値を前記重み付けされた平均値に設定するステップにより、前記しきい値を適応可能に決定するように適合される、装置。
13. 前記符号化器は、
    前記テクスチャブロックの前記複数のパーティションのうちの第2のパーティションとは別の、前記テクスチャブロックの前記複数のパーティションのうちの第1のパーティションに対して、前記第1のパーティションを符号化するために使用されるコーディング情報を決定するように適合され、前記コーディング情報は、
    予測モード、予測因子インデックス、予測方向、参照ピクチャインデックス、参照ビューインデックス、動きベクトル、変換係数およびコーディングコンテキストのうちの1以上を含む、請求項１２に記載の装置。
14. テクスチャ画像（310）のテクスチャブロック（312）を符号化するための方法であって、前記方法は、
    前記テクスチャブロック（312）に関連付けられる深度情報（322）に基づいて、前記テクスチャブロックに対するパーティショニングマスク（332）を決定するステップ（210）であって、前記パーティショニングマスク（332）は、前記テクスチャブロックの複数のパーティションを規定し、前記テクスチャブロック（312）のテクスチャブロック要素を、前記複数のパーティションのうちのパーティションに関連付けるように適合される、決定するステップ（210）と、
    前記パーティショニングマスク（332）に基づいて、前記テクスチャブロックの前記複数のパーティションのうちのパーティション（P1、P2）を符号化することにより、前記テクスチャブロックを符号化するステップ（220）とを含み、
    前記テクスチャブロック要素に関連付けられた深度情報値と、しきい値との比較に基づいて、前記複数のパーティションのうちの1つに、前記テクスチャブロックの前記テクスチャブロック要素を関連付けられ、
    前記符号化されることになる前記テクスチャブロックに関連付けられるエリアに対する前記深度情報値の重み付けされた平均を算出するステップであって、前記重み付けされた平均を算出するのに使用される重みは、前記テクスチャブロックの中心からの距離に依存する、算出するステップ、および前記しきい値を前記重み付けされた平均値に設定するステップにより、前記しきい値が適応可能に決定される、方法。

Images