[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5846611B2 - 平面間予測 - Google Patents

平面間予測 Download PDF

Info

Publication number
JP5846611B2
JP5846611B2 JP2013504130A JP2013504130A JP5846611B2 JP 5846611 B2 JP5846611 B2 JP 5846611B2 JP 2013504130 A JP2013504130 A JP 2013504130A JP 2013504130 A JP2013504130 A JP 2013504130A JP 5846611 B2 JP5846611 B2 JP 5846611B2
Authority
JP
Japan
Prior art keywords
plane
information
prediction
array
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013504130A
Other languages
English (en)
Other versions
JP2013528023A (ja
Inventor
キルヒホッファー，ハイナー
ヴィンケン，マルティン
シュヴァルツ，ハイコ
マルペ，デトレフ
ヴィーガント，トーマス
Original Assignee
ジーイー ビデオ コンプレッション エルエルシー
ジーイー ビデオ コンプレッション エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=43305051&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP5846611(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by ジーイー ビデオ コンプレッション エルエルシー, ジーイー ビデオ コンプレッション エルエルシー filed Critical ジーイー ビデオ コンプレッション エルエルシー
Publication of JP2013528023A publication Critical patent/JP2013528023A/ja
Application granted granted Critical
Publication of JP5846611B2 publication Critical patent/JP5846611B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、動画または静止画像など、複数の平面で提供され、情報標本の配列によって各平面が構成されている、ある光景の画像において、空間的にサンプリングされた異なる情報の構成要素についての符号化体系に関する。
通常、画像および動画の符号化においては、画像、または、画像内の特定の標本配列の集合がブロックに分解され、特定の符号化パラメータに関連付けられる。通常、画像は、複数の標本配列で構成される。さらに、画像が、たとえば、透明度の情報や深度のマップなどを指定する追加の補助的な標本配列に関連付けられている場合もある。画像の標本配列（補助的な標本配列を含む）は、１つ以上のいわゆる平面グループにグループ化でき、各平面グループは、１つ以上の標本配列で構成される。画像の平面グループは、独立して符号化でき、また、その画像が複数の平面グループに関連付けられている場合は、同じ画像の他の平面グループからの予測によって符号化できる。通常、各平面グループは、ブロックに分解される。ブロック（または標本配列の対応するブロック）は、画像間での予測または画像内での予測のどちらかによって予測が行われる。ブロックはさまざまなサイズになる場合があり、正方形または長方形のどちらかとなる。ブロックへの画像の区分化は、構文によって固定でき、あるいは、（少なくとも一部について）ビットストリーム内で信号を送信することも可能である。多くの場合、所定のサイズのブロックについての細分割の信号を送信する構文要素が伝送される。そういった構文要素によって、ブロックがより小さいブロックに細分割され、予測の目的などで符号化パラメータに関連付けられるか否か、および、その方法を指定できる。ブロック（または標本配列の対応するブロック）の全ての標本について、関連付けられている符号化パラメータの復号化が特定の方法で指定される。たとえば、参照インデックス（符号化済みの画像の集合の中で参照画像を特定）、運動パラメータ（参照画像と現在の画像との間のブロックの動きの量を指定）、補間フィルタやイントラ予測モードなどの指定のためのパラメータなどの、同じ予測パラメータの集合を使用して、ブロック内の全ての標本の予測が行われる。運動パラメータは、水平方向および垂直方向の成分を持った変位ベクトル、または、６つの成分で構成されるアフィン運動パラメータなどの高次の運動パラメータによって表すことができる。また、単一のブロックに、特定の予測パラメータ（参照インデックスや運動パラメータなど）の１つ以上の集合を複数関連付けることも可能である。その場合、これらの特定の予測パラメータのそれぞれの集合について、ブロック（または標本配列の対応するブロック）についての単一の中間予測信号が生成され、中間予測信号の重ね合わせを含む組合せによって最終予測信号が形成される。対応する重み付けパラメータは、場合によって一定のオフセット（加重和に追加される）とともに、画像、参照画像、または、参照画像の集合のいずれかについて固定でき、あるいは、対応するブロックについての予測パラメータの集合に含むこともできる。元のブロック（または標本配列の対応するブロック）と予測信号との間の差は、残差信号とも呼ばれ、通常、変換と量子化が行われる。多くの場合、残差信号（または残差ブロックの対応する標本配列）に２次元変換が適用される。変換符号化のために、予測パラメータの特定の集合が使用されているブロック（または標本配列の対応するブロック）は、変換の適用前にさらに分割することができる。変換ブロックは、予測に使用されるブロックと同じサイズか、または、より小さくなる。また、変換ブロックは、予測に使用されるブロックを複数含むことも可能である。各変換ブロックはさまざまなサイズになる場合があり、正方形または長方形のブロックとなる。変換後、結果として得られる変換係数が量子化され、いわゆる変換係数レベルが得られる。変換係数レベルおよび予測パラメータと、存在する場合は細分割情報が、エントロピー符号化される。
画像および動画の符号化の規格において、構文によって提供される、ブロックへの画像（または平面グループ）の細分割の可能性は、非常に限定されている。通常、指定できるのは、所定のサイズのブロックをより小さいブロックに細分割できるか否か、および、（場合によってその方法）のみである。たとえば、Ｈ．２６４では最大ブロックサイズは１６×１６である。１６×１６のブロックはマクロブロックとも呼ばれ、各画像は最初のステップでマクロブロックに区分化される。１６×１６のマクロブロックのそれぞれについて、１６×１６のブロック、２つの１６×８のブロック、２つの８×１６のブロック、または４つの８×８のブロックのうちのどれで符号化されるかを情報伝達（シグナリング）することができる。１６×１６のブロックが４つの８×８のブロックに細分割される場合は、これらの８×８のブロックのそれぞれを、１つの８×８のブロック、２つの８×４のブロック、２つの４×８のブロック、または４つの４×４のブロックのいずれかとして符号化できる。画像および動画の符号化の最新の規格で、ブロックへの区分化を指定する可能性を少なくすることで、細分割情報を伝達（シグナリング）するための付随する情報のレートを小さく抑えられるという利点があるが、以下で説明するように、ブロックの予測パラメータの伝送に必要なビットレートが、大きくなる場合があるというデメリットがある。通常、予測情報の伝達に付随する情報のレートは、ブロックのビットレート全体のかなりの量を占める。そのため、この付随する情報が縮小されると、符号化の効率が向上する可能性があり、たとえば、より大きなブロックサイズを使用することで実現できる可能性がある。実際の画像や動画のシーケンスの画像は、特定の性質を持った任意の形状の物体で構成される。たとえば、そういった物体や物体の一部は、固有のテクスチャや固有の動きによって特徴付けられる。通常、そういった物体や物体の一部に、同じ予測パラメータの集合が適用される。しかし、通常は、物体の境界は、大きな予測ブロック（たとえば、Ｈ．２６４での１６×１６のマクロブロックなど）の可能なブロックの境界とは一致しない。通常、エンコーダが、特定のレート／歪みの損失量が最小になるように、（限られた可能性の中から）細分割の決定を行う。この結果、任意の形状の物体の場合には、多数の小さなブロックができる可能性がある。これらの小さなブロックのそれぞれは、伝送される必要がある予測パラメータの集合にそれぞれ関連付けられているので、付随する情報のレートが、ビットレート全体のかなりの部分を占めるようになる可能性がある。しかし、その小さなブロックのいくつかは、依然として同じ物体または物体の一部の領域を表すので、得られた多数のブロックの予測パラメータは、同一か、または、非常に類似したものになる。
つまり、画像をより小さい部分またはタイルやブロックに細分割したりタイル化したりすると、符号化の効率および符号化の複雑さに大幅に影響を与える。上記で概説したとおり、画像をより小さなブロックへより多く細分割するほど、符号化パラメータの設定を空間的により詳細に行うことができ、これらの符号化パラメータの画像／動画の素材への適応性が向上する。その一方で、符号化パラメータの設定の粒度が高くなるほど、デコーダに必要な設定を通知するために必要な、付随する情報の量がより大きな負荷となる。また、エンコーダが画像／動画を空間的に（さらに）ブロックに細分割できるようにすると、あり得る符号化パラメータの設定の量が大幅に増加し、その結果、一般的に、符号化パラメータの設定に関して最良のレート／歪みの妥協点を見つけることがさらに困難になることに注意する必要がある。
複数の平面で提供され、情報標本の配列によって各平面が構成されている、ある光景の画像において、空間的にサンプリングされた異なる情報の構成要素の符号化についての符号化体系を提供し、レート／歪み率を向上できるようにすることが目的である。
この目的は、請求項１または１１のデコーダ、請求項１８または１９のエンコーダ、請求項１６、１７、２０、および２１のいずれかの方法、請求項２４のコンピュータプログラム、および、請求項２２または２３のデータストリームによって実現される。
本発明の基礎となる考え方は、次のとおりである。冗長性の低減を目的として、異なる平面の符号化パラメータ間の相互関係を利用できるようにすると、デコーダへ平面間予測の情報を伝達する必要性によって追加のオーバーヘッドが発生するが、レート／歪み率の向上が達成される可能性がある。特に、平面間予測を使用するか否かの決定は、複数の平面について個別に行われてもよい。あるいは、代わりに、その決定は、１つの二次的な平面を考慮してブロック単位で行われてもよい。
実施の形態では、空間的にサンプリングされた情報信号を表す情報標本の配列は、まず、空間的にツリーのルート領域に分割され、続いてデータストリームから抽出されるマルチツリーの細分割情報に従って細分割される。ツリーのルート領域の部分集合に再帰的に複数回の区分化を行うことによって、少なくとも、そのツリーのルート領域の部分集合が、さまざまなサイズのより小さい単連結領域に細分割される。妥当なエンコーディングの複雑さで、レート／歪みの点で緻密すぎる細分割と粗すぎる細分割との間の望ましい妥協点を見つけることができるようにするために、情報標本の配列が空間的に分割されるツリーのルート領域の最大の領域のサイズは、データストリーム内に含まれ、復号化側のデータストリームから抽出される。したがって、デコーダは、データストリームから最大の領域のサイズおよびマルチツリーの細分割情報を抽出できる抽出部、空間的にサンプリングされた情報信号を表す情報標本の配列を最大の領域のサイズのツリーのルート領域に空間的に分割し、マルチツリーの細分割情報に従って細分割し、ツリーのルート領域の部分集合に再帰的に複数回の区分化を行うことによって、少なくとも、そのツリーのルート領域の部分集合を、さまざまなサイズのより小さい単連結領域に細分割することができる細分割部、および、より小さい単連結領域への細分割を使用してデータストリームから情報標本の配列を再構築できる再構築部を備えていてもよい。
また、実施の形態では、データストリームは、ツリーのルート領域の部分集合が再帰的な複数回の区分化の対象となる最大の階層レベルを含む。この方法により、マルチツリーの細分割情報の伝達が容易になり、符号化に必要なビット数が少なくなる。
さらに、再構築部は、中間の細分割に応じた粒度で、少なくともイントラ予測モードおよび平面間予測モードの中からの使用する予測モードの決定、スペクトル領域から空間領域への変換、平面間予測の実行および／または平面間予測のパラメータの設定、イントラ予測の実行および／またはイントラ予測のパラメータの設定のうちの１つ以上を行うように構成されていてもよい。
さらに、抽出部は、区分化されたツリーブロックのリーフ領域と関連付けられている構文要素を、深度順のトラバースの順序で、データストリームから抽出するように構成されていてもよい。この方法により、抽出部は、符号化済みの隣接するリーフ領域の構文要素の統計量を、幅の順のトラバースの順序を使用した場合よりも高い可能性で利用できる。別の実施の形態では、さらなるマルチツリーの細分割情報に従って、より小さい単連結領域の少なくとも１つの部分集合を、さらに小さい単連結領域に細分割するために、さらに細分割部が使用される。情報標本の領域の予測を行うために、１つめの段階の細分割が再構築部によって使用されてもよく、スペクトル領域から空間領域への再変換を行うために、２つめの段階の細分割が再構築部によって使用されてもよい。残差の細分割を、予測の細分割に対して下位に定義すると、細分割の全体の符号化によるビットの消費量が少なくなる。その一方で、下位に定義されることによる残差の細分割についての制限および自由度は、符号化の効率にわずかなマイナスの影響を与える。これは、ほとんどの場合において、同様の動き補償パラメータを持つ画像の一部は、同様のスペクトルの特性を持つ部分よりも大きいためである。
さらに他の実施の形態では、さらに最大の領域のサイズがデータストリームに含まれ、これによって、さらなるマルチツリーの細分割情報に従ってツリールートの小領域の少なくとも１つの部分集合がさらに小さい単連結領域へ細分割される前により小さい単連結領域が最初に分割されてできるツリールートの小領域のサイズが定義される。これにより、予測の細分割の最大の領域のサイズを独自に設定することが可能になり、その一方で、残差の細分割によって、レート／歪みの妥協点についての向上が可能になる。
本発明のさらに他の実施の形態では、マルチツリーの細分割情報を形成する構文要素の第２の部分集合から分離されている、構文要素の第１の部分集合が、データストリームに含まれ、復号化側の結合部は、構文要素の第１の部分集合に応じて、マルチツリーの細分割の、空間的に隣接するより小さい単連結領域を組み合わせて、標本の配列の中間の細分割を取得することができる。再構築部は、中間の細分割を使用して標本の配列を再構築できるように構成されてもよい。これにより、エンコーダが、情報標本の配列の特性の空間的な分布に対して効果的な細分割を行うことができ、レート／歪みについての最適な妥協点を見つけることがより容易になる。たとえば、最大の領域のサイズが大きい場合は、ツリールートの領域が大きくなるため、マルチツリーの細分割情報は複雑になる可能性が高い。その一方で、最大の領域のサイズが小さい場合は、隣接するツリールートの領域が、同様の特性を含む情報の内容に関連していて、これらのツリールートの領域もあわせて処理されている可能性が高い。結合によって、上記の両極端な場合の隔たりが解消され、その結果、最適に近い粒度の細分割が可能となる。エンコーダ側からの観点では、結合の構文要素によって、エンコーディングの手順が簡略化されるか、あるいは、計算の複雑さが低減される。これは、エンコーダが誤って緻密すぎる細分割を使用した場合、エンコーダが後から結合の構文要素を設定することによって、その誤りを補正するためである。この場合、結合の構文要素の設定の前に設定されていた構文要素のごく一部の適応については、行われても行われなくてもよい。
さらに他の実施の形態では、最大の領域のサイズ、および、マルチツリーの細分割情報が、予測の細分割ではなく、残差の細分割に使用される。
空間的にサンプリングされた情報信号を表す情報標本の配列の四分木の細分割の単連結領域を扱う場合、幅の順のトラバースの順序ではなく、深度順のトラバースの順序が、実施の形態に従って使用される。深度順のトラバースの順序を使用することによって、それぞれの単連結領域が、トラバース済みの隣接する単連結領域を有する確率が高くなり、現在の単連結領域をそれぞれ再構築する際に、これらの隣接する単連結領域に関する情報を確実に利用できる。
情報標本の配列が、まず、ゼロ次の階層サイズのツリーのルート領域の規則的な配列に分割され、続いて、ツリーのルート領域の少なくとも１つの部分集合が、異なるサイズのより小さい単連結領域に細分割される場合、再構築部は、ジグザグ走査を使用してツリーのルート領域を走査し、区分化されるツリーのルート領域のそれぞれについて、深度順のトラバースの順序で単連結リーフ領域を処理し、さらに、ジグザグ走査の順序で次のツリーのルート領域へ進んでもよい。さらに、深度順のトラバースの順序に従って、同じ階層レベルの単連結リーフ領域がジグザグ走査の順序でトラバースされてもよい。このように、隣接する単連結リーフ領域を有する可能性が高まった状態が維持される。
実施の形態では、マルチツリー構造のノードに関連付けられているフラグは、深度順のトラバースの順序で順次配置されるが、フラグの順次の符号化では、確率推定のコンテキストが使用される。これは、マルチツリー構造の同じ階層レベル内に位置するマルチツリー構造のノードと関連付けられているフラグについては同じであるが、マルチツリー構造の異なる階層レベル内に位置するマルチツリー構造のノードについては異なる。その結果、その一方で、提供されるコンテキストの数と、フラグの実際のシンボルの統計量への適応との間での妥協点についての向上が可能になる。
実施の形態では、深度順のトラバースの順序で所定のフラグに先行し、所定のフラグが対応する領域に対して所定の相対的な位置関係にあるツリーのルート領域の領域に対応するフラグに応じて、使用される所定のフラグについての確率推定のコンテキストも異なる。説明している態様の基礎となる考え方と同様に、深度順のトラバースの順序の使用によって、符号化済みのフラグに、所定のフラグに対応する領域に隣接する領域に対応するフラグが含まれることが高い確率で保証される。この知見が利用されて、所定のフラグに使用されるコンテキストへの適応性が向上する。
所定のフラグについてのコンテキストの設定に使用されるフラグは、所定のフラグが対応する領域の上部および／または左に位置する領域に対応するものであってもよい。さらに、コンテキストの選択に使用されるフラグは、所定のフラグが関連付けられているノードと同じ階層レベルに属しているフラグに制限されてもよい。
実施の形態では、符号化された伝達情報（シグナリング）が、最上位の階層レベルの表示と、最上位の階層レベル以外のマルチツリー構造のノードに関連付けられている一連のフラグとを含む。各フラグによって、関連付けられているノードが中間ノードか子ノードであるかが指定される。データストリームから、一連のフラグが深度順または幅の順のトラバースの順序で順次復号化される。その際に、最上位の階層レベルのノードはスキップされ、自動的に同じリーフノードが指定される。その結果、符号化レートが低減される。
他の実施の形態では、マルチツリー構造の符号化された伝達情報で、最上位の階層レベルが示されてもよい。これにより、最上位の階層レベル以外の階層レベルにフラグの存在を限定して、最上位の階層レベルのブロックがさらに区分化されないようにすることが可能である。
空間的なマルチツリーの細分割がリーフノードの二次的な細分割の一部であり、一次のマルチツリーの細分割のツリーのルート領域が区分化されない場合、二次的な細分割のフラグの符号化に使用されるコンテキストは、同じサイズの領域に関連付けられているフラグについてコンテキストが同じになるように選択されてもよい。
他の実施の形態では、情報標本の配列が細分割されてできる単連結領域の望ましい結合またはグループ化が、符号化され、データ量が削減される。そのために、単連結領域について、所定の相対的な位置関係が定義される。これにより、所定の単連結領域に対して所定の相対的な位置関係にある、複数の単連結領域の中の単連結領域を特定することが、所定の単連結領域について可能になる。すなわち、数がゼロである場合は、所定の単連結領域についての結合指標がデータストリーム内になくてもよい。さらに、所定の単連結領域に対して所定の相対的な位置関係にある単連結領域の数が１の場合は、単連結領域の符号化パラメータが、所定の単連結領域についての符号化パラメータの予測に採用または使用されてもよく、それ以上の構文要素は必要ない。そうでない場合、すなわち、所定の単連結領域に対して所定の相対的な位置関係にある単連結領域の数が１より大きい場合は、これらの特定された単連結領域に関連付けられている符号化パラメータが互いに同一のものである場合でも、さらなる構文要素の導入が抑制されてもよい。
実施の形態では、隣接する単連結領域の符号化パラメータが互いに等しくない場合は、所定の単連結領域に対して所定の相対的な位置関係にある単連結領域の数の真部分集合を、参照隣接識別子によって識別してもよく、この真部分集合は、符号化パラメータの採用、または、所定の単連結領域の符号化パラメータの予測の際に使用される。
さらに他の実施の形態では、データストリームに含まれる構文要素の第１の部分集合に応じて、２次元の情報信号の空間的なサンプリングを表す標本の領域が、異なるサイズの複数の単連結領域へ、再帰的に複数回の区分化を行うことによって、空間的に細分割される。続いて、第１の部分集合から分離されているデータストリーム内の構文要素の第２の部分集合に応じて、空間的に隣接する単連結領域が組み合わされ、和集合が複数の単連結領域である、単連結領域の互いに素な集合への標本の配列の中間の細分割が行われる。中間の細分割は、データストリームから標本の配列を再構築する際に使用される。これにより、細分割が緻密すぎる場合に後から結合によって補正できることから、細分割についての最適化の重要度を下げることができる。さらに、細分割と結合の組み合わせによって、再帰的な複数回の区分化のみでは不可能な中間の細分割の実現が可能になり、分離されている構文要素の集合を使用して細分割と結合を連結することにより、２次元の情報信号の実際の内容に対する効果的または中間的な細分割の適合度を向上させることができる。結合の詳細を示すための追加の構文要素の部分集合によって発生する追加のオーバーヘッドは、利点と比較すると、無視できるほど小さい。
本発明の好適な実施の形態を、下記の図を参照して以下に説明する。
本願の実施の形態のエンコーダを示す構成図である。 本願の実施の形態のデコーダを示す構成図である。 四分木の細分割の例を示す模式図であり、第１の階層レベルを示す。 四分木の細分割の例を示す模式図であり、第２の階層レベルを示す。 四分木の細分割の例を示す模式図であり、第３の階層レベルを示す。 実施の形態に係る図３Ａから図３Ｃの四分木の細分割のツリー構造を示す模式図である。 図３Ａから図３Ｃの四分木の細分割を示す模式図である。 図３Ａから図３Ｃの個別のリーフブロックのインデックスが付いたツリー構造を示す模式図である。 異なる実施の形態に従って図４のツリー構造および図３Ａから図３Ｃの四分木の細分割を表す２進列またはフラグのシーケンスを示す模式図である。 異なる実施の形態に従って図４のツリー構造および図３Ａから図３Ｃの四分木の細分割を表す２進列またはフラグのシーケンスを示す模式図である。 実施の形態のデータストリーム抽出部が行うステップを示すフローチャートである。 他の実施の形態のデータストリーム抽出部の機能を示すフローチャートである。 ハイライトされた所定のブロックに隣接する候補ブロックを示した、実施の形態に従う四分木の細分割を示す模式図である。 ハイライトされた所定のブロックに隣接する候補ブロックを示した、実施の形態に従う四分木の細分割を示す模式図である。 他の実施の形態のデータストリーム抽出部の機能を示すフローチャートである。 実施の形態に従って、平面および平面グループからの画像の構成を示し、平面間の適合／予測を使用した符号化を説明する模式図である。 実施の形態に従って継承の体系を説明するために、サブツリー構造を示す模式図である。 実施の形態に従って継承の体系を説明するために、サブツリー構造に対応する細分割を示す模式図である。 実施の形態に従って採用および予測を行う継承の体系を説明するために、サブツリー構造を示す模式図である。 実施の形態に従って採用および予測を行う継承の体系を説明するために、サブツリー構造を示す模式図である。 実施の形態に従って継承の体系を実現するエンコーダが行うステップを示すフローチャートである。 実施の形態に従って、平面間予測に関連して継承の体系を実装できる可能性を説明するために、一次の細分割を示す図である。 実施の形態に従って、平面間予測に関連して継承の体系を実装できる可能性を説明するために、下位の細分割を示す図である。 実施の形態に従って、継承の体系に関連して復号化のプロセスを示す構成図である。 実施の形態に従って、イントラ予測の対象となる小領域に関して、マルチツリーの細分割の小領域の走査の順序を示す模式図である。 実施の形態のデコーダを示す構成図である。 他の実施の形態での異なる細分割の可能性を示す模式図である。 他の実施の形態での異なる細分割の可能性を示す模式図である。 他の実施の形態での異なる細分割の可能性を示す模式図である。
以下の各図の説明では、複数の図に出現する要素は共通の符号で示し、これらの要素についての重複する説明は省略する。つまり、ある１つの図に出現している要素についての説明は、その説明が関連している限りは、その要素が出現する他の図にも適用される。
さらに、図１から図１１で説明されているエンコーダおよびデコーダの実施の形態を使って、以下の説明を始める。これらの図に対して説明されている実施の形態は、本願の多数の態様を組み合わせたものであるが、符号化体系の中で個別に実装される場合も効果が得られる。したがって、以下の図について、これらの実施の形態のそれぞれを個別に使用して上記の態様を利用する実施の形態は簡潔に説明され、図１および図１１について説明されている実施の形態の抽象的概念を異なる意味で表している。
図１は、本発明の実施の形態のエンコーダを示している。図１のエンコーダ１０は、予測部１２、残差プレコーダ１４、残差再構築部１６、データストリーム挿入部１８、および、ブロック分割部２０を備える。エンコーダ１０は、時間的・空間的にサンプリングされた情報信号をデータストリーム２２に符号化するためのものである。時間的・空間的にサンプリングされた情報信号は、たとえば、動画、すなわち一連の画像などであってもよい。各画像は、画像の標本の配列を表す。時間的・空間的な情報信号の他の例では、たとえば、タイムオブライトカメラなどでキャプチャーされる深度の画像などが含まれる。さらに、空間的にサンプリングされた情報信号には、フレームまたはタイムスタンプごとに複数の配列が含まれる場合があることに注意する必要がある。たとえば、フレームごとに１つの輝度の標本の配列が２つの彩度の標本の配列とともに含まれるカラーの動画の場合などである。また、情報信号の異なる構成要素、すなわち輝度および彩度の時間的なサンプリングレートは異なっていてもよい。空間的な解像度でも同様である。また、動画には、深度または透明度の情報などの空間的にサンプリングされた情報がさらに付随してもよい。しかし、以下の説明では、本願の主たる内容を理解しやすいように、まず、これらの配列の１つの処理を重点的に説明し、その後、複数の平面の扱いについて説明する。
図１のエンコーダ１０は、画像全体と個別の画像の標本との間に位置する粒度でデータストリーム２２の構文要素が画像を記述するように、データストリーム２２を作成するように構成されている。そのために、分割部２０は、各画像２４をさまざまなサイズの単連結領域２６に細分割するように構成されている。以下では、これらの領域は、単にブロックまたは小領域２６と呼ぶ。
以下でより詳細に説明するとおり、分割部２０は、画像２４をさまざまなサイズのブロック２６に細分割するために、マルチツリーの細分割を使用する。さらに正確に言えば、図１から図１１に関して以下で概説される特定の実施の形態では、ほとんどの場合、四分木の細分割を使用する。分割部２０は、以下で詳細に説明されるとおり、内部で連結されている細分割部２８を備えていてもよい。細分割部２８は、画像２４を上記ブロック２６に細分割する。細分割部２８は、結合部３０に連結されている。結合部３０は、画像２４の非細分割と細分割部２８によって定義される細分割との間に位置する効果的な細分割または粒度を取得するために、これらブロック２６のグループを結合できる。
図１に破線で示されているように、予測部１２、残差プレコーダ１４、残差再構築部１６、および、データストリーム挿入部１８が、分割部２０によって定義される画像の細分割を行う。たとえば、以下でより詳細に説明するとおり、予測部１２は、分割部２０によって定義される予測の細分割を使用して、次のことを行う。選択された予測モードに従ってそれぞれの小領域に対応する予測パラメータを設定して、それぞれ小領域が画像内予測または画像間予測の対象となる必要があるかについて、予測の細分割の個別の小領域のための判別を行う。
次に、残差プレコーダ１４は、予測部１２によって提供される画像２４の予測の残差のエンコーディングを行うために、画像２４の残差の細分割を使用してもよい。残差再構築部１６が、残差プレコーダ１４によって出力された構文要素から残差を再構築する際に、残差再構築部１６は、上記の残差の細分割も行う。データストリーム挿入部１８が上記の分割、すなわち予測および残差の細分割を利用して、以下を行ってもよい。たとえば、エントロピーエンコーディングなどを使用して残差プレコーダ１４および予測部１２によってデータストリーム２２へ出力された構文要素の挿入のために、構文要素のうち挿入の順序および隣接関係の判別を行う。
図１に示されるように、エンコーダ１０は、エンコーダ１０に元の情報信号が入力される入力部３２を備える。減算器３４、残差プレコーダ１４、および、データストリーム挿入部１８は、この順序で、入力部３２と、符号化されたデータストリーム２２が出力されるデータストリーム挿入部１８の出力部との間に直列に接続される。減算器３４および残差プレコーダ１４は、予測ループの一部である。予測ループは、残差プレコーダ１４の出力部と減算器３４の反転入力部との間に次の順序で直列に接続されている残差構築部１６、加算器３６、および、予測部１２で閉じられている。また、予測部１２の出力部も加算器３６のもう１つの入力部に接続されている。また、予測部１２は、入力部３２に直接接続される入力部を備え、オプションのループ内フィルタ３８を介して加算器３６の出力部にも接続されているもう１つの入力部を備えていてもよい。さらに、予測部１２は、動作中に付随する情報を生成するので、予測部１２の出力部はデータストリーム挿入部１８にも接続される。同様に、分割部２０は、データストリーム挿入部１８の別の入力部に接続される出力部を備える。
エンコーダ１０の構造について説明してきたが、以下では動作のモードについてより詳細に説明する。
上記で説明したとおり、分割部２０は、各画像２４について、小領域２６への細分割の方法を決定する。予測に使用される画像２４の細分割に従って、予測部１２は、この細分割に対応する各小領域について、それぞれの小領域の予測の方法を決定する。予測部１２は、減算器３４の反転入力部および加算器３６のもう１つの入力部に小領域の予測を出力し、予測部１２が動画のエンコーディング済みの部分からこの予測を取得する方法を反映した予測情報を、データストリーム挿入部１８に出力する。
減算器３４の出力部では、残差プレコーダ１４が、分割部２０によって指示される残差の細分割に従って、この予測の残差を処理して、予測の残差が得られる。図３から図１０を使用して以下にさらに詳細に説明するように、残差プレコーダ１４によって使用される画像２４の残差の細分割は、それぞれの予測の小領域が残差の小領域として採用されるか、または、より小さい残差の小領域にさらに細分割されるように、予測部１２によって使用される予測の細分割に関連していてもよい。また、完全に独立した予測および残差の細分割であってもよい。
残差プレコーダ１４は、それぞれの残差の小領域に対して、２次元変換による空間領域からスペクトル領域への変換を行う。結果として得られる変換ブロックの、結果として得られる変換係数の量子化が続いて行われるか、または、これを本質的に伴う。それによって、歪みが量子化のノイズの結果として起こる。たとえば、データストリーム挿入部１８は、たとえば、エントロピーエンコーディングなどを使用して、上記の変換係数を記述している構文要素のデータストリーム２２へのエンコーディングを無損失で行ってもよい。
次に、残差再構築部１６は、再変換を伴う再量子化を使用して、変換係数を残差信号に再変換する。予測の残差の取得のために、残差信号が、減算器３４によって使用される予測と加算器３６内で結合される。その結果、加算器３６の出力部で、現在の画像の再構築された部分または小領域が取得される。予測部１２は、再構築された画像の小領域をイントラ予測に直接使用してもよい。これは、隣接している再構築済みの予測の小領域からの推定によって、特定の予測の小領域の予測を行うためである。しかしながら、現在の小領域のスペクトルを隣接する小領域のスペクトルから直接予測することによってスペクトル領域内で行われるイントラ予測も、理論的には可能である。
平面間予測のために、予測部１２は、オプションのループ内フィルタ３８によってフィルタ処理が行われたバージョンの、エンコーディング済みで再構築済みの画像を使用してもよい。たとえば、ループ内フィルタ３８は、上述した量子化ノイズを形成することで効果を得られる伝達関数を有し、非ブロック化するフィルタおよび／または適応フィルタを備えていてもよい。
予測部１２は、画像２４内の元の標本と比較して、特定の予測の小領域の予測を行う方法を示す予測パラメータを選択する。以下でより詳細に説明しているように、予測パラメータは、それぞれの予測の小領域についての、画像内予測や画像間予測などの予測モードの指示を含んでいてもよい。画像内予測の場合、予測パラメータは、イントラ予測が行われる予測の小領域内の境界が主として延びる角度の指示を含んでいてもよい。画像間予測の場合は、運動ベクトル、動画のインデックス、さらに、高次の運動変換パラメータを含んでいてもよい。画像内予測および／または画像間予測の両方の場合は、現在の予測の小領域の予測の基になる再構築された画像の標本のフィルタ処理のための、オプションのフィルタ情報を含んでいてもよい。
以下でより詳細に説明するとおり、分割部２０によって定義される前述の細分割は、残差プレコーダ１４、予測部１２、および、データストリーム挿入部１８によって最大限達成できるレート／歪み率に大幅に影響を与える。細分割が緻密になると、予測部１２によって取得される予測は向上する可能性があり、残差プレコーダ１４によって符号化される残差信号は小さくなって少ないビット数で符号化される可能性があるが、予測部１２によって出力されデータストリーム２２に挿入される予測パラメータ４０に必要な符号化レートは非常に大きくなる。細分割が粗くなる場合は、その逆の状態となる。また、上記の考え方は、残差の細分割に対しても同様に当てはまる。個別の変換ブロックについて、より緻密な粒度で画像を変換すると、変換の演算の複雑さは低減され、結果として得られる変換で空間的な解像度は増加する。つまり、より小さい残差の小領域によって、個別の残差の小領域の内容のスペクトル分布の整合性が高まる。しかし、スペクトル分解能は低下し、有意な係数と、有意でない、すなわちゼロに量子化される係数との間の比率が悪化する。つまり、変換の粒度は、局所的に画像の内容に適応している必要がある。さらに、粒度が緻密になることのプラスの効果とは別に、粒度が緻密になると、通常は、デコーダに対して選択された細分割を示すために必要な、付随する情報の量が増加する。以下でより詳細に説明するとおり、後述する実施の形態では、エンコーディングされる情報信号の内容に対して非常に効果的に細分割に適応でき、符号化されたデータストリーム２２に細分割情報を挿入するようにデータストリーム挿入部１８に指示することによって、復号化の側に使用される細分割情報を伝達することができるエンコーダ１０について説明する。以下に詳細を示す。
しかしながら、分割部２０の細分割を詳細に定義する前に、本願の実施の形態に従うデコーダについて、図２で詳細に説明する。
図２のデコーダは符号１００で示され、抽出部１０２、分割部１０４、残差再構築部１０６、加算器１０８、予測部１１０、オプションのループ内フィルタ１１２、および、オプションのポストフィルタ１１４を備える。抽出部１０２は、符号化されたデータストリームをデコーダ１００の入力部１１６で受信し、符号化されたデータストリームの細分割情報１１８から、抽出部１０２が画像分割部１０４、予測部１１０、および、残差再構築部１０６にそれぞれ出力する予測パラメータ１２０および残差データ１２２を抽出する。残差再構築部１０６の出力部は、加算器１０８の第１の入力部に接続されている。加算器１０８の別の入力部と出力部は、予測ループに接続されている。予測ループには、オプションのループ内フィルタ１１２および予測部１１０がこの順序で直列に接続されていて、加算器１０８の出力部から予測部１１０へ直接バイパスする経路がある。これは、上述した図１の加算器３６と予測部１２との間の接続と同様で、すなわち、一方が画像内予測のためのもので、他方が画像間予測のためのものである。加算器１０８の出力部またはループ内フィルタ１１２の出力部のどちらかが、再構築された情報信号が再現装置などへ出力されるデコーダ１００の出力部１２４に接続されていてもよい。オプションのポストフィルタ１１４は、再構築された信号の視覚的印象についての画質を出力部１２４で向上させるために、出力部１２４への経路に接続されていてもよい。
概して、残差再構築部１０６、加算器１０８および予測部１１０は、図１の１６、３６および１２の各要素と同様の働きをする。言い換えれば、図１の上記の各要素の動作と同様の動作を行う。そのために、残差再構築部１０６および予測部１１０は、それぞれ、抽出部１０２からの細分割情報１１８に従って、予測パラメータ１２０と画像分割部１０４によって指示される細分割とによって制御される。これは、予測部１２が行った方法または行うと決定した方法と同じ方法で予測の小領域を予測し、受信された変換係数を、残差プレコーダ１４が変換を行ったのと同じ粒度で再変換することを目的としている。次に、画像分割部１０４は、細分割情報１１８を参照することによって、図１の分割部２０によって選択された細分割を、同期された方法で再編する。続いて、抽出部は、コンテキストの選択、隣接関係の判定、確率の推定、データストリームの構文の解析に関してなどのデータ抽出を制御するために、細分割情報を使用してもよい。
上記の実施の形態に関して、一部が異なる形態がいくつか考えられる。その一部について、細分割部２８によって行わる細分割、および、結合部３０によって行わる結合については、以下に詳細に説明する。その他については、図１２から図１６を用いて説明する。支障がない限り、これらの変形の実施の形態は全て、個別に、または、部分集合で、図１および図２についてそれぞれ上述した説明に適用されてもよい。たとえば、分割部２０および１０４は、画像ごとの予測の細分割および残差の細分割のみを判定しなくてもよい。そうではなく、予測または残差の符号化のための他の細分割に依存しない状態、または、依存する状態のどちらかで、オプションのループ内フィルタ３８および１１２のそれぞれのフィルタの細分割を判定してもよい。また、これらの要素による細分割の判定は、フレームごとに行われなくてもよい。そうではなく、特定のフレームで判定された細分割を、以降の特定の数のフレームに再使用または採用し、その後に新たな細分割に移行してもよい。
小領域への画像の分割に関してさらに詳細に説明するにあたって、以下の説明では、まず、細分割部２８、１０４ａが行う細分割の部分について重点的に説明する。続いて、結合部３０および結合部１０４ｂが行う結合のプロセスを説明する。最後に、平面間の適合／予測について説明する。
細分割部２８、１０４ａが画像を分割する場合、画像または動画のデータについての予測の符号化および残差の符号化を目的として、多数のブロックに画像を分割でき、ブロックはさまざまなサイズとなる可能性がある。上述したとおり、画像２４は、画像の標本値の１つ以上の配列として利用されてもよい。ＹＵＶ／ＹＣｂＣｒの色空間の場合、たとえば、第１の配列が輝度チャンネルを表し、他の２つの配列が彩度チャンネルを表していてもよい。これらの配列は、異なる次元を有していてもよい。全ての配列は、１つ以上の平面グループにグループ化されていてもよく、各平面グループは、各平面が１つのみの平面グループに含まれるように、１つ以上の連続した平面で構成される。それぞれの平面グループに関して、以下が適用される。特定の平面グループの第１の配列は、この平面グループの一次の配列と呼ばれる。他の配列が続く場合は、下位の配列となる。一次の配列のブロックの分割は、後述するとおり、四分木のアプローチに基づいて行われてもよい。下位の配列のブロックの分割は、一次の配列の分割に基づいて導き出されてもよい。
後述する実施の形態では、細分割部２８、１０４ａは、一次の配列を、多数の等しいサイズ正方形のブロック、いわゆるツリーブロックに次のように分割できるように構成されている。四分木が使用される場合、ツリーブロックの境界の長さは、一般的に、１６、３２、６４などの２のべき乗である。しかし、厳密には、二分木や、任意の数のリーフを持つツリーなど、他のツリーのタイプを使用することもできることに注意されたい。さらに、ツリーの子の数は、ツリーのレベルやツリーが表している信号に応じて、さまざまな数になる。
この他にも、上述したとおり、標本の配列は、深度のマップや光照射野など、動画のシーケンス以外の情報を表していてもよい。説明を簡潔にするために、以下では、マルチツリーの代表例として四分木について重点的に説明する。四分木とは、それぞれの内部のノードで厳密に４つの子を有するツリーである。各ツリーブロックは、一次の四分木を構成し、一次の四分木の各リーフで下位の四分木が構成される。一次の四分木は、予測のために所定のツリーブロックの細分割を判定し、下位の四分木は、残差の符号化のために所定の予測ブロックの細分割を判定する。
一次の四分木のルートノードは、完全なツリーブロックに対応する。たとえば、図３Ａは、ツリーブロック１５０を表す。各画像は、たとえば、標本の配列が隙間なくカバーされるように、ツリーブロック１５０のように線と列で規則的な格子状に分割されることを想定する。しかし、以下に示すブロックの細分割の全てについて、重なりのないシームレスな細分割が必須であるわけではないことに注意されたい。そうではなく、隣接するリーフブロックの適正な下位の部分となっているリーフブロックがない限りは、隣接するブロックは互いに重なっていてもよい。
ツリーブロック１５０の四分木の構造に沿って、各ノードはさらに４つの子ノードに分割できる。これは、一次の四分木の場合、それぞれのツリーブロック１５０は、ツリーブロック１５０の半分の幅と高さの４つのサブブロックに分割できることを意味する。図３Ａでは、これらのサブブロックは、符号１５２ａから１５２ｄで示している。同様の方法で、これらのサブブロックはそれぞれ、元のサブブロック半分の幅と高さの、より小さい４つのサブブロックにさらに分割できる。図３ｄでは、サブブロック１５２ｃの例が示され、４つの小さなサブブロック１５４ａから１５４ｄに細分割されている。図３Ａから３Ｃでは、例としてツリーブロック１５０が次のように分割される様子が示されている。ツリーブロック１５０は、まず、４つのサブブロック１５２ａから１５２ｄに分割される。続いて左下のサブブロック１５２ｃが４つの小さなサブブロック１５４ａから１５４ｄにさらに分割される。最終的に、図３Ｃに示されているとおり、これらのより小さいサブブロックのうちの右上のブロック１５４ｂが、元のツリーブロック１５０の１／８の幅および高さを有する４つのブロックに再度分割される。これらのさらに小さいブロックは、１５６ａから１５６ｄで示されている。
図４は、図３Ａから図３ｄで示した四分木に基づいた分割の例の基本となるツリー構造を示している。ツリーのノードの横の数字は、細分割フラグと呼ばれる値で、四分木の構造の情報伝達について説明する際に、詳細を後述する。四分木のルートノードは、図の最上部に示されている（「レベル０」）。このルートノードのレベル１での４つの分岐は、図３Ａで示した４つのサブブロックに対応する。図３Ｂで、これらのサブブロックのうちの３つ目がさらに４つのサブブロックに細分割されているので、図４のレベル１の３つ目のノードにも４つの分岐がある。さらに、図３Ｃの２つめ（右上）の子ノードの細分割に対応して、四分木の階層のレベル２で２つめのノードに接続している、４つの下位の分岐がある。レベル３のノードは、それ以上細分割されてはいない。
一次の四分木の各リーフは、可変サイズのブロックに対応し、これに対して個別の予測パラメータを指定できる（すなわち、イントラ予測モードまたは平面間予測モードや運動パラメータなど）。以下では、これらのブロックを予測ブロックと呼ぶ。これらのリーフブロックは、具体的には、図３Ｃに示されている。ここで簡単に図１および図２の説明を参照すると、分割部２０または細分割部２８が、上述した四分木の細分割の判定を行う。細分割部１５２ａ〜１５２ｄは、ツリーブロック１５０、サブブロック１５２ａから１５２ｄ、小さいサブブロック１５４ａから１５４ｄなどのうちのどれが細分割されたりさらに区分化されたりするかの判定を行う。これは、上記で既に示しているように、緻密な予測と細分割と粗い予測の細分割との間の最適なトレードオフを求めることを目的としている。次に、予測部１２は、予測の細分割に応じた粒度で上述した予測パラメータを判定するために、指示された予測の細分割を使用する。あるいは、図３Ｃなどで示したブロックによって表される予測の小領域のそれぞれについて、指示された予測の細分割を使用する。
図３Ｃに示した予測ブロックは、残差の符号化を目的として、さらに小さいブロックに分割できる。各予測ブロックに対して、すなわち、一次の四分木の各リーフノードに対して、残差の符号化のために、１つ以上の下位の四分木によって、対応する細分割が決定される。たとえば、残差ブロックのサイズが最大で１６×１６の場合は、所定の３２×３２の予測ブロックは４つの１６×１６のブロックに分割でき、それぞれ、残差の符号化のために、下位の四分木によって決定される。この例の１６×１６の各ブロックは、下位の四分木のルートノードに対応する。
所定のツリーブロックの予測ブロックへの細分割の場合の説明と同様に、下位の四分木を分解することによって各予測ブロックを多数の残差ブロックに分割できる。下位の四分木の各リーフは、残差ブロックに対応する。残差の符号化パラメータによって制御される残差プレコーダ１４、続いて残差再構築部１６、１０６によって、残差ブロックに、個別の残差の符号化パラメータを指定できる（すなわち、変換モード、変換係数など）。
言い換えると、細分割部２８は、各画像または画像の各グループについて、予測の細分割および下位の残差の細分割を判定するように構成されていてもよい。これは次のように行われる。まず、画像を、ツリーブロック１５０の規則的な配列に分割し、四分木の細分割によって再帰的にこれらのツリーブロックの部分集合を区分化し、予測の細分割を予測ブロックに取得する。それぞれのツリーブロック、または、四分木の細分割のリーフブロックで区分化が行われない場合は、予測ブロックは、ツリーブロックであってもよい。続いて、これらの予測ブロックの部分集合を同様の方法で次のようにさらに細分割する。予測ブロックが下位の残差の細分割の最大サイズよりも大きい場合は、まず、それぞれの予測ブロックをサブツリーブロックの規則的な配列に分割する。続いて、四分木の細分割の手順に従って、これらのサブツリーブロックの部分集合を細分割し、残差ブロックを取得する。それぞれの予測ブロックでサブツリーブロックへの分割が行われない場合は、残差ブロックは、予測ブロックであってもよい。また、それぞれのサブツリーブロック、または、残差の四分木の細分割リーフブロックで、さらに小さい領域への分割が行われない場合は、サブツリーブロックであってもよい。
上記で概説したとおり、一次の配列に対して選択された細分割は、下位の配列にマッピングされてもよい。これは、一次の配列と同じ次元の下位の配列を考慮すると容易である。しかし、一次の配列の次元と下位の配列の次元が異なる場合は、特別な方法が必要である。一般的に、一次の配列の細分割を次元が異なる下位の配列にマッピングするには、空間的なマッピング、すなわち、一次の配列の細分割のブロックの境界を下位の配列に空間的にマッピングすることによって可能である。特に、それぞれの下位の配列について、一次の配列の下位の配列に対する次元の比率を判定する、水平方向および垂直方向の倍率が使用されてもよい。予測および残差の符号化のための下位の配列からサブブロックへの分割は、一次の配列の配列された各ツリーブロックの一次の四分木および下位の四分木によって、相対的な倍率を適用した結果として得られる下位の配列のツリーブロックを使用して、判定されてもよい。水平方向および垂直方向の倍率が異なる場合（たとえば、４：２：２の彩度の下位サンプリングなど）は、下位の配列の結果として得られる予測ブロックおよび残差ブロックは、正方形ではなくなる。この場合、（シーケンス全体、シーケンスのうちの１つの画像、または、単一の予測ブロックまたは残差ブロックのそれぞれについて）正方形ではない残差ブロックが正方形のブロックに分割されるか否かを、状況に合わせて、事前に決定するか、または、選択することが可能である。たとえば、１つめのケースでは、マッピングされたブロックが正方形でない場合に、エンコーダおよびデコーダは、正方形のブロックへの細分割を承諾する。２つめのケースでは、細分割部２８がデータストリーム挿入部１８およびデータストリーム２２を介して細分割部１０４ａへ選択の信号を送る。たとえば、４：２：２の彩度の下位サンプリングの場合で、下位の配列の幅が一次の配列の半分で高さが同じ場合、残差ブロックの高さは幅の２倍である。このブロックを垂直に分割することによって、１つのブロックから２つの正方形のブロックが再度得られる。
上述したとおり、細分割部２８または分割部２０は、それぞれ、データストリーム２２を介して細分割部１０４ａへ四分木に基づいた分割を情報伝達する。そのために、細分割部２８は、データストリーム挿入部１８に画像２４に対して選択された細分割を通知する。続いて、データストリーム挿入部は、一次の四分木および二次の四分木の構造、すなわち、データストリームまたはビットストリーム２２内での予測または残差の符号化のための可変サイズのブロックへの画像の配列の分割について、復号化の側へ伝送する。
最小および最大の許容ブロックサイズは、付随する情報として伝送され、画像ごとに変更してもよい。また、最小および最大の許容ブロックサイズは、エンコーダおよびデコーダ内で固定できる。これらの最小および最大のブロックサイズは、予測ブロックと残差ブロックで異なる場合がある。四分木の構造を情報伝達するために、四分木は、トラバースされる必要があり、各ノードについて、この特定のノードが四分木のリーフノードである（すなわち、対応するブロックがさらに細分割されていない）か、または、４つの子ノードに分岐する（すなわち、対応するブロックが半分のサイズの４つのサブブロックに分割されている）か、が指定される必要がある。
１つの画像内での情報伝達は、図５Ａの１４０に示すように、左から右および上から下などのラスター走査の順序で、ツリーブロックごとに行われる。この走査の順序も別の順序でもよく、右下から左上や、チェッカー盤状でもよい。好適な実施の形態では、細分割情報を伝達するために、各ツリーブロック、すなわち各四分木は、深度順でトラバースされる。
好適な実施の形態では、細分割情報、すなわちツリーの構造だけでなく、予測データなど、すなわち、ツリーのリーフノードに関連付けられているペイロードも深度順で伝送／処理される。このように行われる理由は、深度順のトラバースには幅の順よりも大きな利点があるためである。図５Ｂでは、ａ、ｂ、…、ｊで示されるリーフノードを持つ四分木の構造が示されている。図５Ａは、結果として得られるブロックの分割を示している。ブロック／リーフノードが幅の順にトラバースされる場合は、ａｂｊｃｈｉｄｅｆｇの順で取得される。一方、深度順では、ａｂｃ…ｉｊとなる。図５Ａから分かるように、深度順の場合、左に隣接するブロックおよび上部に隣接するブロックは常に、現在のブロックよりも前に伝送／処理される。このように、運動ベクトル予測およびコンテキストモデリングでは、左および上部に隣接するブロックに指定されたパラメータを常に使用して、符号化の効率の向上を実現できる。幅の順の場合は、たとえばブロックｊはブロックｅ、ｇ、ｉよりも前に伝送されるので、このようにはならない。
最終的に、各ノードについて、対応するブロックが４つのサブブロックに分割されるか否かを指定するフラグが伝送されるように、一次の四分木の構造に沿って、各ツリーブロックについての情報伝達が再帰的に行われる。このフラグの値が「１」（「ｔｒｕｅ」を示す）の場合は、この情報伝達のプロセスが、４つの子ノードすなわちサブブロックの全てについて、ラスター走査の順序（上部左、上部右、下部左、下部右）で、一次の四分木のリーフノードに到達するまで再帰的に繰り返される。リーフノードは、値が「０」の細分割フラグを持つことを特徴とする。ノードが、一次の四分木の最下層の階層レベルに存在し、予測ブロックの最小の許容サイズに相当する場合は、細分割フラグは伝送される必要はない。図３Ａから図３Ｃの例では、図６Ａの１９０で示すように、最初に「１」が送信され、これはツリーブロック１５０が４つのサブブロック１５２ａ〜１５２ｄに分割されるように指定している。続いて、ラスター走査の順序２００で、４つのサブブロック１５２ａ〜１５２ｄの全てについての細分割情報のエンコーディングが再帰的に行われる。最初の２つのサブブロック１５２ａおよび１５２ｂについては、細分割が行われないことを指定する「０」が送信される（図６Ａの２０２を参照）。３つめのサブブロック１５２ｃ（下部左）については、このブロックが細分割されることを指定する「１」が送信される（図６Ａの２０４を参照）。これにより、再帰的なアプローチによって、このブロックの４つのサブブロック１５４ａ〜１５４ｄが処理される。ここで、最初のサブブロックについては「０」が送信され（２０６）、２つめの（上部右）のサブブロックについては「１」が送信される（２０８）。これにより、図３Ｃ内で最小のブロックサイズとなる４つのブロック１５６ａ〜１５６ｄが処理される。本例での最小の許容ブロックサイズに到達した場合は、さらに細分割を行うことはできないので、これ以上のデータを伝送する必要はない。あるいは、図６Ａの２１０で示すように、これらのブロックがこれ以上分割されないことを指定する「００００」が伝送される。この後、図３Ｂの下部の２つのブロックについて、「００」が送信され（図６Ａの２１２を参照）、最後に、図３Ａの下部右のブロックについて、「０」が送信される（２１４を参照）。このように、四分木の構造を表す完全な２進列は、全体で、図６Ａのようになる。
図６Ａで示したこの２進列で、背景の陰影が異なっているのは、四分木に基づいた細分割の階層のレベルが異なっていることに対応している。陰影２１６はレベル０を表し（元のツリーブロックサイズに等しいブロックサイズに対応する）、陰影２１８はレベル１を表す（元のツリーブロックサイズの半分に等しいブロックサイズに対応する）。陰影２２０はレベル２を表し（元のツリーブロックサイズの１／４に等しいブロックサイズに対応する）、陰影２２２はレベル３を表す（元のツリーブロックサイズの１／８に等しいブロックサイズに対応する）。同じ階層レベル（同じブロックサイズに対応し、例示された２進列での同じ表現に対応する）の細分割フラグは全て、たとえば、挿入部１８によって、１つの同じ確率モデルを使用してエントロピー符号化されてもよい。
幅の順のトラバースの場合は、細分割情報は、図６ｂに示したような異なった順序で伝送される。
予測を目的とした各ツリーブロックの細分割と同様に、結果として得られる各予測ブロックから残差ブロックへの分割もビットストリーム内で伝送される必要がある。また、付随する情報として伝送される残差の符号化について最大および最小のブロックサイズがあってもよく、これは画像ごとに変更してもよい。また、残差の符号化についての最大および最小のブロックサイズはエンコーダおよびデコーダ内で固定できる。図３Ｃで示しているような一次の四分木の各リーフノードで、対応する予測ブロックは、最大許容サイズの残差ブロックに分割されてもよい。これらのブロックは、残差の符号化のための下位の四分木の構造を構成するルートノードである。たとえば、画像の残差ブロックの最大サイズが６４×６４で予測ブロックのサイズが３２×３２の場合は、予測ブロック全体は、３２×３２のサイズの下位（残差）の四分木のルートノード１つに対応する。一方、画像の残差ブロックの最大サイズが１６×１６の場合は、３２×３２の予測ブロックは、１６×１６のサイズの、残差の四分木のルートノード４つで構成される。各予測ブロック内で、ルートノードごとにラスター走査の順序（左から右、上部から下部）で、下位の四分木の構造の情報伝達が行われる。一次（予測）の四分木の構造の場合のように、各ノードについて、フラグが符号化され、この特定のノードが４つの子ノードに分割されるか否かが指定される。そして、このフラグの値が「１」の場合は、対応する４つの子ノードと対応するサブブロックの全てについて、ラスター走査の順序（上部左、上部右、下部左、下部右）で、下位の四分木のリーフノードに到達するまで、この手順が再帰的に繰り返される。一次の四分木の場合のように、下位の四分木の最下層の階層レベルのノードについては情報伝達の必要はない。なぜなら、これらのノードは、残差ブロックの最小サイズのブロックに対応していて、これ以上分割できないからである。
エントロピー符号化のために、同じブロックサイズの残差ブロックに属している残差ブロックの細分割フラグを、１つの同じ確率モデルを使用してエンコーディングしてもよい。
このように、図３Ａから図６Ａに基づいて上記で示した例に従って、細分割部２８が、予測を目的とした一次の細分割と、残差の符号化を目的とした、一次の細分割の異なるサイズのブロックの下位の細分割とを定義した。データストリーム挿入部１８は、各ツリーブロックについてジグザグ走査順で、図６Ａに従って構築されるビットシーケンスの情報伝達によって、一次の細分割の符号化を行い、あわせて、一次のブロックの最大サイズおよび一次の細分割の最大階層レベルの符号化を行った。このように定義された各予測ブロックについて、関連付けられた予測パラメータがデータストリームに含められている。また、残差の細分割の最大サイズ以下であった各予測ブロックについて、および、残差ブロックについて定義された最大サイズを超える、予測ブロックから分割済みの残差のツリーのルートの各ブロックについて、同様の情報、すなわち、最大サイズ、最大階層レベル、および、図６Ａのようなビットシーケンスの符号化が行われた。このように定義された各残差ブロックについて、残差データがデータストリームに挿入されている。
抽出部１０２は、入力部１１６でデータストリームから各ビットシーケンスを抽出し、取得した細分割情報を分割部１０４に通知する。さらに、データストリーム挿入部１８および抽出部１０２は、予測ブロックおよび残差ブロックの間で上記の順序を使用して、残差プレコーダ１４によって出力された残差データや予測部１２によって出力された予測パラメータなどの構文要素をさらに送信してもよい。この順序を使用すると、隣接するブロックの符号化／復号化済みの構文要素を利用することによって、特定のブロックの個別の構文要素のエンコーディングに適したコンテキストを選択できる場合があるという点で利点がある。さらに、残差プレコーダ１４および予測部１２と同様に、残差再構築部１０６およびプレコーダ１１０も、上記で概説されている順序で個別の予測ブロックおよび残差ブロックを処理してもよい。
図７は、上記で概説した方法でエンコーディングが行われる場合に、細分割情報をデータストリーム２２から抽出するために抽出部１０２で行われるステップを示したフローチャートである。最初のステップでは、抽出部１０２が画像２４をツリーのルートのブロック１５０に分割する。このステップは、図７ではステップ３００として示している。ステップ３００で、抽出部１０２がデータストリーム２２から予測ブロックの最大サイズを抽出してもよい。あるいは、代わりに、ステップ３００で、抽出部１０２がデータストリーム２２から最大階層レベルを抽出してもよい。
次に、ステップ３０２では、抽出部１０２がデータストリームからフラグまたはビットを復号化する。はじめてステップ３０２が行われる場合、抽出部１０２は、各フラグが、ツリーのルートのブロックの走査の順序１４０において、ツリーのルートの最初のブロック１５０に属しているビットシーケンスの最初のフラグであることを認識する。このフラグは階層レベル０のフラグなので、抽出部１０２は、ステップ３０２でその階層レベル０と関連付けられているコンテキストモデリングを使用して、コンテキストを判定できる。各コンテキストで、関連付けられているフラグのエントロピー復号化について、それぞれの確率の推定を行ってもよい。コンテキストの確率の推定は、それぞれのコンテキストのシンボルの統計量に対してコンテキスト別に適応されてもよい。たとえば、ステップ３０２での階層レベル０のフラグの復号化に適したコンテキストを判定するために、抽出部１０２は、コンテキストの集合のうちの、次のような１つのコンテキストを選択してもよい。そのコンテキストは、隣接するツリーブロックの階層レベル０のフラグに応じて、あるいは、さらに、上部および左の隣接するツリーブロックなど、現在処理されているツリーブロックに隣接するツリーブロックの四分木の細分割を定義するビット列内に含まれている情報に応じて、その階層レベル０に関連付けられている。
次のステップ、すなわち、ステップ３０４では、抽出部１０２が、直近に復号化されたフラグが区分化を示唆しているか否かについて確認する。示唆している場合は、抽出部１０２は、ステップ３０６で、現在のブロック（ここではツリーブロック）の区分化を行うか、または、この区分化を細分割部１０４ａに示す。そして、ステップ３０８で、現在の階層レベルが最大階層レベルから１を引いたものに等しい否かについて確認する。たとえば、抽出部１０２が、ステップ３００でデータストリームから抽出された最大階層レベルを保持していてもよい。現在の階層レベルが最大階層レベルから１を引いたものと等しくない場合は、抽出部１０２は、ステップ３１０で現在の階層レベルを１つ増やし、ステップ３０２に戻って、データストリームから次のフラグを復号化する。ここで、ステップ３０２で復号化されるフラグは、別の階層レベルに属しているため、実施の形態に従って、抽出部１０２は、現在の階層レベルに属している別のコンテキストの集合のうちの１つを選択してもよい。この選択は、復号化済みの隣接するツリーブロックの、図６Ａのような細分割のビットシーケンスに基づいて行われてもよい。
フラグが復号化され、このフラグが現在のブロックの区分化を示唆していないことがステップ３０４で確認された場合は、抽出部１０２はステップ３１２に進んで、現在の階層レベルが０であるか否かについて確認する。０である場合は、抽出部１０２は、ステップ３１４で、走査の順序１４０で次のツリーのルートのブロックの処理を行う。あるいは、処理されるツリーのルートのブロックが残っていない場合は、細分割情報の抽出の処理を停止する。
図７の説明では、予測の細分割についての細分割を示すフラグの復号化のみを重点的に説明していることに注意する必要がある。実際には、ステップ３１４では、現在のツリーブロックなどに関連する他のビンまたは構文要素の復号化も含まれる可能性がある。いずれの場合でも、さらに次のツリーのルートのブロックが存在する場合は、抽出部１０２はステップ３１４からステップ３０２に進み、細分割情報からの次のフラグ、すなわち、新たなツリーのルートのブロックに関するフラグシーケンスの最初のフラグを復号化する。
ステップ３１２で階層レベルが０でないと判明した場合は、ステップ３１６に進み、現在のノードに関連する子ノードがさらに存在するか否かについて確認される。つまり、抽出部１０２がステップ３１６の確認を行う際には、現在の階層レベルが０以外の階層レベルであることはステップ３１２で既に確認済みである。ツリーのルートのブロック１５０またはより小さいブロック１５２ａ〜１５２ｄのうちの１つ、さらには小さいブロック１５２ａ〜１５２ｄなどに属している親ノードが存在する。直近に復号化されたフラグが属しているツリー構造のノードは親ノードを持ち、これは、現在のツリー構造の他の３つのノードでも共通である。共通の親ノードを持つそういった子ノードの走査の順序は、図３Ａで、階層レベル０の場合を符号２００で例示している。このように、ステップ３１６では、図７の処理でこれらの４つの子ノード全てが走査済みか否かについて抽出部１０２が確認する。そうでない場合、すなわち、現在の親ノードとともにさらに子ノードがある場合は、図７の処理はステップ３１８に進む。ジグザグ走査の順序２００に従って現在の階層レベル内の次の子ノードが走査される。これによって、対応するサブブロックは、処理７の現在のブロックを表すようになる。その後、ステップ３０２で、現在のブロックまたは現在のノードに関するデータストリームから、フラグが復号化される。しかし、ステップ３１６で現在の親ノードの子ノードがそれ以上ない場合は、図７の処理はステップ３２０に進み、現在の階層レベルが１つ減らされて、処理はステップ３１２に進む。
抽出部１０２および細分割部１０４ａは、図７で示したステップを行うことによって、エンコーダ側で選択された細分割をデータストリームから取得するように連動する。図７の処理は、上述した場合での予測の細分割についてまとめたものである。図８は、図７のフローチャートと組み合わされるものであり、抽出部１０２および細分割部１０４ａが残差の細分割をデータストリームから取得するように連動する方法を示している。
図８は、特に、予測の細分割の結果として得られる各予測ブロックに対して抽出部１０２および細分割部１０４ａによって行われるステップを示している。これらの予測ブロックは、上述したとおり、予測の細分割のツリーブロック１５０内のジグザグ走査の順序１４０に従い、深度順のトラバースの順序で、リーフブロックをトラバースするために現在走査されている各ツリーブロック１５０内を、たとえば図３Ｃに示したように、トラバースされる。深度順のトラバースの順序に従って、区分化された一次のツリーブロックのリーフブロックが走査される。共通の現在のノードが属している特定の階層レベルのサブブロックがジグザグ走査の順序２００で走査され、これらの各サブブロックの細分割を先に走査し、続いて、このジグザグ走査の順序２００で次のサブブロックに進む。
図３Ｃの例では、ツリーブロック１５０のリーフノード間での結果的な走査の順序を、符号３５０で示している。
現在走査されている予測ブロックに対して、図８の処理はステップ４００から開始される。ステップ４００では、現在のブロックの現在のサイズを表す内部パラメータが、残差の細分割の階層レベル０のサイズ、すなわち、残差の細分割の最大ブロックサイズと等しく設定される。残差ブロックの最大サイズは、予測の細分割の最小ブロックサイズよりも小さい場合があり、また、それ以上の大きさの場合もあることに注意する必要がある。言い換えると、実施の形態においては、エンコーダは、上記の可能性から自由に選択できる。
次のステップ、すなわちステップ４０２では、現在走査されているブロックの予測ブロックのサイズが、現在のサイズを表す内部パラメータよりも大きいか否かについての確認が行われる。内部パラメータよりも大きい場合は、現在走査されている予測ブロックは、残差ブロックの最大サイズよりも大きい。この予測ブロックは、予測の細分割のリーフブロック、または、予測の細分割のツリーブロックであり、それ以上区分化されていない。この場合は、図８の処理は、図７のステップ３００に進む。つまり、現在走査されている予測ブロックは、残差のツリールートのブロックに分割され、現在走査されているこの予測ブロック内の最初の残差ツリーブロックのフラグシーケンスの最初のフラグが、ステップ３０２などで復号化される。
しかし、現在走査されている予測ブロックのサイズが、現在のサイズを表す内部パラメータ以下の場合は、図８の処理はステップ４０４に進み、予測ブロックのサイズが確認されて、現在のサイズを表す内部パラメータに等しいか否かについて判定される。等しい場合は、分割ステップ３００はスキップされてもよく、処理は直接図７のステップ３０２へ進む。
しかし、現在走査されている予測ブロックのサイズが、現在のサイズを表す内部パラメータよりも小さい場合は、図８の処理はステップ４０６へ進み、階層レベルが１つ増やされ、現在のサイズが、２で割った値（四分木の細分割の場合は、両方の軸方向で）などの新たな階層レベルのサイズに設定される。その後、ステップ４０４の確認が再度行われる。ステップ４０４および４０６で形成されるループの効果は、各予測ブロックが残差ブロックの最大サイズ未満か以上かに関係なく、区分化される対応するブロックのサイズに階層レベルが常に対応していることである。このように、ステップ３０２でフラグを復号化する際に、フラグが参照する階層レベルとブロックのサイズとの両方に応じて、コンテキストモデリングが行われる。異なる階層レベルまたはブロックサイズのフラグに異なるコンテキストを使用することによって、次のような利点がある。フラグの値の発生に関して、確率の推定の実際の確率の分布への適合度が高い。その一方で、管理されるコンテキストの数が比較的少ない。その結果、コンテキストの管理のオーバーヘッドが減り、また、実際のシンボルの統計量へのコンテキストの適合度が高くなる。
上述したとおり、複数の標本の配列があってもよく、これらの標本の配列は１つ以上の平面グループにグループ化されていてもよい。入力部３２に入力されてエンコーディングされる入力信号は、たとえば、動画のシーケンスのうちの１つの画像であってもよいし、静止画であってもよい。このように、画像は１つ以上の標本配列の形式で提供されてもよい。動画のシーケンスの画像または静止画の符号化のコンテキストでは、標本配列が、赤、緑、および青のような３つの色平面や、ＹＵＶまたはＹＣｂＣｒの色表現などの輝度および彩度の平面を参照する場合がある。また、アルファ、すなわち透明度を表す標本配列および／または、３Ｄ動画素材用の深度の情報も存在する場合がある。多数のこういった標本配列が、いわゆる平面グループとしてまとまってグループ化されていてもよい。たとえば、輝度（Ｙ）が、１つのみの標本配列を持った１つの平面グループで、ＹＣｂＣｒなどの彩度が、２つの標本配列を持った別の平面グループである場合がある。また、他の例では、ＵＶが、３つの行列を持った１つの平面グループで、３Ｄ動画素材用の深度の情報が、１つのみの標本配列を持った別の平面グループである場合がある。全ての平面グループについて、予測ブロックへの分割を表すために、データストリーム２２内で、１つの一次の四分木の構造が符号化され、各予測ブロックについて、残差ブロックへの分割を表す二次の四分木の構造が符号化されてもよい。よって、輝度の要素が１つの平面グループであり、彩度の要素が他の平面グループを形成する上記の１つめの例に従うと、輝度の平面の予測ブロックについての１つの四分木の構造と、輝度の平面の残差ブロックについての１つの四分木の構造と、彩度の平面の予測ブロックについての１つの四分木の構造と、彩度の平面の残差ブロックについての１つの四分木の構造とが存在する。しかし、上記の２つめの例では、輝度および彩度の両方（ＹＵＶ）の予測ブロックについての１つの四分木の構造と、輝度および彩度の両方（ＹＵＶ）の残差ブロックについての１つの四分木の構造と、３Ｄ動画素材用の深度の情報の予測ブロックについての１つの四分木の構造と、３Ｄ動画素材用の深度の情報の残差ブロックについての１つの四分木の構造とが存在する。
さらに、上述の説明では、一次の四分木の構造を使用して入力信号が予測ブロックに分割され、下位の四分木の構造を使用してこれらの予測ブロックがさらに残差ブロックに細分割される方法について説明した。別の実施の形態では、細分割が下位の四分木の段階で終了しなくてもよい。つまり、下位の四分木の構造を使用した分割で得られるブロックが、第３の四分木の構造を使用してさらに細分割されてもよい。この分割は、残差信号のエンコーディングを容易にする符号化ツールをさらに使用することを目的として行われてもよい。
上述の説明では、それぞれ細分割部２８および細分割部１０４ａによって行われる細分割を重点的に説明している。上述したとおり、細分割は、細分割部２８、１０４ａによってそれぞれ定義され、エンコーダ１０およびデコーダ１００の上記のモジュールが処理を行う粒度が制御される。しかし、以下で説明する実施の形態では、結合部３０および結合部１０４ｂが、それぞれ、細分割部２２８、１０４ａの後に続く。ただし、結合部３０、１０４ｂはオプションであり、なくても構わない。
しかし、実際には、以下でより詳細に説明するとおり、結合部がエンコーダに、予測ブロックまたは残差ブロックの一部をグループまたはクラスタにまとめる機会を提供し、他のモジュール、少なくとも他のモジュールの一部がこれらのブロックのグループをまとめて取り扱うことができるようにする。たとえば、このグループに属している全てのブロックについての共通のパラメータの伝送を伴った予測ブロックのグループ化の情報伝達の方が、これらの予測ブロックの全てについて個別に予測パラメータの情報伝達よりも、レート／歪み率の点で見込みがある場合は、予測部１２が、細分割部２８の細分割を使用した最適化によって決定されるように、一部の予測ブロックの予測パラメータ間の小さな偏差を犠牲にし、その代わりにこれらの予測ブロックの全てに共通の予測パラメータを使用してもよい。しかし、これらの共通の予測パラメータに基づいて予測部１２および１１０自体で予測を取得する処理は、予測ブロックに関して行われてもよい。しかし、予測ブロックのグループ全体について予測部１２および１１０が一旦予測の処理を行うことも可能である。
以下でより詳細に説明するとおり、次のことも可能である。予測ブロックのグループ化は、予測ブロックのグループに同一または共通の予測パラメータを使用することだけが目的ではなく、あるいは、またはさらにこれによって、エンコーダ１０が、このグループ用の１つの予測パラメータを、このグループに属している予測ブロックの予測の残差とともに送信でき、このグループの予測パラメータの情報伝達のオーバーヘッドを減少させることができる。残差プレコーダ１４および予測部１２による決定よりも、データストリーム挿入部１８への結合の処理の影響は少ない。ただし、詳細については以下で説明する。厳密に言うと、上記の態様は、上述した残差の細分割やフィルタの細分割などの他の細分割にも適用されることに注意する必要がある。
まず、上述した予測ブロックや残差ブロックなどの標本の集合の結合は、さまざまな実現の方法があり、すなわち、上述したマルチツリーの細分割に限らない。ただし、以下の説明では、上記の実施の形態でのマルチツリーの細分割の結果として得られるブロックの結合について重点的に説明する。
一般的に、関連付けられている符号化パラメータの伝送を目的として、特定の標本の集合に関連付けられている構文要素を結合すると、画像および動画の符号化で、付随する情報のレートを減少させることが可能である。たとえば、通常、エンコーディングされる信号の標本配列は、特定の標本の集合に区分化される。特定の標本の集合は、長方形または正方形のブロックを表す場合や、三角形などの任意の形状の領域を含む他の標本の集合を表す場合がある。前述の実施の形態では、単連結領域は、マルチツリーの細分割の結果として得られる予測ブロックおよび残差ブロックであった。標本配列の細分割は、構文によって固定されてもよく、また、上述したように、ビットストリーム内で、少なくとも部分的に、細分割情報が伝達されてもよい。細分割情報を伝達するための付随する情報のレートを小さく抑えておくために、より小さいブロックへのブロックの細分割などの単純な区分化となる選択は、通常、構文は限られた数しか許可しない。標本の集合は特定の符号化パラメータに関連付けられていて、符号化パラメータによって、予測の情報や残差の符号化のモードなどが指定される。これに関しての詳細は、上記で説明している。標本の各集合について、予測および／または残差の符号化を指定する個別の符号化パラメータが伝送されてもよい。符号化の効率の向上を実現するために、後述する結合の態様、すなわち、２つ以上の標本の集合を標本の集合のいわゆるグループに結合することによって、いくつかの利点が得られる。これらの利点について、以下でさらに説明する。たとえば、標本の集合は、そういったグループの全ての標本の集合が同じ符号化パラメータを共有するように結合されてもよい。同じ符号化パラメータは、グループ内の標本の集合の１つとあわせて伝送できる。そうすることによって、符号化パラメータを標本の集合のグループの標本の各集合に個別に伝送する必要がなくなり、その代わりに、標本の集合のグループ全体に符号化パラメータが一度だけ伝送される。その結果、符号化パラメータの伝送のための付随する情報のレートが減少し、符号化の全体の効率が改善される可能性がある。別のアプローチとして、標本の集合のグループの１つ以上の標本の集合に、１つ以上の符号化パラメータについての追加のリファインメントを伝送することが可能である。リファインメントは、グループの標本の集合の全てへの適用、または、伝送される標本の集合のみへの適用のどちらかが可能である。
また、以下でさらに説明する結合の態様によって、エンコーダは、ビットストリーム２２の作成についての自由度が増す。なぜなら、結合のアプローチによって、画像の標本配列の区分化の選択肢が著しく増加するからである。エンコーダが、特定のレート／歪みの量の最小化などのために、より多くの選択肢から選択できるので、符号化の効率を向上させることが可能である。エンコーダの動作にはいくつかの選択肢がある。簡易なアプローチでは、エンコーダが、まず、標本配列の最適な細分割を判定する。図１を簡単に参照すると、細分割部２８が最初の段階で最適な細分割を判定できる。その後、別の標本の集合、または、標本の集合の別のグループとの結合によって、特定のレート／歪みの損失量が減少するか否かの確認が、標本の各集合について行われる。ここで、新たな動きの検索の実行または、共通の標本の集合について判定済みの予測パラメータなどによって、結合された標本の集合のグループと関連付けられている予測パラメータを再評価することができる。そして、結合の候補となる標本の集合、または、標本の集合のグループが、考慮されている標本の集合のグループについて評価される。詳細なアプローチでは、特定のレート／歪みの損失量が、追加の候補となる標本の集合のグループについて評価される。
以下で説明する結合のアプローチは、標本の集合の処理の順序を変更するものではない。つまり、遅延が増加しないように、すなわち、結合のアプローチを使用しない場合と同じタイミングで標本の各集合を復号化できるように、結合の考え方を実装できる。
たとえば、符号化される予測パラメータの数を減少させることによって削減されるビットレートが、復号化の側へ結合について示すための結合情報の符号化で別途使用されるビットレートより大きい場合は、さらに後述する結合のアプローチの結果、符号化の効率は向上する。また、説明されている結合のための構文の拡張によって、エンコーダで、画像または平面グループからブロックへの区分化の選択の自由度が増す。言い換えると、エンコーダは、まず細分割を行ってから、結果として得られるブロックの一部が同じ集合または同様の集合の予測パラメータを有しているか否かの確認するように制限を受けない。簡単な別の方法として、エンコーダはまずレート／歪みの損失量に応じて細分割の判定を行い、その後、隣接するブロックまたは関連付けられている判定済みのブロックのグループの１つとの結合によってレート／歪みの損失量が減少するか否かの確認を各ブロックについて行う。ここで、新たな動きの検索の実行や、現在のブロックについて判定済みの予測パラメータなどによって、新たなブロックのグループと関連付けられている予測パラメータを再評価することができ、隣接するブロックまたはブロックのグループを新たなブロックのグループについて評価できる。結合の情報は、ブロックごとに情報伝達することができる。事実上、結合は、現在のブロックの予測パラメータの推定と理解することもでき、推定された予測パラメータは、隣接するブロックの１つの予測パラメータと等しく設定されている。あるいは、ブロックのグループ内のブロックについて、残差が伝送されてもよい。
このように、さらに後述する結合についての基礎となる基本的な考え方は、隣接するブロックをブロックのグループに結合することによって、予測パラメータまたは他の符号化パラメータの伝送に必要なビットレートを減少させることである。その場合、ブロックの各グループは、予測パラメータや残差の符号化パラメータなど、符号化パラメータの一意の集合に関連付けられている。結合の情報が存在する場合、ビットストリーム内で細分割情報に付加されて送信される。結合の考え方の利点は、符号化パラメータに付随する情報のレートが減少することの結果として得られる符号化の効率の向上である。ここで説明している結合の処理を、空間的な次元以外の次元に拡張することもできる。たとえば、いくつかの異なる動画の画像内に存在する標本またはブロックのそれぞれの集合のグループは、１つのブロックのグループに結合できる。また、４Ｄ圧縮および光照射野の符号化にも、結合を適用できる。
よって、図１から図８での説明に戻ると、細分割部２８、１０４ａがそれぞれ画像を細分割する具体的な方法に関係なく、細分割に続く結合の処理には利点がある。具体的には、後者もＨ．２６４などと同様の方法で画像を細分割できる。すなわち、各画像を、１６×１６の輝度の標本や、データストリーム内で情報伝達されるサイズなど、所定のサイズの長方形または正方形のマクロブロックの規則的な配列に細分割できる。各マクロブロックは、関連付けられている特定の符号化パラメータを有し、とりわけ、区分化のパラメータと、対応する予測パラメータとをデータストリーム内に含む。区分化のパラメータは、各マクロブロックについて、予測の粒度となる１、２、４などの回数で区分化される規則的なサブグリッドへの区分化を定義する。また、残差についての区分化および対応する残差の変換の粒度が定義される。
いずれの場合でも、画像および動画の符号化での付随する情報のビットレートの削減など、上記で概説した利点が、結合によって得られる。任意の単連結領域や標本などの、正方形または長方形のブロック、または、任意の形状の領域、または、その他の標本の集合を表す標本の特定の集合は、通常、符号化パラメータの特定の集合と接続される。標本の各集合について、符号化パラメータはビットストリームに含まれ、符号化パラメータは、符号化済みの標本を使用して対応する標本の集合を予測する方法を指定する予測パラメータなどを表す。画像の標本配列から標本の集合への区分化は、構文によって固定されてもよく、また、ビットストリーム内の対応する細分割情報によって伝達されてもよい。標本の集合の符号化パラメータは、構文で指定される所定の順序で伝送されてもよい。結合部３０は、結合の機能に従って、標本の共通の集合、または、１つ以上の他の標本の集合と結合された予測ブロックや残差ブロックなどの現在のブロックについて、標本の集合のグループに情報伝達することが可能である。したがって、標本の集合のグループの符号化パラメータは、一度だけ伝送される必要がある。特定の実施の形態では、符号化パラメータが既に伝送済みである標本の集合、または、標本の集合の既存のグループと、現在の標本の集合が結合される場合は、現在の標本の集合の符号化パラメータは、伝送されない。その代わりに、現在の標本の集合の符号化パラメータが、現在の標本の集合が結合されている、標本の集合、または、標本の集合のグループの符号化パラメータと等しく設定される。別のアプローチとして、１つ以上の符号化パラメータのための追加のリファインメントを、現在の標本の集合について伝送できる。リファインメントは、グループの標本の集合の全て、または、リファインメントが伝送される標本の集合のみのどちらかに適用できる。
実施の形態では、上述した予測ブロック、上述した残差ブロック、上述したマルチツリーの細分割のリーフブロックなどの標本の各集合について、全ての符号化／復号化済みの標本の集合の集合を「因果標本の集合の集合」と称する。たとえば、図３Ｃを参照する。この図で示している全てのブロックは、予測の細分割や残差の細分割などの特定の細分割、または、マルチツリーの細分割などの結果であり、これらのブロック間で定義される符号化／復号化の順序は、矢印３５０で定義されている。これらのブロックのうちの特定のブロックを、現在の標本の集合、または、現在の単連結領域として考えると、その因果標本の集合の集合は、順序３５０で現在のブロックより前にある全てのブロックで構成される。しかし、マルチツリーの細分割を使用しない別の細分割も、以下で説明している結合の原則に関する限り、可能である。
現在の標本の集合との結合に使用できる標本の集合は、以下では「候補の標本の集合の集合」と呼び、常に「因果標本の集合の集合」の部分集合となる。部分集合を形成する方法は、デコーダに通知するか、または、エンコーダからデコーダへのデータストリームまたはビットストリーム内で指定することが可能である。特定の現在の標本の集合が符号化／復号化され、その候補の標本の集合の集合が空ではない場合は、共通の標本の集合が、この候補の標本の集合のうちの１つの標本の集合と結合されるか否かが、エンコーダによってデータストリーム内で情報伝達が行われ、デコーダによってデータストリームから導き出される。結合される場合は、それらがあわせて情報伝達される。そうでない場合は、候補の標本の集合の集合が空であり、このブロックで結合を使用することはできない。
候補の標本の集合の集合を表す、因果標本の集合の部分集合を判定する方法には、さまざまな方法がある。たとえば、候補の標本の集合の判定は、長方形または正方形のブロックの左上の画像の標本などの、一意に幾何学的に定義された、現在の標本の集合の中の標本に基づいて行われてもよい。この一意に幾何学的に定義された標本から開始し、ゼロではない特定の標本の数が決定される。これは、この一意に幾何学的に定義された標本に、空間的に直接隣接することを表す。たとえば、このゼロではない特定の標本の数には、現在の標本の集合の一意に幾何学的に定義された標本の上部に隣接するものおよび左に隣接するものが含まれる。隣接する標本のゼロではない数は、最大で２であり、上部または左に隣接しているものの１つが利用できないか画像の外側に存在している場合は１であり、両方とも隣接しているものがない場合はゼロである。
そして、上記の隣接する標本のゼロではない数の少なくとも１つを含む標本の集合を包含するように、候補の標本の集合の集合が決定される。たとえば、図９Ａを参照する。結合の対象として考慮中の標本の集合をブロックＸとし、その一意に幾何学的に定義された標本を、４００で例示した左上の標本とする。標本４００の上部および左に隣接する標本を、４０２および４０４で示している。因果標本の集合の集合、または、因果ブロックの集合は、陰影を付けて強調されている。これらのブロックのうち、ブロックＡおよびＢは、隣接する標本４０２および４０４のうちの１つを含むため、これらのブロックは、候補ブロックの集合、または、候補の標本の集合の集合を形成する。
別の実施の形態では、結合を目的として決定される候補の標本の集合の集合が、ゼロではない特定の標本の数を含む標本の集合を、追加的または排他的に含んでいてもよい。ゼロではない特定の標本の数は、１または２で、空間的に同じ位置だが異なる画像に含まれている、すなわち、符号化／復号化済みの画像などである。たとえば、図９ＡのブロックＡおよびＢに加えて、標本４００と同じ位置の標本を含む符号化済みの画像のブロックを使用できる。なお、上部に隣接する標本４０４のみまたは左に隣接する標本４０２のみを使用して、隣接する標本の上記のゼロではない数の定義できる。一般に、候補の標本の集合の集合は、現在の画像または他の画像内の処理済みのデータから導き出されてもよい。この導出は、特定の方向と関連付けられている変換係数や現在の画像の傾きなどの空間的な方向の情報を含んでいてもよく、また、隣接する動きの表現などの時間的な方向の情報を含んでいてもよい。受信部／デコーダで利用できるそのようなデータ、および、存在する場合は、データストリーム内の他のデータおよび付随する情報から、候補の標本の集合の集合が導き出されてもよい。
エンコーダ側の結合部３０およびデコーダ側の結合部１０４ｂの両方で並行して候補の標本の集合が導き出される。上述のとおり、両方に通知済みの所定の方法に基づいて、相互に依存せず両方で候補の標本の集合の集合を決定してもよい。また、エンコーダがビットストリーム内でヒントの情報を伝達してもよい。これによって、エンコーダ側の結合部３０が候補の標本の集合の集合を決定したのと同じ方法で、これらの候補の標本の集合を導き出す位置に結合部１０４ｂが置かれる。
以下で詳細に説明するとおり、結合部３０およびデータストリーム挿入部１８は、連動して、標本の各集合について１つ以上の構文要素を伝送する。この構文要素によって、標本の集合が、結合済みの標本の集合のグループの一部である別の標本の集合と結合されるか否か、および、結合に使用される候補の標本の集合の集合が指定される。続いて、抽出部１０２は、これらの構文要素を抽出し、それに従って結合部１０４ｂに通知する。特に、後述する具体的な実施の形態では、特定の標本の集合について結合の情報を指定するために１つまたは２つの構文要素が伝送される。１つめの構文要素によって、現在の標本の集合が別の標本の集合と結合されるか否かが指定される。２つめの構文要素は、現在の標本の集合が別の標本の集合と結合されることが１つめの構文要素によって指定される場合のみに伝送され、結合に使用される候補の標本の集合の集合が指定される。導き出された候補の標本の集合の集合が空の場合は、１つめの構文要素は伝送されなくてもよい。言い換えると、１つめの構文要素は、導き出された候補の標本の集合の集合が空でない場合のみに伝送されてもよい。２つめの構文要素は、導き出された候補の標本の集合の集合に複数の標本の集合が含まれる場合のみに伝送されてもよい。なぜなら、候補の標本の集合の集合に含まれる標本の集合が１つのみの場合は、それ以上の選択は不可能だからである。さらに、候補の標本の集合の集合が複数の標本の集合を含むが、候補の標本の集合のうちの全ての標本の集合が同じ符号化パラメータに関連付けられている場合は、２つめの構文要素は伝送されなくてもよい。言い換えると、２つめの構文要素は、導き出された候補の標本の集合のうち少なくとも２つの標本の集合が、異なる符号化パラメータに関連付けられている場合のみに伝送されてもよい。
ビットストリーム内で、標本の集合についての結合の情報は、予測パラメータ、または、その標本の集合に関連付けられている他の特定の符号化パラメータよりも前に符号化されてもよい。予測パラメータまたは符号化パラメータは、結合の情報によって、現在の標本の集合が他の標本の集合と結合されないことが情報伝達される場合のみに送信されてもよい。
特定の標本の集合、すなわちブロックなどについての結合の情報は、予測パラメータの真部分集合、より一般的な意味では、それぞれの標本の集合に関連付けられている符号化パラメータが伝送された後に符号化されてもよい。予測／符号化パラメータの部分集合は、１つ以上の参照画像インデックス、または、１つ以上の運動パラメータのベクトルの成分、または、参照インデックスおよび１つ以上の運動パラメータのベクトルの成分などで構成されてもよい。予測パラメータまたは符号化パラメータの伝送済みの部分集合を、上記で導き出された暫定的な候補の標本の集合の集合から候補の標本の集合の集合を導き出すのに使用できる。たとえば、現在の標本の集合符号化済みの予測パラメータおよび符号化パラメータと、候補の標本の集合の予備集合の対応する予測パラメータおよび符号化パラメータとの間の、所定の隔たりの基準に基づいた差の大きさまたは隔たりを算出できる。そして、算出された差の大きさまたは隔たりが所定の閾値または導き出された閾値以下の標本の集合のみが、候補の標本の集合の最終的な、すなわち、縮小された集合に含まれる。たとえば、図９Ａを参照する。現在の標本の集合をブロックＸとする。このブロックに関連する符号化パラメータの部分集合が、データストリーム２２に既に挿入されているとする。たとえば、ブロックＸが予測ブロックであり、符号化パラメータの真部分集合が、画像参照インデックスを含む集合の部分集合などの、このブロックＸについての予測パラメータの部分集合、および、運動ベクトルなどの動きのマッピング情報であったと想定する。ブロックＸが残差ブロックである場合は、符号化パラメータの部分集合は、ブロックＸ内の変換係数や有意な変換係数の位置を表すマップなどの、残差の情報の部分集合である。この情報に基づいて、データストリーム挿入部１８および抽出部１０２の両方が、この情報を使用して、この特定の実施の形態で、上述した候補の標本の集合の予備集合を形成する、ブロックＡおよびＢの部分集合を決定することができる。特に、ブロックＡおよびＢは因果標本の集合の集合に属しているため、その符号化パラメータは、エンコーダおよびデコーダの両方で、ブロックＸの符号化パラメータが符号化／復号化される際に利用できる。したがって、上記の差の大きさの比較を使用して、候補の標本の集合ＡおよびＢの予備集合の任意の数のブロックを除外してもよい。そして、候補の標本の集合の、結果として縮小される集合を、上述したように使用してもよい。すなわち、以下について決定するために使用してもよい。候補の標本の集合の縮小される集合内の標本の集合の数に応じて、結合を表す結合指標がデータストリーム内で伝送されるか、あるいは、データストリームから抽出されるかについて、および、２つめの構文要素がデータストリーム内で伝送される必要があるか、あるいは、データストリームから抽出される必要があるかについて決定する。２つめの構文要素は、候補の標本の集合の縮小される集合内のどの標本の集合を結合の相手のブロックとするかを表す。
上記の隔たりが比較される上記の閾値は、固定されてエンコーダおよびデコーダの両方に通知されていてもよく、また、差の値の中央値や他の中心傾向などの、算出された隔たりに基づいて導き出されてもよい。この場合に、候補の標本の集合の縮小される集合が、候補の標本の集合の予備集合の真部分集合となることは不可避である。あるいは、それらの標本の集合のみが、隔たりの大きさに基づいた隔たりが最小になる候補の標本の集合の予備集合から選択される。あるいは、上記の隔たりの大きさを使用して、標本の１つの集合が、候補の標本の集合の予備集合から選択される。後者の場合、結合の情報で指定する必要があるのは、現在の標本の集合が、単一の候補の標本の集合と結合されるか否かのみである。
よって、候補ブロックの集合は、図９Ａを参照して以下で説明するように、形成されるか、あるいは、導き出される。図９Ａの現在のブロックＸの左上の標本の位置４００から開始され、その左に隣接する標本４０２の位置、および、その上部に隣接する標本４０４の位置がエンコーダおよびデコーダの側で導き出される。よって、候補ブロックの集合は、最大で２つのみの要素、すなわち、図９Ａの因果ブロックの陰影を付けた集合のうち、図９の場合はブロックＢおよびＡとなる、２つの標本の位置の１つを含むブロックを持つことができる。よって、候補ブロックの集合は、現在のブロックの左上の標本の位置の２つの直接隣接するブロックのみをその要素として有することができる。他の実施の形態では、現在のブロックよりも前に符号化されていて、現在のブロックの任意の標本に空間的に直接隣接するものを表す１つ以上の標本を含む全てのブロックによって、候補ブロックの集合が形成される。直接の空間的な隣接関係は、現在のブロックの任意の標本の、左への直接の隣接、および／または、上部への直接の隣接、および／または、右への直接の隣接、および／または、下部への直接の隣接に制限してもよい。たとえば、別のブロックの細分割を示す図９Ｂを参照する。この場合、候補ブロックは４つのブロックを含み、すなわち、ブロックＡ、Ｂ、Ｃ、およびＤである。
また、現在のブロックの任意の標本と同じ位置にあるが、異なる画像、すなわち、符号化／復号化済みの画像に含まれる、１つ以上の標本を含むブロックを、候補ブロックの集合が追加的または排他的に含んでいてもよい。
また、候補のブロックの集合は、空間的または時間的な方向での隣接関係によって決定された、上述したブロックの集合の部分集合を表す。候補ブロックの部分集合は、固定されてもよく、情報伝達されてもよく、導き出されてもよい。候補ブロックの部分集合の導出では、その画像または他の画像内の他のブロックについての決定を考慮してもよい。たとえば、同じ符号化パラメータ、または、他の候補ブロックよりも類似性が非常に高い符号化パラメータに関連付けられているブロックは、候補のブロックの集合に含まれていなくてもよい。
実施の形態についての以下の説明は、最大で、現在のブロックの左上の標本の左および上部に隣接する標本を含むブロック２つのみが、候補として考慮される場合に適用される。
候補ブロックの集合が空ではない場合は、現在のブロックが候補ブロックのいずれかと結合されるか否かを指定するｍｅｒｇｅ＿ｆｌａｇというフラグが情報伝達される。ｍｅｒｇｅ＿ｆｌａｇが０（「ｆａｌｓｅ」を示す）の場合、このブロックは、候補ブロックのうちの１つとは結合されず、全ての符号化パラメータは通常どおり伝送される。ｍｅｒｇｅ＿ｆｌａｇが１（「ｔｒｕｅ」を示す）の場合は、以下が適用される。候補ブロックの集合がブロックを１つだけ含む場合は、この候補ブロックが結合に使用される。そうでない場合、候補ブロックの集合は２つのブロックを含む。これらの２つのブロックの予測パラメータが同一の場合は、これらの予測パラメータが現在のブロックに使用される。そうでない場合（２つのブロックが異なる予測パラメータを有する場合）は、ｍｅｒｇｅ＿ｌｅｆｔ＿ｆｌａｇというフラグが情報伝達される。ｍｅｒｇｅ＿ｌｅｆｔ＿ｆｌａｇが１（「ｔｒｕｅ」を示す）の場合は、現在のブロックの左上の標本の位置の左に隣接する標本の位置を含むブロックが、候補ブロックの集合から選択される。ｍｅｒｇｅ＿ｌｅｆｔ＿ｆｌａｇが０（「ｆａｌｓｅ」を示す）の場合は、候補ブロックの集合から、他の（すなわち、上部に隣接する）ブロックが選択される。選択されたブロックの予測パラメータは、現在のブロックに使用される。
結合に関して上述したいくつかの実施の形態をまとめて、入力部１１６に入力されるデータストリーム２２から結合の情報を抽出するために抽出部１０２が行うステップを示した図１０を参照する。
現在の標本の集合またはブロックについて、候補ブロックまたは標本の集合を特定する４５０から、処理が開始される。ブロックについての符号化パラメータが、データストリーム２２内で特定の１次元の順序で伝送されるので、図１０では、現在走査されている標本の集合またはブロックについての結合の情報の取得の処理について説明している。
前述したとおり、特定およびステップ４５０は、復号化済みのブロック、すなわち、因果ブロックの集合から、隣接関係の観点に基づいて行う特定を含んでいてもよい。たとえば、空間的または時間的に、現在のブロックＸの幾何学的に予め決定された１つ以上の標本と隣接する、特定の隣接する標本を含む隣接するブロックが、指名された候補であってもよい。さらに、特定を行うステップには、２つの段階が含まれていてもよい。すなわち、候補ブロックの予備集合を得る上記の特定、すなわち、隣接関係に基づいた特定を含む１つめの段階と、ステップ４５０の前にデータストリームから復号化済みのブロックのみが、伝送済みの符号化パラメータが現在のブロックＸの符号化パラメータの真部分集合との特定の関係を満たす指名された候補となる２つめの段階である。
次に、処理はステップ４５２に進み、候補ブロックの数がゼロよりも大きいか否かについて判定される。大きい場合は、ステップ４５４でｍｅｒｇｅ＿ｆｌａｇがデータストリームから抽出される。抽出のステップ４５４にエントロピー復号化が含まれてもよい。ステップ４５４でのｍｅｒｇｅ＿ｆｌａｇのエントロピー復号化についてのコンテキストは、たとえば、候補ブロックの集合または候補ブロックなどの予備集合に属している構文要素に基づいて判定されてもよい。その場合、構文要素への依存度は、該当の集合に属しているブロックが結合の対象であったか否かの情報に制限されてもよい。選択されたコンテキストの確率の推定が適応されてもよい。
一方、ステップ４５２で、候補ブロックの数がゼロと判定された場合は、図１０の処理はステップ４５６に進み、現在のブロックの符号化パラメータがビットストリームから抽出される。また、上記の２段階の特定の場合は、残りの符号化パラメータが抽出され、その後、抽出部１０２が図３Ｃに示した順序３５０などのブロックの走査の順序で次のブロックの処理に進む。
ステップ４５４に戻ると、処理は、ステップ４５４の抽出の後、ステップ４５８に進み、現在のブロックの結合が発生するか否かを、抽出されたｍｅｒｇｅ＿ｆｌａｇが示唆しているか否かについて確認が行われる。結合が行われない場合は、処理は上記のステップ４５６へ進む。結合が行われる場合は、処理はステップ４６０へ進み、候補ブロックの数が１か否かについて確認が行われる。候補ブロックの数が１の場合は、候補ブロックのうちの特定の候補ブロックを示して伝送する必要はないため、図１０の処理はステップ４６２に進み、現在のブロックの結合の相手がその唯一の候補ブロックに設定される。その後、ステップ４６４で、結合された相手のブロックの符号化パラメータが、その符号化パラメータ、または、現在のブロックの残りの符号化パラメータの適応または予測に使用される。適応の場合は、現在のブロックの不足している符号化パラメータが、結合の相手のブロックからコピーされるだけである。この他の場合、すなわち、予測の場合は、ステップ４６４で、データストリームから残差データの抽出をさらに行ってもよい。この残差データは、現在のブロックの不足している符号化パラメータの予測の残差に関連する。そして、この残差データと、結合の相手のブロックから取得されるこれらの不足している符号化パラメータの予測との組合せを行ってもよい。
一方、ステップ４６０で候補ブロックの数が１より大きいと判定された場合は、図１０の処理はステップ４６６へ進み、符号化パラメータまたは符号化パラメータの該当する部分、すなわち、現在のブロックについてのデータストリーム内でまだ伝送されていない部分に関係する一部分が、互いに同一であるか否かについての確認が行われる。同一である場合は、ステップ４６８で、これらの共通の符号化パラメータが結合の参照として設定される。あるいは、候補ブロックが結合の相手として設定される。そして、それぞれの該当する符号化パラメータが、ステップ４６４で、適応または予測に使用される。
結合の相手自体が、結合が情報伝達されたブロックであってもよい。この場合、その結合の相手の、採用された符号化パラメータ、または、予測で取得された符号化パラメータが、ステップ４６４で使用される。
一方、そうでない場合、すなわち、符号化パラメータが同一でない場合は、図１０の処理はステップ４７０に進み、さらに構文要素ｍｅｒｇｅ＿ｌｅｆｔ＿ｆｌａｇがデータストリームから抽出される。このフラグのエントロピー復号化には、別個のコンテキストの集合が使用されてもよい。また、ｍｅｒｇｅ＿ｌｅｆｔ＿ｆｌａｇのエントロピー復号化に使用されるコンテキストの集合は、１つのみのコンテキストで構成されていてもよい。ステップ４７０の後、ｍｅｒｇｅ＿ｌｅｆｔ＿ｆｌａｇによって示唆された候補ブロックが、ステップ４７２で結合の相手に設定され、ステップ４６４で適応または予測に使用される。ステップ４６４の後、抽出部１０２は、ブロックの順序で次のブロックの処理に進む。
当然ながら、別の形態が多数存在する。たとえば、前述したｍｅｒｇｅ＿ｆｌａｇおよびｍｅｒｇｅ＿ｌｅｆｔ＿ｆｌａｇの別個の構文要素の代わりに、データストリーム内で構文要素を組み合わせて伝送して、組み合わされた構文要素で結合の処理を情報伝達してもよい。また、上記のｍｅｒｇｅ＿ｌｅｆｔ＿ｆｌａｇは、２つの候補ブロックが同じ予測パラメータを有しているか否かに関係なく、データストリーム内で伝送されてもよく、その結果、図１０の処理を行うための計算のオーバーヘッドが削減される。
既に図９Ｂなどで示したように、候補ブロックの集合に、３つ以上のブロックが含まれていてもよい。また、結合の情報、すなわち、ブロックが結合されるか否か（結合される場合は、候補ブロックと結合される）の情報伝達を行う情報が、１つ以上の構文要素で伝達されていてもよい。ブロックが候補ブロックのいずれかと結合されるか否かを、上述のｍｅｒｇｅ＿ｆｌａｇなどの１つの構文要素で指定することができる。フラグは、候補ブロックの集合が空ではない場合にのみ伝送されてもよい。上記のｍｅｒｇｅ＿ｌｅｆｔ＿ｆｌａｇなどの、２つめの構文要素で、どの候補ブロックが結合に使用されるかを情報伝達してもよい。通常、２つ以上の候補ブロックからの選択が示される。２つめの構文要素は、現在のブロックが候補ブロックの１つと結合されることを示す信号が１つめの構文要素によって伝達される場合にのみ情報伝達されてもよい。さらに、２つめの構文要素は、候補ブロックの集合が複数の候補ブロックを含む場合、および／または候補ブロックのいずれかが、他の候補ブロックとは異なる予測パラメータを有している場合にのみ送信されてもよい。構文は、候補ブロックの数、および／または候補ブロックに関連付けられている予測パラメータがどの程度異なっているかに応じたものとなる。
候補ブロックのどのブロックが使用されるかを情報伝達する構文は、エンコーダおよびデコーダの側で、同時におよび／または並行して設定されてもよい。たとえば、ステップ４５０で特定される候補ブロックについて３つの選択肢がある場合は、これらの３つの選択肢のみがたとえば、ステップ４７０などでエントロピー符号化に利用可能で考慮の対象となるように、構文が選択される。言い換えると、シンボルアルファベットが、存在する候補ブロックの選択肢の数と同じ数だけ要素を有するように、構文要素が選択される。その他全ての選択肢の可能性はゼロであると考えてよく、エントロピー符号化／復号化が、エンコーダおよびデコーダで同時に調整されてもよい。
さらに、ステップ４６４で言及したように、結合の処理の結果として推定された予測パラメータは、現在のブロックに関連付けられている予測パラメータの完全集合を表してもよい。あるいは、複数の仮説による予測が行われるブロックの１つの仮説についての予測パラメータなど、これらの予測パラメータの部分集合を表してもよい。
上記で言及したように、結合の情報に関連している構文要素を、コンテキストモデリングを使用して、エントロピー符号化することができる。構文要素は、上述のｍｅｒｇｅ＿ｆｌａｇおよびｍｅｒｇｅ＿ｌｅｆｔ＿ｆｌａｇ（または、同様の構文要素）で構成されていてもよい。具体例では、ステップ４５４などで、３つのコンテキストモデルまたはコンテキストから１つを、ｍｅｒｇｅ＿ｆｌａｇの符号化／復号化に使用できる。使用されるコンテキストモデルのインデックスｍｅｒｇｅ＿ｆｌａｇ＿ｃｔｘが、次のように導き出されてもよい。候補ブロックの集合が２つの要素を含む場合は、ｍｅｒｇｅ＿ｆｌａｇ＿ｃｔｘの値は、２つの候補ブロックのｍｅｒｇｅ＿ｆｌａｇの値の和に等しい。一方、候補ブロックの集合が含む要素が１つの場合は、ｍｅｒｇｅ＿ｆｌａｇ＿ｃｔｘの値は、この１つの候補ブロックのｍｅｒｇｅ＿ｆｌａｇの値の２倍に等しくしてもよい。隣接する候補ブロックの各ｍｅｒｇｅ＿ｆｌａｇは１または０になるので、ｍｅｒｇｅ＿ｆｌａｇに３つのコンテキストを利用できる。ｍｅｒｇｅ＿ｌｅｆｔ＿ｆｌａｇは、単一の確率モデルのみを使用して、符号化してもよい。
また、別の実施の形態においては、異なるコンテキストモデルが使用されてもよい。たとえば、ｂｉｎと呼ばれる一連のバイナリシンボルに、非バイナリの構文要素がマッピングされてもよい。結合の情報を定義するいくつかの構文要素または構文要素のｂｉｎについてのコンテキストモデルが、隣接するブロックの伝送済みの構文要素、または、候補ブロックの数などに基づいて導き出され、他の構文要素または構文要素のｂｉｎが、固定されたコンテキストモデルで符号化されてもよい。
上記のブロックの結合の説明に関して、候補ブロックの集合は、上述の実施の形態のいずれかに次のような修正を加えた方法で導き出されてもよい。候補ブロックを、動き補償予測または相互予測を使用しているブロックにそれぞれ制限する。そういったブロックのみが、候補ブロックの集合の要素となることができる。結合情報の伝達およびコンテキストモデリングは、上述したように行うことができる。
上述のマルチツリーの細分割の実施の形態と、現在説明している結合の態様との組合せに戻る。四分木に基づいた細分割の構造を使用して、可変サイズの正方形のブロックに画像を分割する場合、たとえば、ｍｅｒｇｅ＿ｆｌａｇおよびｍｅｒｇｅ＿ｌｅｆｔ＿ｆｌａｇなどの結合を指定する構文要素は、四分木の構造の各リーフノードについて伝送される予測パラメータと交互に扱われる。たとえば、図９Ａを再度考察する。図９Ａは、可変サイズの予測ブロックへの、四分木に基づいた画像の細分割の例を示している。最大のサイズの上部の２つのブロックは、ツリーブロックと呼ばれる。すなわち、最大可能サイズの予測ブロックである。この図の他のブロックは、対応するツリーブロックが細分割されて得られる。現在のブロックは、「Ｘ」で示されている。陰影が付いているブロックは全て、現在のブロックより前にエンコーディング／復号化されるので、因果ブロックの集合が形成される。実施の形態の１つについて、候補ブロックの集合の導出の説明で詳説したように、現在のブロックの左上の標本の位置の直接（すなわち、上部または左に）隣接する標本を含むブロックのみが、候補ブロックの集合の要素となることができる。よって、現在のブロックは、ブロック「Ａ」またはブロック「Ｂ」のどちらかと結合できる。ｍｅｒｇｅ＿ｆｌａｇが０（「ｆａｌｓｅ」を示す）の場合は、現在のブロック「Ｘ」は２つのブロックのどちらとも結合されない。ブロック「Ａ」および「Ｂ」が同一の予測パラメータを有する場合は、２つのブロックのどちらと結合を行っても同じ結果となるので、区別を行う必要はない。そのため、この場合には、ｍｅｒｇｅ＿ｌｅｆｔ＿ｆｌａｇは伝送されない。そうではなく、ブロック「Ａ」および「Ｂ」が異なる予測パラメータを有する場合は、ｍｅｒｇｅ＿ｌｅｆｔ＿ｆｌａｇが１（「ｔｒｕｅ」を示す）であると、ブロック「Ｘ」および「Ｂ」が結合され、一方で、ｍｅｒｇｅ＿ｌｅｆｔ＿ｆｌａｇが０（「ｆａｌｓｅ」を示す）であると、ブロック「Ｘ」および「Ａ」が結合される。別の好適な実施の形態では、追加の隣接する（伝送済みの）ブロックが、結合の候補を表す。
図９Ｂでは、別の例を示している。ここで、現在のブロック「Ｘ」、および、左に隣接するブロック「Ｂ」は、ツリーブロックであり、すなわち、最大の許容ブロックサイズになっている。上部に隣接するブロック「Ａ」のサイズは、ツリーブロックのサイズの４分の１である。因果ブロックの集合の要素であるブロックには陰影を付けてある。好適な実施形態の１つにおいては、現在のブロック「Ｘ」は、２つのブロック「Ａ」または「Ｂ」のみと結合でき、上部で隣接する他のブロックとは結合できない。他の好適な実施の形態では、追加の隣接する（伝送済みの）ブロックが、結合の候補を表す。
本願の実施の形態に従って、１つの画像のうちの異なる標本配列を取扱う態様についての説明に進む前に、マルチツリーの細分割を行って情報伝達を行いながら一方で結合を行う態様に関しての上記の説明で、これらの態様によって、互いに独立して利用することができる利点が得られることを明らかにした。つまり、上記で既に説明したとおり、マルチツリーの細分割と結合との組合せによって、具体的な利点が得られる。しかし、別の方法でも利点が得られる。たとえば、四分木またはマルチツリーの細分割に基づいてではなく、これらのマクロブロックをより小さい区分へ規則的に区分化するマクロブロックの細分割に対応して、細分割部３０、１０４ａによって行われる細分割で結合の機能が具現化される。その一方で、ツリーブロックの最大サイズの指示のビットストリーム内での伝送を行うマルチツリーの細分割と、深度順のトラバースの順序を使用してブロックの対応する符号化パラメータを伝送するマルチツリーの細分割の使用との組合せによって、結合の機能が並行して利用されるか否かに関係なく、利点が得られる。一般に、次のことを考慮すると、直感的に、結合の利点を理解することができる。標本配列の符号化の構文が、ブロックの細分割を可能にするだけでなく、細分割後に得られる２つ以上のブロックを結合することも可能にする方法で拡張されると、符号化の効率が向上する。その結果、同じ予測パラメータで符号化されるブロックのグループが得られる。そういったブロックのグループについての予測パラメータが符号化される必要があるのは、一度だけである。また、標本の集合の結合について、再度述べるが、考えられる標本の集合は、長方形または正方形のブロックであり、結合された標本の集合は、長方形または正方形のブロックの集まりとなる。また、考えられる標本の集合は、任意の形状の画像領域も考えられ、結合された標本の集合は、任意の形状の画像領域の集まりとなる。
以下では、画像ごとに複数の標本配列がある場合の、画像の異なる標本配列の扱いについて重点的に説明する。以下で概説される態様では、使用される細分割の種類に関係なく、すなわち、マルチツリーの細分割に基づいた細分割か否か、および、結合が使用されるか否かに関係なく、利点が得られる。１つの画像のうちの異なる標本配列の扱いについて、具体的な実施の形態の説明に入る前に、画像ごとの異なる標本配列の扱いに関しての短い導入を挟んでから、これらの実施の形態の本題を説明する。
以下では、画像または動画の符号化においての、１つの画像のうちの異なる標本配列のブロック間の符号化パラメータについて重点的に説明する。特に、たとえば、図１および図２のそれぞれのエンコーダおよびデコーダに限らず、別の画像または動画の符号化の環境も含めた環境での、１つの画像のうちの異なる標本配列間での符号化パラメータを、状況に合わせて予測する方法について重点的に説明する。上述のとおり、標本配列は、さまざまな色成分に関連する標本配列、または、透明度のデータや深度のマップなどの付加情報と画像を関連付ける標本配列を表すことができる。画像の色成分に関連する標本配列は、色平面とも呼ばれる。以下で説明する技術は、平面間採用／予測とも呼ばれ、ブロックを利用する画像および動画のエンコーダおよびデコーダで使用できる。その場合、画像の標本配列のブロックが処理される順序は任意である。
一般的に、画像および動画のコーダーは、カラー画像（静止画または動画のシーケンスの画像のどちらか）の符号化を目的として設計されている。カラー画像は、異なる色成分の標本配列を表す複数の色平面で構成されている。多くの場合、カラー画像は、輝度の平面、および、２つの彩度の平面で構成される標本配列の集合として符号化され、２つの彩度の平面では、色差の成分が指定される。一部の用途では、符号化される標本配列の集合が、三原色である赤、緑、青の標本配列を表す３つの色平面で構成されることも一般的である。さらに、色表現の向上のために、カラー画像が、４つ以上の色平面で構成される場合もある。さらに、画像の付加情報を指定する補助的な標本配列に画像を関連付けることもできる。たとえば、そういった補助的な標本配列には、関連付けられているカラー標本配列の透明度を指定する標本配列（特定の表示の目的に適している）や、深度のマップを指定する標本配列（３Ｄ表示など、多視点のレンダリングに適している）などがある。
従来の画像および動画の符号化の規格（Ｈ．２６４など）では、通常、色平面はまとめて符号化される。その場合、マクロブロックおよび下位のマクロブロックの予測モード、参照インデックス、運動ベクトルなどの特定の符号化パラメータが、１つのブロックの全ての色成分に使用される。輝度の平面は、特定の符号化パラメータがビットストリーム内で指定される一次の色平面と考えることができ、彩度の平面は、一次の輝度の平面から対応する符号化パラメータが推定される二次的な平面と考えることができる。輝度のブロックはそれぞれ、画像内の同じ領域を表す２つの彩度のブロックに関連付けられている。使用されている彩度のサンプリング形式によっては、１つのブロックについて、彩度の標本配列は、輝度の標本配列よりも小さくなる。１つの輝度の成分、および、２つの彩度の成分で構成される各マクロブロックについて、同じ区分化が行われ、より小さいブロックへの区分化が行われる（マクロブロックが細分割される場合）。輝度の標本のブロック１つと、彩度の標本のブロック２つで構成される各ブロック（マクロブロック自体、または、マクロブロックのサブブロックの場合がある）について、参照インデックスや運動パラメータなどの同じ予測パラメータの集合が使用され、場合によって、イントラ予測モードが使用される。従来の動画の符号化の規格の特定のプロファイル（Ｈ．２６４の４：４：４プロファイルなど）では、１つの画像の異なる色平面を独立して符号化することも可能である。その構成では、マクロブロックまたはサブブロックの色成分について、マクロブロックの区分化、予測モード、参照インデックス、および、運動パラメータを、別々に選択することが可能である。従来の符号化の規格では、同じ特定の符号化パラメータの集合（細分割情報や予測パラメータなど）を使用して全ての色平面が符号化されるか、全ての色平面が互いに完全に独立して符号化されるかのどちらかである。
色平面がまとめて符号化される場合は、ブロックの全ての色成分に、細分割および予測のパラメータの１つの集合が使用される必要がある。これによって、付随する情報を確実に小さく抑えることができるが、独立して符号化される場合と比較して、符号化の効率が下がる場合がある。これは、異なる色成分に、異なるブロックの分解および予測のパラメータを使用すると、レート／歪みの損失量が小さくなる場合があるためである。たとえば、異なる運動ベクトルまたは参照フレームを彩度の成分に使用すると、彩度の成分についての残差信号のエネルギーが著しく減少し、全体の符号化の効率が上がる場合がある。色平面が独立して符号化される場合は、各色成分についての符号化の効率を最適化するために、ブロックの区分化、参照インデックス、運動パラメータなどの符号化パラメータを、各色成分について別々に選択できる。しかし、色成分の間で、冗長性を利用することはできない。特定の符号化パラメータの複数回の伝送によって、（まとめて符号化する場合と比較して）付随する情報のレートが増加し、この付随する情報のレートの増加が、全体の符号化の効率に悪影響を与える場合がある。また、最新の動画の符号化の規格（Ｈ．２６４など）での補助的な標本配列のサポートは、独自の符号化パラメータの集合を使用して補助的な標本配列を符号化する場合に限定される。
よって、これまでに説明した全ての実施の形態において、画像の平面を上述のとおりに扱うことができる。しかし、同じく上述したとおり、ブロック単位での決定が可能な場合、たとえば、ブロックの全ての標本配列が同じ符号化パラメータで符号化されるか否かや、異なる符号化パラメータが使用されるか否かを決定できる場合に、複数の標本配列（異なる色平面、および／または、補助的な標本配列に関連している場合がある）を符号化する場合の全体の符号化の効率が向上する場合がある。以下の平面間予測の基本的な考え方は、そういったブロック単位での状況に合わせた決定を可能にすることである。エンコーダは、たとえば、レート／歪みの基準に基づいて、特定のブロックの標本配列の全てまたは一部が、同じ符号化パラメータを使用して符号化されるか否かや、異なる標本配列に異なる符号化パラメータが使用されるか否かを選択することができる。また、標本配列の特定のブロックについて、異なる標本配列の同じ場所にある符号化済みのブロックから特定の符号化パラメータが推定されるか否かを情報伝達することによって、この選択を実現できる。１つの画像についての異なる標本配列をグループで配置することも可能であり、これらは標本配列グループまたは平面グループと呼ばれる。各平面グループには、画像の標本配列を１つ以上含むことができる。そして、平面グループ内の標本配列のブロックは、細分割情報、予測モード、残差の符号化のモードなどの、選択された同じ符号化パラメータを共有する。その一方で、変換係数レベルなどの他の符号化パラメータは、平面グループ内の各標本配列について別々に伝送される。１つの平面グループは、一次の平面グループとして符号化される。すなわち、他の平面グループから推定または予測される符号化パラメータはない。二次的な平面グループの各ブロックについては、選択される符号化パラメータの新たな集合が伝送されるか否か、または、選択される符号化パラメータが一次の平面グループまたは別の二次的な平面グループから推定または予測されるか否かを、状況に合わせて選択できる。特定のブロックについて選択される符号化パラメータが推定または予測されるか否かの決定は、ビットストリームに含まれる。平面間予測によって、複数の標本配列で構成される画像の最新の符号化と比較して、付随する情報のレートと予測の質との間のトレードオフの選択の自由度が増す。複数の標本配列で構成される画像の従来の符号化と比較して、符号化の効率の向上が利点である。
平面内での採用／予測によって、上記の実施の形態などの画像または動画のコーダーを、次のように拡張してもよい。カラー標本配列、または、補助的な標本配列、または、カラー標本配列および／または補助的な標本配列の集合のブロックについて、選択される符号化パラメータの集合が、同じ画像内の他の標本配列の同じ場所にある符号化済みのブロックから推定または予測されるか否か、または、ブロックについて選択される符号化パラメータの集合が、同じ画像内の他の標本配列の同じ場所にあるブロックを参照せずに独立して符号化されるか否かを、状況に合わせて選択できるように拡張してもよい。１つの標本配列のブロック、または、複数の標本配列ブロックについて、選択される符号化パラメータの集合が推定または予測されるか否かの決定は、ビットストリームに含まれてもよい。１つの画像に関連付けられている異なる標本配列が、同じサイズである必要はない。
上述したように、画像に関連付けられている標本配列（標本配列は、色成分および／または補助的な標本配列を表すことができる）は、２つ以上のいわゆる平面グループに配置されてもよく、各平面グループは１つ以上の標本配列で構成される。特定の平面グループに含まれる標本配列は、同じサイズである必要はない。平面グループへのこういった配置には、各標本配列が別々に符号化される場合も含まれる。
具体的には、実施の形態で、平面グループの各ブロックについて、ブロックの予測方法を指定する符号化パラメータが、同じ画像についての異なる平面グループの同じ場所にある符号化済みのブロックから推定または予測されるか否か、または、ブロックについて、これらの符号化パラメータが別々に符号化されるか否かが、状況に合わせて選択される。ブロックの予測方法を指定する符号化パラメータには、以下の符号化パラメータの１つ以上が含まれる。ブロックにどういった予測が使用されるかを指定するブロック予測モード（イントラ予測、単一の運動ベクトルおよび参照画像を使用する平面間予測、２つの運動ベクトルおよび参照画像を使用する平面間予測、高次の、すなわち、非並進運動のモデルおよび単一の参照画像を使用する平面間予測、複数の運動モデルおよび参照画像を使用する平面間予測）、イントラ予測信号の生成方法を指定するイントラ予測モード、ブロックについての最終的な予測信号の生成のために組み合わされる予測信号の数を指定する識別子、動き補償予測に使用される参照画像を指定する参照インデックス、参照画像を使用して予測信号を生成する方法を指定する運動パラメータ（変位ベクトルやアフィン運動パラメータなど）、動き補償予測の信号の生成のための参照画像のフィルタ処理の方法を指定する識別子のうち１つ以上が含まれる。概して、ブロックは、上記の符号化パラメータの部分集合のみに関連付けることができる。たとえば、ブロック予測モードで、ブロックにイントラ予測が行われるように指定された場合は、ブロックの符号化パラメータは追加としてイントラ予測モードを含むことができるが、平面間予測の信号の生成方法を指定する参照インデックスや運動パラメータなどの符号化パラメータは指定されない。あるいは、ブロック予測モードで、平面間予測が指定された場合は、関連付けられている符号化パラメータは追加として参照インデックスおよび運動パラメータを含むことができるが、イントラ予測モードは指定されない。
２つ以上の平面グループのうちの１つが、ビットストリーム内で一次の平面グループとして、符号化されるか、または、示されてもよい。この一次の平面グループの全てのブロックについて、予測信号の生成方法を指定する符号化パラメータが、同じ画像の他の平面グループを参照することなく伝送される。残りの平面グループは二次的な平面グループとして符号化される。二次的な平面グループの各ブロックについて、ブロックの予測方法を指定する符号化パラメータが、他の平面グループの同じ場所にあるブロックから推定または予測されるか否か、または、これらの符号化パラメータの新たな集合がブロックについて伝送されるか否かを情報伝達する１つ以上の構文要素が伝送される。１つ以上の構文要素のうちの１つが、平面間予測フラグ、または、平面間予測パラメータと呼ばれる場合がある。対応する符号化パラメータの推定または予測が行われないことを示す信号が構文要素によって送信された場合は、ブロックについての対応する符号化パラメータの新たな集合が、ビットストリーム内で伝送される。対応する符号化パラメータの推定または予測が行われることを示す信号が構文要素によって送信された場合は、いわゆる参照平面グループの同じ場所にあるブロックが特定される。ブロックへの参照平面グループの割り当ては、複数の方法で構成することができる。１つの実施の形態では、特定の参照平面グループは、二次的な平面グループのそれぞれに割り当てられる。この割り当ては固定することができ、あるいは、パラメータの集合、アクセス単位のヘッダ、画像ヘッダ、スライスヘッダなどのハイレベルな構文の構造で情報伝達できる。
２つめの実施の形態では、参照平面グループの割り当ては、ビットストリーム内で符号化され、１つ以上の構文要素によって信号が送信される。この構文要素はブロックについて符号化され、選択される符号化パラメータが推定または予測されるか、あるいは別々に符号化されるか否かが指定される。
平面間予測および以下の詳細な実施の形態に関連して上述の可能性を説明するために、図１１を参照する。図１１は、３つの標本配列５０２、５０４、５０６で構成される画像５００を図示している。図１１では、わかりやすいように、標本配列５０２〜５０６の下位の部分のみが示されている。標本配列は、空間的に互いに対応するように示されている。標本配列５０２〜５０６は方向５０８に沿って互いに重なるようになっている。また、方向５０８に沿って標本配列５０２〜５０６の標本を投影すると、これら全ての標本配列５０２〜５０６の標本は、互いに空間的な位置が正確に一致する。言い換えると、平面５０２および５０６は水平方向および垂直方向に広がって、互いの空間的な解像度に適応し、互いに対応している。
実施の形態では、画像の全ての標本配列は、空間的な光景の同じ部分に属し、垂直方向および水平方向の解像度は、標本配列５０２〜５０６のそれぞれで異なっていてもよい。さらに、説明のために、標本配列５０２、５０４が１つの平面グループ５１０に属しているものとし、その一方で、標本配列５０６が別の平面グループ５１２に属しているものとする。また、図１１では、標本配列５０４の水平軸に沿った空間的な解像度が、標本配列５０２の水平方向の解像度の２倍である場合を例示している。さらに、標本配列５０４は、標本配列５０２に対しての一次の配列となるものとする。標本配列５０２は、一次の配列５０４に対しての下位の配列となる。前述したように、この場合に、図１の細分割部３０によって決定される標本配列５０４のブロックへの細分割は、下位の配列５０２によって採用される。図１１の例では、標本配列５０２の垂直方向の解像度が一次の配列５０４の垂直方向の解像度の２分の１であるため、各ブロックは、水平に並んだ２つのブロックに等分される。このブロックは、標本配列５０２内の標本の位置を単位とした場合、等分によって、再度２次式のブロックとなる。
図１１で例示されているように、標本配列５０６について選択されている細分割は、他の平面グループ５１０の細分割とは異なる。前述のとおり、細分割部３０は、平面グループ５１０についての細分割とは関係なく別々に、画素の配列５０６の細分割を選択してもよい。当然、標本配列５０６の解像度も、平面グループ５１０の平面５０２、５０４の解像度と異なっていてもよい。
ここで、個々の標本配列５０２〜５０６のエンコーディングの際に、エンコーダ１０は、たとえば上述の方法で、平面グループ５１０の一次の配列５０４の符号化から開始してもよい。図１１で示されているブロックは、たとえば、上述の予測ブロックであってもよい。あるいは、ブロックは、残差ブロック、または、特定の符号化パラメータの定義のための粒度を定義する他のブロックである。平面間予測は、図１１に例示されている四分木またはマルチツリーの細分割に限定されるものではない。
一次の配列５０４についての構文要素の伝送の後、エンコーダ１０が、一次の配列５０４を下位の平面５０２の参照平面とすることを宣言することを決定してもよい。エンコーダ１０および抽出部３０は、それぞれ、ビットストリーム２２を介してこの決定を情報伝達してもよい。また、標本配列５０４が平面グループ５１０の一次の配列となっていることから、その関連性が明確になっていてもよく、その情報は、ビットストリーム２２の一部であってもよい。いずれの場合でも、標本配列５０２内の各ブロックについて、挿入部１８、または、挿入部１８と連動する他のエンコーダ１０のモジュールは、次のことを決定してもよい。ビットストリーム内でのこのブロックの符号化パラメータの伝送を抑えて、その代わりにそのブロックについてのビットストリーム内で、一次の配列５０４内の同じ場所にあるブロックの符号化パラメータを代わりに使用する、あるいは、一次の配列５０４内の同じ場所にあるブロックの符号化パラメータを、標本配列５０２の現在のブロックの符号化パラメータの予測として使用することを示す信号を送信し、ビットストリーム内で標本配列５０２の現在のブロックについての残差データのみを伝送する。その決定がされない場合は、符号化パラメータはデータストリーム内で通常どおり伝送される。各ブロックについてデータストリーム２２内でその決定が情報伝達される。デコーダ側では、抽出部１０２が、各ブロックについての平面間予測の情報を使用して、それに応じて、標本配列５０２のそれぞれのブロックの符号化パラメータを取得する。すなわち、一次の配列５０４の同じ場所にあるブロックの符号化パラメータを推定することによって、これを行う。あるいは、平面間の採用／予測の情報によって平面間の採用／予測が示唆されている場合は、データストリームからそのブロックについての残差データを抽出し、一次の配列５０４の同じ場所にあるブロックの符号化パラメータから取得された予測とこの残差データとを組み合わせることによって、これを行う。あるいは、一次の配列５０４には関係なく、通常どおり、標本配列５０２の現在のブロックの符号化パラメータを抽出することによって、これを行う。
前述のとおり、参照平面が存在する場所は、現在、平面間予測の対象となっているブロックと同じ平面グループ内に限定されない。したがって、上述のとおり、平面グループ５１０は、二次的な平面グループ５１２についての一次の平面グループ、または、参照平面グループとなっていてもよい。この場合、ビットストリームは、標本配列５０６の各ブロックについて、一次の平面グループまたは参照平面グループ５１０の平面５０２、５０４のいずれかの同じ場所にあるマクロブロックの符号化パラメータの上記の採用／予測を行うか否かを表す構文要素を含んでいてもよい。後者の場合は、標本配列５０６の現在のブロックの符号化パラメータは、通常どおり伝送される。
平面グループ内の平面についての細分割および／または予測パラメータは同一になる場合がある。すなわち、それらは平面グループについて一度符号化されるのみであり（平面グループの二次的な平面は全て、同じ平面グループ内の一次の平面から、細分割情報および／または予測パラメータの推定を行う）、細分割情報および／または予測パラメータの状況に合わせた予測または推定は、平面グループ間で行われる。
参照平面グループは、一次の平面グループ、または、二次的な平面グループとなる場合がある。
採用されたリーフブロックを２次式のブロックにする、上記のさらなる区分化を除いて、一次の標本配列５０４の細分割は下位の標本配列５０２によって空間的に行われるため、平面グループ内の異なる平面のブロック同士が同じ場所にあることは理解しやすい。異なる平面グループ間の平面間の採用／予測の場合は、この同じ場所を、これらの平面グループの細分割の間の自由度が増すように定義してもよい。参照平面グループが与えられると、参照平面グループ内の同じ場所にあるブロックが特定される。以下のような処理によって、同じ場所にあるブロックおよび参照平面グループを導き出すことができる。二次的な平面グループ５１２の標本配列５０６の１つの現在のブロック５１６内の特定の標本５１４が選択される。これは、図１１の５１４で例示されている、現在のブロック５１６の左上の標本であってもよい。また、現在のブロック５１６の中心に近い現在のブロック５１６内の標本や、現在のブロック内のその他の標本であってもよく、幾何学的に一意に定義される。参照平面グループ５１０の標本配列５０２、５０４内の、この選択された標本５１５の場所が算出される。標本配列５０２、５０４内の標本５１４の位置は、図１１の５１８、５２０にそれぞれ示されている。参照平面グループ５１０の平面５０２、５０４のどちらが実際に使用されるかは、予め特定されてもよく、また、ビットストリーム内で情報伝達されてもよい。位置５１８、５２０に最も近い、参照平面グループ５１０の対応する標本配列５０２または５０４内の標本が、それぞれ特定され、この標本を含むブロックが、標本配列５０２、５０４内で、それぞれ、同じ場所にあるブロックとして選択される。図１１の場合は、それぞれ、ブロック５２２、５２４である。他の平面で同じ場所にあるブロックを特定するための別のアプローチについて、後述する。
実施の形態では、追加の付随する情報を伝送することなく、同じ画像５００の異なる平面グループ５１０内の同じ場所にあるブロック５２２／５２４の対応する予測パラメータを使用して、現在のブロック５１６についての予測を指定する符号化パラメータが完全に推定される。この推定は、対応する符号化パラメータを単にコピーすること、または、現在の平面グループ５１２と参照平面グループ５１０との間の差を考慮して符号化パラメータを適合させることによって行われる。たとえば、この適合で、輝度と彩度の標本配列の間の位相差を考慮するために、運動パラメータの補正（変位ベクトルの補正など）が行われてもよい。また、この適合で、輝度と彩度の標本配列の異なる解像度を考慮するために、運動パラメータの精度の修正（変位ベクトル精度の修正）が行われてもよい。他の実施の形態では、予測信号の生成を指定するための１つ以上の推定される符号化パラメータは、現在のブロック５１６に直接使用されないが、現在のブロック５１６についての対応する符号化パラメータの予測として使用され、現在のブロック５１６についてのこれらの符号化パラメータのリファインメントが、ビットストリーム２２内で伝送される。たとえば、推定された運動パラメータは直接使用されないが、現在のブロック５１６に使用される運動パラメータと、推定された運動パラメータとの間の偏差を指定する、運動パラメータの差（変位ベクトルの差など）がビットストリーム内で符号化される。デコーダ側で、推定される運動パラメータと伝送される運動パラメータの差を組み合わせることによって、実際に使用される運動パラメータが得られる。
別の実施の形態では、上述の予測の細分割のツリーブロックなどのブロックの、予測ブロック（すなわち、同じ予測パラメータの集合が使用される標本のブロック）への細分割が、状況に合わせて、同じ画像の異なる平面グループの同じ場所にある符号化済みのブロック、すなわち、図６Ａまたは図６ｂのビットシーケンスから、推定または予測が行われる。実施の形態では、２つ以上の平面グループのうちの１つが、一次の平面グループとして符号化される。この一次の平面グループの全てのブロックについて、同じ画像の他の平面グループを参照することなく、細分割情報が伝送される。残りの平面グループは、二次的な平面グループとして符号化される。二次的な平面グループのブロックについて、他の平面グループの同じ場所にあるブロックから細分割情報の推定または予測が行われるか否か、または、細分割情報がビットストリーム内で伝送されるか否かを情報伝達する、１つ以上の構文要素が伝送される。１つ以上の構文要素のうちの１つが、平面間予測フラグ、または、平面間予測パラメータと呼ばれる場合がある。構文要素によって、細分割情報の推定または予測が行われないことを示す情報伝達が行われた場合は、同じ画像の他の平面グループを参照することなく、ブロックの細分割情報がビットストリーム内で伝送される。構文要素によって、細分割情報の推定または予測が行われることを示す情報伝達が行われた場合は、いわゆる参照平面グループの同じ場所にあるブロックが特定される。ブロックへの参照平面グループの割り当ては、複数の方法で構成することができる。１つの実施の形態では、特定の参照平面グループが、二次的な平面グループのそれぞれに割り当てられる。この割り当ては、固定することができ、あるいは、パラメータの集合、アクセス単位のヘッダ、画像ヘッダ、スライスヘッダなどのハイレベルな構文の構造で情報伝達できる。２つめの実施の形態では、参照平面グループの割り当ては、ビットストリーム内で符号化され、１つ以上の構文要素によって情報伝達が行われる。この構文要素はブロックについて符号化され、細分割情報が推定または予測されるか、あるいは別々に符号化されるか否かが指定される。参照平面グループは、一次の平面グループ、または、別の二次的な平面グループである場合がある。参照平面グループが与えられると、参照平面グループ内の同じ場所にあるブロックが特定される。同じ場所にあるブロックは、現在のブロックと同じ画像領域に対応する参照平面グループ内のブロック、または、画像領域の最大の部分を現在のブロックと共有する、参照平面グループ内のブロックを表すブロックである。同じ場所にあるブロックは、より小さい予測ブロックに区分化できる。
他の実施の形態では、図６Ａまたは図６ｂの四分木に基づいた細分割情報などの、現在のブロックについての細分割情報は、追加の付随する情報を伝送することなく、同じ画像の異なる平面グループ内の同じ場所にあるブロックの細分割情報を使用して、完全に推定される。１つの特定の例として、同じ場所にあるブロックが２つまたは４つの予測ブロックに区分化される場合は、現在のブロックも、予測を目的として２つまたは４つのサブブロックに区分化される。別の特定の例として、同じ場所にあるブロックが４つのサブブロックに区分化され、これらのサブブロックの１つがより小さい４つのサブブロックにさらに区分化される場合は、現在のブロックも４つのサブブロックに区分化され、これらのサブブロックの１つ（さらに分解される、同じ場所にあるブロックのサブブロックに対応するもの）も、より小さい４つのサブブロックに区分化される。他の好適な実施の形態では、推定された細分割情報は現在のブロックに直接使用されないが、現在のブロックについての実際の細分割情報の予測として使用され、対応するリファインメントの情報がビットストリーム内で伝送される。たとえば、同じ場所にあるブロックから推定される細分割情報が、さらにリファインされてもよい。より小さいブロックに区分化されない、同じ場所にあるブロック内のサブブロックに対応する各サブブロックについて、構文要素をビットストリーム内で符号化できる。これによって、現在の平面グループでサブブロックがさらに分解されるかが指定される。そういった構文要素の伝送は、サブブロックのサイズでの条件付けを行うことができる。あるいは、参照平面グループでさらに区分化されるサブブロックが、現在の平面グループでより小さいブロックに区分化されないことを示す信号をビットストリーム内で送信できる。
他の実施の形態では、予測ブロックへのブロックの細分割、および、そのサブブロックの予測方法を指定する符号化パラメータの両方が、同じ画像についての異なる平面グループの同じ場所にある符号化済みのブロックから、状況に合わせて推定または予測される。本発明の好適な実施の形態では、２つ以上の平面グループのうちの１つが、一次の平面グループとして符号化される。この一次の平面グループの全てのブロックについて、同じ画像の他の平面グループを参照することなく、細分割情報および予測パラメータが伝送される。残りの平面グループは、二次的な平面グループとして符号化される。二次的な平面グループのブロックについて、細分割情報および予測パラメータが、他の平面グループの同じ場所にあるブロックから推定または予測されるか否か、または、細分割情報および予測パラメータがビットストリーム内で伝送されるか否かを情報伝達する、１つ以上の構文要素が伝送される。１つ以上の構文要素のうちの１つが、平面間予測フラグ、または、平面間予測パラメータと呼ばれる場合がある。構文要素によって、細分割情報および予測パラメータの推定または予測が行われないことが情報伝達された場合は、同じ画像の他の平面グループを参照することなく、ブロックの細分割情報と、結果として得られるサブブロックについての予測パラメータとが、ビットストリーム内で伝送される。構文要素によって、細分割情報およびサブブロックについての予測パラメータの推定または予測が行われることが情報伝達された場合は、いわゆる参照平面グループの同じ場所にあるブロックが特定される。ブロックへの参照平面グループの割り当ては、複数の方法で構成することができる。１つの実施の形態では、特定の参照平面グループが、二次的な平面グループのそれぞれに割り当てられる。この割り当ては、固定することができ、あるいは、パラメータの集合、アクセス単位のヘッダ、画像ヘッダ、またはスライスヘッダなどのハイレベルな構文の構造で情報伝達できる。２つめの実施の形態では、参照平面グループの割り当ては、ビットストリーム内で符号化され、１つ以上の構文要素によって情報伝達される。この構文要素はブロックについて符号化され、細分割情報および予測パラメータが推定または予測されるか、あるいは別々に符号化されるか否かが指定される。参照平面グループは、一次の平面グループ、または、別の二次的な平面グループである場合がある。参照平面グループが与えられると、参照平面グループ内の同じ場所にあるブロックが特定される。同じ場所にあるブロックは、現在のブロックと同じ画像領域に対応する参照平面グループ内のブロック、または、画像領域の最大の部分を現在のブロックと共有する、参照平面グループ内のブロックを表すブロックであってもよい。同じ場所にあるブロックは、より小さい予測ブロックに区分化できる。好適な実施の形態では、現在のブロックについての細分割情報、および、結果として得られるサブブロックについての予測パラメータは、追加の付随する情報を伝送することなく、同じ画像の異なる平面グループ内の同じ場所にあるブロックの細分割情報と、対応するサブブロックの予測パラメータとを使用して、完全に推定される。１つの特定の例として、同じ場所にあるブロックが２つまたは４つの予測ブロックに区分化される場合は、現在のブロックも、予測を目的として２つまたは４つのサブブロックに区分化され、現在のブロックのサブブロックについての予測パラメータが、上述したように導き出される。別の例として、同じ場所にあるブロックが４つのサブブロックに区分化され、これらのサブブロックの１つがより小さい４つのサブブロックにさらに区分化される場合は、現在のブロックも４つのサブブロックに区分化され、これらのサブブロックの１つ（さらに分解される、同じ場所にあるブロックのサブブロックに対応するもの）も、より小さい４つのサブブロックに区分化され、それ以上区分化されない全てのサブブロックについての予測パラメータは、上述したように推定される。他の好適な実施の形態では、細分割情報は、参照平面グループ内の同じ場所にあるブロックの細分割情報に基づいて、完全に推定されるが、サブブロックについて推定される予測パラメータは、サブブロックの実際の予測パラメータの予測として使用されるだけである。実際の予測パラメータと、推定された予測パラメータとの間の偏差は、ビットストリーム内で符号化される。他の実施の形態では、推定された細分割情報が、現在のブロックの実際の細分割情報についての予測として使用され、差がビットストリーム内で（上述したように）伝送されるが、予測パラメータは完全に推定される。別の実施の形態では、推定された細分割情報と推定された予測パラメータとの両方が予測として使用され、実際の細分割情報および予測パラメータと、推定された値との間の差がビットストリーム内で伝送される。
別の実施の形態では、平面グループのブロックについて、残差の符号化のモード（変換タイプなど）が、同じ画像の異なる平面グループの同じ場所にある符号化済みのブロックから推定または予測されるか否か、または、残差の符号化のモードが、ブロックについて別々に符号化されるか否かが、状況に合わせて選択される。この実施の形態は、予測パラメータの推定／予測を状況に合わせて行う上述の実施の形態と類似している。
別の実施の形態では、変換ブロック（すなわち、２次元変換が適用される標本のブロック）へのブロック（予測ブロックなど）の細分割が、同じ画像の異なる平面グループの同じ場所にある符号化済みのブロックから状況に合わせて推定または予測される。この実施の形態は、予測ブロックへの細分割の推定／予測を状況に合わせて行う上述の実施の形態と類似している。
別の実施の形態では、変換ブロックへのブロックの細分割、および、結果として得られる変換ブロックについての残差の符号化のモード（変換タイプなど）が、同じ画像の異なる平面グループの同じ場所にある符号化済みブロックから状況に合わせて推定または予測される。この実施の形態は、予測ブロックへの細分割、および、結果として得られる予測ブロックについての予測パラメータの推定／予測を状況に合わせて行う上述の実施の形態と類似している。
別の実施の形態では、予測ブロックへのブロックの細分割、関連付けられる予測パラメータ、予測ブロックの細分割情報、および、変換ブロックについての残差の符号化のモードが、同じ画像の異なる平面グループの同じ場所にある符号化済みのブロックから状況に合わせて推定または予測される。この実施の形態は、上述の実施の形態が組み合わされたものである。上述の符号化パラメータの一部のみの推定または予測を行うことも可能である。
よって、前述のとおり、平面間の採用／予測によって、符号化の効率が上がる可能性がある。ただし、マルチツリーに基づいた細分割以外の他のブロックの細分割が使用される場合にも、平面間の採用／予測による符号化の効率の向上は可能であり、ブロックの結合が行われるか否かには関係しない。
平面間の適合／予測に関して上記で概説した実施の形態は、画像および動画のエンコーダおよびデコーダに適用できる。エンコーダおよびデコーダは、画像の色平面、および、存在する場合は、画像と関連付けられている補助的な標本配列をブロックに分割し、それらのブロックを符号化パラメータと関連付ける。各ブロックについて、符号化パラメータの集合は、ビットストリーム内に含まれていてもよい。たとえば、これらの符号化パラメータは、デコーダ側でのブロックの予測または復号化の方法が記述されたパラメータであってもよい。たとえば、符号化パラメータは、マクロブロックまたはブロックの予測モード、細分割情報、イントラ予測モード、動き補償予測に使用される参照インデックス、変位ベクトルなどの運動パラメータ、残差の符号化のモード、変換係数などを表すことができる。画像に関連付けられている標本配列は、それぞれサイズが異なっていてもよい。
次に、たとえば図１から図８を参照して上述したような、ツリーに基づいた区分化の体系での、符号化パラメータについての、拡張された情報伝達の体系を説明する。後述される体系は、上記の任意の実施の形態の１つまたは組合せと組み合わせることが可能であるが、他の体系、すなわち、結合および平面間の採用／予測と同様に、拡張された情報伝達の体系の効果および利点は、上記の実施の形態とは関係なく説明される。この体系は、以下では継承と呼ぶ。
ツリーに基づいた区分化の体系での付随する情報の符号化についての改善された符号化体系は、継承と呼ばれ、次に説明する。これによって、一般に、符号化パラメータの処理についての従来の体系と比較して以下のような利点が実現される。
通常、従来の画像および動画の符号化においては、画像、または、画像内の特定の標本配列の集合がブロックに分解され、特定の符号化パラメータに関連付けられる。通常、画像は、複数の標本配列で構成される。さらに、画像が、たとえば、透明度の情報や深度のマップなどを指定する追加の補助的な標本配列に関連付けられている場合もある。画像の標本配列（補助的な標本配列を含む）は、１つ以上のいわゆる平面グループにグループ化でき、各平面グループは、１つ以上の標本配列で構成される。画像の平面グループは、独立して符号化でき、また、その画像が複数の平面グループに関連付けられている場合は、同じ画像の他の平面グループからの予測によって符号化できる。通常、各平面グループは、ブロックに分解される。ブロック（または標本配列の対応するブロック）は、画像間での予測または画像内での予測のどちらかによって予測が行われる。ブロックはさまざまなサイズになる場合があり、正方形または長方形のどちらかとなる。ブロックへの画像の区分化は、構文によって固定でき、あるいは、（少なくとも一部について）ビットストリーム内で情報伝達することも可能である。多くの場合、所定のサイズのブロックについての細分割情報を伝達する構文要素が伝送される。そういった構文要素によって、ブロックがより小さいブロックに細分割され、予測の目的などで符号化パラメータに関連付けられるか否か、および、その方法を指定できる。ブロック（または標本配列の対応するブロック）の全ての標本について、関連付けられている符号化パラメータの復号化が特定の方法で指定される。例では、参照インデックス（符号化済みの画像の集合の中で参照画像を特定）、運動パラメータ（参照画像と現在の画像との間のブロックの動きの量を指定）、補間フィルタやイントラ予測モードなどの指定のためのパラメータなどの、同じ予測パラメータの集合を使用して、ブロック内の全ての標本の予測が行われる。運動パラメータは、水平方向および垂直方向の成分を持った変位ベクトル、または、６つの成分で構成されるアフィン運動パラメータなどの高次の運動パラメータによって表すことができる。また、単一のブロックに、特定の予測パラメータ（参照インデックスや運動パラメータなど）の集合を複数関連付けることも可能である。その場合、これらの特定の予測パラメータのそれぞれの集合について、ブロック（または標本配列の対応するブロック）についての単一の中間予測信号が生成され、中間予測信号の重ね合わせを含む組合せによって最終予測信号が形成される。対応する重み付けパラメータは、場合によって一定のオフセット（加重和に追加される）とともに、画像、参照画像、または、参照画像の集合のいずれかについて固定でき、あるいは、対応するブロックについての予測パラメータの集合に含むこともできる。元のブロック（または標本配列の対応するブロック）と予測信号との間の差は、残差信号とも呼ばれ、通常、変換と量子化が行われる。多くの場合、残差信号（または残差ブロックの対応する標本配列）に２次元変換が適用される。変換符号化のために、予測パラメータの特定の集合が使用されているブロック（または標本配列の対応するブロック）は、変換の適用前にさらに分割することができる。変換ブロックは、予測に使用されるブロックと同じサイズか、または、より小さくなる。また、変換ブロックは、予測に使用されるブロックを複数含むことも可能である。各変換ブロックはさまざまなサイズになる場合があり、正方形または長方形のブロックとなる。変換後、結果として得られる変換係数が量子化され、いわゆる変換係数レベルが得られる。変換係数レベルおよび予測パラメータと、存在する場合は細分割情報が、エントロピー符号化される。
一部の画像および動画の符号化の規格において、構文によって提供される、ブロックへの画像（または平面グループ）の細分割の可能性は、非常に限定されている。通常、指定できるのは、所定のサイズのブロックをより小さいブロックに細分割できるか否か、および、（場合によってその方法）のみである。たとえば、Ｈ．２６４では最大ブロックサイズは１６×１６である。１６×１６のブロックはマクロブロックとも呼ばれ、各画像は最初のステップでマクロブロックに区分化される。１６×１６のマクロブロックのそれぞれについて、１６×１６のブロック、２つの１６×８のブロック、２つの８×１６のブロック、または４つの８×８のブロックのうちのどれで符号化されるかを情報伝達することができる。１６×１６のブロックが４つの８×８のブロックに細分割される場合は、これらの８×８のブロックのそれぞれを、１つの８×８のブロック、２つの８×４のブロック、２つの４×８のブロック、または４つの４×４のブロックのいずれかとして符号化できる。画像および動画の符号化の最新の規格で、ブロックへの区分化を指定する可能性を少なくすることで、細分割情報を伝達するための付随する情報のレートを小さく抑えられるという利点があるが、以下で説明するように、ブロックの予測パラメータの伝送に必要なビットレートが、大きくなる場合があるというデメリットがある。通常、予測情報を情報伝達するための付随する情報のレートは、ブロックのビットレート全体のかなりの量を占める。そのため、この付随する情報が縮小されると、符号化の効率が向上する可能性があり、たとえば、より大きなブロックサイズを使用することで実現できる可能性がある。実際の画像や動画のシーケンスの画像は、特定の性質を持った任意の形状の物体で構成される。たとえば、そういった物体や物体の一部は、固有のテクスチャや固有の動きによって特徴付けられる。通常、そういった物体や物体の一部に、同じ予測パラメータの集合が適用される。しかし、通常は、物体の境界は、大きな予測ブロック（たとえば、Ｈ．２６４での１６×１６のマクロブロックなど）のブロックの境界とは一致しない。通常、エンコーダが、特定のレート／歪みの損失量が最小になるように、（限られた可能性の中から）細分割の決定を行う。この結果、任意の形状の物体の場合には、多数の小さなブロックができる可能性がある。これらの小さなブロックは、伝送される必要がある予測パラメータの集合にそれぞれ関連付けられているので、付随する情報のレートが、ビットレート全体のかなりの部分を占めるようになる可能性がある。しかし、その小さなブロックのいくつかは、依然として同じ物体または物体の一部の領域を表すので、得られた多数のブロックの予測パラメータは、同一か、または、非常に類似したものになる。構文が、ブロックの細分割を可能にするだけでなく、細分割後に得られるブロック間で符号化パラメータを共有することも可能にする方法で拡張されると、符号化の効率が向上すると考えられる。ツリーに基づいた細分割において、符号化パラメータまたはその一部を、ツリーに基づいた階層内の１つ以上の親ノードに割り当てることによって、所定のブロックの集合について符号化パラメータの共有を実現できる。その結果、共有されるパラメータまたはその一部を使用して、細分割後に得られるブロックについての符号化パラメータの実際の選択の情報伝達に必要な付随する情報を減少させることができる。減少させる方法としては、後続のブロックについてのパラメータの情報伝達を省略するか、または、共有されたパラメータを、後続のブロックについてのパラメータの予測および／またはコンテキストモデリングに使用する。
以下で説明する継承の体系の基本的な考え方は、ツリーに基づいたブロックの階層に従って情報を共有することによって、符号化パラメータの伝送に必要なビットレートを減少させることである。共有される情報信号は（細分割情報に付加されて）ビットストリーム内で送信される。継承の体系の利点は、符号化パラメータに付随する情報のレートが減少することによる、符号化の効率の向上である。
付随する情報のレートを減少させるために、後述する実施の形態では、マルチツリーの細分割の特定の標本の集合、すなわち、単連結領域についてのそれぞれの符号化パラメータの信号が、効率的な方法で、データストリーム内で送信される。特定の標本の集合、すなわち、単連結領域は、長方形または正方形のブロック、または、任意の形状の領域、または、その他の標本の集合を表す。後述する継承の体系によって、これらの標本の集合のそれぞれについて、符号化パラメータを完全にビットストリーム内に明示的に含める必要がなくなる。符号化パラメータは、符号化済みの標本を使用して対応する標本の集合を予測する方法を指定する予測パラメータを表してもよい。上記で説明した多数の可能性および例は、ここでも適用される。上記でも示したように、また、以下でもさらに説明するように、以下の継承の体系に関しては、標本の集合への画像の標本配列のツリーに基づいた区分化は、構文によって固定されてもよく、あるいは、ビットストリーム内の対応する細分割情報によって伝達されてもよい。上述したとおり、標本の集合についての符号化パラメータは、構文によって指定される所定の順序で伝送されてもよい。
継承の体系に従って、デコーダまたはデコーダの抽出部１０２は、個別の単連結領域または標本の集合の符号化パラメータについての情報を特定の方法で導き出すように構成される。特に、予測の目的に使用されるパラメータなどの符号化パラメータまたはその一部は、エンコーダまたは挿入部１８によって決定されるツリー構造に従う共有グループとともに、所定のツリーに基づいた区分化体系に従うブロック間で共有される。特定の実施の形態では、区分化のツリーの所定の内部ノードの全ての子ノードについての符号化パラメータの共有が、２進値の特定の共有フラグを使用して示される。別のアプローチとして、ツリーに基づいたブロックの階層に従って累積したパラメータのリファインメントを所定のリーフノードのブロックの全ての標本の集合に適用できるように、各ノードについて、符号化パラメータのリファインメントを伝送できる。別の実施の形態では、ツリーに基づいたブロックの階層に従って内部ノードについて伝送される符号化パラメータの一部を、所定のリーフノードのブロックについての符号化パラメータまたはその一部の、コンテキストに適応したエントロピーエンコーディングおよびエントロピー復号化に使用できる。
図１２Ａおよび図１２Ｂは、四分木に基づいた区分化を使用する特定の場合の継承の基本的な考え方を示している。ただし、上記で何度も示しているとおり、他のマルチツリーの細分割を使用してもよい。図１２Ａではツリー構造が示され、図１２Ｂでは、図１２Ａのツリー構造に対応する空間的な区分化が示されている。これらに示されている区分化は、図３Ａから図３Ｃで示したものと同様である。一般に、継承の体系によって、ツリー構造内の異なる非リーフ層のノードに、付随する情報を割り当てることが可能になる。図１２Ａのツリー内の内部ノードやルートノードなどの、ツリー内の異なる層のノードへの付随する情報の割り当てに応じて、図１２Ｂに示したブロックのツリー階層内で、付随する情報の共有をさまざまな度合いで実現できる。たとえば、図１２Ａの場合は親ノードが全て同じである、第４層の全てのリーフノードが、付随する情報を共有すると決定されている場合は、実質的には、図１２Ｂで１５６ａから１５６ｄで示されている最小のブロックが、この付随する情報を共有することを意味し、これらの小さなブロック１５６ａから１５６ｄの全てについて、それぞれ、すなわち、４回、付随する情報を伝送する必要がなくなる。ただし、これはエンコーダのオプションとして残される。また、図１２Ａの階層レベル１（第２層）の領域全体、すなわち、サブブロック１５４ａ、１５４ｂ、および１５４ｄと、さらに小さい上記のサブブロック１５６ａから１５６ｄとを含むツリーブロック１５０の上部右の４分の１の部分を、符号化パラメータが共有される領域として決定することも可能である。よって、付随する情報を共有する領域が増加する。増加の次のレベルは、第１層の全てのサブブロック、すなわち、サブブロック１５２ａ、１５２ｃ、および１５２ｄと、上記のより小さいブロックをまとめることである。言い換えると、この場合は、ツリーブロック全体が、割り当てられている付随する情報を有していて、このツリーブロック１５０の全てのサブブロックが、付随する情報を共有している。
以下での継承の説明において、実施の形態の説明に、次の表記を使用する。
ａ．現在のリーフノードの再構築される標本：ｒ
ｂ．隣接するリーフの再構築される標本：ｒ'
ｃ．現在のリーフノードの予測因子：ｐ
ｄ．現在のリーフノードの残差：Ｒｅｓ
ｅ．現在のリーフノードの再構築される残差：ＲｅｃＲｅｓ
ｆ．スケーリングおよび逆変換：ＳＩＴ
ｇ．共有フラグ：ｆ
１つめの継承の例として、内部ノードでのイントラ予測の信号化について説明する。具体的には、予測を目的とした、ツリーに基づいたブロックの区分化の、内部ノードでのイントラ予測モードの信号化の方法について説明する。内部ノード（ルートノードを含む）は、ルートノードからリーフノードへツリーをトラバースすることによって、対応する子ノードで利用される付随する情報の一部を伝達できる。具体的には、内部ノードについて、次の意味で、共有フラグｆが伝送される。
・ｆの値が１（「ｔｒｕｅ」）の場合は、所定の内部ノードの全ての子ノードが、同じイントラ予測モードを共有する。値が１の共有フラグｆに加え、内部ノードは、全ての子ノードに使用されるイントラ予測モードのパラメータを情報伝達する。そのため、後続の全ての子ノードは、予測モードの情報や共有フラグを一切伝送しない。関連している全てのリーフノードの再構築にあたって、デコーダが、対応する内部ノードから、イントラ予測モードを適用する。
・ｆの値が０（「ｆａｌｓｅ」）の場合は、対応する内部ノードの子ノードは、同じイントラ予測モードを共有せず、内部ノードである各子ノードは、別個の共有フラグを伝送する。
図１２Ｃは、上述した内部ノードでのイントラ予測の信号化を説明している。第１層の内部ノードは、共有フラグ、および、イントラ予測モードの情報によって提供された付随する情報を伝達し、子ノードは付随する情報を一切伝送しない。
２つめの継承の例として、平面間予測のリファインメントについて説明する。具体的には、運動ベクトルなどによって提供される運動パラメータのリファインメントを目的とした、ツリーに基づいたブロックの区分化の、内部モードでの平面間予測モードの付随する情報の伝達方法について説明する。内部ノード（ルートノードを含む）は、ルートノードからリーフノードへツリーをトラバースすることによって、対応する子ノードでリファインされる付随する情報の一部を伝達できる。具体的には、内部ノードについて、次の意味で、共有フラグｆが伝送される。
・ｆの値が１（「ｔｒｕｅ」）の場合は、所定の内部ノードの全ての子ノードが、同じ運動ベクトルの参照を共有する。値が１の共有フラグｆに加え、内部ノードは、運動ベクトルおよび参照インデックスも送信する。そのため、後続の全ての子ノードは、それ以上の共有フラグを伝送しないが、この継承される運動ベクトルの参照のリファインメントを伝送してもよい。関連している全てのリーフノードの再構築にあたって、デコーダが、所定のリーフノードの運動ベクトルのリファインメントを、値が１の共有フラグｆを有する対応する内部親ノードに属している、継承される運動ベクトルの参照に追加する。これは、所定のリーフノードの運動ベクトルのリファインメントが、このリーフノードで動き補償予測のために適用される実際の運動ベクトルと、対応する内部親ノードの運動ベクトルの参照との間の差であることを意味する。
・ｆの値が０（「ｆａｌｓｅ」）の場合は、対応する内部ノードの子ノードは、必ずしも同じ平面間予測モードを共有せず、対応する内部ノードから運動パラメータを使用することによって、子ノードで運動パラメータのリファインメントは行われない。内部ノードである各子ノードは、別個の共有フラグを伝送する。
図１２Ｄは、上述した運動パラメータのリファインメントを説明している。第１層の内部ノードは、共有フラグおよび付随する情報を伝達している。リーフノードである子ノードは、運動パラメータのリファインメントのみを伝送し、たとえば、第２層の内部子ノードが伝送する付随する情報はない。
ここで、図１３について説明する。図１３は、データストリームからの空間的な例の情報信号を表す情報標本の配列の再構築における、図２のデコーダなどの、デコーダの動作のモードを表すフローチャートである。情報標本の配列は、マルチツリーの細分割によって、異なるサイズのリーフ領域に細分割される。上記で説明したように、各リーフ領域は、マルチツリーの細分割の一連の階層レベルのうちの１つの階層レベルに関連付けられる。たとえば、図１２Ｂで示されている全てのブロックは、リーフ領域である。たとえば、リーフ領域１５６ｃは、第４層（または、レベル３）の階層に関連付けられている。各リーフ領域は、符号化パラメータに関連付けられている。これらの符号化パラメータの例は、上記で説明している。符号化パラメータは、各リーフ領域について、それぞれの構文要素の集合によって表される。各構文要素の、それぞれの構文要素のタイプは、一連の構文要素のタイプのうちの１つである。たとえば、そういった構文要素のタイプは、予測モード、運動ベクトルの成分、イントラ予測モードの指示などである。デコーダは、図１３に従って、以下のステップを行う。
ステップ５５０で、継承の情報がデータストリームから抽出される。図２の場合では、抽出部１０２がステップ５５０を行う。継承の情報は、情報標本の現在の配列に継承が使用されるか否かについて示す。以下の説明では、共有フラグｆや、一次および二次的な部分に分割されるマルチツリー構造の情報伝達などの継承の情報には、いくつかの可能性があることを明らかにする。
情報標本の配列は、ツリーブロックなど、既に画像の一部分であってもよい。すなわち、図１２Ｂのツリーブロック１５０などである。したがって、継承の情報によって、特定のツリーブロック１５０に継承が使用されるか否かが示される。そういった継承の情報は、たとえば、予測の細分割の全てのツリーブロックについて、データストリームに挿入されてもよい。
さらに、継承が使用されることが示されている場合、継承の情報によって、情報標本の配列の継承の領域が、少なくとも１つ示される。この継承の領域は、リーフ領域の集合で構成される。また、リーフ領域の集合が関連付けられている各階層レベルよりも下位に位置する、マルチツリーの細分割の一連の階層レベルのうちの１つの階層レベルに対応する。言い換えると、継承の情報によって、ツリーブロック１５０などの現在の標本配列に継承が使用されるか否かが示される。継承が使用される場合は、このツリーブロック１５０の少なくとも１つの継承の領域または小領域が示され、その中では、リーフ領域が符号化パラメータを共有する。よって、継承の領域は、リーフ領域でなくてもよい。図１２Ｂの例では、この継承の領域は、たとえば、サブブロック１５６ａから１５６ｂで形成される領域であってもよい。あるいは、継承の領域は、さらに大きくてもよく、さらにサブブロック１５４ａ、１５４ｂ、および１５４ｄも含んでもよい。また、さらに、継承の領域が、ツリーブロック１５０自体であって、全てのリーフブロックで、その継承の領域に関連付けられている符号化パラメータが共有されてもよい。
また、１つの標本配列またはツリーブロック１５０のそれぞれの中で、複数の継承の領域が定義されてもよい。たとえば、下部左のサブブロック１５２ｃも、より小さいブロックに区分化されたとする。この場合、サブブロック１５２ｃも継承の領域を形成できる。
ステップ５５２では、継承が使用されるか否かについて、継承の情報の確認が行われる。継承が使用される場合は、図１３の処理はステップ５５４に進み、所定の構文要素のタイプの構文要素を少なくとも１つ含む継承の部分集合が、平面間継承の領域ごとに、データストリームから抽出される。続くステップ５５６では、それぞれの少なくとも１つの継承の領域を構成するリーフ領域の集合に関連付けられている符号化パラメータを表す構文要素の集合内の、対応する構文要素の継承の部分集合へ、この継承の部分集合がコピーされるか、または、その予測として使用される。言い換えると、継承の情報内で示されている継承の領域のそれぞれについて、データストリームが、構文要素の継承の部分集合を構成する。さらに言い換えると、継承は、継承に使用できる少なくとも１つの特定の構文要素のタイプまたは構文要素のカテゴリに関連する。たとえば、予測モードまたは平面間予測モードまたはイントラ予測モードの構文要素は、継承の対象となってもよい。たとえば、継承の領域についてのデータストリーム内に含まれている継承の部分集合は、平面間予測モードの構文要素を含んでいてもよい。また、継承の部分集合は、継承の体系に関連付けられている上記の固定された構文要素のタイプの値に構文要素のタイプが依存する、構文要素をさらに含んでいてもよい。たとえば、平面間予測モードが継承の部分集合の固定された構成要素である場合、運動ベクトルの成分などの、動き補償を定義する構文要素は、構文によって、継承の部分集合に含まれても含まれなくてもよい。たとえば、ツリーブロック１５０の上部右の４分の１、すなわち、サブブロック１５２ｂが継承の領域であるとすると、この継承の領域について、平面間予測モードのみ、または、平面間予測モードと運動ベクトルおよび運動ベクトルのインデックスを示すことができる。
継承の部分集合に含まれている全ての構文要素は、その継承の領域、すなわち、リーフブロック１５４ａ、１５４ｂ、１５４ｄ、および、１５６ａから１５６ｄの中のリーフブロックの対応する符号化パラメータへコピーされるか、または、その予測として使用される。予測が使用される場合は、個々のリーフブロックについて残差が伝送される。
ツリーブロック１５０についての継承の情報の伝送の１つの可能性が、上述した共有フラグｆの伝送である。この場合、ステップ５５０での継承の情報の抽出には、以下が含まれる。特に、デコーダは、マルチツリーの細分割の少なくとも１つの階層レベルの継承の集合のいずれかに対応する非リーフ領域について、下位の階層レベルから上位の階層レベルへの階層レベルの順序を使用して、データストリームから共有フラグｆを抽出し、それぞれの継承フラグまたは共有フラグで継承が指示されているか否かについて確認できるように構成される。たとえば、階層レベルの継承の集合は、図１２Ａの第１層から第３層の階層によって形成される。よって、リーフノードではなく、第１層から第３層のいずれかの中に位置するサブツリー構造のノードのいずれかが、関連付けられている共有フラグをデータストリーム内に有する。デコーダは、第１層から第３層への順序で、深度順または幅の順などのトラバースの順序で、これらの共有フラグを抽出する。共有フラグの１つが１であると、デコーダは、対応する継承の領域に含まれるリーフブロックが、続いてステップ５５４で抽出される継承の部分集合を共有すると認識する。現在のノードの子ノードについて、継承フラグを確認する必要がなくなる。言い換えると、これらの子ノードについての継承フラグは、データストリーム内で伝送されない。これは、これらのノードの領域が、構文要素の継承の部分集合が共有されている継承の領域に既に属していることが明らかであるためである。
共有フラグｆは、上述した四分木の細分割を情報伝達するビットと交互に扱うことができる。たとえば、細分割フラグと共有フラグとの両方を含んで交互に扱うビットシーケンスは、次のように示される。
Figure 0005846611
 １０００１１０１（００００）０００
これは、図６Ａで示したものと同じ細分割情報に、下線で強調した２つの共有フラグが組み入れられていて、図３Ｃで、ツリーブロック１５０の下部左側の４分の１の中の全てのサブブロックが符号化パラメータを共有することを示す。
継承の領域を示す継承の情報を定義する別の方法には、予測および残差の細分割についてそれぞれ上記で説明したような、互いに下位の方法で定義される２つの細分割の使用がある。一般に、一次の細分割のリーフブロックによって、構文要素の継承の部分集合が共有される領域を定義する継承の領域を形成できる。同時に、構文要素の継承の部分集合が、コピーされるか、または、予測として使用される、これらの継承の領域内のブロックが、下位の細分割によって定義される。
たとえば、残差のツリーを、予測のツリーの拡張として考える。さらに、残差の符号化を目的として、予測ブロックをより小さいブロックにさらに分割できる場合を考える。予測に関連する四分木のリーフノードに対応する各予測ブロックについて、１つ以上の下位の四分木によって、残差の符号化についての対応する細分割が決定される。
この場合、内部ノードで予測の信号化を使用するのではなく、残差のツリーを次のように解釈する。一定の予測モードの使用という意味で、予測のツリーのリファインメントも指定され（予測に関連するツリーの対応するリーフノードによって情報伝達される）、リファインされた参照標本も使用される。以下の例では、この場合について説明している。
たとえば、図１４Ａおよび図１４Ｂは、イントラ予測について四分木の区分化を示している。一次の細分割の１つの特定のリーフノードについて、隣接する参照標本がハイライトされている。図１４Ｂは、同じ予測リーフノードについての、残差の四分木の細分割を、リファインされた参照標本とともに示している。図１４Ｂで示されている全てのサブブロックは、図１４Ａでハイライトされているそれぞれのリーフブロックについて、データストリーム内に含まれている同じ平面間予測パラメータを共有する。このように、図１４Ａは、イントラ予測についての従来の四分木の区分化の例を示し、１つの特定のリーフノードについての参照標本が示されている。しかし、好適な実施の形態では、たとえば、図１４Ｂでグレーの縞で陰影を付けて示しているような、残差のツリー内の再構築済みのリーフノードの隣接する標本を使用することによって、残差のツリー内の各リーフノードについて、別個のイントラ予測の信号が算出される。そして、量子化された残差信号をこの予測信号に追加することによって、通常の方法で、所定の残差のリーフノードの再構築された信号が取得される。この再構築された信号は、参照の信号として以降の予測の処理に使用される。予測のための復号化の順序は、残差の復号化の順序と同じである。
図１５で示しているように、復号化のプロセスでは、残差のリーフノードのそれぞれについて、実際のイントラ予測モードに従って（予測に関連する四分木のリーフノードで示されているように）参照標本ｒ’を使用して、予測信号ｐが算出される。
ＳＩＴ処理、
Figure 0005846611
 の後、次の予測の算出の処理のために、再構築された信号ｒが算出されて記憶される。
Figure 0005846611
予測のための復号化の順序は、図１６で示している残差の復号化の順序と同じである。
残差のリーフノードのそれぞれは、前の段落で説明したように復号化される。再構築された信号ｒは、図１６で示しているように、バッファに記憶される。次の予測および復号化のプロセスのために、このバッファから、参照の標本ｒ’が取得される。
図１から図１６を参照して、上記で概説したさまざまな態様を組み合わせて具体的な実施の形態を説明したが、さらに、上述した特定の態様に重点が置かれ、上述の実施の形態のいくつかを総合した実施の形態となっている、本願の他の実施の形態について説明する。特に、図１および図２の構成を基に上述した実施の形態は、主に、本願の多数の態様が組み合わされたものであり、他の用途や他の符号化の分野で使用される場合にも利点が得られる。上記の説明で繰り返し述べたように、たとえば、結合および／または、平面間の採用／予測および／または、継承を行わずにマルチツリーの細分割が使用されてもよい。たとえば、付随する情報のビットレートの削減を目的とした、最大ブロックサイズの伝送、深度順のトラバースの順序の使用、それぞれの細分割フラグの階層レベルに応じたコンテキストの適応、ビットストリーム内での最大階層レベルの伝送といった態様は全て、相互に依存することなく、利点をもたらす。これは、平面間の実施の体系を考える場合においても同様である。画像が単連結領域に細分割される詳細な方法に関係なく、平面間の実施によって利点が得られ、また、結合の体系および／または継承に関係なく、利点が得られる。結合および継承から得られる利点についても、同様である。
したがって、以下で概説する実施の形態では、平面間の採用／予測に関連する態様に関しての上述の実施の形態を総合する。以下の実施の形態は、上述の実施の形態を総合したものとなるので、上述した詳細の多くは、以下で説明する実施の形態と組み合わせることができると見なしてよい。
図１７は、データストリームの復号化を行うデコーダのモジュールを示している。ここで、データストリームは、ある光景の画像において空間的にサンプリングされた異なる情報の構成要素を複数の平面で表し、各平面は情報標本の配列によって構成される。デコーダは、図２で示したようなものであってもよい。特に、モジュール７００は、残差データやスペクトル分解データなどのペイロードを処理することによって、情報標本の各配列５０２〜５０６の再構築を行う。情報標本の各配列５０２〜５０６は、予測パラメータなどの単連結領域に関連付けられている符号化パラメータによって指示される方法で、単連結領域に細分割される。ペイロードは、この単連結領域に関連付けられている。このモジュールは、たとえば、図２のデコーダの場合、ブロック１０２以外の全てのブロックによって具現化される。しかし、図１７のデコーダは、ハイブリッドなデコーダである必要はない。平面間予測および／またはイントラ予測が使用されなくてもよい。変換符号化についても同様であり、すなわち、スペクトル分解の２次元変換によってではなく、空間領域で残差が符号化されてもよい。
さらに、モジュール７０２によって、情報標本の配列の配列５０６などの第１配列の単連結領域に関連付けられている符号化パラメータがデータストリームから導き出される。よって、モジュール７０２では、モジュール７００のタスクの実行の準備となるタスクが定義される。図２の場合では、抽出部１０２がモジュール７０２のタスクを行う。配列５０６自体が二次的な配列であり、関連付けられている符号化パラメータが平面間の採用／予測を目的として取得されている可能性があることに注意する必要がある。
次のモジュール７０４では、情報標本の配列の第２配列５０４の単連結領域についての平面間交換情報がデータストリームから導き出される。図２の場合では、抽出部１０２がモジュール７０２のタスクを行う。
次のモジュール７０６では、第２配列の単連結領域についての平面間交換情報に応じて、第２配列の各単連結領域、または、単連結領域の真部分集合について、次のモジュール７０８または７１０のどちらを行うかを決定する。図２の場合では、抽出部１０２が細分割部１０４と連動して、モジュール７０６のタスクを行う。細分割部は、単連結領域がトラバースされる順序、すなわち、平面間交換情報のどの部分がどの単連結領域に関係するかを制御し、抽出部１０２が実際の抽出を行う。上記のより詳細な実施の形態では、平面間の採用／予測が行われるか否か、それぞれの単連結領域について、個別に平面間交換情報が定義された。しかし、このような場合に限定されない。単連結領域の真部分集合の単位で決定が行われる場合でも、利点が得られる。たとえば、それぞれが１つまたは複数の隣接する単連結領域で構成される、１つ以上のより大きな単連結領域が、平面間交換情報によって定義されて、これらのより大きな領域ごとに平面間の採用／予測が行われてもよい。
モジュール７０８では、少なくとも部分的に、第１配列５０６の局所的に対応する単連結領域の符号化パラメータから、第２配列５４０のそれぞれの単連結領域、または、単連結領域の真部分集合についての符号化パラメータが導き出される。このタスクは、図２の場合、同じ場所についての関係を導き出す細分割部１０４と連動して抽出部が行う。また、そのように導き出された符号化パラメータによって指示される方法で、第２配列のそれぞれの単連結領域、または、単連結領域の真部分集合に関連付けられているペイロードデータの復号化が行われる。このタスクは、図２内の他のモジュール、すなわち、１０６から１１４によって行われる。
あるいは、モジュール７０８の代わりに、モジュール７１０で、第１配列５０６の局所的に対応する単連結領域についての符号化パラメータが無視され、第２配列５０４のそれぞれの単連結領域、または、単連結領域の真部分集合についての符号化パラメータが、データストリームから導き出される。このタスクは、図２の抽出部１０２が行う。また、データストリームから導き出された、関連付けられている符号化パラメータによって指示される方法で、第２配列のそれぞれの単連結領域、または、単連結領域の真部分集合に関連付けられているペイロードデータの復号化が行われる。このタスクは、図２内の他のモジュール、すなわち、１０６から１１４によって、細分割部１０４の制御下で行われる。細分割部１０４は、通常どおり、単連結領域間の隣接関係、および、同じ場所についての関係の管理を行う。
図１から図１６を参照して上述したように、情報標本の配列は、必ずしも、動画の画像、静止画像、または、その色成分を表しているとは限らない。標本配列が、特定の光景の深度のマップや透明度のマップなど、２次元的にサンプリングされた他の物理データを表す場合もある。
上記で既に説明したように、複数の単連結領域のそれぞれに関連付けられているペイロードデータは、残差ブロックに対応する変換ブロック内で有意な変換係数の位置を特定する変換係数や有意性のマップなどの空間領域または変換領域に残差データを含む場合がある。一般に、ペイロードデータは、関連付けられている単連結領域が、空間領域またはスペクトル領域のどちらかで、直接、あるいは、何らかの予測に対する残差などとして、空間的に記述されたデータである。よって、符号化パラメータは予測パラメータに限定されない。符号化パラメータによって、ペイロードデータの変換に使用される変換を示すことができる。あるいは、情報標本の配列の再構築の際に個別の単連結領域の再構築に使用されるフィルタを定義することができる。
上述したように、情報標本の配列が細分割されてできる単連結領域は、マルチツリーの細分割によって生じ、正方形または長方形の形状となる。さらに、標本配列の細分割について具体的に説明した実施の形態は、単に特定の実施の形態であり、他の細分割が使用されてもよい。一部の可能性を、図１８Ａ〜図１８Ｃに示す。たとえば、図１８Ａは、標本配列６０６の細分割を示す。重ならずに相互に隣接するツリーブロック６０８の規則的な２次元の配列へ細分割され、そのうちの一部は、マルチツリー構造に従って、さまざまなサイズのサブブロック６１０に細分割される。上述したとおり、図１８Ａは四分木の細分割を示しているが、この他の数の子ノードにそれぞれの親ノードを区分化することも可能である。図１８Ｂで示す実施の形態では、画素の配列６０６の全体に、直接マルチツリーの細分割が適用されることによって、標本配列６０６がさまざまなサイズのサブブロックへ細分割される。つまり、画素の配列６０６の全体がツリーブロックとして扱われる。図１８Ｃは、別の実施の形態を示す。この実施の形態においては、標本配列は、相互に隣接する正方形または長方形のマクロブロックの規則的な２次元の配列による構造となる。これらのマクロブロック６１２のそれぞれは、区分化の情報に個別に関連付けられ、この区分化の情報に従って、マクロブロック６１２は区分化されずに残されるか、あるいは、区分化の情報によって示されているサイズのブロックの規則的な２次元の配列へ区分化される。以上から分かるように、図１８Ａから図１８Ｃの実施の形態での細分割は全て、例として、重なりのない単連結領域へ、標本配列６０６が細分割される。しかし、いくつかの別の方法も可能である。たとえば、ブロックは相互に重なりあってもよい。ただし、各ブロックに、隣接するブロックのいずれとも重なっていない部分がある状態に制限される。あるいは、所定の方向に現在のブロックと並んで配置されている、隣接するブロックのうち、最大で１つのブロックが、ブロックの各標本に重なっている状態に制限される。後者の状態は、左側および右側に隣接するブロックが、現在のブロックを完全に覆うように現在のブロックに重なるが、相互に重なることはなく、垂直方向および対角線方向の隣接するブロックについても同様な状態を意味する。図１７に関してのさらに別の方法として、モジュール６０６での決定、および、それに応じた平面間の採用／予測が行われる粒度は、複数の平面であってもよい。よって、他の実施の形態では、１つの一次の平面と、たとえば２つの可能性のある二次的な平面の、３つ以上の平面があり、平面間の採用／予測がそれぞれの平面に適用されるか否かを、可能性のある二次的な平面のそれぞれについて別々に、モジュール６０６で決定し、データストリーム内の平面間交換情報で示す。適用される場合は、上述のとおり、単連結領域に関してさらに処理が行われてもよい。しかし、その場合、平面間交換情報で示されている平面内のみに平面間交換情報が存在し、処理される。
装置に関していくつかの態様を説明したが、これらの態様が、対応する方法についての説明にもなっていることは明らかであり、ブロックまたはデバイスは、手段、または、手段の特徴に対応する。同様に、手段に関して説明した態様も、対応するブロックや項目、または、対応する装置の機能の説明になっている。手段の一部または全ては、マイクロプロセッサ、プログラムで制御可能なコンピュータ、電子回路などのハードウェアの装置によって（あるいはハードウェアの装置を使用して）実行されてもよい。一部の実施の形態では、最も重要な手段の１つまたは複数が、そういった装置で実行されてもよい。
本発明によってエンコーディング／圧縮が行われた信号は、デジタル記憶媒体に記憶できる。あるいは、無線の伝送媒体やインターネットなどの有線の伝送媒体などの伝送媒体で伝送できる。
本発明の実施の形態は、特定の実装要件に応じて、ハードウェア、または、ソフトウェアで実装できる。たとえば、フロッピーディスク、ＤＶＤ、Ｂｌｕ−ｒａｙ Ｄｉｓｃ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリなど、電子的に読み取りが可能な制御信号が記憶され、プログラムで制御可能なコンピュータシステムとともに使用されて（あるいは、使用されることが可能で）それぞれの方法が実行される、デジタル記憶媒体を使用して実装できる。したがって、デジタル記憶媒体は、コンピュータによる読み取りが可能なものであってもよい。
本発明の一部の実施の形態には、電子的に読み取りが可能な制御信号を記憶するデータ記憶媒体が含まれる。データ記憶媒体は、プログラムで制御可能なコンピュータシステムとともに使用でき、ここで説明されている方法の１つが実行される。
一般に、本発明の実施の形態は、プログラムコードを含むコンピュータプログラム製品として実装でき、そのコンピュータプログラム製品がコンピュータ上で実行された際に、プログラムコードによって、方法の１つが実行される。プログラムコードは、たとえば、機械による読み取りが可能な記憶媒体に記憶されてもよい。
他の実施の形態では、ここで説明されている方法の１つを実行するコンピュータプログラムが含まれ、機械による読み取りが可能な記憶媒体に記憶される。
したがって、言い換えると、本発明の方法の実施の形態は、コンピュータ上で実行された際に、ここで説明されている方法の１つを実行するプログラムコードを含むコンピュータプログラムである。
したがって、本発明の方法の他の実施の形態は、ここで説明されている方法の１つを実行するコンピュータプログラムが記録されたデータ記憶媒体（または、デジタル記憶媒体、または、コンピュータ読み取りが可能な媒体）である。
したがって、本発明の方法の他の実施の形態は、ここで説明されている方法の１つを実行するコンピュータプログラムを表すデータストリームまたは一連の信号である。たとえば、データストリームまたは一連の信号は、インターネットなどのデータ通信の接続を介して伝送されるように構成されてもよい。
他の実施の形態は、コンピュータまたはプログラムで制御可能な論理デバイスなどの、ここで説明されている方法の１つを実行するように構成された、または適用された処理の手段を備える。
他の実施の形態は、ここで説明されている方法の１つを実行するコンピュータプログラムがインストールされたコンピュータを備える。
一部の実施の形態では、ここで説明されている方法の機能の一部または全てを実現するために、プログラムで制御可能な論理デバイス（フィールドプログラマブルゲートアレイなど）が使用されてもよい。一部の実施の形態では、フィールドプログラマブルゲートアレイが、ここで説明されている方法の１つを実行するために、マイクロプロセッサと連動してもよい。一般に、ハードウェアの装置によって方法が実行されることが望ましい。
上述した実施の形態は、単に本発明の基本的性質を説明するための例である。ここで説明されている配置および詳細の変形例やバリエーションは、当業者には明らかであると理解される。したがって、対応する特許の請求項の範囲によってのみ制限され、ここでの実施の形態の説明によって示される具体的な詳細によって制限されないものとする。

Claims (19)

  1. ひとつの画像の異なる情報の構成要素を別々の平面とし、それぞれの平面を空間的にサンプリングして得られる情報標本の配列を符号化したデータストリームから、前記情報の配列を復号化するデコーダであって、
    前記平面の各々について、前記情報標本の配列が細分割されてできる複数の単連結領域の各々に対し、その単連結領域に関連付けられた符号化パラメータによって指示された方法で、その単連結領域に関連付けられたペイロードデータを処理することにより、その平面の情報標本の配列を再構築し、
    第１の平面の情報標本の配列について、その情報標本の配列が細分割された単連結領域に関連付けられた符号化パラメータを前記データストリームから導き出し、
    第２の平面の情報標本の配列について、その情報表面の配列が細分割された単連結領域を他の平面で再構築された情報標本の配列を参照して処理するための平面間交換情報を前記データストリームから導き出し、
    前記第２の平面に関する複数の単連結領域またはその一部の単連結領域を処理対象とする処理として、前記平面間交換情報に基づいて、
    処理対象に対する符号化パラメータを、前記第１の平面に関する対応する単連結領域の符号化パラメータから少なくとも部分的に導き出し、その導き出された符号化パラメータによって指示された方法で、前記処理対象に関連付けられたペイロードデータを復号化すること、または
    前記第１の平面に関する対応する単連結領域の符号化パラメータを無視し、前記処理対象に対する符号化パラメータを前記データストリームから導き出し、その符号化パラメータによって指示された方法で、前記処理対象に関連付けられたペイロードデータを復号化すること、
    を決定するように構成され、
    前記第１の平面は明度または色成分に関連する平面であり、
    前記第２の平面は深度のマップの平面であり、
    前記符号化パラメータは、動き補償予測により前記第１の平面および前記第２の平面のそれぞれの情報標本の配列を再構築するために使用される運動パラメータと、前記第１の平面および前記第２の平面のそれぞれの情報標本の配列の各単連結領域をさらに小さい単連結領域に細分割する方法を指定する細分割情報と、のうち１つ以上の符号化パラメータを含む
    デコーダ。
  2. 請求項１に記載のデコーダにおいて、情報標本の配列がどのように細分割されているかを示す細分割情報を前記データストリームから導き出し、その情報標本の配列が再構築される領域を、前記細分割情報に基づいて単連結領域に細分割するように構成されるデコーダ。
  3. 請求項１または２に記載のデコーダにおいて、さまざまなサイズの単連結領域に細分割された情報標本の配列を再構築するデコーダ。
  4. 請求項１から３のいずれか１項に記載のデコーダにおいて、前記第１の平面と前記第２の平面とで単連結領域への細分割が異なる情報標本の配列を再構築するデコーダ。
  5. 請求項１から４のいずれか１項に記載のデコーダにおいて、前記処理対象に関連付けられたペイロードデータの処理において、前記処理対象内の情報標本を、前記処理対象に関連付けられた符号化パラメータによって指示された方法で予測するように構成されるデコーダ。
  6. 請求項１から５のいずれか１項に記載のデコーダにおいて、
    前記処理対象が関連付けられた符号化パラメータは、
    少なくともイントラ予測および平面間予測のうち、どの予測が前記処理対象に使用されるかを指定するブロック予測モードと、
    イントラ予測信号の生成方法を指定するイントラ予測モードと、
    前記処理対象について、最終予測信号の生成のために組み合わせられる予測信号の数を指定する識別子と、
    動き補償予測に使用される参照画像を指定する参照インデックスと、
    前記参照画像を使用して、前記予測信号を生成する方法を指定する運動パラメータと、
    予測信号の生成のための前記参照画像のフィルタ処理の方法を指定する識別子と、
    各処理対象をさらに小さい単連結領域に細分割する方法を指定する細分割情報と、
    のうち１つ以上の符号化パラメータを有する
    デコーダ。
  7. 請求項１から６のいずれか１項に記載のデコーダにおいて、前記処理対象に対する符号化パラメータを前記第１の平面に関する対応する単連結領域の符号化パラメータから導き出すために、前記処理対象内の所定の情報標本を選択し、その所定の情報漂に最も近い位置、またはその所定の範囲内で、前記第１の平面に関する対応する単連結領域を決定するデコーダ。
  8. 請求項１から６のいずれか１項に記載のデコーダにおいて、前記処理対象に対する符号化パラメータを前記第１の平面に関する対応する単連結領域の符号化パラメータから導き出すために、前記処理対象の領域が前記第１の平面に標本信号の配列内で空間的に重なっている単連結領域を指定するデコーダ。
  9. 請求項１から８のいずれか１項に記載のデコーダにおいて、前記処理対象に対する符号化パラメータを前記第１の平面に関する対応する単連結領域の符号化パラメータから導き出す際に、前記第１の平面の対応する単連結領域の符号化パラメータから、前記処理対象に対する残差データを導き出すこと無く、単にコピーすることまたは前記第１の平面と前記第２の平面との間の空間的な解像度や空間的な位相関係の相違を考慮した適合により、完全に推定するように構成されるデコーダ。
  10. 請求項１から８のいずれか１項に記載のデコーダにおいて、前記処理対象に対する符号化パラメータを前記第１の平面に関する対応する単連結領域の符号化パラメータから導き出す際に、前記第１の平面の対応する単連結領域の符号化パラメータを前記処理対象に対する前記符号化パラメータの予測として使用し、前記予測を前記データストリームから導き出される前記処理対象に対する符号化パラメータの残差データと組み合わせるように構成されるデコーダ。
  11. 請求項１から９のいずれか１項に記載のデコーダにおいて、前記第２の平面として２以上の平面があり、それぞれの平面の情報標本の配列を再構築するデコーダ。
  12. 請求項１１に記載のデコーダにおいて、前記情報標本の配列が、像の異なる複数の明度成分、色成分および／または深度や透明度といった非明度成分／非色成分を表す、デコーダ。
  13. 請求項１１または１２に記載のデコーダにおいて、平面指定情報を前記データストリームから導き出し、前記２以上の平面のそれぞれの情報標本の配列を前記平面指定情報に基づいて指定するように構成されるデコーダ。
  14. 請求項１３に記載のデコーダにおいて、前記像は時間的に変化し、各平面は、時間的サンプリング方法で空間的にサンプリングされた異なる情報の各構成要素の１つを表す一連の情報標本の配列を含み、前記時間的サンプリング方法は、前記像の一連の画像のうち単位画像ごとに少なくとも１つの前記情報標本の配列を伴い、前記デコーダは、前記平面指定情報の導出とともに、画像または画像グループに対応する時間粒度での指定を行う、または、初期化のための導出および指定を単に一度行うように構成されるデコーダ。
  15. 請求項１１から請求項１４のいずれか１項に記載のデコーダにおいて、前記像は時間的に変化し、各平面は、時間的サンプリング方法で空間的にサンプリングされた異なる情報の各構成要素の１つを表す一連の情報標本の配列を含み、前記時間的サンプリング方法は、前記像の一連の画像のうち単位画像ごとに少なくとも１つの前記情報標本の配列を伴い、前記デコーダは、前記平面間交換情報の導出とともに、画像が細分割された小領域、画像または画像グループに対応する時間粒度での決定を行うように構成されるデコーダ。
  16. ひとつの画像の異なる情報の構成要素を別々の平面とし、それぞれの平面を空間的にサンプリングして得られる情報標本の配列を符号化したデータストリームから、前記情報の配列を復号化する方法であって、
    前記平面の各々について、前記情報標本の配列が細分割されてできる複数の単連結領域の各々に対し、その単連結領域に関連付けられた符号化パラメータによって指示された方法で、その単連結領域に関連付けられたペイロードデータを処理することにより、その平面の情報標本の配列を再構築し、
    第１の平面の情報標本の配列について、その情報標本の配列が細分割された単連結領域に関連付けられた符号化パラメータを前記データストリームから導き出し、
    第２の平面の情報標本の配列について、その情報表面の配列が細分割された単連結領域を他の平面で再構築された情報標本の配列を参照して処理するための平面間交換情報を前記データストリームから導き出し、
    前記第２の平面に関する複数の単連結領域またはその一部の単連結領域を処理対象とする処理として、前記平面間交換情報に基づいて、
    処理対象に対する符号化パラメータを、前記第１の平面に関する対応する単連結領域の符号化パラメータから少なくとも部分的に導き出し、その導き出された符号化パラメータによって指示された方法で、前記処理対象に関連付けられたペイロードデータを復号化するか、または
    前記第１の平面に関する対応する単連結領域の符号化パラメータを無視し、前記処理対象に対する符号化パラメータを前記データストリームから導き出し、その符号化パラメータによって指示された方法で、前記処理対象に関連付けられたペイロードデータを復号化するか
    を決定し、
    前記第１の平面は明度または色成分に関連する平面であり、
    前記第２の平面は深度のマップの平面であり、
    前記符号化パラメータは、動き補償予測により前記第１の平面および前記第２の平面のそれぞれの情報標本の配列を再構築するために使用される運動パラメータと、前記第１の平面および前記第２の平面のそれぞれの情報標本の配列の各単連結領域をさらに小さい単連結領域に細分割する方法を指定する細分割情報と、のうち１つ以上の符号化パラメータを含む
    データストリームの復号化方法。
  17. ひとつの画像の異なる情報の構成要素を別々の平面とし、それぞれの平面を空間的にサンプリングして得られる情報標本の配列を符号化してデータストリームを生成するエンコーダであって、
    前記平面の各々について、前記情報標本の配列を細分割されてできた複数の単連結領域の各々に対し、その単連結領域に関連付けられたペイロードデータおよび符号化パラメータを判定し、
    第１の平面の情報標本の配列について、その情報標本の配列が細分割された単連結領域に関連付けられた符号化パラメータを前記データストリームに挿入し、
    第２の平面の情報標本の配列について、その情報表面の配列が細分割された単連結領域を前記第１の平面の情報標本の配列を参照して処理するための平面間交換情報指定し、
    前記第２の平面に関する複数の単連結領域またはその一部の単連結領域を処理対象とする処理として、前記平面間交換情報に基づいて、
    前記処理対象に対する符号化パラメータの前記データストリームへの挿入を回避し、または、前記処理対象に対する符号化パラメータの予測残差を、前記第１の平面の情報標本の対応する単連結領域の符号化パラメータからの予測に基づく再構築を可能にするように前記データストリームへ挿入し、または
    前記処理対象に対する符号化パラメータを、前記データストリームへそのまま挿入する
    ように構成され、
    前記第１の平面は明度または色成分に関連する平面であり、
    前記第２の平面は深度のマップの平面であり、
    前記符号化パラメータは、動き補償予測により前記第１の平面および前記第２の平面のそれぞれの情報標本の配列を再構築するために使用される運動パラメータと、前記第１の平面および前記第２の平面のそれぞれの情報標本の配列の各単連結領域をさらに小さい単連結領域に細分割する方法を指定する細分割情報と、のうち１つ以上の符号化パラメータを含む
    エンコーダ。
  18. ひとつの画像の異なる情報の構成要素を別々の平面とし、それぞれの平面を空間的にサンプリングして得られる情報標本の配列を符号化してデータストリームを生成する方法であって、
    前記平面の各々について、前記情報標本の配列を細分割されてできた複数の単連結領域の各々に対し、その単連結領域に関連付けられたペイロードデータおよび符号化パラメータを判定し、
    第１の平面の情報標本の配列について、その情報標本の配列が細分割された単連結領域に関連付けられた符号化パラメータを前記データストリームに挿入し、
    第２の平面の情報標本の配列について、その情報表面の配列が細分割された単連結領域を前記第１の平面の情報標本の配列を参照して処理するための平面間交換情報を指定し、
    前記第２の平面に関する複数の単連結領域またはその一部の単連結領域を処理対象とする処理として、前記平面間交換情報に基づいて、
    前記処理対象に対する符号化パラメータの前記データストリームへの挿入を回避し、または、前記処理対象に対する符号化パラメータの予測残差を、前記第１の平面の情報標本の対応する単連結領域の符号化パラメータからの予測に基づく再構築を可能にするように前記データストリームへ挿入し、または
    前記処理対象に対する符号化パラメータを、前記データストリームへそのまま挿入し、
    前記第１の平面は明度または色成分に関連する平面であり、
    前記第２の平面は深度のマップの平面であり、
    前記符号化パラメータは、動き補償予測により前記第１の平面および前記第２の平面のそれぞれの情報標本の配列を再構築するために使用される運動パラメータと、前記第１の平面および前記第２の平面のそれぞれの情報標本の配列の各単連結領域をさらに小さい単連結領域に細分割する方法を指定する細分割情報と、のうち１つ以上の符号化パラメータを含む
    データストリームの生成方法。
  19. コンピュータ上で動作中に、請求項１６または１８に記載の方法を実行するプログラムコードを備えるコンピュータプログラムを記憶したコンピュータ可読のデジタル記憶媒体。
JP2013504130A 2010-04-13 2010-04-13 平面間予測 Active JP5846611B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2010/054840 WO2011127966A1 (en) 2010-04-13 2010-04-13 Inter-plane prediction

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2014096333A Division JP5755781B2 (ja) 2014-05-07 2014-05-07 平面間予測
JP2015224365A Division JP6212530B2 (ja) 2015-11-17 2015-11-17 平面間予測

Publications (2)

Publication Number Publication Date
JP2013528023A JP2013528023A (ja) 2013-07-04
JP5846611B2 true JP5846611B2 (ja) 2016-01-20

Family

ID=43305051

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013504130A Active JP5846611B2 (ja) 2010-04-13 2010-04-13 平面間予測

Country Status (12)

Country Link
US (9) US10873749B2 (ja)
EP (3) EP2559240B1 (ja)
JP (1) JP5846611B2 (ja)
KR (15) KR102210983B1 (ja)
CN (9) CN105959703B (ja)
BR (5) BR122020007921B1 (ja)
DK (1) DK2559240T3 (ja)
ES (1) ES2746182T3 (ja)
HU (1) HUE045579T2 (ja)
PL (1) PL2559240T3 (ja)
PT (1) PT2559240T (ja)
WO (1) WO2011127966A1 (ja)

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5039142B2 (ja) 2006-10-25 2012-10-03 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 品質スケーラブルな符号化方法
KR102210983B1 (ko) 2010-04-13 2021-02-02 지이 비디오 컴프레션, 엘엘씨 평면 간 예측
PT2559246T (pt) 2010-04-13 2016-09-14 Ge Video Compression Llc Regiões de fusão de amostras
DK2947884T3 (da) 2010-04-13 2019-10-28 Ge Video Compression Llc Videokodning ved anvendelse af multitræsunderinddeling af billeder
TWI500273B (zh) 2010-04-13 2015-09-11 Ｇｅ影像壓縮有限公司 在樣本陣列多元樹細分中之繼承技術
PL2924995T3 (pl) 2010-07-09 2018-11-30 Samsung Electronics Co., Ltd Sposób dekodowania wideo wykorzystujący łączenie bloków
SG187094A1 (en) * 2010-07-20 2013-03-28 Ntt Docomo Inc Image prediction encoding device, image prediction encoding method, image prediction encoding program, image prediction decoding device, image prediction decoding method, and image prediction decoding program
MX2013003868A (es) * 2010-10-05 2013-06-24 Gen Instrument Corp Metodo y aparatoo para codificacion de video basado en las caracteristicas.
US9532059B2 (en) 2010-10-05 2016-12-27 Google Technology Holdings LLC Method and apparatus for spatial scalability for video coding
CN105847829B (zh) * 2010-11-23 2019-08-09 Lg电子株式会社 视频编码装置和视频解码装置
KR102346666B1 (ko) 2011-01-07 2022-01-03 엘지전자 주식회사 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
JP5982734B2 (ja) * 2011-03-11 2016-08-31 ソニー株式会社 画像処理装置および方法
MX2013013508A (es) * 2011-06-23 2014-02-27 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
CA2830046C (en) 2011-06-24 2018-09-04 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
MY167090A (en) 2011-06-30 2018-08-10 Sun Patent Trust Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
CN103765885B (zh) 2011-07-11 2017-04-12 太阳专利托管公司 图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编解码装置
MX353235B (es) 2011-09-29 2018-01-08 Sharp Kk Star Dispositivo de decodificación de imágenes, método de decodificación de imágenes y dispositivo de codificación de imágenes.
WO2013047805A1 (ja) 2011-09-29 2013-04-04 シャープ株式会社 画像復号装置、画像復号方法および画像符号化装置
EP2777286B1 (en) 2011-11-11 2017-01-04 GE Video Compression, LLC Effective wedgelet partition coding
EP3468184B1 (en) 2011-11-11 2022-07-27 GE Video Compression, LLC Effective wedgelet partition coding using prediction
WO2013068566A1 (en) * 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Adaptive partition coding
EP3328081B1 (en) * 2011-11-11 2019-10-16 GE Video Compression, LLC Effective prediction using partition coding
GB2502047B (en) * 2012-04-04 2019-06-05 Snell Advanced Media Ltd Video sequence processing
KR101981267B1 (ko) 2012-04-13 2019-05-23 지이 비디오 컴프레션, 엘엘씨 저지연 화상 코딩
US20150049806A1 (en) * 2012-04-16 2015-02-19 Samsung Electronics Co., Ltd. Method for multi-view video encoding based on tree structure encoding unit and apparatus for same, and method for multi-view video decoding based on tree structure encoding unit and apparatus for same
FR2992815A1 (fr) * 2012-06-27 2014-01-03 France Telecom Procede de codage d'un bloc courant d'une premiere composante d'image par rapport a un bloc de reference d'au moins une deuxieme composante d'image, dispositif de codage et programme d'ordinateur correspondant
PT2868103T (pt) 2012-06-29 2017-03-02 Ge Video Compression Llc Conceito de fluxo de dados de vídeo
FR2993084A1 (fr) * 2012-07-09 2014-01-10 France Telecom Procede de codage video par prediction du partitionnement d'un bloc courant, procede de decodage, dispositifs de codage et de decodage et programmes d'ordinateur correspondants
KR20150036261A (ko) * 2012-07-13 2015-04-07 후아웨이 테크놀러지 컴퍼니 리미티드 3차원 비디오를 표현하는 비트 스트림을 코딩하는 장치
US9699450B2 (en) * 2012-10-04 2017-07-04 Qualcomm Incorporated Inter-view predicted motion vector for 3D video
KR20230080500A (ko) 2013-01-04 2023-06-07 지이 비디오 컴프레션, 엘엘씨 효율적인 확장가능한 코딩 개념
CN109618235B (zh) * 2013-01-18 2021-03-16 佳能株式会社 生成设备和方法、处理设备和方法以及存储介质
JP5719401B2 (ja) 2013-04-02 2015-05-20 日本電信電話株式会社 ブロックサイズ決定方法、映像符号化装置、及びプログラム
HUE038732T2 (hu) 2013-04-08 2018-11-28 Ge Video Compression Llc Komponensközi elõrejelzés
US9749627B2 (en) 2013-04-08 2017-08-29 Microsoft Technology Licensing, Llc Control data for motion-constrained tile set
WO2014166119A1 (en) * 2013-04-12 2014-10-16 Mediatek Inc. Stereo compatibility high level syntax
US9716899B2 (en) 2013-06-27 2017-07-25 Qualcomm Incorporated Depth oriented inter-view motion vector prediction
JP6315911B2 (ja) 2013-07-09 2018-04-25 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US20150063455A1 (en) * 2013-09-02 2015-03-05 Humax Holdings Co., Ltd. Methods and apparatuses for predicting depth quadtree in three-dimensional video
KR101968236B1 (ko) 2013-10-18 2019-08-20 지이 비디오 컴프레션, 엘엘씨 다-성분 화상 또는 비디오 코딩 개념
US10368097B2 (en) * 2014-01-07 2019-07-30 Nokia Technologies Oy Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures
FR3030976B1 (fr) 2014-12-22 2018-02-02 B<>Com Procede de codage d'une image numerique, procede de decodage, dispositifs et programmes d'ordinateurs associes
CN105872539B (zh) * 2015-02-08 2020-01-14 同济大学 图像编码方法和装置及图像解码方法和装置
WO2017007989A1 (en) * 2015-07-08 2017-01-12 Vid Scale, Inc. Enhanced chroma coding using cross plane filtering
CN106358042B (zh) * 2015-07-17 2020-10-09 恩智浦美国有限公司 使用视频图像的帧间预测的并行解码器
CN105120295B (zh) * 2015-08-11 2018-05-18 北京航空航天大学 一种基于四叉树编码分割的hevc复杂度控制方法
EP4072141A1 (en) * 2016-03-24 2022-10-12 Intellectual Discovery Co., Ltd. Method and apparatus for encoding/decoding video signal
WO2018033661A1 (en) * 2016-08-15 2018-02-22 Nokia Technologies Oy Video encoding and decoding
US10609423B2 (en) 2016-09-07 2020-03-31 Qualcomm Incorporated Tree-type coding for video coding
US10110914B1 (en) * 2016-09-15 2018-10-23 Google Llc Locally adaptive warped motion compensation in video coding
WO2018061550A1 (ja) * 2016-09-28 2018-04-05 シャープ株式会社 画像復号装置及び画像符号化装置
US11057624B2 (en) 2016-10-14 2021-07-06 Industry Academy Cooperation Foundation Of Sejong University Image encoding method/device, image decoding method/device, and recording medium in which bitstream is stored
CN116405670A (zh) 2016-10-14 2023-07-07 世宗大学校产学协力团 影像解码/编码方法、传送比特流的方法及记录介质
KR102511611B1 (ko) * 2016-10-14 2023-03-20 세종대학교산학협력단 영상 부호화 방법/장치, 영상 복호화 방법/장치 및 비트스트림을 저장한 기록 매체
CN116248878A (zh) 2016-11-21 2023-06-09 松下电器（美国）知识产权公司 图像编码装置及图像解码装置
KR20190062585A (ko) 2016-11-21 2019-06-05 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
CN116193110A (zh) * 2017-01-16 2023-05-30 世宗大学校产学协力团 影像编码/解码方法
EP3358754A1 (en) * 2017-02-02 2018-08-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Antenna array codebook with beamforming coefficients adapted to an arbitrary antenna response of the antenna array
JP6680260B2 (ja) * 2017-04-28 2020-04-15 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
KR102509823B1 (ko) 2017-12-27 2023-03-14 삼성전자주식회사 그리드 기반의 평면 추정 방법 및 장치
EP3742403A4 (en) * 2018-01-19 2021-03-17 Panasonic Intellectual Property Corporation of America METHOD FOR CODING THREE-DIMENSIONAL DATA, METHOD FOR DECODING THREE-DIMENSIONAL DATA, DEVICE FOR CODING THREE-DIMENSIONAL DATA AND DEVICE FOR DECODING THREE-DIMENSIONAL DATA
US11108841B2 (en) 2018-06-19 2021-08-31 At&T Intellectual Property I, L.P. Apparatus, storage medium and method for heterogeneous segmentation of video streaming
EP3588800A1 (en) 2018-06-29 2020-01-01 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Antenna array codebook with beamforming coefficients adapted to an arbitrary antenna response of the antenna array
US11265579B2 (en) * 2018-08-01 2022-03-01 Comcast Cable Communications, Llc Systems, methods, and apparatuses for video processing
CN112740277A (zh) * 2018-09-28 2021-04-30 索尼公司 图像处理装置和图像处理方法
CN110602502B (zh) * 2019-08-23 2022-08-16 绍兴文理学院 一种运动矢量编码和解码的方法
CN110505486B (zh) * 2019-08-23 2022-09-02 绍兴文理学院 一种对高概率运动矢量映射的编码及解码方法
WO2021061026A1 (en) * 2019-09-25 2021-04-01 Huawei Technologies Co., Ltd. Method and apparatus of simplified geometric merge mode for inter prediction
US11223836B2 (en) * 2019-12-02 2022-01-11 Tencent America LLC Method and apparatus for point cloud coding
CN118784858A (zh) * 2020-03-27 2024-10-15 北京达佳互联信息技术有限公司 用于视频编解码的预测相关残差缩放的方法和装置
TW202143721A (zh) * 2020-05-06 2021-11-16 法商內數位Ｃｅ專利控股公司 具有阿爾法層的3d場景傳輸
US11425368B1 (en) * 2021-02-17 2022-08-23 Adobe Inc. Lossless image compression using block based prediction and optimized context adaptive entropy coding
US11917283B2 (en) * 2021-10-27 2024-02-27 Tencent America LLC Split rendering for lightfield/immersive media using edge-cloud architecture and peer-to-peer streaming
US20230308651A1 (en) * 2022-03-22 2023-09-28 Tencent America LLC Systems and methods for regularization-free multi-hypothesis arithmetic coding

Family Cites Families (260)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2633468B1 (fr) 1988-06-24 1990-11-09 France Etat Procede de codage de donnees d'assistance a la reconstruction d'images electroniques animees sous-echantillonnees
US5842033A (en) 1992-06-30 1998-11-24 Discovision Associates Padding apparatus for passing an arbitrary number of bits through a buffer in a pipeline system
US5809270A (en) 1992-06-30 1998-09-15 Discovision Associates Inverse quantizer
US7095783B1 (en) 1992-06-30 2006-08-22 Discovision Associates Multistandard video decoder and decompression system for processing encoded bit streams including start codes and methods relating thereto
US6408097B1 (en) 1993-08-30 2002-06-18 Sony Corporation Picture coding apparatus and method thereof
US5446806A (en) 1993-11-15 1995-08-29 National Semiconductor Corporation Quadtree-structured Walsh transform video/image coding
CA2145363C (en) 1994-03-24 1999-07-13 Anthony Mark Jones Ram interface
EP0759665B1 (en) 1995-08-21 2002-07-24 Alcatel Method for interleaving data frames, forward error correcting device and modulator including such a device
CA2233023A1 (en) 1995-09-25 1997-04-03 Edward A. Taft Optimum access to electronic documents
JPH10511532A (ja) 1995-10-18 1998-11-04 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ ビデオ画像符号化方法
WO1997017797A2 (en) 1995-10-25 1997-05-15 Sarnoff Corporation Apparatus and method for quadtree based variable block size motion estimation
TW346571B (en) 1996-02-06 1998-12-01 Matsushita Electric Ind Co Ltd Data reception apparatus, data transmission apparatus, information processing system, data reception method
US6005981A (en) 1996-04-11 1999-12-21 National Semiconductor Corporation Quadtree-structured coding of color images and intra-coded images
DE19615493A1 (de) 1996-04-19 1997-10-23 Philips Patentverwaltung Verfahren zur Bildsegmentierung
CN100539695C (zh) 1996-05-28 2009-09-09 松下电器产业株式会社 图像预测编码/解码装置和方法以及记录媒体
US6639945B2 (en) 1997-03-14 2003-10-28 Microsoft Corporation Method and apparatus for implementing motion detection in video compression
US6057884A (en) 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
US6269192B1 (en) 1997-07-11 2001-07-31 Sarnoff Corporation Apparatus and method for multiscale zerotree entropy encoding
CN1882093B (zh) 1998-03-10 2011-01-12 索尼公司 利用编码历史信息的编码转换系统
US6067574A (en) 1998-05-18 2000-05-23 Lucent Technologies Inc High speed routing using compressed tree process
US6269175B1 (en) 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
US6563953B2 (en) 1998-11-30 2003-05-13 Microsoft Corporation Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock
US7085319B2 (en) 1999-04-17 2006-08-01 Pts Corporation Segment-based encoding system using segment hierarchies
JP2000350207A (ja) 1999-06-08 2000-12-15 Matsushita Electric Ind Co Ltd 低解像度ビデオ復号化のための一般化直交変換方法および装置
FI116992B (fi) 1999-07-05 2006-04-28 Nokia Corp Menetelmät, järjestelmä ja laitteet audiosignaalin koodauksen ja siirron tehostamiseksi
JP2003513538A (ja) 1999-10-22 2003-04-08 アクティブスカイ，インコーポレイテッド オブジェクト指向ビデオシステム
JP3957937B2 (ja) 1999-12-21 2007-08-15 キヤノン株式会社 画像処理装置及び方法並びに記憶媒体
EP1404135B1 (en) 2000-01-21 2016-12-14 Nokia Technologies Oy A motion estimation method and a system for a video coder
FI116819B (fi) 2000-01-21 2006-02-28 Nokia Corp Menetelmä kuvien lähettämiseksi ja kuvakooderi
US6910001B2 (en) 2000-03-22 2005-06-21 Schlumberger Technology Corp. Distributed multiresolution geometry modeling system and method
US6785423B1 (en) * 2000-05-26 2004-08-31 Eastman Kodak Company Producing a compressed digital image organized into layers having information relating to different viewing conditions and resolutions
CN1383684A (zh) 2000-06-14 2002-12-04 皇家菲利浦电子有限公司 彩色视频编码与解码方法
EP1305952A2 (en) 2000-07-25 2003-05-02 Koninklijke Philips Electronics N.V. Video encoding method using a wavelet decomposition
AUPR063400A0 (en) 2000-10-06 2000-11-02 Canon Kabushiki Kaisha Xml encoding scheme
US7929610B2 (en) 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
US7450641B2 (en) 2001-09-14 2008-11-11 Sharp Laboratories Of America, Inc. Adaptive filtering based upon boundary strength
JP2003018602A (ja) 2001-04-24 2003-01-17 Monolith Co Ltd 画像データ符号化および復号のための方法および装置
US6987866B2 (en) * 2001-06-05 2006-01-17 Micron Technology, Inc. Multi-modal motion estimation for video sequences
US7483581B2 (en) 2001-07-02 2009-01-27 Qualcomm Incorporated Apparatus and method for encoding digital image data in a lossless manner
JP2003018604A (ja) 2001-07-04 2003-01-17 Matsushita Electric Ind Co Ltd 画像信号符号化方法、画像信号符号化装置および記録媒体
CN102025991B (zh) 2001-09-14 2017-12-29 株式会社Ntt都科摩 编码方法、译码方法、编码装置、译码装置和图像处理系统
US6950469B2 (en) 2001-09-17 2005-09-27 Nokia Corporation Method for sub-pixel value interpolation
CN100566415C (zh) 2001-10-16 2009-12-02 皇家飞利浦电子股份有限公司 视频编码方法以及视频解码方法
EP1445957A4 (en) 2001-11-16 2009-05-06 Ntt Docomo Inc IMAGE ENCODING METHOD, IMAGE DECODING METHOD, ENCODER AND IMAGE DECODER, PROGRAM, COMPUTER DATA SIGNAL, AND IMAGE TRANSMISSION SYSTEM
RU2237284C2 (ru) 2001-11-27 2004-09-27 Самсунг Электроникс Ко., Лтд. Способ генерирования структуры узлов, предназначенных для представления трехмерных объектов с использованием изображений с глубиной
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
EP1324615A1 (en) 2001-12-28 2003-07-02 Deutsche Thomson-Brandt Gmbh Transcoding MPEG bitstreams for adding sub-picture content
KR20030065606A (ko) 2002-01-30 2003-08-09 양송철 개인 자동독립코드를 이용한 멀티트리구조의 보너스 적립순환 시스템과 그 방법
CN101132528B (zh) 2002-04-12 2011-08-03 三菱电机株式会社 元数据再生、分发、检索装置、元数据再生成条件设定装置
JP4130780B2 (ja) 2002-04-15 2008-08-06 松下電器産業株式会社 画像符号化方法および画像復号化方法
US20030198290A1 (en) 2002-04-19 2003-10-23 Dynamic Digital Depth Pty.Ltd. Image encoding system
US7433526B2 (en) 2002-04-30 2008-10-07 Hewlett-Packard Development Company, L.P. Method for compressing images and image sequences through adaptive partitioning
CN1666532A (zh) 2002-07-02 2005-09-07 松下电器产业株式会社 图像编码方法和图像解码方法
US7154952B2 (en) 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US6975773B1 (en) 2002-07-30 2005-12-13 Qualcomm, Incorporated Parameter selection in data compression and decompression
JP3950777B2 (ja) 2002-09-30 2007-08-01 キヤノン株式会社 画像処理方法、画像処理装置および画像処理プログラム
CN1232126C (zh) * 2002-09-30 2005-12-14 三星电子株式会社 图像编码方法和装置以及图像解码方法和装置
JP2004135252A (ja) 2002-10-09 2004-04-30 Sony Corp 符号化処理方法、符号化装置及び復号化装置
US7254533B1 (en) 2002-10-17 2007-08-07 Dilithium Networks Pty Ltd. Method and apparatus for a thin CELP voice codec
EP1431919B1 (en) 2002-12-05 2010-03-03 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding three-dimensional object data by using octrees
US20070036215A1 (en) 2003-03-03 2007-02-15 Feng Pan Fast mode decision algorithm for intra prediction for advanced video coding
US7366352B2 (en) 2003-03-20 2008-04-29 International Business Machines Corporation Method and apparatus for performing fast closest match in pattern recognition
US7643558B2 (en) 2003-03-24 2010-01-05 Qualcomm Incorporated Method, apparatus, and system for encoding and decoding side information for multimedia transmission
GB2454195A (en) 2007-10-30 2009-05-06 Sony Corp Address generation polynomial and permutation matrix for DVB-T2 16k OFDM sub-carrier mode interleaver
RU2335803C2 (ru) 2003-03-28 2008-10-10 Диджитал Экселлерэйтор Корпорэйшн Способ и устройство покадрового кодирования остаточного движения на основании сверхполного базисного преобразования для уплотнения видеоизображения
HUP0301368A3 (en) 2003-05-20 2005-09-28 Amt Advanced Multimedia Techno Method and equipment for compressing motion picture data
US7333544B2 (en) 2003-07-16 2008-02-19 Samsung Electronics Co., Ltd. Lossless image encoding/decoding method and apparatus using inter-color plane prediction
KR100624429B1 (ko) 2003-07-16 2006-09-19 삼성전자주식회사 칼라 영상을 위한 비디오 부호화/복호화 장치 및 그 방법
US7010044B2 (en) 2003-07-18 2006-03-07 Lsi Logic Corporation Intra 4×4 modes 3, 7 and 8 availability determination intra estimation and compensation
FR2858741A1 (fr) 2003-08-07 2005-02-11 Thomson Licensing Sa Dispositif et procede de compression d'images numeriques
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
CN1322472C (zh) 2003-09-08 2007-06-20 中国人民解放军第一军医大学 基于小波变换的预测四叉树图像压缩及解压方法
CN100566178C (zh) 2003-10-29 2009-12-02 日本电气株式会社 二进制算术码解码器和编码器，算术码解码器和编码器及其方法
KR20050045746A (ko) 2003-11-12 2005-05-17 삼성전자주식회사 계층 구조의 가변 블록 크기를 이용한 움직임 추정 방법및 장치
EP1534018B1 (en) 2003-11-21 2008-11-12 Samsung Electronics Co., Ltd. Apparatus and method for generating coded block pattern for alpha channel image and alpha channel image encoding/decoding apparatus and method using the same
US7418455B2 (en) 2003-11-26 2008-08-26 International Business Machines Corporation System and method for indexing weighted-sequences in large databases
KR100556911B1 (ko) 2003-12-05 2006-03-03 엘지전자 주식회사 무선 동영상 스트리밍 서비스를 위한 동영상 데이터의 구조
US7362809B2 (en) 2003-12-10 2008-04-22 Lsi Logic Corporation Computational reduction in motion estimation based on lower bound of cost function
US7599435B2 (en) 2004-01-30 2009-10-06 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Video frame encoding and decoding
US7649539B2 (en) * 2004-03-10 2010-01-19 Microsoft Corporation Image formats for video capture, processing and display
US20050206741A1 (en) 2004-03-19 2005-09-22 Raber Gregory W Law enforcement vehicle surveillance system
CN1691087B (zh) 2004-04-26 2011-07-06 图形安全系统公司 用于解码数字编码图像的系统和方法
ATE471562T1 (de) 2004-04-28 2010-07-15 Panasonic Corp Stream-erzeugungsvorrichtung für bewegliche bilder, kodierungsvorrichtung für bewegliche bilder, multiplex-vorrichtung für bewegliche bilder und decodierungsvorrichtung für bewegliche bilder
CN1281065C (zh) 2004-05-20 2006-10-18 复旦大学 基于树状结构的等级树集合划分视频图像压缩方法
JP2008500760A (ja) * 2004-05-25 2008-01-10 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ディジタルビデオデータをエンコードする方法及び装置
US20060002474A1 (en) 2004-06-26 2006-01-05 Oscar Chi-Lim Au Efficient multi-block motion estimation for video compression
CN1809161B (zh) 2004-06-27 2010-11-17 苹果公司 对编码视频数据选择编码类型和预测模式
US7292257B2 (en) 2004-06-28 2007-11-06 Microsoft Corporation Interactive viewpoint video system and process
CN1268136C (zh) 2004-07-02 2006-08-02 上海广电（集团）有限公司中央研究院 基于图像切片结构的帧场自适应编码方法
KR100657268B1 (ko) * 2004-07-15 2006-12-14 학교법인 대양학원 컬러 영상의 신축적 부호화, 복호화 방법 및 장치
CN101124589A (zh) 2004-08-09 2008-02-13 图形安全系统公司 通过使用多级图像编码和解码来认证对象的系统和方法
CN1589022A (zh) 2004-08-26 2005-03-02 中芯联合（北京）微电子有限公司 多模式运动估计中由朝向树决定的宏块分割模式选择方法
DE102004059993B4 (de) 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
CN101416149A (zh) 2004-10-21 2009-04-22 索尼电子有限公司 以高级视频编解码器文件格式支持保真度范围扩展
CN1780278A (zh) 2004-11-19 2006-05-31 松下电器产业株式会社 子载波通信系统中自适应调制与编码方法和设备
US20060120454A1 (en) * 2004-11-29 2006-06-08 Park Seung W Method and apparatus for encoding/decoding video signal using motion vectors of pictures in base layer
EP1817914B1 (en) 2004-12-03 2018-02-07 Thomson Licensing Method for scalable video coding
KR100703734B1 (ko) 2004-12-03 2007-04-05 삼성전자주식회사 Ｄｃｔ 업샘플링을 이용한 다 계층 비디오 인코딩/디코딩방법 및 장치
KR101138392B1 (ko) * 2004-12-30 2012-04-26 삼성전자주식회사 색차 성분의 상관관계를 이용한 컬러 영상의 부호화,복호화 방법 및 그 장치
US7970219B2 (en) 2004-12-30 2011-06-28 Samsung Electronics Co., Ltd. Color image encoding and decoding method and apparatus using a correlation between chrominance components
US20060153300A1 (en) 2005-01-12 2006-07-13 Nokia Corporation Method and system for motion vector prediction in scalable video coding
US20060153295A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
JP5065051B2 (ja) 2005-02-18 2012-10-31 トムソン ライセンシング 低解像度画像から高解像度画像の符号化情報を導出する方法、並びに、係る方法を実現する符号化及び復号化装置
JP5213456B2 (ja) 2005-02-18 2013-06-19 トムソン ライセンシング 高分解能ピクチャの符号化情報を低分解能ピクチャから導き出す方法、並びにその方法を実現する符号化及び復号化装置
JP4504230B2 (ja) 2005-03-02 2010-07-14 株式会社東芝 動画像処理装置、動画像処理方法、及び動画像処理プログラム
TWI259727B (en) 2005-03-09 2006-08-01 Sunplus Technology Co Ltd Method for rapidly determining macroblock mode
US7961963B2 (en) 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
EP1711018A1 (en) * 2005-04-08 2006-10-11 Thomson Licensing Method and apparatus for encoding video pictures, and method and apparatus for decoding video pictures
US20060233262A1 (en) 2005-04-13 2006-10-19 Nokia Corporation Signaling of bit stream ordering in scalable video coding
KR101246915B1 (ko) 2005-04-18 2013-03-25 삼성전자주식회사 동영상 부호화 또는 복호화 방법 및 장치
KR100746007B1 (ko) * 2005-04-19 2007-08-06 삼성전자주식회사 엔트로피 코딩의 컨텍스트 모델을 적응적으로 선택하는방법 및 비디오 디코더
KR100763181B1 (ko) 2005-04-19 2007-10-05 삼성전자주식회사 기초계층과 향상계층의 데이터를 바탕으로 예측 정보를코딩하여 코딩율을 향상시키는 방법 및 장치
JP2008544766A (ja) 2005-05-12 2008-12-11 ブラッコ イメージング エス．ピー．エー． デジタル画像のピクセルまたはボクセルをコーディングするための方法、およびデジタル画像を処理するための方法
US7548853B2 (en) 2005-06-17 2009-06-16 Shmunk Dmitry V Scalable compressed audio bit stream and codec using a hierarchical filterbank and multichannel joint coding
EP1908292A4 (en) * 2005-06-29 2011-04-27 Nokia Corp METHOD AND DEVICE FOR THE UPDATE STEP IN VIDEO CODING USING MOTION COMPENSATED TIME FILTERING
JP2007043651A (ja) 2005-07-05 2007-02-15 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
JP4444180B2 (ja) * 2005-07-20 2010-03-31 株式会社東芝 テクスチャ符号化装置、テクスチャ復号化装置、方法、およびプログラム
KR20070012201A (ko) 2005-07-21 2007-01-25 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
BRPI0613659B1 (pt) 2005-07-21 2019-06-04 Thomson Licensing Método e aparelho para o prognóstico ponderado para uma codificação de vídeo redimensionável
KR101037855B1 (ko) * 2005-07-22 2011-05-31 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법
US8879856B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Content driven transcoder that orchestrates multimedia transcoding using content information
US8625678B2 (en) 2005-09-29 2014-01-07 Telecom Italia S.P.A. Method for scalable video coding on a plurality of space resolution levels
BRPI0616619B1 (pt) 2005-10-12 2019-09-10 Interdigital Madison Patent Holdings método e aparelho para prognóstico ponderal na codificação e decodificação de vídeo com abordagem de escala
US9131247B2 (en) * 2005-10-19 2015-09-08 Thomson Licensing Multi-view video coding using scalable video coding
KR100763196B1 (ko) * 2005-10-19 2007-10-04 삼성전자주식회사 어떤 계층의 플래그를 계층간의 연관성을 이용하여부호화하는 방법, 상기 부호화된 플래그를 복호화하는방법, 및 장치
KR100873636B1 (ko) 2005-11-14 2008-12-12 삼성전자주식회사 단일 부호화 모드를 이용하는 영상 부호화/복호화 방법 및장치
CN101129063B (zh) 2005-11-18 2010-05-19 索尼株式会社 编码设备和方法、解码设备和方法以及传输系统
KR100717055B1 (ko) 2005-11-18 2007-05-10 삼성전자주식회사 Ｃａｂａｃ 복호기에서 복수의 이진 값들을 파이프라인방식에 의하여 복호화하는 방법 및 이를 위한 복호화 장치
GB0600141D0 (en) 2006-01-05 2006-02-15 British Broadcasting Corp Scalable coding of video signals
CN101356820B (zh) 2006-01-05 2011-01-26 汤姆森许可贸易公司 层间运动预测方法
US8401091B2 (en) 2006-01-09 2013-03-19 Lg Electronics Inc. Inter-layer prediction method for video signal
KR20070074452A (ko) * 2006-01-09 2007-07-12 엘지전자 주식회사 영상신호의 엔코딩/디코딩시의 레이어간 예측 방법
US8315308B2 (en) 2006-01-11 2012-11-20 Qualcomm Incorporated Video coding with fine granularity spatial scalability
US8861585B2 (en) 2006-01-20 2014-10-14 Qualcomm Incorporated Method and apparatus for error resilience algorithms in wireless video communication
US7929608B2 (en) 2006-03-28 2011-04-19 Sony Corporation Method of reducing computations in intra-prediction and mode decision processes in a digital video encoder
GB2449036B (en) 2006-03-31 2011-08-24 Intel Corp Layered decoder and method for performing layered decoding
US7916934B2 (en) 2006-04-04 2011-03-29 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring, encoding, decoding and displaying 3D light fields
CN101047733B (zh) 2006-06-16 2010-09-29 华为技术有限公司 短信处理方法以及装置
WO2008016605A2 (en) 2006-08-02 2008-02-07 Thomson Licensing Adaptive geometric partitioning for video decoding
US20080086545A1 (en) 2006-08-16 2008-04-10 Motorola, Inc. Network configuration using configuration parameter inheritance
CN101507280B (zh) 2006-08-25 2012-12-26 汤姆逊许可公司 用于降低分辨率划分的方法和装置
US8401085B2 (en) * 2006-09-07 2013-03-19 Lg Electronics Inc. Method and apparatus for decoding/encoding of a video signal
CN100471275C (zh) 2006-09-08 2009-03-18 清华大学 用于h.264/avc编码器的运动估计方法
CN100486336C (zh) 2006-09-21 2009-05-06 上海大学 基于h.264压缩域运动对象实时分割方法
JP4956612B2 (ja) 2006-10-12 2012-06-20 株式会社東芝 画像符号化装置及び画像符号化方法
US9014280B2 (en) 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
US20080095238A1 (en) * 2006-10-18 2008-04-24 Apple Inc. Scalable video coding with filtering of lower layers
US7775002B2 (en) 2006-11-10 2010-08-17 John Puchniak Portable hurricane and security window barrier
CN101395922A (zh) 2006-11-17 2009-03-25 Lg电子株式会社 用于解码/编码视频信号的方法及装置
EP1933564A1 (en) * 2006-12-14 2008-06-18 Thomson Licensing Method and apparatus for encoding and/or decoding video data using adaptive prediction order for spatial and bit depth prediction
BRPI0721077A2 (pt) 2006-12-28 2014-07-01 Nippon Telegraph & Telephone Método de codificação e método de decodificação de vídeo, aparelhos para os mesmos, programas para os mesmos, e meio de armazenamento o qual armazena os programas
CN101617538A (zh) 2007-01-08 2009-12-30 诺基亚公司 用于视频编码中扩展空间可分级性的改进层间预测
CN101222641B (zh) 2007-01-11 2011-08-24 华为技术有限公司 帧内预测编解码方法及其装置
KR20140101872A (ko) 2007-01-11 2014-08-20 톰슨 라이센싱 Ｍｐｅｇ-4 ａｖｃ 하이 레벨 코딩에 있어서 ｃａｖｌｃ 4:4:4 인트라 프로파일, ｈｉｇｈ 4:4:4 인트라 프로파일, 및 ｈｉｇｈ 4:4:4 예측 프로파일에 대하여 ｃｏｄｅｄ_ｂｌｏｃｋ_ｆｌａｇ 신택스 엘리먼트 및 ｃｏｄｅｄ_ｂｌｏｃｋ_ｐａｔｔｅｒｎ 신택스 엘리먼트의 신택스를 사용하는 방법 및 장치
US8718139B2 (en) 2007-01-12 2014-05-06 Mitsubishi Electric Corporation Image decoding device and image decoding method
JP2008193627A (ja) 2007-01-12 2008-08-21 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
JP5026092B2 (ja) 2007-01-12 2012-09-12 三菱電機株式会社 動画像復号装置および動画像復号方法
CN101018333A (zh) * 2007-02-09 2007-08-15 上海大学 空域可分级信噪比精细可分级视频编码方法
JP2010135863A (ja) 2007-03-28 2010-06-17 Toshiba Corp 画像符号化方法及び装置
WO2008127597A2 (en) 2007-04-12 2008-10-23 Thomson Licensing Method and apparatus for context dependent merging for skip-direct modes for video encoding and decoding
US20100202512A1 (en) * 2007-04-16 2010-08-12 Hae-Chul Choi Color video scalability encoding and decoding method and device thereof
TW200845723A (en) * 2007-04-23 2008-11-16 Thomson Licensing Method and apparatus for encoding video data, method and apparatus for decoding encoded video data and encoded video signal
US20090165041A1 (en) 2007-12-21 2009-06-25 Penberthy John S System and Method for Providing Interactive Content with Video Content
CN100515087C (zh) 2007-05-30 2009-07-15 威盛电子股份有限公司 决定二相邻的宏区块是否位于相同条带区域的方法和装置
KR100906243B1 (ko) * 2007-06-04 2009-07-07 전자부품연구원 Ｒｇｂ 색 공간 신호의 영상 부호화 방법
CN100496129C (zh) 2007-06-05 2009-06-03 南京大学 基于h.264多路视频转码复用的方法
CN101321283B (zh) 2007-06-10 2010-04-07 华为技术有限公司 兼容不同大小块变换的编解码方法及编解码器
JP2008311781A (ja) 2007-06-12 2008-12-25 Ntt Docomo Inc 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
US9516340B2 (en) 2007-06-12 2016-12-06 Thomson Licensing Methods and apparatus supporting multi-pass video syntax structure for slice data
CN101325714B (zh) 2007-06-13 2010-10-27 华为技术有限公司 变换数据处理方法和装置以及编码、解码方法和装置
JP4551948B2 (ja) 2007-06-13 2010-09-29 シャープ株式会社 線状光源装置、面発光装置、面状光源装置、および、液晶表示装置
CA2689634C (en) 2007-06-14 2016-08-23 Thomson Licensing Modifying a coded bitstream
US8488668B2 (en) 2007-06-15 2013-07-16 Qualcomm Incorporated Adaptive coefficient scanning for video coding
US8085852B2 (en) 2007-06-26 2011-12-27 Mitsubishi Electric Research Laboratories, Inc. Inverse tone mapping for bit-depth scalable image coding
US8345968B2 (en) 2007-06-28 2013-01-01 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
CN100534186C (zh) 2007-07-05 2009-08-26 西安电子科技大学 基于码率预分配的jpeg2000自适应率控制系统及方法
US8458612B2 (en) 2007-07-29 2013-06-04 Hewlett-Packard Development Company, L.P. Application management framework for web applications
TWI338869B (en) 2007-08-03 2011-03-11 Via Tech Inc Method and apparatus for block-based digital encoded picture
CN101119493B (zh) 2007-08-30 2010-12-01 威盛电子股份有限公司 区块式数字编码图像的译码方法及装置
KR20090030681A (ko) 2007-09-20 2009-03-25 삼성전자주식회사 영상처리장치, 디스플레이장치, 디스플레이 시스템 및 그제어방법
JP4461165B2 (ja) 2007-09-26 2010-05-12 株式会社東芝 画像処理装置、方法およびプログラム
US8374446B2 (en) * 2007-09-28 2013-02-12 Vsevolod Yurievich Mokrushin Encoding and decoding of digital signals based on compression of hierarchical pyramid
KR101403343B1 (ko) 2007-10-04 2014-06-09 삼성전자주식회사 부화소 움직임 추정을 이용한 인터 예측 부호화, 복호화방법 및 장치
WO2009051668A2 (en) 2007-10-12 2009-04-23 Thomson Licensing Methods and apparatus for video encoding and decoding geometrically partitioned bi-predictive mode partitions
BRPI0818649A2 (pt) 2007-10-16 2015-04-07 Thomson Licensing Métodos e aparelho para codificação e decodificação de vídeo em superblocos geometricamente particionados.
US7777654B2 (en) 2007-10-16 2010-08-17 Industrial Technology Research Institute System and method for context-based adaptive binary arithematic encoding and decoding
CN101676744B (zh) 2007-10-31 2012-07-11 北京航空航天大学 一种复杂背景低信噪比下弱小目标高精度跟踪方法
US8270472B2 (en) 2007-11-09 2012-09-18 Thomson Licensing Methods and apparatus for adaptive reference filtering (ARF) of bi-predictive pictures in multi-view coded video
US8553781B2 (en) 2007-12-07 2013-10-08 Thomson Licensing Methods and apparatus for decoded picture buffer (DPB) management in single loop decoding for multi-view video
US8540158B2 (en) 2007-12-12 2013-09-24 Yiwu Lei Document verification using dynamic document identification framework
US20090154567A1 (en) 2007-12-13 2009-06-18 Shaw-Min Lei In-loop fidelity enhancement for video compression
US8126054B2 (en) * 2008-01-09 2012-02-28 Motorola Mobility, Inc. Method and apparatus for highly scalable intraframe video coding
WO2009091383A2 (en) * 2008-01-11 2009-07-23 Thomson Licensing Video and depth coding
US8155184B2 (en) 2008-01-16 2012-04-10 Sony Corporation Video coding system using texture analysis and synthesis in a scalable coding framework
WO2009092455A2 (en) * 2008-01-21 2009-07-30 Telefonaktiebolaget Lm Ericsson (Publ) Prediction-based image processing
JP5302336B2 (ja) * 2008-01-21 2013-10-02 テレフオンアクチーボラゲット エル エム エリクソン（パブル） 画素のブロックを圧縮する方法及びシステム
KR101291196B1 (ko) * 2008-01-25 2013-07-31 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US8711948B2 (en) * 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US8179974B2 (en) 2008-05-02 2012-05-15 Microsoft Corporation Multi-level representation of reordered transform coefficients
US20100220469A1 (en) 2008-05-23 2010-09-02 Altair Engineering, Inc. D-shaped cross section l.e.d. based light
TWI373959B (en) 2008-06-09 2012-10-01 Kun Shan University Of Technology Wavelet codec with a function of adjustable image quality
KR101517768B1 (ko) 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR20100018810A (ko) 2008-08-07 2010-02-18 전자부품연구원 초고화질 영상 부호화, 복호화 방법 및 장치 및 컴퓨터로판독가능한 기록매체
US8406307B2 (en) 2008-08-22 2013-03-26 Microsoft Corporation Entropy coding/decoding of hierarchically organized data
EP2161936A1 (en) 2008-09-04 2010-03-10 Panasonic Corporation Locally adaptive filters for video coding controlled by local correlation data
US8750379B2 (en) 2008-09-11 2014-06-10 General Instrument Corporation Method and apparatus for complexity-scalable motion estimation
JP5422168B2 (ja) 2008-09-29 2014-02-19 株式会社日立製作所 動画像符号化方法および動画像復号化方法
US8619856B2 (en) 2008-10-03 2013-12-31 Qualcomm Incorporated Video coding with large macroblocks
US8634456B2 (en) 2008-10-03 2014-01-21 Qualcomm Incorporated Video coding with large macroblocks
US20100086031A1 (en) 2008-10-03 2010-04-08 Qualcomm Incorporated Video coding with large macroblocks
US8503527B2 (en) 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
CN101404774B (zh) 2008-11-13 2010-06-23 四川虹微技术有限公司 运动搜索中宏块划分模式的选择方法
JP5394212B2 (ja) 2008-12-19 2014-01-22 トムソン ライセンシング データを挿入する方法、挿入されたデータを読み出す方法
JP5001964B2 (ja) 2009-02-18 2012-08-15 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、方法およびプログラム、並びに、画像復号装置、方法およびプログラム
CN101493890B (zh) 2009-02-26 2011-05-11 上海交通大学 基于特征的动态视觉注意区域提取方法
US9113168B2 (en) 2009-05-12 2015-08-18 Lg Electronics Inc. Method and apparatus of processing a video signal
US8810562B2 (en) 2009-05-19 2014-08-19 Advanced Micro Devices, Inc. Hierarchical lossless compression
US8306355B2 (en) 2009-07-13 2012-11-06 Sharp Laboratories Of America, Inc. Methods and systems for reducing compression artifacts
EP2457196A4 (en) 2009-07-21 2013-02-06 Qualcomm Inc METHOD AND SYSTEM FOR DETECTION AND ENHANCEMENT OF VIDEO IMAGES
KR101456498B1 (ko) 2009-08-14 2014-10-31 삼성전자주식회사 계층적 부호화 단위의 스캔 순서를 고려한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR101624649B1 (ko) 2009-08-14 2016-05-26 삼성전자주식회사 계층적인 부호화 블록 패턴 정보를 이용한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR101452860B1 (ko) 2009-08-17 2014-10-23 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
HUE034567T2 (en) 2009-10-01 2018-02-28 Sk Telecom Co Ltd Equipment for encoding an image using a split layer
KR101457418B1 (ko) 2009-10-23 2014-11-04 삼성전자주식회사 계층적 부호화 단위의 크기에 따른 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
US8594200B2 (en) 2009-11-11 2013-11-26 Mediatek Inc. Method of storing motion vector information and video decoding apparatus
JP5475409B2 (ja) 2009-11-20 2014-04-16 三菱電機株式会社 動画像符号化装置および動画像符号化方法
US20110122225A1 (en) * 2009-11-23 2011-05-26 General Instrument Corporation Depth Coding as an Additional Channel to Video Sequence
US20110170608A1 (en) 2010-01-08 2011-07-14 Xun Shi Method and device for video transcoding using quad-tree based mode selection
US8315310B2 (en) 2010-01-08 2012-11-20 Research In Motion Limited Method and device for motion vector prediction in video transcoding using full resolution residuals
KR20110135471A (ko) 2010-06-11 2011-12-19 (주)휴맥스 블록 병합을 이용한 영상 부호화/복호화 장치 및 방법
WO2011096770A2 (ko) 2010-02-02 2011-08-11 (주)휴맥스 영상 부호화/복호화 장치 및 방법
US20110194613A1 (en) 2010-02-11 2011-08-11 Qualcomm Incorporated Video coding with large macroblocks
KR101529992B1 (ko) 2010-04-05 2015-06-18 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
KR101847072B1 (ko) 2010-04-05 2018-04-09 삼성전자주식회사 영상 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR101750046B1 (ko) 2010-04-05 2017-06-22 삼성전자주식회사 트리 구조에 따른 부호화 단위에 기반한 인루프 필터링을 수반하는 비디오 부호화 방법과 그 장치 및 복호화 방법과 그 장치
US20110249743A1 (en) 2010-04-09 2011-10-13 Jie Zhao Super-block for high performance video coding
US8942282B2 (en) 2010-04-12 2015-01-27 Qualcomm Incorporated Variable length coding of coded block pattern (CBP) in video compression
TWI500273B (zh) 2010-04-13 2015-09-11 Ｇｅ影像壓縮有限公司 在樣本陣列多元樹細分中之繼承技術
CN105915919B (zh) 2010-04-13 2019-12-06 Ge视频压缩有限责任公司 用于解码、生成及存储数据流的方法
DK2947884T3 (da) * 2010-04-13 2019-10-28 Ge Video Compression Llc Videokodning ved anvendelse af multitræsunderinddeling af billeder
KR102210983B1 (ko) 2010-04-13 2021-02-02 지이 비디오 컴프레션, 엘엘씨 평면 간 예측
PT2559246T (pt) 2010-04-13 2016-09-14 Ge Video Compression Llc Regiões de fusão de amostras
CN106028045B (zh) 2010-04-13 2019-06-25 Ge视频压缩有限责任公司 解码数据流的方法、生成数据流的方法及其解码器
HUE053483T2 (hu) 2010-10-08 2021-06-28 Ge Video Compression Llc Blokk particionálást és összevonást támogató kép kódolás
DK2636218T3 (da) 2010-11-04 2021-10-04 Ge Video Compression Llc Billedkodning, som understøtter blokfletning og skipmodus
US20120170648A1 (en) 2011-01-05 2012-07-05 Qualcomm Incorporated Frame splitting in video coding
US9167247B2 (en) 2011-05-20 2015-10-20 Panasonic Intellectual Property Corporation Of America Methods and apparatuses for encoding and decoding video using inter-color-plane prediction
CN107347161B (zh) 2011-06-16 2020-06-12 Ge视频压缩有限责任公司 解码器、编码器、解码和编码视频的方法及存储介质
JP6158337B2 (ja) * 2012-09-24 2017-07-05 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 深度マップコーディング
HUE038732T2 (hu) 2013-04-08 2018-11-28 Ge Video Compression Llc Komponensközi elõrejelzés
US9264728B2 (en) 2014-01-10 2016-02-16 Sony Corporation Intra-plane and inter-plane predictive method for Bayer image coding
US9783149B2 (en) 2014-07-22 2017-10-10 Autoliv Development Ab Side airbag device
EP3247114A4 (en) 2015-01-21 2018-01-17 Samsung Electronics Co., Ltd. Method and apparatus for decoding inter-layer video, and method and apparatus for encoding inter-layer video
CN106325631B (zh) 2015-07-10 2023-03-07 宸鸿科技(厦门)有限公司 一种具有压力侦测的触控显示模组及其驱动方法
EP3563571A4 (en) 2016-12-30 2020-02-12 Telefonaktiebolaget LM Ericsson (publ) DECODED IMAGE BUFFER MEMORY MANAGEMENT FOR PROCESSING PREDICTION OF CROSS IMAGE DATA
WO2020140951A1 (en) 2019-01-02 2020-07-09 Beijing Bytedance Network Technology Co., Ltd. Motion vector derivation between color components
KR102630411B1 (ko) 2019-04-20 2024-01-29 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 크로마 잔차 조인트 코딩을 위한 구문 요소의 시그널링
EP4008108A4 (en) 2019-09-01 2022-09-21 Beijing Bytedance Network Technology Co., Ltd. ALIGNMENT OF PREDICTION WEIGHTS IN VIDEO ENCODING
WO2021197447A1 (en) 2020-04-01 2021-10-07 Beijing Bytedance Network Technology Co., Ltd. Controlling quantization parameter delta signaling
US11770498B2 (en) 2020-09-29 2023-09-26 Lemon Inc. Supplemental enhancement information for multi-layer video streams

Also Published As

Publication number Publication date
US20180288422A1 (en) 2018-10-04
US11765363B2 (en) 2023-09-19
KR102205041B1 (ko) 2021-01-19
US10873749B2 (en) 2020-12-22
KR20190032634A (ko) 2019-03-27
US20200366906A1 (en) 2020-11-19
BR122020007922B1 (pt) 2021-08-31
KR102481529B1 (ko) 2022-12-23
KR101962084B1 (ko) 2019-03-25
EP3709641A1 (en) 2020-09-16
CN106067984A (zh) 2016-11-02
BR112012026400A2 (pt) 2018-03-13
KR20210013662A (ko) 2021-02-04
CN106412608A (zh) 2017-02-15
CN105959703A (zh) 2016-09-21
CN102939750A (zh) 2013-02-20
ES2746182T3 (es) 2020-03-05
KR102595454B1 (ko) 2023-10-27
US20190089962A1 (en) 2019-03-21
KR102405997B1 (ko) 2022-06-07
US10855991B2 (en) 2020-12-01
US20210029365A1 (en) 2021-01-28
KR20220080010A (ko) 2022-06-14
KR20160017135A (ko) 2016-02-15
CN106412607B (zh) 2020-09-01
BR112012026400B1 (pt) 2021-08-10
KR102080450B1 (ko) 2020-02-21
KR20130006690A (ko) 2013-01-17
EP3614667A1 (en) 2020-02-26
KR20230003429A (ko) 2023-01-05
EP2559240B1 (en) 2019-07-10
EP2559240A1 (en) 2013-02-20
KR101447796B1 (ko) 2014-10-07
KR20150015026A (ko) 2015-02-09
US10848767B2 (en) 2020-11-24
CN106412606A (zh) 2017-02-15
KR101752458B1 (ko) 2017-07-03
PT2559240T (pt) 2019-10-15
JP2013528023A (ja) 2013-07-04
CN106412608B (zh) 2019-10-08
CN106067984B (zh) 2020-03-03
KR101592802B1 (ko) 2016-02-05
KR20230151089A (ko) 2023-10-31
US20130034171A1 (en) 2013-02-07
CN106412607A (zh) 2017-02-15
KR20210008152A (ko) 2021-01-20
KR102210983B1 (ko) 2021-02-02
DK2559240T3 (da) 2019-10-07
BR122020010438B1 (pt) 2021-08-31
US10855990B2 (en) 2020-12-01
HUE045579T2 (hu) 2020-01-28
CN102939750B (zh) 2016-07-06
KR20140071506A (ko) 2014-06-11
CN106067985B (zh) 2019-06-28
CN106101724B (zh) 2019-09-06
US20230345012A1 (en) 2023-10-26
CN106067983B (zh) 2019-07-12
CN106067983A (zh) 2016-11-02
US20210176473A1 (en) 2021-06-10
KR20200019270A (ko) 2020-02-21
KR20170076811A (ko) 2017-07-04
WO2011127966A1 (en) 2011-10-20
CN106412606B (zh) 2020-03-27
US12120316B2 (en) 2024-10-15
KR102355155B1 (ko) 2022-01-24
US20160309169A1 (en) 2016-10-20
KR102282803B1 (ko) 2021-07-28
US11611761B2 (en) 2023-03-21
CN106101724A (zh) 2016-11-09
US11765362B2 (en) 2023-09-19
US20200084458A1 (en) 2020-03-12
PL2559240T3 (pl) 2020-01-31
KR101874272B1 (ko) 2018-07-03
CN105959703B (zh) 2019-06-04
KR20220012428A (ko) 2022-02-03
BR122020007923B1 (pt) 2021-08-03
CN106067985A (zh) 2016-11-02
KR20200055810A (ko) 2020-05-21
KR101584480B1 (ko) 2016-01-14
US10855995B2 (en) 2020-12-01
BR122020007921B1 (pt) 2021-08-03
KR20180075705A (ko) 2018-07-04

Similar Documents

Publication Publication Date Title
JP6431943B2 (ja) 標本配列のマルチツリーの細分割での継承
JP6845282B2 (ja) 標本の領域の結合
JP5846611B2 (ja) 平面間予測
JP6150832B2 (ja) 細分割を使用した２次元情報信号の空間的なサンプリングの符号化
JP5755781B2 (ja) 平面間予測
JP6212530B2 (ja) 平面間予測

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130315

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140203

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140924

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20141219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150728

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150811

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151020

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20151117

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20151117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151118

R150 Certificate of patent or registration of utility model

Ref document number: 5846611

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250