JP2015015626A - 画像復号装置および画像符号化装置 - Google Patents
画像復号装置および画像符号化装置 Download PDFInfo
- Publication number
- JP2015015626A JP2015015626A JP2013141570A JP2013141570A JP2015015626A JP 2015015626 A JP2015015626 A JP 2015015626A JP 2013141570 A JP2013141570 A JP 2013141570A JP 2013141570 A JP2013141570 A JP 2013141570A JP 2015015626 A JP2015015626 A JP 2015015626A
- Authority
- JP
- Japan
- Prior art keywords
- layer
- reference picture
- decoding
- inter
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】複数レイヤ画像の復号処理および符号化処理における、レイヤ間予測に関する符号の冗長性を削減する。【解決手段】符号化装置および復号装置は、レイヤ間予測に関するレイヤ間の依存タイプと参照ピクチャの指定方法に関して、テクスチャ依存を含む場合のみ参照ピクチャセットを用い、モーション依存の場合のみ代替参照ピクチャを用いる。また、レイヤ間予測に関する拡張パラメータをスライスヘッダとは別の拡張スライスヘッダ内に定義し、復号装置は、拡張スライスヘッダが省略された場合に、所定のデフォルト値を前記拡張パラメータに設定して、レイヤ間予測の復号時に利用する構成を備える。【選択図】図５
Description
本発明は、画像復号装置および画像符号化装置に関する。
動画像の符号化における基本的な手法の一つとして、時間方向に連続する画像（ピクチャ）間で予測を行うフレーム間予測符号化がある。時間的に近接するピクチャは互いに相関が高くなり、ピクチャ間の差分をとるとその差分値はゼロ近傍に集中するため、差分値を利用することで大幅に符号量を削減することができる。
複数のレイヤから構成される動画像の符号化方法は、一般に、スケーラブル符号化又は階層符号化と呼ばれる。ここでいうレイヤとは、時間方向に連続する複数のピクチャで構成される動画像データのセットを意味する。スケーラブル符号化では、前述のフレーム間予測に加えてレイヤ間で予測を行うことで、高い符号化効率を実現する。レイヤ間予測を用いない基準となるレイヤはベースレイヤ、それ以外のレイヤは拡張レイヤと呼ばれる。レイヤが視点画像から構成される場合のスケーラブル符号化を、ビュースケーラブル符号化と呼ぶ。このとき、ベースレイヤはベースビュー、拡張レイヤは非ベースビュー（依存ビュー）とも呼ばれる。
また、スケーラブル符号化には、ビュースケーラブル符号化の他、空間的スケーラブル符号化（ベースレイヤとして解像度の低いピクチャ、拡張レイヤとして解像度の高いピクチャを処理）、ＳＮＲスケーラブル符号化（ベースレイヤとして画質の低いピクチャ、拡張レイヤとして画質の高いピクチャを処理）等がある。スケーラブル符号化では、各レイヤ内の既に符号化／復号された時間的に前後のピクチャを参照ピクチャとして用いることに加え、対象レイヤとは別のレイヤのピクチャを参照レイヤとして用いることができる。レイヤ内での時間的な予測は動き予測と呼ばれ、ピクチャ間のズレを示すベクトルが動きベクトルである。レイヤ間の予測はレイヤ間予測と呼ばれ、ピクチャ間のズレを示すベクトルは変位ベクトルと呼ばれる。なお、ビュースケーラブル符号化など、レイヤが視点画像から構成される場合、変位ベクトルは、視点画像間の視差を表すベクトルであり視差ベクトルとも呼ばれる。
動画像符号化方式の国際標準では、スケーラブル符号化の例として、SVC（Scalable Video Coding）やMVC（Multi-view Video Coding）がある。これらは、単一レイヤを対象とするH.264/AVC（Advanced Video Coding）を拡張して、複数レイヤ対応にした規格である。その後、次世代の符号化方式として規格化されたH.265/HEVC（High Efficiency Video Coding；非特許文献１）に関して、その拡張規格として複数レイヤ用のスケーラブル符号化方式の審議が始まっている。
このような符号化方式の拡張においては、既に標準化されたベース部分の符号化方法をできるだけ変更せずにそのまま用いるような後方互換性が重視される。H.265/HEVCをベースとするスケーラブル符号化規格においても、単一レイヤ用の規格で定められた符号化データの構造およびローレベルの処理手順をできるだけ保持したまま、拡張が行われることが望ましい。単一レイヤ用の規格では、対象ピクチャとは異なるピクチャ（ここでは時間的に異なるピクチャ）との間で予測を行うテンポラル動き予測と呼ばれる方法がある。複数レイヤを対象とするスケーラブル符号化では、これに加えて、異なるレイヤのピクチャとの間で予測を行うサンプル予測と呼ばれる方法が利用可能になり、これらを適応的に切り替えまたは組み合わせて利用することで符号化効率の向上を目指している（非特許文献２、非特許文献３）。
"Recommendation ITU-T H.265 High efficiency video coding", TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU, 04/2013
"SHVC Working Draft 2", JCTVC-M1008, JCT-VC, Incheon, KR, 18-26 Apr. 2013
"MV-HEVC Draft Text 4", JCT3V-D1004, JCT-3V, Incheon, KR, 20-26 Apr. 2013
複数レイヤを対象とするスケーラブル符号化では、レイヤ間の予測符号化の使用に関するフラグやパラメータを伝送する符号が必要になる。このレイヤ間予測に関するフラグやパラメータは、非特許文献２や非特許文献３においてスライスセグメントヘッダと呼ばれるデータ構造の中に含めるように定義されている。しかしながら、スライスセグメントヘッダは単一レイヤ用の規格すなわちH.265/HEVCで既に定義されているデータ構造であるため、複数レイヤに関わる符号を含むように再定義することは、単一レイヤ用に設計・実装された復号装置やソフトウェアに影響を与えることになり、既存のスライスヘッダ処理機能を変更する必要が生じ、実装コストを増大させるという課題がある。
また、レイヤ間予測における依存関係は、ＶＰＳのレイヤ依存タイプによって、サンプル予測依存であるか、動き予測依存であるか、その両方（サンプル予測依存かつ動き予測依存）であるか、が指定される。しかしながら、非特許文献２および非特許文献３では、レイヤ依存タイプに関わらず、参照ピクチャの選択に用いられる参照ピクチャリスト（ＲＰＳ）に追加できるため、ＲＰＳに追加された参照ピクチャが、サンプル予測が可能であるか、が保障されないという課題がある。
また、テンポラル動き予測の参照ピクチャcolPicを指定する方法として、参照ピクチャリスト（ＲＰＳ）から生成される参照ピクチャリスト(RPL)のピクチャと、参照ピクチャインデックスrefIdxで指定する第１の方法と、代替参照ピクチャとして、レイヤIDで指定する第２の方法の２つがある。しかしながら、非特許文献２および非特許文献３では、レイヤ依存タイプが動き予測依存であるか、その両方（サンプル予測依存かつ動き予測依存）に関わらず、第１の方法、第２の方法のいずれもが使用可能であるため、テンポラル動き予測の場合に参照ピクチャcolPicを指定する符号の伝送が冗長になるという課題がある。
本発明は上記の点に鑑みてなされたものであり、複数レイヤを対象とするスケーラブル符号化において、単一レイヤ用の符号化方式を拡張する場合の実装コスト上の課題、およびレイヤ間予測における参照画像の指定に関する符号の冗長性を解消する画像復号装置、画像復号方法、画像復号プログラム、画像符号化装置、画像符号化方法、及び画像符号化プログラムを提供する。
前述の課題を解決するために、本発明による画像復号装置は、
（１）階層符号化された符号化データを復号する画像復号装置であって、
レイヤ依存タイプを復号し、前記レイヤ依存タイプに対応するレイヤがサンプル依存を示すレイヤであるかを判定する手段を備える依存タイプ復号手段と、
前記サンプル依存を示す依存レイヤから、サンプル依存レイヤを抽出し、参照ピクチャセットを導出する参照ピクチャセット復号部と、
前記レイヤ間参照ピクチャセットを用いて導出される参照ピクチャリストで指定される参照ピクチャを用いて予測画像を生成するインター予測画像生成部を備えることを特徴とするものである。
（１）階層符号化された符号化データを復号する画像復号装置であって、
レイヤ依存タイプを復号し、前記レイヤ依存タイプに対応するレイヤがサンプル依存を示すレイヤであるかを判定する手段を備える依存タイプ復号手段と、
前記サンプル依存を示す依存レイヤから、サンプル依存レイヤを抽出し、参照ピクチャセットを導出する参照ピクチャセット復号部と、
前記レイヤ間参照ピクチャセットを用いて導出される参照ピクチャリストで指定される参照ピクチャを用いて予測画像を生成するインター予測画像生成部を備えることを特徴とするものである。
（２）また、上記の画像復号装置において、
上記依存タイプ復号手段は、パラメータセットの符号化データから、レイヤ依存タイプを復号し、前記レイヤ依存タイプに応じて、依存レイヤがサンプル依存レイヤか否かを示すフラグであるSamplePredEnableFlagを導出し、
上記サンプル依存レイヤ復号手段は、スライスセグメントレイヤの符号化データからレイヤ間依存識別子（inter_layer_pred_layer_idc）を復号し、SamplePredEnableFlagが１である依存レイヤから、サンプル依存レイヤActiveSamplePredRefLayerIdを導出することを特徴とする。
上記依存タイプ復号手段は、パラメータセットの符号化データから、レイヤ依存タイプを復号し、前記レイヤ依存タイプに応じて、依存レイヤがサンプル依存レイヤか否かを示すフラグであるSamplePredEnableFlagを導出し、
上記サンプル依存レイヤ復号手段は、スライスセグメントレイヤの符号化データからレイヤ間依存識別子（inter_layer_pred_layer_idc）を復号し、SamplePredEnableFlagが１である依存レイヤから、サンプル依存レイヤActiveSamplePredRefLayerIdを導出することを特徴とする。
（３）また、上記画像復号装置は、さらにレイヤ間予測のみフラグinter_layer_sample_onlyフラグを復号するレイヤ間予測のみフラグ復号手段を備え、
上記代替参照ピクチャ復号部は、前記レイヤ依存タイプに応じて、前記サンプル依存レイヤの数NumActiveSamplePredRefLayersを導出し、
上記参照ピクチャセット復号部は、前記レイヤ間予測のみフラグinter_layer_sample_onlyフラグが、レイヤ間予測のみを示す場合には、同一レイヤのピクチャを参照ピクチャリストに入れず、
前記レイヤ間予測のみフラグ復号手段は、動きのみ依存レイヤ数NumActiveSamplePredRefLayersが１以上である場合に、レイヤ間予測のみフラグinter_layer_sample_onlyフラグを復号することを特徴とする。
（４）また、本発明による別の構成の画像復号装置は、
階層符号化された符号化データを復号する画像復号装置であって、
レイヤ依存タイプを復号し、前記レイヤ依存タイプに対応するレイヤが動き依存かつサンプル依存ではないことを示す動き依存のみレイヤであるかを判定する手段を備える依存タイプ復号手段と、
前記動き依存のみレイヤから、代替参照ピクチャを復号する代替参照ピクチャ復号部と、
前記代替参照ピクチャを用いて、テンポラル動きベクトルを導出するインター予測パラメータ導出部を備えることを特徴とする。
上記代替参照ピクチャ復号部は、前記レイヤ依存タイプに応じて、前記サンプル依存レイヤの数NumActiveSamplePredRefLayersを導出し、
上記参照ピクチャセット復号部は、前記レイヤ間予測のみフラグinter_layer_sample_onlyフラグが、レイヤ間予測のみを示す場合には、同一レイヤのピクチャを参照ピクチャリストに入れず、
前記レイヤ間予測のみフラグ復号手段は、動きのみ依存レイヤ数NumActiveSamplePredRefLayersが１以上である場合に、レイヤ間予測のみフラグinter_layer_sample_onlyフラグを復号することを特徴とする。
（４）また、本発明による別の構成の画像復号装置は、
階層符号化された符号化データを復号する画像復号装置であって、
レイヤ依存タイプを復号し、前記レイヤ依存タイプに対応するレイヤが動き依存かつサンプル依存ではないことを示す動き依存のみレイヤであるかを判定する手段を備える依存タイプ復号手段と、
前記動き依存のみレイヤから、代替参照ピクチャを復号する代替参照ピクチャ復号部と、
前記代替参照ピクチャを用いて、テンポラル動きベクトルを導出するインター予測パラメータ導出部を備えることを特徴とする。
（５）また、上記の画像復号装置において、
上記代替参照ピクチャ復号部は、前記レイヤ依存タイプに応じて、動き依存かつサンプル依存ではないことを示す依存レイヤである動き依存のみレイヤの数NumActiveMotionPredRefLayersを導出し、前記動きのみ依存レイヤ数NumActiveMotionPredRefLayersが１以上である場合に、スライスセグメントレイヤの符号化データから代替参照ピクチャを用いるかどうかを示すフラグalt_collocated_indication_flagを復号することを特徴とする。
上記代替参照ピクチャ復号部は、前記レイヤ依存タイプに応じて、動き依存かつサンプル依存ではないことを示す依存レイヤである動き依存のみレイヤの数NumActiveMotionPredRefLayersを導出し、前記動きのみ依存レイヤ数NumActiveMotionPredRefLayersが１以上である場合に、スライスセグメントレイヤの符号化データから代替参照ピクチャを用いるかどうかを示すフラグalt_collocated_indication_flagを復号することを特徴とする。
（６）また、上記の画像復号装置において、
上記代替参照ピクチャ復号部は、前記レイヤ依存タイプに応じて、動き依存かつサンプル依存ではないことを示す依存レイヤである動き依存のみレイヤActivnMotionPredRefLayerIdを導出し、前記動き依存のみレイヤを示すフラグであるMotionPredEnableFlagを参照し、前記動き依存のみレイヤから、代替参照ピクチャを特定する識別子collocated_ref_layer_idxを復号することを特徴とする。
上記代替参照ピクチャ復号部は、前記レイヤ依存タイプに応じて、動き依存かつサンプル依存ではないことを示す依存レイヤである動き依存のみレイヤActivnMotionPredRefLayerIdを導出し、前記動き依存のみレイヤを示すフラグであるMotionPredEnableFlagを参照し、前記動き依存のみレイヤから、代替参照ピクチャを特定する識別子collocated_ref_layer_idxを復号することを特徴とする。
（７）本発明による画像符号化装置は、
複数レイヤの画像データを階層符号化する画像符号化装置であって、
非ベースレイヤのピクチャの符号化方法に関するパラメータとして、少なくともレイヤ間のサンプル予測に関する実依存レイヤ情報とレイヤ間の動き予測に関する実依存レイヤ情報を符号化するヘッダ情報符号化手段を備え、
該ヘッダ情報符号化手段は、対象レイヤに関するサンプル予測参照レイヤ数（NumSamplePredRefLayers）に基づいて、レイヤ間予測参照ピクチャ数（num_inter_layer_ref_pics_minus1）およびレイヤ間依存識別子（inter_layer_pred_layer_idc）の符号の有無、符号長および値の範囲を定めて符号化すると共に、符号化された前記レイヤ間予測参照ピクチャ数および前記レイヤ間依存識別子を、レイヤ間のサンプル予測に関する実依存レイヤ情報として非ベースレイヤのピクチャの符号化に用いることを特徴とする。
複数レイヤの画像データを階層符号化する画像符号化装置であって、
非ベースレイヤのピクチャの符号化方法に関するパラメータとして、少なくともレイヤ間のサンプル予測に関する実依存レイヤ情報とレイヤ間の動き予測に関する実依存レイヤ情報を符号化するヘッダ情報符号化手段を備え、
該ヘッダ情報符号化手段は、対象レイヤに関するサンプル予測参照レイヤ数（NumSamplePredRefLayers）に基づいて、レイヤ間予測参照ピクチャ数（num_inter_layer_ref_pics_minus1）およびレイヤ間依存識別子（inter_layer_pred_layer_idc）の符号の有無、符号長および値の範囲を定めて符号化すると共に、符号化された前記レイヤ間予測参照ピクチャ数および前記レイヤ間依存識別子を、レイヤ間のサンプル予測に関する実依存レイヤ情報として非ベースレイヤのピクチャの符号化に用いることを特徴とする。
（８）本発明によるさらに別の構成の画像復号装置は、
階層符号化された符号化データを復号する画像復号装置であって、
非ベースレイヤのピクチャの符号化方法に関するパラメータとして、少なくともレイヤnuh_layer_idに関する依存レイヤ数（NumDirectRefLayers[nuh_layer_id]）を復号するパラメータセット復号手段と、
ベースレイヤと非ベースレイヤで共通の符号化パラメータを復号するスライスセグメントヘッダ基本復号手段と、
非ベースレイヤに関する符号化パラメータを復号するスライスセグメントヘッダ拡張復号手段とを備え、
前記スライスセグメントヘッダ拡張復号手段は、非ベースレイヤのピクチャのレイヤ間予測の有無（inter_layer_pred_enable_flag）、レイヤ間予測参照ピクチャ数（num_inter_layer_ref_pics_minus1）、レイヤ間依存識別子（inter_layer_pred_layer_idc[i]）を示す各パラメータを復号し、符号化データ中に前記各シンタックスが含まれない場合には、inter_layer_pred_enable_flagをレイヤ間予測を行うことを１に、num_inter_layer_ref_pics_minus1をNumDirectRefLayers[ nuh_layer_id ] - 1に、inter_layer_pred_layer_idc[i]をパラメータセットで復号した依存レイヤをそのまま用いることを示すiに設定することを特徴とする。
階層符号化された符号化データを復号する画像復号装置であって、
非ベースレイヤのピクチャの符号化方法に関するパラメータとして、少なくともレイヤnuh_layer_idに関する依存レイヤ数（NumDirectRefLayers[nuh_layer_id]）を復号するパラメータセット復号手段と、
ベースレイヤと非ベースレイヤで共通の符号化パラメータを復号するスライスセグメントヘッダ基本復号手段と、
非ベースレイヤに関する符号化パラメータを復号するスライスセグメントヘッダ拡張復号手段とを備え、
前記スライスセグメントヘッダ拡張復号手段は、非ベースレイヤのピクチャのレイヤ間予測の有無（inter_layer_pred_enable_flag）、レイヤ間予測参照ピクチャ数（num_inter_layer_ref_pics_minus1）、レイヤ間依存識別子（inter_layer_pred_layer_idc[i]）を示す各パラメータを復号し、符号化データ中に前記各シンタックスが含まれない場合には、inter_layer_pred_enable_flagをレイヤ間予測を行うことを１に、num_inter_layer_ref_pics_minus1をNumDirectRefLayers[ nuh_layer_id ] - 1に、inter_layer_pred_layer_idc[i]をパラメータセットで復号した依存レイヤをそのまま用いることを示すiに設定することを特徴とする。
（９）本発明によるさらに別の構成の画像復号装置は、
階層符号化された符号化データを復号する画像復号装置であって、
ベースレイヤと非ベースレイヤで共通の符号化パラメータを復号するスライスセグメントヘッダ基本復号手段と、
非ベースレイヤに関する符号化パラメータを復号するスライスセグメントヘッダ拡張復号手段とを備え、
前記スライスセグメントヘッダ拡張復号手段は、
非ベースレイヤのピクチャにおけるテンポラル動きベクトル予測時の参照ピクチャを示す動き依存レイヤ代替情報（alt_collocated_indication_flag, collocated_ref_layer_idx）を復号する動き依存レイヤ代替情報復号手段と、
復号された前記動き依存レイヤ代替情報で指定されたピクチャを用いて、テンポラル動きベクトルを導出する動きベクトル導出部を備え、
前記動き依存レイヤ代替情報復号手段は、符号化データ中に拡張ヘッダ情報が含まれる場合は、前記動き依存レイヤ代替情報を符号化データから復号し、符号化データ中に拡張ヘッダ情報が含まれない場合には、動き依存レイヤ代替情報として、代替参照レイヤを用いないことを示すalt_collocated_indication_flag=0を復号することを特徴とする。
階層符号化された符号化データを復号する画像復号装置であって、
ベースレイヤと非ベースレイヤで共通の符号化パラメータを復号するスライスセグメントヘッダ基本復号手段と、
非ベースレイヤに関する符号化パラメータを復号するスライスセグメントヘッダ拡張復号手段とを備え、
前記スライスセグメントヘッダ拡張復号手段は、
非ベースレイヤのピクチャにおけるテンポラル動きベクトル予測時の参照ピクチャを示す動き依存レイヤ代替情報（alt_collocated_indication_flag, collocated_ref_layer_idx）を復号する動き依存レイヤ代替情報復号手段と、
復号された前記動き依存レイヤ代替情報で指定されたピクチャを用いて、テンポラル動きベクトルを導出する動きベクトル導出部を備え、
前記動き依存レイヤ代替情報復号手段は、符号化データ中に拡張ヘッダ情報が含まれる場合は、前記動き依存レイヤ代替情報を符号化データから復号し、符号化データ中に拡張ヘッダ情報が含まれない場合には、動き依存レイヤ代替情報として、代替参照レイヤを用いないことを示すalt_collocated_indication_flag=0を復号することを特徴とする。
（１０）本発明によるさらに別の構成の画像復号装置は、
階層符号化された符号化データを復号する画像復号装置であって、
非ベースレイヤのピクチャの符号化方法に関するパラメータとして、少なくとも動き依存レイヤ数（NumMotionPredRefLayers[i]）を復号するパラメータセット復号手段と、
ベースレイヤと非ベースレイヤで共通の符号化パラメータを復号するスライスセグメントヘッダ基本復号手段と、
非ベースレイヤに関する符号化パラメータを復号するスライスセグメントヘッダ拡張復号手段とを備え、
前記スライスセグメントヘッダ拡張復号手段は、
非ベースレイヤのピクチャにおけるテンポラル動きベクトル予測時の参照ピクチャを示す動き依存レイヤ代替情報（alt_collocated_indication_flag, collocated_ref_layer_idx）を復号する動き依存レイヤ代替情報復号手段と、
復号された前記動き依存レイヤ代替情報で指定されたピクチャを用いて、テンポラル動きベクトルを導出する動きベクトル導出部を備え、
前記動き依存レイヤ代替情報復号手段は、符号化データ中に拡張ヘッダ情報が含まれる場合は、前記動き依存レイヤ代替情報を符号化データから復号し、符号化データ中に拡張ヘッダ情報が含まれない場合には、前記パラメータセット復号手段が導出した動き依存レイヤ数（NumMotionPredRefLayers[i]）が０である場合は、動き依存レイヤ代替情報として、代替参照レイヤを用いないことを示すalt_collocated_indication_flag=0を復号し、動き依存レイヤ数（NumMotionPredRefLayers[i]）が０以外である場合は、代替参照レイヤを用いることを示すalt_collocated_indication_flag=1を復号することを特徴とする。
階層符号化された符号化データを復号する画像復号装置であって、
非ベースレイヤのピクチャの符号化方法に関するパラメータとして、少なくとも動き依存レイヤ数（NumMotionPredRefLayers[i]）を復号するパラメータセット復号手段と、
ベースレイヤと非ベースレイヤで共通の符号化パラメータを復号するスライスセグメントヘッダ基本復号手段と、
非ベースレイヤに関する符号化パラメータを復号するスライスセグメントヘッダ拡張復号手段とを備え、
前記スライスセグメントヘッダ拡張復号手段は、
非ベースレイヤのピクチャにおけるテンポラル動きベクトル予測時の参照ピクチャを示す動き依存レイヤ代替情報（alt_collocated_indication_flag, collocated_ref_layer_idx）を復号する動き依存レイヤ代替情報復号手段と、
復号された前記動き依存レイヤ代替情報で指定されたピクチャを用いて、テンポラル動きベクトルを導出する動きベクトル導出部を備え、
前記動き依存レイヤ代替情報復号手段は、符号化データ中に拡張ヘッダ情報が含まれる場合は、前記動き依存レイヤ代替情報を符号化データから復号し、符号化データ中に拡張ヘッダ情報が含まれない場合には、前記パラメータセット復号手段が導出した動き依存レイヤ数（NumMotionPredRefLayers[i]）が０である場合は、動き依存レイヤ代替情報として、代替参照レイヤを用いないことを示すalt_collocated_indication_flag=0を復号し、動き依存レイヤ数（NumMotionPredRefLayers[i]）が０以外である場合は、代替参照レイヤを用いることを示すalt_collocated_indication_flag=1を復号することを特徴とする。
（１１）本発明によるさらに別の構成の画像復号装置は、
階層符号化された符号化データを復号する画像復号装置であって、
ベースレイヤと非ベースレイヤで共通の符号化パラメータを復号するスライスセグメントヘッダ基本復号手段と、
非ベースレイヤに関する符号化パラメータを復号するスライスセグメントヘッダ拡張復号手段とを備え、
前記スライスセグメントヘッダ拡張復号手段は、
非ベースレイヤのピクチャにおけるテンポラル動きベクトル予測時の参照ピクチャを示す動き依存レイヤ代替情報（alt_collocated_indication_flag, collocated_ref_layer_idx）を復号する動き依存レイヤ代替情報復号手段と、
参照ピクチャ情報（ＲＰＳ、ＲＰＬ）を復号する参照ピクチャ情報復号手段と、
復号された前記動き依存レイヤ代替情報で指定されたピクチャを用いて、テンポラル動きベクトルを導出する動きベクトル導出部を備え、
前記動き依存レイヤ代替情報復号手段は、符号化データ中に拡張ヘッダ情報が含まれる場合は、前記動き依存レイヤ代替情報を符号化データから復号し、符号化データ中に拡張ヘッダ情報が含まれない場合には、前記参照ピクチャ情報復号手段が導出した参照ピクチャ情報に同じ対象レイヤのピクチャが含まれる場合は、動き依存レイヤ代替情報として、代替参照レイヤを用いないことを示すalt_collocated_indication_flag=0を復号し、前記参照ピクチャ情報復号手段が導出した参照ピクチャ情報に同じ対象レイヤのピクチャが含まれない場合は、代替参照レイヤを用いることを示すalt_collocated_indication_flag=1を復号することを特徴とする。
階層符号化された符号化データを復号する画像復号装置であって、
ベースレイヤと非ベースレイヤで共通の符号化パラメータを復号するスライスセグメントヘッダ基本復号手段と、
非ベースレイヤに関する符号化パラメータを復号するスライスセグメントヘッダ拡張復号手段とを備え、
前記スライスセグメントヘッダ拡張復号手段は、
非ベースレイヤのピクチャにおけるテンポラル動きベクトル予測時の参照ピクチャを示す動き依存レイヤ代替情報（alt_collocated_indication_flag, collocated_ref_layer_idx）を復号する動き依存レイヤ代替情報復号手段と、
参照ピクチャ情報（ＲＰＳ、ＲＰＬ）を復号する参照ピクチャ情報復号手段と、
復号された前記動き依存レイヤ代替情報で指定されたピクチャを用いて、テンポラル動きベクトルを導出する動きベクトル導出部を備え、
前記動き依存レイヤ代替情報復号手段は、符号化データ中に拡張ヘッダ情報が含まれる場合は、前記動き依存レイヤ代替情報を符号化データから復号し、符号化データ中に拡張ヘッダ情報が含まれない場合には、前記参照ピクチャ情報復号手段が導出した参照ピクチャ情報に同じ対象レイヤのピクチャが含まれる場合は、動き依存レイヤ代替情報として、代替参照レイヤを用いないことを示すalt_collocated_indication_flag=0を復号し、前記参照ピクチャ情報復号手段が導出した参照ピクチャ情報に同じ対象レイヤのピクチャが含まれない場合は、代替参照レイヤを用いることを示すalt_collocated_indication_flag=1を復号することを特徴とする。
（１２）本発明によるさらに別の構成の画像復号装置は、
階層符号化された符号化データを復号する画像復号装置であって、
ベースレイヤと非ベースレイヤで共通の符号化パラメータを復号するスライスセグメントヘッダ基本復号手段と、
非ベースレイヤに関する符号化パラメータを復号するスライスセグメントヘッダ拡張復号手段とを備え、
スライスセグメントヘッダ拡張復号手段は、符号化データ中に拡張ヘッダ情報が含まれる場合は、非ベースレイヤのピクチャの復号方法に関するパラメータとして、少なくともテンポラル動きベクトル予測時の参照ピクチャを示すパラメータ（alt_collocated_indication_flag, collocated_ref_layer_idx）を復号し、
符号化データ中に拡張ヘッダ情報が含まれない場合は、基本ヘッダ情報に含まれる符号化パラメータであって、ベースレイヤのテンポラル動きベクトル予測における参照ピクチャを示すパラメータ（collocated_from_0_flag, collocated_ref_idx）に基づいて、非ベースレイヤのピクチャにおける前記各パラメータを決定することを特徴とする。
階層符号化された符号化データを復号する画像復号装置であって、
ベースレイヤと非ベースレイヤで共通の符号化パラメータを復号するスライスセグメントヘッダ基本復号手段と、
非ベースレイヤに関する符号化パラメータを復号するスライスセグメントヘッダ拡張復号手段とを備え、
スライスセグメントヘッダ拡張復号手段は、符号化データ中に拡張ヘッダ情報が含まれる場合は、非ベースレイヤのピクチャの復号方法に関するパラメータとして、少なくともテンポラル動きベクトル予測時の参照ピクチャを示すパラメータ（alt_collocated_indication_flag, collocated_ref_layer_idx）を復号し、
符号化データ中に拡張ヘッダ情報が含まれない場合は、基本ヘッダ情報に含まれる符号化パラメータであって、ベースレイヤのテンポラル動きベクトル予測における参照ピクチャを示すパラメータ（collocated_from_0_flag, collocated_ref_idx）に基づいて、非ベースレイヤのピクチャにおける前記各パラメータを決定することを特徴とする。
（１３）本発明による別の構成の画像符号化装置は、
複数レイヤの画像データを階層符号化する画像符号化装置であって、
ベースレイヤと非ベースレイヤで共通の符号化パラメータを符号化する基本ヘッダ情報符号化手段と、
非ベースレイヤに関する符号化パラメータを符号化する拡張ヘッダ情報符号化手段とを備え、
拡張ヘッダ情報符号化手段は、非ベースレイヤに関する符号化パラメータのうち、レイヤ間予測に関する複数のパラメータ群の値が所定の組合せである場合に、拡張ヘッダ情報の符号化を省略することを特徴とする。
複数レイヤの画像データを階層符号化する画像符号化装置であって、
ベースレイヤと非ベースレイヤで共通の符号化パラメータを符号化する基本ヘッダ情報符号化手段と、
非ベースレイヤに関する符号化パラメータを符号化する拡張ヘッダ情報符号化手段とを備え、
拡張ヘッダ情報符号化手段は、非ベースレイヤに関する符号化パラメータのうち、レイヤ間予測に関する複数のパラメータ群の値が所定の組合せである場合に、拡張ヘッダ情報の符号化を省略することを特徴とする。
本発明によれば、複数レイヤを対象とするスケーラブル符号化／復号において、単一レイヤ用の符号化／復号方式との後方互換性を確保し、特にレイヤ間予測に関するフラグやパラメータの伝送において、冗長度を低減し伝送符号量を削減することを可能にする。
（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について説明する。
以下、図面を参照しながら本発明の実施形態について説明する。
図１は、本実施形態に係る画像伝送システム１の構成を示す概略図である。
画像伝送システム１は、複数のレイヤ画像を符号化した符号を伝送し、伝送された符号を復号した画像を表示するシステムである。画像伝送システム１は、画像符号化装置１１、ネットワーク２１、画像復号装置３１及び画像表示装置４１を含んで構成される。
画像符号化装置１１には、複数のレイヤ画像（テクスチャ画像ともいう）を示す信号Tが入力される。レイヤ画像とは、ある解像度及びある視点で視認もしくは撮影される画像である。複数のレイヤ画像を用いて３次元画像を符号化するビュースケーラブル符号化を行う場合、複数のレイヤ画像のそれぞれは、視点画像と呼ばれる。ここで、視点は撮影装置の位置又は観測点に相当する。例えば、複数の視点画像は、被写体に向かって左右の撮影装置のそれぞれが撮影した画像である。画像符号化装置１１は、この信号のそれぞれを符号化して符号化ストリームTe（符号化データ）を生成する。符号化ストリームTeの詳細については、後述する。視点画像とは、ある視点において観測される２次元画像（平面画像）である。視点画像は、例えば２次元平面内に配置された画素毎の輝度値、又は色信号値で示される。以下では、１枚の視点画像又は、その視点画像を示す信号をピクチャ（picture）と呼ぶ。また、複数のレイヤ画像を用いて空間スケーラブル符号化を行う場合、その複数のレイヤ画像は、解像度の低いベースレイヤ画像と、解像度の高い拡張レイヤ画像からなる。複数のレイヤ画像を用いてＳＮＲスケーラブル符号化を行う場合、その複数のレイヤ画像は、画質の低いベースレイヤ画像と、画質の高い拡張レイヤ画像からなる。なお、ビュースケーラブル符号化、空間スケーラブル符号化、ＳＮＲスケーラブル符号化を任意に組み合わせて行っても良い。本実施形態では、複数のレイヤ画像として、少なくともベースレイヤ画像と、ベースレイヤ画像以外の画像（拡張レイヤ画像）を含む画像の符号化および復号を扱う。複数のレイヤのうち、画像もしくは符号化パラメータにおいて参照関係（依存関係）にある２つのレイヤについて、参照される側の画像を、第１レイヤ画像、参照する側の画像を第２レイヤ画像と呼ぶ。例えば、ベースレイヤを参照して符号化される（ベースレイヤ以外の）拡張画像がある場合、ベースレイヤ画像を第１レイヤ画像、拡張画像を第２レイヤ画像として扱う。なお、拡張レイヤ画像の例としては、ベースビュー以外の視点画像、デプス画像、高解像度画像などがある。
ネットワーク２１は、画像符号化装置１１が生成した符号化ストリームTeを画像復号装置３１に伝送する。ネットワーク２１は、インターネット（internet）、広域ネットワーク（WAN: Wide Area Network）、小規模ネットワーク（LAN: Local Area Network）又はこれらの組み合わせである。ネットワーク２１は、必ずしも双方向の通信網に限らず、地上波ディジタル放送、衛星放送等の放送波を伝送する一方向又は双方向の通信網であっても良い。また、ネットワーク２１は、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blue-ray Disc）等の符号化ストリームTeを記録した記憶媒体で代替されても良い。
画像復号装置３１は、ネットワーク２１が伝送した符号化ストリームTeのそれぞれを復号し、それぞれ復号した複数の復号レイヤ画像Td（復号視点画像Td）を生成する。
画像表示装置４１は、画像復号装置３１が生成した複数の復号レイヤ画像Tdの全部又は一部を表示する。例えば、ビュースケーラブル符号化においては、全部の場合、３次元画像（立体画像）や自由視点画像が表示され、一部の場合、２次元画像が表示される。画像表示装置４１は、例えば、液晶ディスプレイ、有機ＥＬ（Electro-luminescence）ディスプレイ等の表示デバイスを備える。また、空間スケーラブル符号化、ＳＮＲスケーラブル符号化では、画像復号装置３１、画像表示装置４１が高い処理能力を有する場合には、画質の高い拡張レイヤ画像を表示し、より低い処理能力しか有しない場合には、拡張レイヤほど高い処理能力、表示能力を必要としないベースレイヤ画像を表示する。
＜符号化ストリームTeの構造＞
本実施形態に係る画像符号化装置１１および画像復号装置３１の詳細な説明に先立って、画像符号化装置１１によって生成され、画像復号装置３１によって復号される符号化ストリームTeのデータ構造について説明する。
本実施形態に係る画像符号化装置１１および画像復号装置３１の詳細な説明に先立って、画像符号化装置１１によって生成され、画像復号装置３１によって復号される符号化ストリームTeのデータ構造について説明する。
図２は、符号化ストリームTeにおけるデータの階層構造を示す図である。符号化ストリームTeは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。図２の（ａ）〜（ｆ）は、それぞれ、シーケンスSEQを既定するシーケンスレイヤ、ピクチャPICTを規定するピクチャレイヤ、スライスSを規定するスライスレイヤ、スライスデータを規定するスライスデータレイヤ、スライスデータに含まれる符号化ツリーユニットを規定する符号化ツリーレイヤ、符号化ツリーに含まれる符号化単位（Coding Unit; CU）を規定する符号化ユニットレイヤを示す図である。これら各レイヤの符号化データは、データの種類別に、NAL（Network Abstraction Layer）ユニットと呼ばれるデータ構造を構成する。NALユニットのヘッダ部分に含まれるNALユニットタイプ（nal_unit_type）によって、対象のNALユニットを構成するデータの種類を示す。また、NALユニットヘッダにはレイヤ識別子（nuh_layer_id）が含まれる。レイヤ識別子は、スケーラブル符号化の対象となる複数のレイヤ画像（複数視点の画像など）を区別するための情報である。
（シーケンスレイヤ）
シーケンスレイヤでは、処理対象のシーケンスSEQ（以下、対象シーケンスとも称する）を復号するために画像復号装置３１が参照するデータの集合が規定されている。シーケンスSEQは、図２の（ａ）に示すように、ビデオパラメータセットVPS（Video Parameter Set）、シーケンスパラメータセットSPS（Sequence Parameter Set）、ピクチャパラメータセットPPS（Picture Parameter Set）、ピクチャPICT、及び、付加拡張情報SEI（Supplemental Enhancement Information）を含んでいる。ここで＃の後に示される値はレイヤＩＤを示す。図２では、＃０と＃１すなわちレイヤ０とレイヤ１の符号化データが存在する例を示すが、レイヤの種類およびレイヤの数はこれに限らない。
シーケンスレイヤでは、処理対象のシーケンスSEQ（以下、対象シーケンスとも称する）を復号するために画像復号装置３１が参照するデータの集合が規定されている。シーケンスSEQは、図２の（ａ）に示すように、ビデオパラメータセットVPS（Video Parameter Set）、シーケンスパラメータセットSPS（Sequence Parameter Set）、ピクチャパラメータセットPPS（Picture Parameter Set）、ピクチャPICT、及び、付加拡張情報SEI（Supplemental Enhancement Information）を含んでいる。ここで＃の後に示される値はレイヤＩＤを示す。図２では、＃０と＃１すなわちレイヤ０とレイヤ１の符号化データが存在する例を示すが、レイヤの種類およびレイヤの数はこれに限らない。
ビデオパラメータセットVPSでは、複数のレイヤから構成されている動画像において、複数の動画像に共通する符号化パラメータの集合および動画像に含まれる複数のレイヤおよび個々のレイヤに関連する符号化パラメータの集合が規定されている。
シーケンスパラメータセットSPSでは、対象シーケンスを復号するために画像復号装置３１が参照する符号化パラメータの集合が規定されている。例えば、対象シーケンス内のピクチャの幅や高さが規定される。
ピクチャパラメータセットPPSでは、対象シーケンス内の各ピクチャを復号するために画像復号装置３１が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの復号に用いられる量子化幅の基準値や、重み付き予測の適用を示すフラグが含まれる。なお、PPSは同一レイヤ内で複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のPPSの何れを適用するかを選択する。
（ピクチャレイヤ）
ピクチャレイヤでは、処理対象のピクチャPICT（以下、対象ピクチャとも称する）を復号するために画像復号装置３１が参照するデータの集合が規定されている。ピクチャPICTは、図２の（ｂ）に示すように、スライスS0〜SNS-1を含んでいる（NSはピクチャPICTに含まれるスライスの総数）。
ピクチャレイヤでは、処理対象のピクチャPICT（以下、対象ピクチャとも称する）を復号するために画像復号装置３１が参照するデータの集合が規定されている。ピクチャPICTは、図２の（ｂ）に示すように、スライスS0〜SNS-1を含んでいる（NSはピクチャPICTに含まれるスライスの総数）。
なお、以下、スライスS0〜SNS-1のそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する符号化ストリームTeに含まれるデータであって、添え字を付している他のデータについても同様である。
（スライスレイヤ）
スライスレイヤでは、処理対象のスライスS（対象スライスとも称する）を復号するために画像復号装置３１が参照するデータの集合が規定されている。スライスSは、図２の（ｃ）に示すように、スライスヘッダSH、および、スライスデータSDATAを含んでいる。
スライスレイヤでは、処理対象のスライスS（対象スライスとも称する）を復号するために画像復号装置３１が参照するデータの集合が規定されている。スライスSは、図２の（ｃ）に示すように、スライスヘッダSH、および、スライスデータSDATAを含んでいる。
スライスヘッダSHには、対象スライスの復号方法を決定するために画像復号装置３１が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダSHに含まれる符号化パラメータの一例である。
スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、または、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、または、イントラ予測を用いるＢスライスなどが挙げられる。
また、スライスヘッダSHには、スライスタイプがＰスライスまたはＢスライスである時に、後述するテンポラル動き情報を指定するためのコロケート情報collocated_from_l0_flag，collocated_ref_idxが含まれる。
なお、スライスヘッダSHは、上記シーケンスレイヤに含まれる、ピクチャパラメータセットPPSへの参照を示すＰＰＳ識別子（pic_parameter_set_id）を含んでいても良い。
（スライスデータレイヤ）
スライスデータレイヤでは、処理対象のスライスデータSDATAを復号するために画像復号装置３１が参照するデータの集合が規定されている。スライスデータSDATAは、図２の（ｄ）に示すように、符号化ツリーユニット（CTU: Coding Tree Unit）を含んでいる。符号化ツリーユニットCTUは、スライスを構成する固定サイズ（例えば画素数６４×６４）の画像領域である。なお、符号化ツリーユニットCTUに対応する画像ブロックを、符号化ツリーブロック（CTB: Coding Tree Block）と称する。
スライスデータレイヤでは、処理対象のスライスデータSDATAを復号するために画像復号装置３１が参照するデータの集合が規定されている。スライスデータSDATAは、図２の（ｄ）に示すように、符号化ツリーユニット（CTU: Coding Tree Unit）を含んでいる。符号化ツリーユニットCTUは、スライスを構成する固定サイズ（例えば画素数６４×６４）の画像領域である。なお、符号化ツリーユニットCTUに対応する画像ブロックを、符号化ツリーブロック（CTB: Coding Tree Block）と称する。
なお、スライスレイヤは、スライスをさらに分割したスライスセグメントレイヤ単位で扱ってもよく、その場合、前述のスライスヘッダSHはスライスセグメントヘッダと呼び、同様に、スライスデータSDATAはスライスセグメントデータと呼ぶ。以降の説明では、一部、簡単化のためスライスヘッダ、スライスデータと記述するが、それぞれスライスセグメントヘッダ、スライスセグメントデータに置き換え可能である。また、スライスセグメントヘッダ、スライスセグメントデータもそれぞれスライスヘッダ、スライスデータに置き換え可能である。
（符号化ツリーレイヤ）
符号化ツリーレイヤは、図２の（ｅ）に示すように、処理対象の符号化ツリーユニットを復号するために画像復号装置３１が参照するデータの集合が規定されている。符号化ツリーユニットは、再帰的な４分木分割により分割される。再帰的な４分木分割により得られる木構造のことを符号化ツリー（coding tree）と称する。符号化ツリーユニットCTUは、分割フラグ（split_flag）を含み、split_flagが１の場合には、符号化ツリーユニットCTUはさらに４つのCTUに分割される。split_flagが０の場合には、符号化ツリーユニットCTUは４つの符号化ユニット（CU: Coding Unit）に分割される。符号化ユニットCUは符号化ツリーレイヤの末端ノードであり、このレイヤではこれ以上分割されない。符号化ユニットCUは、符号化／復号処理の基本的な単位となる。
符号化ツリーレイヤは、図２の（ｅ）に示すように、処理対象の符号化ツリーユニットを復号するために画像復号装置３１が参照するデータの集合が規定されている。符号化ツリーユニットは、再帰的な４分木分割により分割される。再帰的な４分木分割により得られる木構造のことを符号化ツリー（coding tree）と称する。符号化ツリーユニットCTUは、分割フラグ（split_flag）を含み、split_flagが１の場合には、符号化ツリーユニットCTUはさらに４つのCTUに分割される。split_flagが０の場合には、符号化ツリーユニットCTUは４つの符号化ユニット（CU: Coding Unit）に分割される。符号化ユニットCUは符号化ツリーレイヤの末端ノードであり、このレイヤではこれ以上分割されない。符号化ユニットCUは、符号化／復号処理の基本的な単位となる。
符号化ユニットCUのサイズは、符号化ツリーユニットCTUのサイズが６４×６４画素の場合には、６４×６４画素、３２×３２画素、１６×１６画素、および、８×８画素の何れかをとり得る。なお、符号化ユニットCUに対応する画像ブロックを、符号化ブロック（CB: Coding Block）と称する。
（符号化ユニットレイヤ）
符号化ユニットレイヤは、図２の（ｆ）に示すように、処理対象の符号化ユニットを復号するために画像復号装置３１が参照するデータの集合が規定されている。具体的には、符号化ユニットは、ＣＵヘッダCUH、１つ以上の予測ユニット（PU: Prediction Unit）で構成される予測ツリー、１つ以上の変換ユニット（TU: Transform Unit）で構成される変換ツリーを含んで構成される。
符号化ユニットレイヤは、図２の（ｆ）に示すように、処理対象の符号化ユニットを復号するために画像復号装置３１が参照するデータの集合が規定されている。具体的には、符号化ユニットは、ＣＵヘッダCUH、１つ以上の予測ユニット（PU: Prediction Unit）で構成される予測ツリー、１つ以上の変換ユニット（TU: Transform Unit）で構成される変換ツリーを含んで構成される。
ＣＵヘッダCUHでは、符号化ユニットが、イントラ予測を用いるユニットであるか、インター予測を用いるユニットであるかなどが規定される。
予測ツリーでは、符号化ユニットCUが１または複数の予測ユニットPUに分割され、各予測ユニットの位置とサイズとが規定される。予測ツリーにおける分割の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。イントラ予測とは、同一ピクチャ内の予測であり、インター予測とは、互いに異なるピクチャ間（例えば、表示時刻間、レイヤ画像間）で行われる予測処理を指す。
イントラ予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ユニットと同一サイズ）と、Ｎ×Ｎとがある。
インター予測の場合、分割方法は、ＣＵヘッダCUHに含まれる分割モード（part_mode）により規定され、２Ｎ×２Ｎ（符号化ユニットと同一サイズ）、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、ｎＲ×２Ｎ、および、Ｎ×Ｎなどがある。なお、２Ｎ×ｎＵは、２Ｎ×２Ｎの符号化ユニットを上から順に２Ｎ×０．５Ｎと２Ｎ×１．５Ｎの２領域に分割することを示す。２Ｎ×ｎＤは、２Ｎ×２Ｎの符号化ユニットを上から順に２Ｎ×１．５Ｎと２Ｎ×０．５Ｎの２領域に分割することを示す。ｎＬ×２Ｎは、２Ｎ×２Ｎの符号化ユニットを左から順に０．５Ｎ×２Ｎと１．５Ｎ×２Ｎの２領域に分割することを示す。ｎＲ×２Ｎは、２Ｎ×２Ｎの符号化ユニットを左から順に１．５Ｎ×２Ｎと０．５Ｎ×２Ｎの２領域に分割することを示す。分割数は１、２、４のいずれかであるため、ＣＵに含まれるＰＵは１個から４個である。これらのＰＵを順にＰＵ０、ＰＵ１、ＰＵ２、ＰＵ３と表現する。
また、変換ツリーにおいては、符号化ユニットCUが１または複数の変換ユニットTUに分割され、各変換ユニットの位置とサイズとが規定される。変換ツリーにおける分割には、符号化ユニットと同一のサイズの領域を変換ユニットとして割り付けるものと、上述した符号化ツリーブロックの分割と同様、再帰的な４分木分割によるものがある。
なお、予測ユニットPU、変換ユニットTUに対応する画像ブロックを、それぞれ予測ブロック（PB: Prediction Block）、変換ブロック（TB: Transform Block）と称する。
（予測パラメータ）
予測ユニットの予測画像は、予測ユニットに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測の予測パラメータもしくはインター予測の予測パラメータがある。以下、インター予測の予測パラメータ（インター予測パラメータ）について説明する。インター予測パラメータは、予測リスト利用フラグpredFlagL0、predFlagL1と、参照ピクチャインデックスrefIdxL0、refIdxL1と、ベクトルmvL0、mvL1から構成される。予測リスト利用フラグpredFlagL0、predFlagL1は、各々Ｌ０リストRefPicList0、Ｌ１リストRefPicList1と呼ばれる参照ピクチャリストが用いられるか否かを示すフラグであり、値が１の場合に、各フラグに対応する参照ピクチャリストが用いられる。なお、本明細書中「ＸＸであるか否かを示すフラグ」と記す場合、値が１である時はＸＸである場合、値が０である時はＸＸではない場合とし、論理否定、論理積などでは１を真、０を偽と扱う（以下同様）。但し、実際の装置や方法では真値、偽値として他の値を用いてもよい。２つの参照ピクチャリストが用いられる場合、つまり、predFlagL0=1，predFlagL1=1の場合、その予測方法を双予測といい、１つの参照ピクチャリストを用いる場合、すなわち（predFlagL0，predFlagL1）＝（1,0）もしくは（predFlagL0，predFlagL1）＝（0,1）の場合、その予測方法を単予測という。なお、予測リスト利用フラグの情報は、後述のインター予測フラグinter_pred_idcで表現することもできる。
予測ユニットの予測画像は、予測ユニットに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測の予測パラメータもしくはインター予測の予測パラメータがある。以下、インター予測の予測パラメータ（インター予測パラメータ）について説明する。インター予測パラメータは、予測リスト利用フラグpredFlagL0、predFlagL1と、参照ピクチャインデックスrefIdxL0、refIdxL1と、ベクトルmvL0、mvL1から構成される。予測リスト利用フラグpredFlagL0、predFlagL1は、各々Ｌ０リストRefPicList0、Ｌ１リストRefPicList1と呼ばれる参照ピクチャリストが用いられるか否かを示すフラグであり、値が１の場合に、各フラグに対応する参照ピクチャリストが用いられる。なお、本明細書中「ＸＸであるか否かを示すフラグ」と記す場合、値が１である時はＸＸである場合、値が０である時はＸＸではない場合とし、論理否定、論理積などでは１を真、０を偽と扱う（以下同様）。但し、実際の装置や方法では真値、偽値として他の値を用いてもよい。２つの参照ピクチャリストが用いられる場合、つまり、predFlagL0=1，predFlagL1=1の場合、その予測方法を双予測といい、１つの参照ピクチャリストを用いる場合、すなわち（predFlagL0，predFlagL1）＝（1,0）もしくは（predFlagL0，predFlagL1）＝（0,1）の場合、その予測方法を単予測という。なお、予測リスト利用フラグの情報は、後述のインター予測フラグinter_pred_idcで表現することもできる。
符号化データに含まれるインター予測パラメータを導出するためのシンタックス要素には、例えば、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXがある。
（参照ピクチャリスト）
次に、参照ピクチャリストRefの一例について説明する。参照ピクチャリストとは、後述する参照ピクチャメモリ３０６（図８）に記憶される参照ピクチャからなる情報セットである。図３は、参照ピクチャリストの一例を示す概念図である。参照ピクチャリスト６０１において、左右に一列に配列された５個の矩形は、それぞれ参照ピクチャを示す。左端から右へ順に示されている符号Ｐ０、Ｐ１、Ｑ２、Ｐ３、Ｐ４は、それぞれの参照ピクチャを示す符号である。Ｐ１等のＰとは、あるレイヤＰを示し、そしてＱ２のＱとは、レイヤＰとは異なるレイヤＱを示す。Ｐ及びＱの添字は、ピクチャ順序番号POC（Picture Order Count）を示す。参照ピクチャリストは、スライスレイヤ単位で更新することのできる情報セットである。参照ピクチャ内のどの参照ピクチャを参照するかは、別途符号化ユニットレイヤ内の参照ピクチャインデックスrefIdxLXで示す。
次に、参照ピクチャリストRefの一例について説明する。参照ピクチャリストとは、後述する参照ピクチャメモリ３０６（図８）に記憶される参照ピクチャからなる情報セットである。図３は、参照ピクチャリストの一例を示す概念図である。参照ピクチャリスト６０１において、左右に一列に配列された５個の矩形は、それぞれ参照ピクチャを示す。左端から右へ順に示されている符号Ｐ０、Ｐ１、Ｑ２、Ｐ３、Ｐ４は、それぞれの参照ピクチャを示す符号である。Ｐ１等のＰとは、あるレイヤＰを示し、そしてＱ２のＱとは、レイヤＰとは異なるレイヤＱを示す。Ｐ及びＱの添字は、ピクチャ順序番号POC（Picture Order Count）を示す。参照ピクチャリストは、スライスレイヤ単位で更新することのできる情報セットである。参照ピクチャ内のどの参照ピクチャを参照するかは、別途符号化ユニットレイヤ内の参照ピクチャインデックスrefIdxLXで示す。
（参照ピクチャの例）
次に、ベクトルを導出する際に用いる参照ピクチャの例について説明する。図４は、参照ピクチャの例を示す概念図である。図４において、横軸は表示時刻を示し、縦軸はレイヤ（例えば視点の異なる動画像）を示す。図示した複数の長方形は、それぞれピクチャを示す。図示したピクチャのうち、下行のピクチャＰ２は復号対象のピクチャ（対象ピクチャ）である。対象ピクチャから上向きの矢印で示される参照ピクチャＱ２は対象ピクチャと同じ表示時刻であって視点が異なるピクチャである。対象ピクチャを基準とする変位予測においては、参照ピクチャＱ０が用いられる。対象ピクチャから左向きの矢印で示される参照ピクチャＰ０，Ｐ１は、対象ピクチャと同じ視点であって、過去のピクチャである。対象ピクチャから右向きの矢印で示される参照ピクチャＰ３，Ｐ４は、対象ピクチャと同じ視点であって、未来のピクチャである。対象ピクチャを基準とする動き予測においては、参照ピクチャＰ０，Ｐ１，Ｐ３，Ｐ４が用いられる。
次に、ベクトルを導出する際に用いる参照ピクチャの例について説明する。図４は、参照ピクチャの例を示す概念図である。図４において、横軸は表示時刻を示し、縦軸はレイヤ（例えば視点の異なる動画像）を示す。図示した複数の長方形は、それぞれピクチャを示す。図示したピクチャのうち、下行のピクチャＰ２は復号対象のピクチャ（対象ピクチャ）である。対象ピクチャから上向きの矢印で示される参照ピクチャＱ２は対象ピクチャと同じ表示時刻であって視点が異なるピクチャである。対象ピクチャを基準とする変位予測においては、参照ピクチャＱ０が用いられる。対象ピクチャから左向きの矢印で示される参照ピクチャＰ０，Ｐ１は、対象ピクチャと同じ視点であって、過去のピクチャである。対象ピクチャから右向きの矢印で示される参照ピクチャＰ３，Ｐ４は、対象ピクチャと同じ視点であって、未来のピクチャである。対象ピクチャを基準とする動き予測においては、参照ピクチャＰ０，Ｐ１，Ｐ３，Ｐ４が用いられる。
（インター予測フラグと予測リスト利用フラグ）
インター予測フラグと、予測リスト利用フラグpredFlagL0、predFlagL1の関係は以下のように相互に変換可能である。そのため、インター予測パラメータとしては、予測リスト利用フラグを用いても良いし、インター予測フラグを用いてもよい。また、以下、予測リスト利用フラグを用いた判定は、インター予測フラグに置き替えても可能である。逆に、インター予測フラグを用いた判定は、予測リスト利用フラグに置き替えても可能である。
インター予測フラグと、予測リスト利用フラグpredFlagL0、predFlagL1の関係は以下のように相互に変換可能である。そのため、インター予測パラメータとしては、予測リスト利用フラグを用いても良いし、インター予測フラグを用いてもよい。また、以下、予測リスト利用フラグを用いた判定は、インター予測フラグに置き替えても可能である。逆に、インター予測フラグを用いた判定は、予測リスト利用フラグに置き替えても可能である。
インター予測フラグ＝（predFlagL1 << 1）+ predFlagL0
predFlagL0 ＝ インター予測フラグ & 1
predFlagL1 ＝ インター予測フラグ >> 1
ここで、>>は右シフト、<<は左シフトである。
predFlagL0 ＝ インター予測フラグ & 1
predFlagL1 ＝ インター予測フラグ >> 1
ここで、>>は右シフト、<<は左シフトである。
インター予測フラグinter_pred_idcは、参照ピクチャの種類および数を示すデータであり、Pred_L0、Pred_L1、Pred_Biの何れかの値をとる。Pred_L0、Pred_L1は、各々参照ピクチャリストRefPicList0、参照ピクチャリストRefPicList1に記憶された参照ピクチャが用いられることを示し、共に１枚の参照ピクチャを用いること（単予測）を示す。参照ピクチャリストRefPicList0、参照ピクチャリストRefPicList1を用いた予測を各々Ｌ０予測、Ｌ１予測と呼ぶ。Pred_Biは２枚の参照ピクチャを用いること（双予測）を示し、参照ピクチャリストRefPicList0と参照ピクチャリストRefPicList1で指定された参照ピクチャ２つを用いることを示す。予測ベクトルインデックスmvp_LX_idxは予測ベクトルを示すインデックスであり、参照ピクチャインデックスrefIdxLXは、参照ピクチャリストに記憶された参照ピクチャを示すインデックスである。なお、ＬＸは、Ｌ０予測とＬ１予測を区別しない場合に用いられる記述方法であり、ＬＸをＬ０、Ｌ１に置き換えることで参照ピクチャリストRefPicList0で指定される参照ピクチャに対するパラメータと、参照ピクチャリストRefPicList1で指定される参照ピクチャに対するパラメータを区別する。例えば、refIdxL0はＬ０予測に用いる参照ピクチャインデックス、refIdxL1はＬ１予測に用いる参照ピクチャインデックス、refIdx（またはrefIdxLX）は、refIdxL0とrefIdxL1を区別しない場合に用いられる表記である。
（動きベクトルと変位ベクトル）
ベクトルmvLXには、動きベクトルと変位ベクトル（disparity vector、視差ベクトル）がある。動きベクトルとは、あるレイヤのある表示時刻でのピクチャにおけるブロックの位置と、同一レイヤ内の異なる表示時刻（例えば、隣接する離散時刻）でのピクチャにおける対応するブロックの位置との間の位置のずれを示すベクトルである。変位ベクトルとは、あるレイヤのある表示時刻でのピクチャにおけるブロックの位置と、同一の表示時刻における異なるレイヤのピクチャにおける対応するブロックの位置との間の位置のずれを示すベクトルである。異なるレイヤのピクチャとしては、異なる視点のピクチャである場合、もしくは、異なる解像度のピクチャである場合などがある。特に、異なる視点のピクチャに対応する変位ベクトルを視差ベクトルと呼ぶ。以降の説明では、動きベクトルと変位ベクトルを区別しない場合には、単にベクトルmvLXと呼ぶ。ベクトルmvLXに関する予測ベクトル、差分ベクトルを、それぞれ予測ベクトルmvpLX、差分ベクトルmvdLXと呼ぶ。ベクトルmvLXおよび差分ベクトルmvdLXが、動きベクトルであるか変位ベクトルであるかは、ベクトルに付随する参照ピクチャインデックスrefIdxLXを用いて区別される。
ベクトルmvLXには、動きベクトルと変位ベクトル（disparity vector、視差ベクトル）がある。動きベクトルとは、あるレイヤのある表示時刻でのピクチャにおけるブロックの位置と、同一レイヤ内の異なる表示時刻（例えば、隣接する離散時刻）でのピクチャにおける対応するブロックの位置との間の位置のずれを示すベクトルである。変位ベクトルとは、あるレイヤのある表示時刻でのピクチャにおけるブロックの位置と、同一の表示時刻における異なるレイヤのピクチャにおける対応するブロックの位置との間の位置のずれを示すベクトルである。異なるレイヤのピクチャとしては、異なる視点のピクチャである場合、もしくは、異なる解像度のピクチャである場合などがある。特に、異なる視点のピクチャに対応する変位ベクトルを視差ベクトルと呼ぶ。以降の説明では、動きベクトルと変位ベクトルを区別しない場合には、単にベクトルmvLXと呼ぶ。ベクトルmvLXに関する予測ベクトル、差分ベクトルを、それぞれ予測ベクトルmvpLX、差分ベクトルmvdLXと呼ぶ。ベクトルmvLXおよび差分ベクトルmvdLXが、動きベクトルであるか変位ベクトルであるかは、ベクトルに付随する参照ピクチャインデックスrefIdxLXを用いて区別される。
（VPS拡張）
次に、レイヤ間予測におけるレイヤ間の参照関係を示すパラメータについて説明する。レイヤ間予測におけるレイヤ間の参照関係は、VPSを拡張したデータ集合であるVPS拡張（vps_extension）で指定する。図１１に、VPS拡張のデータ構造の例を示す。この中で、レイヤ依存フラグdirect_dependency_flag[i][j]およびレイヤ依存タイプdirect_dependency_type[i][j]で、レイヤ間の参照関係を示す。具体的には、レイヤ依存フラグdirect_dependency_flag[i][j]が1である場合、対象レイヤiは別のレイヤjを参照し、レイヤ依存フラグが0であれば対象レイヤiはレイヤjを参照しない。レイヤ依存フラグが1である場合にはさらに、レイヤ依存タイプdirect_dependency_type[i][j]で、対象レイヤiに対する参照レイヤjのレイヤ依存タイプを示す。レイヤ依存タイプは、サンプル予測のみ、動き予測のみ、またはその両方を指定することができる。direct_dependency_type[i][j]の値とレイヤ依存タイプの値との関係を以下に示す。
次に、レイヤ間予測におけるレイヤ間の参照関係を示すパラメータについて説明する。レイヤ間予測におけるレイヤ間の参照関係は、VPSを拡張したデータ集合であるVPS拡張（vps_extension）で指定する。図１１に、VPS拡張のデータ構造の例を示す。この中で、レイヤ依存フラグdirect_dependency_flag[i][j]およびレイヤ依存タイプdirect_dependency_type[i][j]で、レイヤ間の参照関係を示す。具体的には、レイヤ依存フラグdirect_dependency_flag[i][j]が1である場合、対象レイヤiは別のレイヤjを参照し、レイヤ依存フラグが0であれば対象レイヤiはレイヤjを参照しない。レイヤ依存フラグが1である場合にはさらに、レイヤ依存タイプdirect_dependency_type[i][j]で、対象レイヤiに対する参照レイヤjのレイヤ依存タイプを示す。レイヤ依存タイプは、サンプル予測のみ、動き予測のみ、またはその両方を指定することができる。direct_dependency_type[i][j]の値とレイヤ依存タイプの値との関係を以下に示す。
direct_dependency_type[i][j] = 0 … サンプル予測および動き予測
direct_dependency_type[i][j] = 1 … 動き予測のみ
direct_dependency_type[i][j] = 2 … サンプル予測のみ
以上の符号から、後述するパラメータセット復号部（図５〜図７）において、レイヤ間予測に関するパラメータが導出される。
direct_dependency_type[i][j] = 1 … 動き予測のみ
direct_dependency_type[i][j] = 2 … サンプル予測のみ
以上の符号から、後述するパラメータセット復号部（図５〜図７）において、レイヤ間予測に関するパラメータが導出される。
（RPS情報）
RPSに係るシンタックス値（以下、RPS情報）は以下を含む。
１．SPS短期RPS情報：SPSに含まれる短期参照ピクチャセット情報
２．SPS長期RP情報：SPSに含まれる長期参照ピクチャ情報
３．SH短期RPS情報：スライスヘッダに含まれる短期参照ピクチャセット情報
４．SH長期RP情報：スライスヘッダに含まれる長期参照ピクチャ情報
５．ILRP情報：レイヤ間参照ピクチャ情報
（１．SPS短期RPS情報）
SPS短期RPS情報は、SPSを参照する各ピクチャから利用され得る複数の短期RPSの情報を含む。なお、短期RPSは、対象ピクチャに対する相対的な位置（例えば対象ピクチャとのPOC差分）により指定される参照ピクチャ（短期参照ピクチャ）となり得るピクチャの集合である。
RPSに係るシンタックス値（以下、RPS情報）は以下を含む。
１．SPS短期RPS情報：SPSに含まれる短期参照ピクチャセット情報
２．SPS長期RP情報：SPSに含まれる長期参照ピクチャ情報
３．SH短期RPS情報：スライスヘッダに含まれる短期参照ピクチャセット情報
４．SH長期RP情報：スライスヘッダに含まれる長期参照ピクチャ情報
５．ILRP情報：レイヤ間参照ピクチャ情報
（１．SPS短期RPS情報）
SPS短期RPS情報は、SPSを参照する各ピクチャから利用され得る複数の短期RPSの情報を含む。なお、短期RPSは、対象ピクチャに対する相対的な位置（例えば対象ピクチャとのPOC差分）により指定される参照ピクチャ（短期参照ピクチャ）となり得るピクチャの集合である。
短期RPS情報には、対象ピクチャより表示順が早い短期参照ピクチャ数（num_negative_pics）、および、対象ピクチャより表示順が遅い短期参照ピクチャ数（num_positive_pics）が含まれる。なお、以下では、対象ピクチャより表示順が早い短期参照ピクチャを前方短期参照ピクチャ、対象ピクチャより表示順が遅い短期参照ピクチャを後方短期参照ピクチャと呼ぶ。
また、短期RPS情報には、各前方短期参照ピクチャに対して、対象ピクチャに対するPOC差分の絶対値（delta_poc_s0_minus1[i]）、および、対象ピクチャの参照ピクチャとして使用される可能性の有無（used_by_curr_pic_s0_flag[i]）が含まれる。加えて、各後方短期参照ピクチャに対して、対象ピクチャに対するPOC差分の絶対値（delta_poc_s1_minus1[i]）、および、対象ピクチャの参照ピクチャとして使用される可能性の有無（used_by_curr_pic_s1_flag[i]）が含まれる。
（２．SPS長期RP情報）
SPS長期RP情報は、SPSを参照する各ピクチャから利用され得る複数の長期参照ピクチャの情報を含む。なお、長期参照ピクチャとは、シーケンス内の絶対的な位置（例えばPOC）により指定されるピクチャである。
SPS長期RP情報は、SPSを参照する各ピクチャから利用され得る複数の長期参照ピクチャの情報を含む。なお、長期参照ピクチャとは、シーケンス内の絶対的な位置（例えばPOC）により指定されるピクチャである。
SPS長期RP情報には、SPSで伝送される長期参照ピクチャの有無を示す情報（long_term_ref_pics_present_flag）、SPSに含まれる長期参照ピクチャ数（num_long_term_ref_pics_sps）、および、各長期参照ピクチャの情報が含まれる。長期参照ピクチャの情報には、参照ピクチャのPOC（lt_ref_pic_poc_lsb_sps[i]）、および、対象ピクチャの参照ピクチャとして使用される可能性の有無（used_by_curr_pic_lt_sps_flag[i]）が含まれる。
なお、上記参照ピクチャのPOCは、参照ピクチャに関連付けられたPOCの値自体であってもよいし、POCのLSB（Least Significant Bit）、すなわち、POCを既定の２のべき乗の数で割った余りの値を用いてもよい。
（３．SH短期RPS情報）
SH短期RPS情報は、スライスヘッダを参照するピクチャから利用され得る単一の短期RPSの情報を含む。
SH短期RPS情報は、スライスヘッダを参照するピクチャから利用され得る単一の短期RPSの情報を含む。
（４．SH長期RP情報）
SH長期RP情報は、スライスヘッダを参照するピクチャから利用され得る長期参照ピクチャの情報を含む。
SH長期RP情報は、スライスヘッダを参照するピクチャから利用され得る長期参照ピクチャの情報を含む。
（５．ILRP情報）
ILRP情報は、レイヤ間予測で参照され得るレイヤ間参照ピクチャの情報である。ILRP情報は、レイヤ間予測有効フラグ（inter_layer_pred_enabled_flag）と、レイヤ間参照ピクチャ数（NumActiveRefLayerPics）、各レイヤ間参照ピクチャの属するレイヤを示すレイヤ識別子（inter_layer_pred_layer_idc[i]）を含んで構成される。
ILRP情報は、レイヤ間予測で参照され得るレイヤ間参照ピクチャの情報である。ILRP情報は、レイヤ間予測有効フラグ（inter_layer_pred_enabled_flag）と、レイヤ間参照ピクチャ数（NumActiveRefLayerPics）、各レイヤ間参照ピクチャの属するレイヤを示すレイヤ識別子（inter_layer_pred_layer_idc[i]）を含んで構成される。
（比較例の構成）
本発明の一実施形態に係る画像復号装置３１の構成を説明する前に、比較例について説明する。 図１５は、比較例にかかるレイヤ依存タイプと、サンプル依存フラグSamplePredEnableFlag、動き依存フラグSamplePredEnableFlagの関係を説明する図である。図１５（ａ）は、比較例では、レイヤ依存タイプが０以外（ここでは２の場合）に、サンプル依存フラグSamplePredEnableFlagと動き依存フラグSamplePredEnableFlagの両者が１であることを示し、図１５（ｂ）は、比較例でのサンプル依存フラグSamplePredEnableFlagと動き依存フラグSamplePredEnableFlagの導出処理を示す。
本発明の一実施形態に係る画像復号装置３１の構成を説明する前に、比較例について説明する。 図１５は、比較例にかかるレイヤ依存タイプと、サンプル依存フラグSamplePredEnableFlag、動き依存フラグSamplePredEnableFlagの関係を説明する図である。図１５（ａ）は、比較例では、レイヤ依存タイプが０以外（ここでは２の場合）に、サンプル依存フラグSamplePredEnableFlagと動き依存フラグSamplePredEnableFlagの両者が１であることを示し、図１５（ｂ）は、比較例でのサンプル依存フラグSamplePredEnableFlagと動き依存フラグSamplePredEnableFlagの導出処理を示す。
図１７は、比較例における参照ピクチャセットRPSに入れることができるピクチャのレイヤ依存タイプの状態を示すものである。図１７に示すように、比較例では、レイヤ依存タイプの状態（サンプル依存フラグ SamplePredEnableFlagおよび動き依存フラグMotionPredEnableFlag）に関わらず、参照ピクチャセットRPSに入れることができる。
図１８は、比較例における参照ピクチャセットRPSの導出処理を示す図である。図１８（ａ）は、比較例における実依存レイヤ数NumActiveRefLayerPicsを導出する処理を示す。図１８（ｂ）は、比較例における参照ピクチャレイヤRefPicLayerIdを導出する処理を示す。図１８（ｃ）は、比較例におけるRPSの導出処理を示す。図１８（ｃ）に示すように、RefPicSetInterLayer[ i ]が長期予測参照"used for long-term reference"にマークされることにより、RPSに参照ピクチャが入れられる。図１８（ｃ）の処理では、図１８（ｂ）の処理で導出された参照ピクチャレイヤRefPicLayerId[ i ]に含まれるnuh_layer_idのレイヤが、参照ピクチャに入れられるが、参照ピクチャレイヤRefPicLayerId[ i ]は、レイヤ依存タイプに依存しない。従って、比較例では、図１７に示すように、レイヤ依存タイプに関わらず、参照ピクチャセットRPSに入れることができる。
図１９は、比較例におけるＲＰＳの導出処理を説明する図である。実依存レイヤ数NumActiveRefLayerPicsは３、参照ピクチャレイヤRefPicLayerId[][]は、nuh_layer_id =0,2,3のレイヤが設定されていることが分かる。
図２４は、比較例における代替コロケートピクチャcolPicに用いることができるピクチャのレイヤ依存タイプの状態を示すものである。図２４（ａ）に示すように、比較例では、レイヤ依存タイプの状態として、サンプル依存フラグ SamplePredEnableFlagが１である場合にも、動き依存フラグMotionPredEnableFlagが１であれば、代替コロケートピクチャcolPicに用いることができる。図２４（ｂ）は、比較例における代替コロケートピクチャcolPicの導出処理に用いられる動き依存レイヤ（実動き依存レイヤ識別子ActiveMotionPredRefLayerId[]）と動き依存レイヤ数（実動き依存レイヤ数NumActiveMotionPredRefLayers））の導出処理を示す。比較例では、動き依存レイヤは、サンプル依存フラグ SamplePredEnableFlagによらずに設定される。
図１５、図１７〜図１９、図２４〜図２５で示す比較例は、各々、本発明の実施形態の図１６、図２０〜図２２、図２６〜図２７に対応する。
（画像復号装置の構成）
次に、本発明の一実施形態に係る画像復号装置３１の構成について説明する。図５は、本実施形態に係る画像復号装置３１の構成を示す概略図である。画像復号装置３１は、画像データ復号部３００、ヘッダ復号部４００を含んで構成される。
次に、本発明の一実施形態に係る画像復号装置３１の構成について説明する。図５は、本実施形態に係る画像復号装置３１の構成を示す概略図である。画像復号装置３１は、画像データ復号部３００、ヘッダ復号部４００を含んで構成される。
画像データ復号部３００は、後述するヘッダ復号部４００から入力されるスライスレイヤ符号化パラメータに基づいて、入力される符号化ストリームTeから画像データを復号する。復号された画像データは、復号レイヤ画像Td（復号視点画像Td）として画像復号装置の外部へ出力される。画像データ復号部３００の詳細については後述する。
ヘッダ復号部４００は、パラメータセット復号部４０１と、スライスセグメントヘッダ復号部４０２を含んで構成される。パラメータセット復号部４０１は、符号化ストリームTeに含まれるビデオパラメータセットVPS、シーケンスパラメータセットSPS、ピクチャパラメータセットPPS等の、スライスレイヤよりも上位のレイヤの符号化データを、所定のシンタックス規則に従って復号し、各レイヤでを復号する際に必要なパラメータを決定する。例えば、前述のVPS拡張を復号し、レイヤ依存フラグdirect_dependency_flag[i][j]およびレイヤ依存タイプdirect_dependency_type[i][j]などを導出する。
パラメータセット復号部４０１は、内部で依存タイプ復号部を含む。
図１６は、本発明の実施形態に係るレイヤ依存タイプと、サンプル依存フラグSamplePredEnableFlag、動き依存フラグSamplePredEnableFlagの関係を説明する図である。図１６（ａ）は、レイヤ依存タイプが０の場合に、サンプル依存フラグSamplePredEnableFlagと動き依存フラグSamplePredEnableFlagの両者が１であることを示す。
図１６（ｂ）は、依存タイプ復号部におけるパラメータセット復号部４０１はサンプル依存フラグSamplePredEnableFlagと動き依存フラグSamplePredEnableFlagの導出処理を示す。
図１６（ｂ）に示すように、パラメータセット復号部４０１は、各対象レイヤi、依存レイヤjに対して、以下の式により、SamplePredEnableFlag[iNuhLid][j]、およびMotionPredEnableFlag[iNuhLid][j]を導出する。
SamplePredEnabledFlag[ iNuhLId ][ j ] =
( ( 3 - (direct_dependency_type[ i ][ j ] & 3)) & 1 )
MotionPredEnabledFlag[ iNuhLId ][ j ] =
( ( ( 3 - (direct_dependency_type[ i ][ j ] & 3)) & 2 ) >> 1 )
上記式において、記号&はビット積（論理積）、記号>>は右ビットシフトを表す。
( ( 3 - (direct_dependency_type[ i ][ j ] & 3)) & 1 )
MotionPredEnabledFlag[ iNuhLId ][ j ] =
( ( ( 3 - (direct_dependency_type[ i ][ j ] & 3)) & 2 ) >> 1 )
上記式において、記号&はビット積（論理積）、記号>>は右ビットシフトを表す。
これにより、上述したdirect_dependency_type[i][j]の値とレイヤ依存タイプの値との関係に従って、SamplePredEnabledFlagとMotionPredEnabledFlagを導出することができる。
上記の処理を含むパラメータセット復号部４０１によれば、direct_dependency_type[i][j]が０の場合に、サンプル予測の依存性有り、つまり対応するSamplePredEnabledFlag[iNuhLId][j]が１、かつ、動き予測の依存性有り、つまり対応するMotionPredEnabledFlag[iNuhLId][j]が１となるように、サンプル依存フラグSamplePredEnableFlagと動き依存フラグSamplePredEnableFlagを導出する。これにより、最も頻繁に用いられるサンプル予測および動き予測の依存性があるケースに対して、最も短いビット長で表現される０が割り当てられるため、direct_dependency_type[i][j]の符号量を低減する効果を奏する。
なお、direct_dependency_type[i][j]と3との論理積(&)をとってから、SamplePredEnabledFlagとMotionPredEnabledFlagを導出することによって、direct_dependency_type[i][j]の下位２ビットの値に応じてSamplePredEnabledFlagとMotionPredEnabledFlagを設定することができる。これにより、下位２ビットでは、サンプル依存、動き依存の依存性を表現し、下位２ビットより上のビットにおいて、サンプル依存、動き依存以外の依存性の有無を表現することができる。
上記説明において、nuh_layer_id、iNuhLidはいずれも対象レイヤiに対応するレイヤ識別子であり、vps_extension()内で明示される場合はその値（layer_id_in_nuh[i]）を用い、そうでない場合は前述したNALユニットヘッダ内で指定されるレイヤ識別子nuh_layer_idをそのまま用いる。これら導出したパラメータは、スライスセグメントヘッダ復号部４０２へ出力する。
（スライスセグメントヘッダ復号部）
スライスセグメントヘッダ復号部４０２は、入力される符号化ストリームTeに含まれるスライスセグメントヘッダを、パラメータセット復号部４０１から入力される上位レイヤのパラメータに基づいて復号し、対象スライスセグメントの動画像データの復号に必要なスライスレイヤ符号化パラメータを導出する。スライスセグメントヘッダ復号部４０２は、実依存レイヤ復号部４０３、参照ピクチャセット導出部４０４、コロケートピクチャ復号部４０５をさらに含んで構成される。
（スライスセグメントヘッダ復号部）
スライスセグメントヘッダ復号部４０２は、入力される符号化ストリームTeに含まれるスライスセグメントヘッダを、パラメータセット復号部４０１から入力される上位レイヤのパラメータに基づいて復号し、対象スライスセグメントの動画像データの復号に必要なスライスレイヤ符号化パラメータを導出する。スライスセグメントヘッダ復号部４０２は、実依存レイヤ復号部４０３、参照ピクチャセット導出部４０４、コロケートピクチャ復号部４０５をさらに含んで構成される。
図２０は、本発明の実施形態に係る参照ピクチャセットRPSに入れることができるピクチャのレイヤ依存タイプの状態を示すものである。図２０に示すように、本発明の実施形態では、レイヤ依存タイプによる導出されるサンプル依存フラグ SamplePredEnableFlagが１のピクチャのみ、参照ピクチャセットRPSに入れることができる。
図２１は、本発明の実施形態に係る参照ピクチャセットRPSの導出処理を示す図である。図２１（ａ）は、本発明の実施形態の実依存レイヤ数NumActiveRefLayerPicsを導出する処理を示す。これは、図１６（ａ）の比較例と同じである。図２１（ｂ）は、本発明の実施形態のサンプル依存レイヤ（実サンプル依存レイヤ識別子ActiveSamplePredRefLayerId[]）および、サンプル依存レイヤ数（実サンプル依存レイヤ数NumActiveSamplePredRefLayers）の導出処理を示す。図２１（ｃ）は、本発明の実施形態のRPSの導出処理を示す。図２１（ｃ）に示すように、RefPicSetInterLayer[ i ]が長期予測参照"used for long-term reference"にマークされることにより、RPSに参照ピクチャが入れられる。図２１（ｃ）の処理では、図２１（ｂ）の処理で導出されたサンプル依存レイヤ（実サンプル依存レイヤ識別子ActiveSamplePredRefLayerId[]）に含まれるnuh_layer_idのレイヤが、参照ピクチャに入れられる。サンプル依存レイヤは、サンプル依存フラグ SamplePredEnableFlagが１のピクチャであることから、レイヤ依存タイプの状態に応じて、RPSに入れられるかが定まる。
図２２は、本発明の実施形態に係るＲＰＳの導出処理を説明する図である。サンプル依存レイヤ数（実サンプル依存レイヤ数NumActiveSamplePredRefLayers）は２、サンプル依存レイヤ（実サンプル依存レイヤ識別子ActiveSamplePredRefLayerId[]）は、nuh_layer_id =0,3のレイヤが設定されていることが分かる。比較例の図１９と異なり、サンプル依存ではなく、動き依存のみのレイヤであるnuh_layer_id =2のレイヤは、RPSに入れられない。
図２３は、本発明の実施形態に係るレイヤ間予測限定フラグの導出処理を説明する図である。図２３（ａ）に示す用に、レイヤ間予測限定フラグinter_layer_sample_pred_only_flagが１である場合には、インター予測ＲＰＬ有効フラグInterRefEnabledInRPLFlagを０に設定する。図２３（ｂ）に示す用に、インター予測ＲＰＬ有効フラグInterRefEnabledInRPLFlagが１である場合にのみ、暫定参照ピクチャリストRefPicListTempX[]に、短期前方参照ピクチャセットRefPicSetStCurrBefore、短期後方参照ピクチャセットRefPicSetStCurrAfter[ i ]、および長期参照ピクチャセットRefPicSetLtCurr[ i ]の参照ピクチャリストが格納される。レイヤ間参照ピクチャリストRefPicSetInterLayerの参照ピクチャはインター予測ＲＰＬ有効フラグInterRefEnabledInRPLFlagによらずに格納される。暫定参照ピクチャリストRefPicListTempX[]から、参照ピクチャリストが構築される。
図２６は、本発明の実施形態に係る代替コロケートピクチャに用いることができるピクチャのレイヤ依存タイプの状態を示すものである。図２６（ａ）に示すように、本発明の実施形態では、レイヤ依存タイプの状態として、サンプル依存フラグ SamplePredEnableFlagが１である場合には、動き依存フラグMotionPredEnableFlagが１であっても、代替コロケートピクチャに用いない。これは、サンプル依存フラグSamplePredEnableFlagが１の依存レイヤは、参照ピクチャセットRPSに格納される、参照ピクチャインデックスrefIdxを用いて、colPicを特定することができるためである。本実施形態では、RPSに格納される参照ピクチャは、参照ピクチャインデックスの識別子collocated_ref_idxを用いて特定し、RPSに格納されない参照ピクチャは、レイヤＩＤの識別子collocated_ref_layer_idxを用いて特定するため、colPicを特定するための情報に冗長性が生じない。図２６（ｂ）は、本発明の実施形態に係るコロケートピクチャcolPicの導出処理に用いられる動き依存限定レイヤ（実動き依存レイヤ識別子ActiveMotionPredRefLayerId[]）と動き依存限定レイヤ数（実動き依存レイヤ数NumActiveMotionPredRefLayers））の導出処理を示す。本実施形態では、動き依存限定レイヤは、図２４で示す比較例の動き依存レイヤと異なり、サンプル依存フラグ SamplePredEnableFlagが１の場合には設定されない。なお、図１６のレイヤ依存タイプの導出、図２０〜図２２の参照ピクチャセット、参照ピクチャリスト導出、図２３のレイヤ間予測限定、図２６の代替コロケートピクチャ導出の各構成は、各々独立に用いても良いし、同時に用いても良い。
図１２に、スライスセグメントヘッダ復号部４０２が復号する、スライスセグメントヘッダのデータ構造の一例を示す。スライスセグメントヘッダ復号部４０２は、非ベースレイヤ（レイヤ識別子nuh_layer_id>0 であるレイヤ）に関して、依存レイヤが存在する、すなわち依存レイヤ数NumDirectRefLayers[nuh_layer_id]が0より大きい場合、対象スライスセグメントにおける実依存レイヤに関するシンタックスを次のように復号する。まず、レイヤ間予測の有無を示すレイヤ間依存フラグinter_layer_pred_enabled_flagを復号する。レイヤ間予測が有効すなわちinter_layer_pred_enabled_flag=1の場合、さらにnum_inter_layer_ref_pics_minus1によって、レイヤ間の参照ピクチャ数を復号する。ただし、前述の依存レイヤ数NumDirectRefLayers[nuh_layer_id]が1の場合や、VPS拡張内で指定されるmax_one_active_ref_layer_flagが1の場合、つまり実際の依存レイヤ数が1に限定される場合は、num_inter_layer_ref_pics_minus1は復号しない。
スライスセグメントヘッダ復号部４０２の備える実依存レイヤ復号部４０３は、図２１（ａ）に示す処理により、、対象スライスセグメント（対象ピクチャ）に関する実依存レイヤピクチャ数を示すパラメータNumActiveRefLayerPicsを導出する。具体的には、対象レイヤがベースレイヤ（nuh_layer_id==0）であるか、参照レイヤが存在しない（NumDirectRefLayers[nuh_layer_id]==0）場合、あるいはレイヤ間予測が有効でない（inter_layer_pred_enabled_flag==0）場合は、NumActiveRefLayerPics=0に設定する。また、参照レイヤ数が1に限定される場合（max_one_active_ref_layer=1）もしくは、依存レイヤ数NumDirectRefLayers[nuh_layer_id]が１の場合、NumActiveRefLayerPics=1に設定する。それ以外の場合には、符号化データからnum_inter_layer_ref_pics_minus1が復号し、NumActiveRefLayerPicsにnum_inter_layer_ref_pics_minus+1の値を設定する。 実依存レイヤ復号部４０３は、さらに、導出された実依存レイヤピクチャ数に対応するレイヤ間予測の依存レイヤを示す、レイヤ間依存識別子inter_layer_pred_layer_idc[i]を復号する。ただし、対象レイヤがベースレイヤ（nuh_layer_id==0）である場合や、参照レイヤが存在しない（NumDirectRefLayers[nuh_layer_id]==0）場合、あるいはレイヤ間予測が有効でない（inter_layer_pred_enabled_flag==0）場合は、実依存レイヤピクチャ数が0になり、その場合はinter_layer_pred_layer_idc[i]は復号しない。
実依存レイヤ復号部４０３は、対象スライスセグメントにおけるレイヤ間予測に関する実依存レイヤ情報として、実依存レイヤピクチャごとのレイヤ識別情報である参照ピクチャレイヤ識別子RefPicLayerId[]、実参照レイヤピクチャの中で実際にサンプル予測および動き予測で参照するレイヤ数を示す、実サンプル依存レイヤ数NumActiveSamplePredRefLayersおよび実動き依存レイヤ数NumActiveMotionPredRefLayers、そして、サンプル予測と動き予測それぞれの実依存レイヤ数に対応する依存レイヤの識別情報である、実サンプル依存レイヤ識別子ActiveSamplePredRefLayerId[]および実動き依存レイヤ識別子ActiveMotionPredRefLayerId[]を導出する。これら各パラメータの導出手順を図２１（ｂ）および図１３に示す。
実依存レイヤ復号部４０３は、図２１（ｂ）に示すように、０から実依存レイヤ数NumActiveRefLayerPicsの値をとる各実依存レイヤiに対し、以下の処理を行う。まず、実依存レイヤiから、依存レイヤ識別子inter_layer_pred_layer_idc[ i ]を特定する。
具体的には、実依存レイヤ復号部４０３は、各実依存レイヤiに対応する、パラメータセット復号部４０１により導出された、サンプル依存フラグSamplePredEnabledFlag[][]を参照し、対象レイヤnuh_layer_idに対する参照レイヤinter_layer_pred_layer_idc[ i ]がサンプル依存を示す場合、つまり、SamplePredEnabledFlag[ nuh_layer_id ][ inter_layer_pred_layer_idc[ i ] ]が１の場合に、そのサンプル依存のレイヤ（ここではレイヤＩＤ，RefLayerId[ nuh_layer_id ][ inter_layer_pred_layer_idc[ i ] ]）を、以下の式により、実サンプル予測レイヤに加える。
ActiveSamplePredRefLayerId[ k++ ] = RefLayerId[ nuh_layer_id ][ inter_layer_pred_layer_idc[ i ] ]
実サンプル依存レイヤ数NumActiveSamplePredRefLayersのカウントkを１だけインクリメントする。
実サンプル依存レイヤ数NumActiveSamplePredRefLayersのカウントkを１だけインクリメントする。
全ての実依存レイヤiの処理が終了した時点のカウントｋとして、実サンプル依存レイヤ数NumActiveSamplePredRefLayersが求められる。
上記処理により、レイヤ依存タイプが、サンプル依存を示す依存レイヤのみを含む実サンプル依存レイヤActiveSamplePredRefLayerId[]が得られる。
ActiveSamplePredRefLayerId[]を、サンプル予測に関する実依存レイヤ情報と呼ぶ。
実依存レイヤ復号部４０３は、図２６（ｂ）に示すように、０から実依存レイヤ数NumActiveRefLayerPicsの値をとる各実依存レイヤiに対し、以下の処理を行う。まず、実依存レイヤiから、依存レイヤ識別子inter_layer_pred_layer_idc[ i ]を特定する。
パラメータセット復号部４０１により導出された、サンプル依存フラグSamplePredEnabledFlag[][]を参照し、対象レイヤnuh_layer_idに対する参照レイヤinter_layer_pred_layer_idc[ i ]が動き限定依存を示す場合、つまり、SamplePredEnabledFlag[ nuh_layer_id ][ inter_layer_pred_layer_idc[ i ] ]が０でMotionPredEnabledFlag[ nuh_layer_id ][ inter_layer_pred_layer_idc[ i ] ]が１の場合に、その動き限定依存のレイヤ（ここではレイヤＩＤ，RefLayerId[ nuh_layer_id ][ inter_layer_pred_layer_idc[ i ] ]）を、以下の式により、実動き予測レイヤに加える。
パラメータセット復号部４０１により導出された、サンプル依存フラグSamplePredEnabledFlag[][]を参照し、対象レイヤnuh_layer_idに対する参照レイヤinter_layer_pred_layer_idc[ i ]が動き限定依存を示す場合、つまり、SamplePredEnabledFlag[ nuh_layer_id ][ inter_layer_pred_layer_idc[ i ] ]が０でMotionPredEnabledFlag[ nuh_layer_id ][ inter_layer_pred_layer_idc[ i ] ]が１の場合に、その動き限定依存のレイヤ（ここではレイヤＩＤ，RefLayerId[ nuh_layer_id ][ inter_layer_pred_layer_idc[ i ] ]）を、以下の式により、実動き予測レイヤに加える。
ActiveMotionPredRefLayerId[ k++ ] = RefLayerId[ nuh_layer_id ][ inter_layer_pred_layer_idc[ i ] ]
実動き依存レイヤ数NumActiveMotionPredRefLayersのカウントjを１だけインクリメントする。
実動き依存レイヤ数NumActiveMotionPredRefLayersのカウントjを１だけインクリメントする。
全ての実依存レイヤiの処理が終了した時点のカウントjとして、実動き依存レイヤ数NumActiveMotionPredRefLayersが求められる。
上記処理により、レイヤ依存タイプが、動き限定依存を示す依存レイヤのみを含む実動き依存レイヤActiveMotionPredRefLayerId[]が得られる。
上記の処理を含む実依存レイヤ復号部４０３によれば、依存レイヤに対応するサンプル依存フラグSamplePredEnabledFlag[][]が０の場合にのみ、実動き依存レイヤ識別子ActiveMotionPredRefLayerIdを設定する。このような構成により、後述するように、実動き依存レイヤ識別子ActiveMotionPredRefLayerIdに設定されたレイヤのみが、代替コロケートピクチャcolPicの導出処理に用いられ、サンプル依存が有効なレイヤに関しては、代替コロケートピクチャの導出処理を省略できるという効果を奏する。
実依存レイヤ復号部４０３は、対象ピクチャに関してサンプル依存レイヤがある場合、すなわち実サンプル依存レイヤ数NumActiveSamplePredRefLayersが0より大きい場合は、さらに、レイヤ間予測をサンプル予測に限定するか否かを示す、レイヤ間サンプル予測限定フラグinter_layer_sample_pred_only_flagを復号する。レイヤ間サンプル予測限定フラグが1の場合は、対象ピクチャの復号時に同一画像レイヤ内でのフレーム間予測が用いられず、同フラグが0であれば、同一画像レイヤ内でのフレーム間予測が用いられる。
参照ピクチャセット導出部４０４は、導出された実依存レイヤ情報に基づいて、対象ピクチャの復号処理に用いる参照ピクチャセットRPSを導出する。
参照ピクチャセット導出部４０４の行うRPS導出処理の詳細を説明する。
RPS導出処理は複数のRPSのサブセットを導出処理に分けられる。RPSのサブセットは以下のように定義される。
RPSは参照可能ピクチャの種類に応じて次の２つのサブセットに分けられる。
・現ピクチャ参照ピクチャセットListCurr：対象ピクチャにおける参照可能ピクチャのリスト
・後続ピクチャ参照ピクチャセットListFoll：対象ピクチャでは参照されないが、対象ピクチャに復号順で後続のピクチャで参照可能なピクチャのリスト
なお、現ピクチャ参照ピクチャセットに含まれるピクチャの数を、現ピクチャ参照可能ピクチャ数NumCurrListと呼ぶ。
・現ピクチャ参照ピクチャセットListCurr：対象ピクチャにおける参照可能ピクチャのリスト
・後続ピクチャ参照ピクチャセットListFoll：対象ピクチャでは参照されないが、対象ピクチャに復号順で後続のピクチャで参照可能なピクチャのリスト
なお、現ピクチャ参照ピクチャセットに含まれるピクチャの数を、現ピクチャ参照可能ピクチャ数NumCurrListと呼ぶ。
現ピクチャ参照ピクチャセットは、さらに４つの部分リストから構成される。
・長期参照ピクチャセットRefPicSetLtCurr：SPS長期RP情報またはSH長期RP情報により指定される現ピクチャ参照可能ピクチャ
・短期前方参照ピクチャセットListStCurrBefore：SPS短期RPS情報またはＳＨ短期RPS情報により指定される現ピクチャ参照可能ピクチャであって、表示順が対象ピクチャより早いもの
・短期後方参照ピクチャセットListStCurrAfter：SPS短期RPS情報またはＳＨ短期RPS情報により指定される現ピクチャ参照可能ピクチャであって、表示順が対象ピクチャより早いもの
・レイヤ間参照ピクチャセットRefPicSetInterLayer：ILRP情報により指定される現ピクチャ参照可能ピクチャ
後続ピクチャ参照ピクチャセットは、さらに２つの部分リストから構成される。
・後続ピクチャ長期参照ピクチャセットListLtFoll：SPS長期RP情報またはＳＨ長期RP情報により指定される後続ピクチャ参照可能ピクチャ。
・後続ピクチャ短期参照ピクチャセットListStFoll：SPS短期RPS情報またはＳＨ短期RPS情報により指定される現ピクチャ参照可能ピクチャ。
・長期参照ピクチャセットRefPicSetLtCurr：SPS長期RP情報またはSH長期RP情報により指定される現ピクチャ参照可能ピクチャ
・短期前方参照ピクチャセットListStCurrBefore：SPS短期RPS情報またはＳＨ短期RPS情報により指定される現ピクチャ参照可能ピクチャであって、表示順が対象ピクチャより早いもの
・短期後方参照ピクチャセットListStCurrAfter：SPS短期RPS情報またはＳＨ短期RPS情報により指定される現ピクチャ参照可能ピクチャであって、表示順が対象ピクチャより早いもの
・レイヤ間参照ピクチャセットRefPicSetInterLayer：ILRP情報により指定される現ピクチャ参照可能ピクチャ
後続ピクチャ参照ピクチャセットは、さらに２つの部分リストから構成される。
・後続ピクチャ長期参照ピクチャセットListLtFoll：SPS長期RP情報またはＳＨ長期RP情報により指定される後続ピクチャ参照可能ピクチャ。
・後続ピクチャ短期参照ピクチャセットListStFoll：SPS短期RPS情報またはＳＨ短期RPS情報により指定される現ピクチャ参照可能ピクチャ。
RPSを構成する、短期前方参照ピクチャセットListStCurrBefore、短期後方参照ピクチャセットListStCurrAfter、長期参照ピクチャセットRefPicSetLtCurr、レイヤ間参照ピクチャセットRefPicSetInterLayer、後続ピクチャ短期参照ピクチャセットRefPicSetFoll、および、後続ピクチャ長期参照ピクチャセットListLtFollを次の手順で生成する。加えて、現ピクチャ参照可能ピクチャ数NumPocTotalCurrを導出する。なお、前記各参照ピクチャセットは、以下の処理の開始前に空に設定されている。
（Ｓ１０１）SPS短期RPS情報、および、SH短期RPS情報に基づいて、対象ピクチャの復号に用いる単一の短期参照ピクチャセットを特定する。具体的には、SH短期RPS情報に含まれるshort_term_ref_pic_set_spsの値が０である場合、SH短期RPS情報に含まれるスライスセグメントヘッダで明示的に伝送された短期RPSを選択する。それ以外（short_term_ref_pic_set_spsの値が１の場合、ＳＨ短期RPS情報に含まれるshort_term_ref_pic_set_idxが示す短期RPSを、SPS短期RPS情報に含まれる複数の短期RPSの中から選択する。
（Ｓ１０２）選択された短期RPSに含まれる参照ピクチャ各々のPOCを導出する。参照ピクチャのPOCは、参照ピクチャが前方短期参照ピクチャの場合、対象ピクチャのPOCから「delta_poc_s0_minus1[i]+1」の値を減算して導出する。一方、参照ピクチャが後方短期参照ピクチャの場合、対象ピクチャのPOCに「delta_poc_s1_minus1[i]+1」の値を加算して導出する。
（Ｓ１０３）短期RPSに含まれる前方参照ピクチャを伝送された順に確認し、関連付けられているused_by_curr_pic_s0_flag[i]の値が1である場合、当該前方参照ピクチャを短期前方参照ピクチャセットRefPicSetCurrBeforeに追加する。それ以外（used_by_curr_pic_s0_flag[i]の値が0）の場合、当該前方参照ピクチャを後続ピクチャ短期参照ピクチャセットRefPicSetFollに追加する。
（Ｓ１０４）短期RPSに含まれる後方参照ピクチャを伝送された順に確認し、関連付けられているused_by_curr_pic_s1_flag[i]の値が1である場合、当該後方参照ピクチャを短期後方参照ピクチャセットRefPicSetCurrAfterに追加する。それ以外（used_by_curr_pic_s1_flag[i]の値が０の場合、当該前方参照ピクチャを後続ピクチャ短期参照ピクチャセットRefPicSetFollに追加する。
（Ｓ１０５） SPS長期RP情報、および、SH長期RP情報に基づいて、対象ピクチャの復号に用いる長期参照ピクチャを特定する。具体的には、num_long_term_spsの数の参照ピクチャをSPS長期RP情報に含まれる参照ピクチャの中から選択して、順に長期RPSに追加する。選択される参照ピクチャは、lt_idx_sps[i]の示す参照ピクチャである。続いて、num_long_term_picsの数の参照ピクチャをSH長期RP情報に含まれる参照ピクチャを順に長期RPSに追加する。
（Ｓ１０６）長期RPSに含まれる参照ピクチャ各々のPOCを導出する。長期参照ピクチャのPOCは、関連付けて復号されたpoc_lst_lt[i]、または、lt_ref_pic_poc_lsb_sps[i]の値から直接導出される。
（Ｓ１０７）長期RPSに含まれる参照ピクチャを順に確認し、関連付けられているused_by_curr_pic_lt_flag[i]、または、used_by_curr_pic_lt_sps_flag[i]の値が1である場合、当該長期参照ピクチャを長期参照ピクチャセットRefPicSetLtCurrに追加する。それ以外（used_by_curr_pic_lt_flag[i]、または、used_by_curr_pic_lt_sps_flag[i]の値が0）の場合、当該長期参照ピクチャを後続ピクチャ長期参照ピクチャセットListLtFollに追加する。
（Ｓ１０８）実依存レイヤ復号部４０３において復号された実依存レイヤ情報（ILRP情報）に従って、参照ピクチャ（レイヤ間参照ピクチャ）をレイヤ間参照ピクチャセットRefPicSetInterLayerに追加する。具体的には、図２１（ｃ）に示すように、対象ピクチャと同じ時間のピクチャpicXが復号ピクチャバッファ内にあり、そのpicXのレイヤnuh_layer_idがActiveSamplePredRefPicLayerId[i]と等しい時、レイヤ間参照ピクチャセットRefPicSetInterLayer[i]にpicXを設定し、picXが、長期予測参照（used for long-term reference）の示すマークをつける。上記条件が成立しない場合は、RefPicSetInterLayer[i]に参照ピクチャがないことを示すマークをつける。上記処理において長期参照ピクチャのマークがついた参照ピクチャを、レイヤ間参照ピクチャとして、レイヤ間参照ピクチャセットRefPicSetInterLayerに追加する。
（Ｓ１０９）変数NumPocTotalCurrの値を、現ピクチャから参照可能な参照ピクチャの和に設定する。すなわち、変数NumPocTotalCurrの値を、短期前方参照ピクチャセットRefPicSetCurrBefore、短期後方参照ピクチャセットRefPicSetCurrAfter、長期参照ピクチャセットRefPicSetLtCurr、および、レイヤ間参照ピクチャセットRefPicSetInterLayerの４つのリストの各要素数の和に設定する。レイヤ間参照ピクチャセットRefPicSetInterLayerの要素数の加算は、図２１（ｄ）に示すように、サンプル依存レイヤ数（実サンプル依存レイヤ数NumActiveSamplePredRefLayers）を加算することで行われる。 参照ピクチャセット導出部４０４は、参照ピクチャリスト(RPL)を構築する。以下、参照ピクチャリスト構築処理の詳細を説明する。参照ピクチャリスト導出部は、参照ピクチャセットRPSと、RPL修正情報に基づいて参照ピクチャリストRPLを生成する。
（Ｓ１０１）SPS短期RPS情報、および、SH短期RPS情報に基づいて、対象ピクチャの復号に用いる単一の短期参照ピクチャセットを特定する。具体的には、SH短期RPS情報に含まれるshort_term_ref_pic_set_spsの値が０である場合、SH短期RPS情報に含まれるスライスセグメントヘッダで明示的に伝送された短期RPSを選択する。それ以外（short_term_ref_pic_set_spsの値が１の場合、ＳＨ短期RPS情報に含まれるshort_term_ref_pic_set_idxが示す短期RPSを、SPS短期RPS情報に含まれる複数の短期RPSの中から選択する。
（Ｓ１０２）選択された短期RPSに含まれる参照ピクチャ各々のPOCを導出する。参照ピクチャのPOCは、参照ピクチャが前方短期参照ピクチャの場合、対象ピクチャのPOCから「delta_poc_s0_minus1[i]+1」の値を減算して導出する。一方、参照ピクチャが後方短期参照ピクチャの場合、対象ピクチャのPOCに「delta_poc_s1_minus1[i]+1」の値を加算して導出する。
（Ｓ１０３）短期RPSに含まれる前方参照ピクチャを伝送された順に確認し、関連付けられているused_by_curr_pic_s0_flag[i]の値が1である場合、当該前方参照ピクチャを短期前方参照ピクチャセットRefPicSetCurrBeforeに追加する。それ以外（used_by_curr_pic_s0_flag[i]の値が0）の場合、当該前方参照ピクチャを後続ピクチャ短期参照ピクチャセットRefPicSetFollに追加する。
（Ｓ１０４）短期RPSに含まれる後方参照ピクチャを伝送された順に確認し、関連付けられているused_by_curr_pic_s1_flag[i]の値が1である場合、当該後方参照ピクチャを短期後方参照ピクチャセットRefPicSetCurrAfterに追加する。それ以外（used_by_curr_pic_s1_flag[i]の値が０の場合、当該前方参照ピクチャを後続ピクチャ短期参照ピクチャセットRefPicSetFollに追加する。
（Ｓ１０５） SPS長期RP情報、および、SH長期RP情報に基づいて、対象ピクチャの復号に用いる長期参照ピクチャを特定する。具体的には、num_long_term_spsの数の参照ピクチャをSPS長期RP情報に含まれる参照ピクチャの中から選択して、順に長期RPSに追加する。選択される参照ピクチャは、lt_idx_sps[i]の示す参照ピクチャである。続いて、num_long_term_picsの数の参照ピクチャをSH長期RP情報に含まれる参照ピクチャを順に長期RPSに追加する。
（Ｓ１０６）長期RPSに含まれる参照ピクチャ各々のPOCを導出する。長期参照ピクチャのPOCは、関連付けて復号されたpoc_lst_lt[i]、または、lt_ref_pic_poc_lsb_sps[i]の値から直接導出される。
（Ｓ１０７）長期RPSに含まれる参照ピクチャを順に確認し、関連付けられているused_by_curr_pic_lt_flag[i]、または、used_by_curr_pic_lt_sps_flag[i]の値が1である場合、当該長期参照ピクチャを長期参照ピクチャセットRefPicSetLtCurrに追加する。それ以外（used_by_curr_pic_lt_flag[i]、または、used_by_curr_pic_lt_sps_flag[i]の値が0）の場合、当該長期参照ピクチャを後続ピクチャ長期参照ピクチャセットListLtFollに追加する。
（Ｓ１０８）実依存レイヤ復号部４０３において復号された実依存レイヤ情報（ILRP情報）に従って、参照ピクチャ（レイヤ間参照ピクチャ）をレイヤ間参照ピクチャセットRefPicSetInterLayerに追加する。具体的には、図２１（ｃ）に示すように、対象ピクチャと同じ時間のピクチャpicXが復号ピクチャバッファ内にあり、そのpicXのレイヤnuh_layer_idがActiveSamplePredRefPicLayerId[i]と等しい時、レイヤ間参照ピクチャセットRefPicSetInterLayer[i]にpicXを設定し、picXが、長期予測参照（used for long-term reference）の示すマークをつける。上記条件が成立しない場合は、RefPicSetInterLayer[i]に参照ピクチャがないことを示すマークをつける。上記処理において長期参照ピクチャのマークがついた参照ピクチャを、レイヤ間参照ピクチャとして、レイヤ間参照ピクチャセットRefPicSetInterLayerに追加する。
（Ｓ１０９）変数NumPocTotalCurrの値を、現ピクチャから参照可能な参照ピクチャの和に設定する。すなわち、変数NumPocTotalCurrの値を、短期前方参照ピクチャセットRefPicSetCurrBefore、短期後方参照ピクチャセットRefPicSetCurrAfter、長期参照ピクチャセットRefPicSetLtCurr、および、レイヤ間参照ピクチャセットRefPicSetInterLayerの４つのリストの各要素数の和に設定する。レイヤ間参照ピクチャセットRefPicSetInterLayerの要素数の加算は、図２１（ｄ）に示すように、サンプル依存レイヤ数（実サンプル依存レイヤ数NumActiveSamplePredRefLayers）を加算することで行われる。 参照ピクチャセット導出部４０４は、参照ピクチャリスト(RPL)を構築する。以下、参照ピクチャリスト構築処理の詳細を説明する。参照ピクチャリスト導出部は、参照ピクチャセットRPSと、RPL修正情報に基づいて参照ピクチャリストRPLを生成する。
参照ピクチャリストはＬ０参照リストとＬ１参照リストの２つのリストから構成される。始めに、ＬＸ参照リスト（Ｘは０もしくは１）の構築手順を説明する。図２３（ｂ）に示すように、Ｌ０参照リストは、以下のＳ３０１〜Ｓ３０７に示す手順で構築される。
（Ｓ３０１）暫定ＬＸ参照リストRefPicListTempXを生成して、空のリストに初期化する。
（Ｓ３０２）インター予測ＲＰＬ有効フラグInterRefEnabledInRPLFlagが１である場合に、暫定ＬＸ参照リストRefPicListTempXに対し、短期前方参照ピクチャセットRefPicSetStCurrBeforeに含まれる参照ピクチャを順に追加する。
（Ｓ３０３）インター予測ＲＰＬ有効フラグInterRefEnabledInRPLFlagが１である場合に、暫定ＬＸ参照リストに対し、短期後方参照ピクチャセットRefPicSetStCurrAfterに含まれる参照ピクチャを順に追加する。
（Ｓ３０４）インター予測ＲＰＬ有効フラグInterRefEnabledInRPLFlagが１である場合に、暫定ＬＸ参照リストに対し、長期参照ピクチャセットRefPicSetLtCurrに含まれる参照ピクチャを順に追加する。
（Ｓ３０５）暫定ＬＸ参照リストに対し、ピクチャレイヤ間参照ピクチャセットRefPicSetInterLayerに含まれる参照ピクチャを順に追加する。
（Ｓ３０６）符号化データから復号されるlists_modification_present_flagが１の場合には、暫定ＬＸ参照リストの修正を行う。
（Ｓ３０７）暫定ＬＸ参照リストをＬＸ参照リストとする。
（Ｓ３０１）暫定ＬＸ参照リストRefPicListTempXを生成して、空のリストに初期化する。
（Ｓ３０２）インター予測ＲＰＬ有効フラグInterRefEnabledInRPLFlagが１である場合に、暫定ＬＸ参照リストRefPicListTempXに対し、短期前方参照ピクチャセットRefPicSetStCurrBeforeに含まれる参照ピクチャを順に追加する。
（Ｓ３０３）インター予測ＲＰＬ有効フラグInterRefEnabledInRPLFlagが１である場合に、暫定ＬＸ参照リストに対し、短期後方参照ピクチャセットRefPicSetStCurrAfterに含まれる参照ピクチャを順に追加する。
（Ｓ３０４）インター予測ＲＰＬ有効フラグInterRefEnabledInRPLFlagが１である場合に、暫定ＬＸ参照リストに対し、長期参照ピクチャセットRefPicSetLtCurrに含まれる参照ピクチャを順に追加する。
（Ｓ３０５）暫定ＬＸ参照リストに対し、ピクチャレイヤ間参照ピクチャセットRefPicSetInterLayerに含まれる参照ピクチャを順に追加する。
（Ｓ３０６）符号化データから復号されるlists_modification_present_flagが１の場合には、暫定ＬＸ参照リストの修正を行う。
（Ｓ３０７）暫定ＬＸ参照リストをＬＸ参照リストとする。
次に、Ｌ１参照リストが同様の処理によって構築される。但し、Ｌ１参照リストの構築では、Ｓ３０３とＳ３０２の処理順が逆になる。つまり、短期前方参照ピクチャセットRefPicSetStCurrAfterが短期前方参照ピクチャセットRefPicSetStCurrBeforeより先に格納される。
以上の構成の参照ピクチャセット導出部４０４によれば、ＲＰＳに格納される参照ピクチャは、全てサンプル予測が可能であることが保証されるため、レイヤ間サンプル予測処理の簡略化を図ることができるという効果を奏する。
コロケートピクチャ復号部４０５は、対象スライスセグメントにおいてテンポラル動き予測が有効な場合（slice_temporal_mvp_enabled_flag==1）、テンポラル動き予測の参照ピクチャcolPicを指定するためのパラメータを、スライスセグメントヘッダから復号する。テンポラル動き予測の参照ピクチャは、対象レイヤがベースレイヤであるか、実動き依存レイヤ数NumActiveMotionPredRefLayersが0であるか、もしくは、代替コロケート指示フラグalt_collocated_indication_flagが0である場合には、参照ピクチャインデックスを用いて指定され、alt_collocated_indication_flagが１である場合には、コロケート参照レイヤ指示子collocated_ref_layer_idxを用いて指定される。
コロケートピクチャ復号部４０５は、図１２に示すように、テンポラル動き予測が有効であって、対象レイヤが非ベースレイヤ（nuh_layer_id＞０）かつ実動き依存レイヤが存在する（NumActiveMotionPredRefLayers>0）時、代替コロケート指示フラグalt_collocated_indication_flagを復号する。代替コロケート指示フラグを復号しない場合、コロケートピクチャ復号部４０５は、alt_collocated_indication_flagに0を設定する。代替コロケート指示フラグalt_collocated_indication_flagが1の時、コロケートピクチャ復号部はさらに、コロケート参照レイヤ指示子collocated_ref_layer_idxを復号する。ただし、実動き依存レイヤ数が１の場合（NumActiveMotionPredRefLayers==1）は、コロケートピクチャ復号部は、コロケート参照レイヤ指示子を復号せず、collocated_ref_layer_idxに0を設定する。
コロケートピクチャ復号部４０５は、代替コロケート指示フラグが有効でない場合(alt_collocated_indication_flagが０)には、collocated_from_l0_flagで選択される参照ピクチャリストのインデックスcollocated_ref_idxで示されるピクチャを、テンポラル動き予測の参照ピクチャcolPicに設定する。具体的には、コロケートピクチャ復号部４０５は、collocated_from_l0_flagが０の場合には、RefPicList1[ collocated_ref_idx ]で示されるピクチャを参照ピクチャcolPicに設定し、collocated_from_l0_flagが１の場合には、RefPicList0[ collocated_ref_idx ]で示されるピクチャを参照ピクチャcolPicに設定する。
コロケートピクチャ復号部４０５は、代替コロケート指示フラグが有効である場合(alt_collocated_indication_flagが１)には、コロケート参照レイヤ指示子collocated_ref_layer_idxに対応する実動き依存レイヤ識別子ActiveMotionPredRefLayerId[collocated_ref_layer_idx]で示されるレイヤにおける同時刻のピクチャを、テンポラル動き予測の参照ピクチャcolPicに設定する。
（画像データ復号部の構成）
次に、画像データ復号部３００の構成について説明する。
次に、画像データ復号部３００の構成について説明する。
図８は、本実施形態に係る画像データ復号部３００の構成を示す概略図である。画像データ復号部３００は、エントロピー復号部３０１、予測パラメータ復号部３０２、参照ピクチャメモリ（参照画像記憶部、フレームメモリ）３０６、予測パラメータメモリ（予測パラメータ記憶部、フレームメモリ）３０７、予測画像生成部３０８、逆量子化・逆ＤＣＴ部３１１、加算部３１２及びレイヤ間動きマッピング部３１３を含んで構成される。
また、予測パラメータ復号部３０２は、インター予測パラメータ復号部３０３及びイントラ予測パラメータ復号部３０４を含んで構成される。予測画像生成部３０８は、インター予測画像生成部３０９及びイントラ予測画像生成部３１０を含んで構成される。
エントロピー復号部３０１は、入力された符号化データに対してエントロピー復号を行って、個々の符号（シンタックス要素）を分離し復号する。エントロピー復号部は、ヘッダ復号部４００で復号された情報を利用して、一部の符号の有無を判定する。その際に利用する情報としては、例えば、対象スライスの符号化タイプを示すslice_typeがある。分離された符号には、予測画像を生成するための予測情報および、差分画像を生成するための残差情報などがある。
エントロピー復号部３０１は、分離した符号の一部を予測パラメータ復号部３０２に出力する。分離した符号の一部とは、例えば、予測モードpredMode、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXなどである。どの符号を復号するか否かの制御は、予測パラメータ復号部３０２の指示に基づいて行われる。エントロピー復号部３０１は、量子化係数を逆量子化・逆ＤＣＴ部３１１に出力する。この量子化係数は、符号化処理において、残差信号に対してＤＣＴ（Discrete Cosine Transform、離散コサイン変換）を行い量子化して得られる係数である。
予測パラメータ復号部３０２は、ヘッダ復号部４００から入力されるスライスレイヤ符号化パラメータおよびエントロピー復号部３０１から入力された符号に基づいて、インター予測パラメータまたはイントラ予測パラメータを復号する。そして、復号された予測パラメータを予測画像生成部３０８に出力し、また予測パラメータメモリ３０７に記憶する。
インター予測パラメータ復号部３０３は、予測パラメータメモリ３０７に記憶された予測パラメータを参照してインター予測パラメータを出力する。インター予測パラメータには、例えば、予測リスト利用フラグpredFlagLX、参照ピクチャインデックスrefIdxLX、動きベクトルmvLX等がある。例えば、
インター予測パラメータ復号部３０３は、内部にテンポラル動きベクトル導出部を備える。テンポラル動きベクトル導出部は、テンポラル動き予測が有効な場合、コロケートピクチャ復号部４０５が設定した参照ピクチャcolPicで指定されるピクチャ上の空間近傍ブロックの動きパラメータを予測パラメータメモリから読み出し、読み出した動きパラメータに基づいて対象ブロックの動きベクトルmvLXを導出する。
インター予測パラメータ復号部３０３は、内部にテンポラル動きベクトル導出部を備える。テンポラル動きベクトル導出部は、テンポラル動き予測が有効な場合、コロケートピクチャ復号部４０５が設定した参照ピクチャcolPicで指定されるピクチャ上の空間近傍ブロックの動きパラメータを予測パラメータメモリから読み出し、読み出した動きパラメータに基づいて対象ブロックの動きベクトルmvLXを導出する。
具体的には、テンポラル動きベクトル導出部は、参照ピクチャcolPicからコロケートブロックを特定し、コロケートブロックからテンポラル動きベクトルmvLXColとテンポラル動きベクトルmvLXColの利用可能性を示す利用可能性フラグavailableFlagLXColを導出する。
次に、テンポラル動きベクトル導出部は、参照ピクチャcolPic中の対象ブロックと同一座標のブロックの、右下に隣接するブロックcolBrの座標を求める。対象ブロックの座標を(xPb, yPb)、対象ブロックの幅をnPbW、高さをnPbHとした場合、ブロックcolBrの座標(xColBr, yColBr)は、以下の式で求める。
xColBr = xPb + nPbW
yColBr = yPb + nPbH
次に、テンポラル動きベクトル導出部は、ブロックcolBrの座標が対象ブロックの座標を含む符号化ツリーユニット行内に存在し、なお且つ、ブロックBrの座標がピクチャ内を示しているか否かを判定する。ブロックcolBrの座標が対象ブロックの座標を含む符号化ツリーユニット行内に存在するか否かは、符号化ツリーユニットのサイズの２の対数をCtbLog2SizeYとした場合、以下の式（Ａ−１）で判定する。
yColBr = yPb + nPbH
次に、テンポラル動きベクトル導出部は、ブロックcolBrの座標が対象ブロックの座標を含む符号化ツリーユニット行内に存在し、なお且つ、ブロックBrの座標がピクチャ内を示しているか否かを判定する。ブロックcolBrの座標が対象ブロックの座標を含む符号化ツリーユニット行内に存在するか否かは、符号化ツリーユニットのサイズの２の対数をCtbLog2SizeYとした場合、以下の式（Ａ−１）で判定する。
(yPb >> CtbLog2SizeY) == (yColBr >> CtbLog2SizeY) （Ａ−１）
また、ブロックcolBrがピクチャ内を示しているか否かは、ピクチャの横幅をpic_width_in_luma_samples、高さをpic_height_in_luma_samplesとした場合、以下の式（Ａ−２）で判定する。
また、ブロックcolBrがピクチャ内を示しているか否かは、ピクチャの横幅をpic_width_in_luma_samples、高さをpic_height_in_luma_samplesとした場合、以下の式（Ａ−２）で判定する。
xColPb < pic_width_in_luma_samples && yColPb < pic_height_in_luma_samples （Ａ−２）
テンポラル動きベクトル導出部は、式（Ａ−１）、（Ａ−２）の結果が共に真の場合には、コロケートブロックの座標(xColPb, yColPb)を以下の式で設定する。
テンポラル動きベクトル導出部は、式（Ａ−１）、（Ａ−２）の結果が共に真の場合には、コロケートブロックの座標(xColPb, yColPb)を以下の式で設定する。
xColPb = (xColBr >> 4) << 4
yColPb = (yColBr >> 4) << 4
テンポラル動きベクトル導出部は、コロケートブロックが有する動きベクトルmvLXからテンポラル動きベクトルmvLXColを導出し、利用可能性フラグavailableFlagLXCol.に１を設定する。ただし、コロケートブロックの予測モードがイントラモードである場合は、テンポラル動きベクトルmvLXCol[0]、mvLXCol[1]に０を設定し、利用可能性フラグavailableFlagLXColに０を設定する。
yColPb = (yColBr >> 4) << 4
テンポラル動きベクトル導出部は、コロケートブロックが有する動きベクトルmvLXからテンポラル動きベクトルmvLXColを導出し、利用可能性フラグavailableFlagLXCol.に１を設定する。ただし、コロケートブロックの予測モードがイントラモードである場合は、テンポラル動きベクトルmvLXCol[0]、mvLXCol[1]に０を設定し、利用可能性フラグavailableFlagLXColに０を設定する。
一方、テンポラル動きベクトル導出部は、式（Ａ−１）、（Ａ−２）の結果のどちらかが偽の場合には、テンポラル動きベクトルmvLXCol[0]、mvLXCol[1]に０を設定し、利用可能性フラグavailableFlagLXColに０を設定する。
テンポラル動きベクトル導出部は、利用可能性フラグavailableFlagLXColが０の場合には、参照ピクチャcolPic中の対象ブロックと同一座標のブロックの中心のブロックを、新たなコロケートブロックとして設定する。対象ブロックの座標を(xPb, yPb)、対象ブロックの幅をnPbW、高さをnPbH、とした場合、コロケートブロックの座標(xColPb, yColPb)は、以下の式で求める。
xColPb = ((xPb + (nPbW >> 1)) >> 4) << 4
yColPb = ((yPb + (nPbH >> 1)) >> 4) << 4
次に、テンポラル動きベクトル導出部は、コロケートブロックが有する動きベクトルmvLXからテンポラル動きベクトルmvLXColを導出し、利用可能性フラグavailableFlagLXColに１を設定する。ただし、コロケートブロックの予測モードがイントラモードである場合は、テンポラル動きベクトルmvLXCol[0]、mvLXCol[1]に０を設定し、利用可能性フラグavailableFlagLXColに０を設定する。
yColPb = ((yPb + (nPbH >> 1)) >> 4) << 4
次に、テンポラル動きベクトル導出部は、コロケートブロックが有する動きベクトルmvLXからテンポラル動きベクトルmvLXColを導出し、利用可能性フラグavailableFlagLXColに１を設定する。ただし、コロケートブロックの予測モードがイントラモードである場合は、テンポラル動きベクトルmvLXCol[0]、mvLXCol[1]に０を設定し、利用可能性フラグavailableFlagLXColに０を設定する。
導出されたテンポラル動きベクトルmvLXColは、ブロックがマージモードとなる場合には、ブロックの動きベクトルとして用いられる。また、テンポラル動きベクトルmvLXColは、予測動きベクトルとしても用いられ、エントロピー復号部３０１から得られた差分ベクトルとの和をとることで、動きベクトルmvLXが導出される。
イントラ予測パラメータ復号部３０４は、エントロピー復号部３０１から入力された符号に基づいて、予測パラメータメモリ３０７に記憶された予測パラメータを参照してイントラ予測パラメータを復号する。イントラ予測パラメータとは、ピクチャブロックを１つのピクチャ内で予測する処理で用いるパラメータ、例えば、イントラ予測モードIntraPredModeである。イントラ予測パラメータ復号部３０４は、復号したイントラ予測パラメータを予測画像生成部３０８に出力し、また予測パラメータメモリ３０７に記憶する。
参照ピクチャメモリ３０６は、後述する加算部３１２が生成した参照ピクチャのブロック（参照ピクチャブロック）を、復号対象のピクチャ及びブロック毎に予め定めた位置に記憶する。
予測パラメータメモリ３０７は、予測パラメータを、復号対象のピクチャ及びブロック毎に予め定めた位置に記憶する。具体的には、予測パラメータメモリ３０７は、インター予測パラメータ復号部３０３が復号したインター予測パラメータ、イントラ予測パラメータ復号部３０４が復号したイントラ予測パラメータ及びエントロピー復号部３０１が分離した予測モードpredModeを記憶する。記憶されるインター予測パラメータには、例えば、予測リスト利用フラグpredFlagLX（インター予測フラグinter_pred_idc）、参照ピクチャインデックスrefIdxLX、ベクトルmvLXがある。
予測画像生成部３０８には、エントロピー復号部３０１から入力された予測モードpredModeが入力され、また予測パラメータ復号部３０２から予測パラメータが入力される。また、予測画像生成部３０８は、参照ピクチャメモリ３０６から参照ピクチャを読み出す。予測画像生成部３０８は、予測モードpredModeが示す予測モードに応じて、入力された予測パラメータと読み出した参照ピクチャを用いて予測ピクチャブロックＰ（予測画像）を生成する。
ここで、予測モードpredModeがインター予測モードを示す場合、インター予測画像生成部３０９は、インター予測パラメータ復号部３０３から入力されたインター予測パラメータと読み出した参照ピクチャを用いてインター予測により予測ピクチャブロックＰを生成する。予測ピクチャブロックＰはＰＵに対応する。ＰＵは、上述したように予測処理を行う単位となる複数の画素からなるピクチャの一部分、つまり１度に予測処理が行われる復号対象ブロックに相当する。
インター予測画像生成部３０９は、参照ピクチャセット(RPS)から導出される参照ピクチャリスト(RPL)で指定される参照ピクチャを用いて予測画像を生成する。
すなわち、予測リスト利用フラグpredFlagLXが１である参照ピクチャリスト（RefPicListL0、もしくはRefPicListL1）に対し、参照ピクチャインデックスrefIdxLXで示される参照ピクチャ(RefPicListLX[refIdxLX])から、復号対象ブロックを基準としてベクトルmvLXが示す位置にある参照ピクチャブロックを参照ピクチャメモリ３０６から読み出す。インター予測画像生成部３０９は、読み出した参照ピクチャブロックについて予測を行って予測ピクチャブロックＰを生成する。インター予測画像生成部３０９は、生成した予測ピクチャブロックＰを加算部３１２に出力する。
予測モードpredModeがイントラ予測モードを示す場合、イントラ予測画像生成部３１０は、イントラ予測パラメータ復号部３０４から入力されたイントラ予測パラメータと読み出した参照ピクチャを用いてイントラ予測を行う。具体的には、イントラ予測画像生成部３１０は、復号対象のピクチャであって、既に復号されたブロックのうち復号対象ブロックから予め定めた範囲にある参照ピクチャブロックを参照ピクチャメモリ３０６から読み出す。予め定めた範囲とは、復号対象ブロックがいわゆるラスタースキャンの順序で順次移動する場合、例えば、左、左上、上、右上の隣接ブロックのうちのいずれかであり、イントラ予測モードによって異なる。ラスタースキャンの順序とは、各ピクチャにおいて、上端から下端まで各行について、順次左端から右端まで移動させる順序である。
イントラ予測画像生成部３１０は、読み出した参照ピクチャブロックについてイントラ予測モードIntraPredModeが示す予測モードで予測を行って予測ピクチャブロックを生成する。イントラ予測画像生成部３１０は、生成した予測ピクチャブロックＰを加算部３１２に出力する。
逆量子化・逆ＤＣＴ部３１１は、エントロピー復号部３０１から入力された量子化係数を逆量子化してＤＣＴ係数を求める。逆量子化・逆ＤＣＴ部３１１は、求めたＤＣＴ係数について逆ＤＣＴ（Inverse Discrete Cosine Transform、逆離散コサイン変換）を行い、復号残差信号を算出する。逆量子化・逆ＤＣＴ部３１１は、算出した復号残差信号を加算部３１２に出力する。
加算部３１２は、インター予測画像生成部３０９及びイントラ予測画像生成部３１０から入力された予測ピクチャブロックＰと逆量子化・逆ＤＣＴ部３１１から入力された復号残差信号の信号値を画素毎に加算して、参照ピクチャブロックを生成する。加算部３１２は、生成した参照ピクチャブロックを参照ピクチャメモリ３０６に記憶し、生成した参照ピクチャブロックをピクチャ毎に統合した復号レイヤ画像Ｔｄを外部に出力する。
上記構成の画像復号装置３１の１構成では、図２０〜図２２を用いて説明したように、レイヤ依存タイプを復号し、前記レイヤ依存タイプに対応するレイヤがサンプル依存を示すレイヤであるかを判定する手段を備える依存タイプ復号部と、前記サンプル依存を示す依存レイヤから、サンプル依存レイヤを抽出する依存レイヤ導出部（実依存レイヤ復号部４０３）と、前記サンプル依存レイヤから参照ピクチャセットを導出する参照ピクチャセット導出部４０４と、前記レイヤ間参照ピクチャセットを用いて導出される参照ピクチャリストで指定される参照ピクチャを用いて予測画像を生成するインター予測画像生成部３０９を備えることを特徴とする。
上記構成の画像復号装置３１は、より具体的には、依存タイプ復号部において、パラメータセットの符号化データから、レイヤ依存タイプを復号し、前記レイヤ依存タイプに応じて、依存レイヤがサンプル依存レイヤか否かを示すフラグであるSamplePredEnableFlagを導出し、依存レイヤ導出部（実依存レイヤ復号部４０３）において、スライスセグメントレイヤの符号化データからレイヤ間予測参照ピクチャのレイヤ間依存識別子（inter_layer_pred_layer_idc）を復号し、SamplePredEnableFlagが１である依存レイヤから、サンプル依存レイヤActiveSamplePredRefLayerIdを導出する。
上記構成の画像復号装置３１の１構成では、図２６を用いて説明したように、レイヤ間予測限定フラグinter_layer_sample_onlyフラグを復号するレイヤ間予測限定フラグ復号部（実依存レイヤ復号部４０３）を備え、上記サンプル依存レイヤ復号手段（実依存レイヤ復号部４０３）は、前記レイヤ依存タイプに応じて、前記サンプル依存レイヤの数NumActiveSamplePredRefLayersを導出し、上記参照ピクチャセット導出部４０４は、前記レイヤ間予測限定フラグinter_layer_sample_onlyフラグが、レイヤ間予測のみを示す場合には、同一レイヤのピクチャを参照ピクチャリストに入れず、前記レイヤ間予測限定フラグ復号手段は、動きのみ依存レイヤ数NumActiveSamplePredRefLayersが１以上である場合に、レイヤ間予測限定フラグinter_layer_sample_onlyフラグを復号することを特徴とする。
上記構成の画像復号装置３１の１構成では、図２６、図１２を用いて説明したように、レイヤ依存タイプを復号し、前記レイヤ依存タイプに対応するレイヤが動き依存かつサンプル依存ではないことを示す動き依存限定レイヤであるかを判定する手段を備える依存タイプ復号部と、前記動き依存限定レイヤから、代替参照ピクチャを復号する代替参照ピクチャ復号部（コロケートピクチャ復号部４０５）と、前記代替参照ピクチャを用いて、テンポラル動きベクトルを導出するインター予測パラメータ復号部３０３を備えることを特徴とする。
上記構成の画像復号装置３１の１構成では、図２５を用いて説明したように、上記代替参照ピクチャ復号部（コロケートピクチャ復号部４０５）は、前記レイヤ依存タイプに応じて、動き依存かつサンプル依存ではないことを示す依存レイヤである実動き依存レイヤ数NumActiveMotionPredRefLayersを導出し、前記実動き依存レイヤ数NumActiveMotionPredRefLayersが１以上である場合に、スライスセグメントレイヤの符号化データから代替参照ピクチャを用いるかどうかを示すフラグalt_collocated_indication_flagを復号することを特徴とする。
（第２の実施形態）
次に、本発明に関わる画像復号装置の第２の実施形態について説明する。図６は、本実施形態に関わる画像復号装置３１ａの構成を示す概略図である。画像復号装置３１は、画像データ復号部３００、ヘッダ復号部４００ａを含んで構成される。
次に、本発明に関わる画像復号装置の第２の実施形態について説明する。図６は、本実施形態に関わる画像復号装置３１ａの構成を示す概略図である。画像復号装置３１は、画像データ復号部３００、ヘッダ復号部４００ａを含んで構成される。
画像データ復号部３００は、前述の第一の実施形態と同様であるので説明を省略する。同様に、既に説明したものと同一の符号を付した機能ブロックについては、本実施形態でも同様の働きをするため、以降説明を省略する。
ヘッダ復号部４００ａは、パラメータセット復号部４０１と、スライスセグメントヘッダ基本復号部４０２１、スライスセグメントヘッダ拡張復号部４０２２ａを含んで構成される。スライスセグメントヘッダ基本復号部４０２１は、パラメータセット復号部４０１で復号・決定されたフラグやパラメータに基づいて、スライスヘッダSHのうち、ベースレイヤと非ベースレイヤで共通の符号化パラメータを復号する。共通の符号化パラメータとは、例えば、対象スライスの符号化タイプを示すslice_type、テンポラル動き予測が有効かどうかを示すslice_temporal_mvp_enabled_flag等である。スライスセグメントヘッダ拡張復号部４０２２ａは、非ベースレイヤに関する符号化パラメータを復号する。非ベースレイヤに関する符号化パラメータは、例えば、レイヤ間予測が有効かどうかを示すフラグinter_layer_pred_enabled_flagや、レイヤ間の動き予測の参照情報を示すalt_collocated_indication_flag、collocated_ref_layer_idx等である。
なお、ヘッダ復号部に入力される符号化ストリーム中に、スライスセグメントヘッダ拡張自体が含まれない場合もある。スライスセグメントヘッダ拡張が含まれるかどうかは、パラメータセット復号部で判定する。パラメータセット復号部は、例えば、ピクチャパラメータセットPPSの中に含まれる、スライスセグメントヘッダ拡張が有効であるか否かを示すフラグslice_segment_header_extension_present_flagを復号し、フラグが有効である場合、スライスセグメントヘッダ拡張が符号化ストリーム中に含まれると判定する。その場合、スライスセグメントヘッダ拡張復号部が、スライスセグメントヘッダ拡張を復号する。
図１４に、スライスセグメントヘッダ拡張のデータ構造の一例を示す。
スライスセグメントヘッダ拡張復号部４０２２ａは、入力されたスライスセグメントヘッダ拡張から、レイヤ間予測の有無（inter_layer_pred_enable_flag）、レイヤ間予測参照ピクチャ数（num_inter_layer_ref_pics_minus1）、レイヤ間依存識別子（inter_layer_pred_layer_idc[i]）を復号する。復号する際の手順は、前述の実施例で説明したスライスセグメントヘッダ復号部４０２と同様である。inter_layer_pred_enable_flaを符号化データから復号しない場合、スライスセグメントヘッダ拡張復号部は、以下の式のようにレイヤ間予測を行うことを示す値に設定する。
inter_layer_pred_enable_flag＝１
また、スライスセグメントヘッダ拡張復号部は、レイヤ間予測参照ピクチャ数を示すnum_inter_layer_ref_pics_minus1を符号化データから復号しない場合、レイヤ間予測参照ピクチャ数に、VPS拡張から復号された依存レイヤ数であるNumDirectRefLayers[nuh_layer_id]を設定する。具体的には、num_inter_layer_ref_pics_minus1は、レイヤ間予測参照ピクチャ数から１だけ引いた値であるから、以下の式のように設定する。
また、スライスセグメントヘッダ拡張復号部は、レイヤ間予測参照ピクチャ数を示すnum_inter_layer_ref_pics_minus1を符号化データから復号しない場合、レイヤ間予測参照ピクチャ数に、VPS拡張から復号された依存レイヤ数であるNumDirectRefLayers[nuh_layer_id]を設定する。具体的には、num_inter_layer_ref_pics_minus1は、レイヤ間予測参照ピクチャ数から１だけ引いた値であるから、以下の式のように設定する。
num_inter_layer_ref_pics_minus1＝NumDirectRefLayers[nuh_layer_id]-1
また、スライスセグメントヘッダ拡張復号部は、レイヤ間予測参照ピクチャのレイヤ間依存識別子を、VPS拡張から復号された依存レイヤをそのまま用いることを示すように設定する。具体的には、以下の式のように設定する。
また、スライスセグメントヘッダ拡張復号部は、レイヤ間予測参照ピクチャのレイヤ間依存識別子を、VPS拡張から復号された依存レイヤをそのまま用いることを示すように設定する。具体的には、以下の式のように設定する。
inter_layer_pred_layer_idc[i]＝i
上記の構成によれば、スライスセグメントヘッダ拡張自体が省略されて入力されない場合には、inter_layer_pred_enable_flag、num_inter_layer_ref_pics_minus1、inter_layer_pred_layer_idcは符号化データから復号されないため、各々、上記で説明した値が設定される。
上記の構成によれば、スライスセグメントヘッダ拡張自体が省略されて入力されない場合には、inter_layer_pred_enable_flag、num_inter_layer_ref_pics_minus1、inter_layer_pred_layer_idcは符号化データから復号されないため、各々、上記で説明した値が設定される。
（コロケートピクチャ復号部４０５）
スライスセグメントヘッダ拡張復号部４０２２ａは、コロケートピクチャ復号部４０５ａを含むように構成してもよい。コロケートピクチャ復号部４０５ａは、入力されたスライスセグメントヘッダ拡張から、代替コロケート指示フラグ（alt_collocated_indication_flag）、コロケート参照レイヤ指示子（collocated_ref_layer_idx）を復号する。復号する際の手順は、前述の実施例で説明したコロケートピクチャ復号部４０５と同様である。代替コロケート指示フラグalt_collocated_indication_flagが符号化データから復号されない場合、コロケートピクチャ復号部４０５ａは、代替コロケート指示フラグに対応する情報として、テンポラル動きベクトル予測時の参照ピクチャを、代替手段であるコロケート参照レイヤ指示子では指定しないことを示すように、以下の式のように設定する。
スライスセグメントヘッダ拡張復号部４０２２ａは、コロケートピクチャ復号部４０５ａを含むように構成してもよい。コロケートピクチャ復号部４０５ａは、入力されたスライスセグメントヘッダ拡張から、代替コロケート指示フラグ（alt_collocated_indication_flag）、コロケート参照レイヤ指示子（collocated_ref_layer_idx）を復号する。復号する際の手順は、前述の実施例で説明したコロケートピクチャ復号部４０５と同様である。代替コロケート指示フラグalt_collocated_indication_flagが符号化データから復号されない場合、コロケートピクチャ復号部４０５ａは、代替コロケート指示フラグに対応する情報として、テンポラル動きベクトル予測時の参照ピクチャを、代替手段であるコロケート参照レイヤ指示子では指定しないことを示すように、以下の式のように設定する。
alt_collocated_indication_flag=0
（コロケートピクチャ復号部４０５ａの変形例）
コロケートピクチャ復号部４０５ａの変形例では、代替コロケート指示フラグalt_collocated_indication_flagが符号化データから復号されない場合、対象レイヤに関して動き依存レイヤが存在しない（NumMotionPredRefLayers[i]==0）場合には、代替コロケート指示フラグに対応する情報として、代替手段であるコロケート参照レイヤ指示子では指定しないことを示す、alt_collocated_indication_flag=0を設定し、動き依存レイヤが存在する（NumMotionPredRefLayers[i]>0）場合には、代替コロケート指示フラグに対応する情報として、代替手段であるコロケート参照レイヤ指示子で指定することを示す、alt_collocated_indication_flag=1を設定する。
（コロケートピクチャ復号部４０５ａの変形例）
コロケートピクチャ復号部４０５ａの変形例では、代替コロケート指示フラグalt_collocated_indication_flagが符号化データから復号されない場合、対象レイヤに関して動き依存レイヤが存在しない（NumMotionPredRefLayers[i]==0）場合には、代替コロケート指示フラグに対応する情報として、代替手段であるコロケート参照レイヤ指示子では指定しないことを示す、alt_collocated_indication_flag=0を設定し、動き依存レイヤが存在する（NumMotionPredRefLayers[i]>0）場合には、代替コロケート指示フラグに対応する情報として、代替手段であるコロケート参照レイヤ指示子で指定することを示す、alt_collocated_indication_flag=1を設定する。
（画像復号装置の変形例）
以下、画像復号装置の変形例として、画像復号装置３１ｂを説明する。図７は、画像復号装置３１ｂの構成を示す概略図である。画像復号装置３１ｂは、ヘッダ復号部４００ｂと画像データ復号部３００を備える。
以下、画像復号装置の変形例として、画像復号装置３１ｂを説明する。図７は、画像復号装置３１ｂの構成を示す概略図である。画像復号装置３１ｂは、ヘッダ復号部４００ｂと画像データ復号部３００を備える。
ヘッダ復号部４００ｂは、パラメータセット復号部４０１と、スライスセグメントヘッダ復号部４０２ｂを備える。スライスセグメントヘッダ復号部４０２ｂは、実依存レイヤ復号部４０３、参照ピクチャセット導出部４０４、コロケートピクチャ復号部４０５ｂを含むように構成される。
コロケートピクチャ復号部４０５ｂは、スライスセグメントヘッダ拡張から、代替コロケート指示フラグ（alt_collocated_indication_flag）、コロケート参照レイヤ指示子（collocated_ref_layer_idx）を復号する。
コロケートピクチャ復号部４０５ｂは、alt_collocated_indication_flagが符号化データから復号されない場合には、参照ピクチャセット導出部４０４が導出する参照ピクチャ情報に応じて、代替コロケート指示フラグ（alt_collocated_indication_flag）を設定する。
具体的には、コロケートピクチャ復号部４０５ｂは、参照ピクチャセット導出部４０４が導出した参照ピクチャ情報に、同じ対象レイヤのピクチャが含まれる場合は、代替参照レイヤを用いないように設定し（alt_collocated_indication_flag=0）、前記参照ピクチャ情報に、同じ対象レイヤのピクチャが含まれない場合は、代替参照レイヤを用いるように設定する（alt_collocated_indication_flag=1）。また、alt_collocated_indication_flag=1に設定した場合、コロケートピクチャ復号部４０５ｂは、コロケート参照レイヤ指示子に対応する情報として、ベースレイヤの実動き依存レイヤ識別子を設定する（collocated_ref_layer_idx= ActiveMotionPredRefLayerId[0]）。コロケートピクチャ復号部４０５ｂは、以上の情報に基づいて、テンポラル動き予測の参照ピクチャcolPicを導出する。
上記のように、非ベースレイヤ用のレイヤ間予測に関する初期パラメータを規定することにより、レイヤ間予測が有効な場合でも、スライスセグメントヘッダ拡張を省略して伝送符号量を削減し、符号化効率を向上させることができる。また、スライスレイヤの情報に関して、スライスセグメントヘッダを基本部分と拡張部分に分離することにより、単一レイヤのみの規格に従う画像復号装置やソフトウェアへ与える影響を抑え、単一レイヤ対応の画像復号装置やソフトウェアをベースにした複数レイヤ対応（複数視点画像など）を容易にするという効果が得られる。
（画像符号化装置の構成）
次に、本発明の一実施形態に係る画像符号化装置１１の構成について説明する。図９は、本実施形態に係る画像符号化装置１１の構成を示す概略図である。画像符号化装置１１は、画像データ符号化部１０００とヘッダ符号化部１４００を含んで構成される。
次に、本発明の一実施形態に係る画像符号化装置１１の構成について説明する。図９は、本実施形態に係る画像符号化装置１１の構成を示す概略図である。画像符号化装置１１は、画像データ符号化部１０００とヘッダ符号化部１４００を含んで構成される。
画像データ符号化部１０００は、装置外部から入力される複数のレイヤ画像Tを符号化して符号化画像データVDを生成する。また、符号化処理の過程で決定された符号化モードなどのパラメータをヘッダ符号化部１４００へ出力する。
ヘッダ符号化部１４００は、パラメータセット符号化部１４０１と、スライスセグメントヘッダ符号化部１４０２を含んで構成される。パラメータセット符号化部１４０１は、複数のレイヤ画像Tおよび、画像データ符号化部１０００から入力されるパラメータに基づいて、スライスレイヤよりも上位レイヤのパラメータセットを生成する。上位レイヤのパラメータは、例えば、ビデオパラメータセットVPS、シーケンスパラメータセットSPS、ピクチャパラメータセットPPSである。スライスセグメントヘッダ符号化部１４０２は、同様に、スライスレイヤのパラメータを生成する。スライスレイヤのパラメータは、例えば、スライスセグメントヘッダ、あるいは、スライスセグメントヘッダおよびスライスセグメントヘッダ拡張である。ヘッダ符号化部１４００は、これら生成したパラメータセット等を含むヘッダ情報HIを出力する。ヘッダ符号化部１４００の詳細については後述する。
画像符号化装置１１は、生成されたヘッダ情報HIと符号化画像データVDを所定の規則に従って連結させた符号化ストリームTeを生成し、装置外部へ出力する。
（画像符号化部の構成）
次に、画像データ符号化部１０００の構成について説明する。
次に、画像データ符号化部１０００の構成について説明する。
図１０は、本実施形態に係る画像データ復号部３００の構成を示す概略図である。画像データ符号化部１０００は、予測画像生成部１０１、減算部１０２、ＤＣＴ・量子化部１０３、エントロピー符号化部１０４、逆量子化・逆ＤＣＴ部１０５、加算部１０６、予測パラメータメモリ（予測パラメータ記憶部、フレームメモリ）１０８、参照ピクチャメモリ（参照画像記憶部、フレームメモリ）１０９、符号化パラメータ決定部１１０、予測パラメータ符号化部１１１、レイヤ間動きマッピング部１１２５を含んで構成される。予測パラメータ符号化部１１１は、インター予測パラメータ符号化部１１２及びイントラ予測パラメータ符号化部１１３を含んで構成される。
予測画像生成部１０１は、外部から入力されたレイヤ画像Ｔの視点毎の各ピクチャについて、そのピクチャを分割した領域であるブロック毎に予測ピクチャブロックＰを生成する。ここで、予測画像生成部１０１は、予測パラメータ符号化部１１１から入力された予測パラメータに基づいて参照ピクチャメモリ１０９から参照ピクチャブロックを読み出す。予測パラメータ符号化部１１１から入力された予測パラメータとは、例えば、動きベクトル又は変位ベクトルである。予測画像生成部１０１は、符号化対象ブロックを起点として予測された動きベクトル又は変位ベクトルが示す位置にあるブロックの参照ピクチャブロックを読み出す。予測画像生成部１０１は、読み出した参照ピクチャブロックについて複数の予測方式のうちの１つの予測方式を用いて予測ピクチャブロックＰを生成する。予測画像生成部１０１は、生成した予測ピクチャブロックＰを減算部１０２に出力する。なお、予測画像生成部１０１は、既に説明した予測画像生成部３０８と同じ動作であるため予測ピクチャブロックＰの生成の詳細は省略する。
減算部１０２は、予測画像生成部１０１から入力された予測ピクチャブロックＰの信号値を、外部から入力されたレイヤ画像Ｔの対応するブロックの信号値から画素毎に減算して、残差信号を生成する。減算部１０２は、生成した残差信号をＤＣＴ・量子化部１０３に出力する。
ＤＣＴ・量子化部１０３は、減算部１０２から入力された残差信号についてＤＣＴを行い、ＤＣＴ係数を算出する。ＤＣＴ・量子化部１０３は、算出したＤＣＴ係数を量子化して量子化係数を求める。ＤＣＴ・量子化部１０３は、求めた量子化係数をエントロピー符号化部１０４及び逆量子化・逆ＤＣＴ部１０５に出力する。
エントロピー符号化部１０４には、ＤＣＴ・量子化部１０３から量子化係数が入力され、予測パラメータ符号化部１１１から符号化パラメータが入力される。入力される符号化パラメータには、例えば、参照ピクチャインデックスrefIdxLX、ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLX、予測モードpredMode、及びマージインデックスmerge_idx等の符号がある。
エントロピー符号化部１０４は、入力された量子化係数と符号化パラメータをエントロピー符号化して符号化画像データVDを生成し、出力する。
逆量子化・逆ＤＣＴ部１０５は、ＤＣＴ・量子化部１０３から入力された量子化係数を逆量子化してＤＣＴ係数を求める。逆量子化・逆ＤＣＴ部１０５は、求めたＤＣＴ係数について逆ＤＣＴを行い、復号残差信号を算出する。逆量子化・逆ＤＣＴ部１０５は、算出した復号残差信号を加算部１０６に出力する。
加算部１０６は、予測画像生成部１０１から入力された予測ピクチャブロックＰの信号値と逆量子化・逆ＤＣＴ部１０５から入力された復号残差信号の信号値を画素毎に加算して、参照ピクチャブロックを生成する。加算部１０６は、生成した参照ピクチャブロックを参照ピクチャメモリ１０９に記憶する。
予測パラメータメモリ１０８は、予測パラメータ符号化部１１１が生成した予測パラメータを、符号化対象のピクチャ及びブロック毎に予め定めた位置に記憶する。
参照ピクチャメモリ１０９は、加算部１０６が生成した参照ピクチャブロックを、符号化対象のピクチャ及びブロック毎に予め定めた位置に記憶する。
符号化パラメータ決定部１１０は、符号化パラメータの複数のセットのうち、１つのセットを選択する。符号化パラメータとは、上述した予測パラメータやこの予測パラメータに関連して生成される符号化の対象となるパラメータである。また、決定したパラメータのうち、スライスレイヤ以上のレイヤに共通するパラメータを、ヘッダ符号化部１４００へ出力する。スライスレイヤ以上のレイヤに共通するパラメータについては後述する。
符号化パラメータ決定部１１０は、上記符号化パラメータの複数のセットの各々について情報量の大きさと符号化誤差を示すコスト値を算出する。コスト値は、例えば、符号量と二乗誤差に係数λを乗じた値との和である。符号量は、量子化誤差と符号化パラメータをエントロピー符号化して得られる符号化ストリームTeの情報量である。二乗誤差は、減算部１０２において算出された残差信号の残差値の二乗値についての画素間の総和である。係数λは、予め設定されたゼロよりも大きい実数である。符号化パラメータ決定部１１０は、算出したコスト値が最小となる符号化パラメータのセットを選択する。これにより、エントロピー符号化部１０４は、選択した符号化パラメータのセットを符号化ストリームTeとして外部に出力し、選択されなかった符号化パラメータのセットを出力しない。
選択される符号化パラメータのセットは、選択する予測方式に依存する。選択の対象となる予測方式は、符号化対象のピクチャがベースビューピクチャである場合には、イントラ予測、動き予測及びマージ予測である。動き予測とは、上述のインター予測のうち、表示時刻間の予測である。マージ予測とは、既に符号化されたブロックであって、符号化対象ブロックから予め定めた範囲内にあるブロックと同一の参照ピクチャブロック及び予測パラメータを用いる予測である。符号化対象のピクチャが非ベースビューピクチャである場合には、選択の対象となる予測方式は、イントラ予測、動き予測、マージ予測、及び変位予測である。変位予測（視差予測）とは、上述のインター予測のうち、別レイヤ画像（別視点画像）間の予測である。
符号化パラメータ決定部１１０は、選択した予測方式に対応する予測モードpredModeを予測パラメータ符号化部１１１に出力する。
予測方式として動き予測を選択した場合、符号化パラメータ決定部１１０は、動きベクトルmvLXも併せて出力する。動きベクトルmvLXは、符号化対象ブロックの位置から予測ピクチャブロックＰを生成する際の参照ピクチャブロックの位置までのベクトルを示す。動きベクトルmvLXを示す情報には、参照ピクチャを示す情報（例えば、参照ピクチャインデックスrefIdxLX、ピクチャ順序番号POC）を含み、予測パラメータを表すものであっても良い。
予測方式として変位予測を選択した場合、符号化パラメータ決定部１１０は、変位ベクトルdvLXも併せて出力する。変位ベクトルdvLXは、符号化対象ブロックの位置から予測ピクチャブロックＰを生成する際の参照ピクチャブロックの位置までのベクトルを示す。変位ベクトルdvLXを示す情報には、参照ピクチャを示す情報（例えば、参照ピクチャインデックスrefIdxLX、ビュー識別子view_id）を含み、予測パラメータを表すものであっても良い。
予測方式としてマージ予測を選択した場合、符号化パラメータ決定部１１０は、マージインデックスmerge_idxも併せて出力する。
予測パラメータ符号化部１１１は、符号化パラメータ決定部１１０から入力されたパラメータに基づいて予測ピクチャを生成する際に用いる予測パラメータを導出し、導出した予測パラメータを符号化して符号化パラメータのセットを生成する。予測パラメータ符号化部１１１は、生成した符号化パラメータのセットをエントロピー符号化部１０４に出力する。
予測パラメータ符号化部１１１は、生成した符号化パラメータのセットのうち符号化パラメータ決定部１１０が選択したものに対応する予測パラメータを予測パラメータメモリ１０８に記憶する。
予測パラメータ符号化部１１１は、符号化パラメータ決定部１１０から入力された予測モードpredModeがインター予測モードを示す場合、インター予測パラメータ符号化部１１２を動作させる。予測パラメータ符号化部１１１は、予測モードpredModeがイントラ予測モードを示す場合、イントラ予測パラメータ符号化部１１３を動作させる。
インター予測パラメータ符号化部１１２は、符号化パラメータ決定部１１０から入力された予測パラメータに基づいてインター予測パラメータを導出する。インター予測パラメータ符号化部１１２は、インター予測パラメータを導出する構成として、インター予測パラメータ復号部３０３がインター予測パラメータを導出する構成と同一の構成を含む。
イントラ予測パラメータ符号化部１１３は、符号化パラメータ決定部１１０から入力された予測モードpredModeが示すイントラ予測モードIntraPredModeをイントラ予測パラメータのセットとして定める。
ここで、符号化パラメータ決定部１１０におけるレイヤ間予測に関するパラメータ決定と、決定されたパラメータに基づいた、ヘッダ符号化部１４００におけるヘッダ情報の符号化処理の詳細について説明する。
符号化パラメータ決定部１１０は、各レイヤ（複数視点画像など）の符号化処理過程で選択した予測モードや参照ピクチャを示す情報を記憶しておく。その中で、レイヤ間の依存性に関する情報、すなわちサンプル予測やテンポラル動き予測に関するレイヤ間の依存関係が、全レイヤに関して決定されたら、全レイヤに関するレイヤ間依存情報をヘッダ符号化部１４００へ出力する。レイヤ間依存情報は、レイヤiがレイヤjを参照するかどうかを示す情報と、各参照がサンプル予測によるものか動き予測によるものかを示す情報を含む。ヘッダ符号化部１４００は、符号化パラメータ決定部１１０からのレイヤ間依存情報をパラメータセット符号化部１４０１へ入力する。
パラメータセット符号化部１４０１は、入力されたレイヤ間依存情報に基づいて、レイヤ依存フラグdirect_dependency_flag[i][j]およびレイヤ依存タイプdirect_dependency_type[i][j]を符号化し、これらを含むデータ構造であるVPS拡張（図１１）を生成するとともに、符号化した情報をスライスセグメントヘッダ符号化部１４０２へ出力する。
また、符号化パラメータ決定部１１０は、スライスセグメント単位の符号化処理過程で選択した予測モードや参照ピクチャ情報を含む、スライスレイヤ符号化パラメータを、ヘッダ符号化部１４００へ出力する。ヘッダ符号化部１４００は、符号化パラメータ決定部１１０からのスライスレイヤ符号化パラメータをスライスセグメントヘッダ符号化部１４０２へ入力する。
スライスセグメントヘッダ符号化部１４０２は、入力されたスライスレイヤ符号化パラメータと、パラメータセット符号化部１４０１から入力されたレイヤ間依存に関する符号化パラメータに基づいて、レイヤ間予測の有無を示すレイヤ間依存フラグinter_layer_pred_enabled_flagを符号化する。レイヤ間予測が有効である場合には、対象レイヤに関する依存レイヤ数（NumDirectRefLayers[]）と実依存レイヤピクチャ数（NumActiveRefLayerPics）に基づいて、レイヤ間依存ピクチャ数（num_inter_layer_ref_pics_minus1）およびレイヤ間依存識別子（inter_layer_pred_layer_idc[]）を符号化し、これらを含むスライスセグメントヘッダ（図１２）を生成する。具体的にはnum_inter_layer_ref_pics_minus1 には“NumActiveRefLayerPics-1”の値を設定し、inter_layer_pred_layer_idc[i]には、対象レイヤiの参照レイヤjを示すレイヤ識別子を設定する。その際、実参照レイヤピクチャが存在しない場合（NumActiveRefLayerPics==0）は、レイヤ識別子inter_layer_pred_layer_idc[]は符号化せず、参照レイヤ数が１つのみの場合は、レイヤ間依存ピクチャ数num_inter_layer_ref_pics_minus1も符号化しない。また、これらの符号を符号化する際のビット長は、num_inter_layer_ref_pics_minus1に関してはNumDirectRefLayers[]を表現できる最小のビット数になるように、inter_layer_pred_layer_idc[]に関しては、NumActiveRefLayerPicsを表現できる最小のビット数になるように、それぞれ符号化する。
なお、スライスセグメントヘッダ符号化部１４０２は、レイヤ間予測の参照ピクチャ数（num_inter_layer_ref_pics_minus1）とレイヤ間依存識別子（inter_layer_pred_layer_idc[]）を符号化する際に、依存レイヤ数（NumDirectRefLayers[]）の代わりに、サンプル依存レイヤ数（NumSamplePredRefLayers）に基づいて、これら符号の有無、符号長および値の範囲を定めて符号化してもよい。
また、画像符号化装置１１の別の構成として、スライスセグメントヘッダ符号化部１４０２は、スライスセグメントヘッダを、ベースレイヤと非ベースレイヤで共通の部分と、図１４で示したような非ベースレイヤに関するスライスセグメントヘッダ拡張の部分に分離して符号化する構成であってもよい。この構成においては、スライスセグメントヘッダ符号化部１４０２は、非ベースレイヤの対象スライスセグメントに関して、レイヤ間予測が有効であって（inter_layer_pred_enabled_flag=1）、レイヤ間依存ピクチャ数が依存レイヤ数と等しく（num_inter_layer_ref_pics_minus1 = NumDirectRefLayers[nuh_layer_id]?1）、対象レイヤiの参照レイヤを示す識別子がVPS拡張で指定した値と等しい場合（inter_layer_pred_layer_idc[i]=1）には、スライスセグメントヘッダ拡張を符号化しない。
以上のような構成を備えることによって、本実施形態に係る画像符号化装置は、複数レイヤの画像データを階層符号化する際に、非ベースレイヤ用のレイヤ間予測に関する複数のパラメータ群の値が所定の組合せである場合に、拡張ヘッダ情報の符号化を省略するため、階層符号化のために必要になるパラメータの符号量を削減し、符号化効率を向上させることができる。また、スライスレイヤの情報に関して、スライスセグメントヘッダを基本部分と拡張部分に分離することにより、単一レイヤのみの規格に従う画像符号化装置やソフトウェアへ与える影響を抑え、単一レイヤ対応の画像符号化装置やソフトウェアをベースにした複数レイヤ対応（複数視点画像など）を容易にするという効果が得られる。
なお、上述した実施形態における画像符号化装置１１、画像復号装置３１の一部、例えば、ヘッダ復号部４００、パラメータセット復号部４０１、スライスセグメントヘッダ復号部４０２、実依存レイヤ復号部４０３、参照ピクチャセット導出部４０４、コロケートピクチャ復号部４０５、スライスセグメントヘッダ基本復号部４０２１、スライスセグメントヘッダ拡張復号部４０２２、ヘッダ符号化部１４００、パラメータセット符号化部１４０１、スライスセグメントヘッダ符号化部１４０２、エントロピー復号部３０１、予測パラメータ復号部３０２、予測画像生成部１０１、ＤＣＴ・量子化部１０３、エントロピー符号化部１０４、逆量子化・逆ＤＣＴ部１０５、符号化パラメータ決定部１１０、予測パラメータ符号化部１１１、エントロピー復号部３０１、予測パラメータ復号部３０２、予測画像生成部３０８、逆量子化・逆ＤＣＴ部３１１をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像符号化装置１１や画像復号装置３１に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んで良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における画像符号化装置１１、画像復号装置３１の一部、または全部を、ＬＳＩ（Large Scale Integration）等の集積回路として実現しても良い。画像符号化装置１１、画像復号装置３１の各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
以上、図面を参照してこの発明の複数の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
本発明は、画像データが符号化された符号化データを復号する画像復号装置、および、画像データが符号化された符号化データを生成する画像符号化装置に好適に適用することができる。また、画像符号化装置によって生成され、画像復号装置によって参照される符号化データのデータ構造に好適に適用することができる。
１…画像伝送システム
１１…画像符号化装置
３００…画像データ復号部
４００…ヘッダ復号部
４０１…パラメータセット復号部
４０２…スライスセグメントヘッダ復号部
４０２１…スライスセグメントヘッダ基本復号部
４０２２…スライスセグメントヘッダ拡張復号部
４０３…実依存レイヤ復号部
４０４…参照ピクチャセット導出部
４０５…コロケートピクチャ復号部
１０１…予測画像生成部
１０２…減算部
１０３…ＤＣＴ・量子化部
１０４…エントロピー符号化部
１０５…逆量子化・逆ＤＣＴ部
１０６…加算部
１０８…予測パラメータメモリ（フレームメモリ）
１０９…参照ピクチャメモリ（フレームメモリ）
１１０…符号化パラメータ決定部
１１１…予測パラメータ符号化部
１１２…インター予測パラメータ符号化部
１１３…イントラ予測パラメータ符号化部
１０００…画像データ符号化部
１４００…ヘッダ符号化部
１４０１…パラメータセット符号化部
１４０２…スライスセグメントヘッダ符号化部
２１…ネットワーク
３１…画像復号装置
３０１…エントロピー復号部
３０２…予測パラメータ復号部
３０３…インター予測パラメータ復号部
３０４…イントラ予測パラメータ復号部
３０６…参照ピクチャメモリ（フレームメモリ）
３０７…予測パラメータメモリ（フレームメモリ）
３０８…予測画像生成部
３０９…インター予測画像生成部
３１０…イントラ予測画像生成部
３１１…逆量子化・逆ＤＣＴ部
３１２…加算部
４１…画像表示装置
１１…画像符号化装置
３００…画像データ復号部
４００…ヘッダ復号部
４０１…パラメータセット復号部
４０２…スライスセグメントヘッダ復号部
４０２１…スライスセグメントヘッダ基本復号部
４０２２…スライスセグメントヘッダ拡張復号部
４０３…実依存レイヤ復号部
４０４…参照ピクチャセット導出部
４０５…コロケートピクチャ復号部
１０１…予測画像生成部
１０２…減算部
１０３…ＤＣＴ・量子化部
１０４…エントロピー符号化部
１０５…逆量子化・逆ＤＣＴ部
１０６…加算部
１０８…予測パラメータメモリ（フレームメモリ）
１０９…参照ピクチャメモリ（フレームメモリ）
１１０…符号化パラメータ決定部
１１１…予測パラメータ符号化部
１１２…インター予測パラメータ符号化部
１１３…イントラ予測パラメータ符号化部
１０００…画像データ符号化部
１４００…ヘッダ符号化部
１４０１…パラメータセット符号化部
１４０２…スライスセグメントヘッダ符号化部
２１…ネットワーク
３１…画像復号装置
３０１…エントロピー復号部
３０２…予測パラメータ復号部
３０３…インター予測パラメータ復号部
３０４…イントラ予測パラメータ復号部
３０６…参照ピクチャメモリ（フレームメモリ）
３０７…予測パラメータメモリ（フレームメモリ）
３０８…予測画像生成部
３０９…インター予測画像生成部
３１０…イントラ予測画像生成部
３１１…逆量子化・逆ＤＣＴ部
３１２…加算部
４１…画像表示装置
Claims (13)
- 階層符号化された符号化データを復号する画像復号装置であって、
レイヤ依存タイプを復号し、前記レイヤ依存タイプに対応するレイヤがサンプル依存を示すレイヤであるかを判定する手段を備える依存タイプ復号手段と、
前記サンプル依存を示す依存レイヤから、サンプル依存レイヤを抽出する依存レイヤ導出部と、サンプル依存レイヤを用いて参照ピクチャセットを導出する参照ピクチャセット復号部と、
前記レイヤ間参照ピクチャセットを用いて導出される参照ピクチャリストで指定される参照ピクチャを用いて予測画像を生成するインター予測画像生成部を備えることを特徴とする画像復号装置。 - 上記依存タイプ復号手段は、パラメータセットの符号化データから、レイヤ依存タイプを復号し、前記レイヤ依存タイプに応じて、依存レイヤがサンプル依存レイヤか否かを示すフラグであるSamplePredEnableFlagを導出し、
上記依存レイヤ導出部は、スライスセグメントレイヤの符号化データからレイヤ間予測参照ピクチャのレイヤ間依存識別子（inter_layer_pred_layer_idc）を復号し、SamplePredEnableFlagが１である依存レイヤから、サンプル依存レイヤActiveSamplePredRefLayerIdを導出することを特徴とする画像復号装置。 - 上記画像復号装置は、さらにレイヤ間予測限定フラグinter_layer_sample_onlyフラグを復号するレイヤ間予測限定フラグ復号手段を備え、
上記依存レイヤ導出部は、前記レイヤ依存タイプに応じて、前記サンプル依存レイヤの数NumActiveSamplePredRefLayersを導出し、
上記参照ピクチャセット復号部は、前記レイヤ間予測限定フラグinter_layer_sample_onlyフラグが、レイヤ間予測のみを示す場合には、同一レイヤのピクチャを参照ピクチャリストに入れず、
前記レイヤ間予測限定フラグ復号手段は、動きのみ依存レイヤ数NumActiveSamplePredRefLayersが１以上である場合に、レイヤ間予測限定フラグinter_layer_sample_onlyフラグを復号することを特徴とする画像復号装置。 - 階層符号化された符号化データを復号する画像復号装置であって、
レイヤ依存タイプを復号し、前記レイヤ依存タイプに対応するレイヤが動き依存かつサンプル依存ではないことを示す動き依存限定レイヤであるかを判定する手段を備える依存タイプ復号手段と、
前記動き依存限定レイヤから、代替参照ピクチャを復号する代替参照ピクチャ復号部と、
前記代替参照ピクチャを用いて、テンポラル動きベクトルを導出するインター予測パラメータ復号部を備えることを特徴とする画像復号装置。 - 上記代替参照ピクチャ復号部は、前記レイヤ依存タイプに応じて、動き依存かつサンプル依存ではないことを示す依存レイヤである動き依存限定レイヤの数NumActiveMotionPredRefLayersを導出し、前記動きのみ依存レイヤ数NumActiveMotionPredRefLayersが１以上である場合に、スライスセグメントレイヤの符号化データから代替参照ピクチャを用いるかどうかを示すフラグalt_collocated_indication_flagを復号することを特徴とする請求項３に記載の画像復号装置。
- 上記代替参照ピクチャ復号部は、前記レイヤ依存タイプに応じて、動き依存かつサンプル依存ではないことを示す依存レイヤである動き依存限定レイヤActivnMotionPredRefLayerIdを導出し、
前記動き依存限定レイヤを示すフラグであるMotionPredEnableFlagを参照し、前記動き依存限定レイヤから、代替参照ピクチャを特定する識別子collocated_ref_layer_idxを復号することを特徴とする請求項３に記載の画像復号装置。 - 複数レイヤの画像データを階層符号化する画像符号化装置であって、
非ベースレイヤのピクチャの符号化方法に関するパラメータとして、少なくともレイヤ間のサンプル予測に関する実依存レイヤ情報とレイヤ間の動き予測に関する実依存レイヤ情報を符号化するヘッダ符号化手段を備え、
該ヘッダ符号化手段は、対象レイヤに関するサンプル依存レイヤ数（NumSamplePredRefLayers）に基づいて、レイヤ間予測参照ピクチャ数（num_inter_layer_ref_pics_minus1）およびレイヤ間依存識別子（inter_layer_pred_layer_idc）の符号の有無、符号長および値の範囲を定めて符号化すると共に、符号化された前記レイヤ間予測参照ピクチャ数および前記レイヤ間依存識別子を、レイヤ間のサンプル予測に関する実依存レイヤ情報として非ベースレイヤのピクチャの符号化に用いることを特徴とする画像符号化装置。 - 階層符号化された符号化データを復号する画像復号装置であって、
非ベースレイヤのピクチャの符号化方法に関するパラメータとして、少なくともレイヤnuh_layer_idに関する依存レイヤ数（NumDirectRefLayers[nuh_layer_id]）を復号するパラメータセット復号手段と、
ベースレイヤと非ベースレイヤで共通の符号化パラメータを復号するスライスセグメントヘッダ基本復号手段と、
非ベースレイヤに関する符号化パラメータを復号するスライスセグメントヘッダ拡張復号手段とを備え、
前記スライスセグメントヘッダ拡張復号手段は、非ベースレイヤのピクチャのレイヤ間予測の有無（inter_layer_pred_enable_flag）、レイヤ間予測参照ピクチャ数（num_inter_layer_ref_pics_minus1）、レイヤ間依存識別子（inter_layer_pred_layer_idc[i]）を示す各パラメータを復号し、符号化データ中に前記各シンタックスが含まれない場合には、inter_layer_pred_enable_flagをレイヤ間予測を行うことを示す１に、num_inter_layer_ref_pics_minus1をNumDirectRefLayers[ nuh_layer_id ] - 1に、inter_layer_pred_layer_idc[i]をパラメータセットで復号した依存レイヤをそのまま用いることを示すiに設定することを特徴とする画像復号装置。 - 階層符号化された符号化データを復号する画像復号装置であって、
ベースレイヤと非ベースレイヤで共通の符号化パラメータを復号するスライスセグメントヘッダ基本復号手段と、
非ベースレイヤに関する符号化パラメータを復号するスライスセグメントヘッダ拡張復号手段とを備え、
前記スライスセグメントヘッダ拡張復号手段は、
非ベースレイヤのピクチャにおけるテンポラル動きベクトル予測時の参照ピクチャを示す代替参照ピクチャ情報（alt_collocated_indication_flag, collocated_ref_layer_idx）を復号する代替参照ピクチャ復号手段と、
復号された前記代替参照ピクチャ情報で指定されたピクチャを用いて、テンポラル動きベクトルを導出する動きベクトル導出部を備え、
前記代替参照ピクチャ復号手段は、符号化データ中にスライスセグメントヘッダ拡張が含まれる場合は、前記代替参照ピクチャ情報を符号化データから復号し、符号化データ中にスライスセグメントヘッダ拡張が含まれない場合には、代替参照ピクチャ情報として、代替参照レイヤを用いないことを示すalt_collocated_indication_flag=0を復号することを、特徴とする画像復号装置。 - 階層符号化された符号化データを復号する画像復号装置であって、
非ベースレイヤのピクチャの符号化方法に関するパラメータとして、少なくとも動き依存レイヤ数（NumMotionPredRefLayers[i]）を復号するパラメータセット復号手段と、
ベースレイヤと非ベースレイヤで共通の符号化パラメータを復号するスライスセグメントヘッダ基本復号手段と、
非ベースレイヤに関する符号化パラメータを復号するスライスセグメントヘッダ拡張復号手段とを備え、
前記スライスセグメントヘッダ拡張復号手段は、
非ベースレイヤのピクチャにおけるテンポラル動きベクトル予測時の参照ピクチャを示す代替参照ピクチャ情報（alt_collocated_indication_flag, collocated_ref_layer_idx）を復号する代替参照ピクチャ復号手段と、
復号された前記代替参照ピクチャ情報で指定されたピクチャを用いて、テンポラル動きベクトルを導出する動きベクトル導出部を備え、
前記代替参照ピクチャ復号手段は、符号化データ中にスライスセグメントヘッダ拡張が含まれる場合は、前記代替参照ピクチャ情報を符号化データから復号し、符号化データ中にスライスセグメントヘッダ拡張が含まれない場合には、前記パラメータセット復号手段が導出した動き依存レイヤ数（NumMotionPredRefLayers[i]）が０である場合は、代替参照ピクチャ情報として、代替参照レイヤを用いないことを示すalt_collocated_indication_flag=0を復号し、動き依存レイヤ数（NumMotionPredRefLayers[i]）が０以外である場合は、代替参照レイヤを用いることを示すalt_collocated_indication_flag=1を復号することを、特徴とする画像復号装置。 - 階層符号化された符号化データを復号する画像復号装置であって、
ベースレイヤと非ベースレイヤで共通の符号化パラメータを復号するスライスセグメントヘッダ基本復号手段と、
非ベースレイヤに関する符号化パラメータを復号するスライスセグメントヘッダ拡張復号手段とを備え、
前記スライスセグメントヘッダ拡張復号手段は、
非ベースレイヤのピクチャにおけるテンポラル動きベクトル予測時の参照ピクチャを示す代替参照ピクチャ情報（alt_collocated_indication_flag, collocated_ref_layer_idx）を復号する代替参照ピクチャ復号手段と、
参照ピクチャ情報（ＲＰＳ、ＲＰＬ）を復号する参照ピクチャセット導出手段と、
復号された前記代替参照ピクチャ情報で指定されたピクチャを用いて、テンポラル動きベクトルを導出する動きベクトル導出部を備え、
前記代替参照ピクチャ復号手段は、符号化データ中にスライスセグメントヘッダ拡張が含まれる場合は、前記代替参照ピクチャ情報を符号化データから復号し、符号化データ中にスライスセグメントヘッダ拡張が含まれない場合には、前記参照ピクチャセット導出手段が導出した参照ピクチャセットに同じ対象レイヤのピクチャが含まれる場合は、代替参照ピクチャ情報として、代替参照レイヤを用いないことを示すalt_collocated_indication_flag=0を復号し、前記代替参照ピクチャ復号手段が導出した参照ピクチャ情報に同じ対象レイヤのピクチャが含まれない場合は、代替参照レイヤを用いることを示すalt_collocated_indication_flag=1を復号することを、特徴とする画像復号装置。 - 階層符号化された符号化データを復号する画像復号装置であって、
ベースレイヤと非ベースレイヤで共通の符号化パラメータを復号するスライスセグメントヘッダ基本復号手段と、
非ベースレイヤに関する符号化パラメータを復号するスライスセグメントヘッダ拡張復号手段とを備え、
スライスセグメントヘッダ拡張復号手段は、符号化データ中にスライスセグメントヘッダ拡張が含まれる場合は、非ベースレイヤのピクチャの復号方法に関するパラメータとして、少なくともテンポラル動きベクトル予測時の参照ピクチャを示すパラメータ（alt_collocated_indication_flag, collocated_ref_layer_idx）を復号し、
符号化データ中にスライスセグメントヘッダ拡張が含まれない場合は、スライスセグメントヘッダに含まれる符号化パラメータであって、ベースレイヤのテンポラル動きベクトル予測における参照ピクチャを示すパラメータ（collocated_from_0_flag, collocated_ref_idx）に基づいて、非ベースレイヤのピクチャにおける前記各パラメータを決定することを特徴とする画像復号装置。 - 複数レイヤの画像データを階層符号化する画像符号化装置であって、
ベースレイヤと非ベースレイヤで共通の符号化パラメータを符号化するスライスセグメントヘッダ基本符号化手段と、
非ベースレイヤに関する符号化パラメータを符号化するスライスセグメントヘッダ拡張符号化手段とを備え、
スライスセグメントヘッダ拡張符号化手段は、非ベースレイヤに関する符号化パラメータのうち、レイヤ間予測に関する複数のパラメータ群の値が所定の組合せである場合に、スライスセグメントヘッダ拡張の符号化を省略することを特徴とする画像符号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013141570A JP2015015626A (ja) | 2013-07-05 | 2013-07-05 | 画像復号装置および画像符号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013141570A JP2015015626A (ja) | 2013-07-05 | 2013-07-05 | 画像復号装置および画像符号化装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015015626A true JP2015015626A (ja) | 2015-01-22 |
Family
ID=52437060
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013141570A Pending JP2015015626A (ja) | 2013-07-05 | 2013-07-05 | 画像復号装置および画像符号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015015626A (ja) |
-
2013
- 2013-07-05 JP JP2013141570A patent/JP2015015626A/ja active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6469588B2 (ja) | 残差予測装置、画像復号装置、画像符号化装置、残差予測方法、画像復号方法、および画像符号化方法 | |
| EP3092805B1 (en) | Block-based advanced residual prediction for 3d video coding | |
| WO2015005331A1 (ja) | 画像復号装置および画像符号化装置 | |
| JP6254254B2 (ja) | ３次元（３ｄ）ビデオコーディング用の進化型マージモード | |
| JP6225241B2 (ja) | 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法 | |
| KR102060857B1 (ko) | ３ｄ-ｈｅｖｃ 를 위한 단순화된 진보된 모션 예측 | |
| WO2016125685A1 (ja) | 画像復号装置、画像符号化装置および予測ベクトル導出装置 | |
| JP5992640B2 (ja) | ビデオコード化における参照ピクチャリストのためのビュー間予測の無効化 | |
| AU2013330031B2 (en) | Method and apparatus for motion information prediction and inheritance in video coding | |
| WO2014103529A1 (ja) | 画像復号装置、およびデータ構造 | |
| JP2016513907A (ja) | マルチビュー又は３次元ビデオコード化におけるビュー間残差予測 | |
| US20160277758A1 (en) | Image decoding device and image coding device | |
| JP2015515228A (ja) | マルチビューコード化及び３ｄコード化におけるビュー依存性 | |
| CN109547800B (zh) | 用于3d-hevc的简化高级残余预测 | |
| JP6473078B2 (ja) | 画像復号装置 | |
| JP2016213519A (ja) | 画像復号装置、画像符号化装置 | |
| JP2016034050A (ja) | 画像復号装置、画像符号化装置および、データ構造 | |
| JP6401707B2 (ja) | 画像復号装置、画像復号方法、および記録媒体 | |
| JP2015015626A (ja) | 画像復号装置および画像符号化装置 | |
| JP2014204327A (ja) | 画像復号装置および画像符号化装置 | |
| WO2014010525A1 (ja) | 予測ベクトル生成装置、および画像復号装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150423 |