[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JPWO2014103529A1 - 画像復号装置、およびデータ構造 - Google Patents

画像復号装置、およびデータ構造 Download PDF

Info

Publication number
JPWO2014103529A1
JPWO2014103529A1 JP2014554222A JP2014554222A JPWO2014103529A1 JP WO2014103529 A1 JPWO2014103529 A1 JP WO2014103529A1 JP 2014554222 A JP2014554222 A JP 2014554222A JP 2014554222 A JP2014554222 A JP 2014554222A JP WO2014103529 A1 JPWO2014103529 A1 JP WO2014103529A1
Authority
JP
Japan
Prior art keywords
unit
picture
layer
poc
nal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014554222A
Other languages
English (en)
Inventor
知宏 猪飼
知宏 猪飼
内海　端
端 内海
貴也 山本
貴也 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JPWO2014103529A1 publication Critical patent/JPWO2014103529A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

複数のレイヤ間で同じ時刻を有するピクチャは、同じ表示時刻ＰＯＣを割り当てる。また、全てのレイヤで同じＮＡＬユニットタイプを有することで、ＰＯＣの初期化タイミングをレイヤ間で同一とし、また、ＰＯＣの管理長と、ＰＯＣ下位ビットをレイヤ間で同一とするような、全てのレイヤで同じ時刻のピクチャに同じＰＯＣを割り当てるという符号化データの制限を設ける。また、レイヤＩＤが０以外のＲＡＰピクチャではイントラスライスI_SLICE以外のスライスタイプを備える。

Description

本発明は、画像復号装置、およびデータ構造に関する。
複数視点の画像符号化技術には、複数の視点の画像を符号化する際に画像間の視差を予測することによって情報量を低減する視差予測符号化や、その符号化方法に対応した復号方法が提案されている（例えば、非特許文献１）。視点画像間の視差を表すベクトルを変位ベクトルと呼ぶ。変位ベクトルは、水平方向の要素（ｘ成分）と垂直方向の要素（ｙ成分）を有する２次元のベクトルであり、１つの画像を分割した領域であるブロック毎に算出される。また、複数視点の画像を取得するには、それぞれの視点に配置されたカメラを用いることが一般的である。複数視点の符号化では、各視点画像は、複数のレイヤにおいてそれぞれ異なるレイヤとして符号化される。複数のレイヤから構成される動画像の符号化方法は、一般に、スケーラブル符号化又は階層符号化と呼ばれる。スケーラブル符号化では、レイヤ間で予測を行うことで、高い符号化効率を実現する。レイヤ間で予測を行わずに基準となるレイヤは、ベースレイヤ、それ以外のレイヤは拡張レイヤと呼ばれる。レイヤが視点画像から構成される場合のスケーラブル符号化を、ビュースケーラブル符号化と呼ぶ。このとき、ベースレイヤはベースビュー、拡張レイヤは非ベースビューとも呼ばれる。さらに、ビュースケーラブルに加え、レイヤがテクスチャレイヤ（画像レイヤ）とデプスレイヤ（距離画像レイヤ）から構成される場合のスケーラブル符号化を、３次元スケーラブル符号化と呼ばれる。
また、スケーラブル符号化には、ビュースケーラブル符号化の他、空間的スケーラブル（ベースレイヤとして解像度の低いピクチャ、拡張レイヤが解像度の高いピクチャを処理）、ＳＮＲスケーラブル符号化（ベースレイヤとして画質の低いピクチャ、拡張レイヤとして解像度の高いピクチャを処理）等がある。スケーラブル符号化では、例えばベースレイヤのピクチャを、拡張レイヤのピクチャの符号化において、参照ピクチャとして用いることがある。
また、非特許文献１においては、HEVCのスケーラブル符号化技術のパラメータ構造として、符号化データをＮＡＬユニットとしてパケット化するときに、用いるＮＡＬユニットヘッダの構造と、複数のレイヤの拡張方法を規定するビデオパラメータセットの構造が知られている。非特許文献１では、画像符号化データをパケット化するＮＡＬユニットにおいて、レイヤを識別するためのＩＤであるレイヤＩＤ（layer_id）を符号化することが知られており、また、複数レイヤに共通するパラメータを規定するビデオパラメータセットでは、拡張方法を指定するスケーラブルマスクscalable_mask、各レイヤの次元を示すdimension_id、各レイヤの符号化データがどのレイヤに依存するかを示す、依存レイヤのレイヤＩＤref_layer_idなどが符号化される。スケーラブルマスクでは、空間、画質、デプス、ビューのスケーラブル種別ごとにオンオフが指定できる。ビューのスケーラブルをオン、もしくは、デプスとビューのスケーラブルをオンとしたものが、３Ｄスケーラブルに相当する。
非特許文献２においては、HEVCベースの３次元スケーラブル符号化技術として、ビュースケーラブルとデプススケーラブルを用いる技術が知られている。非特許文献２においては、デプスを符号化する技術として、デプスと同時刻のテクスチャの復号画像を用いてデプスの予測画像を予測するデプスイントラ予測（ＤＭＭ）、デプスと同時刻のテクスチャの動き補償パラメータを、デプスの動き補償パラメータとして用いる動きパラメータ継承（ＭＰＩ）技術が知られている。また、非特許文献２においては、レイヤＩＤの０ビット目をデプスとテクスチャの識別に用いるデプスフラグdepth_flagに用い、レイヤＩＤの１ビット目以上を、ビューＩＤに用いる技術が知られている。レイヤＩＤに基づいてデプスか否かを判定し、デプスと判定される場合にのみ、デプス符号化技術であるデプスイントラ予測、動きパラメータ継承をデコーダで用いることができるか否かを示すフラグenable_dmm_flag、use_mpi_flagを符号化する。また、非特許文献２においては、同じ時刻のビュー、デプスのピクチャは同じ符号化単位（アクセスユニット）として符号化することが記述されている。
"NAL unit header and parameter set designs for HEVC extensions"，JCTVC-K1007，JCTVC Shanghai, CN, 10‐19 October 2012 G. Tech, K. Wegner, Y. Chen, S. Yea, "3D-HEVC Test Model 1", JCT3V-A1005, JCT3V 1st meeting, Stockholm, SE, 16-20 July, 2012
しかしながら、非特許文献２においては、同じ時刻のビュー、デプスのピクチャは同じ符号化単位（アクセスユニット）として符号化するという方針のみが表明されているが、符号化データ中で、どのように表示時刻ＰＯＣを符号化するかが規定されていない、具体的には、表示時刻を管理する変数である表示時刻ＰＯＣを複数のレイヤ間で等しくする方法が規定されていないために、複数のレイヤ間でＰＯＣが異なる場合、同じ時刻であることをデコーダで判断することが困難であるという課題があった。また、ＰＯＣの復号において、複数のレイヤで表示時刻ＰＯＣの初期化タイミングが異なる場合や、表示時刻ＰＯＣの管理長が異なる場合には、複数のレイヤ間で同じ時刻のピクチャが同じ表示時刻ＰＯＣを持つことができないため、同じ時刻であることが管理できないという課題があった。
また、非特許文献２においては、ＲＡＰピクチャのスライスタイプが、レイヤによらず、イントラスライスに制限されるため、レイヤＩＤ＝０以外のピクチャがＲＡＰピクチャである場合において、他のピクチャを参照することができず符号化効率が十分ではないという課題があった。
また、非特許文献２においては、レイヤに応じてＮＡＬユニットタイプが異なる場合、および、ＲＡＰピクチャであるかどうかが異なる場合があるため、複数のレイヤを同じ時刻から再生することが困難であるという課題が有った。
本発明は上記の点に鑑みてなされたものであり、複数のレイヤ間において、表示時刻ＰＯＣが一致することを可能にする、もしくは、レイヤＩＤが０以外のレイヤのＲＡＰピクチャで、対象レイヤ以外のピクチャを参照することを可能にする、もしくは、複数のレイヤを同じ時刻から再生することを容易にする画像復号装置、画像符号化装置および、データ構造を提供する。
上記の課題を解決するために、本発明の一態様に係る符号化データ構造は、スライスタイプを規定するスライスヘッダを含み、さらに、上記スライスヘッダは、レイヤＩＤが０のスライスの場合には、イントラスライスである制限を有し、レイヤＩＤが０以外のスライスの場合には、イントラスライスであるという制限がないことを特徴としている。
また、本発明の一態様に係る符号化データ構造は、ＮＡＬユニットヘッダとＮＡＬユニットデータを単位（ＮＡＬユニット）とし、１つ以上のＮＡＬユニットから構成される符号化データ構造において、上記ＮＡＬユニットヘッダは、レイヤＩＤと、ＮＡＬユニットの種類を規定するＮＡＬユニットタイプnal_unit_typeを含み、上記ＮＡＬユニットデータに含まれるピクチャパラメータセットは、表示時刻ＰＯＣの下位ビット最大値MaxPicOrderCntLsbを含み、上記ＮＡＬユニットデータに含まれるスライスデータは、スライスヘッダとスライスデータから構成され、上記スライスデータは、上記表示時刻ＰＯＣの下位ビットpic_order_cnt_lsbを含む符号化データにおいて、全てのレイヤにおいて、同じアクセスユニットに格納される、全てのＮＡＬユニットは、その含まれるスライスヘッダにおいて、同じ表示時刻ＰＯＣを含むことを特徴としている。
また、本発明の一態様に係る画像復号装置は、ＮＡＬユニットヘッダからレイヤＩＤと、ＮＡＬユニットの種類を規定するＮＡＬユニットタイプnal_unit_typeを復号するＮＡＬユニットヘッダ復号部と、ピクチャパラメータセットから、表示時刻ＰＯＣの下位ビット最大値MaxPicOrderCntLsbを復号するＰＯＣ下位ビット最大値復号部と、スライスヘッダから、上記表示時刻ＰＯＣの下位ビットpic_order_cnt_lsbを復号するＰＯＣ下位ビット復号部と、上記ＮＡＬユニットタイプnal_unit_typeと上記表示時刻ＰＯＣの下位ビット最大値MaxPicOrderCntLsbと、上記表示時刻ＰＯＣの下位ビットpic_order_cnt_lsbから上記表示時刻ＰＯＣの上位ビットを導出するＰＯＣ上位ビット導出部と、上記表示時刻ＰＯＣの上位ビットと上記表示時刻ＰＯＣの下位ビットの和から上記表示時刻ＰＯＣを導出するＰＯＣ加算部を備え、上記ＰＯＣ上位ビット導出部は、レイヤＩＤが０であるピクチャのＮＡＬユニットタイプnal_unit_typeが上記表示時刻ＰＯＣを初期化する必要を要するＲＡＰピクチャ（ＢＬＡもしくはＩＤＲ）である場合に、対象レイヤの上記表示時刻ＰＯＣの初期化を行うことを特徴としている。
また、本発明の一態様に係る符号化データ構造は、ＮＡＬユニットヘッダとＮＡＬユニットデータを単位（ＮＡＬユニット）とし、１つ以上のＮＡＬユニットから構成される符号化データ構造において、上記ＮＡＬユニットヘッダは、レイヤＩＤと、ＮＡＬユニットの種類を規定するＮＡＬユニットタイプnal_unit_typeを含み、レイヤＩＤが０以外のピクチャのＮＡＬユニットヘッダは、同じ表示時刻ＰＯＣのレイヤＩＤが０のピクチャのＮＡＬユニットヘッダと同じnal_unit_typeを含まなくてならない、という制限を有することを特徴としている。
また、本発明の一態様に係る符号化データ構造は、ＮＡＬユニットヘッダとＮＡＬユニットデータを単位（ＮＡＬユニット）とし、１つ以上のＮＡＬユニットから構成される符号化データ構造において、上記ＮＡＬユニットヘッダは、レイヤＩＤと、ＮＡＬユニットの種類を規定するＮＡＬユニットタイプnal_unit_typeを含み、レイヤＩＤが０以外のピクチャのＮＡＬユニットヘッダは、前記ピクチャと同じ出力時刻のレイヤＩＤが０のピクチャのＮＡＬユニットヘッダが、表示時刻ＰＯＣを初期化する必要を要するＲＡＰピクチャ（ＢＬＡもしくはＩＤＲ）のＮＡＬユニットタイプnal_unit_typeを含む場合には、同じ表示時刻ＰＯＣのレイヤＩＤが０のピクチャのＮＡＬユニットヘッダと同じnal_unit_typeを含まなくてならない、という制限を有することを特徴としている。
本発明の符号化データ構造によれば、同じ時刻を有する複数のレイヤにおいて、表示時刻ＰＯＣの初期化が同じ時刻のピクチャで行われるため、表示タイミングをピクチャの時刻を用いて管理する場合などにおいて、同じ時刻のピクチャであることをＰＯＣを用いて管理することが可能となり、参照ピクチャの探索および同期が容易になるという効果を奏する。
また、本発明のレイヤＩＤに依存したスライスタイプの値の範囲の制限を有する符号化データ構造によれば、レイヤＩＤが０以外のレイヤのピクチャにおいては、ＮＡＬユニットタイプがランダムアクセスピクチャ（ＲＡＰ）の場合においても、同じ表示時刻のレイヤＩＤが０のピクチャを参照画像として用いることができるため、符号化効率が向上する、という効果を奏する。
本発明の実施形態に係る画像伝送システムの構成を示す概略図である。 本実施形態に係る符号化データ＃１のデータの階層構造を示す図である。 参照ピクチャリストの一例を示す概念図である。 参照ピクチャの例を示す概念図である。 本実施形態に係る画像復号装置の構成を示す概略図である。 本実施形態に係るインター予測パラメータ復号部３０３の構成を示す概略図である。 本実施形態に係るマージ予測パラメータ導出部３０３６の構成を示す概略図である。 本実施形態に係るAMVP予測パラメータ導出部３０３２の構成を示す概略図である。 ベクトル候補の一例を示す概念図である。 本実施形態に係るイントラ予測画像生成部３１０の構成を示す概略図である。 本実施形態に係るインター予測画像生成部３０９の構成を示す概略図である。 本実施形態に係る残差予測の概念図である。 本実施形態に係る照度補償の概念図である。 本実施形態に係る照度補償で用いるテーブルを示す図である。 本発明の実施形態に係るイントラ予測画像生成部３１０で処理されるデプスイントラ予測を説明するための図である。 本発明の実施形態に係るイントラ予測画像生成部３１０で処理されるデプスイントラ予測を説明するための図である。 本発明の実施形態に係るＮＡＬユニットの構成を示す概略図である。 本発明の実施形態に係るＮＡＬユニットの符号化データの構成を示す図である。 本発明の実施形態に係るＮＡＬユニットタイプの値とＮＡＬユニットの種別の関係を示す図である。 本発明の実施形態に係るＶＰＳの符号化データの構成を示す図である。 本発明の実施形態に係るＶＰＳ拡張の符号化データの構成を示す図である。 本発明の実施形態に係るランダムアクセスピクチャの構成を示す図である。 本発明の実施形態に係る画像復号装置１の概略的構成について示した機能ブロック図である。 本発明の実施形態に係るヘッダ復号部１０の概略的構成について示した機能ブロック図である。 本発明の実施形態に係るＮＡＬユニットヘッダ復号部２１１の概略的構成について示した機能ブロック図である。 本発明の実施形態に係るＶＰＳ復号部２１２の概略的構成について示した機能ブロック図である。 本発明の実施形態に係るレイヤ情報格納部２１３で格納される情報を示す図である。 本実施形態に係るピクチャ構造の構成を示す概略図である。 本実施形態に係る画像符号化装置２の構成を示す概略図である。 本実施形態に係るピクチャ符号化部２１の構成を示すブロック図である。 本実施形態に係るインター予測パラメータ符号化部１１２の構成を示す概略図である。 本実施形態に係るヘッダ符号化部１０Ｅの概略的構成について示した機能ブロック図である。 本実施形態に係るＮＡＬユニットヘッダ符号化部２１１Ｅの概略的構成について示した機能ブロック図である。 本実施形態に係るＶＰＳ符号化部２１２Ｅの概略的構成について示した機能ブロック図である。 本発明の実施形態に係るＰＯＣ情報復号部２１６の構成を示す概略図である。 本発明の実施形態に係るＰＯＣ情報復号部２１６の動作を示す図である。 本発明の実施形態に係るＰＯＣ制限の概念図である。 本発明の実施形態に係るＲＡＰピクチャにおけるスライスタイプを説明する図である。 本実施形態に係る参照ピクチャ管理部１３の概略的構成について示した機能ブロック図である。 参照ピクチャセットと参照ピクチャリストの例を示す図であり、（ａ）は、動画像を構成するピクチャを表示順に並べた図であり、（ｂ）は、対象ピクチャに適用されるＲＰＳ情報の例を示す図であり、（ｃ）は、対象ピクチャのＰＯＣが０の場合に、（ｂ）で例示したＲＰＳ情報を適用したときに導出される現ＲＰＳの例を示す図であり、（ｄ）および（ｅ）は、現ＲＰＳに含まれる参照ピクチャから生成される参照ピクチャリストの例を示す図である。 参照ピクチャリスト修正例を示す図であり、（ａ）は修正前Ｌ０参照リストを示す図であり、（ｂ）はＲＰＬ修正情報を示す図であり、（ｃ）は、修正後のＬ０参照リストを示す図である。 上記画像復号装置のヘッダ復号部および参照ピクチャ情報復号部においてＳＰＳ復号時に利用されるＳＰＳシンタックス表の一部を例示する図である。 上記画像復号装置のヘッダ復号部および参照ピクチャ情報復号部におけるＳＰＳ復号時、および、スライスヘッダ復号時に利用される短期参照ピクチャセットのシンタックス表を例示する図である。 上記画像復号装置のヘッダ復号部および参照ピクチャ情報復号部においてスライスヘッダ復号時に利用されるスライスヘッダシンタックス表の一部を例示する図である。 上記画像復号装置のヘッダ復号部および参照ピクチャ情報復号部においてスライスヘッダ復号時に利用されるスライスヘッダシンタックス表の一部を例示する図である。 上記画像復号装置のヘッダ復号部および参照ピクチャ情報復号部においてスライスヘッダ復号時に利用される参照リスト並べ替え情報のシンタックス表を例示する図である。 上記画像復号装置におけるスライスヘッダ復号時に利用される参照リスト並べ替え情報のシンタックス表を例示する図である。 本発明の実施形態に係るＰＯＣ情報符号化部２１６Ｅの構成を示す概略図である。
（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について説明する。
図１は、本実施形態に係る画像伝送システム５の構成を示す概略図である。
画像伝送システム５は、複数のレイヤ画像を符号化した符号を伝送し、伝送された符号を復号した画像を表示するシステムである。画像伝送システム５は、画像符号化装置２、ネットワーク３、画像復号装置１及び画像表示装置４を含んで構成される。
画像符号化装置２には、複数のレイヤ画像（テクスチャ画像ともいう）を示す信号Ｔ（入力画像＃１０）が入力される。レイヤ画像とは、ある解像度及びある視点で視認もしくは撮影される画像である。複数のレイヤ画像を用いて３次元画像を符号化するビュースケーラブル符号化を行う場合、複数のレイヤ画像のそれぞれは、視点画像と呼ばれる。ここで、視点は撮影装置の位置又は観測点に相当する。例えば、複数の視点画像は、被写体に向かって左右の撮影装置のそれぞれが撮影した画像である。画像符号化装置２は、この信号のそれぞれを符号化して符号化データ＃１（符号化データ）を生成する。符号化データ＃１の詳細については、後述する。視点画像とは、ある視点において観測される２次元画像（平面画像）である。視点画像は、例えば２次元平面内に配置された画素毎の輝度値、又は色信号値で示される。以下では、１枚の視点画像又は、その視点画像を示す信号をピクチャ（ｐｉｃｔｕｒｅ）と呼ぶ。また、複数のレイヤ画像を用いて空間スケーラブル符号化を行う場合、その複数のレイヤ画像は、解像度の低いベースレイヤ画像と、解像度の高い拡張レイヤ画像からなる。複数のレイヤ画像を用いてＳＮＲスケーラブル符号化を行う場合、その複数のレイヤ画像は、画質の低いベースレイヤ画像と、画質の高い拡張レイヤ画像からなる。なお、ビュースケーラブル符号化、空間スケーラブル符号化、ＳＮＲスケーラブル符号化を任意に組み合わせて行っても良い。
ネットワーク３は、画像符号化装置２が生成した符号化データ＃１を画像復号装置１に伝送する。ネットワーク３は、インターネット（ｉｎｔｅｒｎｅｔ）、広域ネットワーク（ＷＡＮ：Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、小規模ネットワーク（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）又はこれらの組み合わせである。ネットワーク３は、必ずしも双方向の通信網に限らず、地上波ディジタル放送、衛星放送等の放送波を伝送する一方向又は双方向の通信網であっても良い。また、ネットワーク３は、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＢＤ（Ｂｌｕｅ−ｒａｙ Ｄｉｓｃ）等の符号化データ＃１を記録した記憶媒体で代替されても良い。
画像復号装置１は、ネットワーク３が伝送した符号化データ＃１のそれぞれを復号し、それぞれ復号した複数の復号レイヤ画像Ｔｄ（復号視点画像Ｔｄ、復号画像＃２）を生成する。
画像表示装置４は、画像復号装置１が生成した複数の復号レイヤ画像Ｔｄ（復号画像＃２）の全部又は一部を表示する。例えば、ビュースケーラブル符号化においては、全部の場合、３次元画像（立体画像）や自由視点画像が表示され、一部の場合、２次元画像が表示される。画像表示装置４は、例えば、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ−ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の表示デバイスを備える。また、空間スケーラブル符号化、ＳＮＲスケーラブル符号化では、画像復号装置１、画像表示装置４が高い処理能力を有する場合には、画質の高い拡張レイヤ画像を表示し、より低い処理能力しか有しない場合には、拡張レイヤほど高い処理能力、表示能力を必要としないベースレイヤ画像を表示する。
＜符号化データ＃１の構造＞
本実施形態に係る画像符号化装置２および画像復号装置１の詳細な説明に先立って、画像符号化装置２によって生成され、画像復号装置１によって復号される符号化データ＃１のデータ構造について説明する。
（ＮＡＬユニットレイヤ）
図１７は、符号化データ＃１におけるデータの階層構造を示す図である。符号化データ＃１は、ＮＡＬ（Network Abstraction Layer）ユニットと呼ばれる単位で符号化される。
ＮＡＬは、動画像符号化処理を行う層であるＶＣＬ（Video Coding Layer）と、符号化データを伝送・蓄積する下位システムとの間における通信を抽象化するために設けられる層である。
ＶＣＬは、画像符号化処理を行う層のことであり、ＶＣＬにおいて符号化が行われる。一方、ここでいう、下位システムは、Ｈ．２６４／ＡＶＣおよびＨＥＶＣのファイルフォーマットや、ＭＰＥＧ−２システムに対応する。以下に示す例では、下位システムは、対象レイヤおよび参照レイヤにおける復号処理に対応する。なお、ＮＡＬでは、ＶＣＬで生成されたビットストリームが、ＮＡＬユニットという単位で区切られて、宛先となる下位システムへ伝送される。
図１８（ａ）は、ＮＡＬ（Network Abstraction Layer）ユニットのシンタックステーブルを示す。ＮＡＬユニットには、ＶＣＬで符号化された符号化データ、および、当該符号化データが宛先の下位システムに適切に届けられるためのヘッダ（ＮＡＬユニットヘッダ：nal_unit_header()）が含まれる。なお、ＮＡＬユニットヘッダは、例えば、図１８（ｂ）に示すシンタックスで表わされる。ＮＡＬユニットヘッダには、ＮＡＬユニットに格納された符号化データの種類を表わす”nal_unit_type”、格納された符号化データが属するサブレイヤの識別子（テンポラル識別子）を表わす”nuh_temporal_id_plus1”や、格納された符号化データが属するレイヤの識
別子（レイヤ識別子）を表わす”nuh_layer_id”（または、nuh_reserved_zero_6bits）
が記述されている。
ＮＡＬユニットデータには、後述のパラメータセット、ＳＥＩ、スライスなどが含まれる。
図１９は、ＮＡＬユニットタイプの値とＮＡＬユニットの種別の関係を示す図である。図１９に示す通り、SYNA101 で示される０から１５の値のＮＡＬユニットタイプを持つＮＡＬユニットは、非ＲＡＰ(ランダムアクセスピクチャ)のスライスである。SYNA102 で示される１６から２１の値のＮＡＬユニットタイプを持つＮＡＬユニットは、ＲＡＰ(ランダムアクセスピクチャ)のスライスである。ＲＡＰピクチャには、大きく分けて、ＢＬＡピクチャ、ＩＤＲピクチャ、ＣＲＡピクチャがあり、ＢＬＡピクチャは、さらに、ＢＬＡ＿Ｗ＿ＬＰ、ＢＬＡ＿Ｗ＿ＤＬＰ、ＢＬＡ＿Ｎ＿ＬＰに分類される。ＩＤＲピクチャは、さらに、ＩＤＲ＿Ｗ＿ＤＬＰ、ＩＤＲ＿Ｎ＿ＬＰに分類される。ＲＡＰピクチャ以外のピクチャには後述のＬＰピクチャ、ＴＳＡピクチャ、ＳＴＳＡピクチャ、ＴＲＡＩＬピクチャなどがある。
（アクセスユニット）
特定の分類ルールにより集約されたＮＡＬユニットの集合のことをアクセスユニットと呼ぶ。レイヤ数が１の場合には、アクセスユニットは１ピクチャを構成するＮＡＬユニットの集合である。レイヤ数が１より大きい場合には、アクセスユニットは同じ時刻の複数のレイヤのピクチャを構成するＮＡＬユニットの集合である。なお、アクセスユニットの区切りを示すために、符号化データはアクセスユニットデリミタ（Access unit delimiter）と呼ばれるＮＡＬユニットを含んでも良い。アクセスユニットデリミタは、符号化データ中にあるアクセスユニットを構成するＮＡＬユニットの集合と、別のアクセスユニットを構成するＮＡＬユニットの集合の間に含まれる。
（ビデオパラメータセット）
図２０は、本発明の実施形態に係るＶＰＳ（Video Parameter Set）の符号化データの構成を示す図である。一部シンタック要素について意味を示すと、次の通りである。ＶＰＳは、複数のレイヤに共通するパラメータを規定するためのパラメータセットである。パラメータセットは、ピクチャを圧縮データである符号化データからＩＤ（video_parameter_set_id）を用いて参照される。
・video_parameter_set_id（図２０のＳＹＮＡ４０１）は、各ＶＰＳを識別するための識別子である。
・vps_temporal_id_nesting_flag（図２０のＳＹＮＡ４０２）は、当該ＶＰＳを参照するピクチャにおけるインター予測に関して、追加の制約をするか否かを表わすフラグである。
・vps_max_num_sub_layers_minus1（図２０のＳＹＮＡ４０３）は、少なくとも基本レイヤを含む階層符号化データに関して、時間スケーラビリティを除く、その他のスケーラビリティに関するレイヤの数の上限値MaxNumLayersを算出するために用いるシンタックスである。なお、レイヤ数の上限値MaxNumLayersは、MaxNumLayers = vps_max_num_sub_layers_minus1 + 1によって表わされる。階層符号化データが基本レイヤのみで構成される場合は、vps_max_num_sub_layers_minus1 = 0となる。
・vps_extension_flag（図２０のＳＹＮＡ４０４）は、ＶＰＳがさらにＶＰＳ拡張を含むか否かを示すフラグである。
・vps_extension_data_flag（図２０のＳＹＮＡ４０５）は、ＶＰＳ拡張本体であり、具体的には図２１で説明する。
なお、本明細書中「ＸＸであるか否かを示すフラグ」と記す場合、１をＸＸである場合、０をＸＸではない場合とし、論理否定、論理積などでは１を真、０を偽と扱う（以下同様）。但し、実際の装置や方法では真値、偽値として他の値を用いることもできる。
図２１は、本発明の実施形態に係るＶＰＳ拡張の符号化データの構成を示す図である。一部シンタックス要素について意味を示すと、次の通りである。
・scalability_mask（図２１のＳＹＮ５０１）は、スケーラブルの種別を示す値である。スケーラブルマスクは、各ビットが各スケーラブル種別に対応する。ビット１は空間スケーラブル、ビット２は画質スケーラブル、ビット３はデプススケーラブル、ビット４はビュースケーラブルに対応する。各ビットが１である場合に対応するスケーラブル種別が有効であることを意味する。複数のビットが１であることも可能であり、例えばscalability_maskが１２の場合は、ビット３とビット４が１であるから、デプススケーラブルとビュースケーラブルが有効である。すなわち、複数のビューとデプスを含む３Ｄスケーラブルを意味する。
・dimension_id_len_minus1（図２１のＳＹＮ５０２）は、スケーラブルの種別ごとに含まれる次元ＩＤdimention_idの数num_dimensionsを示す。num_dimensions＝dimension_id_len_minus1[1]+1である。例えば、num_dimensionsは、スケーラブルの種別がデプスの場合２、ビューの場合には視点数が復号される。
・次元ＩＤdimention_id（図２１のＳＹＮ５０３）は、スケーラブルの種別ごとのピクチャの種別を示す情報である。
・依存レイヤ数num_direct_ref_layers（図２１のＳＹＮ５０４）は、依存レイヤref_layer_idの数を示す情報である。
・依存レイヤref_layer_id（図２１のＳＹＮ５０５）は、対象レイヤが参照するレイヤのレイヤＩＤを示す情報である。
・図２１のＳＹＮ５０６で、「・・・」として示される部分は、プロファイルもしくはスケーラブルの種別ごとに異なる情報である（詳細は後述する）。
図２は、符号化データ＃１におけるデータの階層構造を示す図である。符号化データ＃１は、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。図２の（ａ）〜（ｆ）は、それぞれ、シーケンスＳＥＱを既定するシーケンスレイヤ、ピクチャＰＩＣＴを規定するピクチャレイヤ、スライスＳを規定するスライスレイヤ、スライスデータを規定するスライスデータレイヤ、スライスデータに含まれる符号化ツリーユニットを規定する符号化ツリーレイヤ、符号化ツリーに含まれる符号化単位（Coding Unit；ＣＵ）を規定する符号化ユニットレイヤを示す図である。
（シーケンスレイヤ）
シーケンスレイヤでは、処理対象のシーケンスＳＥＱ（以下、対象シーケンスとも称する）を復号するために画像復号装置１が参照するデータの集合が規定されている。シーケンスＳＥＱは、図２の（ａ）に示すように、ビデオパラメータセット（Video Parameter Set）シーケンスパラメータセットＳＰＳ（Sequence Parameter Set）、ピクチャパラメータセットＰＰＳ（Picture Parameter Set）、ピクチャＰＩＣＴ、及び、付加拡張情報ＳＥＩ（Supplemental Enhancement Information）を含んでいる。ここで＃の後に示される値はレイヤＩＤを示す。図２では、＃０と＃１すなわちレイヤＩＤが０とレイヤＩＤが１の符号化データが存在する例を示すが、レイヤの種類およびレイヤの数はこれによらない。
ビデオパラメータセットＶＰＳは、複数のレイヤから構成されている動画像において、複数の動画像に共通する符号化パラメータの集合および動画像に含まれる複数のレイヤおよび個々のレイヤに関連する符号化パラメータの集合が規定されている。
シーケンスパラメータセットＳＰＳでは、対象シーケンスを復号するために画像復号装置１が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの幅や高さが規定される。
ピクチャパラメータセットＰＰＳでは、対象シーケンス内の各ピクチャを復号するために画像復号装置１が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの復号に用いられる量子化幅の基準値（pic_init_qp_minus26）や重み付き予測の適用を示すフラグ（weighted_pred_flag）が含まれる。なお、ＰＰＳは複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のＰＰＳの何れかを選択する。
（ピクチャレイヤ）
ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために画像復号装置１が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図２の（ｂ）に示すように、スライスS0〜SNS−1を含んでいる（NSはピクチャＰＩＣＴに含まれるスライスの総数）。
なお、以下、スライスS0〜SNS−1のそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する符号化データ＃１に含まれるデータであって、添え字を付している他のデータについても同様である。
（スライスレイヤ）
スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために画像復号装置１が参照するデータの集合が規定されている。スライスＳは、図２の（ｃ）に示すように、スライスヘッダＳＨ、および、スライスデータSDATAを含んでいる。
スライスヘッダＳＨには、対象スライスの復号方法を決定するために画像復号装置１が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダＳＨに含まれる符号化パラメータの一例である。
スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、または、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、または、イントラ予測を用いるＢスライスなどが挙げられる。
なお、スライスヘッダＳＨには、上記シーケンスレイヤに含まれる、ピクチャパラメータセットＰＰＳへの参照（pic_parameter_set_id）を含んでいても良い。
（スライスデータレイヤ）
スライスデータレイヤでは、処理対象のスライスデータSDATAを復号するために画像復号装置１が参照するデータの集合が規定されている。スライスデータSDATAは、図２の（ｄ）に示すように、符号化ツリーブロック（CTB:Coded Tree Block）を含んでいる。ＣＴＢは、スライスを構成する固定サイズ（例えば６４×６４）のブロックであり、最大符号化単位（ＬＣＵ:Largest Cording Unit）と呼ぶこともある。
（符号化ツリーレイヤ）
符号化ツリーレイヤは、図２の（ｅ）に示すように、処理対象の符号化ツリーブロックを復号するために画像復号装置１が参照するデータの集合が規定されている。符号化ツリーユニットは、再帰的な４分木分割により分割される。再帰的な４分木分割により得られる木構造のノードのことを符号化ツリー（coding tree）と称する。４分木の中間ノードは、符号化ツリーユニット（CTU:Coded Tree Unit）であり、符号化ツリーブロック自身も最上位のCTUとして規定される。CTUは、分割フラグ（split_flag）を含み、split_flagが１の場合には、４つの符号化ツリーユニットCTUに分割される。split_flagが０の場合には、符号化ツリーユニットCTUは４つの符号化ユニット(CU：Coded Unit)に分割される。符号化ユニットCUは符号化ツリーレイヤの末端ノードであり、このレイヤではこれ以上分割されない。符号化ユニットCUは、符号化処理の基本的な単位となる。
また、符号化ツリーブロックＣＴＢのサイズ６４×６４画素の場合には、符号化ユニットのサイズは、６４×６４画素、３２×３２画素、１６×１６画素、および、８×８画素の何れかをとり得る。
（符号化ユニットレイヤ）
符号化ユニットレイヤは、図２の（ｆ）に示すように、処理対象の符号化ユニットを復号するために画像復号装置１が参照するデータの集合が規定されている。具体的には、符号化ユニットは、ＣＵヘッダＣＵＨ、予測ツリー、変換ツリー、ＣＵヘッダＣＵＦから構成される。ＣＵヘッダＣＵＨでは、符号化ユニットが、イントラ予測を用いるユニットであるか、インター予測を用いるユニットであるかなどが規定される。符号化ユニットは、予測ツリー（prediction tree；ＰＴ）および変換ツリー（transform tree；ＴＴ）のルートとなる。ＣＵヘッダＣＵＦは、予測ツリーと変換ツリーの間、もしくは、変換ツリーの後に含まれる。
予測ツリーは、符号化ユニットが１または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。別の表現でいえば、予測ブロックは、符号化ユニットを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ブロックを含む。
予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位（prediction unit；ＰＵ）とも称する。
予測ツリーにおける分割の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。イントラ予測とは、同一ピクチャ内の予測であり、インター予測とは、互いに異なるピクチャ間（例えば、表示時刻間、レイヤ画像間）で行われる予測処理を指す。
イントラ予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ユニットと同一サイズ）と、Ｎ×Ｎとがある。
また、インター予測の場合、分割方法は、符号化データのpart_modeにより符号化され、２Ｎ×２Ｎ（符号化ユニットと同一サイズ）、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、ｎＲ×２Ｎ、および、Ｎ×Ｎなどがある。なお、２Ｎ×ｎＵは、２Ｎ×２Ｎの符号化ユニットを上から順に２Ｎ×0.5Ｎと２Ｎ×1.5Ｎの２領域に分割することを示す。２Ｎ×ｎＤは、２Ｎ×２Ｎの符号化ユニットを上から順に２Ｎ×1.5Ｎと２Ｎ×0.5Ｎの２領域に分割することを示す。ｎＬ×２Ｎは、２Ｎ×２Ｎの符号化ユニットを左から順に0.5Ｎ×２Ｎと1.5Ｎ×２Ｎの２領域に分割することを示す。ｎＲ×２Ｎは、２Ｎ×２Ｎの符号化ユニットを左から順に1.5Ｎ×２Ｎと0.5Ｎ×1.5Ｎの２領域に分割することを示す。分割数は１、２、４のいずれかであるため、ＣＵに含まれるＰＵは１個から４個である。これらのＰＵを順にPU0、PU1、PU2、PU3と表現する。
また、変換ツリーにおいては、符号化ユニットが１または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。別の表現でいえば、変換ブロックは、符号化ユニットを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ブロックを含む。
変換ツリーにおける分割には、符号化ユニットと同一のサイズの領域を変換ブロックとして割り付けるものと、上述したツリーブロックの分割と同様、再帰的な４分木分割によるものがある。
変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位（transform unit；ＴＵ）とも称する。
（予測パラメータ）
予測ユニットの予測画像は、予測ユニットに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測の予測パラメータもしくはインター予測の予測パラメータがある。以下、インター予測の予測パラメータ（インター予測パラメータ）について説明する。インター予測パラメータは、予測リスト利用フラグpredFlagL0、predFlagL1と、参照ピクチャインデックスrefIdxL0、refIdxL1と、ベクトルmvL0、mvL1から構成される。予測リスト利用フラグpredFlagL0、predFlagL1は、各々L0参照リスト、L1参照リストと呼ばれる参照ピクチャリストが用いられるか否かを示すフラグであり、値が１の場合に対応する参照ピクチャリストが用いられる。２つの参照ピクチャリストが用いられる場合、つまり、predFlagL0=1, predFlagL1=1の場合が、双予測に対応し、１つの参照ピクチャリストを用いる場合、すなわち(predFlagL0, predFlagL1) = (1, 0)もしくは(predFlagL0, predFlagL1) = (0, 1)の場合が単予測に対応する。なお、予測リスト利用フラグの情報は、後述のインター予測フラグinter_pred_idxで表現することもできる。通常、後述の予測画像生成部、予測パラメータメモリでは、予測リスト利用フラグが用いれ、符号化データから、どの参照ピクチャリストが用いられるか否かの情報を復号する場合にはインター予測フラグinter_pred_idxが用いられる。
符号化データに含まれるインター予測パラメータを導出するためのシンタックス要素には、例えば、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idx、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXがある。
（参照ピクチャリストの一例）
次に、参照ピクチャリストの一例について説明する。参照ピクチャリストとは、復号ピクチャバッファ１２に記憶された参照ピクチャからなる列である。図３は、参照ピクチャリストの一例を示す概念図である。参照ピクチャリスト６０１において、左右に一列に配列された５個の長方形は、それぞれ参照ピクチャを示す。左端から右へ順に示されている符号、Ｐ１、Ｐ２、Ｑ０、Ｐ３、Ｐ４は、それぞれの参照ピクチャを示す符号である。Ｐ１等のＰとは、視点Ｐを示し、そしてＱ０のＱとは、視点Ｐとは異なる視点Ｑを示す。Ｐ及びＱの添字は、ピクチャ順序番号ＰＯＣを示す。refIdxLXの真下の下向きの矢印は、参照ピクチャインデックスrefIdxLXが、復号ピクチャバッファ１２において参照ピクチャＱ０を参照するインデックスであることを示す。
（参照ピクチャの例）
次に、ベクトルを導出する際に用いる参照ピクチャの例について説明する。図４は、参照ピクチャの例を示す概念図である。図４において、横軸は表示時刻を示し、縦軸は視点を示す。図４に示されている、縦２行、横３列（計６個）の長方形は、それぞれピクチャを示す。６個の長方形のうち、下行の左から２列目の長方形は復号対象のピクチャ（対象ピクチャ）を示し、残りの５個の長方形がそれぞれ参照ピクチャを示す。対象ピクチャから上向きの矢印で示される参照ピクチャＱ０は対象ピクチャと同表示時刻であって視点が異なるピクチャである。対象ピクチャを基準とする変位予測においては、参照ピクチャＱ０が用いられる。対象ピクチャから左向きの矢印で示される参照ピクチャＰ１は、対象ピクチャと同じ視点であって、過去のピクチャである。対象ピクチャから右向きの矢印で示される参照ピクチャＰ２は、対象ピクチャと同じ視点であって、未来のピクチャである。対象ピクチャを基準とする動き予測においては、参照ピクチャＰ１又はＰ２が用いられる。
（ランダムアクセスピクチャ）
本実施例で扱うランダムアクセスピクチャ（ＲＡＰ）の構成について説明する。図２２は、ランダムアクセスピクチャの構成を説明する図である。ＲＡＰには、ＩＤＲ（Instantaneous Decoding Refresh）、ＣＲＡ（Clean Randum Access）、ＢＬＡ(Broken Link Access)の３種類がある。あるＮＡＬユニットが、ＲＡＰピクチャのスライスを含むＮＡＬユニットであるか否かは、ＮＡＬユニットタイプにより識別される。ＩＤＲ_Ｗ＿ＬＰ、ＩＤＲ_Ｎ＿ＬＰ、ＣＲＡ、ＢＬＡ_Ｗ＿ＬＰ、ＢＬＡ_Ｗ＿ＤＬＰ、ＢＬＡ_Ｎ＿ＬＰのＮＡＬユニットタイプは、各々、後述のＩＤＲ_Ｗ＿ＬＰピクチャ、ＩＤＲ_Ｎ＿ＬＰピクチャ、ＣＲＡピクチャ、ＢＬＡ_Ｗ＿ＬＰピクチャ、ＢＬＡ_Ｗ＿ＤＬＰピクチャ、ＢＬＡ_Ｎ＿ＬＰピクチャに対応する。すなわち、上記ピクチャのスライスを含むＮＡＬユニットは、上述のＮＡＬユニットタイプを有する。
図２２（ａ）は、ＲＡＰピクチャが先頭ピクチャ以外にない場合である。ボックス中の英字はピクチャの名前、数字はＰＯＣを示す（以下同様）。図中左から右に表示順が並ぶ。ＩＤＲ０、Ａ１、Ａ２、Ｂ４、Ｂ５、Ｂ６が、ＩＤＲ０、Ｂ４、Ａ１、Ａ２、Ｂ６、Ｂ５の順で復号される。以下、図２２（ａ）のＢ４で示されるピクチャがＲＡＰピクチャに変更される場合を、図２２（ｂ）から図２２（ｇ）に示す。
図２２（ｂ）は、ＩＤＲピクチャ（特にＩＤＲ_Ｗ＿ＬＰピクチャ）が挿入される例である。本例では、ＩＤＲ０、ＩＤＲ´０、Ａ１、Ａ２、Ｂ２、Ｂ１の順で復号される。２つのＩＤＲピクチャを区別するために時刻が先（復号順も先）のピクチャをＩＤＲ０、時刻が後のピクチャをＩＤＲ´０ピクチャと呼ぶ。本例のＩＤＲピクチャを含め全てのＲＡＰピクチャは、他のピクチャの参照は禁止される。他のピクチャの参照は、ＲＡＰピクチャのスライスを後述のようにイントラI_SLICEに制限することで行われる（この制限は、後述の実施例では、レイヤＩＤが０以外のレイヤに関して緩和される）。よって、ＲＡＰピクチャ自身は、他のピクチャの復号によらず独立して復号が可能である。さらに、ＩＤＲピクチャの復号時点で、後述のリファレンスピクチャセット（ＲＰＳ）が初期化される。そのため、ＩＤＲピクチャ以前に復号されたピクチャを用いた予測、例えば、Ｂ２からＩＤＲ０への予測は禁止される。ピクチャＡ３は、ＲＡＰ（ここではＩＤＲ´０）の表示時刻ＰＯＣより前の表示時刻ＰＯＣを有するが、ＲＡＰピクチャよりも後に復号される。このようなＲＡＰピクチャよりも後に復号されるが、ＲＡＰピクチャよりも前に再生されるピクチャをLeadingピクチャ（ＬＰピクチャ）と呼ぶ。ＲＡＰピクチャ、ＬＰピクチャ以外のピクチャは、ＲＡＰピクチャよりも後に復号され、再生されるピクチャであり一般にＴＲＡＩＬピクチャと呼ばれる。ＩＤＲ_Ｗ＿ＬＰは、Instantaneous Decoding Refresh With Leading Pictureの略であり、ピクチャＡ３のようなＬＰピクチャが含まれていても良い。ピクチャＡ２は、図２２（ａ）の例では、ＩＤＲ０とＰＯＣ４のピクチャを参照していたが、ＩＤＲピクチャの場合には、ＩＤＲ´０を復号した時点で、ＲＰＳが初期化されるため、Ａ２からＩＤＲ´０への参照は禁止される。またＩＤＲピクチャを復号した時点で、ＰＯＣは初期化される。
以上をまとめると、ＩＤＲピクチャは以下の制約を有するピクチャである。
・ピクチャ復号時点でＰＯＣは初期化される。
・ピクチャ復号時点でＲＰＳは初期化される。
・他のピクチャの参照の禁止。
・復号順でＩＤＲより後のピクチャから、復号順でＩＤＲより前のピクチャの参照の禁止。
・ＲＡＳＬピクチャ（後述）の禁止。
・ＲＡＤＬピクチャ（後述）を持つことができる（ＩＤＲ_Ｗ＿ＬＰピクチャの場合）。
・ＲＡＤＬピクチャ（後述）を持つことができる（ＢＬＡ_Ｗ＿ＬＰ、ＢＬＡ_Ｗ＿ＤＬＰピクチャの場合）。
図２２（ｃ）は、ＩＤＲピクチャ（特にＩＤＲ_Ｎ＿ＬＰピクチャ）が挿入される例である。ＩＤＲ_Ｎ＿ＬＰは、Instantaneous Decoding Refresh No Leading Pictureの略であり、ＬＰピクチャの存在が禁止される。従って、図２２（ｂ）のＡ３ピクチャの存在が禁止される。よって、Ａ３ピクチャは、ＩＤＲ´０ピクチャの代わりに、ＩＤＲ０ピクチャを参照することで、ＩＤＲ´０ピクチャより前に復号される必要がある。
図２２（ｄ）は、ＣＲＡピクチャが挿入される例である。本例では、ＩＤＲ０、ＣＲＡ４、Ａ１、Ａ２、Ｂ６、Ｂ５の順で復号される。ＣＲＡピクチャでは、ＩＤＲピクチャと異なり、ＲＰＳの初期化は行われない。従って、復号順でＲＡＰ（ここではＣＲＡ）より後のピクチャから、復号順でＲＡＰ（ここではＣＲＡ）より前のピクチャの参照の禁止（Ａ２からＣＲＡ４への参照禁止）は、必要とされない。しかしながら、ＲＡＰピクチャであるＣＲＡピクチャから復号を開始する場合には、ＣＲＡより表示順が後のピクチャは復号可能であることが必要なため、表示順でＲＡＰ（ＣＲＡ）より後のピクチャから、復号順でＲＡＰ（ＣＲＡ）より前のピクチャの参照の禁止（Ｂ６からＩＤＲ０への参照禁止）は必要とされる。なお、ＣＲＡではＰＯＣは初期化されない。
以上をまとめると、ＣＲＡピクチャは以下の制約を有するピクチャである。
・ピクチャ復号時点でＰＯＣは初期化されない。
・ピクチャ復号時点でＲＰＳは初期化されない。
・他のピクチャの参照の禁止。
・表示順でＣＲＡより後のピクチャから、復号順でＣＲＡより前のピクチャの参照の禁止。
・ＲＡＤＬピクチャとＲＡＳＬピクチャを持つことできる。
図２２（ｅ）から（ｇ）は、ＢＬＡピクチャの例である。ＢＬＡピクチャはＣＲＡピクチャを含む符号化データの編集などにより、ＣＲＡピクチャを先頭としてシーケンスを再構成した場合に利用されるＲＡＰピクチャであり、以下の制限を有する。
・ピクチャ復号時点でＰＯＣは初期化される。
・他のピクチャの参照の禁止。
・表示順でＢＬＡより後のピクチャから、復号順でＢＬＡより前のピクチャの参照の禁止。
・ＲＡＳＬピクチャ（後述）を持つことができる（ＢＬＡ_Ｗ＿ＬＰの場合）。
・ＲＡＤＬピクチャ（後述）を持つことができる（ＢＬＡ_Ｗ＿ＬＰ、ＢＬＡ_Ｗ＿ＤＬＰピクチャの場合）。
例えば、図６（ｄ）のＣＲＡ４ピクチャの位置からシーケンスの復号を開始する場合を例に説明する。
図２２（ｅ）は、ＢＬＡピクチャ（特にＢＬＡ_Ｗ＿ＬＰピクチャ）を用いる例である。ＢＬＡ_Ｗ＿ＬＰは、Broken Link Access With Leading Pictureの略であり、ＬＰピクチャの存在が許容される。ＣＲＡ４ピクチャをＢＬＡ_Ｗ＿ＬＰピクチャに置き換えた場合、ＢＬＡピクチャのＬＰピクチャであるＡ２ピクチャ、Ａ３ピクチャは符号化データ中に存在しても良い。しかしながら、Ａ２ピクチャは、ＢＬＡ_Ｗ＿ＬＰピクチャよりも前に復号されるピクチャであるから、ＢＬＡ_Ｗ＿ＬＰピクチャを先頭ピクチャとして編集した符号化データでは符号化データ中に存在しない。ＢＬＡ_Ｗ＿ＬＰピクチャではそのような復号不可能なＬＰピクチャをＲＡＳＬ（random access skipped leading）ピクチャとして扱い、復号、表示しないことで対応する。なお、Ａ３ピクチャは、復号可能なＬＰピクチャであり、このようなピクチャはＲＡＤL（random access decodable leading）ピクチャと呼ばれる。上記ＲＡＳＬピクチャ、ＲＡＤＬピクチャはRASL_NUT、RADL_NUTのＮＡＬユニットタイプにより識別される。
図２２（ｆ）は、ＢＬＡピクチャ（特にＢＬＡ_Ｗ＿ＤＬＰピクチャ）を用いる例である。ＢＬＡ_Ｗ＿ＤＬＰは、Broken Link Access With Decorable Leading Pictureの略であり、復号可能なＬＰピクチャの存在が許容される。よって、ＢＬＡ_Ｗ＿ＤＬＰピクチャでは、図２２（ｅ）と異なり、復号不可能なＬＰピクチャ（ＲＡＳＬ）であるＡ２ピクチャは、符号化データ中に存在を許されない。復号可能なＬＰピクチャ（ＲＡＤＬ）であるＡ３ピクチャは符号化データ中に存在が許される。
図２２（ｇ）は、ＢＬＡピクチャ（特にＢＬＡ_Ｎ＿ＬＰピクチャ）を用いる例である。ＢＬＡ_Ｎ＿ＬＰは、Broken Link Access No Leading Pictureの略であり、ＬＰピクチャの存在が許容されない。よって、ＢＬＡ_Ｎ＿ＤＬＰピクチャでは、図２２（ｅ）、図２２（ｆ）と異なり、Ａ２ピクチャ（ＲＡＳＬ）だけでなく、Ａ３ピクチャ（ＲＡＤＬ）も符号化データ中に存在を許されない。
（インター予測フラグと予測リスト利用フラグ）
インター予測フラグと、予測リスト利用フラグpredFlagL0、predFlagL1の関係は以下のように相互に変換可能である。そのため、インター予測パラメータとしては、予測リスト利用フラグを用いても良いし、インター予測フラグを用いてもよい。また、以下、予測リスト利用フラグを用いた判定は、インター予測フラグに置き替えても可能である。逆に、インター予測フラグを用いた判定は、予測リスト利用フラグに置き替えても可能である。
インター予測フラグ ＝ (predFlagL1<<1) + predFlagL0
predFlagL0 ＝インター予測フラグ & 1
predFlagL1 ＝インター予測フラグ >> 1
ここで、>>は右シフト、<<は左シフトである。
（マージ予測とAMVP予測）
予測パラメータの復号（符号化）方法には、マージ予測（merge）モードとAMVP（Adaptive Motion Vector Prediction、適応動きベクトル予測）モードがある、マージフラグmerge_flagは、これらを識別するためのフラグである。マージ予測モードでも、AMVPモードでも、既に処理済みのブロックの予測パラメータを用いて、対象ＰＵの予測パラメータが導出される。マージ予測モードは、予測リスト利用フラグpredFlagLX（インター予測フラグinter_pred_idx）、参照ピクチャインデックスrefIdxLX、ベクトルmvLXを符号化データに含めずに、既に導出した予測パラメータをそのまま用いるモードであり、AMVPモードは、インター予測フラグinter_pred_idx、参照ピクチャインデックスrefIdxLX、ベクトルmvLXを符号化データに含めるモードである。なおベクトルmvLXは、予測ベクトルを示す予測ベクトルインデックスmvp_LX_idxと差分ベクトル(mvdLX)として符号化される。
インター予測フラグinter_pred_idcは、参照ピクチャの種類および数を示すデータであり、Pred_L0、Pred_L1、Pred_Biの何れかの値をとる。Pred_L0、Pred_L1は、各々L0参照リスト、L1参照リストと呼ばれる参照ピクチャリストに記憶された参照ピクチャが用いられることを示し、共に１枚の参照ピクチャを用いること（単予測）を示す。L0参照リスト、L1参照リストを用いた予測を各々L0予測、L1予測と呼ぶ。Pred_Biは２枚の参照ピクチャを用いること（双予測）を示し、L0参照リストとL1参照リストに記憶された参照ピクチャの２つを用いることを示す。予測ベクトルインデックスmvp_LX_idxは予測ベクトルを示すインデックスであり、参照ピクチャインデックスrefIdxLXは、参照ピクチャリストに記憶された参照ピクチャを示すインデックスである。なお、LXは、L0予測とL1予測を区別しない場合に用いられる記述方法であり、LXをL0、L1に置き換えることでL0参照リストに対するパラメータとL1参照リストに対するパラメータを区別するする。例えば、refIdxL0はL0予測に用いる参照ピクチャインデックス、refIdxL1はL1予測に用いる参照ピクチャインデックス、refIdx（refIdxLX）は、refIdxL0とrefIdxL1を区別しない場合に用いられる表記である。
マージインデックスmerge_idxは、処理が完了したブロックから導出される予測パラメータ候補（マージ候補）のうち、いずれかの予測パラメータを復号対象ブロックの予測パラメータとして用いるかを示すインデックスである。
（動きベクトルと変位ベクトル）
ベクトルmvLXには、動きベクトルと変位ベクトル（disparity vector、視差ベクトル）がある。動きベクトルとは、あるレイヤのある表示時刻でのピクチャにおけるブロックの位置と、異なる表示時刻（例えば、隣接する離散時刻）における同一のレイヤのピクチャにおける対応するブロックの位置との間の位置のずれを示すベクトルである。変位ベクトルとは、あるレイヤのある表示時刻でのピクチャにおけるブロックの位置と、同一の表示時刻における異なるレイヤのピクチャにおける対応するブロックの位置との間の位置のずれを示すベクトルである。異なるレイヤのピクチャとしては、異なる視点のピクチャである場合、もしくは、異なる解像度のピクチャである場合などがある。特に、異なる視点のピクチャに対応する変位ベクトルを視差ベクトルと呼ぶ。以下の説明では、動きベクトルと変位ベクトルを区別しない場合には、単にベクトルmvLXと呼ぶ。ベクトルmvLXに関する予測ベクトル、差分ベクトルを、それぞれ予測ベクトルmvpLX、差分ベクトルmvdLXと呼ぶ。ベクトルmvLXおよび差分ベクトルmvdLXが、動きベクトルであるか、変位ベクトルであるかは、ベクトルに付随する参照ピクチャインデックスrefIdxLXを用いて行われる。
（画像復号装置の構成）
本実施形態に係る画像復号装置１の構成について説明する。図２３は、本実施形態に係る画像復号装置１の構成を示す概略図である。画像復号装置１は、ヘッダ復号部１０、ピクチャ復号部１１、復号ピクチャバッファ１２、参照ピクチャ管理部１３を含んで構成される。画像復号装置１は、複数のレイヤを含む画像において特定の時刻のピクチャから復号を開始する後述するランダムアクセス復号処理が可能である。
［ヘッダ復号部１０］
ヘッダ復号部１０は、画像符号化装置２より供給される符号化データ＃１から、ＮＡＬユニット単位、シーケンス単位、ピクチャ単位、またはスライス単位で復号に利用される情報を復号する。復号された情報は、ピクチャ復号部１１及び参照ピクチャ管理部１３に出力される。
ヘッダ復号部１０は、符号化データ＃１に含まれるＶＰＳおよびＳＰＳを既定のシンタックス定義に基づいてパースして、シーケンス単位で復号に利用される情報を復号する。例えば、レイヤ数に関する情報がＶＰＳから復号され、復号画像の画像サイズに関連する情報がＳＰＳから復号される。
また、ヘッダ復号部１０は、符号化データ＃１に含まれるスライスヘッダを既定のシンタックス定義に基づいてパースして、スライス単位で復号に利用される情報を復号する。例えば、スライスタイプがスライスヘッダから復号される。
図２４に示すようにヘッダ復号部１０は、ＮＡＬユニットヘッダ復号部２１１、ＶＰＳ復号部２１２、レイヤ情報格納部２１３、ビューデプス導出部２１４、ＰＯＣ情報復号部２１６、スライスタイプ復号部２１７、参照ピクチャ情報復号部２１８を備えている。
[ＮＡＬユニットヘッダ復号部２１１]
図２５は、ＮＡＬユニットヘッダ復号部２１１の概略的構成について示した機能ブロック図である。図２５に示すように、ＮＡＬユニットヘッダ復号部２１１はレイヤＩＤ復号部２１１１とＮＡＬユニットタイプ復号部２１１２を含んで構成される。
レイヤＩＤ復号部２１１１は、符号化データからレイヤＩＤを復号する。ＮＡＬユニットタイプ復号部２１１２は、符号化データからＮＡＬユニットタイプを復号する。レイヤＩＤは、例えば０から６３の６ビットの情報であり、レイヤＩＤが０の場合、ベースレイヤを示す。ＮＡＬユニットタイプは、例えば０から６３の６ビットの情報であり、ＮＡＬユニットに含まれるデータの種別を示す。後述するようにデータの種別には、例えば、ＶＰＳ、ＳＰＳ、ＰＰＳなどのパラメータセット、ＩＤＲピクチャ、ＣＲＡピクチャ、ＬＢＡピクチャなどのＲＰＳピクチャ、ＬＰピクチャなどの非ＲＰＳピクチャ、ＳＥＩなどがＮＡＬユニットタイプから識別される。
［ＶＰＳ復号部２１２］
ＶＰＳ復号部２１２は、符号化データに含まれるＶＰＳおよびＶＰＳ拡張から規定のシンタックス定義に基づいて、複数のレイヤで復号に利用される情報を復号する。例えば、ＶＰＳからは図２０に示すシンタックス、ＶＰＳ拡張から図２１に示すシンタックスが復号される。ＶＰＳ拡張は、フラグvps_extension_flagが１の場合に復号される。本明細書では、符号化データの構成（シンタックステーブル）と、符号化データ構成が含むシンタックス要素の意味や制限（セマンティクス）を、符号化データ構造と呼ぶ。符号化データ構造は、画像復号装置において符号化データを復号する場合のランダムアクセス性やメモリサイズ、異なる画像復号装置間で同じ動作を補償することに関連すると共に、符号化データの符号化効率にも影響を与える重要な技術要素である。
図２６は、ＶＰＳ復号部２１２の概略的構成について示した機能ブロック図である。図２６に示すように、ＶＰＳ復号部２１２はスケーラブルタイプ復号部２１２１と次元ＩＤ復号部２１２２、依存レイヤＩＤ復号部２１２３を含んで構成される。
ＶＰＳ復号部２１２は、図示しない内部のレイヤ数復号部により、符号化データからレイヤ数を示すシンタックス要素vps_max_layers_minus1を復号し、次元ＩＤ復号部２１２２、依存レイヤＩＤ復号部２１２３に出力すると共に、レイヤ情報格納部２１３に格納する。
スケーラブルタイプ復号部２１２１は、符号化データからスケーラブルマスクscalable_maskを復号し、次元ＩＤ復号部２１２２に出力すると共に、レイヤ情報格納部２１３に格納する。
次元ＩＤ復号部２１２２は、符号化データから次元ＩＤdimension_idを復号し、レイヤ情報格納部２１３に格納する。具体的には、次元ＩＤ復号部２１２２は、まずスケーラブルマスクの各ビットを操作し、１であるビットの数NumScalabilityTypesを導出する。例えば、scalable_mask=1の場合は、ビット０（０ビット目のビット）のみが１なのでNumScalabilityTypes=1、scalable_mask=12の場合は、ビット２（＝４）とビット３（＝８）の２つが１であるのでNumScalabilityTypes=2である。
なお、本実施形態ではＬＳＢ側からみて１個目のビットをビット０（０ビット目）と表現する。つまりＮ個目のビットをビットＮ−１と表現する。
続いて、次元ＩＤ復号部２１２２は、レイヤi、スケーラブルの種別j毎に次元ＩＤdimension_id[i][j]を復号する。レイヤＩＤのインデックスiは１からvps_max_layers_minus1までの値、スケーラブル種別を示すインデックスjは0〜NumScalabilityTypes−1までの値を取る。
依存レイヤＩＤ復号部２１２３は、符号化データから依存レイヤ数num_direct_ref_layersと依存レイヤフラグref_layer_idを復号し、レイヤ情報格納部２１３に格納する。具体的には、レイヤiごとに依存レイヤ数num_direct_ref_layersの数だけdimension_id[i][j]を復号する。レイヤＩＤのインデックスiは１からvps_max_layers_minus1までの値、依存レイヤフラグのインデックスjは、0〜num_direct_ref_layers−1までの値を取る。例えばレイヤＩＤが１のレイヤが、レイヤＩＤが２のレイヤ、レイヤＩＤが３のレイヤに依存する場合は、２つのレイヤに依存するため依存レイヤ数num_direct_ref_layers[]=2であり、依存レイヤＩＤは２つ、すなわちref_layer_id [1][0]=2、ref_layer_id [1][1]=3となる。
［レイヤ情報格納部２１３］
図２７は、本発明の実施形態に係るレイヤ情報格納部２１３で格納される情報を示す図である。図２７では、レイヤ数が６（vps_max_layers_minus1＝５）の場合で、スケーラブルマスクが３Ｄスケーラブルを意味する場合（デプススケーラブルを意味するビット３とビュースケーラブルを示すビット４がどちらも１の場合の場合、つまり、scalable_mask=24の場合）を示している。図２７に示すように、レイヤ情報格納部２１３では、レイヤ数vps_max_layers_minus1とスケーラブルマスクscalable_maskの他、レイヤ毎（layer_id=0からlayer_id=5まで）の、個々の次元ＩＤdimension_id[][]と依存レイヤref_layer_id[][]を格納する。
［ビューデプス導出部２１４］
ビューデプス導出部２１４は、ビューデプス導出部２１４に入力された対象レイヤのレイヤＩＤlayer_id（以下対象layer_id）に基づいて、レイヤ情報格納部２１３を参照し、対象レイヤのビューＩＤview_idとデプスフラグdepth_flagを導出する。具体的には、ビューデプス導出部２１４は、レイヤ情報格納部２１３に格納されたスケーラブルマスクを読み出し、スケーラブルマスクの値に応じて以下の処理を行う。
スケーラブルマスクがデプススケーラブルを意味する場合（デプススケーラブルを示すビット３が１の場合の場合、つまり、scalable_mask=8の場合）、ビューデプス導出部２１４は、ビューＩＤを示す次元ＩＤview_dimension_idに０を設定し、以下の式によりview_idとdepth_flagを導出する。
view_dimension_id = 0
depth_flag = dimension_id[layer_id][view_dimension_id]
すなわち、ビューデプス導出部２１４は、対象layer_idに対応するdimension_id[][]をレイヤ情報格納部２１３から読み出しデプスフラグdepth_flagに設定する。ビューＩＤは０に設定する。
スケーラブルマスクがビュースケーラブルを意味する場合（ビュースケーラブルを示すビット４が１の場合の場合、つまり、scalable_mask=16の場合）、ビューデプス導出部２１４は、デプスフラグを示す次元ＩＤdepth_dimension_idに０を設定し、以下の式によりview_idとdepth_flagを導出する。
depth_dimension_id = 0
view_id = dimension_id[layer_id][depth_dimension_id]
depth_flag = 0
すなわち、ビューデプス導出部２１４は、対象layer_idに対応するdimension_id[][]をレイヤ情報格納部２１３から読み出しビューＩＤview_idに設定する。デプスフラグdepth_flagは０に設定する。
スケーラブルマスクが３Ｄスケーラブルを意味する場合（デプススケーラブルを意味するビット３とビュースケーラブルを示すビット４がどちらも１の場合の場合、つまり、scalable_mask=24の場合）ビューデプス導出部２１４は、デプスフラグを示す次元ＩＤdepth_dimension_idに０、ビューＩＤを示す次元ＩＤview_dimension_idに１を設定し、以下の式によりview_idとdepth_flagを導出する。
depth_dimension_id = 0
view_dimension_id = 1
depth_flag = dimension_id[layer_id][depth_dimension_id]
view_id = dimension_id[layer_id][view_dimension_id]
すなわち、ビューデプス導出部２１４は、対象layer_idに対応する２つのdimension_id[][]をレイヤ情報格納部２１３から読み出し一方をデプスフラグdepth_flag、他方をview_idに設定する。
以上の構成では、ビューデプス導出部２１４は、スケーラブルの種別がデプススケーラブルを含む場合、対象レイヤがテクスチャであるか、デプスであるかを示すデプスフラグdepth_flagに相当するdimention_idを読み出し、デプスフラグdepth_flagに設定する。また、スケーラブルの種別がビュースケーラブルを含む場合、ビューＩＤview_idに相当するdimention_idを読み出し、ビューＩＤview_idに設定する。なお、スケーラブルの種別がデプススケーラブルかつビュースケーラブルの場合、２つのdimension_idを読み出し、各々をdepth_flagとview_idに設定する。
［ＰＯＣ情報復号部２１６］
図３５は、ＰＯＣ情報復号部２１６（ＰＯＣ導出部）の概略的構成について示した機能ブロック図である。図３５に示すように、ＰＯＣ情報復号部２１６はＰＯＣ下位ビット最大値復号部２１６１、ＰＯＣ下位ビット復号部２１６２、ＰＯＣ上位ビット導出部２１６３、ＰＯＣ加算部２１６４を含んで構成される。ＰＯＣ情報復号部２１６は、ＰＯＣの上位ビットPicOrderCntMsbとＰＯＣの下位ビットpic_order_cnt_lsbを復号することにより、ＰＯＣを導出し、ピクチャ復号部１１と参照ピクチャ管理部１３に出力する。
ＰＯＣ下位ビット最大値復号部２１６１は、符号化データから対象ピクチャのＰＯＣ下位ビット最大値MaxPicOrderCntLsbを復号する。具体的には、ＰＯＣ下位ビット最大値MaxPicOrderCntLsbの対数から定数４を引いた値として符号化されるシンタックス要素log2_max_pic_order_cnt_lsb_minus4を対象ピクチャのパラメータを規定するＰＰＳの符号化データから復号し、以下の式により、ＰＯＣ下位ビット最大値MaxPicOrderCntLsbを導出する。
MaxPicOrderCntLsb = 2( log2_max_pic_order_cnt_lsb_minus4 + 4 )
なお、MaxPicOrderCntLsbは、ＰＯＣの上位ビットPicOrderCntMsbと下位ビットpic_order_cnt_lsbの区切りを示す。例えば、MaxPicOrderCntLsbが１６（log2_max_pic_order_cnt_lsb_minus4=0）の場合には、０〜１５までの下位４ビットがpic_order_cnt_lsbで示され、それより上の上位ビットがPicOrderCntMsbで示される。
ＰＯＣ下位ビット復号部２１６２は符号化データから、対象ピクチャのＰＯＣの下位ビットであるＰＯＣ下位ビットpic_order_cnt_lsbを復号する。具体的には、対象ピクチャのスライスヘッダに含まれるpic_order_cnt_lsbを復号する。
ＰＯＣ上位ビット導出部２１６３は、対象ピクチャのＰＯＣの上位ビットであるＰＯＣ上位ビットPicOrderCntMsbを導出する。具体的には、ＮＡＬユニットヘッダ復号部２１１から入力された対象ピクチャのＮＡＬユニットタイプが、ＰＯＣの初期化が必要なＲＡＰピクチャであることを示す場合（ＢＬＡもしくはＩＤＲの場合）に、以下の式によりＰＯＣ上位ビットPicOrderCntMsbを０に初期化する。
PicOrderCntMsb＝０
初期化のタイミングは、対象ピクチャの先頭スライス（スライスヘッダに含まれるスライスアドレスが０のスライス、もしくは、対象ピクチャに入力されるスライスの内、画像復号装置に入力される最初のスライス）を復号する時点とする。
それ以外のＮＡＬユニットタイプの場合には、ＰＯＣ下位ビット最大値復号部２１６１で復号されたＰＯＣ下位ビット最大値MaxPicOrderCntLsb、後述の一時変数prevPicOrderCntLsb、prevPicOrderCntMsbを用いて、以下の式によりＰＯＣ上位ビットPicOrderCntMsbを導出する。
if( ( pic_order_cnt_lsb < prevPicOrderCntLsb ) &&
( ( prevPicOrderCntLsb − pic_order_cnt_lsb ) >= ( MaxPicOrderCntLsb / 2 ) ) )
PicOrderCntMsb = prevPicOrderCntMsb + MaxPicOrderCntLsb
else if( (pic_order_cnt_lsb > prevPicOrderCntLsb ) &&
( ( pic_order_cnt_lsb − prevPicOrderCntLsb ) > ( MaxPicOrderCntLsb / 2 ) ) )
PicOrderCntMsb = prevPicOrderCntMsb − MaxPicOrderCntLsb
else
PicOrderCntMsb = prevPicOrderCntMsb
すなわち、pic_order_cnt_lsbがprevPicOrderCntLsbよりも小さく、かつ、prevPicOrderCntLsbとpic_order_cnt_lsbの差が、MaxPicOrderCntLsbの半分以上の場合には、PicOrderCntMsbとして、prevPicOrderCntMsbにMaxPicOrderCntLsbを加えた数を設定する。それ以外で、pic_order_cnt_lsbがprevPicOrderCntLsbよりも大きく、prevPicOrderCntLsbとpic_order_cnt_lsbの差が、MaxPicOrderCntLsbの半分よりも大きい場合には、PicOrderCntMsbとして、prevPicOrderCntMsbからMaxPicOrderCntLsbを引いた数を設定する。それ以外の場合には、PicOrderCntMsbにprevPicOrderCntMsbを設定する。
なお、一時変数prevPicOrderCntLsb、prevPicOrderCntMsbは、ＰＯＣ上位ビット導出部２１６３において、以下の手順により導出する。復号順で直前のTemporalIdが0の参照ピクチャをprevTid0Picとした場合、ピクチャprevTid0PicのＰＯＣ下位ビットpic_order_cnt_lsbをprevPicOrderCntMsbに、ピクチャrevTid0PicのＰＯＣ上位ビットPicOrderCntMsbをprevPicOrderCntMsbに設定する。
図３６は、ＰＯＣ情報復号部２１６の動作を示す図である。図３６に示すように、MaxPicOrderCntLsb＝１６の場合においてＰＯＣ＝１５、１８、２４、１１、３２のピクチャが、図の左から右の順に復号される例を示す。ここで、右端のピクチャ（ＰＯＣ＝３２のピクチャ）を対象ピクチャとする場合、対象ピクチャを復号する時点で、復号順で直前のTemporalID=0のピクチャはＰＯＣ＝２４のピクチャであるからＰＯＣ情報復号部２１６は、ピクチャprevTid0PicとしてＰＯＣ＝２４のピクチャを設定する。ピクチャprevTid0PicのＰＯＣ下位ビット、ＰＯＣ上位ビットよりprevPicOrderCntLsb、prevPicOrderCntMsbを、各々８、１６と導出する。対象ピクチャのpic_order_cnt_lsbは０、導出されたprevPicOrderCntLsbは８、MaxPicOrderCntLsbの半分が８であるから、上述の判定pic_order_cnt_lsbがprevPicOrderCntLsbよりも小さく、かつ、prevPicOrderCntLsbとpic_order_cnt_lsbの差が、MaxPicOrderCntLsbの半分以上の場合が成立し、ＰＯＣ情報復号部２１６は、PicOrderCntMsbとして、prevPicOrderCntMsbにMaxPicOrderCntLsbを加えた数を設定する。すなわち、対象ピクチャのPicOrderCntMsbが３２（＝１６＋１６）と導出される。
ＰＯＣ加算部２１６４は、ＰＯＣ下位ビット復号部２１６２で復号されたＰＯＣ下位ビットpic_order_cnt_lsbとＰＯＣ上位ビット導出部２１６３で導出されたＰＯＣ上位ビットを加算し、以下の式により、ＰＯＣ（PicOrderCntVal）を導出する。
PicOrderCntVal = PicOrderCntMsb + pic_order_cnt_lsb
図３６の例では、PicOrderCntMsb＝３２、pic_order_cnt_lsb＝０であるから、対象ピクチャのＰＯＣであるPicOrderCntValが３２と導出される。
［ＰＯＣ制限］
以下、本実施形態の符号化データにおけるＰＯＣ制限について説明する。ＰＯＣ上位ビット導出部２１６３で説明したように、ＰＯＣは、対象ピクチャのＮＡＬユニットタイプがＰＯＣの初期化が必要なＲＡＰピクチャであることを示す場合（ＢＬＡもしくはＩＤＲの場合）において初期化される。その後、ＰＯＣは、対象ピクチャのスライスヘッダを復号して得られるpic_order_cnt_lsbを用いて導出される。
図３７（ａ）は、ＰＯＣ制限の説明を説明するための図である。ボックス中の英字はピクチャの名前、数字はＰＯＣを示す（以下同様）。図３７（ａ）では、レイヤＩＤが０のレイヤにおいて、ＩＤＲ０、Ａ０、Ａ１、Ａ３、ＩＤＲ´０、Ｂ０、Ｂ１が符号化され、レイヤＩＤが１のレイヤにおいて、ＩＤＲ０、Ａ０、Ａ１、Ａ３、Ｐ４、Ｂ５、Ｂ６が符号化される。この例では、ＴＩＭＥ＝４で示される時刻において、レイヤＩＤ＝０のピクチャはＩＤＲ´０と示されるように、ＰＯＣの初期化が必要なＲＡＰピクチャであるＩＤＲピクチャであるが、レイヤＩＤが１のレイヤでは、Ｐ４と示されるように、ＰＯＣの初期化が必要なＲＡＰピクチャではない。この場合、レイヤＩＤ＝０では、ＩＤＲ´０ピクチャにおいてＰＯＣの初期化が行われるが、レイヤＩＤが1のレイヤでは、ＰＯＣの初期化が行われないため、時刻ＴＩＭＥ＝４以降では、同じ表示時刻のピクチャにおいて、異なるＰＯＣが導出される。例えば、レイヤＩＤが０のレイヤでは、Ｂ１、Ｂ２というようにＰＯＣ＝１、ＰＯＣ＝２となるピクチャが、レイヤＩＤが１のレイヤでは、Ｂ５、Ｂ６というようにＰＯＣ＝５、ＰＯＣ＝６となるピクチャに対応する。ピクチャ復号部１１では、ＰＯＣを除き、表示時刻を管理する情報がないことから、異なるＰＯＣを備えるピクチャが同じ時刻を有することを管理することは困難である。
（第１のＮＡＬユニットタイプ制限）
本実施形態の符号化データ構造は、ＮＡＬユニットヘッダとＮＡＬユニットデータを単位（ＮＡＬユニット）とし、１つ以上のＮＡＬユニットから構成される符号化データにおいて、上記ＮＡＬユニットヘッダは、レイヤＩＤと、ＮＡＬユニットの種類を規定するＮＡＬユニットタイプnal_unit_typeを含み、上記ＮＡＬユニットデータに含まれるピクチャパラメータセットは、表示時刻ＰＯＣの下位ビット最大値MaxPicOrderCntLsbを含み、上記ＮＡＬユニットデータに含まれるスライスデータは、スライスヘッダとスライスデータから構成され、上記スライスデータは、表示時刻ＰＯＣの下位ビットpic_order_cnt_lsbを含む符号化データにおいて、全ての同じ時刻を有する全てのレイヤのピクチャ、すなわち、同じアクセスユニットに含まれる全てのピクチャは、同じ表示時刻ＰＯＣを有することを特徴とする。
上記符号化データ構造によれば、同じ時刻を有するピクチャのＮＡＬユニットが同じ表示時刻（ＰＯＣ）を有することが保障されるため、異なるレイヤ間で同じ時刻を有するピクチャであるかの判定を、表示時刻ＰＯＣを用いて行うことができる。これにより、表示時刻を用いて同じ時刻を有する復号画像を参照することが可能になるという効果を奏する。
なお、アクセスユニットを単位として表示時刻ＰＯＣによらない時刻の管理を行うことを想定して、「同じアクセスユニットの全てのレイヤは、その含まれるスライスヘッダにおいて、異なる表示時刻ＰＯＣを有する場合であっても、同じ時刻を有するという制限がある符号化データ構造」を対象とした画像復号装置の場合には、同じ時刻のＮＡＬピクチャを識別するためには、アクセスユニットの区切りを明確に識別する必要がある。しかしながら、アクセスユニットの区切りである、アクセスユニットデリミタの符号化は任意であること、アクセスユニットデリミタの符号化を強制する場合にもアクセスユニットの区切りを符号化することが画像符号化装置を複雑化すること、アクセスユニットデリミタが伝送中などにおいて喪失する可能性があることから、画像復号装置がアクセスユニットの区切りを識別することは困難である。従って、同じアクセスユニットに含まれるＮＡＬユニットが同じ時刻に対応するという上記条件を用いて、異なるＰＯＣを有する複数のピクチャを同じ時刻のピクチャであると判定し同期をとることは困難である。
以下、異なるレイヤ間で同じ表示時刻ＰＯＣを有するより具体的な方法として、第１のＮＡＬユニットタイプ制限、第２のＮＡＬユニットタイプ制限および、第２のＰＯＣ上位ビット導出部２１６３Ｂを説明する。
本実施形態の符号化データでは、第１のＮＡＬユニットタイプ制限として、全ての同じ時刻を有する全てのレイヤのピクチャ、すなわち、同じアクセスユニットの全てのレイヤのピクチャは同じＮＡＬユニットタイプを有しなければならないという制限を設ける。例えば、レイヤＩＤが０においてＩＤＲ＿Ｗ＿ＬＰピクチャであれば、同じ時刻のレイヤＩＤが１のピクチャもＩＤＲ＿Ｗ＿ＬＰピクチャであるとする。
上記第１のＮＡＬユニットタイプ制限を有する符号化データ構造によれば、同じ時刻を有する複数のレイヤにおいて、表示時刻ＰＯＣの初期化が同じ時刻のピクチャで行われるため、同じ時刻を有する複数のレイヤのピクチャ間で表示時刻ＰＯＣを有することができる。これにより、参照ピクチャリストにおける、対象レイヤとは異なるレイヤのピクチャを参照ピクチャとして用いる場合の参照ピクチャ管理、および、３次元画像再生のような、複数のレイヤを同期して再生させる場合に、表示タイミングをピクチャの時刻を用いて管理する場合などにおいて、同じ時刻のピクチャであることをＰＯＣを用いて管理することが可能となり、参照ピクチャの探索および同期が容易になるという効果を奏する。
（第２のＮＡＬユニットタイプ制限）
本実施形態の符号化データでは、第２のＮＡＬユニットタイプ制限として、レイヤＩＤが０のレイヤのピクチャが、ＰＯＣを初期化するピクチャであるＲＡＰピクチャである場合（ＩＤＲピクチャもしくはＢＬＡピクチャである場合）には、同じ時刻を有する全てのレイヤのピクチャ、すなわち、同じアクセスユニットの全てのレイヤのピクチャは、ＰＯＣを初期化するピクチャであるＲＡＰピクチャのＮＡＬユニットタイプを有しなければならないという制限を設ける。例えば、レイヤＩＤが０のピクチャにおいてＩＤＲ＿Ｗ＿ＬＰ、ＩＤＲ＿Ｎ＿ＬＰ、ＬＢＡ＿Ｗ＿ＬＰ、ＬＢＡ＿Ｗ＿ＤＬＰ、ＬＢＡ＿Ｎ＿ＬＰピクチャであれば、同じ時刻のレイヤ１のピクチャも、ＩＤＲ＿Ｗ＿ＬＰ、ＩＤＲ＿Ｎ＿ＬＰ、ＬＢＡ＿Ｗ＿ＬＰ、ＬＢＡ＿Ｗ＿ＤＬＰ、ＬＢＡ＿Ｎ＿ＬＰの何れかでなくてはならない。という制限を設ける。この場合、レイヤＩＤが０のピクチャがＰＯＣを初期化するピクチャであるＲＡＰピクチャである場合、例えば、ＩＤＲピクチャである場合、同じ時刻のレイヤＩＤが０以外のピクチャがＰＯＣを初期化するピクチャであるＲＡＰピクチャ以外のピクチャ、例えば、ＣＲＡピクチャやＲＡＳＬピクチャ、ＲＡＤＬピクチャ、ＴＲＡＩＬピクチャであってはならない。
上記第２のＮＡＬユニットタイプ制限を有する符号化データ構造によれば、同じ時刻を有する複数のレイヤにおいて、表示時刻ＰＯＣの初期化が同じ時刻のピクチャで行われるため、同じ時刻を有する複数のレイヤのピクチャ間で表示時刻ＰＯＣを有することができる。これにより、参照ピクチャリストにおける、対象レイヤとは異なるレイヤのピクチャを参照ピクチャとして用いる場合の参照ピクチャ管理、および、３次元画像再生のような、複数のレイヤを同期して再生させる場合に、表示タイミングをピクチャの時刻を用いて管理する場合などにおいて、同じ時刻のピクチャであることをＰＯＣを用いて管理することが可能となり、参照ピクチャの探索および同期が容易になるという効果を奏する。
（第２のＰＯＣ上位ビット導出部２１６３Ｂ）
第２のＰＯＣ上位ビット導出部２１６３Ｂを有する画像復号装置は、ＰＯＣ情報復号部２１６中のＰＯＣ上位ビット導出部２１６３を以下に説明するＰＯＣ上位ビット導出部２１６３Ｂに置き換えることで構成され、他の手段は既に説明した手段を用いる。
ＰＯＣ上位ビット導出部２１６３Ｂは、対象ピクチャがレイヤＩＤが０の場合には、ＮＡＬユニットヘッダ復号部２１１から入力された対象ピクチャのＮＡＬユニットタイプが、ＰＯＣの初期化が必要なＲＡＰピクチャであることを示す場合（ＢＬＡもしくはＩＤＲの場合）に、以下の式によりＰＯＣ上位ビットPicOrderCntMsbを０に初期化する。
PicOrderCntMsb＝０
対象ピクチャがレイヤＩＤが０の以外の場合には、対象ピクチャと同じ時刻のレイヤＩＤが０のピクチャのＮＡＬユニットタイプが、ＰＯＣの初期化が必要なＲＡＰピクチャであることを示す場合（ＢＬＡもしくはＩＤＲの場合）に、以下の式によりＰＯＣ上位ビットPicOrderCntMsbを０に初期化する。
PicOrderCntMsb＝０
ＰＯＣ上位ビット導出部２１６３Ｂの動作を、図３７（ｂ）を用いて説明する。図３７（ｂ）は、本実施形態のＰＯＣ初期化の説明を説明するための図である。ボックス中の英字はピクチャの名前、数字はＰＯＣを示す（以下同様）。図３７（ｂ）では、レイヤＩＤ＝０において、ＩＤＲ０、Ａ０、Ａ１、Ａ３、ＩＤＲ´０、Ｂ０、Ｂ１が符号化され、レイヤＩＤ＝１において、ＩＤＲ０、Ａ０、Ａ１、Ａ３、ＣＲＡ０、Ｂ１、Ｂ２が符号化される。この例では、時刻ＴＩＭE＝４において、レイヤ１のピクチャＣＲＡを復号する時点で、同じ時刻のレイヤＩＤが０のピクチャが、ＮＡＬユニットヘッダ復号部２１１から入力された対象ピクチャが、ＰＯＣの初期化が必要なＲＡＰピクチャであることを示すＩＤＲピクチャ（図３７（ｂ）のＩＤＲ´０）であるから、ＰＯＣの初期化が必要なＲＡＰピクチャではないＣＲＡピクチャの場合にもＰＯＣを初期化する。従って、レイヤＩＤが０のピクチャとレイヤＩＤが１のピクチャが、ＰＯＣの初期化が必要なＲＡＰピクチャという点において、揃っていないが、図３７（ｂ）の図中の数字が、同じ時刻において、レイヤＩＤが０のレイヤとレイヤＩＤが１のピクチャで同じであることから示されるように、ＰＯＣ上位ビット導出部２１６３Ｂを備えるＰＯＣ復号部によれば、同じ時刻のピクチャが同じＰＯＣを有する。
第２のＰＯＣ上位ビット導出部２１６３Ｂを有する画像復号装置によれば、同じ時刻を有する複数のレイヤにおいて、表示時刻ＰＯＣの初期化が、レイヤＩＤが０のピクチャと同じ時刻のピクチャで行われるため、同じ時刻を有する複数のレイヤのピクチャ間で表示時刻ＰＯＣを有することができる。これにより、参照ピクチャリストにおける、対象レイヤとは異なるレイヤのピクチャを参照ピクチャとして用いる場合の参照ピクチャ管理、および、３次元画像再生のような、複数のレイヤを同期して再生させる場合に、表示タイミングをピクチャの時刻を用いて管理する場合などにおいて、同じ時刻のピクチャであることをＰＯＣを用いて管理することが可能となり、参照ピクチャの探索および同期が容易になるという効果を奏する。
（ＰＯＣ下位ビット最大値制限）
さらに、本実施形態の符号化データにおけるＰＯＣ下位ビット最大値制限について説明する。ＰＯＣ上位ビット導出部２１６３で説明したように、ＰＯＣは、対象ピクチャのスライスヘッダ中から復号されるpic_order_cnt_lsbを下位ビットと、既に復号されたピクチャのＰＯＣ上位ビットPicOrderCntMsbとpic_order_cnt_lsbにより導出される対象ピクチャのＰＯＣ上位ビットPicOrderCntMsbから導出される。ＰＯＣ上位ビットPicOrderCntMsb導出は、ＰＯＣ下位ビット最大値MaxPicOrderCntLsbを単位として更新される。従って、複数のレイヤ間で同じＰＯＣを有するピクチャを復号するためには、ＰＯＣの上位ビットの更新タイミングが同一であることが必要である。
従って、本実施形態の符号化データでは、ＰＯＣ下位ビット最大値制限として、同じ時刻を有する全てのレイヤのピクチャのパラメータを規定するパラメータセット（例えばＰＰＳ）は、同じＰＯＣ下位ビット最大値MaxPicOrderCntLsbを有するという制限を設ける。
上記ＰＯＣ下位ビット最大値制限を有する符号化データ構造によれば、同じ時刻を有する複数のレイヤにおいて、表示時刻ＰＯＣ（ＰＯＣ上位ビット）の更新が同じ時刻のピクチャで行われるため、同じ時刻を有する複数のレイヤのピクチャ間で表示時刻ＰＯＣを有することができる。これにより、参照ピクチャリストにおける、対象レイヤとは異なるレイヤのピクチャを参照ピクチャとして用いる場合の参照ピクチャ管理、および、３次元画像再生のような、複数のレイヤを同期して再生させる場合に、表示タイミングをピクチャの時刻を用いて管理する場合などにおいて、同じ時刻のピクチャであることをＰＯＣを用いて管理することが可能となり、参照ピクチャの探索および同期が容易になるという効果を奏する。
（ＰＯＣ下位ビット制限）
さらに、本実施形態の符号化データにおけるＰＯＣ下位ビット制限について説明する。ＰＯＣ上位ビット導出部２１６３で説明したように、ＰＯＣは、スライス中のpic_order_cnt_lsbを用いて導出される。従って、複数のレイヤ間で同じＰＯＣを有するピクチャを復号するためには、ＰＯＣの下位ビットを同一とすることが必要である。
従って、本実施形態の符号化データでは、ＰＯＣ下位ビット制限として、同じ時刻を有する全てのレイヤのピクチャのスライスヘッダは、同じＰＯＣ下位ビットpic_order_cnt_lsbを有するという制限を設ける。
上記ＰＯＣ下位ビット制限を有する符号化データ構造によれば、同じ時刻を有する複数のレイヤにおいて、表示時刻ＰＯＣの下位ビットが同じ時刻のピクチャで同一となるため、同じ時刻を有する複数のレイヤのピクチャ間で表示時刻ＰＯＣを有することができる。これにより、参照ピクチャリストにおける、対象レイヤとは異なるレイヤのピクチャを参照ピクチャとして用いる場合の参照ピクチャ管理、および、３次元画像再生のような、複数のレイヤを同期して再生させる場合に、表示タイミングをピクチャの時刻を用いて管理する場合などにおいて、同じ時刻のピクチャであることをＰＯＣを用いて管理することが可能となり、参照ピクチャの探索および同期が容易になるという効果を奏する。
同じ時刻を有するＮＡＬユニットが同じ表示時刻（ＰＯＣ）を有することが保障される。
［スライスタイプ復号部２１７］
スライスタイプ復号部２１７は、符号化データからスライスタイプslice_typeを復号する。スライスタイプslice_typeは、イントラスライスI_SLICE、単予測スライスP_SLICE、双予測スライスB_SLICEのいずれかを有する。イントラスライスI_SLICEは、画面内予測であるイントラ予測のみを有するスライスであり、予測モードとしてイントラモードのみを有する。単予測スライスP_SLICEは、イントラ予測に加えインター予測を有するスライスであるが、参照画像として１つの参照ピクチャリストのみを有する。単予測スライスP_SLICEでは、予測リスト利用フラグpredFlagLXのいずれか一方が１、他方が０の予測パラメータを有することができる。また、単予測スライスP_SLICEでは、インター予測フラグinter_pred_idxとして、１と２の予測パラメータを有する場合を取ることができる。双予測スライスB_SLICEは、イントラ予測、単予測のインター予測に加え、双予測のインター予測を有するスライスである。参照画像として２つの参照ピクチャリストのみを有する場合を許す。すなわち、利用フラグpredFlagLXが両方とも１の場合を取ることができる。また、インター予測フラグinter_pred_idxとして１と２に加え３の予測パラメータを取ることができる。
符号化データ中のスライスタイプslice_typeが取りうる範囲は、ＮＡＬユニットタイプに応じて定められる。従来技術では、対象ピクチャがランダムアクセスピクチャ（ＲＡＰ）の場合、すなわち、ＢＬＡ、ＩＤＲ、ＣＲＡの場合には、対象ピクチャ以外の時刻のピクチャ（例えば、対象ピクチャよりも復号前のピクチャ）を参照せずに再生可能とするために、スライスタイプslice_typeは、イントラスライスI_SLICEのみに制限されていた。この場合、対象ピクチャ以外のピクチャを参照しないため、符号化効率が低いという課題があった。
図３８（ｂ）は、従来技術に係るＲＡＰピクチャにおけるスライスタイプを説明する図である。図２２を用いて説明したように、ＲＡＰピクチャは、他のピクチャの参照は禁止される。すなわち、レイヤＩＤが０であるか否かに関わらず、イントラスライスI_SLICEに制限されるため、レイヤＩＤが０以外のピクチャはレイヤＩＤが０のピクチャを参照することができない。
［スライスタイプ制限］
上記課題を解決するために、本実施形態では、符号化データの制限として以下の制限を行う。本実施形態の第１の符号化データの制限、ベースレイヤの場合（レイヤＩＤが０の場合）かつＮＡＬユニットタイプがランダムアクセスピクチャ（ＲＡＰピクチャ）の場合、すなわち、ＢＬＡ、ＩＤＲ、ＣＲＡの場合には、スライスタイプslice_typeをイントラスライスI_SLICEのみに制限し、レイヤＩＤが０以外の場合にはスライスタイプを制限しない。この制限によれば、ＮＡＬユニットタイプがランダムアクセスピクチャ（ＲＡＰピクチャ）の場合でも、レイヤＩＤが０以外の場合には、イントラスライスI_SLICEに加え、インター予測を用いるスライスであるP_SLICE、B_SLICEを取ることができる。すなわち、イントラスライスI_SLICEのみというランダムアクセスピクチャ（ＲＡＰピクチャ）に対する制限が緩和される。
図３８に、上記、ＲＡＰピクチャにおけるスライスタイプを説明する図である。ボックス中の英字はピクチャの名前、数字はＰＯＣを示す（以下同様）。図３８（ａ）は、本発明の実施形態に係るＲＡＰピクチャにおけるスライスタイプを説明する図である。図３８に示す通り、レイヤＩＤが０のレイヤでは、ＩＤＲ０、Ａ１、Ａ２、Ａ３、ＩＤＲ´０、Ｂ１、Ｂ２のピクチャが復号され、レイヤＩＤが０以外（ここではレイヤＩＤ＝1）のレイヤでも、ＩＤＲ０、Ａ１、Ａ２、Ａ３、ＩＤＲ´０、Ｂ１、Ｂ２のピクチャが復号される。レイヤＩＤが０のＲＡＰピクチャ（ここではＩＤＲピクチャ）はイントラスライスI_SLICEに制限されるが、レイヤＩＤが０以外のＲＡＰピクチャ（ここではＩＤＲピクチャ）はイントラスライスI_SLICEに制限されず、レイヤＩＤが０のピクチャを参照することができる。
上記制限の緩和を行った場合にも、ランダムアクセスが可能であることを、再度、図３８（ａ）を参照して説明する。図３８に示すように、ランダムアクセスポイントにおいてレイヤＩＤが０以外のレイヤのピクチャ（図３８のＩＤＲ０、ＩＤＲ´０のピクチャ）では、参照ピクチャが、レイヤＩＤが０のピクチャのみに制限される。すなわち、レイヤ１のランダムアクセスポイントのピクチャの参照ピクチャは、同じランダムアクセスポイント（同じ表示時刻）のレイヤＩＤが０のピクチャ（レイヤＩＤが０のＩＤＲ０、のピクチャＩＤＲ´０のピクチャ）のみである。よって、ランダムアクセスポイントより前のピクチャを復号することなく、ランダムアクセスポイントから復号を開始した場合において、レイヤＩＤが０のレイヤ、レイヤＩＤが１のレイヤともにランダムアクセスポイントより表示時刻の後のピクチャを復号可能である。このとき、レイヤＩＤが１のレイヤのスライスは、レイヤＩＤが０のピクチャを参照ピクチャとするインター予測を行うため、イントラスライスI_SLICE以外のスライスタイプを有する。
なお、上記制限の緩和には、特定のスケーラブルマスクもしくは特定のプロファイルの場合では緩和するという条件を付けても良い。具体的には、スケーラブルマスクにおいて特定のビットが有効な場合、例えば、デプススケーラブル、ビュースケーラブルが適用される場合（どちらかのスケーラブルのビットが立っている場合）には、上記緩和を適用しても良い。また、スケーラブルマスクが特定の値の場合、例えば、デプススケーラブル、ビュースケーラブル、もしくはデプススケーラブルとビュースケーラブルが適用される場合には、上記緩和を適用しても良い。また、プロファイルがマルチビュープロファイル、マルチビュー＋デプスプロファイルの場合には、上記緩和を適用しても良い。
以上のようなレイヤＩＤに依存したスライスタイプの値の範囲の制限を有する符号化データ構造によれば、レイヤＩＤが０のレイヤのピクチャにおいては、ＮＡＬユニットタイプがランダムアクセスピクチャ（ＲＡＰピクチャ）の場合において、スライスタイプをイントラスライスI_SLICEに制限し、レイヤＩＤが０以外のレイヤのピクチャにおいては、ＮＡＬユニットタイプがランダムアクセスピクチャ（ＲＡＰピクチャ）の場合においても、スライスタイプとしてイントラスライスI_SLICEに制限しない。そのため、レイヤＩＤが０以外のレイヤのピクチャにおいては、ＮＡＬユニットタイプがランダムアクセスピクチャ（ＲＡＰ）の場合においても、同じ表示時刻のレイヤＩＤが０のピクチャを参照画像として用いることができるため、符号化効率が向上する、という効果を奏する。
また、以上のようなレイヤＩＤに依存したスライスタイプの値の範囲の制限を有する符号化データ構造によれば、レイヤＩＤが０がランダムアクセスピクチャである場合に、同じ表示時刻のレイヤＩＤが０以外のピクチャを、符号化効率を低下させることなく、ランダムアクセスピクチャ（ＲＡＰピクチャ）とすることができるため、ランダムアクセスが容易になるという効果を奏する。また、ＩＤＲもしくはＢＬＡのＮＡＬユニットタイプの場合にＰＯＣを初期化する構成において、異なるレイヤ間でＰＯＣの初期化タイミングを同一にするには、レイヤＩＤが０がＩＤＲもしくはＢＬＡの場合には、レイヤＩＤが０以外のレイヤでも、ＩＤＲもしくはＢＬＡにする必要があるが、この場合でも、レイヤＩＤが０以外のレイヤのピクチャにおいて、ＮＡＬユニットタイをＰＯＣの初期化を行うＩＤＲもしくはＢＬＡとしたまま、同じ表示時刻のレイヤＩＤが０のピクチャを参照画像として用いることができるため、符号化効率が向上する、という効果を奏する。
［参照ピクチャ情報復号部２１８］
参照ピクチャ情報復号部２１８は、ヘッダ復号部１０の構成要素であり、参照ピクチャに関する情報を符号化データ＃１から復号する。参照ピクチャに関する情報には、参照ピクチャセット情報（以下、ＲＰＳ情報）と、参照ピクチャリスト修正情報（以下、ＲＰＬ修正情報）が含まれる。
参照ピクチャセット（RPS: Reference Picture Set）は、対象ピクチャ、または、復号順で対象ピクチャに後続するピクチャにおいて、参照ピクチャとして利用される可能性のあるピクチャの集合を表す。ＲＰＳ情報は、ＳＰＳやスライスヘッダから復号される情報であり、各ピクチャの復号時に設定される参照ピクチャセットの導出に用いられる情報である。
参照ピクチャリスト（RPL: Reference Picture List）は、動き補償予測を行う際に参
照すべき参照ピクチャの候補リストである。参照ピクチャリストは２以上存在してもよい。本実施形態では、Ｌ０参照ピクチャリスト（Ｌ０参照リスト）とＬ１参照ピクチャリスト（Ｌ１参照リスト）を用いるとする。ＲＰＬ修正情報は、ＳＰＳやスライスヘッダから復号される情報であり、参照ピクチャリスト内の参照ピクチャの順序を示す。
動き補償予測では、参照画像リスト上で参照画像インデックス（refIdx）の位置に記録されている参照ピクチャを利用する。例えば、refIdxの値が０の場合は、参照画像リストの０の位置、すなわち参照画像リストの先頭の参照ピクチャが動き補償予測に用いられる。
なお、参照ピクチャ情報復号部２１８によるＲＰＳ情報およびＲＰＬ修正情報の復号処理は、本実施形態における重要な処理であるため、後ほど詳しく説明する。
ここで、参照ピクチャセットと参照ピクチャリストの例を、図４０を参照して説明しておく。図４０（ａ）は、動画像を構成するピクチャを表示順に並べて示したものであり、図中の数字は各ピクチャに対応するＰＯＣを表している。ＰＯＣは、復号ピクチャバッファの説明で後述するように、出力順で昇順となるよう各ピクチャに割り当てられている。“ｃｕｒｒ”と示されたＰＯＣが９のピクチャが、現在の復号の対象ピクチャである。
図４０（ｂ）は、対象ピクチャに適用されるＲＰＳ情報の例を示す。対象ピクチャにおける参照ピクチャセット（現ＲＰＳ）は、当該ＲＰＳ情報に基づいて導出される。ＲＰＳ情報には、長期ＲＰＳ情報と短期ＲＰＳ情報とが含まれる。長期ＲＰＳ情報として、現ＲＰＳに含めるピクチャのＰＯＣが直接示されている。図４０（ｂ）に示す例では、長期ＲＰＳ情報は、ＰＯＣ＝１のピクチャを現ＲＰＳに含めることを示している。短期ＲＰＳ情報には、現ＲＰＳに含めるピクチャが、対象ピクチャのＰＯＣに対する差分で記録されている。図中の「Before, dPOC=1」と示された短期ＲＰＳ情報は、対象ピクチャのＰＯＣに対して１小さいＰＯＣのピクチャを現ＲＰＳに含めることを示している。同様に、図中の「Before, dPOC=4」は４小さいＰＯＣのピクチャを示し、「After, dPOC=1」は１大きいＰＯＣのピクチャを現ＲＰＳに含めることを示す。なお、「Before」は、対象ピクチャの前方、つまり、対象ピクチャより表示順の早いピクチャを示す。また、「After」は、対象ピクチャの後方、つまり、対象ピクチャより表示順の遅いピクチャを示す。
図４０（ｃ）は、対象ピクチャのＰＯＣが０の場合に、図４０（ｂ）で例示したＲＰＳ情報を適用したときに導出される現ＲＰＳの例を示す。長期ＲＰＳ情報で示されたＰＯＣ＝１のピクチャが含まれている。また、短期ＲＰＳ情報で示された、対象ピクチャ（ＰＯＣ＝９）より１小さいＰＯＣを有するピクチャ、すなわちＰＯＣ＝８のピクチャが含まれている。同様に、短期ＲＰＳ情報で示された、ＰＯＣ＝５とＰＯＣ＝１０のピクチャが含まれている。
図４０（ｄ）および（ｅ）は、現ＲＰＳに含まれる参照ピクチャから生成される参照ピクチャリストの例を示す。参照ピクチャリストの各要素にはインデックス（参照ピクチャインデックス）が付与されている（図中ではidxと記載）。図４０（ｄ）は、Ｌ０参照リストの例を示す。Ｌ０参照リストには、５、８、１０、１のＰＯＣを持つ現ＲＰＳに含まれる参照ピクチャが、この順で含まれている。図４０（ｅ）は、Ｌ１参照リストの例を示す。Ｌ１参照リストには、１０、５、８のＰＯＣを持つ現ＲＰＳに含まれる参照ピクチャが、この順で含まれている。なお、Ｌ１参照リストの例で示した通り、参照ピクチャリストには、現ＲＰＳに含まれる全ての参照ピクチャ（参照可能ピクチャ）を含める必要はない。しかし、参照ピクチャリストの要素数は、最大でも現ＲＰＳに含まれる参照ピクチャの数となる。言い換えると、参照ピクチャリストの長さは、現ピクチャで参照可能なピクチャ数以下である。
次に、参照ピクチャリスト修正の例を、図４１を参照して説明しておく。図４１は、特定の参照ピクチャリストに（図４１（ａ））に対して、ＲＰＬ修正情報（図４１（ｂ））を適用した場合に得られる修正後の参照ピクチャリスト（図４１（ｃ））を例示している。図４１（ａ）に示す修正前Ｌ０参照リストは、図４０（ｄ）で説明したＬ０参照リストと同一である。図４１（ｂ）に示すＲＰＬ修正情報は参照ピクチャインデックスの値を要素とするリストになっており、先頭から順に０、２、１、３の値が格納されている。このＲＰＬ修正情報は、修正前参照リストに含まれる０、２、１、３の参照ピクチャインデックスで示される参照ピクチャを、この順で修正後Ｌ０参照リストの参照ピクチャとすることを示す。図４１（ｃ）は修正後Ｌ０参照リストを示し、ＰＯＣが５、１０、８、１のピクチャがこの順で含まれている。
（動画像復号処理手順）
画像復号装置１が、入力符号化データ＃１から復号画像＃２を生成する手順は次のとおりである。
（Ｓ１１）ヘッダ復号部１０は、符号化データ＃１からＶＰＳ、ＳＰＳを復号する。
（Ｓ１２）ヘッダ復号部１０は、符号化データ＃１からＰＰＳを復号する。
（Ｓ１３）符号化データ＃１の示すピクチャを順次対象ピクチャに設定する。各対象ピクチャに対して、Ｓ１４〜Ｓ１７の処理を実行する。
（Ｓ１４）ヘッダ復号部１０は、符号化データ＃１から対象ピクチャに含まれる各スライスのスライスヘッダを復号する。ヘッダ復号部１０に含まれる参照ピクチャ情報復号部２１８は、スライスヘッダからRPS情報を復号して参照ピクチャ管理部１３に含まれる参照ピクチャセット設定部１３１に出力する。また、参照ピクチャ情報復号部２１８は、スライスヘッダからＲＰＬ修正情報を復号して参照ピクチャリスト導出部１３２に出力する。
（Ｓ１５）参照ピクチャセット設定部１３１は、ＲＰＳ情報と、復号ピクチャバッファ１２に記録されている局所復号画像のＰＯＣとメモリ上の位置情報の組み合わせに基づいて、対象ピクチャに適用する参照ピクチャセットＲＰＳを生成して、参照ピクチャリスト導出部１３２に出力する。
（Ｓ１６）参照ピクチャリスト導出部１３２は、参照ピクチャセットＲＰＳと、ＲＰＬ修正情報に基づいて参照ピクチャリストＲＰＬを生成してピクチャ復号部１１に出力する。
（Ｓ１７）ピクチャ復号部１１は、符号化データ＃１から対象ピクチャに含まれる各スライスのスライスデータと、参照ピクチャリストＲＰＬに基づいて対象ピクチャの局所復号画像を作成して、対象ピクチャのＰＯＣと関連付けて復号ピクチャバッファに記録する。復号ピクチャバッファに記録された局所復号画像は、ＰＯＣに基づき決定される適切なタイミングで、外部に復号画像＃２として出力される。
［復号ピクチャバッファ１２］
復号ピクチャバッファ１２には、ピクチャ復号部で復号された各ピクチャの局所復号画像が、レイヤＩＤ、当該ピクチャのＰＯＣ（Picture Order Count、ピクチャ順序情報。表示時刻）と関連付けられて記録されている。復号ピクチャバッファ１２は、所定の出力タイミングで、出力対象のＰＯＣを決定する。その後、当該ＰＯＣに対応する局所復号画像を、復号画像＃２を構成するピクチャの一つとして外部に出力する。
図２８は、復号ピクチャメモリの構成を示す概念図である。図中内部に数字を記したボックスが局所復号画像を示す。数字はＰＯＣを示す。図２８の図の通り、複数のレイヤの局所復号画像が、そのレイヤＩＤ、ＰＯＣ、局所復号画像に関連づけられて記録される。さらに、レイヤＩＤに対応するビューＩＤview_id、デプスフラグdepth_flagも局所復号画像に関連づけられて記録される。
［参照ピクチャ管理部１３］
図３９は、本実施形態に係る参照ピクチャ管理部１３の構成を示す概略図である。参照ピクチャ管理部１３は、参照ピクチャセット設定部１３１と、参照ピクチャリスト導出部１３２を含んで構成される。
参照ピクチャセット設定部１３１は、参照ピクチャ情報復号部２１８で復号されたRPS情報、および、復号ピクチャバッファ１２に記録されている局所復号画像とレイヤＩＤ、ＰＯＣの情報に基づいて、参照ピクチャセットRPSを構築して参照ピクチャリスト導出部１３２に出力する。なお、参照ピクチャセット設定部１３１の詳細は後述する。
参照ピクチャリスト導出部１３２は、参照ピクチャ情報復号部２１８で復号されたＲＰＬ修正情報、および、参照ピクチャセット設定部１３１から入力された参照ピクチャセットRPSに基づいて参照ピクチャリストＲＰＬを生成して、ピクチャ復号部１１に出力する。なお、参照ピクチャリスト導出部１３２の詳細は後述する。
（参照ピクチャ情報復号処理の詳細）
上記復号手順におけるＳ１４の処理のうち、ＲＰＳ情報およびＲＰＬ修正情報の復号処理について詳細を説明する。
（ＲＰＳ情報復号処理）
ＲＰＳ情報は、参照ピクチャセットを構築するためにＳＰＳまたはスライスヘッダより復号される情報である。ＲＰＳ情報には以下を含む。
１．ＳＰＳ短期ＲＰＳ情報：ＳＰＳに含まれる短期参照ピクチャセット情報
２．ＳＰＳ長期ＲＰ情報：ＳＰＳに含まれる長期参照ピクチャ情報
３．ＳＨ短期ＲＰＳ情報：スライスヘッダに含まれる短期参照ピクチャセット情報
４．ＳＨ長期ＲＰ情報：スライスヘッダに含まれる長期参照ピクチャ情報
（１．ＳＰＳ短期ＲＰＳ情報）
ＳＰＳ短期ＲＰＳ情報は、ＳＰＳを参照する各ピクチャから利用され得る複数の短期参照ピクチャセットの情報を含む。なお、短期参照ピクチャセットとは、対象ピクチャに対する相対的な位置（例えば対象ピクチャとのＰＯＣ差分）により指定される参照ピクチャ（短期参照ピクチャ）となり得るピクチャの集合である。
ＳＰＳ短期ＲＰＳ情報の復号について、図４２を参照して説明する。図４２は、ヘッダ復号部１０および参照ピクチャ情報復号部２１８においてＳＰＳ復号時に利用されるＳＰＳシンタックス表の一部を例示している。図４２の（Ａ）の部分がＳＰＳ短期ＲＰＳ情報に相当する。ＳＰＳ短期ＲＰＳ情報には、ＳＰＳに含まれる短期参照ピクチャセットの数（num_short_term_ref_pic_sets）、および、各短期参照ピクチャセットの情報（short_term_ref_pic_set(i)）が含まれる。
短期参照ピクチャセット情報について、図４３を参照して説明する。図４３は、ヘッダ復号部１０および参照ピクチャ情報復号部２１８においてＳＰＳ復号時、および、スライスヘッダ復号時に利用される短期参照ピクチャセットのシンタックス表を例示している。
短期参照ピクチャセット情報には、対象ピクチャより表示順が早い短期参照ピクチャ数（num_negative_pics）、および、対象ピクチャより表示順が遅い短期参照ピクチャ数（num_positive_pics）が含まれる。なお、以下では、対象ピクチャより表示順が早い短期参照ピクチャを前方短期参照ピクチャ、対象ピクチャより表示順が遅い短期参照ピクチャを後方短期参照ピクチャと呼ぶ。
また、短期参照ピクチャセット情報には、各前方短期参照ピクチャに対して、対象ピクチャに対するＰＯＣ差分の絶対値（delta_poc_s0_minus1[i]）、および、対象ピクチャの参照ピクチャとして使用される可能性の有無（used_by_curr_pic_s0_flag[i]）が含まれる。加えて、各後方短期参照ピクチャに対して、対象ピクチャに対するＰＯＣ差分の絶対値（delta_poc_s1_minus1[i]）、および、対象ピクチャの参照ピクチャとして使用される可能性の有無（used_by_curr_pic_s1_flag[i]）が含まれる。
（２．ＳＰＳ長期ＲＰ情報）
ＳＰＳ長期ＲＰ情報は、ＳＰＳを参照する各ピクチャから利用され得る複数の長期参照ピクチャの情報を含む。なお、長期参照ピクチャとは、シーケンス内の絶対的な位置（例えばＰＯＣ）により指定されるピクチャである。
ＳＰＳ長期ＲＰ情報の復号について、図４２を再び参照して説明する。図４２の（Ｂ）の部分がＳＰＳ長期ＲＰ情報に相当する。ＳＰＳ長期ＲＰ情報には、ＳＰＳで伝送される長期参照ピクチャの有無を示す情報（long_term_ref_pics_present_flag）、ＳＰＳに含まれる長期参照ピクチャの数（num_long_term_ref_pics_sps）、および、各長期参照ピクチャの情報が含まれる。長期参照ピクチャの情報には、参照ピクチャのＰＯＣ（lt_ref_pic_poc_lsb_sps[i]）、および、対象ピクチャの参照ピクチャとして使用される可能性の有無（used_by_curr_pic_lt_sps_flag[i]）が含まれる。
なお、上記参照ピクチャのＰＯＣは、参照ピクチャに関連付けられたＰＯＣの値自体であってもよいし、ＰＯＣのＬＳＢ（Least Significant Bit）、すなわち、ＰＯＣを既定の２の冪乗の数で割った余りの値を用いてもよい。
（３．ＳＨ短期ＲＰＳ情報）
ＳＨ短期ＲＰＳ情報は、スライスヘッダを参照するピクチャから利用され得る単一の短期参照ピクチャセットの情報を含む。
ＳＰＳ短期ＲＰＳ情報の復号について、図４４を参照して説明する。図４４は、ヘッダ復号部１０および参照ピクチャ情報復号部２１８においてスライスヘッダ復号時に利用されるスライスヘッダシンタックス表の一部を例示している。図４４の（Ａ）の部分がＳＨ短期ＲＰＳ情報に相当する。ＳＨ短期ＲＰＳ情報は、短期参照ピクチャセットをＳＰＳで復号済みの短期参照ピクチャセットの中から選択するか、スライスヘッダに明示的に含めるかを示すフラグ（short_term_ref_pic_set_sps_flag）を含む。ＳＰＳで復号済の中から選択する場合、復号済の短期参照ピクチャセットを一つ選択する識別子（short_term_ref_pic_set_idx）が含まれる。スライスヘッダに明示的に含める場合は、前述の図７を参照して説明したシンタックス表（short_term_ref_pic_set(idx)）に相当する情報が、ＳＰＳ短期ＲＰＳ情報に含まれる。
（４．ＳＨ長期ＲＰ情報）
ＳＨ長期ＲＰ情報は、スライスヘッダを参照するピクチャから利用され得る長期参照ピクチャの情報を含む。
ＳＨ長期ＲＰ情報の復号について、図４４を再び参照して説明する。図４４の（Ｂ）の部分がＳＨ長期ＲＰ情報に相当する。ＳＨ長期ＲＰ情報は、対象ピクチャで長期参照ピクチャが利用可能（long_term_ref_pic_present_flag）である場合のみスライスヘッダに含まれる。ＳＰＳで１以上の長期参照ピクチャを復号済である場合（num_long_term_ref_pics_sps>0）、ＳＰＳで復号済の長期参照ピクチャの中で対象ピクチャで参照され得る参照ピクチャの数（num_long_term_sps）がＳＨ長期ＲＰ情報に含まれる。また、スライスヘッダで明示的に伝送される長期参照ピクチャ数（num_long_term_pics）がＳＨ長期ＲＰ情報に含まれる。加えて、上記num_long_term_spsの数の長期参照ピクチャをＳＰＳで伝送済の長期参照ピクチャの中から選択する情報（lt_idx_sps[i]）がＳＨ長期ＲＰ情報に含まれる。さらに、スライスヘッダに明示的に含める長期参照ピクチャの情報として、上記num_long_term_picsの数だけ、参照ピクチャのＰＯＣ（poc_lsb_lt [i]）、および、対象ピクチャの参照ピクチャとして使用される可能性の有無（used_by_curr_pic_lt_flag[i]）が含まれる。
（RPL修正情報復号処理）
RPL修正情報は、参照ピクチャリストRPLを構築するためにＳＰＳまたはスライスヘッダより復号される情報である。RPL修正情報には、SPSリスト修正情報、および、SHリスト修正情報が含まれる。
（ＳＰＳリスト修正情報）
ＳＰＳリスト修正情報はＳＰＳに含まれる情報であり、参照ピクチャリスト修正の制約に係る情報である。ＳＰＳリスト修正情報について、図４２を再び参照して説明する。図４２の（Ｃ）の部分がＳＰＳリスト修正情報に相当する。ＳＰＳリスト修正情報には、ピクチャに含まれる前スライスで参照ピクチャリストが共通か否かを示すフラグ（restricted_ref_pic_lists_flag）、および、スライスヘッダ内にリスト並べ替えに関する情報が存在するか否かを示すフラグ（lists_modification_present_flag）が含まれる。
（ＳＨリスト修正情報）
ＳＨリスト修正情報はスライスヘッダに含まれる情報であり、対象ピクチャに適用される参照ピクチャリストの長さ（参照リスト長）の更新情報、および、参照ピクチャリストの並べ替え情報（参照リスト並べ替え情報）が含まれる。SHリスト修正情報について、図４５を参照して説明する。図４５はヘッダ復号部１０および参照ピクチャ情報復号部２１８においてスライスヘッダ復号時に利用されるスライスヘッダシンタックス表の一部を例示している。図４５の（Ｃ）の部分がＳＨリスト修正情報に相当する。
参照リスト長更新情報として、リスト長の更新有無を示すフラグ（num_ref_idx_active_override_flag）が含まれる。加えて、Ｌ０参照リストの変更後の参照リスト長を表す情報（num_ref_idx_l0_active_minus1）、および、Ｌ１参照リストの変更後の参照リスト長を表す情報（num_ref_idx_l1_active_minus1）が含まれる。
参照リスト並べ替え情報としてスライスヘッダに含まれる情報について、図４６を参照して説明する。図４６はヘッダ復号部１０および参照ピクチャ情報復号部２１８においてスライスヘッダ復号時に利用される参照リスト並べ替え情報のシンタックス表を例示している。
参照リスト並べ替え情報には、Ｌ０参照リスト並べ替え有無フラグ（ref_pic_list_modification_flag_l0）が含まれる。前記フラグの値が１（Ｌ０参照リストの並べ替えが有る場合）、かつ、NumPocTotalCurrが２より大きい場合、Ｌ０参照リスト並べ替え順序（list_entry_l0[i]）が参照リスト並べ替え情報に含まれる。ここで、NumPocTotalCurrは、現ピクチャにおいて利用可能な参照ピクチャの数を表す変数である。したがって、Ｌ０参照リストの並べ替えが有る場合であって、かつ、現ピクチャにおいて利用可能な参照ピクチャ数が２より大きい場合にのみ、Ｌ０参照リスト並べ替え順序がスライスヘッダに含まれる。
同様に、参照ピクチャがＢスライスである場合、つまり、対象ピクチャにおいてＬ１参照リストが利用可能である場合、Ｌ１参照リスト並べ替え有無フラグ（ref_pic_list_modification_flag_l1）が参照リスト並べ替え情報に含まれる。前記フラグの値が１、かつ、NumPocTotalCurrが２より大きい場合、Ｌ１参照リスト並べ替え順序（list_entry_l1[i]）が参照リスト並べ替え情報に含まれる。言い換えると、Ｌ１参照リストの並べ替えが有る場合であって、かつ、現ピクチャにおいて利用可能な参照ピクチャ数が２より大きい場合にのみ、Ｌ１参照リスト並べ替え順序がスライスヘッダに含まれる。
（参照ピクチャセット導出処理の詳細）
前述の動画像復号手順におけるＳ１５の処理、すなわち、参照ピクチャセット設定部による参照ピクチャセット導出処理の詳細を説明する。
既に説明したとおり、参照ピクチャセット設定部１３１は、ＲＰＳ情報と、復号ピクチャバッファ１２に記録されている情報に基づいて、対象ピクチャの復号に用いる参照ピクチャセットＲＰＳを生成する。
参照ピクチャセットRPSは、対象ピクチャ、または、対象ピクチャに復号順で後続のピクチャにおいて、復号時に参照画像として利用可能なピクチャ（参照可能ピクチャ）の集合である。参照ピクチャセットは、参照可能ピクチャの種類に応じて次の２つのサブセットに分けられる。
・現ピクチャ参照可能リストListCurr：復号ピクチャバッファ上のピクチャのうち、対象ピクチャにおける参照可能ピクチャのリスト
・後続ピクチャ参照可能リストListFoll：対象ピクチャでは参照されないが、対象ピクチャに復号順で後続のピクチャで参照可能な復号ピクチャバッファ上のピクチャのリスト
なお、現ピクチャ参照可能リストに含まれるピクチャの数を、現ピクチャ参照可能ピクチャ数NumCurrListと呼ぶ。なお、前述の図４６を参照して説明したNumPocTotalCurrは、NumCurrListと同一である。
現ピクチャ参照可能リストは、さらに３つの部分リストから構成される。
・現ピクチャ長期参照可能リストListLtCurr：ＳＰＳ長期ＲＰ情報またはSH長期RP情報により指定される現ピクチャ参照可能ピクチャ。
・現ピクチャ短期前方参照可能リストListStCurrBefore：ＳＰＳ短期ＲＰＳ情報またはＳＨ短期ＲＰＳ情報により指定される現ピクチャ参照可能ピクチャであって、表示順が対象ピクチャより早いもの。
・現ピクチャ短期後方参照可能リストListStCurrAfter：ＳＰＳ短期ＲＰＳ情報またはＳＨ短期ＲＰＳ情報により指定される現ピクチャ参照可能ピクチャであって、表示順が対象ピクチャより早いもの。
後続ピクチャ参照可能リストは、さらに２つの部分リストから構成される。
・後続ピクチャ長期参照可能リストListLtFoll：ＳＰＳ長期ＲＰ情報またはＳＨ長期ＲＰ情報により指定される後続ピクチャ参照可能ピクチャ。
・後続ピクチャ短期参照可能リストListStFoll：ＳＰＳ短期ＲＰＳ情報またはＳＨ短期ＲＰＳ情報により指定される現ピクチャ参照可能ピクチャ。
参照ピクチャセット設定部１３１は、ＮＡＬユニットタイプがＩＤＲ以外の場合に、参照ピクチャセットＲＰＳ、すなわち、現ピクチャ短期前方参照可能リストListStCurrBefore、現ピクチャ短期後方参照可能リストListStCurrAfter、現ピクチャ長期参照可能リストListLtCurr、後続ピクチャ短期参照可能リストListStFoll、および、後続ピクチャ長期参照可能リストListLtFollを次の手順で生成する。加えて、現ピクチャ参照可能ピクチャ数を表す変数NumPocTotalCurrを導出する。なお、前記各参照可能リストは、以下の処理の開始前に空に設定されているとする。参照ピクチャセット設定部１３１は、ＮＡＬユニットタイプがＩＤＲの場合は、参照ピクチャセットＲＰＳを空として導出する。
（Ｓ２０１）ＳＰＳ短期ＲＰＳ情報、および、ＳＨ短期ＲＰＳ情報に基づいて、対象ピクチャの復号に用いる単一の短期参照ピクチャセットを特定する。具体的には、ＳＨ短期ＲＰＳ情報に含まれるshort_term_ref_pic_set_spsの値が０である場合、ＳＨ短期ＲＰＳ情報に含まれるスライスヘッダで明示的に伝送された短期ＲＰＳを選択する。それ以外（short_term_ref_pic_set_spsの値が１の場合、ＳＨ短期ＲＰＳ情報に含まれるshort_term_ref_pic_set_idxが示す短期ＲＰＳを、ＳＰＳ短期ＲＰＳ情報に含まれる複数の短期ＲＰＳの中から選択する。
（Ｓ２０２）選択された短期ＲＰＳに含まれる参照ピクチャ各々のＰＯＣの値を導出し、復号ピクチャバッファ１２上に当該ＰＯＣ値と関連付けられて記録されている局所復号画像の位置を検出して、参照ピクチャの復号ピクチャバッファ上の記録位置として導出する。
参照ピクチャのＰＯＣ値は、参照ピクチャが前方短期参照ピクチャの場合、対象ピクチャのＰＯＣの値から「delta_poc_s0_minus1[i]+1」の値を減算して導出する。一方、参照ピクチャが後方短期参照ピクチャの場合、対象ピクチャのＰＯＣの値に「delta_poc_s1_minus1[i]+1」の値を加算して導出する。
（Ｓ２０３）短期ＲＰＳに含まれる前方参照ピクチャを伝送された順に確認し、関連付けられているused_by_curr_pic_s0_flag[i]の値が1である場合、当該前方参照ピクチャを現ピクチャ短期前方参照可能リストListStCurrBeforeに追加する。それ以外（used_by_curr_pic_s0_flag[i]の値が0）の場合、当該前方参照ピクチャを後続ピクチャ短期参照可能リストListStFollに追加する。
（Ｓ２０４）短期ＲＰＳに含まれる後方参照ピクチャを伝送された順に確認し、関連付けられているused_by_curr_pic_s1_flag[i]の値が1である場合、当該後方参照ピクチャを現ピクチャ短期後方参照可能リストListStCurrAfterに追加する。それ以外（used_by_curr_pic_s1_flag[i]の値が０の場合、当該前方参照ピクチャを後続ピクチャ短期参照可能リストListStFollに追加する。
（Ｓ２０５） ＳＰＳ長期ＲＰ情報、および、ＳＨ長期ＲＰ情報に基づいて、対象ピクチャの復号に用いる長期参照ピクチャセットを特定する。具体的には、num_long_term_spsの数の参照ピクチャを、ＳＰＳ長期ＲＰ情報に含まれ、かつ、対象ピクチャとレイヤＩＤが等しい参照ピクチャの中から選択して、順に長期参照ピクチャセットに追加する。選択される参照ピクチャは、lt_idx_sps[i]の示す参照ピクチャである。続いて、num_long_term_picsの数の参照ピクチャをＳＨ長期ＲＰ情報に含まれる参照ピクチャを順に長期参照ピクチャセットに追加する。対象ピクチャのレイヤＩＤが０以外の場合には、対象ピクチャとレイヤＩＤが異なるピクチャ、特に、対象ピクチャの依存レイヤref_layer_idが等しいレイヤＩＤ参照ピクチャの中から、対象ピクチャのＰＯＣと等しいＰＯＣを持つ参照ピクチャをさらに長期参照ピクチャセットに追加する。
（Ｓ２０６）長期参照ピクチャセットに含まれる参照ピクチャ各々のＰＯＣの値を導出し、復号ピクチャバッファ１２上で対象ピクチャとレイヤＩＤが等しい参照ピクチャの中から当該ＰＯＣ値と関連付けられて記録されている局所復号画像の位置を検出して、参照ピクチャの復号ピクチャバッファ上の記録位置として導出する。また、対象ピクチャとレイヤＩＤが異なる参照ピクチャについては、依存レイヤref_layer_idにより指定されたレイヤＩＤと対象ピクチャのＰＯＣと関連付けられて記録されている局所復号画像の位置を検出して、参照ピクチャの復号ピクチャバッファ上の記録位置として導出する。
長期参照ピクチャのＰＯＣは、対象ピクチャとレイヤＩＤが等しい参照ピクチャについては、関連付けて復号されたpoc_lst_lt[i]、または、lt_ref_pic_poc_lsb_sps[i]の値から直接導出される。対象ピクチャとレイヤＩＤが異なる参照ピクチャについては、対象ピクチャのＰＯＣが設定される。
（Ｓ２０７）長期参照ピクチャセットに含まれる参照ピクチャを順に確認し、関連付けられているused_by_curr_pic_lt_flag[i]、または、used_by_curr_pic_lt_sps_flag[i]の値が1である場合、当該長期参照ピクチャを現ピクチャ長期参照可能リストListLtCurrに追加する。それ以外（used_by_curr_pic_lt_flag[i]、または、used_by_curr_pic_lt_sps_flag[i]の値が0）の場合、当該長期参照ピクチャを後続ピクチャ長期参照可能リストListLtFollに追加する。
（Ｓ２０８）変数NumPocTotalCurrの値を、現ピクチャから参照可能な参照ピクチャの和に設定する。すなわち、変数NumPocTotalCurrの値を、現ピクチャ短期前方参照可能リストListStCurrBefore、現ピクチャ短期後方参照可能リストListStCurrAfter、および、現ピクチャ長期参照可能リストListLtCurrの３つのリストの各要素数の和に設定する。
（参照ピクチャリスト構築処理の詳細）
上記復号手順におけるＳ１６の処理、すなわち、参照ピクチャリスト構築処理の詳細を図１を参照して説明する。既に説明したとおり、参照ピクチャリスト導出部１３２は、参照ピクチャセットＲＰＳと、ＲＰＬ修正情報に基づいて参照ピクチャリストＲＰＬを生成する。
参照ピクチャリストはＬ０参照リストとＬ１参照リストの２つのリストから構成される。始めに、Ｌ０参照リストの構築手順を説明する。Ｌ０参照リストは、以下のＳ３０１〜Ｓ３０７に示す手順で構築される。
（Ｓ３０１）暫定Ｌ０参照リストを生成して、空のリストに初期化する。
（Ｓ３０２）暫定Ｌ０参照リストに対し、現ピクチャ短期前方参照可能リストに含まれる参照ピクチャを順に追加する。
（Ｓ３０３）暫定Ｌ０参照リストに対し、現ピクチャ短期後方参照可能リストに含まれる参照ピクチャを順に追加する。
（Ｓ３０４）暫定Ｌ０参照リストに対し、現ピクチャ長期参照可能リストに含まれる参照ピクチャを順に追加する。
（Ｓ３０５）参照ピクチャリストが修正される場合（ＲＰＬ修正情報に含まれるlists_modification_present_flagの値が１の場合）、以下のＳ３０６ａ〜Ｓ３０６ｂの処理を実行する。そうでない場合（lists_modification_present_flagの値が０の場合）、Ｓ３０７の処理を実行する。
（Ｓ３０６ａ）Ｌ０参照ピクチャの修正が有効な場合（ＲＰＬ修正情報に含まれるref_pic_list_modification_flag_l0の値が１の場合）であって、かつ、現ピクチャ参照可能ピクチャ数NumCurrListが２に等しい場合、Ｓ３０６ｂを実行する。そうでない場合、Ｓ３０６ｃを実行する。
（Ｓ３０６ｂ）ＲＰＬ修正情報に含まれるリスト並べ替え順序list_entry_l0[i]の値を下記の式により設定し、その後、Ｓ３０６ｃを実行する。
list_entry_l0[0] = 1
list_entry_l0[1] = 0
（Ｓ３０６ｃ）参照リスト並べ替え順序list_entry_l0[i]の値に基づいて、暫定Ｌ０参照リストの要素を並べ換えて、Ｌ０参照リストとする。参照ピクチャインデックスrIdxに対応するＬ０参照リストの要素RefPicList0[rIdx]は、次式により導出される。ここで、RefListTemp0[i]は、暫定Ｌ０参照リストのi番目の要素を表す。
RefPicList0[ rIdx ] = RefPicListTemp0[ list_entry_l0[ rIdx ] ]
上記の式によれば、参照リスト並べ替え順序list_entry_l0[i]において、参照ピクチャインデックスrIdxの示す位置に記録されている値を参照し、暫定Ｌ０参照リストにおいて前記値の位置に記録されている参照ピクチャを、Ｌ０参照リストのrIdxの位置の参照ピクチャとして格納する。
（Ｓ３０７）暫定Ｌ０参照リストをＬ０参照リストとする。
次にＬ１参照リストを構築する。なお、Ｌ１参照リストも、上記Ｌ０参照リストと同様の手順で構築できる。上記Ｌ０参照リストの構築手順（Ｓ３０１〜Ｓ３０７）において、Ｌ０参照ピクチャ、Ｌ０参照リスト、暫定Ｌ０参照リスト、list_entry_l0をそれぞれ、Ｌ１参照ピクチャ、Ｌ１参照リスト、暫定Ｌ１参照リスト、list_entry_l1と置き換えればよい。
上記では、図４６において、現ピクチャ参照可能ピクチャ数が２の場合にＲＰＬ修正情報を省略する例を記載したが、それに限らない。現ピクチャ参照可能ピクチャ数が１の場合にＲＰＬ修正情報を省略してもよい。具体的には、参照ピクチャ情報復号部２１８におけるＳＨリスト修正情報の復号処理において、参照リスト並べ替え情報を図４７に示すシンタックス表に基づいてパースする。図４７は、スライスヘッダ復号時に利用される参照リスト並べ替え情報のシンタックス表を例示している。
［ピクチャ復号部１１］
ピクチャ復号部１１は、符号化データ＃１、ヘッダ復号部１０より入力されるヘッダ情報、復号ピクチャバッファ１２に記録されている参照ピクチャ、および、参照ピクチャリスト導出部１３２より入力される参照ピクチャリストに基づいて、各ピクチャの局所復号画像を生成して復号ピクチャバッファ１２に記録する。
図５は、本実施形態に係るピクチャ復号部１１の構成を示す概略図である。ピクチャ復号部１１は、エントロピー復号部３０１、予測パラメータ復号部３０２、予測パラメータメモリ（予測パラメータ記憶部）３０７、予測画像生成部３０８、逆量子化・逆ＤＣＴ部３１１、及び加算部３１２を含んで構成される。
また、予測パラメータ復号部３０２は、インター予測パラメータ復号部３０３及びイントラ予測パラメータ復号部３０４を含んで構成される。予測画像生成部３０８は、インター予測画像生成部３０９及びイントラ予測画像生成部３１０を含んで構成される。
エントロピー復号部３０１は、外部から入力された符号化データ＃１に対してエントロピー復号を行って、個々の符号（シンタックス要素）を分離し復号する。分離された符号には、予測画像を生成するための予測情報および、差分画像を生成するための残差情報などがある。
エントロピー復号部３０１は、分離した符号の一部を予測パラメータ復号部３０２に出力する。分離した符号の一部とは、例えば、予測モードPredMode、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idx、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXである。どの符号を復号するか否かの制御は、予測パラメータ復号部３０２の指示に基づいて行われる。エントロピー復号部３０１は、量子化係数を逆量子化・逆ＤＣＴ部３１１に出力する。この量子化係数は、符号化処理において、残差信号に対してＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、離散コサイン変換）を行い量子化して得られる係数である。
インター予測パラメータ復号部３０３は、エントロピー復号部３０１から入力された符号に基づいて、予測パラメータメモリ３０７に記憶された予測パラメータを参照してインター予測パラメータを復号する。
インター予測パラメータ復号部３０３は、復号したインター予測パラメータを予測画像生成部３０８に出力し、また予測パラメータメモリ３０７に記憶する。インター予測パラメータ復号部３０３の詳細については後述する。
イントラ予測パラメータ復号部３０４は、エントロピー復号部３０１から入力された符号に基づいて、予測パラメータメモリ３０７に記憶された予測パラメータを参照してイントラ予測パラメータを生成する。イントラ予測パラメータとは、復号対象ブロックの予測画像をイントラ予測を用いて生成する際に必要な情報であり、例えば、イントラ予測モードIntraPredModeである。
イントラ予測パラメータ復号部３０４は、入力された符号から、デプスイントラ予測モードdmm_modeを復号する。イントラ予測パラメータ復号部３０４は、デプスイントラ予測モードdmm_modeを用いて、イントラ予測モードIntraPredModeを以下の式から生成する。
IntraPredMode = dmm_mode + 35
デプスイントラ予測モードdmm_modeが０または１、即ち、MODE_DMM_WFULLまたはMODE_DMM_WFULLDELTAを示している場合には、イントラ予測パラメータ復号部３０４は、入力された符号から、ウェッジレットパターンインデックスwedge_full_tab_idxを復号する。
デプスイントラ予測モードdmm_modeが、MODE_DMM_WFULLDELTAまたはMODE_DMM_CPREDTEXDELTAである場合には、イントラ予測パラメータ復号部３０４は、入力された符号から、ＤＣ１絶対値、ＤＣ１符号、ＤＣ２絶対値、ＤＣ２符号を復号する。デプスイントラ予測モードdmm_modeは、ＤＣ１絶対値、ＤＣ１符号、ＤＣ２絶対値、ＤＣ２符号から量子化オフセットＤＣ１DmmQuantOffsetDC1、量子化オフセットＤＣ２DmmQuantOffsetDC2を以下の式より生成する。
DmmQuantOffsetDC1 = ( 1 − 2 *dmm_dc_1_sign_flag ) * dmm_dc_1_abs
DmmQuantOffsetDC2 = ( 1 − 2 *dmm_dc_2_sign_flag ) * dmm_dc_2_abs
イントラ予測パラメータ復号部３０４は、生成したイントラ予測モードIntraPredMode、デルタエンド、量子化オフセットＤＣ１DmmQuantOffsetDC1、量子化オフセットＤＣ２DmmQuantOffsetDC2と復号したウェッジレットパターンインデックスwedge_full_tab_idxを予測パラメータとする。
イントラ予測パラメータ復号部３０４は、イントラ予測パラメータを予測画像生成部３０８に出力し、また予測パラメータメモリ３０７に記憶する。
予測パラメータメモリ３０７は、予測パラメータを、復号対象のピクチャ及びブロック毎に予め定めた位置に記憶する。具体的には、予測パラメータメモリ３０７は、インター予測パラメータ復号部３０３が復号したインター予測パラメータ、イントラ予測パラメータ復号部３０４が復号したイントラ予測パラメータ及びエントロピー復号部３０１が分離した予測モードpredModeを記憶する。記憶されるインター予測パラメータには、例えば、予測リスト利用フラグpredFlagLX（インター予測フラグinter_pred_idx）、参照ピクチャインデックスrefIdxLX、ベクトルmvLXがある。
予測画像生成部３０８には、エントロピー復号部３０１から入力された予測モードpredModeが入力され、また予測パラメータ復号部３０２から予測パラメータが入力される。また、予測画像生成部３０８は、復号ピクチャバッファ１２から参照ピクチャを読み出す。予測画像生成部３０８は、予測モードpredModeが示す予測モードで、入力された予測パラメータと読み出した参照ピクチャを用いて予測ピクチャブロックＰ（予測画像）を生成する。
ここで、予測モードpredModeがインター予測モードを示す場合、インター予測画像生成部３０９は、インター予測パラメータ復号部３０３から入力されたインター予測パラメータと読み出した参照ピクチャを用いてインター予測により予測ピクチャブロックＰを生成する。予測ピクチャブロックＰはＰＵに対応する。ＰＵは、上述したように予測処理を行う単位となる複数の画素からなるピクチャの一部分、つまり１度に予測処理が行われる復号対象ブロックに相当する。
インター予測画像生成部３０９は、予測リスト利用フラグpredFlagLXが１である参照ピクチャリスト（L0参照リスト、もしくはL1参照リスト）に対し、参照ピクチャインデックスrefIdxLXで示される参照ピクチャから、復号対象ブロックを基準としてベクトルmvLXが示す位置にある参照ピクチャブロックを復号ピクチャバッファ１２から読み出す。インター予測画像生成部３０９は、読み出した参照ピクチャブロックについて予測を行って予測ピクチャブロックＰを生成する。インター予測画像生成部３０９は、生成した予測ピクチャブロックＰを加算部３１２に出力する。
予測モードpredModeがイントラ予測モードを示す場合、イントラ予測画像生成部３１０は、イントラ予測パラメータ復号部３０４から入力されたイントラ予測パラメータと読み出した参照ピクチャを用いてイントラ予測を行う。具体的には、イントラ予測画像生成部３１０は、復号対象のピクチャであって、既に復号されたブロックのうち復号対象ブロックから予め定めた範囲にある参照ピクチャブロックを復号ピクチャバッファ１２から読み出す。予め定めた範囲とは、復号対象ブロックがいわゆるラスタースキャンの順序で順次移動する場合、例えば、左、左上、上、右上の隣接ブロックのうちのいずれかであり、イントラ予測モードによって異なる。ラスタースキャンの順序とは、各ピクチャにおいて、上端から下端まで各行について、順次左端から右端まで移動させる順序である。
イントラ予測画像生成部３１０は、読み出した参照ピクチャブロックと、入力された予測パラメータを用いて予測ピクチャブロックを生成する。図１０は、本実施形態に係るイントラ予測画像生成部３１０の構成を示す概略図である。イントラ予測画像生成部３１０は、方向予測部３１０１とＤＭＭ予測部３１０２を含んで構成される。
イントラ予測画像生成部３１０は、予測パラメータに含まれるイントラ予測モードIntraPredModeの値が３４以下であれば、方向予測部３１０１において、例えば、非特許文献３に記載されているイントラ予測を用いて予測ピクチャブロックを生成する。
イントラ予測モードIntraPredModeの値が３５以上の場合には、イントラ予測画像生成部３１０は、ＤＭＭ予測部３１０２において、デプスイントラ予測を用いて予測ピクチャブロックを生成する。
図１５は、イントラ予測画像生成部３１０で処理されるデプスイントラ予測の概念図である。デプスマップには、オブジェクト内ではほとんど画素値が変わらず、オブジェクトの境界では鋭いエッジが発生する特徴があるため、デプスイントラ予測では、図１５（ａ）に示すように、対象ブロックをオブジェクトのエッジに沿った２つの領域に分割し、各領域を各々の予測値で埋めることによって予測ピクチャブロックを生成する。イントラ予測画像生成部３１０は、図１５（ｂ）に示すような、対象ブロックの分割方法を示す情報であるウェッジレットパターンを生成する。ウェッジレットパターンは、対象ブロックの幅ｘ高さ分の大きさのあるマトリックスであり、要素ごとに０または１が設定されており、対象ブロックの各画素が２つの領域のうちどちらに属するかを示している。
イントラ予測モードIntraPredModeの値が３５の場合には、イントラ予測画像生成部３１０は、デプスイントラ予測におけるMODE_DMM_WFULLモードを用いて予測ピクチャブロックを生成する。イントラ予測画像生成部３１０は、まず、ウェッジレットパターンリストを生成する。以下、ウェッジレットパターンリストの生成方法について説明する。
イントラ予測画像生成部３１０は、まず、全要素が０のウェッジレットパターンを生成する。次に、イントラ予測画像生成部３１０は、ウェッジレットパターン内に、開始位置Sp(xs,ys)と終了位置Ep(xe,ye)を設定する。図１６の（ａ）の場合では、初期値として、開始位置Sp(xs,ys)=(0,0)、終了位置Ep(xe,ye)=(0,0)と設定し、開始位置Spと終了位置Epの間をBresenhamのアルゴリズムを用いて線分を引き、その線分上及び線分より左側の座標に対応する要素を１に設定する（図１６（ａ）中の灰色の要素）。イントラ予測画像生成部３１０は、生成したウェッジレットパターンをウェッジレットパターンリストに格納する。続けて、イントラ予測画像生成部３１０は、開始位置SpのＸ座標と終了位置EpのＹ座標に１を加算し、同様の方法でウェッジレットパターンを生成する。これを開始位置Spもしくは終了位置Epがウェッジレットパターンの範囲を超えるまで続ける。
図１６の（ｂ）の場合では、初期値として、開始位置Sp(xs,ys)=(blocksize−1,0)、終了位置Ep(xe,ye)=(blocksize−1,0)と設定し、開始位置SpのＹ座標に１を加算、終了位置EpのＸ座標に１を減算することを繰り返しながら、図１６（ａ）と同様の方法でウェッジレットパターンを生成し、ウェッジレットパターンリストに追加する。なお、blocksizeとは対象ブロックの幅及び高さのサイズを示す。
図１６の（ｃ）の場合では、初期値として、開始位置Sp(xs,ys)=(blocksize−1, blocksize−1)、終了位置Ep(xe,ye)=(blocksize−1, blocksize−1)と設定し、開始位置SpのＸ座標及び終了位置EpのＹ座標に１を減算することを繰り返しながら、図１６（ａ）と同様の方法でウェッジレットパターンを生成し、ウェッジレットパターンリストに追加する。
図１６の（ｄ）の場合では、初期値として、開始位置Sp(xs,ys)=(0, blocksize−1)、終了位置Ep(xe,ye)=(0, blocksize−1)と設定し、開始位置SpのＹ座標に１を減算、終了位置EpのＸ座標に１を加算することを繰り返しながら、図１６（ａ）と同様の方法でウェッジレットパターンを生成し、ウェッジレットパターンリストに追加する。
図１６の（ｅ）の場合では、初期値として、開始位置Sp(xs,ys)=(0,0)、終了位置Ep(xe,ye)=(0, blocksize−1)と設定し、開始位置SpのＸ座標及び終了位置EpのＸ座標に１を加算することを繰り返しながら、図１６（ａ）と同様の方法でウェッジレットパターンを生成し、ウェッジレットパターンリストに追加する。
図１６の（ｆ）の場合では、初期値として、開始位置Sp(xs,ys)=(blocksize−1 ,0)、終了位置Ep(xe,ye)=(0,0)と設定し、開始位置SpのＹ座標及び終了位置EpのＹ座標に１を加算することを繰り返しながら、図１６（ａ）と同様の方法でウェッジレットパターンを生成し、ウェッジレットパターンリストに追加する。
イントラ予測画像生成部３１０は、上記、図１６の（ａ）から（ｆ）の方法のうちいずれか、もしくは、全ての方法を用いて、ウェッジレットパターンリストを生成する。
次に、イントラ予測画像生成部３１０は、予測パラメータに含まれるウェッジレットパターンインデックスwedge_full_tab_idxを用いてウェッジレットパターンリストからウェッジレットパターンを選択する。イントラ予測画像生成部３１０は、ウェッジレットパターンに従って予測ピクチャブロックを２つの領域に分割し、領域毎に予測値dmmPredPartitionDC1、dmmPredPartitionDC2を導出する。予測値の導出方法としては、例えば、領域に隣接する参照ピクチャブロックの画素値の平均値を予測値とする。領域に隣接する参照ピクチャブロックが無い場合には、画素のビット深度をBitDepthとした場合、1 << ( BitDepth − 1 )を予測値とする。イントラ予測画像生成部３１０は、予測値dmmPredPartitionDC1、dmmPredPartitionDC2で各領域を埋めることで予測ピクチャブロックを生成する。
イントラ予測モードIntraPredModeの値が３６の場合には、イントラ予測画像生成部３１０は、デプスイントラ予測におけるMODE_DMM_WFULLDELTAモードを用いて予測ピクチャブロックを生成する。まず、イントラ予測画像生成部３１０は、MODE_DMM_WFULLモードの時と同様に、ウェッジレットパターンリストからウェッジレットパターンを選択し、領域毎に予測値dmmPredPartitionDC1、dmmPredPartitionDC2を導出する。
次に、イントラ予測画像生成部３１０は、予測パラメータに含まれる量子化オフセットＤＣ１DmmQuantOffsetDC1、量子化オフセットＤＣ２DmmQuantOffsetDC2を用いて、デプスイントラ予測オフセットdmmOffsetDC1, dmmOffsetDC2を、量子化パラメータをＱＰとして場合、以下の式により導出する。
dmmOffsetDC1 = DmmQuantOffsetDC1 * Clip3( 1, ( 1 << BitDepthY ) − 1, 2^((QP/10)−2)
dmmOffsetDC2 = DmmQuantOffsetDC2 * Clip3( 1, ( 1 << BitDepthY ) − 1, 2^((QP/10)−2)
イントラ予測画像生成部３１０は、予測値dmmPredPartitionDC1、dmmPredPartitionDC2それぞれにイントラ予測オフセットdmmOffsetDC1, dmmOffsetDC2を加算した値で各領域を埋めることにより予測ピクチャブロックを生成する。
イントラ予測モードIntraPredModeの値が３７の場合には、イントラ予測画像生成部３１０は、デプスイントラ予測におけるMODE_DMM_CPREDTEXモードを用いて予測ピクチャブロックを生成する。イントラ予測画像生成部３１０は、対応ブロックを復号ピクチャバッファ１２から読みだす。イントラ予測画像生成部３１０は、対応ブロックの画素値の平均値を算出する。イントラ予測画像生成部３１０は、算出した平均値を閾値とし、対応ブロックを閾値以上の領域１と閾値以下の領域２に分ける。イントラ予測画像生成部３１０は、領域１、領域２と同じ形状で、予測ピクチャブロックを２つの領域に分割する。イントラ予測画像生成部３１０は、MODE_DMM_WFULLモードの時と同様の方法を用いて、領域毎に予測値dmmPredPartitionDC1、dmmPredPartitionDC2を導出する。イントラ予測画像生成部３１０は、予測値dmmPredPartitionDC1、dmmPredPartitionDC2で各領域を埋めることで予測ピクチャブロックを生成する。
イントラ予測モードIntraPredModeの値が３８の場合には、イントラ予測画像生成部３１０は、デプスイントラ予測におけるMODE_DMM_CPREDTEXDELTAモードを用いて予測ピクチャブロックを生成する。まず、イントラ予測画像生成部３１０は、MODE_DMM_CPREDTEXモードと同様に、予測ピクチャブロックを２つの領域に分割し、領域毎に予測値dmmPredPartitionDC1、dmmPredPartitionDC2を導出する。次に、イントラ予測画像生成部３１０は、MODE_DMM_WFULLDELTAモードと同様に、イントラ予測オフセットdmmOffsetDC1, dmmOffsetDC2を導出し、予測値dmmPredPartitionDC1、dmmPredPartitionDC2それぞれにイントラ予測オフセットdmmOffsetDC1, dmmOffsetDC2を加算した値で各領域を埋めることにより予測ピクチャブロックを生成する。
イントラ予測画像生成部３１０は、生成した予測ピクチャブロックＰを加算部３１２に出力する。
逆量子化・逆ＤＣＴ部３１１は、エントロピー復号部３０１から入力された量子化係数を逆量子化してＤＣＴ係数を求める。逆量子化・逆ＤＣＴ部３１１は、求めたＤＣＴ係数について逆ＤＣＴ（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、逆離散コサイン変換）を行い、復号残差信号を算出する。逆量子化・逆ＤＣＴ部３１１は、算出した復号残差信号を加算部３１２に出力する。
加算部３１２は、インター予測画像生成部３０９及びイントラ予測画像生成部３１０から入力された予測ピクチャブロックＰと逆量子化・逆ＤＣＴ部３１１から入力された復号残差信号の信号値を画素毎に加算して、参照ピクチャブロックを生成する。加算部３１２は、生成した参照ピクチャブロックを参照ピクチャバッファ１２に記憶し、生成した参照ピクチャブロックをピクチャ毎に統合した復号レイヤ画像Ｔｄを外部に出力する。
（インター予測パラメータ復号部の構成）
次に、インター予測パラメータ復号部３０３の構成について説明する。
図６は、本実施形態に係るインター予測パラメータ復号部３０３の構成を示す概略図である。インター予測パラメータ復号部３０３は、インター予測パラメータ復号制御部３０３１、AMVP予測パラメータ導出部３０３２、加算部３０３５及びマージ予測パラメータ導出部３０３６を含んで構成される。
インター予測パラメータ復号制御部３０３１は、インター予測に関連する符号（シンタックス要素の復号をエントロピー復号部３０１に指示し、符号化データに含まれる符号（シンタックス要素）を例えば、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idx、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXを抽出する。
インター予測パラメータ復号制御部３０３１は、まず、をマージフラグ抽出する。インター予測パラメータ復号制御部３０３１が、あるシンタックス要素を抽出すると表現する場合は、あるシンタックス要素の復号をエントロピー復号部３０１に指示し、該当のシンタックス要素を符号化データから読み出すことを意味する。ここで、マージフラグが示す値が１、すなわち、マージ予測モードを示す場合、インター予測パラメータ復号制御部３０３１は、マージ予測に係る予測パラメータとして、マージインデックスmerge_idxを抽出する。インター予測パラメータ復号制御部３０３１は、抽出したマージインデックスmerge_idxをマージ予測パラメータ導出部３０３６に出力する。
マージフラグmerge_flagが０、すなわち、AMVP予測モードを示す場合、インター予測パラメータ復号制御部３０３１は、エントロピー復号部３０１を用いて符号化データからAMVP予測パラメータを抽出する。AMVP予測パラメータとして、例えば、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXがある。インター予測パラメータ復号制御部３０３１は、抽出したインター予測フラグinter_pred_idxから導出した予測リスト利用フラグpredFlagLXと、参照ピクチャインデックスrefIdxLXをAMVP予測パラメータ導出部３０３２及び予測画像生成部３０８（図５）に出力し、また予測パラメータメモリ３０７（図５）に記憶する。インター予測パラメータ復号制御部３０３１は、抽出したベクトルインデックスmvp_LX_idxをAMVP予測パラメータ導出部３０３２に出力する。インター予測パラメータ復号制御部３０３１は、抽出した差分ベクトルmvdLXを加算部３０３５に出力する。
図７は、本実施形態に係るマージ予測パラメータ導出部３０３６の構成を示す概略図である。マージ予測パラメータ導出部３０３６は、マージ候補導出部３０３６１とマージ候補選択部３０３６２を備える。マージ候補導出部３０３６１は、マージ候補格納部３０３６１１と、拡張マージ候補導出部３０３６１２と、基本マージ候補導出部３０３６１３とＭＰＩ候補導出部３０３６１４を含んで構成される。
マージ候補格納部３０３６１１は、拡張マージ候補導出部３０３６１２及び基本マージ候補導出部３０３６１３から入力されたマージ候補を格納する。なお、マージ候補は、予測リスト利用フラグpredFlagLX、ベクトルmvLX、参照ピクチャインデックスrefIdxLXを含んで構成されている。マージ候補格納部３０３６１１において、格納されたマージ候補には、所定の規則に従ってインデックスが割り当てられる。例えば、拡張マージ候補導出部３０３６１２またはＭＰＩ候補導出部３０３６１４から入力されたマージ候補には、インデックスとして「０」を割り当てる。
ＭＰＩ候補導出部３０３６１４は、対象ブロックのレイヤがデプスレイヤであり、なお且つ、動きパラメータ継承を用いることが可能であれば、即ち、デプスフラグdepth_flag及び動きパラメータ継承フラグuse_mpi_flagが共に１の場合に、対象レイヤとは異なるレイヤの動き補償パラメータを用いて、マージ候補を導出する。対象レイヤとは異なるレイヤとしては、例えば、対象のデプスピクチャと同一ビューＩＤview_id、同一ＰＯＣを持つテクスチャレイヤのピクチャである。
ＭＰＩ候補導出部３０３６１４は、対象レイヤとは異なるレイヤのピクチャ中の、対象ブロックと同一座標のブロック（対応ブロックとも呼ぶ）の予測パラメータを予測パラメータメモリ３０７から読みだす。
対応ブロックのサイズが対象ブロックよりも小さい場合には、ＭＰＩ候補導出部３０３６１４は、対応するテクスチャピクチャ中の対象ブロックと同一座標のＣＴＵの分割フラグsplit_flagと、該ＣＴＵに含まれる複数のブロックの予測パラメータを読み出す。
対応ブロックのサイズが対象ブロックよりも大きい場合には、ＭＰＩ候補導出部３０３６１４は、対応ブロックの予測パラメータを読み出す。
ＭＰＩ候補導出部３０３６１４は、読みだした予測パラメータをマージ候補としてマージ候補格納部３０３６１１に出力する。なお、ＣＴＵの分割フラグsplit_flagも読みだした場合には、該分割情報もマージ候補に含める。
拡張マージ候補導出部３０３６１２は、変位ベクトル取得部３０３６１２２と、インターレイヤマージ候補導出部３０３６１２１とインターレイヤ変位マージ候補導出部３０３６１２３を含んで構成される。
拡張マージ候補導出部３０３６１２は、対象ブロックのレイヤがデプスレイヤでない、又は、動きパラメータ継承を用いることが不可能であれば、即ち、デプスフラグdepth_flagまたは動きパラメータ継承フラグuse_mpi_flagのどちらかが０の場合に、マージ候補を導出する。なお、拡張マージ候補導出部３０３６１２は、デプスフラグdepth_flag及び動きパラメータ継承フラグuse_mpi_flagが共に１である場合に、マージ候補を導出してもよい。この場合には、マージ候補格納部３０３６１１は、拡張マージ候補導出部３０３６１２とＭＰＩ候補導出部３０３６１４が導出するマージ候補に異なるインデックスを割り当てる。
変位ベクトル取得部３０３６１２２は、まず、復号対象ブロックに隣接する複数の候補ブロック（例えば、左、上、右上に隣接するブロック）から順に変位ベクトルを取得する。具体的には、候補ブロックの一つを選択し、選択した候補ブロックのベクトルが変位ベクトルであるか動きベクトルであるかを、候補ブロックの参照ピクチャインデックスrefIdxLXを用いてリファレンスレイヤ判定部３０３１１１（後述）を用いて判定し変位ベクトルが有る場合には、それを変位ベクトルとする。候補ブロックに変位ベクトルがない場合には、次の候補ブロックを順に走査する。隣接するブロックに変位ベクトルがない場合、変位ベクトル取得部３０３６１２２は、時間的に別の表示順の参照ピクチャに含まれるブロックの対象ブロックに対応する位置のブロックの変位ベクトルの取得を試みる。変位ベクトルが取得できなかった場合には、変位ベクトル取得部３０３６１２２は、変位ベクトルとしてゼロベクトルを設定する。変位ベクトル取得部３０３６１２２は、変位ベクトルをインターレイヤマージ候補導出部３０３６１２１及びインターレイヤ変位マージ候補導出部に出力する。
インターレイヤマージ候補導出部３０３６１２１は、変位ベクトル取得部３０３６１２２から変位ベクトルを入力される。インターレイヤマージ候補導出部３０３６１２１は、別レイヤ（例えばベースレイヤ、ベースビュー）の復号対象ピクチャと同一ＰＯＣを持つピクチャ内から、変位ベクトル取得部３０３６１２２から入力された変位ベクトルだけが示すブロックを選択し、該ブロックが有する動きベクトルである予測パラメータを予測パラメータメモリ３０７から読み出す。より具体的には、インターレイヤマージ候補導出部３０３６１２１が読みだす予測パラメータは、対象ブロックの中心点を起点にしたときに、起点の座標に変位ベクトルを加算した座標を含むブロックの予測パラメータである。
参照ブロックの座標（xRef、yRef）は、対象ブロックの座標が(xP、yP)、変位ベクトルが（mvDisp[0]、mvDisp[1]）、対象ブロックの幅と高さがnPSW、nPSHの場合に以下の式により導出する。
xRef = Clip3( 0, PicWidthInSamplesL− 1, xP + ( ( nPSW − 1 ) >> 1 ) + ( ( mvDisp[0] + 2 ) >> 2 ) )
yRef = Clip3( 0, PicHeightInSamplesL− 1, yP + ( ( nPSH − 1 ) >> 1 ) + ( ( mvDisp[1] + 2 ) >> 2 ))
なお、インターレイヤマージ候補導出部３０３６１２１は、予測パラメータが動きベクトルか否かを、インター予測パラメータ復号制御部３０３１に含まれる後述するリファレンスレイヤ判定部３０３１１１の判定方法において偽（変位ベクトルではない）と判定した方法により判定する。インターレイヤマージ候補導出部３０３６１２１は、読みだした予測パラメータをマージ候補としてマージ候補格納部３０３６１１に出力する。また、インターレイヤマージ候補導出部３０３６１２１は、予測パラメータを導出出来なかった際には、その旨をインターレイヤ変位マージ候補導出部に出力する。本マージ候補は、動き予測のインターレイヤ候補（インタービュー候補）でありインターレイヤマージ候補（動き予測）とも記載する。
インターレイヤ変位マージ候補導出部３０３６１２３は、変位ベクトル取得部３０３６１２２から変位ベクトルを入力される。インターレイヤ変位マージ候補導出部３０３６１２３は、入力された変位ベクトルと、変位ベクトルが指す先のレイヤ画像の参照ピクチャインデックスrefIdxLX（例えば、復号対象ピクチャと同一ＰＯＣを持つベースレイヤ画像のインデックス）をマージ候補としてマージ候補格納部３０３６１１に出力する。本マージ候補は、変位予測のインターレイヤ候補（インタービュー候補）でありインターレイヤマージ候補（変位予測）とも記載する。
基本マージ候補導出部３０３６１３は、空間マージ候補導出部３０３６１３１と時間マージ候補導出部３０３６１３２と結合マージ候補導出部３０３６１３３とゼロマージ候補導出部３０３６１３４を含んで構成される。
空間マージ候補導出部３０３６１３１は、所定の規則に従って、予測パラメータメモリ３０７が記憶している予測パラメータ（予測リスト利用フラグpredFlagLX、ベクトルmvLX、参照ピクチャインデックスrefIdxLX）を読み出し、読み出した予測パラメータをマージ候補として導出する。読み出される予測パラメータは、復号対象ブロックから予め定めた範囲内にあるブロック（例えば、復号対象ブロックの左下端、左上端、右上端にそれぞれ接するブロックの全部又は一部）のそれぞれに係る予測パラメータである。導出されたマージ候補はマージ候補格納部３０３６１１に格納される。
時間マージ候補導出部３０３６１３２は、復号対象ブロックの右下の座標を含む参照画像中のブロックの予測パラメータを予測パラメータメモリ３０７から読みだしマージ候補とする。参照画像の指定方法は、例えば、スライスヘッダに置いて指定された参照ピクチャインデックスrefIdxLXでも良いし、復号対象ブロックに隣接するブロックの参照ピクチャインデックスrefIdxLXのうち最小のものを用いて指定しても良い。導出されたマージ候補はマージ候補格納部３０３６１１に格納される。
結合マージ候補導出部３０３６１３３は、既に導出されマージ候補格納部３０３６１１に格納された２つの異なる導出済マージ候補のベクトルと参照ピクチャインデックスを、それぞれＬ０、Ｌ１のベクトルとして組み合わせることで結合マージ候補を導出する。導出されたマージ候補はマージ候補格納部３０３６１１に格納される。
ゼロマージ候補導出部３０３６１３４は、参照ピクチャインデックスrefIdxLXが０であり、ベクトルmvLXのＸ成分、Ｙ成分が共に０であるマージ候補を導出する。導出されたマージ候補はマージ候補格納部３０３６１１に格納される。
マージ候補選択部３０３６２は、マージ候補格納部３０３６１１に格納されているマージ候補のうち、インター予測パラメータ復号制御部３０３１から入力されたマージインデックスmerge_idxに対応するインデックスが割り当てられたマージ候補を、対象ＰＵのインター予測パラメータとして選択する。マージ候補選択部３０３６２は選択したマージ候補を予測パラメータメモリ３０７（図５）に記憶するとともに、予測画像生成部３０８（図５）に出力する。なお、マージ候補選択部３０３６２が、ＭＰＩ候補導出部３０３６１４が導出したマージ候補を選択し、なお且つ、該マージ候補が分割フラグsplit_flagを含んでいる場合には、分割フラグsplit_flagによって分割されたブロックそれぞれに対応する複数の予測パラメータが予測パラメータメモリ３０７に記憶され、予測画像生成部３０８に出力される。
図８は、本実施形態に係るAMVP予測パラメータ導出部３０３２の構成を示す概略図である。AMVP予測パラメータ導出部３０３２は、ベクトル候補導出部３０３３と予測ベクトル選択部３０３４を備える。ベクトル候補導出部３０３３は、参照ピクチャインデックスrefIdxに基づいて予測パラメータメモリ３０７（図５）が記憶するベクトル（動きベクトル又は変位ベクトル）をベクトル候補として読み出す。読み出されるベクトルは、復号対象ブロックから予め定めた範囲内にあるブロック（例えば、復号対象ブロックの左下端、左上端、右上端にそれぞれ接するブロックの全部又は一部）のそれぞれに係るベクトルである。
予測ベクトル選択部３０３４は、ベクトル候補導出部３０３３が読み出したベクトル候補のうち、インター予測パラメータ復号制御部３０３１から入力されたベクトルインデックスmvp_LX_idxが示すベクトル候補を予測ベクトルmvpLXとして選択する。予測ベクトル選択部３０３４は、選択した予測ベクトルmvpLXを加算部３０３５に出力する。
図９は、ベクトル候補の一例を示す概念図である。図９に示す予測ベクトルリスト６０２は、ベクトル候補導出部３０３３において導出される複数のベクトル候補からなるリストである。予測ベクトルリスト６０２において、左右に一列に配列された５個の長方形は、それぞれ予測ベクトルを示す領域を示す。左端から２番目のmvp_LX_idxの真下の下向きの矢印とその下のmvpLXは、ベクトルインデックスmvp_LX_idxが、予測パラメータメモリ３０７においてベクトルmvpLXを参照するインデックスであることを示す。
候補ベクトルは、復号処理が完了したブロックであって、復号対象ブロックから予め定めた範囲のブロック（例えば、隣接ブロック）を参照し、参照したブロックに係るベクトルに基づいて生成される。なお、隣接ブロックには、対象ブロックに空間的に隣接するブロック、例えば、左ブロック、上ブロックの他、対象ブロックに時間的に隣接するブロック、例えば、対象ブロックと同じ位置で、表示時刻が異なるブロックから得られたブロックを含む。
加算部３０３５は、予測ベクトル選択部３０３４から入力された予測ベクトルmvpLXとインター予測パラメータ復号制御部から入力された差分ベクトルmvdLXを加算してベクトルmvLXを算出する。加算部３０３５は、算出したベクトルmvLXを予測画像生成部３０８（図５）に出力する。
（インター予測パラメータ復号制御部の構成）
次に、インター予測パラメータ復号制御部３０３１の構成について説明する。インター予測パラメータ復号制御部３０３１は、図１０に示すように、マージインデックス復号部３０３１２、ベクトル候補インデックス復号部３０３１３、及び図示しない、分割モード復号部、マージフラグ復号部、インター予測フラグ復号部、参照ピクチャインデックス復号部、ベクトル差分復号部を含んで構成される。分割モード復号部、マージフラグ復号部、マージインデックス復号部、インター予測フラグ復号部、参照ピクチャインデックス復号部、ベクトル候補インデックス復号部３０３１３、ベクトル差分復号部は各々、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idx、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXを復号する。
追加予測フラグ復号部３０３１１は、内部に、追加予測フラグ判定部３０３１４を備える。追加予測フラグ判定部３０３１４は、追加予測フラグxpred_flagを符号化データに含まれるか否か（符号化データから読み出して復号するか否か）を判定する。追加予測フラグ判定部３０３１４において、追加予測フラグを符号化データに符号化データに含めると判定された場合には、追加予測フラグ復号部３０３１１は、エントロピー復号部３０１に、追加予測フラグの復号を通知し、エントロピー復号部３０１を通じて符号化データから、追加予測フラグに対応するシンタックス要素を抽出する。逆に、追加予測フラグ判定部３０３１４において、符号化データに含めないと判定した場合には、追加予測フラグに、追加予測を示す値（ここでは１）を導出（infer）する。追加予測フラグ判定部３０３１４については後述する。
（変位ベクトル取得部）
変位ベクトル取得部は、対象ＰＵに隣接するブロックが変位ベクトルを持つ場合には、その変位ベクトルを予測パラメータメモリ３０７から抽出し、予測パラメータメモリ３０７を参照し、対象ＰＵに隣接するブロックの予測フラグpredFlagLX、参照ピクチャインデックスrefIdxLXとベクトルmvLXを読み出す。変位ベクトル取得部は、内部にリファレンスレイヤ判定部３０３１１１を備える。変位ベクトル取得部は、対象ＰＵに隣接するブロックの予測パラメータを順に読み出し、リファレンスレイヤ判定部３０３１１１を用いて、隣接ブロックの参照ピクチャインデックスから隣接ブロックが変位ベクトルを備えるか否かを判定する。隣接ブロックが変位ベクトルを備える場合には、その変位ベクトルを出力する。隣接ブロックの予測パラメータに変位ベクトルが無い場合にはゼロベクトルを変位ベクトルとして出力する。
(リファレンスレイヤ判定部３０３１１１）
リファレンスレイヤ判定部３０３１１１は、入力された参照ピクチャインデックスrefIdxLXに基づいて、参照ピクチャインデックスrefIdxLXが指す参照ピクチャと、対象ピクチャの関係を示すリファレンスレイヤ情報reference_layer_infoを定める。リファレンスレイヤ情報reference_layer_infoは、参照ピクチャへのベクトルmvLXが変位ベクトルであるか動きベクトルであるかを示す情報である。
対象ピクチャのレイヤと参照ピクチャのレイヤが同じレイヤである場合の予測を、同一レイヤ予測と呼び、この場合に得られるベクトルは動きベクトルである。対象ピクチャのレイヤと、参照ピクチャのレイヤが異なるレイヤである場合の予測をインターレイヤ予測と呼び、この場合に得られるベクトルは変位ベクトルである。
ここで、リファレンスレイヤ判定部３０３１１１の判定処理の例について、第１の判定方法から第３の判定方法を説明する。リファレンスレイヤ判定部３０３１１１は、第１の判定方法から第３の判定方法のいずれか、又は、それらの方法のうち任意の組み合わせを用いてもよい。
＜第１の判定方法＞
リファレンスレイヤ判定部３０３１１１は、参照ピクチャインデックスrefIdxLXが示す参照ピクチャに係る表示時刻（ＰＯＣ：Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ、ピクチャ順序番号）が復号対象ピクチャに係る表示時刻（ＰＯＣ）と等しい場合に、ベクトルmvLXが変位ベクトルであると判定する。ＰＯＣは、ピクチャを表示する順序を示す番号であって、そのピクチャが取得された表示時刻を示す整数（離散時刻）である。変位ベクトルと判定しなかった場合には、リファレンスレイヤ判定部３０３１１１は、ベクトルmvLXが動きベクトルであると判定する。
具体的には、参照ピクチャインデックスrefIdxLXが示す参照ピクチャのピクチャ順序番号ＰＯＣが復号対象ピクチャのＰＯＣと等しい場合、リファレンスレイヤ判定部３０３１１１は、ベクトルmvLXが変位ベクトルであると、例えば以下の式により判定する。
POC == ReflayerPOC (refIdxLX, ListX)
ここで、POCは復号対象ピクチャのＰＯＣ、RefPOC（X, Y）は参照ピクチャインデックスＸ、参照ピクチャリストＹで指定される参照ピクチャのＰＯＣである。
なお、復号対象ピクチャのＰＯＣと等しいＰＯＣの参照ピクチャを参照することができる、ということは、その参照ピクチャのレイヤは、復号対象ピクチャのレイヤと異なることを意味する。従って、復号対象ピクチャのＰＯＣと参照ピクチャのＰＯＣが等しい場合には、インターレイヤ予測が行われた（変位ベクトル）、それ以外は同一レイヤ予測が行われた（動きベクトル）と判定する。
＜第２の判定方法＞
また、リファレンスレイヤ判定部３０３１１１は、参照ピクチャインデックスrefIdxLXが示す参照ピクチャに係る視点と復号対象ピクチャに係る視点が異なる場合に、ベクトルmvLXを変位ベクトルであると判定しても良い。具体的には、参照ピクチャインデックスrefIdxLXが示す参照ピクチャのビューＩＤview_idが復号対象ピクチャのビューＩＤview_idと異なる場合に、リファレンスレイヤ判定部３０３１１１は、ベクトルmvLXが変位ベクトルであると、例えば以下の式により判定する。
ViewID == ReflayerViewID (refIdxLX, ListX)
ここで、ViewIDは復号対象ピクチャのビューＩＤ、RefViewID（X, Y）は参照ピクチャインデックスＸ、参照ピクチャリストＹで指定される参照ピクチャのビューＩＤである。
ビューＩＤview_idは、それぞれの視点画像を識別する情報である。変位ベクトルに係る差分ベクトルｄｖｄＬＸは、異なる視点のピクチャ間で得られ、同一の視点のピクチャ間からは得られないことに基づく。なお、変位ベクトルと判定しなかった場合には、リファレンスレイヤ判定部３０３１１１は、ベクトルmvLXが動きベクトルであると判定する。
なお、個々の視点画像はレイヤの一種であるから、ビューＩＤview_idが異なると判定された場合には、リファレンスレイヤ判定部３０３１１１は、ベクトルmvLXを変位ベクトル（インターレイヤ予測が行われた）、それ以外は動きベクトル（同一レイヤ予測が行われた）と判定する。
＜第３の判定方法＞
また、リファレンスレイヤ判定部３０３１１１は、参照ピクチャインデックスrefIdxLXが示す参照ピクチャに係るレイヤＩＤlayer_idと復号対象ピクチャに係るレイヤＩＤlayer_idが異なる場合に、ベクトルmvLXが変位ベクトルであると、例えば以下の式により判定しても良い。
layerID != ReflayerID (refIdxLX, ListX)
ここで、layerIDは復号対象ピクチャのレイヤＩＤ、ReflayerID（X, Y）は参照ピクチャインデックスＸ、参照ピクチャリストＹで指定される参照ピクチャのレイヤＩＤである。レイヤＩＤlayer_idは、１枚のピクチャが複数の階層（レイヤ）のデータを含んで構成される場合において、それぞれのレイヤを識別するデータである。異なる視点のピクチャが符号化された符号化データにおいて、レイヤＩＤは、視点によって異なる値を有することに基づく。すなわち、変位ベクトルに係る差分ベクトルｄｖｄＬＸは、対象ピクチャと、異なるレイヤに係るピクチャとの間で得られるベクトルである。なお、変位ベクトルと判定しなかった場合には、リファレンスレイヤ判定部３０３１１１は、ベクトルmvLXが動きベクトルであると判定する。
なお、レイヤＩＤlayer_idが異なる場合には、リファレンスレイヤ判定部３０３１１１は、ベクトルmvLXを変位ベクトル（インターレイヤ予測が行われた）、それ以外は動きベクトル（同一レイヤ予測が行われた）と判定する。
（インター予測画像生成部３０９）
図１１は、本実施形態に係るインター予測画像生成部３０９の構成を示す概略図である。インター予測画像生成部３０９は、動き変位補償部３０９１、残差予測部３０９２、照度補償部３０９３、重み予測部３０９４を含んで構成される。
（動き変位補償）
動き変位補償部３０９１は、インター予測パラメータ復号部３０３から入力された、予測リスト利用フラグｐｒｅｄＦｌａｇＬＸ、参照ピクチャインデックスｒｅｆＩｄｘＬＸ、動きベクトルｍｖＬＸに基づいて、復号ピクチャバッファ１２から、参照ピクチャインデックスｒｅｆＩｄｘＬＸで指定された参照ピクチャの対象ブロックの位置を起点として、ベクトルｍｖＬＸだけずれた位置にあるブロックを読み出すことによって動き変位補償画像を生成する。ここで、ベクトルｍｖＬＸが整数ベクトルでない場合には、動き補償フィルタ（もしくは変位補償フィルタ）と呼ばれる小数位置の画素を生成するためのフィルタを施して、動き変位補償画像を生成する。一般に、ベクトルｍｖＬＸが動きベクトルの場合、上記処理を動き補償と呼び、変位ベクトルの場合は変位補償と呼ぶ。ここでは総称して動き変位補償と表現する。以下、Ｌ０予測の動き変位補償画像をｐｒｅｄＳａｍｐｌｅｓＬ０、Ｌ１予測の動き変位補償画像をｐｒｅｄＳａｍｐｌｅｓＬ１と呼ぶ。両者を区別しない場合ｐｒｅｄＳａｍｐｌｅｓＬＸと呼ぶ。以下、動き変位補償部３０９１で得られた動き変位補償画像ｐｒｅｄＳａｍｐｌｅｓＬＸに、さらに残差予測および照度補償が行われる例を説明するが、これらの出力画像もまた、動き変位補償画像ｐｒｅｄＳａｍｐｌｅｓＬＸと呼ぶ。なお、以下の残差予測および照度補償において、各手段の入力画像と出力画像を区別する場合には、入力画像をｐｒｅｄＳａｍｐｌｅｓＬＸ、出力画像をｐｒｅｄＳａｍｐｌｅｓＬＸ´と表現する。
（残差予測）
残差予測部３０９２は、残差予測フラグｒｅｓ＿ｐｒｅｄ＿ｆｌａｇが１の場合に、入力された動き変位補償画像ｐｒｅｄＳａｍｐｌｅｓＬＸに対して、残差予測を行う。残差予測フラグｒｅｓ＿ｐｒｅｄ＿ｆｌａｇが０の場合には、入力された動き変位補償画像ｐｒｅｄＳａｍｐｌｅｓＬＸをそのまま出力する。インター予測パラメータ復号部３０３から入力された変位ベクトルｍｖＤｉｓｐと、残差格納部３１３に格納された残差ｒｅｆＲｅｓＳａｍｐｌｅｓを用いて、動き変位補償部３０９１で得られた動き変位補償画像ｐｒｅｄＳａｍｐｌｅｓＬＸに対し残差予測を行う。残差予測は、予測画像生成の対象とする対象レイヤ（第２のレイヤ画像）とは異なる参照レイヤ（第１のレイヤ画像）の残差を、対象レイヤの予測した画像である動き変位補償画像ｐｒｅｄＳａｍｐｌｅｓＬＸに加えることにより行われる。すなわち、参照レイヤと同様の残差が対象レイヤにも生じると仮定して、既に導出された参照レイヤの残差を対象レイヤの残差の推定値として用いる。ベースレイヤ（ベースビュー）では同じレイヤの画像のみが参照画像となる。従って、参照レイヤ（第１のレイヤ画像）がベースレイヤ（ベースビュー）である場合には、参照レイヤの予測画像は動き補償による予測画像であることから、対象レイヤ（第２のレイヤ画像）による予測においても、動き補償による予測画像である場合に、残差予測は有効である。すなわち、残差予測は対象ブロックが動き補償の場合に有効であるという特性を持つ。
残差予測部３０９２は、図示しない残差取得部３０９２１と、残差フィルタ部３０９２２から構成される。図１２は、残差予測を説明するための図である。対象レイヤ上の対象ブロックに対応する対応ブロックは、参照レイヤ上の画像の対象ブロックの位置を起点として、参照レイヤと対象レイヤの位置関係を示すベクトルである変位ベクトルｍｖＤｉｓｐだけずれた位置になるブロックに位置する。従って、残差予測に用いる残差は、変位ベクトルｍｖＤｉｓｐだけずれた位置にある残差を用いる。具体的には、残差取得部３０９２１は、対象ブロックの画素の座標（ｘ， ｙ）を、対象ブロックの変位ベクトルｍｖＤｉｓｐの整数画素成分だけずらした位置の画素を導出する。変位ベクトルｍｖＤｉｓｐが小数精度であることを考慮し、残差取得部３０９２１は、対象ブロックの画素の座標が（ｘＰ、ｙＰ）である場合に対応する画素Ｒ０のＸ座標ｘＲ０と、画素Ｒ０の隣接画素Ｒ１のＸ座標ｘＲ１を以下の式により導出する。
ｘＲ０ ＝ Ｃｌｉｐ３（ ０， ＰｉｃＷｉｄｔｈＩｎＳａｍｐｌｅｓＬ − １， ｘＰ ＋ ｘ ＋ （ｍｖＤｉｓｐ［０］ ＞＞ ２ ） ）
ｘＲ１ ＝ Ｃｌｉｐ３（ ０， ＰｉｃＷｉｄｔｈＩｎＳａｍｐｌｅｓＬ − １， ｘＰ ＋ ｘ ＋ （ｍｖＤｉｓｐ［０］ ＞＞ ２ ） ＋ １ ）
ここで、Ｃｌｉｐ３（ｘ， ｙ， ｚ）は、ｚをｘ以上、ｙ以下に制限（クリップ）する関数である。なお、ｍｖＤｉｓｐ［０］
＞＞ ２は、１／４ペル精度のベクトルにおいて整数成分を導出する式である。
残差取得部３０９２１は、変位ベクトルｍｖＤｉｓｐで指定される座標の小数画素位置（ｍｖＤｉｓｐ［０］ − （ （ ｍｖＤｉｓｐ［０］ ＞＞ ２ ） ＜＜ ２ ） ）に応じて、画素Ｒ０の重み係数ｗ０と、画素Ｒ１の重み係数ｗ１を以下の式により導出する。
ｗ０ ＝ ４ − ｍｖＤｉｓｐ［０］ ＋ （ （ ｍｖＤｉｓｐ［０］ ＞＞ ２ ） ＜＜ ２ ）
ｗ１ ＝ ｍｖＤｉｓｐ［０］ − （ （ ｍｖＤｉｓｐ［０］ ＞＞ ２ ） ＜＜ ２ ）
続いて、残差取得部３０９２１は、残差格納部３１３から、画素Ｒ０、画素Ｒ１の残差をｒｅｆＲｅｓＳａｍｐｌｅｓＬ［ ｘＲ０， ｙ ］、ｒｅｆＲｅｓＳａｍｐｌｅｓＬ［ ｘＲ１， ｙ ］により取得する。残差フィルタ部３０９２２は、推定残差ｄｅｌｔａＬを以下の式で導出する。
ｄｅｌｔａＬ ＝ （ ｗ０ ＊ ｒｅｆＲｅｓＳａｍｐｌｅｓＬ［ ｘＲ０， ｙ ］ ＋ ｗ１ ＊ ｒｅｆＲｅｓＳａｍｐｌｅｓＬ［ ｘＲ１， ｙ ］ ＋ ２ ） ＞＞ ２
上記処理は、変位ベクトルｍｖＤｉｓｐが小数精度を有する場合に、線形補間により画素を導出していたが、線形補間を用いず、近傍の整数画素を用いても良い。具体的には、残差取得部３０９２１は、対象ブロックの画素に対応する画素として画素ｘＲ０のみを取得し、以下の式を用いて推定残差ｄｅｌｔａＬを導出しても良い。
ｄｅｌｔａＬ ＝ｒｅｆＲｅｓＳａｍｐｌｅｓＬ［ ｘＲ０， ｙ ］
（照度補償）
照度補償部３０９３は、照度補償フラグｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇが１の場合に、入力された動き変位補償画像ｐｒｅｄＳａｍｐｌｅｓＬＸに対して、照度補償を行う。照度補償フラグｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇが０の場合には、入力された動き変位補償画像ｐｒｅｄＳａｍｐｌｅｓＬＸをそのまま出力する。照度補償部３０９３に入力される動き変位補償画像ｐｒｅｄＳａｍｐｌｅｓＬＸは、残差予測がオフの場合には、動き変位補償部３０９１の出力画像であり、残差予測がオンの場合には、残差予測部３０９２の出力画像である。照度補償は、予測画像生成の対象となる対象ブロックに隣接する隣接領域の動き変位画像の画素値と、隣接領域の復号画像の変化が、対象ブロック内の画素値と、対象ブロックの原画との変化に類似しているとの仮定に基づいて行われる。
照度補償部３０９３は、図示しない照度パラメータ推定部３０９３１と、照度補償フィルタ部３０９３２から構成される。
照度パラメータ推定部３０９３１は、対象ブロック（対象予測ユニット）の画素を、参照ブロックの画素から推定するための推定パラメータを求める。図１３は、照度補償を説明するための図である。図１３では、対象ブロックの周囲の画素Ｌと、対象ブロックから変位ベクトルだけずれた位置にある、参照レイヤ画像上の参照ブロックの周囲の画素Ｃの位置を示している。
照度パラメータ推定部３０９３１は、上記対象ブロックの周囲の画素Ｌ（Ｌ０〜ＬＮ−１）と上記参照ブロックの周囲の画素Ｃ（Ｃ０〜ＣＮ−１）から、推定パラメータ（照度変化パラメータ）ａとｂを最小２乗法を用いて以下の式より求める。
ＬＬ ＝ ΣＬｉ × Ｌｉ
ＬＣ ＝ ΣＬｉ × Ｃｉ
Ｌ ＝ ΣＬｉ
Ｃ ＝ ΣＣｉ
ａ ＝ （Ｎ＊ＬＣ − Ｌ＊Ｃ） ／ （Ｎ＊ＣＣ − Ｃ＊Ｃ）
ｂ ＝ （ＬＬ＊Ｃ − ＬＣ＊Ｌ） ／ （Ｎ＊ＣＣ − Ｃ＊Ｃ）
ここでΣはｉに対して和をとる関数。ｉは０〜Ｎ−１までの変数である。
以上は、推定パラメータが小数の場合であるため上記式も小数演算で行う必要がある。なお、装置としては、推定パラメータおよびパラメータの導出は整数であることが望ましい。
以下、推定パラメータが整数の場合を説明する。照度補償部３０９３は、以下の式によ推定パラメータ（照度変化パラメータ）ｉｃａｉｄｘ、ｉｃｋｉｄｘ、ｉｃｂｉｄｘを導出する。
ｋ３ ＝ Ｍａｘ（ ０， ｂｉｔＤｅｐｔｈ ＋ Ｌｏｇ２（ ｎＣｂＷ ＞＞ ｎＳｉｄｘ ）− １４ ）
ｋ２ ＝ Ｌｏｇ２（ （２＊（ｎＣｂＷ ＞＞ ｎＳｉｄｘ）） ＞＞ ｋ３ ）
ａ１ ＝ （ ＬＣ ＜＜ ｋ２ ）− Ｌ＊Ｃ
ａ２ ＝ （ ＬＬ ＜＜ ｋ２ ）− Ｌ＊Ｌ
ｋ１ ＝ Ｍａｘ（ ０， Ｌｏｇ２（ ａｂｓ（ ａ２ ） ）− ５ ）− Ｍａｘ（ ０， Ｌｏｇ２（ ａｂｓ（ ａ１ ） ）− １４ ） ＋ ２
ａ１ｓ ＝ ａ１ ＞＞ Ｍａｘ（０， Ｌｏｇ２（ ａｂｓ（ ａ１ ） ）− １４ ）
ａ２ｓ ＝ ａｂｓ（ ａ２ ＞＞ Ｍａｘ（０， Ｌｏｇ２（ ａｂｓ（ ａ２ ） ）− ５ ） ）
ａ３ ＝ ａ２ｓ ＜ １ ？ ０ ： Ｃｌｉｐ３（ −２１５， ２１５−１， （ａ１ｓ＊ｉｃＤｉｖＣｏｅｆｆ ＋ （ １ ＜＜ （ ｋ１ − １ ） ） ） ＞＞ ｋ１ ）
ｉｃａｉｄｘ ＝ ａ３ ＞＞ Ｍａｘ（ ０， Ｌｏｇ２（ ａｂｓ（ ａ３ ） ）− ６ ）
ｉｃｋｉｄｘ ＝ １３ − Ｍａｘ（ ０， Ｌｏｇ２（ ａｂｓ（ ｉｃａｉｄｘ ） ）− ６ ）
ｉｃｂｉｄｘ ＝ （ Ｌ − （ （ ｉｃａｉｄｘ＊Ｃ ） ＞＞ ｋ１ ） ＋ （ １ ＜＜ （ ｋ２ − １ ） ） ） ＞＞ ｋ２
ここで、ｂｉｔＤｅｐｔｈは、画素のビット幅（通常８〜１２）、ｎＣｂＷは、対象ブロックの幅、Ｍａｘ（ｘ，ｙ）はｘとｙの最大値を求める関数、Ｌｏｇ２（ｘ）はｘの２の対数を求める関数、ａｂｓ（ｘ）はｘの絶対値を求める関数である。また、ｉｃＤｉｖＣｏｅｆｆは、ａ２ｓを入力として所定の定数を導出する図１４に示すテーブルである。
照度補償部３０９３の備える照度補償フィルタ部３０９３２は、照度パラメータ推定部３０９３１が導出した推定パラメータを用いて、対象画素から、照度変化を補償した画素を導出する。例えば、推定パラメータが小数ａ、ｂの場合には次の式により求める。
ｐｒｅｄＳａｍｐｌｅｓ［ ｘ ］［ ｙ ］ ＝ ａ ＊ ｐｒｅｄＳａｍｐｌｅｓ［ ｘ ］［ ｙ ］ ＋ ｂ
ここで、ｐｒｅｄＳａｍｐｌｅｓは対象ブロック中の座標（ｘ， ｙ）の画素である。
また、推定パラメータが上述の整数ｉｃａｉｄｘ、ｉｃｋｉｄｘ、ｉｃｂｉｄｘの場合には次の式により求める。
ｐｒｅｄＳａｍｐｌｅｓ［ ｘ ］［ ｙ ］ ＝ Ｃｌｉｐ３（ ０， （ １ ＜＜ ｂｉｔＤｅｐｔｈ ） − １， （ （ （ （ｐｒｅｄＳａｍｐｌｅｓＬ０［ ｘ ］［ ｙ ］ ＋ ｏｆｆｓｅｔ１ ） ＞＞ ｓｈｉｆｔ１） ＊ ｉｃａ０） ＞＞ ｉｃｋ０） ＋ ｉｃｂ０ ）
（重み予測）
重み予測部３０９４は、入力される動き変位画像ｐｒｅｄＳａｍｐｌｅｓＬＸに重み係数を乗算することにより予測ピクチャブロックＰ（予測画像）を生成する。入力される動き変位画像ｐｒｅｄＳａｍｐｌｅｓＬＸは、残差予測、照度補償が行われる場合には、それらが施された画像である。参照リスト利用フラグの一方（ｐｒｅｄＦｌａｇＬ０もしくはｐｒｅｄＦｌａｇＬ１）が１の場合（単予測の場合）で、重み予測を用いない場合には入力された動き変位画像ｐｒｅｄＳａｍｐｌｅｓＬＸ（ＬＸはＬ０もしくはＬ１）を画素ビット数に合わせる以下の式の処理を行う。
ｐｒｅｄＳａｍｐｌｅｓ［ ｘ ］［ ｙ ］ ＝ Ｃｌｉｐ３（ ０， （ １ ＜＜ ｂｉｔＤｅｐｔｈ ） − １， （ ｐｒｅｄＳａｍｐｌｅｓＬＸ［ ｘ ］［ ｙ ］ ＋ ｏｆｆｓｅｔ１ ） ＞＞ ｓｈｉｆｔ１ ）
ここで、ｓｈｉｆｔ１＝１４−ｂｉｔＤｅｐｔｈ、ｏｆｆｓｅｔ１＝１＜＜（ｓｈｉｆｔ１−１）である。
また、参照リスト利用フラグの両者（ｐｒｅｄＦｌａｇＬ０もしくはｐｒｅｄＦｌａｇＬ１）が１の場合（双予測の場合）で、重み予測を用いない場合には、入力された動き変位画像ｐｒｅｄＳａｍｐｌｅｓＬ０、ｐｒｅｄＳａｍｐｌｅｓＬ１を平均し画素ビット数に合わせる以下の式の処理を行う。
ｐｒｅｄＳａｍｐｌｅｓ［ ｘ ］［ ｙ ］ ＝ Ｃｌｉｐ３（ ０， （ １ ＜＜ ｂｉｔＤｅｐｔｈ ） − １， （ ｐｒｅｄＳａｍｐｌｅｓＬ０［ ｘ ］［ ｙ ］ ＋ ｐｒｅｄＳａｍｐｌｅｓＬ１［ ｘ ］［ ｙ ］ ＋ ｏｆｆｓｅｔ２ ） ＞＞ ｓｈｉｆｔ２ ）
ここで、ｓｈｉｆｔ２＝１５−ｂｉｔＤｅｐｔｈ、ｏｆｆｓｅｔ２＝１＜＜（ｓｈｉｆｔ２−１）である。
さらに、単予測の場合で、重み予測を行う場合には、重み予測部３０９４は、重み予測係数ｗ０とオフセットｏ０を導出し、以下の式の処理を行う。
ｐｒｅｄＳａｍｐｌｅｓ［ ｘ ］［ ｙ ］ ＝ Ｃｌｉｐ３（ ０， （ １ ＜＜ ｂｉｔＤｅｐｔｈ ） − １， （ （ｐｒｅｄＳａｍｐｌｅｓＬＸ［ ｘ ］［ ｙ ］ ＊ ｗ０ ＋ ２ｌｏｇ２ＷＤ − １） ＞＞ ｌｏｇ２ＷＤ ） ＋ ｏ０ ）
ここで、ｌｏｇ２ＷＤは所定のシフト量を示す変数である。
さらに、双予測の場合で、重み予測を行う場合には、重み予測部３０９４は、重み予測係数ｗ０、ｗ１、ｏ０、ｏ１を導出し、以下の式の処理を行う。
ｐｒｅｄＳａｍｐｌｅｓ［ ｘ ］［ ｙ ］ ＝ Ｃｌｉｐ３（ ０， （ １ ＜＜ ｂｉｔＤｅｐｔｈ ） − １， （ ｐｒｅｄＳａｍｐｌｅｓＬ０ ［ ｘ ］［ ｙ ］ ＊ ｗ０ ＋ ｐｒｅｄＳａｍｐｌｅｓＬ１［ ｘ ］［ ｙ ］ ＊ ｗ１ ＋ （（ｏ０ ＋ ｏ１ ＋ １） ＜＜ ｌｏｇ２ＷＤ） ） ＞＞ （ｌｏｇ２ＷＤ ＋ １） ）
〔画像符号化装置〕
以下において、本実施形態に係る画像符号化装置２について、図２９を参照して説明する。
（画像符号化装置の概要）
画像符号化装置２は、概略的に言えば、入力画像＃１０を符号化することによって符号化データ＃１を生成し、出力する装置である。
（画像符号化装置の構成）
本実施形態に係る画像符号化装置２の構成例について説明する。図２９は、本実施形態に係る画像符号化装置２の構成を示す概略図である。画像符号化装置２は、ヘッダ符号化部１０Ｅ、ピクチャ符号化部２１、復号ピクチャバッファ１２、参照ピクチャ決定部１３Ｅを含んで構成される。画像符号化装置２は、複数のレイヤを含む画像において特定の時刻のピクチャから復号を開始する後述するランダムアクセス復号処理が可能である。
［ヘッダ符号化部１０Ｅ］
ヘッダ符号化部１０Ｅは、入力画像＃１０に基づいて、ＮＡＬユニットヘッダ、ＳＰＳ、ＰＰＳ、および、スライスヘッダなどをの、ＮＡＬユニット単位、シーケンス単位、ピクチャ単位、またはスライス単位で復号に利用される情報を生成し、符号化して出力する。
ヘッダ符号化部１０Ｅは、符号化データ＃１に含まれるＶＰＳおよびＳＰＳを既定のシンタックス定義に基づいてパースして、シーケンス単位で復号に利用される情報を符号化する。例えば、レイヤ数に関する情報がＶＰＳに符号化され、復号画像の画像サイズに関連する情報がＳＰＳに符号化される。
また、ヘッダ符号化部１０Ｅは、符号化データ＃１に含まれるスライスヘッダを既定のシンタックス定義に基づいてパースして、スライス単位で復号に利用される情報を符号化する。例えば、スライスタイプがスライスヘッダから符号化される。
図３２に示すようにヘッダ符号化部１０Ｅは、ＮＡＬユニットヘッダ符号化部２１１Ｅ、ＶＰＳ符号化部２１２Ｅ、レイヤ情報格納部２１３、ビューデプス導出部２１４、ＰＯＣ情報符号化部２１６Ｅ、スライスタイプ符号化部２１７Ｅ、参照ピクチャ情報符号化部２１８Ｅを備えている。
[ＮＡＬユニットヘッダ符号化部２１１Ｅ]
図３３は、ＮＡＬユニットヘッダ符号化部２１１Ｅの概略的構成について示した機能ブロック図である。図３３に示すように、ＮＡＬユニットヘッダ符号化部２１１ＥはレイヤＩＤ符号化部２１１１ＥとＮＡＬユニットタイプ符号化部２１１２Ｅを含んで構成される。レイヤＩＤ符号化部２１１１Ｅは、符号化データにレイヤＩＤを符号化する。ＮＡＬユニットタイプ符号化部２１１２Ｅは、符号化データにＮＡＬユニットタイプを符号化する。
［ＶＰＳ符号化部２１２Ｅ］
ＶＰＳ符号化部２１２Ｅは、規定のシンタックス定義に基づいて、複数のレイヤで符号化に利用される情報を符号化データにＶＰＳおよびＶＰＳ拡張として符号化する。例えば、ＶＰＳからは図２０に示すシンタックス、ＶＰＳ拡張から図２１に示すシンタックスが符号化される。ＶＰＳ拡張を符号化するために、フラグvps_extension_flagとして１を符号化する。
図３４は、ＶＰＳ符号化部２１２Ｅの概略的構成について示した機能ブロック図である。図３４に示すように、ＶＰＳ符号化部２１２Ｅはスケーラブルタイプ符号化部２１２１Ｅと次元ＩＤ符号化部２１２２Ｅ、依存レイヤ符号化部２１２３Ｅを含んで構成される。
ＶＰＳ符号化部２１２Ｅは、図示しない内部のレイヤ数符号化部により、レイヤ数を示すシンタックス要素vps_max_layers_minus1を符号化する。
スケーラブルタイプ符号化部２１２１Ｅは、レイヤ情報格納部２１３から、スケーラブルマスクscalable_maskを読み出して符号化データに符号化する。次元ＩＤ符号化部２１２２Ｅは、レイヤi、スケーラブルの種別j毎に次元ＩＤdimension_id[i][j]を符号化する。レイヤＩＤのインデックスiは１からvps_max_layers_minus1までの値、スケーラブル種別を示すインデックスjは0〜NumScalabilityTypes−1までの値を取る。
依存レイヤ符号化部２１２３Ｅは、符号化データに依存レイヤ数num_direct_ref_layersと依存レイヤフラグref_layer_idを符号化する。具体的には、レイヤi、ごとに依存レイヤ数num_direct_ref_layersの数だけdimension_id[i][j]を符号化する。レイヤＩＤのインデックスiは１からvps_max_layers_minus1までの値、依存レイヤフラグのインデックスjは、0〜num_direct_ref_layers−1までの値を取る。例えばレイヤ１が、レイヤ２、レイヤ３に依存する場合は、依存レイヤ数num_direct_ref_layers[1]=2であり、ref_layer_id [1][0]=2、ref_layer_id [1][1]=3を符号化する。
［参照ピクチャ決定部１３Ｅ］
参照ピクチャ決定部１３Ｅは、参照ピクチャ情報符号化部２１８Ｅと参照ピクチャセット決定部２４と参照ピクチャリスト決定部２５を内部に備える。
参照ピクチャセット決定部２４は、入力画像＃１０と復号ピクチャバッファ１２に記録されている局所復号画像に基づいて、符号化対象ピクチャの符号化及び局所復号に用いる参照ピクチャセットRPSを決定して出力する。
参照ピクチャリスト決定部２５は、入力画像＃１０と参照ピクチャセットに基づいて、符号化対象ピクチャの符号化及び局所復号に用いる参照ピクチャリストRPLを決定して出力する。
［参照ピクチャ情報符号化部２１８Ｅ］
参照ピクチャ情報符号化部２１８Ｅは、ヘッダ符号化部１０Ｅに含まれており、参照ピクチャセットRPSおよび参照ピクチャリストRPLに基づいて、参照ピクチャ情報符号化処理を行い、ＳＰＳおよびスライスヘッダに含める、RPS情報およびRPL修正情報を生成する。
（画像復号装置との対応関係）
画像符号化装置２は、画像復号装置１の各構成と対応する構成を含む。ここで、対応とは、同様の処理、または、逆の処理を行う関係にあるということである。
例えば、画像復号装置１が備える参照ピクチャ情報復号部２１８の参照ピクチャ情報復号処理と、画像符号化装置２が備える参照ピクチャ情報符号化部２１８Ｅの参照ピクチャ情報符号化処理とは、同様である。より詳細には、参照ピクチャ情報復号部２１８は、ＳＰＳやスライスヘッダから復号されるシンタックス値としてRPS情報や修正RPL情報を生成する。それに対し、参照ピクチャ情報符号化部２１８Ｅは、入力されたRPS情報や修正RPL情報を、ＳＰＳやスライスヘッダのシンタックス値として符号化する。
例えば、画像復号装置１において、ビット列から、シンタックス値を復号する処理は、画像符号化装置２において、シンタックス値から、ビット列を符号化する処理と逆の処理としての対応となっている。
（処理の流れ）
画像符号化装置２が、入力画像＃１０から出力符号化データ＃１を生成する手順は次のとおりである。
（Ｓ２１）入力画像＃１０を構成する各ピクチャ（対象ピクチャ）に対して、以下のＳ２２〜Ｓ２９の処理を実行する。
（Ｓ２２）参照ピクチャセット決定部２４は入力画像＃１０内の対象ピクチャと復号ピクチャバッファ１２に記録されている局所復号画像に基づいて参照ピクチャセットRPSを決定して、参照ピクチャリスト決定部２５に出力する。また、参照ピクチャセットRPSの生成に必要なRPS情報を導出して、参照ピクチャ情報符号化部２１８Ｅに出力する。
（Ｓ２３）参照ピクチャリスト決定部２５は入力画像＃１０内の対象ピクチャと入力された参照ピクチャセットRPSに基づいて参照ピクチャリストRPLを導出し、ピクチャ符号化部２１、および、ピクチャ復号部１１に出力する。また、参照ピクチャリストRPLの生成に必要なRPL修正情報を導出して、参照ピクチャ情報符号化部２１８Ｅに出力する。
（Ｓ２４）参照ピクチャ情報符号化部２１８Ｅは、参照ピクチャセットRPSおよび参照ピクチャリストRPLに基づいて、ＳＰＳ、または、スライスヘッダに含めるためのRPS情報およびRPL修正情報を生成する。
（Ｓ２５）ヘッダ符号化部１０Ｅは、入力画像＃１０、および、参照ピクチャ決定部１３Ｅで生成されたRPS情報およびRPL修正情報に基づいて、対象ピクチャに適用するＳＰＳを生成して出力する。
（Ｓ２６）ヘッダ符号化部１０Ｅは、入力画像＃１０に基づいて、対象ピクチャに適用するＰＰＳを生成して出力する。
（Ｓ２７）ヘッダ符号化部１０Ｅは、入力画像＃１０、および、参照ピクチャ決定部１３Ｅで生成されたRPS情報およびRPL修正情報に基づいて、対象ピクチャを構成する各スライスのスライスヘッダを符号化して、符号化データ＃１の一部として外部に出力するとともに、ピクチャ復号部１１に出力する。
（Ｓ２８）ピクチャ符号化部２１は、入力画像＃１０に基づいて、対象ピクチャを構成する各スライスのスライスデータを生成して、符号化データ＃１の一部として外部に出力する。
（Ｓ２９）ピクチャ符号化部２１は、対象ピクチャの局所復号画像を生成し、対象ピクチャのレイヤＩＤとＰＯＣに関連付けて復号ピクチャバッファに記録する。
［ＰＯＣ情報符号化部２１６Ｅ］
図４８は、ＰＯＣ情報符号化部２１６Ｅの概略的構成について示した機能ブロック図である。図４８に示すように、ＰＯＣ情報符号化部２１６Ｅは、ＰＯＣ設定部２１６５、ＰＯＣ下位ビット最大値符号化部２１６１Ｅ、ＰＯＣ下位ビット符号化部２１６２Ｅを含んで構成される。ＰＯＣ情報符号化部２１６Ｅは、ＰＯＣの上位ビットPicOrderCntMsbとＰＯＣの下位ビットpic_order_cnt_lsbに分離して符号化される。
ＰＯＣ設定部２１６５は、同じ時刻の全てのレイヤのピクチャに対して、共通の時刻ＴＩＭＥを設定する。さらに、ＰＯＣ設定部２１６５は、対象ピクチャの時刻ＴＩＭＥ（共通時刻ＴＩＭE）に基づいて、対象ピクチャのＰＯＣを設定する。具体的には、対象レイヤのピクチャがＰＯＣを符号化するＲＡＰピクチャである場合（ＢＬＡピクチャもしくはＩＤＲピクチャ）において、ＰＯＣを０に設定し、このときの時刻ＴＩＭＥを変数ＴＩＭＥ＿ＢＡＳＥに設定する。ＴＩＭＥ＿ＢＡＳＥは、ＰＯＣ設定部２１６５で記録する。
対象レイヤのピクチャがＰＯＣを符号化するＲＡＰピクチャでない場合には時刻ＴＩＭＥからＴＩＭＥ＿ＢＡＳＥを引いた値をＰＯＣに設定する。
ＰＯＣ下位ビット最大値符号化部２１６１Ｅは、全てのレイヤにおいて共通のＰＯＣ下位ビット最大値MaxPicOrderCntLsbを設定する。符号化データ＃１に設定されたＰＯＣ下位ビット最大値MaxPicOrderCntLsbを符号化する。具体的には、ＰＯＣ下位ビット最大値MaxPicOrderCntLsbの対数から定数４を引いた値をlog2_max_pic_order_cnt_lsb_minus4として符号化する。
全てのレイヤで共通のＰＯＣ下位ビット最大値MaxPicOrderCntLsbを設定することにより、既に説明したＰＯＣ下位ビット最大値制限を有する符号化データを生成することができる。
上記ＰＯＣ下位ビット最大値制限を有する符号化データ構造によれば、同じ時刻を有する複数のレイヤにおいて、表示時刻ＰＯＣ（ＰＯＣ上位ビット）の更新が同じ時刻のピクチャで行われるため、同じ時刻を有する複数のレイヤのピクチャ間で同じ表示時刻ＰＯＣを有することができる。これにより、参照ピクチャリストにおける、対象レイヤとは異なるレイヤのピクチャを参照ピクチャとして用いる場合の参照ピクチャ管理、および、３次元画像再生のような、複数のレイヤを同期して再生させる場合に、表示タイミングをピクチャの時刻を用いて管理する場合などにおいて、同じ時刻のピクチャであることをＰＯＣを用いて管理することが可能となり、参照ピクチャの探索および同期が容易になるという効果を奏する。
ＰＯＣ下位ビット符号化部２１６２Ｅは、ＰＯＣ設定部２１６５から入力された対象ピクチャのＰＯＣから、対象ピクチャのＰＯＣ下位ビットpic_order_cnt_lsbを符号化する。具体的には、入力されたＰＯＣのＰＯＣ下位ビット最大値MaxPicOrderCntLsbによる剰余、ＰＯＣ％MaxPicOrderCntLsb（もしくはＰＯＣ＆（MaxPicOrderCntLsb−１））により、ＰＯＣ下位ビットpic_order_cnt_lsbを求め、対象ピクチャのスライスヘッダにpic_order_cnt_lsbを符号化する。
上記ＰＯＣ設定部２１６５を備える符号化装置によれば、同じ時刻の全てのレイヤのピクチャに対して、共通の時刻ＴＩＭＥを設定し、ＰＯＣ下位ビット最大値符号化部２１６１Ｅにおいて、全てのレイヤにおいて共通のＰＯＣ下位ビット最大値MaxPicOrderCntLsbを設定することにより、既に説明したＰＯＣ下位ビットpic_order_cnt_lsbを有する符号化データを生成することができる。
上記ＰＯＣ下位ビット制限を有する符号化データ構造によれば、同じ時刻を有する複数のレイヤにおいて、表示時刻ＰＯＣの下位ビットが同じ時刻のピクチャ間で同一となるため、同じ時刻を有する複数のレイヤのピクチャ間で同じ表示時刻ＰＯＣを有することができる。これにより、参照ピクチャリストにおける、対象レイヤとは異なるレイヤのピクチャを参照ピクチャとして用いる場合の参照ピクチャ管理、および、３次元画像再生のような、複数のレイヤを同期して再生させる場合に、表示タイミングをピクチャの時刻を用いて管理する場合などにおいて、同じ時刻のピクチャであることをＰＯＣを用いて管理することが可能となり、参照ピクチャの探索および同期が容易になるという効果を奏する。
［ＰＯＣ制限］
（第１のＮＡＬユニットタイプ制限）
既に説明したように、本実施形態の符号化データ構造では、第１のＮＡＬユニットタイプ制限として、全ての同じ時刻を有する全てのレイヤのピクチャ、すなわち、同じアクセスユニットの全てのレイヤのピクチャは同じＮＡＬユニットタイプを有しなければならないという制限を設ける。本実施形態のＮＡＬユニットタイプ符号化部２１１２Ｅは、第１のＮＡＬユニットタイプ制限を備える符号化データを符号化するために、対象ピクチャがレイヤＩＤ＝０以外のレイヤである場合、同じ時刻のレイヤＩＤ＝０のピクチャのＮＡＬユニットタイプを、対象レイヤのＮＡＬユニットタイプとして符号化する。
（第２のＮＡＬユニットタイプ制限）
既に説明したように、本実施形態の符号化データ構造では、第２のＮＡＬユニットタイプ制限として、レイヤＩＤが０のピクチャが、ＰＯＣを初期化するＲＡＰである場合（ＩＤＲピクチャもしくはＢＬＡピクチャである場合）には、同じ時刻を有する全てのレイヤのピクチャ、すなわち、同じアクセスユニットの全てのレイヤのピクチャは、ＰＯＣを初期化するピクチャであるＲＡＰピクチャのＮＡＬユニットタイプを有しなければならないという制限を設ける。本実施形態のＮＡＬユニットタイプ符号化部２１１２Ｅは、第２のＮＡＬユニットタイプ制限を備える符号化データを符号化するために、対象ピクチャがレイヤＩＤ＝０以外のレイヤである場合、かつ、レイヤＩＤ＝０のピクチャのＮＡＬユニットタイプがＰＯＣを初期化するＲＡＰである場合、レイヤＩＤ＝０のピクチャのＮＡＬユニットタイプを対象レイヤのＮＡＬユニットタイプとして符号化する。
（第２のＰＯＣ上位ビット導出部２１６３Ｂ）
第２のＰＯＣ上位ビット導出部２１６３Ｂを有する画像符号化装置は、ＰＯＣ情報符号化部２１６Ｅ中のＰＯＣ上位ビット導出部２１６３を以下に説明するＰＯＣ上位ビット導出部２１６３Ｂに置き換えることで構成され、他の手段は既に説明した手段を用いる。
ＰＯＣ上位ビット導出部２１６３Ｂは、対象ピクチャがレイヤＩＤが０の場合には、ＮＡＬユニットヘッダ符号化部２１１Ｅから入力された対象ピクチャのＮＡＬユニットタイプが、ＰＯＣの初期化が必要なＲＡＰピクチャであることを示す場合（ＢＬＡもしくはＩＤＲの場合）に、以下の式によりＰＯＣ上位ビットPicOrderCntMsbを０に初期化する。
PicOrderCntMsb＝０
対象ピクチャがレイヤＩＤが０の以外の場合には、対象ピクチャと同じ時刻のレイヤＩＤが０のピクチャのＮＡＬユニットタイプが、ＰＯＣの初期化が必要なＲＡＰピクチャであることを示す場合（ＢＬＡもしくはＩＤＲの場合）に、以下の式によりＰＯＣ上位ビットPicOrderCntMsbを０に初期化する。
PicOrderCntMsb＝０
第２のＰＯＣ上位ビット導出部２１６３Ｂを有する画像符号化装置によれば、同じ時刻を有する複数のレイヤにおいて、表示時刻ＰＯＣの初期化が、レイヤＩＤが０のピクチャと同じ時刻のピクチャで行われるため、同じ時刻を有する複数のレイヤのピクチャ間で表示時刻ＰＯＣを有することができる。これにより、参照ピクチャリストにおける、対象レイヤとは異なるレイヤのピクチャを参照ピクチャとして用いる場合の参照ピクチャ管理、および、３次元画像再生のような、複数のレイヤを同期して再生させる場合に、表示タイミングをピクチャの時刻を用いて管理する場合などにおいて、同じ時刻のピクチャであることをＰＯＣを用いて管理することが可能となり、参照ピクチャの探索および同期が容易になるという効果を奏する。
［スライスタイプ符号化部２１７Ｅ］
スライスタイプ符号化部２１７Ｅは、符号化データ＃１にスライスタイプslice_typeを符号化する。
［スライスタイプ制限］
本実施形態では、符号化データの制限として以下の制限を行う。本実施形態の第１の符号化データの制限、ベースレイヤの場合（レイヤＩＤが０の場合）かつＮＡＬユニットタイプがランダムアクセスピクチャ（ＲＡＰ）の場合、すなわち、ＢＬＡ、ＩＤＲ、ＣＲＡの場合には、スライスタイプslice_typeをイントラスライスI_SLICEとして符号化し、レイヤＩＤが０以外の場合にはスライスタイプを制限せずに符号化する。
以上のようなレイヤＩＤに依存したスライスタイプの値の範囲の制限によれば、レイヤＩＤが０のレイヤのピクチャにおいては、ＮＡＬユニットタイプがランダムアクセスピクチャ（ＲＡＰ）の場合において、スライスタイプをイントラスライスI_SLICEに制限し、レイヤＩＤが０以外のレイヤのピクチャにおいては、ＮＡＬユニットタイプがランダムアクセスピクチャ（ＲＡＰ）の場合においても、スライスタイプとしてイントラスライスI_SLICEに制限しない。そのため、レイヤＩＤが０以外のレイヤのピクチャにおいては、ＮＡＬユニットタイプがランダムアクセスピクチャ（ＲＡＰ）の場合においても、同じ表示時刻のレイヤＩＤが０のピクチャを参照画像として用いることができるため、符号化効率が向上する、という効果を奏する。
また、以上のようなレイヤＩＤに依存したスライスタイプの値の範囲の制限によれば、レイヤＩＤが０がランダムアクセスピクチャである場合に、同じ表示時刻のレイヤＩＤが０以外のピクチャを、符号化効率を低下させることなく、ランダムアクセスピクチャ（ＲＡＰ）とすることができるため、ランダムアクセスが容易になるという効果を奏する。また、ＩＤＲもしくはＢＬＡのＮＡＬユニットタイプの場合にＰＯＣを初期化する構成において、異なるレイヤ間でＰＯＣの初期化タイミングを同一にするには、レイヤＩＤが０がＩＤＲもしくはＢＬＡの場合には、レイヤＩＤが０以外のレイヤでも、ＩＤＲもしくはＢＬＡにする必要があるが、この場合でも、レイヤＩＤが０以外のレイヤのピクチャにおいて、ＮＡＬユニットタイをＰＯＣの初期化を行うＩＤＲもしくはＢＬＡとしたまま、同じ表示時刻のレイヤＩＤが０のピクチャを参照画像として用いることができるため、符号化効率が向上する、という効果を奏する。
（ピクチャ符号化部２１の構成）
次に、本実施形態に係るピクチャ符号化部２１の構成について説明する。図３０は、本実施形態に係るピクチャ符号化部２１の構成を示すブロック図である。ピクチャ符号化部２１は、予測画像生成部１０１、減算部１０２、ＤＣＴ・量子化部１０３、エントロピー符号化部１０４、逆量子化・逆ＤＣＴ部１０５、加算部１０６、予測パラメータメモリ１０８、符号化パラメータ決定部１１０、予測パラメータ符号化部１１１を含んで構成される。予測パラメータ符号化部１１１は、インター予測パラメータ符号化部１１２及びイントラ予測パラメータ符号化部１１３を含んで構成される。
予測画像生成部１０１は、外部から入力されたレイヤ画像Ｔの視点毎の各ピクチャについて、そのピクチャを分割した領域であるブロック毎に予測ピクチャブロックＰを生成する。ここで、予測画像生成部１０１は、予測パラメータ符号化部１１１から入力された予測パラメータに基づいて復号ピクチャバッファ１２から参照ピクチャブロックを読み出す。予測パラメータ符号化部１１１から入力された予測パラメータとは、例えば、動きベクトル又は変位ベクトルである。予測画像生成部１０１は、符号化対象ブロックを起点として予測された動きベクトル又は変位ベクトルが示す位置にあるブロックの参照ピクチャブロックを読み出す。予測画像生成部１０１は、読み出した参照ピクチャブロックについて複数の予測方式のうちの１つの予測方式を用いて予測ピクチャブロックＰを生成する。予測画像生成部１０１は、生成した予測ピクチャブロックＰを減算部１０２に出力する。なお、予測画像生成部１０１は、既に説明した予測画像生成部３０８と同じ動作であるため予測ピクチャブロックＰの生成の詳細は省略する。
予測画像生成部１０１は、予測方式を選択するために、例えば、レイヤ画像に含まれるブロックの画素毎の信号値と予測ピクチャブロックＰの対応する画素毎の信号値との差分に基づく誤差値を最小にする予測方式を選択する。予測方式を選択する方法は、これには限られない。
符号化対象のピクチャがベースビューピクチャである場合には、複数の予測方式とは、イントラ予測、動き予測及びマージ予測である。動き予測とは、上述のインター予測のうち、表示時刻間の予測である。マージ予測とは、既に符号化されたブロックであって、符号化対象ブロックから予め定めた範囲内にあるブロックと同一の参照ピクチャブロック及び予測パラメータを用いる予測である。符号化対象のピクチャがノンベースビューピクチャである場合には、複数の予測方式とは、イントラ予測、動き予測、マージ予測、及び変位予測である。変位予測（視差予測）とは、上述のインター予測のうち、別レイヤ画像（別視点画像）間の予測である。さらに、動き予測、マージ予測、及び変位予測である。変位予測（視差予測）に対して、追加予測（残差予測および照度補償）を行う場合と行わない場合の予測がある。
予測画像生成部１０１は、イントラ予測を選択した場合、予測ピクチャブロックＰを生成する際に用いたイントラ予測モードを示す予測モードpredModeを予測パラメータ符号化部１１１に出力する。
予測画像生成部１０１は、動き予測を選択した場合、予測ピクチャブロックＰを生成する際に用いた動きベクトルmvLXを予測パラメータメモリ１０８に記憶し、インター予測パラメータ符号化部１１２に出力する。動きベクトルmvLXは、符号化対象ブロックの位置から予測ピクチャブロックＰを生成する際の参照ピクチャブロックの位置までのベクトルを示す。動きベクトルmvLXを示す情報には、参照ピクチャを示す情報（例えば、参照ピクチャインデックスrefIdxLX、ピクチャ順序番号ＰＯＣ）を含み、予測パラメータを表すものであっても良い。また、予測画像生成部１０１は、インター予測モードを示す予測モードpredModeを予測パラメータ符号化部１１１に出力する。
予測画像生成部１０１は、変位予測を選択した場合、予測ピクチャブロックＰを生成する際に用いた変位ベクトルを予測パラメータメモリ１０８に記憶し、インター予測パラメータ符号化部１１２に出力する。変位ベクトルdvLXは、符号化対象ブロックの位置から予測ピクチャブロックＰを生成する際の参照ピクチャブロックの位置までのベクトルを示す。変位ベクトルdvLXを示す情報には、参照ピクチャを示す情報（例えば、参照ピクチャインデックスrefIdxLX、ビューＩＤview_id）を含み、予測パラメータを表すものであっても良い。また、予測画像生成部１０１は、インター予測モードを示す予測モードpredModeを予測パラメータ符号化部１１１に出力する。
予測画像生成部１０１は、マージ予測を選択した場合、選択した参照ピクチャブロックを示すマージインデックスmerge_idxをインター予測パラメータ符号化部１１２に出力する。また、予測画像生成部１０１は、マージ予測モードを示す予測モードpredModeを予測パラメータ符号化部１１１に出力する。
上記の、動き予測、変位予測、マージ予測において、予測画像生成部１０１は、追加予測として残差予測を行う場合には、既に説明したように予測画像生成部１０１に含まれる残差予測部３０９２において残差予測を行い、追加予測として照度補償を行う場合には、既に説明したように予測画像生成部１０１に含まれる照度補償部３０９３において照度補償予測を行う。
減算部１０２は、予測画像生成部１０１から入力された予測ピクチャブロックＰの信号値を、外部から入力されたレイヤ画像Ｔの対応するブロックの信号値から画素毎に減算して、残差信号を生成する。減算部１０２は、生成した残差信号をＤＣＴ・量子化部１０３と符号化パラメータ決定部１１０に出力する。
ＤＣＴ・量子化部１０３は、減算部１０２から入力された残差信号についてＤＣＴを行い、ＤＣＴ係数を算出する。ＤＣＴ・量子化部１０３は、算出したＤＣＴ係数を量子化して量子化係数を求める。ＤＣＴ・量子化部１０３は、求めた量子化係数をエントロピー符号化部１０４及び逆量子化・逆ＤＣＴ部１０５に出力する。
エントロピー符号化部１０４には、ＤＣＴ・量子化部１０３から量子化係数が入力され、符号化パラメータ決定部１１０から符号化パラメータが入力される。入力される符号化パラメータには、例えば、参照ピクチャインデックスrefIdxLX、ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLX、予測モードpredMode、及びマージインデックスmerge_idx等の符号がある。
エントロピー符号化部１０４は、入力された量子化係数と符号化パラメータをエントロピー符号化して符号化データ＃１を生成し、生成した符号化データ＃１を外部に出力する。
逆量子化・逆ＤＣＴ部１０５は、ＤＣＴ・量子化部１０３から入力された量子化係数を逆量子化してＤＣＴ係数を求める。逆量子化・逆ＤＣＴ部１０５は、求めたＤＣＴ係数について逆ＤＣＴを行い、符号化残差信号を算出する。逆量子化・逆ＤＣＴ部１０５は、算出した符号化残差信号を加算部１０６に出力する。
加算部１０６は、予測画像生成部１０１から入力された予測ピクチャブロックＰの信号値と逆量子化・逆ＤＣＴ部１０５から入力された符号化残差信号の信号値を画素毎に加算して、参照ピクチャブロックを生成する。加算部１０６は、生成した参照ピクチャブロックを復号ピクチャバッファ１２に記憶する。
予測パラメータメモリ１０８は、予測パラメータ符号化部１１１が生成した予測パラメータを、符号化対象のピクチャ及びブロック毎に予め定めた位置に記憶する。
符号化パラメータ決定部１１０は、符号化パラメータの複数のセットのうち、１つのセットを選択する。符号化パラメータとは、上述した予測パラメータやこの予測パラメータに関連して生成される符号化の対象となるパラメータである。予測画像生成部１０１は、これらの符号化パラメータのセットの各々を用いて予測ピクチャブロックＰを生成する。
符号化パラメータ決定部１１０は、複数のセットの各々について情報量の大きさと符号化誤差を示すコスト値を算出する。コスト値は、例えば、符号量と二乗誤差に係数λを乗じた値との和である。符号量は、量子化誤差と符号化パラメータをエントロピー符号化して得られる符号化データ＃１の情報量である。二乗誤差は、減算部１０２において算出された残差信号の残差値の二乗値についての画素間の総和である。係数λは、予め設定されたゼロよりも大きい実数である。符号化パラメータ決定部１１０は、算出したコスト値が最小となる符号化パラメータのセットを選択する。これにより、エントロピー符号化部１０４は、選択した符号化パラメータのセットを符号化データ＃１として外部に出力し、選択されなかった符号化パラメータのセットを出力しない。
予測パラメータ符号化部１１１は、予測画像生成部１０１から入力されたパラメータに基づいて予測ピクチャを生成する際に用いる予測パラメータを導出し、導出した予測パラメータを符号化して符号化パラメータのセットを生成する。予測パラメータ符号化部１１１は、生成した符号化パラメータのセットをエントロピー符号化部１０４に出力する。
予測パラメータ符号化部１１１は、生成した符号化パラメータのセットのうち符号化パラメータ決定部１１０が選択したものに対応する予測パラメータを予測パラメータメモリ１０８に記憶する。
予測パラメータ符号化部１１１は、予測画像生成部１０１から入力された予測モードpredModeがインター予測モードを示す場合、インター予測パラメータ符号化部１１２を動作させる。予測パラメータ符号化部１１１は、予測モードpredModeがイントラ予測モードを示す場合、イントラ予測パラメータ符号化部１１３を動作させる。
インター予測パラメータ符号化部１１２は、符号化パラメータ決定部１１０から入力された予測パラメータに基づいてインター予測パラメータを導出する。インター予測パラメータ符号化部１１２は、インター予測パラメータを導出する構成として、インター予測パラメータ復号部３０３（図５等、参照）がインター予測パラメータを導出する構成と同一の構成を含む。インター予測パラメータ符号化部１１２の構成については、後述する。
イントラ予測パラメータ符号化部１１３は、符号化パラメータ決定部１１０から入力された予測モードpredModeが示すイントラ予測モードIntraPredModeをインター予測パラメータのセットとして定める。
（インター予測パラメータ符号化部の構成）
次に、インター予測パラメータ符号化部１１２の構成について説明する。インター予測パラメータ符号化部１１２は、インター予測パラメータ復号部３０３に対応する手段である。
図３１は、本実施形態に係るインター予測パラメータ符号化部１１２の構成を示す概略図である。
インター予測パラメータ符号化部１１２は、インター予測パラメータ符号化制御部１０３１、マージ予測パラメータ導出部１１２１、AMVP予測パラメータ導出部１１２２、減算部１１２３、及び予測パラメータ統合部１１２６を含んで構成される。
マージ予測パラメータ導出部１１２１は、上述のマージ予測パラメータ導出部３０３６（図７参照）と同様な構成を有する。
インター予測パラメータ符号化制御部１０３１は、インター予測に関連する符号（シンタックス要素の符号化をエントロピー符号化部１０４に指示し、符号化データ＃１に含まれる符号（シンタックス要素）を例えば、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idx、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXを符号化する。
マージ予測パラメータ導出部１１２１には、予測画像生成部１０１から入力された予測モードpredModeがマージ予測モードを示す場合、符号化パラメータ決定部１１０からマージインデックスmerge_idxが入力される。マージインデックスmerge_idxは、予測パラメータ統合部１１２６に出力される。マージ予測パラメータ導出部１１２１は、マージ候補のうちマージインデックスmerge_idxが示す参照ブロックの参照ピクチャインデックスrefIdxLX、ベクトルmvLXを予測パラメータメモリ１０８から読み出す。マージ候補とは、符号化対象となる符号化対象ブロックから予め定めた範囲にある参照ブロック（例えば、符号化対象ブロックの左下端、左上端、右上端に接する参照ブロックのうち）であって、符号化処理が完了した参照ブロックである。
AMVP予測パラメータ導出部１１２２は、上述のAMVP予測パラメータ導出部３０３２（図８参照）と同様な構成を有する。
AMVP予測パラメータ導出部１１２２には、予測画像生成部１０１から入力された予測モードpredModeがインター予測モードを示す場合、符号化パラメータ決定部１１０からベクトルmvLXが入力される。AMVP予測パラメータ導出部１１２２は、入力されたベクトルmvLXに基づいて予測ベクトルmvpLXを導出する。AMVP予測パラメータ導出部１１２２は、導出した予測ベクトルmvpLXを減算部１１２３に出力する。なお、参照ピクチャインデックスrefIdx及びベクトルインデックスmvp_LX_idxは、予測パラメータ統合部１１２６に出力される。
減算部１１２３は、符号化パラメータ決定部１１０から入力されたベクトルmvLXからAMVP予測パラメータ導出部１１２２から入力された予測ベクトルmvpLXを減算して差分ベクトルmvdLXを生成する。差分ベクトルmvdLXは予測パラメータ統合部１１２６に出力する。
予測画像生成部１０１から入力された予測モードpredModeがマージ予測モードを示す場合には、予測パラメータ統合部１１２６は、符号化パラメータ決定部１１０から入力されたマージインデックスmerge_idxをエントロピー符号化部１０４に出力する。
予測画像生成部１０１から入力された予測モードpredModeがインター予測モードを示す場合には、予測パラメータ統合部１１２６は、次の処理を行う。
予測パラメータ統合部１１２６は、符号化パラメータ決定部１１０から入力された参照ピクチャインデックスrefIdxLX及びベクトルインデックスmvp_LX_idx、減算部１１２３から入力された差分ベクトルｍｖｄＬＸを統合する。予測パラメータ統合部１１２６は、統合した符号をエントロピー符号化部１０４に出力する。
〔まとめ〕
第１の構成の画像復号装置によれば、ＮＡＬユニットヘッダからレイヤＩＤと、ＮＡＬユニットの種類を規定するＮＡＬユニットタイプnal_unit_typeを復号するＮＡＬユニットヘッダ復号部を備え、上記ＮＡＬユニットヘッダ復号部で復号される、上記レイヤＩＤが０以外のピクチャのnal_unit_typeは、上記レイヤＩＤが０以外のピクチャに対応するレイヤＩＤが０のピクチャのnal_unit_typeと等しいことを特徴とする。
第１の構成の符号化データ構造によれば、ＮＡＬユニットヘッダとＮＡＬユニットデータを単位（ＮＡＬユニット）とし、１つ以上のＮＡＬユニットから構成される符号化データにおいて、上記ＮＡＬユニットヘッダは、レイヤＩＤと、ＮＡＬユニットの種類を規定するＮＡＬユニットタイプnal_unit_typeを含み、レイヤＩＤが０以外のＮＡＬユニットヘッダは、同じ表示時刻のレイヤＩＤが０のＮＡＬユニットヘッダと同じnal_unit_typeを含まなくてならない、という制限を有することを特徴とする。
上記、第１の構成の画像復号装置および符号化データ構造によれば、レイヤＩＤが０のピクチャと、レイヤＩＤが０以外のピクチャが同じnal_unit_typeを含むため、レイヤＩＤが０のピクチャが、ランダムアクセスポイントである場合には、レイヤＩＤが０以外のピクチャもランダムアクセスポイントとなり、レイヤＩＤに関わらず同じ時刻のポイントから、復号を開始することができるため、ランダムアクセス性能が向上するという効果を奏する。
さらに、レイヤＩＤが０のピクチャが、ランダムアクセスポイントである場合には、レイヤＩＤが０以外のピクチャもランダムアクセスポイントとなり、レイヤＩＤに関わらず同じポイントから、復号を開始することができるため、ランダムアクセス性能が向上するという効果を奏する。
第２の構成の画像復号装置によれば、１ＮＡＬユニットヘッダからレイヤＩＤと、ＮＡＬユニットの種類を規定するＮＡＬユニットタイプnal_unit_typeを復号するＮＡＬユニットヘッダ復号部を備え、上記レイヤＩＤが０かつ上記nal_unit_typeがＲＡＰピクチャの場合には、上記ＮＡＬユニットヘッダ復号部で復号される、上記レイヤＩＤが０に対応するレイヤＩＤが０以外のピクチャのnal_unit_typeは、上記レイヤＩＤが０のnal_unit_typeと等しいことを特徴とする。
第２の構成の符号化データ構造によれば、ＮＡＬユニットヘッダとＮＡＬユニットデータを単位（ＮＡＬユニット）とし、１つ以上のＮＡＬユニットから構成される符号化データにおいて、上記ＮＡＬユニットヘッダは、レイヤＩＤと、ＮＡＬユニットの種類を規定するＮＡＬユニットタイプnal_unit_typeを含み、レイヤＩＤが０以外のＮＡＬユニットヘッダは、同じ時刻のレイヤＩＤが０のＮＡＬユニットヘッダが、表示時刻を初期化する必要を要するＲＡＰピクチャ（ＢＬＡもしくはＩＤＲ）のＮＡＬユニットタイプnal_unit_typeを含む場合には、同じ表示時刻のレイヤＩＤが０のＮＡＬユニットヘッダと同じnal_unit_typeを含まなくてならない、という制限を有することを特徴とする。
第２の構成の画像復号装置および第２の構成の符号化データ構造によれば、レイヤＩＤが０のピクチャがランダムアクセスポイントである場合には、レイヤＩＤが０以外のピクチャもランダムアクセスポイントとなり、レイヤＩＤに関わらず同じ箇所から、復号を開始することができるため、ランダムアクセス性能が向上するという効果を奏する。
第３の構成の画像復号装置によれば、ＮＡＬユニットヘッダからレイヤＩＤと、ＮＡＬユニットの種類を規定するＮＡＬユニットタイプnal_unit_typeを復号するＮＡＬユニットヘッダ復号部と、スライスヘッダから、イントラスライスもしくは１つ以上のインタースライスのいずれかを示すスライスタイプを復号するスライスヘッダ復号部を備え、上記レイヤＩＤが０かつ上記ＮＡＬユニットタイプnal_unit_typeがＲＡＰピクチャの場合には、上記スライスヘッダ復号部により復号されるスライスタイプはイントラスライスであり、さらに、上記レイヤＩＤが０以外かつ上記nal_unit_typeがＲＡＰピクチャの場合には、上記スライスヘッダ復号部により復号されるスライスタイプはイントラスライスとインタースライスであることを特徴とする。
第３の構成の符号化データ構造によれば、さらに、スライスタイプを規定するスライスヘッダを含み、さらに、上記スライスヘッダは、レイヤＩＤが０のスライスの場合には、イントラスライスである制限を有し、レイヤＩＤが０以外のスライスの場合には、イントラスライスであるという制限がないことを特徴とする符号化データ。
第３の構成の画像復号装置および第３の構成の符号化データ構造によれば、ランダムアクセス性能を保ちながら、レイヤＩＤが０以外のスライスにおいて、レイヤＩＤが０のピクチャの復号画像を参照するような、インター予測を用いることができるため、符号化効率が向上するという効果を奏する。
第４の構成の画像復号装置はＮＡＬユニットヘッダからレイヤＩＤと、ＮＡＬユニットの種類を規定するＮＡＬユニットタイプnal_unit_typeを復号するＮＡＬユニットヘッダ復号部と、ピクチャパラメータセットから、表示時刻ＰＯＣの下位ビット最大値MaxPicOrderCntLsbを復号するＰＯＣ下位ビット最大値復号部と、
スライスヘッダから、表示時刻ＰＯＣの下位ビットpic_order_cnt_lsbを復号するＰＯＣ下位ビット復号部と、上記ＮＡＬユニットタイプnal_unit_typeと上記ＰＯＣ下位ビット最大値MaxPicOrderCntLsbと、上記ＰＯＣ下位ビットpic_order_cnt_lsbからＰＯＣ上位ビットを導出するＰＯＣ上位ビット導出部と、上記ＰＯＣ上位ビットと上記ＰＯＣ下位ビットの和から表示時刻ＰＯＣを導出するＰＯＣ加算部を備える。
第４の構成の符号化データ構造はＮＡＬユニットヘッダとＮＡＬユニットデータを単位（ＮＡＬユニット）とし、１つ以上のＮＡＬユニットから構成される符号化データにおいて、上記ＮＡＬユニットヘッダは、レイヤＩＤと、ＮＡＬユニットの種類を規定するＮＡＬユニットタイプnal_unit_typeを含み、上記ＮＡＬユニットデータに含まれるピクチャパラメータセットは、表示時刻ＰＯＣの下位ビット最大値MaxPicOrderCntLsbを含み、上記ＮＡＬユニットデータに含まれるスライスデータは、スライスヘッダとスライスデータから構成され、上記スライスデータは、表示時刻ＰＯＣの下位ビットpic_order_cnt_lsbを含む符号化データにおいて、全てのレイヤにおいて、同じアクセスユニットに格納される、全てのＮＡＬユニットは、その含まれるスライスヘッダにおいて、同じ表示時刻ＰＯＣを含むことを特徴とする。
第４の構成の画像復号装置および第４の構成の符号化データ構造によれば、によれば、同じ時刻を有するＮＡＬユニットが同じ表示時刻（ＰＯＣ）を有することが保障されるため、異なるレイヤ間で同じ時刻を有するピクチャであるかの判定を、表示時刻ＰＯＣを用いて行うことができる。これにより、同じ時刻間で復号画像を参照することが可能になるという効果を奏する。
第５の構成の符号化データ構造は、さらに、レイヤＩＤが０以外のＮＡＬユニットヘッダは、同じ表示時刻のレイヤＩＤが０のＮＡＬユニットヘッダが、表示時刻を初期化する必要を要するピクチャのＮＡＬユニットタイプnal_unit_typeを含む場合には、同じ表示時刻のレイヤＩＤが０のＮＡＬユニットヘッダと同じnal_unit_typeを含まなくてならない、という制限を有する第４の構成の符号化データ構造。
さらに第５の構成の符号化データ構造によれば、レイヤＩＤが０のピクチャがＩＤＲもしくはＢＬＡのランダムアクセスポイントであり表示時刻ＰＯＣが初期化される場合には、レイヤＩＤが０以外のピクチャも同じようなランダムアクセスポイントとなり、表示時刻ＰＯＣが初期化される。そのため、レイヤ間で表示時刻ＰＯＣを一致させることが可能になるという効果を奏する。
第６の構成の符号化データ構造は、さらに全てのレイヤにおいて、同じアクセスユニットに格納される、全てのＮＡＬユニットは、対応するピクチャパラメータセットにおいて、同じ下位ビット最大値MaxPicOrderCntLsbを含まなくてはならない、という制限と、全てのレイヤにおいて、同じアクセスユニットに格納される、全てのＮＡＬユニットは、その含まれるスライスヘッダにおいて、同じ表示時刻ＰＯＣ下位ビットpic_order_cnt_lsbを含まなくてはならない、という制限を有する第４の構成の符号化データ構造。
第６の構成の符号化データ構造によれば、異なるレイヤ間で同じ下位ビット最大値MaxPicOrderCntLsbを持つことが保障される。そのため、表示時刻ＰＯＣ下位ビットの値に応じて、ＰＯＣが更新される場合に同じ値に更新され、異なるレイヤ間で表示時刻ＰＯＣの上位ビットが等しい値になる。さらに、異なるレイヤ間で表示時刻ＰＯＣ下位ビットが等しいことが保障される。そのため、異なるレイヤ間で表示時刻ＰＯＣの上位ビットと下位ビットが等しい、すなわち、異なるレイヤ間で同じ表示時刻ＰＯＣを有するという効果を奏する。
第７の構成の画像復号装置は、ＮＡＬユニットヘッダからレイヤＩＤと、ＮＡＬユニットの種類を規定するＮＡＬユニットタイプnal_unit_typeを復号するＮＡＬユニットヘッダ復号部と、ピクチャパラメータセットから、表示時刻ＰＯＣの上記下位ビット最大値MaxPicOrderCntLsbを復号するＰＯＣ下位ビット最大値復号部と、スライスヘッダから、表示時刻ＰＯＣの下位ビットpic_order_cnt_lsbを復号するＰＯＣ下位ビット復号部と、上記ＮＡＬユニットタイプnal_unit_typeと上記ＰＯＣ下位ビット最大値MaxPicOrderCntLsbと、上記ＰＯＣの下位ビットpic_order_cnt_lsbからＰＯＣの上位ビットを導出するＰＯＣ上位ビット導出部と、上記ＰＯＣの上位ビットと上記ＰＯＣの下位ビットの和から表示時刻ＰＯＣを導出するＰＯＣ加算部を備え、上記ＰＯＣ上位ビット導出部は、レイヤＩＤが０であるピクチャのＮＡＬユニットタイプnal_unit_typeがＰＯＣを初期化するＲＡＰピクチャ（ＢＬＡもしくはＩＤＲ）である場合に、対象レイヤのＰＯＣの初期化を行うことを特徴とする。
第７の構成の画像復号装置によれば、複数のレイヤＩＤ間において、ＮＡＬユニットタイプnal_unit_typeが異なる場合においても、異なるレイヤ間で同じタイミングでＰＯＣの初期化が行われるため、異なるレイヤ間で同じ表示時刻ＰＯＣを有することができるという効果を奏する。
なお、上述した実施形態における画像符号化装置２、画像復号装置１の一部、例えば、エントロピー復号部３０１、予測パラメータ復号部３０２、予測画像生成部１０１、ＤＣＴ・量子化部１０３、エントロピー符号化部１０４、逆量子化・逆ＤＣＴ部１０５、符号化パラメータ決定部１１０、予測パラメータ符号化部１１１、エントロピー復号部３０１、予測パラメータ復号部３０２、予測画像生成部３０８、逆量子化・逆ＤＣＴ部３１１をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像符号化装置２、画像復号装置１のいずれかに内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における画像符号化装置２、画像復号装置１の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。画像符号化装置２、画像復号装置１の各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
また、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
本発明は、画像データが符号化された符号化データを復号する画像復号装置、および、画像データが符号化された符号化データを生成する画像符号化装置に好適に適用することができる。また、画像符号化装置によって生成され、画像復号装置によって参照される符号化データのデータ構造に好適に適用することができる。
１ 画像復号装置
２ 画像符号化装置
３ ネットワーク
４ 画像表示装置
５ 画像伝送システム
１０ ヘッダ復号部
１０Ｅ ヘッダ符号化部
１１ ピクチャ復号部
１２ 復号ピクチャバッファ
１３ 参照ピクチャ管理部
１３１ 参照ピクチャセット設定部
１３２ 参照ピクチャリスト導出部
１３Ｅ 参照ピクチャ決定部
１０１ 予測画像生成部
１０２ 減算部
１０３ ＤＣＴ・量子化部
１０３１ インター予測パラメータ符号化制御部
１０４ エントロピー符号化部
１０５ 逆量子化・逆ＤＣＴ部
１０６ 加算部
１０８ 予測パラメータメモリ
１１０ 符号化パラメータ決定部
１１１ 予測パラメータ符号化部
１１２ インター予測パラメータ符号化部
１１２１ マージ予測パラメータ導出部
１１２２ ＡＭＶＰ予測パラメータ導出部
１１２３ 減算部
１１２６ 予測パラメータ統合部
１１３ イントラ予測パラメータ符号化部
２１ ピクチャ符号化部
２１１ ＮＡＬユニットヘッダ復号部
２１１１ レイヤＩＤ復号部
２１１２ ＮＡＬユニットタイプ復号部
２１２３ 依存レイヤＩＤ復号部
２１１Ｅ ＮＡＬユニットヘッダ符号化部
２１１１Ｅ レイヤＩＤ符号化部
２１１２Ｅ ＮＡＬユニットタイプ符号化部
２１２３Ｅ 依存レイヤ符号化部
２１２ ＶＰＳ復号部
２１２１ スケーラブルタイプ復号部
２１２２ 次元ＩＤ復号部
２１２Ｅ ＶＰＳ符号化部
２１２１Ｅ スケーラブルタイプ符号化部
２１２２Ｅ 次元ＩＤ符号化部
２１３ レイヤ情報格納部
２１４ ビューデプス導出部
２１６ ＰＯＣ情報復号部
２１６Ｅ ＰＯＣ情報符号化部
２１６１ ＰＯＣ下位ビット最大値復号部
２１６１Ｅ ＰＯＣ下位ビット最大値符号化部
２１６２ ＰＯＣ下位ビット復号部
２１６２Ｅ ＰＯＣ下位ビット符号化部
２１６３ ＰＯＣ上位ビット導出部
２１６３Ｂ ＰＯＣ上位ビット導出部
２１６４ ＰＯＣ加算部
２１６５ ＰＯＣ設定部
２１７ スライスタイプ復号部
２１７Ｅ スライスタイプ符号化部
２１８ 参照ピクチャ情報復号部
２１８Ｅ 参照ピクチャ情報符号化部
２４ 参照ピクチャセット決定部
２５ 参照ピクチャリスト決定部
３０１ エントロピー復号部
３０２ 予測パラメータ復号部
３０３ インター予測パラメータ復号部
３０３１ インター予測パラメータ復号制御部
３０３１１ 追加予測フラグ復号部
３０３１１１ リファレンスレイヤ判定部
３０３１２ マージインデックス復号部
３０３１３ ベクトル候補インデックス復号部
３０３１４ 追加予測フラグ判定部
３０３２ ＡＭＶＰ予測パラメータ導出部
３０３３ ベクトル候補導出部
３０３４ 予測ベクトル選択部
３０３５ 加算部
３０３６ マージ予測パラメータ導出部
３０３６１ マージ候補導出部
３０３６１１ マージ候補格納部
３０３６１２ 拡張マージ候補導出部
３０３６１２１ インターレイヤマージ候補導出部
３０３６１２２ 変位ベクトル取得部
３０３６１２３ インターレイヤ変位マージ候補導出部
３０３６１３ 基本マージ候補導出部
３０３６１３１ 空間マージ候補導出部
３０３６１３２ 時間マージ候補導出部
３０３６１３３ 結合マージ候補導出部
３０３６１３４ ゼロマージ候補導出部
３０３６１４ ＭＰＩ候補導出部
３０３６２ マージ候補選択部
３０４ イントラ予測パラメータ復号部
３０７ 予測パラメータメモリ
３０８ 予測画像生成部
３０９ インター予測画像生成部
３０９１ 変位補償部
３０９２ 残差予測部
３０９２１ 残差取得部
３０９２２ 残差フィルタ部
３０９３ 照度補償部
３０９３１ 照度パラメータ推定部
３０９３２ 照度補償フィルタ部
３０９４ 予測部
３１０ イントラ予測画像生成部
３１０１ 方向予測部
３１０２ ＤＭＭ予測部
３１１ 逆量子化・逆ＤＣＴ部
３１２ 加算部
３１３ 残差格納部

Claims (7)

  1. スライスタイプを規定するスライスヘッダを含み、さらに、上記スライスヘッダは、レイヤＩＤが０のスライスの場合には、イントラスライスである制限を有し、レイヤＩＤが０以外のスライスの場合には、イントラスライスであるという制限がないことを特徴とする符号化データ構造。
  2. ＮＡＬユニットヘッダとＮＡＬユニットデータを単位（ＮＡＬユニット）とし、１つ以上のＮＡＬユニットから構成される符号化データ構造において、
    上記ＮＡＬユニットヘッダは、レイヤＩＤと、ＮＡＬユニットの種類を規定するＮＡＬユニットタイプnal_unit_typeを含み、
    上記ＮＡＬユニットデータに含まれるピクチャパラメータセットは、表示時刻ＰＯＣの下位ビット最大値MaxPicOrderCntLsbを含み、
    上記ＮＡＬユニットデータに含まれるスライスデータは、スライスヘッダとスライスデータから構成され、
    上記スライスデータは、上記表示時刻ＰＯＣの下位ビットpic_order_cnt_lsbを含む符号化データにおいて、
    全てのレイヤにおいて、同じアクセスユニットに格納される、全てのＮＡＬユニットは、その含まれるスライスヘッダにおいて、同じ表示時刻ＰＯＣを含むことを特徴とする符号化データ構造。
  3. 上記符号化データ構造において、さらに、
    レイヤＩＤが０以外のＮＡＬユニットヘッダは、同じ値の表示時刻ＰＯＣを有するレイヤＩＤが０のＮＡＬユニットヘッダが、表示時刻ＰＯＣを初期化する必要を要するピクチャのＮＡＬユニットタイプnal_unit_typeを含む場合には、上記表示時刻ＰＯＣのレイヤＩＤが０のピクチャのＮＡＬユニットヘッダが有するnal_unit_typeと同じnal_unit_typeを含まなくてならない、という制限を有する請求項２に記載の符号化データ構造。
  4. 上記符号化データ構造において、さらに
    全てのレイヤにおいて、同じアクセスユニットに格納される、全てのＮＡＬユニットは、対応するピクチャパラメータセットにおいて、同じ下位ビット最大値MaxPicOrderCntLsbを含まなくてはならない、という制限と、
    全てのレイヤにおいて、同じアクセスユニットに格納される、全てのＮＡＬユニットは、その含まれるスライスヘッダにおいて、同じ表示時刻ＰＯＣの下位ビットpic_order_cnt_lsbを含まなくてはならない、という制限を有する請求項２に記載の符号化データ構造。
  5. ＮＡＬユニットヘッダからレイヤＩＤと、ＮＡＬユニットの種類を規定するＮＡＬユニットタイプnal_unit_typeを復号するＮＡＬユニットヘッダ復号部と、
    ピクチャパラメータセットから、表示時刻ＰＯＣの下位ビット最大値MaxPicOrderCntLsbを復号するＰＯＣ下位ビット最大値復号部と、
    スライスヘッダから、上記表示時刻ＰＯＣの下位ビットpic_order_cnt_lsbを復号するＰＯＣ下位ビット復号部と、
    上記ＮＡＬユニットタイプnal_unit_typeと上記表示時刻ＰＯＣの下位ビット最大値MaxPicOrderCntLsbと、上記表示時刻ＰＯＣの下位ビットpic_order_cnt_lsbから上記表示時刻ＰＯＣの上位ビットを導出するＰＯＣ上位ビット導出部と、
    上記表示時刻ＰＯＣの上位ビットと上記表示時刻ＰＯＣの下位ビットの和から上記表示時刻ＰＯＣを導出するＰＯＣ加算部を備え、
    上記ＰＯＣ上位ビット導出部は、レイヤＩＤが０であるピクチャのＮＡＬユニットタイプnal_unit_typeが上記表示時刻ＰＯＣを初期化する必要を要するＲＡＰピクチャ（ＢＬＡもしくはＩＤＲ）である場合に、対象レイヤの上記表示時刻ＰＯＣの初期化を行うことを特徴とする画像復号装置。
  6. ＮＡＬユニットヘッダとＮＡＬユニットデータを単位（ＮＡＬユニット）とし、１つ以上のＮＡＬユニットから構成される符号化データ構造において、
    上記ＮＡＬユニットヘッダは、レイヤＩＤと、ＮＡＬユニットの種類を規定するＮＡＬユニットタイプnal_unit_typeを含み、
    レイヤＩＤが０以外のピクチャのＮＡＬユニットヘッダは、同じ表示時刻ＰＯＣのレイヤＩＤが０のピクチャのＮＡＬユニットヘッダと同じnal_unit_typeを含まなくてならない、という制限を有する符号化データ構造。
  7. ＮＡＬユニットヘッダとＮＡＬユニットデータを単位（ＮＡＬユニット）とし、１つ以上のＮＡＬユニットから構成される符号化データ構造において、
    上記ＮＡＬユニットヘッダは、レイヤＩＤと、ＮＡＬユニットの種類を規定するＮＡＬユニットタイプnal_unit_typeを含み、
    レイヤＩＤが０以外のピクチャのＮＡＬユニットヘッダは、前記ピクチャと同じ出力時刻のレイヤＩＤが０のピクチャのＮＡＬユニットヘッダが、表示時刻ＰＯＣを初期化する必要を要するＲＡＰピクチャ（ＢＬＡもしくはＩＤＲ）のＮＡＬユニットタイプnal_unit_typeを含む場合には、同じ表示時刻ＰＯＣのレイヤＩＤが０のピクチャのＮＡＬユニットヘッダと同じnal_unit_typeを含まなくてならない、という制限を有する符号化データ構造。
JP2014554222A 2012-12-28 2013-11-08 画像復号装置、およびデータ構造 Pending JPWO2014103529A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012286712 2012-12-28
JP2012286712 2012-12-28
PCT/JP2013/080245 WO2014103529A1 (ja) 2012-12-28 2013-11-08 画像復号装置、およびデータ構造

Publications (1)

Publication Number Publication Date
JPWO2014103529A1 true JPWO2014103529A1 (ja) 2017-01-12

Family

ID=51020628

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014554222A Pending JPWO2014103529A1 (ja) 2012-12-28 2013-11-08 画像復号装置、およびデータ構造

Country Status (3)

Country Link
US (1) US20150326866A1 (ja)
JP (1) JPWO2014103529A1 (ja)
WO (1) WO2014103529A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140121315A (ko) * 2013-04-04 2014-10-15 한국전자통신연구원 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치
US9525883B2 (en) * 2013-07-15 2016-12-20 Qualcomm Incorporated Cross-layer alignment of intra random access point pictures
US9912943B2 (en) * 2013-07-15 2018-03-06 Qualcomm Incorporated Signaling of bit rate information and picture rate information in VPS
US9794558B2 (en) * 2014-01-08 2017-10-17 Qualcomm Incorporated Support of non-HEVC base layer in HEVC multi-layer extensions
US10412387B2 (en) 2014-08-22 2019-09-10 Qualcomm Incorporated Unified intra-block copy and inter-prediction
AU2015327521B2 (en) * 2014-09-30 2018-07-26 Hfi Innovation Inc. Method of lookup table size reduction for depth modelling mode in depth coding
US9918105B2 (en) * 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
EP3148190A1 (en) * 2015-09-25 2017-03-29 Thomson Licensing Method and apparatus for intra prediction in video encoding and decoding
US10681347B2 (en) * 2015-09-29 2020-06-09 Lg Electronics Inc. Method and apparatus of filtering image in image coding system
US10812822B2 (en) * 2015-10-02 2020-10-20 Qualcomm Incorporated Intra block copy merge mode and padding of unavailable IBC reference region
JP6238255B2 (ja) 2016-05-25 2017-11-29 株式会社Ｎｅｘｐｏｉｎｔ 監視カメラシステムによる監視方法及び動画分割装置
WO2018066980A1 (ko) * 2016-10-04 2018-04-12 김기백 영상 데이터 부호화/복호화 방법 및 장치
US11284076B2 (en) * 2017-03-22 2022-03-22 Electronics And Telecommunications Research Institute Block form-based prediction method and device
KR20230165889A (ko) 2018-08-17 2023-12-05 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 코딩의 참조 픽처 관리
CN110070541B (zh) * 2019-04-30 2022-09-30 合肥工业大学 一种适用于小样本数据的图像质量评价方法
JP7267885B2 (ja) * 2019-09-20 2023-05-02 Kddi株式会社 画像復号装置、画像復号方法及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7586924B2 (en) * 2004-02-27 2009-09-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for coding an information signal into a data stream, converting the data stream and decoding the data stream
US20100246683A1 (en) * 2009-03-27 2010-09-30 Jennifer Lois Harmon Webb Error Resilience in Video Decoding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BENJAMIN BROSS ET AL., HIGH EFFICIENCY VIDEO CODING (HEVC) TEXT SPECIFICATION DRAFT 9, JPN6017034536, 18 December 2012 (2012-12-18), pages pp.31,39,65,97-98 *
BYEONGDOO CHOI ET AL., POC SIGNALLING FOR CRA PICTURE, JPN6017034535, 27 April 2012 (2012-04-27) *

Also Published As

Publication number Publication date
WO2014103529A1 (ja) 2014-07-03
US20150326866A1 (en) 2015-11-12

Similar Documents

Publication Publication Date Title
JP6397421B2 (ja) 画像復号装置及び画像符号化装置
WO2014103529A1 (ja) 画像復号装置、およびデータ構造
CA2909309C (en) Harmonized inter-view and view synthesis prediction for 3d video coding
KR101662963B1 (ko) 3d 비디오 코딩을 위한 장치, 방법 및 컴퓨터 프로그램
US9967592B2 (en) Block-based advanced residual prediction for 3D video coding
KR102187723B1 (ko) 3 차원（3ｄ）비디오 코딩을 위한 진보된 병합 모드
JP6360053B2 (ja) 照度補償装置、画像復号装置、画像符号化装置
AU2013330031B2 (en) Method and apparatus for motion information prediction and inheritance in video coding
WO2015093565A1 (ja) 画像復号装置、画像符号化装置および残差予測装置
US20160212437A1 (en) Image decoding device, image decoding method, image coding device, and image coding method
WO2015005331A1 (ja) 画像復号装置および画像符号化装置
BR112016007760B1 (pt) Método e aparelho de decodificação de dados de vídeo e método de codificação de dados de vídeo
BR112016000866B1 (pt) Processamento de compensação de iluminação para codificação de vídeo
KR20140120900A (ko) 심도를 갖는 3d 비디오 코딩에서의 멀티-가설 디스패리티 벡터 구성
WO2015056719A1 (ja) 画像復号装置、画像符号化装置
WO2014103600A1 (ja) 符号化データ構造、および画像復号装置
WO2015056620A1 (ja) 画像復号装置、画像符号化装置
JP6118199B2 (ja) 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法及びコンピュータ読み取り可能な記録媒体。
JP6401707B2 (ja) 画像復号装置、画像復号方法、および記録媒体
JP2015015626A (ja) 画像復号装置および画像符号化装置
JP2014204327A (ja) 画像復号装置および画像符号化装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161018

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170912

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180306