JP2024056375A

JP2024056375A - 画像復号装置および画像符号化装置

Info

Publication number: JP2024056375A
Application number: JP2022163200A
Authority: JP
Inventors: 哲銘范; Zheming Fan; 知宏猪飼; Tomohiro Igai; 将伸八杉; Masanobu Yasugi; 友子青野; Tomoko Aono
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2022-10-11
Filing date: 2022-10-11
Publication date: 2024-04-23
Also published as: WO2024080216A1

Abstract

【課題】デコーダ側イントラモード導出において、隣接ブロックと対象ブロックの性質に応じてイントラ予測モードの導出を切り替えて精度を向上させる。【解決手段】画像復号装置の予測画像生成部において、ＤＩＭＤ予測部のＤＩＭＤモードに応じて対象ブロックの隣接画像を選択する参照サンプル導出部と、選択された隣接画像を用いて、画素単位の勾配を導出する勾配導出部及び勾配からイントラ予測モードを導出する角度モード導出部を有する角度モード導出装置と、を備える。【選択図】図１０

Description

本発明の実施形態は、画像復号装置および画像符号化装置に関する。

動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置が用いられている。

具体的な動画像符号化方式としては、例えば、H.264/AVCやHEVC（High-Efficiency Video Coding）にて提案されている方式などが挙げられる。

このような動画像符号化方式においては、動画像を構成する画像（ピクチャ）は、画像を分割することにより得られるスライス、スライスを分割することにより得られる符号化ツリーユニット（CTU：Coding Tree Unit）、符号化ツリーユニットを分割することで得られる符号化単位（符号化ユニット（Coding Unit：CU）と呼ばれることもある）、及び、符号化単位を分割することより得られる変換ユニット（TU：Transform Unit）からなる階層構造により管理され、CU毎に符号化／復号される。

また、このような動画像符号化方式においては、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測誤差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。

また、近年の動画像符号化及び復号の技術として非特許文献１が挙げられる。非特許文献１には、デコーダが隣接領域の画素を用いてイントラ方向予測モード番号を導出することにより予測画像を導出するデコーダ側イントラモード導出(Decoder-side Intra Mode Derivation, DIMD)予測が開示されている。

M. Abdoli, T. Guionnet, E. Mora, et. al, "Non-CE3: Decoder-side Intra Mode Derivation with Prediction Fusion Using Planar", JVET-O0449, Gothenburg, July 2019.

非特許文献１では対象領域隣接画像の画素値の勾配を用いてデコーダ側でイントラモードを導出するが、隣接画像の角度勾配と対象ブロックの角度勾配は必ずしも一致しないという課題があった。

本発明は、デコーダ側イントラモード導出において、隣接ブロックと対象ブロックの性質に応じてイントラ予測モードの導出を切り替えて精度を向上させることを目的とする。

DIMDモードに応じて対象ブロックの隣接画像を選択する参照サンプル導出部と、選択された隣接画像を用いて、画素単位の勾配を導出する勾配導出部、勾配からイントラ予測モードを導出する角度モード選択部を備える。

符号化データから上記対象ブロックのDIMDフラグとDIMDモードを復号するエントロピー復号部を備え、上記DIMDフラグがtrueの場合に、さらにDIMDモードを復号し、さらに導出されたイントラ予測モードを用いて予測画像生成を行う予測画像生成部を備えることを特徴とする。

DIMDモードは、少なくとも、上と左、左、上を上記隣接画像として切り替えることを特徴とする。

DIMDモードは、第１ビットと第２ビットから構成され、第１ビットは上と左か否か、第２ビットで左もしくは上かを選択肢として、上記隣接画像を選択することを特徴とする。

上記エントロピー復号部は、上記第１ビットの復号には確率を保持するコンテキストを用い、上記第２ビットはコンテキストを用いない等確率を用いて、上記DIMDモードを復号することを特徴とする。

上記エントロピー復号部は、上記第１ビットと上記２ビットの復号には確率を保持するコンテキストを用いて、上記DIMDモードを復号することを特徴とする。

上記エントロピー復号部は、対象ブロックの幅と高さを利用してコンテキストインデックスを導出することを特徴とする。

上記エントロピー復号部は、上記第２ビットには対象ブロックが正方形か否かの判定を用いてコンテキストインデックスを導出することを特徴とする。

上記勾配導出部は、dimd_modeに応じて参照するライン数を変更することを特徴とする。

上記勾配導出部は、上記対象ブロックのサイズに応じて参照するライン数を変更することを特徴とする。

上記勾配導出部は、dimd_modeに応じて参照するライン数と参照方向を変更することを特徴とする。

本発明の一態様によれば、デコーダ側イントラモード導出の計算量を増大させることなく好適なイントラ予測を行うことができる。

本実施形態に係る画像伝送システムの構成を示す概略図である。符号化ストリームのデータの階層構造を示す図である。イントラ予測モードの種類（モード番号）を示す概略図である。動画像復号装置の構成を示す概略図である。 DIMDのシンタックス例である。 DIMD予測部31046で用いるシンタックスdimd_modeのバイナリゼーションを説明する図である。 DIMDのシンタックスの別の例である。 dimd_modeのシンタックス要素復号におけるコンテキストの設定を示す図である。予測画像生成部の構成を示す図である。 DIMD予測部の詳細を示す図である。 DIMD予測部31046の参照する参照領域の例を示す図である。 dimd_modeに応じてDIMD予測の参照領域のライン数を変更する構成を示す図である。空間フィルタの一例である。勾配導出対象画素の例を示す図である。勾配と領域の関係を示す図である。角度モード導出部の構成を示すブロック図である。 DIMD予測部31046の勾配導出における参照範囲の例を示す図である。逆量子化・逆変換部の構成例を示す機能ブロック図である。動画像符号化装置の構成を示すブロック図である。

（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について説明する。

図1は、本実施形態に係る画像伝送システム１の構成を示す概略図である。

画像伝送システム１は、符号化対象画像を符号化した符号化ストリームを伝送し、伝送された符号化ストリームを復号し画像を表示するシステムである。画像伝送システム１は、動画像符号化装置（画像符号化装置）11、ネットワーク21、動画像復号装置（画像復号装置）31、及び動画像表示装置（画像表示装置）41を含んで構成される。

動画像符号化装置11には画像Tが入力される。

ネットワーク21は、動画像符号化装置11が生成した符号化ストリームTeを動画像復号装置31に伝送する。ネットワーク21は、インターネット（Internet）、広域ネットワーク（WAN:Wide Area Network）、小規模ネットワーク（LAN:Local Area Network）またはこれらの組み合わせである。ネットワーク21は、必ずしも双方向の通信網に限らず、地上デジタル放送、衛星放送等の放送波を伝送する一方向の通信網であってもよい。また、ネットワーク21は、DVD（Digital Versatile Disc:登録商標）、BD（Blu-ray Disc:登録商標）等の符号化ストリームTeを記録した記憶媒体で代替されてもよい。

動画像復号装置31は、ネットワーク21が伝送した符号化ストリームTeのそれぞれを復号し、復号した１または複数の復号画像Tdを生成する。

動画像表示装置41は、動画像復号装置31が生成した１または複数の復号画像Tdの全部または一部を表示する。動画像表示装置41は、例えば、液晶ディスプレイ、有機ＥＬ（Electro-luminescence）ディスプレイ等の表示デバイスを備える。ディスプレイの形態としては、据え置き、モバイル、HMD等が挙げられる。また、動画像復号装置31が高い処理能力を有する場合には、画質の高い画像を表示し、より低い処理能力しか有しない場合には、高い処理能力、表示能力を必要としない画像を表示する。

＜演算子＞
本明細書で用いる演算子を以下に記載する。

>>は右ビットシフト、<<は左ビットシフト、&はビットワイズAND、|はビットワイズOR、^はビットワイズXOR、|=はOR代入演算子であり、!は論理否定(NOT)、&&は論理積(AND)、||は論理和(OR)を示す。

x?y:zは、xが真（0以外）の場合にy、xが偽（0）の場合にzをとる３項演算子である。

Clip3(a,b,c) は、cをa以上b以下の値にクリップする関数であり、c<aの場合にはaを返し、c>bの場合にはbを返し、その他の場合にはcを返す関数である（ただし、a<=b）。

Clip1Y(c)は、Clip3(a,b,c)において a=0、b=(1<<BitDepthY)-1に設定した演算子である。BitDepthYは輝度のビット深度である。
abs(a)はaの絶対値を返す関数である。

Int(a)はaの整数値を返す関数である。

Floor(a)はa以下の最大の整数を返す関数である。

Log2(a)は2を底とする対数を返す関数である。

Ceil(a)はa以上の最小の整数を返す関数である。

a/dはdによるaの除算（小数点以下切り捨て）を表す。

Min(a,b)はaとbのうち小さい値を返す関数である。

＜符号化ストリームTeの構造＞
本実施形態に係る動画像符号化装置11および動画像復号装置31の詳細な説明に先立って、動画像符号化装置11によって生成され、動画像復号装置31によって復号される符号化ストリームTeのデータ構造について説明する。

図２は、符号化ストリームTeにおけるデータの階層構造を示す図である。符号化ストリームTeは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。図２には、それぞれ、シーケンスSEQを既定する符号化ビデオシーケンス、ピクチャPICTを規定する符号化ピクチャ、スライスSを規定する符号化スライス、スライスデータを規定する符号化スライスデータ、符号化スライスデータに含まれる符号化ツリーユニット、符号化ツリーユニットに含まれる符号化ユニットを示す図が示されている。

（符号化ビデオシーケンス）
符号化ビデオシーケンスでは、処理対象のシーケンスSEQを復号するために動画像復号装置31が参照するデータの集合が規定されている。シーケンスSEQは、図２の符号化ビデオシーケンスに示すように、ビデオパラメータセットVPS（Video Parameter Set）、シーケンスパラメータセットSPS（Sequence Parameter Set）、ピクチャパラメータセットPPS（Picture Parameter Set）、ピクチャPICT、及び、付加拡張情報SEI（Supplemental Enhancement Information）を含んでいる。

ビデオパラメータセットVPSは、複数のレイヤから構成されている動画像において、複数の動画像に共通する符号化パラメータの集合および動画像に含まれる複数のレイヤおよび個々のレイヤに関連する符号化パラメータの集合が規定されている。

シーケンスパラメータセットSPSでは、対象シーケンスを復号するために動画像復号装置31が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの幅や高さが規定される。なお、SPSは複数存在してもよい。その場合、PPSから複数のSPSの何れかを選択する。

ピクチャパラメータセットPPSでは、対象シーケンス内の各ピクチャを復号するために動画像復号装置31が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの復号に用いられる量子化幅の基準値（pic_init_qp_minus26）や重み付き予測の適用を示すフラグ（weighted_pred_flag）が含まれる。なお、PPSは複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のPPSの何れかを選択する。

（符号化ピクチャ）
符号化ピクチャでは、処理対象のピクチャPICTを復号するために動画像復号装置31が参照するデータの集合が規定されている。ピクチャPICTは、図２の符号化ピクチャに示すように、スライス0～スライスNS-1を含む（NSはピクチャPICTに含まれるスライスの総数）。

なお、以下、スライス0～スライスNS-1のそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する符号化ストリームTeに含まれるデータであって、添え字を付している他のデータについても同様である。

（符号化スライス）
符号化スライスでは、処理対象のスライスSを復号するために動画像復号装置31が参照するデータの集合が規定されている。スライスは、図２の符号化スライスに示すように、スライスヘッダ、および、スライスデータを含んでいる。

スライスヘッダには、対象スライスの復号方法を決定するために動画像復号装置31が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダに含まれる符号化パラメータの一例である。

スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、または、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、または、イントラ予測を用いるＢスライスなどが挙げられる。なお、インター予測は、単予測、双予測に限定されず、より多くの参照ピクチャを用いて予測画像を生成してもよい。以下、P、Bスライスと呼ぶ場合には、インター予測を用いることができるブロックを含むスライスを指す。

なお、スライスヘッダは、ピクチャパラメータセットPPSへの参照（pic_parameter_set_id）を含んでいてもよい。

（符号化スライスデータ）
符号化スライスデータでは、処理対象のスライスデータを復号するために動画像復号装置31が参照するデータの集合が規定されている。スライスデータは、図２の符号化スライスヘッダに示すように、CTUを含んでいる。CTUは、スライスを構成する固定サイズ（例えば64x64）のブロックであり、最大符号化単位（LCU:Largest Coding Unit）と呼ぶこともある。

（符号化ツリーユニット）
図２の符号化ツリーユニットには、処理対象のCTUを復号するために動画像復号装置31が参照するデータの集合が規定されている。CTUは、再帰的な４分木分割（QT（Quad Tree）分割）、２分木分割（BT（Binary Tree）分割）あるいは３分木分割（TT（Ternary Tree）分割）により符号化処理の基本的な単位である符号化ユニットCUに分割される。BT分割とTT分割を合わせてマルチツリー分割（MT（Multi Tree）分割）と呼ぶ。再帰的な４分木分割により得られる木構造のノードのことを符号化ノード（Coding Node）と称する。４分木、２分木、及び３分木の中間ノードは、符号化ノードであり、CTU自身も最上位の符号化ノードとして規定される。

（符号化ユニット）
図２の符号化ユニットに示すように、処理対象の符号化ユニットを復号するために動画像復号装置31が参照するデータの集合が規定されている。具体的には、CUは、CUヘッダCUH、予測パラメータ、変換パラメータ、量子化変換係数等から構成される。CUヘッダでは予測モード等が規定される。

予測処理は、CU単位で行われる場合と、CUをさらに分割したサブCU単位で行われる場合がある。CUとサブCUのサイズが等しい場合には、CU中のサブCUは１つである。CUがサブCUのサイズよりも大きい場合、CUは、サブCUに分割される。例えばCUが8x8、サブCUが4x4の場合、CUは水平２分割、垂直２分割からなる、４つのサブCUに分割される。

予測の種類（予測モード）は、イントラ予測と、インター予測の２つがある。イントラ予測は、同一ピクチャ内の予測であり、インター予測は、互いに異なるピクチャ間（例えば、表示時刻間、レイヤ画像間）で行われる予測処理を指す。

変換・量子化処理はCU単位で行われるが、量子化変換係数は4x4等のサブブロック単位でエントロピー符号化してもよい。

（予測パラメータ）
予測画像は、ブロックに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測とインター予測の予測パラメータがある。

以下、イントラ予測の予測パラメータについて説明する。イントラ予測パラメータは、輝度予測モードIntraPredModeY、色差予測モードIntraPredModeCから構成される。図３は、イントラ予測モードの種類（モード番号）を示す概略図である。図に示すように、イントラ予測モードは、例えば67種類（0～66）存在する。例えば、プレーナ予測（0）、DC予測（1）、Angular予測（2～66）である。この他、色成分間線形モデル(CCLM: Cross Component Linear Model)予測や、マルチモード線形モデル(MMLM: Multi Mode Linear Model)予測といったリニアモデル(LM: Linear Model)予測を用いてもよい。さらに、色差ではLMモードを追加してもよい。

（動画像復号装置の構成）
本実施形態に係る動画像復号装置31（図4）の構成について説明する。

動画像復号装置31は、エントロピー復号部301、パラメータ復号部（予測画像復号装置）302、ループフィルタ305、参照ピクチャメモリ306、予測パラメータメモリ307、予測画像生成部（予測画像生成装置）308、逆量子化・逆変換部311、及び加算部312、予測パラメータ導出部320を含んで構成される。なお、後述の動画像符号化装置11に合わせ、動画像復号装置31にループフィルタ305が含まれない構成もある。

また、以降では処理の単位としてCTU、CUを使用した例を記載するが、この例に限らず、サブCU単位で処理をしてもよい。あるいはCTU、CU、をブロック、サブCUをサブブロックと読み替え、ブロックあるいはサブブロック単位の処理としてもよい。

エントロピー復号部301は、外部から入力された符号化ストリームTeに対してエントロピー復号を行って、個々の符号（シンタックス要素）をパースする。エントロピー符号化には、シンタックス要素の種類や周囲の状況に応じて適応的に選択したコンテキスト（確率モデル）を用いてシンタックス要素を可変長符号化する方式と、あらかじめ定められた表、あるいは計算式を用いてシンタックス要素を可変長符号化する方式がある。前者のCABAC（Context Adaptive Binary Arithmetic Coding）は、符号化あるいは復号したピクチャ（スライス）毎に更新した確率モデルをメモリに格納する。そして、Pピクチャ、あるいはBピクチャのコンテキストの初期状態として、メモリに格納された確率モデルの中から、同じスライスタイプ、同じスライスレベルの量子化パラメータを使用したピクチャの確率モデルを設定する。この初期状態を符号化、復号処理に使用する。パースされた符号には、予測画像を生成するための予測情報および、差分画像を生成するための予測誤差などがある。

エントロピー復号部301は、変数ivlCurrRange、ivlOffset、valIdx, pStateIdx0, pStateIdx1を用いてシンタックス要素の各Binを復号してもよい。ivlCurrRange、ivlOffsetはコンテキストによらない変数である。valIdx、pStateIdx0、pStateIdx1はコンテキスト単位の変数である。

（コンテキストを用いる場合のBinの復号）
エントロピー復号部301は、コンテキストを用いる場合には以下の計算によりivlCurrRange 、ivlOffsetを得る。

qRangeIdx = ivlCurrRange >> 5
pState = pStateIdx1 + 16 * pStateIdx0
valMps = pState >> 14
ivlLpsRange = (qRangeIdx * ((valMps ? 32767 - pState : pState) >> 9) >> 1) + 4
ivlCurrRange = ivlCurrRange - ivlLpsRange
続いてエントロピー復号部301は、ivlOffset >= ivlCurrRangeの場合、以下でBinの値binVal、変数ivlOffset、ivlCurrRangeを導出する。

binVal = !valMps
ivlOffset = ivlOffset - ivlCurrRange
ivlCurrRange = ivlLpsRange
それ以外の場合、以下でbinValを得る。

binVal = valMps
さらにエントロピー復号部301は、以下の計算によりコンテキストの状態を更新する。

shift0 = (shiftIdx >> 2) + 2
shift1 = (shiftIdx & 3) + 3 + shift0
pStateIdx0 = pStateIdx0 - (pStateIdx0 >> shift0) + (1023 * binVal >> shift0)
pStateIdx1 = pStateIdx1 - (pStateIdx1 >> shift1) + (16383 * binVal >> shift1

（bypass時の場合のBinの復号）
エントロピー復号部301は、bypassの場合には以下の計算によりivlCurrRange、ivlOffsetを得る。

ivlCurrRange = ivlCurrRange << 1
ivlOffset = ivlOffset | read_bits(1)
ここでread_bits(1)はビットストリームから1bit読み、その値を返す。
続いてエントロピー復号部301は、ivlOffset >= ivlCurrRangeの場合、binVal、ivlOffsetを以下のように設定する。

binVal = 1
ivlOffset = ivlOffset - ivlCurrRange
それ以外の場合、binValを以下のように設定する。

binVal = 0
エントロピー復号部301は、bypassの場合にはコンテキストの状態を更新しない。

エントロピー復号部301は、パースしたシンタックス要素をパラメータ復号部302に出力する。どのシンタックス要素をパースするかの制御は、パラメータ復号部302の指示に基づいて行われる。

エントロピー復号部301は、例えば、図5のシンタックス表に示すシンタックス要素dimd_modeを以下のようにパースしてもよい。dimd_modeは、符号化データからDIMDの参照領域を選択するシンタックス要素である。

エントロピー復号部301は、符号化データからdimd_modeをパースする。DIMDの参照画像の位置を変更する構成において、dimd_modeは、DIMD_MODE_TOP_LEFTのモード、DIMD_MODE_TOPのモード、DIMD_MODE_LEFTのモードであり各々0、1、2であってもよい。

図6(a)はdimd_modeのバイナリゼーションの例を示す図である。binIdxはビットの位置を示す変数、Bin0(binIdx==0)、シンタックス要素のBin1(binIdx==1)は先頭ビットと次のビットを指す。

Bin0 DIMD_MODE_TOP_LEFTとそれ以外を選択するフラグ。0の場合、DIMD_MODE_TOP_LEFTであることを示し、1の場合、DIMD_MODE_TOP_LEFTモードでないことを示す。

Bin1 DIMD_MODE_TOPとDIMD_MODE_LEFTを選択するフラグ。0の場合、DIMD_MODE_TOPであることを示し、1の場合、DIMD_MODE_LEFTであることを示す。
なお、Bin0、Bin1で一つのシンタックス要素を構成するのではなく、Bin0、Bin1に各々シンタックス要素を割り当て、dimd_modeの代わりに２つのシンタックス要素をパースしてもよい。ここでは、Bin0に割り当てられたシンタックス要素をdimd_mode_flag、Bin1に割り当てられたシンタックス要素をdimd_mode_dirと呼ぶ（例えば図7）。この場合、エントロピー復号部301は、dimd_mode_flag、dimd_mode_dirからdimd_modeを以下の式で導出してもよい。dimd_mode_flag==0の場合、dimd_mode_dirを復号せず、0に設定する。

dimd_mode = ((dimd_mode_flag == 0) ? 0 : 1) + dimd_mode_dir
この例では、DIMD_MODE_TOP_LEFTに1bit(例えば”0”)、DIMD_MODE_TOPとDIMD_MODE_LEFTでは”1”の次にさらに1bitを割り当てる。dimd_modeのバイナリゼーションにおいて、選択率の高い左と上を使う場合、左を使う場合と上を使う場合よりも短いビットを割り当てることにより平均符号量を短くして符号化効率を向上させる効果を奏する。

エントロピー復号部301は、符号化データからdimd_modeをパースする。図6(b)に示すようにDIMDの参照画像のライン数を変更する構成において、dimd_modeは、DIMD_LINES1モード、DIMD_LINED2であり各々0、1であってもよい。

図示しないが、dimd_modeのバイナリゼーションはBin0(binIdx==0)であってもよい。

図8はdimd_modeのシンタックス要素のパースにおけるコンテキスト（ctxInc）の設定を示す図である。コンテキストとは、CABACの確率（状態）を保持するための変数領域であり、コンテキストインデックスctxIdxの値（0, 1, 2, …）によって識別される。また常に0と1が等確率つまり0.5, 0.5の場合をEP（Equal Probability）もしくはbypassと呼ぶ。この場合は特定のシンタックス要素に対して状態を保持する必要がないのでコンテキストを用いない。ctxIdxはctxIncを参照して導出される。

図8(a)に示すように、エントロピー復号部301は、先頭のBin0の復号に対してコンテキストを用い(ctxInc=0)、Bin1に対してbypassを用いてシンタックス要素dimd_modeをパースしてもよい。Bin0はDIMD_MODE_TOP_LEFTか否かを示すシンタックス要素、Bin1はDIMD_MODE_LEFTかDIMD_MODE_TOPか否かを示すシンタックス要素である。Bypassはコンテキストを用いないパース方法である。dimd_modeは、符号化データからDIMDの参照領域を選択するシンタックス要素である。上記構成によれば、DIMD_MODE_LEFTとDIMD_MODE_TOPとの選択にコンテキストを用いないため、メモリを低減できる効果を奏する。

図8(b)に示すように、エントロピー復号部301は、先頭のBin0の復号に対してコンテキストを用い(ctxInc=0)、Bin1に対して別のコンテキスト(ctxInc=1)を用いて、符号化データからdimd_modeをパースしてもよい。上記構成によれば、全ての方向に対してコンテキストを用いるために適応的に符号化することが可能であり性能が向上する効果を奏する。

図8(c)に示すように、エントロピー復号部301は、対象ブロックの形状に応じて、Bin1に対して別のコンテキスト(ctxInc=1,2,3)を用いて符号化データからdimd_modeをパースしてもよい。例えば以下のように対象ブロックの幅bWと高さbHが等しい場合、横長の場合、縦長の場合に別のコンテキストの値を割り当ててもよい。

ctxInc = ( bW == bH ) ? 1 : ( bW < bH ) ? 2 : 3
なお式および値は上記に限定されず、判定の順序や値を変更してもよい。例えば以下であってもよい。

ctxIdx = ( bW > bH ) ? 1 : ( bW < bH ) ? 2 : 3
上記構成によれば、ブロックの形状によって、例えば横長と縦長で、異なるコンテキストを用いるために適応的に符号化することが可能であり、性能が向上する効果を奏する。

図8(d)に示すように、エントロピー復号部301は、対象ブロックの形状に応じて、Bin1に対して別のコンテキスト(ctxInc=1,2)を用いて符号化データからdimd_modeをパースしてもよい。ブロックの形状が正方形の場合にはbypassを用いて、dimd_modeをパースしてもよい。

ctxIdx = ( bW == bH ) ? bypass : ( bW < bH ) ? 1 : 2
なお式および値は上記に限定されず、判定の順序や値を変更してもよい。例えば
ctxIdx = ( bW > bH ) ? 1 : ( bW < bH ) ? 2 : bypass
DIMDモード（dimd_mode）は、第１ビットと第２ビットから構成され、第１ビットはDIMDの参照領域が対象ブロックの上と左の双方かどうか、第２ビットはDIMDの参照領域が対象ブロックの左もしくは上かどうかを選択肢として、上記隣接領域を選択してもよい。

図8(e)に示すように、エントロピー復号部301は、対象ブロックの形状に応じて、Bin1に対して別のコンテキスト(ctxInc=1,2)を用いて符号化データからdimd_modeをパースしてもよい。ブロックの形状が正方形の場合には所定のコンテキスト（例えば1）、それ以外の場合に別のコンテキスト(例えば2)を用いて、dimd_modeをパースしてもよい。

ctxIdx = ( bW == bH ) ? 1 : 2
このとき、正方形ではない場合には、bW > bHであるのか、bH < bWに応じてBin1のバイナリの値をスワップ（1を0に、0を1にする。たとえば1 - Bin1）した値を使いdimd_modeを復号する。つまり以下のようにdimd_modeを導出する。

dimd_mode = ((Bin0 == 0) ? 0 : 1) + ((bW >= bH) ? Bin1 : 1-Bin1)
上述の２つのシンタックスを用いる場合には以下のようにdimd_modeを導出する。

dimd_mode = ((dimd_mode_flag == 0) ? 0 : 1) + ((bW >= bH) ? dimd_mode_dir : 1- dimd_mode_dir)
なお、上述のbW >= bHは、bW > bHもしくはbW <= bHもしくはbW < bHとしてもよい。

上記構成によれば、対象ブロックの形状によって、例えば対象ブロックが正方形か否か（もしくは／かつ横長か縦長か）で異なるコンテキストを用いるため、ブロックの特徴に合わせて適応的に短い符号で符号化することが可能であり、性能が向上する。また例えば正方形の場合に同時にコンテキストを用いない場合はメモリを低減する効果を奏する。

なお、エントロピー復号部301は、ブロックの左参照位置(xC - refIdxW - 1, yC)、上参照位置(xC, yC - refIdxH - 1)が画面端、タイルの端、スライスの端など隣接領域が参照できない場合には、dimd_modeの復号を省略し、dimd_mode=DIMD_MODE_TOP_LEFTと設定してもよい。なおxC, yCはブロック左上位置、refIdxW, refIdxHはDIMD予測の参照領域のライン数に係る変数である。

別の構成として、ブロックの上隣接領域のみが利用できる場合はdimd_mode=DIMD_MODE_TOPとし、左隣接領域のみが利用できる場合はdimd_mode=DIMD_MODE_LEFTとしてもよい。

パラメータ復号部302は、エントロピー復号部301にどのシンタックス要素をパースするかを通知する。また、エントロピー復号部301がパースしたシンタックス要素を予測パラメータ導出部320に出力する。

（予測パラメータ導出部320の構成）
予測パラメータ導出部320は、パラメータ復号部302から入力されたシンタックス要素に基づいて、予測パラメータメモリ307に記憶された予測パラメータを参照して予測パラメータ、例えば、イントラ予測モードIntraPredModeを導出する。予測パラメータ導出部320は、導出した予測パラメータを予測画像生成部308に出力し、また予測パラメータメモリ307に記憶する。予測パラメータ導出部320は、輝度と色差で異なる予測モードを導出してもよい。

予測パラメータ導出部320は、図5に示すようなイントラ予測に関するシンタックス要素から予測パラメータを導出してもよい。

ループフィルタ305は、符号化ループ内に設けたフィルタで、ブロック歪やリンギング歪を除去し、画質を改善するフィルタである。ループフィルタ305は、加算部312が生成したCUの復号画像に対し、デブロッキングフィルタ、サンプル適応オフセット（SAO）、適応ループフィルタ（ALF）等のフィルタを施す。

参照ピクチャメモリ306は、加算部312が生成したCUの復号画像を、対象ピクチャ及び対象CU毎に予め定めた位置に記憶する。

予測パラメータメモリ307は、復号対象のCTUあるいはCU毎に予め定めた位置に予測パラメータを記憶する。具体的には、予測パラメータメモリ307は、パラメータ復号部302が復号したパラメータ及び予測パラメータ導出部320が導出した予測モードpredMode等を記憶する。

予測画像生成部308には、予測モードpredMode、予測パラメータ等が入力される。また、予測画像生成部308は、参照ピクチャメモリ306から参照ピクチャを読み出す。予測画像生成部308は、予測パラメータと読み出した参照ピクチャ（参照ピクチャブロック）を用いてブロックもしくはサブブロックの予測画像を生成する。ここで、参照ピクチャブロックとは、参照ピクチャ上の画素の集合（通常矩形であるのでブロックと呼ぶ）であり、予測画像を生成するために参照する領域である。

予測モードpredModeがイントラ予測モード(IntraPredMode)を示す場合、予測画像生成部310は、予測パラメータ導出部320から入力されたイントラ予測パラメータと参照ピクチャメモリ306から読み出した参照画素を用いてイントラ予測を行う。

具体的には、予測画像生成部308は、対象ピクチャ上の、対象ブロックから予め定めた範囲にある隣接ブロックを参照ピクチャメモリ306から読み出す。予め定めた範囲とは、対象ブロックの左、左上、上、右上の隣接ブロックであり、イントラ予測モードによって参照する領域は異なる。

予測画像生成部308は、読み出した復号画素値とIntraPredModeが示す予測モードを参照して、対象ブロックの予測画像を生成する。予測画像生成部308は生成したブロックの予測画像を加算部312に出力する。

イントラ予測モードに基づく予測画像の生成について以下で説明する。Planar予測、DC予測、Angular予測では、予測対象ブロックに隣接（近接）する復号済みの周辺領域を参照領域Ｒとして設定する。そして、参照領域Ｒ上の画素を特定の方向に外挿することで予測画像を生成する。例えば、参照領域Ｒは、予測対象ブロックの左と上（あるいは、さらに、左上、右上、左下）を含むＬ字型の領域として設定してもよい。

（予測画像生成部の詳細）
次に、図9を用いて予測画像生成部308の構成の詳細を説明する。予測画像生成部308は、参照サンプルフィルタ部3103（第２の参照画像設定部）、予測部3104、および、予測画像補正部3105（予測画像補正部、フィルタ切替部、重み係数変更部）を備える。

参照領域Ｒ上の各参照画素（参照画像）、参照画素フィルタ（第１のフィルタ）を適用して生成したフィルタ済参照画像、イントラ予測モードに基づいて、予測部3104は予測対象ブロックの予測画像（仮予測画像、補正前予測画像）を生成し、予測画像補正部3105に出力する。予測画像補正部3105は、イントラ予測モードに応じて仮予測画像を修正し、予測画像（補正済予測画像）を生成し、出力する。

以下、予測画像生成部308が備える各部について説明する。

（参照サンプルフィルタ部3103）
参照サンプルフィルタ部3103は、参照画像を参照して参照領域Ｒ上の各位置(x,y)の参照サンプルs[x][y]を導出する。また、参照サンプルフィルタ部3103は、イントラ予測モードに応じて、参照サンプルs[x][y]に参照画素フィルタ（第１のフィルタ）を適用して、参照領域Ｒ上の各位置(x,y)の参照サンプルs[x][y]を更新する（フィルタ済参照画像s[x][y]を導出する）。具体的には、位置(x,y)とその周辺の参照画像にローパスフィルタを適用し、フィルタ済参照画像を導出する。なお、必ずしも全イントラ予測モードにローパスフィルタを適用する必要はなく、一部のイントラ予測モードに対してローパスフィルタを適用してもよい。なお、参照サンプルフィルタ部3103において参照領域Ｒ上の参照画像に適用するフィルタを「参照画素フィルタ（第１のフィルタ）」と呼称するのに対し、後述の予測画像補正部3105において仮予測画像を補正するフィルタを「ポジション依存フィルタ（第２のフィルタ）」と呼称する。

（イントラ予測部3104の構成）
イントラ予測部3104は、イントラ予測モードと、参照画像、フィルタ済参照画素値に基づいて予測対象ブロックの仮予測画像（仮予測画素値、補正前予測画像）を生成し、予測画像補正部3105に出力する。予測部3104は、内部にPlanar予測部31041、DC予測部31042、Angular予測部31043、LM予測部31044、MIP（Matrix-based Intra Prediction）部31045、DIMD予測部31046(Decoder-side Intra Mode Derivation, DIMD)を備えている。予測部3104は、イントラ予測モードに応じて特定の予測部を選択して、参照画像、フィルタ済参照画像を入力する。イントラ予測モードと対応する予測部との関係は次の通りである。
・Planar予測・・・・Planar予測部31041
・DC予測・・・・DC予測部31042
・Angular予測・・・・Angular予測部31043
・LM予測・・・・LM予測部31044
・行列イントラ予測・・MIP部31045
・DIMD予測・・・・・・DIMD予測部3104

（Planar予測）
Planar予測部31041は、予測対象画素位置と参照画素位置との距離に応じて参照サンプルs[x][y]を線形加算して仮予測画像を生成し、予測画像補正部3105に出力する。

（DC予測）
DC予測部31042は、参照サンプルs[x][y]の平均値に相当するDC予測値を導出し、DC予測値を画素値とする仮予測画像q[x][y]を出力する。

（Angular予測）
Angular予測部31043は、イントラ予測モードの示す予測方向（参照方向）の参照サンプルs[x][y]を用いて仮予測画像q[x][y]を生成し、予測画像補正部3105に出力する。

（LM予測）
LM予測部31044は、輝度の画素値に基づいて色差の画素値を予測する。具体的には、復号した輝度画像をもとに、線形モデルを用いて、色差画像（Cb、Cr）の予測画像を生成する方式である。LM予測の１つとして、CCLM（Cross-Component Linear Model prediction）予測がある。CCLM予測は、１つのブロックに対し、輝度から色差を予測するための線形モデルを使用する予測方式である。

（行列イントラ予測）
MIP部31045は、隣接領域から導出した参照サンプルs[x][y]と重み行列の積和演算により仮予測画像q[x][y]を生成し、予測画像補正部3105に出力する。

（DIMD予測）
DIMD予測部31046は、明示的にシグナルされないイントラ予測モードを用いて予測画像を生成する予測方式である。角度モード導出装置310465において、隣接領域の情報を用いて対象ブロックに適したイントラ予測モードを導出し、DIMD予測部31046はこのイントラ予測モードを用いて仮予測画像を生成する。詳細については後述する。

（予測画像補正部3105の構成）
予測画像補正部3105は、イントラ予測モードに応じて、予測部3104から出力された仮予測画像を修正する。具体的には、予測画像補正部3105は、仮予測画像の各画素に対し、参照領域Ｒと対象予測画素の位置に応じて、ポジションに依存した重み係数を導出する。そして、参照サンプルs[][]と仮予測画像q[x][y]を重み付け加算（加重平均）することで、仮予測画像を修正した予測画像(補正済予測画像)Pred[][]を導出する。なお、一部のイントラ予測モードでは、予測画像補正部3105で仮予測画像q[x][y]を補正せずに予測画像としてセットしてもよい。

（実施例１）
図10は、本実施形態におけるDIMD予測部31046の構成を示している。DIMD予測部31046は、参照サンプル導出部310460、角度モード導出装置310465（勾配導出部310461、角度モード導出部310462）と、角度モード選択部310463、仮予測画像生成部310464から構成される。角度モード導出装置310465は角度モード選択部310463を含んでもよい。

図5は、DIMDに関する符号化データのシンタックス例を示している。予測パラメータ導出部320は、符号化データからブロック毎にDIMDを用いるかどうかを示すフラグdimd_flagを復号する。対象ブロックのdimd_flagが1の場合、パラメータ復号部302は、イントラ予測モードに関するシンタックス要素（intra_mip_flag、intra_luma_mpm_flag、intra_luma_mpm_idx、intra_luma_mpm_reminder）を符号化データから復号しなくてもよい。intra_mip_flagはMIP予測を行うか否かを示すフラグである。intra_luma_mpm_flagは予測候補Most Probable Mode(MPM)を利用するか否かを示すフラグである。intra_luma_mpm_idxはMPMを利用する場合にMPMを指定するインデックスである。intra_luma_mpm_reminderはMPMを利用しない場合に残り候補を選択するインデックスである。dimd_flagが0の場合、intra_luma_mpm_flagを復号し、intra_luma_mpm_flagが0の場合さらにintra_luma_mpm_reminderを復号する。対象ブロックのdimd_flagが1の場合、さらに対象ブロックのdimd_modeを復号する。dimd_modeは、DIMD予測でのイントラ予測モード導出に用いる参照領域を示す。dimd_modeの意味は以下であってもよい。

dimd_mode = 0 DIMD_MODE_TOP_LEFT（上と左を使う）
dimd_mode = 2 DIMD_MODE_LEFT（左を使う）
dimd_mode = 3 DIMD_MODE_TOP（上を使う）
dimd_flagが1の場合、DIMD予測部31046は、隣接領域におけるテクスチャ方向を示す角度を、画素値を用いて導出する。そして、その角度に対応するイントラ予測モードを用いて仮予測画像を生成する。例えば、(1)隣接領域内の所定の位置の画素について画素値の勾配方向を導出する。(2)導出された勾配方向を、対応する方向予測モード(Angular予測モード)に変換する。(3)隣接領域内の所定の画素毎に、それぞれ得られた予測方向のヒストグラムを作成する。(4)前記ヒストグラムから最頻値の予測モードまたは最頻値を含む複数の予測モードを選択し、当該予測モードを用いて仮予測画像を生成する。以下では図10に示したDIMD予測部31046の各部における処理について、より詳細に説明する。

（１）参照サンプル導出部
参照サンプル導出部310460は、対象ブロックに隣接する既復号画素recSamplesから、参照サンプルrefUnitを導出する。なお、参照サンプル導出部310460の動作を参照サンプルフィルタ部3103が行う構成であってもよい。

図11は、DIMD予測部31046の参照する参照領域の例を示す図である。参照サンプル導出部310460は、後述の勾配導出部310461及び予測画像生成部308で用いる対象ブロックの隣接画像（DIMD参照領域の画像）recSamplesをサンプル配列refUnitに格納する。

（モードに応じた参照領域の構成例１）
dimd_mode == DIMD_MODE_TOP_LEFTの場合、参照サンプル導出部310460は、対象ブロックの左と上の領域から以下のようにサンプル配列refUnitを導出する。

まず対象ブロックの左の領域RL上の位置(x, y)（以下単にRL）において、以下の処理を行う。

refUnit[x][y] = recSamples[xC+x][yC+y]
ここでRLは、x=-1-refIdxW..-1, y=-1-refIdxH..refH-1。
(xC,yC)は対象ブロックの左上座標であり、refIdxW、refIdxHは左に隣接する参照領域の幅と上に隣接する参照領域の高さを示す定数である。refIdxW = 2 or 3としてもよいし、refIdxH = 2 or 3にしてもよい。さらに、それぞれをブロックサイズに応じて変えてもよい（以下同様）。対象ブロックの上側の領域の画素が利用できない場合、RLのy座標の範囲は、y=0..refH-1とする。

refW,refHは、DIMD参照領域の幅と高さを示し対象ブロックのサイズと同じ場合にはrefW = bW、refH = bHとし、拡張する場合にはrefW = bW*2、refH = bH*2とする（以下同様）。なお拡張する場合とは左に加えて左下の隣接領域を含めた隣接画像を用いること、上に加えて右上の隣接領域を含めた隣接画像を用いること、をここでは指す。
続いて、対象ブロックの上の領域の画素の範囲のRTにおいて以下の処理を行う。

refUnit[x][y] = recSamples[xC+x][yC+y]
ここでRTは、x=-1-refIdxW..refW-1, y=-1-refIdxH..-1。対象ブロックの左側の領域の画素が利用できない場合、RTのx座標の範囲は、x=0..refW-1とする。RTLはRLとRTを合わせた領域である。

dimd_mode == DIMD_MODE_LEFTの場合、参照サンプル導出部310460は、対象ブロックの左の領域、例えば上記RLからrefUnitを導出する。

dimd_mode == DIMD_MODE_TOPの場合、参照サンプル導出部310460は、対象ブロックの上の領域、例えば上記RTからrefUnitを導出する。

（モードに応じた参照領域の構成例２）
なお、参照サンプル導出部310460は、下記のような処理を行ってもよい。

dimd_mode == DIMD_MODE_TOP_LEFTもしくはdimd_mode == DIMD_MODE_LEFTの場合、参照サンプル導出部310460は、対象ブロックの左の領域、例えば上記RLからrefUnitを導出する。

さらに続けてdimd_mode == DIMD_MODE_TOP_LEFTもしくはdimd_mode == DIMD_MODE_TOPの場合、参照サンプル導出部310460は、対象ブロックの上の領域、例えば上記RTからrefUnitを導出する。

（モードに応じた参照領域の構成例３：dimd_modeに応じて拡張領域を利用する例）
図11(b)は、DIMD予測の勾配導出における参照範囲の別の例を示す。この例ではdimd_mode == DIMD_MODE_LEFTの場合に、左に加えて左下の隣接領域を含めた拡張領域を用い、dimd_mode == DIMD_MODE_TOPの場合に、上に加えて右上の隣接領域を含めた拡張領域を用い、dimd_mode == DIMD_MODE_TOP_LEFTの場合には拡張せずに左と上の領域を用いる。

例えば、参照サンプル導出部310460は、下記のような処理を行ってもよい。

dimd_mode == DIMD_MODE_TOP_LEFTの場合、参照サンプル導出部310460は、対象ブロックの左と上の領域から以下のようにサンプル配列refUnitを導出する。
まず対象ブロックの左の領域の画素の範囲のRLにおいて以下の処理を行う。

refUnit[x][y] = recSamples[xC+x][yC+y]
ここでRLは、x=-1-refIdxW..-1, y=-1-refIdxH..refH-1、refW = bW、refH = bH。
続いて、対象ブロックの上の領域の画素の範囲のRTにおいて以下の処理を行う。

refUnit[x][y] = recSamples[xC+x][yC+y]
ここでRTは、x=-1-refIdxW..refW-1, y=-1-refIdxH..-1、refW = bW、refH = bH。RTLはRLとRTを合わせた領域（位置の範囲）である。

dimd_mode == DIMD_MODE_LEFTの場合、参照サンプル導出部310460は、対象ブロックの左と左下の領域、例えばRL_EXTからrefUnitを導出する。
RL_EXTは、x=-1-refIdxW..-1, y=-1-refIdxH..refH2-1、refH2 = bH*2。対象ブロックの上の領域の画素が利用できない場合は、y=0..refH2-1とする。

dimd_mode == DIMD_MODE_TOPの場合、参照サンプル導出部310460は、対象ブロックの上の領域、例えばRT_EXTからrefUnitを導出する。
RT_EXTは、x=-1-refIdxW..refW2-1, y=-1-refIdxH..-1、refW2 = bW*2。対象ブロックの左の領域の画素が利用できない場合は、x=0..refW2-1とする。

（モードに応じた参照領域の構成例４：dimd_modeに応じて拡張領域を利用する例２）
なお、参照サンプル導出部310460は、下記のような処理を行ってもよい。

dimd_mode == DIMD_MODE_TOP_LEFTもしくはdimd_mode == DIMD_MODE_LEFTの場合、参照サンプル導出部310460は、対象ブロックの左と左下の領域、例えばRL_ADAPからrefUnitを導出する。
RL_ADAPは、x=-1-refIdxW..-1, y=-1-refIdxH..refH-1、refH = (dimd_mode == DIMD_MODE_TOP_LEFT) ? bH : bH*2。DIMD_MODE_LEFTで対象ブロックの上の領域の画素が利用できない場合は、y=0..refH-1とする。

さらに続けてdimd_mode == DIMD_MODE_TOP_LEFTもしくはdimd_mode == DIMD_MODE_TOPの場合、参照サンプル導出部310460は、対象ブロックの上と右上の領域、例えばRT_ADAPからrefUnitを導出する。
RT_ADAPは、x=-1-refIdxW..refW-1, y=-1-refIdxH..-1、refW = (dimd_mode == DIMD_MODE_TOP_LEFT) ? bW : bW*2。DIMD_MODE_TOPで対象ブロックの左の領域の画素が利用できない場合は、x=0..refW-1とする。

続いて、参照サンプル導出部310460は、refUnit[x][y]に応じて対象ピクチャ外や対象サブピクチャ外、対象スライス境界の外などで参照できなかった領域の値を、上記で導出された画素の値もしくは所定の固定値例えば1<<(bitDepth-1)で置き換えてもよい。

（モードに応じた構成例５）
図12(a)は、DIMD予測の勾配導出における参照範囲の別の例を示す。この例ではdimd_linesに応じて参照領域のライン数を変更する。例えば、dimd_mode == DIMD_LINES1の場合、Mラインを参照し、dimd_mode == DIMD_LINES2の場合、Mより大きいNラインを参照する。たとえばM=3, N=4。

参照サンプル導出部310460は、dimd_modeに応じて参照ライン数refIdxW, refIdxHを設定する。
refIdxW = (dimd_mode == DIMD_LINES1) ? M-1 : N-1
refIdxH = (dimd_mode == DIMD_LINES1) ? M-1 : N-1
参照サンプル導出部310460は、対象ブロックの左と上の領域から以下のようにサンプル配列refUnitを導出する。

まず対象ブロックの左の領域の画素の範囲のRLにおいて以下の処理を行う。

refUnit[x][y] = recSamples[xC+x][yC+y]
ここでRLは、x=-1-refIdxW..-1, y=-1-refIdxH..refH-1、refW = bW、refH = bH。対象ブロックの上の領域の画素が利用できない場合は、y=0..refH-1とする。

続いて、対象ブロックの上の領域の画素の範囲のRTにおいて以下の処理を行う。

refUnit[x][y] = recSamples[xC+x][yC+y]
ここでRTは、x=-1-refIdxW..refW-1, y=-1-refIdxH..-1、refW = bW、refH = bH。対象ブロックの左の領域の画素が利用できない場合は、x=0..refW-1とする。

さらにブロックサイズに応じて選択してもよい。

（ブロックサイズに応じた構成例１）
参照サンプル導出部310460は、ブロックサイズに応じて参照ライン数refIdxW, refIdxHを設定する。
refIdxW = (bW >= 8 || bH >=8) ? N-1 : M-1
refIdxH = (bW >= 8 || bH >=8) ? N-1 : M-1
さらに参照サンプル導出部310460は、対象ブロックの左の領域のRL、上の領域のRTのrecSamples[xC+x][yC+y]からrefUnit[x][y]を導出する。

（モードに応じた構成例６）
図12(b)は、DIMD予測の勾配導出における参照範囲の別の例を示す。この例ではdimd modeに応じて、参照領域の方向を選択するのと同時に、参照領域のライン数も選択する。

参照サンプル導出部310460は、dimd_modeが左と上を参照する場合、参照ライン数をM、それ以外の場合参照ライン数をN（M<N）となるように導出する。たとえばM=3, N=4。
refIdxW = (dimd_mode == DIMD_MODE_TOP_LEFT) ? M-1 : N-1
refIdxH = (dimd_mode == DIMD_MODE_TOP_LEFT) ? M-1 : N-1
M=3, N=4以外の値、M=3, N=5でもよい。

dimd_mode == DIMD_MODE_TOP_LEFTの場合、参照サンプル導出部310460は、左の領域RL、上の領域RTのrecSamples[xC+x][yC+y]からrefUnit[x][y]を導出する。

dimd_mode == DIMD_MODE_LEFTの場合、参照サンプル導出部310460は、対象ブロックの左の領域、例えばRLのrecSamples[xC+x][yC+y]からrefUnit[x][y]を導出する。

dimd_mode == DIMD_MODE_TOPの場合、参照サンプル導出部310460は、対象ブロックの上の領域、例えばRTのrecSamples[xC+x][yC+y]からrefUnit[x][y]を導出する

（１）勾配導出部
勾配導出部310461は、勾配導出対象画像の画素値に基づいてテクスチャ方向を示す角度（角度情報）を導出する。角度情報は、1/36精度の角度を表す値であってもよいし、他の値でもよい。勾配導出部310461は、2つ以上の特定方向の勾配（例えばDx,Dy）を導出し、勾配Dx,Dyの関係から勾配の方向（角度情報）を導出する。

勾配の導出には、空間フィルタを用いてもよい。空間フィルタには、例えば図13(a)および(b)に示すような、水平方向および垂直方向に対応する3x3画素Sobelフィルタを用いてもよい。勾配導出部310461は、勾配導出対象画像における上記参照サンプル導出部310460で参照、導出したサンプル配列refUnit[x][y]の内部の点P[x][y]（以下単にP）について勾配を導出する。なおrecSamplesからサンプル配列refUnit[x][y]にコピーせず、refUnit[x][y]の代わりにrecSamples[xC+x][yC+y]を点Pとして参照する構成も可能である。

図14は、8x8画素の対象ブロックにおいて、勾配導出対象画素の位置の例を示している。角度モード導出装置310465をイントラ予測に用いる場合、対象ブロックの隣接領域にある網掛けの画像が勾配導出対象画像であってもよい。また、勾配導出対象画像は、対象ブロックの色差画像に対応する輝度画像であってもよい。このように、対象ブロックのサイズや隣接領域に含まれるブロックのイントラ予測モード等の情報によって、勾配導出対象画素の個数、位置のパターン、空間フィルタの参照範囲を変更してもよい。

具体的には、勾配導出部310461は、各点Pについて次式のように水平方向と垂直方向の勾配Dx,Dyを導出する。
Dx = P[x-1][y-1] + 2*P[x-1][y] + P[x-1][y+1] - P[x+1][y-1] - 2*P[x+1][y] - P[x+1][y+1]
Dy = - P[x-1][y-1] - 2*P[x][y-1] - P[x+1][y-1] + P[x-1][y+1] + 2*P[x][y+1] + P[x+1][y+1]
図13(a)および(b)のフィルタを左右または上下に反転した、図13(c)および(d)のフィルタを用いてもよい。その場合は次式を用いてDxおよびDyを導出する。
Dx = - P[x-1][y-1] - 2*P[x-1][y] - P[x-1][y+1] + P[x+1][y-1] + 2*P[x+1][y] + P[x+1][y+1]
Dy = P[x-1][y-1] + 2*P[x][y-1] + P[x+1][y-1] - P[x-1][y+1] - 2*P[x][y+1] - P[x+1][y+1]
勾配の導出方法はこれに限らず、他の方法（フィルタ、計算式、テーブル等）を用いてもよい。例えば、Sobelフィルタの代わりにPrewittフィルタやScharrフィルタなどを用いてもよいし、フィルタサイズを2x2や5x5にしてもよい。勾配導出部310461はPrewittフィルタを用いてDx,Dyを次のように導出する。
Dx = P[x-1][y-1] + P[x-1][y] + P[x-1][y+1] - P[x+1][y-1] - P[x+1][y] - P[x+1][y1]
Dy = - P[x-1][y-1] - P[x][y-1] - P[x+1][y-1] + P[x-1][y+1] + P[x][y+1] + P[x+1][y+1]
次式は、Scharrフィルタを用いてDx,Dyを導出する例である。
Dx = 3*P[x-1][y-1]+10*P[x-1][y]+3*P[x-1][1] -3*P[x+1][y-1]-10*P[x+1][0]-3*P[x+1][y+1]
Dy = -3*P[x-1][y-1]-10*P[x][y-1]-3*P[x+1][-1] +3*P[x-1][y+1]+10*P[x][1]+3*P[x+1][y+1]
勾配の導出方法は、ブロック毎に変更してもよい。例えば、4x4画素の対象ブロックに対してはSobelフィルタを用い、4x4より大きなブロックに対してはScharrフィルタを使う。このように小ブロックでは演算のより簡単なフィルタを用いることで、小ブロックにおける計算量の増加を抑制することができる。

勾配の導出方法は、勾配導出対象画素の位置毎に変更してもよい。例えば、上または左の隣接領域内にある勾配導出対象画素についてはSobelフィルタを用い、左上の隣接領域内にある勾配導出対称画素についてはScharrフィルタを使う。

勾配導出部310461は、Dx,Dyの符号と大小関係に基づいて、対象ブロックのテクスチャの角度の象限（quadrant、以下領域（region)と記す)と象限内の角度(angle)からなる角度情報を導出する。領域で表現できることにより回転対称や線対称の関係にある方向の処理を共通化することが可能になる。ただし角度情報は領域と象限内の角度に限らない。例えば角度情報は角度のみの情報とし、領域は必要に応じて導出してもよい。また、本実施形態では、以下で導出されるイントラ方向予測モードは左下から右上までの方向（図３の2～66）に限定し、180度回転対称の方向のイントラ方向予測モードはこれと同一に扱う。

図15(a)は、Dx,Dyの符号(signx, signy)、大小関係(xgty)、および、領域region(Ra～Rdの各々は領域を表す定数)の関係を示すテーブルである。図15(b)は、領域Ra～Rdの示す象限を示している。勾配導出部310461はsignx, signy, xgtyを次のように導出する。
absx = abs(Dx)
absy = abs(Dy)
signx = Dx < 0 ? 1 : 0
signy = Dy < 0 ? 1 : 0
xgty = absx > absy ? 1 : 0
ここで、不等号（>、<）は等号つき不等号（>=、<=）であっても構わない。領域は大まかな角度を示し、Dx,Dyの符号signx, signyと大小関係xgtyだけから導出できる。

勾配導出部310461は、符号signx, signyと大小関係xgtyから、演算やテーブル参照を用いてregionを導出する。勾配導出部310461は、図15(a)のテーブルを参照し、対応するregionを導出してもよい。

勾配導出部310461は、以下のように論理式を用いてregionを導出してもよい。
region = xgty ? ( (signx^signy) ? 1 : 0 ) : ( (signx^signy) ? 2 : 3)
ここで^はXOR（排他的論理和）を示す。regionを0から3の値で示す。{Ra,Rb,Rc,Rd} = {0,1,2,3}。なお、regionの値の割り当て方は上記に限定されない。

勾配導出部310461は、以下のように別の論理式と加算乗算を用いてregionを導出してもよい。
region = 2*(!xgty) + (signx^signy^!xgty)
ここで記号!は論理否定を意味する。

（２）角度モード導出部
角度モード導出部310462は、上記各点Pの勾配情報に基づき、角度モード（勾配に対応する予測モード、例えば、イントラ予測モード）を導出する。

図16は角度モード導出部310462の一つの構成を示すブロック図である。図16に示すように第１の勾配、第２の勾配と２つのテーブルを用いて以下のように角度モードmode_deltaを導出してもよい。

角度モード導出部310462は、角度係数導出部310466とモード変換部310467からなる。角度係数導出部310466は２つの勾配に基づき角度係数iRatio（もしくはv）を導出する。ここでは、第1の勾配の絶対値absx,第2の勾配の絶対値absyに基づいて傾きiRatio(=absy÷absx)を導出する。iRatioとしてratioを1/R_UNIT刻みで表現した整数を用いる。
iRatio = int(R_UNIT*absy/absx) ≒ ratio*R_UNIT
R_UNITは、２の指数乗(1<<shiftR)、例えば65536（shiftR=16）などを用いる。

以下にiRatioの導出方法を例示するが、この例に限らない。

s0 = xgty ? absy : absx
s1 = xgty ? absx : absy
x = Floor( Log2( s1 ) )
norm_s1 = (s1 << 4 >> x) & 15
v = gradDivTable[norm_s1] | 8
x += (norm_s1 != 0)
shift = 13 - x
if (shift < 0){
shift = -shift
add = (1 << (shift - 1))
iRatio = (s0 * v + add) >> shift
} else {
iRatio = (s0 * v) << shift
}
ここでgradDivTable = { 0, 7, 6, 5, 5, 4, 4, 3, 3, 2, 2, 1, 1, 1, 1, 0 }
あるいは、上式"| 8"（8とのOR演算）を"+8"で計算してもよい。同様に以降の説明に出てくる"|16","|32","|64"は各々"+16","+32","+64"でも計算可能である。

ある画素における第１の勾配（absxもしくはabsy）の対数値xによるシフトを用いて値norm_s1を導出する。norm_s1を用いてgradDivTableを参照して角度係数vを導出する。さらに、vと第１の勾配とは異なる第２の勾配（s0もしくはs1）の積と上記対数値xによるシフトによりidxを導出する。idxを用いて第２のテーブルLUT（LUT'）を参照して角度モードmode_deltaを導出する。

なお、idxがLUTの域数の範囲を超えないように、以下のようにクリップを行ってもよい。

idx = min((s0 * v)<< 3 >> x, N_LUT-1)
さらに、s0*vの乗算の後に所定の値KK以下にクリップしシフトすることで、例えば32bitを超えないようにすることも適当である。

s0*v = (min(s0*v, KK)<<3) >> x
KKは、例えば、(1<<(31-3))-1=268435455。

モード変換部310467は、mode_deltaを用いて、第２の角度モードmodeValを導出し出力する。
modeVal = base_mode[region] + direction[region] * mode_delta
角度モード導出部310462は、各点Pに対して得られた角度モードmodeValの値modeValのヒストグラム（頻度HistMode）を導出する。ヒストグラムは、各点PにおいてHistModeの値を１だけインクリメントすることで求めてもよい（以下、ヒストグラムでカウントする、と称す）。

HistMode[modeVal] += 1
cntMode +=

（３）角度モード選択部
角度モード選択部310463は、勾配導出対象画像に含まれる複数の点PにおけるmodeVal(modeVal)を用いて、一つ以上の角度モードの代表値dimdModeVal（dimdModeVal0、dimdModeVal1、…）を導出する。本実施形態における角度モードの代表値は対象ブロックのテクスチャパターンの方向性の推定値である。ここでは導出されたヒストグラムを用いて導出した最頻値から代表値dimdModeValを導出する。各点Pに対して得られた角度モードmodeValの値modeValのヒストグラムにおいて、第１のモードdimdModeVal0および第２のモードdimdModeVal1を、それぞれ当該頻度において最も頻度の高いモードと次に頻度の高いモードを選択することにより導出する。

さらに、HistMode[x]をxに関して走査し、HistModeの最大値を与えるxの値をdimdModeVal0、２番目に大きい値を与えるxをdimdModeVal1とする。

maxVal = 0
for (x = 0; x < cntMode; x++) {
if (HistMode[x] > maxVal) {
maxVal = HistMode[x]
dimdModeVal1 = dimdModeVal0
dimdModeVal0 = x
}
}
なお、dimdModeVal0またはdimdModeVal1の導出方法は、ヒストグラムに限らない。例えば、角度モード選択部310463は、modeValの平均値をdimdModeVal0またはdimdModelVal1に設定してもよい。

角度モード選択部310463は第３のモードとして、dimdModeVal2に所定のモード（例えば、イントラ予測モードや変換モード）を設定する。ここではdimdModeVal2=0(Planar)とするが、これに限らない。適応的に他のモードを設定してもよいし、第３のモードを用いなくてもよい。

角度モード選択部310463は、さらに、後述する仮予測画像生成部310464におけるイントラ予測のために、各角度モードの代表値に対応する重みを導出してもよい。例えば、第３のモードの重みw2=21とし、残りをヒストグラムにおける第１と第２のモードの頻度の比率に応じて、それぞれ重みw0とw1に配分する。なお、重みの合計は64とする。重みの導出はこれに限らず、第１、第２、第３のモードの重みw0,w1,w2を適応的に変化させてもよい。例えば第１のモードまたは第２のモードの番号、あるいは頻度やその比率に応じてw2を増減させてもよい。なお、角度モード選択部は、第１から第３のいずれのモードについても、当該モードを用いない場合は対応する重みの値を0と設定する。

上記角度モード選択部310463は、勾配導出対象画像の中の画素で導出された複数の角度モードから角度モード代表値を選択する角度モード選択部を備えることにより、より精度の高い角度モードが導出できる。

以上のようにして角度モード選択部310463は、勾配から推定される角度モード（角度モードの代表値）を選択し、各角度モードに対応する重みとともに出力する。

（適応的な勾配導出部310461と角度導出部310462の構成）
上述したように、本実施形態では、dimd_modeに応じて参照画像からイントラ予測モードの導出に用いる参照画像の領域を変更する。具体的には、勾配導出部310461と角度導出部310462、角度モード選択部310463の各点Pの位置をdimd_modeに応じて変更する。

勾配導出及び角度導出、ヒストグラムに用いる位置の範囲(x, y)のセットは、参照領域RL, RT, RTLの中の位置としてもよい。つまり、勾配導出の位置範囲は、3x3フィルタを適用するために、始点を1だけ大きく、終点を1だけ小さくしてもよい。つまり、DIMD予測の参照範囲がx=X0..X1, y=Y0..Y1の場合、勾配導出の配列範囲はx=X0+1..X1-1、y=Y0+1..Y1-1であってもよい。なお、RL, RT, RTLに対応する勾配導出の(x, y)の位置範囲をRDL, RDT, RDTLと称する。

（モードに応じた参照領域の構成例１）
図17(a)は、DIMD予測の勾配導出における参照範囲の例を示す。dimd_mode == DIMD_MODE_TOP_LEFTの場合、角度モード導出装置310465は、対象ブロックの左の領域RDLの各点PからDx, Dyを導出し、modeValを導出しヒストグラムでカウントする。
RDLは、x=-refIdxW..-2, y=-refIedxH..refH-2。
続いて、対象ブロックの上の領域の画素の範囲のRDTの各点PからDx, Dyを導出し、modeValを導出しヒストグラムでカウントする。
RDTは、x=-refIdxW..refW-2, y=-refIdxH..-2。RDTLはRDLとRDTを合わせた領域である。

dimd_mode == DIMD_MODE_LEFTの場合、勾配導出部310461、角度モード導出部310462（以下、角度モード導出装置310465）は、対象ブロックの左の領域、例えば上記RDLからDx, Dyを導出し、modeValを導出しヒストグラムでカウントする。

dimd_mode == DIMD_MODE_TOPの場合、角度モード導出装置310465は、対象ブロックの上の領域、例えば上記RDTからDx, Dyを導出し、modeValを導出しヒストグラムでカウントする。

（モードに応じた参照領域の構成例２）
なお、角度モード導出装置310465は、下記のような処理を行ってもよい。

dimd_mode == DIMD_MODE_TOP_LEFTもしくはdimd_mode == DIMD_MODE_LEFTの場合、角度モード導出装置310465は、対象ブロックの左の領域、例えば上記RDLからDx, Dyを導出し、modeValを導出しヒストグラムでカウントする。

さらにdimd_mode == DIMD_MODE_TOP_LEFTもしくはdimd_mode == DIMD_MODE_TOPの場合、角度モード導出装置310465は、対象ブロックの上の領域、例えば上記RDTからDx, Dyを導出し、modeValを導出しヒストグラムでカウントする。

（モードに応じた参照領域の構成例３：dimd_modeに応じて拡張領域を利用する例）
図17(b)は、DIMD予測の勾配導出における参照範囲の別の例を示す。この例ではdimd_mode == DIMD_MODE_LEFTの場合に、左に加えて左下の隣接領域を含めた拡張領域を用いる。また、dimd_mode == DIMD_MODE_TOPの場合に、上に加えて右上の隣接領域を含めた拡張領域を用いる。dimd_mode == DIMD_MODE_TOP_LEFTの場合には拡張せずに左と上の領域を用いる。

例えば、角度モード導出装置310465は、下記のような処理を行ってもよい。

dimd_mode == DIMD_MODE_TOP_LEFTの場合、参照サンプル導出部310460は、対象ブロックの左と左下の領域からDx, Dyを導出し、modeValを導出しヒストグラムでカウントする。
まず対象ブロックの左の領域RDLの位置(x, y)の点PにおいてDx, Dyを導出し、modeValを導出しヒストグラムでカウントする。
ここでRDLは、x=-refIdxW..-2, y=-refIdxH..refH-2、refW = bW、refH = bH。
続いて、対象ブロックの上の領域RDTの位置(x, y)の点PにおいてDx, Dyを導出し、modeValを導出しヒストグラムでカウントする。
ここでRDTは、x=-refIdxW..refW-2, y=-refIdxH..-2、refW = bW、refH = bH。RDTLはRDLとRDTを合わせた領域である。

dimd_mode == DIMD_MODE_LEFTの場合、角度モード導出装置310465は、対象ブロックの左と左下の領域、例えばRDL_EXTからDx, Dyを導出し、modeValを導出しヒストグラムでカウントする。
RDL_EXTは、x=-refIdxW..-2, y=-refIdxH..refH2-2、refH2 = bH*2。
対象ブロックの上の領域の画素が利用できない場合は、y=1..refH2-2とする。

dimd_mode == DIMD_MODE_TOPの場合、角度モード導出装置310465は、対象ブロックの上の領域、例えば上記RDT_EXTからDx, Dyを導出し、modeValを導出しヒストグラムでカウントする。
RDT_EXTは、x=-refIdxW..refW2-2, y=-refIdxH..-2、refW2 = bW*2。
対象ブロックの左の領域の画素が利用できない場合は、x=1..refW2-2とする。

（構成例４：dimd_modeに応じて拡張領域を利用する例２）
なお、角度モード導出装置310465は、下記のような処理を行ってもよい。

dimd_mode == DIMD_MODE_TOP_LEFTもしくはdimd_mode == DIMD_MODE_LEFTの場合、参照サンプル導出部310460は、対象ブロックの左と左下の領域、例えばRDL_ADAPからDx, Dyを導出し、modeValを導出しヒストグラムでカウントする。
RDL_ADAPは以下を用いてもよい。
x=-refIdxW..-2, y=-refIdxH..refH-2、refH = (dimd_mode == DIMD_MODE_TOP_LEFT) ? bH : bH*2
DIMD_MODE_LEFTで対象ブロックの上の領域の画素が利用できない場合は、y=1..refH-2を用いる。

さらに続けてdimd_mode = DIMD_MODE_TOP_LEFTもしくはdimd_mode == DIMD_MODE_TOPの場合、角度モード導出装置310465は、対象ブロックの上と右上の領域、例えばRDT_ADAPからDx, Dyを導出し、modeValを導出しヒストグラムでカウントする。
RDT_ADAPは以下を用いてもよい。
x=-refIdxW..refW-2, y=-refIdxH..-2、refW = (dimd_mode == DIMD_MODE_TOP_LEFT) ? bW*2 : bW
DIMD_MODE_TOPで対象ブロックの左の領域の画素が利用できない場合は、x=1..refW-2を用いる。

上記構成によれば、DIMDモードに応じて、少なくとも、対象ブロックの上と左、左、上を上記隣接画像として切り替えることができる。従って、対象ブロックの特徴と左もしくは上の隣接領域の特徴が異なる場合であっても、デコーダ側のイントラ予測モード導出を高い精度で実現でき高効率を実現できる効果を奏する。

対象領域隣接画像の画素値の勾配を用いてデコーダ側でイントラ予測モードを導出する場合、隣接画像の角度勾配と対象ブロックの角度勾配は必ずしも一致しない。そのような場合でも、隣接ブロックと対象ブロックの性質に応じてイントラ予測モードの導出を切り替えて精度を向上させる効果を奏する。

さらに、上と左の両方を使う場合（DIMD_MODE_TOP_LEFT）では右上、左下の拡張領域を用いず、左だけ（DIMD_MODE_LEFT）、または、上だけ（DIMD_MODE_TOP）を使う場合では各々左と左下、上と右上の拡張領域を用いる構成では、参照画素のサンプリング、勾配導出、ヒストグラム導出の処理量を削減する効果を奏する。

（モードに応じた構成例５）
図12(a)は、DIMD予測の勾配導出における参照範囲の別の例を示す。この例ではdimd_linesに応じて参照領域のライン数を変更する。例えば、dimd_mode == DIMD_LINES1の場合に、Mラインを参照し、dimd_mode == DIMD_LINES2の場合にMより大きいNラインを参照する。M, NはたとえばM=3, N=4。

角度モード導出装置310465は、dimd_modeに応じて参照ライン数refIdxW, refIdxHを設定する。
refIdxW = (dimd_mode == DIMD_LINES1) ? M-1 : N-1
refIdxH = (dimd_mode == DIMD_LINES1) ? M-1 : N-1
角度モード導出装置310465は対象ブロックの左の領域、例えばRDLからDx, Dyを導出し、modeValを導出しヒストグラムでカウントする。

角度モード導出装置310465は対象ブロックの上の領域、例えばRDTからDx, Dyを導出し、modeValを導出しヒストグラムでカウントする。

さらにブロックサイズに応じて選択してもよい。

（ブロックサイズに応じた構成例１）
角度モード導出装置310465はブロックサイズに応じて参照ライン数refIdxW, refIdxHを設定する。
refIdxW = (bW >= 8 || bH >=8) ? N-1 : M-1
refIdxH = (bW >= 8 || bH >=8) ? N-1 : M-1
角度モード導出装置310465は、対象ブロックの左の領域RDL、上の領域RDTからDx, Dyを導出し、modeValを導出しヒストグラムでカウントする

（モードに応じた構成例６）
図12(b)は、DIMD予測の勾配導出における参照範囲の別の例を示す。この例ではdimd_modeに応じて、参照領域の方向を選択するのと同時に、参照領域のライン数も選択する。

角度モード導出装置310465は、dimd_modeが左と上を参照する場合、参照ライン数をM、それ以外の場合、参照ライン数をN（M<N）となるように導出する。たとえばM=2, N=3。
refIdxW = (dimd_mode == DIMD_MODE_TOP_LEFT) ? M-1 : N-1
refIdxH = (dimd_mode == DIMD_MODE_TOP_LEFT) ? M-1 : N-1
dimd_mode == DIMD_MODE_TOP_LEFTの場合、参照サンプル導出部310460は、参照ライン数をMに設定した上で、左の領域RDL、上の領域RDTからDx, Dyを導出し、modeValを導出しヒストグラムでカウントする。

dimd_mode == DIMD_MODE_LEFTの場合、角度モード導出装置310465は、参照ライン数をNに設定した上で、対象ブロックの左の領域、例えばRDLからDx, Dyを導出し、modeValを導出しヒストグラムでカウントする。

dimd_mode == DIMD_MODE_TOPの場合、角度モード導出装置310465は、参照ライン数をNに設定した上で、対象ブロックの上の領域、例えばRDTからDx, Dyを導出し、modeValを導出しヒストグラムでカウントする。

上記構成によれば、参照領域隣接画像の画素値の勾配を用いてデコーダ側でイントラ予測モードを導出する構成において、参照領域として上と左の両方を使う場合と、左だけ、または、上だけを使う場合とで参照するライン数を切りかえる。これにより、さらに、対象ブロックと隣接ブロックの特徴の連続性の違いに応じたイントラ予測モードを導出することができ、予測精度が向上する効果を奏する。

さらに、上と左の両方を使う場合（DIMD_MODE_TOP_LEFT）の参照ライン数をM、左だけ（DIMD_MODE_LEFT）、上だけ（DIMD_MODE_TOP）を使う場合の参照するライン数をNに設定する（ここでM<N）。この構成では、上と左の両方を参照することによる参照画素のサンプリング、勾配導出、ヒストグラム導出の処理量を削減する効果を奏する。

なお、上記構成において対象ブロックの左の参照領域を左と左下の参照領域、対象ブロックの上の参照領域を上と右上の参照領域を用いる構成であってもよいし、対象ブロックの左上を参照する構成であってもよい。

（４）予測画像生成部
予測画像生成部（仮予測画像生成部）310464は、入力された１つ以上の角度モード代表値（イントラ予測モード）を用いて予測画像（仮予測画像）を生成する。イントラ予測モードが１つの場合は、当該イントラ予測モードによるイントラ予測画像を生成し、仮予測画像q[x][y]として出力する。イントラ予測モードが複数の場合、各イントラ予測モードによる予測画像(pred0, pred1, pred2)を生成する。対応する重み(w0,w1,w2)を用いて複数の予測画像を合成し、予測画像q[x][y]として出力する。予測画像q[x][y]は以下のように導出する。
q[x][y] = (w0 * pred0[x][y] + w1 * pred1[x][y] + w2 * pred2[x][y]) >> 6
ただし、第２のモードの頻度が0である、または、方向予測モードでない（DCモードなど）場合は、第１のイントラ予測モードによる予測画像pred0[][]を予測画像q[][]とする(q[x][y]=pred0[0][0])。

（dimd_mode復号の構成）
逆量子化・逆変換部311は、予測パラメータ導出部320から入力された量子化変換係数を逆量子化して変換係数を求める。この量子化変換係数は、符号化処理において、予測誤差に対してDCT（Discrete Cosine Transform、離散コサイン変換）、DST（Discrete Sine Transform、離散サイン変換）等の周波数変換を行い量子化して得られる係数である。逆量子化・逆変換部311は変換係数について逆DCT、逆DST等の逆周波数変換を行い、予測誤差を算出する。逆量子化・逆変換部311は予測誤差を加算部312に出力する。

図18は、本実施形態の逆量子化・逆変換部311の構成を示すブロック図である。逆量子化・逆変換部311は、スケーリング部31111、逆非分離変換部31121、逆分離変換部31123から構成される。なお、角度モード導出装置310465の導出した角度モードを用いて、符号化データから復号した変換係数を変換してもよい。

逆量子化・逆変換部311は、予測パラメータ導出部320から入力された量子化変換係数qd[][]をスケーリング部31111によりスケーリング（逆量子化）して変換係数d[][]を求める。この量子化変換係数qd[][]は、符号化処理において、予測誤差に対してDCT（Discrete Cosine Transform、離散コサイン変換）、DST（Discrete Sine Transform、離散サイン変換）等の変換を行い量子化して得られる係数、もしくは、変換後の係数をさらに非分離変換した係数である。逆量子化・逆変換部311は、非分離変換フラグlfnst_idx!=0の場合、逆非分離変換部31121により逆変換を行う。さらに変換係数について逆DCT、逆DST等の逆周波数変換を行い、予測誤差を算出する。また、lfnst_idx==0の場合、逆非分離変換部31121で処理を行わず、スケーリング部31111によりスケーリングされた変換係数に逆DCT、逆DST等の逆周波数変換を行い、予測誤差を算出する。逆量子化・逆変換部311は予測誤差を加算部312に出力する。

加算部312は、予測画像生成部308から入力されたブロックの予測画像と逆量子化・逆変換部311から入力された予測誤差を画素毎に加算して、ブロックの復号画像を生成する。加算部312はブロックの復号画像を参照ピクチャメモリ306に記憶し、また、ループフィルタ305に出力する。

（動画像符号化装置の構成）
次に、本実施形態に係る動画像符号化装置11の構成について説明する。図19は、本実施形態に係る動画像符号化装置11の構成を示すブロック図である。動画像符号化装置11は、予測画像生成部101、減算部102、変換・量子化部103、逆量子化・逆変換部105、加算部106、ループフィルタ107、予測パラメータメモリ（予測パラメータ記憶部、フレームメモリ）108、参照ピクチャメモリ（参照画像記憶部、フレームメモリ）109、符号化パラメータ決定部110、パラメータ符号化部111、エントロピー符号化部104、予測パラメータ導出部120を含んで構成される。

予測画像生成部101は画像Ｔの各ピクチャを分割した領域であるCU毎に予測画像を生成する。予測画像生成部101は既に説明した予測画像生成部308と同じ動作であり、説明を省略する。

減算部102は、予測画像生成部101から入力されたブロックの予測画像の画素値を、画像Ｔの画素値から減算して予測誤差を生成する。減算部102は予測誤差を変換・量子化部103に出力する。

変換・量子化部103は、減算部102から入力された予測誤差に対し、周波数変換によって変換係数を算出し、量子化によって量子化変換係数を導出する。変換・量子化部103は、量子化変換係数をエントロピー符号化部104及び逆量子化・逆変換部105、および符号化パラメータ決定部110に出力する。

逆量子化・逆変換部105は、動画像復号装置31における逆量子化・逆変換部311（図4）と同じであり、説明を省略する。算出した予測誤差は加算部106に出力される。

エントロピー符号化部104には、パラメータ符号化部111から予測パラメータ、量子化変換係数が入力される。エントロピー符号化部104は、分割情報、予測パラメータ、量子化変換係数等をエントロピー符号化して符号化ストリームTeを生成し、出力する。

パラメータ符号化部111は、予測パラメータ導出部120で導出した予測パラメータ、量子化係数等の符号化をエントロピー符号化部104に指示する。

予測パラメータ導出部120は、符号化パラメータ決定部110から入力されたパラメータ等からシンタックス要素を導出する。予測パラメータ導出部120は、予測パラメータ導出部320の構成と、一部同一の構成を含む。

加算部106は、予測画像生成部101から入力されたブロックの予測画像の画素値と逆量子化・逆変換部105から入力された予測誤差を画素毎に加算して復号画像を生成する。加算部106は生成した復号画像を参照ピクチャメモリ109に記憶する。

ループフィルタ107は加算部106が生成した復号画像に対し、デブロッキングフィルタ、SAO、ALFを施す。なお、ループフィルタ107は、必ずしも上記３種類のフィルタを含まなくてもよく、例えばデブロッキングフィルタのみの構成であってもよい。

予測パラメータメモリ108は、符号化パラメータ導出部120から入力された予測パラメータを、対象ピクチャ及びCU毎に予め定めた位置に記憶する。

参照ピクチャメモリ109は、ループフィルタ107が生成した復号画像を対象ピクチャ及びCU毎に予め定めた位置に記憶する。

符号化パラメータ決定部110は、符号化パラメータの複数のセットのうち、１つのセットを選択する。符号化パラメータとは、上述したQT、BTあるいはTT分割情報、予測パラメータ、あるいはこれらに関連して生成される符号化の対象となるパラメータである。予測画像生成部101は、これらの符号化パラメータを用いて予測画像を生成する。

符号化パラメータ決定部110は、複数のセットの各々について情報量の大きさと符号化誤差を示すRDコスト値を算出する。符号化パラメータ決定部110は、算出したコスト値が最小となる符号化パラメータのセットを選択する。これにより、エントロピー符号化部104は、選択した符号化パラメータのセットを符号化ストリームTeとして出力する。符号化パラメータ決定部110は決定した符号化パラメータを予測パラメータメモリ108に記憶する。

なお、上述した実施形態における動画像符号化装置11、動画像復号装置31の一部、例えば、エントロピー復号部301、パラメータ復号部302、ループフィルタ305、予測画像生成部308、逆量子化・逆変換部311、加算部312、予測画像生成部101、減算部102、変換・量子化部103、エントロピー符号化部104、逆量子化・逆変換部105、ループフィルタ107、符号化パラメータ決定部110、パラメータ符号化部111をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、動画像符号化装置11、動画像復号装置31のいずれかに内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

また、上述した実施形態における動画像符号化装置11、動画像復号装置31の一部、または全部を、LSI（Large Scale Integration）等の集積回路として実現してもよい。動画像符号化装置11、動画像復号装置31の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

本発明の実施形態は、画像データが符号化された符号化データを復号する動画像復号装置、および、画像データが符号化された符号化データを生成する動画像符号化装置に好適に適用することができる。また、動画像符号化装置によって生成され、動画像復号装置によって参照される符号化データのデータ構造に好適に適用することができる。

31 画像復号装置
301 エントロピー復号部
302 パラメータ復号部
308 予測画像生成部
31046 DIMD予測部
310460 参照サンプル導出部
310465 角度モード導出装置
310461 勾配導出部
310462 角度モード導出部
310463 角度モード選択部
310464 仮予測画像生成部
311 逆量子化・逆変換部
312 加算部
11 画像符号化装置
101 予測画像生成部
102 減算部
103 変換・量子化部
104 エントロピー符号化部
105 逆量子化・逆変換部
107 ループフィルタ
110 符号化パラメータ決定部
111 パラメータ符号化部
1110 ヘッダ符号化部
1111 CT情報符号化部
1112 CU符号化部（予測モード符号化部）
1114 TU符号化部

Claims

DIMDモードに応じて対象ブロックの隣接画像を選択する参照サンプル導出部と、選択された隣接画像を用いて、画素単位の勾配を導出する勾配導出部、勾配からイントラ予測モードを導出する角度モード選択部を備える画像復号装置。
符号化データから上記対象ブロックのDIMDフラグとDIMDモードを復号するエントロピー復号部を備え、上記DIMDフラグがtrueの場合に、さらにDIMDモードを復号し、さらに導出されたイントラ予測モードを用いて予測画像生成を行う予測画像生成部を備えることを特徴とする請求項１に記載の画像復号装置。
DIMDモードは、少なくとも、上と左、左、上を上記隣接画像として切り替えることを特徴とする請求項１に記載の画像復号装置。
DIMDモードは、第１ビットと第２ビットから構成され、第１ビットは上と左か否か、第２ビットで左もしくは上かを選択肢として、上記隣接画像を選択することを特徴とする請求項３に記載の画像復号装置。
上記エントロピー復号部は、上記第１ビットの復号には確率を保持するコンテキストを用い、上記第２ビットはコンテキストを用いない等確率を用いて、上記DIMDモードを復号することを特徴とする請求項３に記載の画像復号装置。
上記エントロピー復号部は、上記第１ビットと上記２ビットの復号には確率を保持するコンテキストを用いて、上記DIMDモードを復号することを特徴とする請求項３に記載の画像復号装置。
上記エントロピー復号部は、対象ブロックの幅と高さを利用してコンテキストインデックスを導出することを特徴とする請求項３に記載の画像復号装置。
上記エントロピー復号部は、上記第２ビットには対象ブロックが正方形か否かの判定を用いてコンテキストインデックスを導出することを特徴とする請求項４に記載の画像復号装置。
上記勾配導出部は、dimd_modeに応じて参照するライン数を変更することを特徴とする請求項１に記載の画像復号装置。
上記勾配導出部は、上記対象ブロックのサイズに応じて参照するライン数を変更することを特徴とする請求項１に記載の画像復号装置。
上記勾配導出部は、dimd_modeに応じて参照するライン数と参照方向を変更することを特徴とする請求項１に記載の画像復号装置。
DIMDモードに応じて対象ブロックの隣接画像を選択する参照サンプル導出部と、選択された隣接画像を用いて、画素単位の勾配を導出する勾配導出部、勾配からイントラ予測モードを導出する角度モード選択部を備える画像符号化装置。