JP2023036862A - ビデオ復号方法及びその装置、並びにビデオ符号化方法及びその装置 - Google Patents

Abstract

【課題】現在ブロックの予測ブロックを獲得するビデオ復号方法を提供する。【解決手段】方法は、第１／第２参照ブロックの境界外部に位置するピクセルについて保存された値の利用なしに、第１／第２参照ブロックに含まれた参照ピクセルに係わる値を利用し、現在ブロックの境界内側に隣接するピクセルを含む現在ブロックのピクセルの水平方向または垂直方向の単位時間当たり変位ベクトルを決定する。現在ブロック内の現在ピクセルグループに含まれた現在ピクセルに対応する第１／第２参照ブロック内の第１／第２対応参照ピクセルの水平方向または垂直方向のグラジエント値、第１／第２対応参照ピクセルのピクセル値及び現在ピクセルの水平方向または垂直方向の単位時間当たり変位ベクトルに基づいて、現在ブロックのブロック単位の動き補償、及びピクセルグループ単位の動き補償を行う。ピクセルグループは、少なくとも１つのピクセルを含んでもよい。【選択図】図１Ｂ

Description

本発明は、ビデオ復号方法及びビデオ符号化に係り、詳細には、双方向（bi－directional）動き予測モードでインター予測を行うビデオ復号及びビデオ符号化に関する。

高解像度または高画質のビデオコンテンツを再生、保存することができるハードウェアの開発及び普及により、高解像度または高画質のビデオコンテンツを効果的に符号化したり復号したりするビデオコーデックの必要性が増大している。既存のビデオコーデックによれば、ビデオは、ツリー構造の符号化単位に基づいて制限された符号化方式によって符号化されている。

周波数変換を利用し、空間領域の映像データは、周波数領域の係数に変換される。ビデオコーデックは、周波数変換の迅速な演算のために、映像を所定サイズのブロックに分割し、ブロックごとにＤＣＴ変換を行い、ブロック単位の周波数係数を符号化する。空間領域の映像データに比べ、周波数領域の係数が圧縮されやすい形態を有する。特に、ビデオコーデックのインター予測またはイントラ予測を介して、空間領域の映像画素値は、予測誤差で表現されるので、予測誤差に対して周波数変換が行われれば、多くのデータが０にも変換される。ビデオコーデックは、連続して反復して発生するデータを小サイズデータで置き換えることにより、データ量を節減している。

多様な実施形態によれば、双方向動き予測モードにおいて、第１参照ピクチャの第１参照ブロックのピクセル値、及び第２参照ピクチャの第２参照ブロックのピクセル値を利用するだけでなく、第１参照ブロックの第１グラジエント値、及び第２参照ブロックの第２グラジエント値を共に利用し、現在ブロックの予測ピクセル値が生成されもする。従って、原本ブロックと類似した予測ブロックが生成されもするために、符号化／復号効率が高くなることができる。

第１参照ブロックのピクセル値、第２参照ブロックのピクセル値、第１参照ブロックの第１グラジエント値、及び第２参照ブロックの第２グラジエント値は、ピクセルグループ単位の動き補償を行うとき、現在ブロックの水平方向または垂直方向の変位ベクトルを決定するために利用される。特に、現在ブロック内の現在ピクセルの水平方向または垂直方向の変位ベクトルを決定するために、現在ピクセルに対応する第１参照ブロック内の第１参照ピクセルのピクセル値・グラジエント値、第２参照ブロック内の第２参照ピクセルのピクセル値・グラジエント値を利用するだけでなく、第１参照ピクセル及び第２参照ピクセルを中心にする所定サイズのウィンドウに含まれた周辺ピクセルのピクセル値及びグラジエント値を利用することになる。従って、現在ピクセルが境界に位置する場合、現在ピクセルに対応する参照ピクセルの周辺ピクセルが、参照ブロックの外部に位置するために、参照ブロック外部に位置するピクセルのピクセル値及びグラジエント値を参照しなければならないために、追加してメモリにアクセスしなければならないという問題点があった。

多様な実施形態によれば、参照ブロックの外部に位置するピクセルについて保存されたピクセル値及びグラジエント値を参照せず、参照ブロックの内部に位置するピクセルのピクセル値及びグラジエント値のみを参照し、現在ブロックの水平方向または垂直方向の変位ベクトルを決定することにより、メモリアクセス回数を最小化させることができる。

多様な実施形態によれば、参照ピクセルの水平方向または垂直方向のグラジエント値を決定するために、整数ピクセルのピクセル値を入力にし、水平方向及び垂直方向のグラジエントフィルタ及び補間フィルタを利用するのではなく、整数ピクセルのピクセル値に補間フィルタを適用し、小数ピクセル単位の位置にあるピクセルのピクセル値を決定し、小数ピクセル単位の位置にあるピクセルのピクセル値に、フィルタ長が相対的に短い水平方向または垂直方向のグラジエントフィルタを適用し、参照ピクセルの水平方向または垂直方向のグラジエント値を決定することにより、複雑な乗算演算を行うことを最小化させることができる。

多様な実施形態によれば、ピクセルグループ単位で動き補償を行うことにより、ピクセル単位で動き補償を行うとき、さらに複雑な乗算演算を行うことを最小化させることができる。

多様な実施形態による方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含んでもよい。

ここで、多様な実施形態の技術的課題は、以上で言及した特徴に制限されるものではなく、言及されていない他の技術的課題は、以下の記載から、当該技術分野の当業者に明確に理解されるであろう。

本発明の技術的課題は、以上で言及した特徴に制限されるものではなく、言及されていない他の技術的課題は、以下の記載から、当該技術分野の当業者に明確に理解されるであろう。

多様な実施形態によるビデオ復号方法は、ビットストリームから、現在ピクチャ内の現在ブロックに係わる動き予測モード情報を獲得する段階と、
前記獲得された動き予測モード情報が双方向（bi－direction）動き予測モードを示す場合、第１参照ピクチャ内において、現在ブロックの第１参照ブロックを示す第１動きベクトルについての情報、及び第２参照ピクチャ内において、現在ブロックの第２参照ブロックを示す第２動きベクトルについての情報を、前記ビットストリームから獲得する段階と、
前記第１参照ブロック及び前記第２参照ブロックの境界外部に位置するピクセルについて保存された値の利用なしに、前記第１参照ブロック及び前記第２参照ブロックに含まれた参照ピクセルに係わる値を利用し、現在ブロックの境界内側に隣接するピクセルを含む現在ブロックのピクセルの水平方向または垂直方向の単位時間当たり変位ベクトルを決定する段階と、
前記現在ブロック内の現在ピクセルグループに含まれた現在ピクセルに対応する前記第１参照ブロック内の第１対応参照ピクセルの水平方向または垂直方向のグラジエント値、前記現在ピクセルに対応する前記第２参照ブロック内の第２対応参照ピクセルの水平方向または垂直方向のグラジエント値、前記第１対応参照ピクセルのピクセル値、前記第２対応参照ピクセルのピクセル値、並びに前記現在ピクセルの水平方向または垂直方向の単位時間当たり変位ベクトルに基づいて、現在ブロックのブロック単位の動き補償、及びピクセルグループ単位の動き補償を行い、現在ブロックの予測ブロックを獲得する段階と、
前記ビットストリームから、現在ブロックのレジデュアルブロックについての情報を獲得する段階と、
前記予測ブロック及び前記レジデュアルブロックに基づいて、前記現在ブロックを復元する段階と、を含み、
前記ピクセルグループは、少なくとも１つのピクセルを含んでもよい。

多様な実施形態によるビデオ復号方法において、前記現在ブロックの予測ブロックを獲得する段階は、
前記第１参照ブロック内または第２参照ブロック内の小数位置ピクセルのピクセル値に、水平方向または垂直方向のグラジエントフィルタを適用し、前記第１対応参照ピクセルまたは前記第２対応参照ピクセルの水平方向または垂直方向のグラジエント値を算出する段階をさらに含み、
前記グラジエントフィルタは、５タップフィルタであり、
前記小数位置ピクセルは、ピクセルの位置を示す座標の水平成分または垂直成分のうち少なくとも１つの成分が小数値を有するピクセルでもある。

多様な実施形態によるビデオ復号方法において、前記第１参照ブロック内または第２参照ブロック内の小数位置ピクセルのピクセル値は、整数位置ピクセルのピクセル値に水平方向または垂直方向の補間フィルタ（interpolation filter）を適用しても算出される。

多様な実施形態によるビデオ復号方法において、前記ピクセルグループの大きさは、前記現在ブロックの高さ及び幅のうち最小値に基づいても決定される。

多様な実施形態によるビデオ復号方法において、前記現在ピクセルグループについての水平方向または垂直方向の単位時間当たり変位ベクトルは、前記現在ピクセルグループに対応する第１参照ピクチャ内の第１対応参照ピクセルグループに含まれた第１対応参照ピクセル及びその周辺ピクセルと、第２参照ピクチャ内の第２対応参照ピクセルグループに含まれた第２対応参照ピクセル及びその周辺ピクセルとのピクセル値・グラジエント値、第１参照ピクチャと現在ピクチャとの第１ ＰＯＣ（picture order count）差、並びに第２参照ピクチャと現在ピクチャとの第２ ＰＯＣ差に基づいて決定される値を利用して決定された単位時間当たり変位ベクトルでもある。

多様な実施形態によるビデオ復号方法において、前記現在ブロックのピクセルの水平方向または垂直方向の単位時間当たり変位ベクトルを決定する段階は、
前記第１対応参照ピクセルまたは前記第２対応参照ピクセルが、第１参照ブロックまたは第２参照ブロックの境界内側に隣接する境界周辺ピクセルである場合、
前記境界周辺ピクセルのピクセル値を利用し、第１参照ブロックまたは第２参照ブロックの境界外部に位置するピクセルのピクセル値及びグラジエント値を誘導する段階と、
前記境界周辺ピクセルのピクセル値及びグラジエント値、並びに前記境界周辺ピクセルのピクセル値を利用して誘導された前記現在ブロックの境界外部に位置するピクセルのピクセル値及びグラジエント値に基づいて、前記現在ピクセルの水平方向または垂直方向の単位時間当たり変位ベクトルを決定する段階と、を含んでもよい。

多様な実施形態によるビデオ復号方法において、前記現在ブロックのピクセルの水平方向または垂直方向の単位時間当たり変位ベクトルを決定する段階は、
前記第１参照ブロックに含まれた第１対応参照ピクセルのピクセル値、前記第２参照ブロックに含まれた第２対応参照ピクセルのピクセル値、前記第１対応参照ピクセルのグラジエント値、前記第２対応参照ピクセルのグラジエント値、前記第１参照ピクチャと現在ピクチャとの第１ ＰＯＣ差、及び前記第２参照ピクチャと現在ピクチャとの第２ ＰＯＣ差を利用し、前記現在ピクセルに係わる値を算出する段階と、
前記第１対応参照ピクセルの第１対応周辺ピクセルのピクセル値、前記第２対応参照ピクセルの第２対応周辺ピクセルのピクセル値、前記第１対応周辺ピクセルのグラジエント値、前記第２対応周辺ピクセルのグラジエント値、前記第１参照ピクチャと現在ピクチャとの第１ ＰＯＣ差、及び前記第２参照ピクチャと現在ピクチャとの第２ ＰＯＣ差を利用して算出された周辺ピクセルに係わる値を算出する段階と、
前記現在ピクセルに係わる値、前記周辺ピクセルに係わる値、及び加重値を利用し、水平方向または垂直方向の単位時間当たり変位ベクトルを算出するために必要な前記現在ピクセルについての加重平均値を算出する段階と、
前記算出された現在ピクセルについての加重平均値を利用し、前記現在ピクセルの水平方向または垂直方向の単位時間当たり変位ベクトルを決定する段階と、を含んでもよい。

多様な実施形態によるビデオ復号方法において、前記現在ピクセルについての加重平均値は、前記第１参照ブロック及び前記第２参照ブロックに含まれたピクセルに係わる値に対して、上下左右方向に指数平滑（exponential smoothing）技法を適用して算出された値でもある。

多様な実施形態によるビデオ復号装置は、ビットストリームから、現在ピクチャ内の現在ブロックに係わる動き予測モード情報を獲得する段階と、
前記獲得された動き予測モード情報が双方向動き予測モードを示す場合、第１参照ピクチャ内において、現在ブロックの第１参照ブロックを示す第１動きベクトルについての情報、及び第２参照ピクチャ内において、現在ブロックの第２参照ブロックを示す第２動きベクトルについての情報を、前記ビットストリームから獲得し、前記ビットストリームから、現在ブロックのレジデュアルブロックについての情報を獲得する獲得部と、
前記第１参照ブロック及び前記第２参照ブロックの境界外部に位置するピクセルについて保存された値の利用なしに、前記第１参照ブロック及び前記第２参照ブロックに含まれた参照ピクセルに係わる値を利用し、現在ブロックの境界内側に隣接するピクセルを含む現在ブロックのピクセルの水平方向または垂直方向の単位時間当たり変位ベクトルを決定し、前記現在ブロック内の現在ピクセルグループに含まれた現在ピクセルに対応する前記第１参照ブロック内の第１対応参照ピクセルの水平方向または垂直方向のグラジエント値、前記現在ピクセルに対応する前記第２参照ブロック内の第２対応参照ピクセルの水平方向または垂直方向のグラジエント値、前記第１対応参照ピクセルのピクセル値、前記第２対応参照ピクセルのピクセル値、並びに前記現在ピクセルの水平方向または垂直方向の単位時間当たり変位ベクトルに基づいて、現在ブロックに係わるブロック単位の動き補償、及びピクセルグループ単位の動き補償を行い、現在ブロックの予測ブロックを獲得するインター予測部と、
前記予測ブロック及び前記レジデュアルブロックに基づいて、前記現在ブロックを復元する復号部と、を含み、
前記ピクセルグループは、少なくとも１つのピクセルを含んでもよい。

多様な実施形態によるビデオ復号装置において、前記インター予測部は、
前記第１参照ブロック内または第２参照ブロック内の小数位置ピクセルのピクセル値に、水平方向または垂直方向のグラジエントフィルタを適用し、前記第１対応参照ピクセルまたは前記第２対応参照ピクセルの水平方向または垂直方向のグラジエント値を算出し、
前記グラジエントフィルタは、５タップフィルタであり、
前記小数位置ピクセルは、ピクセルの位置を示す座標の水平成分または垂直成分のうち少なくとも１つの成分が小数値を有するピクセルでもある。

多様な実施形態によるビデオ復号装置において、前記インター予測部は、
前記現在ピクセルグループについての水平方向または垂直方向の単位時間当たり変位ベクトルは、前記現在ピクセルグループに対応する第１参照ピクチャ内の第１対応参照ピクセルグループに含まれた第１対応参照ピクセル及びその周辺ピクセルと、第２参照ピクチャ内の第２対応参照ピクセルグループに含まれた第２対応参照ピクセル及びその周辺ピクセルとのピクセル値・グラジエント値、第１参照ピクチャと現在ピクチャとの第１ ＰＯＣ差、並びに第２参照ピクチャと現在ピクチャとの第２ ＰＯＣ差に基づいて決定される値を利用して決定された単位時間当たり変位ベクトルでもある。

多様な実施形態によるビデオ復号装置において、前記インター予測部は、
前記第１参照ブロックに含まれた第１対応参照ピクセルのピクセル値、前記第２参照ブロックに含まれた第２対応参照ピクセルのピクセル値、前記第１対応参照ピクセルのグラジエント値、前記第２対応参照ピクセルのグラジエント値、前記第１参照ピクチャと現在ピクチャとの第１ ＰＯＣ差、及び前記第２参照ピクチャと現在ピクチャとの第２ ＰＯＣ差を利用し、前記現在ピクセルに係わる値を算出し、
前記第１対応参照ピクセルの第１対応周辺ピクセルのピクセル値、前記第２対応参照ピクセルの第２対応周辺ピクセルのピクセル値、前記第１対応周辺ピクセルのグラジエント値、前記第２対応周辺ピクセルのグラジエント値、前記第１参照ピクチャと現在ピクチャとの第１ ＰＯＣ差、及び前記第２参照ピクチャと現在ピクチャとの第２ ＰＯＣ差を利用して算出された周辺ピクセルに係わる値を算出し、
前記現在ピクセルに係わる値、前記周辺ピクセルに係わる値、及び加重値を利用し、水平方向または垂直方向の単位時間当たり変位ベクトルを算出するために必要な前記現在ピクセルについての加重平均値を算出し、
前記算出された現在ピクセルについての加重平均値を利用し、前記現在ピクセルの水平方向または垂直方向の単位時間当たり変位ベクトルを決定することができる。

多様な実施形態によるビデオ符号化方法は、現在ブロックに対して、ブロック単位の動き補償、及びピクセルグループ単位の動き補償を行い、前記現在ブロックの予測ブロック、第１動きベクトル及び第２動きベクトルを獲得する段階と、
前記第１動きベクトル及び前記第２動きベクトルについての情報、並びに前記現在ブロックに係わる動き予測モードが、双方向動き予測モードであるか否かということを示す動き予測モード情報を含むビットストリームを生成する段階と、を含み、
前記ピクセルグループは、少なくとも１つのピクセルを含み、
前記第１動きベクトルは、前記現在ブロックから、現在ピクチャ内の前記現在ブロックに対応する第１参照ピクチャの第１参照ブロックを示す動きベクトルであり、
前記第２動きベクトルは、前記現在ブロックから、現在ピクチャ内の前記現在ブロックに対応する第２参照ピクチャの第２参照ブロックを示す動きベクトルであり、
前記現在ブロック内の現在ピクセルグループに含まれた現在ピクセルに対応する前記第１参照ブロック内の第１対応参照ピクセルの水平方向または垂直方向のグラジエント値、前記現在ピクセルに対応する前記第２参照ブロック内の第２対応参照ピクセルの水平方向または垂直方向のグラジエント値、前記第１対応参照ピクセルのピクセル値、前記第２対応参照ピクセルのピクセル値、並びに前記現在ピクセルの水平方向または垂直方向の単位時間当たり変位ベクトルに基づいて、現在ブロックに係わるブロック単位の動き補償、及びピクセルグループ単位の動き補償が行われ、現在ブロックの予測ブロックが獲得され、
前記現在ブロックの境界内側に隣接するピクセルを含む現在ブロックのピクセルの水平方向または垂直方向の単位時間当たり変位ベクトルは、前記第１参照ブロック及び前記第２参照ブロックの境界外部に位置するピクセルについて保存された値の利用なしに、前記第１参照ブロック及び前記第２参照ブロックに含まれた参照ピクセルに係わる値を利用しても決定される。

多様な実施形態によるビデオ符号化装置は、現在ブロックに対して、ブロック単位の動き補償、及びピクセルグループ単位の動き補償を行い、前記現在ブロックの予測ブロック、第１動きベクトル及び第２動きベクトルを獲得するインター予測部と、
前記第１動きベクトル及び前記第２動きベクトルについての情報、並びに前記現在ブロックに係わる動き予測モードが、双方向動き予測モードであるか否かということを示す動き予測モード情報を含むビットストリームを生成するビットストリーム生成部と、を含み、
前記ピクセルグループは、少なくとも１つのピクセルを含み、
前記第１動きベクトルは、前記現在ブロックから、現在ピクチャ内の前記現在ブロックに対応する第１参照ピクチャの第１参照ブロックを示す動きベクトルであり、前記第２動きベクトルは、前記現在ブロックから、現在ピクチャ内の前記現在ブロックに対応する第２参照ピクチャの第２参照ブロックを示す動きベクトルであり、
前記現在ブロック内の現在ピクセルグループに含まれた現在ピクセルに対応する前記第１参照ブロック内の第１対応参照ピクセルの水平方向または垂直方向のグラジエント値、前記現在ピクセルに対応する前記第２参照ブロック内の第２対応参照ピクセルの水平方向または垂直方向のグラジエント値、前記第１対応参照ピクセルのピクセル値、前記第２対応参照ピクセルのピクセル値、並びに前記現在ピクセルの水平方向または垂直方向の単位時間当たり変位ベクトルに基づいて、現在ブロックに係わるブロック単位の動き補償、及びピクセルグループ単位の動き補償が行われ、現在ブロックの予測ブロックが獲得され、
前記現在ブロックの境界内側に隣接するピクセルを含む現在ブロックのピクセルの水平方向または垂直方向の単位時間当たり変位ベクトルは、前記第１参照ブロック及び前記第２参照ブロックの境界外部に位置するピクセルについて保存された値の利用なしに、前記第１参照ブロック及び前記第２参照ブロックに含まれた参照ピクセルに係わる値を利用しても決定される。
多様な実施形態による方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含んでもよい。

多様な実施形態により、双方向動き予測モードにおいて、参照ピクチャの参照ブロックのグラジエント値を利用し、現在ブロックに係わるインター予測を行い、現在ブロックの原本ブロックの値と類似した値を予測することにより、符号化／復号の効率を高めることができる。

多様な実施形態によるビデオ復号装置のブロック図である。 多様な実施形態によるビデオ復号方法のフローチャートである。 多様な実施形態によるビデオ符号化装置のブロック図である。 多様な実施形態によるビデオ符号化方法のフローチャートである。 多様な実施形態による映像復号部のブロック図である。 多様な実施形態による映像復号部のブロック図である。 一実施形態によるブロック基盤双方向動き予測及びその補償の過程について説明するための参照図である。 一実施形態によるピクセル単位動き補償を行う過程について説明するための参照図である。 一実施形態によるピクセル単位動き補償を行う過程について説明するための参照図である。 一実施形態によるピクセル単位動き補償を行う過程について説明するための参照図である。 一実施形態により、水平方向及び垂直方向のグラジエント値を計算する過程について説明するための参照図である。 他の実施形態により、水平方向及び垂直方向のグラジエント値を計算する過程について説明するための参照図である。 一実施形態により、一次元フィルタを利用し、水平方向及び垂直方向のグラジエント値を決定する過程について説明するための図面である。 一実施形態により、一次元フィルタを利用し、水平方向及び垂直方向のグラジエント値を決定する過程について説明するための図面である。 一実施形態により、小数ピクセル単位の小数ピクセル位置でのピクセル値、並びに水平方向及び垂直方向のグラジエント値を決定するために利用されるフィルタのフィルタ係数を示した表である。 一実施形態により、小数ピクセル単位の小数ピクセル位置でのピクセル値、並びに水平方向及び垂直方向のグラジエント値を決定するために利用されるフィルタのフィルタ係数を示した表である。 一実施形態により、小数ピクセル単位の小数ピクセル位置でのピクセル値、並びに水平方向及び垂直方向のグラジエント値を決定するために利用されるフィルタのフィルタ係数を示した表である。 一実施形態により、小数ピクセル単位の小数ピクセル位置でのピクセル値、並びに水平方向及び垂直方向のグラジエント値を決定するために利用されるフィルタのフィルタ係数を示した表である。 一実施形態により、小数ピクセル単位の小数ピクセル位置でのピクセル値、並びに水平方向及び垂直方向のグラジエント値を決定するために利用されるフィルタのフィルタ係数を示した表である。 一実施形態により、ピクセルに対する水平方向変位ベクトル及び垂直方向変位ベクトルを決定する過程について説明するための参照図である。 一実施形態により、ピクセルグループに係わる水平方向変位ベクトル及び垂直方向変位ベクトルを決定する過程について説明するための参照図である。 一実施形態により、ピクセルに係わる水平方向変位ベクトル及び垂直方向変位ベクトルを決定する過程について説明するための参照図である。 一実施形態により、ピクセルグループに係わる水平方向変位ベクトル及び垂直方向変位ベクトルを決定する過程について説明するための参照図である。 一実施形態により、フィルタリング遂行後、オフセットを加え、逆スケーリングを行うことにより、水平方向または垂直方向のグラジエント値を決定する過程について説明するための図面である。 他の実施形態により、フィルタリング遂行後、オフセットを加え、逆スケーリングを行うことにより、水平方向または垂直方向のグラジエント値を決定する過程について説明するための図面である。 現在ブロックに対して、ピクセル単位動き補償を行う過程において、水平方向変位ベクトル及び垂直方向変位ベクトルを決定するために必要な入力範囲について説明するための図面である。 多様な実施形態によるピクセル単位の動き補償を行う過程において利用される領域の入力範囲について説明するための図面である。 多様な実施形態によるピクセル単位の動き補償を行う過程において利用される領域の入力範囲について説明するための図面である。 参照ブロックを拡張せず、水平方向変位ベクトル及び垂直方向変位ベクトルを決定するための過程について説明するための図面である。 他の実施形態により、参照ブロックを拡張せず、水平方向変位ベクトル及び垂直方向変位ベクトルを決定するための過程について説明するための図面である。 他の実施形態により、参照ブロックを拡張せず、水平方向変位ベクトル及び垂直方向変位ベクトルを決定するための過程について説明するための図面である。 他の実施形態により、参照ブロックを拡張せず、水平方向変位ベクトル及び垂直方向変位ベクトルを決定するための過程について説明するための図面である。 一実施形態により、ブロックの拡張なしに、参照ブロックのピクセル値及びグラジエント値を参照し、上下左右に、指数平滑技法を適用することにより、ピクセル別の水平方向変位ベクトル及び垂直方向変位ベクトルを決定する過程について説明するための図面である。 一実施形態により、現在ブロックに係わる動き補償を行うために、フィルタを利用し、参照ブロック内参照ピクセルのピクセル値、並びに水平方向及び垂直方向のグラジエント値を決定する過程について説明するための図面である。 他の実施形態により、現在ブロックに係わる動き補償を行うために、フィルタを利用し、参照ブロック内参照ピクセルのピクセル値、並びに水平方向及び垂直方向のグラジエント値を決定する過程について説明するための図面である。 一実施形態により、現在符号化単位が分割され、少なくとも１つの符号化単位が決定される過程を図示する図面である。 一実施形態により、非正方形の形態である符号化単位が分割され、少なくとも１つの符号化単位が決定される過程を図示する図面である。 一実施形態により、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、符号化単位が分割される過程を図示する図面である。 一実施形態により、奇数個の符号化単位のうち所定の符号化単位が決定される方法を図示する図面である。 一実施形態により、現在符号化単位が分割され、複数個の符号化単位が決定される場合、複数個の符号化単位が処理される順序を図示する図面である。 一実施形態により、所定の順序によって符号化単位が処理されえない場合、現在符号化単位が奇数個の符号化単位に分割されるように決定される過程を図示する図面である。 一実施形態により、第１符号化単位が分割され、少なくとも１つの符号化単位が決定される過程を図示する図面である。 一実施形態により、第１符号化単位が分割されて決定された非正方形状の第２符号化単位が所定の条件を満足する場合、第２符号化単位が分割されうる形態が制限されることを図示する図面である。 一実施形態により、分割形態情報が４個の正方形状の符号化単位に分割されることを示すことができない場合、正方形状の符号化単位が分割される過程を図示する図面である。 一実施形態により、複数個の符号化単位間の処理順序が、符号化単位の分割過程によって異なりもするということを図示した図面である。 一実施形態により、符号化単位が再帰的に分割されて複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが変わることにより、符号化単位の深度が決定される過程を図示する図面である。 一実施形態により、符号化単位の形態及び大きさによっても決定される深度及び符号化単位を区分するためのインデックス（ＰＩＤ：part index）を図示する図面である。 一実施形態により、ピクチャに含まれる複数個の所定のデータ単位により、複数個の符号化単位が決定されたことを図示する図面である。 一実施形態により、ピクチャに含まれる基準符号化単位の決定順序を決定する基準になるプロセッシングブロックを図示する図面である。

多様な実施形態によるビデオ復号方法は、ビットストリームから、現在ピクチャ内の現在ブロックに係わる動き予測モード情報を獲得する段階と、
前記獲得された動き予測モード情報が双方向（bi－direction）動き予測モードを示す場合、第１参照ピクチャ内において、現在ブロックの第１参照ブロックを示す第１動きベクトルについての情報、及び第２参照ピクチャ内において、現在ブロックの第２参照ブロックを示す第２動きベクトルについての情報を、前記ビットストリームから獲得する段階と、
前記第１参照ブロック及び前記第２参照ブロックの境界外部に位置するピクセルについて保存された値の利用なしに、前記第１参照ブロック及び前記第２参照ブロックに含まれた参照ピクセルに係わる値を利用し、現在ブロックの境界内側に隣接するピクセルを含む現在ブロックのピクセルの水平方向または垂直方向の単位時間当たり変位ベクトルを決定する段階と、
前記現在ブロック内の現在ピクセルグループに含まれた現在ピクセルに対応する前記第１参照ブロック内の第１対応参照ピクセルの水平方向または垂直方向のグラジエント値、前記現在ピクセルに対応する前記第２参照ブロック内の第２対応参照ピクセルの水平方向または垂直方向のグラジエント値、前記第１対応参照ピクセルのピクセル値、前記第２対応参照ピクセルのピクセル値、並びに前記現在ピクセルの水平方向または垂直方向の単位時間当たり変位ベクトルに基づいて、現在ブロックのブロック単位の動き補償、及びピクセルグループ単位の動き補償を行い、現在ブロックの予測ブロックを獲得する段階と、
前記ビットストリームから、現在ブロックのレジデュアルブロックについての情報を獲得する段階と、
前記予測ブロック及び前記レジデュアルブロックに基づいて、前記現在ブロックを復元する段階と、を含み、
前記ピクセルグループは、少なくとも１つのピクセルを含んでもよい。

多様な実施形態によるビデオ復号装置は、ビットストリームから、現在ピクチャ内の現在ブロックに係わる動き予測モード情報を獲得する段階と、
前記獲得された動き予測モード情報が双方向動き予測モードを示す場合、第１参照ピクチャ内において、現在ブロックの第１参照ブロックを示す第１動きベクトルについての情報、及び第２参照ピクチャ内において、現在ブロックの第２参照ブロックを示す第２動きベクトルについての情報を、前記ビットストリームから獲得し、前記ビットストリームから、現在ブロックのレジデュアルブロックについての情報を獲得する獲得部と、
前記第１参照ブロック及び前記第２参照ブロックの境界外部に位置するピクセルについて保存された値の利用なしに、前記第１参照ブロック及び前記第２参照ブロックに含まれた参照ピクセルに係わる値を利用し、現在ブロックの境界内側に隣接するピクセルを含む現在ブロックのピクセルの水平方向または垂直方向の単位時間当たり変位ベクトルを決定し、前記現在ブロック内の現在ピクセルグループに含まれた現在ピクセルに対応する前記第１参照ブロック内の第１対応参照ピクセルの水平方向または垂直方向のグラジエント値、前記現在ピクセルに対応する前記第２参照ブロック内の第２対応参照ピクセルの水平方向または垂直方向のグラジエント値、前記第１対応参照ピクセルのピクセル値、前記第２対応参照ピクセルのピクセル値、並びに前記現在ピクセルの水平方向または垂直方向の単位時間当たり変位ベクトルに基づいて、現在ブロックに係わるブロック単位の動き補償、及びピクセルグループ単位の動き補償を行い、現在ブロックの予測ブロックを獲得するインター予測部と、
前記予測ブロック及び前記レジデュアルブロックに基づいて、前記現在ブロックを復元する復号部と、を含み、
前記ピクセルグループは、少なくとも１つのピクセルを含んでもよい。

多様な実施形態によるビデオ符号化方法は、現在ブロックに対して、ブロック単位の動き補償、及びピクセルグループ単位の動き補償を行い、前記現在ブロックの予測ブロック、第１動きベクトル及び第２動きベクトルを獲得する段階と、
前記第１動きベクトル及び前記第２動きベクトルについての情報、並びに前記現在ブロックに係わる動き予測モードが、双方向動き予測モードであるか否かということを示す動き予測モード情報を含むビットストリームを生成する段階と、を含み、
前記ピクセルグループは、少なくとも１つのピクセルを含み、
前記第１動きベクトルは、前記現在ブロックから、現在ピクチャ内の前記現在ブロックに対応する第１参照ピクチャの第１参照ブロックを示す動きベクトルであり、
前記第２動きベクトルは、前記現在ブロックから、現在ピクチャ内の前記現在ブロックに対応する第２参照ピクチャの第２参照ブロックを示す動きベクトルであり、
前記現在ブロック内の現在ピクセルグループに含まれた現在ピクセルに対応する前記第１参照ブロック内の第１対応参照ピクセルの水平方向または垂直方向のグラジエント値、前記現在ピクセルに対応する前記第２参照ブロック内の第２対応参照ピクセルの水平方向または垂直方向のグラジエント値、前記第１対応参照ピクセルのピクセル値、前記第２対応参照ピクセルのピクセル値、並びに前記現在ピクセルの水平方向または垂直方向の単位時間当たり変位ベクトルに基づいて、現在ブロックに係わるブロック単位の動き補償、及びピクセルグループ単位の動き補償が行われ、現在ブロックの予測ブロックが獲得され、
前記現在ブロックの境界内側に隣接するピクセルを含む現在ブロックのピクセルの水平方向または垂直方向の単位時間当たり変位ベクトルは、前記第１参照ブロック及び前記第２参照ブロックの境界外部に位置するピクセルについて保存された値の利用なしに、前記第１参照ブロック及び前記第２参照ブロックに含まれた参照ピクセルに係わる値を利用しても決定される。

多様な実施形態によるビデオ符号化装置は、現在ブロックに対して、ブロック単位の動き補償、及びピクセルグループ単位の動き補償を行い、前記現在ブロックの予測ブロック、第１動きベクトル及び第２動きベクトルを獲得するインター予測部と、
前記第１動きベクトル及び前記第２動きベクトルについての情報、並びに前記現在ブロックに係わる動き予測モードが、双方向動き予測モードであるか否かということを示す動き予測モード情報を含むビットストリームを生成するビットストリーム生成部と、を含み、
前記ピクセルグループは、少なくとも１つのピクセルを含み、
前記第１動きベクトルは、前記現在ブロックから、現在ピクチャ内の前記現在ブロックに対応する第１参照ピクチャの第１参照ブロックを示す動きベクトルであり、前記第２動きベクトルは、前記現在ブロックから、現在ピクチャ内の前記現在ブロックに対応する第２参照ピクチャの第２参照ブロックを示す動きベクトルであり、
前記現在ブロック内の現在ピクセルグループに含まれた現在ピクセルに対応する前記第１参照ブロック内の第１対応参照ピクセルの水平方向または垂直方向のグラジエント値、前記現在ピクセルに対応する前記第２参照ブロック内の第２対応参照ピクセルの水平方向または垂直方向のグラジエント値、前記第１対応参照ピクセルのピクセル値、前記第２対応参照ピクセルのピクセル値、並びに前記現在ピクセルの水平方向または垂直方向の単位時間当たり変位ベクトルに基づいて、現在ブロックに係わるブロック単位の動き補償、及びピクセルグループ単位の動き補償が行われ、現在ブロックの予測ブロックが獲得され、
前記現在ブロックの境界内側に隣接するピクセルを含む現在ブロックのピクセルの水平方向または垂直方向の単位時間当たり変位ベクトルは、前記第１参照ブロック及び前記第２参照ブロックの境界外部に位置するピクセルについて保存された値の利用なしに、前記第１参照ブロック及び前記第２参照ブロックに含まれた参照ピクセルに係わる値を利用しても決定される。

多様な実施形態による方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含んでもよい。

以下、「映像」は、ビデオの静止映像や動画、すなわち、ビデオそれ自体を示すことができる。

以下、「サンプル」は、映像のサンプリング位置に割り当てられたデータであり、プロセッシング対象になるデータを意味する。例えば、空間領域の映像において、ピクセルがサンプルでもある。

以下、「現在ブロック（current block）」は、符号化または復号しようとする映像のブロックを意味する。

図１Ａは、多様な実施形態によるビデオ復号装置のブロック図を図示する。

多様な実施形態によるビデオ復号装置１００は、獲得部１０５、インター予測部１１０及び復元部１２５を含む。

獲得部１０５は、現在ブロックの予測モードについての情報、現在ブロックの動き予測モードを示す情報、及び動きベクトルについての情報を含むビットストリームを受信する。

獲得部１０５は、受信されたビットストリームから、現在ブロックの予測モードについての情報、現在ブロックの動き予測モードを示す情報、及び動きベクトルについての情報を獲得することができる。また、獲得部１０５は、以前に復号されたピクチャのうち参照ピクチャを示す参照ピクチャインデックスを受信されたビットストリームから獲得することができる。

インター予測部１１０は、現在ブロックの予測モードがインター予測モードである場合、現在ブロックに係わるインター予測を行う。すなわち、インター予測部１１０は、現在ブロックが含まれた現在ピクチャより以前に復号されたピクチャのうち少なくとも一つを利用し、現在ブロックの予測ピクセル値を生成することができる。例えば、インター予測部１１０は、現在ブロックの動き予測モードが、双方向動き予測モードである場合、現在ピクチャより以前に復号された２つのピクチャを利用し、現在ブロックの予測ピクセル値を生成することができる。すなわち、インター予測部１１０は、ビットストリームから獲得された動き予測モードについての情報が双方向動き予測モードを示す場合、現在ピクチャより以前に復号された２つのピクチャを利用し、現在ブロックの予測ピクセル値を生成することができる。

インター予測部１１０は、ブロック単位の動き補償部１１５、及びピクセルグループ単位の動き補償部１２０を含んでもよい。

ブロック単位の動き補償部１１５は、現在ブロックに係わるブロック単位の動き補償を行うことができる。

ブロック単位の動き補償部１１５は、ビットストリームから獲得された参照ピクチャインデックスを利用し、以前に復号されたピクチャのうち少なくとも１つの参照ピクチャを決定することができる。このとき、参照ピクチャインデックスは、Ｌ０方向及びＬ１方向を含む予測方向それぞれに係わる参照ピクチャインデックスを意味する。ここで、Ｌ０方向に係わる参照ピクチャインデックスは、Ｌ０参照ピクチャリストに含まれたピクチャのうち参照ピクチャを示すインデックスを意味し、Ｌ１方向に係わる参照ピクチャインデックスは、Ｌ１参照ピクチャリストに含まれたピクチャのうち参照ピクチャを示すインデックスを意味する。

ブロック単位の動き補償部１１５は、ビットストリームから受信された動きベクトルについての情報を利用し、少なくとも１つの参照ピクチャ内に位置する現在ブロックの参照ブロックを決定することができる。ここで、現在ピクチャ内の現在ブロックに対応する参照ピクチャ内の対応ブロックが参照ブロックでもある。すなわち、ブロック単位の動き補償部１１５は、現在ブロックから参照ブロックを示す動きベクトルを利用し、現在ブロックの参照ブロックを決定することができる。ここで、該動きベクトルは、現在ピクチャ内の現在ブロックの基準座標と、参照ピクチャ内参照ブロックの基準座標との変位を示すベクトルを意味する。例えば、現在ブロックの左上側座標が（１，１）であり、参照ピクチャ内参照ブロックの左上側座標が（３，３）である場合、動きベクトルは、（２，２）でもある。

ここで、動きベクトルについての情報は、動きベクトルの差分値を含んでもよく、ブロック単位の動き補償部１１５は、動きベクトルの予測子（predictor）、及びビットストリームから獲得された動きベクトルの差分値を利用して動きベクトルを復元し、復元された動きベクトルを利用し、少なくとも１つの参照ピクチャ内に位置する現在ブロックの参照ブロックを決定することができる。このとき、該動きベクトルの差分値は、Ｌ０方向及びＬ１方向を含む予測方向それぞれと係わる参照ピクチャに係わる動きベクトルの差分値を意味する。ここで、Ｌ０方向に係わる動きベクトルの差分値は、Ｌ０参照ピクチャリストに含まれた参照ピクチャ内の参照ブロックを示す動きベクトルの差分値を意味し、Ｌ１方向に係わる動きベクトルの差分値は、Ｌ１参照ピクチャリストに含まれた参照ピクチャ内の参照ブロックを示す動きベクトルの差分値を意味する。

ブロック単位の動き補償部１１５は、参照ブロックのピクセル値を利用し、現在ブロックに係わるブロック単位の動き補償を行うことができる。ブロック単位の動き補償部１１５は、現在ブロック内の現在ピクセルに対応する参照ブロック内の参照ピクセル値を利用し、現在ブロックに係わるブロック単位の動き補償を行うことができる。ここで、該参照ピクセルは、参照ブロックに含まれたピクセルであり、現在ブロック内の現在ピクセルに対応する対応ピクセルが参照ピクセルでもある。

ブロック単位の動き補償部１１５は、複数の参照ピクチャそれぞれに含まれた複数の参照ブロックを利用し、現在ブロックに対して、ブロック単位の動き補償を行うことができる。例えば、ブロック単位の動き補償部１１５は、現在ブロックの動き予測モードが、双方向動き予測モードである場合、以前に符号化されたピクチャのうち２つの参照ピクチャを決定し、２つのピクチャに含まれた２つの参照ブロックを決定することができる。

ブロック単位の動き補償部１１５は、２つの参照ブロック内の２つの参照ピクセルのピクセル値を利用し、現在ブロックに係わるブロック単位の動き補償を行うことができる。ブロック単位の動き補償部１１５は、２つの参照ピクセルのピクセル値に係わる平均値または加重和（weighted sum）を利用し、現在ブロックに係わるブロック単位の動き補償を行い、ブロック単位の動き補償値を生成することができる。

参照ブロックの基準位置は、整数ピクセル（integer pixel）の位置でもあるが、それに制限されるものではなく、小数ピクセル（fractional pixel）の位置でもある。ここで、整数ピクセルとは、位置成分が整数であるピクセルであり、整数ピクセル位置にあるピクセルを意味する。小数ピクセルは、位置成分が小数であるピクセルであり、小数ピクセル位置にあるピクセルを意味する。

例えば、現在ブロックの左上側座標が（１，１）であり、動きベクトルが（２．５，２．５）である場合、参照ピクチャ内の参照ブロックの左上側座標は、（３．５，３．５）でもある。このとき、小数ピクセルの位置は、１／４ペル（ｐｅｌ：pixel element）単位または１／１６ペル単位にも決定される。それに制限されるものではなく、多様な小数ペル単位により、小数ピクセルの位置が決定されもする。

参照ブロックの基準位置が小数ピクセルの位置である場合、ブロック単位の動き補償部１１５は、第１動きベクトルが示す第１参照ブロックのピクセルのうち第１ピクセルを含む第１周辺領域、及び第２動きベクトルが示す第２参照ブロックのピクセルのうち第２ピクセルを含む第２周辺領域に補間フィルタを適用し、第１ピクセルのピクセル値、及び第２ピクセルのピクセル値を生成することができる。

すなわち、参照ブロック内の参照ピクセル値は、所定の方向成分が整数である周辺ピクセルのピクセル値を利用しても決定される。このとき、該所定の方向は、水平方向または垂直方向でもある。

例えば、ブロック単位の動き補償部１１５は、所定の方向成分が整数であるピクセルのピクセル値に対して、補間フィルタ（interpolation filter）を利用してフィルタリングを行い、その結果値でもって、参照ピクセル値を決定し、該参照ピクセル値を利用し、現在ブロックに係わるブロック単位の動き補償値を決定することができる。参照ピクセルの平均値または加重和を利用し、ブロック単位の動き補償値が決定されもする。このとき、補間フィルタは、ＤＣＴ（discrete cosine transformation）基盤のＭタップ（tap）の補間フィルタを利用することができる。ＤＣＴ基盤のＭタップの補間フィルタの係数は、ＤＣＴ及びＩＤＣＴ（inverse discrete cosine transform）からも誘導される。このとき、補間フィルタの係数は、フィルタリング遂行時、実数演算を減らすために、整数係数にスケーリングされたフィルタ係数でもある。このとき、該補間フィルタは、水平方向または垂直方向の一次元補間フィルタでもある。例えば、ｘ，ｙ直交座標成分でピクセルの位置を表現する場合、水平方向は、ｘ軸と平行な方向を意味する。垂直方向は、ｙ軸と平行な方向を意味する。

ブロック単位の動き補償部１１５は、まず垂直方向の一次元補間フィルタを利用し、整数位置にあるピクセル値に対してフィルタリングを行い、フィルタリングが行われて生成された値に、水平方向の一次元補間フィルタを利用してフィルタリングを行い、小数ピクセル位置での参照ピクセル値を決定することができる。

一方、スケーリングされたフィルタ係数を利用する場合、フィルタリングが行われて生成された値は、スケーリングされていないフィルタ係数を利用する場合に比べ、その値が大きくもなる。従って、ブロック単位の動き補償部１１５は、フィルタリングが行われて生成された値に対して、逆スケーリング（de－scaling）を行うことができる。

ブロック単位の動き補償部１１５は、垂直方向の一次元補間フィルタを利用し、整数位置にあるピクセル値に対してフィルタリングを行った後、逆スケーリングを行うことができる。このとき、逆スケーリングは、右側に、逆スケーリングビット数ほど右側にビットシフティングすることを含んでもよい。逆スケーリングビット数は、入力映像のサンプルのビットデプスに基づいても決定される。例えば、逆スケーリングビット数は、サンプルのビットデプスから８を差し引いた値でもある。

また、ブロック単位の動き補償部１１５は、垂直方向の一次元補間フィルタを利用し、整数位置にあるピクセル値に対してフィルタリングを行い、フィルタリングが行われて生成された値に対して、水平方向の一次元補間フィルタを利用してフィルタリングを行った後、逆スケーリングを行うことができる。このとき、逆スケーリングは、右側に逆スケーリングビット数ほど右側にビットシフティングすることを含んでもよい。逆スケーリングビット数は、垂直方向の一次元補間フィルタのスケーリングビット数、水平方向の一次元補間フィルタのスケーリングビット数、及びサンプルのビットデプスに基づいても決定される。例えば、垂直方向の一次元補間フィルタのスケーリングビット数ｐが６であり、水平方向の一次元補間フィルタのスケーリングビット数ｑが６であり、サンプルのビットデプスがｂである場合、逆スケーリングビット数は、ｐ＋ｑ＋８－ｂで２０－ｂでもある。

ブロック単位の動き補償部１１５が一次元補間フィルタを利用し、所定の方向成分が整数であるピクセルに対してフィルタリングを行った後、逆スケーリングビット数ほど右側にビットシフティングだけ行えば、四捨五入エラーが発生しうるために、一次元補間フィルタを利用し、所定の方向成分が整数であるピクセルに対してフィルタリングを行った後、オフセットほど加え、その後、逆スケーリングを行うことができる。このとき、該オフセットは、２＾（逆スケーリングビット数－１）でもある。

ピクセルグループ単位の動き補償部１２０は、現在ブロックに係わるピクセルグループ単位の動き補償を行い、ピクセルグループ単位の動き補償値を生成することができる。ピクセルグループ単位の動き補償部１２０は、現在ブロックの動き予測モードが、双方向動き予測モードである場合、現在ブロックに対して、ピクセルグループ単位の動き補償を行い、ピクセルグループ単位の動き補償値を生成することができる。

ピクセルグループ単位の動き補償部１２０は、第１参照ピクチャ及び第２参照ピクチャのピクセルグループのオプティカルフロー（optical flow）に基づいて、現在ブロックに係わるピクセルグループ単位の動き補償を行い、ピクセルグループ単位の動き補償値を生成することができる。該オプティカルフローについては、図３Ａに係わる説明で後述する。

ピクセルグループ単位の動き補償部１２０は、現在ブロックの参照ブロックに含まれたピクセルグループに対して、ピクセルグループ単位の動き補償を行い、ピクセルグループ単位の動き補償値を生成することができる。該ピクセルグループは、少なくとも１つのピクセルを含んでもよい。例えば、該ピクセルグループは、１つのピクセルでもある。または、該ピクセルグループは、２以上のピクセルを含む複数のピクセルでもある。該ピクセルグループは、ＫｘＫ（Ｋは、整数である）サイズのブロックに含まれた複数のピクセルでもある。

ピクセルグループ単位の動き補償部１２０は、ピクセルグループを決定し、前記決定されたピクセルグループに基づいて、現在ブロックに係わるピクセルグループ単位の動き補償を行うことができる。

ピクセルグループ単位の動き補償部１２０は、現在ブロックの大きさに基づいて、ピクセルグループの大きさを決定することができる。例えば、ピクセルグループ単位の動き補償部１２０は、現在ブロックの高さ及び幅のうち最小値に対して８を除した値と２との最大値を、ピクセルグループの高さ及び幅と決定することができる。

ピクセルグループ単位の動き補償部１２０は、複数のピクセルを含むピクセルグループ単位で動き補償を行うことにより、高い映像解像度からピクセル単位で動き補償を行うときより、符号化／復号の複雑度を低減させることができる。また、ピクセルグループ単位の動き補償部１２０は、複数のピクセルを含むピクセルグループ単位で動き補償を行うことにより、高いフレームレートからピクセル単位で動き補償を行うときより、符号化／復号の複雑度を低減させることができる。

獲得部１０５は、ビットストリームに含まれたピクセルグループの大きさについての情報を獲得することができる。該ピクセルグループの大きさについての情報は、ピクセルグループの大きさがＫｘＫである場合、高さまたは幅Ｋを示す情報でもある。該ピクセルグループの大きさについての情報は、ハイレベルシンタックスキャリア（high level syntax carrier）にも含まれる。

ピクセルグループ単位の動き補償部１２０は、ピクセルグループに含まれた複数のピクセルのうち、その値が類似したピクセル値を有するピクセルを含む少なくとも１つのピクセルグループパーティションを決定し、ピクセルグループパーティションに対して動き補償を行うことができる。このとき、類似したピクセル値を有するピクセルが含まれたピクセルグループパーティションは、同一物体（object）である可能性が高く、動きが類似している可能性が高いために、ピクセルグループ単位の動き補償部１２０は、さらに細密なピクセルグループ単位の動き補償を行うことができる。

一方、ピクセルグループ単位の動き補償は、動き予測モード情報が双方向動き予測モードを示す場合に行われるが、その場合にも、常時行われるものではなく、選択的にも行われる。

ピクセルグループ単位の動き補償部１２０は、現在ブロックの現在ピクセルグループに対応する参照ブロック内の参照ピクセルグループを決定し、参照ピクセルグループのグラジエント値を決定することができる。例えば、ピクセルグループ単位補償部１２０は、参照ピクセルグループに含まれた少なくとも１つのピクセル値のグラジエント値を利用し、参照ピクセルグループのグラジエント値を決定することができる。

ピクセルグループ単位の動き補償部１２０は、参照ピクセルグループのグラジエント値を利用し、現在ブロックに係わるピクセルグループ単位の動き補償を行い、ピクセルグループ単位の動き補償値を生成することができる。

ピクセルグループ単位の動き補償部１２０は、第１動きベクトルが示す第１参照ブロックのピクセルグループのうち第１ピクセルグループを含む第１ピクセルグループの第１周辺領域、及び第２動きベクトルが示す第２参照ブロックのピクセルグループのうち第２ピクセルグループを含む第２ピクセルグループの第２周辺領域にフィルタを適用し、第１ピクセルグループのグラジエント値、及び第２ピクセルグループのグラジエント値を生成することができる。

ピクセルグループ単位の動き補償部１２０は、第１参照ピクチャ内の第１ピクセルグループを中心に、第１ピクセルグループを含む所定サイズの第１ウィンドウ内ピクセルのピクセル値、及びピクセルのグラジエント値を決定し、第２参照ピクチャ内の第２参照ピクセルグループを中心に、第２参照ピクセルを含む所定サイズの第２ウィンドウ内ピクセルのピクセル値、及びピクセルのグラジエント値を決定することができる。

ピクセルグループ単位の動き補償部１２０は、第１ウィンドウ内ピクセルのピクセル値及びグラジエント値と、第２ウィンドウ内ピクセルのピクセル値及びグラジエント値とを利用し、現在ピクセルグループに係わる単位時間当たり変位ベクトルを決定することができる。このとき、現在ピクセルグループに係わる単位時間当たり変位ベクトルは、調節パラメータ（regularization parameter）により、その値が調節されもする。調節パラメータは、ピクセルグループの動き補償を行うために、適切ではない（ill-posed）現在ピクセルグループに係わる単位時間当たり変位ベクトルが決定されるとき、エラーが発生することを防止するために導入されたパラメータである。ピクセルグループ単位の動き補償部１２０は、水平方向または垂直方向の単位時間当たり変位ベクトルについての調節パラメータに基づいて、現在ブロックに係わるピクセルグループ単位の動き補償を行うことができる。該調節パラメータについては、図８Ａについての説明で後述する。

ピクセルグループ単位の動き補償部１２０は、現在ピクセルグループに係わる単位時間当たり変位ベクトル及び参照ピクセルのグラジエント値を利用し、現在ブロックに係わるピクセルグループ単位の動き補償を行うことができる。

参照ブロックの基準位置は、整数ピクセルの位置でもあるが、それに制限されるものではなく、小数ピクセルの位置でもある。

参照ブロックの基準位置が小数ピクセルの位置である場合、参照ブロック内の参照ピクセルのグラジエント値は、所定の方向成分が整数である周辺ピクセルのピクセル値を利用しても決定される。

例えば、ピクセルグループ単位の動き補償部１２０は、所定の方向成分が整数である周辺ピクセルのピクセル値に対して、グラジエントフィルタを利用してフィルタリングを行い、その結果値でもって、参照ピクセルのグラジエント値を決定することができる。このとき、グラジエントフィルタのフィルタ係数は、ＤＣＴ基盤の補間フィルタに対して事前に決定された係数を利用しても決定される。該グラジエントフィルタの係数は、フィルタリング遂行時、実数演算を減らすために、整数係数にスケーリングされたフィルタ係数でもある。

このとき、該グラジエントフィルタは、水平方向または垂直方向の一次元グラジエントフィルタでもある。

ピクセルグループ単位の動き補償部１２０は、参照ピクセルに係わる水平方向または垂直方向のグラジエント値を決定するために、水平方向または垂直方向の一次元グラジエントフィルタを利用し、対応方向成分が整数である周辺ピクセルに対してフィルタリングを行うことができる。

例えば、ピクセルグループ単位の動き補償部１２０は、水平方向の一次元グラジエントフィルタを利用し、参照ピクセルの周辺に位置するピクセルのうち水平方向成分が整数であるピクセルから、水平方向に位置するピクセルに対してフィルタリングを行い、参照ピクセルに係わる水平方向のグラジエント値を決定することができる。

もし参照ピクセルの位置が（ｘ＋α，ｙ＋β）（ここで、ｘ、ｙは、整数であり、α、βは、小数である）である場合、ピクセルグループ単位の動き補償部１２０は、（ｘ，ｙ）位置のピクセル、及び（ｘ，ｙ）位置のピクセルから垂直方向に位置するピクセルのうち垂直成分が整数であるピクセルに対して、垂直方向の一次元補間フィルタを利用してフィルタリングを行い、その結果値でもって、（ｘ，ｙ＋β）のピクセル値を決定することができる。

ピクセルグループ単位の動き補償部１２０は、（ｘ，ｙ＋β）位置のピクセル値、及び（ｘ，ｙ＋β）位置から水平方向に位置するピクセルのうち水平成分が整数であるピクセルに対して、水平方向のグラジエントフィルタを利用してフィルタリングを行い、その結果値でもって、（ｘ＋α，ｙ＋β）位置での水平方向のグラジエント値を決定することができる。

一次元のグラジエントフィルタ、及び一次元の補間フィルタを利用する順序は、制限されるものではない。以上では、まず垂直方向の補間フィルタを利用し、整数位置のピクセルに対してフィルタリングを行い、垂直方向の補間フィルタリング値を生成し、一次元の水平方向のグラジエントフィルタを利用し、前記垂直方向の補間フィルタリング値に対してフィルタリングを行う内容について説明したが、まず一次元の水平方向のグラジエントフィルタを利用し、整数位置のピクセルに対してフィルタリングを行い、水平方向の補間フィルタリング値を生成し、一次元の垂直方向の補間フィルタを利用し、前記水平方向の補間フィルタリング値にフィルタリングを行うことができる。

以上、ピクセルグループ単位の動き補償部１２０が、（ｘ＋α，ｙ＋β）位置での水平方向のグラジエント値を決定する内容について詳細に説明した。ピクセルグループ単位の動き補償部１２０が、（ｘ＋α，ｙ＋β）位置での垂直方向のグラジエント値も、水平方向のグラジエント値が決定されるところと類似した方式で決定すので、詳細な説明は、省略する。

以上、ピクセルグループ単位の動き補償部（２３０）が、小数ピクセル位置でのグラジエント値を決定するために、一次元グラジエントフィルタ及び一次元補間フィルタを利用する内容について詳細に説明した。ただし、それらに制限されるものではなく、整数ピクセル位置でのグラジエント値を決定するためにも、グラジエントフィルタ及び補間フィルタを利用することができる。ただし、整数ピクセルの場合、補間フィルタを利用しないとしても、ピクセル値が決定されるが、小数ピクセルでの処理と一貫した処理のために、整数ピクセル、及び所定の方向成分が整数である周辺ピクセルに対して、補間フィルタを利用してフィルタリングを行い、前記整数ピクセル値を決定することができる。例えば、整数ピクセルでの補間フィルタ係数は、｛０，０，６４，０，０｝でもあり、周辺整数ピクセルと係わる補間フィルタ係数が０であるために、現在整数ピクセルのピクセル値だけ利用してフィルタリングが行われ、結果としては、補間フィルタを利用し、現在整数ピクセル及び周辺整数ピクセルに対してフィルタリングを行い、現在整数ピクセルでのピクセル値が決定されもする。

ピクセルグループ単位の動き補償部１２０は、垂直方向の一次元補間フィルタを利用し、整数位置のピクセルに対してフィルタリングを行った後、逆スケーリングを行うことができる。このとき、逆スケーリングは、右側に逆スケーリングビット数ほどビットシフティングすることを含んでもよい。該逆スケーリングビット数は、サンプルのビットデプスに基づいても決定される。また、該逆スケーリングビット数は、ブロック内の具体的な入力データに基づいても決定される。

例えば、該ビットシフティング数は、サンプルのビットデプスから８を差し引いた値でもある。

ピクセルグループ単位の動き補償部１２０は、水平方向のグラジエントフィルタを利用し、前記逆スケーリングを行って生成された値に対してフィルタリングを行った後、逆スケーリングを行うことができる。同様に、ここで、逆スケーリングは、逆スケーリングビット数ほど右側にビットシフティングすることを含んでもよい。該逆スケーリングビット数は、垂直方向の一次元補間フィルタのスケーリングされたビット数、水平方向の一次元グラジエントフィルタのスケーリングされたビット数、及びサンプルのビットデプスに基づいても決定される。例えば、一次元補間フィルタのスケーリングビット数ｐが６であり、一次元グラジエントフィルタのスケーリングビット数ｑが４であり、サンプルのビットデプスがｂである場合、逆スケーリングビット数は、ｐ＋ｑ＋８－ｂであり、１８－ｂでもある。

ピクセルグループ単位の動き補償部１２０が、フィルタリングが行われた後、フィルタリングが行われて生成された値に対して、逆スケーリングビット数ほど右側にビットシフティングだけ行えば、四捨五入エラーが発生しうるために、フィルタリングが行われて生成された値にオフセットほど加え、その後、逆スケーリングを行うことができる。このとき、該オフセットは、２＾（逆スケーリングビット数－１）でもある。

インター予測部１１０は、現在ブロックに係わるブロック単位の動き補償値、及びピクセルグループ単位の動き補償値を利用し、現在ブロックの予測ピクセル値を生成することができる。例えば、インター予測部１１０は、現在ブロックに係わるブロック単位の動き補償値、及びピクセルグループ単位の動き補償値を合わせ、現在ブロックの予測ピクセル値を生成することができる。ここで、該ブロック単位の動き補償値は、ブロック単位の動き補償を行って生成された値を意味し、ピクセルグループ単位の動き補償値は、ピクセルグループ単位の動き補償を行って生成された値であり、ブロック単位の動き補償値は、参照ピクセルの平均値または加重和でもあり、ピクセルグループ単位の動き補償値は、現在ピクセルについての単位時間当たり変位ベクトル、及び参照ピクセルのグラジエント値に基づいて決定された値でもある。

ピクセルグループ単位の動き補償部１２０は、サンプルのビットデプス、補間演算またはグラジエント演算に利用されるフィルタの入力の範囲、及び前記フィルタの係数のうち少なくとも一つに基づいて、補間演算またはグラジエント演算後、デスケーリングのためのシフト値を獲得することができる。ピクセルグループ単位の動き補償部１２０は、デスケーリングのためのシフト値を利用し、第１参照ブロック及び第２参照ブロックに含まれたピクセルに係わる補間演算またはグラジエント演算後、デスケーリングを行うことができる。

インター予測部１１０は、ブロック単位の動き補償を行うとき、動きベクトルを利用し、当該動きベクトルを保存することができる。このとき、動きベクトル単位は、４ｘ４サイズのブロックでもある。一方、ブロック単位の動き補償後、動きベクトルを保存するとき、該動きベクトル保存単位は、４ｘ４サイズではない多様な大きさのブロック（例えば、ＲｘＲサイズのブロック；Ｒは、整数である）でもある。このとき、該動きベクトル保存単位は、４ｘ４サイズより大きいブロックでもある。例えば、１６ｘ１６サイズのブロックでもある。

一方、ピクセルグループ単位の動き補償を行う場合、現在ブロックの大きさと共に、ウィンドウサイズ及び補間フィルタ長に基づいて、ピクセルグループ単位の動き補償を行うための対象ブロックの大きさは、拡張されもする。該ウィンドウサイズに基づいて、現在ブロックの大きさより、対象ブロックの大きさが拡張される理由は、現在ブロックのエッジに位置するピクセルの場合、ウィンドウを利用し、現在エッジに位置するピクセル、及び周辺ピクセルに基づいて、現在ブロックに係わるピクセルグループ単位の動き補償を行うからである。

従って、ピクセルグループ単位の動き補償部１２０は、メモリアクセス回数を減らし、乗算演算の遂行を減らすために、ウィンドウを利用してピクセルグループ単位の動き補償を行う過程において、ウィンドウ内ピクセルのうち、現在ブロックから外れるピクセルの位置を、現在ブロック内部に隣接するピクセルの位置に調整し、調整されたピクセルの位置でのピクセル値及びグラジエント値を決定することにより、メモリアクセス回数及び乗算演算回数が低減されもする。

ピクセルグループ単位の動き補償部１２０は、ピクセルグループ単位の動き補償に必要な値である参照ピクセルのグラジエント値を決定するために、整数位置ピクセルのピクセル値を利用しない。すなわち、ピクセルグループ単位補償部１２０は、小数位置ピクセルのピクセル値に、水平方向または垂直方向のグラジエントフィルタを適用し、第１参照ブロック内の第１対応参照ピクセル、または第２参照ブロック内の第２対応参照ピクセルの水平方向または垂直方向のグラジエント値を算出することができる。このとき、グラジエントフィルタ長は、５でもある。このとき、フィルタの係数は、フィルタの中心係数を中心に対称になった係数を有することができる。小数位置ピクセルは、ピクセルの位置を示す水平方向成分及び垂直方向成分のうち少なくとも１つの成分が小数値を有するピクセルでもある。

第１参照ブロック内または第２参照ブロック内の小数位置ピクセルのピクセル値は、整数位置ピクセルのピクセル値に、水平方向または垂直方向の補間フィルタを適用し、算出されたものでもある。

現在ピクセルグループについての水平方向または垂直方向の単位時間当たり変位ベクトルは、前記現在ピクセルグループに対応する第１参照ピクチャ内の第１対応参照ピクセルグループに含まれた第１対応参照ピクセル、及び第２参照ピクチャ内の第２対応参照ピクセルグループに含まれた第２対応参照ピクセル、並びにその周辺ピクセルのピクセル値・グラジエント値、第１参照ピクチャと現在ピクチャとの第１ ＰＯＣ（picture order count）差、第２参照ピクチャと現在ピクチャとの第２ ＰＯＣ差に基づいて決定される値を利用して決定された単位時間当たり変位ベクトルでもある。

ピクセルグループ単位補償部１２０は、第１対応参照ピクセルまたは第２対応参照ピクセルが、第１参照ブロックまたは第２参照ブロックの境界内側に隣接する境界周辺ピクセルである場合、境界周辺ピクセルのピクセル値を利用し、第１参照ブロックまたは第２参照ブロックの境界外部に位置するピクセルのピクセル値を誘導することができる。

ピクセルグループ単位補償部１２０は、境界周辺ピクセルのピクセル値、及び境界周辺ピクセルのピクセル値を利用して誘導された現在ブロックの境界外部に位置するピクセルのピクセル値に基づいて、現在ブロックの水平方向または垂直方向の単位時間当たり変位ベクトルを決定することができる。すなわち、境界周辺ピクセルを中心にするウィンドウ内に含まれたピクセル内に、境界外部に位置するピクセルがあり、このとき、境界外部に位置するピクセルのピクセル値及びグラジエント値は、メモリに保存された値ではない境界周辺ピクセルから誘導されたピクセルのピクセル値及びグラジエント値でもある。

ピクセルグループ単位補償部１２０は、第１参照ブロックに含まれた第１対応参照ピクセルのピクセル値、第２参照ブロックに含まれた第２対応参照ピクセルのピクセル値、第１対応参照ピクセルのグラジエント値、第２対応参照ピクセルのグラジエント値、第１参照ピクチャと現在ピクチャとの第１ ＰＯＣ差、及び第２参照ピクチャと現在ピクチャとの第２ ＰＯＣ差を利用し、現在ピクセルに係わる値を算出することができる。すなわち、現在ピクセルに係わる値は、各参照ピクチャの対応参照ピクセルのピクセル値・グラジエント値、及び各参照ピクチャと現在ピクチャとのＰＯＣ差に基づいた関数の結果値でもある。

ピクセルグループ単位補償部１２０は、第１対応参照ピクセルの第１対応周辺ピクセルのピクセル値、第１対応周辺ピクセルのグラジエント値、第２対応参照ピクセルの第２対応周辺ピクセルのピクセル値、及び第２対応周辺ピクセルのグラジエント値、第１参照ピクチャと現在ピクチャとの第１ ＰＯＣ差、並びに第２参照ピクチャと現在ピクチャとの第２ ＰＯＣ差を利用して周辺ピクセルに係わる値を算出することができる。すなわち、周辺ピクセルに係わる値は、各参照ピクチャの対応参照ピクセルのピクセル値・グラジエント値、及び各参照ピクチャと現在ピクチャとのＰＯＣ差に基づいた関数の結果値でもある。すなわち、周辺ピクセルに係わる値は、各参照ピクチャの対応周辺ピクセルのピクセル値・グラジエント値、及び各参照ピクチャと現在ピクチャとのＰＯＣ差に基づいた関数の結果値でもある。

ピクセルグループ単位補償部１２０は、前記現在ピクセルに係わる値、周辺ピクセルに係わる値、及び加重値を利用し、水平方向の単位時間当たり変位ベクトルを算出するために必要な現在ピクセルについての加重平均値を算出することができる。このとき、加重値は、現在ピクセルと周辺ピクセルとの距離、ピクセルとブロック境界との距離、境界外に位置するピクセルの個数、またはピクセルが境界内側に位置するか、あるいは境界外側に位置するかということに基づいても決定される。

現在ピクセルについての加重平均値は、第１参照ブロック及び第２参照ブロックに含まれたピクセルに係わる値に対して、上下左右方向に指数平滑（exponential smoothing）技法を適用して算出された値でもある。ピクセルに係わる値に対して、上下左右方向に指数平滑技法を適用することにより、現在ピクセルに対して算出された値は、現在ピクセルに係わる値に係わる加重値が最も大きく、その周辺ピクセルに係わる値に係わる加重値は、現在ピクセルとの距離によって指数的に減少した値でもある。

ピクセルグループ単位補償部１２０は、現在ピクセルについての加重平均値を利用し、現在ピクセルの水平方向または垂直方向の単位時間当たり変位ベクトルを決定することができる。

復元部１２５は、ビットストリームから、現在ブロックのレジデュアルブロックを獲得し、前記レジデュアルブロックと、現在ブロックの予測ブロックとを利用し、現在ブロックを復元することができる。例えば、復元部１２５は、ビットストリームから、現在ブロックのレジデュアルブロックのピクセル値と、現在ブロックの予測ブロックのピクセル値とを合わせ、復元ブロックのピクセル値を生成することができる。

ビデオ復号装置１００は、映像復号部（図示せず）を含んでもよく、映像復号部（図示せず）は、獲得部１０５、インター予測部１１０及び復元部１２５を含んでもよい。映像復号部については、図１Ｅを参照して説明することにする。

図１Ｂは、多様な実施形態によるビデオ復号方法のフローチャートを図示する。

Ｓ１０５段階において、ビデオ復号装置１００は、ビットストリームから、現在ピクチャ内の現在ブロックに係わる動き予測モード情報を獲得することができる。ビデオ復号装置１００は、現在ピクチャ内の現在ブロックに係わる動き予測モード情報を含むビットストリームを受信し、受信されたビットストリームから、現在ブロックに係わる動き予測モード情報を獲得することができる。ビデオ復号装置１００は、ビットストリームから、現在ブロックの予測モードについての情報を獲得し、現在ブロックの予測モードについての情報を基に、現在ブロックの予測モードを決定することができる。このとき、現在ブロックの予測モードがインター予測モードである場合、ビデオ復号装置１００は、現在ブロックに係わる動き予測モード情報を獲得することができる。

例えば、ビデオ復号装置１００は、現在ブロックの予測モードについての情報を基に、現在ブロックの予測モードをインター予測モードに決定することができる。ビデオ復号装置１００は、現在ブロックの予測モードがインター予測モードである場合、ビットストリームから、現在ブロックに係わる動き予測モード情報を獲得することができる。

Ｓ１１０段階において、動き予測モード情報が双方向動き予測モードを示す場合、ビデオ復号装置１００は、第１参照ピクチャ内において、現在ブロックの第１参照ブロックを示す第１動きベクトル、及び第２参照ピクチャ内において、現在ブロックの第２参照ブロックを示す第２動きベクトルをビットストリームから獲得することができる。

すなわち、ビデオ復号装置１００は、第１動きベクトル及び第２動きベクトルについての情報を含むビットストリームを受信し、受信されたビットストリームから、第１動きベクトル及び第２動きベクトルを獲得することができる。ビデオ復号装置１００は、ビットストリームから参照ピクチャインデックスを獲得し、該参照ピクチャインデックスに基づいて、以前に復号されたピクチャのうち第１参照ピクチャ及び第２参照ピクチャを決定することができる。

Ｓ１１５段階において、ビデオ復号装置１００は、第１参照ブロック及び第２参照ブロックの境界外部に位置するピクセルについて保存された値の利用なしに、第１参照ブロック及び第２参照ブロックに含まれた参照ピクセルに係わる値を利用し、現在ブロックの境界内側に隣接するピクセルを含む現在ブロックのピクセルの水平方向または垂直方向の変位ベクトルを決定することができる。このとき、第１参照ブロック及び第２参照ブロックの境界外部に位置するピクセルについて保存された値、並びに第１参照ブロック及び第２参照ブロックに含まれた参照ピクセルに係わる値は、関連ピクセルのピクセル値、あるいは関連ピクセルの水平方向のグラジエント値、または垂直方向のグラジエント値でもある。または、第１参照ブロック及び第２参照ブロックの境界外部に位置するピクセルについて保存された値、並びに第１参照ブロック及び第２参照ブロックに含まれた参照ピクセルに係わる値は、関連ピクセルのピクセル値またはグラジエント値を利用して決定された値でもある。

Ｓ１２０段階において、ビデオ復号装置１００は、現在ブロック内の現在ピクセルグループに含まれた現在ピクセルに対応する第１参照ブロック内の第１対応参照ピクセルの水平方向または垂直方向のグラジエント値、第２参照ブロック内の第２対応参照ピクセルの水平方向または垂直方向のグラジエント値、前記第１対応参照ピクセルのピクセル値、前記第２対応参照ピクセルのピクセル値、及び前記現在ピクセルの水平方向または垂直方向の変位ベクトルを利用し、現在ブロックのブロック単位の動き補償、及びピクセルグループ単位の動き補償を行い、現在ブロックの予測ブロックを獲得することができる。

すなわち、ビデオ復号装置１００は、現在ブロックに対して、第１動きベクトル及び第２動きベクトルに基づいたブロック単位の動き補償、並びにピクセルグループ単位の動き補償を行い、現在ブロックの予測ブロックを生成することができる。ビデオ復号装置１００は、第１動きベクトルが示す第１参照ブロックのピクセル値、及び第２動きベクトルが示す第２参照ブロックのピクセル値を利用し、現在ブロックに係わるブロック単位の動き補償を行うことができる。また、ビデオ復号装置１００は、現在ピクセルグループに含まれた少なくとも１つのピクセルに対応する第１参照ブロック内の少なくとも１つの第１対応参照ピクセルの水平方向または垂直方向のグラジエント値、第２参照ブロック内の少なくとも１つの第２対応参照ピクセルの水平方向または垂直方向のグラジエント値、前記第１対応参照ピクセルのピクセル値、前記第２対応参照ピクセルのピクセル値、及び前記現在ピクセルの水平方向または垂直方向の変位ベクトルを利用し、現在ピクセルグループに対して、ピクセルグループ単位の動き補償を行うことができる。

ビデオ復号装置１００は、現在ブロックに対して、ブロック単位の動き補償を行って生成されたブロック単位の動き補償値、及び現在ピクセルグループに対して、ピクセルグループ単位の動き補償を行って生成されたピクセルグループ単位の動き補償値を利用し、現在ブロックの予測ブロックを獲得することができる。

Ｓ１２５段階において、ビデオ復号装置１００は、ビットストリームから、現在ブロックのレジデュアルブロックについての情報を獲得することができる。

Ｓ１３０段階において、ビデオ復号装置１００は、予測ブロック及びレジデュアルブロックに基づいて、現在ブロックを復元することができる。すなわち、ビデオ復号装置１００は、現在ブロックに係わるレジデュアルブロックが示すレジデュアルブロックのピクセル値と、予測ブロックの予測ピクセル値とを合わせ、現在ブロックの復元ブロックのピクセル値を生成することができる。

図１Ｃは、多様な実施形態によるビデオ符号化装置のブロック図を図示する。

多様な実施形態によるビデオ符号化装置１５０は、インター予測部１５５及びビットストリーム生成部１７０を含む。

インター予測部１５５は、現在ブロックに対して、率（rate）及び歪曲（distortion）コスト（cost）に基づいて、多様なブロックを参照してインター予測を行う。すなわち、インター予測部１５５は、現在ブロックが含まれた現在ピクチャより以前に符号化されたピクチャのうち少なくとも一つを利用し、現在ブロックの予測ピクセル値を生成することができる。

インター予測部１５５は、ブロック単位の動き補償部１６０、及びピクセルグループ単位の動き補償部１６５を含んでもよい。

ブロック単位の動き補償部１６０は、現在ブロックに対して、ブロック単位の動き補償を行い、ブロック単位の動き補償値を生成することができる。

ブロック単位の動き補償部１６０は、以前に復号されたピクチャのうち少なくとも１つの参照ピクチャを決定し、少なくとも１つの参照ピクチャ内に位置する現在ブロックの参照ブロックを決定することができる。

ブロック単位の動き補償部１６０は、参照ブロックのピクセル値を利用し、現在ブロックに係わるブロック単位の動き補償を行い、ブロック単位の動き補償値を生成することができる。ブロック単位の動き補償部１６０は、現在ブロックの現在ピクセルに対応する参照ブロックの参照ピクセル値を利用し、現在ブロックに係わるブロック単位の動き補償を行い、ブロック単位の動き補償値を生成することができる。

ブロック単位の動き補償部１６０は、複数の参照ピクチャそれぞれに含まれた複数の参照ブロックを利用し、現在ブロックに係わるブロック単位の動き補償を行い、ブロック単位の動き補償値を生成することができる。例えば、ブロック単位の動き補償部１６０は、現在ブロックの動き予測モードが双方向予測モードである場合、以前に符号化されたピクチャのうち２つの参照ピクチャを決定し、２つのピクチャに含まれた２つの参照ブロックを決定することができる。ここで、該双方向予測とは、ディスプレイされる順序が現在ピクチャより以前であるピクチャ、及びディスプレイされる順序が現在ピクチャより以後のピクチャを利用してインター予測を行うことを意味するところに制限されるものではなく、ディスプレイされる順序にかかわらず、現在ピクチャより以前に符号化された２つのピクチャを利用してインター予測することを意味する。

ブロック単位の動き補償部１６０は、２つの参照ブロック内において、２つの参照ピクセル値を利用し、現在ブロックに係わるブロック単位の動き補償を行い、ブロック単位の動き補償値を生成することができる。ブロック単位の動き補償部１６０は、２つの参照ピクセルの平均ピクセル値または加重和を利用し、現在ブロックに係わるブロック単位の動き補償を行い、ブロック単位の動き補償値を生成することができる。

ブロック単位の動き補償部１６０は、以前に符号化されたピクチャのうち、現在ブロックの動き補償のための参照ピクチャを示す参照ピクチャインデックスを出力することができる。

ブロック単位の動き補償部１６０は、現在ブロックを始点にし、現在ブロックの参照ブロックを終点にする動きベクトルを決定し、動きベクトルを出力することができる。該動きベクトルは、現在ピクチャ内の現在ブロックの基準座標と、参照ピクチャ内の参照ブロックの基準座標との変位を示すベクトルを意味する。例えば、現在ブロックの左上側コーナーの座標が、（１，１）であり、参照ピクチャ内の参照ブロックの左上側座標が、（３，３）である場合、動きベクトルは、（２，２）でもある。

参照ブロックの基準位置は、整数ピクセルの位置でもあるが、それに制限されるものではなく、小数ピクセルの位置でもある。このとき、該小数ピクセルの位置は、１／４ペル単位または１／１６ペル単位と決定されもする。ただし、それに制限されるものではなく、多様な小数ペル単位により、小数ピクセルの位置が決定されもする。

例えば、参照ブロックの基準位置が、（１．５，１．５）であり、現在ブロックの左上側コーナーの座標が、（１，１）である場合、動きベクトルは、（０．５，０．５）でもある。動きベクトルが、小数ピクセルの位置である参照ブロックの基準位置を示すために、１／４ペル単位または１／１６ペル単位と決定される場合、動きベクトルをスケーリングし、整数の動きベクトルを決定し、アップスケーリングされた動きベクトルを利用し、参照ブロックの基準位置を決定することができる。該参照ブロックの基準位置が、小数ピクセルの位置である場合、参照ブロックの参照ピクセルの位置も、小数ピクセルの位置でもある。従って、該参照ブロックにおいて、小数ピクセル位置のピクセル値は、所定の方向成分が整数である周辺ピクセルのピクセル値を利用しても決定される。

例えば、ブロック単位の動き補償部１６０は、補間フィルタを利用し、所定の方向成分が整数である周辺ピクセルのピクセル値に係わるフィルタリングを行い、その結果値でもって、小数ピクセル位置の参照ピクセル値を決定し、参照ピクセルのピクセル値を利用し、現在ブロックに係わるブロック単位の動き補償値を決定することができる。このとき、補間フィルタは、ＤＣＴ基盤のＭタップの補間フィルタを利用することができる。ＤＣＴ基盤のＭタップの補間フィルタの係数は、ＤＣＴ及びＩＤＣＴから誘導されもする。このとき、補間フィルタの係数は、フィルタリング遂行時、実数演算を減らすために、整数係数にスケーリングされたフィルタ係数でもある。

このとき、該補間フィルタは、水平方向または垂直方向の一次元補間フィルタでもある。

ブロック単位の動き補償部１６０は、まず周辺整数ピクセルに対して、垂直方向の一次元補間フィルタを利用してフィルタリングを行い、フィルタリングが行われた値に、水平方向の一次元補間フィルタを利用してフィルタリングを行い、小数ピクセル位置での参照ピクセル値を決定することができる。スケーリングされたフィルタ係数を利用する場合、ブロック単位の動き補償部１６０は、垂直方向の一次元補間フィルタを利用し、整数位置のピクセルに対してフィルタリングを行った後、フィルタリングが行われた値に対して、逆スケーリングを行うことができる。このとき、該逆スケーリングは、逆スケーリングビット数ほど右側にビットシフティングすることを含んでもよい。逆スケーリングビット数は、サンプルのビットデプスに基づいても決定される。例えば、該ビットシフティング数は、サンプルのビットデプスから８を差し引いた値でもある。

また、ブロック単位の動き補償部１６０は、水平方向の一次元補間フィルタを利用し、水平方向成分が整数であるピクセルに対してフィルタリングを行った後、逆スケーリングビット数ほど右側にビットシフティングすることを含んでもよい。該逆スケーリングビット数は、垂直方向の一次元補間フィルタ係数に対してスケーリングされたビット数、水平方向の一次元補間フィルタ係数に対してスケーリングされたビット数、及びサンプルのビットデプスに基づいても決定される。

ブロック単位の動き補償部１６０が、逆スケーリングビット数ほど右側にビットシフティングだけ行えば、四捨五入エラーが発生しうるために、所定方向の一次元補間フィルタを利用し、前記所定方向の成分が整数であるピクセルに対してフィルタリングを行い、フィルタリングが行われた値にオフセットを加え、オフセットが加えられた値に対して、逆スケーリングを行うことができる。このとき、該オフセットは、２＾（逆スケーリングビット数－１）でもある。

先に、垂直方向の一次元補間フィルタを利用したフィルタリング後、逆スケーリングビット数は、サンプルのビットデプスに基づいて決定する内容について説明したが、それに制限されるものではなく、サンプルのビットデプスだけではなく、補間フィルタ係数に対してスケーリングされたビット数を考慮しても決定される。すなわち、フィルタリング遂行時、利用されるレジスタの大きさ、及びフィルタリング遂行過程で生成された値を保存するバッファの大きさを考慮し、オーバーフロー（overflow）が発生しない範囲で、サンプルのビットデプス、補間フィルタ係数に対してスケーリングされたビット数に基づいて、逆スケーリングビット数が決定されもする。

ピクセルグループ単位の動き補償部１６５は、現在ブロックに係わるピクセルグループ単位の動き補償を行い、ピクセルグループ単位の動き補償値を生成することができる。例えば、ピクセルグループ単位の動き補償部１６５は、動き予測モードが、双方向動き予測モードである場合、現在ブロックに対して、ピクセルグループ単位の動き補償を行い、ピクセルグループ単位の動き補償値を生成することができる。

ピクセルグループ単位の動き補償部１６５は、現在ブロックの参照ブロックに含まれたピクセルのグラジエント値を利用し、現在ブロックに係わるピクセルグループ単位の動き補償を行い、ピクセルグループ単位の動き補償値を生成することができる。

ピクセルグループ単位の動き補償部１６５は、第１参照ピクチャ内の第１参照ブロックのピクセルのうち第１ピクセルの第１周辺領域、及び第２参照ピクチャ内の第２参照ブロックのピクセルのうち第２ピクセルの第２周辺領域にフィルタを適用し、第１ピクセルのグラジエント値、及び第２ピクセルのグラジエント値を生成することができる。

ピクセルグループ単位の動き補償部１６５は、第１参照ピクチャ内の第１参照ピクセルを中心に、第１参照ピクセルを含む所定サイズの第１ウィンドウ内ピクセルのピクセル値、及びピクセルのグラジエント値を決定し、第２参照ピクチャ内の第２参照ピクセルを中心に、第２参照ピクセルを含む所定サイズの第２ウィンドウ内ピクセルのピクセル値、及びピクセルのグラジエント値を決定することができる。ピクセルグループ単位の動き補償部１６５は、第１ウィンドウ内ピクセルのピクセル値、及びピクセルのグラジエント値と、第２ウィンドウ内ピクセルのピクセル値、及びピクセルのグラジエント値とを利用し、現在ピクセルに係わる単位時間当たり変位ベクトルを決定することができる。

ピクセルグループ単位の動き補償部１６５は、単位時間当たり変位ベクトル、及び参照ピクセルのグラジエント値を利用し、現在ブロックに係わるピクセルグループ単位の動き補償を行い、ピクセルグループ単位の動き補償値を生成することができる。

参照ピクセルの位置は、整数ピクセルの位置でもあるが、それに制限されるものではなく、小数ピクセルの位置でもある。

参照ブロックの基準位置が小数ピクセルの位置である場合、参照ブロック内の参照ピクセルのグラジエント値は、所定の方向成分が整数である周辺ピクセルのピクセル値を利用しても決定される。

例えば、ピクセルグループ単位の動き補償部１６５は、所定の方向成分が整数である周辺ピクセルのピクセル値に対して、グラジエントフィルタを利用してフィルタリングを行い、その結果値でもって、参照ピクセルのグラジエント値を決定することができる。このとき、グラジエントフィルタのフィルタ係数は、ＤＣＴ基盤の補間フィルタに対して事前に決定された係数を利用しても決定される。

グラジエントフィルタの係数は、フィルタリング遂行時、実数演算を減らすために、整数係数にスケーリングされたフィルタ係数でもある。このとき、利用されるグラジエントフィルタは、水平方向または垂直方向の一次元グラジエントフィルタでもある。

ピクセルグループ単位の動き補償部１６５は、参照ピクセルに係わる水平方向または垂直方向のグラジエント値を決定するために、水平方向または垂直方向の一次元グラジエントフィルタを利用し、対応方向成分が整数である周辺ピクセルに対してフィルタリングを行うことができる。

例えば、ピクセルグループ単位の動き補償部１６５は、垂直方向の一次元補間フィルタを利用し、参照ピクセルに接する整数ピクセルから垂直方向のピクセルのうち垂直成分が整数であるピクセルに対してフィルタリングを行い、垂直成分が小数であるピクセルのピクセル値を決定することができる。

ピクセルグループ単位の動き補償部１６５は、参照ピクセルと隣接する前記整数ピクセルと隣接する他の列（column）に位置するピクセルについても、垂直方向の一次元補間フィルタを利用し、垂直方向の周辺整数ピクセルに対してフィルタリングを行い、前記他の列に位置する小数ピクセル位置のピクセル値を決定することができる。ここで、前記他の列に位置するピクセルの位置は、垂直方向に小数ピクセルの位置であり、水平方向には、整数ピクセルの位置でもある。

すなわち、参照ピクセルの位置が、（ｘ＋α，ｙ＋β）（ここで、ｘ、ｙは、整数であり、α、βは、小数である）である場合、ピクセルグループ単位の動き補償部１６５は、（ｘ，ｙ）位置から垂直方向の周辺整数ピクセルに対して垂直方向の補間フィルタを利用してフィルタリングを行うことにより、（ｘ，ｙ＋β）位置でのピクセル値を決定することができる。

ピクセルグループ単位の動き補償部１６５は、（ｘ，ｙ＋β）位置でのピクセル値と、（ｘ，ｙ＋β）位置でのピクセル値とから、水平方向に位置するピクセルのうち水平成分が整数であるピクセルのピクセル値に対して、水平方向のグラジエントフィルタを利用してフィルタリングを行うことにより、（ｘ＋α，ｙ＋β）位置での水平方向のグラジエント値を決定することができる。

一次元のグラジエントフィルタ、及び一次元の補間フィルタを利用する順序は、制限されるものではない。前述のように、まず垂直方向の補間フィルタを利用し、整数位置のピクセルに対してフィルタリングを行い、垂直方向の補間フィルタリング値を生成し、一次元の水平方向のグラジエントフィルタを利用し、前記垂直方向の補間フィルタリング値に対してフィルタリングを行うことができるが、それに制限されるものではなく、まず一次元の水平方向のグラジエントフィルタを利用し、整数位置のピクセルに対してフィルタリングを行い、水平方向のグラジエントフィルタリング値を生成し、一次元の垂直方向の補間フィルタを利用し、前記水平方向のグラジエントフィルタリング値に対してフィルタリングを行うことができる。

以上、ピクセルグループ単位の動き補償部１６５が、（ｘ＋α，ｙ＋β）位置での水平方向のグラジエント値を決定する内容について詳細に説明した。

ピクセルグループ単位の動き補償部１６５は、（ｘ＋α，ｙ＋β）位置での垂直方向のグラジエント値も、水平方向のグラジエント値が決定されるところと類似した方式で決定することができる。

ピクセルグループ単位の動き補償部１６５は、垂直方向の一次元グラジエントフィルタを利用し、参照ピクセルの周辺の整数ピクセルから垂直方向の周辺整数ピクセルに対してフィルタリングを行い、参照ピクセルに係わる垂直方向のグラジエント値を決定することができる。ピクセルグループ単位の動き補償部１６５は、参照ピクセルと隣接する他の列に位置するピクセルについても、垂直方向の一次元グラジエントフィルタを利用し、垂直方向の周辺整数ピクセルに対してフィルタリングを行い、参照ピクセルと隣接しながら、他の列に位置するピクセルに係わる垂直方向のグラジエント値を決定することができる。ここで、前記ピクセルの位置は、垂直方向に小数ピクセルの位置であり、水平方向には、整数ピクセルの位置でもある。

すなわち、参照ピクセルの位置が、（ｘ＋α，ｙ＋β）（ここで、ｘ、ｙは、整数であり、α、βは、小数である）である場合、ピクセルグループ単位の動き補償部１６５は、（ｘ，ｙ）位置から垂直方向の周辺整数ピクセルに対して垂直方向のグラジエントフィルタを利用してフィルタリングを行うことにより、（ｘ，ｙ＋β）位置での垂直方向のグラジエント値を決定することができる。

ピクセルグループ単位の動き補償部１６５は、（ｘ，ｙ＋β）位置でのグラジエント値と、（ｘ，ｙ＋β）位置から水平方向に位置する周辺整数ピクセルのグラジエント値とに対して、水平方向の補間フィルタを利用してフィルタリングを行うことにより、（ｘ＋α，ｙ＋β）位置での垂直方向のグラジエント値を決定することができる。

一次元のグラジエントフィルタ、及び一次元の補間フィルタを利用する順序は、制限されるものではない。前述のように、まず垂直方向のグラジエントフィルタを利用し、整数位置のピクセルに対してフィルタリングを行い、垂直方向のグラジエントフィルタリング値を生成し、一次元の水平方向の補間フィルタを利用し、前記垂直方向のグラジエントフィルタリング値に対してフィルタリングを行うことができるが、それに制限されるものではなく、まず一次元の水平方向の補間フィルタを利用し、整数位置のピクセルに対してフィルタリングを行い、水平方向の補間フィルタリング値を生成し、一次元の垂直方向のグラジエントフィルタを利用し、前記水平方向の補間フィルタリング値に対してフィルタリングを行うことができる。

以上、ピクセルグループ単位の動き補償部１６５が、小数ピクセル位置でのグラジエント値を決定するために、グラジエントフィルタ及び補間フィルタを利用する内容について詳細に説明した。ただし、それらに制限されるものではなく、整数ピクセル位置でのグラジエント値を決定するためにも、グラジエントフィルタ及び補間フィルタを利用することができる。

整数ピクセルの場合、補間フィルタを利用しないとしても、そのピクセル値を決定することができるが、小数ピクセルでの処理と一貫した処理のために、前記整数ピクセル及び周辺整数ピクセルに対して補間フィルタを利用してフィルタリングが行われもする。例えば、整数ピクセルでの補間フィルタ係数は、｛０，０，６４，０，０｝でもあり、周辺整数ピクセルに乗じられる補間フィルタ係数が０であるために、現在整数ピクセルのピクセル値だけ利用してフィルタリングが行われ、結果としては、現在整数ピクセル及び周辺整数ピクセルに対して補間フィルタを利用してフィルタリングを行うことによって生成された値と、現在整数ピクセルのピクセル値は、同一に決定されもする。

一方、スケーリングされたフィルタ係数を利用する場合、ピクセルグループ単位の動き補償部１６５は、水平方向の一次元グラジエントフィルタを利用し、整数位置のピクセルに対してフィルタリングを行い、フィルタリングが行われた値に逆スケーリングを行うことができる。このとき、該逆スケーリングは、逆スケーリングビット数ほど右側にビットシフティングすることを含んでもよい。該逆スケーリングビット数は、サンプルのビットデプスに基づいても決定される。例えば、該逆スケーリングビット数は、サンプルのビットデプスから８ほど差し引いた値でもある。

ピクセルグループ単位の動き補償部１６５は、垂直方向の補間フィルタを利用し、垂直方向の成分が整数であるピクセルに対してフィルタリングを行った後、逆スケーリングを行うことができる。このとき、該逆スケーリングは、逆スケーリングビット数ほど右側にビットシフティングすることを含んでもよい。該逆スケーリングビット数は、垂直方向の一次元補間フィルタのスケーリングされたビット数、水平方向の一次元グラジエントフィルタのスケーリングされたビット数、及びサンプルのビットデプスに基づいても決定される。

ピクセルグループ単位の動き補償部１６５が、逆スケーリングビット数ほど右側にビットシフティングだけ行えば、四捨五入エラーが発生しうる。従って、一次元補間フィルタを利用してフィルタリングが行われた後、フィルタリングが行われた値にオフセットが加えられ、オフセットが加えられた値に逆スケーリングを行うことができる。このとき、オフセットは、２＾（ビットシフティング数－１）でもある。

インター予測部１１０は、ブロック単位の動き補償を行うとき、動きベクトルを利用し、当該動きベクトルを保存することができる。このとき、動きベクトル単位は、４ｘ４サイズのブロックでもある。一方、ブロック単位の動き補償後に動きベクトルを保存するとき、動きベクトル保存単位は、４ｘ４サイズではない多様な大きさのブロック（例えば、ＲｘＲサイズのブロック；Ｒは、整数である）でもある。このとき、該動きベクトル保存単位は、４ｘ４サイズより大きいブロックでもある。例えば、１６ｘ１６サイズのブロックでもある。

一方、ピクセルグループ単位の動き補償を行う場合、現在ブロックの大きさと共に、ウィンドウサイズ及び補間フィルタ長に基づいて、ピクセルグループ単位の動き補償を行うための対象ブロックの大きさは、拡張されもする。ウィンドウサイズに基づいて、現在ブロックの大きさより対象ブロックの大きさが拡張される理由は、現在ブロックのエッジに位置するピクセルの場合、ウィンドウを利用し、現在エッジに位置するピクセル、及び周辺ピクセルに基づいて、現在ブロックに係わるピクセルグループ単位の動き補償を行うからである。

従って、ピクセルグループ単位の動き補償部１２０は、メモリアクセス回数を減らし、乗算演算の遂行を減らすために、ウィンドウを利用してピクセルグループ単位の動き補償を行う過程において、ウィンドウ内ピクセルのうち、現在ブロックから外れるピクセルの位置を、現在ブロック内部に隣接するピクセルの位置に調整し、調整されたピクセルの位置でのピクセル値及びグラジエント値を決定することにより、メモリアクセス回数及び乗算演算回数が低減されもする。

ピクセルグループ単位の動き補償部１２０は、ピクセルグループ単位の動き補償に必要な値である参照ピクセルのグラジエント値を決定するために、整数位置ピクセルのピクセル値を利用しない。すなわち、ピクセルグループ単位補償部１２０は、小数位置ピクセルのピクセル値に、水平方向または垂直方向のグラジエントフィルタを適用し、第１参照ブロック内の第１対応参照ピクセル、または第２参照ブロック内の第２対応参照ピクセルの水平方向または垂直方向のグラジエント値を算出することができる。このとき、グラジエントフィルタ長は、５でもある。このとき、フィルタの係数は、フィルタの中心係数を中心に対称になった係数を有することができる。小数位置ピクセルは、ピクセルの位置を示す水平方向成分及び垂直方向成分のうち少なくとも１つの成分が小数値を有するピクセルでもある。

第１参照ブロック内または第２参照ブロック内の小数位置ピクセルのピクセル値は、整数位置ピクセルのピクセル値に、水平方向または垂直方向の補間フィルタを適用し、算出されたものでもある。

現在ピクセルグループについての水平方向または垂直方向の単位時間当たり変位ベクトルは、前記現在ピクセルグループに対応する第１参照ピクチャ内の第１対応参照ピクセルグループに含まれた第１対応参照ピクセル、及び第２参照ピクチャ内の第２対応参照ピクセルグループに含まれた第２対応参照ピクセル、並びにその周辺ピクセルのピクセル値・グラジエント値、第１参照ピクチャと現在ピクチャとの第１ ＰＯＣ差、第２参照ピクチャと現在ピクチャとの第２ ＰＯＣ差に基づいて決定される値を利用して決定された単位時間当たり変位ベクトルでもある。

ピクセルグループ単位補償部１２０は、第１対応参照ピクセルまたは第２対応参照ピクセルが、第１参照ブロックまたは第２参照ブロックの境界内側に隣接する境界周辺ピクセルである場合、境界周辺ピクセルのピクセル値を利用し、第１参照ブロックまたは第２参照ブロックの境界外部に位置するピクセルのピクセル値を誘導することができる。

ピクセルグループ単位補償部１２０は、境界周辺ピクセルのピクセル値、及び境界周辺ピクセルのピクセル値を利用して誘導された現在ブロックの境界外部に位置するピクセルのピクセル値に基づいて、現在ブロックの水平方向または垂直方向の単位時間当たり変位ベクトルを決定することができる。すなわち、境界周辺ピクセルを中心にするウィンドウ内に含まれたピクセル内に、境界外部に位置するピクセルがあり、このとき、境界外部に位置するピクセルのピクセル値及びグラジエント値は、メモリに保存された値ではない境界周辺ピクセルから誘導されたピクセルのピクセル値及びグラジエント値でもある。

ピクセルグループ単位補償部１２０は、第１参照ブロックに含まれた第１対応参照ピクセルのピクセル値、第２参照ブロックに含まれた第２対応参照ピクセルのピクセル値、第１対応参照ピクセルのグラジエント値、第２対応参照ピクセルのグラジエント値、第１参照ピクチャと現在ピクチャとの第１ ＰＯＣ差、及び第２参照ピクチャと現在ピクチャとの第２ ＰＯＣ差を利用し、現在ピクセルに係わる値を算出することができる。すなわち、現在ピクセルに係わる値は、各参照ピクチャの対応参照ピクセルのピクセル値・グラジエント値、及び各参照ピクチャと現在ピクチャとのＰＯＣ差に基づいた関数の結果値でもある。

ピクセルグループ単位補償部１２０は、第１対応参照ピクセルの第１対応周辺ピクセルのピクセル値、第１対応周辺ピクセルのグラジエント値、第２対応参照ピクセルの第２対応周辺ピクセルのピクセル値、及び第２対応周辺ピクセルのグラジエント値、第１参照ピクチャと現在ピクチャとの第１ ＰＯＣ差、並びに第２参照ピクチャと現在ピクチャとの第２ ＰＯＣ差を利用して算出された対応周辺ピクセルに係わる値を算出することができる。すなわち、周辺ピクセルに係わる値は、各参照ピクチャの対応参照ピクセルのピクセル値・グラジエント値、及び各参照ピクチャと現在ピクチャとのＰＯＣ差に基づいた関数の結果値でもある。すなわち、対応周辺ピクセルに係わる値は、各参照ピクチャの対応周辺ピクセルのピクセル値・グラジエント値、及び各参照ピクチャと現在ピクチャとのＰＯＣ差に基づいた関数の結果値でもある。

ピクセルグループ単位補償部１２０は、現在ピクセルに係わる値、対応周辺ピクセルに係わる値、及び加重値を利用し、水平方向の単位時間当たり変位ベクトルを算出するために必要な現在ピクセルについての加重平均値を算出することができる。このとき、加重値は、現在ピクセルと周辺ピクセルとの距離、ピクセルとブロック境界との距離、境界外に位置するピクセルの個数、またはピクセルが境界内側に位置するか、あるいは境界外側に位置するかということに基づいても決定される。

現在ピクセルについての加重平均値は、第１参照ブロック及び第２参照ブロックに含まれたピクセルに係わる値に対して、上下左右方向に指数平滑技法を適用して算出された値でもある。ピクセルに係わる値に対して、上下左右方向に指数平滑技法を適用することにより、現在ピクセルに対して算出された値は、現在ピクセルに係わる値に係わる加重値が最も大きく、その周辺ピクセルに係わる値に係わる加重値は、現在ピクセルとの距離によって指数的に減少した値でもある。

ピクセルグループ単位補償部１２０は、現在ピクセルについての加重平均値を利用し、現在ピクセルの水平方向または垂直方向の単位時間当たり変位ベクトルを決定することができる。

インター予測部１５５は、現在ブロックに係わるブロック単位の動き補償値、及び現在ブロックに係わるピクセルグループ単位の動き補償値を利用し、現在ブロックの予測ピクセル値を生成することができる。例えば、インター予測部１５５は、現在ブロックに係わるブロック単位の動き補償値、及びピクセルグループ単位の動き補償値を合わせ、現在ブロックの予測ピクセル値を生成することができる。特に、インター予測部１５５は、現在ブロックの動き予測モードが、双方向動き予測モードである場合、現在ブロックに係わるブロック単位の動き補償値、及び現在ブロックに係わるピクセルグループ単位の動き補償値を利用し、現在ブロックの予測ピクセル値を生成することができる。

インター予測部１５５は、現在ブロックの動き予測モードが単方向動き予測モードである場合、現在ブロックに係わるブロック単位の動き補償値を利用し、現在ブロックの予測ピクセル値を生成することができる。ここで、単方向とは、以前に符号化されたピクチャのうち１つの参照ピクチャを利用することを意味する。１つの参照ピクチャは、ディスプレイ順序上、現在ピクチャより以前ピクチャであることに制限されるものではなく、以後ピクチャでもある。

インター予測部１５５は、現在ブロックの動き予測モードを決定し、現在ブロックの動き予測モードを示す情報を出力することができる。例えば、インター予測部１５５は、現在ブロックの動き予測モードにおいて、双方向動き予測モードを決定し、双方向動き予測モードを示す情報を出力することができる。ここで、双方向動き予測モードというのは、２つの復号された参照ピクチャ内の参照ブロックを利用して動き予測するモードを意味する。

ビットストリーム生成部１７０は、参照ブロックを示す動きベクトルを含むビットストリームを生成することができる。ビットストリーム生成部１７０は、参照ブロックを示す動きベクトルを符号化し、符号化された動きベクトルを含むビットストリームを生成することができる。ビットストリーム生成部１７０は、参照ブロックを示す動きベクトルのベクトルの差分値を符号化し、符号化された動きベクトルの差分値を含むビットストリームを生成することができる。ここで、動きベクトルの差分値は、動きベクトルと、動きベクトルの予測子との差値を意味する。このとき、動きベクトルの差分値は、Ｌ０方向及びＬ１方向を含む予測方向それぞれと係わる参照ピクチャに係わる動きベクトルの差分値を意味する。ここで、Ｌ０方向に係わる動きベクトルの差分値は、Ｌ０参照ピクチャリストに含まれた参照ピクチャ内の参照ブロックを示す動きベクトルの差分値を意味し、Ｌ１方向に係わる動きベクトルの差分値は、Ｌ１参照ピクチャリストに含まれた参照ピクチャ内の参照ブロックを示す動きベクトルの差分値を意味する。

また、ビットストリーム生成部１７０は、現在ブロックの動き予測モードを示す情報をさらに含むビットストリームを生成することができる。ビットストリーム生成部１７０は、以前に符号化されたピクチャのうち現在ブロックの参照ピクチャを示す参照ピクチャインデックスを符号化し、符号化された参照ピクチャインデックスを含むビットストリームを生成することができる。このとき、該参照ピクチャインデックスは、Ｌ０方向及びＬ１方向を含む予測方向それぞれに係わる参照ピクチャインデックスを意味する。ここで、Ｌ０方向に係わる参照ピクチャインデックスは、Ｌ０参照ピクチャリストに含まれたピクチャのうち参照ピクチャを示すインデックスを意味し、Ｌ１方向に係わる参照ピクチャインデックスは、Ｌ１参照ピクチャリストに含まれたピクチャのうち参照ピクチャを示すインデックスを意味する。

ビデオ符号化装置１５０は、映像符号化部（図示せず）を含んでもよく、映像符号化部（図示せず）は、インター予測部１５５及びビットストリーム生成部１７０を含んでもよい。映像符号化部については、図１Ｆを参照して説明することにする。

図１Ｄは、多様な実施形態によるビデオ符号化方法のフローチャートを図示する。

図１Ｄを参照すれば、Ｓ１５０段階において、ビデオ符号化装置１５０は、現在ブロックに係わる動き補償、及びピクセルグループ単位の動き補償を行い、現在ブロックの予測ブロック、第１動きベクトル及び第２動きベクトル、並びにピクセルグループ単位の動き補償に係わるパラメータを獲得することができる。

Ｓ１５５段階において、ビデオ符号化装置１５０は、第１動きベクトル及び第２動きベクトルについての情報、及び現在ブロックに係わる動き予測モードが、双方向動き予測モードであるか否かということを示す動き予測モード情報を含むビットストリームを生成することができる。ここで、第１動きベクトルは、現在ブロックから、現在ピクチャ内の現在ブロックに対応する第１参照ピクチャの第１参照ブロックを示す動きベクトルでもあり、第２動きベクトルは、現在ブロックから、現在ピクチャ内の現在ブロックに対応する第２参照ピクチャの第２参照ブロックを示す動きベクトルでもある。

ビデオ符号化装置１５０は、現在ブロックの予測ブロックのピクセルと、現在ブロックの原本ブロックとの差を示す現在ブロックのレジデュアルブロックを符号化し、符号化されたレジデュアル信号をさらに含むビットストリームを生成することができる。ビデオ符号化装置１５０は、現在ブロックの予測モードについての情報、及び参照ピクチャインデックスを符号化し、符号化された現在ブロックの予測モードについての情報、及び参照ピクチャインデックスをさらに含むビットストリームを生成することができる。例えば、ビデオ符号化装置１５０は、現在ブロックの予測モードがインター予測モードであるか否かということを示す情報と、以前に復号されたピクチャのうち少なくとも１つのピクチャを示す参照ピクチャインデックスとを符号化し、符号化された現在ブロックの予測モードについての情報、及び参照ピクチャインデックスをさらに含むビットストリームを生成することができる。

ビデオ符号化装置１５０は、現在ブロック内の現在ピクセルグループに含まれた現在ピクセルに対応する前記第１参照ブロック内の第１対応参照ピクセルの水平方向または垂直方向のグラジエント値、前記現在ピクセルに対応する前記第２参照ブロック内の第２対応参照ピクセルの水平方向または垂直方向のグラジエント値、前記第１対応参照ピクセルのピクセル値、前記第２対応参照ピクセルのピクセル値、並びに前記現在ピクセルの水平方向または垂直方向の単位時間当たり変位ベクトルに基づいて、現在ブロックに係わるブロック単位の動き補償、及びピクセルグループ単位の動き補償を行うことができる。ビデオ符号化装置１５０は、現在ブロックに係わるブロック単位の動き補償、及びピクセルグループ単位の動き補償を行い、現在ブロックの予測ブロックを獲得することができる。

このとき、現在ブロックの境界内側に隣接するピクセルを含む現在ブロックのピクセルの水平方向または垂直方向の単位時間当たり変位ベクトルは、第１参照ブロック及び第２参照ブロックの境界外部に位置するピクセルについて保存された値の利用なしに、第１参照ブロック及び第２参照ブロックに含まれた参照ピクセルに係わる値を利用しても決定される。第１参照ブロック及び第２参照ブロックに含まれた参照ピクセルに係わる値は、参照ピクセルのピクセル値またはグラジエント値でもある。

図１Ｅは、多様な実施形態による映像復号部６００のブロック図を図示する。

多様な実施形態による映像復号部６００は、ビデオ復号装置１００の映像復号部（図示せず）において、映像データを符号化させるのに経る作業を遂行する。

図１Ｅを参照すれば、エントロピー復号部６１５は、ビットストリーム６０５から、復号対象である符号化された映像データ、及び復号のために必要な符号化情報をパージングする。符号化された映像データは、量子化された変換係数であり、逆量子化部６２０及び逆変換部６２５は、量子化された変換係数からレジデュデータを復元する。

イントラ予測部６４０は、ブロック別にイントラ予測を行う。インター予測部６３５は、ブロック別に、復元ピクチャバッファ６３０で獲得された参照映像を利用してインター予測を行う。図１Ｅのインター予測部６３５は、図１Ａのインター予測部１１０に対応する。

イントラ予測部６４０またはインター予測部６３５で生成された各ブロックに係わる予測データと、レジデュデータとが加えられることにより、現在映像６０５のブロックに係わる空間領域のデータが復元され、デブロッキング部６４５及びＳＡＯ遂行部６５０は、復元された空間領域のデータに対してループフィルタリングを行い、フィルタリングされた復元映像６６０を出力することができる。また、復元ピクチャバッファ６３０に保存された復元映像は、参照映像として出力されもする。

ビデオ復号装置１００の復号部（図示せず）において、映像データを復号するために、多様な実施形態による映像復号部６００の段階別作業がブロック別に遂行されもする。

図１Ｆは、多様な実施形態による映像符号化部のブロック図を図示する。

多様な実施形態による映像符号化部７００は、ビデオ符号化装置１５０の映像符号化部（図示せず）において、 映像データを符号化させるのに経る作業を遂行する。

すなわち、イントラ予測部７２０は、現在映像７０５において、ブロック別にイントラ予測を行い、インター予測部７１５は、ブロック別に、現在映像７０５及び復元ピクチャバッファ７１０で獲得された参照映像を利用してインター予測を行う。ここで、図１Ｅのインター予測部７１５は、図１Ｃのインター予測部１６０に対応する。

イントラ予測部７２０またはインター予測部７１５から出力された各ブロックに係わる予測データを、現在映像７０５のエンコードされるブロックに係わるデータから差し引くことにより、レジデュデータを生成し、変換部７２５及び量子化部７３０は、レジデュデータに対して変換及び量子化を行い、ブロック別に量子化された変換係数を出力することができる。逆量子化部７４５、逆変換部７５０は、量子化された変換係数に対して逆量子化及び逆変換を行い、空間領域のレジデュデータを復元することができる。復元された空間領域のレジデュデータは、イントラ予測部７２０またはインター予測部７１５から出力された各ブロックに係わる予測データと加えられることにより、現在映像７０５のブロックに係わる空間領域のデータに復元される。デブロッキング部７５５及びＳＡＯ遂行部７６０は、復元された空間領域のデータに対してインループフィルタリングを行い、フィルタリングされた復元映像を生成する。生成された復元映像は、復元ピクチャバッファ７１０に保存される。復元ピクチャバッファ７１０に保存された復元映像は、他の映像のインター予測のための参照映像にも利用される。エントロピー符号化部７３５は、量子化された変換係数に対してエントロピー符号化し、エントロピー符号化された係数が、ビットストリーム７４０としても出力される。

多様な実施形態による映像符号化部７００がビデオ符号化装置１５０に適用されるために、多様な実施形態による映像符号化部７００の段階別作業がブロック別に遂行されもする。

図２は、一実施形態によるブロック基盤双方向動き予測及びその補償の過程について説明するための参照図である。図２を参照すれば、ビデオ符号化装置１５０は、第１参照ピクチャ２１０及び第２参照ピクチャ２２０において、現在ピクチャ２００の符号化される現在ブロック２０１と最も類似している領域を検索する双方向動き予測を行う。ここで、第１参照ピクチャ２１０は、現在ピクチャ２００以前のピクチャであり、第２参照ピクチャ２２０は、現在ピクチャ２００以後のピクチャと仮定する。ビデオ符号化装置１５０は、双方向動き予測結果、第１参照ピクチャ２１０において、現在ブロック２０１と最も類似している第１対応領域２１２、及び第２参照ピクチャ２２０において、現在ブロック２０１と最も類似している第２対応領域２２２を決定する。ここで、第１対応領域及び第２対応領域が現在ブロックの参照領域にもなる。

そして、ビデオ符号化装置１５０は、第１参照ピクチャ２１０の現在ブロック２０１と同一位置のブロック２１１と、第１対応領域２１２との位置差に基づいて、第１動きベクトルＭＶ１を決定し、第２参照ピクチャ２２０の現在ブロック２０１と同一位置のブロック２２１と、第２対応領域２２２との位置差に基づいて、第２動きベクトルＭＶ２を決定する。

ビデオ符号化装置１５０は、第１動きベクトルＭＶ１及び第２動きベクトルＭＶ２を利用し、現在ブロック２０１に対するブロック単位双方向動き補償を行う。

例えば、第１参照ピクチャ２１０の（ｉ，ｊ）（ｉ、ｊは、整数である）に位置したピクセル値をＰ０（ｉ，ｊ）、第２参照ピクチャ２２０の（ｉ，ｊ）に位置したピクセル値をＰ１（ｉ，ｊ）、ＭＶ１＝（ＭＶｘ１，ＭＶｙ１）、ＭＶ２＝（ＭＶｘ２，ＭＶｙ２）とすれば、現在ブロック２０１の（ｉ，ｊ）位置ピクセルのブロック単位双方向動き補償値Ｐ＿ＢｉＰｒｅｄＢｌｏｃｋ（ｉ，ｊ）は、次の数式：Ｐ＿ＢｉＰｒｅｄＢｌｏｃｋ（ｉ，ｊ）＝｛Ｐ０（ｉ＋ＭＶｘ１，ｊ＋ＭＶｙ１）＋Ｐ１（ｉ＋ＭＶｘ２，ｊ＋ＭＶｙ２）｝／２のように計算されもする。このように、ビデオ符号化装置１５０は、第１動きベクトルＭＶ１及び第２動きベクトルＭＶ２が示す第１対応領域２１２及び第２対応領域２２２のピクセルの平均値や加重和を利用し、現在ブロック２０１に対するブロック単位の動き補償を行い、ブロック単位の動き補償値を生成することができる。

図３Ａないし３Ｃは、一実施形態によるピクセルグループ単位の動き補償を行う過程について説明するための参照図である。

図３Ａにおいて、第１対応領域３１０及び第２対応領域３２０は、それぞれ図２の第１対応領域２１２及び第２対応領域２２２と対応するものであり、現在ブロック３００にオーバーラップされるように、双方向動きベクトル（ＭＶ１，ＭＶ２）を利用してシフトされたものであると仮定する。

また、現在ブロック３００の双方向予測される（ｉ，ｊ）（ｉ、ｊは、整数である）位置のピクセルをＰ（ｉ，ｊ）、現在ブロック３００の双方向予測されるピクセルＰ（ｉ，ｊ）と対応する第１参照ピクチャの第１参照ピクセル値をＰ０（ｉ，ｊ）、現在ブロック３００の双方向予測されるピクセルＰ（ｉ，ｊ）と対応する第２参照ピクチャの第２参照ピクセル値をＰ１（ｉ，ｊ）と定義する。

言い替えれば、第１参照ピクセル値Ｐ０（ｉ，ｊ）は、第１参照ピクチャを示す双方向動きベクトルＭＶ１によって決定された現在ブロック３００のピクセルＰ（ｉ，ｊ）に対応するピクセルであり、第２参照ピクセルのピクセル値Ｐ１（ｉ，ｊ）は、第２参照ピクチャを示す双方向動きベクトルＭＶ２によって決定された現在ブロック３００のピクセルＰ（ｉ，ｊ）に対応するピクセルである。

また、第１参照ピクセルの水平方向のグラジエント値を

第１参照ピクセルの垂直方向のグラジエント値を

第２参照ピクセルの水平方向のグラジエント値を

第２参照ピクセルの垂直方向のグラジエント値を

と定義する。また、現在ブロック３００が属する現在ピクチャと、第１対応領域３１０が属する第１参照ピクチャとの時間的距離をτ_０、現在ピクチャと、第２対応領域３２０が属する第２参照ピクチャとの時間的距離をτ_１と定義する。ここで、ピクチャ間の時間的距離は、ピクチャのＰＯＣの差を意味する。

ビデオシーケンスで決定された小さい動きがあると仮定すれば、ピクセルグループ単位で双方向動き補償される現在ピクセルＰ（ｉ，ｊ）と最も類似している第１参照ピクチャの第１対応領域３１０のピクセルは、第１参照ピクセルＰ０（ｉ，ｊ）ではなく、第１参照ピクセルＰ０（ｉ，ｊ）を、所定の変位ベクトルほど移動させた第１変位参照ピクセルＰＡであると仮定する。前述のように、ビデオシーケンスで決定された動きがあると仮定したので、第２参照ピクチャの第２対応領域３２０において、現在ピクセルＰ（ｉ，ｊ）と最も類似しているピクセルは、第２参照ピクセルＰ１（ｉ，ｊ）を、所定の変位ベクトルほど移動させた第２変位参照ピクセルＰＢと推定することができる。

変位ベクトルは、前述のｘ軸方向の変位ベクトルＶｘ、ｙ軸方向の変位ベクトルＶｙによっても構成される。従って、ピクセルグループ単位の動き補償部１６５は、そのような変位ベクトルを構成するｘ軸方向の変位ベクトルＶｘ、ｙ軸方向の変位ベクトルＶｙを計算し、それを利用してピクセルグループ単位で動き補償を行う。

オプティカルフローは、観察者（目またはカメラのようなビデオ映像獲得装置）と場面（scene）との相対的な動きによって誘発される客体、表面の外観上動きのパターン（pattern of apprarent motion）を意味する。ビデオシーケンスにおいて、該オプティカルフローは、任意の時間ｔ及びｔ＋△ｔで獲得されたフレーム間の動きを計算することによっても表現される。時間ｔのフレーム内（ｘ，ｙ）に位置したピクセル値は、Ｉ（ｘ，ｙ，ｔ）とも定義される。すなわち、Ｉ（ｘ，ｙ，ｔ）は、時空間的に変化される値でもある。Ｉ（ｘ，ｙ，ｔ）を時間ｔについて微分すれば、次の数式（１）の通りである。

もしブロック内の小さい動き部分について、動きによるピクセル値の変化は存在するが、経時的にピクセル値が変わらないと仮定すれば、ｄＩ／ｄｔは、０になる。また、経時的なピクセル値の動きが一定であると仮定すれば、ｄｘ／ｄｔを、ピクセル値Ｉ（ｘ，ｙ，ｔ）のｘ軸方向の変位ベクトルＶｘ、ｄｙ／ｄｔをピクセル値Ｉ（ｘ，ｙ，ｔ）のｙ軸方向の変位ベクトルＶｙと定義することができ、従って、数式（１）は、次の数式（２）のようによっても表現される。

ここで、ｘ軸方向の変位ベクトルＶｘ、ｙ軸方向の変位ベクトルＶｙの大きさは、双方向動き予測に利用されたピクセル正確度（pixel accuracy）より小さい値であることが望ましい。例えば、双方向動き予測時、１／４ピクセル正確度または１／１６ピクセル正確度を有するとしたとき、Ｖｘ及びＶｙの大きさは、１／４または１／１６より小さい値を有することが望ましい。

ピクセルグループ単位の動き補償部１６５は、数式（２）によるｘ軸方向の変位ベクトルＶｘ、ｙ軸方向の変位ベクトルＶｙを計算し、そのような変位ベクトルＶｘ及びＶｙを利用してピクセルグループ単位で動き補償を行う。数式（２）において、ピクセル値Ｉ（ｘ，ｙ，ｔ）は、原信号の値であるために、原信号の値をそのまま利用することは、符号化時に多くのオーバーヘッドを誘発してしまう。従って、ピクセルグループ単位の動き補償部１６５は、ブロック単位での双方向動き予測の結果として決定された第１参照ピクチャ及び第２参照ピクチャのピクセルを利用し、数式（２）による変位ベクトルＶｘ及びＶｙを計算することができる。すなわち、ピクセルグループ単位の動き補償部１６５は、双方向動き補償される現在ピクセルＰ（ｉ，ｊ）を中心に、周辺のピクセルを含む所定サイズのウィンドウ（Ωｉｊ）内において、Δが最小になるようにするｘ軸方向の変位ベクトルＶｘ、ｙ軸方向の変位ベクトルＶｙを決定する。Δが０である場合が最も望ましいが、ウィンドウ（Ωｉｊ）内の全ピクセルについて、Δが０である場合を満足させるｘ軸方向の変位ベクトルＶｘ、ｙ軸方向の変位ベクトルＶｙが存在しないために、Δが最小になるようにするｘ軸方向の変位ベクトルＶｘ、ｙ軸方向の変位ベクトルＶｙが決定される。変位ベクトルＶｘ及びＶｙを求める過程は、図８Ａを参照し、詳細に説明することにする。

現在ピクセルの予測ピクセル値を決定するために、以下の数式（３）のように、ｔに係わる関数Ｐ（ｔ）が決定されもする。

このとき、ｔ＝０でのピクチャが、現在ブロックが含まれた現在ピクチャであると仮定する。従って、現在ブロックに含まれた現在ピクセルの予測ピクセル値は、ｔが０であるときのＰ（ｔ）の値とも定義される。

第１参照ピクチャ（第１参照ピクチャが、現在ピクチャより時間的に先立った位置にあると仮定する）から現在ピクチャまでの時間的距離がτ_０であり、第２参照ピクチャ（第２参照ピクチャが、現在ピクチャより時間的に遅れた位置にあると仮定する）から現在ピクチャまでの時間的距離がτ_１である場合、第１参照ピクチャでの参照ピクセル値は、Ｐ（－τ_０）と同一であり、第２参照ピクチャでの参照ピクセル値は、Ｐ（τ_１）と同一である。以下では、計算の便宜のために、τ_０とτ_１とがいずれもτとして同一であると仮定する。

Ｐ（ｔ）の各次数の係数は、下記数式（４）によっても決定される。ここで、Ｐ０（ｉ，ｊ）は、第１参照ピクチャの（ｉ，ｊ）位置でのピクセル値を意味し、Ｐ１（ｉ，ｊ）は、第２参照ピクチャの（ｉ，ｊ）位置でのピクセル値を意味する。

従って、現在ブロック内の現在ピクセルの予測ピクセル値Ｐ（０）は、下記数式（５）によっても決定される。

数式（５）は、数式（２）を考慮するとき、下記数式（６）によっても表現される。

従って、現在ピクセルの予測ピクセル値は、変位ベクトルＶｘ，Ｖｙ、第１参照ピクセルの水平方向及び垂直方向のグラジエント値、及び第２参照ピクセルの水平方向及び垂直方向のグラジエント値を利用しても決定される。ここで、Ｖｘ，Ｖｙと関係ない部分（Ｐ０（ｉ，ｊ）＋Ｐ１（ｉ，ｊ））／２は、ブロック単位の動き補償値部分であり、Ｖｘ，Ｖｙと関連ある項部分は、ピクセルグループ単位の動き補償値部分でもある。結果として、ブロック単位の動き補償値と、ピクセルグループ単位の動き補償値との和により、現在ピクセルの予測ピクセル値が決定されもする。

前述のところの便宜上、第１参照ピクチャから現在ピクチャまでの時間的距離がτであり、第２参照ピクチャから現在ピクチャまでの時間的距離がいずれもτとして同一である場合、現在ピクセルの予測ピクセル値を決定する過程について説明したが、第１参照ピクチャから現在ピクチャまでの時間的距離がτ_０であり、第２参照ピクチャから現在ピクチャまでの時間的距離がτ_１でもある。このとき、現在ピクセルの予測ピクセル値Ｐ（０）は、下記数式（７）のようにも決定される。

数式（７）は、数式（２）を考慮するとき、下記数式（８）によっても表現される。

先に、第１参照ピクチャは、ディスプレイ順序上、現在ピクチャより時間的に後に位置し、第２参照ピクチャは、ディスプレイ順序上、現在ピクチャより時間的に前に位置と仮定して説明したが、第１参照ピクチャ及び第２参照ピクチャがいずれもディスプレイ順序上、時間的に前に位置したり、第１参照ピクチャ及び第２参照ピクチャがいずれもディスプレイ順序上、時間的に後に位置したりもする。

例えば、図３Ｂに図示されているように、第１対応領域を含む第１参照ピクチャ、及び第２対応領域を含む第２参照ピクチャがいずれもディスプレイ順序上、時間的に現在ブロックを含む現在ピクチャより前に位置することができる。

その場合、図３Ａを参照して誘導された数式（８）において、第２参照ピクチャと現在ピクチャとの時間的な距離差を示すτ_１を、－τ_１で代替した数式（９）により、現在ピクセルの予測ピクセル値Ｐ（０）が決定されもする。

例えば、図３Ｃに図示されているように、第１対応領域を含む第１参照ピクチャ、及び第２対応領域を含む第２参照ピクチャがいずれもディスプレイ順序上、時間的に現在ブロックを含む現在ピクチャより後に位置することができる。

その場合、図３Ａを参照して誘導された数式（８）において、第１参照ピクチャと現在ピクチャとの時間的な距離差を示すτ_０を、－τ_０で代替した数式（１０）により、現在ピクセルの予測ピクセル値が決定されもする。

ただし、図３Ｂ及び図３Ｃのように、第１参照ピクチャと第２参照ピクチャとがいずれもディスプレイ順序上、時間的に前に位置したり、第１参照ピクチャと第２参照ピクチャとがいずれもディスプレイ順序上、時間的に後に位置したりする場合、ピクセルグループ単位の動き補償は、第１参照ピクチャと第２参照ピクチャとが同一参照ピクチャではない場合に行われもする。また、その場合、ピクセルグループ単位の動き補償は、双方向動きベクトル（ＭＶ１，ＭＶ２）がいずれもノンゼロ成分（non-zero component）を有する場合にだけ行われる。また、その場合、ピクセルグループ単位の動き補償は、動きベクトル（ＭＶ１，ＭＶ２）の比率が、第１参照ピクチャと現在ピクチャとの時間的な距離と、第２参照ピクチャと現在ピクチャとの時間的な距離の比率と同一である場合にだけ行われもする。例えば、動きベクトルＭＶ１のｘ成分と、動きベクトルＭＶ２のｘ成分との比率が、動きベクトルＭＶ１のｙ成分、と動きベクトルＭＶ２のｙ成分との比率と同一であり、該比率が、第１参照ピクチャと現在ピクチャとの時間的な距離τ_０と、第２参照ピクチャと現在ピクチャとの時間的な距離τ_１との比率と同一である場合、ピクセルグループ単位の動き補償が行われもする。

図４は、一実施形態により、水平方向及び垂直方向のグラジエント値を計算する過程について説明するための参照図である。図４を参照すれば、第１参照ピクチャの第１参照ピクセルＰ０（ｉ，ｊ）４１０の水平方向のグラジエント値

及び垂直方向のグラジエント値

は、第１参照ピクセルＰ０（ｉ，ｊ）４１０と水平方向に隣接した周辺小数ピクセル位置でのピクセル値の変化量と、垂直方向に隣接した周辺小数ピクセル位置でのピクセル値の変化量とを求めることによっても計算される。すなわち、次の数式（１１）のように、Ｐ０（ｉ，ｊ）から、水平方向にｈ（ｈは、１より小さい小数値）ほど離れた小数ピクセルＰ０（ｉ－ｈ，ｊ）４６０及び小数ピクセルＰ０（ｉ＋ｈ，ｊ）４７０のピクセル値の変化量を計算し、水平方向のグラジエント値

を計算し、垂直方向にｈほど離れた小数ピクセルＰ０（ｉ，ｊ－ｈ）４８０、及び小数ピクセルＰ０（ｉ，ｊ＋ｈ）４９０のピクセル値の変化量を計算し、垂直グラジエント値

を計算することができる。

小数ピクセルＰ０（ｉ－ｈ，ｊ）４６０，Ｐ０（ｉ＋ｈ，ｊ）４７０，Ｐ０（ｉ，ｊ－ｈ）４８０及びＰ０（ｉ，ｊ＋ｈ）４９０の値は、一般的な補間方式を利用しても計算される。また、他の第２参照ピクチャの第２参照ピクセルの水平方向及び垂直方向のグラジエント値も、数式（１１）と類似して計算されもする。

一実施形態によれば、数式（１１）のように、小数ピクセル位置でのピクセル値の変化量を計算し、グラジエント値を計算する代わりに、所定のフィルタを利用し、各参照ピクセルでのグラジエント値を計算することができる。所定のフィルタのフィルタ係数は、フィルタの線形性を考慮し、小数ピクセル位置でのピクセル値を求めるために利用される補間フィルタの係数から決定されもする。

図５は、他の実施形態により、水平方向及び垂直方向のグラジエント値を計算する過程について説明するための参照図である。

他の実施形態によれば、該グラジエント値は、参照ピクチャのピクセルに、所定のフィルタを適用しても決定される。図５を参照すれば、ビデオ復号装置１００は、現在水平グラジエント値を求めようとする参照ピクセルＰ０５００を中心に、左側にＭ_Ｍａｘ個のピクセル５２０、及び右側に｜Ｍ_Ｍｉｎ｜個のピクセル５１０に、所定のフィルタを適用し、Ｐ０５００の水平方向のグラジエント値を計算することができる。このとき、利用されるフィルタ係数は、図７Ａないし図７Ｄに図示されているように、ウィンドウサイズを決定するのに利用されるＭ_Ｍａｘ整数ピクセルとＭ_Ｍｉｎ整数ピクセルとの補間位置（小数ピクセル位置；fractional pel position）を示すα値によっても決定される。一例として、図７Ａを参照すれば、ウィンドウサイズを決定するＭ_Ｍｉｎは、－２であり、Ｍ_Ｍａｘは、３であり、参照ピクセルＰ０５００から１／４ほど離れた、すなわち、α＝１／４である場合には、図７Ａの２行目フィルタ係数｛４，－１７，－３６，６０，－１５，４｝が周辺ピクセルＰ－２，Ｐ－１，Ｐ０，Ｐ１，Ｐ２，Ｐ３に適用される。その場合、参照ピクセル５００の水平方向のグラジエント値

は、次の数式：

のように、フィルタ係数と周辺ピクセルとを利用した加重和としても計算される。類似して、垂直方向のグラジエント値も、ウィンドウサイズを決定するのに利用されるＭ_Ｍａｘ値及びＭ_Ｍｉｎ値、並びに補間位置により、図７Ａないし図７Ｅに図示されたフィルタ係数を周辺ピクセルに適用することによっても計算される。

図６Ａ及び図６Ｂは、一実施形態により、一次元フィルタを利用し、水平方向及び垂直方向のグラジエント値を決定する過程について説明するための図面である。

図６Ａを参照すれば、参照ピクチャにおいて、参照ピクセルの水平方向のグラジエント値を決定するために、整数ピクセルに対して、複数の一次元フィルタを利用してフィルタリングが行われる。ピクセルグループ単位の動き補償は、ブロック単位の動き補償後に行われる追加的な動き補償である。従って、ブロック単位の動き補償過程において、動きベクトルが示す現在ブロックの参照ブロックの基準位置は、小数ピクセル位置でもあり、小数ピクセル位置の参照ブロック内の参照ピクセルに対して、ピクセルグループ単位の動き補償が行われる。従って、小数ピクセル位置のピクセルのグラジエント値を決定することを考慮し、フィルタリングが行われる。

図６Ａを参照すれば、まずビデオ復号装置１００は、参照ピクチャ内に、参照ピクセルの周辺整数ピクセルから、水平方向または垂直方向に位置するピクセルに対して、第１一次元フィルタを利用してフィルタリングを行うことができる。同様に、ビデオ復号装置１００は、参照ピクセルと異なる行または列に位置する隣接整数ピクセルに対して、第１一次元フィルタを利用してフィルタリングを行うことができる。ビデオ復号装置１００は、前記フィルタリングが行われて生成された値に対して、第２一次元フィルタを利用してフィルタリングを行うことにより、参照ピクセルの水平方向のグラジエント値を生成することができる。

例えば、参照ピクセルの位置が、（ｘ＋α，ｙ＋β）（ｘ、ｙは、整数であり、α、βは、小数である）の小数ピクセルの位置である場合、水平方向の整数ピクセル（ｘ，ｙ）及び（ｘ－１，ｙ），（ｘ＋１，ｙ），…，（ｘ＋Ｍ_Ｍｉｎ，ｙ），（ｘ＋Ｍ_Ｍａｘ，ｙ）（Ｍ_Ｍｉｎ、Ｍ_Ｍａｘは、いずれも整数である）に対して、一次元垂直補間フィルタを利用し、以下の数式（１２）のように、フィルタリングが行われる。

このとき、ｆｒａｃFilter_βは、垂直方向の小数ピクセル位置βでのピクセル値を決定するための補間フィルタであり、ｆｒａｃFilterβ［ｊ’］は、（ｉ，ｊ’）位置のピクセルに適用される補間フィルタの係数を意味する。Ｉ［ｉ，ｊ’］は、（ｉ，ｊ’）位置のピクセル値を意味する。

すなわち、第１一次元フィルタは、垂直方向の小数ピクセル値を決定するための補間フィルタでもある。offset_１は、四捨五入エラーを防止するためのオフセットであり、shift_１は、逆スケーリングビット数を意味する。Ｔｅｍｐ［ｉ，ｊ＋β］は、小数ピクセル位置（ｉ，ｊ＋β）でのピクセル値を意味する。Ｔｅｍｐ［ｉ’，ｊ＋β］（ｉ’は、ｉを除いたｉ＋Ｍ_ｍｉｎからｉ＋Ｍ_ｍａｘまでの整数である）も、ｉをｉ’で代替し、数式（１２）によっても決定される。

その次に、ビデオ復号装置１００は、小数ピクセル位置（ｉ，ｊ＋β）でのピクセル値、及び小数ピクセル位置（ｉ’，ｊ＋β）でのピクセル値に対して、第２一次元フィルタを利用してフィルタリングを行うことができる。

このとき、ｇｒａｄFilter_αは、水平方向の小数ピクセル位置αでのグラジエント値を決定するためのグラジエントフィルタでもある。ｇｒａｄFilterα［ｉ’］は、（ｉ’，ｊ＋β）位置のピクセルに適用される補間フィルタの係数を意味する。すなわち、第２一次元フィルタは、水平方向のグラジエント値を決定するためのグラジエントフィルタでもある。offset_２は、四捨五入エラーを防止するためのオフセットであり、shift_２は、逆スケーリングビット数を意味する。

すなわち、数式（１３）によれば、ビデオ復号装置１００は、（ｉ，ｊ＋β）でのピクセル値（Ｔｅｍｐ［ｉ，ｊ＋β］）と、ピクセル位置（ｉ，ｊ＋β）から垂直方向に位置するピクセル値（Ｔｅｍｐ［ｉ’，ｊ＋β］）に対して、グラジエントフィルタ（ｇｒａｄFilterα）を利用してフィルタリングを行うことにより、（ｉ＋α，ｊ＋β）での水平方向のグラジエント値

を決定することができる。

先に、補間フィルタをまず適用し、以後にグラジエントフィルタを適用し、水平方向のグラジエント値を決定する内容について説明したが、それに制限されるものではなく、まずグラジエントフィルタを適用し、以後に補間フィルタを適用し、水平方向のグラジエント値が決定されもする。以下においては、グラジエントフィルタを適用し、以後に補間フィルタを適用し、水平方向のグラジエント値が決定される実施形態について説明することにする。

例えば、参照ピクセルの位置が、（ｘ＋α，ｙ＋β）（ｘ、ｙは、整数であり、α、βは、小数である）の小数ピクセルの位置である場合、水平方向の整数ピクセル（ｘ，ｙ）及び（ｘ－１，ｙ），（ｘ＋１，ｙ），…，（ｘ＋Ｍ_Ｍｉｎ，ｙ），（ｘ＋Ｍ_Ｍａｘ，ｙ）（Ｍ_Ｍｉｎ、Ｍ_Ｍｍａｘは、いずれも整数である）に対して第１一次元フィルタを利用し、以下の数式（１４）のように、フィルタリングが行われる。

このとき、ｇｒａｄFilterαは、水平方向の小数ピクセル位置αでのグラジエント値を決定するためのグラジエントフィルタであり、ｇｒａｄFilterα［ｉ’］は、（ｉ’，ｊ）位置のピクセルに適用されるグラジエントフィルタの係数を意味する。Ｉ［ｉ’，ｊ］は、（ｉ’，ｊ）位置のピクセル値を意味する。

すなわち、第１一次元フィルタは、ピクセル位置の水平成分が小数である位置のピクセルの水平方向のグラジエント値を決定するための補間フィルタでもある。offset_３は、四捨五入エラーを防止するためのオフセットであり、shift_３は、逆スケーリングビット数を意味する。Ｔｅｍｐ［ｉ＋α，ｊ］は、ピクセル位置（ｉ＋α，ｊ）での水平方向のグラジエント値を意味する。Ｔｅｍｐ［ｉ＋α，ｊ’］（ｊ’は、ｉを除いたｊ＋Ｍ_ｍｉｎからｊ＋Ｍ_ｍａｘまでの整数である）も、ｊをｊ’で代替し、数式（１４）によっても決定される。

その次に、ビデオ復号装置１００は、ピクセル位置（ｉ＋α，ｊ）での水平方向のグラジエント値、及びピクセル位置（ｉ＋α，ｊ’）での水平方向のグラジエント値に対して、第２一次元フィルタを利用し、以下の数式（１５）のように、フィルタリングを行うことができる。

このとき、ｆｒａｃFilterβは、垂直方向の小数ピクセル位置βでのピクセル値を決定するための補間フィルタでもある。ｆｒａｃFilterβ［ｊ’］は、（ｉ＋β，ｊ’）位置のピクセルに適用される補間フィルタの係数を意味する。すなわち、第２一次元フィルタは、垂直方向の小数ピクセル位置βでのピクセル値を決定するための補間フィルタでもある。offset_４は、四捨五入エラーを防止するためのオフセットであり、shift_４は、逆スケーリングビット数を意味する。

すなわち、数式（１５）によれば、ビデオ復号装置１００は、（ｉ＋α，ｊ）での水平方向のグラジエント値（Ｔｅｍｐ［ｉ＋α，ｊ］）と、ピクセル位置（ｉ＋α，ｊ）から垂直方向に位置するピクセルの水平方向のグラジエント値（Ｔｅｍｐ［ｉ＋α，ｊ’］）とに対して、グラジエントフィルタ（ｆｒａｃFilterβ）を利用してフィルタリングを行うことにより、（ｉ＋α，ｊ＋β）での水平方向のグラジエント値

を決定することができる。

図６Ｂを参照すれば、参照ピクチャにおいて、参照ピクセルの垂直方向のグラジエント値を決定するために、整数ピクセルに対して、複数の一次元フィルタを利用してフィルタリングが行われる。ピクセルグループ単位の動き補償は、ブロック単位の動き補償後に行われる追加的な動き補償である。従って、ブロック単位の動き補償過程において、動きベクトルが示す現在ブロックの参照ブロックの基準位置は、小数ピクセル位置でもあり、小数ピクセル位置の参照ブロック内の参照ピクセルに対して、ピクセルグループ単位の動き補償が行われもする。従って、小数ピクセル位置のピクセルのグラジエント値を決定することを考慮し、フィルタリングが行われもする。

図６Ｂを参照すれば、まずビデオ復号装置１００は、参照ピクチャ内において、参照ピクセルの周辺整数ピクセルから水平方向または垂直方向に位置するピクセルに対して、第１一次元フィルタを利用してフィルタリングを行うことができる。同様に、ビデオ復号装置１００は、参照ピクセルと異なる列または行に位置する隣接ピクセルに対して、第１一次元フィルタを利用してフィルタリングを行うことができる。ビデオ復号装置１００は、前記フィルタリングが行われて生成された値に対して、第２一次元フィルタを利用してフィルタリングを行うことにより、参照ピクセルの垂直方向のグラジエント値を生成することができる。

例えば、参照ピクセルの位置が、（ｘ＋α，ｙ＋β）（ｘ、ｙは、整数であり、α、βは、小数である）の小数ピクセルの位置である場合、水平方向の整数ピクセル（ｘ，ｙ）及び（ｘ－１，ｙ－１），（ｘ＋１，ｙ＋１），…，（ｘ＋Ｍ_Ｍｉｎ，ｙ＋Ｍ_Ｍｉｎ），（ｘ＋Ｍ_Ｍａｘ，ｙ＋Ｍ_ｍａｘ）（ＭＭｉｎ、ＭＭｍａｘは、いずれも整数である）に対して第１一次元フィルタを利用し、以下の数式（１６）のように、フィルタリングが行われる。

このとき、ｆｒａｃFilterαは、水平方向の小数ピクセル位置αでのピクセル値を決定するための補間フィルタであり、ｆｒａｃFilterα［ｉ’］は、（ｉ’，ｊ）位置のピクセルに適用される補間フィルタの係数を意味する。Ｉ［ｉ’，ｊ］は、（ｉ’，ｊ）位置のピクセル値を意味する。

すなわち、第１一次元フィルタは、水平方向の小数ピクセル位置αでのピクセル値を決定するための補間フィルタでもある。offset_５は、四捨五入エラーを防止するためのオフセットであり、shift_５は、逆スケーリングビット数を意味する。

Ｔｅｍｐ［ｉ＋α，ｊ］は、小数ピクセル位置（ｉ＋α，ｊ）でのピクセル値を意味する。Ｔｅｍｐ［ｉ＋α，ｊ’］（ｊ’は、ｊを除いたｊ＋Ｍ_ｍｉｎからｊ＋Ｍ_ｍａｘまでの整数である）も、ｊをｊ’で代替し、数式（１６）によっても決定される。

その次に、ビデオ復号装置１００は、ピクセル位置（ｉ＋α，ｊ）でのピクセル値、及びピクセル位置（ｉ＋α，ｊ’）でのピクセル値に対して、第２一次元フィルタを利用し、以下の数式（１７）のように、フィルタリングを行うことができる。

このとき、ｇｒａｄFilter_βは、垂直方向の小数ピクセル位置βでの垂直方向のグラジエント値を決定するためのグラジエントフィルタでもある。ｇｒａｄFilter_β［ｊ’］は、（ｉ＋α，ｊ’）位置のピクセルに適用される補間フィルタの係数を意味する。すなわち、第２一次元フィルタは、垂直方向の小数ピクセル位置βにおいて、垂直方向のグラジエント値を決定するためのグラジエントフィルタでもある。offset_６は、四捨五入エラーを防止するためのオフセットであり、shift_６は、逆スケーリングビット数を意味する。

すなわち、数式（１７）によれば、ビデオ復号装置１００は、（ｉ＋α，ｊ）でのピクセル値（Ｔｅｍｐ［ｉ＋α，ｊ］）と、ピクセル位置（ｉ＋α，ｊ）から垂直方向に位置するピクセル値（Ｔｅｍｐ［ｉ＋α，ｊ’］）とに対してグラジエントフィルタ（ｇｒａｄFilter_β）を利用してフィルタリングを行うことにより、（ｉ＋α，ｊ＋β）での垂直方向のグラジエント値

を決定することができる。

先に、補間フィルタをまず適用し、以後にグラジエントフィルタを適用し、垂直方向のグラジエント値を決定する内容について説明したが、それに制限されるものではなく、まずグラジエントフィルタを適用し、以後に補間フィルタを適用し、水平方向のグラジエント値が決定されもする。以下では、グラジエントフィルタを適用し、以後に補間フィルタを適用し、垂直方向のグラジエント値が決定される実施形態について説明することにする。

例えば、参照ピクセルの位置が、（ｘ＋α，ｙ＋β）（ｘ、ｙは、整数であり、α、βは、小数である）の小数ピクセルの位置である場合、垂直方向の整数ピクセル（ｘ，ｙ）及び（ｘ，ｙ－１），（ｘ，ｙ＋１），…，（ｘ，ｙ＋Ｍ_Ｍｉｎ），（ｘ，ｙ＋Ｍ_ｍａｘ）（Ｍ_Ｍｉｎ、Ｍ_ｍａｘは、いずれも整数である）に対して第１一次元フィルタを利用し、以下の数式（１８）のように、フィルタリングが行われる。

このとき、ｇｒａｄFilter_βは、垂直方向の小数ピクセル位置βでのグラジエント値を決定するためのグラジエントフィルタであり、ｇｒａｄFilter_β［ｊ’］は、（ｉ，ｊ’）位置のピクセルに適用されるグラジエントフィルタの係数を意味する。Ｉ［ｉ，ｊ’］は、（ｉ，ｊ’）位置のピクセル値を意味する。

すなわち、第１一次元フィルタは、ピクセル位置の垂直成分が小数である位置のピクセルの垂直方向のグラジエント値を決定するための補間フィルタでもある。offset_７は、四捨五入エラーを防止するためのオフセットであり、shift_７は、逆スケーリングビット数を意味する。

Ｔｅｍｐ［ｉ，ｊ＋β］は、ピクセル位置（ｉ，ｊ＋β）での垂直方向のグラジエント値を意味する。Ｔｅｍｐ［ｉ’，ｊ＋β］（ｉ’は、ｉを除いたｉ＋Ｍ_ｍｉｎからｉ＋Ｍ_ｍａｘまでの整数である）も、ｉをｉ’で代替し、数式（１８）によっても決定される。

その次に、ビデオ復号装置１００は、ピクセル位置（ｉ，ｊ＋β）での垂直方向のグラジエント値、及びピクセル位置（ｉ’，ｊ＋β）での垂直方向のグラジエント値に対して、第２一次元フィルタを利用し、以下の数式（１９）のように、フィルタリングを行うことができる。

このとき、ｆｒａｃFilter_αは、水平方向の小数ピクセル位置αでのピクセル値を決定するための補間フィルタでもある。ｆｒａｃFilter_α［ｉ’］は、（ｉ’，ｊ＋β）位置のピクセルに適用される補間フィルタの係数を意味する。すなわち、第２一次元フィルタは、水平方向の小数ピクセル位置αでのピクセル値を決定するための補間フィルタでもある。offset_８は、四捨五入エラーを防止するためのオフセットであり、shift_８は、逆スケーリングビット数を意味する。

すなわち、数式（１９）によれば、ビデオ復号装置１００は、（ｉ，ｊ＋β）での垂直方向のグラジエント値（Ｔｅｍｐ［ｉ，ｊ＋β］）と、ピクセル位置（ｉ，ｊ＋β）から水平方向に位置するピクセルの垂直方向のグラジエント値（Ｔｅｍｐ［ｉ’，ｊ＋β）］）とに対し、補間フィルタ（ｆｒａｃFilter_α）を利用してフィルタリングを行うことにより、（ｉ＋α，ｊ＋β）での垂直方向のグラジエント値

を決定することができる。

一実施形態によれば、ビデオ復号装置１００は、（ｉ＋α，ｊ＋β）での水平方向及び垂直方向のグラジエント値は、前述の多様なフィルタの組み合わせによっても決定される。例えば、水平方向のグラジエント値を決定するために、第１一次元フィルタで、垂直方向のピクセル値を決定するための補間フィルタが利用され、第２一次元フィルタで、水平方向のグラジエント値のためのグラジエントフィルタが利用されもする。垂直方向のグラジエント値を決定するために、第１一次元フィルタで、垂直方向のグラジエント値を決定するためのグラジエントフィルタが利用され、第２一次元フィルタで、水平方向のピクセル値を決定するための補間フィルタが利用されもする。

図７Ａないし図７Ｅは、一実施形態により、小数ピクセル単位の小数ピクセル位置でのピクセル値、並びに水平方向及び垂直方向のグラジエント値を決定するために利用されるフィルタのフィルタ係数を示した表である。

図７Ａ及び図７Ｂは、１／４ペル（ｐｅｌ）単位の小数ピクセル位置での水平方向または垂直方向のグラジエント値を決定するためのフィルタのフィルタ係数を示した表である。

前述の通り、水平方向または垂直方向のグラジエント値を決定するために、一次元グラジエントフィルタ及び一次元補間フィルタが利用されもする。図７Ａを参照すれば、一次元グラジエントフィルタのフィルタ係数が図示されている。このとき、グラジエントフィルタは、６タップのフィルタが利用されもする。グラジエントのフィルタ係数は、２＾４ほどスケーリングされた係数でもある。Ｍ_ｍｉｎは、中心整数ピクセルを基準に、フィルタに適用される負数方向の整数ピクセルのうち最も遠いピクセルの位置と、中心整数ピクセルの位置との差を意味し、Ｍ_ｍａｘは、中心整数ピクセルを基準に、フィルタに適用される正数方向の整数ピクセルのうち最も遠いピクセルの位置と、中心整数ピクセルの位置との差を意味する。例えば、水平方向に、小数ピクセル位置α＝１／４であるピクセルの水平方向のグラジエント値を求めるための、グラジエントフィルタ係数は、｛４，－１７，－３６，６０，－１５，－４｝でもある。水平方向に、小数ピクセル位置α＝０，１／２，３／４であるピクセルの水平方向のグラジエント値を求めるためのグラジエントフィルタ係数も、図７Ａを参照して決定されもする。

図７Ｂを参照すれば、一次元補間フィルタのフィルタ係数が図示されている。このとき、補間フィルタは、６タップのフィルタが利用されもする。補間フィルタのフィルタ係数は、２＾６ほどスケーリングされた係数でもある。Ｍ_ｍｉｎは、中心整数ピクセルを基準に、フィルタに適用される負数方向の整数ピクセルのうち最も遠いピクセルの位置と、中心整数ピクセルの位置との差を意味し、Ｍ_ｍａｘは、中心整数ピクセルを基準に、フィルタに適用される正数方向の整数ピクセルのうち最も遠いピクセルの位置と、中心整数ピクセルの位置との差を意味する。

図７Ｃは、１／４ペル単位の小数ピクセル位置でのピクセル値を決定するために利用される一次元補間フィルタのフィルタ係数を示した表である。

前述の通り、小数ピクセル位置でのピクセル値を決定するために、同一である２個の一次元補間フィルタが水平方向及び垂直方向に利用されもする。

図７Ｃを参照すれば、一次元補間フィルタのフィルタ係数が図示されている。このとき、一次元補間フィルタは、６タップのフィルタでもある。グラジエントのフィルタ係数は、２＾６ほどスケーリングされた係数でもある。Ｍ_ｍｉｎは、中心整数ピクセルを基準に、フィルタに適用される負数方向の整数ピクセルのうち最も遠いピクセルの位置と、中心整数ピクセルの位置との差を意味し、Ｍ_ｍａｘは、中心整数ピクセルを基準に、フィルタに適用される正数方向の整数ピクセルのうち最も遠いピクセルの位置と、中心整数ピクセルの位置との差を意味する。

図７Ｄは、１／１６ペル単位の小数ピクセル位置での水平方向または垂直方向のグラジエント値を決定するために利用されるフィルタのフィルタ係数を示した表である。

前述の通り、水平方向または垂直方向のグラジエント値を決定するために、一次元グラジエントフィルタ及び一次元補間フィルタが利用されもする。図７Ｄを参照すれば、一次元グラジエントフィルタのフィルタ係数が図示されている。このとき、グラジエントフィルタは、６タップのフィルタが利用されもする。グラジエントのフィルタ係数は、２＾４ほどスケーリングされた係数でもある。例えば、水平方向に、小数ピクセル位置αが１／１６であるピクセルの水平方向のグラジエント値を求めるためのグラジエントフィルタ係数は、｛８，－３２，－１３，５０，－１８，５｝でもある。水平方向に、小数ピクセル位置αが、０，１／８、３／１６、１／４、５／１６、３／８、７／１６、１／２であるピクセルの水平方向のグラジエント値を求めるためのグラジエントフィルタ係数も、図７Ｄを利用しても決定される。一方、小数ピクセル位置αが、９／１６、５／８、１１／１６、３／４、１３／１６、７／８、１５／１６であるピクセルの水平方向のグラジエント値を求めるためのグラジエントフィルタ係数は、α＝１／２基準で、フィルタ係数の対称性を利用しても決定される。すなわち、図７Ｄに開示されたα＝１／２基準で、左側の小数ピクセル位置のフィルタ係数を利用し、残りα＝１／２基準で、右側の小数ピクセル位置のフィルタ係数が決定されもする。例えば、α＝１５／１６でのフィルタ係数は、α＝１／２基準で対称である位置であるα＝１／１６のフィルタ係数｛８，－３２，－１３，５０，－１８，５｝を利用しても決定される。すなわち、α＝１５／１６でのフィルタ係数は、フィルタ係数｛８，－３２，－１３，５０，－１８，５｝を逆順に配し、｛５，－１８，５０，－１３，－３２、８｝と決定されもする。

図７Ｅを参照すれば、一次元補間フィルタのフィルタ係数が図示されている。このとき、補間フィルタは、６タップのフィルタが利用されもする。補間フィルタのフィルタ係数は、２＾６ほどスケーリングされた係数でもある。例えば、水平方向に、小数ピクセル位置αが１／１６であるピクセルの水平方向のピクセル値を求めるための一次元補間フィルタ係数は、｛１，－３，６４，４，－２，０｝でもある。水平方向に、小数ピクセル位置α＝０，１／８，３／１６，１／４，５／１６，３／８，７／１６，１／２であるピクセルの水平方向のピクセル値を求めるための補間フィルタ係数も、図７Ｅを利用しても決定される。一方、水平方向に、小数ピクセル位置αが、９／１６、５／８、１１／１６、３／４、１３／１６、７／８、１５／１６であるピクセルの水平方向のピクセル値を求めるための補間フィルタ係数は、α＝１／２基準でフィルタ係数の対称性を利用しても決定される。すなわち、図７Ｅに開示されたα＝１／２基準で左側の小数ピクセル位置のフィルタ係数を利用し、残りα＝１／２基準で右側の小数ピクセル位置のフィルタ係数が決定されもする。例えば、α＝１５／１６でのフィルタ係数は、α＝１／２基準で対称となる位置であるα＝１／１６のフィルタ係数｛１，－３，６４，４，－２，０｝を利用しても決定される。すなわち、α＝１５／１６でのフィルタ係数は、フィルタ係数｛１，－３，６４，４，－２，０｝を逆順に配し、｛０，－２，４，６４，－３，１｝と決定されもする。

図８Ａは、一実施形態により、ピクセルに係わる水平方向変位ベクトル及び垂直方向変位ベクトルを決定する過程について説明するための参照図である。

図８Ａを参照すれば、所定サイズのウィンドウ（Ωｉｊ）８００は、現在ブロックにおいて、双方向予測されるピクセルＰ（ｉ，ｊ）を中心にした（２Ｍ＋１）＊（２Ｎ＋１）（Ｍ、Ｎは、整数である）の大きさを有する。

ウィンドウ内の双方向予測される現在ブロックのピクセルをＰ（ｉ’，ｊ’）（ｉ－Ｍ≦ｉ’≦ｉ＋Ｍであり、ｊ－Ｎ≦ｊ’≦ｊ＋Ｎである場合、（ｉ’，ｊ’）∈Ωｉｊ）、現在ブロックの双方向予測されるピクセルＰ（ｉ’，ｊ’）と対応する第１参照ピクチャ８１０の第１参照ピクセルのピクセル値をＰ０（ｉ’，ｊ’）、現在ブロックの双方向予測されるピクセルＰ（ｉ’，ｊ’）と対応する第２参照ピクチャ８２０の第２参照ピクセルのピクセル値をＰ１（ｉ’，ｊ’）、第１参照ピクセルの水平方向のグラジエント値を

垂直方向のグラジエント値を

第２参照ピクセルの水平方向のグラジエント値を

垂直方向のグラジエント値を

とすれば、第１変位対応ピクセルＰＡ’及び第２変位対応ピクセルＰＢ’は、以下の数式（２０）のようにも決定される。このとき、ＰＡ’及びＰＢ’は、ローカルテーラーエクスパンション（Ｌocal Taylor Expansion）の一次線形ターム（first linear term）を利用しても決定される。

数式（２０）で、ｘ軸方向の変位ベクトルＶｘ，ｙ軸方向の変位ベクトルＶｙは、現在ピクセルＰ（ｉ，ｊ）の位置によって変化しもするために、すなわち、（ｉ，ｊ）に従属的であるために、Ｖｘ（ｉ，ｊ）、Ｖｙ（ｉ，ｊ）のようも表現される。

第１変位対応ピクセルＰＡ’と第２変位対応ピクセルＰＢ’との差値△ｉ’ｊ’は、以下の数式（２１）のようにも決定される。

第１変位対応ピクセルＰＡ’と第２変位対応ピクセルＰＢ’との差値△ｉ’ｊ’が最小になるようにするｘ軸方向の変位ベクトルＶｘ、ｙ軸方向の変位ベクトルＶｙは、次の数式（２２）のように、差値△ｉ’ｊ’の二乗和であるΦ（Ｖｘ，Ｖｙ）を利用しても決定される。

すなわち、Φ（Ｖｘ，Ｖｙ）の極大値または極小値を利用しても決定される。Φ（Ｖｘ，Ｖｙ）は、Ｖｘ，Ｖｙを媒介変数にする関数であり、前述の極大値または極小値は、次の数式（２３）により、τＶｘ及びτＶｙに対して整理されたΦ（Ｖｘ，Ｖｙ）を、τＶｘ及びτＶｙに対して偏微分して０になる値を計算することによっても決定される。以下では、計算の便宜上、τ０とτ１とがτとして同一であると仮定する。

数式：

及び数式：

を利用し、以下の数式（２４）のように、Ｖｘ（ｉ，ｊ）及びＶｙ（ｉ，ｊ）を変数にする２個の線形方程式を獲得することができる。

数式（２４）において、ｓ１ないしｓ６は、次の数式（２５）の通りである。

数式（２４）の連立方程式を解けば、クラメル公式（Kramer’s formulas）により、τ＊Ｖｘ（ｉ，ｊ）＝－ｄｅｔ１／ｄｅｔ、τ＊Ｖｙ（ｉ，ｊ）＝－ｄｅｔ２／ｄｅｔのように、Ｖｘ（ｉ，ｊ）及びＶｙ（ｉ，ｊ）の値を解くことができる。ここで、ｄｅｔ１＝ｓ３＊ｓ５－ｓ２＊ｓ６、ｄｅｔ２＝ｓ１＊ｓ６－ｓ３＊ｓ４、ｄｅｔ＝ｓ１＊ｓ５－ｓ２＊ｓ２である。

水平方向において、最初に最小化（minimization）を行い、以後に垂直方向に最小化を行い、前記数式の簡単な解（simplified solution）が決定されもする。すなわち、例えば、水平方向の変位ベクトルだけ変化させると仮定すれば、数式（２４）の最初数式において、Ｖｙ＝０と仮定することができ、従って、数式：τＶｘ＝ｓ３／ｓ１と決定されもする。

そして、数式（２４）の２番目数式を、数式：τＶｘ＝ｓ３／ｓ１を利用して整理すれば、数式：τＶｙ＝（ｓ６－τＶｘ＊Ｓ２）／ｓ５と決定されもする。

ここで、グラジエント値

は、結果値であるＶｘ（ｉ，ｊ）とＶｙ（ｉ，ｊ）とを変化させずにスケーリングされもする。ただし、オーバーフローが発生せず、四捨五入エラーが発生しない場合を前提にする。

Ｖｘ（ｉ，ｊ）及びＶｙ（ｉ，ｊ）を求める過程において、０、または非常に小さい値によって乗算演算が行われることを防止するために、調節パラメータｒ及びｍが導入されもする。

便宜上、Ｖｘ（ｉ，ｊ）及びＶｙ（ｉ，ｊ）が、図３Ａに図示された方向と反対であると仮定する。例えば、図３Ａに図示されたＶｘ（ｉ，ｊ）及びＶｙ（ｉ，ｊ）の方向に基づいて、数式（２４）によって導出されたＶｘ（ｉ，ｊ）及びＶｙ（ｉ，ｊ）は、図３Ａの方向と反対に決定されたＶｘ（ｉ，ｊ）及びＶｙ（ｉ，ｊ）と、互いにその値に符号差だけあるのみで大きさが同一でもある。

第１変位対応ピクセルＰＡ’及び第２変位対応ピクセルＰＢ’は、以下の数式（２６）のようにも決定される。このとき、ＰＡ’及びＰＢ’は、ローカルテーラーエクスパンションの一次線形タームを利用しても決定される。

第１変位対応ピクセルＰＡ’と第２変位対応ピクセルＰＢ’との差値△ｉ’ｊ’は、以下の数式（２７）のようにも決定される。

第１変位対応ピクセルＰＡ’と第２変位対応ピクセルＰＢ’との差値△ｉ’ｊ’が最小になるようにするｘ軸方向の変位ベクトルＶｘ、ｙ軸方向の変位ベクトルＶｙは、以下の数式（２８）のように、差値△の二乗和であるΦ（Ｖｘ，Ｖｙ）を利用しても決定される。すなわち、数式（２９）のように、Φ（Ｖｘ，Ｖｙ）が最小である場合のＶｘ，Ｖｙとも決定され、それは、Φ（Ｖｘ，Ｖｙ）の極大値または極小値を利用しても決定される。

Φ（Ｖｘ，Ｖｙ）は、Ｖｘ、Ｖｙを媒介変数にする関数であり、極大値または極小値は、以下の数式（３０）のように、Φ（Ｖｘ，Ｖｙ）をＶｘ及びＶｙに対して偏微分して０になる値を計算することによっても決定される。

すなわち、Ｖｘ，Ｖｙは、Φ（Ｖｘ，Ｖｙ）値を最小にするＶｘ及びＶｙとも決定される。前記最適化問題を解決するために、まず垂直方向に最小化が行われて、その後、水平方向に最小化が行われる。前記最小化により、Ｖｘは、以下の数式（３１）のようにも決定される。

ここで、ｃｌｉｐ３（ｘ，ｙ，ｚ）関数は、ｚ＜ｘであるならば、ｘであり、ｚ＞ｙであるならば、ｙであり、ｘ＜ｚ＜ｙであるならば、ｚを出力する関数である。数式（３１）によれば、ｓ１＋ｒ＞ｍである場合、Ｖｘは、ｃｌｉｐ３（－ｔｈＢＩＯ，ｔｈＢＩＯ，－ｓ３／（ｓ１＋ｒ））であり、ｓ１＋ｒ＞ｍではない場合、Ｖｘは、０でもある。

前記最小化により、Ｖｙは、以下の数式（３２）のようにも決定される。

ここで、ｃｌｉｐ３（ｘ，ｙ，ｚ）関数は、ｚ＜ｘであるならば、ｘであり、ｚ＞ｙであるならば、ｙであり、ｘ＜ｚ＜ｙであるならば、ｚを出力する関数である。数式（３２）によれば、ｓ５＋ｒ＞ｍである場合、Ｖｙは、ｃｌｉｐ３（－ｔｈＢＩＯ，ｔｈＢＩＯ，－（ｓ６－Ｖｘ＊ｓ２）／２／（ｓ５＋ｒ）であり、ｓ５＋ｒ＞ｍではない場合、Ｖｙは、０でもある。

このとき、ｓ１、ｓ２、ｓ３及びｓ５は、下記数式（３３）のようにも決定される。ｓ４は、ｓ２と同一値を有することができる。

前述のように、ｒとｍは、乗算演算結果値が０であるか、あるいはそれより小さい値になることを避けるために導入された調節パラメータであり、入力ビデオの内部ビットデプスｄに基づいて、以下の数式（３４）のようにも決定される。すなわち、調節パラメータｍは、最小許容される分母の値（minimum allowed denominator）であり、調節パラメータｒは、０のグラジエント値を有する場合、分母を０にして除算を行うことを防止するために導入された調節パラメータでもある。

Ｖｘ及びＶｙは、±ｔｈＢＩＯの上限及び下限を有することができる。その理由は、ノイズや、不規則的な動きのために、ピクセルグループ単位の動き補償を信頼することができない場合があるために、Ｖｘ及びＶｙは、特定臨界値ｔｈＢＩＯによってもクリッピングされる。調節パラメータｔｈＢＩＯは、全ての参照ピクチャの方向が同一方向であるか否かということに基づいても決定される。例えば、全ての参照ピクチャの方向が同一方向である場合、調節パラメータｔｈＢＩＯは、１２＾（ｄ－８－１）または１２＊２＾（１４－ｄ）と決定されもする。もし全ての参照ピクチャの方向が互いに異なる方向である場合、ｔｈＢＩＯは、１２＾（ｄ－８－１）／２または１２＊２＾（１３－ｄ）と決定されもする。

ただ、それに制限されるものではなく、調節パラメータｒ，ｍ及びｔｈＢＩＯは、ビットストリームから獲得された調節パラメータについての情報に基づいて、その値が決定されもする。このとき、該調節パラメータについての情報は、スライスヘッダ、ピクチャパラメータセット、シーケンスパラメータセット、多様な形態のハイレベルシンタックスキャリアにも含まれる。

また、時間的に異なる双方向予測の利用可能いかんにより、調節パラメータが決定されもする。例えば、時間的に異なる双方向予測が利用可能である場合のｔｈＢＩＯ_ｄｉｆｆが、時間的に互いに同じである双方向予測が利用可能である場合、ｔｈＢＩＯ_ｓａｍｅより大きく、ｔｈＢＩＯ_ｄｉｆｆの大きさは、ｔｈＢＩＯ_ｓａｍｅサイズの２倍でもある。

図８Ｂは、一実施形態により、ピクセルグループに係わる水平方向変位ベクトル及び垂直方向変位ベクトルを決定する過程について説明するための参照図である。

図８Ｂを参照すれば、所定サイズのウィンドウ（Ωｉｊ）８１０は、現在ブロックで双方向予測されるピクセルではない複数のピクセルのＫｘＫサイズのピクセルグループ８２０を中心にし、（２Ｍ＋Ｋ＋１）＊（２Ｎ＋Ｋ＋１）（Ｍ、Ｎは、整数である）の大きさを有する。

このとき、図８Ａと異なる点は、ウィンドウサイズが大きくなるという点であり、それを除いては、同一方式でもって、ピクセルグループに係わる水平方向変位ベクトル及び垂直方向変位ベクトルを決定することができる。

図８Ｃは、一実施形態により、ピクセルに係わる水平方向変位ベクトル及び垂直方向変位ベクトルを決定する過程について説明するための参照図である。

図８Ｃを参照すれば、ビデオ復号装置１００は、ピクセルそれぞれについて、水平方向変位ベクトル及び垂直方向変位ベクトルを決定することができる。従って、ピクセルそれぞれの単位時間当たり変位ベクトル８３５を決定することができる。このとき、ピクセルそれぞれの変位ベクトル８３５の水平方向変位ベクトルＶｘ［ｉ，ｊ］及び垂直方向変位ベクトルＶｙ［ｉ，ｊ］は、下記数式（３５）によっても決定される。ここで、ｉ，ｊは、ピクセルの座標ｘ成分、座標ｙ成分を意味する。ここで、σ_１［ｉ，ｊ］、σ_２［ｉ，ｊ］σ_３［ｉ，ｊ］、σ_５［ｉ，ｊ］及び_σ６［ｉ，ｊ］は、それぞれ数式（３３）のｓ１、ｓ２、ｓ３、ｓ５及びｓ６でもある。

図８Ｄは、一実施形態により、ピクセルグループに係わる水平方向変位ベクトル及び垂直方向変位ベクトルを決定する過程について説明するための参照図である。

図８Ｄを参照すれば、ビデオ復号装置１００は、ピクセルグループ８４０それぞれに含まれたピクセルそれぞれに対して、σ_１［ｉ，ｊ］、σ_２［ｉ，ｊ］、σ_３［ｉ，ｊ］、σ_５［ｉ，ｊ］及びσ_６［ｉ，ｊ］を、前記数式（３５）のように決定することができる。

ビデオ復号装置１００は、ピクセルグループ８４０に係わる水平方向変位ベクトルＶｘ［ｉ，ｊ］を、ピクセルのσ_１［ｉ，ｊ］及びσ_３［ｉ，ｊ］を利用し、以下の数式（３６）のように決定することができる。ここで、ｉ，ｊは、ピクセルグループの左側上端座標のｘ成分、ｙ成分を意味する。

ビデオ復号装置１００は、水平方向変位ベクトルを算出する方式と類似した方式で、ピクセルグループの垂直方向変位ベクトルを算出することができる。すなわち、ピクセルグループの垂直方向変位ベクトルを算出するために、ピクセルそれぞれに対して、分母で利用される変数を分母に加え、ピクセルグループの垂直方向変位ベクトルを算出するために、ピクセルそれぞれに対して、分子で利用される変数を分子に加えることにより、ピクセルグループの垂直方向変位ベクトルが算出されもする。

ビデオ復号装置１００は、ピクセルのσ_２［ｉ，ｊ］、σ_５［ｉ，ｊ］、σ_６［ｉ，ｊ］及びＶｘ［ｉ，ｊ］を利用し、ピクセルグループ８４０に係わる垂直方向変位ベクトルＶｙ［ｉ，ｊ］を、以下の数式（３７）のように決定することができる。ここで、該水平方向変位ベクトルＶｘ［ｉ，ｊ］は、数式（３６）によって決定された値でもある。

図８Ｃに図示されているように、各ピクセルごとに、水平方向変位ベクトル及び垂直方向変位ベクトルが決定される場合、各ピクセルごとに、２回の乗算演算が行われなければならない。しかし、図８Ｄに図示されているように、各ピクセルグループごとに、水平方向変位ベクトル及び垂直方向変位ベクトルが決定される場合、ピクセルグループの大きさをＬｘＬ（Ｌは、整数である）とすれば、ピクセル当たり２／（Ｌ＾２）の乗算演算が行われなければならない。従って、ピクセルグループ別に、水平方向変位ベクトル及び垂直方向変位ベクトルが決定される場合、必要な乗算演算の回数が減るために、ハードウェア複雑度が低減され、演算時間が短くもなる。

一方、先に図８Ｄを参照し、ピクセルグループが２ｘ２サイズを有する場合を仮定して詳細に説明したが、それに制限されるものではなく、ピクセルグループがＬｘＬ（Ｌは、整数である）サイズを有することができる。

このとき、ピクセルグループの大きさＬは、下記数式（３８）のようにも決定される。Ｗ、Ｈは、それぞれ現在ブロックの幅、高さを意味する。

ビデオ復号装置１００が、ウィンドウサイズによるブロック拡張と共に、ピクセル単位動き補償を行う場合、ピクセルグループ単位の動き補償を行う場合、それぞれの場合に係わるメモリアクセス回数及び乗算演算回数ほど、メモリアクセス動作及び乗算演算が、ビデオ復号装置１００において、下記表１のようにも行われる。このとき、信号フィルタの長さＴが８であり、グラジエントフィルタの長さＴが６であり、
ピクセルグループの大きさがＬｘＬであり、ブロックの大きさがＮｘＮであり、ピクセル別ウィンドウサイズ２Ｍ＋１が５であると仮定する。

すなわち、ビデオ復号装置１００は、ピクセルグループ単位の動き補償を行う場合、ピクセルグループの大きさに対応する値であるＬ＾２ほど除した値ほど除算演算の回数を減少させ、除算演算を行うことができる。

図９Ａは、一実施形態により、フィルタリング遂行後、オフセットを加え、逆スケーリングを行うことにより、水平方向または垂直方向のグラジエント値を決定する過程について説明するための図面である。

図９Ａを参照すれば、ビデオ復号装置１００は、所定の方向成分が整数位置であるピクセルに対し、第１一次元フィルタ及び第２一次元フィルタを利用したフィルタリングを行い、水平方向または垂直方向のグラジエント値を決定することができる。ただし、所定の方向成分が整数位置であるピクセルに対し、第１一次元フィルタまたは第２一次元フィルタを利用してフィルタリングを行った値が、所定の範囲を外れもする。そのような現象をオーバーフロー現象と言う。一次元フィルタの係数は、不正確であって複雑な小数演算の代わりに、整数演算を行うために、整数としても決定される。一次元フィルタの係数が整数として決定されるためにスケーリングされもする。スケーリングされた一次元フィルタの係数を利用してフィルタリングが行われれば、整数演算が可能になる一方、スケーリングされていない一次元フィルタを利用してフィルタリングが行われた場合と比較するとき、フィルタリングが行われた値の大きさが大きくもなり、オーバーフロー現象が発生しもする。従って、該オーバーフロー現象を防止するために、一次元フィルタを利用してフィルタリングが行われた後に逆スケーリングが行われもする。このとき、該逆スケーリングは、右側に逆スケーリングビット数ほど右側にビットシフティングを行うことを含んでもよい。該逆スケーリングビット数は、計算の正確度を最大化しながらも、フィルタリング演算のためのレジスタの最大ビット数、及びフィルタリング演算結果を保存する臨時バッファ（temporal buffer）の最大ビット数を考慮しても決定される。特に、該逆スケーリングビット数は、内部ビットデプス（internal bit depth）、補間フィルタのためのスケーリングビット数、及びグラジエントフィルタのためのスケーリングビット数に基づいても決定される。

以下では、水平方向のグラジエント値を決定するために、まず垂直方向の補間フィルタを利用し、整数位置のピクセルに対してフィルタリングを行い、垂直方向の補間フィルタリング値を生成し、その後、水平方向のグラジエントフィルタを利用し、前記垂直方向の補間フィルタリング値に対して、フィルタリングが行われる過程において、逆スケーリングを行う内容について説明する。

前述の数式（１２）によれば、ビデオ復号装置１００は、水平方向のグラジエント値を決定するために、まず整数位置のピクセルに対して、垂直方向の補間フィルタを利用してフィルタリングを行うことができる。このとき、shift_１は、ｂ－８とも決定される。このとき、ｂは、入力映像の内部ビットデプスでもある。以下、表２を参照し、前記shift_１に基づいて、実際逆スケーリングが行われる場合、レジスタのビットデプス（Ｒｅｇ Ｂｉｔｄｅｐｔｈ）及び臨時バッファのビットデプス（Ｔｅｍｐ Ｂｉｔｄｅｐｔｈ）について説明することにする。

このとき、以下の数式（３９）により、表２にある変数の値が決定されもする。

ここで、Ｍｉｎ（Ｉ）は、内部ビットデプスによって決定されるピクセル値（Ｉ）の最小値を意味し、Ｍａｘ（Ｉ）は、内部ビットデプスによって決定されるピクセル値（Ｉ）の最大値を意味する。FilterＳｕｍＰｏｓは、正数のフィルタ係数の和の最大値を意味し、FilterＳｕｍＮｅｇは、負数のフィルタ係数の和の最小値を意味する。

例えば、図７Ｃに開示された１／４ペル単位のグラジエントフィルタｆｒａｃFilterが利用されることを仮定する場合、FilterＳｕｍＰｏｓは、８８でもあり、FilterＳｕｍＮｅｇは、－２４でもある。

Ceiling（ｘ）関数は、エラーｘに対して、ｘより大きいか、あるいはそれと同じである整数のうち最も小さい整数を出力する関数でもある。offset_１は、shift_１を利用して逆スケーリングを行う過程において発生しうる四捨五入エラーを防止するために、フィルタリングが行われた値に加えられるオフセット値であり、offset_１は、２＾（shift_１－１）とも決定される。

表２を参照すれば、内部ビットデプスｂが８である場合、レジスタのビットデプス（ＲｅｇＢｉｔｄｐｅｔｈ）は、１６であり、内部ビットデプスｂが９である場合、レジスタのビットデプスは、１７であり、以下、内部ビットデプスｂが１０、１１、１２及び１６である場合、レジスタのビットデプスは、１８、１９、２４でもある。もしフィルタリングを行うために利用されるレジスタが、３２ビットのレジスタである場合、表２にあるレジスタのビットデプスは、いずれも３２を超えないために、オーバーフロー現象が発生しなくなる。

同様に、内部ビットデプスｂが、８、９、１０，１１、１２及び１６である場合、臨時バッファのビットデプス（ＴｅｍｐＢｉｔＤｅｐｔｈ）は、いずれも１６である。もしフィルタリングが行われ、逆スケーリングが行われた値を保存するために利用される臨時バッファが１６ビットバッファである場合、表２にある臨時バッファのビットデプスは、１６であり、いずれも１６を超えないために、オーバーフロー現象が発生しなくなる。

数式（１２）によれば、ビデオ復号装置１００は、水平方向のグラジエント値を決定するために、まず垂直方向の補間フィルタを利用し、整数位置のピクセルに対してフィルタリングを行い、垂直方向の補間フィルタリング値を生成し、その後、数式（１３）により、水平方向のグラジエントフィルタを利用し、前記垂直方向の補間フィルタリング値に対してフィルタリングを行うことができる。このとき、shift_２は、ｐ＋ｑ－shift_１と決定されもする。ここで、ｐは、図７Ｃに図示されたフィルタ係数を含む補間フィルタに対してスケーリングされたビット数を意味し、ｑは、図７Ａに図示されたフィルタ係数を含むグラジエントフィルタに対してスケーリングされたビット数を意味する。例えば、ｐは、６であり、ｑは、４でもあり、従って、shift_２＝１８－ｂでもある。

shift_２が前述のように決定される理由は、フィルタ係数がアップスケールされた場合、及びフィルタ係数がアップスケーリングされていない場合、最終フィルタリング結果値が同一であるために、逆スケーリングされるビット数の総和であるshift_１＋shift_２は、フィルタに対してアップスケーリングされたビット数の和（ｐ＋ｑ）と同一になければならないためである。

以下、表３を参照し、前記shift_２に基づいて、実際逆スケーリングが行われる場合、レジスタのビットデプス（Ｒｅｇ Ｂｉｔｄｅｐｔｈ）、及び臨時バッファのビットデプス（Ｔｅｍｐ Ｂｉｔｄｅｐｔｈ）について説明することにする。

このとき、以下の数式（４０）により、表３にある変数の値が決定されもする。

ここで、ＴｅｍｐＭａｘは、表３のＴｅｍｐＭａｘを意味し、ＴｅｍｐＭｉｎは、表３のＴｅｍｐＭｉｎの意味する。FilterＳｕｍＰｏｓは、正数のフィルタ係数の和の最大値を意味し、FilterＳｕｍＮｅｇは、負数のフィルタ係数の和の最小値を意味する。例えば、図７Ｃに開示された１／４ペル単位のグラジエントフィルタｇｒａｄFilterが利用されると仮定する場合、FilterＳｕｍＰｏｓは、６８でもあり、FilterＳｕｍＮｅｇは、－６８でもある。

offset_２は、shift_２を利用して逆スケーリングを行う過程において発生しうる四捨五入エラーを防止するために、フィルタリングが行われた値に加えられるオフセット値であり、offset_２は、２＾（shift_２－１）とも決定される。

shift_１及びshift_２は、前述のようにも決定されるが、それに制限されるものではなく、shift_１とshift_２との和が、フィルタに対するスケーリングビット数の和と同一になるように、多様にshift_１及びshift_２が決定されもする。このとき、オーバーフロー現象が発生しないことを前提に、shift_１値及びshift_２値が決定されもする。shift_１及びshift_２は、入力映像の内部ビットデプス、フィルタに対するスケーリングビット数に基づいても決定される。

ただし、必ずしもshift_１とshift_２との和が、フィルタに対するスケーリングビット数の和と同一であるように、shift_１及びshift_２を決定しなければならないものではない。例えば、shift_１は、ｄ－８とも決定されるが、shift_２は、固定数とも決定される。

shift_１は、以前と同一であり、shift_２が固整数である７である場合、先立って言及した表３において、ＯｕｔＭａｘ、ＯｕｔＭｉｎ及びＴｅｍｐ Ｂｉｔｄｅｐｔｈが異なりもする。以下、表４を参照し、臨時バッファのビットデプス（Ｔｅｍｐ Ｂｉｔｄｅｐｔｈ）について説明することにする。

表３と異なり、表４の場合、全てのｂにおいて、臨時バッファのビットデプス（Ｔｅｍｐ Ｂｉｔｄｅｐｔｈ）が１６と同一であり、もし１６ビット臨時バッファを利用して結果データを保存する場合を仮定すれば、臨時バッファのビットデプス（Ｔｅｍｐ Ｂｉｔｄｅｐｔｈ）が１６より小さいために、全ての入力映像の内部ビットデプスに対してオーバーフローが発生しなくなる。一方、表３を参照すれば、入力映像の内部ビットデプスが１２及び１６である場合、もし１６ビット臨時バッファを利用して結果データを保存する場合を仮定すれば、臨時バッファのビットデプス（Ｔｅｍｐ Ｂｉｔｄｅｐｔｈ）が１６より大きいために、オーバーフロー現象が発生してしまう。

shift_２が固定数である場合、スケーリングされたフィルタ係数を利用せず、フィルタリングが行われた場合の結果値と、スケーリングされたフィルタ係数を利用してフィルタリングが行われてから逆スケーリングが行われた場合の結果値とが異なりもする。その場合、追加して逆スケーリングされなければならないということは、当業者であるならば、容易に理解することができるであろう。

先に、水平方向のグラジエント値を決定するために、まず垂直方向の補間フィルタを利用し、整数位置のピクセルに対してフィルタリングを行い、垂直方向の補間フィルタリング値を生成し、その後、水平方向のグラジエントフィルタを利用し、前記垂直方向の補間フィルタリング値に対して、フィルタリングが行われる過程において、逆スケーリングを行う内容について説明したが、それに制限されるものではなく、多様な一次元フィルタ組み合わせにより、水平方向及び垂直方向のグラジエント値を決定するために、所定の方向成分が整数であるピクセルに対してフィルタリングが行われる場合、類似して、逆スケーリングを行うことができるということは、当業者は容易に理解することができるであろう。

図９Ｂは、他の実施形態により、フィルタリング遂行後、オフセットを加え、逆スケーリングを行うことにより、水平方向または垂直方向のグラジエント値を決定する過程について説明するための図面である。

図９Ｂを参照すれば、ビデオ復号装置１００は、参照ピクチャの小数ピクセル及び整数ピクセルを入力にし、フィルタリングを行うことができる。ここで、該参照ピクチャの小数ピクセルは、参照ピクチャの整数ピクセルに対して、水平方向及び垂直方向の一次元フィルタを適用して決定された値であると仮定する。

ビデオ復号装置１００は、所定方向の位置成分が小数であるピクセル、及び整数ピクセルに対して、水平方向または垂直方向の一次元フィルタを利用したフィルタリングを行い、水平方向または垂直方向のグラジエント値を決定することができる。ただし、所定の方向位置成分が小数であるピクセル、及び整数ピクセルに対し、第１一次元フィルタを利用してフィルタリングを行った値が、所定の範囲を外れもする。そのような現象をオーバーフロー現象と言う。一次元フィルタの係数は、不正確であって複雑な小数演算の代わりに、整数演算を行うために、整数に決定されもする。一次元フィルタの係数が整数として決定されるためにもスケーリングされる。スケーリングされた一次元フィルタの係数を利用してフィルタリングが行われれば、整数演算が可能になる一方、スケーリングされていない一次元フィルタを利用してフィルタリングが行われた場合と比較するとき、フィルタリングが行われた値の大きさが大きくもなり、オーバーフロー現象が発生しもする。従って、オーバーフロー現象を防止するために、一次元フィルタを利用してフィルタリングが行われた後に逆スケーリングが行われもする。このとき、該逆スケーリングは、右側に逆スケーリングビット数（shift_１）ほど右側にビットシフティングを行うことを含んでもよい。該逆スケーリングビット数は、計算の正確度を最大化しながらも、フィルタリング演算のためのレジスタの最大ビット数及びフィルタリング演算結果を保存する臨時バッファの最大ビット数を考慮しても決定される。特に、逆スケーリングビット数は、内部ビットデプス（internal bit depth）、及びグラジエントフィルタのためのスケーリングビット数に基づいても決定される。

図９Ｃは、現在ブロックに対して、ピクセル単位動き補償を行う過程において、水平方向変位ベクトル及び垂直方向変位ベクトルを決定するために必要な範囲について説明するための図面である。

図９Ｃを参照すれば、現在ブロックに対応する参照ブロック９１０に対し、ピクセル単位動き補償を行う過程において、ビデオ復号装置１００は、参照ブロック９１０の左側上端に位置するピクセル９１５周辺のウィンドウ９２０を利用し、ピクセル９１５での水平方向の単位時間当たり変位ベクトル、及び垂直方向の単位時間当たり変位ベクトルを決定することができる。このとき、参照ブロック９１０を外れる範囲に位置したピクセルのピクセル値及びグラジエント値を利用し、水平方向または垂直方向の単位時間当たり変位ベクトルを決定することができる。同様の方式により、参照ブロック９１０の境界に位置したピクセルに対し、水平方向変位ベクトル及び垂直方向変位ベクトルを決定する過程において、ビデオ復号装置１００は、参照ブロック９１０を外れる範囲に位置したピクセルのピクセル値及びグラジエント値を決定することになる。従って、ビデオ復号装置１００は、参照ブロック９１０より大きい範囲のブロック９２５を利用し、水平方向変位ベクトル、及び垂直方向の単位時間当たり変位ベクトルを決定することができる。例えば、現在ブロックの大きさがＡｘＢであり、ピクセル別ウィンドウサイズが、（２Ｍ＋１）ｘ（２Ｎ＋１）であるとするならば、水平方向変位ベクトル及び垂直方向変位ベクトルを決定するための範囲の大きさは、（Ａ＋２Ｍ）ｘ（Ｂ＋２Ｎ）でもある。

図９Ｄ及び図９Ｅは、多様な実施形態による、ピクセル単位の動き補償を行う過程において利用される領域の範囲について説明するための図面である。

図９Ｄを参照すれば、ピクセル単位の動き補償を行う過程において、ビデオ復号装置１００は、参照ブロック９３０の境界に位置したピクセルのウィンドウの大きさによって拡張された範囲のブロック９３５を基に、参照ブロック９３０に含まれたピクセル別の水平方向変位ベクトル、及び垂直方向単位時間当たり変位ベクトルを決定することができる。ただし、水平方向及び垂直方向の単位時間当たり変位ベクトルを決定する過程において、ビデオ復号装置１００は、ブロック９３５に位置したピクセルのピクセル値及びグラジエント値が必要であり、このとき、前述のピクセル値及びグラジエント値を求めるために、補間フィルタまたはグラジエントフィルタを利用することができる。ブロック９３５の境界ピクセルに対し、補間フィルタまたはグラジエントフィルタを利用する過程において、周辺ピクセルのピクセル値を利用することができ、従って、ブロック境界外に位置するピクセルを利用することができる。従って、補間フィルタまたはグラジエントフィルタのタップ個数から１ほど差し引いた値に追加拡張された範囲のブロック９４０を利用し、ピクセル単位動き補償が行われもする。従って、ブロックの大きさがＮｘＮであり、ピクセル別ウィンドウサイズが、（２Ｍ＋１）ｘ（２Ｍ＋１）であり、補間フィルタまたはグラジエントフィルタ長がＴである場合、（Ｎ＋２Ｍ＋Ｔ－１）ｘ（Ｎ＋２Ｍ＋Ｔ－１）でもある。

図９Ｅを参照すれば、ピクセル単位の動き補償を行う過程において、ビデオ復号装置１００は、参照ブロック９４５の境界に位置するピクセルのウィンドウの大きさによって参照ブロックを拡張せず、参照ブロック９４５内に位置するピクセルのピクセル値及びグラジエント値を利用し、ピクセル別の水平方向変位ベクトル、及び垂直方向単位時間当たり変位ベクトルを決定することができる。具体的には、ビデオ復号装置１００が、参照ブロックを拡張せず、水平方向単位時間当たり変位ベクトル、及び垂直方向単位時間当たり変位ベクトルを決定するための過程は、図９Ｅを参照して説明する。ただし、ピクセルのピクセル値及びグラジエント値を求めるために、参照ブロック９４５の補間フィルタまたはグラジエントフィルタを利用することになり、拡張されたブロック９５０を利用し、ピクセル単位動き補償が行われもする。従って、ブロックの大きさがＮｘＮであり、ピクセル別ウィンドウサイズが、（２Ｍ＋１）ｘ（２Ｍ＋１）であり、補間フィルタ長またはグラジエントフィルタ長がＴである場合、（Ｎ＋Ｔ－１）ｘ（Ｎ＋Ｔ－１）でもある。

図９Ｆは、参照ブロックを拡張せず、水平方向変位ベクトル及び垂直方向変位ベクトルを決定するための過程について説明するための図面である。

図９Ｆを参照すれば、参照ブロック９５５の境界外に位置するピクセルの場合、ビデオ復号装置１００は、そのピクセルの位置を、参照ブロック９５５の境界内に位置するピクセルのうち最も近くの位置において利用可能なピクセルの位置に調整し、境界外に位置するピクセルのピクセル値及びグラジエント値は、最も近くの位置において利用可能なピクセルのピクセル値及びグラジエント値とも決定される。このとき、ビデオ復号装置１００は、参照ブロック９５５の境界外に位置するピクセルの位置を、数式：

及び数式：

により、最も近くの位置において利用可能なピクセルの位置に調整することができる。

ここで、ｉ’は、ピクセルのｘ座標値、ｊ’は、ピクセルのｙ座標値であり、Ｈ及びＷは、参照ブロックの高さ及び幅を意味する。このとき、参照ブロックの左上端の位置を（０，０）と仮定した。もし参照ブロックの左上端の位置が、（ｘＰ，ｙＰ）であるならば、最終ピクセルの位置は、（ｉ’＋ｘＰ，ｊ’＋ｙＰ）でもある。

また図９Ｄを参照すれば、ピクセル別ウィンドウの大きさによって拡張されたブロック９３５において、参照ブロック９３０の境界外部に位置したピクセルの位置は、参照ブロック９３０境界内部に隣接したピクセルの位置に調整され、図９Ｅのように、ビデオ復号装置１００は、参照ブロック９４５のピクセル値及びグラジエント値でもって、参照ブロック９４５内のピクセル別の水平方向変位ベクトル、及び垂直方向単位時間当たり変位ベクトルを決定することができる。

従って、ビデオ復号装置１００は、ピクセル別ウィンドウ大きさによって参照ブロック９４５を拡張せず、ピクセル単位動き補償を行うことにより、ピクセル値参照のためのメモリアクセスの回数が低減し、乗算演算の回数が低減し、演算の複雑度が低減されもする。

ビデオ復号装置１００が、（ＨＥＶＣ標準によって動作するときのように）ブロック単位の動き補償を行う場合、ウィンドウサイズによるブロック拡張と共にピクセル単位動き補償を行う場合、ブロック拡張なしに、ピクセル単位動き補償を行う場合、それぞれの場合に係わるメモリアクセス回数及び乗算演算回数ほどメモリアクセス動作及び乗算演算が、ビデオ復号装置１００において、下記表５のように遂行されもする。このとき、信号（補間）フィルタ長が８であり、グラジエントフィルタ長が６であり、ブロックの大きさがＮｘＮであり、ピクセル別ウィンドウサイズ２Ｍ＋１が５であると仮定する。

ＨＥＶＣ標準によるブロック単位の動き補償においては、サンプル一つに対して８タップの補間フィルタを利用するので、８個の周辺サンプルが必要になり、従って、参照ブロックの大きさがＮｘＮである場合、８タップ補間によれば、（Ｎ＋７）ｘ（Ｎ＋７）個の参照サンプルが必要になり、双方向動き予測補償であるために、２つの参照ブロックを利用することになるので、ＨＥＶＣ標準によるブロック単位の動き補償においては、表４のように、２＊（Ｎ＋７）ｘ（Ｎ＋７）回のメモリアクセスが必要である。ブロック拡張と共に、ピクセル単位動き補償を行う場合、Ｍ＝２であるならば、拡張された（Ｎ＋４）ｘ（Ｎ＋４）サイズのブロックに対し、８タップの補間フィルタまたはグラジエントフィルタを利用し、ピクセル単位動き補償を行えば、（Ｎ＋４＋７）ｘ（Ｎ＋４＋７）個の参照サンプルが必要になり、双方向動き予測補償であるために、２つの参照ブロックを利用することになるので、最終的に、ブロック拡張と共に行われるピクセル単位動き補償においては、表５のように、２＊（Ｎ＋４＋７）ｘ（Ｎ＋４＋７）回のメモリアクセスが必要である。

ブロック拡張なしに、ピクセル単位動き補償を行う場合、ブロックの拡張がないために、ＨＥＶＣ標準によるブロック単位の動き補償のように、（Ｎ＋７）ｘ（Ｎ＋７）個の参照サンプルが必要になり、双方向動き予測補償であるために、２つの参照ブロックを利用することになるので、ブロック拡張なしに行われるピクセル単位動き補償においては、表５のように、２＊（Ｎ＋７）ｘ（Ｎ＋７）回のメモリアクセスが必要である。

一方、ＨＥＶＣ標準によるブロック単位の動き補償においては、サンプル一つに対して８タップの補間フィルタを利用するので、最初水平方向の補間を行うのに必要なサンプルは、（Ｎ＋７）ｘＮサンプルである。２番目垂直方向の補間を行うのに必要なサンプルは、ＮｘＮサンプルである。一方、８タップの補間フィルタ当たり必要な乗算演算の回数は、８であり、双方向動き予測補償であるために、２つの参照ブロックを利用することになるので、ＨＥＶＣ標準によるブロック単位の動き補償においては、表５のように、２＊８＊｛（Ｎ＋７）＊Ｎ＋Ｎ＊Ｎ）回の乗算演算が必要である。

ブロック拡張と共にピクセル単位動き補償を行う場合、ピクセル単位動き補償を行うために、ブロックの大きさが拡張されるために、拡張された（Ｎ＋４）ｘ（Ｎ＋４）サイズのブロックに対して８タップの補間フィルタを利用し、小数ピクセル単位の位置にあるピクセル値を決定するためには、表５のように、総２＊８＊｛（Ｎ＋４＋７）ｘ（Ｎ＋４）＋（Ｎ＋４）ｘ（Ｎ＋４）｝回の乗算演算が必要である。

一方、ブロック拡張と共にピクセル単位動き補償を行う場合、水平方向または垂直方向のグラジエント値を決定するために、６タップのグラジエントフィルタ、及び６タップの補間フィルタを利用することになる。ブロックの大きさが拡張されるために、拡張された（Ｎ＋４）ｘ（Ｎ＋４）サイズのブロックに対し、６タップの補間フィルタ及びグラジエントフィルタを利用し、グラジエント値を決定するためには、表５のように、総２＊６＊｛（Ｎ＋４＋５）ｘ（Ｎ＋４）＋（Ｎ＋４）ｘ（Ｎ＋４）｝＊２回の乗算演算が必要である。

ブロック拡張なしにピクセル単位動き補償を行う場合、ブロックの拡張がないために、ＨＥＶＣ標準によるブロック単位の動き補償のように、（Ｎ＋７）ｘ（Ｎ＋７）個の参照サンプルが必要になり、双方向動き予測補償であるために、２つの参照ブロックを利用することになるので、ブロック拡張なしに行われるピクセル単位動き補償においては、ＮｘＮサイズのブロックに対し、８タップの補間フィルタを利用し、小数ピクセル単位の位置にあるピクセル値を決定するために、表５のように、２＊８＊｛（Ｎ＋７）ｘＮ＋ＮｘＮ｝回の乗算演算が必要である。

一方、ブロック拡張なしにピクセル単位動き補償を行う場合、水平方向または垂直方向のグラジエント値を決定するために、６タップのグラジエントフィルタ、及び６タップの補間フィルタを利用することになる。ＮｘＮサイズのブロックに対し、６タップの補間フィルタ及びグラジエントフィルタを利用し、グラジエント値を決定するためには、表５のように、総２＊６＊｛（Ｎ＋５）ｘＮ＋ＮｘＮ｝＊２回の乗算演算が必要である。

図９Ｇないし図９Ｉは、他の実施形態により、参照ブロックを拡張せず、水平方向変位ベクトル及び垂直方向変位ベクトルを決定するための過程について説明するための図面である。

先に、図９Ｄを参照しながら説明した通り、ピクセル単位の動き補償を行う過程において、ビデオ復号装置１００は、参照ブロック９３０の境界に位置したピクセルのウィンドウの大きさによって拡張された範囲のブロック９３５を基に、参照ブロック９３０に含まれたピクセル別の水平方向変位ベクトル、及び垂直方向単位時間当たり変位ベクトルを決定することができる。例えば、ウィンドウサイズが、（２Ｍ＋１）ｘ（２Ｍ＋１）である場合、ビデオ復号装置１００は、参照ブロック９３０の境界に位置したピクセルにウィンドウが適用されれば、Ｍほど参照ブロック９３０をはずれたピクセルのピクセル値及びグラジエント値を参照し、ピクセル別の水平方向変位ベクトル及び垂直方向変位ベクトルを決定することができる。

以下では、他の実施形態により、ビデオ復号装置１００が参照ブロック外のピクセルのピクセル値及びグラジエント値を参照せず、現在ブロックに対応する参照ブロックのピクセル値及びグラジエント値のみを利用し、ピクセル別の水平方向変位ベクトル及び垂直方向変位ベクトルを決定するための値（数式（３３）のｓ１ないしｓ６）を決定する方法について説明する。ここで、該ウィンドウサイズは、５ｘ５であると仮定する。便宜上、現在ピクセルを中心に、横方向に位置するピクセルについて説明する。現在ピクセルを中心に縦方向に位置するピクセルについても、同一方式によっても加重値が決定されるということは、当業者であるならば、容易に理解することができるであろう。

ビデオ復号装置１００は、水平方向または垂直方向の変位ベクトルを決定しようとする現在ピクセルを中心にするウィンドウに含まれたピクセル別に、ピクセル値Ｐ０（ｉ’，ｊ’及びＰ１（ｉ’，ｊ’）、水平方向または垂直方向グラジエント値

及び参照ピクチャと現在ピクチャとのＰＯＣ差τ０，τ１に係わる関数に対して演算を行い、ピクセル別の水平方向変位ベクトル及び垂直方向変位ベクトルを決定するための値（数式（３３）のｓ１ないしｓ６）は、ピクセル別に行われた演算の結果値を合わせて決定される。

このとき、ピクセル別に同じ加重値を有するようにして、ピクセル別に行われた演算の結果値に加重値を乗じ、その値を合わせ、ピクセル別の水平方向変位ベクトル及び垂直方向変位ベクトルを決定するための値ｓ１ないしｓ６を決定することができる。

図９Ｇを参照すれば、現在ブロック９６０内において、現在ピクセル９６１に対する水平方向及び垂直方向変位ベクトルを決定する過程において、ビデオ復号装置１００は、ウィンドウ内ピクセルに対し、同一値１を有するように加重値を決定することができる。ビデオ復号装置１００は、ピクセル別に演算された結果値に、各ピクセルに対して決定された加重値をそれぞれ乗じ、その結果値をいずれも加え、現在ピクセルに対し、水平方向変位ベクトル及び垂直方向変位ベクトルを決定するための値ｓ１ないしｓ６を決定することができる。

図９Ｈを参照すれば、現在ブロック９７０内において、現在ピクセル９７１が、現在ブロック９７０の境界近くにすぐ隣接する場合、ビデオ復号装置１００は、現在ブロック９７０の境界外部に位置するブロック９７０の境界に接するピクセルの加重値は、３に決定することができる。ビデオ復号装置１００は、それ以外のピクセル９７３の加重値を１に決定することができる。

図９Ｈを参照すれば、現在ブロック９８０内において、現在ピクセル９８１が現在ブロック９８０の境界近くに位置する場合（現在ピクセルが、境界から１ピクセルほど離れた場合）、ビデオ復号装置１００は、現在ブロック９８０の境界外部に位置するピクセル９８２に対する加重値は、０に決定し、現在ブロック９８０の境界に接するピクセル９８３の加重値は、２に決定することができる。ビデオ復号装置１００は、それ以外のピクセル９８４の加重値を１に決定することができる。

図９Ｇないし図９Ｉを参照して説明したように、ビデオ復号装置１００は、現在ピクセルの位置により、ウィンドウ内ピクセル別で加重値を異なって付与することにより、現在ブロックに対応する参照ブロック外部に位置するピクセルのピクセル値及びグラジエント値を利用せず、参照ブロック内部に位置するピクセルのピクセル値及びグラジエント値を利用し、ピクセル別水平方向及び垂直方向の変位ベクトルを決定するための値ｓ１ないしｓ６を決定することができるようになる。

図９Ｊは、一実施形態により、ブロックの拡張なしに、参照ブロックのピクセル値及びグラジエント値を参照し、上下左右に、指数平滑技法を適用することにより、ピクセル別の水平方向変位ベクトル及び垂直方向変位ベクトルを決定する過程について説明するための図面である。

図９Ｊを参照すれば、ビデオ復号装置１００は、現在ブロック９９０に含まれたピクセル別に、対応参照ブロックに含まれた対応参照ピクセルのピクセル値Ｐ０（ｉ’，ｊ’）及びＰ１（ｉ’，ｊ’）、対応参照ブロックのピクセルに含まれた対応参照ピクセルの水平方向または垂直方向グラジエント値

及び参照ピクチャと現在ピクチャとのＰＯＣ差τ０，τ１に係わる関数について演算を行うことができる。

ビデオ復号装置１００は、現在ピクセルの関数演算遂行結果値と、周辺ピクセルの関数演算遂行結果値とを合わせ、現在ピクセルの水平方向及び垂直方向の変位ベクトルを決定するための値ｓ１ないしｓ６（σ_{ｋ（ｋ＝１，２，３，４，５，６）}）が決定されもする。すなわち、現在ピクセルの水平方向変位ベクトル及び垂直方向変位ベクトルを決定するための値ｓ１ないしｓ６は、下記数式（４１）のように、現在ピクセル及び周辺ピクセルについての演算遂行値の加重平均によっても表現される。このとき、ウィンドウΩに含まれたピクセルの位置座標は、（ｉ’，ｊ’）である。また、Ｗ［ｉ’，ｊ’］は、ウィンドウΩに含まれたピクセルに係わる加重値を意味する。ここで、ウィンドウΩの大きさは、（２Ｍ＋１）ｘ（２Ｍ＋１）（Ｍは、整数である）でもある。また、関数Ａ_ｋ［ｉ’，ｊ’］は、ウィンドウΩに含まれた（ｉ’，ｊ’）位置のピクセルに係わる対応参照ピクセルのピクセル値Ｐ０（ｉ’，ｊ’）及びＰ１（ｉ’，ｊ’）（Ｉ［ｉ’，ｊ’］（０，１））、対応参照ブロックのピクセルに含まれた対応参照ピクセルの水平方向または垂直方向グラジエント値

及び参照ピクチャと現在ピクチャとのＰＯＣ差τ０，τ１に係わる関数値でもある。

例えば、ビデオ復号装置１００は、現在ピクセルの関数演算遂行結果値と、現在ピクセルを中心にするウィンドウ内ピクセルの関数演算遂行結果値とをそのまま合わせ、現在ピクセルの水平方向変位ベクトル及び垂直方向変位ベクトルを決定するための値ｓ１ないしｓ６を決定することができる。このとき、ウィンドウサイズが５ｘ５であるとするならば、現在ブロック９９０の境界に位置するピクセル９９１の水平方向変位ベクトル及び垂直方向変位ベクトルを決定するために必要な値を決定するためには、ピクセル９９１を中心にするウィンドウ９９２内のピクセルの演算遂行値を参照しなければならないために、現在ブロック９９０より上下左右方向に２ピクセルほど大きい拡張ブロック９９６のピクセルについて、関数演算遂行結果値を参照しなければならない。一方、関数Ａ_ｋ［ｉ’，ｊ’］の値は、下記のような表６のようにも決定される。

ここでＩ_ｘ ^（０）［ｉ’，ｊ’］、Ｉ_ｘ ^（１）［ｉ’，ｊ’］は、それぞれ

でもあり、Ｉ_ｙ ^（０）［ｉ’，ｊ’］、Ｉ_ｙ ^（１）［ｉ’，ｊ’］は、それぞれ

でもあり、Ｉ^（０）［ｉ’，ｊ’］及びＩ^（１）［ｉ’，ｊ’］は、それぞれＰ０（ｉ’，ｊ’）及びＰ１（ｉ’，ｊ’）でもある。

ビデオ復号装置１００は、Ａ_ｋ［ｉ’，ｊ’］に係わる加重平均を決定するために、Ａ_ｋ［ｉ’，ｊ’］に対して、上下左右方向に指数平滑技法を適用し、平均化を行うことができる。

図９Ｊを参照すれば、まずビデオ復号装置１００は、左右方向に、Ａ_ｋ［ｉ’，ｊ’］に対して指数平滑技法を適用することができる。以下では、ビデオ復号装置１００は、左右方向に、Ａ_ｋ［ｉ’，ｊ’］に対して指数平滑技法を適用し、Ａ_ｋ［ｉ’，ｊ’］に係わる加重平均値を決定する内容について詳細に説明する。

まず、ビデオ復号装置１００は、指数平滑技法を適用し、右側方向に平均化させる内容について説明する。ビデオ復号装置１００は、下記のような擬似コード（pseudo code）１により、Ａ_ｋ［ｉ’，ｊ’］に対し、右側方向に平均化を行うことができる。このとき、Ｈは、現在ブロックの高さ、Ｗは、現在ブロックの幅を意味し、Strideは、一次元配列において、１本のラインと次のラインとの距離を意味する。すなわち、二次元配列Ａ［ｉ，ｊ］は、一次元配列Ａ［ｉ＋ｊ＊Stride］によっても表現される。
［擬似コード１］

例えば、現在ブロックの大きさが４ｘ４であるとし、Ａ［０］、Ａ［１］、Ａ［２］及びＡ［３］が、ａ、ｂ、ｃ、ｄであるとするならば、前記擬似コード１によるプロセスの結果値Ａ’［０］は、２ａ、Ａ’［１］は、Ａ［０］／２＋ｂ＝ａ＋ｂでもあり、Ａ’［２］は、Ａ［１］／２＋ｃ＝ａ／２＋ｂ／２＋ｃでもあり、Ａ’［３］は、Ａ［２］／２＋ｄ＝ａ／４＋ｂ／４＋ｃ／２＋ｄでもある。

以下では、ビデオ復号装置１００が指数平滑技法を適用し、左側方向に平均化させる内容について説明する。ビデオ復号装置１００は、下記のような擬似コード２により、Ａ_ｋ［ｉ’，ｊ’］に対し、左側方向に平均化を行うことができる。このとき、Ｈは、現在ブロックの高さ、Ｗは、現在ブロックの幅を意味し、Strideは、一次元配列において、１本のラインと次のラインとの距離を意味する。すなわち、二次元配列Ａ［ｉ，ｊ］は、一次元配列Ａ［ｉ＋ｊ＊Stride］によっても表現される。
［擬似コード２］

例えば、現在ブロックの大きさが４ｘ４であるとし、右側方向に平均化された値であるＡ’［０］、Ａ’［１］、Ａ’［２］及びＡ’［３］が、２ａ、ａ＋ｂ、ａ／２＋ｂ／２＋ｃ、ａ／４＋ｂ／４＋ｃ／２＋ｄである場合、前記擬似コード２によるプロセスの結果値Ａ［３］は、２＊Ａ’［３］＝ａ／２＋ｂ／２＋ｃ＋２ｄであり、Ａ［２］は、Ａ’［２］＋Ａ［３］／２＝ａ／２＋ｂ／２＋ｃ＋ａ／４＋ｂ／４＋ｃ／２＋ｄ＝３ａ／４＋３ｂ／４＋３ｃ／２＋ｄであり、Ａ［１］は、Ａ’［１］＋Ａ［２］／２…であり、Ａ［０］は、Ａ’［０］＋Ａ［１］／２でもある。

以下では、ビデオ復号装置１００は、指数平滑技法を適用し、下側方向に平均化させる内容について説明する。ビデオ復号装置１００は、下記のような擬似コード３により、Ａ_ｋ［ｉ’，ｊ’］に対し、下側方向に平均化を行うことができる。このとき、Ｈは、現在ブロックの高さ、Ｗは、現在ブロックの幅を意味し、Strideは、一次元配列において、１本のラインと次のラインとの距離を意味する。すなわち、二次元配列Ａ［ｉ，ｊ］は、一次元配列Ａ［ｉ＋ｊ＊Stride］によっても表現される。
［擬似コード３］

以下では、ビデオ復号装置１００は、指数平滑技法を適用し、上側方向に平均化させる内容について説明する。ビデオ復号装置１００は、下記のような擬似コード４により、Ａ_ｋ［ｉ’，ｊ’］に対し、上側方向に平均化を行うことができる。このとき、Ｈは、現在ブロックの高さ、Ｗは、現在ブロックの幅を意味し、Strideは、一次元配列において、１本のラインと次のラインとの距離を意味する。すなわち、二次元配列Ａ［ｉ，ｊ］は、一次元配列Ａ［ｉ＋ｊ＊Stride］によっても表現される。
［擬似コード４］

すなわち、ビデオ復号装置１００は、指数平滑技法を利用し、Ａ_ｋ［ｉ’，ｊ’］に対し、上下左右方向に平均化を行うことができ、そのような平均化作業を遂行して決定されたピクセル別結果値は、各ピクセルに係わる水平方向または垂直方向の変位ベクトルを決定するために必要な値であるσ_ｋ［ｉ，ｊ］にもなる。このとき、指数平滑技法を利用して平均化を行うことになれば、現在ピクセル位置について最大の加重値を有することになり、ピクセルが現在ピクセルから距離が遠くなるほど、そのピクセルに係わる加重値は、指数的に低減することになる。

従って、ビデオ復号装置１００は、現在ブロック９９０に対して指数平滑技法を利用し、上下左右方向に平均化を行うことにより、ピクセル別に、水平方向または垂直方向の変位ベクトルを決定するために必要な加重平均であるσ_ｋ［ｉ，ｊ］を決定することができる。すなわち、ビデオ復号装置１００は、現在ブロック９９０を拡張したブロック９９６に対応する参照ブロックのピクセル値及びグラジエント値を参照せず、現在ブロック９９０に対応する参照ブロックのピクセル値及びグラジエント値のみを参照し、ピクセル別に、水平方向または垂直方向の変位ベクトルを決定することができる。

図９Ｋは、一実施形態により、現在ブロックに係わる動き補償を行うために、フィルタを利用し、参照ブロック内の参照ピクセルのピクセル値、並びに水平方向及び垂直方向のグラジエント値を決定する過程について説明するための図面である。

図９Ｋを参照すれば、ビデオ復号装置１００は、現在ブロックに対応する参照ブロック内の参照ピクセルのピクセル値及びグラジエント値を利用し、現在ブロックに係わるピクセル単位及びブロック単位の動き補償を行うことができる。従って、現在ブロックに係わるピクセル単位及びブロック単位の動き補償を行うためには、現在ブロックに対応する参照ブロック内の参照ピクセルのピクセル値及びグラジエント値が決定されなければならない。このとき、参照ブロック内の参照ピクセルのピクセル値及びグラジエント値の単位は、小数ピクセル単位でもある。例えば、参照ブロック内の参照ピクセルのピクセル値及びグラジエント値の単位は、１／１６ピクセル（１／１６ｐｅｌ）単位でもある。

ビデオ復号装置１００は、小数ピクセル単位の参照ブロック内の参照ピクセルのピクセル値及びグラジエント値を決定するために、参照ブロックの整数ピクセルのピクセル値に対してフィルタリングを行うことができる。

まず、ビデオ復号装置１００は、参照ピクセルの整数ピクセルのピクセル値に、水平８タップ信号フィルタ（signal filter；補間フィルタともいう）及び垂直８タップ信号フィルタを適用し、参照ブロック内の参照ピクセルのピクセル値を決定することができる。

ビデオ復号装置１００は、参照ブロックの整数ピクセル値に対して、水平方向の８タップ信号フィルタを適用してフィルタリングを行うことにより、水平方向に、小数ピクセル単位の位置成分を有する参照ピクセルのピクセル値を決定し、それをバッファに保存することができる。ビデオ復号装置１００は、垂直方向に、整数単位の位置成分を有する参照ピクセルのピクセル値に対して、垂直方向の８タップ信号フィルタを適用し、垂直方向に小数ピクセル単位位置成分を有する参照ピクセルのピクセル値を決定することができる。

ビデオ復号装置１００は、参照ブロックの整数ピクセル値に対して、まず垂直方向の６タップ信号フィルタを適用し、その後、水平方向の６タップグラジエントフィルタを適用してフィルタリングを行うことにより、参照ブロック内の参照ピクセルの水平方向のグラジエント値を決定することができる。

すなわち、ビデオ復号装置１００は、参照ブロックの整数ピクセル値に対して、垂直方向の６タップ信号フィルタを適用してフィルタリングを行うことにより、垂直方向に小数ピクセル単位の位置成分を有する参照ピクセルのピクセル値を決定し、それをバッファに保存することができる。

ビデオ復号装置１００は、水平方向に整数単位の位置成分を有する参照ピクセルのピクセル値に対して、水平方向の６タップグラジエントフィルタを適用し、水平方向にも、小数ピクセル単位位置成分を有する参照ピクセルの水平方向のグラジエント値を決定することができる。

ビデオ復号装置１００は、参照ブロックの整数ピクセル値に対して、まず垂直方向の６タップグラジエントフィルタを適用し、その後、水平方向の６タップ信号フィルタを適用してフィルタリングを行うことにより、参照ブロック内の参照ピクセルの垂直方向のグラジエント値を決定することができる。

すなわち、ビデオ復号装置１００は、参照ブロックの整数ピクセル値に対して、垂直方向の６タップグラジエントフィルタを適用してフィルタリングを行うことにより、垂直方向に小数ピクセル単位の位置成分を有する参照ピクセルのグラジエント値を決定し、それをバッファに保存することができる。

ビデオ復号装置１００は、水平方向に、整数単位の位置成分を有する参照ピクセルの垂直方向グラジエント値に対して、水平方向の６タップ信号フィルタを適用し、水平方向にも、小数ピクセル単位位置成分を有する参照ピクセルの垂直方向のグラジエント値を決定することができる。

すなわち、ビデオ復号装置１００は、参照ブロック内の参照ピクセルのピクセル値、参照ブロック内の参照ピクセルの水平方向のグラジエント値、及び参照ブロック内の参照ピクセルの垂直方向のグラジエント値をそれぞれ決定するために、２個の一次元フィルタが適用され、このとき、各フィルタの係数と対応するピクセルに係わる値の間で乗算演算が行われもする。例えば、参照ブロック内の参照ピクセルの水平方向のグラジエント値を決定するために、６タップ信号／グラジエントフィルタの二つが利用され、ピクセル当たり総１２回の乗算演算が行われもする。また、参照ブロック内の参照ピクセルの垂直方向のグラジエント値を決定するために、６タップ信号／グラジエントフィルタの二つが利用され、ピクセル当たり総１２回の乗算演算が行われもする。

図９Ｌは、他の実施形態により、現在ブロックに係わる動き補償を行うために、フィルタを利用し、参照ブロック内の参照ピクセルのピクセル値、並びに水平方向及び垂直方向のグラジエント値を決定する過程について説明するための図面である。

図９Ｌを参照すれば、ビデオ復号装置１００は、現在ブロックに対応する参照ブロック内の参照ピクセルのピクセル値及びグラジエント値を利用し、現在ブロックに係わるピクセル単位及びブロック単位の動き補償を行うことができる。従って、現在ブロックに係わるピクセル単位及びブロック単位の動き補償を行うためには、現在ブロックに対応する参照ブロック内の参照ピクセルのピクセル値及びグラジエント値が決定されなければならない。このとき、参照ブロック内の参照ピクセルのピクセル値及びグラジエント値の単位は、小数ピクセル単位でもある。例えば、参照ブロック内の参照ピクセルのピクセル値及びグラジエント値の単位は、１／１６ピクセル（１／１６ｐｅｌ）単位でもある。

ビデオ復号装置１００は、小数ピクセル単位の参照ブロック内の参照ピクセルのピクセル値及びグラジエント値を決定するために、参照ブロックの整数ピクセルのピクセル値に対してフィルタリングを行うことができる。

図９Ｋを参照して説明したところと異なり、ビデオ復号装置１００は、まず参照ブロックの整数ピクセル値に、水平８タップ信号フィルタ及び垂直８タップ信号フィルタを適用し、参照ブロック内の参照ピクセルのピクセル値を決定した後、参照ブロック内の参照ピクセルのピクセル値に対して、水平５タップグラジエントフィルタを適用し、参照ブロック内の参照ピクセルの水平方向のグラジエント値を決定することができる。また、ビデオ復号装置１００は、参照ブロック内の参照ピクセルのピクセル値に対して、垂直５タップグラジエントフィルタを適用し、参照ブロック内の参照ピクセルの垂直方向グラジエント値を決定することができる。

ビデオ復号装置１００は、２個の一次元信号（補間）フィルタを適用し、小数ピクセル単位の位置を有する参照ピクセルのピクセル値を決定した後、小数ピクセル単位の位置にある参照ピクセルのピクセル値に、２個の一次元グラジエントフィルタを並列的に適用することにより、参照ブロック内の参照ピクセルの水平方向のグラジエント値、または垂直方向のグラジエント値を決定することができる。

ビデオ復号装置１００は、参照ピクセルのピクセル値に、以下の数式（４２）のように、５タップの水平方向グラジエントフィルタ（フィルタ係数が｛９，－４８，０，４８，９｝である；ただし、フィルタ係数は、それに制限されるものではない）を適用し、参照ブロック内の参照ピクセルの水平方向のグラジエント値Ｉｘ（ｋ）を決定することができる。ここで、ｋは、０または１の値を有することができ、それぞれ参照ピクチャ０，１を示すことができる。Ｉ（ｋ）［ｉ，ｊ］は、（ｉ，ｊ）位置の参照ブロック内の参照ピクセルのピクセル値でもある。ｉは、ピクセルの水平方向位置成分、ｊは、ピクセルの垂直方向位置成分であり、その単位が小数ピクセル単位でもある。

従って、ビデオ復号装置１００は、サンプル当たり２回の乗算演算のみを行うことにより、参照ブロック内の参照ピクセルの水平方向のグラジエント値Ｉｘ（ｋ）を決定することができる。

また、ビデオ復号装置１００は、参照ピクセルのピクセル値に、以下の数式（４３）のように、５タップの垂直方向グラジエントフィルタ（フィルタ係数が｛９，－４８，０，４８，９｝である；ただし、それに制限されるものではない）を適用し、参照ブロック内の参照ピクセルの垂直方向のグラジエント値Ｉｙ（ｋ）を決定することができる。ここで、ｋは、０または１の値を有することができ、それぞれ参照ピクチャ０，１を示すことができる。Ｉ（ｋ）［ｉ，ｊ］は、（ｉ，ｊ）位置の参照ブロック内の参照ピクセルのピクセル値でもある。ｉは、ピクセルの水平方向位置成分、ｊは、ピクセルの垂直方向位置成分であり、その単位が小数ピクセル単位でもある。

従って、ビデオ復号装置１００は、サンプル当たり２回の乗算演算のみを行うことにより、参照ブロック内の参照ピクセルの垂直方向のグラジエント値Ｉｙ（ｋ）を決定することができる。

ビデオ復号装置１００が、ウィンドウサイズによるブロック拡張と共にピクセル単位動き補償を行う場合、グラジエントフィルタ長を縮小させ、ピクセル単位動き補償を行う場合、それぞれの場合に係わるメモリアクセス回数及び乗算演算回数ほどメモリアクセス動作及び乗算演算が、ビデオ復号装置１００において、下記表７のように行われもする。このとき、信号フィルタの長さＴが８であり、グラジエントフィルタの長さＴが６であり、簡素化されたグラジエントフィルタの長さＴが５であり、ブロックの大きさがＮｘＮであり、ピクセル別ウィンドウサイズ２Ｍ＋１が５と仮定する。

すなわち、ビデオ復号装置１００は、数式（４１）及び４２により、一次元グラジエントフィルタ当たり２回の乗算演算を行い、２個の参照ブロックに対してグラジエントフィルタが適用され、ウィンドウサイズに基づいて拡張された（Ｎ＋４）ｘ（Ｎ＋４）参照ブロックに対し、グラジエントフィルタが適用されるので、水平方向及び垂直方向の参照ピクセルのグラジエント値を決定するために、総２＊２＊｛（Ｎ＋４）ｘ（Ｎ＋４）｝＊２回の乗算演算が行われもする。

ビデオ復号装置１００が、ウィンドウサイズによるブロック拡張と共にピクセル単位動き補償を行う場合、ブロックの拡張なしに、グラジエントフィルタ長を縮小させ、ピクセルグループ単位の動き補償を行う場合、それぞれの場合に係わるメモリアクセス回数及び乗算演算回数ほど、メモリアクセス動作及び乗算演算及び乗算演算が、ビデオ復号装置１００において、下記表８のように行われもする。このとき、信号フィルタの長さＴが８であり、グラジエントフィルタの長さＴが６であり、縮小されたグラジエントフィルタの長さＴが５であり、ピクセルグループの大きさがＬｘＬであり、ブロックの大きさがＮｘＮであり、ピクセル別ウィンドウサイズ２Ｍ＋１が５であると仮定する。

従って、ビデオ復号装置１００が、ブロックの拡張なしに、グラジエントフィルタ長を縮小させてピクセルグループ単位の動き補償を行う場合のメモリアクセス回数、乗算演算回数及び乗算演算回数は、ブロック拡張と共にピクセル単位動き補償を行う場合のメモリアクセス回数、乗算演算回数、乗算演算回数よりはるかに低減されもする。

以下、図１０ないし図２３を参照し、一実施形態によるビデオ復号装置１００が映像を復号する過程で利用することができるデータ単位を決定する方法について説明することにする。ビデオ符号化装置１５０の動作は、後述するビデオ復号装置１００の動作に係わる多様な実施形態と類似しているか、あるいは反対になる動作にもなる。

図１０は、一実施形態により、ビデオ復号装置１００が、現在符号化単位を分割し、少なくとも１つの符号化単位を決定する過程を図示する。

一実施形態により、ビデオ復号装置１００は、ブロック形態情報を利用し、符号化単位の形態を決定することができ、該分割形態情報を利用し、符号化単位がいかなる形態に分割されるかということを決定することができる。すなわち、ビデオ復号装置１００が利用するブロック形態情報が、いかなるブロック形態を示すかということにより、分割形態情報が示す符号化単位の分割方法が決定されもする。

一実施形態により、ビデオ復号装置１００は、現在符号化単位が正方形状であるということを示すブロック形態情報を利用することができる。例えば、ビデオ復号装置１００は、分割形態情報により、正方形の符号化単位を分割しないか、垂直に分割するか、水平に分割するか、４個の符号化単位に分割するかということなどを決定することができる。図１０を参照すれば、現在符号化単位１０００のブロック形態情報が正方形の形態を示す場合、ビデオ復号装置１００は、分割されないことを示す分割形態情報により、現在符号化単位１０００と同一サイズを有する符号化単位１０１０ａを分割しないか、あるいは所定の分割方法を示す分割形態情報に基づいて分割された符号化単位１０１０ｂ，１０１０ｃ，１０１０ｄを決定することができる。

図１０を参照すれば、ビデオ復号装置１００は、一実施形態により、垂直方向に分割されることを示す分割形態情報に基づいて、現在符号化単位１０００を垂直方向に分割した２つの符号化単位１０１０ｂを決定することができる。ビデオ復号装置１００は、水平方向に分割されることを示す分割形態情報に基づいて、現在符号化単位１０００を水平方向に分割した２つの符号化単位１０１０ｃを決定することができる。ビデオ復号装置１００は、垂直方向及び水平方向に分割されることを示す分割形態情報に基づいて、現在符号化単位１０００を垂直方向及び水平方向に分割した４つの符号化単位１０１０ｄを決定することができる。ただし、正方形の符号化単位が分割される分割形態は、前述の形態に限定して解釈されるものではなく、分割形態情報が示すことができる多様な形態が含まれてもよい。正方形の符号化単位が分割される所定の分割形態は、以下において、多様な実施形態を介して具体的に説明することにする。

図１１は、一実施形態により、ビデオ復号装置１００が非正方形の形態である符号化単位を分割し、少なくとも１つの符号化単位を決定する過程を図示する。

一実施形態により、ビデオ復号装置１００は、現在符号化単位が非正方形状であることを示すブロック形態情報を利用することができる。ビデオ復号装置１００は、分割形態情報により、非正方形の現在符号化単位を分割しないか、あるいは所定の方法で分割するかということを決定することができる。図１１を参照すれば、現在符号化単位１１００または１１５０のブロック形態情報が、非正方形の形態を示す場合、ビデオ復号装置１００は、分割されないことを示す分割形態情報により、現在符号化単位１１００または１１５０と同一サイズを有する符号化単位１１１０または１１６０を分割しないか、あるいは所定の分割方法を示す分割形態情報に基づいて分割された符号化単位１１２０ａ，１１２０ｂ，１１３０ａ，１１３０ｂ，１１３０ｃ，１１７０ａ，１１７０ｂ，１１８０ａ，１１８０ｂ，１１８０ｃを決定することができる。非正方形の符号化単位が分割される所定の分割方法は、以下において、多様な実施形態を介して具体的に説明することにする。

一実施形態により、ビデオ復号装置１００は、分割形態情報を利用し、符号化単位が分割される形態を決定することができ、その場合、該分割形態情報は、符号化単位が分割されて生成される少なくとも１つの符号化単位の個数を示すことができる。図１１を参照すれば、分割形態情報が、２つの符号化単位に、現在符号化単位１１００または１１５０が分割されることを示す場合、ビデオ復号装置１００は、分割形態情報に基づいて、現在符号化単位１１００または１１５０を分割し、現在符号化単位に含まれる２つの符号化単位１１２０ａ，１１４２０ｂまたは１１７０ａ，１１７０ｂを決定することができる。

一実施形態により、ビデオ復号装置１００が、分割形態情報に基づいて、非正方形の形態の現在符号化単位１１００または１１５０を分割する場合、非正方形の現在符号化単位１１００または１１５０の長辺の位置を考慮し、現在符号化単位を分割することができる。例えば、ビデオ復号装置１００は、現在符号化単位１１００または１１５０の形態を考慮し、現在符号化単位１１００または１１５０の長辺を分割する方向に、現在符号化単位１１００または１１５０を分割し、複数個の符号化単位を決定することができる。

一実施形態により、分割形態情報が、奇数個のブロックに、符号化単位を分割することを示す場合、ビデオ復号装置１００は、現在符号化単位１１００または１１５０に含まれる奇数個の符号化単位を決定することができる。例えば、分割形態情報が３個の符号化単位に、現在符号化単位１１００または１１５０を分割することを示す場合、ビデオ復号装置１００は、現在符号化単位１１００または１１５０を、３個の符号化単位１１３０ａ，１１３０ｂ，１１３０ｃ，１１８０ａ，１１８０ｂ，１１８０ｃに分割することができる。一実施形態により、ビデオ復号装置１００は、現在符号化単位１１００または１１５０に含まれる奇数個の符号化単位を決定することができ、決定された符号化単位の大きさは、いずれも同一ではない。例えば、決定された奇数個の符号化単位１１３０ａ，１１３０ｂ，１１３０ｃ，１１８０ａ，１１８０ｂ，１１８０ｃにおいて、所定の符号化単位１１３０ｂまたは１１８０ｂの大きさは、他の符号化単位１１３０ａ，１１３０ｃ，１１８０ａ，１１８０ｃとは異なる大きさを有することもできる。すなわち、現在符号化単位１１００または１１５０が分割されて決定される符号化単位は、複数種類の大きさを有することができ、場合によっては、奇数個の符号化単位１１３０ａ，１１３０ｂ，１１３０ｃ，１１８０ａ，１１８０ｂ，１１８０ｃがそれぞれ互いに異なる大きさを有することもできる。

一実施形態により、該分割形態情報が、奇数個のブロックに、符号化単位が分割されることを示す場合、ビデオ復号装置１００は、現在符号化単位１１００または１１５０に含まれる奇数個の符号化単位を決定することができ、さらには、ビデオ復号装置１００は、分割して生成される奇数個の符号化単位のうち少なくとも１つの符号化単位に対し、所定の制限を置くことができる。図１１を参照すれば、ビデオ復号装置１００は、現在符号化単位１１００または１１５０が分割されて生成された３個の符号化単位１１３０ａ，１１３０ｂ，１１３０ｃ，１１８０ａ，１１８０ｂ，１１８０ｃのうち、中央に位置する符号化単位１１３０ｂ，１１８０ｂに対する復号過程を、他の符号化単位１１３０ａ，１１３０ｃ，１１８０ａ，１１８０ｃと異ならせることができる。例えば、ビデオ復号装置１００は、中央に位置する符号化単位１１３０ｂ，１１８０ｂについては、他の符号化単位１１３０ａ，１１３０ｃ，１１８０ａ，１１８０ｃと異なり、それ以上分割されないように制限するか、あるいは所定の回数ほどだけ分割されるように制限することができる。

図１２は、一実施形態により、ビデオ復号装置１００が、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、符号化単位を分割する過程を図示する。

一実施形態により、ビデオ復号装置１００は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、正方形状の第１符号化単位１２００を符号化単位に分割するか、あるいは分割しないと決定することができる。一実施形態により、該分割形態情報が、水平方向に第１符号化単位１２００を分割することを示す場合、ビデオ復号装置１００は、第１符号化単位１２００を水平方向に分割し、第２符号化単位１２１０を決定することができる。一実施形態により、利用される第１符号化単位、第２符号化単位、第３符号化単位は、符号化単位間の分割前後関係を理解するために利用された用語である。例えば、第１符号化単位を分割すれば、第２符号化単位が決定され、第２符号化単位が分割されれば、第３符号化単位が決定されもする。以下においては、利用される第１符号化単位、第２符号化単位及び第３符号化単位の関係は、前述の特徴によるものであると理解されもする。

一実施形態により、ビデオ復号装置１００は、決定された第２符号化単位１２１０を、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、符号化単位に分割するか、あるいは分割しないと決定することができる。図１２を参照すれば、ビデオ復号装置１００は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位１２００を分割して決定された非正方形の形態の第２符号化単位１２１０を、少なくとも１つの第３符号化単位１２２０ａ，１２２０ｂ，１２２０ｃ，１２２０ｄに分割するか、あるいは第２符号化単位１２１０を分割しない。ビデオ復号装置１００は、ブロック形態情報及び分割形態情報のうち少なくとも一つを獲得することができ、ビデオ復号装置１００は、獲得したブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位１２００を分割し、多様な形態の複数個の第２符号化単位（例えば、１２１０）を分割することができ、第２符号化単位１２１０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位１２００が分割された方式によって分割されもする。一実施形態により、第１符号化単位１２００が、第１符号化単位１２００に係わるブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第２符号化単位１２１０に分割された場合、第２符号化単位１２１０も、第２符号化単位１２１０に係わるブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第３符号化単位（例えば、１２２０ａ，１２２０ｂ，１２２０ｃ，１２２０ｄ）に分割されもする。すなわち、符号化単位は、符号化単位それぞれに係わる分割形態情報及びブロック形態情報のうち少なくとも一つに基づいて、再帰的に分割されもする。従って、非正方形状の符号化単位において、正方形の符号化単位が決定され、そのような正方形状の符号化単位が再帰的に分割され、非正方形状の符号化単位が決定されもする。図１２を参照すれば、非正方形状の第２符号化単位１２１０が分割されて決定される奇数個の第３符号化単位１２２０ｂ，１２２０ｃ，１２２０ｄにおいて、所定の符号化単位（例えば、真ん中に位置する符号化単位、または正方形状の符号化単位）は、再帰的に分割されもする。一実施形態により、奇数個の第３符号化単位１２２０ｂ，１２２０ｃ，１２２０ｄのうち一つである正方形状の第３符号化単位１２２０ｃは、水平方向に分割され、複数個の第４符号化単位に分割されもする。複数個の第４符号化単位のうち一つである非正方形状の第４符号化単位１２４０は、また複数個の符号化単位に分割されもする。例えば、非正方形状の第４符号化単位１２４０は、奇数個の符号化単位１２５０ａ，１２５０ｂ，１２５０ｃにさらに分割される。

符号化単位の再帰的分割に利用される方法については、多様な実施形態を介して後述することにする。

一実施形態により、ビデオ復号装置１００は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第３符号化単位１２２０ａ，１２２０ｂ，１２２０ｃ，１２２０ｄそれぞれを符号化単位に分割するか、あるいは第２符号化単位１２１０を分割しないと決定することができる。ビデオ復号装置１００は、一実施形態により、非正方形状の第２符号化単位１２１０を、奇数個の第３符号化単位１２２０ｂ，１２２０ｃ，１２２０ｄに分割することができる。ビデオ復号装置１００は、奇数個の第３符号化単位１２２０ｂ，１２２０ｃ，１２２０ｄにおいて、所定の第３符号化単位に対し、所定の制限を置くことができる。例えば、ビデオ復号装置１００は、奇数個の第３符号化単位１２２０ｂ，１２２０ｃ，１２２０ｄのうち真ん中に位置する符号化単位１２２０ｃについては、それ以上分割されないと制限するか、あるいは設定可能な回数に分割されなければならないと制限することができる。図１２を参照すれば、ビデオ復号装置１００は、非正方形状の第２符号化単位１２１０に含まれる奇数個の第３符号化単位１２２０ｂ，１２２０ｃ，１２２０ｄのうち真ん中に位置する符号化単位１２２０ｃは、それ以上分割されないか、あるいは所定の分割形態に分割（例えば、４個の符号化単位にだけ分割されるか、あるいは第２符号化単位１２１０が分割された形態に対応する形態で分割される）されるように制限するか、あるいは所定の回数だけに分割（例えば、ｎ回だけに分割、ｎ＞０）すると制限することができる。ただし、真ん中に位置した符号化単位１２２０ｃに対する前記制限は、単純な実施形態に過ぎないので、前述の実施形態に制限されて解釈されるものではなく、真ん中に位置した符号化単位１２２０ｃが、異なる符号化単位１２２０ｂ，１２２０ｄと異なるようにも復号される多様な制限を含むと解釈されなければならない。

一実施形態により、ビデオ復号装置１００は、現在符号化単位を分割するために利用されるブロック形態情報及び分割形態情報のうち少なくとも一つを、現在符号化単位内の所定の位置で獲得することができる。

図１３は、一実施形態により、ビデオ復号装置１００が、奇数個の符号化単位のうち所定の符号化単位を決定するための方法を図示する。図１３を参照すれば、現在符号化単位１３００のブロック形態情報及び分割形態情報のうち少なくとも一つは、現在符号化単位１３００に含まれる複数個のサンプルのうち所定位置のサンプル（例えば、真ん中に位置するサンプル１３４０）から獲得されもする。ただし、そのようなブロック形態情報及び分割形態情報のうち少なくとも一つが獲得される現在符号化単位１３００内の所定位置が、図１３で図示する真ん中位置に限定して解釈されるものではなく、該所定位置には、現在符号化単位１３００内に含まれる多様な位置（例えば、最上端、最下端、左側、右側、左側上端、左側下段、右側上端または右側下段など）が含まれてもよいと解釈されなければならない。ビデオ復号装置１００は、所定位置から獲得されるブロック形態情報及び分割形態情報のうち少なくとも一つを獲得し、現在符号化単位を多様な形態及び大きさの符号化単位に分割するか、あるいは分割しないと決定することができる。

一実施形態により、ビデオ復号装置１００は、現在符号化単位が、所定の個数の符号化単位に分割された場合、そのうち１つの符号化単位を選択することができる。複数個の符号化単位のうち一つを選択するための方法は、多様なものがあり、そのような方法に係わる説明は、以下の多様な実施形態を介して後述することにする。

一実施形態により、ビデオ復号装置１００は、現在符号化単位を、複数個の符号化単位に分割し、所定位置の符号化単位を決定することができる。

図１３は、一実施形態により、ビデオ復号装置１００が、奇数個の符号化単位のうち所定位置の符号化単位を決定するための方法を図示する。

一実施形態により、ビデオ復号装置１００は、奇数個の符号化単位のうち真ん中に位置する符号化単位を決定するために、奇数個の符号化単位それぞれの位置を示す情報を利用することができる。図１３を参照すれば、ビデオ復号装置１００は、現在符号化単位１３００を分割し、奇数個の符号化単位１３２０ａ，１３２０ｂ，１３２０ｃを決定することができる。ビデオ復号装置１００は、奇数個の符号化単位１３２０ａ，１３２０ｂ，１３２０ｃの位置に係わる情報を利用し、真ん中符号化単位１３２０ｂを決定することができる。例えば、ビデオ復号装置１００は、符号化単位１３２０ａ，１３２０ｂ，１３２０ｃに含まれる所定のサンプルの位置を示す情報に基づいて、符号化単位１３２０ａ，１３２０ｂ，１３２０ｃの位置を決定することにより、真ん中に位置する符号化単位１３２０ｂを決定することができる。具体的には、ビデオ復号装置１００は、符号化単位１３２０ａ，１３２０ｂ，１３２０ｃの左側上端のサンプル１３３０ａ，１３３０ｂ，１３３０ｃの位置を示す情報に基づいて、符号化単位１３２０ａ，１３２０ｂ，１３２０ｃの位置を決定することにより、真ん中に位置する符号化単位１３２０ｂを決定することができる。

一実施形態により、符号化単位１３２０ａ，１３２０ｂ，１３２０ｃにそれぞれ含まれる左側上端のサンプル１３３０ａ，１３３０ｂ，１３３０ｃの位置を示す情報は、符号化単位１３２０ａ，１３２０ｂ，１３２０ｃのピクチャ内での位置または座標に係わる情報を含んでもよい。一実施形態により、符号化単位１３２０ａ，１３２０ｂ，１３２０ｃにそれぞれ含まれる左側上端のサンプル１３３０ａ，１３３０ｂ，１３３０ｃの位置を示す情報は、現在符号化単位１３００に含まれる符号化単位１３２０ａ，１３２０ｂ，１３２０ｃの幅または高さを示す情報を含んでもよく、そのような幅または高さは、符号化単位１３２０ａ，１３２０ｂ，１３２０ｃのピクチャ内での座標間の差を示す情報に該当する。すなわち、ビデオ復号装置１００は、符号化単位１３２０ａ，１３２０ｂ，１３２０ｃのピクチャ内での位置または座標に係わる情報を直接利用するか、あるいは座標間の差値に対応する符号化単位の幅または高さに係わる情報を利用することにより、真ん中に位置する符号化単位１３２０ｂを決定することができる。

一実施形態により、上端符号化単位１３２０ａの左側上端のサンプル１３３０ａの位置を示す情報は、（ｘａ，ｙａ）座標を示すことができ、真ん中符号化単位１３２０ｂの左側上端のサンプル１３３０ｂの位置を示す情報は、（ｘｂ，ｙｂ）座標を示すことができ、下端符号化単位１３２０ｃの左側上端のサンプル１３３０ｃの位置を示す情報は、（ｘｃ，ｙｃ）座標を示すことができる。ビデオ復号装置１００は、符号化単位１３２０ａ，１３２０ｂ，１３２０ｃにそれぞれ含まれる左側上端のサンプル１３３０ａ，１３３０ｂ，１３３０ｃの座標を利用し、真ん中符号化単位１３２０ｂを決定することができる。例えば、左側上端のサンプル１３３０ａ，１３３０ｂ，１３３０ｃの座標を昇順または降順に整列したとき、真ん中に位置するサンプル１３３０ｂの座標である（ｘｂ，ｙｂ）を含む符号化単位１３２０ｂを、現在符号化単位１３００が分割されて決定された符号化単位１３２０ａ，１３２０ｂ，１３２０ｃにおいて、真ん中に位置する符号化単位と決定することができる。ただし、左側上端のサンプル１３３０ａ，１３３０ｂ，１３３０ｃの位置を示す座標は、ピクチャ内での絶対的な位置を示す座標を示すことができ、さらには、上端符号化単位１３２０ａの左側上端のサンプル１３３０ａの位置を基準に、真ん中符号化単位１３２０ｂの左側上端のサンプル１３３０ｂの相対的位置を示す情報である（ｄｘｂ，ｄｙｂ）座標、下端符号化単位１３２０ｃの左側上端のサンプル１３３０ｃの相対的位置を示す情報である（ｄｘｃ，ｄｙｃ）座標を利用することもできる。また、符号化単位に含まれるサンプルの位置を示す情報として、当該サンプルの座標を利用することにより、所定位置の符号化単位を決定する方法は、前述の方法に限定して解釈されるものではなく、サンプルの座標を利用することができる多様な算術的方法であると解釈されなければならない。

一実施形態により、ビデオ復号装置１００は、現在符号化単位１３００を、複数個の符号化単位１３２０ａ，１３２０ｂ，１３２０ｃに分割することができ、符号化単位１３２０ａ，１３２０ｂ，１３２０ｃのうち、所定の基準により、符号化単位を選択することができる。例えば、ビデオ復号装置１００は、符号化単位１３２０ａ，１３２０ｂ，１３２０ｃにおいて、大きさが異なる符号化単位１３２０ｂを選択することができる。

一実施形態により、ビデオ復号装置１００は、上端符号化単位１３２０ａの左側上端のサンプル１３３０ａの位置を示す情報である（ｘａ，ｙａ）座標、真ん中符号化単位１３２０ｂの左側上端のサンプル１３３０ｂの位置を示す情報である（ｘｂ，ｙｂ）座標、下端符号化単位１３２０ｃの左側上端のサンプル１３３０ｃの位置を示す情報である（ｘｃ，ｙｃ）座標を利用し、符号化単位１３２０ａ，１３２０ｂ，１３２０ｃそれぞれの幅または高さを決定することができる。ビデオ復号装置１００は、符号化単位１３２０ａ，１３２０ｂ，１３２０ｃの位置を示す座標である（ｘａ，ｙａ）、（ｘｂ，ｙｂ）、（ｘｃ，ｙｃ）を利用し、符号化単位１３２０ａ，１３２０ｂ，１３２０ｃそれぞれの大きさを決定することができる。

一実施形態により、ビデオ復号装置１００は、上端符号化単位１３２０ａの幅を、ｘｂ－ｘａと決定することができ、高さを、ｙｂ－ｙａと決定することができる。一実施形態により、ビデオ復号装置１００は、真ん中符号化単位１３２０ｂの幅を、ｘｃ－ｘｂと決定することができ、高さを、ｙｃ－ｙｂと決定することができる。一実施形態により、ビデオ復号装置１００は、下端符号化単位の幅または高さは、現在符号化単位の幅または高さと、上端符号化単位１３２０ａ及び真ん中符号化単位１３２０ｂの幅及び高さとを利用して決定することができる。ビデオ復号装置１００は、決定された符号化単位１３２０ａ，１３２０ｂ，１３２０ｃの幅及び高さに基づいて、他の符号化単位と異なる大きさを有する符号化単位を決定することができる。図１３を参照すれば、ビデオ復号装置１００は、上端符号化単位１３２０ａ及び下端符号化単位１３２０ｃの大きさと異なる大きさを有する真ん中符号化単位１３２０ｂを、所定位置の符号化単位と決定することができる。ただし、前述のビデオ復号装置１００が、異なる符号化単位と異なる大きさを有する符号化単位を決定する過程は、サンプル座標に基づいて決定される符号化単位の大きさを利用し、所定位置の符号化単位を決定する一実施形態に過ぎないので、所定のサンプル座標によって決定される符号化単位の大きさを比較し、所定位置の符号化単位を決定する多様な過程が利用されもする。

ただし、符号化単位の位置を決定するために考慮するサンプルの位置は、前述の左側上端に限定して解釈されるものではなく、符号化単位に含まれる任意のサンプル位置に係わる情報が利用されてもよいと解釈されもする。

一実施形態により、ビデオ復号装置１００は、現在符号化単位の形態を考慮し、現在符号化単位が分割されて決定される奇数個の符号化単位のうち所定位置の符号化単位を選択することができる。例えば、現在符号化単位が、幅が高さより長い非正方形状であるならば、ビデオ復号装置１００は、水平方向に沿って、所定位置の符号化単位を決定することができる。すなわち、ビデオ復号装置１００は、水平方向に位置を異にする符号化単位のうち一つを決定し、当該符号化単位に対する制限を置くことができる。現在符号化単位が、高さが幅より長い非正方形状であるならば、ビデオ復号装置１００は、垂直方向に沿って、所定位置の符号化単位を決定することができる。すなわち、ビデオ復号装置１００は、垂直方向に位置を異にする符号化単位のうち一つを決定し、当該符号化単位に対する制限を置くことができる。

一実施形態により、ビデオ復号装置１００は、偶数個の符号化単位のうち所定位置の符号化単位を決定するために、偶数個の符号化単位それぞれの位置を示す情報を利用することができる。ビデオ復号装置１００は、現在符号化単位を分割し、偶数個の符号化単位を決定することができ、偶数個の符号化単位の位置に係わる情報を利用し、所定位置の符号化単位を決定することができる。それに係わる具体的な過程は、図１３で説明した奇数個の符号化単位のうち所定位置（例えば、真ん中位置）の符号化単位を決定する過程に対応する過程でもあるので、省略することにする。

一実施形態により、非正方形状の現在符号化単位を、複数個の符号化単位に分割した場合、複数個の符号化単位のうち所定位置の符号化単位を決定するために、分割過程において、所定位置の符号化単位についての所定の情報を利用することができる。例えば、ビデオ復号装置１００は、現在符号化単位が、複数個に分割された符号化単位のうち真ん中に位置する符号化単位を決定するために、分割過程において、真ん中符号化単位に含まれたサンプルに保存されたブロック形態情報及び分割形態情報のうち少なくとも一つを利用することができる。

図１３を参照すれば、ビデオ復号装置１００は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、現在符号化単位１３００を、複数個の符号化単位１３２０ａ，１３２０ｂ，１３２０ｃに分割することができ、複数個の符号化単位１３２０ａ，１３２０ｂ，１３２０ｃのうち真ん中に位置する符号化単位１３２０ｂを決定することができる。さらには、ビデオ復号装置１００は、ブロック形態情報及び分割形態情報のうち少なくとも一つが獲得される位置を考慮し、真ん中に位置する符号化単位１３２０ｂを決定することができる。すなわち、現在符号化単位１３００のブロック形態情報及び分割形態情報のうち少なくとも一つは、現在符号化単位１３００の真ん中に位置するサンプル１３４０から獲得され、前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つに基づいて、現在符号化単位１３００が、複数個の符号化単位１３２０ａ，１３２０ｂ，１３２０ｃに分割された場合、前記サンプル１３４０を含む符号化単位１３２０ｂを、真ん中に位置する符号化単位と決定することができる。ただし、真ん中に位置する符号化単位と決定するために利用される情報が、ブロック形態情報及び分割形態情報のうち少なくとも一つに限定して解釈されるものではなく、多様な種類の情報が、真ん中に位置する符号化単位を決定する過程で利用されもする。

一実施形態により、所定位置の符号化単位を識別するための所定の情報は、決定しようとする符号化単位に含まれる所定のサンプルからも獲得される。図１３を参照すれば、ビデオ復号装置１００は、現在符号化単位１３００が分割されて決定された複数個の符号化単位１３２０ａ，１３２０ｂ，１３２０ｃにおいて、所定位置の符号化単位（例えば、複数個に分割された符号化単位のうち真ん中に位置する符号化単位）を決定するために、現在符号化単位１３００内の所定位置のサンプル（例えば、現在符号化単位１３００の真ん中に位置するサンプル）から獲得されるブロック形態情報及び分割形態情報のうち少なくとも一つを利用することができる。すなわち、ビデオ復号装置１００は、現在符号化単位１３００のブロックブロック形態を考慮し、前記所定位置のサンプルを決定することができ、ビデオ復号装置１００は、現在符号化単位１３００が分割されて決定される複数個の符号化単位１３２０ａ，１３２０ｂ，１３２０ｃのうち、所定の情報（例えば、ブロック形態情報及び分割形態情報のうち少なくとも一つ）が獲得されるサンプルが含まれた符号化単位１３２０ｂを決定し、所定の制限を置くことができる。図１３を参照すれば、一実施形態により、ビデオ復号装置１００は、所定の情報が獲得されるサンプルとして、現在符号化単位１３００の真ん中に位置するサンプル１３４０を決定することができ、ビデオ復号装置１００は、そのようなサンプル１３４０が含まれる符号化単位１３２０ｂに対し、復号過程での所定の制限を置くことができる。ただし、所定の情報が獲得されるサンプルの位置は、前述の位置に限定して解釈されるものではなく、制限を置くために決定しようとする符号化単位１３２０ｂに含まれる任意の位置のサンプルとも解釈される。

一実施形態により、所定の情報が獲得されるサンプルの位置は、現在符号化単位１３００の形態によっても決定される。一実施形態により、ブロック形態情報は、現在符号化単位の形態が正方形であるか、あるいは非正方形であるかということを決定することができ、形態により、所定の情報が獲得されるサンプルの位置を決定することができる。例えば、ビデオ復号装置１００は、現在符号化単位の幅に係わる情報、及び高さに係わる情報のうち少なくとも一つを利用し、現在符号化単位の幅及び高さのうち少なくとも一つを半分に分割する境界上に位置するサンプルを、所定の情報が獲得されるサンプルと決定することができる。他の例を挙げれば、ビデオ復号装置１００は、現在符号化単位に係わるブロック形態情報が非正方形状であることを示す場合、現在符号化単位の長辺を半分に分割する境界に隣接するサンプルのうち一つを、所定の情報が獲得されるサンプルと決定することができる。

一実施形態により、ビデオ復号装置１００は、現在符号化単位を、複数個の符号化単位に分割した場合、複数個の符号化単位のうち所定位置の符号化単位を決定するために、ブロック形態情報及び分割形態情報のうち少なくとも一つを利用することができる。一実施形態により、ビデオ復号装置１００は、ブロック形態情報及び分割形態情報のうち少なくとも一つを、符号化単位に含まれた所定位置のサンプルから獲得することができ、ビデオ復号装置１００は、現在符号化単位が分割されて生成された複数個の符号化単位を、複数個の符号化単位それぞれに含まれた所定位置のサンプルから獲得される分割形態情報及びブロック形態情報のうち少なくとも一つを利用して分割することができる。すなわち、該符号化単位は、符号化単位それぞれに含まれた所定位置のサンプルから獲得されるブロック形態情報及び分割形態情報のうち少なくとも一つを利用し、再帰的に分割されもする。符号化単位の再帰的分割過程については、図１２を介して説明したので、詳細な説明は、省略することにする。

一実施形態により、ビデオ復号装置１００は、現在符号化単位を分割し、少なくとも１つの符号化単位を決定することができ、そのような少なくとも１つの符号化単位が復号される順序を、所定のブロック（例えば、現在符号化単位）によって決定することができる。

図１４は、一実施形態により、ビデオ復号装置１００が現在符号化単位を分割し、複数個の符号化単位を決定する場合、複数個の符号化単位が処理される順序を図示する。

一実施形態により、ビデオ復号装置１００は、ブロック形態情報及び分割形態情報により、第１符号化単位１４００を垂直方向に分割し、第２符号化単位１４１０ａ，１４１０ｂを決定するか、第１符号化単位１４００を水平方向に分割し、第２符号化単位１４３０ａ，１４３０ｂを決定するか、あるいは第１符号化単位１４００を、垂直方向及び水平方向に分割し、第２符号化単位１４５０ａ，１４５０ｂ，１４５０ｃ，１４５０ｄを決定することができる。

図１４を参照すれば、ビデオ復号装置１００は、第１符号化単位１４００を垂直方向に分割して決定された第２符号化単位１４１０ａ，１４１０ｂを、水平方向（１４１０ｃ）に処理されるように順序を決定することができる。ビデオ復号装置１００は、第１符号化単位１４００を水平方向に分割して決定された第２符号化単位１４３０ａ，１４３０ｂの処理順序を、垂直方向（１４３０ｃ）に決定することができる。ビデオ復号装置１００は、第１符号化単位１４００を、垂直方向及び水平方向に分割して決定された第２符号化単位１４５０ａ，１４５０ｂ，１４５０ｃ，１４５０ｄに対して、１行に位置する符号化単位が処理された後、次の行に位置する符号化単位が処理される所定の順序（例えば、ラスタースキャン順序（raster scan order）またはｚスキャン順序（ｚ scan order）（１４５０ｅ）によって決定することができる。

一実施形態により、ビデオ復号装置１００は、符号化単位を再帰的に分割することができる。図１４を参照すれば、ビデオ復号装置１００は、第１符号化単位１４００を分割し、複数個の符号化単位１４１０ａ，１４１０ｂ，１４３０ａ，１４３０ｂ，１４５０ａ，１４５０ｂ，１４５０ｃ，１４５０ｄを決定することができ、決定された複数個の符号化単位１４１０ａ，１４１０ｂ，１４３０ａ，１４３０ｂ，１４５０ａ，１４５０ｂ，１４５０ｃ，１４５０ｄそれぞれを再帰的に分割することができる。複数個の符号化単位１４１０ａ，１４１０ｂ，１４３０ａ，１４３０ｂ，１４５０ａ，１４５０ｂ，１４５０ｃ，１４５０ｄを分割する方法は、第１符号化単位１４００を分割する方法に対応する方法にもなる。それにより、複数個の符号化単位１４１０ａ，１４１０ｂ，１４３０ａ，１４３０ｂ，１４５０ａ，１４５０ｂ，１４５０ｃ，１４５０ｄは、それぞれ独立し、複数個の符号化単位に分割されもする。図１４を参照すれば、ビデオ復号装置１００は、第１符号化単位１４００を垂直方向に分割し、第２符号化単位１４１０ａ，１４１０ｂを決定することができ、さらには、第２符号化単位１４１０ａ，１４１０ｂそれぞれを独立して分割するか、あるいは分割しないと決定することができる。

一実施形態により、ビデオ復号装置１００は、左側の第２符号化単位１４１０ａを水平方向に分割し、第３符号化単位１４２０ａ，１４２０ｂに分割することができ、右側の第２符号化単位１４１０ｂは、分割しない。

一実施形態により、符号化単位の処理順序は、符号化単位の分割過程に基づいても決定される。言い換えれば、分割された符号化単位の処理順序は、分割される直前の符号化単位の処理順序に基づいても決定される。ビデオ復号装置１００は、左側の第２符号化単位１４１０ａが分割されて決定された第３符号化単位１４２０ａ，１４２０ｂが処理される順序を、右側の第２符号化単位１４１０ｂと独立して決定することができる。左側の第２符号化単位１４１０ａが水平方向に分割され、第３符号化単位１４２０ａ，１４２０ｂが決定されたので、第３符号化単位１４２０ａ，１４２０ｂは、垂直方向（１４２０ｃ）に処理されもする。また、左側の第２符号化単位１４１０ａ、及び右側の第２符号化単位１４１０ｂが処理される順序は、水平方向１４１０ｃに該当するので、左側の第２符号化単位１４１０ａに含まれる第３符号化単位１４２０ａ，１４２０ｂが、垂直方向（１４２０ｃ）に処理された後、右側符号化単位１４１０ｂが処理されもする。前述の内容は、符号化単位が、それぞれ分割前の符号化単位によって処理順序が決定される過程について説明するためのものであるので、前述の実施形態に限定して解釈されるものではなく、多様な形態に分割されて決定される符号化単位が、所定の順序によって独立して処理される多様な方法に利用されると解釈されなければならない。

図１５は、一実施形態により、ビデオ復号装置１００が、所定の順序により、符号化単位が処理されえない場合、現在符号化単位が、奇数個の符号化単位に分割されるものであるを決定する過程を図示する。

一実施形態により、ビデオ復号装置１００は、獲得されたブロック形態情報及び分割形態情報に基づいて、現在符号化単位が、奇数個の符号化単位に分割されることを決定することができる。図１５を参照すれば、正方形状の第１符号化単位１５００が非正方形状の第２符号化単位１５１０ａ，１５１０ｂに分割され、第２符号化単位１５１０ａ，１５１０ｂは、それぞれ独立し、第３符号化単位１５２０ａ，１５２０ｂ，１５２０ｃ，１５２０ｄ、１５２０ｅに分割されもする。一実施形態により、ビデオ復号装置１００は、第２符号化単位のうち左側符号化単位１５１０ａは、水平方向に分割し、複数個の第３符号化単位１５２０ａ，１５２０ｂを決定することができ、右側符号化単位１５１０ｂは、奇数個の第３符号化単位１５２０ｃ，１５２０ｄ，１５２０ｅに分割することができる。

一実施形態により、ビデオ復号装置１００は、第３符号化単位１５２０ａ，１５２０ｂ，１５２０ｃ，１５２０ｄ，１５２０ｅが所定の順序に処理されるか否かということを判断し、奇数個に分割された符号化単位が存在するか否かということを決定することができる。図１５を参照すれば、ビデオ復号装置１００は、第１符号化単位１５００を再帰的に分割し、第３符号化単位１５２０ａ，１５２０ｂ，１５２０ｃ，１５２０ｄ，１５２０ｅを決定することができる。ビデオ復号装置１００は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位１５００、第２符号化単位１５１０ａ，１５１０ｂまたは第３符号化単位１５２０ａ，１５２０ｂ，１５２０ｃ，１５２０ｄ，１５２０ｅが分割される形態のうち奇数個の符号化単位に分割されるか否かということを決定することができる。例えば、第２符号化単位１５１０ａ，１５１０ｂにおいて、右側に位置する符号化単位が、奇数個の第３符号化単位１５２０ｃ，１５２０ｄ，１５２０ｅに分割されもする。第１符号化単位１５００に含まれる複数個の符号化単位が処理される順序は、所定の順序（例えば、ｚ－スキャン順序（ｚ－scan order）（１５３０））にもなり、ビデオ復号装置１００は、右側第２符号化単位１５１０ｂが奇数個に分割されて決定された第３符号化単位１５２０ｃ，１５２０ｄ，１５２０ｅが、前記所定の順序によって処理される条件を満足するか否かということを判断することができる。

一実施形態により、ビデオ復号装置１００は、第１符号化単位１５００に含まれる第３符号化単位１５２０ａ，１５２０ｂ，１５２０ｃ，１５２０ｄ，１５２０ｅが、所定の順序によって処理される条件を満足するか否かということを決定することができ、前記条件は、第３符号化単位１５２０ａ，１５２０ｂ，１５２０ｃ，１５２０ｄ，１５２０ｅの境界により、第２符号化単位１５１０ａ，１５１０ｂの幅及び高さのうち少なくとも一つを半分に分割するか否かということと係わる。例えば、非正方形状の左側第２符号化単位１５１０ａの高さを半分に分割して決定される第３符号化単位１５２０ａ，１５２０ｂは、条件を満足するが、右側第２符号化単位１５１０ｂを３個の符号化単位に分割して決定される第３符号化単位１５２０ｃ，１５２０ｄ，１５２０ｅの境界が、右側第２符号化単位１５１０ｂの幅または高さを半分に分割することができないので、第３符号化単位１５２０ｃ，１５２０ｄ，１５２０ｅは、条件を満足することができないと決定され、ビデオ復号装置１００は、そのような条件不満足の場合、スキャン順序の断絶（disconnection）と判断し、判断結果に基づいて、右側第２符号化単位１５１０ｂは、奇数個の符号化単位に分割されると決定することができる。一実施形態により、ビデオ復号装置１００は、奇数個の符号化単位に分割される場合、分割された符号化単位のうち所定位置の符号化単位について、所定の制限を置くことができ、そのような制限内容または所定位置などについては、多様な実施形態を介して説明したので、詳細な説明は、省略することにする。

図１６は、一実施形態により、ビデオ復号装置１００が、第１符号化単位１６００を分割し、少なくとも１つの符号化単位を決定する過程を図示する。一実施形態により、ビデオ復号装置１００は、獲得部１１０を介して獲得したブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位１６００を分割することができる。正方形状の第１符号化単位１６００は、４個の正方形状を有する符号化単位に分割されるか、あるいは非正方形状の複数個の符号化単位に分割されもする。例えば、図１６を参照すれば、ブロック形態情報が、第１符号化単位１６００は、正方形であるということを示し、分割形態情報が、非正方形の符号化単位に分割されることを示す場合、ビデオ復号装置１００は、第１符号化単位１６００を複数個の非正方形の符号化単位に分割する。具体的には、分割形態情報が、第１符号化単位１６００を、水平方向または垂直方向に分割し、奇数個の符号化単位を決定することを示す場合、ビデオ復号装置１００は、正方形状の第１符号化単位１６００を、奇数個の符号化単位として、垂直方向に分割されて決定された第２符号化単位１６１０ａ，１６１０ｂ，１６１０ｃ、または水平方向に分割されて決定された第２符号化単位１６２０ａ，１６２０ｂ，１６２０ｃに分割することができる。

一実施形態により、ビデオ復号装置１００は、第１符号化単位１６００に含まれる第２符号化単位１６１０ａ，１６１０ｂ，１６１０ｃ，１６２０ａ，１６２０ｂ，１６２０ｃが、所定の順序によって処理されるこ条件を満足するか否かということを決定することができ、前記条件は、第２符号化単位１６１０ａ，１６１０ｂ，１６１０ｃ，１６２０ａ，１６２０ｂ，１６２０ｃの境界により、第１符号化単位１６００の幅及び高さのうち少なくとも一つを半分に分割するか否かということと係わる。図１６を参照すれば、正方形状の第１符号化単位１６００を垂直方向に分割して決定される第２符号化単位１６１０ａ，１６１０ｂ，１６１０ｃの境界が、第１符号化単位１６００の幅を半分に分割することができないので、第１符号化単位１６００は、所定の順序によって処理される条件を満足することができないと決定されもする。また、正方形状の第１符号化単位１６００を水平方向に分割して決定される第２符号化単位１６２０ａ，１６２０ｂ，１６２０ｃの境界が、第１符号化単位１６００の幅を半分に分割することができないので、第１符号化単位１６００は、所定の順序によって処理される条件を満足することができないとも決定される。ビデオ復号装置１００は、そのような条件不満足の場合、スキャン順序の断絶と判断し、判断結果に基づいて、第１符号化単位１６００は、奇数個の符号化単位に分割されると決定することができる。一実施形態により、ビデオ復号装置１００は、奇数個の符号化単位に分割される場合、分割された符号化単位のうち所定位置の符号化単位について、所定の制限を置くことができ、そのような制限内容または所定位置などについては、多様な実施形態を介して説明したので、詳細な説明は、省略することにする。

一実施形態により、ビデオ復号装置１００は、第１符号化単位を分割し、多様な形態の符号化単位を決定することができる。

図１６を参照すれば、ビデオ復号装置１００は、正方形状の第１符号化単位１６００、非正方形状の第１符号化単位１６３０または１６５０を、多様な形態の符号化単位に分割 することができる。

図１７は、一実施形態により、ビデオ復号装置１００が、第１符号化単位１７００が分割されて決定された非正方形状の第２符号化単位、が所定の条件を満足する場合、第２符号化単位が分割されうる形態が制限されることを図示する。

一実施形態により、ビデオ復号装置１００は、獲得部１０５を介して獲得したブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、正方形状の第１符号化単位１７００を、非正方形状の第２符号化単位１７１０ａ，１７１０ｂ，１７２０ａ，１７２０ｂに分割すると決定することができる。第２符号化単位１７１０ａ，１７１０ｂ，１７２０ａ，１７２０ｂは、独立して分割されもする。それにより、ビデオ復号装置１００は、第２符号化単位１７１０ａ，１７１０ｂ，１７２０ａ，１７２０ｂそれぞれに係わるブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、複数個の符号化単位に分割するか、あるいは分割しないと決定することができる。一実施形態により、ビデオ復号装置１００は、垂直方向に、第１符号化単位１７００が分割されて決定された非正方形状の左側第２符号化単位１７１０ａを水平方向に分割し、第３符号化単位１７１２ａ，１７１２ｂを決定することができる。ただし、ビデオ復号装置１００は、左側第２符号化単位１７１０ａを水平方向に分割した場合、右側第２符号化単位１７１０ｂは、左側第２符号化単位１７１０ａが分割された方向と同一に、水平方向に分割されることがないように制限することができる。もし右側第２符号化単位１７１０ｂが同一方向に分割され、第３符号化単位１７１４ａ，１７１４ｂが決定された場合、左側第２符号化単位１７１０ａ及び右側第２符号化単位１７１０ｂが水平方向にそれぞれ独立して分割されることにより、第３符号化単位１７１２ａ，１７１２ｂ，１７１４ａ，１７１４ｂが決定されもする。しかし、それは、ビデオ復号装置１００がブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位１７００を４個の正方形状の第２符号化単位１７３０ａ，１７３０ｂ，１７３０ｃ，１７３０ｄに分割したところと同一結果であり、それは、映像復号側面において非効率的なものである。

一実施形態により、ビデオ復号装置１００は、水平方向に、第１符号化単位１１３００が分割されて決定された非正方形状の第２符号化単位１７２０ａまたは１７２０ｂを垂直方向に分割し、第３符号化単位１７２２ａ，１７２２ｂ，１７２４ａ，１７２４ｂを決定することができる。ただし、ビデオ復号装置１００は、第２符号化単位のうち一つ（例えば、上端第２符号化単位１７２０ａ）を垂直方向に分割した場合、前述の理由により、他の第２符号化単位（例えば、下端符号化単位１７２０ｂ）は、上端第２符号化単位１７２０ａが分割された方向と同一に、垂直方向に分割されることがないように制限することができる。

図１８は、一実施形態により、分割形態情報が、４個の正方形状の符号化単位に分割されることを示すことができない場合、ビデオ復号装置１００が、正方形状の符号化単位を分割する過程を図示する。

一実施形態により、ビデオ復号装置１００は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位１８００を分割し、第２符号化単位１８１０ａ，１８１０ｂ，１８２０ａ，１８２０ｂを決定することができる。該分割形態情報には、符号化単位が分割される多様な形態に係わる情報が含まれてもよいが、多様な形態に係わる情報には、正方形状の４個の符号化単位に分割されるための情報が含まれるない場合がある。そのような分割形態情報によれば、ビデオ復号装置１００は、正方形状の第１符号化単位１８００を、４個の正方形状の第２符号化単位１８３０ａ，１８３０ｂ，１８３０ｃ，１８３０ｄに分割することができない。該分割形態情報に基づいて、ビデオ復号装置１００は、非正方形状の第２符号化単位１８１０ａ，１８１０ｂ，１８２０ａ，１８２０ｂを決定することができる。

一実施形態により、ビデオ復号装置１００は、非正方形状の第２符号化単位１８１０ａ，１８１０ｂ，１８２０ａ，１８２０ｂをそれぞれ独立して分割することができる。再帰的な方法を介して、第２符号化単位１８１０ａ，１８１０ｂ，１８２０ａ，１８２０ｂそれぞれが、所定の順に分割され、それは、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位１８００が分割される方法に対応する分割方法でもある。

例えば、ビデオ復号装置１００は、左側第２符号化単位１８１０ａが水平方向に分割され、正方形状の第３符号化単位１８１２ａ，１８１２ｂを決定することができ、右側第２符号化単位１８１０ｂが水平方向に分割され、正方形状の第３符号化単位１８１４ａ，１８１４ｂを決定することができる。さらには、ビデオ復号装置１００は、左側第２符号化単位１８１０ａ及び右側第２符号化単位１８１０ｂのいずれもが水平方向に分割され、正方形状の第３符号化単位１８１６ａ，１８１６ｂ，１８１６ｃ，１８１６ｄを決定することもできる。そのような場合、第１符号化単位１８００が、４個の正方形状の第２符号化単位１８３０ａ，１８３０ｂ，１８３０ｃ，１８３０ｄに分割されたところと同一形態に符号化単位が決定されもする。

他の例を挙げれば、ビデオ復号装置１００は、上端第２符号化単位１８２０ａが垂直方向に分割され、正方形状の第３符号化単位１８２２ａ，１８２２ｂを決定することができ、下端第２符号化単位１８２０ｂが垂直方向に分割され、正方形状の第３符号化単位１８２４ａ，１８２４ｂを決定することができる。さらには、ビデオ復号装置１００は、上端第２符号化単位１８２０ａ及び下端第２符号化単位１８２０ｂのいずれもが垂直方向に分割され、正方形状の第３符号化単位１８２２ａ，１８２２ｂ，１８２４ａ，１８２４ｂを決定することもできる。そのような場合、第１符号化単位１８００が、４個の正方形状の第２符号化単位１８３０ａ，１８３０ｂ，１８３０ｃ，１８３０ｄに分割されたところと同一形態に符号化単位が決定されもする。

図１９は、一実施形態により、複数個の符号化単位間の処理順序が、符号化単位の分割過程によって異なりうることを図示したものである。

一実施形態により、ビデオ復号装置１００は、ブロック形態情報及び分割形態情報に基づいて、第１符号化単位１９００を分割することができる。ブロック形態情報が正方形状を示し、分割形態情報が、第１符号化単位１９００が、水平方向及び垂直方向のうち少なくとも１つの方向に分割されることを示す場合、ビデオ復号装置１００は、第１符号化単位１９００を分割し、例えば、第２符号化単位１９１０ａ，１９１０ｂ，１９２０ａ，１９２０ｂ，１９３０ａ，１９３０ｂ，１９３０ｃ，１９３０ｄを決定することができる。図１９を参照すれば、第１符号化単位１９００が、水平方向または垂直方向だけに分割されて決定された非正方形状の第２符号化単位１９１０ａ，１９１０ｂ，１９２０ａ，１９２０ｂは、それぞれに係わるブロック形態情報及び分割形態情報に基づいて、独立して分割されもする。例えば、ビデオ復号装置１００は、第１符号化単位１９００が垂直方向に分割されて生成された第２符号化単位１９１０ａ，１９１０ｂを水平方向にそれぞれ分割し、第３符号化単位１９１６ａ，１９１６ｂ，１９１６ｃ，１９１６ｄを決定することができ、第１符号化単位１９００が水平方向に分割されて生成された第２符号化単位１９２０ａ，１９２０ｂを水平方向にそれぞれ分割し、第３符号化単位１９２６ａ，１９２６ｂ，１９２６ｃ，１９２６ｄを決定することができる。そのような第２符号化単位１９１０ａ，１９１０ｂ，１９２０ａ，１９２０ｂの分割過程は、図１７と係わって説明したので、詳細な説明は、省略することにする。

一実施形態により、ビデオ復号装置１００は、所定の順序により、符号化単位を処理することができる。所定の順序による符号化単位の処理に係わる特徴は、図１４と係わって説明したので、詳細な説明は、省略することにする。図１９を参照すれば、ビデオ復号装置１００は、正方形状の第１符号化単位１９００を分割し、４個の正方形状の第３符号化単位１９１６ａ，１９１６ｂ，１９１６ｃ，１９１６ｄ，１９２６ａ，１９２６ｂ，１９２６ｃ，１９２６ｄを決定することができる。一実施形態により、ビデオ復号装置１００は、第１符号化単位１９００が分割される形態により、第３符号化単位１９１６ａ，１９１６ｂ，１９１６ｃ，１９１６ｄ，１９２６ａ，１９２６ｂ，１９２６ｃ，１９２６ｄの処理順序を決定することができる。

一実施形態により、ビデオ復号装置１００は、垂直方向に分割されて生成された第２符号化単位１９１０ａ，１９１０ｂを水平方向にそれぞれ分割し、第３符号化単位１９１６ａ，１９１６ｂ，１９１６ｃ，１９１６ｄを決定することができ、ビデオ復号装置１００は、左側第２符号化単位１９１０ａに含まれる第３符号化単位１９１６ａ，１９１６ｂを垂直方向に先に処理した後、右側第２符号化単位１９１０ｂに含まれる第３符号化単位１９１６ｃ，１９１６ｄを垂直方向に処理する順序（１９１７）により、第３符号化単位１９１６ａ，１９１６ｂ，１９１６ｃ，１９１６ｄを処理することができる。

一実施形態により、ビデオ復号装置１００は、水平方向に分割されて生成された第２符号化単位１９２０ａ，１９２０ｂを垂直方向にそれぞれ分割し、第３符号化単位１９２６ａ，１９２６ｂ，１９２６ｃ，１９２６ｄを決定することができ、ビデオ復号装置１００は、上端第２符号化単位１９２０ａに含まれる第３符号化単位１９２６ａ，１９２６ｂを水平方向にまず処理した後、下端第２符号化単位１９２０ｂに含まれる第３符号化単位１９２６ｃ，１９２６ｄを水平方向に処理する順序（１９２７）により、第３符号化単位１９２６ａ，１９２６ｂ，１９２６ｃ，１９２６ｄを処理することができる。

図１９を参照すれば、第２符号化単位１９１０ａ，１９１０ｂ，１９２０ａ，１９２０ｂがそれぞれ分割され、正方形状の第３符号化単位１９１６ａ，１９１６ｂ，１９１６ｃ，１９１６ｄ，１９２６ａ，１９２６ｂ，１９２６ｃ，１９２６ｄが決定されもする。垂直方向に分割されて決定された第２符号化単位１９１０ａ，１９１０ｂ、及び水平方向に分割されて決定された第２符号化単位１９２０ａ，１９２０ｂは、互いに異なる形態に分割されたものであるが、以後に決定される第３符号化単位１９１６ａ，１９１６ｂ，１９１６ｃ，１９１６ｄ，１９２６ａ，１９２６ｂ，１９２６ｃ，１９２６ｄによれば、結局、同一形態の符号化単位において、第１符号化単位１９００が分割された結果になる。それにより、ビデオ復号装置１００は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、異なる過程を介して、再帰的に符号化単位を分割することにより、結果として、同一形態の符号化単位を決定しても、同一形態に決定された複数個の符号化単位を、互いに異なる順序で処理することができる。

図２０は、一実施形態により、符号化単位が再帰的に分割され、複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが変わることにより、符号化単位の深度が決定される過程を図示する。

一実施形態により、ビデオ復号装置１００は、符号化単位の深度を、所定の基準によって決定することができる。例えば、所定の基準は、符号化単位の長辺の長さにもなる。ビデオ復号装置１００は、現在符号化単位の長辺の長さが分割される前の符号化単位の長辺の長さの２ｎ（ｎ＞０）倍に分割された場合、現在符号化単位の深度は、分割される前の符号化単位の深度よりｎほど深度が増大されたものと決定することができる。以下においては、深度が増大された符号化単位を、下位深度の符号化単位と表現することにする。

図２０を参照すれば、一実施形態により、正方形状であることを示すブロック形態情報（例えば、ブロック形態情報は、「０：ＳＱＵＡＲＥ」を示すことができる）に基づいて、ビデオ復号装置１００は、正方形状である第１符号化単位２０００を分割し、下位深度の第２符号化単位２００２、第３符号化単位２００４などを決定することができる。正方形状の第１符号化単位２０００の大きさを２Ｎｘ２Ｎとするならば、第１符号化単位２０００の幅及び高さを１／２^１倍に分割して決定された第２符号化単位２００２は、ＮｘＮの大きさを有することができる。さらには、第２符号化単位２００２の幅及び高さを１／２サイズに分割して決定された第３符号化単位２００４は、Ｎ／２ｘＮ／２の大きさを有することができる。その場合、第３符号化単位２００４の幅及び高さは、第１符号化単位２０００の１／２^２倍に該当する。第１符号化単位２０００の深度がＤである場合、第１符号化単位２０００の幅及び高さの１／２^１倍である第２符号化単位２００２の深度は、Ｄ＋１でもあり、第１符号化単位２０００の幅及び高さの１／２^２倍である第３符号化単位２００４の深度はＤ＋２でもある。

一実施形態により、非正方形状を示すブロック形態情報（例えば、ブロック形態情報は、高さが幅より長い非正方形であることを示す「１：ＮＳ＿ＶＥＲ」、または幅が高さより長い非正方形であることを示す「２：ＮＳ＿ＨＯＲ」を示すことができる）に基づいて、ビデオ復号装置１００は、非正方形状である第１符号化単位２０１０または２０２０を分割し、下位深度の第２符号化単位２０１２または２０２２、第３符号化単位２０１４または２０２４を決定することができる。

ビデオ復号装置１００は、Ｎｘ２Ｎサイズの第１符号化単位２０１０の幅及び高さのうち少なくとも一つを分割し、例えば、第２符号化単位２００２，２０１２，２０２２を決定することができる。すなわち、ビデオ復号装置１００は、第１符号化単位２０１０を水平方向に分割し、ＮｘＮサイズの第２符号化単位２００２、またはＮｘＮ／２サイズの第２符号化単位２０２２を決定することができ、水平方向及び垂直方向に分割し、Ｎ／２ｘＮサイズの第２符号化単位２０１２を決定することもできる。

一実施形態により、ビデオ復号装置１００は、２ＮｘＮサイズの第１符号化単位２０２０の幅及び高さのうち少なくとも一つを分割し、例えば、第２符号化単位２００２，２０１２，２０２２を決定することもできる。すなわち、ビデオ復号装置１００は、第１符号化単位２０２０を垂直方向に分割し、ＮｘＮサイズの第２符号化単位２００２、またはＮ／２ｘＮサイズの第２符号化単位２０１２を決定することができ、水平方向及び垂直方向に分割し、ＮｘＮ／２サイズの第２符号化単位２０２２を決定することもできる。

一実施形態により、ビデオ復号装置１００は、ＮｘＮサイズの第２符号化単位２００２の幅及び高さのうち少なくとも一つを分割し、例えば、第３符号化単位２００４，２０１４，２０２４を決定することもできる。すなわち、ビデオ復号装置１００は、第２符号化単位２００２を垂直方向及び水平方向に分割し、Ｎ／２ｘＮ／２サイズの第３符号化単位２００４を決定するか、Ｎ／２^２ｘＮ／２サイズの第３符号化単位２０１４を決定するか、あるいはＮ／２ｘＮ／２^２サイズの第３符号化単位２０２４を決定することができる。

一実施形態により、ビデオ復号装置１００は、Ｎ／２ｘＮサイズの第２符号化単位２０１２の幅及び高さのうち少なくとも一つを分割し、例えば、第３符号化単位２００４，２０１４，２０２４を決定することもできる。すなわち、ビデオ復号装置１００は、第２符号化単位２０１２を水平方向に分割し、Ｎ／２ｘＮ／２サイズの第３符号化単位２００４、またはＮ／２ｘＮ／２^２サイズの第３符号化単位２０２４を決定するか、あるいは垂直方向及び水平方向に分割し、Ｎ／２^２ｘＮ／２サイズの第３符号化単位２０１４を決定することができる。

一実施形態により、ビデオ復号装置１００は、ＮｘＮ／２サイズの第２符号化単位２０１４の幅及び高さのうち少なくとも一つを分割し、例えば、第３符号化単位２００４，２０１４，２０２４を決定することもできる。すなわち、ビデオ復号装置１００は、第２符号化単位２０１２を垂直方向に分割し、Ｎ／２ｘＮ／２サイズの第３符号化単位２００４、またはＮ／２^２ｘＮ／２サイズの第３符号化単位２０１４を決定するか、あるいは垂直方向及び水平方向に分割し、Ｎ／２ｘＮ／２^２サイズの第３符号化単位２０２４を決定することができる。

一実施形態により、ビデオ復号装置１００は、たとえば、正方形状の符号化単位２０００，２００２，２００４を水平方向または垂直方向に分割することができる。例えば、２Ｎｘ２Ｎサイズの第１符号化単位２０００を垂直方向に分割し、Ｎｘ２Ｎサイズの第１符号化単位２０１０を決定するか、あるいは水平方向に分割し、２ＮｘＮサイズの第１符号化単位２０２０を決定することができる。一実施形態により、深度が、符号化単位の最大長辺の長さに基づいて決定される場合、２Ｎｘ２Ｎサイズの第１符号化単位２０００，２００２または２００４が水平方向または垂直方向に分割されて決定される符号化単位の深度は、第１符号化単位２０００，２００２または２００４の深度と同一でもある。

一実施形態により、第３符号化単位２０１４または２０２４の幅及び高さは、第１符号化単位２０１０または２０２０の１／２^２倍に該当する。第１符号化単位２０１０または２０２０の深度がＤである場合、第１符号化単位２０１０または２０２０の幅及び高さの１／２倍である第２符号化単位２０１２または２０１４の深度は、Ｄ＋１でもあり、第１符号化単位２０１０または２０２０の幅及び高さの１／２^２倍である第３符号化単位２０１４または２０２４の深度は、Ｄ＋２でもある。

図２１は、一実施形態により、符号化単位の形態及び大きさによっても決定される深度及び符号化単位を区分するためのインデックス（ＰＩＤ：part index）を図示する。

一実施形態により、ビデオ復号装置１００は、正方形状の第１符号化単位２１００を分割し、多様な形態の第２符号化単位を決定することができる。図２１を参照すれば、ビデオ復号装置１００は、分割形態情報により、第１符号化単位２１００を、垂直方向及び水平方向のうち少なくとも１つの方向に分割し、第２符号化単位２１０２ａ，２１０２ｂ，２１０４ａ，２１０４ｂ，２１０６ａ，２１０６ｂ，２１０６ｃ，２１０６ｄを決定することができる。すなわち、ビデオ復号装置１００は、第１符号化単位２１００に係わる分割形態情報に基づいて、第２符号化単位２１０２ａ，２１０２ｂ，２１０４ａ，２１０４ｂ，２１０６ａ，２１０６ｂ，２１０６ｃ，２１０６ｄを決定することができる。

一実施形態により、正方形状の第１符号化単位２１００に係わる分割形態情報によって決定される第２符号化単位２１０２ａ，２１０２ｂ，２１０４ａ，２１０４ｂ，２１０６ａ，２１０６ｂ，２１０６ｃ，２１０６ｄは、長辺の長さに基づいて深度が決定されもする。例えば、正方形状の第１符号化単位２１００の一辺の長さと、非正方形状の第２符号化単位２１０２ａ，２１０２ｂ，２１０４ａ，２１０４ｂの長辺の長さとが同一であるので、第１符号化単位２１００と、非正方形状の第２符号化単位２１０２ａ，２１０２ｂ，２１０４ａ，２１０４ｂとの深度は、Ｄとして同一であると見ることができる。それに反し、ビデオ復号装置１００が、分割形態情報に基づいて、第１符号化単位２１００を４個の正方形状の第２符号化単位２１０６ａ，２１０６ｂ，２１０６ｃ，２１０６ｄに分割した場合、正方形状の第２符号化単位２１０６ａ，２１０６ｂ，２１０６ｃ，２１０６ｄの一辺の長さは、第１符号化単位２１００の一辺の長さの１／２倍であるので、第２符号化単位２１０６ａ，２１０６ｂ，２１０６ｃ，２１０６ｄの深度は、第１符号化単位２１００の深度であるＤより１深度下位であるＤ＋１の深度でもある。

一実施形態により、ビデオ復号装置１００は、高さが幅より長い形態の第１符号化単位２１１０を、分割形態情報によって水平方向に分割し、複数個の第２符号化単位２１１２ａ，２１１２ｂ，２１１４ａ，２１１４ｂ，２１１４ｃに分割することができる。一実施形態により、ビデオ復号装置１００は、幅が高さより長い形態の第１符号化単位２１２０を分割形態情報によって垂直方向に分割し、複数個の第２符号化単位２１２２ａ，２１２２ｂ，２１２４ａ，２１２４ｂ，２１２４ｃに分割することができる。

一実施形態により、非正方形状の第１符号化単位２１１０または２１２０に係わる分割形態情報によって決定される第２符号化単位２１１２ａ，２１１２ｂ，２１１４ａ，２１１４ｂ，２１１６ａ，２１１６ｂ，２１１６ｃ，２１１６ｄは、長辺の長さに基づいて深度が決定されもする。例えば、正方形状の第２符号化単位２１１２ａ，２１１２ｂの一辺の長さは、高さが幅より長い非正方形状の第１符号化単位２１１０の一辺の長さの１／２倍であるので、正方形状の第２符号化単位２１０２ａ，２１０２ｂ，２１０４ａ，２１０４ｂの深度は、非正方形状の第１符号化単位２１１０の深度Ｄより１深度下位の深度であるＤ＋１である。

さらには、ビデオ復号装置１００が分割形態情報に基づいて、非正方形状の第１符号化単位２１１０を、奇数個の第２符号化単位２１１４ａ，２１１４ｂ，２１１４ｃに分割することができる。奇数個の第２符号化単位２１１４ａ，２１１４ｂ，２１１４ｃは、非正方形状の第２符号化単位２１１４ａ，２１１４ｃ、及び正方形状の第２符号化単位２１１４ｂを含んでもよい。その場合、非正方形状の第２符号化単位２１１４ａ，２１１４ｃの長辺の長さ、及び正方形状の第２符号化単位２１１４ｂの一辺の長さは、第１符号化単位２１１０の一辺の長さの１／２倍であるので、第２符号化単位２１１４ａ，２１１４ｂ，２１１４ｃの深度は、第１符号化単位２１１０の深度であるＤより１深度下位であるＤ＋１の深度でもある。ビデオ復号装置１００は、第１符号化単位２１１０と係わる符号化単位の深度を決定する前記方式に対応する方式で、幅が高さより長い非正方形状の第１符号化単位２１２０と係わる符号化単位の深度を決定することができる。

一実施形態により、ビデオ復号装置１００は、分割された符号化単位の区分のためのインデックス（ＰＩＤ）決定において、奇数個に分割された符号化単位が、互いに同一サイズではない場合、符号化単位間の大きさの比率に基づいて、インデックスを決定することができる。図２１を参照すれば、奇数個に分割された符号化単位２１１４ａ，２１１４ｂ，２１１４ｃのうち真ん中に位置する符号化単位２１１４ｂは、他の符号化単位２１１４ａ，２１１４ｃと、幅は同一であるが、高さが異なる符号化単位２１１４ａ，２１１４ｃの高さの２倍でもある。すなわち、その場合の真ん中に位置する符号化単位２１１４ｂは、他の符号化単位２１１４ａ，２１１４ｃの二つを含んでもよい。従って、スキャン順序により、真ん中に位置する符号化単位２１１４ｂのインデックス（ＰＩＤ）が１であるならば、その次の順序に位置する符号化単位２１１４ｃは、インデックスが２増加した３でもある。すなわち、インデックス値の不連続性が存在する。一実施形態により、ビデオ復号装置１００は、そのような分割された符号化単位間の区分のためのインデックスの不連続性の存在いかんに基づいて、奇数個に分割された符号化単位が、互いに同一サイズではないか否かということを決定することができる。

一実施形態により、ビデオ復号装置１００は、現在符号化単位から分割されて決定された複数個の符号化単位を区分するためのインデックスの値に基づいて、特定分割形態に分割されたものであるか否かということを決定することができる。図２１を参照すれば、ビデオ復号装置１００は、高さが幅より長い長方形状の第１符号化単位２１１０を分割し、偶数個の符号化単位２１１２ａ，２１１２ｂを決定するか、あるいは奇数個の符号化単位２１１４ａ，２１１４ｂ，２１１４ｃを決定することができる。ビデオ復号装置１００は、複数個の符号化単位それぞれを区分するために、各符号化単位を示すインデックス（ＰＩＤ）を利用することができる。一実施形態により、該ＰＩＤは、それぞれの符号化単位の所定位置のサンプル（例えば、左側上端サンプル）からも獲得される。

一実施形態により、ビデオ復号装置１００は、符号化単位の区分のためのインデックスを利用して分割されて決定された符号化単位のうち、所定位置の符号化単位を決定することができる。一実施形態により、高さが幅より長い長方形状の第１符号化単位２１１０に係わる分割形態情報が、３個の符号化単位に分割されることを示す場合、ビデオ復号装置１００は、第１符号化単位２１１０を、３個の符号化単位２１１４ａ，２１１４ｂ，２１１４ｃに分割することができる。ビデオ復号装置１００は、３個の符号化単位２１１４ａ，２１１４ｂ，２１１４ｃそれぞれに係わるインデックスを割り当てることができる。ビデオ復号装置１００は、奇数個に分割された符号化単位のうちの真ん中符号化単位を決定するために、各符号化単位に係わるインデックスを比較することができる。ビデオ復号装置１００は、符号化単位のインデックスに基づいて、インデックスのうち真ん中値に該当するインデックスを有する符号化単位２１１４ｂを、第１符号化単位２１１０が分割されて決定された符号化単位のうち真ん中位置の符号化単位として決定することができる。一実施形態により、ビデオ復号装置１００は、分割された符号化単位の区分のためのインデックス決定において、符号化単位が互いに同一サイズではない場合、符号化単位間のサイズ比率に基づいて、インデックスを決定することができる。図２１を参照すれば、第１符号化単位２１１０が分割されて生成された符号化単位２１１４ｂは、他の符号化単位２１１４ａ，２１１４ｃと、幅は同一であるが、高さが異なる符号化単位２１１４ａ，２１１４ｃの高さの二倍でもある。その場合、真ん中に位置する符号化単位２１１４ｂのインデックス（ＰＩＤ）が１であるならば、その次の順序に位置する符号化単位２１１４ｃは、インデックスが２増加した３でもある。そのような場合のように、均一にインデックスが増大していて増加幅が異なる場合、ビデオ復号装置１００は、他の符号化単位と異なる大きさを有する符号化単位を含む複数個の符号化単位に分割されたと決定することができる。一実施形態により、分割形態情報が奇数個の符号化単位に分割することを示す場合、ビデオ復号装置１００は、奇数個の符号化単位のうち、所定位置の符号化単位（例えば、真ん中符号化単位）が他の符号化単位と大きさが異なる形態に現在符号化単位を分割することができる。その場合、ビデオ復号装置１００は、符号化単位に係わるインデックス（ＰＩＤ）を利用し、異なる大きさを有する真ん中符号化単位を決定することができる。ただし、前述のインデックス、決定しようとする所定位置の符号化単位の大きさまたは位置は、一実施形態について説明するために特定したものであるので、それに限定して解釈されるものではなく、多様なインデックス、符号化単位の位置及び大きさが利用されると解釈されなければならない。

一実施形態により、ビデオ復号装置１００は、符号化単位の再帰的な分割が始まる所定のデータ単位を利用することができる。

図２２は、一実施形態により、ピクチャに含まれる複数個の所定のデータ単位により、複数個の符号化単位が決定されたところを図示する。

一実施形態により、所定のデータ単位は、符号化単位が、ブロック形態情報及び分割形態情報のうち少なくとも一つを利用して再帰的に分割され始めるデータ単位とも定義される。すなわち、現在ピクチャを分割する複数個の符号化単位が決定される過程で利用される最上位深度の符号化単位に該当する。以下では、説明上の便宜のために、そのような所定のデータ単位を、基準データ単位と指称する。

一実施形態により、基準データ単位は、所定サイズ及び形態を示すことができる。一実施形態により、基準符号化単位は、ＭｘＮのサンプルを含んでもよい。ここで、Ｍ及びＮは、互いに同一であってもよく、２の乗数によって表現される整数でもある。すなわち、基準データ単位は、正方形または非正方形の形態を示すことができ、その後、整数個の符号化単位に分割されもする。

一実施形態により、ビデオ復号装置１００は、現在ピクチャを、複数個の基準データ単位に分割することができる。一実施形態により、ビデオ復号装置１００は、現在ピクチャを分割する複数個の基準データ単位を、それぞれの基準データ単位に係わる分割情報を利用して分割することができる。そのような基準データ単位の分割過程は、四分木（quad-treｅ）構造を利用した分割過程に対応する。

一実施形態により、ビデオ復号装置１００は、現在ピクチャに含まれる基準データ単位が有することができる最小サイズをあらかじめ決定することができる。それにより、ビデオ復号装置１００は、最小サイズ以上の大きさを有する多様な大きさの基準データ単位を決定することができ、決定された基準データ単位を基準に、ブロック形態情報及び分割形態情報を利用し、少なくとも１つの符号化単位を決定することができる。

図２２を参照すれば、ビデオ復号装置１００は、正方形状の基準符号化単位２２００を利用することができ、または非正方形状の基準符号化単位２２０２を利用することもできる。一実施形態により、基準符号化単位の形態及び大きさは、少なくとも１つの基準符号化単位を含む多様なデータ単位（例えば、シーケンス（sequence）、ピクチャ（picture）、スライス（slice）、スライスセグメント（slice segment）、最大符号化単位など）によっても決定される。

一実施形態により、ビデオ復号装置１００の獲得部１０５は、基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報のうち少なくとも一つを、前記多様なデータ単位ごとに、ビットストリームから獲得することができる。正方形状の基準符号化単位２２００に含まれる少なくとも１つの符号化単位が決定される過程は、図１０の現在符号化単位３００が分割される過程を介して説明し、非正方形状の基準符号化単位２２００に含まれる少なくとも１つの符号化単位の決定される過程は、図１１の現在符号化単位１１００または１１５０が分割される過程を介して説明したので、詳細な説明は、省略することにする。

一実施形態により、ビデオ復号装置１００は、所定の条件に基づいて事前に決定される一部データ単位により、基準符号化単位の大きさ及び形態を決定するために、基準符号化単位の大きさ及び形態を識別するためのインデックスを利用することができる。すなわち、獲得部１０５は、ビットストリームから、前記多様なデータ単位（例えば、シーケンス、ピクチャ、スライス、スライスセグメント、最大符号化単位など）において、所定の条件（例えば、スライス以下の大きさを有するデータ単位）を満足するデータ単位として、スライス、スライスセグメント、最大符号化単位ごとに、基準符号化単位の大きさ及び形態の識別のためのインデックスだけを獲得することができる。ビデオ復号装置１００は、インデックスを利用することにより、前記所定の条件を満足するデータ単位ごとに、基準データ単位の大きさ及び形態を決定することができる。基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報を、相対的に小サイズのデータ単位ごとに、ビットストリームから獲得して利用する場合、ビットストリームの利用効率が良好ではないので、基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報を直接獲得する代わりに、前記インデックスのみを獲得して利用することができる。その場合、基準符号化単位の大きさ及び形態を示すインデックスに対応する基準符号化単位の大きさ及び形態のうち少なくとも一つは、事前に決定されている。すなわち、ビデオ復号装置１００は、事前に決定された基準符号化単位の大きさ及び形態のうち少なくとも一つをインデックスによって選択することにより、インデックス獲得の基準になるデータ単位に含まれる基準符号化単位の大きさ及び形態のうち少なくとも一つを決定することができる。

一実施形態により、ビデオ復号装置１００は、１つの最大符号化単位に含む少なくとも１つの基準符号化単位を利用することができる。すなわち、映像を分割する最大符号化単位には、少なくとも１つの基準符号化単位が含まれ、それぞれの基準符号化単位の再帰的な分割過程を介して符号化単位が決定されもする。一実施形態により、最大符号化単位の幅及び高さのうち少なくとも一つは、基準符号化単位の幅及び高さのうち少なくとも１つの整数倍に該当する。一実施形態により、基準符号化単位の大きさは、最大符号化単位を、四分木構造によってｎ回分割した大きさでもある。すなわち、ビデオ復号装置１００は、最大符号化単位を四分木構造によってｎ回分割し、基準符号化単位を決定することができ、多様な実施形態により、基準符号化単位をブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて分割することができる。

図２３は、一実施形態により、ピクチャ２３００に含まれる基準符号化単位の決定順序を決定する基準になるプロセッシングブロックを図示する。

一実施形態により、ビデオ復号装置１００は、ピクチャを分割する少なくとも１つのプロセッシングブロックを決定することができる。プロセッシングブロックとは、映像を分割する少なくとも１つの基準符号化単位を含むデータ単位であり、プロセッシングブロックに含まれる少なくとも１つの基準符号化単位は、特定順に決定されもする。すなわち、それぞれのプロセッシングブロックで決定される少なくとも１つの基準符号化単位の決定順序は、基準符号化単位が決定される多様な順序の種類のうち一つに該当し、それぞれのプロセッシングブロックで決定される基準符号化単位決定順序は、プロセッシングブロックごとに異なる。プロセッシングブロックごとに決定される基準符号化単位の決定順序は、ラスタースキャン（raster scan）、Ｚスキャン（Ｚ－scan）、Ｎスキャン（Ｎ－scan）、右上向対角スキャン（up-right diagonal scan）、水平的スキャン（horizontal scan）、垂直的スキャン（vertical scan）のように、多様な順序のうち一つでもあるが、決定される順序は、前記スキャン順序に限定して解釈されるものではない。

一実施形態により、ビデオ復号装置１００は、プロセッシングブロックの大きさに係わる情報を獲得し、映像に含まれる少なくとも１つのプロセッシングブロックの大きさを決定することができる。ビデオ復号装置１００は、プロセッシングブロックの大きさに係わる情報をビットストリームから獲得し、映像に含まれる少なくとも１つのプロセッシングブロックの大きさを決定することができる。そのようなプロセッシングブロックの大きさは、プロセッシングブロックの大きさに係わる情報が示すデータ単位の所定サイズでもある。

一実施形態により、ビデオ復号装置１００の獲得部１０５は、ビットストリームから、プロセッシングブロックの大きさに係わる情報を、特定のデータ単位ごとに獲得することができる。例えば、プロセッシングブロックの大きさに係わる情報は、映像、シーケンス、ピクチャ、スライス、スライスセグメントなどのデータ単位であり、ビットストリームから獲得されもする。すなわち、獲得部１０５は、前述の多くのデータ単位ごとに、ビットストリームから、プロセッシングブロックの大きさに係わる情報を獲得することができ、ビデオ復号装置１００は、獲得されたプロセッシングブロックの大きさに係わる情報を利用し、ピクチャを分割する少なくとも１つのプロセッシングブロックの大きさを決定することができ、そのようなプロセッシングブロックの大きさは、基準符号化単位の整数倍の大きさでもある。

一実施形態により、ビデオ復号装置１００は、ピクチャ２３００に含まれるプロセッシングブロック２３０２，２３１２の大きさを決定することができる。例えば、ビデオ復号装置１００は、ビットストリームから獲得されたプロセッシングブロックの大きさに係わる情報に基づいて、プロセッシングブロックの大きさを決定することができる。図２３を参照すれば、ビデオ復号装置１００は、一実施形態により、プロセッシングブロック２３０２，２３１２の横サイズを、基準符号化単位横サイズの４倍、縦サイズを、基準符号化単位の縦サイズの４倍と決定することができる。ビデオ復号装置１００は、少なくとも１つのプロセッシングブロック内において、少なくとも１つの基準符号化単位が決定される順序を決定することができる。

一実施形態により、ビデオ復号装置１００は、プロセッシングブロックの大きさに基づいて、ピクチャ２３００に含まれるそれぞれのプロセッシングブロック２３０２，２３１２を決定することができ、プロセッシングブロック２３０２，２３１２に含まれる少なくとも１つの基準符号化単位の決定順序を決定することができる。一実施形態により、基準符号化単位の決定は、基準符号化単位の大きさの決定を含んでもよい。

一実施形態により、ビデオ復号装置１００は、ビットストリームから少なくとも１つのプロセッシングブロックに含まれる少なくとも１つの基準符号化単位の決定順序に係わる情報を獲得することができ、獲得した決定順序に係わる情報に基づいて、少なくとも１つの基準符号化単位が決定される順序を決定することができる。該決定順序に係わる情報は、プロセッシングブロック内において、基準符号化単位が決定される順序または方向とも定義される。すなわち、基準符号化単位が決定される順序は、それぞれのプロセッシングブロックごとに独立して決定されもする。

一実施形態により、ビデオ復号装置１００は、特定データ単位ごとに、基準符号化単位の決定順序に係わる情報をビットストリームから獲得することができる。例えば、獲得部１０５は、基準符号化単位の決定順序に係わる情報を映像、シーケンス、ピクチャ、スライス、スライスセグメント、プロセッシングブロックなどのデータ単位ごとにビットストリームから獲得することができる。基準符号化単位の決定順序に係わる情報は、プロセッシングブロック内での基準符号化単位決定順序を示すので、決定順序に係わる情報は、整数個のプロセッシングブロックを含む特定データ単位ごとに獲得されもする。

ビデオ復号装置１００は、一実施形態により、決定された順序に基づいて、少なくとも１つの基準符号化単位を決定することができる。

一実施形態により、獲得部１０５は、ビットストリームから、プロセッシングブロック２３０２，２３１２と係わる情報として、基準符号化単位決定順序に係わる情報を獲得することができ、ビデオ復号装置１００は、前記プロセッシングブロック２３０２，２３１２に含まれた少なくとも１つの基準符号化単位を決定する順序を決定し、符号化単位の決定順序により、ピクチャ２３００に含まれる少なくとも１つの基準符号化単位を決定することができる。図２３を参照すれば、ビデオ復号装置１００は、それぞれのプロセッシングブロック２３０２，２３１２と係わる少なくとも１つの基準符号化単位の決定順序２３０４，２３１４を決定することができる。例えば、基準符号化単位の決定順序に係わる情報が、プロセッシングブロックごとに獲得される場合、それぞれのプロセッシングブロック２３０２，２３１２と係わる基準符号化単位決定順序は、プロセッシングブロックごとにも異なる。プロセッシングブロック２３０２と係わる基準符号化単位決定順序２３０４がラスタースキャン（raster scan）順序である場合、プロセッシングブロック２３０２に含まれる基準符号化単位は、ラスタースキャン順序によっても決定される。それに対し、他のプロセッシングブロック２３１２と係わる基準符号化単位決定順序２３１４がラスタースキャン順序の逆順である場合、プロセッシングブロック２３１２に含まれる基準符号化単位は、ラスタースキャン順序の逆順によっても決定される。

ビデオ復号装置１００は、一実施形態により、決定された少なくとも１つの基準符号化単位を復号することができる。ビデオ復号装置１００は、前述の実施形態を介して決定された基準符号化単位に基づいて、映像を復号することができる。基準符号化単位を復号する方法は、映像を復号する多様な方法を含んでもよい。

一実施形態により、ビデオ復号装置１００は、現在符号化単位の形態を示すブロック形態情報、または現在符号化単位を分割する方法を示す分割形態情報をビットストリームから獲得して利用することができる。ブロック形態情報または分割形態情報は、多様なデータ単位と係わるビットストリームにも含まれる。例えば、ビデオ復号装置１００は、シーケンスパラメーターセット（sequence parameter set）、ピクチャパラメーターセット（picture parameter set）、ビデオパラメーターセット（video parameter set）、スライスヘッダ（slice header）、スライスセグメントヘッダ（slice segment header）に含まれたブロック形態情報または分割形態情報を利用することができる。さらには、ビデオ復号装置１００は、最大符号化単位、基準符号化単位、プロセッシングブロックごとに、ビットストリームから、ブロック形態情報または分割形態情報に対応するシンタックスをビットストリームから獲得して利用することができる。

以上、多様な実施形態を中心に説明した。本開示が属する技術分野で当業者であるならば、本開示が、本開示の本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本開示の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本開示に含まれたものであると解釈されなければならないのである。

一方、前述の本開示の実施形態は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタルコンピュータで具現されもする。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only memory）、フロッピーディスク、ハードディスクなど、光学的判読媒体（例えば、ＣＤ－ＲＯＭ（compact disc read only memory）、ＤＶＤ（digital versatile disc）のような記録媒体を含む。

Claims (5)

1. ビデオの復号方法であって、
   第１動きベクトルを用いて第１参照ピクチャ内において、第１参照ブロックを獲得し、第２動きベクトルを用いて第２参照ピクチャ内で第２参照ブロックを獲得する段階と、
   第１拡張参照ブロックは、前記第１参照ブロック内の少なくとも１つの参照ピクセルのグラジエント値を算出するために、前記第１参照ブロックから拡張されたブロックであり、第２拡張参照ブロックは、前記第２参照ブロック内の少なくとも１つの参照ピクセルのグラジエント値を算出するために前記第２参照ブロックから拡張されたブロックであり、前記第１拡張参照ブロック内の少なくとも１つの参照ピクセルのグラジエント値と前記第２拡張参照ブロック内の少なくとも１つの参照ピクセルのグラジエント値を利用して、現在ブロックの境界内側に隣接する少なくとも１つのピクセルを含むピクセルグループの変位ベクトルを決定する段階と、
   前記第１参照ブロック内の前記少なくとも１つの参照ピクセルのグラジエント値、前記第２参照ブロック内の前記少なくとも１つの参照ピクセルのグラジエント値、及び前記ピクセルグループの変位ベクトルを用いて、前記現在ブロックに対してオプティカルフロー基盤の補償を遂行することで、前記現在ブロックの予測ピクセル値を獲得する段階と、
   前記現在ブロックのための残差ピクセル値を獲得する段階と、
   前記予測ピクセル値と前記残差ピクセル値に基づいて前記現在ブロックを復元する段階と、を含む、
   ことを特徴とする、ビデオ復号方法。
2. ビデオの復号装置であって、
   第１動きベクトルを用いて第１参照ピクチャ内で第１参照ブロックを獲得し、第２動きベクトルを用いて第２参照ピクチャ内で第２参照ブロックを獲得し、
   第１拡張参照ブロック内の少なくとも１つの参照ピクセルのグラジエント値と第２拡張参照ブロック内の少なくとも１つの参照ピクセルのグラジエント値とを用いて、現在ブロックの境界内側に隣接する少なくとも１つのピクセルを含むピクセルグループの変位ベクトルを決定し、前記第１拡張参照ブロックは、前記第１参照ブロック内の少なくとも１つの参照ピクセルのグラジエント値を算出するために前記第１参照ブロックから拡張されたブロックであり、前記第２拡張参照ブロックは、前記第２参照ブロック内の少なくとも１つの参照ピクセルのグラジエント値を算出するために前記第２参照ブロックから拡張されたブロックであり、
   前記第１参照ブロック内の前記少なくとも１つの参照ピクセルのグラジエント値、前記第２参照ブロック内の前記少なくとも１つの参照ピクセルのグラジエント値、及び前記ピクセルグループの変位ベクトルを用いて前記現在ブロックに対してオプティカルフロー基盤の補償を遂行することで、前記現在ブロックの予測ピクセル値を獲得する、
   インター予測部と、
   前記現在ブロックのための残差ピクセル値を獲得し、前記予測ピクセル値と前記残差ピクセル値に基づいて、前記現在ブロックを復元する、復号部と、を含む、
   ことを特徴とする、ビデオ復号装置。
3. ビデオの符号化方法であって、
   第１参照ブロック内の少なくとも１つの参照ピクセルのグラジエント値、第２参照ブロック内の少なくとも１つの参照ピクセルのグラジエント値、及び現在ブロックのピクセルグループの変位ベクトルを用いて前記現在ブロックに対してオプティカルフロー基盤の補償を遂行することで、前記現在ブロックの予測ピクセル値を獲得する段階と、
   前記現在ブロックのピクセル値と前記予測ピクセル値に基づいて、残差ピクセル値を獲得する段階と、を含み、
   第１参照ピクチャ内の前記第１参照ブロックは、第１動きベクトルを用いて獲得され、第２参照ピクチャ内の前記第２参照ブロックは、第２動きベクトルを用いて獲得され、
   前記現在ブロックの境界内側に隣接する少なくとも１つのピクセルを含む前記ピクセルグループの変位ベクトルは、第１拡張参照ブロック内の少なくとも１つの参照ピクセルのグラジエント値及び第２拡張参照ブロック内の少なくとも１つの参照ピクセルのグラジエント値を用いて決定され、
   前記第１拡張参照ブロックは、前記第１参照ブロック内の前記少なくとも１つの参照ピクセルのグラジエント値を算出するために前記第１参照ブロックから拡張されたブロックであり、
   前記第２拡張参照ブロックは、前記第２参照ブロック内の前記少なくとも１つの参照ピクセルのグラジエント値を算出するために前記第２参照ブロックから拡張されたブロックである、
   ことを特徴とする、ビデオ符号化方法。
4. ビデオの符号化装置であって、
   第１参照ブロック内の少なくとも１つの参照ピクセルのグラジエント値、第２参照ブロック内の少なくとも１つの参照ピクセルのグラジエント値、及び現在ブロックのピクセルグループの変位ベクトルを用いて前記現在ブロックに対してオプティカルフロー基盤の補償を遂行することで、前記現在ブロックの予測ピクセル値を獲得し、
   前記現在ブロックのピクセル値と前記予測ピクセル値に基づいて、残差ピクセル値を獲得する、
   インター予測部、を含み、
   第１参照ピクチャ内の前記第１参照ブロックは、第１動きベクトルを用いて獲得され、第２参照ピクチャ内の前記第２参照ブロックは、第２動きベクトルを用いて獲得され、
   前記現在ブロックの境界内側に隣接する少なくとも１つのピクセルを含む前記ピクセルグループの変位ベクトルは、第１拡張参照ブロック内の少なくとも１つの参照ピクセルのグラジエント値及び第２拡張参照ブロック内の少なくとも１つの参照ピクセルのグラジエント値を用いて決定され、
   前記第１拡張参照ブロックは、前記第１参照ブロック内の前記少なくとも１つの参照ピクセルのグラジエント値を算出するために前記第１参照ブロックから拡張されたブロックであり、
   前記第２拡張参照ブロックは、前記第２参照ブロック内の前記少なくとも１つの参照ピクセルのグラジエント値を算出するために前記第２参照ブロックから拡張されたブロックである、
   ことを特徴とする、ビデオ符号化装置。
5. ビットストリームを記録するコンピュータで読み取り可能な記憶媒体であって、
   前記ビットストリームは、現在ブロックのための残差ピクセル値に係わる情報を含み、
   前記現在ブロックのための残差ピクセル値は、前記現在ブロックの予測ピクセル値と前記現在ブロックのピクセル値に基づいて獲得され、
   前記現在ブロックの予測ピクセル値は、第１参照ブロック内の少なくとも１つの参照ピクセルのグラジエント値、第２参照ブロック内の少なくとも１つの参照ピクセルのグラジエント値、及び前記現在ブロックのピクセルグループの変位ベクトルを用いて前記現在ブロックに対してオプティカルフロー基盤の補償を遂行することで獲得され、
   第１参照ピクチャ内の前記第１参照ブロックは、第１動きベクトルを用いて獲得され、第２参照ピクチャ内の前記第２参照ブロックは、第２動きベクトルを用いて獲得され、
   前記現在ブロックの境界内側に隣接する少なくとも１つのピクセルを含む前記ピクセルグループの変位ベクトルは、第１拡張参照ブロック内の少なくとも１つの参照ピクセルのグラジエント値及び第２拡張参照ブロック内の少なくとも１つの参照ピクセルのグラジエント値を用いて決定され、
   前記第１拡張参照ブロックは、前記第１参照ブロック内の前記少なくとも１つの参照ピクセルのグラジエント値を算出するために前記第１参照ブロックから拡張されたブロックであり、
   前記第２拡張参照ブロックは、前記第２参照ブロック内の前記少なくとも１つの参照ピクセルのグラジエント値を算出するために前記第２参照ブロックから拡張されたブロックである、
   ことを特徴とする、コンピュータで読み取り可能な記憶媒体。

Images