JP6518274B2 - 映像復号化方法および映像符号化方法 - Google Patents

Description

本発明は、映像処理に関し、より詳しくは、インター予測方法及び装置に関する。

最近、ＨＤ(Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ)解像度を有する放送サービスが国内だけでなく、世界的に拡大されるにつれて、多くのユーザが高解像度、高画質の映像に慣れており、これにより、多くの機関が次世代映像機器に対する開発に拍車をかけている。また、ＨＤＴＶと共にＨＤＴＶの４倍以上の解像度を有するＵＨＤ(Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ)に対する関心が増大し、より高い解像度、高画質の映像に対する圧縮機術が要求されている。

映像圧縮のために、時間的に以前及び/又は以後のピクチャから、現在ピクチャに含まれているピクセル値を予測するインター(ｉｎｔｅｒ)予測技術、現在ピクチャ内のピクセル情報を利用して現在ピクチャに含まれているピクセル値を予測するイントラ(ｉｎｔｒａ)予測技術、出現頻度が高いシンボル(ｓｙｍｂｏｌ)に短い符号を割り当て、出現頻度が低いシンボルに長い符号を割り当てるエントロピー符号化技術などが使われることができる。

本発明の技術的課題は、映像符号化/復号化の効率を上げることができる映像符号化方法及び装置を提供することにある。

本発明の他の技術的課題は、映像符号化/復号化の効率を上げることができる映像復号化方法及び装置を提供することにある。

本発明の他の技術的課題は、映像符号化/復号化の効率を上げることができるインター予測方法及び装置を提供することにある。

本発明の他の技術的課題は、映像符号化/復号化の効率を上げることができる参照ユニット決定方法及び装置を提供することにある。

本発明の一実施形態は、インター予測方法である。前記方法は、復元された隣接ユニットの中から候補ユニットを選択するステップ、前記選択された候補ユニットを利用し、復号化対象ユニットに対する候補ユニット集合(ｃａｎｄｉｄａｔｅ ｕｎｉｔ ｓｅｔ)を生成するステップ、前記生成された候補ユニット集合を構成する前記候補ユニットの中から参照ユニットを決定するステップ、及び前記決定された参照ユニットを利用し、前記復号化対象ユニットに対するインター予測を実行するステップを含み、前記復元された隣接ユニットは、前記復号化対象ユニットの上段に隣接する上段隣接ユニット、前記復号化対象ユニットの左側に隣接する左側隣接ユニット、前記復号化対象ユニットの右側上段コーナーに位置する右側上段コーナーユニット、前記復号化対象ユニットの左側上段コーナーに位置する左側上段コーナーユニット、及び前記復号化対象ユニットの左側下段コーナーに位置する左側下段コーナーユニットを含む。

前記候補ユニット選択ステップでは、前記上段隣接ユニット、前記左側隣接ユニット、前記右側上段コーナーユニット、前記左側上段コーナーユニット、及び前記左側下段コーナーユニットを前記候補ユニットとして選択する。

前記候補ユニット選択ステップでは、前記上段隣接ユニット及び前記左側隣接ユニットを前記候補ユニットとして選択する。

前記候補ユニット選択ステップでは、前記復元された隣接ユニットの中から、前記復号化対象ユニットに隣接する境界の長さが所定の閾値以上であるユニットを前記候補ユニットとして選択する。

前記候補ユニット選択ステップでは、前記復元された隣接ユニットの中から、所定の閾値以上の大きさを有するユニットを前記候補ユニットとして選択する。

前記候補ユニット選択ステップでは、前記復元された隣接ユニットの中から、所定の閾値以下の深さ値を有するユニットを前記候補ユニットとして選択する。

前記候補ユニット選択ステップでは、前記復元された隣接ユニットが前記復号化対象ユニットに隣接する境界間の相対的な長さ、前記復元された隣接ユニット間の相対的な大きさ又は前記復元された隣接ユニット間の相対的な深さ値を基準にして前記候補ユニットを選択する。

前記候補ユニット選択ステップでは、前記復号化対象ユニットの符号化パラメータ及び前記復元された隣接ユニットの符号化パラメータのうち少なくとも一つを利用し、前記候補ユニットを選択し、前記復号化対象ユニットの符号化パラメータ及び前記復元された隣接ユニットの符号化パラメータは、各々、動きベクトル(ｍｏｔｉｏｎ ｖｅｃｔｏｒ)、参照ピクチャリスト(ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ)、参照ピクチャインデックス(ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｉｎｄｅｘ)、予測方向(ｐｒｅｄｉｃｔｉｏｎ ｄｉｒｅｃｔｉｏｎ)、及び動きベクトル予測器(ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ)のうち少なくとも一つを含む。

前記復号化対象ユニットの第１の符号化パラメータは、第１の参照ピクチャリスト及び第１の参照ピクチャインデックスを含み、前記候補ユニット選択ステップは、第２の符号化パラメータを有するユニットを前記候補ユニットとして選択するステップをさらに含み、前記第２の符号化パラメータは、前記第１の参照ピクチャリストと同一の第２の参照ピクチャリスト及び前記第１の参照ピクチャインデックスと同一の第２の参照ピクチャインデックスのうち少なくとも一つを含む。

前記候補ユニット選択ステップでは、前記復号化対象ユニットの参照ピクチャと同一の参照ピクチャを有するユニットを前記候補ユニットとして選択する。

前記候補ユニット選択ステップでは、インター予測により符号化されたユニットのみを前記候補ユニットとして選択する。

前記候補ユニット集合生成ステップでは、前記選択された候補ユニット及び同一位置ユニット(ｃｏｌｌｏｃａｔｅｄ ｕｎｉｔ)を共に利用し、前記候補ユニット集合を生成し、前記同一位置ユニットは、前記復号化対象ユニットに対する参照ピクチャ内のユニットの中から、前記復号化対象ユニットと同一な空間的位置にあるユニットである。

前記候補ユニット選択ステップでは、所定の固定された個数のユニットを前記候補ユニットとして選択する。

前記所定の固定された個数のユニットは、前記復号化対象ユニットの符号化パラメータと前記復元された隣接ユニットの符号化パラメータとの間の同一性に基づいて選択され、前記復号化対象ユニットの符号化パラメータ及び前記復元された隣接ユニットの符号化パラメータは、各々、動きベクトル、参照ピクチャリスト、参照ピクチャインデックス、予測方向、及び動きベクトル予測器のうち少なくとも一つを含む。

前記所定の固定された個数のユニットは、前記復号化対象ユニットの参照ピクチャと前記復元された隣接ユニットの参照ピクチャとの間の同一性に基づいて選択される。

前記候補ユニット選択ステップは、符号化パラメータ識別子を受信するステップ、前記受信された符号化パラメータ識別子を復号化するステップ、及び前記復号化された符号化パラメータ識別子に割り当てられた符号化パラメータ値を基準にして、前記候補ユニットを選択するステップを含み、前記符号化パラメータ識別子に割り当てられた符号化パラメータ値は、前記復元された隣接ユニットが前記符号化対象ユニットに隣接する境界の長さ、前記復元された隣接ユニットの大きさ、及び前記復元された隣接ユニットの深さ値のうち少なくとも一つである。

前記参照ユニット決定ステップは、参照ユニット識別子を受信するステップ、前記受信された参照ユニット識別子を復号化するステップ、及び前記復号化された参照ユニット識別子を利用して前記参照ユニットを決定するステップを含み、前記参照ユニット識別子は、前記候補ユニット集合を構成する前記候補ユニットの中から、参照ユニットとして決定されるユニットを指示する識別子である。

前記参照ユニット識別子に割り当てられたコードワード長さは、前記参照ユニット識別子が指示するユニットが前記参照ユニットとして決定される確率が高いほど、短い。

前記候補ユニット集合生成ステップは、前記参照ユニットとして決定される確率が高い順に前記候補ユニットを整列するステップをさらに含み、前記参照ユニット決定ステップでは、前記整列された候補ユニットの中から、１番目のユニットを前記参照ユニットとして決定する。

前記候補ユニット集合生成ステップでは、前記候補ユニットのうち、前記参照ユニットとして決定される確率が最も高い一個のユニットのみを前記候補ユニット集合に含ませ、前記参照ユニット決定ステップでは、前記候補ユニット集合に含まれている前記一個のユニットを前記参照ユニットとして決定する。

本発明による映像符号化方法によると、映像符号化/復号化の効率が向上することができる。

本発明による映像復号化方法によると、映像符号化/復号化の効率が向上することができる。

本発明によるインター予測方法によると、映像符号化/復号化の効率が向上することができる。

本発明による参照ユニット決定方法によると、映像符号化/復号化の効率が向上することができる。

本発明が適用される映像符号化装置の一実施例による構成を示すブロック図である。 本発明が適用される映像復号化装置の一実施例による構成を示すブロック図である。 一つのユニットが複数の下位ユニットに分割される実施例を概略的に示す概念図である。 符号化器での参照ユニット決定方法の一実施例を概略的に示すフローチャートである。 候補ユニット集合生成方法の一実施例を概略的に示す概念図である。 候補ユニット集合生成方法の他の実施例を概略的に示す概念図である。 候補ユニット集合生成方法の他の実施例を概略的に示す概念図である。 候補ユニット集合生成方法の他の実施例を概略的に示す概念図である。 候補ユニット集合生成方法の他の実施例を概略的に示す概念図である。 候補ユニットが候補ユニット集合に含まれる順序を決定する方法の一実施例を概略的に示す概念図である。 本発明の実施例による符号化器での参照ユニット決定方法を概略的に説明する概念図である。 本発明の他の実施例による符号化器での参照ユニット決定方法を概略的に説明する概念図である。 本発明の他の実施例による符号化器での参照ユニット決定方法を概略的に説明する概念図である。 復号化器での参照ユニット決定方法の一実施例を概略的に示すフローチャートである。 本発明の実施例による復号化器での参照ユニット決定方法を概略的に説明する概念図である。 本発明の他の実施例による復号化器での参照ユニット決定方法を概略的に説明する概念図である。 本発明の他の実施例による復号化器での参照ユニット決定方法を概略的に説明する概念図である。

以下、図面を参照して本発明の実施形態に対して具体的に説明する。本明細書の実施例を説明するにあたって、関連した公知構成又は機能に対する具体的な説明が本明細書の要旨を不明にすると判断される場合にはその詳細な説明は省略する。

一構成要素が他の構成要素に“連結されている”又は“接続されている”と言及された場合、該当他の構成要素に直接的に連結されている、又は接続されていることもあるが、中間に他の構成要素が存在することもあると理解されなければならない。また、本発明において、特定構成を“含む”と記述する内容は、該当構成以外の構成を排除するものではなく、追加的な構成が本発明の実施又は本発明の技術的思想の範囲に含まれることができることを意味する。

第１、第２などの用語は、多様な構成要素の説明に使われることができるが、前記構成要素は、前記用語により限定されてはならない。前記用語は、一つの構成要素を他の構成要素から区別する目的にのみ使われる。例えば、本発明の権利範囲を外れない限り、第１の構成要素は第２の構成要素と命名することができ、同様に、第２の構成要素も第１の構成要素と命名することができる。

また、本発明の実施例に示す構成部は、互いに異なる特徴的な機能を示すために独立的に図示されるものであり、各構成部が分離されたハードウェアや一つのソフトウェア構成単位からなることを意味しない。即ち、各構成部は、説明の便宜上、それぞれの構成部として羅列して含むものであり、各構成部のうち少なくとも２個の構成部が統合されて一つの構成部からなり、又は一つの構成部が複数個の構成部に分けられて機能を遂行することができ、このような各構成部の統合された実施例及び分離された実施例も本発明の本質から外れない限り本発明の権利範囲に含まれる。

また、一部の構成要素は、本発明で本質的な機能を遂行する必須な構成要素ではなく、単に性能を向上させるための選択的構成要素である。本発明は、単に性能向上のために使われる構成要素を除外した本発明の本質を具現するのに必須な構成部のみを含んで具現されることができ、単に性能向上のために使われる選択的構成要素を除外した必須構成要素のみを含む構造も本発明の権利範囲に含まれる。

図１は、本発明が適用される映像符号化装置の一実施例による構成を示すブロック図である。

図１を参照すると、前記映像符号化装置１００は、動き予測部１１１、動き補償部１１２、イントラ予測部１２０、スイッチ１１５、減算器１２５、変換部１３０、量子化部１４０、エントロピー符号化部１５０、逆量子化部１６０、逆変換部１７０、加算器１７５、フィルタ部１８０、及び参照ピクチャバッファ１９０を含む。

映像符号化装置１００は、入力映像に対してイントラ(ｉｎｔｒａ)モード又はインター(ｉｎｔｅｒ)モードに符号化を実行し、ビットストリームを出力することができる。イントラ予測は画面内予測を意味し、インター予測は画面間予測を意味する。イントラモードの場合、スイッチ１１５がイントラに転換され、インターモードの場合、スイッチ１１５がインターに転換されることができる。映像符号化装置１００は、入力映像の入力ブロックに対する予測ブロックを生成した後、入力ブロックと予測ブロックとの残差(ｒｅｓｉｄｕａｌ)を符号化することができる。

イントラモードの場合、イントラ予測部１２０は、現在ブロック周辺の既に符号化されたブロックのピクセル値を利用して空間的予測を実行することで、予測ブロックを生成することができる。

インターモードの場合、動き予測部１１１は、動き予測過程で参照ピクチャバッファ１９０に格納されている参照映像で入力ブロックと最もよくマッチされる領域を探して動きベクトルを求めることができる。動き補償部１１２は、動きベクトルを利用して動き補償を実行することによって予測ブロックを生成することができる。ここで、動きベクトルは、インター予測に使われる２次元ベクトルであり、現在符号化/復号化の対象映像と参照映像との間のオフセットを示すことができる。

減算器１２５は、入力ブロックと生成された予測ブロックとの残差により残差ブロック(ｒｅｓｉｄｕａｌ ｂｌｏｃｋ)を生成することができる。変換部１３０は、残差ブロックに対して変換(ｔｒａｎｓｆｏｒｍ)を実行することで、変換係数(ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ)を出力することができる。また、量子化部１４０は、入力された変換係数を量子化パラメータによって量子化することで、量子化された係数(ｑｕａｎｔｉｚｅｄ ｃｏｅｆｆｉｃｉｅｎｔ)を出力することができる。

エントロピー符号化部１５０は、量子化部１４０で算出された値又は符号化過程で算出された符号化パラメータ値などに基づいてエントロピー符号化を実行することで、ビットストリーム(ｂｉｔ ｓｔｒｅａｍ)を出力することができる。

エントロピー符号化が適用される場合、高い発生確率を有するシンボル(ｓｙｍｂｏｌ)に少ない数のビットが割り当てられ、低い発生確率を有するシンボルに多い数のビットが割り当てられてシンボルが表現されることによって、符号化対象シンボルに対するビット列の大きさが減少されることができる。したがって、エントロピー符号化を介して映像符号化の圧縮性能が高まることができる。エントロピー符号化部１５０は、エントロピー符号化のために、指数ゴロム(ｅｘｐｏｎｅｎｔｉａｌ ｇｏｌｏｍｂ)、ＣＡＶＬＣ(Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ)、ＣＡＢＡＣ(Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ)のような符号化方法を使用することができる。

図１の実施例による映像符号化装置は、インター予測符号化、即ち、画面間予測符号化を実行するため、現在符号化された映像は、参照映像として使われるために、復号化されて格納される必要がある。したがって、量子化された係数は、逆量子化部１６０で逆量子化され、逆変換部１７０で逆変換される。逆量子化、逆変換された係数は、加算器１７５を介して予測ブロックと加えて復元ブロックが生成される。

復元ブロックは、フィルタ部１８０を経て、フィルタ部１８０は、デブロッキングフィルタ(ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ)、ＳＡＯ(Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ)、ＡＬＦ(Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ)のうち少なくとも一つ以上を復元ブロック又は復元ピクチャに適用することができる。フィルタ部１８０は、適応的インループ(ｉｎ−ｌｏｏｐ)フィルタと呼ばれることもある。デブロッキングフィルタは、ブロック間の境界に生じたブロック歪曲を除去することができる。ＳＡＯは、コーディングエラーを補償するために、ピクセル値に適正オフセット(ｏｆｆｓｅｔ)値を加えることができる。ＡＬＦは、復元された映像と元来の映像を比較した値に基づいてフィルタリングを実行することができる。フィルタ部１８０を経た復元ブロックは、参照ピクチャバッファ１９０に格納されることができる。

図２は、本発明が適用される映像復号化装置の一実施例による構成を示すブロック図である。

図２を参照すると、前記映像復号化装置２００は、エントロピー復号化部２１０、逆量子化部２２０、逆変換部２３０、イントラ予測部２４０、動き補償部２５０、加算器２５５、フィルタ部２６０、及び参照ピクチャバッファ２７０を含む。

映像復号化装置２００は、符号化器で出力されたビットストリームの入力を受けてイントラモード又はインターモードに復号化を実行することで、再構成された映像、即ち、復元映像を出力することができる。イントラモードの場合、スイッチがイントラに転換され、インターモードの場合、スイッチがインターに転換されることができる。映像復号化装置２００は、入力を受けたビットストリームから残差ブロック(ｒｅｓｉｄｕａｌ ｂｌｏｃｋ)を得て予測ブロックを生成した後、残差ブロックと予測ブロックとを加えることで、再構成されたブロック、即ち、復元ブロックを生成することができる。

エントロピー復号化部２１０は、入力されたビットストリームを確率分布によってエントロピー復号化し、量子化された係数(ｑｕａｎｔｉｚｅｄ ｃｏｅｆｆｉｃｉｅｎｔ)形態のシンボルを含むシンボルを生成することができる。エントロピー復号化方法は、前述したエントロピー符号化方法と同様である。

エントロピー復号化方法が適用される場合、高い発生確率を有するシンボルに少ない数のビットが割り当てられ、低い発生確率を有するシンボルに多い数のビットが割り当てられてシンボルが表現されることによって、各シンボルに対するビット列の大きさが減少されることができる。したがって、エントロピー復号化方法を介して映像復号化の圧縮性能が高まることができる。

量子化された係数は、逆量子化部２２０で逆量子化され、逆変換部２３０で逆変換され、量子化された係数が逆量子化/逆変換された結果、残差ブロック(ｒｅｓｉｄｕａｌ ｂｌｏｃｋ)が生成されることができる。

イントラモードの場合、イントラ予測部２４０は、現在ブロック周辺の既に符号化されたブロックのピクセル値を利用して空間的予測を実行することで、予測ブロックを生成することができる。インターモードの場合、動き補償部２５０は、動きベクトル及び参照ピクチャバッファ２７０に格納されている参照映像を利用して動き補償を実行することによって、予測ブロックを生成することができる。

残差ブロックと予測ブロックは、加算器２５５を介して加えられ、加えられたブロックは、フィルタ部２６０を経ることができる。フィルタ部２６０は、デブロッキングフィルタ、ＳＡＯ、ＡＬＦのうち少なくとも一つ以上を復元ブロック又は復元ピクチャに適用することができる。フィルタ部２６０は、再構成された映像、即ち、復元映像を出力することができる。復元映像は、参照ピクチャバッファ２７０に格納されてインター予測に使われることができる。

以下、ユニット(ｕｎｉｔ)は、映像符号化及び復号化の単位を意味する。映像符号化及び復号化時の符号化又は復号化単位は、映像を分割して符号化又は復号化する時のその分割された単位を意味するため、ブロック、符号化ユニット(ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ)、符号化ブロック、予測ユニット(ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ)、予測ブロック、変換ユニット(ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ)、変換ブロック(ｔｒａｎｓｆｏｒｍ ｂｌｏｃｋ)などで呼ばれることもある。また、一つのユニットは、大きさが小さい下位ユニットに分割されることができる。

ここで、予測ユニットは予測及び/又は動き補償実行の単位となる基本ユニットを意味する。予測ユニットは、複数のパーティション(ｐａｒｔｉｔｉｏｎ)に分割されることができ、それぞれのパーティションは、予測ユニットパーティション(ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ ｐａｒｔｉｔｉｏｎ)と呼ばれることもある。予測ユニットが複数のパーティションに分割された場合、複数のパーティションの各々が予測及び/又は動き補償実行の単位となる基本ユニットである。以下、本発明の実施例では予測ユニットが分割されたそれぞれのパーティションも予測ユニットと呼ばれることもある。

一方、前述したように、インターモードで符号化器及び復号化器は、符号化/復号化の対象ユニットに対する予測及び/又は動き補償を実行することができる。ここで、符号化/復号化の対象ユニット(ｅｎｃｏｄｉｎｇ/ｄｅｃｏｄｉｎｇ ｔａｒｇｅｔ ｕｎｉｔ)は、予測ユニット及び/又は予測ユニットパーティションを意味する。この時、符号化器及び復号化器は、復元された隣接ユニット(ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｎｅｉｇｈｂｏｒ ｕｎｉｔ)の動きベクトルを利用することによって、符号化/復号化の効率を向上させることができる。ここで、復元された隣接ユニットは、既に符号化又は復号化されて復元されたユニットであり、符号化/復号化の対象ユニットに隣接するユニット、符号化/復号化の対象ユニットの右側上段コーナーに位置するユニット、符号化/復号化の対象ユニットの左側上段コーナーに位置するユニット及び/又は符号化/復号化の対象ユニットの左側下段コーナーに位置するユニットを含むことができる。

一例として、符号化器及び復号化器は、復元された隣接ユニットの動きベクトルを符号化/復号化の対象ユニットの動きベクトルとして使用することができる。この時、符号化/復号化の対象ユニットでは復元された隣接ユニットの動きベクトルが使われるため、符号化器は、符号化/復号化の対象ユニットに対する動きベクトルを符号化しない。したがって、復号化器に送信されるビット量が減少され、符号化効率が向上することができる。このようなインター予測モードにはスキップモード(ｓｋｉｐ ｍｏｄｅ)及び/又はダイレクトモード(ｄｉｒｅｃｔ ｍｏｄｅ)などがある。

この時、符号化器は、復元された隣接ユニットのうちいずれのユニットの動きベクトルが使われるかを指示する識別子及び/又はインデックスを使用することができる。前記識別子及び/又はインデックスが使われるインター予測モードは、マージモード(ｍｅｒｇｅ ｍｏｄｅ)と呼ばれることもある。

他の例として、符号化器は、符号化対象ユニットの動きベクトルを利用して予測及び/又は補償を実行した後、符号化対象ユニットの動きベクトルを符号化する時、符号化対象ユニットの動きベクトルと復元された隣接ユニットの動きベクトルとの間の動きベクトル差分を生成することができる。符号化器は、生成された動きベクトル差分を符号化して復号化器に送信することができる。この時、復号化器は、動きベクトル差分を復号化し、復号化された動きベクトル差分と復元された隣接ユニットの動きベクトルとの和を介して復号化対象ユニットの動きベクトルを導出することができる。このようなインター予測方法は、ＭＶＰ(Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ：動きベクトル予測)と呼ばれることもある。ＭＶＰが使われることによって、符号化器から復号化器に送信される情報量が減少され、符号化効率が向上することができる。

この時、符号化器は、復元された隣接ユニットのうちいずれのユニットの動きベクトルが使われるかを指示する識別子及び/又はインデックスを使用することができる。前記識別子及び/又はインデックスが追加的に利用されるＭＶＰは、ＡＭＶＰ(Ａｄｖａｎｃｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ)と呼ばれることもある。

前述したスキップモード、ダイレクトモード、マージモード、ＭＶＰ、ＡＭＶＰなどでは、復元された隣接ユニットの中から参照ユニット(ｒｅｆｅｒｅｎｃｅ ｕｎｉｔ)が決定され、決定された参照ユニットの動きベクトルが現在符号化/復号化の対象ユニットの予測及び/又は動き補償に使われることができる。以下、参照ユニットは、符号化/復号化の対象ユニットの予測及び/又は動き補償に使われるユニットを意味する。符号化器及び復号化器は、現在符号化/復号化の対象ユニットに対するインター予測及び/又は動き補償を実行する場合、参照ユニットの符号化パラメータを利用することができる。

符号化パラメータは、構文要素(ｓｙｎｔａｘ ｅｌｅｍｅｎｔ)のように、符号化器で符号化されて復号化器に送信される情報だけでなく、符号化又は復号化過程で類推されることができる情報を含むことができ、映像を符号化したり復号化したりする時、必要な情報を意味する。符号化パラメータは、例えば、インター予測モード、動き情報、符号化ブロックパターン(ＣＢＰ：Ｃｏｄｅｄ Ｂｌｏｃｋ Ｐａｔｔｅｒｎ)、ブロック大きさ、ブロック分割情報などの値及び/又は統計を含むことができる。

ここで、動き情報(ｍｏｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ)は、インター予測及び動き補償に必要なパラメータを意味する。動き情報は、参照ピクチャリスト(ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ)、参照ピクチャインデックス(ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｉｎｄｅｘ)、動きベクトル(ｍｏｔｉｏｎ ｖｅｃｔｏｒ)、予測方向(ｐｒｅｄｉｃｔｉｏｎ ｄｉｒｅｃｔｉｏｎ)、動きベクトル予測器(ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ)のうち少なくとも一つを含むことができる。ここで、参照ピクチャリストは、インター予測に使われる複数の参照映像で構成されたリストであり、参照ピクチャインデックスは、参照ピクチャリストに含まれている参照ピクチャのうち、符号化/復号化の対象ユニットのインター予測に使われる参照ピクチャを指示するインデックスである。

インター予測には２個の参照ピクチャリストが使われることができ、一つは参照ピクチャリスト０と呼ばれ、他の一つは参照ピクチャリスト１と呼ばれることもある。動き情報に含まれている予測方向(ｐｒｅｄｉｃｔｉｏｎ ｄｉｒｅｃｔｉｏｎ)は、インター予測時、いずれの参照ピクチャリストが使われるかを指示する情報である。即ち、予測方向は、参照ピクチャリスト０が使われるか、参照ピクチャリスト１が使われるか又は参照ピクチャリスト０と参照ピクチャリスト１の両方とも使われるかを指示することができる。動きベクトル予測器は、符号化器及び復号化器が動きベクトルを予測する時、予測候補となるユニット及び/又は予測候補となるユニットの動きベクトルを意味する。

ブロック分割情報にはユニットの深さ(ｄｅｐｔｈ)に対する情報が含まれることができる。深さ情報は、ユニットが分割される回数及び/又は程度を示すことができる。

図３は、一つのユニットが複数の下位ユニットに分割される実施例を概略的に示す概念図である。

一つのユニットは、ツリー構造(ｔｒｅｅ ｓｔｒｕｃｔｕｒｅ)下で深さ情報(ｄｅｐｔｈ)を有して階層的に分割されることができる。それぞれの分割された下位ユニットは、深さ情報を有することができる。前記深さ情報は、ユニットが分割された回数及び/又は程度を示すため、前記下位ユニットの大きさに対する情報を含むこともできる。

図３の３１０を参照すると、最も上位ノードはルートノード(ｒｏｏｔ ｎｏｄｅ)と呼ばれることもあり、最も小さい深さ値を有することができる。この時、最も上位ノードは、レベル０の深さを有することができ、分割されない最初のユニットを示すことができる。

レベル１の深さを有する下位ノードは、最初のユニットが一回分割されたユニットを示すことができ、レベル２の深さを有する下位ノードは、最初のユニットが二回分割されたユニットを示すことができる。例えば、図３の３２０において、ノードａに対応するユニットａは、最初のユニットで一回分割されたユニットであり、レベル１の深さを有することができる。

レベル３のリーフノード(ｌｅａｆ ｎｏｄｅ)は、最初のユニットが三回分割されたユニットを示すことができる。例えば、図３の３２０において、ノードｄに対応するユニットｄは、最初のユニットで三回分割されたユニットであり、レベル３の深さを有することができる。したがって、最も下位ノードであるレベル３のリーフノードは、最も深い深さを有することができる。

前述したように、符号化器及び復号化器は、スキップモード、ダイレクトモード、マージモード、ＭＶＰ、ＡＭＶＰなどを利用してインター予測及び/又は動き補償を実行する場合、復元された隣接ユニットの中から参照ユニットを決定し、決定された参照ユニットの動きベクトルを利用することができる。符号化/復号化の対象ユニットに隣接する復元された隣接ユニットは、互いに異なる特性を有することができ、例えば、前記特性は、復元された隣接ユニットのそれぞれの符号化パラメータにより示されることができる。したがって、符号化器及び復号化器は、参照ユニットを決定して符号化/復号化する場合、映像の符号化パラメータを効率的に利用する必要がある。また、一つのピクチャは、多様な大きさのユニット、多様な深さのユニットを含むことができる。したがって、符号化/復号化の性能を高めるために、ユニットの大きさ及び/又は深さの多様性を考慮して参照ユニットを決定する方法が提供されることができる。

図４は、符号化器での参照ユニット決定方法の一実施例を概略的に示すフローチャートである。

図４を参照すると、符号化器は、復元された隣接ユニットを利用し、候補ユニット集合を生成することができる(Ｓ４１０)。ここで、候補ユニット集合(ｃａｎｄｉｄａｔｅ ｕｎｉｔ ｓｅｔ)は、参照ユニット候補の集合を意味する。現在符号化対象ユニットの予測及び/又は動き補償に使われる参照ユニットは、前記参照ユニット候補の中から決定されることができる。以下、候補ユニットは、参照ユニット候補と同じ意味を有することができる。

符号化器は、所定の基準及び/又は方法により、復元された隣接ユニットの中から候補ユニットを選択することができる。この時、符号化器は、映像の特性を反映するために、符号化対象ユニットの符号化パラメータ及び/又は復元された隣接ユニットの符号化パラメータを利用することができる。符号化器は、選択された候補ユニットを候補ユニット集合に包含及び/又は挿入させ、候補ユニット集合を生成することができる。候補ユニット集合生成方法の具体的な実施例は後述する。

また、図４を参照すると、符号化器は、生成された候補ユニット集合に含まれている候補ユニットの中から、現在符号化対象ユニットの予測及び/又は動き補償に使われる参照ユニットを決定することができる(Ｓ４２０)。

参照ユニットが決定されると、符号化器は、決定された参照ユニットを利用して符号化対象ユニットに対するインター予測を実行することができる。この時、符号化器は、インター予測及び/又は動き補償を実行するにあたって、スキップモード、ダイレクトモード、マージモード、ＭＶＰ、ＡＭＶＰなどの方法を使用することができる。参照ユニット決定方法の具体的な実施例は後述する。

参照ユニットが決定されると、符号化器は、参照ユニット識別情報を符号化して復号化器に送信することができる(Ｓ４３０)。参照ユニット識別情報には符号化パラメータ識別子、参照ユニット識別子などがあり、参照ユニット識別情報の符号化方法の具体的な実施例は後述する。

図５は、候補ユニット集合生成方法の一実施例を概略的に示す概念図である。

符号化器は、復元された隣接ユニットの中から、符号化対象ユニットに隣接するユニット及び符号化対象ユニットのコーナーに位置するユニットを候補ユニットとして選択して候補ユニット集合に含ませることができる。インター予測及び/又は動き補償が実行される符号化対象ユニットは、予測ユニット(Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ)である。

以下、符号化対象ユニットの上段に隣接するユニットは上段隣接ユニットといい、符号化対象ユニットの左側に隣接するユニットは左側隣接ユニットという。また、符号化対象ユニットの右側上段コーナーに位置するユニットは右側上段コーナーユニットといい、符号化対象ユニットの左側上段コーナーに位置するユニットは左側上段コーナーユニットといい、符号化対象ユニットの左側下段コーナーに位置するユニットは左側下段コーナーユニットという。

図５の５１０を参照すると、符号化器は、左側隣接ユニット(Ａ)、上段隣接ユニット(Ｂ)、右側上段コーナーユニット(Ｃ)、左側上段コーナーユニット(Ｄ)、及び左側下段コーナーユニット(Ｅ)を、候補ユニット集合に含まれる候補ユニットとして選択することができる。この時、一実施例として、生成された候補ユニット集合は{Ａ,Ｂ,Ｃ,Ｄ,Ｅ}のように構成されることができる。

図５の５２０を参照すると、符号化器は、左側隣接ユニット(Ａ,Ｂ,Ｃ)、上段隣接ユニット(Ｄ,Ｅ,Ｆ)、右側上段コーナーユニット(Ｇ)、左側上段コーナーユニット(Ｈ)、及び左側下段コーナーユニット(Ｍ)を、候補ユニット集合に含まれる候補ユニットとして選択することができる。この時、一実施例として、生成された候補ユニット集合は{Ｈ,Ｄ,Ｅ,Ｆ,Ｇ,Ａ,Ｂ,Ｃ,Ｍ}のように構成されることができる。

前述した実施例において、符号化器は、左側隣接ユニットのうち特定ユニットのみを候補ユニットとして選択することもできる。例えば、符号化器は、左側隣接ユニットのうち最も下段に位置するユニットのみを候補ユニットとして選択することができる。また、符号化器は、上段隣接ユニットのうち特定ユニットのみを候補ユニットとして選択することもできる。例えば、符号化器は、上段隣接ユニットのうち最も右側に位置するユニットのみを候補ユニットとして選択することができる。この場合、図５の５２０で生成された候補ユニット集合は{Ｈ,Ｆ,Ｇ,Ｃ,Ｍ}である。

図６は、候補ユニット集合生成方法の他の実施例を概略的に示す概念図である。

符号化器は、復元された隣接ユニットの中から、符号化対象ユニットの左側に隣接するユニット及び符号化対象ユニットの上段に隣接するユニットを候補ユニットとして選択して候補ユニット集合に含ませることができる。

図６の６１０を参照すると、符号化器は、左側隣接ユニット(Ａ)、上段隣接ユニット(Ｂ)を、候補ユニット集合に含まれる候補ユニットとして選択することができる。この時、一実施例として、生成された候補ユニット集合は{Ａ,Ｂ}のように構成されることができる。

図６の６２０を参照すると、符号化器は、左側隣接ユニット(Ａ,Ｂ,Ｃ)、上段隣接ユニット(Ｄ,Ｅ,Ｆ)を、候補ユニット集合に含まれる候補ユニットとして選択することができる。この時、一実施例として、生成された候補ユニット集合は{Ｄ,Ｅ,Ｆ,Ａ,Ｂ,Ｃ}で構成されることができる。

図７は、候補ユニット集合生成方法の他の実施例を概略的に示す概念図である。図７の実施例において、符号化対象ユニット(Ｘ)の大きさは１６×１６と仮定し、Ｃ、Ｄ、Ｈ、Ｍユニットの大きさは８×８と仮定し、残りのユニットの大きさは４×４と仮定する。

図６で前述したように、符号化器は、復元された隣接ユニットの中から、符号化対象ユニットの左側に隣接するユニット及び符号化対象ユニットの上段に隣接するユニットを候補ユニットとして選択することができる。この時、符号化器は、左側隣接ユニット及び上段隣接ユニットの中から、符号化対象ユニットと隣接する境界の長さが所定の長さ以上であるユニットのみを候補ユニットとして選択して候補ユニット集合に含ませることもできる。ここで、前記所定の長さは正の整数である。以下、符号化対象ユニットと復元された隣接ユニットが隣接する境界は隣接境界という。

図７を参照すると、符号化器は、符号化対象ユニットと隣接する境界の長さが８以上であるユニットのみを候補ユニットとして選択することができる。Ｃ、Ｄユニットは、８×８の大きさであり、符号化対象ユニットとＣ、Ｄユニットが隣接する境界の長さが８であるため、候補ユニット集合に含まれる候補ユニットとして選択されることができる。一方、Ａ、Ｂ、Ｅ、Ｆユニットは、４×４大きさであり、符号化対象ユニットとＡ、Ｂ、Ｅ、Ｆユニットが隣接する境界の長さが４であるため、候補ユニット集合に含まれる候補ユニットとして選択されない。この時、一実施例として、生成された候補ユニット集合は{Ｃ,Ｄ}である。

他の例として、符号化器は、左側隣接ユニットの隣接境界及び上段隣接ユニットの隣接境界の相対的な長さを基準にして、候補ユニット集合に含まれる候補ユニットを選択することもできる。即ち、符号化器は、符号化対象ユニットに隣接するユニットの隣接境界長さを互いに比較して候補ユニットを選択することができる。

例えば、復元された隣接ユニットのうち、隣接境界の長さが４であるユニット及び隣接境界の長さが８であるユニットが存在する場合、符号化器は、隣接境界の長さが相対的に長い後者のユニットのみを候補ユニット集合に含ませることができる。他の例として、復元された隣接ユニットのうち、隣接境界の長さが１６であるユニット及び隣接境界の長さが４であるユニットが存在する場合、符号化器は、隣接境界の長さが相対的に短い後者のユニットのみを候補ユニット集合に含ませることができる。

図８は、候補ユニット集合生成方法の他の実施例を概略的に示す概念図である。図８の実施例において、符号化対象ユニット(Ｘ)の大きさは１６×１６と仮定し、Ｃ、Ｄ、Ｈ、Ｍユニットの大きさは８×８と仮定し、残りのユニットの大きさは４×４と仮定する。

図５で前述したように、符号化器は、復元された隣接ユニットの中から、符号化対象ユニットに隣接するユニット及び符号化対象ユニットのコーナーに位置するユニットを候補ユニットとして選択することができる。この時、符号化器は、符号化対象ユニットに隣接するユニット及び符号化対象ユニットのコーナーに位置するユニットの中から、所定の大きさ以上のユニットのみを候補ユニットとして選択して候補ユニット集合に含ませることもできる。ここで、前記所定の大きさはｍ*ｎ(ｍは、正の整数、ｎは、正の整数)である。

図８を参照すると、符号化器は、８×８以上の大きさを有するユニットのみを候補ユニットとして選択することができる。Ｃ、Ｄ、Ｈ、Ｍユニットは、８×８の大きさを有するため、候補ユニット集合に含まれる候補ユニットとして選択されることができる。一方、Ａ、Ｂ、Ｅ、Ｆ、Ｇユニットは、４×４大きさを有するため、候補ユニット集合に含まれる候補ユニットとして選択されない。この時、一実施例として、生成された候補ユニット集合は{Ｃ,Ｄ,Ｈ,Ｍ}のように構成されることができる。

他の例として、符号化器は、復元された隣接ユニットの相対的な大きさを基準にして、候補ユニット集合に含まれる候補ユニットを選択することもできる。即ち、符号化器は、復元された隣接ユニットの大きさを互いに比較して候補ユニットを選択することができる。例えば、大きさが８×８である復元された隣接ユニット及び大きさが１６×１６である復元された隣接ユニットが存在する場合、符号化器は、大きさが相対的に大きい後者のユニットのみを候補ユニット集合に含ませることができる。

図９は、候補ユニット集合生成方法の他の実施例を概略的に示す概念図である。図９の実施例において、符号化対象ユニット(Ｘ)の深さ値は０と仮定し、Ｃ、Ｄ、Ｈ、Ｍユニットの深さ値は１と仮定し、残りのユニットの深さ値は２と仮定する。

図５で前述したように、符号化器は、復元された隣接ユニットの中から、符号化対象ユニットに隣接するユニット及び符号化対象ユニットのコーナーに位置するユニットを候補ユニットとして選択することができる。この時、符号化器は、符号化対象ユニットに隣接するユニット及び符号化対象ユニットのコーナーに位置するユニットの中から、所定の深さ以下のユニットのみを候補ユニットとして選択して候補ユニット集合に含ませることもできる。ここで、前記所定の深さはｎ(ｎは、正の整数)である。

図９を参照すると、符号化器は、１以下の深さを有するユニットのみを候補ユニットとして選択することができる。Ｃ、Ｄ、Ｈ、Ｍユニットは、１の深さを有するため、候補ユニット集合に含まれる候補ユニットとして選択されることができる。一方、Ａ、Ｂ、Ｅ、Ｆ、Ｇユニットは、２の深さを有するため、候補ユニット集合に含まれる候補ユニットとして選択されない。この時、一実施例として、生成された候補ユニット集合は{Ｈ,Ｄ,Ｃ,Ｍ}のように構成されることができる。

他の例として、符号化器は、復元された隣接ユニットの相対的な深さを基準にして、候補ユニット集合に含まれる候補ユニットを選択することもできる。即ち、符号化器は、復元された隣接ユニットの深さを互いに比較して候補ユニットを選択することができる。例えば、深さが０である復元された隣接ユニット及び深さが２である復元された隣接ユニットが存在する場合、符号化器は、深さ値が相対的に小さい前者のユニットのみを候補ユニット集合に含ませることができる。

他の実施例として、符号化器は、符号化対象ユニットの符号化パラメータ及び/又は復元された隣接ユニットの符号化パラメータを利用し、候補ユニット集合に含まれる候補ユニットを選択することができる。この時、符号化器は、符号化対象ユニットと復元された隣接ユニットとの間の符号化パラメータ関連性を利用して候補ユニットを選択することもでき、復元された隣接ユニットの符号化パラメータのみを利用して候補ユニットを選択することもできる。

一例として、符号化器は、復元された隣接ユニットの動き情報と符号化対象ユニットの動き情報が同じかどうかを判断した後、復元された隣接ユニットの中から、符号化対象ユニットと同一の動き情報を有するユニットのみを候補ユニットとして選択して候補ユニット集合に含ませることもできる。例えば、前記動き情報は、動きベクトル、参照ピクチャリスト、参照ピクチャインデックス、予測方向、及び動きベクトル予測器のうち少なくとも一つ以上である。

他の例として、符号化器は、復元された隣接ユニットの動き情報と符号化対象ユニットの動き情報が類似するかどうかを判断した後、復元された隣接ユニットの中から、符号化対象ユニットと類似の動き情報を有するユニットのみを候補ユニットとして選択して候補ユニット集合に含ませることもできる。例えば、前記動き情報は、動きベクトル、参照ピクチャリスト、参照ピクチャインデックス、予測方向、及び動きベクトル予測器のうち少なくとも一つ以上である。復元された隣接ユニットの動き情報と符号化対象ユニットの動き情報が完全に同じではないが、所定の基準を満たす場合には、互いに類似すると判断されることができる。

復元された隣接ユニットの動き情報と符号化対象ユニットの動き情報が類似する場合の実施例は、下記の通りである。例えば、復元された隣接ユニットの動きベクトルと符号化対象ユニットの動きベクトルの成分別大きさ差が、整数画素単位に所定の大きさ未満である場合、復元された隣接ユニットの動き情報と符号化対象ユニットの動き情報が類似すると判断されることができる。ここで、前記所定の大きさは、任意の自然数及び/又は正の実数であり、一例として、１である。他の例として、復元された隣接ユニットと符号化対象ユニットが互いに異なる参照ピクチャリストを有するが、互いに同一の参照ピクチャを使用する場合、復元された隣接ユニットの動き情報と符号化対象ユニットの動き情報が類似すると判断されることができる。他の例として、復元された隣接ユニットと符号化対象ユニットが互いに異なる参照ピクチャインデックスを有するが、互いに同一の参照ピクチャを使用する場合、復元された隣接ユニットの動き情報と符号化対象ユニットの動き情報が類似すると判断されることができる。

また、例えば、符号化器は、復元された隣接ユニットの中から、イントラ予測により符号化されたユニットは候補ユニットとして選択しない。この時、符号化器は、イントラ予測により符号化されたユニットは候補ユニット集合に含ませない。一例として、符号化器は、復元された隣接ユニットの中から、インター予測により符号化されたユニットのみを候補ユニットとして選択して候補ユニット集合に含ませることができる。

符号化器は、復元された隣接ユニットに対する残差信号(ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ)有無を判断した後、復元された隣接ユニットの中から、残差信号が存在しないユニットを候補ユニットとして選択して候補ユニット集合に含ませることもできる。ここで、前記残差信号有無は、残差信号有無に対する構文要素であるＣＢＰ(Ｃｏｄｅｄ Ｂｌｏｃｋ Ｐａｔｔｅｒｎ)及び/又はＣＢＦ(Ｃｏｄｅｄ Ｂｌｏｃｋ Ｆｌａｇ)の値を介して判別されることができる。

前述した候補ユニット集合生成方法の実施例において、前記候補ユニット集合に含まれる候補ユニットの個数は、所定の個数(例えば、Ｎ個)で制限されることができる。ここで、Ｎは、０より大きい正の整数を示すことができる。

候補ユニット集合に含まれる候補ユニットの個数がＮ個で制限される場合、符号化器は、所定の基準を利用し、復元された隣接ユニットの中から、Ｎ個のユニットのみを候補ユニットとして選択することができる。ここで、前記所定の基準には、符号化対象ユニットとの隣接程度、符号化対象ユニット境界との隣接程度、符号化対象ユニットと隣接する境界の相対的な及び/又は絶対的な長さ、復元された隣接ユニットの相対的な及び/又は絶対的な大きさ、復元された隣接ユニットの相対的な及び/又は絶対的な深さ値、復元された隣接ユニットの符号化/復号化の順序及び/又は符号化対象ユニットの符号化パラメータと復元された隣接ユニットの符号化パラメータとの間の同一性/類似性などがある。復元された隣接ユニットの符号化パラメータと符号化対象ユニットの符号化パラメータが類似する場合の実施例は、前述したことがある。例えば、復元された隣接ユニットの符号化パラメータと符号化対象ユニットが互いに同一の参照ピクチャを使用する場合、復元された隣接ユニットの符号化パラメータと符号化対象ユニットの符号化パラメータが類似すると判断されることができる。

例えば、候補ユニット集合に含まれる候補ユニットの個数は２個である。この時、一例として、符号化器は、復元された隣接ユニットの中から、符号化対象ユニットに隣接する境界の長さが長い順に２個のユニットを候補ユニットとして選択して候補ユニット集合に含ませることができる。

他の例として、候補ユニット集合に含まれる候補ユニットの個数は３個である。また、一例として、復元された隣接ユニットが同一の動き情報を有することができる。この時、符号化器は、同一の動き情報を有する復元された隣接ユニットの中から、符号化/復号化の順序上、後ほど復元された３個のユニットを候補ユニットとして選択して候補ユニット集合に含ませることができる。

一方、前述した候補ユニット集合生成方法の実施例において、前記候補ユニット集合に含まれる候補ユニットは、符号化対象ユニットに対する参照ユニットとして決定される確率が高い順に整列されることができる。即ち、符号化器は、符号化対象ユニットに対する参照ユニットとして決定される確率が高いユニットを優先的に候補ユニット集合に包含及び/又は挿入させることができる。この時、符号化器は、参照ユニットとして決定される確率が高い候補ユニットであるほど、短いコードワードを有する参照ユニット識別子を割り当てて符号化効率を上げることができる。

図１０は、候補ユニットが候補ユニット集合に含まれる順序を決定する方法の一実施例を概略的に示す概念図である。図１０において、復元された隣接ユニットが符号化/復号化される順序は、Ｈ→Ｄ→Ｋ→Ｌ→Ｅ→Ｆ→Ｎ→Ｏ→Ｇ→Ｐ→Ｉ→Ａ→Ｊ→Ｂ→Ｃ→Ｍと仮定する。

例えば、符号化器は、復元された隣接ユニットの中から、符号化対象ユニットの左側に隣接するユニット及び符号化対象ユニットの上段に隣接するユニットを候補ユニットとして選択して候補ユニット集合に含ませることができる。この時、符号化器は、選択された候補ユニットを符号化/復号化の順序によって候補ユニット集合に含ませることができる。

図１０を参照すると、符号化器は、符号化/復号化の順序上、先の候補ユニットを優先的に候補ユニット集合に含ませることができる。現在符号化対象ユニット(Ｘ)に隣接するユニットは、Ｄ→Ｅ→Ｆ→Ａ→Ｂ→Ｃの順に符号化/復号化されることができるため、生成された候補ユニット集合は{Ｄ,Ｅ,Ｆ,Ａ,Ｂ,Ｃ}のように構成されることができる。

他の実施例として、符号化器は、候補ユニット集合に含まれる候補ユニットを、符号化対象ユニットに隣接する境界の長さが長い順に整列することができる。即ち、符号化器は、符号化対象ユニットに隣接する境界の長さが長い候補ユニットを優先的に候補ユニット集合に包含及び/又は挿入させることができる。

他の実施例として、符号化器は、候補ユニット集合に含まれる候補ユニットを、深さ値が小さい順に整列することができる。即ち、符号化器は、深さ値が小さい候補ユニットを優先的に候補ユニット集合に包含及び/又は挿入させることができる。

前述した候補ユニット集合生成方法の実施例において、符号化器は、復元された周辺ブロックの中から、候補ユニット集合に含まれる候補ユニットを選択することができる。この時、復元された周辺ブロックの中から選択された候補ユニットは空間的(ｓｐａｔｉａｌ)候補ユニットと呼ばれることもある。

符号化器は、空間的候補ユニット外に、参照ピクチャ内のユニットのうち、符号化対象ユニットと同一な空間的位置にあるユニットを候補ユニットとして選択して候補ユニット集合に含ませることもできる。以下、説明の便宜のために、参照ピクチャ内のユニットのうち、符号化対象ユニットと同一な空間的位置にあるユニットは、同一位置ユニット(ｃｏｌｌｏｃａｔｅｄ ｕｎｉｔ)及び/又は同一位置ブロック(ｃｏｌｌｏｃａｔｅｄ ｂｌｏｃｋ)という。この時、参照ピクチャ内のユニットの中から選択された候補ユニットは、時間的(ｔｅｍｐｏｒａｌ)候補ユニットと呼ばれることもある。

前述した候補ユニット集合生成過程で、符号化器は、復元された隣接ユニットに対する符号化パラメータ識別子を利用することができる。この時、候補ユニット集合に含まれる候補ユニットは、前記符号化パラメータ識別子を利用して選択されることができる。ここで、符号化パラメータ識別子が使われる符号化パラメータには、例えば、符号化対象ユニットと復元された隣接ユニットが隣接する境界の長さ、復元された隣接ユニットの大きさ、復元された隣接ユニットの深さ値などがある。

符号化パラメータ識別子には所定の値が割り当てられることができる。この時、一例として、符号化器は、復元された隣接ユニットの中から、符号化パラメータ識別子に割り当てられた値と同一の値の符号化パラメータを有するユニットを候補ユニットとして選択することができる。他の例として、符号化器は、復元された隣接ユニットの中から、符号化パラメータ識別子に割り当てられた値より大きい値の符号化パラメータを有するユニットを候補ユニットとして選択することができる。他の例として、符号化器は、符号化パラメータ識別子に割り当てられた値より小さい値の符号化パラメータを有するユニットを候補ユニットとして選択することもできる。

例えば、符号化対象ユニットと復元された隣接ユニットが隣接する境界の長さに対して符号化パラメータ識別子が使われると仮定する。ここで、前記符号化パラメータ識別子は、ｌｏｇ２_ｕｎｉｔ_ｂｏｕｎｄａｒｙ_ｌｅｎｇｔｈにより示される。前述したように、符号化器は、復元された隣接ユニットの中から、符号化対象ユニットと隣接する境界の長さが所定の長さより大きいユニットのみを候補ユニットとして選択して候補ユニット集合に含ませることもできる。ここで、前記所定の長さが８と仮定すると、前記符号化パラメータ識別子ｌｏｇ２_ｕｎｉｔ_ｂｏｕｎｄａｒｙ_ｌｅｎｇｔｈには３の値が割り当てられることができる。この時、符号化器は、前記符号化パラメータ識別子に割り当てられた値より大きい隣接境界長さを有するユニットのみを候補ユニットとして選択して候補ユニット集合に含ませることができる。また、符号化器は、３の値が割り当てられた前記符号化パラメータ識別子を符号化し、復号化器に送信することができる。

候補ユニット集合が生成されると、符号化器は、生成された候補ユニット集合に含まれている候補ユニットの中から、現在符号化対象ユニットの予測及び/又は動き補償に使われる参照ユニットを決定することができる。

図１１は、本発明の実施例による符号化器での参照ユニット決定方法を概略的に説明する概念図である。

符号化器は、候補ユニット集合に含まれている候補ユニットの中から、率−歪曲観点で最適の符号化効率を示す候補ユニットを参照ユニットとして決定することができる。また、前述したように、符号化器は、候補ユニット集合に含まれている候補ユニットの符号化パラメータ(例えば、動き情報等)をインター予測及び動き補償に利用することができる。
この時、符号化器は、前記符号化パラメータを利用し、率−歪曲観点で最適の符号化効率を示す候補ユニットを参照ユニットとして決定することができる。ここで、率(ｄｉｓｔｏｒｔｉｏｎ)と歪曲(ｒａｔｅ)の観点で最適の符号化方式を選択する方法は、率−歪曲最適化(ＲＤＯ：Ｒａｔｅ Ｄｉｓｔｏｒｔｉｏｎ Ｏｐｔｉｍｉｚａｔｉｏｎ)と呼ばれることもある。

率−歪曲最適化方式により参照ユニットが決定されると、符号化器は、候補ユニット集合に含まれている候補ユニットのうちいずれの候補ユニットが参照ユニットとして決定されるかを指示する参照ユニット識別子を符号化して復号化器に送信することができる。一例として、前記参照ユニット識別子は、参照ユニットとして決定される候補ユニットの候補ユニット集合内の順序及び/又は位置を指示することができる。他の例として、前記参照ユニット識別子は、符号化対象ユニットから参照ユニットまでの符号化順序差を指示することができる。他の例として、候補ユニット集合内の候補ユニットの各々には、参照ユニットインデックスが割り当てられることができ、前記参照ユニットインデックスが参照ユニット識別子として使われることができる。

図１１を参照すると、候補ユニット集合は、一実施例として{Ａ,Ｂ,Ｃ,Ｄ,Ｅ,Ｆ}のように構成されることができる。この時、それぞれの候補ユニットには参照ユニットインデックスが割り当てられることができ、例えば、Ａには０、Ｂには１、Ｃには２、Ｄには３、Ｅには４、Ｆには５のインデックスが割り当てられることができる。

符号化器は、参照ユニットインデックスを符号化して復号化器に送信することができ、復号化器は、符号化された参照ユニットインデックスを受信して復号化することができる。符号化器がＢを参照ユニットとして決定する場合、復号化器に送信される参照ユニットインデックスの値は１である。この時、復号化器は、前記参照ユニットインデックスの値を利用し、ユニットＢを参照ユニットとして決定することができる。

図１２は、本発明の他の実施例による符号化器での参照ユニット決定方法を概略的に説明する概念図である。図１２において、復元された隣接ユニットが符号化/復号化される順序は、Ｈ→Ｄ→Ｋ→Ｌ→Ｅ→Ｆ→Ｎ→Ｏ→Ｇ→Ｐ→Ｉ→Ａ→Ｊ→Ｂ→Ｃ→Ｍと仮定する。

前述したように、候補ユニット集合生成過程における符号化器は、候補ユニット集合に含まれる候補ユニットを、参照ユニットとして決定される確率が高い順に整列することができる。この時、符号化器は、候補ユニット集合内に含まれている候補ユニットの中から、１番目の候補ユニットを参照ユニットとして決定することができる。

図１２を参照すると、符号化器は、符号化対象ユニットに隣接するユニットを候補ユニットとして選択することができる。この時、選択される候補ユニットは、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆである。符号化器は、選択された候補ユニットを符号化/復号化の順序によって整列することができる。例えば、符号化器は、符号化順序上、後ほど符号化されたユニットを優先的に候補ユニット集合に含ませることができる。この時、候補ユニット集合は{Ｃ,Ｂ,Ａ,Ｆ,Ｅ,Ｄ}のように構成されることができる。符号化器は、前記候補ユニット集合内の１番目の候補ユニットＣを参照ユニットとして決定することができる。この場合、符号化対象ユニットとの符号化順序差が最も小さい候補ユニットが参照ユニットとして決定されることができる。

候補ユニット集合内の１番目の候補ユニットが参照ユニットとして決定される場合、符号化器及び復号化器は、別途の参照ユニット識別子なしに参照ユニットを決定することができる。したがって、符号化器は、参照ユニット識別子を符号化ぜず、参照ユニット識別子を復号化器に送信しない。

図１３は、本発明の他の実施例による符号化器での参照ユニット決定方法を概略的に説明する概念図である。

図１３を参照すると、符号化器は、符号化対象ユニットに隣接するユニットを候補ユニットとして選択することができる。この時、選択された候補ユニットはＡ、Ｄ、Ｅ、Ｆである。

一方、候補ユニット集合に含まれる候補ユニットの個数は所定の個数で制限されることができ、前記所定の個数は１であってもよい。この時、符号化器は、復元された隣接ユニットの中から、参照ユニットとして選択される確率が最も高い一つのユニットのみを候補ユニットとして選択することで、候補ユニット集合を生成することができる。例えば、符号化器は、復元された隣接ユニットの大きさを互いに比較し、相対的に最も大きいユニット(例えば、ユニットＡ)のみを候補ユニットとして選択することができる。この時、候補ユニット集合は{Ａ}のように構成され、候補ユニット集合を構成する候補ユニットの個数は１個である。

候補ユニット集合を構成する候補ユニットの個数が１個である場合、符号化器及び復号化器は、該当候補ユニットを参照ユニットとして決定することができる。この時、符号化器及び復号化器は、別途の参照ユニット識別子なしに参照ユニットを決定することができる。したがって、符号化器は、参照ユニット識別子を符号化せず、参照ユニット識別子を復号化器に送信しない。

図４で前述したように、参照ユニットが決定されると、符号化器は、参照ユニット識別情報を符号化して復号化器に送信することができる。参照ユニット識別情報は、符号化パラメータ識別子及び参照ユニット識別子のうち少なくとも一つを含むことができる。

符号化器は、復元された隣接ユニットに対する符号化パラメータ識別子を利用することができる。この時、候補ユニット集合に含まれる候補ユニットは、前記符号化パラメータ識別子を利用して選択されることができる。

符号化パラメータ識別子には所定の値が割り当てられることができる。この時、一例として、符号化器は、復元された隣接ユニットの中から、符号化パラメータ識別子に割り当てられた値と同一の値の符号化パラメータを有するユニットを候補ユニットとして選択することができる。他の例として、符号化器は、復元された隣接ユニットの中から、符号化パラメータ識別子に割り当てられた値より大きい値の符号化パラメータを有するユニットを候補ユニットとして選択することができる。他の例として、符号化器は、符号化パラメータ識別子に割り当てられた値より小さい値の符号化パラメータを有するユニットを候補ユニットとして選択することもできる。

符号化器は、符号化パラメータ識別子を符号化することができる。この時、符号化された符号化パラメータ識別子は、復号化器に送信されることができる。

また、前述したように、符号化器は、候補ユニット集合に含まれている候補ユニットの符号化パラメータをインター予測及び動き補償に利用することができる。この時、符号化器は、前記符号化パラメータを利用し、率−歪曲観点で最適の符号化効率を示す候補ユニットを参照ユニットとして決定することができる。

率−歪曲最適化方式により参照ユニットが決定されると、符号化器は、候補ユニット集合に含まれている候補ユニットのうちいずれの候補ユニットが参照ユニットとして決定されるかを指示する参照ユニット識別子を符号化して復号化器に送信することができる。一例として、前記参照ユニット識別子は、参照ユニットとして決定される候補ユニットの候補ユニット集合内の順序及び/又は位置を指示することができる。他の例として、前記参照ユニット識別子は、符号化対象ユニットから参照ユニットまでの符号化順序差を指示することができる。他の例として、候補ユニット集合内の候補ユニットの各々には参照ユニットインデックスが割り当てられることができ、前記参照ユニットインデックスが参照ユニット識別子として使われることができる。

復号化器は、符号化された参照ユニット識別子を受信して復号化することができる。復号化器は、復号化された参照ユニット識別子を利用して参照ユニットを決定することができる。

候補ユニット集合内の１番目の候補ユニットが参照ユニットとして決定される場合及び候補ユニット集合を構成する候補ユニットの個数が１個である場合、符号化器及び復号化器は、別途の参照ユニット識別子なしに参照ユニットを決定することができる。この時、符号化器は、参照ユニット識別子の符号化を省略することもできる。

図１４は、復号化器での参照ユニット決定方法の一実施例を概略的に示すフローチャートである。

図１４を参照すると、復号化器は、符号化器から参照ユニット識別情報を受信して復号化することができる(Ｓ１４１０)。符号化器から送信された参照ユニット識別情報は、符号化パラメータ識別子及び参照ユニット識別子のうち少なくとも一つを含むことができる。

復号化器は、参照ユニット識別情報に含まれている符号化パラメータ識別子を利用し、候補ユニット集合に含まれる候補ユニットを選択することができる。符号化パラメータ識別子には所定の値が割り当てられることができる。この時、一例として、復号化器は、復元された隣接ユニットの中から、符号化パラメータ識別子に割り当てられた値と同一の値の符号化パラメータを有するユニットを候補ユニットとして選択することができる。他の例として、復号化器は、復元された隣接ユニットの中から、符号化パラメータ識別子に割り当てられた値より大きい値の符号化パラメータを有するユニットを候補ユニットとして選択することができる。他の例として、復号化器は、符号化パラメータ識別子に割り当てられた値より小さい値の符号化パラメータを有するユニットを候補ユニットとして選択することもできる。ここで、符号化パラメータ識別子に割り当てられた値は、符号化器で使われた、符号化パラメータ及び/又は符号化パラメータ識別子の値と同一の値である。

復号化器は、符号化器で符号化された参照ユニット識別子を復号化することができる。
前述したように、参照ユニット識別子は、候補ユニット集合に含まれている候補ユニットのうちいずれの候補ユニットが参照ユニットとして決定されるかを指示することができる。一例として、前記参照ユニット識別子は、参照ユニットとして決定される候補ユニットの候補ユニット集合内の順序及び/又は位置を指示することができる。他の例として、前記参照ユニット識別子は、復号化対象ユニットから参照ユニットまでの復号化順序差を指示することができる。他の例として、候補ユニット集合内の候補ユニットの各々には参照ユニットインデックスが割り当てられることができ、前記参照ユニットインデックスが参照ユニット識別子として使われることができる。復号化器は、候補ユニット集合で参照ユニットを決定するにあたって、復号化された参照ユニット識別子を利用することができる。

候補ユニット集合内の最初の候補ユニットが参照ユニットとして決定される場合及び候補ユニット集合を構成する候補ユニットの個数が１個である場合、符号化器及び復号化器は、別途の参照ユニット識別子なしに参照ユニットを決定することができる。この時、符号化器は、参照ユニット識別子を送信しないので、復号化器は、参照ユニット識別子を復号化しない。

また、図１４を参照すると、復号化器は、復元された隣接ユニットを利用し、候補ユニット集合を生成することができる(Ｓ１４２０)。

復号化器は、所定の基準及び/又は方法により、復元された隣接ユニットの中から候補ユニットを選択することができる。この時、復号化器は、映像の特性を反映するために、復号化対象ユニットの符号化パラメータ及び/又は復元された隣接ユニットの符号化パラメータを利用することができる。復号化器は、選択された候補ユニットを候補ユニット集合に包含及び/又は挿入させて、候補ユニット集合を生成することができる。

復号化器は、符号化器と同様な過程を介して候補ユニット集合を生成することができる。符号化器での候補ユニット集合生成過程は前述したため、復号化器での候補ユニット集合生成過程の詳細な説明は省略する。

候補ユニット集合が生成されると、復号化器は、生成された候補ユニット集合に含まれている候補ユニットの中から、現在復号化対象ユニットの予測及び/又は動き補償に使われる参照ユニットを決定することができる(Ｓ１４３０)。

復号化器は、参照ユニット決定過程で、復号化された参照ユニット識別情報を利用することができる。参照ユニットが決定されると、復号化器は、決定された参照ユニットを利用して符号化対象ユニットに対するインター予測を実行することができる。参照ユニット決定方法の具体的な実施例は後述する。

図１５は、本発明の実施例による復号化器での参照ユニット決定方法を概略的に説明する概念図である。

復号化器は、復号化された参照ユニット識別子を利用し、候補ユニット集合に含まれている候補ユニットの中から、復号化対象ユニットのインター予測及び動き補償に利用される参照ユニットを決定することができる。一例として、前記参照ユニット識別子は、参照ユニットとして決定される候補ユニットの候補ユニット集合内の順序及び/又は位置を指示することができる。他の例として、前記参照ユニット識別子は、復号化対象ユニットから参照ユニットまでの復号化順序差を指示することができる。他の例として、候補ユニット集合内の候補ユニットの各々には参照ユニットインデックスが割り当てられることができて、前記参照ユニットインデックスが参照ユニット識別子として使われることができる。

図１５を参照すると、候補ユニット集合は、一実施例として{Ａ,Ｂ,Ｃ,Ｄ,Ｅ,Ｆ}のように構成されることができる。この時、それぞれの候補ユニットには参照ユニットインデックスが割り当てられることができ、例えば、Ａには０、Ｂには１、Ｃには２、Ｄには３、Ｅには４、Ｆには５のインデックスが割り当てられることができる。復号化された参照ユニットインデックスの値が２の場合、復号化器は、前記参照ユニットインデックスの値を利用し、ユニットＣを参照ユニットとして決定することができる。

図１６は、本発明の他の実施例による復号化器での参照ユニット決定方法を概略的に説明する概念図である。図１６において、復元された隣接ユニットが復号化される順序は、Ｈ→Ｄ→Ｋ→Ｌ→Ｅ→Ｆ→Ｎ→Ｏ→Ｇ→Ｐ→Ｉ→Ａ→Ｊ→Ｂ→Ｃ→Ｍと仮定する。

候補ユニット集合生成過程における復号化器は、候補ユニット集合に含まれる候補ユニットを、参照ユニットとして決定される確率が高い順に整列することができる。この時、復号化器は、候補ユニット集合内に含まれている候補ユニットの中から、１番目の候補ユニットを参照ユニットとして決定することができる。

図１６を参照すると、復号化器は、復号化対象ユニットに隣接するユニットを候補ユニットとして選択することができる。この時、選択される候補ユニットはＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆである。復号化器は、選択された候補ユニットを復号化順序によって整列するこｔろができる。例えば、復号化器は、復号化順序上、後ほど復号化されたユニットを優先的に候補ユニット集合に含ませることができる。この時、候補ユニット集合は{Ｃ,Ｂ,Ａ,Ｆ,Ｅ,Ｄ}のように構成されることができる。復号化器は、前記候補ユニット集合内の１番目の候補ユニットＣを参照ユニットとして決定することができる。この場合、復号化対象ユニットとの復号化順序差が最も小さい候補ユニットが参照ユニットとして決定されることができる。

候補ユニット集合内の最初の候補ユニットが参照ユニットとして決定される場合、符号化器及び復号化器は、別途の参照ユニット識別子なしに参照ユニットを決定することができる。この時、符号化器は、参照ユニット識別子を復号化器に送信しないため、復号化器は参照ユニット識別子を復号化しない。

図１７は、本発明の他の実施例による復号化器での参照ユニット決定方法を概略的に説明する概念図である。

図１７を参照すると、復号化器は、復号化対象ユニットに隣接するユニットを候補ユニットとして選択することができる。この時、選択された候補ユニットはＡ、Ｄ、Ｅ、Ｆである。

一方、候補ユニット集合に含まれる候補ユニットの個数は所定の個数で制限されることができ、前記所定の個数は１である。この時、復号化器は、復元された隣接ユニットの中から、参照ユニットとして選択される確率が最も高い一つのユニットのみを候補ユニットとして選択して候補ユニット集合を生成することができる。例えば、復号化器は、復元された隣接ユニットの大きさを互いに比較し、相対的に最も大きいユニット(例えば、ユニットＡ)のみを候補ユニットとして選択することができる。この時、候補ユニット集合は、{Ａ}のように構成され、候補ユニット集合を構成する候補ユニットの個数は１個である。

候補ユニット集合を構成する候補ユニットの個数が１個である場合、符号化器及び復号化器は、該当候補ユニットを参照ユニットとして決定することができる。この時、符号化器及び復号化器は、別途の参照ユニット識別子なしに参照ユニットを決定することができる。したがって、符号化器は、参照ユニット識別子を復号化器に送信しないため、復号化器は、参照ユニット識別子を復号化しない。

前述した実施例において、方法は一連のステップ又はブロックで順序図に基づいて説明されているが、本発明はステップの順序に限定されるものではなく、あるステップは前述と異なるステップと異なる順に又は同時に発生することができる。また、当該技術分野において、通常の知識を有する者であれば、順序図に示すステップが排他的でなく、他のステップが含まれ、又は順序図の一つ又はそれ以上のステップが本発明の範囲に影響を及ぼさずに削除可能であるこを理解することができる。

前述した実施例は、多様な態様の例示を含む。多様な態様を示すための全ての可能な組合せを記述することはできないが、該当技術分野の通常の知識を有する者は、他の組合せが可能であることを認識することができる。したがって、本発明は、特許請求の範囲に属する全ての交替、修正、及び変更を含む。

Claims (4)

1. 再構成された隣接ユニットの中から一つ以上の候補ユニットを選択するステップ；
   前記選択された一つ以上の候補ユニットを利用して復号化対象ユニットに対する候補集合(ｃａｎｄｉｄａｔｅ ｓｅｔ)を生成するステップ；
   参照ユニット識別子に基づいて、前記候補集合から前記復号化対象ユニットの参照ユニットを決定するステップ；及び、
   前記決定された参照ユニットを利用して前記復号化対象ユニットに対するインター予測を実行するステップを含み、
   前記候補集合に含まれる前記一つ以上の候補ユニットの最大個数はＮで制限され、Ｎは０より大きい整数値であり、
   前記再構成された隣接ユニットは、前記復号化対象ユニットと空間的に隣接し、
   前記一つ以上の候補ユニットは、前記復号化対象ユニットと同一のピクチャに属し、
   前記再構成された隣接ユニットは、前記復号化対象ユニットに隣接する上段隣接ユニット、前記復号化対象ユニットに隣接する左側隣接ユニット、前記復号化対象ユニットに隣接する右側上段隣接ユニット、前記復号化対象ユニットに隣接する左側上段隣接ユニット、及び前記復号化対象ユニットに隣接する左側下段隣接ユニットを含むことを特徴とする映像復号化方法。
2. 前記参照ユニット識別子は、前記候補集合を構成する前記一つ以上の候補ユニットの中から前記参照ユニットの順序又は位置を指示することを特徴とする請求項１に記載の方法。
3. 前記候補集合に含まれる前記一つ以上の候補ユニットの前記最大個数は、復号化器で可変的に決定されることを特徴とする請求項１に記載の方法。
4. 符号化対象ユニットの参照ユニットを決定するステップ；
   再構成された隣接ユニットの中から一つ以上の候補ユニットを選択するステップ；
   前記選択された一つ以上の候補ユニットを利用して前記符号化対象ユニットに対する候補集合(ｃａｎｄｉｄａｔｅ ｓｅｔ)を生成するステップ；及び
   前記候補集合の前記一つ以上の候補ユニットの中から前記参照ユニットを示す参照ユニット識別子を決定するステップを含み、
   前記候補集合に含まれる前記一つ以上の候補ユニットの最大個数はＮで制限され、Ｎは０より大きい整数値であり、
   前記再構成された隣接ユニットは、前記符号化対象ユニットと空間的に隣接し、
   前記一つ以上の候補ユニットは、前記符号化対象ユニットと同一のピクチャに属し、
   前記再構成された隣接ユニットは、前記符号化対象ユニットに隣接する上段隣接ユニット、前記符号化対象ユニットに隣接する左側隣接ユニット、前記符号化対象ユニットに隣接する右側上段隣接ユニット、前記符号化対象ユニットに隣接する左側上段隣接ユニット、及び前記符号化対象ユニットに隣接する左側下段隣接ユニットを含むことを特徴とする映像符号化方法。

Images