JP5222878B2 - イントラ予測装置、符号化器、復号器及びプログラム - Google Patents

Description

本発明は、任意の方向のイントラ予測が可能なイントラ予測装置、符号化器、復号器及びプログラムに関する。

ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式では、インター予測（画面間予測）を用いずに符号化される画素ブロックに対して、符号化済み隣接ブロックの画素値から予測画像を生成し、その予測画像との差分を符号化するイントラ予測符号化（画面内予測符号化）が採用されている。

図１８に、従来のＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式における符号化器４のブロック図を示す。符号化器４は、並べ替え部２１と、減算部２２と、直交変換部２３と、量子化部２４と、可変長符号化部２５と、逆量子化部２６と、逆直交変換部２７と、切替えスイッチ２８と、イントラ予測部２９と、フレームメモリ３０と、動き補償予測部３１と、加算部３２とを備える。

並べ替え部２１は、入力された映像信号を一時的に蓄積し、フレーム画像の順番を並べ替え、符号化処理に必要なフレーム画像を減算部２２及び動き補償予測部３１に出力する。

動き補償予測部３１は、並べ替え部２１から供給される入力画像に対して、フレームメモリ３０から取得する参照画像を用いて動きベクトル検出を行い、得られた動きベクトルを用いて動き補償を行い、その結果得られた予測画像を、切替えスイッチ２８を介して減算部２２及び加算部３２に出力する。動きベクトルの情報は、可変長符号化部２５に出力する。

減算部２２は、並べ替え部２１からの入力画像信号と、動き補償予測部３１又はイントラ予測部２９からの予測画像との差分画像を生成して直交変換部２３に出力する。

直交変換部２３は、減算部２２から供給される差分画像に対して小領域の画素ブロックごとに直交変換（例えば、ＤＣＴ；ＤｉLｃｒｅｔｅ ＣｏLｉｎｅ ＴｒａｎLｆｏｒｍ）を施し、直交変換係数を量子化部２４に出力する。

量子化部２４は、直交変換部２３から入力される直交変換係数に対して量子化テーブルを選択して量子化処理を行い、可変長符号化部２５及び逆量子化部２６に出力する。

可変長符号化部２５は、量子化部２４から入力される量子化された直交変換係数についてスキャンを行って可変長符号化処理を施しビットストリームを生成するとともに、動き補償予測部３１から入力される動きベクトルの情報も可変長符号化を施して出力する。

逆量子化部２６は、量子化部２４から入力される量子化された直交変換係数について逆量子化処理を行って逆直交変換部２７に出力する。

逆直交変換部２７は、逆量子化部２６から入力される直交変換係数に対して逆直交変換（例えば、ＩＤＣＴ；ＩｎｖｅｒLｅ ＤｉLｃｒｅｔｅ ＣｏLｉｎｅ ＴｒａｎLｆｏｒｍ）を施し、加算部３２に出力する。

加算部３２は、逆直交変換部２７から得られる逆直交変換した画像と、動き補償予測部３１又はイントラ予測部２９から得られる予測画像とを加算処理して復号画像を生成し、イントラ予測部２９及びフレームメモリ３０に出力する。

切替えスイッチ２８は、動き補償予測とイントラ予測とを切替える。

イントラ予測部２９は、既符号化ブロックを復号した画像（加算部３２の出力画像）からイントラ予測した予測画像を生成して減算部２２及び加算部３２に出力する。ここで、減算部２２では、この予測画像と原画像との差分画像を直交変換部２３に出力し、量子化部２４及び可変長符号化部２５を経て符号化する。

イントラ予測は、４画素×４ライン単位、８画素×８ライン単位、又は１６画素×１６ライン単位で行われ、複数種類の予測モード（予測方向）（例えば、４画素×４ライン単位の予測については９種類）の中から最適な予測方向を選択する。図１９は、４画素×４ライン単位で予測する場合の予測モードを示す図である。図中の斜線付の丸は復号済みの画素を示し、白丸は予測対象の画素を示し、矢印は予測方向を示している。（ａ）の予測モード０では垂直方向予測、（ｂ）の予測モード１では水平方向予測、（ｃ）の予測モード２ではＤＣ予測、（ｄ）の予測モード３では対角左下方向予測、（ｅ）の予測モード４では対角右下方向予測、（ｆ）の予測モード５では垂直右方向予測、（ｇ）の予測モード６では水平下方向予測、（ｈ）の予測モード７では垂直左方向予測、（ｉ）の予測モード８では水平上方向予測を行う。以上が、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式におけるイントラ予測の技法である。

また、イントラ予測の精度を上げるために、空間的に離れた画素を参照するのではなく、常に隣接する画素を参照して隣接画素間の差分値を符号化する技法や（例えば、特許文献１参照）、予測ブロックに隣接する画素の値と該ブロックから１画素以上間をおいた画素の値とに基づいてイントラ予測を行う技法が知られている（例えば、特許文献２参照）。また、画素値が一定の変化傾向を持つ絵柄の映像に対する予測性能を向上させるために、イントラ符号化における予測値として、隣接する復号画像の周波数特性を考慮した値を生成する技法が知られている（例えば、特許文献３参照）。更に、動き補償予測でイントラ予測を行い、動きベクトルは伝送せずに、復号器側でも動きベクトル検出を行う技法が知られている（例えば、特許文献４参照）。

特開２００９―０４９９６９号公報 特開２００８−２７１３７１号公報 特開２００８−２４５０８８号公報 特開２００７−０４３６５１号公報

しかし、従来の方向性を持ったイントラ予測方法は、あらかじめ定められたパターンの中から選択していたため、対象とする画像によっては適切なイントラ予測方向が選択できないという問題があった。また、イントラ予測の方向を伝送する必要があるため、伝送情報量が増大するという問題があった。更に、動き補償予測によりイントラ予測を行うと、復号器に膨大な演算を必要とするという問題があった。

本発明の目的は、上記問題を解決するため、イントラ予測の方向をあらかじめ定められたパターンに限定せず、任意の方向のイントラ予測を可能とし、イントラ予測の方向を伝送しないことでビットレートを削減し、さらに、復号器に膨大な演算を必要とさせないイントラ予測装置、並びに符号化器、復号器及びプログラムを提供することにある。

上記課題を解決するため、本発明は、直接参照画素値の外挿によりイントラ予測を行う。外挿の方向は、間接参照画素から求める。

すなわち、本発明に係るイントラ予測装置は、予測の対象である予測ブロックに隣接する復号済みの参照ブロックの画像から、該予測ブロックの画像を予測画像として生成するイントラ予測装置であって、前記参照ブロックに含まれる画素を間接参照画素として選定し、複数の間接参照画素を通る直線であって、前記予測ブロックの画像のエッジ方向を推定する直線であるエッジ推定直線を生成するエッジ推定直線生成手段と、前記間接参照画素のうち予測画像の画素値の算出に用いる画素を直接参照画素として選定し、予測ブロックの画素ごとに、前記エッジ推定直線上に存在する直接参照画素を抽出する直接参照画素抽出手段と、前記直接参照画素に基づいて予測ブロックの予測画像を生成する無方向予測手段とを備えることを特徴とする。

また、本発明に係るイントラ予測装置において、前記エッジ推定直線生成手段は、前記参照ブロックに含まれる画素を間接参照画素として選定し、複数の間接参照画素を通る直線を規定し、該直線上に存在する複数の間接参照画素の差を示す指標を算出する手段と、前記間接参照画素の差の指標が最小となる直線を前記エッジ推定直線とし、該エッジ推定直線の傾きを求める係数最適化手段とを有することを特徴とする。

また、本発明に係るイントラ予測装置において、前記係数最適化手段は、前記間接参照画素の差の指標を、前記エッジ推定直線上に存在する隣り合う間接参照画素間の差の二乗和、又は前記エッジ推定直線上に存在する間接参照画素の分散値とすることを特徴とする。

また、本発明に係るイントラ予測装置において、前記直接参照画素抽出手段は、前記間接参照画素のうち予測ブロックに隣接する画素を直接参照画素に含むことを特徴とする。

また、本発明に係るイントラ予測装置において、前記無方向予測手段は、前記予測ブロックの画素ごとに抽出した直接参照画素が１つの場合には、該直接参照画素の値、又は該直接参照画素と該直接参照画素に隣接する画素との平均値若しくは加重平均値を予測値とし、前記予測ブロックの画素ごとに抽出した直接参照画素が複数ある場合には、前記予測ブロックの画素に最も近い直接参照画素、該抽出した直接参照画素の平均値若しくは加重平均値、又は前記エッジ推定直線上の全ての間接参照画素及び直接参照画素の平均値を予測値とし、前記予測ブロックの画素ごとに抽出した直接参照画素が存在しない場合には、前記エッジ推定直線に最も近い直接参照画素、前記予測ブロックの画素の近傍の予測済み画素の値の平均値、又は全ての直接参照画素の平均値を予測値とすることを特徴とする。

また、本発明に係るイントラ予測装置において、前記間接参照画素の差の指標が、所定の値を超えるか否かを判定する手段と、前記参照ブロックの画像から予測画像を生成する画面内予測手段と、前記指標が前記所定の値以下である場合には、前記無方向予測手段により生成した予測画像を出力し、前記指標が前記所定の値を超える場合には、前記画面内予測手段により生成した予測画像を出力する手段とを備えることを特徴とする。

また、本発明に係るイントラ予測装置において、前記画面内予測手段は、前記参照ブロックの画像から予測方向を選択して予測画像を生成することを特徴とする。

また、本発明に係るイントラ予測装置において、前記エッジ推定直線生成手段、前記直接参照画素抽出手段、及び前記無方向予測手段は、複数の処理モードを有し、処理モードごとに、間接参照画素の位置、直接参照画素の位置、又は前記エッジ推定直線の係数の導出方法が異なり、前記無方向予測手段は、前記処理モードごとに予測画像を生成し、更に、前記処理モードごとに生成した予測画像の中から予測画像を選択して出力する判定手段を備えることを特徴とする。

更に、本発明に係る符号化器は、上述したイントラ予測装置を備えることを特徴とする。

更に、本発明に係る復号器は、上述したイントラ予測装置を備えることを特徴とする。

更に、本発明は、予測の対象である予測ブロックに隣接する復号済みの参照ブロックの画像から、該予測ブロックの画像を予測画像として生成するイントラ予測装置を構成するコンピュータに、（ａ）前記参照ブロックに含まれる画素を間接参照画素として選定し、複数の間接参照画素を通る直線であって、前記予測ブロックの画像のエッジ方向を推定する直線であるエッジ推定直線を生成するステップと、（ｂ）前記間接参照画素のうち予測画像の画素値の算出に用いる画素を直接参照画素として選定し、予測ブロックの画素ごとに、前記エッジ推定直線上に存在する直接参照画素を抽出するステップと、（ｃ）前記直接参照画素に基づいて予測ブロックの予測画像を生成するステップと、を実行させるためのプログラムとしても特徴付けられる。

本発明では、イントラ予測の方向が限定されないため、様々な画像に対して適したイントラ予測が可能となる。また、イントラ予測の方向を計算により求めるため、イントラ予測の方向を伝送する必要がなくなる。さらに、イントラ予測の方向を計算する計算量も軽微で済む。

本発明によるイントラ予測を行う画像ブロックを例示する図である。 本発明によるエッジ推定直線を例示する図である。 本発明によるエッジ推定直線を例示する図である。 本発明によるエッジ推定直線を例示する図である。 本発明による実施例１のイントラ予測装置の構成図である。 本発明によるイントラ予測を行う画像ブロックを例示する図である。 本発明による実施例１のイントラ予測装置の動作を示すフローチャートである。 本発明による実施例１のイントラ予測装置を備える符号化器の構成図である。 本発明による実施例１のイントラ予測装置を備える復号器の構成図である。 本発明による実施例２のイントラ予測装置の構成図である。 本発明による実施例２のイントラ予測装置の第１の変形例の構成図である。 本発明による実施例２のイントラ予測装置の第２の変形例の構成図である。 本発明による実施例３のイントラ予測装置の構成図である。 本発明による実施例２のイントラ予測装置の動作を示すフローチャートである。 本発明による実施例３のイントラ予測装置の動作を示すフローチャートである。 本発明による実施例４のイントラ予測装置の構成図である。 予測画素値曲面を例示する図である。 従来のＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式における符号化器のブロック図である。 従来のＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式における４画素×４ライン単位で予測する場合の予測モードを示す図である。

本発明による実施例１のイントラ予測装置について、図面を参照して詳細に説明する。

本発明によるイントラ予測方法では、まず直接参照画素と間接参照画素とを規定する。ここで、間接参照画素とは、復号済みの画素であって、外挿の方向を求めるために用いる画素のことをいう。直接参照画素とは、復号済みの画素であって、外挿による予測値の計算に用いる画素のことをいう。間接参照画素と直接参照画素とは同一であっても異なっていてもよい。

図１は、本発明によるイントラ予測を行う画像ブロックを例示する図である。画像ブロックＭは、イントラ予測の対象となる画像ブロック（以下、「予測ブロック」という）である。画像ブロックＡ，Ｂ，Ｃ，Ｄは、符号化された後に復号された画像ブロックであり、予測ブロックの画素値を予測するために参照される画像ブロック（以下、「参照ブロック」という）である。各画像ブロックのサイズは、図１の例では、４画素×４ラインの場合について示しているが、８画素×８ラインや１６画素×１６ラインであってもよい。

図１（ａ）の斜線付きの丸は、直接参照画素を示す。直接参照画素には予測ブロックＭに隣接する画素を含めるが好適である。以下では、図１（ａ）に示すように、参照ブロックＡ〜Ｄに含まれる全画素を間接参照画素とし、間接参照画素のうちｘ軸又はｙ軸に接する画素を直接参照画素とする場合について説明するが、直接参照画素と間接参照画素の配置はこれに限られない。例えば、図１（ｂ）の斜線付きの丸に示すようにｘ軸及びｙ軸に接する２画素（２ライン）を直接参照画素及び／又は間接参照画素とすることや、図１（ｃ）に示す斜線付きの丸のように隙間がある画素群を直接参照画素及び／又は間接参照画素とすることもできる。また、間接参照画素として常に同じ位置の画素を用いる必要はなく、どの位置の画素を間接参照画素とするかを画像に応じて切替えてもよい。例えば、参照ブロックＡに含まれる画素、参照ブロックＢに含まれる画素、参照ブロックＤに含まれる画素、参照ブロックＡ，Ｂ，Ｄに含まれる画素の４種類を切替え、この切り替え情報を復号器に送信するようにしてもよい。

図２は、本発明によるエッジ方向を推定する直線（以下、「エッジ推定直線」という）を例示する図である。以下では、画像ブロック内の各画素を（ｘ，ｙ）座標で表し、画素（ｘ，ｙ）の画素値をｚ（ｘ，ｙ）と表すこととする。また、図中に示すように、予測ブロックＭの最も原点に近い画素を（０，０）とする。エッジ推定直線Ｌは、間接参照画素（ｘ_ｉ，ｙ_ｉ）（ｉ＝１〜Ｎ、Ｎは間接参照画素数）を通り、式（１）で表される互いに平行な直線のうち、複数の間接参照画素上を通る直線である。本発明によるイントラ予測装置は、同一のエッジ推定直線Ｌ上に存在する間接参照画素の値の差を示す指標を最小とするエッジ推定直線Ｌの傾き、すなわち係数ａ，ｂを推定（導出）する。ここで、差を示す指標とは、分散、差の絶対値和、差の絶対値の最小値、差の二乗和又は差の絶対値の積や、更にこれらの画素あたりの平均値など、種々の方法によって定まる差の値の総称である。また、以下の説明における「差」という用語は、差を示す指標を意味するものとする。間接参照画素の値の差を最小とするエッジ推定直線Ｌの傾きが求まれば、その傾きが参照ブロックＡ〜Ｄ、及び予測ブロックＭのエッジの傾きであると推定することができ、エッジ推定直線Ｌを用いて予測画像Ｍの画像を予測することができるようになる。

間接参照画素の値の差を最小とする係数ａ，ｂの導出には、例えば最小二乗法、線型計画法、ニューラルネットワークを用いた学習法等の最適化手段を利用可能である。

最適化手段として最小二乗法を用いる場合について、図３を参照して説明する。図３は、エッジ推定直線Ｌを例示する図であり、それぞれ、（ａ）は傾き４５度の場合、（ｂ）は傾きが９０度の場合、（ｃ）は傾きが０度の場合のエッジ推定直線Ｌを示している。図３から明らかなように、エッジ推定直線Ｌの本数は、傾きに応じて変化し、傾きが（ａ）の４５度の場合は１３本であり、（ｂ）の９０度の場合は１２本であり、（ｃ）の０度の場合は８本となる。なお、図３では２つ以上の間接参照画素を通る直線全てをエッジ推定直線Ｌとして用いているが、これらのうちの一部の直線のみをエッジ推定直線Ｌとして用いてもよい（ただし、符号化器と復号器で共通にする必要はある）。例えば、２つ以上の間接参照画素を通り予測ブロックを通る直線だけを、エッジ推定直線Ｌとして用いることもできる。この場合、図３（ａ）ではＬ₈〜Ｌ₁₃をエッジ推定直線として用い、図３（ｂ）ではＬ₅〜Ｌ₈をエッジ推定直線として用い、図３（ｃ）ではＬ₅〜Ｌ₈をエッジ推定直線として用いる。

誤差の二乗和は、エッジ推定直線Ｌ_ｋ（ｋ＝１〜α、αはエッジ推定直線Ｌの本数）上に存在する間接参照画素の値の差の二乗の合計であり、この誤差の二乗和が最小となる係数ａ，ｂを導出する。エッジ推定直線Ｌの本数は傾きに応じて異なるため、誤差の二乗和Ｐ_ｋの直線当たりの平均値Ｖ_ａは、式(２)で表される。

ここで、Ｐ_ｋはエッジ推定直線Ｌ_ｋ上に存在する間接参照画素の値の差の平均値である。図３（ａ）の場合を例にとって説明すると、エッジ推定直線Ｌ_１の誤差の二乗Ｐ_１ ^２は｛ｚ（−３，４）−ｚ（−４，３）｝^２、エッジ推定直線Ｌ_２の誤差の二乗Ｐ_２ ^２は［｛ｚ（−２，４）−ｚ（−３，３）｝^２＋｛ｚ（−３，３）−ｚ（−４，２）｝^２］／２、エッジ推定直線Ｌ_３の誤差の二乗Ｐ_３ ^２は［｛ｚ（−１，４）−ｚ（−２，３）｝^２＋｛ｚ（−２，３）−ｚ（−３，２）｝^２＋｛ｚ（−３，２）−ｚ（−４，１）｝^２］／３となる。また、エッジ推定直線Ｌ_９の誤差の二乗Ｐ_９ ^２は［｛ｚ（５，４）−ｚ（４，３）｝^２＋｛ｚ（４，３）−ｚ（３，２）｝^２＋｛ｚ（３，２）−ｚ（２，１）｝^２＋｛ｚ（２，１）−ｚ（−１，−２）｝^２＋｛ｚ（−１，−２）−ｚ（−２，−３）｝^２］／５となる。このようにして得られるエッジ推定直線Ｌ_ｋの誤差の二乗Ｐ_ｋ ^２を合計することで傾きが４５度の場合の誤差の二乗和を算出する。エッジ推定直線が間接参照画素の中心を通らない場合の計算方法は、あらかじめ符号化器と復号器で共通の間接参照画素を計算に用いるように定めておく。例えば、間接参照画素の中心とエッジ推定直線Ｌとの距離が所定の値以下の間接参照画素のみを計算に用いる。

上記の他に、エッジ推定直線Ｌ_ｋ（ｋ＝１〜α、αはエッジ推定直線Ｌの本数）上に存在する間接参照画素の値の分散を最小とする方法でも係数ａ，ｂを導出することができる。すなわち、エッジ推定直線Ｌ_ｋ上の間接画素群を（ｘ_ｉ，ｙ_i）(ｉ＝１〜ｍ、ｍはエッジ推定直線Ｌ_ｋ上の間接画素の画素数)とすると、分散Ｖ_ｎは式（３）で表される。この分散Ｖ_ｎの直線当たりの平均値を最小とする係数ａ，ｂを求めればよい。このように、係数ａ，ｂは、傾きにより異なる値を持つさまざまな指標を最小化する方法で導出することが可能である。

係数ａ，ｂが定まると、次に、式（１）に予測ブロックＭの画素（以下、「予測画素」という）の座標（ｘ_ｊ，ｙ_ｊ）（ｊ＝１〜Ｍ、Ｍは予測画素数）を代入して得られる、（ｘ_ｊ，ｙ_ｊ）を通るエッジ推定直線Ｌを予測画素ごとに求め、このエッジ推定直線Ｌ上に存在する直接参照画素の値を用いて、画素（ｘ_ｊ，ｙ_ｊ）の予測値を算出する。

また、係数ａ，ｂを導出して式（１）に代入する代わりに、あらかじめ傾きが異なる複数種類のエッジ推定直線Ｌを用意し、その中から間接参照画素の値の差を最小とする傾きを選択するようにすることで、計算量を少なくすることもできる。すなわち、傾きが異なる複数種類のエッジ推定直線Ｌをあらかじめ用意するとともに、予測ブロックＭの各画素について、傾きごとに、エッジ推定直線Ｌ上を通る間接参照画素及び直接参照画素のテーブル等をあらかじめ用意しておく。そして、複数種類の傾きそれぞれに対し、予測ブロックＭ内の各画素について、ある傾きの直線が通る間接参照画素の分散の平均値を求め、画素毎に求めた分散の平均値をさらに予測ブロック内で平均した値が最小となる傾きを選択するようにしてもよい。

予測値の算出について図４を参照して説明する。図４は、画素（０，０）を通るエッジ推定直線Ｌ_１、画素（１，−２）を通るエッジ推定直線Ｌ_２、及び、画素（２，−３）を通るエッジ推定直線Ｌ_３を例示する図である。エッジ推定直線Ｌ_２上には直接参照画素（２，１）が存在し、エッジ推定直線Ｌ_２は直接参照画素（２，１）の中心を通っているので、画素（１，−２）の予測値を画素値ｚ（２，１）とする。

エッジ推定直線Ｌ_３上には直接参照画素（３，１）が存在するので、画素（２，−３）の予測値を画素値ｚ（３，１）とすることができる。しかし、エッジ推定直線Ｌ_３は直接参照画素（３，１）の中心を通る直線ではない。このように、エッジ推定直線Ｌが直接参照画素の中心を通る直線ではない場合には、エッジ推定直線Ｌ上の直接参照画素とこれに隣接する直接参照画素とから予測することもできる。例えば、直接参照画素値ｚ（３，１）及びこれに隣接する直接参照画素値ｚ（４，１）との平均値、又は距離に応じて重み付けをした加重平均値を画素（２，−３）の予測値とする。

一方、エッジ推定直線Ｌ_１上には直接参照画素（０，１）、（−１，−２）、（−１，−３）が存在する。このように、予測に用いる直接参照画素が複数ある場合には、あらかじめ定めておいた方法で、予測値を求める。例えば、予測画素に対して予測に用いる直接参照画素が等距離にある場合は、直接参照画素の平均値を予測値として使用する。予測画素に対して予測に用いる直接参照画素が等距離にない場合は、予測画素に最も近い直接参照画素の値、直接参照画素の平均値若しくは距離に応じた加重平均値、又はエッジ推定直線Ｌ上の全ての間接参照画素及び直接参照画素の平均値を予測値とするなど、さまざまな方法が考えられる。

また、直接参照画素の画素数が本実施例で説明した直接参照画素の画素数よりも少ない場合には、エッジ推定直線Ｌ上に直接参照画素が存在しない場合もあり得る。この場合には、あらかじめ定めておいた方法で予測値を求めることとする。例えば、エッジ推定直線Ｌに最も近い直接参照画素の値、近傍の予測済み画素の値の平均値、又は全ての直接参照画素の平均値を予測値として使用するなど、さまざまな方法が考えられる。また、図３（ａ）に示す画素（３，−３）のように、エッジ推定直線Ｌが存在しない場合もあり得る。この場合も同様に、あらかじめ定めておいた方法で予測値を求めることとし、例えば、近傍の予測済み画素の値の平均値、又は全ての直接参照画素の平均値を予測値として使用するなど、さまざまな方法が考えられる。

図５は、本発明による実施例１のイントラ予測装置１の構成図である。実施例１のイントラ予測装置１は、間接参照画素差算出部１１と、係数最適化部１２と、直接参照画素抽出部１３と、無方向予測部１４とを備える。

間接参照画素差算出部１１は、入力される復号画像のうち、間接参照画素を選定し、エッジ推定直線Ｌに存在する複数の間接参照画素間の差（間接参照画素差）を算出して係数最適化部１２に出力する。

係数最適化部１２は、式（１）で表されるエッジ推定直線Ｌの係数ａ，ｂを導出して直接参照画素抽出部１３に出力する。あるいは、あらかじめ用意された傾きが異なる複数のエッジ推定直線Ｌのうち、間接参照画素の値の差を最小とするエッジ推定直線Ｌの傾きを選択して直接参照画素抽出部１３に出力する。

直接参照画素抽出部１３は、間接参照画素のうち予測画像の画素値の算出に用いる画素を直接参照画素として選定する。直接参照画素の位置は常に一定である必要はなく、例えば、エッジ推定直線Ｌの傾きに応じて変えることもできる。次に、係数最適化部１２から入力される係数(又は傾き)、及び予測画素の座標（ｘ_ｊ，ｙ_ｊ）（ｊ＝１〜Ｍ、Ｍは予測画素数）とから、予測画素ごとに予測画素を通るエッジ推定直線Ｌを求める。そして、予測画素ごとにエッジ推定直線Ｌ上に存在する直接参照画素を抽出して無方向予測部１４に出力する。

無方向予測部１４は、上述したように、直接参照画素抽出部１３で抽出した直接参照画素が１つの場合には、エッジ推定直線Ｌが直接参照画素の中心を通るときには直接参照画素の値と予測値とし、エッジ推定直線Ｌが直接参照画素の中心を通らないときには、直接参照画素の値と直接参照画素に隣接する画素の値との平均値又は距離に応じて重み付けをした加重平均値を予測値とする。直接参照画素抽出部１３で抽出した直接参照画素が複数ある場合には、予測画素に対して予測に用いる直接参照画素が等距離にある場合は、直接参照画素の平均値を予測値とする。予測画素に対して予測に用いる直接参照画素が等距離にない場合は、予測画素に最も近い直接参照画素の値、距離に応じた加重平均値、又はエッジ推定直線Ｌ上の全ての間接参照画素及び直接参照画素の平均値を予測値とする。その後、整数化やクリップなどの処理を行い、処理後の予測画像を出力する。

この実施例では参照画素（参照ブロック）は予測ブロックＭに隣接しているが、復号済みの画素であれば、参照する画素は参照ブロックＡ〜Ｄの画像には限定されない。例えば、参照ブロックＡ〜Ｄ以外の画素をさらに参照することや、参照ブロックＡ〜Ｄのうちの一部の画素のみを参照することも可能である。また、予測ブロックを、さらに小さなブロックに区切り、小ブロック単位で符号化を行うことも考えられる。例えば、図６に示すように、予測ブロックＭ内の小ブロックＥが既に復号済みである場合には、予測ブロックＭ中の小ブロックＥ以外の領域を予測する際に、小ブロックＥの画素値を参照することもできる。このように、直接参照画素及び間接参照画素として参照する画素は、復号済みの画素であれば、その位置や画素数にはさまざまな組合せが可能である。本明細書では説明を容易にするため、参照ブロックＡ〜Ｄを参照画素の例として用いる。

次に、実施例１のイントラ予測装置１の動作について、図７を参照して説明する。

［実施例１のイントラ予測装置１の動作］
図７は、実施例１のイントラ予測装置１の動作を示すフローチャートである。まず、ステップＳ１０１にて、間接参照画素差算出部１１により、エッジ推定直線Ｌ上に存在する複数の間接参照画素間の差（間接参照画素差）を算出する。

ステップＳ１０２にて、係数最適化部１２により、間接参照画素差を用いてエッジ推定直線Ｌの係数（又は傾き）を導出する。

ステップＳ１０３にて、直接参照画素抽出部１３により、エッジ推定直線Ｌ上に存在する直接参照画素を抽出する。

ステップＳ１０４にて、無方向予測部１４により、予測ブロックＭの予測画像を生成する。

次に、本発明による符号化器及び復号器について、図８及び図９を参照して説明する。

［符号化器及び復号器］
図８は、本発明による実施例１のイントラ予測装置を備える符号化器の構成図である。符号器２は、従来のＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式の符号器（図１８参照）におけるイントラ予測部に代えて、本発明による実施例１のイントラ予測装置１を備える。イントラ予測装置１は、逆量子化部２６及び逆直交変換部２７を経て既符号化ブロックを復号した画像を入力し、上述したように間接参照画素差算出部１１、係数最適化部１２、直接参照画素抽出部１３、及び無方向予測部１４を経て生成した予測画像をスイッチ２８を介し減算部２２及び加算部３２に出力する。

図９は、本発明による実施例１のイントラ予測装置を備える復号器の構成図である。復号器３は、可変長復号部４１と、逆量子化部４２と、逆直交変換部４３と、加算部４４と、イントラ予測装置１と、フレームメモリ４５と、動き補償予測部４６と、切替えスイッチ４７と、並べ替え部４８とを備える。復号器３は、従来のＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式の復号器のイントラ予測部に代えて、本発明によるイントラ予測装置１を備える。

可変長復号部４１は、フレーム間予測で符号化されたビットストリームを入力して、可変長復号処理を施し逆量子化部４２に出力するとともに、動きベクトルの情報を復号して動き補償予測部４６に出力する。

逆量子化部４２は、可変長復号部４１から入力される量子化された直交変換係数に対して逆量子化処理を施して、動き補償した差分画像の直交変換係数を取得し、逆直交変換部４３に出力する。

逆直交変換部４３は、逆量子化部４２から入力される差分画像の直交変換係数に対して、逆直交変換（例えば、ＩＤＣＴ）を施し、得られる当該差分画像を加算部４４に出力する。

加算部４４は、逆直交変換部４３から得られる当該差分画像と、動き補償予測部４６から入力される予測画像又はイントラ予測装置１から入力される予測画像とを加算して画像を復元し、並べ替え部４８、イントラ予測装置１、及びフレームメモリ４５に出力する。

動き補償予測部４６は、フレームメモリ４５から得られる参照画像と可変長復号部４１から得られる動きベクトルとを用いて予測画像を生成し、切替えスイッチ４７を介して加算部３４に出力する。

並べ替え部４８は、加算部４４から入力される復元された復号画像信号の各フレームを表示フレーム順に並べ替て出力する。

イントラ予測装置１は、逆量子化部４２及び逆直交変換部４３を経て復号した画像を入力し、上述したように間接参照画素差算出部１１、係数最適化部１２、直接参照画素抽出部１３、及び無方向予測部１４を経て生成した予測画像を切替えスイッチ４７を介して加算部４７に出力する。

符号化器２と復号器３とで同じ最適化手段を用いると、符号化器側のイントラ予測値と、復号器側のイントラ予測値との値を同一にすることができる。最適化手段は、符号化器と復号器とで同一の結果が出る手段であれば、厳密に最適な値を求める手段でなくてもよい。

なお、図８に示した本発明による符号化器のイントラ予測装置１及び図９に示した復号器の本発明による符号化器のイントラ予測装置１を、後述する実施例２から４のイントラ予測装置１に置き換えることができることは勿論である。

次に、本発明による実施例２のイントラ予測装置について、図面を参照して説明する。なお、実施例１と同様な構成要素には同一の参照番号を付して説明を省略する。

エッジ推定直線Ｌ上に存在する間接参照画素の差が大きい場合には、本手法によるイントラ予測値は適切でない可能性がある。そのため、間接参照画素差が大きい場合には、従来（例えば、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式）の予測方法により、参照ブロックの画素値を用いたイントラ予測値に切替える。この場合、符号化器と復号器の双方で同じ差を計算可能なため、本発明によるイントラ予測値と従来のイントラ予測値とを切替えるためのフラグを復号器に対して送信する必要がない。

図１０は、本発明による実施例２のイントラ予測装置１の構成図である。実施例２のイントラ予測装置１は、間接参照画素差算出部１１と、係数最適化部１２と、直接参照画素抽出部１３と、無方向予測部１４と、画面内予測部１５と、切替え部１６とを備える。実施例２のイントラ予測装置１は、実施例１のイントラ予測装置１（図５参照）と比較して、更に、画面内予測部１５と、切替え部１６とを備え、間接参照画素差算出部１１が切替え部１６に判定信号を出力する点で相違する。

間接参照画素差算出部１１は、間接参照画素差を算出した後に、算出した間接参照画素差が閾値以下であるか否かを判定し、判定結果を判定信号として切替え部１６に出力する。

画面内予測部１５は、復号画素値を入力し、従来（例えば、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式）の予測方向を選択する予測方法により、参照ブロックＡ〜Ｄの画素値を用いて予測ブロックＭの予測画像を求める。

切替え部１６は、間接参照画素差算出部１１から入力される判定信号により、間接参照画素差が閾値以下である場合には無方向予測部１４で求めた予測画素値を出力し、間接参照画素差が閾値より大きい場合には画面内予測部１５で求めた予測画素値を出力するように切替える。

また、実施例２のイントラ予測装置１の第１の変形例として、間接参照画素差算出部１１で判定を行うのではなく、無方向予測部１４で求めた予測画素値と参照ブロックＡ〜Ｄの画素値との差が閾値より大きいか否かを判定する判定部を別途設け、閾値より大きい場合には、切替え部１６により画面内予測部１５で求めた予測画素値を出力するようにすることもできる。

図１１に、実施例２のイントラ予測装置１の第２の変形例を示す。この変形例では、判定部１７に予測ブロックＭの原画像及び無方向予測部１４で求めた予測画像を入力し、原画像の画素値と予測画像の画素値との差が閾値より大きいか否かを判定し、閾値より大きい場合には、切替え部１６により画面内予測部１５で求めた予測画像を出力する。この場合は、判定部１７は判定結果を示すフラグを復号器に送信する機能も有する。また、復号器の判定部１７では誤差の計算は必要なく、受信した判定結果にしたがって切り替え部１６を動作させる機能だけを有する。

図１２に、実施例２のイントラ予測装置１の第３の変形例を示す。この変形例では、判定部１７に予測ブロックＭの原画像、無方向予測部１４で求めた予測画像、及び画面内予測部１５で求めた予測画像を入力し、無方向予測部１４で求めた予測画像の画素値と画面内予測部１５で求めた予測画像の画素値のどちらが原画像の画素値との差が小さいかを判定し、切替え部１６により、原画像の画素値との差が小さいほうの予測画像を出力する。この場合も、判定部１７は判定結果を示すフラグを復号器に送信する機能も有する。また、復号器の判定部１７では誤差の計算は必要なく、受信した判定結果にしたがって切り替え部１６を動作させる機能だけを有する。

次に、実施例２のイントラ予測装置１の動作について、図１４を参照して説明する。

［実施例２のイントラ予測装置１の動作］
図１４は、実施例２のイントラ予測装置１の動作を示すフローチャートである。実施例１のイントラ予測装置１の動作（図７参照）と同様に、ステップＳ２０１にて、間接参照画素差算出部１１により、間接参照画素差を算出する。

ステップＳ２０２にて、間接参照画素差が閾値を超えるか否かを判定する。間接参照画素差が閾値以下であると判定した場合には処理をステップＳ２０３に進め、間接参照画素差が閾値よりも大きいと判定した場合には処理をステップＳ２０６に進める。

ステップＳ２０２にて間接参照画素差が閾値以下であると判定した場合には、実施例１のイントラ予測装置１の動作（図７参照）と同様に、ステップＳ２０３にて、係数最適化部１２により間接参照画素差算を用いてエッジ推定直線Ｌの係数を導出し、ステップＳ２０４にて、直接参照画素抽出部１３により推定直線Ｌ上を通る直接参照画素を抽出する。そして、ステップＳ２０５にて、切替え部１６により、無方向予測部１４から入力される予測画像を出力する。

一方、ステップＳ２０２にて間接参照画素差が閾値よりも大きいと判定した場合には、ステップＳ２０６にて、切替え部１６により、他方式（例えば、従来のＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式）により生成した予測画像を出力する。なお、他方式による予測画像は、エッジ推定直線Ｌを用いた予測画像の生成と並行して、画面内予測部１５により生成される。

実施例２のイントラ予測装置１によれば、エッジ推定直線Ｌを用いて生成した予測画像と、従来の方向を選択して生成した予測画像とを切替えることができるので、より適切な予測画像を生成することができるようになる。

次に、本発明による実施例３のイントラ予測装置について、図面を参照して説明する。なお、実施例２と同様な構成要素には同一の参照番号を付して説明を省略する。

グラデーション画像のように、エッジを含まない変化のなだらかな画像に対しては、エッジ推定直線Ｌを用いたイントラ予測値は適切でない可能性がある。そのため、実施例２のイントラ予測装置は、さらに他方式によるイントラ予測も行い、最も適切な予測画像を選択する。

図１３は、本発明による実施例３のイントラ予測装置１の構成図である。実施例３のイントラ予測装置１は、間接参照画素差算出部１１と、係数最適化部１２と、直接参照画素抽出部１３と、無方向予測部１４と、画面内予測部１５と、切替え部１６と、第２画面内予測部１８とを備える。実施例３のイントラ予測装置１は、実施例２のイントラ予測装置１（図１０参照）と比較して、更に、第２画面内予測部１８を備える点で相違する。

第２画面内予測部１８は、エッジを含まない画像に適したイントラ予測が可能な方式を採用する。例えば、参照ブロックの画素値を近似する画素値からなる曲面である予測画素値曲面Ｗを用いて、座標（ｘ，ｙ）の位置にある予測ブロックＭの画素値を予測することもできる。図１７は、予測画素値曲面を示す図である。予測画素値曲面Ｗ上の曲面ｗは、予測ブロックＭの予測画素値からなる曲面である。予測画素値曲面Ｗを規定できれば、予測ブロックＭの画素の座標（ｘ，ｙ）を代入して予測画素値ｚ（ｘ，ｙ）を求めることができる。

また、第２画面内予測部１８は、生成した予測画像の誤差が閾値以下であるか否かを判定し、判定結果を判定信号として切替え部１６に出力する。誤差は例えば、予測画像の画素値と参照ブロックＡ〜Ｄの画素値との差とする。また、誤差を求める対象の画素は、参照ブロックＡ〜Ｄ内の全画素でも一部の画素でもよい。一部の画素のみ利用する場合には、予測ブロックＭに近い画素を利用するのが好適である。

次に、実施例３のイントラ予測装置１の動作について、図１５を参照して説明する。

［実施例３のイントラ予測装置１の動作］
図１５は、実施例３のイントラ予測装置１の動作を示すフローチャートである。ステップＳ３０１、Ｓ３０２、Ｓ３０３、Ｓ３０４、Ｓ３０５は、それぞれ、実施例２のイントラ予測装置１の動作（図１４参照）のステップＳ２０１、Ｓ２０２、Ｓ２０３、Ｓ２０４、Ｓ２０５と同様であるため、説明を省略し、ステップＳ３０２にて間接参照画素差が閾値よりも大きいと判定した場合について説明する。

ステップＳ３０２にて間接参照画素差が閾値よりも大きいと判定した場合には、まずステップＳ３０６にて、第２画面内予測部１８により予測画像を生成し、予測画像の誤差を求める。

ステップＳ３０７にて、第２画面内予測部１８により生成した予測画像の誤差が閾値以下であると判定した場合には、処理をステップＳ３０８に進め、誤差が閾値よりも大きいと判定した場合には処理をステップＳ３０９に進める。

ステップＳ３０８では、切替え部１６により、第１の他方式により生成した予測画像を出力する。なお、他方式による予測画像は、エッジ推定直線Ｌを用いた予測画像の生成と並行して、第２画面内予測部１８により生成される。

ステップＳ３０９では、切替え部１６により、予測方向を選択する方向選択方式により生成した予測画像を出力する。なお、方向選択方式による予測画像は、エッジ推定直線Ｌを用いた予測画像の生成と並行して、画面内予測部１５により生成される。

図１５のフローチャートでは、エッジ推定直線Ｌを用いて生成した予測画像の誤差の判定を行い、該誤差が閾値以下の場合には（ステップＳ３０２−Ｙｅｓ）、エッジ推定直線Ｌを用いて生成した予測画像を出力し（ステップＳ３０５）、該誤差が閾値より大きい場合には（ステップＳ３０２−Ｎｏ）、他方式により生成した予測画像の誤差を判定しているが（ステップＳ３０７）、この順番を入れ替えることも可能である。すなわち、他方式により生成した予測画像の誤差の判定を先に行い、該誤差が閾値以下の場合には、他方式により生成した予測画像を出力し、該誤差が閾値より大きい場合には、エッジ推定直線Ｌを用いて生成した予測画像の誤差を判定してもよい。

実施例３のイントラ予測装置１によれば、エッジ推定直線Ｌを用いて生成した予測画像と、第１の他方式（例えば、予測画素値曲面Ｗを用いる方式）により生成した予測画像と、第２の他方式（例えば、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式）により生成した予測画像とを切替えることができるので、エッジを含まない画像に対しても適切な予測画像を生成することができるようになる。また、グラデーション領域や、エッジ等を含んでいても方向を推定できる場合は、従来必要であったイントラ予測の方向の情報を送る必要がない。

次に、本発明による実施例４のイントラ予測装置について、図面を参照して説明する。なお、実施例１と同様な構成要素には同一の参照番号を付して説明を省略する。

実施例４のイントラ予測装置１は、間接参照画素及び直接参照画素の位置をどこにするか、エッジ推定直線Ｌの指標の種類や最適化手段（最小二乗法、線型計画法、ニューラルネットワークを用いた学習法等）としていずれを採用するか、及び抽出した直接参照画素から予測値をどのような方法で算出するかについて、複数の処理モードを用意し、予測ブロックごとにどの処理モードを選択するかを切替えるようにする。図１６は、本発明による実施例４のイントラ予測装置１を示す構成図である。ここでは、複数（ｎ個）の実施例１のイントラ予測装置１と、処理モード判定部１９とを備える例を示すが、イントラ予測装置１として、実施例２又は３のイントラ予測装置１を備える構成とすることができることは勿論である。

処理モード判定部１９は、複数の処理モードにより生成された予測画像の中から最適な予測画像を選択して出力する。例えば、符号化効率が最大となる予測画像、又は予測画像の画素値と、参照ブロックＡ〜Ｄの画素値との誤差が最小である予測画像を選択する。

また、処理モード判定部１９は、処理モード１〜ｎのうちのいずれの処理モードを選択したかを示すフラグを出力する。ただし、符号化器及び復号器に本実施例のイントラ予測装置１を用いた場合、符号化器と復号器との間で処理モードを決定する規則を定めておけば、フラグを伝送する必要はない。例えば、復号画像の分散値が大きい場合には、誤差の影響の小さな最適化手段を用いる処理モードを選択するなど、処理モードを復号画像から推定することも可能である。また、予測画素値曲面の式については、あらかじめ定めておいたものから選択する以外に、フレーム毎などのタイミングで別途伝送しても良い。

実施例４のイントラ予測装置１によれば、複数の処理モードの中から所望の予測画像を選択できるので、さまざまな画像に対して、画像ごとに最適な予測画像を生成することができるようになる。

ここで、イントラ予測装置１として機能させるために、コンピュータを好適に用いることができる。実施例１のイントラ予測装置１を機能させるコンピュータは、間接参照画素差算出部１１と、係数最適化部１２と、直接参照画素抽出部１３と、無方向予測部１４とを機能させるための制御部を、ＣＰＵ（中央演算処理装置）と記憶部とで実現でき、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、間接参照画素差算出部１１と、係数最適化部１２と、直接参照画素抽出部１３と、無方向予測部１４の有する機能を実現させることができる。

同様に実施例２のイントラ予測装置１として機能させるコンピュータは、間接参照画素差算出部１１と、係数最適化部１２と、直接参照画素抽出部１３と、無方向予測部１４と、画面内予測部１５と、切替え部１６とを機能させるための制御部を、ＣＰＵと記憶部とで実現でき、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、間接参照画素差算出部１１と、係数最適化部１２と、直接参照画素抽出部１３と、無方向予測部１４と、画面内予測部１５と、切替え部１６の有する機能を実現させることができる。

同様に実施例３のイントラ予測装置１として機能させるコンピュータは、間接参照画素差算出部１１と、係数最適化部１２と、直接参照画素抽出部１３と、無方向予測部１４と、画面内予測部１５と、切替え部１６と、第２画面内予測部１８を機能させるための制御部を、ＣＰＵと記憶部とで実現でき、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、間接参照画素差算出部１１と、係数最適化部１２と、直接参照画素抽出部１３と、無方向予測部１４と、画面内予測部１５と、切替え部１６と、第２画面内予測部１８の有する機能を実現させることができる。

同様に実施例４のイントラ予測装置１として機能させるコンピュータは、複数の間接参照画素差算出部１１と、複数の係数最適化部１２と、複数の直接参照画素抽出部１３と、複数の無方向予測部１４と、処理モード判定部１９とを機能させるための制御部を、ＣＰＵと記憶部とで実現でき、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、複数の係数最適化部１２と、複数の直接参照画素抽出部１３と、複数の無方向予測部１４と、処理モード判定部１９の有する機能を実現させることができる。

また、符号器２として機能させるために、コンピュータを好適に用いることができる。そのようなコンピュータは、イントラ予測装置１と、並べ替え部２１と、減算部２２と、直交変換部２３と、量子化部２４と、可変長符号化部２５と、逆量子化部２６と、逆直交変換部２７と、切替えスイッチ２８と、フレームメモリ３０と、動き補償予測部３１と、加算部３２とを機能させるための制御部を、ＣＰＵと記憶部とで実現でき、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、イントラ予測装置１と、並べ替え部２１と、減算部２２と、直交変換部２３と、量子化部２４と、可変長符号化部２５と、逆量子化部２６と、逆直交変換部２７と、切替えスイッチ２８と、フレームメモリ３０と、動き補償予測部３１と、加算部３２の有する機能を実現させることができる。

さらに、復号器３として機能させるために、コンピュータを好適に用いることができる。そのようなコンピュータは、イントラ予測装置１と、可変長復号部４１と、逆量子化部４２と、逆直交変換部４３と、加算部４４と、フレームメモリ４５と、動き補償予測部４６と、切替えスイッチ４７と、並べ替え部４８とを機能させるための制御部を、ＣＰＵと記憶部とで実現でき、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、イントラ予測装置１と、可変長復号部４１と、逆量子化部４２と、逆直交変換部４３と、加算部４４と、フレームメモリ４５と、動き補償予測部４６と、切替えスイッチ４７と、並べ替え部４８の有する機能を実現させることができる。

上述の実施例は、代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、各画像ブロックのサイズは、上述の値に限定されるものではなく、本発明を適用する画像サイズ等に合わせて好適な値を用いることができる。

このように、本発明によれば、様々な画像に対して適したイントラ予測が可能となるので、画像を符号化又は復号する任意の用途に有用である。

１ イントラ予測装置
１１ 間接参照画素差算出部
１２ 係数最適化部
１３ 直接参照画素抽出部
１４ 無方向予測部
１５ 画面内予測部
１６ 切替え部
１７ 判定部
１８ 第２画面内予測部
１９ 処理モード判定部
２ 符号化器
３ 復号器

Claims (11)

1. 予測の対象である予測ブロックに隣接する復号済みの参照ブロックの画像から、該予測ブロックの画像を予測画像として生成するイントラ予測装置であって、
   前記参照ブロックに含まれる画素を間接参照画素として選定し、複数の間接参照画素を通る直線であって、前記予測ブロックの画像のエッジ方向を推定する直線であるエッジ推定直線を生成するエッジ推定直線生成手段と、
   前記間接参照画素のうち予測画像の画素値の算出に用いる画素を直接参照画素として選定し、予測ブロックの画素ごとに、前記エッジ推定直線上に存在する直接参照画素を抽出する直接参照画素抽出手段と、
   前記直接参照画素に基づいて予測ブロックの予測画像を生成する無方向予測手段と、
   を備えることを特徴とするイントラ予測装置。
2. 前記エッジ推定直線生成手段は、前記参照ブロックに含まれる画素を間接参照画素として選定し、複数の間接参照画素を通る直線を規定し、該直線上に存在する複数の間接参照画素の差を示す指標を算出する手段と、
   前記間接参照画素の差の指標が最小となる直線を前記エッジ推定直線とし、該エッジ推定直線の傾きを求める係数最適化手段と、
   を有することを特徴とする、請求項１に記載のイントラ予測装置。
3. 前記係数最適化手段は、前記間接参照画素の差の指標を、前記エッジ推定直線上に存在する隣り合う間接参照画素間の差の二乗和、又は前記エッジ推定直線上に存在する間接参照画素の分散値とすることを特徴とする、請求項２に記載のイントラ予測装置。
4. 前記直接参照画素抽出手段は、前記間接参照画素のうち予測ブロックに隣接する画素を直接参照画素に含むことを特徴とする、請求項１〜３のいずれか一項に記載のイントラ予測装置。
5. 前記無方向予測手段は、前記予測ブロックの画素ごとに抽出した直接参照画素が１つの場合には、該直接参照画素の値、又は該直接参照画素と該直接参照画素に隣接する画素との平均値若しくは加重平均値を予測値とし、
   前記予測ブロックの画素ごとに抽出した直接参照画素が複数ある場合には、前記予測ブロックの画素に最も近い直接参照画素、該抽出した直接参照画素の平均値若しくは加重平均値、又は前記エッジ推定直線上の全ての間接参照画素及び直接参照画素の平均値を予測値とし、
   前記予測ブロックの画素ごとに抽出した直接参照画素が存在しない場合には、前記エッジ推定直線に最も近い直接参照画素、前記予測ブロックの画素の近傍の予測済み画素の値の平均値、又は全ての直接参照画素の平均値を予測値とする
   ことを特徴とする、請求項１〜４のいずれか一項に記載のイントラ予測装置。
6. 前記間接参照画素の差の指標が、所定の値を超えるか否かを判定する手段と、
   前記参照ブロックの画像から予測画像を生成する画面内予測手段と、
   前記指標が前記所定の値以下である場合には、前記無方向予測手段により生成した予測画像を出力し、前記指標が前記所定の値を超える場合には、前記画面内予測手段により生成した予測画像を出力する手段と、
   を備えることを特徴とする、請求項２〜５のいずれか一項に記載のイントラ予測装置。
7. 前記画面内予測手段は、前記参照ブロックの画像から予測方向を選択して予測画像を生成することを特徴とする、請求項６に記載のイントラ予測装置。
8. 前記エッジ推定直線生成手段、前記直接参照画素抽出手段、及び前記無方向予測手段は、複数の処理モードを有し、処理モードごとに、間接参照画素の位置、直接参照画素の位置、又は前記エッジ推定直線の係数の導出方法が異なり、
   前記無方向予測手段は、前記処理モードごとに予測画像を生成し、
   更に、前記処理モードごとに生成した予測画像の中から予測画像を選択して出力する判定手段を備えることを特徴とする、請求項１〜７のいずれか一項に記載のイントラ予測装置。
9. 請求項１〜８のいずれか一項に記載のイントラ予測装置を備えることを特徴とする符号化器。
10. 請求項１〜８のいずれか一項に記載のイントラ予測装置を備えることを特徴とする復号器。
11. 予測の対象である予測ブロックに隣接する復号済みの参照ブロックの画像から、該予測ブロックの画像を予測画像として生成するイントラ予測装置を構成するコンピュータに、
    （ａ）前記参照ブロックに含まれる画素を間接参照画素として選定し、複数の間接参照画素を通る直線であって、前記予測ブロックの画像のエッジ方向を推定する直線であるエッジ推定直線を生成するステップと、
    （ｂ）前記間接参照画素のうち予測画像の画素値の算出に用いる画素を直接参照画素として選定し、予測ブロックの画素ごとに、前記エッジ推定直線上に存在する直接参照画素を抽出するステップと、
    （ｃ）前記直接参照画素に基づいて予測ブロックの予測画像を生成するステップと、
    を実行させるためのプログラム。

Images