JP2006020217A - 画像符号化装置 - Google Patents

Abstract

【課題】 画質の劣化を抑えつつ、少ない演算量で予測モードを選択することが可能な画像符号化装置を提供すること。
【解決手段】 予測モード制御部１３ａは、符号化対象画像と参照画像とから計算された類似度に基づいてインター予測方式およびイントラ予測方式のいずれかを選択する。そして、選択された予測方式に含まれる予測モードのいずれかを選択する。可変長符号化部１６は、予測モード制御部１３ａによって選択された予測モードを用いて、符号化対象ブロックを符号化する。したがって、全ての予測モードについて発生符号量を推定する必要がなくなり、画質の劣化を抑えつつ、少ない演算量で予測モードを選択することが可能となる。
【選択図】 図１

Description

本発明は、動画像データを符号化する画像符号化装置に関し、特に、符号化に必要な演算量を低減した画像符号化装置に関する。

動画像符号化方式に広く用いられている基本技術の１つとして、符号化対象画像について予測画像を作成し、元の符号化対象画像との誤差を計算して符号化する方法を挙げることができる。このような方法を用いた動画像符号化方式においては、一般にイントラ予測とインター予測との２種類の予測方式が用いられる。

イントラ予測とは、符号化対象であるブロックの画像に対して、既に符号化済みの近隣ブロックの画像に基づいて予測画像を作成するものである。一方、インター予測とは、符号化対象であるブロックの画像に対して、既に符号化済みの画像として蓄積されている参照画像に基づいて予測画像を作成するものである。

イントラ予測またはインター予測によって作成された予測画像が適切であれば、符号化対象画像との誤差は小さくなり、結果として画像の冗長性が削減されて符号化効率が向上する。以下の説明においては、符号化対象画像以外の参照画像を必要としない予測方式をイントラ予測、参照画像を必要とする予測方式をインター予測と分類する。

このような方法を用いた従来の動画像符号化方式として、Final Committee Draft ISO/IEC 14496-10（以下、非特許文献１と呼ぶ。）に開示された技術がある。この非特許文献１においては、イントラ予測方式として複数の予測モードがあり、たとえば１６×１６画素の輝度ブロックについては４通りの予測モードが使用可能である。また、１６×１６画素の輝度ブロックを、４×４画素によって構成される１６個のサブブロックに分割する場合、各サブブロックについて９通りの予測モードが使用可能である。

一方、インター予測方式においても複数の予測モードがあり、たとえば１６×１６画素の輝度ブロックを、複数のサブブロックの組合わせとして複数通りに分割することが可能である。

図１１は、従来の画像符号化装置の概略構成を示すブロック図である。この画像符号化装置は、画像を蓄積する画像蓄積部１１１と、画像蓄積部１１１から出力された参照画像と符号化対象画像とに基づいて動き検出処理を行なう動き検出部１１２ａと、符号化対象画像と動き検出部１１２ａから出力された動きベクトルとを用いて発生符号量の推定を行ない、その結果に基づいて予測モードを選択する予測モード制御部１１３ａと、画像蓄積部１１１から出力される参照画像、動き検出部１１２ａから出力される動きベクトルおよび予測モード制御部１１３ａによって選択される予測モードに基づいて符号化対象画像の予測画像を生成する予測画像生成部１１４と、予測画像生成部１１４によって生成された予測画像と符号化対象画像との差分画像を生成する差分画像生成部１１５と、差分画像生成部１１５によって生成された差分画像と予測モード制御部１１３ａによって生成された予測モードとを符号化する可変長符号化部１１６と、可変長符号化部１１６によって生成された符号化データから差分画像を復号する画像復号部１１７と、画像復号部１１７によって復号された差分画像と予測画像生成部１１４によって生成された予測画像とを合成する画像合成部１１８と、可変長符号化部１１６によって生成された符号化データを記録して蓄積する磁気ディスク、着脱可能な光ディスク、半導体メモリカード等の記録媒体１１９とを含む。

図１２は、図１１に示す従来の画像符号化装置の処理手順を説明するためのフローチャートである。符号化は、符号化対象画像を分割したブロック（以下、符号化対象ブロックと呼ぶ。）単位で行なわれる。

予測モード制御部１１３ａは、符号化対象ブロックごとに全ての予測モードについて発生符号量を推定し、最も発生符号量が小さくなる予測モードを選択する（Ｓ１０１）。発生符号量の推定は、実際に符号化対象ブロックを符号化する方法、予測画像と符号化対象画像との誤差から計算によって近似する方法などがある。いずれの方法においても、インター予測方式については、動き検出部１１２ａによって入力画像と画像蓄積部１１１によって蓄積された参照画像との間の動きベクトルが検出され、検出された動きベクトルに基づいて発生符号量が推定される。

次に、予測モード制御部１１３ａによって選択された予測モードを用いて符号化対象ブロックが符号化される（Ｓ１０２）。すなわち、予測画像生成部１１４は、予測モード制御部１１３ａによって選択された予測モードに基づいて入力画像に対する予測画像を生成する。差分画像生成部１１５は、予測画像生成部１１４によって生成された予測画像と入力画像との差分画像を生成する。そして、可変長符号化部１１６は、予測モード制御部１１３ａによって選択された予測モードと差分画像生成部１１５によって生成された差分画像とを符号化する。この符号化データは記録媒体１１９に蓄積されると共に、画像復号部１１７によって差分画像として復号され、生成された復号画像が画像合成部１１８によって予測画像と合成されて画像蓄積部１１１に蓄積される。

最後に、全ての符号化対象ブロックについて符号化が完了したか否かが判定される（Ｓ１０３）。符号化が行なわれていないブロックがあれば（Ｓ１０３，Ｎｏ）、ステップＳ１０１に戻って以降の処理を繰返す。また、全てのブロックの符号化が完了していれば（Ｓ１０３、Ｙｅｓ）、符号化処理を終了する。

以上説明したように、従来の画像符号化装置においては全ての予測モードに対して発生符号量を推定するため、演算量が膨大になるといった問題点があった。この問題点を解決するための技術として、特開２００３−１２５４１２号公報に開示された発明がある。

図１３は、特開２００３−１２５４１２号公報に開示された画像符号化装置の概略構成を示すブロック図である。この画像符号化装置は、図１１に示す従来の画像符号化装置と比較して、動き検出部１１２ｂおよび予測モード制御部１１３ｂの機能が異なる点のみが異なる。したがって、重複する構成および機能の詳細な説明は繰返さない。

動き検出部１１２ｂは、画像蓄積部１１１によって蓄積された参照画像と符号化対象画像とから動き検出処理を行ない、その結果に基づいて予測方式を選択する。また、予測モード制御部１１３ｂは、符号化対象画像と動き検出部１１２ｂによって選択された予測方式とに基づいて実際に使用する予測方式を選択し、制御信号によって動き検出部１１２ｂの動作を制御する。

図１４は、図１３に示す画像符号化装置の処理手順を説明するためのフローチャートである。まず、動き検出部１１２ｂは、入力画像と画像蓄積部１１１に蓄積された参照画像とに基づいて、入力画像毎に動きベクトルを検出する。そして、検出された動きベクトルを用いて入力画像と参照画像との誤差を算出し、算出した誤差に基づいて予測方式を選択する（Ｓ１１１）。このとき、算出した誤差が大きい場合にはイントラ予測方式を選択し、小さい場合にはインター予測方式を選択する。

次に、予測モード制御部１１３ｂは、動き検出部１１２ｂによって選択された予測方式および動きベクトルに基づいて、実際に用いる予測方式を選択する。すなわち、これまでに符号化されたブロック数Ｎと、そのうちイントラ予測方式を用いて符号化したブロック数Ｂをカウントする（Ｓ１１２）。そして、符号化されたブロック数Ｎに任意の係数ｋを乗算した値Ａと、イントラ予測方式を用いて符号化したブロック数Ｂとが条件Ａ≦Ｂを満たしているか否かを判定する（Ｓ１１３）。

条件Ａ≦Ｂを満たす場合（Ｓ１１３，Ｙｅｓ）、可変長符号化部１１６は、動き検出部１１２ｂによって選択された予測方式を用いて符号化対象ブロックを符号化する（Ｓ１１４）。すなわち、予測画像生成部１１４は、動き検出部１１２ｂによって選択された予測方式に基づいて入力画像に対する予測画像を生成する。差分画像生成部１１５は、予測画像生成部１１４によって生成された予測画像と入力画像との差分画像を生成する。そして、可変長符号化部１１６は、動き検出部１１２ｂによって選択された予測方式および差分画像生成部１１５によって生成された差分画像を符号化する。この符号化データは記録媒体１１９に蓄積されると共に、画像復号部１１７によって差分画像として復号され、生成された復号画像が画像合成部１１８によって予測画像と合成されて画像蓄積部１１１に蓄積される。

次に、全ての符号化対象ブロックについて符号化が完了したか否かが判定される（Ｓ１１５）。符号化が行なわれていないブロックがあれば（Ｓ１１５，Ｎｏ）、ステップＳ１１１に戻って以降の処理を繰返す。また、全てのブロックの符号化が完了していれば（Ｓ１１５、Ｙｅｓ）、符号化処理を終了する。

また、条件Ａ≦Ｂを満たさない場合（Ｓ１１３，Ｎｏ）、可変長符号化部１１６は、以降の符号化対象ブロックを全てイントラ予測方式を用いて符号化する（Ｓ１１６）。このとき、符号化対象ブロックは、ステップＳ１１４において説明した手順と同様の手順で符号化が行なわれる。そして、全ての符号化対象ブロックについて符号化が完了したか否かが判定される（Ｓ１１７）。符号化が行なわれていないブロックがあれば（Ｓ１１７，Ｎｏ）、ステップＳ１１６に戻って以降の処理を繰返す。また、全てのブロックの符号化が完了していれば（Ｓ１１７、Ｙｅｓ）、符号化処理を終了する。
特開２００３−１２５４１２号公報 Final Committee Draft ISO/IEC 14496-10

上述したように、ブロックに分割された符号化対象画像に対して、ブロック毎にインター予測およびイントラ予測の中から予測方式を選択する技術においては、発生符号量が小さくなる適切な予測方式を選択することが符号化効率の向上のために必要である。

図１１を用いて説明した従来の画像符号化装置においては、各符号化対象ブロックに対する予測モードを決定するために、イントラ予測方式およびインター予測方式の全ての予測モードについて発生符号量を推定し、発生符号量が最も小さくなる予測モードが選択されていた。このとき、インター予測方式に含まれる予測モードについて発生符号量を推定する場合、参照画像に対する動き補償のために動きベクトルを探索しなければならない。また、イントラ予測方式に含まれる予測モードについても、発生符号量を推定するためには実際に予測画像を生成しなければならない。このため、予測方式の選択に膨大な演算量が必要になるといった問題点があった。

また、図１３に示す画像符号化装置において、通常は動き検出を行なって、その結果に基づいてインター予測およびイントラ予測のいずれかを選択して符号化対象ブロックの符号化を行なう。そして、符号化済みブロックの数とイントラ符号化されたブロックの数とが所定の条件を満たす場合には、以降の動き検出は省略されて全てのブロックがイントラ予測を用いて符号化が行なわれる。しかしながら、この条件が符号化済み画像全体の符号化結果に依存しているため、未符号化ブロックに部分的にイントラ予測が不適切なブロックが存在する場合が考慮されていない。したがって、当該ブロック以降の符号化においては演算量が削減されることになるが、符号化効率が低下する場合があるといった問題点があった。

本発明は、上記問題点を解決するためになされたものであり、その目的は、画質の劣化を抑えつつ、少ない演算量で予測モードを選択することが可能な画像符号化装置を提供することである。

本発明のある局面に従えば、符号化対象ブロック毎に、インター予測方式およびイントラ予測方式に含まれる複数の予測モードの中からいずれかを選択して符号化を行なう画像符号化装置であって、符号化対象画像と参照画像とから計算された類似度に基づいてインター予測方式およびイントラ予測方式のいずれかを選択し、選択された予測方式に含まれる予測モードのいずれかを選択するための予測モード選択手段と、予測モード選択手段によって選択された予測モードを用いて、符号化対象ブロックを符号化するための符号化手段とを含む。

好ましくは、予測モード選択手段は、符号化対象ブロックの画素およびその周辺画素と、対応する参照画像の画素とに基づいて類似度を計算する。

好ましくは、符号化は、参照画像を複数の候補の中から選択する符号化方式であって、予測モード選択手段は、符号化対象画像と複数の参照画像のそれぞれとから計算された類似度に基づいてインター予測方式およびイントラ予測方式のいずれかを選択する。

さらに好ましくは、予測モード選択手段は、符号化対象画像と複数の参照画像のいずれかとから計算された類似度に基づいてインター予測方式が選択された場合、インター予測方式に含まれる予測モードのいずれかを選択する。

好ましくは、予測モード選択手段は、類似度が第１のしきい値よりも大きい場合にインター予測方式を選択し、類似度が第２のしきい値よりも小さい場合にイントラ予測方式を選択する。

本発明の別の局面に従えば、符号化対象ブロック毎に、インター予測方式およびイントラ予測方式に含まれる複数の予測モードの中からいずれかを選択して符号化を行なう画像符号化装置であって、符号化対象画像から計算された複雑度に基づいてインター予測方式およびイントラ予測方式のいずれを選択し、選択された予測方式に含まれる予測モードのいずれかを選択するための予測モード選択手段と、予測モード選択手段によって選択された予測モードを用いて、符号化対象ブロックを符号化するための符号化手段とを含む。

好ましくは、予測モード選択手段は、符号化対象ブロックの画素およびその周辺画素に基づいて複雑度を計算する。

好ましくは、予測モード選択手段は、複雑度が第１のしきい値よりも大きい場合にインター予測方式を選択し、類似度が第２のしきい値よりも小さい場合にイントラ予測方式を選択する。

本発明のさらに別の局面に従えば、符号化対象ブロック毎に、インター予測方式およびイントラ予測方式に含まれる複数の予測モードの中からいずれかを選択して符号化を行なう画像符号化装置であって、符号化対象ブロックの周辺ブロックの符号化に用いられた予測方式に基づいてインター予測方式およびイントラ予測方式のいずれかを選択し、選択された予測方式に含まれる予測モードのいずれかを選択するための予測モード選択手段と、予測モード選択手段によって選択された予測モードを用いて、符号化対象ブロックを符号化するための符号化手段とを含む。

好ましくは、予測モード選択手段は、符号化対象ブロックの画素と周辺ブロックの画素との相関度に基づいて、予測方式の選択の際に参照する周辺ブロックを選択する。

本発明のある局面によれば、符号化対象画像と参照画像とから計算された類似度に基づいてインター予測方式およびイントラ予測方式のいずれかを選択するので、全ての予測モードについて発生符号量を推定する必要がなくなり、画質の劣化を抑えつつ、少ない演算量で予測モードを選択することが可能となった。

また、予測モード選択手段が、符号化対象ブロックの画素およびその周辺画素と、対応する参照画像の画素とに基づいて類似度を計算するので、符号化対象画像と参照画像との画素値の相関を精度良く求めることができ、類似度の評価をより適切に行なうことが可能となった。

また、予測モード選択手段が、符号化対象画像と複数の参照画像のそれぞれとから計算された類似度に基づいてインター予測方式およびイントラ予測方式のいずれかを選択するので、参照画像を複数の候補の中から選択する符号化方式にも対応することが可能となった。

また、予測モード選択手段が、符号化対象画像と複数の参照画像のいずれかとから計算された類似度に基づいてインター予測方式が選択された場合、インター予測方式に含まれる予測モードのいずれかを選択するので、全ての参照画像について発生符号量を推定する必要がなくなり、さらに演算量を削減することが可能となった。

また、予測モード選択手段は、類似度が第１のしきい値よりも大きい場合にインター予測方式を選択し、類似度が第２のしきい値よりも小さい場合にイントラ予測方式を選択するので、予測方式の判定をより詳細に行なうことが可能となった。

本発明の別の局面によれば、符号化対象画像から計算された複雑度に基づいてインター予測方式およびイントラ予測方式のいずれかを選択するので、全ての予測モードについて発生符号量を推定する必要がなくなり、画質の劣化を抑えつつ、少ない演算量で予測モードを選択することが可能となった。

また、予測モード選択手段が、符号化対象ブロックの画素およびその周辺画素に基づいて複雑度を計算するので、相関を精度良く求めることができ、複雑度の評価をより適切に行なうことが可能となった。

また、予測モード選択手段が、複雑度が第１のしきい値よりも大きい場合にインター予測方式を選択し、類似度が第２のしきい値よりも小さい場合にイントラ予測方式を選択するので、予測方式の判定をより詳細に行なうことが可能となった。

本発明のさらに別の局面によれば、符号化対象ブロックの周辺ブロックの符号化に用いられた予測方式に基づいてインター予測方式およびイントラ予測方式のいずれかを選択するので、全ての予測モードについて発生符号量を推定する必要がなくなり、画質の劣化を抑えつつ、少ない演算量で予測モードを選択することが可能となった。

また、予測モード選択手段が、符号化対象ブロックの画素と周辺ブロックの画素との相関度に基づいて、予測方式の選択の際に参照する周辺ブロックを選択するので、参照する周辺ブロックを適切に選択することができ、より精度の高い予測方式の選択が可能となった。

（第１の実施の形態）
図１は、本発明の第１の実施の形態における画像符号化装置の概略構成を示すブロック図である。この画像符号化装置は、画像を蓄積する画像蓄積部１１と、画像蓄積部１１から出力された参照画像と符号化対象画像とに基づいて動き検出処理を行なう動き検出部１２と、画像蓄積部１１から出力された参照画像と符号化対象画像とに基づいて画像の類似度を計算し、この類似度に基づいて予測方式および予測モードを選択する予測モード制御部１３ａと、画像蓄積部１１から出力される参照画像、動き検出部１２から出力される動きベクトルおよび予測モード制御部１３ａによって選択される予測モードに基づいて符号化対象画像の予測画像を生成する予測画像生成部１４と、予測画像生成部１４によって生成された予測画像と符号化対象画像との差分画像を生成する差分画像生成部１５と、差分画像生成部１５によって生成された差分画像と予測モード制御部１３ａによって生成された予測モードとを符号化する可変長符号化部１６と、可変長符号化部１６によって生成された符号化データから差分画像を復号する画像復号部１７と、画像復号部１７によって生成された差分画像と予測画像生成部１４によって生成された予測画像とを合成する画像合成部１８と、可変長符号化部１６によって生成された符号化データを記録して蓄積する磁気ディスク、着脱可能な光ディスク、半導体メモリカード等の記録媒体１９とを含む。

動き検出部１２は、図１３に示す従来の画像符号化装置の動き検出部１１２ｂと異なり予測方式の選択は行なわない。また、予測モード制御部１３ａが選択した予測方式に応じて生成される制御信号によって制御される。

図２は、本発明の第１の実施の形態における画像符号化装置の処理手順を説明するためのフローチャートである。まず、予測モード制御部１３ａは、符号化対象画像と画像蓄積部１１から出力される参照画像との類似度を解析する（Ｓ１１）。類似度の評価対象となる領域には、符号化対象ブロックおよびその周辺の画素が用いられる。

本実施の形態においては、各予測モードにおける発生符号量の推定に先立ち、当該符号化対象ブロックおよびその周辺領域について、参照画像の同位置にある領域との類似度を評価する。インター予測方式は、符号化対象画像と参照画像との画素値の相関を用いた予測方式であるため、符号化対象画像と参照画像との類似度が高くなるほど、予測効率が相対的に高くなる。逆に、符号化対象画像と参照画像との類似度が低くなるほど、インター予測方式の予測効率も相対的に低くなり、イントラ予測方式を用いる方が予測効率がよくなる場合が多くなる。

したがって、類似度評価の結果に基づき、当該領域においてインター予測方式を用いることの妥当性を予め判定して予測方式を選択すれば、発生符号量を推定する必要がある予測モードの数を削減でき、全ての予測モードについて発生符号量を推定する図１１に示す従来の画像符号化装置と比較して演算量を削減することが可能となる。また、図１３に示す画像符号化装置と比較しても、インター予測方式とイントラ予測方式とを選択するために行なわれていた動き検出処理を省略でき、インター予測を用いると判定された場合のみ動き検出処理が行なわれるため、演算量を削減することが可能となる。

予測モード制御部１３ａによる類似度の評価には様々な方法が考えられる。その一例として、２枚の画像の画素値の絶対差分和を用いる方法について説明する。類似度評価対象領域の画素数をＩｎとし、符号化対象画像における評価対象の領域をＦ１としてその画素ｉにおける画素値をＦ１ｉとし、参照画像における評価対象の領域をＦ２としてその画素ｉにおける画素値をＦ２ｉとすると、類似度Ｓは次式によって表わされる。

式（１）において、類似度Ｓの値が小さいほど類似度が低く、類似度Ｓの値が大きいほど類似度が高いことを示している。

また、符号化対象画像における画素値の分布と参照画像における画素値の分布とに基づいて類似度を評価することも可能である。たとえば、画像を構成する画素値がｍ段階の値をとり、符号化対象画像の評価対象の領域における画素値のヒストグラムをＨ１、参照画像の評価対象の領域における画素値のヒストグラムをＨ２とし、ヒストグラムＨ１およびＨ２における画素値がｉである画素の度数をＨ１ｉおよびＨ２ｉとし、ベクトルの大きさを｜｜で表わすとすると、類似度Ｓは次式によって表わされる。

式（２）において、類似度Ｓの値が小さいほどヒストグラム間の違いが大きいため類似度が低く、類似度Ｓの値が大きいほどヒストグラム間の違いが小さいため類似度が高いことを示している。

図３は、１６×１６画素の符号化対象ブロックを周囲にそれぞれ１６画素ずつ拡張した４８×４８画素の領域を、類似度評価対象領域とする場合を示す図である。符号化対象画像と参照画像とにおける当該領域が所定のしきい値以上の大きな類似度を示せば、当該ブロックの符号化にはインター予測が適している。また、類似度がしきい値以下であればイントラ予測が適している。なお、本実施の形態の画像符号化装置において、符号化対象ブロックおよびこのブロックに対する類似度評価の対象領域はいかなる形状でもよく、図３に示すものに限定されない。たとえば、参照画像の持つ動きベクトルの大きさによって類似度評価の対象領域を制限することもできる。

符号化対象画像の各画素が複数の構成要素を含む場合、構成要素のうち任意の要素のみを用いて対象画像の類似度を評価するようにしてもよい。たとえば、輝度画像と２つの色差画像とによって符号化対象画像が構成されている場合を仮定する。輝度は視覚的に色差よりも重視されるため、輝度画像のみを用いて類似度を評価すれば、適切な評価をしつつ、全ての構成要素を用いて類似度を評価する場合よりも演算量を減らすことができる。また、類似度評価の対象領域の解像度を低くして類似度を評価するようにしても、演算量を減らすことができる。

次に、予測モード制御部１３ａは、画像の類似度の解析結果と所定のしきい値とを用いて、符号化対象ブロックの予測方式を選択する（Ｓ１２）。たとえば、予測モード制御部１３ａは、類似度Ｓと所定の閾値ＴＨ１とに基づいて、符号化対象ブロックの予測方式としてイントラ予測およびインター予測のいずれかを以下のように選択する。

Ｓ≧ＴＨ１の場合、符号化対象ブロックの予測方式としてインター予測を選択する。

Ｓ＜ＴＨ１の場合、符号化対象ブロックの予測方式としてイントラ予測を選択する。

このようにして、符号化対象画像と参照画像との類似度に応じた適切な予測方式を選択することが可能となる。

なお、複数のしきい値を用いて、段階的に切り替えられる確率に基づいてイントラ予測とインター予測とのいずれかが選択されるようにしたり、他の予測方式の選択方法を組み合わせるようにしてもよい。たとえば、所定のしきい値ＴＨ１およびＴＨ２を用いて以下のように予測方式を選択する方法が考えられる。

Ｓ≧ＴＨ１の場合は、符号化対象ブロックの予測方式としてインター予測を選択する。

ＴＨ１＞Ｓ≧ＴＨ２の場合は、制御信号によって動き検出部１２を制御することによって、当該符号化対象ブロックの動きベクトルを演算させ、動きベクトルの示す位置における参照画像と符号化対象画像との誤差に基づいて符号化対象ブロックの予測方式を選択する。

ＴＨ２＞Ｓの場合は、符号化対象ブロックの予測方式としてイントラ予測を選択する。

しきい値が１つの場合は中間的な類似度となるときに誤判定が生じる可能性があるが、複数段階で予測方式を選択するようにし、中間段階では動き検出に基づくより精度の高い判定を行なうことで、中間的な類似度の場合においても適切な予測方式を選択することが可能である。

次に、予測モード制御部１３ａは、選択された予測方式に含まれる予測モードの中から符号化対象ブロックに用いる予測モードを選択する（Ｓ１３）。予測モードを選択する方法には、様々な方法が考えられる。たとえば、従来技術において説明したように、各予測モードについて発生符号量を推定し、推定された発生符号量が最小となる予測モードを選択する。

次に、可変長符号化部１６は、予測モード制御部１３ａによって選択された予測モードを用いて符号化対象ブロックを符号化する（Ｓ１４）。予測モード制御部１３ａによって選択された予測方式がインター予測方式である場合、予測モード制御部１３ａは、動き検出部１２を制御して符号化対象ブロックの動きベクトルを出力させる。また、予測モード制御部１３ａによって選択された予測モードがイントラ予測方式である場合、予測モード制御部１３ａは、動き検出部１２が動作しないように制御を行なう。

予測画像生成部１４は、予測モード制御部１３ａによって選択された予測モード、動き検出部１２によって検出された動きベクトルおよび画像蓄積部１１に蓄積された参照画像に基づいて符号化対象ブロックの予測画像を生成する。差分画像生成部１５は、符号化対象ブロックの画像とその予測画像とから差分画像を生成する。そして、可変長符号化部１６は、符号化対象ブロックの予測モードおよび差分画像の可変長符号化を行なう。生成された符号化データは記録媒体１９に蓄積される。この符号化データは記録媒体１９に蓄積されると共に、画像復号部１７によって差分画像として復号され、生成された復号画像が画像合成部１８によって予測画像と合成されて画像蓄積部１１に参照画像として蓄積される。この参照画像は、以降の符号化対象ブロックの予測に用いられる。

最後に、全ての符号化対象ブロックについて符号化が完了したか否かが判定される（Ｓ１５）。符号化が行なわれていないブロックがあれば（Ｓ１５，Ｎｏ）、ステップＳ１１に戻って以降の処理を繰返す。また、全てのブロックの符号化が完了していれば（Ｓ１５，Ｙｅｓ）、符号化処理を終了する。

以上説明したように、本実施の形態における画像符号化装置によれば、符号化対象画像と参照画像との類似度を評価し、類似度に基づいてインター予測方式およびイントラ予測方式のいずれかを選択するようにしたので、全ての予測モードについて発生符号量を推定する必要がなくなり、画質の劣化を抑えつつ、少ない演算量で予測モードを選択することが可能となった。

また、類似度の評価対象となる領域に、符号化対象ブロックの周辺の画素を含めるようにしたので、符号化対象画像と参照画像との画素値の相関を精度良く求めることができ、類似度の評価をより適切に行なうことが可能となった。

（第２の実施の形態）
本発明の第２の実施の形態における画像符号化装置は、参照画像を複数の候補の中から選択し得る符号化技術に対応するものである。

図４は、本発明の第２の実施の形態における画像符号化装置の概略構成を示すブロック図である。本実施の形態における画像符号化装置の構成は、図１に示す第１の実施の形態における画像符号化装置の構成と比較して、予測モード制御部１３ｂの機能が異なる点のみが異なる。したがって、重複する構成および機能の詳細な説明は繰返さない。

予測モード制御部１３ｂは、画像蓄積部１１に蓄積された複数の参照画像の中の１枚と符号化対象画像とに基づいて画像の類似度を計算し、この類似度に基づいて予測方式および予測モードを選択する。複数の参照画像の中から１枚を選択する方法として、たとえば時間的に近い参照画像から順に選択する。動画像のフレーム画像間の類似度は、多くの場合時間的に近い画像のほうが高くなるため、類似度の評価を符号化対象画像と時間的に近い参照画像から順に行なうことにより演算量を削減することができるからである。

図５は、本発明の第２の実施の形態における画像符号化装置の処理手順を説明するためのフローチャートである。まず、予測モード制御部１３ｂは、符号化対象画像と画像蓄積部１１に蓄積される参照画像の１枚との類似度を解析する（Ｓ２１）。このとき、参照画像と符号化対象画像との所定領域における類似度をＳとする。類似度の評価対象となる領域は、たとえば第１の実施の形態と同様に、符号化対象ブロックおよびその周辺の画素が用いられる。また、類似度の評価方法として、たとえば第１の実施の形態において説明した領域の画素値の絶対差分和や、領域における画素値のヒストグラムなどが用いられる。

次に、予測モード制御部１３ｂは、画像の類似度の解析結果と所定のしきい値とを用いて、符号化対象ブロックの予測方式を選択する（Ｓ２２）。たとえば、予測モード制御部１３ｂは、類似度Ｓと所定の閾値ＴＨ３とに基づいて、符号化対象ブロックの予測方式としてイントラ予測およびインター予測のいずれかを以下のように選択する。

Ｓ＜ＴＨ３の場合、符号化対象ブロックの予測方式としてイントラ予測を選択する。

Ｓ≧ＴＨ３の場合、符号化対象ブロックの予測方式としてインター予測を選択する。

次に、選択された予測方式がインター予測方式であるか否か、および最後の参照画像の類似度が評価されたか否かが判定される（Ｓ２３）。選択された予測方式がイントラ予測方式であり、かつ最後の参照画像の類似度の評価が完了していなければ（Ｓ２３，Ｎｏ）、ステップＳ２１に戻って以降の処理が繰返される。また、選択された予測方式がインター予測方式の場合、または最後の参照画像の類似度の評価が完了した場合（Ｓ２３，Ｙｅｓ）、ステップＳ２４に処理が進む。

一般に、参照画像と符号化対象画像との相関が強い場合には、予測方式としてインター予測を用いるのが効率的である。参照画像が複数ある場合でも、複数の参照画像のうち１枚でも符号化対象画像と類似した参照画像があれば、少なくともその参照画像を用いたインター予測方式は、イントラ予測方式を用いた場合よりも効率がよくなる。したがって、ある参照画像の類似度の評価によってインター予測方式が適していると判定された場合には、その参照画像を用いてインター予測符号化を行なえば、残りの参照画像に対する類似度の評価を省略することができ、必要な演算量を削減することが可能となる。なお、予測方式としてインター予測方式が選択された場合でも、複数の参照画像の中からさらに類似度の高い参照画像を選択する処理を行なうようにしてもよい。

次に、予測モード制御部１３ｂは、選択された予測方式に含まれる予測モードの中から符号化対象ブロックに用いる予測モードを選択する（Ｓ２４）。予測モードを選択する方法には、様々な方法が考えられる。たとえば、従来技術において説明したように、各予測モードについて発生符号量を推定し、推定された発生符号量が最小となる予測モードを選択する。

次に、可変長符号化部１６は、予測モード制御部１３ｂによって選択された予測モードを用いて符号化対象ブロックを符号化する（Ｓ２５）。予測モード制御部１３ｂによって選択された予測方式がインター予測方式である場合、予測モード制御部１３ｂは、動き検出部１２を制御して符号化対象ブロックの動きベクトルを出力させる。また、予測モード制御部１３ｂによって選択された予測モードがイントラ予測方式である場合、予測モード制御部１３ｂは、動き検出部１２が動作しないように制御を行なう。

予測画像生成部１４は、予測モード制御部１３ｂによって選択された予測モード、動き検出部１２によって検出された動きベクトルおよび画像蓄積部１１に蓄積された参照画像に基づいて符号化対象ブロックの予測画像を生成する。差分画像生成部１５は、符号化対象ブロックの画像とその予測画像とから差分画像を生成する。そして、可変長符号化部１６は、符号化対象ブロックの予測モードおよび差分画像の可変長符号化を行なう。生成された符号化データは記録媒体１９に蓄積される。この符号化データは記録媒体１９に蓄積されると共に、画像復号部１７によって差分画像として復号され、生成された復号画像が画像合成部１８によって予測画像と合成されて画像蓄積部１１に参照画像として蓄積される。この参照画像は、以降の符号化対象ブロックの予測に用いられる。

最後に、全ての符号化対象ブロックについて符号化が完了したか否かが判定される（Ｓ２６）。符号化が行なわれていないブロックがあれば（Ｓ２６，Ｎｏ）、ステップＳ２１に戻って以降の処理を繰返す。また、全てのブロックの符号化が完了していれば（Ｓ２６，Ｙｅｓ）、符号化処理を終了する。

以上説明したように、本実施の形態における画像符号化装置によれば、複数の参照画像の中の１枚でも符号化対象画像との類似度が高いものがあればインター予測方式を選択するようにしたので、全ての予測モードについて発生符号量を推定する必要がなくなり、画質の劣化を抑えつつ、少ない演算量で予測モードを選択することが可能となった。

また、最初にインター予測方式が選択された参照画像を用いて符号化を行なうようにすれば、全ての参照画像との類似度の評価を行なわなくてもよいため、さらに演算量を削減することが可能となる。

（第３の実施の形態）
第１の実施の形態および第２の実施の形態においては、符号化対象画像と参照画像との類似度に基づいてインター予測を用いることの妥当性を判断するものであった。本発明の第３の実施の形態における画像符号化装置は、符号化対象画像の画像特徴に基づいてイントラ予測を用いることが適切であるか否かを判定するものである。

図６は、本発明の第３の実施の形態における画像符号化装置の概略構成を示すブロック図である。本実施の形態における画像符号化装置の構成は、図１に示す第１の実施の形態における画像符号化装置の構成と比較して、予測モード制御部１３ｃの機能が異なる点のみが異なる。したがって、重複する構成および機能の詳細な説明は繰返さない。

予測モード制御部１３ｃは、符号化対象画像の複雑度に基づいて予測方式および予測モードを選択する。

図７は、本発明の第３の実施の形態における画像符号化装置の処理手順を説明するためのフローチャートである。まず、予測モード制御部１３ｃは、符号化対象画像の特徴解析を行なう（Ｓ３１）。たとえば、符号化対象ブロック領域における画像の複雑度が評価される。

画像の複雑度の評価方法は、符号化対象ブロック領域の画素値の分布を用いる方法、符号化対象ブロック領域の画像データを直交変換して得られた周波数成分の分布に基づく方法など、任意の方法が用いられる。なお、複雑度の評価対象となる領域は、符号化対象ブロック領域のみに限られず、その周辺の画素を含むようにしてもよい。イントラ予測方式においては、符号化対象ブロックに隣接するブロックの画素値を用いて符号化対象ブロックにおける画素値を予測するため、符号化対象ブロックに隣接する画素を含めて複雑度を評価することによってさらに高精度に複雑度を求めることができる。

複雑度の評価の一例として、複雑度評価の対象領域の画素値の分散に基づいて評価を行なう場合について以下に説明する。

複雑度評価対象領域をＢ、複雑度評価対象領域に含まれる画素数をｍ、領域Ｂのｉ番目の画素値をＢｉとすると、予測モード制御部１３ｃは次式によって複雑度Ｃを求める（Ｓ３３）。

式（４）において、画素値の分散が小さければ複雑度Ｃが低く、画素値の分散が大きければ複雑度Ｃの値が大きくなることを示している。

次に、予測モード制御部１３ｃは、画像の複雑度の解析結果と所定のしきい値とを用いて、符号化対象ブロックの予測方式を選択する（Ｓ３２）。たとえば、予測モード制御部１３ｃは、複雑度Ｃと所定の閾値ＴＨ４とに基づいて、符号化対象ブロックの予測方式としてイントラ予測およびインター予測のいずれかを以下のように選択する。

Ｓ≧ＴＨ４の場合、符号化対象ブロックの予測方式としてインター予測を選択する。

Ｓ＜ＴＨ４の場合、符号化対象ブロックの予測方式としてイントラ予測を選択する。

一般に、イントラ予測方式においては、符号化対象ブロックの画素値と、符号化対象ブロックに隣接するブロックの画素値との相関が高いため、隣接ブロックの画素値から符号化対象ブロックの画素値を予測することができる。また、イントラ予測の予測効率だけを考えるならば、符号化対象ブロックの領域内の画素値の相関が高い、すなわち複雑度が低くなるほどイントラ予測の予測効率は相対的に高くなる。したがって、予め実験によって適切なしきい値ＴＨ４を定めることで、符号化対象領域の複雑度に応じた適切な予測方式を選択することが可能となる。

また、第１の実施の形態と同様に、複数のしきい値を用いてイントラ予測方式とインター予測方式との選択を段階的に切替えるようにしてもよい。

次に、予測モード制御部１３ｃは、選択された予測方式に含まれる予測モードの中から符号化対象ブロックに用いる予測モードを選択する（Ｓ３３）。予測モードを選択する方法には、様々な方法が考えられる。たとえば、従来技術において説明したように、各予測モードについて発生符号量を推定し、推定された発生符号量が最小となる予測モードを選択する。

次に、可変長符号化部１６は、予測モード制御部１３ｃによって選択された予測モードを用いて符号化対象ブロックを符号化する（Ｓ３４）。予測モード制御部１３ｃによって選択された予測方式がインター予測方式である場合、予測モード制御部１３ｃは、動き検出部１２を制御して符号化対象ブロックの動きベクトルを出力させる。また、予測モード制御部１３ｃによって選択された予測モードがイントラ予測方式である場合、予測モード制御部１３ｃは、動き検出部１２が動作しないように制御を行なう。

予測画像生成部１４は、予測モード制御部１３ｃによって選択された予測モード、動き検出部１２によって検出された動きベクトルおよび画像蓄積部１１に蓄積された参照画像に基づいて符号化対象ブロックの予測画像を生成する。差分画像生成部１５は、符号化対象ブロックの画像とその予測画像とから差分画像を生成する。そして、可変長符号化部１６は、符号化対象ブロックの予測モードおよび差分画像の可変長符号化を行なう。生成された符号化データは記録媒体１９に蓄積される。この符号化データは記録媒体１９に蓄積されると共に、画像復号部１７によって差分画像として復号され、生成された復号画像が画像合成部１８によって予測画像と合成されて画像蓄積部１１に参照画像として蓄積される。この参照画像は、以降の符号化対象ブロックの予測に用いられる。

最後に、全ての符号化対象ブロックについて符号化が完了したか否かが判定される（Ｓ３５）。符号化が行なわれていないブロックがあれば（Ｓ３５，Ｎｏ）、ステップＳ３１に戻って以降の処理を繰返す。また、全てのブロックの符号化が完了していれば（Ｓ３５，Ｙｅｓ）、符号化処理を終了する。

以上説明したように、本実施の形態における画像符号化装置によれば、符号化対象画像の複雑度に基づいて予測方式および予測モードを選択するようにしたので、全ての予測モードについて発生符号量を推定する必要がなくなり、画質の劣化を抑えつつ、少ない演算量で予測モードを選択することが可能となった。

（第４の実施の形態）
図８は、本発明の第４の実施の形態における画像符号化装置の概略構成を示すブロック図である。本実施の形態における画像符号化装置の構成は、図１に示す第１の実施の形態における画像符号化装置の構成と比較して、予測モード制御部１３ｄの機能が異なる点のみが異なる。したがって、重複する構成および機能の詳細な説明は繰返さない。

予測モード制御部１３ｄは、符号化に用いた予測方式をブロック毎に蓄積する機能を有し、符号化対象ブロックの周辺ブロックの符号化に用いられた予測方式に基づいて、符号化対象ブロックの予測方式および予測モードを選択する。ただし、周辺の各ブロックのうち符号化対象ブロックと画像の相関が低いブロックの予測方式は参照しない。このようにすることで、相関が低いブロックから不適切な予測方式が伝播する可能性を小さくすることができる。以下、予測方式を選択するために参照されるブロックを、予測方式参照ブロックと呼ぶ。

図９は、本発明の第４の実施の形態における画像符号化装置の処理手順を説明するためのフローチャートである。まず、予測モード制御部１３ｄは、符号化対象ブロックと周辺の各ブロックとの画像の相関性を解析し、解析結果に基づいて符号化対象ブロックの周辺から予測方式参照ブロックを選択する（Ｓ４１）。

図１０は、予測方式参照ブロックの選択方法の一例を示す図である。図１０（ａ）は、予測モード制御部１３ｄによって画像の相関性が評価される周辺ブロックの一例を示す図である。符号化対象ブロックＸと相関性が評価される周辺ブロックを○で示している。符号化対象ブロックと周辺ブロックとの相関性の評価基準は様々なものが考えられる。その一例として、画素値の平均を用いて相関性を評価する方法を以下に説明する。

符号化対象ブロックＸと、周辺ブロックのうち１つのブロックＹとの各々に含まれる画素値の平均を、それぞれＸａｖｒおよびＹａｖｒとする。このブロック毎の画素値の平均は、一度計算すればそれを保存しておくことで冗長な計算を削減することができる。評価に用いる相関度Ｒは、ＸａｖｒおよびＹａｖｒを用いて次式によって表わされる。

予測モード制御部１３ｄは、相関度Ｒが所定のしきい値ＴＨ５未満であれば、符号化対象ブロックＸとブロックＹとの間に相関があると判断する。また、相関度Ｒが所定のしきい値ＴＨ５以上であれば、符号化対象ブロックＸとブロックＹとの間に相関がないと判断する。相関がないと判断されたブロックＹは、符号化対象ブロックＸの予測方式選択の際に予測方式参照ブロックとして用いられない。

しきい値ＴＨ５は、画像の解像度や目標とする発生符号量に基づいて定めることが望ましく、また動的に変化させてもよい。以下、選択された予測方式参照ブロックの数をｎ個として説明する。

なお、イントラ予測に分類される予測方式を用いて符号化されたブロックをイントラ符号化ブロックと呼び、インター予測に分類される予測方式を用いて符号化されたブロックをインター符号化ブロックと呼ぶことにする。

予測モード制御部１３ｄは、選択されたｎ個の予測方式参照ブロックの符号化において用いられた予測方式を解析し、符号化対象ブロックの予測方式を選択する（Ｓ４２）。

一般に、イントラ予測は、参照画像と符号化対象画像との相関が小さい領域や、同一画像内の近隣領域との相関が高い領域の符号化に適している。すなわち、符号化対象ブロックの周辺にイントラ符号化ブロックが多い場合は、符号化対象ブロックもイントラ予測が適している可能性が高い。一方、符号化対象ブロックの周辺にインター符号化ブロックが多い場合は、符号化対象ブロックもインター予測が適している可能性が高い。

予測モード制御部１３ｄは、予測方式参照ブロックのうちイントラ符号化ブロックの数をＮ（Ｎは０〜ｎの整数）とし、ｎに比例する所定のしきい値をＴＨ６としたとき、符号化対象ブロックの予測方式としてイントラ予測およびインター予測のいずれかを以下のように選択する。

Ｓ≧ＴＨ６の場合、符号化対象ブロックの予測方式としてイントラ予測を選択する。

Ｓ＜ＴＨ６の場合、符号化対象ブロックの予測方式としてインター予測を選択する。

図１０（ｂ）は、符号化対象ブロックの周辺ブロックの予測方式を示す図である。また、図１０（ｃ）は、予測方式参照ブロックとして選択されたブロックを示す図である。図１０（ｃ）の○で示すブロックが予測方式参照ブロックとして選択されており、イントラ符号化ブロックの数Ｎは３となる。ここで、しきい値ＴＨ６＝４であれば、符号化対象ブロックの予測方式としてインター予測が選択される。しきい値ＴＨ６を小さくすれば、イントラ予測が選択されやすくなる。一般に、イントラ予測よりもインター予測の方が発生符号量が小さくなるため、発生符号量の削減が重視される場合にはしきい値ＴＨ６を大きく設定するようにすればよい。

図１０（ｄ）は、周辺ブロック毎に重みを付けた場合を示す図である。上述したイントラ符号化ブロックの数Ｎを計算する方法においては、０と１との重み付け処理と考えることができる。これを拡張して、図１０（ｄ）に示すように、重みを符号化対象ブロックＸからの距離や、相関度Ｒなどに基づいて多段階に設定することによって、予測方式選択の精度を高めることができる。たとえば、図１０（ｂ）に示すように予測方式が選択された周辺ブロックに対して、図１０（ｄ）に示す重み付けを適用した場合Ｎ＝５となり、このＮと重みの総和に比例するように定めたしきい値ＴＨ６とを比較して、インター予測およびイントラ予測のいずれかを選択する。

なお、図１０（ａ）においては、ブロックを左上から順に行毎に走査すると仮定しているが、符号化対象ブロックが符号化対象画像の縁や角に位置するなど、周辺ブロックのいくつかが画像の領域内に存在しない場合がある。また、任意の順序でブロックを符号化することができる場合、必ずしも図１０（ａ）に示す位置の周辺ブロックが利用できるとは限らない。符号化対象ブロックがこれらの状態に該当する場合には、利用する周辺ブロックの位置を変更したり、従来手法を用いて全ての予測方式について発生符号量を推定して符号化対象ブロックの予測方式を選択したりすればよい。

また、本実施の形態においては、周辺ブロックの予測方式を利用して符号化対象ブロックの予測方式を選択するため、周辺ブロックに不適切な予測方式を用いるものが存在する場合にはその影響を受ける可能性がある。したがって、他の予測方式選択方法を適切な位置や頻度で用いることで、その不適切な予測方式が伝播することを防止できる。また、周辺ブロックは空間的な周辺に限らず、時間的な周辺ブロックを用いてもよい。たとえば、符号化対象画像と時間的に最も近い参照画像のブロックの予測方式を参照することも可能である。

次に、予測モード制御部１３ｄは、選択された予測方式に含まれる予測モードの中から符号化対象ブロックに用いる予測モードを選択する（Ｓ４３）。予測モードを選択する方法には、様々な方法が考えられる。たとえば、従来技術において説明したように、各予測モードについて発生符号量を推定し、推定された発生符号量が最小となる予測モードを選択する。

次に、可変長符号化部１６は、予測モード制御部１３ｄによって選択された予測モードを用いて符号化対象ブロックを符号化する（Ｓ４４）。予測モード制御部１３ｄによって選択された予測方式がインター予測方式である場合、予測モード制御部１３ｄは、動き検出部１２を制御して符号化対象ブロックの動きベクトルを出力させる。また、予測モード制御部１３ｄによって選択された予測モードがイントラ予測方式である場合、予測モード制御部１３ｄは、動き検出部１２が動作しないように制御を行なう。

予測画像生成部１４は、予測モード制御部１３ｄによって選択された予測モード、動き検出部１２によって検出された動きベクトルおよび画像蓄積部１１に蓄積された参照画像に基づいて符号化対象ブロックの予測画像を生成する。差分画像生成部１５は、符号化対象ブロックの画像とその予測画像とから差分画像を生成する。そして、可変長符号化部１６は、符号化対象ブロックの予測モードおよび差分画像の可変長符号化を行なう。生成された符号化データは記録媒体１９に蓄積される。この符号化データは記録媒体１９に蓄積されると共に、画像復号部１７によって差分画像として復号され、生成された復号画像が画像合成部１８によって予測画像と合成されて画像蓄積部１１に参照画像として蓄積される。この参照画像は、以降の符号化対象ブロックの予測に用いられる。

最後に、全ての符号化対象ブロックについて符号化が完了したか否かが判定される（Ｓ４５）。符号化が行なわれていないブロックがあれば（Ｓ４５，Ｎｏ）、ステップＳ４１に戻って以降の処理を繰返す。また、全てのブロックの符号化が完了していれば（Ｓ４５，Ｙｅｓ）、符号化処理を終了する。

以上説明したように、本実施の形態における画像符号化装置によれば、符号化対象ブロックの周辺ブロックの符号化に用いられた予測方式に基づいて、符号化対象ブロックの予測方式および予測モードを選択するようにしたので、全ての予測モードについて発生符号量を推定する必要がなくなり、画質の劣化を抑えつつ、少ない演算量で予測モードを選択することが可能となった。

なお、予測方式参照ブロックの選択をせずにあらかじめ参照するブロックを選択しておくようにしてもよい。この場合、たとえば図１０（ａ）に示す周辺ブロックが全て予測方式参照ブロックとして用いられる。また、図９のステップＳ１の処理は省略される。さらに、図１０（ａ）に示す周辺ブロックを用いると予測方式参照ブロックの数は９個であるが、たとえば符号化対象ブロックの左上、上、左の３個のブロックを予測方式参照ブロックとするようにしてもよい。

今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明の第１の実施の形態における画像符号化装置の概略構成を示すブロック図である。 本発明の第１の実施の形態における画像符号化装置の処理手順を説明するためのフローチャートである。 １６×１６画素の符号化対象ブロックを周囲にそれぞれ１６画素ずつ拡張した４８×４８画素の領域を、類似度評価対象領域とする場合を示す図である。 本発明の第２の実施の形態における画像符号化装置の概略構成を示すブロック図である。 本発明の第２の実施の形態における画像符号化装置の処理手順を説明するためのフローチャートである。 本発明の第３の実施の形態における画像符号化装置の概略構成を示すブロック図である。 本発明の第３の実施の形態における画像符号化装置の処理手順を説明するためのフローチャートである。 本発明の第４の実施の形態における画像符号化装置の概略構成を示すブロック図である。 本発明の第４の実施の形態における画像符号化装置の処理手順を説明するためのフローチャートである。 予測方式参照ブロックの選択方法の一例を示す図である。 従来の画像符号化装置の概略構成を示すブロック図である。 図１１に示す従来の画像符号化装置の処理手順を説明するためのフローチャートである。 特開２００３−１２５４１２号公報に開示された画像符号化装置の概略構成を示すブロック図である。 図１３に示す画像符号化装置の処理手順を説明するためのフローチャートである。

符号の説明

１１，１１１ 画像蓄積部、１２，１１２ａ，１１２ｂ 動き検出部、１３ａ，１３ｂ，１３ｃ，１３ｄ，１１３ａ，１１３ｂ 予測モード制御部、１４，１１４ 予測画像生成部、１５，１１５ 差分画像生成部、１６，１１６ 可変長符号化部、１７，１１７ 画像復号部、１８，１１８ 画像合成部、１９，１１９ 記録媒体。

Claims (10)

1. 符号化対象ブロック毎に、インター予測方式およびイントラ予測方式に含まれる複数の予測モードの中からいずれかを選択して符号化を行なう画像符号化装置であって、
   符号化対象画像と参照画像とから計算された類似度に基づいてインター予測方式およびイントラ予測方式のいずれかを選択し、選択された予測方式に含まれる予測モードのいずれかを選択するための予測モード選択手段と、
   前記予測モード選択手段によって選択された予測モードを用いて、符号化対象ブロックを符号化するための符号化手段とを含む、画像符号化装置。
2. 前記予測モード選択手段は、符号化対象ブロックの画素およびその周辺画素と、対応する参照画像の画素とに基づいて類似度を計算する、請求項１記載の画像符号化装置。
3. 前記符号化は、参照画像を複数の候補の中から選択する符号化方式であって、
   前記予測モード選択手段は、符号化対象画像と前記複数の参照画像のそれぞれとから計算された類似度に基づいてインター予測方式およびイントラ予測方式のいずれかを選択する、請求項１または２記載の画像符号化装置。
4. 前記予測モード選択手段は、符号化対象画像と前記複数の参照画像のいずれかとから計算された類似度に基づいてインター予測方式が選択された場合、インター予測方式に含まれる予測モードのいずれかを選択する、請求項３記載の画像符号化装置。
5. 前記予測モード選択手段は、前記類似度が第１のしきい値よりも大きい場合にインター予測方式を選択し、前記類似度が第２のしきい値よりも小さい場合にイントラ予測方式を選択する、請求項１〜４のいずれかに記載の画像符号化装置。
6. 符号化対象ブロック毎に、インター予測方式およびイントラ予測方式に含まれる複数の予測モードの中からいずれかを選択して符号化を行なう画像符号化装置であって、
   符号化対象画像から計算された複雑度に基づいてインター予測方式およびイントラ予測方式のいずれかを選択し、選択された予測方式に含まれる予測モードのいずれかを選択するための予測モード選択手段と、
   前記予測モード選択手段によって選択された予測モードを用いて、符号化対象ブロックを符号化するための符号化手段とを含む、画像符号化装置。
7. 前記予測モード選択手段は、符号化対象ブロックの画素およびその周辺画素に基づいて複雑度を計算する、請求項６記載の画像符号化装置。
8. 前記予測モード選択手段は、前記複雑度が第１のしきい値よりも大きい場合にインター予測方式を選択し、前記類似度が第２のしきい値よりも小さい場合にイントラ予測方式を選択する、請求項６または７記載の画像符号化装置。
9. 符号化対象ブロック毎に、インター予測方式およびイントラ予測方式に含まれる複数の予測モードの中からいずれかを選択して符号化を行なう画像符号化装置であって、
   符号化対象ブロックの周辺ブロックの符号化に用いられた予測方式に基づいてインター予測方式およびイントラ予測方式のいずれかを選択し、選択された予測方式に含まれる予測モードのいずれかを選択するための予測モード選択手段と、
   前記予測モード選択手段によって選択された予測モードを用いて、符号化対象ブロックを符号化するための符号化手段とを含む、画像符号化装置。
10. 前記予測モード選択手段は、符号化対象ブロックの画素と周辺ブロックの画素との相関度に基づいて、予測方式の選択の際に参照する周辺ブロックを選択する、請求項９記載の画像符号化装置。

Images