JP4501631B2 - 画像符号化装置及び方法、画像符号化装置のコンピュータ・プログラム、並びに携帯端末 - Google Patents

Description

本発明は、フレーム画像等のデジタル画像データを符号化する技術分野に関する。特に、本発明は、同一フレーム内において動き予測（イントラ予測）を行う画像符号化技術の分野に関する。

従来、動画像を扱う各種の画像処理装置には、ＭＰＥＧ（Moving Pictures Experts Group）２やＭＰＥＧ４等の動画圧縮技術が採用されている。

ＭＰＥＧ２やＭＰＥＧ４等の動画圧縮技術（動画像符号化技術、所謂コーデック）においては、フレーム画像（以下、「フレーム」と略称する場合がある）を構成する個々の画素を記録するのではなく、動画像データのデータ量を削減すべく、あるフレームに含まれる画像ブロックがその後に続く他のフレームにおいて（即ち、時間の経過と共に）どこに移動していくかを予測した結果を基に画像圧縮が行われる。

このような従来の動画圧縮技術を発展させたものとして、近年、Ｈ．２６４／ＡＶＣ（Advanced Video Codec）が注目されている。Ｈ．２６４／ＡＶＣは、オープンスタンダ−ドを指向する動画圧縮技術として、ＩＴＵ−Ｔ（国際電気通信連合・電気通信標準化セクタ）とＩＳＯ／ＩＥＣ（国際標準化機構）とが共同開発したものである。Ｈ．２６４／ＡＶＣコーデックは、ＭＰＥＧ４／ＡＶＣとも呼ばれている。

係るＨ．２６４／ＡＶＣにおいても、画像圧縮技術の基本的な考え方は、上記従来の動画圧縮技術と共通する。但し、Ｈ．２６４／ＡＶＣでは、「サブマクロブロック分割」という機能を採用することにより、上記従来の動画圧縮技術と比較してより柔軟な圧縮処理を、少ないデータ量によって実現することができる。ここで、サブマクロブロックとは、マクロブロック（例えば、１６×１６画素のブロック）を構成するところの、より分割単位が小さなブロック（例えば、４×４画素のブロック）である。

更に、Ｈ．２６４／ＡＶＣでは、「イントラ予測」という機能を採用することにより、上記従来の動画圧縮技術には無かった同一フレーム内での動き予測を実現している。

ここで、本願出願に先だって存在する従来技術としては、例えば以下の特許文献がある。

即ち、特許文献１には、画像を符号化する装置において、符号化対象ブロックを符号化するに際して、その符号化対象ブロックの周辺に存在するところの、既に符号化されたブロックの符号化モードを、統計的性質を基に参照する技術が提案されている。

また、特許文献２には、画像データを符号化するに際して、４×４画素の符号化対象ブロック毎に最適な差分値生成方法（符号化モード）を選択し、選択した差分値生成方法によって差分値を生成すると共に、生成した差分値を符号化する技術が提案されている。

特開２００２−２３２８８６号公報（段落番号４８、４９、図５） 特開平８−１８６８２３号公報（段落番号３７、４３、図１７）

ところで、Ｈ．２６４のフレーム内予測には、大別して２つの方法がある。その一つは、１６×１６画素のマクロブロック（以下、「１６×１６マクロブロック」と略称する）単位で予測する方法であり、他方は、４×４画素のサブマクロブロック（以下、「４×４ブロック」と略称する）単位で予測する方法である。そして、４×４ブロック単位で動き予測を行う方法では、予測結果の候補として９つのモードが規定されている。一方、１６×１６画素のマクロブロック単位で動き予測を行う方法では、予測結果の候補として４つのモードが規定されている。このため、エンコーダへの実装方法にも依存するが、一般的には、４×４ブロック単位の動き予測の方が、１６×１６マクロブロック単位の動き予測と比較してきめ細かい予測ができる代わりに、計算量が増える傾向にあると考えられる。

そこで本発明は、フレーム画像をフレーム内予測によって符号化するに際して、符号化モード決定までの計算量を削減することを目的とする。

本発明の画像符号化方法は、
入力フレーム画像のうち、複数画素からなる処理対象ブロックについて、その処理対象ブロックに対応する予測ブロックを、該処理対象ブロックに隣接するところの、該入力フレーム画像内の処理済みブロックの画素値に基づいて作成し、作成した予測ブロックと、該処理対象ブロックとの差分を算出すると共に、算出した差分を基に決定した符号化モードによって符号化する画像符号化方法であって、
前記処理対象ブロックを符号化するための符号化モードの候補となる、前記処理対象ブロックに関する差分算出のための予測ブロックに対応する予測モードを、前記処理済みブロックについて決定済みの符号化モードに対応する予測モードに応じて、所定の複数種類の予測モードの中から決定する予測モード決定工程と、
前記予測モード決定工程にて決定した個々の予測モードについて前記差分を算出すると共に、算出した差分のうち、最小の差分に対応する予測モードを、前記処理対象ブロックの符号化モードに決定する符号化モード決定工程と、
複数の前記処理済みブロックが前記符号化モードとしてそれぞれ採った前記予測モードの組みに対応させて、前記処理対象ブロックの前記符号化モードの候補とすべき最小限の前記予測モードを、テーブルとして予め設定する設定工程と、を有し、前記予測モード決定工程では、前記所定の複数種類の予測モードのうち、
前記処理済みブロックについて決定済みの符号化モードと、
前記処理済みブロックをなす一部の画素値の平均値に基づく符号化モードと、
前記処理済みブロックについて決定済みの符号化モードを基に前記テーブルから読み出した予測モードとを、
前記差分算出のための候補に決定するようにしている。

本発明の画像符号化方法の前記テーブルに予め設定した候補としての予測モードは、前記処理済みブロックの符号化モードとして決定し得る前記複数種類の各モードについて、前記処理済みブロックと、前記処理対象ブロックとの間で想定される相関性に基づいて設定したモードとしている。

本発明の画像符号化装置は、
入力フレーム画像のうち、複数画素からなる処理対象ブロックについて、その処理対象ブロックに対応する予測ブロックを、該処理対象ブロックに隣接するところの、該入力フレーム画像内の処理済みブロックの画素値に基づいて作成し、作成した予測ブロックと、該処理対象ブロックとの差分を算出すると共に、算出した差分を基に決定した符号化モードによって符号化するフレーム内予測符号化手段を備える画像符号化装置であって、
前記フレーム内予測符号化手段は、
前記処理対象ブロックを符号化するための符号化モードの候補となる、前記処理対象ブロックに関する差分算出のための予測ブロックに対応する予測モードを、前記処理済みブロックについて決定済みの符号化モードに対応する予測モードに応じて、所定の複数種類の予測モードの中から決定する予測モード決定手段と、
前記予測モード決定工程にて決定した個々の予測モードについて前記差分を算出すると共に、算出した差分のうち、最小の差分に対応する予測モードを、前記処理対象ブロックの符号化モードに決定する符号化モード決定手段と、
複数の前記処理済みブロックが前記符号化モードとしてそれぞれ採った前記予測モードの組みに対応させて、前記処理対象ブロックの前記符号化モードの候補とすべき最小限の前記予測モードが予め設定されたテーブルと、を有し、
前記予測モード決定手段は、
前記所定の複数種類の予測モードのうち、
前記処理済みブロックについて決定済みの符号化モードと、
前記処理済みブロックをなす一部の画素値の平均値に基づく符号化モードと、
前記処理済みブロックについて決定済みの符号化モードを基に前記テーブルから読み出した予測モードとを、
前記差分算出のための候補に決定するようにしている。

本発明のコンピュータ・プログラムは、
入力フレーム画像のうち、複数画素からなる処理対象ブロックについて、その処理対象ブロックに対応する予測ブロックを、該処理対象ブロックに隣接するところの、該入力フレーム画像内の処理済みブロックの画素値に基づいて作成し、作成した予測ブロックと、該処理対象ブロックとの差分を算出すると共に、算出した差分を基に決定した符号化モードによって符号化する画像符号化装置の動作制御のためのコンピュータ・プログラムであって、コンピュータに、
前記処理対象ブロックを符号化するための符号化モードの候補となる、前記処理対象ブロックに関する差分算出のための予測ブロックに対応する予測モードを、前記処理済みブロックについて決定済みの符号化モードに対応する予測モードに応じて、所定の複数種類の予測モードの中から決定する予測モード決定機能と、
前記予測モード決定機能にて決定した個々の予測モードについて前記差分を算出すると共に、算出した差分のうち、最小の差分に対応する予測モードを、前記処理対象ブロックの符号化モードに決定する符号化モード決定機能と、
複数の前記処理済みブロックが前記符号化モードとしてそれぞれ採った前記予測モードの組みに対応させて、前記処理対象ブロックの前記符号化モードの候補とすべき最小限の前記予測モードを、テーブルとして予め設定する設定機能と、を実現させるためのコンピュータ・プログラムであり、
前記予測モード決定機能では、
前記所定の複数種類の予測モードのうち、
前記処理済みブロックについて決定済みの符号化モードと、
前記処理済みブロックをなす一部の画素値の平均値に基づく符号化モードと、
前記処理済みブロックについて決定済みの符号化モードを基に前記テーブルから読み出した予測モードとを、
前記差分算出のための候補に決定するようにしている。

上記の本発明によれば、フレーム画像をフレーム内予測によって符号化するに際して、符号化モード決定までの計算量を削減することができる。

即ち、本発明では、まず、フレーム画像内の処理対象ブロックを符号化するための符号化モードの候補となる、前記処理対象ブロックに関する差分算出のための予測ブロックに対応する予測モードを、前記処理済みブロックについて決定済みの符号化モードに対応する予測モードに応じて、所定の複数種類の予測モードの中から決定する。次に、本発明では、決定した個々の予測モードについて前記差分を算出すると共に、算出した差分のうち、最小の差分に対応する予測モードを、前記処理対象ブロックの符号化モードに決定する。

このように、本発明では、前記処理済みブロックについて決定済みの符号化モードに基づいて所定の複数種類の予測モードの中から決定された必要最小限の予測モードについてのみ差分計算を行う。従って、前記所定の複数種類の全ての予測モードについて前記差分計算を個別に行っていた従来の手順と比較して、前記処理対象ブロックの符号化モードを決定する際の計算量を大幅に削減することができる。

以下、本発明を、一例として、代表的な携帯端末である携帯電話機に適用した実施形態により、図面を参照して詳細に説明する。

＜携帯電話機のハードウェア構成＞
はじめに、本実施形態に係る携帯電話機のハードウェアの構成例について説明する。図１は、本発明を適用可能な携帯電話機の構成を例示するブロック図である。

本実施形態において、携帯電話機１００は、大別して、制御回路１、アンテナ２、無線送受信回路３、操作デバイス４、ポインティングデバイス５、表示デバイス６、撮像デバイス７、マイク８、並びにスピーカ９を備える。

制御回路１は、ＣＰＵ(Central Processing Unit)１１、動作用メモリ１２、保持用メモリ１３、符号化／複合化器１４、及び不図示のハードウェアを備える。制御回路１において、ＣＰＵ１１は、保持用メモリ１３から読み出したプログラム群を実行することにより、携帯電話機１００の各部の動作を司る。

具体的には、制御回路１のＣＰＵ１１は、無線送受信回路３で復調された信号から自機の呼び出し番号を検出することにより、着信報知を行う。さらに、制御回路１のＣＰＵ１１は、音声信号やデジタルデータ信号の処理を行うことにより、マイク８及びスピーカ９を利用した音声通話、メール送受信機能、撮影画像等のデータ通信を実現する。

また、制御回路１のＣＰＵ１１は、動作用メモリ１２に読み出されたプログラム群を実行するに際して、操作デバイス４及びポインティングデバイス５を介してユーザが入力した指示に従う。

更に、制御回路１のＣＰＵ１１は、撮像デバイス７による撮影画像の符号化、並びに圧縮画像データの復号化を行うべく、符号化／複合化器１４の動作を管理する。

符号化／複合化器１４は、撮像デバイス７による撮影画像（フレーム画像）を、所定の符号化データ形式（Ｈ．２６４／ＡＶＣ形式）に準拠した圧縮画像データに圧縮する（詳細は後述する）。更に、符号化／複合化器１４は、圧縮画像データを、フレーム単位のデジタル画像データに復号する。符号化／複合化器１４から出力される圧縮画像データは、動作用メモリ１２に一時記憶される。ここで、複合化対象の圧縮画像データは、携帯電話機１００の外部より入手した圧縮画像データ、或いは、符号化／複合化器１４にて符号化した後、自装置内部に記憶していた圧縮画像データである。

撮像デバイス７は、ＣＰＵ１１の動作指示に従って撮影したフレーム画像を、制御回路１に入力する。

表示デバイス６は、ＣＰＵ１１の動作指示に従って、操作デバイス４及びポインティングデバイス５に対するユーザの操作と連動した各種入力内容を表示する。更に、表示デバイス６は、ＣＰＵ１１の動作指示に従って、撮像デバイス７による撮影画像や外部より取得した動画像等を表示する。

動作用メモリ（ＲＡＭ：random access memory）１２は、ＣＰＵ１１の動作時のワーク用として使用される。

保持用メモリ１３は、不揮発メモリ（Flash Memory等）であって、例えば、ＣＰＵ１１の動作プログラム、各種パラメータ、自機の呼び出し番号（発番号）、ユーザデータ（例えば、メール文書や電話番号）等を保持する。

アンテナ２は、位相変調された電波を送受信するほか、公知の無線通信端末のアンテナと同様の機能を有する。

無線送受信回路３は、アンテナ２から受信した電波の復調と、制御回路１から出力されるデジタル信号に対して位相変調を行う。また、無線送受信回路３は、一般的な無線通信端末の無線送受信回路と同様の機能を有する。制御回路１のＣＰＵ１１は、動作用メモリ１２に一時記憶された圧縮画像データを、無線送受信回路３を介して送出する。

そして、マイク８には、ユーザの音声が入力される。スピーカ９は、ユーザに対して音声（音響）を出力する。

尚、携帯電話１００が上記の装置構成において外部装置との間で実行するデータ送受信処理、音声処理等の動作自体は、現在では一般的な技術を採用することができる。また、符号化／複合化器１４にて行われる複合化処理については、Ｈ．２６４／ＡＶＣ規格に基づく一般的な手順を採用することができる。このため、本実施形態における詳細な説明は省略する。

＜符号化／複合化器１４＞
次に、制御回路１内の符号化／複合化器１４の詳細について、図２乃至図９を参照して説明する。

図２は、本発明の一実施形態に係る符号化／複合化器のうち、符号化処理を行うための回路構成を示すブロック図である。同図に示す符号化／複合化器１４は、「フレーム間予測」と、「フレーム内予測（イントラ予測）」とを適宜選択して行う。ここで、「フレーム間予測」は、入力フレーム２０１の動き予測を、参照フレーム２１２を参照して行う方法である。一方、「フレーム内予測」は、同一フレーム（符号化対象の単一の入力フレーム２０１）だけを参照して動画予測を行う方法である。

符号化／複合化器１４は、動画像を構成する個々のフレーム（入力フレーム２０１）に対して符号化処理を順次施す。即ち、符号化／複合化器１４は、入力フレーム２０１と、動き補償回路２０６の出力フレーム（後述する予測フレーム）またはイントラ予測回路２０８の出力フレームとの差分情報を求め、その差分情報をＤＣＴ（離散コサイン変換）回路２０２に入力する。

ここで、係る差分を採る際の出力フレームの選択を切り替えるスイッチ２１４は、例えば、符号化対象のフレーム種別等に応じて、ＣＰＵ１１の指示に応じて切り替えられる。但し、係るスイッチ２１４に必要とされる切り替え動作は、エンコーダへの実装条件に依存する面が大きいので、本実施形態においても一義的に決められるものではない。

そして、ＤＣＴ回路２０２は、入力された差分情報に周波数変換を施す。次に、量子化回路２０３は、周波数変換された差分情報を量子化する。そして、符号化回路２０４は、量子化された差分情報にエントロピー符号化を施した後、動作用メモリ１２に一時記憶する。

また、量子化回路２０３の出力は、符号化回路２０４に入力される一方で、逆量子化回路２１１にも入力される。逆量子化回路２１１及びその後段の逆ＤＣＴ回路２１０は、量子化回路２０３にて量子化された差分情報を、逆量子化及び復号化することにより、再構成フレームを生成する。

そして、この再構成フレームには、フィルタ２０９にて雑音除去などの処理が施される。フィルタ２０９から出力されるフィルタ処理後の再構成フレームは、参照フレーム２１２として、動作用メモリ１２にて保持される。

そして、動作用メモリ１２に保持した参照フレーム２１２は、フレーム間予測に利用される。即ち、符号化／複合化器１４は、フレーム間予測を実行する場合、まず、参照フレーム２１２と、入力フレーム２０１との間の動きベクトルを、動き検出回路２０５にて検出する。そして、動き補償回路２０６は、動き検出回路２０５にて検出された動きベクトルに基づいて予測フレームを作成する。そして、上述したように、スイッチ２１４が動き補償回路２０６を選択しているとき、当該予測フレームと、入力フレーム２０１との差分情報は、ＤＣＴ回路２０２に入力される。

一方、動き補償回路２０６の出力フレームまたはイントラ予測回路２０８の出力フレームが加算された再構成フレームは、イントラ予測回路２０８及びモード選択回路２０７にも入力される。そして、係る再構成フレームは、イントラ予測回路２０８において、本実施形態において特徴的なフレーム内予測処理に活用される。

即ち、フレーム内予測においては、符号化対象の入力フレーム２０１に対して、どのようなフレーム内予測方法を用いて動き予測を行うかを、モード選択回路２０７にて決定する。モード選択回路２０７は、Ｈ．２６４／ＡＶＣにおけるフレーム内予測と同様に、大別して、１６×１６画素のマクロブロック単位で予測する方法と、４×４画素のブロック単位で予測する方法の何れかを選択することができる。但し、本実施形態では、４×４画素のブロック単位で動き予測を行う（詳細は図３を参照して後述する）。そして、イントラ予測回路２０８は、モード選択回路２０７にて決定された方法で、予測フレームを作成する。

尚、上述した回路構成を備える符号化／複合化器１４の各構成は、例えば、制御回路１に共通のシステムクロック（同期クロック）２１３に従って動作する。また、ＣＰＵ１１は、例えば、処理対象の入力フレーム２０１を動作メモリ１２に一時記憶するのに応じて、符号化／複合化器１４に対して符号化処理の開始を指示する。そして、ＣＰＵ１１は、例えば、符号化／複合化器１４から当該入力フレームに対する符号化完了を表す通知を入手するのに応じて、次の入力フレーム２０１を用意すると共に、符号化／複合化器１４に対して符号化処理を指示する。

＜フレーム内予測の方法＞
ここで、Ｈ．２６４／ＡＶＣの一般的な処理構成と重複するが、本実施形態に係るフレーム内予測においても採用する基本的な処理構成について説明し、その説明の後、本実施形態に係る特徴的な処理構成について説明する。

まず、入力フレーム２０１及びその入力フレームを構成する４×４画素のブロック（４×４ブロック）との関係、並びにフレーム内予測の方法について説明する。

図４は、本実施形態に係るフレーム内予測におけるフレーム画像（入力フレーム２０１）及びそのフレーム画像を構成するマクロブロック、並びにそのマクロブロックを構成するサブマクロブロックを説明する図である。

図４に示すように、本実施形態に係るフレーム内予測において、符号化対象のフレーム画像（入力フレーム２０１）は、１６×１６ブロック（マクロブロック）を構成するサブマクロブロックであるところの、４×４ブロック（同図に斜線で示すリフレッシュ４×４ブロックを含む）単位で動き予測が行われる。処理対象の入力フレーム２０１を符号化するに際しての４×４ブロックの選択は、一般的なジグザグスキャンによって選択すれば良い。尚、リフレッシュ４×４ブロックについては後述する。

図５は、処理対象の４×４ブロックと、処理済みの再構成フレームの画素との関係を説明する代表図である。また、図６は、処理対象の４×４ブロックの符号化を行う際の候補となる９つのモードを説明する図である。

図５に示す代表図において、ａ乃至ｐは、処理対象の４×４ブロック（以下、「処理対象ブロックＸ」と称する場合がある）を構成する１６個の画素を表す。また、Ａ乃至Ｍは、当該処理対象ブロックＸの動き予測に先だって既に処理された再構成フレームの一部をなす画素を表す。そして、係るａ乃至ｐ及びＡ乃至Ｍの位置関係は、図６に示す９つのモード（モード０乃至モード８）においても同様である。但し、図６（ｃ）に示すモード２では、画素Ａ〜Ｄ、画素Ｉ〜Ｌの値の平均値を、予測ブロックを構成する画素値の予測値として用いる。

本実施形態において、符号化／複合化器１４が行うフレーム内予測は、Ｈ．２６４／ＡＶＣにおけるフレーム内予測と基本的に同様な手順である。

即ち、符号化／複合化器１４は、再構成フレームの画素Ａ乃至Ｍを用いて、処理対象ブロックＸの画素ａ乃至ｐに関する４×４画素の予測ブロックを作成する。更に、符号化／複合化器１４は、作成した予測ブロックと、実際の入力ブロック（処理対象ブロックＸ）との差分を採り、その差分を符号化する。

より具体的に、符号化／複合化器１４は、上記予測ブロックの作成に際して、処理対象ブロックＸの画素ａ乃至ｐに対応する各画素の予測値を求める。本実施形態に係る符号化／複合化器１４においても、上記予測ブロックの作成に際して参照すべく、Ｈ．２６４／ＡＶＣと同様に、図６に（ａ）乃至（ｉ）で示す９通りのモード（モード０乃至モード８）が予め用意されている。符号化／複合化器１４は、Ｈ．２６４／ＡＶＣと同様に、予測ブロックの設定に際して、係る９種類の何れのモードも参照することができる。

そして、係る９通りのモードにおいて、処理対象ブロックＸをなす画素ａ乃至ｐの位置に示された矢印の始点は、再構成フレームの画素Ａ乃至Ｍのうち、予測値を決定するときに基準とすべき画素を表す。例えば、図６（ｂ）に示すモード１は、画素ａ〜ｄの予測値を画素Ｉ、画素ｅ〜ｈの予測値を画素Ｊ、画素ｉ〜ｌの予測値を画素Ｋ、画素ｍ〜ｐの予測値を画素Ｌとする。図６に示す他のモードにおいても、予測値の決定に際して基準とすべき画素と矢印の関係は同様である。

そして、符号化／複合化器１４は、予測ブロックを構成する４×４画素の各予測値と、処理対象ブロックＸをなす画素ａ乃至ｐの画素値との差分を計算する。

また、Ｈ．２６４／ＡＶＣの一般的な処理構成では、各モードについて上記手順によって算出した差分の合計値ＳＡＥ（Sum of Absolute Error）を計算する。例えば、図６（ｂ）に示すモード１のＳＡＥは、
ＳＡＥ＝（ａ＋ｂ＋ｃ＋ｄ−Ｉ×４）＋（ｅ＋ｆ＋ｇ＋ｈ−Ｊ×４）＋（ｉ＋ｊ＋ｋ＋ｌ−Ｋ×４）＋（ｍ＋ｎ＋ｏ＋ｐ−Ｌ×４），
なる数式によって求めることができる。

そして、Ｈ．２６４／ＡＶＣの一般的な処理構成では、符号化効率を向上すべく、上記９種類の各モードについて算出したＳＡＥが最小になるモードを選択する。そして、このように算出した差分を符号化することによって符号化長（即ち、圧縮画像データの大きさ）を短縮する。

しかしながら、全ての処理対象ブロックＸについて上記９種類のモードの計算を行う処理構成は、符号化効率を確実に向上させることができるものの計算量が多い。このため、上記フレーム内予測の処理構成が実装される電子機器においては、実装されるハードウェアのコスト低減や消費電力削減の観点から、計算量の軽減が望まれる。

そこで、本実施形態においては、制御回路１内の符号化／複合化器１４において、図５及び図６を参照して上述した処理構成を基本としつつ、以下に説明する処理構成及びイントラ予測回路２０８（図３）を採用することにより、係る計算量の軽減を実現する。その際、本実施形態では、画像の性質上、隣接する画素或いはブロック画像間においては相関性が高いという一般的な特性を利用する。

図７は、本実施形態に係るイントラ予測回路２０８における動き予測の特徴を説明する図である。

同図において、処理対象ブロックＸは、符号化対象の入力フレームの一部を構成するところの、上述した画素ａ乃至ｐに相当する４×４画素のブロックである。一方、ブロックＡ及びＢは、上述した画素Ａ乃至Ｍの一部を含むところの、当該入力フレームを対象とする再構成フレームの一部をなすブロックである。また、これらのブロック内に示す矢印は、後述する「モードベクトル」を模式的に示している。尚、以下の説明においては、ブロックＢについて決定されたモードを「モードＢ」、ブロックＡについて決定されたモードを「モードＡ」と称する。

隣接する画素或いは画素ブロック間においては相関性が高いという一般的な特性は、図７に示したブロックＡ及びＢと、処理対象ブロックＸとの間においても当てはまる。そこで本実施形態では、４×４ブロックのフレーム内予測において、処理済みのブロックＡ及びＢのモードを記憶しておき、記憶しているブロックＡ及びＢのモードを利用して、処理対象ブロックＸのモードを決定する。より具体的に、本実施形態では、処理対象ブロックＸのモード決定に際して、ＳＡＥを算出するための上記９通り全てのモードを対象候補とするのでは無く、ブロックＡ及びＢにて既に決定済みのモードに基づいて、対象候補を必要最小限に絞り込む。これにより、本実施形態では、上述した一般的な処理構成の如く９通りのモード全てについてＳＡＥを計算する場合と比較して、少ない計算量によって処理対象ブロックＸのモードを決定することができる。

尚、フレーム画像内における処理対象ブロックＸの位置によっては、参照すべきブロックＡ及びＢが存在しない場合がある。そのような場合には、本実施形態においても、上記一般的な処理構成の如く９通りのモード全てについてＳＡＥを計算する。

次に、上述した本実施形態に係る特徴的な見地を実現するイントラ予測回路２０８の構成について説明する。

＜イントラ予測回路２０８＞
図３は、図２に示す符号化／複合化器１４に含まれるイントラ予測回路２０８の回路構成を示すブロック図である。はじめに、イントラ予測回路２０８の各部の機能について、動作の流れに即して説明する。

符号化／複合化器１４において逆量子化及び逆ＤＣＴを経て生成された再構成フレームは、イントラ予測回路２０８の再構成フレームバッファ５０７に格納される。そして、処理済みのブロックＡ及びＢは、再構成フレームバッファ５０７に格納された再構成フレームの中から、処理対象ブロックＸの位置に応じて抽出される。ここで、当該再構成フレームから抽出されたブロックＡ及びＢは、図５に示した画素Ａ〜Ｍに対応する画素において、当該再構成フレームの画素値を保持する。そして、当該抽出されたブロックＡ及びＢは、ＳＡＥ計算回路５０１に入力される。

一方、入力フレーム２０１のうち、４×４画素（画素ａ〜ｐ）の処理対象ブロックＸは、イントラ予測回路２０８内のＳＡＥ計算回路５０１に入力される。更に、ＳＡＥ計算回路５０１には、予測モード候補決定回路５０５にて絞り込まれた対象候補を表すモード情報が入力される。この予測モード候補決定回路５０５は、ＳＡＥ計算回路５０１における当該処理対象ブロックＸの計算処理に先だって、既に処理済みのブロックＡ及びＢのモード（モードＡ及びＢ）と、予測モードテーブル５０６に記述されたルールとに基づいて、当該処理対象ブロックＸについてのＳＡＥ計算のための対象候補を決定する。ここで、予測モードテーブル５０６は、符号化／複合化器１４内の不揮発性の記憶媒体に予め格納されている（保持用メモリ１３に格納しても良い）。尚、予測モードテーブル５０６の詳細については、図８及び図９を参照して後述する。

そして、ＳＡＥ計算回路５０１では、上記の如く入力された情報に基づいて、当該処理対象ブロックＸに関するＳＡＥを計算する。即ち、ＳＡＥ計算回路５０１は、当該処理対象ブロックＸに関して、ブロックＡ及びＢの画素Ａ〜Ｍの画素値を利用して、前記モード情報が表す各対象候補のモード（即ち、最小限に絞り込まれた各モード）についてＳＡＥを計算する。ＳＡＥ計算回路５０１が算出した当該各モードのＳＡＥは、モード決定回路５０２に入力される。

次に、モード決定回路５０２は、入力された当該各モードのＳＡＥの中から、最小のＳＡＥを検出し、検出した当該最小のＳＡＥに対応するモードを、当該処理対象ブロックＸのモードに決定する。そして、モード決定回路５０２は、決定したモードを表す情報を、予測回路５０３と、結果格納バッファ５０４とに対して出力する。

結果格納バッファ５０４は、モード決定回路５０２が出力したモードを表す情報を保持する。即ち、結果格納バッファ５０４が保持するモードを表す情報は、当該処理対象ブロックＸについてだけでなく、それまでに処理した各ブロックについても保持している。

より具体的に、結果格納バッファ５０４は、当該処理対象ブロックＸについて決定されたモードを表す情報を記憶するのに先だって、既に、隣接するブロックＡについて先に決定されたモードＡ、並びにブロックＢについて先に決定されたモードＢを保持している。また、再構成フレームバッファ５０７に格納されている再構成フレームのうち、当該ブロックＡ及びＢに相当する２つの４×４ブロックは、ＳＡＥ計算回路５０１によって指定される。そこで、予測モード候補決定回路５０５は、ＳＡＥ計算回路５０１における当該処理対象ブロックＸの計算処理に先だって、結果格納バッファ５０４から、当該処理対象ブロックＸに隣接するブロックＡのモードＡと、ブロックＢのモードＢとを読み出す。

次に、予測モード候補決定回路５０５は、予測モードテーブル５０６に記述されたルールを参照することにより、ブロックＡのモードＡと、ブロックＢのモードＢとに基づいて、当該処理対象ブロックＸに最適な、必要最小限の対象候補のモードを決定する。尚、予測モード候補決定回路５０５における対象候補の決定手順については、図８及び図９を参照して後述する。

そして、予測モード候補決定回路５０５にて決定されたところの、ＳＡＥ計算のための対象候補を表すモード情報は、ＳＡＥ計算回路５０１に入力される。そこで、ＳＡＥ計算回路５０１は、当該処理対象ブロックＸについて、予測モード候補決定回路５０５より入力された対象候補のモード（モード情報）毎にＳＡＥの計算を行うと共に、その計算結果を、モード決定回路５０２に設定する。

一方、予測回路５０３は、モード決定回路５０２にて上述した手順で決定されたモードを表す情報を用いて、当該処理対象ブロックＸについての差分ブロックを作成する。そして、作成された差分ブロックは、イントラ予測回路２０８から出力される。

＜予測モード候補決定回路５０５における対象候補の決定方法＞
次に、予測モード候補決定回路５０５において、処理対象ブロックＸのＳＡＥ計算のための対象候補となるモードを決定する際の手順について説明する。

図６を参照して上述した９種類のモードに示された矢印は、隣り合う画素値の変化の方向を反映している。そこで、当該９種類のモードを、同一点を始点とするベクトルとして一括して表すと、図８の如く表現できる。以下の説明では、これらのベクトルを、「モードベクトル」と称する。

図８は、９種類のモード（モード０乃至８）に対応するモードベクトルを示す図である。同図に示す各モードベクトルの終点付近に記載された数値は、モード０乃至８に対応するモード値を示す（ＤＣ成分（直流成分、平均値）を利用するモード２の場合を除く）。各モードベクトル間の角度（単位角度）は２２．５度である。以下の説明では、単位角度である２２．５度の角度差をなす２つのモードベクトルを、「隣接モード」と称する。

以下の説明では、図８に示すモードベクトルを用いて、予測モードテーブル（図９）に記述すべき構成規則について説明する。

上述したように、本実施形態では、計算量を軽減すべく、画像が有する一般的な特性を利用する。即ち、本実施形態の知見は、ＳＡＥ計算のための対象候補を既に決定したブロックＡ（モードＡ）と、ブロックＢ（モードＢ）とが近い方向のモードベクトルであれば、処理対象ブロックＸのモードベクトルも同様乃至は類似した方向のモードベクトルである確率が高い、という知見に基づく。そして、本実施形態では、係る知見を基に、以下に説明するルールを、予測モードテーブル５０６において具現化している。

但し、予測モード候補決定回路５０５においてＳＡＥ計算のための対象候補の決定する際、原則（前提条件）として、ブロックＡのモードＡ、ブロックＢのモードＢ、並びにモード２の計３種類のモードは、必ず対象候補（予測モード）として設定する。ここで、モード２を対象候補に設定する理由は、モード２はＤＣ成分に相当するので、平均的なＳＡＥ値を求めるためには全ての処理対象ブロックＸについて計算するほうが妥当な結果が得られるからである。

そして、上記３種類のモード以外は、以下の（１）乃至（７）のルールに記載する如く画像の相関性に従って、予測モードテーブル５０６に記述する。

（１）モードＡとモードＢとが等しく、且つモード２でない場合：
この場合は、ブロックＡとブロックＢとの相関性が他の場合と比較して最も高いので、当該両ブロックと、処理対象ブロックＸとの相関性も高いと考えられる。よって、この場合は、前提条件である上記３種類のモード以外の新たなモードを選択する必要は無い。

即ち、モードＡとモードＢとが等しく、且つモード２でない場合は、当該モードＡ（＝Ｂ）と、モード２との計２種類の予測モードを選択すれば良い。

（２）モードＡとモードＢとが隣接モードの場合：
この場合、ブロックＡとブロックＢとの相関性がかなり高いので、当該両ブロックと、処理対象ブロックＸとの相関性も高いと考えられる。よって、この場合も、上記ルール（１）と同様に、前提条件である上記３種類のモード以外の新たなモードを選択する必要は無い。

即ち、モードＡとモードＢとが隣接モードの場合は、上記前提条件であるところの、当該モードＡ、当該モードＢ、並びにモード２の計３種類のモードを選択すれば良い。

（３）モードＡ及びモードＢが共にモード２の場合：
この場合、ブロックＡとブロックＢとの相関性は低いので、当該両ブロックと、処理対象ブロックＸとの相関性も低いと考えられる。よって、この場合は、モードＡ及びＢを基に処理対象ブロックＸのモードを予想することは困難である。但し、当該ブロックＡとブロックＢとがモード２であれば、それらに隣接する処理対象ブロックＸもモード２である可能性はある。そこでこの場合は、前提条件である上記３種類のモードに加えて、フレーム画像をなす個々の画素形状を考慮して、垂直方向のモード０と、水平方向のモード１とを選択する。

即ち、モードＡ及びモードＢが共にモード２の場合は、モード０、モード１、並びに上記前提条件に基づくモード２、の計３種類のモードを選択すれば良い。但し、この場合に、より正確なモード予測を行うことを優先するためには、他のモードも選択すると良い。

（４）モードＡまたはモードＢの何れかがモード２の場合：
この場合は、モード２であると決定済みのブロックＡまたはＢの何れかのブロックにおいて、そのブロックをなす４×４画素のＤＣ成分が強いことを示している。そしてこの場合は、モード２とは異なる他方のブロックと、処理対象ブロックＸとの間に相関性がある可能性がある。よって、この場合は、前提条件である上記３種類のモードに加えて、モード２のブロックとは異なるもう一方（他方）のブロックのモードの隣接モードを選択する。

即ち、モードＡまたはモードＢの何れかがモード２の場合は、
・モード２のブロック（ＡまたはＢ）とは異なるもう一方（他方）のブロックのモード、
・当該モードの隣接モード（ブロックの位置関係から１または２種類）、
・上記前提条件に基づくモード２、
の計３種類または４種類のモードを選択すれば良い。

（５）モードＡとモードＢのモードベクトルの差が９０度未満の場合：
この場合は、ブロックＡとブロックＢとの間の相関性が少なからずあるので、当該両ブロックと、処理対象ブロックＸとの間でも同様な相関性があると考えられる。よって、この場合は、前提条件である上記３種類のモードに加えて、ブロックＡとブロックＢの双方のモードベクトル（モードＡ及びモードＢ）に挟まれる全てのモードベクトルに対応するモードを選択する。

即ち、モードＡとモードＢのモードベクトルの差が９０度未満の場合は、
・モードＡ及びモードＢに挟まれる全てのモードベクトルに対応するモード（０乃至最大で２種類）、
・上記前提条件に基づく３種類のモード
の計３種類乃至５種類のモードを選択すれば良い。

（６）モードＡとモードＢのモードベクトルの差が９０度の場合：
この場合も、上記ルール（５）の場合と基本的には同様に、ブロックＡとブロックＢとの間の相関性が少なからずあるので、当該両ブロックと、処理対象ブロックＸとの間でも同様な相関性があると考えられる。但しこの場合は、モードＡ及びモードＢに挟まれる全てのモードベクトルの数が上記ルール（５）の場合よりも多い。このため同様な基準でモード選択を行うと、計算量の軽減が実現できないおそれがある。そこで、この場合は、計算効率を考慮して、モードＡ及びモードＢの双方のモードベクトルに挟まれる全てのモードベクトルを候補にするのではなく、当該双方のモードベクトルからそれぞれ４５度の角度をなすモードベクトルを代表として選択する。

即ち、モードＡとモードＢのモードベクトルの差が９０度の場合は、
・モードＡ及びモードＢの双方のモードベクトルに挟まれ、且つ当該双方のモードベクトルと４５度の角度をなすモードベクトルに対応するモード、
・上記前提条件に基づく３種類のモード
の計４種類のモードを選択すれば良い。

（７）モードＡとモードＢのモードベクトルの差が９０度超の場合：
この場合は、ブロックＡとブロックＢとの間の相関性は低いと考えられる。よって、この場合は、モードＡ及びＢを基に処理対象ブロックＸのモードを予想することは困難である。しかし、この場合においても、ブロックＡまたはブロックＢと、処理対象ブロックＸとの間に相関性がある可能性もある。但しこの場合に、モードＡ及びモードＢに挟まれる全てのモードベクトルに対応するモードを選択し、選択した各モードについてＳＡＥを計算するのは非効率である。そこで、モードＡとモードＢのモードベクトルの差が９０度超の場合は、上記前提条件に基づく３種類のモードに加えて、モードＡ及びモードＢの双方のモードベクトルに挟まれる各モードベクトルの中から、代表として２つ選択する。代表となる２つのモードベクトルは、一例として、ブロックＡのモードベクトル（モードＡ）と、ブロックＢのモードベクトル（モードＢ）とがなす角度を等分割する２つのモードベクトルを選択する。

即ち、モードＡとモードＢのモードベクトルの差が９０度超の場合は、
・モードＡ及びモードＢの双方のモードベクトルに挟まれるところの、代表となる２つのモードベクトルに対応する２種類のモード、
・上記前提条件に基づく３種類のモード
の計５種類のモードを選択すれば良い。

図９は、本実施形態において処理対象ブロックＸのＳＡＥ計算のための対象候補を選択する際に参照する予測モードテーブルを示す図である。同図に示す予測モードテーブル５０６は、上述したルール（１）乃至（７）に基づいて、当該９種類のモードベクトルを、処理対象ブロックＸに対して具体的に当てはめた例を表す。

図９に示す予測モードテーブル５０６において、列方向はブロックＢについて決定済みのモードであり、行方向はブロックＡについて決定済みのモードである。そして、係るブロックＡ及びＢの各モードによって特定されるカラム内の数値は、処理対象ブロックＸのＳＡＥ計算のための対象候補となるモード（予測モード）を表す。また、図９に示す予測モードテーブル５０６において、「−」印が付されたカラムは、対象候補を選択するに際して、同テーブルから選択するモードは無いことを表す。そして、係る予測モードテーブル５０６（図９）及び所定の３種類のモードは原則として選択するという前提条件から判るように、ＳＡＥ計算のための対象候補となるモードの種類は、最大で５つ、最小で２つである。

従って、本実施形態によれば、画像内容（即ち、画素値の分布状況）及び入力フレーム２０１内における処理対象ブロックＸの位置にも依存するが、ある１つの注目する処理対象ブロックＸについて９種類のモードを全て計算する場合と比較して、略半分以下の計算量に軽減することができる。

即ち、本実施形態では、処理済みのブロックＡ及びＢについて決定済みの符号化モード（モードＡ、モードＢ）に基づいて９種類の予測モードの中から決定された必要最小限の予測モードについてのみ差分計算を行う。ここで、必要最小限の予測モードとは、前提条件である３種類のモード、並びに予測モードテーブル５０６から読み出した予測モードである。従って、係る９種類の全ての予測モードについて差分計算を個別に行っていた従来の手順と比較して、処理対象ブロックＸの符号化モードを決定する際の計算量を大幅に削減することができる。

尚、上述した手順によるモード予測（モード選択）をし続けると、９種類のモード全てについてＳＡＥを算出した結果を基に最適なモードを決定した場合と比較して、誤差が広がる可能性がある。そこで、本実施形態では、図４に示すように、１６×１６マクロブロック毎に、リフレッシュ用の４×４ブロック（リフレッシュ４×４ブロック）を定義する。そして、フレーム画像内において処理対象ブロックＸがリフレッシュ４×４ブロックに相当する場合、イントラ予測回路２０８は、当該ブロックＸに対して９種類の全てのモードについてＳＡＥを計算し、その計算結果から最小のＳＡＥとなるモードを選択する。

また、本実施形態において、イントラ予測回路２０８は、フレーム画像内の左端及び上端に位置する個々の４×４ブロックを、リフレッシュ４×４ブロックとして扱う。この理由は、ジグザグスキャンの走査方向の関係から、処理対象ブロックＸがフレーム画像の左端及び上端に位置する４×４ブロックの場合には、モード予測に際して参照すべきブロックＡまたはＢが存在しないからである。

＜実施形態の変形例＞
（第１の変形例）
図１０は、本実施形態の第１の変形例に係るイントラ予測回路２０８における動き予測の特徴を説明する図である。

本変形例では、処理対象ブロックＸのＳＡＥ計算対象のモードを決定する場合に、図１０に示す如く、当該ブロックＸに隣接する３つのブロックＡ乃至Ｃを利用する。そして、ブロックＡ乃至Ｃについて決定済みのモードＡ乃至Ｃを基に処理対象ブロックＸのＳＡＥ計算のための対象候補を選択する際のルールは、本変形例においても、上述したルール（１）乃至（７）に従えば良い。但し、本変形例では、変数がＡからＣの３種類となるため、図９に示した予測モードテーブルによってはブロックＣのモードＣを処理対象ブロックＸのモード予測に反映することができない。このため、本変形例では、例えば、３つのブロックＡ乃至Ｃを表す３次元のテーブルを用意する。或いは、本変形例では、例えば、新たにブロックＣ及びＡを参照するための予測モードテーブルを用意し、ブロックＡ及びＢを参照するための予測モードテーブルと適宜併用する等の装置構成を採用しても良い。

（第２の変形例）
上述した本実施形態では、携帯電話機１００内の制御回路１において、符号化／複合化器１４内のイントラ予測回路２０８をハードウェアによって構成した。係る装置構成に対して、本変形例では、上述した符号化／複合化器１４の機能を、ソフトウェアによって実現する。但し、符号化／複合化器１４の機能においてイントラ予測回路２０８の機能以外は、Ｈ．２６４／ＡＶＣの一般的な回路構成と略同様である。このため、係る回路構成において実現される処理手順を、制御回路１のＣＰＵ１１にて実行されるソフトウェアとして実現する際には、一般的な処理構成を採用することができる。そこで、本変形例では、係る特徴的なイントラ予測回路２０８の機能をソフトウェアとして実現する場合について説明するものとし、符号化／複合化器１４の機能全体に相当するソフトウェアの説明は省略する。

図１１は、本実施形態の第２の変形例において符号化／複合化器１４に実装されるイントラ予測機能モジュールのフローチャートである。係るフローチャートは、図１に示す携帯電話機１００内の制御回路１において、ＣＰＵ１１が実行するソフトウェア・プログラムの処理手順を表す。

はじめに、図１１において、Ｈ、Ｗは、入力フレーム２０１を構成する縦、横の画素数である。Ｂ［ｘ，ｙ］は、４×４画素の処理対象ブロックＸを表す。ここで、ｘ，ｙは、処理対象ブロックＸのインデックスであって、０≦ｘ≦（Ｗ／４）−１，０≦ｙ≦（Ｈ／４）−１なる値をとる。例えば、Ｈ＝６４、Ｗ＝６４の場合、フレーム画像中に４×４ブロックが２５６個存在することになり、ｘは０〜１５、ｙは０〜１５の値をとる。そして、本変形例では、係るイントラ予測機能モジュール（図１０）に対して、処理対象ブロックＸの４×４画素の画素値が入力されるのに応じて、その処理対象ブロックＸのインデックスｘ、ｙも入力されるものとする。

また、変数Ｔａｂｌｅ［ａ，ｂ］は、図９に示す予測モードテーブル（５０６）を表す。本変形例において、予測モードテーブル（５０６）は、例えば、保持用メモリ１３に格納すれば良い。変数Ｒｅｆ［ｉ］（０≦ｉ≦Ｗ−１）は、処理対象ブロックＸに先だって決定済みの過去の予測モードの値を表す。即ち、本変形例においても、ブロックＡ（モードＡ）とブロックＢ（モードＢ）とに基づいて処理対象ブロックＸのＳＡＥ計算対象のモードを決定する。このため、本変形例では、図３に示したイントラ予測回路２０８内の結果格納バッファ５０４の代わりに、変数Ｒｅｆ［ｉ］を用いて、ブロックＡ及びＢの決定済みのモードの値を保持する。

このような変数を用いて記載されたイントラ予測機能モジュール（図１１）において、まず、制御回路１のＣＰＵ１１は、処理対象ブロックＸ（Ｂ［ｘ，ｙ］）について、４×４画素の画素値と、当該ブロックＸを表すインデックスｘ，ｙとを、例えば動作用メモリ１２に入力する（ステップＳ８０１）。ここで、再構成フレームを格納する再構成フレームバッファ５０７は、例えば、動作用メモリ１２に用意すれば良い。そして、ＣＰＵ１１は、ステップＳ８０１において、処理済みのブロックＡ及びＢを、処理対象ブロックＸの位置に応じて抽出する。

次に、ＣＰＵ１１は、ステップＳ８０１にて入力した処理対象ブロックＸ（Ｂ［ｘ，ｙ］）の位置が入力フレーム２０１内においてリフレッシュ４×４ブロックに相当するか否かを判断する（ステップＳ８０２）。

そして、ステップＳ８０２にてＹＥＳ判定した場合（リフレッシュ４ｘ４ブロックの場合）、ＣＰＵ１１は、９種類全てのモードを、当該処理対象ブロックＸのＳＡＥ計算対象のモードの候補として選択する（ステップＳ８０３）。

一方、ステップＳ８０２にてＮＯ判定した場合（リフレッシュ４ｘ４ブロックではない場合）、ＣＰＵ１１は、Ｔａｂｌｅ［ａ，ｂ］（予測モードテーブル）に設定されているモードを候補として選択する（ステップＳ８０４）。但しこのとき、ｂ＝Ｒｅｆ［ｘ−１］、ａ＝Ｒｅｆ［ｘ−Ｗ］である。更に、ＣＰＵ１１は、上述した前提条件に基づく３種類のモードとして、モード２、モードＡ、モードＡを候補に追加する（ステップＳ８０５）。

ＣＰＵ１１は、ステップＳ８０３にて選択した９種類のモード、或いはステップＳ８０４及びステップＳ８０５にて選択した各モードについて、ＳＡＥ［ｍ］を計算する（ステップＳ８０６）。ここで、ｍ（０≦ｍ≦８）は、選択した各モードを表す。

ＣＰＵ１１は、ステップＳ８０６にて算出した各ＳＡＥ［ｍ］の中から最小値を求め、その最小値に対応するＳＡＥ［ｍ］のｍをＭに設定する（ステップＳ８０７）。

ＣＰＵ１１は、ステップＳ８０７にて設定したＭを、Ｒｅｆ［ｘ］に設定する（ステップＳ８０８）。そして、ＣＰＵ１１は、モードＭに基づいて、Ｂ［ｘ，ｙ］の差分ブロック情報を作成し（ステップＳ８０９）、作成した差分ブロック情報を、本イントラ予測機能モジュールの外部に出力する（ステップＳ８１０）。

そして、ＣＰＵ１１は、上記一連の処理（ステップＳ８０１乃至ステップＳ８１０）を、入力フレーム２０１内の個々の処理対象ブロックＸについて行う。

このような本変形例によっても、画像内容（即ち、画素値の分布状況）及び入力フレーム２０１内における処理対象ブロックＸの位置にも依存するが、上述した実施形態と同様に、ある１つの注目する処理対象ブロックＸについて９種類のモードを全て計算する場合と比較して、略半分以下の計算量に軽減することができる。

尚、本変形例は、上述した携帯電話機１００に対して、その説明において参照したフローチャート（図１１）の機能を実現可能なコンピュータ・プログラムを供給した後、そのコンピュータ・プログラムを、当該装置のＣＰＵ１１に読み出して実行することによって達成される。また、当該装置内に供給されたコンピュータ・プログラムは、読み書き可能なメモリ等の記憶デバイスに格納すれば良い。

また、前記の場合において、当該各装置内へのコンピュータ・プログラムの供給方法は、出荷前の製造段階、或いは出荷後のメンテナンス段階等において、適当な治具を利用して当該装置内にインストールする方法や、インターネット等の通信回線を介して外部よりダウンロードする方法等のように、現在では一般的な手順を採用することができる。そして、このような場合において、本発明は、係るコンピュータ・プログラムのコード或いは記憶媒体によって構成される。

尚、上述した本実施形態及びその変形例では、本発明に係る画像符号化の処理構成を、一例として携帯電話機に適用した場合について説明した。しかしながら、本発明の適用範囲は携帯電話機等の携帯端末だけに限られるものではない。例えば本発明は、パーソナルコンピュータ、ＰＤＡ（Personal Digital Assistant）等の情報処理装置、或いは、デジタルカメラ、ビデオカメラ、据え置き型のビデオレコーダ等のように、デジタル画像の符号化機能を必要とする各種の電子機器（画像処理装置）に適用して好適である。

本発明を適用可能な携帯電話機の構成を例示するブロック図である。 本発明の一実施形態に係る符号化／複合化器のうち、符号化処理を行うための回路構成を示すブロック図である。 図２に示す符号化／複合化器１４に含まれるイントラ予測回路２０８の回路構成を示すブロック図である。 本実施形態に係るフレーム内予測におけるフレーム画像（入力フレーム２０１）及びそのフレーム画像を構成するマクロブロック、並びにそのマクロブロックを構成するサブマクロブロックを説明する図である。 処理対象の４×４ブロックと、処理済みの再構成フレームの画素との関係を説明する代表図である。 処理対象の４×４ブロックの符号化を行う際の候補となる９つのモードを説明する図である。 本実施形態に係るイントラ予測回路２０８における動き予測の特徴を説明する図である。 ９種類のモード（モード０乃至８）に対応するモードベクトルを示す図である。 本実施形態において処理対象ブロックＸのＳＡＥ計算のための対象候補を選択する際に参照する予測モードテーブルを示す図である。 本実施形態の第１の変形例に係るイントラ予測回路２０８における動き予測の特徴を説明する図である。 本実施形態の第２の変形例において符号化／複合化器１４に実装されるイントラ予測機能モジュールのフローチャートである。

符号の説明

１ 制御回路
２ アンテナ
３ 無線送受信回路
４ 操作デバイス
５ ポインティングデバイス
６ 表示デバイス
７ 撮像デバイス
８ マイク
９ スピーカ
１１ ＣＰＵ
１２ 動作用メモリ
１３ 保持用メモリ
１４ 符号化／複合化器
１００ 携帯電話機
２０１ 入力フレーム
２０２ ＤＣＴ回路
２０３ 量子化回路
２０４ 符号化回路
２０５ 動き検出回路
２０６ 動き補償回路
２０７ モード選択回路
２０８ イントラ予測回路
２０９ フィルタ
２１０ 逆ＤＣＴ回路
２１１ 逆量子化回路
２１２ 参照フレーム
２１３ システムクロック
２１４ スイッチ（ＳＷ）
５０１ ＳＡＥ計算回路
５０２ モード決定回路
５０３ 予測回路
５０４ 結果格納バッファ
５０５ 予測モード候補決定回路
５０６ 予測モードテーブル
５０７ 再構成フレームバッファ

Claims (19)

1. 入力フレーム画像のうち、複数画素からなる処理対象ブロックについて、その処理対象ブロックに対応する予測ブロックを、該処理対象ブロックに隣接するところの、該入力フレーム画像内の処理済みブロックの画素値に基づいて作成し、作成した予測ブロックと、該処理対象ブロックとの差分を算出すると共に、算出した差分を基に決定した符号化モードによって符号化する画像符号化方法であって、
   前記処理対象ブロックを符号化するための符号化モードの候補となる、前記処理対象ブロックに関する差分算出のための予測ブロックに対応する予測モードを、前記処理済みブロックについて決定済みの符号化モードに対応する予測モードに応じて、所定の複数種類の予測モードの中から決定する予測モード決定工程と、
   前記予測モード決定工程にて決定した個々の予測モードについて前記差分を算出すると共に、算出した差分のうち、最小の差分に対応する予測モードを、前記処理対象ブロックの符号化モードに決定する符号化モード決定工程と、
   複数の前記処理済みブロックが前記符号化モードとしてそれぞれ採った前記予測モードの組みに対応させて、前記処理対象ブロックの前記符号化モードの候補とすべき最小限の前記予測モードを、テーブルとして予め設定する設定工程と、を有し、
   前記予測モード決定工程では、
   前記所定の複数種類の予測モードのうち、
   前記処理済みブロックについて決定済みの符号化モードと、
   前記処理済みブロックをなす一部の画素値の平均値に基づく符号化モードと、
   前記処理済みブロックについて決定済みの符号化モードを基に前記テーブルから読み出した予測モードとを、
   前記差分算出のための候補に決定することを特徴とする画像符号化方法。
2. 前記処理済みブロックは、
   前記処理対象ブロックに隣接する少なくとも２つのブロック画像であることを特徴とする請求項１記載の画像符号化方法。
3. 前記テーブルに予め設定した候補としての予測モードは、
   前記処理済みブロックの符号化モードとして決定し得る前記複数種類の各モードについて、前記処理済みブロックと、前記処理対象ブロックとの間で想定される相関性に基づいて設定したモードである
   ことを特徴とする請求項１または請求項２記載の画像符号化方法。
4. 前記処理済みブロックは、
   前記処理対象ブロックの垂直方向に位置する第１ブロック画像と、水平方向に位置する第２ブロック画像である
   ことを特徴とする請求項３記載の画像符号化方法。
5. 前記第１ブロック画像について決定済みの符号化モードと、前記第２ブロック画像について決定済みの符号化モードとが等しく、且つ前記ＤＣ成分に基づく符号化モードとは異なる場合には、前記テーブルには何れの予測モードも設定しない
   ことを特徴とする請求項４記載の画像符号化方法。
6. 前記第１ブロック画像について決定済みの符号化モードを表すベクトルと、前記第２ブロック画像について決定済みの符号化モードが表すベクトルとが、所定の単位角度をなして隣接する場合には、前記テーブルには何れの予測モードも設定しない
   ことを特徴とする請求項４記載の画像符号化方法。
7. 前記第１ブロック画像について決定済みの符号化モードと、前記第２ブロック画像について決定済みの符号化モードとが、前記ＤＣ成分に基づく符号化モードに等しい場合には、垂直方向を表すモードと、水平方向を表すモードとを、前記テーブルに設定する
   ことを特徴とする請求項４記載の画像符号化方法。
8. 前記第１ブロック画像について決定済みの符号化モードと、前記第２ブロック画像について決定済みの符号化モードの何れかが、前記ＤＣ成分に基づく符号化モードに等しい場合には、前記ＤＣ成分に基づく符号化モードとは異なる方のブロック画像について決定済みの符号化モードを表すベクトルと所定の単位角度をなして隣接するベクトルに対応する予測モードを、前記テーブルに設定する
   ことを特徴とする請求項４記載の画像符号化方法。
9. 前記第１ブロック画像について決定済みの符号化モードを表すベクトルと、前記第２ブロック画像について決定済みの符号化モードが表すベクトルとが９０度未満の角度をなす場合には、それら２つのベクトルに挟まれる全てのベクトルに対応する予測モードを、前記テーブルに設定する
   ことを特徴とする請求項４記載の画像符号化方法。
10. 前記第１ブロック画像について決定済みの符号化モードを表すベクトルと、前記第２ブロック画像について決定済みの符号化モードが表すベクトルとが９０度の角度をなす場合には、それら２つのベクトルからそれぞれ４５度の角度をなすベクトルに対応する予測モードを、前記テーブルに設定する
    ことを特徴とする請求項４記載の画像符号化方法。
11. 前記第１ブロック画像について決定済みの符号化モードを表すベクトルと、前記第２ブロック画像について決定済みの符号化モードが表すベクトルとが９０度を越えた角度をなす場合には、それら２つのベクトルがなす角度を等分割する２つのベクトルに対応する２つの予測モードを、前記テーブルに設定する
    ことを特徴とする請求項４記載の画像符号化方法。
12. 前記画像符号化方法は、
    Ｈ．２６４／ＡＶＣ（Advanced Video Codec）規格に準拠したフレーム内予測符号化方法である
    ことを特徴とする請求項１乃至１１の何れかに記載の画像符号化方法。
13. 入力フレーム画像のうち、複数画素からなる処理対象ブロックについて、その処理対象ブロックに対応する予測ブロックを、該処理対象ブロックに隣接するところの、該入力フレーム画像内の処理済みブロックの画素値に基づいて作成し、作成した予測ブロックと、該処理対象ブロックとの差分を算出すると共に、算出した差分を基に決定した符号化モードによって符号化するフレーム内予測符号化手段を備える画像符号化装置であって、
    前記フレーム内予測符号化手段は、
    前記処理対象ブロックを符号化するための符号化モードの候補となる、前記処理対象ブロックに関する差分算出のための予測ブロックに対応する予測モードを、前記処理済みブロックについて決定済みの符号化モードに対応する予測モードに応じて、所定の複数種類の予測モードの中から決定する予測モード決定手段と、
    前記予測モード決定工程にて決定した個々の予測モードについて前記差分を算出すると共に、算出した差分のうち、最小の差分に対応する予測モードを、前記処理対象ブロックの符号化モードに決定する符号化モード決定手段と、
    複数の前記処理済みブロックが前記符号化モードとしてそれぞれ採った前記予測モードの組みに対応させて、前記処理対象ブロックの前記符号化モードの候補とすべき最小限の前記予測モードが予め設定されたテーブルと、を有し、
    前記予測モード決定手段は、
    前記所定の複数種類の予測モードのうち、
    前記処理済みブロックについて決定済みの符号化モードと、
    前記処理済みブロックをなす一部の画素値の平均値に基づく符号化モードと、
    前記処理済みブロックについて決定済みの符号化モードを基に前記テーブルから読み出した予測モードとを、
    前記差分算出のための候補に決定することを特徴とする画像符号化装置。
14. 前記処理済みブロックは、
    前記処理対象ブロックに隣接する少なくとも２つのブロック画像である
    ことを特徴とする請求項１３記載の画像符号化装置。
15. 前記処理済みブロックは、
    前記処理対象ブロックの垂直方向に位置する第１ブロック画像と、水平方向に位置する第２ブロック画像である
    ことを特徴とする請求項１４記載の画像符号化装置。
16. 参照フレームと、前記入力フレーム画像との間の動きベクトルに基づいて、前記入力フレーム画像の符号化を行うフレーム間予測手段を更に備える
    ことを特徴とする請求項１３乃至１５の何れかに記載の画像符号化装置。
17. 前記フレーム内予測符号化手段は、
    Ｈ．２６４／ＡＶＣ（Advanced Video Codec）規格に準拠した符号化手段である
    ことを特徴とする請求項１３乃至１６の何れかに記載の画像符号化装置。
18. 請求項１３乃至１７の何れかに記載の画像符号化装置を備える
    ことを特徴とする携帯端末。
19. 入力フレーム画像のうち、複数画素からなる処理対象ブロックについて、その処理対象ブロックに対応する予測ブロックを、該処理対象ブロックに隣接するところの、該入力フレーム画像内の処理済みブロックの画素値に基づいて作成し、作成した予測ブロックと、該処理対象ブロックとの差分を算出すると共に、算出した差分を基に決定した符号化モードによって符号化する画像符号化装置の動作制御のためのコンピュータ・プログラムであって、コンピュータに、
    前記処理対象ブロックを符号化するための符号化モードの候補となる、前記処理対象ブロックに関する差分算出のための予測ブロックに対応する予測モードを、前記処理済みブロックについて決定済みの符号化モードに対応する予測モードに応じて、所定の複数種類の予測モードの中から決定する予測モード決定機能と、
    前記予測モード決定機能にて決定した個々の予測モードについて前記差分を算出すると共に、算出した差分のうち、最小の差分に対応する予測モードを、前記処理対象ブロックの符号化モードに決定する符号化モード決定機能と、
    複数の前記処理済みブロックが前記符号化モードとしてそれぞれ採った前記予測モードの組みに対応させて、前記処理対象ブロックの前記符号化モードの候補とすべき最小限の前記予測モードを、テーブルとして予め設定する設定機能と、を実現させるためのコンピュータ・プログラムであり、
    前記予測モード決定機能では、
    前記所定の複数種類の予測モードのうち、
    前記処理済みブロックについて決定済みの符号化モードと、
    前記処理済みブロックをなす一部の画素値の平均値に基づく符号化モードと、
    前記処理済みブロックについて決定済みの符号化モードを基に前記テーブルから読み出した予測モードとを、
    前記差分算出のための候補に決定するようにしたことを特徴とするコンピュータ・プログラム。

Images