JP4865767B2 - スケーラブル動画像符号化方法、スケーラブル動画像符号化装置、スケーラブル動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は、動画像をスケーラブルに符号化するスケーラブル動画像符号化方法およびその装置と、そのスケーラブル動画像符号化方法の実現に用いられるスケーラブル動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。

従来技術では、動画像をスケーラブルに符号化するときにあって、拡張レイヤにおいて予測モードを決定するときには、非スケーラブルのシングルレイヤ符号化処理と同様に、各マクロブロックについてすべての予測モードを探索して、その中から符号化コストが最小になる予測モードを選択するようにしている（例えば、非特許文献１参照）。

しかるに、動きが激しい画像領域や輝度変化がほとんどない画像領域では、各予測モードによって発生する予測残差信号に差がでない。したがって、どの予測モードを選んでも、得られる符号化性能に大差はない。

しかしながら、従来技術では、そのようなことを一切考慮することなく、拡張レイヤにおいて予測モードを決定するときにも、非スケーラブルのシングルレイヤ符号化処理と同様に、各マクロブロックについてすべての予測モードを探索するようにしており、これから、符号化処理の高速化に改善の余地が残されている。

符号化処理の高速化を図るためには、スケーラブルの符号化、非スケーラブルの符号化を問わず、探索する予測モードを絞り込むことが有効である。

このようなことを背景にして、本出願人もまた、下記の特許文献１，２に記載するように、探索する予測モードを絞り込むことを実現する発明を開示してきた。

例えば、特許文献１に記載した発明では、フレーム内符号化とフレーム間符号化との両方式を有する場合に、参照フレームの動きベクトルを符号化対象フレームに外挿／内挿したベクトルを生成し、それによって動いたマクロブロックの各画素の座標を求め、画素が一致する回数を画素毎にカウントして、符号化対象マクロブロック内の各画素のカウント数から符号化対象マクロブロックごとにスコアを計算して、そのスコアの大小により符号化対象マクロブロックのフレーム内符号化またはフレーム間符号化の要／不要を判定するようにしている。

また、特許文献２に記載した発明では、イントラ予測符号化を行うときに、すべての予測モードについて符号化コストを計算するのではなくて、符号化済みの近傍ブロックの予測モードの頻度情報と与えられた重み係数とに基づいて、符号化対象ブロックに対する予測モードを選択することで、限定された予測モードに対してだけ符号化コストの計算を行うことにより予測モードを決定するようにしている。
Joint Scalable Video Model JSVM-8, ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, JVT-U202, 2006 特開２００６−０３３４５１号公報 特開２００６−１４８４１９号公報

前述したように、従来技術では、動画像をスケーラブルに符号化するときにあって、拡張レイヤにおいて予測モードを決定するときには、非スケーラブルのシングルレイヤ符号化処理と同様に、各マクロブロックについてすべての予測モードを探索して、その中から符号化コストが最小になる予測モードを選択するようにしている。

しかるに、動きが激しい画像領域や輝度変化がほとんどない画像領域では、各予測モードによって発生する予測残差信号に差がでない。したがって、どの予測モードを選んでも、得られる符号化性能に大差はない。

しかしながら、従来技術では、そのようなことを一切考慮することなく、拡張レイヤにおいて予測モードを決定するときにも、非スケーラブルのシングルレイヤ符号化処理と同様に、各マクロブロックについてすべての予測モードを探索するようにしており、これから、符号化処理の高速化に改善の余地が残されている。

一方、特許文献１，２に記載した発明によれば、確かに、探索する予測モードを絞り込むことができるようになるものの、これらの発明はスケーラブル符号化への適用を前提とした発明ではなく、これから、スケーラブル符号化では一層効果的な予測モードの絞り込みを実現できる可能性がある。

しかも、特許文献１，２に記載した発明では、動きが激しい画像領域が符号化対象となる場合や輝度変化がほとんどない画像領域が符号化対象となる場合のことを想定しておらず、これから、この点においても改善の余地が残されている。

本発明はかかる事情に鑑みてなされたものであって、スケーラブル符号化における拡張レイヤの符号化において、符号量の増加を抑制しつつ高速な符号化を実現できるようにする新たなスケーラブル動画像符号化技術の提供を目的とする。

この目的を達成するために、本発明のスケーラブル動画像符号化装置は、（イ）符号化対象となっている上位レイヤの符号化対象ブロックの画像領域の動きが規定よりも大きいのか否か、あるいは符号化対象となっている上位レイヤの符号化対象ブロックの画像領域の輝度変化が規定よりも小さいのか否かを判断する判断手段と、（ロ）判断手段が符号化対象ブロックの画像領域の動きが規定よりも大きい、あるいは輝度変化が規定よりも小さいと判断した場合に、符号化対象ブロックの予測モードとして、下位レイヤの符号化済み直下ブロックの予測モードがイントラ予測である場合には、直下ブロックの復号信号を上位レイヤの解像度までアップサンプルした復号信号を予測信号とするレイヤ間予測モードを選択し、直下ブロックの予測モードがインター予測である場合には、直下ブロックの符号化情報をそのまま流用するレイヤ間予測モードを選択する選択手段と、（ハ）選択手段の選択したレイヤ間予測モードに従って符号化対象ブロックを符号化する手段とを備える。

以上の各処理手段が動作することで実現される本発明のスケーラブル動画像符号化方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

このように構成される本発明のスケーラブル動画像符号化装置では、上位レイヤの符号化対象ブロックを符号化するときに、その符号化対象ブロックが各予測モードにより発生する予測残差信号に差のない画像領域であるのか否かを判断する。

すなわち、符号化対象ブロックの画像信号及び／又は直下ブロックの画像信号に基づいて、符号化対象ブロックの画像領域の動きが規定よりも大きいのか否かを判断して、大きいことを判断する場合には、符号化対象ブロックを各予測モードにより発生する予測残差信号に差のない画像領域であると判断したり、符号化対象ブロックの画像信号及び／又は直下ブロックの画像信号に基づいて、符号化対象ブロックの画像領域の輝度変化が規定よりも小さいのか否かを判断して、小さいことを判断する場合には、符号化対象ブロックを各予測モードにより発生する予測残差信号に差のない画像領域であると判断する。

この判断処理により、符号化対象ブロックを各予測モードにより発生する予測残差信号に差のない画像領域であると判断した場合には、符号量のオーバーヘッドが小さくかつ予測信号の生成処理が簡単な予測モードを選択すべく、符号化対象ブロックの予測モードとして、直ちに下位レイヤの符号化済み直下ブロックの符号化情報を利用するレイヤ間予測モードを選択したり、そのレイヤ間予測モードと上位レイヤにおける動き推定を行わない少ない数の予測モード（イントラ符号化の予測モードについても含めるようにしてもよい）とを選択対象として、それらの予測モードの中で符号化コストが最小となる予測モードを選択する。

例えば、直下ブロックの予測モードがイントラ予測である場合には、直下ブロックの復号信号を上位レイヤの解像度までアップサンプルした復号信号を予測信号とするレイヤ間予測モードを選択し、また、直下ブロックの予測モードがインター予測である場合には、直下ブロックの符号化情報をそのまま流用するレイヤ間予測モードを選択することで、符号量のオーバーヘッドが小さくかつ予測信号の生成処理が簡単な予測モードを選択するのである。

あるいは、そのようなレイヤ間予測モードと、上位レイヤにおける動き推定を行わないスキップモードやダイレクトモードなどの予測モード（イントラ符号化の予測モードについても含めるようにしてもよい）とを選択対象として、それらの予測モードの中で符号化コストが最小となる予測モードを選択することで、符号量のオーバーヘッドが小さくかつ予測信号の生成処理が簡単な予測モードを選択するのである。

そして、このようにして、符号量のオーバーヘッドが小さくかつ予測信号の生成処理が簡単な予測モードを選択すると、そのようにして選択した予測モードに従って符号化対象ブロックを符号化する。

本発明では、動画像をスケーラブルに符号化するときに、上位レイヤの符号化対象ブロックが各予測モードにより発生する予測残差信号に差のない画像領域であることを判断する場合には、符号量のオーバーヘッドが小さくかつ予測信号の生成処理が簡単な予測モードを高速に選択して符号化を行うようにすることから、符号量の増加を抑制しつつ高速に符号化対象ブロックを符号化できるようになる。

以下、実施の形態に従って本発明を詳細に説明する。

図１に、本発明の適用されるスケーラブル動画像符号化装置１の装置構成の一例を図示する。

この図に示すように、本発明の適用されるスケーラブル動画像符号化装置１は、基本レイヤを符号化する基本レイヤ符号化部１０と、拡張レイヤを符号化する拡張レイヤ符号化部１１と、基本レイヤ符号化部１０および拡張レイヤ符号化部１１の生成した符号化データを出力する符号化データ出力部１２とを備えることで、動画像をスケーラブルに符号化して、そのようにして生成した符号化データを出力するように処理するのである。

本発明の符号化処理は拡張レイヤに対する処理であり、基本レイヤ（直下レイヤと称することがある）には非スケーラブルのシングルレイヤ符号化処理を適用する。シングルレイヤ符号化処理の一例に、Ｈ．２６４／ＡＶＣの参照エンコーダＪＭや、非特許文献１で挙げたＳＶＣの参照エンコーダＪＳＶＭの基本レイヤ部分の符号化処理が挙げられる。

このように構成されるスケーラブル動画像符号化装置１では、ＢＬＳｋｉｐ予測モードと、ＩｎｔｒａＢＬ予測モードという２種類のレイヤ間予測モード（ＢＬはベースレイヤの略）を有している。

このＢＬＳｋｉｐ予測モードは、直下ＳＭＢ（サブマクロブロック）がインター予測の場合にのみ使用可能となるものであり、直下ＳＭＢにおける動きベクトル、参照インデックス、ブロック分割タイプを拡張レイヤの符号化対象マクロブロックにてそのまま流用するという予測モードである。

一方、ＩｎｔｒａＢＬ予測モードは、ＣＩＰ（Constrained Intra Prediction）フラグがオンの場合には、直下ＳＭＢがイントラ予測の場合にのみ使用可能となるとともに、ＣＩＰフラグがオフの場合には、直下ＳＭＢがどの予測モードであっても使用可能となるものであり、直下ＳＭＢの復号信号を生成して、それを拡張レイヤの解像度までアップサンプルし、そのアップサンプルした復号信号を拡張レイヤの符号化対象マクロブロックの予測信号とするという予測モードである。

ここで、制約付きイントラ予測（Constrained Intra Prediction）とは、ＩｎｔｒａＢＬ予測モードを小さな復号負荷で実行可能とするために設けられたものであり、隣接ブロックの中で制約付きイントラ予測が選ばれているブロックのみからの予測を可能とするものである。直下ＳＭＢの復号信号を生成する場合、直下ＳＭＢが通常のイントラ予測であると、周囲のマクロブロックの復号信号が必要となることで、結局のところ直下レイヤをすべて復号する必要があることで復号負荷が大きくなってしまうという問題があることを考慮して、制約付きイントラ予測を設けて、制約付きイントラ予測を行っているＳＭＢのみを復号すればよいようにしたものである。

〔１〕拡張レイヤ符号化部１１の実行するフローチャート
図２〜図９に、本発明を実現すべく拡張レイヤ符号化部１１が実行するフローチャートの一例を図示する。

次に、これらのフローチャートに従って、拡張レイヤ符号化部１１の実行する処理について詳細に説明する。

〔１−１〕全体処理
まず最初に、図２のフローチャートについて説明する。ここで、図２に示すフローチャートは拡張レイヤ符号化部１１の実行する全体処理についてのフローチャートである。

ステップＳ１０１：符号化処理の起点となる符号化対象のマクロブロック（以下、マクロブロックをＭＢと略記することがある）を１つ選択する。

ステップＳ１０２：符号化対象のマクロブロックの原信号を読み込み、本発明の高速予測モード選択処理を行い、符号化対象のマクロブロックに適用する予測モード情報を出力する。後述する図３、図４および図５で本処理の一例について詳細に説明する。

ステップＳ１０３：ステップＳ１０２の処理によって得られた予測モード情報を読み込み、その予測モードに従って予測信号を生成し、原信号と予測信号との差分をとった予測残差信号を生成する。

ステップＳ１０４：ステップＳ１０３の処理によって得られた予測残差信号を読み込み、その予測残差信号の符号化を行い、符号化データを生成する。本処理の一例に、Ｈ．２６４／ＡＶＣの参照エンコーダＪＭや、非特許文献１で挙げたＳＶＣの参照エンコーダＪＳＶＭのＤＣＴ、量子化、可変長符号化の一連処理の適用が考えられる。

ステップＳ１０５：すべてのマクロブロックの符号化が完了しているのか否かの判定処理を行い、真の場合には符号化処理を終了して最終的な符号化データを出力し、偽の場合にはステップＳ１０６の処理に移る。

ステップＳ１０６：次の符号化対象のマクロブロックを１つ選択して、ステップＳ１０２の処理を行う。

〔１−２〕ステップＳ１０２で実行する処理
次に、図３〜図５を用いて、拡張レイヤ符号化部１１がステップＳ１０２で実行する処理の一例について詳細に説明する。ここで、図３、図４、図５のうちのいずれか一つが適用可能である。

最初に、図３のフローチャートについて説明する。

ステップＳ２０１：拡張レイヤの原信号または符号化情報、もしくは直下レイヤの原信号または符号化情報を読み込み、符号化対象のマクロブロックが動き推定難ＭＢ（動きの激しいＭＢ）であるのか否かの判定処理を行い、偽の場合にはステップＳ２０２の処理に移り、真の場合にはステップＳ２０３の処理に移る。後述する図６および図７で本処理の一例について詳細に説明する。

ステップＳ２０２：符号化対象のマクロブロックの動き推定が難しくない場合に実行するものであり、符号化対象のマクロブロックにおいて探索対象となっている予測モード群を読み込み、各予測モードの符号化コストを算出し、符号化コストを最小にする予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。本処理の一例に、Ｈ．２６４／ＡＶＣの参照エンコーダＪＭや、非特許文献１で挙げたＳＶＣの参照エンコーダＪＳＶＭの予測モード選択方法の適用が考えられる。

ステップＳ２０３：符号化対象のマクロブロックの動き推定が難しい場合に実行するものであり、直下ＳＭＢにおいて適用された予測モード情報を読み込み、それがイントラ予測モードであるのか否かの判定処理を行い、真の場合にはステップＳ２０４の処理に移り、偽の場合にステップＳ２０６の処理に移る。

ステップＳ２０４：ＣＩＰフラグを読み込み、それがオンであるのか否かの判定処理を行い、真の場合にはステップＳ２０５の処理に移り、偽の場合にはステップＳ２０２の処理に移る。ここで、ＣＩＰフラグがオフである場合に、ＢＬＳｋｉｐ予測モードを適用しないでステップＳ２０２の処理に移るのは、直下ＳＭＢに適用された予測モードがイントラ予測モードであることで動きベクトルなどが存在せず、これからＢＬＳｋｉｐ予測モードを適用できないからである。

ステップＳ２０５：ステップＳ２０４の処理によって出力されるＣＩＰフラグがオンであるという判定結果を読み込み、ＩｎｔｒａＢＬ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。

ステップＳ２０６：ＣＩＰフラグを読み込み、それがオンであるのか否かの判定処理を行い、真の場合にはステップＳ２０７の処理に移り、偽の場合にはステップＳ２０８の処理に移る。

ステップＳ２０７：ステップＳ２０６の処理によって出力されるＣＩＰフラグがオンであるという判定結果を読み込み、ＢＬＳｋｉｐ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。

ステップＳ２０８：ステップＳ２０６の処理によって出力されるＣＩＰフラグがオフであるという判定結果に応じて、ＩｎｔｒａＢＬ予測モードの符号化コスト（Ｊ_IntraBL ）と、ＢＬＳｋｉｐ予測モードの符号化コスト（Ｊ_BLSkip）とを読み込み、両者を比較し、Ｊ_IntraBL ＜Ｊ_BLSkipであるのか否かの判定処理を行い、真の場合にはステップＳ２０９の処理に移り、偽の場合にはステップＳ２１０の処理に移る。

ステップＳ２０９：ステップＳ２０８の処理によって出力されるＪ_IntraBL ＜Ｊ_BLSkipであるという判定結果を読み込み、ＩｎｔｒａＢＬ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。

ステップＳ２１０：ステップＳ２０８の処理によって出力されるＪ_IntraBL ＜Ｊ_BLSkipでないという判定結果を読み込み、ＢＬＳｋｉｐ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。

このようにして、図３のフローチャートを実行する場合、拡張レイヤ符号化部１１は、符号化対象のマクロブロックが動きの激しい画像領域であることで各予測モードにより発生する予測残差信号の差のない画像領域であることを判断する場合には、符号化コストによる予測モードの探索を行わずに、符号化対象のマクロブロックに適用する予測モードとして、直ちに、符号量のオーバーヘッドが小さくかつ予測信号の生成処理が簡単な予測モードであるレイヤ間予測モード（ＩｎｔｒａＢＬ予測モードやＢＬＳｋｉｐ予測モード）を決定するのである。

次に、図４のフローチャートについて説明する。

ステップＳ３０１：拡張レイヤの原信号または符号化情報、もしくは直下レイヤの原信号または符号化情報を読み込み、符号化対象のマクロブロックが輝度変化大ＭＢ（輝度変化の大きいＭＢ）であるのか否かの判定処理を行い、真の場合にはステップＳ３０２の処理に移り、偽の場合にはステップＳ３０３の処理に移る。後述する図８および図９で本処理の一例について詳細に説明する。

ステップＳ３０２：符号化対象のマクロブロックの輝度変化が大きい場合に実行するものであり、符号化対象のマクロブロックにおいて探索対象となっている予測モード群を読み込み、各予測モードの符号化コストを算出し、符号化コストを最小にする予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。本処理の一例に、Ｈ．２６４／ＡＶＣの参照エンコーダＪＭや、非特許文献１で挙げたＳＶＣの参照エンコーダＪＳＶＭの予測モード選択方法の適用が考えられる。

ステップＳ３０３：符号化対象のマクロブロックの輝度変化がほとんどない場合に実行するものであり、直下ＳＭＢにおいて適用された予測モード情報を読み込み、それがイントラ予測モードであるのか否かの判定処理を行い、真の場合にはステップＳ３０４の処理に移り、偽の場合にステップＳ３０６の処理に移る。

ステップＳ３０４：ＣＩＰフラグを読み込み、それがオンであるのか否かの判定処理を行い、真の場合にはステップＳ３０５の処理に移り、偽の場合にはステップＳ３０２の処理に移る。ここで、ＣＩＰフラグがオフである場合に、ＢＬＳｋｉｐ予測モードを適用しないでステップＳ３０２の処理に移るのは、直下ＳＭＢに適用された予測モードがイントラ予測モードであることで動きベクトルなどが存在せず、これからＢＬＳｋｉｐ予測モードを適用できないからである。

ステップＳ３０５：ステップＳ３０４の処理によって出力されるＣＩＰフラグがオンであるという判定結果を読み込み、ＩｎｔｒａＢＬ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。

ステップＳ３０６：ＣＩＰフラグを読み込み、それがオンであるのか否かの判定処理を行い、真の場合にはステップＳ３０７の処理に移り、偽の場合にはステップＳ３０８の処理に移る。

ステップＳ３０７：ステップＳ３０６の処理によって出力されるＣＩＰフラグがオンであるという判定結果を読み込み、ＢＬＳｋｉｐ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。

ステップＳ３０８：ステップＳ３０６の処理によって出力されるＣＩＰフラグがオフであるという判定結果に応じて、ＩｎｔｒａＢＬ予測モードの符号化コスト（Ｊ_IntraBL ）と、ＢＬＳｋｉｐ予測モードの符号化コスト（Ｊ_BLSkip）とを読み込み、両者を比較し、Ｊ_IntraBL ＜Ｊ_BLSkipであるのか否かの判定処理を行い、真の場合にはステップＳ３０９の処理に移り、偽の場合にはステップＳ３１０の処理に移る。

ステップＳ３０９：ステップＳ３０８の処理によって出力されるＪ_IntraBL ＜Ｊ_BLSkipであるという判定結果を読み込み、ＩｎｔｒａＢＬ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。

ステップＳ３１０：ステップＳ３０８の処理によって出力されるＪ_IntraBL ＜Ｊ_BLSkipでないという判定結果を読み込み、ＢＬＳｋｉｐ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。

このようにして、図４のフローチャートを実行する場合、拡張レイヤ符号化部１１は、符号化対象のマクロブロックが輝度変化のほとんどない画像領域であることで各予測モードにより発生する予測残差信号の差のない画像領域であることを判断する場合には、符号化コストによる予測モードの探索を行わずに、符号化対象のマクロブロックに適用する予測モードとして、直ちに、符号量のオーバーヘッドが小さくかつ予測信号の生成処理が簡単な予測モードであるレイヤ間予測モード（ＩｎｔｒａＢＬ予測モードやＢＬＳｋｉｐ予測モード）を決定するのである。

次に、図５のフローチャートについて詳細に説明する。

ステップＳ４０１：拡張レイヤの原信号または符号化情報、もしくは直下レイヤの原信号または符号化情報を読み込み、符号化対象のマクロブロックが動き推定難ＭＢ（動きの激しいＭＢ）であるのか否かの判定処理を行い、偽の場合にはステップＳ４０２の処理に移り、真の場合にはステップＳ４０４の処理に移る。後述する図６および図７で本処理の一例について詳細に説明する。

ステップＳ４０２：拡張レイヤの原信号または符号化情報、もしくは直下レイヤの原信号または符号化情報を読み込み、符号化対象のマクロブロックが輝度変化大ＭＢ（輝度変化の大きいＭＢ）であるのか否かの判定処理を行い、真の場合にはステップＳ４０３の処理に移り、偽の場合にはステップＳ４０４の処理に移る。後述する図８および図９で本処理の一例について詳細に説明する。

ステップＳ４０３：符号化対象のマクロブロックの動き推定が難しくなく、かつ、符号化対象のマクロブロックの輝度変化が大きい場合に実行するものであり、符号化対象のマクロブロックにおいて探索対象となっている予測モード群を読み込み、各予測モードの符号化コストを算出し、符号化コストを最小にする予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。本処理の一例に、Ｈ．２６４／ＡＶＣの参照エンコーダＪＭや、非特許文献１で挙げたＳＶＣの参照エンコーダＪＳＶＭの予測モード選択方法の適用が考えられる。

ステップＳ４０４：符号化対象のマクロブロックの動き推定が難しい場合や、符号化対象のマクロブロックの輝度変化がほとんどない場合に実行するものであり、直下ＳＭＢにおいて適用された予測モード情報を読み込み、それがイントラ予測モードであるのか否かの判定処理を行い、真の場合にはステップＳ４０５の処理に移り、偽の場合にステップＳ４０７の処理に移る。

ステップＳ４０５：ＣＩＰフラグを読み込み、それがオンであるのか否かの判定処理を行い、真の場合にはステップＳ４０６の処理に移り、偽の場合にはステップＳ４０３の処理に移る。ＣＩＰフラグがオフである場合に、ＢＬＳｋｉｐ予測モードを適用しないでステップＳ４０３の処理に移るのは、直下ＳＭＢに適用された予測モードがイントラ予測モードであることで動きベクトルなどが存在せず、これからＢＬＳｋｉｐ予測モードを適用できないからである。

ステップＳ４０６：ステップＳ４０５の処理によって出力されるＣＩＰフラグがオンであるという判定結果を読み込み、ＩｎｔｒａＢＬ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。

ステップＳ４０７：ＣＩＰフラグを読み込み、それがオンであるのか否かの判定処理を行い、真の場合にはステップＳ４０８の処理に移り、偽の場合にはステップＳ４０９の処理に移る。

ステップＳ４０８：ステップＳ４０７の処理によって出力されるＣＩＰフラグがオンであるという判定結果を読み込み、ＢＬＳｋｉｐ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。

ステップＳ４０９：ステップＳ４０７の処理によって出力されるＣＩＰフラグがオフであるという判定結果に応じて、ＩｎｔｒａＢＬ予測モードの符号化コスト（Ｊ_IntraBL ）と、ＢＬＳｋｉｐ予測モードの符号化コスト（Ｊ_BLSkip）とを読み込み、両者を比較し、Ｊ_IntraBL ＜Ｊ_BLSkipであるのか否かの判定処理を行い、真の場合にはステップＳ４１０の処理に移り、偽の場合にはステップＳ４１１の処理に移る。

ステップＳ４１０：ステップＳ４０９の処理によって出力されるＪ_IntraBL ＜Ｊ_BLSkipであるという判定結果を読み込み、ＩｎｔｒａＢＬ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。

ステップＳ４１１：ステップＳ４０９の処理によって出力されるＪ_IntraBL ＜Ｊ_BLSkipでないという判定結果を読み込み、ＢＬＳｋｉｐ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。

このようにして、図５のフローチャートを実行する場合、拡張レイヤ符号化部１１は、符号化対象のマクロブロックが動きの激しい画像領域であるか、あるいは、輝度変化がほとんどない画像領域であることで各予測モードにより発生する予測残差信号の差のない画像領域であることを判断する場合には、符号化コストによる予測モードの探索を行わずに、符号化対象のマクロブロックに適用する予測モードとして、直ちに、符号量のオーバーヘッドが小さくかつ予測信号の生成処理が簡単な予測モードであるレイヤ間予測モードを決定するのである。

〔１−３〕ステップＳ２０１，ステップＳ４０１で実行する処理
次に、図６および図７を用いて、拡張レイヤ符号化部１１がステップＳ２０１，ステップＳ４０１で実行する処理の一例について詳細に説明する。ここで、図６、図７のうちのいずれか一つが適用可能である。

最初に、図６のフローチャートについて説明する。

ステップＳ５０１：直下ＳＭＢにおいて原信号を読み込み、４×４インター予測モードによって生じた予測残差信号の二乗誤差和（ＳＳＤ）の値（ＳＳＤ０）を算出する。

ステップＳ５０２：ステップＳ５０１の処理によって得られたＳＳＤの値（ＳＳＤ０）を読み込み、その値が外部より与えられる閾値以上（ＳＳＤ０≧閾値）であるのか否かの判定処理を行い、真の場合にはステップＳ５０３の処理に移り、偽の場合にはステップＳ５０４の処理に移る。ここで、この閾値は動き推定性能判定閾値であり、実験的に与える。

ステップＳ５０３：ステップＳ５０２の処理によって出力されるＳＳＤが閾値以上であるという判定結果を読み込み、符号化対象のマクロブロックを動き推定が難しいマクロブロックとして設定して、それを示すフラグを出力する。

ステップＳ５０４：ステップＳ５０２の処理によって出力されるＳＳＤが閾値以上でないという判定結果を読み込み、符号化対象のマクロブロックを動き推定が易しいマクロブロックとして設定して、それを示すフラグを出力する。

このようにして、図６のフローチャートを実行する場合、拡張レイヤ符号化部１１は、直下レイヤで求められる予測残差信号のＳＳＤの値が大きい場合には、符号化対象のマクロブロックを動き推定が難しいマクロブロックと判断するように処理するのである。

次に、図７のフローチャートについて説明する。

ステップＳ６０１：符号化対象のマクロブロックにおいて原信号を読み込み、４×４インター予測モードを実施して予測残差信号を生成し、その予測残差信号のＳＳＤ（ＳＳＤ１）を算出する。ここで、この予測残差信号のＳＳＤ（ＳＳＤ１）については、直下レイヤにおいて４×４インター予測モードを実施して予測残差信号を生成したときに求めておいたものをメモリに保存しておいて、それを読み出すようにして得ることでも実現可能である。

ステップＳ６０２：符号化対象のマクロブロックにおける原信号および直下ＳＭＢの符号化情報を読み込み、ＢＬＳｋｉｐ予測モードを実施して予測残差信号を生成し、その予測残差信号のＳＳＤ（ＳＳＤ２）を算出する。ここで、この予測残差信号のＳＳＤ（ＳＳＤ１）については、直下レイヤにおいてＢＬＳｋｉｐ予測モードを実施して予測残差信号を生成したときに求めておいたものをメモリに保存しておいて、それを読み出すようにして得ることでも実現可能である。

ステップＳ６０３：ステップＳ６０１で得た４×４インター予測モードの予測残差信号のＳＳＤ（ＳＳＤ１）と、ステップＳ６０２で得たＢＬＳｋｉｐ予測モードの予測残差信号のＳＳＤ（ＳＳＤ２）との差分ＳＳＤ（ＳＳＤｅ）を算出する。

ステップＳ６０４：ステップＳ６０３の処理によって出力される差分ＳＳＤ（ＳＳＤｅ）の値を読み込み、その値が外部より与えられる閾値未満（ＳＳＤｅ＜閾値）であるのか否かの判定処理を行い、真の場合にはステップＳ６０５の処理に移り、偽の場合にはステップＳ６０６の処理に移る。ここで、この閾値は動き推定性能判定閾値であり、実験的に与える。

ステップＳ６０５：ステップＳ６０４の処理によって出力されるＳＳＤｅが閾値未満であるという判定結果を読み込み、符号化対象のマクロブロックを動き推定が難しいマクロブロックとして設定して、それを示すフラグを出力する。

ステップＳ６０６：ステップＳ６０４の処理によって出力されるＳＳＤが閾値未満でないという判定結果を読み込み、符号化対象のマクロブロックを動き推定が易しいマクロブロックとして設定して、それを示すフラグを出力する。

このようにして、図７のフローチャートを実行する場合、拡張レイヤ符号化部１１は、拡張レイヤで求められる予測残差信号のＳＳＤと直下レイヤで求められる予測残差信号のＳＳＤとの差分値が小さい場合には、その２つのＳＳＤが正しいことを判断して、符号化対象のマクロブロックを動き推定が難しいマクロブロックと判断するように処理するのである。

〔１−４〕ステップＳ３０１，ステップＳ４０２で実行する処理
次に、図８および図９を用いて、拡張レイヤ符号化部１１がステップＳ３０１，ステップＳ４０２で実行する処理の一例について詳細に説明する。ここで、図８、図９のうちのいずれか一つが適用可能である。

最初に、図８のフローチャートについて説明する。

ステップＳ７０１：直下ＳＭＢの原信号を読み込み、隣接画素相関値（Ｃ０）を算出する。

ステップＳ７０２：ステップＳ７０１の処理によって得られた隣接画素相関値（Ｃ０）を読み込み、その値が外部より与えられる閾値未満（Ｃ０＜閾値）であるのか否かの判定処理を行い、真の場合にはステップＳ７０３の処理に移り、偽の場合にはステップＳ７０４の処理に移る。ここで、この閾値は輝度変化判定閾値であり、実験的に与える。

ステップＳ７０３：ステップＳ７０２の処理によって出力される隣接画素相関値が閾値未満であるという判定結果（相関が低いことで輝度変化が大きいことを示している）を読み込み、符号化対象のマクロブロックを輝度変化が大きなマクロブロックとして設定して、それを示すフラグを出力する。

ステップＳ７０４：ステップＳ７０２の処理によって出力される隣接画素相関値が閾値未満でないという判定結果（相関が高いことで輝度変化が小さいことを示している）を読み込み、符号化対象のマクロブロックを輝度変化が小さなマクロブロックとして設定して、それを示すフラグを出力する。

このようにして、図８のフローチャートを実行する場合、拡張レイヤ符号化部１１は、基本レイヤで求められる隣接画素相関値の値が小さい場合には、符号化対象のマクロブロックを輝度変化が大きいマクロブロックと判断するように処理するのである。

次に、図９のフローチャートについて説明する。

ステップＳ８０１：符号化対象のマクロブロックの原信号を読み込み、隣接画素相関値（Ｃ１）を算出する。

ステップＳ８０２：ステップＳ８０１の処理によって得られた隣接画素相関値（Ｃ１）を読み込み、その値が外部より与えられる閾値未満（Ｃ１＜閾値）であるのか否かの判定処理を行い、真の場合にはステップＳ８０３の処理に移り、偽の場合にはステップＳ８０４の処理に移る。ここで、この閾値は輝度変化判定閾値であり、実験的に与える。

ステップＳ８０３：ステップＳ８０２の処理によって出力される隣接画素相関値が閾値未満であるという判定結果（相関が低いことで輝度変化が大きいことを示している）を読み込み、符号化対象のマクロブロックを輝度変化が大きなマクロブロックとして設定して、それを示すフラグを出力する。

ステップＳ８０４：ステップＳ８０２の処理によって出力される隣接画素相関値が閾値未満でないという判定結果（相関が高いことで輝度変化が小さいことを示している）を読み込み、符号化対象のマクロブロックを輝度変化が小さなマクロブロックとして設定して、それを示すフラグを出力する。

このようにして、図９のフローチャートを実行する場合、拡張レイヤ符号化部１１は、拡張レイヤで求められる隣接画素相関値の値が小さい場合には、符号化対象のマクロブロックを輝度変化が大きいマクロブロックと判断するように処理するのである。

〔２〕拡張レイヤ符号化部１１の装置構成
図１０〜図１７に、図２〜図９のフローチャートを実行する拡張レイヤ符号化部１１の装置構成を図示する。

次に、これらの装置構成図に従って、拡張レイヤ符号化部１１の装置構成について詳細に説明する。

〔２−１〕全体構成
まず最初に、図１０の装置構成について説明する。ここで、図１０の装置構成は拡張レイヤ符号化部１１の全体構成を示している。

この図に示すように、拡張レイヤ符号化部１１は、符号化対象ＭＢ初期選択部１０１と、高速予測モード判定部１０２と、予測モード情報記憶部１０３と、予測残差信号生成部１０４と、予測残差符号化部１０５と、全ＭＢ完了判定部１０６と、符号化対象ＭＢ更新部１０７とを備える。次に、これらの各処理部について説明する。

符号化対象ＭＢ初期選択部１０１：符号化処理の起点となる符号化対象のマクロブロックを１つ選択する。

高速予測モード判定部１０２：符号化対象のマクロブロックの原信号をバッファより読み込み、本発明の高速化予測モード選択処理を行い、符号化対象のマクロブロックに適用する予測モード情報を予測モード情報記憶部１０３に出力する。後述する図１１、図１２および図１３で本処理部の構成の一例について詳細に説明する。

予測残差信号生成部１０４：予測モード情報記憶部１０３より符号化対象のマクロブロックに適用する予測モード情報を読み込み、その予測モードに従って予測信号を生成し、原信号と予測信号との差分をとった予測残差信号を生成してバッファに出力する。

予測残差符号化部１０５：バッファより予測残差信号を読み込み、その予測残差信号の符号化を行い、符号化データを生成する。本処理の一例に、Ｈ．２６４／ＡＶＣの参照エンコーダＪＭや、非特許文献１で挙げたＳＶＣの参照エンコーダＪＳＶＭのＤＣＴ、量子化、可変長符号化の一連処理の適用が考えられる。

全ＭＢ完了判定部１０６：すべてのマクロブロックの符号化が完了しているのか否かの判定処理を行い、真の場合には符号化処理を終了して最終的な符号化データを出力し、偽の場合には符号化対象ＭＢ更新部１０７の処理に移る。

符号化対象ＭＢ更新部１０７：次の符号化対象のマクロブロックを１つ選択して高速予測モード判定部１０２の処理を行う。

〔２−２〕高速予測モード判定部１０２の装置構成
次に、図１１〜図１３を用いて、高速予測モード判定部１０２の装置構成の一例について説明する。ここで、図１１、図１２、図１３のうちのいずれか一つが適用可能である。

最初に、図１１の装置構成図について説明する。

この装置構成に従う場合、高速予測モード判定部１０２は、動き推定難／易判定部２０１と、直下ＳＭＢ予測モード情報記憶部２０２と、直下ＳＭＢ予測モード情報判定部２０３と、ＣＩＰフラグ情報記憶部２０４と、ＣＩＰフラグ情報判定部２０５と、符号化コスト比較部２０６と、ＣＩＰフラグ情報判定部２０７と、符号化コスト最小予測モード探索部２０８とを備える。次に、これらの各処理部について説明する。

動き推定難／易判定部２０１：拡張レイヤの原信号または符号化情報、もしくは直下レイヤの原信号または符号化情報を読み込み、符号化対象のマクロブロックが動き推定難ＭＢ（動きの激しいＭＢ）であるのか否かの判定処理を行い、偽の場合には符号化コスト最小予測モード探索部２０８の処理に移り、真の場合には直下ＳＭＢ予測モード情報判定部２０３の処理に移る。後述する図１４および図１５で本処理部の構成の一例について詳細に説明する。

直下ＳＭＢ予測モード情報記憶部２０２：直下ＳＭＢにおいて適用された予測モード情報を読み込み、レジスタに出力する。

直下ＳＭＢ予測モード情報判定部２０３：直下ＳＭＢ予測モード情報記憶部２０２より直下ＳＭＢにおいて適用された予測モード情報を読み込み、それがイントラ予測モードであるのか否かの判定処理を行い、偽の場合にはＣＩＰフラグ情報判定部２０５の処理に移り、真の場合にはＣＩＰフラグ情報判定部２０７の処理に移る。

ＣＩＰフラグ情報記憶部２０４：ＣＩＰフラグを読み込み、レジスタに出力する。

ＣＩＰフラグ情報判定部２０５：ＣＩＰフラグ情報記憶部２０４よりＣＩＰフラグを読み込み、それがオンであるのか否かの判定処理を行い、真の場合にはＢＬＳｋｉｐ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力し、偽の場合には符号化コスト比較部２０６の処理に移る。

符号化コスト比較部２０６：ＩｎｔｒａＢＬ予測モードの符号化コスト（Ｊ_IntraBL ）と、ＢＬＳｋｉｐ予測モードの符号化コスト（Ｊ_BLSkip）とを読み込み、両者を比較し、Ｊ_IntraBL ＜Ｊ_BLSkipであるのか否かの判定処理を行い、真の場合にはＩｎｔｒａＢＬ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力し、偽の場合にはＢＬＳｋｉｐ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。

ＣＩＰフラグ情報判定部２０７：ＣＩＰフラグ情報記憶部２０４よりＣＩＰフラグを読み込み、それがオンであるのか否かの判定処理を行い、真の場合にはＩｎｔｒａＢＬ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力し、偽の場合には符号化コスト最小予測モード探索部２０８の処理に移る。

符号化コスト最小予測モード探索部２０８：符号化対象のマクロブロックにおいて探索対象となっている予測モード群を読み込み、各予測モードの符号化コストを算出し、符号化コストを最小にする予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。本処理部の一例に、Ｈ．２６４／ＡＶＣの参照エンコーダＪＭや、非特許文献１で挙げたＳＶＣの参照エンコーダＪＳＶＭの予測モード選択方法の適用が考えられる。

このようにして、図１１の装置構成に従って、高速予測モード判定部１０２は、符号化対象のマクロブロックが動きの激しい画像領域であることで、各予測モードにより発生する予測残差信号の差のない画像領域であることを判断する場合には、符号化コストによる予測モードの探索を行わずに、符号化対象のマクロブロックに適用する予測モードとして、直ちに、符号量のオーバーヘッドが小さくかつ予測信号の生成処理が簡単な予測モードであるレイヤ間予測モードを決定するのである。

次に、図１２の装置構成図について説明する。

この装置構成に従う場合、高速予測モード判定部１０２は、輝度変化大／小判定部３０１と、直下ＳＭＢ予測モード情報記憶部３０２と、直下ＳＭＢ予測モード情報判定部３０３と、ＣＩＰフラグ情報記憶部３０４と、ＣＩＰフラグ情報判定部３０５と、符号化コスト比較部３０６と、ＣＩＰフラグ情報判定部３０７と、符号化コスト最小予測モード探索部３０８とを備える。次に、これらの各処理部について説明する。

輝度変化大／小判定部３０１：拡張レイヤの原信号または符号化情報、もしくは直下レイヤの原信号または符号化情報を読み込み、輝度変化大ＭＢ（輝度変化の大きいＭＢ）であるのか否かの判定処理を行い、真の場合には符号化コスト最小予測モード探索部３０８の処理に移り、偽の場合には直下ＳＭＢ予測モード情報判定部３０３の処理に移る。後述する図１６および図１７で本処理部の構成の一例について詳細に説明する。

直下ＳＭＢ予測モード情報記憶部３０２：直下ＳＭＢにおいて適用された予測モード情報を読み込み、レジスタに出力する。

直下ＳＭＢ予測モード情報判定部３０３：直下ＳＭＢ予測モード情報記憶部３０２より直下ＳＭＢにおいて適用された予測モード情報を読み込み、それがイントラ予測モードであるのか否かの判定処理を行い、偽の場合にはＣＩＰフラグ情報判定部３０５の処理に移り、真の場合にはＣＩＰフラグ情報判定部３０７の処理に移る。

ＣＩＰフラグ情報記憶部３０４：ＣＩＰフラグを読み込み、レジスタに出力する。

ＣＩＰフラグ情報判定部３０５：ＣＩＰフラグ情報記憶部３０４よりＣＩＰフラグを読み込み、それがオンであるのか否かの判定処理を行い、真の場合にはＢＬＳｋｉｐ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力し、偽の場合には符号化コスト比較部３０６の処理に移る。

符号化コスト比較部３０６：ＩｎｔｒａＢＬ予測モードの符号化コスト（Ｊ_IntraBL ）と、ＢＬＳｋｉｐ予測モードの符号化コスト（Ｊ_BLSkip）とを読み込み、両者を比較し、Ｊ_IntraBL ＜Ｊ_BLSkipであるのか否かの判定処理を行い、真の場合にはＩｎｔｒａＢＬ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力し、偽の場合にはＢＬＳｋｉｐ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。

ＣＩＰフラグ情報判定部３０７：ＣＩＰフラグ情報記憶部３０４よりＣＩＰフラグを読み込み、それがオンであるのか否かの判定処理を行い、真の場合にはＩｎｔｒａＢＬ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力し、偽の場合には符号化コスト最小予測モード探索部３０８の処理に移る。

符号化コスト最小予測モード探索部３０８：符号化対象のマクロブロックにおいて探索対象となっている予測モード群を読み込み、各予測モードの符号化コストを算出し、符号化コストを最小にする予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。本処理部の一例に、Ｈ．２６４／ＡＶＣの参照エンコーダＪＭや、非特許文献１で挙げたＳＶＣの参照エンコーダＪＳＶＭの予測モード選択方法の適用が考えられる。

このようにして、図１２の装置構成に従って、高速予測モード判定部１０２は、符号化対象のマクロブロックが輝度変化のほとんどない画像領域であることで、各予測モードにより発生する予測残差信号の差のない画像領域であることを判断する場合には、符号化コストによる予測モードの探索を行わずに、符号化対象のマクロブロックに適用する予測モードとして、直ちに、符号量のオーバーヘッドが小さくかつ予測信号の生成処理が簡単な予測モードであるレイヤ間予測モードを決定するのである。

次に、図１３の装置構成図について説明する。

この装置構成に従う場合、高速予測モード判定部１０２は、動き推定難／易判定部４０１と、輝度変化大／小判定部４０２と、直下ＳＭＢ予測モード情報記憶部４０３と、直下ＳＭＢ予測モード情報判定部４０４と、ＣＩＰフラグ情報記憶部４０５と、ＣＩＰフラグ情報判定部４０６と、符号化コスト比較部４０７と、ＣＩＰフラグ情報判定部４０８と、符号化コスト最小予測モード探索部４０９とを備える。次に、これらの各処理部について説明する。

動き推定難／易判定部４０１：拡張レイヤの原信号または符号化情報、もしくは直下レイヤの原信号または符号化情報を読み込み、符号化対象のマクロブロックが動き推定難ＭＢ（動きの激しいＭＢ）であるのか否かの判定処理を行い、偽の場合には輝度変化大／小判定部４０２の処理に移り、真の場合には直下ＳＭＢ予測モード情報判定部４０４の処理に移る。後述する図１４および図１５で本処理部の構成の一例について詳細に説明する。

輝度変化大／小判定部４０２：拡張レイヤの原信号または符号化情報、もしくは直下レイヤの原信号または符号化情報を読み込み、符号化対象のマクロブロックが輝度変化大ＭＢ（輝度変化の大きいＭＢ）であるのか否かの判定処理を行い、真の場合には符号化コスト最小予測モード探索部４０９の処理に移り、偽の場合には直下ＳＭＢ予測モード情報判定部４０４の処理に移る。後述する図１６および図１７で本処理部の構成の一例について詳細に説明する。

直下ＳＭＢ予測モード情報記憶部４０３：直下ＳＭＢにおいて適用された予測モード情報を読み込み、レジスタに出力する。

直下ＳＭＢ予測モード情報判定部４０４：直下ＳＭＢ予測モード情報記憶部４０３より直下ＳＭＢにおいて適用された予測モード情報を読み込み、それがイントラ予測モードであるのか否かの判定処理を行い、偽の場合にはＣＩＰフラグ情報判定部４０６の処理に移り、真の場合にはＣＩＰフラグ情報判定部４０８の処理に移る。

ＣＩＰフラグ情報記憶部４０５：ＣＩＰフラグを読み込み、レジスタに出力する。

ＣＩＰフラグ情報判定部４０６：ＣＩＰフラグ情報記憶部４０５よりＣＩＰフラグを読み込み、それがオンであるのか否かの判定処理を行い、真の場合にはＢＬＳｋｉｐ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力し、偽の場合には符号化コスト比較部４０７の処理に移る。

符号化コスト比較部４０７：ＩｎｔｒａＢＬ予測モードの符号化コスト（Ｊ_IntraBL ）と、ＢＬＳｋｉｐ予測モードの符号化コスト（Ｊ_BLSkip）とを読み込み、両者を比較し、Ｊ_IntraBL ＜Ｊ_BLSkipであるのか否かの判定処理を行い、真の場合にはＩｎｔｒａＢＬ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力し、偽の場合にはＢＬＳｋｉｐ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。

ＣＩＰフラグ情報判定部４０８：ＣＩＰフラグ情報記憶部４０５よりＣＩＰフラグを読み込み、それがオンであるのか否かの判定処理を行い、真の場合にはＩｎｔｒａＢＬ予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力し、偽の場合には符号化コスト最小予測モード探索部４０９の処理に移る。

符号化コスト最小予測モード探索部４０９：符号化対象のマクロブロックにおいて探索対象となっている予測モード群を読み込み、各予測モードの符号化コストを算出し、符号化コストを最小にする予測モードを符号化対象のマクロブロックに適用する予測モードとして決定して出力する。本処理部の一例に、Ｈ．２６４／ＡＶＣの参照エンコーダＪＭや、非特許文献１で挙げたＳＶＣの参照エンコーダＪＳＶＭの予測モード選択方法の適用が考えられる。

このようにして、図１３の装置構成に従って、高速予測モード判定部１０２は、符号化対象のマクロブロックが動きの激しい画像領域であったり、符号化対象のマクロブロックが輝度変化のほとんどない画像領域であることで、各予測モードにより発生する予測残差信号の差のない画像領域であることを判断する場合には、符号化コストによる予測モードの探索を行わずに、符号化対象のマクロブロックに適用する予測モードとして、直ちに、符号量のオーバーヘッドが小さくかつ予測信号の生成処理が簡単な予測モードであるレイヤ間予測モードを決定するのである。

〔２−３〕動き推定難／易判定部２０１，４０１の装置構成
次に、図１４および図１５を用いて、動き推定難／易判定部２０１，４０１の装置構成の一例について詳細に説明する。ここで、図１４、図１５のうちのいずれか一つが適用可能である。

最初に、図１４の装置構成図について説明する。

図１４の装置構成に従う場合、動き推定難／易判定部２０１，４０１は、直下ＳＭＢ４×４予測残差ＳＳＤ値記憶部５０１と、直下ＳＭＢ４×４予測残差ＳＳＤ閾値記憶部５０２と、直下ＳＭＢ４×４予測残差ＳＳＤ比較部５０３とを備える。次に、これらの各処理部について説明する。

直下ＳＭＢ４×４予測残差ＳＳＤ値記憶部５０１：直下ＳＭＢにおいて原信号を読み込み、４×４インター予測モードによって生じた予測残差信号のＳＳＤを算出し、レジスタに出力する。

直下ＳＭＢ４×４予測残差ＳＳＤ閾値記憶部５０２：直下ＳＭＢにおいて４×４画素単位の動き推定で生じた予測残差信号ＳＳＤの閾値を読み込み、レジスタに出力する。ここで、この閾値は、外部より与えられ、動き推定性能判定のために使用される。この閾値は実験的に与える。

直下ＳＭＢ４×４予測残差ＳＳＤ比較部５０３：直下ＳＭＢ４×４予測残差ＳＳＤ値記憶部５０１より直下ＳＭＢにおいて４×４画素単位の動き推定で生じた予測残差信号ＳＳＤを読み込み、それが直下ＳＭＢ４×４予測残差ＳＳＤ閾値記憶部５０２より読み込んだ閾値以上であるのか否かの判定処理を行い、真の場合には符号化対象のマクロブロックを動き推定が難しいマクロブロックとして設定して、それを示すフラグを出力し、偽の場合には符号化対象のマクロブロックを動き推定が易しいマクロブロックとして設定して、それを示すフラグを出力する。

このようにして、図１４の装置構成に従って、動き推定難／易判定部２０１，４０１は、直下レイヤで求められる予測残差信号のＳＳＤの値が大きい場合には、符号化対象のマクロブロックを動き推定が難しいマクロブロックと判断するように処理するのである。

次に、図１５の装置構成図について説明する。

図１５の装置構成に従う場合、動き推定難／易判定部２０１，４０１は、符号化対象ＭＢ４×４Inter 予測モード実施部６０１と、符号化対象ＭＢ４×４Inter 予測残差信号記憶部６０２と、符号化対象ＭＢ４×４Inter 予測残差ＳＳＤ値計算部６０３と、符号化対象ＭＢBLSkip予測モード実施部６０４と、符号化対象ＭＢBLSkip予測残差信号記憶部６０５と、符号化対象ＭＢBLSkip予測残差ＳＳＤ値計算部６０６と、ＳＳＤ差分値計算部６０７と、ＳＳＤ差分値記憶部６０８と、ＳＳＤ差分閾値記憶部６０９と、ＳＳＤ差分値比較部６１０とを備える。次に、これらの各処理部について説明する。

符号化対象ＭＢ４×４Inter 予測モード実施部６０１：符号化対象のマクロブロックにおいて原信号を読み込み、４×４Ｉｎｔｅｒ予測モードを実行し、生じた予測残差信号を符号化対象ＭＢ４×４Inter 予測残差信号記憶部６０２に出力する。

符号化対象ＭＢ４×４Inter 予測残差ＳＳＤ値計算部６０３：符号化対象ＭＢ４×４Inter 予測残差信号記憶部６０２より符号化対象のマクロブロックの４×４Ｉｎｔｅｒ予測モードによって生じた予測残差信号を読み込み、その予測残差信号のＳＳＤを算出し、レジスタに出力する。

符号化対象ＭＢBLSkip予測モード実施部６０４：符号化対象のマクロブロックにおいて原信号を読み込み、ＢＬＳｋｉｐ予測モードを実行し、生じた予測残差信号を符号化対象ＭＢBLSkip予測残差信号記憶部６０５に出力する。

符号化対象ＭＢBLSkip予測残差ＳＳＤ値計算部６０６：符号化対象ＭＢBLSkip予測残差信号記憶部６０５より符号化対象のマクロブロックのＢＬＳｋｉｐ予測モードによって生じた予測残差信号を読み込み、その予測残差信号のＳＳＤを算出し、レジスタに出力する。

ＳＳＤ差分値計算部６０７：レジスタより、符号化対象のマクロブロックの４×４Ｉｎｔｅｒ予測モードによって生じた予測残差信号のＳＳＤと符号化対象のマクロブロックのＢＬＳｋｉｐ予測モードによって生じた予測残差信号のＳＳＤとを読み込み、両者の差分ＳＳＤを計算し、その結果をＳＳＤ差分値記憶部６０８に出力する。

ＳＳＤ差分閾値記憶部６０９：符号化対象のマクロブロックの４×４Ｉｎｔｅｒ予測モードによって生じた予測残差信号のＳＳＤと符号化対象のマクロブロックのＢＬＳｋｉｐ予測モードによって生じた予測残差信号のＳＳＤとの差分値に対する閾値を読み込み、レジスタに出力する。ここで、この閾値は、外部より与えられ、動き推定性能判定のために使用される。この閾値は実験的に与える。

ＳＳＤ差分値比較部６１０：ＳＳＤ差分値記憶部６０８よりＳＳＤ差分値を読み込み、それがＳＳＤ差分閾値記憶部６０９より読み込んだ閾値未満であるか否かの判定処理を行い、真の場合には符号化対象のマクロブロックを動き推定の難しいマクロブロックとして設定して、それを示すフラグを出力し、偽の場合には符号化対象のマクロブロックを動き推定の易しいマクロブロックとして設定して、それを示すフラグを出力する。

このようにして、図１５の装置構成に従って、動き推定難／易判定部２０１，４０１は、拡張レイヤで求められる予測残差信号のＳＳＤと直下レイヤで求められる予測残差信号のＳＳＤとの差分値が小さい場合には、符号化対象のマクロブロックを動き推定が難しいマクロブロックと判断するように処理するのである。

〔２−４〕輝度変化大／小判定部３０１，４０２の装置構成
次に、図１６および図１７を用いて、輝度変化大／小判定部３０１，４０２の装置構成の一例について詳細に説明する。ここで、図１６、図１７のうちのいずれか一つが適用可能である。

最初に、図１６の装置構成図について説明する。

図１６の装置構成に従う場合、輝度変化大／小判定部３０１，４０２は、直下ＳＭＢ隣接画素相関値計算部７０１と、直下ＳＭＢ隣接画素相関値記憶部７０２と、直下ＳＭＢ隣接画素相関値閾値記憶部７０３と、直下ＳＭＢ隣接画素相関値比較部７０４とを備える。次に、これらの各処理部について説明する。

直下ＳＭＢ隣接画素相関値計算部７０１：直下ＳＭＢの原信号を読み込み、隣接画素相関値を算出し、その値を直下ＳＭＢ隣接画素相関値記憶部７０２に出力する。

直下ＳＭＢ隣接画素相関値閾値記憶部７０３：直下ＳＭＢにおける隣接画素相関値の閾値を読み込み、その値をレジスタに出力する。ここで、この閾値は外部より与えられ、輝度変化大小判定のために使用される。この閾値は実験的に与える。

直下ＳＭＢ隣接画素相関値比較部７０４：直下ＳＭＢ隣接画素相関値記憶部７０２より直下ＳＭＢにおける隣接画素相関値を読み込み、それが直下ＳＭＢ隣接画素相関値閾値記憶部７０３より読み込んだ閾値未満であるか否かの判定処理を行い、真の場合には符号化対象のマクロブロックを輝度変化が大きなマクロブロックとして設定して、それを示すフラグを出力し、偽の場合には符号化対象のマクロブロックを輝度変化が小さなマクロブロックとして設定して、それを示すフラグを出力する。

このようにして、図１６の装置構成に従って、輝度変化大／小判定部３０１，４０２は、基本レイヤで求められる隣接画素相関値の値が小さい場合には、符号化対象のマクロブロックを輝度変化が大きいマクロブロックと判断するように処理するのである。

次に、図１７の装置構成図について説明する。

図１７の装置構成に従う場合、輝度変化大／小判定部３０１，４０２は、符号化対象ＭＢ隣接画素相関値計算部８０１と、符号化対象ＭＢ隣接画素相関値記憶部８０２と、符号化対象ＭＢ隣接画素相関値閾値記憶部８０３と、符号化対象ＭＢ隣接画素相関値比較部８０４とを備える。次に、これらの各処理部について説明する。

符号化対象ＭＢ隣接画素相関値計算部８０１：符号化対象のマクロブロックの原信号を読み込み、隣接画素相関値を算出し、その値を符号化対象ＭＢ隣接画素相関値記憶部８０２に出力する。

符号化対象ＭＢ隣接画素相関値閾値記憶部８０３：符号化対象のマクロブロックにおける隣接画素相関値の閾値を読み込み、その値をレジスタに出力する。ここで、この閾値は外部より与えられ、輝度変化大小判定のために使用される。この閾値は実験的に与える。

符号化対象ＭＢ隣接画素相関値比較部８０４：符号化対象ＭＢ隣接画素相関値記憶部８０２より符号化対象のマクロブロックにおける隣接画素相関値を読み込み、それが符号化対象ＭＢ隣接画素相関値閾値記憶部８０３より読み込んだ閾値未満であるか否かの判定処理を行い、真の場合には符号化対象のマクロブロックを輝度変化が大きなマクロブロックとして設定して、それを示すフラグを出力し、偽の場合には符号化対象のマクロブロックを輝度変化が小さなマクロブロックとして設定して、それを示すフラグを出力する。

このようにして、図１７の装置構成に従って、輝度変化大／小判定部３０１，４０２は、拡張レイヤで求められる隣接画素相関値の値が小さい場合には、符号化対象のマクロブロックを輝度変化が大きいマクロブロックと判断するように処理するのである。

以上に説明したように、本発明を実現する場合、拡張レイヤ符号化部１１は、符号化対象のマクロブロックが動きの激しい画像領域であることで各予測モードにより発生する予測残差信号の差のない画像領域であることを判断したり、符号化対象のマクロブロックが輝度変化のほとんどない画像領域であることで各予測モードにより発生する予測残差信号の差のない画像領域であることを判断する場合には、符号化コストによる予測モードの探索を行わずに、符号化対象のマクロブロックに適用する予測モードとして、直ちに、符号量のオーバーヘッドが小さくかつ予測信号の生成処理が簡単な予測モードであるレイヤ間予測モードを決定するように処理するのである。

この構成に従って、本発明によれば、動画像をスケーラブルに符号化するときに、符号量の増加を抑制しつつ高速にその符号化を実行することができるようになる。

以上に説明した実施の形態では、拡張レイヤ符号化部１１は、符号化対象のマクロブロックが動きの激しい画像領域であることを判断したり、符号化対象のマクロブロックが輝度変化のほとんどない画像領域であることを判断する場合には、符号化コストによる予測モードの探索を行わずに、直ちにレイヤ間予測モードを選択するようにしたが、拡張レイヤにおける予測モードの中のスキップモードやダイレクトモードのような動き推定を行わない予測モードを用いることでも、本発明の目的を達成することができる。

すなわち、スキップモードの場合、符号化側は、ただ単に符号化対象のマクロブロックがスキップモードであるということを示す情報を符号化すればよく（予測残差信号も生成しない）、これを受けて、復号側は、復号処理によりスキップモードであることを判断すると、復号対象のマクロブロックの近傍に位置するマクロブロックの動きベクトルを復号対象のマクロブロックの動きベクトルと見なして、その動きベクトルの指す画像信号をそのまま復号対象のマクロブロックの画像信号と見なすようにするので、符号量の増加を抑制しつつ高速に符号化を実行することができるようになる。

また、ダイレクトモードの場合、符号化側は、ダイレクトモードであるということを示す情報を符号化するとともに、１つ前のフレームの動きベクトルに従って符号化対象のマクロブロックの動きベクトルを推定して、その推定した動きベクトルに従って予測残差信号を求めて符号化を行い、これを受けて、復号側は、復号処理によりダイレクトモードであることを判断するときには、１つ前のフレームの動きベクトルに従って復号対象のマクロブロックの動きベクトルを推定して、その動きベクトルの指す画像信号と復号処理により復号した予測残差信号とを加算することで復号対象のマクロブロックの画像信号を復元するようにするので、符号量の増加を抑制しつつ高速に符号化を実行することができるようになる。

これから、拡張レイヤ符号化部１１は、符号化対象のマクロブロックが動きの激しい画像領域であることを判断したり、符号化対象のマクロブロックが輝度変化のほとんどない画像領域であることを判断する場合に、直ちにレイヤ間予測モードを選択するのではなくて、レイヤ間予測モードとスキップモードやダイレクトモードのような動き推定を行わない予測モードとを選択対象として符号化コストを算出して、それらの予測モードの中で符号化コストが最小となる予測モードを選択することで、符号化に用いる最終的な予測モードを決定するようにしてもよい。このとき、動き推定を行わない予測モードの中にイントラ符号化の予測モードについても含めるようにしてもよい。

このような構成を採ることでも、動画像をスケーラブルに符号化するときに、符号量の増加を抑制しつつ高速にその符号化を実行することができるようになる。しかも、レイヤ間予測モードよりもスキップモードの方が符号化コストが小さくなるような場合や、レイヤ間予測モードよりもダイレクトモードの方が符号化コストが小さくなるような場合には、直ちにレイヤ間予測モードを選択する方法に比べて、符号化効率を高めることができるようになる。

本発明は動画像をスケーラブルに符号化する場合に適用できるものであり、本発明を適用することで、符号量の増加を抑制しつつ高速に拡張レイヤの符号化対象ブロックを符号化することができるようになる。

本発明の適用されるスケーラブル動画像符号化装置の装置構成図である。 拡張レイヤ符号化部の実行するフローチャートである。 拡張レイヤ符号化部の実行するフローチャートである。 拡張レイヤ符号化部の実行するフローチャートである。 拡張レイヤ符号化部の実行するフローチャートである。 拡張レイヤ符号化部の実行するフローチャートである。 拡張レイヤ符号化部の実行するフローチャートである。 拡張レイヤ符号化部の実行するフローチャートである。 拡張レイヤ符号化部の実行するフローチャートである。 拡張レイヤ符号化部の全体構成図である。 高速予測モード判定部の装置構成の一例を示す図である。 高速予測モード判定部の装置構成の他の一例を示す図である。 高速予測モード判定部の装置構成の他の一例を示す図である。 動き推定難／易判定部の装置構成の一例を示す図である。 動き推定難／易判定部の装置構成の他の一例を示す図である。 輝度変化大／小判定部の装置構成の一例を示す図である。 輝度変化大／小判定部の装置構成の他の一例を示す図である。

符号の説明

１ スケーラブル動画像符号化装置
１０ 基本レイヤ符号化部
１１ 拡張レイヤ符号化部
１２ 符号化データ出力部
１０１ 符号化対象ＭＢ初期選択部
１０２ 高速予測モード判定部
１０３ 予測モード情報記憶部
１０４ 予測残差信号生成部
１０５ 予測残差符号化部
１０６ 全ＭＢ完了判定部
１０７ 符号化対象ＭＢ更新部

Claims (10)

1. 動画像をスケーラブルに符号化するスケーラブル動画像符号化方法であって、
   符号化対象となっている上位レイヤの符号化対象ブロックの画像領域の動きが規定よりも大きいのか否かを判断する過程と、
   前記符号化対象ブロックの画像領域の動きが規定よりも大きいと判断した場合に、前記符号化対象ブロックの予測モードとして、下位レイヤの符号化済み直下ブロックの予測モードがイントラ予測である場合には、前記直下ブロックの復号信号を上位レイヤの解像度までアップサンプルした復号信号を予測信号とするレイヤ間予測モードを選択し、前記直下ブロックの予測モードがインター予測である場合には、前記直下ブロックの符号化情報をそのまま流用するレイヤ間予測モードを選択する過程と、
   前記選択したレイヤ間予測モードに従って前記符号化対象ブロックを符号化する過程とを備えることを、
   特徴とするスケーラブル動画像符号化方法。
2. 動画像をスケーラブルに符号化するスケーラブル動画像符号化方法であって、
   符号化対象となっている上位レイヤの符号化対象ブロックの画像領域の動きが規定よりも大きいのか否かを判断する過程と、
   前記符号化対象ブロックの画像領域の動きが規定よりも大きいと判断した場合に、前記符号化対象ブロックの予測モードとして、下位レイヤの符号化済み直下ブロックの予測モードがイントラ予測である場合には、前記直下ブロックの復号信号を上位レイヤの解像度までアップサンプルした復号信号を予測信号とするレイヤ間予測モードを選択対象とし、前記直下ブロックの予測モードがインター予測である場合には、前記直下ブロックの符号化情報をそのまま流用するレイヤ間予測モードを選択対象とし、さらに、上位レイヤにおけるスキップモードもしくはダイレクトモードまたはイントラ符号化の予測モードを選択対象として、それらの予測モードの中で符号化コストが最小となる予測モードを選択する過程と、
   前記選択した予測モードに従って前記符号化対象ブロックを符号化する過程とを備えることを、
   特徴とするスケーラブル動画像符号化方法。
3. 動画像をスケーラブルに符号化するスケーラブル動画像符号化方法であって、
   符号化対象となっている上位レイヤの符号化対象ブロックの画像領域の輝度変化が規定よりも小さいのか否かを判断する過程と、
   前記符号化対象ブロックの画像領域の輝度変化が規定よりも小さいと判断した場合に、前記符号化対象ブロックの予測モードとして、下位レイヤの符号化済み直下ブロックの予測モードがイントラ予測である場合には、前記直下ブロックの復号信号を上位レイヤの解像度までアップサンプルした復号信号を予測信号とするレイヤ間予測モードを選択し、前記直下ブロックの予測モードがインター予測である場合には、前記直下ブロックの符号化情報をそのまま流用するレイヤ間予測モードを選択する過程と、
   前記選択したレイヤ間予測モードに従って前記符号化対象ブロックを符号化する過程とを備えることを、
   特徴とするスケーラブル動画像符号化方法。
4. 動画像をスケーラブルに符号化するスケーラブル動画像符号化方法であって、
   符号化対象となっている上位レイヤの符号化対象ブロックの画像領域の輝度変化が規定よりも小さいのか否かを判断する過程と、
   前記符号化対象ブロックの画像領域の輝度変化が規定よりも小さいと判断した場合に、前記符号化対象ブロックの予測モードとして、下位レイヤの符号化済み直下ブロックの予測モードがイントラ予測である場合には、前記直下ブロックの復号信号を上位レイヤの解像度までアップサンプルした復号信号を予測信号とするレイヤ間予測モードを選択対象とし、前記直下ブロックの予測モードがインター予測である場合には、前記直下ブロックの符号化情報をそのまま流用するレイヤ間予測モードを選択対象とし、さらに、上位レイヤにおけるスキップモードもしくはダイレクトモードまたはイントラ符号化の予測モードを選択対象として、それらの予測モードの中で符号化コストが最小となる予測モードを選択する過程と、
   前記選択した予測モードに従って前記符号化対象ブロックを符号化する過程とを備えることを、
   特徴とするスケーラブル動画像符号化方法。
5. 動画像をスケーラブルに符号化するスケーラブル動画像符号化装置であって、
   符号化対象となっている上位レイヤの符号化対象ブロックの画像領域の動きが規定よりも大きいのか否かを判断する手段と、
   前記符号化対象ブロックの画像領域の動きが規定よりも大きいと判断した場合に、前記符号化対象ブロックの予測モードとして、下位レイヤの符号化済み直下ブロックの予測モードがイントラ予測である場合には、前記直下ブロックの復号信号を上位レイヤの解像度までアップサンプルした復号信号を予測信号とするレイヤ間予測モードを選択し、前記直下ブロックの予測モードがインター予測である場合には、前記直下ブロックの符号化情報をそのまま流用するレイヤ間予測モードを選択する手段と、
   前記選択したレイヤ間予測モードに従って前記符号化対象ブロックを符号化する手段とを備えることを、
   特徴とするスケーラブル動画像符号化装置。
6. 動画像をスケーラブルに符号化するスケーラブル動画像符号化装置であって、
   符号化対象となっている上位レイヤの符号化対象ブロックの画像領域の動きが規定よりも大きいのか否かを判断する手段と、
   前記符号化対象ブロックの画像領域の動きが規定よりも大きいと判断した場合に、前記符号化対象ブロックの予測モードとして、下位レイヤの符号化済み直下ブロックの予測モードがイントラ予測である場合には、前記直下ブロックの復号信号を上位レイヤの解像度までアップサンプルした復号信号を予測信号とするレイヤ間予測モードを選択対象とし、前記直下ブロックの予測モードがインター予測である場合には、前記直下ブロックの符号化情報をそのまま流用するレイヤ間予測モードを選択対象とし、さらに、上位レイヤにおけるスキップモードもしくはダイレクトモードまたはイントラ符号化の予測モードを選択対象として、それらの予測モードの中で符号化コストが最小となる予測モードを選択する手段と、
   前記選択した予測モードに従って前記符号化対象ブロックを符号化する手段とを備えることを、
   特徴とするスケーラブル動画像符号化装置。
7. 動画像をスケーラブルに符号化するスケーラブル動画像符号化装置であって、
   符号化対象となっている上位レイヤの符号化対象ブロックの画像領域の輝度変化が規定よりも小さいのか否かを判断する手段と、
   前記符号化対象ブロックの画像領域の輝度変化が規定よりも小さいと判断した場合に、前記符号化対象ブロックの予測モードとして、下位レイヤの符号化済み直下ブロックの予測モードがイントラ予測である場合には、前記直下ブロックの復号信号を上位レイヤの解像度までアップサンプルした復号信号を予測信号とするレイヤ間予測モードを選択し、前記直下ブロックの予測モードがインター予測である場合には、前記直下ブロックの符号化情報をそのまま流用するレイヤ間予測モードを選択する手段と、
   前記選択したレイヤ間予測モードに従って前記符号化対象ブロックを符号化する手段とを備えることを、
   特徴とするスケーラブル動画像符号化装置。
8. 動画像をスケーラブルに符号化するスケーラブル動画像符号化装置であって、
   符号化対象となっている上位レイヤの符号化対象ブロックの画像領域の輝度変化が規定よりも小さいのか否かを判断する手段と、
   前記符号化対象ブロックの画像領域の輝度変化が規定よりも小さいと判断した場合に、前記符号化対象ブロックの予測モードとして、下位レイヤの符号化済み直下ブロックの予測モードがイントラ予測である場合には、前記直下ブロックの復号信号を上位レイヤの解像度までアップサンプルした復号信号を予測信号とするレイヤ間予測モードを選択対象とし、前記直下ブロックの予測モードがインター予測である場合には、前記直下ブロックの符号化情報をそのまま流用するレイヤ間予測モードを選択対象とし、さらに、上位レイヤにおけるスキップモードもしくはダイレクトモードまたはイントラ符号化の予測モードを選択対象として、それらの予測モードの中で符号化コストが最小となる予測モードを選択する手段と、
   前記選択した予測モードに従って前記符号化対象ブロックを符号化する手段とを備えることを、
   特徴とするスケーラブル動画像符号化装置。
9. 請求項１ないし４のいずれか１項に記載のスケーラブル動画像符号化方法をコンピュータに実行させるためのスケーラブル動画像符号化プログラム。
10. 請求項１ないし４のいずれか１項に記載のスケーラブル動画像符号化方法をコンピュータに実行させるためのスケーラブル動画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images