JP2005203905A - 画像符号化装置、画像符号化方法並びに画像符号化プログラム - Google Patents

Abstract

【課題】 予測モードの多い符号化にあって、符号化に先立って発生符号量を高精度に見積もことができ、符号化手段及び工程における符号化処理を例えば画質、圧縮率、レートを最適に制御しながら行うことができる画像符号化装置を提供する。
【解決手段】 符号化器１２は、入力端子１１からの入力画像信号（被符号化画像）VINに直交余弦変換を主機能とする、例えばＭＰＥＧ４ ＡＶＣのような予測モードの多い符号化処理を施す。発生符号量予測器１８は、入力画像信号VINに対してフレーム内及びフレーム間予測処理を施して得られた予測残差に基づいて符号化器１２における発生符号量BIT(N)を予測する。符号化制御器１９は、発生符号量予測器１８によって予測された予測発生符号量BIT(N)を符号化器１２における符号化処理の制御に用いる。
【選択図】 図１

Description

本発明は、画像符号化装置、画像符号化方法並びに画像符号化プログラムに関し、特に動画像・静止画像を、磁気テープ、磁気ディスク、光ディスク、光磁気ディスク等の記録媒体に記録したり、テレビ会議システムや、画像送受信可能な電話システムにあって伝送路を介して伝送する場合に用いられて好適な画像符号化装置、画像符号化方法並びに画像符号化プログラムに関する。

例えば、動画像をデジタル化して記録したり、伝送する場合においては、そのデータ量が膨大であることから、従来より、画像データを圧縮符号化することが行われている。動画像の代表的な符号化方式としては、動き補償予測符号化などがある。

動き補償予測符号化は、画像の時間軸方向の相関を利用する符号化方法で、参照する画像（参照画像、参照フレーム）に対する、符号化対象の画像（符号化対象画像、現フレーム）の動きベクトルを検出し、その動きベクトルにしたがって、既に符号化されて復号化された参照画像を動き補償することにより、予測画像を生成する。そして、この予測画像に対する、符号化対象画像の予測残差を求め、この予測残差と動きベクトルを符号化することにより、動画像の情報量が圧縮される。

動き補償予測符号化の具体的なものとしては、ＭＰＥＧ（Moving picture experts group）符号化がある。ＭＰＥＧでは、１フレームまたは１フィールドが、１６ライン×１６画素で構成されるマクロブロックに分割され、このマクロブロック単位で、動き補償予測符号化が行われる。

動き補償予測符号化には、大別して、イントラ符号化と、インター符号化の二つの符号化方式がある。イントラ符号化では、符号化対象のマクロブロックに関して、自身の情報がそのまま符号化され、インター符号化では、他の時刻のフレーム（又はフィールド）を参照画像として、その参照画像から生成される予測画像と、自身の情報との差分が符号化される。

ＭＰＥＧでは、各フレームが、Ｉピクチャ（Intra coded picture）、Ｐピクチャ（Predictive coded picture、またはＢピクチャ（Bidirectionally predictive picture）のうちのいずれかとして符号化される。また、ＭＰＥＧでは、ＧＯＰ（Group of picture）単位で処理が行われる。

このＧＯＰ単位で処理が行われて得られた符号化データを上記記録媒体に記録するときや、伝送するときには、符号化後のデータ量を、伸長復号後の映像の品質を高く保ちつつ記録媒体の記録容量以下、あるいは通信回線の伝送容量以下にする必要がある。

そこで、従来より、上記ＭＰＥＧなどの動画・静止画の圧縮符号化時において、画質制御・ビットレート制御等の観点から、実際の符号化に先立って、いまから符号化しようとするピクチャまたはフィールドの発生符号量を正確に見積もる必要があった。

例えば、発生符号量予測を正確に行うためには、本符号化に先立って、一度仮のパラメータで仮符号化を行い、発生符号量の見積もりを行う方法がある。しかし、このような方法を用いると、符号化のための計算量が倍近くになった。また、この方法を用いると、バッテリで駆動されるモバイル機器などでは電力消費が大きくなってしまい充電の頻度が高くなってしまっていた。

そこで、合計２度の符号化を行わずに、例えば動き予測の残差から発生符号量を直接見もり、１度の符号化で済ませる技術が、本件出願人によりＷＯ９８／２６５９９（特願平１０−５２６５０５）によって開示された。

ところで、ＭＰＥＧの一種としての、例えばＭＰＥＧ２（ＩＳＯ／ＩＥＣ １３８１８−２）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに現在広く用いられている。ＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。

ＭＰＥＧ２は主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してＭＰＥＧ４符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にISO/IEC 14496-2としてその規格が国際標準に承認された。

更に、近年、当初テレビ会議用の画像符号化を目的として、Ｈ.２６４ （ITU-T Q6/16 VCEG）という標準の規格化が進んでいる。Ｈ．２６４はＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、ＭＰＥＧ４の活動の一環として、このＨ．２６４をベースに、Ｈ．２６４ではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がＪＶＴ（Joint Video Team）によって行われている。

上記ＪＶＴで標準化が行われている符号化方式（以下、ＪＶＴ Ｃｏｄｅｃ又はＨ．２６４｜ＭＰＥＧ−４ ＡＶＣ）の具体例の画像情報符号化装置について説明する。図９は離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償により画像圧縮を実現する画像情報符号化装置のブロック図である。

図９に示すように、画像情報符号化装置１００は、Ａ／Ｄ（Analogue/Digital）変換器１０１と、画像並び替えバッファ１０２と、加算器１０３と、直交変換器１０４と、量子化器１０５と、可逆符号化器１０６と、蓄積バッファ１０７と、逆量子化器１０８と、逆直交変換器１０９と、デブロックフィルタ１１０と、フレームメモリ１１１と、動き予測・補償器１１２と、イントラ予測器１１３と、レート制御器１１４とにより構成されている。

図９において、Ａ／Ｄ変換器１０１は、入力された画像信号をデジタル信号に変換する。画像並び替えバッファ１０２は、当該画像情報符号化装置１００から出力される画像圧縮情報のＧＯＰ（Group of Pictures）構造に応じて、フレームの並べ替えを行う。ここで、画像並び替えバッファ１０２は、イントラ（画像内）符号化が行われる画像に関しては、フレーム全体の画像情報を直交変換器１０４に供給する。直交変換器１０４は、画像情報に対して離散コサイン変換又はカルーネン・レーベ変換等の直交変換を施し、変換係数を量子化器１０５に供給する。量子化器１０５は、直交変換器１０４から供給された変換係数に対して量子化処理を施す。

可逆符号化器１０６は、量子化された変換係数に対して可変長符号化、算術符号化等の可逆符号化を施し、符号化された変換係数を蓄積バッファ１０７に供給して蓄積させる。この符号化された変換係数は、画像圧縮情報として出力される。

量子化器１０５の挙動は、レート制御器１１４によって制御される。また、量子化器１０５は、量子化後の変換係数を逆量子化器１０８に供給し、逆量子化器１０８は、その変換係数を逆量子化する。逆直交変換器１０９は、逆量子化された変換係数に対して逆直交変換処理を施して復号画像情報を生成する。デブロックフィルタ１１０は、復号画像情報からブロック歪みを除去し、フレームメモリ１１１に供給して蓄積させる。

一方、画像並び替えバッファ１０２は、インター（画像間）符号化が行われる画像に関しては、画像情報を動き予測・補償器１１２に供給する。動き予測・補償器１１２は、同時に参照される画像情報をフレームメモリ１１１より取り出し、動き予測・補償処理を施して参照画像情報を生成する。動き予測・補償器１１２は、この参照画像情報を加算器１０３に供給し、加算器１０３は、参照画像情報を当該画像情報との差分信号に変換する。また、動き補償・予測器１１２は、同時に動きベクトル情報を可逆符号化器１０６に供給する。

可逆符号化器１０６は、その動きベクトル情報に対して可変長符号化又は算術符号化等の可逆符号化処理を施し、画像圧縮情報のヘッダ部に挿入される情報を形成する。なお、その他の処理については、イントラ符号化を施される画像圧縮情報と同様であるため、説明を省略する。

ここで、上述したＪＶＴで標準化が行われている符号化方式（以下、JVT Codecという。）では、イントラ符号化を行う際に、ブロック周辺の画素から予測画像を生成してその差分を符号化するというイントラ予測符号化が採用されている。すなわち、イントラ符号化が行われる画像に関しては、符号化する画素ブロックの近傍の既に符号化が終了した画素値から予測画像を生成し、その予測画像との差分が符号化される。逆量子化器１０８及び逆直交変換器１０９は、イントラ符号化された画素をそれぞれ逆量子化及び逆直交変換し、加算器１１０は、逆直交変換器１０９の出力と当該画素ブロックを符号化する際に使用された予測画像とを加算し、その加算値をフレームメモリ１１１に供給して蓄積させる。イントラ予測器１１３は、イントラ符号化される画素ブロックの場合には、既に符号化が終了しフレームメモリ１１１に蓄積されている近傍画素を読み出し、予測画像を生成する。このとき、予測画像の生成に用いたイントラ予測モードについても可逆符号化器１０６において可逆符号化処理を施し、画像圧縮情報に含めて出力する。

続いて、上述した画像情報符号化装置１００に対応する画像情報復号装置の概略構成を図１０に示す。図１０に示すように、画像情報復号装置１２０は、蓄積バッファ１２１と、可逆復号器１２２と、逆量子化器１２３と、逆直交変換器１２４と、加算器１２５と、画像並び替えバッファ１２６と、Ｄ／Ａ（Digital/Analogue）変換器１２７と、動き予測・補償器１２８と、フレームメモリ１２９と、イントラ予測器１３０とにより構成されている。

図１０において、蓄積バッファ１２１は、入力された画像圧縮情報を一時的に格納した後、可逆復号器１２２に転送する。可逆復号器１２２は、定められた画像圧縮情報のフォーマットに基づき、画像圧縮情報に対して可変長復号又は算術復号等の処理を施し、量子化された変換係数を逆量子化器１２３に供給する。また、可逆復号器１２２は、当該フレームがインター符号化されたものである場合には、画像圧縮情報のヘッダ部に格納された動きベクトル情報についても復号し、その情報を動き予測・補償器１２８に供給する。

逆量子化器１２３は、可逆復号器１２２から供給された量子化後の変換係数を逆量子化し、変換係数を逆直交変換器１２４に供給する。逆直交変換器１２４は、定められた画像圧縮情報のフォーマットに基づき、変換係数に対して逆離散コサイン変換又は逆カルーネン・レーベ変換等の逆直交変換を施す。

ここで、当該フレームがイントラ符号化されたものである場合には、逆直交変換処理が施された画像情報は、画像並び替えバッファ１２６に格納され、Ｄ／Ａ変換器１２７におけるＤ／Ａ変換処理の後に出力される。

一方、当該フレームがインター符号化されたものである場合には、動き予測・補償器１２８は、可逆復号処理が施された動きベクトル情報とフレームメモリ１２９に格納された画像情報とに基づいて参照画像を生成し、加算器１２５に供給する。加算器１２５は、この参照画像と逆直交変換器１２４の出力とを合成する。なお、その他の処理については、イントラ符号化されたフレームと同様であるため、説明を省略する。

なお、JVT Codecではイントラ予測符号化が採用されているため、当該フレームがイントラ符号化されたものである場合には、イントラ予測器１３０は、フレームメモリ１２９から画像を読みだし、可逆復号器１２２において可逆復号処理が施されたイントラ予測モードに従って予測画像を生成する。加算器１２５は、逆直交変換器１２４の出力とこの予測画像とを加算する。

以上説明した画像情報符号化装置１００及び画像情報復号装置１２０については、例えば下記特許文献２、３等に記載されている。

ＷＯ９８／２６５９９（特願平１０−５２６５０５） 特開２００１−１９９８１８号公報 特開２００２−２０９５３号公報

ところで、上記特許文献１に記載したような方法を、予測モードの多い符号化、例えば上記図９に示したようなＭＰＥＧ４−ＡＶＣに適用すると従来のＭＰＥＧ方式に比べて特に誤差が大きくなってしまった。また、上記方法を用いると、シーンチェンジの場合、動き予測が当たらなくなり動き予測の残差が増えてしまい正しく発生符号量が見積もれなかった。

本発明は、上記実情に鑑みてなされたものであり、予測モードの多い符号化にあって、符号化に先立って発生符号量を高精度に見積もることができ、符号化手段及び工程における符号化処理を例えば画質、圧縮率、レートを最適に制御しながら行うことのできる画像符号化装置、画像符号化方法並びに画像符号化プログラムの提供を目的とする。

本発明に係る画像符号化装置は、上記課題を解決するために、入力画像信号に直交変換と動き補償を用いた予測モードの多い圧縮符号化処理を施す符号化手段と、上記入力画像信号に対してフレーム内及び／又はフレーム間予測処理を施して得られた予測残差に基づいて上記符号化手段における発生符号量を予測する発生符号量予測手段と、上記発生符号量予測手段によって予測された予測発生符号量を上記符号化手段における符号化処理制御に用いる制御手段とを備える。

発生符号量予測手段は、入力画像信号に対してフレーム内及び／又はフレーム間予測処理を施して得られた予測残差に基づいて符号化手段における発生符号量を予測する。制御手段は、発生符号量予測手段によって予測された予測発生符号量を符号化手段における符号化処理制御に用いる。

本発明に係る画像符号化方法及び画像符号化プログラムは、上記課題を解決するために、入力画像信号に直交変換と動き補償を用いた予測モードの多い圧縮符号化処理を施す符号化工程と、上記入力画像信号に対してフレーム内及び／又はフレーム間予測処理を施して得られた予測残差に基づいて上記符号化工程における発生符号量を予測する発生符号量予測工程と、上記発生符号量予測工程によって予測された予測発生符号量を上記符号化工程における符号化処理制御に用いる制御工程とを備える。
発生符号量予測工程は、入力画像信号に対してフレーム内及び／又はフレーム間予測処理を施して得られた予測残差に基づいて符号化工程における発生符号量を予測する。制御工程は、発生符号量予測工程によって予測された予測発生符号量を符号化工程における符号化処理制御に用いる。

本発明に係る画像符号化装置は、符号化手段が入力画像信号に直交変換と動き補償を用いた予測モードの多い圧縮符号化処理を施し、発生符号量予測手段が上記入力画像信号に対してフレーム内及び／又はフレーム間予測処理を施して得られた予測残差に基づいて符号化手段における発生符号量を予測し、制御手段が発生符号量予測手段によって予測された予測発生符号量を符号化手段における符号化処理制御に用いるので、予測モードの多い符号化にあって、符号化に先立って発生符号量を高精度に見積もことができ、符号化手段における符号化処理を例えば画質、圧縮率、レートを最適に制御して行うことができる。

本発明に係る画像符号化装置及び画像符号化プログラムは、符号化工程が入力画像信号に直交変換と動き補償を用いた予測モードの多い圧縮符号化処理を施し、発生符号量予測工程が上記入力画像信号に対してフレーム内及び／又はフレーム間予測処理を施して得られた予測残差に基づいて符号化工程における発生符号量を予測し、制御工程が発生符号量予測工程によって予測された予測発生符号量を符号化工程における符号化処理制御に用いるので、予測モードの多い符号化にあって、符号化に先立って発生符号量を高精度に見積もことができ、符号化手段における符号化処理を例えば画質、圧縮率、レートを最適に制御して行うことができる。

以下、本発明を実施するためのいくつかの最良の形態を説明する。第１の実施の形態は、図１に示すような画像符号化装置１０である。この画像符号化装置１０は、入力端子１１からの入力画像信号（被符号化画像）VINに直交余弦変換を主機能とする、例えばＭＰＥＧ４ ＡＶＣのような予測モードの多い符号化処理を施す符号化器１２と、入力画像信号VINに対してフレーム内及びフレーム間予測処理を施して得られた予測残差に基づいて符号化器１２における発生符号量BIT(N)を予測する発生符号量予測器１８と、発生符号量予測器１８によって予測された予測発生符号量BIT(N)を符号化器１２における符号化処理の制御に用いる符号化制御器１９を備えている。

符号化器１２は、４×４画素、８×８画素、或いは１６×１６画素のブロック単位でフレーム内予測を行うイントラ予測器１３とフレーム間予測を行うインター予測器１４を有する。これらイントラ予測器１３及びインター予測器１４とは別に、画像符号化装置１０は、符号化器１２の外部に設けられたイントラ予測器１６とインター予測器１７を有する。このイントラ予測器１６とインター予測器１７は、４×４画素、８×８画素、或いは１６×１６画素のブロック単位又はブロック数個をグループ化したスーパーブロック単位で後述するようにイントラ予測残差とインター予測残差を求める。

画像符号化装置１０に入力端子１１から入力された入力画像信号（被符号化画像）VINは、符号化器１２、イントラ予測器１６、インター予測器１７及び発生符号量予測器１８に供給される。

符号化器１２のイントラ予測器１３は、入力画像信号VINのフレーム内で符号化する画素ブロックの近傍の既に符号化が終了した画素値からイントラ予測画像を生成し、そのイントラ予測画像との差分を計算する。符号化器１２のインター予測器１４は、参照画像と符号化対象画像との差分を計算する。

符号化器１２の外部のイントラ予測器１６は入力画像信号VINのフレーム内で符号化する画素ブロックの近傍の既に符号化が終了した画素値からイントラ予測画像VP1を生成して発生符号量予測器１８に出力する。インター予測器１７は、参照画像と符号化対象画像との差分からインター予測画像VP2を生成して発生符号量予測器１８に出力する。

発生符号量予測器１８は、フレーム内予測処理結果である上記イントラ予測画像VP1の上記入力画像信号VINに対するフレーム内予測残差であるイントラ予測残差E1と、上記フレーム間予測処理結果であるインター予測画像VP2の入力画像画像信号VINに対するフレーム間予測残差であるインター予測残差E2の何れか小さい一方を予測残差BD(n)として用いる。発生符号量予測器１８は、詳細については後述するが、既に符号化された画像の既知の予測残差と既知の発生符号量と、さらに今から符号化されようとする画像の上記得られた予測残差BD(n)を用いて今から符号化されようとする未知の発生符号量BIT(n)を予測する。

符号化制御器１９は、発生符号量予測器１８からの予測発生符号量BIT(n)を受け取り、符号化器１２における符号化処理を制御するための発生符号量制御パラメータPCを生成し、符号化器１２に出力する。この発生符号量制御パラメータPCは、符号化器１２における符号化処理にあって画質、圧縮率、レートを制御するために使われる。

次に、図２及び図３を参照して発生符号量予測器１８の動作について詳細に説明する。図２において発生符号量予測器１８は、入力画像信号VIN中に含まれるあるブロックの符号化器１２による符号化に先立って、イントラ予測器１６が出力したイントラ予測画像VP1と入力画像信号VINとの差を減算器１８ａにて算出し、イントラ予測残差E1を比較器１８ｃに出力する。また、発生符号量予測器１８は、インター予測器１７が出力したインター予測画像VP2と入力画像信号VINとの差を減算器１８ｂにて算出し、インター予測残差E2を比較器１８ｃに出力する。比較器１８ｃは、イントラ予測残差E1とインター予測残差E2を比較し、いずれか小さい方、又は絶対値がいずれか小さい方を、予測残差BD(n)として生成する。

さらに発生符号量予測器１８は、予測残差BD(n)を用いて今から符号化されようとするピクチャV(n)の発生符号量BIT(n)を見積もる。図３を参照して符号化器１２による符号化前に上記予測残差BD(n)を使って発生符号量BIT(n)を見積もる方法を示す。図３において、V(n-1)はすでに符号化されたピクチャ、V（n)は今から符号化されようとするピクチャ、BD(n-1)はすでに符号化されたピクチャV(n-1)の予測残差、BIT(n-1)はすでに符号化されたピクチャV(n-1)の発生符号量、BD(n)は今から符号化されようとするピクチャV(n)の予測残差、BIT(n)は今から符号化されようとするピクチャV（n)の発生符号量を示す。

すでにあるピクチャを符号化した場合、ここで符号化したピクチャV(n-1)の発生符号量BIT(n-1)と、このときの予測残差BD(n-1)を保存しておく。今から符号化されようとするピクチャV（n)の符号化に先立って上記図２に示した方法で予測残差BD(n)を求める。すると、今から符号化されようとしているピクチャV（n)の発生符号量BIT(n)は、このピクチャの予測残差BD(n)を使って近似的に、
BIT(n) = (BD(n) / BD(n-1)) BIT(n-1) ・・・（１）
として、実際の符号化に先立って漸化式を使って見積もることが可能である。

なお、この発生符号量の見積もり方法は符号化しようとする圧縮方式上で定義されるピクチャタイプごとに計算すると効果的で、例えばＭＰＥＧの場合、I, P, Bのそれぞれのピクチャに対して
BIT_I(n) = (BD(n) / BD(n-1)) BIT_I(n-1) ・・・（２）
BIT_P(n) = (BD(n) / BD(n-1)) BIT_P(n-1) ・・・（３）
BIT_B(n) = (BD(n) / BD(n-1)) BIT_B(n-1) ・・・（４）
としても良い。ここで、上記式（２）はIピクチャ、式（３）はPピクチャ、式（４）はBピクチャの場合を示す。

なお、この画像符号化装置１０では、上記式（２）、（３）、（４）にあげたようにピクチャタイプごとに別々に発生符号量を見積もってもよいし、複数のピクチャタイプでまとめて式（１）を適用して発生符号量を見積もってもよい。また、同一ピクチャタイプであっても、特徴で別々に分けても良い。さらにこれら式（１）、（２）、（３）、（４）に対して必要ならば補正を加えてもよい。

ところで、シーンの始まりのようなシーケンス先頭では、過去に符号化したピクチャが存在しないため、上記式（１）を用いて説明した方法は直接適用できない。このため、過去に符号化したことがない場合は、上記図２に示したようにして求めた予測残差を使って直接、
BIT(0) = f(BD(0)) ・・・（５）
いう形式で、予測関数fを使って予測する。なお、この予測関数fは任意に決めてよい。

また、シーンチェンジの場合も、過去に符号化したピクチャとの差があまりにも大きくなることにより、上記式（１）を用いて説明した方法では発生符号量BIT(n)が予測困難な場合がある。この際には、式（１）、（２）、（３）、（４）に適宜補正を加えても良いし、上記式（５）を用いた方法で発生符号量BIT(n)を予測してもよい。なお、シーンチェンジの検出はピクチャの予測残差を毎回観察し、大きな変化があったことで検出してもよいし、他の方法を用いてもよい。

図４には、これまで説明した画像符号化装置１０における処理手順をまとめて示す。もちろん、この処理手順は上記画像符号化動作をコンピュータ装置によって実現する際に実行する画像符号化方法、或いは画像符号化プログラムを説明するものでもある。コンピュータ装置のＣＰＵが、例えばＨＤＤに格納された図４に示す処理手順の画像符号化プログラムを、ＲＡＭなどのワークエリアに逐次読み出して実行すれば画像符号化装置１０で行われる動作を、コンピュータ装置でも行うことができる。

先ず、ステップＳ１にて予測残差BD(n)を生成する。このステップＳ１のサブルーチンでは、図５に示すように、イントラ予測画像VP1を生成し（ステップＳ１１）、インター予測画像VP2を生成する（ステップＳ１２）。次に、イントラ予測画像VP1と入力画像信号VINからイントラ予測残差E1を生成し（ステップＳ１３）、インター予測画像VP2と入力画像信号VINからインター予測残差E2を生成する（ステップＳ１４）。そして、イントラ予測残差E1とインター予測残差E2の絶対値の小さい方を予測残差BD(n)とする。

次に、図４のステップＳ２では、既に符号化されたピクチャV(n-1)の予測残差BD(n-1)、発生符号量BIT(n-1)と、上記ステップＳ１にて生成された予測残差BD(n)を用いて発生符号量BIT(n)を見積もる。

次に、ステップＳ３にてシーケンスの先頭であることを画像符号化装置１０の図示しないシステムコントローラやコンピュータ装置のＣＰＵが検出すると、ステップＳ５に進み、予測残差BD(n)に所定の係数を乗算する上記式（５）に示すような予測関数fを用いて発生符号量BIT(0)を見積もる。

また、ステップＳ４にてシーンチェンジがあったことを画像符号化装置１０のシステムコントローラやコンピュータ装置のＣＰＵが検出したときにも、ステップＳ５に進み、予測残差BD(n)に所定の係数を乗算する上記式（５）に示すような予測関数fを用いて発生符号量BIT(0)を見積もる。また、ここでは、上記式（１）、（２）、（３）、（４）に適宜補正を加えても良い。なお、シーンチェンジの検出は、上記システムコントローラやＣＰＵにてピクチャの予測残差を毎回観察し、大きな変化があったことで検出してもよいし、他の方法を用いてもよい。

ステップＳ３にてシーケンスの先頭ではなく、またステップＳ４にてシーンチェンジでもないと、上記システムコントローラやＣＰＵが判断したとき、あるいはステップＳ５にてシーケンスの先頭のとき、シーンチェンジのときに上記式（５）を用いて発生符号量を見積もった後には、ステップＳ６に進む。

ステップＳ６では、ステップＳ２で見積もった発生符号量BIT(n)、或いはステップＳ５にて見積もった発生符号量BIT(0)を用いて発生符号量制御パラメータPCを生成する。そして、ステップＳ７において、発生符号量制御パラメータPCにしたがって、符号化器１２における符号化処理にあって画質、圧縮率、レートが制御される。

画像符号化装置１０は、符号化器１２のイントラ予測器１３とインター予測器１４の他に、符号化器１２の外部にイントラ予測器１６とインター予測器１７を設けた構成であった。本発明は、上記第１の実施の形態の画像符号化装置１０にのみ構成が限定されるものではなく、例えば図６に示すように、符号化器１２の外部にイントラ予測器１６のみを設けた構成の画像符号化装置２０を実施の形態としてもよい。これを第２の実施の形態とする。この画像符号化装置２０は、イントラ予測器１６によって求めたイントラ予測残差VP1を使って発生符号量予測器２１が予測発生符号量BIT(n)を見積もる。具体的に、発生符号量予測器２１は、イントラ予測器１６からのイントラ予測残差VP1と入力画像信号VINとの差を予測残差BD(n)として見積もる。

また、この第２の実施の形態の画像符号化装置２０の変形例としては、イントラ予測器１６ではなく、図１に示したインター予測器１７のみを用いる構成の画像符号化装置でもよい。

また、本発明は、図７に示すような画像符号化装置２２を第３の実施の形態としてもよい。この画像符号化装置２２は、符号化器１２の外部にイントラ予測器及びインター予測器を設けず、符号化器１２内部のイントラ予測器１３及びインター予測器１４によって得られたイントラ予測画像VP1及びインター予測画像VP2を用いて発生符号量予測器２３にて予測発生符号量BIT(n)を見積もる構成である。さらに、変形例としては、イントラ予測器１３のイントラ予測画像VP1のみを発生符号量予測器２３に供給する構成、またはインター予測器１４のインター予測画像VP2のみを発生符号量予測器２３に供給する構成もある。

また、図１に示したイントラ予測器１６及びインター予測器１７を符号化器１２内部で用いるという構成も他の実施の形態として挙げることもできる。この場合、符号器１２は、内部にイントラ予測器１３とインター予測器１４を備えない構成である。

また、図１において、符号化器１２の外部に設けたイントラ予測器１６及びインター予測器１７は、近似的にこれらと同様の傾向を示すもの、もしくはこれらと相関のあるもので代用してもよい。

つまり、発生符号量予測器１８は、上記予測残差を得るために、上記フレーム内及び／又はフレーム間予測処理出力を用いる他に、上記フレーム内及び／又はフレーム間予測処理出力と近似的に同傾向を示す特徴量であるフレーム内近似値処理及び／又はフレーム間近似値処理出力を用いる。フレーム内近似値処理出力はフレーム内近似値収集手段によって得られ、フレーム間近似値処理出力はフレーム間近似値収集手段によって得られる。

この場合、発生符号量予測器１８は、上記フレーム内近似値処理結果と、上記フレーム間近似値処理結果の何れか小さい一方を上記予測残差として用いる。そして、発生符号量予測器１８は、既に符号化されたピクチャの既知の予測残差と既知の発生符号量と、さらに今から符号化されようとするピクチャの上記得られた予測残差を用いて今から符号化されようとする未知の発生符号量を予測する。

なお、発生符号量予測器１８は、上記フレーム内近似値処理出力及び／又はフレーム間近似値処理出力のうち少なくとも一方を用いるときには、その近似値処理出力を補正してから上記予測残差を得、この予測残差に基づいて上記予測発生符号量を予測する。特に、発生符号量予測器１８は、上記フレーム内近似値処理及び／又はフレーム間近似値処理出力のうち少なくとも一方の処理出力として間引き値を用いるときには、その間引き値処理出力を補正してから上記予測残差を得、この予測残差に基づいて上記予測発生符号量を予測する。

この場合にあっても、符号化制御器１９は、予測発生符号量を符号化器１２における画質制御、レート制御及び／又は圧縮率制御に用いる。また、発生符号量予測器１８は、シーケンス先頭では今から符号化されようとするピクチャの上記得られた予測残差に所定の係数を乗算する予測関数を用いて今から符号化されようとするピクチャの未知の発生符号量を予測する。また、発生符号量予測器１８は、シーンチェンジの際は今から符号化されようとするピクチャの上記得られた予測残差に補正処理を施して今から符号化されようとするピクチャの未知の発生符号量を予測する。

また、発生符号量予測器１８は、シーンチェンジの際は今から符号化されようとするピクチャの上記得られた予測残差に、上記シーケンスの先頭の際に用いたのと同じ予測関数により今から符号化されようとするピクチャの未知の発生符号量を予測する。また、上記発生符号量予測器１８において得られた予測残差をシーンチェンジの検出に利用する。

次に、本発明を、カルーネン・レーベン変換などの直交変換と動き補償により画像圧縮を実現するＭＰＥＧ４ ＡＶＣに適用した画像符号化装置（第４の実施の形態）について説明する。図８において画像符号化装置３０は、入力端子３１からの入力画像信号（被符号化画像）VINに、イントラ予測符号化処理を行うイントラ予測器４４とインター予測符号化処理を行う動き予測・補償器４３とを用いて符号化処理を施す符号化器３０ａ（図８の一点鎖線より下）と、入力画像信号VINに対してフレーム内及びフレーム間予測処理を施して得られた予測残差に基づいて符号化器３０ａにおける発生符号量BIT(N)を予測する発生符号量予測器４９と発生符号量予測器４９によって予測された予測発生符号量BIT(N)を符号化器３０ａにおける符号化処理のレート制御に用いるレート制御器４５とからなる符号量予測＆制御器３０ｂ（図８の一点鎖線より上）を備えている。

さらに、画像符号化装置３０は、イントラ予測器４４と動き予測・補償器４３の他、符号化器３０ａを構成する、Ａ／Ｄ（Analogue/Digital）変換器３２と、画像並び替えバッファ３３と、加算器３４と、直交変換器３５と、量子化器３６と、可逆符号化器３７と、蓄積バッファ３８と、逆量子化器３９と、逆直交変換器４０と、デブロックフィルタ４１と、フレームメモリ４２と、動き予測・補償器４３と、イントラ予測器４４を備える。

また、画像符号化装置３０は、発生符号量予測器４９とレート制御器４５の他、符号量予測＆制御器３０ｂを構成する、イントラ予測器４７と、間引き器４６と、インター予測器４８と、補正器５０を備える。

以下、画像符号化装置３０の動作について説明する。先ず、符号化器３０ａについて説明する。図８において、Ａ／Ｄ変換器３２は、入力端子３１から入力された画像信号をデジタル信号に変換する。画像並び替えバッファ３３は、当該画像情報符号化装置３０から出力される画像圧縮情報のＧＯＰ（Group of Pictures）構造に応じて、フレームの並べ替えを行う。

ここで、画像並び替えバッファ３３は、イントラ（画像内）符号化が行われる画像に関しては、フレーム全体の画像情報を直交変換器３５に供給する。直交変換器３５は、画像情報に対して離散コサイン変換又はカルーネン・レーベ変換等の直交変換を施し、変換係数を量子化器３６に供給する。量子化器３６は、直交変換器３５から供給された変換係数に対して量子化処理を施す。

可逆符号化器３７は、量子化された変換係数に対して可変長符号化、算術符号化等の可逆符号化を施し、符号化された変換係数を蓄積バッファ３８に供給して蓄積させる。この符号化された変換係数は、画像圧縮情報として出力端子５１から出力される。

量子化器３６の挙動は、レート制御器４５によって制御される。また、量子化器３６は、量子化後の変換係数を逆量子器器３９に供給し、逆量子化器３９は、その変換係数を逆量子化する。逆直交変換器４０は、逆量子化された変換係数に対して逆直交変換処理を施して復号画像情報を生成する。デブロックフィルタ４１は、復号画像情報にブロック歪みの除去処理を施し、その情報をフレームメモリ４２に供給して蓄積させる。

一方、画像並び替えバッファ３３は、インター符号化が行われる画像に関しては、画像情報を動き予測・補償器４３に供給する。動き予測・補償器４３は、同時に参照される画像情報をフレームメモリ４２より取り出し、動き予測・補償処理を施して参照画像情報を生成する。参照画像情報は加算器３４に送られ、ここで当該画像情報との差分信号へ変換される。動き予測・補償器４３は、同時に動きベクトル情報を可逆符号化器３７に出力する。可逆符号化器３７は、動きベクトル情報にやはり可変長符号化、算術符号化といった可逆符号化処理を施し、画像圧縮情報のヘッダ部に挿入される情報を形成する。その他の処理はイントラ符号化を施される画像圧縮情報と同様である。

次に、符号量予測＆制御器３０ｂの動作について説明する。画面並べ替えバッファ３３からの出力は、イントラ予測器４７に入力される。また、画面並べ替えバッファ３３からの出力は、間引き器４６で間引き処理が施されてからインター予測器４８に入力される。イントラ予測器４７は、画面並べ替えバッファ３３から入力された画像信号のフレーム内で符号化する画素ブロックの近傍の既に符号化が終了した画素値からイントラ予測画像を生成して発生符号量予測器４９に出力する。これに対してインター予測器４８は、画面並べ替えバッファ３３からの画像信号を間引き器４６にて小さいサイズの画像に間引いてから、参照画像と符号化対象画像との差分からインター予測画像を生成する。このサイズ変更により、インター予測器４８では、予測のための演算量を減らすことができる。イントラ予測器４７の出力は発生符号量予測器４９に、比較のために入力されている。しかし、間引き器４６にて画像サイズの変更を行ってからインター予測器４８で予測したインター予測画像を、そのまま発生符号量予測器４９に比較のために入力しても、サイズが異なるので直接比較することはできない。このため、インター予測器４８の出力をイントラ予測器４７の出力と同列に比較することのできるようにするためインター予測器４８に補正器５０を接続し、上記サイズが変更されたインター予測画像に補正を加えた上でイントラ予測器４７の出力と発生符号量予測器４９にて比較し、これから符号化しようとする画像の発生符号量の予測を行う。この発生符号量予測器４９における発生符号量の予測処理は、上記図２、図３を参照して説明した方法を準用することができる。ただし、図２におけるインター予測器１７の前後には、間引き器４６と補正器５０が接続されることになる。

発生符号量予測器４９で見積もられた発生符号量は、レート制御器４５に供給される。レート制御器４５は、発生符号量から発生符号量制御パラメータを生成し、量子化器３６に供給して、符号化におけるレートを制御する。

なお、この第４の実施の形態の画像符号化装置３０は、符号量予測＆制御器３０ｂにおいて、インター予測器４８の前後に間引き器４６と補正器５０を設け、予測のための演算量を減らしているが、間引き器４６及び補正器５０を用いず、上記画面並べ替えバッファ３３の出力から直接インター予測器４８にてインター予測画像を生成し、発生符号量予測器４９に入力する構成としてもよい。

また、符号量予測＆制御器３０ｂでは、上記第２の実施の形態（図６）と同様にイントラ予測器４７のみを設けて、イントラ予測器４７によって求めたイントラ予測残差を使って発生符号量予測器４９が予測発生符号量を見積もってもよい。もちろん、符号量予測＆制御器３０ｂには、イントラ予測器４７ではなく、インター予測器４８のみを用いた構成としてもよい。

さらに、イントラ予測器４７はイントラ予測器４４と兼用してもいい。また、イントラ予測器４４を省略して、イントラ予測器４７の結果を流用してもよい。同様に、インター予測器４８は動き予測補償器４３と兼用してもよい。また、動き予測・補償器４３を省略して、インター予測器４８の結果を利用してもよい。

また、この画像符号化装置３０にあっても、符号化器３０ａの外部に設けたイントラ予測器４７とインター予測器４８は、近似的にこれらと同様の傾向を示すもの、もしくはこれらと相関のあるもので代用してもよい。

つまり、発生符号量予測器４９は、上記予測残差を得るために、上記フレーム内及び／又はフレーム間予測処理出力を用いる他に、上記フレーム内及び／又はフレーム間予測処理出力と近似的に同傾向を示す特徴量であるフレーム内近似値処理及び／又はフレーム間近似値処理出力を用いる。フレーム内近似値処理出力はフレーム内近似値収集手段によって得られ、フレーム間近似値処理出力はフレーム間近似値収集手段によって得られる。この場合の発生符号量予測器４９で行われる処理については、図１に示した画像符号化装置１０の変形例として既に説明済みであるのでここでは省略する。

なお、本発明は、入力画像信号に直交変換と動き補償を用いた予測の多い圧縮符号化処理を施す符号化手段及び符号化工程を用いる画像符号化装置及び画像符号化方法にあって、過去に符号化した際の発生符号量を、これから符号化しようとしているピクチャまたはフィールドの発生符号量予測に用いるというところにも特徴がある。

また、入力画像信号に直交変換と動き補償を用いた予測の多い圧縮符号化処理を施す符号化手段及び符号化工程を用いる画像符号化装置及び画像符号化方法にあって、フレーム内予測であるイントラ予測と、フレーム間予測であるインター予測、もしくはこれらと近似する値、もしくはこれらと相関のある値を組み合わせて、シーンチェンジの際の予測残差を正しく求めるというところにも特徴がある。

第１の実施の形態の画像符号化装置のブロック図である。 発生符号量予測器の内部構成を示す回路図である。 発生符号量予測器における発生符号量の見積もり方法を説明するための図である。 画像符号化装置の処理手順を示すフローチャートである。 予測残差を生成する処理を示すフローチャートである。 第２の実施の形態の画像符号化装置のブロック図である。 第３の実施の形態の画像符号化装置のブロック図である。 第４の実施の形態の画像符号化装置のブロック図である。 従来の画像符号化装置のブロック図である。 画像復号装置のブロック図である。

符号の説明

１０ 画像符号化装置、１２ 符号化器、１３ イントラ予測器、１４ インター予測器、１６ イントラ予測器、１７ インター予測器、１８ 発生符号量予測器、１９ 符号化制御器

Claims (35)

1. 入力画像信号に直交変換と動き補償を用いた予測の多い圧縮符号化処理を施す符号化手段と、
   上記入力画像信号に対してフレーム内及び／又はフレーム間予測処理を施して得られた予測残差に基づいて上記符号化手段における発生符号量を予測する発生符号量予測手段と、
   上記発生符号量予測手段によって予測された予測発生符号量を上記符号化手段における符号化処理の制御に用いる制御手段と
   を備えることを特徴とする画像符号化装置。
2. 上記発生符号量予測手段は、上記フレーム内予測処理結果であるフレーム内予測画像の上記入力画像に対するフレーム内予測残差と、上記フレーム間予測処理結果であるフレーム間予測画像の上記入力画像に対するフレーム間予測残差の何れか小さい一方を上記予測残差として用いることを特徴とする請求項１記載の画像符号化装置。
3. 上記発生符号量予測手段は、既に符号化されたピクチャの既知の予測残差と既知の発生符号量と、さらに今から符号化されようとするピクチャの上記得られた予測残差を用いて今から符号化されようとする未知の発生符号量を予測することを特徴とする請求項１記載の画像符号化装置。
4. 上記発生符号量予測手段が上記発生符号量を予測するときに基づく上記予測残差は、上記符号化手段の外部に設けられたフレーム内及び／又はフレーム間予測処理手段によって得られることを特徴とする請求項１記載の画像符号化装置。
5. 上記発生符号量予測手段が上記発生符号量を予測するときに基づく上記予測残差は、上記符号化手段の内部に設けられたフレーム内及び／又はフレーム間予測処理手段によって得られることを特徴とする請求項１記載の画像符号化装置。
6. 上記フレーム内及び／又はフレーム間予測処理手段は、マクロブロック単位又はマクロブロック数個をグループ化したスーパーブロック単位で上記予測残差を求めることを特徴とする請求項４又は５記載の画像符号化装置。
7. 上記発生符号量予測手段は、上記フレーム内及びフレーム間予測処理出力のうち少なくとも一方の処理出力として間引き値を用いるときには、その間引き値処理出力を補正してから上記予測残差を得、この予測残差に基づいて上記予測発生符号量を予測することを特徴とする請求項１記載の画像符号化装置。
8. 上記発生符号量予測手段は、上記予測残差を得るために、上記フレーム内及び／又はフレーム間予測処理出力を用いる他に、上記フレーム内及び／又はフレーム間予測処理出力と近似的に同傾向を示す特徴量であるフレーム内近似値処理及び／又はフレーム間近似値処理出力を用いることを特徴とする請求項１記載の画像符号化装置。
9. 上記発生符号量予測手段は、上記フレーム内近似値処理結果と、上記フレーム間近似値処理結果の何れか小さい一方を上記予測残差として用いることを特徴とする請求項８記載の画像符号化装置。
10. 上記発生符号量予測手段は、既に符号化されたピクチャの既知の予測残差と既知の発生符号量と、さらに今から符号化されようとするピクチャの上記得られた予測残差を用いて今から符号化されようとする未知の発生符号量を予測することを特徴とする請求項９記載の画像符号化装置。
11. 上記発生符号量予測手段が上記発生符号量を予測するときに基づく上記予測残差は、上記符号化手段の外部に設けられたフレーム内近似値収集手段及び／又はフレーム間近似値収集手段によって得られることを特徴とする請求項８記載の画像符号化装置。
12. 上記発生符号量予測手段が上記発生符号量を予測するときに基づく上記予測残差は、上記符号化手段の内部に設けられたフレーム内近似値収集手段及び／又はフレーム間近似値収集手段によって得られることを特徴とする請求項８記載の画像符号化装置。
13. 上記発生符号量予測手段は、上記フレーム内近似値処理出力及び／又はフレーム間近似値処理出力のうち少なくとも一方を用いるときには、その近似値処理出力を補正してから上記予測残差を得、この予測残差に基づいて上記予測発生符号量を予測することを特徴とする請求項８記載の画像符号化装置。
14. 上記発生符号量予測手段は、上記フレーム内近似値処理及び／又はフレーム間近似値処理出力のうち少なくとも一方の処理出力として間引き値を用いるときには、その間引き値処理出力を補正してから上記予測残差を得、この予測残差に基づいて上記予測発生符号量を予測することを特徴とする請求項８記載の画像符号化装置。
15. 上記制御手段は、上記予測発生符号量を上記符号化手段における画質制御、レート制御及び／又は圧縮率制御に用いることを特徴とする請求項１又は８記載の画像符号化装置。
16. 上記発生符号量予測手段は、シーケンス先頭では今から符号化されようとするピクチャの上記得られた予測残差から予測関数を用いて今から符号化されようとするピクチャの未知の発生符号量を予測することを特徴とする請求項２又は９記載の画像符号化装置。
17. 上記発生符号量予測手段は、シーンチェンジの際は今から符号化されようとするピクチャの上記得られた予測残差に補正処理を施して今から符号化されようとするピクチャの未知の発生符号量を予測することを特徴とする請求項２又は９記載の画像符号化装置。
18. 上記発生符号量予測手段は、シーンチェンジの際は今から符号化されようとするピクチャの上記得られた予測残差に、上記シーケンスの先頭の際に用いたのと同じ予測関数により今から符号化されようとするピクチャの未知の発生符号量を予測することを特徴とする請求項１６又は１７記載の画像符号化装置。
19. 上記発生符号量予測手段において得られた予測残差をシーンチェンジの検出に利用することを特徴とする請求項１、８、１７又は１８記載の画像符号化装置。
20. 上記シーンチェンジの際に上記予測関数によって予測した発生符号量と上記シーンチェンジの検出に利用する予測残差に関する情報を編集処理に利用することを特徴とする請求項１９記載の画像符号化装置。
21. 入力画像信号に直交変換と動き補償を用いた予測モードの多い圧縮符号化処理を施す符号化工程と、
    上記入力画像信号に対してフレーム内及び／又はフレーム間予測処理を施して得られた予測残差に基づいて上記符号化工程における発生符号量を予測する発生符号量予測工程と、
    上記発生符号量予測工程によって予測された予測発生符号量を上記符号化工程における符号化処理制御に用いる制御工程と
    を備えることを特徴とする画像符号化方法。
22. 上記発生符号量予測工程は、上記フレーム内予測処理結果であるフレーム内予測画像の上記入力画像に対するフレーム内予測残差と、上記フレーム間予測処理結果であるフレーム間予測画像の上記入力画像に対するフレーム間予測残差の何れか小さい一方を上記予測残差として用いることを特徴とする請求項２１記載の画像符号化方法。
23. 上記発生符号量予測工程は、既に符号化されたピクチャの既知の予測残差と既知の発生符号量と、さらに今から符号化されようとするピクチャの上記得られた予測残差を用いて今から符号化されようとする未知の発生符号量を予測することを特徴とする請求項２１記載の画像符号化方法。
24. 上記発生符号量予測工程は、上記予測残差を得るために、上記フレーム内及び／又はフレーム間予測処理出力を用いる他に、フレーム内及び／又はフレーム間予測処理結果と近似的に同傾向を示す特徴量であるフレーム内近似値処理及び／又はフレーム間近似値処理出力を用いることを特徴とする請求項２１記載の画像符号化方法。
25. 上記発生符号量予測工程は、上記フレーム内近似値処理結果と、上記フレーム間近似値処理結果の何れか小さい一方を上記予測残差として用いることを特徴とする請求項２４記載の画像符号化方法。
26. 上記発生符号量予測工程は、既に符号化されたピクチャの既知の予測残差と既知の発生符号量と、さらに今から符号化されようとするピクチャの上記得られた予測残差を用いて今から符号化されようとする未知の発生符号量を予測することを特徴とする請求項２５記載の画像符号化方法。
27. 上記発生符号量予測工程は、上記フレーム内近似値処理出力及び／又はフレーム間近似値処理出力のうち少なくとも一方を用いるときには、その近似値処理出力を補正してから上記予測残差を得、この予測残差に基づいて上記予測発生符号量を予測することを特徴とする請求項２４記載の画像符号化方法。
28. 上記発生符号量予測工程は、上記フレーム内近似値処理及び／又はフレーム間近似値処理出力のうち少なくとも一方の処理出力として間引き値を用いるときには、その間引き値処理出力を補正してから上記予測残差を得、この予測残差に基づいて上記予測発生符号量を予測することを特徴とする請求項２４記載の画像符号化方法。
29. 上記制御工程は、上記予測発生符号量を上記符号化工程における画質制御、レート制御及び／又は圧縮率制御に用いることを特徴とする請求項２２又は２５記載の画像符号化方法。
30. 上記発生符号量予測工程は、シーケンス先頭では今から符号化されようとするピクチャの上記得られた予測残差から予測関数を用いて今から符号化されようとするピクチャの未知の発生符号量を予測することを特徴とする請求項２３又は２６記載の画像符号化方法。
31. 上記発生符号量予測工程は、シーンチェンジの際は今から符号化されようとするピクチャの上記得られた予測残差に補正処理を施して今から符号化されようとするピクチャの未知の発生符号量を予測することを特徴とする請求項２３又は２６記載の画像符号化方法。
32. 上記発生符号量予測工程は、シーンチェンジの際は今から符号化されようとするピクチャの上記得られた予測残差に、上記シーケンスの先頭の際に用いたのと同じ予測関数により今から符号化されようとするピクチャの未知の発生符号量を予測することを特徴とする請求項３０又は３１記載の画像符号化方法。
33. 上記発生符号量予測工程において得られた予測残差をシーンチェンジの検出に利用することを特徴とする請求項２２、２４、２５又は３２記載の画像符号化方法。
34. 上記シーンチェンジの際に上記予測関数によって予測した発生符号量と上記シーンチェンジの検出に利用する予測残差に関する情報を編集処理に利用することを特徴とする請求項３３記載の画像符号化方法。
35. 入力画像信号に直交変換と動き補償を用いた予測モードの多い圧縮符号化処理を施す符号化工程と、
    上記入力画像信号に対してフレーム内及び／又はフレーム間予測処理を施して得られた予測残差に基づいて上記符号化工程における発生符号量を予測する発生符号量予測工程と、
    上記発生符号量予測工程によって予測された予測発生符号量を上記符号化工程における符号化処理制御に用いる制御工程と
    を備えてなり、コンピュータ装置によって実行されることを特徴とする画像符号化プログラム。
    

Images