JP2007089035A - 動画像符号化方法、装置及びプログラム - Google Patents

Abstract

【課題】１パスレート制御において画像の性質に応じた適切な制御を行い、画質を向上させる動画像符号化装置を提供する。
【解決手段】第１、第２量子化パラメータを用いて対象動画像に含まれるｎ枚のピクチャを符号化したときの第１、第２ピクチャタイプ別符号量を算出するピクチャタイプ別符号量算出部５と、第１、第２ピクチャタイプ別符号量からそれぞれ求まるピクチャ単位の第１、第２平均発生符号量に設定フレームレートを乗じて第１、第２ビットレートを算出するビットレート算出部６と、前記第１ビットレート、第１量子化パラメータ、第２ビットレート、第２量子化パラメータおよび前記ターゲットビットレートを用いて第３量子化パラメータを算出する量子化パラメータ算出部７と、第３量子化パラメータを初期値として用いてレート制御を行いつつ符号化を行う符号化部９とを有する。
【選択図】 図１

Description

本発明は、特に動画像符号化におけるレート制御技術に関する。

動画像のデータ、すなわち映像データは膨大なデータ量をもつため、映像データを配信したり蓄積したりする際には、圧縮符号化が行われる。圧縮符号化に際しては、配信時には伝送能力を超えないビットレートで符号化することが要求され、蓄積時には確保できる容量を超えない符号量で符号化することが要求される。このような要求に対し、例えば非特許文献１に記載されているように、動画像符号化の際に定ビットレート（ＣＢＲ）制御、可変ビットレート（ＶＢＲ）制御などの手法を用いてビットレートを制御することが行われる。ＣＢＲ制御では、対象動画像のシーケンス全体にわたって与えられたターゲットビットレートで符号化を行う。一方、ＶＢＲ制御は対象動画像のシーケンス全体について平均化したビットレートがターゲットビットレートになるように符号化を行う。

これらのレート制御方式は、大きく二つに分類される。符号化の対象動画像を一度だけスキャンして符号化するレート制御方式を１パスレート制御と呼び、これは１パスＣＢＲ制御と１パスＶＢＲ制御に分類される。これに対し、はじめに対象動画像のシーケンス全体を一度スキャンして解析を行い、解析結果に基づいてシーケンスに含まれる各シーンに割り当てる符号量を決定するレート制御方式を２パスレート制御と呼び、これは２パスＣＢＲ制御と２パスＶＢＲ制御に分類される。

２パスレート制御は、対象動画像のシーケンス全体の画質がわかっていないと符号化を開始できず、また符号化時には符号化処理以外に解析のための処理を必要とする。このため、放送されている映像データを受信しつつリアルタイムで符号化を行うような用途には利用できない。このような用途には、１パスレート制御が用いられる。

１パスレート制御を行う際には、グループ・オブ・ピクチャ（ＧＯＰ）単位に符号量を割り振り、ＧＯＰ単位符号量をさらに各ピクチャの画像複雑度指標に応じてピクチャ単位符号量として割り振るという処理が行われる。こうして割り振られた符号量と実際の符号化時の発生符号量との乖離が大きくならないように、量子化パラメータを調整しながら符号化を行う。このとき、Ｉピクチャの画像複雑度指標はＩピクチャ符号化の度に更新され、Ｐピクチャ及びＢピクチャの画像複雑度指標はそれぞれＰピクチャ及びＢピクチャの符号化の度に更新される。

一方、特許文献１には動画像の各シーンにおける符号化難度に応じて量子化パラメータを切り替えることにより、画質の劣化を防ぐ方法が記載されている。
亀山 渉，花村 剛：IDG情報通信シリーズ MPEG-1/MPEG-2/MPEG-4 ディジタル放送教科書（上），株式会社IDGジャパン(2003/1/28) 特開２０００−１１５７８６号公報

１パスＣＢＲ制御は対象動画像の解析を行わないため、次に現れる画像が激しい動きを含むのか、静止画像であるか、平坦な画像であるか、あるいは解像度が高い画像であるか、などの性質がわからない。このため１パスＣＢＲ制御では、動画像シーケンス全体の画質を考慮した符号化を行うことはできない。また、主観画質を一定にするために必要な符号量は画像の性質によって大きく異なる。従って、画像の性質によらず各ピクチャの画像で用いる符号量を一定に保とうとする制御を行うＣＢＲ制御では、必ずしも高画質な符号結果を得られない。

一方、１パスＶＢＲ制御では、１パスＣＢＲ制御の場合と同様に続いて現れる画像の解析が行われないため、画像の性質に配慮した高画質化を行うことが難しい。さらに、１パスＶＢＲ制御は画質を劣化させないことを優先し、瞬時ビットレートをターゲットビットレートに厳密に合わせることを行わない。すなわち、量子化パラメータＱＰの値を極端に変動させない制御を行う。このため対象動画像のシーケンスが短い場合には、ターゲットビットレートへの収束性が悪く、発生符号量が所望の符号量に収まらない場合がある。

一方、特許文献１の手法は動きのあるシーンから静止画のシーンになったり、逆に静止画のシーンから動きのあるシーンになったりというようなシーンの変化があると、画質が劣化しやすい。これは符号化難度に基づいて量子化パラメータを決定しても、ピクチャタイプ別のアロケーションが適切とはならないからである。

さらに、１パスレート制御を行う際にＧＯＰ単位に符号量を割り振り、ＧＯＰ単位符号量をＩ，Ｐ及びＢの各ピクチャの画像複雑度指標に応じてピクチャ単位符号量として割り振るという処理において、各ピクチャの画像複雑度指標を更新する際にＰ，Ｂピクチャと比較してＩピクチャの更新頻度が小さい。従って、Ｉピクチャでは適切でない画像複雑度指標の値を用いてピクチャ単位符号量を割り当ててしまう場合があるため、Ｉピクチャに割り振られる符号量が適切でないことが起こる。さらに、Ｉピクチャと次のＩピクチャとの時間差が大きいため、Ｉピクチャ間では画像の性質の変化も大きい。このためＩピクチャの画像複雑度指標の更新精度が低く、このことも画質劣化の要因となる。

本発明の目的は、１パスレート制御において画像の性質に応じた適切な制御を行い、画質を向上させる動画像符号化方法、装置及びプログラムを提供することにある。

本発明の他の目的は、対象動画像のシーン変化に対して適切なレート制御を行うことにある。

本発明のさらに別の目的は、レート制御のための画像複雑度指標の更新精度を向上することにある。

本発明の第１の観点によると、符号化データのビットレートがターゲットビットレートに近づくようにレート制御を行いつつ一つ以上のピクチャタイプを用いて対象動画像を符号化する動画像符号化方法であって、第１量子化パラメータを用いて前記対象動画像に含まれるｎ枚のピクチャを符号化したときの、符号化に用いられるピクチャタイプ毎の発生符号量を示す第１符号量情報を求めるステップと、前記第１符号量情報から求まるピクチャ単位の第１平均発生符号量に設定フレームレートを乗じて第１ビットレートを求めるステップと、前記第１量子化パラメータとは異なる第２量子化パラメータを用いて前記ｎ枚のピクチャを符号化したときの、符号化に用いられるピクチャタイプ毎の発生符号量を示す第２符号量情報を求めるステップと、前記第２符号量情報から求まるピクチャ単位の第２平均発生符号量に設定フレームレートを乗じて第２ビットレートを求めるステップと、
前記第１ビットレート、第１量子化パラメータ、第２ビットレート、第２量子化パラメータおよびターゲットビットレートを用いて第３量子化パラメータを求めるステップと、
前記第３量子化パラメータを初期値として用いて前記レート制御を行うステップとを具備する動画像符号化方法とを具備する動画像符号化方法を提供する。

本発明の第２の観点によると、符号化データのビットレートがターゲットビットレートに近づくようにレート制御を行いつつ対象動画像を符号化する、インター符号化モードとイントラ符号化モードを有する動画像符号化方法であって、前記対象動画像の符号化対象ピクチャをイントラ符号化モードにより符号化した場合の発生符号量を算出するステップと、前記発生符号量を用いて前記イントラ符号化モードに関わる画像複雑度指標を更新するステップと、前記画像複雑度指標を用いて前記レート制御を行うステップとを具備する動画像符号化方法を提供する。

対象動画像の性質に適した量子化パラメータの設定が可能となるため、符号化画像の画質が改善される。対象動画像全体でなく、限られたｎ枚のピクチャに関して解析を行うことにより、符号化時間の増大を避けることができる。従って、放送途中の映像データなどに対しても、ｎ枚のピクチャ分の符号化時刻の遅延のみで適用が可能である。

また、シーン変化毎にシーン変化後の画像の性質に適した量子化パラメータの設定が可能になるため、シーン変化後の画質が改善される。

さらに、イントラ符号化のための画像複雑度指標の更新頻度が頻繁になり、かつ更新精度が高くなるため、複雑度が変化する画像における画質劣化を低減できる。

以下に、本発明の実施形態を図面に基づいて詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る動画像符号化装置であり、ターゲットビットレート（ＢＲ）の入力部１、フレームレート（ＦＲ）、リオーダリングディレイ（Ｍ）及びＧＯＰ数の入力部２、適応型初期パラメータ決定部３、及びレート制御符号化部９を有する。適応型初期パラメータ決定部３は、第１の量子化パラメータ（ＱＰ１）の決定部４、ピクチャタイプ別符号量算出部５、ピクチャタイプ別符号量を用いた仮ビットレート算出部６、第２の量子化パラメータ（ＱＰ２）の決定部７、及び初期パラメータ決定部８を有する。

図２は、図１中のレート制御符号化部９の詳細を示している。この例は、Ｈ．２６４に準拠したビデオエンコーダの主要部を表している。符号化対象の動画像信号１０１は減算器２０１に入力され、減算器２０１により動画像信号１０１と予測信号１１０との差分である予測残差信号１０２が生成される。予測残差信号１０２に対して、離散コサイン変換（ＤＣＴ）／量子化ユニット２０２によりＤＣＴ及び量子化が施される。量子化されたＤＣＴ係数情報１０３は、逆量子化／逆ＤＣＴユニット２０３とエントロピー符号化器２１２に入力される。ここでは、直交変換／逆直交変換の一例としてＤＣＴ／逆ＤＣＴを挙げたが、これに限られるものではない。

量子化されたＤＣＴ係数情報１０３は、逆量子化／逆ＤＣＴユニット２０３により処理され、これによって予測残差信号１０２に対応した信号１０４が生成される。逆量子化／逆ＤＣＴユニット２０３は、ＤＣＴ／量子化ユニット２０２の処理と逆の処理である逆ＤＣＴ及び逆量子化を行う。逆量子化／逆ＤＣＴユニットユニット２０３からの出力信号１０４は、加算器２０４においてモード選択スイッチ２０９からの予測信号１１０と加算され、これによって局部復号画像信号１０５が生成される。局部復号画像信号１０５は、参照画像メモリ２０５に参照画像信号として記憶される。参照画像メモリ２０５には、複数フレームの参照画像信号が順次記憶される。

参照画像メモリ２０５から読み出される参照画像信号は、イントラ予測器２０６に入力され、イントラ予測信号１０６が生成される。参照画像信号は、さらにデブロッキングフィルタ２０７によってフィルタリングされる。フィルタリング後の参照画像信号１０７は、インター予測器（動き補償予測器）２０８に入力される。インター予測器２０８では、フィルタリング後の複数フレームの参照画像信号について動きベクトルの探索と、探索された動きベクトルによる動き補償を行い、動きベクトル情報１０８とフレーム単位のインター予測信号１０９を生成する。

モード選択スイッチ２０９は、符号化制御部２１１から出力される符号化モード情報（図示せず）に従ってイントラ予測モード時にはイントラ予測信号１０６を選択し、インター予測モード時にはインター予測信号１０９を選択する。モード選択スイッチ２０９によって選択された予測信号１１０は、減算器２０１に入力される。

エントロピー符号化器２１２では、量子化されたＤＣＴ係数情報１０３、動きベクトル情報１０８及び予測モード情報１１１に対して例えば算術符号化のようなエントロピー符号化を施し、情報１０３，１０８及び１１１の各々に対応する可変長符号１１３を生成する。可変長符号１１３は、図示しない後段の多重化器にシンタックス用データとして与えられ、多重化されることにより符号化ビットストリームが生成される。符号化ビットストリームは、図示しない出力バッファにより平滑化された後、図示しない伝送系または蓄積系へ送出される。

符号化制御部２１１は、図１中に示した適応的初期パラメータ決定部８からの初期パラメータを受けて、符号化ビットレートを制御するために、例えばＤＣＴ／量子化ユニット２０２及びＩＤＣＴ／逆量子化ユニット２０３における量子化パラメータの制御とエントロピー符号化器２１２の制御を行う。

次に、図３を用いて本実施形態における初期パラメータ設定手順を説明する。以下の説明では、符号化対象の動画像信号１０１を対象動画像という。初期パラメータの設定に際しては、適応的初期パラメータ決定部３に対象動画像１０１を入力すると共に、入力部１からターゲットビットレート（ＢＲ）の情報を入力し、入力部２から対象動画像１０１の設定フレームレート（ＦＲ）、リオーダリングディレイ（Ｍ）及びグループ・オブ・ピクチャ（ＧＯＰ）の数（Ｎ）の情報を入力する。リオーダリングディレイは、ＩピクチャまたはＰピクチャが現れる周期である。リオーダリングディレイがＭであることは、ＩピクチャまたはＰピクチャの後にＢピクチャがＭ−１枚続くことを意味する。ＧＯＰは、対象動画像１０１のあるＩピクチャから次のＩピクチャの前までのＩピクチャ、Ｐピクチャ及びＢピクチャの合計Ｎ個のピクチャの集合を表す。例えばＭ＝３，Ｎ＝１５の場合のＧＯＰは図４に示される。ここで、図４ではピクチャは左から順番に表示順で並んでいる。

適応的初期パラメータ決定部３では、まず第１の量子化パラメータ決定部４が第１の量子化パラメータＱＰ１を決定する（ステップＳ１）。この場合、ユーザの入力に従って量子化パラメータＱＰ１を決定してもよいし、１ピクセル当たりの発生符号量を基準にＱP１を決定してもよい。後者の方法の一例を挙げると、例えばSiwei Ma; Wen Gao; Feng Wu; Yan Lu; Image Processing, 2003. Proceedings. 2003 International Conference on, Volume 3, 14-17 Sept. 2003, Pages:III - 793-6 vol. 2（以下「参考文献１」）に記載されているように、ビットレート／（フレームレート×１ピクチャ当たりのピクセル数）を計算し、その計算結果に応じて量子化パラメータを決定する。

次に、このようにして決定された量子化パラメータＱＰ１を用いてピクチャタイプ別符号量算出部５において、符号化に用いられるピクチャタイプ毎に、ピクチャ単位の発生符号量すなわちピクチャ１枚あたりの発生符号量を示す情報であるピクチャタイプ別符号量Ｉ１，Ｐ１及びＢ１を算出する（ステップＳ２）。ここで、ピクチャタイプ別符号量Ｉ１はＩピクチャの発生符号量、ピクチャタイプ別符号量Ｐ１はＰピクチャの発生符号量、ピクチャタイプ別符号量Ｂ１はＢピクチャの発生符号量を表す。

既に良く知られているように、ＭＰＥＧ−２ではＩピクチャは符号化済みの他のピクチャを参照せずに符号化されるピクチャ、Ｐピクチャは符号化済みのＩ及びＰピクチャのうち時間的に過去のピクチャを参照して符号化されるピクチャ、Ｂピクチャは符号化済みのＩ，Ｐピクチャのうち時間的に前後のピクチャを参照して符号化されるピクチャである。Ｈ．２６４では、ピクチャより小さい符号化単位としてスライスを定義しており、符号化対象スライスの符号化済部分のみを参照して符号化されるＩスライス、符号化済みのＩおよびＰスライスのみを最大一つ参照して符号化されるＰスライス、符号化済みのＩおよびＰスライスを最大二つ参照して符号化されるＢスライスがある。ＭＰＥＧ−２と違いがあるが、１スライスを１ピクチャとした場合においては似た性質があるため、以下の説明ではＩピクチャ、Ｐピクチャ、Ｂピクチャとして記述するものとする。

上ではＢ１を算出すると記述したが、実際の符号化の際にＢピクチャを用いない場合（すなわち、リオーダリングディレイＭが１の場合）、Ｂ１の算出は不要である。同様に、すべてＩピクチャで符号化する場合（すなわちＧＯＰ Ｎが１の場合）はＰ１の算出は不要である。

ピクチャタイプ別符号量Ｉ１，Ｐ１，Ｂ１を算出するための一つの方法は、対象動画像１０１に含まれるピクチャを実際に符号化する方法である。例えば動画像シーケンスの最初のｎ枚のピクチャに対して、量子化パラメータＱＰ１で符号化を行うことである。これによってＩピクチャ、Ｐピクチャ及びＢピクチャについて、少なくとも１ピクチャ単位の発生符号量Ｉ１，Ｐ１及びＢ１を求めることができる。このときのｎの最小値は以下に示すとおり、リオーダリングディレイMの値によって決まる。

リオーダリングディレイＭが１の場合、最初のピクチャはＩピクチャとして符号化され、次のピクチャはＰピクチャとして符号化されるので、対象動画像の最初から少なくとも２枚のピクチャを符号化すればよい。リオーダリングディレイＭが３の場合、対象動画像の1枚目のピクチャがＩピクチャとして符号化されるとすると、次に4枚目のピクチャがＰピクチャとして符号化され、次に２枚目のピクチャ、次に３枚目のピクチャが順次Ｂピクチャとして符号化される。従って、対象動画像の最初から少なくともｎ＝４枚のピクチャが符号化されればよい。すなわち、図５に示される対象動画像のフレームのうち、量子化パラメータＱＰ１で実際に符号化されるのは図５の斜線で示す最初の４つのフレームのみであり、それ以外のフレームに関してはＱＰ１による符号化（従って画像の解析）は行われない。

上記ではＭ＋１枚のピクチャを符号化する例（ｎ＝Ｍ＋１）を示したが、ｋ×Ｍ＋１枚符号化して（ｎ＝ｋ×Ｍ＋１）、同じピクチャタイプのピクチャの発生符号量を平均してピクチャタイプ別符号量を算出しても良い。以下ではＭ＋１枚のピクチャを符号化する例（ｎ＝Ｍ＋１）を示す。

ここでは１枚のフレームを１枚のピクチャとして符号化する場合について説明を行ったが、１枚のフレームを２つのフィールドに分割し、１つのフィールドを１枚のピクチャとして符号化する場合にも同様でよい。このことは、後述する他の実施形態においても同様である。

このように実際に量子化パラメータＱＰ１で符号化してみて発生符号量を調べる方法のほかに、符号化の途中段階であるＤＣＴまでの処理が終了した段階で得られるＤＣＴ係数に対して、量子化パラメータＱＰ１で量子化を行った際に得られるゼロ係数の個数から発生符号量を推定する方法を用いてもよい。この方法は、例えばZ. He, Y. K. Kim, Sanjit. K. Mitra “Low-Delay Rate Control for DCT Video Coding via ρ-domain Source Modeling”, IEEE Transactions on Circuits and Systems for Video Technology, Vol. 11, No. 8, oag.928-940, Aug. 2001.（以下「参考文献２」）によって報告されている。この方法を使う場合には、図５の斜線で示すフレームのみにおいて、ＤＣＴまでの処理が終了した段階で得られるＤＣＴ係数に対して発生符号量を推定すればよい。

このようにして求められたＩピクチャの符号量をＩ１、Ｐピクチャの符号量をＰ１とし、２つのＢピクチャの符号量の平均あるいは大きい方の符号量、あるいは小さい方の符号量をＢ１とする。ここで、本実施形態においては対象動画像のｎ枚のピクチャ、例えば最初のｎ枚のピクチャのみからピクチャタイプ別符号量Ｉ１，Ｐ１，Ｂ１を算出することが重要である。実際に符号化を行って符号量を求めるのか、ゼロ係数の個数からの近似を用いるのかなど、Ｉ１，Ｐ１，Ｂ１を算出する方法自体は特に限定されない。

次に、上記のようにピクチャタイプ別符号量算出部５において算出されたピクチャタイプ別符号量Ｉ１，Ｐ１，Ｂ１と、入力部２から入力された設定フレームレートＦＲの情報を用いて、仮ビットレート算出部５において仮ビットレート（第１ビットレート）ＢＲ１を算出する（ステップＳ３）。例えば、１枚のフレームを１枚のピクチャとして符号化する場合を考えると、仮ビットレートＢＲ１は以下のように算出される。

ここで、前述したようにＭはリオーダリングディレイを表し、ＮはＧＯＰの数を表し、ＦＲはフレームレートを表す。

一方、１フィールドを１ピクチャとして符号化する場合を考えると、仮ビットレートＢＲ１は以下のように算出される。

このようにピクチャタイプ別符号量Ｉ１，Ｐ１，Ｂ１から求まるピクチャ単位の平均発生符号量（式（１）または（２）の右辺左側）に設定フレームレートＦＲを乗じることによって、仮ビットレートＢＲ１を求める。

次に、第２の量子化パラメータ決定部８において、上記のように算出された仮ビットレートＢＲ１とターゲットビットレート入力部１から入力されたターゲットビットレートＢＲを比較し（ステップＳ４）、その結果に応じて第２量子化パラメータＱＰ２を決定する（ステップＳ５−Ｓ６）。すなわち、ターゲットビットレートＢＲに対して仮ビットレートＢＲ１が大きい場合には、ステップＳ５においてＱＰ２としてＱＰ１よりΔＱＰ１分大きな値を設定し、それ以外の場合にはステップＳ６においてＱＰ２としてＱＰ１よりΔＱＰ２だけ小さな値を設定する。ここで、ΔＱＰ１，ΔＱＰ２はＢＲ１がＢＲより小さい場合にはＱＰ２を用いて得られるＢＲ２がＢＲに近づくか、ＢＲ２より大きくなるようにＱＰ２を設定し、逆の場合はＢＲ２がＢＲに近づくかＢＲ１より小さくなるようにＱＰ２を設定するために用いられる。ΔＱＰ１とΔＱＰ２とは同じ値でもよいし、異なる値でもよい。

次に、第２の量子化パラメータ決定部８において決定したＱＰ２を用いてピクチャタイプ符号量算出部５においてピクチャタイプ別符号量Ｉ２，Ｐ２，Ｂ２を算出する（ステップＳ７）。ステップＳ７ではステップＳ２と同様に、図５の斜線で示すフレームからＩ２，Ｐ２，Ｂ２を求める。

次に、ステップＳ７で算出されたピクチャタイプ別符号量Ｉ２，Ｐ２，Ｂ２と入力部２から入力されたフレームレートＦＲ、リオーダリングディレイＭ及びＧＯＰ数Ｎを基に、仮ビットレート算出部６においてＢＲ１の算出式（１）または（２）と同様の式（３）または（４）を用いて仮ビットレートＢＲ２を算出する（ステップＳ８）。

すなわち、式（１）または（２）と同様にピクチャタイプ別符号量Ｉ２，Ｐ２，Ｂ２から求まるピクチャ単位の平均発生符号量（式（３）または（４）の右辺左側）に設定フレームレートＦＲを乗じることによって、ビットレートＢＲ２を求める。

次に、初期パラメータ決定部７においてＱＰ１，ＱＰ２，ＢＲ１、ＢＲ２及びターゲットビットレートＢＲから量子化パラメータＱＰを決定する（ステップＳ９）。量子化パラメータＱＰの決定方法としては、一例としてビットレートＢＲの対数は量子化パラメータＱＰに対して線形の関係ＱＰ＝ａ×ｌｏｇ（ＢＲ）＋ｂにあると仮定して、次式のような補間または補外計算を行う方法が考えられる。

ただし、ＱＰ１及びＢＲ１と、ＱＰ２及びＢＲ２との関係を用いてビットレートＢＲに適合すると予測される量子化パラメータＱＰを算出すればよく、ＱＰの算出方法は特に式（５）に限定されない。

また、上記の例では図５のように最初のフレームからｎ枚のピクチャを符号化する例（最初のピクチャをIピクチャとする例）を示したが、各ピクチャタイプの符号化効率を考えた場合、このようにせずに、最初のＭ−１枚をＰピクチャとし、Ｍ番目をＩピクチャとする場合が多い。これを考慮した場合、そのようなＧＯＰ構造にあわせてピクチャタイプ別符号量を算出するとよい。

例えば図６の場合、対象動画像の最初のフレームから数えて３フレーム目から６フレーム目までの４枚のフレーム（４枚のピクチャ）に、符号化に用いられるすべてのピクチャタイプ（Ｉピクチャ、Ｐピクチャ、および、Ｂピクチャ）が出現する。そこで、図６に示すように３フレーム目から６フレーム目までの４枚のフレーム（４枚のピクチャ）の画像の性質から、ピクチャタイプ別符号量を算出することも考えられる。上に述べたように符号化効率を考えて、最終的な符号化において、対象動画像の最初のフレームをＩピクチャにするのではなく、最初の２フレームをＰピクチャにして、その後にＩピクチャが続くように符号化する場合がある。そのような場合には、ピクチャタイプ別符号量の算出に用いるｎ枚のピクチャを図６のように定める方が図５のように定める方法に比較してＩピクチャの位置が一致するため、最終的な符号化画像の画質を改善することも考えられる。

また上の説明では、対象動画像の最初のｎ枚のピクチャの画像を用いてピクチャタイプ別符号量を算出するとしたが、実際には対象動画像の符号量の大まかな値が算出できればよい。従って、画面に変化がなければ途中のｎ枚のピクチャの画像を用いてピクチャタイプ別符号量を算出してもよい。

また、本実施例においては、二つの量子化パラメータを用いた時の、符号化に用いられるピクチャタイプ毎の発生符号量を示す符号量情報からビットレートを算出し、その量子化パラメータとビットレートの対の二組と、ターゲットビットレートから第３の量子化パラメータを求める例を示したが、三つ以上の量子化パラメータとそれらのビットレートの対と、ターゲットビットレートから量子化パラメータを用いる方法も考えられる。

この場合は、三組以上の量子化パラメータとビットレート、ターゲットビットレートから本符号化に用いる量子化パラメータを推定するが、その推定方法はいろいろ考えられる。

一つの推定方法は三組以上から二組を選択し、その二組に対して上記数式（５）を適用する方法であり、また別な推定方法は三組以上の量子化パラメータとビットレートの関係から最小二乗法などを用いて近似曲線を求め、この近似曲線上でターゲットビットレートにマッチする量子化パラメータを推定する方法である。

三組以上の量子化パラメータとビットレートの対から二組を選択する方法もいろいろ考えられる。

例えば、ターゲットビットレートにもっとも近いビットレートＡに対応する量子化パラメータＡとターゲットビットレートに２番目に近いビットレートＢに対応する量子化パラメータＢを選択する方法や、ターゲットビットレート以上のビットレートＣに対応する量子化パラメータＣと、ターゲットビットレート以下のビットレートＤに対応する量子化パラメータＤがある場合にはこの二つの量子化パラメータＣ，ＤとビットレートＣ，Ｄとターゲットビットレートを選択する方法などである。どのように選択するかは本発明には依存しない。

最後に、初期パラメータ決定部７においてステップＳ９で決定された量子化パラメータの初期値ＱＰを用いて、レート制御符号化部９においてレート制御を用いて符号化を行う（ステップＳ１０）。量子化パラメータの初期値ＱＰが画像の性質に応じて適切に設定されない場合には、量子化パラメータが安定するまで画質が劣化するという問題がある。本実施形態によると、予め対象動画像の性質とターゲットビットレートＢＲに適した初期パラメータＱＰを算出して設定するため、このような初期の画質劣化を回避することができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態では、図１の初期パラメータ決定部７において量子化パラメータの初期ＱＰだけでなく、画像複雑度指標（グローバルコンプレキシティメジャー）の初期値も決定する。

以下に、グローバルコンプレキシティメジャーについての説明を行う。グローバルコンプレキシティメジャーは、ＭＰＥＧ-２のＴＭ５で採用された方式で用いられるパラメータである。ＴＭ５においては、画像が変化しない限り平均量子化パラメータと発生符号量との積はピクチャタイプ毎に一定値であるというモデルを仮定している。以下の式でＸはピクチャタイプ別グローバルコンプレキシティメジャー、Ｓはピクチャタイプ別符号量、Ｑはピクチャタイプ別平均量子化パラメータである。

ＴＭ５のレート制御では、式（６）に示されるＩピクチャ、Ｐピクチャ及びＢピクチャ毎のグローバルコンプレキシティメジャーＸｉ，Ｘｐ，Ｘｂの値を用いて、次のピクチャのビットアロケーションを行う。このビットアロケーションに従って、できるだけピクチャ当たりの発生符号量が規定値から逸脱しないように、マクロブロック毎に量子化パラメータＱＰの調整を行う。つまり、Ｘｉ，Ｘｐ，Ｘｂの初期値によって符号化開始時のＩ，Ｐ，Ｂ各ピクチャのビットアロケーションを決定する。Ｘｉ，Ｘｐ，Ｘｂの初期値は、ＴＭ５では以下のように選ばれる。

式（７）は、Ｉピクチャの発生符号量を１６０とした場合に、Ｐピクチャの発生符号量は６０程度、Ｂピクチャの発生符号量は４２程度であるということを示している。静止画あるいはそれに近い動きの小さい画像では、Ｐピクチャ及びＢピクチャの発生符号量に対してＩピクチャの発生符号量は非常に大きい。逆に動きの大きい画像では、Ｐピクチャの発生符号量とＩピクチャの発生符号量には殆ど差がない場合もある。従って、式（７）のような初期値で符号化を開始すると当初は画質の劣化が見られ、符号化対象のピクチャ数が進むに連れてＸの値が更新されてゆくために画質は徐々に安定してゆく。

本発明の第２の実施形態においては、Ｘの初期値を式（７）のような画像に依存しない一定の値ではなく、画像の性質に応じて適応的に決定する。すなわち、図１に示した動画像符号化装置において図７に示す適応型初期パラメータ決定処理Ｓ１４を行う。図７においては、図３に示した第１の実施形態における適応型初期パラメータ処理Ｓ１３に対してステップＳ１１の処理が追加されている。第１の実施形態とは異なり、初期パラメータ決定部７とレート制御符号化部９は以下のように動作を行う。

初期パラメータ決定部７では、最初に第１の実施形態と同様に量子化パラメータＱＰを決定する（ステップＳ９）。次に、量子化パラメータＱＰでのグローバルコンプレキシティメジャーＸｉ，Ｘｐ，Ｘｂの初期値を算出する（ステップＳ１１）。ステップＳ１１の具体的な方法の一つとしては、例えば図８に示すように量子化パラメータＱＰを用いてピクチャタイプ別符号量Ｉ３，Ｐ３，Ｂ３を算出し（ステップＳ１１０）、Ｉ３，Ｐ３，Ｂ３の比率に合わせてＸｉ，Ｘｐ，Ｘｂの初期値を決定する（ステップＳ１１１）。

ステップＳ１１０のピクチャタイプ別符号量を算出する方法は、第１の実施形態の中で述べたステップＳ２の方法と同様である。具体的には、例えば対象動画像の最初のｎ枚のピクチャに関してピクチャタイプ別に符号化を行ったときの発生符号量を用いる。つまり、図５の斜線で示されるフレームのみ量子化パラメータＱＰで符号化する。そのときのＩピクチャ及びＰピクチャの発生符号量をそれぞれＩ３及びＰ３とし、２つのＢピクチャの発生符号量の平均値、最大値あるいは最小値をＢ３とする。

このようにして得られたピクチャタイプ別符号量Ｉ３，Ｐ３，Ｂ３の比率に応じてグローバルコンプレキシティメジャーＸｉ，Ｘｐ，Ｘｂの初期値を決定し、レート制御符号化部９において量子化パラメータＱＰの初期値及びＸｉ，Ｘｐ，Ｘｂの初期値を設定して対象動画像の符号化を行う。このようにすることによって、対象動画像の開始動画像の性質と符号化ＱＰに適合したグローバルコンプレキシティメジャーの初期値が設定されるため、符号化の開始直後から安定した画質を得ることができる。

ここではＩ３，Ｐ３，Ｂ３を算出する際の解析対象画像が図５に斜線で示す４つのフレームである場合を述べたが、図６に斜線で示す４つのフレームでもよい。また、ここではＩ，Ｐ及びＢピクチャに対して同じ量子化パラメータＱＰを用いてピクチャタイプ別符号量Ｉ３，Ｐ３，Ｂ３を算出する例を示したが、ＰピクチャとＢピクチャに対する量子化パラメータあるいはＢピクチャに対する量子化パラメータをＩピクチャに対する量子化パラメータＱＰより大きくしてピクチャタイプ別符号量Ｉ３，Ｐ３，Ｂ３を算出してもよい。ＩピクチャはＰ及びＢピクチャよりも参照される頻度が高いため、Ｐ及びＢピクチャと比べて画質を上げた方が全体の画質が向上すると一般に考えられる。従って、このようにピクチャタイプに応じて量子化パラメータを異ならせることは有効である。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。本実施形態では図１に示した動画像符号化装置において図９に示す適応型初期パラメータ決定処理Ｓ１５を行う。図９においては、図７に示した第２の実施形態における適応型初期パラメータ処理Ｓ１４に対してさらにステップＳ１２の処理が追加されている。

すなわち、第３の実施形態では図１の初期パラメータ決定部７において、まず第２の実施形態と同様にターゲットビットレートＢＲに適した量子化パラメータＱＰを算出する（ステップＳ９）。次に、第２の実施形態と同様に当該ＱＰでグローバルコンプレキシティメジャーの初期値を算出する（ステップＳ１１）。この後、量子化パラメータＱＰ１及びＱＰ２とピクチャタイプ別符号量Ｉ１，Ｉ２，Ｐ１，Ｐ２，Ｂ１及びＢ２から、グローバルコンプレキシティメジャーの更新式における定数パラメータを決定する（ステップＳ１２）。

第２の実施形態では、ピクチャタイプ別グローバルコンプレキシティメジャー、ピクチャタイプ別符号量及びピクチャタイプ別平均量子化パラメータの間に、式（６）に示した関係がある場合のモデル（ＭＰＥＧ２のＴＭ５）について説明を行った。しかし、動画像符号化方式によってはモデルが異なる場合が考えられる。例えば、Ｈ．２６４では量子化パラメータＱＰが６増えると発生符号量が半分になるというモデルが用いられる。そこで、Ｈ．２６４のモデルに合うようにグローバルンプレキシティメジャーＸｉ，Ｘｐ，Ｘｂの更新式を書き直すと、以下のようになる。

この場合、ＱＰ１，ＱＰ２，Ｉ１，Ｉ２，Ｐ１，Ｐ２，Ｂ１，Ｂ２の値から式（８）中のＣ_I，Ｃ_P，Ｃ_Bを以下のように算出する。

Ｃ_I，Ｃ_P，Ｃ_Bの値は、画像の解像度、量子化パラメータＱＰの値及び画像の時間的変化の大きさに応じて変わる傾向にある。従って、Ｃ_I，Ｃ_P，Ｃ_Bの値を対象動画像の最初のピクチャの性質に合わせて設定することによって、画像が変化しない限り画像の性質に適合したグローバルコンプレキシティメジャーの更新が行われるようになるため、画質が安定する。

（第４の実施形態）
図１０は、本発明の第４の実施形態に係る動画像符号化装置であり、図１に対してシーン変化検出部１１が追加されている。シーン変化検出部１１は、例えば（ａ）対象動画像の現フレームと前フレームとの間の画素差分がある閾値より大きくなった状態、（ｂ）対象画像が動いているシーンから静止画に変化した状態、及び（ｃ）対象動画像が静止画から動き始めた状態、などを対象動画像のシーン変化として検出する。（ａ）に示されるような典型的なシーン変化だけでなく、（ｂ）（ｃ）のような動きの有無の変化もレート制御におけるパラメータの大きな変化となる。そこで、このようなシーン変化が起こったシーン（フレーム）においてパラメータを適応的に決定することによって、シーン変化による画質の劣化を防ぐ。適応的初期パラメータ決定部１０では、シーン変化検出部１１によって検出された全てのシーン変化に対応して、シーン変化の検出されたシーンに対して適応的初期パラメータを決定する。

本実施形態では図１１に示される処理手順に従って、まずステップＳ１６でシーン変化検出を行った後、シーン変化が検出されたシーンに対して、図３のＳ１３、図７のＳ１４または図９のＳ１５に示した適応的初期パラメータ決定処理を行う。次に、シーン変化に対応して算出された初期パラメータをシーン変化毎の初期値として、レート制御を用いて符号化を行う（ステップＳ１０）。具体的には、シーン変化検出部１１で検出された少なくとも一つのシーンに対して、例えばターゲットビットレートＢＲに適した量子化パラメータＱＰを決定する。レート制御符号化部９では、検出されたシーンの符号化開始時に、決定された量子化パラメータＱＰを用いて符号化を行う。

シーン変化が検出されたシーンに対して量子化パラメータＱＰを決定して用いることに加えて、グローバルコンプレキシティメジャーの初期値、あるいは更にグローバルコンプレキシティメジャーの更新式に用いる定数パラメータの値を適応的初期パラメータ決定部１０において決定してもよい。

シーン変化に応じた適応的初期パラメータの決定に際しては、シーン変化が生じた最初のフレームからｎフレームについて解析を行う。例えば、リオーダリングディレイＭが３の場合には、図１２に示すようにシーン変化ｉが検出されたフレームから４フレーム、及びシーン変化ｉ＋１が検出されたフレームから４フレーム（図１２の斜線で示すフレーム）について解析を行う。シーンｉ及びシーンｉ＋１に対して、それぞれ適切な初期パラメータを決定する。また、図１３に示すようにシーン変化ｉ，ｉ＋１が検出されたフレームより数えてMフレーム目からM＋１フレーム分をつまり、M=3の場合には３フレーム目から６フレーム目までの４フレームを適応的初期パラメータの設定のための解析に用いてもよい。

このように本実施形態によればシーン変化、すなわち（ａ）対象動画像のシーンが大きく変化する、（ｂ）対象動画像が静止画から動きのある画像へ変化する、あるいは（ｃ）対象動画像が動画から静止画へ変化する、などの変化が生じたときに画像の性質に合ったパラメータを設定することができる。これによって、シーン変化後の画質を安定させることが可能となる。

（第５の実施形態）
図１４は、本発明の第５の実施形態に係る動画像符号化装置であり、図１１に対してさらにシーン毎ターゲットビットレート決定部１２が追加されている。本実施形態の処理手順では、図１５に示すようにステップＳ１６においてシーン変化検出部１１で対象動画像のシーン変化を検出した後、シーン変化が検出されたシーンのターゲットビットレートＢＲｓｉをターゲットビットレート決定部１２において決定する（ステップＳ１７）。次に、適応的初期パラメータ決定部１０では検出されたシーン変化に対してターゲットビットレートＢＲの代わりに、ステップＳ１７で決定されたＢＲｓｉを入力して、図３のＳ１３、図７のＳ１４または図９のＳ１５に示した適応的初期パラメータ決定処理を行う。この後、シーン変化に対応して決定された初期パラメータをシーン変化毎の初期値として、レート制御を用いて符号化を行う（ステップＳ１０）。

ここで、ステップＳ１７においてあるシーンｓｉにおけるターゲットビットレートＢＲｓｉを決定する方法は種々考えられる。最も簡単には、図１６に示す手順を用いる。まず、ある一定の第４の量子化パラメータＱＰ４を決定し（ステップＳ１９）、ＱＰ４の下で各シーンｓｉのピクチャタイプ別符号量Ｉ４＿ｓｉ，Ｐ４＿ｓｉ及びＢ４＿ｓｉを算出する（ステップＳ２０）。ステップＳ１６におけるＱＰ４の決定方法は、第１の実施形態における第１の量子化パラメータＱＰ１の決定方法と同様でよい。ステップＳ２０におけるＩ４＿ｓｉ，Ｐ４＿ｓｉ，Ｂ４＿ｓｉの算出方法も、第１の実施形態におけるＩ１，Ｐ１，Ｂ１の算出方法と同様でよい。

次に、シーンｓｉにおけるビットレートＢＲ４＿ｓｉを算出し、さらにシーンｉにおけるターゲットビットレートＢＲｓｉを決定する（ステップＳ２１）。このとき、シーンｓｉのフレーム数をＦＮＵＭ＿ｓｉとする。ＦＮＵＭ＿ｓｉの総和は、以下のように対象動画像のフレーム数ＦＮＵＭと一致するものとする。

ステップＳ２１において、シーンｓｉにおけるビットレートＢＲ４＿ｓｉはＩ＿ｓｉ，Ｐ＿ｓｉ，Ｂ＿ｓｉの値から以下のように算出される。

さらに、ステップＳ２１においてシーンｓｉにおけるターゲットビットＢＲｓｉは、以下のように対象動画像全体でのビットレートとターゲットビットレートの比にＢＲ４＿ｓｉを乗じることで決定される。

こうして決定されたシーンｓｉのターゲットビットレートＢＲ＿ｓｉをターゲットビットレートＢＲに代えて適応的初期パラメータ決定部１０へ入力し、シーン変化のそれぞれに対して適応的初期パラメータ決定処理を行う（図１５のステップＳ１３，Ｓ１４またはＳ１５）。こうして得られたシーン変化のそれぞれに対する適応的初期パラメータを該当するシーン変化毎に設定した後、レート制御を用いた符号化を行う（図１５のステップＳ１０）。

（第６の実施形態）
図１７に示される本発明の第６の実施形態に係る動画像符号化装置は、大きく分けて符号化部１５とレート制御部２８からなる。符号化部１５はイントラ符号化部１３、インター符号化部１４及び符号化モード選択スイッチＳＷ１を有する。スイッチＳＷ１は、符号化モード選択のために、すなわちイントラ符号化部１３の出力とインター符号化部１４の出力を切り替えて、いずれかの出力から符号化部１５の出力信号を取り出すために用いられる。

イントラ符号化部１３及びインター符号化部１４は、図２に示したレート制御符号化部のうちイントラ符号化の機能及びインター符号化の機能にそれぞれ関わる部分を包括的に表している。例えば、イントラ符号化部１３は図２においてイントラ予測器２０６により生成されるイントラ予測信号１０６を用いて符号化を行う機能を有する部分を表す。同様に、インター符号化部１４はインター予測器２０８により生成されるインター予測信号１０９を用いて符号化を行う機能を有する部分を表す。図２においてイントラ予測器２０６、ブロッキングフィルタ２０７及びインター予測器２０８以外の要素は、イントラ符号化部１３及びインター符号化部１４で共通である。

レート制御部２８は、符号量割り当て部１９、仮想バッファ占有量更新部２０、量子化パラメータ決定部２１、スライス毎イントラビット量算出部２４、スライス毎発生ビット量算出部２５、イントラスライス用画像複雑度指標更新部２６、インタースライス用画像複雑度指標更新部２７、スイッチＳＷ４及びＳＷ５を有する。スイッチＳＷ４は、スライス毎イントラビット量算出部２４の出力とスライス毎発生ビット量算出部２５の出力を切り替えてイントラスライス用画像複雑度指標更新部２６に入力するために用いられる。スイッチＳＷ５は、スライス毎イントラビット量算出部２４の出力とインタースライス用画像複雑度指標更新部２７の入力との間をスイッチングするために用いられる。

図１８Ａ〜図１８Ｂを用いて処理の流れについて説明する。ステップＳ２２でスライス単位の符号化が開始すると、入力動画像信号を符号化部１５の中のイントラ符号化部１３及びインター符号化部１４に入力して、ある符号化単位でイントラ符号化及びインター符号化を行う（ステップＳ２３〜Ｓ２４）。イントラ符号化及びインター符号化の符号化単位は入力動画像信号の一部分であり、例えば図１９の斜線部に示される縦１６×横１６の２５６画素の単位、あるいは図２０の斜線部に示される縦１６画素の画面右端から画面左端までの単位とされる。このように符号化単位や符号化順序は種々と考えられるが、それは本実施形態では特に限定されない。

符号化に用いる量子化パラメータは、量子化パラメータ決定部２１で決定される。すなわち、量子化パラメータは、符号化開始時点からの発生符号量が目標値より多い場合には次の符号化時に発生符号量が少なくなるように、逆の場合には発生符号量が多くなるようにフィードバック制御によって決定される。このように１つまたはそれ以上の符号化単位毎に符号量の割り当てを行い、その割り当てと実際の発生符号量との差を小さくするように量子化パラメータは決定される。

符号量の割り当て単位は、先に述べた符号化単位とは別に設定される。ここでは符号量割り当て単位をスライスと呼ぶことにする。スライス全体についてイントラ符号化が行われるスライスをイントラスライスと呼び、スライス全体についてインター符号化が行われるスライスをインタースライスと呼ぶことにする。

インタースライスの符号化時には、符号化部１５において符号化単位の符号化モードをイントラ符号化モードとインター符号化モードから選択する（ステップＳ２５）。ステップＳ２５でイントラ符号化モードが選択されたかどうかを調べる（ステップＳ２６）。イントラ符号化モードが選択された場合には、図２１に示すようにスイッチＳＷ１をイントラ符号化部１３の出力に接続する（ステップＳ２７）。インター符号化モードが選択された場合には、図２２に示すようにスイッチＳＷ１をインター符号化部１４の出力に接続する（ステップＳ２８）。

ステップＳ２７では、図２１に示すようにイントラ符号化結果が符号化部１５から出力信号として取り出されると共に、イントラ符号化時の符号化単位の発生符号量の情報がスライス毎イントラビット量算出部２４、スライス毎発生ビット量算出部２５及び仮想バッファ占有量更新部２０に入力される。ステップＳ２８では、図２２に示すようにインター符号化結果が符号化部１５から出力信号として取り出されると共に、インター符号化時の符号化単位の発生符号量の情報がスライス毎発生ビット量算出部２５及び仮想バッファ占有量更新部２０に入力される。

次に、仮想バッファ占有量更新部２０において、符号量割り当て部１９によって現スライスに割り当てられている符号量と符号化部１５からの符号化単位の発生符号量の情報に従って仮想バッファ占有量を更新する（ステップＳ２９）。ステップＳ２９で更新された仮想バッファ占有量の値から、符号化部１５で次に符号化すべき符号化単位に対応する量子化パラメータを決定する（ステップＳ３０）。ステップＳ２９及びＳ３０の処理については、後に補足する。上述したステップＳ２３〜Ｓ３０の処理を対象動画像のスライス内の全ての符号化単位について行う。

次に、スライス毎発生ビット量算出部２５において符号化部１５からのイントラ符号化時及びインター符号化時の符号化単位の発生符号量の情報を受け、スライス内の全ての符号化単位の発生符号量を加算することにより、スライス毎発生ビット量（スライス毎の発生符号量）を算出する（ステップＳ３１）。さらに、スライス毎イントラビット量算出部２４において符号化部１５からのイントラ符号化時の符号化単位の発生符号量の情報に基づいて、スライス内の全てのイントラ符号化時の符号化単位の発生符号量を加算（合算）することにより、スライス毎イントラビット量（スライス毎のイントラ符号化時の発生符号量）を算出する（ステップＳ３２）。

次に、現スライスがイントラスライスかインタースライスかどうかを判断する（ステップＳ３３）。ステップＳ３３の判断の結果、現スライスがインタースライスである場合には図２３に示すように、スライス毎イントラビット量算出部２４の出力がイントラスライス用画像複雑度指標更新部２６へ入力されるようにスイッチＳＷ４を設定すると共に、スライス毎発生ビット量算出部２５の出力がインタースライス用画像複雑度指標更新部２７へ入力されるようにスイッチＳＷ５を設定する（ステップＳ３４）。イントラスライス用画像複雑度指標更新部２６は、スライス毎イントラビット量算出部２４により算出されたスライス毎イントラビット量に従ってイントラスライス用画像複雑度指標を更新する。インタースライス用画像複雑度指標更新部２７は、スライス毎発生ビット量算出部２５により算出されたスライス毎発生ビット量に従ってインタースライス用画像複雑度指標を更新する。

インタースライスとしては、１つの参照フレームから動き補償予測を行うＰスライスと、２つの参照フレームから動き補償予測を行うＢスライスがあるが、ここではこれらＰスライスとＢスライスを区別せずにインタースライスと称する。しかし、インタースライス用画像複雑度指標更新部２７においてＢスライス及びＰスライスのそれぞれの画像複雑度指標を個別に更新してもよい。この場合、符号量割り当て部１９においては、Ｂスライス及びＰスライスのそれぞれの画像複雑度指標を利用してＢスライス毎及びＰスライス毎に符号量割り当てを行う。インタースライスについて予測残差の分散値の大きさに応じたグループ分けを行い、それらのグループ毎に画像複雑度指標の保持、更新及び参照を行うというように、複数の画像複雑度指標を管理する場合も考えられる。このように本実施形態におけるインタースライス用画像複雑度指標の利用法は、特定の方法に限定されない。

一方、ステップＳ３３の判断の結果、現スライスがイントラスライスである場合には図２４に示すように、スライス毎発生ビット量算出部２５の出力がイントラスライス用画像複雑度指標更新部２６へ入力されるようにスイッチＳＷ４を設定する（ステップＳ３５）。イントラスライス用画像複雑度指標更新部２６は、スライス毎発生ビット量算出部２５により算出されたスライス毎発生ビット量に従ってイントラスライス用画像複雑度指標を更新する。このとき、スライス毎発生ビット量算出部２５の出力はインタースライス用画像複雑度指標更新部２７へは入力されないようにスイッチＳＷ５を設定する。従って、インタースライス用画像複雑度指標の更新は行われない。

ここで、インタースライス用及びイントラスライス用画像複雑度指標の更新に関しては、レート制御方式で用いられるモデルに合わせて行えばよく、更新のためのモデルは特に限定されない。例えば、ＭＰＥＧ−２で採用されているＴＭ５においては、ピクチャタイプ毎に［画像複雑度指標＝発生符号量×量子化パラメータ］という関係式を用いて画面複雑度指標の更新をＩピクチャ、Ｐピクチャ及びＢピクチャのそれぞれにおいて行う。図１７、図２１〜図２４では、インタースライス用画像複雑度指標更新部２７は一つの要素であるように表されているが、発生符号量と量子化パラメータとの関係が異なるピクチャタイプ毎に画面複雑度指標の更新を個別に行う機能を含むものとする。

次に、符号量割り当て部１９において、次に符号化すべきスライスに割り当てる符号量を決定する（ステップＳ３６）。この場合、イントラスライス用画像複雑度指標更新部２６及びインタースライス用画像複雑度指標更新部２７で更新された画像複雑度指標を用いる。例えば、イントラスライス用画像複雑度指標に対してインタースライス用符号化ピクチャ用画像複雑度指標が大きければ、インター符号化ピクチャにより多くの符号量を割り当て、逆であればイントラ符号化ピクチャにより多くの符号量を割り当てる。

例えばＭＰＥＧ−２で用いられるＴＭ５においては、Ｉピクチャ、Ｐピクチャ及びＢピクチャにそれぞれ割り当てる符号量Ｔ_I，Ｔ_P及びＴ_Bを以下のように算出する。

ここで、Ｘ_I，Ｘ_P及びＸ_BはそれぞれＩピクチャ用、Ｐピクチャ用及びＢピクチャ用の画像複雑度指標、Ｎ_P及びＮ_Bはそれぞれ次のＩピクチャまでの残りのＰピクチャ数及びＢピクチャ数、Ｒは次のＩピクチャまでの割り当て符号量を表す。Ｋ_P及びＫ_Bはそれぞれ量子化に依存する恒常的な定数を表し、例えばＫ_P＝1.0, Ｋ_B＝1.4 とされる。

仮想バッファ占有量更新部２０においては、符号量割り当て部１９によって割り当てられた符号量と発生ビット量との差分を仮想バッファ占有量として累積することにより、仮想バッファ占有量の更新を行う。この処理は図１８ＡのステップＳ２９に示される。符号化済みピクチャに関して累積した差分は、正の値であれば割り当て分を超えてビットを発生していることを示す。

次に、量子化パラメータ決定部２１において、更新された仮想バッファ占有量を入力して量子化パラメータを決定する。すなわち、仮想バッファ占有量が大きくなった場合には、次のピクチャの発生符号量を減らすように量子化パラメータを大きくする。一方、仮想バッファ占有量が小さい場合には、次のピクチャの発生符号量を増やすように量子化パラメータを小さくする。この処理は図１８ＡのステップＳ３０に示される。このようにして決定した量子化パラメータを次の符号化単位の符号化時に用いる。この結果、対象動画像のシーケンス全体の発生符号量が目標符号量に近づくようにレート制御が行われる。

ここで、符号量割り当てを行うスライス単位と、仮想バッファ占有量の更新を行い、それをフィードバックして量子化パラメータを変更する単位は、同じ場合と異なる場合が考えられる。符号量割り当てを行う単位とフィードバック制御により量子化パラメータを変更する単位が異なる場合、例えば（ａ１）ピクチャ単位で符号量割り当てを行い（この場合、上の説明におけるスライスがピクチャとなる）、（ａ２）ピクチャ中のマクロブロック（図１９中の一つの四画で示してある１６画素×１６画素）毎に符号化を行い、（ａ３）仮想バッファ占有量をマクロブロック毎に更新し、（ａ４）マクロブロック毎に量子化パラメータの決定を行う、ことが考えられる。この場合の処理フローは図１８Ａ〜１８Ｂでよい。また、（ｂ１）図２０の一列（斜線部またはそれ以外の部分）単位に符号量割り当てを行い（この場合、スライスはこの一列となる）、（ｂ２）各列のマクロブロック毎に符号化を行い、（ｂ３）仮想バッファ占有量をマクロブロック毎に更新し、（ｂ４）マクロブロック毎に量子化パラメータの決定を行う、ことも考えられる。さらに、（ｃ１）ピクチャ単位で符号量割り当てを行い、（ｃ２）マクロブロック毎に符号化を行い、（ｃ３）仮想バッファ占有量の更新を図２０の一列単位に行い、（ｃ４）量子化パラメータの決定を一列単位に行う、ことも考えられる。

一方、符号量割り当てを行う単位とフィードバック制御により量子化パラメータを変更する単位が同じ場合は、（ｄ１）ピクチャ単位で符号量割り当てを行い、（ｄ２）マクロブロック単位で符号化を行い、（ｄ３）ピクチャ単位で仮想バッファの占有量の更新及び（ｄ４）量子化パラメータの決定を行う、ことが考えられる。この場合の処理フローは図２５Ａ〜２５Ｂとなる。図１８Ａ〜１８Ｂと図２５Ａ〜２５Ｂとでは、仮想バッファ占有量の更新ステップＳ２９及び量子化パラメータの決定ステップＳ３０の位置が異なるが、本発明はこれらの位置に依存するものではなく、どのような場合でも適用可能である。符号量割り当てを行う単位及びフィードバックによる量子化パラメータの変更を行う単位については、任意に変更することが可能である。

本実施形態によると、イントラスライス用画像複雑度指標の更新がスライス毎に行われるため、更新頻度が高くなる。従って、イントラスライス用画像複雑度指標の最適値からの乖離が小さい。従来では、イントラスライス用画像複雑度指標をイントラスライス符号化モードのときのみ更新している。このため更新前後のイントラスライス用画像の性質が大きく異なる場合に更新の精度が悪くなり、画質に劣化が見られる場合がある。これに対して、本実施形態によればイントラスライス用画像複雑度指標をインタースライス時にも更新するため、更新前後のイントラスライス用画像の性質の変化が小さくなる。従って更新精度が向上し、画質の劣化が小さくなる。

図１７における符号化部１５においては、スイッチＳＷ１によってマクロブロック毎に最適な符号化モードを選択する。本発明の第６の実施形態の変形例では、スイッチＳＷ１が最適な符号化モードを選択する際に、以下のようにしてレート制御を行う。イントラスライス毎ビット量算出部２４は、イントラ符号化部１３が入力動画像信号に対してイントラ符号化を行ったときのマクロブロック当たりの発生符号量を求めてそれらを合算することにより、イントラスライス単位の発生符号量を算出する。イントラスライス用画像複雑度指標更新部２６は、この合算されたイントラスライス単位の発生符号量に基づいてイントラスライス用画像複雑度指標の更新を行い、これに基づいて符号化部１５はレート制御を行う。

（第７の実施形態）
第６の実施形態においては、イントラ符号化部１３は図２６に示されるようにイントラ予測／ＤＣＴ／量子化ユニット３１と、量子化されたＤＣＴ係数（直交変換係数）を符号化するエントロピー符号化部３２により構成される。これに対し、本発明の第７の実施形態に係る動画像符号化装置では、イントラ符号化部１３は図２７に示されるようにイントラ予測／ＤＣＴ／量子化ユニット３１と、量子化されたＤＣＴ係数から発生符号量を見積もる符号量見積もり部３３を有し、エントロピー符号化部３２を含まない。

第７の実施形態の変形例として、図２８に示されるようにイントラ符号化部１３にはイントラ予測／ＤＣＴ／量子化ユニット３１のみを置き、図２９に示されるようにスライス毎イントラビット量算出部２５の前に符号量見積もり部３４を配置してもよい。この場合も、イントラ符号化部１３にはエントロピー符号化部３２を含まない。

符号量見積もり部３３及び３４は、符号化単位当たりの発生符号量を見積もり、スライス毎イントラビット量算出部２５は、見積もられた符号化単位当たりの発生符号量を合算してスライス単位の発生符号量を算出する。

第１の実施形態で述べたように、エントロピー符号化結果より発生符号量を調べる他にも、符号化の途中段階であるＤＣＴ変換により得られるＤＣＴ係数を量子化した際のゼロ係数の個数から、発生符号量を推定する方法も報告されている（たとえば前述の「参考文献２」）。これを用いて発生符号量の見積もりを行い、それをスライス毎イントラビット量算出部２４へ入力してイントラスライス用画像複雑度指標の更新に用いるという変形例も考えられる。この変形例では、イントラ符号化部１３からスライス毎イントラビット量算出の過程で発生符号量の推定を行う部分を除いて第６の実施形態と同様でよい。

以上説明した本発明の実施形態に基づく動画像符号化処理は、ハードウェアでも実現可能であるが、パーソナルコンピュータのようなコンピュータを用いてソフトウェアにより実行することも可能である。従って、本発明によれば以下に挙げるようなプログラム、あるいは当該プログラムを格納したコンピュータ読み取り可能な記憶媒体を提供することができる。

（１）符号化データのビットレートがターゲットビットレートに近づくようにレート制御を行いつつ一つ以上のピクチャタイプを用いて対象動画像を符号化する処理をコンピュータに行わせるプログラムであって、第１量子化パラメータを用いて前記対象動画像に含まれるｎ枚のピクチャを符号化したときの、符号化に用いられるピクチャタイプ毎の発生符号量を示す第１符号量情報を求める処理と、前記第１符号量情報から求まるピクチャ単位の第１平均発生符号量に設定フレームレートを乗じて第１ビットレートを求める処理と、前記第１量子化パラメータとは異なる第２量子化パラメータを用いて前記ｎ枚のピクチャを符号化したときの、符号化に用いられるピクチャタイプ毎の発生符号量を示す第２符号量情報を求める処理と、前記第２符号量情報から求まるピクチャ単位の第２平均発生符号量に設定フレームレートを乗じて第２ビットレートを求める処理と、前記第１ビットレート、第１量子化パラメータ、第２ビットレート、第２量子化パラメータおよびターゲットビットレートを用いて第３量子化パラメータを求める処理と、前記第３量子化パラメータを初期値として用いて前記レート制御を行う処理とを含む動画像符号化処理を前記コンピュータに行わせるプログラム、あるいは当該プログラムを格納したコンピュータ読み取り可能な記憶媒体。

（２）符号化データのビットレートがターゲットビットレートに近づくようにレート制御を行いつつ対象動画像を符号化する、インター符号化モードとイントラ符号化モードを有する動画像符号化処理をコンピュータに行わせるプログラムであって、前記対象動画像の符号化対象ピクチャをイントラ符号化モードにより符号化した場合の発生符号量を算出する処理と、前記発生符号量を用いて前記イントラ符号化モードに関わる画像複雑度指標を更新する処理と、前記画像複雑度指標を用いて前記レート制御を行う処理とを含む動画像符号化処理を前記コンピュータに行わせるプログラム、あるいは当該プログラムを格納したコンピュータ読み取り可能な記憶媒体。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の第１の実施形態に係る動画像符号化装置のブロック図 図１中のレート制御可能な符号化部の詳細なブロック図 本発明の第１の実施形態における初期パラメータ設定手順を示すフローチャート グループ・オブ・ピクチャ（ＧＯＰ）の一例を示す図 対象動画像シーケンスとピクチャタイプ別符号量の計算に用いるｎ枚のピクチャの位置について説明する図 対象動画像シーケンスとピクチャタイプ別符号量の計算に用いるｎ枚のピクチャの他の位置について説明する図 本発明の第２の実施形態における初期パラメータ設定手順を示すフローチャート 図７中のグローバルコンプレキシティメジャーの初期値算出ステップの詳細を示すフローチャート 本発明の第３の実施形態における初期パラメータ設定手順を示すフローチャート 本発明の第４の実施形態に係る動画像符号化装置のブロック図 第４の実施形態における初期パラメータ設定手順を示すフローチャート 第４の実施形態におけるシーン変化が検出されたフレームと初期パラメータの設定に用いるフレームとの関係について説明する図 第４の実施形態におけるシーン変化が検出されたフレームと初期パラメータの設定に用いるフレームとの関係について説明する図 本発明の第５の実施形態に係る動画像符号化装置のブロック図 第５の実施形態における初期パラメータ設定手順を示すフローチャート 図１５中のシーン毎ターゲットビットレートの決定ステップの詳細を示すフローチャート 本発明の第６の実施形態に係る動画像符号化装置のブロック図 第６の実施形態における処理手順を示すフローチャート 第６の実施形態における処理手順を示すフローチャート 第６の実施形態における符号化単位の一例について説明する図 第６の実施形態における符号化単位の他の例について説明する図 第６の実施形態において符号化単位の符号化時にイントラ符号化が選ばれた場合の結線図 第６の実施形態において符号化単位の符号化時にインター符号化が選ばれた場合の結線図 第６の実施形態におけるイントラスライスの符号化時の結線図 第６の実施形態におけるインタースライスの符号化時の結線図 第６の実施形態においてピクチャ単位で符号量割り当てを行い、マクロブロック単位で符号化を行い、仮想バッファの占有量の更新及び量子化パラメータの決定をピクチャ単位に行う場合の処理手順を示すフローチャート 第６の実施形態においてピクチャ単位で符号量割り当てを行い、マクロブロック単位で符号化を行い、仮想バッファの占有量の更新及び量子化パラメータの決定をピクチャ単位に行う場合の処理手順を示すフローチャート 第６の実施形態に係る動画像符号化装置におけるイントラ符号化部の詳細を示すブロック図 本発明の第７の実施形態に係る動画像符号化装置におけるイントラ符号化部の詳細を示すブロック図 本発明の第７の実施形態の変形例に係る動画像符号化装置におけるイントラ符号化部の詳細を示すブロック図 本発明の第７の実施形態の変形例に係る動画像符号化装置のブロック図

符号の説明

１・・・ターゲットビットレート入力部；
２・・・フレーム／リオーダリングディ例／ＧＯＰ入力部；
３・・・適応型初期パラメータ設定部；
４・・・第１の量子化パラメータ決定部；
５・・・ピクチャタイプ別符号量算出部（第１及び第２ピクチャタイプ別符号量算出部）；
６・・・仮ビットレート算出部（第１及び第２のビットレート算出部）；
７・・・初期パラメータ決定部；
８・・・第２の量子化パラメータ決定部；
９・・・レート制御符号化部；
１１・・・シーン変化検出部；
１２・・・シーン毎ターゲットビットレート決定部；
１３・・・イントラ符号化部；
１４・・・インター符号化部；
１５・・・符号化部；
ＳＷ１・・・符号化モード選択スイッチ；
１９・・・符号量割り当て部
２０・・・仮想バッファ占有量更新部；
２１・・・量子化パラメータ決定部；
２４・・・スライス毎イントラビット量算出部；
２５・・・スライス毎発生ビット量算出部；
２６・・・イントラスライス用画像複雑度指標更新部；
２７・・・インタースライス用画像複雑度指標更新部；
２８・・・レート制御部；
３３，３４・・・符号量見積もり部

Claims (18)

1. 符号化データのビットレートがターゲットビットレートに近づくようにレート制御を行いつつ一つ以上のピクチャタイプを用いて対象動画像を符号化する動画像符号化方法であって、
   第１量子化パラメータを用いて前記対象動画像に含まれるｎ枚のピクチャを符号化したときの、符号化に用いられるピクチャタイプ毎の発生符号量を示す第１符号量情報を求めるステップと、
   前記第１符号量情報から求まるピクチャ単位の第１平均発生符号量に設定フレームレートを乗じて第１ビットレートを求めるステップと、
   前記第１量子化パラメータとは異なる第２量子化パラメータを用いて前記ｎ枚のピクチャを符号化したときの、符号化に用いられるピクチャタイプ毎の発生符号量を示す第２符号量情報を求めるステップと、
   前記第２符号量情報から求まるピクチャ単位の第２平均発生符号量に設定フレームレートを乗じて第２ビットレートを求めるステップと、
   前記第１ビットレート、第１量子化パラメータ、第２ビットレート、第２量子化パラメータおよびターゲットビットレートを用いて第３量子化パラメータを求めるステップと、
   前記第３量子化パラメータを初期値として用いて前記レート制御を行うステップとを具備する動画像符号化方法。
2. 符号化データのビットレートがターゲットビットレートに近づくようにレート制御を行いつつ一つ以上のピクチャタイプを用いて対象動画像を符号化する動画像符号化装置であって、
   第１量子化パラメータを用いて前記対象動画像に含まれるｎ枚のピクチャを符号化したときの、符号化に用いられるピクチャタイプ毎の発生符号量を示す第１符号量情報を算出する第１符号量情報算出部と、
   前記第１符号量情報から求まるピクチャ単位の第１平均発生符号量に設定フレームレートを乗じて第１ビットレートを算出する第１ビットレート算出部と、
   前記第１量子化パラメータとは異なる第２量子化パラメータを用いて前記ｎ枚のピクチャを符号化したときの、符号化に用いられるピクチャタイプ毎の発生符号量を示す第２符号量情報を算出する第２符号量情報算出部と、
   前記第２符号量情報から求まるピクチャ単位の第２平均発生符号量に設定フレームレートを乗じて第２ビットレートを算出する第２ビットレート算出部と、
   前記第１ビットレート、第１量子化パラメータ、第２ビットレート、第２量子化パラメータおよび前記ターゲットビットレートを用いて第３量子化パラメータを算出する第３量子化パラメータ算出部と、
   前記第３量子化パラメータを初期値として用いて前記レート制御を行いつつ符号化を行う符号化部とを具備する動画像符号化装置。
3. 前記第３量子化パラメータ算出部は、前記第３量子化パラメータを次式により算出する請求項２記載の動画像符号化装置。
   

   

   ここで、ＱＰ１は前記第１量子化パラメータ、ＱＰ２は前記第２量子化パラメータ、ＱＰは前記第３量子化パラメータ、ＢＲ１は前記第１ビットレート、ＢＲ２は前記第２ビットレート、ＢＲは前記ターゲットビットレートをそれぞれ表す。
4. 前記動画像符号化装置は複数のピクチャタイプを用いて前記対象動画像を符号化し、
   前記第１および前記第２符号量情報算出部は、ｎ枚のピクチャ（ｎ≧２）を符号化したときのピクチャ単位の発生符号量を求め、
   前記動画像符号化装置は、前記第３量子化パラメータを用いて前記ｎ枚のピクチャを符号化したときのピクチャタイプ毎の発生符号量を示す第３符号量情報を算出する第３符号量情報算出部と、前記第３符号量情報の比率に応じてピクチャタイプ別画像複雑度指標を算出するピクチャタイプ別画像複雑度指標算出部とをさらに具備し、
   前記符号化部は前記ピクチャタイプ別画像複雑度指標を初期値として用いてレート制御を行う手段をさらに含む請求項２記載の動画像符号化装置。
5. 前記ピクチャタイプ別画像複雑度指標を予め定められた、定数パラメータを有する更新式に従って更新する更新部と、
   前記第１符号量情報、第１量子化パラメータ、第２符号量情報及び第２量子化パラメータから前記定数パラメータをピクチャタイプ毎に算出する定数パラメータ算出部とをさらに具備する請求項４記載の動画像符号化装置。
6. 前記更新式は次式であり、
   

   

   ここで、Ｘｉ，Ｘｐ及びＸｂはＩピクチャ、Ｐピクチャ及びＢピクチャのピクチャタイプ別画像複雑度指標、Ｓｉ，Ｓｐ及びＳｂはＩピクチャ、Ｐピクチャ及びＢピクチャのピクチャタイプ別発生符号量、Ｃ_I，Ｃ_P，Ｃ_Bは前記定数パラメータをそれぞれ表し、
   前記定数パラメータＣ_I，Ｃ_P，Ｃ_Bは次式により算出される請求項５記載の動画像符号化装置。
   

   

   ここで、ＱＰ１は前記第１量子化パラメータ、ＱＰ２は前記第２量子化パラメータ、Ｉ１，Ｐ１及びＢ１はそれぞれＩピクチャ、Ｐピクチャ及びＢピクチャの第１ピクチャタイプ別符号量、Ｉ２，Ｐ２及びＢ２はそれぞれＩピクチャ、Ｐピクチャ及びＢピクチャの第２ピクチャタイプ別符号量をそれぞれ表す。
7. 前記第３量子化パラメータ算出部は、前記対象動画像のシーンチェンジ毎に前記第３量子化パラメータを求める請求項２記載の動画像符号化装置。
8. 前記ピクチャタイプ別画像複雑度指標算出部は、前記対象画像のシーンチェンジ毎に前記ピクチャタイプ別画像複雑度指標を求める請求項４記載の動画像符号化装置。
9. 前記定数パラメータ算出部は、前記対象動画像のシーンチェンジ毎に前記定数パラメータを求めるステップを含む請求項５記載の動画像符号化装置。
10. 符号化データのビットレートがターゲットビットレートに近づくようにレート制御を行いつつ対象動画像を符号化する、インター符号化モードとイントラ符号化モードを有する動画像符号化方法であって、
    前記対象動画像の符号化対象ピクチャをイントラ符号化モードにより符号化した場合の発生符号量を算出するステップと、
    前記発生符号量を用いて前記イントラ符号化モードに関わる画像複雑度指標を更新するステップと、
    前記画像複雑度指標を用いて前記レート制御を行うステップとを具備する動画像符号化方法。
11. 符号化データのビットレートがターゲットビットレートに近づくようにレート制御を行いつつ対象動画像を符号化する、インター符号化モードとイントラ符号化モードを有する動画像符号化装置であって、
    前記対象動画像の符号化対象ピクチャをイントラ符号化モードにより符号化した場合の発生符号量を算出する符号量算出部と、
    前記発生符号量を用いて前記イントラ符号化モードに関わる画像複雑度指標を更新する更新部と、
    前記画像複雑度指標を用いて前記レート制御を行いつつ符号化を行う符号化部とを具備する動画像符号化装置。
12. 前記符号化部が前記画像複雑度指標を用いて前記レート制御を行いつつ符号化を行う際に、前記対象動画像のマクロブロック単位毎に前記インター符号化モードとイントラ符号化モードのうち最適な符号化モードを選択する選択部をさらに具備し、前記符号量算出部は前記選択部が前記最適な符号化モードを選択する際に、前記対象動画像の符号化対象ピクチャをイントラ符号化モードにより符号化した場合の前記マクロブロック単位当たりの発生符号量を合算し、前記画像複雑度指標更新部は合算された発生符号量を用いて前記イントラ符号化モードに関わる画像複雑度指標を更新する請求項１１記載の動画像符号化装置。
13. 前記符号化部が前記画像複雑度指標を用いて前記レート制御を行いつつ符号化を行う際に、前記対象動画像のマクロブロック単位毎に前記インター符号化モードとイントラ符号化モードのうち最適な符号化モードを選択する選択部と、前記選択部が前記最適な符号化モードを選択する際に、前記対象動画像をイントラ符号化モードにより符号化した場合の前記マクロブロック単位当たりの発生符号量を見積もる符号量見積もり部とをさらに具備し、前記符号量算出部は見積もられた前記マクロブロック単位当たりの発生符号量を合算し、前記画像複雑度指標更新部は合算された発生符号量を用いて前記イントラ符号化モードに関わる画像複雑度指標を更新する請求項１１記載の動画像符号化装置。
14. 前記符号化部は直交変換係数を量子化する量子化部を含み、前記見積もり部は前記直交変換係数を用いて前記符号化単位当たりの発生符号量を見積もりかつ合算する請求項１３記載の動画像符号化装置。
15. 符号化データのビットレートがターゲットビットレートに近づくようにレート制御を行いつつ一つ以上のピクチャタイプを用いて対象動画像を符号化する処理をコンピュータに行わせるプログラムであって、
    第１量子化パラメータを用いて前記対象動画像に含まれるｎ枚のピクチャを符号化したときの、符号化に用いられるピクチャタイプ毎の発生符号量を示す第１符号量情報を求める処理と、
    前記第１符号量情報から求まるピクチャ単位の第１平均発生符号量に設定フレームレートを乗じて第１ビットレートを求める処理と、
    前記第１量子化パラメータとは異なる第２量子化パラメータを用いて前記ｎ枚のピクチャを符号化したときの、符号化に用いられるピクチャタイプ毎の発生符号量を示す第２符号量情報を求める処理と、
    前記第２符号量情報から求まるピクチャ単位の第２平均発生符号量に設定フレームレートを乗じて第２ビットレートを求める処理と、
    前記第１ビットレート、第１量子化パラメータ、第２ビットレート、第２量子化パラメータおよびターゲットビットレートを用いて第３量子化パラメータを求める処理と、
    前記第３量子化パラメータを初期値として用いて前記レート制御を行う処理とを含む動画像符号化処理を前記コンピュータに行わせるプログラム。
16. 符号化データのビットレートがターゲットビットレートに近づくようにレート制御を行いつつ対象動画像を符号化する、インター符号化モードとイントラ符号化モードを有する動画像符号化処理をコンピュータに行わせるプログラムであって、
    前記対象動画像の符号化対象ピクチャをイントラ符号化モードにより符号化した場合の発生符号量を算出する処理と、
    前記発生符号量を用いて前記イントラ符号化モードに関わる画像複雑度指標を更新する処理と、
    前記画像複雑度指標を用いて前記レート制御を行う処理とを含む動画像符号化処理を前記コンピュータに行わせるプログラム。
17. 符号化データのビットレートがターゲットビットレートに近づくようにレート制御を行いつつ一つ以上のピクチャタイプのピクチャを有する対象動画像を符号化する動画像符号化方法であって、
    複数の異なる値の仮量子化パラメータの各々を用いて前記対象動画像に含まれるｎ枚のピクチャを符号化したときの、符号化に用いられるピクチャタイプ毎の発生符号量を示す符号量情報を、前記仮量子化パラメータの各々に関して求めるステップと、
    前記仮量子化パラメータの各々に関する前記符号量情報から求まるピクチャ単位の第１平均発生符号量に設定フレームレートを乗じて、前記仮量子化パラメータの各々に関する仮ビットレートを求めるステップと、
    前記仮量子化パラメータ、前記仮量子化パラメータの各々に関する前記仮ビットレート、および、ターゲットビットレートを用いて、量子化パラメータの初期パラメータを求めるステップと、
    前記初期パラメータを用いて前記レート制御を行うステップとを具備する動画像符号化方法。
18. 符号化データのビットレートがターゲットビットレートに近づくようにレート制御を行いつつ一つ以上のピクチャタイプのピクチャを有する対象動画像を符号化する動画像符号化装置であって、
    複数の異なる値の仮量子化パラメータの各々を用いて前記対象動画像に含まれるｎ枚のピクチャを符号化したときの、符号化に用いられるピクチャタイプ毎の発生符号量を示す符号量情報を、前記仮量子化パラメータの各々に関して求める符号量情報算出部と、
    前記仮量子化パラメータの各々に関する前記符号量情報から求まるピクチャ単位の平均発生符号量に設定フレームレートを乗じて、前記仮量子化パラメータの各々に関する仮ビットレートを求める仮ビットレート算出部と、
    前記仮量子化パラメータ、前記仮量子化パラメータの各々に関する前記仮ビットレート、および、ターゲットビットレートを用いて、量子化パラメータの初期パラメータを求める初期値算出部と、
    前記初期パラメータを用いた前記レート制御の下で符号化を行う符号化部と、
    を具備する動画像符号化方法。

Images