JP3734286B2

JP3734286B2 - 動画像符号化装置及び動画像伝送装置

Info

Publication number: JP3734286B2
Application number: JP32643594A
Authority: JP
Inventors: 晋一郎古藤; 敏則尾高; 朋夫山影; 知也児玉
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1994-12-27
Filing date: 1994-12-27
Publication date: 2006-01-11
Anticipated expiration: 2021-01-11
Also published as: JPH08186821A

Description

【０００１】
【産業上の利用分野】
本発明は、特に蓄積メディアのように符号化時にリアルタイム性が要求されない動画像システムにおいて高い圧縮率で高画質の符号化を実現する動画像符号化装置及び動画像伝送装置に関する。
【０００２】
【従来の技術】
動画像の圧縮符号化方式の国際規格として、ビデオＣＤの規格にも採用されたＭＰＥＧ−１（ＩＳＯ／ＩＥＣ１１１７２）や、次世代のデジタル放送、ＶＯＤ(Video On Demand) あるいはＤＶＤ(Digital Video Disk)などへの応用が期待されているＭＰＥＧ−２（ＩＳＯ／ＩＥＣ１３８１８）などが知られている。
【０００３】
ＭＰＥＧ符号化方式では、動き補償予測とＤＣＴ（離散コサイン変換）をベースにしたエントロピー符号化が用いられているため、均一な画質での符号化を行う場合、入力動画像信号に対する予測効率や解像度といった性質に応じて、発生符号量が大幅に変動する。伝送路やメディアの制約から、この発生符号量の時間変動は所定範囲内に収まるように制限される必要がある。通常、量子化の精度（量子化ステップ幅）を制御することで、この条件を満たすように発生符号量は制御される。しかし、この方法では入力動画像信号の画像の動きが激しいために予測効率が低い場合や、解像度が高くフレーム内の情報量が大きい場合には、量子化ステップ幅が大きくなるため、量子化による符号化歪みが大きくなり、画質劣化が顕著となる。
【０００４】
一方、こうして符号化された信号の伝送方式として固定レート伝送方式を用いた場合、発生符号量の時間変動は符号化ビットストリームを伝送前に一時蓄える平滑化バッファによってのみ吸収される。従って、発生符号量の時間変動は規定された平滑化バッファのサイズの中で制限されるが、その自由度は大きくとることが出来ず、入力動画像信号の画像の性質に依存して画質劣化が顕著になる場合がある。
【０００５】
符号化ビットストリームの伝送方式として、伝送レートを時間的に変動させる可変レート伝送方式も知られている。ＡＴＭのパケット伝送やＨＤＤなどのようにバースト転送を基本とする伝送方式では、この可変レート伝送を実現することが可能である。可変レート伝送では、伝送路の最大レートと平滑化バッファのサイズにより制限される範囲で、固定レート伝送に比べて大幅な発生符号量の時間変動を許容できる。したがって、入力動画像信号の画像の性質に応じた、より高能率な符号化を実現することが可能となる。
【０００６】
符号化ビットストリームを光ディスクなどのディジタル蓄積メディア、つまりＤＳＭ(Digital Storage Media) に蓄積する場合には、ＤＳＭの最大容量と最大転送レートで制限される可変レート伝送が可能である。このような蓄積系への応用では、実時間での符号化は必ずしも要求されず、効率的な符号化による高画質化や記録時間の拡大が重要となる。このためには、入力動画像信号系列全体の性質に基づいて最適な可変レート制御を行うことが有効と考えられるが、動画像信号の可変レート伝送における最適なレート制御方法は未だ確立されていない。
【０００７】
【発明が解決しようとする課題】
上述したように、動画像符号化技術を蓄積系に応用を考えた場合、記録時間の拡大や高画質化を図るために入力動画像信号の全体の性質に基づいて最適なレート制御を行うことが有効と考えられるが、そのようなレート制御方法は未だ確立されておらず、その実現が望まれていた。
【０００８】
本発明は、入力動画像信号系列の全体の性質に応じたレート制御の最適化による大幅な高画質化と記録時間の拡大を可能とする蓄積系に適した動画像符号化装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するため、本発明においては、入力動画像信号系列全体を一旦符号化した後、この全体にわたる発生符号量を含む統計量に基づいて再度同一の入力動画像信号系列全体を符号化する動画像符号化装置において、前記入力動画像信号系列を画素ブロック毎に複数の量子化ステップ幅を交互に切り換えて符号化する符号化手段と、前記複数の量子化ステップ幅でそれぞれ符号化された画素ブロックの符号量をフレーム毎に独立に加算し、複数の加算符号量を求める手段と、前記複数の加算符号量から量子化ステップ幅毎のフレームの発生符号量を推定する手段と、推定された発生符号量に基づいて前記符号化手段に対して最終回符号化のための前記入力動画像信号系列全体の最適符号量割り当てを行う符号量割り当て手段とにより構成される動画像符号化装置を提供する。
【００１０】
また本発明に係る動画像符号化装置において、前記符号量割り当ての結果に基づき平滑化バッファ占有量の時間変動を推定する手段と、推定結果に応じて符号量の配分を補正する手段とを含み、前記符号化手段は補正符号量に従って動画像信号系列全体を符号化することを特徴とする。
【００１４】
【作用】
第１の発明においては、少なくとも１回目を含む符号化で入力動画像信号系列全体の性質に依存する入力動画像信号系列の全体にわたる発生符号量などの統計量を抽出し、それに基づいて入力動画像信号系列の所定数のフレーム毎に符号量配分または量子化ステップ幅あるいはその両方を選択する。そして、こうして選択された符号量配分や量子化ステップ幅に基づいて、最終回、例えば２回目の符号化を行う際の量子化ステップ幅を画面内の所定の領域毎に制御する。ＤＳＭのような総符号量が一定の蓄積メディアにおいては、実際にメディアに符号化データを蓄積する前に、可変レート伝送を利用した最適な符号量配分を事前に行うことができるため、このような制御が容易に可能となる。
【００１５】
従って、動画像信号系列の可変レート伝送において入力動画像信号系列全体の性質に基づく最適なレート制御が可能となり、平均伝送レートを上げることなく高画質化およびメディアへの記録時間の拡大を実現することができる。また、符号量配分や量子化ステップ幅の選択単位としてのフレーム数を１フレームあるいは少数のフレーム群とすることで、シーンチェンジ等の急激な入力動画像信号系列変動にも対応した安定な画質を得ることが可能となる。
【００１６】
また、第２の発明ではさらに伝送時に必要な一時記憶手段である平滑化バッファの占有量の時間変動も事前に推定することができるため、その記憶容量つまり平滑化バッファのサイズを最大限利用して、先に示した２または３つの条件を満たすように符号量配分を最適化することが可能となる。従って、可変レート伝送では平滑化バッファを有効に用いることにより、瞬時のビットレートは伝送路の最大伝送レートを超えて符号量の配分を行うことも可能となる。固定レート伝送においても、平滑化バッファで吸収できる範囲での発生符号量の変動を最大限に利用して、高画質化を実現することが可能となる。
【００１７】
また、本発明では入力動画像信号系列全体の性質を分析するために、符号化部における量子化ステップ幅の選択を外部より指定して１回目の符号化を行い、その時の統計量の収集を行う。従って、統計量を抽出できる符号化装置ではハードウェアを変更することなく入力動画像信号系列全体の性質を分析できる。一方、統計量抽出機能を持たない符号化装置の場合、例えば量子化ステップ幅の選択を外部より指定して符号化ビットストリームを分析することにより、入力動画像信号系列全体の性質を分析するのと等価な結果を得ることが可能であり、統計量抽出手段を既存の符号化装置と独立に持つことで、大きなハードウェアの変更を必要とすることなく分析が可能となる。
【００１８】
一般に、符号化画像のＳ／Ｎは量子化ステップ幅と単調な関係を持っており、量子化ステップ幅を基準にして画質を決定することが可能である。また、量子化ステップ幅は発生符号量の動的な制御にも用いられる。従って、入力動画像信号系列全体の性質の一つとして、量子化ステップ幅と発生符号量の関係を表すパラメータの推定を行うことは、画質を考慮したレート制御を行う上で有効な方法である。量子化ステップ幅と発生符号量の関係を表すパラメータの次元をｎとすると、そのパラメータ推定には少なくともｎ個以上の固定の量子化ステップ幅を用いて符号化を行い、その結果からパラメータ推定を行うことが必要になる。つまり、全シーケンスに渡ってｎ回の符号化を繰り返すことが必要になる。
【００１９】
これに対し、本発明では連続するフレームの類似性を考慮し、フレーム群毎にフレーム単位で量子化ステップ幅を切替えて符号化を行うことで、各フレーム群における量子化ステップ幅と発生符号量の関係の推定を一度の符号化で行うことができる。さらに、フレーム内において画素ブロック単位に量子化ステップ幅を切替えて符号化することにより、各フレームに対する量子化ステップ幅と発生符号量の関係を一度の符号化で高精度に推定することが可能となる。
【００２０】
また、入力画像の性質に応じて視覚特性を考慮した適応量子化処理を必要とする場合は、固定の量子化ステップ幅に対して、フレーム単位あるいは画素領域単位の補正係数を乗じた量子化ステップ幅を用いて、統計量の抽出を行うことにより、各フレームあるいは各フレーム群単位の量子化ステップ幅と発生符号量の関係の推定を行うことが可能である。
【００２１】
【実施例】
以下、図面を参照して本発明の実施例を説明する。
（実施例１）
図１は、本発明に係る一実施例の概略構成を示すブロック図である。同図において、ディジタルＶＴＲ１０にはディジタル化された映画その他の番組の動画像信号系列が記録されている。このディジタルＶＴＲ１０から再生された動画像符号化系列（入力動画像信号系列）１１は符号化部１２に入力され、圧縮符号化される。符号化部１２からは符号化データがビットストリームの形で出力され、この符号化ビットストリーム１３は、ディジタル蓄積メディア（ＤＳＭ）１４に蓄積される。さらに、この動画像符号化装置においては、符号化部１２に加えて統計量蓄積用のデータメモリ１６、画像分析部１７、符号量割当部１９およびレート制御パラメータ蓄積用のデータメモリ２１が設けられており、これらは符号化部１２に対するレート制御に用いられる。
【００２２】
ディジタルＶＴＲ１０から所望の番組の動画像信号を再生し、それを符号化部１２で符号化して、符号化ビットストリーム１３をＤＳＭ１４に蓄積する場合、ディジタルＶＴＲ１０から同じ番組の入力動画像信号系列１１が繰り返し２回再生される。すなわち、符号化部１２には同じ入力動画像信号系列１１が２回繰り返して入力され、符号化される。ここで、２回繰り返して入力される入力動画像信号系列１１は、１本の番組全体の動画像信号系列であってもよいし、番組が長編映画のように長いものである場合は、その番組を前半と後半の２つに分けるなど、複数の時間帯に分割した系列であってもよい。
【００２３】
符号化部１２での１回目の符号化は、入力動画像信号系列１１全体の性質を分析してその統計量を抽出するために行われ、２回目の符号化は、１回目の符号化で抽出された統計量に基づいて符号量配分や量子化ステップ幅の選択による最適なレート制御のために行われる。そして、２回目の符号化によって最適レート制御の下で得られた符号化ビットストリーム１３が最終的にＤＳＭ１４に蓄積される。
【００２４】
次に、本実施例の詳細な構成と動作について述べる。
ディジタルＶＴＲ１０からの入力動画像信号系列１１は、前述したように２回繰り返して符号化部１２に入力され、符号化される。符号化部１２は１回目の符号化時には、固定の量子化ステップ幅を用いて符号化を行う。この１回目の符号化の際、符号化部１２からフレーム毎の発生符号量、アクティビティ、予測効率等の統計量が統計量パラメータ１５として抽出され、これがデータメモリ１６に蓄積される。
【００２５】
この１回目の符号化が終了した時点で、データメモリ１６に蓄積された各統計量の統計パラメータから、画像分析部１７によってフレーム単位で統計量の自動分析を行い、入力動画像信号系列１１の各画像の特性パラメータ１８を得る。
【００２６】
この特性パラメータ１８は符号量割当部１９に送られ、各フレームについて符号化部１２でのバッファリングの制限及び伝送レートの制限を満たす範囲で、入力動画像信号系列１１全体に対して、主観的な画質変動を抑えた最適符号量割当がなされる。この最適符号量割当の結果得られたフレーム単位のレート制御パラメータ２０は、もう一つのデータメモリ２１に蓄積される。
【００２７】
次に、ディジタルＶＴＲ１０から同じ入力動画像信号系列１１が符号化部１２入力され、２回目の符号化が行われる。この２回目の符号化に際しては、１回目の符号化で上述のようにデータメモリ２１に蓄積され、ここから読出されたレート制御パラメータ２２に基づきレート制御を行う。そして、この２回目の符号化で得られた符号化ビットストリーム１３がＤＳＭ１４に蓄積される。
【００２８】
図２は、符号化部１２の具体的な構成例を示すブロック図である。この符号化部１２での符号化方式自体は、ＭＰＥＧ等で規定された公知のものである。図２において、入力動画像信号系列１１は減算器１０１と動き補償予測回路１０９に入力される。動き補償予測回路１０９では、入力動画像信号系列１１とフレームメモリ１０８に蓄えられている既に符号化／局部復号化によって得られた参照画像信号との間の動きベクトルが検出され、この動きベクトルに基づいて動き補償予測信号１０２が作成される。減算器１０１では、入力動画像信号系列１１から予測信号１０２が減算されることにより予測残差信号が生成される。この予測残差信号は、離散コサイン変換（ＤＣＴ）回路１０３において一定の大きさのブロック単位で離散コサイン変換され、ＤＣＴ係数情報となる。ＤＣＴ係数情報は、量子化回路１０４で量子化される。
【００２９】
量子化回路１０４からの量子化されたＤＣＴ係数情報は、逆量子化回路１０５により逆量子化される。逆量子化回路１０５の出力は、逆離散コサイン変換（逆ＤＣＴ）回路１０６により逆離散コサイン変換される。すなわち、逆量子化回路１０５および逆ＤＣＴ回路１０６では量子化回路１０４およびＤＣＴ回路１０３と逆の処理がそれぞれ行われ、逆ＤＣＴ回路１０６の出力に減算器１０１から出力される予測残差信号に近似した信号が得られる。逆ＤＣＴ回路１０６の出力は加算回路１０７において動き補償予測回路１０９からの予測信号１０２と加算され、局部復号信号が生成される。この局部復号信号は、フレームメモリ１０８に参照画像信号として記憶される。
【００３０】
一方、量子化回路１０４からの量子化されたＤＣＴ係数情報は可変長符号化回路１１０にも入力され、可変長符号化される。可変長符号化されたデータは、平滑化バッファ１１１を経て符号化ビットストリーム１３として取り出される。
【００３１】
入力動画像信号系列１１は、アクティビティ計算回路１１２にも入力される。アクティビティ計算回路１１２では、入力動画像信号系列１１の画像のアクティビティが計算され、その結果はレート制御回路１１３に入力される。レート制御回路１１３は、アクティビティと平滑化バッファ１１１のバッファ量（占有量）および図１のデータメモリ２１からのレート制御パラメータ２２に基づいて量子化回路１０４での量子化ステップ幅を制御することにより、レート制御、つまり符号化ビットストリーム１３の伝送レートの制御を行う。
【００３２】
また、図２では可変長符号化回路１１０からのフレーム毎の発生符号量、アクティビィティ計算回路１１２で計算されたアクティビィティおよび減算器１０１から出力される予測残差信号で示される予測効率を示す情報が統計量パラメータ１５として図１のデータメモリ１６へ出力される。
【００３３】
（実施例２）
図３は、本実施例の概略構成を示すブロック図である。同図において、ディジタルＶＴＲ３０、符号化部３２、ＤＳＭ３４、データメモリ３６、画像分析部３７、符号量割当部３９およびデータメモリ４１は、図１中に示したディジタルＶＴＲ１０、符号化部１２、ＤＳＭ１４、データメモリ１６、画像分析部１７、符号量割当部１９およびデータメモリ２１と基本的に同じである。
【００３４】
本実施例では、実施例１で示した統計量抽出のための１回目の符号化時においても、符号化部３２から出力される符号化ビットストリーム３３をＤＳＭ３４に記録する。ＤＳＭ３４に記録される１回目の符号化における符号化ビットストリームは、順次、統計量抽出部４３で解析されることにより統計量が抽出され、抽出された各統計量はデータメモリ３６に記録される。
【００３５】
そして、この１回目の符号化の終了後、実施例１と同様にフレーム単位で統計量の自動分析、及び符号量割当処理を行い、その結果に基づくレート制御の下で２回目の符号化を行う。
【００３６】
（実施例３）
本実施例では、実施例１および実施例２における符号量割当部１９，３９での最適符号量割当の具体例について述べる。図４〜図６は、最適符号量割当の様子とその効果を模式的に示した図である。
【００３７】
図４は、入力動画像信号系列１１の画像（以下、入力画像という）のエントロピー（複雑さ）の時間変動を示す図である。図５は、一様な符号量割当を行った場合の画質とビットレートの時間変動を示したものである。符号量割当を一様とすると、入力画像の複雑さの度合に応じて、符号化画像の画質は一般にその逆相の時間変動を示す。つまり、入力画像が複雑なほど符号化画像の画質は低下し、また準静止画のような情報量が少ない入力画像に対しては、画質は高くなる。この場合、視覚的に画質劣化した部分が顕著に知覚され、全体的な符号化画像の印象が悪いものとなる。
【００３８】
一方、図６は統計量の分析に基づいて最適符号量割当を行った場合の画質とビットレートの時間変動を示したものである。最適符号量割当は、伝送路の最大レートとバッファリングの制限を満たす範囲で安定した画質を得るために、入力画像の複雑さに応じた符号量割当を行うことでなされる。そのため、得られる画質は非常に安定したものとなり、全体としての視覚的な符号化画像の印象が向上する。また、エントロピー符号化におけるレート−歪み関数が通常は非線形特性を有していることから、最適符号量割当を行うことにより、一様な符号量割当の場合と比較して、総符号量が一定の下では符号化画像全体にわたるＳ／Ｎも向上することになる。
【００３９】
画質を考慮した最適な符号量割当および符号量制御を行うためには、量子化ステップ幅と発生符号量の関係を高精度に推定できることが重要となる。図７は、各画像における量子化ステップ幅と発生符号量の関係の例を示したものである。同図に示されるように、一般に発生符号量は量子化ステップ幅に対して単調に減少する。発生符号量と量子化ステップ幅との関係は、符号化方式に依存するとともに、入力画像の性質に応じて固有な特性を有する。ＭＰＥＧ符号化方式では、図２にも示したように動き補償予測とＤＣＴを用いているため、発生符号量と量子化ステップ幅との関係は、各画像の予測効率と入力動画像信号系列の空間周波数分布等に依存する。
【００４０】
ここで、所定のフレーム数（１フレームあるいは比較的少数のフレーム群）に対する量子化ステップ幅Ｑと発生符号量Ｒとの関係は、画像ｊに固有な統計量パラメータをａ_i ^j （ｉ＝０，１，…，ｎ）とすると、
Ｒ＝ｆ（Ｑ，ａ₁ ^j ，ａ₂ ^j ，…，ａ_n ）
と表すことができる。ここで、モデル化した関数ｆに対して、計算されたアクティビティや空間周波数分布、あるいは予測効率といった間接的なパラメータから、パラメータａ_i を推定する試みもなされている。しかし、一般には実測データのモデル化した関数系からのばらつきが大きくなり、これら間接的なパラメータからは、高精度に発生符号量と量子化ステップ幅の関係を推定することが困難である。そこで、入力動画像信号系列１１の所定数のフレーム毎（１フレーム毎あるいはフレーム群毎）に量子化ステップ幅と発生符号量の関係を直接実測し、回帰分析等により統計量パラメータａ_i ^j （ｉ＝０，１，…，ｎ）を求めることによって、高精度な発生符号量の推定が可能となる。
【００４１】
（実施例４）
図８は、本実施例における符号化処理の流れを示すフローチャート図である。本実施例における動画像符号化装置の構成は、図１または図３と同様である。
【００４２】
入力動画像信号系列１１（または３１）の所定数のフレーム（１フレームあるいはフレーム群ｊ）に対する発生符号量Ｒと量子化ステップ幅Ｑの関係をＲ＝ｆ（Ｑ，ａ₁ ^j ，ａ₂ ^j ）として、はじめに入力動画像信号系列全体にわたり統計量抽出のための前符号化として、固定の量子化ステップ幅Ｑ＝Ｑ₁ 及びＱ＝Ｑ₂ を用いて符号化部１２（または３２）により２回の符号化を順次行う（ステップＳ１１）。
【００４３】
そして、これらの符号化時の各フレームあるいはフレーム群毎の発生符号量を例えば図２の可変長符号化回路１１０の出力から実測することにより、統計量パラメータａ₁ ^j ，ａ₂ ^j の推定を行う。すなわち、統計量の分析処理を行う（ステップＳ１２）。
【００４４】
こうして推定された量子化ステップ幅と発生符号量の関係を用いることで、画質変動を抑え、且つ最大レート、平均レートおよび平滑化バッファサイズ等の伝送路の条件を満たした最適な符号量配分を符号量割当部１９（または３８）で行い（ステップＳ１３）、それに基づいて符号化部１２（または３２）で圧縮符号化を行う（ステップＳ１４）。
【００４５】
（実施例５）
図９を用いて本実施例を説明する。図９において、Ｉはフレーム内符号化のみを行う画像、Ｐは前方予測を行う画像、Ｂは前方および後方予測を行う画像をそれぞれ示している。本実施例は、時間的に連続するＩ，Ｐ，Ｂの画像タイプ毎に、量子化ステップ幅をＱ₁ ，Ｑ₂ と交互に切り換えて符号化することにより、時間的に隣接するフレームの類似性を考慮して、入力動画像信号系列全体にわたる一度の符号化により、等価的に２回の符号化を実現するものである。つまり、例えば図中のＢ１およびＢ２について、ともに発生符号量Ｒと量子化ステップ幅Ｑの関係を
Ｒ＝ｆ（Ｑ，ａ₁ ¹²，ａ₂ ¹²）
として、量子化ステップ幅Ｑ_b1，Ｑ_b2を用いたときのＢ１およびＢ２の符号化時の発生符号量の実測値をそれぞれＲ_b1, Ｒ_b2として、
（Ｒ，Ｑ）＝（Ｒ_b1，Ｑ_b1），（Ｒ_b2，Ｑ_b2）
から、上式のａ₁ ¹²，ａ₂ ¹²を求める。
【００４６】
このように１回の符号化によって、同じ動画像信号系列を実質的に２回行ったのと同じ結果を得ることも可能である。
（実施例６）
図１０および図１１を用いて本実施例を説明する。図１０および図１１は、１フレーム内の各画素ブロックの量子化ステップ幅を示し、図１０は量子化ステップ幅が２種類の場合、図１１は量子化ステップ幅が３種類の場合である。
【００４７】
今、フレームｊの量子化ステップ幅Ｑと発生符号量Ｒの関係を、
Ｒ＝ｆ（Ｑ，ａ₁ ^j ，ａ₂ ^j ）
とする。ここでフレームｊの各画素ブロック毎に量子化ステップ幅を図１０に示すようにＱ₁ ，Ｑ₂ 、あるいは図１１に示すようにＱ₁ ，Ｑ₂ ，Ｑ₃ と交互に切り換え、それぞれの量子化ステップ幅に対応する画素ブロック毎に、独立に発生符号量をフレーム内で加算する。ここで、１フレーム内の量子化ステップ幅の種類は２または３に限るものではなく、一般にＮ種類を１フレーム内で用いるものとする。量子化ステップ幅Ｑ_n （ｎ＝１，２，…，Ｎ）に対するブロック毎の発生符号量のフレーム内加算値をそれぞれＲ_n として、
（Ｒ，Ｑ）＝（Ｎ×Ｒ_n ，Ｑ_n ）（ｎ＝１，２，…，Ｎ）
から、上式のパラメータａ₁ ^j ，ａ₂ ^j を求める。これにより、１度の符号化から、等価的にＮ回の固定の量子化ステップ幅の符号化結果を得ることが可能となる。なお、１フレーム内の量子化ステップ幅の組Ｎは、パラメータａ₁ ^j の次数以上に設定することで、回帰分析によるパラメータ推定が可能となる。
【００４８】
（実施例７）
図１２は、本実施例の概略構成を示すブロック図である。同図において、ディジタルＶＴＲ５０、符号化部５２、ＤＳＭ５４、データメモリ５６、画像分析部５７、符号量割当部５９およびデータメモリ６１は、図１に示したディジタルＶＴＲ１０、符号化部１２、ＤＳＭ１４、データメモリ１６、画像分析部１７、符号量割当部１９およびデータメモリ２１と基本的に同じである。
【００４９】
本実施例では、主観的な画質に影響を及ぼすアクティビティ、予測効率、動き量、予測モード等のパラメータに応じて、各画素ブロック単位あるいはフレーム単位に量子化ステップ幅に対して視覚補正の重み付けを行うことが先の実施例１および２と異なっている。すなわち、本実施例では適応量子化重み計算部６４が新たに追加され、この適応量子化重み計算部６４では、これらアクティビティ、予測効率、動き量、予測モード等のパラメータ６２から適応量子化重みパラメータ６３を計算する。適応量子化処理は、視覚的に画質劣化が目立ちやすい部分では量子化を細かくし、また画質劣化が目立ちにくい部分では量子化を粗くすることで、全体としての主観的な画質を向上させることが目的である。
【００５０】
図１３および図１４は、それぞれ時間方向およびフレーム内の空間方向での適応量子化処理を用いる場合の適応量子化重みパラメータの一例を示したものである。適応量子化処理を用いる場合、図１３および図１４で示されるような時間方向または空間方向の適応処理の重み関数がそのフレームを符号化する以前に得られる場合には、統計量抽出のための固定の量子化ステップ幅での１回目の符号化の際に、この適応処理の重み関数で固定の量子化ステップ幅を変化させて符号化を行う。これによって、所定数のフレーム（１フレームまたはフレーム群）に対する発生符号量と量子化ステップ幅の関係をより高精度に推定することが可能となる。
【００５１】
（実施例８）
図１５は、本発明による動画像符号化装置により得られた符号化データから元の動画像信号系列を復号するための可変レート動画像復号化装置の実施例を示したものである。同図において、ＤＳＭ７０には符号化データが蓄積されており、このＤＳＭ７０から再生された符号化ビットストリームは伝送路７２を介して動画像復号化装置７１に入力され、まず平滑化バッファであるＦＩＦＯバッファ７３に入力される。ここで、伝送路７２は規定された最大伝送レートＲｍａｘで符号化データを伝送し、ＦＩＦＯバッファ７３の占有率が規定値を越えると伝送を停止するように構成されている。
【００５２】
ＦＩＦＯバッファ７３は、デコーダ７５からの要求に応じて符号化データをデコーダ７５に送出する。このとき、１フレーム分の符号化データは、該フレームをデコードすべき時刻においてＦＩＦＯバッファ７３からデコーダ７５へ瞬時に転送するものとする。なお、本伝送モデルはＩＳＯ／ＩＥＣ１３８１８−２において規定されている。こうしてデコーダ７５で復号された動画像信号系列７６は、表示装置７７に送られて表示される。
【００５３】
（実施例９）
図１６は、本発明に係る動画像符号化装置における符号量割当処理の一実施例の処理手順を示している。まず、前述のように抽出された各統計パラメータを用いて、入力動画像系列全体に渡って最適符号量配分を行う（ステップＳ２１）。次に、その符号量配分結果に基づき、前記平滑化バッファ占有量の時間変動の推定を行う（ステップＳ２３）。
【００５４】
図１７は、与えられた総符号量の下で主観的な画質が一定となるように最適符号量配分を行った場合の、前記伝送モデルに従った平滑化バッファの占有量推移の推定結果を示したものである。ここで、バッファ占有量の時間的変動の傾きは伝送路の最大伝送レートを示し、またフレーム周期の時刻において符号化データが平滑化バッファから瞬時に抜き取られている。図１７では、平滑化バッファの制限を考慮していないため、時刻ｍにおいて平滑化バッファのアンダーフローを起こすことが推定される。
【００５５】
そこで、本実施例では図１６のステップＳ２４で平滑化バッファのアンダーフローの可能性を検証し、アンダーフローが予測される場合には、アンダーフロー予測時刻から遡り、バッファ占有率が十分高くなる時刻（図１７の例ではｎ）までの間の配分符号量を他の時刻領域に再配分することにより、符号量配分の補正を行う（ステップＳ２５）。これにより、アンダーフローを起こさない符号量配分を実現することができる。
【００５６】
図１８は、平滑化バッファの制限により補正された符号量配分による平滑化バッファ占有量の時間変動の推定結果を示している。このとき、短時間平均伝送レートの時間変動は図１９に示されるようになり、バッファ変動を有効に利用することで、伝送路の最大レートを瞬間的に越えた符号量配分も可能となる。すなわち、伝送路の最大伝送レートと平滑化バッファを組み合わせた最適な符号量配分が実現できる。
【００５７】
また、固定レート伝送においても、平滑化バッファのアンダーフローとオーバーフローを起こさないように制御することが必要となるが、平滑化バッファで吸収できる範囲で、可変レート伝送と同様に高画質化の意味で最適な符号量配分が可能となる。
【００５８】
このように本実施例では、伝送路の最大伝送レートと平滑化バッファの記憶容量によって規定される瞬時の最大伝送レートの制限を満たす、(b) 平滑化バッファがアンダーフロー及びオーバーフローを起こさない、(c) 前記伝送路に規定された平均伝送レートを満たす、の３つの条件を満足するように最適な符号量配分を行うことができる。
【００５９】
【発明の効果】
以上説明したように、本発明によれば符号化時にリアルタイム性が必ずしも要求されない蓄積系での動画像圧縮符号化において、例えば固定の量子化ステップ幅を用いて入力動画像信号系列全体に渡る１回目の符号化を行うことで統計量を抽出して、所定数のフレーム（１フレームあるいはフレーム群）に対する発生符号量と量子化ステップ幅の関係を推定し、それに基づいて発生符号量の符号量配分および量子化ステップ幅の少なくとも一方を選択し、２回目の符号化時の量子化ステップ幅を入力動画像信号系列の画面内の所定の領域毎に制御することにより、伝送路の制約と限られた総符号量の下での高画質化を両立した最適な符号量配分が可能となる。
【００６０】
ここで、さらに平均伝送レートおよび伝送路の最大ビットレートの制限に加えて、平滑化バッファ占有量の時間推移も含めて符号量配分を最適化することにより、可変レート伝送および固定レート伝送のいずれにおいても、平滑化バッファのオーバーフローまたはアンダーフローを防ぐとともに、より高画質化を実現することが可能となる。
【００６１】
また、１回目の符号化時にフレーム毎あるいは画素ブロック毎に、複数の量子化ステップ幅を切り換えて符号化を行うことで、１回目の符号化から数回に渡り入力動画像信号系列全体の符号化を繰り返し行った場合と同等の高い精度で、フレーム単位あるいはフレーム群単位の発生符号量と量子化ステップ幅の関係を推定することが可能となる。
【００６２】
さらに、フレーム毎あるいは画素ブロック毎に視覚特性を考慮した適応量子化処理を用いる場合には、固定の量子化を用いた１回目の符号化時においても、適応処理の重み関数を用いて固定の量子化スケールの値を変化させて用いることにより、各フレームあるいはフレーム群の符号化特性を精度を落とさずに得ることができる。
【図面の簡単な説明】
【図１】実施例１に係る動画像符号化装置の概略構成を示すブロック図
【図２】図１における符号化部の具体的な構成例を示すブロック図
【図３】実施例２に係る動画像符号化装置の概略構成を示すブロック図
【図４】実施例３を説明するための入力画像のエントロピーの時間変化を示す図
【図５】実施例３を説明するための固定レート符号化における画質とビットレートの時間変動を示す図
【図６】実施例３を説明するための可変レート符号化における画質とビットレートの時間変動を示す図
【図７】実施例３を説明するための画像毎の量子化ステップ幅と発生符号量の関係を示す図
【図８】実施例４における符号化処理の流れを示すフローチャート
【図９】実施例５を説明するための複数の画像タイプを示す図
【図１０】実施例６を説明するための１フレーム内の各画素ブロックの量子化ステップ幅を示す図
【図１１】実施例６を説明するための１フレーム内の各画素ブロックの量子化ステップ幅を示す図
【図１２】実施例７に係る動画像符号化装置の概略構成を示すブロック図
【図１３】実施例７における時間方向の適応量子化処理に用いる重み関数の例を示す図
【図１４】実施例７における空間方向の適応量子化処理に用いる重み関数の例を示す図
【図１５】実施例８に係る蓄積系の動画像復号化装置の構成例を示すブロック図
【図１６】実施例９における符号量配分処理を示すフローチャート図
【図１７】実施例９を説明するための平滑化バッファ占有量の時間変動を示す図
【図１８】実施例９を説明するための平滑化バッファ占有量の時間変動を示す図
【図１９】実施例９を説明するためのビットレートの時間変動を示す図
【符号の説明】
１０，３０，５０…ディジタルＶＴＲ
１１，３１，５１…入力画像信号
１２，３２，５２…符号化部
１３，３３，４２，５３…符号化ビットストリーム
１４，３４，５４…ＤＳＭ（ディジタル蓄積メディア）
１５，５５…統計量パラメータ
１６，３６，５６…統計量蓄積用データメモリ
１７，３７，５７…画像分析部
１８，３８，５８…特性パラメータ
１９，３９，５９…符号量割当部
２０，４０，６０…レート制御パラメータ
２１，４１，６１…レート制御パラメータ用データメモリ
２２…レート制御パラメータ
４３…統計量抽出部
６２…アクティビティ、予測効率、動き量、予測モード等
６３…適応量子化重みパラメータ
６４…適応量子化重み計算処理部
７０…ＤＳＭ
７１…動画像復号化装置
７２…伝送路
７３…ＦＩＦＯバッファ
７４…符号化データ
７５…デコーダ
７６…復号化された動画像信号系列
７７…表示装置
１０１…減算器
１０２…予測信号
１０３…ＤＣＴ回路
１０４…量子化回路
１０５…逆量子化回路
１０６…逆ＤＣＴ回路
１０７…加算器
１０８…フレームメモリ
１０９…動き補償予測回路
１１０…可変長符号化回路
１１１…平滑化バッファ
１１２…アクティビィティ計算回路
１１３…レート制御回路

Claims

入力動画像信号系列全体を一旦符号化した後、この全体にわたる発生符号量を含む統計量に基づいて再度同一の入力動画像信号系列全体を符号化する動画像符号化装置において、前記入力動画像信号系列を画素ブロック毎に複数の量子化ステップ幅を交互に切り換えて符号化する符号化手段と、前記複数の量子化ステップ幅でそれぞれ符号化された画素ブロックの符号量をフレーム毎に独立に加算し、複数の加算符号量を求める手段と、前記複数の加算符号量から量子化ステップ幅毎のフレームの発生符号量を推定する手段と、推定された発生符号量に基づいて前記符号化手段に対して最終回符号化のための前記入力動画像信号系列全体の最適符号量割り当てを行う符号量割り当て手段とにより構成される動画像符号化装置。
前記符号量割り当ての結果に基づき平滑化バッファ占有量の時間変動を推定する手段と、推定結果に応じて符号量の配分を補正する手段とを含み、前記符号化手段は補正符号量に従って動画像信号系列全体を符号化する請求項１記載の動画像符号化装置。