JP4619479B2 - 統計的多重化システム - Google Patents
統計的多重化システム Download PDFInfo
- Publication number
- JP4619479B2 JP4619479B2 JP2000062449A JP2000062449A JP4619479B2 JP 4619479 B2 JP4619479 B2 JP 4619479B2 JP 2000062449 A JP2000062449 A JP 2000062449A JP 2000062449 A JP2000062449 A JP 2000062449A JP 4619479 B2 JP4619479 B2 JP 4619479B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- bit rate
- complexity
- gop
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
- H04N21/23655—Statistical multiplexing, e.g. by controlling the encoder to alter its bitrate to optimize the bandwidth utilization
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
- H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【発明の属する技術分野】
本発明は、MPEG2符号化標準に準拠して符号化された画像のストリームの統計的多重化のためのシステムにおいてビットレートを調整する装置及び方法に関する。この方法及び装置は、たとえば、統計的多重化システムの各符号化器に組み込まれる。
【0002】
【従来の技術】
MPEG2ビデオ標準に準拠して符号化するシステムは、そのビットレートを減少させるために信号の性質を用いる。実施される符号化アルゴリズムは、符号化されるべき画像の空間的及び時間的な冗長度を用いて画像をブロックごとに記述する。
【0003】
空間冗長度は主に3つの演算の連続によって処理され、3つの演算とは即ち、一般的に離散コサイン変換と称されDCTと示される演算と、DCTから生じた係数を量子化する演算と、DCTから生じ量子化された係数を記述するための可変長符号化演算VLCとである。
【0004】
DCT変換は、ディジタルビデオ画像からなる2次元の空間的表現を位相について無視できるスペクトル表現へ変換することを可能とする。このDCT変換は、低い周波数に対する係数がマトリックスの左上に配置されるとすると、各係数が水平及び垂直の2つの周波数の組合せに対応する1つのブロックの寸法のマトリックスを形成する。
【0005】
DCT変換のマトリックスから生ずる係数の量子化は、採用された量子化の間隔の値に従ってこれらの係数を表現することを含む。これに関して、量子化の間隔、即ちレベル、よりも小さい係数は、ゼロの値で符号化される。最後に、可変長符号化は、一回量子化されたマトリックスの各係数を、最小の2進符号を量子化された係数の最も一般的な値と関連付けるエントロピー型の符号化で符号化することを含む。マトリックスの係数は、マトリックスの左上に配置される要素(連続成分)から開始してマトリックスの右下に配置される要素(最大水平及び垂直周波数)で終了するよう、ジグザグに横切られる。
【0006】
マトリックスの係数の符号化は、全ての係数が横切られたとき、又は最後の非ゼロ係数に達したとき(その場合、特殊なエスケープ文字が用いられる)に終了する。従って、量子化の完了時にマトリックス中により多くのゼロ係数があるほど、画像を符号化するための2進列の長さ、即ち伝送されるデータの量、は小さくなる。それに対して、このデータの量が小さいほど、符号化されるべき画像に関する情報の量は小さくなり、それにより復号化器による画像の再構成中に目に見える量子化アーティファクトの出現を引き起こす危険性がある。
【0007】
時間冗長度は、現在画像の各ブロックに対する平行移動演算により、参照画像中に配置される最も類似したブロックを探索することからなる動き補償演算によって解析される。時間冗長度の解析は、一般的に動きベクトルと称される平行移動ベクトルのフィールドだけでなく、現在画像の信号と動き補償によって予測される画像の信号との差である予測誤りを決定させる。次に予測誤りは空間冗長度の原理に従って解析される。
【0008】
MPEG2符号化は、予測型の符号化である。これに関連づけられた復号化手順は、伝送誤り又は復号化器が1つの番組から他の番組へ切り替えられることによる信号の切断から信号を保護するよう、規則的に再初期化されねばならない。
【0009】
このため、MPEG2標準は、画像が周期的に空間モードで、即ち空間冗長度のみを利用するモードに従って符号化されねばならないことを提供する。空間モードで符号化された画像は、一般的にイントラ(INTRA)画像又はI画像と称される。
【0010】
時間冗長度を利用して符号化される画像には2つのタイプがある。即ち、時間的に前の画像を参照して構成された画像と、時間的に前の画像及び時間的に後の画像を参照して構成された画像である。
【0011】
時間的に前の画像を参照して構成された画像は、一般的に予測画像又はP画像と称され、時間的に前の画像及び時間的に後の画像を参照して構成された画像は一般的に双方向画像又はB画像と称される。
【0012】
I画像は、それ自身以外の画像を参照することなく復号化される。P画像はそれに先行するP画像又はI画像を参照して復号化される。B画像は、それに先行するI画像又はP画像を呼び、それに後続するI画像又はP画像を呼ぶことによって復号化される。
【0013】
I画像の周期性は、広義にGOP(「Group Of Pictures」の頭文字)と称される画像群を定義する。当業者によって周知であるように、単一のGOPの中では、I画像の中に含まれるデータの量は概してP画像の中に含まれるデータの量よりも大きく、P画像の中に含まれるデータの量は概してB画像の中に含まれるデータの量よりも大きい。
【0014】
画像のタイプによるデータの量の不均衡を管理するため、MPEG2符号化器はデータビットレートを従属制御する装置を含む。
【0015】
かかる従属制御装置は、符号化されたデータのストリームを制御することを可能とする。従属制御装置は、符号化されたデータを記憶するためのバッファメモリを含み、いわゆる参照復号化器のデュアルバッファメモリの状態をモデル化する。従属制御装置は、符号化器及び参照復号化器の中に含まれるデータの総和が一定であるよう、バッファメモリを出るデータのビットレートを平滑化する。
【0016】
従って、画像のタイプ(I,P又はB)の関数として、I画像は平均ビットレートよりも大きいビットレート(典型的には平均ビットレートの3乃至6倍)を生成し、P画像は平均ビットレートに近いビットレートを生成し、B画像は平均ビットレートよりも小さいビットレート(典型的には平均ビットレートの0.1乃至0.5倍)を生成すること、を管理することを含む。
【0017】
更に、番組の符号化されたビデオ信号が他の番組からの同じタイプの他の信号によって多重化されることが意図されるとき、様々な信号間で多重化の大域(グローバル)ビットレートを共用することが知られている。この形態は、例えば衛星によるビデオ番組の放送中に見出される。この場合、多重化のビットレートは40MB/sに達し、それにより幾つかの番組を同時に(例えば夫々4MB/sで10の番組)を伝送することを可能とする。
【0018】
固定ビットレートのMPEG2タイプの符号化から生ずるビデオ番組は、復号化の後、復元された画像の質にばらつきを示す。これは、時間に亘るビデオ信号のエントロピーの可変性から生ずるものであり、この可変性はDCT係数の量子化レベル中の揺動により明らかである。
【0019】
ビデオ番組に関連するビットレートの適切な割当ては、ビデオ番組の量を大域的に増加させること及び/又は放送される番組の数を増加させることを可能とする。従来技術によれば、kのオーダのGOP復号化の結果は、k+1のオーダのGOPについての予測される符号化の困難さの予測として用いられる。
【0020】
各画像を符号化する費用は可変である。調整ループは、画像の複雑性(以下に定義する)における変動によるストリームの変動を補正し、命令されたビットレートに対応するデータのストリームを出力として伝送する。この調整は、概して復号化器の出力におけるバッファメモリの満たされたレベルに依存する量子化間隔に対して作用する。このバッファメモリは符号化された画像のタイプ(I,P又はB)に依存する符号化された画像の量における変動によるビットレートの偏差を吸収すると共に、調整ループの応答時間によるビットレートの偏差を吸収することを可能とする。
【0021】
ビデオ源の符号化器の出力におけるデータストリームは可変でありうる。実際、例えば、単一のチャネル上で幾つかのビデオ源を伝送する場合、このチャネルの利用可能な「大域」ビットレートを動的に、即ち各ビデオ源の符号化されるべき画像の複雑性の展開の関数として、様々な源に対して分配することが有利であり得る。このプロセスは、例えば固定ビットレートを伝送される番組のタイプの関数としてビデオ源に割り当てるといった既存のプロセスと比較して、伝送される画像の大域的な質を改善することを可能とする。
【0022】
図2は、かかるプロセスを用いた全体的な伝送を示す図である。これは、幾つかの符号化されたビデオ源を一定の大域的ビットレートで単一の伝送チャネル上で伝送することを含む。このビットレートはその容量、例えばトランスポンダのチャネルの容量に対応する。ビデオ源(E’(i))を符号化する回路は、チャネルを通じて伝送されるべきデータフローを供給する出力を有するマルチプレクサ(2.a)の入力に結合される。これらはまた、ビデオ源の複雑性に関するデータをビットレート割当器(1.a)へ送信し、このビットレート割当器(1.a)によって各源に割り当てられたビットレートを受信するインタフェース回路(14)に結合される。従ってビットレート割当器(1.a)は各源(E’(i))に対してビットレートを割り当てる役割を果たし、多重化回路即ちマルチプレクサ(2.a)を制御する。
【0023】
情報は、ビットレート割当器(1.a)及びインタフェース回路(14)が加入しているファストバスによって交換される。全体の伝送が管理されることが確実とされるよう、このバスには監視回路(15)が結合される。同様に、各符号化器E’(i)は、上述の原理によって符号化されるべき次の画像の予想される複雑性を計算するビットレート調整装置(10.a)を含む。
【0024】
多重化は、例えば画像毎に、ビットレート割当器によって同一チャネル上で伝送される各源に割り当てられたビットレートの関数として実行される。このビットレートは、所与の量子化間隔について発生される情報の量を考慮したビデオ源の複雑性の係数に依存する。この係数は、各ビデオ源の各GOPについて測定される。これは、例えば、量子化間隔が一定であれば、GOPを符号化するために使用されるビットの数に対応し、或いは、量子化間隔が可変であれば、ビット数に量子化間隔を乗算したものに対応する正規化されたビットの計数に対応する。可変ビットレート符号化プロセスの演算の作用は、それ自体として知られる符号化器のバッファを用いる調整ループによって確実とされる。
【0025】
上述のように各源のビットレートに依存する統計的多重化に関連する可変ビットレート符号化器を利用することは公知であり、トランスポンダのチャネルの容量を最適化するための手段である。
【0026】
【発明が解決しようとする課題】
しかしながら、これらの統計的多重化システムは多数の欠点を有する。特に、所与の量子化レベルについて、幾つかのシーケンスは元々と同一であるが、他のシーケンスは質の低下を示す。これは、量子化レベルが画像の質を特徴化するのに不十分であることを明示している。
【0027】
同様に、従来技術の統計的多重化システムは同一の量子化間隔をシステムの全ての符号化器に対して割り当てる傾向がある。しかしながら、量子化レベルを源とは無関係に均質とすることは、符号化の質の劣った分布を生じさせる。従って、単純なシーケンスはかなり不利とされ、複雑なシーケンスはビットレートを使いすぎる。
【0028】
【課題を解決するための手段】
従って、本発明は、シーケンスのタイプとは無関係に統計的多重化システムの全ての番組について主観的な質の表現を均質化することを可能とするような、MPEG2符号化標準によって符号化された画像のストリームの統計的多重化のためのシステムのビットレートを調整する装置を提供することにより、従来技術の欠点を軽減することを目的とする。
【0029】
この第1の目的は、統計的多重化システムであって、MPEG2に準拠した画像ストリームに符号化し、符号化されたデータストリームを出力する各符号化器と、前記各符号化器に接続され、複数の前記符号化されたデータストリームを多重化し、データフローを出力するマルチプレクサと、前記各符号化器に接続され、前記各符号化器にビットレートを割り当てるビットレート割当装置と、を備え、1つの符号化器は、画像を蓄積し、再編成するために前記画像を受信する前処理装置と、前記前処理装置の第1出力部から前記画像を受信し、前記画像の実際の画像の符号化前に、符号化コストを決定するため、前記画像に対しイントラタイプの符号化としての第1符号化を行う第1符号化装置と、蓄積された前記画像を前記前処理装置の第2出力部から受信し、前記画像に対して実際の符号化を行う第2符号化装置と、設定されているビットレートに基づいて、前記符号化器の出力時のビットレートを調整するビットレート調整装置とを備え、前記ビットレート調整装置は、前記第1符号化装置により符号化された最後の画像の複雑性X1st− Iを算出し、記憶し、前記第2符号化装置により実際に符号化された最後のGOPの複雑性X ̄ GOPを算出し、記憶し、前記複雑性X ̄ GOPは前記複雑性X1st− Iを前記GOPのイントラ画像に割り当てて算出され、記憶された前記複雑性X 1st− I と前記複雑性X 1st− I と前記ビットレート割当装置により割り当てられた最後のビットレートとの関数を用いて前記第2符号化装置により符号化される次の画像のために前記複雑性XSt(n)を算出し、前記複雑性XSt(n)は、前記符号化器に送信される次のビットレートの決定のために前記ビットレート割当装置に送信されることを特徴とする。
【0030】
他の特徴によれば、符号化されるべき画像の複雑性を決定するためにビットレート調整装置によって用いられる量子化間隔は、第1の符号化装置による符号化中にビットレート調整装置によって決定された最後の3つの量子化間隔のうちの最大の量子化間隔でもよい。
【0031】
他の特徴によれば、ビットレート調整装置は、所定の数の先行画像について調整装置からビットレート割当器へ送信された複雑性の平均を決定するモジュールと、比較器を用いて、上記平均と計算され記憶された最後の複雑性の値とのうちの最大値を決定するモジュールとを含み、この値は伝送手段を通じてビットレート調整装置からビットレート割当器へ送信された値に対応してもよい。
【0032】
他の特徴によれば、ビットレート調整装置は、プログラムによって以前に計算された複雑性の値の平方根を計算する第1の手段を有し、この値は伝送手段を通じてビットレート調整装置からビットレート割当器へ送信される値に対応してもよい。
【0033】
他の特徴によれば、ビットレート調整装置は、上記複雑性の値の最小及び最大の閾値演算を行なう第2の手段を含んでもよい。
【0034】
他の特徴によれば、複雑性の閾値演算は、最大閾値と最小閾値及び決定された係数によって乗算される計算された最後の複雑性のうちの最大とのうちの最小値を決定する比較器によって実行されてもよい。
【0035】
他の特徴によれば、第1の手段及び第2の手段は、夫々、記憶手段上に記録されたプログラムのモジュールを含んでもよい。
【0036】
他の特徴によれば、ビットレート調整装置は、1つの画像のラインの画素と続く画像の同様のランクのラインの画素との間で2つの連続する画像の相関(インター相関)の解析を行うこと又は同一の画像のライン間で画像中の相関(イントラ相関)の解析を行うことによってシーンの変化及び/又はラップディゾルブを検出するための少なくとも1つの測定装置を含む前処理装置に接続され、上記解析の結果は、シーンの変化及び/又はラップディゾルブに適合された複雑性の値を決定する手段を含むビットレート調整装置へ送信され、この値は伝送手段を通じてビットレート調整装置からビットレート割当器へ送信される値に対応してもよい。
【0037】
他の特徴によれば、ビットレート調整装置は、画像中の逆相関及び再相関を連続して検出した後にイントラ相関を測定し、ラップディゾルブの検出として解析される信号をビットレート調整装置へ送信する装置を含む前処理装置を更に有し、符号化されるべき後続画像の所定の数に応じて最大閾値に対応する複雑性の値を割り当て、符号化されるべき後続画像の数は画像毎に増加されるGOPの中に含まれる画像の数に対応し、この値は伝送手段を通じてビットレート調整装置からビットレート割当器へ送信される値に対応してもよい。
【0038】
他の特徴によれば、インター相関を測定する装置を含む前処理装置は、2つの連続する画像間の強い逆相関を検出した後に、逆相関のレベルの測定を表わす信号をビットレート調整装置へ送信し、上記信号は、所定の数の後続画像に対して前処理装置によって計算される逆相関の関数として適用される複雑性を評価するために、ビットレート調整装置によってシーンの変化の検出として解析されてもよい。
【0039】
本発明の第2の目的は、シーケンスのタイプとは無関係に統計的多重化システムの全ての番組について主観的な質の同一表現を保証することを可能とするような、統計的多重化システムの符号化器のビットレートを調整する方法を提供することを目的とする。
【0040】
この目的は、各符号化器の各ビットレート調整装置に接続されたビットレート割当器を含む統計的多重化システムにおいて、第2の符号化装置によって続いて実際に符号化される全ての画像について先行時間を有して空間符号化を実行する第1の符号化装置を含む各符号化器のビットレートを調整する方法であって、第1の符号化装置によって符号化される最後の画像の複雑性を表わす値と、第2の符号化装置によって符号化される最後のGOPの複雑性を表わす値と、ビットレート調整装置によって受信された最後のビットレートを表わす値とを、各符号化器のビットレート調整装置の記憶手段上に記憶する段階と、第2の符号化装置によって符号化された次の画像の複雑性を以前に記憶された値に基づいて計算する段階と、第2の符号化装置によって符号化された次の画像の複雑性の値をビットレート調整装置へ送信する段階とを含む方法によって達成されてもよい。
【0041】
他の特徴によれば、ビットレート調整方法は、第2の符号化装置によって符号化された次の画像の複雑性を、第1の計算段階によって決定された複雑性の平方根として決定する第2の計算段階を含んでもよい。
【0042】
他の特徴によれば、ビットレート調整方法は、シーンの変化の有無及び2つの画像間の逆相関のレベルを表わす量を決定することを可能とする2つの画像間の相関の尺度を解析する段階と、シーンの変化及び2つの画像間の逆相関のレベルを表わす量を表わす信号をビットレート調整装置へ送信する段階と、ビットレート調整装置を用いて第2の符号化装置によって続いて符号化された所定の数の画像の複雑性の値を、2つの画像間の逆相関のレベルを表わす量の関数として評価する段階と、ビットレート調整装置を用いてビットレート割当器へ所定の数の画像についての複雑性の値を送信する段階と、を含んでもよい。
【0043】
他の特徴によれば、ビットレート調整方法は、一連の画像中のラップディゾルブの有無を決定するよう同一画像のライン間の相関の尺度を解析する段階と、ラップディゾルブの検出を表わし、画像の画素ラインと同一画像の同様のランクのラインとの間の逆相関及びそれに続く再相関の検出に対応する信号を送信する段階と、第2の符号化装置によって続いて符号化されビットレート割当器によって許容可能な複雑性に対応する所定の数の画像についての複雑性の値を、ビットレート調整装置によってビットレート割当器へ送信する段階とを有してもよい。
【0044】
【発明の実施の形態】
以下、本発明の他の特定的な特徴及び利点は、添付の図面を参照して以下の説明を読むことにより明らかとなろう。
【0045】
本発明を詳述する前に、符号化器におけるMPEG2符号化の原理及び従来技術の統計的多重化システムにおけるビットレート割当ての原理について簡単に説明する。
【0046】
符号化器の入力には、圧縮前の画像を記憶するシステムがある。これらの記憶された画像は前もって解析される。符号化されるべく画像が出されるたびに、画像は記憶される。この記憶中、演算が行われる。これらの演算は、特に画像間の差及び画像ブロック間の差を測定することからなる。この前処理において、動きを特徴付ける形式が決められる。
【0047】
源から発生されるビデオ画像は、当業者によってマクロブロックと称される複数のブロックを含む。各マクロブロックは、16*16画素のマトリックスを表わす。NTSC形式の画像は、1秒当たり30画像につき1350マクロブロックを含む。PAL/SECAM形式の画像は、NTSC形式の画像と略同じデータ量を表わすよう、1秒当たり25画像につき1620マクロブロックを含む。
【0048】
各ブロックは、各マクロブロックによって表わされる空間表現が位相について無視できるスペクトル表現へ変換されるDCT変換モジュールに入る。このようにして変形された画像は次に、DCT変換の係数を量子化する段によって量子化される。量子化された画像は次に、可変長符号化(ハフマン符号化タイプのVLC)によって符号化される。出力において、画像の各マクロブロックを記述する一連の情報アイテムからなる2進列が発生され、量子化から生じたマトリックスの各係数は8ビットで符号化される。
【0049】
費用、即ち2進列のサイズは、量子化によって減少される。実際、量子化を通じて、16*16のDCTマトリックスの或る係数(Aij、但し1<i<16且つ1<j<16)は、ゼロとなる。特に、高周波数に対応する、水平(i)及び垂直(j)の次元における高次の(i,j)についてのマトリックスの係数である。ビデオ信号は本質的には低周波信号からなる。DCT変換は、有用な情報を低い値の添え字を有するマトリックスの係数へ集中させる。
【0050】
符号化器の出力におけるビットレートが一定であれば、量子化レベルは出力において発生される費用がビットレート命令に従うことを確実にするよう変更される。このために、符号化器は、マクロブロック毎に発生された費用を観察することによって、最終的には画像全体のビットレートが命令に従うよう量子化レベルを調節するビットレート調整モジュールを使用する。所与のビットレートについて、画像の情報量即ちスペクトルの豊かさは、符号化の後の費用が一定となるよう量子化間隔を変更するための要件を指示する。これは、複雑な画像が低ビットレートの制約を満たすよう厳しく量子化され、従って可視の量子化アーティファクトを生じさせることを示す。入来画像の特定的な尺度として、以下の式(a)のような簡単な式が用いられる。
【0051】
式(a) X=C×Q
この式中、Xは符号化されるべき画像の複雑性を表わし、Cはその費用を表わし、Qは画像の符号化に使用される平均量子化レベルを表わすものとする。第1の近似として、この量は量子化における小さな変動について一定である。実際、量子化レベルを増加させることにより、符号化費用は減少される。このように、源の特徴化は量子化レベルとは独立に獲得される。この複雑性の尺度は、統計的多重化の割当ての原理において用いられる基本的な尺度である。
【0052】
図3は、統計的多重化システム中で交換されるメッセージを示す図である。各符号化器E(i)は、iは1乃至Nのとき、ビットレート割当器(1)に対して基本式(a)によって計算された複雑性尺度Xiを送信する。この計算は、従来技術では、各符号化器E’(i)の中に組み込まれたビットレート調整装置(図2の10.a)によって実行される。ビットレート調整装置(図2の10.a)は、この複雑性の計算値を割当器へ送信する。割当器(1)は各符号化器E(i)の複雑性Xiを収集し、要求に比例する再分配規則を適用する。
【0053】
【数1】
この式中、Riは、符号化器E(i)の要求Xiに応じてビットレート割当器(1)によって符号化器E(i)に割り当てられたビットレートである。割り当てられたビットレートの総和は、チャネルについてのビットレート制約MRに対応する。これは、定常状態では、ビットレートが安定化されたこと、即ち各符号化器E(i)のビットレートのばらつきが小さく、従って符号化器E(i)によって符号化された番組が同じ量子化レベルを有することを示す。この仮定は、画質が量子化レベルによって決定され、量子化レベルが符号化された画像とは無関係に主観的な質の一定の表現を保証する場合にのみ有効である。
【0054】
この原理は殆ど無関係である。実際、スポーツ番組は単純な番組(例えば固定フォーカスショット)よりも厳しく量子化されうる。
【0055】
更に詳細には、固定フォーカスショットは、動きや均質なゾーンを殆ど含まないが、微細な細部を含む。この種類のショットでは、目は均一なゾーン上の最も少ない量子化効果に対して敏感となる傾向がある。従って、主観的に、符号化表現が満足のいくものであるためには、マトリックスの係数の符号化の精度を打ち消さない又は減少させないよう、また量子化効果を導入しないよう、非常に低い量子化レベルが要求される。逆に、大きな動きがあるスポーツシーンでは、シーン中にかなりの細部があり、目は全ての細部を統合する時間がなく、即ち、知覚可能な量子化効果なしに、マトリックスの多数の係数を打ち消すよう、より高い量子化レベルでより厳しく量子化することが可能であることを意味する。ここで、定常状態において全てのタイプの画像に対して同一の量子化レベルを適用すると、単純な画像と複雑な画像との間に質の差即ちばらつきが必ず生ずる。
【0056】
本発明の原理は、従来技術と同様に量子化間隔に直接依存するのではなく、量子化レベルに依存する符号化の質を表わす尺度に依存するよう、複雑性関数を変更することに基づくものである。
【0057】
本発明によれば、符号化されるべき次の画像の複雑性を計算する原理は、MPEG2標準に準拠して符号化されることが意図される全ての画像に対して実行される第1の符号化から生ずる情報を用いる。この第1の符号化は、全ての画像に対して空間的に実行され、即ち、時間冗長度に対する動き補償又は探索は行われない。従って、この第1の符号化の出力には、I画像のみがある。更に、この第1の符号化は幾つかの先行画像によって実行され、即ち画像が第1の符号化によって符号化されることが明らかである場合、画像は、数画像後、例えば2画像後になるまで、MPEG2標準に準拠する任意のGOP構造を用いて符号化されない。このように、本発明の計算原理は、画像が空間モードによって符号化されることが必要であれば、各画像についての符号化費用及び量子化間隔に対して例えば2画像先行してアクセスを得ることを可能とする。
【0058】
本発明の原理によれば、実際に符号化される次の画像の複雑性Xst(n)は、以下の式(b)によって定義される本発明による複雑性を計算する原理を用いて統計的多重化システムの各符号化器によって計算される。
【0059】
Xst(n)=Q1st I(n+k).R(n−1) (b)
式中、nは時間的な量、例えばフレーム又はビデオ画像の添え字であり、R(n−1)はビットレート割当器(1)によって符号化器に割り当てられる最後のビットレートであり、Q1st I(n+k)は第1の符号化よって続いて符号化される画像についての量子化間隔であり、以下の式(c)によって定義される。
【0060】
Q1st I(n)=X1st− ITI(n) (c)
式中、X1st− Iは、現在画像よりも以前に空間的に符号化された最後の画像の複雑性である。TI(n)は、現在画像よりも以前に空間的に符号化された次の画像についての予想符号化費用であり、以下の式(d)によって定義される。
【0061】
【数2】
式中、X ̄ GOPは、符号化された最後のGOPの複雑性であり、以下の式(e)によって定義される。
【0062】
X ̄ GOP=X1st− I+NPZPX ̄ P+NBZBX ̄ B (e)
式中、NPはGOP中のP画像の数であり、NBはGOP中のB画像の数であり、ZP及びZBは重み係数であり、P画像又はB画像に対して符号化プロセスにおけるそれらの重要性によって多い又は少ない重みを与えることを可能とし、例えばZP=1.1及びZB=0.75である。
【0063】
式(e)において、X ̄ P及びX ̄ Bは、夫々最後のP画像及びB画像の複雑性であり、MPEG2標準に準拠してGOPの構造に従った実際の符号化中に式(a)の原理に従って計算される。
【0064】
式(d)中、NはGOPの画像の数であり、以下の式で表わされる。
【0065】
N=1+NP+NB
式(d)中、レート(n−1)は復号化器によって受信されるビットレートの最後の命令であって1秒当たりのビット数によって表わされ、fpictは1秒当たりの画像の周波数であり、G3:2(n)は、2つの連続する画像中の冗長フレームの数に依存する係数であり、概して1.0乃至1.5の範囲にある。
【0066】
図1は、本発明によるビットレート調整装置を用いた統計的多重化システムを示す図である。
【0067】
上述の計算原理を適用するため、統計的多重化システムの各符号化器E(i)は標準化された4.2.2形式(CCIR601標準)に準拠してディジタル化される画像の入来ストリーム(41)の解析を可能とする前処理装置(40)を含む。この装置(40)はそれ自体として知られており、幾つかの入来画像を記憶し、符号化のために画像ストリームを再編成することを可能とするバッファメモリを含む。
【0068】
この前処理装置(40)はまず第1のリンク(42)を通じてそれ自体として知られており画像の時間冗長度を用いることを可能とする各画像についての動きベクトルを探索する装置(50)に接続される。次に、前処理装置(40)は第2のリンク(46)を通じて画像の実際の符号化よりも以前に空間モードで第1の符号化を実行する第1の符号化装置(20)に接続される。前処理装置(40)は入力において受信されたディジタル画像をこの第1の符号化装置(20)へ供給する。第3に、前処理装置(40)は第3のリンク(47)によってMPEG2標準に準拠して所定のGOP構造に従う第2の符号化を実行する第2の符号化装置(30)に接続される。
【0069】
2つの符号化装置(20,30)は、夫々、既知であるように、離散コサイン変換即ちDCTを実行するモジュール(21,31)と、DCTから生ずる係数を量子化する演算を実行するモジュール(22,32)と、可変長符号化即ちVLC演算を実行するモジュール(23,33)とを含む。注目すべきは、前処理装置(40)は第2の符号化器(30)に対してランクnの画像I(n)を供給すると同時に第1の符号化器(20)に対してランクn+k、但しkは少なくとも2、の画像I(n+k)を供給することである。このように、第1の符号化器(20)に入る入来画像は、第2の符号化器(30)による実際の符号化に対する先行時間と共に空間的に符号化される。
【0070】
第2の符号化器(30)の量子化モジュール(32)は、逆量子化を実行するモジュール(34)に接続され、逆量子化モジュール(34)は逆DCT変換を実行するモジュール(35)に接続され、逆DCT変換モジュール(35)は画像を再構成するための特にメモリを含む再構成モジュール(36)に接続される。再構成された画像は、動き推定装置(50)によって実行される動き推定において用いられる。この再構成された画像は、リンク(51)を通じて再構成モジュール(36)から動き推定装置(50)へ送信される。再構成モジュール(36)は、リンク(54)を通じて、先行画像の動きベクトルを受信し、ベクトルは動き推定装置(50)によって定義されている。
【0071】
前処理装置(40)と第2の符号化装置(30)との間のリンク(47)は、前処理装置(40)を出る画像を入力として受信し、リンク(52)を通じてメモリ(36)中に記憶された参照画像を受信する差分器(60)を通じて実施される。この差分器(60)は、前処理装置(40)から生ずる画像と参照画像との間でマクロブロック毎に差分を取り、第2の符号化装置(30)に接続された出力上にこの差分を送信し、この差分は上述された原理(DCT、量子化、VLC)によって符号化される。差分器(60)は、P画像又はB画像についてのみ差分をとる動作を行なう。
【0072】
動き推定器(50)はまた、リンク(53)によって第2の符号化装置(30)に接続される。このリンクは、動き推定器(50)が、参照画像を第2の符号化装置(30)によって符号化されたP画像又はB画像と比較することによって生ずる動きベクトルを送信することを可能とする。
【0073】
第2の符号化装置(30)は、MPEG2標準によって符号化された画像のストリーム(300)をマルチプレクサ(2)へ出力する。第1の符号化装置(20)は、ビットレート調整装置(10)に接続される。このビットレート調整装置(10)は、本発明の上述のように定義された原理を適用することを可能とする各符号化器E(i)の要素を構成する。この装置(10)は、リンク(24)を通じて第1の符号化装置(20)から生ずる空間的に符号化された画像のストリームを解析し、予め記録されたプログラム(P1)を用いて、符号化費用CI(n+k)及び第1の符号化装置(20)によって符号化された各画像についての量子化間隔QI(n+k)を決定する。添え字n+kは、kが少なくとも2である場合、符号化されるべき画像よりk画像だけ前に受信された画像の費用に関連することを示す。
【0074】
同様に、公知の方法で調整ループを構成するために、ビットレート調整装置(10)は、リンク(132)によって第2の符号化装置(30)の量子化モジュール(32)に接続され、それにより量子化モジュール(32)に対して現在画像の符号化に適した量子化レベルQS(n)を供給し、また、第2の符号化装置(30)の出力に接続され、それによりマルチプレクサ(2)へ送信された画像の符号化の費用CS(n)についての情報を収集する。調整装置(10)はまた、双方向バス(11)を通じて統計的多重化システムのビットレート調整装置(10)即ちビットレート割当器に接続され、それにより、伝送手段によって各画像について割当器へこの画像のための式(b)によって計算された予想複雑性Xstの値を含む要求を送信し、また、各画像について、割当器から以前に送信された要求に対応するビットレート命令R(i)を受信する。
【0075】
式(b)に従って複雑性の値を計算するために、ビットレート調整装置(10)は、例えば、第1の符号化装置(20)によって符号化された最後の画像の複雑性X1st− Iに関連する情報に基づいて式(b)乃至(d)によって複雑性の値を計算するためのメモリ(12)中に予め記録されたプログラムP2を含み、最後のP画像及び最後のB画像の複雑性(X ̄ P及びX ̄ B)は、第2の符号化装置によって復号化されており、最後のビットレート命令のレート(n−1)はビットレート割当器から受信されている。この情報は、例えば、メモリ(12)中に記憶される。実際に符号化される次の画像の複雑性を計算するために使用される第1の符号化装置(20)によって符号化される画像についての量子化間隔は、第2の符号化装置(30)によってk画像後、例えばk=2、に符号化される画像の量子化レベルである。上述された値は、例えば調整装置(10)の記憶手段(12)上に予め記録されたプログラムによって収集され、同じ記憶手段(12)上に又は他のメモリ上に記憶される。
【0076】
プログラム(P2)は、式(b)によって定義されるXstを計算し、図4のアルゴリズムに従って動作する。このプログラムは、例えば集積回路によって実行される複数のモジュールを含む。
【0077】
第1のモジュール(M1)は、第1の符号化装置(20)によって符号化される最後の画像の複雑性X1st− Iの値を記憶する。
【0078】
第2のモジュール(M2)は、式(e)のアルゴリズムを通じて計算を行ない、例えばビットレート調整装置のメモリ(12)中に記憶される符号化された最後のP画像及び最後のB画像の複雑性の値(X ̄ P及びX ̄ B)と、例えばビットレート調整装置のメモリ(12)中に予め記憶されるGOPの構造を特徴付ける定数NP,ZP,NB,ZBとを用いて、第2の符号化装置(30)によって符号化される最後のGOPの大域的な複雑性X ̄ GOPの値を記憶する。第1の符号化装置(20)によって符号化された最後の画像の複雑性X1st− Iのこの複雑性X ̄ GOPの値に基づいて、プログラム(P2)の第3のモジュール(M3)は、式(d)によって定義され第1の符号化装置(20)によって符号化された次の画像の符号化の費用に対応する値TI(n)を計算し、これを例えばビットレート調整装置(10)の記憶手段(12)の中に記憶する。定数N、Fpict及びG3:2(n)は、例えばビットレート調整装置(10)のメモリ(12)の中に記憶される。同様に、ビットレート割当器(1)によって割り当てられる最後のビットレートR(i)もまた収集され、複雑性を計算するためのプログラム(P2)の第4のモジュール(M4)によってビットレート調整装置(10)のメモリ(12)の中に記憶される。
【0079】
複雑性を計算するためのプログラム(P2)の第5のモジュール(M5)は、式(c)を通じて、以前に第1のモジュール(M1)及び第3のモジュール(M3)によって計算及び/又は記憶された値TI(n)及びX1st Iに基づく第1の符号化装置(20)による次の画像の符号化に関して考えられる量子化間隔即ちレベルQ1st Iを計算する。最後に、第6のモジュール(M6)は、第5のモジュール(M5)によって記憶された量子化レベルQ1st I及び第4のモジュール(M4)によって収集され記憶された最後のビットレートR(i)の計算された値に基づいて複雑性Xstの値を計算する。一旦計算されると、この複雑性の値Xstは、ビットレート調整装置(10)によって伝送手段を通じてビットレート割当器(1)へ伝送される。
【0080】
従って、ビットレート割当器(1)の要求に応じてビットレート調整装置(10)によって使用される複雑性Xstのこの特定の計算は、ビットレート割当器(1)に対して、先行時間を有して第2の符号化装置(30)によって符号化されるべき次の画像の複雑性の推定値を供給することを可能とする。同様に、式(b)は、複雑性の決定を厳密にするために、補正を導入することを可能とする。
【0081】
ビットレート調整装置(10)の第2の実施例では、第1の調節は、例えば、低い値の量子化レベルについて複雑性のばらつきを制限するよう用いられる。実際、量子化レベルが式(b)によって値1から値2になるとき、複雑性の値は2倍となる。この複雑性要求に応じて、割当器は2倍のビットレートを供給する。ここで、このビットレートは、量子化レベルが2である画像の内容に関連する必要はない。従って、複雑性要求に応じて割り当てられるビットレートのばらつきが大きすぎないよう、式(b)の量子化レベルQ1st I(n+k)の値は、例えばk=2のとき、
Qmst(n)=MAX(Q1st I(n),Q1st I(n+1),Q1st I(n+2))
によって置き換えられる。従って、式(b)は、
Xmst(n)=Qmst(n).R(n−1)
となる。
【0082】
この計算を実行するために、本発明による調整装置(1)の複雑性を計算するためのプログラムP2は、第1の符号化装置(20)によって以前に符号化された画像についての量子化間隔の値を、例えばビットレート調整装置(10)の記憶手段(12)の中に記憶することを可能とする第7のモジュール(M7)を含む。量子化間隔は、第5のモジュールによって計算されたものである。この第7のモジュール(M7)はまた、最大値Qmstを決定し記憶するようこれらの量子化間隔同士の比較を実行する。第6のモジュール(M6)は、その実施中にこの値を用いるよう、もはや最初の式(b)に従うのではなく、結果Qmstを用いて以前の式に従って複雑性Xmstの計算を実行するよう変更される。
【0083】
上述の例では、第1の符号化装置によって符号化された最後の3つの画像についての量子化間隔のみが記憶される。しかしながら、異なる数の量子化間隔を考えることも可能である。
【0084】
ビットレート調整装置(10)の第3の実施例では、第2の調節は、例えばビットレート割り当て中の振動現象について補償するために使用され、この振動はビットレート割当器の反応時間によるものである。
【0085】
実際、ビットレート割り当ての原理は予測型原理であり、従って、ビットレート調整装置(10)によって時点tにおいて高い値の複雑性を有する要求が送信される例について考える。これに対して、ビットレート割当器(1)は、時点t+t0において大きなビットレートを割り当てることによって応答する。この時点t+t0において現在画像が実際に低い複雑性を有する場合、ビットレートは適用されず、ビットレート調整装置(10)は低い複雑性を有する要求を送信することによってこの差を補正する。この揺動を防止するため、本発明によるビットレート調整装置(10)によって送信される値は、
【0086】
【数3】
となる。
【0087】
この計算を実行するために、本発明によるビットレート調整の複雑性を計算するためのプログラムP2は、変更されていない第6のモジュール(M6)又は第2の実施例によって変更された第6のモジュール(M6)によって計算された最後の複雑性の値(Xst又はXmst)を、例えばビットレート調整装置(10)の記憶手段(12)の中に記憶することを可能とする第8モジュール(M8)を含む。この第8モジュール(M8)はまた、記憶された複雑性の値の平均の計算、及び最後の複雑性の値とこの平均との比較とを実行し、それにより2つの値のうちの大きい方法を決定し、これはビットレート調整装置(10)の伝送手段を通じてビットレート割当器(1)へ宛てられた要求の中で送信される値Xdmstとなる。値gは、本発明によるビットレート調整装置からの要求時に応答するようビットレート割当器(1)の反応時間の関数として決定され、望ましくは8である。
【0088】
式(b.1)中、最初の調節もまた考慮に入れられ、即ち記憶される複雑性の値は変更された第6のモジュールによって計算されたものである。複雑性の値が変更されていない第6のモジュールによって計算されたものである場合、式(b.1)は、以下の式、即ち、
【0089】
【数4】
となる。
【0090】
上述のように、高い複雑性を有する画像は、人間の視覚が複雑な画像の全ての細部を統合することを可能としないため、厳しく量子化されうる。逆に、視覚は低い複雑性の画像に対する量子化の影響に敏感である。この心理視覚的な面を補正するため、複雑性の値に対して第3の調節が行われる。
【0091】
Xpdmst(n)=sqrt(Xdmst(n)) (b.2)
式中、関数sqrt()は、平方根関数に対応する。この関数は複雑性を計算するためのプログラムP2の第9のモジュール(M9)によって実行される。
【0092】
先行する式では、平方根が適用される複雑性は、8番目のモジュール(M8)及び変更された第6のモジュール(M6)によって実行される。しかしながら、この第3の調節を第8のモジュール(M8)及び変更されていない第6のモジュール(M6)によって計算された複雑性に対して適用することが可能であり、この場合、上記の式b.2は、
Xpdst(n)=sqrt(Xdst(n)) (b.2.1)
となる。
【0093】
或いは、この第3の調節は、第8のモジュール(M8)及び変更された第6のモジュール(M6)によって計算された複雑性に対して適用され、この場合、上記の式b.2は、
Xp m st(n)=sqrt(Xm st(n)) (b.2.2)
となる。
【0094】
或いは、この第3の調節は、第8のモジュール(M8)及び変更されていない第6のモジュール(M6)によって計算された複雑性に対して適用され、この場合、上記の式b.2は、
Xpst(n)=sqrt(Xst(n)) (b.2.3)
となる。
【0095】
ビットレート割当器(1)によって許容可能な最大及び最小複雑性閾値に従うため、複雑性の値は例えば以下の式、
に従って定義される第4の調節によって変更される。
【0096】
値Smax及びSminは夫々パラメータ化可能であり、割当器によって許容可能な複雑性の最大閾値及び最小閾値を夫々表わす。例として、Smaxは100であり、Sminは1であり、値Kは0.01である。
【0097】
この第4の調節を適用するため、本発明による複雑性を計算するためのプログラムP2は、値Smax及びSminの値及び比較モジュールを含む予め記録されたプログラムが記憶された例えばビットレート調整装置のメモリ(12)の中に記憶された値Smax及びSminの値と、式b.2に従って第9のモジュールによって計算された複雑性の値とを式b.3に従って比較する第10のモジュール(M10)を含む。しかしながら、複雑性は、式b、b.2.1、b.2.2、b.2.3のうちのいずれか1つに従って計算されうる。
【0098】
4つの先行する調節は、画像ストリームが一定である場合、即ち符号化されるべき画像のストリーム中にある程度の均質性又は連続性がある場合に、本発明によるビットレート調整装置(10)によってビットレート割当器(1)へ送信された複雑性の値を、調節することを可能とする。この動作モードは、本発明による調整装置(10)の定常動作モードである。
【0099】
本発明によるビットレート調整装置(10)は、符号化されるべき画像のストリームの不連続性、即ちシーンの変化(又はシーンカット)及び画像シーケンス中に生ずるラップディゾルブ(フェード)を管理することを可能とする。当業者によれば、これらの2つの遷移現象は、符号化器E(i)にとって重大であることが知られている。実際、MPEG2標準による符号化は予測型である。従って、シーンの変化又はラップディゾルブは、予測機構を妨害する。また、これらの2つの遷移現象は、満足のいく画質を保つためにかなりのビットレートを必要とすることが知られている。
【0100】
本発明の原理は、これらの遷移現象についての対策を与えると共に、これらの現象に適用されるビットレートを要求することからなる。これらの現象の検出は、例えば符号化器の前処理装置(40)によって実行される。上述のように、前処理装置(40)は2つの連続する画像間の相関(インター(inter)相関)及び同一画像のライン間の相関(イントラ(intra)相関)の測定を行うことが可能である。これらの測定は、例えば、インター相関を測定する第1の装置(400)と、イントラ相関を測定する第2の装置(401)とによって実行される。これらの2つの装置(400,401)によって実行される測定に基づいて、シーンの変化又はラップディゾルブを検出することが可能である。
【0101】
ラップディゾルブの検出は、第2の測定装置(401)によって実行され、イントラ相関中の突然の変動の検出に対応する。イントラ相関は、第1のラインの第1の画素と隣接するラインの第2の画素との間の差のライン毎の総和に対応し、第2の画素は、この隣接するライン上において第1のライン上の第1の画素と同じ水平位置を有する。従って、ラップディゾルブの存在は、イントラ相関において、急速な減少、次に急速な増加に対応する。
【0102】
第2の測定装置(401)は、イントラ相関における急速な減少、次に急速な増加を検出することを可能とするプログラムを含む。第2の測定装置(401)はまた、リンク(43)を通じて本発明によるビットレート調整装置(10)に接続され、第2の測定装置(401)がラップディゾルブを検出した途端にラップディゾルブの検出を表わす信号(F)をビットレート調整装置(10)へ送信する。
【0103】
この信号(F)が本発明によるビットレート調整装置(10)によって受信されるとすぐに、ビットレート調整装置(10)は伝送手段によってビットレート割当器(1)に対して、hはGOPの画像の数であるとすると、次のh+1個の画像について、割当器によって許容可能な最大複雑性閾値Smaxに等しい複雑性の値XF(n)を送信する。その後、即ちh+2番目の画像について、本発明によるビットレート調整装置(10)は、再び上述の定常モードに従って動作する。
【0104】
第1の測定装置(400)は従来技術の前処理装置に基づいて構成され、シーンの変化を検出することを可能とする。従来技術のこれらの装置は、インター相関、即ち第1の画像の第1の画素と第2の画像の第2の画素との間の差のライン毎の総和に対応し、この第2の画像中において、第2の画素は第1の画像中の第1の画素と同じ位置を有する。本発明による第1の測定装置(400)はまた、シーンの変化に続く画像の複雑性を、計算することなく評価することを可能とする装置を含む。この評価装置は、インター相関の逆相関の尺度SCを供給する。一旦評価されると、この値SCはリンク(44)によって調整装置(10)へ伝送される。この値(SC)を本発明によるビットレート調整装置(10)によって受信することにより計算が命令され、次に後続する画像のために、以下の式、
XSC(n)=MAX(Xcpdmst(n),f(SC))
によって定義される複雑性を送信する。
【0105】
式中、fは画像の複雑性を逆相関SCの値の関数として決定することを可能とする関数である。
【0106】
値eは、前処理装置のバッファメモリの中に含まれる画像の数に対応する。その後、後続する画像、即ちe+1番目の画像のために、ビットレート調整装置(10)は再び上述の定常モードに従って動作する。前処理装置(40)によって送信されるシーンの変化又はラップディゾルブの存在を示す信号に応じたビットレート調整装置(10)の反応は、例えば、図5の論理フローチャートを実行する検出プログラムP3によって行われる。このプログラムP3は例えば、ビットレート調整装置(10)のメモリ(12)上に記憶される。
【0107】
この検出プログラム(P3)は、前処理装置(40)の検出装置(400,401)から生ずるリンク(43,44)の連続的な監視を行なう。上述のリンク(43,44)のうちの1つの上に信号(シーン変化SC又はラップディゾルブF)が伝送されるとすぐに、プログラム(P3)は、信号がラップディゾルブ検出信号(F)であるかどうかを検査する。ラップディゾルブ検出信号(F)であれば、プログラムは、ビットレート調整装置(10)の伝送手段によって、ビットレート割当器へ、h個の後続する画像についての最大閾値に等しい複雑性を伝送する(101)。ラップディゾルブ検出信号(F)でなければ、プログラムP3は、信号がシーン変化検出信号(SC)であるかどうかを検査する第2の試験を行なう(102)。
【0108】
シーン変化検出信号(SC)であれば、プログラムP3は、ビットレート調整装置(10)の伝送手段によって、ビットレート割当器へ、e個の後続する画像のために伝送される複雑性を評価する(103)。この評価は、第1の測定装置(400)によって実行され、リンク(44)によって送信されるインター相関の尺度SCの関数として実行される。シーン変化検出信号(SC)でなければ、プログラムP3は、上述において定義された複雑性を計算するためのプログラムP2の開始をトリガする(104)。
【0109】
当業者による他の変更は本発明の範囲を逸脱することなく行われうることが明らかである。特に、本発明によるビットレート調整装置は、上述の新規な機能を実行する特殊な装置が組み込まれるか又は接続された従来技術の調整装置によって置き換えられ得る。
【図面の簡単な説明】
【図1】本発明によるビットレート調整装置を用いた統計的多重化システムを示す図である。
【図2】従来技術の統計的多重化システムを示す図である。
【図3】統計的多重化システム中で交換されるメッセージを示す図である。
【図4】本発明による調整装置の複雑度を計算するプログラムのアルゴリズムを示す図である。
【図5】本発明によるビットレート調整装置のシーンの変化及びラップディゾルブを検出するプログラムの論理フローチャートを示す図である。
【符号の説明】
1 ビットレート割当器
2 マルチプレクサ
11 双方向バス
20 第1の符号化装置
21 DCTモジュール
22 量子化モジュール
23 VLCモジュール
30 第2の符号化装置
31 DCTモジュール
32 量子化モジュール
33 VLCモジュール
34 逆量子化モジュール
35 逆DCTモジュール
36 再構成モジュール
40 前処理装置
41 入来ストリーム
50 動き推定装置
60 差分器
300 画像のストリーム
400,401 測定装置
E(i) 符号化器
Claims (5)
- 統計的多重化システムであって、
MPEG2に準拠した画像ストリームに符号化し、符号化されたデータストリームを出力する各符号化器と、
前記各符号化器に接続され、複数の前記符号化されたデータストリームを多重化し、データフローを出力するマルチプレクサと、
前記各符号化器に接続され、前記各符号化器にビットレートを割り当てるビットレート割当装置と、を備え、
1つの符号化器は、
画像を蓄積し、再編成するために前記画像を受信する前処理装置と、
前記前処理装置の第1出力部から前記画像を受信し、前記画像の実際の画像の符号化前に、符号化コストを決定するため、前記画像に対しイントラタイプの符号化としての第1符号化を行う第1符号化装置と、
蓄積された前記画像を前記前処理装置の第2出力部から受信し、前記画像に対して実際の符号化を行う第2符号化装置と、
設定されているビットレートに基づいて、前記符号化器の出力時のビットレートを調整するビットレート調整装置とを備え、
前記ビットレート調整装置は、
前記第1符号化装置により符号化された最後の画像の複雑性X1st− Iを算出し、記憶し、前記第2符号化装置により実際に符号化された最後のGOPの複雑性X ̄ GOPを算出し、記憶し、前記複雑性X ̄ GOPは前記複雑性X1st− Iを前記GOPのイントラ画像に割り当てて算出され、記憶された前記複雑性X 1st− I と前記複雑性X 1st− I と前記ビットレート割当装置により割り当てられた最後のビットレートとの関数を用いて前記第2符号化装置により符号化される次の画像のために前記複雑性XSt(n)を算出し、
前記複雑性XSt(n)は、前記符号化器に送信される次のビットレートの決定のために前記ビットレート割当装置に送信されることを特徴とする統計的多重化システム。 - 前記ビットレート調整装置により用いられる平均量子化レベルと前記画像の符号化コストの関数で求められるB画像又はP画像の複雑性は、前記複雑性X ̄ GOPの計算に考慮されることを特徴とする請求項1記載の統計的多重化システム。
- 前記最後のGOPの複雑性X ̄ GOPは、前記GOP中の最後のP画像の複雑性に前記GOP中のP画像の数及び重み係数を乗算した値と、前記GOP中の最後のB画像の複雑性に前記GOP中のB画像の数及び重み係数を乗算した値と、I画像の複雑性とを加算した値であることを特徴とする請求項2記載の統計的多重化システム。
- 前記複雑性の値は、最小閾値Sminと最大閾値Smaxに対応する範囲内に制限されることを特徴とする請求項1乃至3いずれか一項に記載の統計的多重化システム。
- 前記前処理装置は、
シーン変化やフェージングを検出するために連続する画像間の相関を測定し、前記複雑性XSt(n)は、前記検出に基づいて前記ビットレート割当装置に送信される請求項1記載の統計的多重化システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR9902907 | 1999-03-09 | ||
FR9902907A FR2790899B1 (fr) | 1999-03-09 | 1999-03-09 | Dispositif et procede de regulation de debit dans un systeme de multiplexage statistique de flux d'images codees selon le codage mpeg 2 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000299869A JP2000299869A (ja) | 2000-10-24 |
JP4619479B2 true JP4619479B2 (ja) | 2011-01-26 |
Family
ID=9542982
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000062449A Expired - Fee Related JP4619479B2 (ja) | 1999-03-09 | 2000-03-07 | 統計的多重化システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US6654416B1 (ja) |
EP (1) | EP1037473A1 (ja) |
JP (1) | JP4619479B2 (ja) |
CN (1) | CN1187983C (ja) |
FR (1) | FR2790899B1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7418007B1 (en) * | 2000-09-20 | 2008-08-26 | General Instrument Corporation | Method and apparatus for determining a transmission bit rate in a statistical multiplexer |
US6947598B2 (en) * | 2001-04-20 | 2005-09-20 | Front Porch Digital Inc. | Methods and apparatus for generating, including and using information relating to archived audio/video data |
FR2829345B1 (fr) | 2001-09-06 | 2003-12-12 | Nextream Sa | Dispositif et procede de codage d'images video par compensation de mouvement |
US7748020B2 (en) * | 2002-10-08 | 2010-06-29 | Canon Kabushiki Kaisha | Receiving apparatus and method for processing interruptions in streaming broadcasts |
US7266133B2 (en) | 2002-11-13 | 2007-09-04 | General Instrument Corporation | Methods and apparatus for statistical multiplexing with distributed multiplexers |
US7324592B2 (en) * | 2003-08-13 | 2008-01-29 | Mitsubishi Electric Research Laboratories, Inc. | Resource-constrained encoding of multiple videos |
US8107540B2 (en) | 2005-07-11 | 2012-01-31 | Cheetah Technologies, L.P. | Image complexity computation in packet based video broadcast systems |
US7756136B2 (en) * | 2006-07-10 | 2010-07-13 | Cheetah Technologies, L.P. | Spatial and temporal loss determination in packet based video broadcast system in an encrypted environment |
KR101034832B1 (ko) * | 2006-11-16 | 2011-05-17 | 후지쯔 세미컨덕터 가부시키가이샤 | Gop간 관리 장치 |
EP2046042A1 (en) * | 2007-10-02 | 2009-04-08 | Alcatel Lucent | Optimisation of video coding and transmission quality in a statistical multiplexer for multichannel video distribution network |
CN102131090B (zh) * | 2010-11-22 | 2012-10-03 | 华为技术有限公司 | 视频文件播放的方法、系统及媒体资源服务器 |
TWI476761B (zh) | 2011-04-08 | 2015-03-11 | Dolby Lab Licensing Corp | 用以產生可由實施不同解碼協定之解碼器所解碼的統一位元流之音頻編碼方法及系統 |
CN102724491A (zh) * | 2012-06-15 | 2012-10-10 | 北京博雅华录视听技术研究院有限公司 | 基于并行编码的统计复用方法 |
CN110912609B (zh) * | 2019-12-17 | 2021-03-05 | 北京理工大学 | 基于摄像头的补偿光照不均匀的可见光通信方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09512400A (ja) * | 1994-04-22 | 1997-12-09 | トムソン コンシユーマ エレクトロニクス インコーポレイテツド | 不足する資源を動的に割り当てるシステム |
JPH10513028A (ja) * | 1995-11-15 | 1998-12-08 | フィリップス エレクトロニクス ネムローゼ フェンノートシャップ | ビットレート制御方法 |
JPH10336663A (ja) * | 1997-05-27 | 1998-12-18 | Thomson Broadcast | Mpeg2符号化用の前処理装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5115309A (en) * | 1990-09-10 | 1992-05-19 | At&T Bell Laboratories | Method and apparatus for dynamic channel bandwidth allocation among multiple parallel video coders |
US5861919A (en) * | 1995-12-18 | 1999-01-19 | Divicom | Dynamic rate optimization for an ensemble of video encoders |
US5878166A (en) * | 1995-12-26 | 1999-03-02 | C-Cube Microsystems | Field frame macroblock encoding decision |
FR2748623B1 (fr) * | 1996-05-09 | 1998-11-27 | Thomson Multimedia Sa | Encodeur a debit variable |
KR100756596B1 (ko) * | 1997-07-08 | 2007-09-10 | 소니 가부시끼 가이샤 | 비디오 데이터 부호화 장치 및 비디오 데이터 부호화 방법 |
US6483543B1 (en) * | 1998-07-27 | 2002-11-19 | Cisco Technology, Inc. | System and method for transcoding multiple channels of compressed video streams using a self-contained data unit |
US6167084A (en) * | 1998-08-27 | 2000-12-26 | Motorola, Inc. | Dynamic bit allocation for statistical multiplexing of compressed and uncompressed digital video signals |
US6310915B1 (en) * | 1998-11-20 | 2001-10-30 | Harmonic Inc. | Video transcoder with bitstream look ahead for rate control and statistical multiplexing |
-
1999
- 1999-03-09 FR FR9902907A patent/FR2790899B1/fr not_active Expired - Fee Related
-
2000
- 2000-02-18 EP EP00400454A patent/EP1037473A1/en not_active Ceased
- 2000-03-07 US US09/520,205 patent/US6654416B1/en not_active Expired - Lifetime
- 2000-03-07 JP JP2000062449A patent/JP4619479B2/ja not_active Expired - Fee Related
- 2000-03-09 CN CNB001029134A patent/CN1187983C/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09512400A (ja) * | 1994-04-22 | 1997-12-09 | トムソン コンシユーマ エレクトロニクス インコーポレイテツド | 不足する資源を動的に割り当てるシステム |
JPH10513028A (ja) * | 1995-11-15 | 1998-12-08 | フィリップス エレクトロニクス ネムローゼ フェンノートシャップ | ビットレート制御方法 |
JPH10336663A (ja) * | 1997-05-27 | 1998-12-18 | Thomson Broadcast | Mpeg2符号化用の前処理装置 |
Also Published As
Publication number | Publication date |
---|---|
US6654416B1 (en) | 2003-11-25 |
FR2790899A1 (fr) | 2000-09-15 |
JP2000299869A (ja) | 2000-10-24 |
EP1037473A1 (en) | 2000-09-20 |
CN1187983C (zh) | 2005-02-02 |
CN1266335A (zh) | 2000-09-13 |
FR2790899B1 (fr) | 2001-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6522693B1 (en) | System and method for reencoding segments of buffer constrained video streams | |
US6243497B1 (en) | Apparatus and method for optimizing the rate control in a coding system | |
JP3533282B2 (ja) | 複数のプロセッサを使用したビデオ圧縮 | |
JP4404975B2 (ja) | Mpeg2符号化用の前処理装置 | |
KR100610520B1 (ko) | 비디오 데이터 부호화 장치, 비디오 데이터 부호화 방법, 비디오데이터 전송 장치 및 비디오 데이터 기록 매체 | |
JP4187405B2 (ja) | 符号化方式におけるオブジェクトベースのレート制御装置及びその方法 | |
US6192081B1 (en) | Apparatus and method for selecting a coding mode in a block-based coding system | |
KR100559924B1 (ko) | 코딩 시스템의 매크로 블록 기반 비율을 제어하기 위한장치 및 방법 | |
JP4510463B2 (ja) | ビデオ符号器においてマクロブロック量子化パラメータを選択する方法及び装置 | |
US5805222A (en) | Video coding apparatus | |
JP4619479B2 (ja) | 統計的多重化システム | |
US8948242B2 (en) | Encoding device and method and multimedia apparatus including the encoding device | |
JP2001148858A (ja) | 画像情報変換装置及び画像情報変換方法 | |
JP2002223443A (ja) | トランスコーディング方法およびトランスコーディング装置 | |
JP2002314996A (ja) | ビデオ・データの品質を制御するための方法および装置 | |
KR101048599B1 (ko) | 비디오 데이터 스트림을 인코딩하는 장치 | |
JP3858520B2 (ja) | 動画像符号化装置及びその方法 | |
JPH11196424A (ja) | 画像処理装置および方法、並びに提供媒体 | |
JPH114445A (ja) | 画像符号化装置および方法 | |
KR100317355B1 (ko) | 동화상비디오부호화장치 | |
JP4747109B2 (ja) | 演算量調整装置 | |
JPH11196423A (ja) | 画像処理装置および方法、並びに提供媒体 | |
KR950005653B1 (ko) | 영상특성을 고려한 데이타양자화율 제어방법 및 그 장치 | |
JP2000078529A (ja) | 可変転送レ―ト符号化装置 | |
JPH02222388A (ja) | 動画像符号化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090811 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20091030 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20091105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100208 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100309 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100607 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100610 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100907 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100928 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101027 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131105 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |