JP3675002B2

JP3675002B2 - Image signal transmission apparatus and method

Info

Publication number: JP3675002B2
Application number: JP27686295A
Authority: JP
Inventors: 哲二郎近藤; 秀雄中屋; 敏弥石坂
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1995-09-29
Filing date: 1995-09-29
Publication date: 2005-07-27
Anticipated expiration: 2015-09-29
Also published as: JPH0998432A

Description

【０００１】
【発明の属する技術分野】
この発明は、ブロック化された画像信号を圧縮する場合、データ伝送量をより削減することができる画像信号伝送装置および方法に関する。
【０００２】
【従来の技術】
従来、画像圧縮において、なんらかの前処理によって求められた予測残差を所定のビット数で量子化することで情報量を削減するのが一般的な方法である。このように予測残差を量子化することにより発生するデータ量（以下、符号化データ量と称する）を削減する有効な手法の１つとして、供給されたサンプル値とその予測値との差分をとることによって、求められた予測誤差を所定のビット数で量子化しているが、予測残差すべてを量子化するので、かなりの符号化データ量になる。
【０００３】
この符号化データ量を抑える１つの方法として、予測残差をブロック分割して、そのブロック毎に伝送することが有意か否かを判定する有意判定を行い、その有意判定において、無意と判定されたブロックについては伝送しないというものがある。
【０００４】
【発明が解決しようとする課題】
しかしながら、この場合、ブロックサイズが小さいと有意となるブロックの出現確率は減るが、総ブロック数が増えるため、フラグなどのオーバーヘッドが増えて、結果的に符号化データ量が増えてしまうということがあるという問題があった。また、ブロックサイズが小さいと画像の内容によっては、有意ブロックの数が大幅に変わり、情報量を一定にするための制御が難しくなるという問題があった。
【０００５】
従って、この発明の目的は、階層構造とすることによって符号化データ量を削減するとともに、フィードフォワードバッファリングを行うことによって、符号化データ量を目標値以下に制御することができる画像信号伝送装置および方法を提供することにある。
【０００６】
【課題を解決するための手段】
請求項１に記載の発明は、入力される画素値とその予測値との予測残差に対して符号化を行う画像信号伝送装置において、予測残差を第１のブロックへ分割する第１のブロック化手段と、第１のブロック化手段により出力される第１のブロックのアクティビティーと入力される有意判定用のしきい値に基づいて、第１のブロック毎に有意か否かを判定すると共に当該有意か否かを示す第１のフラグを生成する第１のブロック用の有意判定手段と、第１のブロックを細分化し、第２のブロックを生成する第２のブロック化手段と、第２のブロック化手段により出力される第２のブロックのアクティビティーと入力される有意判定用のしきい値に基づいて、第２のブロック毎に有意か否かを判定すると共に当該有意か否かを示す第２のフラグを生成する第２のブロック用の有意判定手段と、第１のブロック用の有意判定手段および第２のブロック用の有意判定手段のいずれの有意判定手段においても有意と判定されたブロックに含まれる予測残差を量子化する量子化手段と、予め定められた複数種類の第１のブロックのサイズと第２のブロックのサイズの態様を、階層分岐の複数の態様とし、有意判定のしきい値を可変しながら、各有意判定用のしきい値において階層分岐の複数の態様のそれぞれの発生情報量のうち最小となる発生情報量を予測することにより、伝送される情報量を予め設定された目標値以下とするしきい値を決定し、決定されたしきい値を第１および第２のブロック用の有意判定手段に対して供給するように構成されたフィードフォワード形式の情報量制御手段と、情報量制御手段により決定された階層分岐に対応する第１及び第２のブロックの、第１のフラグと当該第１のブロックの有意ブロックを細分化した第２のブロックに対応する第２のフラグと、量子化手段の出力とを少なくとも伝送するフレーミング手段と、を備えたことを特徴とする画像信号伝送装置である。
【０００７】
さらに、請求項５に記載の発明は、入力される画素値とその予測値との予測残差に対して符号化を行う画像信号伝送方法において、予測残差を第１のブロックへ分割する第１のブロック化ステップと、第１のブロック化ステップにより出力される第１のブロックのアクティビティーと入力される有意判定用のしきい値に基づいて、第１のブロック毎に有意か否かを判定すると共に当該有意か否かを示す第１のフラグを生成する第１のブロック用の有意判定ステップと、第１のブロックを細分化し、第２のブロックを生成する第２のブロック化ステップと、第２のブロック化ステップにより出力される第２のブロックのアクティビティーと入力される有意判定用のしきい値に基づいて、第２のブロック毎に有意か否かを判定すると共に当該有意か否かを示す第２のフラグを生成する第２のブロック用の有意判定ステップと、第１のブロック用の有意判定ステップおよび第２のブロック用の有意判定ステップのいずれの有意判定ステップにおいても有意と判定されたブロックに含まれる予測残差を量子化する量子化ステップと、予め定められた複数種類の第１のブロックのサイズと第２のブロックのサイズの態様を、階層分岐の複数の態様とし、有意判定のしきい値を可変しながら、各有意判定用のしきい値において階層分岐の複数の態様のそれぞれの発生情報量のうち最小となる発生情報量を予測することにより、伝送される情報量を予め設定された目標値以下とするしきい値を決定し、決定されたしきい値を第１および第２のブロック用の有意判定ステップに対して供給するように構成されたフィードフォワード形式の情報量制御ステップと、情報量制御ステップにより決定された階層分岐に対応する第１及び第２のブロックの、第１のフラグと当該第１のブロックの有意ブロックを細分化した第２のブロックに対応する第２のフラグと、量子化ステップの出力とを少なくとも伝送するフレーミングステップと、を備えたことを特徴とする画像信号伝送方法である。
【０００８】
予測残差を階層的に有意判定することで伝送する符号化データ量を削減することができ、さらにフィードフォワードバッファリングを行うことで符号化データ量を目標値以下に制御することができる。
【０００９】
【発明の実施の形態】
以下、この発明の一実施例について図面を参照して説明する。画像信号伝送装置の一実施例のブロック図を図１に示す。１で示す入力端子から現フレームの画像データが入力され、その画像データは、動き検出回路２および減算器３へ供給される。また、有意判定によって、有意ブロックに含まれる予測残差が量子化回路４において、量子化され、その量子化値が逆量子化回路５へ供給される。逆量子化回路５では、量子化値としきい値から元の予測残差が復元された後、その予測残差は、加算器６に供給される。
【００１０】
加算器６において、復号された予測残差と、予測回路８からの予測画像データとが加算され、すなわちローカル復号された出力は、フレームメモリ７へ供給される。このフレームメモリ７には、ローカル復号によって動き補償がされた前フレームの予測結果が記憶されている。その前フレームの画像データは、フレームメモリ７から動き検出回路２および予測回路８へ供給される。動き検出回路２では、入力画像データとフレームメモリ７から供給される画像データとを用いて、例えばＮフレームと（Ｎ＋２）フレームの２フレーム間でのブロックマッチングによって、ブロック単位に動きベクトルの検出が行われる。
【００１１】
検出された動きベクトルは、動き検出回路２からフレーミング回路１７および予測回路８へ供給される。そして、減算器３では、予測回路８からの予測画像データが入力画像データから減算され、予測残差が生成される。生成された予測残差は、階層化のためのブロック化回路１０に供給される。このブロック化回路１０では、供給された予測残差を１６ライン×１６画素の第１のブロック（以下、１６×１６ブロックと称する）、８ライン×８画素の第２のブロック（以下、８×８ブロックと称する）および４ライン×４画素の第３のブロック（以下、４×４ブロックと称する）のブロックに分割される。
【００１２】
分割された１６×１６ブロックは、ブロック化回路１０からＤＲテーブル１１へ供給され、８×８ブロックは、ＤＲテーブル１２へ供給され、同様に４×４ブロックは、ＤＲテーブル１３へ供給される。このＤＲテーブル１１、１２および１３では、各ブロックと対応する階層毎に１フレーム当りの予測残差の絶対値の最大値（最大残差）の度数分布表が作成される。最大残差は、各階層の１ブロック毎に求められる。また、各ＤＲテーブル１１、１２および１３では、符号化データ量の計算のために、１フレーム分の遅延が生じる。そして、各ＤＲテーブル１１、１２および１３から計算された度数分布表が情報量予測計算回路１４へ供給される。
【００１３】
情報量予測計算回路１４には、符号化データ量の目標ビットレートが予め設定されており、しきい値ＲＯＭ１５からしきい値Ｔｈ、Ｔｈ１、Ｔｈ２およびＴｈ３が供給される。また、しきい値ＲＯＭ１５の内容は、後述するように有意判定用の第１のしきい値Ｔｈおよび量子化ビット割当用の第２のしきい値Ｔｈ１、Ｔｈ２、Ｔｈ３が一括して増減するように、測定、シュミレーション、経験等に基づいて定められている。
【００１４】
そして、有意判定回路９において、しきい値Ｔｈと最大残差とを比較してその大小で有意ブロックを判定することに着目すると、情報量予測計算回路１４では、しきい値ＲＯＭ１５から供給されたしきい値Ｔｈより大きい最大残差を有するブロックが有意ブロックと判定される。
【００１５】
すなわち、情報量予測計算回路１４では、後述するように各ＤＲテーブル１１、１２および１３から供給された度数分布表を使用し、しきい値テーブルに設定されたしきい値に応じて符号化データ量を予測し、目標ビットレート以下になるようなしきい値番号と階層分岐の態様を決定する。このしきい値番号と階層分岐の態様から実際に有意ブロックの判定を行い、有意ブロックと判定されたブロックについて、適応量子化が行われる。また、決定された階層分岐の態様を指示する階層番号は、情報量予測計算回路１４から有意判定回路９へ供給される。そのときのしきい値番号および階層番号は、フレーミング回路１７へ供給される。
【００１６】
上述したように、しきい値ＲＯＭ１５では、目標ビットレート以下になるしきい値番号が決定されるまで、しきい値番号を１つづつ大きくし、そのしきい値番号に対応するしきい値Ｔｈ、Ｔｈ１、Ｔｈ２、Ｔｈ３が情報量予測計算回路１４へ出力される。
【００１７】
そして、有意判定回路９には、情報量予測計算回路１４から階層分岐の態様を指示する階層番号としきい値ＲＯＭ１５から有意判定用のしきい値Ｔｈ、さらにブロック化回路１０から分割された１６×１６ブロック、８×８ブロックおよび４×４ブロックが供給される。この有意判定回路９では、しきい値Ｔｈに基づいて、階層番号に基づいた階層分岐の態様でもってブロックの有意判定が行われ、有意／無意を識別するための有意フラグと有意ブロックのデータが出力される。
【００１８】
有意判定回路９からの有意フラグは、フレーミング回路１７へ供給され、有意ブロックのデータは、上述したように量子化回路４へ供給される。量子化回路４では、供給された有意ブロックのデータに対してしきい値ＲＯＭ１５から供給される量子化ビット割当用のしきい値Ｔｈ１、Ｔｈ２、Ｔｈ３に基づいて可変長（半固定長）の量子化が行われる。
【００１９】
この量子化回路４は、図３に示す量子化特性を有する適応量子化回路である。この図３は、符号を含めた３ビット固定長の量子化の場合の例を示す。まず、有意ブロックの判定の際に、注目ブロック内で最大残差（ダイナミックレンジ）が求められており、この最大残差を４で割った値を量子化ステップ幅として決定し、各画素の予測残差をこの量子化ステップ幅で割って整数化し、これを量子化コードとする。一般に、例えば３ビット固定長のＡＤＲＣ（ダイナミックレンジ適応符号化）を用いた予測残差をｘ_iとし、量子化ビット数をｎとし、最大残差をｍａｘとし、量子化コードをｑ_iとすると、
【００２０】
ｑ_i＝〔ｘ_i／（ｍａｘ／２^n-1）〕
で表される。ただし、〔〕は、整数化を意味する。
【００２１】
そして、後述する量子化ビット割当の制御に基づいて、決定された量子化ビット割当にしたがって、有意ブロックの予測残差の量子化が行われ、最大残差と量子化コード並びに有意フラグがしきい値番号および階層番号と共に、フォーマット化されて、伝送される。
【００２２】
この図３では、マイナス側に最大残差が求めるため、量子化コードは、プラス側から（３、２、１、０、−１、−２、−３、−４）となる場合の一例を示したが、プラス側に最大残差が求められる場合、この例の３ビット固定長の量子化コードは、プラス側から（４、３、２、１、０、−１、−２、−３）となる。このような量子化は、予測残差の０が０として復号され、また、最大残差の存在する極性の側に量子化の範囲が偏り、量子化誤差を少なくできるものである。
【００２３】
量子化回路４からの量子化値は、逆量子化回路５および可変長符号化回路１６へ供給される。逆量子化回路５では、量子化回路４へ供給した同じ量子化ビット割当用のしきい値Ｔｈ１、Ｔｈ２、Ｔｈ３に基づいて、量子化値の逆量子化が行われる、すなわち量子化値の復号が行われ、もとの予測残差が復元され、上述したように加算器６へ供給される。可変長符号化回路１６では、供給された有意ブロックの量子化値に対して、例えばハフマン符号化のようなエントロピー符号化を用いてさらにデータ量が削減され、有意フラグと共にフレーミング回路１７へ供給される。
【００２４】
フレーミング回路１７には、有意フラグ、可変長符号化された量子化値、動きベクトルおよび情報量予測計算回路１４からしきい値番号および階層分岐の態様を示す階層番号が供給される。フレーミング回路１７に入力される量子化値は、画像の内容によってデータ量が変化するが、フレーミング回路１７の出力は、伝送路の容量にあわせて一定のビットレートで出力される。
【００２５】
ここで、ブロックの階層構造の一例を図２に示す。予測残差について、例えば１６×１６ブロックの大きさの第１のブロックに分割し（第１階層：Ｌ１）、まず、注目ブロック内の最大残差を検出し、この最大値を予め決められたしきい値と比較する。その結果、最大値がしきい値よりも小さい場合は、無意ブロックと判断し、有意フラグは `０' として、予測残差の伝送は行わない。
【００２６】
`１' （有意）：（最大残差）＞しきい値Ｔｈ
`０' （無意）：（最大残差）≦しきい値Ｔｈ
【００２７】
一方、最大残差がしきい値よりも大きい場合は、有意ブロックであると判断し、有意フラグを立てる（ `１' にする）と共に、さらに下位の階層の有意判定に制御が移る。第１階層で有意と判定されたブロックは、さらに８×８ブロックの大きさの第２のブロックに細分化し（第２階層：Ｌ２）、同様な有意判定を行い、第２階層で有意と判定されたブロックは、さらに４×４ブロックの大きさの第３のブロックに分割され（第３階層：Ｌ３）、有意判定が行われる。
【００２８】
ここで、ブロックの階層分岐の態様について、上述ではＬ１−Ｌ２−Ｌ３の順番に階層分岐が行われるよう説明したが、Ｌ１−Ｌ２の順番に階層分岐を行う場合、Ｌ１−Ｌ３の順番に階層分岐を行う場合またはＬ２−Ｌ３の順番に階層分岐を行う場合もある。情報量予測計算回路１４では、ある有意判定のしきい値Ｔｈが与えられた場合に、符号化データ量が最も少なくなるような階層分岐の態様を決定する。
【００２９】
次に、ＤＲテーブル１１、１２および１３において計算される最大残差の度数分布表を図４を用いて説明する。図４Ａは、１６×１６ブロックで構成される階層Ｌ１の１フレーム期間の最大残差の度数分布表を示し、ブロックの最大残差がしきい値Ｔｈより大きいか否かにより有意判定が行われる。この図４Ａにおいて、しきい値Ｔｈより小さい側の面積ｓ０は無意ブロックを示し、しきい値Ｔｈ以上の面積ｓ１は有意ブロックと判定されたブロックの数を示すことになる。
【００３０】
図４Ｂは、８×８ブロックで構成される階層Ｌ２の１フレーム期間の最大残差の度数分布表を示している。この度数分布は、図４Ａに示すブロック数の４倍のブロック数が計数される。また、階層Ｌ１において、有意と判定されたブロックであっても、階層Ｌ２では、有意と判定されるブロックと、無意と判定されるブロックがあり、図４Ｂでは、有意と判定されたブロック数が面積ｓ２で表されている。
【００３１】
同様に、図４Ｃは、４×４ブロックで構成される階層Ｌ３の１フレーム期間の最大残差の度数分布表を示している。この度数分布は、図４Ｂに示すブロック数の４倍のブロック数が計数される。また、有意と判定された面積ｓ２のブロックであっても、階層Ｌ３では、有意と判定されるブロックと、無意と判定されるブロックがあり、図４Ｃでは、有意と判定されたブロック数が面積ｓ３で表されている。
【００３２】
上述したように、これらの度数分布表がＤＲテーブル１１、１２および１３から情報量予測計算回路１４へ供給され、情報量予測計算回路１４では、さまざまな階層分岐の態様毎に有意ブロック数および有意フラグビット数が以下に示すように、求められる。
【００３３】
Ｌ１の場合
（有意ブロック数）_L1＝ｓ１
（有意フラグビット数）_L1＝ｓ０＋ｓ１
【００３４】
Ｌ１−Ｌ２−Ｌ３の場合
（有意ブロック数）_L1-L2-L3＝ｓ３
（有意フラグビット数）_L1-L2-L3＝ｓ０＋ｓ１＋ｓ１×４＋ｓ２×４
【００３５】
Ｌ１−Ｌ３の場合
（有意ブロック数）_L1-L3＝ｓ３
（有意フラグビット数）_L1-L3＝ｓ０＋ｓ１＋ｓ１×１６
【００３６】
Ｌ２−Ｌ３の場合
（有意ブロック数）_L2-L3＝ｓ３
（有意フラグビット数）_L2-L3＝（ｓ０＋ｓ１）×４＋ｓ２×４
【００３７】
Ｌ１−Ｌ２の場合
（有意ブロック数）_L1-L2＝ｓ３
（有意フラグビット数）_L1-L2＝ｓ０＋ｓ１＋ｓ１×４
【００３８】
また、量子化回路４は、量子化ビット割当用のしきい値Ｔｈ、Ｔｈ１、Ｔｈ２、Ｔｈ３に基づいて、可変長符号化を行う。図５を用いて、その可変長量子化の一例を説明する。一例として、適応量子化器の割当ビット数を符号の１ビットを含めて２〜５ビットとし、有意判定用のしきい値Ｔｈによって、有意ブロックと判定されたブロックの最大残差と量子化ビット割当用のしきい値Ｔｈ１、Ｔｈ２、Ｔｈ３とで比較することで量子化ビット割り当てが以下のように決定される。
【００３９】
Ｔｈ＜（最大残差）≦Ｔｈ１：１ビット量子化
Ｔｈ１＜（最大残差）≦Ｔｈ２：２ビット量子化
Ｔｈ２＜（最大残差）≦Ｔｈ３：３ビット量子化
Ｔｈ３＜（最大残差）：４ビット量子化
【００４０】
このときの量子化による符号化データの符号化データ量は、ＡＤＲＣを用いたときのバッファリングの原理と同様にして求めることができる。各階層分岐に応じた量子化ビット数（量子化コードの合計ビット数を意味する）は、各階層分岐の態様における最下位層における度数分布の面積に応じて以下のように決定される。例えば、階層Ｌ１のみの処理を行う場合には、この階層Ｌ１が最下位層となり、また、階層Ｌ１−Ｌ２−Ｌ３の処理を行う場合には、階層Ｌ３が最下位層となる。図５の例では、第３階層の度数分布表であって、各面積について第３階層のものであることを示す `３' の添字を付加する。他の階層Ｌ１、Ｌ２についてもそれぞれ `１' および `２' の添字を付加する。
【００４１】
Ｌ１の場合
（量子化ビット数）_L1＝（Ｓ₁１×２＋Ｓ₁２×３＋Ｓ₁３×４＋Ｓ₁４×５）×（１６×１６）＋（Ｓ₁１＋Ｓ₁２＋Ｓ₁３＋Ｓ₁４）×８
【００４２】
Ｌ１−Ｌ２−Ｌ３の場合
（量子化ビット数）_L1-L2-L3＝（Ｓ₃１×２＋Ｓ₃２×３＋Ｓ₃３×４＋Ｓ₃４×５）×（４×４）＋（Ｓ₃１＋Ｓ₃２＋Ｓ₃３＋Ｓ₃４）×８
【００４３】
Ｌ１−Ｌ３の場合
（量子化ビット数）_L1-L3＝（Ｓ₃１×２＋Ｓ₃２×３＋Ｓ₃３×４＋Ｓ₃４×５）×（４×４）＋（Ｓ₃１＋Ｓ₃２＋Ｓ₃３＋Ｓ₃４）×８
【００４４】
Ｌ２−Ｌ３の場合
（量子化ビット数）_L2-L3＝（Ｓ₃１×２＋Ｓ₃２×３＋Ｓ₃３×４＋Ｓ₃４×５）×（４×４）＋（Ｓ₃１＋Ｓ₃２＋Ｓ₃３＋Ｓ₃４）×８
【００４５】
Ｌ１−Ｌ２の場合
（量子化ビット数）_L1-L2＝（Ｓ₂１×２＋Ｓ₂２×３＋Ｓ₂３×４＋Ｓ₂４×５）×（８×８）＋（Ｓ₂１＋Ｓ₂２＋Ｓ₂３＋Ｓ₂４）×８
【００４６】
以上のようにして、あるしきい値Ｔｈが決定すると、各階層分岐の態様毎に求められた有意フラグビット数と上式のように求められた量子化ビット数を加算することで符号化データの符号化データ量を算出することができる。すなわち、各階層分岐の態様毎に次式によって、符号化データ量が計算される。
（符号化データ量）_*＝（有意フラグビット数）_*＋（量子化ビット数）_*
ただし、＊は、階層分岐の態様を表し、階層番号はこれを、例えば３ビットで表記するものである。
【００４７】
このように、求められた符号化データ量が最小となるものが最も効率的な階層分岐の態様である。また、その最小の符号化データ量が目標ビットレートと比較され、目標ビットレートを越える場合には、しきい値Ｔｈ、Ｔｈ１、Ｔｈ２、Ｔｈ３が変更され、符号化データ量が目標ビットレート以下となるまで同様の処理が繰り返される。
【００４８】
次に、しきい値ＲＯＭ１５に用いられるＲＯＭテーブルの一例を図６に示す。このＲＯＭテーブルには、有意判定用のしきい値と、量子化ビット割当用のしきい値が設定されており、しきい値番号が小さいと、符号化データ量は大きく、しきい値番号が大きくなるにつれて符号化データ量が小さくなるように測定、シュミレーション、経験等に基づいて設定されている。ある、伝送路に応じた目標ビットレートが設定されると、後述する図７に示す処理手順に従って、しきい値番号の小さい方から、上述したように、符号化データ量の予測計算が行われ、さらにその中で最小の符号化データ量となる階層分岐の態様が選択される。
【００４９】
その後、しきい値番号を順に大きい方に検索し、同様な計算を行って目標ビットレートより符号化データ量が下回ったところで、しきい値番号が決定される。この決定されたしきい値番号に格納されているしきい値の組合せによって、実際に有意ブロックの判定（階層分岐を含む）と適応量子化が行われることになる。最終的に、伝送される符号化データは、上述の有意フラグと量子化コード以外に、しきい値番号および階層分岐の態様を示す識別番号がフレーミング回路１７から伝送される。
【００５０】
ここで、上述のしきい値番号を決定するための手順の一例を図７に示す。このフローチャートは、ステップ２１から始まり、このステップ２１では、最終的に伝送される符号化データ量の目標ビットレートが設定される。そして、ステップ２２では、しきい値番号の初期設定が行われ、しきい値番号に０が設定され、ステップ２３へ制御が移る。ステップ２３では、そのしきい値番号が１５より大きいか否かが判断され、１５よりしきい値番号が小さい場合、ステップ２４へ制御が移り、１５よりしきい値番号が大きい場合、ステップ２８へ制御が移る。
【００５１】
ステップ２４では、しきい値番号によるしきい値に基づいて、上述したような各階層分岐の態様による符号化データ量の計算が行われ、ステップ２５では、各階層分岐の態様の中から最小値となる符号化データ量が算出され、ステップ２６において、その符号化データ量がステップ２１で設定された目標ビットレートより、小さいか否かが判断される。目標ビットレートより符号化データ量が大きい場合、ステップ２７へ制御が移り、目標ビットレートより符号化データ量が小さい場合、ステップ２８へ制御が移る。
【００５２】
そして、ステップ２７では、しきい値番号を＋１インクリメントし、ステップ２３へ制御が移る。このようにして、しきい値番号（アドレス）が０から１５まで１つづつ移り、そのつど有意判定用のしきい値および量子化ビット割当用のしきい値が変更され、各階層分岐の態様による符号化データ量（有意フラグビット数と量子化ビット数）が計算される。これを繰り返すことで計算された符号化データ量が目標ビットレートより小さくなるしきい値番号が選択されると、上述したようにステップ２７からステップ２８へ制御が移る。そして、ステップ２８では、選択されたしきい値番号に決定されると共に、そのときの符号化データ量を生じさせた階層分岐の態様を指示する階層番号が決定される。そして、このフローチャートは終了する。また、このフローチャートは、１フレーム毎にしきい値番号および階層番号の決定が行われる。
【００５３】
ここで、この画像信号伝送装置の復号側の一実施例を図８のブロック図に示す。上述のフレーミング回路１７から伝送される符号化データが入力端子３１を介してフレーム分解回路３２へ供給され、フレーム分解回路３２では、しきい値番号、符号化データ、動きベクトル、有意フラグ、階層番号に分解され、出力される。しきい値番号は、しきい値ＲＯＭ３３へ供給され、上述の図６に示すＲＯＭテーブルから対応する量子化ビット割当用のしきい値Ｔｈ１、Ｔｈ２、Ｔｈ３が選択され、選択されたしきい値Ｔｈ１、Ｔｈ２、Ｔｈ３は、しきい値ＲＯＭ３３から逆量子化回路３５へ供給される。
【００５４】
符号化データは、可変長符号化のデコーダ回路３４へ供給され、可変長符号化の復号が行われた後、逆量子化回路３５では、供給されたしきい値Ｔｈ１、Ｔｈ２、Ｔｈ３に基づいて、予測残差に復号される。復号された予測残差は、０データ補間回路３６において、有意フラグおよび階層分岐の識別番号に応じて０データを出力するか、供給された予測残差を出力するかが選択される。選択された出力は、加算器３７において、フレームメモリ３８からの出力と加算される。
【００５５】
アドレス制御回路３９には、フレーム分解回路３２から動きベクトル、有意フラグおよび階層分岐の識別番号が供給され、それらに基づいてフレームメモリ３８を制御している。フレームメモリ３８には、前フレームの復号画像が記憶され、アドレス制御回路３９からの制御信号に応じて、加算器３７へ復号画像を出力し、その加算結果（すなわち、復号画像）が再びフレームメモリ３８に記憶される。また、フレームメモリ３８から出力され、記憶される復号画像が出力端子４０を介して、出力される。
【００５６】
なお、有意フラグについては、ブロックの階層分岐の態様にしたがって、ツリー構造で圧縮を施すことなくまとめておくか、あるいは階層毎にフラグに対してフレーム単位でランレングス・ハフマン符号化を行って、さらに情報量を削減しても良い。ただし、この場合フレームメモリが必要となる。
【００５７】
この実施例では、並列に第１、第２および第３の度数分布表を生成しているが、第１の度数分布表を生成した後、第２の度数分布表を生成し、さらにその後第３の度数分布表を生成することで、階層分岐の態様を適宜選択することも可能である。
【００５８】
また、この実施例では、ブロックのアクティビティーとして予測残差の最大値の絶対値を使用しているが、予測残差の自乗和または予測残差の積和をアクティビティーとして使用することも可能である。
【００５９】
なお、上述の一実施例と異なり、量子化回路が固定長の量子化を行い、有意判定のしきい値を可変することによって、符号化データ量を制御するようにしても良い。
【００６０】
【発明の効果】
この発明に依れば、予測残差ブロックにおける有意判定を階層的に行い、且つしきい値に応じて階層の階層分岐を変化させることで、圧縮効率を高めることが可能となると共に、フィードフォワードバッファリングを行うことで、情報量を一定に制御するとが可能となる。
【図面の簡単な説明】
【図１】この発明の画像信号伝送装置の一実施例を示すブロック図である。
【図２】この発明に係る階層的ブロックの一例を示す略線図である。
【図３】この発明に係る線形量子化の一例の説明に用いる図である。
【図４】この発明に係る各階層の度数分布表の一例を示す分布図である。
【図５】この発明に係る非線形量子化の一例の説明に用いる図である。
【図６】この発明に係るしきい値番号の一例を示したＲＯＭテーブルである。
【図７】この発明に係るしきい値番号の検索の一例を処理を示したフローチャートである。
【図８】この発明の画像信号伝送装置の復号側の一実施例を示すブロック図である。
【符号の説明】
２動き検出回路
３減算器
４量子化回路
５逆量子化回路
６加算器
７フレームメモリ
８予測回路
９有意判定回路
１０ブロック化回路
１１、１２、１３ＤＲテーブル
１４情報量予測計算回路
１５しきい値ＲＯＭ
１６可変長符号化回路
１７フレーミング回路[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image signal transmission apparatus and method capable of further reducing the amount of data transmission when a blocked image signal is compressed.
[0002]
[Prior art]
Conventionally, in image compression, it is a general method to reduce the amount of information by quantizing a prediction residual obtained by some kind of preprocessing with a predetermined number of bits. As one effective technique for reducing the amount of data generated by quantizing the prediction residual in this way (hereinafter referred to as encoded data amount), the difference between the supplied sample value and the predicted value is calculated. Thus, the obtained prediction error is quantized with a predetermined number of bits. However, since all the prediction residuals are quantized, the amount of encoded data becomes considerable.
[0003]
As one method for suppressing the amount of encoded data, a significant determination is made to determine whether it is significant to divide the prediction residual into blocks and transmit each block, and it is determined to be insignificant in the significance determination. Some blocks do not transmit.
[0004]
[Problems to be solved by the invention]
However, in this case, if the block size is small, the appearance probability of a significant block is reduced, but the total number of blocks is increased, so that an overhead such as a flag is increased, resulting in an increase in the amount of encoded data. There was a problem that there was. In addition, if the block size is small, the number of significant blocks varies greatly depending on the content of the image, and there is a problem that it is difficult to control to keep the information amount constant.
[0005]
Accordingly, an object of the present invention is to reduce the amount of encoded data by adopting a hierarchical structure, and an image signal transmission apparatus capable of controlling the amount of encoded data below a target value by performing feedforward buffering. And to provide a method.
[0006]
[Means for Solving the Problems]
According to a first aspect of the present invention, there is provided an image signal transmission apparatus that performs encoding on a prediction residual between an input pixel value and a prediction value thereof, wherein the prediction residual is divided into first blocks. Based on the blocking means, the activity of the first block output by the first blocking means and the threshold value for significance determination input, it is determined whether each block is significant. Significance determining means for the first block for generating the first flag indicating whether or not it is significant, second blocking means for subdividing the first block and generating the second block, and second Based on the activity of the second block output by the blocking means and the threshold value for significance determination input, it is determined whether each second block is significant and indicates whether it is significant. Raw second flag To a significant determining means for the second block, significant judging means and the second significance determining means for block for the first blockAny significance determination meansInEvenA quantization means for quantizing a prediction residual included in a block determined to be significant;The aspect of the size of the first block and the size of the second block of a plurality of types determined in advance as a plurality of aspects of the hierarchical branching,While changing the threshold for significance,eachThreshold value for significance judgmentIs the smallest of the amount of information generated in each of the multiple modes of hierarchical branchingBy predicting the amount of generated information, a threshold value for determining the amount of information to be transmitted is equal to or less than a preset target value is determined, and the determined threshold value is a significance determination unit for the first and second blocks. Information amount control means in a feed-forward format configured to be supplied to and a hierarchical branch determined by the information amount control meansFirst and secondOf blockThe second flag corresponding to the second block obtained by subdividing the first flag and the significant block of the first blockThe flag and the output of the quantization meansat leastAn image signal transmission device comprising: framing means for transmission.
[0007]
Furthermore, the invention according to claim 5 is an image signal transmission method for encoding a prediction residual between an input pixel value and a prediction value thereof, wherein the prediction residual is divided into first blocks. It is determined whether each first block is significant based on one blocking step, the activity of the first block output by the first blocking step, and the threshold value for significance determination input. And a significance determination step for the first block for generating a first flag indicating whether or not it is significant, a second blocking step for subdividing the first block and generating a second block, Based on the second block activity output by the second blocking step and the input threshold value for significance determination, it is determined whether or not each second block is significant and the significance is determined. A significant determining step for the second block for generating a second flag indicating whether or not a significant decision step for significant determining step and the second block for the first blockAny significance determination stepInEvenA quantization step for quantizing a prediction residual included in a block determined to be significant;The aspect of the size of the first block and the size of the second block of a plurality of types determined in advance as a plurality of aspects of the hierarchical branching,While changing the threshold for significance,eachThreshold value for significance judgmentIs the smallest of the amount of information generated in each of the multiple modes of hierarchical branchingBy predicting the amount of generated information, a threshold value is set so that the amount of information to be transmitted is less than or equal to a preset target value, and the determined threshold value is used as a significance determination step for the first and second blocks. Information amount control step in a feed-forward format configured to be supplied to and a hierarchical branch determined by the information amount control step1st and 2ndOf blocksThe second flag corresponding to the second block obtained by subdividing the first flag and the significant block of the first blockThe flag and the output of the quantization step.at leastAn image signal transmission method comprising: a framing step for transmission.
[0008]
The amount of encoded data to be transmitted can be reduced by hierarchically determining the prediction residual, and the amount of encoded data can be controlled to a target value or less by performing feedforward buffering.
[0009]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. A block diagram of an embodiment of the image signal transmission apparatus is shown in FIG. The image data of the current frame is input from the input terminal indicated by 1, and the image data is supplied to the motion detection circuit 2 and the subtracter 3. Further, the prediction residual included in the significant block is quantized in the quantization circuit 4 by the significance determination, and the quantized value is supplied to the inverse quantization circuit 5. In the inverse quantization circuit 5, after the original prediction residual is restored from the quantized value and the threshold value, the prediction residual is supplied to the adder 6.
[0010]
In the adder 6, the decoded prediction residual and the predicted image data from the prediction circuit 8 are added, that is, the locally decoded output is supplied to the frame memory 7. The frame memory 7 stores the prediction result of the previous frame that has been subjected to motion compensation by local decoding. The image data of the previous frame is supplied from the frame memory 7 to the motion detection circuit 2 and the prediction circuit 8. The motion detection circuit 2 uses the input image data and the image data supplied from the frame memory 7 to detect a motion vector for each block, for example, by block matching between two frames of N frames and (N + 2) frames. Done.
[0011]
The detected motion vector is supplied from the motion detection circuit 2 to the framing circuit 17 and the prediction circuit 8. Then, in the subtracter 3, the prediction image data from the prediction circuit 8 is subtracted from the input image data, and a prediction residual is generated. The generated prediction residual is supplied to the blocking circuit 10 for hierarchization. In the block forming circuit 10, the supplied prediction residual is a first block of 16 lines × 16 pixels (hereinafter referred to as a 16 × 16 block), and a second block of 8 lines × 8 pixels (hereinafter, 8 × And a third block of 4 lines × 4 pixels (hereinafter referred to as a 4 × 4 block).
[0012]
The divided 16 × 16 blocks are supplied from the blocking circuit 10 to the DR table 11, the 8 × 8 blocks are supplied to the DR table 12, and similarly the 4 × 4 blocks are supplied to the DR table 13. In the DR tables 11, 12 and 13, a frequency distribution table of the maximum absolute value (maximum residual) of the prediction residual per frame is created for each layer corresponding to each block. The maximum residual is obtained for each block of each layer. Further, in each DR table 11, 12 and 13, a delay of one frame occurs for calculation of the encoded data amount. Then, the frequency distribution table calculated from each DR table 11, 12 and 13 is supplied to the information amount prediction calculation circuit 14.
[0013]
A target bit rate of the encoded data amount is set in advance in the information amount prediction calculation circuit 14, and threshold values Th, Th1, Th2, and Th3 are supplied from the threshold value ROM 15. The contents of the threshold ROM 15 are such that the first threshold value Th for significance determination and the second threshold values Th1, Th2, Th3 for allocating quantization bits are increased or decreased in a lump as will be described later. And based on measurements, simulations, experience, etc.
[0014]
Then, in the significance determination circuit 9, focusing on determining the significant block by comparing the threshold value Th with the maximum residual, the information amount prediction calculation circuit 14 is supplied from the threshold value ROM 15. A block having a maximum residual larger than the threshold Th is determined as a significant block.
[0015]
That is, the information amount prediction calculation circuit 14 uses the frequency distribution table supplied from each DR table 11, 12 and 13 as described later, and encodes data according to the threshold set in the threshold table. The amount is predicted, and the threshold number and the hierarchical branching mode are determined so as to be lower than the target bit rate. A significant block is actually determined based on the threshold number and the mode of hierarchy branching, and adaptive quantization is performed on the block determined to be a significant block. Further, the hierarchy number designating the determined hierarchy branching mode is supplied from the information amount prediction calculation circuit 14 to the significance determination circuit 9. The threshold number and the hierarchy number at that time are supplied to the framing circuit 17.
[0016]
As described above, in the threshold ROM 15, the threshold number is increased by one until the threshold number that is equal to or lower than the target bit rate is determined, and the threshold Th corresponding to the threshold number is increased. , Th1, Th2, Th3 are output to the information amount prediction calculation circuit 14.
[0017]
Then, the significance judgment circuit 9 has a hierarchy number indicating the mode of hierarchy branch from the information amount prediction calculation circuit 14, a threshold value Th for significance judgment from the threshold ROM 15, and a 16 × divided by the blocking circuit 10. 16 blocks, 8 × 8 blocks and 4 × 4 blocks are provided. In the significance determination circuit 9, the significance of the block is determined based on the threshold value Th in the form of hierarchical branching based on the hierarchical number, and the significance flag and the significant block data for identifying significance / insignificance are obtained. Is output.
[0018]
The significance flag from the significance determination circuit 9 is supplied to the framing circuit 17, and the data of the significant block is supplied to the quantization circuit 4 as described above. In the quantization circuit 4, the variable length (semi-fixed length) quantum is determined based on thresholds Th1, Th2, and Th3 for quantizing bit allocation supplied from the threshold ROM 15 to the supplied significant block data. Is done.
[0019]
The quantization circuit 4 is an adaptive quantization circuit having the quantization characteristics shown in FIG. FIG. 3 shows an example in the case of 3-bit fixed length quantization including a code. First, when determining a significant block, the maximum residual (dynamic range) is obtained in the block of interest, and a value obtained by dividing the maximum residual by 4 is determined as a quantization step width to predict each pixel. The residual is divided by this quantization step width to become an integer, which is used as a quantization code. In general, a prediction residual using, for example, 3-bit fixed length ADRC (dynamic range adaptive coding) is expressed as x_i, The number of quantization bits is n, the maximum residual is max, and the quantization code is q_iThen,
[0020]
q_i= [X_i/ (Max / 2^n-1)]
It is represented by However, [] means integerization.
[0021]
Based on the quantization bit allocation control described later, the prediction residual of the significant block is quantized according to the determined quantization bit allocation, and the maximum residual, the quantization code, and the significance flag are threshold values. Along with the value number and hierarchy number, it is formatted and transmitted.
[0022]
In FIG. 3, since the maximum residual is obtained on the minus side, an example in which the quantization code is (3, 2, 1, 0, -1, -2, -3, -4) from the plus side. As shown, when the maximum residual is obtained on the plus side, the 3-bit fixed-length quantization code in this example is (4, 3, 2, 1, 0, -1, -2, -3 from the plus side). ) In such quantization, the prediction residual 0 is decoded as 0, and the quantization range is biased toward the polarity where the maximum residual exists, so that the quantization error can be reduced.
[0023]
The quantization value from the quantization circuit 4 is supplied to the inverse quantization circuit 5 and the variable length coding circuit 16. In the inverse quantization circuit 5, the quantization value is inversely quantized based on the same threshold value Th1, Th2, Th3 for assigning quantization bits supplied to the quantization circuit 4, that is, the quantization value is decoded. And the original prediction residual is restored and supplied to the adder 6 as described above. In the variable length coding circuit 16, the amount of data is further reduced by using entropy coding such as Huffman coding for the supplied quantized value of the significant block, and is supplied to the framing circuit 17 together with the significant flag. The
[0024]
The framing circuit 17 is supplied with a significant flag, a variable-length-encoded quantized value, a motion vector, and an information amount prediction calculation circuit 14 with a threshold number and a hierarchy number indicating a hierarchy branching mode. The amount of data of the quantized value input to the framing circuit 17 varies depending on the content of the image, but the output of the framing circuit 17 is output at a constant bit rate according to the capacity of the transmission path.
[0025]
Here, an example of the hierarchical structure of the blocks is shown in FIG. The prediction residual is divided into, for example, a first block having a size of 16 × 16 blocks (first layer: L1). First, the maximum residual in the target block is detected, and this maximum value is determined in advance. Compare with threshold. As a result, if the maximum value is smaller than the threshold value, it is determined as an involuntary block, the significance flag is set to `0 ', and the prediction residual is not transmitted.
[0026]
`1 '(significant): (maximum residual)> threshold Th
`0 '(involuntary): (maximum residual) ≤ threshold Th
[0027]
On the other hand, if the maximum residual is larger than the threshold value, it is determined that the block is a significant block, a significant flag is set (set to `1 '), and control is transferred to a significant determination in a lower hierarchy. Blocks determined to be significant in the first hierarchy are further subdivided into second blocks having a size of 8 × 8 blocks (second hierarchy: L2), the same significance determination is performed, and the second hierarchy is determined to be significant The block thus obtained is further divided into third blocks having a size of 4 × 4 blocks (third layer: L3), and significance determination is performed.
[0028]
Here, the hierarchical branching mode of the block has been described so that the hierarchical branching is performed in the order of L1-L2-L3. However, when hierarchical branching is performed in the order of L1-L2, the hierarchical branching is performed in the order of L1-L3. In some cases, branching is performed or hierarchical branching is performed in the order of L2-L3. The information amount prediction calculation circuit 14 determines the mode of hierarchical branching that minimizes the amount of encoded data when a certain significance determination threshold value Th is given.
[0029]
Next, a frequency distribution table of maximum residuals calculated in the DR tables 11, 12 and 13 will be described with reference to FIG. FIG. 4A shows a frequency distribution table of the maximum residuals in one frame period of the layer L1 composed of 16 × 16 blocks, and the significance determination is performed based on whether or not the maximum residuals of the blocks are larger than the threshold value Th. . In FIG. 4A, the area s0 on the side smaller than the threshold Th indicates an involuntary block, and the area s1 greater than or equal to the threshold Th indicates the number of blocks determined to be significant blocks.
[0030]
FIG. 4B shows a frequency distribution table of maximum residuals in one frame period of the layer L2 composed of 8 × 8 blocks. In this frequency distribution, the number of blocks four times the number of blocks shown in FIG. 4A is counted. Further, even if the block is determined to be significant in the hierarchy L1, there are a block determined to be significant and a block determined to be insignificant in the hierarchy L2, and in FIG. 4B, the number of blocks determined to be significant is It is represented by area s2.
[0031]
Similarly, FIG. 4C shows a frequency distribution table of maximum residuals in one frame period of the layer L3 composed of 4 × 4 blocks. In this frequency distribution, the number of blocks four times the number of blocks shown in FIG. 4B is counted. Further, even in the block having the area s2 determined to be significant, there are a block determined to be significant and a block determined to be insignificant in the hierarchy L3. In FIG. 4C, the number of blocks determined to be significant is the area. It is represented by s3.
[0032]
As described above, these frequency distribution tables are supplied from the DR tables 11, 12, and 13 to the information amount prediction calculation circuit 14, and the information amount prediction calculation circuit 14 determines the number of significant blocks and the significance for each of the various hierarchical branching modes. The number of flag bits is determined as shown below.
[0033]
For L1
(Significant number of blocks)_L1= S1
(Significant flag bit count)_L1= S0 + s1
[0034]
For L1-L2-L3
(Significant number of blocks)_L1-L2-L3= S3
(Significant flag bit count)_L1-L2-L3= S0 + s1 + s1 × 4 + s2 × 4
[0035]
For L1-L3
(Significant number of blocks)_L1-L3= S3
(Significant flag bit count)_L1-L3= S0 + s1 + s1 × 16
[0036]
For L2-L3
(Significant number of blocks)_L2-L3= S3
(Significant flag bit count)_L2-L3= (S0 + s1) × 4 + s2 × 4
[0037]
For L1-L2
(Significant number of blocks)_L1-L2= S3
(Significant flag bit count)_L1-L2= S0 + s1 + s1 × 4
[0038]
Further, the quantization circuit 4 performs variable length coding based on threshold values Th, Th1, Th2, Th3 for quantizing bit allocation. An example of the variable length quantization will be described with reference to FIG. As an example, the number of assigned bits of the adaptive quantizer is 2 to 5 bits including 1 bit of the code, and the maximum residual and quantized bit of the block determined to be a significant block by the threshold value Th for significance determination By comparing with the threshold values Th1, Th2, and Th3 for allocation, quantization bit allocation is determined as follows.
[0039]
Th <(maximum residual) ≦ Th1: 1-bit quantization
Th1 <(maximum residual) ≦ Th2: 2-bit quantization
Th2 <(maximum residual) ≦ Th3: 3-bit quantization
Th3 <(maximum residual): 4-bit quantization
[0040]
The encoded data amount of the encoded data by quantization at this time can be obtained in the same manner as the buffering principle when ADRC is used. The number of quantization bits corresponding to each hierarchical branch (meaning the total number of bits of the quantization code) is determined as follows according to the area of the frequency distribution in the lowest layer in the mode of each hierarchical branch. For example, when processing only the layer L1, the layer L1 is the lowest layer, and when processing the layers L1-L2-L3, the layer L3 is the lowest layer. In the example of FIG. 5, a frequency distribution table of the third hierarchy, and a subscript “3” indicating that the area is of the third hierarchy is added. Subscripts `1 'and` 2' are added to the other hierarchies L1 and L2, respectively.
[0041]
For L1
(Quantization bit number)_L1= (S₁1x2 + S₁2 × 3 + S₁3x4 + S₁4 × 5) × (16 × 16) + (S₁1 + S₁2 + S₁3 + S₁4) × 8
[0042]
For L1-L2-L3
(Quantization bit number)_L1-L2-L3= (S_Three1x2 + S_Three2 × 3 + S_Three3x4 + S_Three4 × 5) × (4 × 4) + (S_Three1 + S_Three2 + S_Three3 + S_Three4) × 8
[0043]
For L1-L3
(Quantization bit number)_L1-L3= (S_Three1x2 + S_Three2 × 3 + S_Three3x4 + S_Three4 × 5) × (4 × 4) + (S_Three1 + S_Three2 + S_Three3 + S_Three4) × 8
[0044]
For L2-L3
(Quantization bit number)_L2-L3= (S_Three1x2 + S_Three2 × 3 + S_Three3x4 + S_Three4 × 5) × (4 × 4) + (S_Three1 + S_Three2 + S_Three3 + S_Three4) × 8
[0045]
For L1-L2
(Quantization bit number)_L1-L2= (S₂1x2 + S₂2 × 3 + S₂3x4 + S₂4 × 5) × (8 × 8) + (S₂1 + S₂2 + S₂3 + S₂4) × 8
[0046]
As described above, when a certain threshold value Th is determined, the encoded data is obtained by adding the number of significant flag bits obtained for each mode of the hierarchical branching and the number of quantization bits obtained as shown in the above equation. Can be calculated. That is, the encoded data amount is calculated by the following equation for each hierarchical branch mode.
(Encoded data amount)_*= (Significant number of flag bits)_*+ (Quantization bit number)_*
However, * represents the mode of hierarchical branching, and the hierarchical number represents this in 3 bits, for example.
[0047]
In this way, the most efficient hierarchical branching mode has the smallest amount of encoded data obtained. Further, the minimum encoded data amount is compared with the target bit rate, and when the target bit rate is exceeded, the threshold values Th, Th1, Th2, Th3 are changed, and the encoded data amount is less than the target bit rate. The same processing is repeated until it becomes.
[0048]
Next, an example of a ROM table used for the threshold ROM 15 is shown in FIG. In this ROM table, a threshold value for significance determination and a threshold value for quantization bit allocation are set. When the threshold number is small, the amount of encoded data is large and the threshold number is It is set based on measurement, simulation, experience, and the like so that the amount of encoded data decreases as the size increases. When a target bit rate corresponding to a certain transmission path is set, the prediction calculation of the encoded data amount is performed from the smaller threshold number according to the processing procedure shown in FIG. 7 to be described later. In addition, a hierarchical branching mode that minimizes the amount of encoded data is selected.
[0049]
Thereafter, the threshold numbers are searched in order of increasing numbers, the same calculation is performed, and the threshold number is determined when the encoded data amount falls below the target bit rate. Based on the combination of threshold values stored in the determined threshold number, significant block determination (including hierarchical branching) and adaptive quantization are actually performed. Finally, the encoded data to be transmitted is transmitted from the framing circuit 17 in addition to the above-described significant flag and quantization code, the threshold number and the identification number indicating the hierarchical branching mode.
[0050]
Here, FIG. 7 shows an example of a procedure for determining the above-described threshold number. This flowchart starts from step 21, where a target bit rate for the amount of encoded data to be finally transmitted is set. In step 22, the threshold number is initially set, 0 is set in the threshold number, and control is transferred to step 23. In step 23, it is determined whether or not the threshold number is greater than 15. If the threshold number is smaller than 15, control is passed to step 24. If the threshold number is greater than 15, the process proceeds to step 28. Control is transferred.
[0051]
In step 24, the encoded data amount is calculated according to the mode of each hierarchical branch as described above based on the threshold value based on the threshold number. In step 25, the minimum value is selected from the mode of each hierarchical branch. In step 26, it is determined whether or not the encoded data amount is smaller than the target bit rate set in step 21. If the amount of encoded data is larger than the target bit rate, the control moves to step 27, and if the amount of encoded data is smaller than the target bit rate, the control moves to step 28.
[0052]
In step 27, the threshold number is incremented by +1, and control is transferred to step 23. In this way, the threshold number (address) is shifted one by one from 0 to 15, and the threshold for significance determination and the threshold for quantization bit allocation are changed each time. The amount of encoded data (number of significant flag bits and number of quantization bits) is calculated. When a threshold number is selected in which the encoded data amount calculated by repeating this is smaller than the target bit rate, the control shifts from step 27 to step 28 as described above. In step 28, the selected threshold number is determined, and the hierarchical number that indicates the mode of the hierarchical branch that causes the encoded data amount at that time is determined. Then, this flowchart ends. In this flowchart, the threshold number and the hierarchy number are determined for each frame.
[0053]
Here, an embodiment of the decoding side of this image signal transmission apparatus is shown in the block diagram of FIG. The encoded data transmitted from the framing circuit 17 is supplied to the frame decomposition circuit 32 via the input terminal 31, and the frame decomposition circuit 32 uses a threshold number, encoded data, motion vector, significant flag, and hierarchy number. To be output. The threshold number is supplied to the threshold ROM 33, and the corresponding threshold values Th1, Th2, Th3 for assigning quantization bits are selected from the ROM table shown in FIG. 6, and the selected threshold Th1 is selected. , Th2 and Th3 are supplied from the threshold ROM 33 to the inverse quantization circuit 35.
[0054]
The encoded data is supplied to the decoder circuit 34 for variable length encoding, and after decoding for variable length encoding is performed, the inverse quantization circuit 35 uses the supplied threshold values Th1, Th2, and Th3. , Decoded into prediction residuals. The decoded prediction residual is selected by the 0 data interpolation circuit 36 as to output 0 data or output the supplied prediction residual according to the significance flag and the hierarchical branch identification number. The selected output is added to the output from the frame memory 38 in the adder 37.
[0055]
The address control circuit 39 is supplied with a motion vector, a significant flag, and a hierarchical branch identification number from the frame decomposition circuit 32, and controls the frame memory 38 based on them. The frame memory 38 stores the decoded image of the previous frame, outputs the decoded image to the adder 37 in accordance with the control signal from the address control circuit 39, and the addition result (that is, the decoded image) is the frame memory again. 38. Also, a decoded image that is output from the frame memory 38 and stored is output via the output terminal 40.
[0056]
Note that significant flags are grouped together without compression in a tree structure according to the mode of hierarchical branching of blocks, or run-length Huffman coding is performed on a frame-by-frame basis for each flag, Further, the amount of information may be reduced. In this case, however, a frame memory is required.
[0057]
In this embodiment, the first, second, and third frequency distribution tables are generated in parallel. However, after the first frequency distribution table is generated, the second frequency distribution table is generated, and then the second frequency distribution table is generated. By generating the frequency distribution table of 3, it is possible to appropriately select the mode of hierarchical branching.
[0058]
In this embodiment, the absolute value of the maximum value of the prediction residual is used as the block activity. However, it is also possible to use the sum of squares of the prediction residual or the product sum of the prediction residuals as the activity. .
[0059]
Note that, unlike the above-described embodiment, the quantization data may be controlled by performing a fixed-length quantization and varying the threshold value for significance determination.
[0060]
【The invention's effect】
According to the present invention, it is possible to increase the compression efficiency by performing hierarchical determination of prediction residual blocks hierarchically and changing the hierarchical branch of the hierarchy according to the threshold value, and also feed forward. By performing buffering, the amount of information can be controlled to be constant.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an embodiment of an image signal transmission apparatus according to the present invention.
FIG. 2 is a schematic diagram showing an example of a hierarchical block according to the present invention.
FIG. 3 is a diagram used for explaining an example of linear quantization according to the present invention;
FIG. 4 is a distribution diagram showing an example of a frequency distribution table of each hierarchy according to the present invention.
FIG. 5 is a diagram used for explaining an example of nonlinear quantization according to the present invention;
FIG. 6 is a ROM table showing an example of threshold numbers according to the present invention.
FIG. 7 is a flowchart showing an example of a threshold number search according to the present invention.
FIG. 8 is a block diagram showing an embodiment of the decoding side of the image signal transmission apparatus of the present invention.
[Explanation of symbols]
2 Motion detection circuit
3 Subtractor
4 Quantization circuit
5 Inverse quantization circuit
6 Adder
7 frame memory
8 Prediction circuit
9 Significance judgment circuit
10 Block circuit
11, 12, 13 DR table
14 Information amount prediction calculation circuit
15 Threshold ROM
16 Variable length coding circuit
17 Framing circuit

Claims

In an image signal transmission apparatus that performs encoding on a prediction residual between an input pixel value and a prediction value thereof,
First blocking means for dividing the prediction residual into first blocks;
Based on the activity of the first block output by the first blocking means and the threshold value for significance determination input, it is determined whether or not each of the first blocks is significant and the significance is determined. Significance determining means for the first block for generating a first flag indicating whether or not,
A second blocking means for subdividing the first block and generating a second block;
Based on the activity of the second block output by the second blocking means and the threshold value for significance determination input, it is determined whether or not each second block is significant, and Significance determination means for the second block that generates a second flag indicating whether or not it is significant,
Quantization for quantizing the prediction residual included in the first significant decision means and any significant Oite to the determining means also is determined to be significant blocks significantly determination means for the second block for the block Means,
The aspect of the size of the first block and the size of the second block of a plurality of types determined in advance as a plurality of aspects of hierarchical branching,
While varying the threshold value of the significant decision, by predicting the smallest amount of information generated among the respective amount of information generated more aspects of Oite the hierarchy branch thresholds for each significance determination, A threshold value is set so that the amount of information to be transmitted is less than or equal to a preset target value, and the determined threshold value is supplied to the significance determination means for the first and second blocks. Configured feedforward information amount control means;
Corresponds to the second block obtained by subdividing the first flag and the significant block of the first block of the first and second blocks corresponding to the hierarchical branch determined by the information amount control means. Framing means for transmitting at least the second flag and the output of the quantization means;
An image signal transmission device comprising:

The image signal transmission device according to claim 1,
The information amount control means respectively forms a frequency distribution table for a predetermined period of the activity of the structure of the first and second blocks for the prediction residual to be encoded,
The number of significant blocks is calculated from the area of a part larger than a predetermined threshold for significance determination in the frequency distribution table for each of the plurality of aspects of the hierarchy branch, and the occurrence information is calculated from the calculated number of significant blocks Predict each quantity,
Compare the predicted minimum amount of generated information to the target value,
An image signal transmission device configured to determine the threshold value such that a predicted minimum value of the generated information amount is equal to or less than the target value.

The image signal transmission device according to claim 1,
The quantization means, a significant block of the block of the lowest layer corresponding to the hierarchy branch determined above, based on a plurality of thresholds for quantizing bit allocation, allocation according to the activity size Kunar of the significant block Quantize to increase the number of quantization bits ,
The information amount control means, while varying the threshold of the threshold value and the plurality of quantization bit allocation for the significant decision, a plurality of quantization bit allocation and the threshold for each significance determination By predicting the amount of generated information that is the smallest among the amounts of information generated in each of the plurality of aspects of the above-described hierarchical branching, the threshold value for which the amount of information to be transmitted is less than or equal to a preset target value Decide
The quantization means is configured to quantize the significant block based on a plurality of quantization bit allocation threshold values corresponding to the determined threshold value. Image signal transmission device.

The image signal transmission apparatus according to claim 3.
The information amount control means respectively forms a frequency distribution table for a predetermined period of the activity of the structure of the first and second blocks for the prediction residual to be encoded,
For each of a plurality of aspects of the hierarchical branch, calculate the number of significant blocks from the area of the frequency distribution table that is larger than the threshold value for significance determination ,
The first and second flags predicted based on the number of significant and ineffective blocks of the first block calculated for each of the plurality of modes , the threshold value for significance determination, and a plurality of quantization bits Predict the amount of generated information from the number of quantization bits corresponding to significant blocks of the lowest layer block based on the threshold for allocation ,
Compare the predicted minimum amount of generated information to the target value,
The threshold value for significance determination and the threshold value for allocating a plurality of quantized bits are determined so that the predicted minimum value of the generated information amount is not more than the target value. An image signal transmission device.

In an image signal transmission method for encoding a prediction residual between an input pixel value and a prediction value thereof,
A first blocking step of dividing the prediction residual into a first block;
Based on the activity of the first block output by the first blocking step and the threshold value for significance determination input, it is determined whether each of the first blocks is significant and the significance is determined. A significance determination step for the first block for generating a first flag indicating whether or not,
A second blocking step of subdividing the first block to generate a second block;
Based on the activity of the second block output by the second blocking step and the threshold value for significance determination input, it is determined whether or not each second block is significant, and A significance determination step for the second block for generating a second flag indicating whether or not it is significant;
Quantization for quantizing the prediction residual included in the block that was also determined that significant Oite to any significant determining step of significance determination step for significant determining step and the second block for the first block Steps,
The aspect of the size of the first block and the size of the second block of a plurality of types determined in advance as a plurality of aspects of hierarchical branching,
While varying the threshold value of the significant decision, by predicting the smallest amount of information generated among the respective amount of information generated more aspects of Oite the hierarchy branch thresholds for each significance determination, A threshold value is set so that the amount of information to be transmitted is less than or equal to a preset target value, and the determined threshold value is supplied to the significance determination step for the first and second blocks. A configured feedforward information amount control step;
Corresponding to the second block obtained by subdividing the first flag and the significant block of the first block of the first and second blocks corresponding to the hierarchical branch determined by the information amount control step. A framing step for transmitting at least the second flag and the output of the quantization step;
An image signal transmission method comprising:

The image signal transmission method according to claim 1,
The information amount control step forms a frequency distribution table for a predetermined period of the activity of the structure of the first and second blocks for the prediction residual to be encoded,
The number of significant blocks is calculated from the area of a part larger than a predetermined threshold for significance determination in the frequency distribution table for each of the plurality of aspects of the hierarchy branch, and the occurrence information is calculated from the calculated number of significant blocks Predict each quantity,
Compare the predicted minimum amount of generated information to the target value,
An image signal transmission method configured to determine the threshold value such that a predicted minimum value of the generated information amount is equal to or less than the target value.

The image signal transmission method according to claim 1,
The quantization step assigned, a significant block of the block of the lowest layer corresponding to the hierarchy branch determined above, based on a plurality of thresholds for quantizing bit allocation, the activity of the significant blocks according to the size Kunar Quantize to increase the number of quantization bits ,
In the information amount control step, the threshold value for significance determination and the threshold values for assigning a plurality of quantized bits are set while varying the threshold value for significance determination and the threshold values for assigning the plurality of quantized bits. By predicting the amount of generated information that is the smallest among the amounts of information generated in each of the plurality of aspects of the above-described hierarchical branching, the threshold value for which the amount of information to be transmitted is less than or equal to a preset target value Decide
The quantization step is configured to quantize the significant block based on a plurality of quantization bit allocation threshold values corresponding to the determined threshold value. Image signal transmission method.

The image signal transmission method according to claim 3,
The information amount control step forms a frequency distribution table for a predetermined period of the activity of the structure of the first and second blocks for the prediction residual to be encoded,
For each of a plurality of aspects of the hierarchical branch, calculate the number of significant blocks from the area of the frequency distribution table that is larger than the threshold value for significance determination ,
The first and second flags predicted based on the number of significant and ineffective blocks of the first block calculated for each of the plurality of modes , the threshold value for significance determination, and a plurality of quantization bits Predict the amount of generated information from the number of quantization bits corresponding to significant blocks of the lowest layer block based on the threshold for allocation ,
Compare the predicted minimum amount of generated information to the target value,
The threshold value for significance determination and the threshold value for allocating a plurality of quantized bits are determined so that the predicted minimum value of the generated information amount is not more than the target value. An image signal transmission method.