JPH06209468A

JPH06209468A - 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置

Info

Publication number: JPH06209468A
Application number: JP1927893A
Authority: JP
Inventors: Katsumi Tawara; 勝己田原; Tomoyuki Sato; 智之佐藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1993-01-11
Filing date: 1993-01-11
Publication date: 1994-07-26
Anticipated expiration: 2016-07-16
Also published as: JP3189258B2

Abstract

(57)【要約】【目的】異なる階層の解像度の画像信号を伝送する場
合におけるオーバヘッドを減少させる。【構成】高解像度の画像信号をダウンサンプリング回
路１０１により、縦横、それぞれ１／２にダウンサンプ
リングして、１／４の解像度の画像信号を生成する。低
解像度エンコーダ１８Ｌにより１／４の解像度の画像信
号を符号化し、伝送する。このとき得られる予測画像信
号、動きベクトル、予測モード、フレーム／フィールド
予測フラグ、フレーム／フィールドＤＣＴフラグを、高
解像度エンコーダ１８Ｈに供給する。高解像度エンコー
ダ１８Ｈは、これらの信号を利用して、高解像度の画像
信号を符号化する。低解像度のモード情報（予測モー
ド、フレーム／フィールド予測フラグ、フレーム／フィ
ールドＤＣＴフラグ）と動きベクトルは伝送するが、高
解像度のモード情報は伝送しない。また、高解像度の動
きベクトルは、低解像度の動きベクトルとの差分ベクト
ルのみを伝送する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像信号を、例えば
光磁気ディスクや磁気テープなどの記録媒体に記録し、
これを再生してディスプレイなどに表示したり、テレビ
会議システム、テレビ電話システム、放送用機器など、
動画像信号を伝送路を介して送信側から受信側に伝送
し、受信側において、これを受信し、表示する場合など
に用いて好適な画像信号符号化方法および画像信号符号
化装置、画像信号復号化方法および画像信号復号化装
置、ならび画像信号記録媒体に関する。

【０００２】

【従来の技術】例えば、テレビ会議システム、テレビ電
話システムなどのように、動画像信号を遠隔地に伝送す
るシステムにおいては、伝送路を効率良く利用するた
め、映像信号のライン相関やフレーム間相関を利用し
て、画像信号を圧縮符号化するようになされている。

【０００３】ライン相関を利用すると、画像信号を、例
えばＤＣＴ（離散コサイン変換）処理するなどして圧縮
することができる。

【０００４】また、フレーム間相関を利用すると、画像
信号をさらに圧縮して符号化することが可能となる。例
えば図１２に示すように、時刻ｔ１，ｔ２，ｔ３におい
て、フレーム画像ＰＣ１，ＰＣ２，ＰＣ３がそれぞれ発
生しているとき、フレーム画像ＰＣ１とＰＣ２の画像信
号の差を演算して、ＰＣ１２を生成し、また、フレーム
画像ＰＣ２とＰＣ３の差を演算して、ＰＣ２３を生成す
る。通常、時間的に隣接するフレームの画像は、それ程
大きな変化を有していないため、両者の差を演算する
と、その差分信号は小さな値のものとなる。そこで、こ
の差分信号を符号化すれば、符号量を圧縮することがで
きる。

【０００５】しかしながら、差分信号のみを伝送したの
では、元の画像を復元することができない。そこで、各
フレームの画像を、Ｉピクチャ、ＰピクチャまたはＢピ
クチャの３種類のピクチャのいずれかのピクチャとし、
画像信号を圧縮符号化するようにしている。

【０００６】即ち、例えば図１３に示すように、フレー
ムＦ１乃至Ｆ１７までの１７フレームの画像信号をグル
ープオブピクチャとし、処理の１単位とする。そして、
その先頭のフレームＦ１の画像信号はＩピクチャとして
符号化し、第２番目のフレームＦ２はＢピクチャとし
て、また第３番目のフレームＦ３はＰピクチャとして、
それぞれ処理する。以下、第４番目以降のフレームＦ４
乃至Ｆ１７は、ＢピクチャまたはＰピクチャとして交互
に処理する。

【０００７】Ｉピクチャの画像信号としては、その１フ
レーム分の画像信号をそのまま伝送する。これに対し
て、Ｐピクチャの画像信号としては、基本的には、図１
３（Ａ）に示すように、それより時間的に先行するＩピ
クチャまたはＰピクチャの画像信号からの差分を伝送す
る。さらにＢピクチャの画像信号としては、基本的に
は、図１３（Ｂ）に示すように、時間的に先行するフレ
ームまたは後行するフレームの両方の平均値からの差分
を求め、その差分を符号化する。

【０００８】図１４は、このようにして、動画像信号を
符号化する方法の原理を示している。同図に示すよう
に、最初のフレームＦ１はＩピクチャとして処理される
ため、そのまま伝送データＦ１Ｘとして伝送路に伝送さ
れる（画像内符号化）。これに対して、第２のフレーム
Ｆ２は、Ｂピクチャとして処理されるため、時間的に先
行するフレームＦ１と、時間的に後行するフレームＦ３
の平均値との差分が演算され、その差分が伝送データＦ
２Ｘとして伝送される。

【０００９】但し、このＢピクチャとしての処理は、さ
らに細かく説明すると、４種類存在する。その第１の処
理は、元のフレームＦ２のデータをそのまま伝送データ
Ｆ２Ｘとして伝送するものであり（ＳＰ１）（イントラ
符号化）、Ｉピクチャにおける場合と同様の処理とな
る。第２の処理は、時間的に後のフレームＦ３からの差
分を演算し、その差分（ＳＰ２）を伝送するものである
（後方予測符号化）。第３の処理は、時間的に先行する
フレームＦ１との差分（ＳＰ３）を伝送するものである
（前方予測符号化）。さらに第４の処理は、時間的に先
行するフレームＦ１と後行するフレームＦ３の平均値と
の差分（ＳＰ４）を生成し、これを伝送データＦ２Ｘと
して伝送するものである（両方向予測符号化）。

【００１０】この４つの方法のうち、伝送データが最も
少なくなる方法が採用される。

【００１１】尚、差分データを伝送するとき、差分を演
算する対象となるフレームの画像（予測画像）との間の
動きベクトルｘ１（フレームＦ１とＦ２の間の動きベク
トル）（前方予測の場合）、もしくはｘ２（フレームＦ
３とＦ２の間の動きベクトル）（後方予測の場合）、ま
たはｘ１とｘ２の両方（両方向予測の場合）が、差分デ
ータとともに伝送される。

【００１２】また、ＰピクチャのフレームＦ３は、時間
的に先行するフレームＦ１を予測画像として、このフレ
ームとの差分信号（ＳＰ３）と、動きベクトルｘ３が演
算され、これが伝送データＦ３Ｘとして伝送される（前
方予測符号化）。あるいはまた、元のフレームＦ３のデ
ータがそのまま伝送データＦ３Ｘとして伝送される（Ｓ
Ｐ１）（イントラ符号化）。いずれの方法により伝送さ
れるかは、Ｂピクチャにおける場合と同様に、伝送デー
タがより少なくなる方が選択される。

【００１３】図１５は、上述した原理に基づいて、動画
像信号を符号化して伝送し、これを復号化する装置の構
成例を示している。符号化装置１は、入力された映像信
号を符号化し、伝送路としての記録媒体３に伝送するよ
うになされている。そして、復号化装置２は、記録媒体
３に記録された信号を再生し、これを復号して出力する
ようになされている。

【００１４】符号化装置１においては、入力された映像
信号が前処理回路１１に入力され、そこで輝度信号と色
信号（この例の場合、色差信号）が分離され、それぞれ
Ａ／Ｄ変換器１２，１３でＡ／Ｄ変換される。Ａ／Ｄ変
換器１２，１３によりＡ／Ｄ変換されてデジタル信号と
なった映像信号は、フレームメモリ１４に供給され、記
憶される。フレームメモリ１４は、輝度信号を輝度信号
フレームメモリ１５に、また、色差信号を色差信号フレ
ームメモリ１６に、それぞれ記憶させる。

【００１５】フォーマット変換回路１７は、フレームメ
モリ１４に記憶されたフレームフォーマットの信号を、
ブロックフォーマットの信号に変換する。即ち、図１６
に示すように、フレームメモリ１４に記憶された映像信
号は、１ライン当りＨドットのラインがＶライン集めら
れたフレームフォーマットのデータとされている。フォ
ーマット変換回路１７は、この１フレームの信号を、１
６ラインを単位としてＭ個のスライスに区分する。そし
て、各スライスは、Ｍ個のマクロブロックに分割され
る。各マクロブロックは、１６×１６個の画素（ドッ
ト）に対応する輝度信号により構成され、この輝度信号
は、さらに８×８ドットを単位とするブロックＹ［１］
乃至Ｙ［４］に区分される。そして、この１６×１６ド
ットの輝度信号には、８×８ドットのＣｂ信号と、８×
８ドットのＣｒ信号が対応される。

【００１６】このように、ブロックフォーマットに変換
されたデータは、フォーマット変換回路１７からエンコ
ーダ１８に供給され、ここでエンコード（符号化）が行
われる。その詳細については、図１７を参照して後述す
る。

【００１７】エンコーダ１８によりエンコードされた信
号は、ビットストリームとして伝送路に出力され、例え
ば記録媒体３に記録される。

【００１８】記録媒体３より再生されたデータは、復号
化装置２のデコーダ３１に供給され、デコードされる。
デコーダ３１の詳細については、図２０を参照して後述
する。

【００１９】デコーダ３１によりデコードされたデータ
は、フォーマット変換回路３２に入力され、ブロックフ
ォーマットからフレームフォーマットに変換される。そ
して、フレームフォーマットの輝度信号は、フレームメ
モリ３３の輝度信号フレームメモリ３４に供給され、記
憶され、色差信号は色差信号フレームメモリ３５に供給
され、記憶される。輝度信号フレームメモリ３４と色差
信号フレームメモリ３５より読み出された輝度信号と色
差信号は、Ｄ／Ａ変換器３６と３７によりそれぞれＤ／
Ａ変換され、後処理回路３８に供給され、合成される。
そして、図示せぬ例えばＣＲＴなどのディスプレイに出
力され、表示される。

【００２０】次に図１７を参照して、エンコーダ１８の
構成例について説明する。

【００２１】符号化されるべき画像データは、マクロブ
ロック単位で動きベクトル検出回路５０に入力される。
動きベクトル検出回路５０は、予め設定されている所定
のシーケンスに従って、各フレームの画像データを、Ｉ
ピクチャ、Ｐピクチャ、またはＢピクチャとして処理す
る。シーケンシャルに入力される各フレームの画像を、
Ｉ，Ｐ，Ｂのいずれのピクチャとして処理するかは、予
め定められている（例えば、図１３に示したように、フ
レームＦ１乃至Ｆ１７により構成されるグループオブピ
クチャが、Ｉ，Ｂ，Ｐ，Ｂ，Ｐ，・・・Ｂ，Ｐとして処
理される）。

【００２２】Ｉピクチャとして処理されるフレーム（例
えばフレームＦ１）の画像データは、動きベクトル検出
回路５０からフレームメモリ５１の前方原画像部５１ａ
に転送、記憶され、Ｂピクチャとして処理されるフレー
ム（例えばフレームＦ２）の画像データは、原画像部５
１ｂに転送、記憶され、Ｐピクチャとして処理されるフ
レーム（例えばフレームＦ３）の画像データは、後方原
画像部５１ｃに転送、記憶される。

【００２３】また、次のタイミングにおいて、さらにＢ
ピクチャ（フレームＦ４）またはＰピクチャ（フレーム
Ｆ５）として処理すべきフレームの画像が入力されたと
き、それまで後方原画像部５１ｃに記憶されていた最初
のＰピクチャ（フレームＦ３）の画像データが、前方原
画像部５１ａに転送され、次のＢピクチャ（フレームＦ
４）の画像データが、原画像部５１ｂに記憶（上書き）
され、次のＰピクチャ（フレームＦ５）の画像データ
が、後方原画像部５１ｃに記憶（上書き）される。この
ような動作が順次繰り返される。

【００２４】フレームメモリ５１に記憶された各ピクチ
ャの信号は、そこから読み出され、予測モード切り替え
回路５２において、フレーム予測モード処理、またはフ
ィールド予測モード処理が行なわれる。さらにまた予測
判定回路５４の制御の下に、演算部５３において、画像
内予測、前方予測、後方予測、または両方向予測の演算
が行なわれる。これらの処理のうち、いずれの処理を行
なうかは、予測誤差信号（処理の対象とされている参照
画像と、これに対する予測画像との差分）に対応して決
定される。このため、動きベクトル検出回路５０は、こ
の判定に用いられる予測誤差信号の絶対値和（自乗和で
もよい）を生成する。

【００２５】ここで、予測モード切り替え回路５２にお
けるフレーム予測モードとフィールド予測モードについ
て説明する。

【００２６】フレーム予測モードが設定された場合にお
いては、予測モード切り替え回路５２は、動きベクトル
検出回路５０より供給される４個の輝度ブロックＹ
［１］乃至Ｙ［４］を、そのまま後段の演算部５３に出
力する。即ち、この場合においては、図１８（Ａ）に示
すように、各輝度ブロックに奇数フィールドのラインの
データと、偶数フィールドのラインのデータとが混在し
た状態となっている。このフレーム予測モードにおいて
は、４個の輝度ブロック（マクロブロック）を単位とし
て予測が行われ、４個の輝度ブロックに対して１個の動
きベクトルが対応される。

【００２７】これに対して、予測モード切り替え回路５
２は、フィールド予測モードにおいては、図１８（Ａ）
に示す構成で動きベクトル検出回路５０より入力される
信号を、図１８（Ｂ）に示すように、４個の輝度ブロッ
クのうち、輝度ブロックＹ［１］とＹ［２］を、例えば
奇数フィールドのラインのドットによりのみ構成させ、
他の２個の輝度ブロックＹ［３］とＹ［４］を、偶数フ
ィールドのラインのデータにより構成させて、演算部５
３に出力する。この場合においては、２個の輝度ブロッ
クＹ［１］とＹ［２］に対して、１個の動きベクトルが
対応され、他の２個の輝度ブロックＹ［３］とＹ［４］
に対して、他の１個の動きベクトルが対応される。

【００２８】動きベクトル検出回路５０は、フレーム予
測モードにおける予測誤差の絶対値和と、フィールド予
測モードにおける予測誤差の絶対値和を、予測モード切
り替え回路５２に出力する。予測モード切り替え回路５
２は、フレーム予測モードとフィールド予測モードにお
ける予測誤差の絶対値和を比較し、その値が小さい予測
モードに対応する処理を施して、データを演算部５３に
出力する。

【００２９】但し、このような処理は、実際には動きベ
クトル検出回路５０で行われる。即ち、動きベクトル検
出回路５０は、決定されたモードに対応する構成の信号
を予測モード切り替え回路５２に出力し、予測モード切
り替え回路５２は、その信号を、そのまま後段の演算部
５３に出力する。

【００３０】尚、色差信号は、フレーム予測モードの場
合、図１８（Ａ）に示すように、奇数フィールドのライ
ンのデータと偶数フィールドのラインのデータとが混在
する状態で、演算部５３に供給される。また、フィール
ド予測モードの場合、図１８（Ｂ）に示すように、各色
差ブロックＣｂ，Ｃｒの上半分（４ライン）が、輝度ブ
ロックＹ［１］，Ｙ［２］に対応する奇数フィールドの
色差信号とされ、下半分（４ライン）が、輝度ブロック
Ｙ［３］，Ｙ［４］に対応する偶数フィールドの色差信
号とされる。

【００３１】また、動きベクトル検出回路５０は、次の
ようにして、予測判定回路５４において、画像内予測、
前方予測、後方予測、または両方向予測のいずれの予測
を行なうかを決定するための予測誤差の絶対値和を生成
する。

【００３３】これらの絶対値和は、予測判定回路５４に
供給される。予測判定回路５４は、前方予測、後方予測
および両方向予測の予測誤差の絶対値和のうち、最も小
さいものを、インター予測の予測誤差の絶対値和として
選択する。さらに、このインター予測の予測誤差の絶対
値和と、画像内予測の予測誤差の絶対値和とを比較し、
その小さい方を選択し、この選択した絶対値和に対応す
るモードを予測モードとして選択する。即ち、画像内予
測の予測誤差の絶対値和の方が小さければ、画像内予測
モードが設定される。インター予測の予測誤差の絶対値
和の方が小さければ、前方予測、後方予測または両方向
予測モードのうち、対応する絶対値和が最も小さかった
モードが設定される。

【００３４】このように、動きベクトル検出回路５０
は、参照画像のマクロブロックの信号を、フレームまた
はフィールド予測モードのうち、予測モード切り替え回
路５２により選択されたモードに対応する構成で、予測
モード切り替え回路５２を介して演算部５３に供給する
とともに、４つの予測モードのうち、予測判定回路５４
により選択された予測モードに対応する予測画像と参照
画像の間の動きベクトルを検出し、可変長符号化回路５
８と動き補償回路６４に出力する。上述したように、こ
の動きベクトルとしては、対応する予測誤差の絶対値和
が最小となるものが選択される。

【００３５】予測判定回路５４は、動きベクトル検出回
路５０が前方原画像部５１ａよりＩピクチャの画像デー
タを読み出しているとき、予測モードとして、フレーム
（画像）内予測モード（動き補償を行わないモード）を
設定し、演算部５３のスイッチ５３ｄを接点ａ側に切り
替える。これにより、Ｉピクチャの画像データがＤＣＴ
モード切り替え回路５５に入力される。

【００３６】このＤＣＴモード切り替え回路５５は、図
１９（Ａ）または（Ｂ）に示すように、４個の輝度ブロ
ックのデータを、奇数フィールドのラインと偶数フィー
ルドのラインが混在する状態（フレームＤＣＴモー
ド）、または、分離された状態（フィールドＤＣＴモー
ド）、のいずれかの状態にして、ＤＣＴ回路５６に出力
する。

【００３７】即ち、ＤＣＴモード切り替え回路５５は、
奇数フィールドと偶数フィールドのデータを混在してＤ
ＣＴ処理した場合における符号化効率と、分離した状態
においてＤＣＴ処理した場合の符号化効率とを比較し、
符号化効率の良好なモードを選択する。

【００３８】例えば、入力された信号を、図１９（Ａ）
に示すように、奇数フィールドと偶数フィールドのライ
ンが混在する構成とし、上下に隣接する奇数フィールド
のラインの信号と偶数フィールドのラインの信号の差を
演算し、さらにその絶対値の和（または自乗和）を求め
る。また、入力された信号を、図１９（Ｂ）に示すよう
に、奇数フィールドと偶数フィールドのラインが分離し
た構成とし、上下に隣接する奇数フィールドのライン同
士の信号の差と、偶数フィールドのライン同士の信号の
差を演算し、それぞれの絶対値の和（または自乗和）を
求める。さらに、両者（絶対値和）を比較し、小さい値
に対応するＤＣＴモードを設定する。即ち、前者の方が
小さければ、フレームＤＣＴモードを設定し、後者の方
が小さければ、フィールドＤＣＴモードを設定する。

【００３９】そして、選択したＤＣＴモードに対応する
構成のデータをＤＣＴ回路５６に出力するとともに、選
択したＤＣＴモードを示すＤＣＴフラグを、可変長符号
化回路５８と動き補償回路６４に出力する。

【００４０】予測モード切り替え回路５２における予測
モード（図１８）と、このＤＣＴモード切り替え回路５
５におけるＤＣＴモード（図１９）を比較して明らかな
ように、輝度ブロックに関しては、両者の各モードにお
けるデータ構造は実質的に同一である。

【００４１】予測モード切り替え回路５２において、フ
レーム予測モード（奇数ラインと偶数ラインが混在する
モード）が選択された場合、ＤＣＴモード切り替え回路
５５においても、フレームＤＣＴモード（奇数ラインと
偶数ラインが混在するモード）が選択される可能性が高
く、また予測モード切り替え回路５２において、フィー
ルド予測モード（奇数フィールドと偶数フィールドのデ
ータが分離されたモード）が選択された場合、ＤＣＴモ
ード切り替え回路５５において、フィールドＤＣＴモー
ド（奇数フィールドと偶数フィールドのデータが分離さ
れたモード）が選択される可能性が高い。

【００４２】しかしながら、必ずしも常にそのようにな
されるわけではなく、予測モード切り替え回路５２にお
いては、予測誤差の絶対値和が小さくなるようにモード
が決定され、ＤＣＴモード切り替え回路５５において
は、符号化効率が良好となるようにモードが決定され
る。

【００４３】ＤＣＴモード切り替え回路５５より出力さ
れたＩピクチャの画像データは、ＤＣＴ回路５６に入力
され、ＤＣＴ（離散コサイン変換）処理され、ＤＣＴ係
数に変換される。このＤＣＴ係数は、量子化回路５７に
入力され、送信バッファ５９のデータ蓄積量（バッファ
蓄積量）に対応した量子化ステップで量子化された後、
可変長符号化回路５８に入力される。

【００４４】可変長符号化回路５８は、量子化回路５７
より供給される量子化ステップ（スケール）に対応し
て、量子化回路５７より供給される画像データ（いまの
場合、Ｉピクチャのデータ）を、例えばハフマン符号な
どの可変長符号に変換し、送信バッファ５９に出力す
る。

【００４５】可変長符号化回路５８にはまた、量子化回
路５７より量子化ステップ（スケール）、予測判定回路
５４より予測モード（画像内予測、前方予測、後方予
測、または両方向予測のいずれが設定されたかを示すモ
ード）、動きベクトル検出回路５０より動きベクトル、
予測モード切り替え回路５２より予測フラグ（フレーム
予測モードまたはフィールド予測モードのいずれが設定
されたかを示すフラグ）、およびＤＣＴモード切り替え
回路５５が出力するＤＣＴフラグ（フレームＤＣＴモー
ドまたはフィールドＤＣＴモードのいずれが設定された
かを示すフラグ）が入力されており、これらも可変長符
号化される。

【００４６】送信バッファ５９は、入力されたデータを
一時蓄積し、蓄積量に対応するデータを量子化回路５７
に出力する。

【００４７】送信バッファ５９は、そのデータ残量が許
容上限値まで増量すると、量子化制御信号によって量子
化回路５７の量子化スケールを大きくすることにより、
量子化データのデータ量を低下させる。また、これとは
逆に、データ残量が許容下限値まで減少すると、送信バ
ッファ５９は、量子化制御信号によって量子化回路５７
の量子化スケールを小さくすることにより、量子化デー
タのデータ量を増大させる。このようにして、送信バッ
ファ５９のオーバフローまたはアンダフローが防止され
る。

【００４８】そして、送信バッファ５９に蓄積されたデ
ータは、所定のタイミングで読み出され、伝送路に出力
され、例えば記録媒体３に記録される。

【００４９】一方、量子化回路５７より出力されたＩピ
クチャのデータは、逆量子化回路６０に入力され、量子
化回路５７より供給される量子化ステップに対応して逆
量子化される。逆量子化回路６０の出力は、ＩＤＣＴ
（逆ＤＣＴ）回路６１に入力され、逆ＤＣＴ処理された
後、演算器６２を介してフレームメモリ６３の前方予測
画像部６３ａに供給され、記憶される。

【００５０】動きベクトル検出回路５０は、シーケンシ
ャルに入力される各フレームの画像データを、たとえ
ば、Ｉ，Ｂ，Ｐ，Ｂ，Ｐ，Ｂ・・・のピクチャとしてそ
れぞれ処理する場合、最初に入力されたフレームの画像
データをＩピクチャとして処理した後、次に入力された
フレームの画像をＢピクチャとして処理する前に、さら
にその次に入力されたフレームの画像データをＰピクチ
ャとして処理する。Ｂピクチャは、後方予測を伴うた
め、後方予測画像としてのＰピクチャが先に用意されて
いないと、復号することができないからである。

【００５１】そこで動きベクトル検出回路５０は、Ｉピ
クチャの処理の次に、後方原画像部５１ｃに記憶されて
いるＰピクチャの画像データの処理を開始する。そし
て、上述した場合と同様に、マクロブロック単位でのフ
レーム間差分（予測誤差）の絶対値和が、動きベクトル
検出回路５０から予測モード切り替え回路５２と予測判
定回路５４に供給される。予測モード切り替え回路５２
と予測判定回路５４は、このＰピクチャのマクロブロッ
クの予測誤差の絶対値和に対応して、フレーム／フィー
ルド予測モード、または画像内予測、前方予測、後方予
測、もしくは両方向予測の予測モードを設定する。

【００５２】演算部５３はフレーム内予測モードが設定
されたとき、スイッチ５３ｄを上述したように接点ａ側
に切り替える。従って、このデータは、Ｉピクチャのデ
ータと同様に、ＤＣＴモード切り替え回路５５、ＤＣＴ
回路５６、量子化回路５７、可変長符号化回路５８、送
信バッファ５９を介して伝送路に伝送される。また、こ
のデータは、逆量子化回路６０、ＩＤＣＴ回路６１、演
算器６２を介してフレームメモリ６３の後方予測画像部
６３ｂに供給され、記憶される。

【００５３】前方予測モードの時、スイッチ５３ｄが接
点ｂに切り替えられるとともに、フレームメモリ６３の
前方予測画像部６３ａに記憶されている画像（いまの場
合Ｉピクチャの画像）データが読み出され、動き補償回
路６４により、動きベクトル検出回路５０が出力する動
きベクトルに対応して動き補償される。すなわち、動き
補償回路６４は、予測判定回路５４より前方予測モード
の設定が指令されたとき、前方予測画像部６３ａの読み
出しアドレスを、動きベクトル検出回路５０がいま出力
しているマクロブロックの位置に対応する位置から動き
ベクトルに対応する分だけずらしてデータを読み出し、
予測画像データを生成する。

【００５４】動き補償回路６４より出力された予測画像
データは、演算器５３ａに供給される。演算器５３ａ
は、予測モード切り替え回路５２より供給された参照画
像のマクロブロックのデータから、動き補償回路６４よ
り供給された、このマクロブロックに対応する予測画像
データを減算し、その差分（予測誤差）を出力する。こ
の差分データは、ＤＣＴモード切り替え回路５５、ＤＣ
Ｔ回路５６、量子化回路５７、可変長符号化回路５８、
送信バッファ５９を介して伝送路に伝送される。また、
この差分データは、逆量子化回路６０、ＩＤＣＴ回路６
１により局所的に復号され、演算器６２に入力される。

【００５５】この演算器６２にはまた、演算器５３ａに
供給されている予測画像データと同一のデータが供給さ
れている。演算器６２は、ＩＤＣＴ回路６１が出力する
差分データに、動き補償回路６４が出力する予測画像デ
ータを加算する。これにより、元の（復号した）Ｐピク
チャの画像データが得られる。このＰピクチャの画像デ
ータは、フレームメモリ６３の後方予測画像部６３ｂに
供給され、記憶される。

【００５６】動きベクトル検出回路５０は、このよう
に、ＩピクチャとＰピクチャのデータが前方予測画像部
６３ａと後方予測画像部６３ｂにそれぞれ記憶された
後、次にＢピクチャの処理を実行する。予測モード切り
替え回路５２と予測判定回路５４は、マクロブロック単
位でのフレーム間差分の絶対値和の大きさに対応して、
フレーム／フィールドモードを設定し、また、予測モー
ドをフレーム内予測モード、前方予測モード、後方予測
モード、または両方向予測モードのいずれかに設定す
る。

【００５７】上述したように、フレーム内予測モードま
たは前方予測モードの時、スイッチ５３ｄは接点ａまた
はｂに切り替えられる。このとき、Ｐピクチャにおける
場合と同様の処理が行われ、データが伝送される。

【００５８】これに対して、後方予測モードまたは両方
向予測モードが設定された時、スイッチ５３ｄは、接点
ｃまたはｄにそれぞれ切り替えられる。

【００５９】スイッチ５３ｄが接点ｃに切り替えられて
いる後方予測モードの時、後方予測画像部６３ｂに記憶
されている画像（いまの場合、Ｐピクチャの画像）デー
タが読み出され、動き補償回路６４により、動きベクト
ル検出回路５０が出力する動きベクトルに対応して動き
補償される。すなわち、動き補償回路６４は、予測判定
回路５４より後方予測モードの設定が指令されたとき、
後方予測画像部６３ｂの読み出しアドレスを、動きベク
トル検出回路５０がいま出力しているマクロブロックの
位置に対応する位置から動きベクトルに対応する分だけ
ずらしてデータを読み出し、予測画像データを生成す
る。

【００６０】動き補償回路６４より出力された予測画像
データは、演算器５３ｂに供給される。演算器５３ｂ
は、予測モード切り替え回路５２より供給された参照画
像のマクロブロックのデータから、動き補償回路６４よ
り供給された予測画像データを減算し、その差分を出力
する。この差分データは、ＤＣＴモード切り替え回路５
５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回
路５８、送信バッファ５９を介して伝送路に伝送され
る。

【００６１】スイッチ５３ｄが接点ｄに切り替えられて
いる両方向予測モードの時、前方予測画像部６３ａに記
憶されている画像（いまの場合、Ｉピクチャの画像）デ
ータと、後方予測画像部６３ｂに記憶されている画像
（いまの場合、Ｐピクチャの画像）データが読み出さ
れ、動き補償回路６４により、動きベクトル検出回路５
０が出力する動きベクトルに対応して動き補償される。
すなわち、動き補償回路６４は、予測判定回路５４より
両方向予測モードの設定が指令されたとき、前方予測画
像部６３ａと後方予測画像部６３ｂの読み出しアドレス
を、動きベクトル検出回路５０がいま出力しているマク
ロブロックの位置に対応する位置から動きベクトル（こ
の場合の動きベクトルは、前方予測画像用と後方予測画
像用の２つとなる）に対応する分だけずらしてデータを
読み出し、予測画像データを生成する。

【００６２】動き補償回路６４より出力された予測画像
データは、演算器５３ｃに供給される。演算器５３ｃ
は、動きベクトル検出回路５０より供給された参照画像
のマクロブロックのデータから、動き補償回路６４より
供給された予測画像データの平均値を減算し、その差分
を出力する。この差分データは、ＤＣＴモード切り替え
回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符
号化回路５８、送信バッファ５９を介して伝送路に伝送
される。

【００６３】Ｂピクチャの画像は、他の画像の予測画像
とされることがないため、フレームメモリ６３には記憶
されない。

【００６４】尚、フレームメモリ６３において、前方予
測画像部６３ａと後方予測画像部６３ｂは、必要に応じ
てバンク切り替えが行われ、所定の参照画像に対して、
一方または他方に記憶されているものを、前方予測画像
あるいは後方予測画像として切り替えて出力することが
できる。

【００６５】以上においては、輝度ブロックを中心とし
て説明をしたが、色差ブロックについても同様に、図１
８および図１９に示すマクロブロックを単位として処理
され、伝送される。尚、色差ブロックを処理する場合の
動きベクトルは、対応する輝度ブロックの動きベクトル
を垂直方向と水平方向に、それぞれ１／２にしたものが
用いられる。

【００６６】次に、図２０は、図１５のデコーダ３１の
一例の構成を示すブロック図である。伝送路（記録媒体
３）を介して伝送された符号化された画像データは、図
示せぬ受信回路で受信されたり、再生装置で再生され、
受信バッファ８１に一時記憶された後、復号回路９０の
可変長復号化回路８２に供給される。可変長復号化回路
８２は、受信バッファ８１より供給されたデータを可変
長復号化し、動きベクトル、予測モード、予測フラグお
よびＤＣＴフラグを動き補償回路８７に、また、量子化
ステップを逆量子化回路８３に、それぞれ出力するとと
もに、復号された画像データを逆量子化回路８３に出力
する。

【００６７】逆量子化回路８３は、可変長復号化回路８
２より供給された画像データを、同じく可変長復号化回
路８２より供給された量子化ステップに従って逆量子化
し、ＩＤＣＴ回路８４に出力する。逆量子化回路８３よ
り出力されたデータ（ＤＣＴ係数）は、ＩＤＣＴ回路８
４で、逆ＤＣＴ処理され、演算器８５に供給される。

【００６８】ＩＤＣＴ回路８４より供給された画像デー
タが、Ｉピクチャのデータである場合、そのデータは演
算器８５より出力され、演算器８５に後に入力される画
像データ（ＰまたはＢピクチャのデータ）の予測画像デ
ータ生成のために、フレームメモリ８６の前方予測画像
部８６ａに供給されて記憶される。また、このデータ
は、フォーマット変換回路３２（図１５）に出力され
る。

【００６９】ＩＤＣＴ回路８４より供給された画像デー
タが、その１フレーム前の画像データを予測画像データ
とするＰピクチャのデータであって、前方予測モードの
データである場合、フレームメモリ８６の前方予測画像
部８６ａに記憶されている、１フレーム前の画像データ
（Ｉピクチャのデータ）が読み出され、動き補償回路８
７で可変長復号化回路８２より出力された動きベクトル
に対応する動き補償が施される。そして、演算器８５に
おいて、ＩＤＣＴ回路８４より供給された画像データ
（差分のデータ）と加算され、出力される。この加算さ
れたデータ、即ち、復号されたＰピクチャのデータは、
演算器８５に後に入力される画像データ（Ｂピクチャま
たはＰピクチャのデータ）の予測画像データ生成のため
に、フレームメモリ８６の後方予測画像部８６ｂに供給
されて記憶される。

【００７０】Ｐピクチャのデータであっても、画像内予
測モードのデータは、Ｉピクチャのデータと同様に、演
算器８５で特に処理は行わず、そのまま後方予測画像部
８６ｂに記憶される。

【００７１】このＰピクチャは、次のＢピクチャの次に
表示されるべき画像であるため、この時点では、まだフ
ォーマット変換回路３２へ出力されない（上述したよう
に、Ｂピクチャの後に入力されたＰピクチャが、Ｂピク
チャより先に処理され、伝送されている）。

【００７２】ＩＤＣＴ回路８４より供給された画像デー
タが、Ｂピクチャのデータである場合、可変長復号化回
路８２より供給された予測モードに対応して、フレーム
メモリ８６の前方予測画像部８６ａに記憶されているＩ
ピクチャの画像データ（前方予測モードの場合）、後方
予測画像部８６ｂに記憶されているＰピクチャの画像デ
ータ（後方予測モードの場合）、または、その両方の画
像データ（両方向予測モードの場合）が読み出され、動
き補償回路８７において、可変長復号化回路８２より出
力された動きベクトルに対応する動き補償が施されて、
予測画像が生成される。但し、動き補償を必要としない
場合（画像内予測モードの場合）、予測画像は生成され
ない。

【００７３】このようにして、動き補償回路８７で動き
補償が施されたデータは、演算器８５において、ＩＤＣ
Ｔ回路８４の出力と加算される。この加算出力は、フォ
ーマット変換回路３２に出力される。

【００７４】但し、この加算出力はＢピクチャのデータ
であり、他の画像の予測画像生成のために利用されるこ
とがないため、フレームメモリ８６には記憶されない。

【００７５】Ｂピクチャの画像が出力された後、後方予
測画像部８６ｂに記憶されているＰピクチャの画像デー
タが読み出され、動き補償回路８７を介して演算器８５
に供給される。但し、このとき、動き補償は行われな
い。

【００７６】尚、このデコーダ３１には、図１７のエン
コーダ１８における予測モード切り替え回路５２とＤＣ
Ｔモード切り替え回路５５に対応する回路が図示されて
いないが、これらの回路に対応する処理、即ち、奇数フ
ィールドと偶数フィールドのラインの信号が分離された
構成を、元の混在する構成に必要に応じて戻す処理は、
動き補償回路８７が実行する。

【００７７】また、以上においては、輝度信号の処理に
ついて説明したが、色差信号の処理も同様に行われる。
但し、この場合、動きベクトルは、輝度信号用のもの
を、垂直方向および水平方向に１／２にしたものが用い
られる。

【００７８】ところで、このように、画像信号を符号化
して伝送する場合、より高解像度の画像とするとき、画
像信号符号化装置を例えば図２１に示すように構成して
いる。この例においては、高解像度の画像が、高解像度
エンコーダ１８Ｈに供給され、エンコードされるように
なされている。また、この高解像度画像は、ダウンサン
プリング回路１０１により、縦方向および横方向、それ
ぞれについて１／２にダウンサンプリングされ、１／４
解像度の画像が生成される。この１／４解像度の画像
は、低解像度エンコーダ１８Ｌに供給され、エンコード
される。この高解像度エンコーダ１８Ｈと低解像度エン
コーダ１８Ｌは、図１７に示したエンコーダ１８と基本
的に同様の構成とされている。但し、高解像度エンコー
ダ１８Ｈは、低解像度エンコーダ１８Ｌが生成した予測
画像を所定の重み付け係数で重み付けして、高解像度の
画像信号をエンコードしている。

【００７９】そして、低解像度エンコーダ１８Ｌは、予
測モード（マクロブロックタイプ）、フレーム／フィー
ルド予測フラグ、フレーム／フィールドＤＣＴフラグな
どのモード情報の他、動きベクトル、ＤＣＴ係数などを
伝送するようになされている。また、基本的に、高解像
度エンコーダ１８Ｈも低解像度エンコーダ１８Ｌと独立
に動作するようになされているため、高解像度エンコー
ダ１８Ｈも、モード情報、動きベクトル、ＤＣＴ係数を
出力するようになされている。また、この高解像度エン
コーダ１８Ｈは、低解像度エンコーダ１８Ｌより供給さ
れた予測画像を重み付けした重み付け係数も伝送するよ
うになされている。

【００８０】図２２は、このようにして伝送された画像
信号を復号する画像信号復号化装置の構成例を示してい
る。同図に示すように、低解像度エンコーダ１８Ｌより
出力されたモード情報、動きベクトルおよびＤＣＴ係数
は、低解像度デコーダ３１Ｌに供給され、低解像度デコ
ーダ３１Ｌは、入力されたデータをもとに画像信号を復
号し、１／４の解像度の画像を出力する。また、低解像
度デコーダ３１Ｌは、低解像度の画像信号をデコードす
る際、高解像度の画像信号をデコードするための予測画
像を生成し、高解像度デコーダ３１Ｈに供給している。

【００８１】高解像度デコーダ３１Ｈには、高解像度エ
ンコーダ１８Ｈから、モード情報、動きベクトル、重み
付け係数およびＤＣＴ係数が供給されている。高解像度
デコーダ３１Ｈは、これらの入力データから画像信号を
復号し、高解像度の画像を出力する。この低解像度デコ
ーダ３１Ｌと高解像度デコーダ３１Ｈも、図２０に示し
たデコーダと基本的に同様の構成とされている。

【００８２】デコーダ側においては、この高解像度の画
像と１／４解像度の画像のいずれか一方を必要に応じて
選択し、所望の解像度の画像を見ることができる。

【００８３】

【発明が解決しようとする課題】しかしながら、図２１
および図２２に示したように、階層符号化し、これを復
号化する方法においては、それぞれの階層における動作
が基本的に独立しているため、それぞれ専用のモード情
報を必要とし、符号化のためのオーバヘッドが大きくな
る課題があった。

【００８４】本発明はこのような状況に鑑みてなされた
ものであり、オーバヘッドを低減することができるよう
にするものである。

【００８５】

【課題を解決するための手段】このような課題を解決す
るため、本発明においては、画像信号を解像度の高い信
号と、解像度の低い信号とに分解し、解像度の低い画像
信号を符号化し、それに関連する予測モード、フレーム
／フィールド予測フラグ、フレーム／フィールドＤＣＴ
フラグなどのモード情報や動きベクトルとともに伝送す
る。また、低解像度の画像信号を符号化する際、予測画
像を生成する。高解像度の画像信号は、この予測画像や
低解像度の画像信号を符号化するときのモード情報に対
応して、符号化を行う。

【００８６】

【作用】このように、高解像度の画像信号を、低解像度
の画像信号を符号化する際に用いられるモード情報や動
きベクトルを利用するので、高解像度の画像信号を伝送
する際、それに付随して伝送するモード情報や動きベク
トルのデータ量を低減することができる。

【００８７】

【実施例】図１は、本発明の画像信号符号化装置の一実
施例の構成を示すブロック図であり、図２１における場
合と対応する部分には同一の符号を付してある。即ち、
この実施例の基本的構成は、図２１に示した従来の場合
と同様であり、高解像度画像が高解像度エンコーダ１８
Ｈに供給され、エンコードされるようになされている。
また、この高解像度画像は、ダウンサンプリング回路１
０１により縦方向に１／２、また、横方向に１／２にダ
ウンサンプリングされ、１／４の解像度画像が生成され
る。

【００８８】このダウンサンプリング回路１０１は、例
えば図２に示すように、ローパスフィルタ１３１と、
２：１の間引き回路１３２により構成することができ
る。ローパスフィルタ１３１は、周波数帯域を１／２に
制限するものであり、間引き回路１３２は、入力された
画素データを１つおきに間引いて出力する。横方向にダ
ウンサンプリングする場合においては、例えば１ライン
おきにデータが間引かれる。

【００８９】このようにして生成された１／４の解像度
画像は、低解像度エンコーダ１８Ｌに供給され、エンコ
ードされる。低解像度エンコーダ１８Ｌは、エンコード
した結果得られたモード情報、動きベクトル、およびＤ
ＣＴ係数を出力するとともに、予測画像、動きベクト
ル、予測モード（マクロブロックタイプ）、フレーム／
フィールド予測フラグおよびフレーム／フィールドＤＣ
Ｔフラグを高解像度エンコーダ１８Ｈに供給する。

【００９０】高解像度エンコーダ１８Ｈは、これらのデ
ータを利用して、高解像度の画像信号をエンコードす
る。そして、高解像度の画像信号を符号化して生成した
ＤＣＴ係数を出力するとともに、予測画像を重み付けし
た重み付け係数を出力する。また、高解像度の画像信号
の動きベクトルは転送せず、低解像度の画像信号の動き
ベクトルとの差分ベクトルを転送する。

【００９１】低解像度エンコーダ１８Ｌと高解像度エン
コーダ１８Ｈは、それぞれ例えば図３または図４に示す
ように構成される。これらの図を、図１７に示すエンコ
ーダ１８と比較して明らかなように、低解像度エンコー
ダ１８Ｌと高解像度エンコーダ１８Ｈも基本的には図１
７に示したエンコーダ１８と同様に構成されている。そ
こで、これらの図において、図１７における場合と対応
する部分には、低解像度エンコーダ１８Ｌにおいては符
号Ｌを付加し、高解像度エンコーダ１８Ｈにおいては符
号Ｈを付加して説明する。

【００９２】低解像度エンコーダ１８Ｌの予測モード切
り替え回路５２Ｌ、予測判定回路５４Ｌ、またはＤＣＴ
モード切り替え回路５５Ｌがそれぞれ出力したフレーム
／フィールド予測フラグ、予測モード（マクロブロック
タイプ）、またはフレーム／フィールドＤＣＴフラグ
は、高解像度エンコーダ１８Ｈの予測モード切り替え回
路５２Ｈ、予測判定回路５４Ｈ、またはＤＣＴモード切
り替え回路５５Ｈへそれぞれ供給されている。

【００９３】即ち、低解像度エンコーダ１８Ｌの予測モ
ード切り替え回路５２、予測判定回路５４Ｌ、およびＤ
ＣＴモード切り替え回路５５Ｌは、図１７において説明
した場合と同様の動作を行うのであるが、高解像度エン
コーダ１８Ｈの予測モード切り替え回路５２Ｈ、予測判
定回路５４Ｈ、またはＤＣＴモード切り替え回路５５Ｈ
は、それぞれ低解像度エンコーダ１８Ｌ側の対応する回
路に従属した動作を実行し、独立した判定処理は行わな
い。これにより、より迅速した処理が可能となる。

【００９４】また、低解像度エンコーダ１８Ｌの動きベ
クトル検出回路５０Ｌの出力する動きベクトルは、高解
像度エンコーダ１８Ｈのスケーリング回路１５１に供給
される。スケーリング回路１５１は、入力された低解像
度の画像信号の動きベクトルを縦方向に２倍するととも
に、横方向にも２倍する。この倍率は、図１に示したダ
ウンサンプリング回路１０１における倍率に対応してい
る。即ち、ダウンサンプリング回路１０１において、縦
方向に１／Ｖ倍し、かつ、横方向に１／Ｈ倍している場
合においては、このスケーリング回路１５１において、
縦方向にＶ倍され、横方向にＨ倍されることになる。

【００９５】スケーリング回路１５１により、対応する
階層の倍率に拡大された動きベクトルは、動きベクトル
検出回路５０Ｈに入力される。

【００９６】低解像度エンコーダ１８Ｌの動きベクトル
検出回路５０Ｌは、低解像度の画像信号の動きベクトル
をマクロブロック単位で検出する。即ち、図５に示すよ
うに、１／４解像度画像を、例えば１６ライン毎にＮ個
のスライスに区分する。各スライスは、さらに１６×１
６画素を単位とするマクロブロックに区分され、このマ
クロブロックを単位として、動きベクトルが検出され
る。この動きベクトルを検出する範囲は、縦方向および
横方向に対して±１６画素の範囲とされる。

【００９７】図５に示すように、１／４解像度の画像
は、高解像度の画像を水平および垂直方向に１／２にダ
ウンサンプリングして生成した画像であるから、１／４
解像度の画像がＮスライスにより構成されるとき、高解
像度の画像は２Ｎスライスにより構成される。そして、
高解像度画像の各スライスに含まれる横方向の画素数
は、１／４解像度画像のスライスの２倍となる。従っ
て、１／４解像度画像の１つのマクロブロックは、高解
像度画像の縦方向および横方向に隣接する４個のマクロ
ブロックに対応することになる。

【００９８】高解像度エンコーダ１８Ｈの動きベクトル
検出回路５０Ｈは、この４個のマクロブロックそれぞれ
について、その動きベクトルＱ₁乃至Ｑ₄を検出するので
あるが、その検出に際し、低解像度エンコーダ１８Ｌの
動きベクトル検出回路５０Ｌにより検出された、対応す
るマクロブロックの動きベクトルＰを用いる。

【００９９】即ち、この動きベクトルＰを縦方向および
横方向に２倍し、動きベクトル２Ｐを得る。そして、こ
の動きベクトル２Ｐを初期値として、この初期値を中心
に縦方向と横方向にそれぞれ±２画素の範囲でブロック
マッチングを行い、残差が最も小さくなるベクトルΔ１
乃至Δ４を求める。そして、初期値ベクトル２Ｐと差分
ベクトルΔ１乃至Δ４を加算したベクトルを、各マクロ
ブロックの動きベクトルＱ₁乃至Ｑ₄とする。

【０１００】即ち、図６に示すように、４個のマクロブ
ロックの動きベクトルＱｉは、初期値ベクトルを２Ｐ、
差分ベクトルをΔｉとするとき、次式で表される。Ｑｉ＝２Ｐ＋Δｉ

【０１０１】低解像度の画像信号の１個のマクロブロッ
クと、高解像度の画像信号の４個のマクロブロックは、
それぞれ対応しているため、ベクトル２ＰとＱｉは近似
した値となっている筈である。即ち、Δｉの値は極めて
小さいものとなる。従って、動きベクトルを検索する範
囲は極めて狭くてもよいことになる（この実施例におい
ては、±２画素の範囲とされている）。その結果、極め
て迅速に、動きベクトルＱｉを検出することができる。

【０１０２】動きベクトル検出回路５０Ｈは、このよう
にして検出した動きベクトルＱｉを動き補償回路６４Ｈ
に供給する。動き補償回路６４Ｈは、この動きベクトル
を利用して動き補償を行う。

【０１０３】一方、低解像度エンコーダ１８Ｌの演算器
６２Ｌの出力は、高解像度画像信号の予測画像として、
高解像度エンコーダ１８Ｈのアップサンプリング回路１
５２に入力される。

【０１０４】このアップサンプリング回路１５２は、例
えば図１０に示すように、補間回路１４１により構成す
ることができる。この補間回路１４１は、例えば図１１
に示すように、存在しないラインのデータを、その上下
のラインに位置するデータの値をそれぞれ１／２した
後、加算する（平均する）ことにより生成する。ダウン
サンプリング回路１０１によりダウンサンプリングされ
たとき、ローパスフィルタ１３１（図２）により帯域制
限が行われているため、このアップサンプリングにより
空間周波数が広がるわけではないが、解像度は２倍にす
る（もとに戻す）ことができる。

【０１０５】このようにして、アップサンプリング回路
１５２によりアップサンプリングされたデータは、重み
付け回路１５３に入力され、（１−Ｗ）の重み付けが行
われる。即ち、重み付け回路１５３は、重み付け係数回
路１５４が設定する重み付け係数（１−Ｗ）を、アップ
サンプリング回路１５２より供給されたデータに乗算
し、演算器１５６ａ乃至１５６ｃに出力する。

【０１０６】一方、動き補償回路６４Ｈにより動き補償
されたデータが、重み付け回路１５５に入力され、重み
付け係数Ｗで重み付けされる。即ち、重み付け回路１５
５は、重み付け係数回路１５４が出力する係数Ｗを、動
き補償回路６４Ｈより入力されるデータに乗算して、演
算器１５６ａ乃至１５６ｃに出力する。演算器１５６ａ
乃至１５６ｃは、重み付け回路１５３より供給されたデ
ータと、重み付け回路１５５より供給されたデータを加
算し、演算器５３ａＨ乃至５３ｃＨに出力する。

【０１０７】例えば重み付け係数Ｗとして、０，１／
４，２／４，３／４，１が、重み付け回路１５５に設定
されるとき、重み付け回路１５３においては係数１，３
／４，２／４，１／４，０が設定される。重み付け回路
１５５と１５３は、入力された予測画像信号に、それぞ
れ５種類の係数を乗算して、５種類の予測画像信号を演
算器１５６ａ乃至１５６ｃに出力する。演算器１５６ａ
乃至１５６ｃは、５種類の重み付けされた予測画像信号
を、それぞれ対応するものどうしを加算して５種類の予
測画像信号を生成する。そして、５種類のそれぞれを採
用した場合における予測誤差信号を生成し、この予測誤
差信号が最も小さいものを最終的な予測誤差信号として
選択し、演算器５３ａＨ乃至５３ｃＨに出力する。これ
により、より効率的な圧縮が可能となる。

【０１０８】低解像度エンコーダ１８Ｌまたは高解像度
エンコーダ１８Ｈにおける全体の符号化動作は、基本的
に図１７に示した従来における場合と同様であるので、
その説明は省略するが、本実施例においては、低解像度
エンコーダ１８Ｌは、画像信号を符号化した結果得られ
たＤＣＴ係数を出力する他、動きベクトル検出回路５０
Ｌにより検出された動きベクトルも伝送する。さらに予
測モード切り替え回路５２Ｌが出力するフレーム／フィ
ールド予測フラグ、予測判定回路５４Ｌが出力する予測
モード、およびＤＣＴモード切り替え回路５５Ｌが出力
するフレーム／フィールドＤＣＴフラグなどのモード情
報を合わせて伝送する。

【０１０９】これに対して、高解像度エンコーダ１８Ｈ
は、高解像度の画像信号を符号化して得られたＤＣＴ係
数と、重み付け係数回路１５４において設定した重み付
け係数Ｗに関する情報を伝送する。また、動きベクトル
検出回路５０Ｈが検出した動きベクトルＱｉは伝送せ
ず、上述した差分ベクトルΔｉを伝送する。このため、
重み付け係数回路１５４が出力する重み付け係数Ｗと、
動きベクトル検出回路５０Ｈが出力する差分ベクトルΔ
ｉが、可変長符号化回路５８Ｈに供給されている。しか
しながら、低解像度エンコーダ１８Ｌにおける場合と異
なり、予測モード切り替え回路５２Ｈ、予測判定回路５
４Ｈ、またはＤＣＴモード切り替え回路５５Ｈにおいて
用いられるフレーム／フィールド予測フラグ、予測モー
ド、またはフレーム／フィールドＤＣＴフラグは伝送さ
れない。

【０１１０】図７は、このようにして、低解像度エンコ
ーダ１８Ｌと高解像度エンコーダ１８Ｈより出力された
データを合成伝送するフォーマットを示している。同図
に示すように、最初に１／４解像度の最初のスライス
（スライス１）の１スライス分のデータが伝送され、そ
の次にそれに対応する高解像度の２スライス（スライス
１とスライス２）分のデータが伝送される。以下同様に
して、１／４解像度の１スライス分のデータと、それに
対応する高解像度の２スライス分のデータとが順次伝送
される。

【０１１１】１／４解像度の１スライス分のデータの先
頭には、ヘッダが配置され、その次にマクロブロック単
位でデータが配置される。各マクロブロックに対応する
データは、モード情報、動きベクトル、ＤＣＴ係数デー
タの順に配置される。モード情報は、例えば上述した予
測モード（マクロブロックタイプ）、フレーム／フィー
ルド予測フラグ、およびフレーム／フィールドＤＣＴフ
ラグなどを組合せた結果得られたテーブルが、エンコー
ダ側とデコーダ側に用意され、テーブル上における位置
を特定するデータとして伝送される。

【０１１２】高解像度の画像信号の各スライスにおいて
も、その先頭にヘッダが配置され、それに続いて各マク
ロブロック単位にデータが配置される。各マクロブロッ
クにおいては、重み付け係数Ｗ、差分ベクトルΔｉ、Ｄ
ＣＴ係数データの順に各データが配置されている。

【０１１３】図８は、図１に示した画像信号符号化装置
より伝送されてきた画像信号を復号化する画像信号復号
化装置の実施例の構成を示すブロック図である。図７に
示すフォーマットに従って伝送されてきた信号は分離さ
れ、低解像度エンコーダ１８Ｌが出力したデータは低解
像度デコーダ３１Ｌに供給され、高解像度エンコーダ１
８Ｈが出力したデータは高解像度デコーダ３１Ｈに供給
される。低解像度デコーダ３１Ｌは、入力されたデータ
から低解像度の画像を復号し、出力する。また、このと
き予測画像、モード情報および動きベクトルを検出し、
高解像度デコーダ３１Ｈに出力する。高解像度デコーダ
３１Ｈは、これらのデータを利用して高解像度の画像を
復号し、出力する。

【０１１４】図９は、低解像度デコーダ３１Ｌと高解像
度デコーダ３１Ｈの構成例を示している。これらのデコ
ーダは、基本的に図２０に示した回路と同様に構成され
ている。図２０に示した各要素に対応する番号に低解像
度デコーダ３１Ｌ側の要素にはＬを付加し、高解像度デ
コーダ３１Ｈ側の要素にはＨを付加して示している。

【０１１５】低解像度デコーダ３１Ｌは、入力されたＤ
ＣＴ係数を、モード情報と動きベクトルに対応して復号
し、１／４解像度画像として出力する。その動作は、図
２０において説明した場合と同様であるので省略する。
この低解像度デコーダ３１Ｌの可変長復号化回路（ＩＶ
ＬＣ）８２Ｌは、フレーム／フィールド予測フラグ、予
測モード、およびフレーム／フィールドＤＣＴフラグよ
りなるモード情報を分離し、これを動き補償回路８７Ｌ
に供給するとともに、高解像度エンコーダ１８Ｈの動き
補償回路８７Ｈにも供給する。動き補償回路８７Ｈは、
これらの入力データに対応して動き補償を行う。

【０１１６】また、可変長復号化回路８２Ｌは、動きベ
クトルを検出し、これを動き補償回路８７Ｌに出力する
とともに、高解像度エンコーダ１８Ｈのスケーリング回
路１６４に出力する。スケーリング回路１６４は、高解
像度エンコーダ１８Ｈのスケーリング回路１５１におけ
る場合と同様に、入力された低解像度の画像信号の動き
ベクトルＰを縦方向と横方向にそれぞれ２倍し、演算器
１６５に出力する。

【０１１７】この演算器１６５にはまた、可変長復号化
回路（ＩＶＬＣ）８２Ｈにより分離された差分ベクトル
Δｉが供給されている。演算器１６５は、スケーリング
回路１６４より供給された低解像度の画像信号の動きベ
クトルＰを２倍したベクトル２Ｐに、この差分ベクトル
Δｉを加算し、高解像度の画像信号の動きベクトルＱｉ
を求める。この動きベクトルＱｉは、動き補償回路８７
Ｈに供給される。動き補償回路８７Ｈは、この動きベク
トルＱｉと、低解像度デコーダ３１Ｌの可変長復号化回
路８２Ｌが出力するモード情報に対応して、動き補償を
行う。

【０１１８】可変長復号化回路８２Ｈはまた、入力され
たデータから重み付係数Ｗを検出し、重み付け回路１６
２と１６３に出力する。重み付け回路１６２には、低解
像度デコーダ３１Ｌの演算器８５Ｌが出力する画像信号
が、アップサンプリング回路１６１を介して供給されて
いる。このアップサンプリング回路１６１は、図４にお
けるアップサンプリング回路１５２と同様に、例えば図
１０に示すような補間回路１４１により形成される。

【０１１９】重み付け回路１６２は、アップサンプリン
グ回路１６１によりアップサンプリングされたデータ
に、重み付け係数（１−Ｗ）を乗算し、演算器１６０に
出力する。

【０１２０】演算器１６０にはまた、動き補償回路８７
Ｈより出力された信号が、重み付け回路１６３により重
み付け係数Ｗが乗算された後、供給されている。演算器
１６０は、重み付け回路１６２の出力と重み付け回路１
６３の出力とを加算し、最終的な予測誤差信号として、
演算器８５Ｈに出力する。演算器８５Ｈは、この予測誤
差信号をＩＤＣＴ回路８４Ｈの出力と加算し、もとの高
解像度の画像を復号する。この高解像度デコーダ３１Ｈ
の全体の動作も、基本的に図２０における動作と同様で
あるので、その説明は省略する。

【０１２１】尚、以上の実施例においては、ｎ×ｎ（上
記実施例はｎ＝８）画素のブロックのデータを直交変換
するのに、ＤＣＴによりバンド分割を行うようにした
が、例えばＱＭＦなどを用いてサブバンド分割を行うこ
ともできる。また、ウェーブレッド変換によりオクター
ブ分割を行うようにしたり、入力した２次元画像データ
について、所定の変換や分割を行って符号化を行う場合
に適用することが可能である。

【０１２２】さらにまた、符号化されたビデオ信号のビ
ットストリームに対して、符号化されたオーディオ信
号、同期信号を多重化し、さらにエラー訂正用のコード
を付加し、所定の変調を加えて、この変調信号によりレ
ーザ光を変調し、ディスク上にピット、またはマークと
して記録するようにすることができる。また、このディ
スクをマスタディスクとしてスタンパを形成し、このス
タンパより大量の複製ディスク（例えば光ディスク）を
成形することができる。この場合、デコーダは、この複
製ディスクからデータを再生することになる。

【０１２３】

【発明の効果】請求項１に記載の画像信号符号化方法に
よれば、解像度の低い画像信号を符号化するとき得られ
るモード情報を利用して、解像度の高い画像信号を符号
化し、このモード情報を解像度の低い画像信号とともに
伝送し、解像度の高い画像信号のモード情報を伝送しな
いようにしたので、オーバヘッドを減少させることが可
能となる。

【０１２４】請求項５に記載の画像信号復号化方法によ
れば、解像度の低い画像信号に付随するモード情報を用
いて、解像度の高い画像信号を復号化するようにしたの
で、少ないオーバヘッドの画像信号から、解像度の高い
画像信号を確実に復号することが可能となる。

【０１２５】請求項１１に記載の画像信号符号化方法お
よび請求項１４に記載の画像信号符号化装置によれば、
解像度の高い画像信号の動きベクトルを直接伝送せず
に、解像度の低い画像信号から予測された動きベクトル
と、解像度の高い画像信号の動きベクトルとの差分を伝
送するようにしたので、オーバヘッドをより減少させる
ことが可能となる。

【０１２６】また、請求項１５に記載の画像信号復号化
方法および請求項１６に記載の画像信号復号化装置によ
れば、解像度の低い画像信号の動きベクトルと、解像度
の低い画像信号から予測された動きベクトルと、解像度
の高い画像信号の動きベクトルとの差分とから、解像度
の高い画像信号の動きベクトルを演算するようにしたの
で、オーバヘッドの小さい画像信号から、解像度の高い
画像信号を確実に復号することが可能になる。

【図面の簡単な説明】

【図１】本発明の画像信号符号化装置の一実施例の構成
を示すブロック図である。

【図２】図１のダウンサンプリング回路１０１の構成例
を示すブロック図である。

【図３】図１の低解像度エンコーダ１８Ｌの構成を示す
ブロック図である。

【図４】図１の高解像度エンコーダ１８Ｈの構成を示す
ブロック図である。

【図５】低解像度と高解像度の画像信号の動きベクトル
を説明する図である。

【図６】高解像度の画像信号の動きベクトルを検出する
原理を説明する図である。

【図７】低解像度と高解像度の画像信号の伝送フォーマ
ットの図である。

【図８】本発明の画像信号復号化装置の一実施例の構成
を示すブロック図である。

【図９】図８の低解像度デコーダ３１Ｌと高解像度デコ
ーダ３１Ｈの構成を示すブロック図である。

【図１０】図４のアップサンプリング回路１５２と図９
のアップサンプリング回路１６１の構成例を示すブロッ
ク図である。

【図１１】図１０の補間回路１４１の補間動作を説明す
る図である。

【図１２】高能率符号化の原理を説明する図である。

【図１３】画像データを圧縮する場合におけるピクチャ
のタイプを説明する図である。

【図１４】動画像信号を符号化する原理を説明する図で
ある。

【図１５】従来の画像信号符号化装置と復号化装置の構
成例を示すブロック図である。

【図１６】図１５におけるフォーマット変換回路１７の
フォーマット変換の動作を説明する図である。

【図１７】図１５におけるエンコーダ１８の構成例を示
すブロック図である。

【図１８】図１７の予測モード切り替え回路５２の動作
を説明する図である。

【図１９】図１７のＤＣＴモード切り替え回路５５の動
作を説明する図である。

【図２０】図１５のデコーダ３１の構成例を示すブロッ
ク図である。

【図２１】解像度の異なる階層の画像信号を符号化する
従来の画像信号符号化装置の一例の構成を示すブロック
図である。

【図２２】解像度の異なる階層の画像信号を復号化する
従来の画像信号復号化装置の一例の構成を示すブロック
図である。

【符号の説明】

１符号化装置２復号化装置３記録媒体１２，１３Ａ／Ｄ変換器１４フレームメモリ１５輝度信号フレームメモリ１６色差信号フレームメモリ１７フォーマット変換回路１８エンコーダ１８Ｌ低解像度エンコーダ１８Ｈ高解像度エンコーダ３１デコーダ３１Ｌ低解像度デコーダ３１Ｈ高解像度デコーダ３２フォーマット変換回路３３フレームメモリ３４輝度信号フレームメモリ３５色差信号フレームメモリ３６，３７Ｄ／Ａ変換器５０，５０Ｌ，５０Ｈ動きベクトル検出回路５１，５１Ｌ，５１Ｈフレームメモリ５２，５２Ｌ，５２Ｈ予測モード切り替え回路５３，５３Ｌ，５３Ｈ演算部５４，５４Ｌ，５４Ｈ予測判定回路５５，５５Ｌ，５５ＨＤＣＴモード切り替え回路５６，５６Ｌ，５６ＨＤＣＴ回路５７，５７Ｌ，５７Ｈ量子化回路５８，５８Ｌ，５８Ｈ可変長符号化回路５９，５９Ｌ，５９Ｈ送信バッファ６０，６０Ｌ，６０Ｈ逆量子化回路６１，６１Ｌ，６１ＨＩＤＣＴ回路６２，６２Ｌ，６２Ｈ演算器６３，６３Ｌ，６３Ｈフレームメモリ６４，６４Ｌ，６４Ｈ動き補償回路８１，８１Ｌ，８１Ｈ受信バッファ８２，８２Ｌ，８２Ｈ可変長復号化回路８３，８３Ｌ，８３Ｈ逆量子化回路８４，８４Ｌ，８４ＨＩＤＣＴ回路８５，８５Ｌ，８５Ｈ演算器８６，８６Ｌ，８６Ｈフレームメモリ８７，８７Ｌ，８７Ｈ動き補償回路１０１ダウンサンプリング回路１３１ローパスフィルタ１３２間引き回路１４１補間回路１５１スケーリング回路１５２アップサンプリング回路１５３，１５５重み付け回路１５４重み付け係数回路１５６ａ，１５６ｂ，１５６ｃ演算器１６１アップサンプリング回路１６２，１６３重み付け回路１６４スケーリング回路１６５演算器

Claims

【特許請求の範囲】

【請求項１】画像信号を解像度の異なる階層に分解
し、解像度の低い画像信号を符号化するとともに、解像度の
低い画像信号から解像度の高い画像信号の予測画像を生
成し、前記予測画像を用いて解像度の高い画像信号を符号化
し、解像度の低い画像信号とともに伝送する画像信号符
号化方法において、解像度の低い画像信号を符号化するとき決定されたモー
ド情報を利用して、解像度の高い画像信号を符号化し、前記モード情報を、解像度の低い画像信号に付随して伝
送することを特徴とする画像信号符号化方法。
【請求項２】前記モード情報は、画像内予測、前方予測、後方予測または両方向予測のい
ずれの予測を行なったかを表わす情報であることを特徴
とする請求項１に記載の画像信号符号化方法。
【請求項３】前記モード情報は、フレーム予測またはフィールド予測のいずれの予測を行
なったかを表わす情報であることを特徴とする請求項１
または２に記載の画像信号符号化方法。
【請求項４】前記モード情報は、フレームＤＣＴまたはフィールドＤＣＴのいずれの処理
を行なったかを表わす情報であることを特徴とする請求
項１，２または３に記載の画像信号符号化方法。
【請求項５】画像信号を解像度の異なる階層に分解
し、解像度の低い画像信号を符号化するとともに、解像度の
低い画像信号から解像度の高い画像信号の予測画像を生
成し、前記予測画像と、解像度の低い画像信号を符号化すると
き決定されたモード情報を利用して、解像度の高い画像
信号を符号化し、前記モード情報を、解像度の低い画像信号に付随して伝
送するとともに、解像度の高い画像信号を前記モード情報を付随させずに
伝送した画像信号を復号化する画像信号復号化方法にお
いて、解像度の低い画像信号を前記モード情報を用いて復号化
し、解像度の低い画像信号を復号化するとき、解像度の高い
画像信号の予測画像を生成し、解像度の高い画像信号を、前記予測画像と、解像度の低
い画像信号に付随する前記モード情報を利用して復号化
することを特徴とする画像信号復号化方法。
【請求項６】前記モード情報は、画像内予測、前方予測、後方予測または両方向予測のい
ずれの予測を行なったかを表わす情報であることを特徴
とする請求項５に記載の画像信号復号化方法。
【請求項７】前記モード情報は、フレーム予測またはフィールド予測のいずれの予測を行
なったかを表わす情報であることを特徴とする請求項５
または６に記載の画像信号復号化方法。
【請求項８】前記モード情報は、フレームＤＣＴまたはフィールドＤＣＴのいずれの処理
を行なったかを表わす情報であることを特徴とする請求
項５，６または７に記載の画像信号復号化方法。
【請求項９】画像信号を解像度の異なる階層に分解す
る分解手段と、解像度の低い画像信号を符号化するとともに、解像度の
低い画像信号から解像度の高い画像信号の予測画像を生
成し、解像度の低い画像信号を符号化するとき決定され
たモード情報を、解像度の低い画像信号に付随して伝送
する第１の符号化手段と、前記第１の符号化手段が生成した前記予測画像と、前記
第１の符号化手段が、解像度の低い画像信号を符号化す
るとき決定した前記モード情報を利用して、解像度の高
い画像信号を符号化し、解像度の高い画像信号を、前記
モード情報を付随させずに伝送する第２の符号化手段と
を備えることを特徴とする画像信号符号化装置。
【請求項１０】画像信号を解像度の異なる階層に分解
し、解像度の低い画像信号を符号化するとともに、解像度の
低い画像信号から解像度の高い画像信号の予測画像を生
成し、前記予測画像と、解像度の低い画像信号を符号化すると
き決定されたモード情報を利用して、解像度の高い画像
信号を符号化し、前記モード情報を、解像度の低い画像信号に付随して伝
送するとともに、解像度の高い画像信号を前記モード情報を付随させずに
伝送した画像信号を復号化する画像信号復号化装置にお
いて、解像度の低い画像信号を前記モード情報を用いて復号化
する第１の復号化手段と、解像度の低い画像信号を復号化するとき、解像度の高い
画像信号の予測画像を生成する生成手段と、解像度の高い画像信号を、前記予測画像と、前記モード
情報を利用して復号化する第２の復号化手段とを備える
ことを特徴とする画像信号復号化装置。
【請求項１１】画像信号を解像度の異なる階層に分解
し、解像度の低い画像信号を符号化するとともに、解像度の
低い画像信号から解像度の高い画像信号の予測画像を生
成し、前記予測画像を用いて解像度の高い画像信号を符号化
し、前記解像度の低い画像信号とともに伝送する画像信
号符号化方法において、解像度の低い画像信号の動きベクトルを検出し、検出された動きベクトルを用いて、解像度の高い画像信
号の動きベクトルを予測する予測ベクトルを求め、解像度の高い画像信号の動きベクトルを検出し、前記予測ベクトルと、検出された解像度の高い画像信号
の動きベクトルとの差分を演算し、前記差分を伝送することを特徴とする画像信号符号化方
法。
【請求項１２】解像度の高い画像信号を、縦方向に１
／Ｖ倍し、横方向に１／Ｈ倍して、解像度の低い画像信
号を生成した場合、解像度の低い画像信号において検出された動きベクトル
を、縦方向にＶ倍し、かつ、横方向にＨ倍して、前記予
測ベクトルを求めることを特徴とする請求項１１に記載
の画像信号符号化方法。
【請求項１３】前記予測ベクトルを初期値とし、この初期値を中心に所定の範囲でブロックマッチングを
行い、最も残差が小さくなる差分ベクトルを求め、前記予測ベクトルと差分ベクトルの和を解像度の高い画
像信号における動きベクトルとすることを特徴とする請
求項１２に記載の画像信号符号化方法。
【請求項１４】画像信号を解像度の異なる階層に分解
し、解像度の低い画像信号を符号化するとともに、解像度の
低い画像信号から解像度の高い画像信号の予測画像を生
成し、前記予測画像を用いて解像度の高い画像信号を符号化
し、解像度の低い画像信号とともに伝送する画像信号符
号化方法において、解像度の低い画像信号の動きベクトルを検出する検出手
段と、前記検出手段により検出された動きベクトルを用いて、
解像度の高い画像信号の動きベクトルを予測する予測ベ
クトルを求める予測手段と、解像度の高い画像信号の動きベクトルを検出し、検出さ
れた解像度の高い画像信号の動きベクトルと、前記予測
手段により求められた予測ベクトルとの差分ベクトルを
演算する演算手段とを備えることを特徴とする画像信号
符号化装置。
【請求項１５】解像度の低い画像信号と、それに付随
するその動きベクトル、並びに、解像度の高い画像信号
と、それに付随する、解像度の低い画像信号から予測さ
れた、解像度の高い画像信号の動きベクトルの予測ベク
トルと解像度の高い画像信号の動きベクトルとの差分ベ
クトルを含む画像信号を復号化する画像信号復号化方法
において、前記差分ベクトルと解像度の低い画像信号の動きベクト
ルを抽出し、解像度の低い画像信号を、抽出した動きベクトルを用い
て復号化し、抽出された解像度の低い画像信号の動きベクトルと差分
ベクトルから、解像度の高い画像信号の動きベクトルを
演算し、演算して求めた動きベクトルを用いて、解像度の高い画
像信号を復号化することを特徴とする画像信号復号化方
法。
【請求項１６】解像度の低い画像信号と、それに付随
するその動きベクトル、並びに、解像度の高い画像信号
と、それに付随する、解像度の低い画像信号から予測さ
れた、解像度の高い画像信号の動きベクトルの予測ベク
トルと解像度の高い画像信号の動きベクトルとの差分ベ
クトルを含む画像信号を復号化する画像信号復号化装置
において、解像度の低い画像信号の動きベクトルを抽出する第１の
抽出手段と、前記第１の抽出手段により抽出した動きベクトルを用い
て、解像度の低い画像信号を復号化する第１の復号化手
段と、前記差分ベクトルを抽出する第２の抽出手段と、前記第１の抽出手段により抽出された、解像度の低い画
像信号の動きベクトルと、前記第２の抽出手段により抽
出された差分ベクトルから、解像度の高い画像信号の動
きベクトルを演算する演算手段と、前記演算手段により演算して求めた動きベクトルを用い
て、解像度の高い画像信号を復号化する第２の復号化手
段とを備えることを特徴とする画像信号復号化装置。