JPH0998425A - 画像符号化装置および画像復号化装置 - Google Patents

Abstract

(57)【要約】 【課題】高精度の背景予測により符号化効率向上を図る
こと。 【解決手段】画像信号(Sp)と、該Spの背景(BG)とオブジ
ェクト(OJ)の識別のためのアルファマップ信号Saとを受
けこれらを符号化すると共に多重化して出力する装置に
おいて、Spと予測手段にて求めた動き補償の予測値との
差分の画像(dp)についてSaを参照して画像符号化処理す
ることでBGとOJを区別して符号化する手段(SPC)120,13
0,140と、Saを符号化する手段(SAC)180と、SPC とSAC
の出力を多重化する手段190 と、前記dpをSaの参照によ
りBG部分／OJ部分別々に抽出する手段(SL)510 と、SLの
抽出したBG部分の画像を蓄え該画像から動き補償の予測
値を得る第１予測手段200 と、SLの抽出したOJ部分の画
像を蓄え該画像から動き補償の予測値を得る第２予測手
段110 と、前記dpを得る際、SpのOJ部分は第２予測手段
の予測値を、BG部分は第１予測手段の予測値を用いる手
段100,500 を設ける。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像信号を高能率
に符号化し、伝送・蓄積すると共に、また復号するため
の画像符号化装置および画像復号化装置に関する。

【０００２】

【従来の技術】画像信号は膨大な情報量を持つため、伝
送や蓄積に供する場合には圧縮符号化するのが一般的で
ある。画像信号を高能率に符号化するには、フレーム単
位の画像を、所要画素数単位でブロック分けし、その各
ブロック毎に直交変換して画像の持つ空間周波数を各周
波数成分に分離し、変換係数として取得してこれを符号
化する。

【０００３】ところで、画像符号化の一つとして、
『Ｊ．Ｙ．Ａ．Ｗａｎｇ ｅｔ．ａｌ．“Ａｐｐｌｙｉ
ｎｇ Ｍｉｄ−ｌｅｖｅｌ Ｖｉｓｉｏｎ Ｔｅｃｈｎ
ｉｑｕｅｓ ｆｏｒ Ｖｉｄｅｏ Ｄａｔａ Ｃｏｍｐ
ｒｅｓｓｉｏｎ ａｎｄ Ｍａｎｉｐｕｌａｔｉｏ
ｎ”，Ｍ．Ｉ．Ｔ．Ｍｅｄｉａ Ｌａｂ．Ｔｅｃｈ．Ｒ
ｅｐｏｒｔ Ｎｏ．２６３，Ｆｅｂ．１９９４，』にお
いて、ミッドレベル符号化と呼ばれる範疇に属する画像
符号化法が提案されている。

【０００４】この方式では、例えば、図１１（ａ）のよ
うな背景と被写体（以後、オブジェクトと呼ぶ）からな
る画像があったとして、この背景とオブジェクトを図１
１（ｂ），（ｃ）のように分けて符号化している。

【０００５】このように、背景（図１１（ｃ））やオブ
ジェクト（図１１（ｂ））を別々に符号化するために
は、オブジェクトの形状や画面内の位置を表すアルファ
マップ信号（図１１（ｄ）白画素がオブジェクトの画素
を示す）が必要となる。なお、背景のアルファマップ信
号（図１１（ｅ））は、オブジェクトのアルファマップ
信号から一意に求められる。

【０００６】ところで、画像において、背景とオブジェ
クトを別々に符号化する場合には、それが動画像の場
合、オブジェクトの移動が伴うので、このオブジェクト
の移動に伴ってオブジェクトの陰に隠れていた背景画像
の問題がクローズアップされる。

【０００７】すなわち、一般に、背景を符号化する場
合、オブジェクトの移動に伴って画面内に表れる、オブ
ジェクトに隠れていた背景画像（ｕｎｃｏｖｅｒｄ ｂ
ａｃｋｇｒｏｕｎｄ）は、フレーム間相関が低いために
これを符号化する際にどうしても発生符号量が大きくな
ってしまうという問題である。

【０００８】例えば、図１２（ａ）が時刻ｔ−１の画面
であり、図１２（ｂ）が時刻ｔの画面であるとすると、
図１２（ｂ）の黒塗りの部分が、時刻ｔ−１からｔまで
の間にオブジェクトが移動したことにより表れるｕｎｃ
ｏｖｅｒｄ ｂａｃｋｇｒｏｕｎｄである。

【０００９】そこで、このｕｎｃｏｖｅｒｄ ｂａｃｋ
ｇｒｏｕｎｄが表れることによる符号量増大の問題を解
決するために、背景用のフレームメモリを用意し、ｕｎ
ｃｏｖｅｒｄ ｂａｃｋｇｒｏｕｎｄが表れる毎にこの
背景を背景用のフレームメモリに書き換えるようにする
と共に、背景予測により符号化効率を向上させる試みが
なされている。

【００１０】しかし、この背景予測で問題となるのが、
如何に真の背景情報をメモリに蓄えるか（背景メモリの
更新法）という点であり、この課題に対処するための背
景のメモリへの様々な更新方法が検討されている（例え
ば、宮本他：“背景予測を用いた適応予測符号化方式”
ＰＣＳＪ８８，７−４，ｐｐ．９３〜９４，渡邊他：
“適応４種差分−ＤＣＴ符号化方式“ＰＣＳＪ８８，８
−２，ｐｐ．１１７〜１１８）。

【００１１】図１２を用いて一般的な更新予測を説明す
る。図１２（ａ）の画像において、オブジェクトが図１
２（ｂ）のように移動したとする。するとオブジェクト
と背景を別々に符号化している場合には、オブジェクト
の移動に伴い、背景にはｕｎｃｏｖｅｒｄ ｂａｃｋｇ
ｒｏｕｎｄが表れる。このｕｎｃｏｖｅｒｄ ｂａｃｋ
ｇｒｏｕｎｄが表れた状態の画像を所定画素サイズでブ
ロック分けした状態を図１２（ｃ）に示す。図１２
（ｃ）において、升目一つはＮ画素×Ｎ画素のマトリッ
クス単位でブロック分けしたものを指しており、このブ
ロック分けしたものを前の画像を参照した動き補償予測
による画像との差分について離散コサイン変換等により
直交変換し、得られた変換係数を符号化してゆくことに
なる。

【００１２】ｕｎｃｏｖｅｒｄ ｂａｃｋｇｒｏｕｎｄ
を含むブロックは動き補償予測を行っても誤差が大きく
なる。そこで、あるしきい値を定め、誤差がこのしきい
値よりも大きくなったブロック内の信号を更新の候補
（実線で囲んだブロック）とし、以後数フレーム間にわ
たって該ブロックの誤差が小さかった場合には、該ブロ
ックの信号で背景メモリを更新する。このような手法が
一般的な更新予測の手法である。

【００１３】

【発明が解決しようとする課題】画像において、背景と
オブジェクトを別々に符号化する場合には、それが動画
像の場合、オブジェクトの移動が伴うので、このオブジ
ェクトの移動に伴ってオブジェクトの陰に隠れていた背
景画像の問題がクローズアップされる。

【００１４】すなわち、一般に、背景を符号化する場
合、オブジェクトの移動に伴ってその陰に隠れていたｕ
ｎｃｏｖｅｒｄ ｂａｃｋｇｒｏｕｎｄが画面内に表れ
る。そして、このｕｎｃｏｖｅｒｄ ｂａｃｋｇｒｏｕ
ｎｄは、フレーム間相関が低いためにこれを符号化する
際に発生符号量が大きくなってしまう。

【００１５】そこで、この問題に対処するため、背景用
のフレームメモリを用意し、ｕｎｃｏｖｅｒｄ ｂａｃ
ｋｇｒｏｕｎｄが表れる毎にこの背景を背景用のフレー
ムメモリに書き換えるようにすると共に、背景予測によ
り符号化効率を向上させる試みがなされている。

【００１６】しかし、背景とオブジェクトはアルファマ
ップを使用して分離するようにしており、これは画像を
二値化する等して得ることから、もともと背景とオブジ
ェクトを区別して得るものではない。

【００１７】そして、このような従来の符号化法のよう
に、背景とオブジェクトとの判別ができない符号化で
は、高い精度で背景用フレームメモリの内容更新をする
ことは困難であった。

【００１８】また、アルファマップ信号の誤差によりオ
ブジェクトの信号が背景に漏れてしまうことになり、こ
れによっても符号化効率が低下する問題があった。

【００１９】そこで、この発明の目的とするところは、
背景とオブジェクトとの区別をはっきりと行うことがで
き、精度の良い背景予測により符号化効率を向上させる
ことを可能にすると共に、オブジェクトの信号が背景に
漏れてしまうことによる符号化効率低下を抑制できるよ
うにした画像符号化装置および画像復号化装置を提供す
ることにある。

【００２０】

【課題を解決するための手段】本発明は、上記第１の目
的を達成するため第１には、画像信号と、この画像信号
の背景とオブジェクトを識別するためのアルファマップ
信号とを受け、これらを符号化すると共に多重化して出
力する動画像符号化装置において、前記画像信号と予測
手段により求められる動き補償の予測値との差分の画像
について、前記アルファマップ信号を参照して画像符号
化処理することにより、背景とオブジェクトとを区別し
て符号化する符号化手段と、前記アルファマップ信号を
符号化するアルファマップ信号符号化手段と、前記符号
化手段と前記アルファマップ信号符号化手段からの出力
を多重化して出力する多重化手段と、前記差分の画像
を、前記アルファマップ信号を参照することより背景部
分とオブジェクト部分とを別々に抽出する手段と、背景
部の画像を蓄える背景記憶手段を有して、前記抽出手段
により抽出された背景部分の画像を蓄えると共に、この
蓄えた背景部分の画像から動き補償の予測値を得る背景
用の第１の予測手段と、前記符号化したオブジェクト部
分の画像を蓄える記憶手段を有して、前記抽出手段によ
り抽出されたオブジェクト部分の画像を蓄えると共に、
この蓄えたオブジェクト部分の画像から動き補償の予測
値を得るオブジェクト用の第２の予測手段と、前記差分
の画像を得るにあたり、前記画像信号のオブジェクト部
分については前記オブジェクト用の第２の予測手段の求
めた予測値を用い、背景部分については前記背景用の第
１の予測手段の求めた予測値を用いて差分の画像を得る
手段とを設けて画像符号化装置を構成することを特徴と
する。

【００２１】本発明は、上記第１の目的を達成するため
第２には、符号化された画像信号と、この画像信号の背
景とオブジェクトを識別するためのアルファマップ信号
との多重化信号を復号して画像信号を再生する動画像復
号化装置において、前記復号され再生された画像信号か
ら、前記アルファマップ信号を参照することによりオブ
ジェクト部分と背景部分の画像信号を区別して抽出する
手段と、背景部の画像を蓄える背景記憶手段を有して、
前記抽出手段により抽出された背景部分の画像を蓄える
と共に、この蓄えた背景部分の画像から動き補償の予測
値を得る背景用の第１の予測手段と、前記符号化したオ
ブジェクト部分の画像を蓄える記憶手段を有して、前記
抽出手段により抽出されたオブジェクト部分の画像を蓄
えると共に、この蓄えたオブジェクト部分の画像から動
き補償の予測値を得るオブジェクト用の第２の予測手段
と、前記再生画像を得るにあたり、前記再生画像信号の
オブジェクト部分については前記オブジェクト用の第２
の予測手段の求めた予測値を、背景部分については前記
背景用の第１の予測手段の求めた予測値を加算すること
により復号した画像の再生信号を得る手段とを設けて画
像復号化装置を構成したことを特徴とする。

【００２２】本発明は、上記第１の目的を達成するため
第３には、入力画像の背景とオブジェクトを識別するた
めのアルファマップ信号があって、背景とオブジェクト
とを別々に符号化し得る動画像符号化・復号化装置にお
ける背景部の予測回路において、背景部の再生画像を蓄
えておく背景メモリと、背景メモリに対するアルファマ
ップ信号を蓄えておくアルファマップメモリと、現フレ
ームのアルファマップ信号と、アルファマップメモリに
蓄えてある背景メモリに対するアルファマップ信号とか
ら、アルファマップメモリを更新するアルファマップ信
号を生成する、アルファマップ更新回路と、現フレーム
のアルファマップ信号にしたがって、背景メモリを（局
部）復号信号で書き換える、背景メモリ更新回路と、背
景メモリ内の画像信号を動き補償することで予測信号を
生成する、動き補償予測回路を有することを特徴とする
背景予測回路を提供する。

【００２３】また、本発明は、上記第１の目的を達成す
るため第４には、入力画像の背景とオブジェクトを識別
する、アルファマップ信号があって、背景とオブジェク
トとを別々に符号化し得る動画像符号化・復号化装置に
おける背景部の予測回路において、背景部の再生画像を
蓄えておく背景メモリと、背景メモリに対するアルファ
マップ信号を蓄えておくアルファマップメモリと、現フ
レームのアルファマップ信号と、アルファマップメモリ
に蓄えてある背景メモリに対するアルファマップ信号を
アフィン変換した信号とから、アルファマップメモリを
更新するアルファマップ信号を生成する、アルファマッ
プ更新回路と、現フレームのアルファマップ信号と、ア
ルファマップメモリに蓄えてある背景メモリに対するア
ルファマップ信号をアフィン変換した信号とから、アル
ファマップを更新する領域を設定する、更新領域決定回
路と、更新領域決定回路において決定された背景メモリ
の領域を、局部復号信号で書き換える、背景メモリ更新
回路と、アルファマップメモリ内のアルファマップ信号
をアフィン変換するグローバル動き補償予測回路と、背
景メモリ内の画像信号をアフィン変換することで予測信
号を生成するグローバル動き補償予測回路を有すること
を特徴とする背景予測回路を提供する。

【００２４】また、本発明は、上記第２の目的を達成す
るため第５には、入力画像の背景とオブジェクトを識別
する、アルファマップ信号を符号化するアルファマップ
符号化回路があって、アルファマップ符号化回路によっ
て符号化された、アルファマップ信号の復号信号を基に
オブジェクトとの境界部の近傍に属すると判断された入
力画像信号の画素に、ノイズ除去フィルタを施すことを
特徴とする前処理回路を提供する。

【００２５】また、本発明は、上記第２の目的を達成す
るため第６には、前記第５の構成におけるアルファマッ
プ符号化回路によって符号化された信号を復号する、ア
ルファマップ復号回路があって、前記前処理回路におい
てノイズ除去フィルタを施された画素位置の復号画像信
号にＬＰＦ（ローパスフィルタ）処理を施すことを特徴
とする後処理回路を提供する。

【００２６】本発明では、背景とオブジェクトを判別す
るアルファマップ信号を用いて、高い精度での背景メモ
リの更新が実現される。

【００２７】また、本発明では、背景に漏れたオブジェ
クトの信号を、前処理のノイズ除去フィルタにより取り
除くことで、背景予測の効率が改善される。この際生じ
る、オブジェクトとの境界近傍における背景画像のテク
スチャや細線の消滅による画質劣化は、後処理フィルタ
により低減される。

【００２８】

【発明の実施の形態】以下、図面を参照して本発明の具
体例を説明する。本発明は、図１の画像伝送システムに
おける送受信装置（図１のＡ，Ｂ）内の、画像符号化・
復号化装置に関するものである。

【００２９】図２は、本発明が適用される画像符号化装
置のブロック図である。図に示すように、本画像符号化
装置は、差分回路１００、オブジェクト予測回路１１
０、直交変換回路１２０、量子化回路１３０、可変長符
号化回路１４０、逆量子化回路１５０、逆直交変換回路
１６０、加算回路１７０、アルファマップ符号化回路１
８０、背景予測回路２００、予測値切り換え回路５０
０，５１０とから構成されている。

【００３０】アルファマップ符号化回路１８０は、入力
されたアルファマップを符号化し、この符号化された信
号をアルファマップ信号として多重化回路１９０に出力
する機能と、このアルファマップ信号を復号して局部復
号信号として出力する機能を有する。

【００３１】差分回路１００は画像信号と、予測値切り
換え回路５００を介して与えられる予測信号（動き補償
信号）との差分を求める回路であり、直交変換回路１２
０は、この差分回路１００の出力をアルファマップ信号
の局部復号信号にもとづいて直交変換し、直交変換係数
を得る回路である。

【００３２】量子化回路１３０はこの得られた直交変換
係数を量子化する回路であり、可変長符号化回路１４０
はこの量子化回路１３０の出力を符号化して出力するも
のである。多重化回路１９０はこの可変長符号化回路１
４０により符号化されたものと、前記アルファマップ信
号とを、動きベクトル情報等のサイド情報と共に多重化
多重化してビットストリームとして出力するものであ
る。

【００３３】逆量子化回路１５０は量子化回路１３０の
出力を逆量子化するものであり、逆直交変換回路１６０
はこの逆量子化回路１５０の出力を前記アルファマップ
に基いて逆直交変換するものであり、加算回路１７０は
この逆直交変換回路１６０の出力と予測値切り換え回路
５００を介して与えられる予測信号（動き補償信号）と
を加算して予測値切り換え回路５１０に出力するもので
ある。

【００３４】オブジェクト予測回路１１０と背景予測回
路２００は、それぞれフレームメモリを有し、アルファ
マップ復号化回路１８０から与えられる局部復号信号に
もとづいて動作してオブジェクト領域の信号、背景領域
の信号を蓄積する機能を有する。また、オブジェクト予
測回路１１０は蓄積したオブジェクト領域の画像から動
き補償値を予測して予測値として出力する機能を有し、
また、背景予測回路２００は蓄積した背景領域の画像か
ら動き補償値を予測して予測値として出力する機能を有
する。

【００３５】予測値切り換え回路５１０は、加算回路１
７０の出力をオブジェクト予測回路１１０と背景予測回
路２００のうちの一方に与えるものであり、アルファマ
ップ復号化回路１８０から与えられる局部復号信号にも
とづいてオブジェクトの領域のブロックの処理のタイミ
ングではオブジェクト予測回路１１０に、それ以外のタ
イミングでは背景予測回路２００に加算回路１７０の出
力を通すように動作する構成としてある。

【００３６】予測値切り換え回路５００は、オブジェク
ト予測回路１１０と背景予測回路２００のうちの一方を
選択して差分回路１００に与えるものであり、アルファ
マップ復号化回路１８０から与えられる局部復号信号に
もとづいてオブジェクトの領域のブロックの処理のタイ
ミングではオブジェクト予測回路１１０の出力を通し、
それ以外のタイミングでは背景予測回路２００の出力を
通すように動作する構成としてある。

【００３７】このような構成の画像符号化装置は、画像
信号とそのアルファマップが入力される。

【００３８】アルファマップ符号化回路１８０では、入
力されるアルファマップを符号化し、この符号化された
アルファマップ信号を線３０を介して出力し、また、符
号化されたアルファマップ信号を復号して得た局部復号
信号を線２０を介して直交変換回路１２０，逆直交変換
回路１６０，オブジェクト予測回路１１０，予測値切り
換え回路５００，予測値切り換え回路５１０に出力す
る。

【００３９】画像信号は、所定画素サイズ（Ｎ×Ｎ画
素）のブロックに分割された後、ブロック位置順に線１
０を介して差分回路１００に供給される。そして、差分
回路１００では、この入力（画像信号）と、予測値切り
換え回路５００より供給される予測信号（オブジェクト
予測回路１１０または背景予測回路２００のうちの、選
択された一方の出力）との差分信号が算出され、直交変
換回路１２０に供給される。

【００４０】すなわち、予測値切り換え回路５００では
アルファマップ信号の局部復号信号から現在、オブジェ
クトのブロック対応部分の画像信号が差分回路１００に
入力されているのか、あるいは背景部分のブロック対応
部分の画像信号が差分回路１００に入力されているのか
を知り、オブジェクトのブロック対応部分の画像信号の
入力期間中であれば、オブジェクト予測回路１１０の求
めた予測信号を、そして、背景部分のブロック対応部分
の画像信号入力期間中であれば、背景予測回路２００の
求めた予測信号を、差分回路１００に与えるべく伝送経
路を切り替えて、対応の予測信号を差分回路１００に与
える。

【００４１】その結果、差分回路１００では、この入力
された画像信号と、その画像の領域対応の予測信号との
差を算出するので、入力画像がオブジェクト対応の領域
のものであれば、そのオブジェクトの対応位置での予測
値との差分信号が、また、入力画像が背景の領域のもの
であれば、その背景位置対応の予測値との差分信号が算
出され、直交変換回路１２０に供給される。

【００４２】直交変換回路１２０では、供給された差分
信号を線２０を介して供給されるアルファマップの情報
にしたがって、直交変換係数に変換した後、量子化回路
１３０に供給されてここで量子化される。

【００４３】量子化回路１３０にて量子化された変換係
数は、可変長符号化回路１４０において符号化されると
共に、逆量子化回路１５０に供給される。そして、逆量
子化回路１５０に供給された変換係数はここで逆量子化
された後、逆直交変換回路１６０において逆変換されて
加算回路１７０に供給される。そして、予測値切り換え
回路５００を介して加算回路１７０に供給される予測値
と加算されることになる。

【００４４】加算回路１７０の出力である局部復号画像
の信号は、予測値切り換え回路５１０に供給され、予測
値切り換え回路５１０ではアルファマップ信号の局部復
号信号から現在、オブジェクトのブロック対応の信号が
加算回路１７０から出力されているのか、あるいは背景
部分のブロック対応の信号が加算回路１７０から出力さ
れているのかを知り、オブジェクトのブロック対応の信
号の出力中であれば、オブジェクト予測回路１１０のフ
レームメモリに、そして、背景部分のブロック対応の信
号の出力中であれば、背景予測回路２００の背景メモリ
に与えるべく伝送経路を切り替えて、対応のメモリに蓄
えさせる。

【００４５】すなわち、予測値切り換え回路５００，５
１０は、線２０を介して供給されるアルファマップ信号
の局部復号信号にしたがって、該ブロックがオブジェク
トに属する場合にはオブジェクト予測回路１１０側に、
該ブロックが背景に属する場合には背景予測回路２００
側に連動して切り換えられることにより、上述のような
選択動作をすることになる。

【００４６】そして、これにより加算回路１７０からの
出力がオブジェクトのブロック対応の信号の場合は、オ
ブジェクト予測回路１１０のフレームメモリに、そし
て、背景部分のブロック対応の信号の場合は、背景予測
回路２００の背景メモリに与えて蓄積されるので、オブ
ジェクト画像のみ、背景画像のみの画像がそれぞれメモ
リ上に得られることになる。そして、オブジェクト予測
回路１１０はオブジェクト画像を利用して予測値を求
め、背景予測回路２００は背景部分の画像を利用して予
測値を求めることができる。

【００４７】すなわち、オブジェクトの移動に伴ってそ
の陰に隠れていたｕｎｃｏｖｅｒｄｂａｃｋｇｒｏｕｎ
ｄが画面内に表れるが、これは背景部分の画像を利用し
て予測値を求める背景予測回路２００がこの部分の予測
値を、これの近隣の背景部分から求めて提供するので、
符号化段ではフレーム間相関のある場合と同様の符号化
を可能にする。

【００４８】予測値切り換え回路５００ではアルファマ
ップ信号の局部復号信号から現在、オブジェクトのブロ
ック対応部分の画像信号が差分回路１００に入力されて
いるのか、あるいは背景部分のブロック対応部分の画像
信号が差分回路１００に入力されているのかを知り、オ
ブジェクトのブロック対応部分の画像信号の入力期間中
であれば、オブジェクト予測回路１１０の求めた予測信
号を、そして、背景部分のブロック対応部分の画像信号
入力期間中であれば、背景予測回路２００の求めた予測
信号を、差分回路１００に与えるべく伝送経路を切り替
えて、対応の予測信号を差分回路１００に与えること
で、オブジェクト部分の処理の際にはオブジェクト領域
の、そして、背景部分処理の際には背景領域の予測値を
用いた差分信号を得ることができるようになり、しか
も、オブジェクトの移動に伴ってその陰に隠れていたｕ
ｎｃｏｖｅｒｄ ｂａｃｋｇｒｏｕｎｄが生じる場合で
も、背景予測回路２００が背景のみの画像から求めた予
測信号を提供することで、フレーム間相関のある場合と
変わらない差分信号を得ることができる。

【００４９】上述したように、アルファマップ符号化回
路１８０では、入力されるアルファマップを符号化し、
この符号化されたアルファマップ信号を線３０を介して
出力し、多重化回路１９０に供給している。

【００５０】また、多重化回路１９０には、可変長符号
化回路１４０から出力された変換係数が線４０を介して
供給されている。そして、多重化回路１９０は供給され
ているこれらアルファマップ信号および変換係数の符号
化値とを、動きベクトル情報等のサイド情報と共に多重
化した後、線５０を介して出力して本画像符号化装置の
最終出力としての符号化ビットストリームとなる。

【００５１】以上が符号化装置の構成と作用であり、画
像の誤差信号を得るにあたって、オブジェクト用および
背景用の予測回路を設け、アルファマップにしたがって
処理中の画像の現在ブロック位置がオブジェクト領域位
置であるのか、背景領域位置であるのかを判別しなが
ら、処理中の画像の現在ブロック位置がオブジェクト領
域位置であればオブジェクト用の予測回路の求めた予測
値を用い、背景領域位置であれば背景用の予測回路の求
めた予測値を用いて差分を求めるようにした。

【００５２】そして、オブジェクト用および背景用の予
測回路にはこの差分から得た画像について、アルファマ
ップにしたがってそれぞれ対応の領域部分の画像を保持
させ、予測に供するようにした。そのため、背景予測回
路は背景部分の画像を利用して予測値を求めることがで
きるようになり、オブジェクトの移動に伴ってその陰に
隠れていたｕｎｃｏｖｅｒｄ ｂａｃｋｇｒｏｕｎｄが
画面内に表れるが、これは背景部分の画像を利用して予
測値を求める背景予測回路２００がこの部分の予測値
を、これの近隣の背景部分から求めて提供するので、符
号化にあたってはフレーム間相関のある場合と同様の符
号化を可能にし、符号量の増大を抑制できるようにな
る。

【００５３】一方、図３は本発明が適用されれる復号化
装置のブロック図である。図３の復号化装置は、分離化
回路３００、アルファマップ復号化回路３１０、可変長
復号化回路３２０、逆量子化回路３３０、逆直交変換回
路３４０、加算回路３５０、オブジェクト予測回路３６
０、背景予測回路４００、予測値切り換え回路６００，
６１０とより構成される。

【００５４】分離化回路３００は入力される符号化ビッ
トストリームを分離化処理してアルファマップ信号と画
像の符号化信号等を得る回路であり、アルファマップ復
号化回路３１０はこの分離化回路３００にて分離された
アルファマップ信号を復号して元のアルファマップを得
る回路である。

【００５５】可変長復号化回路３２０は、分離化回路３
００にて分離された画像の符号化信号を復号するもので
あり、逆量子化回路３３０はこの復号されたものを逆量
子化して元の係数に戻すものであり、逆直交変換回路３
４０はこの係数を逆直交変換して画像信号に戻すもので
あり、加算回路３５０は、この画像信号に予測値切り換
え回路６００を介して与えられる予測値を加算して再生
画像信号として出力するものである。この再生画像信号
が復号化装置の最終出力となる。

【００５６】予測値切り換え回路６００，６１０は、ア
ルファマップ信号にしたがって、加算回路３５０で処理
中のブロックがオブジェクトに属する場合にはオブジェ
クト予測回路３６０側に、該ブロックが背景に属する場
合には背景予測回路４００側に連動して切り換える機能
を有する。

【００５７】オブジェクト予測回路３６０は、予測値切
り換え回路６１０を介して与えられる再生画像信号をフ
レームメモリに蓄積すると共に、この蓄積されて得られ
た画像からオブジェクトの予測信号を得るものであり、
背景予測回路４００は、予測値切り換え回路６１０を介
して与えられる再生画像信号をフレームメモリに蓄積す
ると共に、この蓄積されて得られた画像から背景部分の
予測信号を得るものである。

【００５８】予測値切り換え回路６１０の上述の機能に
より、オブジェクト予測回路３６０にはオブジェクト部
分のみの、そして、背景予測回路４００には背景部分の
みの画像が蓄積されることにより、それぞれでの予測値
が得られる構成である。

【００５９】図３の復号化装置においては、符号化ビッ
トストリームは、線８０を介して分離化回路３００に供
給され、分離化回路３００において各々の情報毎に分離
されることにより、アルファマップ信号に関する符号
と、画像信号の可変長符号とに分けられる。

【００６０】そして、アルファマップ信号に関する符号
は、線８１を介してアルファマップ復号化回路３１０に
供給され、また、画像信号の可変長符号は線８２を介し
て可変長復号化回路３２０にそれぞれ供給される。

【００６１】アルファマップ信号に関する符号はアルフ
ァマップ復号化回路３１０においてアルファマップ信号
に再生され、線９０を介して逆直交変換回路３４０と背
景予測回路４００に出力される。

【００６２】一方、可変長復号化回路３２０では、線８
２を介して供給される符号を復号し、逆量子化回路３３
０に供給する。逆量子化された変換係数は、線９０を介
して供給されるアルファマップにしたがって逆直交変換
回路３４０により逆変換され、加算回路３５０に供給さ
れる。加算回路３５０では、逆直交変換回路３４０から
の逆直交変換された信号と、予測値切り換え回路６００
より供給される予測信号とを加算し、再生画像を得る。

【００６３】予測値切り換え回路６００，６１０は、線
９０を介して供給されるアルファマップ信号にしたがっ
て、該ブロックがオブジェクトに属する場合にはオブジ
ェクト予測回路３６０側に、該ブロックが背景に属する
場合には背景予測回路４００側に連動して切り換えられ
る。

【００６４】オブジェクト予測回路３６０は、予測値切
り換え回路６１０を介して与えられる再生画像信号をフ
レームメモリに蓄積すると共に、この蓄積されて得られ
た画像からオブジェクトの予測信号を得る。また、背景
予測回路４００は、予測値切り換え回路６１０を介して
与えられる再生画像信号をフレームメモリに蓄積すると
共に、この蓄積されて得られた画像から背景部分の予測
信号を得る。

【００６５】そして、予測値切り換え回路６１０の上述
の機能により、オブジェクト予測回路３６０にはオブジ
ェクト部分のみの、そして、背景予測回路４００には背
景部分のみの画像が蓄積されることにより、それぞれで
の予測値が得られ、また、予測値切り換え回路６００の
上述の機能により、オブジェクト領域の画像信号の処理
中にはオブジェクト予測回路３６０からのオブジェクト
予測値が、そして、背景領域の画像信号の処理中には背
景予測回路４００からの背景部分の予測値が選択されて
加算回路３５０に入力されることにより、オブジェクト
や背景のはみだしのない再生画像が得られるようにな
る。

【００６６】本発明は背景予測回路２００，４００に関
するものであり、その他の構成に関しては、例えば本件
発明者らが先に出願した特願平７‐９７０７３号に記載
の任意形状画像の符号化方式を用いれば良い。

【００６７】つぎに本発明で用いる背景予測回路の詳細
を説明する。

【００６８】（背景予測回路２００，４００の第１の具
体例）図４，図５を用いて、背景予測回路における本発
明の第１の具体例の説明をする。

【００６９】図４は、背景予測回路２００，４００の第
１の具体例のブロック図である。

【００７０】背景予測回路２００，４００は、アルファ
マップメモリ２１０、アルファマップ更新回路２２０、
背景メモリ更新回路２３０、背景メモリ２４０、動き補
償予測回路２５０から構成される。アルファマップメモ
リ２１０はアルファマップを保持するためのメモリであ
り、アルファマップ更新回路２２０は、アルファマップ
符号化回路１８０（図２参照；背景予測回路２００の場
合）またはアルファマップ復号化回路３１０（図３参
照；背景予測回路４００の場合）からの局部復号信号を
受けてアルファマップメモリ２１０の内容を更新制御す
る回路である。

【００７１】背景メモリ２４０は背景画像を保持するた
めのメモリであり、背景メモリ更新回路２３０は、アル
ファマップ符号化回路１８０またはアルファマップ復号
化回路３１０から受ける局部復号信号に従い、予測値切
り換え回路５１０（図２参照；背景予測回路２００の場
合）または予測値切り換え回路６１０（図３参照；背景
予測回路４００の場合）を介して加算回路１７０（図２
参照；背景予測回路２００の場合）または加算回路３５
０（図４参照；背景予測回路４００の場合）から受ける
画像信号の前記背景メモリ２４０に対する更新制御をす
る回路である。

【００７２】動き補償予測回路２５０は、アルファマッ
プメモリ２１０の保持するアルファマップ信号により識
別される、背景メモリ２４０保持の前フレームまでの背
景画像を参照して現フレームの動き補償予測値を作成す
る回路である。

【００７３】このような構成の本背景予測回路２００に
おいて、アルファマップメモリ２１０には、アルファマ
ップ更新回路２２０において更新された、背景メモリ２
４０に蓄えられている背景画像に対するアルファマップ
信号が蓄えられている。そして、動き補償予測回路２５
０では、このアルファマップメモリ２１０に蓄えられて
いるアルファマップ信号により識別される、背景メモリ
２４０内に蓄えられている前フレームまでの背景画像を
参照して現フレームの動き補償予測値を作成し、線７０
を介して予測値切り換え回路５００（または６００）へ
と出力する。

【００７４】一方、予測値切り換え回路５１０（または
６１０）より線６０を介して供給される前記加算回路１
７０（または３５０）からの（局部）復号画像は、背景
メモリ更新回路２３０において線２０を介して供給され
る現フレームのアルファマップ（アルファマップ符号化
回路１８０またはアルファマップ復号化回路３１０の出
力するアルファマップ局部復号信号）により識別され
る、背景メモリ２４０内の背景領域に書き込まれる。

【００７５】このようにして背景予測回路２００，４０
０は画像の背景部分のみの像を得て、これよりアルファ
マップに基づいて動き補償予測回路２５０により動き補
償予測をすることができるようになる。

【００７６】図５は、アルファマップメモリ２１０と背
景メモリ２４０の更新の様子を示したものである。ここ
で、図５（ａ），（ｃ），（ｅ）は背景メモリ、図５
（ｂ），（ｃ），（ｆ）はアルファマップメモリであ
る。以後、アルファマップ信号は背景部を白で表し、論
理演算では白を“１”、黒を“０”として計算し、論理
演算はコンピュータのプログラム言語の一つであるＣ言
語風に表現する。

【００７７】第１フレーム符号化終了時点での背景メモ
リ２４０の中味が図５（ａ）、アルファマップメモリ２
１０の中味が図５（ｂ）の如きであったとする。

【００７８】ここで、第２フレーム（現フレーム）で図
５（ｃ）および図５（ｄ）を符号化する場合に、図５
（ｆ）の斜線部が新たに増えた領域となる。従って、第
２フレーム符号化終了時には、図５（ｅ）が背景メモリ
２４０の中味となる。

【００７９】つまり、アルファマップ更新回路２２０で
は、線２０を介して供給される現フレームのアルファマ
ップ信号（図５（ｄ）の白の領域（これを後述する論理
式においてａｌｐｈａ（ｄ）とする））と、アルファマ
ップメモリ２１０に蓄えられている前フレームまでのア
ルファマップ信号（図５（ｂ）の白の領域（これを後述
する論理式においてａｌｐｈａ（ｂ）とする））の論理
和によりアルファマップ信号を更新する（図５（ｆ）の
黒以外の領域（これを後述する論理式においてａｌｐｈ
ａ（ｆ）とする））。

【００８０】この論理を式で表すと、以下のようにな
る。但し、白を論理値“１”、黒を論理値“０”とす
る。

【００８１】ａｌｐｈａ（ｆ）＝ａｌｐｈａ（ｂ） ｜
ａｌｐｈａ（ｄ）； すなわち、前フレームまでに更新された領域と、現フレ
ームの領域との論理和（記号“｜”で示す）を、背景メ
モリに加えることになる。

【００８２】（背景予測回路２００，４００の第２の具
体例）次に、図５，図６および図７を用いて本発明の背
景予測回路の第２の具体例を説明する。

【００８３】背景領域の動きはカメラワークに依存して
いるため、画面全体に対して一組のアフィン（ａｆｆｉ
ｎｅ）パラメータで動きを表現することができる。

【００８４】このことから、ここで示す具体例において
は、背景予測にグローバル動き補償（ＧＭＣ）を適用
し、同時にアルファマップ信号も背景予測と同じアルフ
ァマップパラメータによるアフィン変換によりＧＭＣす
ることで、新たに表れた背景領域（例えば、図５（ｆ）
の斜線部）のみ背景領域を更新することで更に符号化効
率の改善を図るようにする。

【００８５】図６は、背景予測回路２００，４００の第
２の具体例のブロック図である。図に示すように、背景
予測回路２００，４００は、アルファマップメモリ２１
０、アルファマップ更新回路２２０、背景メモリ更新回
路２３０、背景メモリ２４０、動き補償予測回路２５
０、更新領域決定回路２６０、グローバル動き補償回路
（ＧＭＣ）２７０，２８０から構成される。

【００８６】ここでは背景メモリ更新回路２３０は更新
領域決定回路２６０の指示に従い、予測値切り換え回路
５１０（図２参照；背景予測回路２００の場合）または
予測値切り換え回路６１０（図３参照；背景予測回路４
００の場合）を介して加算回路１７０（図２参照；背景
予測回路２００の場合）または加算回路３５０（図４参
照；背景予測回路４００の場合）から受ける画像信号の
前記背景メモリ２４０に対する更新制御をするようにし
てある。

【００８７】また、アルファマップ更新回路２２０は、
アルファマップ符号化回路１８０（図２参照；背景予測
回路２００の場合）またはアルファマップ復号化回路３
１０（図３参照；背景予測回路４００の場合）からの局
部復号信号を受け、グローバル動き補償回路２８０から
の信号に従い、前記局部復号信号のアルファマップメモ
リ２１０への内容更新を制御する回路である。

【００８８】グローバル動き補償回路２８０は、アルフ
ァマップメモリ２１０に蓄えられているアルファマップ
信号より動き補償予測値を作成するものであり、グロー
バル動き補償回路２７０は、アルファマップメモリ２１
０に蓄えられているアルファマップ信号により識別され
る、背景メモリ２４０の保持した前フレームまでの背景
画像を参照して現フレームの動き補償予測値を作成する
ものである。

【００８９】その他、アルファマップメモリ２１０、背
景メモリ２４０の機能は先の例と同じである。

【００９０】このような構成の背景予測回路において、
アルファマップメモリ２１０には、アルファマップ更新
回路２２０において更新された、背景メモリ２４０に蓄
えられている背景画像に対するアルファマップ信号が蓄
えられている。

【００９１】一方、グローバル動き補償回路２８０は、
アルファマップメモリ２１０に蓄えられているアルファ
マップ信号より動き補償予測値を作成し、アルファマッ
プ更新回路２２０はこれをもとにして、アルファマップ
信号のアルファマップメモリ２１０に対する更新を制御
する。すなわち、アルファマップ符号化回路１８０（図
２参照；背景予測回路２００の場合）またはアルファマ
ップ復号化回路３１０（図３参照；背景予測回路４００
の場合）からの局部復号信号の、アルファマップメモリ
２１０に対する更新を制御する。

【００９２】グローバル動き補償予測回路２７０では、
アルファマップメモリ２１０に蓄えられているアルファ
マップ信号により識別される、背景メモリ２４０内に蓄
えられている前フレームまでの背景画像を参照して現フ
レームの動き補償予測値を作成し、線７０を介して予測
値切り換え回路５００（または６００）へと出力する。

【００９３】一方、予測値切り換え回路５１０（または
６１０）より線６０を介して供給される前記加算回路１
７０（または３５０）からの局部復号画像は、背景メモ
リ更新回路２３０において更新領域決定回路２６０より
供給される背景メモリ２４０内の更新領域に書き込まれ
る。

【００９４】更新領域決定回路２６０では、線２０を介
して供給される現フレームのアルファマップ信号（アル
ファマップ符号化回路１８０またはアルファマップ復号
化回路３１０の出力するアルファマップ局部復号信号で
例えば、図５（ｄ）：これを後述の論理式ではａｌｐｈ
ａ（ｄ）と表す）と、アルファマップメモリ２１０に蓄
えられている前フレームまでのアルファマップ信号（例
えば、図５（ｂ））をグローバル動き補償（ＧＭＣ）し
た信号（これを後述の論理式ではＧＭＣ（ａｌｐｈａ
（ｂ）と表す）を以下の論理式により新たに表れた領域
を求める（例えば図５（ｆ）の斜線部（これを後述の論
理式ではａｌｐｈａ（ｆ）と表す））。

【００９５】なお、“！”は反転、“＆”は論理積、ま
た、白を論理値“１”、黒を論理値“０”とする。

【００９６】ａｌｐｈａ（ｆ）＝（！ＧＭＣ（ａｌｐｈ
ａ（ｂ））） ＆ ａｌｐｈａ（ｄ）； 以上、アルファマップに対してグローバル動き補償予測
を用いてアルファマップメモリと、背景メモリの内容の
更新を行い、背景メモリの内容に基いてグローバル動き
補償予測を行い背景予測値とする例を説明した。

【００９７】ここで、グローバル動き補償予測回路２７
０，２８０において、アフィン変換を行う際に、実数画
素位置の値を参照する場合がある。このような場合、例
えば、背景メモリ２４０内の多値信号の場合には、双一
次内挿予測を用いれば良い。

【００９８】図７は、アルファマップ信号の様な２値信
号の実数画素位置の値を求める例である。この説明を、
参考文献“尾上編：画像処理ハンドブック，ｐ．６３
０．昭晃堂”を基に説明する。

【００９９】図７（ａ）において実数画素位置Ｐの値Ｉ
p は、入力信号の整数画素位置Ａ，Ｂ，Ｃ，Ｄとの距離
関係から、８つの領域に分けて図７（ｂ）に示す論理式
により、Ａ〜Ｄの画素値Ｉa 〜Ｉd から求められる。

【０１００】また、上記具体例において、アルファマッ
プメモリ２１０と背景メモリ２４０のサイズを、画面サ
イズよりも大きくすることで、更に背景予測の効率を向
上させることができる。

【０１０１】また、更新領域決定回路２６０により求め
られた、更新領域以外の画像信号を符号化する場合に
は、量子化回路１３０の出力を強制的に“０”にするこ
とで、発生符号量を低減することもできる。

【０１０２】この場合、グローバル動き補償予測信号
は、双一次内挿処理により信号の高域成分が弱められて
いるため、アフィン変換パラメータの絶対値が、あるし
きい値よりも小さい場合には、静止しているとみなし、
上記更新領域以外でも量子化回路１３０の出力を強制的
に“０”にしないで、線６０を介して供給される高域成
分が加えられた局部復号信号を背景メモリ２４０に書き
加える。

【０１０３】（オブジェクトの信号の漏れを取り除く具
体例）次に、オブジェクトの信号の漏れを取り除く具体
例を図８，図９および図１０を用いて説明する。

【０１０４】アルファマップ符号化回路１８０において
は、符号量を低減するために誤差を許容して符号化する
場合が多い。このため、線２０を介してエンコーダに供
給されるアルファマップ信号に誤差が乗ることになるた
め、図８に示すようにオブジェクトの境界部にオブジェ
クトの信号が漏れ出している場合が多い。

【０１０５】そして、背景部の信号にオブジェクトの信
号が漏れ出していると、背景メモリ２４０内にオブジェ
クトの信号が蓄積され、符号化効率的にも視覚的にも悪
影響を与える。

【０１０６】そこで、このような不具合に対処するには
つぎのようにする。本システムでは背景メモリ２４０を
有しており、ここには背景部分のみの画像が蓄えられて
おり、また、アルファマップメモリ２１０を有してここ
には画像のアルファマップの情報が蓄えられている。そ
のため、背景画像について、オブジェクトとの境界領域
を容易に知ることができる。

【０１０７】このことを利用して、例えば、画像が図８
（ａ）のようなものとなった場合、本発明では背景画像
においてオブジェクトとの境界部の近傍の画素（図８
（ａ）の斜線部）について、ノイズ除去フィルタをかけ
た信号で置き換える処理をする。

【０１０８】このように、背景画像においてオブジェク
トとの境界部の近傍の画素（図８（ａ）の斜線部）をノ
イズ除去フィルタをかけた信号で置き換えることで、図
８（ｂ）のようにオブジェクトの信号の漏れを取り除く
（低減する）ことができるようになる。

【０１０９】図９は、本具体例のブロック図である。こ
の装置はエンコーダ１と、アルファマップ符号化回路１
８０と、多重化回路１９０と、前処理回路７００とから
構成されている。

【０１１０】前処理回路７００では、線２０を介して供
給されるアルファマップ信号の局部復号信号を参照し
て、境界部近傍の画素位置（図８（ａ）の斜線部の画
素）を設定する。そして前処理回路７００では、この設
定された画素位置の画素を、入力された画像信号に対し
てノイズ除去フィルタをかけた信号で置き換える処理を
行った後、線１０を介してエンコーダ１に処理済みの画
像信号を供給する。エンコーダ１はこの画像信号をアル
ファマップを参照しながらオブジェクト対応部分につい
て符号化し、多重化回路１９０へ出力する。多重化回路
１９０ではこの符号化されたものとアルファマップ符号
化回路１８０からの符号化されたアルファマップ信号と
を多重化して符号化ビットストリームを得る。

【０１１１】ここで、前処理回路７００でのフィルタ処
理に利用できるノイズ除去フィルタとして、例えば、モ
ルフォロジー（ｍｏｒｐｈｏｌｏｇｙ）演算を用いた非
線形フィルタがある。そして、この演算において、スト
ラクチュァリングエレメント（ｓｔｒｕｃｔｕｒｉｎｇ
ｅｌｅｍｅｎｔ）として図８（ａ）のΔよりも大きな
ものを選択し、オープニング（ｏｐｅｎｉｎｇ）演算の
後にクローズゥイング（ｃｌｏｓｉｎｇ）演算（ｃｌｏ
ｓｉｎｇ演算の後にｏｐｅｎｉｎｇ演算でもよい）を施
すことで、Δよりも小さい幅（周期）のノイズは図８
（ｂ）のように除去される。

【０１１２】上記の様に、Δの範囲内にフィルタを施す
と、Δの範囲内に含まれる背景画像のテクスチャや細線
等が消滅してしまう。そこで、この問題を低減する方法
としてデコーダ側において後処理フィルタをかけること
で、視覚的な違和感をなくすことができる。

【０１１３】図１０は、本具体例としての復号化装置側
のブロック図である。復号化装置は分離化装置３００、
アルファマップ復号化装置３１０、デコーダ２、後処理
回路７１０とからなる。これらのうち、分離化装置３０
０、アルファマップ復号化装置３１０は図３で説明した
ものと同じである。

【０１１４】デコーダ２は分離化装置３００でビットス
トリームより分離された画像成分の符号化信号を、アル
ファマップ復号化装置３１０からのアルファマップに基
いて元の信号に戻す回路であり、後処理回路７１０はこ
のデコーダ２によって元に戻された信号を、アルファマ
ップ復号化装置３１０からのアルファマップに基いて境
界部近傍の画素位置の画素に対してはＬＰＦ（ローパス
フィルタ）処理を施して出力するという機能を有する。

【０１１５】このような構成において、分離化装置３０
０は入力されるビットストリームを分離してアルファマ
ップ信号はアルファマップ復号化装置３１０に入力し、
画像成分の符号化信号はデコーダ２に入力する。アルフ
ァマップ復号化装置３１０ではアルファマップ信号を復
号して元のアルファマップを得、線９０を介してデコー
ダ２、後処理回路７１０に与える。デコーダ２は画像成
分の符号化信号をアルファマップに基いて元の信号に戻
す。

【０１１６】後処理回路７１０では、線９０を介して供
給されるアルファマップ信号の復号信号を参照して、境
界部近傍の画素位置を設定し、デコーダ２より供給され
る復号画像に対して、設定された画素位置の画素にＬＰ
Ｆをかけてから再生画像を出力する。

【０１１７】以上本発明においては、動画像の符号化に
あたり、画像の動き予測誤差信号を得るにあたって、オ
ブジェクト用および背景用の予測回路を設け、アルファ
マップにしたがって処理中の画像の現在ブロック位置が
オブジェクト領域位置であるのか、背景領域位置である
のかを判別しながら、処理中の画像の現在ブロック位置
がオブジェクト領域位置であればオブジェクト用の予測
回路の求めた予測値を用い、背景領域位置であれば背景
用の予測回路の求めた予測値を用いて差分を求めるよう
にした。

【０１１８】そして、オブジェクト用および背景用の予
測回路にはこの差分から得た画像について、アルファマ
ップにしたがってそれぞれ対応の領域部分の画像を保持
させ、予測に供するようにした。そのため、背景予測回
路は背景部分の画像を利用して予測値を求めることがで
きるようになり、オブジェクトの移動に伴ってその陰に
隠れていたｕｎｃｏｖｅｒｄ ｂａｃｋｇｒｏｕｎｄが
画面内に表れるが、これは背景部分の画像を利用して予
測値を求める背景予測回路がこの部分の予測値を、これ
の近隣の背景部分から求めて提供するので、符号化にあ
たってはフレーム間相関のある場合と同様の符号化を可
能にし、符号量の増大を抑制できるようになる。また、
復号化にあたってもアルファマップに従って、オブジェ
クト部分と背景部分を区別して復号でき、質のよい画像
が復元できる。

【０１１９】

【発明の効果】本発明によれば、アルファマップ信号に
したがって背景メモリを更新することで、背景予測の効
率が向上し、背景部での符号化効率が大幅に改善され
る。

【０１２０】背景に漏れだしたオブジェクトの信号を取
り除くことで背景予測の効率を向上させることができ
る。

【図面の簡単な説明】

【図１】本発明を説明するための図であって、本発明に
よる画像符号化装置および画像復号化装置が適用される
画像伝送システムの一例を示す図。

【図２】本発明を説明するための図であって、本発明に
よる動画像符号化装置の構成例を示すブロック図。

【図３】本発明を説明するための図であって、本発明に
よる動画像復号化装置の構成例を示すブロック図。

【図４】本発明を説明するための図であって、本発明に
よる背景予測回路の第１の具体例を示すブロック図。

【図５】本発明を説明するための図であって、本発明に
おいて使用する背景メモリとアルファマップメモリを説
明する図。

【図６】本発明を説明するための図であって、本発明に
よる背景予測回路の第２の具体例を示すブロック図。

【図７】２値信号の内挿法を説明する図。

【図８】前処理・後処理の適用範囲を説明する図。

【図９】本発明を説明するための図であって、本発明に
よる前処理部の構成例を示すブロック図。

【図１０】本発明を説明するための図であって、本発明
による後処理部の構成例を示すブロック図。

【図１１】アルファマップを説明する図。

【図１２】ｕｎｃｏｖｅｒｄ ｂａｃｋｇｒｏｕｎｄを
説明する図。

【符号の説明】

１…エンコーダ ２…デコーダ １００…差分回路 １１０，３６０…オブジェクト予測回路 １２０…直交変換回路 １３０…量子化回路 １４０…可変長符号化回路 １５０，３３０…逆量子化回路 １６０，３４０…逆直交変換回路 １７０，３５０…加算回路 １８０…アルファマップ符号化回路 １９０…多重化回路 ２００，４００…背景予測回路 ５００，５１０，６００，６１０…ＳＷ回路 ３００…分離化回路 ３１０…アルファマップ復号化回路 ３２０…可変長復号化回路 ２１０…アルファマップメモリ ２２０…アルファマップ更新回路 ２３０…背景メモリ更新回路 ２４０…背景メモリ ２５０…動き補償予測回路 ２６０…更新領域決定回路 ２７０，２８０…グローバル動き補償予測回路 ７００…前処理回路 ７１０…後処理回路。

Claims (8)

【特許請求の範囲】
1. 【請求項１】 画像信号と、この画像信号の背景とオブ
   ジェクトを識別するためのアルファマップ信号とを受
   け、これらを符号化すると共に多重化して出力する動画
   像符号化装置において、 前記画像信号と予測手段により求められる動き補償の予
   測値との差分の画像について、前記アルファマップ信号
   を参照して画像符号化処理することにより、背景とオブ
   ジェクトとを区別して符号化する符号化手段と、 前記アルファマップ信号を符号化するアルファマップ信
   号符号化手段と、 前記符号化手段と前記アルファマップ信号符号化手段か
   らの出力を多重化して出力する多重化手段と、 前記差分の画像を、前記アルファマップ信号を参照する
   ことより背景部分とオブジェクト部分とを別々に抽出す
   る手段と、 背景部の画像を蓄える背景記憶手段を有して、前記抽出
   手段により抽出された背景部分の画像を蓄えると共に、
   この蓄えた背景部分の画像から動き補償の予測値を得る
   背景用の第１の予測手段と、 前記符号化したオブジェクト部分の画像を蓄える記憶手
   段を有して、前記抽出手段により抽出されたオブジェク
   ト部分の画像を蓄えると共に、この蓄えたオブジェクト
   部分の画像から動き補償の予測値を得るオブジェクト用
   の第２の予測手段と、 前記差分の画像を得るにあたり、前記画像信号のオブジ
   ェクト部分については前記オブジェクト用の第２の予測
   手段の求めた予測値を用い、背景部分については前記背
   景用の第１の予測手段の求めた予測値を用いて差分の画
   像を得る手段とを設けたことを特徴とする画像符号化装
   置。
2. 【請求項２】 符号化された画像信号と、この画像信号
   の背景とオブジェクトを識別するためのアルファマップ
   信号との多重化信号を復号して画像信号を再生する動画
   像復号化装置において、 前記復号され再生された画像信号から、前記アルファマ
   ップ信号を参照することによりオブジェクト部分と背景
   部分の画像信号を区別して抽出する手段と、 背景部の画像を蓄える背景記憶手段を有して、前記抽出
   手段により抽出された背景部分の画像を蓄えると共に、
   この蓄えた背景部分の画像から動き補償の予測値を得る
   背景用の第１の予測手段と、 前記符号化したオブジェクト部分の画像を蓄える記憶手
   段を有して、前記抽出手段により抽出されたオブジェク
   ト部分の画像を蓄えると共に、この蓄えたオブジェクト
   部分の画像から動き補償の予測値を得るオブジェクト用
   の第２の予測手段と、 前記再生画像を得るにあたり、前記再生画像信号のオブ
   ジェクト部分については前記オブジェクト用の第２の予
   測手段の求めた予測値を、背景部分については前記背景
   用の第１の予測手段の求めた予測値を加算することによ
   り復号した画像の再生信号を得る手段とを設けたことを
   特徴とする画像復号化装置。
3. 【請求項３】 請求項１に記載の装置における前記背景
   用の予測手段は、 背景部の再生画像を蓄える背景記憶手段と、 背景記憶手段に対するアルファマップ信号を蓄えるアル
   ファマップ記憶手段と、 現フレームのアルファマップ信号と、アルファマップ記
   憶手段に蓄えてある背景記憶手段に対するアルファマッ
   プ信号とから、アルファマップ記憶手段の記憶内容を更
   新するアルファマップ信号を生成するアルファマップ更
   新手段と、 現フレームのアルファマップ信号にしたがって、背景記
   憶手段の記憶内容を（局部）復号信号で書き換える、背
   景記憶手段用更新手段と、 背景記憶手段内の画像信号を動き補償することで予測信
   号を生成する、動き補償予測手段とから構成することを
   特徴とする画像符号化装置。
4. 【請求項４】 請求項２に記載の装置における前記背景
   用の予測手段は、 背景部の再生画像を蓄える背景記憶手段と、 背景記憶手段に対するアルファマップ信号を蓄えるアル
   ファマップ記憶手段と、 現フレームのアルファマップ信号と、アルファマップ記
   憶手段に蓄えてある背景記憶手段に対するアルファマッ
   プ信号とから、アルファマップ記憶手段の記憶内容を更
   新するアルファマップ信号を生成するアルファマップ更
   新手段と、 現フレームのアルファマップ信号にしたがって、背景記
   憶手段の記憶内容を（局部）復号信号で書き換える、背
   景記憶手段用更新手段と、 背景記憶手段内の画像信号を動き補償することで予測信
   号を生成する、動き補償予測手段とから構成することを
   特徴とする画像復号化装置。
5. 【請求項５】 請求項１に記載の装置における前記背景
   用の予測手段は、 背景部の再生画像を蓄える背景メモリと、 背景メモリに対するアルファマップ信号を蓄えるアルフ
   ァマップメモリと、 現フレームの画像信号のアルファマップ信号と、前記ア
   ルファマップメモリに蓄えてある背景メモリに対するア
   ルファマップ信号をアフィン変換した信号とから、アル
   ファマップメモリ更新用のアルファマップ信号を生成す
   るアルファマップ更新回路と、 現フレームの画像信号のアルファマップ信号と、前記ア
   ルファマップメモリに蓄えてある背景メモリに対するア
   ルファマップ信号をアフィン変換した信号とから、アル
   ファマップを更新する領域を設定する更新領域決定回路
   と、 前記更新領域決定回路において決定された前記背景メモ
   リの領域を、再生画像の対応する局部画像で書き換える
   背景メモリ更新回路と、 前記アルファマップメモリ内のアルファマップ信号をア
   フィン変換するグローバル動き補償予測回路と、 背景メモリ内の画像信号をアフィン変換することで予測
   信号を生成するグローバル動き補償予測回路を有するこ
   とを特徴とする画像符号化装置。
6. 【請求項６】 請求項２に記載の装置における前記背景
   用の予測手段は、 背景部の再生画像を蓄える背景メモリと、 背景メモリに対するアルファマップ信号を蓄えるアルフ
   ァマップメモリと、 現フレームの画像信号のアルファマップ信号と、前記ア
   ルファマップメモリに蓄えてある背景メモリに対するア
   ルファマップ信号をアフィン変換した信号とから、アル
   ファマップメモリ更新用のアルファマップ信号を生成す
   るアルファマップ更新回路と、 現フレームの画像信号のアルファマップ信号と、前記ア
   ルファマップメモリに蓄えてある背景メモリに対するア
   ルファマップ信号をアフィン変換した信号とから、アル
   ファマップを更新する領域を設定する更新領域決定回路
   と、 前記更新領域決定回路において決定された前記背景メモ
   リの領域を、再生画像の対応する局部画像で書き換える
   背景メモリ更新回路と、 前記アルファマップメモリ内のアルファマップ信号をア
   フィン変換するグローバル動き補償予測回路と、 背景メモリ内の画像信号をアフィン変換することで予測
   信号を生成するグローバル動き補償予測回路を有するこ
   とを特徴とする画像復号化装置。
7. 【請求項７】 画像信号と、この画像信号の背景とオブ
   ジェクトを識別するためのアルファマップ信号とを受
   け、これらを符号化すると共に多重化して出力する動画
   像符号化装置において、 前記アルファマップ信号を基に、前記画像信号のうちの
   前記オブジェクトとの境界部近傍に属する画像信号を求
   めると共に、この求めた画像信号の画素に、ノイズ除去
   フィルタ処理を施す前処理手段を設けたことを特徴とす
   る画像符号化装置。
8. 【請求項８】 符号化された画像信号と、この画像信号
   の背景とオブジェクトを識別するためのアルファマップ
   信号との多重化信号を復号して画像信号を再生する動画
   像復号化装置において、 前記アルファマップ信号を基に、前記復号された画像信
   号のうちの前記オブジェクトとの境界部近傍に属する画
   像信号を求めると共に、この求めた画像信号の画素に、
   ローパスフィルタ処理を施す後処理手段を設けたことを
   特徴とする画像復号化装置。