JP3866946B2 - 動画像符号化装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ディジタル画像処理の分野に属し、画像データを高能率に符号化する動画像符号化装置に関するものである。
【０００２】
【従来の技術】
画像符号化において、異なる動画像シーケンスを重畳する方式が検討されている。例えば、文献「階層表現と多重テンプレートを用いた画像符号化」（信学技報ＩＥ９４−１５９，ｐｐ９９−１０６ （１９９５））では、背景となる動画像シーケンスと前景となる部品動画像の動画像シーケンス（例えばクロマキー技術によって切り出された人物画像や魚の映像など）を重畳して新たなシーケンスを作成する手法が述べられている。
【０００３】
また、文献「画像内容に基づく時間階層符号化」（”Ｔｅｍｐｏｒａｌ Ｓｃａｌａｂｉｌｉｔｙ ｂａｓｅｄ ｏｎ ｉｍａｇｅ ｃｏｎｔｅｎｔ”， ＩＳＯ／ＩＥＣ／ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＭＰＥＧ９５／２１１（１９９５））では、フレームレートの低い動画像シーケンスにフレームレートの高い部品動画像の動画像シーケンスを重畳して新たなシーケンスを作成する手法が述べられている。
【０００４】
この方式では、図１０に示すように、下位レイヤでは低いフレームレートで予測符号化が行われ、上位レイヤでは選択領域（斜線部）についてのみ高いフレームレートで予測符号化が行われる。ただし、下位レイヤで符号化したフレームは上位レイヤでは符号化せず、下位レイヤの復号画像をそのままコピーして用いる。また、選択領域としては例えば人物部分など視聴者の注目が集まる部分が選ばれているものとする。
【０００５】
図８に従来手法のブロック図を示す。まず従来手法の符号化側では、入力動画像は第１の駒落し部８０１及び第２の駒落し部８０２によってフレーム間引きされ、入力画像のフレームレート以下とされた後それぞれ上位レイヤ符号化部８０３及び下位レイヤ符号化部８０４に入力される。ここで、上位レイヤのフレームレートは下位レイヤのフレームレート以上であるとする。
【０００６】
下位レイヤ符号化部８０４では入力された動画像全体が符号化される。符号化方式としては例えばＭＰＥＧやＨ．２６１などの動画像符号化国際標準化方式が用いられる。下位レイヤ符号化部８０４ではまた、下位レイヤの復号画像が作成され、予測符号化に利用されると同時に重畳部８０５に入力される。
【０００７】
図８の上位レイヤ符号化部８０３では入力された動画像の選択領域のみが符号化される。ここでもＭＰＥＧやＨ．２６１などの動画像符号化国際標準化方式が用いられるが、領域形状情報に基づいて選択領域のみを符号化する。ただし、下位レイヤで符号化されたフレームは上位レイヤでは符号化されない。
【０００８】
領域形状情報は人物部などの選択領域の形状を示す情報であり、例えば選択領域の位置で値１、それ以外の位置で値０をとる２値画像である。上位レイヤ符号化部８０３ではまた、動画像の選択領域のみが復号され、重畳部８０５に入力される。
【０００９】
領域形状符号化部８０６では領域形状が８方向量子化符号を利用して符号化される。８方向量子化符号は図１１のように、次の点への方向を数値で示したもので、デジタル図形を表現する際に一般的に使用されるものである。
【００１０】
重畳部８０５は下位レイヤフレームが符号化されているフレーム位置では下位レイヤの復号画像を出力する。下位レイヤフレームが符号化されていないフレーム位置では、対象フレームの前後２枚の符号化された下位レイヤの復号画像と対象フレームと同時刻の１枚の上位レイヤ復号画像を用いて画像を作成し出力する。ここで作成された画像は上位レイヤ符号化部８０３に入力され、予測符号化に利用される。重畳部８０５における画像作成方法は以下の通りである。
【００１１】
まず、２枚の下位レイヤの補間画像が作成される。時間ｔにおける下位レイヤの復号画像をＢ（ｘ，ｙ，ｔ）（ただし、ｘ，ｙは空間内の画素位置を表す座標である）とし、２枚の下位レイヤの時間をそれぞれｔ１，ｔ２、上位レイヤの時間をｔ３（ただし、ｔ１＜ｔ３＜ｔ２である）とすると、時間ｔ３における補間画像Ｉ（ｘ，ｙ，ｔ３）は、
I(x,y,t3)=[(t2-t3)B(x,y,t1)+(t3-t1)B(x,y,t2)]/(t2-t1) (1)
によって計算される。
【００１２】
次に、上で求めた補間画像Ｉに上位レイヤの復号画像Ｅを重畳する。このために、領域形状情報Ｍ（ｘ，ｙ，ｔ）から重畳のための重み情報Ｗ（ｘ，ｙ，ｔ）を作成し、次式によって重畳画像Ｓを得る。
S(x,y,t)＝[1-W(x, y, t)]I(x, y, t)＋E(x, y, t)W(x, y, t) (2)
領域形状情報Ｍ（ｘ，ｙ，ｔ）は選択領域内で１、選択領域外で０の値をとる２値画像であり、この画像に低域通過フィルタを複数回施す事によって重み情報Ｗ（ｘ，ｙ，ｔ）を得る事ができる。
【００１３】
すなわち、重み情報Ｗ（ｘ，ｙ，ｔ）は選択領域内で１、選択領域外で０、選択領域の境界部で０〜１の値をとる。以上が重畳部８０５における画像作成方法の説明である。
【００１４】
下位レイヤ符号化部８０４、上位レイヤ符号化部８０３、領域形状符号化部８０６で符号化された符号化データは、図示しない符号化データ統合部で統合され、伝送あるいは蓄積される。
【００１５】
次に、従来手法の復号側では、符号化データが図示しない符号化データ分解部にて下位レイヤの符号化データ、上位レイヤの符号化データ、領域形状の符号化データに分解される。これらの符号化データは、図８に示すように下位レイヤ復号部８０８、上位レイヤ復号部８０７及び領域形状復号部８０９によって復号される。
【００１６】
復号側の重畳部８１０は符号化側の重畳部８０５と同一の装置からなり、下位レイヤ復号画像と上位レイヤ復号画像を用い、符号化側の説明で述べたものと同一の方法によって画像が重畳される。ここで重畳された動画像はディスプレイに表示されると共に上位レイヤ復号部８０７に入力され、上位レイヤの予測に利用される。
【００１７】
ここでは、下位レイヤと上位レイヤの両方を復号する復号装置について述べたが、下位レイヤの復号部のみを備えた復号装置ならば、上位レイヤ復号部８０７、重畳部８１０が不要であり、少ないハードウエア規模で符号化データの一部を再生する事ができる。
【００１８】
【発明が解決しようとする課題】
従来の技術においては、（１）式のように２枚の下位レイヤ復号画像と１枚の上位レイヤ復号画像から出力画像を得る際に、２枚の下位レイヤの補間を行っているため、選択領域の位置が時間的に変化する場合に、選択領域周辺に大きな歪みが発生し、画質を大きく劣化させるという問題がある。
【００１９】
図１２はこの問題を説明するものである。図１２（ａ）で画像Ａ、Ｃは下位レイヤの２枚の復号画像、画像Ｂは上位レイヤの復号画像であり、表示時間順はＡ、Ｂ、Ｃの順である。ただし、選択領域を斜線で示している。また、上位レイヤでは選択領域のみが符号化されるため選択領域外を破線で示している。選択領域が動いているため、画像Ａと画像Ｃから求めた補間画像は、図１２（ｂ）の網点部のように２つの選択領域が重複したものになる。
【００２０】
さらに、画像Ｂを重み情報を用いて重畳すると、出力画像は図１２（ｃ）に示すように３つの選択領域が重複した画像となる。特に上位レイヤの選択領域周辺（外側）に下位レイヤの選択領域が残像のようにあらわれ、画質が大きく劣化する。動画像全体としては下位レイヤのみが表示されている時には上記の歪みがなく、上位レイヤと下位レイヤの重畳画像が表示されている時には上記の歪みが現われるため、フリッカ的歪みが発生し非常に大きな画質劣化となる。
【００２１】
本発明の目的は、これらの問題を解決し、符号化後のデータ量を削減する一方、復号画像の品質を劣化させないような画像符号化装置を提供することにある。
【００２２】
【課題を解決するための手段】
本願の第１の発明は、動画像シーケンスの画素データを第１のフレームレートで符号化する下位レイヤ符号化部と、前記動画像シーケンスの特定領域の画素データを前記第１のフレームレートより高い第２のフレームレートで符号化するとともに、前記動画像シーケンスの特定領域の領域形状を符号化する上位レイヤ符号化部とを備えた動画像符号化装置であって、前記上位レイヤ符号化部が、前記動画像シーケンスの特定領域の画素データを前記第１のフレームレートより高い第２のフレームレートで符号化する画素データ符号化部と、前記動画像シーケンスの特定領域の領域形状を符号化する領域形状符号化部と、上位レイヤの背景となる画像を下位レイヤフレームを用いて合成するか否かを示すフラグを符号化するフラグ符号化部と、前記画素データ符号化部で符号化された画素データの符号化データと、前記領域形状符号化部で符号化された領域形状の符号化データと、前記フラグ符号化部で符号化されたフラグの符号化データとを多重化する多重化部とを有することを特徴とする。
【００２３】
本願の第２の発明は、動画像シーケンスの画素データを第１のフレームレートで符号化する下位レイヤ符号化部と、前記動画像シーケンスの特定領域の画素データを前記第１のフレームレートより高い第２のフレームレートで符号化するとともに、前記動画像シーケンスの特定領域の領域形状を符号化する上位レイヤ符号化部とを備えた動画像符号化装置であって、前記上位レイヤ符号化部が、前記動画像シーケンスの特定領域の画素データを前記第１のフレームレートより高い第２のフレームレートで符号化する画素データ符号化部と、前記動画像シーケンスの特定領域の領域形状を符号化する領域形状符号化部と、前記上位レイヤのフレーム位置の時間的に後に存在する下位レイヤフレームにおける領域形状を符号化するか否かを示すフラグを符号化するフラグ符号化部と、前記画素データ符号化部で符号化された画素データの符号化データと、前記領域形状符号化部で符号化された領域形状の符号化データと、前記フラグ符号化部で符号化されたフラグの符号化データとを多重化する多重化部とを有することを特徴とする。
【００２４】
【発明の実施の形態】
図１、図１４及び図１５は第１の実施の形態を示すブロック図である。図１４で上位レイヤ符号化部１４０３、重畳部１４０５、上位レイヤ復号部１４０６、重畳部１４０８以外の各部は図８と同様の働きをする。
【００２５】
図１のスイッチ１０１、画素データ符号化部１０２、領域形状符号化部１０３、画素データ復号部１０４、領域情報復号部１０５及び多重化部１０６は、図１４の上位レイヤ符号化部１４０３を構成する。また、図１の第１の遅延部１０７、第２の遅延部１０８、第１の領域抽出部１０９、第２の領域抽出部１１０、コントローラ１１１、スイッチ１１２、補間画像作成部１１３、加重平均部１１４、第３の遅延部１１５及び第４の遅延部１１６は、図１４の重畳部１４０５あるいは重畳部１４０８を構成する。なお、重畳部１４０８は重畳部１４０５と同一の働きをする。
【００２６】
以下、図１に従って第１の実施の形態を詳細に説明する。スイッチ１０１は図示しないコントローラによって上位レイヤの画素値を符号化するモードと符号化しないモードを切替える。すなわち、上位レイヤと同じフレーム位置に対応する下位レイヤフレームが符号化されている場合には、スイッチをオフに制御し、上位レイヤの画素値を符号化しない。一方、上位レイヤと同じフレーム位置に対応する下位レイヤフレームが符号化されていない場合には、スイッチをオンに制御し、上位レイヤの画素値を符号化する。
【００２７】
画素データ符号化部１０２はスイッチ１０１がオンの場合に、上位レイヤの画素データを符号化する。符号化方式としては、ＭＰＥＧやＨ．２６１などの国際標準化方式が用いられる。ただし、符号化の際には領域形状が領域形状復号部１０５から図示しない信号線を介して入力され、領域内の画素データのみが符号化される。
【００２８】
領域形状符号化部１０３は、従来の技術で述べた図８の領域形状符号化部８０６と同様の働きによって領域形状を符号化する。
【００２９】
画素データ復号部１０４は、画素データ符号化部１０２で符号化された画素データを復号する。ここでも、領域形状が領域形状復号部１０５から図示しない信号線を介して入力され、復号に利用される。また、復号された画素データは第３の遅延部１１５に入力されると共に、図示しない信号線を介して画素データ符号化部にフィードバックされ、予測に利用される。
【００３０】
領域形状復号部１０５は、領域形状符号化部１０３にて符号化された領域形状データを復号し、復号データを第１の遅延部１０７に出力する。
【００３１】
以上のように、本実施形態の上位レイヤ符号化部では、スイッチ１０１によって上位レイヤを符号化する場合としない場合が制御される。次に、本実施形態の重畳部を説明する。
【００３２】
第１の遅延部１０７は領域形状データをａフレームだけ遅延させる。遅延された領域形状データは加重平均部１１４に入力される。第２の遅延部１０８は領域形状データをさらにｂフレームだけ遅延させる。遅延された領域形状データは第１の領域抽出部１０９と第２の領域抽出部１１０に入力される。
【００３３】
これらの回路では遅延をうけていない領域形状データも同時に入力されている。ここで、信号線上の記号ｔ＋ａ，ｔ，ｔ−ｂは各フレームの時刻を表している。また、ｔ，ａ，ｂは整数である。
【００３４】
第１の領域抽出部１０９は、第１の領域情報及び第２の領域情報から第２の領域でありかつ第１の領域でない領域を抽出する。図９（ａ）の場合、網点部が抽出される。第１の領域抽出部１１０は、第１の領域情報及び第２の領域情報から第１の領域でありかつ第２の領域でない領域を抽出する。図９（ａ）の場合、斜線部が抽出される。
【００３５】
コントローラ１１１は、第１の領域抽出部１０９及び第２の領域抽出部１１０の出力によりスイッチ１１２を制御する部分である。すなわち、注目画素位置が第１の領域のみの場合には、スイッチ１１２をフレーム時刻（ｔ＋ａ）の復号画像側に接続し、注目画素位置が第２の領域のみの場合には、スイッチ１１２をフレーム時刻（ｔ−ｂ）の復号側に接続し、それ以外の場合にはスイッチ１１２を補間画像作成部１１３からの出力に接続する。
【００３６】
第３の遅延部１１５は、上位レイヤの復号画像データをａフレームだけ遅延させ、時刻ｔの復号画像データを加重平均部１１４に入力する。第４の遅延部１１６は、下位レイヤの復号画像データを（ａ＋ｂ）フレームだけ遅延させ、時刻（ｔ−ｂ）の復号画像を補間画像作成部１１３に入力する。
【００３７】
補間画像作成部１１３は、下位レイヤのフレーム時刻（ｔ−ｂ）の復号画像と下位レイヤの時刻（ｔ＋ａ）の復号画像との補間画像を従来の技術で述べた式（１）に従って計算する。ただし式（１）でＢ（ｘ，ｙ，ｔ１）は第１の復号画像、Ｂ（ｘ，ｙ，ｔ２）は第２の復号画像、Ｉ（ｘ，ｙ，ｔ３）は補間画像であり、ｔ１，ｔ２，ｔ３はそれぞれ第１の復号画像、第２の復号画像及び補間画像の時間である。従って、図１の記号を用いれば、ｔ１＝ｔ−ｂ，ｔ２＝ｔ＋ａ，ｔ３＝ｔとなる。
【００３８】
以上のように、スイッチ１１２の切替を用いて下位レイヤ合成を行なうので、例えば図９（ａ）の場合、斜線部では第２の復号画像（フレーム時刻ｔ＋ａ）が使用されるため選択領域外部の背景画素があらわれ、網点部では第１の復号画像（フレーム時刻ｔ−ｂ）が使用されるため選択領域外部の背景画素があらわれ、それ以外の部分では第１の復号画像と第２の復号画像の補間画像があらわれる。
【００３９】
このようにして合成された下位レイヤの上に図１の加重平均部１１４によって上位レイヤの復号画像を重ねるため、重畳された画像は図９（ｂ）のように選択領域（斜線部分）周辺に残像がなく、歪みの少ない画像が得られる。図１の加重平均部１１４は、上記の補間画像と上位レイヤの復号画像を加重平均によって重畳する。重畳方法については従来の技術で述べたので、ここでは説明を省略する。
【００４０】
図１５は、図１４の復号装置中の上位レイヤ復号部１４０６を構成するブロック図である。分流部１５０１は上位レイヤ符号化データを画素データの符号化データと領域形状の符号化データに分流する部分である。スイッチ１５０４は下位レイヤが符号化されているフレーム位置でオフとなり、上位レイヤだけが符号化されているフレーム位置でオンとなる。
【００４１】
画素データ復号部１５０２は上位レイヤの画素データを復号し、復号画素を重畳部１４０８に出力し、領域形状復号部１５０３は領域形状符号化データを復号し、復号画素を重畳部１４０８に出力する部分である。重畳部１４０８は重畳部１４０５と同様の働きにより、本発明の手法によって下位レイヤに上位レイヤを重畳する。
【００４２】
次に、本発明の第２の実施の形態について述べる。この実施形態では、上位レイヤ符号化装置で領域形状を符号化しないモードを設け、符号化ビット数を削減するものである。領域形状が時間的にほとんどあるいは全く変化しない場合に、本実施形態の手法を用いればビット数を大幅に削減できる。
【００４３】
本実施形態は図２、図１４及び図１６によってあらわされる。図１４は第１の実施の形態の説明に用いた図であるが、第２の実施の形態の説明にも用いる。ただし、図１４の上位レイヤ符号化部１４０３、上位レイヤ復号部１４０６、重畳部１４０５及び重畳部１４０８の働きは第１の実施の形態とは異なる。これら働きの異なる部分について以下に説明する。
【００４４】
図２は、第２の実施の形態における上位レイヤ符号化部と重畳部のブロック図である。スイッチ２０１、画素データ符号化部２０３、領域形状符号化部２０４、画素データ復号部２０５、領域形状復号部２０６及び多重化部２０７については、図１とともにすでに述べたものと同様の働きをするので説明を省略する。
【００４５】
スイッチ２０２とスイッチ２０８は図示しない制御部にて同時にオン又はオフするよう制御される。上位レイヤと同じフレーム位置に対応する下位レイヤフレームが符号化されている場合には、スイッチをオンに制御し、上位レイヤの領域形状を符号化する。一方、上位レイヤと同じフレーム位置に対応する下位レイヤフレームが符号化されていない場合には、スイッチをオフに制御し、上位レイヤの領域形状を符号化しない。
【００４６】
第１の領域形状抽出部２０９では、復号装置で得られるデータをもとに第１の領域形状を抽出する。同様に、第２の領域形状抽出部２１０では、復号装置で得られるデータをもとに第２の領域形状を抽出する。
【００４７】
復号装置で得られるデータとしては、下位レイヤの復号画像、領域形状符号化モードがオン（スイッチ２０２、スイッチ２０８がオン）の時の上位レイヤの領域形状などがある。図２では明示していないが、これらのデータが各々の領域形状抽出部に入力され、領域形状の抽出に利用される。
【００４８】
第１の領域抽出部２１１、第２の領域抽出部２１２、コントローラ２１３、スイッチ２１４、補間画像作成部２１５及び加重平均部２１６は、図１とともにすでに述べたものと同様の働きをするので説明を省略する。また、遅延部２１７は図１の第４の遅延部１１６と同様の働きをする。
【００４９】
図１６は第２の実施の形態における上位レイヤ復号部のブロック図である。この図において、１６０１は分流部、１６０２は画素データ復号部、１６０３は領域形状復号部、１６０４はスイッチ、１６０５はスイッチである。
【００５０】
この図と図１５との違いは、図１６ではスイッチ１６０５を設けている点である。スイッチ１６０５は、上位レイヤ復号時に同じフレーム位置に対応する下位レイヤフレームの符号化データが存在しない時オフとなる。また、上位レイヤで画素データを符号化するフレーム位置でオンとなる。
【００５１】
以上のように、第２の実施の形態では、上位レイヤ符号化部にて上位レイヤと同じフレーム位置に対応する下位レイヤフレームが符号化されていない場合には、スイッチ２０２及びスイッチ２０８をオフに制御し、上位レイヤの領域形状を符号化しないため、符号量を削減することが可能となる。
【００５２】
上述の第１の実施の形態及び第２の実施の形態では、スイッチ１０１あるいはスイッチ２０１によって画素データの符号化のオン／オフを切替えている。この切替えは図１や図２に示していない制御部にて上位レイヤと同じフレーム位置に対応する下位レイヤフレームが符号化されているかどうかを判断して行なわれる。この判断は符号化装置と復号装置で同様に行なうことができる。
【００５３】
しかしながら、少なくとも復号装置ではこのような判断を行なう制御部を用いずに、上記スイッチの切替えを行なうことも可能である。そのためには、図３に示すような第１のフラグ発生部３０１と第１のフラグ符号化部３０２を符号化装置に設け、フラグによって上位レイヤ符号化部３０３中のスイッチを切替えれば良い。ただし、図３は符号化装置と復号装置の一部を示したブロック図である。
【００５４】
フラグ発生部３０１は上位レイヤと同じフレーム位置に対応する下位レイヤフレームが符号化されているかどうかを判断してフラグを発生する。第１のフラグ符号化部３０２は第１のフラグを符号化し、符号化データは図示しない多重化部にて符号化データに多重化して伝送あるいは蓄積される。フラグの符号化方法としては固定長符号化や、可変長符号化などが用いられる。
【００５５】
復号装置における第１のフラグ復号部３０４は符号化データから第１のフラグを復号して上位レイヤ復号部３０５に出力する。上位レイヤ復号部に含まれるスイッチ１５０４あるいはスイッチ１６０４の切替えに際しては、上述した切替え判断を行なうことなく、復号された第１のフラグにしたがって切替が行なわれる。
【００５６】
次に、第２の実施の形態における領域形状抽出部について説明する。ここでは、復号装置で得られるデータをもとに第２の領域形状を抽出するが、復号装置で得られるデータとして、下位レイヤの復号データや上位レイヤの復号領域形状などを用いればよい。
【００５７】
図４は、下位レイヤの復号データを用いて領域形状を抽出する場合の重畳部のブロック図である。第１の領域形状抽出部４０２には遅延部４０１にて遅延された下位レイヤの第１の復号画像が入力され、第２の領域形状抽出部４０３には下位レイヤの復号画像が遅延なしに入力される。
【００５８】
各領域形状抽出部は選択領域を抜き出すように入力された復号画像を領域分割し、領域形状を抽出する。領域分割の手法としては、微分演算を用いたエッジ検出手法やモルフォロジカルセグメンテーションなどが用いられる。図４の他の部分は図２と同様の働きをするので、ここでは説明を省略する。
【００５９】
図５は、復号装置で得られるデータとして上位レイヤの復号領域形状を用いる場合のブロック図である。この図において、５０１は遅延部、５０２は第１の領域形状抽出部、５０３は第２の領域形状抽出部、５０４は第１の領域抽出部、５０５は第２の領域抽出部、５０６はコントローラ、５０７はスイッチ、５０８は補間画像作成部、５０９は加重平均部である。
【００６０】
図５で、上位レイヤの領域形状が符号化された場合に、その復号データが第１の領域形状抽出部５０２と第２の領域形状抽出部５０３に入力される。各領域形状抽出部では復号された領域形状を記憶しておき、下位レイヤフレームに対応する領域形状を抽出する。例えば図１３に示すように、下位レイヤフレームの前後の上位レイヤの復号領域形状１及び２から並行移動、回転、拡大縮小などを表現するアフィン変換によって下位レイヤフレーム位置での領域形状を抽出する方法が考えられる。
【００６１】
そのために、まず領域形状１から領域形状２へのアフィン変換を求める。すなわち、領域形状１を変換することによって領域形状２を近似するようなアフィン変換パラメータを求める。次に領域形状１から下位レイヤフレーム上へのアフィン変換を、変換係数を線形内挿することによって求める。このアフィン変換を用いて下位レイヤフレーム上での領域形状を求めることができる。
【００６２】
アフィン変換のかわりに、領域形状１から領域形状２への予測をブロックマッチングにて行ない、その結果を線形内挿することで下位レイヤフレーム上での領域形状を求めてもよい。あるいは、領域形状１又は２をそのまま下位レイヤフレーム上での領域形状として用いることも可能である。
【００６３】
第２の実施の形態では、下位レイヤが符号化されないフレームで図２のスイッチ２０２をオフ、上位レイヤの画素データを符号化するフレーム位置でスイッチ２０２をオンとしたが、これとは異なるコントロールを行なってもよい。例えば領域形状の時間的変化を調べ、ほとんど変化しない場合にはスイッチ２０２をオフ、それ以外ではオンとし、オフの場合の復号領域形状データとしては直前に符号化・復号された領域形状データのコピーを使用するという方法を用いてもよい。
【００６４】
次に、第３の実施の形態について説明する。本実施形態は、上位レイヤ復号時に上位レイヤのフレーム位置に対応する下位レイヤの符号化データが存在しない場合に、第１及び第２の実施の形態で述べた下位レイヤフレームの合成を行なわないモードを設けることを目的としている。
【００６５】
例えば、領域形状が時間的にあまり変化していない場合は、発明が解決しようとする課題で述べた問題点が無視できるため、下位レイヤフレームの合成を行なう必要がない。領域形状が大きく変化する場合でも、符号化装置及び復号装置にて処理量を増加させないために下位レイヤフレームの合成を行なわないモードを選択可能とする。
【００６６】
このような目的のために、図６に示すように、符号化装置に第２のフラグ発生部６０１と第２のフラグ符号化部６０２を設け、復号装置に第２のフラグ復号部６０４を設ける。ただし、図６は符号化装置と復号装置の一部を示したブロック図である。
【００６７】
図６の第２のフラグ発生部６０１は下位レイヤフレームの合成を行なうかどうかを示すフラグを発生する。重畳部６０３では第２のフラグに従って下位レイヤフレームの合成を行なう場合と行なわない場合を切替える。第２のフラグ符号化部６０２は第２のフラグを符号化し、符号化データは図示しない多重化部にて符号化データに多重化して伝送あるいは蓄積される。フラグの符号化方法としては固定長符号化や、可変長符号化などが用いられる。
【００６８】
復号装置における第２のフラグ復号部６０４は符号化データから第２のフラグを復号し重畳部６０５に出力する。重畳部６０５では復号された第２のフラグにしたがって下位レイヤを合成するか否かの切替が行なわれる。
【００６９】
第３の実施の形態において、下位レイヤの合成を行なわない場合には、下位レイヤにて符号化され、復号された前後の下位レイヤフレームのうちいずれかを合成された下位レイヤフレームのかわりに用いる。この場合の回路構成を図７に示す。
【００７０】
この図において、７０１はスイッチ、７０２はスイッチ、７０３は画素データ符号化部、７０４は領域形状符号化部、７０５は画素データ復号部、７０６は領域形状復号部、７０７は多重化部、７０８はスイッチ、７０９は下位レイヤ合成部、７１０はスイッチ、７１１は加重平均部である。
【００７１】
次に、図７の回路の動作について説明する。まず、下位レイヤの復号画像と、下位レイヤ合成部７０９で合成された下位レイヤフレームがスイッチ７１０にて切替えられ、加重平均部７１１に入力される。図７の下位レイヤ合成部７０９では、第１、第２の実施の形態で述べた方法に従って下位レイヤフレームが合成される。スイッチ７１０は図６で説明した第２のフラグに従い、下位レイヤ合成がオンの時は下側に、オフの時は上側に切替えられる。
【００７２】
第３の実施の形態において、下位レイヤの合成に用いる領域形状の符号化方法としては、以下に述べるようなものを用いても良い。すなわち、下位レイヤ合成を行なう上位レイヤのフレーム位置で、その前後のフレーム位置の下位レイヤにおける領域形状を、現在のフレーム位置で符号化する。この方法を用いた上位レイヤ符号化部を図１７に、上位レイヤ復号部を図１８に示す。
【００７３】
図１７において、１７０１は画素データ符号化部、１７０２は画素データ復号部、１７０３は第１の遅延部、１７０４第２の遅延部、１７０５はスイッチ、１７０６はスイッチ、１７０７は領域形状符号化部、１７０８は領域形状復号部、１７０９は第３のフラグ発生部、１７１０は第４のフラグ発生部、１７１１は第３のフラグ符号化部、１７１２は第４のフラグ符号化部、１７１３はコントローラ、１７１４は多重化部である。
【００７４】
図１７で画素データ符号化部１７０１及び画素データ復号部１７０２は、図１の説明で述べたものと同様の働きをするので、これらについての説明を省略する。図１７で領域形状は第１の遅延部１７０３でａフレーム遅延され、さらに第２の遅延部１７０４でｂフレーム遅延される。
【００７５】
第３のフラグ発生部１７０９、第４のフラグ発生部１７１０はそれぞれ第３のフラグ、第４のフラグを発生させる。第３のフラグはフレーム時刻ｔ＋ａにおける領域形状（以後、領域形状２とする）を符号化するか否かを表し、第４のフラグはフレーム時刻ｔ−ｂにおける領域形状（以後、領域形状１とする）を符号化するか否かを表す。コントローラ１７１３は、第３のフラグ及び第４のフラグの入力によってスイッチ１７０５及びスイッチ１７０６を制御する。
【００７６】
すなわち、第３のフラグが領域形状を符号化することを表す場合には、スイッチ１７０５をオンとし、そうでない場合には、スイッチ１７０５をオフとする。また、第４のフラグが領域形状を符号化することを表す場合には、スイッチ１７０６をオンとし、そうでない場合には、スイッチ１７０６をオフとする。第３のフラグ符号化部及び第４のフラグ符号化部は、それぞれ第３のフラグ及び第４のフラグの符号化を行なう。フラグの符号化方法としては固定長符号化や、可変長符号化などが用いられる。
【００７７】
領域形状符号化部１７０７は、領域形状が入力されたフレーム時刻にその領域形状を符号化し、符号化データを出力する。領域形状復号部１７０８は領域形状の符号化データを復号し、復号された領域形状を重畳部に送る。ここで、重畳部としては図１に示したような装置を用いるが、図１の第１の遅延部１０７及び第２の遅延部１０８は使用しない。
【００７８】
領域形状１の復号データは重畳部の第１の領域抽出部１０９及び第２の領域抽出部１１０に入力され、同様に領域形状２の復号データも第１の領域抽出部１０９及び第２の領域抽出部１１０に入力される。これに対し、フレーム時刻ｔに対応する領域形状の復号データは加重平均部１１４に入力される。
【００７９】
スイッチ１７０５とスイッチ１７０６のオン・オフの組合せは、次の３通りに制御される。すなわち、両スイッチが共にオン、両スイッチが共にオフ、スイッチ１７０５がオンかつスイッチ１７０６がオフの３通りである。
【００８０】
下位レイヤの合成を初めておこなう場合には、両スイッチが共にオンに制御され、前後のフレーム位置の領域形状、つまり領域形状１及び領域形状２が符号化・復号され、復号された領域形状が第１の領域抽出部１０９及び第２の領域抽出部１１０に入力される。
【００８１】
領域形状１と領域形状２として前回の下位レイヤ合成時と同じ領域形状を用いる場合には、両スイッチが共にオフに制御される。この場合は第１の領域抽出部１０９及び第２の領域抽出部１１０に、図示しないメモリより前回の下位レイヤ合成時に使用した領域形状１と領域形状２が入力される。
【００８２】
また、前回の下位レイヤ合成時に使用した領域形状２を、今回の下位レイヤ合成時に領域形状１として用い、今回合成時の領域形状２としては新たな領域形状を用いる場合には、スイッチ１７０５をオンかつスイッチ１７０６をオフと制御する。
【００８３】
この場合は、第１の領域抽出部１０９及び第２の領域抽出部１１０に、図示しないメモリより前回の下位レイヤ合成時に使用した領域形状２を今回合成時の領域形状１として入力する。また、今回新たに符号化・復号された領域形状２を第１の領域抽出部１０９及び第２の領域抽出部１１０に入力する。
【００８４】
図１７の画素データ復号部１７０２で復号されたフレーム時刻ｔ＋ａの画素データは、図１の重畳部中の第３の遅延部１１５でａフレーム遅延された後、加重平均部１１４に入力される。図１７の多重化部１７０８は画素データ、領域形状、第３のフラグ及び第４のフラグの各々の符号化データを多重化し、上位レイヤの符号化データとして出力する。
【００８５】
次に、上述した上位レイヤ符号化データを復号する上位レイヤ復号部を図１８を用いて説明する。この図において、１８０１は分流部、１８０２は画素データ復号部、１８０３は領域形状復号部、１８０４は第３のフラグ復号部、１８０５は第４のフラグ復号部、１８０６は第１の遅延部、１８０７は第２の遅延部、１８０８はスイッチ、１８０９はスイッチ、１８１０はコントローラである。
【００８６】
図１８で、分流部１８０１は上位レイヤ符号化データを、画素データ、領域形状、第３のフラグ及び第４のフラグの各々の符号化データに分離する部分である。画素データ復号部１８０２、領域形状復号部１８０３、第１の遅延部１８０６、第２の遅延部１８０７、スイッチ１８０８及びスイッチ１８０９は、図１７と同様の働きをするので説明を省略する。
【００８７】
図１８の第３のフラグ復号部及び第４のフラグ復号部は、第３のフラグ及び第４のフラグをそれぞれ復号し、コントローラ１８１０に供給する。コントローラ１８１０は図１７のコントローラ１７１３と同様に２つのスイッチを制御するが、これと同時に分流部１８０１で領域形状の符号化データを取り出す制御も行なう。
【００８８】
すなわち、第３のフラグが領域形状１が符号化されたことを示している時は、上位レイヤ符号化データから領域形状１のデータを分離し、そうでない場合は、領域形状１のデータは存在しないので上位レイヤ符号化データからこれを分離しないように制御する。
【００８９】
第４のフラグについても、分流部１８０１に対して同様の制御がなされる。２つのスイッチのオン・オフの組合せは、図１７の上位レイヤ符号化部と同様、３種類存在する。それぞれの組合せにおける動作は、図１７の説明で述べたものと同様である。
【００９０】
このように、第３の実施の形態において、下位レイヤの合成に用いる領域形状の符号化方法として、下位レイヤ合成を行なう上位レイヤのフレーム位置で、その前後のフレーム位置の下位レイヤにおける領域形状を、現在のフレーム位置で符号化する方法を用いることができる。
【００９１】
これまで本発明の説明において、下位レイヤフレームに上位レイヤフレームが重畳された画像は、符号化装置では図１４に示すように上位レイヤ符号化部にフィードバックされ、上位レイヤの予測符号化に利用される。復号装置では上位レイヤの予測符号化に利用されると共にディスプレイなどに表示される。しかしながら、重畳された画像は表示用のためにだけ使用しても良い。
【００９２】
すなわち、符号化装置では本実施形態の重畳部を持たず、上位レイヤの復号画像が直接上位レイヤ符号化部にフィードバックされて予測符号化に利用される。復号装置では上位レイヤの復号画像は直接上位レイヤ復号部にフィードバックされて予測に利用されると共に重畳部に入力され、重畳部の出力はディスプレイなどに表示される。
【００９３】
また、本実施形態の説明では、領域形状の符号化は全て８方向量子化符号による方法を用いて説明しているが、他の形状符号化手法を用いても良いことはもちろんである。
以上のとおり、本発明の動画像符号化装置及び動画像復号装置によれば、
（１）符号化されていない下位レイヤフレームの合成を行う際に、時間的に前に存在する下位レイヤの第１領域形状と、時間的に後に存在する下位レイヤの第２領域形状を上位レイヤにおいて符号化し、前記第１領域形状と前記第２領域形状を用いて前記合成を行なうことにより、領域形状が時間的に変化する場合でも下位レイヤと上位レイヤの重畳画像に歪みがなく良好な画像を得ることができる。
【００９４】
（２）符号化されていない下位レイヤフレームの合成を行う際に、時間的に前に存在する下位レイヤの第１領域形状と、時間的に後に存在する下位レイヤの第２領域形状の符号化を行なわず、前記第１領域形状と前記第２領域形状を下位レイヤと上位レイヤの一方もしくは両方の復号データから抽出することにより、上位レイヤで領域形状の符号化を行なわないモードが導入され、ビット数を削減することができる。
【００９５】
（３）前記（２）において、前記第１領域形状及び前記第２領域形状を、下位レイヤ復号画像を領域分割することによって抽出することで、ビット数を増やすことなく正確に領域形状を得ることができる。
【００９６】
（４）前記（２）において、前記第１領域形状及び前記第２領域形状を、上位レイヤ復号時に得られた領域形状から推定することによって抽出することで、ビット数を増やすことなく簡単に領域形状を得ることができる。
【００９７】
（５）前記（１）〜（４）において、前記存在しない下位レイヤフレームの合成を行うか否かを示すフラグを符号化することによって、存在しない下位レイヤフレームの時間的に前または後に存在する下位レイヤフレームを合成された下位レイヤフレームとして用いることができ、合成に必要な処理量を減らすことが可能となる。
【００９８】
（６）前記（１）において、前記第１領域形状及び第２領域形状をそれぞれ符号化するか否かを示す第１及び第２のフラグを符号化することによって、第１及び第２の領域形状がともに符号化されていない場合には、前回の下位レイヤ合成時に使用した領域形状をそれぞれ今回の下位レイヤ合成時に用いる領域形状とし、第２の領域形状だけが符号化されている場合には、前回の下位レイヤ合成時に使用した第２の領域形状を今回の下位レイヤ合成時に用いる第１の領域形状とすることができる。
【００９９】
（７）下位レイヤにて領域情報を符号化しないので、下位レイヤで多くのビットを発生することがない。従って、下位レイヤを伝送あるいは蓄積する比較的ビットレートの低い伝送路やメモリでも大きな歪みを生ずることなく、良好な下位レイヤ画像を伝送あるいは蓄積することができる。
【０１００】
【発明の効果】
本発明によれば、上位レイヤの背景となる画像を下位レイヤフレームを用いて合成するか否かを示すフラグを符号化するため、下位レイヤフレームの合成を行なわないモードを選択することが可能であり、合成に必要な処理量を減らすことができる。
【０１０１】
また、上位レイヤフレームの時間的に後に存在する下位レイヤフレームにおける領域形状を符号化するか否かを示すフラグを符号化するため、前回の下位レイヤ合成時と同じ領域を用いることが可能となり、必要なデータ量を削減することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を示すブロック図である。
【図２】本発明の第２の実施の形態を示すブロック図である。
【図３】本発明の第１のフラグを説明する図である。
【図４】本発明で下位レイヤの復号データを用いて領域形状を抽出する場合のブロック図である。
【図５】本発明で上位レイヤの領域形状を用いて領域形状を抽出する場合のブロック図である。
【図６】本発明の第３の実施の形態を説明する図である。
【図７】本発明の第３の実施の形態の他の例を説明する図である。
【図８】従来の符号化方式及び復号方式を説明するブロック図である。
【図９】本発明の効果の一例を説明する図である。
【図１０】従来法の概念を示す図である。
【図１１】８方向量子化符号を説明する図である。
【図１２】従来法の問題点を説明する図である。
【図１３】本発明で上位レイヤの領域形状を用いて領域形状を抽出する例を説明する図である。
【図１４】本発明の第１の実施の形態及び第２の実施の形態を説明するブロック図である。
【図１５】本発明の第１の実施の形態を説明するブロック図である。
【図１６】本発明の第２の実施の形態を説明するブロック図である。
【図１７】本発明の上位レイヤ符号化部の例を示すブロック図である。
【図１８】本発明の上位レイヤ復号部の例を示すブロック図である。
【符号の説明】
１０１ スイッチ
１０２ 画素データ符号化部
１０３ 領域形状符号化部
１０４ 画素データ復号部
１０５ 領域形状復号部
１０６ 多重化部
１０７ 第１の遅延部
１０８ 第２の遅延部
１０９ 第１の領域抽出部
１１０ 第２の領域抽出部
１１１ コントローラ
１１２ スイッチ
１１３ 補間画像作成部
１１４ 加重平均部
１１５ 第３の遅延部
１１６ 第４の遅延部

Claims (2)

1. 動画像シーケンスの画素データを第１のフレームレートで符号化する下位レイヤ符号化部と、
   前記動画像シーケンスの特定領域の画素データを前記第１のフレームレートより高い第２のフレームレートで符号化するとともに、前記動画像シーケンスの特定領域の領域形状を符号化する上位レイヤ符号化部とを備えた動画像符号化装置であって、
   前記上位レイヤ符号化部は、前記動画像シーケンスの特定領域の画素データを前記第１のフレームレートより高い第２のフレームレートで符号化する画素データ符号化部と、
   前記動画像シーケンスの特定領域の領域形状を符号化する領域形状符号化部と、
   上位レイヤの背景となる画像を下位レイヤフレームを用いて合成するか否かを示すフラグを符号化するフラグ符号化部と、
   前記画素データ符号化部で符号化された画素データの符号化データと、前記領域形状符号化部で符号化された領域形状の符号化データと、前記フラグ符号化部で符号化されたフラグの符号化データとを多重化する多重化部とを有することを特徴とする画像符号化装置。
2. 動画像シーケンスの画素データを第１のフレームレートで符号化する下位レイヤ符号化部と、
   前記動画像シーケンスの特定領域の画素データを前記第１のフレームレートより高い第２のフレームレートで符号化するとともに、前記動画像シーケンスの特定領域の領域形状を符号化する上位レイヤ符号化部とを備えた動画像符号化装置であって、
   前記上位レイヤ符号化部は、前記動画像シーケンスの特定領域の画素データを前記第１のフレームレートより高い第２のフレームレートで符号化する画素データ符号化部と、
   前記動画像シーケンスの特定領域の領域形状を符号化する領域形状符号化部と、
   前記上位レイヤのフレーム位置の時間的に後に存在する下位レイヤフレームにおける領域形状を符号化するか否かを示すフラグを符号化するフラグ符号化部と、
   前記画素データ符号化部で符号化された画素データの符号化データと、前記領域形状符号化部で符号化された領域形状の符号化データと、前記フラグ符号化部で符号化されたフラグの符号化データとを多重化する多重化部とを有することを特徴とする画像符号化装置。

Images