JP4762095B2 - 画像復号装置及び画像復号方法 - Google Patents

Description

本発明は、画像復号装置及び画像復号方法に関する。

画像復号過程においては、過去に復号した画像の一部を参照ブロックとして用いて予測画像データを生成し、現在復号中のピクチャで用いることがある。

過去に復号された画像であって、参照されることとなる参照ピクチャは、ＳＤＲＡＭ等の記憶装置上の所定記憶領域であるフレームメモリに記憶される。参照ブロックは、このフレームメモリに記憶されている参照ピクチャの一部である。

この参照ブロックは、現在復号中のピクチャと参照ピクチャとの位置関係を示す動きベクトル情報を用いて参照ピクチャ内に画定されて読み出される。しかし、場合によっては、参照ブロックの一部又は全部が、本来の参照ピクチャ領域からはみ出した領域であることがある。

そのような場合、パディング（ｐａｄｄｉｎｇ）という手法を用いて画像データを補填した後、通常の補間動作を行って、参照ブロックを形成する。

パディングとは、参照ピクチャの上端ライン、下端ライン、右端ライン、左端ラインをそれぞれコピーして参照ピクチャの周辺領域に付加していき、参照ブロックが含まれることとなる領域まで参照ピクチャを拡張し、参照ブロックを画定して読み出すことを可能とする手法である。

一方、現在復号中のマクロブロックの種類によっては、参照ブロックをトップラインのみ又はボトムラインのみによって構成しなくてはならない場合がある。

他方、フレームメモリにおいて参照ピクチャがフレーム構造で記憶されている場合、フレームメモリ上の参照ピクチャは、トップラインとボトムラインとが交互に配列された構造となっている。また、フレームメモリにおいて参照ピクチャがフィールド構造で記憶されている場合、フレームメモリ上の参照ピクチャは、トップ領域のトップライン（偶数ライン）とボトム領域のボトムライン（奇数ライン）とに分けられて配列された構造となっている。

従って、上述のように参照ブロックをトップラインのみ又はボトムラインのみによって構成する場合を想定すると、参照ピクチャをフィールド構造の画像としてフレームメモリ上に記憶させておけば、トップ領域又はボトム領域のいずれか一方のみの画像データを過不足なく読み出すことができるため、読み出しデータ量の削減を図る上で有効である。

尚、動きベクトルが参照ピクチャの有効画素領域外を指し示す場合でも予測画像データを短時間で生成し得るデータ処理装置がこれまでに提案され、公知となっているが（例えば、特許文献１参照）、そのデータ処理装置の構成は、参照ピクチャがフレーム構造で記憶されていることを前提とするものである。

ところで、参照ピクチャとして用いるピクチャは、ピクチャ単位でパディングの方法が異なることがある。つまり、ピクチャのパディングの方法には、大別して二つの方法がある。第一の方法は、ピクチャの上端の１ライン、下端の１ラインのみをそれぞれピクチャの上方、下方にパディングしていく方法（以下、ここでは「１ラインパディング法」という。）である。第二の方法は、ピクチャの上端から２ライン（トップ上端ライン、ボトム上端ライン）をピクチャの上方に交互にパディングすると共に、ピクチャの下端から２ライン（トップ下端ライン、ボトム下端ライン）をピクチャの下方に交互にパディングしていく方法（以下、ここでは「２ラインパディング法」という。）である。

尚、トップ上端ラインとは、参照ピクチャのトップラインのうちの上端ライン、ボトム上端ラインとは、参照ピクチャのボトムラインのうちの上端ライン、トップ下端ラインとは、参照ピクチャのトップラインのうちの下端ライン、ボトム下端ラインとは、参照ピクチャのボトムラインのうちの下端ラインをいう。

前述のように、参照ピクチャをフィールド構造の画像としてフレームメモリ上に記憶させておくと、読み出しデータ量を削減できる場合があり、有利である。

しかし、その場合、従来の技術では、適用されるパディングの方法によっては、参照ピクチャがフレーム構造で記憶されている場合と同等の参照ブロックを形成することが不可能であったり、参照ピクチャがフレーム構造で記憶されている場合よりも時間を要したりすることがあるという問題があった。

この問題について、参照ピクチャがフレーム構造で記憶されている場合と参照ピクチャがフィールド構造で記憶されている場合とを対比して説明する。

参照ピクチャがフレーム構造で記憶されている場合において、２ラインパディング法が適用され、且つ、参照ピクチャのトップ上端ラインより上にはみ出している参照ブロックをボトムラインのみによって構成する場合を考える。

この場合、ボトムライン及びボトム上端ライン並びにコピーされたボトム上端ラインを必要な数だけ含む領域を、トップライン及びトップ上端ライン並びにコピーされたトップ上端ラインと共にフレームメモリから読み出して転送し、必要なボトムラインのみを選択的に用いる。これにより、ボトムラインのみによって構成される参照ブロックを形成することができる。

尚、参照ピクチャの領域内ではボトムラインによって、参照ピクチャの領域外ではボトム上端ラインのコピーによって、参照ブロックを構成する場合を、以後、場合［Ｘ］とする。

次に、参照ピクチャがフレーム構造で記憶されている場合において、１ラインパディング法が適用され、且つ、参照ピクチャのトップ上端ラインより上にはみ出している参照ブロックを、参照ピクチャの領域内ではボトムラインによって、参照ピクチャの領域外ではトップラインによって構成する場合を考える。

この場合、ボトムライン及びコピーされたトップ上端ラインを必要な数だけ含む領域を、トップライン及びトップ上端ラインと共にフレームメモリから読み出して転送し、必要なボトムライン及びコピーされたトップ上端ラインのみを選択的に用いる。これにより、参照ピクチャの領域内ではボトムラインによって、参照ピクチャの領域外ではトップラインによって構成される参照ブロックを形成することができる。

尚、参照ピクチャの領域内ではボトムラインによって、参照ピクチャの領域外ではトップ上端ラインのコピーによって、参照ブロックを構成する場合を、以後、場合［Ｙ］とする。

今度は、参照ピクチャがフィールド構造で記憶されている場合を対比させて考察する。

先ず、参照ピクチャがフィールド構造で記憶されている場合において、ボトムラインのみによって参照ブロックを構成する場合を考える。これは、上記場合［Ｘ］に相当する場合である。従って、参照ピクチャがフレーム構造で記憶されている場合に置き換えると、２ラインパディング法が適用され、且つ、ボトムラインのみによって参照ブロックを構成する場合に相当する。

参照ピクチャがフィールド構造で記憶されている場合、基本的には参照ピクチャの領域内の画像データを用いるものとする。

従って、ボトムラインのみによって参照ブロックを構成する場合、参照ピクチャの領域内のボトム上端ライン及びボトムラインを含む領域をフレームメモリから読み出して転送して用いる。参照ピクチャの領域外の部分については、読み出して転送したボトム上端ラインのコピー又はアドレス変換により画像データを補填して用いる。これにより、ボトムラインのみによって構成される参照ブロックを形成することができる。

従って、この場合には、参照ピクチャがフィールド構造で記憶されていても、特に問題は発生しないが、次に説明する以下の場合に問題が発生する。

その場合とは、参照ピクチャがフィールド構造で記憶されている場合において、参照ピクチャの領域内ではボトムラインによって、参照ピクチャの領域外ではトップラインによって、参照ブロックを構成する場合である。これは、上記場合［Ｙ］に相当する場合である。従って、参照ピクチャがフレーム構造で記憶されている場合に置き換えると、１ラインパディング法が適用され、且つ、参照ピクチャの領域内ではボトムラインによって、参照ピクチャの領域外ではトップラインによって、参照ブロックを構成する場合に相当する。

この場合も、参照ピクチャの領域内のボトム上端ライン及びボトムラインを含む領域をフレームメモリから読み出して転送して用いる。

しかし、参照ピクチャの領域外の部分については、上記読み出し領域と一体的に画像データの読み出し及び転送を行おうとしても、そこには必要なトップ上端ラインの画像データが存在しないので、画像データの読み出し及び転送を行うことはできない。

従って、一回の読み出し及び転送動作によって取得される画像データのみによって参照ブロックを形成することは不可能である。

一方、画像データの読み出し及び転送動作を一回のみに限定せず、参照ピクチャの領域外の部分にコピーするためのトップ上端ラインをボトムライン記憶領域とは区分されたトップライン記憶領域から読み出して転送すれば、そのトップ上端ラインをコピーすることにより、参照ブロックを形成することができる。

しかし、上記形成方法では、参照ブロックを形成するための画像データの読み出し及び転送動作が二回必要となって処理工程が増加し、トップ上端ラインを転送するための転送オーバーヘッドが発生する。画像データの読み出し及び転送動作のためのサイクル数が増大するので、消費電力も増大する。

以上のように、参照ピクチャをフィールド構造で記憶させておいて参照ブロックを形成する方法では、画像データの読み出し及び転送時、並びに、参照ブロック形成時に、ピクチャの種類に応じて処理を変更しなければならなくなる。従って、画像データの復号過程における処理数を増加させ、処理数の増加は、データ転送／書き込み回路、予測画像データ生成回路等の処理回路のゲート規模の増大、消費電力の増大に繋がる。

また、画像データの読み出し及び転送動作が二回必要となる参照ブロックの形成が頻繁に発生した場合、要求される復号時間に間に合わなくなることもあり得る。
特開２００５−２２３６３１号公報

従って、本発明の目的は、参照ブロック形成の際の読み出しデータ量を削減すべく参照ピクチャをフィールド構造で記憶させる構成を採用しつつ、参照ブロック形成のための画像データの読み出し及び転送動作がピクチャの種類に拘わらず一回で足りる構成の画像復号装置及び復号方法を提供することである。

本発明の一態様に係る画像復号装置によれば、過去に復号した画像の一部を参照ブロックとして現在復号中のピクチャで用いるべく、過去に復号した画像を参照ピクチャとし、前記参照ピクチャのトップラインとボトムラインとをトップ領域とボトム領域とに区分してフィールド構造で記憶させ得るフレームメモリと、前記フレームメモリの前記トップ領域及び前記ボトム領域における前記参照ピクチャの上端のトップライン及びボトムラインのさらに上の領域にそれぞれ、前記参照ピクチャの上端のトップライン又はボトムラインを、前記参照ピクチャの下端のトップライン及びボトムラインのさらに下の領域にそれぞれ、前記参照ピクチャの下端のトップライン又はボトムラインを、選択的にコピーして記憶させる参照ピクチャ再構成装置と、前記参照ピクチャの前記トップライン及び前記ボトムライン並びにコピーされた前記トップライン及び前記ボトムラインの画像データのうち、現在復号中のピクチャと前記参照ピクチャとの位置関係を示す動きベクトル情報に対応して画定される前記参照ブロックの矩形領域に含まれる画像データを読み出して転送する読み出し／転送装置と、転送されてきた前記画像データのみでは前記参照ブロックの矩形領域の全部を形成できない場合には前記転送されてきた画像データの一部をコピー又はアドレス変換して用い、前記参照ブロックを形成する参照ブロック形成装置と、を備えていることを特徴とする画像復号装置が提供される。

本発明の一態様に係る画像復号方法によれば、過去に復号した画像の一部を参照ブロックとして現在復号中のピクチャで用いるべく、過去に復号した画像を参照ピクチャとし、上記参照ピクチャのトップラインとボトムラインとをトップ領域とボトム領域とに区分してフィールド構造でフレームメモリに記憶させる過程と、上記フレームメモリの上記トップ領域及び上記ボトム領域における上記参照ピクチャの上端のトップライン及びボトムラインのさらに上の領域にそれぞれ、上記参照ピクチャの上端のトップライン又はボトムラインを、上記参照ピクチャの下端のトップライン及びボトムラインのさらに下の領域にそれぞれ、上記参照ピクチャの下端のトップライン又はボトムラインを、選択的にコピーして記憶させる過程と、前記参照ピクチャの前記トップライン及び前記ボトムライン並びにコピーされた前記トップライン及び前記ボトムラインの画像データのうち、現在復号中のピクチャと前記参照ピクチャとの位置関係を示す動きベクトル情報に対応して画定される前記参照ブロックの矩形領域に含まれる画像データを読み出して転送する過程と、転送されてきた前記画像データのみでは前記参照ブロックの矩形領域の全部を形成できない場合には転送されてきた画像データの一部をコピー又はアドレス変換して用い、前記参照ブロックを形成する過程と、を備えている画像復号方法が提供される。

本発明の一態様に係る画像復号装置及び画像復号方法は、参照ブロック形成の際の読み出しデータ量を削減すべく参照ピクチャをフィールド構造で記憶させる構成を採用しつつ、参照ブロック形成のための画像データの読み出し及び転送動作がピクチャの種類に拘わらず一回で足りるので、参照ブロック形成のための処理工程数及び処理時間並びに消費電力を抑制することができ、処理回路のゲート規模の増大を回避することもできる。

以下、本発明に係る画像復号装置及び画像復号方法の実施の形態について、図面を参照しながら説明する。

本発明の実施の一形態に係る画像復号装置及び画像復号方法は、参照ブロック形成のための参照ピクチャをフィールド構造で記憶させるフレームメモリのトップ領域及びボトム領域における参照ピクチャの上端ラインのさらに上、及び、下端ラインのさらに下に、参照ピクチャの種類に応じたパディング用ラインを記憶させる領域を設けた構成を採用している。

図１は、上述のようなフレームメモリの領域構成及び参照ブロックの形成を可能とする本発明の実施の一形態に係る画像復号装置の構成を示すブロック図である。

本発明の実施の一形態に係る画像復号装置は、復号された参照ピクチャ１１０１の画像データを記憶するフレームメモリ１４と、復号された参照ピクチャ１１０１の画像データを再構成してフレームメモリ１４に記憶させる参照ピクチャ再構成装置１１と、再構成された参照ピクチャ１１０１の画像データの参照ブロック対応領域を読み出して転送する読み出し／転送装置１２と、転送されてきた参照ブロック対応領域の画像データを用いて参照ブロック１２００を形成する参照ブロック形成装置１３と、を備えている。

この本発明の実施の一形態に係る画像復号装置の各構成部分が所定の機能を果たすことにより、上述のようなフレームメモリ１４の領域構成及び参照ブロック１２００の形成が可能となる。尚、参照ブロック１２００は、後述する参照ブロック１２０１及び１２０２を含むものとする。

以下、本発明の実施の一形態に係る画像復号装置の各構成部分の機能及び動作について、具体的に説明する。

図２は、本発明の実施の一形態に係る画像復号装置に備えられた参照ピクチャ再構成装置１１の動作手順を示すフローチャートである。

参照ピクチャ１１０１のパディングが開始されると（ステップＳ１０）、参照ピクチャ１１０１の端部におけるパディングは、場合［Ｘ］又は［Ｙ］のいずれの構成が適当であるかを識別する（ステップＳ１１）。

前述のように、場合［Ｘ］とは、参照ピクチャの領域内ではボトムラインによって、参照ピクチャの領域外ではボトム上端ラインのコピーによって、参照ブロックを構成する場合であり、場合［Ｙ］とは、参照ピクチャの領域内ではボトムラインによって、参照ピクチャの領域外ではトップ上端ラインのコピーによって、参照ブロックを構成する場合である。

参照ピクチャ１１０１の端部におけるパディングは場合［Ｘ］の構成が適当であると識別された場合は、コピー動作Ｂを実行する（ステップＳ１２）。また、参照ピクチャ１１０１の端部におけるパディングは場合［Ｙ］の構成が適当であると識別された場合は、コピー動作Ａを実行する（ステップＳ１３）。

ここで、コピー動作Ｂ及びＡにより構成されるフレームメモリの第一及び第二の領域構成例を具体的に示す。

図３Ａ及び図３Ｂは、本発明の実施の一形態に係る画像復号装置及び画像復号方法におけるフレームメモリの第一及び第二の領域構成例を模式的に示す説明図である。

参照ピクチャ１１０１の画像データは、図３Ａ及び図３Ｂに示すように、各トップラインと各ボトムラインとがトップ領域とボトム領域とに分けられて配列されたフィールド構造でフレームメモリ上に記憶されている。

図３Ａに示すフレームメモリの第一の領域構成例は、コピー動作Ｂに対応する領域構成例である。

上記ステップＳ１１において、参照ピクチャ１１０１の端部におけるパディングは場合［Ｘ］の構成が適当であると識別された場合は、コピー動作Ｂを実行する（ステップＳ１２）。即ち、参照ピクチャ１１０１をフィールド構造で記憶させたフレームメモリのトップ領域及びボトム領域における参照ピクチャ１１０１の上端ラインのさらに上に、トップ上端ライン及びボトム上端ラインをコピーして領域外トップ上端ライン及び領域外ボトム上端ラインとして記憶させる。また、フレームメモリのトップ領域及びボトム領域における参照ピクチャ１１０１の下端ラインのさらに下に、トップ下端ライン及びボトム下端ラインをコピーして領域外トップ下端ライン及び領域外ボトム下端ラインとして記憶させる。

以上のコピー動作Ｂにより参照ピクチャ１１０１の画像データを再構成し、フレームメモリ１４に記憶させる。

結果として得られる図３Ａに示すフレームメモリの第一の領域構成例では、フレームメモリ上に記憶された参照ピクチャ１１０１のトップ領域のトップ上端ライン１１０２の上方に隣接する領域に、トップ上端ラインをコピーした領域外トップ上端ライン１１０６が記憶されている。また、ボトム領域のボトム上端ライン１１０３の上方に隣接する領域に、ボトム上端ラインをコピーした領域外ボトム上端ライン１１０７が記憶されている。また、トップ領域のトップ下端ライン１１０４の下方に隣接する領域に、トップ下端ラインをコピーした領域外トップ下端ライン１１０８が記憶されている。また、ボトム領域のボトム下端ライン１１０５の下方に隣接する領域に、ボトム下端ラインをコピーした領域外ボトム下端ライン１１０９が記憶されている。

図３Ａに示すフレームメモリの第一の領域構成例は、参照ピクチャの領域内ではボトムラインによって、参照ピクチャの領域外ではボトム上端ラインのコピーによって、参照ブロックを構成する場合［Ｘ］に対応するものである。従って、参照ピクチャがフレーム構造で記憶されている場合に置き換えると、２ラインパディング法が適用され、且つ、ボトムラインのみによって参照ブロックを構成する場合に相当する。

一方、上記ステップＳ１１において、参照ピクチャ１１０１の端部におけるパディングは場合［Ｙ］の構成が適当であると識別された場合は、コピー動作Ａを実行する（ステップＳ１３）。即ち、参照ピクチャ１１０１をフィールド構造で記憶させたフレームメモリのトップ領域及びボトム領域における参照ピクチャ１１０１の上端ラインのさらに上に、トップ上端ラインをそれぞれコピーして二つの領域外トップ上端ラインとして記憶させる。また、フレームメモリのトップ領域及びボトム領域における参照ピクチャ１１０１の下端ラインのさらに下に、ボトム下端ラインをそれぞれコピーして二つの領域外ボトム下端ラインとして記憶させる。

以上のコピー動作Ａにより参照ピクチャ１１０１の画像データを再構成し、フレームメモリ１４に記憶させる。

結果として得られる図３Ｂに示すフレームメモリの第二の領域構成例では、フレームメモリ上に記憶された参照ピクチャ１１０１のトップ領域のトップ上端ライン１１０２の上方に隣接する領域に、トップ上端ラインをコピーした領域外トップ上端ライン１１１０が記憶されている。また、ボトム領域のボトム上端ライン１１０３の上方に隣接する領域に、トップ上端ラインをコピーした領域外トップ上端ライン１１１１が記憶されている。また、トップ領域のトップ下端ライン１１０４の下方に隣接する領域に、ボトム下端ラインをコピーした領域外ボトム下端ライン１１１２が記憶されている。また、ボトム領域のボトム下端ライン１１０５の下方に隣接する領域に、ボトム下端ラインをコピーした領域外ボトム下端ライン１１１３が記憶されている。

図３Ｂに示すフレームメモリの第二の領域構成例は、参照ピクチャの領域内ではボトムラインによって、参照ピクチャの領域外ではトップ上端ラインのコピーによって、参照ブロックを構成する場合［Ｙ］に対応するものである。従って、参照ピクチャがフレーム構造で記憶されている場合に置き換えると、１ラインパディング法が適用され、且つ、参照ピクチャの領域内ではボトムラインによって、参照ピクチャの領域外ではトップラインによって、参照ブロックを構成する場合に相当する。

以上で、参照ピクチャ再構成装置１１の動作手順は終了し、その後の動作手順は、読み出し／転送装置１２が行う。

図４は、本発明の実施の一形態に係る画像復号装置に備えられた読み出し／転送装置１２の動作手順を示すフローチャートである。

参照ブロック１２００の画像データの転送が開始されると（ステップＳ２０）、参照ブロック１２００の画像データの転送にパディングが必要か否かを、現在復号中のピクチャと参照ピクチャとの位置関係を示す動きベクトル情報に対応した参照ブロック１２００の領域の位置により識別する（ステップＳ２１）。

参照ブロック１２００の画像データの転送にパディングが必要でない場合、即ち、動きベクトル情報に対応した参照ブロック１２００の領域が再構成前の元の参照ピクチャ１１０１の領域に完全に含まれる場合には、転送動作Ｂを実行する（ステップＳ２２）。即ち、再構成前の元の参照ピクチャ１１０１の領域内の画像データのみを、動きベクトル情報に対応した参照ブロック１２００の矩形領域から読み出して転送する。

一方、参照ブロック１２００の画像データの転送にパディングが必要である場合、即ち、動きベクトル情報に対応した参照ブロック１２００の領域が再構成前の元の参照ピクチャ１１０１の領域に完全には含まれず、再構成により元の参照ピクチャ１１０１の上端ラインのさらに上及び下端ラインのさらに下にコピーされた領域外ラインを含む場合には、転送動作Ａを実行する（ステップＳ２３）。即ち、元の参照ピクチャ１１０１の領域内の画像データと共に領域外ラインの画像データも、動きベクトル情報に対応した参照ブロック１２００の矩形領域から読み出して転送する。また、このとき、動きベクトル情報に対応した参照ブロック１２００の領域が再構成前の元の参照ピクチャ１１０１の領域からどれだけはみ出ているかを示す数値情報も、画像データと共に転送する。

図５Ａは、本発明の実施の一形態に係る画像復号装置及び画像復号方法におけるフレームメモリの第一の領域構成例が選択された場合に、参照ピクチャの領域内ではボトムラインによって、参照ピクチャの領域外ではボトム上端ラインのコピーによって、参照ブロックを形成する様子を模式的に示す説明図である。また、図５Ｂは、本発明の実施の一形態に係る画像復号装置及び画像復号方法におけるフレームメモリの第二の領域構成例が選択された場合に、参照ピクチャの領域内ではボトムラインによって、参照ピクチャの領域外ではトップ上端ラインのコピーによって、参照ブロックを形成する様子を模式的に示す説明図である。図５Ａ及び図５Ｂは、それぞれ図３Ａ及び図３Ｂに対応している。尚、図５Ａ及び図５Ｂに示す参照ブロック１２０１及び１２０２の領域は、現在復号中のピクチャと参照ピクチャ１１０１との位置関係を示す動きベクトル情報に対応して画定される。

上記ステップＳ２１において、参照ブロック１２００の画像データの転送にパディングが必要であると識別された場合、フレームメモリの領域構成は、図３Ａ及び図５Ａに示す第一の領域構成例又は図３Ｂ及び図５Ｂに示す第二の領域構成例のいずれかになっているはずである。従って、フレームメモリの領域構成が第一の領域構成例であっても第二の領域構成例であっても、転送動作Ａを実行する（ステップＳ２３）。

フレームメモリの領域構成が第一の領域構成例であるときは、図５Ａに示すように、参照ピクチャ１１０１の領域内のボトム上端ライン１１０３及びボトムライン、並びに、ボトム上端ライン１１０３をコピーして記憶させておいた領域外ボトム上端ライン１１０７を含む領域をフレームメモリから読み出して転送して用いる。

フレームメモリの領域構成が第二の領域構成例であるときは、図５Ｂに示すように、参照ピクチャ１１０１の領域内のボトム上端ライン１１０３及びボトムライン、並びに、トップ上端ライン１１０２をコピーして記憶させておいた領域外トップ上端ライン１１１１を含む領域をフレームメモリから読み出して転送して用いる。

尚、フレームメモリからの読み出しが行われる領域は、フレームメモリの領域構成が第一の領域構成例であっても第二の領域構成例であっても、現在復号中のピクチャと参照ピクチャ１１０１との位置関係を示す動きベクトル情報に対応して画定される参照ブロック１２００に含まれることとなる領域である。

以上で、読み出し／転送装置１２の動作手順は終了し、その後の動作手順は、参照ブロック形成装置１３が行う。

図６は、本発明の実施の一形態に係る画像復号装置に備えられた参照ブロック形成装置１３の動作手順を示すフローチャートである。

参照ブロック１２００の形成が開始されると（ステップＳ３０）、参照ブロック１２００の形成にパディングが必要か否かを、現在復号中のピクチャと参照ピクチャとの位置関係を示す動きベクトル情報に対応した参照ブロック１２００の領域の位置により識別する（ステップＳ３１）。

参照ブロック１２００の形成にパディングが必要でない場合、即ち、動きベクトル情報に対応した参照ブロック１２００の領域が再構成前の元の参照ピクチャ１１０１の領域に完全に含まれる場合には、形成動作Ｂを実行する（ステップＳ３２）。即ち、転送されてきた再構成前の元の参照ピクチャ１１０１の領域内の画像データのみを用いて参照ブロック１２００を形成する。

一方、参照ブロック１２００の形成にパディングが必要である場合、即ち、動きベクトル情報に対応した参照ブロック１２００の領域が再構成前の元の参照ピクチャ１１０１の領域に完全には含まれず、再構成により元の参照ピクチャ１１０１の上端ラインのさらに上及び下端ラインのさらに下にコピーされた領域外ラインを含む場合には、形成動作Ａを実行する（ステップＳ３３）。即ち、元の参照ピクチャ１１０１の領域内の画像データと共に転送されてきた領域外ラインの画像データに対しコピー又はアドレス変換を行って、必要な量だけ画像データを補填して参照ブロック１２００を形成する。

上記ステップＳ３１において、参照ブロック１２００の形成にパディングが必要であると識別された場合、フレームメモリの領域構成は、図３Ａ及び図５Ａに示す第一の領域構成例又は図３Ｂ及び図５Ｂに示す第二の領域構成例のいずれかになっているはずである。従って、フレームメモリの領域構成が第一の領域構成例であっても第二の領域構成例であっても、形成動作Ａを実行する（ステップＳ３３）。

フレームメモリの領域構成が第一の領域構成例であるときは、図５Ａに示すように、参照ブロック１２０１の領域であって、参照ピクチャ１１０１の領域外の部分のうち、領域外ボトム上端ライン１１０７と重なり合う部分については、転送されてきた領域外ボトム上端ライン１１０７の画像データを用いる。

また、参照ブロック１２０１の領域であって、参照ピクチャ１１０１の領域外の部分のうち、領域外ボトム上端ライン１１０７の領域外でもある部分については、転送されてきた領域外ボトム上端ライン１１０７のコピー又はアドレス変換により画像データを補填して用いる。

これにより、ボトムラインのみによって構成される図５Ａの参照ブロック１２０１を形成することができる。

従って、図５Ａに示す参照ブロック１２０１の形成は、参照ピクチャの領域内ではボトムラインによって、参照ピクチャの領域外ではボトム上端ラインのコピーによって、参照ブロックを構成する場合［Ｘ］に対応するものである。即ち、参照ピクチャがフレーム構造で記憶されている場合に置き換えると、２ラインパディング法が適用され、且つ、ボトムラインのみによって参照ブロックを構成する場合に相当する。

尚、図５Ａの例は、参照ブロックが参照ピクチャの上端ラインより上にはみ出している場合の例であるが、参照ブロックが参照ピクチャの下端ラインより下にはみ出している場合においても、図３Ａに示すフレームメモリの第一の領域構成例の通りに各ラインのコピー及び記憶を予め行っておけば、全く同様の動作手順により参照ブロックを形成することができる。

フレームメモリの領域構成が第二の領域構成例であるときは、図５Ｂに示すように、参照ブロック１２０２の領域であって、参照ピクチャ１１０１の領域外の部分のうち、領域外トップ上端ライン１１１１と重なり合う部分については、転送されてきた領域外トップ上端ライン１１１１の画像データを用いる。

また、参照ブロック１２０２の領域であって、参照ピクチャ１１０１の領域外の部分のうち、領域外トップ上端ライン１１１１の領域外でもある部分については、転送されてきた領域外トップ上端ライン１１１１のコピー又はアドレス変換により画像データを補填して用いる。

これにより、参照ピクチャ１１０１の領域内ではボトムラインによって、参照ピクチャ１１０１の領域外ではトップ上端ラインのコピーによって構成される参照ブロック１２０２を形成することができる。

従って、図５Ｂに示す参照ブロック１２０２の形成は、参照ピクチャの領域内ではボトムラインによって、参照ピクチャの領域外ではトップ上端ラインのコピーによって、参照ブロックを構成する場合［Ｙ］に対応するものである。即ち、参照ピクチャがフレーム構造で記憶されている場合に置き換えると、１ラインパディング法が適用され、且つ、参照ピクチャの領域内ではボトムラインによって、参照ピクチャの領域外ではトップラインによって、参照ブロックを構成する場合に相当する。

この場合［Ｙ］の参照ブロックの形成は、従来の技術では、参照ピクチャがフレーム構造で記憶されている場合と同等の参照ブロックを形成することが不可能であったり、参照ピクチャがフレーム構造で記憶されている場合よりも時間を要したりすることがあるという問題が発生する場合に相当する。

本発明の実施の一形態に係る画像復号装置及び画像復号方法においては、参照ピクチャの領域内ではボトムラインによって、参照ピクチャの領域外ではトップ上端ラインのコピーによって参照ブロックを形成する予定であることが識別された時点で、トップ領域及びボトム領域における参照ピクチャの上端ラインのさらに上に、トップ上端ラインをそれぞれコピーした二つの領域外トップ上端ラインを、トップ領域及びボトム領域における参照ピクチャの下端ラインのさらに下に、ボトム下端ラインをそれぞれコピーした二つの領域外ボトム下端ラインを記憶させておく。その結果、ボトム領域の画像データの矩形転送１回と、領域外トップ上端ラインのコピー又はアドレス変換とを行うだけで、場合［Ｙ］の参照ブロックの高速な形成を実現することができる。

尚、図５Ｂの例は、参照ブロックが参照ピクチャの上端ラインより上にはみ出している場合の例であるが、参照ブロックが参照ピクチャの下端ラインより下にはみ出している場合は、参照ピクチャの領域内ではトップラインによって、参照ピクチャの領域外ではボトム下端ラインのコピーによって参照ブロックを形成する場合［Ｙ’］に該当するので、図３Ｂに示すフレームメモリの第二の領域構成例の通りに各ラインのコピー及び記憶を予め行っておけば、全く同様の動作手順により参照ブロックを形成することができる。即ち、場合［Ｙ’］は、場合［Ｙ］と全く同様に対応することができる。

尚、参照ブロック１２０１及び１２０２の形成に際しては、通常の補間動作も行われる。

以上で、参照ブロック形成装置１３の動作手順は終了し、参照ブロック１２００（参照ブロック１２０１及び１２０２）の形成が完了する。

以上に説明したように、本発明の実施の一形態に係る画像復号装置及び画像復号方法は、参照ピクチャの上端ラインのさらに上、及び、下端ラインのさらに下に、参照ピクチャの種類に応じた適当なラインの画像データを選択して予めコピー及び記憶を行い、画像データの読み出し及び転送領域を矩形領域とすることにより、その後の画像データの読み出し及び転送動作と、画像データのコピー又はアドレス変換動作とを、参照ピクチャの種類に拘わらず画一化することができるので、参照ブロックの高速な形成を実現することができる。

即ち、本発明の実施の一形態に係る画像復号装置及び画像復号方法によれば、参照ブロック形成のための画像データの読み出し及び転送動作を１回のみとして、画像データの復号過程における処理数の増加を抑制することができ、要求される復号時間に間に合わなくなるような事態も回避することができ、消費電力の増大も抑制することができる。また、画像データの復号過程における処理数の増加が抑制されるので、処理回路のゲート規模の増大の回避にも繋がる。

本発明の実施の一形態に係る画像復号装置の構成を示すブロック図である。 本発明の実施の一形態に係る画像復号装置に備えられた参照ピクチャ再構成装置１１の動作手順を示すフローチャートである。 本発明の実施の一形態に係る画像復号装置及び画像復号方法におけるフレームメモリの第一の領域構成例を模式的に示す説明図である。 本発明の実施の一形態に係る画像復号装置及び画像復号方法におけるフレームメモリの第二の領域構成例を模式的に示す説明図である。 本発明の実施の一形態に係る画像復号装置に備えられた読み出し／転送装置１２の動作手順を示すフローチャートである。 本発明の実施の一形態に係る画像復号装置及び画像復号方法におけるフレームメモリの第一の領域構成例が選択された場合に、参照ピクチャの領域内ではボトムラインによって、参照ピクチャの領域外ではボトム上端ラインのコピーによって、参照ブロックを形成する様子を模式的に示す説明図である。 本発明の実施の一形態に係る画像復号装置及び画像復号方法におけるフレームメモリの第二の領域構成例が選択された場合に、参照ピクチャの領域内ではボトムラインによって、参照ピクチャの領域外ではトップ上端ラインのコピーによって、参照ブロックを形成する様子を模式的に示す説明図である。 本発明の実施の一形態に係る画像復号装置に備えられた参照ブロック形成装置１３の動作手順を示すフローチャートである。

符号の説明

１１ 参照ピクチャ再構成装置 １２ 読み出し／転送装置 １３ 参照ブロック形成装置 １４ フレームメモリ

Claims (4)

1. 過去に復号した画像の一部を参照ブロックとして現在復号中のピクチャで用いるべく、過去に復号した画像を参照ピクチャとし、前記参照ピクチャのトップラインとボトムラインとをトップ領域とボトム領域とに区分してフィールド構造で記憶させ得るフレームメモリと、
   前記フレームメモリの前記トップ領域及び前記ボトム領域における前記参照ピクチャの上端のトップライン及びボトムラインのさらに上の領域にそれぞれ、前記参照ピクチャの上端のトップライン又はボトムラインを、前記参照ピクチャの下端のトップライン及びボトムラインのさらに下の領域にそれぞれ、前記参照ピクチャの下端のトップライン又はボトムラインを、選択的にコピーして記憶させる参照ピクチャ再構成装置と、
   前記参照ピクチャの前記トップライン及び前記ボトムライン並びにコピーされた前記トップライン及び前記ボトムラインの画像データのうち、現在復号中のピクチャと前記参照ピクチャとの位置関係を示す動きベクトル情報に対応して画定される前記参照ブロックの矩形領域に含まれる画像データを読み出して転送する読み出し／転送装置と、
   転送されてきた前記画像データのみでは前記参照ブロックの矩形領域の全部を形成できない場合には前記転送されてきた画像データの一部をコピー又はアドレス変換して用い、前記参照ブロックを形成する参照ブロック形成装置と、
   を備えていることを特徴とする画像復号装置。
2. 前記参照ピクチャの前記ボトムラインのみによって前記参照ブロックを形成する場合、前記参照ピクチャ再構成装置は、前記フレームメモリの前記トップ領域及び前記ボトム領域における前記参照ピクチャの上端のトップライン及びボトムラインのさらに上の領域に、前記参照ピクチャの上端のトップライン及びボトムラインをそれぞれコピーして記憶させ、前記参照ピクチャの下端のトップライン及びボトムラインのさらに下の領域に、前記参照ピクチャの下端のトップライン及びボトムラインをそれぞれコピーして記憶させることを特徴とする請求項１に記載の画像復号装置。
3. 前記参照ブロックの矩形領域が前記参照ピクチャの上端のトップライン及びボトムラインより上にはみ出すものであり、かつ、前記参照ブロックの矩形領域のうち、前記参照ピクチャの領域内では前記ボトムラインによって、前記参照ピクチャの領域外では前記トップラインによって、前記参照ブロックを形成する場合、又は、前記参照ブロックの矩形領域が前記参照ピクチャの下端のトップライン及びボトムラインより下にはみ出すものであり、かつ、前記参照ブロックの矩形領域のうち、前記参照ピクチャの領域内では前記トップラインによって、前記参照ピクチャの領域外では前記ボトムラインによって、前記参照ブロックを形成する場合、前記参照ピクチャ再構成装置は、前記フレームメモリの前記トップ領域及び前記ボトム領域における前記参照ピクチャの上端のトップライン及びボトムラインのさらに上の領域に、前記参照ピクチャの上端のトップラインをそれぞれコピーして記憶させ、前記参照ピクチャの下端のトップライン及びボトムラインのさらに下の領域に、前記参照ピクチャの下端のボトムラインをそれぞれコピーして記憶させることを特徴とする請求項１に記載の画像復号装置。
4. 過去に復号した画像の一部を参照ブロックとして現在復号中のピクチャで用いるべく、過去に復号した画像を参照ピクチャとし、前記参照ピクチャのトップラインとボトムラインとをトップ領域とボトム領域とに区分してフィールド構造でフレームメモリに記憶させる過程と、
   前記フレームメモリの前記トップ領域及び前記ボトム領域における前記参照ピクチャの上端のトップライン及びボトムラインのさらに上の領域にそれぞれ、前記参照ピクチャの上端のトップライン又はボトムラインを、前記参照ピクチャの下端のトップライン及びボトムラインのさらに下の領域にそれぞれ、前記参照ピクチャの下端のトップライン又はボトムラインを、選択的にコピーして記憶させる過程と、
   前記参照ピクチャの前記トップライン及び前記ボトムライン並びにコピーされた前記トップライン及び前記ボトムラインの画像データのうち、現在復号中のピクチャと前記参照ピクチャとの位置関係を示す動きベクトル情報に対応して画定される前記参照ブロックの矩形領域に含まれる画像データを読み出して転送する過程と、
   転送されてきた前記画像データのみでは前記参照ブロックの矩形領域の全部を形成できない場合には転送されてきた画像データの一部をコピー又はアドレス変換して用い、前記参照ブロックを形成する過程と、
   を備えていることを特徴とする画像復号方法。

Images