JP5468604B2 - 画像復号装置、集積回路、画像復号方法及び画像復号システム - Google Patents

Description

本発明は、符号化されたピクチャを構成する複数のマクロブロックを所定の順番で順次復号する画像復号装置、集積回路、画像復号方法及び画像復号システムに関する。

近年、マルチメディアアプリケーションの発展に伴い、動画像・静止画像・音声・テキストなどのコンテンツを統一的に扱うことが一般的になってきた。この時、全てのコンテンツをディジタル化することにより、統一的にコンテンツを扱うことが可能になる。しかしながら、ディジタル化された画像は膨大なデータ量を持つため、蓄積・伝送のためには、動画像の情報圧縮技術が不可欠である。

その一方で、圧縮した動画像データを相互運用するためには、圧縮技術の標準化も重要である。以下においては、動画像圧縮技術の標準規格を、動画像圧縮標準規格という。動画像圧縮標準規格には、例えば、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）のＨ．２６１、Ｈ．２６３などがある。また、動画像圧縮標準規格には、ＩＳＯ／ＩＥＣ（国際標準化機構 国際電気標準会議）のＭＰＥＧ（Moving Picture Experts Group）−１、ＭＰＥＧ２、ＭＰＥＧ４などがある。また、動画像圧縮標準規格には、ＩＴＵ−ＴとＭＰＥＧの合同であるＪＶＴ（Joint Video Team）のＨ．２６４／ＡＶＣ（ＭＰＥＧ４−ＡＶＣ）などがある。

このような動画像圧縮標準規格では、１つのピクチャを所定画素数のブロック（輝度成分：１６画素×１６画素）に分割し、当該ブロック単位で復号処理または符号化処理が行われる。この処理単位となるブロックをマクロブロックという。

また、動画像圧縮技術によっては、１つのマクロブロックを、さらに、所定画素数のサブブロック（輝度成分：８画素×８画素）に分割し、当該サブブロック単位で復号方法または符号化方法を切り替えることが可能である。この処理単位となるサブブロックをサブマクロブロックという。以下においては、マクロブロックまたはサブマクロブロックを総括的に、マクロブロックという。

一般に、動画像圧縮符号化の重要な処理に、動画像を構成する連続した複数のピクチャ（画面）における時間方向の冗長性を削減することにより情報量の圧縮を行う動き補償面間予測がある。以下においては、符号化対象ピクチャの符号化において、参照されるピクチャを参照ピクチャという。

動き補償面間予測は、符号化対象ピクチャ内のマクロブロックが、参照ピクチャ内のどの方向にどの程度動いたかを検出して、予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う手法である。当該参照ピクチャは、表示順で符号化対象ピクチャの前方または後方のピクチャである。

符号化対象ピクチャ内のマクロブロックが、参照ピクチャ内のどの方向にどの程度動いたかを示す情報を動きベクトルという。

参照ピクチャを使用せずに、面内予測符号化が行われるピクチャをＩピクチャと呼ぶ。また、１枚の参照ピクチャのみを参照することにより、動き補償面間予測符号化が行われるピクチャをＰピクチャと呼ぶ。同時に２枚の参照ピクチャを参照して、動き補償面間予測符号化が行われるピクチャをＢピクチャと呼ぶ。

参照ピクチャはマクロブロックごとに指定することができる。符号化されたビットストリームにおいて、表示順で、符号化対象ピクチャの前の参照ピクチャを第１参照ピクチャという。また、符号化されたビットストリームにおいて、表示順で、符号化対象ピクチャの後の参照ピクチャを第２参照ピクチャという。

Ｂピクチャの符号化を行う際、Ｂピクチャを構成するマクロブロックが「ダイレクトモード」と呼ばれる符号化モードで符号化されることがある。ダイレクトモードとは、動きベクトルを符号化せずに、過去に符号化された他のマクロブロックの動きベクトルを用いて、マクロブロック毎に動きベクトルを算出する符号化方法（符号化モード）である。

以下においては、ダイレクトモードで符号化されているマクロブロックの動きベクトルを算出するために参照対象となるピクチャを、ｃｏ−ｌｏｃａｔｅｄピクチャという。また、以下においては、ｃｏ−ｌｏｃａｔｅｄピクチャにおいて、符号化対象のマクロブロックと同じ空間位置にあるマクロブロックをｃｏ−ｌｏｃａｔｅｄマクロブロックという。

具体的には、マクロブロックがダイレクトモードで符号化されていた場合、ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを用いて、当該マクロブロックの動きベクトルの計算が行われる。

ダイレクトモードで符号化されたマクロブロックを復号する従来の処理について、図１４を参照しながら説明する。

まず、前提として、ダイレクトモードで符号化されたマクロブロックを、将来復号することに備えて、Ｈ．２６４／ＡＶＣでは、ピクチャ内の各マクロブロックを順次復号する際に、復号された各マクロブロックの動きベクトルを一定量記憶しておくようになっている。

例えば、Ｈ．２６４／ＡＶＣの１仕様によれば、最大３２枚のピクチャの動きベクトルを記憶しておくようになっている。１ピクチャが８１６０個のマクロブロックで構成されているとすると、合計２６１１２０個のマクロブロックの動きベクトルを記憶しておく必要がある。

これだけ大量の動きベクトルを画像復号装置内に記憶しておくには通常のバッファでは容量不足であり、現実的ではない。そのため、復号された各マクロブロックの動きベクトルを、復号を行う画像復号装置外にあるＤＲＡＭ（Dynamic Random Access Memory）等のメモリに記憶しておくのが一般的である。

以下においては、マクロブロックを、ＭＢと表記することがある。また、以下においては、動きベクトルを、ｍｖと表記することがある。

ここで、図１４に示すように、ＭＢ復号処理では、Ｂピクチャのマクロブロックを復号する際、まず、当該マクロブロックのヘッダに示されるマクロブロックタイプが参照され、当該マクロブロックがダイレクトモードで符号化されているか否かが判定される（Ｓ３０００）。

ダイレクトモードで符号化されていた場合、参照する他のマクロブロックの動きベクトルを外部メモリから取得するためのＤＭＡ（Direct Memory Access）指示が、図示しないＤＭＡコントローラに送信される（Ｓ３００１）。そして、ステップＳ３００２の動きベクトル算出処理により、外部メモリから転送された動きベクトルを用いて、当該マクロブロックの動きベクトルが算出される。

ところが、図１４に示したような従来の手法では、マクロブロックがダイレクトモードで符号化されていることが判定された（Ｓ３０００）後で、外部メモリにアクセスされ（Ｓ３００１）、必要となる他のマクロブロックの動きベクトルが取得される。

すなわち、外部メモリから画像復号装置内へ動きベクトルの転送が必要なため、図１４の矢印で示すように待ち時間がかかってしまい、その結果、Ｂピクチャのマクロブロックを復号するのに必要な時間Ｔが長くなってしまうという課題がある。

この課題を解決する技術として、例えば特許文献１の動画像復号装置がある。以下、特許文献１における従来の画像復号装置について図１５を用いて説明する。

以下においては、ｓ（１以上の整数）番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックを、ｓ番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックという。ｓ番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックとは、ｓ番目のマクロブロックの動きベクトルの算出の際に使用される動きベクトルに対応するマクロブロックである。

例えば、ｓが“ｎ＋１”である場合、ｎ＋１番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックを、ｎ＋１番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックという。

図１５において、ＭＢ（ｎ）ヘッダ処理とは、ｎ番目のマクロブロックのヘッダを参照して行われる処理を示す。また、ＭＢ（ｎ）復号処理とは、ｎ番目のマクロブロックを復号する処理を示す。また、動きベクトル算出（ｎ）とは、ｎ番目のマクロブロックの動きベクトルを算出する処理を示す。

また、転送指示＃（ｎ＋１）送信とは、ｎ＋１番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルをバッファへ転送させるための転送指示が送信される処理を示す。また、ｍｖ＃（ｎ＋１）転送とは、ｎ＋１番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが、バッファへ転送されることにより、バッファに記憶される処理を示す。

また、図１５において、ｍｖＣｏｌが不要な場合とは、処理対象のマクロブロックの次のマクロブロックがダイレクトモードで符号化されていない場合である。ｍｖＣｏｌが必要な場合とは、処理対象のマクロブロックの次のマクロブロックがダイレクトモードで符号化されている場合である。また、時間Ｔ１，Ｔ２は、対応するマクロブロックが復号されるのに要する時間である。

特許文献１における画像復号装置は、図１５に示すように、ｎ番目のマクロブロックの復号処理（Ｓ４０００）と、ｎ＋１番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルがバッファへ転送される処理（Ｓ４００１）とが並列して実行される。

これより、ｎ＋１番目のマクロブロックがダイレクトモードで符号化されていた場合、時間（期間）Ｔ２において、ｎ＋１番目のマクロブロックを復号する際に、すぐにバッファに記憶されているｎ＋１番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを用いて動きベクトルを算出することができる（Ｓ４００２）。

その結果、ｎ＋１番目のマクロブロックを復号するのに要する時間Ｔ２が短縮される。この並列処理は、ｎ番目、ｎ＋１番目、ｎ＋２番目、・・・、（ｎ＋ｘ）番目のマクロブロックに対しても同様に行われる。ｎ＋ｘ番目のマクロブロックは、ストリームに含まれる最後のマクロブロックである。したがって、どのマクロブロックに対しても同様の効果を奏する。

このように、先行的に動きベクトルを取得しておくことにより、外部メモリに対するアクセスレイテンシが大きくても、演算性能に対する影響をなくすことが可能となる。

特許第４１０６０７０号公報

ＩＴＵ−Ｔ勧告 Ｈ．２６４ 「Advanced Video Coding for Generic Audiovisual Services」

しかしながら、前記従来の画像復号装置では、復号対象のマクロブロックがダイレクトモードで符号化されているか否かにかかわらず、常に外部メモリからｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルがバッファへ転送される。そのため、従来の画像復号装置では、復号対象のマクロブロックがダイレクトモードで符号化されていない場合、外部メモリへの不要なメモリアクセスが発生するという問題がある。

本発明は、上述の問題点を解決するためになされたものであって、その目的は、外部メモリへの不要なメモリアクセスを削減することを可能とした、画像復号装置、集積回路、画像復号方法、及び、画像復号システムを提供することである。

上述の課題を解決するために、この発明のある局面に従う画像復号装置は、符号化されたピクチャを構成する複数のマクロブロックを所定の順番で順次復号する。画像復号装置は、各前記マクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを記憶する外部メモリとデータ通信を行う転送部と、バッファと、前記複数のマクロブロックを、順次復号する第１復号部と、前記第１復号部によるｖ（１以上の整数）番目のマクロブロックの復号が終了する前に、ｗ（ｗ≧ｖ＋１）番目のマクロブロックに対応する符号化された判定情報であって、該ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要であるか否かを判定するための判定情報を少なくとも復号する第２復号部と、復号された前記判定情報から、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要であるか否かを判定する判定部とを備える。前記転送部は、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要である場合、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを、前記外部メモリから前記バッファへ転送し、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要でない場合、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを、前記外部メモリから前記バッファへ転送しない。

すなわち、転送部は、ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要である場合、ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを、前記外部メモリから前記バッファへ転送する。また、転送部は、ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要でない場合、ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを、前記外部メモリから前記バッファへ転送しない。

つまり、転送部は、ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要でない場合、ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを、前記外部メモリから前記バッファへ転送しない。

したがって、外部メモリへの不要なメモリアクセスを低減することができる。

また、好ましくは、前記画像復号装置は、さらに、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要である場合、前記バッファに転送された前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを用いて前記ｗ番目のマクロブロックの動きベクトルを算出する算出部を備え、前記転送部は、算出された前記ｗ番目のマクロブロックの動きベクトルを、前記外部メモリへ転送する。

また、好ましくは、前記転送部は、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが前記ｗ番目のマクロブロックの動きベクトルの算出に必要である場合、前記ｖ番目のマクロブロックの復号が行われている期間において、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを、前記外部メモリからバッファへ転送し、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが前記ｗ番目のマクロブロックの動きベクトルの算出に必要でない場合、前記ｖ番目のマクロブロックの復号が行われている期間において、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを、前記外部メモリからバッファへ転送しない。

また、好ましくは、前記第２復号部は、前記判定情報のみを復号する。

また、好ましくは、前記第２復号部は、復号された前記判定情報を、前記第１復号部へ送信する。

また、好ましくは、前記第１復号部は、前記ｗ番目のマクロブロックのうち、前記第２復号部により復号された前記判定情報以外の部分を復号する。

また、好ましくは、前記判定情報は、前記ｗ番目のマクロブロックがダイレクトモードで符号化されているか否かを示す。

また、好ましくは、前記判定情報は、前記ｗ番目のマクロブロックがスキップトマクロブロックであるか否かを示す。

また、好ましくは、前記判定情報は、前記ｗ番目のマクロブロックがインターマクロブロックであるか否かを示す。

また、好ましくは、前記複数のマクロブロックの各々は、Ｈ．２６４／ＡＶＣに従って符号化されたマクロブロッである。

この発明の他の局面に従う集積回路は、符号化されたピクチャを構成する複数のマクロブロックを所定の順番で順次復号する。集積回路は、各前記マクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを記憶する外部メモリとデータ通信を行う転送部と、バッファと、前記複数のマクロブロックを、順次復号する第１復号部と、前記第１復号部によるｖ（１以上の整数）番目のマクロブロックの復号が終了する前に、ｗ（ｗ≧ｖ＋１）番目のマクロブロックに対応する符号化された判定情報であって、該ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要であるか否かを判定するための判定情報を少なくとも復号する第２復号部と、復号された前記判定情報から、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要であるか否かを判定する判定部とを備える。前記転送部は、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要である場合、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを、前記外部メモリから前記バッファへ転送し、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要でない場合、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを、前記外部メモリから前記バッファへ転送しない。

この発明のさらに他の局面に従う画像復号方法は、符号化されたピクチャを構成する複数のマクロブロックを所定の順番で順次復号する画像復号装置が行う。前記画像復号装置は、各前記マクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを記憶する外部メモリとデータ通信を行う転送部と、バッファと、前記複数のマクロブロックを、順次復号する第１復号部と、前記第１復号部によるｖ（１以上の整数）番目のマクロブロックの復号が終了する前に、ｗ（ｗ≧ｖ＋１）番目のマクロブロックに対応する符号化された判定情報であって、該ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要であるか否かを判定するための判定情報を少なくとも復号する第２復号部とを備える。前記画像復号方法は、復号された前記判定情報から、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要であるか否かを判定するステップと、前記転送部が、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要である場合、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを、前記外部メモリから前記バッファへ転送するステップとを含み、前記転送部は、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要でない場合、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを、前記外部メモリから前記バッファへ転送しない。

この発明のさらに他の局面に従う画像復号システムは、符号化されたピクチャを構成する複数のマクロブロックを所定の順番で順次復号する画像復号装置と、外部メモリとを含む。前記外部メモリは、各前記マクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを記憶しており、前記画像復号装置は、前記外部メモリとデータ通信を行う転送部と、バッファと、前記複数のマクロブロックを、順次復号する第１復号部と、前記第１復号部によるｖ（１以上の整数）番目のマクロブロックの復号が終了する前に、ｗ（ｗ≧ｖ＋１）番目のマクロブロックに対応する符号化された判定情報であって、該ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要であるか否かを判定するための判定情報を少なくとも復号する第２復号部と、復号された前記判定情報から、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要であるか否かを判定する判定部とを備え、前記転送部は、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要である場合、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを、前記外部メモリから前記バッファへ転送し、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要でない場合、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを、前記外部メモリから前記バッファへ転送しない。

なお、本発明は、このような画像復号装置を構成する複数の構成要素の全てまたは一部を、システムＬＳＩ（Large Scale Integration：大規模集積回路）として実現してもよい。

また、本発明は、画像復号装置が備える特徴的な構成部の動作をステップとする画像復号方法として実現してもよい。また、本発明は、そのような画像復号方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現してもよい。また、本発明は、そのようなプログラムを格納するコンピュータ読み取り可能な記録媒体として実現されてもよい。また、当該プログラムは、インターネット等の伝送媒体を介して配信されてもよい。

本発明により、外部メモリへの不要なメモリアクセスを低減することができる。

図１は、本発明の実施の形態１における画像復号システムの構成を示すブロック図である。 図２は、本発明の実施の形態１における復号処理のフローチャートである。 図３は、本発明の実施の形態１における画像復号装置の処理を説明するための図である。 図４は、本発明の実施の形態２における復号処理Ａのフローチャートである。 図５は、画像復号システムの構成を示すブロック図である。 図６は、画像復号装置の特徴的な機能構成を示すブロック図である。 図７は、実施の形態３におけるコンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。 図８は、実施の形態３におけるデジタル放送用システムの全体構成図である。 図９は、実施の形態３におけるテレビの構成例を示すブロック図である。 図１０は、光ディスクである記録メディアに情報の読み書きを行う情報再生／記録部の構成例を示すブロック図である。 図１１は、光ディスクである記録メディアの構造例を示す図である。 図１２は、画像復号処理を実現する集積回路を示す構成図である。 図１３は、画像復号処理を実現する集積回路の構成例を示す構成図である。 図１４は、従来の復号処理を示すタイミングチャートである。 図１５は、従来の画像復号装置の処理を説明するための図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の実施の形態１における画像復号システム１０００の構成を示すブロック図である。

図１において、画像復号システム１０００は、画像復号装置１００と、外部メモリ２００と、記憶媒体３００と、受信部４００とを含む。

外部メモリ２００は、画像復号装置１００に接続されている。外部メモリ２００は、作業領域として使用されるＤＲＡＭ等の書き込み可能なメモリである。外部メモリ２００は、画像復号装置１００が、後述する復号処理を実行する上で必要となるデータを一時的に記憶する。

以下においては、動画像圧縮標準規格に準じて符号化された動画像データを、ストリームという。動画像圧縮標準規格は、Ｈ．２６４／ＡＶＣ（ＭＰＥＧ４−ＡＶＣ）である。すなわち、当該ストリームは、可変長符号化された動画像データである。当該ストリームは、動画像に対応する、符号化された各ピクチャを構成する複数のマクロブロックを含む。

なお、動画像圧縮標準規格は、Ｈ．２６４／ＡＶＣに限定されず、ＭＰＥＧ４、ＭＰＥＧ２、ＭＰＥＧ−１、Ｈ．２６３、Ｈ．２６１等であってもよい。

記憶媒体３００は、ＨＤＤ（Hard Disk Drive）等の大容量記憶媒体である。記憶媒体３００は、ストリームを記憶している。当該ストリームは、例えば、テレビ番組が録画されることにより得られるストリームである。

受信部４００は、デジタルチューナー等である。受信部４００は、ストリームを受信する。当該ストリームは、例えば、放送局が送信する放送波としてのストリーム、インターネットからダウンロードされたストリーム等である。

画像復号装置１００は、ストリームの復号を行う装置または集積回路である。外部メモリ２００には、記憶媒体３００、または、受信部４００から受信するストリームが記憶される。画像復号装置１００は、外部メモリ２００に記憶されるストリームを受信し、当該ストリームを復号する。

画像復号装置１００は、第１復号部１１１と、第２転送指示部１２０と、第２復号部１２１と、判定部１２２と、ｍｖ転送指示部１２３と、ｍｖ保持メモリ１２４と、ｍｖ算出部１３１と、ｍｖ転送指示部１３２と、参照画像転送指示部１３３と、逆直交変換部１５１と、逆量子化部１５２と、面内予測処理部１４２と、動き補償処理部１４１と、予測画像選択部１４３と、復号画像合成部１６１と、デブロックフィルタ処理部１６２と、復号画像転送指示部１６３と、ＤＭＡコントローラ１３０とを備える。

ＤＭＡコントローラ１３０は、外部メモリ２００とデータ通信を行う転送部である。

第２転送指示部１２０は、外部メモリ２００に記憶されているストリームを第２復号部１２１へ転送させるための指示を、ＤＭＡコントローラ１３０へ送信する。

第２復号部１２１は、詳細は後述するが、マクロブロックのヘッダのみを復号する。当該ヘッダには、マクロブロックタイプが示される。第２復号部１２１は、マクロブロックタイプを、判定部１２２へ送信する。

判定部１２２は、第２復号部１２１が送信したマクロブロックタイプを受信する。そして、判定部１２２は、マクロブロックタイプを参照することにより、マクロブロックがダイレクトモードで符号化されているか否かを判定する。

本実施の形態では、ダイレクトモードが時間ダイレクトモードである場合の処理について説明する。

判定部１２２は、詳細は後述するが、マクロブロックがダイレクトモードで符号化されていた場合、ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを取得ためのベクトル取得指示を、ｍｖ転送指示部１２３へ送信する。

ｍｖ転送指示部１２３は、詳細は後述するが、判定部１２２から、ベクトル取得指示を受信すると、外部メモリ２００に記憶されているｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルをｍｖ保持メモリ１２４へ転送させるため処理を行う。

ｍｖ保持メモリ１２４は、一時的にデータを記憶するためのバッファである。ｍｖ保持メモリ１２４は、ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを少なくとも１つ記憶できる容量を有する。詳細は後述するが、ｍｖ保持メモリ１２４は、ＤＭＡコントローラ１３０から送信される、ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを一時的に記憶する。

第１復号部１１１は、詳細は後述するが、マクロブロックを可変長復号することにより、当該マクロブロックのヘッダ、及び画素残差周波数成分を取得する。第１復号部１１１は、ストリームに含まれる符号化された各ピクチャを構成する複数のマクロブロックを所定の順番で順次復号する。当該複数のマクロブロックの各々は、一例として、Ｈ．２６４／ＡＶＣに従って符号化されたマクロブロックである。

ここで、第１復号部１１１が、ｖ（１以上の整数）番目のマクロブロックを復号するとする。この場合、第２復号部１２１は、ｗ（ｗ≧ｖ＋１）番目のマクロブロックに対して処理を行う。

ｍｖ算出部１３１は、詳細は後述するが、マクロブロックの種類に応じて、異なる方法により、動きベクトルを算出する。

ｍｖ転送指示部１３２は、ｍｖ算出部１３１が算出した動きベクトルを外部メモリ２００に記憶させるためのベクトル記憶指示を、ＤＭＡコントローラ１３０へ送信する。

参照画像転送指示部１３３は、外部メモリ２００に記憶されている、ｍｖ算出部１３１が算出した動きベクトルに基づく参照画像を、後述する動き補償処理部１４１に転送させるための参照画像転送指示を、ＤＭＡコントローラ１３０へ送信する。

逆直交変換部１５１は、第１復号部１１１から送信される画素残差周波数成分を逆直行変換することにより、画素残差成分を算出する。

逆量子化部１５２は、逆直交変換部１５１が算出した画素残差成分に対し、逆量子化を行うことにより画素残差値を取得する。

以下においては、動き補償が不要なモードで符号化されたマクロブロックを、イントラマクロブロックという。また、以下においては、動き補償を必要とするモードで符号化されたマクロブロックを、インターマクロブロックという。

面内予測処理部１４２は、処理対象のマクロブロックがイントラマクロブロックである場合、面内予測を行うことにより予測画像を生成する。面内予測処理部１４２は、生成した予測画像を、予測画像選択部１４３へ送信する。

動き補償処理部１４１は、処理対象のマクロブロックがインターマクロブロックである場合、ｍｖ算出部１３１から受信する動きベクトルと、ＤＭＡコントローラ１３０から受信する参照画像とを用いて、動き補償面内予測を行うことにより、予測画像を生成する。

動き補償処理部１４１は、生成した予測画像を、予測画像選択部１４３へ送信する。

予測画像選択部１４３は、マクロブロックがインターマクロブロックである場合、動き補償処理部１４１から受信する予測画像を、後述する復号画像合成部１６１へ送信する。また、予測画像選択部１４３は、マクロブロックがイントラマクロブロックである場合、面内予測処理部１４２から受信する予測画像を、後述する復号画像合成部１６１へ送信する。

復号画像合成部１６１は、予測画像選択部１４３から受信する予測画像と、逆量子化部１５２から受信する画素残差値とを足し合わせることにより、復号画像を生成する。

デブロックフィルタ処理部１６２は、復号画像合成部１６１から受信する復号画像に対しデブロックフィルタ処理を行う。

復号画像転送指示部１６３は、詳細は後述するが、デブロックフィルタ処理された復号画像を外部メモリ２００に記憶させるための処理を行う。

次に、画像復号システム１０００が行う処理（以下、復号処理という）について説明する。ここで、外部メモリ２００には、符号化された動画像データ（ストリーム）が記憶されているとする。ストリームは、動画像に対応する、符号化された各ピクチャを構成する複数のマクロブロックを含む。また、外部メモリ２００は、符号化されたピクチャを構成する複数のマクロブロックの各々に対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを記憶しているとする。

図２は、復号処理のフローチャートである。

図２に示すように、画像復号装置１００において、まず、ストリーム転送処理が実行される（Ｓ１０１）。ストリーム転送処理は、他の処理とは独立して行われる処理である。

ストリーム転送処理では、第２転送指示部１２０が、ＤＭＡコントローラ１３０に対して、外部メモリ２００に記憶されているストリームを第２復号部１２１へ転送させるためのストリーム転送指示を、ＤＭＡコントローラ１３０へ送信する。

ＤＭＡコントローラ１３０は、当該ストリーム転送指示を受信すると、外部メモリ２００からストリームを読み出し、当該ストリームを、第２復号部１２１へ転送する。

そして、第２復号部１２１は、受信しているストリームから、ｎ番目およびｎ＋１番目のマクロブロックを取得する（Ｓ１０２）。

なお、第２復号部１２１は、ｎ番目およびｎ＋１番目のマクロブロックの取得の際に、ｎ番目およびｎ＋１番目のマクロブロックを含むスライスデータの一部を復号することにより、スキップトマクロブロックを特定する情報（以下、スキップ情報という）を取得する。

なお、第２復号部１２１が取得するマクロブロックは、ｎ番目およびｎ＋１番目のマクロブロックに限定されない。例えば、第２復号部１２１が取得するマクロブロックは、ｎ番目およびｎ＋ｐ（２以上の整数）番目のマクロブロックであってもよい。

第２復号部１２１は、ｎ＋１番目のマクロブロックのヘッダのみを復号する。これにより、第２復号部１２１は、ｎ＋１番目のマクロブロックのヘッダを取得する（Ｓ１２０）。取得された当該ヘッダには、マクロブロックタイプおよびブロック情報等が示される。

当該マクロブロックタイプは、対応するマクロブロックの符号化モードを示す。当該符号化モードは、例えば、ダイレクトモードである。ブロック情報は、対応するマクロブロックが、インターマクロブロック、イントラマクロブロックのいずれであるかを示す情報である。

そして、第２復号部１２１は、判定情報としての前述のスキップ情報と、判定情報としてのマクロブロックタイプおよびブロック情報とを、判定部１２２へ送信する。

ここで、第１復号部１１１は、ｖ（１以上の整数）番目のマクロブロックを復号するとする。この場合、前述したように、第２復号部１２１は、ｗ（ｗ≧ｖ＋１）番目のマクロブロックに対して処理を行う。この場合、判定情報は、ｗ番目のマクロブロックに対応する符号化された情報である。

判定情報は、ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要であるか否かを判定するための情報である。

すなわち、第２復号部１２１は、ステップＳ１２０の処理により、判定情報としてのｎ＋１番目のマクロブロックのヘッダのみを復号する。また、第２復号部１２１は、前述したように、符号化されたスライスデータの一部である判定情報としてのスキップ情報を復号する。

ステップＳ１２１では、第２復号部１２１が、取得したｎ番目およびｎ＋１番目のマクロブロックのうちのｎ番目のマクロブロックと、復号された判定情報とを、第１復号部１１１へ送信する。当該復号された判定情報は、前述のスキップ情報、ｎ＋１番目のマクロブロックのヘッダである。当該ヘッダには、マクロブロックタイプおよびブロック情報等が示される。

これにより、第１復号部１１１は、ｎ番目のマクロブロックと、判定情報（スキップ情報、マクロブロックのヘッダ）とを受信することにより取得する（Ｓ１１０）。

判定部１２２は、ｎ＋１番目のマクロブロックがスキップの対象であるか否かを判定する。具体的には、判定部１２２は、受信した判定情報としてのスキップ情報が、ｎ＋１番目のマクロブロックがスキップトマクロブロックであることを示すか否かを判定する（Ｓ１２２）。すなわち、判定情報は、ｗ番目のマクロブロックがスキップトマクロブロックであるか否かを示す。

ステップＳ１２２でＹＥＳならば、処理はステップＳ１２４に移行する。一方、ステップＳ１２２でＮＯならば処理はステップＳ１２３に移行する。

判定部１２２は、受信した判定情報としてのスキップ情報が、ｎ＋１番目のマクロブロックがスキップトマクロブロックであることを示す場合（Ｓ１２２でＹＥＳ）、ステップＳ１２４の処理が行われる。

ステップＳ１２３では、判定部１２２が、第２復号部１２１が送信した、判定情報としてのマクロブロックタイプを参照し、ｎ＋１番目のマクロブロックがダイレクトモードで符号化されているか否かを判定する。マクロブロックタイプは、対応するマクロブロックの符号化モードを示す。当該符号化モードは、例えば、ダイレクトモードである。すなわち、判定情報は、ｗ番目のマクロブロックがダイレクトモードで符号化されているか否かを示す。

ステップＳ１２３でＹＥＳならば処理はステップＳ１２４に移行する。一方、ステップＳ１２３でＮＯならば、処理は後述のステップＳ１５４に移行する。

すなわち、ステップＳ１２２，Ｓ１２３の処理は、判定部１２２が、復号された判定情報から、ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要であるか否かを判定するための処理である。

ステップＳ１２４では、判定部１２２が、ｎ＋１番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを取得するためのベクトル取得指示を、ｍｖ転送指示部１２３へ送信する。ｎ＋１番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックとは、ｎ＋１番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックである。

ｍｖ転送指示部１２３は、受信したベクトル取得指示に従って、ｎ＋１番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを取得するための処理を行う。

具体的には、ｍｖ転送指示部１２３は、外部メモリ２００に記憶されている、ｎ＋１番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルをｍｖ保持メモリ１２４へ転送させるためのベクトル転送指示を、ＤＭＡコントローラ１３０へ送信する。

ＤＭＡコントローラ１３０は、当該ベクトル転送指示を受信すると、外部メモリ２００から、ｎ＋１番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを読出し、当該ｎ＋１番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを、ｍｖ保持メモリ１２４へ転送する。これにより、ｍｖ保持メモリ１２４にｎ＋１番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが記憶される。

すなわち、転送部としてのＤＭＡコントローラ１３０は、ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要である場合、当該ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを、外部メモリ２００からバッファとしてのｍｖ保持メモリ１２４へ転送する。

一方、ステップＳ１２２でＮＯ、かつ、ステップＳ１２３でＮＯの場合、すなわち、ｎ＋１番目のマクロブロックがスキップトマクロブロックでなく、かつ、ｎ＋１番目のマクロブロックがダイレクトモードで符号化されていない場合、ｍｖ転送指示部１２３は何もしない。ｎ＋１番目のマクロブロックがスキップトマクロブロックでなく、かつ、ｎ＋１番目のマクロブロックがダイレクトモードで符号化されていない場合は、ｎ＋１番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルがｎ＋１番目のマクロブロックの動きベクトルの算出に必要でない場合である。

つまり、転送部としてのＤＭＡコントローラ１３０は、ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要でない場合、ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを、外部メモリ２００からバッファとしてのｍｖ保持メモリ１２４へ転送しない。

上記ステップＳ１２１〜Ｓ１２４の処理と並行して、ステップＳ１１１〜Ｓ１１４の処理が行われる。

ステップＳ１１１では、第１復号部１１１が、ＭＢ復号処理を実行する。ＭＢ復号処理は、他の処理とは、独立して行われる処理である。そして、処理はステップＳ１１２に移行する。

ＭＢ復号処理では、第１復号部１１１が、取得したｎ番目のマクロブロックを復号する。なお、ステップＳ１２０の処理により、ｎ番目のマクロブロックのヘッダが既に復号されている場合、ＭＢ復号処理では、第１復号部１１１が、ｎ番目のマクロブロックのうち、ヘッダ以外の部分を復号する。すなわち、第１復号部１１１は、ｗ番目のマクロブロックのうち、第２復号部１２１により復号された判定情報としてのヘッダ以外の部分を復号する。

ｎ番目のマクロブロックの復号の終了とともに、ＭＢ復号処理は終了する。

ＭＢ復号処理により、第１復号部１１１は、画素残差周波数成分を取得する。

なお、第１復号部１１１は、前回のステップＳ１２１の処理が行われることにより、判定情報としてのｎ番目のマクロブロックのヘッダを取得しているとする。前回のステップＳ１２１の処理とは、ステップＳ１２１の処理の説明においてｎをｎ−１に置き換えた処理である。

そして、第１復号部１１１は、画素残差周波数成分を、逆直交変換部１５１へ送信する。また、第１復号部１１１は、ｎ番目のマクロブロックのヘッダを、面内予測処理部１４２へ送信する。

ステップＳ１１２では、第１復号部１１１が、取得した判定情報としてのｎ番目のマクロブロックのヘッダを参照する。そして、第１復号部１１１は、参照したヘッダに基づいて、ｎ番目のマクロブロックがインターマクロブロックであるか、イントラマクロブロックであるかを判定する。すなわち、第１復号部１１１は、ｎ番目のマクロブロックがインターマクロブロックであるか否かを判定する。

ｎ番目のマクロブロックがインターマクロブロックである場合（Ｓ１１２でＹＥＳ）、処理はステップＳ１１３に移行する。

ステップＳ１１３では、第１復号部１１１が、ｎ番目のマクロブロックがスキップの対象であるか否かを判定する。具体的には、第１復号部１１１は、受信した判定情報としてのスキップ情報が、ｎ番目のマクロブロックがスキップトマクロブロックであることを示すか否かを判定する。

ステップＳ１１３においてＹＥＳならば処理はステップＳ１１５Ａに移行する。一方、ステップＳ１１３において、ＮＯならば処理はステップＳ１１４に移行する。

ステップＳ１１４では、第１復号部１１１が、取得した判定情報としてのｎ番目のマクロブロックのヘッダが示すマクロブロックタイプを参照することにより、ｎ番目のマクロブロックがダイレクトモードで符号化されているか否かを判定する。

ここで、前回のステップＳ１０２〜Ｓ１２４の処理が既に行われているとする。前回のステップＳ１０２〜Ｓ１２４の処理とは、前述のステップＳ１０２〜Ｓ１２４の処理の説明においてｎをｎ−１に置き換えた処理である。この場合、前回のステップＳ１２４の処理により、ｍｖ保持メモリ１２４には、ｎ番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが記憶されているとする。

ステップＳ１１５Ａでは、ｍｖ算出部１３１が、ｍｖ保持メモリ１２４に記憶されているｎ番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを用いて、ｎ番目のマクロブロックの動きベクトルを算出する。そして、ｍｖ算出部１３１は、算出した動きベクトルを、ｍｖ転送指示部１３２、参照画像転送指示部１３３および動き補償処理部１４１へ送信する。

一方、ステップＳ１１３でＮＯ，かつ、ステップＳ１１４でＮＯの場合、すなわち、ｎ番目のマクロブロックがスキップトマクロブロックでなく、かつ、ｎ番目のマクロブロックがダイレクトモードで符号化されていないと判定された場合は、ステップＳ１１５Ｂの処理が行われる。

ステップＳ１１５Ｂでは、ｍｖ算出部１３１が、ｎ番目のマクロブロックのヘッダに含まれる動きベクトルの差分情報を用いて、動きベクトルを算出する。

そして、ｍｖ算出部１３１は、算出した動きベクトルを、ｍｖ転送指示部１３２、参照画像転送指示部１３３および動き補償処理部１４１へ送信する。

ｍｖ転送指示部１３２は、ステップＳ１１５ＡまたはステップＳ１１５Ｂで算出された動きベクトルを外部メモリ２００に記憶させるためのベクトル記憶指示を、算出された動きベクトルとともに、ＤＭＡコントローラ１３０へ送信する。

ＤＭＡコントローラ１３０は、当該動きベクトルおよびベクトル記憶指示を受信すると、当該動きベクトルと、ｎ番目のマクロブロックのピクチャ内の空間的な位置情報とを対応付けて外部メモリ２００に転送する（Ｓ１３１）。これにより、外部メモリ２００に、動きベクトルとｎ番目のマクロブロックのピクチャ内の空間的な位置情報とが対応づけて記憶される。

そして、参照画像転送指示部１３３は、外部メモリ２００に記憶されている、ｍｖ算出部１３１から送信された動きベクトルに基づく参照画像を、動き補償処理部１４１に転送させるための参照画像転送指示を、ＤＭＡコントローラ１３０へ送信する（Ｓ１３２）。

ＤＭＡコントローラ１３０は、当該参照画像転送指示を受信すると、外部メモリ２００から、指示された参照画像を読出し、当該参照画像を、動き補償処理部１４１へ転送する。

動き補償処理部１４１は、動き補償処理を行う（Ｓ１３３）。動き補償処理では、動き補償処理部１４１が、ｍｖ算出部１３１から受信する動きベクトルと、ＤＭＡコントローラ１３０から受信する参照画像とを用いて、動き補償面間予測を行うことにより、予測画像を生成する。そして、動き補償処理部１４１は、生成した予測画像を、予測画像選択部１４３へ送信する。

予測画像選択部１４３は、ｎ番目のマクロブロックがインターマクロブロックである場合に動き補償処理部１４１から受信する予測画像を、復号画像合成部１６１へ送信する。

逆直交変換部１５１は、逆直交変換処理を行う（Ｓ１３４）。逆直交変換処理では、逆直交変換部１５１が、第１復号部１１１から送信される画素残差周波数成分を逆直行変換することにより、画素残差成分を算出する。そして、逆直交変換部１５１は、当該画素残差成分を、逆量子化部１５２へ送信する。

逆量子化部１５２は、逆量子化処理を行う（Ｓ１３５）。逆量子化処理では、逆量子化部１５２が、逆直交変換部１５１から受信する画素残差成分に対し、逆量子化を行うことにより画素残差値を取得する。そして、逆量子化部１５２は、当該画素残差値を、復号画像合成部１６１へ送信する。

一方で、ステップＳ１１２でＮＯの場合、すなわち、ｎ番目のマクロブロックがイントラマクロブロックであった場合は、ｍｖ算出部１３１は、ｎ番目のマクロブロックの動きベクトルの値を０とする（ステップＳ１４０）。

ｍｖ転送指示部１３２は、ｎ番目のマクロブロックの動きベクトルを、外部メモリ２００に記憶させるためのベクトル記憶指示を、ＤＭＡコントローラ１３０へ送信する。

ＤＭＡコントローラ１３０は、ベクトル記憶指示を受信すると、当該動きベクトルと、ｎ番目のマクロブロックのピクチャ内の空間的な位置情報とを対応づけて外部メモリ２００へ転送する（Ｓ１４１）。これにより、外部メモリ２００に、当該動きベクトルとｎ番目のマクロブロックのピクチャ内の空間的な位置情報とが対応づけて記憶される。

面内予測処理部１４２は、面内予測処理を行う（Ｓ１４２）。面内予測処理では、面内予測処理部１４２が、ｎ番目のマクロブロックの周辺画像から予測画像を生成し、生成した予測画像を、予測画像選択部１４３へ送信する。

予測画像選択部１４３は、ｎ番目のマクロブロックがイントラマクロブロックである場合、面内予測処理部１４２から受信する予測画像を、復号画像合成部１６１へ送信する。

逆直交変換部１５１は、逆直交変換処理を行う（Ｓ１４４）。逆直交変換処理では、逆直交変換部１５１が、第１復号部１１１から送信される画素残差周波数成分を逆直行変換することにより、画素残差値を算出する。そして、逆直交変換部１５１は、当該画素残差成分を、逆量子化部１５２へ送信する。

逆量子化部１５２は、逆量子化処理を行う（Ｓ１４５）。逆量子化処理では、逆量子化部１５２が、逆直交変換部１５１が出力した画素残差値に対し、逆量子化を行うことにより画素残差値を取得する。そして、逆量子化部１５２は、当該画素残差値を、復号画像合成部１６１へ送信する。

前述したように、ｎ番目のマクロブロックがイントラマクロブロックである場合、予測画像選択部１４３は、面内予測処理部１４２から受信する予測画像を、復号画像合成部１６１へ送信する。

また、前述したように、ｎ番目のマクロブロックがインターマクロブロックである場合、予測画像選択部１４３は、動き補償処理部１４１から受信する予測画像を、復号画像合成部１６１へ送信する。

また、ステップＳ１３５またはステップＳ１４５の処理により、復号画像合成部１６１は、逆量子化部１５２が送信した画素残差値を受信する。

復号画像合成部１６１は、復号画像合成処理を行う（Ｓ１５１）。復号画像合成処理では、復号画像合成部１６１が、受信した画素残差値および予測画像を足し合わせることにより、復号画像を生成する。そして、復号画像合成部１６１は、生成した復号画像を、デブロックフィルタ処理部１６２へ送信する。

デブロックフィルタ処理部１６２は、復号画像合成部１６１から受信した復号画像に対し、デブロックフィルタ処理を行う（Ｓ１５２）。ここで、デブロックフィルタ処理とは、デブロッキング・フィルタを使用したフィルタ処理である。そして、デブロックフィルタ処理部１６２は、デブロックフィルタ処理が行われた復号画像を、復号画像転送指示部１６３へ送信する。

復号画像転送指示部１６３は、復号画像記憶処理を行う（Ｓ１５３）。復号画像記憶処理では、復号画像転送指示部１６３が、受信した復号画像を外部メモリ２００に記憶させるための復号画像記憶指示を、当該復号画像とともに、ＤＭＡコントローラ１３０へ送信する。

ＤＭＡコントローラ１３０は、復号画像記憶指示を受信すると、受信した復号画像を、外部メモリ２００に記憶させる。

そして、ｎの値が１インクリメントされ（Ｓ１５４）、再度、ステップＳ１０２の処理が行われる。

以下に説明するステップＳ１０２〜ステップＳ１２４の処理、ステップＳ１１０〜Ｓ１１４の処理は、前述した説明において、ｎをｎ＋１に置き換えた処理と同様な処理であるので詳細な説明は繰り返さない。以下、簡単に説明する。

ステップＳ１０２の処理により、第２復号部１２１は、ｎ＋１番目およびｎ＋２番目のマクロブロックを取得する。

ステップＳ１２０の処理により、第２復号部１２１は、ｎ＋２番目のマクロブロックのヘッダを取得する。

ステップＳ１２１の処理により、第２復号部１２１は、ｎ＋１番目のマクロブロックと、復号された判定情報とを、第１復号部１１１へ送信する。当該復号された判定情報は、スキップ情報、ｎ＋２番目のマクロブロックのヘッダである。これにより、第１復号部１１１は、ｎ＋１番目のマクロブロックと、判定情報（スキップ情報、ｎ＋２番目のマクロブロックのヘッダ）とを受信することにより取得する（Ｓ１１０）。

そして、ステップＳ１２２でＹＥＳまたはステップＳ１２３でＹＥＳの場合、ステップＳ１２４の処理が行われる。

ステップＳ１２４の処理により、ｎ＋２番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが、ｍｖ保持メモリ１２４へ転送される。これにより、ｍｖ保持メモリ１２４にｎ＋２番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが記憶される。

上記ステップＳ１２１〜Ｓ１２４の処理と並行して、ステップＳ１１１〜Ｓ１１４の処理が行われる。

ステップＳ１１１の処理で実行されるＭＢ復号処理により、第１復号部１１１がｎ＋１番目のマクロブロックを復号する。

そして、ステップＳ１１２の処理の後、ステップＳ１１３でＹＥＳまたはステップＳ１１４でＹＥＳの場合、ステップＳ１１５Ａの処理が行われる。ここで、ステップＳ１１３でＹＥＳまたはステップＳ１１４でＹＥＳの場合は、ｎ＋１番目のマクロブロックがスキップトマクロブロックである場合、または、ｎ＋１番目のマクロブロックがダイレクトモードで符号化されている場合である。

また、ｎ＋１番目のマクロブロックがスキップトマクロブロックである場合、または、ｎ＋１番目のマクロブロックがダイレクトモードで符号化されている場合は、ｎ＋１番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルがｎ＋１番目のマクロブロックの動きベクトルの算出に必要な場合である。

ステップＳ１１５Ａの処理により、ｍｖ算出部１３１が、ｍｖ保持メモリ１２４に記憶されているｎ＋１番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを用いて、ｎ＋１番目のマクロブロックの動きベクトルを算出する。

すなわち、ｍｖ算出部１３１は、ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要である場合、バッファとしてのｍｖ保持メモリ１２４に転送されたｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを用いてｗ番目のマクロブロックの動きベクトルを算出する。

なお、ステップＳ１３１〜Ｓ１３５の処理、ステップＳ１４０〜Ｓ１４５の処理、ステップＳ１５１〜Ｓ１５３の処理は、前述した説明において、ｎをｎ＋１に置き換えた処理と同様な処理であるので詳細な説明は繰り返さない。

なお、ステップＳ１３１の処理により、転送部としてのＤＭＡコントローラ１３０は、算出されたｗ番目のマクロブロックの動きベクトルを、外部メモリ２００へ転送する。

以上、本実施の形態によれば、ｎ＋１番目のマクロブロックがスキップトマクロブロックである場合、または、ｎ＋１番目のマクロブロックがダイレクトモードで符号化されている場合、ｎ＋１番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが、ｍｖ保持メモリ１２４へ転送される。また、当該動きベクトルの転送と並行して、ｎ番目のマクロブロックの復号処理が実行される。

ｎ＋１番目のマクロブロックがスキップトマクロブロックである場合、または、ｎ＋１番目のマクロブロックがダイレクトモードで符号化されている場合は、ｎ＋１番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルがｎ＋１番目のマクロブロックの動きベクトルの算出に必要な場合である。

また、ｎ＋１番目のマクロブロックがスキップトマクロブロックでなく、かつ、ｎ＋１番目のマクロブロックがダイレクトモードで符号化されていない場合、ｎ＋１番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルは、ｍｖ保持メモリ１２４へ転送されない。この場合、ｎ番目のマクロブロックの復号処理のみが実行される。

ｎ＋１番目のマクロブロックがスキップトマクロブロックでなく、かつ、ｎ＋１番目のマクロブロックがダイレクトモードで符号化されてない場合は、ｎ＋１番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルがｎ＋１番目のマクロブロックの動きベクトルの算出に必要でない場合である。

これにより、ｎ＋１番目のマクロブロックがスキップトマクロブロックである場合、または、ｎ＋１番目のマクロブロックがダイレクトモードで符号化されている場合でも、ｎ＋１番目のマクロブロックを復号する際に、すぐにｍｖ保持メモリ１２４に記憶されているｎ＋１番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを用いて、ｎ番目のマクロブロックの動きベクトルを算出することができる。

また、ｎ＋１番目のマクロブロックがスキップトマクロブロックでなく、かつ、ｎ＋１番目のマクロブロックがダイレクトモードで符号化されてない場合、ｎ＋１番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルは、外部メモリ２００からＤＭＡコントローラ１３０を介してｍｖ保持メモリ１２４へ転送されない。よって、外部メモリへの不要なメモリアクセスを低減することができる。

次に、従来の画像復号装置の処理を示す図１５を用いて、本実施の形態の処理の効果を説明する。図１５に示されるように、従来の動画像復号装置では、ｎ＋１番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルがｎ＋１番目のマクロブロックの動きベクトルの算出に必要であるか否かに関わらず、常に、ｎ番目のマクロブロックの復号処理と、ｎ＋１番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルがバッファへ転送される処理とが並列して実行される。

すなわち、ｎ＋１番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルがｎ＋１番目のマクロブロックの動きベクトルの算出に必要でない場合であっても、外部メモリからｎ＋１番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが転送される。すなわち、外部メモリへの不要なメモリアクセスが発生してしまう。

これに対し、本実施の形態の処理を図３を用いて説明する。図３に示される図１５と同じ用語は、図１５で説明したので詳細な説明は繰り返さない。

図３において、ＭＢ（ｎ＋１）ヘッダ処理とは、ｎ＋１番目のマクロブロックのヘッダが復号され、当該ヘッダを参照して行われる処理を示す。ＭＢ（ｎ＋１）ヘッダ処理は、ステップＳ１２０〜Ｓ１２３の処理に対応する。

また、ＭＢ（ｎ）ヘッダ処理とは、ｎ番目のマクロブロックのヘッダを参照して行われる処理を示す。ＭＢ（ｎ）ヘッダ処理は、ステップＳ１１１〜Ｓ１１４の処理に対応する。また、ＭＢ（ｎ）復号処理とは、ｎ番目のマクロブロックを復号する処理を示す。ＭＢ（ｎ）復号処理は、ステップＳ１１１に対応する。

また、動きベクトル算出（ｎ）とは、ｎ番目のマクロブロックの動きベクトルを算出する処理を示す。また、転送指示＃（ｎ＋１）送信とは、ｎ＋１番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルをｍｖ保持メモリ１２４へ転送させるための転送指示が送信される処理を示す。転送指示＃（ｎ＋１）送信は、ステップＳ１２４の処理に対応する。

また、ｍｖ＃（ｎ＋１）転送とは、ｎ＋１番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが、ｍｖ保持メモリ１２４へ転送されることにより、ｍｖ保持メモリ１２４に記憶される処理を示す。ｍｖ＃（ｎ＋１）転送は、ステップＳ１２４の処理に対応する。

また、図３において、「第２復号部」の右側に記載される処理は、第２復号部１２１により行われる処理である。「第１復号部」の右側に記載される処理は、第１復号部１１１により行われる処理である。

また、図３において、ｍｖＣｏｌが不要な場合とは、ｗ（例えば、ｎ＋１）番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要でない場合である。すなわち、ｍｖＣｏｌが不要な場合とは、ｗ番目のマクロブロックがスキップトマクロブロックでなく、かつ、ｗ番目のマクロブロックがダイレクトモードで符号化されていない場合である。

また、図３において、ｍｖＣｏｌが必要な場合とは、ｗ（例えば、ｎ＋１）番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要である場合である。すなわち、ｍｖＣｏｌが必要な場合とは、ｗ番目のマクロブロックがスキップトマクロブロックである場合、または、ｗ番目のマクロブロックがダイレクトモードで符号化されている場合である。

図３に示されるように、第１復号部１１１によるｖ（例えば、ｎ）番目のマクロブロックの復号が終了する前に、第２復号部１２１は、ｗ（例えば、ｎ＋１）番目のマクロブロックに対応する符号化された判定情報（ｗ（ｎ＋１）番目のマクロブロックのヘッダ）を復号する。

また、図３に示されるように、ステップＳ１２０〜Ｓ１２３の処理により、第２復号部１２１によりｎ＋１番目のマクロブロックのヘッダが復号され、ヘッダを参照した処理が行われる。

ｎ＋１番目のマクロブロックがスキップトマクロブロックである場合、または、ｎ＋１番目のマクロブロックがダイレクトモードで符号化されている場合、ｎ＋１番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルがｍｖ保持メモリ１２４へ転送される処理（Ｓ１２４）と、ｎ番目のマクロブロックの復号処理（Ｓ１１１）とが並行して実行される。また、この場合、ステップＳ１１１の処理と、ステップＳ１１５Ａの処理とが並行して実行される。

すなわち、転送部としてのＤＭＡコントローラ１３０は、ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルがｗ番目のマクロブロックの動きベクトルの算出に必要である場合、ｖ番目のマクロブロックの復号が行われている期間において、当該ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを、外部メモリ２００からバッファとしてのｍｖ保持メモリ１２４へ転送する。

ｎ＋１番目のマクロブロックがスキップトマクロブロックでなく、かつ、ｎ＋１番目のマクロブロックがダイレクトモードで符号化されていない場合、ｎ＋１番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルがｍｖ保持メモリ１２４へ転送される処理（Ｓ１２４）は実行されない。この場合、ｎ番目のマクロブロックの復号処理（Ｓ１１１）が実行される。また、この場合、ステップＳ１１１の処理と、ステップＳ１１５Ｂの処理とが並行して実行される。

すなわち、転送部としてのＤＭＡコントローラ１３０は、ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルがｗ番目のマクロブロックの動きベクトルの算出に必要でない場合、ｖ番目のマクロブロックの復号が行われている期間において、当該ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを、外部メモリ２００からバッファとしてのｍｖ保持メモリ１２４へ転送しない。

これにより、ｎ＋１番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルがｎ＋１番目のマクロブロックの動きベクトルの算出に必要な場合、ｎ＋１番目のマクロブロックを復号する際に、すぐにｍｖ保持メモリ１２４に記憶されているｎ＋１番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを用いて動きベクトルを算出することができる。

また、ｎ＋１番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルがｎ＋１番目のマクロブロックの動きベクトルの算出に必要でない場合、ｎ＋１番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが、外部メモリ２００からＤＭＡコントローラ１３０を介してｍｖ保持メモリ１２４へ転送されない。よって、不要な転送が行われず外部メモリへの不要なメモリアクセスを低減することができる。

この並列処理は、ｎ＋２番目、ｎ＋３番目、・・・ｎ＋ｘ番目のマクロブロックに対しても同様に行われる。ここで、ｎ＋ｘ番目のマクロブロックは、ストリームに含まれる最後のマクロブロックである。したがって、どのマクロブロックに対しても上記と同様の効果を奏する。

具体的には、画像復号装置内のバッファ容量の制約により、復号済みの動きベクトルをいったん外部メモリに記憶しておく必要がある画像復号装置であっても、マクロブロックの復号を開始する前に、将来復号するマクロブロックがダイレクトモードで符号化されているか否かを判定するために必要な情報のみが先行的に復号される。

そして、将来復号するマクロブロックがダイレクトモードで符号化されているか否かが判定される。ダイレクトモードで符号化されている場合は、必要な動きベクトルを外部メモリから先行的に画像復号装置内のバッファに転送しておき、ダイレクトモードで符号化されてない場合は必要な動きベクトルの転送を行わない。

ダイレクトモードで符号化されているか否かの判定を先行して行う構成により、マクロブロックがダイレクトモードで符号化されていない場合は、動きベクトルの転送が行われないため、外部メモリへの不要なメモリアクセスが発生せず、マクロブロックがダイレクトモードで符号化されている場合は、先行して必要な動きベクトルが転送される。

そのため、あるマクロブロックがダイレクトモードで符号化されていた場合は、このマクロブロックを復号するときに、すぐに、動きベクトルを算出できる。

この結果、マクロブロックがダイレクトモードで符号化されている場合、当該マクロブロックの復号に要する時間を短縮することができ、かつ、外部メモリへのメモリアクセスを低減することができる。

すなわち、ダイレクトモードで符号化されたマクロブロックを高速に復号しつつ、外部メモリ２００への不要なメモリアクセスを低減することができる。

なお、本実施の形態では、ダイレクトモードが時間ダイレクトモードである場合の処理について説明したが、これに限定されない。ダイレクトモードが空間ダイレクトモードであっても本実施の形態は実現可能である。ダイレクトモードが空間ダイレクトモードである場合、例えば、特許第４１０６０７０号公報に記載されている処理と同様な処理により、動きベクトルを算出することができる。

（実施の形態２）
本実施の形態では、処理対象のマクロブロックがインターマクロブロックであるか否かの判定結果により、ｗ番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが外部メモリ２００からｍｖ保持メモリ１２４へ転送される。

本実施の形態における画像復号システムは、図１の画像復号システム１０００である。つまり、本実施の形態における画像復号装置は、図１の画像復号装置１００である。そのため、画像復号装置１００の各部の詳細な説明は繰り返さない。

次に、画像復号システム１０００が行う処理（以下、復号処理Ａという）について説明する。図４は、復号処理Ａのフローチャートである。図４において、図２のステップ番号と同じステップ番号の処理は、第１の実施の形態で説明した処理と同様な処理が行われるので詳細な説明は繰り返さない。

復号処理Ａは、図２の復号処理と比較して、ステップＳ１２２の代わりにステップＳ１２２Ａが行われる点と、ステップＳ１１５Ａの代わりにステップＳ１１６Ａが行われる点と、ステップＳ１２３，Ｓ１１３，Ｓ１１４，Ｓ１１５Ｂが行われない点が異なる。それ以外は、図２の復号処理と同様なので詳細な説明は繰り返さない。

ステップＳ１２２Ａでは、ブロック情報を利用して、ｎ＋１番目のマクロブロックがインターマクロブロックであるか否かが判定される。判定情報としてのブロック情報は、ｗ番目のマクロブロックがインターマクロブロックであるか否かを示す。

具体的には、判定部１２２が、第２復号部１２１から受信した、判定情報としてのブロック情報が、対応するマクロブロックがインターマクロブロックであることを示すか否かを判定する。

ステップＳ１２２ＡにおいてＹＥＳならば、処理はステップＳ１２４に移行する。一方。ステップＳ１２２ＡにおいてＮＯならば処理はステップＳ１５４へ移行する。ステップＳ１２２ＡでＹＥＳの場合は、ｗ（例えば、ｎ＋１）番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要である場合である。

そして、ステップＳ１２４の処理が第１の実施の形態と同様に行われる。これにより、ｍｖ保持メモリ１２４にｎ＋１番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが記憶される。

ここで、図４の前回のステップＳ１０２〜Ｓ１２４の処理が既に行われているとする。前回のステップＳ１０２〜Ｓ１２４の処理とは、前述のステップＳ１０２〜Ｓ１２４の処理の説明においてｎをｎ−１に置き換えた処理である。この場合、前回のステップＳ１２４の処理により、ｍｖ保持メモリ１２４には、ｎ番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが記憶される。すなわち、ｎ番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが外部メモリ２００からバッファとしてのｍｖ保持メモリ１２４へ転送される。

ステップＳ１１２でＹＥＳの場合、処理はステップＳ１１６Ａに移行する。

ステップＳ１１６Ａでは、ｍｖ算出部１３１は、ｎ番目のマクロブロックのヘッダに含まれる動きベクトルの差分情報と、ｍｖ保持メモリ１２４に記憶されているｎ番目用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを用いて、ｎ番目のマクロブロックの動きベクトルを算出する。

そして、第１の実施の形態同様、ステップＳ１３１以降の処理が行われる。

以上説明したように、本実施の形態によれば、復号対象のマクロブロックの次に復号対象となるマクロブロックが、インターマクロブロックである場合、ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルの転送の処理が行われる。また、復号対象のマクロブロックの次に復号対象となるマクロブロックが、インターマクロブロックでない場合、ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルの転送の処理が行われない。

これにより、第１の実施の形態と同様な効果が得られる。すなわち、不要な転送が行われず外部メモリへの不要なメモリアクセスを低減することができる。

（その他の変形例）
前述の画像復号装置１００では、第２復号部１２１が、取得したｎ番目のマクロブロックを、第１復号部１１１へ送信する。すなわち、第１復号部１１１は、第２復号部１２１からマクロブロックを受信するとしたが、これに限定されない。例えば、第１復号部１１１が、ＤＭＡコントローラ１３０を介して、外部メモリ２００からストリームに含まれるマクロブロックを取得してもよい。

以下に、第１復号部１１１が外部メモリ２００からストリームを受信する構成の画像復号装置１００Ａを含む画像復号システム１０００Ａについて説明する。

図５は、画像復号システム１０００Ａの構成を示すブロック図である。

図５に示されるように、画像復号システム１０００Ａは、図１の画像復号システム１０００と比較して、画像復号装置１００の代わりに画像復号装置１００Ａを含む点が異なる。それ以外の画像復号装置１００Ａの構成は、と同様なので詳細な説明は繰り返さない。

画像復号装置１００Ａは、図１の画像復号装置１００と比較して、第１転送指示部１１０をさらに備える点が異なる。それ以外の画像復号装置１００Ａの構成は、画像復号装置１００と同様なので詳細な説明は繰り返さない。

第１転送指示部１１０は、ＤＭＡコントローラ１３０に対して、外部メモリ２００に記憶されているストリームを第１復号部１１１へ転送させるためのストリーム転送指示を、ＤＭＡコントローラ１３０へ送信する。

ＤＭＡコントローラ１３０は、当該ストリーム転送指示を受信すると、外部メモリ２００からストリームを読み出し、当該ストリームを、第１復号部１１１へ転送する。

そして、第１復号部１１１は、受信しているストリームから、ｎ番目のマクロブロックを取得する。

この場合、画像復号装置１００Ａが行う図２の復号処理のステップＳ１０１のストリーム転送処理において、第１復号部１１１および第２復号部１２１の各々がストリームを受信する。

そして、ステップＳ１０２の処理において、第１復号部１１１および第２復号部１２１は、それぞれ、ｎ番目およびｎ＋１番目のマクロブロックを取得する。なお、ステップＳ１２０以降の処理は実施の形態１と同様なので詳細な説明は繰り返さない。

また、画像復号システム１０００を実施の形態に基づいて説明してきたが、この実施の形態の構成及び動作に様々な変形を加えることが可能である。

上記実施の形態では、マクロブロックの復号処理と並列して、１つ先のマクロブロックのマクロブロックタイプを復号し、当該１つ先のマクロブロックがダイレクトモードで符号化されていればｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルをｍｖ保持メモリ１２４へ転送する動作を説明した。しかし、これに限定されない。

例えば、ｍｖ保持メモリ１２４の容量を大きくし、幾つか先の複数のマクロブロック用ｃｏ−ｌｏｃａｔｅｄマクロブロックに対応する複数の動きベクトルを、まとめて転送するようにしてもよい。

例えば、外部メモリとして、連続するデータ転送に適したＤＲＡＭ等のメモリを使用している場合、１つの動きベクトル毎に転送を行うとバースト長が不足し、転送効率が不足することがある。

このため、ＤＲＡＭ等のメモリを使用している場合、例えば、ｎ番目のマクロブロックの復号処理と並列して、ｎ＋１番目のマクロブロックとｎ＋２番目のマクロブロックのマクロブロックタイプの復号をそれぞれ実行する。

そして、ｎ＋１番目およびｎ＋２番目のマクロブロックのいずれかがダイレクトモードで符号化されていた場合は、ｎ＋１番目およびｎ＋２番目のマクロブロック用ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルをまとめて１回で転送する。

ｎ＋１番目およびｎ＋２番目のマクロブロックのいずれもダイレクトモードで符号化されていなかった場合、ｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルの転送は行わないようにする。

このように、一回のＤＭＡ転送で転送するデータ量を増やすことで、外部メモリ２００とｍｖ転送指示部１２３との間でのデータの転送回数を減らし、バースト長を大きくして転送効率を向上させることができる。

尚、図１の画像復号装置１００に含まれる各部は典型的には集積回路であるＬＳＩとして実現される。これらはさらに集積回路、外部メモリのように個別にチップ化されても良いし、一部又は全てを含むように１チップ化、つまり単一のＬＳＩ内に統合されたシステムとして実現されても良い。

（機能ブロック図）
図６は、画像復号装置１００の特徴的な機能構成を示すブロック図である。つまり、図６は、図１に示される画像復号装置１００の機能のうち、本発明に関わる主要な機能を示すブロック図である。なお、図６には説明のために、画像復号装置１００に含まれない外部メモリ２００も示している。

図６の画像復号装置１００は、符号化されたピクチャを構成する複数のマクロブロックを所定の順番で順次復号する。

図６に示されるように、画像復号装置１００は、転送部１３０Ａと、バッファ１２４Ａと、第１復号部１１１と、第２復号部１２１と、判定部１２２とを備える。図６の画像復号装置１００は、図１で説明した第１復号部１１１、第２復号部１２１および判定部１２２を備える。

転送部１３０Ａは、各マクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを記憶する外部メモリ２００とデータ通信を行う。

バッファ１２４Ａは、ｍｖ保持メモリ１２４に相当する。

第１復号部１１１は、複数のマクロブロックを、順次復号する。

第２復号部１２１は、第１復号部１１１によるｖ（１以上の整数）番目のマクロブロックの復号が終了する前に、判定情報を少なくとも復号する。判定情報は、ｗ（ｗ≧ｖ＋１）番目のマクロブロックに対応する符号化された情報である。また、判定情報は、該ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要であるか否かを判定するための情報である。復号された判定情報は、例えば、前述したマクロブロックタイプ、ブロック情報、スキップ情報である。

判定部１２２は、復号された判定情報から、ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要であるか否かを判定する。判定部１２２は、図２のステップＳ１２２，Ｓ１２３の処理または図４のステップＳ１２２Ａの処理を行う判定部１２２に相当する。

転送部１３０Ａは、ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要である場合、ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを、外部メモリ２００からバッファ１２４Ａへ転送する。転送部１３０Ａは、図２または図４のステップＳ１２４の処理を行うｍｖ転送指示部１２３およびＤＭＡコントローラ１３０に相当する。

また、転送部１３０Ａは、ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要でない場合、ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを、外部メモリ２００からバッファ１２４Ａへ転送しない。

なお、図６の転送部１３０Ａ、バッファ１２４Ａ、第１復号部１１１、第２復号部１２１および判定部１２２の全てまたは一部は、ＬＳＩ（Large Scale Integration：大規模集積回路）等のハードウエアで構成されてもよい。また、転送部１３０Ａ、バッファ１２４Ａ、第１復号部１１１、第２復号部１２１および判定部１２２の全てまたは一部は、ＣＰＵ等のプロセッサにより実行されるプログラムのモジュールであってもよい。

（実施の形態３）
上記各実施の形態で示した画像復号方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。

さらに、ここで、上記各実施の形態で示した画像復号方法の応用例とそれを用いたシステムを説明する。

図７は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０６〜ｅｘ１１０が設置されている。

このコンテンツ供給システムｅｘ１００では、電話網ｅｘ１０４、および、基地局ｅｘ１０６〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５などの各機器が相互に接続される。また、各機器が、インターネットサービスプロバイダｅｘ１０２を介して、インターネットｅｘ１０１に接続されている。

しかし、コンテンツ供給システムｅｘ１００は、図７のような構成に限定されず、いずれかの要素を組合せて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０６〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラｅｘ１１３は、デジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ１１６は、デジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、若しくは、ＨＳＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）方式の携帯電話、または、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。

コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して、上記各実施の形態で説明したように符号化処理を行い、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は、要求のあったクライアントに対して、送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号処理して再生する。

なお、撮影したデータの符号化処理は、カメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号処理は、クライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像および／または動画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理は、カメラｅｘ１１６、コンピュータｅｘ１１１およびストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。

また、これら符号化処理および復号処理は、一般的にコンピュータｅｘ１１１および各機器が有するＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）ｅｘ５００において実行される。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、画像符号化用のソフトウェアまたは画像復号用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化処理または復号処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した動画像データを送信してもよい。このときの動画像データは、携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。

また、ストリーミングサーバｅｘ１０３は、複数のサーバまたは複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号し、再生することができ、特別な権利および設備を有さないユーザでも個人放送を実現できる。

なお、コンテンツ供給システムｅｘ１００の例に限らず、図８に示すように、デジタル放送用システムｅｘ２００にも、上記各実施の形態の少なくとも画像復号装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ２０１では映像情報のビットストリームが電波を介して通信または衛星ｅｘ２０２に伝送される。このビットストリームは、上記各実施の形態で説明した画像符号化方法により符号化された符号化ビットストリームである。これを受けた放送衛星ｅｘ２０２は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナｅｘ２０４が受信する。受信したビットストリームを、テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７等の装置が復号して再生する。

また、記録媒体であるＣＤおよびＤＶＤ等の記録メディアｅｘ２１４に記録したビットストリームを読み取り、復号する再生装置ｅｘ２１２にも上記実施の形態で示した画像復号装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１３に表示される。

また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した符号化ビットストリームを読み取り復号する、または、記録メディアｅｘ２１５に映像信号を符号化し書き込むリーダ／レコーダｅｘ２１８にも上記各実施の形態で示した画像復号装置または画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示され、符号化ビットストリームが記録された記録メディアｅｘ２１５により他の装置およびシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に画像復号装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に画像復号装置を組み込んでもよい。

図９は、上記各実施の形態で説明した画像復号方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４またはケーブルｅｘ２０３等を介して映像情報のビットストリームを取得または出力するチューナｅｘ３０１と、受信した符号化データを復調する、または外部に送信する符号化データに変調する変調／復調部ｅｘ３０２と、復調した映像データ、音声データを分離する、または符号化された映像データ、音声データを多重化する多重／分離部ｅｘ３０３を備える。

また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号する、またはそれぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５を有する信号処理部ｅｘ３０６と、復号した音声信号を出力するスピーカｅｘ３０７、復号した映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインタフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。

インタフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお、記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。

テレビｅｘ３００の各部は、同期バスを介して互いに接続されている。

まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得したデータを復号し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した映像データ、音声データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号し、分離した映像データを映像信号処理部ｅｘ３０５で上記各実施の形態で説明した復号方法を用いて復号する。復号した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から符号化された符号化ビットストリームを読み出してもよい。

次に、テレビｅｘ３００が音声信号および映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記各実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。

なお、バッファｅｘ３１８〜ｅｘ３２１は図示しているように複数備えていてもよいし、１つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２および多重／分離部ｅｘ３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。

また、テレビｅｘ３００は、放送および記録メディア等から音声データおよび映像データを取得する以外に、マイクおよびカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は上記の符号化処理、多重化、および外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号処理、外部出力のみが可能な構成であってもよい。

また、リーダ／レコーダｅｘ２１８で記録メディアから符号化ビットストリームを読み出す、または、書き込む場合には、上記復号処理または符号化処理はテレビｅｘ３００とリーダ／レコーダｅｘ２１８とのいずれで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８とが互いに分担して行ってもよい。

一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図１０に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１〜ｅｘ４０７を備える。

光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報および記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は、記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。

システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しおよび書き込みの処理はシステム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成および追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３、サーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は、例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。

以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。

図１１に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、予めグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録および再生を行う装置において情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３より内周または外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。

情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した符号化データの読み書きを行う。

以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。

また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図９に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１および携帯電話ｅｘ１１４等でも考えられる。また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器および復号器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号器のみの受信端末という３通りの実装形式が考えられる。

このように、上記各実施の形態で示した画像符号化方法あるいは画像復号方法を上述したいずれの機器またはシステムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。

また、本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

（実施の形態４）
本実施の形態では、画像復号装置１００を、典型的には半導体集積回路であるＬＳＩとして実現する。図６の画像復号装置１００をＬＳＩ２１００として実現した形態を図１２に示す。画像復号装置１００の各構成要素は、図１２に示されたＬＳＩ２１００上に構成される。

これらは個別に１チップ化されてもよいし、一部またはすべてを含むように１チップ化されても良い。ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応などが可能性として有り得る。

さらに加えて、本実施の形態の画像復号装置を集積化した半導体チップと、画像を描画するためのディスプレイとを組み合せて、様々な用途に応じた描画機器を構成することができる。携帯電話、テレビ、デジタルビデオレコーダー、デジタルビデオカメラおよびカーナビゲーション等における情報描画手段として、本発明を利用することが可能である。ディスプレイとしては、ブラウン管（ＣＲＴ）の他、液晶、ＰＤＰ（プラズマディスプレイパネル）および有機ＥＬなどのフラットディスプレイ、プロジェクターを代表とする投射型ディスプレイなどと組み合わせることが可能である。

また、本実施の形態におけるＬＳＩは、符号化ストリームを蓄積するビットストリームバッファ、および、画像を蓄積するフレームメモリ等を備えるＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と連携することにより、符号化処理または復号処理を行ってもよい。また、本実施の形態におけるＬＳＩは、ＤＲＡＭではなく、ｅＤＲＡＭ（ｅｍｂｅｄｅｄ ＤＲＡＭ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、または、ハードディスクなど他の記憶装置と連携してもかまわない。

（実施の形態５）
上記各実施の形態で示した画像復号装置および画像復号方法は、典型的には集積回路であるＬＳＩで実現される。一例として、図１３に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０２〜ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。

例えば、符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＡＶ Ｉ／Ｏｅｘ５０９によりマイクｅｘ１１７およびカメラｅｘ１１３等からＡＶ信号の入力を受け付ける。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。蓄積したデータは、処理量および処理速度に応じて適宜複数回に分けるなどされ、信号処理部ｅｘ５０７に送られる。信号処理部ｅｘ５０７は、音声信号の符号化および／または映像信号の符号化を行う。ここで映像信号の符号化処理は、上記実施の形態で説明した符号化処理である。信号処理部ｅｘ５０７では、さらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０４から外部に出力する。この出力されたビットストリームは、基地局ｅｘ１０７に向けて送信されたり、または、記録メディアｅｘ２１５に書き込まれたりする。

また、例えば、復号処理を行う場合には、ＬＳＩｅｘ５００は、マイコン（マイクロコンピュータ）ｅｘ５０２の制御に基づいて、ストリームＩ／Ｏｅｘ５０４によって、基地局ｅｘ１０７から得られた符号化データ、または、記録メディアｅｘ２１５から読み出して得た符号化データを一旦メモリｅｘ５１１等に蓄積する。マイコンｅｘ５０２の制御に基づいて、蓄積したデータは処理量および処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声データの復号および／または映像データの復号が行われる。ここで映像信号の復号処理は上記各実施の形態で説明した復号処理である。さらに、場合により復号された音声信号と復号された映像信号を同期して再生できるようそれぞれの信号を一旦メモリｅｘ５１１等に蓄積するとよい。復号された出力信号はメモリｅｘ５１１等を適宜介しながら、ＡＶＩ／Ｏｅｘ５０９からモニタｅｘ２１９等に出力される。メモリｅｘ５１１にアクセスする際にはメモリコントローラｅｘ５０３を介する構成である。

なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

なお、これらの実施の形態は例であり、本発明はこれらの実施の形態に限定されるのではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、あるいは異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

また、上記の画像復号装置を構成する複数の構成要素の全てまたは一部は、ハードウエアで構成されてもよい。また、上記の画像復号装置を構成する構成要素の全てまたは一部は、ＣＰＵ（Central Processing Unit）等により実行されるプログラムのモジュールであってもよい。

また、上記の画像復号装置を構成する複数の構成要素の全てまたは一部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されてもよい。システムＬＳＩは、複数の構成要素を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）などを含んで構成されるコンピュータシステムである。

また、本発明は、画像復号装置が備える特徴的な構成部の動作をステップとする画像復号方法として実現してもよい。また、本発明は、そのような画像復号方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現してもよい。また、本発明は、そのようなプログラムを格納するコンピュータ読み取り可能な記録媒体として実現されてもよい。また、当該プログラムは、インターネット等の伝送媒体を介して配信されてもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明による画像復号装置は、例えば、テレビ、デジタルビデオレコーダー、カーナビゲーション、携帯電話、デジタルカメラ、デジタルビデオカメラ等の情報表示機器および撮影システムとして、様々な用途に有用である。

１００，１００Ａ 画像復号装置
１１０ 第１転送指示部
１１１ 第１復号部
１２０ 第２転送指示部
１２１ 第２復号部
１２２ 判定部
１２３ ｍｖ転送指示部
１２４ ｍｖ保持メモリ
１２４Ａ バッファ
１３０ ＤＭＡコントローラ
１３０Ａ 転送部
１３１ ｍｖ算出部
１３２ ｍｖ転送指示部
１３３ 参照画像転送指示部
１４１ 動き補償処理部
１４２ 面内予測処理部
１４３ 予測画像選択部
１５１ 逆直交変換部
１５２ 逆量子化部
１６１ 復号画像合成部
１６２ デブロックフィルタ処理部
１６３ 復号画像転送指示部
２００ 外部メモリ
３００ 記憶媒体
４００ 受信部
１０００，１０００Ａ 画像復号システム
２１００ ＬＳＩ
ｅｘ１００ コンテンツ供給システム
ｅｘ１０１ インターネット
ｅｘ１０２ インターネットサービスプロバイダ
ｅｘ１０３ ストリーミングサーバ
ｅｘ１０４ 電話網
ｅｘ１０６、ｅｘ１０７、ｅｘ１０８、ｅｘ１０９、ｅｘ１１０ 基地局
ｅｘ１１１ コンピュータ
ｅｘ１１２ ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）
ｅｘ１１３、ｅｘ１１６ カメラ
ｅｘ１１４ 携帯電話
ｅｘ１１５ ゲーム機
ｅｘ１１７ マイク
ｅｘ２００ デジタル放送用システム
ｅｘ２０１ 放送局
ｅｘ２０２ 放送衛星（衛星）
ｅｘ２０３ ケーブル
ｅｘ２０４、ｅｘ２０５ アンテナ
ｅｘ２１０ 車
ｅｘ２１１ カーナビゲーション（カーナビ）
ｅｘ２１２ 再生装置
ｅｘ２１３、ｅｘ２１９ モニタ
ｅｘ２１４、ｅｘ２１５、ｅｘ２１６ 記録メディア
ｅｘ２１７ セットトップボックス（ＳＴＢ）
ｅｘ２１８ リーダ／レコーダ
ｅｘ２２０ リモートコントローラ
ｅｘ２３０ 情報トラック
ｅｘ２３１ 記録ブロック
ｅｘ２３２ 内周領域
ｅｘ２３３ データ記録領域
ｅｘ２３４ 外周領域
ｅｘ３００ テレビ（受信機）
ｅｘ３０１ チューナ
ｅｘ３０２ 変調／復調部
ｅｘ３０３ 多重／分離部
ｅｘ３０４ 音声信号処理部
ｅｘ３０５ 映像信号処理部
ｅｘ３０６、ｅｘ５０７ 信号処理部
ｅｘ３０７ スピーカ
ｅｘ３０８ 表示部
ｅｘ３０９ 出力部
ｅｘ３１１、ｅｘ５０５ 電源回路部
ｅｘ３１２ 操作入力部
ｅｘ３１３ ブリッジ
ｅｘ３１４ スロット部
ｅｘ３１５ ドライバ
ｅｘ３１６ モデム
ｅｘ３１７ インタフェース部
ｅｘ３１８、ｅｘ３１９、ｅｘ３２０、ｅｘ３２１、ｅｘ４０４ バッファ
ｅｘ４００ 情報再生／記録部
ｅｘ４０１ 光ヘッド
ｅｘ４０２ 変調記録部
ｅｘ４０３ 再生復調部
ｅｘ４０５ ディスクモータ
ｅｘ４０６ サーボ制御部
ｅｘ４０７ システム制御部
ｅｘ５０２ マイコン（マイクロコンピュータ）
ｅｘ５０３ メモリコントローラ
ｅｘ５０４ ストリームＩ／Ｏ
ｅｘ５０９ ＡＶ Ｉ／Ｏ
ｅｘ５１０ バス

Claims (13)

1. 符号化されたピクチャを構成する複数のマクロブロックを所定の順番で順次復号する画像復号装置であって、
   各前記マクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを記憶する外部メモリとデータ通信を行う転送部と、
   バッファと、
   前記複数のマクロブロックを、順次復号する第１復号部と、
   前記第１復号部によるｖ（１以上の整数）番目のマクロブロックの復号が終了する前に、ｗ（ｗ≧ｖ＋１）番目のマクロブロックに対応する符号化された判定情報であって、該ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要であるか否かを判定するための判定情報を少なくとも復号する第２復号部と、
   復号された前記判定情報から、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要であるか否かを判定する判定部とを備え、
   前記転送部は、
   前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要である場合、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを、前記外部メモリから前記バッファへ転送し、
   前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要でない場合、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを、前記外部メモリから前記バッファへ転送しない、
   画像復号装置。
2. 前記画像復号装置は、さらに、
   前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要である場合、前記バッファに転送された前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを用いて前記ｗ番目のマクロブロックの動きベクトルを算出する算出部を備え、
   前記転送部は、算出された前記ｗ番目のマクロブロックの動きベクトルを、前記外部メモリへ転送する、
   請求項１に記載の画像復号装置。
3. 前記転送部は、
   前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが前記ｗ番目のマクロブロックの動きベクトルの算出に必要である場合、前記ｖ番目のマクロブロックの復号が行われている期間において、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを、前記外部メモリからバッファへ転送し、
   前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが前記ｗ番目のマクロブロックの動きベクトルの算出に必要でない場合、前記ｖ番目のマクロブロックの復号が行われている期間において、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを、前記外部メモリからバッファへ転送しない、
   請求項１または２に記載の画像復号装置。
4. 前記第２復号部は、前記判定情報のみを復号する、
   請求項１〜３のいずれかに記載の画像復号装置。
5. 前記第２復号部は、復号された前記判定情報を、前記第１復号部へ送信する、
   請求項１〜４のいずれかに記載の画像復号装置。
6. 前記第１復号部は、前記ｗ番目のマクロブロックのうち、前記第２復号部により復号された前記判定情報以外の部分を復号する、
   請求項４または５に記載の画像復号装置。
7. 前記判定情報は、前記ｗ番目のマクロブロックがダイレクトモードで符号化されているか否かを示す、
   請求項１〜６のいずれかに記載の画像復号装置。
8. 前記判定情報は、前記ｗ番目のマクロブロックがスキップトマクロブロックであるか否かを示す、
   請求項１〜６のいずれかに記載の画像復号装置。
9. 前記判定情報は、前記ｗ番目のマクロブロックがインターマクロブロックであるか否かを示す、
   請求項１〜６のいずれかに記載の画像復号装置。
10. 前記複数のマクロブロックの各々は、Ｈ．２６４／ＡＶＣに従って符号化されたマクロブロックである、
    請求項１〜９のいずれかに記載の画像復号装置。
11. 符号化されたピクチャを構成する複数のマクロブロックを所定の順番で順次復号する集積回路であって、
    各前記マクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを記憶する外部メモリとデータ通信を行う転送部と、
    バッファと、
    前記複数のマクロブロックを、順次復号する第１復号部と、
    前記第１復号部によるｖ（１以上の整数）番目のマクロブロックの復号が終了する前に、ｗ（ｗ≧ｖ＋１）番目のマクロブロックに対応する符号化された判定情報であって、該ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要であるか否かを判定するための判定情報を少なくとも復号する第２復号部と、
    復号された前記判定情報から、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要であるか否かを判定する判定部とを備え、
    前記転送部は、
    前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要である場合、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを、前記外部メモリから前記バッファへ転送し、
    前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要でない場合、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを、前記外部メモリから前記バッファへ転送しない、
    集積回路。
12. 符号化されたピクチャを構成する複数のマクロブロックを所定の順番で順次復号する画像復号装置が行う画像復号方法であって、
    前記画像復号装置は、
    各前記マクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを記憶する外部メモリとデータ通信を行う転送部と、
    バッファと、
    前記複数のマクロブロックを、順次復号する第１復号部と、
    前記第１復号部によるｖ（１以上の整数）番目のマクロブロックの復号が終了する前に、ｗ（ｗ≧ｖ＋１）番目のマクロブロックに対応する符号化された判定情報であって、該ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要であるか否かを判定するための判定情報を少なくとも復号する第２復号部とを備え、
    前記画像復号方法は、
    復号された前記判定情報から、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要であるか否かを判定するステップと、
    前記転送部が、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要である場合、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを、前記外部メモリから前記バッファへ転送するステップとを含み、
    前記転送部は、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要でない場合、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを、前記外部メモリから前記バッファへ転送しない、
    画像復号方法。
13. 符号化されたピクチャを構成する複数のマクロブロックを所定の順番で順次復号する画像復号装置と、外部メモリとを含む画像復号システムであって、
    前記外部メモリは、各前記マクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを記憶しており、
    前記画像復号装置は、
    前記外部メモリとデータ通信を行う転送部と、
    バッファと、
    前記複数のマクロブロックを、順次復号する第１復号部と、
    前記第１復号部によるｖ（１以上の整数）番目のマクロブロックの復号が終了する前に、ｗ（ｗ≧ｖ＋１）番目のマクロブロックに対応する符号化された判定情報であって、該ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要であるか否かを判定するための判定情報を少なくとも復号する第２復号部と、
    復号された前記判定情報から、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要であるか否かを判定する判定部とを備え、
    前記転送部は、
    前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要である場合、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを、前記外部メモリから前記バッファへ転送し、
    前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルが該ｗ番目のマクロブロックの動きベクトルの算出に必要でない場合、前記ｗ番目のマクロブロックに対応するｃｏ−ｌｏｃａｔｅｄマクロブロックの動きベクトルを、前記外部メモリから前記バッファへ転送しない、
    画像復号システム。

Images