JP2004248265A - 画像符号化方法 - Google Patents

Abstract

【課題】 迅速なランダムアクセスを可能とする画像符号化信号を、圧縮効率の低下を防いで生成する画像符号化方法を提供する。
【解決手段】 迅速なランダムアクセスを可能とする画像符号化信号Ｓｔｒを、圧縮効率の低下を防いで生成する画像符号化方法は、処理対象のアクセスユニット（ＲＡＵ）において、ポストエントリピクチャに対し、符号化順でエントリピクチャよりも前にあるピクチャと、プリエントリピクチャとを除く、他のピクチャを参照する第１の参照制限ステップ（ステップＳ１０６）と、直後にあるアクセスユニット（ＲＡＵ）において、プリエントリピクチャに対し、処理対象のアクセスユニット（ＲＡＵ）のエントリピクチャよりも符号化順で前にあるピクチャと、処理対象のアクセスユニット（ＲＡＵ）のプリエントリピクチャとを除く、他のピクチャを参照する第２の参照制限ステップ（ステップＳ１１４又はステップＳ１１６）とを含む。
【選択図】 図３

Description

本発明は、画像を符号化する画像符号化方法に関する。

近年、音声や、画像その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞や雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段が、マルチメディアの対象として取り上げられるようになってきた。
一般に、マルチメディアとは、文字だけでなく、図形や、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。

ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合には１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合には１秒当たり６４Ｋｂｉｔｓ（電話品質）、さらに動画については１秒当たり１００Ｍｂｉｔｓ（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアの膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、６４Ｋｂｉｔｓ／ｓ〜１．５Ｍｂｉｔｓ／ｓの伝送速度を持つサービス総合ディジタル網（ＩＳＤＮ : Integrated Services Digital Network）によってすでに実用化されているが、テレビ・カメラの映像をそのままＩＳＤＮで送ることは不可能である。

そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）で勧告されたＨ．２６１やＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ−１規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。

ここで、ＭＰＥＧ（Moving Picture Experts Group）とは、ＩＳＯ／ＩＥＣ（国際標準化機構 国際電気標準会議）で標準化された動画像信号圧縮の国際規格であり、ＭＰＥＧ−１は、動画像信号を１．５Ｍｂｐｓまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ−１規格では対象とする品質を伝送速度が主として約１．５Ｍｂｐｓで実現できる程度の中程度の品質としたことから、さらなる高画質化の要求をみたすべく規格化されたＭＰＥＧ−２では、動画像信号を２〜１５ＭｂｐｓでＴＶ放送品質を実現する。

さらに現状では、ＭＰＥＧ−１，ＭＰＥＧ−２と標準化を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG11）によって、ＭＰＥＧ−１，ＭＰＥＧ−２を上回る圧縮率を達成し、更に物体単位で符号化・復号化・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するＭＰＥＧ−４が規格化された。ＭＰＥＧ−４では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像も含む高ビットレートも含む、より汎用的な符号化に拡張されている。更に、現在は、ＩＳＯ／ＩＥＣとＩＴＵ−Ｔが共同でより高圧縮率の次世代画像符号化方式として、ＭＰＥＧ−４ ＡＶＣおよびＩＴＵ Ｈ．２６４の標準化活動が進んでいる。２００２年８月の時点で、次世代画像符号化方式はコミッティー・ドラフト（ＣＤ）と呼ばれるもので発行されている（例えば、非特許文献１参照。）。

一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは１枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。

参照ピクチャを持たず画面内予測符号化を行うものをＩピクチャと呼ぶ。また、１枚のピクチャのみを参照し画面間予測符号化を行うものをＰピクチャと呼ぶ。また、同時に２枚のピクチャを参照して画面間予測符号化を行うことのできるものをＢピクチャと呼ぶ。Ｂピクチャは表示時間が前方もしくは後方から任意の組み合わせとして２枚のピクチャを参照することが可能である。参照ピクチャは符号化および復号化の基本単位であるブロックごとに指定することができるが、符号化を行ったビットストリーム中に先に記述される方の参照ピクチャを第１参照ピクチャ、後に記述される方を第２参照ピクチャとして区別する。ただし、これらのピクチャを符号化および復号化する場合の条件として、参照するピクチャが既に符号化および復号化されている必要がある。

Ｐピクチャ又はＢピクチャの符号化には、動き補償画面間予測符号化が用いられている。動き補償画面間予測符号化とは、画面間予測符号化に動き補償を適用した符号化方式である。動き補償とは、単純に参照ピクチャの画素値から予測するのではなく、ピクチャ内の各部の動き量（以下、これを動きベクトルと呼ぶ）を検出し、その動きベクトルを考慮した予測を行うことにより予測精度を向上すると共に、データ量を減らす方式である。例えば、符号化対象ピクチャの動きベクトルを検出し、その動きベクトルの分だけシフトした予測値と符号化対象ピクチャとの予測残差を符号化することによりデータ量を減している。この方式の場合には、復号化の際に動きベクトルの情報が必要になるため、動きベクトルも符号化されて記録又は伝送される。

動きベクトルはブロック単位で検出されており、具体的には、符号化対象ピクチャ側のブロックを固定しておき、参照ピクチャ側のブロックを探索範囲内で移動させ、基準ブロックと最も似通った参照ブロックの位置を見つけることにより、動きベクトルが検出される。

図２９は、従来の画像符号化装置の構成を示すブロック図である。
画像符号化装置９００は、画像信号Ｖｉｎをピクチャごとに符号化してビットストリームたる画像符号化信号Ｓｔｒ９を出力するものであって、動き検出部９０１と、動き補償部９０２と、選択部９０３と、メモリ９０４〜９０６と、加算器９０７と、減算器９０８と、符号化部９０９と、復号化部９１０と、ピクチャメモリ９１１とを備えている。
ピクチャメモリ９１１は、画像信号Ｖｉｎを取得して一時的に保存し、画像信号Ｖｉｎに含まれるピクチャを符号化順に並び替えて、そのピクチャが並び替えられた画像信号Ｖｉｎを動き検出部９０１と減算器９０８に出力する。

減算器９０８は、画像信号Ｖｉｎと予測画像Ｐｒｅとの差分を計算してその計算結果を差分画像信号Ｄｉｆとして符号化部９０９に出力する。
符号化部９０９は、減算器９０８から出力された差分画像信号Ｄｉｆと、動き検出部９０１から出力された動きベクトルＭＶとを符号化する。その結果、符号化部９０９は、符号化データＣｏｄと、符号化データＣｏｄに対して可変長符号化などの処理がなされた画像符号化信号Ｓｔｒ９とを生成し、この符号化データＣｏｄと画像符号化信号Ｓｔｒ９とを出力する。

復号化部９１０は、符号化データＣｏｄを復号化して復号差分画像信号ＲＤｉｆを生成する。
加算器９０７は、予測画像Ｐｒｅに復号差分画像信号ＲＤｉｆを加算して復号画像信号Ｒｅｃを生成する。
選択部９０３は、復号画像信号Ｒｅｃを後続のピクチャの符号化で参照ピクチャとして利用可能とするため、メモリ９０４〜９０６のうち何れかを選択してそのメモリに対して復号画像信号Ｒｅｃを出力する。例えば、選択部９０３は、メモリ９０４〜９０６のうち最も古い復号画像信号Ｒｅｃを格納しているものを選択する。

メモリ９０４〜９０６は、選択部９０３から復号画像信号Ｒｅｃを取得して、これを参照ピクチャの候補となる候補ピクチャＲｅｆとして格納する。またメモリ９０４〜９０６は、新たな候補ピクチャＲｅｆを格納するときには、既に格納されている最も古い候補ピクチャＲｅｆを消去する。
動き検出部９０１は、メモリ９０４〜９０６に格納されている候補ピクチャＲｅｆのうち、画像信号Ｖｉｎに最も近い画像領域を有するものを参照ピクチャとして選択する。そして、動き検出部９０１は、その画像領域の位置を指し示す動きベクトルＭＶを検出する。

さらに、動き検出部９０１は、参照ピクチャを指定するための指定情報ＲＦを用いることにより、メモリ９０４〜９０６のそれぞれに格納された複数の候補ピクチャＲｅｆの中で、何れが画像信号Ｖｉｎに近いか、つまり何れが参照ピクチャとして適切かを指定する。
ここで、シーンチェンジなどにより画像間の相関が失われるような場合には、参照ピクチャを参照して符号化する方が、画面内予測符号化するよりも圧縮率が低下することがある。このように、画像信号Ｖｉｎに近い候補ピクチャＲｅｆがない場合には、動き検出部９０１は画面内予測符号化するように指定情報ＲＦで動き補償部９０２に指示する。

また、エラー伝播防止や画像符号化信号の途中から再生を可能とするためには、所定のピクチャ数毎にそのピクチャのみで復号可能な画面内予測符号化を行う必要がある。そこで、動き検出部９０１は、外部から画面内予測符号化を指示する画面内指示信号ＩＴを取得したときにも、画面内予測符号化するように指定情報ＲＦで動き補償部９０２に指示する。

動き補償部９０２は、動き検出部９０１から出力される指定信号ＲＦに基づいて、メモリ９０４〜９０６に格納されている３つの候補ピクチャＲｅｆと、０の値を持つ候補ピクチャＲｅｆ０とのうち何れかを、参照ピクチャとして扱う。即ち、動き補償部９０２は、指定信号ＲＦが画像信号Ｖｉｎに近い候補ピクチャＲｅｆを指定している場合には、その指定信号ＲＦが指定する候補ピクチャＲｅｆを格納しているメモリからその候補ピクチャＲｅｆを参照ピクチャとして取得する。一方、指定信号ＲＦが画面内予測符号化を指示している場合には、動き補償部９０２は０の値を持つ候補ピクチャＲｅｆ０を取得する。そして動き補償部９０２は、参照ピクチャとしての候補ピクチャＲｅｆを取得したときには、取得した参照ピクチャから動きベクトルＭＶを用いて予測画像Ｐｒｅに最適な画像領域を取り出し、その取り出した画像領域から予測画像Ｐｒｅを生成して出力する。一方、候補ピクチャＲｅｆ０を取得したときには、０の値を持つ予測画像Ｐｒｅを生成して出力する。

図３０は、従来の画像符号化装置９００が出力する画像符号化信号Ｓｔｒ９の構成を示す構成図である。
画像符号化信号Ｓｔｒ９は、複数のランダムアクセスユニット（以下、単にアクセスユニットという）から構成され、図３０では、アクセスユニットＲＡＵ０の一部と、アクセスユニットＲＡＵ１，ＲＡＵ２とが示されている。

アクセスユニットは、複数のピクチャを含んで構成され、その中には他のピクチャに依存せずに復号化可能な特別なＩピクチャが含まれている。また、アクセスユニットに含まれる他のピクチャは、Ｐピクチャ又はＢピクチャである。つまり、このようなアクセスユニットは、複数のピクチャから構成される画像符号化信号Ｓｔｒ９がＩピクチャごとに分割された１つの単位として捉えられる。

ここで、図３０に示すように、画像符号化信号Ｓｔｒ９に含まれる各ピクチャは、それぞれが符号化された順、つまり復号化される順に配列されており、各ピクチャが表示される順序は、このような配列順序と異なっている。
図３１は、従来の画像復号化装置の構成を示すブロック図である。
画像復号化装置９５０は、画像符号化信号Ｓｔｒ９を復号化するものであり、符号化部９５１と、加算器９５３と、選択部９５４と、メモリ９５５〜９５７と、動き補償部９５８とを備えている。

復号化部９５１は、画像符号化信号Ｓｔｒ９を復号化して、復号差分画像信号ＲＤｉｆと、動きベクトルＭＶと、指定情報ＲＦとを出力する。
加算器９５３は、復号差分画像信号ＲＤｉｆに予測画像Ｐｒｅを加算して、復号画像信号Ｖｏを出力する。
選択部９５４は、復号画像信号Ｖｏを後続のピクチャの復号化で参照ピクチャとして利用するため、メモリ９５５〜９５７のうち何れかを選択してそのメモリに対して復号画像信号Ｖｏを出力する。例えば、選択部９５４は、メモリ９５５〜９５７のうち最も古い復号画像信号Ｖｏを格納しているものを選択する。

メモリ９５５〜９５７は、選択部９５４から復号画像信号Ｖｏを取得して、これを参照ピクチャの候補となる候補ピクチャＲｅｆとして格納する。またメモリ９５５〜９５７は、新たな候補ピクチャＲｅｆを格納するときには、既に格納されている最も古い候補ピクチャＲｅｆを消去する。
動き補償部９５８は、復号化部９５１から出力される指定信号ＲＦに基づいて、メモリ９５５〜９５７に格納されている３つの候補ピクチャＲｅｆと、０の値を持つ候補ピクチャＲｅｆ０とのうち何れかを、参照ピクチャとして扱う。即ち、動き補償部９５８は、指定信号ＲＦが画像信号Ｖｉｎに近い候補ピクチャＲｅｆを指定している場合には、その指定信号ＲＦが指定する候補ピクチャＲｅｆを格納しているメモリからその候補ピクチャＲｅｆを参照ピクチャとして取得する。一方、指定信号ＲＦが画面内予測符号化を指示している場合には、動き補償部９５８は０の値を持つ候補ピクチャＲｅｆ０を取得する。そして動き補償部９５８は、参照ピクチャとして候補ピクチャＲｅｆを取得したときには、取得した参照ピクチャから動きベクトルＭＶを用いて予測画像Ｐｒｅに最適な画像領域を取り出し、その取り出した画像領域から予測画像Ｐｒｅを生成して出力する。一方、候補ピクチャＲｅｆ０を取得したときには、０の値を持つ予測画像Ｐｒｅを生成して出力する。
Thomas Wiegand, "Editor's Proposed Changes Relative to JVT-E146d37ncm, revision 4" ISO/IEC 14496-10 draft, 2002-12

しかしながら、上記従来の画像符号化装置９００の画像符号化方法では、所定のアクセスユニット及びその直後にあるアクセスユニットに含まれるピクチャが、その所定のアクセスユニットよりも前のアクセスユニットに含まれるピクチャを参照して符号化されることがあるため、画像復号化装置９５０では、その所定のアクセスユニットからの再生（ランダムアクセス）を容易に行うことができないという問題がある。

つまり、図３０に示すように、画像復号化装置９５０が画像符号化装置９００から画像符号化信号Ｓｔｒ９を取得して、そのアクセスユニットＲＡＵ１から画像符号化信号Ｓｔｒ９に対してランダムアクセスを開始しようとしても、アクセスユニットＲＡＵ１，ＲＡＵ２に含まれるピクチャが、直接的又は間接的にアクセスユニットＲＡＵ０以前のピクチャを参照しているときには、そのアクセスユニットＲＡＵ０以前のピクチャを表示しないにも関わらずわざわざ復号化しなければならないため、容易に且つ迅速にランダムアクセスすることができないのである。

具体的に、以下の参照関係Ｒｒ１，Ｒｒ２，Ｒｒ３，Ｒｒ４がある場合には、基準とするアクセスユニットＲＡＵ１からのランダムアクセスが困難となる。なお、説明を分かり易くするために、各アクセスユニット内において、画面内予測符号化されるＩピクチャをエントリピクチャと称し、表示順でエントリピクチャよりも前にあるＢピクチャ又はＰピクチャをプリエントリピクチャと称し、表示順でエントリピクチャよりも後にあるＢピクチャ又はＰピクチャをポストエントリピクチャと称す。

（１）参照関係Ｒｒ１
参照関係Ｒｒ１とは、基準とするアクセスユニットにおいて、ポストエントリピクチャが符号化順でエントリピクチャよりも前にあるピクチャを参照して符号化されているような関係である。例えば、図３０に示すように、基準とするアクセスユニットＲＡＵ１に含まれるＩピクチャよりも表示順で後のＢピクチャが、アクセスユニットＲＡＵ０のピクチャを参照して符号化されているような関係である。

（２）参照関係Ｒｒ２
参照関係Ｒｒ２とは、基準とするアクセスユニットにおいて、ポストエントリピクチャがプリエントリピクチャを参照して符号化され、且つそのプリエントリピクチャは符号化順でエントリピクチャよりも前にあるピクチャを参照して符号化されているような関係である。例えば、図３０に示すように、アクセスユニットＲＡＵ１に含まれるＩピクチャよりも表示順で後のＢピクチャが、そのＩピクチャよりも表示順で前のＢピクチャを参照して符号化されており、且つその表示順で前のＢピクチャがアクセスユニットＲＡＵ０のピクチャを参照して符号化されているような関係である。

（３）参照関係Ｒｒ３
参照関係Ｒｒ３とは、上記基準とするアクセスユニットの直後のアクセスユニットにおいて、プリエントリピクチャが基準とするアクセスユニットのエントリピクチャよりも符号化順で前のピクチャを参照して符号化されているような関係である。例えば、図３０に示すように、アクセスユニットＲＡＵ２に含まれるＩピクチャよりも表示順で前のＢピクチャが、基準とするアクセスユニットＲＡＵ１のＩピクチャよりも符号化順で前にあるアクセスユニットＲＡＵ０のピクチャを参照して符号化されているような関係である。

（４）参照関係Ｒｒ４
参照関係Ｒｒ４とは、上記基準とするアクセスユニットの直後のアクセスユニットにおいて、プリエントリピクチャが基準とするアクセスユニットのプリエントリピクチャを参照して符号化され、且つその基準とするアクセスユニットのプリエントリピクチャは符号化順でエントリピクチャよりも前にあるピクチャを参照して符号化されているような関係である。例えば、図３０に示すように、アクセスユニットＲＡＵ２に含まれるＩピクチャよりも表示順で前のＢピクチャが、基準とするアクセスユニットＲＡＵ１のＩピクチャよりも表示順で前のＢピクチャを参照して符号化されており、且つその表示順で前のＢピクチャがアクセスユニットＲＡＵ０のピクチャを参照して符号化されているような関係である。

ところで、他の画像符号化方法では、所定のアクセスユニットに含まれるピクチャを符号化するときには、他のアクセスユニットに含まれるピクチャから独立して符号化する。
図３２は、上記他の画像符号化方法によって生成された画像符号化信号の構成を示す構成図である。
この画像符号化信号Ｓｔｒ１０は、複数のアクセスユニットＲＡＵから構成されており、各アクセスユニットＲＡＵの先頭には特別なピクチャであるＩＤＲ１が配置されている。このＩＤＲ１は、画面内予測符号化されたピクチャであって、そのＩＤＲ１よりも後のピクチャは、そのＩＤＲ１よりも前のピクチャを参照せずに他のピクチャを参照して符号化されている。

即ち、このようなＩＤＲ１が配置された画像符号化信号Ｓｔｒ１０では、各アクセスユニットＲＡＵが独立して存在するため、画像復号化装置は、何れのアクセスユニットＲＡＵからでも画像符号化信号Ｓｔｒ１０に対してランダムアクセスを迅速に行うことができる。しかしながら、このような画像符号化信号Ｓｔｒ１０を生成する画像符号化方法では、アクセスユニットＲＡＵを跨るようなピクチャの参照関係が全て禁止されるため、圧縮効率が低下してしまうという問題がある。

また、さらに他の画像符号化方法（ＭＰＥＧ−２）においても、上述の画像符号化信号Ｓｔｒ１０を生成する画像符号化方法と同様の問題が生じる。

図３３は、ＭＰＥＧ−２の画像符号化方法によって生成された画像符号化信号の構成を示す構成図である。
この画像符号化信号Ｓｔｒ１１は、複数のグループ・オブ・ピクチャＧＯＰから構成されており、各グループ・オブ・ピクチャＧＯＰは複数のピクチャから構成されている。各グループ・オブ・ピクチャＧＯＰに含まれるピクチャはそれぞれ、Ｉピクチャ、Ｐピクチャ、又はＢピクチャである。

ここで、ＭＰＥＧ−２の画像符号化方法では、Ｐピクチャは表示順で直前のＩピクチャ又はＰピクチャを１枚のみ参照して符号化され、Ｂピクチャは表示順で直前のＩピクチャ又はＰピクチャと直後のＩピクチャ又はＰピクチャを各１枚ずつ参照して符号化される。
即ち、このようなＰピクチャ及びＢピクチャが配置された画像符号化信号Ｓｔｒ１１では、参照するピクチャが比較的狭い範囲に制限されているため、画像復号化装置は、Ｉピクチャからの表示を行うこととすれば、何れのグループ・オブ・ピクチャＧＯＰからでも画像符号化信号Ｓｔｒ１１に対してランダムアクセスを迅速に行うことができる。しかしながら、このような画像符号化信号Ｓｔｒ１１を生成する画像符号化方法では、ピクチャの参照関係が狭い範囲に制限されるため、画像符号化信号の圧縮効率が低下してしまうという問題がある。

そこで、本発明は、かかる問題に鑑みてなされたものであって、迅速なランダムアクセスを可能とする画像符号化信号を、圧縮効率の低下を防いで生成する画像符号化方法を提供することを目的とする。

上記目的を達成するために、本発明に係る画像符号化方法は、画像信号に含まれる複数のピクチャのうち、所定のピクチャをエントリピクチャとして他のピクチャを参照することなく符号化し、エントリピクチャ以外のピクチャを他の既に符号化されたピクチャを参照して符号化して画像符号化信号を生成する画像符号化方法であって、前記画像信号を、エントリピクチャを含む複数のピクチャからなるアクセス単位で扱い、処理すべき対象のアクセス単位において、表示順で前記エントリピクチャよりも後にある後置ピクチャに対し、符号化順でエントリピクチャよりも前にあるピクチャと、表示順でエントリピクチャよりも前にある前置ピクチャであり、符号化順でエントリピクチャよりも前のピクチャを参照しているピクチャとを除く、他のピクチャを参照する第１の参照制限ステップと、前記処理対象のアクセス単位の直後にあるアクセス単位において、表示順でエントリピクチャよりも前にある前置ピクチャに対し、前記処理対象のアクセス単位のエントリピクチャよりも符号化順で前にあるピクチャと、前記処理対象のアクセス単位の前置ピクチャであって、前記処理対象のアクセス単位のエントリピクチャよりも符号化順で前のピクチャを参照しているピクチャとを除く、他のピクチャを参照する第２の参照制限ステップとを含むことを特徴とする。

これにより、処理対象のアクセス単位の後置ピクチャは、符号化順でエントリピクチャより前のピクチャ、つまり処理対象のアクセス単位よりも前のアクセス単位とは独立して符号化され、処理対象のアクセス単位の直後のアクセス単位の前置ピクチャは、処理対象のアクセス単位のエントリピクチャよりも符号化順で前のピクチャ、つまり処理対象のアクセス単位よりも前のアクセス単位とは独立して符号化されるため、このように符号化された信号を取得した画像復号化装置は、その処理対象のアクセス単位の前のアクセス単位に含まれるピクチャをわざわざ復号することなく、符号化された信号を処理対象のアクセス単位から迅速にランダムアクセスすることができる。また、処理対象のアクセス単位の前置ピクチャは、符号化順でエントリピクチャよりも前のピクチャ、つまり処理対象のアクセス単位よりも前のアクセス単位に含まれるピクチャを参照しても良く、背景技術で説明したようにＩＤＲを配置してアクセス単位を跨るようなピクチャの参照関係を禁止することがなく、さらに、参照するピクチャを直前や直後にあるピクチャに限定することがないため、画像信号の符号化における圧縮効率の低下を防ぐことができる。

また、前記第１の参照制限ステップでは、符号化順でエントリピクチャよりも前にあるピクチャと、表示順でエントリピクチャよりも前にある前置ピクチャとを除く、他のピクチャを参照し、前記第２の参照制限ステップでは、前記処理対象のアクセス単位のエントリピクチャよりも符号化順で前にあるピクチャと、前記処理対象のアクセス単位の前置ピクチャとを除く、他のピクチャを参照することを特徴としても良い。

これにより、第１の参照制限ステップでは、前置ピクチャが符号化順でエントリピクチャよりも前のピクチャを参照するか否かに関わらず、その前置ピクチャは参照の対象から除かれ、さらに、第２の参照制限ステップでは、前置ピクチャが処理対処のアクセス単位のエントリピクチャよりも符号化順で前のピクチャを参照するか否かに関わらず、その前置ピクチャは参照の対象から除かれるため、符号化処理を簡単に且つ迅速に行うことができる。

さらに、前記画像符号化方法は、さらに、何れのアクセス単位を処理対象として前記第１及び第２の参照制限ステップを行ったかを示す参照構造情報を符号化する参照構造情報符号化ステップと、前記画像符号化信号中に、符号化された参照構造情報を挿入する挿入ステップとを含むことを特徴としても良い。
これにより、何れのアクセス単位を処理対象として前記第１及び第２の参照制限ステップを行ったかを示す参照構造情報が画像符号化信号に含まれているため、このような画像符号化信号を取得した画像復号化装置は、その参照構造情報に基づいて、迅速なランダムアクセスを開始することが可能なアクセス単位を容易に特定することができる。

また、前記画像符号化方法は、さらに、各アクセス単位ごとに、当該アクセス単位を処理対象として前記第１及び第２の参照制限ステップを行ったか否かを示す参照構造情報を符号化する参照構造情報符号化ステップと、前記画像符号化信号中の各アクセス単位に、当該アクセス単位に対応する前記参照構造情報を挿入する挿入ステップとを含むことを特徴としても良い。

これにより、第１及び第２の参照制限ステップを行ったか否かを示す参照構造情報が画像符号化信号に各アクセス単位ごとに含まれているため、このような画像符号化信号を取得した画像復号化装置は、その参照構造情報に基づいて、各アクセス単位ごとに、当該アクセス単位から迅速なランダムアクセスすることができるか否かを特定することができる。

ここで、前記画像符号化方法は、さらに、各アクセス単位ごとに、当該アクセス単位に含まれる各ピクチャの参照範囲を示す参照構造情報を符号化する参照構造情報符号化ステップと、前記画像符号化信号中の各アクセス単位に、当該アクセス単位に対応する前記参照構造情報を挿入する挿入ステップとを含むことを特徴としても良い。
これにより、参照範囲を示す参照構造情報が画像符号化信号に各アクセス単位ごとに含まれているため、このような画像符号化信号を取得した画像復号化装置は、その参照構造情報に基づいて、各アクセス単位ごとに、当該アクセス単位から迅速なランダムアクセスすることができるか否かを特定することができる。

なお、本発明は、上記画像符号化方法を用いる画像符号化装置及びプログラムや、そのプログラムを記憶した記憶媒体や、その画像符号化方法により生成された画像符号化信号としても実現することができる。

本発明の画像符号化方法は、迅速なランダムアクセスを可能とする画像符号化信号を、圧縮効率の低下を防いで生成することができるという作用効果を奏する。

以下、本発明の実施の形態について、図面を参照して説明する。
（実施の形態１）
図１は、本発明の第１の実施の形態における画像符号化装置の構成を示すブロック図である。
本実施の形態における画像符号化装置１００は、画像信号Ｖｉｎをピクチャごとに符号化し、迅速なランダムアクセスを可能とする画像符号化信号Ｓｔｒを、圧縮効率の低下を防いで生成するものである。

このような画像符号化装置１００は、動き検出部１０１と、動き補償部１０２と、選択部１０３と、メモリ１０４〜１０６と、加算器１０７と、減算器１０８と、符号化部１０９と、復号化部１１０と、カウンタ１１１と、順序メモリ１１２と、参照制御部１１３と、ピクチャメモリ１１４とを備えている。
ピクチャメモリ１１４は、画像信号Ｖｉｎを取得して一時的に保存し、画像信号Ｖｉｎに含まれるピクチャを符号化順に並び替えて、そのピクチャが並び替えられた画像信号Ｖｉｎを、動き検出部１０１、減算器１０８、及びカウンタ１１１に出力する。さらに、ピクチャメモリ１１４は、画像信号Ｖｉｎに含まれるピクチャの表示順を示す内容の表示順情報Ｐｏｃを動き検出部１０１、順序メモリ１１２、及び参照制御部１１３に出力する。

減算器１０８は、画像信号Ｖｉｎと予測画像Ｐｒｅとの差分を計算してその計算結果を差分画像信号Ｄｉｆとして符号化部１０９に出力する。
符号化部１０９は、減算器１０８から出力された差分画像信号Ｄｉｆと、動き検出部１０１から出力された動きベクトルＭＶと、参照制御部１１３から出力される参照構造情報Ｒｓｉとを符号化する。その結果、符号化部１０９は、符号化データＣｏｄと、符号化データＣｏｄに対して可変長符号化などの処理がなされた画像符号化信号Ｓｔｒとを生成し、この符号化データＣｏｄと画像符号化信号Ｓｔｒとを出力する。

復号化部１１０は、符号化データＣｏｄを復号化して復号差分画像信号ＲＤｉｆを生成する。
加算器１０７は、予測画像Ｐｒｅに復号差分画像信号ＲＤｉｆを加算して復号画像信号Ｒｅｃを生成する。
選択部１０３は、復号画像信号Ｒｅｃを後続のピクチャの符号化で参照ピクチャとして利用可能とするため、メモリ１０４〜１０６のうち何れかを選択してそのメモリに対して復号画像信号Ｒｅｃを出力する。例えば、選択部１０３は、メモリ１０４〜１０６のうち最も古い復号画像信号Ｒｅｃを格納しているものを選択する。

メモリ１０４〜１０６は、選択部１０３から復号画像信号Ｒｅｃを取得して、これを参照ピクチャの候補となる候補ピクチャＲｅｆとして格納する。またメモリ１０４〜１０６は、新たな候補ピクチャＲｅｆを格納するときには、既に格納されている最も古い候補ピクチャＲｅｆを消去する。
参照制御部１１３は、表示順情報Ｐｏｃをピクチャメモリ１１４から取得し、その取得した表示順情報Ｐｏｃに基づいて、画像信号Ｖｉｎに含まれるアクセスユニットのうち、迅速なランダムアクセスが開始可能なアクセスユニットとして処理すべき対象を指し示す内容の参照構造情報Ｒｓｉを作成する。そして、参照制御部１１３は、その作成した参照構造情報Ｒｓｉを動き検出部１０１及び符号化部１０９に対して出力する。ここで、参照構造情報Ｒｓｉは、符号化されて画像符号化信号Ｓｔｒに挿入された後には、画像符号化信号Ｓｔｒの何れのアクセスユニットから迅速なランダムアクセスが可能であるかを示す。

また、参照制御部１１３は、画面内予測符号化を指示する画面内指示信号ＩＴを周期的に順序メモリ１１２に対して出力する。
カウンタ１１１は、ピクチャメモリ１１４から画像信号Ｖｉｎを取得して、その画像信号Ｖｉｎに含まれる各ピクチャをカウントすることにより、各ピクチャに対する符号化の順番を示す符号化順情報Ｄｏｃを順序メモリ１１２と動き検出部１０１に対して出力する。

順序メモリ１１２は、カウンタ１１１から各ピクチャの符号化順情報Ｄｏｃを順次取得し、ピクチャメモリ１１４から各ピクチャの表示順情報Ｐｏｃを順次取得する。そして、順序メモリ１１２は、参照制御部１１３から画面内指示信号ＩＴを取得すると、その画面内指示信号ＩＴに対応するピクチャの符号化順と表示順とを、符号化順情報Ｄｏｃ及び表示順情報Ｐｏｃから特定し、その特定した符号化順を特定符号化順情報Ｉｄ１として記憶するとともに、その特定した表示順を特定表示順情報Ｉｐ１として記憶する。

即ち、順序メモリ１１２は、画面内予測符号化されるＩピクチャの符号化順及び表示順を特定符号化順情報Ｉｄ１及び特定表示順情報Ｉｐ１として記憶する。
また、このような順序メモリ１１２は、２つのＩピクチャに対する特定符号化順情報Ｉｄ１及び特定表示順情報Ｉｐ１をいわゆる先入れ先出し方式で記憶する。即ち、順序メモリ１１２は、最新のＩピクチャとそのＩピクチャの直前にあるＩピクチャに対する特定符号化順情報Ｉｄ１及び特定表示順情報Ｉｐ１を記憶している。

そしてこのような順序メモリ１１２は、記憶している２つのＩピクチャに対する特定符号化順情報Ｉｄ１及び特定表示順情報Ｉｐ１を動き検出部１０１に出力する。
動き検出部１０１は、メモリ１０４〜１０６に格納されている候補ピクチャＲｅｆのうち、画像信号Ｖｉｎに最も近い画像領域を有するものを参照ピクチャとして選択する。そして、動き検出部１０１は、その画像領域の位置を指し示す動きベクトルＭＶを検出する。

さらに、動き検出部１０１は、参照ピクチャを指定するための指定情報ＲＦを用いることにより、メモリ１０４〜１０６のそれぞれに格納された複数の候補ピクチャＲｅｆの中で、何れが画像信号Ｖｉｎに近いか、つまり何れが参照ピクチャとして適切かを指定する。
動き補償部１０２は、動き検出部１０１から出力される指定信号ＲＦに基づいて、メモリ１０４〜１０６に格納されている３つの候補ピクチャＲｅｆと、０の値を持つ候補ピクチャＲｅｆ０とのうち何れかを、参照ピクチャとして扱う。即ち、動き補償部１０２は、指定信号ＲＦが画像信号Ｖｉｎに近い候補ピクチャＲｅｆを指定している場合には、その指定信号ＲＦが指定する候補ピクチャＲｅｆを格納しているメモリからその候補ピクチャＲｅｆを参照ピクチャとして取得し、指定信号ＲＦが画面内予測符号化を指示している場合には、０の値を持つ候補ピクチャＲｅｆ０を取得する。そして動き補償部１０２は、参照ピクチャとして候補ピクチャＲｅｆを取得したときには、取得した参照ピクチャから動きベクトルＭＶを用いて予測画像Ｐｒｅに最適な画像領域を取り出し、その取り出した画像領域から予測画像Ｐｒｅを生成して出力する。一方、候補ピクチャＲｅｆ０を取得したときには、０の値を持つ予測画像Ｐｒｅを生成して出力する。

ここで、本実施の形態における動き検出部１０１は、参照制御部１１３から取得した参照構造情報Ｒｓｉと、ピクチャメモリ１１４から取得した表示順情報Ｐｏｃと、順序メモリ１１２から取得した２つのＩピクチャに対する特定符号化順情報Ｉｄ１及び特定表示順情報Ｉｐ１とに基づいて、符号化対象ピクチャが参照するピクチャを制限する。
図２は、動き検出部１０１によって制限されるピクチャの参照関係を説明するための説明図である。

動き検出部１０１は、上記背景技術で説明した４つの参照関係Ｒｒ１，Ｒｒ２，Ｒｒ３，Ｒｒ４を禁止する。
具体的に、動き検出部１０１は、参照制御部１１３から取得した参照構造情報Ｒｓｉに基づき、アクセスユニットＲＡＵ１から迅速なランダムアクセスを可能とすべきであると判断する。つまり、動き検出部１０１は、そのアクセスユニットＲＡＵ１が、迅速なランダムアクセスが開始可能となるように処理すべき対象であると判断する。そして、動き検出部１０１は、最新の特定符号化順情報Ｉｄ１及び特定表示順情報Ｉｐ１に基づいて特定されるアクセスユニットＲＡＵ１のエントリピクチャＥ１の表示順及び符号化順と、表示順情報Ｐｏｃ及び符号化順情報Ｄｏｃに基づいて特定されるアクセスユニットＲＡＵ１の符号化対象ピクチャの表示順及び符号化順とを比較する。

その結果、符号化対象ピクチャがポストエントリピクチャＰｏ１１，Ｐｏ１２であるときには、動き検出部１０１は、符号化順でエントリピクチャＥ１よりも前のピクチャ、即ちアクセスユニットＲＡＵ０以前のピクチャを参照ピクチャとして選択せずに、他のピクチャを参照ピクチャとして選択する。これにより、アクセスユニットＲＡＵ１において、図２中に示す参照関係Ｒｒ１が禁止される。

また、動き検出部１０１は、符号化対象ピクチャがポストエントリピクチャＰｏ１１，Ｐｏ１２であるときには、符号化順でエントリピクチャＥ１よりも前のピクチャを参照しているアクセスユニットＲＡＵ１内のプリピクチャＰｒ１１を参照ピクチャとして選択せずに、他のピクチャを参照ピクチャとして選択する。これにより、アクセスユニットＲＡＵ１において、図２中に示す参照関係Ｒｒ２が禁止される。

さらに、動き検出部１０１は、アクセスユニットＲＡＵ２内のエントリピクチャＥ２と、そのエントリピクチャＥ２に対応する特定符号化順情報Ｉｄ１及び特定表示順情報Ｉｐ１とを取得して、そのエントリピクチャＥ２を符号化対象ピクチャとして処理した後には、その特定符号化順情報Ｉｄ１及び特定表示順情報Ｉｐ１により特定されるエントリピクチャＥ２の表示順及び符号化順と、表示順情報Ｐｏｃ及び符号化順情報Ｄｏｃに基づいて特定されるアクセスユニットＲＡＵ２の他の符号化対象ピクチャの表示順及び符号化順とを比較する。

その結果、アクセスユニットＲＡＵ２の符号化対象ピクチャがプリエントリピクチャＰｒ２１であるときには、動き検出部１０１は、符号化順でアクセスユニットＲＡＵ１のエントリピクチャＥ１よりも前のピクチャ、即ちアクセスユニットＲＡＵ０以前のピクチャを参照ピクチャとして選択せずに、他のピクチャを参照ピクチャとして選択する。これにより、アクセスユニットＲＡＵ２において、図２中に示す参照関係Ｒｒ３が禁止される。

また、動き検出部１０１は、アクセスユニットＲＡＵ２の符号化対象ピクチャがプリエントリピクチャＰｒ２１であるときには、符号化順でエントリピクチャＥ１よりも前のピクチャを参照するアクセスユニットＲＡＵ１内のプリエントリピクチャＰｒ１１を参照ピクチャとして選択せずに、他のピクチャを参照ピクチャとして選択する。これにより、アクセスユニットＲＡＵ２において、図２中に示す参照関係Ｒｒ４が禁止される。

図３は、動き検出部１０１の概略的な一連の動作を示すフロー図である。なお図３中、アクセスユニットをＲＡＵとして示す。
まず、動き検出部１０１は、参照制御部１１３から参照構造情報Ｒｓｉを取得して、何れのアクセスユニットＲＡＵから迅速なランダムアクセスを可能とすべきかを把握する（ステップＳ１００）。

そして、動き検出部１０１は、符号化対象のアクセスユニットＲＡＵのエントリピクチャを取得すると、そのエントリピクチャに対して画面内予測符号化するように指示する指定情報ＲＦを出力するなどの処理を行う（ステップＳ１０２）。
ここで、動き検出部１０１は、取得した参照構造情報Ｒｓｉに基づいて、その符号化対象のアクセスユニットＲＡＵから迅速なランダムアクセスを可能とすべきか否かを判別する（ステップＳ１０４）。

ランダムアクセスを可能とすべきと判別したときには（ステップＳ１０４のＹ）、動き検出部１０１は、符号化対象のアクセスユニットＲＡＵを、ランダムアクセスの処理対象として扱い、そのアクセスユニットＲＡＵの各ピクチャに対して参照関係Ｒｒ１，Ｒｒ２を成立させることなく参照ピクチャを選択し、動きベクトルＭＶの検出などを行う（ステップＳ１０６）。

次に動き検出部１０１は、未処理のアクセスユニットＲＡＵが存在するか否かを判別し（ステップＳ１０８）、存在すると判別したときには（ステップＳ１０８のＹ）、そのアクセスユニットＲＡＵ（即ち、ステップＳ１０２で符号化対象とされていたアクセスユニットＲＡＵの直後のアクセスユニットＲＡＵ）を符号化対象として扱って、符号化対象アクセスユニットＲＡＵに含まれるエントリピクチャを取得し、そのエントリピクチャに対する処理を行う（ステップＳ１１０）。また、ステップＳ１０８で動き検出部１０１が未処理のアクセスユニットＲＡＵは存在しないと判別したときには（ステップＳ１０８のＮ）、動き検出部１０１は処理動作を終了する。

ここで、動き検出部１０１は、ステップＳ１１０の後、取得した参照構造情報Ｒｓｉに基づいて、その符号化対象アクセスユニットＲＡＵから迅速なランダムアクセスを可能とすべきか否かを判別する（ステップＳ１１２）。
ランダムアクセスを可能とすべきと判別したときには（ステップＳ１１２のＹ）、動き検出部１０１は、符号化対象アクセスユニットＲＡＵの各ピクチャに対して参照関係Ｒｒ１〜Ｒｒ４を成立させることなく参照ピクチャを選択し、動きベクトルＭＶの検出などを行う（ステップＳ１１４）。その後、動き検出部１０１は、ステップＳ１０８からの動作を繰り返し実行する。

また、ステップＳ１１２で動き検出部１０１が、迅速なランダムアクセスを可能とすべきではないと判別したときには（ステップＳ１１２のＮ）、動き検出部１０１は、符号化対象アクセスユニットＲＡＵの各ピクチャに対して参照関係Ｒｒ３，Ｒｒ４を成立させることなく参照ピクチャを選択し、動きベクトルＭＶの検出などを行う（ステップＳ１１６）。その後、動き検出部１０１は、未処理のアクセスユニットＲＡＵが存在するか否かを判別し（ステップＳ１１８）、存在すると判別したときには（ステップＳ１１８のＹ）、ステップＳ１０２からの動作を繰り返し実行し、存在しないと判別したときには（ステップＳ１１８のＮ）、処理動作を終了する。

さらに、ステップＳ１０４で動き検出部１０１が、符号化対象のアクセスユニットＲＡＵから迅速なランダムアクセスを可能とすべきでないと判別したときには（ステップＳ１０４のＮ）、そのアクセスユニットＲＡＵの各ピクチャに対して制限を設けることなく参照ピクチャを選択し、動きベクトルＭＶの検出などを行い（ステップＳ１２０）、その後、ステップＳ１１８からの動作を実行する。

図４は、動き検出部１０１の図３中に示すステップＳ１０６の詳細な動作を示すフロー図である。
まず、動き検出部１０１は、符号化対象ピクチャがポストエントリピクチャか否かを判別する（ステップＳ２００）。
ポストエントリピクチャであると判別したときには（ステップＳ２００のＹ）、動き検出部１０１は符号化順でエントリピクチャよりも前のピクチャを参照するのを禁止する。つまり、動き検出部１０１は参照関係Ｒｒ１を禁止する（ステップＳ２０２）。

一方、ポストエントリピクチャでないと判別したときには（ステップＳ２００のＮ）、動き検出部１０１は参照関係Ｒｒ１，Ｒｒ２の制限を設けることなく符号化対象ピクチャに対して参照ピクチャを選択し、動きベクトルＭＶの検出などの処理を行う（ステップＳ２０８）。
また、ステップＳ２０２の後、動き検出部１０１は、符号化対象のアクセスユニットＲＡＵにおいて、プリエントリピクチャが符号化順でエントリピクチャよりも前のピクチャを参照しているか否かを判別する（ステップＳ２０４）。

ここで、前のピクチャを参照していると判別したときには（ステップＳ２０４のＹ）、動き検出部１０１は、そのプリエントリピクチャを参照するのを禁止する。つまり動き検出部１０１は、参照関係Ｒｒ２を禁止する（ステップＳ２０６）。また、前のピクチャを参照していないと判別したときには（ステップＳ２０４のＮ）、動き検出部１０１は、参照関係Ｒｒ１を禁止するという制限下において、符号化対象ピクチャに対して参照ピクチャを選択し、動きベクトルＭＶの検出などの処理を行う（ステップＳ２０８）。

また、ステップＳ２０６の後には、動き検出部１０１は、参照関係Ｒｒ１，Ｒｒ２を禁止するという制限下において、符号化対象ピクチャに対して参照ピクチャを選択し、動きベクトルＭＶの検出などの処理を行う（ステップＳ２０８）。
図５は、動き検出部１０１の図３中に示すステップＳ１１６の詳細な動作を示すフロー図である。

まず、動き検出部１０１は、符号化対象ピクチャがプリエントリピクチャか否かを判別する（ステップＳ３００）。
プリエントリピクチャであると判別したときには（ステップＳ３００のＹ）、動き検出部１０１は直前にあるアクセスユニットＲＡＵのエントリピクチャよりも符号化順で前のピクチャを参照するのを禁止する。つまり、動き検出部１０１は参照関係Ｒｒ３を禁止する（ステップＳ３０２）。

一方、プリエントリピクチャでないと判別したときには（ステップＳ３００のＮ）、動き検出部１０１は参照関係Ｒｒ３，Ｒｒ４の制限を設けることなく符号化対象ピクチャに対して参照ピクチャを選択し、動きベクトルＭＶの検出などの処理を行う（ステップＳ３０８）。
また、ステップＳ３０２の後、動き検出部１０１は、直前のアクセスユニットＲＡＵにおいて、プリエントリピクチャが符号化順でエントリピクチャよりも前のピクチャを参照しているか否かを判別する（ステップＳ３０４）。

ここで、前のピクチャを参照していると判別したときには（ステップＳ３０４のＹ）、動き検出部１０１は、そのプリエントリピクチャを参照するのを禁止する。つまり動き検出部１０１は、参照関係Ｒｒ４を禁止する（ステップＳ３０６）。また、前のピクチャを参照していないと判別したときには（ステップＳ３０４のＮ）、動き検出部１０１は、参照関係Ｒｒ３を禁止するという制限下において、符号化対象ピクチャに対して参照ピクチャを選択し、動きベクトルＭＶの検出などの処理を行う（ステップＳ３０８）。

また、ステップＳ３０６の後には、動き検出部１０１は、参照関係Ｒｒ３，Ｒｒ４を禁止するという制限下において、符号化対象ピクチャに対して参照ピクチャを選択し、動きベクトルＭＶの検出などの処理を行う（ステップＳ３０８）。

図６は、動き検出部１０１の図３中に示すステップＳ１１４の詳細な動作を示すフロー図である。
動き検出部１０１は全体的に、図４に示すステップＳ２００〜Ｓ２０８の動作と、図５に示すステップＳ３００〜Ｓ３０８の動作とを行う。
具体的に、動き検出部１０１は、符号化対象ピクチャがプリエントリピクチャかポストエントリピクチャかを判別する（ステップＳ４００）。
符号化対象ピクチャがポストエントリピクチャであると判別したときには、動き検出部１０１は、符号化対象アクセスユニットＲＡＵにおいて、符号化順でエントリピクチャよりも前のピクチャを参照するのを禁止する。つまり、動き検出部１０１は参照関係Ｒｒ１を禁止する（ステップＳ４０２）。

次に、動き検出部１０１は、符号化対象のアクセスユニットＲＡＵにおいて、プリエントリピクチャが符号化順でエントリピクチャよりも前のピクチャを参照しているか否かを判別する（ステップＳ４０４）。
ここで、前のピクチャを参照していると判別したときには（ステップＳ４０４のＹ）、動き検出部１０１は、そのプリエントリピクチャを参照するのを禁止する。つまり動き検出部１０１は、参照関係Ｒｒ２を禁止する（ステップＳ４０６）。また、前のピクチャを参照していないと判別したときには（ステップＳ４０４のＮ）、動き検出部１０１は、参照関係Ｒｒ１を禁止するという制限下において、符号化対象ピクチャに対して参照ピクチャを選択し、動きベクトルＭＶの検出などの処理を行う（ステップＳ４１４）。

また、ステップＳ４０６の後には、動き検出部１０１は、参照関係Ｒｒ１，Ｒｒ２を禁止するという制約下において、符号化対象ピクチャに対して参照ピクチャを選択し、動きベクトルＭＶの検出などの処理を行う（ステップＳ４１４）。
一方、ステップＳ４００で符号化対象ピクチャがプリエントリピクチャであると判別したときには、動き検出部１０１は、直前のアクセスユニットＲＡＵにおいて、符号化順でエントリピクチャよりも前のピクチャを参照するのを禁止する。つまり、動き検出部１０１は参照関係Ｒｒ３を禁止する（ステップＳ４０８）。

次に、動き検出部１０１は、直前のアクセスユニットＲＡＵにおいて、プリエントリピクチャが符号化順でエントリピクチャよりも前のピクチャを参照しているか否かを判別する（ステップＳ４１０）。
ここで、前のピクチャを参照していると判別したときには（ステップＳ４１０のＹ）、動き検出部１０１は、そのプリエントリピクチャを参照するのを禁止する。つまり動き検出部１０１は、参照関係Ｒｒ４を禁止する（ステップＳ４１２）。また、前のピクチャを参照していないと判別したときには（ステップＳ４１０のＮ）、動き検出部１０１は、参照関係Ｒｒ３を禁止するという制限下において、符号化対象ピクチャに対して参照ピクチャを選択し、動きベクトルＭＶの検出などの処理を行う（ステップＳ４１４）。

また、ステップＳ４１２の後には、動き検出部１０１は、参照関係Ｒｒ３，Ｒｒ４を禁止するという制限下において、符号化対象ピクチャに対して参照ピクチャを選択し、動きベクトルＭＶの検出などの処理を行う（ステップＳ４１４）。
図７は、本実施の形態における画像符号化装置１００が出力する画像符号化信号Ｓｔｒの構成を示す構成図である。

画像符号化信号Ｓｔｒは、先頭から順に、同期を取るために必要な同期信号ｓｙｎと、参照構造情報Ｒｓｉと、複数のアクセスユニットＲＡＵとを含んで構成される。そして、アクセスユニットＲＡＵは、先頭から順に、同期信号ｓｙｎと、複数のピクチャＰｉｃとから構成される。
このように、本実施の形態では、処理対象のアクセスユニットに含まれるポストエントリピクチャが参照関係Ｒｒ１，Ｒｒ２を有さず、且つ直後のアクセスユニットに含まれるプリエントリピクチャが参照関係Ｒｒ３，Ｒｒ４を有さないように参照関係が制限されるため、画像符号化信号Ｓｔｒを取得した画像復号化装置は、その処理対象のアクセスユニットの前にあるピクチャを復号化することを要さずに、その処理対象のアクセスユニットから迅速にランダムアクセスを開始することができる。

また、処理対象のアクセスユニットのプリエントリピクチャは、符号化順でエントリピクチャよりも前のピクチャ、つまり処理対象のアクセスユニットよりも前のアクセスユニットに含まれるピクチャを参照しても良く、背景技術で説明したようにＩＤＲ１を配置してアクセスユニットを跨るようなピクチャの参照関係を禁止することがなく、さらに、ＭＰＥＧ−２のように参照するピクチャを直前や直後にあるピクチャに限定することがないため、画像信号Ｖｉｎの符号化における圧縮効率の低下を防ぐことができる。

なお、本実施の形態では、参照関係Ｒｒ２，Ｒｒ４を禁止したように、プリエントリピクチャが符号化順でエントリピクチャの前のピクチャを参照している場合に、そのプリエントリピクチャを参照ピクチャとして選択しないようにしたが、プリエントリピクチャが符号化順でエントリピクチャの前のピクチャを参照しているか否かに関わらず、そのプリエントリピクチャを参照ピクチャとして選択しないようにしても良い。

また、本実施の形態では、順序メモリ１１２を備えたが、動き検出部１０１に順序メモリ１１２の機能を兼ね備えて、順序メモリ１１２を省いても良い。
さらに、本実施の形態では、候補ピクチャＲｅｆを格納するメモリを例示的に３つだけ備えたが、４つ以上のメモリを備えても良い。

（変形例１）
本変形例に係る画像符号化信号は、アクセスユニットごとに参照構造情報を含み、その参照構造情報は、対応するアクセスユニットから迅速にランダムアクセスを開始できるか否かを示す。

図８は、上記本変形例に係る画像符号化信号の構成を示す構成図である。
本変形例に係る画像符号化信号Ｓｔｒ１は、先頭から順に、同期信号ｓｙｎと、複数のアクセスユニットＲＡＵ０１とを含んで構成されている。
そして、アクセスユニットＲＡＵ０１は、先頭から順に、同期信号ｓｙｎと、参照構造情報Ｒｓｉ１と、複数のピクチャＰｉｃとを含んで構成される。そして、参照構造情報Ｒｓｉ１は、そのアクセスユニットＲＡＵ０１から迅速なランダムアクセスを開始できるか否かを示す。即ち、参照制御部１１３は、各アクセスユニットＲＡＵ０１に対して、迅速なランダムアクセスが開始可能なユニットとして処理すべき対象であるか否かを示す参照構造情報Ｒｓｉ１を出力する。

図９は、画像符号化信号Ｓｔｒ１を生成する画像符号化装置１００の動作を示すフロー図である。
まず、画像符号化装置１００は、画像信号Ｖｉｎを取得して、エントリピクチャを符号化するタイミングであるか否かを判別する（ステップＳ５００）。
エントリピクチャを符号化するタイミングであると判別したときには（ステップＳ５００のＹ）、そのエントリピクチャの属するアクセスユニットＲＡＵ０１から迅速なランダムアクセスを開始できるか否かを示す参照構造情報Ｒｓｉ１を符号化する（ステップＳ５０２）。

また、エントリピクチャを符号化するタイミングでないと判別したとき（ステップＳ５００のＮ）、及びステップＳ５０２の後には、画像符号化装置１００はピクチャの符号化を行う（ステップＳ５０４）。
次に、画像符号化装置１００は、符号化処理をしていないピクチャがあるか否かを判別し（ステップＳ５０６）、あると判別したときには（ステップＳ５０６のＹ）、ステップＳ５００からの動作を繰り返し実行し、ないと判別したときには（ステップＳ５０６のＮ）、処理動作を終了する。

なお、本変形例に係る画像符号化装置１００は、画像符号化信号Ｓｔｒ１の各アクセスユニットＲＡＵ０１に、参照構造情報Ｒｓｉ１を含むランダムアクセスポイント情報（以下、単にポイント情報という）と、アクセスユニットＲＡＵ０１に含まれる各ピクチャの符号化に必要な情報であるパラメータセットとを含めても良い。なお、ポイント情報とは、アクセスユニットＲＡＵ０１の先頭側に配置されるものであって、復号すべきピクチャや表示すべきピクチャを示す。

図１０は、ポイント情報とパラメータセットとを含む画像符号化信号Ｓｔｒ１を生成する画像符号化装置１００の動作を説明するフロー図である。
まず、画像符号化装置１００は、画像信号Ｖｉｎを取得して、エントリピクチャを符号化するタイミングであるか否かを判別する（ステップＳ５２０）。
エントリピクチャを符号化するタイミングであると判別したときには（ステップＳ５２０のＹ）、画像符号化装置１００は、参照構造情報Ｒｓｉ１を含むポイント情報を符号化し（ステップＳ５２２）、さらに、パラメータセットを符号化する（ステップＳ５２４）。そして、画像符号化装置１００は、エントリピクチャを画面内予測符号化する（ステップＳ５２６）。

また、エントリピクチャを符号化するタイミングでないと判別したときには（ステップＳ５２０のＮ）、エントリピクチャ以外のピクチャを符号化する（ステップＳ５２８）。
ステップＳ５２６及びステップＳ５２８の後、画像符号化装置１００は符号化処理をしていないピクチャがあるか否かを判別し（ステップＳ５３０）、あると判別したときには（ステップＳ５３０のＹ）、ステップＳ５２０からの動作を繰り返し実行し、ないと判別したときには（ステップＳ５３０のＮ）、処理動作を終了する。

このように本変形例では、参照構造情報Ｒｓｉよりも情報量の少ない参照構造情報Ｒｓｉ１を符号化する度に画像符号化信号Ｓｔｒ１のアクセスユニットＲＡＵ０１に配置するため、参照構造情報Ｒｓｉ１を記憶するための記憶領域を、参照構造情報Ｒｓｉを記憶するための記憶領域よりも小さくすることができ、その結果、画像符号化装置１００全体の小型化を図ることができる。

（変形例２）
本変形例に係る参照構造情報は、変形例１のように、単に対応するアクセスユニットから迅速なランダムアクセスを開始することができるか否かを示すものではなく、対応するアクセスユニットに含まれる各ピクチャの参照範囲を示す。

図１１は、本変形例に係る参照構造情報に含まれる内容を示す情報内容表示図である。
図１１中の（ａ）〜（ｃ）に示す参照構造情報Ｒｓｉ２は、アクセスユニットＲＡＵ１２に対応するものである。
図１１中の（ａ）に示す参照構造情報Ｒｓｉ２は、プリエントリピクチャＰｒ２１に対して参照関係Ｒｒ１，Ｒｒ２が禁止された参照範囲と、ポストエントリピクチャＰｏ２１，Ｐｏ２２に対して参照関係Ｒｒ３，Ｒｒ４が禁止された参照範囲とを示す。

即ち、参照構造情報Ｒｓｉ２で示されたプリエントリピクチャＰｒ２１の参照の対象となるピクチャは、エントリピクチャＥ２と、エントリピクチャＥ１と、ポストエントリピクチャＰｏ１１，Ｐｏ１２とのうち何れかである。参照構造情報Ｒｓｉ２で示されたポストエントリピクチャＰｏ２１の参照の対象となるピクチャは、エントリピクチャＥ２である。参照構造情報Ｒｓｉ２で示されたポストエントリピクチャＰｏ２２の参照の対象となるピクチャは、エントリピクチャＥ２と、ポストエントリピクチャＰｏ２１とのうち何れかである。

図１１中の（ｂ）に示す参照構造情報Ｒｓｉ２は、プリエントリピクチャＰｒ２１に対して参照関係Ｒｒ１が禁止された参照範囲と、ポストエントリピクチャＰｏ２１，Ｐｏ２２に対して参照関係Ｒｒ４が禁止された参照範囲とを示す。
即ち、参照構造情報Ｒｓｉ２で示されたプリエントリピクチャＰｒ２１の参照の対象となるピクチャは、エントリピクチャＥ２と、エントリピクチャＥ１と、ポストエントリピクチャＰｏ１１，Ｐｏ１２と、アクセスユニットＲＡＵ１０以前のピクチャとのうち何れかである。参照構造情報Ｒｓｉ２で示されたポストエントリピクチャＰｏ２１の参照の対象となるピクチャは、エントリピクチャＥ２とプリエントリピクチャＰｒ２１とのうち何れかである。参照構造情報Ｒｓｉ２で示されたポストエントリピクチャＰｏ２２の参照の対象となるピクチャは、エントリピクチャＥ２と、ポストエントリピクチャＰｏ２１と、プリエントリピクチャＰｒ２１とのうち何れかである。

図１１中の（ｃ）に示す参照構造情報Ｒｓｉ２は、プリエントリピクチャＰｒ２１に対して参照関係についての制限が設けられていない参照範囲と、ポストエントリピクチャＰｏ２１，Ｐｏ２２に対して参照関係についての制限が設けられていない参照範囲とを示す。
即ち、参照構造情報Ｒｓｉ２で示されたプリエントリピクチャＰｒ２１の参照の対象となるピクチャは、エントリピクチャＥ２，Ｅ１と、ポストエントリピクチャＰｏ１１，Ｐｏ１２と、プリエントリピクチャＰｒ１１と、アクセスユニットＲＡＵ１０以前のピクチャとのうち何れかである。参照構造情報Ｒｓｉ２で示されたポストエントリピクチャＰｏ２１の参照の対象となるピクチャは、エントリピクチャＥ２，Ｅ１と、プリエントリピクチャＰｒ２１，Ｐｒ１１と、ポストエントリピクチャＰｏ１１，Ｐｏ１２と、アクセスユニットＲＡＵ１０以前のピクチャとのうち何れかである。参照構造情報Ｒｓｉ２で示されたポストエントリピクチャＰｏ２２の参照の対象となるピクチャは、エントリピクチャＥ２，Ｅ１と、プリエントリピクチャＰｒ２１，Ｐｒ１１と、ポストエントリピクチャＰｏ１１，Ｐｏ１２，Ｐｏ２１と、アクセスユニットＲＡＵ１０以前のピクチャとのうち何れかである。なお、図１１では、各ピクチャの参照範囲を表示順で示したが符号化順で示しても良い。

図１２は、上記参照構造情報Ｒｓｉ２を含む画像符号化信号の構成を示す構成図である。
この参照構造情報Ｒｓｉ２を含む画像符号化信号Ｓｔｒ２は、先頭から順に、同期信号ｓｙｎと、アクセスユニットＲＡＵ１０，ＲＡＵ１１，ＲＡＵ１２とを含んで構成されている。

アクセスユニットＲＡＵ１１は、先頭から順に、同期信号ｓｙｎと、参照構造情報Ｒｓｉ２と、エントリピクチャＥ１と、プリエントリピクチャＰｒ１１と、ポストエントリピクチャＰｏ１１，Ｐｏ１２とを含んで構成されている。アクセスユニットＲＡＵ１２は、先頭から順に、同期信号ｓｙｎと、参照構造情報Ｒｓｉ２と、エントリピクチャＥ２と、プリエントリピクチャＰｒ２１と、ポストエントリピクチャＰｏ２１，Ｐｏ２２とを含んで構成されている。

そして、アクセスユニットＲＡＵ１１に含まれる参照構造情報Ｒｓｉ２は、プリエントリピクチャＰｒ１１とポストエントリピクチャＰｏ１１，Ｐｏ１２とに対する参照範囲を示している。また、アクセスユニットＲＡＵ１２に含まれる参照構造情報Ｒｓｉ２は、プリエントリピクチャＰｒ２１とポストエントリピクチャＰｏ２１，Ｐｏ２２とに対する参照範囲を示している。

即ち、本変形例に係る画像符号化信号Ｓｔｒ２を取得した画像復号化装置は、アクセスユニットＲＡＵ１１の参照構造情報Ｒｓｉ２に基づいて、ポストエントリピクチャＰｏ１１，Ｐｏ１２の参照範囲を把握するとともに、アクセスユニットＲＡＵ１２の参照構造情報Ｒｓｉ２に基づいて、プリエントリピクチャＰｒ２１の参照範囲を把握する。そして、画像復号化装置は、その参照範囲の把握結果から、ポストエントリピクチャＰｏ１１，Ｐｏ１２に対して参照関係Ｒｒ１，Ｒｒ２が成立せず、プリエントリピクチャＰｒ２１に対して参照関係Ｒｒ３，Ｒｒ４が成立していないと判断したときには、アクセスユニットＲＡＵ１１から迅速にランダムアクセスすることが可能であると判断する。

なお、本変形例では、参照構造情報Ｒｓｉ２は、その参照構造情報Ｒｓｉ２が属するアクセスユニットに含まれる各ピクチャの参照範囲を示したが、他のアクセスユニットに含まれるピクチャの参照範囲を示しても良い。
図１３は、参照構造情報Ｒｓｉ２が、自らの属するアクセスユニットに含まれるピクチャの参照範囲と他のアクセスユニットに含まれるピクチャの参照範囲とを示す様子を説明するための説明図である。

アクセスユニットＲＡＵ１１に含まれる参照構造情報Ｒｓｉ２は、ポストエントリピクチャＰｏ１１，Ｐｏ１２に対する参照範囲と、アクセスユニットＲＡＵ１２に含まれるプリエントリピクチャＰｒ２１に対する参照範囲とを示している。
これにより、画像符号化信号Ｓｔｒ２を取得した画像復号化装置は、アクセスユニットＲＡＵ１１の参照構造情報Ｒｓｉ２のみに基づいて、ポストエントリピクチャＰｏ１１，Ｐｏ１２の参照範囲を把握するとともに、プリエントリピクチャＰｒ２１の参照範囲を把握し、アクセスユニットＲＡＵ１１から迅速にランダムアクセスすることが可能であるか否かを判断することができる。

なお、本変形例では、参照構造情報Ｒｓｉ２は各ピクチャの参照範囲を示したが、各ピクチャに対する参照関係の制限レベルを示しても良い。例えば、所定のポストエントリピクチャに対して、参照構造情報Ｒｓｉ２は制限レベル０、制限レベル１、又は制限レベル２を示す。制限レベル０は、そのポストエントリピクチャが参照関係Ｒｒ１，Ｒｒ２を有していないことを意味し、制限レベル１は、そのポストエントリピクチャが参照関係Ｒｒ１を有していないことを意味し、制限レベル２は、そのポストエントリピクチャが参照の制限を受けていないことを意味する。また、所定のプリエントリピクチャに対して、参照構造情報Ｒｓｉ２は制限レベル０、制限レベル１、又は制限レベル２を示す。制限レベル０は、そのプリエントリピクチャが参照関係Ｒｒ３，Ｒｒ４を有していないことを意味し、制限レベル１は、そのプリエントリピクチャが参照関係Ｒｒ３を有していないことを意味し、制限レベル２は、そのプリエントリピクチャが参照の制限を受けていないことを意味する。

このような参照構造情報Ｒｓｉ２を取得した画像復号化装置は、その参照構造情報Ｒｓｉ２に基づいて、ポストエントリピクチャが参照関係Ｒｒ１，Ｒｒ２を有しているか否かを判別するとともに、プリエントリピクチャが参照関係Ｒｒ３，Ｒｒ４を有しているか否かを判別する。

（変形例３）
本変形例に係る画像符号化信号は、参照構造情報を含まずに構成され、メディアデータを構成する信号として記憶媒体に記憶されている。

図１４は、記憶媒体に記憶されているメディアデータの構成を示す構成図である。
メディアデータｍｅｄは、先頭から順に、ヘッダｈｅｄと、参照構造情報Ｒｓｉと、複数の画像符号化信号Ｓｔｒ３とを含んで構成されている。
画像符号化信号Ｓｔｒ３は、先頭から順に、同期信号ｓｙｎと、複数のアクセスユニットＲＡＵとを含んで構成されている。

アクセスユニットＲＡＵは、先頭から順に、同期信号ｓｙｎと、複数のピクチャＰｉｃとを含んで構成されている。
即ち、画像復号化装置は、記憶媒体に記憶されているメディアデータｍｅｄから参照構造情報Ｒｓｉを取得し、その参照構造情報Ｒｓｉに基づいて各画像符号化信号Ｓｔｒ３の何れのアクセスユニットＲＡＵから迅速にランダムアクセスすることが可能かを特定する。

（変形例４）
本変形例に係る画像符号化装置１００は、参照構造情報を含まない画像符号化信号Ｓｔｒ３と、画像符号化信号Ｓｔｒ３の各アクセスユニットＲＡＵに対応する参照構造情報Ｒｓｉ２から構成される参照テーブルとを生成して出力する。

図１５は、画像符号化信号Ｓｔｒ３と参照テーブルとの構成を示す構成図である。
参照テーブルＲｓｉＴは、画像符号化信号Ｓｔｒ３の各アクセスユニットＲＡＵにそれぞれ一対一に対応する複数の参照構造情報Ｒｓｉ２を含んで構成されている。例えば、画像符号化信号Ｓｔｒ３の各アクセスユニットＲＡＵと、参照テーブルＲｓｉＴの各参照構造情報Ｒｓｉ２とはそれぞれ先頭からの順番で対応している。つまり、画像符号化信号Ｓｔｒ３の１番目のアクセスユニットＲＡＵは、参照テーブルＲｓｉＴの１番目の参照構造情報Ｒｓｉ２に対応しており、２番目のアクセスユニットＲＡＵは、２番目の参照構造情報Ｒｓｉ２に対応している。

なお、本変形例では、参照テーブルＲｓｉＴを複数の参照構造情報Ｒｓｉ２から構成したが、参照構造情報Ｒｓｉ２の代わりに参照構造情報Ｒｓｉ１から構成しても良い。また、画像符号化装置１００は、参照構造情報を符号化せずに、その符号化していない参照構造情報から参照テーブルＲｓｉＴを生成しても良い。

（変形例５）
本変形例に係る画像符号化装置１００は、参照構造情報Ｒｓｉ２を識別するための参照識別情報を含む画像符号化信号と、参照テーブルＲｓｉＴとを出力する。

図１６は、参照識別情報を含む画像符号化信号の構成を示す構成図である。
この画像符号化信号Ｓｔｒ４は、先頭から順に、同期信号ｓｙｎと、アクセスユニットＲＡＵ２１と、アクセスユニットＲＡＵ２２とを含んで構成されている。
アクセスユニットＲＡＵ２２は、先頭から順に、同期信号ｓｙｎと、参照構造情報Ｒｓｉ２を識別するための参照識別情報ＲＩＤと、複数のピクチャＰｉｃとを含んで構成されている。

参照識別情報ＲＩＤは、例えば、参照テーブルＲｓｉＴの先頭から２番目の参照構造情報Ｒｓｉ２を指し示す。
即ち、画像符号化信号Ｓｔｒ４と参照テーブルＲｓｉＴとを取得した画像復号化装置は、アクセスユニットＲＡＵ２２に含まれる参照識別情報ＲＩＤから、参照テーブルＲｓｉＴの２番目の参照構成情報Ｒｓｉ２を特定する。そして画像復号化装置は、その特定した参照構成情報Ｒｓｉ２に基づいてアクセスユニットＲＡＵ２２に含まれる各ピクチャの参照範囲を把握する。

また、アクセスユニットＲＡＵ２１の参照識別情報ＲＩＤが、アクセスユニットＲＡＵ２２の参照識別情報ＲＩＤと同じ先頭から２番目の参照構造情報Ｒｓｉ２を指し示しても良い。
このように本変形例では、アクセスユニットに参照識別情報ＲＩＤを含めることにより、複数のアクセスユニットに１つの参照構造情報Ｒｓｉ２を対応付けることができるため、参照テーブルＲｓｉＴに同じ内容の参照構造情報Ｒｓｉ２を含めることを要さず、参照テーブルＲｓｉＴの情報量を少なくすることができる。

（変形例６）
本変形例に係る画像符号化装置１００は、参照構造情報を含まない画像符号化信号Ｓｔｒ３と、参照テーブルＲｓｉＴと、参照識別情報ＲＩＤから構成される識別テーブルとを出力する。

図１７は、識別テーブルの構成を示す構成図である。
識別テーブルＲＩＤＴは、複数の参照識別情報ＲＩＤを含んで構成される。先頭の参照識別情報ＲＩＤは、例えば、参照テーブルＲｓｉＴの先頭から３番目の参照構成情報Ｒｓｉ２を指し示し、先頭から２番目の参照識別情報ＲＩＤは、例えば、参照テーブルＲｓｉＴの先頭から２番目の参照構成情報Ｒｓｉ２を指し示す。

また、識別テーブルＲＩＤＴに含まれる各参照識別情報ＲＩＤは、先頭から順にそれぞれ、画像符号化信号Ｓｔｒ３の先頭側から順に２つのアクセスユニットＲＡＵに対応している。つまり、先頭の参照識別情報ＲＩＤは、画像符号化信号Ｓｔｒ３の先頭から１番目及び２番目のアクセスユニットＲＡＵに対応し、２番目の参照識別情報ＲＩＤは、画像符号化信号Ｓｔｒ３の先頭から３番目及び４番目のアクセスユニットＲＡＵに対応している。

即ち、画像符号化信号Ｓｔｒ３と参照テーブルＲｓｉＴと識別テーブルＲＩＤＴとを取得した画像復号化装置は、画像符号化信号Ｓｔｒ３の先頭のアクセスユニットＲＡＵに対応する識別テーブルＲＩＤＴの先頭の参照識別情報ＲＩＤに基づいて、参照テーブルＲｓｉＴの３番目の参照構造情報Ｒｓｉ２を特定する。そして画像復号化装置は、その特定した参照構造情報Ｒｓｉ２に基づいて、先頭のアクセスユニットＲＡＵに含まれる各ピクチャの参照範囲を把握する。

（実施の形態２）
図１８は、本発明の第２の実施の形態における画像復号化装置の構成を示すブロック図である。
本実施の形態における画像復号化装置１５０は、実施の形態１の画像符号化装置１００によって生成された画像符号化信号Ｓｔｒを復号化するものであって、符号化部１５１と、加算器１５３と、選択部１５４と、メモリ１５５〜１５７と、動き補償部１５８と、決定部１５９と、抽出部１６０とを備えている。

抽出部１６０は、画像符号化装置１００から画像符号化信号Ｓｔｒを取得するとこれを一時的に蓄積する。そして、抽出部１６０は、まず、取得した画像符号化信号Ｓｔｒのうち参照構造情報Ｒｓｉを復号化部１５１に出力する。次に抽出部１６０は、決定部１５９からの指示に基づき画像符号化信号Ｓｔｒに含まれるアクセスユニットＲＡＵを復号化部１５１に出力する。

復号化部１５１は、抽出部１６０から参照構造情報Ｒｓｉを取得すると、その参照構造情報Ｒｓｉを復号化して決定部１５９に出力する。さらに、復号化部１５１は、抽出部１６０から画像符号化信号Ｓｔｒに含まれる各アクセスユニットＲＡＵを取得すると、その各アクセスユニットを復号化して、復号差分画像信号ＲＤｉｆと、動きベクトルＭＶと、指定情報ＲＦとを出力する。

決定部１５９は、復号化部１５１から復号化された参照構造情報Ｒｓｉを取得すると、その参照構造情報Ｒｓｉに基づいて、画像符号化信号Ｓｔｒに含まれるアクセスユニットＲＡＵのうち、何れから迅速にランダムアクセスすることが可能かを特定する。即ち、決定部１５９は、迅速なランダムアクセスを開始することが可能なアクセスユニットＲＡＵを決定する。

そして、決定部１５９は、例えばユーザの操作に応じて、ランダムアクセスの開始位置となるアクセスユニットＲＡＵを指定する指定信号ＥＭを抽出部１５９に出力する。
即ち、上述の抽出部１６０は、この指定信号ＥＭによって指定されたアクセスユニットＲＡＵから順に、画像符号化信号Ｓｔｒに含まれる各アクセスユニットＲＡＵを復号化部１５１に出力するのである。

加算器１５３は、復号差分画像信号ＲＤｉｆに予測画像Ｐｒｅを加算して、復号画像信号Ｖｏｕｔを出力する。
選択部１５４は、復号画像信号Ｖｏｕｔを後続のピクチャの復号化で参照ピクチャとして利用するため、メモリ１５５〜１５７のうち何れかを選択してそのメモリに対して復号画像信号Ｖｏｕｔを出力する。例えば、選択部１５４は、メモリ１５５〜１５７のうち最も古い復号画像信号Ｖｏｕｔを格納しているものを選択する。

メモリ１５５〜１５７は、選択部１５４から復号画像信号Ｖｏｕｔを取得して、これを参照ピクチャの候補となる候補ピクチャＲｅｆとして格納する。またメモリ１５５〜１５７は、新たな候補ピクチャＲｅｆを格納するときには、既に格納されている最も古い候補ピクチャＲｅｆを消去する。
動き補償部１５８は、復号化部１５１から出力される指定信号ＲＦに基づいて、メモリ１５５〜１５７に格納されている３つの候補ピクチャＲｅｆと、０の値を持つ候補ピクチャＲｅｆ０とのうち何れかを、参照ピクチャとして扱う。即ち、動き補償部１５８は、指定信号ＲＦが画像信号Ｖｉｎに近い候補ピクチャＲｅｆを指定している場合には、その指定信号ＲＦが指定する候補ピクチャＲｅｆを格納しているメモリからその候補ピクチャＲｅｆを取得する。一方、指定信号ＲＦが画面内予測符号化を指示している場合には、動き補償部１５８は、０の値を持つ候補ピクチャＲｅｆ０を取得する。そして動き補償部１５８は、参照ピクチャとして候補ピクチャＲｅｆを取得したときには、取得した参照ピクチャから動きベクトルＭＶを用いて予測画像Ｐｒｅに最適な画像領域を取り出し、その取り出した画像領域から予測画像Ｐｒｅを生成して出力する。一方、候補ピクチャＲｅｆ０を取得したときには、０の値を持つ予測画像Ｐｒｅを生成して出力する。

図１９は、画像復号化装置１５０の概略的な動作を示すフロー図である。
まず、画像復号化装置１５０は、画像符号化信号Ｓｔｒに含まれる参照構造情報Ｒｓｉを取得して復号化する（ステップＳ６００）。この参照構造情報Ｒｓｉに基づいて、画像復号化装置１５０は、迅速なランダムアクセスを開始可能なアクセスユニットＲＡＵを特定する（ステップＳ６０２）。そして、画像復号化装置１５０は、特定されたアクセスユニットＲＡＵのうち、ユーザから指定されたアクセスユニットＲＡＵから各ピクチャの復号化を行う（ステップＳ６０４）。

このように本実施の形態における画像復号化装置１５０は、画像符号化信号Ｓｔｒに含まれる参照構造情報Ｒｓｉに基づいて、迅速なランダムアクセスを開始可能なアクセスユニットＲＡＵを特定することができるとともに、その特定されたアクセスユニットＲＡＵから、その前のピクチャを復号することなく、迅速にランダムアクセスすることができる。

なお、画像復号化装置１５０は、実施の形態１の変形例１に係る画像符号化信号Ｓｔｒ１に対して復号化を行っても良い。
この場合、参照構造情報Ｒｓｉ１がアクセスユニットＲＡＵ０１ごとに含まれているため、抽出部１６０は、まず各アクセスユニットＲＡＵ０１に含まれる参照構造情報Ｒｓｉ１を復号化部１５１に出力する。そして、決定部１５９は、復号化された各参照構造情報Ｒｓｉ１に基づいて、迅速なランダムアクセスを開始することが可能なアクセスユニットＲＡＵ０１を決定する。

また、上記決定、つまり迅速なランダムアクセスが可能か否かの判別を復号化部１５１にさせても良い。この場合には、決定部１５９が所定のアクセスユニットＲＡＵ０１を抽出部１６０に指示すると、抽出部１６０は、そのアクセスユニットＲＡＵ０１に含まれる参照構造情報Ｒｓｉ１を復号化部１５１に出力する。そして、復号化部１５１は、その参照構造情報Ｒｓｉ１を復号し、その復号した参照構造情報Ｒｓｉ１に基づいて、その参照構造情報Ｒｓｉ１を含むアクセスユニットＲＡＵ０１からの迅速なランダムアクセスが可能であるか否かを判別する。ランダムアクセス可能であると判別したときには、復号化部１５１は、そのアクセスユニットＲＡＵ０１以降にある各アクセスユニットＲＡＵ０１を抽出部１６０から出力させて復号化を行う。

ここでさらに、そのアクセスユニットＲＡＵ０１に、参照構造情報Ｒｓｉ１を含む上述のポイント情報と、パラメータセットとが含まれている場合には、画像復号化装置１５０はそれらの復号化も行う。
図２０は、画像復号化装置１５０がポイント情報及びパラメータセットを含む画像符号化信号Ｓｔｒ１を符号化する動作を示すフロー図である。なお、図２０中、アクセスユニットＲＡＵ０１をＲＡＵとして示す。

まず、画像復号化装置１５０は、復号化の対象となるアクセスユニットＲＡＵ０１を特定し（ステップＳ６１０）、そのアクセスユニットＲＡＵ０１のポイント情報を復号化する（ステップＳ６１２）。そして、画像復号化装置１５０は、パラメータセットを復号化し（ステップＳ６１４）、そのアクセスユニットＲＡＵ０１に含まれる全てのピクチャを復号化する（ステップＳ６１６）。次に、画像復号化装置１５０は、未符号のアクセスユニットＲＡＵ０１があるか否かを判別し（ステップＳ６１８）、あると判別したときには（ステップＳ６１８のＹ）、ステップＳ６１０からの動作を繰り返し実行し、ないと判別したときには（ステップＳ６１８のＮ）、復号化処理を終了する。

（変形例１）
本変形例に係る画像復号化装置１５０は、実施の形態１の変形例２に係る画像符号化信号Ｓｔｒ２に対して復号化を行う。

この場合、参照構造情報Ｒｓｉ２がアクセスユニットＲＡＵ１０，ＲＡＵ１１，…のそれぞれに含まれているため、抽出部１６０は、まず各アクセスユニットＲＡＵ１０，ＲＡＵ１１，…に含まれる参照構造情報Ｒｓｉ２を復号化部１５１に出力する。そして、決定部１５９は、復号化された各参照構造情報Ｒｓｉ２に基づいて、迅速なランダムアクセスを開始することが可能なアクセスユニットを決定する。

具体的に、参照構造情報Ｒｓｉ２は、自らが属するアクセスユニットに含まれる各ピクチャに対する参照範囲を示すため、決定部１５９は、迅速なランダムアクセスが開始可能か否かの判別対象となるアクセスユニットの参照構造情報Ｒｓｉ２により示される参照範囲と、その直後のアクセスユニットの参照構造情報Ｒｓｉ２により示される参照範囲とに基づいて、その判別対象のアクセスユニットに参照関係Ｒｒ１，Ｒｒ２を有するピクチャが含まれ、且つ直後のアクセスユニットに参照関係Ｒｒ３，Ｒｒ４を有するピクチャが含まれているか否かを判別する。その結果、参照関係Ｒｒ１，Ｒｒ２を有するピクチャと参照関係Ｒｒ３，Ｒｒ４を有するピクチャが含まれていないと判別したときには、決定部１５９は、その判別対象のアクセスユニットから迅速なランダムアクセスを開始することが可能であると認識する。

ところで、決定部１５９が、判別対象のアクセスユニットから迅速なランダムアクセスを開始することが可能であると認識した場合であっても、その判別対象のアクセスユニットのプリエントリピクチャが、符号化順でエントリピクチャよりも前のピクチャ（直前のアクセスユニット以降のピクチャ）を参照していることがある。
このような場合には、そのプリエントリピクチャを含むアクセスユニットからランダムアクセスを開始しようとしても、そのプリエントリピクチャを復号することができない。しかし、そのようなプリエントリピクチャは他のピクチャに参照されることがないため、そのプリエントリピクチャを復号化する必要性がなく、また表示する必要性もない。

そこで、本変形例に係る決定部１５９は、ランダムアクセスの開始位置となるアクセスユニットに含まれるプリエントリピクチャの復号化の必要性の有無を、直後のアクセスユニットの参照構造情報Ｒｓｉ２により示される参照範囲に基づいて判別する。即ち、決定部１５９は、直後のアクセスユニットのプリエントリピクチャの参照範囲に、開始位置となるアクセスユニットのプリエントリピクチャが含まれている場合には、そのプリエントリピクチャの復号化の必要性があると判別し、参照範囲に含まれていない場合には、復号化の必要性がないと判別する。

そして決定部１５９は、復号化の必要性がないと判別したときには、画像符号化信号Ｓｔｒ２に含まれるアクセスユニットのうち、開始位置となるアクセスユニットに含まれるプリエントリピクチャを除いて、そのアクセスユニット以降の各アクセスユニットを出力するように抽出部１６０に指示する。
これにより、本変形例に係る画像復号化装置１５０は、不適当なピクチャの処理を省いて復号化処理の効率を向上することができる。

図２１は、本変形例に係る画像復号化装置１５０の決定部１５９の動作を示すフロー図である。
まず、決定部１５９は、復号化部１５１から各アクセスユニットに含まれる参照構造情報Ｒｓｉ２を取得する（ステップＳ６２０）。次に、決定部１５９は、取得した参照構造情報Ｒｓｉ２に基づいて、迅速なランダムアクセスを開始することが可能なアクセスユニットを特定する（ステップＳ６２２）。

そして、決定部１５９は、ステップＳ６２２で特定したアクセスユニットからさらに、ランダムアクセスの開始位置となるアクセスユニットを特定する（ステップＳ６２４）。
次に、決定部１５９は、上記開始位置となるアクセスユニットの直後にあるアクセスユニットの参照構造情報Ｒｓｉ２に基づいて、開始位置となるアクセスユニットのプリエントリピクチャの復号化が不要か否かを判別する（ステップＳ６２６）。

ここで、復号化は不要であると判別したときには（ステップＳ６２６のＹ）、決定部１５９は、画像符号化信号Ｓｔｒ２に含まれるアクセスユニットのうち、開始位置となるアクセスユニットに含まれるプリエントリピクチャを除いて、そのアクセスユニット以降の各アクセスユニットを出力するように抽出部１６０に指示する（ステップＳ６２８）。また、復号化は不要でないと判別したときには（ステップＳ６２６のＮ）、決定部１５９は、画像符号化信号Ｓｔｒ２に含まれるアクセスユニットのうち、その開始位置となるアクセスユニット以降の各アクセスユニットを全て出力するように抽出部１６０に指示する（ステップＳ６３０）。

なお、図１３に示すように、迅速なランダムアクセスの開始が可能か否かの判別対象とするアクセスユニットの参照構造情報Ｒｓｉ２に、そのアクセスユニットのポストエントリピクチャの参照範囲と、直後のアクセスユニットのプリエントリピクチャの参照範囲とが示されているような場合には、決定部１５９は、判別対象とするアクセスユニットの参照構造情報Ｒｓｉ２のみに基づいて、そのアクセスユニットから迅速なランダムアクセスが可能か否か、及びそのアクセスユニットに含まれるプリエントリピクチャの復号化の必要性があるか否かを判別する。

（変形例２）
本変形例に係る画像復号化装置１５０は、実施の形態１の変形例３に係る画像符号化信号Ｓｔｒ３を復号化する。

ここで、記憶媒体に記憶されているメディアデータｍｅｄのヘッダｈｅｄには、メディアデータｍｅｄの各画像符号化信号Ｓｔｒ３に対する関連情報が含まれている。
この関連情報は、各画像符号化信号Ｓｔｒ３の何れのアクセスユニットＲＡＵからでも迅速なランダムアクセスを開始することが可能であるか否かを示すとともに、可能である場合には、迅速なランダムアクセスの開始位置となるアクセスユニットのプリエントリピクチャに対して復号化は不要であることを示す。

本変形例に係る画像復号化装置１５０は、記憶媒体に記憶されているメディアデータｍｅｄのヘッダｈｅｄを参照し、迅速なランダムアクセスが可能であることを示す関連情報がヘッダｈｅｄにあれば、参照構造情報Ｒｓｉを参照することなく、画像符号化信号Ｓｔｒ３に対して何れのアクセスユニットＲＡＵからでも迅速にランダムアクセスを行うことができると判別する。

図２２は、本変形例に係る画像復号化装置１５０の決定部１５９の動作を示すフロー図である。
まず決定部１５９は、抽出部１６０及び復号化部１５１を介してヘッダｈｅｄを取得し（ステップＳ６４０）、そのヘッダｈｅｄに含まれる関連情報に基づいて、メディアデータｍｅｄに含まれる各画像符号化信号Ｓｔｒ３に対して、全てのアクセスユニットＲＡＵから迅速なランダムアクセスが可能か否かを判別する（ステップＳ６４２）。

ここで、決定部１５９は、全てのアクセスユニットＲＡＵから迅速なランダムアクセスが可能であると判別したときには（ステップＳ６４２のＹ）、その全てのアクセスユニットＲＡＵから、ランダムアクセスの開始位置となるアクセスユニットＲＡＵを特定する（ステップＳ６４４）。
そして、決定部１５９は、開始位置とするアクセスユニットＲＡＵのプリエントリピクチャを除いて、そのアクセスユニットＲＡＵ以降のアクセスユニットＲＡＵを出力するように抽出部１６０に指示する（ステップＳ６４６）。

また、ステップＳ６４２で全てのアクセスユニットＲＡＵから迅速なランダムアクセスは不可能と判別したときには（ステップＳ６４２のＮ）、決定部１５９は、参照構造情報Ｒｓｉを復号化部１５１から取得して（ステップＳ６４８）、迅速なランダムアクセスが可能なアクセスユニットＲＡＵを特定する（ステップＳ６５０）。
次に、決定部１５９は、そのランダムアクセス可能なアクセスユニットＲＡＵからさらに、ランダムアクセスの開始位置となるアクセスユニットＲＡＵを特定する（ステップＳ６５２）。

そして、決定部１５９は、その開始位置となるアクセスユニットＲＡＵ以降のアクセスユニットＲＡＵを出力するように抽出部１６０に指示する（ステップＳ６５４）。
なお、本変形例では、メディアデータｍｅｄのヘッダｈｅｄに基づいて、全てのアクセスユニットＲＡＵから迅速なランダムアクセスを開始することができるか否かを判別したが、例えば、メディアデータｍｅｄを記憶している記憶媒体の種別を物理的な特性などから識別し、その識別結果に基づいて、全てのアクセスユニットＲＡＵから迅速なランダムアクセスを開始することができるか否かを判別しても良い。

（変形例３）
本変形例に係る画像復号化装置は、実施の形態１の変形例４に係る画像符号化装置１００によって生成された画像符号化信号Ｓｔｒ３と、参照テーブルＲｓｉＴとを取得して、画像符号化信号Ｓｔｒ３の復号化を行う。

図２３は、本変形例に係る画像復号化装置の構成を示すブロック図である。
この画像復号化装置１５０ａは、加算器１５３と、選択部１５４と、メモリ１５５〜１５７と、動き補償部１５８と、抽出部１６１と、復号化部１６２と、決定部１６３と、取得部１６４とを備えている。
ここで、画像復号化装置１５０ａに含まれる構成要素中、画像復号化装置１５０の構成要素と同一の符号が付されたものは、画像復号化装置１５０の同一の符号が付された構成要素と同一の機能を有するため、説明を省略する。

取得部１６４は、参照テーブルＲｓｉＴを取得して、その参照テーブルＲｓｉＴに含まれる参照構造情報Ｒｓｉ２を先頭から順に決定部１６３に出力する。
決定部１６３は、取得部１６４から参照構造情報Ｒｓｉ２を取得すると、その参照構造情報Ｒｓｉ２に基づいて、画像符号化信号Ｓｔｒ３に含まれるアクセスユニットＲＡＵのうち、何れから迅速にランダムアクセスすることが可能かを特定する。即ち、決定部１６３は、迅速なランダムアクセスを開始することが可能なアクセスユニットＲＡＵを決定する。そして、決定部１６３は、例えばユーザの操作に応じて、ランダムアクセスの開始位置となるアクセスユニットＲＡＵを指定する指定信号ＥＭを抽出部１６１に出力する。

抽出部１６１は、画像符号化信号Ｓｔｒ３を取得するとこれを一時的に蓄積する。そして、抽出部１６０は、画像符号化信号Ｓｔｒ３に含まれるアクセスユニットＲＡＵのうち、指定信号ＥＭによって指定されたアクセスユニットＲＡＵ以降のアクセスユニットＲＡＵを復号化部１６２に出力する。
復号化部１６２は、抽出部１６１から画像符号化信号Ｓｔｒ３に含まれる各アクセスユニットＲＡＵを取得すると、その各アクセスユニットＲＡＵを復号化して、復号差分画像信号ＲＤｉｆと、動きベクトルＭＶと、指定情報ＲＦとを出力する。

（実施の形態３）
さらに、上記各実施の形態で示した画像符号化方法又は画像復号化方法を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図２４は、実施の形態１又は２の画像符号化方法又は画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納する記憶媒体についての説明図である。
図２４中の（ｂ）は、フレキシブルディスクＦＤの正面及び側面からみた外観と、記録媒体の本体であるディスク本体ＦＤ１の正面からみた外観とを示し、図２４中の（ａ）は、ディスク本体ＦＤ１の物理フォーマットの例を示している。

ディスク本体ＦＤ１はケースＦ内に内蔵され、ディスク本体ＦＤ１の表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクＦＤでは、上記ディスク本体ＦＤ１上に割り当てられた領域に、上記プログラムとしての画像符号化方法が記録されている。

また、図２４中の（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。
上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓが上記プログラムとしての画像符号化方法又は画像復号化方法をフレキシブルディスクドライブＦＤＤを介して書き込む。また、フレキシブルディスクＦＤ内のプログラムにより上記画像符号化方法又は画像復号化方法をコンピュータシステムＣｓ中に構築する場合は、フレキシブルディスクドライブＦＤＤによりプログラムがフレキシブルディスクＦＤから読み出され、コンピュータシステムＣｓに転送される。

なお、上記説明では、記録媒体としてフレキシブルディスクＦＤを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

（実施の形態４）
さらにここで、上記実施の形態で示した画像符号化方法又は画像復号化方法の応用例とそれを用いたシステムを説明する。

図２５は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。
このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ex１０７〜ex１１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムex１００は図２５のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。
カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。

また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラex１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。

このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。

このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化装置又は画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。
図２６は、上記実施の形態で説明した画像符号化方法又は画像復号化方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ex１１５について図２７を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。

電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。
携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声データに変換した後、これを音声出力部ex２０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。

画像符号化部ex３１２は、本願発明で説明した画像符号化装置又は画像復号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。

多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信データを変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。
また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。

次に、画像復号化部ex３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声データに変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図２８に示すようにディジタル放送用システムにも上記実施の形態の画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報のビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置によりビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録したビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。

更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。

なお、カーナビゲーションex４１３の構成は例えば図２７に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ex３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。
また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。

このように、上記実施の形態で示した画像符号化方法又は画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

本発明に係る画像符号化方法は、迅速なランダムアクセスが可能な画像符号化信号を圧縮効率の低下を防いで生成することができ、ビデオカメラや録画機能付き携帯電話などの画像符号化装置として適用できる。

本発明の第１の実施の形態における画像符号化装置の構成を示すブロック図である。 同上の動き検出部によって制限されるピクチャの参照関係を説明するための説明図である。 同上の動き検出部の概略的な一連の動作を示すフロー図である。 同上の動き検出部の図３中に示すステップＳ１０６の詳細な動作を示すフロー図である。 同上の動き検出部の図３中に示すステップＳ１１６の詳細な動作を示すフロー図である。 同上の動き検出部の図３中に示すステップＳ１１４の詳細な動作を示すフロー図である。 同上の画像符号化装置が出力する画像符号化信号の構成を示す構成図である。 同上の変形例１に係る画像符号化信号の構成を示す構成図である。 同上の変形例１に係る画像符号化信号を生成する画像符号化装置の動作を示すフロー図である。 同上の変形例１に係る他の画像符号化信号を生成する画像符号化装置の動作を説明するフロー図である。 同上の変形例２に係る参照構造情報に含まれる内容を示す情報内容表示図である。 同上の変形例２に係る参照構造情報を含む画像符号化信号の構成を示す構成図である。 同上の変形例２に係る参照構造情報が、自らの属するアクセスユニットに含まれるピクチャの参照範囲と他のアクセスユニットに含まれるピクチャの参照範囲とを示す様子を説明するための説明図である。 同上の変形例３に係る、記憶媒体に記憶されているメディアデータの構成を示す構成図である。 同上の変形例４に係る画像符号化信号と参照テーブルとの構成を示す構成図である。 同上の変形例５に係る参照識別情報を含む画像符号化信号の構成を示す構成図である。 同上の変形例６に係る識別テーブルの構成を示す構成図である。 本発明の第２の実施の形態における画像復号化装置の構成を示すブロック図である。 同上の画像復号化装置の概略的な動作を示すフロー図である。 同上の画像復号化装置がポイント情報及びパラメータセットを含む画像符号化信号を復号化する動作を示すフロー図である。 同上の変形例１に係る画像復号化装置の決定部の動作を示すフロー図である。 同上の変形例２に係る画像符号化装置の決定部の動作を示すフロー図である。 同上の変形例３に係る画像復号化装置の構成を示すブロック図である。 本発明の第３の実施の形態における、実施の形態１の画像符号化方法をコンピュータシステムにより実現するためのプログラムを格納する記憶媒体についての説明図である。 本発明の第４の実施の形態におけるコンテンツ配信サービスを実現するコンテンツ供給システムの全体構成を示すブロック図である。 同上の画像符号化方法及び画像復号化方法を用いた携帯電話を示す図である。 同上の携帯電話の内部構成を示すブロック図である。 同上のディジタル放送用システムの構成を示す構成図である。 従来の画像符号化装置の構成を示すブロック図である。 同上の画像符号化装置が出力するストリームの構成を示す構成図である。 従来の画像復号化装置の構成を示すブロック図である。 他の画像符号化方法によって生成された画像符号化信号の構成を示す構成図である。 ＭＰＥＧ−２の画像符号化方法によって生成された画像符号化信号の構成を示す構成図である。

符号の説明

１００ 画像符号化装置
１０１ 動き検出部
１０２ 動き補償部
１０３ 選択部
１０４〜１０６ メモリ
１０７ 加算器
１０８ 減算器
１０９ 符号化部
１１０ 復号化部
１１１ カウンタ
１１２ 順序メモリ
１１３ 参照制御部
１１４ ピクチャメモリ

Claims (19)

1. 画像信号に含まれる複数のピクチャのうち、所定のピクチャをエントリピクチャとして他のピクチャを参照することなく符号化し、エントリピクチャ以外のピクチャを他の既に符号化されたピクチャを参照して符号化して画像符号化信号を生成する画像符号化方法であって、
   前記画像信号を、エントリピクチャを含む複数のピクチャからなるアクセス単位で扱い、
   処理すべき対象のアクセス単位において、表示順で前記エントリピクチャよりも後にある後置ピクチャに対し、符号化順でエントリピクチャよりも前にあるピクチャと、表示順でエントリピクチャよりも前にある前置ピクチャであり、符号化順でエントリピクチャよりも前のピクチャを参照しているピクチャとを除く、他のピクチャを参照する第１の参照制限ステップと、
   前記処理対象のアクセス単位の直後にあるアクセス単位において、表示順でエントリピクチャよりも前にある前置ピクチャに対し、前記処理対象のアクセス単位のエントリピクチャよりも符号化順で前にあるピクチャと、前記処理対象のアクセス単位の前置ピクチャであって、前記処理対象のアクセス単位のエントリピクチャよりも符号化順で前のピクチャを参照しているピクチャとを除く、他のピクチャを参照する第２の参照制限ステップと
   を含むことを特徴とする画像符号化方法。
2. 前記第１の参照制限ステップでは、
   符号化順でエントリピクチャよりも前にあるピクチャと、表示順でエントリピクチャよりも前にある前置ピクチャとを除く、他のピクチャを参照し、
   前記第２の参照制限ステップでは、
   前記処理対象のアクセス単位のエントリピクチャよりも符号化順で前にあるピクチャと、前記処理対象のアクセス単位の前置ピクチャとを除く、他のピクチャを参照する
   ことを特徴とする請求項１記載の画像符号化方法。
3. 前記画像符号化方法は、さらに、
   前記処理対象のアクセス単位を選択する選択ステップを含む
   ことを特徴とする請求項２記載の画像符号化方法。
4. 前記画像符号化方法は、さらに、
   何れのアクセス単位を処理対象として前記第１及び第２の参照制限ステップを行ったかを示す参照構造情報を符号化する参照構造情報符号化ステップと、
   前記画像符号化信号中に、符号化された参照構造情報を挿入する挿入ステップと
   を含むことを特徴とする請求項３記載の画像符号化方法。
5. 前記画像符号化方法は、さらに、
   各アクセス単位ごとに、当該アクセス単位を処理対象として前記第１及び第２の参照制限ステップを行ったか否かを示す参照構造情報を符号化する参照構造情報符号化ステップと、
   前記画像符号化信号中の各アクセス単位に、当該アクセス単位に対応する前記参照構造情報を挿入する挿入ステップとを含む
   ことを特徴とする請求項３記載の画像符号化方法。
6. 前記画像符号化方法は、さらに、
   各アクセス単位ごとに、当該アクセス単位を処理対象として前記第１及び第２の参照制限ステップを行ったか否かを示す参照構造情報を生成する参照構造情報生成ステップと、
   前記画像符号化信号に付随して、前記参照構造情報生成ステップで生成された参照構造情報を出力する参照構造情報出力ステップとを含む
   ことを特徴とする請求項３記載の画像符号化方法。
7. 前記画像符号化方法は、さらに、
   前記画像符号化信号中の各アクセス単位に、当該アクセス単位に対応する前記参照構造情報を識別するための識別情報を符号化して挿入する符号化挿入ステップを含む
   ことを特徴とする請求項６記載の画像符号化方法。
8. 前記画像符号化方法は、さらに、
   各アクセス単位ごとに、当該アクセス単位に含まれる各ピクチャの参照範囲を示す参照構造情報を符号化する参照構造情報符号化ステップと、
   前記画像符号化信号中の各アクセス単位に、当該アクセス単位に対応する前記参照構造情報を挿入する挿入ステップとを含む
   ことを特徴とする請求項３記載の画像符号化方法。
9. 前記画像符号化方法は、さらに、
   各アクセス単位ごとに、当該アクセス単位に含まれる各後置ピクチャの参照範囲と、当該アクセス単位の直後にあるアクセス単位に含まれる各前置ピクチャの参照範囲とを示す参照構造情報を符号化する参照構造符号化ステップと、
   前記画像符号化信号中の各アクセス単位に、当該アクセス単位に対応する前記参照構造情報を挿入する挿入ステップとを含む
   ことを特徴とする請求項３記載の画像符号化方法。
10. 画像信号に含まれる複数のピクチャのうち、所定のピクチャをエントリピクチャとして他のピクチャを参照することなく符号化し、エントリピクチャ以外のピクチャを他の既に符号化されたピクチャを参照して符号化する画像符号化方法により生成された画像符号化信号であって、
    前記画像符号化方法は、
    前記画像信号を、エントリピクチャを含む複数のピクチャからなるアクセス単位で扱い、
    処理すべき対象のアクセス単位において、表示順で前記エントリピクチャよりも後にある後置ピクチャに対し、符号化順でエントリピクチャよりも前にあるピクチャと、表示順でエントリピクチャよりも前にある前置ピクチャであり、符号化順でエントリピクチャよりも前のピクチャを参照しているピクチャとを除く、他のピクチャを参照する第１の参照制限ステップと、
    前記処理対象のアクセス単位の直後にあるアクセス単位において、表示順でエントリピクチャよりも前にある前置ピクチャに対し、前記処理対象のアクセス単位のエントリピクチャよりも符号化順で前にあるピクチャと、前記処理対象のアクセス単位の前置ピクチャであって、前記処理対象のアクセス単位のエントリピクチャよりも符号化順で前のピクチャを参照しているピクチャとを除く、他のピクチャを参照する第２の参照制限ステップと
    を含むことを特徴とする画像符号化信号。
11. 前記画像符号化信号には、
    何れのアクセス単位を処理対象として前記第１及び第２の参照制限ステップを行ったかを示す参照構造情報が含まれている
    ことを特徴とする請求項１０記載の画像符号化信号。
12. 前記画像符号化信号には、
    各アクセス単位ごとに、当該アクセス単位を処理対象として前記第１及び第２の参照制限ステップを行ったか否かを示す参照構造情報が含まれている
    ことを特徴とする請求項１０記載の画像符号化信号。
13. 前記画像符号化信号には、
    各アクセス単位ごとに、当該アクセス単位を処理対象として前記第１及び第２の参照制限ステップを行ったか否かを示す参照構造情報を識別するための識別情報が含まれている
    ことを特徴とする請求項１０記載の画像符号化信号。
14. 前記画像符号化信号には、
    各アクセス単位ごとに、当該アクセス単位に含まれる各ピクチャの参照範囲を示す参照構造情報が含まれている
    ことを特徴とする請求項１０記載の画像符号化信号。
15. 前記画像符号化信号には、
    各アクセス単位ごとに、当該アクセス単位に含まれる各後置ピクチャの参照範囲と、当該アクセス単位の直後にあるアクセス単位に含まれる各前置ピクチャの参照範囲とを示す参照構造情報が含まれている
    ことを特徴とする請求項１０記載の画像符号化信号。
16. 画像信号に含まれる複数のピクチャのうち、所定のピクチャをエントリピクチャとして他のピクチャを参照することなく符号化し、エントリピクチャ以外のピクチャを他の既に符号化されたピクチャを参照して符号化して画像符号化信号を生成するためのプログラムであって、
    前記画像信号を、エントリピクチャを含む複数のピクチャからなるアクセス単位で扱い、
    処理すべき対象のアクセス単位において、表示順で前記エントリピクチャよりも後にある後置ピクチャに対し、符号化順でエントリピクチャよりも前にあるピクチャと、表示順でエントリピクチャよりも前にある前置ピクチャであり、符号化順でエントリピクチャよりも前のピクチャを参照しているピクチャとを除く、他のピクチャを参照する第１の参照制限ステップと、
    前記処理対象のアクセス単位の直後にあるアクセス単位において、表示順でエントリピクチャよりも前にある前置ピクチャに対し、前記処理対象のアクセス単位のエントリピクチャよりも符号化順で前にあるピクチャと、前記処理対象のアクセス単位の前置ピクチャであって、前記処理対象のアクセス単位のエントリピクチャよりも符号化順で前のピクチャを参照しているピクチャとを除く、他のピクチャを参照する第２の参照制限ステップと
    をコンピュータに実行させることを特徴とするプログラム。
17. 画像信号に含まれる複数のピクチャのうち、所定のピクチャをエントリピクチャとして他のピクチャを参照することなく符号化し、エントリピクチャ以外のピクチャを他の既に符号化されたピクチャを参照して符号化して画像符号化信号を生成するためのプログラムを格納する記憶媒体であって、
    前記プログラムは、
    前記画像信号を、エントリピクチャを含む複数のピクチャからなるアクセス単位で扱い、
    処理すべき対象のアクセス単位において、表示順で前記エントリピクチャよりも後にある後置ピクチャに対し、符号化順でエントリピクチャよりも前にあるピクチャと、表示順でエントリピクチャよりも前にある前置ピクチャであり、符号化順でエントリピクチャよりも前のピクチャを参照しているピクチャとを除く、他のピクチャを参照する第１の参照制限ステップと、
    前記処理対象のアクセス単位の直後にあるアクセス単位において、表示順でエントリピクチャよりも前にある前置ピクチャに対し、前記処理対象のアクセス単位のエントリピクチャよりも符号化順で前にあるピクチャと、前記処理対象のアクセス単位の前置ピクチャであって、前記処理対象のアクセス単位のエントリピクチャよりも符号化順で前のピクチャを参照しているピクチャとを除く、他のピクチャを参照する第２の参照制限ステップとをコンピュータに実行させる
    ことを特徴とする記憶媒体。
18. 画像信号に含まれる複数のピクチャのうち、所定のピクチャをエントリピクチャとして他のピクチャを参照することなく符号化し、エントリピクチャ以外のピクチャを他の既に符号化されたピクチャを参照して符号化して画像符号化信号を生成する画像符号化装置であって、
    前記画像信号を、エントリピクチャを含む複数のピクチャからなるアクセス単位で扱い、
    処理すべき対象のアクセス単位において、表示順で前記エントリピクチャよりも後にある後置ピクチャに対し、符号化順でエントリピクチャよりも前にあるピクチャと、表示順でエントリピクチャよりも前にある前置ピクチャであり、符号化順でエントリピクチャよりも前のピクチャを参照しているピクチャとを除く、他のピクチャを参照する第１の参照制限手段と、
    前記処理対象のアクセス単位の直後にあるアクセス単位において、表示順でエントリピクチャよりも前にある前置ピクチャに対し、前記処理対象のアクセス単位のエントリピクチャよりも符号化順で前にあるピクチャと、前記処理対象のアクセス単位の前置ピクチャであって、前記処理対象のアクセス単位のエントリピクチャよりも符号化順で前のピクチャを参照しているピクチャとを除く、他のピクチャを参照する第２の参照制限手段と
    を備えることを特徴とする画像符号化装置。
19. 前記第１の参照制限手段は、
    符号化順でエントリピクチャよりも前にあるピクチャと、表示順でエントリピクチャよりも前にある前置ピクチャとを除く、他のピクチャを参照し、
    前記第２の参照制限手段は、
    前記処理対象のアクセス単位のエントリピクチャよりも符号化順で前にあるピクチャと、前記処理対象のアクセス単位の前置ピクチャとを除く、他のピクチャを参照する
    ことを特徴とする請求項１８記載の画像符号化装置。

Images