JP4002878B2 - 画像符号化方法 - Google Patents

Description

本発明は、画像を符号化する画像符号化方法に関する。

近年、音声や、画像その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞や雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段が、マルチメディアの対象として取り上げられるようになってきた。
一般に、マルチメディアとは、文字だけでなく、図形や、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。

ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合には１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合には１秒当たり６４Ｋｂｉｔｓ（電話品質）、さらに動画については１秒当たり１００Ｍｂｉｔｓ（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアの膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、６４Ｋｂｉｔｓ／ｓ〜１．５Ｍｂｉｔｓ／ｓの伝送速度を持つサービス総合ディジタル網（ＩＳＤＮ : Integrated Services Digital Network）によってすでに実用化されているが、テレビ・カメラの映像をそのままＩＳＤＮで送ることは不可能である。

そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）で勧告されたＨ．２６１やＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ−１規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。

ここで、ＭＰＥＧ（Moving Picture Experts Group）とは、ＩＳＯ／ＩＥＣ（国際標準化機構 国際電気標準会議）で標準化された動画像信号圧縮の国際規格であり、ＭＰＥＧ−１は、動画像信号を１．５Ｍｂｐｓまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ−１規格では対象とする品質を伝送速度が主として約１．５Ｍｂｐｓで実現できる程度の中程度の品質としたことから、さらなる高画質化の要求をみたすべく規格化されたＭＰＥＧ−２では、動画像信号を２〜１５ＭｂｐｓでＴＶ放送品質を実現する。さらに現状では、ＭＰＥＧ−１，ＭＰＥＧ−２と標準化を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG11）によって、ＭＰＥＧ−１，ＭＰＥＧ−２を上回る圧縮率を達成し、更に物体単位で符号化・復号化・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するＭＰＥＧ−４が規格化された。ＭＰＥＧ−４では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像も含む高ビットレートも含む、より汎用的な符号化に拡張されている。更に、現在は、ＩＳＯ／ＩＥＣとＩＴＵ−Ｔが共同でより高圧縮率の次世代画像符号化方式として、ＭＰＥＧ−４ ＡＶＣおよびＩＴＵ Ｈ．２６４の標準化活動が進んでいる。２００２年８月の時点で、次世代画像符号化方式はコミッティー・ドラフト（ＣＤ）と呼ばれるもので発行されている（例えば、非特許文献１参照。）。

一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは１枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。

参照ピクチャを持たず画面内予測符号化を行うものをＩピクチャと呼ぶ。また、１枚のピクチャのみを参照し画面間予測符号化を行うものをＰピクチャと呼ぶ。また、同時に２枚のピクチャを参照して画面間予測符号化を行うことのできるものをＢピクチャと呼ぶ。Ｂピクチャは表示時間が前方もしくは後方から任意の組み合わせとして２枚のピクチャを参照することが可能である。参照ピクチャは符号化および復号化の基本単位であるブロックごとに指定することができるが、符号化を行ったビットストリーム中に先に記述される方の参照ピクチャを第１参照ピクチャ、後に記述される方を第２参照ピクチャとして区別する。ただし、これらのピクチャを符号化および復号化する場合の条件として、参照するピクチャが既に符号化および復号化されている必要がある。

Ｐピクチャ又はＢピクチャの符号化には、動き補償画面間予測符号化が用いられている。動き補償画面間予測符号化とは、画面間予測符号化に動き補償を適用した符号化方式である。動き補償とは、単純に参照ピクチャの画素値から予測するのではなく、ピクチャ内の各部の動き量（以下、これを動きベクトルと呼ぶ）を検出し、その動きベクトルを考慮した予測を行うことにより予測精度を向上すると共に、データ量を減らす方式である。例えば、符号化対象ピクチャの動きベクトルを検出し、その動きベクトルの分だけシフトした予測値と符号化対象ピクチャとの予測残差を符号化することによりデータ量を減している。この方式の場合には、復号化の際に動きベクトルの情報が必要になるため、動きベクトルも符号化されて記録又は伝送される。

動きベクトルはブロック単位で検出されており、具体的には、符号化対象ピクチャ側のブロックを固定しておき、参照ピクチャ側のブロックを探索範囲内で移動させ、基準ブロックと最も似通った参照ブロックの位置を見つけることにより、動きベクトルが検出される。

図１６は、従来の画像符号化装置の構成を示すブロック図である。
画像符号化装置９００は、画像信号Ｖｉｎをピクチャごとに符号化してビットストリームたる画像符号化信号（以下、単にストリームという）Ｓｔｒ９を出力するものであって、動き検出部９０３と、動き補償部９０５と、減算器９０６と、直交変換部９０７と、量子化部９０８と、逆量子化部９１０と、逆直交変換部９１１と、加算器９１２と、ピクチャメモリ９０４と、スイッチ９１３と、可変長符号化部９０９と、アクセスポイント決定部９０２とを備えている。そして、このような動き検出部９０３などの各構成要素は、ピクチャを構成するブロック単位又はマクロブロック単位で以下のような処理を実行する。

減算器９０６は、画像信号Ｖｉｎと予測画像Ｐｒｅとの差分を計算してその差分値を直交変換部９０７に出力する。直交変換部９０７は、その差分値を周波数係数に変換して量子化部９０８に出力する。量子化部９０８は、その周波数係数を量子化して量子化値を可変長符号化部９０９に出力する。逆量子化部９１０は、その量子化値を逆量子化して周波数係数に復元し、その周波数係数を逆直交変換部９１１に出力する。

逆直交変換部９１１は、逆量子化部９１０から出力された周波数係数を画素差分値に逆周波数変換して加算器９１２に出力する。加算器９１２は、逆直交変換部９１１から出力された画素差分値と、動き補償部９０５から出力された予測画像Ｐｒｅとを加算して復号化画像を生成する。スイッチ９１３は、加算器９１２とピクチャメモリ９０４との間を接続することで、加算器９１２で生成された復号化画像をピクチャメモリ９０４に保存させる。ここで、ピクチャメモリに保存されている復号化画像を以下、単にピクチャという。

動き検出部９０３は、ピクチャメモリ９０４に格納されているピクチャを参照ピクチャとして参照し、画像信号Ｖｉｎに最も近い画像領域をその参照ピクチャの中から特定する。そして、動き検出部９０３は、その画像領域の位置を指し示す動きベクトルＭＶを検出する。

さらに、動き検出部９０３は、参照ピクチャを指定するための識別番号（相対インデックスＩｄｘ）を用いることにより、複数の参照ピクチャの候補の中でどの参照ピクチャが画像信号Ｖｉｎに近いかを指定する。

動き補償部９０５は、動きベクトルＭＶおよび相対インデックスＩｄｘを用いてピクチャメモリ９０４に格納されているピクチャから予測画像Ｐｒｅに最適な画像領域を取り出す。そして、動き補償部９０５は、その取り出した画像領域から予測画像Ｐｒｅを生成する。
アクセスポイント決定部９０２は、所定単位（ランダムアクセスユニット）毎に、所定のピクチャを特別なピクチャとして符号化（画面内符号化）するように、動き検出部９０３および動き補償部９０５に指示する。ここで特別なピクチャとは、ストリームＳｔｒ９のそのピクチャの時点から復号化を可能とするピクチャのことをいう。さらに、アクセスポイント決定部９０２は、その特別なピクチャであることを示すアクセスポイント識別子ｒａｐｐを可変長符号化部９０９に出力する。

可変長符号化部９０９は、外部から取得したパラメータセットＰＳと、動きベクトルＭＶと、量子化値と、相対インデックスＩｄｘと、アクセスポイント識別子ｒａｐｐとを符号化して、符号化されたパラメータセットＰＳを先頭側にのみ配置したストリームＳｔｒ９を生成し、そのストリームＳｔｒ９を出力する。

図１７は、従来の画像符号化装置９００が出力するストリームＳｔｒ９の構成を示す構成図である。
ストリームＳｔｒ９には、先頭から順に、同期信号ｓｙｎｃと、パラメータセットＰＳと、複数のランダムアクセスユニットＲＡＵ９とが含まれている。このようなストリームＳｔｒ９は、現在ＩＴＵ−ＴとＩＳＯ／ＩＥＣが共同で標準化中のＪＶＴ（Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ）に対応するものである。
パラメータセットＰＳはヘッダに相当する共通データであって、そのパラメータセットＰＳには、ピクチャのヘッダに相当するピクチャパラメータセットＰＰＳと、ランダムアクセスユニットＲＡＵ９以上の単位のヘッダに相当するシーケンスパラメータセットＳＰＳとが含まれている。ここで、シーケンスパラメータセットＳＰＳには、最大参照可能ピクチャ数や画像サイズなどが含まれており、ピクチャパラメータセットＰＰＳには、可変長符号化のタイプ（ハフマン符号化と算術符号化の切替）や、量子化ステップの初期値、参照ピクチャ数などが含まれている。

また、ランダムアクセスユニットＲＡＵ９には、先頭から順に、同期信号ｓｙｎｃと、符号化された複数のピクチャｐｉｃとが含まれている。このようなランダムアクセスユニットＲＡＵ９は、ストリームＳｔｒ９中の複数のピクチャを含む１つの単位であって、その中には他のピクチャに依存せずに復号化可能な上述の特別なピクチャを含む。つまり、ランダムアクセスユニットＲＡＵ９は、特別なピクチャを含む複数のピクチャの集まり毎にストリームＳｔｒ９が分割されたものである。

ピクチャｐｉｃには、先頭から順に、同期信号ｓｙｎｃと、パラメータセット識別子ＰＳＩＤと、複数の画素データｐｉｘとが含まれている。
パラメータセット識別子ＰＳＩＤは、そのピクチャｐｉｃがパラメータセットＰＳ中の何れのシーケンスパラメータセットＳＰＳ及びピクチャパラメータセットＰＰＳを参照するかを指し示すものである。

また、ストリームＳｔｒ９の先頭及びランダムアクセスユニットＲＡＵ９の先頭並びにピクチャｐｉｃの先頭に含まれる同期信号ｓｙｎｃはそれぞれ、ストリームＳｔｒ９やランダムアクセスユニットＲＡＵ９やピクチャｐｉｃの単位の区切りを示すものである。
即ち、従来の画像符号化装置９００が画像信号Ｖｉｎを符号化してストリームＳｔｒ９を生成する画像符号化方法では、パラメータセットＰＳを纏めて符号化してストリームＳｔｒ９の先頭側に配置し、そのパラメータセットＰＳの後に、ピクチャパラメータセットＰＰＳ及びシーケンスパラメータセットＳＰＳを含まない複数のランダムアクセスユニットＲＡＵ９が続くようにストリームＳｔｒ９を生成する。

このようなストリームＳｔｒ９が画像復号化装置で復号されるときには、画像復号化装置は、ピクチャｐｉｃのパラメータセット識別子ＰＳＩＤにより示されるパラメータセットＰＳ中のシーケンスパラメータセットＳＰＳ及びピクチャパラメータセットＰＰＳを参照して、そのピクチャｐｉｃを復号する。
一方、従来のＭＰＥＧ−２のストリームは、ストリームＳｔｒ９とは異なる構成を有している。

図１８は、従来のＭＰＥＧ−２のストリームの構成を示す構成図である。
ＭＰＥＧ−２のストリームＳｔｒ８には、先頭から順に、同期信号ｓｙｎｃと、ストリームＳｔｒ８の共通のデータであるヘッダｈｅｄと、複数のグループ・オブ・ピクチャ（Group Of Picture）ＧＯＰとが含まれている。
グループ・オブ・ピクチャＧＯＰには、先頭から順に、同期信号ｓｙｎｃと、グループ・オブ・ピクチャＧＯＰの共通のデータであるヘッダｈｅｄと、符号化された複数のピクチャｐｉｃとが含まれている。

このようなグループ・オブ・ピクチャＧＯＰは、符号化処理の基本単位であって、動画像の編集やランダムアクセスはこの単位で行われる。また、グループ・オブ・ピクチャＧＯＰに含まれるピクチャｐｉｃは、Ｉピクチャ、Ｐピクチャ又はＢピクチャである。
ピクチャｐｉｃには、先頭から順に、同期信号ｓｙｎｃと、ピクチャｐｉｃの共通のデータであるヘッダｈｅｄと、複数の画素データｐｉｘとが含まれている。

即ち、従来の画像信号Ｖｉｎを符号化してストリームＳｔｒ８を生成するＭＰＥＧ−２の画像符号化方法では、ストリームＳｔｒ８の先頭側、各グループ・オブ・ピクチャＧＯＰの先頭側、及び各ピクチャｐｉｃの先頭側のそれぞれに、ピクチャｐｉｃの復号に必要なヘッダｈｅｄを含めてストリームＳｔｒ８を生成する。
Text of Final Committee Draft of Joint Video Specification (ITU-T Rec.H.264 ｜ISO/IEC 14496-10 AVC），ISO/IEC JTC1/SC29/WG11 MPEG02/N4920 July 2002,Klagenfurt,AT,p.32-35

しかしながら、上記従来の画像符号化装置９００の画像符号化方法では、パラメータセットＰＳをストリームＳｔｒ９の先頭側に纏めて配置するため、画像復号化装置がストリームＳｔｒ９の途中のランダムアクセスユニットＲＡＵ９の先頭、即ちランダムアクセスポイントから復号（ランダムアクセス）を開始しようとしても、例えばストリームＳｔｒ９を途中から取り込んだためにパラメータセットＰＳを取得できなかった場合には、画像復号化装置はランダムアクセスを行うことができないという問題がある。つまり、画像復号化装置は、ピクチャｐｉｃを復号しようとしてもそれに対応するピクチャパラメータセットＰＰＳ及びシーケンスパラメータセットＳＰＳがないためにそのピクチャｐｉｃを正しく復号することができないのである。

具体的に、ストリームＳｔｒ９が放送・配信のように逐次連続的に送られている状況で、画像復号化装置がそのストリームＳｔｒ９を途中から取り込んだ場合には、ストリームＳｔｒ９をその途中から復号化することができない。
また、ストリームＳｔｒ９がテープやディスクなどの記録媒体に書き込まれている状況において、画像復号化装置がその記録媒体上のストリームＳｔｒ９に対してランダムアクセスを開始しようとしても、画像復号化装置は、まず、記録媒体上のストリームＳｔｒ９の先頭側に配置されているパラメータセットＰＳを読み込み、その後、ランダムアクセスポイントからのストリームＳｔｒ９の読み込みを開始しなければならない。つまり、画像復号化装置は、データの読み出し位置を、ストリームＳｔｒ９の先頭からランダムアクセスポイントへ移動させなければならず、その移動時間がランダムアクセスの待ち時間となって迅速なランダムアクセスができないという問題がある。

記録媒体がテープである場合には、この待ち時間が非常に長いことは明らかであり、高速な読み込みが可能なディスクであってもこの待ち時間は数秒になることがあり無視できる程度ではない。
一方、ＭＰＥＧ−２の画像符号化方法により生成されるストリームＳｔｒ８では、画像復号化装置は、グループ・オブ・ピクチャＧＯＰのヘッダｈｅｄ及び各ピクチャｐｉｃのヘッダｈｅｄを用いることにより、ストリームＳｔｒ８をグループ・オブ・ピクチャＧＯＰ単位でランダムアクセスすることができる。

しかし、このようなストリームＳｔｒ８を生成する画像符号化方法では、グループ・オブ・ピクチャＧＯＰに含まれる全てのピクチャｐｉｃのそれぞれにヘッダｈｅｄを含めるため、これらのヘッダｈｅｄの中には、他のヘッダｈｅｄと同じ値を有するヘッダｈｅｄが多く、ストリームＳｔｒ８の圧縮率は低い。つまり、このストリームＳｔｒ８を生成する画像符号化方法では、ランダムアクセス可能なストリームＳｔｒ８を生成することができる一方で、符号化効率を低下させてしまうという問題がある。

そこで、本発明は、かかる問題に鑑みてなされたものであって、符号化効率を低下させることなく迅速なランダムアクセスが可能なように画像を符号化する画像符号化方法を提供することを目的とする。

上記目的を達成するために、本発明に係る画像符号化方法は、画像信号をピクチャごとに符号化して符号化ストリームを生成する画像符号化方法であって、複数のピクチャを１つのアクセス単位として扱い、前記アクセス単位に含まれる全てのピクチャの復号に用いられるパラメータセットを符号化する符号化ステップと、前記符号化ステップで符号化されたパラメータセットを、前記符号化ストリーム中に、前記アクセス単位毎に配置するパラメータセット配置ステップとを含むことを特徴とする。例えば、前記パラメータセット配置ステップでは、前記符号化ストリーム中の前記アクセス単位内で、何れのピクチャよりも前に前記パラメータセットを配置することを特徴とする。

これにより、パラメータセットが符号化ストリーム中にアクセス単位毎に含まれているため、画像復号化装置は、このような符号化ストリームを途中から取得した場合であっても、取得した最初のアクセス単位に含まれるパラメータセットを用いて、そのアクセス単位に含まれるピクチャを復号することができ、その結果、符号化ストリームをそのアクセス単位から正確に復号することができる。また、このような符号化ストリームが記憶媒体に記録されており、画像復号化装置がその符号化ストリームに対してランダムアクセスを行う場合であっても、画像復号化装置は、従来例のように符号化ストリームの先頭からランダムアクセスの開始位置までデータの読み出し位置を移動させることなく、迅速にランダムアクセスを開始することができる。さらに、符号化ストリーム中のピクチャごとにそのピクチャの復号に用いられる情報を配置することがないので、符号化ストリームの冗長性を抑えて符号化効率の低下を防止することができる。

ここで、前記画像符号化方法は、さらに、前記パラメータセットの配置構成を示す内容の構成識別情報を生成する構成識別情報生成ステップを含むことを特徴としても良い。
これにより、構成識別情報にはパラメータセットの配置構成が示されていることにより、画像復号化装置はその構成識別情報を参照して、符号化ストリームに対してアクセス単位で正確且つ迅速なランダムアクセスが可能であることを把握し、ランダムアクセスを実行することができる。

また、前記パラメータセットは、前記ピクチャパラメータセットを複数個含んで構成されており、前記パラメータセット配置ステップでは、前記符号化ストリーム中の前記アクセス単位内で、既に配置済みのピクチャパラメータセットを除き、ピクチャの直前に前記ピクチャに対応するピクチャパラメータセットを配置することを特徴としても良い。
これにより、符号化したピクチャパラメータセットをそれに対応するピクチャの直前に配置するため、各ピクチャパラメータセットを符号化して順次配置することができ、符号化された複数のピクチャパラメータセットを蓄積しておくことを要さず、画像符号化装置を簡単に構成することができる。

また、前記符号化ステップでは、前記各ピクチャパラメータセットの何れか又は全てを複数回符号化して、符号化された同一の複数のピクチャパラメータセットを生成し、前記パラメータセット配置ステップでは、前記符号化ステップで符号化された同一の複数のピクチャパラメータセットを同一のアクセス単位内に配置することを特徴として良い。
これにより、アクセス単位内に同一の複数のピクチャパラメータセットが含まれるため、このような符号化ストリームを復号するときには、エラーの発生を防止して復号することができる。

また、本発明に係る画像符号化方法は、画像信号をピクチャごとに符号化して符号化ストリームを生成する画像符号化方法であって、複数のピクチャを１つのアクセス単位として扱い、前記アクセス単位に含まれるピクチャのうち、他のアクセス単位にあるピクチャを参照してランダムアクセス時には表示されないピクチャ以外の全てのピクチャの復号に用いられるパラメータセットを符号化する符号化ステップと、前記符号化ステップで符号化されたパラメータセットを、前記符号化ストリーム中に、前記アクセス単位毎に配置するパラメータセット配置ステップとを含むことを特徴とする。

これにより、パラメータセットが符号化ストリーム中にアクセス単位毎に含まれているため、画像復号化装置は、このような符号化ストリームを途中から取得した場合であっても、取得した最初のアクセス単位に含まれるパラメータセットを用いて、そのアクセス単位に含まれる表示の対象となるピクチャを復号することができ、その結果、符号化ストリームをそのアクセス単位から正確に復号することができる。また、このような符号化ストリームが記憶媒体に記録されており、画像復号化装置がその符号化ストリームに対してランダムアクセスを行う場合であっても、画像復号化装置は、従来例のように符号化ストリームの先頭からランダムアクセスの開始位置までデータの読み出し位置を移動させることなく、迅速にランダムアクセスを開始することができる。さらに、符号化ストリーム中のピクチャごとにそのピクチャの復号に用いられる情報を配置することがないので、符号化ストリームの冗長性を抑えて符号化効率の低下を防止することができる。

なお、本発明は、上記画像符号化方法を用いる画像符号化装置及びプログラムや、その画像符号化方法により生成された符号化ストリームとしても実現することができる。

本発明の画像符号化方法は、符号化効率を低下させることなく迅速なランダムアクセスが可能なように画像を符号化することができるという作用効果を奏する。

以下、本発明の実施の形態について、図面を参照して説明する。
（実施の形態１）
図１は、本発明の第１の実施の形態における画像符号化装置の構成を示すブロック図である。
本実施の形態における画像符号化装置１００は、符号化効率を低下させることなく迅速なランダムアクセスが可能なように画像を符号化するものであって、具体的には、画像信号Ｖｉｎをピクチャごとに符号化してストリームＳｔｒを出力する。

この画像符号化装置１００は、動き検出部１０３と、動き補償部１０５と、減算器１０６と、直交変換部１０７と、量子化部１０８と、逆量子化部１１０と、逆直交変換部１１１と、加算器１１２と、ピクチャメモリ１０４と、スイッチ１１３と、可変長符号化部１０９と、アクセスポイント決定部１０２と、ＰＳメモリ１０１とを備えている。そして、このような動き検出部１０３などの各構成要素は、ピクチャを構成するブロック又はマクロブロック単位で以下の処理を実行する。

減算器１０６は、画像信号Ｖｉｎを取得するとともに、動き補償部１０５から予測画像Ｐｒｅを取得し、画像信号Ｖｉｎと予測画像Ｐｒｅとの差分を計算する。そして、減算器１０６はその差分値を直交変換部１０７に出力する。
直交変換部１０７は、差分値を周波数係数に変換し、その周波数係数を量子化部１０８に出力する。

量子化部１０８は、直交変換部１０７から取得した周波数係数を量子化し、量子化値を可変長符号化部１０９に出力する。
逆量子化部１１０は、量子化部１０８から取得した量子化値を逆量子化して周波数係数に復元し、その周波数係数を逆直交変換部１１１に出力する。
逆直交変換部１１１は、逆量子化部１１０から出力された周波数係数を画素差分値に逆周波数変換し、その画素差分値を加算器１１２に出力する。

加算器１１２は、逆直交変換部１１１から出力された画素差分値と、動き補償部１０５から出力された予測画像Ｐｒｅとを加算して復号化画像を生成する。
スイッチ１１３は、加算器１１２で生成された復号化画像の保存が指示された場合に、加算器１１２とピクチャメモリ１０４との間を接続し、加算器１１２で生成された復号化画像をピクチャメモリに保存させる。ここで、ピクチャメモリに保存されている復号化画像を以下、単にピクチャという。

動き検出部１０３は、画像信号Ｖｉｎをマクロブロック単位で取得する。画像信号Ｖｉｎを取得した動き検出部１０３は、ピクチャメモリ１０４に格納されているピクチャを参照ピクチャとして参照し、取得した画像信号Ｖｉｎに最も近い画像領域をその参照ピクチャの中から特定する。そして、動き検出部１０３は、その画像領域の位置を指し示す動きベクトルＭＶを検出する。

ここで、動き検出部１０３は、このような動きベクトルＭＶの検出を、マクロブロックをさらに分割したブロック単位で行う。そして、動き検出部１０３は、参照ピクチャを指定するための識別番号（相対インデックスＩｄｘ）をブロック毎に用いることにより、ピクチャメモリ１０４中の各ピクチャが有するピクチャ番号との対応を取って、複数の参照ピクチャの候補の中でどの参照ピクチャを参照したかを指定する。

動き補償部１０５は、上記処理によって検出された動きベクトルＭＶおよび相対インデックスＩｄｘを用いて、ピクチャメモリ１０４に格納されているピクチャ（復号化画像）から予測画像Ｐｒｅに最適な画像領域を取り出す。そして、動き補償部１０５は、その取り出した画像領域から予測画像Ｐｒｅを生成する。
アクセスポイント決定部１０２は、所定単位（ランダムアクセスユニット）毎に、所定のピクチャを特別なピクチャとして符号化（画面内符号化）するように、動き検出部１０３および動き補償部１０５に指示する。さらに、アクセスポイント決定部１０２は、その特別なピクチャであることを示すアクセスポイント識別子ｒａｐｐを可変長符号化部１０９に出力する。

ＰＳメモリ１０１は、パラメータセットＰＳを取得して一時的に保存する。そしてＰＳメモリ１０１は、アクセスポイント決定部１０２からの指示に基づき、その一時的に保存しているパラメータセットＰＳの中から、上記指示に該当するピクチャのピクチャパラメータセットやシーケンスパラメータセットを可変長符号化部１０９に出力する。
可変長符号化部１０９は、外部から取得したパラメータセットＰＳと、動きベクトルＭＶと、量子化値と、相対インデックスＩｄｘと、アクセスポイント識別子ｒａｐｐとを符号化する。そして可変長符号化部１０９は、符号化されたパラメータセットＰＳに含まれるシーケンスパラメータセット及びシーケンスパラメータセットをランダムアクセスユニットごとに配置してストリームＳｔｒを生成し、そのストリームＳｔｒを出力する。

図２は、本実施の形態における画像符号化装置１００が出力するストリームＳｔｒの構成を示す構成図である。
ストリームＳｔｒには、先頭から順に、同期信号ｓｙｎｃと、パラメータセットＰＳと、複数のランダムアクセスユニットＲＡＵとが含まれている。
パラメータセットＰＳには、複数のシーケンスパラメータセットＳＰＳと、複数のピクチャパラメータセットＰＰＳとが含まれる。

ランダムアクセスユニットＲＡＵには、先頭から順に、同期信号ｓｙｎｃと、１つのシーケンスパラメータセットＳＰＳと、複数のピクチャパラメータセットＰＰＳと、符号化された複数のピクチャｐｉｃとが含まれる。即ち、このようなランダムアクセスユニットＲＡＵには、そこに含まれる全てのピクチャｐｉｃの復号に必要な全てのシーケンスパラメータセットＳＰＳ及びピクチャパラメータセットＰＰＳが含まれている。また、各ピクチャパラメータセットＰＰＳは、互いにその値を異にし、何れか１つのピクチャパラメータセットＰＰＳは、複数のピクチャｐｉｃに参照されてそれらの復号に用いられる。

ピクチャｐｉｃには、先頭から順に、同期信号ｓｙｎｃと、パラメータセット識別子ＰＳＩＤと、ピクチャの画素に対応する符号語の画素データｐｉｘとが含まれる。
パラメータセット識別子ＰＳＩＤは、そのランダムアクセスユニットＲＡＵに含まれる各パラメータセットＳＰＳ，ＰＰＳのうち、そのピクチャが参照するパラメータセットＳＰＳ，ＰＰＳを指し示す。

図３は、本実施の形態における画像符号化装置１００の画像符号化方法を示すフロー図である。
まず、画像符号化装置１００は、符号化対象のピクチャがランダムアクセスポイント、即ちランダムアクセスユニットＲＡＵの最初のピクチャであるか否かを判別する（ステップＳ１００）。

ここで、画像符号化装置１００は、ランダムアクセスポイントであると判別したときには（ステップＳ１００のＹ）、シーケンスパラメータセットＳＰＳを符号化し（ステップＳ１０２）、さらに、ランダムアクセスユニットＲＡＵの全てのピクチャのそれぞれに対応する各ピクチャパラメータセットＰＰＳを符号化する（ステップＳ１０３）。そして、画像符号化装置１００は、符号化されたシーケンスパラメータセットＳＰＳ及び複数のピクチャパラメータセットＰＰＳを纏めて、ランダムアクセスユニットＲＡＵの先頭側に配置する（ステップＳ１０４）。

また、ステップＳ１０４でシーケンスパラメータセットＳＰＳ及びピクチャパラメータセットＰＰＳを配置した後、又はステップＳ１００でランダムアクセスポイントでないと判別したとき（ステップＳ１００のＮ）には、画像符号化装置１００は、その符号化対象ピクチャを符号化する（ステップＳ１０６）。ここで画像符号化装置１００は、上記シーケンスパラメータセットＳＰＳ及びピクチャパラメータセットＰＰＳの後に、符号化された符号化対象ピクチャを配置する。すなわち、画像符号化装置１００は、ステップＳ１０４で上記パラメータセットＳＰＳ，ＰＰＳを配置するときには、ランダムアクセスユニットＲＡＵ内で、そのパラメータセットＳＰＳ，ＰＰＳを何れのピクチャｐｉｃよりも前に配置する。また、画像符号化装置１００は、符号化対象ピクチャを符号化するときには、符号化された符号化対象ピクチャ（ピクチャｐｉｃ）の中で、ピクチャの画素に対応する符号語（画素データｐｉｘ）よりも前に、そのピクチャｐｉｃの復号に必要なピクチャパラメータセットＰＰＳを指し示すパラメータセット識別子ＰＳＩＤを配置する。

その後、画像符号化装置１００は、取得した画像信号Ｖｉｎのうち符号化していないピクチャがあるか否かを判別し（ステップＳ１０８）、符号化していないピクチャがあると判別したときには（ステップＳ１０８のＹ）、ステップＳ１００からの動作を繰り返し実行し、符号化していないピクチャがない、つまり全てのピクチャを符号化したと判別したときには（ステップＳ１０８のＮ）、符号化の処理を終了する。このような画像符号化方法によりストリームＳｔｒが生成される。

このように本実施の形態における画像符号化方法では、ランダムアクセスユニットＲＡＵに含まれる全てのピクチャの復号（符号）に必要なシーケンスパラメータセットＳＰＳ及びピクチャパラメータセットＰＰＳがそのランダムアクセスユニットＲＡＵに配置されてストリームＳｔｒが生成されるため、画像復号化装置は、そのストリームＳｔｒを途中から取得した場合であっても、取得したストリームＳｔｒに含まれるランダムアクセスユニットＲＡＵの先頭からシーケンスパラメータセットＳＰＳ及びピクチャパラメータセットＰＰＳを参照して正確な復号を開始する、即ちランダムアクセスを開始することができる。また、画像符号化装置は、そのストリームＳｔｒを記録媒体から読み出してランダムアクセスするときにも、読み出し位置をストリームＳｔｒの先頭からランダムアクセスポイントに移動させる必要がなく、ランダムアクセスの待ち時間を省いて迅速にランダムアクセスを開始することができる。

また、本実施の形態における画像符号化方法では、各ランダムアクセスユニットＲＡＵにシーケンスパラメータセットＳＰＳ及びピクチャパラメータセットＰＰＳが含まれるストリームＳｔｒを生成するため、従来のストリームＳｔｒ９の画像符号化方法よりもビット数が多いストリームを生成するが、従来のＭＰＥＧ−２の画像符号化方法のように各ピクチャごとに復号に要するヘッダが配置されることがないため、従来のＭＰＥＧ−２の画像符号化方法よりも符号化効率を向上することができる。

なお、本実施の形態の画像符号化装置１００に、ストリームＳｔｒの構成を示す構成識別情報を生成させても良い。
図４は、画像符号化装置１００から出力される情報を説明するための説明図である。
この図４に示されるように、画像符号化装置１００は、ストリームＳｔｒに付随させる形で構成識別情報ｓｉｄを生成して出力する。

この構成識別情報ｓｉｄは、ストリームＳｔｒの全てのランダムアクセスユニットＲＡＵにはシーケンスパラメータセットＳＰＳ及びピクチャパラメータセットＰＰＳが含まれていること、即ち、ストリームＳｔｒの任意のランダムアクセスユニットＲＡＵからランダムアクセスが可能であることを示すものである。
このような構成識別情報ｓｉｄを画像符号化装置１００からストリームＳｔｒに付随させて出力させることにより、ストリームＳｔｒ及び構成識別情報ｓｉｄを取得した画像復号化装置は、その構成識別情報ｓｉｄに基づいて、取得したストリームＳｔｒは任意のランダムアクセスユニットＲＡＵから復号可能なものであることを容易に把握し、ランダムアクセスを実行することができる。

また、構成識別情報ｓｉｄをストリームＳｔｒに含めて画像符号化装置１００から出力させても良い。
図５は、構成識別情報ｓｉｄを含むストリームＳｔｒの構成を示す構成図である。
この図５に示されるように、画像符号化装置１００は、同期信号ｓｙｎｃとパラメータセットＰＳとの間に構成識別情報ｓｉｄが配置されるようにストリームＳｔｒを生成して出力する。

（変形例１）
次に、上記本実施の形態における画像符号化装置の第１の変形例について説明する。
第１の変形例にかかる画像符号化装置は、ピクチャパラメータセットＰＰＳの配置に関し、上記本実施の形態における画像符号化装置１００が出力するストリームＳｔｒと異なるストリームを出力する。
図６は、本変形例にかかる画像符号化装置が出力するストリームの構成を示す構成図である。

本変形例にかかる画像符号化装置は、先頭から順に、同期信号ｓｙｎｃとパラメータセットＰＳと複数のランダムアクセスユニットＲＡＵ１とを含むストリームＳｔｒ１を出力する。
ランダムアクセスユニットＲＡＵ１には、例えば先頭から順に、同期信号ｓｙｎｃと、シーケンスパラメータセットＳＰＳと、ピクチャパラメータセットＰＰＳ（ＰＰＳ１）と、２つのピクチャｐｉｃ１，ｐｉｃ２と、ピクチャパラメータセットＰＰＳ（ＰＰＳ２）と、ピクチャｐｉｃ３とが含まれている。

ここで、このピクチャパラメータセットＰＰＳ１は、２つのピクチャｐｉｃ１，ｐｉｃ２の復号に必要なものであって、それぞれに共通に参照される。また、ピクチャパラメータセットＰＰＳ２は、上記ピクチャｐｉｃ１，ｐｉｃ２の復号には不要なものであって、それらには参照されない。即ち、ピクチャパラメータセットＰＰＳ２は、ピクチャｐｉｃ３の復号に対して必要なものであって、そのピクチャｐｉｃ３に参照される。

そこで、ピクチャパラメータセットＰＰＳ２は、ピクチャｐｉｃ３に参照されるが、ピクチャｐｉｃ１，ｐｉｃ２には参照されることがないため、ピクチャｐｉｃ１，ｐｉｃ２よりも前に配置される必要はない。
また、ピクチャｐｉｃ１，ｐｉｃ２に参照されるピクチャパラメータＰＰＳ１は、ピクチャｐｉｃ１の直前に既に配置されているので、再びピクチャｐｉｃ２の直前に配置される必要はない。

即ち、本変形例にかかる画像符号化装置は、所定のピクチャに参照されるピクチャパラメータセットＰＰＳが、既に配置されている場合を除いてその所定のピクチャの直前に配置されるようにストリームＳｔｒ１を生成する。
図７は、本変形例における画像符号化装置の画像符号化方法を示すフロー図である。
まず、画像符号化装置は、符号化対象のピクチャがランダムアクセスポイント、即ちランダムアクセスユニットＲＡＵ１の最初のピクチャであるか否かを判別する（ステップＳ２００）。

ここで、画像符号化装置は、ランダムアクセスポイントであると判別したときには（ステップＳ２００のＹ）、シーケンスパラメータセットＳＰＳを符号化し（ステップＳ２０２）、そのシーケンスパラメータセットＳＰＳをランダムアクセスユニットＲＡＵ１の先頭側に配置する（ステップＳ２０３）。さらに、画像符号化装置は、符号化対象ピクチャに対応するピクチャパラメータセットＰＰＳを符号化し（ステップＳ２０４）、そのピクチャパラメータセットＰＰＳをランダムアクセスユニットＲＡＵ１のシーケンスパラメータセットＳＰＳの後に配置する（ステップＳ２０５）。

一方、画像符号化装置は、ランダムアクセスポイントではないと判別したときには（ステップＳ２００のＮ）、さらに、符号化対象ピクチャのピクチャパラメータセットＰＰＳがランダムアクセスポイントより後に既に符号化されているか否かを判別する（ステップＳ２０６）。
ステップＳ２０６で符号化されていないと判別したときには（ステップＳ２０６のＮ）、画像符号化装置は、符号化対象ピクチャのピクチャパラメータセットＰＰＳを符号化して配置する（ステップＳ２０４，Ｓ２０５）。

ステップＳ２０５でピクチャパラメータセットＰＰＳを配置した後、又はステップＳ２０６で既に符号化していると判別したとき（ステップＳ２０６のＹ）には、画像符号化装置は、その符号化対象ピクチャを符号化する（ステップＳ２０８）。ここで画像符号化装置は、ステップＳ２０５でピクチャパラメータセットＰＰＳを配置した後に、符号化対象ピクチャを符号化したときには、符号化された符号化対象ピクチャ（ピクチャｐｉｃ）を、それに対応するピクチャパラメータセットＰＰＳの直後に配置する。すなわち、画像符号化装置１００は、ステップＳ２０５でピクチャパラメータセットＰＰＳを配置するときには、ランダムアクセスユニットＲＡＵ内で、符号化された符号化対象ピクチャ（ピクチャｐｉｃ）の直前にピクチャパラメータセットＰＰＳを配置する。また、画像符号化装置は、符号化対象ピクチャを符号化するときには、符号化された符号化対象ピクチャ（ピクチャｐｉｃ）の中で、ピクチャの画素に対応する符号語（画素データｐｉｘ）よりも前に、そのピクチャｐｉｃの復号に必要なピクチャパラメータセットＰＰＳを指し示すパラメータセット識別子ＰＳＩＤを配置する。

その後、画像符号化装置は、取得した画像信号Ｖｉｎのうち符号化していないピクチャがあるか否かを判別し（ステップＳ２１０）、符号化していないピクチャがあると判別したときには（ステップＳ２１０のＹ）、ステップＳ２００からの動作を繰り返し実行し、符号化していないピクチャがない、つまり全てのピクチャを符号化したと判別したときには（ステップＳ２１０のＮ）、符号化の処理を終了する。このような画像符号化方法によりストリームＳｔｒ１が生成される。

一方、上述の画像符号化装置１００の画像符号化方法では、ランダムアクセスユニットＲＡＵ単位で各ピクチャの復号に必要な全てのピクチャパラメータセットＰＰＳを決定した後に、これらのピクチャパラメータセットＰＰＳを纏めて符号化してランダムアクセスユニットＲＡＵの先頭側に配置するため、その決定された複数のピクチャパラメータＰＰＳを一時的に蓄積しておく必要がある。

これに対して、本変形例にかかる画像符号化方法では、ランダムアクセスユニットＲＡＵ１単位で、順次、ピクチャの復号に必要なピクチャパラメータセットＰＰＳを決定すると、そのピクチャパラメータセットＰＰＳを符号化してランダムアクセスユニットに配置するため、上述のような蓄積を要することなく、本変形例にかかる画像符号化装置の構成を、画像符号化装置１００の構成よりも簡単にすることができる。

なお、本実施の形態及び本変形例では、シーケンスパラメータセットＳＰＳはランダムアクセスユニットＲＡＵ以上の単位で変更可能なため、ランダムアクセスユニットＲＡＵでは１回だけ配置すれば十分である。

（変形例２）
次に、上記本実施の形態における画像符号化装置の第２の変形例について説明する。
第２の変形例にかかる画像符号化装置は、シーケンスパラメータセットＳＰＳの配置に関し、上記本実施の形態における画像符号化装置１００が出力するストリームＳｔｒと異なるストリームを出力する。
図８は、本変形例にかかる画像符号化装置が出力するストリームの構成を示す構成図である。

本変形例にかかる画像符号化装置は、先頭から順に、同期信号ｓｙｎｃとパラメータセットＰＳと複数のランダムアクセスユニットグループＧＲＡＵとを含むストリームＳｔｒ２を出力する。
ランダムアクセスユニットグループＧＲＡＵには、先頭から順に、シーケンスパラメータセットＳＰＳと、複数のランダムアクセスユニットＲＡＵ２とが含まれている。即ち、ランダムアクセスユニットグループＧＲＡＵは、記録や伝送に都合の良いようにランダムアクセスユニットＲＡＵ２を複数まとめた単位として構成されている。

ここで、シーケンスパラメータセットＳＰＳはランダムアクセスユニットＲＡＵ２以上の単位で変更可能なパラメータであるから、必ずしもランダムアクセスユニットＲＡＵ２単位で変更する必要は無い。また、通常、シーケンスパラメータセットＳＰＳはストリーム中に高々数個しか要せず、１個だけで足る場合も多い。
そこで、本変形例の画像符号化装置は、ランダムアクセスユニットＲＡＵ２単位にシーケンスパラメータセットＳＰＳを配置するのではなく、ランダムアクセスユニットグループＧＲＡＵ単位に、即ち各ランダムアクセスユニットグループＧＲＡＵの先頭にシーケンスパラメータセットＳＰＳを１つ配置する。

また、ランダムアクセスユニットグループＧＲＡＵには、そこに含まれる全てのピクチャの復号に必要なシーケンスパラメータセットＳＰＳ及びピクチャパラメータＰＰＳが含まれているため、この点で、このランダムアクセスユニットグループＧＲＡＵは、上記実施の形態及び変形例１におけるランダムアクセスユニットＲＡＵ，ＲＡＵ１と同視されるものである。そして、そのようなランダムアクセスユニットグループＧＲＡＵに含まれるＲＡＵ２は、ランダムアクセスユニットグループＧＲＡＵが分割された小単位として見ることができる。

図９は、本変形例における画像符号化装置の動作を示すフロー図である。
まず、画像符号化装置は、符号化対象のピクチャがランダムアクセスユニットグループＧＲＡＵの最初のピクチャであるか否かを判別する（ステップＳ３００）。
ここで、画像符号化装置は、最初のピクチャであると判別したときには（ステップＳ３００のＹ）、シーケンスパラメータセットＳＰＳを符号化し（ステップＳ３０２）、そのシーケンスパラメータセットＳＰＳをランダムアクセスユニットグループＧＲＡＵの先頭側に配置する（ステップＳ３０３）。さらに、画像符号化装置は、符号化対象ピクチャに対応するピクチャパラメータセットＰＰＳを符号化し（ステップＳ３０４）、そのピクチャパラメータセットＰＰＳをランダムアクセスユニットＲＡＵ２の先頭側に配置する（ステップＳ３０５）。

一方、画像符号化装置は、符号化対象ピクチャがランダムアクセスユニットグループＧＲＡＵの最初のピクチャでないと判別したときには（ステップＳ３００のＮ）、さらに、符号化対象ピクチャのピクチャパラメータセットＰＰＳがランダムアクセスポイント（ランダムアクセスユニットＲＡＵ２の最初）より後に既に符号化されているか否かを判別する（ステップＳ３０６）。

ステップＳ３０６で符号化されていないと判別したときには（ステップＳ３０６のＮ）、画像符号化装置は、符号化対象ピクチャのピクチャパラメータセットＰＰＳを符号化して配置する（ステップＳ３０４，Ｓ３０５）。
ステップＳ３０５でピクチャパラメータセットＰＰＳを配置した後、又はステップＳ３０６で既に符号化していると判別したとき（ステップＳ３０６のＮ）には、画像符号化装置は、その符号化対象ピクチャを符号化する（ステップＳ３０８）。

そして、画像符号化装置は、取得した画像信号Ｖｉｎのうち符号化していないピクチャがあるか否かを判別し（ステップＳ３１０）、符号化していないピクチャがあると判別したときには（ステップＳ３１０のＹ）、ステップＳ３００からの動作を繰り返し実行し、符号化していないピクチャがない、つまり全てのピクチャを符号化したと判別したときには（ステップＳ３１０のＮ）、符号化の処理を終了する。このような画像符号化方法により、シーケンスパラメータセットＳＰＳが各ランダムアクセスユニットグループＧＲＡＵに一つだけ含まれるストリームＳｔｒ２が生成される。

このように、本変形例にかかる画像符号化装置は、複数のランダムアクセスユニットＲＡＵ２に対して１つのシーケンスパラメータセットＳＰＳが配置されたストリームＳｔｒ２を生成するため、ストリームＳｔｒ２に含まれるビット数を、上述の画像符号化装置１００のストリームＳｔｒに含まれるビット数よりも削減することができる。
なお、本実施の形態及び変形例１，２では、符号化されたパラメータセットＰＳをストリームの先頭に配置したが、符号化されたパラメータセットＰＳ（ＰＰＳ，ＳＰＳ）をランダムアクセスユニットＲＡＵに必要な分だけ配置するため、符号化されたパラメータセットＰＳをストリームの先頭に配置しなくても良い。

（変形例３）
次に、上記本実施の形態における画像符号化装置の第３の変形例について説明する。
第３の変形例にかかる画像符号化装置は、上記本実施の形態における画像符号化装置１００が出力するストリームＳｔｒと異なるストリームを生成して出力する。
図１０は、本変形例にかかる画像符号化装置が出力するストリームの構成を示す構成図である。
本変形例にかかる画像符号化装置は、先頭から順に、同期信号ｓｙｎｃと、複数のランダムアクセスユニットＲＡＵ（ＲＡＵ０，ＲＡＵ０１，ＲＡＵ０２，…）とを含むストリームＳｔｒ３を出力する。

ランダムアクセスユニットＲＡＵ０１には、先頭から順に、同期信号ｓｙｎｃと、パラメータセットＰＳ（ＰＳ１）と、ピクチャｐｉｃ１と、ピクチャｐｉｃ２と、ピクチャｐｉｃ３とが含まれている。ランダムアクセスユニットＲＡＵ２には、先頭から順に、同期信号ｓｙｎｃと、ランダムアクセスポイント情報ＲＰＳと、パラメータセットＰＳ（ＰＳ２）と、ピクチャｐｉｃ４と、ピクチャｐｉｃ５と、ピクチャｐｉｃ６とが含まれている。

例えば、ピクチャｐｉｃ１は画面内符号化されたＩピクチャであり、ピクチャｐｉｃ２は、ピクチャｐｉｃ１を参照して符号化されたＰピクチャである。ピクチャｐｉｃ３は、ピクチャｐｉｃ１，ｐｉｃ２を参照して符号化されたＢピクチャである。また、ピクチャｐｉｃ４は画面内符号化されたＩピクチャであり、ピクチャｐｉｃ５は、ピクチャｐｉｃ２，ｐｉｃ４を参照して符号化されたＢピクチャである。そして、ピクチャｐｉｃ６は、ピクチャｐｉｃ４とランダムアクセスユニットＲＡＵ０２の他のピクチャとを参照して符号化されたＢピクチャである。

ここで、パラメータセットＰＳ１には、シーケンスパラメータセットと、ピクチャｐｉｃ２，ｐｉｃ３に対応するピクチャパラメータセットと、ランダムアクセスユニットＲＡＵ０２のピクチャｐｉｃ５に対応するピクチャパラメータセットとが含まれている。
即ち、ストリームＳｔｒ３がランダムアクセスユニットＲＡＵ０１からランダムアクセスされるときには、ランダムアクセスユニットＲＡＵ０１のピクチャｐｉｃ２はパラメータセットＰＳ１とピクチャｐｉｃ１を参照して復号され、ピクチャｐｉｃ３はパラメータセットＰＳ１とピクチャｐｉｃ１，ｐｉｃ２を参照して復号される。そして、ランダムアクセスユニットＲＡＵ０２のピクチャｐｉｃ５は、パラメータセットＰＳ１とピクチャｐｉｃ２，ｐｉｃ４を参照して復号され、ピクチャｐｉｃ６は、パラメータセットＰＳ２とピクチャｐｉｃ４とランダムアクセスユニットＲＡＵ０２の他のピクチャとを参照して復号される。

一方、ストリームＳｔｒ３がランダムアクセスユニットＲＡＵ０２からランダムアクセスされるときには、ピクチャｐｉｃ５は復号化も表示もされることなく、ピクチャｐｉｃ４，ｐｉｃ６が順に復号されて表示される。
つまり、ランダムアクセスユニットＲＡＵ０２のＢピクチャであるピクチャｐｉｃ５の復号には、前のランダムアクセスユニットＲＡＵ０１のピクチャを参照する必要があるため、ピクチャｐｉｃ５に対して必要なピクチャパラメータセットをランダムアクセスユニットＲＡＵ０２内に配置しておく必要はない。また、ストリームＳｔｒ３がランダムアクセスユニットＲＡＵ０２からランダムアクセスされるような場合であっても、ピクチャｐｉｃ５は復号されないため、上述と同様、ピクチャｐｉｃ５に対して必要なピクチャパラメータセットをランダムアクセスユニットＲＡＵ０２内に配置しておく必要はないのである。

なお、上記本実施の形態及び変形例１〜３では、ストリーム中にピクチャ単位でパラメータセット識別子ＰＳＩＤを含めたが、ピクチャが複数のスライスで構成されている場合には、スライス単位でパラメータセット識別子ＰＳＩＤを含めても良い。
また、上記実施の形態及び変形例１〜３に示されるランダムアクセスユニットは、必ずしもＪＶＴの特別なタイプのピクチャを含む複数のピクチャの集合である必要は無く、パラメータセットＰＳを必要な分だけランダムアクセスユニットＲＡＵ毎に配置することから、単に、画面内符号化されたピクチャ（Ｉピクチャ）を先頭に含む複数のピクチャの集合であっても良い。

さらに、上記実施の形態及び変形例１〜３では、ランダムアクセスユニットＲＡＵごとやランダムアクセスユニットグループＧＲＡＵごとに、１つのシーケンスパラメータセットＳＰＳと、互いに異なる複数のピクチャパラメータセットＰＰＳとを１回だけ符号化して配置したが、これらに対して複数回の符号化を行うことにより、符号化された同一の複数のシーケンスパラメータセットＳＰＳと、符号化された同一の複数のピクチャパラメータセットＰＰＳとを、ランダムアクセスユニットＲＡＵごとやランダムアクセスユニットグループＧＲＡＵごとに配置しても良い。これにより、例えば復号時でのエラーの発生を防止することができる。

（実施の形態２）
さらに、上記実施の形態で示した画像符号化方法を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
図１１は、実施の形態１の画像符号化方法をコンピュータシステムにより実現するためのプログラムを格納する記憶媒体についての説明図である。

図１１中の（ｂ）は、フレキシブルディスクＦＤの正面及び側面からみた外観と、記録媒体の本体であるディスク本体ＦＤ１の正面からみた外観とを示し、図１１中の（ａ）は、ディスク本体ＦＤ１の物理フォーマットの例を示している。
ディスク本体ＦＤ１はケースＦ内に内蔵され、ディスク本体ＦＤ１の表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクＦＤでは、上記ディスク本体ＦＤ１上に割り当てられた領域に、上記プログラムとしての画像符号化方法が記録されている。

また、図１１中の（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。
上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓが上記プログラムとしての画像符号化方法をフレキシブルディスクドライブＦＤＤを介して書き込む。また、フレキシブルディスクＦＤ内のプログラムにより上記画像符号化方法をコンピュータシステムＣｓ中に構築する場合は、フレキシブルディスクドライブＦＤＤによりプログラムがフレキシブルディスクＦＤから読み出され、コンピュータシステムＣｓに転送される。

なお、上記説明では、記録媒体としてフレキシブルディスクＦＤを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
（実施の形態３）
さらにここで、上記実施の形態で示した画像符号化方法の応用例とそれを用いたシステムを説明する。

図１２は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。
このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ex１０７〜ex１１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムex１００は図１２のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。
カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。

また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラex１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。

このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。

このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。
図１３は、上記実施の形態で説明した画像符号化方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ex１１５について図１４を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。

電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。
携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声データに変換した後、これを音声出力部ex２０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。

画像符号化部ex３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。

多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信データを変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。
また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。

次に、画像復号化部ex３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声データに変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１５に示すようにディジタル放送用システムにも上記実施の形態の画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報のビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置によりビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録したビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。

更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。

なお、カーナビゲーションex４１３の構成は例えば図１４に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。
また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。

このように、上記実施の形態で示した画像符号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

本発明は、本発明に係る画像符号化方法は、符号化効率を低下させることなく迅速なランダムアクセスが可能なように画像を符号化することができ、本画像符号化方法で画像を符号化する例えばビデオカメラや録画機能付き携帯電話などの画像符号化装置として適用できる。

本発明の第１の実施の形態における画像符号化装置の構成を示すブロック図である。 同上の画像符号化装置が出力する画像符号化信号の構成を示す構成図である。 同上の画像符号化方法を示すフロー図である。 同上の画像符号化装置から出力される情報を説明するための説明図である。 同上の構成識別情報を含むストリームＳｔｒの構成を示す構成図である。 同上の第１の変形例にかかる画像符号化装置が出力するストリームの構成を示す構成図である。 同上の第１の変形例における画像符号化装置の動作を示すフロー図である。 同上の第２の変形例にかかる画像符号化装置が出力するストリームの構成を示す構成図である。 同上の第２の変形例における画像符号化装置の動作を示すフロー図である。 同上の第３の変形例にかかる画像符号化装置が出力するストリームの構成を示す構成図である。 本発明の第２の実施の形態における、実施の形態１の画像符号化方法をコンピュータシステムにより実現するためのプログラムを格納する記憶媒体についての説明図である。 本発明の第３の実施の形態におけるコンテンツ配信サービスを実現するコンテンツ供給システムの全体構成を示すブロック図である。 同上の実施の形態１で説明した画像符号化方法を用いた携帯電話を示す図である。 同上の携帯電話の内部構成を示すブロック図である。 同上のディジタル放送用システムの構成を示す構成図である。 従来の画像符号化装置の構成を示すブロック図である。 同上の画像符号化装置が出力するストリームの構成を示す構成図である。 同上のＭＰＥＧ−２のストリームの構成を示す構成図である。

符号の説明

１００ 画像符号化装置
１０１ ＰＳメモリ
１０２ アクセスポイント決定部
１０３ 動き検出部
１０４ ピクチャメモリ
１０５ 動き補償部
１０６ 減算器
１０７ 直交変換部
１０８ 量子化部
１０９ 可変長符号化部
１１０ 逆量子化部
１１１ 逆直交変換部
１１２ 加算器

Claims (8)

1. 動画像信号をピクチャ単位で符号化して符号化ストリームを生成する動画像符号化方法であって、
   ランダムアクセスポイントとなる第１のＩピクチャから、前記ランダムアクセスポイントとは別のランダムアクセスポイントとなる第２のＩピクチャの直前のピクチャまでに属する複数のピクチャと、前記複数のピクチャを復号化するための複数のパラメータセットとで構成されるランダムアクセスユニットに含まれ、かつ、符号化順において前記第１のＩピクチャよりも後ろに位置する符号化対象ピクチャを符号化する際に、
   前記符号化対象ピクチャの復号化のために選択されたパラメータセットの符号化を行う第１の符号化ステップと、
   前記選択されたパラメータセットに含まれる内容に基づいて前記符号化対象ピクチャの符号化を行う第２の符号化ステップと、
   前記第１のＩピクチャが使用しない符号化された前記選択されたパラメータセットを、前記第１のＩピクチャを含むランダムアクセスユニット内において、符号化された前記第１のＩピクチャよりも前に位置するよう符号化ストリームを生成する符号化ストリーム生成ステップと、
   を含むことを特徴とする動画像符号化方法。
2. ランダムアクセスポイントとなる第１のＩピクチャから、前記ランダムアクセスポイントとは別のランダムアクセスポイントとなる第２のＩピクチャの直前のピクチャまでに属する複数のピクチャと、前記複数のピクチャを復号化するための複数のパラメータセットとで構成されるランダムアクセスユニットを符号化して生成された符号化ストリームを復号化して動画像信号を生成する動画像復号化方法において、
   前記第１のＩピクチャを含むランダムアクセスユニット内において、符号化された前記第１のＩピクチャよりも前に位置する符号化された第１のパラメータセットの抽出を行う抽出ステップと、
   前記抽出ステップにおいて抽出された、前記符号化された第１のパラメータセットの復号を行うパラメータセット復号化ステップと、
   前記復号化された前記第１のパラメータセットを用いて、符号化順において前記第１のＩピクチャよりも後ろに位置し、かつ、前記ランダムアクセスユニットに含まれる符号化された復号化対象ピクチャの復号を行うピクチャ復号化ステップと、
   を含むことを特徴とする動画像復号化方法。
3. 前記動画像復号化方法は、更に、
   前記第１のＩピクチャを含むランダムアクセスユニット内において、符号化された前記第１のＩピクチャよりも前に位置する符号化された第２のパラメータセットの抽出を行う第２の抽出ステップと、
   符号化された前記第２のパラメータセットの復号を行う第２のパラメータセット復号化ステップと、
   前記復号化された第２のパラメータセットを用いて、符号化された前記第１のＩピクチャの復号を行う第２のピクチャ復号化ステップと、
   を含むことを特徴とする請求項２に記載の動画像復号化方法。
4. 動画像信号をピクチャ単位で符号化して符号化ストリームを生成する動画像符号化装置であって、
   ランダムアクセスポイントとなる第１のＩピクチャから、前記ランダムアクセスポイントとは別のランダムアクセスポイントとなる第２のＩピクチャの直前のピクチャまでに属する複数のピクチャと、前記複数のピクチャを復号化するための複数のパラメータセットとで構成されるランダムアクセスユニットに含まれ、かつ、符号化順において前記第１のＩピクチャよりも後ろに位置する符号化対象ピクチャを符号化する際に、
   前記符号化対象ピクチャの復号化のために選択されたパラメータセットの符号化を行う第１の符号化手段と、
   前記選択されたパラメータセットに含まれる内容に基づいて前記符号化対象ピクチャの符号化を行う第２の符号化手段と、
   前記第１のＩピクチャが使用しない符号化された前記選択されたパラメータセットを、前記第１のＩピクチャを含むランダムアクセスユニット内において、符号化された前記第１のＩピクチャよりも前に位置するよう符号化ストリームを生成する符号化ストリーム生成手段と、
   を含むことを特徴とする動画像符号化装置。
5. ランダムアクセスポイントとなる第１のＩピクチャから、前記ランダムアクセスポイントとは別のランダムアクセスポイントとなる第２のＩピクチャの直前のピクチャまでに属する複数のピクチャと、前記複数のピクチャを復号化するための複数のパラメータセットとで構成されるランダムアクセスユニットを符号化して生成された符号化ストリームを復号化して動画像信号を生成する動画像復号化装置において、
   前記第１のＩピクチャを含むランダムアクセスユニット内において、符号化された前記第１のＩピクチャよりも前に位置する符号化された第１のパラメータセットの抽出を行う抽出手段と、
   前記抽出手段において抽出された、前記符号化された第１のパラメータセットの復号を行うパラメータセット復号化手段と、
   前記復号化された前記第１のパラメータセットを用いて、符号化順において前記第１のＩピクチャよりも後ろに位置し、かつ、前記ランダムアクセスユニットに含まれる符号化された復号化対象ピクチャの復号を行うピクチャ復号化手段と、
   を含むことを特徴とする動画像復号化装置。
6. 前記抽出手段は、前記第１のＩピクチャを含むランダムアクセスユニット内において、符号化された前記第１のＩピクチャよりも前に位置する符号化された第２のパラメータセットの抽出を行い、
   前記パラメータセット復号化手段は、符号化された前記第２のパラメータセットの復号を行い、
   前記ピクチャ復号化手段は、前記復号化された第２のパラメータセットを用いて、符号化された前記第１のＩピクチャの復号を行う
   ことを特徴とする請求項５に記載の動画像復号化装置。
7. 動画像信号をピクチャ単位で符号化した符号化ストリームをコンピュータ読み取り可能な記録媒体に記録する記録方法であって、
   ランダムアクセスポイントとなる第１のＩピクチャから、前記ランダムアクセスポイントとは別のランダムアクセスポイントとなる第２のＩピクチャの直前のピクチャまでに属する複数のピクチャと、前記複数のピクチャを復号化するための複数のパラメータセットとで構成されるランダムアクセスユニットに含まれ、かつ、符号化順において前記第１のＩピクチャよりも後ろに位置する符号化対象ピクチャを符号化する際に、
   前記符号化対象ピクチャの復号化のために選択されたパラメータセットの符号化を行う第１の符号化ステップと、
   前記選択されたパラメータセットに含まれる内容に基づいて前記符号化対象ピクチャの符号化を行う第２の符号化ステップと、
   前記第１のＩピクチャが使用しない符号化された前記選択されたパラメータセットを、前記第１のＩピクチャを含むランダムアクセスユニット内において、符号化された前記第１のＩピクチャよりも前に位置するよう符号化ストリームを生成する符号化ストリーム生成ステップと、
   前記符号化ストリームを記録媒体に記録する記録ステップと、
   を含むことを特徴とする記録媒体への記録方法。
8. ランダムアクセスポイントとなる第１のＩピクチャから、前記ランダムアクセスポイントとは別のランダムアクセスポイントとなる第２のＩピクチャの直前のピクチャまでに属する複数のピクチャと、前記複数のピクチャを復号化するための複数のパラメータセットとで構成されるランダムアクセスユニットを符号化して生成された符号化ストリームを記録したコンピュータ読み取り可能な記録媒体から、前記符号化ストリームを読み出し復号を行う動画像復号化システムであって、
   前記記録媒体に記録された符号化ストリームは、
   前記動画像復号化システムが、前記第１のＩピクチャを復号化するために、符号化されたＩピクチャデータと、
   前記動画像復号化システムが、前記符号化されたＩピクチャデータを復号するための符号化された第１のパラメータセットと、
   前記動画像復号化システムが、前記第１のＩピクチャに後続し、かつ、ランダムアクセスユニットに含まれる後続ピクチャを復号化するために、符号化された後続ピクチャデータと、
   前記動画像復号化システムが、前記符号化された後続ピクチャの復号に使用するための符号化された第２のパラメータセットとを含み、
   前記符号化された後続ピクチャデータは、前記第１のＩピクチャを含むランダムアクセスユニット内において、前記符号化された第１のＩピクチャデータの後に位置し、
   符号化された前記第１のパラメータセットと、符号化された前記第２のパラメータセットは、前記第１のＩピクチャを含むランダムアクセスユニット内において、前記符号化された第１のＩピクチャよりも前に位置しており、
   前記記録媒体から符号化ストリームを読み出し復号化を行う動画像復号化システムは、
   前記第１のＩピクチャを含むランダムアクセスユニット内において、符号化された前記第１のＩピクチャよりも前に位置する符号化された第１のパラメータセットの抽出を行う第１の抽出手段と、
   前記第１の抽出手段において抽出された、前記符号化された第１のパラメータセットの復号を行う第１のパラメータセット復号化手段と、
   前記復号化された前記第１のパラメータセットを用いて、符号化された前記第１のＩピクチャの復号を行う第１のピクチャ復号化手段と、
   前記第１のＩピクチャを含むランダムアクセスユニット内において、符号化された前記第１のＩピクチャよりも前に位置する符号化された第２のパラメータセットの抽出を行う第２の抽出手段と、
   前記第２の抽出手段において抽出された、前記符号化された第２のパラメータセットの復号を行う第２のパラメータセット復号化手段と、
   前記復号化された前記第２のパラメータセットを用いて、符号化順において前記第１のＩピクチャよりも後ろに位置し、かつ、前記ランダムアクセスユニットに含まれる符号化された前記後続ピクチャの復号を行う第２のピクチャ復号化手段と、
   を含むことを特徴とする動画像復号化システム。

Images