JP4405272B2 - 動画像復号化方法、動画像復号化装置及びプログラム - Google Patents

Description

本発明は、動画像信号をピクチャ単位で符号化する動画像符号化方法、及び、上記符号化された動画像信号を復号化する動画像復号化方法、並びにそれをソフトウェアで実施するためのプログラムに関する。

近年、音声、画像、その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞、雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。

ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり64Kbits（電話品質）、さらに動画については１秒当たり100Mbits（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、64Kbit/s〜1.5Mbits/sの伝送速度を持つサービス総合ディジタル網（ISDN : Integrated Services Digital Network）によってすでに実用化されているが、テレビ・カメラの映像をそのままISDNで送ることは不可能である。

そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ITU-T（国際電気通信連合 電気通信標準化部門）で勧告されたH.261やH.263規格の動画圧縮技術が用いられている。また、MPEG-１規格の情報圧縮技術によると、通常の音楽用CD（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。
ここで、MPEG（Moving Picture Experts Group）とは、ISO/IEC（国際標準化機構 国際電気標準会議）で標準化された動画像信号圧縮の国際規格であり、MPEG-１は、動画像信号を１．５Mbpsまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、MPEG-１規格では対象とする品質を伝送速度が主として約１．５Mbpsで実現できる程度の中程度の品質としたことから、さらなる高画質化の要求をみたすべく規格化されたMPEG-２では、動画像信号を２〜１５MbpsでＴＶ放送品質を実現する。さらに現状では、MPEG-１，MPEG-２と標準化を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG11） によって、MPEG-１，MPEG-２を上回る圧縮率を達成し、更に物体単位で符号化・復号化・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するMPEG-４が規格化された。MPEG-４では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像も含む高ビットレートも含む、より汎用的な符号化に拡張されている。更に、現在は、ISO/IECとITU-Tが共同でより高圧縮率の次世代画像符号化方式として、MPEG-4 AVCおよびITU H.264 の標準化活動が進んでいる。2002年8月の時点で、次世代画像符号化方式はコミッティー・ドラフト（CD）と呼ばれるものが発行されている（また、例えば、非特許文献１参照。）。

一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは1枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。

参照画像を持たず画面内予測符号化を行うものをＩピクチャと呼ぶ。また、１枚のピクチャのみを参照し画面間予測符号化を行うものをＰピクチャと呼ぶ。また、同時に２枚のピクチャを参照して画面間予測符号化を行うことのできるものをＢピクチャと呼ぶ。Ｂピクチャは表示時間が前方もしくは後方から任意の組み合わせとして２枚のピクチャを参照することが可能である。参照画像（参照ピクチャ）は符号化および復号化の基本単位であるブロックごとに指定することができるが、符号化を行ったビットストリーム中に先に記述される方の参照ピクチャを第１参照ピクチャ、後に記述される方を第２参照ピクチャとして区別する。ただし、これらのピクチャを符号化および復号化する場合の条件として、参照するピクチャが既に符号化および復号化されている必要がある。

Ｐピクチャ又はＢピクチャの符号化には、動き補償画面間予測符号化が用いられている。動き補償画面間予測符号化とは、画面間予測符号化に動き補償を適用した符号化方式である。動き補償とは、単純に参照フレームの画素値から予測するのではなく、ピクチャ内の各部の動き量（以下、これを動きベクトルと呼ぶ）を検出し、当該動き量を考慮した予測を行うことにより予測精度を向上すると共に、データ量を減らす方式である。例えば、符号化対象ピクチャの動きベクトルを検出し、その動きベクトルの分だけシフトした予測値と符号化対象ピクチャとの予測残差を符号化することによりデータ量を減らしている。この方式の場合には、復号化の際に動きベクトルの情報が必要になるため、動きベクトルも符号化されて記録又は伝送される。

動きベクトルはマクロブロック単位で検出されており、具体的には、符号化対象ピクチャ側のマクロブロックを固定しておき、参照ピクチャ側のマクロブロックを探索範囲内で移動させ、基準ブロックと最も似通った参照ブロックの位置を見つけることにより、動きベクトルが検出される。
図１９は、従来の動画像符号化装置の構成を示すブロック図である。

動画像符号化装置は、動き検出部１０３、減算演算部１０４、符号化部１０５、動き補償部１０６、可変長符号化部１０７、復号化部１０８、加算演算部１０９、およびメモリ１１０、１１１を備えている。
動画像信号Vinは、減算演算部１０４と、動き検出部１０３に入力される。
動き検出部１０３は、メモリ１１０から読み出した符号化済みの復号化画像データを参照ピクチャとして用いて、そのピクチャ内の探索領域において最適と予測される位置を示す動きベクトルMVの検出し、動き補償部１０６へ出力する。

動き補償部１０６は、動き検出部１０３により検出された動きベクトルMVを用いて動き補償画像信号MCRefを生成し、減算演算部１０４および加算演算部１０９へ出力する。
減算演算部１０４は、入力された動画像信号Vinと、動き補償部１０６より入力された動き補償画像信号MCRefとの差分を演算し、差分信号Difを符号化部１０５へ出力する。
符号化部１０５は、入力された差分信号Difに対して周波数変換や量子化等の符号化処理を行い、符号化信号を生成し、可変長符号化部１０７および復号化部１０８へ出力する。可変長符号化部１０７は、入力された符号化信号に対して可変長符号化等を行い、さらに動き補償部１０６から入力された動きベクトルMV等を付加することにより符号化ストリームStrを生成し、動画像符号化装置の外部へ出力する。

復号化部１０８は、入力された符号化信号に対して逆量子化や逆周波数変換等の復号化処理を行い、復号した差分信号RecDifを加算演算部１０９へ出力する。
加算演算部１０９は、復号化部１０８より入力された差分信号RecDifと、動き補償部１０６より入力された画像信号RecMCRefとを加算し、ローカル復号画像LocalReconを生成する。生成されたローカル復号画像LocalReconは、メモリ１１１へ出力される。

ローカル復号画像は、動画像復号化装置で復号化された結果と一致する画像であり、次の時刻の動画像信号Vinを符号化する際には、参照画像として使われる。よって、メモリ１１１に書き込まれたローカル復号画像LocalReconは、次の動画像信号Vinを入力するまでにメモリ１１０へコピーされるか、あるいは、メモリ１１０とメモリ１１１は交換される。

図２０はJVTの表示順情報（Picture Order Count:POC)とフレーム番号（Frame Number:FN)の概念を説明する図である。表示順情報POCはピクチャの表示の順序を示している。ただし、実際の表示時間を意味しているのではない。例えば、図中のピクチャIDR19の表示順情報POCは“０”であり、次のピクチャB20のPOCは“１”であるので、ピクチャB20はピクチャIDR19の次に表示すべきことはわかるが、どれくらいの時間を経過した後に表示すべきかはわからない。実際の表示時間は、各ピクチャに関連づけられた、ビデオ以外のデータから得られ、ビデオデコーダ（動画像復号化装置）の関与しない装置で管理される。表示順情報POCは特別なイントラピクチャであるIDRピクチャで常に“０”にリセットされ、表示順でピクチャ単位に１ずつ増加するように付与される。あらかじめ定めた最大値になると、再び“０”にリセットされる。図の例では、IDRピクチャであるピクチャIDR19とピクチャIDR29で表示順情報POCが“０”に戻る様子を示し、また、表示順情報POCの最大値を“４”と設定して、ピクチャB24で循環して“０”に戻る様子を示している。

FNは被参照ピクチャに付与される番号である。図中（A）は、ピクチャB21をデコードする前のメモリの状態を示していて、３枚の参照ピクチャが格納されている。図中（B）は、ピクチャB21をデコードし、メモリに格納した後の状態を示している。ここでピクチャB21のFNは、次にデコードするピクチャP25と同じ値を持っているが、このようにデコード順で連続する複数のピクチャが同じFNを持つ場合、デコード順で最後のピクチャが参照ピクチャであり、それ以外のピクチャは参照ピクチャではないことを意味している。この例では、ピクチャB21は参照ピクチャではないので、メモリに格納されると、“参照ピクチャとして不使用”とマークされる（マークされた状態をunusedと略する）。参照ピクチャがメモリに格納される場合は、“参照ピクチャとして使用”とマークされる（マークされた状態をusedと略する）。なお、図では“unused”だけを記載している。また、参照ピクチャであるか否かは符号化ストリーム中のnal_ref_idcというフィールドからも分かるが、本発明の説明に直接関わらないのでここでは説明しない。また、フレーム番号FNも表示順情報POCと同様にIDRピクチャで常に“０”にリセットされ、あらかじめ定めた最大値になると、再び“０”に戻される。この例では、ピクチャIDR19とピクチャIDR29で“０”にリセットされ、ピクチャB24で“０”に戻されている様子を示している。

図２１と図２２を用いて、メモリから、空き領域を確保するために、ピクチャを消去する動作を、説明する。図２１はunusedされたピクチャがある場合の、消去動作を説明する図である。ピクチャP23をデコードする直前のメモリにはピクチャIDR19、P22、B20、B21をデコードしたピクチャが格納され、ピクチャB20は参照されないピクチャなので、あらかじめunusedされているとする（図中（A）参照）。次に、メモリ管理を行うMMCO(Memory management control operation)あるいは古いものから順に不用であるものとするスライディングウィンドウなどの手法を用いて必要に応じてピクチャをunusedする。これら操作を本明細書では不使用マーキング処理と呼ぶ。ここでは、ピクチャP22がunusedされたとする（図中（B）参照）。次に、空き領域を確保するためにピクチャを消去するが、このようにunusedピクチャがある場合には、unusedピクチャの中で、表示順(POC)の最も早いピクチャを消去する。ここでは、ピクチャP22の表示順が“３”で、ピクチャB20の表示順が“１”なので、ピクチャB20を消去する（図中（C）参照）。この消去して空いた領域へピクチャP23を格納する（図中（D）参照）。

なお、ピクチャにはフレームとフィールドとがあり、本明細書ではピクチャとして説明しているが、メモリに格納する際は、フレーム単位（同一時刻の奇数フィールドと偶数フィールド）に格納してもよい。また、メモリに空き領域を確保するために消去する際も、フレーム単位に消去してもよい。
なお、図中stageで示した番号は、メモリの遷移段階を示していて、stage1はそのピクチャの処理において不使用マーク処理をする前の段階、stage2は不使用マーク処理がされた後の段階、stage3は空き領域を確保した後の段階、stage4はピクチャを格納した後の段階を意味している。

図２２はunusedされたピクチャがメモリに無い場合の、消去動作を説明する図である。図に示すようにピクチャは、ピクチャIDR19、P22、B20、B21、P23の順でデコードされる。図中（A）に示すように、ピクチャP23をデコードする前の段階で、メモリにIDR19、P22、B20、B21のピクチャが格納されて、いずれもunusedでないとする。そして、図中（B）に示すように、不使用マーキング処理においても、いずれもunusedされなかったとする。このように、unusedされたピクチャが無い場合に、空き領域を確保する際は、メモリに格納されているピクチャの中で、最初にデコードしたピクチャを消去する。図中（C）に示すように、ここでは、メモリに格納されているピクチャの中ではIDR19が最初にデコードしたピクチャなのでIDR19を消去する。最後に図中（D）に示すように、空いた領域へ、デコードしたピクチャP23を格納する。

図２３は従来の動画像復号化装置の構成を示すブロック図である。
動画像復号化装置は、可変長復号化部４０２、画像復号化部２０２、MMCO復号化部２０４、メモリ２０６、およびメモリ管理部４０１を備えている。
動画像符号化信号Strを入力とし、可変長復号化部４０２にて可変長復号化を行い、符号化されているピクチャデータcomp_picを画像復号化部２０２にて復号化し復号画像信号Reconをメモリ２０６へ格納する。画像復号化部２０２は、ピクチャが画面間符号化されている場合には、復号化の際、動き情報MVをメモリ２０６へ送り動き補償済み参照画像MCPicを作成し、動き補償を行う。ピクチャの格納領域の決定、空き領域の確保等の、メモリ管理の指示mctrlはメモリ管理部４０１により出力される。表示順情報POCが可変長復号化部４０２からメモリ管理部４０１へ出力され保持される。また、前述した不使用マーキング処理の一つであるMMCOコマンド MMCOは可変長復号化部４０２からMMCO復号化部２０４へ入力され、デコードされメモリ管理部４０１へunusedの指示が入力される。また、メモリ２０６から表示される復号画像信号Voutが出力される。

図２４は従来の動画像復号化装置のメモリ関連の動作のフロー図である。本フローはピクチャ単位の動作をステップS1からステップS2で示している。不使用マーキング処理を行い、メモリの各ピクチャに対して必要に応じてunusedとマーキングする（ステップS１３）。次に、空き領域確保処理を行い、空き領域をメモリに確保する（ステップS14）。次に、空き領域へ復号画像信号Voutを格納する（ステップS15）。

図２５は従来の動画像復号化装置の空き領域確保処理の動作のフロー図であり、図２４のステップS14を詳細に説明するフロー図である。空き領域を確保する処理（ステップS14）は、unusedとマークされたピクチャがメモリ２０６にあるかを調べ（ステップS141）、ある場合には、メモリ２０６に格納されたunusedとマークされたピクチャの中で表示順の最も古いピクチャを削除し（ステップS143）、ない場合には、メモリ２０６に格納されたピクチャの中で最初にデコードしたピクチャを削除する（ステップS142）。

図２７は無効ピクチャ処理の動作を説明する概念図である。JVTでは動画像復号化装置に入力されるシーケンスの一部のピクチャがロストした時、ロストした枚数分だけ無効ピクチャを挿入するというメモリ管理の動作が規定されている。この動作はシーケンスパラメータセット内のrequired_frame_num_update_behaviour_flagが“１”のとき動画像復号化装置において行われる。無効ピクチャとは実際の復元画像信号を持たず、特別にマーキングされたピクチャのことであり、参照ピクチャとして参照してはいけないことになっている。同図に示すような、ピクチャI19、P20、P21、P22、P23をデコードした後のメモリの状態は同図（A）に示す状態であったとする。次にピクチャB24をデコードする際、デコード順で新しいunusedでないピクチャに参照インデックス ref_idxの値が小さくなるように、参照ピクチャを特定するために用いる参照インデックスを割り当てる。この割り当ては一例であり、ピクチャタイプ等によって方法が異なるが、メモリに格納されているピクチャに依存して参照関係のインデックスが割り当てられるという、依存性質があることは同じである。この図の例では、最後にデコードしたunusedでないピクチャP22をref_idx=0、その前にデコードしたunusedでないピクチャP21をref_idx=1というように割り当てる。

ここで、ピクチャP21とピクチャP23が伝送の途中等で失われ、デコーダに入力されなかった場合、無効ピクチャを挿入しないと、ピクチャB24をデコードする際は、同図（B）に示すように、参照インデックス ref_idxが割り当てられる。本来、ピクチャB24の参照するピクチャP22とピクチャP20はそれぞれ、ref_idx=0と、ref_idx=2と割り当てられるところが、ref_idx=0はピクチャP22へ、ref_idx=2はピクチャI19へ割り当てられるため、ピクチャP20と間違えてピクチャI19を参照してしまうという問題がある。これを回避するために、無効ピクチャが挿入される。

無効ピクチャを挿入した場合の、ピクチャB24をデコードする前のメモリの様子を示したのが同図（C）である。フレームナンバー FNの不連続を検出したならば、不連続の枚数分だけ無効ピクチャを挿入する。この例では、FN=3であるピクチャP22をデコードする際、その直前にデコードしたピクチャP20はFN=1であるので、本来１以上増えないところが２増えているので、１枚ロストしたことがわかる。したがって、ピクチャP22をデコードする前に、無効ピクチャを１枚挿入する。前述のように無効ピクチャは特別なピクチャであり、実際の復元された画像信号を持たないけれどusedとマークされ、参照ピクチャの割り当ての際は参照ピクチャとして扱われるが、実際に参照はしてはいけないので、さらに、”存在しない（non-exist）“とマークされる。

図２８は従来の動画像復号化装置の構成を示すブロック図である。図２３で説明した従来の動画像符号化装置との違いは、FNギャップ検出部２１１があることと、メモリ管理部４１２の動作が異なることである。FNギャップ検出部２１１は可変長復号化部４１１からフレームナンバー FNを取得し、ギャップがある場合には、必要な枚数だけ無効ピクチャを挿入するように、メモリ管理部４１２へ指示する。メモリ管理部４１２は指示された枚数分だけ無効ピクチャをメモリ２０６へ格納する。

図２９は従来の動画像復号化装置の無効ピクチャ処理の動作のフロー図である。図２４で説明した従来の動画像復号化装置のメモリ関連の動作と異なる点は、不使用マーキング処理（ステップS13）の前に、フレームナンバー FNのギャップを調べ（ステップS11）、ギャップがある場合には、ギャップの枚数分だけ無効ピクチャをメモリ２０６へ格納（ステップS12）した後、不使用マーキング処理（ステップS13）へ進み、ギャップが無い場合には、不使用マーキング処理（ステップS13）へ進む。ステップS12では、ギャップの枚数分だけ無効ピクチャを格納するが、１枚を挿入しようとする度に、図２４で示す通常のピクチャを格納するのと同様の処理を行う。

図３１は従来のMPEG-2ストリームの構造を説明する概念図である。図に示すようにMPEG2のストリームは以下のような階層構造を有している。ストリーム（Stream）は複数のグループ・オブ・ピクチャ（Group Of Picture）から構成されており、これを符号化処理の基本単位とすることで動画像の編集やランダムアクセスが可能になっている。グループ・オブ・ピクチャは、複数のピクチャから構成され、各ピクチャは、Ｉピクチャ、Ｐピクチャ又はＢピクチャがある。ストリーム、GOPおよびピクチャはさらにそれぞれの単位の区切りを示す同期信号（sync）と当該単位に共通のデータであるヘッダ（header）から構成されている。MPEG-2では、Pピクチャは表示時刻が直前1枚のIピクチャもしくはPピクチャのみを参照した予測符号化が可能である。また、Bピクチャは表示時刻が直前1枚と直後１枚のIピクチャもしくはPピクチャを参照した予測符号化が可能である。更に、ストリームに配置される順序も決まっており、IピクチャもしくはPピクチャの直後に配置される。従って、ランダムアクセスの際、Iピクチャから復号を開始すれば、Iピクチャ以降に配置されるピクチャは全て復号・表示が可能であった。また、参照ピクチャは最大でも２枚までしかメモリに格納できないので、参照構造の自由度は限られていた。

図３２は従来のJVTの動画像符号化方法を説明する概念図である。JVTでは特別なイントラピクチャであるIDRピクチャをまたがない限り、任意に離れたピクチャを参照することも可能である。従って、例えば、符号化効率を大きくするために、多数のピクチャの符号化順を並び替えて符号化することも可能である。図ではピクチャ19、20、21、25、26、27の画像間の相関が非常に強く、また、ピクチャ22、23、24、28、29、30の画像間の相関が非常に強いとする。この場合には、ピクチャ19、20、21、25、26、27をまず画面間符号化し（GOP1）、ピクチャ22、23、24、28、29、30を画面間符号化（GOP2）することで、符号化効率を高くすることが期待できる。

図３３は従来のJVTの動画像符号化方法の動作フロー図である。JVTの動画像符号化方法では、全ての未符号化ピクチャを符号化候補とすることができる（ステップS55）。そして、符号化候補から、何らかの観点でピクチャを選択して符号化する（ステップS56）。例えば、未符号化のピクチャが10枚あるとき、この10枚を全て符号化候補とし、表示順で10枚目のピクチャを選択して符号化してもよい。符号化した後、未符号化のピクチャがあれば、またステップS55へ戻る。ステップS56では、符号化せず、さらに未符号化のピクチャが入力されるのを待ってもよい。
ISO/IEC 14496-10 Editor's Proposed Changes Relative to JVT-E146d37ncm, revision 4, 2002-12

さて、このような従来の動画像復号化装置、及び、従来の動画像復号装置では、前述のように特別なイントラピクチャであるIDRピクチャの場所以外では、符号化されたストリームを編集が出来なかった。この問題を以下に説明する。
図２６はシーケンスの不連続が表示順情報POCの不連続をひきおこし、未表示のピクチャを消去してしまう問題を説明する概念図である。あるシーケンスの二つ部分Clip1とClip2をつなぎ合わせてデコードする場合を示している。このように編集等によって発生したシーケンスの不連続が発生している場所を編集ポイントと呼ぶことにする。この例では表示順情報POCの巡回は考えなくてもよいような表示順情報POCの最大値が設定されているとする。図中（A）はClip1をデコードした後のメモリの状態を示していて、ピクチャI19、P22、B20、B21が格納されている。それぞれの表示順情報POCは図に示すようにそれぞれ“４”、“７”、“５”、“６”であり、ピクチャI19、B20、B21がunusedとマークされているとする。次にClip2の最初のピクチャI85をデコードし、2枚目のピクチャP86をデコードする前の状態を図中（B）に示す。ここでは、ピクチャI85はピクチャB20のあった位置へ格納されたとする。次に、不使用マーキング処理を行うが、このClip2の場合、ピクチャI85がunusedとマークされたとする（図中（B））。次に、空き領域確保処理を行うが、前述のように、unusedのピクチャがあるので、unusedのピクチャの中で、最初の表示順を持つピクチャを削除するので、ピクチャI85を削除する。ここで、デコードしてから表示するまでの遅延が平均して３枚だとすると、ピクチャB21、P22、I85はまだ表示されていない。しかし、ピクチャI85はまだ表示していないにも関わらず、メモリから消去されてしまう。

図３０はシーケンスの不連続がフレームナンバー FNの不連続をひきおこし、無効ピクチャが未表示のピクチャを消去してしまう問題を説明する概念図である。この例では、あるシーケンスの不連続な別の部分Clip1とClip2をつなぎあわせてデコードした様子を示している。同図（A）はピクチャP25をデコードした後のメモリの様子を示していて、ピクチャP21からピクチャP25まで5枚のピクチャが格納されている。次にClip2の最初のピクチャI60をデコードする際に、無効ピクチャを挿入した後の状態を、同図（B）が示している。ピクチャI60はFN=12であり、直前にデコードしたピクチャP25はFN=5であるので、6枚のピクチャがロストしたと判定され6枚の無効ピクチャが挿入される。この場合、メモリのピクチャは全て消去されるので、例えば同図（A）の状態で、ピクチャP23、P24、P25をまだ表示していなかったとしても、消去されてしまうという問題がある。

図３４はJVTの符号化の自由度が、編集時やランダムアクセス時に引き起こす問題を説明する概念図である。同図（B）はオリジナルのストリームであり、図３２のストリームと同じである。同図（A）は、GOP1が無くGOP2のみをデコードする様子を示している。この場合、ピクチャ25、26、27が得られないので、ピクチャ22からピクチャ24まで再生した後、ピクチャ25からピクチャ27を再生することができないという、再生の不連続が発生する。これは編集によってGOP1を削除した場合、GOP2からランダムアクセスする場合などに問題となる。同図（C）は、GOP2が無く、GOP1までをデコードする様子を示している。この場合、やはり、ピクチャ22、23、24が得られないので、再生の不連続が発生する。これは編集によりGOP2を削除した場合に問題となる。

そこで、本発明は上記の事情に鑑みてなされたものであり、特別のイントラピクチャであるIDRピクチャ以外のピクチャの場所でも編集を行うことができる動画像復号化方法等を提供することを目的とする。

上記目的を達成するために、本発明に係る動画像復号化方法は、符号化ストリームをピクチャ単位で復号化する動画像復号化方法であって、前記ピクチャの順が不連続であることを示すフラグ情報を抽出する情報抽出ステップと、前記フラグ情報に基づいて復号化済みピクチャを格納する領域を管理する管理ステップとを含むことを特徴とする。

また、前記フラグ情報は、ピクチャの表示順情報が不連続であることを示す情報であり、前記管理ステップでは、前記表示順情報および前記フラグ情報に基づいて、前記領域に格納されている復号化済みピクチャの中で表示順が最も前であるピクチャを決定し、決定されたピクチャを削除対象ピクチャとしてもよい。
これによって、ピクチャの表示順情報が不連続であることに起因して非表示ピクチャを消去してしまうことを防止することができる。

また、前記動画像復号化方法は、さらに、ピクチャの符号化順情報が不連続である場合に、前記領域に無効ピクチャを格納する無効ピクチャ格納ステップを含み、前記フラグ情報は、前記符号化順情報が不連続であることを示す情報であり、前記管理ステップでは、前記フラグ情報および前記符号化順情報に基づいて、前記領域に無効ピクチャを格納するか否かを判定し、前記無効ピクチャ格納ステップでは、前記管理ステップでの判定結果に基づいて前記領域に無効ピクチャを格納してもよい。

これによって、ピクチャの符号化順情報が不連続であることに起因して未表示ピクチャを消去してしまうことを防止することができる。
さらに、本発明は、このような動画像復号化方法として実現することができるだけでなく、このような動画像復号化方法が含む特徴的なステップを手段として備える動画像復号化装置として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

以上の説明から明らかなように、本発明に係る動画像復号化方法によれば、特別のイントラピクチャであるIDRピクチャ以外のピクチャの場所でも編集が可能になる。

以下、本発明の実施の形態について、図面を参照して説明する。
（実施の形態１）
図１は、本実施の形態の動画像符号化装置の構成を示すブロック図である。
動画像符号化装置は、動き検出部１０３、減算演算部１０４、符号化部１０５、動き補償部１０６、可変長符号化部１１３、復号化部１０８、加算演算部１０９、メモリ１１０、１１１、およびフラグ情報生成部１１２を備えている。

従来の動画像符号化装置（図１９）との違いは、フラグ情報生成部１１２と、可変長符号化部１０７とは動作が相違する可変長符号化部１１３とを備えている点である。
フラグ情報生成部１１２は、編集等によって、表示順情報POCが不連続になる場合、表示順情報POCが不連続であることを示すフラグを生成する。
可変長符号化部１１３は、入力された符号化信号に対して可変長符号化等を行い、さらにフラグ情報生成部１１２によって生成されたフラグ、および動き補償部１０６から入力された動きベクトルMV等の情報を付加することにより符号化ストリームStrを生成し、動画像符号化装置の外部へ出力する。

図２は本発明の動画像符号化方法および動画像復号化方法の概念を説明する図である。この図は従来の課題を説明した図２６の場合を解決する様子を説明している。まず編集等によって、表示順情報POCが不連続になっていることを符号化時に付加されたフラグによって検出する。このフラグをフラグAと呼ぶ。フラグAとは、編集等によって表示順情報POCが不連続であることを示すフラグである。

このフラグAは図中に示すように、Clipの直前に置く特別な情報とする。JVTではSupplemental enhancement information (以下、SEIと略す)と呼ばれるビデオデコードの付加的な情報を格納する単位が定義されているのでこれに格納することとする。ユーザが独自に定義可能な User data registered SEIに格納してもよいし、あるいは、ランダムアクセスのための情報を格納する Random access point SEI (以下、RAP SEIと略す)に格納してもよい。RAP SEIには編集等によりデコードした動画像が本来の動画像とは異なるかもしれないことを示すbroken_link_flag、RAP SEIのある位置から表示順で n 枚目以降のピクチャをデコードした動画像が本来の動画像と同等もしくはほぼ同等となる場合、その n枚を示す recovery_frame_cnt等の情報が格納されている。本発明では、RAP SEIのbroken_link_flagが“１”のときは、編集が行われていると検出し、RAP SEI以降の最初のピクチャの直前を編集ポイントとする。あるいは、recovery_frame_cntの指すピクチャの直前を編集ポイントする。あるいは、RAP_SEI以降の最初の独立にデコード可能なピクチャ（例えばIntra Picture）を編集ポイントとする。なお編集ポイントとはピクチャの境界のみを指していて、SEIの境界を定めているわけではない。他にも、シーケンスを格納しているファイルフォーマットには、各ピクチャのランダムアクセス情報を格納していることがあり、それら情報には編集されていることを示す情報、さらには、編集ポイントの情報が格納されている場合もある。その場合には、ファイルフォーマットの情報にしたがって、編集の検出と編集ポイントの特定を行えばよい。これらの格納形式をフラグ形式Aの格納形式と呼ぶ。

図３は本実施の形態の動画像復号化装置の構成を示すブロック図である。従来の動画像復号化装置（図２３）との違いは、編集検出部２０３が追加されたこと、メモリ管理部４０１とは動作が相違するメモリ管理部２０５を備えていることである。
編集検出部２０３は可変長復号化部２０１から表示順情報POCが不連続になっていることを示すフラグ、あるいは、編集ポイント情報を格納する情報を取得し、解析し、メモリ管理部２０５へ制御信号mctrlcを出力する。メモリ管理部２０５は編集を意味する制御信号mctrlcが入力されたならば、編集ポイントより前のピクチャが、編集ポイントより後のピクチャよりも表示順が前になるように管理する。つまり、unusedピクチャの中から削除するピクチャを選択するときに、編集ポイント前のピクチャの表示順は、編集ポイント後のピクチャよりも前であるとする。

メモリ管理部２０５は、表示順を管理するために、編集ポイントを超えるたびに１ずつ増加するClipカウンタを各ピクチャに保持させる。図中（B）に示すように、ピクチャB20、P22、B21はClip=1と記録され、編集ポイントより後のピクチャI85はClip=2と記録される。この状態での不使用マーキング処理の処理では、unusedピクチャの最初にデコードしたクリップのピクチャ（Clip=1とマークされているピクチャB20、P22、B21）から最も表示順の前のピクチャB20を削除する。これによって、未表示のピクチャ（従来の課題ではピクチャI85）を削除してしまうという問題を解決できる。

図４は本実施の形態の動画像復号化方法の動作フロー図である。従来の動画像復号化方法（図２４）との違いは、ステップS31とステップS32を追加したこと、ステップS14を修正しステップS14Bとしたことである。ピクチャ単位の処理開始（ステップS1）後、編集されているかを調べ（ステップS31）、編集されているならば編集ポイントでの処理を行う（ステップS32）。編集を検出しなければ、従来と同じように不使用マーキング処理（ステップS13）を行い、編集ポイント前後のデコード順を考慮した空き領域確保処理（ステップS14B）を行う。編集ポイントでの処理とは、編集ポイントの前後を区別できるようにすることであり、メモリ管理部２０５は、編集ポイントを超えるごとにClipカウンタを一つ増加させる。

図５は本実施の形態の動画像復号化方法の空き領域確保処理の動作フロー図である。従来の空き領域確保の方法（図２４）との違いは、ステップS43を修正したステップS43Bである。unusedのピクチャがメモリに格納されている場合（ステップS41）は、デコード順で前のクリップを優先してunusedピクチャを含むクリップを探し、そのクリップのunused ピクチャの中で、最初の表示順のピクチャを削除する。言い換えると、デコード順で最初にunusedのピクチャを含むClipにあるunusedピクチャであって、それらピクチャの中で最初の表示順のピクチャを削除する。あるいは、言い換えると、デコード順で最初のunusedのピクチャの直前、直後の編集ポイント間に含まれる unusedピクチャの中で、最初の表示順のピクチャを削除する。

上記のように、編集等によって表示順情報POCが不連続になっていることを符号化時に付加されたフラグにより検出した上で、削除するピクチャ決定しているので、未表示のピクチャ（従来の図２６に示す例ではピクチャI85）を削除してしまうという問題を解決できる。
このような本発明の動画像復号化方法（図２、図３、図４、図５）で編集の不連続が解決できるためには、編集ポイントを示す情報が必要である。従って、編集ポイント情報が含まれていることを示す情報が復号化装置にとって入手しやすい場所にあることが望ましい。

本実施の形態では、表示順情報POCが不連続になっていることを示す符号化時に付加されたフラグを、表示順情報POCが不連続になっているピクチャの間に付加しているが、これに限られるものではない。例えば、フラグ情報生成部１１２が、表示順情報POCが不連続になっていることを示すフラグと、表示順情報POCが不連続になっている位置（編集ポイント）を特定する情報とを生成しても構わない。そして、これらの情報をシーケンスパラメータセットへ格納する、あるいは、ユーザが独自に定義可能な User data registered SEIへ格納し、シーケンスの入手しやすい場所、例えば、先頭に配置する、あるいは、シーケンスを記録する媒体に格納する、あるいは、シーケンスを管理するファイルフォーマットに格納する。これらの格納形式をフラグ形式A2と呼ぶ。

この場合、復号化時には、編集検出部２０３はこれらの場所からフラグA2を取得し、編集ポイント情報が得られるのであれば、本発明の動画像復号化方法（図２、図３、図４、図５）を行う。
（実施の形態２）
本実施の形態における動画像符号化装置の構成は、図１に示す実施の形態１のブロック図と同様である。

本実施の形態では、フラグ情報生成部１１２は、編集等によってフレームナンバー FNが不連続になる場合、フレームナンバー FNが不連続になっていることを示すフラグBを生成する。
なお、フラグ情報生成部１１２が生成するフラグBは、無効ピクチャの挿入を行わないように指示するフラグであってもよい。フラグBの付与の形式は実施の形態1に示すフラグAの形式と同等である。

図６は本実施の形態の動画像復号化装置の構成を示すブロック図である。この図は図２８で説明した従来の動画像復号化装置に対して、編集検出部２１４を追加し、メモリ管理部２１２を変更したものである。
編集検出部２１４は、可変長復号化部２０１からフレームナンバー FNが不連続になっていることを示すフラグを取得し、メモリ管理部２１２へ制御信号ctrl_cを出力する。メモリ管理部２１２は、FNギャップ検出部２１１から制御信号ctrl_cによって無効ピクチャの挿入の要求が入力された場合でも、編集検出部２１４から編集されていることが通知された場合は、無効ピクチャの挿入を行わないこととする。

図７は本発明の動画像復号化方法の動作フロー図である。従来の動画像復号化方法（図２９）との違いは、ステップS31を追加したことと、ステップS14を修正しステップS14Bとしたことである。これ以外のステップは図２９の同じ符号をもつステップと同じ動作をするので、説明を省略する。また、ステップS31とステップS14Bは実施の形態1で説明した本発明の復号化装置のステップS31、及び、ステップS14Bと同じであるので、説明を省略する。

上記のように、編集等によってフレームナンバー FNが不連続になっていることを符号化時に付加されたフラグにより検出した上で、無効ピクチャの挿入を決定しているので、未表示のピクチャ（従来の図３０に示す例ではピクチャP23、P24、P25）を削除してしまうという問題を解決できる。
なお、本実施の形態では、実施の形態1と同様にフレームナンバー FNが不連続になっていることを示す符号化時に付加されたフラグを、フレームナンバー FNが不連続になっているピクチャの間に付加しているが、これに限られるものではない。例えば、実施の形態1と同様に、フラグ情報生成部１１２が、フレームナンバー FNが不連続になっていることを示すフラグと、フレームナンバー FNが不連続になっている位置（編集ポイント）を特定する情報とを生成しても構わない。そして、これらの情報を、実施の形態1と同様に格納する。

この場合、復号化時には、編集検出部２０３はこれらの場所から実施の形態1と同様に、フラグB2を取得し、編集ポイント情報が得られるならば、本発明の動画像復号化方法（図６、図７）の処理を行う。
図８は、実施の形態1と実施の形態2における、本発明の動画像符号化方法の出力するデータの構造、本発明の動画像復号化方法の入力するデータの構造を示す図である。符号化された動画像信号であるシーケンスは、同図（A）に示すように、RAP、MMCO、PICTUREのデータを含む。RAPはRandom access point SEIのことであり、その中の broken_link_fieldが、実施の形態1のフラグAであり、また、実施の形態2におけるフラグBである。PICTUREはピクチャ単位に符号化された動画像信号であり、PICTUREの前にはMMCOがある場合もある（ない場合もある）。MMCOとはMemory management control operationの指示情報である。また、同図（B）に示すように、シーケンスの内部、あるいは、シーケンスに関連付けられたファイルフォーマットの所定の位置、あるいは、シーケンスを記録する記録媒体等に、実施の形態1のフラグA2であり、また、実施の形態2におけるフラグB2が格納されている。

（実施の形態３）
図９は、本実施の形態に係る動画像符号化装置の構成を示すブロック図である。
動画像符号化装置は、並び替えメモリ１０１、符号化スケジューリング部１０２、動き検出部１０３、減算演算部１０４、符号化部１０５、動き補償部１０６、可変長符号化部１０７、復号化部１０８、加算演算部１０９、およびメモリ１１０、１１１を備えている。

並べ替え用メモリ１０１は、表示時間順にピクチャ単位で入力された動画像を格納する。符号化スケジューリング部１０２は、並べ替え用メモリ１０１に格納された各ピクチャを符号化が行われる順に並び替えを行う。
図１０は本実施の形態の動画像符号化方法の概念を説明する図である。図３４に示す問題を解決する、本実施の形態の動画像符号化方法は、あるGOPには表示順の連続するピクチャしか格納しないこと、そして、あるGOPの任意のピクチャの表示順は、次にデコードするGOPの任意のピクチャの表示順よりも前となるように符号化することである。このように符号化することで、GOP1、GOP2ともに、図３４に示すケースにおいて、再生の不連続は発生しない。

図１１は本実施の形態の動画像符号化方法の動作フロー図である。同図（a）を用いて動作を説明する。未符号化のピクチャの中から、表示順で最も前の方から連続するピクチャを表示基本単位とする（ステップS61）。つまり、表示順で不連続にならないような1枚以上のピクチャを表示基本単位とし、この表示基本単位よりも、表示が前である未符号化ピクチャは無いように、表示基本単位を定める。次に、表示基本単位の中に未符号化のピクチャがあるかを調べ（ステップS62）、あれば（ステップS62でYes）、表示基本単位の中の未符号化ピクチャを符号化候補とし、この符号化候補から選択して符号化する（ステップS63）。未符号化のピクチャがあるか調べ（ステップS64）、あれば（ステップS64でYes）、ステップS62へ進む。無ければ（ステップS64でNo）終了する。なお、表示基本単位は、条件「未符号化のピクチャの中で、表示順が最も前のピクチャから、符号化済みピクチャの中で表示順が最も後のピクチャまでは、少なくとも表示基本単位に含まれる」を満たす限りにおいて、任意のタイミングで変更可能である。

また、同図（B）も、本実施の形態の動画像符号化方法の動作フロー図であるが、この方法では、未符号化のピクチャの中から、表示順で最も前のピクチャから、符号化済みピクチャの中で表示順が最も後のピクチャまでを、必須の符号化候補とし（ステップS71）、必須の符号化候補を含めて、未符号化のピクチャから選択して符号化する（ステップS72）。次にIピクチャ以外の未符号化のピクチャがあるかを調べ（ステップS73）、あれば（ステップS73でYes）、ステップS71へ進み、無ければ（ステップS73でNo）終了する。なお、ここでは次のIピクチャまでをGOPの候補としているが、これに限られるものではなく、例えばファイルフォーマットにおけるGOPの記載によって、GOPの最後を決定してもよい。

上記のようにGOP を決定しているので、例えば図３４に示す場合のようにGOP1、GOP2それぞれにおいて再生の不連続が発生するのを防止することができる。
なお、本実施の形態で説明したように符号化されたことを示すフラグを符号化ストリームに付加しても構わない。

（実施の形態４）
図１２は本実施の形態の動画像符号化方法の概念を説明する図である。実施の形態３では、編集の問題解決とランダムアクセス時の問題解決を同時に行う方法であったが、本実施の形態における本動画像符号化方法は、ランダムアクセス時の問題を解決する方法である。実施の形態３の方法よりも、制約が緩いので、符号化効率などを向上させることができる。

図１２のGOP２を例として説明すると、この動画像符号化方法では、１）あるGOPのイントラピクチャ（I25）よりも表示時間が後のピクチャ（B26、B27、P28）は、そのイントラピクチャを含むGOP（GOP2）の直前のGOP（GOP1）で符号化しない。このように制御することで、図中CaseAで示しているように、GOP2の最初のピクチャ（I25）からデコードを開始しても、最初のピクチャ以降のピクチャを全て正しく表示することが可能となる。

２）さらに、あるGOPのイントラピクチャ（I25）よりも表示時間が前で、かつ、そのGOPの直前GOPのイントラピクチャ（I19）よりも表示時間が後のピクチャ（I19、B20、B21、B22、B23、P24）は、そのGOP（GOP2）または直前GOP（GOP1）内で符号化する。このように制御することで、GOP1の最初のピクチャ（I19）からデコードを開始しても、GOP1の最初のピクチャ（I19）以降のピクチャを全て正しく表示することが可能となる。

あるいは、いいかえると、１）GOP1を例にとって、あるGOPの最後に表示するピクチャは、次のGOPのIピクチャ（I25）よりも前に表示されるようなピクチャを選んで符号化する（つまり、ピクチャP24以前を選択しなければならない）。２）GOP2を例にとって、あるGOP内の最初に表示するピクチャは、直前GOPのIピクチャ（I19）よりも後に表示されるようなピクチャから選択して符号化する（つまり、ピクチャB20以降を選択しなければならない）。

あるいは、いいかえると、あるGOPの最初に表示するピクチャの表示順は直前GOPのIピクチャよりも表示順が後で、そのGOPの最後に表示するピクチャの表示順は直後のGOPのIピクチャよりも表示順が前であるように、符号化する動画像符号化方法である。なおここで、Iピクチャとして説明しているが、独立にデコード可能なピクチャに対しても同等に適用可能である。

図１３は本実施の形態の動画像符号化方法の動作フロー図である。まず、未符号化のピクチャを選択して、エントリピクチャとして符号化する（ステップS81）。エントリピクチャとは独立にデコード可能なピクチャのことである。次に、未符号化のピクチャの中から、最後に符号化したエントリピクチャよりも表示順が前のピクチャを、必須の符号化候補とし、次に符号化予定のエントリピクチャよりも表示順が前の未符号化のピクチャを省略可能な符号化候補とする（ステップS82）。次に、必須の符号化候補に未符号化のピクチャがあるかを調べ（ステップS83）、あれば（ステップS83でYes）、必須の符号化候補、及び、省略可能な符号化候補から選択して符号化する（ステップS85）。次に、未符号化のピクチャがあるかを調べ（ステップS86）、あれば、ステップS83へ進み、なければ、処理を終了する。ステップS83において、必須の符号化候補に未符号化のピクチャがない場合（ステップS83でNo）は、ステップS84において、次のエントリピクチャの符号化をするかを判定する（ステップS84）。エントリピクチャの符号化をする場合（ステップS84でYes）には、ステップS81へ進み、符号化をしない場合（ステップS84でNo）には、ステップS85へ進む。

上記のようにGOPにおける最初のイントラピクチャより表示順が後となるピクチャは、このGOP以降のGOPに含むように符号化しているので、あるGOP 以降を復号化しても、再生の不連続が発生することなく、再生を行うことができる。
なお、本実施の形態で説明したように符号化されたことを示すフラグを符号化ストリームに付加しても構わない。

（実施の形態５）
さらに、上記各実施の形態で示した動画像符号化方法または動画像復号化方法の構成を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図１４は、上記各実施の形態の動画像符号化方法または動画像復号化方法を格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。
図１４(b) は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１４(a) は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしての動画像符号化方法および動画像復号化方法が記録されている。

また、図１４(c) は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての動画像符号化方法または動画像復号化方法をフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記動画像符号化方法および動画像復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
さらにここで、上記実施の形態で示した動画像符号化方法や動画像復号化方法の応用例とそれを用いたシステムを説明する。

図１５は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。
このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ex１０７〜ex１１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムex１００は図１５のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。
カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。

また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラex１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、動画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。

このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。

このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した動画像符号化装置あるいは動画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。
図１６は、上記実施の形態で説明した動画像符号化方法と動画像復号化方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ex１１５について図１７を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。

電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。
携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声データに変換した後、これを音声出力部ex２０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。

画像符号化部ex３１２は、本願発明で説明した動画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した動画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。

多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信データを変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。
また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。

次に、画像復号化部ex３０９は、本願発明で説明した動画像復号化装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号化することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声データに変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１８に示すようにディジタル放送用システムにも上記実施の形態の少なくとも動画像符号化装置または動画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報のビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置によりビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録したビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した動画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に動画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。

更に、画像信号を上記実施の形態で示した動画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した動画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。

なお、カーナビゲーションex４１３の構成は例えば図１７に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。
また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。

このように、上記実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

以上のように、本発明に係る動画像符号化方法および動画像復号化方法は、例えば携帯電話、ＤＶＤ装置、およびパーソナルコンピュータ等で、動画像を構成する各ピクチャを符号化して符号化ストリームを生成したり、生成された符号化ストリームを復号化したりするための方法として有用である。

本発明の動画像符号化装置の構成を示すブロック図（実施の形態1）である。 本発明の動画像復号化方法の概念を説明する図（実施の形態１）である。 本発明の動画像復号化装置の構成を示すブロック図（実施の形態１）である。 本発明の動画像復号化方法の動作フロー図（実施の形態1）である。 本発明の動画像復号化方法の空き領域確保処理の動作フロー図（実施の形態１）である。 本発明の動画像復号化装置の構成を示すブロック図（実施の形態２）である。 本発明の動画像復号化方法の動作フロー図（実施の形態２）である。 本発明の動画像符号化方法の出力するデータの構造、本発明の動画像復号化方法の入力するデータの構造を示す図である。 本発明の動画像符号化装置の構成を示すブロック図（実施の形態３）である。 本発明の動画像符号化方法の概念を説明する図（実施の形態３）である。 本発明の動画像符号化方法の動作フロー図（実施の形態３）である。 本発明の動画像符号化方法の概念を説明する図（実施の形態４）である。 本発明の動画像符号化方法の動作フロー図（実施の形態４）である。 各実施の形態の動画像符号化方法および動画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図であり、(a) 記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示した説明図、(b) フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示した説明図、(c) フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示した説明図である。 コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成を示すブロック図である。 携帯電話の一例を示す図である。 携帯電話の内部構成を示すブロック図である。 ディジタル放送用システムの全体構成を示すブロック図である。 従来の動画像符号化装置の構成を示すブロック図である。 表示順（POC）と被参照ピクチャ番号の概念を説明する図である。 不使用とマークされたピクチャがある場合、メモリに空き領域を確保するために、ピクチャを消去する動作を説明する図である。 不使用とマークされたピクチャがない場合、メモリに空き領域を確保するために、ピクチャを消去する動作を説明する図である。 従来の動画像復号化装置の構成を示すブロック図である。 従来の動画像復号化装置のメモリ関連の動作のフロー図である。 従来の動画像復号化装置の空き領域確保処理の動作のフロー図である。 シーケンスの不連続が表示順情報POCの不連続をひきおこし、未表示のピクチャを消去してしまう問題を説明する概念図である。 無効ピクチャの動作を説明する概念図である。 従来の動画像復号化装置の構成を示すブロック図である。 従来の動画像復号化装置の無効ピクチャの動作のフロー図である。 シーケンスの不連続がフレームナンバー FNの不連続をひきおこし、無効ピクチャが未表示のピクチャを消去してしまう問題を説明する概念図である。 従来のMPEG-2ストリームの構造を説明する概念図である。 従来のJVTの動画像符号化方法を説明する概念図である。 従来のJVTの動画像符号化方法の動作フロー図である。 JVTの符号化の自由度が、編集時やランダムアクセス時に引き起こす問題を説明する概念図である。

符号の説明

１０１ 並び替えメモリ
１０２ 符号化スケジューリング部
１０３ 動き検出部
１０４ 減算演算部
１０５ 符号化部
１０６ 動き補償部
１０７ 可変長符号化部
１０８ 復号化部
１０９ 加算演算部
１１０、１１１ メモリ
１１２ フラグ情報生成部
１１３ 可変長符号化部
２０１、２１３、４０２、４１１ 可変長復号化部
２０２ 画像復号化部
２０３、２１４ 編集検出部
２０４ MMCO復号化部
２０５、２１２、４０１、４１２ メモリ管理部
２０６ メモリ
２１１ FNギャップ検出部

Claims (5)

1. 符号化ストリームをピクチャ単位で復号化する動画像復号化方法であって、
   前記ピクチャの順が不連続であることを示すフラグ情報を抽出する情報抽出ステップと、
   前記フラグ情報に基づいて復号化済みピクチャを格納する領域を管理する管理ステップとを含み、
   前記フラグ情報は、ピクチャの表示順情報が不連続であることを示す情報であり、
   前記管理ステップでは、前記表示順情報および前記フラグ情報に基づいて、前記領域に格納されている復号化済みピクチャの中で表示順が最も前であるピクチャを決定し、決定されたピクチャを削除対象ピクチャとする
   ことを特徴とする動画像復号化方法。
2. 前記管理ステップでは、前記領域に格納されている復号化済みピクチャに対して、前記フラグ情報が抽出された時に更新するクリップ情報を与え、前記表示順情報および前記クリップ情報に基づいて、前記領域に格納されている復号化済みピクチャの中で表示順が最も前であるピクチャを決定し、決定されたピクチャを削除対象ピクチャとする
   ことを特徴とする請求項１記載の動画像復号化方法。
3. 前記動画像復号化方法は、さらに、
   ピクチャの符号化順情報が不連続である場合に、前記領域に無効ピクチャを格納する無効ピクチャ格納ステップを含み、
   前記フラグ情報は、前記符号化順情報が不連続であることを示す情報であり、
   前記管理ステップでは、前記フラグ情報および前記符号化順情報に基づいて、前記領域に無効ピクチャを格納するか否かを判定し、
   前記無効ピクチャ格納ステップでは、前記管理ステップでの判定結果に基づいて前記領域に無効ピクチャを格納する
   ことを特徴とする請求項１記載の動画像復号化方法。
4. 符号化ストリームをピクチャ単位で復号化する動画像復号化装置であって、
   前記ピクチャの順が不連続であることを示すフラグ情報を抽出する情報抽出手段と、
   前記フラグ情報に基づいて復号化済みピクチャを格納する領域を管理する管理手段とを備え、
   前記フラグ情報は、ピクチャの表示順情報が不連続であることを示す情報であり、
   前記管理手段は、前記表示順情報および前記フラグ情報に基づいて、前記領域に格納されている復号化済みピクチャの中で表示順が最も前であるピクチャを決定し、決定されたピクチャを削除対象ピクチャとする
   ことを特徴とする動画像復号化装置。
5. 符号化ストリームをピクチャ単位で復号化するためのプログラムであって、
   請求項１記載のステップをコンピュータに実行させることを特徴とするプログラム。

Images