WO2006016418A1

WO2006016418A1 - 符号化ストリーム記録媒体、画像符号化装置、及び画像復号化装置

Info

Publication number: WO2006016418A1
Application number: PCT/JP2004/011795
Authority: WO
Inventors: Tomokazu Murakami; Junichi Kimura
Original assignee: Hitachi, Ltd.
Priority date: 2004-08-11
Filing date: 2004-08-11
Publication date: 2006-02-16
Also published as: JPWO2006016418A1; JP4638874B2; US8155186B2; US20080317125A1; CN1998242A; CN1998242B

Abstract

既存の符号化方法においてフレーム単位で逆方向再生するためには、一旦順方向に復号しなければならず処理量とメモリが増大するという問題点があった。符号化ストリームにあるフレームについて前方予測のみからなるピクチャと後方予測のみからなるピクチャを記録することによって、フレーム単位で簡易に逆方向再生が可能なストリームを提供する。またこれを多視点画像の符号化に用いることにより、リアルタイムに視点を変更して画像を再生可能な装置を実現する。

Description

明細符号化ストリーム記録媒体、画像符号化装置、及び画像複号化装置技術分野

本発明は画像を符号化した符号化ストリームを記録した媒体、画像を符号化するための符号化装置、復号化するための復号化装置、画像を符号化する方法、及ぴ復号化する方法に関し、特にこれらを用いた画像記録装置、映像プレーヤ、携帯電話、デジタルカメラ等の装置に関する。背景技術

映像、音声情報を記録、伝達する手法として、 MPEG (Moving Pi cture Expert s Group)方法等の符号化方法が策定され、 MPEG- 1規格、 MPEG - 2規格、 MPEG- 4規格等として国際標準の符号化方法となつてレ、る。また、さらに圧縮率を向上させる方法として、 H. 264/AVC (Advanced Vi deo Coding)規格等が定められている。これらの方法はデジタル衛星放送や DVD、携帯電話やデジタルカメラなどにおける符号化方法として採用されている。

一方で、このようなアプリケーションでは撮像した時系列とは逆方向に再生する場合がある。このような逆方向の再生可能なストリームを生成する手段としては、イントラ符号化フレームと両方向予測フレームのみを用いるようにすることで逆方向再生を実現する方法がある（例えば特開平 8— 2 8 0 0 2 4号公報参照）。

上述の方式では、伝送されたストリームを受信側で復号する時、任意の再生箇所から逆方向に映像を再生するためには、復号化のためのメモリが大量に必要であるという問題点があった。例えば、ここで図 3記載の多視点からの物体撮像システム（ 3 0 1 ) によつて撮影された多視点画像を既存の方式で圧縮符号化したとする。この場合、各視点位置の画像が通常のストリームにおける時間方向のフレームに対応する。図 3 において、 I はイントラ符号化フレーム、 P は前方予測フレーム、 B は両方向予測フレームを示す。ここで B6 の位置の画像を再生しようとした場合、まず I Iから P4を復号し、その後 P4 と 17から B6を復号する必要がある。このため、 B6の復号のために I I、 P4、 17、 B6 と 4枚の画像を処理するためのメモリが必要であり、処理量も大幅に増大してしまうという問題点があった。このため、受信側でリアルタイムに視点位置を変更して画像を表示する多視点画像の伝送表示方式は実現されていなかった。これは、既存の動画像圧縮方式が、時間方向に対して順方向に再生するために符号化方法を設計しているためであり、フレーム単位での逆方向再生に対応していないために発生する問題である。

更に、上記特許文献 1記載の方法では前方予測フレームを用いることができないため、画質を一定以上に保っためにはィントラ符号化フレームを多くする必要があり、データ量が非常に多くなつてしまうという問題点がある。従ってこの方法は、上記のような多視点画像の伝送には不向きである。

本発明は、上記従来技術を鑑みて、画質が高く圧縮率の高いフレーム単位での逆方向再生可能な符号化ストリームと、これに対応した画像符号化装置、画像復号化装置を提供するものである。また、本発明は多視点画像の圧縮に適しており、これを用いた多視点画像の符号化ストリームと画像符号化装置、画像復号化装置を提供するものである。

発明の開示

(解決手段）

上記課題を解決するために本願で開示する構成の代表的なものは以下の通りである。

複数のフレームをそれぞれピクチヤデータとして符号化してあり、 1のフレームについて、他の上記フレームから前方予測したピクチャデータと、他の上記フレームから上記前方予測とは反対方向に後方予測したピクチャデータとを有している符号化ストリームを記録している記録媒体。

又、複数の入力画像を記憶することのできる画像メモリと、画像の処理順序を判定する処理方向判定部と、予測処理を行う予測処理部とを有する画像符号化装置であって予測処理部は処理方向判定部の指示により上記参照画像からの入力を符号化対象のフレームに対して過去の参照画像と未来の参照画像とで切り替える画像符号化装置。及ぴ、上記符号化ストリームが 1 の画像について前方予測して生成したピクチャデータと該前方予測とは反対方向に後方予測して生成したピクチャデータとを区別するフラグを有する符号ストリームの入力を受け、処理方向を決定する処理方向判定部の指示に従つて上記符号化ストリ一ムを復号化する復号化装置。

本発明により、画質、圧縮率が高く、かつ、フレーム単位での逆方向再生可能な符号化ストリームを作成することができる。更に、これに対応した画像符号化装置、画像復号化装置を実現できる。また、多視点画像の圧縮に適した符号化ストリームと画像符号化装置、画像復号化装置を実現することができる。図面の簡単な説明

図 1は、本発明で用いる符号化ストリ一ムのー実施例の説明図、図 2は、復号化方法における既存方法と本発明による方法の比較図、

図 3は、多視点画像の撮影システムを説明した図、

図 4は、本発明の符号化ストリームを多視点画像符号化に用いた実施例の説明図、

図 5は、本発明で用いる画像符号化装置の一実施例の説明図、図 6は、本発明で用いる画像符号化装置の一実施例を詳しく説明した図、

図 7は、本発明で用いる画像複号化装置の一実施例の説明図、図 8は、本発明で用いる画像復号化装置の一実施例を詳しく説明した図、

図 9は、本発明の画像符号化方法説明した図、

図 1 0は、本発明の画像複号化方法を説明した図、

を示す図である。発明を実施するための最良の形態

(実施例 1 )

本発明の実施例を図示により説明する。

図 1に本発明による符号化ストリームの一実施例を示し、その特徴について述べる。

原画像列（1-01)を符号化したストリーム（104)を用いて説明する。符号化ストリームはデータ記録媒体 ( 102)にデータ列 (103)として記録されるものである。原画像列において、 I はイントラ符号化フレーム、 Pは前方予測フレーム、 Bは両方向予測フレームを示す。番号は再生時のフレーム番号を示す。符号化ストリーム（104)において、 11，は I Iフレームを符号化したデータを示す。 Pピクチャ、 Bピクチャではそれぞれ前方予測、両方向予測を行った後の符号化データである。以下、記号の意味は同様である。又、矢印 106は順方向再生の方向を、矢印 107は逆再生方向を示す。

まず符号化ストリーム（104)を I I、 B2、 B3、 P4の順に順方向再生する方法を示す。 Ι Γはィントラ符号化されているので単独で復号化され、 I I が再生される。次に P4'は前方予測符号化されているので I I と P4'のデータから P4が再生される。また B2'は両方向予測符号ィ匕されているので I I、 P4 と B2'のデータから B2 が再生される。 B3 の再生も同様に行うことができる。このように、最大 3つの関連するピクチャデータを読み出すことによつて再生を行うことができる。次に 17、 B6、 B5、 P4の順に逆方向再生する方法を示す。本願の特徴は後方予測フレーム R 4 'の存在にある。後方予測フレームとは本来の再生順序（時間順）では後から再生されるフレームのみを参照フレームとして予測されたフレームをいう。具体的には、本願実施例において画像 P 4について、前方予測によって生成されたピクチャデータ P4'と前方予測とは逆方向の後方予測によって生成されたピクチャデータ P4'を有する点が特徴である。 17'は単独で復号化され 17が再生される。次に P4は、既存の方法では I I と P4'を用いなければ再生できない。しかし本発明では後方予測したピクチャデータである R4' ( 105)を持つ。これは 17から P4 を後方予測して得られるピクチャデータである。つまり復号された 17 と R4'のデータを用いることで P4を再生することができる。続いて B6、B5については、 17、 P4 とそれぞれ B6'、 B5'を用いることによって再生できる。このように、本願ではあるフレームについて、他のフレームから時間方向または視点位置の移動方向に前方予測したデータのみからなるピクチャデータ Pと、同じフレームについて、他のフレームから時間方向または視点位置の移動方向に後方予測したデータのみからなるピクチャデータ Rとを有する。これにより既存の方法で逆方向再生を行うためには大量のメモリと処理が必要であつたが、本発明の符号化ストリームを用いること.によって少ないメモリと処理量で簡単にフレーム単位での逆方向再生を可能とすることができる。両方向からの予測フレームをそれぞれ別に持っため高画質であり、イントラフレームを持つ場合と比較して符号量が小さいというメリットがある。 R4，のピクチャデータは既存のストリ一ムには存在しないデータである。そこでこの後方予測フレームのデータを既存のストリームに付加情報として記録する方法であるプライべ一トデータ形式によって記録してもよい。プライべ一トデータ形式とは既存の規格と拡張された規格の互換性を取るためのデータ形式であり了ッディショナルデータとも呼ばれる。一般に規格にはプライべ一トデータの範囲を示す情報が含まれており、既存規格にのみ対応したデコーダはこのプライべ一トデータの内容を無視する。拡張規格に対応するデコーダはこのプライべ一トデータの内容を読み取り処理することができる。この形式を用いることにより、このストリームを逆方向再生に対応しない既存の復号化装置に入力したとしても、通常のストリームとして順方向に再生することができる。

図 2を用いて本発明による方法と既存方法の処理量の違いを説明する。

逆方向再生として、 113、 B12、 B l l、 P10の順に再生することを想定し、 B 12 を再生する場合を考える。 B12 を再生するためには 113 と P 10 が復号されている必要があり、既存方法図 2 Aでは、 P10 を再生するために I Iから P4を予測して復号するステップと、 P4から P7を予測して復号するステップと、 P7から P10を予測して復号するステップと、 113単独で復号するステップと、最後に 113 と P10から B12を復号するステップが必要であり、 5段階の処理が必要となる。またその分のデータを保持するメモリも持たなければならなレ、。一方で提案方法図 2 Bでは、後方予測ピクチャにより 113から P 10 が復号可能であるため、 Π 3 単独で復号するステップと、 113 から P10を予測して復号するステップと、 113 と P10から B12を復号するステップとがあればよく、 3段階の処理で済み、既存方法に比べて処理量、メモリ量を削減できる。

次に図 3において、多視点画像を撮影記録するシステムに本願を適用する一実施例について説明する。

多視点画像を撮影するシステムには、図 3 Aに示すように撮影対象物体（304)を取り囲むようにカメラ（302)等の視点位置を配置するタイプものや、図 3 Bに示すようにカメラを外側に向け全周のパノラマ画像を撮影するようなタイプのものがある。図 3 A、図 3 Bにおいてカメラの撮影する各画像の符号化タイプのー実施例を示したものがそれぞれ（303)、（306)である。このような多視点画像を伝送する場合、データ量圧縮のために隣り合う視点間の相関を利用して予測を行い符号化する。具体的には、図の I 1〜B12の数字に示される順番に従いあるフレームから 1周するように連続するフレームとして取り込み、それぞれイントラ予測符号化、前方予測符号化、両方向予測符号化等の何れかを行う。又、視点間の予測を行った後に、各視点位置について時間方向に予測を行ってもよい。これは対象物体を動画像として記録したい場合に行われる。手順としては、まず上記の方法で各視点位置の画像を符号化する。次に符号化した画像を参照フレームとして、視点位置ごとに独立に動画像として時間方向に予測を行い符号化する。これを一定の時間間隔で行うことにより多視点の動画像を記録できる。但し、視点の移動は視点間で予測符号化したタイミングの時に限られる。

図 4に、本発明による符号化ストリ一ムを多視点画像の符号化に用いる場合について説明する。

前述のように多視点画像の撮影システムでは、複数の視点位置のカメラ（401)または移動するカメラによってそれぞれの位置に対応する画像（402)が撮影され、これらが連続するフレームとして予測符号化され符号化ストリーム（403)が作成される。ストリームを受信して再生する側では、ユーザが対象物体を見回すため、その指示により符号化した方向（右回り ·順方向）だけでなく、逆方向（左回り）にも画像を再生して提示しなければならない。前述のように既存方法で逆方向再生を行うためには処理量 ' メモリが非常に多く必要となるが、本発明による後方予測ピクチャ R10' (404)を有する方法を用いればこれを大幅に削減でき、逆方向再生も簡易に行うことができる。本発明による多視点画像の符号化ストリームでは、既存の符号化ストリームにおけるタイムスタンプ部分に再生時間情報ではなく、時間以外の視点位置に関する情報等を記録してもよい。例えば視点位置のインデックスや、カメラの角度、絶対位置、各視点位置のフレームの表示持続時間等を記録すればよい。また、このような再生時間情報ではない情報が記録されていることを示すフラグをストリーム中に記録してもよレ、。視点位置のィンデックスゃカメラの角度、絶対位置を記録しておくことにより、ユーザが対象物体をどの方向から見たいかを指示した時に、これらの情報をもとにして表示するのに最も適切なフレームをストリームから選択することができる。また視点位置のフレームの表示持続時間を記録しておけば、対象物体を周りからぐるつと見回したときの映像を自動的に再生することができる。これらの情報は既存の規格におけるタイムスタンプとは記述方法が異なるので、別の情報が記録されていることを示すフラグをストリームに記録しておく。

前述のように、多視点画像を符号化したストリームをユーザの指示によって視点位置を変更して再生する場合、逆方向に再生を行うと、ストリーム中の最初に符号化したフレームを再生した後に、最後に符号化したフレームを再生する場合がある。このような再生順序は特殊な再生方法となるため、復号化装置によっては既存のストリームと区別するフラグが必要となる。このように逆方向のループ再生が可能であることを示すフラグをストリーム中に記録し、このフラグが有る場合には、連続したフレームの前後最終フレームを再生した後（本実施例において例えば B12 ) は他の一方のフレーム ( I I ) を連続して再生させるようにしてもよい。図 5に本'発明による画像符号化装置の一実施例を示す。

画像符号化装置は、画像入力部（501)、画像メモリ（502)、処理方向判定部（503)、符号化予測処理部（504)、誤差調整部（505)、符号化処理部（506)、フレームメモリ（507)、出力部（508)からなる。誤差調整部（505)はなくてもよいが備えることで画質を向上することができる。

まず画像入力部（501 )はカメラ等からの画像情報を符号化装置に入力し、画像メモリ（502)に蓄える。画像は複数のカメラから同時に取り込んでもよいし、連続的に入力して蓄えてもよい。次に処理方向判定部（503)が、画像の処理する順番、前方予測、後方予測等の符号処理方法を判定し、符号化予測処理部（504)に伝える。予測処理部 (504)は指示に従い、画像メモリ（502)から適切な画像を取得し、フレームメモリ（507)の参照画像を用いて予測処理を行う。符号化予測処理部（504)にて各ピクチャの予測符号化処理が行われるが、図 4の実施例で示した P4のように前方予測ピクチャデータ P4'と後方予測ピクチャデータ R4，のような 2つのデータが作成される画像では、再生の方向によって復号画像に画質の差が生じる場合がある。両方向予測ピクチャを用いる場合、順方向及び逆方向の再生時ともに同じデータが使われるため、参照画像の画質に差があると再生方向によつて画質に差が生じてしまう。これを回避するために本発明による画像符号化装置では、誤差調整部（505)によつて再生方向による画質差の調整を行う。前方予測ピクチャデータと後方予測ピクチャデータをそれぞれ一且デコ一ドしてプロック毎に画質を比較し、一定以上画質に差があるプロックは、画質が揃うように一方または両方のピクチャのブロックをパラメータを調整して再エンコードする。次に符号化処理部（506)が予測された情報を元に画像の符号化を行い、データを出力部（508)に送って符号化ストリームを作成する。また一方、符号化処理部（506)は作成した符号化データを復号化して画像に戻しフレームメモリ (507)に送る。フレームメモリ (507)に蓄えられた画像は、符号化予測処理部（504)に従って次の画像の予測に使うために参照フレームとして格納される。

次に図 6を用いて、画像符号化装置の一実施例の詳しい説明を行う。図 6は符号化予測処理部（504)を詳しく示した図である。

まず画像メモリ（502)から符号化する原画像が原画像メモリ（601 ) に取り込まれる。また、フレームメモリ（507)からは参照画像が参照画像メモリ（603)に取り込まれる。次に、処理方向判定部（503)から画像の予測方法、どのタイプの予測を行うのかに関する符号化方法の指示が切替処理部（602)に伝わり、この指示に従って参照画像と原画像が各予測処理部であるィントラ符号化予測部（604)、片方向符号化予測部（605)、両方向符号化予測部（606)に送られる。イントラ符号化予測部（604)は画像内部で符号化の予測処理を行う処理部であり、片方向符号化予測部（605)は順方向または逆方向の符号化予測処理を行う。両方向符号化予測部（606)は両方向符号化予測処理を行う。すなわち、前方予測と後方予測はどちらも片方向の予測処理であるので、切替処理部（602)によって予測に用いる参照画像の入れ替えを行えば、同じ片方向符号化予測部（ 605 )によって処理が可能である。つまり後方予測符号化を行う場合にのみ切替処理を行えばよい。 .参照画像メモリには過去画像メモリと未来画像メモリがあり、前方予測時は過去画像メモリ、両方向予測時は両方を用いる。後方予測時は未来画像メモリのみを用いればよいが、前方予測部と処理を共通化するために、本来は未来画像メモリに入れる参照画像を切替処理によって過去画像メモリに入れる。このように切替部は予測部で用いる参照画像を符号化対象の画像の未来の画像と過去の画像とで切り替えることで本願を実現する。各予測処理部によって処理されたデータは誤差調整部（505)に送られる。以上のような処理によって符号化が行われる。

図 7に本発明による画像復号化装置の一実施例を示す。

画像復号化装置は、ストリーム入力部（701 )、ストリームバッファ

(702)、処理方向判定部（703)、復号化予測処理部（704)、複号化処理部（705)、フレームメモリ（706)、出力部（707)からなる。

まずストリーム入力部（701 )は符号化ストリ一ムを復号化装置に入力し、ストリームバッファ（702)に蓄える。次に処理方向判定部

(703)が、ユーザの指示入力に従って処理するべきデータの順番を決定し、復号化予測処理部（704)に伝える。例えば、多視点画像を再生する復号化装置では、ユーザが対象物体を右回りで見回したり左回りで見回したりと、様々な向きに符号化ストリ一ムの復号化方向を変える。処理方向判定部（703)はストリームバッファ（702)に蓄えられたデータの中から、ユーザの指示に基づいて適切なピクチャデータの位置を指定し、復号化の順番を復号化予測処理部（704)に伝える。また処理.方向判定部（703)は、ストリーム中のフラグのチェックを行レ、、入力されたストリ一ムが逆方向再生可能かどうかを判定したり、多視点画像の符号化ストリームとして逆方向のループ再生が可能かどうかを判定したりする。

次に復号化予測処理部（704)は指示に従い、ストリームバッファ (702)から適切なピクチャデータを取得して予測処理を行う。データ及び参照画像の切り替えを除けば、復号化予測処理部（704)は通常の復号化装置の予測処理部と同様のものでかまわない。予測処理後のデータは復号化処理部（705)に送られ、画像として再生され.出力部 (707)に出される。また復号化された画像はフレームメモリ（707)に送られ、次に復号される画像の参照画像として蓄えられる。

次に図 8を用いて、画像複号化装置の一実施例の詳しい説明を行う。図 8は復号化予測処理部（704)を詳しく示した図である。

まずストリームバッファ（702)から復号化するピクチヤデータがデータ切替部（801 )に取り込まれる。また、フレームメモリ（706)からは参照画像が参照画像メモリ（802)に取り込まれる。次に、処理方向判定部（703)から画像の予測方法、復号化方法に関する指示がデータ切替部（801)に伝わり、この指示に従って適切なデータが各予測処理部であるィントラ復号化予測部（803)、片方向復号化予測部（804)、両方向復号化予測部（805)に送られる。イントラ複号化予測部（803) は画像内部で復号化の予測処理を行う処理部であり、片方向複号化予測部（804)は順方向または逆方向の複号化予測処理を行う。両方向復号化予測部（805)は両方向復号化予測処理を行う。すなわち、前方予測と後方予測はどちらも片方向の予測処理であるので、データ切替部（801)によつて復号化するデータの順序と参照画像を適宜入れ替えれば、同じ片方向復号化予測部（804)によって処理が可能である。各予測処理部によって処理されたデータは復号化処理部（705)に送られる。以上のような処理によって復号化が行われる。以上のように符号化 ·復号化装置のいずれにしても既存の装置を少し改良するのみで実現することができる。

次に、図 9に本発明による画像符号化方法の概略を示し、内容を説明する。

まずステップ（901)において画像のバッファリングを行う。ここでは複数視点からの画像や連続するフレームをメモリに取り込む。次にステツプ（902)では、イントラ予測 ·順方向予測 '両方向予測の処理を行う。これは既存の符号化手順と同じ処理であり、既存の符号化ストリームと同じピクチャデータを作成するステツプである。次にステップ（903)ではメモリ切替を行う。これは、逆方向再生可能なストリームを作成するにあたり、前述の順方向予測と同じ処理によつて逆方向予測を行うため、対象となる参照画像の入れ替えを行う処理である。次にステップ（904)では逆方向の予測処理を行う。ここで逆方向再生を可能にする後方予測のみによるピクチャデータを作成する。次にステップ（905)において誤差調整とフラグ処理を行う。誤差調整は前述のように、順方向再生時と逆方向再生時で画質の差が生じないように前方予測のみによるピクチャデータと後方予測のみによるピクチャデータの符号化方法の調整を行う処理である。またフラグ処理では、出力する符号化ストリームが逆方向再生に対応することを示すフラグゃ、多視点画像の符号化ストリームの時には、カメラの視点位置情報、逆方向ループ再生が可能であることを示す情報等を出力する。最後にステップ（906)では、以上のようにして作成した符号化データをストリームとして出力する。処理手順としては、ステップ（902)の通常の処理とステップ（904)の逆方向の処理をメモリを切り替えるなどして同時に行ってもよい。以上のような方法で逆方向再生可能なストリームが作成される。次に、図 1 0に本発明による画像復号化方法の概略を示し、内容を説明する。

まずステップ（1001)において符号化ストリームのデータバッファリングを行う。次にステップ（1002)では、符号化ストリームのフラグ判定を行う。フラグの内容については前述のとおりである。次にステップ（1003)では再生方向の判定を行う。ユーザの指示によって変更される画像の再生方向を判定する処理を行う。次にステップ (1004)ではデータ切り替えを行う。データ切り替えは、再生方向に対応したピクチャデータを、データを蓄積したメモリから読み出し予測処理部にデータを渡す。次にステップ（1005)では予測 ·復号化処理を行う。ステップ（1004)によって適切な順序のデータが渡されることによって、復号処理自体は既存の復号化と同様の処理によつて実現できる。最後にステップ（1006)において復号化された画像が出力される。以上のような方法で逆方向再生可能なストリームから画像が復号化される。

上記のような手段により、フレーム単位での逆方向再生可能な符号化ストリームを作成、伝送し再生することができる。また、これを用いた多視点画像符号化装置、複号化装置を実現できる。

なお、前記実施例では多視点画像の符号化装置、復号化装置を例に挙げて説明してきたが、本発明の適用はこれに限定されるものではなく、通常の動画像の符号化を初めとして様々な画像符号化装置、復号化装置等に用いることができる。本方式を通常の動画像符号化に用いた場合には、少ないメモリ量でフレーム単位の逆方向再生が可能になり、多視点画像符号化に用いた場合には、少ないメモリ量でユーザの指示に応じた自由な視点位置移動が可能になる。

尚、本願で記述した実施例はプログラムで規定し、コンピュータ 6 で読み込んで実行することができ、またハードウェアとの協調、若しくは、ハードウエア単体にて実現することができる。産業上の利用可能性

本願は、情報の符号化複号化に適用できる。

Claims

請求の範囲

1 . 複数のフレームをそれぞれピクチャデータとして符号化した符号化ストリームを記録した媒体であって、

該符号化ストリームは、上記 1 のフレームについて、他の上記フレームから前方予測したピクチャデータと、他の上記フレームから上記前方予測とは反対方向に後方予測したピクチャデータとを有することを特徴とする記録媒体。

2 . 上記符号化ストリームには、上記 1 のフレームについて前方予測したピクチャデータと後方予測したピクチャデータとが含まれていることを示すフラグが含まれていることを特徴とする請求項 1記載の記録媒体。

3 . 上記後方予測したピクチャデータは、プライべ一トデータ形式で記録されていることを特徴とする請求項 1又は 2に記載の記録媒体。

4 . 上記符号化ストリームは、上記各フレームの再生時間を表すタィムスタンプ情報、又は、上記各フレーム撮像の撮像位置に関する情報の少なくとも何れかを有することを特徴とする請求項 1乃至 3 の何れかに記載の記録媒体。

5 . 上記符号化ストリームは、再生時に、上記複数のフレームの最後のフレームの再生後に最初のフレームを再生する、あるいは最初のフレームの再生後に最後のフレームを再生することが可能であることを示すフラグを有することを特徴とする請求項 1乃至 4の何れかに記載の記録媒体。

6 . 複数の入力画像を記憶することのできる画像メモリと、画像の処理順序を判定する処理方向判定部と、上記入力画像と参照画像とを用いて予測処理を行う予測処理部とを有し、

上記予測処理部は上記参照画像を格納する参照画像メモリと、処理方向判定部の指示により上記参照画像からの入力の切替を行う切替処理部とを有し、該切替処理部は上記参照画像からの入力を符号化対象のフレームに対して過去の参照画像と未来の参照画像とで切り替えることを特徴とする画像符号化装置。

7 . 上記予測処理部は 1の画像について、上記過去の参照画像を用いて前方予測して生成したピクチャデータと該前方予測とは反対方向に上記未来の参照画像を用いて後方予測して生成したピクチャデータとを生成することを特徴とする請求項 6記載の画像符号化装置。

8 . 上記前方予測ピクチャデータと上記後方予測ピクチャデータをデコードしてプロック毎に画質を比較し、差が所定以上あるブロックはパラメータを調整して再ェンコ一ドする誤差調整部を更に有することを特徴とする請求項 7記載の画像符号化装置。

9 . 入力された符号化ストリ一ムを蓄えるメモリと、入力手段を介して入力される再生方向指示情報と前記符号化ストリームに含まれるフラグ情報に従って処理方向を決定する処理方向判定部と、上記処理方向判定部の指示に従って上記符号化ストリ一ムを復号化する複号化処理部とを有し、

上記フラグは上記符号化ストリームが 1 の画像について前方予測して生成したピクチャデータと該前方予測とは反対方向に後方予測して生成したピクチャデータとを有すものであることを示すものであることを特徴とする画像復号化装置。

1 0 . 上記画像複号化装置は、上記再生方向指示情報に基づいて、ストリームの最後のフレームの再生後に最初のフレームを再生する、 9 あるいは最初のフレームの再生後に最後のフレームを再生することが可能であることを特徴とする請求項 9記載の画像復号化装置。