JP3663559B2 - リアルタイム逆方向再生用動画像符号化方式 - Google Patents
リアルタイム逆方向再生用動画像符号化方式 Download PDFInfo
- Publication number
- JP3663559B2 JP3663559B2 JP18577596A JP18577596A JP3663559B2 JP 3663559 B2 JP3663559 B2 JP 3663559B2 JP 18577596 A JP18577596 A JP 18577596A JP 18577596 A JP18577596 A JP 18577596A JP 3663559 B2 JP3663559 B2 JP 3663559B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- encoding
- coding
- real
- reverse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像の符号化方式に関し、特にリアルタイムに逆方向再生用ビットストリームを生成可能な、動画像符号化方式に関するものである。
【０００２】
動画像データをハードディスク，ＭＯ（光磁気ディスク），ＣＤ−ＲＯＭ等の蓄積媒体に記録し、この媒体から、直接または通信路を介してアクセスするアプリケーションとして、例えば、ＶＯＤ（Video on Demand ）等が開発されている。
【０００３】
このような場合の動画像の符号化方式として、リアルタイムに逆方向再生用のビットストリームを生成可能な、動画像符号化方式の実現が要求されている。
【０００４】
【従来の技術】
動画像データは、その情報量が膨大なため、一般には、高能率符号化による情報量圧縮を行って、記録媒体に記録する方式がとられる。この場合の高能率符号化の方式として代表的なものに、ＭＰＥＧ−１（ISO/IEC 11172 ）や、ＭＰＥＧ−２（ISO/IEC 13818 ）がある。これらの符号化方式は、周期的にフレーム内符号化（Ｉ画像）が挿入された、動き補償を用いたフレーム間符号化（Ｐ画像またはＢ画像）である。
【０００５】
ここで、Ｉ画像（Intra coded picture ）は、フレーム内符号化画像のことであって、当該画像の情報のみを使用して符号化する画像をいう。Ｐ画像（Predictive coded picture）は、予測符号化画像のことであって、過去参照画像から動き補償予測を用いて符号化する画像をいう。Ｂ画像（Bidirectionally predictive coded picture）は、双方向予測符号化画像のことであって、過去参照画像および／または未来参照画像から動き補償予測を用いて符号化する画像をいう。
【０００６】
図８は、順方向再生用符号化器の構成例を示したものであって、ＭＰＥＧ−１や、ＭＰＥＧ−２で代表される、周期的にＩ画像が挿入されるフレーム間符号化（Ｐ画像またはＢ画像）器の構成を示している。
【０００７】
図８において、１はフレーム並べ替え器、２は離散コサイン変換器（ＤＣＴ）、３は量子化器（Ｑ）、４は可変長符号化器（ＶＬＣ）、５は逆量子化器（ＩＱ）、６は逆離散コサイン変換器（ＩＤＣＴ）、７はフレームメモリ（またはフィールドメモリ）（ＦＭ）、８は動き検出器（ＭＥ）、９は動き補償器（可変遅延）（ＭＣ）、１０は減算器、１１は加算器である。
【０００８】
画像入力は、１ＧＯＰ分のフレームごとに、１ＧＯＰ分以上のフレームメモリと、そのフレーム順序を入れ替える機能とを持つフレーム並べ替え部１において、フレームを符号化の順序に並べ替えられる。ここで、ＧＯＰ（Group of Picture）は、処理の単位となる画像群を示し、先頭にＩ画像が配置されている。一方、フレームメモリ７には、過去において符号化された画像が蓄積されている。動き検出器８は、並べ替えられた画像とフレームメモリ７の画像との差分をとって動きベクトルを検出する。
【０００９】
動き補償器９は、フレームメモリ７の出力画像に対して、動きベクトルによって動き補償を行って、動き補償された再生画像を生成する。減算器１０において、並べ替えられた画像と、動き補償された再生画像との差分を求めて、離散コサイン変換器２において離散コサイン変換を行ない、量子化器３において量子化を行う。さらに可変長符号化器４において、量子化結果を、動き検出器８で検出された動きベクトルとともに可変長符号に符号化して、ビットストリームとして出力する。
【００１０】
一方、量子化結果を逆量子化器５において逆量子化し、逆離散コサイン変換器６において逆離散コサイン変換した結果を、加算器１１において、動き補償された再生画像に対して加算することによって、局部復号画像を生成して、フレームメモリ７に蓄積する。フレームメモリ７は、Ｉ画像とＰ画像に対応して２面設けられている。
【００１１】
図９は、予測符号化で用いる参照画像の関係を説明するものであって、Ｉ画像，Ｐ画像，Ｂ画像の予測参照画面を説明している。図示のように、１ＧＯＰを９フレームから構成するものとして、Ｉ画像，Ｐ画像，Ｂ画像のフレームをＩ，Ｂ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｂ，Ｐのように順次配列して符号化するものとする。すなわちこの場合は、１ＧＯＰは、約０．３秒で符号化される。
【００１２】
この場合の符号化は、最初、Ｉ画像をフレーム内符号化し、次に（一方向）予測符号化によって、Ｐ画像を符号化する。次に、双方向予測符号化によって、Ｉ画像とＰ画像の間にあるＢ画像を順次、符号化する。さらにＰ画像から予測符号化によって次のＰ画像を符号化する。次に、双方向予測符号化によって、Ｐ画像とＰ画像の間にあるＢ画像を順次、符号化する。
【００１３】
図１０は、順方向再生用ビットストリーム生成の符号化を説明するものであって、(a) は入力画像の順序、(b) は符号化の順序とビットストリームの出力順序をそれぞれ示している。(a),(b) において、上段の数字は入力順のフレーム番号を示し、下段のＩ，Ｐ，ＢはそれぞれＩ画像，Ｐ画像，Ｂ画像の区別を示している。また、／はＧＯＰの区切り目を示している。
【００１４】
図８におけるＡ点の入力画像の順序は、図１０(a) に示すように、Ｉ画像とＰ画像の間、およびＰ画像とＰ画像の間に、Ｂ画像が２フレーム入っている。これを符号化する際には、図８のＣ点で図１０(b) の順序で符号化して、ビットストリームとして図８のＤ点に出力する。この場合の符号化は、最初にＩ画像を符号化し、次にＩ画像とＰ画像を用いて、Ｂ画像と、次のＢ画像を符号化する。
【００１５】
次に、Ｉ画像を用いてＰ画像を符号化し、Ｉ画像とＰ画像とを用いて、Ｂ画像と、次のＢ画像とを符号化する。さらに、Ｐ画像を用いて、次のＰ画像を符号化し、この二つのＰ画像を用いて、Ｂ画像と、次のＢ画像とを符号化する。
【００１６】
このようにして、通常の順方向再生用ビットストリーム生成の符号化を行うことができる。出力されるビットストリームは、１ＧＯＰごとに、Ｉ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂの順に出力される。図示されない後段の復号器では、このような順序に配列されたビットストリームを受け取ったとき、復号を行って、原画像を順方向に再生することができる。
【００１７】
【発明が解決しようとする課題】
一方、ユーザの立場から見ると、ＶＣＲ（ＶＴＲ）の場合のように、順方向の再生を行うだけでなく、逆方向の再生も行ないたいという要求がある。しかしながら、一般には、順方向再生用のビットストリームから、逆方向再生を行うためには、受信側（復号側）に、何フレーム分ものフレームメモリを持つことが必要となって、受信機（復号器）が高価なものになってしまう。そこで、送信側（符号化器）で、逆方向のビットストリームを生成することが必要となる。
【００１８】
従来、送信側で、例えば１時間分の番組の逆方向再生用のビットストリームを生成するためには、一度、ＶＣＲ等を使用して番組を順方向画像として録画し、ＶＣＲの編集作業によってフレームの順序を並べ替え、並べ替えたフレームを画像符号器に入力して、逆再生用のビットストリームを作成しなければならなかった。このため、編集作業が必ず必要となって、番組１本を録画し終わった後でなければ、逆再生用のビットストリームを作成することは、不可能であった。
【００１９】
これに対して、リアルタイムで逆方向再生用のデータを生成することが要望されており、例えばスポーツ等の生番組をハードディスクに蓄積しながら放送を行う場合に、あるシーンで、それまでの映像の逆方向再生を行ないたいような場合があるが、この場合は、リアルタイムで逆方向再生用のデータを作成する必要がある。しかしながら、上述のような、ＶＣＲで編集してから逆方向の符号化を行う方式では、到底、リアルタイムでのビットストリーム生成は不可能である。
【００２０】
本発明は、このような従来技術の課題を解決しようとするものであって、動画像の符号化方式において、通常のリアルタイムに順方向再生用ビットストリームを生成する画像符号化器に対して、若干の機能追加を行うことによって、リアルタイムに逆方向再生用ビットストリームを生成することが可能な、リアルタイム逆方向再生用動画像符号化方式を提供することを目的としている。
【００２１】
【課題を解決するための手段】
本発明においては、画像符号化器の前段に、例えば画像群を表す１ＧＯＰ（Group of Picture）分以上のフレームメモリと、そのフレーム順序を入れ替える機能を持つ。このようにして順序を入れ替えたフレームを、画像符号化器に入力する。画像符号化器では、クローズド（Ｃｌｏｓｅｄ）ＧＯＰ（入力順序で、Ｉ画像の直前に並ぶＢ画像の符号化において、そのＩ画像のみが参照画像として用いられ、そのＢ画像の直前のＩ画像またはＰ画像は、参照画像として使われない場合のＧＯＰをいう）によって符号化を行ない、出力されるビットストリームをＧＯＰ単位で出力の逆順に並べ替えることによって、リアルタイムで逆再生用のビットストリームを生成する（本発明の態様１）。
【００２２】
この場合に、ｎフレームごとに画像を入力することによって、ｎ倍速のビットストリームを生成することができる（本発明の態様２）。
【００２３】
またこの際、符号化にＢ画像を用いないようにすれば、画像符号化器の構成を簡易化することができる（本発明の態様３）。
【００２４】
態様１の方式に対して、画像符号化器の符号化ループ内にも逆方向符号化用のフレームメモリを設けて、Ｉ画像を蓄積しておくことによって、Ｃｌｏｓｅｄ
ＧＯＰの制限なしに符号化を行っても、逆再生用のビットストリームを生成することができる（本発明の態様４）。
【００２５】
態様４の方式において、ｎフレームごとに画像を入力することによって、ｎ倍速のビットストリームを生成することができる（本発明の態様５）。
【００２６】
以下、本発明の課題を解決するための、具体的手段を記述する。
【００２７】
(1) フレーム化された画像データについて、入力順に周期的にフレーム内符号化するＩ画像符号化を行ない、このＩ画像符号化の中間において、過去参照画像から予測符号化するＰ画像符号化と、過去参照画像と未来参照画像とから双方向予測符号化するＢ画像符号化とを所定の順序で行なうように入力フレームを並べ替えて符号化するとともに、Ｉ画像符号化の後で最初に行われるＢ画像符号化をこのＩ画像のみを参照画像として行ない、符号化結果を順次可変長符号化してビットストリームを出力する画像符号化器２０に対して、画像符号化器２０の前段に、Ｉ画像符号化周期のフレーム数を示すＧＯＰ分以上のフレームを蓄積して入力フレームの順序をＧＯＰごとに逆方向順序に入れ替える逆順フレーム並べ替え器１２を設けるとともに、画像符号化器２０の後段に、画像符号化器２０のビットストリーム出力をＧＯＰごとに折り返しながら順次積み上げてメモリに蓄積するビットストリーム並べ替え器１３を設け、このメモリの内容を最新のＧＯＰから順次遡って再生することによって、逆方向再生用ビットストリームをリアルタイムに出力する。
【００２８】
(2) (1) の場合に、ｎ（ｎは任意の整数）フレーム間隔で画像データを入力することによって、ｎ倍速の逆方向再生用ビットストリームを出力する。
【００２９】
(3) (1) または(2) の場合に、Ｉ画像符号化およびＰ画像符号化のみによって符号化することによって、逆方向再生用ビットストリームまたはｎ倍速の逆方向再生用ビットストリームを出力する。
【００３０】
(4) フレーム化された画像データについて、入力順に周期的にフレーム内符号化するＩ画像符号化を行ない、このＩ画像符号化の中間において、過去参照画像から予測符号化するＰ画像符号化と、過去参照画像と未来参照画像とから双方向予測符号化するＢ画像符号化とを所定の順序で行なうとともに、Ｉ画像符号化の直後にＰ画像符号化を行ったのちＢ画像符号化を行ない、Ｉ画像符号化周期の最後にメモリ７Ｂに保持された前Ｉ画像符号化周期のＩ画像を一方の参照画像としてＢ画像符号化を行なうように、入力フレームを並べ替えて符号化し、この符号化結果を順次可変長符号化してビットストリームを出力する画像符号化器２０に対して、画像符号化器２０の前段に、Ｉ画像符号化周期のフレーム数を示すＧＯＰ分以上のフレームを蓄積して入力フレームの順序をＧＯＰごとに逆方向順序に入れ替える逆順フレーム並べ替え器１２を設けるとともに、画像符号化器２０の後段に、画像符号化器２０のビットストリーム出力における各フレームの順序が所定の順序になるように並べ替えたのち、ＧＯＰごとに折り返しながら順次積み上げてメモリに蓄積するビットストリーム並べ替え器１３を設け、このメモリの内容を最新のＧＯＰから順次遡って再生することによって、逆方向再生用ビットストリームをリアルタイムに出力する。
【００３１】
(5) (4) の場合に、ｎ（ｎは任意の整数）フレーム間隔で画像データを入力することによって、ｎ倍速の逆方向再生用ビットストリームを出力する。
【００３２】
(6) (1) 〜(5) の場合に、フレーム化された画像データに代えて画像フィールドを用い、フレームごとの処理に代えてフィールドごとの処理を行う。
【００３３】
【発明の実施の形態】
図１は、本発明の実施形態(1) を示したものであって、本発明の態様１の逆方向再生用符号化器を示している。図８の場合と同じ順方向再生用符号化器を画像符号化器２０で示し、１２は逆順フレーム並べ替え器、１３はビットストリーム並べ替え器である。
【００３４】
図１に示された実施形態と、図８に示された従来例との大きな違いは、逆順フレーム並べ替え器１２と、ビットストリーム並べ替え器１３とを持つことと、符号化はＣｌｏｓｅｄ ＧＯＰで処理することである。逆順フレーム並べ替え器１２は、順方向に入力される画像データの１ＧＯＰ分（Ｉ画像と次のＩ画像までのフレーム数）以上のフレームを蓄積し、そのフレーム順序を逆方向順序に入れ替える機能を有し、画像符号化器２０の入力側に設けられる。
【００３５】
一方、ビットストリーム並べ替え器１３は、画像符号化器２０から出力されるビットストリームを、ＧＯＰごとに折り返しながら順次積み上げてメモリに蓄積する。
【００３６】
図２は、実施形態(1) の場合の逆方向再生用ビットストリーム生成の符号化を示したものであって、(a) は入力画像の順序、(b) は逆フレーム並べ替え器からの出力順序、(c) は符号化の順序およびビットストリームの出力順序をそれぞれ示している。(a),(b),(c) において、上段の数字は入力順のフレーム番号を示し、下段のＩ，Ｐ，ＢはそれぞれＩ画像，Ｐ画像，Ｂ画像の区別を示している。また、／はＧＯＰの区切り目を示している。
【００３７】
図１のＡ点における、図２(a) に示す入力画像のフレーム順序を、逆フレーム並べ替え器１２によって、１ＧＯＰごとに逆順に並べ替えることによって、図１のＢ点に、図２(b) に示す出力順序が得られる。これをフレーム並べ替え器１によって、従来と同じ符号化の順に並べ替えて、図１のＣ点に、図２(c) に示す順序のフレームを出力する。さらにこれを符号化して、図１のＤ点にビットストリームとして出力する。
【００３８】
この場合の符号化は、次のようにして行われる。例えば１６Ｉをフレーム内符号化し、次に１６Ｉから動き補償予測を用いて１８Ｂと１７Ｂを符号化し（Ｃｌｏｓｅｄ ＧＯＰの制限による）、次に１６Ｉから動き補償予測を用いて１３Ｐを符号化し、次に１６Ｉと１３Ｐとから動き補償予測を用いて１５Ｂと１４Ｂを双方向予測符号化し、次に１３Ｐから動き補償予測を用いて１０Ｐを符号化し、次に１３Ｐと１０Ｐとから動き補償予測を用いて１２Ｂと１１Ｂを双方向予測符号化する。
【００３９】
符号化されたビットストリームを、ビットストリーム並べ替え器１３によって図示されないメモリに、ＧＯＰごとに折り返しながら順次積み上げて蓄積する。すなわち、図２(c) に示す、最初のＧＯＰのビットストリームに相当する７フレームから２フレームのビットストリームを一番下に積み、その上に、１６フレームから１１フレームまでのビットストリームを積み、さらにその上に、２５フレームから２０フレームまでのビットストリームを積む形で出力用データを作成する。作成ずみのデータを上から順に、最新のＧＯＰから順次遡って読むことによって、逆方向再生用のビットストリームをリアルタイムに得ることができる。
【００４０】
本発明の実施形態(2) は本発明の態様(2) に対応し、図１の構成において、ｎ（ｎは任意の整数）フレームごとに画像を入力することによって、ｎ倍速の逆方向再生用ビットストリームを生成することができる。
【００４１】
図３は、本発明の実施形態(3) を示したものであって、本発明の態様３の逆方向再生用符号化器を示している。図１の場合と同じものを同じ番号で示し、フレーム並べ替え器１を欠いている。フレームメモリ７Ａは１面から構成されている。
【００４２】
図１に示された逆方向再生用符号化器においては、Ｂ画像を使用して符号化を行っており、そのためフレーム並べ替え器１を必要とするが、Ｂ画像を使用しなければ、フレームの並べ替えは必要ないので、フレーム並べ替え器１が不要になり、逆順フレーム並べ替え器１２において、ＧＯＰ単位の逆順並べ替えのみを行えばよい。また両方向から予測を行わないので、フレームメモリ７Ａとして１面のみ持てばよい。
【００４３】
図４は、実施形態(3) の場合の逆方向再生用ビットストリーム生成の符号化を示したものであって、(a) は入力画像の順序、(b) は符号化の順序およびビットストリームの出力順序をそれぞれ示している。(a),(b) において、上段の数字は入力順のフレーム番号を示し、下段のＩ，ＰはそれぞれＩ画像，Ｐ画像の区別を示している。また、／はＧＯＰの区切り目を示している。
【００４４】
この場合の入力順序は、図３のＡ点における、図４(a) に示す入力画像のフレーム順序を、逆フレーム並べ替え器１２によって、１ＧＯＰごとに逆順に並べ替えることによって、図３のＣ点に、図４(b) に示す出力順序が得られる。これを符号化して、図３のＤ点にビットストリームとして出力する。
【００４５】
この場合の符号化は、例えば最初の１８Ｉをフレーム内符号化したのち、１７Ｐ〜１０Ｐを順次、前フレームを過去参照画像として動き補償予測を行うことによって、符号化が行われる。
【００４６】
符号化されたビットストリームを、ビットストリーム並べ替え器１３によって、図示されないメモリに、ＧＯＰごとに折り返しながら順次積み上げて蓄積する。すなわち、図４(b) に示す、最初のＧＯＰのビットストリームに相当する９フレームから１フレームのビットストリームを一番下に積み、その上に、１８フレームから１０フレームまでのビットストリームを積み、さらにその上に、２７フレームから１９フレームまでのビットストリームを積む形で出力用データを作成する。作成ずみのデータを上から順に、最新のＧＯＰから順次遡って読むことによって、逆方向再生用のビットストリームをリアルタイムに得ることができる。
【００４７】
図５は、本発明の実施形態(4) を示したものであって、本発明の態様４の逆方向再生用符号化器を示している。図１の場合と同じものを同じ番号で示し、フレームメモリ７Ｂは４面から構成されている。
【００４８】
図５に示された実施形態と、図１に示された実施形態との大きな違いは、符号化ループ内にフレームメモリを２面余分に持つことであって、この増加分のフレームメモリには、逆方向再生用の符号化のためのＩ画像を保持しておく。実施形態(4) の場合は、実施形態(1) または(2) の場合のように、Ｃｌｏｓｅｄ ＧＯＰで符号化しなければならないという制限がなくなる。また、逆順フレーム並べ替え器と、ビットストリーム並べ替え器とにおける並べ替え方法も、実施形態(1),(2) の場合とは異なっている。
【００４９】
図６は、実施形態(4) の場合の逆方向再生用ビットストリーム生成の符号化を示したものであって、(a) は入力画像の順序、(b) は逆フレーム並べ替え器からの出力順序、(c) は符号化の順序およびビットストリームの出力順序、(d) は並べ替え後のビットストリームの出力順序をそれぞれ示している。(a),(b),(c),(d) において、上段の数字は入力順のフレーム番号を示し、下段のＩ，Ｐ，ＢはそれぞれＩ画像，Ｐ画像，Ｂ画像の区別を示している。(c) において、３段目は増設された一方のフレームメモリの記憶内容、４段目は増設された他方のフレームメモリの記憶内容である。また、／はＧＯＰの区切り目、％は説明のための区切り目をそれぞれ示している。
【００５０】
図５のＡ点における、図６(a) に示す入力画像のフレーム順序を、逆フレーム並べ替え器１２によって、１区切りごとに並べ替えることによって、図５のＢ点に、図６(b) に示す出力順序が得られる。これをフレーム並べ替え器１によって、符号化の順に並べ替えて、図５のＣ点に、図６(c) に示す順序のフレームを出力し、これを符号化して、図５のＤ点にビットストリームとして出力する。この際、Ｉ画像の符号化結果を交互にフレームメモリに格納して、次の区切り目の終わりまで保持する。さらに、これをビットストリーム並べ替え器１３によって、図２(c) の場合と同様に並べ替えて、ＧＯＰごとに区切って出力する。
【００５１】
この場合の符号化は、次のようにして行われる。例えば１６Ｉをフレーム内符号化してフレームメモリ７Ｂの一面に保存し、次に１６Ｉから動き補償予測を用いて１３Ｐを符号化し、次に１６Ｐと１３Ｐとから動き補償予測を用いて１５Ｂと１４Ｂを符号化し、次に１３Ｐから動き補償予測を用いて１０Ｐを符号化し、次に１３Ｐと１０Ｐとから動き補償予測を用いて１２Ｂと１１Ｂを双方向予測符号化し、次に１３Ｐと前回符号化してフレームメモリに保存されていた７Ｉとから動き補償予測を用いて９Ｂと８Ｂを双方向予測符号化する。
【００５２】
符号化されたビットストリームを、ビットストリーム並べ替え器１３によって図６(d) に示すように並べ替えたのち、図示されないメモリに、ＧＯＰごとに折り返しながら順次積み上げて蓄積する。すなわち、図６(d) に示す、最初のＧＯＰのビットストリームに相当する７フレームから２フレームのビットストリームを一番下に積み、その上に、１６フレームから１１フレームまでのビットストリームを積み、さらにその上に、２５フレームから２０フレームまでのビットストリームを積む形で出力用データを作成する。作成ずみのデータを上から順に、最新のＧＯＰから順次遡って読むことによって、逆方向再生用のビットストリームをリアルタイムに得ることができる。
【００５３】
本発明の実施形態(5) は本発明の態様(5) に対応し、図５の構成において、ｎ（ｎは任意の整数）フレームごとに画像を入力することによって、ｎ倍速の逆再生用ビットストリームを生成することができる。
【００５４】
図７は、本発明の一応用例を示したものであって、順方向再生用ビットストリームと、逆方向再生用ビットストリームとを同時に生成するシステム構成例を示している。
【００５５】
図７において、１００は順方向再生用符号化器を示し、例えば図８に示された従来の順方向再生用符号化器と同様の構成を有している。また２００は逆方向再生用符号化器を示し、図１〜図６に示されたような、本発明の逆方向再生用符号化器と同様の構成を有している。
【００５６】
図７の構成によれば、順方向再生用ビットストリームと、逆方向再生用ビットストリームとを同時にリアルタイムに得ることができる。
【００５７】
以上の説明においては、画像処理をフレーム単位で行うものとしたが、本発明はこれに限るものでなく、フレームをフィールドに置き換えてもよい。また各実施形態は、ハードウェア構成をとるものとして説明したが、本発明方式は、ソフトウェアのみで処理する符号器にも適用可能である。
【００５８】
また上述のＧＯＰの定義は、１ＧＯＰ内に複数のＩ画像を含む場合には、Ｉ画像を１枚以上含む画像群に分割してもよく、ＭＰＥＧ等の定義とは必ずしも一致しない場合もあり得る。
【００５９】
【発明の効果】
以上説明したように本発明によれば、動画像符号化方式において、通常のリアルタイムで順方向再生用ビットストリームを生成する動画像符号化器に対して、若干の機能追加を行うことによって、リアルタイムで逆方向再生用ビットストリームを生成可能な、動画像符号化器を実現することができる。
【図面の簡単な説明】
【図１】本発明の実施形態(1) を示す図である。
【図２】実施形態(1) の場合の逆方向再生用ビットストリーム生成の符号化を示す図であって、(a) は入力画像の順序、(b) は逆フレーム並べ替え器からの出力順序、(c) は符号化の順序およびビットストリームの出力順序をそれぞれ示す。
【図３】本発明の実施形態(3) を示す図である。
【図４】実施形態(3) の場合の逆方向再生用ビットストリーム生成の符号化を示す図であって、(a) は入力画像の順序、(b) は符号化の順序およびビットストリームの出力順序をそれぞれ示す。
【図５】本発明の実施形態(4) を示す図である。
【図６】実施形態(4) の場合の逆方向再生用ビットストリーム生成の符号化を示す図であって、(a) は入力画像の順序、(b) は逆フレーム並べ替え器からの出力順序、(c) は符号化の順序およびビットストリームの出力順序、(d) は並べ替え後のビットストリームの出力順序をそれぞれ示す。
【図７】本発明の一応用例を示す図である。
【図８】順方向再生用符号化器の構成例を示す図である。
【図９】予測符号化で用いる参照画像の関係を説明する図である。
【図１０】順方向再生用ビットストリーム生成の符号化を説明する図であって、(a) は入力画像の順序、(b) は符号化の順序とビットストリームの出力順序をそれぞれ示す。
【符号の説明】
１２ 逆順フレーム並べ替え器
１３ ビットストリーム並べ替え器
２０ 画像符号化器
【発明の属する技術分野】
本発明は、動画像の符号化方式に関し、特にリアルタイムに逆方向再生用ビットストリームを生成可能な、動画像符号化方式に関するものである。
【０００２】
動画像データをハードディスク，ＭＯ（光磁気ディスク），ＣＤ−ＲＯＭ等の蓄積媒体に記録し、この媒体から、直接または通信路を介してアクセスするアプリケーションとして、例えば、ＶＯＤ（Video on Demand ）等が開発されている。
【０００３】
このような場合の動画像の符号化方式として、リアルタイムに逆方向再生用のビットストリームを生成可能な、動画像符号化方式の実現が要求されている。
【０００４】
【従来の技術】
動画像データは、その情報量が膨大なため、一般には、高能率符号化による情報量圧縮を行って、記録媒体に記録する方式がとられる。この場合の高能率符号化の方式として代表的なものに、ＭＰＥＧ−１（ISO/IEC 11172 ）や、ＭＰＥＧ−２（ISO/IEC 13818 ）がある。これらの符号化方式は、周期的にフレーム内符号化（Ｉ画像）が挿入された、動き補償を用いたフレーム間符号化（Ｐ画像またはＢ画像）である。
【０００５】
ここで、Ｉ画像（Intra coded picture ）は、フレーム内符号化画像のことであって、当該画像の情報のみを使用して符号化する画像をいう。Ｐ画像（Predictive coded picture）は、予測符号化画像のことであって、過去参照画像から動き補償予測を用いて符号化する画像をいう。Ｂ画像（Bidirectionally predictive coded picture）は、双方向予測符号化画像のことであって、過去参照画像および／または未来参照画像から動き補償予測を用いて符号化する画像をいう。
【０００６】
図８は、順方向再生用符号化器の構成例を示したものであって、ＭＰＥＧ−１や、ＭＰＥＧ−２で代表される、周期的にＩ画像が挿入されるフレーム間符号化（Ｐ画像またはＢ画像）器の構成を示している。
【０００７】
図８において、１はフレーム並べ替え器、２は離散コサイン変換器（ＤＣＴ）、３は量子化器（Ｑ）、４は可変長符号化器（ＶＬＣ）、５は逆量子化器（ＩＱ）、６は逆離散コサイン変換器（ＩＤＣＴ）、７はフレームメモリ（またはフィールドメモリ）（ＦＭ）、８は動き検出器（ＭＥ）、９は動き補償器（可変遅延）（ＭＣ）、１０は減算器、１１は加算器である。
【０００８】
画像入力は、１ＧＯＰ分のフレームごとに、１ＧＯＰ分以上のフレームメモリと、そのフレーム順序を入れ替える機能とを持つフレーム並べ替え部１において、フレームを符号化の順序に並べ替えられる。ここで、ＧＯＰ（Group of Picture）は、処理の単位となる画像群を示し、先頭にＩ画像が配置されている。一方、フレームメモリ７には、過去において符号化された画像が蓄積されている。動き検出器８は、並べ替えられた画像とフレームメモリ７の画像との差分をとって動きベクトルを検出する。
【０００９】
動き補償器９は、フレームメモリ７の出力画像に対して、動きベクトルによって動き補償を行って、動き補償された再生画像を生成する。減算器１０において、並べ替えられた画像と、動き補償された再生画像との差分を求めて、離散コサイン変換器２において離散コサイン変換を行ない、量子化器３において量子化を行う。さらに可変長符号化器４において、量子化結果を、動き検出器８で検出された動きベクトルとともに可変長符号に符号化して、ビットストリームとして出力する。
【００１０】
一方、量子化結果を逆量子化器５において逆量子化し、逆離散コサイン変換器６において逆離散コサイン変換した結果を、加算器１１において、動き補償された再生画像に対して加算することによって、局部復号画像を生成して、フレームメモリ７に蓄積する。フレームメモリ７は、Ｉ画像とＰ画像に対応して２面設けられている。
【００１１】
図９は、予測符号化で用いる参照画像の関係を説明するものであって、Ｉ画像，Ｐ画像，Ｂ画像の予測参照画面を説明している。図示のように、１ＧＯＰを９フレームから構成するものとして、Ｉ画像，Ｐ画像，Ｂ画像のフレームをＩ，Ｂ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｂ，Ｐのように順次配列して符号化するものとする。すなわちこの場合は、１ＧＯＰは、約０．３秒で符号化される。
【００１２】
この場合の符号化は、最初、Ｉ画像をフレーム内符号化し、次に（一方向）予測符号化によって、Ｐ画像を符号化する。次に、双方向予測符号化によって、Ｉ画像とＰ画像の間にあるＢ画像を順次、符号化する。さらにＰ画像から予測符号化によって次のＰ画像を符号化する。次に、双方向予測符号化によって、Ｐ画像とＰ画像の間にあるＢ画像を順次、符号化する。
【００１３】
図１０は、順方向再生用ビットストリーム生成の符号化を説明するものであって、(a) は入力画像の順序、(b) は符号化の順序とビットストリームの出力順序をそれぞれ示している。(a),(b) において、上段の数字は入力順のフレーム番号を示し、下段のＩ，Ｐ，ＢはそれぞれＩ画像，Ｐ画像，Ｂ画像の区別を示している。また、／はＧＯＰの区切り目を示している。
【００１４】
図８におけるＡ点の入力画像の順序は、図１０(a) に示すように、Ｉ画像とＰ画像の間、およびＰ画像とＰ画像の間に、Ｂ画像が２フレーム入っている。これを符号化する際には、図８のＣ点で図１０(b) の順序で符号化して、ビットストリームとして図８のＤ点に出力する。この場合の符号化は、最初にＩ画像を符号化し、次にＩ画像とＰ画像を用いて、Ｂ画像と、次のＢ画像を符号化する。
【００１５】
次に、Ｉ画像を用いてＰ画像を符号化し、Ｉ画像とＰ画像とを用いて、Ｂ画像と、次のＢ画像とを符号化する。さらに、Ｐ画像を用いて、次のＰ画像を符号化し、この二つのＰ画像を用いて、Ｂ画像と、次のＢ画像とを符号化する。
【００１６】
このようにして、通常の順方向再生用ビットストリーム生成の符号化を行うことができる。出力されるビットストリームは、１ＧＯＰごとに、Ｉ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂの順に出力される。図示されない後段の復号器では、このような順序に配列されたビットストリームを受け取ったとき、復号を行って、原画像を順方向に再生することができる。
【００１７】
【発明が解決しようとする課題】
一方、ユーザの立場から見ると、ＶＣＲ（ＶＴＲ）の場合のように、順方向の再生を行うだけでなく、逆方向の再生も行ないたいという要求がある。しかしながら、一般には、順方向再生用のビットストリームから、逆方向再生を行うためには、受信側（復号側）に、何フレーム分ものフレームメモリを持つことが必要となって、受信機（復号器）が高価なものになってしまう。そこで、送信側（符号化器）で、逆方向のビットストリームを生成することが必要となる。
【００１８】
従来、送信側で、例えば１時間分の番組の逆方向再生用のビットストリームを生成するためには、一度、ＶＣＲ等を使用して番組を順方向画像として録画し、ＶＣＲの編集作業によってフレームの順序を並べ替え、並べ替えたフレームを画像符号器に入力して、逆再生用のビットストリームを作成しなければならなかった。このため、編集作業が必ず必要となって、番組１本を録画し終わった後でなければ、逆再生用のビットストリームを作成することは、不可能であった。
【００１９】
これに対して、リアルタイムで逆方向再生用のデータを生成することが要望されており、例えばスポーツ等の生番組をハードディスクに蓄積しながら放送を行う場合に、あるシーンで、それまでの映像の逆方向再生を行ないたいような場合があるが、この場合は、リアルタイムで逆方向再生用のデータを作成する必要がある。しかしながら、上述のような、ＶＣＲで編集してから逆方向の符号化を行う方式では、到底、リアルタイムでのビットストリーム生成は不可能である。
【００２０】
本発明は、このような従来技術の課題を解決しようとするものであって、動画像の符号化方式において、通常のリアルタイムに順方向再生用ビットストリームを生成する画像符号化器に対して、若干の機能追加を行うことによって、リアルタイムに逆方向再生用ビットストリームを生成することが可能な、リアルタイム逆方向再生用動画像符号化方式を提供することを目的としている。
【００２１】
【課題を解決するための手段】
本発明においては、画像符号化器の前段に、例えば画像群を表す１ＧＯＰ（Group of Picture）分以上のフレームメモリと、そのフレーム順序を入れ替える機能を持つ。このようにして順序を入れ替えたフレームを、画像符号化器に入力する。画像符号化器では、クローズド（Ｃｌｏｓｅｄ）ＧＯＰ（入力順序で、Ｉ画像の直前に並ぶＢ画像の符号化において、そのＩ画像のみが参照画像として用いられ、そのＢ画像の直前のＩ画像またはＰ画像は、参照画像として使われない場合のＧＯＰをいう）によって符号化を行ない、出力されるビットストリームをＧＯＰ単位で出力の逆順に並べ替えることによって、リアルタイムで逆再生用のビットストリームを生成する（本発明の態様１）。
【００２２】
この場合に、ｎフレームごとに画像を入力することによって、ｎ倍速のビットストリームを生成することができる（本発明の態様２）。
【００２３】
またこの際、符号化にＢ画像を用いないようにすれば、画像符号化器の構成を簡易化することができる（本発明の態様３）。
【００２４】
態様１の方式に対して、画像符号化器の符号化ループ内にも逆方向符号化用のフレームメモリを設けて、Ｉ画像を蓄積しておくことによって、Ｃｌｏｓｅｄ
ＧＯＰの制限なしに符号化を行っても、逆再生用のビットストリームを生成することができる（本発明の態様４）。
【００２５】
態様４の方式において、ｎフレームごとに画像を入力することによって、ｎ倍速のビットストリームを生成することができる（本発明の態様５）。
【００２６】
以下、本発明の課題を解決するための、具体的手段を記述する。
【００２７】
(1) フレーム化された画像データについて、入力順に周期的にフレーム内符号化するＩ画像符号化を行ない、このＩ画像符号化の中間において、過去参照画像から予測符号化するＰ画像符号化と、過去参照画像と未来参照画像とから双方向予測符号化するＢ画像符号化とを所定の順序で行なうように入力フレームを並べ替えて符号化するとともに、Ｉ画像符号化の後で最初に行われるＢ画像符号化をこのＩ画像のみを参照画像として行ない、符号化結果を順次可変長符号化してビットストリームを出力する画像符号化器２０に対して、画像符号化器２０の前段に、Ｉ画像符号化周期のフレーム数を示すＧＯＰ分以上のフレームを蓄積して入力フレームの順序をＧＯＰごとに逆方向順序に入れ替える逆順フレーム並べ替え器１２を設けるとともに、画像符号化器２０の後段に、画像符号化器２０のビットストリーム出力をＧＯＰごとに折り返しながら順次積み上げてメモリに蓄積するビットストリーム並べ替え器１３を設け、このメモリの内容を最新のＧＯＰから順次遡って再生することによって、逆方向再生用ビットストリームをリアルタイムに出力する。
【００２８】
(2) (1) の場合に、ｎ（ｎは任意の整数）フレーム間隔で画像データを入力することによって、ｎ倍速の逆方向再生用ビットストリームを出力する。
【００２９】
(3) (1) または(2) の場合に、Ｉ画像符号化およびＰ画像符号化のみによって符号化することによって、逆方向再生用ビットストリームまたはｎ倍速の逆方向再生用ビットストリームを出力する。
【００３０】
(4) フレーム化された画像データについて、入力順に周期的にフレーム内符号化するＩ画像符号化を行ない、このＩ画像符号化の中間において、過去参照画像から予測符号化するＰ画像符号化と、過去参照画像と未来参照画像とから双方向予測符号化するＢ画像符号化とを所定の順序で行なうとともに、Ｉ画像符号化の直後にＰ画像符号化を行ったのちＢ画像符号化を行ない、Ｉ画像符号化周期の最後にメモリ７Ｂに保持された前Ｉ画像符号化周期のＩ画像を一方の参照画像としてＢ画像符号化を行なうように、入力フレームを並べ替えて符号化し、この符号化結果を順次可変長符号化してビットストリームを出力する画像符号化器２０に対して、画像符号化器２０の前段に、Ｉ画像符号化周期のフレーム数を示すＧＯＰ分以上のフレームを蓄積して入力フレームの順序をＧＯＰごとに逆方向順序に入れ替える逆順フレーム並べ替え器１２を設けるとともに、画像符号化器２０の後段に、画像符号化器２０のビットストリーム出力における各フレームの順序が所定の順序になるように並べ替えたのち、ＧＯＰごとに折り返しながら順次積み上げてメモリに蓄積するビットストリーム並べ替え器１３を設け、このメモリの内容を最新のＧＯＰから順次遡って再生することによって、逆方向再生用ビットストリームをリアルタイムに出力する。
【００３１】
(5) (4) の場合に、ｎ（ｎは任意の整数）フレーム間隔で画像データを入力することによって、ｎ倍速の逆方向再生用ビットストリームを出力する。
【００３２】
(6) (1) 〜(5) の場合に、フレーム化された画像データに代えて画像フィールドを用い、フレームごとの処理に代えてフィールドごとの処理を行う。
【００３３】
【発明の実施の形態】
図１は、本発明の実施形態(1) を示したものであって、本発明の態様１の逆方向再生用符号化器を示している。図８の場合と同じ順方向再生用符号化器を画像符号化器２０で示し、１２は逆順フレーム並べ替え器、１３はビットストリーム並べ替え器である。
【００３４】
図１に示された実施形態と、図８に示された従来例との大きな違いは、逆順フレーム並べ替え器１２と、ビットストリーム並べ替え器１３とを持つことと、符号化はＣｌｏｓｅｄ ＧＯＰで処理することである。逆順フレーム並べ替え器１２は、順方向に入力される画像データの１ＧＯＰ分（Ｉ画像と次のＩ画像までのフレーム数）以上のフレームを蓄積し、そのフレーム順序を逆方向順序に入れ替える機能を有し、画像符号化器２０の入力側に設けられる。
【００３５】
一方、ビットストリーム並べ替え器１３は、画像符号化器２０から出力されるビットストリームを、ＧＯＰごとに折り返しながら順次積み上げてメモリに蓄積する。
【００３６】
図２は、実施形態(1) の場合の逆方向再生用ビットストリーム生成の符号化を示したものであって、(a) は入力画像の順序、(b) は逆フレーム並べ替え器からの出力順序、(c) は符号化の順序およびビットストリームの出力順序をそれぞれ示している。(a),(b),(c) において、上段の数字は入力順のフレーム番号を示し、下段のＩ，Ｐ，ＢはそれぞれＩ画像，Ｐ画像，Ｂ画像の区別を示している。また、／はＧＯＰの区切り目を示している。
【００３７】
図１のＡ点における、図２(a) に示す入力画像のフレーム順序を、逆フレーム並べ替え器１２によって、１ＧＯＰごとに逆順に並べ替えることによって、図１のＢ点に、図２(b) に示す出力順序が得られる。これをフレーム並べ替え器１によって、従来と同じ符号化の順に並べ替えて、図１のＣ点に、図２(c) に示す順序のフレームを出力する。さらにこれを符号化して、図１のＤ点にビットストリームとして出力する。
【００３８】
この場合の符号化は、次のようにして行われる。例えば１６Ｉをフレーム内符号化し、次に１６Ｉから動き補償予測を用いて１８Ｂと１７Ｂを符号化し（Ｃｌｏｓｅｄ ＧＯＰの制限による）、次に１６Ｉから動き補償予測を用いて１３Ｐを符号化し、次に１６Ｉと１３Ｐとから動き補償予測を用いて１５Ｂと１４Ｂを双方向予測符号化し、次に１３Ｐから動き補償予測を用いて１０Ｐを符号化し、次に１３Ｐと１０Ｐとから動き補償予測を用いて１２Ｂと１１Ｂを双方向予測符号化する。
【００３９】
符号化されたビットストリームを、ビットストリーム並べ替え器１３によって図示されないメモリに、ＧＯＰごとに折り返しながら順次積み上げて蓄積する。すなわち、図２(c) に示す、最初のＧＯＰのビットストリームに相当する７フレームから２フレームのビットストリームを一番下に積み、その上に、１６フレームから１１フレームまでのビットストリームを積み、さらにその上に、２５フレームから２０フレームまでのビットストリームを積む形で出力用データを作成する。作成ずみのデータを上から順に、最新のＧＯＰから順次遡って読むことによって、逆方向再生用のビットストリームをリアルタイムに得ることができる。
【００４０】
本発明の実施形態(2) は本発明の態様(2) に対応し、図１の構成において、ｎ（ｎは任意の整数）フレームごとに画像を入力することによって、ｎ倍速の逆方向再生用ビットストリームを生成することができる。
【００４１】
図３は、本発明の実施形態(3) を示したものであって、本発明の態様３の逆方向再生用符号化器を示している。図１の場合と同じものを同じ番号で示し、フレーム並べ替え器１を欠いている。フレームメモリ７Ａは１面から構成されている。
【００４２】
図１に示された逆方向再生用符号化器においては、Ｂ画像を使用して符号化を行っており、そのためフレーム並べ替え器１を必要とするが、Ｂ画像を使用しなければ、フレームの並べ替えは必要ないので、フレーム並べ替え器１が不要になり、逆順フレーム並べ替え器１２において、ＧＯＰ単位の逆順並べ替えのみを行えばよい。また両方向から予測を行わないので、フレームメモリ７Ａとして１面のみ持てばよい。
【００４３】
図４は、実施形態(3) の場合の逆方向再生用ビットストリーム生成の符号化を示したものであって、(a) は入力画像の順序、(b) は符号化の順序およびビットストリームの出力順序をそれぞれ示している。(a),(b) において、上段の数字は入力順のフレーム番号を示し、下段のＩ，ＰはそれぞれＩ画像，Ｐ画像の区別を示している。また、／はＧＯＰの区切り目を示している。
【００４４】
この場合の入力順序は、図３のＡ点における、図４(a) に示す入力画像のフレーム順序を、逆フレーム並べ替え器１２によって、１ＧＯＰごとに逆順に並べ替えることによって、図３のＣ点に、図４(b) に示す出力順序が得られる。これを符号化して、図３のＤ点にビットストリームとして出力する。
【００４５】
この場合の符号化は、例えば最初の１８Ｉをフレーム内符号化したのち、１７Ｐ〜１０Ｐを順次、前フレームを過去参照画像として動き補償予測を行うことによって、符号化が行われる。
【００４６】
符号化されたビットストリームを、ビットストリーム並べ替え器１３によって、図示されないメモリに、ＧＯＰごとに折り返しながら順次積み上げて蓄積する。すなわち、図４(b) に示す、最初のＧＯＰのビットストリームに相当する９フレームから１フレームのビットストリームを一番下に積み、その上に、１８フレームから１０フレームまでのビットストリームを積み、さらにその上に、２７フレームから１９フレームまでのビットストリームを積む形で出力用データを作成する。作成ずみのデータを上から順に、最新のＧＯＰから順次遡って読むことによって、逆方向再生用のビットストリームをリアルタイムに得ることができる。
【００４７】
図５は、本発明の実施形態(4) を示したものであって、本発明の態様４の逆方向再生用符号化器を示している。図１の場合と同じものを同じ番号で示し、フレームメモリ７Ｂは４面から構成されている。
【００４８】
図５に示された実施形態と、図１に示された実施形態との大きな違いは、符号化ループ内にフレームメモリを２面余分に持つことであって、この増加分のフレームメモリには、逆方向再生用の符号化のためのＩ画像を保持しておく。実施形態(4) の場合は、実施形態(1) または(2) の場合のように、Ｃｌｏｓｅｄ ＧＯＰで符号化しなければならないという制限がなくなる。また、逆順フレーム並べ替え器と、ビットストリーム並べ替え器とにおける並べ替え方法も、実施形態(1),(2) の場合とは異なっている。
【００４９】
図６は、実施形態(4) の場合の逆方向再生用ビットストリーム生成の符号化を示したものであって、(a) は入力画像の順序、(b) は逆フレーム並べ替え器からの出力順序、(c) は符号化の順序およびビットストリームの出力順序、(d) は並べ替え後のビットストリームの出力順序をそれぞれ示している。(a),(b),(c),(d) において、上段の数字は入力順のフレーム番号を示し、下段のＩ，Ｐ，ＢはそれぞれＩ画像，Ｐ画像，Ｂ画像の区別を示している。(c) において、３段目は増設された一方のフレームメモリの記憶内容、４段目は増設された他方のフレームメモリの記憶内容である。また、／はＧＯＰの区切り目、％は説明のための区切り目をそれぞれ示している。
【００５０】
図５のＡ点における、図６(a) に示す入力画像のフレーム順序を、逆フレーム並べ替え器１２によって、１区切りごとに並べ替えることによって、図５のＢ点に、図６(b) に示す出力順序が得られる。これをフレーム並べ替え器１によって、符号化の順に並べ替えて、図５のＣ点に、図６(c) に示す順序のフレームを出力し、これを符号化して、図５のＤ点にビットストリームとして出力する。この際、Ｉ画像の符号化結果を交互にフレームメモリに格納して、次の区切り目の終わりまで保持する。さらに、これをビットストリーム並べ替え器１３によって、図２(c) の場合と同様に並べ替えて、ＧＯＰごとに区切って出力する。
【００５１】
この場合の符号化は、次のようにして行われる。例えば１６Ｉをフレーム内符号化してフレームメモリ７Ｂの一面に保存し、次に１６Ｉから動き補償予測を用いて１３Ｐを符号化し、次に１６Ｐと１３Ｐとから動き補償予測を用いて１５Ｂと１４Ｂを符号化し、次に１３Ｐから動き補償予測を用いて１０Ｐを符号化し、次に１３Ｐと１０Ｐとから動き補償予測を用いて１２Ｂと１１Ｂを双方向予測符号化し、次に１３Ｐと前回符号化してフレームメモリに保存されていた７Ｉとから動き補償予測を用いて９Ｂと８Ｂを双方向予測符号化する。
【００５２】
符号化されたビットストリームを、ビットストリーム並べ替え器１３によって図６(d) に示すように並べ替えたのち、図示されないメモリに、ＧＯＰごとに折り返しながら順次積み上げて蓄積する。すなわち、図６(d) に示す、最初のＧＯＰのビットストリームに相当する７フレームから２フレームのビットストリームを一番下に積み、その上に、１６フレームから１１フレームまでのビットストリームを積み、さらにその上に、２５フレームから２０フレームまでのビットストリームを積む形で出力用データを作成する。作成ずみのデータを上から順に、最新のＧＯＰから順次遡って読むことによって、逆方向再生用のビットストリームをリアルタイムに得ることができる。
【００５３】
本発明の実施形態(5) は本発明の態様(5) に対応し、図５の構成において、ｎ（ｎは任意の整数）フレームごとに画像を入力することによって、ｎ倍速の逆再生用ビットストリームを生成することができる。
【００５４】
図７は、本発明の一応用例を示したものであって、順方向再生用ビットストリームと、逆方向再生用ビットストリームとを同時に生成するシステム構成例を示している。
【００５５】
図７において、１００は順方向再生用符号化器を示し、例えば図８に示された従来の順方向再生用符号化器と同様の構成を有している。また２００は逆方向再生用符号化器を示し、図１〜図６に示されたような、本発明の逆方向再生用符号化器と同様の構成を有している。
【００５６】
図７の構成によれば、順方向再生用ビットストリームと、逆方向再生用ビットストリームとを同時にリアルタイムに得ることができる。
【００５７】
以上の説明においては、画像処理をフレーム単位で行うものとしたが、本発明はこれに限るものでなく、フレームをフィールドに置き換えてもよい。また各実施形態は、ハードウェア構成をとるものとして説明したが、本発明方式は、ソフトウェアのみで処理する符号器にも適用可能である。
【００５８】
また上述のＧＯＰの定義は、１ＧＯＰ内に複数のＩ画像を含む場合には、Ｉ画像を１枚以上含む画像群に分割してもよく、ＭＰＥＧ等の定義とは必ずしも一致しない場合もあり得る。
【００５９】
【発明の効果】
以上説明したように本発明によれば、動画像符号化方式において、通常のリアルタイムで順方向再生用ビットストリームを生成する動画像符号化器に対して、若干の機能追加を行うことによって、リアルタイムで逆方向再生用ビットストリームを生成可能な、動画像符号化器を実現することができる。
【図面の簡単な説明】
【図１】本発明の実施形態(1) を示す図である。
【図２】実施形態(1) の場合の逆方向再生用ビットストリーム生成の符号化を示す図であって、(a) は入力画像の順序、(b) は逆フレーム並べ替え器からの出力順序、(c) は符号化の順序およびビットストリームの出力順序をそれぞれ示す。
【図３】本発明の実施形態(3) を示す図である。
【図４】実施形態(3) の場合の逆方向再生用ビットストリーム生成の符号化を示す図であって、(a) は入力画像の順序、(b) は符号化の順序およびビットストリームの出力順序をそれぞれ示す。
【図５】本発明の実施形態(4) を示す図である。
【図６】実施形態(4) の場合の逆方向再生用ビットストリーム生成の符号化を示す図であって、(a) は入力画像の順序、(b) は逆フレーム並べ替え器からの出力順序、(c) は符号化の順序およびビットストリームの出力順序、(d) は並べ替え後のビットストリームの出力順序をそれぞれ示す。
【図７】本発明の一応用例を示す図である。
【図８】順方向再生用符号化器の構成例を示す図である。
【図９】予測符号化で用いる参照画像の関係を説明する図である。
【図１０】順方向再生用ビットストリーム生成の符号化を説明する図であって、(a) は入力画像の順序、(b) は符号化の順序とビットストリームの出力順序をそれぞれ示す。
【符号の説明】
１２ 逆順フレーム並べ替え器
１３ ビットストリーム並べ替え器
２０ 画像符号化器
Claims (6)
- フレーム化された画像データについて、入力順に周期的にフレーム内符号化するＩ画像符号化を行ない、該Ｉ画像符号化の中間において、過去参照画像から予測符号化するＰ画像符号化と、過去参照画像と未来参照画像とから双方向予測符号化するＢ画像符号化とを所定の順序で行なうように入力フレームを並べ替えて符号化するとともに、Ｉ画像符号化の後で最初に行われるＢ画像符号化を該Ｉ画像のみを参照画像として行ない、符号化結果を順次可変長符号化してビットストリームを出力する画像符号化器に対して、
該画像符号化器の前段に、前記Ｉ画像符号化周期のフレーム数を示すＧＯＰ分以上のフレームを蓄積して入力フレームの順序をＧＯＰごとに逆方向順序に入れ替える逆順フレーム並べ替え器を設けるとともに、
該画像符号化器の後段に、該画像符号化器のビットストリーム出力をＧＯＰごとに折り返しながら順次積み上げてメモリに蓄積するビットストリーム並べ替え器を設け、
該メモリの内容を最新のＧＯＰから順次遡って再生することによって、逆方向再生用ビットストリームをリアルタイムに出力することを特徴とするリアルタイム逆方向再生用動画像符号化方式。 - 請求項１に記載のリアルタイム逆方向再生用動画像符号化方式において、ｎ（ｎは任意の整数）フレーム間隔で画像データを入力することによって、ｎ倍速の逆方向再生用ビットストリームを出力することを特徴とするリアルタイム逆方向再生用動画像符号化方式。
- 請求項１または２に記載のリアルタイム逆方向再生用動画像符号化方式において、Ｉ画像符号化およびＰ画像符号化のみによって符号化することによって、逆方向再生用ビットストリームまたはｎ倍速の逆方向再生用ビットストリームを出力することを特徴とするリアルタイム逆方向再生用動画像符号化方式。
- フレーム化された画像データについて、入力順に周期的にフレーム内符号化するＩ画像符号化を行ない、該Ｉ画像符号化の中間において、過去参照画像から予測符号化するＰ画像符号化と、過去参照画像と未来参照画像とから双方向予測符号化するＢ画像符号化とを所定の順序で行なうとともに、前記Ｉ画像符号化の直後にＰ画像符号化を行ったのちＢ画像符号化を行ない、Ｉ画像符号化周期の最後にメモリに保持された前Ｉ画像符号化周期のＩ画像を一方の参照画像としてＢ画像符号化を行なうように、入力フレームを並べ替えて符号化し、該符号化結果を順次可変長符号化してビットストリームを出力する画像符号化器に対して、
該画像符号化器の前段に、前記Ｉ画像符号化周期のフレーム数を示すＧＯＰ分以上のフレームを蓄積して入力フレームの順序をＧＯＰごとに逆方向順序に入れ替える逆順フレーム並べ替え器を設けるとともに、
該画像符号化器の後段に、該画像符号化器のビットストリーム出力における各フレームの順序が前記所定の順序になるように並べ替えたのち、ＧＯＰごとに折り返しながら順次積み上げてメモリに蓄積するビットストリーム並べ替え器を設け、
該メモリの内容を最新のＧＯＰから順次遡って再生することによって、逆方向再生用ビットストリームをリアルタイムに出力することを特徴とするリアルタイム逆方向再生用動画像符号化方式。 - 請求項４に記載のリアルタイム逆方向再生用動画像符号化方式において、ｎ（ｎは任意の整数）フレーム間隔で画像データを入力することによって、ｎ倍速の逆方向再生用ビットストリームを出力することを特徴とするリアルタイム逆方向再生用動画像符号化方式。
- 請求項１から５までのうちのいずれかに記載のリアルタイム逆方向再生用動画像符号化方式において、フレーム化された画像データに代えて画像フィールドを用い、フレームごとの処理に代えてフィールドごとの処理を行うことを特徴とするリアルタイム逆方向再生用動画像符号化方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18577596A JP3663559B2 (ja) | 1996-07-16 | 1996-07-16 | リアルタイム逆方向再生用動画像符号化方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18577596A JP3663559B2 (ja) | 1996-07-16 | 1996-07-16 | リアルタイム逆方向再生用動画像符号化方式 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1032787A JPH1032787A (ja) | 1998-02-03 |
| JP3663559B2 true JP3663559B2 (ja) | 2005-06-22 |
Family
ID=16176681
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP18577596A Expired - Fee Related JP3663559B2 (ja) | 1996-07-16 | 1996-07-16 | リアルタイム逆方向再生用動画像符号化方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3663559B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100543453B1 (ko) | 2003-04-24 | 2006-01-23 | 삼성전자주식회사 | 디지털 비디오 스트림의 역재생시 비트율을 제어하기 위한 장치 및 그 방법 |
| JP4190458B2 (ja) * | 2004-05-17 | 2008-12-03 | 三洋電機株式会社 | 画像処理装置 |
| WO2006016418A1 (ja) | 2004-08-11 | 2006-02-16 | Hitachi, Ltd. | 符号化ストリーム記録媒体、画像符号化装置、及び画像復号化装置 |
-
1996
- 1996-07-16 JP JP18577596A patent/JP3663559B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1032787A (ja) | 1998-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3089160B2 (ja) | ディジタル記録再生装置 | |
| JP2002359848A (ja) | 画像処理装置 | |
| JP4337248B2 (ja) | 画像情報の伝送装置、伝送システムおよび伝送方法 | |
| JP3403168B2 (ja) | 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機 | |
| KR0185932B1 (ko) | 고속재생을 위한 비디오데이타 복호방법 및 그 장치 | |
| JP2776212B2 (ja) | 符号記録装置 | |
| JPH08154230A (ja) | 動画符号化データの媒体蓄積方法 | |
| KR100860661B1 (ko) | 화상 재생 방법과 화상 처리 방법, 및 이들 방법을 이용가능한 화상 재생 장치, 화상 처리 장치, 텔레비전 수상기 | |
| JP3663559B2 (ja) | リアルタイム逆方向再生用動画像符号化方式 | |
| JP3152268B2 (ja) | 画像情報記録方法及び画像情報再生方法 | |
| JP3515565B2 (ja) | 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機 | |
| JP3501521B2 (ja) | ディジタル映像信号再生装置および再生方法 | |
| JPH11289515A (ja) | 画像信号処理装置及び方法、画像信号記録装置及び方法並びに記録媒体 | |
| JP2005518728A (ja) | 画像処理方法及び装置 | |
| JP3403169B2 (ja) | 画像再生方法とこの方法を利用可能な画像再生装置およびテレビジョン受像機 | |
| JP4178521B2 (ja) | 符号化映像信号の記録方法、及び映像信号符号化装置 | |
| JP3374128B2 (ja) | 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機 | |
| JP3403167B2 (ja) | 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機 | |
| JP3403166B2 (ja) | 画像再生方法とこの方法を利用可能な画像再生装置およびテレビジョン受像機 | |
| JP3548167B2 (ja) | 画像処理装置 | |
| KR100312420B1 (ko) | 역방향재생을용이하게하기위한동영상부호화방법 | |
| JPH09298711A (ja) | 画像情報記録再生装置の編集用圧縮画像データの発生装置 | |
| JP2005159832A (ja) | 信号処理装置 | |
| JP3381723B2 (ja) | データ生成装置 | |
| JP3381725B2 (ja) | データ記録装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050304 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050315 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050317 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |