JP3663559B2 - Video coding method for real-time backward playback - Google Patents
Video coding method for real-time backward playback Download PDFInfo
- Publication number
- JP3663559B2 JP3663559B2 JP18577596A JP18577596A JP3663559B2 JP 3663559 B2 JP3663559 B2 JP 3663559B2 JP 18577596 A JP18577596 A JP 18577596A JP 18577596 A JP18577596 A JP 18577596A JP 3663559 B2 JP3663559 B2 JP 3663559B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- encoding
- coding
- real
- reverse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、動画像の符号化方式に関し、特にリアルタイムに逆方向再生用ビットストリームを生成可能な、動画像符号化方式に関するものである。
【0002】
動画像データをハードディスク,MO(光磁気ディスク),CD−ROM等の蓄積媒体に記録し、この媒体から、直接または通信路を介してアクセスするアプリケーションとして、例えば、VOD(Video on Demand )等が開発されている。
【0003】
このような場合の動画像の符号化方式として、リアルタイムに逆方向再生用のビットストリームを生成可能な、動画像符号化方式の実現が要求されている。
【0004】
【従来の技術】
動画像データは、その情報量が膨大なため、一般には、高能率符号化による情報量圧縮を行って、記録媒体に記録する方式がとられる。この場合の高能率符号化の方式として代表的なものに、MPEG−1(ISO/IEC 11172 )や、MPEG−2(ISO/IEC 13818 )がある。これらの符号化方式は、周期的にフレーム内符号化(I画像)が挿入された、動き補償を用いたフレーム間符号化(P画像またはB画像)である。
【0005】
ここで、I画像(Intra coded picture )は、フレーム内符号化画像のことであって、当該画像の情報のみを使用して符号化する画像をいう。P画像(Predictive coded picture)は、予測符号化画像のことであって、過去参照画像から動き補償予測を用いて符号化する画像をいう。B画像(Bidirectionally predictive coded picture)は、双方向予測符号化画像のことであって、過去参照画像および/または未来参照画像から動き補償予測を用いて符号化する画像をいう。
【0006】
図8は、順方向再生用符号化器の構成例を示したものであって、MPEG−1や、MPEG−2で代表される、周期的にI画像が挿入されるフレーム間符号化(P画像またはB画像)器の構成を示している。
【0007】
図8において、1はフレーム並べ替え器、2は離散コサイン変換器(DCT)、3は量子化器(Q)、4は可変長符号化器(VLC)、5は逆量子化器(IQ)、6は逆離散コサイン変換器(IDCT)、7はフレームメモリ(またはフィールドメモリ)(FM)、8は動き検出器(ME)、9は動き補償器(可変遅延)(MC)、10は減算器、11は加算器である。
【0008】
画像入力は、1GOP分のフレームごとに、1GOP分以上のフレームメモリと、そのフレーム順序を入れ替える機能とを持つフレーム並べ替え部1において、フレームを符号化の順序に並べ替えられる。ここで、GOP(Group of Picture)は、処理の単位となる画像群を示し、先頭にI画像が配置されている。一方、フレームメモリ7には、過去において符号化された画像が蓄積されている。動き検出器8は、並べ替えられた画像とフレームメモリ7の画像との差分をとって動きベクトルを検出する。
【0009】
動き補償器9は、フレームメモリ7の出力画像に対して、動きベクトルによって動き補償を行って、動き補償された再生画像を生成する。減算器10において、並べ替えられた画像と、動き補償された再生画像との差分を求めて、離散コサイン変換器2において離散コサイン変換を行ない、量子化器3において量子化を行う。さらに可変長符号化器4において、量子化結果を、動き検出器8で検出された動きベクトルとともに可変長符号に符号化して、ビットストリームとして出力する。
【0010】
一方、量子化結果を逆量子化器5において逆量子化し、逆離散コサイン変換器6において逆離散コサイン変換した結果を、加算器11において、動き補償された再生画像に対して加算することによって、局部復号画像を生成して、フレームメモリ7に蓄積する。フレームメモリ7は、I画像とP画像に対応して2面設けられている。
【0011】
図9は、予測符号化で用いる参照画像の関係を説明するものであって、I画像,P画像,B画像の予測参照画面を説明している。図示のように、1GOPを9フレームから構成するものとして、I画像,P画像,B画像のフレームをI,B,B,B,P,B,B,B,Pのように順次配列して符号化するものとする。すなわちこの場合は、1GOPは、約0.3秒で符号化される。
【0012】
この場合の符号化は、最初、I画像をフレーム内符号化し、次に(一方向)予測符号化によって、P画像を符号化する。次に、双方向予測符号化によって、I画像とP画像の間にあるB画像を順次、符号化する。さらにP画像から予測符号化によって次のP画像を符号化する。次に、双方向予測符号化によって、P画像とP画像の間にあるB画像を順次、符号化する。
【0013】
図10は、順方向再生用ビットストリーム生成の符号化を説明するものであって、(a) は入力画像の順序、(b) は符号化の順序とビットストリームの出力順序をそれぞれ示している。(a),(b) において、上段の数字は入力順のフレーム番号を示し、下段のI,P,BはそれぞれI画像,P画像,B画像の区別を示している。また、/はGOPの区切り目を示している。
【0014】
図8におけるA点の入力画像の順序は、図10(a) に示すように、I画像とP画像の間、およびP画像とP画像の間に、B画像が2フレーム入っている。これを符号化する際には、図8のC点で図10(b) の順序で符号化して、ビットストリームとして図8のD点に出力する。この場合の符号化は、最初にI画像を符号化し、次にI画像とP画像を用いて、B画像と、次のB画像を符号化する。
【0015】
次に、I画像を用いてP画像を符号化し、I画像とP画像とを用いて、B画像と、次のB画像とを符号化する。さらに、P画像を用いて、次のP画像を符号化し、この二つのP画像を用いて、B画像と、次のB画像とを符号化する。
【0016】
このようにして、通常の順方向再生用ビットストリーム生成の符号化を行うことができる。出力されるビットストリームは、1GOPごとに、I,B,B,P,B,B,P,B,Bの順に出力される。図示されない後段の復号器では、このような順序に配列されたビットストリームを受け取ったとき、復号を行って、原画像を順方向に再生することができる。
【0017】
【発明が解決しようとする課題】
一方、ユーザの立場から見ると、VCR(VTR)の場合のように、順方向の再生を行うだけでなく、逆方向の再生も行ないたいという要求がある。しかしながら、一般には、順方向再生用のビットストリームから、逆方向再生を行うためには、受信側(復号側)に、何フレーム分ものフレームメモリを持つことが必要となって、受信機(復号器)が高価なものになってしまう。そこで、送信側(符号化器)で、逆方向のビットストリームを生成することが必要となる。
【0018】
従来、送信側で、例えば1時間分の番組の逆方向再生用のビットストリームを生成するためには、一度、VCR等を使用して番組を順方向画像として録画し、VCRの編集作業によってフレームの順序を並べ替え、並べ替えたフレームを画像符号器に入力して、逆再生用のビットストリームを作成しなければならなかった。このため、編集作業が必ず必要となって、番組1本を録画し終わった後でなければ、逆再生用のビットストリームを作成することは、不可能であった。
【0019】
これに対して、リアルタイムで逆方向再生用のデータを生成することが要望されており、例えばスポーツ等の生番組をハードディスクに蓄積しながら放送を行う場合に、あるシーンで、それまでの映像の逆方向再生を行ないたいような場合があるが、この場合は、リアルタイムで逆方向再生用のデータを作成する必要がある。しかしながら、上述のような、VCRで編集してから逆方向の符号化を行う方式では、到底、リアルタイムでのビットストリーム生成は不可能である。
【0020】
本発明は、このような従来技術の課題を解決しようとするものであって、動画像の符号化方式において、通常のリアルタイムに順方向再生用ビットストリームを生成する画像符号化器に対して、若干の機能追加を行うことによって、リアルタイムに逆方向再生用ビットストリームを生成することが可能な、リアルタイム逆方向再生用動画像符号化方式を提供することを目的としている。
【0021】
【課題を解決するための手段】
本発明においては、画像符号化器の前段に、例えば画像群を表す1GOP(Group of Picture)分以上のフレームメモリと、そのフレーム順序を入れ替える機能を持つ。このようにして順序を入れ替えたフレームを、画像符号化器に入力する。画像符号化器では、クローズド(Closed)GOP(入力順序で、I画像の直前に並ぶB画像の符号化において、そのI画像のみが参照画像として用いられ、そのB画像の直前のI画像またはP画像は、参照画像として使われない場合のGOPをいう)によって符号化を行ない、出力されるビットストリームをGOP単位で出力の逆順に並べ替えることによって、リアルタイムで逆再生用のビットストリームを生成する(本発明の態様1)。
【0022】
この場合に、nフレームごとに画像を入力することによって、n倍速のビットストリームを生成することができる(本発明の態様2)。
【0023】
またこの際、符号化にB画像を用いないようにすれば、画像符号化器の構成を簡易化することができる(本発明の態様3)。
【0024】
態様1の方式に対して、画像符号化器の符号化ループ内にも逆方向符号化用のフレームメモリを設けて、I画像を蓄積しておくことによって、Closed
GOPの制限なしに符号化を行っても、逆再生用のビットストリームを生成することができる(本発明の態様4)。
【0025】
態様4の方式において、nフレームごとに画像を入力することによって、n倍速のビットストリームを生成することができる(本発明の態様5)。
【0026】
以下、本発明の課題を解決するための、具体的手段を記述する。
【0027】
(1) フレーム化された画像データについて、入力順に周期的にフレーム内符号化するI画像符号化を行ない、このI画像符号化の中間において、過去参照画像から予測符号化するP画像符号化と、過去参照画像と未来参照画像とから双方向予測符号化するB画像符号化とを所定の順序で行なうように入力フレームを並べ替えて符号化するとともに、I画像符号化の後で最初に行われるB画像符号化をこのI画像のみを参照画像として行ない、符号化結果を順次可変長符号化してビットストリームを出力する画像符号化器20に対して、画像符号化器20の前段に、I画像符号化周期のフレーム数を示すGOP分以上のフレームを蓄積して入力フレームの順序をGOPごとに逆方向順序に入れ替える逆順フレーム並べ替え器12を設けるとともに、画像符号化器20の後段に、画像符号化器20のビットストリーム出力をGOPごとに折り返しながら順次積み上げてメモリに蓄積するビットストリーム並べ替え器13を設け、このメモリの内容を最新のGOPから順次遡って再生することによって、逆方向再生用ビットストリームをリアルタイムに出力する。
【0028】
(2) (1) の場合に、n(nは任意の整数)フレーム間隔で画像データを入力することによって、n倍速の逆方向再生用ビットストリームを出力する。
【0029】
(3) (1) または(2) の場合に、I画像符号化およびP画像符号化のみによって符号化することによって、逆方向再生用ビットストリームまたはn倍速の逆方向再生用ビットストリームを出力する。
【0030】
(4) フレーム化された画像データについて、入力順に周期的にフレーム内符号化するI画像符号化を行ない、このI画像符号化の中間において、過去参照画像から予測符号化するP画像符号化と、過去参照画像と未来参照画像とから双方向予測符号化するB画像符号化とを所定の順序で行なうとともに、I画像符号化の直後にP画像符号化を行ったのちB画像符号化を行ない、I画像符号化周期の最後にメモリ7Bに保持された前I画像符号化周期のI画像を一方の参照画像としてB画像符号化を行なうように、入力フレームを並べ替えて符号化し、この符号化結果を順次可変長符号化してビットストリームを出力する画像符号化器20に対して、画像符号化器20の前段に、I画像符号化周期のフレーム数を示すGOP分以上のフレームを蓄積して入力フレームの順序をGOPごとに逆方向順序に入れ替える逆順フレーム並べ替え器12を設けるとともに、画像符号化器20の後段に、画像符号化器20のビットストリーム出力における各フレームの順序が所定の順序になるように並べ替えたのち、GOPごとに折り返しながら順次積み上げてメモリに蓄積するビットストリーム並べ替え器13を設け、このメモリの内容を最新のGOPから順次遡って再生することによって、逆方向再生用ビットストリームをリアルタイムに出力する。
【0031】
(5) (4) の場合に、n(nは任意の整数)フレーム間隔で画像データを入力することによって、n倍速の逆方向再生用ビットストリームを出力する。
【0032】
(6) (1) 〜(5) の場合に、フレーム化された画像データに代えて画像フィールドを用い、フレームごとの処理に代えてフィールドごとの処理を行う。
【0033】
【発明の実施の形態】
図1は、本発明の実施形態(1) を示したものであって、本発明の態様1の逆方向再生用符号化器を示している。図8の場合と同じ順方向再生用符号化器を画像符号化器20で示し、12は逆順フレーム並べ替え器、13はビットストリーム並べ替え器である。
【0034】
図1に示された実施形態と、図8に示された従来例との大きな違いは、逆順フレーム並べ替え器12と、ビットストリーム並べ替え器13とを持つことと、符号化はClosed GOPで処理することである。逆順フレーム並べ替え器12は、順方向に入力される画像データの1GOP分(I画像と次のI画像までのフレーム数)以上のフレームを蓄積し、そのフレーム順序を逆方向順序に入れ替える機能を有し、画像符号化器20の入力側に設けられる。
【0035】
一方、ビットストリーム並べ替え器13は、画像符号化器20から出力されるビットストリームを、GOPごとに折り返しながら順次積み上げてメモリに蓄積する。
【0036】
図2は、実施形態(1) の場合の逆方向再生用ビットストリーム生成の符号化を示したものであって、(a) は入力画像の順序、(b) は逆フレーム並べ替え器からの出力順序、(c) は符号化の順序およびビットストリームの出力順序をそれぞれ示している。(a),(b),(c) において、上段の数字は入力順のフレーム番号を示し、下段のI,P,BはそれぞれI画像,P画像,B画像の区別を示している。また、/はGOPの区切り目を示している。
【0037】
図1のA点における、図2(a) に示す入力画像のフレーム順序を、逆フレーム並べ替え器12によって、1GOPごとに逆順に並べ替えることによって、図1のB点に、図2(b) に示す出力順序が得られる。これをフレーム並べ替え器1によって、従来と同じ符号化の順に並べ替えて、図1のC点に、図2(c) に示す順序のフレームを出力する。さらにこれを符号化して、図1のD点にビットストリームとして出力する。
【0038】
この場合の符号化は、次のようにして行われる。例えば16Iをフレーム内符号化し、次に16Iから動き補償予測を用いて18Bと17Bを符号化し(Closed GOPの制限による)、次に16Iから動き補償予測を用いて13Pを符号化し、次に16Iと13Pとから動き補償予測を用いて15Bと14Bを双方向予測符号化し、次に13Pから動き補償予測を用いて10Pを符号化し、次に13Pと10Pとから動き補償予測を用いて12Bと11Bを双方向予測符号化する。
【0039】
符号化されたビットストリームを、ビットストリーム並べ替え器13によって図示されないメモリに、GOPごとに折り返しながら順次積み上げて蓄積する。すなわち、図2(c) に示す、最初のGOPのビットストリームに相当する7フレームから2フレームのビットストリームを一番下に積み、その上に、16フレームから11フレームまでのビットストリームを積み、さらにその上に、25フレームから20フレームまでのビットストリームを積む形で出力用データを作成する。作成ずみのデータを上から順に、最新のGOPから順次遡って読むことによって、逆方向再生用のビットストリームをリアルタイムに得ることができる。
【0040】
本発明の実施形態(2) は本発明の態様(2) に対応し、図1の構成において、n(nは任意の整数)フレームごとに画像を入力することによって、n倍速の逆方向再生用ビットストリームを生成することができる。
【0041】
図3は、本発明の実施形態(3) を示したものであって、本発明の態様3の逆方向再生用符号化器を示している。図1の場合と同じものを同じ番号で示し、フレーム並べ替え器1を欠いている。フレームメモリ7Aは1面から構成されている。
【0042】
図1に示された逆方向再生用符号化器においては、B画像を使用して符号化を行っており、そのためフレーム並べ替え器1を必要とするが、B画像を使用しなければ、フレームの並べ替えは必要ないので、フレーム並べ替え器1が不要になり、逆順フレーム並べ替え器12において、GOP単位の逆順並べ替えのみを行えばよい。また両方向から予測を行わないので、フレームメモリ7Aとして1面のみ持てばよい。
【0043】
図4は、実施形態(3) の場合の逆方向再生用ビットストリーム生成の符号化を示したものであって、(a) は入力画像の順序、(b) は符号化の順序およびビットストリームの出力順序をそれぞれ示している。(a),(b) において、上段の数字は入力順のフレーム番号を示し、下段のI,PはそれぞれI画像,P画像の区別を示している。また、/はGOPの区切り目を示している。
【0044】
この場合の入力順序は、図3のA点における、図4(a) に示す入力画像のフレーム順序を、逆フレーム並べ替え器12によって、1GOPごとに逆順に並べ替えることによって、図3のC点に、図4(b) に示す出力順序が得られる。これを符号化して、図3のD点にビットストリームとして出力する。
【0045】
この場合の符号化は、例えば最初の18Iをフレーム内符号化したのち、17P〜10Pを順次、前フレームを過去参照画像として動き補償予測を行うことによって、符号化が行われる。
【0046】
符号化されたビットストリームを、ビットストリーム並べ替え器13によって、図示されないメモリに、GOPごとに折り返しながら順次積み上げて蓄積する。すなわち、図4(b) に示す、最初のGOPのビットストリームに相当する9フレームから1フレームのビットストリームを一番下に積み、その上に、18フレームから10フレームまでのビットストリームを積み、さらにその上に、27フレームから19フレームまでのビットストリームを積む形で出力用データを作成する。作成ずみのデータを上から順に、最新のGOPから順次遡って読むことによって、逆方向再生用のビットストリームをリアルタイムに得ることができる。
【0047】
図5は、本発明の実施形態(4) を示したものであって、本発明の態様4の逆方向再生用符号化器を示している。図1の場合と同じものを同じ番号で示し、フレームメモリ7Bは4面から構成されている。
【0048】
図5に示された実施形態と、図1に示された実施形態との大きな違いは、符号化ループ内にフレームメモリを2面余分に持つことであって、この増加分のフレームメモリには、逆方向再生用の符号化のためのI画像を保持しておく。実施形態(4) の場合は、実施形態(1) または(2) の場合のように、Closed GOPで符号化しなければならないという制限がなくなる。また、逆順フレーム並べ替え器と、ビットストリーム並べ替え器とにおける並べ替え方法も、実施形態(1),(2) の場合とは異なっている。
【0049】
図6は、実施形態(4) の場合の逆方向再生用ビットストリーム生成の符号化を示したものであって、(a) は入力画像の順序、(b) は逆フレーム並べ替え器からの出力順序、(c) は符号化の順序およびビットストリームの出力順序、(d) は並べ替え後のビットストリームの出力順序をそれぞれ示している。(a),(b),(c),(d) において、上段の数字は入力順のフレーム番号を示し、下段のI,P,BはそれぞれI画像,P画像,B画像の区別を示している。(c) において、3段目は増設された一方のフレームメモリの記憶内容、4段目は増設された他方のフレームメモリの記憶内容である。また、/はGOPの区切り目、%は説明のための区切り目をそれぞれ示している。
【0050】
図5のA点における、図6(a) に示す入力画像のフレーム順序を、逆フレーム並べ替え器12によって、1区切りごとに並べ替えることによって、図5のB点に、図6(b) に示す出力順序が得られる。これをフレーム並べ替え器1によって、符号化の順に並べ替えて、図5のC点に、図6(c) に示す順序のフレームを出力し、これを符号化して、図5のD点にビットストリームとして出力する。この際、I画像の符号化結果を交互にフレームメモリに格納して、次の区切り目の終わりまで保持する。さらに、これをビットストリーム並べ替え器13によって、図2(c) の場合と同様に並べ替えて、GOPごとに区切って出力する。
【0051】
この場合の符号化は、次のようにして行われる。例えば16Iをフレーム内符号化してフレームメモリ7Bの一面に保存し、次に16Iから動き補償予測を用いて13Pを符号化し、次に16Pと13Pとから動き補償予測を用いて15Bと14Bを符号化し、次に13Pから動き補償予測を用いて10Pを符号化し、次に13Pと10Pとから動き補償予測を用いて12Bと11Bを双方向予測符号化し、次に13Pと前回符号化してフレームメモリに保存されていた7Iとから動き補償予測を用いて9Bと8Bを双方向予測符号化する。
【0052】
符号化されたビットストリームを、ビットストリーム並べ替え器13によって図6(d) に示すように並べ替えたのち、図示されないメモリに、GOPごとに折り返しながら順次積み上げて蓄積する。すなわち、図6(d) に示す、最初のGOPのビットストリームに相当する7フレームから2フレームのビットストリームを一番下に積み、その上に、16フレームから11フレームまでのビットストリームを積み、さらにその上に、25フレームから20フレームまでのビットストリームを積む形で出力用データを作成する。作成ずみのデータを上から順に、最新のGOPから順次遡って読むことによって、逆方向再生用のビットストリームをリアルタイムに得ることができる。
【0053】
本発明の実施形態(5) は本発明の態様(5) に対応し、図5の構成において、n(nは任意の整数)フレームごとに画像を入力することによって、n倍速の逆再生用ビットストリームを生成することができる。
【0054】
図7は、本発明の一応用例を示したものであって、順方向再生用ビットストリームと、逆方向再生用ビットストリームとを同時に生成するシステム構成例を示している。
【0055】
図7において、100は順方向再生用符号化器を示し、例えば図8に示された従来の順方向再生用符号化器と同様の構成を有している。また200は逆方向再生用符号化器を示し、図1〜図6に示されたような、本発明の逆方向再生用符号化器と同様の構成を有している。
【0056】
図7の構成によれば、順方向再生用ビットストリームと、逆方向再生用ビットストリームとを同時にリアルタイムに得ることができる。
【0057】
以上の説明においては、画像処理をフレーム単位で行うものとしたが、本発明はこれに限るものでなく、フレームをフィールドに置き換えてもよい。また各実施形態は、ハードウェア構成をとるものとして説明したが、本発明方式は、ソフトウェアのみで処理する符号器にも適用可能である。
【0058】
また上述のGOPの定義は、1GOP内に複数のI画像を含む場合には、I画像を1枚以上含む画像群に分割してもよく、MPEG等の定義とは必ずしも一致しない場合もあり得る。
【0059】
【発明の効果】
以上説明したように本発明によれば、動画像符号化方式において、通常のリアルタイムで順方向再生用ビットストリームを生成する動画像符号化器に対して、若干の機能追加を行うことによって、リアルタイムで逆方向再生用ビットストリームを生成可能な、動画像符号化器を実現することができる。
【図面の簡単な説明】
【図1】本発明の実施形態(1) を示す図である。
【図2】実施形態(1) の場合の逆方向再生用ビットストリーム生成の符号化を示す図であって、(a) は入力画像の順序、(b) は逆フレーム並べ替え器からの出力順序、(c) は符号化の順序およびビットストリームの出力順序をそれぞれ示す。
【図3】本発明の実施形態(3) を示す図である。
【図4】実施形態(3) の場合の逆方向再生用ビットストリーム生成の符号化を示す図であって、(a) は入力画像の順序、(b) は符号化の順序およびビットストリームの出力順序をそれぞれ示す。
【図5】本発明の実施形態(4) を示す図である。
【図6】実施形態(4) の場合の逆方向再生用ビットストリーム生成の符号化を示す図であって、(a) は入力画像の順序、(b) は逆フレーム並べ替え器からの出力順序、(c) は符号化の順序およびビットストリームの出力順序、(d) は並べ替え後のビットストリームの出力順序をそれぞれ示す。
【図7】本発明の一応用例を示す図である。
【図8】順方向再生用符号化器の構成例を示す図である。
【図9】予測符号化で用いる参照画像の関係を説明する図である。
【図10】順方向再生用ビットストリーム生成の符号化を説明する図であって、(a) は入力画像の順序、(b) は符号化の順序とビットストリームの出力順序をそれぞれ示す。
【符号の説明】
12 逆順フレーム並べ替え器
13 ビットストリーム並べ替え器
20 画像符号化器[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a moving image coding method, and more particularly to a moving image coding method capable of generating a backward reproduction bit stream in real time.
[0002]
For example, VOD (Video on Demand) is an application that records moving image data on a storage medium such as a hard disk, an MO (magneto-optical disk), or a CD-ROM, and accesses the medium directly or via a communication path. Has been developed.
[0003]
As a moving image encoding method in such a case, it is required to realize a moving image encoding method capable of generating a bitstream for backward reproduction in real time.
[0004]
[Prior art]
Since moving image data has an enormous amount of information, generally, a method of recording information on a recording medium by compressing the amount of information by high-efficiency encoding is employed. Typical examples of high-efficiency encoding methods in this case are MPEG-1 (ISO / IEC 11172) and MPEG-2 (ISO / IEC 13818). These encoding methods are inter-frame encoding (P image or B image) using motion compensation in which intra-frame encoding (I image) is periodically inserted.
[0005]
Here, an I picture (Intra coded picture) is an intra-frame coded picture, which is an picture that is coded using only information of the picture. P picture (Predictive coded picture) is a prediction coding picture, and means a picture coded from a past reference picture using motion compensation prediction. A B picture (Bidirectionally predictive coded picture) is a bidirectional predictive coded picture, and refers to an picture that is coded from a past reference picture and / or a future reference picture using motion compensated prediction.
[0006]
FIG. 8 shows a configuration example of a forward reproduction encoder, which is represented by MPEG-1 or MPEG-2, and is an interframe coding (P (Image or B image).
[0007]
In FIG. 8, 1 is a frame rearranger, 2 is a discrete cosine transformer (DCT), 3 is a quantizer (Q), 4 is a variable length encoder (VLC), and 5 is an inverse quantizer (IQ). , 6 is an inverse discrete cosine transformer (IDCT), 7 is a frame memory (or field memory) (FM), 8 is a motion detector (ME), 9 is a motion compensator (variable delay) (MC), and 10 is a subtraction. And 11 is an adder.
[0008]
For the image input, the frames are rearranged in the encoding order in the
[0009]
The
[0010]
On the other hand, the quantization result is inversely quantized by the
[0011]
FIG. 9 illustrates the relationship between reference images used in predictive coding, and illustrates a prediction reference screen for I images, P images, and B images. As shown in the figure, 1 GOP is composed of 9 frames, and I, P, and B image frames are arranged in sequence as I, B, B, B, P, B, B, B, P. It shall be encoded. That is, in this case, 1 GOP is encoded in about 0.3 seconds.
[0012]
In this case, the I image is first intra-frame encoded, and then the P image is encoded by (one-way) predictive encoding. Next, the B image between the I image and the P image is sequentially encoded by bidirectional predictive encoding. Further, the next P image is encoded by predictive encoding from the P image. Next, the B image between the P image and the P image is sequentially encoded by bidirectional predictive encoding.
[0013]
10A and 10B illustrate encoding for generating a forward reproduction bitstream, where FIG. 10A shows the order of input images, and FIG. 10B shows the order of encoding and the output order of bitstreams. . In (a) and (b), the upper numbers indicate the frame numbers in the input order, and the lower I, P, and B indicate the distinction between the I image, the P image, and the B image, respectively. In addition, / indicates a GOP break.
[0014]
As shown in FIG. 10A, the order of the input image at the point A in FIG. 8 includes two frames of B images between the I image and the P image and between the P image and the P image. When this is encoded, it is encoded at the point C in FIG. 8 in the order shown in FIG. 10B, and is output as a bit stream to the point D in FIG. In this case, the I image is first encoded, and then the B image and the next B image are encoded using the I image and the P image.
[0015]
Next, the P image is encoded using the I image, and the B image and the next B image are encoded using the I image and the P image. Further, the next P image is encoded using the P image, and the B image and the next B image are encoded using the two P images.
[0016]
In this way, encoding for generating a normal forward reproduction bitstream can be performed. The output bit stream is output in the order of I, B, B, P, B, B, P, B, B for each GOP. In a later-stage decoder (not shown), when a bit stream arranged in such an order is received, decoding can be performed and the original image can be reproduced in the forward direction.
[0017]
[Problems to be solved by the invention]
On the other hand, from the user's point of view, there is a demand not only for forward playback but also for backward playback as in the case of VCR (VTR). However, in general, in order to perform backward reproduction from a bit stream for forward reproduction, it is necessary to have a frame memory for a number of frames on the receiving side (decoding side). Will become expensive. Therefore, it is necessary to generate a reverse bit stream on the transmission side (encoder).
[0018]
Conventionally, on the transmission side, for example, in order to generate a bitstream for backward playback of a program for one hour, the program is once recorded as a forward image using a VCR or the like, and a frame is created by editing the VCR. In this case, the rearranged order must be rearranged, and the rearranged frames must be input to the image encoder to create a bit stream for reverse playback. For this reason, it is impossible to create a bit stream for reverse playback unless editing work is indispensable and one program has been recorded.
[0019]
On the other hand, there is a demand to generate data for reverse playback in real time. For example, when broadcasting live programs such as sports on a hard disk, There is a case where it is desired to perform backward reproduction. In this case, it is necessary to create data for backward reproduction in real time. However, it is impossible to generate a bit stream in real time with the above-described method in which encoding is performed in the reverse direction after editing with the VCR.
[0020]
The present invention is intended to solve such a problem of the prior art, and in an image encoding system that generates a normal reproduction bitstream in real time in a moving image encoding system, It is an object of the present invention to provide a real-time backward reproduction moving image coding method capable of generating a reverse reproduction bitstream in real time by adding a few functions.
[0021]
[Means for Solving the Problems]
In the present invention, for example, a frame memory of 1 GOP (Group of Picture) or more representing an image group and a function of changing the frame order are provided in the previous stage of the image encoder. The frames whose order has been changed in this way are input to the image encoder. In the image encoder, a closed GOP (in the order of input, in the encoding of the B image arranged immediately before the I image, only the I image is used as the reference image, and the I image or P immediately before the B image is used. An image is a GOP when not used as a reference image), and a bit stream for reverse reproduction is generated in real time by rearranging the output bit stream in reverse order of output in units of GOP. (
[0022]
In this case, an n-times bit stream can be generated by inputting an image every n frames (
[0023]
At this time, if the B image is not used for encoding, the configuration of the image encoder can be simplified (
[0024]
In contrast to the scheme of
Even if encoding is performed without limitation of GOP, a bit stream for reverse reproduction can be generated (
[0025]
In the
[0026]
Hereinafter, specific means for solving the problems of the present invention will be described.
[0027]
(1) I-frame coding for performing intra-frame coding periodically in the order of input on framed image data, and P-picture coding for predictive coding from a past reference image in the middle of this I-picture coding; The input frames are rearranged and encoded so that the B image encoding that performs bidirectional predictive encoding from the past reference image and the future reference image is performed in a predetermined order, and is performed first after the I image encoding. B image encoding is performed using only this I image as a reference image, and the encoding result is sequentially encoded in a variable length to output a bitstream. A reverse
[0028]
(2) In the case of (1), by inputting image data at n (n is an arbitrary integer) frame interval, an n-times speed reverse reproduction bit stream is output.
[0029]
(3) In the case of (1) or (2), by performing encoding only by I image encoding and P image encoding, a reverse reproduction bit stream or an n-times reverse reproduction bit stream is output. .
[0030]
(4) For framed image data, I image coding is performed for intra-frame coding periodically in the order of input, and P image coding for predictive coding from past reference images in the middle of this I image coding; B image coding for bi-directional predictive coding from past reference images and future reference images is performed in a predetermined order, and P image coding is performed immediately after I image coding, and then B image coding is performed. The input frames are rearranged and encoded so as to perform B image encoding using the I image of the previous I image encoding cycle held in the
[0031]
(5) In the case of (4), by inputting image data at n (n is an arbitrary integer) frame interval, an n-times speed reverse reproduction bit stream is output.
[0032]
(6) In the case of (1) to (5), an image field is used instead of the framed image data, and processing for each field is performed instead of processing for each frame.
[0033]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 shows an embodiment (1) of the present invention, and shows a reverse reproduction encoder according to
[0034]
The major difference between the embodiment shown in FIG. 1 and the conventional example shown in FIG. 8 is that it has a reverse-
[0035]
On the other hand, the
[0036]
FIG. 2 shows the encoding of the reverse reproduction bit stream generation in the case of the embodiment (1), where (a) is the order of the input images, and (b) is from the reverse frame rearranger. The output order, (c) shows the encoding order and the bitstream output order, respectively. In (a), (b), and (c), the upper number indicates the frame number in the input order, and the lower I, P, and B indicate the distinction between the I image, the P image, and the B image, respectively. In addition, / indicates a GOP break.
[0037]
By rearranging the frame order of the input image shown in FIG. 2A at point A in FIG. 1 in reverse order every GOP by the reverse
[0038]
The encoding in this case is performed as follows. For example, 16I is intra-frame encoded, then 18B and 17B are encoded from 16I using motion compensated prediction (due to the Closed GOP limitation), then 13P is encoded from 16I using motion compensated prediction, and then 16I And 13P are bi-directionally predictively encoded using motion compensated prediction, then 10P is encoded using motion compensated prediction from 13P, and then 12B and 13P are encoded using motion compensated prediction. 11B is bi-directional predictively encoded.
[0039]
The encoded bit stream is accumulated and stored in a memory (not shown) by the bit
[0040]
The embodiment (2) of the present invention corresponds to the aspect (2) of the present invention. In the configuration of FIG. 1, by inputting an image every n (n is an arbitrary integer) frame, the reverse reproduction at the n-times speed is performed. A bitstream can be generated.
[0041]
FIG. 3 shows an embodiment (3) of the present invention and shows a backward reproduction encoder according to
[0042]
In the backward reproduction encoder shown in FIG. 1, encoding is performed using a B image, and therefore a
[0043]
FIG. 4 shows coding for generating a backward reproduction bit stream in the case of the embodiment (3), where (a) is the order of the input images, and (b) is the coding order and the bit stream. The output order is shown respectively. In (a) and (b), the upper numbers indicate the frame numbers in the input order, and the lower I and P indicate the distinction between the I image and the P image, respectively. In addition, / indicates a GOP break.
[0044]
The input order in this case is as shown in FIG. 3 by rearranging the frame order of the input image shown in FIG. 4A at point A in FIG. At the point, the output order shown in FIG. 4 (b) is obtained. This is encoded and output as a bit stream to point D in FIG.
[0045]
In this case, for example, the first 18I is subjected to intra-frame encoding, and then the motion compensation prediction is performed by sequentially using 17P to 10P and the previous frame as a past reference image.
[0046]
The encoded bit stream is sequentially stacked and stored in a memory (not shown) by the bit
[0047]
FIG. 5 shows an embodiment (4) of the present invention and shows a backward reproduction encoder according to
[0048]
The major difference between the embodiment shown in FIG. 5 and the embodiment shown in FIG. 1 is that the frame memory has two extra frames in the encoding loop. The I image for encoding for backward reproduction is held. In the case of the embodiment (4), there is no restriction that it must be encoded with a Closed GOP as in the case of the embodiment (1) or (2). Further, the rearrangement method in the reverse order frame rearranger and the bitstream rearranger is also different from those in the embodiments (1) and (2).
[0049]
FIG. 6 shows the encoding of the reverse reproduction bit stream generation in the case of the embodiment (4), where (a) is the order of the input images, and (b) is from the reverse frame rearranger. The output order, (c) shows the encoding order and bitstream output order, and (d) shows the rearranged bitstream output order. In (a), (b), (c), (d), the upper number indicates the frame number in the input order, and the lower I, P, and B indicate the distinction between the I image, the P image, and the B image, respectively. ing. In (c), the third row shows the stored contents of one of the added frame memories, and the fourth row shows the stored contents of the other added frame memory. Further, / indicates a GOP break, and% indicates a break for explanation.
[0050]
By rearranging the frame order of the input image shown in FIG. 6A at point A in FIG. 5 for each segment by the reverse
[0051]
The encoding in this case is performed as follows. For example, 16I is intra-frame encoded and stored in one side of the
[0052]
The encoded bitstream is rearranged by the
[0053]
The embodiment (5) of the present invention corresponds to the aspect (5) of the present invention. In the configuration of FIG. 5, by inputting an image every n (n is an arbitrary integer) frame, the reverse reproduction for n-times speed is performed. A bitstream can be generated.
[0054]
FIG. 7 shows an application example of the present invention, and shows a system configuration example for simultaneously generating a forward reproduction bit stream and a backward reproduction bit stream.
[0055]
In FIG. 7,
[0056]
According to the configuration of FIG. 7, the forward reproduction bit stream and the backward reproduction bit stream can be simultaneously obtained in real time.
[0057]
In the above description, image processing is performed in units of frames. However, the present invention is not limited to this, and frames may be replaced with fields. Each embodiment has been described as having a hardware configuration, but the method of the present invention can also be applied to an encoder that performs processing only by software.
[0058]
In addition, when a plurality of I images are included in one GOP, the above GOP definition may be divided into an image group including one or more I images, and may not necessarily match the definition of MPEG or the like. .
[0059]
【The invention's effect】
As described above, according to the present invention, in the moving image coding system, real-time encoding is performed by adding some functions to the moving image encoder that generates a normal reproduction bit stream in real time. Thus, it is possible to realize a moving image encoder capable of generating a backward reproduction bit stream.
[Brief description of the drawings]
FIG. 1 is a diagram showing an embodiment (1) of the present invention.
FIGS. 2A and 2B are diagrams illustrating encoding for generating a backward reproduction bit stream in the case of the embodiment (1), where FIG. 2A is a sequence of input images, and FIG. 2B is an output from a reverse frame rearranger. The order, (c) shows the order of encoding and the output order of the bitstream, respectively.
FIG. 3 is a diagram showing an embodiment (3) of the present invention.
FIGS. 4A and 4B are diagrams illustrating encoding for generating a backward reproduction bit stream in the case of the embodiment (3), in which FIG. 4A is an input image order, and FIG. 4B is an encoding order and bit stream order; Each output order is shown.
FIG. 5 is a diagram showing an embodiment (4) of the present invention.
FIGS. 6A and 6B are diagrams illustrating encoding for generating a backward reproduction bit stream in the case of the embodiment (4), where FIG. 6A is an order of input images, and FIG. 6B is an output from a reverse frame rearranger. (C) shows the encoding order and bitstream output order, and (d) shows the rearranged bitstream output order.
FIG. 7 is a diagram showing an application example of the present invention.
FIG. 8 is a diagram illustrating a configuration example of a forward reproduction encoder.
FIG. 9 is a diagram for explaining a relationship between reference images used in predictive coding.
FIGS. 10A and 10B are diagrams illustrating encoding for generating a forward reproduction bitstream, where FIG. 10A shows the order of input images, and FIG. 10B shows the order of encoding and the output order of bitstreams;
[Explanation of symbols]
12 reverse order
Claims (6)
該画像符号化器の前段に、前記I画像符号化周期のフレーム数を示すGOP分以上のフレームを蓄積して入力フレームの順序をGOPごとに逆方向順序に入れ替える逆順フレーム並べ替え器を設けるとともに、
該画像符号化器の後段に、該画像符号化器のビットストリーム出力をGOPごとに折り返しながら順次積み上げてメモリに蓄積するビットストリーム並べ替え器を設け、
該メモリの内容を最新のGOPから順次遡って再生することによって、逆方向再生用ビットストリームをリアルタイムに出力することを特徴とするリアルタイム逆方向再生用動画像符号化方式。For framed image data, I image coding is performed to periodically perform intra-frame coding in the order of input, and P image coding for predictive coding from a past reference image in the middle of the I image coding, and past reference The B image first encoded after the I image encoding is performed by rearranging and encoding the input frames so that the B image encoding that performs bidirectional predictive encoding from the image and the future reference image is performed in a predetermined order. For an image encoder that performs encoding only with the I image as a reference image, sequentially encodes the encoding result, and outputs a bit stream.
A reverse frame rearranger is provided in the preceding stage of the image encoder to accumulate frames equal to or more than GOP indicating the number of frames in the I image encoding period and to change the order of input frames in the reverse direction for each GOP. ,
A bitstream rearranger that sequentially accumulates and accumulates the bitstream output of the image encoder for each GOP and stores it in a memory is provided at a subsequent stage of the image encoder.
A video encoding method for real-time reverse reproduction, wherein a bit stream for reverse reproduction is output in real time by reproducing the contents of the memory sequentially from the latest GOP.
該画像符号化器の前段に、前記I画像符号化周期のフレーム数を示すGOP分以上のフレームを蓄積して入力フレームの順序をGOPごとに逆方向順序に入れ替える逆順フレーム並べ替え器を設けるとともに、
該画像符号化器の後段に、該画像符号化器のビットストリーム出力における各フレームの順序が前記所定の順序になるように並べ替えたのち、GOPごとに折り返しながら順次積み上げてメモリに蓄積するビットストリーム並べ替え器を設け、
該メモリの内容を最新のGOPから順次遡って再生することによって、逆方向再生用ビットストリームをリアルタイムに出力することを特徴とするリアルタイム逆方向再生用動画像符号化方式。For framed image data, I image coding is performed to periodically perform intra-frame coding in the order of input, and P image coding for predictive coding from a past reference image in the middle of the I image coding, and past reference B image coding that performs bidirectional predictive coding from an image and a future reference image is performed in a predetermined order, and P image coding is performed immediately after the I image coding, and then B image coding is performed. The input frames are rearranged and encoded so that the B image encoding is performed using the I image of the previous I image encoding cycle held in the memory at the end of the image encoding cycle as one reference image, and the encoding result is For an image encoder that sequentially outputs a bit stream by variable length encoding,
A reverse frame rearranger is provided in the preceding stage of the image encoder to accumulate frames equal to or more than GOP indicating the number of frames in the I image encoding period and to change the order of input frames in the reverse direction for each GOP. ,
Bits that are rearranged in the subsequent stage of the image encoder so that the order of the frames in the bitstream output of the image encoder is in the predetermined order, and then are sequentially stacked and accumulated in the memory while being folded back for each GOP A stream sorter,
A video encoding method for real-time reverse reproduction, wherein a bit stream for reverse reproduction is output in real time by reproducing the contents of the memory sequentially from the latest GOP.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP18577596A JP3663559B2 (en) | 1996-07-16 | 1996-07-16 | Video coding method for real-time backward playback |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP18577596A JP3663559B2 (en) | 1996-07-16 | 1996-07-16 | Video coding method for real-time backward playback |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1032787A JPH1032787A (en) | 1998-02-03 |
JP3663559B2 true JP3663559B2 (en) | 2005-06-22 |
Family
ID=16176681
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP18577596A Expired - Fee Related JP3663559B2 (en) | 1996-07-16 | 1996-07-16 | Video coding method for real-time backward playback |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3663559B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100543453B1 (en) | 2003-04-24 | 2006-01-23 | 삼성전자주식회사 | Apparatus and method for controlling bit rate of digital video data in reverse play |
JP4190458B2 (en) * | 2004-05-17 | 2008-12-03 | 三洋電機株式会社 | Image processing device |
US8155186B2 (en) | 2004-08-11 | 2012-04-10 | Hitachi, Ltd. | Bit stream recording medium, video encoder, and video decoder |
-
1996
- 1996-07-16 JP JP18577596A patent/JP3663559B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH1032787A (en) | 1998-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3089160B2 (en) | Digital recording and playback device | |
JP2002359848A (en) | Image processor | |
JP4337248B2 (en) | Image information transmission apparatus, transmission system, and transmission method | |
JP3403168B2 (en) | Image processing method, image processing apparatus capable of using the method, and television receiver | |
KR0185932B1 (en) | Video data decoding method and apparatus | |
JP2776212B2 (en) | Code recording device | |
JPH08154230A (en) | Method for storing moving image coded data on medium | |
KR100860661B1 (en) | Image reproducing method and image processing method, and image reproducing device, image processing device, and television receiver capable of using the methods | |
JP3663559B2 (en) | Video coding method for real-time backward playback | |
JP3152268B2 (en) | Image information recording method and image information reproducing method | |
JP3515565B2 (en) | Image processing method, image processing apparatus capable of using the method, and television receiver | |
JP3501521B2 (en) | Digital video signal reproducing apparatus and reproducing method | |
JPH11289515A (en) | Picture signal processor and its method, picture signal recorder and its method and recording medium | |
JP2005518728A (en) | Image processing method and apparatus | |
JP3403169B2 (en) | Image reproducing method, image reproducing apparatus and television receiver that can use this method | |
JP4178521B2 (en) | Encoded video signal recording method and video signal encoding apparatus | |
JP3374128B2 (en) | Image processing method, image processing apparatus capable of using the method, and television receiver | |
JP3403167B2 (en) | Image processing method, image processing apparatus capable of using the method, and television receiver | |
JP3403166B2 (en) | Image reproducing method, image reproducing apparatus and television receiver that can use this method | |
JP3548167B2 (en) | Image processing device | |
KR100312420B1 (en) | Video code method for esay reverse video play | |
JPH09298711A (en) | Device for generating compressed image data for editing for image information recording and reproducing device | |
JP2005159832A (en) | Signal processor | |
JP3381723B2 (en) | Data generator | |
JP3381725B2 (en) | Data recording device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050304 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050315 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050317 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |