[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP3663559B2 - Video coding method for real-time backward playback - Google Patents

Video coding method for real-time backward playback Download PDF

Info

Publication number
JP3663559B2
JP3663559B2 JP18577596A JP18577596A JP3663559B2 JP 3663559 B2 JP3663559 B2 JP 3663559B2 JP 18577596 A JP18577596 A JP 18577596A JP 18577596 A JP18577596 A JP 18577596A JP 3663559 B2 JP3663559 B2 JP 3663559B2
Authority
JP
Japan
Prior art keywords
image
encoding
coding
real
reverse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP18577596A
Other languages
Japanese (ja)
Other versions
JPH1032787A (en
Inventor
修 川井
康 稲本
喜一 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP18577596A priority Critical patent/JP3663559B2/en
Publication of JPH1032787A publication Critical patent/JPH1032787A/en
Application granted granted Critical
Publication of JP3663559B2 publication Critical patent/JP3663559B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、動画像の符号化方式に関し、特にリアルタイムに逆方向再生用ビットストリームを生成可能な、動画像符号化方式に関するものである。
【0002】
動画像データをハードディスク,MO(光磁気ディスク),CD−ROM等の蓄積媒体に記録し、この媒体から、直接または通信路を介してアクセスするアプリケーションとして、例えば、VOD(Video on Demand )等が開発されている。
【0003】
このような場合の動画像の符号化方式として、リアルタイムに逆方向再生用のビットストリームを生成可能な、動画像符号化方式の実現が要求されている。
【0004】
【従来の技術】
動画像データは、その情報量が膨大なため、一般には、高能率符号化による情報量圧縮を行って、記録媒体に記録する方式がとられる。この場合の高能率符号化の方式として代表的なものに、MPEG−1(ISO/IEC 11172 )や、MPEG−2(ISO/IEC 13818 )がある。これらの符号化方式は、周期的にフレーム内符号化(I画像)が挿入された、動き補償を用いたフレーム間符号化(P画像またはB画像)である。
【0005】
ここで、I画像(Intra coded picture )は、フレーム内符号化画像のことであって、当該画像の情報のみを使用して符号化する画像をいう。P画像(Predictive coded picture)は、予測符号化画像のことであって、過去参照画像から動き補償予測を用いて符号化する画像をいう。B画像(Bidirectionally predictive coded picture)は、双方向予測符号化画像のことであって、過去参照画像および/または未来参照画像から動き補償予測を用いて符号化する画像をいう。
【0006】
図8は、順方向再生用符号化器の構成例を示したものであって、MPEG−1や、MPEG−2で代表される、周期的にI画像が挿入されるフレーム間符号化(P画像またはB画像)器の構成を示している。
【0007】
図8において、1はフレーム並べ替え器、2は離散コサイン変換器(DCT)、3は量子化器(Q)、4は可変長符号化器(VLC)、5は逆量子化器(IQ)、6は逆離散コサイン変換器(IDCT)、7はフレームメモリ(またはフィールドメモリ)(FM)、8は動き検出器(ME)、9は動き補償器(可変遅延)(MC)、10は減算器、11は加算器である。
【0008】
画像入力は、1GOP分のフレームごとに、1GOP分以上のフレームメモリと、そのフレーム順序を入れ替える機能とを持つフレーム並べ替え部1において、フレームを符号化の順序に並べ替えられる。ここで、GOP(Group of Picture)は、処理の単位となる画像群を示し、先頭にI画像が配置されている。一方、フレームメモリ7には、過去において符号化された画像が蓄積されている。動き検出器8は、並べ替えられた画像とフレームメモリ7の画像との差分をとって動きベクトルを検出する。
【0009】
動き補償器9は、フレームメモリ7の出力画像に対して、動きベクトルによって動き補償を行って、動き補償された再生画像を生成する。減算器10において、並べ替えられた画像と、動き補償された再生画像との差分を求めて、離散コサイン変換器2において離散コサイン変換を行ない、量子化器3において量子化を行う。さらに可変長符号化器4において、量子化結果を、動き検出器8で検出された動きベクトルとともに可変長符号に符号化して、ビットストリームとして出力する。
【0010】
一方、量子化結果を逆量子化器5において逆量子化し、逆離散コサイン変換器6において逆離散コサイン変換した結果を、加算器11において、動き補償された再生画像に対して加算することによって、局部復号画像を生成して、フレームメモリ7に蓄積する。フレームメモリ7は、I画像とP画像に対応して2面設けられている。
【0011】
図9は、予測符号化で用いる参照画像の関係を説明するものであって、I画像,P画像,B画像の予測参照画面を説明している。図示のように、1GOPを9フレームから構成するものとして、I画像,P画像,B画像のフレームをI,B,B,B,P,B,B,B,Pのように順次配列して符号化するものとする。すなわちこの場合は、1GOPは、約0.3秒で符号化される。
【0012】
この場合の符号化は、最初、I画像をフレーム内符号化し、次に(一方向)予測符号化によって、P画像を符号化する。次に、双方向予測符号化によって、I画像とP画像の間にあるB画像を順次、符号化する。さらにP画像から予測符号化によって次のP画像を符号化する。次に、双方向予測符号化によって、P画像とP画像の間にあるB画像を順次、符号化する。
【0013】
図10は、順方向再生用ビットストリーム生成の符号化を説明するものであって、(a) は入力画像の順序、(b) は符号化の順序とビットストリームの出力順序をそれぞれ示している。(a),(b) において、上段の数字は入力順のフレーム番号を示し、下段のI,P,BはそれぞれI画像,P画像,B画像の区別を示している。また、/はGOPの区切り目を示している。
【0014】
図8におけるA点の入力画像の順序は、図10(a) に示すように、I画像とP画像の間、およびP画像とP画像の間に、B画像が2フレーム入っている。これを符号化する際には、図8のC点で図10(b) の順序で符号化して、ビットストリームとして図8のD点に出力する。この場合の符号化は、最初にI画像を符号化し、次にI画像とP画像を用いて、B画像と、次のB画像を符号化する。
【0015】
次に、I画像を用いてP画像を符号化し、I画像とP画像とを用いて、B画像と、次のB画像とを符号化する。さらに、P画像を用いて、次のP画像を符号化し、この二つのP画像を用いて、B画像と、次のB画像とを符号化する。
【0016】
このようにして、通常の順方向再生用ビットストリーム生成の符号化を行うことができる。出力されるビットストリームは、1GOPごとに、I,B,B,P,B,B,P,B,Bの順に出力される。図示されない後段の復号器では、このような順序に配列されたビットストリームを受け取ったとき、復号を行って、原画像を順方向に再生することができる。
【0017】
【発明が解決しようとする課題】
一方、ユーザの立場から見ると、VCR(VTR)の場合のように、順方向の再生を行うだけでなく、逆方向の再生も行ないたいという要求がある。しかしながら、一般には、順方向再生用のビットストリームから、逆方向再生を行うためには、受信側(復号側)に、何フレーム分ものフレームメモリを持つことが必要となって、受信機(復号器)が高価なものになってしまう。そこで、送信側(符号化器)で、逆方向のビットストリームを生成することが必要となる。
【0018】
従来、送信側で、例えば1時間分の番組の逆方向再生用のビットストリームを生成するためには、一度、VCR等を使用して番組を順方向画像として録画し、VCRの編集作業によってフレームの順序を並べ替え、並べ替えたフレームを画像符号器に入力して、逆再生用のビットストリームを作成しなければならなかった。このため、編集作業が必ず必要となって、番組1本を録画し終わった後でなければ、逆再生用のビットストリームを作成することは、不可能であった。
【0019】
これに対して、リアルタイムで逆方向再生用のデータを生成することが要望されており、例えばスポーツ等の生番組をハードディスクに蓄積しながら放送を行う場合に、あるシーンで、それまでの映像の逆方向再生を行ないたいような場合があるが、この場合は、リアルタイムで逆方向再生用のデータを作成する必要がある。しかしながら、上述のような、VCRで編集してから逆方向の符号化を行う方式では、到底、リアルタイムでのビットストリーム生成は不可能である。
【0020】
本発明は、このような従来技術の課題を解決しようとするものであって、動画像の符号化方式において、通常のリアルタイムに順方向再生用ビットストリームを生成する画像符号化器に対して、若干の機能追加を行うことによって、リアルタイムに逆方向再生用ビットストリームを生成することが可能な、リアルタイム逆方向再生用動画像符号化方式を提供することを目的としている。
【0021】
【課題を解決するための手段】
本発明においては、画像符号化器の前段に、例えば画像群を表す1GOP(Group of Picture)分以上のフレームメモリと、そのフレーム順序を入れ替える機能を持つ。このようにして順序を入れ替えたフレームを、画像符号化器に入力する。画像符号化器では、クローズド(Closed)GOP(入力順序で、I画像の直前に並ぶB画像の符号化において、そのI画像のみが参照画像として用いられ、そのB画像の直前のI画像またはP画像は、参照画像として使われない場合のGOPをいう)によって符号化を行ない、出力されるビットストリームをGOP単位で出力の逆順に並べ替えることによって、リアルタイムで逆再生用のビットストリームを生成する(本発明の態様1)。
【0022】
この場合に、nフレームごとに画像を入力することによって、n倍速のビットストリームを生成することができる(本発明の態様2)。
【0023】
またこの際、符号化にB画像を用いないようにすれば、画像符号化器の構成を簡易化することができる(本発明の態様3)。
【0024】
態様1の方式に対して、画像符号化器の符号化ループ内にも逆方向符号化用のフレームメモリを設けて、I画像を蓄積しておくことによって、Closed
GOPの制限なしに符号化を行っても、逆再生用のビットストリームを生成することができる(本発明の態様4)。
【0025】
態様4の方式において、nフレームごとに画像を入力することによって、n倍速のビットストリームを生成することができる(本発明の態様5)。
【0026】
以下、本発明の課題を解決するための、具体的手段を記述する。
【0027】
(1) フレーム化された画像データについて、入力順に周期的にフレーム内符号化するI画像符号化を行ない、このI画像符号化の中間において、過去参照画像から予測符号化するP画像符号化と、過去参照画像と未来参照画像とから双方向予測符号化するB画像符号化とを所定の順序で行なうように入力フレームを並べ替えて符号化するとともに、I画像符号化の後で最初に行われるB画像符号化をこのI画像のみを参照画像として行ない、符号化結果を順次可変長符号化してビットストリームを出力する画像符号化器20に対して、画像符号化器20の前段に、I画像符号化周期のフレーム数を示すGOP分以上のフレームを蓄積して入力フレームの順序をGOPごとに逆方向順序に入れ替える逆順フレーム並べ替え器12を設けるとともに、画像符号化器20の後段に、画像符号化器20のビットストリーム出力をGOPごとに折り返しながら順次積み上げてメモリに蓄積するビットストリーム並べ替え器13を設け、このメモリの内容を最新のGOPから順次遡って再生することによって、逆方向再生用ビットストリームをリアルタイムに出力する。
【0028】
(2) (1) の場合に、n(nは任意の整数)フレーム間隔で画像データを入力することによって、n倍速の逆方向再生用ビットストリームを出力する。
【0029】
(3) (1) または(2) の場合に、I画像符号化およびP画像符号化のみによって符号化することによって、逆方向再生用ビットストリームまたはn倍速の逆方向再生用ビットストリームを出力する。
【0030】
(4) フレーム化された画像データについて、入力順に周期的にフレーム内符号化するI画像符号化を行ない、このI画像符号化の中間において、過去参照画像から予測符号化するP画像符号化と、過去参照画像と未来参照画像とから双方向予測符号化するB画像符号化とを所定の順序で行なうとともに、I画像符号化の直後にP画像符号化を行ったのちB画像符号化を行ない、I画像符号化周期の最後にメモリ7Bに保持された前I画像符号化周期のI画像を一方の参照画像としてB画像符号化を行なうように、入力フレームを並べ替えて符号化し、この符号化結果を順次可変長符号化してビットストリームを出力する画像符号化器20に対して、画像符号化器20の前段に、I画像符号化周期のフレーム数を示すGOP分以上のフレームを蓄積して入力フレームの順序をGOPごとに逆方向順序に入れ替える逆順フレーム並べ替え器12を設けるとともに、画像符号化器20の後段に、画像符号化器20のビットストリーム出力における各フレームの順序が所定の順序になるように並べ替えたのち、GOPごとに折り返しながら順次積み上げてメモリに蓄積するビットストリーム並べ替え器13を設け、このメモリの内容を最新のGOPから順次遡って再生することによって、逆方向再生用ビットストリームをリアルタイムに出力する。
【0031】
(5) (4) の場合に、n(nは任意の整数)フレーム間隔で画像データを入力することによって、n倍速の逆方向再生用ビットストリームを出力する。
【0032】
(6) (1) 〜(5) の場合に、フレーム化された画像データに代えて画像フィールドを用い、フレームごとの処理に代えてフィールドごとの処理を行う。
【0033】
【発明の実施の形態】
図1は、本発明の実施形態(1) を示したものであって、本発明の態様1の逆方向再生用符号化器を示している。図8の場合と同じ順方向再生用符号化器を画像符号化器20で示し、12は逆順フレーム並べ替え器、13はビットストリーム並べ替え器である。
【0034】
図1に示された実施形態と、図8に示された従来例との大きな違いは、逆順フレーム並べ替え器12と、ビットストリーム並べ替え器13とを持つことと、符号化はClosed GOPで処理することである。逆順フレーム並べ替え器12は、順方向に入力される画像データの1GOP分(I画像と次のI画像までのフレーム数)以上のフレームを蓄積し、そのフレーム順序を逆方向順序に入れ替える機能を有し、画像符号化器20の入力側に設けられる。
【0035】
一方、ビットストリーム並べ替え器13は、画像符号化器20から出力されるビットストリームを、GOPごとに折り返しながら順次積み上げてメモリに蓄積する。
【0036】
図2は、実施形態(1) の場合の逆方向再生用ビットストリーム生成の符号化を示したものであって、(a) は入力画像の順序、(b) は逆フレーム並べ替え器からの出力順序、(c) は符号化の順序およびビットストリームの出力順序をそれぞれ示している。(a),(b),(c) において、上段の数字は入力順のフレーム番号を示し、下段のI,P,BはそれぞれI画像,P画像,B画像の区別を示している。また、/はGOPの区切り目を示している。
【0037】
図1のA点における、図2(a) に示す入力画像のフレーム順序を、逆フレーム並べ替え器12によって、1GOPごとに逆順に並べ替えることによって、図1のB点に、図2(b) に示す出力順序が得られる。これをフレーム並べ替え器1によって、従来と同じ符号化の順に並べ替えて、図1のC点に、図2(c) に示す順序のフレームを出力する。さらにこれを符号化して、図1のD点にビットストリームとして出力する。
【0038】
この場合の符号化は、次のようにして行われる。例えば16Iをフレーム内符号化し、次に16Iから動き補償予測を用いて18Bと17Bを符号化し(Closed GOPの制限による)、次に16Iから動き補償予測を用いて13Pを符号化し、次に16Iと13Pとから動き補償予測を用いて15Bと14Bを双方向予測符号化し、次に13Pから動き補償予測を用いて10Pを符号化し、次に13Pと10Pとから動き補償予測を用いて12Bと11Bを双方向予測符号化する。
【0039】
符号化されたビットストリームを、ビットストリーム並べ替え器13によって図示されないメモリに、GOPごとに折り返しながら順次積み上げて蓄積する。すなわち、図2(c) に示す、最初のGOPのビットストリームに相当する7フレームから2フレームのビットストリームを一番下に積み、その上に、16フレームから11フレームまでのビットストリームを積み、さらにその上に、25フレームから20フレームまでのビットストリームを積む形で出力用データを作成する。作成ずみのデータを上から順に、最新のGOPから順次遡って読むことによって、逆方向再生用のビットストリームをリアルタイムに得ることができる。
【0040】
本発明の実施形態(2) は本発明の態様(2) に対応し、図1の構成において、n(nは任意の整数)フレームごとに画像を入力することによって、n倍速の逆方向再生用ビットストリームを生成することができる。
【0041】
図3は、本発明の実施形態(3) を示したものであって、本発明の態様3の逆方向再生用符号化器を示している。図1の場合と同じものを同じ番号で示し、フレーム並べ替え器1を欠いている。フレームメモリ7Aは1面から構成されている。
【0042】
図1に示された逆方向再生用符号化器においては、B画像を使用して符号化を行っており、そのためフレーム並べ替え器1を必要とするが、B画像を使用しなければ、フレームの並べ替えは必要ないので、フレーム並べ替え器1が不要になり、逆順フレーム並べ替え器12において、GOP単位の逆順並べ替えのみを行えばよい。また両方向から予測を行わないので、フレームメモリ7Aとして1面のみ持てばよい。
【0043】
図4は、実施形態(3) の場合の逆方向再生用ビットストリーム生成の符号化を示したものであって、(a) は入力画像の順序、(b) は符号化の順序およびビットストリームの出力順序をそれぞれ示している。(a),(b) において、上段の数字は入力順のフレーム番号を示し、下段のI,PはそれぞれI画像,P画像の区別を示している。また、/はGOPの区切り目を示している。
【0044】
この場合の入力順序は、図3のA点における、図4(a) に示す入力画像のフレーム順序を、逆フレーム並べ替え器12によって、1GOPごとに逆順に並べ替えることによって、図3のC点に、図4(b) に示す出力順序が得られる。これを符号化して、図3のD点にビットストリームとして出力する。
【0045】
この場合の符号化は、例えば最初の18Iをフレーム内符号化したのち、17P〜10Pを順次、前フレームを過去参照画像として動き補償予測を行うことによって、符号化が行われる。
【0046】
符号化されたビットストリームを、ビットストリーム並べ替え器13によって、図示されないメモリに、GOPごとに折り返しながら順次積み上げて蓄積する。すなわち、図4(b) に示す、最初のGOPのビットストリームに相当する9フレームから1フレームのビットストリームを一番下に積み、その上に、18フレームから10フレームまでのビットストリームを積み、さらにその上に、27フレームから19フレームまでのビットストリームを積む形で出力用データを作成する。作成ずみのデータを上から順に、最新のGOPから順次遡って読むことによって、逆方向再生用のビットストリームをリアルタイムに得ることができる。
【0047】
図5は、本発明の実施形態(4) を示したものであって、本発明の態様4の逆方向再生用符号化器を示している。図1の場合と同じものを同じ番号で示し、フレームメモリ7Bは4面から構成されている。
【0048】
図5に示された実施形態と、図1に示された実施形態との大きな違いは、符号化ループ内にフレームメモリを2面余分に持つことであって、この増加分のフレームメモリには、逆方向再生用の符号化のためのI画像を保持しておく。実施形態(4) の場合は、実施形態(1) または(2) の場合のように、Closed GOPで符号化しなければならないという制限がなくなる。また、逆順フレーム並べ替え器と、ビットストリーム並べ替え器とにおける並べ替え方法も、実施形態(1),(2) の場合とは異なっている。
【0049】
図6は、実施形態(4) の場合の逆方向再生用ビットストリーム生成の符号化を示したものであって、(a) は入力画像の順序、(b) は逆フレーム並べ替え器からの出力順序、(c) は符号化の順序およびビットストリームの出力順序、(d) は並べ替え後のビットストリームの出力順序をそれぞれ示している。(a),(b),(c),(d) において、上段の数字は入力順のフレーム番号を示し、下段のI,P,BはそれぞれI画像,P画像,B画像の区別を示している。(c) において、3段目は増設された一方のフレームメモリの記憶内容、4段目は増設された他方のフレームメモリの記憶内容である。また、/はGOPの区切り目、%は説明のための区切り目をそれぞれ示している。
【0050】
図5のA点における、図6(a) に示す入力画像のフレーム順序を、逆フレーム並べ替え器12によって、1区切りごとに並べ替えることによって、図5のB点に、図6(b) に示す出力順序が得られる。これをフレーム並べ替え器1によって、符号化の順に並べ替えて、図5のC点に、図6(c) に示す順序のフレームを出力し、これを符号化して、図5のD点にビットストリームとして出力する。この際、I画像の符号化結果を交互にフレームメモリに格納して、次の区切り目の終わりまで保持する。さらに、これをビットストリーム並べ替え器13によって、図2(c) の場合と同様に並べ替えて、GOPごとに区切って出力する。
【0051】
この場合の符号化は、次のようにして行われる。例えば16Iをフレーム内符号化してフレームメモリ7Bの一面に保存し、次に16Iから動き補償予測を用いて13Pを符号化し、次に16Pと13Pとから動き補償予測を用いて15Bと14Bを符号化し、次に13Pから動き補償予測を用いて10Pを符号化し、次に13Pと10Pとから動き補償予測を用いて12Bと11Bを双方向予測符号化し、次に13Pと前回符号化してフレームメモリに保存されていた7Iとから動き補償予測を用いて9Bと8Bを双方向予測符号化する。
【0052】
符号化されたビットストリームを、ビットストリーム並べ替え器13によって図6(d) に示すように並べ替えたのち、図示されないメモリに、GOPごとに折り返しながら順次積み上げて蓄積する。すなわち、図6(d) に示す、最初のGOPのビットストリームに相当する7フレームから2フレームのビットストリームを一番下に積み、その上に、16フレームから11フレームまでのビットストリームを積み、さらにその上に、25フレームから20フレームまでのビットストリームを積む形で出力用データを作成する。作成ずみのデータを上から順に、最新のGOPから順次遡って読むことによって、逆方向再生用のビットストリームをリアルタイムに得ることができる。
【0053】
本発明の実施形態(5) は本発明の態様(5) に対応し、図5の構成において、n(nは任意の整数)フレームごとに画像を入力することによって、n倍速の逆再生用ビットストリームを生成することができる。
【0054】
図7は、本発明の一応用例を示したものであって、順方向再生用ビットストリームと、逆方向再生用ビットストリームとを同時に生成するシステム構成例を示している。
【0055】
図7において、100は順方向再生用符号化器を示し、例えば図8に示された従来の順方向再生用符号化器と同様の構成を有している。また200は逆方向再生用符号化器を示し、図1〜図6に示されたような、本発明の逆方向再生用符号化器と同様の構成を有している。
【0056】
図7の構成によれば、順方向再生用ビットストリームと、逆方向再生用ビットストリームとを同時にリアルタイムに得ることができる。
【0057】
以上の説明においては、画像処理をフレーム単位で行うものとしたが、本発明はこれに限るものでなく、フレームをフィールドに置き換えてもよい。また各実施形態は、ハードウェア構成をとるものとして説明したが、本発明方式は、ソフトウェアのみで処理する符号器にも適用可能である。
【0058】
また上述のGOPの定義は、1GOP内に複数のI画像を含む場合には、I画像を1枚以上含む画像群に分割してもよく、MPEG等の定義とは必ずしも一致しない場合もあり得る。
【0059】
【発明の効果】
以上説明したように本発明によれば、動画像符号化方式において、通常のリアルタイムで順方向再生用ビットストリームを生成する動画像符号化器に対して、若干の機能追加を行うことによって、リアルタイムで逆方向再生用ビットストリームを生成可能な、動画像符号化器を実現することができる。
【図面の簡単な説明】
【図1】本発明の実施形態(1) を示す図である。
【図2】実施形態(1) の場合の逆方向再生用ビットストリーム生成の符号化を示す図であって、(a) は入力画像の順序、(b) は逆フレーム並べ替え器からの出力順序、(c) は符号化の順序およびビットストリームの出力順序をそれぞれ示す。
【図3】本発明の実施形態(3) を示す図である。
【図4】実施形態(3) の場合の逆方向再生用ビットストリーム生成の符号化を示す図であって、(a) は入力画像の順序、(b) は符号化の順序およびビットストリームの出力順序をそれぞれ示す。
【図5】本発明の実施形態(4) を示す図である。
【図6】実施形態(4) の場合の逆方向再生用ビットストリーム生成の符号化を示す図であって、(a) は入力画像の順序、(b) は逆フレーム並べ替え器からの出力順序、(c) は符号化の順序およびビットストリームの出力順序、(d) は並べ替え後のビットストリームの出力順序をそれぞれ示す。
【図7】本発明の一応用例を示す図である。
【図8】順方向再生用符号化器の構成例を示す図である。
【図9】予測符号化で用いる参照画像の関係を説明する図である。
【図10】順方向再生用ビットストリーム生成の符号化を説明する図であって、(a) は入力画像の順序、(b) は符号化の順序とビットストリームの出力順序をそれぞれ示す。
【符号の説明】
12 逆順フレーム並べ替え器
13 ビットストリーム並べ替え器
20 画像符号化器
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a moving image coding method, and more particularly to a moving image coding method capable of generating a backward reproduction bit stream in real time.
[0002]
For example, VOD (Video on Demand) is an application that records moving image data on a storage medium such as a hard disk, an MO (magneto-optical disk), or a CD-ROM, and accesses the medium directly or via a communication path. Has been developed.
[0003]
As a moving image encoding method in such a case, it is required to realize a moving image encoding method capable of generating a bitstream for backward reproduction in real time.
[0004]
[Prior art]
Since moving image data has an enormous amount of information, generally, a method of recording information on a recording medium by compressing the amount of information by high-efficiency encoding is employed. Typical examples of high-efficiency encoding methods in this case are MPEG-1 (ISO / IEC 11172) and MPEG-2 (ISO / IEC 13818). These encoding methods are inter-frame encoding (P image or B image) using motion compensation in which intra-frame encoding (I image) is periodically inserted.
[0005]
Here, an I picture (Intra coded picture) is an intra-frame coded picture, which is an picture that is coded using only information of the picture. P picture (Predictive coded picture) is a prediction coding picture, and means a picture coded from a past reference picture using motion compensation prediction. A B picture (Bidirectionally predictive coded picture) is a bidirectional predictive coded picture, and refers to an picture that is coded from a past reference picture and / or a future reference picture using motion compensated prediction.
[0006]
FIG. 8 shows a configuration example of a forward reproduction encoder, which is represented by MPEG-1 or MPEG-2, and is an interframe coding (P (Image or B image).
[0007]
In FIG. 8, 1 is a frame rearranger, 2 is a discrete cosine transformer (DCT), 3 is a quantizer (Q), 4 is a variable length encoder (VLC), and 5 is an inverse quantizer (IQ). , 6 is an inverse discrete cosine transformer (IDCT), 7 is a frame memory (or field memory) (FM), 8 is a motion detector (ME), 9 is a motion compensator (variable delay) (MC), and 10 is a subtraction. And 11 is an adder.
[0008]
For the image input, the frames are rearranged in the encoding order in the frame rearrangement unit 1 having a frame memory of 1 GOP or more and a function of changing the frame order for each frame of 1 GOP. Here, GOP (Group of Picture) indicates an image group as a unit of processing, and an I image is arranged at the head. On the other hand, the frame memory 7 stores images encoded in the past. The motion detector 8 detects a motion vector by taking the difference between the rearranged image and the image in the frame memory 7.
[0009]
The motion compensator 9 performs motion compensation on the output image of the frame memory 7 using a motion vector, and generates a motion compensated reproduced image. The subtracter 10 obtains the difference between the rearranged image and the motion compensated reproduced image, performs the discrete cosine transform in the discrete cosine transformer 2, and performs the quantization in the quantizer 3. Further, the variable length encoder 4 encodes the quantization result into a variable length code together with the motion vector detected by the motion detector 8 and outputs it as a bit stream.
[0010]
On the other hand, the quantization result is inversely quantized by the inverse quantizer 5 and the result of inverse discrete cosine transform by the inverse discrete cosine transformer 6 is added to the motion compensated reproduced image by the adder 11. A locally decoded image is generated and stored in the frame memory 7. Two frame memories 7 are provided corresponding to the I image and the P image.
[0011]
FIG. 9 illustrates the relationship between reference images used in predictive coding, and illustrates a prediction reference screen for I images, P images, and B images. As shown in the figure, 1 GOP is composed of 9 frames, and I, P, and B image frames are arranged in sequence as I, B, B, B, P, B, B, B, P. It shall be encoded. That is, in this case, 1 GOP is encoded in about 0.3 seconds.
[0012]
In this case, the I image is first intra-frame encoded, and then the P image is encoded by (one-way) predictive encoding. Next, the B image between the I image and the P image is sequentially encoded by bidirectional predictive encoding. Further, the next P image is encoded by predictive encoding from the P image. Next, the B image between the P image and the P image is sequentially encoded by bidirectional predictive encoding.
[0013]
10A and 10B illustrate encoding for generating a forward reproduction bitstream, where FIG. 10A shows the order of input images, and FIG. 10B shows the order of encoding and the output order of bitstreams. . In (a) and (b), the upper numbers indicate the frame numbers in the input order, and the lower I, P, and B indicate the distinction between the I image, the P image, and the B image, respectively. In addition, / indicates a GOP break.
[0014]
As shown in FIG. 10A, the order of the input image at the point A in FIG. 8 includes two frames of B images between the I image and the P image and between the P image and the P image. When this is encoded, it is encoded at the point C in FIG. 8 in the order shown in FIG. 10B, and is output as a bit stream to the point D in FIG. In this case, the I image is first encoded, and then the B image and the next B image are encoded using the I image and the P image.
[0015]
Next, the P image is encoded using the I image, and the B image and the next B image are encoded using the I image and the P image. Further, the next P image is encoded using the P image, and the B image and the next B image are encoded using the two P images.
[0016]
In this way, encoding for generating a normal forward reproduction bitstream can be performed. The output bit stream is output in the order of I, B, B, P, B, B, P, B, B for each GOP. In a later-stage decoder (not shown), when a bit stream arranged in such an order is received, decoding can be performed and the original image can be reproduced in the forward direction.
[0017]
[Problems to be solved by the invention]
On the other hand, from the user's point of view, there is a demand not only for forward playback but also for backward playback as in the case of VCR (VTR). However, in general, in order to perform backward reproduction from a bit stream for forward reproduction, it is necessary to have a frame memory for a number of frames on the receiving side (decoding side). Will become expensive. Therefore, it is necessary to generate a reverse bit stream on the transmission side (encoder).
[0018]
Conventionally, on the transmission side, for example, in order to generate a bitstream for backward playback of a program for one hour, the program is once recorded as a forward image using a VCR or the like, and a frame is created by editing the VCR. In this case, the rearranged order must be rearranged, and the rearranged frames must be input to the image encoder to create a bit stream for reverse playback. For this reason, it is impossible to create a bit stream for reverse playback unless editing work is indispensable and one program has been recorded.
[0019]
On the other hand, there is a demand to generate data for reverse playback in real time. For example, when broadcasting live programs such as sports on a hard disk, There is a case where it is desired to perform backward reproduction. In this case, it is necessary to create data for backward reproduction in real time. However, it is impossible to generate a bit stream in real time with the above-described method in which encoding is performed in the reverse direction after editing with the VCR.
[0020]
The present invention is intended to solve such a problem of the prior art, and in an image encoding system that generates a normal reproduction bitstream in real time in a moving image encoding system, It is an object of the present invention to provide a real-time backward reproduction moving image coding method capable of generating a reverse reproduction bitstream in real time by adding a few functions.
[0021]
[Means for Solving the Problems]
In the present invention, for example, a frame memory of 1 GOP (Group of Picture) or more representing an image group and a function of changing the frame order are provided in the previous stage of the image encoder. The frames whose order has been changed in this way are input to the image encoder. In the image encoder, a closed GOP (in the order of input, in the encoding of the B image arranged immediately before the I image, only the I image is used as the reference image, and the I image or P immediately before the B image is used. An image is a GOP when not used as a reference image), and a bit stream for reverse reproduction is generated in real time by rearranging the output bit stream in reverse order of output in units of GOP. (Aspect 1 of the present invention).
[0022]
In this case, an n-times bit stream can be generated by inputting an image every n frames (aspect 2 of the present invention).
[0023]
At this time, if the B image is not used for encoding, the configuration of the image encoder can be simplified (aspect 3 of the present invention).
[0024]
In contrast to the scheme of aspect 1, a frame memory for backward encoding is provided in the encoding loop of the image encoder, and the I image is accumulated, thereby being closed.
Even if encoding is performed without limitation of GOP, a bit stream for reverse reproduction can be generated (aspect 4 of the present invention).
[0025]
In the mode 4, an n-times bit stream can be generated by inputting an image every n frames (aspect 5 of the present invention).
[0026]
Hereinafter, specific means for solving the problems of the present invention will be described.
[0027]
(1) I-frame coding for performing intra-frame coding periodically in the order of input on framed image data, and P-picture coding for predictive coding from a past reference image in the middle of this I-picture coding; The input frames are rearranged and encoded so that the B image encoding that performs bidirectional predictive encoding from the past reference image and the future reference image is performed in a predetermined order, and is performed first after the I image encoding. B image encoding is performed using only this I image as a reference image, and the encoding result is sequentially encoded in a variable length to output a bitstream. A reverse frame rearranging unit 12 is provided for accumulating frames equal to or more than GOP indicating the number of frames in the image encoding cycle and switching the order of input frames in the reverse direction for each GOP. In addition, a bit stream rearranging unit 13 that sequentially accumulates and accumulates the bit stream output of the image encoder 20 for each GOP and stores it in the memory is provided at the subsequent stage of the image encoder 20, and the contents of this memory are stored from the latest GOP. By playing back sequentially, the backward reproduction bit stream is output in real time.
[0028]
(2) In the case of (1), by inputting image data at n (n is an arbitrary integer) frame interval, an n-times speed reverse reproduction bit stream is output.
[0029]
(3) In the case of (1) or (2), by performing encoding only by I image encoding and P image encoding, a reverse reproduction bit stream or an n-times reverse reproduction bit stream is output. .
[0030]
(4) For framed image data, I image coding is performed for intra-frame coding periodically in the order of input, and P image coding for predictive coding from past reference images in the middle of this I image coding; B image coding for bi-directional predictive coding from past reference images and future reference images is performed in a predetermined order, and P image coding is performed immediately after I image coding, and then B image coding is performed. The input frames are rearranged and encoded so as to perform B image encoding using the I image of the previous I image encoding cycle held in the memory 7B at the end of the I image encoding cycle as one reference image. For the image encoder 20 that sequentially encodes the encoding results and outputs a bit stream, frames equal to or more than the GOP indicating the number of frames in the I image encoding period are stored in the previous stage of the image encoder 20. The reverse frame rearrangement unit 12 is provided for multiplying the input frames in the reverse direction for each GOP, and the order of the frames in the bitstream output of the image encoder 20 is provided at the subsequent stage of the image encoder 20. After rearranging in a predetermined order, a bit stream rearranging unit 13 is provided that sequentially accumulates each GOP and stores it in the memory, and reproduces the contents of this memory sequentially from the latest GOP. Output reverse-direction playback bitstream in real time.
[0031]
(5) In the case of (4), by inputting image data at n (n is an arbitrary integer) frame interval, an n-times speed reverse reproduction bit stream is output.
[0032]
(6) In the case of (1) to (5), an image field is used instead of the framed image data, and processing for each field is performed instead of processing for each frame.
[0033]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 shows an embodiment (1) of the present invention, and shows a reverse reproduction encoder according to aspect 1 of the present invention. The same forward reproduction encoder as in FIG. 8 is shown by the image encoder 20, 12 is a reverse frame rearranger, and 13 is a bitstream rearranger.
[0034]
The major difference between the embodiment shown in FIG. 1 and the conventional example shown in FIG. 8 is that it has a reverse-order frame rearranger 12 and a bitstream rearranger 13, and the encoding is a Closed GOP. Is to process. The reverse order frame rearrangement unit 12 has a function of accumulating frames that are equal to or more than 1 GOP (number of frames from the I image to the next I image) of the image data input in the forward direction and switching the frame order to the reverse order. And is provided on the input side of the image encoder 20.
[0035]
On the other hand, the bitstream rearranging unit 13 sequentially accumulates the bitstreams output from the image encoder 20 while folding each GOP and stores the bitstreams in the memory.
[0036]
FIG. 2 shows the encoding of the reverse reproduction bit stream generation in the case of the embodiment (1), where (a) is the order of the input images, and (b) is from the reverse frame rearranger. The output order, (c) shows the encoding order and the bitstream output order, respectively. In (a), (b), and (c), the upper number indicates the frame number in the input order, and the lower I, P, and B indicate the distinction between the I image, the P image, and the B image, respectively. In addition, / indicates a GOP break.
[0037]
By rearranging the frame order of the input image shown in FIG. 2A at point A in FIG. 1 in reverse order every GOP by the reverse frame rearranging unit 12, at point B in FIG. The output order shown in) is obtained. This is rearranged by the frame rearranger 1 in the same encoding order as in the prior art, and the frames in the order shown in FIG. 2 (c) are output to the point C in FIG. This is further encoded and output as a bit stream to point D in FIG.
[0038]
The encoding in this case is performed as follows. For example, 16I is intra-frame encoded, then 18B and 17B are encoded from 16I using motion compensated prediction (due to the Closed GOP limitation), then 13P is encoded from 16I using motion compensated prediction, and then 16I And 13P are bi-directionally predictively encoded using motion compensated prediction, then 10P is encoded using motion compensated prediction from 13P, and then 12B and 13P are encoded using motion compensated prediction. 11B is bi-directional predictively encoded.
[0039]
The encoded bit stream is accumulated and stored in a memory (not shown) by the bit stream rearranging unit 13 while being folded back for each GOP. That is, as shown in FIG. 2 (c), a bit stream of 7 frames to 2 frames corresponding to the bit stream of the first GOP is stacked at the bottom, and a bit stream of 16 frames to 11 frames is stacked thereon, Further, output data is created in such a manner that bit streams from 25 frames to 20 frames are stacked thereon. By reading the created data sequentially from the top in order from the latest GOP, a bit stream for backward reproduction can be obtained in real time.
[0040]
The embodiment (2) of the present invention corresponds to the aspect (2) of the present invention. In the configuration of FIG. 1, by inputting an image every n (n is an arbitrary integer) frame, the reverse reproduction at the n-times speed is performed. A bitstream can be generated.
[0041]
FIG. 3 shows an embodiment (3) of the present invention and shows a backward reproduction encoder according to aspect 3 of the present invention. The same elements as those in FIG. 1 are denoted by the same numbers, and the frame rearranger 1 is omitted. The frame memory 7A is composed of one surface.
[0042]
In the backward reproduction encoder shown in FIG. 1, encoding is performed using a B image, and therefore a frame rearranger 1 is required. If a B image is not used, a frame is used. Therefore, the frame rearranging unit 1 is not necessary, and the reverse frame rearranging unit 12 only needs to perform reverse rearrangement in units of GOPs. Further, since prediction is not performed from both directions, it is sufficient to have only one surface as the frame memory 7A.
[0043]
FIG. 4 shows coding for generating a backward reproduction bit stream in the case of the embodiment (3), where (a) is the order of the input images, and (b) is the coding order and the bit stream. The output order is shown respectively. In (a) and (b), the upper numbers indicate the frame numbers in the input order, and the lower I and P indicate the distinction between the I image and the P image, respectively. In addition, / indicates a GOP break.
[0044]
The input order in this case is as shown in FIG. 3 by rearranging the frame order of the input image shown in FIG. 4A at point A in FIG. At the point, the output order shown in FIG. 4 (b) is obtained. This is encoded and output as a bit stream to point D in FIG.
[0045]
In this case, for example, the first 18I is subjected to intra-frame encoding, and then the motion compensation prediction is performed by sequentially using 17P to 10P and the previous frame as a past reference image.
[0046]
The encoded bit stream is sequentially stacked and stored in a memory (not shown) by the bit stream rearranging unit 13 while being folded back for each GOP. That is, as shown in FIG. 4 (b), a bit stream of 9 frames to 1 frame corresponding to the bit stream of the first GOP is stacked at the bottom, and a bit stream of 18 frames to 10 frames is stacked thereon, Furthermore, output data is created in such a manner that bit streams from 27 frames to 19 frames are stacked thereon. By reading the created data sequentially from the top in order from the latest GOP, a bit stream for backward reproduction can be obtained in real time.
[0047]
FIG. 5 shows an embodiment (4) of the present invention and shows a backward reproduction encoder according to aspect 4 of the present invention. The same components as those in FIG. 1 are denoted by the same numbers, and the frame memory 7B is composed of four surfaces.
[0048]
The major difference between the embodiment shown in FIG. 5 and the embodiment shown in FIG. 1 is that the frame memory has two extra frames in the encoding loop. The I image for encoding for backward reproduction is held. In the case of the embodiment (4), there is no restriction that it must be encoded with a Closed GOP as in the case of the embodiment (1) or (2). Further, the rearrangement method in the reverse order frame rearranger and the bitstream rearranger is also different from those in the embodiments (1) and (2).
[0049]
FIG. 6 shows the encoding of the reverse reproduction bit stream generation in the case of the embodiment (4), where (a) is the order of the input images, and (b) is from the reverse frame rearranger. The output order, (c) shows the encoding order and bitstream output order, and (d) shows the rearranged bitstream output order. In (a), (b), (c), (d), the upper number indicates the frame number in the input order, and the lower I, P, and B indicate the distinction between the I image, the P image, and the B image, respectively. ing. In (c), the third row shows the stored contents of one of the added frame memories, and the fourth row shows the stored contents of the other added frame memory. Further, / indicates a GOP break, and% indicates a break for explanation.
[0050]
By rearranging the frame order of the input image shown in FIG. 6A at point A in FIG. 5 for each segment by the reverse frame rearranging unit 12, at point B in FIG. The output order shown in FIG. This is rearranged by the frame rearranger 1 in the order of encoding, and the frame in the order shown in FIG. 6 (c) is output to the point C in FIG. Output as a bitstream. At this time, the encoding result of the I image is alternately stored in the frame memory and held until the end of the next break. Further, this is rearranged by the bitstream rearranger 13 in the same manner as in FIG. 2 (c), and is output for each GOP.
[0051]
The encoding in this case is performed as follows. For example, 16I is intra-frame encoded and stored in one side of the frame memory 7B, then 13P is encoded using motion compensated prediction from 16I, and then 15B and 14B are encoded using motion compensated prediction from 16P and 13P. Next, 10P is encoded from 13P using motion compensated prediction, then 12B and 11B are bidirectionally encoded from 13P and 10P using motion compensated prediction, and then 13P and the previous encoding are performed as frame memory. The bi-predictive coding of 9B and 8B is performed using motion compensated prediction from 7I stored in.
[0052]
The encoded bitstream is rearranged by the bitstream rearranger 13 as shown in FIG. 6 (d), and then sequentially stacked and stored in a memory (not shown) for each GOP. That is, as shown in FIG. 6 (d), a bit stream of 7 frames to 2 frames corresponding to the bit stream of the first GOP is stacked at the bottom, and a bit stream of 16 frames to 11 frames is stacked thereon, Further, output data is created in such a manner that bit streams from 25 frames to 20 frames are stacked thereon. By reading the created data sequentially from the top in order from the latest GOP, a bit stream for backward reproduction can be obtained in real time.
[0053]
The embodiment (5) of the present invention corresponds to the aspect (5) of the present invention. In the configuration of FIG. 5, by inputting an image every n (n is an arbitrary integer) frame, the reverse reproduction for n-times speed is performed. A bitstream can be generated.
[0054]
FIG. 7 shows an application example of the present invention, and shows a system configuration example for simultaneously generating a forward reproduction bit stream and a backward reproduction bit stream.
[0055]
In FIG. 7, reference numeral 100 denotes a forward reproduction encoder, which has, for example, the same configuration as the conventional forward reproduction encoder shown in FIG. Reference numeral 200 denotes a backward reproduction encoder, which has the same configuration as that of the backward reproduction encoder of the present invention as shown in FIGS.
[0056]
According to the configuration of FIG. 7, the forward reproduction bit stream and the backward reproduction bit stream can be simultaneously obtained in real time.
[0057]
In the above description, image processing is performed in units of frames. However, the present invention is not limited to this, and frames may be replaced with fields. Each embodiment has been described as having a hardware configuration, but the method of the present invention can also be applied to an encoder that performs processing only by software.
[0058]
In addition, when a plurality of I images are included in one GOP, the above GOP definition may be divided into an image group including one or more I images, and may not necessarily match the definition of MPEG or the like. .
[0059]
【The invention's effect】
As described above, according to the present invention, in the moving image coding system, real-time encoding is performed by adding some functions to the moving image encoder that generates a normal reproduction bit stream in real time. Thus, it is possible to realize a moving image encoder capable of generating a backward reproduction bit stream.
[Brief description of the drawings]
FIG. 1 is a diagram showing an embodiment (1) of the present invention.
FIGS. 2A and 2B are diagrams illustrating encoding for generating a backward reproduction bit stream in the case of the embodiment (1), where FIG. 2A is a sequence of input images, and FIG. 2B is an output from a reverse frame rearranger. The order, (c) shows the order of encoding and the output order of the bitstream, respectively.
FIG. 3 is a diagram showing an embodiment (3) of the present invention.
FIGS. 4A and 4B are diagrams illustrating encoding for generating a backward reproduction bit stream in the case of the embodiment (3), in which FIG. 4A is an input image order, and FIG. 4B is an encoding order and bit stream order; Each output order is shown.
FIG. 5 is a diagram showing an embodiment (4) of the present invention.
FIGS. 6A and 6B are diagrams illustrating encoding for generating a backward reproduction bit stream in the case of the embodiment (4), where FIG. 6A is an order of input images, and FIG. 6B is an output from a reverse frame rearranger. (C) shows the encoding order and bitstream output order, and (d) shows the rearranged bitstream output order.
FIG. 7 is a diagram showing an application example of the present invention.
FIG. 8 is a diagram illustrating a configuration example of a forward reproduction encoder.
FIG. 9 is a diagram for explaining a relationship between reference images used in predictive coding.
FIGS. 10A and 10B are diagrams illustrating encoding for generating a forward reproduction bitstream, where FIG. 10A shows the order of input images, and FIG. 10B shows the order of encoding and the output order of bitstreams;
[Explanation of symbols]
12 reverse order frame rearrangement unit 13 bit stream rearrangement unit 20 image encoder

Claims (6)

フレーム化された画像データについて、入力順に周期的にフレーム内符号化するI画像符号化を行ない、該I画像符号化の中間において、過去参照画像から予測符号化するP画像符号化と、過去参照画像と未来参照画像とから双方向予測符号化するB画像符号化とを所定の順序で行なうように入力フレームを並べ替えて符号化するとともに、I画像符号化の後で最初に行われるB画像符号化を該I画像のみを参照画像として行ない、符号化結果を順次可変長符号化してビットストリームを出力する画像符号化器に対して、
該画像符号化器の前段に、前記I画像符号化周期のフレーム数を示すGOP分以上のフレームを蓄積して入力フレームの順序をGOPごとに逆方向順序に入れ替える逆順フレーム並べ替え器を設けるとともに、
該画像符号化器の後段に、該画像符号化器のビットストリーム出力をGOPごとに折り返しながら順次積み上げてメモリに蓄積するビットストリーム並べ替え器を設け、
該メモリの内容を最新のGOPから順次遡って再生することによって、逆方向再生用ビットストリームをリアルタイムに出力することを特徴とするリアルタイム逆方向再生用動画像符号化方式。
For framed image data, I image coding is performed to periodically perform intra-frame coding in the order of input, and P image coding for predictive coding from a past reference image in the middle of the I image coding, and past reference The B image first encoded after the I image encoding is performed by rearranging and encoding the input frames so that the B image encoding that performs bidirectional predictive encoding from the image and the future reference image is performed in a predetermined order. For an image encoder that performs encoding only with the I image as a reference image, sequentially encodes the encoding result, and outputs a bit stream.
A reverse frame rearranger is provided in the preceding stage of the image encoder to accumulate frames equal to or more than GOP indicating the number of frames in the I image encoding period and to change the order of input frames in the reverse direction for each GOP. ,
A bitstream rearranger that sequentially accumulates and accumulates the bitstream output of the image encoder for each GOP and stores it in a memory is provided at a subsequent stage of the image encoder.
A video encoding method for real-time reverse reproduction, wherein a bit stream for reverse reproduction is output in real time by reproducing the contents of the memory sequentially from the latest GOP.
請求項1に記載のリアルタイム逆方向再生用動画像符号化方式において、n(nは任意の整数)フレーム間隔で画像データを入力することによって、n倍速の逆方向再生用ビットストリームを出力することを特徴とするリアルタイム逆方向再生用動画像符号化方式。The moving image coding system for real-time backward reproduction according to claim 1, wherein an image data is input at n (n is an arbitrary integer) frame interval, thereby outputting an n-times reverse reproduction bitstream. A video encoding method for real-time reverse playback characterized by 請求項1または2に記載のリアルタイム逆方向再生用動画像符号化方式において、I画像符号化およびP画像符号化のみによって符号化することによって、逆方向再生用ビットストリームまたはn倍速の逆方向再生用ビットストリームを出力することを特徴とするリアルタイム逆方向再生用動画像符号化方式。3. The moving image coding system for real-time reverse reproduction according to claim 1 or 2, wherein the bit stream for reverse reproduction or the reverse reproduction of n-times speed is obtained by encoding only by I image encoding and P image encoding. A video encoding method for real-time backward reproduction, characterized in that a bit stream for video is output. フレーム化された画像データについて、入力順に周期的にフレーム内符号化するI画像符号化を行ない、該I画像符号化の中間において、過去参照画像から予測符号化するP画像符号化と、過去参照画像と未来参照画像とから双方向予測符号化するB画像符号化とを所定の順序で行なうとともに、前記I画像符号化の直後にP画像符号化を行ったのちB画像符号化を行ない、I画像符号化周期の最後にメモリに保持された前I画像符号化周期のI画像を一方の参照画像としてB画像符号化を行なうように、入力フレームを並べ替えて符号化し、該符号化結果を順次可変長符号化してビットストリームを出力する画像符号化器に対して、
該画像符号化器の前段に、前記I画像符号化周期のフレーム数を示すGOP分以上のフレームを蓄積して入力フレームの順序をGOPごとに逆方向順序に入れ替える逆順フレーム並べ替え器を設けるとともに、
該画像符号化器の後段に、該画像符号化器のビットストリーム出力における各フレームの順序が前記所定の順序になるように並べ替えたのち、GOPごとに折り返しながら順次積み上げてメモリに蓄積するビットストリーム並べ替え器を設け、
該メモリの内容を最新のGOPから順次遡って再生することによって、逆方向再生用ビットストリームをリアルタイムに出力することを特徴とするリアルタイム逆方向再生用動画像符号化方式。
For framed image data, I image coding is performed to periodically perform intra-frame coding in the order of input, and P image coding for predictive coding from a past reference image in the middle of the I image coding, and past reference B image coding that performs bidirectional predictive coding from an image and a future reference image is performed in a predetermined order, and P image coding is performed immediately after the I image coding, and then B image coding is performed. The input frames are rearranged and encoded so that the B image encoding is performed using the I image of the previous I image encoding cycle held in the memory at the end of the image encoding cycle as one reference image, and the encoding result is For an image encoder that sequentially outputs a bit stream by variable length encoding,
A reverse frame rearranger is provided in the preceding stage of the image encoder to accumulate frames equal to or more than GOP indicating the number of frames in the I image encoding period and to change the order of input frames in the reverse direction for each GOP. ,
Bits that are rearranged in the subsequent stage of the image encoder so that the order of the frames in the bitstream output of the image encoder is in the predetermined order, and then are sequentially stacked and accumulated in the memory while being folded back for each GOP A stream sorter,
A video encoding method for real-time reverse reproduction, wherein a bit stream for reverse reproduction is output in real time by reproducing the contents of the memory sequentially from the latest GOP.
請求項4に記載のリアルタイム逆方向再生用動画像符号化方式において、n(nは任意の整数)フレーム間隔で画像データを入力することによって、n倍速の逆方向再生用ビットストリームを出力することを特徴とするリアルタイム逆方向再生用動画像符号化方式。5. The moving image coding system for real-time reverse reproduction according to claim 4, wherein an n-times reverse reproduction bitstream is output by inputting image data at n (n is an arbitrary integer) frame interval. A video encoding method for real-time reverse playback characterized by 請求項1から5までのうちのいずれかに記載のリアルタイム逆方向再生用動画像符号化方式において、フレーム化された画像データに代えて画像フィールドを用い、フレームごとの処理に代えてフィールドごとの処理を行うことを特徴とするリアルタイム逆方向再生用動画像符号化方式。6. The moving image coding system for real-time backward reproduction according to claim 1, wherein an image field is used instead of framed image data, and each field is replaced with a process for each frame. A video encoding method for real-time backward reproduction, characterized by performing processing.
JP18577596A 1996-07-16 1996-07-16 Video coding method for real-time backward playback Expired - Fee Related JP3663559B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP18577596A JP3663559B2 (en) 1996-07-16 1996-07-16 Video coding method for real-time backward playback

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP18577596A JP3663559B2 (en) 1996-07-16 1996-07-16 Video coding method for real-time backward playback

Publications (2)

Publication Number Publication Date
JPH1032787A JPH1032787A (en) 1998-02-03
JP3663559B2 true JP3663559B2 (en) 2005-06-22

Family

ID=16176681

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18577596A Expired - Fee Related JP3663559B2 (en) 1996-07-16 1996-07-16 Video coding method for real-time backward playback

Country Status (1)

Country Link
JP (1) JP3663559B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100543453B1 (en) 2003-04-24 2006-01-23 삼성전자주식회사 Apparatus and method for controlling bit rate of digital video data in reverse play
JP4190458B2 (en) * 2004-05-17 2008-12-03 三洋電機株式会社 Image processing device
US8155186B2 (en) 2004-08-11 2012-04-10 Hitachi, Ltd. Bit stream recording medium, video encoder, and video decoder

Also Published As

Publication number Publication date
JPH1032787A (en) 1998-02-03

Similar Documents

Publication Publication Date Title
JP3089160B2 (en) Digital recording and playback device
JP2002359848A (en) Image processor
JP4337248B2 (en) Image information transmission apparatus, transmission system, and transmission method
JP3403168B2 (en) Image processing method, image processing apparatus capable of using the method, and television receiver
KR0185932B1 (en) Video data decoding method and apparatus
JP2776212B2 (en) Code recording device
JPH08154230A (en) Method for storing moving image coded data on medium
KR100860661B1 (en) Image reproducing method and image processing method, and image reproducing device, image processing device, and television receiver capable of using the methods
JP3663559B2 (en) Video coding method for real-time backward playback
JP3152268B2 (en) Image information recording method and image information reproducing method
JP3515565B2 (en) Image processing method, image processing apparatus capable of using the method, and television receiver
JP3501521B2 (en) Digital video signal reproducing apparatus and reproducing method
JPH11289515A (en) Picture signal processor and its method, picture signal recorder and its method and recording medium
JP2005518728A (en) Image processing method and apparatus
JP3403169B2 (en) Image reproducing method, image reproducing apparatus and television receiver that can use this method
JP4178521B2 (en) Encoded video signal recording method and video signal encoding apparatus
JP3374128B2 (en) Image processing method, image processing apparatus capable of using the method, and television receiver
JP3403167B2 (en) Image processing method, image processing apparatus capable of using the method, and television receiver
JP3403166B2 (en) Image reproducing method, image reproducing apparatus and television receiver that can use this method
JP3548167B2 (en) Image processing device
KR100312420B1 (en) Video code method for esay reverse video play
JPH09298711A (en) Device for generating compressed image data for editing for image information recording and reproducing device
JP2005159832A (en) Signal processor
JP3381723B2 (en) Data generator
JP3381725B2 (en) Data recording device

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050317

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees