JP3824678B2 - 画像復号表示装置 - Google Patents
画像復号表示装置 Download PDFInfo
- Publication number
- JP3824678B2 JP3824678B2 JP11051295A JP11051295A JP3824678B2 JP 3824678 B2 JP3824678 B2 JP 3824678B2 JP 11051295 A JP11051295 A JP 11051295A JP 11051295 A JP11051295 A JP 11051295A JP 3824678 B2 JP3824678 B2 JP 3824678B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel data
- decoding
- frame
- field
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
- H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
- H04N19/427—Display on the fly, e.g. simultaneous writing to and reading from decoding memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Input (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【産業上の利用分野】
この発明は、符号化された画像データを復号して表示装置への表示のために復号後の画素データを出力する画像復号表示装置に関し、特に、予測符号化された動画像データを復号して表示のために出力する画像復号表示装置に関する。より特定的にはＭＰＥＧ（Motion Picture Experts Group）標準の復号処理におけるＢピクチュアを記憶する記憶素子の記憶容量を低減するための構成に関する。
【０００２】
【従来の技術】
膨大な量の画像データの伝送時、画像データを高能率で符号化してデータ量を低減することが行なわれる。このような高能率符号化手法の１つに、フレーム（またはフィールド）間予測符号化方式がある。このフレーム（またはフィールド）間予測符号化は、画像の時間的相関性を利用する符号化方式であり、動画像データの符号化においてよく用いられている。
【０００３】
このフレーム（またはフィールド）間予測符号化は以下の手順を含む。符号化対象となる現画面画像（フレームまたはフィールド）と時間的に近接する画面画像（以下、単に画像と称す）を参照画像として現画像の画素データの値を予測する。この予測値と現画像の画素データとの差分（予測誤差）を求め、この予測誤差を符号化する。予測値としては、符号化される現画像画素に対応する参照画像画素（通常、動画像符号化においては、動き補償された参照画像の画素）のデータが用いられる。画像の時間的相関性が高い場合には、この差分（予測誤差）は小さな値となるため、伝送すべきデータ量を低減することができ、効果的な情報の圧縮が実現される。
【０００４】
このような予測符号化方式の１つに、動画像を対象とするＭＰＥＧ規格がある。このＭＰＥＧ規格の画像データの符号化および復号化方式は、たとえば、日経エレクトロニクス、１９９４年３月１４日号の第８２頁ないし第１１６頁に解説されているが、以下に簡単に説明する。
【０００５】
画像には、Ｉピクチュア、ＰピクチュアおよびＢピクチュアなどの種類が存在し、画像の種類に応じて用いられる予測方式が異なる。
【０００６】
図２７は、画像の時間的配列の一例を示す図である。図２７においては、９枚の画像Ｇ１〜Ｇ９が代表的に示される。画像Ｇ３は、Ｉピクチュアであり、フレーム内またはフィールド内符号化され、画素データそのものが符号化される画像である。画像Ｇ６およびＧ９は、Ｐピクチュアであり、過去の再生画像を用いてフレーム間またはフィールド間予測符号化処理される画像である。画像Ｇ１，Ｇ２，Ｇ４，Ｇ５，Ｇ７およびＧ８は、Ｂピクチュアであり、過去および未来の再生画像のいずれかまたは両者の再生画像を用いて予測符号化される画像である。このＢピクチュアは、ＩピクチュアおよびＰピクチュアまたはＰピクチュアおよびＰピクチュアの組を用いて予測符号化される。Ｂピクチュアは、予測符号化時および復号化時においては参照画像としては用いられない。図２７においては、ＢピクチュアＧ１およびＧ２は、時間的に後に位置する未来の画像ＩピクチュアＧ３を用いて予測符号化される。ＢピクチュアＧ４およびＧ５は、過去の再生画像であるＩピクチュアＧ３と時間的に後に位置する未来の再生画像であるＰピクチュアＧ６両者を用いて予測符号化される。ＢピクチュアＧ７およびＧ８は、過去の再生画像であるＰピクチュアＧ６と未来の再生画像であるＰピクチュアＧ９を用いて予測符号化される。
【０００７】
図２８は、１つの画像の構成を示す図である。図２８において、１枚の画像（フィールドまたはフレーム）１０２０は、複数のマクロブロックと呼ばれるセグメントに分割される。図２８においては、簡単化のために、画像１０２０は、３２個のマクロブロックＭＢ＃１〜ＭＢ＃３２に分割される構成が一例として示される。動画像の処理は、通常、このマクロブロックと呼ばれるセグメントを単位として実行される（符号化処理および復号化処理いずれにおいても）。マクロブロックＭＢ＃１〜ＭＢ＃３２の各々は、図２８に併せて示すように、通常、水平方向１６画素および垂直方向１６画素に配列された２５６個の画素を含む。したがって、図２８に示す画像１０２０は、１２８画素×６４画素で構成される。ＭＰＥＧ規格においては、この画像（ピクチュア）の構成については、１ライン（走査線）あたり７２０画素以下、および１フレームあたり５７６ライン以下および毎秒３０フレーム以下という条件が規定されている。ただし、ＤＣＴ（離散コサイン変換）処理およびＩＤＣＴ（逆離散コサイン変換）処理においては、８画素×８画素のブロックを単位として処理が行なわれる。
【０００８】
図２９は、ＭＰＥＧ規格に従う画像データのビットストリーム（複数ビット幅）の構成（シンタクス）を概略的に示す図である。図２９において、ビットストリームは、複数のレイヤに分割される。上位から、シーケンスレイヤ、ＧＯＰ（グループ・オブ・ピクチュア）レイヤ、ピクチュアレイヤ、スライステイヤ、マクロブロックレイヤおよびブロックレイヤである。
【０００９】
ブロックレイヤは、ＤＣＴ係数を含む領域１１００ａと、ブロックの終了を示すエンド・オブ・ブロック（ＥＯＢ）を格納する領域１１００ｂを含むブロック１１００で構成される。ＤＣＴ係数データを格納する領域１１００ａは、ＤＣＴ処理の単位となる８行・８列の画素のＤＣＴ係数データを格納する。ブロック１１００において、領域１１００ａの最終のＡＣ係数が非ゼロ係数の場合、領域１１００ｂのエンド・オブ・ブロックＥＯＢは用いられない場合もある。ここで、ＤＣＴ処理は、符号化時において、画像における空間的な冗長性（隣接画素間の高い相関性）を低減して画像データ量の削減を図るために行なわれる。すなわち、ＤＣＴ処理により、ＤＣＴ係数を低域係数領域に偏在させることができる。このＤＣＴ係数を量子化することにより、空間周波数における水平および垂直方向をともに低域成分の値を大きくし、かつ高域成分の値をほとんど“０”とすることができる。これにより画像データ量が低減される。
【００１０】
マクロブロックレイヤは、所定数のブロック（６個）１１００と、マクロブロックのデータの属性および動きベクトル等を格納するマクロブロックヘッダ１１１５を含むブロック１１１０で構成される。
【００１１】
スライスレイヤは、画像の走査順に連結される１つまたは複数のマクロブロックで構成されるスライス１１２０を含む。このスライス１１２０の先頭には、スライスの画面上垂直位置を示す情報およびこのスライスの始まりを示す所定のパターンを有するスタートコードなどの情報が格納されるスライスヘッダ１１２５が設けられる。
【００１２】
ピクチュアレイヤは、複数のスライス１１２０で構成されるピクチュア（画像）１１３０を含む。ピクチュア１１３０の先頭に、ピクチュアの種類（Ｉピクチュア、Ｐピクチュア、Ｂピクチュア等）を示す情報およびピクチュアの開始を示すスタートコードを格納するピクチュアヘッダ１１３５が配置される。
【００１３】
ＧＯＰレイヤは、複数のピクチュア１１３０を含むＧＯＰ１１４０を含む。このＧＯＰ１１４０に含まれるピクチュア１１３０は、１つ以上のＩピクチュアと０または複数のＰピクチュアまたはＢピクチュアを含む。ＧＯＰ１１４０の先頭には、ＧＯＰの始まりを示すスタートコード、およびこのＧＯＰがそれより以前のＧＯＰの画像データからの参照を必要としないことを示すフラグなどの情報を格納するＧＯＰヘッダ１１４５が配置される。
【００１４】
シーケンスレイヤは、１つあるいは複数のＧＯＰ１１４０または１つもしくは複数のピクチュア１１３０で構成されるシーケンス１１５０を含む。シーケンス１１５０の先頭部には、画面のフォーマットなどの情報を格納するシーケンスヘッダ１１５５が配置される。このシーケンスヘッダ１１５５は、シーケンス１１５０に含まれるＧＯＰ１１４０のすべての先頭に配置させることができる（シーケンスの途中からの画像の再生を許容するため）。シーケンスヘッダ１１５５は、シーケンスの開始を示す所定のパターンを有するスタートコード、画像の水平および垂直サイズ、ピクチュアレート（画像表示速度）、ビットレート、およびＢピクチュア周期（ＩピクチュアとＰピクチュアの間または２つのＰピクチュアの間に配置されるＢピクチュアの数）などの情報が格納される。
【００１５】
図３０は、画像復号装置の概略構成を示す図である。図３０において、画像復号装置は、符号化装置から与えられる画像符号化データ（ビットストリーム）を受け、符号化時と逆の処理を行なって元の画素データを復元する復号回路ＤＣと、復号回路ＤＣにおいて復元された画像データを格納するための記憶装置ＭＲを含む。復号回路ＤＣへ与えられる符号化データは、先に説明したように、予測符号化されたデータである。フレーム間予測符号化においては、現フレームの画素データと予測フレーム（参照フレーム）の画素データとの差分が符号化されている。したがって、復号回路ＤＣにおいて復号処理をする場合には、この予測フレーム（参照フレーム）を用いて差分を求める演算と逆の演算、すなわち加算演算を行なう必要がある。この参照フレーム画像データを記憶するために記憶装置ＭＲが設けられる。Ｂピクチュアは、２つのピクチュアを参照画像として用いるため、記憶装置ＭＲは、少なくとも２つのピクチュアの画像データを格納する容量が必要とされる。記憶装置ＭＲは、２つのピクチュアをそれぞれ格納するバンク＃１ＢＫ１およびバンク＃２ＢＫ２を含む。ここで、以下の説明においては、画像符号化データの構造が、偶数フィールドの画素データおよび奇数フィールドの画素データをともに含むフレームを単位とするフレーム構造であると仮定する。この場合、バンク＃１ＢＫ１およびバンク＃２ＢＫ２は、それぞれ１フレームの画像データを格納する記憶容量を備える。
【００１６】
【発明が解決しようとする課題】
前述のごとく、画像データの符号化および復号化処理はマクロブロックを単位として行なわれる。符号化時においては、図３１（Ａ）に示すように、画像１０３０のマクロブロックＭＢは、この図３１（Ａ）に示す番号の順に符号化される。ここで、図３１（Ａ）においては、画像１０３０は水平方向にＮ個、かつ垂直方向にＭ個のマクロブロックに分割される構成が示される。便宜的に、以下の説明において水平方向に整列して配置されるＮ個のマクロブロックＭＢを「１マクロブロックライン」と称す。符号化時においては、各マクロブロックラインにおいて画面上左端のマクロブロックから画面上右方向へのマクロブロックへと符号化処理が進む。あるマクロブロックラインの最後のマクロブロック、たとえばマクロブロックＭＢ（Ｎ）の符号化処理が終了した後、次のマクロブロックラインの左端のマクロブロック（たとえばマクロブロックＭＢ（Ｎ＋１））の符号化処理が行なわれる。符号化装置から伝送される符号化画像データも、図３１（Ｂ）に示すように、符号化されたマクロブロックの順に伝送される。
【００１７】
復号回路（図３０参照）は、この図３１（Ｂ）に示すシーケンスで与えられる符号化データを同様、マクロブロックＭＢ単位で復号化処理を行なって出力する。したがって、この復号回路から記憶装置へ出力される復号後の画像データの出力シーケンスも図３１（Ｂ）に示すシーケンスと同じとなる。
【００１８】
一方、一般の表示装置において画像の表示は「ラスタ走査」方式に従って、画面上から下へ向かって「１画素ライン」ごとに行なわれる。ここで、「１画素ライン」は、画面上水平方向に整列して配置される画素の集合を示す。
【００１９】
図３２はノンインターレス方式で画像を表示する際の画素データの画面上での表示シーケンスを示す図である。図３２において、１画面の画像（ピクチュア）１０４０は、２Ｌ画素ラインを含む。この画面画像１０４０の左に画素ラインの表示順序を示す。ノンインターレス表示の場合、画面画像１０４０の左上端の画素から順次表示される。すなわち、１つの画素ラインにおいて左端に配置された画素から画面上右方向に表示が進む。１つの画素ラインにおいて最後の画素（画像１０４０の右端の画素）の表示が完了すると、次の画素ラインの画像１０４０の左端の画素の表示が行なわれる。この表示シーケンスが最終の画素ライン（番号２Ｌと付された画素ライン）の表示が完了するまで繰返し実行される。
【００２０】
図３３は、インターレス表示方式における画像の表示シーケンスを示す図である。図３３においても、画像１０４０は、２Ｌ本の画素ラインを含む。このインターレス表示方式においては、まず画像１０４０上の一番上の画素ラインの画素データの表示が行なわれる。次に、次の画素ラインを飛び越して、その次の画素ラインの画素データの表示を行なう。以降、１つの画素ラインを飛び越して画像１０４０の画素データの表示を行なう。画像１０４０の下側の画素ライン（Ｌ）に到達した場合、再度画像１０４０の上側に戻り、飛び越された画素ラインの画素データの表示を行なう。この飛び越された画素ラインの画素データの表示が完了すると次のフレーム画像の表示が行なわれる。すなわちこのインターレス表示においては、まず画像１０４０の奇数画素ラインの画素データの表示が行なわれ、すべての奇数画素ラインの画素データの表示が完了した後に、偶数画素ラインの画素データの表示が行なわれる。すなわちインターレス表示の場合、１フレームが奇数フィールドと偶数フィールドで構成され、奇数フィールドの表示が完了した後に偶数フィールドの表示が行なわれる。
【００２１】
図３１と図３２および図３３とを比較すれば明らかなように、復号化データの出力されるシーケンスと表示装置上で表示される画素データの表示順序とは異なっている。したがって、画像復号および表示機能を備える装置においては、この画素データの並ぶ順序を変換する機能が要求される。この画素データの配置順序を変換する機能は、記憶装置を用いて実現される。すなわちこの記憶装置に対し、復号された画素データの順序で画素データを書込み、表示される画素データの順序に従って画素データの読出が行なわれる。すなわち、与えられた画像符号化データを復号し、マクロブロック順に記憶装置に書込み、表示時において、この表示装置の表示方式に従ってノンインターレス方式またはインターレス方式のいずれかの順序に従ってこの記憶装置から画素データを読出すことによりこの変換機能が実現される。
【００２２】
図３４は、従来の画像データの復号および表示機能を備える復号表示装置の構成を概略的に示す図である。図３４において、従来の復号表示装置は、与えられた画像符号化データに含まれる画素データに復号処理を施して元の画素データを復元しかつ復元したデータを表示装置ＤＰへ表示のために出力する復号・表示回路ＤＤＣと、この復号・表示回路ＤＤＣにおける復号処理時において用いられる参照画像データおよび表示のための画素データを格納するための記憶装置ＭＲを含む。記憶装置ＭＲは、ＩピクチュアまたはＰピクチュアを格納するためのバンク＃１（ＢＡ１）と、Ｐピクチュアの画素データを格納するためのバンク＃２（ＢＡ２）と、Ｂピクチュアの画素データを格納するためのバンク＃３（ＢＡ３）およびバンク＃４（ＢＡ４）を含む。以下、この図３４に示す復号・表示装置の復号および画像データ処理シーケンスをそのタイミングチャートである図３５を参照して説明する。
【００２３】
復号・表示回路ＤＤＣへは、表示時と異なる順序で各ピクチュアの画素データが与えられる。Ｂピクチュアの復号化時には、時間的に後のすなわち未来のピクチュアの画素データを用いるため、この未来の画素データはＢピクチュアより先に伝送される。復号・表示回路ＤＤＣは、この送信側から与えられた画像データを送信順序に従って順次復号処理を行なう。表示時においては、そのピクチュアの種類に従って表示順序が入替えられて表示すべき順序でピクチュアの画素データが読出されて表示装置ＤＰへ与えられる。いま、記憶装置ＭＲのバンク＃１〜＃４（ＢＡ１〜ＢＡ４）には、何ら有効な画素データは格納されていないとする。
【００２４】
期間Ｔ１においては、復号・表示回路ＤＤＣへＩピクチュアＩ３の画像データが与えられ、このＩピクチュアＩ３の画像データの復号処理が行なわれる。このＩピクチュアＩ３の復号された画像データは記憶装置ＭＲのバンク＃１（ＢＡ１）へ書込まれる。期間Ｔ１完了時においては、バンク＃１はこのＩピクチュアＩ３の画素データをすべて格納する。
【００２５】
次の期間Ｔ２においては、ＢピクチュアＢ１の符号化データが復号・表示回路ＤＤＣへ与えられる。復号・表示回路ＤＤＣはこのＢピクチュアＢ１の符号化データを復号して復号された画素データをバンク＃３（ＢＡ３）へ書込む。期間Ｔ２完了時においては、バンク＃３（ＢＡ３）には、このＢピクチュアＢ１の画素データがすべて格納される。
【００２６】
期間Ｔ３において、次のＢピクチュアＢ２の符号化データが復号・表示回路ＤＤＣへ与えられる。この期間Ｔ３におけるＢピクチュアＢ２の復号処理動作開始と同期して、バンク＃３（ＢＡ３）からＢピクチュアＢ１の画素データが読出されて表示装置ＤＰへ与えられて表示される。すなわち期間Ｔ３においては、記憶装置ＭＲのバンク＃４へＢピクチュアＢ２の復号後の画像データが書込まれ、かつバンク＃３（ＢＡ３）からＢピクチュアＢ１の画素データが読出されて表示装置ＤＰへ与えられる。このバンクへの書込時には、マクロブロック単位で順次書込みが行なわれ、一方、バンクからの読出時には、画素データがその表示方式に従って走査順に順次読出される。期間Ｔ３完了後、バンク＃４（ＢＡ４）には、ＢピクチュアＢ２の画素データがすべて格納される。その期間Ｔ３の完了時においてはＢピクチュアＢ１の画素データの表示装置ＤＰにおける表示も完了する。
【００２７】
期間Ｔ４において、ＰピクチュアＰ６の符号化データが与えられ、その復号処理が行なわれて、復号後の画素データがバンク＃２（ＢＡ２）へ書込まれる。この期間Ｔ４においては、バンク＃４からＢピクチュアＢ２の画素データが順次読出されて表示装置ＤＰへ与えられて表示される。以降、期間Ｔ５、Ｔ６、Ｔ７およびＴ８それぞれにおいて、ＢピクチュアＢ４、ＢピクチュアＢ５、ＰピクチュアＰ９およびＢピクチュアＢ７の符号化データが与えられ、それぞれ復号処理され、バンク＃３（ＢＡ３）、バンク＃４（ＢＡ４）、バンク＃１（ＢＡ１）およびバンク＃３（ＢＡ３）に復号後の画像データがそれぞれ順次書込まれる。これらの復号後の画像データの書込と並行して、期間Ｔ５、Ｔ６、Ｔ７およびＴ８それぞれにおいて、ＩピクチュアＩ３、ＢピクチュアＢ４、ＢピクチュアＢ５およびＰピクチュアＰ６がそれぞれバンク＃１（ＢＡ１）、バンク＃３（ＢＡ３）、バンク＃４（ＢＡ４）およびバンク＃２（ＢＡ２）からそれぞれ画素データが読出されて表示装置ＤＰへ与えられて表示される。符号化された画像の伝送および復号順序と表示されるピクチュアの順序を異ならせることにより、Ｂピクチュアの双方向予測時において過去および未来の画像データを用いる場合、必要な未来の画像データが先に記憶装置ＭＲ内に格納されていることになり、Ｂピクチュアの復号処理を行なうことができる。
【００２８】
上述のように、表示機能を備える復号・表示装置においては、画素順序を変換するために（マクロブロック単位で与えられる画素データをラスタ走査順序に変換するために）、２フレームの画素データを格納するためのバンク＃３および＃４を用いている。この２フレーム（ピクチュア）分の記憶容量が必要とされるのは、まだ表示のために読出されていない画素データに対し、復号後の画素データが上書きされるのを防止するためである。たとえば、ＩピクチュアＩ３は期間Ｔ１に与えられており、その表示は期間Ｔ５において行なわれており、この間バンク＃１へ画素データを格納することはできない。
【００２９】
画像復号開始と画像表示（記憶装置から表示装置への画素データの出力）開始を同期させることにより、画像の復号速度と画像の表示速度が同じ場合、同一の時間内で復号および表示を行なうことができる。またＢピクチュアに関しては、復号処理が行なわれた次の期間において表示が行なわれている。Ｂピクチュアの画素データを格納するバンク＃３（ＢＡ３）およびバンク＃４（ＢＡ４）においては、一方が画像データの書込を受けているとき他方が画像データの表示のための読出を受けている。したがってこの記憶装置ＭＲにおいては、データ書込が行なわれる領域とデータ読出が行なわれる領域が完全に分離されているため、データの上書きが完全に防止される。
【００３０】
しかしながらこの図３４に示す構成の場合、記憶装置ＭＲの記憶容量は、４フレーム分の画素データを格納する容量となる。たとえば、処理される画像がＮＴＳＣ方式の解像度（７２０画素×４８０ライン）を有する場合、１画素データが８ビットとすると、１フレームの画像データは、７２０×４８０×８×１．５＝３．９６Ｍビットと約４Ｍビットとなる。したがってこの記憶装置ＭＲの記憶容量としては１６Ｍビットが必要とされる。ここで、記憶容量の計算において、係数１．５が掛けられているのは、２つの色差信号の画素数が輝度信号の画素数の半分の状態を考慮している。したがって、従来の復号表示装置においては、表示画像の配列順序を変換するために、記憶装置の記憶容量が大きくなり、応じて装置規模が大きくなるという問題が生じる。
【００３１】
それゆえ、この発明の目的は、記憶訴追の記憶容量を低減することのできる画素復号表示装置を提供することである。
【００３２】
この発明の他の目的は記憶装置を効率的に利用して画像データの復号および表示を行なうことのできる画像復号表示装置を提供することである。
【００３３】
【課題を解決するための手段】
請求項１に係る画像復号表示装置は、ビットストリームに含まれる画素データを抽出し、この抽出した画素データに所定の復号処理を施して元の画素データを復元する復号手段を備える。この復号手段は、ビットストリームに含まれる画素データが属するフレームの種類を、復号時に参照画像として用いられるＩ／Ｐピクチュアであるか参照画像としては用いられず表示のみが行なわれるＢピクチュアであるかを識別する手段を含む。
【００３４】
請求項１に係る画像復号表示装置は、さらに、この復号手段からのＢピクチュア識別指示信号に従って復号手段で復元されたＢピクチュアの画素データをフィールド単位で格納する記憶手段と、この記憶手段に格納された画素データを読出して表示装置へ出力する読出手段と、復号手段および読出手段に結合され、Ｂピクチュアの復号処理開始タイミングとこの読出手段からのＢピクチュアの画素データの表示装置への出力介したミングの時間差がＢピクチュアの１フィールドの画素データの表示装置への出力に要する１フィールド時間となるように復号手段および読出手段の動作タイミングを制御する手段を備える。
復号処理は画面上所定サイズのブロックの画素データを単位として行われ、この画面画像は画面上の水平方向にＭ個の前記所定サイズのブロックを含む。
制御手段は、復号手段の復号開始タイミングをＭ個の画素データブロックの記憶手段からの読出に要する時間遅延させる遅延手段をさらに含む。
ビットストリームは、さらに、画像画素データがフィールド単位で与えられるか２フィールド単位の画素が混在するフレーム単位で与えられるかを示すデータ構造情報を含み、復号手段は、ビットストリームからデータ構造情報を抽出し、該抽出データ構造情報が示すデータ構造を指定する情報を出力する抽出手段を含む。制御手段は、抽出手段から与えられるデータ構造情報がフィールド単位を示すことに応答して、前記遅延手段を非活性状態とする手段を含む。
【００３５】
請求項２に係る画像復号表示装置は、予測符号化された画素データを受けて所定の復号処理を行って元の画素データを復元する復号手段と、この復号手段からの復元された画素データを格納する格納手段と、この格納手段から画素データを読出して表示装置への表示のために出力する読出手段と、読出手段および復号手段に結合され、読出手段からのあるフレームの最後に表示されるべきフィールドの画像データの読出に応答して次のフレームの画素データの復号処理動作を開始させる制御手段を備える。
復号処理は画面上の所定サイズのグロックの画素データを単位として行われ、画面画像は、画面上水平方向にＭ個の前記所定サイズのブロックを含む。
制御手段は、復号手段の復号開始タイミングを前記Ｍ個の画素データブロックの記憶手段からの読出に要する時間遅延させる遅延手段をさらに含みむ。
ビットストリームは、画像画素がフィールド単位で与えられるか２フィル−ドの画素が混在するフレーム単位で与えられるかを示すデータ構造情報を含み、復号手段は、ビットストリームから前記データ構造情報を抽出し、該抽出したデータ構造情報が示すデータ構造を指定する情報を出力する抽出手段を含み、制御手段は抽出手段から与えられるデータ構造情報がフィールド単位を示すことに応答して、遅延手段を非活性状態とする手段を含む。
【００３６】
請求項３に係る画像復号表示装置は、予測符号化された画素データを受けて所定の復号処理を施して元の画素データを復元する復号手段を含む。
【００３７】
この請求項３に係る画像復号表示装置は、さらに、復号手段ら出力する復元された画素データを格納するための記憶手段と、この記憶手段に格納された画素データをフィールド単位で順次読出して表示装置への表示のために出力する読出手段と、これらの読出手段および復号手段に結合され、プルダウン変換情報に従って記憶手段から所定数のフレームごとにフィールド単位で画素データが再度読出されるように読出手段を制御しかつ記憶手段からのあるフレームのフィールドのうちに最後に表示すべきフィールドの画素データの表示装置への出力に応答して、次のフレームの画素データの復号処理を開始させる制御手段を備える。
復号処理は前記画面上所定サイズのブロックの画素データを単位として行われ、画面画像は、画面上水平方向にＭ個の前記所定サイズのブロックを含む。
制御手段は、復号手段からの復号開始タイミングをＭ個の画素データブロックの記憶手段からの読出に要する時間遅延させる遅延手段をさらに含み、ビットストリームは、画像画素データがフィールド単位で与えられるか２フィールドの画素データが混在するフレーム単位で与えられるかを示すデータ構造情報を含む。
復号手段は、前記ビットストリームからこのデータ構造情報を抽出し、該抽出データ構造情報が示すデータ構造を指定する情報を出力する抽出手段を含み、制御手段は、この抽出手段から与えられるデータ構造情報がフィールド単位を示すことに応答して、遅延手段を非活性状態とする手段を含む。
【００３８】
請求項４に係る画像復号表示装置は、請求項３の制御手段が、表示速度変換情報に従って、記憶手段から再度読出される画素データのフィールドが最後に表示されるべきフィールドのとき、最後に表示されるべきフィールドのフィールド期間に先行する１フィールド期間復号手段の復号処理動作を停止させる手段を含む。
【００３９】
請求項５に係る画像復号表示装置は、ビットストリームに含まれる予測符号化された画像の画素データに復号処理を行って元の画素データを復元する復号手段と、この復号手段からの復元された画素データをフィールド単位で格納するための格納手段と、この格納手段からの画素データを読出して表示装置への表示のために出力する読出手段と、復号手段からの復号開始指示に従って読出手段からの画素データの読出動作を開始させる制御手段を含む。この制御手段は、復号手段による復号開始から読出手段からあるフレームの最初のフィールドが読出されるまでの時間差を１フィールドの画素データが表示のために出力されるのに要する時間とする手段を含む。
復号処理は画面上所定サイズのブロックの画素データを単位として行われ、画面画像は、画面上水平方向にＭ個の前記所定サイズのブロックを含む。
制御手段は、復号手段の復号開始タイミングを前記Ｍ個の画素データブロックの記憶手段からの読出に要する時間遅延させる遅延手段をさらに含む。
ビットストリームは、画像画素データがフィールド単位で与えられるか２フィールドの画素データが混在するフレーム単位で与えられるかを示すデータ構造情報を含み、復号手段は、ビットストリームからデータ構造情報を抽出し、該抽出データ構造情報が示すデータ構造を指定する情報を出力する抽出手段を含む。
制御手段は、さらに抽出手段から与えられるデータ構造情報がフィールド単位を示すことに応答して、遅延手段を非活性状態とする手段を含む。
【００４１】
請求項６に係る画像復号表示装置において、この遅延手段が、記憶手段の画素データ出力部と表示装置に結合される読出手段の出力ポートとの間に配置され、与えられた画素データを所定時間格納するバッファメモリを含む。
【００４４】
請求項７に係る画像復号表示装置においては、Ｂピクチュアの画素データヲ格納する記憶手段が１フレーム分の画素データを格納する記憶容量を備えるフレームメモリで構成される。
【００４６】
【作用】
請求項１に係る画像復号表示装置においては、Ｂピクチュアの復号開始と表示開始とが１フィールド時間の時間差を持っている。したがって、復元されたＢピクチュアの画素データが１フィールド時間経過後記憶手段から読出されて表示装置へ与えられるため、１フレームの画素データの記憶容量を備える記憶手段を用いても、１フィールドに相当する画素データの格納と先行する１フィールドに相当する画素データの読出とを同一の期間内に行なうことができ、Ｂピクチュア格納のために用いられる記憶装置の記憶容量を低減することができる。
【００４７】
請求項２に係る画像復号表示装置においては、あるフレームの最後の表示されるべきフィールドの画素データの読出と次のフレームの画素データの復号開始とを同期して行なっており、インタレース方式およびノンインタレース方式のいずれの画像表示方式においてもＢピクチュアに対し１フィールド時間差をもって画像データのデコードおよび表示を行なうことができ、記憶装置の記憶容量を低減して正確な画像データの表示および復号を行なうことができる。また、３：２プルダウンなどのような表示速度を変換する場合においても、記憶手段の記憶容量を増加させることなくまた複雑なタイミング制御を必要とすることなく容易に対応することができる。
【００４８】
請求項３に係る画像復号表示装置においては、画像データが再度読出される場合には、最終のフィールドの画素データの読出時に復号手段の復号処理が開始されており、３：２プルダウンのような表示速度変換時においても、記憶手段の記憶容量を増加させることなく正確に画像データの上書きを防止して復号および表示を行なうことができる。
【００４９】
請求項４に係る画像復号表示装置においては、表示すべき最後のフィールドの画素データが再度読出される場合においては、先行する１フィールド期間復号処理を停止させており、記憶手段の記憶容量を増加させることなく復元された画素データによる読出画素データの上書きを防止することができ、正確に３：２プルダウンなどの表示速度変換を行なうことができる。
【００５０】
請求項５に係る画像復号表示装置においては、復号開始が行なわれてから１フィールドの時間差をもって記憶手段から表示装置への表示のために次のフレームの最初のフィールドの画素データが読出されている。したがって、記憶装置の記憶容量を低減して正確な画像データの表示および復号を行なうことができる。
【００５１】
この発明に係る画像復号表示装置においては、復号処理介したミングが１マクロブロックラインの画素データに読出時間分遅延されるため、同一フィールドの画素データの復号および表示が行われる場合においても、記憶手段の画素データの読出が行われた位置に復号後の画素データが書込まれるため、記憶手段において読出前の画素データが復元された画素データで書換えられるのを防止することができ、正確な復号および表示動作を実現することができる。
また、画像データがフィールド構造の場合には１マクロブロックラインの遅延が不要とされるため、遅延手段が不要となり、装置構成を簡略化することができる。
【００５２】
請求項６に係る画像復号表示装置においては、復号手段の復号開始タイミングの遅延が記憶手段と表示装置との間の記憶手段の出力部に設けられたバッファメモリにより実現されるため、複雑なタイミング条件を考慮することなく遅延を正確に実現することができ、制御が容易となる。
【００５５】
請求項７に係る画像復号表示装置においては、Ｂピクチュア格納用手段は１フレームの画素データを格納する必要最小限の記憶容量を有するフレームメモリで構成されており、復元画素データ格納のための記憶装置の記憶容量が低減された画像復号表示装置が実現される。
【００５６】
【実施例】
［実施例１］
図１は、この発明に従う画像復号表示装置の構成を概略的に示す図である。図１において、画像復号表示装置１は、ビットストリームの形態で与えられる画像符号化データを受け、この画像符号化データに含まれる符号化画素データに所定の復号処理を施して元の画素データを復元する復号化ユニット１０と、復号化ユニット１０で復元された画素データを格納する記憶装置１２と、復号化ユニット１０の動作タイミングなどの動作を制御するとともに記憶装置１２へのアクセス動作を制御する制御ユニット１４を含む。画像符号化データは、以下の説明においては、画像の性質および属性などのヘッダ情報をも含むものと想定する。各画素についてのデータを示す場合には「画素データ」という用語を用い、１枚の画像（フィールドまたはフレーム）全体のデータを示し特に画素を特定しない場合には「画像データ」という用語を用いる。この復号化ユニット１０は、後にその内部構成について説明するが、符号化画素データの復号処理およびヘッダ情報（図２９参照）の解析の機能を併せ持つ。
【００５７】
制御ユニット１４は、外部に設けられた表示制御装置２０から与えられる水平同期信号ＨＳＹＮＣおよび垂直同期信号ＶＳＹＮＣに従って、この復号化ユニット１０の復号処理開始タイミングを決定するピクチュア同期信号ＰＳＹＮＣを生成して復号化ユニット１０へ与える。この制御ユニット１４からのピクチュア同期信号ＰＳＹＮＣが１枚の画像（ピクチュア；以下の説明においてはフレームと想定する）の復号期間を決定する。水平同期信号ＨＳＹＮＣは、表示装置２２における画素データ表示時に用いられる１水平期間（１画素ラインの画素データ表示に要する期間）を決定し、垂直同期信号ＶＳＹＮＣは１フィールドの画素データを表示装置２２に表示する期間を決定する。
【００５８】
復号化ユニット１０と記憶装置１２の間にメモリインタフェースユニット１６が配置され、メモリインタフェースユニット１６と表示装置２２の間に表示インタフェース１８が配置される。メモリインタフェースユニット１６は、制御ユニット１４の制御のもとに、この記憶装置１２に対するデータ書込アドレスおよびデータ読出アドレスを生成し、かつこの記憶装置１２と復号化ユニット１０の間または記憶装置１２と表示インタフェース１８との間にデータ伝送経路を確立する。表示インタフェース１８は、表示装置２２における画素データの表示速度に従ってこのメモリインタフェースユニット１６から与えられた画素データを順次出力する。
【００５９】
記憶装置１２は、それぞれ別々にアクセス可能であるバンク＃１（３２）、バンク＃２（３４）およびバンク＃３（３６）を含む。バンク＃１，＃２（３２，３４）は、Ｉピクチュア（フレーム）またはＰピクチュアの画素データを格納するために用いられる。バンク＃３（３６）はＢピクチュアの画素データを格納するために用いられる。バンク＃１〜＃３（３２〜３６）の各々は、それぞれ１フレームの画素データを格納する記憶容量を備え、たとえばＤＲＡＭ（ダイナミック・ランダム・アクセス・メモリ）で構成される。
【００６０】
図２はピクチュア（フレーム）の表示順序および復号順序の一例を示す図である。図２（Ａ）に示すように、ピクチュア（以下フレームと称す）は、ＢフレームＢ１，Ｂ２、ＩフレームＩ３、ＢフレームＢ４，Ｂ５、ＰフレームＰ６、ＢフレームＢ７，Ｂ８およびＰフレームＰ９の順序で表示装置でに表示される。
【００６１】
フレームの復号順は、図２（Ｂ）に示すように、ＩフレームＩ３、ＢフレームＢ１，Ｂ２、ＰフレームＰ６、ＢフレームＢ４，Ｂ５、ＰフレームＰ９、ＢフレームＢ７，Ｂ８の順序である。このフレームの復号順序は、符号化データとして伝達されるフレームの伝送順と同じである。前述のごとく、Ｉフレームは他のフレームのデータを参照することなく符号化された画素データで構成されるフレームである。Ｐフレームは、時間的に前に位置する（過去の）ＩフレームまたはＰフレームの画素データを用いて符号化された画素データで構成されるフレームである。Ｂフレームは本実施例では、時間的に前後に位置する（すなわち過去および未来）の２つのＩフレームまたはＰフレームの画素データを用いて符号化された画素データで構成されるフレームである。復号化時においては、したがって未来のフレームの画素データを用いる必要があるため、この未来のフレームの画素データを先に復号化する必要がある。このためフレームの表示順序とフレームの復号順序（伝送されるフレームの順序）が異なっている。たとえばＢフレームＢ４，Ｂ５は、表示順序においては、ＰフレームＰ６よりも先である。しかしながら、復号時においては、ＰフレームＰ６よりも後にこれらのＢフレームＢ４，Ｂ５が復号される。ＢフレームＢ４，Ｂ５を復号するためには、ＩフレームＩ３を参照画像とする予測（前方向予測）とＰフレームＰ６の画素データを用いた予測（後方向予測）が行なわれるためである。
【００６２】
Ｂフレームは復号化時は参照画像としては用いられないため、単に表示のみが行なわれる。したがって図１に示す記憶装置１２に含まれるバンク＃３（３６）は、復号データを表示するために必要とされる記憶領域であり、バンク＃１（３２）およびバンク＃２（３４）は復号処理のために最低限必要とされる記憶領域である。
【００６３】
図３は、各フレーム単位で符号化されたフレーム構造を有する画像の画素データの配列を示す図である。フレーム構造を有する画像符号化データは、表示画面上奇数ライン上の画素データおよび偶数ライン上の画素データ両者を含む。奇数ライン上の画素データが奇数フィールドを構成し、偶数ライン上の画素データが偶数フィールドを構成する。
【００６４】
図４は、この発明の第１の実施例におけるフレームの復号処理シーケンスおよび表示シーケンスを示す図である。図４においては、図２に示すフレームの順序でフレームの表示および復号が行なわれる。上述のごとく、各フレームは奇数フィールドおよび偶数フィールドを備えており、表示は奇数フィールドおよび偶数フィールドの順序で行なわれるノンインタレースの場合が一例として示される。
【００６５】
まず、記憶装置１２におけるバンク＃１〜＃３（３２，３４，３６）は、有効画素データを格納していない状態を初期状態と考える。画像符号化データが復号化ユニット１０へ順次与えられ、制御ユニット１４からのピクチュア同期信号ＰＳＹＮＣに同期して復号化ユニット１０が各フレームの画素データの復号処理を実行する。図４に示す期間Ｔ１およびＴ２においてＩフレームＩ３の画素データが復号され、その復号処理により復元された画素データがバンク＃１（３２）に格納される。１フレームは偶数フィールドおよび奇数フィールドで構成されており、したがってこのＩフレームＩ３の復号処理には２フィールド期間Ｔ１およびＴ２が必要とされる。画像はフレームを単位として（フレーム構造で）符号化されているため、各フィールド期間Ｔ１およびＴ２それぞれにおいて、奇数フィールドの画素データおよび偶数フィールドの画素データがともにバンク＃１の所定の領域へ書込まれる。１フレーム期間（２つのフィールド期間）はピクチュア同期信号ＰＳＹＮＣで決定される。フィールド期間は、表示制御装置２０（図１参照）からの垂直同期信号ＶＳＹＮＣ（および水平同期信号ＨＳＹＮＣ）で決定される。
【００６６】
フィールド期間Ｔ３が始まると、今度は、ＢフレームＢ１の復号処理が開始される。このＢフレームＢ１の復号処理により得られた画素データはバンク＃３（３６）に格納される。期間Ｔ３が完了すると、ＢフレームＢ１の半分の画素データの復号が完了する。この期間Ｔ３において復号処理された画素データは奇数フィールドおよび偶数フィールド両者を含み、それぞれバンク＃３（３６）の奇数フィールド画素格納領域および偶数フィールド画素格納領域に格納される。
【００６７】
フィールド期間Ｔ４においては、ＢフレームＢ１の残りの符号化画素データについての復号処理が行なわれ、この復号処理された画素データがバンク＃３（３６）の残りの記憶領域に格納される。このフィールド期間Ｔ４において同時にバンク＃３（３６）から奇数フィールドの画素データが読出され、メモリインタフェースユニット１６および表示インタフェース１８を介して表示装置２２へ与えられてそこで表示される。
【００６８】
符号化画素データの復号化処理速度と画素データの表示速度（または記憶装置１２からの画素データ読出速度）とは同じである。すなわち、ピクチュア同期信号ＰＳＹＮＣが規定する１フレーム期間に１フレームの画素データが復号されて記憶装置１２の対応のバンクに書込まれ、またこの１フレーム期間内に１フレームの画素データの表示（読出）が行なわれる。バンク＃１（３２）〜バンク＃３（３６）としては、、それぞれ互いに独立にアクセス可能な構成が利用されてもよい。またこれに代えて、記憶装置１２としては、データ読出および書込の一方のみが行なわれる構成が用いられてもよい。このような構成においては、復号処理のための参照フレーム（ＩフレームまたはＰフレーム）の画素データの読出、復号後の画素データの記憶装置への書込および表示すべき画素データの読出が所定のシーケンスで１フレーム期間内に実行される。この場合、要求される条件は、１画素の符号化データが復号処理されて復元された画素データが得られる速度と表示のために画素データを記憶装置１２から読出す速度（すなわち画素データの表示装置上の表示速度）が同じであるということである。
【００６９】
すなわち、画素データが復号処理されて記憶装置１２へ書込まれるのに要する平均時間と記憶装置１２から読出されて表示装置２２上に表示されるのに要する平均時間とが同じであるということである。以下の説明においては、これらの条件をすべて含んで、画素データの復号処理速度と画素データの表示速度が同じであると称す。
【００７０】
フィールド期間Ｔ４においてＢフレームＢ１の奇数フィールドの画素データが読出される。この間、ＢフレームＢ１の奇数フィールドも同様に復号されて記憶装置１２のバンク＃３へ書込まれる。画素データの復号処理速度および表示速度が同じであるため、後に詳細に説明するように、フィールド期間Ｔ４の最終時において、既にＢフレームＢ１の最後の奇数画素ラインの復号処理は完了しており、バンク＃３（３６）に格納されている。したがって、正確に復号処理された画素データを読出して表示装置２２に表示することができる。
【００７１】
フィールド期間Ｔ５が始まると、次のＢフレームＢ２の復号処理が開始される。このフィールド期間Ｔ５において、記憶装置１２のバンク＃３（３６）からＢフレームＢ１の偶数フィールドの画素データの読出および表示が行なわれる。フィールド期間Ｔ５の始めにおいて、バンク＃３（３６）に格納されている画素データはすべてＢフレームＢ１の画素データであり、このＢフレームＢ１の偶数フィールドの表示は正確に開始される。フィールド期間Ｔ５においてＢフレームＢ２の画素データの復号処理が行なわれ、このＢフレームＢ２の奇数フィールドおよび偶数フィールドの画素データが順次バンク＃３（３６）に格納される。後に詳細に説明するが、このフィールド期間Ｔ５においてＢフレームＢ２の画素データの復号はこのフレームＢ２の約半分までしか進行しないため、ＢフレームＢ１の偶数フィールドの画素データが表示装置へ読出される前に復号後のＢフレームＢ２の画素データで書換えられるのを防止することができ、正確にこのＢフレームＢ１の偶数フィールドの画素データの表示を行なうことができる。
【００７２】
フィールド期間Ｔ６においては、ＢフレームＢ２の残りのフレームの画素データの復号処理が行なわれ、バンク＃３（３６）に格納される。このフィールド期間Ｔ６において、新たにＢフレームＢ２の奇数フィールドの画素データの記憶装置１２からの読出および表示装置２２上での表示が行なわれる。フィールド期間Ｔ６の開始時において、ＢフレームＢ１の表示動作と同様に、ＢフレームＢ２の復号は既に約半分終了しており、この表示は正常に開始される。以降表示動作が進行し、フィールド期間Ｔ６の終了時において、ＢフレームＢ２の奇数フィールドの最終画素ラインの画素データの表示が実行される。このフィールド期間Ｔ６の終了時において、ＢフレームＢ２の復号処理は完了しているため、ＢフレームＢ２の奇数フィールドの最終画素ラインの画素データの表示は正確に実行される。
【００７３】
フィールド期間Ｔ７が始まると、ＰフレームＰ６の復号処理が開始される。このＰフレームＰ６の復号処理された画素データはバンク＃２（３４）へ格納される。これにより、それまで有効画素データを格納していなかったバンク＃２（３４）にＰフレームＰ６の画素データが順次格納される。このフィールド期間Ｔ７において、ＢフレームＢ２の偶数フィールドの画素データの記憶装置１２からの読出および表示装置２２上の表示が行なわれる。画素データの書込が行なわれるバンクと画素データの読出が行なわれるバンクとは別々であり、したがってこの期間において画素データの上書きは生じない。
【００７４】
フィールド期間Ｔ８においては、ＰフレームＰ６の残りの画素データの復号処理が行なわれ、復号された画素データがバンク＃２の残りの記憶領域へ格納される。このフィールド期間Ｔ８においては、バンク＃１に格納されたＩフレームＩ３の画素データの読出および表示が行なわれる。この期間においても、画素データの読出が行なわれるバンクと画素データの書込が行なわれるバンクは別々であるため、表示動作は正確に実行される。
【００７５】
フィールド期間Ｔ９において、ＢフレームＢ４のデータの復号および記憶装置への書込が行なわれる。このフィールド期間Ｔ９においては、ＩフレームＩ３の偶数フィールドの画素データの記憶装置１２からの読出および表示装置２２上での表示が行なわれる。このフィールド期間Ｔ９においても、データの書込およびデータの読出が行なわれるバンクは別々であり、正確な表示および復号処理が実現される。このフィールド期間Ｔ９において、書込結果に従ってバンク＃３（３６）の格納するＢフレームＢ２の画素データが順次ＢフレームＢ４の画素データで書換えられる。
【００７６】
フィールド期間Ｔ１０が始まると、ＢフレームＢ４の残りの画素データの復号処理および記憶装置への書込が行なわれ、これと並行して、ＢフレームＢ４の奇数フィールドの画素データの読出および表示が行なわれる。このフィールド期間Ｔ１０における画素データの書込および読出は、フィールド期間Ｔ４またはＴ６のそれと同じであり、正確な復号および表示が行なわれる。
【００７７】
フィールド期間Ｔ１１およびＴ１２において次のＢフレームＢ５の画素データの復号およびバンク＃３（３６）への格納が行なわれ、またフィールド期間Ｔ１１およびＴ１２それぞれにおいて、ＢフレームＢ４の偶数フィールドおよびＢフレームＢ５の奇数フィールドの画素データの読出および表示が実行される。
【００７８】
フィールド期間Ｔ１３が始まると、ＰフレームＰ９の画素データの復号およびバンク＃１（３２）への格納が実行される。バンク＃１（３２）の格納する画素データがＰフレームＰ９の画素データで書換えられる。ＩフレームＩ３の画素データは、ＢフレームＢ４およびＢ５の復号が完了するとさらに参照フレームとして用いられることはない。ＰフレームＰ９の参照フレームはＰフレームＰ６であり、このＰフレームＰ６の画素データはバンク＃２（３４）に格納されている。したがって、何ら問題を生じることなく正確な復号処理および表示動作を実行することができる。
【００７９】
フィールド期間Ｔ１４において、ＰフレームＰ６の奇数フィールドの画素データの読出および表示が行なわれ、並行してＰフレームＰ９の残りの画素データの復号処理および書込が実行される。
【００８０】
フィールド期間Ｔ１５が始まると、ＢフレームＢ７の復号処理およびバンク＃３（３６）への格納が行なわれ、このとき、バンク＃２（３４）に格納されたＰフレームＰ６の画素データのうち偶数フィールドの画素データの読出および表示が行なわれる。この間においても、データの書込が行なわれるバンクとデータの読出が行なわれるバンクは別々であり、画素データの上書きは防止される。
【００８１】
フィールド期間Ｔ１６において、ＢフレームＢ７の残りの画素データの復号およびバンク＃３への格納が行なわれ、このときまたＢフレームＢ７の奇数フィールドの読出および表示が実行される。
【００８２】
上述のように、Ｂフレームの画素データは、記憶装置への書込と記憶装置からの読出の時間差が約１フィールド時間とされており、１フレームの画素データを格納する容量を備えるバンク＃３（３６）のみを用いてＢフレームの画素データを用いても正常なＢフレームの復号および表示を実現することができる。ＩフレームおよびＰフレームに関しては、同一のバンクに対して画素データの書込と画素データの読出が同一フィールド期間内で行なわれることはなく、何ら問題は生じない。
【００８３】
図５は、図１に示すバンク＃３の記憶領域を概略的に示す図である。図５において、バンク＃３（３６）は、奇数フィールドの画素データを格納する奇数フィールド領域３６ａと、偶数フィールドの画素データを格納する偶数フィールド領域３６ｂを含む。この奇数フィールド領域３６ａおよび偶数フィールド領域３６ｂは、バンク＃３のアドレス空間において上半分の領域および下半分の領域にそれぞれ分割されてもよい。またこれに代えて、奇数フィールド領域３６ａおよび偶数フィールド領域３６ｂは、それぞれ１行おきに配置されてもよい（偶数画素ラインおよび奇数画素ラインそれぞれに対応する配置）。フレーム構造の場合、符号化画素データは奇数フィールドの画素データおよび偶数フィールドの画素データ両者を含む。したがって図６（Ａ）に示すように、１フレーム期間（２フィールド期間で構成される）のはじめのフィールド期間において、奇数フィールド領域３６ａの上半分の領域３６ａａに奇数フィールドの画素データが格納され、また偶数フィールド領域３６ｂの上半分の領域３６ｂａに偶数フィールドの画素データの格納が行なわれる。
【００８４】
次のフィールド期間では、図６（Ｂ）に示すように、奇数フィールド領域３６ａの下半分領域３６ａｂおよび偶数フィールド領域３６ｂの下半分領域３６ｂｂに対し復号された画素データの格納が行なわれる。このとき、奇数フィールド領域３６ａの画素データの読出および表示が行なわれる。画素データの読出は、この奇数フィールド領域３６ａにおいて１画素ラインずつ順次水平同期信号ＨＳＹＮＣに同期して実行される。一方、この奇数フィールド領域３６ａの下半分の領域３６ａｂにおいては、等価的に２水平走査期間（１水平走査期間は１画素ラインの画素データをすべて表示するのに要する時間）ごとに１画素ラインの画素データの格納が行なわれる。
【００８５】
図７は、奇数フィールドの画素データの表示時における書込を受ける画素ラインと表示される画素ラインを示す図である。図７においては、奇数フィールドおよび偶数フィールドはそれぞれＬ画素ラインを有するものと仮定される。また記憶装置への画素データの書込みもラスタ走査順序に従って行なわれるとする。
【００８６】
図７（Ａ）に示すように、奇数フィールド領域３６ａの最終画素ラインＬの画素データの格納時、この奇数フィールド領域３６ａの１行１画素ライン前の画素ラインＬ−１の画素データが読出されて表示装置２２上に表示される。したがってこの状態においては、表示装置２２上に表示される画素ラインＬ−１の画素データは既に復号化処理された画素データであり、正確な表示が行なわれる。表示速度と復号速度は同じである。したがって、この表示装置２２上で画素ラインＬ−１の画素データが表示が完了すると、奇数フィールド領域３６ａにおいては、最終画素ラインＬの画素データがすべて格納される。
【００８７】
次の画素ライン表示期間においては、図７（Ｂ）に示すように、バンク＃３（３６）においては、偶数フィールド領域３６ｂに対する最終画素ラインＬの復元された画素データの書込が行なわれる。このときには、奇数フィールド領域３６ａの最終画素ラインＬの画素データが読出されて表示装置２２上で表示される。偶数フィールド領域３６ｂへの最終画素ラインＬの画素データの書込時においては、奇数フィールド領域３６ａに格納された最終画素ラインＬの画素データは既に復号が完了している。したがってこの表示装置２２上には、正確に、復号された奇数フィールドの最終画素ラインＬの画素データが表示される。
【００８８】
偶数フィールドの画素データ表示時においては、既にこの偶数フィールド領域３６ｂに復号された画素データが格納されているため、正確に画素データの表示を行なうことができる。
【００８９】
偶数フィールド領域３６ｂの書込および読出が行なわれる場合（期間Ｔ５）には、図８（Ａ）に示すように、偶数フィールド領域３６ｂの第１行の画素データの表示装置２２への表示時には、奇数フィールド領域３６ａの第１行の画素ラインの画素データの復号が行なわれる。したがって、この時においては、表示装置２２には偶数フィールドの第１画素ラインの画素データが正確に表示される。次の画素ラインの表示期間においては、図８（Ｂ）に示すように、偶数フィールド領域３６ｂの第２行（第２画素ライン）の画素データの読出が行なわれて表示装置２２で表示される。このとき、偶数フィールド領域３６ｂの第１行（第１画素ライン）の画素データの書込（格納）が行なわれる。したがって第２行の画素ラインの画素データは何ら復号後の画素データの上書きを受けることなく表示装置２２で正確に表示することができる。
【００９０】
偶数フィールド領域３６ｂの画素ラインの書込速度は画素ラインの読出速度の１／２である。したがって、偶数フィールドの最終画素ラインＬの表示時においては、偶数フィールド３６ｂの上半分領域３６ｂａに対して次のＢフレームの画素データが格納されているだけである。したがって偶数フィールドの画素データは何ら復号された画素データの影響を受けることなく正確に表示装置２２に表示することができる。
【００９１】
この図６ないし図８の動作説明から明らかなように、ＩフレームとＰフレームの間またはＰフレームの間に含まれるＢフレームの数は２でなくそれ以上であっても各Ｂフレームの復号開始タイミングと表示開始タイミングが１フィールド期間の時間差を持っていれば、１フレームの画素データの記憶容量を備えるバンク＃３を用いて同様に対処することができる。連続して与えられるＢフレームの数は、予めシーケンスヘッダ領域に設定されるため、メモリインタフェースユニット１６がこの復号化ユニット１０で検出されたＢフレーム周期（連続して与えられるＢフレームの数）情報に従って制御ユニット１４の制御のもとに記憶装置１２へのアクセスすべきバンクを指定し、必要なアドレス情報を発生する。
【００９２】
図９は、図１に示すメモリインタフェースユニットの構成を概略的に示す図である。図９において、記憶装置１２が一般的なダイナミック・ランダム・アクセス・メモリを用いて構成される場合が一例として示される。図９において、メモリインタフェースユニット１６は、図１に示す復号化ユニット１０から与えられる動きベクトル情報ＭＶを受け、制御ユニット１４の制御のもとに参照フレーム（マクロブロック）の画素を読出すためのアドレスを発生する参照フレームアドレス発生器５０と、復号後の画素データ（復元画素）を書込むためのアドレスを制御ユニット１４の制御のもとに発生する復元画素アドレス発生器５２と、制御ユニット１４の制御のもとに、表示装置への表示のために画素データを読出すためのアドレスを発生する表示アドレス発生器５４を含む。制御ユニット１４は、図１に示す表示制御装置から与えられる水平同期信号ＨＳＹＮＣおよび垂直同期信号ＶＳＹＮＣを受け、復号化ユニット１０に対しフレーム期間を規定するとともに画素復号開始タイミングを決定するピクチュア同期信号ＰＳＹＮＣを与える。制御ユニット１４は、また復号化ユニット１０から与えられるフレームタイプ情報およびＢフレーム情報に従ってアドレス発生器５０、５２および５４に対しいずれのバンクを活性状態とすべきかを示す情報を与えるとともに、所定のシーケンスでこれらのアドレス発生器５０、５２および５４を活性状態とする。フレームタイプ情報（データ構造情報）は、復号化されるフレームがＩフレームであるか、ＰフレームであるかおよびＢフレームであるかを示す。Ｂフレーム周期情報は、連続して与えられるＢフレームの数を示す。参照フレームアドレス発生器５０は、バンク＃１およびバンク＃２（３２，３４：図１参照）に対してのみアドレスを発生する。アドレス発生器５２および表示アドレス発生器５４は、バンク＃１〜＃３（３２，３４，３６）に対するアドレスを発生する。これらのアドレス発生器５０，５２および５４から発生されるアドレスは、記憶装置１２のアドレスバスへ与えられる。このアドレスバスは記憶装置１２に含まれるバンクを特定するためのバンクアドレスをも伝達する。
【００９３】
参照フレームアドレス発生器５０は、制御ユニット１４からのフレームタイプ情報がＩフレームを示すときには、参照フレームアドレスは発生しない。復号されるフレームがＰフレームの場合には、参照フレームアドレス発生器５０は、バンク＃１（３２）またはバンク＃２（３４）に対し動きベクトルＭＢを考慮して読出アドレスを決定して決定した読出アドレスを記憶装置１２のアドレスバス上へ伝達する。復元画素アドレス発生器５２は、復元画素データがＩフレームまたはＰフレームの場合、バンク＃１およびバンク＃２をフレーム単位で交互に選択して書込アドレスを与える。復元画素データがＢフレームの場合、復元画素アドレス発生器５２は、バンク＃３（３６）に対し書込アドレスを与える。
【００９４】
表示アドレス発生器５４は、Ｂフレーム周期情報および／またはフレームタイプ情報に従って制御ユニット１４の制御のもとに、バンク＃１〜＃３（３２，３４および３６）に対し選択的に読出アドレスを発生する。この表示アドレス発生器５４がバンクを活性状態としてアドレスを与えて画素データを読出すタイミングは、ピクチュア同期信号ＰＳＹＮＣに同期して画素データの復号が開始されるタイミングから約１フィールド時間遅延される。
【００９５】
アドレスバス上でこれらのアドレス発生器５０，５２および５４のアドレスが競合しないように制御ユニット１４がこれらのアドレス発生器５０，５２および５４のアドレス発生タイミングを調整するアービトレーション機能を備える。この記憶装置１２へのアクセス競合を回避するためのアービタはまた別に設けられてもよい。
【００９６】
以上のように、この発明の第１の実施例の構成に従えば、Ｂフレームの画素データの復号開始タイミングよりも約１フィールド時間遅らせてＢフレームの画素データの読出および表示を行なっているため、Ｂフレームを格納するためのバンクを有効に利用することができ、Ｂフレームの画素データを格納するためのバンクの記憶容量を１フレームの画素データを格納する記憶容量にまで低減することができる。
【００９７】
［実施例２］
図１０は、図１に示す記憶装置に含まれるバンク＃３の記憶画素データを表示画面上の配置に対応させて示す図である。図１０においては、復号動作開始と表示開始とが同時に行なわれる状態が示される。また復号された画素データがマクロブロック単位で格納されるときの記憶内容を示す。図１０においては、一例として図４に示すフィールド期間Ｔ５におけるバンク＃３の画素データの記憶状態を示す。このフィールド期間Ｔ５においては、バンク＃３（３６）に格納されたＢフレームＢ１の偶数フィールドの画素データ（図において四角印で示す）の表示と次のＢフレームＢ２のフレーム画素データの書込が行なわれる。符号化処理は、マクロブロック（ブロック）単位で実行される。先の実施例１においては、記憶装置への復元画素データの書込はラスタ走査順序で行なわれるように説明している。復号処理も、この符号化処理に併せて（マクロ）ブロック単位で実行される。また、記憶装置への復元画素データの格納もマクロブロック単位で行なわれる。画素データの復号処理の進行速度と画素データの表示速度とはほぼ同じである。この場合、フレーム構造の画像データでは、復号および表示を同時に行なうと以下の問題が生じる。１マクロブロックＭＢａ（１６×１６＝２５６画素）の復号が終了したとき、表示においても、このＢフレームＢ１の偶数フィールドの第２５６番目の画素（Ｅ）が表示されている。現行ＴＶ（ＮＴＳＣ方式）程度の解像度を有する場合、水平方向に配置される画素数は７２０である。したがってこのフィールド期間Ｔ４においてマクロブロックＭＢａの復号完了時において、表示画素（Ｅ）はＢフレームＢ１の偶数フィールドの第１画素ライン上に存在する。一方、マクロブロックＭＢａは、フレーム構造の復号化画素データで構成されており、奇数フィールドおよび偶数フィールド両者の画素データを含んでいる。したがってこの状態においては、まだ表示されていないＢフレームＢ１の偶数フィールドの画素データが次のＢフレームＢ２のマクロブロックＭＢａの画素データで書換えられる。すなわち、図１０においてマクロブロックＭＢａに含まれる偶数フィールドの画素データＥ１７〜Ｅ１２８はまだ表示されていないＢフレームＢ１の画素データに上書きされていることになる。したがってフレーム構造の場合、画素データの復号開始タイミングと画素データの表示タイミングの時間差を正確に１フィールド時間とした場合、正確な画素データの読出が行なわれなくなるという懸念が生じる。
【００９８】
図１１は、この発明の第２の実施例である画像復号表示装置におけるフィールド期間Ｔ４におけるバンク＃３における記憶画素データの状態を示す図である。図１１に示すように、この発明の第２の実施例においては、符号化画素データの復号開始タイミングを１マクロブロックライン（水平方向に配置されるマクロブロックラインに含まれる画素の集合）の表示が終了した後に符号化画素データの復号を開始するように設定する。この図１１に示すように符号化画素データの復号開始タイミングを遅延させることにより、既に表示が行なわれた画素データに対して新たなマクロブロックＭＢａの画素データの上書きが行なわれる。したがって正常な画素データの表示を行なうことができる。
【００９９】
図１２は、このＢフレームの復号開始タイミングとＢフレームの表示開始タイミングの関係を概略的に示す図である。図１２において、フレーム期間を規定するピクチュア同期信号ＰＳＹＮＣのアサートに対し、１マクロブロックラインの画素データの表示期間に相当する期間Ｔｄだけフレームの復号開始タイミングを遅延させる。この図１２において、ＢフレームＢ１の復号終了時点は、Ｂフレームの表示速度と復号速度が同じ場合、次のフレーム期間まで延びることが考えられる。しかしながら、通常、たとえば図３のシーケンスにおいて示すように、１フィールド期間よりも短い期間内で各フレーム画素データの復号処理は完了している。データ情報の解析等に要する期間が存在するとともに、記憶装置がＤＲＡＭの場合リフレッシュを行なうための時間が必要とされるためである。したがって、図１２に示すように、Ｂフレームの復号開始タイミングが遅らされても、このフレーム期間内においてＢフレームＢ１の復号動作は完了する。１フレーム期間内において１フレームの画素データの復号および書込が行なわれ、また１フレームが規定する期間内においてこの１フレームの画素データの読出および表示が行なわれる。この状態が復号速度と表示速度が等しいと称される。
【０１００】
図１３は、この図１２に示すタイミング関係を実現するための構成を概略的に示す図である。図１３に示す構成においては、制御ユニット１４から出力されるピクチュア同期信号ＰＳＹＮＣを１マクロブロックラインの画素データの表示期間に相当する期間遅延させる遅延回路６０が設けられる。この遅延回路６０から図１に示すピクチュア同期信号ＰＳＹＮＣに相当する復号開始指示信号が復号化ユニット１０へ与えられる。制御ユニット１４は、表示制御装置（図１参照）からの垂直同期信号ＶＳＹＮＣおよび水平同期信号ＨＳＹＮＣに同期してピクチュア同期信号ＰＳＹＮＣを出力する。表示において各表示画素データの出力タイミングを変更するのが一般に困難である。なぜならば、通常、表示画素データの出力タイミングは外部に設けられた表示制御装置から出力される垂直同期信号ＶＳＹＮＣおよび水平同期信号ＨＳＹＮＣに従って決定されるためである。この遅延回路６０を設けることにより、この遅延時間Ｔｄ分、各フレームの復号開始時期を容易に遅延させることができる。重ね書きの生じる可能性のあるフレームに対してのみ復号開始が遅らされてもよい。
【０１０１】
図１４は、この発明の第２の実施例の他の構成を示す図である。図１４に示す構成においては、記憶装置１２のデータ出力部と表示装置２２（出力ポート）の間にバッファ７０が配置される。このバッファ７０は図１に示す表示インタフェース１８に含まれてもよい。このメモリでたとえば構成されるバッファ７０は、１マクロブロックラインの画素データを格納する（表示装置２２の表示速度でその格納画素データを入出力する場合）。バッファ７０は、ファーストイン・ファーストアウトメモリの構成を備え、格納された順に画素データを順次表示装置２２へ出力する。
【０１０２】
図１５は、この図１４に示す構成の表示装置２２上に表示されるフレームと記憶装置１２から読出される画素データおよびバッファ７０のデータの出力タイミングとを示す図である。バッファ７０から出力される画素データは表示装置２２における表示画素と同じである。このバッファ７０からの画素データの出力タイミングは図示しない表示制御装置から与えられる垂直同期信号ＶＳＹＮＣおよび水平同期信号ＨＳＹＮＣにより決定される。ピクチュア同期信号ＰＳＹＮＣに同期して、Ｂフレームの画素データの復号が開始される。このピクチュア同期信号ＰＳＹＮＣのアサートから１フィールド期間経過すると、バッファ７０からこのＢフレームの奇数フィールドおよび偶数フィールドの画素データが順次フィールド単位で読出される。この表示開始に同期してバッファ７０から画素データを出力するために記憶装置１２からはこのバッファが有する遅延時間分早いタイミングで画素データの読出が行なわれ、読出された画素データがバッファ７０へ格納される。したがって、記憶装置１２からの画素データの読出タイミングがバッファ７０が有する遅延時間だけ早くされたため、等価的にＢフレームの復号開始タイミングが遅くされたことに対応する。これにより、図１３に示す遅延回路６０を用いる場合と同様の効果を実現することができる。
【０１０３】
なおこの図１４に示す記憶装置１２と表示装置２２の間にバッファメモリ７０を設ける構成と図１３に示すピクチュア同期信号ＰＳＹＮＣを遅延回路６０で遅延させる構成は組合せて用いられてもよい。この遅延回路６０とバッファ７０と組合せて用いる場合、バッファ７０の記憶容量を小さくすることができる。
【０１０４】
なお、このバッファ７０は、復号化ユニット１０からの復元された画素データを記憶装置１２へ読出す経路に設けられ、記憶装置１２への重ね書きする可能性のあるＢフレームに対してのみその復元された画像データの書込が遅延される構成が用いられてもよい。Ｂフレームが重ね書きする可能性のある場合には、バッファメモリを通し、その可能性のない場合（先頭のＢフレームの場合）にはこのバッファメモリを短絡する構成が用いられてもよい。
【０１０５】
以上のように、この発明の第２の実施例の構成に従えば、フレームの復号開始タイミングをさらに１マクロブロックラインの画素データの表示期間１フィールド期間よりも遅らせるように構成したため、Ｂフレームのフィールドが偶数フィールドおよび奇数フィールドいずれの場合であっても画素データの重ね書きを防止して正確な画素データの表示を行なうことができる。
【０１０６】
［実施例３］
現行のＮＴＳＣ方式のＴＶにおいては、１秒あたり６０フィールド（＝３０フレーム）の表示が行なわれる。これに対して、映画のフィルムの場合、表示速度は２４フレーム／秒である。したがって映画をＴＶに表示する場合には、１秒あたりのフレーム数（フレームレート）の変換が必要となる。一般に、このフレームレートの変換には、３：２プルダウンという方法が用いられている。
【０１０７】
図１６は、一般に用いられる３：２プルダウン方法に従うフレームレート変換の手法を示す図である。図１６（Ａ）に示すように、連続する映画フィルムＦ１、Ｆ２、Ｆ３…は１／２４秒の周期を備える。この映画フィルムＦ１、Ｆ２、Ｆ３…をＴＶの表示画像の２フィールド、３フィールド、２フィールドと交互に対応させる。すなわちフィルムＦ１のフレーム画像は２フィールド時間（１フィールド時間＝１／６０秒）表示され、フィルムＦ２の画像は３フィールド時間表示され、フィルムＦ３の画像は２フィールド時間表示される。映画フィルムの１フレームがＴＶ画像の２フィールドおよび３フィールドに交互に対応される。したがって、映画フィルムの２フレームがＴＶ画像の５フィールドに対応するため、映画フィルムの２４フレームがＴＶ画像の６０フィールドに対応し、所望のフレームレートの変換が実現される。
【０１０８】
図１７は、この発明の第３の実施例である画像の表示装置における３：２プルダウン変換機能を実現するための動作シーケンスを示す図である。この図１７に示すフレームは、先の第１の実施例において示したものと同じ順序で復号されかつ同じ順序で表示される。この図１７に示す動作シーケンスにおいては、あるフレームにおいて最後に表示されるべきフィールドの表示と同期して次のフレームの復号が開始される。あるフレームの最後に表示されるフィールドの画素データが少なくとも２回読出される画素データの場合、それに先行する１フィールド期間フレームの復号動作は停止される。１フィールド期間復号動作を停止させることにより、Ｂフレーム格納のためのバンク＃３（図１参照）における画素データの重ね書きが防止される。以下、図１７を参照してフレームレート変換動作について説明する。
【０１０９】
フィールド期間Ｔ１およびＴ２においては、ＩフレームＩ３の復号が行なわれ、バンク＃１へ復号後の画素データの書込が行なわれる。
フィールド期間Ｔ３およびＴ４においてＢフレームＢ１の復号処理が行なわれ、復号後の画素データのバンク＃３への書込が実行される。次のフィールド期間Ｔ５においてＢフレームＢ１の偶数フィールドの読出および表示が行なわれる。このＢフレームＢ１は３フィールド期間表示されるフレームであり、期間Ｔ６においてバンク＃３から再びＢフレームＢ１の奇数フィールドの画素データが読出されて表示される。このＢフレームＢ１の奇数フィールドはＢフレームＢ１の最後に表示されるべきフィールドであり、かつ２回目の表示が行なわれている。したがってこれに先行する１フィールド期間Ｔ５においては復号処理は実行されない。このフィールド期間Ｔ５において復号処理動作を停止させることによりバンク＃３における次のＢフレームＢ２による重ね書きが防止される。この期間Ｔ６におけるＢフレームＢ１の最後に表示されるべきフィールドすなわち奇数フィールドの表示開始と同期して次のフレームすなわちＢフレームＢ２の復号処理が開始される。このときＢフレームＢ１の奇数フィールドの画素データはすべて復号された画素データであり、ＢフレームＢ２の画素データがバンク＃３に書込まれても奇数フィールド領域における画素ラインに関する読出速度が書込速度よりも速いため、何らこのＢフレームＢ２の画素データの書込の影響を受けることなく正確にＢフレームＢ１の奇数フィールドの画素データの読出および表示を行なうことができる（図４のフィールド期間Ｔ５参照）。画像データがブロック（マクロブロック）単位で復号処理されて書込まれる場合、確実に重ね書きを防止するためには、先の図１１ないし図１５に示す遅延を与える構成が用いられればよい。
【０１１０】
このＢフレームＢ２は２フィールド期間表示されるフレームである。したがってこのＢフレームＢ２がフィールド期間Ｔ７からその偶数フィールドの画素データが読出かつ表示され、フィールド期間Ｔ８においてその奇数フィールドの画素データの表示が行なわれる。ＢフレームＢ２の表示されるべきフィールドがフィールド期間Ｔ８において最終フィールドであるため、次のフレームすなわちＰフレームＰ６の復号がこのフィールド期間Ｔ８において実施される。
【０１１１】
フィールド期間Ｔ９においては、表示順序に従って既に復号処理されたＩフレームＩ３が３フィールド期間表示される。ＩフレームＩ３の表示においても、最後に表示されるフィールド、すなわちＩフレームＩ３の偶数フィールドの表示期間Ｔ１１に先行する１フィールド期間Ｔ１０の間復号処理は停止される。この期間Ｔ１１においてＩフレームＩ３の偶数フィールドの読出および表示が行なわれるとき、このフィールド期間Ｔ１１において次のＢフレームＢ４の復号が開始される。以降同様の動作が繰返される。すなわち、フィールド期間Ｔ１２およびＴ１３においてＢフレームＢ４の奇数フィールドおよび偶数フィールドの画素データがそれぞれ順次読出されて表示される。次のＢフレームＢ５は３フィールド期間表示されるフレームであり、フィールド期間Ｔ１４ないしＴ１６においてそれぞれ奇数フィールド、偶数フィールド、奇数フィールドの順で順次画素データが読出されて表示される。フィールド期間Ｔ１５においては復号処理は行なわれない。
【０１１２】
上述のように、４フィールドごと（２フレームごと）に１フィールド期間復号処理を停止させることにより、１フィールド期間余分に表示する期間を復号処理動作時に確保することができ、復号処理速度と表示速度とを等価的に等しくすることができ、正確なフレームレート変換を行なって画像の復号および表示を行なうことができる。表示フレームにおいては奇数フィールド、偶数フィールドが交互に表われる。したがって偶数フィールドが連続して表示されることがなく、画像品質の劣化が防止される。また、Ｂフレームについては、その復号開始と表示開始が１フィールド期間時間差を持っているため、先の実施例１および２と同様１フレームの記憶容量を備えるバンク＃３を用いて重ね書きを防止して画像データの格納および表示を行なうことができる。
【０１１３】
図１８は、この第３の実施例に用いられる画像復号表示装置の制御部の構成を概略的に示す図である。この図１８に示す制御部の構成においては、制御ユニット１４０は、先に示した図９の構成に加えて、さらに復号化ユニット１０から与えられるプルダウン変換情報を受ける。このプルダウン変換情報は、たとえばフレーム（ピクチュア）ヘッダ領域に格納されており、復号化ユニット１０がこのフレーム（ピクチュア）ヘッダを解析して、抽出したプルダウン変換情報を制御ユニット１４０へ与える。このプルダウン変換情報は、対応のフレームの表示期間（２フィールドまたは３フィールド）を指定する。制御ユニット１４０は、この復号化ユニット１０から与えられるフレームタイプ情報（データ構造情報）、およびプルダウン変換情報に従って参照フレームの参照画素のアドレスを発生する参照フレームアドレス発生器５０、復元画素の格納（書込）アドレスを発生する復元画素アドレス発生器５２および表示画素のアドレスを発生する表示アドレス発生器１５４の動作を制御する。参照フレームアドレス発生器５０および復元画素アドレス発生器５２は、先の図９に示す構成と同じである。表示アドレス発生器１５４は、この制御ユニット１４０の制御のもとに、３フィールド、２フィールド、３フィールド、…の間同一バンクがアクセスされるようにアドレスを発生する。このときまだ表示アドレス発生器１５４は、奇数フィールド、および偶数フィールドの画素データが各フィールド期間ごとに交互に読出されるようにその表示アドレスを変換する。このアドレスの変換機能は、制御ユニット１４０がプルダウン変換情報に従ってフィールド特定アドレスを表示アドレス発生器１５４へ与えるように実現されてもよい。参照フレームアドレス発生器５０および復元画素アドレス発生器５２は、４フィールドおきに１フィールド期間その動作が停止される（復号処理動作がこのフィールド期間行なわれないためである）。
【０１１４】
なお、プルダウン変換情報はフレーム（ピクチュア）ヘッダに含まれており、これを抽出してプルダウン変換するように上記実施例においては説明している。しかしながら、ユーザが装置に固定的に設定してもよく、また外部の図示しない装置からこのプルダウン変換情報が与えられるように構成されてもよい。
【０１１５】
以上のように、この発明の第３の実施例の構成に従えば、Ｂフレームの画素データの復号開始と表示開始を１フィールド期間ずらせる動作を基本動作として、あるフレームの最後に表示されるべきフィールドの画素データの表示動作開始に同期して次のフレームの復号処理を開始するように構成しているため、たとえば３：２プルダウンなどのプルダウン変換を何らＢフレームの格納用のバンクの記憶容量を増加させることなく容易に実現することができる。
【０１１６】
［実施例４］
図１９および２０は、フィールド構造を有する符号化画素データのマクロブロックを示す図である。図１９には奇数フィールドの画素（白丸印で示す）で構成されるマクロブロックＭＢｏを示す。図２０には偶数フィールドの画素（四角印で示す）で構成されるマクロブロックＭＢｅを示す。フィールド構造の場合、奇数フィールドはマクロブロックＭＢｏのみで構成され、偶数フィールドはマクロブロックＭＢｅのみで構成される。このようなフィールド構造画像データの場合、先のフレーム構造の画像データと異なり、奇数フィールドの画素データのみおよび偶数フィールドの画素データのみがそれぞれ各フィールド期間において伝達されて復号される。
【０１１７】
図２１は、この発明の第４の実施例の画像復号表示装置の動作を示す図である。この図２１に示す動作シーケンス図において、復号および表示されるフレームの順序は先の第１ないし第２の実施例と同じである。図２１に示すように、フィールド構造で（予測）符号化された画像データの場合、奇数フィールドの画素データと偶数フィールドの画素データとはそれぞれ別々の期間に伝送されて復号処理が行なわれる。したがって、各フィールド期間において偶数フィールドまたは奇数フィールドの１フィールドの画素データの復号処理が行なわれる。このような復号処理においても、Ｂフレームの画素データに関して、フレームの復号開始と表示開始とを１フィールド期間ずらせることにより、Ｂフレームの画像データ格納のためのバンクの容量は１フレームの画素データを格納する記憶容量で十分である
すなわち、図２２（Ａ）に示すように、Ｂフレームの最初のフィールド期間、奇数フィールドの画素データのみが復号処理され、バンク＃３（３６）の奇数フィールド領域３６ａに対して画素データの格納が行なわれる。次のフィールド期間、図２２（Ｂ）に示すように、奇数フィールド領域３６ａに格納された画素データが読出されて表示される。一方、この奇数フィールド領域３６ａと全く領域の異なる偶数フィールド領域３６ｂに対し画素データの書込が行なわれる。したがってこの期間において何ら画素データの上書きが生じず、正確な復号動作および表示動作を保証することができる。
【０１１８】
さらに次のフィールド期間においては、図２２（Ｃ）に示すように、次のＢフレーム（たとえばＢ２）の奇数フィールドの画素データが奇数フィールド領域３６ａに書込まれ、一方、このときには偶数フィールド領域３６ｂに書込まれた先行するＢフレーム（たとえばＢ１）の偶数フィールドの画素データが読出されて表示される。したがって、この場合においても何ら画素データの上書きは生じず、正確な復号および表示を行なうことができる。
【０１１９】
この第４の実施例に示すように、画像データがフィールド単位で符号化されている場合、バンク＃３においてデータ書込とデータ読出が行なわれる領域が完全に分離されているため、復号開始タイミングおよび表示開始タイミングの間に図１１，図１２および図１５に示すような遅延を設ける必要はない。したがって、画像データがフィールド予測符号化方式で符号化されてフィールド単位で復号処理される場合においては、図１３および図１４に示すような遅延手段を何ら設ける必要はない。
【０１２０】
［変更例］
図２３は、この発明の第４の実施例の変更例の構成を示す図である。図２３においては、制御ユニット１４ａから出力されるピクチュア同期信号ＰＳＹＮＣを所定時間遅延させる遅延回路６０の出力部に、制御ユニット１４ａからの遅延切換信号φＳＤに応答してこの遅延回路６０の与える遅延を選択的に無効化する切換回路８０が設けられる。この図２３に示す遅延回路６０は先の図１３に示す遅延回路６０と等価である。制御ユニット１４ａは、表示制御装置から与えられる水平同期信号ＨＳＹＮＣおよび垂直同期信号ＶＳＹＮＣに従ってピクチュア同期信号ＰＳＹＮＣを出力する。
【０１２１】
この制御ユニット１４ａは、さらに、図示しない復号化ユニットから与えられるデータ構造情報（シーケンスヘッダにたとえば含まれる）を受け、符号化すべき画像がフレーム単位で与えられている（フレーム構造の画像）かまたはフィールド単位で与えられている（フィールド構造の画像）かのいずれであるかを判別し、その判別結果に従って遅延切換信号φＳＤの論理レベルを設定して出力する。
【０１２２】
遅延切換回路８０は、この制御ユニット１４ａからの信号φＳＤに応答してピクチュア同期信号ＰＳＹＮＣと、遅延回路６０の出力信号の一方を選択的に通過させるセレクタで構成される。遅延切換信号φＳＤは２値信号であり、データ構造情報がフレーム構造を示す場合には、信号φＳＤがたとえば論理ローレベルとされ、遅延回路６０の出力信号を選択する。これにより、遅延回路６０が有効に機能し、ピクチュア同期信号ＰＳＹＮＣが所定時間遅延されて復号開始指示信号として出力される。一方、データ構造情報がフィールド構造を示すとき、信号φＳＤはたとえば論理ハイレベルとされ、制御ユニット１４ａの出力信号ＰＳＹＮＣを選択する状態に設定される。この状態においては、遅延回路６０は、実効的に非活性状態とされ、その遅延機能が無効化される。制御ユニット１４ａからのピクチュア同期信号ＰＳＹＮＣがトランスファゲート８２を介して復号開始指示信号として伝達される。
【０１２３】
この図２３に示す構成を用いれば、制御ユニット１４ａの制御のもとに、復号開始タイミングを表示開始タイミングと同期させるかまたはそれよりも遅延させるかのいずれかの状態を設定することができる。したがって１つの装置により、フィールド構造画像およびフレーム構造画像いずれにも対応することが可能となり、汎用性の高い画像復号表示装置を実現することができる。
【０１２４】
なお、この遅延切換回路８０に含まれるセレクタは、その信号を通過させる機能を機能的に表現しているだけであり、任意の回路構成が用いられてもよい。すなわち、フレーム構造画像を復号処理して表示する場合には、遅延回路６０が与える遅延が有効とされ、フィールド構造画像を復号処理しかつ表示する場合には、この遅延回路６０が与える遅延が無効状態とされる構成が用いられればよい。
【０１２５】
図２４は、第４の実施例の変更例の他の構成を示す図である。図２４に示す構成においては、バッファメモリ７０と並列に、制御ユニット１４ｂからの制御信号φＺに応答して、バッファメモリ７０の信号伝播経路（入出力部）を短絡するセレクタで構成される遅延切換回路９０が設けられる。制御ユニット１４ｂは、データ構造情報がフレーム単位を示し、画像データがフレーム単位で与えられる場合には、制御信号φＺをたとえば論理ローレベルとして遅延切換回路９０をバッファメモリ７０の出力画素データ選択状態とし、かつイネーブル信号φＥＮを活性状態としてバッファメモリ７０を作動状態とする。この状態においては、記憶装置１２から読出されたデータは、バッファメモリ７０で所定時間遅延された後に表示装置へ伝達される。したがってこの状態においては、バッファメモリ７０が与える遅延時間だけ等価的に復号開始タイミングが遅延される。
【０１２６】
一方、制御ユニット１４ｂは、データ構造情報がフィールド単位を示し、画像データがフィールド単位で与えられる場合には、制御信号φＺをたとえば論理ハイレベルとして遅延切換回路９０を記憶装置１２の出力画素データ選択状態とし、かつイネーブル信号φＥＮを非活性状態とし、バッファメモリ７０を非活性状態とする。この状態においては、記憶装置１２から読出された画素データは遅延切換回路９０を介して表示装置へ伝達される。この状態においては、表示装置上での画素データの表示開始タイミングと復号化ユニットにおける復号処理開始タイミングとが同期している。
【０１２７】
この図２４に示す構成を用いても、復号処理開始タイミングと画素データ表示開始タイミングとの時間差を画像の処理単位に応じて設定することができる。
【０１２８】
この図２４に示す構成においても、遅延切換回路９０を構成するセレクタは、与えられる画像データがフィールド単位の場合、バッファメモリ７０が与える遅延を無効化する構成であれば、任意の構成を用いることができる。
【０１２９】
なお、図２３および図２４に示す遅延切換回路の選択経路は、ユーザが必要に応じて設定してもよく、また外部からの制御信号により設定されてもよい。
【０１３０】
以上のように、この第４の実施例の構成に従えば、画像データがフィールド単位で与えられる場合には、復号処理開始タイミングと画素データ表示開始タイミングとの時間差を１フィールド時間に実質的に設定しているため、記憶装置からのデータ読出タイミングの設定が容易となり、制御が容易となる。また、画像の形式（フィールド単位またはフレーム単位）に応じて選択的に遅延手段の与える遅延を有効／無効としているため、複数の画像形式に対しても対応することのできる汎用性の高い画像復号表示装置を実現することができる。
【０１３１】
［実施例５］
図２５は、この発明の第５の実施例である画像復号表示装置の全体の構成を概略的に示す図である。この図２５に示す画像復号表示装置１は、制御ユニット１４の制御のもとに水平同期信号ＨＳＹＮＣおよび垂直同期信号ＶＳＹＮＣを所定のタイミングで出力する表示制御装置２０ａを含む。他の構成は、先の図１に示す構成と同じであり、対応する部分には同一の参照番号を付す。以下、図２６に示す動作フロー図を参照してこの図２５に示す画像復号表示装置の動作について説明する。
【０１３２】
まず、外部からたとえばユーザからの指令により表示装置に画像を表示する表示指示が与えられたか否かの判別が行なわれる（ステップＳ１）。この表示指示は、たとえばこの画像復号表示装置の電源投入であってもよい。また複数チャネルの画像情報が与えられる場合は、所望のチャネル選択情報であってもよい。
【０１３３】
この表示指示が与えられると、制御ユニット１４は所定の条件が成立した否かを判別する（ステップＳ２）。この所定の条件は、復号化ユニット１０において、ビットストリームに含まれるヘッダ情報がすべて解析され、次に、符号化画素データの復号処理を行なう状態に到達したことおよび／または図示しないビットストリームに含まれる符号化データ（符号化画素データおよびヘッダ情報両者を含む）を格納するためのレートバッファに予め定められた量以上のデータが格納されたことなどがある。制御ユニット１４は、所定の条件が設立すると、復号化ユニット１０に対し、画素データ復号開始指示を与える。図２５においては、ピクチュア同期信号ＰＳＹＮＣを復号化ユニット１０に与えるように示される。このピクチュア同期信号は、先の実施例２ないし４に示す復号開始指示信号であってもよい（ステップＳ３）。
【０１３４】
制御ユニット１４は、この画素データ復号開始指示（たとえばピクチュア同期信号ＰＳＹＮＣのアサート）に従って、先の第１ないし第４の実施例において説明した所定のタイミングで表示動作を開始させるための表示開始指示信号を表示制御装置２０ａへ与える（ステップＳ４）。表示制御装置２０ａは、この表示開始指示が制御ユニット１４から与えられると、所定のタイミングで水平同期信号ＨＳＹＮＣおよび垂直同期信号ＶＳＹＮＣを表示装置２２へ与える。このとき、また制御ユニット１４は、この垂直同期信号ＶＳＹＮＣのアサートに応答して、記憶装置１２からの復元された画素データの表示動作を行なうための制御信号をメモリインタフェースユニット１６へ与える。以降、この表示制御装置２０ａは、最初に設定されたタイミングで水平同期信号ＨＳＹＮＣおよび垂直同期信号ＶＳＹＮＣをアサートする。メモリインタフェースユニット１６および表示インタフェース１８は、制御ユニット１４の制御のもとに、先の第１ないし第４の実施例において説明したのと同様のタイミングで記憶装置１２から復元された画素データを読出して表示装置２２へ与える。これにより、表示装置２２においては、水平同期信号ＨＳＹＮＣに同期して復元された画素データが順次表示される。
【０１３５】
この図２５に示す画像復号表示装置の構成においては、画像表示指示が与えられた初期化シーケンスにおいてピクチュア同期信号（または復号開始指示信号）と表示のための水平同期信号ＨＳＹＮＣおよび垂直同期信号ＶＳＹＮＣのタイミング関係が設定される。以降においては、このタイミング関係を維持して符号化画素データの復号および復元された画素データの表示が行なわれる。
【０１３６】
この第５の実施例に示すように、復号開始指示を基準として表示動作の開始タイミングを設定しても、先の実施例１ないし実施例４の構成と同様の効果を奏することができる。
【０１３７】
【発明の効果】
請求項１に係る画像復号表示装置においては、Ｂフレームの復号開始タイミングと表示開始タイミングとの間に実質的に１フィールド時間の時間差を設けたため、１フレームの画素データを格納する記憶容量を備えるフレームメモリを用いても、表示画素データが復元画素データで上書きされることがなく、正確に表示を行なうことができ、画像表示のために用いられる記憶装置の記憶容量を低減することができる。
【０１３８】
請求項２に係る画像復号表示装置においては、あるフレームの最後に表示されるべきフィールドの画素データの表示に同期して次のフレームの画素データの復号処理開始を行なっているため、最低１フィールドの時間差をもってＢフレームの画素データの復号および表示を行なうことができ、表示のための記憶装置の記憶容量を低減して正確な画像の表示および復号を行なうことができる。また、３：２プルダウンなどのようなフレームレート変換時においても記憶容量を増加させることなく正確に対応することができる。
【０１３９】
請求項３に係る画像復号表示装置においては、与えられたプルダウン変換情報に従って記憶手段から所定数のフレームごとにフィールド単位で画素データが再度読出されるように読出手段を制御しかつこの記憶手段からあるフレームのうち最後に表示されるべきフィールドの画素データの表示装置への出力に応答して次のフレームの画素データの復号処理を開始しているため、プルダウン変換時においても、記憶手段の記憶容量を増加させることなく正確に、画像データの上書きを防止して復号および表示を行なうことができる。
【０１４０】
請求項４に係る画像復号表示装置おいては、あるフレームの最後のフィールドの画素データが再度読出されて表示される場合には、先行する１フィールド時間復号処理動作を停止させているため、記憶手段の記憶容量を増加させることなく最後のフィールドの表示画素データの上書きを防止することができ、正確に３：２プルダウンなどの表示レート変換を行なうことができる。
【０１４１】
請求項５に係る画像復号表示装置においては、復号開始に同期して表示装置への画素データの出力タイミングを調整し、このタイミングがＢピクチュアに関しては１フィールドの画素データの表示に要する時間差を持たせるようにしているため、復号動作開始を基準としても、何らＢピクチュア格納のための記憶装置の容量を増加させることなく、正確に復号および表示を行なうことができる。
【０１４２】
また、請求項１から５に係る画像復号表示装置においては、復号処理開始タイミングが、１マクロブロックラインの画素データの表示時間に要する時間だけさらに遅延されるため、フレーム構成を結うしかつマクロブロック単位で復号処理される画像データの表示においても、表示前画素データが復号済の画素データで上書きされるのを防止することができ、正確な復号および表示を行うことができる。
【０１４３】
請求項６に係る画像復号表示装置においては、復号処理開始タイミングの遅延を、記憶手段の出力部と表示装置の間にバッファメモリを設けて実現しているため、複雑なタイミング条件を考慮することなく容易に必要とされる遅延時間を実現することが可能となる。
【０１４４】
この発明においては、与えられる画像データ画フィールド単位で与えられる場合には、この復号処理開始タイミングを１マクロブロックラインに相当する時間の遅延を無効とするように構成したため、与えられる画像データがフィールド単位およびフレーム単位のいずれで与えられる場合においても選択的にこの遅延時間の有効／無効により対応することができ、複数の画像形式に対応することのできる画像復号表示装置を実現することができる。
【０１４６】
請求項７に係る画像復号表示装置においては、記憶手段に含まれるＢピクチュアの画素データを格納するための記憶装置を、１フレームの画素データを格納する容量を備えるフレームメモリで構成したため、必要最小限の記憶容量を備える記憶装置で画像表示のための記憶手段を実現することができ、記憶装置の記憶容量を低減することができる。
【図面の簡単な説明】
【図１】 この発明に係る画像復号表示装置の全体の構成を概略的に示す図である。
【図２】 （Ａ）はこの発明において用いられるフレームの表示順序の一例を示し、（Ｂ）は転送されるフレームの復号順序の一例を示す図である。
【図３】 フレーム符号化予測方式におけるマクロブロックの画素の構成の一例を示す図である。
【図４】 この発明の第１の実施例である画像復号表示装置の動作シーケンスを示す図である。
【図５】 図１に示すバンク＃３の記憶領域を示す図である。
【図６】 図５に示す記憶装置における画素データの書込および読出領域を示す図である。
【図７】 図５に示す記憶装置における奇数フィールドの最終画素ラインにおける表示および復号態様を示す図である。
【図８】 図５に示す記憶装置における偶数フィールドの画素ラインにおける表示および書込態様を示す図である。
【図９】 図１に示すメモリインタフェースユニットの構成を概略的に示す図である。
【図１０】 フレーム単位画像の復号および表示画素の配置態様を示す図である。
【図１１】 この発明の第２の実施例における画素データの復号および表示時における記憶装置の記憶内容の配置を示す図である。
【図１２】 この発明の第２の実施例における復号処理開始および表示開始タイミングの関係を示す図である。
【図１３】 図１２に示す遅延時間を実現するための回路構成の一例を示す図である。
【図１４】 図１２に示すタイミング関係を実現するための他の構成を示す図である。
【図１５】 図１４に示す回路構成の動作タイミングを示す図である。
【図１６】 ３：２プルダウン手法を説明するための図である。
【図１７】 この発明の第３の実施例である画像復号表示装置の動作シーケンスを示す図である。
【図１８】 この発明の第３の実施例において用いられるメモリインタフェースユニットおよび制御ユニットの構成を概略的に示す図である。
【図１９】 この発明の第４の実施例におけるフォールド予測方式のマクロブロックの構成を示す図である。
【図２０】 この発明の第４の実施例において用いられるフィールド単位の画像（マクロブロック）の構成を例示的に示す図である。
【図２１】 この発明の第４の実施例の画像復号表示装置の動作シーケンスを示す図である。
【図２２】 この発明の第４の実施例におけるＢフレームデータのアクセス態様を示す図である。
【図２３】 この発明の第４の実施例の第１の変更例の構成を示す図である。
【図２４】 この発明の第４の実施例の第２の変更例の構成を示す図である。
【図２５】 この発明の第５の実施例に従う画像復号処理装置の全体の構成を概略的に示す図である。
【図２６】 図２５に示す画像復号表示装置の動作シーケンスを示すフロー図である。
【図２７】 ＭＰＥＧに従う画像予測符号化方式を説明するための図である。
【図２８】 画像の構成を概略的に示す図である。
【図２９】 画像データのシンタクスを説明するための図である。
【図３０】 従来の画像復号表示装置の構成を概略的に示す図である。
【図３１】 伝送される符号化データおよび画像の構成を示す図である。
【図３２】 ノンインタレース方式での画像表示を説明するための図である。
【図３３】 インタレース方式に従う画像表示を説明するための図である。
【図３４】 従来の画像復号表示装置の構成を概略的に示す図である。
【図３５】 図３４に示す画像復号表示装置の動作シーケンスを示す図である。
【符号の説明】
１ 画像復号表示装置、１０ 復号化ユニット、１２ 記憶装置、１４ 制御ユニット、１６ メモリインタフェースユニット、１８ 表示インタフェース、２０，１２０ａ 表示制御装置、２２ 表示装置、３２，３４，３６ フレーム画素データ格納用バンク、６０ 遅延回路、７０ バッファメモリ、８０，９０
遅延切換回路、１４ａ，１４ｂ，１４０ 制御ユニット。
【産業上の利用分野】
この発明は、符号化された画像データを復号して表示装置への表示のために復号後の画素データを出力する画像復号表示装置に関し、特に、予測符号化された動画像データを復号して表示のために出力する画像復号表示装置に関する。より特定的にはＭＰＥＧ（Motion Picture Experts Group）標準の復号処理におけるＢピクチュアを記憶する記憶素子の記憶容量を低減するための構成に関する。
【０００２】
【従来の技術】
膨大な量の画像データの伝送時、画像データを高能率で符号化してデータ量を低減することが行なわれる。このような高能率符号化手法の１つに、フレーム（またはフィールド）間予測符号化方式がある。このフレーム（またはフィールド）間予測符号化は、画像の時間的相関性を利用する符号化方式であり、動画像データの符号化においてよく用いられている。
【０００３】
このフレーム（またはフィールド）間予測符号化は以下の手順を含む。符号化対象となる現画面画像（フレームまたはフィールド）と時間的に近接する画面画像（以下、単に画像と称す）を参照画像として現画像の画素データの値を予測する。この予測値と現画像の画素データとの差分（予測誤差）を求め、この予測誤差を符号化する。予測値としては、符号化される現画像画素に対応する参照画像画素（通常、動画像符号化においては、動き補償された参照画像の画素）のデータが用いられる。画像の時間的相関性が高い場合には、この差分（予測誤差）は小さな値となるため、伝送すべきデータ量を低減することができ、効果的な情報の圧縮が実現される。
【０００４】
このような予測符号化方式の１つに、動画像を対象とするＭＰＥＧ規格がある。このＭＰＥＧ規格の画像データの符号化および復号化方式は、たとえば、日経エレクトロニクス、１９９４年３月１４日号の第８２頁ないし第１１６頁に解説されているが、以下に簡単に説明する。
【０００５】
画像には、Ｉピクチュア、ＰピクチュアおよびＢピクチュアなどの種類が存在し、画像の種類に応じて用いられる予測方式が異なる。
【０００６】
図２７は、画像の時間的配列の一例を示す図である。図２７においては、９枚の画像Ｇ１〜Ｇ９が代表的に示される。画像Ｇ３は、Ｉピクチュアであり、フレーム内またはフィールド内符号化され、画素データそのものが符号化される画像である。画像Ｇ６およびＧ９は、Ｐピクチュアであり、過去の再生画像を用いてフレーム間またはフィールド間予測符号化処理される画像である。画像Ｇ１，Ｇ２，Ｇ４，Ｇ５，Ｇ７およびＧ８は、Ｂピクチュアであり、過去および未来の再生画像のいずれかまたは両者の再生画像を用いて予測符号化される画像である。このＢピクチュアは、ＩピクチュアおよびＰピクチュアまたはＰピクチュアおよびＰピクチュアの組を用いて予測符号化される。Ｂピクチュアは、予測符号化時および復号化時においては参照画像としては用いられない。図２７においては、ＢピクチュアＧ１およびＧ２は、時間的に後に位置する未来の画像ＩピクチュアＧ３を用いて予測符号化される。ＢピクチュアＧ４およびＧ５は、過去の再生画像であるＩピクチュアＧ３と時間的に後に位置する未来の再生画像であるＰピクチュアＧ６両者を用いて予測符号化される。ＢピクチュアＧ７およびＧ８は、過去の再生画像であるＰピクチュアＧ６と未来の再生画像であるＰピクチュアＧ９を用いて予測符号化される。
【０００７】
図２８は、１つの画像の構成を示す図である。図２８において、１枚の画像（フィールドまたはフレーム）１０２０は、複数のマクロブロックと呼ばれるセグメントに分割される。図２８においては、簡単化のために、画像１０２０は、３２個のマクロブロックＭＢ＃１〜ＭＢ＃３２に分割される構成が一例として示される。動画像の処理は、通常、このマクロブロックと呼ばれるセグメントを単位として実行される（符号化処理および復号化処理いずれにおいても）。マクロブロックＭＢ＃１〜ＭＢ＃３２の各々は、図２８に併せて示すように、通常、水平方向１６画素および垂直方向１６画素に配列された２５６個の画素を含む。したがって、図２８に示す画像１０２０は、１２８画素×６４画素で構成される。ＭＰＥＧ規格においては、この画像（ピクチュア）の構成については、１ライン（走査線）あたり７２０画素以下、および１フレームあたり５７６ライン以下および毎秒３０フレーム以下という条件が規定されている。ただし、ＤＣＴ（離散コサイン変換）処理およびＩＤＣＴ（逆離散コサイン変換）処理においては、８画素×８画素のブロックを単位として処理が行なわれる。
【０００８】
図２９は、ＭＰＥＧ規格に従う画像データのビットストリーム（複数ビット幅）の構成（シンタクス）を概略的に示す図である。図２９において、ビットストリームは、複数のレイヤに分割される。上位から、シーケンスレイヤ、ＧＯＰ（グループ・オブ・ピクチュア）レイヤ、ピクチュアレイヤ、スライステイヤ、マクロブロックレイヤおよびブロックレイヤである。
【０００９】
ブロックレイヤは、ＤＣＴ係数を含む領域１１００ａと、ブロックの終了を示すエンド・オブ・ブロック（ＥＯＢ）を格納する領域１１００ｂを含むブロック１１００で構成される。ＤＣＴ係数データを格納する領域１１００ａは、ＤＣＴ処理の単位となる８行・８列の画素のＤＣＴ係数データを格納する。ブロック１１００において、領域１１００ａの最終のＡＣ係数が非ゼロ係数の場合、領域１１００ｂのエンド・オブ・ブロックＥＯＢは用いられない場合もある。ここで、ＤＣＴ処理は、符号化時において、画像における空間的な冗長性（隣接画素間の高い相関性）を低減して画像データ量の削減を図るために行なわれる。すなわち、ＤＣＴ処理により、ＤＣＴ係数を低域係数領域に偏在させることができる。このＤＣＴ係数を量子化することにより、空間周波数における水平および垂直方向をともに低域成分の値を大きくし、かつ高域成分の値をほとんど“０”とすることができる。これにより画像データ量が低減される。
【００１０】
マクロブロックレイヤは、所定数のブロック（６個）１１００と、マクロブロックのデータの属性および動きベクトル等を格納するマクロブロックヘッダ１１１５を含むブロック１１１０で構成される。
【００１１】
スライスレイヤは、画像の走査順に連結される１つまたは複数のマクロブロックで構成されるスライス１１２０を含む。このスライス１１２０の先頭には、スライスの画面上垂直位置を示す情報およびこのスライスの始まりを示す所定のパターンを有するスタートコードなどの情報が格納されるスライスヘッダ１１２５が設けられる。
【００１２】
ピクチュアレイヤは、複数のスライス１１２０で構成されるピクチュア（画像）１１３０を含む。ピクチュア１１３０の先頭に、ピクチュアの種類（Ｉピクチュア、Ｐピクチュア、Ｂピクチュア等）を示す情報およびピクチュアの開始を示すスタートコードを格納するピクチュアヘッダ１１３５が配置される。
【００１３】
ＧＯＰレイヤは、複数のピクチュア１１３０を含むＧＯＰ１１４０を含む。このＧＯＰ１１４０に含まれるピクチュア１１３０は、１つ以上のＩピクチュアと０または複数のＰピクチュアまたはＢピクチュアを含む。ＧＯＰ１１４０の先頭には、ＧＯＰの始まりを示すスタートコード、およびこのＧＯＰがそれより以前のＧＯＰの画像データからの参照を必要としないことを示すフラグなどの情報を格納するＧＯＰヘッダ１１４５が配置される。
【００１４】
シーケンスレイヤは、１つあるいは複数のＧＯＰ１１４０または１つもしくは複数のピクチュア１１３０で構成されるシーケンス１１５０を含む。シーケンス１１５０の先頭部には、画面のフォーマットなどの情報を格納するシーケンスヘッダ１１５５が配置される。このシーケンスヘッダ１１５５は、シーケンス１１５０に含まれるＧＯＰ１１４０のすべての先頭に配置させることができる（シーケンスの途中からの画像の再生を許容するため）。シーケンスヘッダ１１５５は、シーケンスの開始を示す所定のパターンを有するスタートコード、画像の水平および垂直サイズ、ピクチュアレート（画像表示速度）、ビットレート、およびＢピクチュア周期（ＩピクチュアとＰピクチュアの間または２つのＰピクチュアの間に配置されるＢピクチュアの数）などの情報が格納される。
【００１５】
図３０は、画像復号装置の概略構成を示す図である。図３０において、画像復号装置は、符号化装置から与えられる画像符号化データ（ビットストリーム）を受け、符号化時と逆の処理を行なって元の画素データを復元する復号回路ＤＣと、復号回路ＤＣにおいて復元された画像データを格納するための記憶装置ＭＲを含む。復号回路ＤＣへ与えられる符号化データは、先に説明したように、予測符号化されたデータである。フレーム間予測符号化においては、現フレームの画素データと予測フレーム（参照フレーム）の画素データとの差分が符号化されている。したがって、復号回路ＤＣにおいて復号処理をする場合には、この予測フレーム（参照フレーム）を用いて差分を求める演算と逆の演算、すなわち加算演算を行なう必要がある。この参照フレーム画像データを記憶するために記憶装置ＭＲが設けられる。Ｂピクチュアは、２つのピクチュアを参照画像として用いるため、記憶装置ＭＲは、少なくとも２つのピクチュアの画像データを格納する容量が必要とされる。記憶装置ＭＲは、２つのピクチュアをそれぞれ格納するバンク＃１ＢＫ１およびバンク＃２ＢＫ２を含む。ここで、以下の説明においては、画像符号化データの構造が、偶数フィールドの画素データおよび奇数フィールドの画素データをともに含むフレームを単位とするフレーム構造であると仮定する。この場合、バンク＃１ＢＫ１およびバンク＃２ＢＫ２は、それぞれ１フレームの画像データを格納する記憶容量を備える。
【００１６】
【発明が解決しようとする課題】
前述のごとく、画像データの符号化および復号化処理はマクロブロックを単位として行なわれる。符号化時においては、図３１（Ａ）に示すように、画像１０３０のマクロブロックＭＢは、この図３１（Ａ）に示す番号の順に符号化される。ここで、図３１（Ａ）においては、画像１０３０は水平方向にＮ個、かつ垂直方向にＭ個のマクロブロックに分割される構成が示される。便宜的に、以下の説明において水平方向に整列して配置されるＮ個のマクロブロックＭＢを「１マクロブロックライン」と称す。符号化時においては、各マクロブロックラインにおいて画面上左端のマクロブロックから画面上右方向へのマクロブロックへと符号化処理が進む。あるマクロブロックラインの最後のマクロブロック、たとえばマクロブロックＭＢ（Ｎ）の符号化処理が終了した後、次のマクロブロックラインの左端のマクロブロック（たとえばマクロブロックＭＢ（Ｎ＋１））の符号化処理が行なわれる。符号化装置から伝送される符号化画像データも、図３１（Ｂ）に示すように、符号化されたマクロブロックの順に伝送される。
【００１７】
復号回路（図３０参照）は、この図３１（Ｂ）に示すシーケンスで与えられる符号化データを同様、マクロブロックＭＢ単位で復号化処理を行なって出力する。したがって、この復号回路から記憶装置へ出力される復号後の画像データの出力シーケンスも図３１（Ｂ）に示すシーケンスと同じとなる。
【００１８】
一方、一般の表示装置において画像の表示は「ラスタ走査」方式に従って、画面上から下へ向かって「１画素ライン」ごとに行なわれる。ここで、「１画素ライン」は、画面上水平方向に整列して配置される画素の集合を示す。
【００１９】
図３２はノンインターレス方式で画像を表示する際の画素データの画面上での表示シーケンスを示す図である。図３２において、１画面の画像（ピクチュア）１０４０は、２Ｌ画素ラインを含む。この画面画像１０４０の左に画素ラインの表示順序を示す。ノンインターレス表示の場合、画面画像１０４０の左上端の画素から順次表示される。すなわち、１つの画素ラインにおいて左端に配置された画素から画面上右方向に表示が進む。１つの画素ラインにおいて最後の画素（画像１０４０の右端の画素）の表示が完了すると、次の画素ラインの画像１０４０の左端の画素の表示が行なわれる。この表示シーケンスが最終の画素ライン（番号２Ｌと付された画素ライン）の表示が完了するまで繰返し実行される。
【００２０】
図３３は、インターレス表示方式における画像の表示シーケンスを示す図である。図３３においても、画像１０４０は、２Ｌ本の画素ラインを含む。このインターレス表示方式においては、まず画像１０４０上の一番上の画素ラインの画素データの表示が行なわれる。次に、次の画素ラインを飛び越して、その次の画素ラインの画素データの表示を行なう。以降、１つの画素ラインを飛び越して画像１０４０の画素データの表示を行なう。画像１０４０の下側の画素ライン（Ｌ）に到達した場合、再度画像１０４０の上側に戻り、飛び越された画素ラインの画素データの表示を行なう。この飛び越された画素ラインの画素データの表示が完了すると次のフレーム画像の表示が行なわれる。すなわちこのインターレス表示においては、まず画像１０４０の奇数画素ラインの画素データの表示が行なわれ、すべての奇数画素ラインの画素データの表示が完了した後に、偶数画素ラインの画素データの表示が行なわれる。すなわちインターレス表示の場合、１フレームが奇数フィールドと偶数フィールドで構成され、奇数フィールドの表示が完了した後に偶数フィールドの表示が行なわれる。
【００２１】
図３１と図３２および図３３とを比較すれば明らかなように、復号化データの出力されるシーケンスと表示装置上で表示される画素データの表示順序とは異なっている。したがって、画像復号および表示機能を備える装置においては、この画素データの並ぶ順序を変換する機能が要求される。この画素データの配置順序を変換する機能は、記憶装置を用いて実現される。すなわちこの記憶装置に対し、復号された画素データの順序で画素データを書込み、表示される画素データの順序に従って画素データの読出が行なわれる。すなわち、与えられた画像符号化データを復号し、マクロブロック順に記憶装置に書込み、表示時において、この表示装置の表示方式に従ってノンインターレス方式またはインターレス方式のいずれかの順序に従ってこの記憶装置から画素データを読出すことによりこの変換機能が実現される。
【００２２】
図３４は、従来の画像データの復号および表示機能を備える復号表示装置の構成を概略的に示す図である。図３４において、従来の復号表示装置は、与えられた画像符号化データに含まれる画素データに復号処理を施して元の画素データを復元しかつ復元したデータを表示装置ＤＰへ表示のために出力する復号・表示回路ＤＤＣと、この復号・表示回路ＤＤＣにおける復号処理時において用いられる参照画像データおよび表示のための画素データを格納するための記憶装置ＭＲを含む。記憶装置ＭＲは、ＩピクチュアまたはＰピクチュアを格納するためのバンク＃１（ＢＡ１）と、Ｐピクチュアの画素データを格納するためのバンク＃２（ＢＡ２）と、Ｂピクチュアの画素データを格納するためのバンク＃３（ＢＡ３）およびバンク＃４（ＢＡ４）を含む。以下、この図３４に示す復号・表示装置の復号および画像データ処理シーケンスをそのタイミングチャートである図３５を参照して説明する。
【００２３】
復号・表示回路ＤＤＣへは、表示時と異なる順序で各ピクチュアの画素データが与えられる。Ｂピクチュアの復号化時には、時間的に後のすなわち未来のピクチュアの画素データを用いるため、この未来の画素データはＢピクチュアより先に伝送される。復号・表示回路ＤＤＣは、この送信側から与えられた画像データを送信順序に従って順次復号処理を行なう。表示時においては、そのピクチュアの種類に従って表示順序が入替えられて表示すべき順序でピクチュアの画素データが読出されて表示装置ＤＰへ与えられる。いま、記憶装置ＭＲのバンク＃１〜＃４（ＢＡ１〜ＢＡ４）には、何ら有効な画素データは格納されていないとする。
【００２４】
期間Ｔ１においては、復号・表示回路ＤＤＣへＩピクチュアＩ３の画像データが与えられ、このＩピクチュアＩ３の画像データの復号処理が行なわれる。このＩピクチュアＩ３の復号された画像データは記憶装置ＭＲのバンク＃１（ＢＡ１）へ書込まれる。期間Ｔ１完了時においては、バンク＃１はこのＩピクチュアＩ３の画素データをすべて格納する。
【００２５】
次の期間Ｔ２においては、ＢピクチュアＢ１の符号化データが復号・表示回路ＤＤＣへ与えられる。復号・表示回路ＤＤＣはこのＢピクチュアＢ１の符号化データを復号して復号された画素データをバンク＃３（ＢＡ３）へ書込む。期間Ｔ２完了時においては、バンク＃３（ＢＡ３）には、このＢピクチュアＢ１の画素データがすべて格納される。
【００２６】
期間Ｔ３において、次のＢピクチュアＢ２の符号化データが復号・表示回路ＤＤＣへ与えられる。この期間Ｔ３におけるＢピクチュアＢ２の復号処理動作開始と同期して、バンク＃３（ＢＡ３）からＢピクチュアＢ１の画素データが読出されて表示装置ＤＰへ与えられて表示される。すなわち期間Ｔ３においては、記憶装置ＭＲのバンク＃４へＢピクチュアＢ２の復号後の画像データが書込まれ、かつバンク＃３（ＢＡ３）からＢピクチュアＢ１の画素データが読出されて表示装置ＤＰへ与えられる。このバンクへの書込時には、マクロブロック単位で順次書込みが行なわれ、一方、バンクからの読出時には、画素データがその表示方式に従って走査順に順次読出される。期間Ｔ３完了後、バンク＃４（ＢＡ４）には、ＢピクチュアＢ２の画素データがすべて格納される。その期間Ｔ３の完了時においてはＢピクチュアＢ１の画素データの表示装置ＤＰにおける表示も完了する。
【００２７】
期間Ｔ４において、ＰピクチュアＰ６の符号化データが与えられ、その復号処理が行なわれて、復号後の画素データがバンク＃２（ＢＡ２）へ書込まれる。この期間Ｔ４においては、バンク＃４からＢピクチュアＢ２の画素データが順次読出されて表示装置ＤＰへ与えられて表示される。以降、期間Ｔ５、Ｔ６、Ｔ７およびＴ８それぞれにおいて、ＢピクチュアＢ４、ＢピクチュアＢ５、ＰピクチュアＰ９およびＢピクチュアＢ７の符号化データが与えられ、それぞれ復号処理され、バンク＃３（ＢＡ３）、バンク＃４（ＢＡ４）、バンク＃１（ＢＡ１）およびバンク＃３（ＢＡ３）に復号後の画像データがそれぞれ順次書込まれる。これらの復号後の画像データの書込と並行して、期間Ｔ５、Ｔ６、Ｔ７およびＴ８それぞれにおいて、ＩピクチュアＩ３、ＢピクチュアＢ４、ＢピクチュアＢ５およびＰピクチュアＰ６がそれぞれバンク＃１（ＢＡ１）、バンク＃３（ＢＡ３）、バンク＃４（ＢＡ４）およびバンク＃２（ＢＡ２）からそれぞれ画素データが読出されて表示装置ＤＰへ与えられて表示される。符号化された画像の伝送および復号順序と表示されるピクチュアの順序を異ならせることにより、Ｂピクチュアの双方向予測時において過去および未来の画像データを用いる場合、必要な未来の画像データが先に記憶装置ＭＲ内に格納されていることになり、Ｂピクチュアの復号処理を行なうことができる。
【００２８】
上述のように、表示機能を備える復号・表示装置においては、画素順序を変換するために（マクロブロック単位で与えられる画素データをラスタ走査順序に変換するために）、２フレームの画素データを格納するためのバンク＃３および＃４を用いている。この２フレーム（ピクチュア）分の記憶容量が必要とされるのは、まだ表示のために読出されていない画素データに対し、復号後の画素データが上書きされるのを防止するためである。たとえば、ＩピクチュアＩ３は期間Ｔ１に与えられており、その表示は期間Ｔ５において行なわれており、この間バンク＃１へ画素データを格納することはできない。
【００２９】
画像復号開始と画像表示（記憶装置から表示装置への画素データの出力）開始を同期させることにより、画像の復号速度と画像の表示速度が同じ場合、同一の時間内で復号および表示を行なうことができる。またＢピクチュアに関しては、復号処理が行なわれた次の期間において表示が行なわれている。Ｂピクチュアの画素データを格納するバンク＃３（ＢＡ３）およびバンク＃４（ＢＡ４）においては、一方が画像データの書込を受けているとき他方が画像データの表示のための読出を受けている。したがってこの記憶装置ＭＲにおいては、データ書込が行なわれる領域とデータ読出が行なわれる領域が完全に分離されているため、データの上書きが完全に防止される。
【００３０】
しかしながらこの図３４に示す構成の場合、記憶装置ＭＲの記憶容量は、４フレーム分の画素データを格納する容量となる。たとえば、処理される画像がＮＴＳＣ方式の解像度（７２０画素×４８０ライン）を有する場合、１画素データが８ビットとすると、１フレームの画像データは、７２０×４８０×８×１．５＝３．９６Ｍビットと約４Ｍビットとなる。したがってこの記憶装置ＭＲの記憶容量としては１６Ｍビットが必要とされる。ここで、記憶容量の計算において、係数１．５が掛けられているのは、２つの色差信号の画素数が輝度信号の画素数の半分の状態を考慮している。したがって、従来の復号表示装置においては、表示画像の配列順序を変換するために、記憶装置の記憶容量が大きくなり、応じて装置規模が大きくなるという問題が生じる。
【００３１】
それゆえ、この発明の目的は、記憶訴追の記憶容量を低減することのできる画素復号表示装置を提供することである。
【００３２】
この発明の他の目的は記憶装置を効率的に利用して画像データの復号および表示を行なうことのできる画像復号表示装置を提供することである。
【００３３】
【課題を解決するための手段】
請求項１に係る画像復号表示装置は、ビットストリームに含まれる画素データを抽出し、この抽出した画素データに所定の復号処理を施して元の画素データを復元する復号手段を備える。この復号手段は、ビットストリームに含まれる画素データが属するフレームの種類を、復号時に参照画像として用いられるＩ／Ｐピクチュアであるか参照画像としては用いられず表示のみが行なわれるＢピクチュアであるかを識別する手段を含む。
【００３４】
請求項１に係る画像復号表示装置は、さらに、この復号手段からのＢピクチュア識別指示信号に従って復号手段で復元されたＢピクチュアの画素データをフィールド単位で格納する記憶手段と、この記憶手段に格納された画素データを読出して表示装置へ出力する読出手段と、復号手段および読出手段に結合され、Ｂピクチュアの復号処理開始タイミングとこの読出手段からのＢピクチュアの画素データの表示装置への出力介したミングの時間差がＢピクチュアの１フィールドの画素データの表示装置への出力に要する１フィールド時間となるように復号手段および読出手段の動作タイミングを制御する手段を備える。
復号処理は画面上所定サイズのブロックの画素データを単位として行われ、この画面画像は画面上の水平方向にＭ個の前記所定サイズのブロックを含む。
制御手段は、復号手段の復号開始タイミングをＭ個の画素データブロックの記憶手段からの読出に要する時間遅延させる遅延手段をさらに含む。
ビットストリームは、さらに、画像画素データがフィールド単位で与えられるか２フィールド単位の画素が混在するフレーム単位で与えられるかを示すデータ構造情報を含み、復号手段は、ビットストリームからデータ構造情報を抽出し、該抽出データ構造情報が示すデータ構造を指定する情報を出力する抽出手段を含む。制御手段は、抽出手段から与えられるデータ構造情報がフィールド単位を示すことに応答して、前記遅延手段を非活性状態とする手段を含む。
【００３５】
請求項２に係る画像復号表示装置は、予測符号化された画素データを受けて所定の復号処理を行って元の画素データを復元する復号手段と、この復号手段からの復元された画素データを格納する格納手段と、この格納手段から画素データを読出して表示装置への表示のために出力する読出手段と、読出手段および復号手段に結合され、読出手段からのあるフレームの最後に表示されるべきフィールドの画像データの読出に応答して次のフレームの画素データの復号処理動作を開始させる制御手段を備える。
復号処理は画面上の所定サイズのグロックの画素データを単位として行われ、画面画像は、画面上水平方向にＭ個の前記所定サイズのブロックを含む。
制御手段は、復号手段の復号開始タイミングを前記Ｍ個の画素データブロックの記憶手段からの読出に要する時間遅延させる遅延手段をさらに含みむ。
ビットストリームは、画像画素がフィールド単位で与えられるか２フィル−ドの画素が混在するフレーム単位で与えられるかを示すデータ構造情報を含み、復号手段は、ビットストリームから前記データ構造情報を抽出し、該抽出したデータ構造情報が示すデータ構造を指定する情報を出力する抽出手段を含み、制御手段は抽出手段から与えられるデータ構造情報がフィールド単位を示すことに応答して、遅延手段を非活性状態とする手段を含む。
【００３６】
請求項３に係る画像復号表示装置は、予測符号化された画素データを受けて所定の復号処理を施して元の画素データを復元する復号手段を含む。
【００３７】
この請求項３に係る画像復号表示装置は、さらに、復号手段ら出力する復元された画素データを格納するための記憶手段と、この記憶手段に格納された画素データをフィールド単位で順次読出して表示装置への表示のために出力する読出手段と、これらの読出手段および復号手段に結合され、プルダウン変換情報に従って記憶手段から所定数のフレームごとにフィールド単位で画素データが再度読出されるように読出手段を制御しかつ記憶手段からのあるフレームのフィールドのうちに最後に表示すべきフィールドの画素データの表示装置への出力に応答して、次のフレームの画素データの復号処理を開始させる制御手段を備える。
復号処理は前記画面上所定サイズのブロックの画素データを単位として行われ、画面画像は、画面上水平方向にＭ個の前記所定サイズのブロックを含む。
制御手段は、復号手段からの復号開始タイミングをＭ個の画素データブロックの記憶手段からの読出に要する時間遅延させる遅延手段をさらに含み、ビットストリームは、画像画素データがフィールド単位で与えられるか２フィールドの画素データが混在するフレーム単位で与えられるかを示すデータ構造情報を含む。
復号手段は、前記ビットストリームからこのデータ構造情報を抽出し、該抽出データ構造情報が示すデータ構造を指定する情報を出力する抽出手段を含み、制御手段は、この抽出手段から与えられるデータ構造情報がフィールド単位を示すことに応答して、遅延手段を非活性状態とする手段を含む。
【００３８】
請求項４に係る画像復号表示装置は、請求項３の制御手段が、表示速度変換情報に従って、記憶手段から再度読出される画素データのフィールドが最後に表示されるべきフィールドのとき、最後に表示されるべきフィールドのフィールド期間に先行する１フィールド期間復号手段の復号処理動作を停止させる手段を含む。
【００３９】
請求項５に係る画像復号表示装置は、ビットストリームに含まれる予測符号化された画像の画素データに復号処理を行って元の画素データを復元する復号手段と、この復号手段からの復元された画素データをフィールド単位で格納するための格納手段と、この格納手段からの画素データを読出して表示装置への表示のために出力する読出手段と、復号手段からの復号開始指示に従って読出手段からの画素データの読出動作を開始させる制御手段を含む。この制御手段は、復号手段による復号開始から読出手段からあるフレームの最初のフィールドが読出されるまでの時間差を１フィールドの画素データが表示のために出力されるのに要する時間とする手段を含む。
復号処理は画面上所定サイズのブロックの画素データを単位として行われ、画面画像は、画面上水平方向にＭ個の前記所定サイズのブロックを含む。
制御手段は、復号手段の復号開始タイミングを前記Ｍ個の画素データブロックの記憶手段からの読出に要する時間遅延させる遅延手段をさらに含む。
ビットストリームは、画像画素データがフィールド単位で与えられるか２フィールドの画素データが混在するフレーム単位で与えられるかを示すデータ構造情報を含み、復号手段は、ビットストリームからデータ構造情報を抽出し、該抽出データ構造情報が示すデータ構造を指定する情報を出力する抽出手段を含む。
制御手段は、さらに抽出手段から与えられるデータ構造情報がフィールド単位を示すことに応答して、遅延手段を非活性状態とする手段を含む。
【００４１】
請求項６に係る画像復号表示装置において、この遅延手段が、記憶手段の画素データ出力部と表示装置に結合される読出手段の出力ポートとの間に配置され、与えられた画素データを所定時間格納するバッファメモリを含む。
【００４４】
請求項７に係る画像復号表示装置においては、Ｂピクチュアの画素データヲ格納する記憶手段が１フレーム分の画素データを格納する記憶容量を備えるフレームメモリで構成される。
【００４６】
【作用】
請求項１に係る画像復号表示装置においては、Ｂピクチュアの復号開始と表示開始とが１フィールド時間の時間差を持っている。したがって、復元されたＢピクチュアの画素データが１フィールド時間経過後記憶手段から読出されて表示装置へ与えられるため、１フレームの画素データの記憶容量を備える記憶手段を用いても、１フィールドに相当する画素データの格納と先行する１フィールドに相当する画素データの読出とを同一の期間内に行なうことができ、Ｂピクチュア格納のために用いられる記憶装置の記憶容量を低減することができる。
【００４７】
請求項２に係る画像復号表示装置においては、あるフレームの最後の表示されるべきフィールドの画素データの読出と次のフレームの画素データの復号開始とを同期して行なっており、インタレース方式およびノンインタレース方式のいずれの画像表示方式においてもＢピクチュアに対し１フィールド時間差をもって画像データのデコードおよび表示を行なうことができ、記憶装置の記憶容量を低減して正確な画像データの表示および復号を行なうことができる。また、３：２プルダウンなどのような表示速度を変換する場合においても、記憶手段の記憶容量を増加させることなくまた複雑なタイミング制御を必要とすることなく容易に対応することができる。
【００４８】
請求項３に係る画像復号表示装置においては、画像データが再度読出される場合には、最終のフィールドの画素データの読出時に復号手段の復号処理が開始されており、３：２プルダウンのような表示速度変換時においても、記憶手段の記憶容量を増加させることなく正確に画像データの上書きを防止して復号および表示を行なうことができる。
【００４９】
請求項４に係る画像復号表示装置においては、表示すべき最後のフィールドの画素データが再度読出される場合においては、先行する１フィールド期間復号処理を停止させており、記憶手段の記憶容量を増加させることなく復元された画素データによる読出画素データの上書きを防止することができ、正確に３：２プルダウンなどの表示速度変換を行なうことができる。
【００５０】
請求項５に係る画像復号表示装置においては、復号開始が行なわれてから１フィールドの時間差をもって記憶手段から表示装置への表示のために次のフレームの最初のフィールドの画素データが読出されている。したがって、記憶装置の記憶容量を低減して正確な画像データの表示および復号を行なうことができる。
【００５１】
この発明に係る画像復号表示装置においては、復号処理介したミングが１マクロブロックラインの画素データに読出時間分遅延されるため、同一フィールドの画素データの復号および表示が行われる場合においても、記憶手段の画素データの読出が行われた位置に復号後の画素データが書込まれるため、記憶手段において読出前の画素データが復元された画素データで書換えられるのを防止することができ、正確な復号および表示動作を実現することができる。
また、画像データがフィールド構造の場合には１マクロブロックラインの遅延が不要とされるため、遅延手段が不要となり、装置構成を簡略化することができる。
【００５２】
請求項６に係る画像復号表示装置においては、復号手段の復号開始タイミングの遅延が記憶手段と表示装置との間の記憶手段の出力部に設けられたバッファメモリにより実現されるため、複雑なタイミング条件を考慮することなく遅延を正確に実現することができ、制御が容易となる。
【００５５】
請求項７に係る画像復号表示装置においては、Ｂピクチュア格納用手段は１フレームの画素データを格納する必要最小限の記憶容量を有するフレームメモリで構成されており、復元画素データ格納のための記憶装置の記憶容量が低減された画像復号表示装置が実現される。
【００５６】
【実施例】
［実施例１］
図１は、この発明に従う画像復号表示装置の構成を概略的に示す図である。図１において、画像復号表示装置１は、ビットストリームの形態で与えられる画像符号化データを受け、この画像符号化データに含まれる符号化画素データに所定の復号処理を施して元の画素データを復元する復号化ユニット１０と、復号化ユニット１０で復元された画素データを格納する記憶装置１２と、復号化ユニット１０の動作タイミングなどの動作を制御するとともに記憶装置１２へのアクセス動作を制御する制御ユニット１４を含む。画像符号化データは、以下の説明においては、画像の性質および属性などのヘッダ情報をも含むものと想定する。各画素についてのデータを示す場合には「画素データ」という用語を用い、１枚の画像（フィールドまたはフレーム）全体のデータを示し特に画素を特定しない場合には「画像データ」という用語を用いる。この復号化ユニット１０は、後にその内部構成について説明するが、符号化画素データの復号処理およびヘッダ情報（図２９参照）の解析の機能を併せ持つ。
【００５７】
制御ユニット１４は、外部に設けられた表示制御装置２０から与えられる水平同期信号ＨＳＹＮＣおよび垂直同期信号ＶＳＹＮＣに従って、この復号化ユニット１０の復号処理開始タイミングを決定するピクチュア同期信号ＰＳＹＮＣを生成して復号化ユニット１０へ与える。この制御ユニット１４からのピクチュア同期信号ＰＳＹＮＣが１枚の画像（ピクチュア；以下の説明においてはフレームと想定する）の復号期間を決定する。水平同期信号ＨＳＹＮＣは、表示装置２２における画素データ表示時に用いられる１水平期間（１画素ラインの画素データ表示に要する期間）を決定し、垂直同期信号ＶＳＹＮＣは１フィールドの画素データを表示装置２２に表示する期間を決定する。
【００５８】
復号化ユニット１０と記憶装置１２の間にメモリインタフェースユニット１６が配置され、メモリインタフェースユニット１６と表示装置２２の間に表示インタフェース１８が配置される。メモリインタフェースユニット１６は、制御ユニット１４の制御のもとに、この記憶装置１２に対するデータ書込アドレスおよびデータ読出アドレスを生成し、かつこの記憶装置１２と復号化ユニット１０の間または記憶装置１２と表示インタフェース１８との間にデータ伝送経路を確立する。表示インタフェース１８は、表示装置２２における画素データの表示速度に従ってこのメモリインタフェースユニット１６から与えられた画素データを順次出力する。
【００５９】
記憶装置１２は、それぞれ別々にアクセス可能であるバンク＃１（３２）、バンク＃２（３４）およびバンク＃３（３６）を含む。バンク＃１，＃２（３２，３４）は、Ｉピクチュア（フレーム）またはＰピクチュアの画素データを格納するために用いられる。バンク＃３（３６）はＢピクチュアの画素データを格納するために用いられる。バンク＃１〜＃３（３２〜３６）の各々は、それぞれ１フレームの画素データを格納する記憶容量を備え、たとえばＤＲＡＭ（ダイナミック・ランダム・アクセス・メモリ）で構成される。
【００６０】
図２はピクチュア（フレーム）の表示順序および復号順序の一例を示す図である。図２（Ａ）に示すように、ピクチュア（以下フレームと称す）は、ＢフレームＢ１，Ｂ２、ＩフレームＩ３、ＢフレームＢ４，Ｂ５、ＰフレームＰ６、ＢフレームＢ７，Ｂ８およびＰフレームＰ９の順序で表示装置でに表示される。
【００６１】
フレームの復号順は、図２（Ｂ）に示すように、ＩフレームＩ３、ＢフレームＢ１，Ｂ２、ＰフレームＰ６、ＢフレームＢ４，Ｂ５、ＰフレームＰ９、ＢフレームＢ７，Ｂ８の順序である。このフレームの復号順序は、符号化データとして伝達されるフレームの伝送順と同じである。前述のごとく、Ｉフレームは他のフレームのデータを参照することなく符号化された画素データで構成されるフレームである。Ｐフレームは、時間的に前に位置する（過去の）ＩフレームまたはＰフレームの画素データを用いて符号化された画素データで構成されるフレームである。Ｂフレームは本実施例では、時間的に前後に位置する（すなわち過去および未来）の２つのＩフレームまたはＰフレームの画素データを用いて符号化された画素データで構成されるフレームである。復号化時においては、したがって未来のフレームの画素データを用いる必要があるため、この未来のフレームの画素データを先に復号化する必要がある。このためフレームの表示順序とフレームの復号順序（伝送されるフレームの順序）が異なっている。たとえばＢフレームＢ４，Ｂ５は、表示順序においては、ＰフレームＰ６よりも先である。しかしながら、復号時においては、ＰフレームＰ６よりも後にこれらのＢフレームＢ４，Ｂ５が復号される。ＢフレームＢ４，Ｂ５を復号するためには、ＩフレームＩ３を参照画像とする予測（前方向予測）とＰフレームＰ６の画素データを用いた予測（後方向予測）が行なわれるためである。
【００６２】
Ｂフレームは復号化時は参照画像としては用いられないため、単に表示のみが行なわれる。したがって図１に示す記憶装置１２に含まれるバンク＃３（３６）は、復号データを表示するために必要とされる記憶領域であり、バンク＃１（３２）およびバンク＃２（３４）は復号処理のために最低限必要とされる記憶領域である。
【００６３】
図３は、各フレーム単位で符号化されたフレーム構造を有する画像の画素データの配列を示す図である。フレーム構造を有する画像符号化データは、表示画面上奇数ライン上の画素データおよび偶数ライン上の画素データ両者を含む。奇数ライン上の画素データが奇数フィールドを構成し、偶数ライン上の画素データが偶数フィールドを構成する。
【００６４】
図４は、この発明の第１の実施例におけるフレームの復号処理シーケンスおよび表示シーケンスを示す図である。図４においては、図２に示すフレームの順序でフレームの表示および復号が行なわれる。上述のごとく、各フレームは奇数フィールドおよび偶数フィールドを備えており、表示は奇数フィールドおよび偶数フィールドの順序で行なわれるノンインタレースの場合が一例として示される。
【００６５】
まず、記憶装置１２におけるバンク＃１〜＃３（３２，３４，３６）は、有効画素データを格納していない状態を初期状態と考える。画像符号化データが復号化ユニット１０へ順次与えられ、制御ユニット１４からのピクチュア同期信号ＰＳＹＮＣに同期して復号化ユニット１０が各フレームの画素データの復号処理を実行する。図４に示す期間Ｔ１およびＴ２においてＩフレームＩ３の画素データが復号され、その復号処理により復元された画素データがバンク＃１（３２）に格納される。１フレームは偶数フィールドおよび奇数フィールドで構成されており、したがってこのＩフレームＩ３の復号処理には２フィールド期間Ｔ１およびＴ２が必要とされる。画像はフレームを単位として（フレーム構造で）符号化されているため、各フィールド期間Ｔ１およびＴ２それぞれにおいて、奇数フィールドの画素データおよび偶数フィールドの画素データがともにバンク＃１の所定の領域へ書込まれる。１フレーム期間（２つのフィールド期間）はピクチュア同期信号ＰＳＹＮＣで決定される。フィールド期間は、表示制御装置２０（図１参照）からの垂直同期信号ＶＳＹＮＣ（および水平同期信号ＨＳＹＮＣ）で決定される。
【００６６】
フィールド期間Ｔ３が始まると、今度は、ＢフレームＢ１の復号処理が開始される。このＢフレームＢ１の復号処理により得られた画素データはバンク＃３（３６）に格納される。期間Ｔ３が完了すると、ＢフレームＢ１の半分の画素データの復号が完了する。この期間Ｔ３において復号処理された画素データは奇数フィールドおよび偶数フィールド両者を含み、それぞれバンク＃３（３６）の奇数フィールド画素格納領域および偶数フィールド画素格納領域に格納される。
【００６７】
フィールド期間Ｔ４においては、ＢフレームＢ１の残りの符号化画素データについての復号処理が行なわれ、この復号処理された画素データがバンク＃３（３６）の残りの記憶領域に格納される。このフィールド期間Ｔ４において同時にバンク＃３（３６）から奇数フィールドの画素データが読出され、メモリインタフェースユニット１６および表示インタフェース１８を介して表示装置２２へ与えられてそこで表示される。
【００６８】
符号化画素データの復号化処理速度と画素データの表示速度（または記憶装置１２からの画素データ読出速度）とは同じである。すなわち、ピクチュア同期信号ＰＳＹＮＣが規定する１フレーム期間に１フレームの画素データが復号されて記憶装置１２の対応のバンクに書込まれ、またこの１フレーム期間内に１フレームの画素データの表示（読出）が行なわれる。バンク＃１（３２）〜バンク＃３（３６）としては、、それぞれ互いに独立にアクセス可能な構成が利用されてもよい。またこれに代えて、記憶装置１２としては、データ読出および書込の一方のみが行なわれる構成が用いられてもよい。このような構成においては、復号処理のための参照フレーム（ＩフレームまたはＰフレーム）の画素データの読出、復号後の画素データの記憶装置への書込および表示すべき画素データの読出が所定のシーケンスで１フレーム期間内に実行される。この場合、要求される条件は、１画素の符号化データが復号処理されて復元された画素データが得られる速度と表示のために画素データを記憶装置１２から読出す速度（すなわち画素データの表示装置上の表示速度）が同じであるということである。
【００６９】
すなわち、画素データが復号処理されて記憶装置１２へ書込まれるのに要する平均時間と記憶装置１２から読出されて表示装置２２上に表示されるのに要する平均時間とが同じであるということである。以下の説明においては、これらの条件をすべて含んで、画素データの復号処理速度と画素データの表示速度が同じであると称す。
【００７０】
フィールド期間Ｔ４においてＢフレームＢ１の奇数フィールドの画素データが読出される。この間、ＢフレームＢ１の奇数フィールドも同様に復号されて記憶装置１２のバンク＃３へ書込まれる。画素データの復号処理速度および表示速度が同じであるため、後に詳細に説明するように、フィールド期間Ｔ４の最終時において、既にＢフレームＢ１の最後の奇数画素ラインの復号処理は完了しており、バンク＃３（３６）に格納されている。したがって、正確に復号処理された画素データを読出して表示装置２２に表示することができる。
【００７１】
フィールド期間Ｔ５が始まると、次のＢフレームＢ２の復号処理が開始される。このフィールド期間Ｔ５において、記憶装置１２のバンク＃３（３６）からＢフレームＢ１の偶数フィールドの画素データの読出および表示が行なわれる。フィールド期間Ｔ５の始めにおいて、バンク＃３（３６）に格納されている画素データはすべてＢフレームＢ１の画素データであり、このＢフレームＢ１の偶数フィールドの表示は正確に開始される。フィールド期間Ｔ５においてＢフレームＢ２の画素データの復号処理が行なわれ、このＢフレームＢ２の奇数フィールドおよび偶数フィールドの画素データが順次バンク＃３（３６）に格納される。後に詳細に説明するが、このフィールド期間Ｔ５においてＢフレームＢ２の画素データの復号はこのフレームＢ２の約半分までしか進行しないため、ＢフレームＢ１の偶数フィールドの画素データが表示装置へ読出される前に復号後のＢフレームＢ２の画素データで書換えられるのを防止することができ、正確にこのＢフレームＢ１の偶数フィールドの画素データの表示を行なうことができる。
【００７２】
フィールド期間Ｔ６においては、ＢフレームＢ２の残りのフレームの画素データの復号処理が行なわれ、バンク＃３（３６）に格納される。このフィールド期間Ｔ６において、新たにＢフレームＢ２の奇数フィールドの画素データの記憶装置１２からの読出および表示装置２２上での表示が行なわれる。フィールド期間Ｔ６の開始時において、ＢフレームＢ１の表示動作と同様に、ＢフレームＢ２の復号は既に約半分終了しており、この表示は正常に開始される。以降表示動作が進行し、フィールド期間Ｔ６の終了時において、ＢフレームＢ２の奇数フィールドの最終画素ラインの画素データの表示が実行される。このフィールド期間Ｔ６の終了時において、ＢフレームＢ２の復号処理は完了しているため、ＢフレームＢ２の奇数フィールドの最終画素ラインの画素データの表示は正確に実行される。
【００７３】
フィールド期間Ｔ７が始まると、ＰフレームＰ６の復号処理が開始される。このＰフレームＰ６の復号処理された画素データはバンク＃２（３４）へ格納される。これにより、それまで有効画素データを格納していなかったバンク＃２（３４）にＰフレームＰ６の画素データが順次格納される。このフィールド期間Ｔ７において、ＢフレームＢ２の偶数フィールドの画素データの記憶装置１２からの読出および表示装置２２上の表示が行なわれる。画素データの書込が行なわれるバンクと画素データの読出が行なわれるバンクとは別々であり、したがってこの期間において画素データの上書きは生じない。
【００７４】
フィールド期間Ｔ８においては、ＰフレームＰ６の残りの画素データの復号処理が行なわれ、復号された画素データがバンク＃２の残りの記憶領域へ格納される。このフィールド期間Ｔ８においては、バンク＃１に格納されたＩフレームＩ３の画素データの読出および表示が行なわれる。この期間においても、画素データの読出が行なわれるバンクと画素データの書込が行なわれるバンクは別々であるため、表示動作は正確に実行される。
【００７５】
フィールド期間Ｔ９において、ＢフレームＢ４のデータの復号および記憶装置への書込が行なわれる。このフィールド期間Ｔ９においては、ＩフレームＩ３の偶数フィールドの画素データの記憶装置１２からの読出および表示装置２２上での表示が行なわれる。このフィールド期間Ｔ９においても、データの書込およびデータの読出が行なわれるバンクは別々であり、正確な表示および復号処理が実現される。このフィールド期間Ｔ９において、書込結果に従ってバンク＃３（３６）の格納するＢフレームＢ２の画素データが順次ＢフレームＢ４の画素データで書換えられる。
【００７６】
フィールド期間Ｔ１０が始まると、ＢフレームＢ４の残りの画素データの復号処理および記憶装置への書込が行なわれ、これと並行して、ＢフレームＢ４の奇数フィールドの画素データの読出および表示が行なわれる。このフィールド期間Ｔ１０における画素データの書込および読出は、フィールド期間Ｔ４またはＴ６のそれと同じであり、正確な復号および表示が行なわれる。
【００７７】
フィールド期間Ｔ１１およびＴ１２において次のＢフレームＢ５の画素データの復号およびバンク＃３（３６）への格納が行なわれ、またフィールド期間Ｔ１１およびＴ１２それぞれにおいて、ＢフレームＢ４の偶数フィールドおよびＢフレームＢ５の奇数フィールドの画素データの読出および表示が実行される。
【００７８】
フィールド期間Ｔ１３が始まると、ＰフレームＰ９の画素データの復号およびバンク＃１（３２）への格納が実行される。バンク＃１（３２）の格納する画素データがＰフレームＰ９の画素データで書換えられる。ＩフレームＩ３の画素データは、ＢフレームＢ４およびＢ５の復号が完了するとさらに参照フレームとして用いられることはない。ＰフレームＰ９の参照フレームはＰフレームＰ６であり、このＰフレームＰ６の画素データはバンク＃２（３４）に格納されている。したがって、何ら問題を生じることなく正確な復号処理および表示動作を実行することができる。
【００７９】
フィールド期間Ｔ１４において、ＰフレームＰ６の奇数フィールドの画素データの読出および表示が行なわれ、並行してＰフレームＰ９の残りの画素データの復号処理および書込が実行される。
【００８０】
フィールド期間Ｔ１５が始まると、ＢフレームＢ７の復号処理およびバンク＃３（３６）への格納が行なわれ、このとき、バンク＃２（３４）に格納されたＰフレームＰ６の画素データのうち偶数フィールドの画素データの読出および表示が行なわれる。この間においても、データの書込が行なわれるバンクとデータの読出が行なわれるバンクは別々であり、画素データの上書きは防止される。
【００８１】
フィールド期間Ｔ１６において、ＢフレームＢ７の残りの画素データの復号およびバンク＃３への格納が行なわれ、このときまたＢフレームＢ７の奇数フィールドの読出および表示が実行される。
【００８２】
上述のように、Ｂフレームの画素データは、記憶装置への書込と記憶装置からの読出の時間差が約１フィールド時間とされており、１フレームの画素データを格納する容量を備えるバンク＃３（３６）のみを用いてＢフレームの画素データを用いても正常なＢフレームの復号および表示を実現することができる。ＩフレームおよびＰフレームに関しては、同一のバンクに対して画素データの書込と画素データの読出が同一フィールド期間内で行なわれることはなく、何ら問題は生じない。
【００８３】
図５は、図１に示すバンク＃３の記憶領域を概略的に示す図である。図５において、バンク＃３（３６）は、奇数フィールドの画素データを格納する奇数フィールド領域３６ａと、偶数フィールドの画素データを格納する偶数フィールド領域３６ｂを含む。この奇数フィールド領域３６ａおよび偶数フィールド領域３６ｂは、バンク＃３のアドレス空間において上半分の領域および下半分の領域にそれぞれ分割されてもよい。またこれに代えて、奇数フィールド領域３６ａおよび偶数フィールド領域３６ｂは、それぞれ１行おきに配置されてもよい（偶数画素ラインおよび奇数画素ラインそれぞれに対応する配置）。フレーム構造の場合、符号化画素データは奇数フィールドの画素データおよび偶数フィールドの画素データ両者を含む。したがって図６（Ａ）に示すように、１フレーム期間（２フィールド期間で構成される）のはじめのフィールド期間において、奇数フィールド領域３６ａの上半分の領域３６ａａに奇数フィールドの画素データが格納され、また偶数フィールド領域３６ｂの上半分の領域３６ｂａに偶数フィールドの画素データの格納が行なわれる。
【００８４】
次のフィールド期間では、図６（Ｂ）に示すように、奇数フィールド領域３６ａの下半分領域３６ａｂおよび偶数フィールド領域３６ｂの下半分領域３６ｂｂに対し復号された画素データの格納が行なわれる。このとき、奇数フィールド領域３６ａの画素データの読出および表示が行なわれる。画素データの読出は、この奇数フィールド領域３６ａにおいて１画素ラインずつ順次水平同期信号ＨＳＹＮＣに同期して実行される。一方、この奇数フィールド領域３６ａの下半分の領域３６ａｂにおいては、等価的に２水平走査期間（１水平走査期間は１画素ラインの画素データをすべて表示するのに要する時間）ごとに１画素ラインの画素データの格納が行なわれる。
【００８５】
図７は、奇数フィールドの画素データの表示時における書込を受ける画素ラインと表示される画素ラインを示す図である。図７においては、奇数フィールドおよび偶数フィールドはそれぞれＬ画素ラインを有するものと仮定される。また記憶装置への画素データの書込みもラスタ走査順序に従って行なわれるとする。
【００８６】
図７（Ａ）に示すように、奇数フィールド領域３６ａの最終画素ラインＬの画素データの格納時、この奇数フィールド領域３６ａの１行１画素ライン前の画素ラインＬ−１の画素データが読出されて表示装置２２上に表示される。したがってこの状態においては、表示装置２２上に表示される画素ラインＬ−１の画素データは既に復号化処理された画素データであり、正確な表示が行なわれる。表示速度と復号速度は同じである。したがって、この表示装置２２上で画素ラインＬ−１の画素データが表示が完了すると、奇数フィールド領域３６ａにおいては、最終画素ラインＬの画素データがすべて格納される。
【００８７】
次の画素ライン表示期間においては、図７（Ｂ）に示すように、バンク＃３（３６）においては、偶数フィールド領域３６ｂに対する最終画素ラインＬの復元された画素データの書込が行なわれる。このときには、奇数フィールド領域３６ａの最終画素ラインＬの画素データが読出されて表示装置２２上で表示される。偶数フィールド領域３６ｂへの最終画素ラインＬの画素データの書込時においては、奇数フィールド領域３６ａに格納された最終画素ラインＬの画素データは既に復号が完了している。したがってこの表示装置２２上には、正確に、復号された奇数フィールドの最終画素ラインＬの画素データが表示される。
【００８８】
偶数フィールドの画素データ表示時においては、既にこの偶数フィールド領域３６ｂに復号された画素データが格納されているため、正確に画素データの表示を行なうことができる。
【００８９】
偶数フィールド領域３６ｂの書込および読出が行なわれる場合（期間Ｔ５）には、図８（Ａ）に示すように、偶数フィールド領域３６ｂの第１行の画素データの表示装置２２への表示時には、奇数フィールド領域３６ａの第１行の画素ラインの画素データの復号が行なわれる。したがって、この時においては、表示装置２２には偶数フィールドの第１画素ラインの画素データが正確に表示される。次の画素ラインの表示期間においては、図８（Ｂ）に示すように、偶数フィールド領域３６ｂの第２行（第２画素ライン）の画素データの読出が行なわれて表示装置２２で表示される。このとき、偶数フィールド領域３６ｂの第１行（第１画素ライン）の画素データの書込（格納）が行なわれる。したがって第２行の画素ラインの画素データは何ら復号後の画素データの上書きを受けることなく表示装置２２で正確に表示することができる。
【００９０】
偶数フィールド領域３６ｂの画素ラインの書込速度は画素ラインの読出速度の１／２である。したがって、偶数フィールドの最終画素ラインＬの表示時においては、偶数フィールド３６ｂの上半分領域３６ｂａに対して次のＢフレームの画素データが格納されているだけである。したがって偶数フィールドの画素データは何ら復号された画素データの影響を受けることなく正確に表示装置２２に表示することができる。
【００９１】
この図６ないし図８の動作説明から明らかなように、ＩフレームとＰフレームの間またはＰフレームの間に含まれるＢフレームの数は２でなくそれ以上であっても各Ｂフレームの復号開始タイミングと表示開始タイミングが１フィールド期間の時間差を持っていれば、１フレームの画素データの記憶容量を備えるバンク＃３を用いて同様に対処することができる。連続して与えられるＢフレームの数は、予めシーケンスヘッダ領域に設定されるため、メモリインタフェースユニット１６がこの復号化ユニット１０で検出されたＢフレーム周期（連続して与えられるＢフレームの数）情報に従って制御ユニット１４の制御のもとに記憶装置１２へのアクセスすべきバンクを指定し、必要なアドレス情報を発生する。
【００９２】
図９は、図１に示すメモリインタフェースユニットの構成を概略的に示す図である。図９において、記憶装置１２が一般的なダイナミック・ランダム・アクセス・メモリを用いて構成される場合が一例として示される。図９において、メモリインタフェースユニット１６は、図１に示す復号化ユニット１０から与えられる動きベクトル情報ＭＶを受け、制御ユニット１４の制御のもとに参照フレーム（マクロブロック）の画素を読出すためのアドレスを発生する参照フレームアドレス発生器５０と、復号後の画素データ（復元画素）を書込むためのアドレスを制御ユニット１４の制御のもとに発生する復元画素アドレス発生器５２と、制御ユニット１４の制御のもとに、表示装置への表示のために画素データを読出すためのアドレスを発生する表示アドレス発生器５４を含む。制御ユニット１４は、図１に示す表示制御装置から与えられる水平同期信号ＨＳＹＮＣおよび垂直同期信号ＶＳＹＮＣを受け、復号化ユニット１０に対しフレーム期間を規定するとともに画素復号開始タイミングを決定するピクチュア同期信号ＰＳＹＮＣを与える。制御ユニット１４は、また復号化ユニット１０から与えられるフレームタイプ情報およびＢフレーム情報に従ってアドレス発生器５０、５２および５４に対しいずれのバンクを活性状態とすべきかを示す情報を与えるとともに、所定のシーケンスでこれらのアドレス発生器５０、５２および５４を活性状態とする。フレームタイプ情報（データ構造情報）は、復号化されるフレームがＩフレームであるか、ＰフレームであるかおよびＢフレームであるかを示す。Ｂフレーム周期情報は、連続して与えられるＢフレームの数を示す。参照フレームアドレス発生器５０は、バンク＃１およびバンク＃２（３２，３４：図１参照）に対してのみアドレスを発生する。アドレス発生器５２および表示アドレス発生器５４は、バンク＃１〜＃３（３２，３４，３６）に対するアドレスを発生する。これらのアドレス発生器５０，５２および５４から発生されるアドレスは、記憶装置１２のアドレスバスへ与えられる。このアドレスバスは記憶装置１２に含まれるバンクを特定するためのバンクアドレスをも伝達する。
【００９３】
参照フレームアドレス発生器５０は、制御ユニット１４からのフレームタイプ情報がＩフレームを示すときには、参照フレームアドレスは発生しない。復号されるフレームがＰフレームの場合には、参照フレームアドレス発生器５０は、バンク＃１（３２）またはバンク＃２（３４）に対し動きベクトルＭＢを考慮して読出アドレスを決定して決定した読出アドレスを記憶装置１２のアドレスバス上へ伝達する。復元画素アドレス発生器５２は、復元画素データがＩフレームまたはＰフレームの場合、バンク＃１およびバンク＃２をフレーム単位で交互に選択して書込アドレスを与える。復元画素データがＢフレームの場合、復元画素アドレス発生器５２は、バンク＃３（３６）に対し書込アドレスを与える。
【００９４】
表示アドレス発生器５４は、Ｂフレーム周期情報および／またはフレームタイプ情報に従って制御ユニット１４の制御のもとに、バンク＃１〜＃３（３２，３４および３６）に対し選択的に読出アドレスを発生する。この表示アドレス発生器５４がバンクを活性状態としてアドレスを与えて画素データを読出すタイミングは、ピクチュア同期信号ＰＳＹＮＣに同期して画素データの復号が開始されるタイミングから約１フィールド時間遅延される。
【００９５】
アドレスバス上でこれらのアドレス発生器５０，５２および５４のアドレスが競合しないように制御ユニット１４がこれらのアドレス発生器５０，５２および５４のアドレス発生タイミングを調整するアービトレーション機能を備える。この記憶装置１２へのアクセス競合を回避するためのアービタはまた別に設けられてもよい。
【００９６】
以上のように、この発明の第１の実施例の構成に従えば、Ｂフレームの画素データの復号開始タイミングよりも約１フィールド時間遅らせてＢフレームの画素データの読出および表示を行なっているため、Ｂフレームを格納するためのバンクを有効に利用することができ、Ｂフレームの画素データを格納するためのバンクの記憶容量を１フレームの画素データを格納する記憶容量にまで低減することができる。
【００９７】
［実施例２］
図１０は、図１に示す記憶装置に含まれるバンク＃３の記憶画素データを表示画面上の配置に対応させて示す図である。図１０においては、復号動作開始と表示開始とが同時に行なわれる状態が示される。また復号された画素データがマクロブロック単位で格納されるときの記憶内容を示す。図１０においては、一例として図４に示すフィールド期間Ｔ５におけるバンク＃３の画素データの記憶状態を示す。このフィールド期間Ｔ５においては、バンク＃３（３６）に格納されたＢフレームＢ１の偶数フィールドの画素データ（図において四角印で示す）の表示と次のＢフレームＢ２のフレーム画素データの書込が行なわれる。符号化処理は、マクロブロック（ブロック）単位で実行される。先の実施例１においては、記憶装置への復元画素データの書込はラスタ走査順序で行なわれるように説明している。復号処理も、この符号化処理に併せて（マクロ）ブロック単位で実行される。また、記憶装置への復元画素データの格納もマクロブロック単位で行なわれる。画素データの復号処理の進行速度と画素データの表示速度とはほぼ同じである。この場合、フレーム構造の画像データでは、復号および表示を同時に行なうと以下の問題が生じる。１マクロブロックＭＢａ（１６×１６＝２５６画素）の復号が終了したとき、表示においても、このＢフレームＢ１の偶数フィールドの第２５６番目の画素（Ｅ）が表示されている。現行ＴＶ（ＮＴＳＣ方式）程度の解像度を有する場合、水平方向に配置される画素数は７２０である。したがってこのフィールド期間Ｔ４においてマクロブロックＭＢａの復号完了時において、表示画素（Ｅ）はＢフレームＢ１の偶数フィールドの第１画素ライン上に存在する。一方、マクロブロックＭＢａは、フレーム構造の復号化画素データで構成されており、奇数フィールドおよび偶数フィールド両者の画素データを含んでいる。したがってこの状態においては、まだ表示されていないＢフレームＢ１の偶数フィールドの画素データが次のＢフレームＢ２のマクロブロックＭＢａの画素データで書換えられる。すなわち、図１０においてマクロブロックＭＢａに含まれる偶数フィールドの画素データＥ１７〜Ｅ１２８はまだ表示されていないＢフレームＢ１の画素データに上書きされていることになる。したがってフレーム構造の場合、画素データの復号開始タイミングと画素データの表示タイミングの時間差を正確に１フィールド時間とした場合、正確な画素データの読出が行なわれなくなるという懸念が生じる。
【００９８】
図１１は、この発明の第２の実施例である画像復号表示装置におけるフィールド期間Ｔ４におけるバンク＃３における記憶画素データの状態を示す図である。図１１に示すように、この発明の第２の実施例においては、符号化画素データの復号開始タイミングを１マクロブロックライン（水平方向に配置されるマクロブロックラインに含まれる画素の集合）の表示が終了した後に符号化画素データの復号を開始するように設定する。この図１１に示すように符号化画素データの復号開始タイミングを遅延させることにより、既に表示が行なわれた画素データに対して新たなマクロブロックＭＢａの画素データの上書きが行なわれる。したがって正常な画素データの表示を行なうことができる。
【００９９】
図１２は、このＢフレームの復号開始タイミングとＢフレームの表示開始タイミングの関係を概略的に示す図である。図１２において、フレーム期間を規定するピクチュア同期信号ＰＳＹＮＣのアサートに対し、１マクロブロックラインの画素データの表示期間に相当する期間Ｔｄだけフレームの復号開始タイミングを遅延させる。この図１２において、ＢフレームＢ１の復号終了時点は、Ｂフレームの表示速度と復号速度が同じ場合、次のフレーム期間まで延びることが考えられる。しかしながら、通常、たとえば図３のシーケンスにおいて示すように、１フィールド期間よりも短い期間内で各フレーム画素データの復号処理は完了している。データ情報の解析等に要する期間が存在するとともに、記憶装置がＤＲＡＭの場合リフレッシュを行なうための時間が必要とされるためである。したがって、図１２に示すように、Ｂフレームの復号開始タイミングが遅らされても、このフレーム期間内においてＢフレームＢ１の復号動作は完了する。１フレーム期間内において１フレームの画素データの復号および書込が行なわれ、また１フレームが規定する期間内においてこの１フレームの画素データの読出および表示が行なわれる。この状態が復号速度と表示速度が等しいと称される。
【０１００】
図１３は、この図１２に示すタイミング関係を実現するための構成を概略的に示す図である。図１３に示す構成においては、制御ユニット１４から出力されるピクチュア同期信号ＰＳＹＮＣを１マクロブロックラインの画素データの表示期間に相当する期間遅延させる遅延回路６０が設けられる。この遅延回路６０から図１に示すピクチュア同期信号ＰＳＹＮＣに相当する復号開始指示信号が復号化ユニット１０へ与えられる。制御ユニット１４は、表示制御装置（図１参照）からの垂直同期信号ＶＳＹＮＣおよび水平同期信号ＨＳＹＮＣに同期してピクチュア同期信号ＰＳＹＮＣを出力する。表示において各表示画素データの出力タイミングを変更するのが一般に困難である。なぜならば、通常、表示画素データの出力タイミングは外部に設けられた表示制御装置から出力される垂直同期信号ＶＳＹＮＣおよび水平同期信号ＨＳＹＮＣに従って決定されるためである。この遅延回路６０を設けることにより、この遅延時間Ｔｄ分、各フレームの復号開始時期を容易に遅延させることができる。重ね書きの生じる可能性のあるフレームに対してのみ復号開始が遅らされてもよい。
【０１０１】
図１４は、この発明の第２の実施例の他の構成を示す図である。図１４に示す構成においては、記憶装置１２のデータ出力部と表示装置２２（出力ポート）の間にバッファ７０が配置される。このバッファ７０は図１に示す表示インタフェース１８に含まれてもよい。このメモリでたとえば構成されるバッファ７０は、１マクロブロックラインの画素データを格納する（表示装置２２の表示速度でその格納画素データを入出力する場合）。バッファ７０は、ファーストイン・ファーストアウトメモリの構成を備え、格納された順に画素データを順次表示装置２２へ出力する。
【０１０２】
図１５は、この図１４に示す構成の表示装置２２上に表示されるフレームと記憶装置１２から読出される画素データおよびバッファ７０のデータの出力タイミングとを示す図である。バッファ７０から出力される画素データは表示装置２２における表示画素と同じである。このバッファ７０からの画素データの出力タイミングは図示しない表示制御装置から与えられる垂直同期信号ＶＳＹＮＣおよび水平同期信号ＨＳＹＮＣにより決定される。ピクチュア同期信号ＰＳＹＮＣに同期して、Ｂフレームの画素データの復号が開始される。このピクチュア同期信号ＰＳＹＮＣのアサートから１フィールド期間経過すると、バッファ７０からこのＢフレームの奇数フィールドおよび偶数フィールドの画素データが順次フィールド単位で読出される。この表示開始に同期してバッファ７０から画素データを出力するために記憶装置１２からはこのバッファが有する遅延時間分早いタイミングで画素データの読出が行なわれ、読出された画素データがバッファ７０へ格納される。したがって、記憶装置１２からの画素データの読出タイミングがバッファ７０が有する遅延時間だけ早くされたため、等価的にＢフレームの復号開始タイミングが遅くされたことに対応する。これにより、図１３に示す遅延回路６０を用いる場合と同様の効果を実現することができる。
【０１０３】
なおこの図１４に示す記憶装置１２と表示装置２２の間にバッファメモリ７０を設ける構成と図１３に示すピクチュア同期信号ＰＳＹＮＣを遅延回路６０で遅延させる構成は組合せて用いられてもよい。この遅延回路６０とバッファ７０と組合せて用いる場合、バッファ７０の記憶容量を小さくすることができる。
【０１０４】
なお、このバッファ７０は、復号化ユニット１０からの復元された画素データを記憶装置１２へ読出す経路に設けられ、記憶装置１２への重ね書きする可能性のあるＢフレームに対してのみその復元された画像データの書込が遅延される構成が用いられてもよい。Ｂフレームが重ね書きする可能性のある場合には、バッファメモリを通し、その可能性のない場合（先頭のＢフレームの場合）にはこのバッファメモリを短絡する構成が用いられてもよい。
【０１０５】
以上のように、この発明の第２の実施例の構成に従えば、フレームの復号開始タイミングをさらに１マクロブロックラインの画素データの表示期間１フィールド期間よりも遅らせるように構成したため、Ｂフレームのフィールドが偶数フィールドおよび奇数フィールドいずれの場合であっても画素データの重ね書きを防止して正確な画素データの表示を行なうことができる。
【０１０６】
［実施例３］
現行のＮＴＳＣ方式のＴＶにおいては、１秒あたり６０フィールド（＝３０フレーム）の表示が行なわれる。これに対して、映画のフィルムの場合、表示速度は２４フレーム／秒である。したがって映画をＴＶに表示する場合には、１秒あたりのフレーム数（フレームレート）の変換が必要となる。一般に、このフレームレートの変換には、３：２プルダウンという方法が用いられている。
【０１０７】
図１６は、一般に用いられる３：２プルダウン方法に従うフレームレート変換の手法を示す図である。図１６（Ａ）に示すように、連続する映画フィルムＦ１、Ｆ２、Ｆ３…は１／２４秒の周期を備える。この映画フィルムＦ１、Ｆ２、Ｆ３…をＴＶの表示画像の２フィールド、３フィールド、２フィールドと交互に対応させる。すなわちフィルムＦ１のフレーム画像は２フィールド時間（１フィールド時間＝１／６０秒）表示され、フィルムＦ２の画像は３フィールド時間表示され、フィルムＦ３の画像は２フィールド時間表示される。映画フィルムの１フレームがＴＶ画像の２フィールドおよび３フィールドに交互に対応される。したがって、映画フィルムの２フレームがＴＶ画像の５フィールドに対応するため、映画フィルムの２４フレームがＴＶ画像の６０フィールドに対応し、所望のフレームレートの変換が実現される。
【０１０８】
図１７は、この発明の第３の実施例である画像の表示装置における３：２プルダウン変換機能を実現するための動作シーケンスを示す図である。この図１７に示すフレームは、先の第１の実施例において示したものと同じ順序で復号されかつ同じ順序で表示される。この図１７に示す動作シーケンスにおいては、あるフレームにおいて最後に表示されるべきフィールドの表示と同期して次のフレームの復号が開始される。あるフレームの最後に表示されるフィールドの画素データが少なくとも２回読出される画素データの場合、それに先行する１フィールド期間フレームの復号動作は停止される。１フィールド期間復号動作を停止させることにより、Ｂフレーム格納のためのバンク＃３（図１参照）における画素データの重ね書きが防止される。以下、図１７を参照してフレームレート変換動作について説明する。
【０１０９】
フィールド期間Ｔ１およびＴ２においては、ＩフレームＩ３の復号が行なわれ、バンク＃１へ復号後の画素データの書込が行なわれる。
フィールド期間Ｔ３およびＴ４においてＢフレームＢ１の復号処理が行なわれ、復号後の画素データのバンク＃３への書込が実行される。次のフィールド期間Ｔ５においてＢフレームＢ１の偶数フィールドの読出および表示が行なわれる。このＢフレームＢ１は３フィールド期間表示されるフレームであり、期間Ｔ６においてバンク＃３から再びＢフレームＢ１の奇数フィールドの画素データが読出されて表示される。このＢフレームＢ１の奇数フィールドはＢフレームＢ１の最後に表示されるべきフィールドであり、かつ２回目の表示が行なわれている。したがってこれに先行する１フィールド期間Ｔ５においては復号処理は実行されない。このフィールド期間Ｔ５において復号処理動作を停止させることによりバンク＃３における次のＢフレームＢ２による重ね書きが防止される。この期間Ｔ６におけるＢフレームＢ１の最後に表示されるべきフィールドすなわち奇数フィールドの表示開始と同期して次のフレームすなわちＢフレームＢ２の復号処理が開始される。このときＢフレームＢ１の奇数フィールドの画素データはすべて復号された画素データであり、ＢフレームＢ２の画素データがバンク＃３に書込まれても奇数フィールド領域における画素ラインに関する読出速度が書込速度よりも速いため、何らこのＢフレームＢ２の画素データの書込の影響を受けることなく正確にＢフレームＢ１の奇数フィールドの画素データの読出および表示を行なうことができる（図４のフィールド期間Ｔ５参照）。画像データがブロック（マクロブロック）単位で復号処理されて書込まれる場合、確実に重ね書きを防止するためには、先の図１１ないし図１５に示す遅延を与える構成が用いられればよい。
【０１１０】
このＢフレームＢ２は２フィールド期間表示されるフレームである。したがってこのＢフレームＢ２がフィールド期間Ｔ７からその偶数フィールドの画素データが読出かつ表示され、フィールド期間Ｔ８においてその奇数フィールドの画素データの表示が行なわれる。ＢフレームＢ２の表示されるべきフィールドがフィールド期間Ｔ８において最終フィールドであるため、次のフレームすなわちＰフレームＰ６の復号がこのフィールド期間Ｔ８において実施される。
【０１１１】
フィールド期間Ｔ９においては、表示順序に従って既に復号処理されたＩフレームＩ３が３フィールド期間表示される。ＩフレームＩ３の表示においても、最後に表示されるフィールド、すなわちＩフレームＩ３の偶数フィールドの表示期間Ｔ１１に先行する１フィールド期間Ｔ１０の間復号処理は停止される。この期間Ｔ１１においてＩフレームＩ３の偶数フィールドの読出および表示が行なわれるとき、このフィールド期間Ｔ１１において次のＢフレームＢ４の復号が開始される。以降同様の動作が繰返される。すなわち、フィールド期間Ｔ１２およびＴ１３においてＢフレームＢ４の奇数フィールドおよび偶数フィールドの画素データがそれぞれ順次読出されて表示される。次のＢフレームＢ５は３フィールド期間表示されるフレームであり、フィールド期間Ｔ１４ないしＴ１６においてそれぞれ奇数フィールド、偶数フィールド、奇数フィールドの順で順次画素データが読出されて表示される。フィールド期間Ｔ１５においては復号処理は行なわれない。
【０１１２】
上述のように、４フィールドごと（２フレームごと）に１フィールド期間復号処理を停止させることにより、１フィールド期間余分に表示する期間を復号処理動作時に確保することができ、復号処理速度と表示速度とを等価的に等しくすることができ、正確なフレームレート変換を行なって画像の復号および表示を行なうことができる。表示フレームにおいては奇数フィールド、偶数フィールドが交互に表われる。したがって偶数フィールドが連続して表示されることがなく、画像品質の劣化が防止される。また、Ｂフレームについては、その復号開始と表示開始が１フィールド期間時間差を持っているため、先の実施例１および２と同様１フレームの記憶容量を備えるバンク＃３を用いて重ね書きを防止して画像データの格納および表示を行なうことができる。
【０１１３】
図１８は、この第３の実施例に用いられる画像復号表示装置の制御部の構成を概略的に示す図である。この図１８に示す制御部の構成においては、制御ユニット１４０は、先に示した図９の構成に加えて、さらに復号化ユニット１０から与えられるプルダウン変換情報を受ける。このプルダウン変換情報は、たとえばフレーム（ピクチュア）ヘッダ領域に格納されており、復号化ユニット１０がこのフレーム（ピクチュア）ヘッダを解析して、抽出したプルダウン変換情報を制御ユニット１４０へ与える。このプルダウン変換情報は、対応のフレームの表示期間（２フィールドまたは３フィールド）を指定する。制御ユニット１４０は、この復号化ユニット１０から与えられるフレームタイプ情報（データ構造情報）、およびプルダウン変換情報に従って参照フレームの参照画素のアドレスを発生する参照フレームアドレス発生器５０、復元画素の格納（書込）アドレスを発生する復元画素アドレス発生器５２および表示画素のアドレスを発生する表示アドレス発生器１５４の動作を制御する。参照フレームアドレス発生器５０および復元画素アドレス発生器５２は、先の図９に示す構成と同じである。表示アドレス発生器１５４は、この制御ユニット１４０の制御のもとに、３フィールド、２フィールド、３フィールド、…の間同一バンクがアクセスされるようにアドレスを発生する。このときまだ表示アドレス発生器１５４は、奇数フィールド、および偶数フィールドの画素データが各フィールド期間ごとに交互に読出されるようにその表示アドレスを変換する。このアドレスの変換機能は、制御ユニット１４０がプルダウン変換情報に従ってフィールド特定アドレスを表示アドレス発生器１５４へ与えるように実現されてもよい。参照フレームアドレス発生器５０および復元画素アドレス発生器５２は、４フィールドおきに１フィールド期間その動作が停止される（復号処理動作がこのフィールド期間行なわれないためである）。
【０１１４】
なお、プルダウン変換情報はフレーム（ピクチュア）ヘッダに含まれており、これを抽出してプルダウン変換するように上記実施例においては説明している。しかしながら、ユーザが装置に固定的に設定してもよく、また外部の図示しない装置からこのプルダウン変換情報が与えられるように構成されてもよい。
【０１１５】
以上のように、この発明の第３の実施例の構成に従えば、Ｂフレームの画素データの復号開始と表示開始を１フィールド期間ずらせる動作を基本動作として、あるフレームの最後に表示されるべきフィールドの画素データの表示動作開始に同期して次のフレームの復号処理を開始するように構成しているため、たとえば３：２プルダウンなどのプルダウン変換を何らＢフレームの格納用のバンクの記憶容量を増加させることなく容易に実現することができる。
【０１１６】
［実施例４］
図１９および２０は、フィールド構造を有する符号化画素データのマクロブロックを示す図である。図１９には奇数フィールドの画素（白丸印で示す）で構成されるマクロブロックＭＢｏを示す。図２０には偶数フィールドの画素（四角印で示す）で構成されるマクロブロックＭＢｅを示す。フィールド構造の場合、奇数フィールドはマクロブロックＭＢｏのみで構成され、偶数フィールドはマクロブロックＭＢｅのみで構成される。このようなフィールド構造画像データの場合、先のフレーム構造の画像データと異なり、奇数フィールドの画素データのみおよび偶数フィールドの画素データのみがそれぞれ各フィールド期間において伝達されて復号される。
【０１１７】
図２１は、この発明の第４の実施例の画像復号表示装置の動作を示す図である。この図２１に示す動作シーケンス図において、復号および表示されるフレームの順序は先の第１ないし第２の実施例と同じである。図２１に示すように、フィールド構造で（予測）符号化された画像データの場合、奇数フィールドの画素データと偶数フィールドの画素データとはそれぞれ別々の期間に伝送されて復号処理が行なわれる。したがって、各フィールド期間において偶数フィールドまたは奇数フィールドの１フィールドの画素データの復号処理が行なわれる。このような復号処理においても、Ｂフレームの画素データに関して、フレームの復号開始と表示開始とを１フィールド期間ずらせることにより、Ｂフレームの画像データ格納のためのバンクの容量は１フレームの画素データを格納する記憶容量で十分である
すなわち、図２２（Ａ）に示すように、Ｂフレームの最初のフィールド期間、奇数フィールドの画素データのみが復号処理され、バンク＃３（３６）の奇数フィールド領域３６ａに対して画素データの格納が行なわれる。次のフィールド期間、図２２（Ｂ）に示すように、奇数フィールド領域３６ａに格納された画素データが読出されて表示される。一方、この奇数フィールド領域３６ａと全く領域の異なる偶数フィールド領域３６ｂに対し画素データの書込が行なわれる。したがってこの期間において何ら画素データの上書きが生じず、正確な復号動作および表示動作を保証することができる。
【０１１８】
さらに次のフィールド期間においては、図２２（Ｃ）に示すように、次のＢフレーム（たとえばＢ２）の奇数フィールドの画素データが奇数フィールド領域３６ａに書込まれ、一方、このときには偶数フィールド領域３６ｂに書込まれた先行するＢフレーム（たとえばＢ１）の偶数フィールドの画素データが読出されて表示される。したがって、この場合においても何ら画素データの上書きは生じず、正確な復号および表示を行なうことができる。
【０１１９】
この第４の実施例に示すように、画像データがフィールド単位で符号化されている場合、バンク＃３においてデータ書込とデータ読出が行なわれる領域が完全に分離されているため、復号開始タイミングおよび表示開始タイミングの間に図１１，図１２および図１５に示すような遅延を設ける必要はない。したがって、画像データがフィールド予測符号化方式で符号化されてフィールド単位で復号処理される場合においては、図１３および図１４に示すような遅延手段を何ら設ける必要はない。
【０１２０】
［変更例］
図２３は、この発明の第４の実施例の変更例の構成を示す図である。図２３においては、制御ユニット１４ａから出力されるピクチュア同期信号ＰＳＹＮＣを所定時間遅延させる遅延回路６０の出力部に、制御ユニット１４ａからの遅延切換信号φＳＤに応答してこの遅延回路６０の与える遅延を選択的に無効化する切換回路８０が設けられる。この図２３に示す遅延回路６０は先の図１３に示す遅延回路６０と等価である。制御ユニット１４ａは、表示制御装置から与えられる水平同期信号ＨＳＹＮＣおよび垂直同期信号ＶＳＹＮＣに従ってピクチュア同期信号ＰＳＹＮＣを出力する。
【０１２１】
この制御ユニット１４ａは、さらに、図示しない復号化ユニットから与えられるデータ構造情報（シーケンスヘッダにたとえば含まれる）を受け、符号化すべき画像がフレーム単位で与えられている（フレーム構造の画像）かまたはフィールド単位で与えられている（フィールド構造の画像）かのいずれであるかを判別し、その判別結果に従って遅延切換信号φＳＤの論理レベルを設定して出力する。
【０１２２】
遅延切換回路８０は、この制御ユニット１４ａからの信号φＳＤに応答してピクチュア同期信号ＰＳＹＮＣと、遅延回路６０の出力信号の一方を選択的に通過させるセレクタで構成される。遅延切換信号φＳＤは２値信号であり、データ構造情報がフレーム構造を示す場合には、信号φＳＤがたとえば論理ローレベルとされ、遅延回路６０の出力信号を選択する。これにより、遅延回路６０が有効に機能し、ピクチュア同期信号ＰＳＹＮＣが所定時間遅延されて復号開始指示信号として出力される。一方、データ構造情報がフィールド構造を示すとき、信号φＳＤはたとえば論理ハイレベルとされ、制御ユニット１４ａの出力信号ＰＳＹＮＣを選択する状態に設定される。この状態においては、遅延回路６０は、実効的に非活性状態とされ、その遅延機能が無効化される。制御ユニット１４ａからのピクチュア同期信号ＰＳＹＮＣがトランスファゲート８２を介して復号開始指示信号として伝達される。
【０１２３】
この図２３に示す構成を用いれば、制御ユニット１４ａの制御のもとに、復号開始タイミングを表示開始タイミングと同期させるかまたはそれよりも遅延させるかのいずれかの状態を設定することができる。したがって１つの装置により、フィールド構造画像およびフレーム構造画像いずれにも対応することが可能となり、汎用性の高い画像復号表示装置を実現することができる。
【０１２４】
なお、この遅延切換回路８０に含まれるセレクタは、その信号を通過させる機能を機能的に表現しているだけであり、任意の回路構成が用いられてもよい。すなわち、フレーム構造画像を復号処理して表示する場合には、遅延回路６０が与える遅延が有効とされ、フィールド構造画像を復号処理しかつ表示する場合には、この遅延回路６０が与える遅延が無効状態とされる構成が用いられればよい。
【０１２５】
図２４は、第４の実施例の変更例の他の構成を示す図である。図２４に示す構成においては、バッファメモリ７０と並列に、制御ユニット１４ｂからの制御信号φＺに応答して、バッファメモリ７０の信号伝播経路（入出力部）を短絡するセレクタで構成される遅延切換回路９０が設けられる。制御ユニット１４ｂは、データ構造情報がフレーム単位を示し、画像データがフレーム単位で与えられる場合には、制御信号φＺをたとえば論理ローレベルとして遅延切換回路９０をバッファメモリ７０の出力画素データ選択状態とし、かつイネーブル信号φＥＮを活性状態としてバッファメモリ７０を作動状態とする。この状態においては、記憶装置１２から読出されたデータは、バッファメモリ７０で所定時間遅延された後に表示装置へ伝達される。したがってこの状態においては、バッファメモリ７０が与える遅延時間だけ等価的に復号開始タイミングが遅延される。
【０１２６】
一方、制御ユニット１４ｂは、データ構造情報がフィールド単位を示し、画像データがフィールド単位で与えられる場合には、制御信号φＺをたとえば論理ハイレベルとして遅延切換回路９０を記憶装置１２の出力画素データ選択状態とし、かつイネーブル信号φＥＮを非活性状態とし、バッファメモリ７０を非活性状態とする。この状態においては、記憶装置１２から読出された画素データは遅延切換回路９０を介して表示装置へ伝達される。この状態においては、表示装置上での画素データの表示開始タイミングと復号化ユニットにおける復号処理開始タイミングとが同期している。
【０１２７】
この図２４に示す構成を用いても、復号処理開始タイミングと画素データ表示開始タイミングとの時間差を画像の処理単位に応じて設定することができる。
【０１２８】
この図２４に示す構成においても、遅延切換回路９０を構成するセレクタは、与えられる画像データがフィールド単位の場合、バッファメモリ７０が与える遅延を無効化する構成であれば、任意の構成を用いることができる。
【０１２９】
なお、図２３および図２４に示す遅延切換回路の選択経路は、ユーザが必要に応じて設定してもよく、また外部からの制御信号により設定されてもよい。
【０１３０】
以上のように、この第４の実施例の構成に従えば、画像データがフィールド単位で与えられる場合には、復号処理開始タイミングと画素データ表示開始タイミングとの時間差を１フィールド時間に実質的に設定しているため、記憶装置からのデータ読出タイミングの設定が容易となり、制御が容易となる。また、画像の形式（フィールド単位またはフレーム単位）に応じて選択的に遅延手段の与える遅延を有効／無効としているため、複数の画像形式に対しても対応することのできる汎用性の高い画像復号表示装置を実現することができる。
【０１３１】
［実施例５］
図２５は、この発明の第５の実施例である画像復号表示装置の全体の構成を概略的に示す図である。この図２５に示す画像復号表示装置１は、制御ユニット１４の制御のもとに水平同期信号ＨＳＹＮＣおよび垂直同期信号ＶＳＹＮＣを所定のタイミングで出力する表示制御装置２０ａを含む。他の構成は、先の図１に示す構成と同じであり、対応する部分には同一の参照番号を付す。以下、図２６に示す動作フロー図を参照してこの図２５に示す画像復号表示装置の動作について説明する。
【０１３２】
まず、外部からたとえばユーザからの指令により表示装置に画像を表示する表示指示が与えられたか否かの判別が行なわれる（ステップＳ１）。この表示指示は、たとえばこの画像復号表示装置の電源投入であってもよい。また複数チャネルの画像情報が与えられる場合は、所望のチャネル選択情報であってもよい。
【０１３３】
この表示指示が与えられると、制御ユニット１４は所定の条件が成立した否かを判別する（ステップＳ２）。この所定の条件は、復号化ユニット１０において、ビットストリームに含まれるヘッダ情報がすべて解析され、次に、符号化画素データの復号処理を行なう状態に到達したことおよび／または図示しないビットストリームに含まれる符号化データ（符号化画素データおよびヘッダ情報両者を含む）を格納するためのレートバッファに予め定められた量以上のデータが格納されたことなどがある。制御ユニット１４は、所定の条件が設立すると、復号化ユニット１０に対し、画素データ復号開始指示を与える。図２５においては、ピクチュア同期信号ＰＳＹＮＣを復号化ユニット１０に与えるように示される。このピクチュア同期信号は、先の実施例２ないし４に示す復号開始指示信号であってもよい（ステップＳ３）。
【０１３４】
制御ユニット１４は、この画素データ復号開始指示（たとえばピクチュア同期信号ＰＳＹＮＣのアサート）に従って、先の第１ないし第４の実施例において説明した所定のタイミングで表示動作を開始させるための表示開始指示信号を表示制御装置２０ａへ与える（ステップＳ４）。表示制御装置２０ａは、この表示開始指示が制御ユニット１４から与えられると、所定のタイミングで水平同期信号ＨＳＹＮＣおよび垂直同期信号ＶＳＹＮＣを表示装置２２へ与える。このとき、また制御ユニット１４は、この垂直同期信号ＶＳＹＮＣのアサートに応答して、記憶装置１２からの復元された画素データの表示動作を行なうための制御信号をメモリインタフェースユニット１６へ与える。以降、この表示制御装置２０ａは、最初に設定されたタイミングで水平同期信号ＨＳＹＮＣおよび垂直同期信号ＶＳＹＮＣをアサートする。メモリインタフェースユニット１６および表示インタフェース１８は、制御ユニット１４の制御のもとに、先の第１ないし第４の実施例において説明したのと同様のタイミングで記憶装置１２から復元された画素データを読出して表示装置２２へ与える。これにより、表示装置２２においては、水平同期信号ＨＳＹＮＣに同期して復元された画素データが順次表示される。
【０１３５】
この図２５に示す画像復号表示装置の構成においては、画像表示指示が与えられた初期化シーケンスにおいてピクチュア同期信号（または復号開始指示信号）と表示のための水平同期信号ＨＳＹＮＣおよび垂直同期信号ＶＳＹＮＣのタイミング関係が設定される。以降においては、このタイミング関係を維持して符号化画素データの復号および復元された画素データの表示が行なわれる。
【０１３６】
この第５の実施例に示すように、復号開始指示を基準として表示動作の開始タイミングを設定しても、先の実施例１ないし実施例４の構成と同様の効果を奏することができる。
【０１３７】
【発明の効果】
請求項１に係る画像復号表示装置においては、Ｂフレームの復号開始タイミングと表示開始タイミングとの間に実質的に１フィールド時間の時間差を設けたため、１フレームの画素データを格納する記憶容量を備えるフレームメモリを用いても、表示画素データが復元画素データで上書きされることがなく、正確に表示を行なうことができ、画像表示のために用いられる記憶装置の記憶容量を低減することができる。
【０１３８】
請求項２に係る画像復号表示装置においては、あるフレームの最後に表示されるべきフィールドの画素データの表示に同期して次のフレームの画素データの復号処理開始を行なっているため、最低１フィールドの時間差をもってＢフレームの画素データの復号および表示を行なうことができ、表示のための記憶装置の記憶容量を低減して正確な画像の表示および復号を行なうことができる。また、３：２プルダウンなどのようなフレームレート変換時においても記憶容量を増加させることなく正確に対応することができる。
【０１３９】
請求項３に係る画像復号表示装置においては、与えられたプルダウン変換情報に従って記憶手段から所定数のフレームごとにフィールド単位で画素データが再度読出されるように読出手段を制御しかつこの記憶手段からあるフレームのうち最後に表示されるべきフィールドの画素データの表示装置への出力に応答して次のフレームの画素データの復号処理を開始しているため、プルダウン変換時においても、記憶手段の記憶容量を増加させることなく正確に、画像データの上書きを防止して復号および表示を行なうことができる。
【０１４０】
請求項４に係る画像復号表示装置おいては、あるフレームの最後のフィールドの画素データが再度読出されて表示される場合には、先行する１フィールド時間復号処理動作を停止させているため、記憶手段の記憶容量を増加させることなく最後のフィールドの表示画素データの上書きを防止することができ、正確に３：２プルダウンなどの表示レート変換を行なうことができる。
【０１４１】
請求項５に係る画像復号表示装置においては、復号開始に同期して表示装置への画素データの出力タイミングを調整し、このタイミングがＢピクチュアに関しては１フィールドの画素データの表示に要する時間差を持たせるようにしているため、復号動作開始を基準としても、何らＢピクチュア格納のための記憶装置の容量を増加させることなく、正確に復号および表示を行なうことができる。
【０１４２】
また、請求項１から５に係る画像復号表示装置においては、復号処理開始タイミングが、１マクロブロックラインの画素データの表示時間に要する時間だけさらに遅延されるため、フレーム構成を結うしかつマクロブロック単位で復号処理される画像データの表示においても、表示前画素データが復号済の画素データで上書きされるのを防止することができ、正確な復号および表示を行うことができる。
【０１４３】
請求項６に係る画像復号表示装置においては、復号処理開始タイミングの遅延を、記憶手段の出力部と表示装置の間にバッファメモリを設けて実現しているため、複雑なタイミング条件を考慮することなく容易に必要とされる遅延時間を実現することが可能となる。
【０１４４】
この発明においては、与えられる画像データ画フィールド単位で与えられる場合には、この復号処理開始タイミングを１マクロブロックラインに相当する時間の遅延を無効とするように構成したため、与えられる画像データがフィールド単位およびフレーム単位のいずれで与えられる場合においても選択的にこの遅延時間の有効／無効により対応することができ、複数の画像形式に対応することのできる画像復号表示装置を実現することができる。
【０１４６】
請求項７に係る画像復号表示装置においては、記憶手段に含まれるＢピクチュアの画素データを格納するための記憶装置を、１フレームの画素データを格納する容量を備えるフレームメモリで構成したため、必要最小限の記憶容量を備える記憶装置で画像表示のための記憶手段を実現することができ、記憶装置の記憶容量を低減することができる。
【図面の簡単な説明】
【図１】 この発明に係る画像復号表示装置の全体の構成を概略的に示す図である。
【図２】 （Ａ）はこの発明において用いられるフレームの表示順序の一例を示し、（Ｂ）は転送されるフレームの復号順序の一例を示す図である。
【図３】 フレーム符号化予測方式におけるマクロブロックの画素の構成の一例を示す図である。
【図４】 この発明の第１の実施例である画像復号表示装置の動作シーケンスを示す図である。
【図５】 図１に示すバンク＃３の記憶領域を示す図である。
【図６】 図５に示す記憶装置における画素データの書込および読出領域を示す図である。
【図７】 図５に示す記憶装置における奇数フィールドの最終画素ラインにおける表示および復号態様を示す図である。
【図８】 図５に示す記憶装置における偶数フィールドの画素ラインにおける表示および書込態様を示す図である。
【図９】 図１に示すメモリインタフェースユニットの構成を概略的に示す図である。
【図１０】 フレーム単位画像の復号および表示画素の配置態様を示す図である。
【図１１】 この発明の第２の実施例における画素データの復号および表示時における記憶装置の記憶内容の配置を示す図である。
【図１２】 この発明の第２の実施例における復号処理開始および表示開始タイミングの関係を示す図である。
【図１３】 図１２に示す遅延時間を実現するための回路構成の一例を示す図である。
【図１４】 図１２に示すタイミング関係を実現するための他の構成を示す図である。
【図１５】 図１４に示す回路構成の動作タイミングを示す図である。
【図１６】 ３：２プルダウン手法を説明するための図である。
【図１７】 この発明の第３の実施例である画像復号表示装置の動作シーケンスを示す図である。
【図１８】 この発明の第３の実施例において用いられるメモリインタフェースユニットおよび制御ユニットの構成を概略的に示す図である。
【図１９】 この発明の第４の実施例におけるフォールド予測方式のマクロブロックの構成を示す図である。
【図２０】 この発明の第４の実施例において用いられるフィールド単位の画像（マクロブロック）の構成を例示的に示す図である。
【図２１】 この発明の第４の実施例の画像復号表示装置の動作シーケンスを示す図である。
【図２２】 この発明の第４の実施例におけるＢフレームデータのアクセス態様を示す図である。
【図２３】 この発明の第４の実施例の第１の変更例の構成を示す図である。
【図２４】 この発明の第４の実施例の第２の変更例の構成を示す図である。
【図２５】 この発明の第５の実施例に従う画像復号処理装置の全体の構成を概略的に示す図である。
【図２６】 図２５に示す画像復号表示装置の動作シーケンスを示すフロー図である。
【図２７】 ＭＰＥＧに従う画像予測符号化方式を説明するための図である。
【図２８】 画像の構成を概略的に示す図である。
【図２９】 画像データのシンタクスを説明するための図である。
【図３０】 従来の画像復号表示装置の構成を概略的に示す図である。
【図３１】 伝送される符号化データおよび画像の構成を示す図である。
【図３２】 ノンインタレース方式での画像表示を説明するための図である。
【図３３】 インタレース方式に従う画像表示を説明するための図である。
【図３４】 従来の画像復号表示装置の構成を概略的に示す図である。
【図３５】 図３４に示す画像復号表示装置の動作シーケンスを示す図である。
【符号の説明】
１ 画像復号表示装置、１０ 復号化ユニット、１２ 記憶装置、１４ 制御ユニット、１６ メモリインタフェースユニット、１８ 表示インタフェース、２０，１２０ａ 表示制御装置、２２ 表示装置、３２，３４，３６ フレーム画素データ格納用バンク、６０ 遅延回路、７０ バッファメモリ、８０，９０
遅延切換回路、１４ａ，１４ｂ，１４０ 制御ユニット。
Claims (7)
- 与えられるビットストリームに含まれる予測符号化された画像の画素データを復号処理して元の画素データを復元して表示装置画面上での表示のために出力する画像復号表示装置であって、前記画面の画像は、２フィールドを有するフレームの画素データで構成され、
前記ビットストリームに含まれる画素データを抽出し、該抽出した画素データに前記復号処理を施してもとの画素データを復元する復号手段を備え、前記復号手段は、前記ビットストリームに含まれる、与えられた画素データが所属するフレームの種類が、復号時に参照画像として用いられるＩ／Ｐピクチュアであるか、参照画像としては用いられず、表示のみに用いられるＢピクチャであるかを示す情報を抽出し、該フレームの種類を識別する手段を含み、
前記復号手段からのＢピクチュア識別指示信号に従って、前記復号手段で復元されたＢピクチュアの画素データをフィールドごとに格納するための記憶手段と、
前記記憶手段に結合され、前記記憶手段に格納された画素データをフィールド単位で読出して、前記表示装置へ表示のために出力する読出手段と、
前記復号手段および前記読出手段に結合され、前記Ｂピクチュアの前記復号処理の開始タイミングと前記読出手段からの前記復号処理されたＢピクチュアの画素データの前記表示装置への出力タイミングの時間差が、前記Ｂピクチュアの１フィールドの画素の前記表示装置への出力に要する１フィールド時間となるように前記復号手段および前記読出手段の動作タイミングを制御して前記復号手段および前記読出手段を同期動作させる制御手段を備え、
前記復号処理は前記画面上所定サイズのブロックの画素データを単位として行われ、前記画面画像は画面上の水平方向にＭ個の前記所定サイズのブロックを含み、
前記制御手段は、
前記復号手段の復号開始タイミングを前記Ｍ個の画素データブロックの前記記憶手段からの読出に要する時間遅延させる遅延手段をさらに含み、
前記ビットストリームは、さらに、画像画素データがフィールド単位で与えられるか２フィールド単位の画素が混在するフレーム単位で与えられるかを示すデータ構造情報を含み、
前記復号手段は、前記ビットストリームから前記データ構造情報を抽出し、該抽出データ構造情報が示すデータ構造を指定する情報を出力する抽出手段を含み、
前記制御手段は、前記抽出手段から与えられるデータ構造情報がフィールド単位を示すことに応答して、前記遅延手段を非活性状態とする手段を含む、画像復号表示装置。 - 入来するビットストリームに含まれる予測符号化された画像の画素データに復号処理を施して元の画素データを復元して該復元した画素データを表示装置画面上での表示のために出力する画像復号表示装置であって、前記画面の画像は、複数フィールドのフレームで構成され、
前記予測符号化された画素データに前記復号処理を行って元の画素データを復元する復号手段を備え、前記復号手段は、前記ビットストリームに含まれる、与えられた画素データ所属するフレームの種類が、復号時に参照画像として用いられるＩ／Ｐピクチュアであるか参照画像としては用いられず表示のみが行われるＢピクチュアであるかを示す情報を抽出し、該フレームの種類を識別する手段を含み、
前記復号手段からのＢピクチュア識別指示信号に従って、前記復号手段からの画素データをフィールドごとに格納するための格納手段と、
読出タイミング制御信号に応答して前記格納手段からの画素データをフィールド単位で読出して前記表示装置への表示のために出力する読出手段と、
前記読出手段および前記復号手段に結合され、前記読出手段からのあるフレームの最後に表示されるべきフィールドの画素データの読出に対する読出タイミング制御信号に応答して、前記最後に表示されるべきフィールドを含むフレームの次に与えられるフレームの画素データの復号処理を前記復号手段に開始させる手段とを備え、
前記復号処理は前記画面上の所定サイズのグロックの画素データを単位として行われ、 前記画面画像は、画面上水平方向にＭ個の前記所定サイズのブロックを含み、
前記制御手段は、
前記復号手段の復号開始タイミングを前記Ｍ個の画素データブロックの前記記憶手段からの読出に要する時間遅延させる遅延手段をさらに含み、
前記ビットストリームは、画像画素がフィールド単位で与えられるか２フィル−ドの画素が混在するフレーム単位で与えられるかを示すデータ構造情報を含み、
前記復号手段は、前記ビットストリームから前記データ構造情報を抽出し、該抽出したデータ構造情報が示すデータ構造を指定する情報を出力する抽出手段を含み、
前記抽出手段は、前記制御手段は前記抽出手段から与えられるデータ構造情報がフィールド単位を示すことに応答して、前記遅延手段を非活性状態とする手段を含む、画像復号表示装置。 - 入来するビットストリームに含まれる予測符号化された画像の画素データに復号処理を施して元の画素データを復元して該復元した画素データを表示装置画面上での表示のために出力する画像復号表示装置であって、前記画面画像は、複数フィールドのフレームで構成され、
前記ビットストリームに含まれる、与えられた画素データが所属するフレームの種類が、復号時に参照画像として用いられるＩ／Ｐピクチュアであるか参照画像としては用いられず、表示のみが行われるＢピクチュアであるのかを示す情報を抽出し、、該フレームの種類を識別する手段を含み、前記予測符号化された画素データを受けて前記復号処理を行って元の画素データを復元する復号手段と、
前記復号手段からのＢピクチュア識別指示信号に従って、前記復号手段の出力する画素データをフィールドごとに格納する記憶手段と、
読出タイミング制御信号に応答して、前記記憶手段に格納された画素データをフィールド単位で順次読出して前記表示装置への表示のために出力する読出手段と、
前記読出手段および前記復号手段に結合され、与えられたプルダウン変換情報に従って前記記憶手段から所定数のフレームごとにフィールド単位で画素データが再度読出されるように前記読出手段を制御し、かつ前記記憶手段からのあるフレームのフィールドのうちの最後に表示されるべきフィールドの画素データの前記表示装置への出力に対する前記読出タイミング制御信号に応答して、次に与えられるフレームの画素データの復号処理を前記復号手段に開始させる制御手段を備え、
前記復号処理は前記画面上所定サイズのブロックの画素データを単位として行われ、前記画面画像は、画面上水平方向にＭ個の前記所定サイズのブロックを含み、
前記制御手段は、
前記復号手段からの復号開始タイミングを前記Ｍ個の画素データブロックの前記記憶手段からの読出に要する時間遅延させる遅延手段をさらに含み、
前記ビットストリームは、前記画像画素データがフィールド単位で与えられるか２フィールドの画素データが混在するフレーム単位で与えられるかを示すデータ構造情報を含み、
前記復号手段は、前記ビットストリームから前記データ構造情報を抽出し、該抽出データ構造情報が示すデータ構造を指定する情報を出力する抽出手段を含み、
前記制御手段は、前記抽出手段から与えられるデータ構造情報がフィールド単位を示すことに応答して、前記遅延手段を非活性状態とする手段を含む、画像復号表示装置。 - 前記制御手段は、
前記プルダウン変換情報に従って、前記記憶手段から再度読出される画素データのフィールドが前記最後に表示されるフィールドのとき、前記最後に表示されるべきフィールドの表示期間に先行する１フィールド期間の間前記復号手段の復号処理を停止させる手段を含み、前記１フィールドの期間は、１フィールドの画素データを前記表示装置上で表示するのに要する時間である、請求項３記載の画像復号表示装置。 - 与えられるビットストリームに含まれる予測符号化された画像の画素データを復号処理して元の画素データを復元して表示装置画面上での表示のために出力する画像復号表示装置であって、前記画面の画像は、２フィールドのフレームで構成され、
前記ビットストリームに含まれる、与えられた画素データが所属するフレームの種類が、復号時に参照画像として用いられるＩ／Ｐピクチュアであるか参照画像としては用いられず表示のみが行われるＢピクチュアであるかを示す情報を抽出して該フレームの種類を識別する手段を含み、前記予測符号化された画素データに前記復号処理を施して、元の画素データを復元する復号手段と、
前記復号手段からのＢピクチュア識別指示信号に従って、前記復号手段で復元されたＢピクチュアの画素データをフィールドごとに格納する記憶手段と、
読出タイミング制御信号に応答して前記記憶手段からの画素データをフィールド単位で読出して前記表示装置への表示のために出力する読出手段と、
前記読出手段および前記復号手段とに結合され、前記復号手段におけるフレームの復号開始に応答して、前記記憶手段から、１フィールドの画素データの読出に要する時間差を持って表示されるべきフレームの最初のフィールドの画素データの読出を開始させる制御手段とを備え、
前記復号処理は画面上所定サイズのブロックの画素データを単位として行われ、前記画面画像は、画面上水平方向にＭ個の前記所定サイズのブロックを含み、
前記制御手段は、
前記復号手段の復号開始タイミングを前記Ｍ個の画素データブロックの前記記憶手段からの読出に要する時間遅延させる遅延手段をさらに含み、
前記ビットストリームは、前記画像画素データがフィールド単位で与えられるか２フィールドの画素データが混在するフレーム単位で与えられるかを示すデータ構造情報を含み、
前記復号手段は、前記ビットストリームから前記データ構造情報を抽出し、該抽出データ構造情報が示すデータ構造を指定する情報を出力する抽出手段を含み、
前記制御手段は、前記抽出手段から与えられるデータ構造情報がフィールド単位を示すことに応答して、前記遅延手段を非活性状態とする手段を含む、画像復号表示装置。 - 前記遅延手段は、前記記憶手段の画素データ出力部と前記表示装置に結合される前記読出手段の出力ポートとの間に配置され、与えられた画素データを所定時間格納するバッファメモリを含む、請求項１ないし５のいずれかに記載の画像復号表示装置。
- 前記記憶手段は、前記１フレーム分の画素データを格納するフレームメモリで構成される、請求項１ないし６のいずれかに記載の画像復号表示装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11051295A JP3824678B2 (ja) | 1995-05-09 | 1995-05-09 | 画像復号表示装置 |
| US09/567,010 US6320909B1 (en) | 1995-05-09 | 2000-05-09 | Picture decoding and display unit including a memory having reduce storage capacity for storing pixel data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11051295A JP3824678B2 (ja) | 1995-05-09 | 1995-05-09 | 画像復号表示装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08305860A JPH08305860A (ja) | 1996-11-22 |
| JP3824678B2 true JP3824678B2 (ja) | 2006-09-20 |
Family
ID=14537676
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11051295A Expired - Fee Related JP3824678B2 (ja) | 1995-05-09 | 1995-05-09 | 画像復号表示装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6320909B1 (ja) |
| JP (1) | JP3824678B2 (ja) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3748895B2 (ja) * | 1997-02-13 | 2006-02-22 | 三菱電機株式会社 | 符号化装置及び復号装置及び符号化方法及び復号方法 |
| JP3185763B2 (ja) * | 1998-07-13 | 2001-07-11 | 日本電気株式会社 | 動画像符号化装置 |
| KR100589020B1 (ko) * | 1998-12-10 | 2006-06-13 | 후지쯔 가부시끼가이샤 | Ｍｐｅｇ 비디오 복호기 및 ｍｐｅｇ 비디오 복호 방법 |
| JP2000232649A (ja) * | 1998-12-10 | 2000-08-22 | Fujitsu Ltd | Ｍｐｅｇビデオ復号器及びｍｐｅｇビデオ復号方法 |
| KR100726695B1 (ko) * | 1999-03-08 | 2007-06-13 | 소니 가부시끼 가이샤 | 디지털 신호 처리 장치 및 방법과 제공 매체 |
| JP4526145B2 (ja) * | 1999-12-28 | 2010-08-18 | 富士通セミコンダクター株式会社 | Ｍｐｅｇビデオ復号器およびｍｐｅｇビデオ復号方法 |
| US7787539B2 (en) * | 2002-07-17 | 2010-08-31 | Broadcom Corporation | Decoding and presentation time stamps for MPEG-4 advanced video coding |
| US9948977B2 (en) * | 2003-01-09 | 2018-04-17 | Avago Technologies General Ip (Singapore) Pte. Ltd. | System, method, and apparatus for determining presentation time for picture without presentation time stamp |
| JP4806888B2 (ja) * | 2002-07-19 | 2011-11-02 | ソニー株式会社 | 復号化装置及び復号化方法 |
| US20040061530A1 (en) * | 2002-08-12 | 2004-04-01 | Satoru Tanigawa | Clock conversion apparatus, clock conversion method, video display apparatus, and memory address setting method |
| FR2849331A1 (fr) * | 2002-12-20 | 2004-06-25 | St Microelectronics Sa | Procede et dispositif de decodage et d'affichage en marche avant acceleree d'images mpeg, circuit pilote video et boitier decodeur incorporant un tel dispositif |
| US20040258160A1 (en) * | 2003-06-20 | 2004-12-23 | Sandeep Bhatia | System, method, and apparatus for decoupling video decoder and display engine |
| US8488665B2 (en) * | 2003-06-25 | 2013-07-16 | Broadcom Corporation | Delta frame buffers |
| KR100606812B1 (ko) * | 2004-03-08 | 2006-08-01 | 엘지전자 주식회사 | 비디오 디코딩 시스템 |
| JP4668914B2 (ja) * | 2004-08-04 | 2011-04-13 | パナソニック株式会社 | 画像復号装置 |
| JP5050637B2 (ja) * | 2007-05-11 | 2012-10-17 | ソニー株式会社 | 映像信号処理装置、映像信号処理方法、映像信号処理方法のプログラム及び映像信号処理方法のプログラムを記録した記録媒体 |
| US7990990B2 (en) * | 2007-12-11 | 2011-08-02 | Macronix International Co., Ltd. | Circuit and method for transmitting data stream |
| US9549190B2 (en) * | 2009-10-01 | 2017-01-17 | Sk Telecom Co., Ltd. | Method and apparatus for encoding/decoding image using variable-size macroblocks |
| US8990435B2 (en) * | 2011-01-17 | 2015-03-24 | Mediatek Inc. | Method and apparatus for accessing data of multi-tile encoded picture stored in buffering apparatus |
| US9497466B2 (en) | 2011-01-17 | 2016-11-15 | Mediatek Inc. | Buffering apparatus for buffering multi-partition video/image bitstream and related method thereof |
| WO2013063982A1 (en) | 2011-10-31 | 2013-05-10 | Mediatek Inc. | Apparatus and method for buffering context arrays referenced for performing entropy decoding upon multi-tile encoded picture and related entropy decoder |
| US20130242186A1 (en) * | 2012-03-14 | 2013-09-19 | Samsung Electronics Co., Ltd. | Image processing apparatus and control method thereof |
| JP5789004B2 (ja) | 2013-08-09 | 2015-10-07 | ソニー株式会社 | 送信装置、送信方法、受信装置、受信方法、符号化装置および符号化方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5467136A (en) | 1991-05-31 | 1995-11-14 | Kabushiki Kaisha Toshiba | Video decoder for determining a motion vector from a scaled vector and a difference vector |
| EP0522835B1 (en) | 1991-07-12 | 1997-09-17 | Sony Corporation | Decoding apparatus for image signal |
| JP3184011B2 (ja) | 1992-07-20 | 2001-07-09 | 株式会社東芝 | 帯域圧縮信号処理装置 |
| US5461420A (en) | 1992-09-18 | 1995-10-24 | Sony Corporation | Apparatus for coding and decoding a digital video signal derived from a motion picture film source |
| KR0166722B1 (ko) | 1992-11-30 | 1999-03-20 | 윤종용 | 부호화 및 복호화방법 및 그 장치 |
| US5398072A (en) | 1993-10-25 | 1995-03-14 | Lsi Logic Corporation | Management of channel buffer in video decoders |
-
1995
- 1995-05-09 JP JP11051295A patent/JP3824678B2/ja not_active Expired - Fee Related
-
2000
- 2000-05-09 US US09/567,010 patent/US6320909B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US6320909B1 (en) | 2001-11-20 |
| JPH08305860A (ja) | 1996-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3824678B2 (ja) | 画像復号表示装置 | |
| JP3395166B2 (ja) | 統合ビデオ復号化システム、フレーム・バッファ、符号化ストリーム処理方法、フレーム・バッファ割当て方法及び記憶媒体 | |
| US6658056B1 (en) | Digital video decoding, buffering and frame-rate converting method and apparatus | |
| JP3365771B2 (ja) | ビデオ信号圧縮装置 | |
| US6088047A (en) | Motion compensated digital video decoding with buffered picture storage memory map | |
| JPH08130745A (ja) | 復号化システム、復号化装置および復号化回路 | |
| US6215822B1 (en) | Motion compensated digital video decoding and buffer memory addressing therefor | |
| KR100201981B1 (ko) | 메모리제어장치 및 그것을 사용한 화상디코더 | |
| KR20010069140A (ko) | 비디오 디코더 및 디코딩 방법 | |
| US5754243A (en) | Letter-box transformation device | |
| US5929911A (en) | Multiformat reduced memory MPEG-2 compliant decoder | |
| JP3168922B2 (ja) | デジタル画像情報の記録再生装置 | |
| US6356702B1 (en) | Image display apparatus and special picture reproduction controller | |
| TW398153B (en) | Motion compensated digital video decoding with buffered picture storage memory map | |
| JPH1155676A (ja) | 同期型メモリを用いた動画像データ符号化装置 | |
| WO2000059218A1 (en) | Digital video decoding, buffering and frame-rate converting method and apparatus | |
| JP3569961B2 (ja) | ディジタル映像信号復号装置 | |
| JP6221820B2 (ja) | 符号化装置、符号化方法および符号化プログラム | |
| KR100469258B1 (ko) | 썸네일 영상 생성 장치 및 방법 | |
| JP4769268B2 (ja) | Ｍｐｅｇビデオ復号器及びｍｐｅｇビデオ復号方法 | |
| JP2820631B2 (ja) | 画像復号方法および装置 | |
| US20050021902A1 (en) | System, method, and apparatus for efficiently storing macroblocks | |
| JP3307822B2 (ja) | 画像処理装置 | |
| KR0141303B1 (ko) | 동영상 복호화기의 정지영상 선택장치 | |
| JPH11308620A (ja) | 画像復号装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041008 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050118 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050322 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060328 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060525 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060620 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060628 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100707 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110707 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110707 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110707 Year of fee payment: 5 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120707 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |