JP4193224B2 - 動画像符号化装置及び方法並びに動画像復号装置及び方法 - Google Patents
動画像符号化装置及び方法並びに動画像復号装置及び方法 Download PDFInfo
- Publication number
- JP4193224B2 JP4193224B2 JP03628898A JP3628898A JP4193224B2 JP 4193224 B2 JP4193224 B2 JP 4193224B2 JP 03628898 A JP03628898 A JP 03628898A JP 3628898 A JP3628898 A JP 3628898A JP 4193224 B2 JP4193224 B2 JP 4193224B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- encoded
- encoded image
- bit stream
- decoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、入力されたビットストリームを復号して画像信号とする動画像復号化装置及び方法、並びにこの画像信号を再びビットストリームとして出力する動画像符号化装置及び方法に関する。
【０００２】
【従来の技術】
近年、画像信号の圧縮符号化に、動き補償（motion compensation;MC）及び離散余弦変換（descrete cosine transformation;DCT）等の直交変換による冗長度低減処理とを組み合わせたＭＰＥＧ（moving picture experts group）や、ＭＰＥＧ２が広く用いられるようになった。
【０００３】
非圧縮の映像データを上記ＭＰＥＧ等の手法により、フレーム内符号化画像（Ｉピクチャ）、フレーム間予測符号化画像（Ｐピクチャ）、双方向予測符号化画像（Ｂピクチャ）のような符号化画像に圧縮して光磁気ディスク等の格納媒体に記録したり、あるいは通信回線を使用して伝送したりする。
【０００４】
ここで、ＭＰＥＧ方式にて画像圧縮された信号を再生する場合について説明する。
【０００５】
例えば、記録媒体には、図１０（ａ）に示すようなデータストリームの符号化データが記録されている。この図１０（ａ）に示すように記録されているデータストリームは復号されて、図１０（ｂ）に示すようなピクチャの順番で表示が行われる。ここで、各ピクチャに符号として付けている“Ｉ”，“Ｐ”，“Ｂ”は、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの区別を示しており、各添字は、ＧＯＰ（Group of Pictures）内の表示順序を表すいわゆるテンポラリリファレンスを示している。
【０００６】
図１０（ａ）に示すようなデータストリームの符号化データを再生する為に、まず、Ｉ0の復号が行われる。Ｉピクチャは画面内で符号化が完結しているものであるので、他のピクチャを復号することなくＩ0を単独で復号することができる。続いて、復号したＩ0に基づき、順方向予測符号化がされたＰ2の復号を行う。Ｐピクチャは時間的に前のＩピクチャ又はＰピクチャから予測符号化がされるものであるので、従来の記録再生装置はこのＰ2を復号する前にＩ0を復号していなければならない。続いて、復号したＩ0及びＰ2に基づき、双方向予測符号化がされたＢ1の復号を行う。Ｂピクチャは時間的に前後のＩピクチャ又はＰピクチャから双方向符号化がされるものであるので、このＢ1を復号する前にＩ0とＰ2を復号していなければならない。このように、図１０（ａ）に示すようなデータストリームの符号化データを、Ｉ0→Ｐ2→Ｂ1→Ｐ4→Ｂ3→Ｐ6→Ｂ5→Ｉ8→Ｂ7→Ｐ10→Ｂ9→・・・といった順序で復号を行う。
【０００７】
そして、このような順序で復号した各ピクチャを表示する場合には、図１０（ｂ）に示すようにその順序を入れ換えて、Ｉ0→Ｂ1→Ｐ2→Ｂ3→Ｐ4→Ｂ5→Ｐ6→Ｂ7→Ｉ8→Ｂ9→Ｐ10→・・・といった順序で表示を行う。
【０００８】
ここで、ＭＰＥＧ方式によるデータストリームにおける、Ｉピクチャ又はＰピクチャの間隔をＭとする。次に、Ｍ＝３の場合のエンコーダとデコーダの入出力のタイミングを数１に示す。
【０００９】
【数１】
【００１０】
エンコーダへのピクチャの入力（ａ）は、ビットストリームに符号化され、３フレーム時間だけ遅れてエンコーダからのビットストリームの出力（ｂ）として出力されている。また、エンコーダからのビットストリームの出力（ｂ）は、デコーダへのビットストリームの入力（ｃ）となり、ピクチャに復号されて、デコーダへのビットストリームの入力（ｃ）より１フレーム時間だけおくれてデコーダからのピクチャ出力（ｄ）となっている。
【００１１】
記号“Ｉ”，“Ｐ”，“Ｂ”は、それぞれＩピクチャ，Ｐピクチャ，Ｂピクチャを示しており、（ａ）又は（ｄ）のように画像を示している場合と、（ｂ）又は（ｄ）のように符号化されたビットストリームを示している場合がある。各記号の添字数字は、画像の表示順序である。
【００１２】
Ｍの値は、エンコーダへ動画像信号が入力されてから、ビットストリームが出力されるまでの遅延量に関係しており、Ｍが大きいほど、この遅延量は大きくなる。これは、Ｂピクチャを符号化する前に、時間的に前にあるＰピクチャを先に符号化するので、（Ｍ−１）枚のＢピクチャをメモリにバッファリングする必要があるためである。したがって、Ｍが大きくなるにしたがって、エンコーダに必要なフレームメモリ量が増加する。
【００１３】
なお、上の例では、エンコーダからビットストリームが出力されるまでの遅延量を３フレーム時間としているが、この時間の大きさは、エンコードアルゴリズムに依存するものであり、特に動きベクトル予測（Motion Estimation ）のアルゴリズムに関係する。実際のエンコーダでは、この遅延量は、３フレーム時間よりも大きい場合が多い。
【００１４】
動きベクトル予測などのアルゴリズムが同じ条件の時に、Ｍが大きいほど、エンコーダからビットストリームが出力されるまでの遅延量が大きくなり、エンコーダに必要なフレームメモリ量が増加する関係がある。
【００１５】
続いて、再エンコードを効率よく行うための従来方法について説明する。
【００１６】
ＭＰＥＧビデオビットストリームを復号して、その復号画像を再びＭＰＥＧ符号化して、ビットストリームを出力する場合に、画像を高画質に符号化するためには、その画像を符号化するときのピクチャコーディングタイプ（picture coding type ）を元のビットストリームの時と同じにすると有効であることが広く知られている。
【００１７】
すなわち、ビットストリームの構成要素であるＩピクチャ、Ｐピクチャ、Ｂピクチャを構成する画素の実質的な情報量はそれぞれ異なるので、画像信号をビットストリームに符号化するピクチャの種類を元のピクチャの種類と一致させることにより、画像信号符号化を効率よく行うことができる。
【００１８】
エンコーダへ入力された画像の元のピクチャコーディングタイプを知るための手段として、ディジタル画像のブランキング部分のビデオインデックスにピクチャコーディングタイプを記録する方法がある。ビデオインデックスの中におけるピクチャコーディングタイプの記録位置については、ＳＭＰＴＥ（Society of Motion Picture and Television Enginneers）のRecommended PracticesのRP 186-1995に書かれている。
【００１９】
ＭＰＥＧビデオビットストリームを復号して、復号画像を再びＭＰＥＧ符号化して、ビットストリームを出力する場合のデコーダとエンコーダの入出力のタイミングを次の数２に示す。
【００２０】
【数２】
【００２１】
デコーダへのビットストリーム入力（ａ）においては、Ｍ＝３としている。デコーダへのビットストリーム入力（ａ）がピクチャに復号された、デコーダからのピクチャの出力（ｂ）は、デコーダへのビットストリームの入力（ａ）より１フレーム時間遅延している。デコーダからのピクチャ出力（ｂ）はエンコーダへのピクチャの入力（ｃ）となり、ビットストリームに符号化されて、エンコーダへのピクチャの入力より３フレーム時間だけ遅れてエンコーダからのビットストリームの出力（ｄ）として出力される。
【００２２】
このようなビットストリームを出力する従来の動画像符号化装置の例を示す。
【００２３】
従来の動画像符号化装置の第１の例は、図１１に示すように、ビットストリームを復号して復号動画像とするデコーダ１０１と、復号動画増のビデオインデックスにピクチャコーディングタイプを書き込みビデオインデックス書き込み器１０４と、復号動画像からピクチャコーディングタイプを読み出すビデオインデックス読み出し器１０３と、デコーダ１０１からの復号動画像信号及びビデオインデックス読み出し器１０３からのピクチャコーディングタイプに基づいて符号化行ったビットストリームを記録媒体１０に出力するエンコーダ１０２とから構成される。
【００２４】
ここで、デコーダ１０１へ入力するビットストリームは、上記デコーダへのビットストリームの入力（ａ）に、デコーダ１０１からエンコーダ１０２へ送られる復号動画像信号は上記デコーダからのピクチャの出力（ｂ）及び上記エンコーダへのピクチャの入力（ｃ）に、エンコーダ１０２出力されるビットストリームは上記エンコーダからのビットストリームの出力（ｄ）に対応している。
【００２５】
従来の動画像符号化装置の第２の例は、図１２に示すように、復号動画像信号からピクチャコーディングタイプを読み出すビデオインデックス読み出し器１０３と、復号動画像信号及びビデオインデックス読み出し器１０３からのピクチャコーディングタイプに基づいてビットストリームを出力するエンコーダ１０２とから構成されている。
【００２６】
ここで、デコーダ１０１へ入力するビットストリームは、上記エンコーダへのピクチャ入力（ｃ）に、エンコーダ１０２から出力されるビットストリームは上記エンコーダからのビットストリームの出力（ｄ）に対応している。
【００２７】
これら従来の動画像符号化装置の第１及び第２の例は、いずれもビデオインデックス読み出し器１０３から得られるピクチャコーディングタイプに基づいて、エンコーダ１０２における符号化の際のピクチャコーディングタイプを下のビットストリームと同じにすることにより、画像を高画質に符号化している。
【００２８】
【発明が解決しようとする課題】
ところで、上記図１１に示した従来の動画像符号化装置の第１の例及び図１２に示した従来の動画像符号化装置の第２の例では、再符号化を行うエンコーダ１０２には、Ｍ＝３に固定されたビットストリームが入力した。しかし、Ｍの値が入力画像の途中で３より大きく変わる場合には、問題が生じる。
【００２９】
すなわち、ＭＰＥＧビデオストリームを復号して、復号画像を再びＭＰＥＧ符号化して、ビットストリームを出力する場合において、デコーダに入力されるビットストリームのＭの値が途中で変化しているときには、次の数３に示すような問題が生じる。
【００３０】
【数３】
【００３１】
すなわち、デコーダへのビットストリームの入力（ａ）においては、Ｉ０とＰ３の間ではＭ＝３であり、Ｐ３とＰ８の間はＭ＝５に変化している。デコーダへのビットストリームの入力（ａ）に対する動画像の出力を示すデコーダからのピクチャ出力（ｂ）の各画像のビデオインデックスに、その画像が符号化されていた時のピクチャコーディングタイプを記録しておく。
【００３２】
エンコーダへのピクチャの入力（ｃ）は、エンコーダへのデコーダからのピクチャの出力（ｂ）の入力を示している。エンコーダは、各画像のビデオインデックスから、その画像が圧縮されていた時のピクチャコーディングタイプを読み出し、その情報に基づいて入力画像を符号化する。これに応じて、エンコーダからのビットストリームの出力（ｄ）が出力される。
【００３３】
上述の例と同様に、エンコーダへのピクチャ入力（ｃ）及びエンコーダからのビットストリームの出力（ｄ）に見られるように、エンコーダへ動画像信号が入力されてから、３フレーム時間遅延してから、ビットストリームを出力開始する。この時、エンコーダからのビットストリームの出力（ｄ）の”Ｘ”のところでエンコードが破錠している。具体的には、Ｐ８のＰピクチャの”Ｘ”のタイミングにＰ８のビットストリームが出力できない問題が発生する。
【００３４】
本発明は、上述の課題に鑑みてなされるものであって、Ｍの値が一定ではないビットストリームに対しても再符号化をするようにする動画像符号化装置及び方法並びに動画像復号化装置及び方法を提供することを目的とする。
【００３５】
【課題を解決するための手段】
上述の課題を解決するために、本発明に係る動画像符号化装置は、表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームを復号した画像信号並びに上記ビットストリームにおける画像が上記第１の符号化画像又は上記第２の符号化画像のいずれであるかを区別する画像符号化型を入力される動画像符号化装置であって、上記ビットストリームにおける各符号化画像の符号化型と一致するように上記画像符号化型に基づいて上記画像信号を上記第１の符号化画像及び第２の符号化画像からなるビットストリームに符号化する際に、上記第１の符号化画像信号の間隔が基準値を越えるとき、直前の上記第１の符号化画像信号から上記基準値の範囲内の位置の上記第２の符号化画像を上記第１の符号化画像に変更して符号化する符号化手段を有する。
【００３６】
本発明に係る動画像符号化方法は、表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームを復号した画像信号並びに上記ビットストリームにおける画像が上記第１の符号化画像又は上記第２の符号化画像のいずれであるかを区別する画像符号化型を入力される動画像符号化方法であって、上記ビットストリームにおける各符号化画像の符号化型と一致するように上記画像符号化型に基づいて上記画像信号を上記第１の符号化画像及び第２の符号化画像からなるビットストリームに符号化する際に、上記第１の符号化画像信号の間隔が基準値を越えるとき、直前の上記第１の符号化画像信号から上記基準値の範囲内の位置の上記第２の符号化画像を上記第１の符号化画像に変更して符号化する符号化工程を有する。
【００３７】
本発明に係る動画像符号化装置は、表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームであって、このビットストリームにおける上記第１の符号化画像の間隔の最大値を特徴点情報として有するビットストリームを復号した画像信号及び上記特徴点情報並びに上記ビットストリームにおける画像が上記第１の符号化画像又は上記第２の符号化画像のいずれであるかを区別する画像符号化型を入力される動画像符号化装置であって、上記ビットストリームにおける符号化画像の符号化型と一致するように上記画像符号化型に基づいて上記画像信号を上記第１の符号化画像及び第２の符号化画像からなるビットストリームに符号化する符号化手段を有し、上記符号化手段は、上記画像信号が入力されてから上記ビットストリームが出力されるまでの遅延量や符号化に必要なメモリ量を、上記特徴点情報の上記最大値に対応させて制御する。
【００３８】
本発明に係る動画像符号化方法は、表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームであって、このビットストリームにおける上記第１の符号化画像の間隔の最大値を特徴点情報として有するビットストリームを復号した画像信号及び上記特徴点情報並びに上記ビットストリームにおける画像が上記第１の符号化画像又は上記第２の符号化画像のいずれであるかを区別する画像符号化型を入力される動画像符号化方法であって、上記ビットストリームにおける符号化画像の符号化型と一致するように上記画像符号化型に基づいて上記画像信号を上記第１の符号化画像及び第２の符号化画像からなるビットストリームに符号化する符号化工程を有し、上記符号化工程では、上記画像信号が入力されてから上記ビットストリームが出力されるまでの遅延量や符号化に必要なメモリ量を、上記特徴点情報の上記最大値に対応させて制御する。
【００４０】
本発明に係る動画像符号化方法は、表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームを復号した画像信号並びに上記ビットストリームにおける画像が上記第１の符号化画像又は上記第２の符号化画像のいずれであるかを区別する画像符号化型を符号化したビットストリームを出力する動画像符号化方法であって、上記ビットストリームにおける符号化画像の符号化型と一致するように上記画像符号化型に基づいて上記画像信号を上記第１の符号化画像及び第２の符号化画像からなるビットストリームに符号化すると共に、上記第１の符号化画像信号の間隔の最大値を特徴点情報として符号化する符号化工程を有する。
【００４３】
本発明に係る動画像復号装置は、表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームを入力される動画像復号装置であって、上記ビットストリームを画像信号に復号する復号手段と、上記ビットストリームにおける上記第１の符号化画像の間隔の最大値を特徴点情報として出力する特徴点情報出力手段とを有する。
【００４４】
本発明に係る動画像復号方法は、表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームを入力される動画像復号方法であって、上記ビットストリームを画像信号に復号する復号工程と、上記ビットストリームにおける上記第１の符号化画像の間隔の最大値を特徴点情報として出力する特徴点情報出力工程とを有する。
【００４５】
本発明に係る動画像復号装置は、表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームを入力される動画像復号装置であって、上記ビットストリームを画像信号に復号する復号手段と、上記復号手段にて上記ビットストリームを復号する際に、復号に係る当該画像から表示順序に次の第１の符号化画像までの距離を特徴点情報として出力する特徴点情報手段とを有する。
【００４６】
本発明に係る動画像復号方法は、表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームを入力される動画像復号方法であって、上記ビットストリームを画像信号に復号する復号工程と、上記ビットストリームにおける上記第１の符号化画像の間隔の最大値を特徴点情報として出力する特徴点情報出力工程とを有する。
【００４８】
【発明の実施の形態】
以下、本発明に係る動画像符号化装置及び方法並びに動画像復号化装置及び方法について、図面を参照して詳細に説明する。
【００４９】
最初に、本発明の第１の実施の形態について説明する。
【００５０】
第１の実施の形態は、ビットストリームが入力される場合に、ＭＰＥＧビデオビットストリームについて、Ｉピクチャ又はＰピクチャの現れる間隔であるＭの最大値をあらかじめストリームを解析して調べておき、ＭＰＥＧビデオビットストリームを復号して、復号画像を再びＭＰＥＧ符号化して、ビットストリームを出力する場合に、エンコーダへ動画像信号が入力されてから、ビットストリームが出力されるまでの遅延量やエンコーダに必要なメモリ量を、上記Ｍの最大値に基づいて制御するものである。
【００５１】
動画像符号化装置の第１の例は、図１に示すように、入力されるビットストリームを復号して復号動画像及びピクチャコーディングタイプを出力する復号手段であるデコーダ１と、デコーダ１からの復号動画像信号及びピクチャコーディングタイプ並びに外部からのビットストリーム特徴点情報を入力され、これらに基づいて再符号化を行ってビットストリームを出力する符号化手段であるエンコーダ２とから構成される。
【００５２】
デコーダ１は、ビットストリームを入力され、このビットストリームを復号して、復号動画像及びピクチャコーディングタイプを出力する。
【００５３】
ここで、ピクチャコーディングタイプ（picture-coding-type ）とは、当該フレームが画像内符号化画像であるＩピクチャ、順方向予測符号化画像であるＰピクチャ、双方向予測符号化画像であるＢピクチャのいずれであるかを同定する画像符号化型である。Ｉピクチャ及びＰピクチャは表示順序に従って後方を参照することなく復号する第１の符号化画像を構成し、Ｂピクチャは表示順序に従って後方を参照して復号する第２の符号化画像を構成する。
【００５４】
エンコーダ２は、デコーダ１からピクチャコーディングタイプ及び復号画像情報を、外部からビットストリームの特徴点情報を、それぞれ与えられ、これらに基づいて復号動画像を符号化してビットストリームを記録媒体１０に出力する。
【００５５】
Ｍの最大値は、ＭＰＥＧビットストリームの特徴点情報として用意する。この時、Ｍの最大値をＧＯＰ（group of pictures ）単位に計算して、ＧＯＰの特徴点情報として用意してもよい。
【００５６】
この特徴点情報は、ビットストリーム中に埋め込んだり、別ファイルとして用意したり、メモリインカセットに記録することができる。このような特徴点情報の記録形態については、以下の例についても同様である。
【００５７】
多重化器４により、復号動画像信号に特徴点情報を多重化する。例えば、画像信号の垂直部ランキングに特徴点情報を多重化する。ビデオインデックスは、垂直ブランキングに情報を書き込む方法の１つである。
【００５８】
続いて、デコーダ１及びエンコーダ２におけるビットストリーム及び復号動画像の具体的な処理について説明する。
【００５９】
この動画像符号化装置には、Ｍの最大値が５のビットストリームが入力されている。次の数４に示すように、デコーダへのビットストリームの入力（ａ）に対して、デコーダからのピクチャ出力（ｂ）は１フレーム時間だけ遅延している。そして、デコーダへのビットストリームの入力（ａ）のＭの最大値が５であるので、エンコーダへのピクチャの入力（ｃ）及びエンコーダからのビットストリームの出力（ｄ）に示すように、エンコーダへピクチャの入力（ｃ）から、エンコーダからのビットストリームの出力（ｄ）までの遅延量を５フレーム時間にしている。
【００６０】
【数４】
【００６１】
このようにビットストリームが出力されるまでの遅延量を５フレーム時間にする、すなわちＭの最大値に対応させてビットストリームが出力されるまでの遅延量やメモリ量を設定すると、Ｍの値が変わってもバッファリングのためのメモリが足りなくなったり、ビットストリームが出力できなくなったりすることはない。
【００６２】
続いて、動画像符号化装置にビットストリームをデコードした復号動画像信号が入力される場合について説明する。
【００６３】
動画像符号化装置の第２の例は、図２に示すように、復号動画像信号から画像に多重化されている情報のピクチャコーディングタイプと特徴点情報を分離する分離器３と動画像の特徴点情報、復号動画像信号、及び分離器３からのピクチャコーディングタイプに基づいて復号動画像信号を符号化してビットストリームを出力するエンコーダ２とから構成されている。特徴点情報が、画像信号に多重化されている場合は、それを使用する。外から入力しても、かまわない。
【００６４】
上述のように動画像符号化装置は、エンコーダへのピクチャの入力（ｃ）の復号動画像の各画像のピクチャコーディングタイプが復号画像の多重化情報等からわかる時、各画像のピクチャコーディングタイプをあらかじめ解析して、Ｍの最大値を調べておき、復号画像を再びＭＰＥＧ符号化して、ビットストリームを出力する場合に、エンコーダへ動画像信号が入力されてから、ビットストリームが出力されるまでの遅延量やエンコーダに必要なメモリ量を、上記Ｍの最大値に基づいて制御することによりＭの値が変わる場合に対応している。また、このＭの最大値をあらかじめ画像信号に多重化しておくとよい。
【００６５】
動画像符号化装置におけるエンコーダ２は、動画像の特徴点情報、復号動画像情報、及び分離器３からのピクチャコーディングタイプに基づいて、復号動画像信号を符号化したビットストリームを出力する。
【００６６】
Ｍの最大値は、エンコーダへのピクチャ入力（ｃ）の復号動画像の特徴点情報として用意する。Ｍの最大値は、例えば、動画像信号のヘッダ情報においたり、ブランキングなどの画像信号の空き領域、すなわち有効画像信号でない領域に埋め込んだりすると良い。
【００６７】
この動画像符号化装置においては、上に示したように、エンコーダへのピクチャの入力（ｃ）からエンコーダからのビットストリームの入力（ｄ）までの遅延量を、Ｍの最大値に対応させて５フレーム時間とすることにより、エンコーダ２における符号化の破綻を防止している。
【００６８】
エンコーダ２から出力されるビットストリームは、記録媒体１０に記録される。この記録媒体１０については後述する。
【００６９】
続いて、動画像符号化方法に係る一連の手順を図３に示すフローチャートを参照して説明する。
【００７０】
最初のステップＳ１においては、ＭＰＥＧ画像信号が符号化されたビットストリームを復号して画像信号すると共に、画像信号のピクチャコーディングタイプを取り出す。
【００７１】
ステップＳ１に続くステップＳ２においては、特徴点情報としてＭの最大値を入力され、このＭの最大値に応じてビットストリームへの遅延時間やメモリ量を設定して、ステップＳ１からの復号動画像信号及びピクチャコーディングタイプに基づいて上記復号動画像を符号化したビットストリームを出力する。
【００７２】
ステップＳ２においては、ビットストリームの特徴点情報として与えられるＭの最大値に応じて符号化の際の遅延時間やメモリ量を設定することにより、Ｍが変化する場合にも符号化が破綻しないようにしている。
【００７３】
続いて、記録媒体１０について説明する。
記録媒体１０は、上述のエンコーダ２に入力される画像信号について、ピクチャコーディングタイプに応じて上記画像信号のＭが所定の基準値を越えないように予測構造を変更された画像信号が符号化されたビットストリームが記録されてなるものである。
【００７４】
この記録媒体１０は、例えばＣＤ−ＲＯＭ等の光ディスクとして提供されるが、いわゆるマルチメディア通信回線を介して提供されることもある。
【００７５】
上述のように、本発明の第１の実施の形態は、エンコーダへ入力される復号動画像シーケンスのＭの最大値をあらかじめ調べておいて、エンコーダの入出力の遅延量やエンコーダに必要なメモリ量を、上記Ｍの最大値に基づいて制御するものである。
【００７６】
次に、本発明の第２の実施の形態について説明する。
【００７７】
本発明の第２の実施の形態は、Ｍの最大値が基準値を越えないように、ピクチャコーディングタイプに基づいて、画像信号をビットストリームに符号化する際に、ＢピクチャをＩピクチャ又はＰピクチャに変更するものである。
【００７８】
最初に、動画像符号化装置にビットストリームが入力される場合について説明する。
【００７９】
動画像符号化装置の第３の例は、図４に示すように、入力されるビットストリームを復号して復号動画像、ピクチャコーディングタイプ及びテンポラルレファレンス（temporal reference）をエンコーダ２に出力するデコーダ１と、ビットストリームの特徴点情報、及びデコーダ１からのピクチャコーディングタイプ及びテンポラルリファレンスに基づいて、復号動画像信号をビットストリームに符号化するエンコーダ２と、ビットストリームの特徴点情報並びにデコーダ１からのピクチャコーディングタイプ及び復号動画像信号を多重化する多重化部７とから構成される。
【００８０】
動画像符号化装置のエンコーダ２はＭ＝３を標準値又は基準値としており、最大Ｍ＝３までエンコード可能である。すなわち、次の数５に示すように、デコーダへのビットストリームの入力（ａ）の内のピクチャＰ８がデコーダ１に入力された時点で、デコーダは局所的なＭの値を計算して、デコーダからのピクチャの出力（ｂ）をエンコーダへのピクチャの入力（ｃ）としてその値をエンコーダ２へ入力する。
【００８１】
【数５】
【００８２】
動画像符号化装置は、ビットストリームの中の局所的なＭの値が、エンコード可能な最大のＭの標準値を越える位置情報を、そのビットストリームの特徴点情報として用意しておいて、ＭＰＥＧビデオビットストリームを復号して、復号動画像を再びＭＰＥＧ符号化する時に使用する。
【００８３】
例えば、上のビットストリームにおいて、Ｐ３とＰ８の間の局所的なＭの値が、Ｍの標準値を越えることを特徴点情報として用意する。
【００８４】
また、ＭＰＥＧビデオビットストリームのＭの最大値を特徴点情報として用意しておくと、そのビットストリームの復号動画像を再エンコードする時に、ピクチャの予測構造の変更（Ｍの変更）が必要か否かを知ることができるので便利である。この時、Ｍの最大値をＧＯＰ単位に計算して、ＧＯＰの特徴点情報として用意しても良い。
【００８５】
多重化器７により復号動画像信号に特徴点情報を多重化する。ＧＯＰのＭの最大値の場合は、Ｉピクチャを復号した画像または、ＧＯＰの先表示順序で先頭の画像に多重化すると良い。例えば、画像の垂直ブランキングに特徴点情報を多重化する。
【００８６】
局所的なＭの値は、ＭＰＥＧのピクチャヘッダ（Picture header）にあるテンポラルリファレンス（temporal reference）のピクチャ間での差分値から計算できる。
【００８７】
ここで、ピクチャヘッダはＭＰＥＧ２規格のストリームのピクチャ層にあり、テンポラルリファレンスとはピクチャの表示順序を表す番号でＧＯＰの先頭でリセットされる１０２４の剰余値である。
【００８８】
これを受けて、エンコーダ２は、Ｐ３の画像からＰ８までのピクチャの予測構造がＭ＝５であることを、あらかじめ理解する。エンコーダ２は、入力される動画像であるエンコーダへのピクチャの入力（ｃ）のＰ３からＰ８までのＭ＝５の予測構造を、変更されたピクチャコーディングタイプ（ｄ）に示すようにエンコード可能なＭ＝３とＭ＝２の組み合わせに変更する。これにより、エンコーダ２における符号化の際の破綻を防止している。そして、エンコーダからのビットストリームの出力（ｅ）として出力する。
【００８９】
続いて、ビットストリームをデコードした動画像信号のみ存在する場合について説明する。
【００９０】
動画像符号化装置の第４の例は、図５に示すように、復号動画像から画像に多重化されているピクチャコーディングタイプを分離してメモリ５に出力する分離器３と、復号動画像信号を記憶するメモリ４と、分離器３からのピクチャコーディングタイプを記憶するメモリ５と、動画像信号の特徴点情報、メモリ４から読み出した復号動画像信号、及びメモリ５から読み出した復号動画像に基づいて、復号動画像を符号化したビットストリームを出力するエンコーダ２とを有している。
【００９１】
特徴点情報が画像に多重化されている時は、それを使用する。別に外から入力しても構わない。
【００９２】
動画像符号化装置は、エンコーダへのピクチャの出力（ｃ）の復号動画像の各画像のピクチャコーディングタイプがビデオインデックス等からわかる時、エンコード可能な最大のＭがＭｘであるところのエンコーダ２は、各ピクチャのピクチャコーディングタイプを未来のＭｘ枚について先読みしておく。
【００９３】
そして、エンコーダ２は未来に符号化するＭｘ枚のピクチャの中にＰピクチャまたはＩピクチャが存在しないことがわかった場合、ピクチャの予測構造をＭ＝Ｍｘ以下に変更する。
【００９４】
例えば、上述した例のＭｘ＝３であるエンコーダ２は、エンコーダへのピクチャの入力（ｃ）のＰ３の入力時点でそれより未来の３ピクチャ（Ｂ４，Ｂ５，Ｂ６）の中にＰピクチャまたはＢピクチャがないことがわかると、エンコーダからのビットストリームの出力（ｄ）に示すようにピクチャの予測構造を変更して、Ｂ６をＰピクチャにする。
【００９５】
動画像符号化装置は、このようにして、動画像の符号化の際に破綻が起こらないようにしている。
【００９６】
ここで、エンコーダへのピクチャの入力（ｃ）の復号動画像の特徴点情報として、各ピクチャのピクチャコーディングタイプと共に、そのピクチャから次のＰピクチャまたはＩピクチャまでのピクチャ数を記録しておくと良い。
【００９７】
こうすれば、上述したようにエンコーダが、未来のＭｘ枚のピクチャコーディングタイプを先読みする必要がなくなる。したがって、図６に示す動画像符号化装置の第５の例のように、図７に示した動画像符号化装置の第４の例におけるメモリ４及びメモリ５を省略することができる。
【００９８】
この特徴点情報は、例えば、動画像信号のヘッダ情報においたり、ブランキングなどの画像信号の空き領域、すなわち有効画像信号でない領域に埋め込んだりすると良い。ブランキングに記録する場合には、ビデオインデックスが使用できる。
【００９９】
エンコーダ２から出力されるビットストリームは、記録媒体１０に記録される。この記録媒体１０については後述する。
【０１００】
続いて、動画像符号化方法の一連の工程について、図７を参照して説明する。
【０１０１】
最初のステップＳ２１においては、入力されるＭＰＥＧビットストリームを復号動画像に復号すると共に、テンポラルリファレンス及びピクチャコーディングタイプを取り出す。
【０１０２】
ステップＳ２１に続くステップＳ２２においては、ビットストリームの特徴点情報としてのＭの最大値に符号化の予測構造の変更を行い、ステップ２１からの復号動画像、テンポラルリファレンス及びピクチャコーディングタイプに基づいて復号動画像を符号化したビットストリームを出力する。
【０１０３】
先に説明したように、予測構造を特徴点情報として与えられるＭの最大値に応じて変更することにより、標準のＭの値より大きいＭのビットストリームが入力されても、ステップＳ２における符号化は破綻することはない。
【０１０４】
続いて、記録媒体１０について説明する。
記録媒体１０は、上述のエンコーダ２に特徴点情報と共に入力される画像信号について、上記特徴点情報であるＭの最大値に応じて予測構造を変更された画像信号が符号化されたビットストリームが記録されてなるものである。
【０１０５】
この記録媒体１０は、例えばＣＤ−ＲＯＭ等の光ディスクとして提供されるが、いわゆるマルチメディア通信回線を介して提供されることもある。
【０１０６】
上述のように、第２の実施の形態は、入力される復号動画像のＭの値が基準値である標準のＭの値を越える時、その部分の画像のピクチャの予想構造を上記基準値以下に変更して符号化を行うものである。
【０１０７】
このことにより、ビットストリームが出力されるまでの遅延量やエンコーダに必要なメモリ量が有限であるエンコーダ、特にＭ＝３を標準値とする現在のエンコーダにも対応することができる。
【０１０８】
第３の実施の形態は、ビデオエンコードフォーマットの中で、Ｍの値の上限を規定するものである。
【０１０９】
これにより、エンコーダは、その最大のＭでエンコードできる構成にしておき、エンコーダへ動画像信号が入力されてから、ビットストリームが出力されるまでの遅延量を、上記Ｍの最大値に対応するように設定すれば良い。
【０１１０】
ビットストリームが入力される場合には、動画像符号化装置は、図１に示した動画像符号化装置と同様に、デコーダ１、エンコーダ２及び多重化器４の構成からなり、同様の動作をなす。ただし、エンコーダ２へ入力される特徴点情報がＭの値の上限となっている。
【０１１１】
この特徴点情報により、Ｍの値の上限で符号化ができるようにビットストリームへの遅延時間やメモリ量を設定しておくことにより、Ｍの値が変わる場合にも符号化が破綻しないようにすることができる。
【０１１２】
復号動画像が入力される場合には、動画像符号化装置は、図２に示した動画像符号化装置と同様に、分離器３及びエンコーダ２の構成からなり、同様の動作をなす。ただし、エンコーダ１０２に入力される特徴点情報がＭの値の上限となっている。
【０１１３】
上記のように、この特徴点情報に応じて遅延時間やメモリ量を設定することにより、Ｍの値が変わる場合にも符号化が破綻しないようにすることができる。
【０１１４】
上述のように、本発明の第３の実施の形態は、Ｍの上限を特徴点情報としてエンコーダに与え、この特徴点情報に応じてビットストリームへの遅延量やメモリ量を設定することにより、Ｍの値が変わった場合にも符号化が破綻しないようにするものである。
【０１１５】
なお、上記Ｍの上限は特徴点情報としてエンコーダに与える必要は必ずしもなく、ビットストリーム規格として予め規定しておくこともできる。
【０１１６】
次に、動画像符号化装置におけるデコーダ１及びエンコーダ２の構造及び機能について簡単に説明する。
【０１１７】
デコーダ１は、図８に示すように、入力されるビットストリームを一時的に蓄えるバッファ１１と、バッファ１１から読みだしたビットストリームを可変長復号する可変長復号回路１２と、可変長復号回路１２からの信号を逆ＤＣＴ変換する逆ＤＣＴ回路１３と、逆ＤＣＴ回路１３からの信号を逆量子化する逆量子化回路１４と、逆量子化回路１４及び動き補償回路１８からの信号を加算する加算回路１５とを有している。
【０１１８】
バッファ１１は、入力されるビットストリームを一時的に蓄え、可変長復号回路１２にて読み出される。可変長復号回路１２は、バッファ１１に蓄積されたビットストリームを読み出して可変長復号し、復号結果を逆ＤＣＴ回路１３に出力する。また可変長復号回路１２は、テンポラルレファレンスをＭ算出回路１８に与え、ピクチャタイプをこのデコーダ１全体及びＭ算出回路１８に与える。逆ＤＣＴ回路は、可変長復号回路１２にて復号された信号に対して逆ＤＣＴ変換を施して逆量子化回路１４に出力する。逆量子化回路１４は、逆ＤＣＴ回路１４にて逆ＤＣＴ変換された信号に対して逆量子化を行い加算器１５に出力する。加算回路１５は、逆量子化回路１４からの出力及び動き補償回路１８からの出力を加算し、その結果をピクチャ順序並べ替え回路１６及びフレームメモリ１７に出力する。
【０１１９】
また、デコーダ１は、加算回路１５からの信号を１フレーム蓄えるフレームメモリ１７と、フレームメモリからの画像に動き補償を施す動き補償回路１８と、加算回路１５からの信号についてピクチャを並び替えて出力するピクチャ並び替え回路１６とを有している。
【０１２０】
フレームメモリ１７は、１フレームの画像信号を記憶するメモリであり、ここでは加算回路１５からの出力を蓄え、動き補償回路１８にて読み出される。動き補償回路１８は、フレームメモリ１７に記憶された画像に対して動き補償を行い、動き補償された画像を加算回路１５に出力する。ピクチャ並べ替え回路は、加算回路１５からの信号に基づいて、ピクチャを所定順序に並び替えた出力画像を出力する。
【０１２１】
さらに、可変長復号回路１２から与えられるテンポラルレファレンス及びピクチャタイプに基づいてＭを算出するＭ算出回路１８と、Ｍ算出回路１８からのＭ及びピクチャ並べ替え回路１６からの出力画像に基づいてＭを調整した画像信号を多重化して出力するマルチプレクサ１９とを有している。
【０１２２】
Ｍ算出回路１８は、可変長復号回路１２から与えられるテンポラルレファレンス及びピクチャタイプに基づいてＭを算出し、算出したＭをマルチプレクサ１９に与える。マルチプレクサ１９では、Ｍ算出回路１８からのＭに応じて、ピクチャ並べ替え回路１６からの出力信号に埋め込みを行って出力する。この埋め込みとしては、例えば画像信号のブランキング部分に埋め込むことにより行う。
【０１２３】
エンコーダ２は、図９に示すように、入力画像を１フレーム単位で蓄えるフレームメモリ２１と、フレームメモリ２１からの画像を動き予測する動き予測する動き予測回路２２と、動き予測回路２２からの信号についてピクチャ順序並べ替えを行うピクチャ順序並べ替え回路２３と、ピクチャ順序並べ替え回路２３からの信号から動き舗装回路３３からの信号を減じる減算回路２４とを有している。
【０１２４】
フレームメモリ２１は入力信号を１フレーム毎に記憶し、動き予測回路２２はフレームメモリ２２から読みだしたピクチャについて動き予測を行い、ピクチャ並べ替え回路２３にピクチャを、動き補償回路３３に動きベクトル３３を出力する。ピクチャ並べ替え回路２３は動き予測回路２３からのピクチャに並べ替えを施し、減算回路２４に出力する。減算回路２４は、ピクチャ並べ替え回路２３からの出力から動き補償回路３３からの出力を減じてその結果をＤＣＴ回路２５に出力する。
【０１２５】
また、エンコーダ２は、減算回路２４からの信号にＤＣＴを施すＤＣＴ回路２５と、ＤＣＴ回路２５からの信号を量子化する量子化回路２６と、量子化回路からの信号を逆量子化する逆量子化回路２９と、逆量子化回路２９からの信号に逆ＤＣＴを施す逆ＤＣＴ回路３０と、逆ＤＣＴ回路３０からの信号及び動き補償回路３３からの信号を加算する加算回路３１と、加算回路３１からの出力をフレーム単位で蓄積するフレームメモリ３２と、フレームメモリ３２からの信号に動き補償を行う動き補償回路３３とを有している。
【０１２６】
ＤＣＴ回路２５は、減算回路２４からの出力にＤＣＴ変換を施して量子化回路２６に出力する。量子化回路２６は、ＤＣＴ回路２５からの出力に量子化を施してその結果を可変長符号化回路２７及び逆量子化回路２９に出力する。逆量子化回路２９は、量子化回路２６の出力に逆量子化を施して逆ＤＣＴ回路３０に出力する。逆ＤＣＴ回路３０は、逆量子化回路２９の出力に逆ＤＣＴ変換を施してその結果を加算回路３１に出力する。
【０１２７】
加算回路３１は、逆ＤＣＴ解度３０及び動き補償回路３３からの出力を加算し、その加算の結果をフレームメモリ３２に入力する。フレームメモリ３２は加算回路３１からの出力を１フレーム毎に記憶し、動き補償回路３３はフレームメモリ３２から読み出したピクチャに対して動き補償を施し、その結果を加算回路３１及び減算回路２４に出力する。
【０１２８】
さらに、エンコーダ２は、量子化回路２６からの信号を可変長符号化する可変長符号化回路２７と、可変長符号化回路２７からの信号を一時的に蓄積し、この蓄積されたビットストリームをビットストリームとして出力するバッファ２８とを有している。
【０１２９】
可変長符号化回路２７は、量子化回路２６からの出力に可変長符号化を施してバッファ２８に出力する。バッファ２８は、可変長符号化回路２７からの出力を一時的に記憶し、マルチプレクサ３７により読み出される。
【０１３０】
そして、エンコーダ２は、テンポラルレファレンス及び特徴点情報に基づいてＭを算出するＭ算出回路３６と、Ｍ算出回路３６からのＭ及びバッファ２８からのビットストリームを多重化するマルチプレクサ３７とを有している。
【０１３１】
Ｍ算出回路３６は、テンポラルレファレンス及び特徴点情報に基づいてＭを算出し、そのＭをマルチプレクサ３７に出力する。マルチプレクサ３７は、バッファ２８から読み出されたビットビットストリームについて、Ｍ算出回路３６からのＭを埋め込んで出力する。
【０１３２】
なお、本発明に係る動画像符号化装置及び方法は、上述のようなＩピクチャ、Ｐピクチャ及びＢピクチャからなるＭＰＥＧ２規格の画像信号には限定されず、表示順序に従って後方を参照することなく復号する第１の符号化画像及び表示順序に従って後方を参照して復号する第２の符号化画像から構成される画像信号に適用することができる。
【０１３３】
また、上述のデコーダにおいてはＭ算出回路にて算出したＭを画像信号に埋め込んだが、エンコーダにおいてはＭ算出回路にて算出してＭをビットストリームに埋め込んだが、本発明はこれに限定されない。例えば、算出したＭは別ファイルとして用意したり、メモリインカセットに記録することもできる。
【０１３４】
【発明の効果】
上述したように、本発明に係る動画像符号化装置は、ＭＰＥＧビデオビットストリームを復号して、その復号動画像を再びＭＰＥＧ符号化する場合に、上記ＭＰＥＧ符号化を行うエンコーダへ動画像信号が入力されてからビットストリームが出力されるまでの遅延量の決定、およびエンコーダに必要なフレームメモリ量の決定、および、およびピクチャの画像間予測符号化方法の制御に役立つ。
【０１３５】
また、本発明に係る動画像符号化方法は、ＭＰＥＧビデオビットストリームを復号して、その復号動画像を再びＭＰＥＧ符号化する場合に、上記ＭＰＥＧ符号化を行うエンコーダへ動画像信号が入力されてからビットストリームが出力されるまでの遅延量の決定、およびエンコーダに必要なフレームメモリ量の決定、および、およびピクチャの画像間予測符号化方法の制御に役立つ。
【０１３６】
上述したように、本発明に係る記録媒体は、第１の符号化画像の間隔が所定の基準値を越えないように画像信号が符号化されたビットストリームが記録されてなるので、上記間隔が標準値の装置に対しても適合する。
【図面の簡単な説明】
【図１】動画像符号化装置の第１の例のブロック図である。
【図２】動画像符号化装置の第２の例を示すブロック図である。
【図３】動画像符号化方法の一連の工程を示すフローチャートである。
【図４】動画像符号化装置の第３の例を示すブロック図である。
【図５】動画像符号化装置の第４の例を示すブロック図である。
【図６】動画像符号化装置の第５の例を示すブロック図である。
【図７】動画像符号化方法の一連の工程を示すフローチャートである。
【図８】デコーダの構造を概略的に示すブロック図である。
【図９】エンコーダの構造を概略的に示すブロック図である。
【図１０】符号化された各ピクチャを説明する図である。
【図１１】従来の動画像符号化装置の第１の例を示す図である。
【図１２】従来の動画像符号化装置の第２の例を示す図である。
【符号の説明】
１ デコーダ、２ エンコーダ、３ 分離器、７ 多重化器、１０ 記録媒体
【発明の属する技術分野】
本発明は、入力されたビットストリームを復号して画像信号とする動画像復号化装置及び方法、並びにこの画像信号を再びビットストリームとして出力する動画像符号化装置及び方法に関する。
【０００２】
【従来の技術】
近年、画像信号の圧縮符号化に、動き補償（motion compensation;MC）及び離散余弦変換（descrete cosine transformation;DCT）等の直交変換による冗長度低減処理とを組み合わせたＭＰＥＧ（moving picture experts group）や、ＭＰＥＧ２が広く用いられるようになった。
【０００３】
非圧縮の映像データを上記ＭＰＥＧ等の手法により、フレーム内符号化画像（Ｉピクチャ）、フレーム間予測符号化画像（Ｐピクチャ）、双方向予測符号化画像（Ｂピクチャ）のような符号化画像に圧縮して光磁気ディスク等の格納媒体に記録したり、あるいは通信回線を使用して伝送したりする。
【０００４】
ここで、ＭＰＥＧ方式にて画像圧縮された信号を再生する場合について説明する。
【０００５】
例えば、記録媒体には、図１０（ａ）に示すようなデータストリームの符号化データが記録されている。この図１０（ａ）に示すように記録されているデータストリームは復号されて、図１０（ｂ）に示すようなピクチャの順番で表示が行われる。ここで、各ピクチャに符号として付けている“Ｉ”，“Ｐ”，“Ｂ”は、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの区別を示しており、各添字は、ＧＯＰ（Group of Pictures）内の表示順序を表すいわゆるテンポラリリファレンスを示している。
【０００６】
図１０（ａ）に示すようなデータストリームの符号化データを再生する為に、まず、Ｉ0の復号が行われる。Ｉピクチャは画面内で符号化が完結しているものであるので、他のピクチャを復号することなくＩ0を単独で復号することができる。続いて、復号したＩ0に基づき、順方向予測符号化がされたＰ2の復号を行う。Ｐピクチャは時間的に前のＩピクチャ又はＰピクチャから予測符号化がされるものであるので、従来の記録再生装置はこのＰ2を復号する前にＩ0を復号していなければならない。続いて、復号したＩ0及びＰ2に基づき、双方向予測符号化がされたＢ1の復号を行う。Ｂピクチャは時間的に前後のＩピクチャ又はＰピクチャから双方向符号化がされるものであるので、このＢ1を復号する前にＩ0とＰ2を復号していなければならない。このように、図１０（ａ）に示すようなデータストリームの符号化データを、Ｉ0→Ｐ2→Ｂ1→Ｐ4→Ｂ3→Ｐ6→Ｂ5→Ｉ8→Ｂ7→Ｐ10→Ｂ9→・・・といった順序で復号を行う。
【０００７】
そして、このような順序で復号した各ピクチャを表示する場合には、図１０（ｂ）に示すようにその順序を入れ換えて、Ｉ0→Ｂ1→Ｐ2→Ｂ3→Ｐ4→Ｂ5→Ｐ6→Ｂ7→Ｉ8→Ｂ9→Ｐ10→・・・といった順序で表示を行う。
【０００８】
ここで、ＭＰＥＧ方式によるデータストリームにおける、Ｉピクチャ又はＰピクチャの間隔をＭとする。次に、Ｍ＝３の場合のエンコーダとデコーダの入出力のタイミングを数１に示す。
【０００９】
【数１】
エンコーダへのピクチャの入力（ａ）は、ビットストリームに符号化され、３フレーム時間だけ遅れてエンコーダからのビットストリームの出力（ｂ）として出力されている。また、エンコーダからのビットストリームの出力（ｂ）は、デコーダへのビットストリームの入力（ｃ）となり、ピクチャに復号されて、デコーダへのビットストリームの入力（ｃ）より１フレーム時間だけおくれてデコーダからのピクチャ出力（ｄ）となっている。
【００１１】
記号“Ｉ”，“Ｐ”，“Ｂ”は、それぞれＩピクチャ，Ｐピクチャ，Ｂピクチャを示しており、（ａ）又は（ｄ）のように画像を示している場合と、（ｂ）又は（ｄ）のように符号化されたビットストリームを示している場合がある。各記号の添字数字は、画像の表示順序である。
【００１２】
Ｍの値は、エンコーダへ動画像信号が入力されてから、ビットストリームが出力されるまでの遅延量に関係しており、Ｍが大きいほど、この遅延量は大きくなる。これは、Ｂピクチャを符号化する前に、時間的に前にあるＰピクチャを先に符号化するので、（Ｍ−１）枚のＢピクチャをメモリにバッファリングする必要があるためである。したがって、Ｍが大きくなるにしたがって、エンコーダに必要なフレームメモリ量が増加する。
【００１３】
なお、上の例では、エンコーダからビットストリームが出力されるまでの遅延量を３フレーム時間としているが、この時間の大きさは、エンコードアルゴリズムに依存するものであり、特に動きベクトル予測（Motion Estimation ）のアルゴリズムに関係する。実際のエンコーダでは、この遅延量は、３フレーム時間よりも大きい場合が多い。
【００１４】
動きベクトル予測などのアルゴリズムが同じ条件の時に、Ｍが大きいほど、エンコーダからビットストリームが出力されるまでの遅延量が大きくなり、エンコーダに必要なフレームメモリ量が増加する関係がある。
【００１５】
続いて、再エンコードを効率よく行うための従来方法について説明する。
【００１６】
ＭＰＥＧビデオビットストリームを復号して、その復号画像を再びＭＰＥＧ符号化して、ビットストリームを出力する場合に、画像を高画質に符号化するためには、その画像を符号化するときのピクチャコーディングタイプ（picture coding type ）を元のビットストリームの時と同じにすると有効であることが広く知られている。
【００１７】
すなわち、ビットストリームの構成要素であるＩピクチャ、Ｐピクチャ、Ｂピクチャを構成する画素の実質的な情報量はそれぞれ異なるので、画像信号をビットストリームに符号化するピクチャの種類を元のピクチャの種類と一致させることにより、画像信号符号化を効率よく行うことができる。
【００１８】
エンコーダへ入力された画像の元のピクチャコーディングタイプを知るための手段として、ディジタル画像のブランキング部分のビデオインデックスにピクチャコーディングタイプを記録する方法がある。ビデオインデックスの中におけるピクチャコーディングタイプの記録位置については、ＳＭＰＴＥ（Society of Motion Picture and Television Enginneers）のRecommended PracticesのRP 186-1995に書かれている。
【００１９】
ＭＰＥＧビデオビットストリームを復号して、復号画像を再びＭＰＥＧ符号化して、ビットストリームを出力する場合のデコーダとエンコーダの入出力のタイミングを次の数２に示す。
【００２０】
【数２】
デコーダへのビットストリーム入力（ａ）においては、Ｍ＝３としている。デコーダへのビットストリーム入力（ａ）がピクチャに復号された、デコーダからのピクチャの出力（ｂ）は、デコーダへのビットストリームの入力（ａ）より１フレーム時間遅延している。デコーダからのピクチャ出力（ｂ）はエンコーダへのピクチャの入力（ｃ）となり、ビットストリームに符号化されて、エンコーダへのピクチャの入力より３フレーム時間だけ遅れてエンコーダからのビットストリームの出力（ｄ）として出力される。
【００２２】
このようなビットストリームを出力する従来の動画像符号化装置の例を示す。
【００２３】
従来の動画像符号化装置の第１の例は、図１１に示すように、ビットストリームを復号して復号動画像とするデコーダ１０１と、復号動画増のビデオインデックスにピクチャコーディングタイプを書き込みビデオインデックス書き込み器１０４と、復号動画像からピクチャコーディングタイプを読み出すビデオインデックス読み出し器１０３と、デコーダ１０１からの復号動画像信号及びビデオインデックス読み出し器１０３からのピクチャコーディングタイプに基づいて符号化行ったビットストリームを記録媒体１０に出力するエンコーダ１０２とから構成される。
【００２４】
ここで、デコーダ１０１へ入力するビットストリームは、上記デコーダへのビットストリームの入力（ａ）に、デコーダ１０１からエンコーダ１０２へ送られる復号動画像信号は上記デコーダからのピクチャの出力（ｂ）及び上記エンコーダへのピクチャの入力（ｃ）に、エンコーダ１０２出力されるビットストリームは上記エンコーダからのビットストリームの出力（ｄ）に対応している。
【００２５】
従来の動画像符号化装置の第２の例は、図１２に示すように、復号動画像信号からピクチャコーディングタイプを読み出すビデオインデックス読み出し器１０３と、復号動画像信号及びビデオインデックス読み出し器１０３からのピクチャコーディングタイプに基づいてビットストリームを出力するエンコーダ１０２とから構成されている。
【００２６】
ここで、デコーダ１０１へ入力するビットストリームは、上記エンコーダへのピクチャ入力（ｃ）に、エンコーダ１０２から出力されるビットストリームは上記エンコーダからのビットストリームの出力（ｄ）に対応している。
【００２７】
これら従来の動画像符号化装置の第１及び第２の例は、いずれもビデオインデックス読み出し器１０３から得られるピクチャコーディングタイプに基づいて、エンコーダ１０２における符号化の際のピクチャコーディングタイプを下のビットストリームと同じにすることにより、画像を高画質に符号化している。
【００２８】
【発明が解決しようとする課題】
ところで、上記図１１に示した従来の動画像符号化装置の第１の例及び図１２に示した従来の動画像符号化装置の第２の例では、再符号化を行うエンコーダ１０２には、Ｍ＝３に固定されたビットストリームが入力した。しかし、Ｍの値が入力画像の途中で３より大きく変わる場合には、問題が生じる。
【００２９】
すなわち、ＭＰＥＧビデオストリームを復号して、復号画像を再びＭＰＥＧ符号化して、ビットストリームを出力する場合において、デコーダに入力されるビットストリームのＭの値が途中で変化しているときには、次の数３に示すような問題が生じる。
【００３０】
【数３】
すなわち、デコーダへのビットストリームの入力（ａ）においては、Ｉ０とＰ３の間ではＭ＝３であり、Ｐ３とＰ８の間はＭ＝５に変化している。デコーダへのビットストリームの入力（ａ）に対する動画像の出力を示すデコーダからのピクチャ出力（ｂ）の各画像のビデオインデックスに、その画像が符号化されていた時のピクチャコーディングタイプを記録しておく。
【００３２】
エンコーダへのピクチャの入力（ｃ）は、エンコーダへのデコーダからのピクチャの出力（ｂ）の入力を示している。エンコーダは、各画像のビデオインデックスから、その画像が圧縮されていた時のピクチャコーディングタイプを読み出し、その情報に基づいて入力画像を符号化する。これに応じて、エンコーダからのビットストリームの出力（ｄ）が出力される。
【００３３】
上述の例と同様に、エンコーダへのピクチャ入力（ｃ）及びエンコーダからのビットストリームの出力（ｄ）に見られるように、エンコーダへ動画像信号が入力されてから、３フレーム時間遅延してから、ビットストリームを出力開始する。この時、エンコーダからのビットストリームの出力（ｄ）の”Ｘ”のところでエンコードが破錠している。具体的には、Ｐ８のＰピクチャの”Ｘ”のタイミングにＰ８のビットストリームが出力できない問題が発生する。
【００３４】
本発明は、上述の課題に鑑みてなされるものであって、Ｍの値が一定ではないビットストリームに対しても再符号化をするようにする動画像符号化装置及び方法並びに動画像復号化装置及び方法を提供することを目的とする。
【００３５】
【課題を解決するための手段】
上述の課題を解決するために、本発明に係る動画像符号化装置は、表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームを復号した画像信号並びに上記ビットストリームにおける画像が上記第１の符号化画像又は上記第２の符号化画像のいずれであるかを区別する画像符号化型を入力される動画像符号化装置であって、上記ビットストリームにおける各符号化画像の符号化型と一致するように上記画像符号化型に基づいて上記画像信号を上記第１の符号化画像及び第２の符号化画像からなるビットストリームに符号化する際に、上記第１の符号化画像信号の間隔が基準値を越えるとき、直前の上記第１の符号化画像信号から上記基準値の範囲内の位置の上記第２の符号化画像を上記第１の符号化画像に変更して符号化する符号化手段を有する。
【００３６】
本発明に係る動画像符号化方法は、表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームを復号した画像信号並びに上記ビットストリームにおける画像が上記第１の符号化画像又は上記第２の符号化画像のいずれであるかを区別する画像符号化型を入力される動画像符号化方法であって、上記ビットストリームにおける各符号化画像の符号化型と一致するように上記画像符号化型に基づいて上記画像信号を上記第１の符号化画像及び第２の符号化画像からなるビットストリームに符号化する際に、上記第１の符号化画像信号の間隔が基準値を越えるとき、直前の上記第１の符号化画像信号から上記基準値の範囲内の位置の上記第２の符号化画像を上記第１の符号化画像に変更して符号化する符号化工程を有する。
【００３７】
本発明に係る動画像符号化装置は、表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームであって、このビットストリームにおける上記第１の符号化画像の間隔の最大値を特徴点情報として有するビットストリームを復号した画像信号及び上記特徴点情報並びに上記ビットストリームにおける画像が上記第１の符号化画像又は上記第２の符号化画像のいずれであるかを区別する画像符号化型を入力される動画像符号化装置であって、上記ビットストリームにおける符号化画像の符号化型と一致するように上記画像符号化型に基づいて上記画像信号を上記第１の符号化画像及び第２の符号化画像からなるビットストリームに符号化する符号化手段を有し、上記符号化手段は、上記画像信号が入力されてから上記ビットストリームが出力されるまでの遅延量や符号化に必要なメモリ量を、上記特徴点情報の上記最大値に対応させて制御する。
【００３８】
本発明に係る動画像符号化方法は、表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームであって、このビットストリームにおける上記第１の符号化画像の間隔の最大値を特徴点情報として有するビットストリームを復号した画像信号及び上記特徴点情報並びに上記ビットストリームにおける画像が上記第１の符号化画像又は上記第２の符号化画像のいずれであるかを区別する画像符号化型を入力される動画像符号化方法であって、上記ビットストリームにおける符号化画像の符号化型と一致するように上記画像符号化型に基づいて上記画像信号を上記第１の符号化画像及び第２の符号化画像からなるビットストリームに符号化する符号化工程を有し、上記符号化工程では、上記画像信号が入力されてから上記ビットストリームが出力されるまでの遅延量や符号化に必要なメモリ量を、上記特徴点情報の上記最大値に対応させて制御する。
【００４０】
本発明に係る動画像符号化方法は、表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームを復号した画像信号並びに上記ビットストリームにおける画像が上記第１の符号化画像又は上記第２の符号化画像のいずれであるかを区別する画像符号化型を符号化したビットストリームを出力する動画像符号化方法であって、上記ビットストリームにおける符号化画像の符号化型と一致するように上記画像符号化型に基づいて上記画像信号を上記第１の符号化画像及び第２の符号化画像からなるビットストリームに符号化すると共に、上記第１の符号化画像信号の間隔の最大値を特徴点情報として符号化する符号化工程を有する。
【００４３】
本発明に係る動画像復号装置は、表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームを入力される動画像復号装置であって、上記ビットストリームを画像信号に復号する復号手段と、上記ビットストリームにおける上記第１の符号化画像の間隔の最大値を特徴点情報として出力する特徴点情報出力手段とを有する。
【００４４】
本発明に係る動画像復号方法は、表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームを入力される動画像復号方法であって、上記ビットストリームを画像信号に復号する復号工程と、上記ビットストリームにおける上記第１の符号化画像の間隔の最大値を特徴点情報として出力する特徴点情報出力工程とを有する。
【００４５】
本発明に係る動画像復号装置は、表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームを入力される動画像復号装置であって、上記ビットストリームを画像信号に復号する復号手段と、上記復号手段にて上記ビットストリームを復号する際に、復号に係る当該画像から表示順序に次の第１の符号化画像までの距離を特徴点情報として出力する特徴点情報手段とを有する。
【００４６】
本発明に係る動画像復号方法は、表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームを入力される動画像復号方法であって、上記ビットストリームを画像信号に復号する復号工程と、上記ビットストリームにおける上記第１の符号化画像の間隔の最大値を特徴点情報として出力する特徴点情報出力工程とを有する。
【００４８】
【発明の実施の形態】
以下、本発明に係る動画像符号化装置及び方法並びに動画像復号化装置及び方法について、図面を参照して詳細に説明する。
【００４９】
最初に、本発明の第１の実施の形態について説明する。
【００５０】
第１の実施の形態は、ビットストリームが入力される場合に、ＭＰＥＧビデオビットストリームについて、Ｉピクチャ又はＰピクチャの現れる間隔であるＭの最大値をあらかじめストリームを解析して調べておき、ＭＰＥＧビデオビットストリームを復号して、復号画像を再びＭＰＥＧ符号化して、ビットストリームを出力する場合に、エンコーダへ動画像信号が入力されてから、ビットストリームが出力されるまでの遅延量やエンコーダに必要なメモリ量を、上記Ｍの最大値に基づいて制御するものである。
【００５１】
動画像符号化装置の第１の例は、図１に示すように、入力されるビットストリームを復号して復号動画像及びピクチャコーディングタイプを出力する復号手段であるデコーダ１と、デコーダ１からの復号動画像信号及びピクチャコーディングタイプ並びに外部からのビットストリーム特徴点情報を入力され、これらに基づいて再符号化を行ってビットストリームを出力する符号化手段であるエンコーダ２とから構成される。
【００５２】
デコーダ１は、ビットストリームを入力され、このビットストリームを復号して、復号動画像及びピクチャコーディングタイプを出力する。
【００５３】
ここで、ピクチャコーディングタイプ（picture-coding-type ）とは、当該フレームが画像内符号化画像であるＩピクチャ、順方向予測符号化画像であるＰピクチャ、双方向予測符号化画像であるＢピクチャのいずれであるかを同定する画像符号化型である。Ｉピクチャ及びＰピクチャは表示順序に従って後方を参照することなく復号する第１の符号化画像を構成し、Ｂピクチャは表示順序に従って後方を参照して復号する第２の符号化画像を構成する。
【００５４】
エンコーダ２は、デコーダ１からピクチャコーディングタイプ及び復号画像情報を、外部からビットストリームの特徴点情報を、それぞれ与えられ、これらに基づいて復号動画像を符号化してビットストリームを記録媒体１０に出力する。
【００５５】
Ｍの最大値は、ＭＰＥＧビットストリームの特徴点情報として用意する。この時、Ｍの最大値をＧＯＰ（group of pictures ）単位に計算して、ＧＯＰの特徴点情報として用意してもよい。
【００５６】
この特徴点情報は、ビットストリーム中に埋め込んだり、別ファイルとして用意したり、メモリインカセットに記録することができる。このような特徴点情報の記録形態については、以下の例についても同様である。
【００５７】
多重化器４により、復号動画像信号に特徴点情報を多重化する。例えば、画像信号の垂直部ランキングに特徴点情報を多重化する。ビデオインデックスは、垂直ブランキングに情報を書き込む方法の１つである。
【００５８】
続いて、デコーダ１及びエンコーダ２におけるビットストリーム及び復号動画像の具体的な処理について説明する。
【００５９】
この動画像符号化装置には、Ｍの最大値が５のビットストリームが入力されている。次の数４に示すように、デコーダへのビットストリームの入力（ａ）に対して、デコーダからのピクチャ出力（ｂ）は１フレーム時間だけ遅延している。そして、デコーダへのビットストリームの入力（ａ）のＭの最大値が５であるので、エンコーダへのピクチャの入力（ｃ）及びエンコーダからのビットストリームの出力（ｄ）に示すように、エンコーダへピクチャの入力（ｃ）から、エンコーダからのビットストリームの出力（ｄ）までの遅延量を５フレーム時間にしている。
【００６０】
【数４】
このようにビットストリームが出力されるまでの遅延量を５フレーム時間にする、すなわちＭの最大値に対応させてビットストリームが出力されるまでの遅延量やメモリ量を設定すると、Ｍの値が変わってもバッファリングのためのメモリが足りなくなったり、ビットストリームが出力できなくなったりすることはない。
【００６２】
続いて、動画像符号化装置にビットストリームをデコードした復号動画像信号が入力される場合について説明する。
【００６３】
動画像符号化装置の第２の例は、図２に示すように、復号動画像信号から画像に多重化されている情報のピクチャコーディングタイプと特徴点情報を分離する分離器３と動画像の特徴点情報、復号動画像信号、及び分離器３からのピクチャコーディングタイプに基づいて復号動画像信号を符号化してビットストリームを出力するエンコーダ２とから構成されている。特徴点情報が、画像信号に多重化されている場合は、それを使用する。外から入力しても、かまわない。
【００６４】
上述のように動画像符号化装置は、エンコーダへのピクチャの入力（ｃ）の復号動画像の各画像のピクチャコーディングタイプが復号画像の多重化情報等からわかる時、各画像のピクチャコーディングタイプをあらかじめ解析して、Ｍの最大値を調べておき、復号画像を再びＭＰＥＧ符号化して、ビットストリームを出力する場合に、エンコーダへ動画像信号が入力されてから、ビットストリームが出力されるまでの遅延量やエンコーダに必要なメモリ量を、上記Ｍの最大値に基づいて制御することによりＭの値が変わる場合に対応している。また、このＭの最大値をあらかじめ画像信号に多重化しておくとよい。
【００６５】
動画像符号化装置におけるエンコーダ２は、動画像の特徴点情報、復号動画像情報、及び分離器３からのピクチャコーディングタイプに基づいて、復号動画像信号を符号化したビットストリームを出力する。
【００６６】
Ｍの最大値は、エンコーダへのピクチャ入力（ｃ）の復号動画像の特徴点情報として用意する。Ｍの最大値は、例えば、動画像信号のヘッダ情報においたり、ブランキングなどの画像信号の空き領域、すなわち有効画像信号でない領域に埋め込んだりすると良い。
【００６７】
この動画像符号化装置においては、上に示したように、エンコーダへのピクチャの入力（ｃ）からエンコーダからのビットストリームの入力（ｄ）までの遅延量を、Ｍの最大値に対応させて５フレーム時間とすることにより、エンコーダ２における符号化の破綻を防止している。
【００６８】
エンコーダ２から出力されるビットストリームは、記録媒体１０に記録される。この記録媒体１０については後述する。
【００６９】
続いて、動画像符号化方法に係る一連の手順を図３に示すフローチャートを参照して説明する。
【００７０】
最初のステップＳ１においては、ＭＰＥＧ画像信号が符号化されたビットストリームを復号して画像信号すると共に、画像信号のピクチャコーディングタイプを取り出す。
【００７１】
ステップＳ１に続くステップＳ２においては、特徴点情報としてＭの最大値を入力され、このＭの最大値に応じてビットストリームへの遅延時間やメモリ量を設定して、ステップＳ１からの復号動画像信号及びピクチャコーディングタイプに基づいて上記復号動画像を符号化したビットストリームを出力する。
【００７２】
ステップＳ２においては、ビットストリームの特徴点情報として与えられるＭの最大値に応じて符号化の際の遅延時間やメモリ量を設定することにより、Ｍが変化する場合にも符号化が破綻しないようにしている。
【００７３】
続いて、記録媒体１０について説明する。
記録媒体１０は、上述のエンコーダ２に入力される画像信号について、ピクチャコーディングタイプに応じて上記画像信号のＭが所定の基準値を越えないように予測構造を変更された画像信号が符号化されたビットストリームが記録されてなるものである。
【００７４】
この記録媒体１０は、例えばＣＤ−ＲＯＭ等の光ディスクとして提供されるが、いわゆるマルチメディア通信回線を介して提供されることもある。
【００７５】
上述のように、本発明の第１の実施の形態は、エンコーダへ入力される復号動画像シーケンスのＭの最大値をあらかじめ調べておいて、エンコーダの入出力の遅延量やエンコーダに必要なメモリ量を、上記Ｍの最大値に基づいて制御するものである。
【００７６】
次に、本発明の第２の実施の形態について説明する。
【００７７】
本発明の第２の実施の形態は、Ｍの最大値が基準値を越えないように、ピクチャコーディングタイプに基づいて、画像信号をビットストリームに符号化する際に、ＢピクチャをＩピクチャ又はＰピクチャに変更するものである。
【００７８】
最初に、動画像符号化装置にビットストリームが入力される場合について説明する。
【００７９】
動画像符号化装置の第３の例は、図４に示すように、入力されるビットストリームを復号して復号動画像、ピクチャコーディングタイプ及びテンポラルレファレンス（temporal reference）をエンコーダ２に出力するデコーダ１と、ビットストリームの特徴点情報、及びデコーダ１からのピクチャコーディングタイプ及びテンポラルリファレンスに基づいて、復号動画像信号をビットストリームに符号化するエンコーダ２と、ビットストリームの特徴点情報並びにデコーダ１からのピクチャコーディングタイプ及び復号動画像信号を多重化する多重化部７とから構成される。
【００８０】
動画像符号化装置のエンコーダ２はＭ＝３を標準値又は基準値としており、最大Ｍ＝３までエンコード可能である。すなわち、次の数５に示すように、デコーダへのビットストリームの入力（ａ）の内のピクチャＰ８がデコーダ１に入力された時点で、デコーダは局所的なＭの値を計算して、デコーダからのピクチャの出力（ｂ）をエンコーダへのピクチャの入力（ｃ）としてその値をエンコーダ２へ入力する。
【００８１】
【数５】
動画像符号化装置は、ビットストリームの中の局所的なＭの値が、エンコード可能な最大のＭの標準値を越える位置情報を、そのビットストリームの特徴点情報として用意しておいて、ＭＰＥＧビデオビットストリームを復号して、復号動画像を再びＭＰＥＧ符号化する時に使用する。
【００８３】
例えば、上のビットストリームにおいて、Ｐ３とＰ８の間の局所的なＭの値が、Ｍの標準値を越えることを特徴点情報として用意する。
【００８４】
また、ＭＰＥＧビデオビットストリームのＭの最大値を特徴点情報として用意しておくと、そのビットストリームの復号動画像を再エンコードする時に、ピクチャの予測構造の変更（Ｍの変更）が必要か否かを知ることができるので便利である。この時、Ｍの最大値をＧＯＰ単位に計算して、ＧＯＰの特徴点情報として用意しても良い。
【００８５】
多重化器７により復号動画像信号に特徴点情報を多重化する。ＧＯＰのＭの最大値の場合は、Ｉピクチャを復号した画像または、ＧＯＰの先表示順序で先頭の画像に多重化すると良い。例えば、画像の垂直ブランキングに特徴点情報を多重化する。
【００８６】
局所的なＭの値は、ＭＰＥＧのピクチャヘッダ（Picture header）にあるテンポラルリファレンス（temporal reference）のピクチャ間での差分値から計算できる。
【００８７】
ここで、ピクチャヘッダはＭＰＥＧ２規格のストリームのピクチャ層にあり、テンポラルリファレンスとはピクチャの表示順序を表す番号でＧＯＰの先頭でリセットされる１０２４の剰余値である。
【００８８】
これを受けて、エンコーダ２は、Ｐ３の画像からＰ８までのピクチャの予測構造がＭ＝５であることを、あらかじめ理解する。エンコーダ２は、入力される動画像であるエンコーダへのピクチャの入力（ｃ）のＰ３からＰ８までのＭ＝５の予測構造を、変更されたピクチャコーディングタイプ（ｄ）に示すようにエンコード可能なＭ＝３とＭ＝２の組み合わせに変更する。これにより、エンコーダ２における符号化の際の破綻を防止している。そして、エンコーダからのビットストリームの出力（ｅ）として出力する。
【００８９】
続いて、ビットストリームをデコードした動画像信号のみ存在する場合について説明する。
【００９０】
動画像符号化装置の第４の例は、図５に示すように、復号動画像から画像に多重化されているピクチャコーディングタイプを分離してメモリ５に出力する分離器３と、復号動画像信号を記憶するメモリ４と、分離器３からのピクチャコーディングタイプを記憶するメモリ５と、動画像信号の特徴点情報、メモリ４から読み出した復号動画像信号、及びメモリ５から読み出した復号動画像に基づいて、復号動画像を符号化したビットストリームを出力するエンコーダ２とを有している。
【００９１】
特徴点情報が画像に多重化されている時は、それを使用する。別に外から入力しても構わない。
【００９２】
動画像符号化装置は、エンコーダへのピクチャの出力（ｃ）の復号動画像の各画像のピクチャコーディングタイプがビデオインデックス等からわかる時、エンコード可能な最大のＭがＭｘであるところのエンコーダ２は、各ピクチャのピクチャコーディングタイプを未来のＭｘ枚について先読みしておく。
【００９３】
そして、エンコーダ２は未来に符号化するＭｘ枚のピクチャの中にＰピクチャまたはＩピクチャが存在しないことがわかった場合、ピクチャの予測構造をＭ＝Ｍｘ以下に変更する。
【００９４】
例えば、上述した例のＭｘ＝３であるエンコーダ２は、エンコーダへのピクチャの入力（ｃ）のＰ３の入力時点でそれより未来の３ピクチャ（Ｂ４，Ｂ５，Ｂ６）の中にＰピクチャまたはＢピクチャがないことがわかると、エンコーダからのビットストリームの出力（ｄ）に示すようにピクチャの予測構造を変更して、Ｂ６をＰピクチャにする。
【００９５】
動画像符号化装置は、このようにして、動画像の符号化の際に破綻が起こらないようにしている。
【００９６】
ここで、エンコーダへのピクチャの入力（ｃ）の復号動画像の特徴点情報として、各ピクチャのピクチャコーディングタイプと共に、そのピクチャから次のＰピクチャまたはＩピクチャまでのピクチャ数を記録しておくと良い。
【００９７】
こうすれば、上述したようにエンコーダが、未来のＭｘ枚のピクチャコーディングタイプを先読みする必要がなくなる。したがって、図６に示す動画像符号化装置の第５の例のように、図７に示した動画像符号化装置の第４の例におけるメモリ４及びメモリ５を省略することができる。
【００９８】
この特徴点情報は、例えば、動画像信号のヘッダ情報においたり、ブランキングなどの画像信号の空き領域、すなわち有効画像信号でない領域に埋め込んだりすると良い。ブランキングに記録する場合には、ビデオインデックスが使用できる。
【００９９】
エンコーダ２から出力されるビットストリームは、記録媒体１０に記録される。この記録媒体１０については後述する。
【０１００】
続いて、動画像符号化方法の一連の工程について、図７を参照して説明する。
【０１０１】
最初のステップＳ２１においては、入力されるＭＰＥＧビットストリームを復号動画像に復号すると共に、テンポラルリファレンス及びピクチャコーディングタイプを取り出す。
【０１０２】
ステップＳ２１に続くステップＳ２２においては、ビットストリームの特徴点情報としてのＭの最大値に符号化の予測構造の変更を行い、ステップ２１からの復号動画像、テンポラルリファレンス及びピクチャコーディングタイプに基づいて復号動画像を符号化したビットストリームを出力する。
【０１０３】
先に説明したように、予測構造を特徴点情報として与えられるＭの最大値に応じて変更することにより、標準のＭの値より大きいＭのビットストリームが入力されても、ステップＳ２における符号化は破綻することはない。
【０１０４】
続いて、記録媒体１０について説明する。
記録媒体１０は、上述のエンコーダ２に特徴点情報と共に入力される画像信号について、上記特徴点情報であるＭの最大値に応じて予測構造を変更された画像信号が符号化されたビットストリームが記録されてなるものである。
【０１０５】
この記録媒体１０は、例えばＣＤ−ＲＯＭ等の光ディスクとして提供されるが、いわゆるマルチメディア通信回線を介して提供されることもある。
【０１０６】
上述のように、第２の実施の形態は、入力される復号動画像のＭの値が基準値である標準のＭの値を越える時、その部分の画像のピクチャの予想構造を上記基準値以下に変更して符号化を行うものである。
【０１０７】
このことにより、ビットストリームが出力されるまでの遅延量やエンコーダに必要なメモリ量が有限であるエンコーダ、特にＭ＝３を標準値とする現在のエンコーダにも対応することができる。
【０１０８】
第３の実施の形態は、ビデオエンコードフォーマットの中で、Ｍの値の上限を規定するものである。
【０１０９】
これにより、エンコーダは、その最大のＭでエンコードできる構成にしておき、エンコーダへ動画像信号が入力されてから、ビットストリームが出力されるまでの遅延量を、上記Ｍの最大値に対応するように設定すれば良い。
【０１１０】
ビットストリームが入力される場合には、動画像符号化装置は、図１に示した動画像符号化装置と同様に、デコーダ１、エンコーダ２及び多重化器４の構成からなり、同様の動作をなす。ただし、エンコーダ２へ入力される特徴点情報がＭの値の上限となっている。
【０１１１】
この特徴点情報により、Ｍの値の上限で符号化ができるようにビットストリームへの遅延時間やメモリ量を設定しておくことにより、Ｍの値が変わる場合にも符号化が破綻しないようにすることができる。
【０１１２】
復号動画像が入力される場合には、動画像符号化装置は、図２に示した動画像符号化装置と同様に、分離器３及びエンコーダ２の構成からなり、同様の動作をなす。ただし、エンコーダ１０２に入力される特徴点情報がＭの値の上限となっている。
【０１１３】
上記のように、この特徴点情報に応じて遅延時間やメモリ量を設定することにより、Ｍの値が変わる場合にも符号化が破綻しないようにすることができる。
【０１１４】
上述のように、本発明の第３の実施の形態は、Ｍの上限を特徴点情報としてエンコーダに与え、この特徴点情報に応じてビットストリームへの遅延量やメモリ量を設定することにより、Ｍの値が変わった場合にも符号化が破綻しないようにするものである。
【０１１５】
なお、上記Ｍの上限は特徴点情報としてエンコーダに与える必要は必ずしもなく、ビットストリーム規格として予め規定しておくこともできる。
【０１１６】
次に、動画像符号化装置におけるデコーダ１及びエンコーダ２の構造及び機能について簡単に説明する。
【０１１７】
デコーダ１は、図８に示すように、入力されるビットストリームを一時的に蓄えるバッファ１１と、バッファ１１から読みだしたビットストリームを可変長復号する可変長復号回路１２と、可変長復号回路１２からの信号を逆ＤＣＴ変換する逆ＤＣＴ回路１３と、逆ＤＣＴ回路１３からの信号を逆量子化する逆量子化回路１４と、逆量子化回路１４及び動き補償回路１８からの信号を加算する加算回路１５とを有している。
【０１１８】
バッファ１１は、入力されるビットストリームを一時的に蓄え、可変長復号回路１２にて読み出される。可変長復号回路１２は、バッファ１１に蓄積されたビットストリームを読み出して可変長復号し、復号結果を逆ＤＣＴ回路１３に出力する。また可変長復号回路１２は、テンポラルレファレンスをＭ算出回路１８に与え、ピクチャタイプをこのデコーダ１全体及びＭ算出回路１８に与える。逆ＤＣＴ回路は、可変長復号回路１２にて復号された信号に対して逆ＤＣＴ変換を施して逆量子化回路１４に出力する。逆量子化回路１４は、逆ＤＣＴ回路１４にて逆ＤＣＴ変換された信号に対して逆量子化を行い加算器１５に出力する。加算回路１５は、逆量子化回路１４からの出力及び動き補償回路１８からの出力を加算し、その結果をピクチャ順序並べ替え回路１６及びフレームメモリ１７に出力する。
【０１１９】
また、デコーダ１は、加算回路１５からの信号を１フレーム蓄えるフレームメモリ１７と、フレームメモリからの画像に動き補償を施す動き補償回路１８と、加算回路１５からの信号についてピクチャを並び替えて出力するピクチャ並び替え回路１６とを有している。
【０１２０】
フレームメモリ１７は、１フレームの画像信号を記憶するメモリであり、ここでは加算回路１５からの出力を蓄え、動き補償回路１８にて読み出される。動き補償回路１８は、フレームメモリ１７に記憶された画像に対して動き補償を行い、動き補償された画像を加算回路１５に出力する。ピクチャ並べ替え回路は、加算回路１５からの信号に基づいて、ピクチャを所定順序に並び替えた出力画像を出力する。
【０１２１】
さらに、可変長復号回路１２から与えられるテンポラルレファレンス及びピクチャタイプに基づいてＭを算出するＭ算出回路１８と、Ｍ算出回路１８からのＭ及びピクチャ並べ替え回路１６からの出力画像に基づいてＭを調整した画像信号を多重化して出力するマルチプレクサ１９とを有している。
【０１２２】
Ｍ算出回路１８は、可変長復号回路１２から与えられるテンポラルレファレンス及びピクチャタイプに基づいてＭを算出し、算出したＭをマルチプレクサ１９に与える。マルチプレクサ１９では、Ｍ算出回路１８からのＭに応じて、ピクチャ並べ替え回路１６からの出力信号に埋め込みを行って出力する。この埋め込みとしては、例えば画像信号のブランキング部分に埋め込むことにより行う。
【０１２３】
エンコーダ２は、図９に示すように、入力画像を１フレーム単位で蓄えるフレームメモリ２１と、フレームメモリ２１からの画像を動き予測する動き予測する動き予測回路２２と、動き予測回路２２からの信号についてピクチャ順序並べ替えを行うピクチャ順序並べ替え回路２３と、ピクチャ順序並べ替え回路２３からの信号から動き舗装回路３３からの信号を減じる減算回路２４とを有している。
【０１２４】
フレームメモリ２１は入力信号を１フレーム毎に記憶し、動き予測回路２２はフレームメモリ２２から読みだしたピクチャについて動き予測を行い、ピクチャ並べ替え回路２３にピクチャを、動き補償回路３３に動きベクトル３３を出力する。ピクチャ並べ替え回路２３は動き予測回路２３からのピクチャに並べ替えを施し、減算回路２４に出力する。減算回路２４は、ピクチャ並べ替え回路２３からの出力から動き補償回路３３からの出力を減じてその結果をＤＣＴ回路２５に出力する。
【０１２５】
また、エンコーダ２は、減算回路２４からの信号にＤＣＴを施すＤＣＴ回路２５と、ＤＣＴ回路２５からの信号を量子化する量子化回路２６と、量子化回路からの信号を逆量子化する逆量子化回路２９と、逆量子化回路２９からの信号に逆ＤＣＴを施す逆ＤＣＴ回路３０と、逆ＤＣＴ回路３０からの信号及び動き補償回路３３からの信号を加算する加算回路３１と、加算回路３１からの出力をフレーム単位で蓄積するフレームメモリ３２と、フレームメモリ３２からの信号に動き補償を行う動き補償回路３３とを有している。
【０１２６】
ＤＣＴ回路２５は、減算回路２４からの出力にＤＣＴ変換を施して量子化回路２６に出力する。量子化回路２６は、ＤＣＴ回路２５からの出力に量子化を施してその結果を可変長符号化回路２７及び逆量子化回路２９に出力する。逆量子化回路２９は、量子化回路２６の出力に逆量子化を施して逆ＤＣＴ回路３０に出力する。逆ＤＣＴ回路３０は、逆量子化回路２９の出力に逆ＤＣＴ変換を施してその結果を加算回路３１に出力する。
【０１２７】
加算回路３１は、逆ＤＣＴ解度３０及び動き補償回路３３からの出力を加算し、その加算の結果をフレームメモリ３２に入力する。フレームメモリ３２は加算回路３１からの出力を１フレーム毎に記憶し、動き補償回路３３はフレームメモリ３２から読み出したピクチャに対して動き補償を施し、その結果を加算回路３１及び減算回路２４に出力する。
【０１２８】
さらに、エンコーダ２は、量子化回路２６からの信号を可変長符号化する可変長符号化回路２７と、可変長符号化回路２７からの信号を一時的に蓄積し、この蓄積されたビットストリームをビットストリームとして出力するバッファ２８とを有している。
【０１２９】
可変長符号化回路２７は、量子化回路２６からの出力に可変長符号化を施してバッファ２８に出力する。バッファ２８は、可変長符号化回路２７からの出力を一時的に記憶し、マルチプレクサ３７により読み出される。
【０１３０】
そして、エンコーダ２は、テンポラルレファレンス及び特徴点情報に基づいてＭを算出するＭ算出回路３６と、Ｍ算出回路３６からのＭ及びバッファ２８からのビットストリームを多重化するマルチプレクサ３７とを有している。
【０１３１】
Ｍ算出回路３６は、テンポラルレファレンス及び特徴点情報に基づいてＭを算出し、そのＭをマルチプレクサ３７に出力する。マルチプレクサ３７は、バッファ２８から読み出されたビットビットストリームについて、Ｍ算出回路３６からのＭを埋め込んで出力する。
【０１３２】
なお、本発明に係る動画像符号化装置及び方法は、上述のようなＩピクチャ、Ｐピクチャ及びＢピクチャからなるＭＰＥＧ２規格の画像信号には限定されず、表示順序に従って後方を参照することなく復号する第１の符号化画像及び表示順序に従って後方を参照して復号する第２の符号化画像から構成される画像信号に適用することができる。
【０１３３】
また、上述のデコーダにおいてはＭ算出回路にて算出したＭを画像信号に埋め込んだが、エンコーダにおいてはＭ算出回路にて算出してＭをビットストリームに埋め込んだが、本発明はこれに限定されない。例えば、算出したＭは別ファイルとして用意したり、メモリインカセットに記録することもできる。
【０１３４】
【発明の効果】
上述したように、本発明に係る動画像符号化装置は、ＭＰＥＧビデオビットストリームを復号して、その復号動画像を再びＭＰＥＧ符号化する場合に、上記ＭＰＥＧ符号化を行うエンコーダへ動画像信号が入力されてからビットストリームが出力されるまでの遅延量の決定、およびエンコーダに必要なフレームメモリ量の決定、および、およびピクチャの画像間予測符号化方法の制御に役立つ。
【０１３５】
また、本発明に係る動画像符号化方法は、ＭＰＥＧビデオビットストリームを復号して、その復号動画像を再びＭＰＥＧ符号化する場合に、上記ＭＰＥＧ符号化を行うエンコーダへ動画像信号が入力されてからビットストリームが出力されるまでの遅延量の決定、およびエンコーダに必要なフレームメモリ量の決定、および、およびピクチャの画像間予測符号化方法の制御に役立つ。
【０１３６】
上述したように、本発明に係る記録媒体は、第１の符号化画像の間隔が所定の基準値を越えないように画像信号が符号化されたビットストリームが記録されてなるので、上記間隔が標準値の装置に対しても適合する。
【図面の簡単な説明】
【図１】動画像符号化装置の第１の例のブロック図である。
【図２】動画像符号化装置の第２の例を示すブロック図である。
【図３】動画像符号化方法の一連の工程を示すフローチャートである。
【図４】動画像符号化装置の第３の例を示すブロック図である。
【図５】動画像符号化装置の第４の例を示すブロック図である。
【図６】動画像符号化装置の第５の例を示すブロック図である。
【図７】動画像符号化方法の一連の工程を示すフローチャートである。
【図８】デコーダの構造を概略的に示すブロック図である。
【図９】エンコーダの構造を概略的に示すブロック図である。
【図１０】符号化された各ピクチャを説明する図である。
【図１１】従来の動画像符号化装置の第１の例を示す図である。
【図１２】従来の動画像符号化装置の第２の例を示す図である。
【符号の説明】
１ デコーダ、２ エンコーダ、３ 分離器、７ 多重化器、１０ 記録媒体
Claims (18)
- 表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームを復号した画像信号並びに上記ビットストリームにおける画像が上記第１の符号化画像又は上記第２の符号化画像のいずれであるかを区別する画像符号化型を入力される動画像符号化装置であって、
上記ビットストリームにおける各符号化画像の符号化型と一致するように上記画像符号化型に基づいて上記画像信号を上記第１の符号化画像及び第２の符号化画像からなるビットストリームに符号化する際に、上記第１の符号化画像信号の間隔が基準値を越えるとき、直前の上記第１の符号化画像信号から上記基準値の範囲内の位置の上記第２の符号化画像を上記第１の符号化画像に変更して符号化する符号化手段
を有することを特徴とする動画像符号化装置。 - 表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームを画像信号に復号すると共に、上記ビットストリームにおける画像が上記第１の符号化画像又は第２の符号化画像のいずれであるかを区別する画像符号化型を取り出す復号手段を有し、
上記符号化手段は上記復号手段からの画像信号及び画像符号化型に基づいて上記画像信号をビットストリームに符号化すること
を特徴とする請求項１記載の動画像符号化装置。 - 上記第１の符号化画像は画像内符号化画像及び表示順序に従った順方向予測符号化画像であり、上記第２の符号化画像は表示順序に従った双方向予測符号化画像であり、上記画像符号化型はピクチャコーディングタイプであることを特徴とする請求項１記載の動画像符号化装置。
- 表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームを復号した画像信号並びに上記ビットストリームにおける画像が上記第１の符号化画像又は上記第２の符号化画像のいずれであるかを区別する画像符号化型を入力される動画像符号化方法であって、
上記ビットストリームにおける各符号化画像の符号化型と一致するように上記画像符号化型に基づいて上記画像信号を上記第１の符号化画像及び第２の符号化画像からなるビットストリームに符号化する際に、上記第１の符号化画像信号の間隔が基準値を越えるとき、直前の上記第１の符号化画像信号から上記基準値の範囲内の位置の上記第２の符号化画像を上記第１の符号化画像に変更して符号化する符号化工程
を有することを特徴とする動画像符号化方法。 - 表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームであって、このビットストリームにおける上記第１の符号化画像の間隔の最大値を特徴点情報として有するビットストリームを復号した画像信号及び上記特徴点情報並びに上記ビットストリームにおける画像が上記第１の符号化画像又は上記第２の符号化画像のいずれであるかを区別する画像符号化型を入力される動画像符号化装置であって、
上記ビットストリームにおける符号化画像の符号化型と一致するように上記画像符号化型に基づいて上記画像信号を上記第１の符号化画像及び第２の符号化画像からなるビットストリームに符号化する符号化手段を有し、
上記符号化手段は、上記画像信号が入力されてから上記ビットストリームが出力されるまでの遅延量や符号化に必要なメモリ量を、上記特徴点情報の上記最大値に対応させて制御すること
を特徴とする動画像符号化装置。 - 表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームであって、このビットストリームにおける上記第１の符号化画像の間隔の最大値を特徴点情報として有するビットストリームを復号して画像信号及び特徴点情報とすると共に、上記ビットストリームにおける画像が上記第１の符号化画像又は第２の符号化画像のいずれであるかを区別する画像符号化型を取り出す復号手段を有し、
上記符号化手段は上記復号手段からの画像信号及び特徴点情報並びに画像符号化型に基づいて上記画像信号をビットストリームに符号化すること
を特徴とする請求項５記載の動画像符号化装置。 - 上記第１の符号化画像は画像内符号化画像及び表示順序に従った順方向予測符号化画像であり、上記第２の符号化画像は表示順序に従った双方向予測符号化画像であり、上記画像符号化型はピクチャコーディングタイプであることを特徴とする請求項５記載の動画像符号化装置。
- 表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームであって、このビットストリームにおける上記第１の符号化画像の間隔の最大値を特徴点情報として有するビットストリームを復号した画像信号及び上記特徴点情報並びに上記ビットストリームにおける画像が上記第１の符号化画像又は上記第２の符号化画像のいずれであるかを区別する画像符号化型を入力される動画像符号化方法であって、
上記ビットストリームにおける符号化画像の符号化型と一致するように上記画像符号化型に基づいて上記画像信号を上記第１の符号化画像及び第２の符号化画像からなるビットストリームに符号化する符号化工程を有し、
上記符号化工程では、上記画像信号が入力されてから上記ビットストリームが出力されるまでの遅延量や符号化に必要なメモリ量を、上記特徴点情報の上記最大値に対応させて制御すること
を特徴とする動画像符号化方法。 - 表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームを復号した画像信号並びに上記ビットストリームにおける画像が上記第１の符号化画像又は上記第２の符号化画像のいずれであるかを区別する画像符号化型を符号化したビットストリームを出力する動画像符号化方法であって、
上記ビットストリームにおける符号化画像の符号化型と一致するように上記画像符号化型に基づいて上記画像信号を上記第１の符号化画像及び第２の符号化画像からなるビットストリームに符号化すると共に、上記第１の符号化画像信号の間隔の最大値を特徴点情報として符号化する符号化工程
を有することを特徴とする動画像符号化方法。 - 表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームを入力される動画像復号装置であって、
上記ビットストリームを画像信号に復号する復号手段と、
上記ビットストリームにおける上記第１の符号化画像の間隔の最大値を特徴点情報として出力する特徴点情報出力手段と
を有することを特徴とする動画像復号装置。 - 上記第１の符号化画像は画像内符号化画像及び表示順序に従った順方向符号化画像であり、上記第２の符号化画像は表示順序に従った双方向予測符号化画像であることを特徴とする請求項１０記載の動画像復号装置。
- 上記特徴点情報は、画像信号に多重化してあることを特徴とする請求項１０の動画像復号装置。
- 上記第１の符号化画像又は上記第２の符号化画像のいずれであるかを区別する符号化型は、上記画像信号の垂直ブランキングに記録されることを特徴とする請求項１２記載の動画像復号装置。
- 表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームを入力される動画像復号方法であって、
上記ビットストリームを画像信号に復号する復号工程と、
上記ビットストリームにおける上記第１の符号化画像の間隔の最大値を特徴点情報として出力する特徴点情報出力工程と
を有することを特徴とする動画像復号方法。 - 表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームを入力される動画像復号装置であって、
上記ビットストリームを画像信号に復号する復号手段と、
上記復号手段にて上記ビットストリームを復号する際に、復号に係る当該画像から表示順序に次の第１の符号化画像までの距離を特徴点情報として出力する特徴点情報手段と
を有することを特徴とする動画像復号装置。 - 上記第１の符号化画像は画像内符号化画像及び表示順序に従った順方向符号化画像であり、上記第２の符号化画像は表示順序に従った双方向予測符号化画像であることを特徴とする請求項１５記載の動画像復号装置。
- 上記第１の符号化画像又は上記第２の符号化画像のいずれであるかを区別する符号化型は、上記画像信号の垂直ブランキングに記録されることを特徴とする請求項１５記載の動画像復号装置。
- 表示順序に従った後方を参照することなく復号される第１の符号化画像及び表示順序に従った後方を参照して復号される第２の符号化画像からなるビットストリームを入力される動画像復号方法であって、
上記ビットストリームを画像信号に復号する復号工程と、
上記ビットストリームにおける上記第１の符号化画像の間隔の最大値を特徴点情報として出力する特徴点情報出力工程と
を有することを特徴とする動画像復号方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03628898A JP4193224B2 (ja) | 1998-02-18 | 1998-02-18 | 動画像符号化装置及び方法並びに動画像復号装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03628898A JP4193224B2 (ja) | 1998-02-18 | 1998-02-18 | 動画像符号化装置及び方法並びに動画像復号装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11234675A JPH11234675A (ja) | 1999-08-27 |
| JP4193224B2 true JP4193224B2 (ja) | 2008-12-10 |
Family
ID=12465616
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03628898A Expired - Lifetime JP4193224B2 (ja) | 1998-02-18 | 1998-02-18 | 動画像符号化装置及び方法並びに動画像復号装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4193224B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW200845724A (en) | 2004-06-02 | 2008-11-16 | Matsushita Electric Ind Co Ltd | Multiplexing apparatus and demultiplexing apparatus |
| JP5188033B2 (ja) * | 2006-04-24 | 2013-04-24 | 株式会社日立製作所 | 記録再生装置、送出装置及び伝送システム。 |
| WO2012115434A2 (ko) * | 2011-02-21 | 2012-08-30 | 한국전자통신연구원 | 복수 참조 영상을 이용한 영상 부복호화 방법 및 이러한 방법을 사용하는 장치 |
-
1998
- 1998-02-18 JP JP03628898A patent/JP4193224B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11234675A (ja) | 1999-08-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100272817B1 (ko) | 동화상 복호화 장치 | |
| KR100571307B1 (ko) | 코딩 시스템 및 방법, 부호화 장치 및 방법, 복호화 장치및 방법, 기록 장치 및 방법, 및 재생 장치 및 방법 | |
| KR100766740B1 (ko) | 부호화 히스토리 정보를 이용하는 데이터 변환 장치 및 방법 | |
| KR100604631B1 (ko) | 편집 장치, 편집 방법, 재부호화 장치, 재부호화 방법,스플라이싱 장치 및 스플라이싱 방법 | |
| US5786858A (en) | Method of encoding image signal, apparatus for encoding image signal, method of decoding image signal, apparatus for decoding image signal, and image signal recording medium | |
| CN100521791C (zh) | 图像处理设备和图像处理方法 | |
| JP2000278692A (ja) | 圧縮データ処理方法及び処理装置並びに記録再生システム | |
| JP2001285861A (ja) | 画像信号符号化装置 | |
| KR100826751B1 (ko) | 화상 정보의 전송 장치, 전송 시스템, 및 전송 방법 | |
| JP2002199392A (ja) | 映像符号化方法および装置 | |
| KR100860661B1 (ko) | 화상 재생 방법과 화상 처리 방법, 및 이들 방법을 이용가능한 화상 재생 장치, 화상 처리 장치, 텔레비전 수상기 | |
| JP3487205B2 (ja) | 画像データ編集装置 | |
| JP4193224B2 (ja) | 動画像符号化装置及び方法並びに動画像復号装置及び方法 | |
| JPH08251582A (ja) | 符号化データ編集装置 | |
| JP3748234B2 (ja) | Ｍｐｅｇデータ記録方法 | |
| JP2008042660A (ja) | 映像信号再符号化装置及び映像信号再符号化方法 | |
| JP4178521B2 (ja) | 符号化映像信号の記録方法、及び映像信号符号化装置 | |
| JP4462559B2 (ja) | トリック再生用コンテンツ作成方法および装置、トリック再生用圧縮動画データ送出方法および装置、およびトリック再生用コンテンツ作成用プログラム | |
| JP2004179683A (ja) | 画像記録方式 | |
| KR100252810B1 (ko) | 엠펙디코더 | |
| JP3748243B2 (ja) | Ｍｐｅｇデータ記録装置 | |
| JP3748244B2 (ja) | Ｍｐｅｇデータ記録装置 | |
| JP3748240B2 (ja) | Ｍｐｅｇデータ記録方法 | |
| JP3748241B2 (ja) | Ｍｐｅｇデータ記録方法 | |
| JP3748242B2 (ja) | Ｍｐｅｇデータ記録方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050215 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070718 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070731 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071001 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080115 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080317 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080902 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080915 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111003 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121003 Year of fee payment: 4 |