JP2003299103A - 動画像符号化方法と装置及び動画像復号化方法と装置 - Google Patents
動画像符号化方法と装置及び動画像復号化方法と装置Info
- Publication number
- JP2003299103A JP2003299103A JP2002097892A JP2002097892A JP2003299103A JP 2003299103 A JP2003299103 A JP 2003299103A JP 2002097892 A JP2002097892 A JP 2002097892A JP 2002097892 A JP2002097892 A JP 2002097892A JP 2003299103 A JP2003299103 A JP 2003299103A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- prediction
- coding
- encoding
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【課題】動き補償予測フレーム間符号化を用いた動画像
の符号化及び復号化において、符号化効率が高く、また
復号化側でより自由度の高い早送り再生を可能とする。 【解決手段】符号化対象フレームを複数の参照フレーム
がそれぞれ属する複数階層の予測グループのうちの何れ
かの階層の予測グループに振り分け(S11)、符号化
対象フレームが振り分けられた階層以下の少なくとも一
つの階層の予測グループに属する参照フレームを用いて
動き補償予測フレーム間符号化を行い(S12)、符号
化対象フレームが振り分けられた階層の予測グループを
示す第1の識別情報及び動き補償予測フレーム間符号化
に使用された参照フレームを示す第2の識別情報を、該
符号化対象フレームに対する動き補償予測フレーム間符
号化の結果と共に符号化データとして出力する(S14
〜S15)。
の符号化及び復号化において、符号化効率が高く、また
復号化側でより自由度の高い早送り再生を可能とする。 【解決手段】符号化対象フレームを複数の参照フレーム
がそれぞれ属する複数階層の予測グループのうちの何れ
かの階層の予測グループに振り分け(S11)、符号化
対象フレームが振り分けられた階層以下の少なくとも一
つの階層の予測グループに属する参照フレームを用いて
動き補償予測フレーム間符号化を行い(S12)、符号
化対象フレームが振り分けられた階層の予測グループを
示す第1の識別情報及び動き補償予測フレーム間符号化
に使用された参照フレームを示す第2の識別情報を、該
符号化対象フレームに対する動き補償予測フレーム間符
号化の結果と共に符号化データとして出力する(S14
〜S15)。
Description
【0001】
【発明の属する技術の分野】本発明は、動き補償予測フ
レーム間符号化を用いた動画像符号化方法と装置及び動
画像復号化方法と装置に関する。
レーム間符号化を用いた動画像符号化方法と装置及び動
画像復号化方法と装置に関する。
【0002】
【従来の技術】動画像の圧縮符号化技術として、MPE
G1(ISO/IEC11172-2),MPEG2(ISO/IEC13818-2),
MPEG4(ISO/IEC14496-2)などが広く実用化されてい
る。これらの動画像符号化方式では、フレーム内符号化
(イントラ符号化)、前方予測フレーム間符号化及び両
方向予測フレーム間符号化の組み合わせによる符号化が
行われ、これらの符号化モードで符号化されるフレーム
はそれぞれIピクチャ、Pピクチャ及びBピクチャと呼
ばれる。Pピクチャは直前のPまたはIピクチャを参照
フレームとして符号化され、Bピクチャは直前及び直後
のPまたはIピクチャを参照フレームとして符号化され
る。前方予測フレーム間符号化及び両方向予測フレーム
間符号化は、動き補償予測フレーム間符号化と呼ばれ
る。
G1(ISO/IEC11172-2),MPEG2(ISO/IEC13818-2),
MPEG4(ISO/IEC14496-2)などが広く実用化されてい
る。これらの動画像符号化方式では、フレーム内符号化
(イントラ符号化)、前方予測フレーム間符号化及び両
方向予測フレーム間符号化の組み合わせによる符号化が
行われ、これらの符号化モードで符号化されるフレーム
はそれぞれIピクチャ、Pピクチャ及びBピクチャと呼
ばれる。Pピクチャは直前のPまたはIピクチャを参照
フレームとして符号化され、Bピクチャは直前及び直後
のPまたはIピクチャを参照フレームとして符号化され
る。前方予測フレーム間符号化及び両方向予測フレーム
間符号化は、動き補償予測フレーム間符号化と呼ばれ
る。
【0003】MPEG方式による動画像の符号化データ
を早送り再生する場合は、参照フレームを必要としない
Iピクチャのみを再生するか、あるいはBピクチャが参
照フレームとして用いられないという性質を利用し、B
ピクチャを飛ばしてIピクチャ及びPピクチャのみを復
号化する方法が一般的である。しかし、Iピクチャのみ
を再生する場合、Iピクチャの周期が長いと、高速な早
送りは実現できるものの、滑らかな早送り再生が出来な
い。Iピクチャ及びPピクチャを用いた早送りでは、P
ピクチャにフレーム間予測符号化が用いられているた
め、全てのIピクチャ及びPピクチャの復号化を行う必
要があり、早送り速度を自由に変更することが困難とな
る。
を早送り再生する場合は、参照フレームを必要としない
Iピクチャのみを再生するか、あるいはBピクチャが参
照フレームとして用いられないという性質を利用し、B
ピクチャを飛ばしてIピクチャ及びPピクチャのみを復
号化する方法が一般的である。しかし、Iピクチャのみ
を再生する場合、Iピクチャの周期が長いと、高速な早
送りは実現できるものの、滑らかな早送り再生が出来な
い。Iピクチャ及びPピクチャを用いた早送りでは、P
ピクチャにフレーム間予測符号化が用いられているた
め、全てのIピクチャ及びPピクチャの復号化を行う必
要があり、早送り速度を自由に変更することが困難とな
る。
【0004】また、従来のMPEG方式の動画像符号化
では、Bピクチャは参照フレームとして用いられないた
め、複数のBピクチャが連続する予測構造の場合、Bピ
クチャの符号化において時間的に離れたPピクチャを参
照フレームとせざるを得ず、Bピクチャの符号化効率が
低下するという問題がある。一方、復号化されたBピク
チャをPピクチャにおける参照フレームとして用いる構
成とすると、上述のBピクチャを飛ばした早送り再生時
にも、Bピクチャを含む全てのフレームを復号化するこ
とが必要となり、効率的に早送り再生を行うことが困難
となる。
では、Bピクチャは参照フレームとして用いられないた
め、複数のBピクチャが連続する予測構造の場合、Bピ
クチャの符号化において時間的に離れたPピクチャを参
照フレームとせざるを得ず、Bピクチャの符号化効率が
低下するという問題がある。一方、復号化されたBピク
チャをPピクチャにおける参照フレームとして用いる構
成とすると、上述のBピクチャを飛ばした早送り再生時
にも、Bピクチャを含む全てのフレームを復号化するこ
とが必要となり、効率的に早送り再生を行うことが困難
となる。
【0005】
【発明が解決しようとする課題】上述したように、MP
EGのように動き補償予測フレーム間符号化を含む符号
化によって得られた動画像符号化データについて早送り
再生を行う場合、Iピクチャのみを再生すると滑らかな
早送りを自由な再生速度で行うことが難しく、またBピ
クチャを復号化せずにスキップした早送り再生を行う場
合は、復号化されたBピクチャを参照フレームとして用
いることが困難であり、Bピクチャが連続した予測構造
では、符号化効率が低下するという問題があった。
EGのように動き補償予測フレーム間符号化を含む符号
化によって得られた動画像符号化データについて早送り
再生を行う場合、Iピクチャのみを再生すると滑らかな
早送りを自由な再生速度で行うことが難しく、またBピ
クチャを復号化せずにスキップした早送り再生を行う場
合は、復号化されたBピクチャを参照フレームとして用
いることが困難であり、Bピクチャが連続した予測構造
では、符号化効率が低下するという問題があった。
【0006】本発明の目的は、動き補償予測フレーム間
符号化を用いた動画像の符号化及び復号化において、符
号化効率が高く、また復号化側でより自由度の高い早送
り再生を可能とすることにある。
符号化を用いた動画像の符号化及び復号化において、符
号化効率が高く、また復号化側でより自由度の高い早送
り再生を可能とすることにある。
【0007】
【課題を解決するための手段】上記の課題を解決するた
め、本発明は動画像の符号化対象フレームに対して、少
なくとも一つの復号化済みフレームを参照フレームとし
て用いる動き補償予測フレーム間符号化を含む符号化処
理を行う動画像符号化において、フレーム間予測構造を
複数の階層化された予測グループ構造とし、符号化対象
フレームを複数の参照フレームがそれぞれ属する複数階
層の予測グループのうちの何れかの階層の予測グループ
に振り分け、符号化対象フレームが振り分けられた階層
以下の少なくとも一つの階層の予測グループに属する参
照フレームを用いて動き補償予測フレーム間符号化を行
う。
め、本発明は動画像の符号化対象フレームに対して、少
なくとも一つの復号化済みフレームを参照フレームとし
て用いる動き補償予測フレーム間符号化を含む符号化処
理を行う動画像符号化において、フレーム間予測構造を
複数の階層化された予測グループ構造とし、符号化対象
フレームを複数の参照フレームがそれぞれ属する複数階
層の予測グループのうちの何れかの階層の予測グループ
に振り分け、符号化対象フレームが振り分けられた階層
以下の少なくとも一つの階層の予測グループに属する参
照フレームを用いて動き補償予測フレーム間符号化を行
う。
【0008】また、符号化対象フレームが振り分けられ
た階層の予測グループを示す第1の識別情報及び動き補
償予測フレーム間符号化に使用された参照フレームを示
す第2の識別情報を、該符号化対象フレームに対する動
き補償予測フレーム間符号化の結果と共に符号化データ
として出力する。
た階層の予測グループを示す第1の識別情報及び動き補
償予測フレーム間符号化に使用された参照フレームを示
す第2の識別情報を、該符号化対象フレームに対する動
き補償予測フレーム間符号化の結果と共に符号化データ
として出力する。
【0009】一方、動画像の符号化対象フレームに対し
て動き補償予測フレーム間符号化を含む符号化処理を行
って得られた符号化データを復号化して動画像を再生す
る動画像復号化においては、符号化データに含まれる符
号化対象フレームが振り分けられた階層の予測グループ
を示す第1の識別情報及び動き補償予測フレーム間符号
化に使用された参照フレームを示す第2の識別情報を復
号化し、復号化された第1の識別情報及び第2の識別情
報に従って、符号化対象フレームが振り分けられた階層
の予測グループ又はそれより下位の階層の予測グループ
に属する少なくとも一つの参照フレームを選択し、選択
した参照フレームを用いて符号化データに含まれる動き
補償予測フレーム間符号化の結果を復号化する。
て動き補償予測フレーム間符号化を含む符号化処理を行
って得られた符号化データを復号化して動画像を再生す
る動画像復号化においては、符号化データに含まれる符
号化対象フレームが振り分けられた階層の予測グループ
を示す第1の識別情報及び動き補償予測フレーム間符号
化に使用された参照フレームを示す第2の識別情報を復
号化し、復号化された第1の識別情報及び第2の識別情
報に従って、符号化対象フレームが振り分けられた階層
の予測グループ又はそれより下位の階層の予測グループ
に属する少なくとも一つの参照フレームを選択し、選択
した参照フレームを用いて符号化データに含まれる動き
補償予測フレーム間符号化の結果を復号化する。
【0010】このように各階層の予測グループに振り分
けられた符号化対象フレームは、該階層以下の予測グル
ープに属する参照フレームを用いて動き補償予測フレー
ム間符号化が行われることにより、復号化に際しては上
位階層の予測グループに属する符号化対象フレームの符
号化結果を復号化することなしに、正常に復号化するこ
とが可能となる。従って、復号化する予測グループの最
上位階層を変化させることで、復号化されるフレーム数
を変化させることが可能となり、階層に応じて再生され
るフレームレートを可変としたり、あるいは復号化した
フレームの表示フレームレートを変更することで、速度
可変の早送り再生を行うことなどが容易に実現できる。
また、特定の階層以下の符号化データのみを選択して送
出することで、伝送帯域に応じたビットレート可変のス
トリーミングを行うことも可能となる。
けられた符号化対象フレームは、該階層以下の予測グル
ープに属する参照フレームを用いて動き補償予測フレー
ム間符号化が行われることにより、復号化に際しては上
位階層の予測グループに属する符号化対象フレームの符
号化結果を復号化することなしに、正常に復号化するこ
とが可能となる。従って、復号化する予測グループの最
上位階層を変化させることで、復号化されるフレーム数
を変化させることが可能となり、階層に応じて再生され
るフレームレートを可変としたり、あるいは復号化した
フレームの表示フレームレートを変更することで、速度
可変の早送り再生を行うことなどが容易に実現できる。
また、特定の階層以下の符号化データのみを選択して送
出することで、伝送帯域に応じたビットレート可変のス
トリーミングを行うことも可能となる。
【0011】この場合、複数階層の予測グループにそれ
ぞれ属する前記参照フレームの最大フレーム数を予め前
記予測グループ毎に個別に定めておき、この最大参照フ
レーム数に従って、各階層の予測グループの参照フレー
ムのメモリ管理を行うようにしてもよい。
ぞれ属する前記参照フレームの最大フレーム数を予め前
記予測グループ毎に個別に定めておき、この最大参照フ
レーム数に従って、各階層の予測グループの参照フレー
ムのメモリ管理を行うようにしてもよい。
【0012】このようにすると、復号化に必要となる参
照フレームの最大フレーム数を、復号化する最上位階層
の予測グループ以下の予測グループにおける最大参照フ
レーム数の総和から一意に決定できる。従って、動画像
復号化において限られたメモリ資源の中で、復号化可能
な予測グループの最上位階層が一意に求められ、また上
述したように復号化する予測グループの最上位階層を変
化させて早送り再生や伝送ビットレートを変更する際
に、復号化で用いる参照メモリの必要最小限の量を一意
に決定することができ、復号化時の必要最小限のメモリ
確保を容易に行うことか可能となる。
照フレームの最大フレーム数を、復号化する最上位階層
の予測グループ以下の予測グループにおける最大参照フ
レーム数の総和から一意に決定できる。従って、動画像
復号化において限られたメモリ資源の中で、復号化可能
な予測グループの最上位階層が一意に求められ、また上
述したように復号化する予測グループの最上位階層を変
化させて早送り再生や伝送ビットレートを変更する際
に、復号化で用いる参照メモリの必要最小限の量を一意
に決定することができ、復号化時の必要最小限のメモリ
確保を容易に行うことか可能となる。
【0013】さらに、複数階層の予測グループにそれぞ
れ属する参照フレームの最大フレーム数の総和を一定と
し、該最大フレーム数を示す情報を第1の識別情報と第
2の識別情報及び動き補償予測フレーム間符号化の結果
と共に符号化データとして出力し、各階層の予測グルー
プの参照フレームのメモリ管理を行うようにしてもよ
い。
れ属する参照フレームの最大フレーム数の総和を一定と
し、該最大フレーム数を示す情報を第1の識別情報と第
2の識別情報及び動き補償予測フレーム間符号化の結果
と共に符号化データとして出力し、各階層の予測グルー
プの参照フレームのメモリ管理を行うようにしてもよ
い。
【0014】このようにすると、総容量が固定の参照メ
モリを各階層の予測グループに動的に配分させることが
可能となるため、動画像信号の性質の変化に応じて各階
層の予測グループの参照メモリ数の比が最適になるよう
に動的にフレームメモリを配分することで、符号化効率
を向上させることが可能となる。また、総参照フレーム
数が一定であるため、符号化及び復号化に必要な参照フ
レーム数は常に固定量を確保すればよく、メモリ管理を
容易にすることができる。さらに、各階層の予測グルー
プに属する参照フレーム数を示す情報をヘッダ情報とし
て符号化することで、符号化側と復号化側で各階層の予
測グループの参照フレーム数を一致させることが可能と
なり、各階層の予測グループの動的な参照フレーム数の
変化が発生しても、破綻無く復号化することが可能とな
る。
モリを各階層の予測グループに動的に配分させることが
可能となるため、動画像信号の性質の変化に応じて各階
層の予測グループの参照メモリ数の比が最適になるよう
に動的にフレームメモリを配分することで、符号化効率
を向上させることが可能となる。また、総参照フレーム
数が一定であるため、符号化及び復号化に必要な参照フ
レーム数は常に固定量を確保すればよく、メモリ管理を
容易にすることができる。さらに、各階層の予測グルー
プに属する参照フレーム数を示す情報をヘッダ情報とし
て符号化することで、符号化側と復号化側で各階層の予
測グループの参照フレーム数を一致させることが可能と
なり、各階層の予測グループの動的な参照フレーム数の
変化が発生しても、破綻無く復号化することが可能とな
る。
【0015】さらに、符号化処理として符号化対象フレ
ームのフレーム毎にフレーム内符号化、前方予測フレー
ム間符号化及び両方向予測フレーム間符号化に切り替え
て行い、フレーム内符号化及び前方予測フレーム間符号
化を行う符号化対象フレーム及び該符号化対象フレーム
に対応する参照フレームを第1階層の予測グループに振
り分け、両方向予測フレーム間符号化を行う符号化対象
フレーム及び該符号化対象フレームに対応する参照フレ
ームを該第1階層よりも上位の第2階層の予測グループ
に振り分けるようにしてもよい。
ームのフレーム毎にフレーム内符号化、前方予測フレー
ム間符号化及び両方向予測フレーム間符号化に切り替え
て行い、フレーム内符号化及び前方予測フレーム間符号
化を行う符号化対象フレーム及び該符号化対象フレーム
に対応する参照フレームを第1階層の予測グループに振
り分け、両方向予測フレーム間符号化を行う符号化対象
フレーム及び該符号化対象フレームに対応する参照フレ
ームを該第1階層よりも上位の第2階層の予測グループ
に振り分けるようにしてもよい。
【0016】このようにすると、従来のMPEG等の符
号化と同様に、Iピクチャのみ、あるいはIピクチャ及
びPピクチャのみを復号化する早送り再生を、Bピクチ
ャを復号化すること無しに行うことが可能となる。さら
に、Bピクチャにおいては復号化されたIピクチャまた
はPピクチャに加えて、さらに1つまたは複数の復号化
されたBピクチャも参照フレームとして用いることが可
能となり、Bピクチャの予測効率を従来よりも改善する
ことが可能となる。
号化と同様に、Iピクチャのみ、あるいはIピクチャ及
びPピクチャのみを復号化する早送り再生を、Bピクチ
ャを復号化すること無しに行うことが可能となる。さら
に、Bピクチャにおいては復号化されたIピクチャまた
はPピクチャに加えて、さらに1つまたは複数の復号化
されたBピクチャも参照フレームとして用いることが可
能となり、Bピクチャの予測効率を従来よりも改善する
ことが可能となる。
【0017】さらに、本発明によると上述した動画像符
号化及び動画像復号化の処理をコンピュータに行わせる
ためのプログラムを提供することができる。
号化及び動画像復号化の処理をコンピュータに行わせる
ためのプログラムを提供することができる。
【0018】
【発明の実施の形態】以下、図面を参照して本発明の一
実施形態について説明する。 (符号化側について)図1は、本実施形態に係る動画像
符号化装置の構成を示すブロック図である。図2は、動
き補償予測フレーム間符号化に関する概略的な手順を示
すフローチャートである。図1に示す動画像符号化装置
は、ハードウェアで実現してもよいし、コンピュータを
用いてソフトウェアにより実行してもよい。一部の処理
をハードウェアで実現し、他の処理をソフトウェアによ
り行ってもよい。
実施形態について説明する。 (符号化側について)図1は、本実施形態に係る動画像
符号化装置の構成を示すブロック図である。図2は、動
き補償予測フレーム間符号化に関する概略的な手順を示
すフローチャートである。図1に示す動画像符号化装置
は、ハードウェアで実現してもよいし、コンピュータを
用いてソフトウェアにより実行してもよい。一部の処理
をハードウェアで実現し、他の処理をソフトウェアによ
り行ってもよい。
【0019】本実施形態は、従来のMPEG方式に代表
されるような、動き補償予測と直交変換及び可変長符号
化を組み合わせた動画像符号化をベースとしている。以
下の説明では、予測グループが2階層の場合について説
明する。
されるような、動き補償予測と直交変換及び可変長符号
化を組み合わせた動画像符号化をベースとしている。以
下の説明では、予測グループが2階層の場合について説
明する。
【0020】フレーム毎に入力される動画像信号100
(符号化対象フレーム)は、まず動き補償予測器111
によって2階層の予測グループのうちの何れかの階層の
予測グループに振り分けられる(ステップS11)。次
に、符号化対象フレームが振り分けられた階層以下の少
なくとも一つの階層の予測グループに属する少なくとも
一つの参照フレームとして動き補償予測フレーム間符号
化が行われる(ステップS12)。
(符号化対象フレーム)は、まず動き補償予測器111
によって2階層の予測グループのうちの何れかの階層の
予測グループに振り分けられる(ステップS11)。次
に、符号化対象フレームが振り分けられた階層以下の少
なくとも一つの階層の予測グループに属する少なくとも
一つの参照フレームとして動き補償予測フレーム間符号
化が行われる(ステップS12)。
【0021】各階層の予測グループに対する符号化対象
フレームの振り分けは、例えば偶数フレームは第1階層
の予測グループ、奇数フレームは第2階層の予測グルー
プといったように、時間方向で変化するように行われ
る。各階層の予測グループに属する参照フレームも、参
照フレームとなる符号化済みフレームの元となった符号
化対象フレームが属する予測グループに応じて決定され
る。すなわち、ある符号化対象フレームがある階層の予
測グループに振り分けられるとすると、その符号化対象
フレームを符号化し局部復号化して得られた符号化済み
フレームも、同じ階層の予測グループに属する。ステッ
プS11〜S12の処理は、具体的には次のようにして
行われる。
フレームの振り分けは、例えば偶数フレームは第1階層
の予測グループ、奇数フレームは第2階層の予測グルー
プといったように、時間方向で変化するように行われ
る。各階層の予測グループに属する参照フレームも、参
照フレームとなる符号化済みフレームの元となった符号
化対象フレームが属する予測グループに応じて決定され
る。すなわち、ある符号化対象フレームがある階層の予
測グループに振り分けられるとすると、その符号化対象
フレームを符号化し局部復号化して得られた符号化済み
フレームも、同じ階層の予測グループに属する。ステッ
プS11〜S12の処理は、具体的には次のようにして
行われる。
【0022】上述のように第1階層及び第2階層の予測
グループには、予め複数の符号化済みフレームが参照フ
レームとして属している。符号化済みフレームを参照フ
レームとして一時保存するために、二組の参照メモリセ
ット118,119が用意されている。第1の参照メモ
リセット118には、既に符号化され且つ復号化された
複数の動画像フレーム(これらを符号化済みフレームと
いう)のうち、第1階層の予測グループに属する複数の
符号化済みフレームが参照フレームとして一時保存され
ている。第2の参照メモリセット119には、複数の符
号化済みフレームのうち、第2階層の予測グループに属
する複数の符号化済みフレームが参照フレームとして一
時保存されている。
グループには、予め複数の符号化済みフレームが参照フ
レームとして属している。符号化済みフレームを参照フ
レームとして一時保存するために、二組の参照メモリセ
ット118,119が用意されている。第1の参照メモ
リセット118には、既に符号化され且つ復号化された
複数の動画像フレーム(これらを符号化済みフレームと
いう)のうち、第1階層の予測グループに属する複数の
符号化済みフレームが参照フレームとして一時保存され
ている。第2の参照メモリセット119には、複数の符
号化済みフレームのうち、第2階層の予測グループに属
する複数の符号化済みフレームが参照フレームとして一
時保存されている。
【0023】第1階層の予測グループに振り分けられた
符号化対象フレームは、第1の参照メモリセット118
に保存されている、第1階層の予測グループに属する参
照フレームを用いて動き補償予測フレーム間符号化が行
われる。一方、第2階層の予測グループに振り分けられ
た符号化対象フレームは、第1及び第2の参照メモリセ
ット118,119に保存されている、第1及び第2階
層の予測グループ両方に属する参照フレームを用いて動
き補償予測フレーム間符号化が行われる。
符号化対象フレームは、第1の参照メモリセット118
に保存されている、第1階層の予測グループに属する参
照フレームを用いて動き補償予測フレーム間符号化が行
われる。一方、第2階層の予測グループに振り分けられ
た符号化対象フレームは、第1及び第2の参照メモリセ
ット118,119に保存されている、第1及び第2階
層の予測グループ両方に属する参照フレームを用いて動
き補償予測フレーム間符号化が行われる。
【0024】動き補償予測フレーム符号化について具体
的に説明すると、まず入力動画像信号100である符号
化対象フレームが第1階層の予測グループに属する場
合、第1の参照メモリセット118に一時保存されてい
る一つまたは複数の参照フレームが読み出され、動き補
償予測器111に入力される。このときスイッチ120
はオフ状態にあり、第1の参照メモリセット119から
の参照フレームは動き補償予測器111に入力されな
い。動き補償予測器111では、第1の参照メモリセッ
ト118から読み出される一つまたは複数の参照フレー
ムを用いて動き補償予測が行われることにより、予測画
像信号104が生成される。予測画像信号104は減算
器110に入力され、ここで入力動画像信号100に対
する予測画像信号104の誤差信号である予測誤差信号
101が生成される。
的に説明すると、まず入力動画像信号100である符号
化対象フレームが第1階層の予測グループに属する場
合、第1の参照メモリセット118に一時保存されてい
る一つまたは複数の参照フレームが読み出され、動き補
償予測器111に入力される。このときスイッチ120
はオフ状態にあり、第1の参照メモリセット119から
の参照フレームは動き補償予測器111に入力されな
い。動き補償予測器111では、第1の参照メモリセッ
ト118から読み出される一つまたは複数の参照フレー
ムを用いて動き補償予測が行われることにより、予測画
像信号104が生成される。予測画像信号104は減算
器110に入力され、ここで入力動画像信号100に対
する予測画像信号104の誤差信号である予測誤差信号
101が生成される。
【0025】入力動画像信号100である符号化対象フ
レームが第2階層の予測グループに属する場合、スイッ
チ120はオン状態にあり、第1の参照メモリセット1
18及び第2の参照メモリセット119に一時保存され
ている一つまたは複数の参照フレームが読み出され、動
き補償予測器111に入力されることにより、上記と同
様に動き補償予測器111により予測画像信号104が
生成され、さらに減算器110によって予測誤差信号1
01が生成される。
レームが第2階層の予測グループに属する場合、スイッ
チ120はオン状態にあり、第1の参照メモリセット1
18及び第2の参照メモリセット119に一時保存され
ている一つまたは複数の参照フレームが読み出され、動
き補償予測器111に入力されることにより、上記と同
様に動き補償予測器111により予測画像信号104が
生成され、さらに減算器110によって予測誤差信号1
01が生成される。
【0026】予測誤差信号101は、DCT変換器11
2により離散コサイン変換され、これによって得られた
DCT係数が量子化器113により量子化される。量子
化されたDCT係数データ102は二分岐され、一方に
おいて可変長符号化器114により符号化される。量子
化され二分岐されたDCT係数データ102は、他方に
おいて逆量子化器115及び逆DCT変換器116を経
て予測誤差信号として再生される。この再生された予測
誤差信号が予測画像信号104と加算されることによ
り、局部復号化画像信号103が生成される。
2により離散コサイン変換され、これによって得られた
DCT係数が量子化器113により量子化される。量子
化されたDCT係数データ102は二分岐され、一方に
おいて可変長符号化器114により符号化される。量子
化され二分岐されたDCT係数データ102は、他方に
おいて逆量子化器115及び逆DCT変換器116を経
て予測誤差信号として再生される。この再生された予測
誤差信号が予測画像信号104と加算されることによ
り、局部復号化画像信号103が生成される。
【0027】局部復号化画像信号103である符号化済
みフレームは、該符号化済みフレームの元となった入力
動画像信号100である符号化対象フレームに振り分け
られた階層の予測グループに応じて第1及び第2の参照
メモリセット118,119のいずれかに一時保存され
る(ステップS13)。すなわち、符号化済みフレーム
は該符号化済みフレームの元となった符号化対象フレー
ムが第1階層の予測グループに属する場合には、第1の
参照メモリセット118に一時保存され、該符号化対象
フレームが第2階層の予測グループに属する場合には、
第2の参照メモリセット119に一時保存される。
みフレームは、該符号化済みフレームの元となった入力
動画像信号100である符号化対象フレームに振り分け
られた階層の予測グループに応じて第1及び第2の参照
メモリセット118,119のいずれかに一時保存され
る(ステップS13)。すなわち、符号化済みフレーム
は該符号化済みフレームの元となった符号化対象フレー
ムが第1階層の予測グループに属する場合には、第1の
参照メモリセット118に一時保存され、該符号化対象
フレームが第2階層の予測グループに属する場合には、
第2の参照メモリセット119に一時保存される。
【0028】動き補償予測器111からは、動き補償予
測のために用いた動きベクトルと、符号化対象フレーム
が所属する予測グループを識別するインデックス(第1
の識別情報)、及び動き補償予測フレーム間符号化に使
用した参照フレームを特定するインデックス(第2の識
別情報)を含むいわゆるサイド情報105が出力され、
可変長符号化器114によって符号化される(ステップ
S14)。この場合、予測グループを識別するインデッ
クスは、例えば予測構造を表すピクチャタイプとして符
号化され、参照フレームを特定するインデックスはマク
ロブロック毎に符号化される。
測のために用いた動きベクトルと、符号化対象フレーム
が所属する予測グループを識別するインデックス(第1
の識別情報)、及び動き補償予測フレーム間符号化に使
用した参照フレームを特定するインデックス(第2の識
別情報)を含むいわゆるサイド情報105が出力され、
可変長符号化器114によって符号化される(ステップ
S14)。この場合、予測グループを識別するインデッ
クスは、例えば予測構造を表すピクチャタイプとして符
号化され、参照フレームを特定するインデックスはマク
ロブロック毎に符号化される。
【0029】これらのサイド情報は、動き補償予測フレ
ーム間符号化の結果である量子化されたDCT係数デー
タと共に可変長符号の符号化データ106として出力さ
れる(ステップS15)。例えば、サイド情報は符号化
データ106にヘッダ情報として符号化される。さら
に、各階層の予測グループに属する参照フレーム数の総
和を予め規定して、各階層の予測グループに割り当てる
参照フレームの最大フレーム数を設定する後述の第2の
参照フレーム数設定方法を採用した場合には、該最大フ
レーム数を示す情報も符号化データ106のヘッダ情報
として符号化される。符号化データ106は、図示しな
い蓄積媒体や伝送媒体に送出される。
ーム間符号化の結果である量子化されたDCT係数デー
タと共に可変長符号の符号化データ106として出力さ
れる(ステップS15)。例えば、サイド情報は符号化
データ106にヘッダ情報として符号化される。さら
に、各階層の予測グループに属する参照フレーム数の総
和を予め規定して、各階層の予測グループに割り当てる
参照フレームの最大フレーム数を設定する後述の第2の
参照フレーム数設定方法を採用した場合には、該最大フ
レーム数を示す情報も符号化データ106のヘッダ情報
として符号化される。符号化データ106は、図示しな
い蓄積媒体や伝送媒体に送出される。
【0030】参照メモリセット118,119では、新
しい復号化済みフレームが参照フレームとして順次書き
込まれ、また時間的に最も古い参照フレームから順次削
除される、いわゆるFIFO(First-In First-Out)型の
制御がフレーム単位で行われる。ただし、参照フレーム
が読み出されるときには、各参照メモリセット118,
119内の任意の参照フレームへのランダムアクセスが
行われる。
しい復号化済みフレームが参照フレームとして順次書き
込まれ、また時間的に最も古い参照フレームから順次削
除される、いわゆるFIFO(First-In First-Out)型の
制御がフレーム単位で行われる。ただし、参照フレーム
が読み出されるときには、各参照メモリセット118,
119内の任意の参照フレームへのランダムアクセスが
行われる。
【0031】参照メモリセット118,119にそれぞ
れ一時保存される参照フレームの数(言い換えれば、参
照メモリセット118,119にそれぞれ含まれる参照
メモリの数)は、次に示す2つの方法の何れかにより設
定される。
れ一時保存される参照フレームの数(言い換えれば、参
照メモリセット118,119にそれぞれ含まれる参照
メモリの数)は、次に示す2つの方法の何れかにより設
定される。
【0032】第1の参照フレーム数設定方法では、符号
化の方法あるいはプロファイルやレベルといった符号化
仕様に応じて、予め各階層の予測グループに属する参照
フレームの最大フレーム数を個別に定める。動画像符号
化装置及び動画像復号化装置においては、こうして予め
定められた最大フレーム数の参照フレームを予測グルー
プ毎に確保して符号化及び復号化を行う。この場合、符
号化仕様を動画像符号化装置及び動画像復号化装置で一
致させることにより、必要な数の参照フレームを自動的
に確保することが可能である。
化の方法あるいはプロファイルやレベルといった符号化
仕様に応じて、予め各階層の予測グループに属する参照
フレームの最大フレーム数を個別に定める。動画像符号
化装置及び動画像復号化装置においては、こうして予め
定められた最大フレーム数の参照フレームを予測グルー
プ毎に確保して符号化及び復号化を行う。この場合、符
号化仕様を動画像符号化装置及び動画像復号化装置で一
致させることにより、必要な数の参照フレームを自動的
に確保することが可能である。
【0033】第2の参照フレーム数設定方法では、符号
化の方法あるいはプロファイルやレベルといった符号化
仕様に応じて、各階層の予測グループに属する参照フレ
ーム数の総和を予め規定し、各階層の予測グループにど
れだけの参照フレーム数を割り当てるかという配分に関
する情報、すなわち最大フレーム数を示す情報を符号化
データ106のヘッダ情報として符号化する。
化の方法あるいはプロファイルやレベルといった符号化
仕様に応じて、各階層の予測グループに属する参照フレ
ーム数の総和を予め規定し、各階層の予測グループにど
れだけの参照フレーム数を割り当てるかという配分に関
する情報、すなわち最大フレーム数を示す情報を符号化
データ106のヘッダ情報として符号化する。
【0034】このように第2の参照フレーム数設定方法
では、符号化側で各階層の予測グループにそれぞれ最適
な参照フレームの最大フレーム数を動的に割り当て、そ
の割り当てた最大フレーム数を示す情報を符号化するこ
とで、符号化側と復号化側で各階層の予測グループに属
する参照フレームの最大フレーム数を動的に一致させる
ことが可能となる。従って、各階層の予測グループに属
する参照フレームの最大フレーム数の割合を入力動画像
信号100の画像の性質の変化に応じて最適に変更する
ことにより、符号化効率を向上させることが可能とな
る。
では、符号化側で各階層の予測グループにそれぞれ最適
な参照フレームの最大フレーム数を動的に割り当て、そ
の割り当てた最大フレーム数を示す情報を符号化するこ
とで、符号化側と復号化側で各階層の予測グループに属
する参照フレームの最大フレーム数を動的に一致させる
ことが可能となる。従って、各階層の予測グループに属
する参照フレームの最大フレーム数の割合を入力動画像
信号100の画像の性質の変化に応じて最適に変更する
ことにより、符号化効率を向上させることが可能とな
る。
【0035】(復号化側について)図3は、本実施形態
に係る図1に示した動画像符号化装置に対応する動画像
復号化装置の構成を示すブロック図である。図4は、動
き補償予測フレーム間符号化に対応する復号化に関する
概略的な手順を示すフローチャートである。図3に示す
動画像復号化装置も、ハードウェアで実現してもよい
し、ソフトウェアにより実行してもよく、また一部の処
理をハードウェアで実現し、他の処理をソフトウェアに
より行ってもよい。
に係る図1に示した動画像符号化装置に対応する動画像
復号化装置の構成を示すブロック図である。図4は、動
き補償予測フレーム間符号化に対応する復号化に関する
概略的な手順を示すフローチャートである。図3に示す
動画像復号化装置も、ハードウェアで実現してもよい
し、ソフトウェアにより実行してもよく、また一部の処
理をハードウェアで実現し、他の処理をソフトウェアに
より行ってもよい。
【0036】図3に示す動画像復号化装置には、図1に
示した動画像符号化装置から出力された符号化データ1
06が、図示しない蓄積媒体または伝送媒体を介して入
力される。入力された符号化データ200は、可変長復
号化器214により可変長符号の復号化が行われ、量子
化DCT係数データ201とサイド情報202が出力さ
れる。量子化DCT係数データ201は、逆量子化器2
15及び逆DCT変換器216を経て復号されることに
より、予測誤差信号が再生される。
示した動画像符号化装置から出力された符号化データ1
06が、図示しない蓄積媒体または伝送媒体を介して入
力される。入力された符号化データ200は、可変長復
号化器214により可変長符号の復号化が行われ、量子
化DCT係数データ201とサイド情報202が出力さ
れる。量子化DCT係数データ201は、逆量子化器2
15及び逆DCT変換器216を経て復号されることに
より、予測誤差信号が再生される。
【0037】一方、サイド情報202としてマクロブロ
ック毎に符号化された動きベクトルと、符号化対象フレ
ーム毎に所属する予測グループを識別するインデックス
(第1の識別情報)、及び参照フレームを特定するイン
デックス(第2の識別情報)が復号化される(ステップ
21)。これらのサイド情報に従って、符号化時と同様
に参照フレームの選択及び動き補償が行われることによ
り予測画像信号203が生成される。
ック毎に符号化された動きベクトルと、符号化対象フレ
ーム毎に所属する予測グループを識別するインデックス
(第1の識別情報)、及び参照フレームを特定するイン
デックス(第2の識別情報)が復号化される(ステップ
21)。これらのサイド情報に従って、符号化時と同様
に参照フレームの選択及び動き補償が行われることによ
り予測画像信号203が生成される。
【0038】すなわち、符号化対象フレーム毎に所属す
る予測グループを識別するインデックス(第1の識別情
報)と参照フレームを特定するインデックス(第2の識
別情報)に従って参照フレームが選択され(ステップS
22)、この選択された参照フレームを用いて動き補償
予測フレーム間符号化の結果が復号化される(ステップ
S23)。さらに、予測画像信号203と逆DCT変換
器216からの予測誤差信号が加算されることにより、
復号化画像信号204が生成される 復号化画像信号204である復号化済みフレームは、該
復号化済みフレームの元となった符号化済みフレームが
所属する予測グループに応じて、第1及び第2の参照メ
モリセット219の何れか一方に一時保存され、参照フ
レームとして用いられる(ステップS24)。これらの
参照メモリセット218,219は、動画像符号化装置
と同様にFIFO型の制御が行われる。ここで、各階層
の予測グループに属する参照フレームの数については、
先の動画像符号化装置において説明した第1または第2
の参照フレーム数設定方法に従って設定される。
る予測グループを識別するインデックス(第1の識別情
報)と参照フレームを特定するインデックス(第2の識
別情報)に従って参照フレームが選択され(ステップS
22)、この選択された参照フレームを用いて動き補償
予測フレーム間符号化の結果が復号化される(ステップ
S23)。さらに、予測画像信号203と逆DCT変換
器216からの予測誤差信号が加算されることにより、
復号化画像信号204が生成される 復号化画像信号204である復号化済みフレームは、該
復号化済みフレームの元となった符号化済みフレームが
所属する予測グループに応じて、第1及び第2の参照メ
モリセット219の何れか一方に一時保存され、参照フ
レームとして用いられる(ステップS24)。これらの
参照メモリセット218,219は、動画像符号化装置
と同様にFIFO型の制御が行われる。ここで、各階層
の予測グループに属する参照フレームの数については、
先の動画像符号化装置において説明した第1または第2
の参照フレーム数設定方法に従って設定される。
【0039】すなわち、第1の参照フレーム数設定方法
に従って符号化仕様に応じて予め各階層の予測グループ
に属する参照フレームの最大フレーム数を個別に定めて
いる場合には、各階層の予測グループに属する参照フレ
ームの数は符号化仕様毎に固定の値とされる。また、第
2の参照フレーム数設定方法に従って符号化仕様に応じ
て各階層の予測グループに属する参照フレーム数の総和
を予め規定し、各階層の予測グループに参照フレームの
最大フレーム数を割り当てている場合には、参照フレー
ムの総和のみ固定で、符号化データのヘッダ情報から復
号化される参照フレームの最大数を示す情報に基づいて
動的に各階層の予測グループに属する参照フレームの数
が制御される。
に従って符号化仕様に応じて予め各階層の予測グループ
に属する参照フレームの最大フレーム数を個別に定めて
いる場合には、各階層の予測グループに属する参照フレ
ームの数は符号化仕様毎に固定の値とされる。また、第
2の参照フレーム数設定方法に従って符号化仕様に応じ
て各階層の予測グループに属する参照フレーム数の総和
を予め規定し、各階層の予測グループに参照フレームの
最大フレーム数を割り当てている場合には、参照フレー
ムの総和のみ固定で、符号化データのヘッダ情報から復
号化される参照フレームの最大数を示す情報に基づいて
動的に各階層の予測グループに属する参照フレームの数
が制御される。
【0040】図5は、図1に示した動画像符号化装置に
おける動き補償予測器111、及び図3に示した動画像
復号化装置における動き補償予測器211として用いら
れる動き補償予測器の詳細な構成を示したものである。
前述した通り、符号化あるいは復号化すべきフレームが
属する階層の予測グループに応じて、使用可能な参照フ
レームが異なる。図5におけるフレームメモリ302か
ら304は、1つの階層の予測グループに属する符号化
フレームに対する参照フレームとして使用可能な参照フ
レームを保存しいるものとする。
おける動き補償予測器111、及び図3に示した動画像
復号化装置における動き補償予測器211として用いら
れる動き補償予測器の詳細な構成を示したものである。
前述した通り、符号化あるいは復号化すべきフレームが
属する階層の予測グループに応じて、使用可能な参照フ
レームが異なる。図5におけるフレームメモリ302か
ら304は、1つの階層の予測グループに属する符号化
フレームに対する参照フレームとして使用可能な参照フ
レームを保存しいるものとする。
【0041】この動き補償予測器では、マクロブロック
毎に使用可能な参照フレームの中から1つを選択する
か、あるいは線形予測器301により使用可能な参照フ
レームの線形和をとってその線形和による予測の何れか
を選択し、動き補償を行って予測マクロブロックを生成
する。
毎に使用可能な参照フレームの中から1つを選択する
か、あるいは線形予測器301により使用可能な参照フ
レームの線形和をとってその線形和による予測の何れか
を選択し、動き補償を行って予測マクロブロックを生成
する。
【0042】動画像符号化装置では、予測誤差が小さく
符号化効率の最も高い予測マクロブロックが選択される
ように、参照フレーム及び動きベクトルがマクロブロッ
ク毎に選択される。選択された参照フレームの情報及び
動きベクトルの情報は、マクロブロック毎に符号化され
る。
符号化効率の最も高い予測マクロブロックが選択される
ように、参照フレーム及び動きベクトルがマクロブロッ
ク毎に選択される。選択された参照フレームの情報及び
動きベクトルの情報は、マクロブロック毎に符号化され
る。
【0043】動画像復号化装置では、受信した動きベク
トル及び参照フレームの情報に応じて動き補償器で予測
マクロブロックを生成し、復号化を行う。線形和による
予測を行う場合は、線形予測係数に関する情報を符号化
データのヘッダ情報として符号化を行い、符号化と復号
化で線形予測係数を一致させる。
トル及び参照フレームの情報に応じて動き補償器で予測
マクロブロックを生成し、復号化を行う。線形和による
予測を行う場合は、線形予測係数に関する情報を符号化
データのヘッダ情報として符号化を行い、符号化と復号
化で線形予測係数を一致させる。
【0044】図6及び図7は、従来のMPEG動画像符
号化におけるフレーム間予測構造及び参照メモリ制御の
例を示す図である。横軸は時間を示しており、I0,P
1,P2等は表示順のフレームを示している。例えば、
I0はIピクチャでフレーム番号が0番、P1はPピク
チャでフレーム番号が1番、B2はBピクチャでフレー
ム番号が2番ということをそれぞれ示している。図中の
矢印はフレーム間の予測構造を示しており、参照フレー
ムから符号化対象フレームへの向きを示している。例え
ば、図6において符号化対象フレームP1 に対して、I
0が参照フレームであることを示している。以下、図6
及び図7のそれぞれの例について詳しく説明する。ま
ず、図6はIピクチャ及びPピクチャのみから構成され
る予測構造を示している。MPEG符号化では、Pピク
チャは直前に符号化されたIピクチャまたはPピクチャ
のみを参照フレームとする。図中FM1及びFM2は、
復号化における参照メモリ(フレームメモリ)の使い回
しを示している。ここで、各フレームは1フレーム期間
かけて復号化するものとする。
号化におけるフレーム間予測構造及び参照メモリ制御の
例を示す図である。横軸は時間を示しており、I0,P
1,P2等は表示順のフレームを示している。例えば、
I0はIピクチャでフレーム番号が0番、P1はPピク
チャでフレーム番号が1番、B2はBピクチャでフレー
ム番号が2番ということをそれぞれ示している。図中の
矢印はフレーム間の予測構造を示しており、参照フレー
ムから符号化対象フレームへの向きを示している。例え
ば、図6において符号化対象フレームP1 に対して、I
0が参照フレームであることを示している。以下、図6
及び図7のそれぞれの例について詳しく説明する。ま
ず、図6はIピクチャ及びPピクチャのみから構成され
る予測構造を示している。MPEG符号化では、Pピク
チャは直前に符号化されたIピクチャまたはPピクチャ
のみを参照フレームとする。図中FM1及びFM2は、
復号化における参照メモリ(フレームメモリ)の使い回
しを示している。ここで、各フレームは1フレーム期間
かけて復号化するものとする。
【0045】I0の復号化は、図中I0フレームからP
1フレームまでの間の期間に行われるものとし、復号化
画像信号は参照メモリFM1に順次書き込まれ、次にP
1の復号化が終了するまで参照メモリFM1に保存され
る。P1の復号化は、参照メモリFM1に保存されたI
0フレームを参照フレームとして行われ、復号化された
P1フレームは順次参照フレームFM2に書き込まれ、
次にP2の復号化が終了するまでFM2に保存される。
P2の復号化は、参照メモリFM2に保存されたP1フ
レームを参照フレームとして行われ、復号化されたP2
フレームは参照メモリFM1に既に保存されたI0フレ
ームを上書きしながら書き込まれる。以上のように、I
ピクチャ及びPピクチャから構成される符号化データの
復号化は2フレーム分の参照メモリを用いて行われる。
1フレームまでの間の期間に行われるものとし、復号化
画像信号は参照メモリFM1に順次書き込まれ、次にP
1の復号化が終了するまで参照メモリFM1に保存され
る。P1の復号化は、参照メモリFM1に保存されたI
0フレームを参照フレームとして行われ、復号化された
P1フレームは順次参照フレームFM2に書き込まれ、
次にP2の復号化が終了するまでFM2に保存される。
P2の復号化は、参照メモリFM2に保存されたP1フ
レームを参照フレームとして行われ、復号化されたP2
フレームは参照メモリFM1に既に保存されたI0フレ
ームを上書きしながら書き込まれる。以上のように、I
ピクチャ及びPピクチャから構成される符号化データの
復号化は2フレーム分の参照メモリを用いて行われる。
【0046】図7は、従来のMPEG動画像符号化でB
ピクチャを含む場合の例である。Bピクチャは、後方フ
レームからの予測も用いられるため、表示順と異なる順
序にフレームの並べ替えが行われ、符号化及び復号化が
行われる。図7の上段は表示順のフレーム及びフレーム
間予測構造を示し、下段は符号化及び復号化におけるフ
レーム順を示している。FM1及びFM2は復号化にお
ける参照メモリの使い回しを示している。
ピクチャを含む場合の例である。Bピクチャは、後方フ
レームからの予測も用いられるため、表示順と異なる順
序にフレームの並べ替えが行われ、符号化及び復号化が
行われる。図7の上段は表示順のフレーム及びフレーム
間予測構造を示し、下段は符号化及び復号化におけるフ
レーム順を示している。FM1及びFM2は復号化にお
ける参照メモリの使い回しを示している。
【0047】図7に示すフレーム間予測構造を持つ符号
化データの復号化時には、まずI0フレームが復号化さ
れ、参照メモリF1に書き込まれる。続いて、参照メモ
リFM1に保存された復号化されたI0フレームを参照
フレームとしてP3フレームの復号化が行われ、復号化
されたP3フレームは参照メモリFM2に書き込まれ
る。次に、参照メモリFM1に保存された復号化された
I0フレームを前方予測の参照フレームとし、また参照
メモリFM2に保存された復号化されたP3フレームを
後方予測の参照フレームとして、BピクチャB1及びB
2の復号化が順次行われる。次に、P6フレームが参照
メモリFM2に保存されたP3フレームを参照フレーム
として復号化され、復号化されたP6フレームは参照メ
モリFM1に既に保存されたI0フレームを上書きしな
がら書き込まれる。Bピクチャは、参照フレームとして
は用いられないため、Bピクチャの復号化画像は参照メ
モリには保存されず、順次出力して表示される。
化データの復号化時には、まずI0フレームが復号化さ
れ、参照メモリF1に書き込まれる。続いて、参照メモ
リFM1に保存された復号化されたI0フレームを参照
フレームとしてP3フレームの復号化が行われ、復号化
されたP3フレームは参照メモリFM2に書き込まれ
る。次に、参照メモリFM1に保存された復号化された
I0フレームを前方予測の参照フレームとし、また参照
メモリFM2に保存された復号化されたP3フレームを
後方予測の参照フレームとして、BピクチャB1及びB
2の復号化が順次行われる。次に、P6フレームが参照
メモリFM2に保存されたP3フレームを参照フレーム
として復号化され、復号化されたP6フレームは参照メ
モリFM1に既に保存されたI0フレームを上書きしな
がら書き込まれる。Bピクチャは、参照フレームとして
は用いられないため、Bピクチャの復号化画像は参照メ
モリには保存されず、順次出力して表示される。
【0048】Iピクチャ及びPピクチャの復号化時は、
参照メモリに保存されている1つ前のIピクチャまたは
Pピクチャが出力され表示される。例えば、P3のデコ
ード時には参照メモリFM1に保存されたI0が表示さ
れ、P6のデコード時には参照メモリFM2に保存され
たP3が表示される。このようにIピクチャ及びPピク
チャの表示を1周期遅らせることで、復号化順が正しい
表示順に並べ替えられる。以上のように、Bピクチャを
含む場合においても、2フレームの参照フレームで復号
化が行われる。
参照メモリに保存されている1つ前のIピクチャまたは
Pピクチャが出力され表示される。例えば、P3のデコ
ード時には参照メモリFM1に保存されたI0が表示さ
れ、P6のデコード時には参照メモリFM2に保存され
たP3が表示される。このようにIピクチャ及びPピク
チャの表示を1周期遅らせることで、復号化順が正しい
表示順に並べ替えられる。以上のように、Bピクチャを
含む場合においても、2フレームの参照フレームで復号
化が行われる。
【0049】図8から図13は、本実施形態におけるフ
レーム間予測構造及び参照メモリ制御の例を示す図であ
る。以下、それぞれの例について説明する。図8は、図
6と同様にIピクチャ及びPピクチャから構成される
が、各フレームを予測グループaと予測グループbとの
交互に切り替える例であり、予測グループbは予測グル
ープaの上位階層とする。また、予測グループa及び予
測グループbの参照メモリ数はそれぞれ1フレームであ
るとする。
レーム間予測構造及び参照メモリ制御の例を示す図であ
る。以下、それぞれの例について説明する。図8は、図
6と同様にIピクチャ及びPピクチャから構成される
が、各フレームを予測グループaと予測グループbとの
交互に切り替える例であり、予測グループbは予測グル
ープaの上位階層とする。また、予測グループa及び予
測グループbの参照メモリ数はそれぞれ1フレームであ
るとする。
【0050】図中Ia0,Pa2,Pa4で示されるように、
サフィックスaの付加されたピクチャは予測グループa
であることを示し、また、Pb1,Pb3,Pb5のようにサ
フィックスbの付加されたピクチャは予測グループbで
あることを示している。これらの予測グループの属性
は、ピクチャタイプの拡張、または独立したインデック
スとして符号化対象フレームのヘッダ情報として符号化
される。予測グループaに属する符号化対象フレーム
は、予測フレームaに属する既に復号化されたフレーム
のみを参照フレームとして用いることが可能であり、ま
た、上位階層の予測フレームbでは、既に復号化された
予測グループa及び予測グループbの何れかに属する1
フレームまたは両方の復号化フレームの線形和を用いて
予測画像を生成することが可能である。
サフィックスaの付加されたピクチャは予測グループa
であることを示し、また、Pb1,Pb3,Pb5のようにサ
フィックスbの付加されたピクチャは予測グループbで
あることを示している。これらの予測グループの属性
は、ピクチャタイプの拡張、または独立したインデック
スとして符号化対象フレームのヘッダ情報として符号化
される。予測グループaに属する符号化対象フレーム
は、予測フレームaに属する既に復号化されたフレーム
のみを参照フレームとして用いることが可能であり、ま
た、上位階層の予測フレームbでは、既に復号化された
予測グループa及び予測グループbの何れかに属する1
フレームまたは両方の復号化フレームの線形和を用いて
予測画像を生成することが可能である。
【0051】各階層の予測グループともに1フレームの
参照メモリを持っているため、予測グループaの符号化
対象フレームの参照フレーム数は最大1フレームとな
り、予測グループbの符号化対象フレームの参照フレー
ム数は最大2フレームが使用可能である。例えば、予測
グループaに属するPa2フレームは、復号化されたIa0
フレームのみを参照フレームとして用いるが、予測グル
ープbに属するPb3は、予測グループaに属する復号化
されたPa2フレームと、予測グループbに属する復号化
されたPb1フレームの2フレームを参照フレームとして
用いる。
参照メモリを持っているため、予測グループaの符号化
対象フレームの参照フレーム数は最大1フレームとな
り、予測グループbの符号化対象フレームの参照フレー
ム数は最大2フレームが使用可能である。例えば、予測
グループaに属するPa2フレームは、復号化されたIa0
フレームのみを参照フレームとして用いるが、予測グル
ープbに属するPb3は、予測グループaに属する復号化
されたPa2フレームと、予測グループbに属する復号化
されたPb1フレームの2フレームを参照フレームとして
用いる。
【0052】図8において、FM1,FM2及びFM3
は図6あるいは図7と同様の物理的な参照メモリの使い
回しを示している。また、DEC,REFa及びREFb
はそれぞれ論理的な参照メモリの使い回しを示してい
る。換言すると、DEC,REFa及びREFbは仮想ア
ドレスで表現したフレームメモリであり、FM1,FM
2及びFM3は同フレームメモリを物理アドレスで表現
したものである。仮想アドレス表現では、DECは現在
復号化中のフレームを一時保存するためのフレームメモ
リであり、またREFa及びREFbはそれぞれ予測グル
ープa及び予測グループbの参照メモリを示している。
従って、REFaには復号化された予測グループaに属
するフレームが順次一時保存され、REBbには復号化
された予測グループbに属するフレームが順次一時保存
される。
は図6あるいは図7と同様の物理的な参照メモリの使い
回しを示している。また、DEC,REFa及びREFb
はそれぞれ論理的な参照メモリの使い回しを示してい
る。換言すると、DEC,REFa及びREFbは仮想ア
ドレスで表現したフレームメモリであり、FM1,FM
2及びFM3は同フレームメモリを物理アドレスで表現
したものである。仮想アドレス表現では、DECは現在
復号化中のフレームを一時保存するためのフレームメモ
リであり、またREFa及びREFbはそれぞれ予測グル
ープa及び予測グループbの参照メモリを示している。
従って、REFaには復号化された予測グループaに属
するフレームが順次一時保存され、REBbには復号化
された予測グループbに属するフレームが順次一時保存
される。
【0053】図8の例では、例えば上位階層の予測グル
ープbに属する符号化対象フレームを破棄して、予測グ
ループaに属するフレームのみを復号化することが可能
である。この場合、必要な参照メモリ数は、現在復号化
中のフレームを一時保存するためのフレームメモリDE
Cと、予測グループaの参照メモリREFaの2フレー
ム分があれば復号化が可能である。
ープbに属する符号化対象フレームを破棄して、予測グ
ループaに属するフレームのみを復号化することが可能
である。この場合、必要な参照メモリ数は、現在復号化
中のフレームを一時保存するためのフレームメモリDE
Cと、予測グループaの参照メモリREFaの2フレー
ム分があれば復号化が可能である。
【0054】予測グループaに属するフレームのみを復
号化することで、フレーム周期を半分にした復号化を予
測構造に破綻をきたすことなく行うことができる。例え
ば、予測グループaに属する復号化フレームを2倍のフ
レームレートで再生することで、滑らかな早送り再生を
行うことが可能である。また、映像ストリーミング等に
おいて伝送路の帯域幅が時間変動する場合に、通常は全
ての符号化データを送出し、伝送路の有効帯域幅が低下
した場合は、予測グループbに属する符号化データを破
棄して、下位階層の予測グループa属する符号化データ
のみを送出しても、受信側では破綻無く再生することが
可能である。
号化することで、フレーム周期を半分にした復号化を予
測構造に破綻をきたすことなく行うことができる。例え
ば、予測グループaに属する復号化フレームを2倍のフ
レームレートで再生することで、滑らかな早送り再生を
行うことが可能である。また、映像ストリーミング等に
おいて伝送路の帯域幅が時間変動する場合に、通常は全
ての符号化データを送出し、伝送路の有効帯域幅が低下
した場合は、予測グループbに属する符号化データを破
棄して、下位階層の予測グループa属する符号化データ
のみを送出しても、受信側では破綻無く再生することが
可能である。
【0055】図9は、図8の例を変形した例であり、予
測グループaに属するフレームの間に予測グループbに
属するフレームが2フレーム挿入された予測構造であ
り、また各階層の予測グループの参照メモリ数は何れも
1フレームである。この場合も、図8と同様に3フレー
ム分のフレームメモリを使いまわすことで、図6と同様
の復号化を行うことが可能である。図9の例では、例え
ば予測グループaのフレームのみを復号化し、符号化さ
れたフレームを本来のフレームレートで再生すること
で、滑らかな3倍速再生を行うことも可能である。
測グループaに属するフレームの間に予測グループbに
属するフレームが2フレーム挿入された予測構造であ
り、また各階層の予測グループの参照メモリ数は何れも
1フレームである。この場合も、図8と同様に3フレー
ム分のフレームメモリを使いまわすことで、図6と同様
の復号化を行うことが可能である。図9の例では、例え
ば予測グループaのフレームのみを復号化し、符号化さ
れたフレームを本来のフレームレートで再生すること
で、滑らかな3倍速再生を行うことも可能である。
【0056】図10では、図6と同様にIピクチャ及び
Pピクチャから構成され、また、予測グループはa,
b,cの3階層とし、入力フレーム4フレーム毎に予測
グループaのフレームが割り当てられ、予測グループa
のフレーム間に予測グループbの1フレームと予測グル
ープcの2フレームが配置された予測構造としている。
Pピクチャから構成され、また、予測グループはa,
b,cの3階層とし、入力フレーム4フレーム毎に予測
グループaのフレームが割り当てられ、予測グループa
のフレーム間に予測グループbの1フレームと予測グル
ープcの2フレームが配置された予測構造としている。
【0057】各階層の予測グループa,b,cの参照フ
レーム数はぞれぞれ1フレームであり、a,b,cの順
で階層が上がるものとする。つまり、予測グループaに
属するのフレームは、復号化された予測グループaの1
フレームのみを参照フレームとし、予測グループbに属
するのフレームは、復号化された予測グループa及び予
測グループbの2フレームを参照フレームとし、予測グ
ループcに属するのフレームは、復号化された予測グル
ープa,b及びcの3フレームを参照フレームとして用
いることができる。
レーム数はぞれぞれ1フレームであり、a,b,cの順
で階層が上がるものとする。つまり、予測グループaに
属するのフレームは、復号化された予測グループaの1
フレームのみを参照フレームとし、予測グループbに属
するのフレームは、復号化された予測グループa及び予
測グループbの2フレームを参照フレームとし、予測グ
ループcに属するのフレームは、復号化された予測グル
ープa,b及びcの3フレームを参照フレームとして用
いることができる。
【0058】図10において、DEC,REFa,RE
Fb及びREFcは復号化フレームの一時保存フレームメ
モリ、予測グループaの参照フレーム、予測グループb
の参照フレーム、及び予測グループcの参照フレームを
示す論理的なフレームメモリの使い回しを示すものであ
り、またFM1,FM2,FM3及びFM4は、上記4
フレーム分のフレームメモリの物理的な使い回しを示し
ている。各階層の予測グループ毎に、直前に復号化され
た1フレームが、参照メモリREFa,REFb及びRE
Fcに一時保存され、また、現在復号中のフレームは復
号化フレームメモリDECに書き込まれる。
Fb及びREFcは復号化フレームの一時保存フレームメ
モリ、予測グループaの参照フレーム、予測グループb
の参照フレーム、及び予測グループcの参照フレームを
示す論理的なフレームメモリの使い回しを示すものであ
り、またFM1,FM2,FM3及びFM4は、上記4
フレーム分のフレームメモリの物理的な使い回しを示し
ている。各階層の予測グループ毎に、直前に復号化され
た1フレームが、参照メモリREFa,REFb及びRE
Fcに一時保存され、また、現在復号中のフレームは復
号化フレームメモリDECに書き込まれる。
【0059】図10の構成では、予測グループが3階層
で構成されるため、予測グループc以下の全ての符号化
フレームを復号化すると通常の再生が行われ、また予測
グループb以下の符号化フレームを復号化すると、通常
の1/2のフレームが復号化され、また予測グループa
の符号化フレームのみを復号化すると、通常の1/4の
フレームが復号化されることになる。また、上記何れの
復号化においても、予測構造の破綻は発生せずに、正常
に復号化画像を生成することが可能である。復号化する
階層を動的に制御することで、滑らかな可変速の早送り
再生を実現したり、あるいは送出する階層を動的に制御
することで、送出ビットレートを動的に変更することが
可能となる。
で構成されるため、予測グループc以下の全ての符号化
フレームを復号化すると通常の再生が行われ、また予測
グループb以下の符号化フレームを復号化すると、通常
の1/2のフレームが復号化され、また予測グループa
の符号化フレームのみを復号化すると、通常の1/4の
フレームが復号化されることになる。また、上記何れの
復号化においても、予測構造の破綻は発生せずに、正常
に復号化画像を生成することが可能である。復号化する
階層を動的に制御することで、滑らかな可変速の早送り
再生を実現したり、あるいは送出する階層を動的に制御
することで、送出ビットレートを動的に変更することが
可能となる。
【0060】図11では、図7と同様にIピクチャ、P
ピクチャ及びBピクチャから構成され、Iピクチャ及び
Pピクチャを予測グループaとし、Bピクチャを予測グ
ループbとしている。予測グループbは予測グループa
の上位階層とする。また、予測グループaの参照メモリ
数は2フレーム、予測グループbの参照メモリ数は1フ
レームである。図11の例では、予測グループaのIピ
クチャ及びPピクチャの参照メモリ数を2フレームとし
ているので、Pピクチャにおいて、直前に符号化あるい
は復号化されたIピクチャまたはPピクチャと、さらに
その前に符号化された符号化あるいは復号化されたIピ
クチャまたはPピクチャの2フレームを参照フレームと
して用いることが可能である。また、Bピクチャにおい
ては、予測グループbが参照フレームを1フレーム持つ
ため、直前に符号化あるいは復号化されたBピクチャ1
フレームを参照フレームとし、さらに下位階層の予測グ
ループである過去2フレームのIピクチャ及びPピクチ
ャと合わせて、3フレームの参照フレームを用いること
が可能である。
ピクチャ及びBピクチャから構成され、Iピクチャ及び
Pピクチャを予測グループaとし、Bピクチャを予測グ
ループbとしている。予測グループbは予測グループa
の上位階層とする。また、予測グループaの参照メモリ
数は2フレーム、予測グループbの参照メモリ数は1フ
レームである。図11の例では、予測グループaのIピ
クチャ及びPピクチャの参照メモリ数を2フレームとし
ているので、Pピクチャにおいて、直前に符号化あるい
は復号化されたIピクチャまたはPピクチャと、さらに
その前に符号化された符号化あるいは復号化されたIピ
クチャまたはPピクチャの2フレームを参照フレームと
して用いることが可能である。また、Bピクチャにおい
ては、予測グループbが参照フレームを1フレーム持つ
ため、直前に符号化あるいは復号化されたBピクチャ1
フレームを参照フレームとし、さらに下位階層の予測グ
ループである過去2フレームのIピクチャ及びPピクチ
ャと合わせて、3フレームの参照フレームを用いること
が可能である。
【0061】図8から図10と同様に、FM1,FM
2,FM3及びFM4が物理的なフレームメモリの使い
回しを示しており、DEC,REFa1,REFa2及びR
EFbが論理的なフレームメモリの使い回しを示してい
る。DECは復号化中のフレームの一時保存フレームメ
モリであり、REFa1及びREFa2は予測グループaの
2フレーム分の参照メモリであり、REFbは予測グル
ープbの1フレーム分の参照メモリを示している。
2,FM3及びFM4が物理的なフレームメモリの使い
回しを示しており、DEC,REFa1,REFa2及びR
EFbが論理的なフレームメモリの使い回しを示してい
る。DECは復号化中のフレームの一時保存フレームメ
モリであり、REFa1及びREFa2は予測グループaの
2フレーム分の参照メモリであり、REFbは予測グル
ープbの1フレーム分の参照メモリを示している。
【0062】図11におけるIdx0,Idx1及びIdx2
は、復号化中のフレームの参照フレームを特定するため
のインデックスを示している。例えば、Pa6フレームの
復号化においては、予測グループaに属する直前の2フ
レームPa3,Ia0が参照フレームの候補であり、参照フ
レームのインデックスは符号化対象フレームに時間的に
近いものから順次番号を割り当てる。参照フレームを示
すインデックスは、マクログロック毎に符号化するもの
とし、マクロブロック毎に参照フレームの選択を行われ
る。インデックス0のマクロブロックは、直前のIピク
チャまたはPピクチャから予測画像が生成され、インデ
ックス1のマクロブロックは、2つ前のIピクチャまた
はPピクチャから予測画像を生成する。また、直前のI
ピクチャまたはPピクチャ、及び2つ前のIピクチャま
たはPピクチャの線形和によって予測画像を生成する場
合、インデックス0及びインデック1の組み合わせであ
ることを識別するインデックスがマクロブックのヘッダ
情報として符号化される。
は、復号化中のフレームの参照フレームを特定するため
のインデックスを示している。例えば、Pa6フレームの
復号化においては、予測グループaに属する直前の2フ
レームPa3,Ia0が参照フレームの候補であり、参照フ
レームのインデックスは符号化対象フレームに時間的に
近いものから順次番号を割り当てる。参照フレームを示
すインデックスは、マクログロック毎に符号化するもの
とし、マクロブロック毎に参照フレームの選択を行われ
る。インデックス0のマクロブロックは、直前のIピク
チャまたはPピクチャから予測画像が生成され、インデ
ックス1のマクロブロックは、2つ前のIピクチャまた
はPピクチャから予測画像を生成する。また、直前のI
ピクチャまたはPピクチャ、及び2つ前のIピクチャま
たはPピクチャの線形和によって予測画像を生成する場
合、インデックス0及びインデック1の組み合わせであ
ることを識別するインデックスがマクロブックのヘッダ
情報として符号化される。
【0063】さらに、図11におけるBWrefはBピク
チャにおける後方予測の参照フレームを示している。図
11の例では、例えばBb1及びBb2の後方参照フレーム
はPa3,Bb4及びBb5の後方参照フレームはPa6とな
る。後方予測の参照フレームは、フレーム並べ替えの制
約から、直前に符号化あるいは復号化されたIピクチャ
またはPピクチャに制限されるため、参照フレームは一
意に決定される。従って、後方予測の参照フレームBW
refについては、ヘッダ情報として符号化する必要はな
い。
チャにおける後方予測の参照フレームを示している。図
11の例では、例えばBb1及びBb2の後方参照フレーム
はPa3,Bb4及びBb5の後方参照フレームはPa6とな
る。後方予測の参照フレームは、フレーム並べ替えの制
約から、直前に符号化あるいは復号化されたIピクチャ
またはPピクチャに制限されるため、参照フレームは一
意に決定される。従って、後方予測の参照フレームBW
refについては、ヘッダ情報として符号化する必要はな
い。
【0064】また、Bピクチャにおける前方予測につい
ては、図11の例では最大2フレームの中から選択可能
である。例えば、Bb4の符号化及び復号化においては、
時間的に直前のフレームであり予測グループaに属する
Pa3及び時間的にさらにその前のフレームであり予測グ
ループbに属するBb2を参照フレームとして用いること
が可能であり、マクロブロック毎に何れの参照フレーム
を選択されたか、あるいは両者の線形和に予測を行うか
を示すインデックスが符号化される。Bb5についても同
様に、Bb4及びPa3の2種類が参照フレームとして用い
られる。
ては、図11の例では最大2フレームの中から選択可能
である。例えば、Bb4の符号化及び復号化においては、
時間的に直前のフレームであり予測グループaに属する
Pa3及び時間的にさらにその前のフレームであり予測グ
ループbに属するBb2を参照フレームとして用いること
が可能であり、マクロブロック毎に何れの参照フレーム
を選択されたか、あるいは両者の線形和に予測を行うか
を示すインデックスが符号化される。Bb5についても同
様に、Bb4及びPa3の2種類が参照フレームとして用い
られる。
【0065】参照フレームのインデックスは、符号化対
象フレーム毎に前方予測の参照フレームとして使用可能
な参照フレームに対して、時間的に近いものから順次番
号を振る。図11の例では、Pピクチャの符号化及び復
号化においては参照メモリに保存されているIまたはP
ピクチャを時間順に並べて番号を振る。Bピクチャの符
号化及び復号化においては、後方予測の参照フレームと
して用いられる直前に符号化あるいは復号化されたIピ
クチャまたはPピクチャを除く、参照メモリに保存され
ている全ての参照フレームを時間順に並べて番号を振
る。図11におけるIdx0及びIdx1は、上述ルールに従
って生成したインデックスである。
象フレーム毎に前方予測の参照フレームとして使用可能
な参照フレームに対して、時間的に近いものから順次番
号を振る。図11の例では、Pピクチャの符号化及び復
号化においては参照メモリに保存されているIまたはP
ピクチャを時間順に並べて番号を振る。Bピクチャの符
号化及び復号化においては、後方予測の参照フレームと
して用いられる直前に符号化あるいは復号化されたIピ
クチャまたはPピクチャを除く、参照メモリに保存され
ている全ての参照フレームを時間順に並べて番号を振
る。図11におけるIdx0及びIdx1は、上述ルールに従
って生成したインデックスである。
【0066】図12は図11の例の拡張であり、予測グ
ループbつまりBピクチャについても参照フレーム数を
2フレームに設定し、総フレームメモリ数を5フレーム
とした場合を示している。FM1〜FM5は、物理的な
参照フレームの使い回しを示しており、DECは復号化
時の一時保存バッファ、REFa1及びREFa2は予測グ
ループa、すなわちIピクチャ及びPピクチャの参照メ
モリ、REFb1及びREFb2は予測グループb、す
なわちBピクチャの参照メモリの論理的な使い回しをそ
れぞれ示している。また、Idx0,Idx1及びIdx2は前
方予測における、参照フレームインデックスの割り付
け、BWrefはBピクチャにおける後方予測の参照フレ
ームをそれぞれ示している。図11の例と同様に前方予
測における参照フレームインデックスは、マクログロッ
ク毎にヘッダ情報として符号化される。
ループbつまりBピクチャについても参照フレーム数を
2フレームに設定し、総フレームメモリ数を5フレーム
とした場合を示している。FM1〜FM5は、物理的な
参照フレームの使い回しを示しており、DECは復号化
時の一時保存バッファ、REFa1及びREFa2は予測グ
ループa、すなわちIピクチャ及びPピクチャの参照メ
モリ、REFb1及びREFb2は予測グループb、す
なわちBピクチャの参照メモリの論理的な使い回しをそ
れぞれ示している。また、Idx0,Idx1及びIdx2は前
方予測における、参照フレームインデックスの割り付
け、BWrefはBピクチャにおける後方予測の参照フレ
ームをそれぞれ示している。図11の例と同様に前方予
測における参照フレームインデックスは、マクログロッ
ク毎にヘッダ情報として符号化される。
【0067】図8から図12の例では、各階層の予測グ
ループの参照メモリ数は固定としたが、参照フレーム数
の総数が一定の下で、各階層の予測グループの参照メモ
リ数の配分を動的に変更する構成としてもよい。例え
ば、図8の構成であるタイミングで予測グループbの参
照メモリ数を0として、同時に予測グループaの参照メ
モリ数を2とする再配分を行い、その配分変更を符号化
データのヘッダ情報で符号化側から復号化側へ通知する
構成とすればよい。その際、符号化側では予測グループ
aのフレームについては、予測グループaの過去2フレー
ムからの予測を使用可能とし、また、予測グループbの
フレームについては、予測グループbの過去のフレーム
からの予測は禁止し、予測グループaの過去2フレーム
からの予測を行うように、動き補償予測の選択を制御す
る。
ループの参照メモリ数は固定としたが、参照フレーム数
の総数が一定の下で、各階層の予測グループの参照メモ
リ数の配分を動的に変更する構成としてもよい。例え
ば、図8の構成であるタイミングで予測グループbの参
照メモリ数を0として、同時に予測グループaの参照メ
モリ数を2とする再配分を行い、その配分変更を符号化
データのヘッダ情報で符号化側から復号化側へ通知する
構成とすればよい。その際、符号化側では予測グループ
aのフレームについては、予測グループaの過去2フレー
ムからの予測を使用可能とし、また、予測グループbの
フレームについては、予測グループbの過去のフレーム
からの予測は禁止し、予測グループaの過去2フレーム
からの予測を行うように、動き補償予測の選択を制御す
る。
【0068】図13は、図8の例に対して上記のように
参照メモリ数の配分を変化させた場合の予測構造及びフ
レームメモリの使い回しを示している。このようにする
ことで、限られた参照フレーム数の中で入力動画像に適
した最適な予測構造を動的に設定することが可能とな
り、予測効率の向上させて高能率の符号化を行うことが
可能となる。
参照メモリ数の配分を変化させた場合の予測構造及びフ
レームメモリの使い回しを示している。このようにする
ことで、限られた参照フレーム数の中で入力動画像に適
した最適な予測構造を動的に設定することが可能とな
り、予測効率の向上させて高能率の符号化を行うことが
可能となる。
【0069】
【発明の効果】以上説明したように、本発明によればフ
レーム間予測構造を複数の階層化された予測グループ構
造とし、上位階層の予測グループの参照フレームからの
フレーム間予測を禁止し、また総参照フレーム数が一定
の下で各階層の予測グループの参照フレーム数を動的に
変化させることで、符号化効率を従来より向上させ、か
つより自由度の高い早送り再生を可能とすることができ
る。
レーム間予測構造を複数の階層化された予測グループ構
造とし、上位階層の予測グループの参照フレームからの
フレーム間予測を禁止し、また総参照フレーム数が一定
の下で各階層の予測グループの参照フレーム数を動的に
変化させることで、符号化効率を従来より向上させ、か
つより自由度の高い早送り再生を可能とすることができ
る。
【図1】本発明の一実施形態に係る動画像符号化装置の
構成を示すブロック図
構成を示すブロック図
【図2】動画像符号化における動き補償予測フレーム間
符号化に関する主要な処理の流れを示す図
符号化に関する主要な処理の流れを示す図
【図3】本発明の一実施形態に係る動画像復号化装置の
構成を示すブロック図
構成を示すブロック図
【図4】動画像復号化における動き補償予測フレーム間
符号化結果の復号化に関する主要な処理の流れを示す図
符号化結果の復号化に関する主要な処理の流れを示す図
【図5】同実施形態に係る動画像符号化装置及び動画像
復号化装置で用いられる動き補償予測器の構成例を示す
ブロック図
復号化装置で用いられる動き補償予測器の構成例を示す
ブロック図
【図6】従来のMPEG動画像符号化におけるフレーム
間予測構造及び参照メモリ制御の例を示す図
間予測構造及び参照メモリ制御の例を示す図
【図7】従来のMPEG動画像符号化におけるフレーム
間予測構造及び参照メモリ制御の例を示す図
間予測構造及び参照メモリ制御の例を示す図
【図8】本発明の一実施形態に係るフレーム間予測構造
及び参照メモリ制御の例を示す図
及び参照メモリ制御の例を示す図
【図9】本発明の一実施形態に係るフレーム間予測構造
及び参照メモリ制御の例を示す図
及び参照メモリ制御の例を示す図
【図10】本発明の一実施形態に係るフレーム間予測構
造及び参照メモリ制御の例を示す図
造及び参照メモリ制御の例を示す図
【図11】本発明の一実施形態に係るフレーム間予測構
造及び参照メモリ制御の例を示す図
造及び参照メモリ制御の例を示す図
【図12】本発明の一実施形態に係るフレーム間予測構
造及び参照メモリ制御の例を示す図
造及び参照メモリ制御の例を示す図
【図13】本発明の一実施形態に係るフレーム間予測構
造及び参照メモリ制御の例を示す図
造及び参照メモリ制御の例を示す図
100…入力動画像信号
101…予測誤差信号
102…量子化DCT係数データ
103…局部復号化画像信号
104…予測画像信号
105…サイド情報
106…符号化データ
111…動き補償予測器
112…DCT変換器
113…量子化器
114…可変長符号化器
115…逆量子化器
116…逆DCT器
117…参照フレーム書き込み制御スイッチ
118,119…参照メモリセット
120…参照フレーム読み出し制御器
200…符号化データ
201…量子化DCT係数データ
202…サイド情報
203…予測画像信号
204…復号化画像信号
211…動き補償予測器
214…可変長復号化器
215…逆量子化器
216…逆DCT変換器
217…参照フレーム書き込み制御スイッチ
218,219…参照メモリセット
220…参照フレーム読み出し制御スイッチ
300…予測マクロブロック選択器
301…線形予測器
302,303,204…参照メモリ
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 菊池 義浩
神奈川県川崎市幸区小向東芝町1番地 株
式会社東芝研究開発センター内
Fターム(参考) 5C053 GB22 GB37
5C059 MA00 MA05 MA14 MA23 MC11
MC38 ME01 PP05 PP06 PP07
RB09 RC11 RC12 RC40 SS17
TA73 TB04 TC00 TC27 TC36
UA02 UA05 UA33 UA35 UA36
5J064 AA02 BA09 BA16 BB03 BB13
BC01 BC08 BC14 BC16 BD01
Claims (10)
- 【請求項1】動画像の符号化対象フレームに対して、少
なくとも一つの復号化済みフレームを参照フレームとし
て用いる動き補償予測フレーム間符号化を含む符号化処
理を行う動画像符号化方法であって、 前記符号化対象フレームを複数の参照フレームがそれぞ
れ属する複数階層の予測グループのうちの何れかの階層
の予測グループに振り分け、 前記符号化対象フレームが振り分けられた階層以下の少
なくとも一つの階層の予測グループに属する前記参照フ
レームを用いて前記動き補償予測フレーム間符号化を行
う動画像符号化方法。 - 【請求項2】動画像の符号化対象フレームに対して、少
なくとも一つの復号化済みフレームを参照フレームとし
て用いる動き補償予測フレーム間符号化を含む符号化処
理を行う動画像符号化方法であって、 前記符号化対象フレームを複数の参照フレームがそれぞ
れ属する複数階層の予測グループのうちの何れかの階層
の予測グループに振り分け、 前記符号化対象フレームが振り分けられた階層以下の少
なくとも一つの階層の予測グループに属する前記参照フ
レームを用いて前記動き補償予測フレーム間符号化を行
い、 前記符号化対象フレームが振り分けられた階層の予測グ
ループを示す第1の識別情報及び前記動き補償予測フレ
ーム間符号化に使用された参照フレームを示す第2の識
別情報を、該符号化対象フレームに対する前記動き補償
予測フレーム間符号化の結果と共に符号化データとして
出力する動画像符号化方法。 - 【請求項3】前記複数階層の予測グループにそれぞれ属
する前記参照フレームの最大フレーム数を予め前記予測
グループ毎に個別に定める請求項1または2に記載の動
画像符号化方法。 - 【請求項4】前記複数階層の予測グループにそれぞれ属
する前記参照フレームの最大フレーム数の総和を一定と
し、前記各予測グループに配分する参照フレーム数を示
す情報を前記第1の識別情報と第2の識別情報及び前記
動き補償予測フレーム間符号化の結果と共に符号化デー
タとして出力する請求項2記載の動画像符号化方法。 - 【請求項5】前記符号化処理として、前記符号化対象フ
レームのフレーム毎にフレーム内符号化、前方予測フレ
ーム間符号化及び両方向予測フレーム間符号化に切り替
えて行い、 前記フレーム内符号化及び前方予測フレーム間符号化を
行う符号化対象フレーム及び該符号化対象フレームに対
応する前記参照フレームを第1階層の予測グループに振
り分け、前記両方向予測フレーム間符号化を行う符号化
対象フレーム及び該符号化対象フレームに対応する前記
参照フレームを該第1階層よりも上位の第2階層の予測
グループに振り分ける請求項1乃至請求項4のいずれか
1項記載の動画像符号化方法。 - 【請求項6】動画像の符号化対象フレームに対して動き
補償予測フレーム間符号化を含む符号化処理を行って得
られた符号化データを復号化して動画像を再生する動画
像復号化方法であって、 前記符号化データに含まれる前記符号化対象フレームが
振り分けられた階層の予測グループを示す第1の識別情
報及び前記動き補償予測フレーム間符号化に使用された
参照フレームを示す第2の識別情報を復号化し、 復号化された前記第1の識別情報及び第2の識別情報に
従って、前記符号化対象フレームが振り分けられた階層
の予測グループ又はそれより下位の階層の予測グループ
に属する少なくとも一つの参照フレームを選択し、 選択した参照フレームを用いて前記符号化データに含ま
れる前記動き補償予測フレーム間符号化の結果を復号化
する動画像復号化方法。 - 【請求項7】動画像の符号化対象フレームに対して、少
なくとも一つの復号化済みフレームを参照フレームとし
て用いる動き補償予測フレーム間符号化を含む符号化処
理を行う動画像符号化装置であって、 前記符号化対象フレームを複数の参照フレームがそれぞ
れ属する複数階層の予測グループのうちの何れかの階層
の予測グループに振り分ける手段と、 前記符号化対象フレームが振り分けられた階層以下の少
なくとも一つの階層の予測グループに属する前記参照フ
レームを用いて前記動き補償予測フレーム間符号化を行
う手段と、 前記符号化対象フレームが振り分けられた階層の予測グ
ループを示す第1の識別情報及び前記動き補償予測フレ
ーム間符号化に使用された参照フレームを示す第2の識
別情報を、該符号化対象フレームに対する前記動き補償
予測フレーム間符号化の結果と共に符号化データとして
出力する手段とを具備する動画像符号化装置。 - 【請求項8】動画像の符号化対象フレームに対して動き
補償予測フレーム間符号化を含む符号化処理を行って得
られた符号化データを復号化して動画像を再生する動画
像復号化装置であって、 前記符号化データに含まれる前記符号化対象フレームが
振り分けられた階層の予測グループを示す第1の識別情
報及び前記動き補償予測フレーム間符号化に使用された
参照フレームを示す第2の識別情報を復号化する手段
と、 復号化された前記第1の識別情報及び第2の識別情報に
従って、前記符号化対象フレームが振り分けられた階層
の予測グループ又はそれより下位の階層の予測グループ
に属する少なくとも一つの参照フレームを選択する手段
と、 選択した参照フレームを用いて前記符号化データに含ま
れる前記動き補償予測フレーム間符号化の結果を復号化
する手段とを具備する動画像復号化装置。 - 【請求項9】動画像の符号化対象フレームに対して、少
なくとも一つの復号化済みフレームを参照フレームとし
て用いる動き補償予測フレーム間符号化を含む符号化処
理をコンピュータに行わせるためのプログラムであっ
て、 前記符号化対象フレームを複数の参照フレームがそれぞ
れ属する複数階層の予測グループのうちの何れかの階層
の予測グループに振り分ける処理と、 前記符号化対象フレームが振り分けられた階層以下の少
なくとも一つの階層の予測グループに属する前記参照フ
レームを用いて前記動き補償予測フレーム間符号化を行
う処理と、 前記符号化対象フレームが振り分けられた階層の予測グ
ループを示す第1の識別情報及び前記動き補償予測フレ
ーム間符号化に使用された参照フレームを示す第2の識
別情報を、該符号化対象フレームに対する前記動き補償
予測フレーム間符号化の結果と共に符号化データとして
出力する処理とを前記コンピュータに行なわせるための
プログラム。 - 【請求項10】動画像の符号化対象フレームに対して動
き補償予測フレーム間符号化を含む符号化処理を行って
得られた符号化データを復号化して動画像を再生する処
理をコンピュータに行わせるためのプログラムであっ
て、 前記符号化データに含まれる前記符号化対象フレームが
振り分けられた階層の予測グループを示す第1の識別情
報及び前記動き補償予測フレーム間符号化に使用された
参照フレームを示す第2の識別情報を復号化する処理
と、 復号化された前記第1の識別情報及び第2の識別情報に
従って、前記符号化対象フレームが振り分けられた階層
の予測グループ又はそれより下位の階層の予測グループ
に属する少なくとも一つの参照フレームを選択する処理
と、 選択した参照フレームを用いて前記符号化データに含ま
れる前記動き補償予測フレーム間符号化の結果を復号化
する処理とを前記コンピュータに行わせるためのプログ
ラム。
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002097892A JP2003299103A (ja) | 2002-03-29 | 2002-03-29 | 動画像符号化方法と装置及び動画像復号化方法と装置 |
US10/396,437 US7298913B2 (en) | 2002-03-29 | 2003-03-26 | Video encoding method and apparatus employing motion compensated prediction interframe encoding, and corresponding video decoding method and apparatus |
KR20030019562A KR100557445B1 (ko) | 2002-03-29 | 2003-03-28 | 동화상 부호화방법 및 장치와, 동화상 복호화방법 및 장치 |
CN03128539A CN1450813A (zh) | 2002-03-29 | 2003-03-28 | 视频编码方法和装置,以及视频解码方法和装置 |
CNA2006100899535A CN1893652A (zh) | 2002-03-29 | 2003-03-28 | 视频编码方法和装置,以及视频解码方法和装置 |
EP20030252004 EP1349396A3 (en) | 2002-03-29 | 2003-03-28 | Video encoding method and apparatus, and video decoding method and apparatus |
US11/677,948 US20070140348A1 (en) | 2001-12-19 | 2007-02-22 | Video encoding method and apparatus, and video decoding method and apparatus |
US11/765,123 US20070237230A1 (en) | 2002-03-29 | 2007-06-19 | Video encoding method and apparatus, and video decoding method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002097892A JP2003299103A (ja) | 2002-03-29 | 2002-03-29 | 動画像符号化方法と装置及び動画像復号化方法と装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006155050A Division JP2006311589A (ja) | 2006-06-02 | 2006-06-02 | 動画像復号化方法及び装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2003299103A true JP2003299103A (ja) | 2003-10-17 |
Family
ID=27800583
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002097892A Pending JP2003299103A (ja) | 2001-12-19 | 2002-03-29 | 動画像符号化方法と装置及び動画像復号化方法と装置 |
Country Status (5)
Country | Link |
---|---|
US (3) | US7298913B2 (ja) |
EP (1) | EP1349396A3 (ja) |
JP (1) | JP2003299103A (ja) |
KR (1) | KR100557445B1 (ja) |
CN (2) | CN1450813A (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006333249A (ja) * | 2005-05-27 | 2006-12-07 | Canon Inc | 画像復号装置及び方法、画像符号化装置及び方法、コンピュータプログラム及び記憶媒体 |
KR100694058B1 (ko) | 2004-09-30 | 2007-03-12 | 삼성전자주식회사 | 멀티 타임 스캔 방식에 기초한 인트라 모드 인코딩 및디코딩 방법 및 장치 |
JPWO2005064947A1 (ja) * | 2003-12-25 | 2007-12-20 | 日本電気株式会社 | 動画像符号化方法及び装置 |
JP2008219887A (ja) * | 2004-04-28 | 2008-09-18 | Matsushita Electric Ind Co Ltd | ストリーム生成装置、ストリーム生成方法、ストリーム再生装置、ストリーム再生システム、ストリーム再生方法および記録方法 |
JP2010516138A (ja) * | 2007-01-12 | 2010-05-13 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオ信号を符号化するための方法及びシステム、符号化されたビデオ信号、並びに、ビデオ信号を復号するための方法及びシステム |
US7978919B2 (en) | 2004-09-30 | 2011-07-12 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding in inter mode based on multiple scanning |
JPWO2009110227A1 (ja) * | 2008-03-03 | 2011-07-14 | パナソニック株式会社 | 記録装置、再生装置および方法 |
US8300692B2 (en) | 2007-03-07 | 2012-10-30 | Panasonic Corporation | Moving picture coding method, moving picture decoding method, moving picture coding device, and moving picture decoding device |
JP2015027094A (ja) * | 2004-07-01 | 2015-02-05 | 三菱電機株式会社 | 符号化方法、復号方法、及び記録媒体再生システム |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8467447B2 (en) | 2004-05-07 | 2013-06-18 | International Business Machines Corporation | Method and apparatus to determine prediction modes to achieve fast video encoding |
US20060153295A1 (en) * | 2005-01-12 | 2006-07-13 | Nokia Corporation | Method and system for inter-layer prediction mode coding in scalable video coding |
JP2006211274A (ja) * | 2005-01-27 | 2006-08-10 | Toshiba Corp | 記録媒体、この記録媒体を再生する方法並びにその再生装置及び記録媒体に映像データを記録する記録装置並びにその記録方法 |
US7809057B1 (en) | 2005-09-27 | 2010-10-05 | Ambarella, Inc. | Methods for intra beating reduction in video compression |
JP4534935B2 (ja) * | 2005-10-04 | 2010-09-01 | 株式会社日立製作所 | トランスコーダ、記録装置及びトランスコード方法 |
KR20070038396A (ko) | 2005-10-05 | 2007-04-10 | 엘지전자 주식회사 | 영상 신호의 인코딩 및 디코딩 방법 |
KR100891662B1 (ko) | 2005-10-05 | 2009-04-02 | 엘지전자 주식회사 | 비디오 신호 디코딩 및 인코딩 방법 |
US8233535B2 (en) | 2005-11-18 | 2012-07-31 | Apple Inc. | Region-based processing of predicted pixels |
CN101257624B (zh) * | 2007-02-27 | 2011-08-24 | 华为技术有限公司 | 实现随机访问的方法及解码器 |
WO2008104127A1 (en) * | 2007-02-27 | 2008-09-04 | Huawei Technologies Co., Ltd. | Method for realizing random access in compressed code stream using multi-reference images and decoder |
CN101415122B (zh) * | 2007-10-15 | 2011-11-16 | 华为技术有限公司 | 一种帧间预测编解码方法及装置 |
US8363722B2 (en) * | 2009-03-31 | 2013-01-29 | Sony Corporation | Method and apparatus for hierarchical bi-directional intra-prediction in a video encoder |
KR101042267B1 (ko) * | 2009-05-12 | 2011-06-17 | 제주대학교 산학협력단 | 이중 콘센트 |
KR101611437B1 (ko) * | 2009-10-28 | 2016-04-26 | 삼성전자주식회사 | 복수의 프레임을 참조하여 영상을 부호화, 복호화하는 방법 및 장치 |
JP5020391B2 (ja) * | 2010-02-22 | 2012-09-05 | パナソニック株式会社 | 復号化装置及び復号化方法 |
US9400695B2 (en) * | 2010-02-26 | 2016-07-26 | Microsoft Technology Licensing, Llc | Low latency rendering of objects |
US10171813B2 (en) | 2011-02-24 | 2019-01-01 | Qualcomm Incorporated | Hierarchy of motion prediction video blocks |
ES2647622B1 (es) * | 2011-09-23 | 2018-11-07 | Kt Corporation | Método para inducir un bloque candidato de fusión y dispositivo que usa el mismo |
JP5698644B2 (ja) * | 2011-10-18 | 2015-04-08 | 株式会社Nttドコモ | 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム |
CN105850126B (zh) * | 2013-12-24 | 2019-03-26 | 株式会社Kt | 用于对多层视频信号进行编码/解码的方法和装置 |
WO2015147426A1 (ko) | 2014-03-24 | 2015-10-01 | 주식회사 케이티 | 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치 |
JP6437096B2 (ja) * | 2014-08-20 | 2018-12-12 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | ビデオ合成 |
GB201513610D0 (en) * | 2015-07-31 | 2015-09-16 | Forbidden Technologies Plc | Compressor |
JP7211373B2 (ja) * | 2018-01-04 | 2023-01-24 | 株式会社ソシオネクスト | 動画像解析装置、動画像解析システム、動画像解析方法、及びプログラム |
CN111263166B (zh) * | 2018-11-30 | 2022-10-11 | 华为技术有限公司 | 一种视频图像预测方法及装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0795589A (ja) | 1993-09-20 | 1995-04-07 | Toshiba Corp | 動画像符号化装置 |
DE69530908T2 (de) * | 1994-12-20 | 2004-05-19 | Matsushita Electric Industrial Co., Ltd., Kadoma | Verfahren und Vorrichtung zur Bildkodierung |
US5731840A (en) * | 1995-03-10 | 1998-03-24 | Kabushiki Kaisha Toshiba | Video coding/decoding apparatus which transmits different accuracy prediction levels |
US5883678A (en) * | 1995-09-29 | 1999-03-16 | Kabushiki Kaisha Toshiba | Video coding and video decoding apparatus for reducing an alpha-map signal at a controlled reduction ratio |
US6031575A (en) | 1996-03-22 | 2000-02-29 | Sony Corporation | Method and apparatus for encoding an image signal, method and apparatus for decoding an image signal, and recording medium |
JP3263807B2 (ja) * | 1996-09-09 | 2002-03-11 | ソニー株式会社 | 画像符号化装置および画像符号化方法 |
US6037987A (en) * | 1997-12-31 | 2000-03-14 | Sarnoff Corporation | Apparatus and method for selecting a rate and distortion based coding mode for a coding system |
JP2000032446A (ja) | 1998-07-14 | 2000-01-28 | Brother Ind Ltd | 動画データ圧縮装置及び記憶媒体 |
GB2364842A (en) | 2000-07-11 | 2002-02-06 | Motorola Inc | Method and system for improving video quality |
-
2002
- 2002-03-29 JP JP2002097892A patent/JP2003299103A/ja active Pending
-
2003
- 2003-03-26 US US10/396,437 patent/US7298913B2/en not_active Expired - Fee Related
- 2003-03-28 KR KR20030019562A patent/KR100557445B1/ko not_active IP Right Cessation
- 2003-03-28 EP EP20030252004 patent/EP1349396A3/en not_active Withdrawn
- 2003-03-28 CN CN03128539A patent/CN1450813A/zh active Pending
- 2003-03-28 CN CNA2006100899535A patent/CN1893652A/zh active Pending
-
2007
- 2007-02-22 US US11/677,948 patent/US20070140348A1/en not_active Abandoned
- 2007-06-19 US US11/765,123 patent/US20070237230A1/en not_active Abandoned
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4632049B2 (ja) * | 2003-12-25 | 2011-02-16 | 日本電気株式会社 | 動画像符号化方法及び装置 |
US9071846B2 (en) | 2003-12-25 | 2015-06-30 | Nec Corporation | Moving picture encoding method and apparatus for performing a multi-frame motion prediction with reference to a plurality of picture frames |
JPWO2005064947A1 (ja) * | 2003-12-25 | 2007-12-20 | 日本電気株式会社 | 動画像符号化方法及び装置 |
US7965766B2 (en) | 2004-04-28 | 2011-06-21 | Panasonic Corporation | Stream generation apparatus, stream generation method, coding apparatus, coding method, recording medium and program thereof |
JP4554690B2 (ja) * | 2004-04-28 | 2010-09-29 | パナソニック株式会社 | ストリーム生成装置、ストリーム生成方法、ストリーム再生装置、ストリーム再生システム、ストリーム再生方法および記録方法 |
US7889788B2 (en) | 2004-04-28 | 2011-02-15 | Panasonic Corporation | Stream generation apparatus, stream generation method, coding apparatus, coding method, recording medium and program thereof |
JP2008219887A (ja) * | 2004-04-28 | 2008-09-18 | Matsushita Electric Ind Co Ltd | ストリーム生成装置、ストリーム生成方法、ストリーム再生装置、ストリーム再生システム、ストリーム再生方法および記録方法 |
US8442382B2 (en) | 2004-04-28 | 2013-05-14 | Panasonic Corporation | Stream generation apparatus, stream generation method, coding apparatus, coding method, recording medium and program thereof |
JP2015027094A (ja) * | 2004-07-01 | 2015-02-05 | 三菱電機株式会社 | 符号化方法、復号方法、及び記録媒体再生システム |
US7978919B2 (en) | 2004-09-30 | 2011-07-12 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding in inter mode based on multiple scanning |
KR100694058B1 (ko) | 2004-09-30 | 2007-03-12 | 삼성전자주식회사 | 멀티 타임 스캔 방식에 기초한 인트라 모드 인코딩 및디코딩 방법 및 장치 |
JP2006333249A (ja) * | 2005-05-27 | 2006-12-07 | Canon Inc | 画像復号装置及び方法、画像符号化装置及び方法、コンピュータプログラム及び記憶媒体 |
JP4574444B2 (ja) * | 2005-05-27 | 2010-11-04 | キヤノン株式会社 | 画像復号装置及び方法、画像符号化装置及び方法、コンピュータプログラム及び記憶媒体 |
JP2010516138A (ja) * | 2007-01-12 | 2010-05-13 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオ信号を符号化するための方法及びシステム、符号化されたビデオ信号、並びに、ビデオ信号を復号するための方法及びシステム |
US8300692B2 (en) | 2007-03-07 | 2012-10-30 | Panasonic Corporation | Moving picture coding method, moving picture decoding method, moving picture coding device, and moving picture decoding device |
JPWO2009110227A1 (ja) * | 2008-03-03 | 2011-07-14 | パナソニック株式会社 | 記録装置、再生装置および方法 |
Also Published As
Publication number | Publication date |
---|---|
EP1349396A2 (en) | 2003-10-01 |
CN1450813A (zh) | 2003-10-22 |
US7298913B2 (en) | 2007-11-20 |
CN1893652A (zh) | 2007-01-10 |
US20070140348A1 (en) | 2007-06-21 |
US20070237230A1 (en) | 2007-10-11 |
KR20030078772A (ko) | 2003-10-08 |
KR100557445B1 (ko) | 2006-03-07 |
US20040017951A1 (en) | 2004-01-29 |
EP1349396A3 (en) | 2005-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2003299103A (ja) | 動画像符号化方法と装置及び動画像復号化方法と装置 | |
US5305113A (en) | Motion picture decoding system which affords smooth reproduction of recorded motion picture coded data in forward and reverse directions at high speed | |
KR100284450B1 (ko) | 디지탈 비디오신호 기록장치 및 재생장치 | |
US5887110A (en) | Video data playback system using effective scheme for producing coded video data for fast playback mode | |
JP3240017B2 (ja) | Mpeg信号記録方法およびmpeg信号再生方法 | |
US7706445B2 (en) | Image processing employing picture type conversion | |
US5739862A (en) | Reverse playback of MPEG video | |
WO2009096366A1 (ja) | 動画像符号化・復号システム、並びにそれに用いる動画像符号化装置および動画像復号装置 | |
JP2001359107A (ja) | 復号装置および復号方法、記録媒体、並びにプログラム。 | |
JPH06197273A (ja) | ビデオ信号符号化方法及び装置、ビデオ信号復号化方法及び装置、又はビデオ信号記録メディア | |
KR20060047952A (ko) | 디지털 미디어 스트림의 역방향 제시 | |
JP2001346165A (ja) | 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機 | |
KR100289856B1 (ko) | 화상 신호 재생 방법 및 화상 신호 재생 장치 | |
KR100860661B1 (ko) | 화상 재생 방법과 화상 처리 방법, 및 이들 방법을 이용가능한 화상 재생 장치, 화상 처리 장치, 텔레비전 수상기 | |
JP2006311589A (ja) | 動画像復号化方法及び装置 | |
JP4906197B2 (ja) | 復号装置および方法、並びに記録媒体 | |
WO1994017634A1 (fr) | Procede de codage de signal d'image, codeur de signal d'image, procede de decodage de signal d'image, decodeur de signal d'image et support d'enregristrement de signal d'image | |
JPH07115649A (ja) | 映像信号符号化復号化装置 | |
WO2013114826A1 (ja) | 画像復号装置 | |
JPH11205739A (ja) | 画像再生方法及び装置 | |
JP4462559B2 (ja) | トリック再生用コンテンツ作成方法および装置、トリック再生用圧縮動画データ送出方法および装置、およびトリック再生用コンテンツ作成用プログラム | |
JP2003052020A (ja) | 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機 | |
JPH06217251A (ja) | 画像信号記録装置および画像信号記録媒体 | |
KR100256648B1 (ko) | 영상 부호화 시스템의 압축 정보 포맷 | |
JP2002027478A (ja) | 画像情報符号化装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060404 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060602 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070703 |