JP3863510B2

JP3863510B2 - 動きベクトル符号化／復号化方法及びその装置

Info

Publication number: JP3863510B2
Application number: JP2003275687A
Authority: JP
Inventors: 雄一崔; 炳宇金
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2002-07-16
Filing date: 2003-07-16
Publication date: 2006-12-27
Anticipated expiration: 2023-07-16
Also published as: US7257263B2; US7483579B2; US7447371B2; KR20040007140A; US20080013631A1; US20080013843A1; KR100774296B1; US7486831B2; EP1389017A3; US20070286505A1; US20070286506A1; US7447370B2; DE60315565D1; DE60315565T2; CN1497981A; EP1389017A2; US20040013309A1; CN1229999C; EP1389017B1; JP2004056823A

Description

本発明は、動きベクトルの符号化及び復号化に係り、特に複数のピクチャーを参照して算出された動きベクトルの符号化/復号化方法及びその装置に関する。

MPEG-1またはMPEG-2符号化標準によれば、現在のピクチャーを符号化するに当って過去のピクチャーを参照するP-ピクチャー符号化方法と、過去及び未来のピクチャーを何れも参照するB-ピクチャー符号化方法とを採用し、それに基づいて動き補償を行う。また、符号化効率を高めるために現在ブロックの動きベクトルをそのまま符号化することでなく、隣接したブロックの動きベクトル間の連関性が反映さるべく隣接ブロックの動きベクトルを用いて予測符号化を行っている。

予測符号化に使われる隣接ブロックの動きベクトルは現在ブロックのそれと同じ参照ピクチャーを使用しなくなる場合が発生しうる。このような場合が発生すれば、従来には参照ピクチャーが異なる隣接ブロックの動きベクトルを予測符号化過程で除外する方式で対処してきた。これは、他の参照ピクチャーに基づいて得られた動きベクトルが予測符号化に参与することによって符号化効率が落ちるからである。しかし、他の参照ピクチャーを有する隣接ブロックの動きベクトルを予測符号化過程で除けば、隣接するブロックの動きベクトルの連関性の反映程度が低まり、よって動きベクトルの符号化効率がそれほど低下することがある。参照ピクチャーの相異なる場合が頻繁なブロックよりなるピクチャーの場合にはさらにそうである。

従って、本発明の目的は、参照ピクチャーの相異なる動きベクトル間に対してもさらに効率よく予測符号化を行える動きベクトル符号化/復号化方法及びその装置を提供することである。

本発明の他の目的は、参照ピクチャーの相異なる動きベクトルのうち少なくとも一部を再調整して符号化効率を高める動きベクトル符号化/復号化方法及びその装置を提供することである。

前記目的は、本発明によって動きベクトルを符号化する方法において、(a)現在のブロックに隣接する複数の隣接ブロックのうち前記現在ブロックの動きベクトルと相異なるタイプの動きベクトルを有する隣接ブロックに対して前記現在ブロックの動きベクトルと同タイプの動きベクトルを予測して予測動きベクトルを求める段階と、(b)求められた予測動きベクトルを含んで前記隣接ブロックの動きベクトルのうち前記現在ブロックの動きベクトルと同タイプの動きベクトルに対する代表値を算出する段階と、(c)算出された代表値と前記現在ブロックの動きベクトルとの誤差値を算出する段階と、(d)算出された誤差値を符号化する段階と、を含むことを特徴とする方法によっても達成される。

一方、本発明の他の分野によれば、動きベクトルを符号化する装置において、現在のブロックに隣接する複数の隣接ブロックのうち前記現在ブロックの動きベクトルと相異なるタイプの動きベクトルを有する隣接ブロックに対して前記現在ブロックの動きベクトルと同タイプの動きベクトルを予測して予測動きベクトルを求めた後、求められた予測動きベクトルを含んで前記隣接ブロックの動きベクトルのうち前記現在ブロックの動きベクトルと同タイプの動きベクトルに対する代表値を算出し、算出された代表値と前記現在ブロックの動きベクトルとの誤差値を算出する動きベクトル予測器と、算出された誤差値を符号化する動きベクトル符号化器と、を含むことを特徴とする装置によっても達成される。

前記現在ブロックの動きベクトルがフォワード動きベクトルMVfであり、前記隣接ブロックの動きベクトルはバックワード動きベクトルMVbである時、前記動きベクトル予測器は前記予測動きベクトルのフォワード動きベクトルMVf(予測)を次の式により算出することが望ましい。

MVf(予測)={前記隣接ブロックが属する現在ピクチャーと参照した過去ピクチャーとの距離/(前記隣接ブロックが参照した未来のピクチャーと前記過去ピクチャーとの距離-前記隣接ブロックが属する現在ピクチャーと参照した過去ピクチャーとの距離)}*MVb

前記現在ブロックの動きベクトルがバックワード動きベクトルMVbであり、前記隣接ブロックの動きベクトルはフォワード動きベクトルMVfである時、前記動きベクトル予測器は前記予測動きベクトルのバックワード動きベクトルMVb(予測)を次の式により算出することが望ましい。

MVb(予測)={(前記隣接ブロックが参照した未来ピクチャーと前記過去ピクチャーとの距離-前記隣接ブロックが属する現在ピクチャーと参照した過去ピクチャーとの距離)/前記隣接ブロックが属する現在ピクチャーと参照した過去ピクチャーとの距離}*MVf

前記動きベクトル予測器は次の式により算出された代表値の予測値PMV_Xを求めることが望ましい。PVM_X=median(MVf_A,MVf_B,MVf_C)またはmedian(MVb_A,MVb_B,MVb_C)

ここで、MVf_A,MVf_B,MVf_C、MVb_A,MVb_B及びMVb_Cは前記隣接ブロックの動きベクトルの成分であって、MVf_Aは左側ブロックのフォワード動きベクトルを、MVf_Bは上側ブロックのフォワード動きベクトルを、MVf_Cは右上側ブロックのフォワード動きベクトルを、MVb_Aは左側ブロックのバックワード動きベクトルを、MVb_Bは上側ブロックのバックワード動きベクトルを、MVb_Cは右上側ブロックのバックワード動きベクトルを、各々意味する。前記予測動きベクトルはそれらのうち何れか１つであり得る。

一方、本発明の他の分野によれば、動きベクトルを復号化する方法において、(a)現在のブロックに隣接する複数の隣接ブロックのうち前記現在ブロックと相異なるタイプの動きベクトルを有する隣接ブロックに対して前記現在ブロックの動きベクトルと同タイプの動きベクトルを予測して予測動きベクトルを求める段階と、(b)求められた予測動きベクトルを含んで前記隣接ブロックの動きベクトルのうち前記現在ブロックと同タイプの動きベクトルに対する代表値を算出する段階と、(c)算出された代表値と復号化された誤差値とを合算して前記現在ブロックの動きベクトルを算出する段階と、を含むことを特徴とする方法によっても達成される。

前記現在ブロックの動きベクトルがフォワード動きベクトルMVfであり、前記隣接ブロックの動きベクトルはバックワード動きベクトルMVbである時、前記予測動きベクトルのフォワード動きベクトルMVf(予測)は次の式により算出されることが望ましい。

MVf(予測)={前記隣接ブロックが属する現在ピクチャーと参照した過去ピクチャーとの時間差/(前記隣接ブロックが参照した未来ピクチャーと前記過去ピクチャーとの時間差-前記隣接ブロックが属する現在ピクチャーと参照した過去ピクチャーとの時間差)}*MVb

前記現在ブロックの動きベクトルがバックワード動きベクトルMVbであり、前記隣接ブロックの動きベクトルはフォワード動きベクトルMVfである時、前記予測動きベクトルのバックワード動きベクトルMVb(予測)は次の式により算出されることが望ましい。

MVb(予測)={(前記隣接ブロックが参照した未来ピクチャーと前記過去ピクチャーとの時間差-前記隣接ブロックが属する現在ピクチャーと参照した過去ピクチャーとの時間差)/前記隣接ブロックが属する現在ピクチャーと参照した過去ピクチャーとの時間差}*MVf

MVf(予測)={前記隣接ブロックが属する現在ピクチャーと参照した過去ピクチャーとの距離/(前記隣接ブロックが参照した未来ピクチャーと前記過去ピクチャーとの距離-前記隣接ブロックが属する現在ピクチャーと参照した過去ピクチャーとの距離)}*MVb

前記(b)段階は次式により算出された代表値である復号化のための予測値PMV_Xを求める段階であることが望ましい。PVM_X=median(MVf_A,MVf_B,MVf_C)またはmedian(MVb_A,MVb_B,MVb_C)

一方、本発明の他の分野によれば、前記目的は、動きベクトルを復号化する装置において、誤差値を復号化する動きベクトル復号化器と、現在のブロックに隣接する複数の隣接ブロックのうち前記現在ブロックと相異なるタイプの動きベクトルを有する隣接ブロックに対して前記現在ブロックと同タイプの動きベクトルを予測して予測動きベクトルを求めた後、求められた予測動きベクトルを含んで前記隣接ブロックの動きベクトルのうち前記現在ブロックの動きベクトルと同タイプの動きベクトルに対する代表値を算出し、算出された代表値と前記誤差値を合算して前記現在ブロックの動きベクトルを算出する動きベクトル予測補償器と、を含むことを特徴とする装置によっても達成される。

前記現在ブロックの動きベクトルがフォワード動きベクトルMVfであり、前記隣接ブロックの動きベクトルはバックワード動きベクトルMVbである時、前記動きベクトル予測補償器は前記予測動きベクトルのフォワード動きベクトルMVf(予測)を次の式により算出することが望ましい。

前記現在ブロックの動きベクトルがバックワード動きベクトルMVbであり、前記隣接ブロックの動きベクトルはフォワード動きベクトルMVfである時、前記動きベクトル予測補償器は前記予測動きベクトルのバックワード動きベクトルMVb(予測)を次の式により算出することが望ましい。

一方、前記目的は、前述した符号化方法または復号化方法を行うためのプログラムコードが記録されたコンピュータにて判読可能な情報貯蔵媒体によっても達成される。

本発明によれば、動きベクトルを符号化/復号化するに当たって、現在ブロックの動きベクトルと相異なるタイプの動きベクトルを有する隣接ブロックに対して同タイプの動きベクトルを予測し、これに基づいて中間値を求め、求められた中間値に基づいて得られた差分値を符号化し、復号化された差分値に現在ブロックと異なるタイプの動きベクトルを有する隣接ブロックに対して同タイプの動きベクトルを予測し、これに基づいて求められた中間値を合算して現在ブロックの動きベクトルを求めるので、符号化効率及び復号化効率が高まる。

すなわち、現在ブロックの動きベクトルを符号化/復号化するに当たって隣接ブロックのそれらの代表値(中間値)に基づくということは隣接するブロックの動きは類似しているという前提に基づく。それにより、本発明の動きベクトル符号化方法及び復号化方法によれば、従来の異なるタイプの動きベクトルの場合、代表値(中間値)算出から排除されることによって隣接ブロックの動きが正しく反映されない問題点を改善し、隣接ブロックが異なる動きベクトルを有する場合でも同タイプの予測動きベクトルを求め、これを代表値(中間値)を求めるのに反映することによって符号化及び復号化効率がより向上する。

以下、添付した図面に基づき、本発明の望ましい実施例について詳細に説明する。

図１は、本発明の望ましい実施例に係る動きベクトル符号化装置のブロック図である。

図１を参照すれば、符号化装置70は、動きベクトルを符号化する装置であって、動きベクトル予測器701及び動きベクトル符号化器702を備える。複数のブロックについての動きベクトルが入力されれば、動きベクトル予測器701は現在のブロックに隣接する複数の隣接ブロックのうち前記現在ブロックの動きベクトルと相異なるタイプの動きベクトルだけを有する隣接ブロックに対して前記現在ブロックの動きベクトルと同タイプの動きベクトルを予測して予測動きベクトルを求めた後、求められた予測動きベクトルを含んで前記隣接ブロックの動きベクトルのうち前記現在ブロックの動きベクトルと同タイプの動きベクトルに対する代表値を算出し、算出された代表値と前記現在ブロックの動きベクトルとの誤差値を算出する。動きベクトル符号化器702は、動きベクトル予測器701から出力された誤差値を符号化する。本実施例における動きベクトル符号化器702は誤差値として差分値を符号化する。

図２は、本発明の望ましい実施例によって、図１の動きベクトル符号化装置を含む映像データ符号化装置のブロック図である。

図２を参照すれば、映像データ符号化装置は多重参照方式を採用した符号化装置であって、符号化制御部100、第1ソース符号化部200、第2ソース符号化部700を具備する。また、ソース復号化部300、メモリ部400、動き補償部500、及び動き予測部600を具備する。

入力される映像データは、図３のように時間軸に沿ってカメラから入力されるフレームまたはフレームを所定サイズに分割して得られたブロックで構成される。フレームは順次走査方式により得られた順次走査フレーム、飛越走査方式により得られたフィールドまたは飛越走査フレームを含む。したがって、後述する映像データは順次走査フレーム、飛越走査フレーム、フィールド、ブロック構造のピクチャーを意味する。

映像データが入力されれば、符号化制御部100は入力される映像の特性または使用者の所望の所定動作目的によって、入力映像に対して動き補償を行うか否かによるコーディングタイプ(イントラコーディング/インターコーディング)を決定して対応する制御信号を第1スイッチS1に出力する。動き補償を行う場合には以前または以後に入力された映像データが必要なので第1スイッチS1がターンオフされ、動き補償を行わない場合には以前または以後に入力された映像データが不要なので第1スイッチS1はターンオンされる。第1スイッチS1がターンオフされれば入力映像と以前または以後映像から得られた差映像データが第1ソース符号化部200に入力され、第1スイッチS1がターンオンされれば入力映像のみが第1ソース符号化部200に入力される。

第1ソース符号化部200は、入力された映像データを変換符号化して得られた変換係数値を所定の量子化ステップによって量子化し、量子化された変換係数値で構成された2次元データであるN×Mデータを得る。使われる変換の例としては、DCT(Discrete Cosine Transform)を挙げられる。量子化は既定の量子化ステップによって行われる。

一方、第1ソース符号化部200に入力されて符号化された映像データは、以後または以前に入力された映像データの動き補償のための参照データとして使われうるのでソース復号化部300により第1ソース符号化部200の逆過程である逆量子化と逆変換符号化とを経てからメモリ400に貯蔵される。また、ソース復号化部200から出力されたデータが差映像データであれば、符号化制御部100は第2スイッチS2をターンオフしてソース復号化部300から出力された差映像データを動き補償部500の出力に加算した後、メモリ400に貯蔵する。

動き予測部600は、入力された映像データとメモリ400に貯蔵されたデータとを比較し、現在入力されたデータと最も類似したデータを探した後、入力された映像データと比較して動きベクトルMV(Motion Vector)を出力する。動きベクトルは少なくとも１つのピクチャーに基づいて求められる。すなわち、複数の過去及び/または未来のピクチャーを参照して算出されうる。動きベクトルがメモリ400に伝えられれば、メモリ400は該当データを動き補償部500に出力し、動き補償部500は入力されたデータに基づいて現在符号化する映像データに該当する補償値を作って出力する。

第2ソース符号化部700は、第1ソース符号化部200から出力される量子化された変換符号化係数と動き予測部600から出力された動きベクトルとに関する情報を入力され、符号化制御部100で提供されるコーディングタイプ情報、量子化ステップ情報などその他の復号化に必要な情報を入力されて符号化して最終的に得られたビットストリームを出力する。

本発明に係る動きベクトルの符号化装置70は第2ソース符号化部700に備わる。したがって、本発明に係る動きベクトル符号化方法は第2ソース符号化部700により行われる。第2ソース符号化部700は、MPEG-4符号化標準、H.263符号化標準と同様に、動きベクトル間の連関性を反映して符号化効率を高めるために現在ブロックの動きベクトルをそのまま符号化することでなく、隣接するブロックの動きベクトルを用いて予測符号化を行う。

図４は、本発明の望ましい実施例に係る動きベクトル復号化装置のブロック図である。

図４を参照すれば、復号化装置は本発明によって動きベクトルを復号化する装置であって、動きベクトル復号化器131及び動きベクトル予測補償器132を具備する。動きベクトル復号化器131は入力された符号化された動きベクトル誤差値を復号化して誤差値を復元する。このように復元された誤差値から元の動きベクトルを得るためには誤差値計算に使われた予測値を求めた後、これを誤差値に加えて初めて最終的に元の動きベクトルが分かる。このために動きベクトル予測補償器132は複数のブロックに対する動きベクトルを入力されて現在のブロックに隣接する複数の隣接ブロックのうち前記現在ブロックの動きベクトルと相異なるタイプの動きベクトルだけを有する隣接ブロックに対して前記現在ブロックの動きベクトルと同タイプの動きベクトルを予測して予測動きベクトルを求めた後、求められた予測動きベクトルを含んで前記隣接ブロックの動きベクトルのうち前記現在ブロックの動きベクトルと同タイプの動きベクトルに対する代表値を算出し、算出された代表値を前記動きベクトル復号化器131により復元された誤差値に加算して現在ブロックの動きベクトルを算出する。

本発明に係る動きベクトル復号化方法は本発明に係る動きベクトル復号化装置130により行われる。動きベクトル復号化装置130はMPEG-4符号化標準、H.263符号化標準と同様に、動きベクトル間の連関性を反映して復号化効率を高めるために現在ブロックの動きベクトルをそのまま復号化せず隣接ブロックの動きベクトルを用いて予測復号化を行う。

図５は、図４の動きベクトル復号化装置130が備えられた映像データ復号化装置のブロック図である。

図５を参照すれば、復号化装置はビットストリームをデマルチプレックスするデマルチプレクサ110、第2ソース復号化部710、第1ソース復号化部210を備える。また、コーディングタイプ情報を復号化するコーディングタイプ情報復号化部120及び本発明に係る動きベクトル復号化を行う動きベクトル復号化部130を備える。

ビットストリームはデマルチプレクサ110によりエントロピー符号化された量子化された変換符号化係数、動きベクトル情報、コーディングタイプ情報等でデマルチプレックスされる。第2ソース復号化部710は符号化された変換符号化係数をエントロピー復号化して量子化された変換符号化係数を出力する。第1ソース復号化部210は量子化された変換符号化係数をソース復号化する。すなわち、図1の第1ソース符号化部200の逆過程を行う。例えば、第1ソース符号化部200がDCTを行えたならば、第1ソース復号化部210はIDCT(Inverse Discrete Cosine Transform)を行う。これにより、映像データが復元される。復元された映像データは動き補償のためにメモリ部410に貯蔵される。

一方、コーディングタイプ情報復号化部120は、コーディングタイプを判別して動き補償が必要なインタータイプである場合、第3スイッチS30をターンオフして第1ソース復号化部210から出力されたデータに動き補償部510から出力された動き補償値を加えて復元された映像データを得る。動きベクトル復号化部130は動きベクトル情報から得た動きベクトルが示す位置を知らせ、動き補償部510は動きベクトルが示す参照映像データから動き補償値を生成して出力する。動きベクトル復号化部130の詳細な動作は、図10に基づいて説明したものと同一なのでその詳細な説明は略す。

図６は、本発明の望ましい実施例に係る多重参照方式を説明するための参考図である。

図６を参照すれば、Iピクチャーは他のピクチャーを参照せずに得られるイントラピクチャーを示し、Bピクチャーは２つの相異なるピクチャーを参照して得られる両方向ピクチャーを示す。PピクチャーはIピクチャーだけを参照して得られる予測ピクチャーを示す。矢印は復号化時に必要なピクチャー、すなわち従属関係を示す。B2ピクチャーはI0ピクチャーとP4ピクチャーとに従属され、B1ピクチャーはI0ピクチャー、P4ピクチャー、B2ピクチャーに従属される。B3ピクチャーはI0ピクチャー、P4ピクチャー、B1ピクチャー、及びB2ピクチャーに従属される。したがって、ディスプレー順序はI0、B1、B2、B3、P4..順であるが、伝送順序はI0、P4、B2、B1、B3．．．になる。このように、図1の符号化装置によれば複数のピクチャーを参照して生成されるBピクチャーが存在する。換言すれば、本発明の符号化方法及び復号化方法での動きベクトルはフォワード予測方式、バックワード予測方式、両方向予測方式、及びダイレクト予測方式のうち両方向予測方式を含む少なくとも１つの方式で算出される。両方向予測方式において２つの参照ピクチャーは何れも過去ピクチャーまたは未来ピクチャーであり得る。

図７は、本発明の望ましい実施例に係る動き補償の単位となる動き補償ブロックを示す参考図である。

図７を参照すれば、ピクチャーは複数の動き補償ブロックで構成される。動き補償ブロックは本実施例に係る16×16マクロブロック(MB)はもとより、マクロブロックを水平方向に２分割して得られた16×8ブロック、マクロブロックを垂直方向に２分割して得られた8×16ブロック、マクロブロックを水平及び垂直方向に各々２分割して得られた8×8ブロック、これを再び水平または垂直方向に２分割して得られた8×4ブロックまたは4×8ブロック、水平及び垂直方向に各々２分割して得られた4×4ブロックを含む。

本発明に係る動きベクトル符号化方法は、現在ブロックの動きベクトルMV_Xの隣接ブロックの代表値、本実施例では中間値に対する誤差値を符号化する差分符号化方式による。すなわち、現在ブロックXに対する隣接ブロックである左側ブロックA、上側ブロックB、右上側ブロックCの動きベクトルを各々MV_A、MV_B、MV_Cとすれば、差分ベクトル符号化のための予測値である予測ベクトルPVM_Xとこれを用いた差分値である差分ベクトルMVD_Xは次の数学式1により計算される。計算はベクトルの成分値(x成分及びy成分)に対して各々独立して行われる。一方、左側ブロックAは現在ブロックXに属する最初行の最左側画素の左側に隣接した画素が属するブロックを、上側ブロックCは現在ブロックXに属する最初行の最左側画素の上側に隣接した画素が属するブロックを、右上側ブロックCは現在ブロックXに属する最初行の最右側画素の上側に隣接した画素の右側に隣接した画素が属するブロックを、各々示す。

本発明に係る動きベクトル復号化方法は現在ブロックの隣接ブロックの代表値、本実施例では中間値と、復号化して得た誤差値MVD_Xとを合算して現在ブロックの動きベクトルMV_Xを求める復号化方式による。すなわち、現在ブロックXに対する隣接ブロックである左側ブロックA、上側ブロックB、右上側ブロックCの動きベクトルを各々MV_A、MV_B、MV_Cとすれば、復号化のための予測値である予測ベクトルPVM_Xと、ここに復号化された誤差値MVD_Xを合算して得られる動きベクトルMV_Xは次の数式２により計算される。計算はベクトルの成分値(x成分及びy成分)に対して各々独立して行われる。

前述した符号化方法及び復号化方法によって予測動きベクトルを求めるに当って例外の場合を処理するロジックは次の通りである。

第１に、隣接ブロックA、B、C、Dのうち特定ブロックがピクチャー(またはスライス)の外に位置する場合は次の通り処理する。スライスは開始コードを有する一連のデータ列の最小単位であって任意の長さを有してマクロブロックで構成される。スライスは複数のピクチャーに亙って存在せず、１つのピクチャー内に存在する。

１）ブロックA及びDが何れもピクチャー(またはスライス)の外に位置する場合にはMV_A=MV_D=0とし、ブロックA及びDは現在ブロックXと異なる参照ピクチャーを有するものと見なす。

２）ブロックB、C、D何れもピクチャー(またはスライス)の外に位置する場合にはMV_B=MV_C=MV_Aとして中間値を取る場合に必ずMV_Aを現在のブロックXの予測ベクトルPMV_Xにする。

３）ブロックCがピクチャー(またはスライス)の外に位置する場合にはブロックDに代える。ブロックDは現在ブロックXの左上側ブロックであって現在ブロックXに属する最初行の最左側画素の上側に隣接した画素が属するブロックを示す。

第２に、隣接ブロックがイントラ符号化された場合、すなわち隣接ブロックA、B、C、Dのうちイントラ符号化されたブロックがあればそのブロックの動きベクトルを0にし、他の参照ピクチャーを有するものと見なす。

第３に、隣接ブロックが現在ブロックと異なる参照ピクチャーを有する場合には本発明で提案する方式によって「予測動きベクトル」を求めた後、求められた「予測動きベクトル」で中間値を求める。換言すれば、予測符号化に参与する現在ブロックと隣接ブロックとが相異なるタイプの動きベクトルを有していれば、本発明で提案する方式によって同タイプの予測動きベクトルを求めた後、これを数式１及び数式２の予測ベクトルを求める式に代入して中間値を求める。

図８は、本発明の望ましい実施例によって予測動きベクトルを求める場合を説明するための参考図である。

図８を参照すれば、現在ブロックXはフォワード動きベクトルMVf_Xを有しており、隣接ブロックA、Dは現在ブロックXと同タイプのフォワード動きベクトルMVf_A及びMVf_Dを有している。しかし、隣接ブロックBは現在ブロックXと相異なるタイプのバックワード動きベクトルMVb_Bを有し、隣接ブロックCはフォワード動きベクトルMVf_C及びバックワード動きベクトルMVb_Cを全て有している。

前述した数式１及び数式２に係る中間値は同タイプの動きベクトルについて求めるべきである。その理由は現在ブロックと異なる動きベクトルが符号化及び復号化に参与すれば、符号化及び復号化効率が低下しうるからである。ところが、隣接ブロックBは同タイプの動きベクトルを有していないために、先に隣接ブロックBの予測動きベクトルを求めなければならない。換言すれば、現在ブロックXと同タイプのフォワード動きベクトルを予測しなければならない。

図９は、予測動きベクトルを求める方式の一例を示す。

図９を参照すれば、隣接ブロックに対する予測動きベクトルとしてフォワード動きベクトルMVf(予測)またはバックワード動きベクトルMVb(予測)は次の式により予測されうる。

ここで、Distance_Aは対応隣接ブロックが属する現在ピクチャーが参照した参照ピクチャー1と参照ピクチャー2とのピクチャー距離(picture_distance)であり、Distance_Bは対応隣接ブロックが属する現在ピクチャーと参照ピクチャー1とのピクチャー距離(picture_distance)である。本例において参照ピクチャー1は現在ピクチャーに対する過去ピクチャーであり、参照ピクチャー2は未来ピクチャーである。

図１０は、予測動きベクトルを求める方式の他の例を示す。

図１０を参照すれば、隣接ブロックに対する予測動きベクトルとしてフォワード動きベクトルMVf(予測)またはバックワード動きベクトルMVb(予測）は次の式により予測できる。

ここで、TR_Aは対応隣接ブロックが属する現在ピクチャーが参照した過去ピクチャーと未来ピクチャーとの時間差であり、TR_Bは対応隣接ブロックが属する現在ピクチャーと過去ピクチャーとの時間差である。時間差はピクチャー間のディスプレーの相対的な時間順序を分かるためのカウンター値TR(Temporal Reference)から求められる。

一方、本発明に係る動きベクトル符号化方法はB(Bi-predictive)ピクチャーに対してその特徴を有するのでBピクチャーについてより詳細に説明すれば次の通りである。

Bピクチャーは、必ず時間的に過去ピクチャーと未来ピクチャーとをもって動き補償を行うべきであるという制約を有していない。これにより、Bピクチャーに属する現在ブロックの動きベクトルは時間や方向に独立的である。換言すれば、Bピクチャーは複数のピクチャーを参照して得られたものであるので、現在ブロックと隣接ブロックとが相異なるタイプの動きベクトルを有する可能性が高い。それにも拘わらず、Bピクチャーに属する現在ブロックの動きベクトルは本発明に係る動きベクトル符号化方法及び復号化方法により、隣接ブロックの動きベクトルのタイプに関係なく符号化及び復号化が可能である。

Bピクチャーは4つの動き補償モードを有するので4つの動きベクトルが存在する。フォワード動きベクトルForward MV(MVf)、バックワード動きベクトルBackward MV(MVb)、両方向動きベクトルBi-predictive MV(MVf、MVb)、ダイレクト動きベクトルDirect MVがそれである。ダイレクト動きベクトルの場合には動きベクトル情報を受信端に伝送しないので、符号化及び復号化する必要がないが、残りの動きベクトルはPピクチャーと同様に、隣接ブロックの動きベクトルから得られた予測ベクトルPMVを使用して符号化/復号化する。

前述したように、Bピクチャーに属する現在ブロックの動きベクトルは時間や方向において独立しているのでフォワード、バックワードが必ずしも特定時間や方向に区分されることを意味することではない。両方向も必ずしも特定時間や方向を区分して特定時点を基準に過去と未来とを含むことではなく、特定地点を基準に両方向が必ずしも含むことではない。

予測ベクトルPMVをを求めるに当って、MVf及びMVbは各々隣接ブロックと同タイプの動きベクトルを用いる。すなわち、MVfは予測ベクトルを求めるに当たって隣接するMVfだけを利用し、MVbは周辺のMVbだけを用いる。但し、両方向動きベクトルは２種を何れも有しているので、各々必要な動きベクトルを使用する。したがって、Bピクチャーの動きベクトルを符号化/復号化するに当たって予測ベクトルPMVを設定する時、隣接する動きベクトルのタイプが相異なる場合、同タイプの動きベクトルは図９及び図１０を参照して説明した方法で予測できる。

図７を再び参照すれば、MVf_X=(1,2)、MVf_A=(4,4)、MVb_B=(-1,-1)、MVf_C=(0,3)、MVb_C=(-1,-2)とする時、従来の技術によればMVb_B=(-1,-1)は現在ブロックの動きベクトルとタイプとが相異なるので中間値を求めるのに排除され、代わりに(0,0)が代入される。したがって、中間値は(0,3)となり、差分値DMV_Xは(1,-1)となる。しかし、本発明によれば、MVb_B=(-1,-1)の代わりに予測された(1,1)が中間値を求めるのに使われる。したがって、中間値は(1,1)となり、差分値DMV_Xは(0,1)となる。

一方、動き補償ブロックは前述したように長方形を有しうる。長方形の動き補償ブロックの場合には動きベクトルの予測方向が分かるために、前述した周辺の３ブロックの動きベクトルの中間値を予測ベクトルとして使用する代わり他の方式で予測した予測ベクトルを使用する。

図１１は、長方形動き補償ブロックに対する予測ベクトルを求める方式を説明するための参考図である。

図１１を参照すれば、動き補償ブロックが8×16である場合、ブロック(1)の予測ベクトルとしては隣接ブロックのうち左側ブロックの動きベクトルが使われ、ブロック(2)の予測ベクトルとしては隣接ブロックのうち右上側ブロックの動きベクトルが使われる。

動き補償ブロックが16×8である場合、ブロック(3)の予測ベクトルとしては隣接ブロックのうち上側ブロックの動きベクトルが使われてブロック(4)の予測ベクトルとしては隣接ブロックのうち左側ブロックの動きベクトルが使われる。

動き補償ブロックが8×4である場合、ブロック(5)の予測ベクトルは各々以前ブロックの中間値がそのまま使われて求められ、ブロック(6)の予測ベクトルとしては各々隣接ブロックのうち左側ブロックの動きベクトルが使われる。

動き補償ブロックが4×8である場合、ブロック(7)の予測ベクトルは各々以前ブロックの中間値がそのまま使われて求められ、ブロック(8)の予測ベクトルとしては各々隣接ブロックのうち上側ブロックの動きベクトルが使われる。

但し、予測ベクトルとして設定された動きベクトルの参照ピクチャーが現在ブロックの参照ピクチャーと異なる場合には既存の中間値を使用する。他の例外の場合は前述した中間値予測と同一に処理する。

前述した動きベクトル符号化方法及び復号化方法は、コンピュータプログラムで作成できる。前記プログラムを構成するコード及びコードセグメントは当該分野のコンピュータプログラマーによって容易に推論されうる。また、前記プログラムはコンピュータにて読取り可能な情報貯蔵媒体に貯蔵され、コンピュータにて読取り、実行されることによって動きベクトル符号化方法及び復号化方法を具現する。前記情報貯蔵媒体は、磁気記録媒体、光記録媒体及びキャリアウェーブ媒体を含む。

本発明の望ましい実施例に係る動きベクトル符号化装置のブロック図である。本発明の望ましい実施例による図１の動きベクトル符号化装置を含む映像データ符号化装置のブロック図である。入力映像の一例である。本発明の望ましい実施例に係る動きベクトル復号化装置のブロック図である。本発明の望ましい実施例による図１０の動きベクトル復号化装置を含む映像データ復号化装置のブロック図である。本発明の望ましい実施例に係る多重参照方式を説明するための参考図である。本発明の望ましい実施例に係る動き補償の単位となる動き補償ブロックを示す参考図である。本発明の望ましい実施例によって予測動きベクトルを求める場合を説明するための参考図である。予測動きベクトルを求める方式の一例である。予測動きベクトルを求める方式の他の例である。長方形動き補償ブロックに対する予測ベクトルを求める方式を説明するための参考図である。

符号の説明

７０符号化装置
７０１動きベクトル予測器
７０２動きベクトル符号化器
１００符号化制御部
２００第１ソース符号化部
３００ソース復号化部
４００メモリ
５００動き補償部
６００動き予測部
７００第２ソース符号化部

Claims

動きベクトルを符号化する方法において、
(a) 現在のブロックに隣接する複数の隣接ブロックのうち前記現在ブロックの動きベクトルと相異なる参照ピクチャーに基づいた動きベクトルを有する隣接ブロックに対して前記隣接ブロックと現在ピクチャーが参照した参照ピクチャーとの間のピクチャー距離及び前記隣接ブロックが参照する参照ピクチャーと現在ピクチャーとの間のピクチャー距離の比例関係を用いて前記現在ブロックの動きベクトルと同じ参照ピクチャーに基づいた動きベクトルを予測して予測動きベクトルを求める段階と、
(b) 求められた予測動きベクトルを含んで前記隣接ブロックの動きベクトルのうち前記現在ブロックの動きベクトルと同じ参照ピクチャーに基づいた動きベクトルに対する中間値を算出する段階と、
(c) 算出された中間値と前記現在ブロックの動きベクトルとの誤差値を算出する段階と、
(d) 算出された誤差値を符号化する段階とを含むことを特徴とする方法。
前記隣接する複数のブロックは前記現在ブロックの左側ブロック、上側ブロック、及び右上側ブロックであることを特徴とする請求項１に記載の方法。
前記左側ブロックは前記現在のブロックに属する最初行の最左側画素の左側に隣接した画素が属するブロックを、前記上側ブロックは前記最左側画素の上側に隣接した画素が属するブロックを、前記右上側ブロックは前記現在のブロックに属する最初行の最右側画素の上側に隣接した画素の右側に隣接した画素が属するブロックを、各々示すことを特徴とする請求項１に記載の方法。
動きベクトルを符号化する装置において、
現在ブロックに隣接する複数の隣接ブロックのうち前記現在ブロックの動きベクトルと相異なる参照ピクチャーに基づいた動きベクトルを有する隣接ブロックに対して前記隣接ブロックと現在ピクチャーが参照した二つの参照ピクチャーとの間のピクチャー距離及び前記隣接ブロックが参照した参照ピクチャーと現在ピクチャーとの間のピクチャー距離の比例関係を用いて前記現在ブロックの動きベクトルと同じ参照ピクチャーに基づいた動きベクトルを予測して予測動きベクトルを求めた後、求められた予測動きベクトルを含んで前記隣接ブロックの動きベクトルのうち前記現在ブロックの動きベクトルと同タイプの動きベクトルに対する中間値を算出し、算出された中間値と前記現在ブロックの動きベクトルとの誤差値を算出する動きベクトル予測器と、
算出された誤差値を符号化する動きベクトル符号化器と、を含むことを特徴とする装置。
前記現在ブロックの動きベクトルがフォワード動きベクトルMVfであり、前記隣接ブロックの動きベクトルはバックワード動きベクトルMVbである時、
前記動きベクトル予測器は前記予測動きベクトルのフォワード動きベクトルMVf(予測)を次の式により算出することを特徴とする請求項４に記載の装置。
MVf(予測) = {(前記隣接ブロックが属する現在ピクチャーと前記現在ブロックが参照した過去ピクチャとの距離／（前記隣接ブロックが属する現在ピクチャーと前記現在ブロックが参照した過去ピクチャーとの距離−前記隣接ブロックが参照した未来ピクチャーと前記現在ブロックが参照した過去ピクチャーとの距離）)*MVb
前記現在ブロックの動きベクトルがバックワード動きベクトルMVbであり、前記隣接ブロックの動きベクトルはフォワード動きベクトルMVfである時、
前記動きベクトル予測器は前記予測動きベクトルのバックワード動きベクトルMVb(予測)を次の式により算出することを特徴とする請求項４に記載の装置。
MVf(予測) = {(前記隣接ブロックが属する現在ピクチャーと前記隣接ブロックが参照した過去ピクチャとの距離−前記現在ブロックが参照した未来ピクチャーと前記隣接ブロックが参照した過去ピクチャーとの距離)／隣接ブロックが属する現在ピクチャーと前記隣接ブロックが参照した過去ピクチャーとの距離}}*MVb
前記動きベクトル予測器は次の式により算出される中間値である予測値PMV_Xを求めることを特徴とする装置。
PVM_X = median(MVf_A, MVf_B, MVf_C)またはmedian(MVb_A, MVb_B, MVb_C)
ここで、MVf_A, MVf_B, MVf_C, MVb_A, MVb_B,及びMVb_Cは前記隣接ブロックの動きベクトルの成分であって、MVf_Aは左側ブロックのフォワード動きベクトルを、MVf_Bは上側ブロックのフォワード動きベクトルを、MVf_Cは右上側ブロックのフォワード動きベクトルを、MVb_Aは左側ブロックのバックワード動きベクトルを、MVb_Bは上側ブロックのバックワード動きベクトルを、MVb_Cは右上側ブロックのバックワード動きベクトルを、各々意味する。前記予測動きベクトルはそれらのうち何れか一つでありうる。
前記動きベクトル予測器は、
前記誤差値として前記算出された中間値と前記現在ブロックの動きベクトルとの差分値を算出することを特徴とする請求項７に記載の装置。
前記動きベクトル符号化器は前記差分値を符号化することを特徴とする請求項８に記載の装置。
動きベクトルを復号化する方法において、
（a）現在のブロックに隣接する複数の隣接ブロックのうち前記現在ブロックと異なる参照ピクチャーに基づいた動きベクトルを有する隣接ブロックに対して前記隣接ブロックと現在ピクチャーが参照した二つの参照ピクチャー間の時間差及び前記隣接ブロックが参照する参照ピクチャーと現在ピクチャーとの時間差の比例関係を用いて前記現在ブロックの動きベクトルと同じ参照ピクチャーに基づいた動きベクトルを予測して予測動きベクトルを求める段階と、
(b) 求められた予測動きベクトルを含んで前記隣接ブロックの動きベクトルのうち前記現在ブロックと同じ参照ピクチャーに基づいた動きベクトルに対する中間値を算出する段階と、
(c) 算出された中間値と復号化された誤差値とを合算して前記現在ブロックの動きベクトルを算出する段階と、を含むことを特徴とする方法。
前記隣接する複数のブロックは前記現在ブロックの左側ブロック、上側ブロック、及び右上側ブロックであることを特徴とする請求項１０に記載の方法。
前記左側ブロックは前記現在のブロックに属する最初行の最左側画素の左側に隣接した画素が属するブロックを、前記上側ブロックは前記最左側画素の上側に隣接した画素が属するブロックを、前記右上側ブロックは前記現在のブロックに属する最初行の最右側画素の上側に隣接した画素の右側に隣接した画素が属するブロックを、各々示すことを特徴とする請求項１１に記載の方法。
前記現在ブロックの動きベクトルがフォワード動きベクトルMVfであり、前記隣接ブロックの動きベクトルはバックワード動きベクトルMVbである時、
前記予測動きベクトルであるフォワード動きベクトルMVf(予測)は次の式により算出されることを特徴とする請求項１０に記載の方法。
MVf(予測) = {前記隣接ブロックが属する現在ピクチャーと前記現在ブロックが参照した過去ピクチャーとの時間差/(前記隣接ブロックが属する現在ピクチャーと前記現在ブロックが参照した過去ピクチャーとの時間差−前記隣接ブロックが参照した未来ピクチャーと前記現在ブロックが参照した過去ピクチャーとの時間差)}*MVb
前記現在ブロックの動きベクトルがバックワード動きベクトルMVbであり、前記隣接ブロックの動きベクトルはフォワード動きベクトルMVfである時、
前記予測動きベクトルであるバックワード動きベクトルMVb(予測)は次の式により算出されることを特徴とする請求項１０に記載の方法。
MVb(予測) = {(前記隣接ブロックが属する現在ピクチャーと前記隣接ブロックが参照した過去ピクチャーとの時間差−前記現在ブロックが参照した未来ピクチャーと前記隣接ブロックが参照した過去ピクチャーとの時間差)/前記隣接ブロックが属する現在ピクチャーと前記隣接ブロックが参照した過去ピクチャーとの時間差}*MVf
前記現在ブロックの動きベクトルがフォワード動きベクトルMVfであり、前記隣接ブロックの動きベクトルはバックワード動きベクトルMVbである時、
前記予測動きベクトルのフォワード動きベクトルMVf(予測)は次の式により算出されることを特徴とする請求項１０に記載の方法。
MVf(予測) = {前記隣接ブロックが属する現在ピクチャーと前記現在ブロックが参照した過去ピクチャーとの距離/(前記隣接ブロックが属する現在ピクチャーと前記現在ブロックが参照した過去ピクチャーとの距離−前記隣接ブロックが参照した未来ピクチャーと前記現在ブロックが参照した過去ピクチャーとの距離)}*MVb
前記現在ブロックの動きベクトルがバックワード動きベクトルMVbであり、前記隣接ブロックの動きベクトルはフォワード動きベクトルMVfである時、
前記予測動きベクトルのバックワード動きベクトルMVb(予測)は次の式により算出されることを特徴とする請求項１０に記載の方法。
MVb(予測) = {前記隣接ブロックが属する現在ピクチャーと前記隣接ブロックが参照した過去ピクチャーとの距離−前記現在ブロックが参照した未来ピクチャーと前記隣接ブロックが参照した過去ピクチャーとの距離}/前記隣接ブロックが属する現在ピクチャーと前記隣接ブロックが参照した過去ピクチャーの距離}*MVf
前記(b)段階は次の式により算出された中間値である復号化のための予測値PMV_Xを求める段階であることを特徴とする請求項１０に記載の方法。
PVM_X = median(MVf_A, MVf_B, MVf_C)またはmedian(MVb_A, MVb_B, MVb_C)
ここで、MVf_A, MVf_B, MVf_C, MVb_A, MVb_B,及びMVb_Cは前記隣接ブロックの動きベクトルの成分であって、MVf_Aは左側ブロックのフォワード動きベクトルを、MVf_Bは上側ブロックのフォワード動きベクトルを、MVf_Cは右上側ブロックのフォワード動きベクトルを、MVb_Aは左側ブロックのバックワード動きベクトルを、MVb_Bは上側ブロックのバックワード動きベクトルを、MVb_Cは右上側ブロックのバックワード動きベクトルを、各々意味する。前記予測動きベクトルはそれらのうち何れか一つでありうる。
前記(c)段階は、
前記算出された中間値と復号化された前記現在ブロックの差分値とを合算する段階であることを特徴とする請求項１０に記載の方法。
動きベクトルを復号化する装置において、
誤差値を復号化する動きベクトル復号化器と、
現在のブロックに隣接する複数の隣接ブロックのうち前記現在ブロックと相異なる参照ピクチャーに基づいた動きベクトルを有する隣接ブロックに対して前記隣接ブロックと現在ピクチャーが参照した参照ピクチャーとの間のピクチャー距離及び前記隣接ブロックが参照する参照ピクチャーと現在ピクチャーとの間のピクチャー距離の比例関係を用いて前記現在ブロックと同じ参照ピクチャーに基づいた動きベクトルを予測して予測動きベクトルを求めた後、求められた予測動きベクトルを含んで前記隣接ブロックの動きベクトルのうち前記現在ブロックの動きベクトルと同タイプの動きベクトルに対する中間値を算出し、算出された中間値と前記誤差値とを合算して前記現在ブロックの動きベクトルを算出する動きベクトル予測補償器と、を含むことを特徴とする装置。
前記隣接する複数のブロックは前記現在ブロックの左側ブロック、上側ブロック、右上側ブロックであることを特徴とする請求項１９に記載の装置。
前記左側ブロックは前記現在のブロックに属する最左側画素の左側に隣接した画素が属するブロックを、前記上側ブロックは前記最左側画素の上側に隣接した画素が属するブロックを、前記右上側ブロックは前記現在のブロックに属する最右側画素の上側に隣接した画素の右側に隣接した画素が属するブロックを、各々示すことを特徴とする請求項２０に記載の装置。
前記現在ブロックの動きベクトルがフォワード動きベクトルMVfであり、前記隣接ブロックの動きベクトルはバックワード動きベクトルMVbである時、
前記動きベクトル予測補償器は前記予測動きベクトルであるフォワード動きベクトルMVf(予測)を次の式により算出することを特徴とする請求項１９に記載の装置。
MVf(予測) = {前記隣接ブロックが属する現在ピクチャーと前記現在ブロックが参照した過去ピクチャーとの時間差/(前記隣接ブロックが属する現在ピクチャーと前記現在ブロックが参照した過去ピクチャーとの時間差−前記隣接ブロックが参照した未来ピクチャーと前記現在ブロックが参照した過去ピクチャーとの時間差)}*MVb
前記現在ブロックの動きベクトルがバックワード動きベクトルMVbであり、前記隣接ブロックの動きベクトルはフォワード動きベクトルMVfである時、
前記動きベクトル予測補償器は前記予測動きベクトルのバックワード動きベクトルMVb(予測)を次の式により算出することを特徴とする請求項１９に記載の装置。
MVb(予測) = {(前記隣接ブロックが属する現在ピクチャーと前記隣接ブロックが参照した過去ピクチャーとの時間差−前記現在ブロックが参照した未来ピクチャーと前記隣接ブロックが参照した過去ピクチャーとの時間差)/前記隣接ブロックが属する現在ピクチャーと前記隣接ブロックが参照した過去ピクチャーとの時間差}*MVf
前記現在ブロックの動きベクトルがフォワード動きベクトルMVfであり、前記隣接ブロックの動きベクトルはバックワード動きベクトルMVbである時、
前記動きベクトル予測補償器は前記予測動きベクトルであるフォワード動きベクトルMVf(予測)を次の式により算出することを特徴とする請求項１９に記載の装置。
MVf(予測) = {前記隣接ブロックが属する現在ピクチャーと前記現在ブロックが参照した過去ピクチャーとの距離/(前記隣接ブロックが属する現在ピクチャーと前記現在ブロックが参照した過去ピクチャーとの距離−前記隣接ブロックが参照した未来ピクチャーと前記現在ブロックが参照した過去ピクチャーとの距離)}*MVb
前記現在ブロックの動きベクトルがバックワード動きベクトルMVbであり、前記隣接ブロックの動きベクトルはフォワード動きベクトルMVfである時、
前記動きベクトル予測補償器は前記予測動きベクトルであるバックワード動きベクトルMVb(予測)を次の式により算出することを特徴とする請求項１９に記載の装置。
MVb(予測) = {(前記隣接ブロックが属する現在ピクチャーと前記隣接ブロックが参照した過去ピクチャーとの距離−前記現在ブロックが参照した未来ピクチャーと前記隣接ブロックが参照した過去ピクチャーとの距離)/前記隣接ブロックが属する現在ピクチャーと前記隣接ブロックが参照した過去ピクチャーとの距離}*MVf
前記動きベクトル予測補償器は次の式により算出された中間値である予測値PMV_Xを求めることを特徴とする請求項１９に記載の装置。
PVM_X = median(MVf_A, MVf_B, MVf_C)またはmedian(MVb_A, MVb_B, MVb_C)
ここで、MVf_A, MVf_B, MVf_C, MVb_A, MVb_B,及びMVb_Cは前記隣接ブロックの動きベクトルの成分であって、MVf_Aは左側ブロックのフォワード動きベクトルを、MVf_Bは上側ブロックのフォワード動きベクトルを、MVf_Cは右上側ブロックのフォワード動きベクトルを、MVb_Aは左側ブロックのバックワード動きベクトルを、MVb_Bは上側ブロックのバックワード動きベクトルを、MVb_Cは右上側ブロックのバックワード動きベクトルを、各々意味する。前記予測動きベクトルはそれらのうち何れか一つでありうる。