JP2001313948A - 動きベクトル変換装置及び方法 - Google Patents

Abstract

(57)【要約】 【課題】 ＭＰＥＧ２画像圧縮情報をＭＰＥＧ４画像圧
縮情報に変換する際に符号化効率を低減させない。 【解決手段】 ＭＰＥＧ２の１６×１６マクロブロッ
ク、ＭＰＥＧ２の１６×１６動きベクトル、画像サイズ
等のパラメータを格納するマクロブロック１４と、この
マクロブロック情報バッファ１４に格納されたパラメー
タを用い、動きベクトルの長さに基づいて、符号化効率
が最も高いＭＰＥＧ２の１６×１６マクロブロックのＭ
ＰＥＧ２の１６×１６動きベクトル選択してＭＰＥＧ４
の１６×１６動きベクトルとする動きベクトル変換部１
５とを有している。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動きベクトルを変
換する動きベクトル変換装置及び方法に関し、詳しく
は、離散コサイン変換等の直交変換と動き補償によって
圧縮されたＭＰＥＧ等の画像情報（ビットストリーム）
を衛星放送、ケーブルＴＶ、インターネット等のネット
ワークメディアを介して受信する際に、若しくは光、磁
気ディスクのような記憶メディア上で処理する際に用い
られる画像情報を変換する際に、動きベクトルを変換す
る動きベクトル変換装置及び方法に関する。

【０００２】

【従来の技術】近年、画像情報をディジタルとして取り
扱い、効率の高い情報の伝送、蓄積を目的とし、画像情
報特有の冗長性を利用して、離散コサイン変換等の直交
変換と動き補償により圧縮するＭＰＥＧなどの画像情報
圧縮方式が提供されている。そして、このような画像情
報圧縮方法に準拠した装置は、放送局などの情報配信、
及び一般家庭における情報受信の双方において普及しつ
つある。

【０００３】特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ １３
８１８−２）は、飛び越し走査画像及び順次走査画像の
双方、並びに標準解像度画像及び高精細画像を網羅す
る、汎用画像符号化方式として定義されている。

【０００４】すなわち、ＭＰＥＧ２符号化圧縮方式によ
れば、例えば、７２０×４８０画素を持つ標準解像度の
飛び越し走査画像に４〜８Ｍｂｐｓの符号量（ビットレ
ート）を割り当て、１９２０×１０８８画素を持つ高解
像度の飛び越し走査画像に対して１８〜２２Ｍｂｐｓの
符号量（ビットレート）を割り当てることにより、高い
圧縮率と良好な画質の実現が可能となる。

【０００５】このようなことから、ＭＰＥＧ２は、プロ
フェッショナル用途及びコンシューマー用途の広範なア
プリケーションに今後とも用いられるものと予想され
る。しかし、ＭＰＥＧ２は、主として放送用に適合する
高画質符号化を対象としており、例えばＭＰＥＧ１より
低い符号量（ビットレート）、つまりより高い圧縮率の
符号化方式には対応していなかった。

【０００６】一方で、近年の携帯端末の普及により、今
後とも高い圧縮率の符号化方式のニーズは高まると思わ
れ、これに対応して、高い圧縮率を有するＭＰＥＧ４符
号化方式の標準化が行われている。この画像符号化方式
に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ １４
４９６−２として国際標準の規格が承認された。

【０００７】ところで、ディジタル放送用に一度符号化
されたＭＰＥＧ２画像圧縮情報（ビットストリーム）
を、携帯端末上等で処理するのにより適した、より低い
符号量（ビットレート）の画像圧縮情報（ビットストリ
ーム）に変換したいというニーズがある。

【０００８】かかる目的を達成する従来の画像情報変換
装置の例を図９に示す。すなわち、この画像情報変換装
置は、飛び越し走査のＭＰＥＧ２画像圧縮情報（ビット
ストリーム）を順次走査のＭＰＥＧ４画像圧縮情報（ビ
ットストリーム）に変換するものである。

【０００９】図９に示すように、この画像情報変換装置
は、ＭＰＥＧ２画像圧縮情報（ビットストリーム）を復
号する画像情報復号化部１と、画像情報復号化部１で復
号された画像の解像度及びフレームレートを変換する解
像度／フレームレート変換部２と、解像度／フレームレ
ート変換部２で解像度及びフレームレートを変換された
画像をＭＰＥＧ４画像圧縮情報（ビットストリーム）に
符号化する画像情報符号化部３とから構成される。

【００１０】画像情報変換装置に入力されたＭＰＥＧ２
画像圧縮情報（ビットストリーム）は、画像情報復号化
部１により復号される。

【００１１】ここで、画像情報変換装置に入力されるＭ
ＰＥＧ２画像圧縮情報（ビットストリーム）は、水平方
向及び垂直方向に共に８成分（以下、８×８という。他
も同様とする。）の離散コサイン変換（discrete cosin
e transformation; DCT）係数からなるブロックを単位
として構成される。ＭＰＥＧ２画像情報復号化部１は、
８×８ＤＣＴ係数のすべてを用いて復号処理を行うこと
ができるが、水平方向に低域４成分及び垂直方向に８成
分（以下、４×８という。）のＤＣＴ係数や、水平方向
及び垂直方向共に低域４成分（以下、４×４という。）
のＤＣＴ係数のみを用いた復号処理を行うこともでき
る。

【００１２】なお、以下の説明では、このような４×８
ＤＣＴ係数を用いた復号処理を４×８ダウンデコードと
呼び、４×４ＤＣＴ係数を用いた復号処理を４×４ダウ
ンデコードと呼ぶことにする。画像情報復号化部１は、
４×８ダウンデコードや４×４ダウンデコードによる処
理を採用することにより、ダウンデコードによる画質劣
化を最小限に抑えながら、演算量とビデオメモリ容量を
削減すると共に、後段のダウンサンプリング処理を簡略
化することができる。

【００１３】画像情報復号部１により復号された画像
は、解像度／フレームレート変換部２へ伝送され、任意
の異なる解像度及びフレームレートを持つ画像に変換さ
れ、さらに、画像情報符号化部３により、ＭＰＥＧ４画
像圧縮情報（ビットストリーム）に符号化される。

【００１４】ところで、画像情報符号化部３において
は、解像度／フレームレート変換部２において解像度及
びフレームレートが変換された画像をＭＰＥＧ４画像圧
縮情報（ビットストリーム）に符号化する際に動きベク
トルを検出することになるが、このときの動きベクトル
検出演算には全演算処理量の約６０〜７０パーセントが
費やされている。

【００１５】このように画像情報符号化部３における処
理量が多いために、従来の画像情報変換装置では、画像
情報をリアルタイムに変換することが難しく、その結
果、画像情報の変換に時間遅延が発生したり、装置の規
模が大きくなってしまうという問題があった。

【００１６】図１０に示す画像情報変換装置は、かかる
問題を解決するために提案されたものである。

【００１７】この画像情報変換装置においては、ＭＰＥ
Ｇ２画像圧縮情報（ビットストリーム）の動きベクトル
をＭＰＥＧ４画像圧縮情報（ビットストリーム）の動き
ベクトルに変換することにより、処理の高速化が図られ
ている。すなわち、上述した図９の画像情報変換装置の
画像情報符号化部３においては動きベクトルの検出に大
きな演算処理量を要していたが、この図１０に示す画像
情報変換装置の画像情報符号化装置７ではＭＰＥＧ４の
符号化の際に動きベクトルを検出する必要がないので、
演算量が低減されて処理が高速化される。

【００１８】この画像情報変換装置は、入力されたＭＰ
ＥＧ２画像圧縮情報（ビットストリーム）を復号すると
共にＭＰＥＧ２の動きベクトル、画像サイズ等のパラメ
ータを取り出す画像情報復号化部４と、画像情報復号化
部４で取り出されたパラメータ及び外部から入力された
画像サイズ調整フラグに基づいて、画像情報復号化部４
で復号された画像の解像度及びフレームレートを変換す
る解像度／フレームレート変換部５とを有している。

【００１９】解像度／フレームレート変換部５は、画像
情報復号化部４で取り出されたＭＰＥＧ２動きベクト
ル、画像サイズ等のパラメータに基づいて画像情報復号
化部４で復号された画像の解像度及びフレームレートを
変換する解像度／フレームレート変換部５ａと、外部か
ら入力された画像サイズ調整フラグに基づいて、解像度
／フレームレート変換部５ａにて解像度及びフレームレ
ートを変換された画像に対して画素の補填又は除去を行
う画素補填／除去部５ｂとを有している。

【００２０】また、画像情報変換装置は、画像情報復号
化部４から送られたＭＰＥＧ２の動きベクトルをＭＰＥ
Ｇ４の動きベクトルに変換する動きベクトル変換部６
と、解像度／フレームレート変換部５にて解像度及びフ
レームレートを変換された画像を動きベクトル変換部６
から送られたＭＰＥＧ４動きベクトルに基づいてＭＰＥ
Ｇ４画像圧縮情報（ビットストリーム）に符号化して出
力する画像情報符号化部７とを有している。

【００２１】この画像情報変換装置においては、解像度
／フレームレート変換部５は、画像情報符号化部３にお
けるＭＰＥＧ４画像圧縮情報（ビットストリーム）への
符号化に適合するように、画像情報復号化部４から供給
されＭＰＥＧ２画像圧縮情報（ビットストリーム）が復
号された画像の解像度及びフレームレートを変換する。

【００２２】動きベクトル変換部６は、解像度／フレー
ムレート変換部５における解像度変換の際に、画像情報
復号化部４から送られたＭＰＥＧ２動きベクトル、画像
サイズ等のパラメータや外部から供給された画像サイズ
調整フラグに基づいて、ＭＰＥＧ４動きベクトルを生成
する。

【００２３】動きベクトル変換部６における処理は、解
像度変換前の画像に対応する動きベクトルと、解像度変
換後の画像に対応する動きベクトルとが、大きな相関を
有することを用いたものである。

【００２４】これら解像度変換の前後の動きベクトルの
相関について、図１１を用いて説明する。

【００２５】図１１のＡに示す解像度変換前の現フレー
ム２０の左下には、太陽２１及び山２２が表示されてい
るとする。また、現フレーム２０の太陽２１は、前フレ
ームでは図中の網が掛けられた場所２３に位置していた
とする。そして、図中のＭＶは、前フレームの太陽２４
の位置を始点として現フレーム２０の太陽２１に向かう
動きベクトルを表している。なお、この動きベクトルＭ
Ｖは、フレームの水平成分及び垂直成分にそれぞれ分解
することができる。

【００２６】一方、図１１のＢに示す解像度変換後の現
フレーム２５に左下には、太陽２６及び山２７が表示さ
れているとする。また、現フレーム２５の太陽２６は、
前フレームでは図中の網が掛けられた部分２８に位置し
ていたとする。そして、図中の動きベクトルＭＶ’は、
前フレームの太陽２９の位置を始点として現フレーム２
５の太陽２６に向かう動きベクトルを表している。な
お、この動きベクトルＭＶ’も、フレームの水平成分及
び垂直成分にそれぞれ分解することができる。

【００２７】ここで、解像度変換後の動きベクトルＭ
Ｖ’は、解像度変換前の動きベクトルＭＶから解像度変
換レートに基づいて求めることができる。

【００２８】すなわち、解像度変換後の動きベクトルＭ
Ｖ’の水平成分は、解像度変換前の動きベクトルＭＶの
水平成分と、水平方向（横方向）の解像度変換レートと
を用いることによって求められる。同様に解像度変換後
の動きベクトルＭＶ’の垂直成分は、解像度変換前の動
きベクトルＭＶの垂直成分と、垂直方向（縦方向）の解
像度変換レートとを用いることによって求められる。

【００２９】このように、動きベクトル変換部６におい
ては、解像度変換前の動きベクトルＭＶや画像サイズ等
のパラメータに基づいて、解像度変換後の動きベクトル
ＭＶ’への変換を行うことができる。

【００３０】すなわち、図１０の動きベクトル変換部６
においては、解像度変換の比率を用いて、解像度変換前
のＭＰＥＧ２動きベクトルＭＶから解像度変換後のＭＰ
ＥＧ４の動きベクトルＭＶ’を得ることができる。した
がって、この図１０の動きベクトル変換部６においては
画像から動きベクトルを抽出するための演算は必要がな
いので、上述した図９の画像情報変換装置と比較する
と、画像を符号化する際の演算量が少なく、時間遅延が
低減されて処理が高速化されている。

【００３１】なお、画像情報復号化部４は、マクロブロ
ックの８×８ＤＣＴ係数を用いた復号の他に、４×８Ｄ
ＣＴ係数を用いた４×８ダウンデコードや４×４ＤＣＴ
係数を用いた４×４ダウンデコードを行うこともでき
る。このように、８×８ＤＣＴ係数を用いた復号に代わ
って４×８ダウンデコードや４×４ダウンデコードを採
用することにより、ダウンデコードによる画質劣化を最
小限に抑えながら、演算量とビデオメモリ容量を削減す
ることができる。さらに、これらのダウンデコードによ
って、後段のダウンサンプリング処理を簡略化すること
ができる。

【００３２】画像情報復号化部４から出力された画像
は、解像度／フレームレート変換部５へ送られ、解像度
及びフレームレート変換を施された後、外部から入力さ
れた画像サイズ調整フラグによりＭＰＥＧ４画像符号化
に適した画像サイズに変換されて出力される。

【００３３】解像度／フレームレート変換部５は、解像
度及びフレームレートを変換する解像度／フレームレー
ト変換部５ａと、解像度及びフレームレートが変換され
た画像に対して画素の補填又は除去を行う画素補填／除
去部５ｂとを有している。

【００３４】解像度／フレームレート変換部５ａは、画
像復号化部４から供給された画像の解像度を変換する。
ここでは、解像度／フレームレート変換部５は、水平方
向及び垂直方向共に画像の解像度が１／２になるような
ダウンサンプリングを行うものとする。

【００３５】まず、垂直方向のダウンサンプリングにつ
いて、図１２を参照して説明する。

【００３６】ＭＰＥＧ２画像圧縮情報（ビットストリー
ム）を復号した飛び越し走査の各フレームの画像は、図
１２のＡに示す第一フィールド及び図１２のＢに示す第
二フィールドから構成される。

【００３７】図中には、表示順序にしたがって、フレー
ム内で符号化されたイントラ符号化画像（Ｉピクチ
ャ）、前方の画像及び後方の画像を参照する双方向予測
符号化画像（Ｂピクチャ）、前方の画像を参照する順方
向予測符号化画像（Ｐピクチャ）の４つのフレームが示
されている。

【００３８】なお、簡単のために、以下では、Ｉピクチ
ャ、Ｐピクチャ及びＢピクチャをそれぞれＩ、Ｐ及びＢ
と略することがある。

【００３９】画像の垂直方向のダウンサンプリングは、
図１２のＡ及びＢに示すフレームから、図１２のＡに示
す第一フィールドを抽出して、飛び越し走査の画像を図
１２のＣに示す順次走査の画像に変換することにより行
う。この変換により、画像の垂直方向の解像度は１／２
になる。

【００４０】なお、垂直方向のダウンサンプリングは、
図１２のＡ及びＢに示すフレームからの図１２のＢに示
す第二フィールドを抽出することによって行ってもよ
い。

【００４１】実際には、垂直方向のダウンサンプリング
は、ビットレートを低下させるためのフレームレート変
換と同時に行われる。すなわち、図１２のＣに示す順次
走査の画像は、ＩＢＢＰのピクチャの内でＩピクチャ及
びＰピクチャから抽出された第一フィールドから構成さ
れる。

【００４２】これにより、図１２のＡ及びＢに示された
ＩＢＢＰのフレームから構成される飛び越し走査の画像
は、図１２のＣに示すようにＩＰの第一フィールドから
構成される順次走査の画像になる。

【００４３】異常のように、解像度／フレームレート変
換部５では、解像度変換と共に、同時に行われるなフレ
ームレート変換によってビットレートをさらに低減して
いる。

【００４４】一方、水平方向のダウンサンプリングにつ
いては、ダウンサンプリングフィルタにより解像度を１
／２に変換することにより行う。例えば、ダウンサンプ
リングフィルタは、画像から画素を間引くことにより解
像度の変換を行う。

【００４５】このようにして、解像度／フレームレート
変換部５ａに入力された飛び越し走査の画像は、解像度
を水平方向及び垂直方向共に１／２に変換されると同時
に、フレームレートを変換された順次走査の画像に変換
される。

【００４６】解像度／フレームレート変換部５ａにて解
像度及びフレームレートを変換された画像は、画像の画
素を補填又は除去する画素補填／除去部５ｂに送られ
る。

【００４７】画素補填／除去部５ｂは、画像情報符号化
部７における符号化に適合するように、画素の補填又は
除去を行うことにより画像サイズを調整する。

【００４８】具体的には、画素補填／除去部５ｂは、外
部から入力される画像サイズ調整フラグに基づいて、画
素の補填又は除去を行うことにより画像の水平方向及び
垂直方向の画素数が共に１６の倍数になるようにする。
これによって、画像のサイズは、画像情報符号化部７で
行われる１６×１６画素のマクロブロック単位の符号化
に適合するようになる。

【００４９】画素補填／除去部５ｂにおける処理は、図
１３に示すような手順によって行われる。

【００５０】図１３のＡに示すように、解像度／フレー
ムレート変換部５には、画像情報復号化部４で１６×１
６ＤＣＴ係数からなるマクロブロックごとに復号され、
１６×１６画素のマクロブロックを構成要素とした画像
が入力される。したがって、入力された画像を水平方向
にｍ画素及び垂直方向にｎ画素とすると、ｍ及びｎは共
に１６の倍数である。

【００５１】この画像は、解像度／フレームレート変換
部５の解像度／フレームレート変換部５ａによって、水
平方向及び垂直方向共に１／２に解像度変換され、水平
方向にｍ／２画素及び垂直方向にｎ／２画素から構成さ
れるようになる。

【００５２】このように解像度変換により水平方向にｍ
／２画素及び垂直方向にｎ／２画素から構成されるよう
になった画像が画素補填／除去部５ｂに入力されるが、
これらｍ／２及びｎ／２は、１６で割り切れる場合と、
１６で割ると８余る場合とがある。

【００５３】そこで、画素補填／除去部５ｂにおいて
は、図１３のＳ１に示すように、ｍ／２及びｎ／２が１
６の倍数である場合とそうでない場合によって処理を分
岐させている。

【００５４】すなわち、図１３のＢに示すように、ｍ／
２及びｎ／２が共に１６の倍数の場合には、画像のサイ
ズはＭＰＥＧ４の画像圧縮符号化に適合する。したがっ
て、この場合には、画素補填／除去部５ｂは、画素の補
填又は除去を行うことなく水平方向にｍ／２及び垂直方
向にｎ／２画素の画像をそのまま出力する。

【００５５】ｍ／２又はｎ／２の少なくとも一方が１６
で割ると８余る場合には、画像のサイズは、ＭＰＥＧ４
の画像圧縮符号化に適合していない。したがって、この
場合には、画像補填／除去部５ｂは、画像のサイズをＭ
ＰＥＧ４の画像圧縮符号化に適合させるために、画素の
補填又は除去を行うことにより画像のサイズを変更す
る。

【００５６】なお、以下では便宜上、水平方向のｍ／２
画素が１６で割り切れない場合について例示するが、垂
直方向のｎ／２画素が１６で割り切れない場合や、水平
方向のｍ／２画素及び垂直方向のｎ／２画素が共に１６
で割り切れない場合についても同様である。

【００５７】画素補填／除去部５ｂは、外部から入力さ
れた画像サイズ調整フラグに応じて、画像へ８画素を補
填する処理と、画像から８画素を除去する処理をスイッ
チＳ２で切り換える。

【００５８】すなわち、画像サイズ調整フラグに応じて
８画素を除去する場合には、スイッチＳ２で画素の除去
を選択する。

【００５９】この場合には、図１３のＣに示すように、
水平方向にｍ／２画素の画像の例えば後部から水平方向
に８画素が除去される。これによって、画像は水平方向
にはｍ／２−８画素（すなわち、１６で割り切れる画素
数）から構成されるようになる。同様に、画像の水平方
向に先頭から画素を除去することもできる。

【００６０】一方、画像調整フラグに応じて８画素を補
填する場合には、スイッチＳ２で画素の補填を選択す
る。

【００６１】この場合には、図１３のＤに示すように、
水平方向にｍ／２画素の画像の例えば後部に８画素が補
填される。これによって、画素は水平方向にはｍ／２＋
８画素（すなわち、１６で割り切れる画素数）から構成
されるようになる。同様に、画像の水平方向に先頭に画
素を補填することもできる。なお、画像に補填する画素
は、新たに作成したり、補填前の画像から複製したり、
画像に適した画素を選択したものを使用することができ
る。

【００６２】このような画素補填／除去部５ｂにおける
画素の補填又は除去により、画像の水平方向及び垂直方
向の画素数は共に１６の倍数になり、画像情報符号化部
７におけるＭＰＥＧ４画像圧縮情報（ビットストリー
ム）への符号化に適合するようになる。

【００６３】図１０に戻り、画像情報変換装置の画像情
報復号化部４において、入力されたＭＰＥＧ２画像圧縮
情報（ビットストリーム）は、可変長符号の復号化が行
われた後、Ｐピクチャに対する動きベクトルやマクロブ
ロックタイプなどその他のパラメータが取り出される。

【００６４】動きベクトル変換部６においては、これら
のパラメータを用いて動きベクトルの変換が行われる。
この動きベクトル変換部６における動きベクトル変換方
法について、図１４を参照して説明する。

【００６５】図１４のＡは画像情報復号化部４より出力
された画像を表している。図１４のＢは、図１４のＡに
示す画像を解像度／フレームレート変換部５で水平方向
及び垂直方向共に１／２の解像度に変換された画像を表
している。

【００６６】例えば、図１４のＡに示した解像度変換前
の画像における左上の１６×１６マクロブロック１０１
は、解像度／フレームレート変換部５によって、図６の
Ｂに示した変換後の画像における左上の８×８ブロック
１０２に変換される。

【００６７】同様に、図１４のＡに示した解像度変換前
の画像における４つの１６×１６マクロブロック１０３
は、解像度／フレームレート変換部５による解像度変換
後の画像における２×２の４つの８×８ブロック１０４
に対応している。これら４つの８×８ブロック１０４に
よって、一つの１６×１６マクロブロックが構成され
る。

【００６８】解像度変換前の画像における４つの１６×
１６マクロブロック１０３の各マクロブロックの動きベ
クトルＭＶ１，ＭＶ２，ＭＶ３，ＭＶ４は、解像度変換
後の画像における４つの８×８ブロック１０４の動きベ
クトルｍｖ１、ｍｖ２、ｍｖ３、ｍｖ４にそれぞれ対応
している。

【００６９】なお、１６×１６マクロブロックの動きベ
クトルを１６×１６動きベクトルと、８×８ブロックの
動きベクトルを８×８動きベクトルと称することにす
る。

【００７０】解像度／フレームレート変換部５による解
像度変換の前後の画像に対応する動きベクトルの相関は
前述したように大きいので、解像度変換後の８×８ブロ
ックの動きベクトルは、解像度変換前の１６×１６マク
ロブロックの動きベクトルより求めることができる。し
たがって、解像度変換前の４つの１６×１６マクロブロ
ック１０３の動きベクトルＭＶ１，ＭＶ２，ＭＶ３，Ｍ
Ｖ４から、解像度変換後の４つのブロック１０４の動き
ベクトルｍｖ１，ｍｖ２，ｍｖ３，ｍｖ４をそれぞれ求
めることができる。

【００７１】図１０に戻り、ＭＰＥＧ２の動きベクトル
をＭＰＥＧ４の動きベクトルに変換する画像情報変換装
置の動きベクトル変換部６の構成について説明する。

【００７２】この動きベクトル変換部６は、図１５に示
すように、入力されたＭＰＥＧ２の動きベクトル、画像
サイズ等のパラメータの内、ＭＰＥＧ２の１６×１６動
きベクトルをＭＰＥＧ４の８×８動きベクトルに変換す
る動きベクトル変換部８と、画像サイズ調整フラグに基
づいた画像サイズの調整に対応して動きベクトルを調整
する動きベクトル調整部９とを有している。

【００７３】また、動きベクトル変換部６は、動きベク
トル調整部９から出力されたＭＰＥＧ４の８×８動きベ
クトルをＭＰＥＧ４の１６×１６動きベクトルに変換す
る動きベクトル変換部１０と、ＭＰＥＧ４の１６×１６
動きベクトルを用いてイントラマクロブロックに対する
補正を行う動きベクトル補正部１１とを有している。

【００７４】動きベクトル変換部８は、動きベクトル変
換部６に入力されたＭＰＥＧ２画像圧縮情報（ビットス
トリーム）中の動きベクトル、画像サイズ等のパラメー
タは、ＭＰＥＧ４の８×８動きベクトルに変換する。

【００７５】ここで、フレーム内で符号化するため動き
補償を行わないＭＰＥＧ２の１６×１６イントラマクロ
ブロックに対しては、解像度変換したＭＰＥＧ４の８×
８ブロックが、動きベクトルを持つことを想定する。こ
のため、動きベクトル変換部８では、その８×８ブロッ
クに対する動きベクトルとして０を設定し、さらに後段
の動きベクトル補正部１１での処理を行うためにイント
ラモードフラグを設ける。なお、ＭＰＥＧ２では、イン
トラマクロブロックの場合、イントラモードフラグを立
てるようになされている。

【００７６】動きベクトル変換部８から出力されたＭＰ
ＥＧ４の８×８動きベクトルは、動きベクトル調整部９
において、画像サイズ調整フラグによって調整された画
像に応じた調整が施される。

【００７７】動きベクトル調整部９より出力されたＭＰ
ＥＧ４の８×８動きベクトルは、動きベクトル変換部１
０において、ＭＰＥＧ４の１６×１６マクロブロックを
構成する４つの８×８ブロックの動きベクトルの和を、
動きベクトルの個数で割ることによりＭＰＥＧ４の１６
×１６マクロブロックの動きベクトルを算出する。

【００７８】これにより、図１６に示すように、動きベ
クトル補正部１１は、そのブロックがイントラマクロブ
ロックに対応する場合に立つイントラモードフラグの状
態に応じて、スイッチ２１を切り換えて補正を行う。

【００７９】すなわち、動きベクトル補正部１１は、イ
ントラモードフラグが立っている場合には、スイッチ２
１を１に倒して処理を補正処理部２１に進める。補正処
理部２１は、イントラマクロブロックに対応する０に設
定されたＭＰＥＧ４の８×８ブロックの動きベクトル
を、動きベクトル変換部１０で変換されたＭＰＥＧ４の
１６×１６動きベクトルに置き換える。

【００８０】なお、このような置き換えに代え、補正処
理部２１は、イントラマクロブロックに対応するＭＰＥ
Ｇ４の８×８ブロックの動きベクトルを、そのイントラ
マクロブロックの周辺に存在するインターマクロブロッ
クの動きベクトルから変換された動きベクトルに置き換
えることもできる。

【００８１】また、補正処理部２１は、イントラマクロ
ブロックに対応するＭＰＥＧ４の８×８ブロックの動き
ベクトルを、そのイントラマクロブロックに一番近いイ
ンターマクロブロックの動きベクトルから変換された動
きベクトルに置き換えることもできる。

【００８２】さらに、ＭＰＥＧ２のマクロブロックタイ
プがスキップマクロブロックを示しているときには、Ｍ
ＰＥＧ４の各ブロックの動きベクトルは０に設定され
る。

【００８３】一方、イントラフラグモードが立たない場
合には、動きベクトル補正部１１はスイッチ２１を２に
倒す。この場合には、入力されたＭＰＥＧ４の８×８動
きベクトルがそのまま出力される。

【００８４】図１０に戻り、動きベクトル変換部６から
は、図１５に示した動きベクトル補正部１１を介したＭ
ＰＥＧ４の８×８動きベクトルと、動きベクトル変換部
１０にて変換されたＭＰＥＧ４の１６×１６動きベクト
ルが出力される。

【００８５】図１０の画像情報符号化部７では、解像度
／フレームレート変換部５からの出力画像に対して、動
きベクトル変換部６から出力されたＭＰＥＧ４の１６×
１６動きベクトル又はＭＰＥＧ４の８×８動きベクトル
を用いて、ＭＰＥＧ４画像符号化方式による符号化が行
わる。そして、この画像情報変換装置からは、画像情報
符号化部７で符号化されたＭＰＥＧ４画像圧縮情報（ビ
ットストリーム）が出力される。

【００８６】

【発明が解決しようとする課題】ところで、図１５に示
した動きベクトル変換部１０においては、動きベクトル
変換部８から出力されたＭＰＥＧ４の８×８動きベクト
ルの平均値を算出し、この算出値をＭＰＥＧ４の１６×
１６動きベクトルとしている。

【００８７】しかしながら、平均値を算出することで、
ＭＰＥＧ２画像圧縮情報（ビットストリーム）において
は符号化効率の高かったＭＰＥＧ２の１６×１６動きベ
クトルを持つマクロブロックが、隣接する符号化効率の
低いマクロブロックに対するＭＰＥＧ２の１６×１６動
きベクトルに影響され、ＭＰＥＧ４画像圧縮情報（ビッ
トストリーム）への符号化効率が低下するという問題点
を有している。

【００８８】本発明は、上述の実情に鑑みて提案される
ものであって、動きベクトルを変換する際に、画像圧縮
情報への符号化効率が低下しないような動きベクトルを
選択する動きベクトル変換装置及び方法を提供すること
を目的とする。

【００８９】

【課題を解決するための手段】上述の課題を解決するた
めに、本発明は、水平方向及び垂直方向共に１６成分の
離散コサイン変換係数からなるマクロブロックから構成
される、飛び越し走査の画像を符号化した入力画像圧縮
情報を、水平方向及び垂直方向共に１６成分の離散コサ
イン変換係数からなるマクロブロックから構成され、上
記飛び越し走査の画像に対して水平方向及び垂直方向共
に１／２のサイズを有する順次走査の画像を符号化した
出力画像圧縮情報に変換する際に動きベクトルを変換す
る変換装置において、上記入力画像圧縮情報のマクロブ
ロックは上記変換により水平方向及び垂直方向共に８成
分のブロックに変換され、上記入力画像圧縮情報のマク
ロブロックを動き補償する第１の動きベクトルに基づい
て上記出力画像圧縮情報のマクロブロックを構成する上
記ブロックをそれぞれ動き補償する第２のベクトルを生
成し、この第２の動きベクトルの内で、符号化効率の最
も高いものを上記出力画像圧縮情報のマクロブロックを
動き補償する第３の動きベクトルとするものである。

【００９０】すなわち、本発明は、入力画像圧縮情報と
して飛び越し走査のＭＰＥＧ２画像情報圧縮情報（ビッ
トストリーム）を入力とし、出力画像圧縮情報として順
次走査のＭＰＥＧ４画像圧縮情報（ビットストリーム）
を出力する際に、ＭＰＥＧ２画像圧縮情報（ビットスト
リーム）における画枠サイズ、及び、動きベクトルなど
のマクロブロックごとの情報を入力とし、ＭＰＥＧ２の
１６×１６動きベクトルをＭＰＥＧ４の８×８に変換す
る動きベクトル変換部、画像サイズ調整フラグによる動
きベクトル調整部、記憶手段であるマクロブロック情報
バッファ、ＭＰＥＧ４の８×８動きベクトルをＭＰＥＧ
４の１６×１６に変換する動きベクトル変換部、ＭＰＥ
Ｇ２のイントラマクロブロックに対する動きベクトル補
正部を有し、順次走査のＭＰＥＧ４画像圧縮情報（ビッ
トストリーム）符号化の際に高い符号化効率を与えるＭ
ＰＥＧ４の８×８動きベクトル及びＭＰＥＧ４の１６×
１６動きベクトルを出力するものである。

【００９１】ＭＰＥＧ２の１６×１６動きベクトルをＭ
ＰＥＧ４の８×８に変換する動きベクトル変換部におい
ては、ＭＰＥＧ２の１６×１６動きベクトルをスケーリ
ングし、また必要に応じて時間軸方向の補正をすること
でＭＰＥＧ４の８×８動きベクトルを生成し、画像サイ
ズ調整フラグによる動きベクトルヘ調整部においては、
ＭＰＥＧ４画像情報に符号化する際にマクロブロック単
位の処理を行うことを可能にするための画枠調整を行
い、マクロブロック情報バッファにおいては、入力され
たＭＰＥＧ２画像圧縮情報（ビットストリーム）におけ
る、ビット数、量子化スケール、非零ＤＣＴ係数の個数
といったマクロブロックごとの情報を格納し、ＭＰＥＧ
４の８×８動きベクトルからＭＰＥＧ４の１６×１６に
変換する動きベクトル変換部においては、マクロブロッ
ク情報バッファに格納された情報を元に、ＭＰＥＧ４画
像圧縮情報（ビットストリーム）の中の当該マクロブロ
ックに対するＭＰＥＧ４の８×８動きベクトルの内の１
つを選択してＭＰＥＧ４の１６×１６動きベクトルと
し、ＭＰＥＧ２イントラマクロブロックに対する動きベ
クトル補正部においては、ＭＰＥＧ２画像圧縮情報（ビ
ットストリーム）中の情報であるイントラモードフラグ
に応じた、ＭＰＥＧ４の８×８動きベクトルの補正を行
う。

【００９２】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照して詳細に説明する。

【００９３】本発明を適用した動きベクトル変換装置の
構成について、図１を参照して説明する。

【００９４】本実施の形態の動きベクトル変換装置は、
飛び越し走査のＭＰＥＧ２画像圧縮情報（ビットストリ
ーム）を順次走査のＭＰＥＧ４画像圧縮情報（ビットス
トリーム）に変換する画像情報変換装置に備えられ、入
力されたＭＰＥＧ２画像圧縮情報（ビットストリーム）
のＭＰＥＧ２の１６×１６動きベクトルをＭＰＥＧ４画
像圧縮情報（ビットストリーム）のＭＰＥＧ４の１６×
１６動きベクトル又はＭＰＥＧ４の８×８動きベクトル
に変換するものである。

【００９５】動きベクトル変換装置には、ＭＰＥＧ２の
１６×１６動きベクトル、画像サイズ、ＭＰＥＧ２の１
６×１６マクロブロック等のパラメータが入力される。

【００９６】動きベクトル変換装置は、入力されたＭＰ
ＥＧ２の１６×１６動きベクトルをＭＰＥＧ４の８×８
動きベクトルに変換する動きベクトル変換部１２と、動
きベクトル変換部１２から出力されたＭＰＥＧ４の８×
８動きベクトルを画像サイズ調整フラグに基づいた画像
サイズの調整に対応して調整する動きベクトル調整部１
３とを有している。

【００９７】また、動きベクトル変換装置は、入力され
たマクロブロック情報を格納するマクロブロック情報バ
ッファ１４と、マクロブロック情報バッファ１４に格納
されたマクロブロック情報に基づいて、動きベクトル調
整部１３から出力されたＭＰＥＧ４の８×８動きベクト
ルをＭＰＥＧ４の１６×１６の動きベクトルに変換する
動きベクトル変換部１５とを有している。

【００９８】さらに、動きベクトル変換装置は、動きベ
クトル変換部１５から送られたＭＰＥＧ４の１６×１６
動きベクトルに基づいて、動きベクトル調整部１３から
出力されたＭＰＥＧ４の１６×１６動きベクトルを用い
てイントラマクロブロックに対する補正を行う動きベク
トル補正部１６とを有している。

【００９９】そして、動きベクトル変換装置は、動きベ
クトル変換部１５からのＭＰＥＧ４の１６×６動きベク
トルと、動きベクトル補正部１６からの８×８動きベク
トルとを出力する。

【０１００】次に、動きベクトル変換部１５におけるＭ
ＰＥＧ４の８×８動きベクトルからＭＰＥＧ４の１６×
１６動きベクトルへの変換の動作原理について説明す
る。

【０１０１】本実施の形態では、動きベクトル変換部１
５は、動きベクトル調整部１３から供給されるＭＰＥＧ
４の８×８動きベクトルの内、符号化効率が最も高いと
思われるＭＰＥＧ４の８×８マクロブロックの動きベク
トルを選択する。そして、選択されたＭＰＥＧ４の８×
８動きベクトルをＭＰＥＧ４の１６×１６動きベクトル
として出力する。

【０１０２】ここで、動きベクトル変換部１５は、マク
ロブロック情報バッファ１４に格納されたマクロブロッ
ク情報に基づいて、ＭＰＥＧ４の８×８ブロックに対応
するＭＰＥＧ２の１６×１６マクロブロックの符号化効
率を判定する。

【０１０３】上述したように、動きベクトル変換部１２
における変換において、ＭＰＥＧ４の８×８ブロックに
はＭＰＥＧ２の１６×１６マクロブロックが対応してい
る。符号化効率の判定は、ＭＰＥＧ４の１６×１６マク
ロブロックを構成する４つのＭＰＥＧ４の８×８ブロッ
クに対応する４つのＭＰＥＧ２の１６×１６マクロブロ
ックに対して行われる。

【０１０４】具体的には、動きベクトル変換部１５は、
次に掲げるような方法により、４つのＭＰＥＧ２の１６
×１６マクロブロックの内、符号化効率の最も高いマク
ロブロックを判定する。

【０１０５】第一の方法は、ＭＰＥＧ２の１６×１６マ
クロブロックを構成する１６×１６ＤＣＴ係数の内、非
零のＤＣＴ係数が最も少ないＭＰＥＧ２の１６×１６マ
クロブロックを符号化効率の最も高いマクロブロックと
判定するものである。

【０１０６】第二の方法は、ＭＰＥＧ２の１６×１６マ
クロブロックは輝度成分及び色差成分より構成される
が、この内で輝度成分のＤＣＴ係数に割り当てられたビ
ット数の最も少ないマクロブロックを符号化効率の最も
高いマクロブロックと判定するものである。

【０１０７】第三の方法は、ＭＰＥＧ２の１６×１６マ
クロブロックのＤＣＴ係数に割り当てられたビット数の
最も少ないマクロブロックを符号化効率の最も高いマク
ロブロックと判定するものである。

【０１０８】第四の方法は、動きベクトル等を含め、Ｍ
ＰＥＧ２の１６×１６マクロブロックに割り当てられた
全ビット数の最も少ないマクロブロックを符号化効率の
最も高いマクロブロックと判定するものである。

【０１０９】第五の方法は、ＭＰＥＧ２の１６×１６マ
クロブロックのＤＣＴ係数を量子化するために割り当て
られた量子化スケールが最も小さいマクロブロックを符
号化効率の最も高いマクロブロックと判定するものであ
る。

【０１１０】第六の方法は、コンプレキシティＸの最も
低いＭＰＥＧ２の１６×１６マクロブロックを符号化効
率の最も高いマクロブロックと判定するものである。

【０１１１】ここで、各マクロブロックに割り当てられ
たコンプレキシティＸは、そのマクロブロックに割り当
てられた量子化スケールＱ、及びビット数Ｂを用いて以
下のように計算される。

【０１１２】

【数１】

【０１１３】ビット数Ｂは、マクロブロック全体に割り
当てられたビット数、ＤＣＴ係数に割り当てられたビッ
ト数、又は輝度成分に割り当てられたＤＣＴ係数に割り
当てられたビット数のいずれでもよい。

【０１１４】また、動きベクトル変換部１５は、次に掲
げるような方法により、４つのＭＰＥＧ２の１６×１６
マクロブロックの内、符号化効率の最も高いマクロブロ
ックを判定してもよい。

【０１１５】すなわち、符号化効率のパラメータとして
ＭＰＥＧ２の１６×１６マクロブロックごとの動きベク
トルの長さを用い、その中間値となる動きベクトルに対
応するマクロブロックを符号化効率の最も高いマクロブ
ロックと判定するものである。

【０１１６】上記中間値は、ＭＰＥＧ２の１６×１６マ
クロブロックごとの非零の離散コサイン変換係数の個数
を用い、この個数の最も少ないマクロブロックを２回重
複して数え、合計５つの動きベクトルから求めることこ
とができる。

【０１１７】また、上記中間値は、ＭＰＥＧ２の１６×
１６マクロブロックごとの輝度成分の離散コサイン変換
係数に割り当てられたビット数を用い、このビット数の
最も少ないマクロブロックを２回重複して数え、合計５
つの動きベクトルから求めることができる。

【０１１８】さらに、上記中間値は、ＭＰＥＧ２の１６
×１６マクロブロックごとの離散コサイン変換係数に割
り当てられた全ビット数を用い、この全ビット数の最も
少ないマクロブロックを２回重複して数え、合計５つの
動きベクトルから求めることができる。

【０１１９】そして、上記中間値は、ＭＰＥＧ２の１６
×１６マクロブロックに割り当てられた量子化スケール
を用い、この量子化スケールの最も少ないマクロブロッ
クを２回重複して数え、合計５つの動きベクトルから求
めることができる。

【０１２０】さらにまた、上記中間値は、ＭＰＥＧ２の
１６×１６マクロブロックごとに割り当てられたビット
数Ｂおよび量子化スケールＱに関して、上記コンプレキ
シティＸを用い、このコンプレキシティＸの最も少ない
マクロブロックを２回重複して数え、合計５つの動きベ
クトルから中間値を求めることができる。

【０１２１】このように、動きベクトル変換部１５は、
符号化効率の最も高いと思われるＭＰＥＧ２の１６×１
６マクロブロックに対応するＭＰＥＧ４の８×８動きベ
クトルを選択し、この動きベクトルをＭＰＥＧ４の１６
×１６動きベクトルとしている。

【０１２２】したがって、動きベクトル変換装置１５を
用いることにより、ＭＰＥＧ２画像圧縮情報（ビットス
トリーム）をＭＰＥＧ４画像圧縮情報（ビットストリー
ム）に変換する際に、画像情報の符号化効率の低減を抑
制することができる。

【０１２３】次に、ＭＰＥＧ２の１６×１６動きベクト
ルをＭＰＥＧ４の８×８動きベクトルに変換する動きベ
クトル変換部１２の動作原理について、図２を参照して
説明する。

【０１２４】なお、動きベクトル変換部１２には、ＭＰ
ＥＧ２の１６×１６動きベクトルと共にマクロブロック
タイプ等が入力されるものとする。

【０１２５】最初のステップＳ１１において、動きベク
トル変換部１２の処理は、入力されたマクロブロックタ
イプが、フレーム内で符号化されたイントラマクロブロ
ック、フレーム間で予測符号化されたインターマクロブ
ロック、又はスキップされるスキップマクロブロックの
いずれであるかによって分岐する。

【０１２６】すなわち、動きベクトル変換部１２の処理
は、マクロブロックタイプがイントラマクロブロックの
場合にはステップＳ１２に、スキップマクロブロックの
場合にはステップＳ１３に、インターマクロブロックの
場合にはステップＳ１４に、それぞれ進む。

【０１２７】ステップＳ１２において、動きベクトル変
換部１２は、イントラマクロブロックに対する処理を行
う。動きベクトル変換部１２は、まず、イントラマクロ
ブロックに対しては、ＭＰＥＧ４の８×８動きベクトル
を０に設定する。さらに、動きベクトル変換部１２は、
後段の動きベクトル補正部１６における動きベクトルの
補正の際に参照するために、イントラモードフラグを立
てる。例えば、Ｉピクチャのイントラマクロブロックに
対しては、イントラモードフラグが立つ。

【０１２８】ステップＳ１３において、動きベクトル変
換部１２は、スキップマクロブロックに対する処理を行
う。すなわち、動きベクトル変換部１２は、マクロブロ
ックに対して、ＭＰＥＧ４の８×８動きベクトルを０に
設定する。

【０１２９】ステップＳ１４において、動きベクトル変
換部１２の処理は、インターマクロブロックに対して、
当該マクロブックがフレーム予測又はフィールド予測の
いずれであるかによって分岐する。すなわち、動きベク
トル変換部１２は、フレーム予測の場合にはステップＳ
１５に、フィールド予測の場合にはステップＳ１６に処
理を進める。

【０１３０】ステップＳ１５において、動きベクトル変
換部１２は、フレーム予測のインターマクロブロックに
対する動きベクトル変換の処理を行う。動きベクトル変
換部１２は、画像の解像度変換に応じて動きベクトルを
変換する。

【０１３１】図３を用いて、インターマクロブロックに
対して、フレーム構造の画像にフレーム予測を行う場合
の動きベクトル変換の様子を説明する。

【０１３２】図３のＡに示す解像度変換前の画像には、
現フレームにおける太陽３１及び山３２が表示されてい
る。解像度変換前の動きベクトルＭＶは、前フレームの
太陽３３の位置を始点とし、現フレームの太陽３１の位
置に向かっている。すなわち、解像度変換前の１６×１
６動きベクトルであるこの動きベクトルＭＶは、（０，
０）から（８，１２）に向かっている。

【０１３３】ここで、動きベクトルＭＶは、水平方向及
び垂直方向のそれぞれついて、画像を構成する整数画素
ａ１に相当する位置０，２，４，・・・と、隣接する整
数画素ａ１の間の位置１，３，５，・・・に想定された
仮想的な半画素ａ２とを用いて表されている。なお、こ
の半画素ａ２は、動きベクトルＭＶを整数画素ａ１に相
当する位置の１／２の精度で表すために想定された実在
しない画素である。

【０１３４】一方、図３のＢに示す解像度変換後の画像
は、図３のＡに示した画像の解像度を１／２に変換した
ものである。

【０１３５】この解像度変換により、水平方向及び垂直
方向について、図３のＡに示した位置０，４，８，・・
・に相当する整数画素ａ１が残り、図３のＢに示した整
数画素ｂ１の位置０’，２’，４’，・・・に相当する
ようになる。図３のＡに示した位置２，６，１０，・・
・に相当する整数画素ａ１は捨てられる。なお、図３の
Ｂにおいては、動きベクトルＭＶ’を整数画素ｂ１に相
当する位置０’，２’，４’，・・・の１／２の精度で
表すために、隣接する整数画素ｂ１の間の位置１’，
３’，５’，・・・に仮想的な半画素ｂ２が想定されて
いる。

【０１３６】解像度変換後の動きベクトルＭＶ’も、前
フレームの太陽３６の位置を始点とし、現フレームの太
陽３４の位置に向かっている。すなわち、解像度変換後
の８×８動きベクトルであるこの動きベクトルＭＶ’
は、（０，０）から（４’，６’）に向かっている。

【０１３７】このような画像の解像度変換に応じて、解
像度変換前の動きベクトルＭＶから解像度変換後の動き
ベクトルＭＶ’への変換を行うものとする。すなわち、
解像度変換後の動きベクトルＭＶ’の水平成分は、画像
の水平方向の解像度変換レートに応じて１／２倍に変換
される。同様に、解像度変換後の動きベクトルＭＶ’の
垂直成分も、画像の垂直成分の解像度変換レートに応じ
て１／２倍に変換される。

【０１３８】例えば、図３のＡに示した（０，０）から
（８，１２）に向かう解像度変換前の動きベクトルＭＶ
は、水平成分８及び垂直成分１２であるので、解像度変
換レートに応じて１／２倍されて水平成分４及び垂直成
分６となる。したがって、図３のＢに示す（０，０）か
ら（４，６）に向かう解像度変換後の動きベクトルＭ
Ｖ’が得られる。

【０１３９】ところで、解像度変換後の動きベクトルＭ
Ｖ’は、水平成分及び垂直成分に相当する整数画素ｂ１
又は半画素ｂ２が存在しないことがある。なお、以下の
説明では便宜上動きベクトルの水平成分についてのみ言
及するが、垂直成分についても同様である。

【０１４０】すなわち、図３のＡの上部に対応関係を示
すように、解像度変換前の画像において、解像度変換前
の動きベクトルＭＶの水平成分が整数画素ａ１に相当す
る０，４，８，・・・のとき、すなわち水平成分を４で
割った余りが０となるときには、解像度変換レートに応
じて１／２倍して得た解像度変換後の動きベクトルＭ
Ｖ’の水平成分は０’，２’，４’，・・・となり、解
像度変換後の画像における整数画素ｂ１に相当する。

【０１４１】同様に、解像度変換前の動きベクトルＭＶ
の水平成分が整数画素ａ１に相当する２，６，１０，・
・・のとき、すなわち水平成分を４で割った余りが２と
なるときには、解像度変換レートに応じて１／２倍して
得た解像度変換後の動きベクトルＭＶ’の水平成分は
１’，３’，５’，・・・となり、解像度変換後の画像
における半画素ｂ２に相当する。

【０１４２】しかし、解像度変換前の動きベクトルＭＶ
の水平成分が半画素ａ２に相当する１，３，５，７，・
・・のときには、解像度変換前の動きベクトルＭＶの水
平成分を解像度変換レートに応じて１／２倍した値１／
２，３／２，５／２，７／２，・・・には、相当する画
素が存在しない。

【０１４３】そこで、本実施の形態においては、かかる
場合には、解像度変換後の動きベクトルＭＶ’の水平成
分は、半画素ｂ２に相当する１’，１’，３’，３’，
・・・に変換されるものとする。

【０１４４】これら解像度変換前の動きベクトルＭＶの
水平成分と、解像度変換後の動きベクトルＭＶ’の関係
をまとめて図４に示す。なお、この図４においては、解
像度変換前の動きベクトルＭＶの水平成分又は垂直成分
の値をＭＶと表記している。

【０１４５】すなわち、解像度変換前の動きベクトルＭ
Ｖの水平成分を４で割った余りが０の場合には、解像度
変換後の動きベクトルＭＶ’の水平成分［ＭＶ／２］は
整数画素ｂ１に相当する。したがって、解像度変換後の
動きベクトルＭＶ’の水平成分を［ＭＶ／２］とする。

【０１４６】解像度変換前の動きベクトルＭＶの水平成
分を４で割った余りが１の場合には、解像度変換前の動
きベクトルＭＶの水平成分を解像度変換レートに応じて
１／２倍した値［ＭＶ／２］、解像度変換後の動きベク
トルの水平成分に相当する画素は存在しない。この場合
には、解像度変換後の動きベクトルＭＶ’の水平成分
は、［ＭＶ／２］＋１として半画素ｂ２に対応させる。

【０１４７】解像度変換前の動きベクトルＭＶの水平成
分を４で割った余りが２の場合には、解像度変換後の動
きベクトルＭＶ’の水平成分［ＭＶ／２］は半画素ｂ２
に相当する。この場合には、解像度変換後の動きベクト
ルＭＶ’の水平成分を［ＭＶ／２］とする。

【０１４８】解像度変換前の動きベクトルＭＶの水平成
分を４で割った余りが３の場合には、解像度変換前の動
きベクトルＭＶの水平成分を解像度変換レートに応じて
１／２倍した値［ＭＶ／２］、解像度変換後の動きベク
トルの水平成分に相当する画素は存在しない。この場合
には、解像度変換後の動きベクトルＭＶ’の水平成分
は、［ＭＶ／２］として半画素ｂ２に対応させる。

【０１４９】このように、本実施の形態では、ＭＰＥＧ
４画像符号化方式による符号化の予測効率が低減して画
質が劣化することがないように、解像度変換前の動きベ
クトルＭＶが半画素ａ２に相当する場合には、解像度変
換後の動きベクトルＭＶ’も半画素ｂ２に相当するよう
に変換を行っている。

【０１５０】なお、このような変換を行わないと、解像
度変換前に動きベクトルＭＶが半画素ａ２に相当する場
合には、解像度変換後の動きベクトルＭＶ’に相当する
画素がなくなり、復号された画像信号には、量子化によ
る歪みが本来含まれているため、そのまま予測画像とし
て使用すると予測効率が低下し、画質の劣化を引き起こ
す場合がある。

【０１５１】このような画質の劣化を低減するために、
低域フィルタに相当する参照画面での各画素間を１：１
で直線補間した半画素精度を選択することもあり、これ
によっても画質劣化を避けることができる。

【０１５２】図２に戻り、ステップＳ１６において、フ
ィールド予測のインターマクロブロックに対しては、動
きベクトル変換部１２の処理は、第一フィールド予測又
は第二フィールド予測のいずれかによって分岐する。す
なわち、第一フィールド予測の場合はステップＳ１７
に、第二フィールド予測の場合はステップＳ１８に進
む。

【０１５３】第一フィールド予測である場合は、動きベ
クトル変換部１２は、ステップＳ１７において、第一フ
ィールド予測に適した動きベクトルへの変換を行う。こ
のような第一フィールド予測に適した動きベクトルへの
変換について、図５を参照して説明する。

【０１５４】図５のＡに示すように、第一フィールドの
ラインａ３及び第二フィールドのラインａ４の内、第一
フィールドのラインａ３を取り出す間引きを行うことに
より、解像度を１／２にする解像度変換が行われる。

【０１５５】図５のＢには、第一フィールドのラインｂ
３を取り出すことで、垂直方向に解像度が１／２になっ
た画像が示されている。また、第一フィールド予測を行
っているため、解像度変換前の動きベクトルＭＶは、そ
のまま解像度変換後の動きベクトルＭＶ’になる。

【０１５６】なお、動きベクトルＭＶの水平成分につい
ては、図４に示したフレーム予測のインターマクロブロ
ックの場合と同様な処理を行われるので説明を省略す
る。

【０１５７】一方、図２のステップＳ１８では、第二フ
ィールド予測に適した動きベクトルの変換を行う。この
ステップＳ１８における第二フィールド予測の動きベク
トル変換について、図６を参照して説明する。

【０１５８】図６のＡにおいて、第一フィールドのライ
ンａ３及び第二フィールドのラインａ４の内、第一フィ
ールドのラインａ３を取り出す間引きを行うことによ
り、解像度を１／２にする解像度変換が行われる。この
ため、この第二フィールド予測の場合においても、解像
度変換後には第一フィールドの画素値を参照画像として
用いる。

【０１５９】図６のＢには、参照画像として用いられる
第一フィールドのラインｂ３のみから構成される解像度
変換後の画像が示されている。

【０１６０】しかし、飛び越し走査のＭＰＥＧ２画像圧
縮情報では第一フィールドの画像と第二フィールドの画
像には、時間的及び空間的なずれがある。このため、Ｍ
ＰＥＧ２で予測画像として用いた第二フィールドの画素
値を解像度変換後の第一フィールド予測に変換するよう
に、動きベクトルの時間的及び空間的な補正を行う。

【０１６１】まず、第二フィールド予測から近似的に第
一フィールド予測に変換するための空間的補正として、
動きベクトルの垂直成分に１を加える。これによって、
図６のＡに示すように、第二フィールド予測で求めた動
きベクトルＭＶ_bottomは、垂直成分に１を加えることに
より垂直方向に一行を繰り上げられ、第二フィールドが
第一フィールドと同様の位置に達し、第一フィールド予
測の近似動きベクトルＭＶ_topが得られる。

【０１６２】このような空間的な補正によって、第二フ
ィールド予測で求めた動きベクトルＭＶ_bottomの空間的
な位置は、第一フィールド予測で求めた動きベクトルと
同様になる。

【０１６３】式（２）は、近似第一フィールド、すなわ
ち第一フィールドと同様な空間位置にある第二フィール
ドを空間的な補正によって予測した時の動きベクトルＭ
Ｖ_topの垂直成分を表している。

【０１６４】

【数２】

【０１６５】次に、第二フィールドから近似された第一
フィールドと実際の第一フィールドとの時間ずれの補正
を行う。

【０１６６】図７は、時間ずれの補正を説明する図であ
る。すなわち、図７のＡにおける各フレームは、第一フ
ィールド及び第二フィールドから構成されるが、第一フ
ィールドと第二フィールドの時間間隔を１とすると、Ｉ
ピクチャの第二フィールドとＰピクチャの第一フィール
ドの時間間隔をａは１，３，５，・・・の値を取り得
る。

【０１６７】図中には、Ｉピクチャの第一フィールドを
参照してＰピクチャの第一フィールドを予測する動きベ
クトルＭＶ_topと、Ｉピクチャの第二フィールドを参照
してＰピクチャの第一フィールドを予測する動きベクト
ルＭＶ_bottomとが示されている。

【０１６８】図７のＢには、図７のＡに示した画像に解
像度変換及びフレームレート変換により変換されたＩピ
クチャの第一フィールド及びＰピクチャの第一フィール
ドと、解像度変換後の動きベクトルＭＶ’が示されてい
る。

【０１６９】これらの時間間隔の比率により、第二フィ
ールドを参照する動きベクトルＭＶ_bottomから近似した
近似ＭＶ_topを用いて、時間のずれを補正して解像度変
換後の動きベクトルＭＶ’を得るためには式（３）を適
用する。

【０１７０】

【数３】

【０１７１】式（２）を式（３）に代入すると、解像度
変換後の動きベクトルＭＶ’の垂直成分は、式（４）の
ようになる。

【０１７２】

【数４】

【０１７３】なお、解像度変換後の動きベクトルの水平
成分に対しては、、解像度変換前の動きベクトルＭＶ
_bottomに（ａ＋１）／ａを乗じ、時間的な補正を行った
後、先に図４に示したように変換される。すなわち、解
像度変換前に半画素に相当する動きベクトルは、解像度
変換後にも半画素に相当する動きベクトルに変換され
る。

【０１７４】場合によっては、動きベクトルの垂直成分
に対して時間的補正を行った後、空間的な補正を行って
もよい。その場合、動きベクトルＭＶ’の垂直成分は、
式（５）で与えられる。

【０１７５】

【数５】

【０１７６】なお、解像度変換後の動きベクトルＭＶ’
の水平成分は、空間補正を行ってから時間補正を行う空
間・時間補正と時間補正を行ってから空間補正を行う時
間・空間補正のいずれでも同様な値となる。

【０１７７】式（４）と式（５）の差、すなわち、空間
・時間補正を行った場合と、時間・空間補正を行った場
合の動きベクトルの垂直成分の差は１／ａになる。した
がって、ａの値によって、空間・時間補正と時間・空間
補正との差による影響が異なる。

【０１７８】そこで、ａが１の場合と、１より大きい、
すなわち３，５，７，・・・の２つの場合における補正
方法を説明する。

【０１７９】まず、ａが１の場合について、式（４）の
ａに１を代入すると、動きベクトルの垂直成分は式
（６）になる。

【０１８０】

【数６】

【０１８１】式（５）のａに１を代入し、動きベクトル
の垂直成分は式（７）になる。

【０１８２】

【数７】

【０１８３】その結果、解像度変換前の動きベクトルＭ
Ｖ_bottomに０，１，２，・・・を代入すると、式（６）
による値は２，４，６，・・・のような偶数になる。す
なわち、空間・時間補正を行うと、解像度変換前の動き
ベクトルＭＶ_bottomは整数画素又は半画素に位置して
も、解像度変換後の動きベクトルＭＶ’はすべて整数画
素に位置する。

【０１８４】また、式（７）による値は、１，３，５，
・・・のような奇数になる。すなわち、時間・空間補正
を行うと、解像度変換前の動きベクトルＭＶは整数画素
又は半画素に位置しても、解像度変換後の動きベクトル
ＭＶ’はすべて半画素に位置する。

【０１８５】したがって、解像度変換前に整数画素に位
置する動きベクトルＭＶ_bottomに対して、解像度変換後
の動きベクトルＭＶ’を整数画素に位置するようにする
場合、空間・時間補正を行う。また、解像度変換前に半
画素に位置する動きベクトルＭＶ_bottomに対して、解像
度変換後の動きベクトルＭＶ’を半画素に位置するよう
にする場合、時間・空間補正を行う。

【０１８６】すなわち、解像度変換後の動きベクトルＭ
Ｖ’の垂直成分を求めるために、解像度変換前の動きベ
クトルＭＶ_bottomに対し、空間補正、時間補正を交互に
使用して解像度変換後の動きベクトルＭＶ’に変換す
る。若しくは、解像度変換前の動きベクトルＭＶ_bottom
に対して、すべてに時間・空間補正を行う。

【０１８７】以上の動きベクトル変換処理が終了した
後、動きベクトル変換部１２から、ＭＰＥＧ４の８×８
動きベクトルが出力される。

【０１８８】図１に戻り、動きベクトル変換部１２から
出力されたＭＰＥＧ４の８×８動きベクトルは、動きベ
クトル調整部１３に送られる。動きベクトル調整部１３
は、外部から入力された画像サイズ調整フラグに基づい
て動きベクトルを調整し、画像サイズに適した動きベク
トルを出力する。

【０１８９】この動きベクトル調整部１３における動き
ベクトルの調整の処理について、図８を参照して説明す
る。

【０１９０】動きベクトル調整部１３には、動きベクト
ル変換部１２からｍ画素×ｎ画素の画像サイズ及びＭＰ
ＥＧ４の８×８動きベクトルが、外部から画像サイズ調
整フラグが、それぞれ入力されている。

【０１９１】動きベクトル調整部１３の処理は、ステッ
プＳ２１において、ｍ画素×ｎ画素の入力画像サイズに
ついてｍ／２及びｎ／２が共に１６の倍数であるかどう
かによって分岐する。

【０１９２】すなわち、動きベクトル調整部１３は、ｍ
／２及びｎ／２が共に１６の倍数である場合には、ＭＰ
ＥＧ４の８×８動きベクトルを処理することなくそのま
ま出力する。 一方、ｍ／２，ｎ／２のいずれかが１６
の倍数でない場合には、処理をステップＳ２２に進め
る。

【０１９３】動きベクトル調整部１３の処理がステップ
Ｓ２２以降に進む場合には、外部から入力された画像サ
イズ調整フラグを用いる。動きベクトル調整部１３は、
ステップＳ２２において画素除去を行う場合には、８画
素を除去した画像の動きベクトルを出力する。

【０１９４】ステップＳ２３において画素補填を行う場
合には、動きベクトル調整部１３は、８画素を補填した
画像の動きベクトルを出力する。

【０１９５】なお、上述の実施の形態では、入力として
ＭＰＥＧ２画像圧縮情報（ビットストリーム）を、出力
としてＭＰＥＧ４画像圧縮情報（ビットストリーム）を
対象とした例を示したが、本発明はこれに限定されな
い。本発明は、入力又は出力を例えばＭＰＥＧ１やＨ．
２６３などの画像圧縮情報（ビットストリーム）とする
こともできる。

【０１９６】

【発明の効果】以上述べてきた様に、本発明は、飛び越
し走査のＭＰＥＧ２画像情報圧縮情報（ビットストリー
ム）を順次走査のＭＰＥＧ４画像圧縮情報（ビットスト
リーム）に変換する際に用いられる動きベクトル変換装
置において、ＭＰＥＧ４の８×８動きベクトルからＭＰ
ＥＧ４の１６×１６動きベクトルを生成する際、入力と
なるＭＰＥＧ２画像圧縮情報（ビットストリーム）にお
けるマクロブロックごとの、ビット数、量子化スケー
ル、コンプレキシティ、非零ＤＣＴ係数の個数といった
情報を利用し、最も符号化効率の高いと考えられるＭＰ
ＥＧ４の８×８動きベクトルを選択してＭＰＥＧ４の１
６×１６動きベクトルとすることで、ＭＰＥＧ４画像圧
縮情報（ビットストリーム）への符号化効率を高めるも
のである。

【図面の簡単な説明】

【図１】本実施の形態による動きベクトル変換装置の構
成を示すブロック図である。

【図２】動きベクトル変換装置の動きベクトル調整部に
おける処理を示す図である。

【図３】図２において、フレーム予測のインターマクロ
ブロックに対する動きベクトル変換を示す図である。

【図４】図３の変換の際の半画素精度の動きベクトルの
取り扱いを示す図である。

【図５】図２において、第一フィールド予測のインター
マクロブロックに対する動きベクトル変換を示す図であ
る。

【図６】図２において、第二フィールド予測のインター
マクロブロックに対する動きベクトル変換を示す図であ
る。

【図７】図２において、第二フィールド予測のインター
マクロブロックに対する動きベクトル変換に対する時間
的な補正を示す図である。

【図８】動きベクトル変換装置の動きベクトル調整部に
おける画像サイズ調整フラグによる調整を示す図であ
る。

【図９】ＭＰＥＧ２画像圧縮情報（ビットストリーム）
からＭＰＥＧ４画像圧縮情報（ビットストリーム）への
変換を実現する従来の例を示すブロック図である。

【図１０】ＭＰＥＧ２画像圧縮情報（ビットストリー
ム）からＭＰＥＧ４画像圧縮情報（ビットストリーム）
に変換する画像情報変換装置の構成を示すブロック図で
ある。

【図１１】ＭＰＥＧ２画像圧縮情報（ビットストリー
ム）中の動きベクトルとＭＰＥＧ４画像圧縮情報（ビッ
トストリーム）中の動きベクトルとの相関を示す図であ
る。

【図１２】図１０の画像情報変換装置の解像度／フレー
ムレート変換部における処理を示す図である。

【図１３】図１０の画像情報変換装置の解像度／フレー
ムレート変換部における画素の補填又は除去の処理を示
す図である。

【図１４】図１０の画像情報変換装置の動きベクトル変
換部における動きベクトル変換方法を示す図である。

【図１５】図１０の画像情報変換装置の動きベクトル変
換部の構成を示すブロック図である。

【図１６】図１５の動きベクトル変換部の動きベクトル
補正部の構成を示すブロック図である。

【符号の説明】

１２ 動きベクトル変換部、１３ 動きベクトル調整
部、１４ マクロブロック情報バッファ、１５ 動きベ
クトル変換部、１６ 動きベクトル補正部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 鈴木 輝彦 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 矢ケ崎 陽一 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 名雲 武文 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5C059 KK19 LA07 LB05 MA00 MA03 MA05 MA23 MC23 NN10 NN11 PP05 PP06 PP07 TA12 TA62 TB07 TC04 TC10 TC12 TC18 5J064 AA02 BA01 BA16 BC01 BC24 BC30

Claims (17)

【特許請求の範囲】
1. 【請求項１】 水平方向及び垂直方向共に１６成分の離
   散コサイン変換係数からなるマクロブロックから構成さ
   れる、飛び越し走査の画像を符号化した入力画像圧縮情
   報を、水平方向及び垂直方向共に１６成分の離散コサイ
   ン変換係数からなるマクロブロックから構成され、上記
   飛び越し走査の画像に対して水平方向及び垂直方向共に
   １／２のサイズを有する順次走査の画像を符号化した出
   力画像圧縮情報に変換する際に動きベクトルを変換する
   動きベクトル変換装置において、 上記入力画像圧縮情報のマクロブロックは上記変換によ
   り水平方向及び垂直方向共に８成分のブロックに変換さ
   れ、上記入力画像圧縮情報のマクロブロックを動き補償
   する第１の動きベクトルに基づいて上記出力画像圧縮情
   報のマクロブロックを構成する上記ブロックをそれぞれ
   動き補償する第２の動きベクトルを生成し、この第２の
   動きベクトルの内で、動きベクトルの長さに基づいて、
   符号化効率の最も高いものを上記出力画像圧縮情報のマ
   クロブロックを動き補償する第３の動きベクトルとする
   変換手段を有することを特徴とする動きベクトル変換装
   置。
2. 【請求項２】 上記入力画像圧縮情報はＭＰＥＧ２規格
   によるものであり、上記出力画像圧縮情報はＭＰＥＧ４
   規格によるものであることを特徴とする請求項１記載の
   動きベクトル変換装置。
3. 【請求項３】 上記変換手段は、上記第１の動きベクト
   ルから解像度変換及び時間軸補正により上記第２の動き
   ベクトルを生成することを特徴とする請求項１記載の動
   きベクトル変換装置。
4. 【請求項４】 上記入力画像圧縮情報のマクロブロック
   ごとのマクロブロック情報を記憶する記憶手段を有し、
   上記変換手段は、上記記憶手段に記憶されたマクロブロ
   ック情報に基づいて符号化効率の最も高い第２の動きベ
   クトルを選択することを特徴とする請求項１記載の動き
   ベクトル変換装置。
5. 【請求項５】 符号化効率のパラメータとして上記入力
   画像圧縮情報を構成するマクロブロックごとの動きベク
   トルの長さを用い、その中間値となる動きベクトルに対
   応するマクロブロックに対応する上記第２の動きベクト
   ルを選択することを特徴とする請求項１記載の動きベク
   トル変換装置。
6. 【請求項６】 上記中間値は、上記入力画像圧縮情報を
   構成するマクロブロックごとの非零の離散コサイン変換
   係数の個数を用い、この個数の最も少ないマクロブロッ
   クを２回重複して数え、合計５つの動きベクトルから求
   めることを特徴とする請求項５記載の動きベクトル変換
   装置。
7. 【請求項７】 上記中間値は、上記入力画像圧縮情報を
   構成するマクロブロックごとの輝度成分の離散コサイン
   変換係数に割り当てられたビット数を用い、このビット
   数の最も少ないマクロブロックを２回重複して数え、合
   計５つの動きベクトルから求めることを特徴とする請求
   項５記載の動きベクトル変換装置。
8. 【請求項８】 上記中間値は、上記入力画像圧縮情報を
   構成するマクロブロックごとの離散コサイン変換係数に
   割り当てられた全ビット数を用い、この全ビット数の最
   も少ないマクロブロックを２回重複して数え、合計５つ
   の動きベクトルから求めることを特徴とする請求項５記
   載の動きベクトル変換装置。
9. 【請求項９】 上記中間値は、上記入力画像圧縮情報を
   構成するマクロブロックに割り当てられた量子化スケー
   ルを用い、この量子化スケールの最も少ないマクロブロ
   ックを２回重複して数え、合計５つの動きベクトルから
   求めることを特徴とする請求項５記載の動きベクトル変
   換装置。
10. 【請求項１０】 上記中間値は、上記入力画像圧縮情報
    を構成するマクロブロックごとに割り当てられたビット
    数Ｂおよび量子化スケールＱに関して、コンプレキシテ
    ィＸを Ｘ＝Ｑ×Ｂ のように算出し、このコンプレキシティＸを用い、この
    コンプレキシティＸの最も少ないマクロブロックを２回
    重複して数え、合計５つの動きベクトルから中間値を求
    めることを特徴とする請求項５記載の動きベクトル変換
    装置。
11. 【請求項１１】 上記ビット数Ｂとして、当該マクロブ
    ロックの輝度成分の離散コサイン変換係数に割り当てら
    れたビット数を用いることを特徴とする請求項１０記載
    の動きベクトル変換装置。
12. 【請求項１２】 上記ビット数Ｂとして、当該マクロブ
    ロックの離散コサイン変換係数に割り当てられたビット
    数を用いることを特徴とする請求項１０記載の動きベク
    トル変換装置。
13. 【請求項１３】 上記ビット数Ｂとして、当該マクロブ
    ロックに割り当てられた全ビット数を用いることを特徴
    とする請求項１０記載の動きベクトル変換装置。
14. 【請求項１４】 水平方向及び垂直方向共に１６成分の
    離散コサイン変換係数からなるマクロブロックから構成
    される、飛び越し走査の画像を符号化した入力画像圧縮
    情報を、水平方向及び垂直方向共に１６成分の離散コサ
    イン変換係数からなるマクロブロックから構成され、上
    記飛び越し走査の画像に対して水平方向及び垂直方向共
    に１／２のサイズを有する順次走査の画像を符号化した
    出力画像圧縮情報に変換する際に動きベクトルを変換す
    る動きベクトル変換方法において、 上記入力画像圧縮情報のマクロブロックは上記変換によ
    り水平方向及び垂直方向共に８成分のブロックに変換さ
    れ、 上記入力画像圧縮情報のマクロブロックを動き補償する
    第１の動きベクトルに基づいて上記出力画像圧縮情報の
    マクロブロックを構成する上記ブロックをそれぞれ動き
    補償する第２の動きベクトルを生成し、 この第２の動きベクトルの内で、動きベクトルの長さに
    基づいて、符号化効率の最も高いものを上記出力画像圧
    縮情報のマクロブロックを動き補償する第３の動きベク
    トルとすることを特徴とする動きベクトル変換方法。
15. 【請求項１５】 上記入力画像圧縮情報はＭＰＥＧ２規
    格によるものであり、上記出力画像圧縮情報はＭＰＥＧ
    ４規格によるものであることを特徴とする請求項１４記
    載の動きベクトル変換方法。
16. 【請求項１６】 上記第１の動きベクトルから解像度変
    換及び時間軸補正により上記第２の動きベクトルを生成
    することを特徴とする請求項１４記載の動きベクトル変
    換方法。
17. 【請求項１７】 上記入力画像圧縮情報のマクロブロッ
    クごとのマクロブロック情報を記憶し、記憶されたマク
    ロブロック情報に基づいて符号化効率の最も高い第２の
    動きベクトルを選択することを特徴とする請求項１４記
    載の動きベクトル変換方法。