JP4057503B2 - 解像度変換用フィルタ係数決定方法，画像解像度変換方法，画像解像度変換装置，映像再符号化方法，映像再符号化装置，解像度変換用フィルタ係数決定プログラム，画像解像度変換プログラム，映像再符号化プログラムおよびそれらのプログラムを記録した記録媒体 - Google Patents

Description

本発明は，画像および映像の解像度の拡大・縮小処理を行なう映像処理技術およびそれを伴う映像符号化技術に関し，特に，映像信号の解像度を拡大した後に拡大前の解像度に縮小する場合に，解像度の拡大処理のほぼ逆変換となる縮小処理を可能にするための解像度変換用フィルタ係数決定方法，画像解像度変換方法，画像解像度変換装置，映像再符号化方法，映像再符号化装置，解像度変換用フィルタ係数決定プログラム，画像解像度変換プログラム，映像再符号化プログラムおよびそれらのプログラムを記録した記録媒体に関する。

一般に映像の解像度を水平または垂直の１次元方向に拡大するには，拡大前の画像の画素と画素の間の位置のデータを近傍画素データの重み付け線形和によって補間することで，拡大画像の各画素データを求める。拡大前後の画素位置の関係によって，数種類の補間位置における処理を繰り返しながら，拡大画像の各画素のデータを求めて行くことになり，その補間位置ごとに異なる重み付け係数を用いる。この重み付け線形和の演算は一種の１次元フィルタと解釈できるので，以下，この重み付け係数をフィルタ係数と呼ぶ。

このフィルタ係数は，一般に拡大前の画像のナイキスト周波数をカットオフ周波数とするＦＩＲフィルタ係数をもとに拡大前後の画素位置の相関関係を考慮して決定する。また，フィルタ設計の段階でＦＩＲフィルタのタップ数を有限に制限することにより，拡大処理に用いる近傍画素の数は数個から数十個程度とするのが一般的である（例えば，非特許文献１参照）。

また同様に，映像の縮小においても，縮小前画像の近傍画素データの重み付け線形和によって縮小後画像の各画素データを求める。そのフィルタ係数は，一般に縮小後の画像のナイキスト周波数をカットオフ周波数とするＦＩＲフィルタ係数をもとに，縮小前後の画素位置の相関関係を考慮して決定する。

なお，後述するＭＰＥＧ−２（例えば，非特許文献２参照）などの映像符号化における映像の再符号化について，下記の非特許文献３に記載されている。
金沢勝，曽根原源，"ディジタルテレビ時代の映像処理の基本映像信号の方式とその変換処理技術"，Interface １月号 2000 ISO/IEC 13818-2 International Standard,Jan.1995 P.Guilote1,et a1.,"Adaptive Encoders: The New Generation of MPEG-2 Encoders",SMPTE journa1,April 2000

しかし，変換前後のカットオフ周波数を考慮して決定したフィルタ係数を用いて，画像の解像度を拡大し，もとの解像度に縮小すると，通常は両者は可逆の変換となっておらず，拡大前の画像と縮小後の画像は一致しない。これにより様々な場面で問題が生じる。

１つの例が映像の再符号化である。例えば，非特許文献２に記載されたＭＰＥＧ−２などの映像符号化においては，復号画像を再符号化する際に，前段の符号化パラメータを完全に継承することで，ほぼ劣化のない再符号化が可能であることが知られている（例えば，非特許文献３参照）。

しばしば映像符号化においては，符号化器において入力映像の色差信号の解像度を４：２：２と呼ばれるフォーマットから４：２：０と呼ばれるフォーマットに垂直方向に２分の１に縮小してから符号化が行なわれ，復号器において，復号映像を４：２：０フォーマットから４：２：２フォーマットに垂直方向に２倍に拡大してから出力される。そして再符号化する際には，再符号化器において，再度４：２：２フォーマットを４：２：０フォーマットに変換する。このときに，通常復号器の拡大処理と再符号化器の縮小処理が可逆でないために，色差信号の不一致が生じる。

これにより，たとえ前段の符号化パラメータを完全に継承しても，ほぼ劣化のない再符号化を実現することは不可能となる。ちなみに，映像信号の伝送インタフェースはほとんどが４：２：２フォーマットであるために，復号映像を４：２：０フォーマットのまま伝送することは一般にあまり行なわれない。

また，他にも映像符号化において，符号化時に入力映像の解像度の縮小を行い，復号時に復号映像の解像度の拡大を行なう手法は多く知られており，これらの手法と前段の符号化パラメータを完全に継承する再符号化の手法を同時に用いる場合に，同様の問題が生じる。

このような理由により，拡大前の画像と縮小後の画像が一致するような拡大・縮小処理が必要とされる。ここで，拡大後の画像の画質にこだわる必要がない場合は，例えば上記の４：２：０−４：２：２変換の場合においては，拡大時に画素データを垂直方向にコピーして，縮小時に垂直方向に画素データを間引くことにより可逆の変換とすることができる。しかし，拡大後の画像の画質が問題となる場合には，このような方法では極めて画質の悪い拡大画像となってしまう。

本発明は，上記従来技術の問題点を解決し，画像信号の解像度を１次元フィルタを用いて拡大した後に１次元フィルタを用いて拡大前の解像度に縮小する際に，解像度の拡大処理のほぼ逆変換となる縮小処理を行なうことが可能な映像解像度の変換技術を提供することを目的とする。

上記課題を解決するために，本発明では拡大処理のフィルタ係数を通常の方法によって決定し，その逆変換となる縮小処理のフィルタ係数を求め，その係数を用いて縮小処理を行なう。

すなわち，本発明は，映像符号化ストリームを復号した復号映像の解像度を拡大処理用フィルタを用いて拡大した画像信号を，拡大前の解像度に縮小してから再符号化を行なう際に，前記解像度の縮小に用いる縮小処理用フィルタのフィルタ係数を決定する解像度変換用フィルタ係数決定方法であって，前記解像度の拡大処理に用いた拡大処理用フィルタのフィルタ係数であって，少なくとも画像端境界処理が影響する領域以外に適用された一定パターンのフィルタ係数を入力し，記憶手段に記憶する過程と，拡大前のＮ画素の１次元画像データを表す１列Ｎ行の行列をＸ，拡大後のＭ（Ｍ＞Ｎ）画素の１次元画像データを表す１列Ｍ行の行列をＹ，拡大処理を表すＹ＝ＡＸとなるＮ列Ｍ行の拡大変換行列をＡとし，縮小後のＮ画素からなる１次元画像データを表す１列Ｎ行の行列をＺ，縮小処理を表すＺ＝ＢＹとなるＭ列Ｎ行の縮小変換行列をＢ，Ｎ列Ｎ行の単位行列をＩとするときに，前記記憶した拡大処理用フィルタの一定パターンのフィルタ係数を少なくとも画像端境界処理が影響しない領域部分の行列中の行方向の要素の並びに含む，該フィルタ係数によって定まる拡大変換行列Ａから，ＢＡ＝Ｉとなる縮小変換行列Ｂを算出する過程と，算出した縮小変換行列Ｂに基づいて縮小処理用フィルタのフィルタ係数を決定する過程とを有することを特徴とする。

また，前記ＢＡ＝Ｉとなる縮小変換行列Ｂを算出する過程では，前記縮小変換行列Ｂと前記拡大変換行列Ａとの積ＢＡが，少なくとも拡大縮小処理における画像端境界処理が影響しない領域部分においてＮ列Ｎ行の単位行列Ｉと等しくなるような縮小処理のフィルタ係数を求めるために，前記行列Ｂ，Ａ，Ｉの画像端境界処理が影響しない領域において行列の行方向の要素の値の並びが繰り返し同じように現れる部分の同一の繰り返しパターンの単位を，前記行列Ｂ，Ａ，Ｉからそれぞれ行列Ｂ’，Ａ’，Ｉ’として抜き出し，Ｂ’Ａ’＝Ｉ’となる行列Ｂ’を求め，それに基づいて縮小処理用フィルタのフィルタ係数を決定することを特徴とする。

前記縮小処理用フィルタのフィルタ係数の決定に自由度がある場合には，その自由度の範囲内で複数の縮小処理用フィルタのフィルタ係数の候補を算出し，その算出した複数のフィルタ係数の候補の中から，他の方法に基づいて決定した同縮尺率の縮尺用のフィルタ係数に最も近いものを選択する。

また，本発明は，映像符号化ストリームを復号した復号映像の解像度を拡大処理用フィルタを用いて拡大した画像信号を，再符号化する前に拡大前の解像度に縮小する画像解像度変換方法において，前記拡大処理用フィルタを用いて解像度を拡大した画像信号を入力し，上記の解像度変換用フィルタ係数決定方法を用いて決定されたフィルタ係数からなる縮小処理用フィルタを用いて，前記入力した画像信号の解像度を拡大前の解像度に縮小することを特徴とする。

また，本発明は，復号器による映像符号化ストリーム復号時に復号映像の解像度を拡大し，再符号化器によるその映像の再符号化時に入力映像の解像度を拡大前の解像度に縮小してから再符号化を行なう映像再符号化方法において，前記復号器において復号映像の解像度の拡大に用いた解像度変換用フィルタ係数の情報を前記再符号化器に伝達し，その伝達された解像度変換用フィルタ係数の情報から，上記の解像度変換用フィルタ係数決定方法を用いて，縮小処理用フィルタのフィルタ係数を決定し，決定されたフィルタ係数からなる縮小処理用フィルタを用いて，入力した映像信号の解像度を拡大前の解像度に縮小とし，解像度を縮小した映像信号を再符号化することを特徴とする。

また，本発明は，復号器による映像符号化ストリーム復号時に復号映像の解像度を拡大し，再符号化器によるその映像の再符号化時に入力映像の解像度を拡大前の解像度に縮小してから再符号化を行なう映像再符号化方法において，前記復号器において復号映像の解像度の拡大に用いた解像度変換用フィルタ係数の情報から，上記の解像度変換用フィルタ係数決定方法を用いて決定した縮小処理用フィルタのフィルタ係数情報と映像信号とを，前記再符号化器に入力し，入力したフィルタ係数情報に基づく縮小処理用フィルタを用いて，入力した映像信号の解像度を拡大前の解像度に縮小し，解像度を縮小した映像信号を再符号化することを特徴とする。

以上の処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。

本発明によれば，画像信号の解像度を１次元フィルタを用いて拡大した後に１次元フィルタを用いて拡大前の解像度に縮小する際に，解像度の拡大処理のほぼ逆変換となる縮小処理を行なうことができる。

また，１次元方向の解像度変換を複数回行なうことで実現される映像の２次元方向の解像度変換において，本発明による解像度変換処理を複数回用いることで，ほぼ逆変換となる２次元の解像度変換処理を行なうことができる。

また，これにより映像の拡大，縮小を伴う映像再符号化において，前段の符号化情報を用いることによりほぼ劣化のない再符号化が可能となる。

通常，拡大縮小処理は画素データの線形和演算であるので，１次元の画像データを表す行列（ベクトル）と，フィルタ係数を成分とする変換行列で表現することができる。拡大前のＮ画素の１次元画像データを表す１列Ｎ行の行列Ｘ，拡大後のＭ（Ｍ＞Ｎ）画素の１次元画像データを表す１列Ｍ行の行列Ｙ，縮小後のＮ画素からなる１次元画像データを表す１列Ｎ行の行列Ｚとする。

Ｘ＝（ｘ₀ ，ｘ₁ ，ｘ₂ ，・・・・・・・・，ｘ_N-2 ，ｘ_N-1 ）^T （１）
Ｙ＝（ｙ₀ ，ｙ₁ ，ｙ₂ ，・・・・・・・・，ｙ_M-2 ，ｙ_M-1 ）^T （２）
Ｚ＝（ｚ₀ ，ｚ₁ ，ｚ₂ ，・・・・・・・・，ｚ_N-2 ，ｚ_N-1 ）^T （３）
また，拡大処理を表すＹ＝ＡＸとなるＮ列Ｍ行の変換行列をＡ，縮小処理を表すＺ＝ＢＹとなるＭ列Ｎ行の変換行列をＢとする。

Ｙ＝ＡＸ （４）
Ｚ＝ＢＹ （５）
ここで，Ｍ＝２Ｎとし，拡大処理において，通常のフィルタ係数決定手法により，下記のようなフィルタ係数（ａ₁ ，ａ₂ ，ａ₃ ，ａ₄ ），（ｂ₁ ，ｂ₂ ，ｂ₃ ，ｂ₄ ）が定まったとする。

ｙ_2n＝ａ₁ ×ｘ_n-2 ＋ａ₂ ×ｘ_n-1 ＋ａ₃ ×ｘ_n ＋ａ₄ ×ｘ_n+1 （６）
ｙ_2n+1＝ｂ₁ ×ｘ_n-1 ＋ｂ₂ ×ｘ_n ＋ｂ₃ ×ｘ_n+1 ＋ｂ₄ ×ｘ_n+2 （７）
Ｎ＝１０，Ｍ＝２０とした場合，式（４）で示される拡大変換は，変換行列Ａを用いて下記の式（８）のように表される。

ここで，

である。変換行列Ａにおいて，＊は鏡像反転処理により係数が変化する成分を表している。

一般に画像境界付近では鏡像反転処理を行なう。鏡像反転処理とは，画像境界付近の画素の近傍画素のデータを用いる際に，その近傍画素が画像境界の外側に位置する場合はｘ₀ またはｘ_N-1 （Ｎは画像サイズ）を対称軸として，画像境界の内側の画像の鏡像反転したデータが外側に存在するものと仮定して，計算を行なうもので，ｘ_-1＝ｘ₁ ，ｘ_-2＝ｘ₂ ，…，ｘ_-n＝ｘ_n ，ｘ_N ＝ｘ_N-2 ，ｘ_N+1 ＝ｘ_N-3 ，…，ｘ_N+n ＝ｘ_N-n-2 とする処理である。

変換行列Ａにおける画像の端に対応する成分（変換行列Ａの＊で示す成分）は，鏡像反転のデータ分の係数が加算されるために，他の領域とは異なった値となっている。それ以外の領域においては，規則的なパターンの繰り返しである。この拡大画像に対する縮小処理に，下記のような変換を用いると仮定する。

ｚ_n ＝ｓ₁ ×ｙ_2n-3＋ｓ₂ ×ｙ_2n-2＋ｓ₃ ×ｙ_2n-1＋ｓ₄ ×ｙ_2n＋ｓ₅ ×ｙ_2n+1＋ｓ₆ ×ｙ_2n+2＋ｓ₇ ×ｙ_2n+3＋ｓ₈ ×ｙ_2n+4 （９）
ここで，縮小フィルタ処理の係数は，同一補間位置の場合，同一係数を使用するものとする。この場合，式（５）で示される縮小変換は，変換行列Ｂを用いて下記の式（１０）のように表わされる。

ここで，

である。変換行列Ｂにおいて，＊は鏡像反転処理により係数が変化する成分を表している。

前述した行列Ａによる拡大処理を見ると，ｙ₀ からｙ₂ とｙ_M-3 からｙ_M-1 （式（８）ではｙ₁₇からｙ₁₉）は，拡大処理時において鏡像反転処理の影響を受ける。そのため，行列Ｂにおいて，０列から２列と，Ｍ−３列からＭ−１列に０以外の成分を持っている行列Ｂの０行から２行と，Ｍ−３行からＭ−１行は，鏡像反転処理の影響を受ける。

上記式（１０）に示す行列において，線の外側部分が拡大時の鏡像反転処理が影響する領域である。すなわち，ｚ₀ からｚ₂ とｚ_M-3 からｚ_M-1 は，鏡像反転処理の影響を受ける。ちなみに，この鏡像反転処理の影響を受ける領域の大きさは，拡大処理に用いる画素数，拡大率，変換前後の画素の相関位置によって変化する。

以上の拡大縮小変換において，可逆変換となる条件，すなわちＺ＝Ｘとなる条件は，Ｚ＝ＢＡＸより，Ｎ列Ｎ行の単位行列Ｉを用いて，
ＢＡ＝Ｉ （１１）
となる。

すなわち，与えられた行列Ａに対して，行列の積ＢＡが単位行列Ｉと等しくなる縮小変換行列Ｂを求められれば，それに基づいて縮小処理のフィルタ係数を決定することで，解像度の拡大処理の逆変換となる縮小処理を行なうことができる。

ここでは，画像端境界処理が影響する領域の成分については無視して，画像端境界処理が影響しない領域の成分について可逆変換が成立する縮小フィルタ係数（ｓ₁ ，ｓ₂ ，…，ｓ₈ ）を求める方法を考える。

ここで，＊は鏡像反転処理により係数が変化する成分，線の外側は拡大時の鏡像反転処理が影響する領域，？は可逆とならない成分を表している。

上記の式（１２）において，画像端境界処理が影響しない領域の成分については，同じパターンの繰り返しであるため，行列Ｂ，Ａ，Ｉの画像端境界処理が影響しない領域における同一の繰り返しパターンを行列Ｂ’，Ａ’，Ｉ’として抜き出し，Ｂ’Ａ’＝Ｉ’となる行列Ｂ’を求める。

このＢ’を求めることで，画像境界の影響のある成分以外において等式が成り立ち，可逆変換とすることができる。上記の例は，等式に対し未知数が１つ多い連立１次方程式であり，自由度が１で解が存在する。

この解の自由度は拡大率によって変わり，２倍未満の拡大率であれば解が存在しない場合もあり得る。解が複数存在する場合，通常の方法で求めた同率縮尺の縮小処理用フィルタに近いフィルタ係数を選択することで，画像境界付近等の可逆変換が成立しない領域についても不自然な縮小画像にならないようにすることができる。

また，実際には，フィルタ係数の精度や，拡大縮小処理時の画素値の丸めのために，誤差が入り込み，完全には可逆変換とはならないが，比較的小さな誤差である。

一方，画像端境界処理が影響する領域については，係数の値を他の領域とは別に画素ごとに可逆となるようなフィルタ係数を逐一求める方法もあり得るが，実装が複雑になる欠点がある。そのため，画像端境界処理が影響する領域については，可逆変換とすることをあきらめて，拡大，縮小とも，画像内で一定パターンのフィルタ係数を用いることで，拡大縮小処理の実装を容易にする方法をとることが望ましい。これは，画像の大きさに対して，画像端境界処理が影響する領域が極めて小さいことを考慮すると経済的な方法である。

また，以下に，Ｎ＝１０，Ｍ＝２５とした場合の例について述べる。拡大変換行列をＡ，縮小変換行列をＢとすると，画像端境界処理が影響する領域において可逆変換となる条件ＢＡ＝Ｉは，例えば下記のようになる。

この場合，変換率が２対５なので変換前後の画素位置の関係から，拡大処理には５セットの係数，縮小には２セットの係数が必要となる。そのため，行列Ｂ，Ａ，Ｉの画像端境界処理が影響しない領域における同一の繰り返しパターンとして行列Ｂ’，Ａ’，Ｉ’と，Ｂ”，Ａ”，Ｉ”の２系統を抜きだし，それぞれ，Ｂ’Ａ’＝Ｉ’，Ｂ”Ａ”＝Ｉ”が成立するＢ’，Ｂ”を求めることで，可逆変換となる縮小処理用フィルタ係数を求めることができる。

図１は，本発明の実施例１に係る装置構成を示す図である。図２は，本発明の実施例１に係る処理フローチャートである。

図１において，１０は復号器（デコーダ），２０は再符号化器である。復号器１０において，１１は入力されたビットストリームを復号する復号部，１２は復号映像（４：２：０フォーマット映像）に対して４２０−４２２変換を行なう４２０−４２２変換部，１３は変換後の４：２：２フォーマット映像をデコーダ出力映像として出力する映像出力部，１４は復号部１１から得た符号化情報と４２０−４２２変換部１２から得た４２０−４２２変換用フィルタ係数を出力する情報出力部である。

また，再符号化器２０において，２１は復号器１０の映像出力部１３から出力されたデコーダ出力映像が入力される映像入力部，２２は復号器１０の情報出力部１４から出力された符号化情報および４２０−４２２変換用フィルタ係数が入力される情報入力部，２３は４２０−４２２変換用フィルタ係数をもとに４２２−４２０変換用フィルタ係数を求める可逆フィルタ計算部，２４は映像入力部２１から入力された４：２：２フォーマット映像に対して４２２−４２０変換を行ない，４：２：０フォーマット映像を出力する４２２−４２０変換部，２５は４：２：０フォーマット映像の再符号化を行ない，符号化ビットストリームを出力する再符号化部である。

実施例１での再符号化方法は，復号器１０における復号・拡大処理と再符号化器２０における縮小処理・再符号化のプロセスからなる。

復号器１０の復号部１１において，入力された４：２：０フォーマットで符号化されたＭＰＥＧ−２ビットストリームを復号した後（ステップＳ１，Ｓ２），４２０−４２２変換部１２において，４：２：０フォーマット復号映像の４２０−４２２変換を行なう（ステップＳ３）。４２０−４２２変換は，映像の色差成分についてのみ，垂直方向に２倍に拡大する変換であり，この例の場合，下記のように近傍の４画素の画素値の重み付け線形和によって変換後の各サンプル位置の画素値を決定する。

ｙ_2n＝ａ×ｘ_n-2 ＋ｂ×ｘ_n-1 ＋ｃ×ｘ_n ＋ｄ×ｘ_n+1 （２０）
ｙ_2n+1＝ｅ×ｘ_n-1 ＋ｆ×ｘ_n ＋ｇ×ｘ_n+1 ＋ｈ×ｘ_n+2 （２１）
ここで，ｎは０以上Ｎ未満の整数，ｘは変換前の画素値，ｙは変換後の画素値であり，インデクスは垂直方向座標，Ｎは変換前の垂直方向の画素数を表し，画像境界においては，鏡像反転処理が行なわれるものとする。すなわち，ｘ_-1＝ｘ₁ ，ｘ_-2＝ｘ₂ ，…，ｘ_-n＝ｘ_n ，ｘ_N ＝ｘ_N-2 ，ｘ_N+1 ＝ｘ_N-3 ，…，ｘ_N+n ＝ｘ_N-n-2 とする。また，上式で得た画素値は画素値がとり得る値，０−２５５の整数に丸められる。

この４２０−４２２変換用フィルタ係数（ａ，ｂ，ｃ，ｄ），（ｅ，ｆ，ｇ，ｈ）は，拡大前の画像のナイキスト周波数をカットオフ周波数とするＦＩＲフィルタ係数をもとに拡大前後の画素位置の相関関係を考慮して求め，その値を適当な精度に丸めた値を用いる。

４２０−４２２変換部１２は，このようにして得られた４：２：２フォーマット映像を映像出力部１３に渡し，映像出力部１３はこれをデコーダ出力映像として出力する。これとともに，情報出力部１４は，復号部１１より得られたＤＣＴ係数以外の動きベクトルやマクロブロックモード等を含む全ての符号化情報を出力する。また同時に，４２０−４２２変換部１２より得た，４２０−４２２変換用フィルタ係数（ａ，ｂ，ｃ，ｄ），（ｅ，ｆ，ｇ，ｈ）を出力する（ステップＳ４）。

再符号化器２０には，符号化情報，映像出力部１３から出力されたデコーダ出力映像（４：２：２フォーマット映像），４２０−４２２変換用フィルタ係数が入力される（ステップＳ５）。再符号化器２０の映像入力部２１は，入力されたデコーダ出力映像である４：２：２フォーマット映像を４２２−４２０変換部２４に渡す。

再符号化器２０の情報入力部２２は，入力された符号化情報から，前段符号化が４：２：０フォーマットで行なわれていたことを確認し（ステップＳ６），同じく入力された４２０−４２２変換用フィルタ係数（ａ，ｂ，ｃ，ｄ），（ｅ，ｆ，ｇ，ｈ）を可逆フィルタ計算部２３に渡す。

可逆フィルタ計算部２３は，この４２０−４２２変換用フィルタ係数をもとに，

を満たす，４２２−４２０変換用フィルタ係数（ｐ，ｑ，ｒ，ｓ，ｔ，ｕ，ｖ，ｗ）を求める（ステップＳ７）。

この式は，等式に対し未知数が１つ多い連立１次方程式であり，自由度が１で解が存在するため，例えばｓなど一つの変数を固定して，ガウスの消去法などの連立１次方程式の解法により解を求める。これを複数のｓについて行ない，デフォルトの４２２−４２０変換用フィルタ係数（ｐ’，ｑ’，ｒ’，ｓ’，ｔ’，ｕ’，ｖ’，ｗ’）との差分を評価し，最も差分が小さい係数を選ぶ（ステップＳ８）。

この評価には，例えば係数同士の差分の２乗和などを用いる。また，デフォルトの４２２−４２０変換用フィルタ係数は，あらかじめ通常の方法で求めておいたフィルタ係数であり，縮小後の画像のナイキスト周波数をカットオフ周波数とするＦＩＲフィルタ係数をもとに縮小前後の画素位置の相関関係を考慮して決定しておく。

可逆フィルタ計算部２３は，このようにして決まった４２２−４２０変換用フィルタ係数（ｐ，ｑ，ｒ，ｓ，ｔ，ｕ，ｖ，ｗ）を４２２−４２０変換部２４に渡す。４２２−４２０変換部２４は，このフィルタ係数を用いて，４：２：２フォーマット映像に対して下記のように４２２−４２０変換を行ない（ステップＳ９），４：２：０フォーマット映像を出力する。

ｚ_n ＝ｐ×ｙ_2n-3＋ｑ×ｙ_2n-2＋ｒ×ｙ_2n-1＋ｓ×ｙ_2n＋ｔ×ｙ_2n+1＋ｕ×ｙ_2n+2＋ｖ×ｙ_2n+3＋ｗ×ｙ_2n+4 （２３）
ここで，ｎは０以上Ｎ未満の整数，ｙは変換前の画素値，ｚは変換後の画素値，インデクスは垂直方向座標，２Ｎは変換前の垂直方向の画素数を表し，画像境界においては，鏡像反転処理が行なわれるものとする。すなわち，ｙ_-1＝ｙ₁ ，ｙ_-2＝ｙ₂ ，…，ｙ_-n＝ｙ_n ，ｙ_2N＝ｙ_2N-2，ｙ_2N+1＝ｙ_2N-3，…，ｙ_2N+n＝ｙ_2N-n-2とする。また，上式で得た画素値は画素値がとり得る値，０−２５５の整数に丸められる。これにより，復号器１０における４：２：０フォーマットの復号映像とほぼ等しい４：２：０フォーマット映像を得ることができる。

この方法では，画像の上下端各３ラインが鏡像処理の影響を受け，画像が変化するが，デフォルトのフィルタ係数に近いフィルタ係数を用いているため，大きな劣化とはならない。

さらに，再符号化部２５は，このようにして得られた４：２：０フォーマット映像を情報入力部２２から得られる符号化情報に従って再符号化を行ない（ステップＳ１０），ビットストリームを出力する（ステップＳ１１）。これにより，再符号化された映像ストリームの復号映像は，前段の復号映像に比べてほとんど劣化のない画質となる。

図３は，本発明の実施例２に係る装置構成を示す図である。図４は，本発明の実施例２に係る処理フローチャートである。

図３において，３０は復号器，４０は再符号化器である。復号器３０において，３１は入力されたビットストリームを復号する復号部，３２は復号映像に対して拡大処理を行なう拡大処理部，３３は拡大映像をデコーダ出力映像として出力する映像出力部，３４は復号部３１から得た符号化情報を出力するとともに，縮小処理用フィルタ係数を出力する情報出力部である。

また，再符号化器４０において，４１は復号器３０の映像出力部３３から出力されたデコーダ出力映像が入力される映像入力部，４２は復号器３０の情報出力部３４から出力された符号化情報および縮小処理用フィルタ係数が入力される情報入力部，４３は縮小処理用フィルタ係数をもとに，入力映像の縮小処理を行い，縮小映像を出力する縮小処理部，４４は縮小映像の再符号化を行ない，ビットストリームを出力する再符号化部である。

実施例２に示す再符号化方法の例は，復号器３０における復号・拡大処理と再符号化器４０における縮小処理・再符号化のプロセスからなる。復号器３０に入力される符号化されたＭＰＥＧ−２ビットストリームは，符号化時に，２／５に水平方向に縮小された後，符号化されたストリームであるとする。

復号器３０の復号部３１が，入力されたビットストリームを復号した後（ステップＳ２１，Ｓ２２），拡大処理部３２が復号映像を水平方向に５／２倍に拡大する（ステップＳ２３）。この例の場合，下記のように近傍の４画素の画素値の重み付け線形和によって変換後の各サンプル位置の画素値を決定する。

ｙ_5n＝ａ₁ ×ｘ_2n-2＋ａ₂ ×ｘ_2n-1＋ａ₃ ×ｘ_2n＋ａ₄ ×ｘ_2n+1 （２４）
ｙ_5n+1＝ｂ₁ ×ｘ_2n-1＋ｂ₂ ×ｘ_2n＋ｂ₃ ×ｘ_2n+1＋ｂ₄ ×ｘ_2n+2 （２５）
ｙ_5n+2＝ｃ₁ ×ｘ_2n-1＋ｃ₂ ×ｘ_2n＋ｃ₃ ×ｘ_2n+1＋ｃ₄ ×ｘ_2n+2 （２６）
ｙ_5n+3＝ｄ₁ ×ｘ_2n-1＋ｄ₂ ×ｘ_2n＋ｄ₃ ×ｘ_2n+1＋ｄ₄ ×ｘ_2n+2 （２７）
ｙ_5n+4＝ｅ₁ ×ｘ_2n＋ｅ₂ ×ｘ_2n-1＋ｅ₃ ×ｘ_2n＋ｅ₄ ×ｘ_2n+3 （２８）
ここで，ｎは０以上Ｎ未満の整数，ｘは変換前の画素値，ｙは変換後の画素値であり，インデクスは水平方向座標，２Ｎは拡大前の水平方向の画素数を表し，画像境界においては，鏡像反転処理が行なわれるものとする。すなわち，ｘ_-1＝ｘ₁ ，ｘ_-2＝ｘ₂ ，…，ｘ_-n＝ｘ_n ，ｘ_2N＝ｘ_2N-2，ｘ_2N+1＝ｘ_2N-3，…，ｘ_2N+n＝ｘ_2N-n-2とする。また，上式で得た画素値は画素値がとり得る値，０−２５５の整数に丸められる。

この拡大処理用フィルタ係数は，拡大前の画像のナイキスト周波数をカットオフ周波数とするＦＩＲフィルタ係数をもとに拡大前後の画素位置の相関関係を考慮して求め，その値を適当な精度に丸めた値を用いる。

拡大処理部３２は，このようにして得られた拡大映像を映像出力部３３に渡し，映像出力部３３はデコーダ出力映像として出力する。これとともに，情報出力部３４は，復号部３１により得られたＤＣＴ係数以外の動きベクトルやマクロブロックモード等を含む全ての符号化情報を出力する。また，同時に拡大処理の可逆変換となる縮小処理用フィルタ係数を出力する（ステップＳ２４）。

この縮小処理用フィルタ係数（ｓ₁ ，ｓ₂ ，ｓ₃ ，ｓ₄ ，ｓ₅ ，ｓ₆ ，ｓ₇ ，ｓ₈ ，ｓ₉ ，ｓ₁₀），（ｔ₁ ，ｔ₂ ，ｔ₃ ，ｔ₄ ，ｔ₅ ，ｔ₆ ，ｔ₇ ，ｔ₈ ，ｔ₉ ，ｔ₁₀）は，図５に示す処理に従って以下のように求めておく。

拡大率５／２の場合の拡大処理用フィルタ係数を通常の方法で求め（ステップＳ２４１），縮小率２／５の場合のデフォルトの縮小処理用フィルタ係数を通常の方法で求める（ステップＳ２４２）。デフォルトの縮小処理用のフィルタの係数は，縮小後の画像のナイキスト周波数をカットオフ周波数とするＦＩＲフィルタ係数をもとに縮小前後の画素位置の相関関係を考慮して決定しておく。

そして，拡大処理用フィルタ係数から，

を満たす縮小処理用フィルタ係数を求める。

これらの式は，等式に対し未知数が３つ多い連立１次方程式であり，自由度が３で解が存在するため，例えばｓ₄ ，ｓ₅ ，ｓ₆ など３つの変数を固定して，ガウスの消去法などの連立１次方程式の解法により解を求める。

これを複数のパターンについて行ない，デフォルトの縮小処理用のフィルタ係数（ｓ'₁，ｓ'₂，ｓ'₃，ｓ'₄，ｓ'₅，ｓ'₆，ｓ'₇，ｓ'₈，ｓ'₉，ｓ'₁₀ ），（ｔ'₁，ｔ'₂，ｔ'₃，ｔ'₄，ｔ'₅，ｔ'₆，ｔ'₇，ｔ'₈，ｔ'₉，ｔ'₁₀ ）との係数同士の差分の２乗和を評価し，最も小さい係数を縮小処理用フィルタ係数として選ぶ（ステップＳ２４４）。

拡大処理用フィルタ係数と，縮小処理用フィルタ係数は，復号器３０に記憶させておく（ステップＳ２４５）。復号器３０の情報出力部３４は，このようにしてあらかじめ求めておいた縮小処理用のフィルタ係数を，符号化情報とともに出力する。

再符号化器４０には，上記縮小処理用フィルタ係数，デコーダ出力映像，符号化情報が入力される（ステップＳ２５）。再符号化器４０の情報入力部４２は，入力された符号化情報の符号化画像サイズとデコーダ出力映像の画像サイズから，復号器３０における拡大率が水平方向５／２倍であることを確認した上で（ステップＳ２６），同じく入力された縮小処理用フィルタ係数を縮小処理部４３に渡す。縮小処理部４３は，この縮小処理用フィルタ係数をもとに，下記のように２／５の縮小処理を行なう（ステップＳ２７）。

ｚ_2n＝ｓ₁ ×ｙ_5n-4＋ｓ₂ ×ｙ_5n-3＋ｓ₃ ×ｙ_5n-2＋ｓ₄ ×ｙ_5n-1＋ｓ₅ ×ｙ_5n＋ｓ₆ ×ｙ_5n+1＋ｓ₇ ×ｙ_5n+2＋ｓ₈ ×ｙ_5n+3＋ｓ₉ ×ｙ_5n+4＋ｓ₁₀×ｙ_5n+5 （３１）
ｚ_2n+1＝ｔ₁ ×ｙ_5n-1＋ｔ₂ ×ｙ_5n＋ｔ₃ ×ｙ_5n+1＋ｔ₄ ×ｙ_5n+2＋ｔ₅ ×ｙ_5n+3＋ｔ₆ ×ｙ_5n+4＋ｔ₇ ×ｙ_5n+5＋ｔ₈ ×ｙ_5n+6＋ｔ₉ ×ｙ_5n+7＋ｔ₁₀×ｙ_5n+8 （３２）
ここで，ｎは０以上Ｎ未満の整数，ｙは変換前の画素値，ｚは変換後の画素値，インデクスは水平方向座標，５Ｎは縮小前の水平方向画像サイズを表し，画像境界においては，鏡像反転処理が行なわれるものとする。すなわち，ｙ_-1＝ｙ₁ ，ｙ_-2＝ｙ₂ ，…，ｙ_-n＝ｙ_n ，ｙ_5N＝ｙ_5N-2，ｙ_5N+1＝ｙ_5N-3，…，ｙ_5N+n＝ｙ_5N-n-2とする。また，上式で得た画素値は画素値がとり得る値，０−２５５の整数に丸められる。

これにより，復号器３０における拡大前の復号映像とほぼ等しい映像を得ることができる。この方法では，画像の上下端各３ラインが鏡像処理の影響を受け，画像が変化するが，デフォルトのフィルタ係数に近いフィルタ係数を用いているため，大きな劣化とはならない。

さらに，再符号化器４０はこのようにして得られた縮小映像を入力された符号化情報に従って再符号化を行ない（ステップＳ２８），ビットストリームを出力する（ステップＳ２９）。これにより，再符号化された映像ストリームの復号映像は，前段の復号映像に比べてほとんど劣化のない画質となる。

本発明の実施例１に係る装置構成を示す図である。 本発明の実施例１に係る処理フローチャートである。 本発明の実施例２に係る装置構成を示す図である。 本発明の実施例２に係る処理フローチャートである。 縮小処理用フィルタ係数を算出する処理フローチャートである。

符号の説明

１０，３０ 復号器
１１，３１ 復号部
１２ ４２０−４２２変換部
１３，３３ 映像出力部
１４，３４ 情報出力部
２０，４０ 再符号化器
２１，４１ 映像入力部
２２，４２ 情報入力部
２３ 可逆フィルタ計算部
２４ ４２２−４２０変換部
２５，４４ 再符号化部
３２ 拡大処理部
４３ 縮小処理部

Claims (14)

1. 映像符号化ストリームを復号した復号映像の解像度を拡大処理用フィルタを用いて拡大した画像信号を，拡大前の解像度に縮小してから再符号化を行なう際に，前記解像度の縮小に用いる縮小処理用フィルタのフィルタ係数を決定する解像度変換用フィルタ係数決定方法であって，
   前記解像度の拡大処理に用いた拡大処理用フィルタのフィルタ係数であって，少なくとも画像端境界処理が影響する領域以外に適用された一定パターンのフィルタ係数を入力し，記憶手段に記憶する過程と，
   拡大前のＮ画素の１次元画像データを表す１列Ｎ行の行列をＸ，拡大後のＭ（Ｍ＞Ｎ）画素の１次元画像データを表す１列Ｍ行の行列をＹ，拡大処理を表すＹ＝ＡＸとなるＮ列Ｍ行の拡大変換行列をＡとし，縮小後のＮ画素からなる１次元画像データを表す１列Ｎ行の行列をＺ，縮小処理を表すＺ＝ＢＹとなるＭ列Ｎ行の縮小変換行列をＢ，Ｎ列Ｎ行の単位行列をＩとするときに，前記記憶した拡大処理用フィルタの一定パターンのフィルタ係数を少なくとも画像端境界処理が影響しない領域部分の行列中の行方向の要素の並びに含む，該フィルタ係数によって定まる拡大変換行列Ａから，ＢＡ＝Ｉとなる縮小変換行列Ｂを算出する過程と，
   算出した縮小変換行列Ｂに基づいて縮小処理用フィルタのフィルタ係数を決定する過程とを有する
   ことを特徴とする解像度変換用フィルタ係数決定方法。
2. 請求項１記載の解像度変換用フィルタ係数決定方法において，
   前記ＢＡ＝Ｉとなる縮小変換行列Ｂを算出する過程では，前記縮小変換行列Ｂと前記拡大変換行列Ａとの積ＢＡが，少なくとも拡大縮小処理における画像端境界処理が影響しない領域部分においてＮ列Ｎ行の単位行列Ｉと等しくなるような縮小処理のフィルタ係数を求めるために，前記行列Ｂ，Ａ，Ｉの画像端境界処理が影響しない領域において行列の行方向の要素の値の並びが繰り返し同じように現れる部分の同一の繰り返しパターンの単位を，前記行列Ｂ，Ａ，Ｉからそれぞれ行列Ｂ’，Ａ’，Ｉ’として抜き出し，Ｂ’Ａ’＝Ｉ’となる行列Ｂ’を求め，それに基づいて縮小処理用フィルタのフィルタ係数を決定する
   ことを特徴とする解像度変換用フィルタ係数決定方法。
3. 映像符号化ストリームを復号した復号映像の解像度を拡大処理用フィルタを用いて拡大した画像信号を，再符号化する前に拡大前の解像度に縮小する画像解像度変換方法において，
   前記拡大処理用フィルタを用いて解像度を拡大した画像信号を入力する過程と，
   請求項１または請求項２に記載された解像度変換用フィルタ係数決定方法を用いて決定されたフィルタ係数からなる縮小処理用フィルタを用いて，前記入力した画像信号の解像度を拡大前の解像度に縮小する過程とを有する
   ことを特徴とする画像解像度変換方法。
4. 映像符号化ストリームを復号した復号映像の解像度を拡大処理用フィルタを用いて拡大した画像信号を，再符号化する前に拡大前の解像度に縮小する画像解像度変換装置において，
   前記拡大処理用フィルタを用いて解像度を拡大した画像信号を入力する手段と，
   請求項１または請求項２に記載された解像度変換用フィルタ係数決定方法を用いて決定されたフィルタ係数からなる縮小処理用フィルタを用いて，前記入力した画像信号の解像度を拡大前の解像度に縮小する手段とを備える
   ことを特徴とする画像解像度変換装置。
5. 復号器による映像符号化ストリーム復号時に復号映像の解像度を拡大し，再符号化器によるその映像の再符号化時に入力映像の解像度を拡大前の解像度に縮小してから再符号化を行なう映像再符号化方法において，
   前記復号器において復号映像の解像度の拡大に用いた解像度変換用フィルタ係数の情報を前記再符号化器に伝達する過程と，
   前記再符号化器に伝達された解像度変換用フィルタ係数の情報から，請求項１または請求項２に記載された解像度変換用フィルタ係数決定方法を用いて，縮小処理用フィルタのフィルタ係数を決定する過程と，
   決定されたフィルタ係数からなる縮小処理用フィルタを用いて，入力した映像信号の解像度を拡大前の解像度に縮小する過程と，
   解像度を縮小した映像信号を再符号化する過程とを有する
   ことを特徴とする映像再符号化方法。
6. 復号器による映像符号化ストリーム復号時に復号映像の解像度を拡大し，再符号化器によるその映像の再符号化時に入力映像の解像度を拡大前の解像度に縮小してから再符号化を行なう映像再符号化方法において，
   前記復号器において復号映像の解像度の拡大に用いた解像度変換用フィルタ係数の情報から，請求項１または請求項２に記載された解像度変換用フィルタ係数決定方法を用いて決定した縮小処理用フィルタのフィルタ係数情報と映像信号とを，前記再符号化器に入力する過程と，
   前記入力したフィルタ係数情報に基づく縮小処理用フィルタを用いて，入力した映像信号の解像度を拡大前の解像度に縮小する過程と，
   解像度を縮小した映像信号を再符号化する過程とを有する
   ことを特徴とする映像再符号化方法。
7. 映像符号化ストリーム復号時に復号映像の解像度を拡大した映像信号を入力し，その入力映像の解像度を拡大前の解像度に縮小してから再符号化を行なう映像再符号化装置において，
   再符号化する映像信号を入力する映像入力手段と，
   前記映像符号化ストリーム復号時に復号映像の解像度の拡大に用いた解像度変換用フィルタ係数の情報を入力する情報入力手段と，
   前記入力した解像度変換用フィルタ係数の情報から，請求項１または請求項２に記載された解像度変換用フィルタ係数決定方法を用いて，縮小処理用フィルタのフィルタ係数を決定する可逆フィルタ計算手段と，
   決定されたフィルタ係数からなる縮小処理用フィルタを用いて，入力した映像信号の解像度を拡大前の解像度に縮小する解像度変換手段と，
   解像度を縮小した映像信号を再符号化する再符号化手段とを備える
   ことを特徴とする映像再符号化装置。
8. 映像符号化ストリーム復号時に復号映像の解像度を拡大した映像信号を入力し，その入力映像の解像度を拡大前の解像度に縮小してから再符号化を行なう映像再符号化装置において，
   再符号化する映像信号を入力する映像入力手段と，
   前記映像符号化ストリーム復号時に復号映像の解像度の拡大に用いた解像度変換用フィルタ係数の情報から，請求項１または請求項２に記載された解像度変換用フィルタ係数決定方法を用いて決定した縮小処理用フィルタのフィルタ係数を入力する情報入力手段と，
   前記入力したフィルタ係数情報に基づく縮小処理用フィルタを用いて，入力した映像信号の解像度を拡大前の解像度に縮小する解像度変換手段と，
   解像度を縮小した映像信号を再符号化する再符号化手段とを備える
   ことを特徴とする映像再符号化装置。
9. 請求項１または請求項２に記載の解像度変換用フィルタ係数決定方法を，コンピュータに実行させるための解像度変換用フィルタ係数決定プログラム。
10. 請求項３に記載の画像解像度変換方法を，コンピュータに実行させるための画像解像度変換プログラム。
11. 請求項５または請求項６に記載の映像再符号化方法を，コンピュータに実行させるための映像再符号化プログラム。
12. 請求項１または請求項２に記載の解像度変換用フィルタ係数決定方法を，コンピュータに実行させるための解像度変換用フィルタ係数決定プログラムを記録した記録媒体。
13. 請求項３に記載の画像解像度変換方法を，コンピュータに実行させるための画像解像度変換プログラムを記録した記録媒体。
14. 請求項５または請求項６に記載の映像再符号化方法を，コンピュータに実行させるための映像再符号化プログラムを記録した記録媒体。

Images