JP2003333603A - コンピュータ実施される方法、システムおよびコンピュータ可読媒体 - Google Patents

Abstract

(57)【要約】 【課題】 近似双三次フィルタリングのさまざまな技法
およびツールを提供する。 【解決手段】 たとえば、動き推定および動き補償中
に、ビデオエンコーダで、基準ビデオフレーム内の１／
４ピクセル位置のピクセル値を計算するときに、近似双
三次フィルタリングを使用する。あるいは、動き補償中
に、ビデオデコーダで、１／４ピクセル位置のピクセル
値を計算するときに、近似双三次フィルタリングを使用
する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】近似双三次フィルタリングの
技法およびツールを説明する。たとえば、ビデオエンコ
ーダまたはビデオデコーダで、基準ビデオフレームにお
ける１／４ピクセル位置でピクセル値を計算するとき
に、近似双三次フィルタが使用される。

【０００２】

【従来の技術】ディジタルビデオは、大量のストレージ
および伝送容量を消費する。通常の生のディジタルビデ
オシーケンスには、毎秒１５フレームまたは３０フレー
ムが含まれる。各フレームに、１万個または１０万個の
ピクセル（ペルとも称する）が含まれる可能性がある。
各ピクセルは、画像の小さい要素を表す。生の形では、
コンピュータは、一般に２４ビットを用いて１ピクセル
を表す。たとえば、１つのピクセルに、ピクセルのグレ
イスケール成分を定義する８ビット輝度値（明度値とも
称する）と、ピクセルの色成分を定義する２つの８ビッ
トクロミナンス値（クロマ値とも称する）が含まれる場
合がある。したがって、通常の生のディジタルビデオシ
ーケンスのビット毎秒またはビットレートの数は、毎秒
５００万ビット以上になる可能性がある。

【０００３】多くのコンピュータおよびコンピュータネ
ットワークには、生のディジタルビデオを処理するリソ
ースが欠けている。この理由から、エンジニアは、圧縮
（コーディングまたはエンコーディングとも称する）を
使用して、ディジタルビデオのビットレートを下げる。
圧縮は、ロスレス（ｌｏｓｓｌｅｓｓ）とすることがで
き、この場合には、ビデオの品質は影響を受けないが、
ビットレートの減少が、ビデオの複雑さによって制限さ
れる。あるいは、圧縮をロッシイ（ｌｏｓｓｙ）とする
ことができ、この場合には、ビデオの品質に影響がある
が、ビットレートの減少が、より劇的になる。圧縮解除
では、圧縮の逆を行う。

【０００４】一般に、ビデオ圧縮技法には、イントラフ
レーム圧縮（ｉｎｔｒａｆｒａｍｅｃｏｍｐｒｅｓｓｉ
ｏｎ）とインターフレーム圧縮（ｉｎｔｅｒｆｒａｍｅ
ｃｏｍｐｒｅｓｓｉｏｎ）とが含まれる。イントラフレ
ーム圧縮技法では、通常はＩフレームまたはキーフレー
ムと呼ばれる個々のフレームを圧縮する。インターフレ
ーム圧縮技法では、通常は予測フレーム、Ｐフレーム、
またはＢフレームと呼ばれる、前のフレームおよび／ま
たは後のフレームを参照してフレームを圧縮する。

【０００５】Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉ
ｏｎ社のＷｉｎｄｏｗｓ（登録商標）Ｍｅｄｉａ Ｖｉ
ｄｅｏ、Ｖｅｒｓｉｏｎ ８（「ＷＭＶ８」）には、ビ
デオエンコーダおよびビデオデコーダが含まれる。ＷＭ
Ｖ８エンコーダでは、イントラフレーム圧縮およびイン
ターフレーム圧縮が使用され、ＷＭＶ８デコーダでは、
イントラフレーム圧縮解除およびインターフレーム圧縮
解除が使用される。ＷＭＶ８エンコーダのインターフレ
ーム圧縮では、ブロックに基づく動き補償された予測コ
ーディングと、その後の、残留誤差の変換コーディング
が使用される。

【０００６】ＷＭＶ８では、フレームが、３つのピクセ
ルプレーンすなわち、輝度ピクセル値の輝度（Ｙ）平面
およびクロミナンスピクセル値の２つの色（Ｕ、Ｖ）平
面として表される。Ｙ平面の解像度は、水平および垂直
でＵ平面およびＶ平面の解像度の２倍である。したがっ
て、３２０ピクセル×２４０ピクセルのフレームは、３
２０ピクセル×２４０ピクセルのＹ平面および１６０ピ
クセル×１２０ピクセルのＵ平面およびＶ平面を有す
る。

【０００７】ＷＭＶ８エンコーダでは、予測フレームが
ピクセルの８×８ブロックに分割される。４つの８×８
輝度ブロックおよび２つの同一位置の８×８クロミナン
スブロック（一方はＵ色平面、他方はＶ色平面に関す
る）のグループによって、１６×１６マクロブロックと
が形成される。したがって、１６×１６マクロブロック
のそれぞれに、４つの８×８輝度ブロックと、２つの８
×８クロミナンスブロックとが含まれる。

【０００８】予測フレームのマクロブロックについて、
ＷＭＶ８エンコーダでは、動き推定（ｍｏｔｉｏｎ ｅ
ｓｔｉｍａｔｉｏｎ）が実行される。動き推定では、予
測フレーム内でマクロブロックを検索し、基準フレーム
からのマクロブロックとマッチングすることによって、
予測フレーム内のマクロブロックの動きを近似する。た
とえば、図１では、ＷＭＶ８エンコーダによって、予測
フレーム（１１０）内のマクロブロック（１１５）の動
きベクトルが計算される。この動きベクトルを計算する
ために、エンコーダは、基準フレーム（１３０）の検索
領域（１３５）内を検索する。検索領域（１３５）内
で、エンコーダは、よい一致を見つけるために、予測フ
レーム（１１０）からのマクロブロック（１１５）の輝
度値を、基準フレーム（１３０）からのさまざまな候補
ブロックの輝度値と比較する。ＷＭＶ８エンコーダは、
動きベクトル精度を切り替えることができ、整数ピクセ
ル、１／２ピクセル、または１／４ピクセルの水平分解
能と、整数ピクセルまたは１／２ピクセルの垂直分解能
とを有する検索範囲および動きベクトルを使用すること
ができる。サブピクセル精度の動きベクトルを用いる
と、ＷＭＶ８エンコーダによって、ビデオシーケンス内
のサブピクセル動きを近似することができる。

【０００９】動き補償（ｍｏｔｉｏｎ ｃｏｍｐｅｎｓ
ａｔｉｏｎ）中に、ＷＭＶ８エンコーダでは、予測フレ
ームのマクロブロックの動きベクトルを使用して、基準
フレームからマクロブロックの予測子（ｐｒｅｄｉｃｔ
ｏｒ）を判定する。動き予測されるマクロブロックのそ
れぞれについて、ＷＭＶ８エンコーダでは、元のマクロ
ブロックとその予測子の間の差（残差または誤差と称す
る）を計算する。ＷＭＶ８エンコーダでは、残差をブロ
ックに分割し、残差ブロックをロッシイ圧縮する。予測
フレームの動き予測されたマクロブロックを再構成する
ために、ＷＭＶ８エンコーダでは、残差を圧縮解除し、
めいめいのマクロブロックの予測子に加算する。

【００１０】ＷＭＶ８デコーダでも、予測フレームのマ
クロブロックの動きベクトルを使用して、基準フレーム
からマクロブロックの予測子を判定する。予測フレーム
の動き予測されたマクロブロックを再構成するために、
ＷＭＶ８デコーダでは、残差を圧縮解除し、マクロブロ
ックの予測子に加算する。

【００１１】動き推定中または動き補償中に、動きベク
トルがサブピクセル精度を有する（すなわち、１／２ピ
クセルまたは１／４ピクセル）ときに、ＷＭＶ８エンコ
ーダまたはＷＭＶ８デコーダでは、基準フレーム内のサ
ブピクセル位置のピクセル値を判定しなければならな
い。ＷＭＶ８エンコーダまたはＷＭＶ８デコーダでは、
補間フィルタを使用して、サブピクセル位置の値を生成
する。図２に、整数ピクセル値ａ、ｂ、ｃ、．．．、ｐ
の補間によって計算された値を有するサブピクセルサン
プル位置Ｈ_０、Ｈ_１、Ｈ_２を示す。

【００１２】１／２ピクセル動きベクトル精度を用いて
動作するときに、３つの別個の１／２ピクセル位置
Ｈ_０、Ｈ_１、Ｈ_２の輝度ピクセル値について使用される
補間フィルタは、次の通りである。 Ｈ_０＝（ｆ＋ｇ＋Ｒ_２）＞＞１ （１） Ｈ_１＝（ｆ＋ｊ＋Ｒ_２）＞＞１ （２） Ｈ_２＝（ｆ＋ｇ＋ｊ＋ｋ＋Ｒ_１）＞＞２ （３）

【００１３】ここで、Ｒ_１およびＲ_２は、特定のフレー
ムの丸めモードを示す１ビット丸め制御フラグによって
制御される丸め制御値である。丸め制御フラグに０がセ
ットされている場合には、Ｒ_１＝２かつＲ_２＝１であ
る。丸め制御フラグに１がセットされている場合には、
Ｒ_１＝Ｒ_２＝０である。丸め制御フラグの値は、Ｐフレ
ームごとに１と０の間で交互に変える。各Ｉフレームで
は、丸め制御フラグの値が０にリセットされる。したが
って、丸め制御は、フレーム単位で動作する。

【００１４】式１、２、および３は、双一次補間（ｂｉ
ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）の例であ
る。双一次補間は、高速であり、ピクセル値が滑らかに
なる傾向がある。この平滑化は、望ましい効果（量子化
雑音の知覚可能性の低下など）を有する場合があるが、
有効なピクセル情報の消失につながる可能性もある。

【００１５】１／４ピクセル動きベクトル分解能の場合
に、ＷＭＶ８エンコーダまたはＷＭＶ８デコーダでは、
まず、双三次フィルタ（ｂｉｃｕｂｉｃ ｆｉｌｔｅ
ｒ）を使用して、１／２ピクセル位置での輝度ピクセル
値を補間する。双三次補間は、双一次補間より低速であ
るが、エッジ値が保存される傾向があり、より少ない有
効ピクセル情報の消失をもたらす。３つの別個の１／２
ピクセル位置Ｈ_０、Ｈ_１、Ｈ_２の双三次フィルタは、次
の通りである。 Ｈ_０＝（−ｅ＋９ｆ＋９ｇ−ｈ＋８）＞＞４ （４） Ｈ_１＝（−ｂ＋９ｆ＋９ｊ−ｎ＋８）＞＞４ （５） Ｈ_２＝（−ｔ_０＋９ｔ_１＋９ｔ_２−ｔ_３＋８）＞＞４ （６）

【００１６】ここで、ｔ_０、ｔ_１、ｔ_２、ｔ_３は、次の
ように計算される。 ｔ_０＝（−ａ＋９ｂ＋９ｃ−ｄ＋８）＞＞４ （７） ｔ_１＝（−ｅ＋９ｆ＋９ｇ−ｈ＋８）＞＞４ （８） ｔ_２＝（−ｉ＋９ｊ＋９ｋ−ｌ＋８）＞＞４ （９） ｔ_３＝（−ｍ＋９ｎ＋９ｏ−ｐ＋８）＞＞４ （１０）

【００１７】式（４）から（１０）は、入力値の範囲の
外の出力をもたらすことができる。たとえば、８ビット
入力（範囲０、．．．、２５５）について、一連の値、
０２５５ ２５５ ０によって、式（４）から（１０）
のどれにおいても、２８７の出力値が作られる。したが
って、ＷＭＶ８エンコーダまたはＷＭＶ８デコーダで
は、有効な範囲内になるように、すべての式（４）から
（１０）の出力値をクランプ（または「クリッピン
グ」）する。たとえば、８ビット出力値について、０未
満の値は０に変更され、２５５を超える値は２５５に変
更される。クランプは、範囲の問題に対処するが、計算
の速度が落ちる。さらに、クランプは、精度の消失をも
たらす。

【００１８】ＷＭＶ８エンコーダまたはＷＭＶ８デコー
ダでは、その後、補間の後続ステージで、ある１／４ピ
クセル位置のピクセル値を計算する。これらの１／４ピ
クセル位置は、水平方向に、２つの１／２ピクセル位置
の間または整数ピクセル位置と１／２ピクセル位置との
間のいずれかに配置される。これらの１／４ピクセル位
置に関して、ＷＭＶ８エンコーダまたはＷＭＶ８デコー
ダでは、丸め制御なしで、２つの水平に隣接する１／２
ピクセル／整数ピクセル位置を使用する双一次補間（す
なわち（ｘ＋ｙ＋１）＞＞１）が使用される。

【００１９】輝度動きベクトルを計算したならば、ＷＭ
Ｖ８エンコーダまたはＷＭＶ８デコーダでは、同一位置
のクロミナンス動きベクトルを導出する。ＷＭＶ８の色
平面は、水平と垂直の両方で輝度平面の半分の大きさな
ので、輝度動きベクトル値を、適当なクロミナンス動き
ベクトル値にスケーリングしなければならない。ＷＭＶ
８では、この変換処理に、輝度動きベクトルを半分にす
ることと、結果のクロミナンス動きベクトルを１／２ピ
クセル精度に丸めることとが含まれる。したがって、１
／２ピクセル精度を有する輝度動きベクトルは、１／４
ピクセル精度を有するクロミナンス動きベクトルに変換
されない。さらに、ＷＭＶ８でのクロミナンス丸めは、
ユーザによる修正または選択が可能ではない単一のモー
ドで動作する。

【００２０】ＷＭＶ８では、基準フレーム内のサブピク
セル位置のピクセル値が、いくつかの状況でアンダーフ
ローまたはオーバーフローを示す場合がある。たとえ
ば、１／４ピクセル位置の輝度ピクセル値は、隣接する
整数ピクセル位置の値が２５５であり、隣接する１／２
ピクセル位置の値が２８７（０＋９×２５５＋９×２５
５−０＋８＞＞４＝２８７）である場合に、２７１
（０、．．．、２５５の範囲の外）になる可能性がある
（２５５＋２８７＋１＞＞１＝２７１）。この問題に対
処するために、マクロブロックについて残差ブロックを
予測子に加算した後に、ＷＭＶ８エンコーダおよびＷＭ
Ｖ８デコーダでは、必要な場合に、範囲０、．．．、２
５５内になるようにマクロブロックの再構成される値を
クランプする。

【００２１】ＷＭＶ８の他に、複数の国際標準規格が、
ビデオの圧縮および圧縮解除に関係する。これらの標準
規格には、国際電気通信連合［「ＩＴＵ」］のＭｏｔｉ
ｏｎＰｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ
［「ＭＰＥＧ」］１、２、および４標準規格と、Ｈ．２
６１標準規格、Ｈ．２６２標準規格、およびＨ．２６３
標準規格が含まれる。ＷＭＶ８と同様に、これらの標準
規格では、イントラフレーム圧縮およびインターフレー
ム圧縮の組合せが使用されるが、これらの標準規格は、
通常は、使用される圧縮技法の詳細においてＷＭＶ８と
異なる。

【００２２】複数の標準規格（たとえばＭＰＥＧ ４お
よびＨ．２６３）が、双一次フィルタおよび基本的な丸
め制御を使用する１／２ピクセル動き推定および１／２
ピクセル動き補償を提供する。さらに、Ｈ．２６３で
は、理論的には１／４ピクセル分解能（すなわち、１／
２ピクセル輝度動きベクトルの分解能の半分）を有する
クロミナンス動きベクトルが、１／２ピクセル精度また
はフルピクセル精度のいずれかに丸められ、その結果、
１／４ピクセル値がクロミナンス空間で許容されなくな
る。標準規格の動き推定／補償に関する詳細について
は、各標準規格の仕様書自体を参照されたい。

【００２３】

【発明が解決しようとする課題】動き推定および動き補
償は、効果的な圧縮技法であるが、さまざまな前の動き
推定／補償技法（ＷＭＶ８および上で述べた標準規格
の）は、下記を含む複数の短所を有する。

【００２４】（１）基準フレーム内のサブピクセル位置
でピクセル値を計算するときに、エンコーダおよびデコ
ーダが、中間値の精度を不必要に失う。たとえば、ＷＭ
Ｖ８で１／４ピクセル位置のピクセル値を計算するとき
に、１／２ピクセル位置の中間値が、より多数のビット
深さが使用可能である可能性があるという事実にもかか
わらず、４ビットだけ右シフトされる。さらに、ＷＭＶ
８エンコーダ／デコーダでは、１／４ピクセル位置の２
ステージ補間中に中間値がクランプされ、これによっ
て、計算速度が低下し、精度の不必要な消失がもたらさ
れる。

【００２５】（２）１／４ピクセル動き推定よび動き補
償のピクセル値の補間が、多くの場合に非効率的であ
る。たとえば、ＷＭＶ８では、１次元１／４ピクセル位
置の計算が、１／２ピクセル位置に関するフィルタの使
用とその後の双一次フィルタの使用を必要とする。

【００２６】（３）エンコーダおよびデコーダで、複数
ステージ補間で作成される可能性がある丸め誤差の累積
を考慮に入れることができない。丸め誤差は、たとえ
ば、ピクセル値が、ビデオシーケンスのフレームからフ
レームへと繰り返して丸められるときに発生する。この
丸め誤差によって、低品質低ビットレートビデオシーケ
ンスの知覚可能なアーチファクトが引き起こされる可能
性がある。たとえば、ＷＭＶ８エンコーダおよびＷＭＶ
８デコーダで、複数のステージで１／４ピクセル位置の
ピクセル値について補間するときに、丸め制御が使用さ
れない。その代わりに、各ステージの結果が、補間の各
ステージで同一の形で（丸め制御なしで）丸められる。

【００２７】（４）クロミナンス丸めが、１／４ピクセ
ル精度で実行されず、クロミナンス動きベクトル丸めオ
プションに対する制御が与えられない。たとえば、ＷＭ
Ｖ８エンコーダおよびＷＭＶ８デコーダは、すべてのク
ロミナンス動きベクトルを１／２ピクセル値に丸め、単
一モードでのみ動作する。

【００２８】動き推定および動き補償のディジタルビデ
オに対するクリティカルな重要性を与えられれば、動き
推定および動き補償がよく開発された分野であること
は、驚くべきものではない。しかし、前の動き推定技法
および動き補償技法の利益がどれほどであれ、それら
は、下記の技法およびツールの長所を有しない。

【００２９】

【課題を解決するための手段】要約すると、この詳細な
説明は、近似双三次フィルタリングのさまざまな技法お
よびツールを対象とする。たとえば、ビデオのコーディ
ングおよびデコーディングの応用分野は、ビデオエンコ
ーダおよびビデオデコーダで、基準ビデオフレーム内の
サブピクセル位置のピクセル値を計算するときに、１つ
または複数の近似双三次フィルタが使用される。これに
よって、計算されたピクセル値を使用する動き予測の有
効性が改善される。それと同時に、近似双三次フィルタ
リングは、計算に関し比較的効率的である。

【００３０】ビデオエンコーダまたはビデオデコーダな
どのコンポーネントによって、近似双三次フィルタを使
用して、ある位置の値が計算される。近似双三次フィル
タは、実質的に双三次フィルタに似た形で動作し、これ
は望ましいことであるが、近似双三次フィルタは、計算
を単純にするために、異なるフィルタ係数および／また
はより低い分解能を有する。たとえば、近似双三次フィ
ルタのフィルタ係数は、１／４サンプル位置でのより低
い分解能のフィルタについて、６４の合計（１２８では
なく）を有する。

【００３１】ビデオエンコーダまたはビデオデコーダ
で、近似双三次フィルタを使用して、基準ビデオフレー
ム内のさまざまなサブピクセル位置のピクセル値を計算
することができる。サブピクセル位置は、たとえば、１
次元または２次元で１／４ピクセル（または３／４ピク
セル）シフトされた位置である。

【００３２】さまざまな技法およびツールを、組み合わ
せてまたは独立に使用することができる。追加の特徴お
よび長所は、添付図面に関して進められる以下の詳細な
説明から明白になる。

【００３３】

【発明の実施の形態】本明細書に記載の実施形態は、動
き推定および動き補償でのサブピクセル補間の技法およ
びツールに関する。さまざまな実施形態は、補間の後の
ステージまでクランプおよび／またはビットシフト（精
度の消失をもたらす可能性がある動作）を延期すること
によって、複数ステージ補間で精度を保つ技法およびツ
ールに関する。他の実施形態は、複数ステージ補間の効
率的なフィルタリング動作または丸め動作に関する。

【００３４】エンコーダまたはデコーダによって、基準
フレームでのあるいは１つまたは複数のブロックまたは
マクロブロックなどのフレームの一部での、サブピクセ
ル補間を実行する。エンコーダ／デコーダによって、基
準フレーム内のサブピクセル位置のピクセル値を計算す
る。エンコーダ／デコーダによって、その後、サブピク
セル精度の動きベクトルを使用して、動き補償を実行す
ることができる。

【００３５】いくつかの実施形態で、ビデオエンコーダ
またはビデオデコーダによって、ビデオコーディングア
プリケーションまたはビデオデコーディングアプリケー
ションでサブピクセル補間を実行する。その代わりに、
別のエンコーダまたはデコーダ、あるいは別のタイプの
コンポーネントによって、サブピクセル補間または以下
で別のタイプのアプリケーションで説明する他の技法を
実行する。

【００３６】基準フレームに対してサブピクセル補間を
実行する代わりに、いくつかの実施形態で、エンコーダ
／デコーダによって、フィールド、オブジェクトレイ
ヤ、または他のイメージに対するサブピクセル補間を実
行する。

【００３７】いくつかの実施形態では、サブピクセル補
間は、ＹＵＶ色空間で基準フレームの輝度平面および色
平面のピクセル値を計算することによって行われる。代
替案では、色空間が異なる（たとえば、ＹＩＱまたはＲ
ＧＢ）。

【００３８】さまざまな技法およびツールは、組み合わ
せてまたは独立に使用することができる。異なる実施形
態によって、１つまたは複数の本明細書に記載の技法お
よびツールが実施される。これらの技法の動作を、通常
は、提示のために特定のシーケンシャルな順序で説明す
るが、この説明の形に、特に順序付けが必要でない限
り、動作の順序の小さい再構成が含まれることを理解さ
れたい。たとえば、シーケンシャルに説明される動作
を、いくつかの場合に、再配置するか同時に実行するこ
とができる。さらに、説明を簡単にするために、流れ図
に、通常は、特定の技法を他の技法と共に使用すること
ができるさまざまな形を図示しない。

【００３９】いくつかの実施形態で、ビデオエンコーダ
およびビデオデコーダで、ビットストリーム内のさまざ
まなフラグおよび信号を使用する。特定のフラグおよび
信号を説明するが、この説明の形に、フラグおよび信号
に関する異なる規約（たとえば１ではなく０）が含まれ
ることを理解されたい。

【００４０】Ｉ．コンピューティング環境 図３に、複数の本明細書に記載の実施形態がその中で実
施される、適するコンピューティング環境（３００）を
示す。この技法およびツールを、異なる汎用または特殊
目的のコンピューティング環境で実施することができる
ので、コンピューティング環境（３００）は、使用また
は機能性に関する制限を暗示することを意図されたもの
ではない。

【００４１】図３を参照すると、コンピューティング環
境（３００）に、少なくとも１つの処理ユニット（３１
０）およびメモリ（３２０）が含まれる。図３では、こ
の最も基本的な構成（３３０）が、破線の中に含まれ
る。処理ユニット（３１０）は、コンピュータ実行可能
命令を実行し、実際のプロセッサまたは仮想プロセッサ
とすることができる。マルチプロセッシングシステムで
は、複数の処理ユニットがコンピュータ実行可能命令を
実行して、処理能力を高める。メモリ（３２０）は、揮
発性メモリ（たとえば、レジスタ、キャッシュ、ＲＡ
Ｍ）、不揮発性メモリ（たとえば、ＲＯＭ、ＥＥＰＲＯ
Ｍ、フラッシュメモリなど）、またはこの２つの組合せ
とすることができる。メモリ（３２０）には、ビデオエ
ンコーダおよび／またはビデオデコーダなどのエンコー
ダおよび／またはデコーダでサブピクセル補間技法を実
施するソフトウェア（３８０）が格納される。

【００４２】コンピューティング環境は、追加の特徴を
有する場合がある。たとえば、コンピューティング環境
（３００）に、ストレージ（３４０）、１つまたは複数
の入力デバイス（３５０）、１つまたは複数の出力デバ
イス（３６０）、および１つまたは複数の通信接続（３
７０）が含まれる。バス、コントローラ、またはネット
ワークなどの相互接続機構（図示せず）によって、コン
ピューティング環境（３００）のコンポーネントが相互
接続される。通常、オペレーティングシステムソフトウ
ェア（図示せず）によって、コンピューティング環境
（３００）内で実行される他のソフトウェアのオペレー
ティング環境が提供され、コンピューティング環境（３
００）のコンポーネントのアクティビティが調整され
る。

【００４３】ストレージ（３４０）は、取外し可能また
は取外し不能とすることができ、ストレージ（３４０）
には、磁気ディスク、磁気テープ、磁気カセット、ＣＤ
−ＲＯＭ、ＤＶＤ、または、情報を格納でき、コンピュ
ーティング環境（３００）内でアクセスできる他の任意
の媒体が含まれる。ストレージ（３４０）には、サブピ
クセル補間技法を実施するソフトウェア（３８０）の命
令が格納される。

【００４４】入力デバイス（３５０）は、キーボード、
マウス、ペン、またはトラックボールなどの接触入力デ
バイス、音声入力デバイス、スキャニングデバイス、ま
たは、コンピューティング環境（３００）に入力を提供
する別のデバイスとすることができる。オーディオエン
コードまたはビデオエンコードのために、入力デバイス
（３５０）を、サウンドカード、ビデオカード、ＴＶチ
ューナカード、またはアナログ形式またはディジタル形
式でオーディオ入力またはビデオ入力を受け入れる類似
するデバイス、あるいは、オーディオサンプルまたはビ
デオサンプルをコンピューティング環境（３００）に読
み込むＣＤ−ＲＯＭまたはＣＤ−ＲＷとすることができ
る。出力デバイス（３６０）は、ディスプレイ、プリン
タ、スピーカ、ＣＤライタ、または、コンピューティン
グ環境（３００）からの出力を提供する別のデバイスと
することができる。

【００４５】通信接続（３７０）によって、通信媒体を
介する別のコンピューティングエンティティへの通信が
可能になる。通信媒体は、コンピュータ実行可能命令、
オーディオまたはビデオの入力または出力、あるいは他
のデータなどの情報が、変調されたデータ信号で伝えら
れる。変調されたデータ信号とは、信号内で情報をエン
コードする形で１つまたは複数の特性を設定されまたは
変更された信号である。限定ではなく例として、通信媒
体には、電気、光、ＲＦ、赤外線、音響、または他の搬
送波を用いて実施される有線もしくは無線の技術が含ま
れる。

【００４６】技法およびツールを、コンピュータ可読媒
体の全般的な文脈で説明することができる。コンピュー
タ可読媒体とは、コンピューティング環境内でアクセス
できるすべての使用可能な媒体である。制限ではなく例
として、コンピューティング環境（３００）に関して、
コンピュータ可読媒体に、メモリ（３２０）、ストレー
ジ（３４０）、通信媒体、およびこれらの任意の組合せ
が含まれる。

【００４７】技法およびツールを、プログラムモジュー
ルに含まれるものなどの、ターゲットの実際のプロセッ
サまたは仮想プロセッサ上のコンピューティング環境内
で実行されるコンピュータ実行可能命令の全般的な文脈
で説明することができる。一般に、プログラムモジュー
ルには、特定のタスクを実行するか特定の抽象データ型
を実施する、ルーチン、プログラム、ライブラリ、オブ
ジェクト、クラス、コンポーネント、データ構造などが
含まれる。プログラムモジュールの機能性を、望みに応
じてさまざまな実施形態で、組み合わせるかプログラム
モジュールの間で分割することができる。プログラムモ
ジュールのコンピュータ実行可能命令を、ローカルコン
ピューティング環境または分散コンピューティング環境
内で実行することができる。

【００４８】提示のために、この詳細な説明で、「決
定」および「選択」などの用語を使用して、コンピュー
ティング環境でのコンピュータ動作を説明する。これら
の用語は、コンピュータによって実行される動作の高水
準の抽象化であり、人間によって実行される動作と混同
してはならない。これらの用語に対応する実際のコンピ
ュータ動作は、実施形態に応じて変化する。

【００４９】ＩＩ．一般化されたビデオエンコーダおよ
びビデオデコーダ 図４は、一般化されたビデオエンコーダ（４００）のブ
ロック図であり、図５は、一般化されたビデオデコーダ
（５００）のブロック図である。

【００５０】エンコーダおよびデコーダ内のモジュール
の間に示された関係は、エンコーダおよびデコーダ内の
情報の主な流れを示し、図を簡単にするために、他の関
係は図示されていない。具体的に言うと、図４および図
５には、通常は、ビデオシーケンス、フレーム、マクロ
ブロック、ブロックなどに使用されるエンコーダ設定、
モード、テーブルなどを示すサイド情報（ｓｉｄｅ ｉ
ｎｆｏｒｍａｔｉｏｎ）が示されていない。そのような
サイド情報は、通常はサイド情報のエントロピ符号化
（ｅｎｔｒｏｐｙ ｅｎｃｏｄｉｎｇ）の後に、出力ビ
ットストリーム内で送信される。出力ビットストリーム
のフォーマットは、Ｗｉｎｄｏｗｓ（登録商標）Ｍｅｄ
ｉａ Ｖｉｄｅｏフォーマットまたは別のフォーマット
とすることができる。

【００５１】エンコーダ（４００）およびデコーダ（５
００）は、ブロックベースであり、４：２：０マクロブ
ロックフォーマットを使用し、各マクロブロックには、
４つの８×８輝度ブロック（時には１つの１６×１６マ
クロブロックとして扱われる）と、２つの８×８クロミ
ナンスブロック（たとえば、１つはＵブロック、１つは
Ｖブロック）が含まれる。代替案では、エンコーダ（４
００）およびデコーダ（５００）が、オブジェクトベー
スであり、異なるマクロブロックフォーマットまたはブ
ロックフォーマットを使用するか、８×８ブロックおよ
び１６×１６マクロブロックと異なるサイズまたは構成
のピクセルの組に対する操作を実行する。

【００５２】実施形態および所望の圧縮のタイプに応じ
て、エンコーダまたはデコーダのモジュールを、追加
し、省略し、複数のモジュールに分割し、他のモジュー
ルと組み合わせ、かつ／または類似するモジュールで置
換することができる。代替実施形態では、異なるモジュ
ールおよび／またはモジュールの他の構成を有するエン
コーダまたはデコーダによって、本明細書に記載の技法
の１つまたは複数が実行される。

【００５３】Ａ．ビデオエンコーダ 図４は、一般的なビデオエンコーダシステム（４００）
のブロック図である。エンコーダシステム（４００）
は、現在のフレーム（４０５）を含むビデオフレームの
シーケンスを受け取り、出力として圧縮ビデオ情報（４
９５）を作る。ビデオエンコーダの特定の実施形態で
は、通常は、一般化されたエンコーダ（４００）の変形
形態または補足されたバージョンが使用される。

【００５４】エンコーダシステム（４００）によって、
予測フレームおよびキーフレームが圧縮される。提示の
ために、図４に、エンコーダシステム（４００）を介す
るキーフレームのパスと、順方向予測フレームのパスを
示す。エンコーダシステム（４００）のコンポーネント
の多くが、キーフレームと予測フレームの両方の圧縮に
使用される。これらのコンポーネントによって実行され
る正確な動作を、圧縮される情報のタイプに応じて変更
することができる。

【００５５】予測フレーム［インターコーディングされ
たフレーム、あるいは両方向予測の場合にｐフレームま
たはｂフレームとも称する］は、あるフレームから他の
フレームへの予測（または差）に関して表現される。予
測残差は、予測されたものと元のフレームの間の差であ
る。対照的に、キーフレーム［ｉフレーム、イントラコ
ーディングされたフレームとも称する］は、他のフレー
ムへの参照なしで圧縮される。

【００５６】現在のフレーム（４０５）が、順方向予測
フレームである場合には、動き推定（ｍｏｔｉｏｎ ｅ
ｓｔｉｍａｔｏｒ）（４１０）が、基準フレームに関し
て、現在のフレーム（４０５）のマクロブロックまたは
ピクセルの他の組の動きを推定し、基準フレームは、フ
レームストア（４２０）にバッファリングされた、再構
成された前のフレーム（４２５）である。代替実施形態
では、基準フレームが、後のフレームであるか、現在の
フレームであるかが、両方向予測される。動き推定（４
１０）は、サイド情報として、動きベクトルなどの動き
情報（４１５）を出力する。動き補償（ｍｏｔｉｏｎ
ｃｏｍｐｅｎｓａｔｏｒ）（４３０）が、再構成された
前のフレーム（４２５）に動き情報（４１５）を適用し
て、動き補償された現在のフレーム（４３５）を形成す
る。しかし、予測は、ほとんどの場合に完全ではなく、
動き補償された現在のフレーム（４３５）と元の現在の
フレーム（４０５）との間の差が、予測残差（４４５）
である。代替案では、動き推定および動き補償が、別の
タイプの動き推定／補償を適用する。

【００５７】周波数変換（ｆｒｅｑｕｅｎｃｙ ｔｒａ
ｎｓｆｏｒｍｅｒ）（４６０）が、空間領域ビデオ情報
を周波数領域（すなわちスペクトル）データに変換す
る。ブロックベースのビデオフレームについて、周波数
変換（４６０）は、離散コサイン変換［「ＤＣＴ」］ま
たはＤＣＴの変形形態を動き予測残差データのブロック
に適用して、ＤＣＴ係数のブロックを作る。代替案で
は、周波数変換（４６０）が、フーリエ変換などの別の
普通の周波数変換を適用するか、ウェーブレット（ｗａ
ｖｅｌｅｔ）分析またはサブバンド（ｓｕｂｂａｎｄ）
分析を使用する。いくつかの実施形態で、周波数変換
（４６０）が、キーフレームの空間予測残差のブロック
に周波数変換を適用する。周波数変換（４６０）は、８
×８、８×４、４×８、または他のサイズの周波数変換
を適用することができる。

【００５８】その後、量子化（ｑｕａｎｔｉｚｅｒ）
（４７０）が、スペクトルデータ係数のブロックを量子
化する。量子化は、フレームごとにまたは別の基準で変
化するステップサイズを用いてスペクトルデータに均一
のスカラ量子化を適用する。代替案では、量子化が、た
とえば不均一量子化、ベクトル量子化、または非適応量
子化などの別のタイプの量子化をスペクトルデータ係数
に適用し、あるいは、周波数変換を使用しないエンコー
ダシステムでは、スペクトル領域データを直接に量子化
する。適応量子化のほかに、エンコーダ（４００）は、
ドロッピング、適応フィルタリング、または他のレート
制御の技法を使用することができる。

【００５９】再構成された現在のフレームが、後続の動
き推定／補償に必要なときには、逆量子化（ｉｎｖｅｒ
ｓｅ ｑｕａｎｔｉｚｅｒ）（４７６）が、量子化され
たスペクトルデータ係数に対して逆量子化を実行する。
その後、逆周波数変換（ｉｎｖｅｒｓｅ ｆｒｅｑｕｅ
ｎｃｙ ｔｒａｎｓｆｏｒｍｅｒ）（４６６）が、周波
数変換（４６０）の動作の逆を実行し、再構成された予
測残差（予測フレームの場合）または再構成されたキー
フレームを作る。現在のフレーム（４０５）が、キーフ
レームである場合には、再構成されたキーフレームが、
再構成された現在のフレーム（図示せず）として採用さ
れる。現在のフレーム（４０５）が、予測フレームであ
る場合には、再構成された予測残差を動き補償された現
在のフレーム（４３５）に加算して、再構成された現在
のフレームを形成する。フレームストア（４２０）は、
次のフレームの予測に使用するために、再構成された現
在のフレームをバッファリングする。いくつかの実施形
態で、エンコーダが、再構成されたフレームにデブロッ
キングフィルタ（ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅ
ｒ）を適用して、フレームのブロック内の不連続性を適
応式に平滑化する。

【００６０】エントロピ符号化（ｅｎｔｒｏｐｙ ｃｏ
ｄｅｒ）（４８０）は、量子化（４７０）の出力ならび
にあるサイド情報（たとえば、動き情報（４１５）、量
子化ステップサイズなど）を圧縮する。通常のエントロ
ピ符号化技法には、算術コーディング、差分コーディン
グ、ハフマンコーディング、ランレングスコーディン
グ、ＬＺコーディング、辞書コーディング、および上記
の組合せが含まれる。エントロピ符号化（４８０）は、
通常は、異なる種類の情報（たとえば、ＤＣ係数、ＡＣ
係数、異なる種類のサイド情報）に異なるコーディング
技法を使用し、特定のコーディング技法内で複数のコー
ドテーブルの中から選択することができる。

【００６１】エントロピ符号化（４８０）は、圧縮ビデ
オ情報（４９５）をバッファ（４９０）に入れる。バッ
ファレベルインジケータが、ビットレート適応モジュー
ルにフィードバックされる。圧縮ビデオ情報（４９５）
は、一定のまたは比較的一定のビットレートでバッファ
（４９０）から放出され、そのビットレートでの後続の
ストリーミングのために格納される。代替案では、エン
コーダシステム（４００）が、圧縮の直後に圧縮ビデオ
情報をストリーミングする。

【００６２】バッファ（４９０）の前または後に、圧縮
ビデオ情報（４９５）を、ネットワークを介する伝送の
ためにチャネルコーディングすることができる。チャネ
ルコーディングでは、エラー検出および訂正データを圧
縮ビデオ情報（４９５）に適用することができる。

【００６３】Ｂ．ビデオデコーダ 図５は、一般的なビデオデコーダシステム（５００）の
ブロック図である。デコーダシステム（５００）は、ビ
デオフレームの圧縮されたシーケンスに関する情報（５
９５）を受け取り、再構成されたフレーム（５０５）を
含む出力を作る。ビデオデコーダの特定の実施形態で
は、通常は、一般化されたデコーダ（５００）の変形形
態または補足された版が使用される。

【００６４】デコーダシステム（５００）は、予測フレ
ームおよびキーフレームを圧縮解除する。提示のため
に、図５に、デコーダシステム（５００）を介するキー
フレームのパスおよび順方向予測フレームのパスを示
す。デコーダシステム（５００）のコンポーネントの多
くが、キーフレームおよび予測フレームの両方の圧縮解
除に使用される。これらのコンポーネントによって実行
される正確な動作を、圧縮解除される情報のタイプに応
じて変更することができる。

【００６５】バッファ（５９０）が、圧縮ビデオシーケ
ンスに関する情報（５９５）を受け取り、受け取った情
報をエントロピ復号化（ｅｎｔｒｏｐｙ ｄｅｃｏｄｅ
ｒ）（５８０）から使用可能にする。バッファ（５９
０）は、通常は、経時的にかなり一定の速度で情報を受
け取り、バッファ（５９０）には、帯域幅または伝送の
短期間変動を平滑化するためにジッタバッファが含まれ
る。バッファ（５９０）に、再生バッファおよび他のバ
ッファも含めることができる。代替案では、バッファ
（５９０）が、変化する速度で情報を受け取る。バッフ
ァ（５９０）の前または後に、圧縮ビデオ情報を、チャ
ネルデコードし、エラー検出および訂正のために処理す
ることができる。

【００６６】エントロピ復号化（５８０）は、通常はエ
ンコーダ内で実行されるエントロピ符号化の逆を適用す
ることによって、エントロピ符号化された量子化された
データならびにエントロピ符号化されたサイド情報（た
とえば、動き情報（５１５）、量子化ステップサイズ）
をデコードする。エントロピ復号化技法には、算術デコ
ーディング、差分デコーディング、ハフマンデコーディ
ング、ランレングスデコーディング、ＬＺデコーディン
グ、辞書デコーディング、および上記の組合せが含まれ
る。エントロピ復号化（５８０）は、頻繁に、異なる種
類の情報（たとえば、ＤＣ係数、ＡＣ係数、異なる種類
のサイド情報）に異なるデコーディング技法を使用し、
特定のデコーディング技法内で複数のコードテーブルの
中から選択することができる。

【００６７】再構成されるフレーム（５０５）が、順方
向予測フレームである場合には、動き補償（５３０）
が、動き情報（５１５）を基準フレーム（５２５）に適
用して、再構成されるフレーム（５０５）の予測（５３
５）を形成する。たとえば、動き補償（５３０）は、マ
クロブロック動きベクトルを使用して、基準フレーム
（５２５）内のマクロブロックを見つける。フレームバ
ッファ（５２０）に、基準フレームとして使用される、
前に再構成されたフレームが格納される。代替案では、
動き補償が、別のタイプの動き補償を適用する。動き補
償による予測は、ほとんどの場合に完全ではなく、した
がって、デコーダ（５００）は、予測残差も再構成す
る。

【００６８】デコーダが、後続の動き補償のために、再
構成されたフレームを必要とするときに、フレームスト
ア（５２０）に、再構成されたフレームが、次のフレー
ムの予測に使用するために格納される。いくつかの実施
形態で、エンコーダは、再構成されたフレームにデブロ
ッキングフィルタを適用して、フレームのブロック内の
不連続性を適応式に平滑化する。

【００６９】逆量子化（５７０）が、エントロピ復号化
されたデータを逆量子化する。一般に、逆量子化は、フ
レームごとにまたは別の基準で変化するステップサイズ
を用いてエントロピ復号化されたデータに均一のスカラ
逆量子化を適用する。代替案では、逆量子化が、たとえ
ば不均一逆量子化、ベクトル逆量子化、または非適応逆
量子化などの別のタイプの逆量子化をデータに適用し、
あるいは、逆周波数変換を使用しないデコーダシステム
では、空間領域データを直接に逆量子化する。

【００７０】逆周波数変換（５６０）は、量子化された
周波数領域データをスペクトル領域ビデオ情報に変換す
る。ブロックベースビデオフレームについて、逆周波数
変換（５６０）は、逆ＤＣＴ［「ＩＤＣＴ」］またはＩ
ＤＣＴの変形をＤＣＴ係数のブロックに適用し、動き予
測残差データを作る。代替案では、逆周波数変換（５６
０）が、逆フーリエ変換などの別の普通の逆周波数変換
を適用するか、ウェーブレット分析またはサブバンド分
析を使用する。いくつかの実施形態で、逆周波数変換
（５６０）は、キーフレームの空間予測残差のブロック
に逆周波数変換を適用する。逆周波数変換（５６０）
は、８×８、８×４、４×８、または他のサイズの逆周
波数変換を適用することができる。

【００７１】ＩＩＩ．動き推定および動き補償インター
フレームコーディングでは、フレームの間の時間的冗長
性を活用して、圧縮を達成する。時間的冗長性削減で
は、現在のフレームをコーディングするときに、予測子
として、前にコーディングされたフレームを使用する。
以下で説明する実施形態では、ビデオエンコーダで、よ
り少ないビット数を使用して情報をコーディングするた
めに、通常のビデオシーケンス内の時間的冗長性を活用
する。ビデオエンコーダでは、基準フレーム（たとえ
ば、前にコーディングされた、前のフレーム）に対する
予測フレームのピクセルのブロック、マクロブロック、
または他の組の動きをパラメータ化するのに動き推定を
使用する。ビデオエンコーダ（ならびに対応するデコー
ダ）では、動き情報および基準フレームを使用して予測
フレームを再構成するのに、動き補償を使用する。

【００７２】動き補償は、基準フレームを変位させるこ
とによってビデオフレームの予測（すなわち、予測フレ
ーム）を生成する処理である。上で注記したように、予
測は、基準フレームからのデータのブロック、マクロブ
ロック、または他の組について形成される。また、通常
は、変位が、直線をなし、予測されるタイル全体にわた
って一定である。そのような変位は、Ｘ方向およびＹ方
向に沿った変位またはシフトに対応する２つの成分を有
する動きベクトルによって定義される。Ｘ（水平）およ
びＹ（垂直）の動きベクトル成分は、現在予測されつつ
あるタイルと、基準フレーム内の対応する位置との間の
変位を表す。正の値は、現在の位置の下および右の位置
を表す。負の値は、現在の位置の上および左の位置を表
す。

【００７３】一実施形態では、ブロックが、ピクセルの
８×８タイルであり、マクロブロックが、ピクセルの１
６×１６タイルであり、動きベクトルが、１／４ピクセ
ル精度で定義される。他の実施形態では、エンコーダお
よびデコーダで、異なる分解能または任意の変化する動
きベクトルを用いて、かつ／または動きベクトル以外の
動き情報を使用して、本明細書に記載の技法の１つまた
は複数を、異なるサイズのタイルまたは任意の変化する
サイズのタイルに適用する。

【００７４】動きベクトル補償は、通常は、ピクセル変
位に関して、しばしばサブピクセル精度を用いて、指定
される。サブピクセル変位は、適当に定義された動き補
償フィルタを使用して基準フレームをフィルタリングす
ることによって実現される。直線をなすサブピクセル動
き補償の場合に、Ｘ成分およびＹ成分が、固定小数点数
として表現される。これらの数の整数部分を、フルピク
セルシフトと称し、仮数部分を、サブピクセルシフトと
称する。サブピクセルシフトが０のときに、動きは、整
数個のピクセルである。よりしばしば、これは、予測子
を生成するための基準フレームからのブロックコピーと
して実施される（理論上は、何らかの形のフィルタリン
グを潜在的に適用できるはずであるが）。その一方で、
サブピクセルシフトが非０のときには、サブピクセルシ
フトに対応する１つまたは複数のフィルタを基準フレー
ムの整数ピクセル位置に適用することによって、予測子
が生成される。したがって、動き補償フィルタは、サブ
ピクセルシフトによって決定される。

【００７５】フィルタリング動作としてサブピクセルシ
フトを実施するために、動き補償フィルタで、整数ピク
セル位置の基準値に基づいて、小数ピクセル位置でデー
タ点を補間する。一般に、補間の質は、フィルタのサポ
ートに伴って増加する。いくつかの実施形態では、分離
可能な２タップおよび４タップ（各方向で）のフィルタ
が使用され、これらのフィルタは、双一次インターポー
レータおよび双三次インターポーレータに対応する。

【００７６】いくつかの実施形態で、動き補償フィルタ
が、整数算術と、ビットシフトとして実施される除算と
を使用する。丸め制御パラメータＲは、０または１の値
をとり、これによって、これらの除算の丸めの方向が決
定される。この丸め制御パラメータは、定数をセットさ
れる、外部からシグナリングされる、または過去のコー
ディングされた情報から暗黙のうちに導出することがで
きる。

【００７７】図６に、いくつかの実施形態でサブピクセ
ル動き推定およびサブピクセル動き補償中に使用される
基準フレーム（６００）内の整数ピクセル位置およびサ
ブピクセル位置を示す。各方向の１／４ピクセル間隔
で、基準フレーム（６００）に、エンコーダまたはデコ
ーダが特定の変位についてピクセル値を補間する可能性
があるサブピクセル位置が含まれる。基準フレーム（６
００）の整数位置ａからｐは、図６では影付きの円とし
て示され、整数位置の間で補間される１／４位置および
１／２位置は、影なしの円として示されている。位置Ｐ
_０からＰ_８は、表１に記載の、９個の代表的なサブピク
セル位置を表す。

【００７８】

【表１】

【００７９】Ｐ_８で例示される３／４ピクセル位置は、
１／４ピクセル位置の特別なケースとみなすことがで
き、これは、フルピクセル位置から１／４ピクセルだけ
シフトされている。他の３／４ピクセル位置は、可能で
あるが図示されていない。サブピクセル位置Ｐ_０からＰ
_８は、後の補間フィルタの説明で参照する。代替実施形
態では、エンコーダおよびデコーダが、追加のまたは異
なるサブピクセル位置、たとえば各方向に１／４ピクセ
ル以外の間隔で、値を補間する。

【００８０】Ａ．近似双三次補間フィルタ いくつかの実施形態のサブピクセル補間について、ビデ
オエンコーダおよびビデオデコーダで、下記のように定
義される一次（ｌｉｎｅａｒ）／双一次（ｂｉｌｉｎｅ
ａｒ）フィルタおよび／または三次（ｃｕｂｉｃ）／双
三次（ｂｉｃｕｂｉｃ）フィルタが使用される。

【００８１】一次インターポーレータは、補間される点
に最も近い２つの格子点での既知の値を使用する、線形
または一次の１次元の多項式である。補間される点での
線形関数の値が、線形補間である。線形多項式の乗数
は、式の線形系を解き、線形フィルタの係数を決定する
ことによって計算される。線形補間フィルタは、２つの
フィルタタップによって定義される。双一次インターポ
ーレータは、２つの次元で分離可能な線形インターポー
レータである。

【００８２】三次インターポーレータは、補間される点
に最も近い４つの格子点での既知の値を使用する、立方
または三次の多項式である。補間される点での三次関数
の値が、三次補間である。三次多項式の乗数は、式の系
を解き、三次フィルタの係数を決定することによって計
算される。三次インターポーレータフィルタは、４つの
フィルタタップによって定義される。双三次インターポ
ーレータは、２つの次元で分離可能な三次インターポー
レータである。

【００８３】一次および双一次という用語は、通常は、
ビデオ圧縮およびビデオ圧縮解除の分野では交換可能に
使用される。普通の２次元補間では、１次元で実行され
る補間動作が、他の次元に複製され、したがって、各フ
ィルタリングステージを、双一次フィルタリングと称す
る。三次および双三次という用語は、同様に交換可能で
ある。

【００８４】本明細書では、一次および双一次という用
語は、１次元、２次元、または３次元以上でのフィルタ
リングを説明するのに交換可能に使用される。同様に、
三次および双三次という用語は、１次元、２次元、また
は３次元以上でのフィルタリングを説明するのに交換可
能に使用される。たとえば、式（１１）から（１３）で
は、三次フィルタのタイプが定義されるが、これらは、
双三次フィルタと呼ばれる。というのは、基準ビデオフ
レームの２ステージ補間の一般的な応用例で、フィルタ
が、２ステージ補間の両方の次元について複製される動
作で使用されるからである。より一般的には、フィルタ
リングの次元数は、文脈から既知である。

【００８５】いくつかの実施形態で、エンコーダおよび
デコーダで、近似双三次フィルタを使用して、サブピク
セル位置の値を補間する。たとえば、エンコーダおよび
デコーダで、図６に示されたものなどの基準フレームの
可能なシフト位置で下記のフィルタ（Ｆ_１が双三次フィ
ルタ、Ｆ_２およびＦ_３が近似双三次フィルタ）が使用さ
れる。 １／２ピクセルシフト Ｆ_１：［−１ ９ ９ −１］ （１１） １／４ピクセルシフト Ｆ_２：［−４ ５３ １８ −３］ （１２） ３／４ピクセルシフト Ｆ_３：［−３ １８ ５３ −４］ （１３）

【００８６】実際には、フィルタに、潜在的にフィルタ
係数によって導入される拡大を補償するために、右シフ
トが含まれる（たとえば、Ｆ_１では４ビット、Ｆ_２およ
びＦ _３では６ビット）。演算子＞＞は、右シフト演算子
である。右シフト演算子によって、２進数のビットが右
にシフトされ、最下位ビットが捨てられ、最上位ビット
に０が追加される。この演算は、剰余が切り捨てられ
る、シフトされるビット数の２のべきによる単純な除算
をもたらす（たとえば、３による右シフトは、２ ^３＝８
による除算をもたらす）。

【００８７】Ｆ_２およびＦ_３のフィルタ係数は、真の１
／４ピクセル双三次インターポーレータ（４タップフィ
ルタ）に粗く基づく。下記の式に、位置Ｐ_０について真
の１／４ピクセル双三次フィルタを適用した結果を示
す。 （−７ｅ＋１０５ｆ＋３５ｇ−５ｈ）＞＞７ （１４）

【００８８】係数の値の合計が、１２８になり、フィル
タリングの産物は、７ビットだけ右シフトされる。近似
双三次フィルタＦ_２およびＦ_３は、性能に関して純粋な
双三次フィルタに迫るが、次式に示されるように、より
低い分解能を有する。 （−７ｅ＋１０５ｆ＋３５ｇ−５ｈ）＞＞７ ＝（−３．５ｅ＋５２．５ｆ＋１７．５ｇ−２．５ｈ）＞＞６ ≒（−４ｅ＋５３ｆ＋１８ｇ−３ｈ）＞＞６ （１５）

【００８９】多くの場合に、純粋な双三次フィルタを使
用することによって、複数ステージ補間での精度のビッ
トの消失がもたらされ、したがって、近似双三次フィル
タに関する正規化係数が、少なくとも１／２だけ減らさ
れる（すなわち、右シフトが１ビット以上減らされ
る）。式（１５）の近似双三次フィルタについて選択さ
れたフィルタ係数は、周波数領域の挙動（たとえば、高
周波数情報を保存するため）および経験的挙動（たとえ
ば、あるビットレートに対する最小のひずみを達成する
ため）を考慮に入れた後の、真の双三次フィルタの丸め
に基づく。具体的に言うと、フィルタＦ_２およびＦ_３に
は、まだ４つのフィルタ係数が含まれる（一般に、フィ
ルタで使用されるフィルタ係数が少ないほど、実施が高
速になるが、近接ピクセルの雑音に対処するために、十
分なフィルタ係数を使用しなければならない）。フィル
タ係数値は、合計が６４になるように調節され、これに
よって、より高い分解能の双三次フィルタを近似しなが
ら、１６ビット算術を使用する実施形態が容易になる。
双三次フィルタを近似しながら、合計が６４になる他の
フィルタ係数値を使用することもできる。実質的に純粋
な双三次フィルタのように実行されるが、より少ないサ
ポートおよび／またはより低い分解能を有するフィルタ
を、「近似」双三次フィルタと称する。フィルタが実質
的に純粋な双三次フィルタに似て実行されるかどうかを
客観的に測定する方法の１つが、近似フィルタが純粋な
双三次フィルタによく相関する（すなわち、定義された
閾値以内である）かどうかを検査することである。一実
施形態では、相関が、フィルタのベクトルの間の角度の
コサイン（できる限り１に近いことが望まれる）を測定
することであり、閾値は０．９５である。他の客観的ま
たは主観的な測定、他の相関測定値、および／または閾
値を、使用することもできる。たとえば、近似双三次フ
ィルタのフィルタ係数を選択し、その結果、それらの合
計が、効率的なフーリエ変換または他の数学的操作を容
易にする他の値になるようにすることができる。

【００９０】以下でより完全に説明するように、図７
に、式（１１）から（１３）で概要を示された双三次フ
ィルタに対応する場合のそれぞれの補間されたピクセル
を計算するのに使用されるピクセル値と共に、整数ピク
セル位置を示す。Ｐは、ピクセル値が計算されるサブピ
クセル位置を示す。Ｉ_１、Ｉ_２、Ｉ_３、およびＩ_４は、
補間の次元に沿った整数ピクセル位置を表す。図７に
は、水平補間が示されているが、同一の演算および位置
の配置が、垂直補間に適用される。

【００９１】代替実施形態では、エンコーダおよびデコ
ーダで、他のおよび／または追加の補間フィルタが使用
される。たとえば、エンコーダおよびデコーダで、双一
次（すなわち２タップの）フィルタが、値の補間に使用
される。たとえば、図６のサブピクセル位置を参照する
と、Ｐ_１、Ｐ_５、およびＰ_７の値を決定するのに使用さ
れる補間フィルタを、式（１）から（３）に示されたフ
ィルタとすることができる。

【００９２】Ｂ．１次元補間 さまざまなサブピクセル位置について、いくつかの実施
形態のエンコーダおよびデコーダでは、補間された値を
１つの次元だけで計算する。図７に示されているよう
に、下記の式によって、整数ピクセルの間で補間すると
きの、フィルタＦ _１（１／２ピクセルシフト）、Ｆ
_２（１／４ピクセルシフト）、およびＦ_３（３／４ピク
セルシフト）の動作が示される。 Ｆ_１：（−１Ｉ_１＋９Ｉ_２＋９Ｉ_３−１Ｉ_４＋８−ｒ）＞＞４ （１６） Ｆ_２：（−４Ｉ_１＋５３Ｉ_２＋１８Ｉ_３−３Ｉ_４＋３２−ｒ）＞＞６ （１７） Ｆ_３：（−３Ｉ_１＋１８Ｉ_２＋５３Ｉ_３−４Ｉ_４＋３２−ｒ）＞＞６ （１８）

【００９３】ここで、値ｒによって、丸めが制御され
る。下記のように、値ｒは、２進フレームレベル丸め制
御パラメータＲと補間方向に依存する。

【００９４】

【数１】

【００９５】１次元補間をさらに示すために、図６のＰ
_１およびＰ_５によって、１つの次元だけでの補間を必要
とする（すなわち、Ｐ_１では水平方向、Ｐ_５では垂直方
向）、基準フレーム（６００）内の１／２ピクセル位置
が示されている。次式によって、Ｐ_１およびＰ_５につい
て整数ピクセルの間で補間するときのフィルタＦ_１（１
／２ピクセルシフト）の動作が示される。 Ｐ_１＝（−１ｅ＋９ｆ＋９ｇ−１ｈ＋８−ｒ）＞＞４ （２０） Ｐ_５＝（−１ｂ＋９ｆ＋９ｊ−１ｎ＋８−ｒ）＞＞４ （２１）

【００９６】同様に、図６のＰ_０およびＰ_２によって、
１つの次元だけでの補間を必要とする、基準フレーム
（６００）内の１／４ピクセル位置が示される。次式に
よって、Ｐ_０およびＰ_２について整数ピクセルの間で補
間するときのフィルタＦ_２（１／４ピクセルシフト）の
動作が示される。 Ｐ_０＝（−４ｅ＋５３ｆ＋１８ｇ−３ｈ＋３２−ｒ）＞＞６ （２２） Ｐ_２＝（−４ｂ＋５３ｆ＋１８ｊ−３ｎ＋３２−ｒ）＞＞６ （２３）

【００９７】近似１／４ピクセル双三次フィルタＦ
_２を、わずかな修正だけを用いて使用して、３／４ピク
セル位置を計算することもできる。たとえば、次式によ
って、Ｐ _８について整数ピクセルの間で補間するときの
フィルタＦ_３（３／４ピクセルシフト）の動作が示され
る。 Ｐ_８＝（−３ｂ＋１８ｆ＋５３ｊ−４ｎ＋３２−ｒ）＞＞６ （２４）

【００９８】代替案では、エンコーダおよびデコーダ
で、１つの次元の１／２ピクセル、１／４ピクセル、ま
たは３／４ピクセルだけシフトされる位置について他の
および／または追加の補間フィルタが使用される。たと
えば、エンコーダおよびデコーダで、より多数またはよ
り少数のフィルタ係数、異なるフィルタ係数、異なる丸
め、または丸めなしのフィルタが使用される。

【００９９】Ｃ．多次元補間 いくつかの実施形態では、補間が、２次元でオフセット
したサブピクセル位置で実行される。たとえば、図６
で、Ｐ_３、Ｐ_４、Ｐ_６、およびＰ_７が、水平と垂直の両
方の次元で補間が行われる位置である。

【０１００】図８に示された補間方法（８００）に対応
する一実施形態では、２次元サブピクセル位置が、まず
垂直方向に沿って、次に水平方向に沿って、補間され
る。以下でより完全に説明するように、補間は、上の式
（１６）から（１８）で指定されたフィルタ、Ｆ_１、Ｆ
_２、またはＦ_３の１つまたは複数を使用して実行され
る。図８に示された実施形態では、丸めが、垂直フィル
タリングの後と水平フィルタリングの後の両方で適用さ
れる。丸め規則のビットシフトによって、中間結果での
１６ビット算術によって許容される精度の維持が保証さ
れる。

【０１０１】図８では、垂直フィルタリングがまず実行
され、水平フィルタリングがそれに続く。垂直フィルタ
リングから開始することによって、いくつかのアーキテ
クチャで性能が改善される。他の実施形態では、フィル
タリングの順序が異なる。たとえば、補間が、垂直方向
の前に水平方向で実行される。あるいは、補間フィルタ
のさまざまな他の組合せが使用される（たとえば、複数
の水平フィルタおよび／または複数の垂直フィルタ）。

【０１０２】入力ピクセル値（８１１）および出力ピク
セル値（８３８）は、８ビットのビット深さを有し、２
５６値のダイナミックレンジを有する。中間値（８２
０）は、１６ビットのビット深さを有し、６５５３６値
のダイナミックレンジを有する。代替実施形態では、入
力値、出力値、および中間値が、異なる（たとえばより
大きい）ビット深さを有する。

【０１０３】第１ステージ（８１０）で、適当な垂直フ
ィルタ（Ｆ_Ｖ）が、８ビット入力ピクセル値（８１１）
に適用される（８１２）。適用される垂直フィルタは、
選択されたサブピクセル位置が、１／４ピクセル、１／
２ピクセル、または３／４ピクセルのどれだけシフトさ
れるかに依存し、上で説明した双三次フィルタの１つの
形をとることができる。

【０１０４】垂直フィルタリングの後の丸め規則は、次
式によって定義される。 （Ｓ＋Ｒ_Ｖ）＞＞ｓｈｉｆｔＶ （２５）

【０１０５】ここで、Ｓは、垂直にフィルタリングされ
た結果であり、Ｒ_Ｖ＝２^{ｓｈｉｆｔ Ｖ−１}−１＋Ｒであ
る。Ｒは、フレームごとに０と１の間で交互に変える丸
め制御値である。したがって、丸め規則には、ステージ
で交互に変える（ｓｔａｇｅ−ａｌｔｅｒｎａｔｉｎ
ｇ）丸め制御（８１３）およびビットシフト（８１４）
が含まれる。

【０１０６】右シフトによって、潜在的に分解能の消失
が引き起こされ、したがって、右シフトの少なくとも一
部が、補間の後のステージまで延期される。ｓｈｉｆｔ
Ｖの右シフト値は、補間されるサブピクセル位置に依存
する。具体的に言うと、Ｐ_３、Ｐ_４、Ｐ_６、およびＰ_７
について、ｓｈｉｆｔＶ＝｛５、３、３、１｝である。
シフトの量は、第１ステージフィルタ係数値に起因する
拡大の補償に必要な量より小さい（たとえば、シフト
は、近似双三次フィルタについて６ビット未満である）
が、後続フィルタリングの中間結果が中間値のダイナミ
ックレンジ内（たとえば、１６ビットワードの場合に６
５５３６個の可能な値）にとどまることを保証するのに
十分である。フルシフトと比較して、この短縮されたシ
フトでは、補間の第１ステージ（８１０）の後に、中間
ピクセル値（８２０）の精度が保たれる。中間ピクセル
値（８２０）は、ｙビットのダイナミックレンジを有
し、ｙは、８ビットより大きい。第１ステージで実行さ
れるシフトの量は、使用可能なビット深さおよび補間フ
ィルタの係数に依存するものとすることができる。たと
えば、本明細書に記載の例示的実施形態では、中間値
が、１６ビットのワード限界に制限される。

【０１０７】図６の点Ｐ_３と、０から２５５の範囲（８
ビット）の入力値を検討されたい。近似双三次係数［−
４ ５３ １８ −３］を８ビット入力値に適用するこ
とからの中間値の範囲は、フィルタ係数からの拡大要因
に起因して、−１７８５から１８１０５までである（約
１４．３ビット、実施については１５ビットまでに丸め
られる）。中間値に近似双三次フィルタ係数（追加の拡
大を有する）を適用する後続の水平フィルタリングで
は、１６ビットダイナミックレンジの外の値が作られ、
オーバーフローまたはアンダーフローが引き起こされる
可能性がある。したがって、中間値は、後続水平フィル
タリングで１６ビットダイナミックレンジ内の値がもた
らされることを保証するのに十分にシフトされる。Ｐ_３
について、最初のシフト量は、５ビットであり、シフト
された中間値のダイナミックレンジは、−５５から５６
５までである（約９．３ビット、実施については１０ビ
ットまでに丸められる）。シフトされた中間値に近似双
三次フィルタ係数を適用することからの出力の範囲は、
−７８６０から４０５００までになり、これは、１６ビ
ット未満のダイナミックレンジを有する。したがって、
短縮されたシフトは、１６ビットワード限界が完全に利
用されるが、補間の第２ステージ（８３０）中にそれを
超えないことが保証されるように計算される。

【０１０８】第２ステージ（８３０）では、適当な水平
フィルタ（Ｆ_Ｈ）を適用して、垂直フィルタによって決
定された値（８２０）からの２次元サブピクセル位置の
値を補間する（８３２）。水平フィルタリングの後の丸
め規則は、次の通りである。 （Ｓ＋６４−Ｒ）＞＞７ （２６）

【０１０９】ここで、Ｓは、水平フィルタリングされた
結果であり、Ｒは、フレームごとに交互に変える丸め制
御値である。第１ステージの丸め規則と同様に、第２ス
テージの丸め規則には、ステージで交互に変える丸め制
御（８３３）およびビットシフト（８３４）を用いて丸
めが含まれる。第１ステージの延期されたシフトのゆえ
に、第２ステージでのシフトの量は、通常は、選択され
た水平フィルタについて通常期待されるものより大き
く、所望のダイナミックレンジを有する値を出力するよ
うに計算される。

【０１１０】双三次フィルタリングのすべてのケース
で、潜在的に、値が負の補間されたピクセル、または値
が範囲の最大値（たとえば、８ビット出力では２５５）
より大きい補間されたピクセルが作られる可能性があ
る。このような８ビット出力値の場合には、エンコーダ
およびデコーダが、許容される範囲に収まるように出力
値（８３６）をクリッピングする。具体的に言うと、ア
ンダーフローが、０にセットされ、オーバーフローが、
２５５にセットされる。クランプの後に、補間された８
ビット値（８３８）が出力される。

【０１１１】図８では、第２ステージのシフトが、７ビ
ットである。したがって、９ビットを有するフィルタリ
ングされた出力値が、保たれる。たとえば、Ｐ_３の前の
例を続けると、フィルタリングされた出力値の範囲は、
−６１から３１６までであり、これは、約８．６ビット
のダイナミックレンジを有する（実施については９ビッ
トまでに丸められる）。補間されたデータの有効範囲
は、８ビットだけだが、ヘッドルームの余分の１ビット
によって、オーバーフロー情報およびアンダーフロー情
報が提供される。言い換えると、最上位ビット（すなわ
ち「符号」ビット）がセットされている場合に、アンダ
ーフローまたはオーバーフローがある。具体的にこの２
つのどちらが発生したかは、残りの８つの「仮数」ビッ
トを調べることによって導出される。

【０１１２】図９から１１に、上で説明し、図８に示し
た２次元補間をさらに示す。図９に、図６の基準フレー
ム（６００）のサブピクセル位置Ｐ_７（水平に１／２ピ
クセル、垂直に１／２ピクセル）を示す。２つの１／２
ピクセル双三次補間フィルタを使用して、Ｐ_７の値を補
間する。第１ステージでは、中間値Ｖ_１からＶ_４を、下
記の一般形を有する１／２ピクセル双一次フィルタを使
用して、近接する整数ピクセル位置から計算する。

【０１１３】 Ｖ_{Ｉｎｔｅｒ}＝（−１ｘ_１＋９ｘ_２＋９ｘ_３−１ｘ_４） （２７） したがって、 Ｖ_１＝（−１ａ＋９ｅ＋９ｉ−１ｍ） （２８） Ｖ_２＝（−１ｂ＋９ｆ＋９ｊ−１ｎ） （２９） Ｖ_３＝（−１ｃ＋９ｇ＋９ｋ−１ｏ） （３０） Ｖ_４＝（−１ｄ＋９ｈ＋９ｌ−１ｐ） （３１） である。

【０１１４】Ｒ_Ｖの適当な値を加算した後に、結果を１
ビットだけ右シフトする。第２ステージでは、中間結果
Ｖ_１からＶ_４が、１／２ピクセルフィルタによって使用
されて、Ｐ_７のピクセル値が計算される。具体的に言う
と、下記の形を有する１／２ピクセルフィルタが使用さ
れる。 Ｐ_７＝（−１Ｖ_１＋９Ｖ_２＋９Ｖ_３−１Ｖ_４） （３２）

【０１１５】上で述べたように、第２ステージの結果
は、９ビット値を得るために７ビットだけ右シフトされ
る。この９ビット値には、８つの仮数ビットおよび１つ
の符号ビットが含まれる。必要なクランプをすべて実行
してオーバーフローまたはアンダーフローを補償した後
に、最終的な８ビットの補間された値が出力される。

【０１１６】図１０に、図６の基準フレーム（６００）
のサブピクセル位置Ｐ_４（水平に１／２ピクセル、垂直
に１／４ピクセル）を示す。１／４ピクセルおよび１／
２ピクセルの双三次補間フィルタを使用して、Ｐ_４の値
を補間する。第１ステージでは、中間値Ｖ_１からＶ
_４を、下記の一般形を有する１／４ピクセル双三次フィ
ルタを使用して、近接する整数ピクセル位置から計算す
る。 Ｖ_{Ｉｎｔｅｒ}＝（−４ｘ_１＋５３ｘ_２＋１８ｘ_３−３ｘ_４） （３３）

【０１１７】このフィルタは、上でＰ_７の計算に関して
説明したものと同一の形で、基準フレーム（６００）の
整数ピクセル値に適用される。Ｒ_Ｖの適当な値を加算し
た後に、結果を３ビットだけ右シフトする。第２ステー
ジでは、中間結果Ｖ_１からＶ _４が、１／２ピクセルフィ
ルタによって使用されて、Ｐ_４のピクセル値が計算され
る。具体的に言うと、下記の形を有する１／２ピクセル
フィルタが使用される。 Ｐ_４＝（−１Ｖ_１＋９Ｖ_２＋９Ｖ_３−１Ｖ_４） （３４）

【０１１８】第２ステージの結果は、９ビット値を得る
ために７ビットだけ右シフトされ、必要なクランプがす
べて実行され、最終的な８ビットの補間された値が出力
される。

【０１１９】図１０には、サブピクセル位置Ｐ_６（水平
に１／４ピクセル、垂直に１／２ピクセル）も示されて
いる。Ｐ_６の値を補間するために、Ｐ_４の補間の技法
が、わずかな修正だけを用いて使用される。修正された
技法では、第１ステージで１／２ピクセル双三次フィル
タを使用して、中間値を決定する。中間ピクセル値の位
置は、図１０のＶ_５からＶ_８に示されている。第２ステ
ージ中に、１／４ピクセル双三次フィルタでこの中間値
を使用して、Ｐ_６の値を計算する。具体的に言うと、下
記の形を有する１／４ピクセル双三次フィルタが使用さ
れる。 Ｐ_６＝（−４Ｖ_５＋５３Ｖ_６＋１８Ｖ_７−３Ｖ_８） （３５）

【０１２０】第１ステージおよび第２ステージでのシフ
トの量は、Ｐ_４を計算する技法と同一である（すなわ
ち、第１ステージのシフトが３、第２ステージのシフト
が７である）。

【０１２１】図１１に、図６の基準フレーム（６００）
のサブピクセル位置Ｐ_３（水平に１／４ピクセル、垂直
に１／４ピクセル）を示す。２つの１／４ピクセル双三
次補間フィルタを使用して、Ｐ_３の値を補間する。第１
ステージでは、中間値Ｖ_１からＶ_４が、下記の一般形を
有する１／４ピクセル双三次フィルタを使用して、近接
する整数ピクセル位置から計算される。 Ｖ_{Ｉｎｔｅｒ}＝（−４ｘ_１＋５３ｘ_２＋１８ｘ_３−３ｘ_４） （３６）

【０１２２】このフィルタは、Ｐ_４を計算することに関
して上で説明したものと同一の形で基準フレーム（６０
０）の整数ピクセル値に適用される。Ｒ_Ｖの適当な値を
加算した後に、その結果を５ビットだけ右シフトする。
第２ステージでは、中間結果Ｖ_１からＶ_４が、もう１つ
の１／４ピクセルフィルタによって使用されて、Ｐ_３の
ピクセル値が計算される。具体的に言うと、下記の形を
有する１／４ピクセルフィルタが使用される。 Ｐ_３＝（−４Ｖ_１＋５３Ｖ_２＋１８Ｖ_３−３Ｖ_４） （３７）

【０１２３】第２ステージの結果が、９ビット値を得る
ために７ビットだけ右シフトされ、必要なクランプがす
べて実行され、最終的な８ビットの補間された値が出力
される。

【０１２４】図９から１１には示されていないが、１つ
または両方の次元で３／４ピクセルシフトを有するサブ
ピクセル位置の値も、計算することができる。そのよう
なサブピクセル位置を計算するために、上で概要を示し
た方法を、１／４ピクセル双三次フィルタの代わりに適
当な３／４ピクセル双三次フィルタを使用することによ
って修正することができる。

【０１２５】他の実施形態では、双一次フィルタまたは
双一次フィルタと双三次フィルタとの組合せを使用し
て、サブピクセルサンプル位置の値を補間する。双一次
フィルタの使用によって、双三次フィルタの場合より係
数によって導入される膨張（ｅｘｐａｎｓｉｏｎ）が減
るので、一般に、実行されるシフトの量（第１ステージ
の後および全体の後）が減る。たとえば、双一次フィル
タおよび１６ビット中間値を使用する一実施形態では、
第１ステージでシフトが実行されず、これによって１６
ビットワード限界の使用が最大になり、４ビットの右シ
フトが最終ステージの後で実行される。同様に、クラン
プを、最終ステージまで延期することができる。

【０１２６】上で説明した方法の基礎となる原理の１つ
が、所望の「ワードサイズ」限界Ｗ内にとどまりなが
ら、フィルタリングのすべてのステージで可能な最高の
精度を使用することである。出力値が、Ｄビットのダイ
ナミックレンジを有し、Ｌビットが、最終ステージで破
棄される場合に、フィルタリングの最終ステージの出力
は、Ｄ＋Ｌ＋１ビットまでを占めることができ、この１
つの余分なビットは、アンダーフローおよびオーバーフ
ローのシグナリングに使用される。逆方向に進んで、フ
ィルタリングの最終ステージが、ｋビットの拡大をもた
らす場合に、最終ステージの入力は、Ｄ＋Ｌ−ｋ以内で
なければならない。したがって、Ｗビット表現で最大の
精度を保つために、下記の関係が存在する。 Ｄ＋Ｌ＋１＝Ｗ （３８）

【０１２７】さらに、最終ステージへの入力は、Ｄ＋Ｌ
−ｋ＝Ｗ−ｋ−１ビットでなければならない。

【０１２８】上の論理を、フィルタリングの終りから２
番目のステージに再帰的に適用することができ、以下同
様である。実際に、フラクショナルビットを使用して非
２^ｋ範囲および拡大要因を表現することによって、上下
の限界を狭めることができる。

【０１２９】図１２から図１５は、上で組み合わせて説
明したが、複数ステージ補間に別々に適用可能でもあ
る、さまざまな技法を示す図である。図１２から図１５
には、めいめいの複数ステージ補間（１２００、１３０
０、１４００、１５００）を、他の複数ステージ補間技
法と共に使用することができるさまざまな形は示されて
いない。

【０１３０】また、図１２から図１５のそれぞれに、２
つのステージが示されているが、図１２から図１５に示
された複数ステージ補間（１２００、１３００、１４０
０、１５００）技法に、より多くのステージを含めるこ
とができる。より一般的には、複数ステージ補間（１２
００、１３００、１４００、１５００）技法を、複数の
次元の任意のタイプの分離可能なフィルタならびにカス
ケード構造、トレリス構造、または格子構造で実施され
る任意のフィルタを用いて実施することができる。

【０１３１】図１２から図１５に、複数ステージ補間で
使用される一般化された入力値、出力値、およびフィル
タを示す。第１ステージの入力値、最終ステージの出力
値、および中間値のビット深さの特定の選択は、ターゲ
ットのアーキテクチャまたはアプリケーションの技術的
仕様に従って任意に拡張することができる。たとえば、
入力値を、基準フレームの整数ピクセル位置の８ビット
ピクセル値とし、出力値を、基準フレームのサブピクセ
ル位置の８ビットピクセル値とし、フィルタを、標準の
双三次フィルタおよび近似双三次フィルタ（図６から図
８に関して上で説明したもの）とすることができる。代
替案では、入力値および／または出力値が、異なるビッ
ト深さのダイナミックレンジを有するか、または異なる
フィルタが使用される。

【０１３２】それぞれ図４および図５に関して説明した
エンコーダまたはデコーダなどのコンポーネントが、複
数ステージ補間（１２００、１３００、１４００、１５
００）を実行することができる。代替案では、別のエン
コーダまたはデコーダ、あるいは別のタイプのコンポー
ネントが、複数ステージ補間（１２００、１３００、１
４００、１５００）を実行することができる。

【０１３３】図１２に、中間の補間された値に関する拡
張されたダイナミックレンジ（ビット単位）を有する複
数ステージ補間（１２００）の図を示す。第１ステージ
（１２１０）で、コンポーネントが、１つまたは複数の
ｘビット範囲の入力値（１２１１）に第１フィルタＦ_１
を適用し（１２１２）、１つまたは複数のｙビット範囲
の中間値（１２２０）を作る。ここで、ｙはｘより大き
い。たとえば、ｙビット中間値は、８ビットより大きい
ダイナミックレンジを有するピクセル値であり、ｘビッ
ト入力値は、８ビットのダイナミックレンジを有する。

【０１３４】詳細には図示されていない０または１個以
上の中間ステージ（１２２２）のそれぞれで、コンポー
ネントが、ｙビット範囲の中間値（１２２０）にフィル
タを適用する。中間ステージからの出力は、１つまたは
複数のｚビット範囲の中間値（１２２９）であり、ここ
で、ｚはｘより大きい（図１２から図１５では、最終ス
テージが第２ステージである場合に、第１ステージから
出力される中間値が、最終ステージへの入力中間値であ
る）。

【０１３５】最終ステージ（１２３０）で、コンポーネ
ントが、１つまたは複数のｚビット範囲の中間値（１２
２９）に最終フィルタＦ_Ｌを適用する（１２３２）。最
終的な出力は、ｘビット範囲の出力値（１２３４）であ
る。複数ステージ補間（１２００、１３００、１４０
０、１５００）技法のそれぞれについて、必要な場合
に、コンポーネントは、追加の出力値について複数ステ
ージ補間（１２００、１３００、１４００、１５００）
を繰り返す。繰り返される補間では、コンポーネント
が、前の補間で計算されたある中間値を再利用すること
ができる。

【０１３６】図１３に、スキップされたクランプを用い
る複数ステージ補間技法（１３００）の図を示す。クラ
ンプの延期によって、たとえば、コンポーネントがもは
や範囲の上下界に対して各中間値を検査しないので、計
算が高速になる。延期されたクランプによって、中間値
の精度も保たれる。

【０１３７】第１ステージ（１３１０）で、コンポーネ
ントが、１つまたは複数のｘビット範囲の入力値（１３
１１）に第１フィルタＦ_１を適用する（１３１２）。第
１フィルタＦ_１の適用の後に、クランプは実行されな
い。したがって、第１フィルタＦ_１から出力される１つ
または複数の中間値（１３２０）が、ｘビットを超える
ダイナミックレンジを有する場合がある。たとえば、入
力値が、８ビット値であり、第１フィルタＦ_１からの出
力が、第１フィルタＦ_１の係数によって導入される膨張
係数（ｅｘｐａｎｓｉｏｎ ｆａｃｔｏｒ）に起因し
て、９ビットまたはそれ以上のダイナミックレンジを有
する。

【０１３８】詳細には図示されていない０または１個以
上の中間ステージ（１３２２）のそれぞれで、コンポー
ネントが、１つまたは複数のクランプされていない中間
値（１３２０）にフィルタを適用する。クランプを、０
または１個以上の中間ステージ（１３２２）でスキップ
することもできる。０または１個以上の中間ステージ
（１３２２）から出力された中間値（１３２９）が、最
終ステージ（１３３０）に入力され、このステージで、
コンポーネントが値（１３２９）に最終フィルタＦ_Ｌを
適用する（１３２２）。最終フィルタＦ_Ｌからの最終的
な出力が、クランプされ（１３３４）、ｘビット範囲の
値（１３３６）が出力される。

【０１３９】図１４に、延期されたビットシフトを用い
る複数ステージ補間（１４００）の図を示す。第１ステ
ージ（１４１０）で、コンポーネントが、１つまたは複
数のｘビット範囲の入力値（１４１１）に第１フィルタ
Ｆ_１を適用する（１４１２）。第１フィルタＦ_１の適用
と共にまたはその後に、短縮されたシフト（１４１４）
を実行する。短縮されたシフト（１４１４）は、ｘビッ
ト範囲の出力値を保証するのに必要なシフトより少なく
（第１フィルタＦ_１の係数の拡大要因に鑑みて）、した
がって、第１フィルタＦ_１に通常関連するシフトより少
ない。したがって、短縮されたシフト（１４１４）によ
って、ｘビットより大きいダイナミックレンジ（ｙビッ
トの）を有する１つまたは複数の中間値が作られる。た
とえば、入力値が、８ビットのダイナミックレンジを有
し、中間値が、８ビットを超えるダイナミックレンジを
有する。

【０１４０】詳細には図示されていない０または１個以
上の中間ステージ（１４２２）のそれぞれで、コンポー
ネントが、１つまたは複数の中間値（１４２０）にフィ
ルタを適用する。ｚビット（ｘビットより大きい）のダ
イナミックレンジを有する１つまたは複数の中間値（１
４２９）が、０または１個以上の中間ステージ（１４２
２）から出力され、最終ステージ（１４３０）で、コン
ポーネントが、値（１４２９）に最終フィルタＦ_Ｌを適
用する（１４３２）。最終フィルタＦ_Ｌからの最終的な
出力が、最終フィルタＦ_Ｌに通常関連するものより多い
量だけシフトされ（１４３４）、これによって、出力値
（１４３６）のダイナミックレンジが、指定されたビッ
ト深さに制限される。たとえば、出力値（１４３６）の
ダイナミックレンジ（ビット単位）が、ｘまたはｘ＋１
と等しい。一実施形態では、第１ステージおよびすべて
の中間ステージのシフトが、最終ステージまで、できる
限り延期される。シフトが延期される量は、中間計算に
使用可能なビット深さと、めいめいのフィルタの拡大要
因に依存する可能性がある。

【０１４１】図１５に、ステージで交互に変える丸め制
御を使用する複数ステージ補間技法（１５００）を示
す。補間技法（１５００）の複数のステージは、丸め制
御を適用して丸めを調整する形において交互に変える。
これは、あるビデオシーケンス内のフレームからフレー
ムへと丸め誤差が累積されるのを防ぐのに役立つ。たと
えば、低品質ビデオシーケンスに、１次元（パン）また
は２次元（ズーム）の漸進的な動きが含まれる場合に、
丸め誤差の累積によって、フレームからフレームへの漸
進的な退色（ｃｏｌｏｒ ｆａｄｉｎｇ）がもたらされ
る可能性があり、これによって、知覚可能なアーチファ
クトが引き起こされる可能性がある。ステージで交互に
変える丸め制御は、そのような退色を防ぐのに役立つ。

【０１４２】数値の例が、右ビットシフトの前にステー
ジで交互に変える丸め制御が適用される丸めを示すのに
役立つ可能性がある。右ビットシフトは、本質的に、右
シフトされる値の除算および切捨をもたらす。シフトの
前に丸め値を加算することによって、シフトされる値
が、必ず切り下げられる（切捨）のではなく、上または
下に（最も近い整数に）丸められるようになる。丸め制
御を使用することによって、限界の値について丸めの方
向（上または下）が変更される。たとえば、複数ステー
ジのそれぞれで、フィルタリングの出力が、右シフトの
前に右シフトの「除数」の１／２を加算する（たとえ
ば、５ビット右シフトの前に２^４＝１６を加算する、７
ビット右シフトの前に２^６＝６４を加算する）ことによ
って調整されると仮定する。この加算の効果は、０．５
またはそれ以上の小数成分を有する値が（ビットシフト
に対応する除算の後に）（次に大きい整数に）切り上げ
られることである。そのような値は、そうでなければ右
シフトによって（次に小さい整数に）切り捨てられる。
加算にかかわらず、０．５未満の小数成分を有する値は
（ビットシフトに対応する除算の後に）、まだ右シフト
によって（次に小さい整数に）切り捨てられる。丸め制
御によって、ある限界の値の丸めの方向が変更される。
たとえば、複数ステージのそれぞれで、フィルタリング
の出力が、右シフトの前に０または１（交互に変える丸
め制御値）を減算することによって、さらに調整される
（たとえば、２^{ｓｈｉｆｔＶ−１}または２
^{ｓｈｉｆｔＶ−１}−１）。丸め制御調整の効果は、０．
５の小数成分を有する（ビットシフトに対応する除算の
後に）値の丸めの方向が変更されることである。１が減
算される場合に、そのような限界の値が、切り下げられ
る。そうでない場合には、そのような限界の値が、切り
上げられる。

【０１４３】複数のステージのそれぞれで、複数ステー
ジ補間の前に、０と１の間で交互に変える丸め制御値が
使用され、したがって、異なるステージで、丸め制御値
が適用される形が交互に変わる。代替案では、複数ステ
ージ補間技法（１５００）で、それ自体がステージから
ステージへ交互に変わる丸め制御値が使用される。

【０１４４】図１５の第１ステージ（１５１０）で、コ
ンポーネントが、１つまたは複数のｘビット範囲の入力
値（１５１１）に第１フィルタＦ_１を適用する（１５１
２）。第１フィルタＦ_１の適用と共にまたはその後に、
丸め（１５１４）が、第１フィルタＦ_１からの出力に対
して実行される。丸め（１５１４）は、ステージで交互
に変える丸め制御によって調整される。たとえば、第１
ステージ（１５１０）で、ステージで交互に変える丸め
制御によって、出力値が限界の値（そうでなければ出力
値が下に丸められる）である場合に、出力値が最も近い
整数に向けて上に丸められるようになる。１つまたは複
数の丸められた中間値（１５２０）が、第１ステージか
ら第２ステージ（１５３０）へ出力される。

【０１４５】第２ステージ（１５３０）では、コンポー
ネントが、１つまたは複数の中間値（１５２０）に第２
フィルタＦ_２を適用する（１５３２）。丸め（１５３
４）が、第２フィルタＦ_２からの出力に対して実行され
る。第２フィルタＦ_２の適用と共にまたはその後に、丸
め（１５３４）が、ステージで交互に変える丸め制御を
用いて実行され、この丸め制御によって、限界の値につ
いて第１ステージと反対の方向の丸めが行われるように
なる。たとえば、第２ステージ（１５３０）で、ステー
ジで交互に変える丸め制御によって、出力値が限界の値
である場合に、出力値が、最も近い整数に向かって下に
丸められるようになる。１つまたは複数の中間値（１５
３６）が、第２ステージから出力され、０または１個以
上の追加ステージ（１５４０）でこれらを使用すること
ができる。０または１個以上の追加ステージ（１５４
０）に、さらに、ステージで交互に変える丸め制御を含
めることができる。

【０１４６】交互に変える丸め制御は、連続するステー
ジでの適用に制限されるのではなく、ステージのさまざ
まな他の組合せで適用することができる。さらに、第１
方向を、複数のパラメータに依存するものとすることが
できる。たとえば、ビデオエンコーダまたはビデオデコ
ーダで、第１方向を、前のフレームで使用されれた丸め
制御または補間されるフレームのタイプ（たとえば、Ｉ
フレーム、Ｐフレーム、またはＢフレーム）に依存する
ものとすることができる。他の実施形態では、第１方向
に、臨時情報（ｃａｓｕａｌ ｉｎｆｏｒｍａｔｉｏ
ｎ）（たとえば、過去にコーディング／デコーディング
された情報）から暗黙のうちに導出されるか、擬似乱数
ジェネレータを使用して導出されるか、ビットストリー
ムの一部としてシグナリングされる、定数をセットする
ことができる。ステージで交互に変える丸め制御は、双
一次フィルタ、双三次フィルタ、および近似双三次フィ
ルタを含む、さまざまな補間フィルタのどれかを使用し
て複数ステージ補間に適用することができる。

【０１４７】Ｄ．クロミナンス動きベクトル クロミナンス（クロマ）動きベクトルは、同一位置の輝
度動きベクトルから暗黙のうちに導出されるので、その
精度は、限られ、単純化のスコープが提供される。この
単純化では、コーディングされるビデオの知覚される質
を大きく落とさずに、エンコーダおよびデコーダでのク
ロミナンス値のサブピクセル補間の計算的複雑さを減ら
すことができる。さらに、エンコーダおよびデコーダ
を、クロミナンス動きベクトルの丸めおよび補間の異な
るモードの間で切り替えることができる。たとえば、あ
るモードでは、より高い計算的複雑さと引き換えに、コ
ーディングされるビデオの品質を際立たせる。別のモー
ドでは、品質を多少犠牲にして、計算的単純さを際立た
せる。

【０１４８】一実施形態では、ビデオエンコーダおよび
ビデオデコーダで、シーケンスレベルの１ビットフィー
ルド「ＦＡＳＴＵＶＭＣ」を使用して、クロミナンス値
のサブピクセル補間およびクロミナンス動きベクトルの
丸めを制御する。したがって、ビデオエンコーダおよび
ビデオデコーダは、２つの異なるクロミナンス丸めモー
ドすなわち、高速モードと基本モードの１つで選択的に
動作する。

【０１４９】図１６に、複数のクロミナンス丸めおよび
補間モードの間での選択の技法（１６００）を示す。た
とえば、それぞれ上で図４および図５に関して説明した
ものなどのビデオエンコーダまたはビデオデコーダが、
この技法を実行する。

【０１５０】ビデオエンコーダまたはビデオデコーダ
は、１ビットフラグＦＡＳＴＵＶＭＣによって、高速ク
ロミナンス動き補償モード（フラグ＝１）または基本ク
ロミナンス動き補償モード（フラグ＝０）のどちらが示
されるかを判定する（１６１０）。たとえば、このフラ
グは、エンコーダがコーディングされるビデオのビット
ストリームに書き込み、デコーダがビットストリームか
ら読み取る、ユーザ設定に対応するシーケンスレベルの
フィールドである。代替案では、エンコーダおよびデコ
ーダが、より多くのビットを使用して、たとえば２つよ
り多い使用可能なモードの間で選択するために、固定さ
れた長さまたは可変長さのコードを使用してクロミナン
ス丸めおよび／または補間モードをシグナリングする。
あるいは、ユーザ設定に対応するシーケンスレベルのフ
ィールではなく、切替情報が、ビットストリーム内の他
所でシグナリングされ、かつ／または異なる判断基準に
従ってセットされる。

【０１５１】ビデオエンコーダまたはビデオデコーダ
は、基本モード（１６２０）または高速モード（１６３
０）でクロミナンス動き補償を実行する。基本モード
（１６２０）および高速モード（１６３０）の動きベク
トルの丸めおよび補間の詳細は、一実施形態について以
下に示す。代替案では、これらのモードが、異なる実施
形態を有する。たとえば、以下で説明する高速モード
（１６３０）実施形態で使用されるルックアップテーブ
ルを、特定のハードウェアアーキテクチャの所望の性能
レベルをもたらすために異なるマッピングに変更する
か、または異なる精度の動きベクトルについて動作する
ように変更する。基本モード（１６２０）および高速モ
ード（１６３０）の代わりにまたはこれに加えて、エン
コーダまたはデコーダで、クロミナンス動きベクトルの
丸めおよび補間の他のモードを使用することができる。

【０１５２】一実施形態では、高速モードで（たとえ
ば、クロミナンス丸めフラグ＝１の場合）、１／４ピク
セルオフセットにある（すなわち、１／４ピクセルオフ
セットおよび３／４ピクセルオフセット）クロミナンス
動きベクトルが、最も近いフルピクセル位置に丸めら
れ、１／２ピクセルオフセットにあるクロミナンス動き
ベクトルが、丸められないままにされ、双一次フィルタ
リングが、クロミナンス補間に使用される。このモード
では、エンコーダおよびデコーダの速度が高くなる。こ
の最適化の動機は、（ａ）整数ピクセル位置、（ｂ）１
／２ピクセル位置、（ｃ）少なくとも１つの座標（ｘま
たはｙ）について１／４ピクセル位置、および（ｄ）両
方の座標について１／４ピクセル位置にあるピクセルオ
フセット補間の複雑さの間の大きな相違である。ａ：
ｂ：ｃ：ｄの比率は、おおむね１：４：４．７：６．６
である。この高速モードを適用することによって、
（ａ）および（ｂ）を優先することができ、したがっ
て、デコーディング時間を削減することができる。これ
は、クロミナンス補間だけについて実行されるので、コ
ーディングおよび品質（特に可視の品質）の消失は、ど
ちらも無視してよい。

【０１５３】この高速モードでは、丸めの最終的なレベ
ルが、下記のようにクロミナンス動きベクトルに対して
行われる。

【０１５４】 //RndTbl[-3]=-1,RndTbl[-2]=0,RndTbl[-1]=+1,RndTbl[0]=0 //RndTbl[1]=-1,RndTbl[2]=0,RndTbl[3]=+1 cmv_x=cmv_x+RndTbl[cmv_x%4]; （３９） cmv_y=cmv_y+RndTbl[cmv_y%4];

【０１５５】ここで、ｃｍｖ＿ｘおよびｃｍｖ＿ｙは、
１／４ピクセル単位のクロミナンス動きベクトルのｘ座
標およびｙ座標であり、％は、剰余（または余り）演算
を表し、したがって、（ｘ％ａ）＝−（−ｘ％ａ）と定
義される（負の数の剰余は、対応する正の数の剰余の負
数と等しい）。したがって、ｃｍｖ＿ｘ（またはｃｍｖ
＿ｙ）が、４によって割られるときに、クロミナンス動
きベクトルが、整数オフセットを有する。ｃｍｖ＿ｘ％
４＝±２のときに、クロミナンス動きベクトルが、１／
２ピクセルオフセットを有する。ｃｍｖ＿ｘ％４＝±１
または±３のときに、クロミナンス動きベクトルが、１
／４ピクセルオフセットを有する。上の再マッピング動
作からわかるように、１／４ピクセル位置は、クロミナ
ンス動きベクトルを最も近い整数位置に丸めることによ
って禁止される（１／２ピクセル位置は変更されないま
まになる）。したがって、このモードによって、クロミ
ナンス座標が整数ピクセル位置および１／２ピクセル位
置に再マッピングされる。双一次フィルタリングを、さ
らなる高速化のためにこのモードのクロミナンス補間の
すべてに使用することができる。この高速モード実施形
態を、複数の丸めモードの間の選択と組み合わせて説明
したが、その代わりに、高速モード実施形態を独立に
（すなわち、唯一の可能なモードとして）使用すること
ができる。

【０１５６】図１７は、このクロミナンス丸めの第１モ
ードを示す表図（１７００）である。第１行（１７１
０）に、１／４ピクセル精度の輝度動きベクトル値が示
されている。輝度動きベクトル値は、整数ピクセル位置
からの小数オフセットに関して示されているが、これら
を、各整数が１／４ピクセル増分を表す整数値（すなわ
ち、０、１／４、１／２、３／４、１ではなく０、１、
２、３、４）として表現することができる。第２行（１
７２０）に、クロミナンス動きベクトル値が、高速モー
ドでどのように丸められ、その結果、整数ピクセル精度
および１／２ピクセル精度を有するようになるかが示さ
れている。

【０１５７】この実施形態の第２の基本モード（たとえ
ば、クロミナンス丸めフラグ＝０）では、１／４ピクセ
ルオフセットにあり、丸め誤差を有しないクロミナンス
動きベクトルは、１／４ピクセルオフセットのままであ
る。他のサブピクセルオフセットにあるクロミナンス動
きベクトルは、最も近いフルピクセル位置または１／２
ピクセル位置に丸められる。このモードでは、デコーダ
の速度が、他のモードより遅くなる可能性があるが、ク
ロミナンスピクセル値が計算される精度が、高くなる。
したがって、この基本モードでは、クロミナンス座標
が、整数ピクセル位置、１／２ピクセル位置、および１
／４ピクセル位置に再マッピングされる。上で説明した
双三次フィルタリングまたは双一次フィルタリングを、
クロミナンス補間に使用することができる。

【０１５８】図１８は、このクロミナンス丸めの基本モ
ードを示す表図である。第１行（１８１０）に、１／４
ピクセル精度の輝度動きベクトル値が示されている。第
２行（１８２０）に、上で説明した基本モードで対応す
るクロミナンス動きベクトル値がどのように丸められ、
その結果、整数ピクセル精度、１／２ピクセル精度、お
よび１／４ピクセル精度を有するようになるかが示され
ている。他の実施形態では、クロミナンス空間が、クロ
ミナンス空間の他の分解能に丸められる。

【０１５９】さまざまな実施形態に関して本発明の原理
を説明し、図示したが、これらのさまざまな実施形態
を、そのような原理から逸脱せずに配置および詳細にお
いてを修正できることを諒解されたい。たとえば、上で
説明した原理および技法は、ビデオエンコーダおよび／
またはビデオデコーダでの使用に制限されない。そうで
はなく、上で説明した原理および技法は、値が部分的に
１つまたは複数の中間値に基づいて計算されるか、分離
可能なフィルタが複数の次元で使用される、すべてのコ
ンピューティングの文脈で適用することができる。

【０１６０】本明細書で説明したプログラム、処理、ま
たは方法が、他の形で示されない限り、特定のタイプの
コンピューティング環境に関連せず、それに制限されな
いことを理解されたい。さまざまなタイプの汎用のまた
は特殊化されたコンピューティング環境を、本明細書に
記載の教示による動作と共に使用するか、そのような環
境によって本明細書に記載の教示による動作を実行する
ことができる。ソフトウェアで示された実施形態の要素
を、ハードウェアで実施することができ、逆も同様であ
る。

【０１６１】本発明の原理を適用することができる多数
の可能な実施形態に鑑みて、本発明として、請求項およ
びその同等物の範囲および趣旨に含まれるすべてのその
ような実施形態を請求する。

【０１６２】

【発明の効果】以上説明したように、本発明によれば、
計算されたピクセル値を使用する動き予測の有効性が改
善される。それと同時に、近似双三次フィルタリングに
より、比較的効率的に計算を行うことができる。

【図面の簡単な説明】

【図１】従来技術によるビデオエンコーダでの動き推定
を示す図である。

【図２】従来技術による、サブピクセル動き推定および
補償での補間に関するサブピクセル位置を示す図であ
る。

【図３】複数の本明細書に記載の実施形態をその中で実
施することができる、適切なコンピューティング環境を
示すブロック図である。

【図４】複数の本明細書に記載の実施形態で使用される
一般化されたビデオエンコーダシステムを示すブロック
図である。

【図５】複数の本明細書に記載の実施形態で使用される
一般化されたビデオデコーダシステムを示すブロック図
である。

【図６】サブピクセル動き推定およびサブピクセル動き
補償中のピクセル値補間に関する位置を示す図である。

【図７】サブピクセル位置に関する補間されたピクセル
値の計算に使用されるピクセル値を有する整数ピクセル
位置を示す図である。

【図８】サブピクセル位置の値を補間する２ステージ補
間技法を示す図である。

【図９】水平１／２垂直１／２サンプル位置と、そのサ
ンプル位置の値を計算するのに使用されるサブピクセル
位置での中間値とを示す図である。

【図１０】水平１／４垂直１／２サンプル位置、水平１
／２垂直１／４サンプル位置、およびそれらのサンプル
位置の値を計算するのに使用されるサブピクセル位置で
の中間値を示す図である。

【図１１】水平１／４垂直１／４サンプル位置と、その
サンプル位置の値を計算するのに使用されるサブピクセ
ル位置での中間値を示す図である。

【図１２】強化されたダイナミックレンジ（ビット単
位）中間値を用いる複数ステージ補間技法を示す図であ
る。

【図１３】スキップされたクランプを用いる複数ステー
ジ補間技法を示す図である。

【図１４】延期されたビットシフトを用いる複数ステー
ジ補間技法を示す図である。

【図１５】ステージで交互に変える丸め制御を使用する
複数ステージ補間技法を示す図である。

【図１６】複数のクロミナンス丸めおよび補間モードの
間での選択の技法を示す流れ図である。

【図１７】第１のクロミナンス丸めモードを示す表図で
ある。

【図１８】第２のクロミナンス丸めモードを示す表図で
ある。

【符号の説明】

４００ ビデオエンコーダシステム ４０５ 現在のフレーム ４１０ 動き推定 ４１５ 動き情報 ４２０ フレームストア ４２５ 再構成された前のフレーム ４３０ 動き補償 ４３５ 動き補償された現在のフレーム ４４５ 予測残差 ４６０ 周波数変換 ４６６ 逆周波数変換 ４７０ 量子化 ４７６ 逆量子化 ４８０ エントロピ符号化 ４９０ バッファ ４９５ 圧縮ビデオ情報

───────────────────────────────────────────────────── フロントページの続き (72)発明者 スリドハー スリニバサン アメリカ合衆国 98109 ワシントン州 シアトル オーロラ アベニュー ノース 1504 ナンバー509 Ｆターム(参考） 5C059 KK19 LB05 LB18 MA01 MA23 MC11 NN01 NN14 NN21 PP06 PP07 SS20 TA08 TA21 TB07 TC03 TC12 UA11 UA18 5J064 AA02 BB04 BC01 BC02 BC09 BC11 BC26 BD03 BD04

Claims (20)

【特許請求の範囲】
1. 【請求項１】 コンピュータシステムにおいて、コンピ
   ュータ実施される方法であって、 近似双三次フィルタを使用して１／４サンプル位置での
   値を計算するステップであって、前記近似双三次フィル
   タは、純粋な双三次フィルタに実質的に類似して動作す
   るが、純粋な双三次フィルタと異なるフィルタ係数およ
   び／または前記純粋な双三次フィルタより低い分解能を
   有するステップを備えることを特徴とするコンピュータ
   実施される方法。
2. 【請求項２】 前記近似双三次フィルタは、前記１／４
   サンプル位置での前記値を計算するのに使用される唯一
   のフィルタであることを特徴とする請求項１に記載の方
   法。
3. 【請求項３】 前記近似双三次フィルタは、フーリエ変
   換を容易にする合計を有するフィルタ係数を含むことを
   特徴とする請求項１に記載の方法。
4. 【請求項４】 前記近似双三次フィルタは、６４の合計
   を有するフィルタ係数を含むことを特徴とする請求項１
   に記載の方法。
5. 【請求項５】 前記近似双三次フィルタは、−４、５
   ３、１８、および−３のフィルタ係数を有することを特
   徴とする請求項１に記載の方法。
6. 【請求項６】 １つまたは複数の追加の１／４サンプル
   位置のそれぞれについて前記計算を繰り返すステップを
   さらに備えることを特徴とする請求項１に記載の方法。
7. 【請求項７】 前記値はピクセル値であり、前記１／４
   サンプル位置は、基準ビデオフレームにおける１／４ピ
   クセル位置であることを特徴とする請求項１に記載の方
   法。
8. 【請求項８】 コンピュータシステムに、ビデオエンコ
   ーディング中に請求項１に記載の方法を実行させるコン
   ピュータ実行可能命令を記憶することを特徴とするコン
   ピュータ可読媒体。
9. 【請求項９】 コンピュータシステムに、ビデオデコー
   ディング中に請求項１に記載の方法を実行させるコンピ
   ュータ実行可能命令を記憶することを特徴とするコンピ
   ュータ可読媒体。
10. 【請求項１０】 それによってプログラムされるコンピ
    ュータシステムに、複数の基準ビデオフレームにおける
    サブピクセル補間のコンピュータ実施される方法を実行
    させるコンピュータ実行可能命令を記憶するコンピュー
    タ可読媒体であって、前記方法は、 複数のサブピクセル位置のそれぞれで、前記近似双三次
    フィルタを使用してピクセル値を計算するステップであ
    って、第１基準ビデオフレームにおける複数のサブピク
    セル位置のそれぞれについて２ステージ補間の少なくと
    も１つのステージで近似双三次フィルタを使用するステ
    ップを含むステップを備えることを特徴とするコンピュ
    ータ可読媒体。
11. 【請求項１１】 前記計算は、第２基準ビデオフレーム
    における複数のサブピクセル位置のそれぞれについて、
    単一ステージ補間で前記近似双三次フィルタを使用する
    ことをさらに備えることを特徴とする請求項１０に記載
    のコンピュータ可読媒体。
12. 【請求項１２】 前記少なくとも１つのステージは、前
    記２ステージ補間の両方のステージを含むことを特徴と
    する請求項１０に記載のコンピュータ可読媒体。
13. 【請求項１３】 前記複数のサブピクセル位置は、少な
    くとも１つの次元での１／４ピクセル位置であることを
    特徴とする請求項１０に記載のコンピュータ可読媒体。
14. 【請求項１４】 前記近似双三次フィルタは、双三次様
    の動作を有するが、純粋な双三次フィルタと異なるフィ
    ルタ係数および／または純粋な双三次フィルタより低い
    分解能を有することを特徴とする請求項１０に記載のコ
    ンピュータ可読媒体。
15. 【請求項１５】 前記近似双三次フィルタは、６４の合
    計を有するフィルタ係数を含むことを特徴とする請求項
    １０に記載のコンピュータ可読媒体。
16. 【請求項１６】 前記近似双三次フィルタは、−４、５
    ３、１８、および−３のフィルタ係数を有することを特
    徴とする請求項１０に記載のコンピュータ可読媒体。
17. 【請求項１７】 前記近似双三次フィルタは、４つのフ
    ィルタ係数を有することを特徴とする請求項１０に記載
    のコンピュータ可読媒体。
18. 【請求項１８】 近似双三次フィルタを使用して基準ビ
    デオフレームにおける１／４ピクセル位置でのピクセル
    値を計算する手段であって、前記近似双三次フィルタ
    は、双三次様の動作を有するが、純粋な双三次フィルタ
    より低い分解能を有する手段と、 前記基準ビデオフレームに関する動き補償を実行する手
    段とを備えることを特徴とするシステム。
19. 【請求項１９】 前記近似双三次フィルタは、６４の合
    計を有するフィルタ係数を含むことを特徴とする請求項
    １８に記載のシステム。
20. 【請求項２０】 前記近似双三次フィルタは、−４、５
    ３、１８、および−３のフィルタ係数を有することを特
    徴とする請求項１８に記載のシステム。