JP4299123B2 - 動き推定のための装置及び方法並びに斯かる動き推定装置が備えられた画像処理装置 - Google Patents

Description

本発明は、各々が第１の画像の各セグメントに対応する動きベクトルを発生する動き推定装置であって、前記セグメントの画素値と第２の画像の画素値との間の絶対差の加算によって前記セグメントの動きベクトルのマッチング誤差を計算するための第１の加算手段を有する動き推定装置に関する。

本発明は、更に、各々が第１の画像のセグメントに対応する動きベクトルを発生する方法であって、前記セグメントの画素値と第２の画像の画素値との間の絶対差の加算によって前記セグメントの動きベクトルのマッチング誤差を計算するための第１の加算ステップを有する方法に関する。

本発明は、更に、
-各々が第１の画像の各セグメントに対応する動きベクトルを発生し、前記セグメントの画素値と第２の画像の画素値との間の絶対差の加算によって前記セグメントの動きベクトルのマッチング誤差を計算するための第１の加算手段を有する動き推定装置、及び
-動き補償画像処理装置、を有する画像処理装置に関する。

冒頭に記載された種類の方法の実施例は、１９９３年１０月、５番、第３巻の３６８−３７９ページのビデオ技術の回路及びシステムに関するＩＥＥＥの議事録の、de Haan等による「３Ｄ再帰探索ブロックマッチングを用いた正確な動き推定」から既知である。

ビデオ信号処理における多くのアプリケーションでは、オプティカルフローとして知られる、画像のシーケンスの見かけの速度場を知る必要がある。このオプティカルフローは、時間とともに変化するベクトル場、即ち、画像当たり１ベクトル場として与えられる。引用記事では、この動きベクトル場は、画像をブロックに分割することによって推定される。各ブロックの候補動きベクトルの集合に対して、このブロックの候補動きベクトルから最も適切な動きベクトルを見つけるために、集合マッチング誤差が計算され最小の手続きで使用される。マッチング誤差は、ＳＡＤ、即ち、画像のブロックの中の画素と動きベクトルによってシフトする次の画像のブロックの画素との間の絶対輝度差の合計に対応する。

ここで、（ｘ，ｙ）はブロックの位置、（ｄｘ，ｄｙ）は動きベクトル、ｎは画像の番号、Ｎ及びＭはブロックの幅及び高さ、並びにＹ（ｘ，ｙ，ｎ）は画像ｎの位置（ｘ，ｙ）における画像の輝度の値である。

推定動きベクトルは正確な動きベクトルからずれるかもしれない、即ち、動きベクトル誤差があるかもしれない。ＳＡＤの値は相対的な量として比較時に使用することしかできない。計算されたＳＡＤは、動きベクトルの精度の信頼できる指標、即ち動きベクトル誤差を与えない。これは、先行技術による方法の欠点である。

本発明の第１の目的は、動きベクトル誤差を計算する、冒頭に記載された種類の動き推定装置を提供することにある。

本発明の第２の目的は、動きベクトル誤差が計算される、冒頭に記載された種類の方法を提供することにある。

本発明の第３の目的は、動きベクトル誤差を計算する、冒頭に記載された種類の画像処理装置を提供することにある。

本発明の第１の目的は、動き推定装置が、以下の手段を更に有することで達成される。
‐前記セグメントの画素値と前記第１の画像の画素値との間の絶対差の加算によって変化パラメータを計算するための第２の加算手段、及び
‐前記マッチング誤差を前記変化パラメータと比較することによって動きベクトル誤差を推定するための推定手段。
第２の加算手段によって、ブロック内の細部レベル（level of detail）の量である変化パラメータを計算することができる。ブロックはセグメントの形式である。不規則な形状のセグメント用の動き推定にもかなり共通している。本発明は不規則な形状のセグメントにも適用可能である。ブロック内がかなり細かい、即ち変化パラメータが相対的に高い値になる場合、マッチング誤差の値も相対的に高い値を有する。マッチング誤差の相対的に高い値と組み合わされる変化パラメータの相対的に低い値は、推定された動きベクトルが誤っているだろうということを示す。

本発明による動き推定装置の利点は、人が動きベクトルの値に関心を持つアプリケーションが存在するという理由により、動き推定装置が動きベクトル誤差を提供することである。例えば、動きベクトルが十分良好なものであれば、動きベクトルの改善を試みる時間を費やす必要がない。これによって、効率及びベクトル場の整合性（consistency）が改善される。予備のオプション又は発生するアーチファクト（artifact）がより少ない洗練されたアルゴリズムの使用時を決定するために、動きベクトル誤差は、動きベクトル場の包括的な質を推定するためにも有益である。オブジェクトのエッジの部分的な重なりを有するブロックを発見するために使用することもでき、そのブロックはより適切な方法で処理することができる。

関連するアイデアがＥＰ０５４９６８１Ｂ２に提案されており、この公報には、動きベクトルを求めるために少なくとも４つの画像上で動作する動き推定装置が記載されている。その特許明細書には、次の画像の画素の値との差をいわゆる勾配で割ることによって計算される割り当て誤差の最小化によって動きベクトルを推定することが提案されている。この勾配は二次差分の平方根をとることによって計算される。本発明による動き推定装置とＥＰ０５４９６８１Ｂ２に記載された動き推定装置との間の大きな差は、以下の通りである。

-本発明による動き推定装置の変化パラメータ及びマッチング誤差は、同等の量、即ち絶対差の和に基づく。ＥＰ０５４９６８１Ｂ２に記載された動き推定装置では、２つの異なる量、即ち、差及び二次差分の平方根が計算される。絶対差の和を２回使用する利点は、動きベクトル誤差が推定された動きベクトルの正確な動きベクトルからのずれについての定性的、更には定量的な情報を提供することができるということである。これを証明するための実験が行われた。これらの実験の結果は以下に図３乃至図７に関連させて記載される。絶対差の和を２回使用する別の利点は、計算が少なくなることである。

-変化パラメータは、本発明による動き推定装置において、全ての候補動きベクトルのマッチング誤差の規格化のために使用することができる。しかしながら、このことは、変化パラメータがセグメントの全ての候補動きベクトルに対して一定であるので、必要ではない。動きベクトル誤差は、推定された動きベクトルのみに対して（即ち候補動きベクトルの組のうちの１つのベクトルに対して）、その推定された動きベクトルが正確な動きの適切な値であるかどうかを決定するために計算されれば十分である。ＥＰ０５４９６８１Ｂ２に記載された動き推定装置では、全ての候補動きベクトルに対して規格化が行われる。

本発明による動き推定装置の実施例では、前記第２の加算手段が、
-前記セグメントの画素値と第１の方向に少なくとも１画素シフトし前記セグメントに対応した第２のセグメントの画素値との間の絶対差、及び
-前記セグメントの画素値と第２の方向に少なくとも１画素シフトし前記セグメントに対応した第３のセグメントの画素値との間の絶対差、
を加えることによって前記変化パラメータを計算するように設計され、前記第１の方向が前記第２の方向と交差する。

変化パラメータ変数の目的は、既知の動きベクトルのずれに起因する絶対差の和を予測することである。正確な動きベクトルが知られていないので、セグメントは、同じ画像内の僅かにずれた（即ちシフトした）セグメントと照合される。誤差の方向が知られていないので、２つの方向に渡る平均が用いられる。言い換えると、２つの量、即ちマッチング誤差と変化パラメータ（両方とも移動の量）を比較することによって、推定された動きベクトルと正確な動きベクトルとの間の差に関連する動きベクトル誤差を得ることが可能である。マッチング誤差は、次の画像との間でのブロックの移動に基づき、変化パラメータは１つの画像内のブロックの移動に基づく。変化パラメータを計算するためにブロックに適用されたシフト量は、統計学的に変化パラメータに関連している。変化パラメータを計算するためにブロックに適用されるシフトが増加する場合、変化パラメータも増加するという確率が相対的に大きい。変化パラメータの助けによって、マッチング誤差の値の分布を動きベクトル誤差の関数とみなすことができる。

本発明による動き推定装置の実施例の変形では、前記第２の加算手段が、前記セグメントの画素値と前記第１の方向に少なくとも１画素且つ前記第２の方向に少なくとも１画素シフトし前記セグメントに対応した第４のセグメントの画素値との間の絶対差も加えるように設計される。この実施例の利点は、動き推定装置の動作中に第１及び第２の方向に交差する方向も考慮されることである。

本発明による動き推定装置の実施例は、画素のブロックであるセグメントの動きベクトルを発生するよう設計される。画素のブロックに基づいた動き推定装置の利点は、その簡単な設計にある。本発明による動き推定装置の別の実施例は、不規則な形状のセグメントを取り扱うように設計される。

本発明による動き推定装置の実施例は、画素値として輝度値に基づいて前記セグメントの前記動きベクトルを発生するように設計される。輝度は動き推定に適した量である。本発明による動き推定装置の別の実施例はクロミナンス値で動作するように設計される。

本発明の第２の目的は、上記方法が更に以下のステップを有することによって達成される。

-前記セグメントの画素値と前記第１の画像の画素値との間の絶対差の加算によって変化パラメータを計算するための第２の加算ステップ、及び
-前記マッチング誤差を前記変化パラメータと比較することによって動きベクトル誤差を推定する推定ステップ。

本発明の第３の目的は、画像処理装置の動き推定装置が更に以下の手段を有することによって達成される。

-前記セグメントの画素値と前記第１の画像の画素値との間の絶対差の加算によって変化パラメータを計算するための第２の加算手段、及び
-前記マッチング誤差を前記変化パラメータと比較することによって動きベクトル誤差を推定するための推定手段。

画像処理装置の修正及びその変形は、その画像処理装置の記載される動き推定装置の修正及び変形に対応する。画像処理装置は付加的な要素、例えば、画像を表す信号を受け取るための受取手段、及び処理された画像を表示するための表示装置を有してもよい。動き補償画像処理装置は、以下の形式の画像処理の１つ以上をサポートすることができる。

−デインターレース：インターレースは、奇数又は偶数の番号の画像ラインに交互に伝送する共通のビデオ放送手続きである。デインターレースは、完全な垂直解像度を復元する、即ち各画像に対して奇数及び偶数のラインを同時に利用可能にしようとする。

-アップコンバージョン：元の一連の入力画像から、より大きな一連の出力画像が計算される。出力画像は、時間的に２つの元の入力画像の間に位置する。及び、
-時間的なノイズの低減、である。

本発明による動き推定装置、方法、及び画像処理装置のこれら及び他の態様は、以下に記載される実現例及び実施例並びに添付された図面を基準にして明らかになり、説明される。

対応する符号は全ての図において同じ意味を有する。

図１は動き推定装置１００の実施例を概略的に示し、この装置は、
-第１の画像１１８のセグメント１１６の１組の候補動きベクトルを発生するための発生手段１０２、
-セグメント１１６の画素値と第２の画像１２０の画素値との間の絶対差の加算によって、セグメント１１６の候補動きベクトルのマッチング歪みを計算するための第１の加算手段１０６、
-セグメント１１６の画素値と第１の画像１１８の画素値との間の絶対差の加算によって変化パラメータを計算するための第２の加算手段１０８、
-特定のマッチング誤差を変化パラメータと比較することによって動きベクトル誤差１３０を推定するための推定手段１１０、及び
-マッチング誤差に基づいて候補動きベクトルの集合から特定の動きベクトル１２６を選択するための選択手段１０４、を有する。

動き推定装置１００の入力は画像を有し、入力コネクタ１１２に与えられる。動き推定装置１００の出力は、セグメント（例えば１１６）の動きベクトルを有する動きベクトル場（例えば１２４）である。動き推定装置１００の出力は、出力コネクタ１１４に与えられる。動き推定装置１００の動作は、次の通りである。先ず、発生手段１０２が、セグメント１１６（例えば画素のブロック）に対して、一組の候補動きベクトルを生成する。次に、第１の加算手段１０６は、それらの候補動きベクトルに対して、マッチング誤差を計算する。次に、選択手段１０４が、マッチング誤差に基づいて、１組の候補動きベクトルから特定の動きベクトル１２６を選択する。この特定の動きベクトル１２６は、そのマッチング誤差が最も小さい値であるので選択される。第２の加算手段１０８は、セグメント１１６の変化パラメータを計算する。候補の組のうちの特定の動きベクトル１２６及び任意にいくつかの他の動きベクトルに対して、動きベクトル誤差（例えば１３０）がマッチング誤差及び変化パラメータに基づいて計算される。動きベクトル誤差（例えば１３０）は、正確な動きベクトル１２８とマッチング誤差を計算する際に使われる動きベクトル１２６との間の差分ベクトルの長さに対応する。動きベクトル誤差（例えば１３０）は選択手段１０４の入力である。特定の動きベクトル１２６の動きベクトル誤差１３０の値が所定のしきい値より小さい場合、特定の動きベクトル１２６がセグメント１１６に割り当てられる。選択手段１０４は、特定の動きベクトル１２６の動きベクトル誤差１３０の値が所定のしきい値よりも大きい場合、候補動きベクトルの新たな組を発生するように発生手段１０２をトリガする。選択手段１０４は、推定手段１１０によって、動きベクトル誤差が計算された動きベクトルも他のセグメントに対して適切な候補であるかどうかが知らされる。

第１の加算手段１０６によって計算されたマッチング誤差はＳＡＤ、即ち、画像の特定のブロックの画素と、動きベクトルによってシフトするその特定のブロックに対応する次の画像のブロックの画素との間の絶対輝度差の合計に対応する。

ここで、（ｘ，ｙ）はブロックの位置、（ｄｘ，ｄｙ）は動きベクトル、ｎは画像番号、Ｎ及びＭはブロックの幅及び高さ、並びにＹ（ｘ，ｙ，ｎ）は画像ｎの位置（ｘ，ｙ）における画素の輝度の値である。

第２の加算手段１０８によって計算される変化パラメータは、ＶＡＲ、即ち画像の特定のブロック内の画素と、同じ画像内のブロックの画素であるが所定の画素量シフトした画素との間の絶対輝度差の和に対応する。変化パラメータを規定するために、関数ＤＩＦＦが導入される。

ここで、やはりＮ及びＭはブロックの幅及び高さである。この関数について、即ち、式（２）の式（１）への代入により、ＳＡＤは以下のようになる。

変化パラメータＶＡＲは、次のように規定することができる。

これは、１画素の動きベクトル誤差に対するマッチング誤差ＳＡＤの期待値を与える。この場合、変化パラメータは、２つの異なる方向の平均に基づく。

変化パラメータを計算するもう一つの方法では、斜めの方向も考慮に入れる。

変化パラメータを計算するもう一つの方法は、より大きいシフト（例えば２画素）を使うことである。

シフトのサイズは、ブロックサイズに関係する。ＶＡＲ４は、他に比べて二倍不経済である。ＶＡＲ２は、ＶＡＲよりノイズに強い。

図２は、画像処理装置２００の構成要素を概略的に示す。この装置２００は、ある処理が実行された後表示されるべき画像を表す信号を受け取るための受取手段２０１を有する。信号は、アンテナ又はケーブルを通じて受け取られる放送信号とすることができるが、ＶＣＲ（ビデオカセットレコーダ）又はデジタルバーサタイルディスク（ＤＶＤ）のような記憶装置からの信号でもよい。この信号は入力コネクタ２０６に与えられる。

この装置２００は、図１に記載されているような動き推定装置１００、動き補償画像処理装置２０２、及び処理された画像を表示する表示装置２０４を有する。
動き補償画像処理装置２０２は、以下の形式の画像処理の１つ以上を任意にサポートする。

−デインターレース：インターレースは、奇数又は偶数の番号の画像ラインに交互に伝送する共通のビデオ放送手続きである。デインターレースは、完全な垂直解像度を復元する、即ち各画像に対して奇数及び偶数のラインを同時に利用可能にしようとする。

-アップコンバージョン：元の一連の入力画像から、より大きな一連の出力画像が計算される。出力画像は、時間的に２つの元の入力画像の間に位置する。及び、
-時間的なノイズの低減、である。
動き補償画像処理装置２０２は、その入力として画像及び動きベクトルを必要とする。

変化パラメータＶＡＲ、マッチング誤差ＳＡＤ、及び動きベクトル誤差ＶＥの関係を調査するために実験が行われた。これらの実験に基づいて、これらの関係を考える仮説を採用する。第１に、ＶＥ及びＶＡＲを従属変数とし、ＳＡＤを独立変数とした。第２に、ＳＡＤ及びＶＡＲを従属変数とし、ＶＥを独立変数とした。後者の関係は、最も妥当性がある。それは、動きベクトルを適切にし、動きベクトル誤差を或る程度定量化することさえも可能である。結果として、推定された動きベクトルを次のように分類することができる。

-推定された動きベクトルは正確な動きベクトルに実質的に等しい。即ち、ＳＡＤ＜ａ＊ＶＡＲ（ａは所定の小さな数）である。

-推定された動きベクトルは、正確な動きベクトルからおよそｅ個の画素だけずれる。即ち、動きベクトル誤差のサイズはおよそｅ個の画素に等しい。これは、動きベクトル誤差の値の範囲が、例えば０≦ｅ≦３の画素であることを示している。即ち、ＳＡＤ＞ｂ，（３／５）ＳＡＤ／ＶＡＲ＜ｅ［画素］（ｂはある所定の小さなしきい値）である。

-推定された動きベクトルは正確な動きベクトルに実質的に等しくない。即ち、ＳＡＤ＞ｂ，（３／５）ＳＡＤ＞３＊ＶＡＲである。

-推定された動きベクトルと正確な動きベクトルとの間の差が未知である。即ち残りの場合である。

実験の準備は次の通りであった。連続するある数の単純な動き（即ち、オクルージョン（occlusion）が無い又はほとんど無い）の画像に対して、従来技術の３ＤＲＳ動き推定装置は、高い精度（即ち、０．２５個の画素）に収斂して使用された。サブ画素の精度を得るために、双線形補間法が使われた。推定された動きベクトルは、「正確な」動きベクトルに一致した。次に、「正確な」ベクトルを任意の方向に一定量だけ移動した。言い換えると、「正確な」動きベクトルは動きベクトル誤差に適合した。次に、結果として生じる動きベクトルに対応するＳＡＤの値を、対ＶＡＲの値で２次元ヒストグラムに示した。実験的に、一定のＶＥ及びＶＡＲに対して、ＳＡＤ値の分布はガウス分布によって十分に近似することができることが判明した。このことは、任意のＶＡＲ、及び０乃至約３個の画素の範囲内のＶＥに対してあてはまるように思われる。Ｎ＝Ｍ＝８のブロックサイズの画素が使われた。図３は、１５００の一定のＶＡＲ及び１画素のＶＥに対し、実験で使用されたテストシーケンスに対するＳＡＤ値のヒストグラムを、最良のガウシアンフィットと一緒に示す。実験の結果に基づいて、一定のＶＥ及びＶＡＲに対して、ＳＡＤ値の分布がガウス分布によって十分に近似される仮説が採用される。

これは、以下に与えられる確率密度関数を伴なう。

μ及びσのＶＡＲ及びＶＥ依存性は、最小２乗法による２次元ヒストグラムの１次元スライスのガウシアン曲線への当てはめにより分析された。μ及びσのＶＡＲに対する線形依存性の比例定数は明らかにＶＥに依存する。これらの定数は、ＶＥ＝０、０．５、１、１．５の、２及び３個の画素に対して推定された。０≦ＶＥ≦３の画素の範囲では、ＶＡＲの関数としてのμの依存性は非常に正確な線形であり、一方、σのＶＡＲ依存性は、ＶＥが大きくなるとき線形依存からずれ始める。線形依存性は、約ＶＥ＝３画素までは妥当な近似のようである。ＶＥ＝０に対して、結果として生じるＶＡＲの関数としての測定値が図４Ａ及び図４Ｂにプロットされている。
図４Ａは、テストシーケンスに対して、ＶＥ＝０に対するＶＡＲの関数としてのμの依存性を示し、図４Ｂは、テストシーケンスに対して、ＶＥ＝０に対するＶＡＲの関数としてのσの依存性を示す。このラインは、残留ＳＡＤに対応して、ＶＥ＝０に対しても原点を通らないことに注意されたい。これにはいくつかの理由がある。即ち、「正確な」動きフィールド内のベクトル誤差、０．２５画素のベクトル精度、及びサブ画素の補間誤差の３つが挙げられる。図５Ａは、テストシーケンスに対して、ＶＥ＝１に対するＶＡＲの関数としてのμの依存性を示し、図５Ｂは、テストシーケンスに対して、ＶＥ＝１に対するＶＡＲの関数としてのσの依存性を示す。

図６に、μ＝αＶＡＲの比例定数αのＶＥ依存性が示されている。ＶＥ依存性は、０≦ＶＥ≦３の画素の範囲ではほぼ線形である。最小自乗法による当てはめ（least
square fit）により以下の式が得られる。
μ＝（0.7＋1.5ＶＥ）ＶＡＲ （９）
σ＝（0.2＋0.5ＶＥ）ＶＡＲ （１０）
これは、σ＝μ／３に簡略化することができる。

従って、与えられたＶＥ及びＶＡＲに対するＳＡＤ値の条件つき確率分布が得られた。与えられたＶＡＲ及びＶＥに対して、ＳＡＤは以下の確率分布に従って分布する。

ここで、

上には、ＳＡＤがどのようにして独立変数ＶＥ及びＶＡＲに依存するのかが記載されている。本発明による動き推定装置では、ＳＡＤ及びＶＡＲを直接計算することができる。次に、ＳＡＤ及びＶＡＲに基づいてＶＥをどのようにして推定することができるかについて記載されている。ベイズの規則を使って、与えられたＳＡＤ及びＶＡＲに対するＶＥの確率分布を計算することができる。

従来はＶＥ分布に関して何も知られていないので、均一な分布が選択される。関連する画素の範囲は０から３画素であり、０≦ｅ≦３の場合Ｐ（ＶＥ＝ｅ｜ ＶＡＲ＝ν）＝１／３であり、それ以外であれば０である。実験の結果は、期待されたＳＡＤがＶＡＲに対して直線的に比例することを示した。従来では何も知られていないので、０≦ｘ≦ｃνの場合Ｐ（ＳＡＤ＝ｘ｜ ＶＡＲ＝ν）＝１／ｃνが選択され、それ以外では０が選択される。ここで、ｃは任意の相対的に大きいスケーリング係数である。これによって以下の式が得られる

図７では、確率密度関数がいくつかのｘ／νの値に対してプロットされている。これらの分布に従うＶＥの期待値Ｅ（ＶＥ）及び標準偏差ＳＤ（ＶＥ）は、表１に示されている。

これらの結果は、実用的な範囲では、以下の式で要約することができる。

式（１４）を用いて、変化パラメータＶＡＲ及びマッチング誤差ＳＡＤの値が既知の場合、動きベクトル歪みの期待値を推定することができる。式（１４）は表１に示されている範囲に対して成り立つ。実際には、式（１４）がノイズの影響を受けにくくするため、及びゼロの分割を避けるために、小さな数がＶＡＲに加算されることに注意されたい。上に概略が記された分析は、上記の大きさＶＡＲ４及びＶＡＲ２に対しても実行された。結果は、非常に類似していた。

上記の実施例は本発明を限定的に示しているのではなく、しかも当業者は添付された請求項の範囲から逸脱することなく別の実施例を設計することができることに注意されたい。「有する」という単語は、請求項に列挙されていない要素又はステップの存在を排除しない。要素が単数形で記載されていることは、斯かる要素の複数の存在を排除しない。本発明は、いくつかの別個の要素を有するハードウェア及び適切にプログラムされたコンピュータによって実現することができる。いくつかの手段が列挙されている装置の請求項では、これらの手段のいくつかは、同一のハードウェアの製品で実現することができる。

動き推定装置の実施例を概略的に示す。 画像処理装置の実施例を概略的に示す。 １５００の一定のＶＡＲ及び１画素のＶＥの実験で使用されたテストシーケンスに対するＳＡＤ値のヒストグラムを、最良のガウシアンフィットと一緒に示す。 テストシーケンスに対して、ＶＥ＝０に対するＶＡＲの関数としてのμの依存性を示す。 テストシーケンスに対して、ＶＥ＝０に対するＶＡＲの関数としてのσの依存性を示す。 テストシーケンスに対して、ＶＥ＝１に対するＶＡＲの関数としてのμの依存性を示す。 テストシーケンスに対して、ＶＥ＝１に対するＶＡＲの関数としてのσの依存性を示す。 テストシーケンスに対して、以下の式

の比例定数αのＶＥ依存性を示す。
種々の値ｘ／νに対するｅの関数としてのＰ（ＶＥ＝ｅ｜ＳＡＤ＝ｘ，ＶＡＲ＝ν）のプロットを示す。

Claims (12)

1. 各々が第１の画像の各セグメントに対応する動きベクトルを発生する動き推定装置であって、前記動き推定装置が、前記セグメントの画素値と第２の画像の画素値との間の絶対差の加算によって前記セグメントの動きベクトルのマッチング誤差を計算するための第１の加算手段を有し、
   前記動き推定装置が、更に、
   前記セグメントの画素値と前記第１の画像の少なくとも１つの更なるセグメントであって所定の画素量シフトした更なるセグメントの画素値との間の絶対差の加算によってパラメータを計算するための第２の加算手段、及び
   前記マッチング誤差を前記パラメータと比較することによって動きベクトル誤差を推定するための推定手段
   を有する動き推定装置。
2. 前記第２の加算手段が、
   前記セグメントの画素値と第１の方向に少なくとも１画素シフトし前記セグメントに対応した第２のセグメントの画素値との間の絶対差、及び
   前記セグメントの画素値と第２の方向に少なくとも１画素シフトし前記セグメントに対応した第３のセグメントの画素値との間の絶対差、
   を加えることによって前記パラメータを計算するように設計され、前記第１の方向が前記第２の方向と交差する請求項１に記載の動き推定装置。
3. 前記第２の加算手段が、前記セグメントの画素値と前記第１の方向に少なくとも１画素且つ前記第２の方向に少なくとも１画素シフトし前記セグメントに対応した第４のセグメントの画素値との間の絶対差も加えるように設計された請求項２に記載の動き推定装置。
4. 前記セグメントの前記動きベクトルを発生するよう設計され、前記セグメントが画素のブロックである請求項１に記載の動き推定装置。
5. 画素値として輝度値に基づいて前記セグメントの前記動きベクトルを発生するように設計されている請求項１に記載の動き推定装置。
6. 請求項１〜５のいずれかに記載の動き推定装置と、
   動き補償画像処理装置と、
   を有する画像処理装置。
7. 前記動き補償画像処理装置が第１の画像のノイズを低減するように設計された請求項６に記載の画像処理装置。
8. 前記動き補償画像処理装置が前記第１の画像をデインタレースするように設計された請求項６に記載の画像処理装置。
9. 前記動き補償画像処理装置がアップコンバージョンを実行するように設計された請求項６に記載の画像処理装置。
10. 各々が第１の画像のセグメントに対応する動きベクトルを発生する方法であって、前記セグメントの画素値と第２の画像の画素値との間の絶対差の加算によって前記セグメントの動きベクトルのマッチング誤差を計算するための第１の加算ステップを有し、前記方法が、更に、
    前記セグメントの画素値と前記第１の画像の少なくとも１つの更なるセグメントであって所定の画素量シフトした更なるセグメントの画素値との間の絶対差の加算によってパラメータを計算するための第２の加算ステップ、及び
    前記マッチング誤差を前記パラメータと比較することによって動きベクトル誤差を推定するための推定ステップ
    を有する方法。
11. 前記第２の加算ステップにおいて、
    前記セグメントの画素値と第１の方向に少なくとも１画素シフトし前記セグメントに対応した第２のセグメントの画素値との間の絶対差、及び
    前記セグメントの画素値と第２の方向に少なくとも１画素シフトし前記セグメントに対応した第３のセグメントの画素値との間の絶対差、
    を加えることによって前記パラメータが計算され、前記第１の方向が前記第２の方向と交差する請求項１０に記載の方法。
12. 前記第２の加算ステップにおいて、前記セグメントの画素値と前記第１の方向に少なくとも１画素且つ前記第２の方向に少なくとも１画素シフトし前記セグメントに対応した第４のセグメントの画素値との間の絶対差も加えられる請求項１１に記載の方法。

Images