JP2003533800A - Ｍｃアップコンバージョンにおけるハローを低減する動き推定器 - Google Patents

Abstract

(57)【要約】 前の画像と後の画像の間の時間的な中間位置で動きを検出する装置は、候補ベクトルの規準関数を最適化する最適化手段（１）を有し、これにより、規準関数は、前の画像と後の画像の両方の画像からのデータに依存する。動きは、ノンカバリング領域及びノンアンカバリング領域内の時間的な中間位置で検出される。本発明による装置は、カバリング領域及びアンカバリング領域を検出する手段（２）を有し、最適化手段がカバリング領域内の次の画像の時間的な位置と、アンカバリング領域内の前の画像の時間的な位置とで最適化を行なうよう構成される。

Description

【発明の詳細な説明】

【０００１】 本発明は、前の画像と後の画像の両方の画像からのデータに依存する候補ベク
トルの規準関数が、ノンカバリング領域及びノンアンカバリング領域内の時間的
な中間位置で最適化される、前の画像と後の画像の間の時間的な中間位置で動き
を検出する方法に関する。

【０００２】 本発明は、ビデオシーケンスから二つの連続した画像間の動きを推定する推定
器は、カバリグ又はアンカバリングが生じる領域では、典型的に情報が二つの画
像のうちの何れか一方だけで生じるので、巧く動作し得ないという基本的な問題
の考察を鑑みてなされた。ブロック照合器は、正確なベクトルに対しても、常に
、大きい照合誤差を生じる。

【０００３】 本発明の目的は、上記問題を、特に、前の画像及び／又は後の画像からのベク
トル場を計算する際に生じる一般的な問題を、解決することである。

【０００４】 本発明によれば、上記目的は、最適化がカバリング領域内の後の画像の時間的
な位置と、アンカバリング領域内の前の画像の時間的な位置とで行なわれること
により達成される。

【０００５】 さらに、本発明は、前の画像と後の画像の間で動きを検出する装置に関する。
この装置は、候補ベクトルの規準関数を最適化する最適化手段を有し、規準関数
は前の画像と後の画像の両方の画像からのデータに依存し、最適化は、ノンカバ
リング領域内及びノンアンカバリング領域内の時間的な中間位置で行なわれ、カ
バリング領域又はアンカバリング領域を検出する手段が設けられ、最適化は、カ
バリング領域内の次の画像の時間的な位置と、アンカバリング領域内の前の画像
の時間的な位置とで行なわれる。

【０００６】 本発明による方法及び装置の実施例は、従属請求項に記載される。

【０００７】 以下、添付図面を参照して本発明を詳細に説明する。

【０００８】 本発明は、種々の技術分野へ適用される。たとえば、画像レート変換に適用し
た場合、本発明によって改良されたベクトル場は、感じの良い、アーティファク
トを含まないビデオストリームを生成する。このアプリケーションに対する典型
的な装置は、テレビ（ＴＶ）とパーソナルコンピュータ（ＰＣ）である。

【０００９】 ３次元不均衡解析では、画像がカメラをロールすることによって、或いは、ロ
ールするシーンから生成される。

【００１０】 動きに基づく画像圧縮では、本発明により改良されたベクトル場が対象をより
忠実に抽出し、これにより、たとえば、監視カメラのビデオ解析、ビデオ特殊効
果、及び、通行解析などの後処理を容易化する。

【００１１】 たとえば、背景のボケの回避のようなテレビ技術における画像強調にも適用さ
れる。

【００１２】 科学的なアプリケーションとしては、本発明により改良されたベクトル場は、
より優れたデータ解析、たとえば、雲や海洋の衛星写真などを可能にする。

【００１３】 カバリング（被覆型）の場合、現在画像内の全ての情報は先行画像内に存在し
、アンカバリング（暴露型）の場合、アンカバリング領域で、現在画像は先行画
像の全ての情報を含む（アンカバリング領域の周辺で局所的）。そのため、たと
えば、国際公開特許WO00/11863に記載されているように、カバリング／アンカバ
リング検出器によって制御されるマッチ誤差計算を、現在画像と動き補償された
先行画像とのマッチング（カバリング）から、先行画像と動き補償された現在画
像とのマッチング（アンカバリング）へ修正することにより、推定器内の曖昧さ
が阻止される。これにより、非常に正確で、かつ、一貫したベクトル場が得られ
ることが期待され、その結果として、ハローが減少する。この修正については、
後述する。

【００１４】 このマッチ計算の動的な修正の副作用として、曖昧さのないベクトル場は、あ
る瞬間に有効ではなくなり、まして、アップコンバージョンが行なわれる瞬間は
有効ではなくなるが、この「有効な瞬間」は、着目中の領域がカバリングである
か、アンカバリングであるか、或いは、単なる不動領域であるかに応じて変化す
る。この作用は、後述するように、本発明の第２の要素によって軽減される。

【００１５】 次に、図１を参照して、動きベクトルを計算するため、全探索型ブロックマッ
チング動き推定アルゴリズムを使用する改良型動きベクトル計算を説明する。こ
のアルゴリズムは、動き推定問題に関して、最も費用効果の高いアプローチでは
ないが、比較的費用効果の高いアプローチである。同じ原理は、文献：G. De Ha
an, P.W.A.C. Biezen, H. Huygen and O.A. Ojo, "True Motion Estimation wit
h 3-D Recursive Search Block-Matching", IEEE Tr. on Circuits and Systems
for Video Technology, vol.3, October 1993, pages 368-388、並びに、文献
：G. De Haan and P.W.A.C. Biezen, "Sub-Pixel motion estimation with 3-D
recursive search block-matching", Signal Processing: Image Communication
6 (1994), pages 220-239に記載されている。

【００１６】 ブロックマッチング動き推定アルゴリズムの場合、変位ベクトルは、先行画像
ｎ−１において、

【００１７】

【数３３】 を中心とする探索領域

【００１８】

【数３４】 内で類似ブロックを探索することにより、現在画像ｎ内の画素のブロック

【００１９】

【数３５】 の中心

【００２０】

【数３６】 に割り当てられる。類似ブロックは、

【００２１】

【数３７】 に対して、変位ベクトル

【００２２】

【数３８】 だけシフトした中心を有する。この変位ベクトル

【００２３】

【数３９】 を見つけるため、多数の候補ベクトル

【００２４】

【数４０】 が、ブロック類似度を定量化する誤差測度

【００２５】

【数４１】 を適用することにより推定される。より形式的に表わすと、ＣＳ^ｍａｘは、前の
画像の探索領域

【００２６】

【数４２】 内で、

【００２７】

【数４３】 に関して、起こり得る全ての変位（通常、整数である）を記述する候補

【００２８】

【数４４】 の集合として定義される。

【００２９】

【数４５】 式中、Ｎ及びＭは、

【００３０】

【数４６】 を制限する定数である。

【００３１】

【数４７】 に中心が置かれ、サイズがＸ×Ｙであるブロック

【００３２】

【数４８】 は、現在画像ｎ内の画素位置

【００３３】

【数４９】 により構成され、

【００３４】

【数５０】 ブロックマッチング処理から生じた変位ベクトル

【００３５】

【数５１】 は、誤差関数

【００３６】

【数５２】 の最小値を与える候補ベクトル

【００３７】

【数５３】 である。

【００３８】

【数５４】 一般的に、最小マッチング誤差に関するベクトル

【００３９】

【数５５】 が、中心画素だけではなく、ブロック

【００４０】

【数５６】 の全画素位置ｘに割り当てられた場合、すなわち、

【００４１】

【数５７】 であるならば、計算回数の大幅な削減が実現される。

【００４２】 暗黙的に、連続したブロック

【００４３】

【数５８】 は、重なり合わない。所与の候補ベクトル

【００４４】

【数５９】 に対する誤差値は、現在ブロック内の画素の明度値と、先行画像からのシフトし
たブロック内の画素の明度値との関数を、ブロック

【００４５】

【数６０】 の全体で総和したものである。一般的に選択され、本例でも使用される関数は、
絶対値の差の和（ＳＡＤ）である。

【００４６】

【数６１】 式中、αは、０≦α≦１なる定数であり、二つの画像間で、ベクトル場が有効で
なければならない時間的な位置を決める。

【００４７】 図２は、起こり得る全ての基準位置０≦α≦１に対し生じる状況をより明瞭に
示す。上側の線ａが、時間域で移動するフォアグラウンド対象物のエッジの位置
に対応する場合を考える。未来の画像において、速度ベクトルのエッジ位置Ｘ_Ｅ （動きベクトルが有意な空間的な変化を示す位置）の何れかの側で正確なフォア
グラウンド又はバックグラウンド速度を見つける。しかし、基準位置αを通過し
た画像の方へ動かすのに伴って、曖昧さの領域が拡大し、映像化によって正確な
ベクトルを検出することが不可能である。全ての候補ベクトルは、大きいＳＡＤ
値をとるので、最小化は、得られたベクトル場が殆ど訂正できないということを
意味するある一定の候補をランダムに選択する。

【００４８】 同様に、図３から、アンカバリング領域に関して、基準位置αを０としたとき
、曖昧さのない動き推定が得られることがわかる。すなわち、未来から過去へブ
ロックが投影される。変更できない動きの場合、基準位置を中程度にしたとき（
たとえば、αが０．５であるとき）、誤差は生じない。領域がカバリング領域で
あるか、又は、アンカバリング領域であるかは、先に計算されたベクトル場にお
けるベクトルエッジＸ_Ｅの何れかの側で獲得された動きベクトルのｘ成分の差の
符号に基づいて決定することができる。

【００４９】 本発明は、たとえば、カバリング領域の場合に、未来の画像におけるオクルー
ジョン領域内、若しくは、オクルージョン領域周辺に存在する全画素は、過去の
画像内で見つけることができるが、しかし、過去の画像には、未来の画像中では
カバーされているために未来の画像に存在しない余分なブロックが存在する、と
いう点に着眼している。ブロックマッチング用の基準位置αを置くための自然な
位置は、未来の画像の時間的な位置である。なぜならば、オクルージョン領域の
内部及び周辺における全てのブロックに対して、正確な動きベクトルを実際に見
つけることができるからである。

【００５０】 本発明によって提案される改良点は、カバリングが生じる領域において、正確
な動きベクトルは、α＝１を使用する推定器だけによって推定することができる
、という点の考察によって得られる。同様に、アンカバリングに関して、正確な
ベクトルは、α＝０を使用する推定器だけによって推定される、 中間的な時間的瞬間に対するベクトルを計算する動き推定器は、最悪の状況で
、曖昧さの領域が両端の時間的瞬間に対する推定器よりも小さくなるので、カバ
リングとアンカバリングの両方に関して困難を伴う。最悪の状況の曖昧さは、α
＝０．５を適用する推定器の場合に最小になる。図２及び３は、曖昧さの領域の
サイズに対するαの効果を示す。

【００５１】 第１のステップは、式（５）を次式のように修正することによって、補間画像
に対し要求されるαの値とは無関係に、カバリング状況及びアンカバリング状況
に対するブロックマッチング器を改良する。

【００５２】 カバリング領域に対して、たとえば、引用文献WO/11863に記載されているカバ
リング／アンカバリング検出器によって示されるように、式（５）を次式のよう
に修正する。

【００５３】

【数６２】 また、アンカバリング領域に対しては、式（５）を式（７）のように修正する
。

【００５４】

【数６３】 ノンオクルージョン領域では、たとえば、α＝０．５とし、過去の画像及び未
来の画像の両方向から基準ブロック位置へブロックを投影し、時間的な位置での
補間画像でそれらを比較する。カバリングブロックでは、α＝１とし、未来の画
像内で元の位置にあるブロックを、候補ベクトルを用いて過去の画像から取り出
されたブロックと比較する。画像のアンカバリング領域では、α＝０をとり、過
去の画像のブロックを、未来の画像からのブロックとマッチングする。

【００５５】 オクルージョン、又は、より特定的なカバリング領域及びアンカバリング領域
は多数の方法で検出できる。

【００５６】 カバリング／アンカバリング検出器は、先行ベクトル場、或いは、現在ベクト
ル場の先行計算（反復法）を使用するか、又は、近傍画像間で計算されたマッチ
誤差の推定に基づく方法を使用する。

【００５７】 好ましいカバリング／アンカバリング検出器は、速度の符号を調べる。近傍の
速度が互いの方へ向かうとき、カバリングが生じている筈である。それ以外の場
合には、状況に応じて解析され、以下のようにまとめることができる。

【００５８】 Ｖ_Ｕ−Ｖ_Ｄ＞δ（カバリング） Ｖ_Ｕ−Ｖ_Ｄ＜−δ（アンカバリング） ここで、Ｖ _Ｕ は速度エッジＸ_Ｅであり、Ｖ_Ｄはエッジより下の速度であり、δは
、検出結果にノイズが含まれるのを避けるための小さい定数である。この方法は
、ベクトルの特定の数値に依存していないので、非常にロバスト性を備えている
。常に、エッジの何れかの側で多少正確なベクトル値を得ることができ、たとえ
、値が不正確であるとしても、その差を訂正することが可能である。第２に、カ
バリング及びアンカバリングの推定は、フォアグラウンドＦＧ領域において、す
なわち、曖昧さのある三角形の外側で、従来の推定（式７）と同様に動作するの
で、予測エッジの周りの大きいバンドは「保護」されている。これにより、エッ
ジＸ_Ｅの位置の変動に対するロバスト性が得られる。

【００５９】 αを０又は１に切り換えることによって、最小化によって不正確なベクトルが
生じることはないという利益が得られるが、獲得されたベクトルは必ずしも正確
なブロック位置にあるとは限らない、という不利益を伴う。たとえば、フォアグ
ラウンドＦＧエッジ（ベクトルがバックグラウンドＢＧからフォアグラウンドＦ
Ｇ速度へ変化するブロック位置）は、その本当の位置Ｕではなく、位置Ｘ_Ｅで検
出される（図２及び３を参照のこと）。その理由は、マッチングの時点が正確で
はなかったためである（たとえば、α＝０．５ではなく、α＝０）。

【００６０】 実際上、獲得されたベクトル場は、単一の時点では有効ではないが、画像内の
位置に依存して、三つの異なる時点では有効である。そのため、この方法は、「
３時点動き推定器(tritemporal motion estimator)」と呼ばれる。一般的に、ベ
クトル場は、所望の中間位置（たとえば、α＝０．５）へ時間修正する必要があ
る。フォアグラウンドＦＧ対象物が静止し、バックグラウンドＢＧがフォアグラ
ウンドの裏側で動作する特別のシーケンスの場合には、フォアグラウンドＦＧエ
ッジが移動しないので、時間的ベクトル場の時間修正は不要である。

【００６１】 本発明による修正の結果として、ベクトル場が有効である正確な時点は犠牲と
なるが、動き評価器の曖昧さは無い。

【００６２】 このアルゴリズムの第２のステップの再タイマーでは、時間誤差を訂正する。
このため、ベクトル場は、所望の時点へ投影され、カバリングの場合には、時間
的に、

【００６３】

【数６４】 へ後方投影され、アンカバリングの場合には、

【００６４】

【数６５】 へ前方投影される。

【００６５】 この投影は、曖昧な領域、すなわち、ベクトルが割り当てられていない領域を
再導入する。この曖昧さの原因は、１回の推定では、たとえば、不連続性の上方
の位置

【００６６】

【数６６】 から獲得されたベクトルがアンコンバージョンベクトル場内のこの位置に置かれ
るべきバックグラウンドベクトルであることが自明ではないため、不連続性が図
２の線ａに沿って移動したのか、線ｂに沿って移動したのかがわからない、とい
う点にある。しかし、先行ベクトル場を使用することにより、エッジが二つの可
能なベクトルのうちの何れのベクトルによって移動したかを判断することが可能
であり、どちらがバックグラウンド速度であり、どちらがフォアグラウンド速度
であるかを判断することが可能である。

【００６７】 再タイマーは、以下の動作を実行し、再タイミング（時間変更）を行うべきか
どうかを判定する。再タイマーは、速度エッジＸ_Ｅを探し、このエッジの周囲で
十分に広いオクルージョン領域にマークを付ける。次に、再タイマーは、フォア
グラウンドＦＧ速度をブロック精度へ丸めることによって、厳密に訂正されるべ
きブロックの数を計算する。そして、再タイマーは、どの再タイマー訂正動作を
適用すべきかを判定する。

【００６８】 さらに、再タイマーは、曖昧さのないベクトル場内のベクトルエッジ

【００６９】

【数６７】 からのフォアグラウンド速度を投影することにより、時点ｎ−１＋αのベクトル
場内で曖昧領域の開始位置

【００７０】

【数６８】 を判定する。中間的なベクトル場内のエッジの位置

【００７１】

【数６９】 が一つのベクトル場からの推定値をシフトした結果ではなく、現在ベクトル場及
び先行ベクトル場における位置の（αによる）加重平均として計算された場合に
、僅かな改良が行われる。次に、再タイマーは、フォアグラウンド領域が、

【００７２】

【数７０】 の左側と右側のどちら側にあるか、並びに、フォアグラウンド速度の符号に依存
して、フォアグラウンド速度又はバックグラウンド速度を用いて、

【００７３】

【数７１】 と

【００７４】

【数７２】 の間の空間を埋める。この戦略を動作させるためには、ロバスト性を備えたフォ
アグラウンド／バックグラウンド判定戦略が必要である。

【００７５】 以下の１．から３．に依存して、８種類の再タイマーの状況が存在する。 １．カバリング対アンカバリング ２．フォアグラウンドＦＧ速度の符号 ３．速度エッジＸ_Ｅのどちら側にフォアグラウンドＦＧが存在するか。 これは、図４に、中間画像に対しα＝０．５として示されている。

【００７６】 図４の一番左の上部分は、カバリングの状況に関連する。エッジの下側がフォ
アグラウンドＦＧであり、フォアグラウンド速度はＶ_ＦＧ＜０である。この状況
では、二つのフォアグラウンドＦＧのブロックがバックグラウンドＢＧブロック
によって置き換えられる（ＢＧを埋める）。図４の次の上部分は、フォアグラウ
ンドＦＧ速度がＶ_ＦＧ＞０であり、エッジの下側がフォアグラウンドＦＧである
、カバリングの状況に関する。一つのバックグラウンドＢＧブロックだけがフォ
アグラウンドＦＧブロックによって置き換えられる（フォアグラウンドＦＧを埋
める）。図４の３番目の上部分は、アンカバリングの状況に関連し、フォアグラ
ウンド速度はＶ_ＦＧ＜０であり、エッジの下側にフォアグラウンドＦＧがある。
この場合、一つのバックグラウンドＢＧブロックだけが一つのフォアグラウンド
ＦＧブロックによって置き換えられる（フォアグラウンドＦＧを埋める）。図４
の４番目の上部分は、フォアグラウンド速度がＶ_ＦＧ＞０であり、エッジの下側
にフォアグラウンドＦＧがある、アンカバリング状況に関連する。この場合、一
つのフォアグラウンドＦＧブロックだけがバックグラウンドＢＧブロックによっ
て置き換えられる（バックグラウンドＢＧを埋める）。図４の一番左の上部分は
、カバリングの状況に関連し、フォアグラウンドＦＧ速度は、Ｖ_ＦＧ＜０であり
、エッジの下側にはバックグラウンドＢＧがある。一つのバックグラウンドＢＧ
ブロックだけがフォアグラウンドＦＧブロックによって置き換えられるべきであ
る（フォアグラウンドを埋める）。図４の２番目の下部分は、カバリング状況に
関連し、フォアグラウンド速度はＶ_ＦＧ＞０であり、エッジの下側はバックグラ
ウンドＢＧである。一つのフォアグラウンドＦＧブロックだけがバックグラウン
ドＢＧブロックによって置き換えられる（バックグラウンドＢＧを埋める）。図
４の３番目の下部分は、アンカバリング状況に関連し、フォアグラウンド速度は
Ｖ_ＦＧ＜０であり、エッジの上側にはフォアグラウンドＦＧがある。この場合、
一つのフォアグラウンドＦＧブロックがバックグラウンドＢＧブロックによって
置き換えられる（バックグラウンドＢＧを埋める）。図４の４番目の下部分は、
アンカバリング状況に関連し、エッジの上側にフォアグラウンドＦＧがあり、フ
ォアグラウンド速度はＶ_ＦＧ＞０である。この場合、一つのバックグラウンドＢ
ＧブロックはフォアグラウンドＦＧブロックによって置き換えられる（フォアグ
ラウンドＦＧを埋める）。図４の例の場合、中間画像はｎ＋１／２であるが、明
らかに、中間画像は、先行画像から距離αだけ離れ、αは可変であることに注意
する必要がある。

【００７７】 再タイマーは、対象物エッジの周辺の速度の中でフォアグラウンドとバックグ
ラウンドを区別する必要がある。先行動きベクトル場を用いることにより、フォ
アグラウンドに属する対象物領域若しくは速度と、バックグラウンドに属する対
象物領域若しくは決定することができる。バックグラウンドブロックは、階調値
画素と、関連した速度ベクトルが共にカバリング状況下で消えるブロックである
。フォアグラウンド／バックグラウンド検出器は、画素ベースの測定量よりも簡
単で、非常に信頼性の高い測定量を与えるので、フォアグラウンド／バックグラ
ウンド検出器におけるベクトルの対応関係が使用される。

【００７８】 図５に示されている、第１の戦略である平均フォアグラウンド／バックグラウ
ンド判定において、ベクトル

【００７９】

【数７３】 が、カバリングの場合には先行ベクトル場からバックグラウンド速度を取り出し
、アンカバリングの場合にはフォアグラウンド速度を取り出す、という事実を利
用する。ここで、ｋは１よりも小さく、

【００８０】

【数７４】 及び

【００８１】

【数７５】 は、位置

【００８２】

【数７６】 におけるフォアグラウンド対象物の速度及びバックグラウンド対象物の速度であ
る。使用する際に最も安全なベクトルは、平均ベクトル

【００８３】

【数７７】 である。より厳密に説明すると、カバリングの場合に、先行画像ペア内でエッジ
の二つの実現可能な候補

【００８４】

【数７８】 及び

【００８５】

【数７９】 を計算する。たとえば、カバリングの場合に、ベクトル場ｎ内で、位置

【００８６】

【数８０】 における垂直エッジに対して、

【００８７】

【数８１】 であり、曖昧領域内の先行ベクトル場（カバリング）で中間位置に存在するベク
トルを取る。

【００８８】

【数８２】 補間ベクトル場の曖昧領域にフォアグランドベクトルを埋める場合には、

【００８９】

【数８３】 と

【００９０】

【数８４】 の間で、

【００９１】

【数８５】 とは最も異なるベクトルを選択する。

【００９２】 この第１の戦略の変形では、アンカバリングの場合に、未来（後続）ベクトル
場からバックグラウンドベクトルを取り出す。

【００９３】

【数８６】 ここで、

【００９４】

【数８７】 である。

【００９５】 第２の戦略（図６を参照せよ）である、両側セルフ速度フォアグラウンド／バ
ックグラウンド判定は、アンカバリングの場合に、バックグラウンド速度で過去
へ投影された位置が、ベクトル

【００９６】

【数８８】 を用いて投影したときよりもフォアグラウンド領域へ向かって交差する可能性が
高い、という事実を使用する。これは、小さい相対速度

【００９７】

【数８９】 又は、不正確な推定ベクトルが生じる場合に興味深い。どの速度がバックグラウ
ンド速度であるかは、アプリオリにはわからないので、固有の速度

【００９８】

【数９０】 を用いて、エッジの両側に二つの位置を投影する（図３を参照せよ）。理想的な
状況からわかるように、低速度は、ｎにおけるバックグラウンド速度から、ｎ−
１におけるフォアグラウンド速度へ変化する。ｎにおけるフォアグラウンド内の
ブロックがｎ−１におけるフォアグラウンドへ投影する確率は非常に高いので、
実際的な理由からその確率は１であるとみなすことができる。他の確率的な全て
の決定項目は表１に掲載されている。

【００９９】

【表１】 ２回の投影によって同じ（フォアグラウンド）ベクトルが生じる場合、ある判
定結果が得られる。このベクトルが上方ブロックのベクトルと一致する場合、こ
のベクトルはフォアグラウンド速度ベクトルであり、逆にこのベクトルが下方ブ
ロックのベクトルと一致する場合、このベクトルはバックグラウンド速度ベクト
ルである。ベクトルが異なる場合、この方法は成功しないので、不確実な判定結
果が得られる。未来に向かう類似した投影は、カバリングの場合に適用可能であ
る。

【０１００】 第３の戦略（図７を参照せよ）である、エッジ投影フォアグラウンド／バック
グラウンド判定は、たとえば、カバリングの場合に、先行画像ｎにおける

【０１０１】

【数９１】 と

【０１０２】

【数９２】 の間のエッジが位置ａ又はｂ（図２を参照せよ）に存在するかどうかを検査する
。エッジが位置ａで検出されたとき、

【０１０３】

【数９３】 であり、逆もまた真である。ｎ−１における速度は、ｎにおける速度と同じであ
ることに注意する必要がある。なぜならば、他の速度エッジが投影の近くに生じ
るからである。明らかに、この原理は、アンカバリングでカバリングを置き換え
、未来で過去を置き換えることにより適用され得る。

【０１０４】 これらの戦略は、マッチ誤差を組み込むことにより強化され得ることに注意す
る必要がある。フォアグラウンド領域への交差が生じる場合、そのブロック内の
ベクトルのマッチ誤差は小さい。誤って割り付けられたバックグラウンド領域へ
先行画像のフォアグラウンドベクトルを投影した場合、誤差は大きくなる。

【０１０５】 図８を参照するに、本発明の一実施例に従って先行画像と後続画像の間で時間
的中間位置で動きを検出する装置が示されている。この装置は、候補ベクトル用
の規準関数を最適化する最適化手段１を含む。この規準関数は、先行画像及び後
続画像の両方の画像からのデータに依存する。このような最適化手段は、文献：
G. de Haan, P.W.A.C. Biezen, H. Huygen, and O.A. Ojo, "True Motion Estim
ation with 3-D Recursive Search Block-Matching", IEEE Tr. on Circuits an
d Systems for Video Technology, vol.3, October 1993, pages 368-388に記載
されるように実現することができる。候補ベクトル用の規準関数の最適化手段１
の入力へは、画像信号Ｊが供給され、最適化手段１の出力から動きベクトルＭＶ
が獲得される。

【０１０６】 画像信号Ｊは、カバリング／アンカバリング領域を検出する検出手段２へも供
給される。検出手段２は、たとえば、文献：WO00/1863に記載されている。

【０１０７】 最適化手段１は、検出手段２によって制御されるスイッチング手段を有するの
で、最適化手段１による最適化は、ノンカバリング領域とノンアンカバリング領
域において時間的中間位置で実行され、一方、最適化は、カバリング領域におけ
る後続画像の時間的位置と、アンカバリング領域における先行画像の時間的位置
とで行われる。

【０１０８】 この先行画像は、候補ベクトルのα倍だけシフトさせられ、後続画像は、候補
ベクトルの（１−α）倍だけシフトさせられる。この倍率αは、画像周期中に変
化する。上記の規準関数は、最小化されたマッチ誤差である。マッチ誤差は倍率
αの関数でもある。

【０１０９】 マッチ誤差を最適化する手段が設けられるので、倍率αは、マッチング処理中
にカバリング／アンカバリング検出器によって制御される。好ましくは、倍率α
は、カバリングの場合には１にセットされ、アンカバリングの場合には、０にセ
ットされる。

【０１１０】 検出手段２は、好ましくは、現在推定中で、α倍された先行画像内のデータに
基づいて判定する。

【０１１１】 画像信号Ｊは、フォアグラウンド／バックグラウンド検出器４へも供給され、
検出器４の出力は再タイマー３を制御する。再タイマー３の出力は規準関数の最
適化手段１へ接続される。

【０１１２】 再タイマー３は、画像信号中で速度エッジＸ_Ｅを判定し、エッジの周辺にオク
ルージョン領域をマークする。再タイマー３は、オクルージョン領域において、
オクルージョンがカバリング領域であるか、若しくは、アンカバリング領域であ
るかと、フォアグラウンド速度の符号と、フォアグラウンドが速度エッジＸ_Ｅの
どちら側にあるかと、に依存して、フォアグラウンド速度がバックグラウンド速
度によって置き換えられるか、或いは、バックグラウンド速度がフォアグラウン
ド速度によって置き換えられるように、最適化手段１を制御する。

【０１１３】 図９には、本発明によるフォアグラウンド／バックグラウンド検出器の一実施
例が示されている。この検出器は、画像信号Ｊが供給され、速度エッジの位置

【０１１４】

【数９４】 における計算を実行する計算手段５及び６を含む。計算手段５は、エッジの一方
の側で第１のベクトルに沿って

【０１１５】

【数９５】 をシフトすることにより、先行（カバリング）画像又は後続（アンカバリング）
画像における第１の位置

【０１１６】

【数９６】 を計算し、計算手段６は、エッジのもう一方の側で第２のベクトルに沿って

【０１１７】

【数９７】 をシフトすることにより、先行（カバリング）画像又は後続（アンカバリング）
画像における第２の位置

【０１１８】

【数９８】 を計算する。先行画像と後続画像の間の選択は、カバリング／アンカバリング検
出器７によって実行される。この検出器として、図１のカバリング及びアンカバ
リング領域を検出する手段２が使用できることは明らかである。

【０１１９】 計算手段５及び６の出力は、計算手段８の入力に接続され、計算手段８は、

【０１２０】

【数９９】 と

【０１２１】

【数１００】 の間で第３の中間位置を計算する。

【０１２２】 図９のフォアグラウンド／バックグラウンド検出器は、さらに、取り込み手段
９が設けられ、取り込み手段９の一方の入力は、第３の位置を計算する手段８の
出力に接続され、取り込み手段の他方の入力には、画像信号Ｊが供給される。取
り込み手段９の出力から、バックグラウンド速度Ｖ_ＢＧが取得され得る。取り込
み手段９は、先行（カバリング）画像若しくは後続（アンカバリング）画像から
のバックグラウンドベクトルを、第３の位置の速度で取り込む。このベクトルは
、バックグラウンドベクトル

【０１２３】

【数１０１】 を埋めるべき場合に、ベクトルが投影されていないエッジの環境内で画像の領域
に埋められる。フォアグラウンドベクトル

【０１２４】

【数１０２】 を埋めるべき場合には、

【０１２５】

【数１０３】 と、

【０１２６】

【数１０４】 の間で選択され、

【０１２７】

【数１０５】 から最も離れているベクトルが埋められる。

【０１２８】 更に詳述すると、第３の中間位置は、

【０１２９】

【数１０６】 である。

【０１３０】 フォアグラウンド／バックグラウンド検出器の別の一実施例は図１０に示され
ている。この検出器は、投影手段１０及び１１を含み、投影手段の入力には、画
像信号Ｊが供給される。これらの投影手段１０及び１１は、カバリング／アンカ
バリング検出器１２によって制御される。カバリング／アンカバリング検出器１
２にも画像信号Ｊが供給される。検出器１２は、図１に示されたカバリング領域
及びアンカバリング領域を検出する検出手段２で置き換えてもよい。カバリング
／アンカバリング検出の制御動作は、投影手段１０が速度エッジの一方の側の位
置を先行（カバリング）画像若しくは後続（アンカバリング）画像に投影し、投
影手段１１が速度エッジのもう一方の側の位置を先行（カバリング）画像若しく
は後続（アンカバリング）画像に投影するように行われる。識別手段１４は、投
影手段１０及び１１に接続され、識別手段１４の出力側で、バックグラウンド速
度

【０１３１】

【数１０７】 と、フォアグラウンド速度

【０１３２】

【数１０８】 が獲得される。この識別手段１４は、バックグラウンド速度を、速度不連続性を
交差する速度として認定し、先行画像のフォアグラウンド速度へ投影し、フォア
グラウンド速度をそれ自体に投影する。

【０１３３】 好ましくは、検査手段１３が投影手段１０及び１１に接続される。検査手段１
３は、２回の投影が同じベクトルを生成したかどうかを検査する。同じベクトル
を生成した場合、この識別は確実である。

【０１３４】 図１１には、フォアグラウンド／バックグラウンド検出器の更なる一実施例が
示されている。この検出器は、カバリング／アンカバリング検出器１７によって
制御される。検出器１７は、図１に示されたカバリング領域及びアンカバリング
領域を検出する検出手段２で置き換えてもよい。図１１の検出器の場合、画像信
号Ｊが投影手段１６の入力へ供給され、投影手段１６は、カバリング／アンカバ
リング検出器の制御下で、不連続性を、カバリング状況を埋める先行ベクトルに
投影し、アンカバリング状況の後続ベクトル場に投影する。さらに、不連続性の
一方側で速度を判定する手段１８と、不連続性のもう一方側で速度を判定する手
段１９と、が設けられる。判定された速度は、判定する手段１８及び１９の出力
からテスト手段２０へ供給される。テスト手段２０は、投影手段１６へ接続され
、エッジが不連続性の一方側で第１のベクトルを上回って移動したか、或いは、
不連続性のもう一方側で第２のベクトルを上回って移動したかどうかをテストす
る。テスト手段２０は、バックグラウンドベクトル

【０１３５】

【数１０９】 を送出し、このバックグラウンドベクトルは、不連続性が第１（第２）のベクト
ルに関して移動した場合には、第２（第１）のベクトルである。

【０１３６】 さらに、充填手段をテスト手段２０へ接続してもよい。充填手段は、フォアグ
ラウンドベクトルを埋めるべき場合には、第１のベクトルを、ベクトルが投影さ
れていない不連続性の環境内で、投影されたベクトル場の領域に埋め、バックグ
ラウンドベクトルを埋めるべき場合には、第２のベクトルを埋める。

【０１３７】 図１２には、画像表示装置が示されている。この装置は、先行画像と後続画像
の間の時間的中間位置で動きベクトルを検出する装置２１を含む。画像信号Ｊは
装置２１へ供給されるとともに、先行画像と後続画像の間で画像部を補間する手
段２２へ供給される。装置２１の出力で検出された動きベクトルは、補間手段２
２の入力へ供給される。補間手段２２の出力は、陰極線管２３へ供給される。動
くベクトルを検出する装置２１は、上述の装置に従って実現することが可能であ
る。

【図面の簡単な説明】

【図１】 動き推定方法の一例を示す図である。

【図２】 カバリングのために曖昧な領域を示す図である。

【図３】 アンカバリングのために曖昧な領域を示す図である。

【図４】 再タイマーのケースを示す図である。

【図５】 フォアグラウンド／バックグラウンド検出方法の一実施例を示す図である。

【図６】 フォアグラウンド／バックグラウンド検出方法の他の実施例を示す図である。

【図７】 フォアグラウンド／バックグラウンド検出方法の更なる実施例を示す図である
。

【図８】 動き検出装置の好ましい一実施例の構成図である。

【図９】 フォアグラウンド／バックグラウンド検出器の一実施例の構成図である。

【図１０】 フォアグラウンド／バックグラウンド検出器の他の実施例の構成図である。

【図１１】 フォアグラウンド／バックグラウンド検出器の更なる実施例の構成図である。

【図１２】 本発明が組み込まれた画像表示装置の構成図である。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ，ＴＲ)，ＣＮ，Ｊ Ｐ，ＫＲ (72)発明者 メルテンス，マルク イェー ウェー オランダ国，5656 アーアー アインドー フェン，プロフ・ホルストラーン ６ Ｆターム(参考） 5C059 MA05 MA14 NN10 NN21 NN38 PP04 TA65 TB08 TC02 TC24 TC42 TD02 TD06 TD09 UA02 5L096 EA15 FA06 GA19 HA02 HA07

Claims (25)

【特許請求の範囲】
1. 【請求項１】 候補ベクトル用の規準関数は最適化され、 該規準関数は先行画像及び後続画像の両方の画像からのデータに依存し、 規準関数の最適化は非カバリング領域及び非アンカバリング領域における時間
   的中間位置で行われる、 先行画像と後続画像の間の時間的中間位置における動き検出方法であって、 最適化は、カバリング領域における後続画像の時間的位置と、アンカバリング
   領域における先行画像の時間的位置と、で行われることを特徴とする、 動き検出方法。
2. 【請求項２】 αは、０以上かつ１以下の数であり、画像周期中に変化させ
   ることができる数であり、 先行画像は候補ベクトルのα倍だけシフトさせられ、 後続画像は候補ベクトルの１−α倍だけシフトさせられる、 請求項１記載の動き検出方法。
3. 【請求項３】 規準関数は最小化されたマッチ誤差である、請求項１記載の
   動き検出方法。
4. 【請求項４】 αは、マッチング処理中にカバリング／アンカバリング検出
   器によって制御される、請求項２記載の動き検出方法。
5. 【請求項５】 カバリングの場合、αは１にセットされ、アンカバリングの
   場合、αは０にセットされる、請求項４記載の動き検出方法。
6. 【請求項６】 カバリング／アンカバリング検出器は、現在推定の際に、倍
   率αに関する先行画像内のデータに基づいて判定する、請求項４記載の動き検出
   方法。
7. 【請求項７】 速度エッジＸ_Ｅが判定され、 オクルージョン領域が該エッジの周辺でマークを付けられ、 オクルージョンがカバリングとアンカバリングのどちらであるかと、フォアグ
   ラウンド速度の符号と、フォアグラウンドが速度エッジＸ_Ｅのどちら側にあるか
   と、に依存して、該オクルージョン領域内で、フォアグラウンド速度がバックグ
   ラウンド速度で置き換えられ、又は、バックグラウンド速度がフォアグラウンド
   速度で置き換えられる、 請求項１記載の動き検出方法。
8. 【請求項８】 速度エッジの位置 【数１】 において、 先行カバリング画像内又は後続アンカバリング画像内の第１の位置 【数２】 は、エッジの一方の側で第１のベクトルの量で、 【数３】 をシフトすることにより計算し、 先行カバリング画像内又は後続アンカバリング画像内の第２の位置 【数４】 は、エッジの他方の側で第２のベクトルの量で、 【数５】 をシフトすることにより計算し、 【数６】 と 【数７】 の間で第３の中間位置を計算し、 エッジの環境内でベクトルが投影されていない画像の領域に充填されるベクト
   ルは、バックグラウンドベクトル 【数８】 を埋める必要がある場合には、先行カバリング画像又は後続アンカバリング画像
   内の第３の位置で 【数９】 を用いて取り込まれたベクトルであり、フォアグラウンドベクトル 【数１０】 を埋める必要がある場合には、 【数１１】 と、 【数１２】 の間で選択され、 【数１３】 から最も離れているベクトルである、 請求項７記載の動き検出方法。
9. 【請求項９】 中間位置は、 【数１４】 である、 請求項８記載の動き検出方法。
10. 【請求項１０】 バックグラウンド速度は、速度不連続性を越える速度とし
    て認定され、先行画像のフォアグラウンド速度へ投影し、フォアグラウンド速度
    はフォアグラウンド速度自体へ投影する、請求項７記載の動き検出方法。
11. 【請求項１１】 近傍のエッジがエッジの一方側で第１のベクトルによって
    え移動したかどうか、又は、エッジの他方側で第２のベクトルによって移動した
    かどうかを判定し、 エッジが第１のベクトルによって移動した場合には、エッジの環境内で投影さ
    れたベクトル場の領域に第２のベクトルを充填し、エッジが第２のベクトルによ
    って移動した場合には、エッジの環境内で投影されたベクトル場の領域に第１の
    ベクトルを充填し、エッジの環境内で投影されたベクトル場の領域は、バックグ
    ラウンドベクトル 【数１５】 を投影すべき場合には、ベクトルが投影されず、フォアグラウンドベクトル 【数１６】 を投影すべき場合には、他のベクトルが充填される、 請求項７記載の動き検出方法。
12. 【請求項１２】 先行画像内におけるバックグラウンド領域からフォアグラ
    ウンド領域への通過は、ブロック内のベクトルのマッチ誤差によって照合される
    、請求項１０記載の動き検出方法。
13. 【請求項１３】 先行画像及び後続画像の両方の画像からのデータに依存す
    る候補ベクトル用の規準関数を、非カバリング領域及び非アンカバリング領域に
    おける時間的中間位置で最適化する最適化手段を有する、 先行画像と後続画像の間の時間的中間位置における動き検出装置であって、 カバリング領域又はアンカバリング領域を検出する検出手段が設けられ、 最適化は、カバリング領域における後続画像の時間的位置と、アンカバリング
    領域における先行画像の時間的位置と、で行われることを特徴とする、 動き検出装置。
14. 【請求項１４】 αは、０以上かつ１以下の数であり、画像周期中に変化さ
    せることができる数であり、 先行画像は候補ベクトルのα倍だけシフトさせられ、 後続画像は候補ベクトルの１−α倍だけシフトさせられる、 請求項１３記載の動き検出装置。
15. 【請求項１５】 規準関数は最小化されたマッチ誤差である、請求項１３記
    載の動き検出装置。
16. 【請求項１６】 αは、マッチング処理中にカバリング／アンカバリングの
    検出手段によって制御される、請求項１４記載の動き検出装置。
17. 【請求項１７】 カバリングの場合、αは１にセットされ、アンカバリング
    の場合、αは０にセットされる、請求項１６記載の動き検出装置。
18. 【請求項１８】 カバリング／アンカバリングの検出手段は、現在推定の際
    に、倍率αに関する先行画像内のデータに基づいて判定する、請求項１６記載の
    動き検出装置。
19. 【請求項１９】 速度エッジＸ_Ｅが判定され、 オクルージョン領域が該エッジの周辺でマークを付けられ、 オクルージョンがカバリングとアンカバリングのどちらであるかと、フォアグ
    ラウンド速度の符号と、フォアグラウンドが速度エッジＸ_Ｅのどちら側にあるか
    と、に依存して、該オクルージョン領域内で、フォアグラウンド速度がバックグ
    ラウンド速度で置き換えられ、又は、逆にバックグラウンド速度がフォアグラウ
    ンド速度で置き換えられる、 請求項１３乃至１８のうち何れか一項記載の動き検出装置。
20. 【請求項２０】 計算手段が設けられ、速度エッジの位置 【数１７】 において、 先行カバリング画像内又は後続アンカバリング画像内の第１の位置 【数１８】 は、エッジの一方の側で第１のベクトルの量で、 【数１９】 をシフトすることにより計算し、 先行カバリング画像内又は後続アンカバリング画像内の第２の位置 【数２０】 は、エッジの他方の側で第２のベクトルの量で、 【数２１】 をシフトすることにより計算し、 【数２２】 と 【数２３】 の間で第３の中間位置を計算し、 エッジの環境内でベクトルが投影されていない画像の領域に充填されるベクト
    ルは、バックグラウンドベクトル 【数２４】 を埋める必要がある場合には、先行カバリング画像又は後続アンカバリング画像
    内の第３の位置で 【数２５】 を用いて取り込まれたベクトルであり、フォアグラウンドベクトル 【数２６】 を埋める必要がある場合には、 【数２７】 と、 【数２８】 の間で選択され、 【数２９】 から最も離れているベクトルである、 請求項１９記載の動き検出装置。
21. 【請求項２１】 中間位置は、 【数３０】 である、 請求項２０記載の動き検出装置。
22. 【請求項２２】 エッジの両側の二つの位置を先行カバリング画像又は後続
    アンカバリング画像へ投影する手段が設けられ、 バックグラウンド速度は、速度不連続性を越える速度ととして認定され、先行
    画像のフォアグラウンド速度へ投影し、フォアグラウンド速度はフォアグラウン
    ド速度自体へ投影する、請求項１９記載の動き検出装置。
23. 【請求項２３】 近傍のエッジがエッジの一方側で第１のベクトルによって
    え移動したかどうか、又は、エッジの他方側で第２のベクトルによって移動した
    かどうかを判定するテスト手段が設けられ、 エッジが第１のベクトルによって移動した場合には、エッジの環境内で投影さ
    れたベクトル場の領域に第２のベクトルを充填し、エッジが第２のベクトルによ
    って移動した場合には、エッジの環境内で投影されたベクトル場の領域に第１の
    ベクトルを充填し、エッジの環境内で投影されたベクトル場の領域は、バックグ
    ラウンドベクトル 【数３１】 を投影すべき場合には、ベクトルが投影されず、フォアグラウンドベクトル 【数３２】 を投影すべき場合には、他のベクトルが充填される、 請求項１９記載の動き検出装置。
24. 【請求項２４】 先行画像内におけるバックグラウンド領域からフォアグラ
    ウンド領域への通過を、ブロック内のベクトルのマッチ誤差によって照合する照
    合手段が設けられている、請求項２２記載の動き検出装置。
25. 【請求項２５】 請求項１３記載の動き検出方法によって動きベクトルを検
    出する検出装置と、 該検出装置へ接続され、画像部分を補間する手段と、 該補間手段へ接続された表示装置と、 を有する画像表示装置。