JP2007506333A - 動きベクトルフィールド再タイミング - Google Patents

Abstract

特定の空間的位置を有し、ビデオ画像の系列の第１画像及び第２画像の間における時間的位置（

）において位置される、特定の画素に関する特定の動きベクトル（

）を、前記第１画像に関して推定される第１動きベクトルフィールド（

）に基づくとともに、前記第２画像に関して推定される第２動きベクトルフィールド（

）に基づき推定する方法が開示される。当該方法は、前記特定の画素の前記特定の空間的位置に基づき、前記第１動きベクトルフィールド（

）及び第２動きベクトルフィールド（

）から複数の動きベクトルを選択することによって一群の動きベクトル（

、

、

）を生成するステップと、前記一群のベクトル（

、

、

）に順序統計的演算を実行することによって前記特定の動きベクトル(

)を確定するステップと含む。

Description

本発明は、特定の空間的位置を有し、ビデオ画像の系列の第１画像及び第２画像の間における時間的位置において位置される、特定の画素に関する特定の動きベクトルを、前記第１画像に関して推定される第１動きベクトルフィールドに基づくとともに前記第２画像に関して推定される第２動きベクトルフィールドに基づき推定する方法に関する。

本発明は、更に、特定の空間的位置を有し、ビデオ画像の系列の第１画像及び第２画像の間における時間的位置において位置される、特定の画素に関する特定の動きベクトルを、前記第１画像に関して推定される第１動きベクトルフィールドに基づくとともに前記第２画像に関して推定される第２動きベクトルフィールドに基づき推定する動き推定ユニットに関する。

本発明は、更に、
−ビデオ画像の系列に対応する信号を受信する受信手段と、
−前記ビデオ画像のうちの第１ビデオ画像に関する第１動きベクトルフィールドと、前記ビデオ画像のうちの第２画ビデオ画像に関する第２動きベクトルフィールドとを推定する動き推定手段と、
−上述のような、特定の動きベクトルを推定する動き推定ユニットと、
−出力画像の系列を前記ビデオ画像の系列及び前記特定の動きベクトルに基づき計算する画像処理ユニットと、
を備える画像処理機器に関する。

本発明は、更に、特定の空間的位置を有し、ビデオ画像の系列の第１画像及び第２画像の間における時間的位置において位置される、特定の画素に関する特定の動きベクトルを、前記第１画像に関して推定される第１動きベクトルフィールドに基づくとともに、前記第２画像に関して推定される第２動きベクトルフィールドに基づき推定する命令を有する、計算機構成によってロードされるべき計算機プログラムであって、前記計算機構成が処理手段及びメモリを備える計算機プログラムに関する。

遮蔽領域(occlusion area)とは、キャプチャされるシーンの位置と対応する領域であって、連続する一連の画像のうちの１つの画像において可視であるが、次の又は手前の画像においては可視でない領域を意味する。このことは、背景物体よりもカメラの近くに位置される、シーンにおける前景物体が、背景物体の一部に被ることがあり得るという事実によって引き起こされる。例えば前景物体が動く場合、背景物体の幾らかの部分は塞がれ、一方で、背景物体の他の部分は塞がれない。

遮蔽領域は、時間的補間においてアーチファクトを生じさせ得る。例えば、アップコンバージョンの場合、遮蔽領域は、いわゆるハローになり得る。アップコンバージョンの場合、動きベクトルは、アップコンバージョンされる出力画像を計算するために時間的補間を用いて推定される。時間的補間、すなわち２つの原入力画像の間の新たな画像の計算に関して、全く同一の物体に関連する画素の数が、連続する画像から取得されることが好ましい。このことは、何の関連する画素も両方の連続する画像において発見され得ないので、遮蔽領域の場合に単純には行われ得ない。通常１つ手前の又は次の原画像の画素値の補間に基づく他の補間方法が必要とされる。遮蔽領域に関する適した動きベクトルの推定が重要であることは明らかである。

冒頭の段落において記載の種類のユニットの実施例は、国際特許出願公開第01/88852号から既知である。手前の画像と次の画像との間における時間的中間位置における動きを検出する既知の機器は、候補の動きベクトルに関する規準関数を最適化する最適化手段を有し、これにより、前記規準関数は、手前の画像と次の画像の両方からのデータに依存する。動きは、非カバー(non-covering)領域において及び非アンカバー（non-uncovering）領域における時間的中間位置において検出される。既知の機器は、カバー領域及びアンカバー領域を検出する手段を有し、次の時間的位置におけるカバー領域において、及び手前の画像の時間的位置におけるアンカバー領域において最適化を実行するように構成される最適化手段を有する。

本発明の目的は、比較的堅固な、冒頭の段落において記載の種類の方法を提供することである。

本発明の目的は、当該方法が、
−特定の画素の特定の空間的位置に基づき、第１動きベクトルフィールド及び第２動きベクトルフィールドから複数の動きベクトルを選択することによって一群の動きベクトルを作成するステップと、
−前記一群の動きベクトルに順序統計的演算（order statistical operation）を実行することによって特定の動きベクトルを確定するステップと、
を有することにおいて実現される。

好ましくは、順序統計的演算は、メジアン(median)演算である。本発明に従う方法は、一群の動きベクトルからの中間動きベクトルフィールドに関する適切な動きベクトルの選択に基づき、前記動きベクトルは、前記原入力画像の系列の画像に関して計算される動きベクトルを有する。正しい動きベクトルがこれら原入力画像に関して推定される確率は、比較的高い。このことは、特に、これら動きベクトルが３つ又はそれ以上入力画像に基づき推定された場合に高い。２つの入力画像に基づく中間時間的位置に関する動きベクトルの直接推定は、通常、遮蔽領域に関する誤った動きベクトルになる。手前の原画像及び次の原画像に関して推定される動きベクトルを適用することは、中間時間的位置に関する堅固な動きベクトルフィールドになる。任意選択的に、中間時間的位置に関して初めに推定された初期動きベクトルは、一群の動きベクトルの要素として用いられる、及び／又は原入力画像の系列の画像のどの動きベクトルが選択されるべきかを決定するのに用いられる。

本発明に従う方法の実施例において、一群の動きベクトルを生成するステップは、特定の画素の特定の空間的位置に対応する第１空間的位置を有する、第１画像に関して推定される第１動きベクトルを選択するステップを含む。言い換えれば、零ベクトルに基づいて、第１画像に関して推定される第１動きベクトルが選択される。本発明に従うこの実施例の有利な点は、中間動きベクトルフィールドの何の初期計算も必要とされないことである。好ましくは、選択された第１動きベクトルは、その後、一群の(動きベクトル)の生成に関する更なる動きベクトルを選択するのに用いられる。したがって、好ましくは、一群の動きベクトルを作成するステップは、選択される第１動きベクトル及び特定の画素の特定の空間的位置によって決定される第２空間的位置を有する、第１画像に関して推定される第２動きベクトルを選択するステップを有し、一群の動きベクトルを作成するステップは、選択される第１動きベクトル及び特定の画素の特定の空間的位置によって決定される第３空間的位置を有する、第２画像に関して推定される第３動きベクトルを選択するステップを有する。

本発明に従う方法の実施例において、前記一群の動きベクトルを生成するステップが、前記特定の画素の前記特定の空間的位置及び前記特定の画素に関して推定される第１動きベクトルによって決定される第２空間的位置を有する、前記第１画像に関して推定される第２動きベクトルを選択するステップを含む。好ましくは、前記一群の動きベクトルを生成するステップが、前記特定の画素の前記特定の空間的位置及び前記特定の画素に関して推定される前記第１動きベクトルによって決定される第３空間的位置を有する、前記第２画像に関して推定される第３動きベクトルを選択するステップを含む。

本発明に従う方法の実施例において、一群の動きベクトルを生成するステップは、特定の画素の特定の空間的位置に対応する第２空間的位置を有する、第２画像に関して推定される第２動きベクトルを選択するステップを含む。本発明によるこの実施例の有利な点は、第１及び第２動きベクトルの選択が、単純である、すなわち特定の空間的位置に基づくことである。好ましくは、前記一群の動きベクトルを生成するステップは、前記第１画像に関して推定され第３空間的位置を有する第３動きベクトルと、前記第１画像に関して推定され第４空間的位置を有する第４空間動きベクトルとを選択するステップを更に有し、前記第１空間的位置、前記第３空間的位置及び前記第４空間的位置が、線上に位置される。好ましくは、前記第２動きベクトルフィールドから選択される前記動きベクトルは、第２線上において位置される。前記第１線の向きは、前記第１動きベクトルと一致し、前記第２線の向きは、前記第２動きベクトルと一致する。前記第１空間的位置及び前記第２空間的位置の空間近辺において比較的多数の動きベクトルを選択するステップを用いることによって前記一群の動きベクトルを生成することの有利な点は、堅固性である。動きベクトルフィールド毎の選択される動きベクトルの数、すなわち順序統計的演算を実行するフィルタの開口(aperture)は、予想される最大動作、すなわち最大動きベクトルのサイズに関係される。

本発明による方法の実施例は、第１中間動きベクトルフィールドの前記第１動きベクトルフィールドへのアップコンバージョンするステップを含み、前記第１動きベクトルフィールドが、前記第１中間動きベクトルフィールドより高い解像度を有し、また前記方法は、第２中間動きベクトルフィールドの前記第２動きベクトルフィールドへのアップコンバージョンするステップを含み、前記第２動きベクトルフィールドが、前記第２中間動きベクトルフィールドより更に高い解像度を有する。このアップコンバージョンは、好ましくは、いわゆるブロック侵食(block-erosion)を用いて実行される。ブロック侵食は、特定のブロックの画素に関する別の動きベクトルを、前記特定のブロックの画素の動きベクトル及び近辺のブロックの画素の動きベクトルに基づき計算する既知の方法である。ブロック侵食は、例えば米国特許明細書第5,148,269号において開示される。解像度を増加することによって、より多くの動きベクトルが、前記第１空間的位置及び前記第２空間的位置の空間的近辺において生成され、より信頼度のある特定の動きベクトルになる。

本発明の更なる目的は、比較的堅固である、冒頭の段落において開示された種類の動き推定ユニットを提供することである。

本発明のこの目的は、動き推定ユニットが、
−特定の画素の特定の空間的位置に基づき、第１動きベクトルフィールド及び第２動きベクトルフィールドから複数の動きベクトルを選択することによって一群の動きベクトルを生成する群生成手段と、
−前記一群のベクトルに順序統計的演算を実行することによって特定の動きベクトルを確定する確定手段と、
を備えることにおいて達成される。

本発明の更なる目的は、比較的堅固である動き推定ユニットを備える、冒頭の段落において開示された種類の画像処理機器を提供することである。

本発明のこの目的は、前記動き推定ユニットが、
−特定の画素の特定の空間的位置に基づき、第１動きベクトルフィールド及び第２動きベクトルフィールドから複数の動きベクトルを選択することによって一群の動きベクトルを生成する群生成手段と、
−前記一群のベクトルに順序統計的演算を実行することによって特定の動きベクトルを確定する確定手段と、
を備えることにおいて達成される。

任意選択的に、前記画像処理機器は、出力画像を表示する表示装置を更に備える。前記画像処理機器は、例えば、テレビ、セットトップボックス、ＶＲＣ（ビデオカセットレコーダ）プレーヤ、衛星チューナ、ＤＶＤ（デジタル多機能ディスク）プレーヤ又はレコーダであり得る。

本発明の更なる目的は、比較的堅固である、冒頭の段落において開示された種類の計算機プログラムを提供することである。

本発明のこの目的は、前記計算機プログラムが、ロードされた後に、
−特定の画素の特定の空間的位置に基づき、第１動きベクトルフィールド及び第２動きベクトルフィールドから複数の動きベクトルを選択することによって一群の動きベクトルを生成するステップと、
−前記一群のベクトルに順序統計的演算を実行することによって特定の動きベクトルを確定するステップと、
を実行する能力を前記処理手段に提供することにおいて達成される。

動き推定ユニットの変更態様及び変形態様は、記載される画像処理機器、方法、計算機プログラムの動き推定ユニットの変更態様及び変形態様に対応し得る。

本発明による、動き推定ユニット、画像処理機器、方法及び計算機プログラムのこれら及び他の態様は、以下に記載される実行態様及び実施例、及び添付の図面をから明らかであり、これらに関して及びこれらを参照にして説明される。
同一の参照符号は、図面において類似の部分を示すのに用いられる。

図１は、シーンにおける前景物体１１８の動き及び背景の動きを概略的に示す。図１において、時間的位置

及び

における２つの原画像１００及び１０４が示される。これらの画像内の物体１１８は、上方向

に動いており、物体１１８は、灰色の長方形によって記され、黒の実線１０６及び１０８によってつなげられる。長く細い黒い点線１１０及び１１２は、下方向である、背景の動き

を示す。ハッチング領域１１４及び１１６は、遮蔽領域を示す。−１≦α≦０である時間的位置

において作成される必要がある新たな画像１０２は、鎖線１２０によって示される。

図２は、図１において示される画像に関して推定される動きベクトルフィールドを概略的に示し、すなわち、推定される動きベクトルフィールドは、矢印によって示される。第１動きベクトルフィールドは、２つの原画像のうちの第１画像１００に関して推定され、第２動きベクトルフィールドは、２つの原画像のうちの第２画像１０４に関して推定される。これら２つの動きベクトルフィールドは、３フレーム動き推定器を用いて計算される。第１動きベクトルフィールドは、

によって示される。この第１動きベクトルフィールドは、輝度フレーム

、

及び

間において推定される。第２動きベクトルフィールドは、

によって示される。この第２動きベクトルフィールドは、輝度フレーム

、

及び

間において推定される。このことに加えて、第１及び第２動きベクトルフィールドの間における時間的位置

に関して、初期動きベクトルフィールドが計算される。この初期動きベクトルフィールド

は、輝度フレーム

及び

間において推定される。３フレーム動き推定器の動きベクトルフィールド

及び

は、前景物体１１８と略一致し、２フレーム動き推定器の動きベクトルフィールド

は、背景へと延在する前景ベクトルを示す。

本発明の方法によると、最終的な動きベクトルフィールド

は、３つの動きベクトルフィールド

、

及び

を用いることによって計算され得、この最終動きベクトルフィールドは、全ての位置において、すなわちカバー領域及びアンカバー領域においても適切な動きベクトルを有する。このことは、背景ベクトルが遮蔽領域において決定されることを意味する。この最終動きベクトルフィールド

は、２フレーム動き推定器

から動きベクトルと、動きベクトルフィールド

及び

からベクトル

を用いて取得される動きベクトルとのメジアンを取ることによって生成されるのが好ましい。これらの後者のベクトルは、

及び

によって示される。メジアンは、数式１

において明示され、ここで、「med」演算子は、別々にベクトルメジアンすなわちベクトル成分にわたるメジアンであり得る。動きベクトルが副画素精度である場合、好ましくは、適切な補間が実行される。ベクトルメジアン演算子は、J.Astola等による、1990年4月のProceedings of the IEEE、78号：678-689ページにおける「Vector median filters」の記事において明示される。ベクトルメジアンは、数式２及び３を用いて明示され得る。ここで、

そして、

とする。

図３は、空間的位置

及び

のそれぞれにおける２つの例の画素に関する、本発明に従う方法を概略的に示す。始めに、位置

における画素周りの状況を考慮する。初期動きベクトルフィールド

からの動きベクトル

は、動きベクトル

及び

を第１動きベクトルフィールド

及び第２動きベクトルフィールド

のそれぞれから取得するのに用いられる。この選択処理は、太い黒線の矢印３００及び３０２によってそれぞれ示される。初期動きベクトルフィールド

からの動きベクトル

は、前景ベクトルであるが、取得されたベクトル

及び

の両方が背景ベクトルであるので、メジアン演算子は、背景ベクトルを選択し得る。

同様の処理は、位置

における他の画素に関する適切な動きベクトルを確定するのに用いられ得る。初期動きベクトルフィールド

からの動きベクトル

は、動きベクトル

及び

を第１動きベクトルフィールド

及び第２動きベクトルフィールド

のそれぞれから取得するのに用いられる。この選択処理は、太い黒線の矢印３０４及び３０６によってそれぞれ示される。ここにおいて、

及び

を用いて取得された動きベクトルは、それぞれ背景ベクトル及び前景ベクトルである。初期動きベクトルフィールド

からの動きベクトル

も背景ベクトルであるので、メジアン演算子は、背景ベクトルを選択し得る。

図２及び図３に関連して、時間的位置

に関する動きベクトルフィールドが、初期動きベクトルフィールド

に基づいて決定されていることが説明されている。図４は、初期動きベクトルフィールド

が中間時間的位置に関して計算されていない場合における、２つの例の画素に関する、本発明に従う方法を概略的に示す。前記例の画素は、それぞれ空間的位置

及び

において位置される。

始めに、位置

における画素周りの状況を考慮する。第１動きベクトルフィールド

からの動きベクトル

は、動きベクトル

及び

を第１ベクトルフィールド

及び第２動きベクトルフィールド

のそれぞれから取得するのに用いられる。動きベクトル

は、第１画素の空間的位置

及び零動きベクトルに基づいて見つけられる。このことは、鎖線矢印４００によって示される。選択処理は、それぞれ太い黒線の矢印３００及び３０２によって示される。動きベクトル

は、前景ベクトルであるが、両方の取得されたベクトル

及び

が背景ベクトルあるので、メジアン演算子は、背景ベクトルを選択し得る。

同様の処理は、位置

における他の画素に関する適切な動きベクトルを確定するのに用いられ得る。第２動きベクトルフィールド

からの動きベクトル

は、動きベクトル

及び

を第１動きベクトルフィールド

及び第２動きベクトルフィールド

のそれぞれから取得するのに用いられる。動きベクトル

は、第２画素の空間的位置

及び零動きベクトルに基づいて見つけられる。このことは、鎖線矢印４０２によって示される。この選択処理は、太い黒線の矢印３０４及び３０６によってそれぞれ示される。ここにおいて、取得された動きベクトル

及び

は、それぞれ背景ベクトル及び前景ベクトルである。動きベクトル

も背景ベクトルであるので、メジアン演算子は、背景ベクトルを選択し得る。

図５Ａは、時間的位置

に関する最終動きベクトルフィールドを計算するように構成される、本発明に従う動き推定ユニット５００の実施例を概略的に示す。動き推定ユニット５００は、３つの動きベクトルフィールドを具備される。これら具備される動きベクトルフィールドの第１動きベクトルフィールド

及び第２動きベクトルフィールド

は、３フレーム動き推定器５０６を用いて計算される。３フレーム動き推定器５０６の実施例は、米国特許第6,011,596号において開示される。第３の提供される動きベクトルフィールド

は、２フレーム動き推定器５０８を用いて計算される。この２フレーム動き推定器５０８は、例えば、G. de Haan等による、1993年10月のIEEE Transactions on circuits and systems for video technology、vol.3、no.5、368-379ページにおける「True-Motion Estimation with 3-D Recursive Search Block Matching」という記事において明示される。

本発明に従う動き推定ユニット５００は、特定の画素に関する特定の動きベクトルを推定するとともに、
−特定の画素の特定の空間的位置に基づき、第１動きベクトルフィールド

、第２動きベクトルフィールド

及び第３動きベクトルフィールド

のそれぞれから複数の動きベクトルを選択することによって
一群の動きベクトル

、

及び

を生成する群生成ユニット５０２と、
−前記一群の動きベクトルに順序統計的演算を実行することによって、特定の動きベクトル

を確定する確定ユニット５０４とを備えるように構成される。

本発明による動き推定ユニット５００の動作は、図３に関連して記載される。

３フレーム動き推定器５０６、２フレーム動き推定器５０８、群生成ユニット５０２及び確定ユニット５０４は、１つの処理器を用いて実装され得る。通常、これらの機能は、ソフトウェアプログラムの制御の元に実行される。実行において、通常、ソフトウェアプログラムは、ＲＡＭのようなメモリにロードされ、そこから実行される。該プログラムは、ＲＯＭ、ハードディスク又は磁気及び／若しくは光学記憶媒体のようなバックグラウンドメモリからロードされ得るか、インターネットのようなネットワークを介してロードされ得る。任意選択的に、特定用途向け集積回路が、前記開示された機能を提供する。

図５Ｂは、本発明による動き推定ユニットの代替の実施例５０１を概略的に示す。この動き推定ユニット５０１は、動きベクトル再タイミングユニット(motion vector re-timing unit)５０１とも称され、その理由は、動きベクトル再タイミングユニット５０１が、それぞれ時間的位置

及び

において位置する２つの提供される動きベクトルフィールド

及び

に対して中間である時間的位置

に関する最終動きベクトルフィールドを計算するように構成されるからである。これら提供される動きベクトルフィールドの第１動きベクトルフィールド

及び第２動きベクトルフィールド

は、３フレーム動き推定器５０６を用いて計算される。３フレーム動き推定器５０６の例は、米国特許第6,011,596号において開示される。

本発明による動き推定ユニット５０１は、特定の画素に関する特定の動きベクトルを推定すると共に、
−特定の画素の特定の空間的位置に基づき、第１動きベクトルフィールド

及び第２動きベクトルフィールド

のそれぞれから複数の動きベクトルを選択することによって一群の動きベクトル

、

及び

を生成する群生成ユニット５０２と、
−前記群の動きベクトルに順序統計的演算を実行することによって特定の動きベクトル

を確定する確定ユニット５０４と、
を有するように構成される。

本発明による動き推定ユニット５０１の動作は、図４に関連して記載される。

本発明による動き推定ユニットにおいて生成される一群の動きベクトルにおける動きベクトルの数は、図３及び図４と関連して記載される例における３つの動きベクトルよりも高くあり得ることを注意されるべきである。

異なる時間的位置

、

及び

に関する動きベクトルの計算は、同期して実行されることが好ましい。このことは、例えば時間位置

に関する特定の動きベクトルフィールドが、対応する原入力ビデオ画像の全ての画素の動きを同時に表す一群の動きベクトルに必ずしも対応しないことを意味する。言い換えれば、動きベクトルフィールドは、例えば対応する原入力ビデオ画像の画素の１０％のみである、一部の画素の動きを同時に表す一群の動きベクトルに対応し得る。

図６Ａは、本発明による実施例において適用される一群の動きベクトルの生成を概略的に示す。図６Ａは、第１画像に関して推定される第１動きベクトルフィールド６２０と、第２画像に関して推定される第２動きベクトルフィールド６２２とを概略的に示す。前記一群の動きベクトルは、特定の動きベクトルが確定される必要がある特定の画素の特定の空間的位置に基づき、第１動きベクトルフィールド６２０及び第２動きベクトルフィールド６２２から複数の動きベクトルを選択することによって生成される。特定の画素は、ビデオ画像の系列の第１画像及び第２画像の間における時間的位置（

）において位置される。一群の動きベクトルは、第１動きベクトルフィールド６２０から選択される第１の準群の動きベクトル６０１〜６０７を有する。この第１の準群は、特定の空間的位置に対応する、第１画像における第１空間的位置６００に基づくとともに、第１空間的位置に属する第１動きベクトル６０４に基づく。線６０８は、第１動きベクトル６０４に基づき規定される。

第１の複数の動きベクトルは、この線において、第１の準群の動きベクトル６０１〜６０７を作成するために選択される。通常、第１の準群は、９個の動きベクトルを有する。選択された第１の複数の動きベクトルは、第１画像における第１空間的位置６００を中心にして位置されることが好ましい。代替には、該選択は、第１空間的位置６００を中心にして位置されないが、線６０８上を第１動きベクトル６０４の方向に移動される。

一群の動きベクトルは、第２動きベクトルフィールド６２０から選択される第２の準群の動きベクトル６１１〜６１７を有する。この第２の準群は、特定の空間的位置に対応する、第２画像における第２空間的位置６１０に基づくとともに、第２空間的位置に属する第２動きベクトル６１４に基づく。線６１８は、第２動きベクトル６１４に基づき規定される。第２の複数の動きベクトルは、この線において、第２の準群の動きベクトル６１１〜６１７を作成するために選択される。通常、第２の準群は、９個の動きベクトルを有する。選択された第２の複数の動きベクトルは、第２画像における第２空間的位置６１０を中心にして位置されることが好ましい。代替には、該選択は、第２空間的位置６１０を中心にして位置されないが、線６１８上を第２動きベクトル６１４の方向に移動される。

代替には、一群の動きベクトルは、第２動きベクトルフィールドから選択される別の第２の準群の動きベクトルを有する。（これらの動きベクトルは図示されない。）この別の第２の準群は、特定の空間的位置に対応する、第２画像における第２空間的位置６１０に基づくとともに、第１空間的位置に属する第１動きベクトル６０４に基づく。線は、第１動きベクトル６０４に基づき規定される。第２の複数の動きベクトルは、この線において、もう一つの第２の準群の動きベクトルを作成するために選択される。通常、第２の準群も、９個の動きベクトルを有する。

結果的に、特定の動きベクトルは、例えば６０１〜６０７、６１１〜６１７などの一群の動きベクトルに順序統計的演算を実行することによって確定される。順序統計的演算は、好ましくはメジアン演算である。任意選択的に、メジアンは、いわゆる重み付け又は中央重み付けメジアン演算である。このことは、一群の動きベクトルが、同一の空間的位置に対応する多重動きベクトルを有することを意味する。例えば、一群の動きベクトルは、第１動きベクトルの及び第２動きベクトルの多重の例を有する。全部で９個の動きベクトル６０１〜６０７が第１動きベクトルフィールド６２０から選択されると仮定する場合、一群は、第１動きベクトル６０４の９個の例を有し得る。

図６Ｂは、本発明による代替実施例において適用される一群の動きベクトルの生成を概略的に示す。図６Ｂは、第１画像に関して推定される第１動きベクトルフィールド６２０と、第２画像に関して推定される第２動きベクトルフィールド６２２とを概略的に示す。前記一群の動きベクトルは、特定の動きベクトルが確定される必要がある特定の画素の特定の空間的位置に基づき、第１動きベクトルフィールド６２０及び第２動きベクトルフィールド６２２から複数の動きベクトルを選択することによって生成される。

一群の動きベクトルは、第１動きベクトルフィールド６２０から選択される第１準群の動きベクトル６２１〜６２７を有する。この第１準群は、特定の空間的位置に対応する、第１画像における第１空間的位置６００に基づく。第１の複数の動きベクトルは、この第１空間的位置に対して、第１の準群の動きベクトル６２１〜６２７を作成するために選択される。

一群の動きベクトルは、第２動きベクトルフィールド６２２から選択される第２準群の動きベクトル６３１〜６３７を有する。この第２準群は、特定の空間的位置に対応する、第２画像における第２空間的位置６１０に基づく。第２の複数の動きベクトルは、この第２空間的位置に対して、第２の準群の動きベクトル６３１〜６３７を作成するために選択される。

結果的に、特定の動きベクトルは、一群の動きベクトル６２１〜６２７、６３１〜６３７に順序統計的演算を実行することによって確定される。順序統計的演算は、好ましくはメジアン演算である。メジアンは、任意選択的に、いわゆる重み付け又は中央重み付けメジアン演算である。

代替的に２つの順序統計的演算が、２つの異なる成分群に基づき実行される。このことは以下のように動作する。第１の準群の水平成分の動きベクトルは、第１動きベクトルフィールド６２０の第１の複数の動きベクトル６２５〜６２７の水平成分を取ることによって作成され、第２の準群の水平成分の動きベクトルは、第２動きベクトルフィールド６２２の第１の複数の動きベクトル６３５〜６３７の水平成分を取ることによって作成される。特定の動きベクトルの水平成分は、順序統計的演算を用いることによって、水平成分の全体の群から決定される。第１の準群の垂直成分の動きベクトルは、第１動きベクトルフィールド６２０の第１の複数の動きベクトル６２１〜６２４の垂直成分を取ることによって作成され、第２の準群の垂直成分の動きベクトルは、第２動きベクトルフィールド６２２の第１の複数の動きベクトル６３１〜６３４の垂直成分を取ることによって作成される。特定の動きベクトルの垂直成分は、順序統計的演算を用いることによって、垂直成分の全体の群から決定される。

図７は、
−ビデオ画像の系列に対応する信号を受信する受信手段７０２と、
−前記ビデオ画像の第１画像に関する第１動きベクトルフィールド及び、前記ビデオ画像の第２画像に関する第２動きベクトルフィールドを推定する動き推定ユニット５０６と、
−図５Ｂに関連して説明される動きベクトル再タイミングユニット５０１と、
−国際特許出願第03/041416号又は国際特許出願第00/11863号などに記載の、カバー及びアンカバーの領域を検出する遮蔽検出器７０８と、
−前記ビデオの系列に基づき出力画像の系列を計算する画像処理ユニット７０４であって、前記動きベクトルフィールドが、前記動きベクトル再タイミングユニット５０１によって供給され、前記遮蔽マップが、前記遮蔽検出器７０８によって提供される画像処理ユニット７０４と、
−前記画像処理ユニット７０４の出力画像を表示する表示装置７０６と、
を有する、本発明による画像処理機器７００の実施例を概略的に示す。

信号は、アンテナ又はケーブルを介して受信された放送信号であり得るが、ＶＣＲ（ビデオカセットレコーダ）又はデジタル多機能ディスク（ＤＶＤ）のような記憶装置からの信号でもあり得る。信号は、入力コネクタ７０８において供給される。画像処理機器７００は、例えばテレビであり得る。代替として、画像処理器７００は、光学表示装置を備えないが、表示装置７０６を有する機器へ出力画像を供給する。この場合画像処理機器７００は、例えばセットトップボックス、衛星チューナ、ＶＣＲプレーヤ、ＤＶＤプレーヤ又はレコーダであってもよい。任意選択的に、画像処理機器７００は、ハードディスク又は例えば光学ディスクなどの取り外し可能な媒体への記録用手段のような記憶手段を備える。画像処理機器７００は、映画スタジオ又は放送局によって適用されるシステムでもあり得る。

上述の実施例は、本発明を制限するものよりもむしろ例証するものであり、当業者が、添付の請求の範囲から逸脱することなく、代わりの実施例を設計することが可能であることを注意しなければならない。請求項において、括弧記号間に位置される如何なる参照符号も、請求項を制限するように解釈されてはならない。「有する」という語句は、請求項に記載される以外の要素又はステップの存在を排除しない。単数形の構成要素は、複数個の斯様な構成要素の存在を排除しない。本発明は、いくつかの個別の構成要素を有するハードウェアを用いて、及び適切にプログラムされた計算機を用いて実施され得る。いくつかの手段を列挙しているユニット請求項において、これらの手段のいくつかはただ同一のハードウェアの項目によって、実施化することが可能である。第１、第２及び第３などの語句の使用は、如何なる順序付けも示さない。これらの語句は、名称として解釈されるべきである。

図１は、シーンにおける前景物体の動き及び背景物体の動きを概略的に示す。 図２は、図１に示される画像に関して推定される動きベクトルフィールドを概略的に示す。 図３は、２つの例の画素に関する、本発明による方法を概略的に示す。 図４は、中間時間位置に関して何の初期動きベクトルフィールドも計算されていなかった場合における２つの例の画素に関する、本発明による方法を概略的に示す。 図５Ａは、３つの動きベクトルフィールドが備えられる、本発明による動き推定ユニットの実施例を概略的に示す。 図５Ｂは、２つの動きベクトルフィールドが備えられる、本発明による動き推定ユニットの実施例を概略的に示す。 図６Ａは、本発明による実施例に適用される一群の動きベクトルの生成を概略的に示す。 図６Ｂは、本発明による代わりとなる実施例に適用される一群の動きベクトルの生成を概略的に示す。 図７は、本発明による画像処理機器の実施例を概略的に示す。

Claims (16)

1. 特定の空間的位置を有し、ビデオ画像の系列の第１画像及び第２画像の間における時間的位置（
   

   

   ）において位置される、特定の画素に関する特定の動きベクトル（
   

   

   ）を、前記第１画像に関して推定される第１動きベクトルフィールド（
   

   

   ）に基づくとともに、前記第２画像に関して推定される第２動きベクトルフィールド（
   

   

   ）に基づき推定する方法であって、当該方法は、
   −前記特定の画素の前記特定の空間的位置に基づき、前記第１動きベクトルフィールド（
   

   

   ）及び前記第２動きベクトルフィールド（
   

   

   ）から複数の動きベクトルを選択することによって一群の動きベクトル（
   

   

   、
   

   

   、
   

   

   ）を生成するステップと、
   −前記一群のベクトル（
   

   

   、
   

   

   、
   

   

   ）に順序統計的演算を実行することによって前記特定の動きベクトル（
   

   

   ）を確定するステップと、
   を有する方法。
2. 前記順序統計的演算が、メジアン演算である、請求項１に記載の、特定の動きベクトルを推定する方法。
3. 前記一群の動きベクトルを生成するステップが、前記特定の画素の前記特定の空間的位置に対応する第１空間的位置を有する、前記第１画像に関して推定される第１動きベクトルを選択するステップを含む、請求項１に記載の、特定の動きベクトルを推定する方法。
4. 前記一群の動きベクトルを生成するステップが、前記特定の画素の前記特定の空間的位置及び選択される前記第１動きベクトルによって決定される第２空間的位置を有する、前記第１画像に関して推定される第２動きベクトルを選択するステップを含む、請求項３に記載の、特定の動きベクトルを推定する方法。
5. 前記一群の動きベクトルを生成するステップが、前記特定の画素の前記特定の空間的位置及び選択される前記第１動きベクトルによって決定される第３空間的位置を有する、前記第２画像に関して推定される第３動きベクトルを選択するステップを含む、請求項４に記載の、特定の動きベクトルを推定する方法。
6. 前記一群の動きベクトルを生成するステップが、前記特定の画素の前記特定の空間的位置及び前記特定の画素に関して推定される第１動きベクトルによって決定される第２空間的位置を有する、前記第１画像に関して推定される第２動きベクトルを選択するステップを含む、請求項１に記載の、特定の動きベクトルを推定する方法。
7. 前記一群の動きベクトルを生成するステップが、前記特定の画素の前記特定の空間的位置及び前記特定の画素に関して推定される前記第１動きベクトルによって決定される第３空間的位置を有する、前記第２画像に関して推定される第３動きベクトルを選択するステップを含む、請求項６に記載の、特定の動きベクトルを推定する方法。
8. 前記一群の動きベクトルを生成するステップが、前記特定の画素の前記特定の空間的位置に対応する第２空間的位置を有する、前記第２画像に関して推定される第２動きベクトルを選択するステップを含む、請求項３に記載の、特定の動きベクトルを推定する方法。
9. 前記一群の動きベクトルを生成するステップは、前記第１画像に関して推定され第３空間的位置を有する第３動きベクトルと、前記第１画像に関して推定され第４空間的位置を有する第４空間動きベクトルとを選択するステップを更に有し、前記第１空間的位置、前記第３空間的位置及び前記第４空間的位置が線上に位置される、請求項８に記載の、特定の動きベクトルを推定する方法。
10. 前記線の向きが、前記第１動きベクトルと一致する、請求項９に記載の、特定の動きベクトルを推定する方法。
11. 前記方法は、第１中間動きベクトルフィールドの前記第１動きベクトルフィールドへのアップコンバージョンするステップを含み、前記第１動きベクトルフィールドが、前記第１中間動きベクトルフィールドより高い解像度を有し、また前記方法は、第２中間動きベクトルフィールドの前記第２動きベクトルフィールドへのアップコンバージョンするステップを含み、前記第２動きベクトルフィールドが、前記第２中間動きベクトルフィールドより更に高い解像度を有する、請求項１に記載の、特定の動きベクトルを推定する方法。
12. 特定の空間的位置を有し、ビデオ画像の系列の第１画像及び第２画像の間における時間的位置において位置される、特定の画素に関する特定の動きベクトルを、前記第１画像に関して推定される第１動きベクトルフィールドに基づくとともに、前記第２画像に関して推定される第２動きベクトルフィールドに基づき推定する動き推定ユニットであって、前記動き推定ユニットが、
    −前記特定の画素の前記特定の空間的位置に基づき、前記第１動きベクトルフィールド及び第２動きベクトルフィールドから複数の動きベクトルを選択することによって一群の動きベクトルを生成する群生成手段と、
    −前記一群のベクトルに順序統計的演算を実行することによって前記特定の動きベクトルを確定する確定手段と、
    を有する動き推定ユニット。
13. −ビデオ画像の系列に対応する信号を受信する受信手段と、
    −前記ビデオ画像の第１画像に関する第１動きベクトルフィールド及び、前記ビデオ画像の第２画像に関する第２動きベクトルフィールドを推定する動き推定手段と、
    −特定の空間的位置を有し、前記ビデオ画像の前記第１画像及び前記ビデオ画像の前記第２画像の間における時間的位置において位置される、特定の画素に関する特定の動きベクトルを推定する動き推定ユニットであって、
    −前記特定の画素の前記特定の空間的位置に基づき、前記第１動きベクトルフィールド及び第２動きベクトルフィールドから複数の動きベクトルを選択することによって一群の動きベクトルを生成する群生成手段と、
    −前記一群のベクトルに順序統計的演算を実行することによって前記特定の動きベクトルを確定する確定手段と、
    を有する前記動き推定ユニットと、
    −前記ビデオの系列及び前記特定の動きベクトルに基づき出力画像の系列を計算する画像処理ユニットと、
    を有する画像処理機器。
14. 前記出力画像を表示する表示装置を更に備える、請求項１３に記載の画像処理機器。
15. テレビである、請求項１４に記載の画像処理機器。
16. 特定の空間的位置を有し、ビデオ画像の系列の第１画像及び第２画像の間における時間的位置において位置される、特定の画素に関する特定の動きベクトルを、前記第１画像に関して推定される第１動きベクトルフィールドに基づくとともに、前記第２画像に関して推定される第２動きベクトルフィールドに基づき推定する命令を有する、計算機構成によってロードされるべき計算機プログラムであって、前記計算機構成が、処理手段及びメモリを備え、前記計算機プログラムが、ロードされた後に
    −前記特定の画素の前記特定の空間的位置に基づき、前記第１動きベクトルフィールド及び第２動きベクトルフィールドから複数の動きベクトルを選択することによって一群の動きベクトルを生成するステップと、
    −前記一群のベクトルに順序統計的演算を実行することによって前記特定の動きベクトルを確定するステップと、
    を実行する能力を前記処理手段に提供する計算機プログラム。

Images