JP2002540516A - ビデオ信号処理 - Google Patents
ビデオ信号処理Info
- Publication number
- JP2002540516A JP2002540516A JP2000607162A JP2000607162A JP2002540516A JP 2002540516 A JP2002540516 A JP 2002540516A JP 2000607162 A JP2000607162 A JP 2000607162A JP 2000607162 A JP2000607162 A JP 2000607162A JP 2002540516 A JP2002540516 A JP 2002540516A
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- motion
- depth information
- blocks
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012545 processing Methods 0.000 title claims description 11
- 230000033001 locomotion Effects 0.000 claims abstract description 61
- 238000003672 processing method Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 12
- 238000002372 labelling Methods 0.000 claims description 7
- 230000001419 dependent effect Effects 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims 1
- 230000002093 peripheral effect Effects 0.000 claims 1
- 230000001902 propagating effect Effects 0.000 claims 1
- 239000013598 vector Substances 0.000 description 6
- 238000013459 approach Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 2
- 101100293260 Homo sapiens NAA15 gene Proteins 0.000 description 1
- 102100026781 N-alpha-acetyltransferase 15, NatA auxiliary subunit Human genes 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
- G06T7/231—Analysis of motion using block-matching using full search
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
- Television Systems (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Picture Signal Circuits (AREA)
Abstract
(57)【要約】
ビデオ信号処理方法では、ビデオ信号の一部分は、この一部分（Ｎ−Ｍ）に対して信頼性のある動き又は奥行き情報（ｄ１、ｄ２）が得られ得ない場合にマッチング不可（Ｎ−Ｍ）としてラベル付け（Ｌ）され、ビデオ信号（Ｖ）に対して動き又は奥行き情報（ｄ１、ｄ２）が生成され、ビデオ信号（Ｖ）に対して生成される動き又は奥行き情報からビデオ信号（Ｖ）のマッチング不可の一部分（Ｎ−Ｍ）に対して動き又は奥行き情報（ｄ１、ｄ２）が発生される。
Description
【０００１】 本発明は、ビデオ信号処理のための方法及び装置に関する。より特定的には、
本発明は、動き及び／又は奥行きの推定に関する。
本発明は、動き及び／又は奥行きの推定に関する。
【０００２】 T．Yoshida，H．Katoh，及び，Y．Sakaiによる文書“Block matching motio
n estimation using block integration based on reliability metric
”，Proceedings International Conference on Image Processing，pp．1
52-155，volumeII of III，October 26-29，1997，Santa Barbara，Calforn
iaは、動きベクトルの正確さ及び干渉性を改善するために動き推定技法を提案す
る。提案された技法は、動きベクトルの信頼性計量を使用するマッチングブロッ
ク統合に基づく。最初に、信頼性計量は、目標画像中の全てのマッチングブロッ
クに対して計算され、この値及びその方向に対する依存性に基づいて４つの近隣
のマッチングブロックが統合されるべきか否かがチェックされる。最後に、動き
ベクトルは、ブロックマッチング技法によって統合されたマッチングブロックに
対して推定される。ブロック統合が平坦なマッチングブロック又は簡単な縁を有
するブロックに対してだけ実施されるため、干渉性が改善される一方で動き補償
の実施は可能な限り離れて維持される。
n estimation using block integration based on reliability metric
”，Proceedings International Conference on Image Processing，pp．1
52-155，volumeII of III，October 26-29，1997，Santa Barbara，Calforn
iaは、動きベクトルの正確さ及び干渉性を改善するために動き推定技法を提案す
る。提案された技法は、動きベクトルの信頼性計量を使用するマッチングブロッ
ク統合に基づく。最初に、信頼性計量は、目標画像中の全てのマッチングブロッ
クに対して計算され、この値及びその方向に対する依存性に基づいて４つの近隣
のマッチングブロックが統合されるべきか否かがチェックされる。最後に、動き
ベクトルは、ブロックマッチング技法によって統合されたマッチングブロックに
対して推定される。ブロック統合が平坦なマッチングブロック又は簡単な縁を有
するブロックに対してだけ実施されるため、干渉性が改善される一方で動き補償
の実施は可能な限り離れて維持される。
【０００３】 Z．Eisips及びD．Malahによる文書“Global motion estimation for imag
e sequence coding applications”，17th Convention of elcetrical a
nd electronical engineers in Israel，Proc．1991，pp．186-189は、画像
シーケンス中のグローバルな動きの推定に対するアルゴリズムを説明する。アル
ゴリズムは、ブロック移動推定に基づく。アルゴリズムは、一組の最も信頼度の
高いブロック移動を選択し、これらの移動からモデルパラメータの初期の推定を
得るために最小二乗スキームを適用する。次に、移動がこの推定と互換性がない
ブロックを捨てるために確認段が使用される。ブロックは、得られた平均絶対差
（MAD）が閾値よりも低いときによくマッチングされる。マッチングは、このMAD
が動き補償の無いMADよりも著しくよいときに最も信頼がある。実際の動きが局
部的なマッチングアルゴリズムによって正確に推定され得ない平滑な画像領域並
びにノイズのようなテクスチャ領域に対して得られる移動推定の使用を回避する
方法としてみられてもよい。最後に、確認されたブロック移動だけを使用して最
小二乗スキームは、モデルパラメータのより正確な推定を得るために適用される
。
e sequence coding applications”，17th Convention of elcetrical a
nd electronical engineers in Israel，Proc．1991，pp．186-189は、画像
シーケンス中のグローバルな動きの推定に対するアルゴリズムを説明する。アル
ゴリズムは、ブロック移動推定に基づく。アルゴリズムは、一組の最も信頼度の
高いブロック移動を選択し、これらの移動からモデルパラメータの初期の推定を
得るために最小二乗スキームを適用する。次に、移動がこの推定と互換性がない
ブロックを捨てるために確認段が使用される。ブロックは、得られた平均絶対差
（MAD）が閾値よりも低いときによくマッチングされる。マッチングは、このMAD
が動き補償の無いMADよりも著しくよいときに最も信頼がある。実際の動きが局
部的なマッチングアルゴリズムによって正確に推定され得ない平滑な画像領域並
びにノイズのようなテクスチャ領域に対して得られる移動推定の使用を回避する
方法としてみられてもよい。最後に、確認されたブロック移動だけを使用して最
小二乗スキームは、モデルパラメータのより正確な推定を得るために適用される
。
【０００４】 本発明は、とりわけ改善された推定技法を提供することを目的とする。このた
めに本発明は、独立項に記載の通りビデオ信号処理方法及び装置を提供する。有
利な実施例は、従属項に記載される。
めに本発明は、独立項に記載の通りビデオ信号処理方法及び装置を提供する。有
利な実施例は、従属項に記載される。
【０００５】 本発明の第１の面によるビデオ信号処理方法では、ビデオ信号部分は、信頼性
のある動き又は奥行き情報がこのような部分に対して得られ得ない場合にマッチ
ング不可の部分としてラベル付けされ、動き又は奥行き情報は、ビデオ信号に対
して生成され、動き又は奥行き情報は、ビデオ信号に対して生成される動き又は
奥行き情報からビデオ信号のマッチング不可の部分に対して発生される。
のある動き又は奥行き情報がこのような部分に対して得られ得ない場合にマッチ
ング不可の部分としてラベル付けされ、動き又は奥行き情報は、ビデオ信号に対
して生成され、動き又は奥行き情報は、ビデオ信号に対して生成される動き又は
奥行き情報からビデオ信号のマッチング不可の部分に対して発生される。
【０００６】 本発明の上記及び他の面は、以下に説明する実施例を参照して明らかになり明
確になる。
確になる。
【０００７】 本発明は、以下の認識に基づくものである。ビデオ画像中の奥行き推定は、ブ
ロックマッチング動き推定アプローチ法に基づかれ得る。マッチング不可と称さ
れ得る幾つかのブロックは、正確なマッチングのための十分でない情報を含んで
もよい。本発明は、これらマッチング不可のブロックの定義及びマッチングアル
ゴリズム反復の間及び後にそれらを取扱うルールを提案する。
ロックマッチング動き推定アプローチ法に基づかれ得る。マッチング不可と称さ
れ得る幾つかのブロックは、正確なマッチングのための十分でない情報を含んで
もよい。本発明は、これらマッチング不可のブロックの定義及びマッチングアル
ゴリズム反復の間及び後にそれらを取扱うルールを提案する。
【０００８】 動き抽出からのブロックに基づく構造は、画像をブロックに分割することを提
案する。反復マッチング処理の前にブロックは順序づけられる。幾つかの順序づ
ける方法が可能である。ブロックをライン毎に処理する代わりに一つの解決策は
、夫々が含むテクスチャ情報（信頼度）の量に従って順序付けることである。こ
の方法により処理は、最も正確な結果を提供し得る域から始められる。最も悪い
テクスチャを含み、従って、ノイズでのマッチングを可能にするブロックは、最
後に処理される。マッチング処理中、ブロックは、最適マッチングをする近隣の
動きからの結果として新しい動きの値によるものである。これは、動き（奥行き
）情報の伝搬として考えられ得る。このアプローチは、非常にきめを出された域
からきめを出されていない域へ画像中の情報の伝搬を可能にする。
案する。反復マッチング処理の前にブロックは順序づけられる。幾つかの順序づ
ける方法が可能である。ブロックをライン毎に処理する代わりに一つの解決策は
、夫々が含むテクスチャ情報（信頼度）の量に従って順序付けることである。こ
の方法により処理は、最も正確な結果を提供し得る域から始められる。最も悪い
テクスチャを含み、従って、ノイズでのマッチングを可能にするブロックは、最
後に処理される。マッチング処理中、ブロックは、最適マッチングをする近隣の
動きからの結果として新しい動きの値によるものである。これは、動き（奥行き
）情報の伝搬として考えられ得る。このアプローチは、非常にきめを出された域
からきめを出されていない域へ画像中の情報の伝搬を可能にする。
【０００９】 画像フレームに対する一反復中、全てのブロックが対象とされる。
【００１０】 その結果として、全てのブロックは、新しい動きの値の源となり得る。テクス
チャの質が乏しいブロックを考慮すると、２つの情況、即ち、このようなブロッ
クの近隣ブロックは、このブロックに正確な動き情報を伝搬するのに十分豊富で
ある情況、及び、近隣ブロックもテクスチャが乏しくノイズでのマッチングのた
めマッチングの質が高くなり得る情況を有し得る。
チャの質が乏しいブロックを考慮すると、２つの情況、即ち、このようなブロッ
クの近隣ブロックは、このブロックに正確な動き情報を伝搬するのに十分豊富で
ある情況、及び、近隣ブロックもテクスチャが乏しくノイズでのマッチングのた
めマッチングの質が高くなり得る情況を有し得る。
【００１１】 第１の場合では、アルゴリズムは、最もよくマッチングする近隣ブロックから
情報をコピーする。最もよくマッチングする近隣ブロックが最も高い信頼度の近
隣ブロックから選択されるため、考慮されるブロックの新しい動きの値に関して
も信頼度が高い。
情報をコピーする。最もよくマッチングする近隣ブロックが最も高い信頼度の近
隣ブロックから選択されるため、考慮されるブロックの新しい動きの値に関して
も信頼度が高い。
【００１２】 第２の場合では、テクスチャが乏しい領域から信頼度の高いブロックが選択さ
れるため、最適なマッチングブッロクは、特徴でなくノイズにおいてマッチング
され得る。コピーされる動きの値は、低い信頼度でもよい。これにより、テクス
チャが乏しい近隣に広がるエラーのある動きの値の発生を生じさせる。
れるため、最適なマッチングブッロクは、特徴でなくノイズにおいてマッチング
され得る。コピーされる動きの値は、低い信頼度でもよい。これにより、テクス
チャが乏しい近隣に広がるエラーのある動きの値の発生を生じさせる。
【００１３】 ブロックのマッチング中に生じる別の問題は、完全に同じブロックを含む域に
関する問題である。これらは、例えば、空間的に不変の繰り返されるテクスチャ
モチーフによって構成されてもよい。このようなブロックに対して、最適なマッ
チングは、幾つかの動き従って奥行きの値に対して得られ得る。非常にきめを出
されたブロックは、エラーのある動きの値の発生器となってもよい。
関する問題である。これらは、例えば、空間的に不変の繰り返されるテクスチャ
モチーフによって構成されてもよい。このようなブロックに対して、最適なマッ
チングは、幾つかの動き従って奥行きの値に対して得られ得る。非常にきめを出
されたブロックは、エラーのある動きの値の発生器となってもよい。
【００１４】 マッチング不可のブロックの概念が解決策となり得る。近隣ブロックとのマッ
チングが正確な結果を導き出さない瞬間にブロックをマッチング不可と称する。
このようなブロックに対して、ブロックマッチングは実施されない。マッチング
不可のブロックを含む小さい域は、マッチング不可の域と称される。
チングが正確な結果を導き出さない瞬間にブロックをマッチング不可と称する。
このようなブロックに対して、ブロックマッチングは実施されない。マッチング
不可のブロックを含む小さい域は、マッチング不可の域と称される。
【００１５】 ブロックのマッチング不可能性を決定するために次の基準を提案する。まず、
全ての近隣ブロックのテクスチャ情報のエントロピーは、例えば、平滑な画像領
域及び／又は平坦なマッチングブロックの許容可能性の閾値以下でもよい。次に
、隣接ブロックのマッチングの質は、許容可能性の閾値以下、即ち、マッチング
エラーが非常に高くてもよい。最後に、近隣ブロックは、考慮されるブロックと
同一でもよい。
全ての近隣ブロックのテクスチャ情報のエントロピーは、例えば、平滑な画像領
域及び／又は平坦なマッチングブロックの許容可能性の閾値以下でもよい。次に
、隣接ブロックのマッチングの質は、許容可能性の閾値以下、即ち、マッチング
エラーが非常に高くてもよい。最後に、近隣ブロックは、考慮されるブロックと
同一でもよい。
【００１６】 一実施例では、エントロピーは、８つの角だけが使用される［２］に説明する
ような技法を使用して計算され得ることで計算が効率的となるが、エントロピー
に対してより安い近似も使用され得る。
ような技法を使用して計算され得ることで計算が効率的となるが、エントロピー
に対してより安い近似も使用され得る。
【００１７】 マッチング不可のブロックは、アルゴリズムの最後の反復までマスクされる。
最後の反復では、近隣ブロックからの値は、マッチング不可のブロックの域にコ
ピーされる。
最後の反復では、近隣ブロックからの値は、マッチング不可のブロックの域にコ
ピーされる。
【００１８】 マッチング不可の域中の情報伝搬を制御するために、マッチング不可の域中で
周囲のマッチング可能なブロックから勾配情報（テクスチャの変化の勾配）が伝
搬される。これは、マッチング不可のブロックが異なる動きのマッチング可能な
近隣ブロックによって囲まれているとき特に重要である。図１は、このアプロー
チを説明する。考え方は、動き（奥行き）値を外の勾配を延ばすようにして伝搬
することである。
周囲のマッチング可能なブロックから勾配情報（テクスチャの変化の勾配）が伝
搬される。これは、マッチング不可のブロックが異なる動きのマッチング可能な
近隣ブロックによって囲まれているとき特に重要である。図１は、このアプロー
チを説明する。考え方は、動き（奥行き）値を外の勾配を延ばすようにして伝搬
することである。
【００１９】 図１では、ｄ１及びｄ２は、マッチング可能なブロックに対して得られる動き
又は奥行き情報を示す。Ｎ−Ｍは、マッチング不可のブロックを示す。上の行の
太線は、勾配ｇを示す。この勾配ｇは、途切れた太線ｐｇによって示す垂直方向
に伝搬される。値ｄ２は、マッチング不可のブロックＮ−Ｍに割り当てられる。
又は奥行き情報を示す。Ｎ−Ｍは、マッチング不可のブロックを示す。上の行の
太線は、勾配ｇを示す。この勾配ｇは、途切れた太線ｐｇによって示す垂直方向
に伝搬される。値ｄ２は、マッチング不可のブロックＮ−Ｍに割り当てられる。
【００２０】 図２は、本発明によるビデオ信号処理の実施例を示す図である。入力ビデオ信
号Ｖは、ラベルヅケユニットＬと、動き推定器ＭＥと、高めるエンハンスメント
ユニットＥＵとに印加される。任意に、ラベル付けユニットＬの出力信号は、動
き推定器ＭＥがマッチング不可のブロックＮ−Ｍのために動きベクトルを得よう
とすることを防止するために動き推定器ＭＥに印加される。動き推定量ＭＥの出
力は、マッチング不可のブロックＮ−Ｍのための動きベクトルを得るために発生
ユニットＰＵに印加される。ビデオ信号の全てのブロックに対する動きベクトル
は、例えば、二倍のフィールド速度を有する高められたビデオ信号ＥＶを生成す
るためにエンハンスユニットに印加される。高められたビデオ信号ＥＶは、表示
ユニットＤに印加される。
号Ｖは、ラベルヅケユニットＬと、動き推定器ＭＥと、高めるエンハンスメント
ユニットＥＵとに印加される。任意に、ラベル付けユニットＬの出力信号は、動
き推定器ＭＥがマッチング不可のブロックＮ−Ｍのために動きベクトルを得よう
とすることを防止するために動き推定器ＭＥに印加される。動き推定量ＭＥの出
力は、マッチング不可のブロックＮ−Ｍのための動きベクトルを得るために発生
ユニットＰＵに印加される。ビデオ信号の全てのブロックに対する動きベクトル
は、例えば、二倍のフィールド速度を有する高められたビデオ信号ＥＶを生成す
るためにエンハンスユニットに印加される。高められたビデオ信号ＥＶは、表示
ユニットＤに印加される。
【００２１】 本発明の第１の面は、以下の通りに要約される。信頼性のある動き／奥行き情
報は、テクスチャが豊富なブロックに対して生成され得るが、テクスチャが乏し
いブロックに対しては生成されない。更に、テクスチャが豊富なブロックであっ
ても同一のブロックの域、例えば、空間的に不変の繰りされるテクスチャモチー
フを有する域がある場合、問題が生じる。このようなブロックに対して、最適な
マッチングは、動き／奥行きの幾つかの値に対して得られ得る。夫々のタイプの
ブロックをマッチング不可のブロックとしてラベル付けすることが提案される。
これらのブロックは、アルゴリズムの最後の反復までマスクされる。その後、マ
ッチング可能なブロックに対して得られる値は、近隣のマッチング不可のブロッ
クにコピーされる。好ましくは、マッチング不可のブロックの全域がある場合、
近隣のマッチング可能なブロックからの値は、２つの異なって移動する対象物か
らの情報を混合することを回避するよう（テクスチャの変化の）勾配の方向にマ
ッチング不可の域中に伝搬される。本発明は、よりよい動き／奥行き推定の質を
結果として招く。本発明は、ビデオシーケンスに基づく静的環境のための奥行き
の再構成に有利に適用される。
報は、テクスチャが豊富なブロックに対して生成され得るが、テクスチャが乏し
いブロックに対しては生成されない。更に、テクスチャが豊富なブロックであっ
ても同一のブロックの域、例えば、空間的に不変の繰りされるテクスチャモチー
フを有する域がある場合、問題が生じる。このようなブロックに対して、最適な
マッチングは、動き／奥行きの幾つかの値に対して得られ得る。夫々のタイプの
ブロックをマッチング不可のブロックとしてラベル付けすることが提案される。
これらのブロックは、アルゴリズムの最後の反復までマスクされる。その後、マ
ッチング可能なブロックに対して得られる値は、近隣のマッチング不可のブロッ
クにコピーされる。好ましくは、マッチング不可のブロックの全域がある場合、
近隣のマッチング可能なブロックからの値は、２つの異なって移動する対象物か
らの情報を混合することを回避するよう（テクスチャの変化の）勾配の方向にマ
ッチング不可の域中に伝搬される。本発明は、よりよい動き／奥行き推定の質を
結果として招く。本発明は、ビデオシーケンスに基づく静的環境のための奥行き
の再構成に有利に適用される。
【００２２】 上述の実施例は、本発明を制限するものではなく例示するものであり、当業者
は、請求の範囲から逸脱すること無く多数の選択的な実施例を設計できることに
注意する。クレームでは、括弧内の全ての参照記号は、クレームを制限するもの
として解釈されてはならない。「有する、含む」といった用語は、クレームに記
載する以外の他の素子又は段階の存在を除外するものではない。本明細書及び特
許請求の範囲において、素子は単数形で表わされているが、同じ素子が複数個存
在することを除外するものではない。本発明は、幾つかの明らかな素子を有する
ハードウェア、及び、適切にプログラムされたコンピュータを用いて実行され得
る。幾つかの手段を列挙する装置クレームでは、これらの手段のうち幾つかは、
一つの同一のハードウェアによって具体化され得る。
は、請求の範囲から逸脱すること無く多数の選択的な実施例を設計できることに
注意する。クレームでは、括弧内の全ての参照記号は、クレームを制限するもの
として解釈されてはならない。「有する、含む」といった用語は、クレームに記
載する以外の他の素子又は段階の存在を除外するものではない。本明細書及び特
許請求の範囲において、素子は単数形で表わされているが、同じ素子が複数個存
在することを除外するものではない。本発明は、幾つかの明らかな素子を有する
ハードウェア、及び、適切にプログラムされたコンピュータを用いて実行され得
る。幾つかの手段を列挙する装置クレームでは、これらの手段のうち幾つかは、
一つの同一のハードウェアによって具体化され得る。
【００２３】 方法クレームでは、段階の順序は、必ずしもクレーム中に記載する段階の順序
でなくてもよい。より特定的には、動き又は奥行き情報を生成する段階は、ビデ
オ信号のある部分がマッチング不可とラベル付けされる段階の前に行なわれても
よく、生成段階は、高いマッチングエラーが得られるビデオ信号の部分をマッチ
ング不可としてラベル付けするためにマッチングエラーが使用される場合、ラベ
ル付け段階の前に行われなくてはならない。しかしながら、ラベル「マッチング
不可」でテクスチャの少ない結果を招く点でラベル付け段階がテクスチャ情報に
基づく場合、ラベル付け段階は、動き又は奥行き情報の生成段階の前に行われて
もよく、ラベル付け段階を生成段階の前に行うことは、マッチング不可としてラ
ベル付けされていないビデオ信号の部分に対してだけ生成段階が行なわれる必要
があるといった利点を提供する。
でなくてもよい。より特定的には、動き又は奥行き情報を生成する段階は、ビデ
オ信号のある部分がマッチング不可とラベル付けされる段階の前に行なわれても
よく、生成段階は、高いマッチングエラーが得られるビデオ信号の部分をマッチ
ング不可としてラベル付けするためにマッチングエラーが使用される場合、ラベ
ル付け段階の前に行われなくてはならない。しかしながら、ラベル「マッチング
不可」でテクスチャの少ない結果を招く点でラベル付け段階がテクスチャ情報に
基づく場合、ラベル付け段階は、動き又は奥行き情報の生成段階の前に行われて
もよく、ラベル付け段階を生成段階の前に行うことは、マッチング不可としてラ
ベル付けされていないビデオ信号の部分に対してだけ生成段階が行なわれる必要
があるといった利点を提供する。
【００２４】 ［参照］ ［１］G.de Haan, Motion Estimation and Compensation. “An integrated a
pproach to consumer display field rate conversion”, Ph.D. thesis, 1992
. ［２］Piotr Wilinski and Kees van Overveld, "Depth From Motion using C
onfidence Based Block Matching", Image and Multidimensional Digital Sign
al Processing Workshop, Alpbach, Austria, July 1998. ［３］Piotr Wilinski and Kees van Overveld, "Motion or depth estimatio
n", PCT application no. PCT/IB99/00162 (Attorneys' docket PHN 17.017).
pproach to consumer display field rate conversion”, Ph.D. thesis, 1992
. ［２］Piotr Wilinski and Kees van Overveld, "Depth From Motion using C
onfidence Based Block Matching", Image and Multidimensional Digital Sign
al Processing Workshop, Alpbach, Austria, July 1998. ［３］Piotr Wilinski and Kees van Overveld, "Motion or depth estimatio
n", PCT application no. PCT/IB99/00162 (Attorneys' docket PHN 17.017).
【図１】 隣接している勾配がある動き又は奥行きの伝搬方向を示す図である。
【図２】 本発明によるビデオ信号処理装置の実施例を示す図である。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ファン オフェルフェルト，コルネリス ウェー アー エム オランダ国，5656 アーアー アインドー フェン， プロフ・ホルストラーン ６ Ｆターム(参考） 5C061 AA21 AB08 5L096 GA12 GA19 GA34 HA04
Claims (6)
- 【請求項１】 ビデオ信号の一部分に対して信頼性のある動き又は奥行き情
報が得られ得ない場合に上記一部分をマッチング不可としてラベル付けする段階
と、 上記ビデオ信号に対して動き又は奥行き情報を生成する段階と、 上記ビデオ信号に対して生成される上記動き又は奥行き情報から上記ビデオ信
号の上記マッチング不可の一部分に対して動き又は奥行き情報を発生する段階と
を有するビデオ信号処理方法。 - 【請求項２】 上記発生段階は、上記マッチング不可の一部分に隣接する上
記ビデオ信号の一部分から動き又は奥行き情報の値を上記マッチング不可の一部
分にコピーする段階を含む請求項１記載の方法。 - 【請求項３】 上記発生段階は、上記マッチング不可の一部分に対して外の
勾配を延ばすよう上記ビデオ信号の周囲の部分から上記マッチング不可の一部分
中に勾配情報を伝搬する段階を含む請求項１記載の方法。 - 【請求項４】 ビデオ信号の一部分に対して信頼性のある動き又は奥行き情
報が得られ得ない場合に上記一部分をマッチング不可としてラベル付けする手段
と、 上記ビデオ信号に対して動き又は奥行き情報を生成する手段と、 上記ビデオ信号に対して生成される上記動き又は奥行き情報から上記ビデオ信
号の上記マッチング不可の一部分に対して動き又は奥行き情報を発生する手段と
を有するビデオ信号処理装置。 - 【請求項５】 高められた信号を得るために上記動き又は奥行き情報に依存
して上記ビデオ信号を高める手段を更に有する請求項４記載のビデオ処理装置。 - 【請求項６】 上記高められた信号を表示する手段を更に有する請求項５記
載のビデオ信号処理装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP99200849 | 1999-03-18 | ||
| EP99200849.0 | 1999-03-18 | ||
| PCT/EP2000/001556 WO2000057360A1 (en) | 1999-03-18 | 2000-02-25 | Video signal processing |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002540516A true JP2002540516A (ja) | 2002-11-26 |
Family
ID=8240004
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000607162A Withdrawn JP2002540516A (ja) | 1999-03-18 | 2000-02-25 | ビデオ信号処理 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US6563873B1 (ja) |
| EP (1) | EP1078332B9 (ja) |
| JP (1) | JP2002540516A (ja) |
| KR (1) | KR20010025045A (ja) |
| AT (1) | ATE315821T1 (ja) |
| DE (1) | DE60028884T2 (ja) |
| ES (1) | ES2254155T3 (ja) |
| WO (1) | WO2000057360A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008518331A (ja) * | 2004-10-25 | 2008-05-29 | ヒューレット−パッカード デベロップメント カンパニー エル．ピー． | リアルタイムビデオ動き解析を通じたビデオコンテンツ理解 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2174293B1 (en) * | 2007-07-03 | 2011-04-27 | Koninklijke Philips Electronics N.V. | Computing a depth map |
| KR101682137B1 (ko) | 2010-10-25 | 2016-12-05 | 삼성전자주식회사 | 텍스처 및 움직임 감지를 사용한 시간적으로-일관된 변이 추정을 위한 방법 및 장치 |
| CN105306077B (zh) * | 2014-06-12 | 2017-12-01 | 中国石油天然气集团公司 | 信号解码方法及装置 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0397206B1 (en) | 1989-05-12 | 1997-07-30 | Nec Corporation | Adaptive interframe prediction coded video communications system |
| SG50718A1 (en) * | 1993-10-11 | 1998-07-20 | Thomson Multimedia Sa | Method and apparatus for correcting motion vectors |
| KR0178231B1 (ko) | 1995-08-10 | 1999-05-01 | 배순훈 | 계층적인 움직임 추정 기법을 이용하는 움직임 벡터 검출 방법 및 장치 |
| EP0720382B1 (en) | 1994-12-30 | 2000-04-12 | Daewoo Electronics Co., Ltd | Variable size block matching motion estimation apparatus |
| US5526295A (en) * | 1994-12-30 | 1996-06-11 | Intel Corporation | Efficient block comparisons for motion estimation |
| DE69618759T2 (de) * | 1995-09-06 | 2002-09-12 | Koninklijke Philips Electronics N.V., Eindhoven | Verfahren und system zur kodierung einer sequenz von segmentierten bildern , kodiertes signal und speichermedium, verfahren und system zur dekodierung des kodierten signals |
| DE69609702T2 (de) * | 1995-10-25 | 2001-04-12 | Koninklijke Philips Electronics N.V., Eindhoven | Verfahren und system zur kodierung segmentierter bilder sowie entsprechendes dekodierungsverfahren und -system |
| US5929940A (en) * | 1995-10-25 | 1999-07-27 | U.S. Philips Corporation | Method and device for estimating motion between images, system for encoding segmented images |
| GB9623573D0 (en) * | 1996-11-13 | 1997-01-08 | Philips Electronics Nv | Image segmentation |
| BR9805971A (pt) * | 1997-02-06 | 1999-08-31 | Koninkl Philips Electronics Nv | Processo e sistema para segmentação e rastreamento de objetos |
| KR100301113B1 (ko) * | 1998-08-05 | 2001-09-06 | 오길록 | 윤곽선 추적에 의한 동영상 객체 분할 방법 |
-
2000
- 2000-02-25 EP EP00912504A patent/EP1078332B9/en not_active Expired - Lifetime
- 2000-02-25 JP JP2000607162A patent/JP2002540516A/ja not_active Withdrawn
- 2000-02-25 KR KR1020007012979A patent/KR20010025045A/ko active IP Right Grant
- 2000-02-25 WO PCT/EP2000/001556 patent/WO2000057360A1/en not_active Application Discontinuation
- 2000-02-25 DE DE60028884T patent/DE60028884T2/de not_active Expired - Lifetime
- 2000-02-29 AT AT00912054T patent/ATE315821T1/de not_active IP Right Cessation
- 2000-02-29 ES ES00912054T patent/ES2254155T3/es not_active Expired - Lifetime
- 2000-03-14 US US09/525,693 patent/US6563873B1/en not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008518331A (ja) * | 2004-10-25 | 2008-05-29 | ヒューレット−パッカード デベロップメント カンパニー エル．ピー． | リアルタイムビデオ動き解析を通じたビデオコンテンツ理解 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1078332A1 (en) | 2001-02-28 |
| WO2000057360A1 (en) | 2000-09-28 |
| ATE315821T1 (de) | 2006-02-15 |
| US6563873B1 (en) | 2003-05-13 |
| EP1078332B1 (en) | 2006-06-21 |
| EP1078332B9 (en) | 2006-08-30 |
| ES2254155T3 (es) | 2006-06-16 |
| DE60028884D1 (de) | 2006-08-03 |
| KR20010025045A (ko) | 2001-03-26 |
| DE60028884T2 (de) | 2007-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tsai et al. | Dense disparity estimation with a divide-and-conquer disparity space image technique | |
| JP4777433B2 (ja) | ビデオ前景の分割方法 | |
| US8711938B2 (en) | Methods and systems for motion estimation with nonlinear motion-field smoothing | |
| US20100123792A1 (en) | Image processing device, image processing method and program | |
| CN109963048B (zh) | 降噪方法、降噪装置及降噪电路系统 | |
| CN102074020B (zh) | 对视频进行多体深度恢复和分割的方法 | |
| JPH10285602A (ja) | 映像データをエンコードするための動的なスプライト | |
| KR20000064847A (ko) | 이미지 분할 및 대상 트랙킹 방법, 및 대응 시스템 | |
| US9811918B2 (en) | Method and apparatus for estimating image optical flow | |
| US20060165315A1 (en) | Method and apparatus for depth ordering of digital images | |
| JP2001520781A (ja) | 動き又はデプス推定 | |
| JP2001175863A (ja) | 多視点画像内挿方法および装置 | |
| Ye et al. | Estimating piecewise-smooth optical flow with global matching and graduated optimization | |
| Abraham et al. | A survey on video inpainting | |
| JP2002540516A (ja) | ビデオ信号処理 | |
| JP3268258B2 (ja) | ２次元三角パッチ線格子モデルを用いた動画像の動き推定方法 | |
| Kang et al. | Adaptive support of spatial–temporal neighbors for depth map sequence up-sampling | |
| JP5014987B2 (ja) | ビデオモード検出による動き補償 | |
| Amintoosi et al. | Precise image registration with structural similarity error measurement applied to superresolution | |
| KR19990032058A (ko) | 2차원 병진 움직임 벡터와 선형 회기법을 이용한 전역 움직임존재 유무 판정 방법 | |
| Smith et al. | Segmentation of Multiple Motions by Edge Tracking between Two Frames. | |
| JP3774028B2 (ja) | 動画像の動き量推定装置 | |
| JP2004531012A (ja) | セグメント照合における優先順位付け | |
| Suryadarma et al. | Motion estimation using adaptive matching and multiscale methods | |
| Chien et al. | Fast disparity estimation algorithm for mesh-based stereo image/video compression with two-stage hybrid approach |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070222 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20070517 |