JP2950633B2 - 動きベクトル検出装置 - Google Patents
動きベクトル検出装置Info
- Publication number
- JP2950633B2 JP2950633B2 JP6322791A JP6322791A JP2950633B2 JP 2950633 B2 JP2950633 B2 JP 2950633B2 JP 6322791 A JP6322791 A JP 6322791A JP 6322791 A JP6322791 A JP 6322791A JP 2950633 B2 JP2950633 B2 JP 2950633B2
- Authority
- JP
- Japan
- Prior art keywords
- vector
- motion vector
- pixel block
- search range
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【産業上の利用分野】この発明は、各種画像処理装置、
画像圧縮符号化装置に用いられる画像内の物体の動きを
検出する動きベクトル検出装置に関するものである。
画像圧縮符号化装置に用いられる画像内の物体の動きを
検出する動きベクトル検出装置に関するものである。
【０００２】
【従来の技術】従来、画像内の移動物体の動きベクトル
を検出する方法として「画像のディジタル信号処理」
（吹抜 敬彦著 日刊工業新聞社発行 ｐｐ．２２１〜
２２７）に記載されている各種の方法がある。以下、従
来例として上記文献に記載されている「連続する画像の
差を最小にする偏位を求める方法」を説明する。
を検出する方法として「画像のディジタル信号処理」
（吹抜 敬彦著 日刊工業新聞社発行 ｐｐ．２２１〜
２２７）に記載されている各種の方法がある。以下、従
来例として上記文献に記載されている「連続する画像の
差を最小にする偏位を求める方法」を説明する。
【０００３】この方法は、基本的には、時間的に連続す
る２枚の画像（連続２フレームとも言う）を少しづつず
らしながら、差が最小になるところを探してそのずれの
量を動きとし、その動きをベクトル（ｘp ，ｙp ）を用
いて表す方法である。即ち、ｉを現フレーム画像のフレ
ーム番号として、前フレーム画像ｇi-1 （ｘ，ｙ）と現
フレーム画像ｇi （ｘ，ｙ）とを考え、前フレーム画像
をｘ方向にｘp ，ｙ方向にｙp ずらして、次の（１）式
あるいは、（２）式を満足するｘ軸方向及びｙ軸方向の
偏位量ｘp 及びｙp を得て、前フレーム画像の位置（ｘ
−ｘp ，ｙ−ｙp ）から現フレーム画像の位置（ｘ，
ｙ）に移動した動きベクトル（ｘp ，ｙp ）を検出する
方法である。
る２枚の画像（連続２フレームとも言う）を少しづつず
らしながら、差が最小になるところを探してそのずれの
量を動きとし、その動きをベクトル（ｘp ，ｙp ）を用
いて表す方法である。即ち、ｉを現フレーム画像のフレ
ーム番号として、前フレーム画像ｇi-1 （ｘ，ｙ）と現
フレーム画像ｇi （ｘ，ｙ）とを考え、前フレーム画像
をｘ方向にｘp ，ｙ方向にｙp ずらして、次の（１）式
あるいは、（２）式を満足するｘ軸方向及びｙ軸方向の
偏位量ｘp 及びｙp を得て、前フレーム画像の位置（ｘ
−ｘp ，ｙ−ｙp ）から現フレーム画像の位置（ｘ，
ｙ）に移動した動きベクトル（ｘp ，ｙp ）を検出する
方法である。
【０００４】
【数１】 minΣΣ｜ｇi （ｘ，ｙ）−ｇi-1 （ｘ−ｘp ，ｙ−ｙp ）｜ （１） minΣΣ［ｇi （ｘ，ｙ）−ｇi-1 （ｘ−ｘp ，ｙ−ｙp ）］2 （２）
【０００５】なお、（１）式及び（２）式を計算するブ
ロックの大きさ（サンメンション範囲）は、対象とする
画像処理装置にもよるが、８×８画素あるいは１６×１
６画素のブロックがよく使われている。
ロックの大きさ（サンメンション範囲）は、対象とする
画像処理装置にもよるが、８×８画素あるいは１６×１
６画素のブロックがよく使われている。
【０００６】図２は、かかる方法を適用した従来の動き
ベクトル検出装置の構成を示すものである。図２におい
て、現フレームメモリ１は、入力画像５（現フレーム画
像データ）を格納し、前フレームメモリ２は現フレーム
メモリ１から与えられた１フレーム前の画像（前フレー
ム画像データ）を格納するものである。アドレス発生回
路３は、現フレームメモリ１に対して２次元アドレス
（ｘ，ｙ）１１を発生し、画像データｇi （ｘ，ｙ）６
を出力させる。また、前フレームメモリ２に対して、あ
らかじめ決められた範囲（ベクトル検索範囲）の中で、
２次元アドレス（ｘ，ｙ）からｘ方向にｘp ，ｙ方向に
ｙpだけずれたアドレス（ｘ−ｘp ，ｙ−ｙp ）１０を
発生し、画像データｇi-1 （ｘ−ｘp ，ｙ−ｙp ）７を
出力させる。また、このアドレスのずれ（ｘp ，ｙp ）
１２を最適ベクトル判別回路４に出力する。最適ベクト
ル判別回路４は、現フレームメモリ１から出力された画
像データｇi （ｘ，ｙ）６と前フレームメモリ２から出
力された画像データｇi-1 （ｘ−ｘp ，ｙ−ｙp ）７に
対して、あらかじめ決められた範囲（画素ブロック）の
中で、次の（３）式あるいは（４）式の演算を行い、動
きベクトルを判定するための値Ｅｒｒ（ｘp ，ｙp ）
（以下、誤差量と呼ぶ）を算出する。
ベクトル検出装置の構成を示すものである。図２におい
て、現フレームメモリ１は、入力画像５（現フレーム画
像データ）を格納し、前フレームメモリ２は現フレーム
メモリ１から与えられた１フレーム前の画像（前フレー
ム画像データ）を格納するものである。アドレス発生回
路３は、現フレームメモリ１に対して２次元アドレス
（ｘ，ｙ）１１を発生し、画像データｇi （ｘ，ｙ）６
を出力させる。また、前フレームメモリ２に対して、あ
らかじめ決められた範囲（ベクトル検索範囲）の中で、
２次元アドレス（ｘ，ｙ）からｘ方向にｘp ，ｙ方向に
ｙpだけずれたアドレス（ｘ−ｘp ，ｙ−ｙp ）１０を
発生し、画像データｇi-1 （ｘ−ｘp ，ｙ−ｙp ）７を
出力させる。また、このアドレスのずれ（ｘp ，ｙp ）
１２を最適ベクトル判別回路４に出力する。最適ベクト
ル判別回路４は、現フレームメモリ１から出力された画
像データｇi （ｘ，ｙ）６と前フレームメモリ２から出
力された画像データｇi-1 （ｘ−ｘp ，ｙ−ｙp ）７に
対して、あらかじめ決められた範囲（画素ブロック）の
中で、次の（３）式あるいは（４）式の演算を行い、動
きベクトルを判定するための値Ｅｒｒ（ｘp ，ｙp ）
（以下、誤差量と呼ぶ）を算出する。
【０００７】
【数２】 Ｅｒｒ（ｘp , ｙp ）＝ΣΣ｜ｇi （ｘ，ｙ）−ｇi-1 （ｘ−ｘp ，ｙ−ｙp ）｜ （３） Ｅｒｒ（ｘp ，ｙp ）＝ΣΣ［ｇi （ｘ，ｙ）−ｇi-1 （ｘ−ｘp ，ｙ−ｙp ）］2 （４）
【０００８】以上の演算処理をｘp ，ｙp を変えなが
ら、ベクトル検索範囲内の全てのベクトル候補に対して
行い、（１）式あるいは（２）式を満足するベクトル即
ち、前記誤差量を最小化するベクトルを算出する。この
ベクトル（ｘq ，ｙq ）を当該画素ブロックの動きベク
トルとし、次の（５）式で示す画像の予測誤差信号ｇsi
（ｘ，ｙ）８、及び動きベクトル（ｘq ，ｙq ）９を出
力する。なお、上記の方法は、平均最小誤差によるパタ
ーンマッチングあるいは、平均最小二乗誤差によるパタ
ーンマッチングと呼ばれている。
ら、ベクトル検索範囲内の全てのベクトル候補に対して
行い、（１）式あるいは（２）式を満足するベクトル即
ち、前記誤差量を最小化するベクトルを算出する。この
ベクトル（ｘq ，ｙq ）を当該画素ブロックの動きベク
トルとし、次の（５）式で示す画像の予測誤差信号ｇsi
（ｘ，ｙ）８、及び動きベクトル（ｘq ，ｙq ）９を出
力する。なお、上記の方法は、平均最小誤差によるパタ
ーンマッチングあるいは、平均最小二乗誤差によるパタ
ーンマッチングと呼ばれている。
【０００９】 ｇsi（ｘ，ｙ）＝ｇi （ｘ，ｙ）−ｇi-1 （ｘ−ｘq ，ｙ−ｙq ） （５）
【００１０】
【発明が解決しようとする課題】しかしながら、上記構
成の装置では、図４（ａ）にも示すように、検索範囲内
の全ての画素ブロックに対して式（１）あるいは式
（２）の評価を行わなければ着目画素ブロックの動きベ
クトルの検出が出来ないので、演算量が膨大となり、動
きベクトルの検出効率が極めて悪いという問題点があ
る。この問題点を回避するためには、従来の方式では検
索範囲を狭めるしかないが、一方検索範囲を狭めると、
物体の動きが検索範囲を越える可能性が大きくなり、動
きベクトルの検出精度が低下してしまう。
成の装置では、図４（ａ）にも示すように、検索範囲内
の全ての画素ブロックに対して式（１）あるいは式
（２）の評価を行わなければ着目画素ブロックの動きベ
クトルの検出が出来ないので、演算量が膨大となり、動
きベクトルの検出効率が極めて悪いという問題点があ
る。この問題点を回避するためには、従来の方式では検
索範囲を狭めるしかないが、一方検索範囲を狭めると、
物体の動きが検索範囲を越える可能性が大きくなり、動
きベクトルの検出精度が低下してしまう。
【００１１】また、従来の方式では、各画素ブロックに
対して独立にパターンマッチングによる動きベクトルを
検出しているので、偶発的に似たようなパターン（画素
ブロック）が生じた場合に、動きベクトルを誤って検出
する可能性がある。特にカラー画像の場合に、一般に輝
度成分に対してのみ動きベクトル検出が行われるので、
このような動きベクトル検出の誤りによる悪影響が大き
い。また、物体の輪郭部では、前記誤検出が多く発生す
る。
対して独立にパターンマッチングによる動きベクトルを
検出しているので、偶発的に似たようなパターン（画素
ブロック）が生じた場合に、動きベクトルを誤って検出
する可能性がある。特にカラー画像の場合に、一般に輝
度成分に対してのみ動きベクトル検出が行われるので、
このような動きベクトル検出の誤りによる悪影響が大き
い。また、物体の輪郭部では、前記誤検出が多く発生す
る。
【００１２】この発明は、上述の演算量と動きベクトル
精度のトレードオフ問題を解決し、動きベクトル検出の
誤り低減、特に、物体の輪郭部における動きベクトル検
出精度の向上に優れた動きベクトル検出装置を提供する
ことを目的とする。
精度のトレードオフ問題を解決し、動きベクトル検出の
誤り低減、特に、物体の輪郭部における動きベクトル検
出精度の向上に優れた動きベクトル検出装置を提供する
ことを目的とする。
【００１３】
【課題を解決するための手段】そのために、本発明の動
きベクトル検出装置は下記の手段を備えている。 （ａ）１フレーム分の画像データを記憶する現フレーム
メモリ。 （ｂ）過去の１フレーム分の画像データを記憶する前フ
レームメモリ。 （ｃ）前記現フレームメモリに対して所定の大きさの画
素ブロック内の画素アド レスを順次発生し、前記前フレームメモリに対して検索
範囲決定手段によって決定された検索範囲内で、予測ベ
クトル発生手段から得られる予測ベクトルに基づき前記
所定の大きさの画素ブロックをずらしながら当該画素ブ
ロック内の画素アドレスを順次発生するアドレス発生手
段。 （ｄ）前記現フレームメモリ及び前記前フレームメモリ
より出力される画像デー タから、現フレームにおける着目画素ブロックの動きベ
クトルとして最適なベクトルをパターンマッチングによ
り判別する最適ベクトル判別手段。 （ｅ）前記動きベクトルを格納する動きベクトル格納メ
モリ。 （ｆ）着目する画素ブロック周辺の画素ブロックの動き
ベクトルを用いて、当該 画素ブロックの動きを予測し、予測ベクトルを発生させ
ると共に、当該予測ベクトルの信頼度を算出する予測ベ
クトル発生手段。 （ｇ）前記予測ベクトル発生手段から出力される予測ベ
クトルの信頼度に基づき 動きベクトルの検索範囲を決定する検索範囲決定手段。
きベクトル検出装置は下記の手段を備えている。 （ａ）１フレーム分の画像データを記憶する現フレーム
メモリ。 （ｂ）過去の１フレーム分の画像データを記憶する前フ
レームメモリ。 （ｃ）前記現フレームメモリに対して所定の大きさの画
素ブロック内の画素アド レスを順次発生し、前記前フレームメモリに対して検索
範囲決定手段によって決定された検索範囲内で、予測ベ
クトル発生手段から得られる予測ベクトルに基づき前記
所定の大きさの画素ブロックをずらしながら当該画素ブ
ロック内の画素アドレスを順次発生するアドレス発生手
段。 （ｄ）前記現フレームメモリ及び前記前フレームメモリ
より出力される画像デー タから、現フレームにおける着目画素ブロックの動きベ
クトルとして最適なベクトルをパターンマッチングによ
り判別する最適ベクトル判別手段。 （ｅ）前記動きベクトルを格納する動きベクトル格納メ
モリ。 （ｆ）着目する画素ブロック周辺の画素ブロックの動き
ベクトルを用いて、当該 画素ブロックの動きを予測し、予測ベクトルを発生させ
ると共に、当該予測ベクトルの信頼度を算出する予測ベ
クトル発生手段。 （ｇ）前記予測ベクトル発生手段から出力される予測ベ
クトルの信頼度に基づき 動きベクトルの検索範囲を決定する検索範囲決定手段。
【００１４】そして、前記予測ベクトル発生手段は、着
目する画素ブロック周辺の画素ブロックの動きベクトル
を、その類似度によりグループ分けし、着目する画素ブ
ロックが属すべきグループを判断し、当該グループに属
する各画素ブロックの動きベクトルから特徴ベクトルを
検出して着目する画素ブロックの予測ベクトルとして出
力すると共に該予測ベクトルの信頼度を出力することを
特徴としている。
目する画素ブロック周辺の画素ブロックの動きベクトル
を、その類似度によりグループ分けし、着目する画素ブ
ロックが属すべきグループを判断し、当該グループに属
する各画素ブロックの動きベクトルから特徴ベクトルを
検出して着目する画素ブロックの予測ベクトルとして出
力すると共に該予測ベクトルの信頼度を出力することを
特徴としている。
【００１５】
【作用】本発明は、以下に述べる点に着目して、動きベ
クトルを検出するための演算量を少なくすると同時に、
検出精度、特に、移動物体の輪郭部における動きベクト
ルの検出精度を向上させようとするものである。
クトルを検出するための演算量を少なくすると同時に、
検出精度、特に、移動物体の輪郭部における動きベクト
ルの検出精度を向上させようとするものである。
【００１６】即ち、画像内の移動物体は、一般的にある
程度の大きさを持ち、その画像を小画素ブロックに分割
した場合に（例えば、８×８画素、１６×１６画素）、
移動物体は複数個の画素ブロックにまたがると考えられ
る。また、移動物体内部の各画素ブロックは、ほぼ同一
の動きをし、移動物体の内部と外部では異なった動きを
すると考えられる。この性質を利用して、動きベクトル
を検出しようとする現画素ブロック周辺の、すでに動き
ベクトルが検出された前画素ブロックに注目すれば、前
記現画素ブロックの動きが一定の精度で予測できる。従
って図４（ｂ）にも示すように、予測ベクトルの分だけ
移動した画素ブロック周辺の従来より狭い範囲内で検索
しても、動きベクトルの検索精度は低下せず、しかも演
算量は従来より少なく出来る。
程度の大きさを持ち、その画像を小画素ブロックに分割
した場合に（例えば、８×８画素、１６×１６画素）、
移動物体は複数個の画素ブロックにまたがると考えられ
る。また、移動物体内部の各画素ブロックは、ほぼ同一
の動きをし、移動物体の内部と外部では異なった動きを
すると考えられる。この性質を利用して、動きベクトル
を検出しようとする現画素ブロック周辺の、すでに動き
ベクトルが検出された前画素ブロックに注目すれば、前
記現画素ブロックの動きが一定の精度で予測できる。従
って図４（ｂ）にも示すように、予測ベクトルの分だけ
移動した画素ブロック周辺の従来より狭い範囲内で検索
しても、動きベクトルの検索精度は低下せず、しかも演
算量は従来より少なく出来る。
【００１７】また、従来の方法では、検索範囲内でしか
動きベクトルを検出できないが、本発明では、検索範囲
が動きベクトルの大きさを制限していないので、実質
上、広範囲に渡って動きベクトルを検出でき、検出精度
が向上する。
動きベクトルを検出できないが、本発明では、検索範囲
が動きベクトルの大きさを制限していないので、実質
上、広範囲に渡って動きベクトルを検出でき、検出精度
が向上する。
【００１８】
【実施例】以下、本発明の一実施例を図面を参照して説
明する。 ［動きベクトル検出装置の全体構成］先ず、実施例の動
きベクトル検出装置の全体構成について説明する。図１
は、本発明の実施例の構成を示すブロック図であり、２
０は現フレームメモリ、２１は前フレームメモリ、２２
はアドレス発生回路、２３は最適ベクトル判別回路、２
４は動きベクトル格納メモリ、２５は予測ベクトル発生
回路、２６は検索範囲決定回路である。
明する。 ［動きベクトル検出装置の全体構成］先ず、実施例の動
きベクトル検出装置の全体構成について説明する。図１
は、本発明の実施例の構成を示すブロック図であり、２
０は現フレームメモリ、２１は前フレームメモリ、２２
はアドレス発生回路、２３は最適ベクトル判別回路、２
４は動きベクトル格納メモリ、２５は予測ベクトル発生
回路、２６は検索範囲決定回路である。
【００１９】現フレームメモリ２０は入力画像信号２７
を格納するメモリであり、前フレームメモリ２１は、現
フレームメモリ２０から与えられる過去の１フレーム分
の画像信号あるいは、外部から与えられる過去の１フレ
ーム分の画像信号３９を格納するメモリである。
を格納するメモリであり、前フレームメモリ２１は、現
フレームメモリ２０から与えられる過去の１フレーム分
の画像信号あるいは、外部から与えられる過去の１フレ
ーム分の画像信号３９を格納するメモリである。
【００２０】アドレス発生回路２２は、現フレームメモ
リ２０に対して所定の画素ブロックスキャン法（図３
（ａ）参照）により、ブロック内の画素のアドレス
（ｘ，ｙ）３０を順次発生し、また前フレームメモリ２
１に対しては、後述の予測ベクトル発生回路２５から出
力される予測ベクトル（ｘr ，ｙr ）３６及び後述の検
索範囲決定回路２６から出力される検索範囲（Ｗx ，Ｗ
y ）３８に基づいて前記現フレームの画素ブロック位置
から予測ベクトル分移動し、さらに、検索範囲内で
（ξ，η）分移動した画素ブロック内の画素のアドレス
（ｘ−ｘr ＋ξ，ｙ−ｙr ＋η）を順次発生する。ま
た、このアドレスのずれ（ｘr −ξ，ｙr −η）を最適
ベクトル判別回路２３に出力する。以上の動作を１周期
として、検索範囲内の全ての移動可能なベクトル（ξ，
η）（｜ξ｜＜Ｗx ，｜η｜＜Ｗy ）に対して順次アド
レスを発生する。
リ２０に対して所定の画素ブロックスキャン法（図３
（ａ）参照）により、ブロック内の画素のアドレス
（ｘ，ｙ）３０を順次発生し、また前フレームメモリ２
１に対しては、後述の予測ベクトル発生回路２５から出
力される予測ベクトル（ｘr ，ｙr ）３６及び後述の検
索範囲決定回路２６から出力される検索範囲（Ｗx ，Ｗ
y ）３８に基づいて前記現フレームの画素ブロック位置
から予測ベクトル分移動し、さらに、検索範囲内で
（ξ，η）分移動した画素ブロック内の画素のアドレス
（ｘ−ｘr ＋ξ，ｙ−ｙr ＋η）を順次発生する。ま
た、このアドレスのずれ（ｘr −ξ，ｙr −η）を最適
ベクトル判別回路２３に出力する。以上の動作を１周期
として、検索範囲内の全ての移動可能なベクトル（ξ，
η）（｜ξ｜＜Ｗx ，｜η｜＜Ｗy ）に対して順次アド
レスを発生する。
【００２１】最適ベクトル判別回路２３は、現フレーム
メモリ２０から出力される画素ブロックのデータｇ
i （ｘ，ｙ）２８及び前フレームメモリ２１から出力さ
れる画素ブロックのデータｇi-1 （ｘ−ｘr ＋ξ，ｙ−
ｙr ＋η）２９に対して、ｘp ＝ｘr −ξ，ｙp ＝ｙr
−ηとして、前述の（３）式あるいは（４）式の演算を
行い、誤差量Ｅｒｒ（ｘr −ξ，ｙr −η）を算出す
る。以上の演算を１周期として、検索範囲内の全ての
（ξ，η）成分に対して上記誤差量を算出し、さらに式
（１）あるいは式（２）を満足する誤差量の最小値Ｅｒ
ｒ（ｘr −ξ0 ，ｙr −η0 ）を算出する。この（ｘr
−ξ0 ，ｙr−η0 ）を動きベクトルとして出力し、同
時に、現フレームにおける現画素ブロックの動きの補償
付き予測誤差信号として、次の（６）式で示す信号ｇsi
を出力する。
メモリ２０から出力される画素ブロックのデータｇ
i （ｘ，ｙ）２８及び前フレームメモリ２１から出力さ
れる画素ブロックのデータｇi-1 （ｘ−ｘr ＋ξ，ｙ−
ｙr ＋η）２９に対して、ｘp ＝ｘr −ξ，ｙp ＝ｙr
−ηとして、前述の（３）式あるいは（４）式の演算を
行い、誤差量Ｅｒｒ（ｘr −ξ，ｙr −η）を算出す
る。以上の演算を１周期として、検索範囲内の全ての
（ξ，η）成分に対して上記誤差量を算出し、さらに式
（１）あるいは式（２）を満足する誤差量の最小値Ｅｒ
ｒ（ｘr −ξ0 ，ｙr −η0 ）を算出する。この（ｘr
−ξ0 ，ｙr−η0 ）を動きベクトルとして出力し、同
時に、現フレームにおける現画素ブロックの動きの補償
付き予測誤差信号として、次の（６）式で示す信号ｇsi
を出力する。
【００２２】 ｇsi（ｘ，ｙ）＝ｇi （ｘ，ｙ）−ｇi-1 （ｘr −ξ0 ，ｙr −η0 ）（６）
【００２３】動きベクトル格納メモリ２４は、最適ベク
トル判別回路２３から出力される動きベクトル（ｘr −
ξ0 ，ｙr −η0 ）３４を格納する。
トル判別回路２３から出力される動きベクトル（ｘr −
ξ0 ，ｙr −η0 ）３４を格納する。
【００２４】予測ベクトル発生回路２５は、動きベクト
ルを検出しようとする現画素ブロックの周辺のすでに動
きベクトルが検出された前画素ブロックの動きベクトル
３５を用いて後述の動きベクトル予測法に基づき予測ベ
クトル（ｘs，ｙs ）３６を出力し、また、周辺の動き
ベクトルの情況から、後述の予測ベクトル信頼度決定法
により予測ベクトル（ｘs ，ｙs ）３６の信頼度（ｔ）
３７を出力する。
ルを検出しようとする現画素ブロックの周辺のすでに動
きベクトルが検出された前画素ブロックの動きベクトル
３５を用いて後述の動きベクトル予測法に基づき予測ベ
クトル（ｘs，ｙs ）３６を出力し、また、周辺の動き
ベクトルの情況から、後述の予測ベクトル信頼度決定法
により予測ベクトル（ｘs ，ｙs ）３６の信頼度（ｔ）
３７を出力する。
【００２５】検索範囲決定回路２６は、予測ベクトル発
生回路２５から出力される予測ベクトルの信頼度（ｔ）
３７に基づいて検索範囲を決定し、検索範囲（Ｗx ，Ｗ
y ）３８をアドレス発生回路２２に出力する。
生回路２５から出力される予測ベクトルの信頼度（ｔ）
３７に基づいて検索範囲を決定し、検索範囲（Ｗx ，Ｗ
y ）３８をアドレス発生回路２２に出力する。
【００２６】［動きベクトル予測法］画像データが図３
の様にＮ×Ｍ個（Ｎ，Ｍは正整数）の小画素ブロックに
分割され、各画素ブロックに対して図３に示すように左
から右へ、上から下へと順次動きベクトルを検出してい
く場合、現在検出しようとする画素ブロックをａとする
と、上方及び左方のブロックはすでに動きベクトルが検
出されたブロックである。このブロックａに隣接しすで
に動きベクトルが検出されたブロックｂ，ｃ，ｄ，ｅの
各ブロックに移動物体の輪郭が存在しない場合、ブロッ
クｂ，ｃ，ｄ，ｅは、ほぼ同一方向の動きベクトルを有
する。この時ブロックａも同じ方向の動きベクトルを有
すると予測できる。即ち、ある小さな値ε（例えば、ε
＝２）に対して、全ての周辺ブロックの動きベクトル成
分（ｘk ，ｙk ）（ｋ＝ｂ，ｃ，ｄ，ｅ）が、次の
（７）式及び（８）式を満足する場合にブロックａの予
測ベクトル（ｘs ，ｙs ）を、（９）式のように決定す
る。
の様にＮ×Ｍ個（Ｎ，Ｍは正整数）の小画素ブロックに
分割され、各画素ブロックに対して図３に示すように左
から右へ、上から下へと順次動きベクトルを検出してい
く場合、現在検出しようとする画素ブロックをａとする
と、上方及び左方のブロックはすでに動きベクトルが検
出されたブロックである。このブロックａに隣接しすで
に動きベクトルが検出されたブロックｂ，ｃ，ｄ，ｅの
各ブロックに移動物体の輪郭が存在しない場合、ブロッ
クｂ，ｃ，ｄ，ｅは、ほぼ同一方向の動きベクトルを有
する。この時ブロックａも同じ方向の動きベクトルを有
すると予測できる。即ち、ある小さな値ε（例えば、ε
＝２）に対して、全ての周辺ブロックの動きベクトル成
分（ｘk ，ｙk ）（ｋ＝ｂ，ｃ，ｄ，ｅ）が、次の
（７）式及び（８）式を満足する場合にブロックａの予
測ベクトル（ｘs ，ｙs ）を、（９）式のように決定す
る。
【００２７】
【数３】 ｜ｘk −［ｘ］｜＜ε，｜ｙk −［ｙ］｜＜ε （７）
【００２８】
【数４】 ［ｘ］＝（Σｘk ）／４，［ｙ］＝（Σｘk ）／４（ｋ＝ｂ，ｃ，ｄ，ｅ） （８）
【００２９】
【数５】 （ｘs ，ｙs ）＝（［ｘ］，［ｙ］） （９）
【００３０】ブロックｂ，ｃ，ｄ，ｅに移動物体の輪郭
が存在する場合は、輪郭線によってブロックｂ，ｃ，
ｄ，ｅ及びその周辺のブロックｆ，ｇ，ｈ，ｉ，ｊ，
ｋ，ｌ，ｍ等が２つ以上のグループに分割される。図３
（ｂ）は、輪郭線によるブロックの分割の様子を示す図
である。ブロックの分割によって、ブロックａがどのグ
ループに属するかを判定することが出来、そのグループ
の動きベクトルの特徴ベクトル（例えば、平均ベクト
ル）がブロックａの予測ベクトルとなる。
が存在する場合は、輪郭線によってブロックｂ，ｃ，
ｄ，ｅ及びその周辺のブロックｆ，ｇ，ｈ，ｉ，ｊ，
ｋ，ｌ，ｍ等が２つ以上のグループに分割される。図３
（ｂ）は、輪郭線によるブロックの分割の様子を示す図
である。ブロックの分割によって、ブロックａがどのグ
ループに属するかを判定することが出来、そのグループ
の動きベクトルの特徴ベクトル（例えば、平均ベクト
ル）がブロックａの予測ベクトルとなる。
【００３１】ブロックの分割は次のように行う。即ち、
隣接する２つのブロックの動きベクトルｖm ＝（ｘm ，
ｙm ）とｖn ＝（ｘn ，ｙn ）に対して次の式（１０）
により類似度を判定し、（１０）式を満足すればｖm と
ｖn は同一グループとし、満足しなければ別のグループ
とし、グループの境界を移動物体の輪郭と見做す。
隣接する２つのブロックの動きベクトルｖm ＝（ｘm ，
ｙm ）とｖn ＝（ｘn ，ｙn ）に対して次の式（１０）
により類似度を判定し、（１０）式を満足すればｖm と
ｖn は同一グループとし、満足しなければ別のグループ
とし、グループの境界を移動物体の輪郭と見做す。
【００３２】 ｜ｘm −ｘn ｜＜ε，｜ｙm −ｙn ｜＜ε （１０）
【００３３】例えば、図３（ｂ）に示すケースでは、ブ
ロックｂ，ｃ，ｄ，ｊ，ｋ，ｌ，ｍが一つのグループを
形成し、ブロックｅ，ｆ，ｇ，ｈ，ｉが一つのグループ
を形成している。この場合にブロックａはブロックｂ，
ｃ，ｄ，ｊ，ｋ，ｌ，ｍのグループに属すると判断し、
ブロックａの予測ベクトルはブロックｂ，ｃ，ｄ，ｊ，
ｋ，ｌ，ｍの動きベクトルの平均とする。以上説明した
ようにそれぞれのケースについて、ブロックａの予測ベ
クトルを求めることが出来る。また、３つ以上のグルー
プに分割されても、同様な方法でブロックａの属するグ
ループを求めることが出来、ブロックａの予測ベクトル
を求めることが出来る。
ロックｂ，ｃ，ｄ，ｊ，ｋ，ｌ，ｍが一つのグループを
形成し、ブロックｅ，ｆ，ｇ，ｈ，ｉが一つのグループ
を形成している。この場合にブロックａはブロックｂ，
ｃ，ｄ，ｊ，ｋ，ｌ，ｍのグループに属すると判断し、
ブロックａの予測ベクトルはブロックｂ，ｃ，ｄ，ｊ，
ｋ，ｌ，ｍの動きベクトルの平均とする。以上説明した
ようにそれぞれのケースについて、ブロックａの予測ベ
クトルを求めることが出来る。また、３つ以上のグルー
プに分割されても、同様な方法でブロックａの属するグ
ループを求めることが出来、ブロックａの予測ベクトル
を求めることが出来る。
【００３４】［予測ベクトルの信頼度決定方法］注目す
るブロックの周辺に存在し、かつ既に処理されたブロッ
クの動きベクトルを用いることにより、注目するブロッ
クの動きベクトルを検出する際の信頼度の決定方法につ
いて説明する。ここで、予測ベクトルの信頼度とは、予
測ベクトルが正しい動きベクトルである確率を示すもの
である。例えば「０」の場合には、信頼度が低いため、
動きベクトルの検索範囲を最大とする。「１」の場合に
は、信頼度が高いため、動きベクトルの検索範囲を最小
とする。前述の動きベクトル予測法において、画像の端
の部分では、予測用のブロックの一部または全部が欠け
ている場合がある。また、予測用のブロックに多数のグ
ループが存在し（３つ以上）検出しようとするブロック
ａがそれらの境界上にある場合に、予測ベクトルの信頼
度が低下する。このような不都合な状況に対応するため
に、以下のように予測ベクトルの信頼度を決定し、その
信頼度に応じて検索範囲を拡大し、検索精度を高める。
るブロックの周辺に存在し、かつ既に処理されたブロッ
クの動きベクトルを用いることにより、注目するブロッ
クの動きベクトルを検出する際の信頼度の決定方法につ
いて説明する。ここで、予測ベクトルの信頼度とは、予
測ベクトルが正しい動きベクトルである確率を示すもの
である。例えば「０」の場合には、信頼度が低いため、
動きベクトルの検索範囲を最大とする。「１」の場合に
は、信頼度が高いため、動きベクトルの検索範囲を最小
とする。前述の動きベクトル予測法において、画像の端
の部分では、予測用のブロックの一部または全部が欠け
ている場合がある。また、予測用のブロックに多数のグ
ループが存在し（３つ以上）検出しようとするブロック
ａがそれらの境界上にある場合に、予測ベクトルの信頼
度が低下する。このような不都合な状況に対応するため
に、以下のように予測ベクトルの信頼度を決定し、その
信頼度に応じて検索範囲を拡大し、検索精度を高める。
【００３５】（Ａ）動きベクトルを検出しようとする現
画素ブロックａが最上方または最左方に位置する場合及
びそれ以外の位置で前画素ブロックｂ，ｃ，ｄ，ｅが３
つ以上のグループに分割された場合に予測ベクトルを
（０，０）とし、信頼度ｔもｔ＝（０，０）とし、検索
範囲を最大検索範囲（Ｗ0 ，Ｗ0 ）（例えばＷo ＝１
６）とする。
画素ブロックａが最上方または最左方に位置する場合及
びそれ以外の位置で前画素ブロックｂ，ｃ，ｄ，ｅが３
つ以上のグループに分割された場合に予測ベクトルを
（０，０）とし、信頼度ｔもｔ＝（０，０）とし、検索
範囲を最大検索範囲（Ｗ0 ，Ｗ0 ）（例えばＷo ＝１
６）とする。
【００３６】（Ｂ）前述の動きベクトル予測法に基づい
て、前画素ブロックから現画素ブロックの予測ベクトル
が一意に決定できる場合に、その信頼度をｔ＝（１，
１）とし、検索範囲を最小検索範囲（Ｗ1 ，Ｗ1 ）（例
えば、Ｗ1 ＝４）とする。
て、前画素ブロックから現画素ブロックの予測ベクトル
が一意に決定できる場合に、その信頼度をｔ＝（１，
１）とし、検索範囲を最小検索範囲（Ｗ1 ，Ｗ1 ）（例
えば、Ｗ1 ＝４）とする。
【００３７】（Ｃ）前記（ａ），（ｂ）以外の場合、即
ち、前画素ブロックが２つのグループに分割され、現画
素ブロックａがどのグループに属するか判断できない場
合に、両グループの特徴ベクトル（例えば、平均ベクト
ル）の平均を予測ベクトルとし、両グループの特徴ベク
トルのばらつきに応じて信頼度を決定する。例えば、グ
ループ１の特徴ベクトルｖ1 ＝（ｘ1 ，ｙ1 ），グルー
プ２の特徴ベクトルをｖ2 ＝（ｘ2 ，ｙ2 ）とし、信頼
度ｔ＝（ｔx ，ｔy ）を（１１ａ）式及び（１１ｂ）式
により求める。但しＷ0 は前述の最大検索範囲であり、
またｔx ＜０のときにはｔx ＝０，ｔy ＜０のときには
ｔy ＝０とする。
ち、前画素ブロックが２つのグループに分割され、現画
素ブロックａがどのグループに属するか判断できない場
合に、両グループの特徴ベクトル（例えば、平均ベクト
ル）の平均を予測ベクトルとし、両グループの特徴ベク
トルのばらつきに応じて信頼度を決定する。例えば、グ
ループ１の特徴ベクトルｖ1 ＝（ｘ1 ，ｙ1 ），グルー
プ２の特徴ベクトルをｖ2 ＝（ｘ2 ，ｙ2 ）とし、信頼
度ｔ＝（ｔx ，ｔy ）を（１１ａ）式及び（１１ｂ）式
により求める。但しＷ0 は前述の最大検索範囲であり、
またｔx ＜０のときにはｔx ＝０，ｔy ＜０のときには
ｔy ＝０とする。
【００３８】 ｔx ＝１−｜ｘ1 −ｘ2 ｜／Ｗ0 （１１ａ） ｔy ＝１−｜ｙ1 −ｙ2 ｜／Ｗ0 （１１ｂ）
【００３９】また、検索範囲決定回路２６は信頼度ｔの
大きさに応じて検索範囲（Ｗx ，Ｗy ）を（１２ａ）式
及び（１２ｂ）式のように決定する。但し、Ｗ0 は前述
の最大検索範囲であり、Ｗ1 は前述の最小検索範囲であ
る。
大きさに応じて検索範囲（Ｗx ，Ｗy ）を（１２ａ）式
及び（１２ｂ）式のように決定する。但し、Ｗ0 は前述
の最大検索範囲であり、Ｗ1 は前述の最小検索範囲であ
る。
【００４０】 Ｗx ＝Ｗ0 −ｔx ・（Ｗ0 −Ｗ1 ） （１２ａ） Ｗy ＝Ｗ0 −ｔy ・（Ｗ0 −Ｗ1 ） （１２ｂ）
【００４１】
【発明の効果】以上、詳細に説明したように、本発明に
よれば、検出しようとする画素ブロックとその周辺のブ
ロックとの関連、特に、従来の技術では誤って検出しや
すい輪郭部の特性を充分考慮しているので、高精度の動
きベクトル検出が期待できる。また、動きベクトルを的
確に予測することによって、充分小さな検索範囲でも高
精度に動きベクトルが検出できるので、演算時間及び演
算量が大幅に短縮できる。また、本発明によれば、検出
可能な最大動きベクトルは検索範囲の制約を受けなくな
るので、制限された検索時間又は検索能力の中でも大き
な動きベクトルを検出でき、広範囲、高速、高精度な動
きベクトルの検出が期待できる。
よれば、検出しようとする画素ブロックとその周辺のブ
ロックとの関連、特に、従来の技術では誤って検出しや
すい輪郭部の特性を充分考慮しているので、高精度の動
きベクトル検出が期待できる。また、動きベクトルを的
確に予測することによって、充分小さな検索範囲でも高
精度に動きベクトルが検出できるので、演算時間及び演
算量が大幅に短縮できる。また、本発明によれば、検出
可能な最大動きベクトルは検索範囲の制約を受けなくな
るので、制限された検索時間又は検索能力の中でも大き
な動きベクトルを検出でき、広範囲、高速、高精度な動
きベクトルの検出が期待できる。
【図１】本発明の実施例の構成を示すブロック図であ
る。
る。
【図２】従来の動きベクトル検出装置の構成を示すブロ
ック図である。
ック図である。
【図３】動きベクトル予測法の説明図である。
【図４】動きベクトルと検索範囲との関係を示す図であ
る。
る。
２０ 現フレームメモリ ２１ 前フレームメモリ ２２ アドレス発生回路 ２３ 最適ベクトル判別回路 ２４ 動きベクトル格納メモリ ２５ 予測ベクトル発生回路 ２６ 検索範囲決定回路 ２７ 入力画像信号 ３３ 予測誤差信号 ３４ 動きベクトル
フロントページの続き (72)発明者 原田 洋子 東京都港区虎ノ門１丁目７番12号 沖電 気工業株式会社内 (58)調査した分野(Int.Cl.6，ＤＢ名) H04N 7/24 - 7/68
Claims (2)
- 【請求項１】 画像の動きベクトル検出装置において、 （ａ）１フレーム分の画像データを記憶する現フレーム
メモリと、 （ｂ）過去の１フレーム分の画像データを記憶する前フ
レームメモリと、 （ｃ）前記現フレームメモリに対して所定の大きさの画
素ブロック内の画素アドレスを順次発生し、前記前フレ
ームメモリに対して検索範囲決定手段によって決定され
た検索範囲内で、予測ベクトル発生手段から得られる予
測ベクトルに基づき前記所定の大きさの画素ブロックを
ずらしながら当該画素ブロック内の画素アドレスを順次
発生するアドレス発生手段と、 （ｄ）前記現フレームメモリおよび前記前フレームメモ
リより出力される画像データから、現フレームにおける
着目画素ブロックの動きベクトルとして最適なベクトル
をパターンマッチングにより判別する最適ベクトル判別
手段と、 （ｅ）前記動きベクトルを格納する動きベクトル格納メ
モリと、 （ｆ）着目する画素ブロック周辺の画素ブロックの動き
ベクトルを用いて、当該画素ブロックの動きを予測し、
予測ベクトルを発生させると共に、前記着目する画素ブ
ロック周辺の画素ブロックの動きベクトルと前記着目す
る画素ブロックの予測ベクトルとの差分が大きい場合に
は低くなるように、 小さい場合には高くなるように、 当該予測ベクトルが正しい動きベクトルである確率を示
す 予測ベクトルの信頼度を算出する予測ベクトル発生手
段と、 （ｇ）前記予測ベクトル発生手段から出力される予測ベ
クトルの信頼度が高い場合には動きベクトルの検索範囲
を狭めるように、 低い場合には動きベクトルの検索範囲を広めるように、 動きベクトルの検索範囲を決定する検索範囲決定手段
と、 を備えたことを特徴とする動きベクトル検出装置。 - 【請求項２】 請求項１記載の予測ベクトル発生手段に
おいて、着目する画素ブロック周辺の画素ブロックの動
きベクトルを、その類似度によりグループ分けし、着目
する画素ブロックが属すべきグループを判断し、当該グ
ループに属する各画素ブロックの動きベクトルから特徴
ベクトルを検出して着目する画素ブロックの予測ベクト
ルとして出力すると共に該予測ベクトルの信頼度を出力
することを特徴とする請求項１記載の動きベクトル検出
装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6322791A JP2950633B2 (ja) | 1991-03-27 | 1991-03-27 | 動きベクトル検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6322791A JP2950633B2 (ja) | 1991-03-27 | 1991-03-27 | 動きベクトル検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04298184A JPH04298184A (ja) | 1992-10-21 |
| JP2950633B2 true JP2950633B2 (ja) | 1999-09-20 |
Family
ID=13223113
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6322791A Expired - Lifetime JP2950633B2 (ja) | 1991-03-27 | 1991-03-27 | 動きベクトル検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2950633B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2040222A1 (en) | 2007-09-21 | 2009-03-25 | Kabushiki Kaisha Toshiba | Motion prediction apparatus and motion prediction method |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10271515A (ja) * | 1997-03-26 | 1998-10-09 | Sanyo Electric Co Ltd | 注目領域追跡方法、その方法を用いた注目領域追跡装置および画像符号化方法 |
| KR100516711B1 (ko) * | 1997-08-07 | 2005-11-25 | 마츠시타 덴끼 산교 가부시키가이샤 | 모션벡터검출장치및모션벡터검출방법 |
| GB2348064A (en) * | 1999-03-16 | 2000-09-20 | Mitsubishi Electric Inf Tech | Motion vector field encoding |
| WO2001010135A1 (en) | 1999-07-29 | 2001-02-08 | Mitsubishi Denki Kabushiki Kaisha | Moving vector detecting method |
| CN101682775B (zh) * | 2007-03-14 | 2015-04-01 | 日本电信电话株式会社 | 运动矢量搜索方法和装置 |
| WO2008111511A1 (ja) | 2007-03-14 | 2008-09-18 | Nippon Telegraph And Telephone Corporation | 符号量推定方法、装置、そのプログラムおよび記録媒体 |
| CN101632308B (zh) | 2007-03-14 | 2011-08-03 | 日本电信电话株式会社 | 编码比特率控制方法和装置 |
| ES2676119T3 (es) | 2007-03-14 | 2018-07-16 | Nippon Telegraph And Telephone Corporation | Método de control de cuantificación, dispositivo, programa y medio de grabación que contiene el programa |
-
1991
- 1991-03-27 JP JP6322791A patent/JP2950633B2/ja not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2040222A1 (en) | 2007-09-21 | 2009-03-25 | Kabushiki Kaisha Toshiba | Motion prediction apparatus and motion prediction method |
| US8243801B2 (en) | 2007-09-21 | 2012-08-14 | Kabushiki Kaisha Toshiba | Motion prediction apparatus and motion prediction method |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH04298184A (ja) | 1992-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8335257B2 (en) | Vector selection decision for pixel interpolation | |
| US20080291167A1 (en) | Pointing device and displacement estimation method | |
| JP2950633B2 (ja) | 動きベクトル検出装置 | |
| EP1584068A2 (en) | Method and apparatus for depth ordering of digital images | |
| US20060098886A1 (en) | Efficient predictive image parameter estimation | |
| JP4385077B1 (ja) | 動きベクトル検出装置および画像処理装置 | |
| JPH06150007A (ja) | 動きベクトル検出装置 | |
| US5943450A (en) | Apparatus and method for compensating for camera vibration during video photography | |
| US9106926B1 (en) | Using double confirmation of motion vectors to determine occluded regions in images | |
| JPH07154801A (ja) | 階層型動きベクトル検出方法 | |
| JP3321936B2 (ja) | 移動物体検出装置 | |
| JP3020299B2 (ja) | 動きベクトル検出装置 | |
| JPH0478286A (ja) | 初期偏位ベクトルを用いた動きベクトルの検出方法 | |
| JP3537616B2 (ja) | ビデオシーケンスの時間的に順次連続する画像の画素に対する、計算機による動き予測方法 | |
| JP2940247B2 (ja) | 動物体輪郭検出装置 | |
| JP3941900B2 (ja) | 動きベクトル検出装置 | |
| JPH08195956A (ja) | 動き量検出方法及び動き量検出装置 | |
| JP2000152244A (ja) | 動きベクトル検出方法および画像符号化方法 | |
| KR100516711B1 (ko) | 모션벡터검출장치및모션벡터검출방법 | |
| JP2006215657A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
| JP2000102015A (ja) | 動きベクトル検出装置及び動きベクトル検出方法 | |
| JPH05176314A (ja) | 画像の動き検出装置 | |
| JP4100321B2 (ja) | セグメント単位画像符号化装置及びセグメント単位画像符号化プログラム | |
| JP3033291B2 (ja) | 画素間相関適応型動き検出方式 | |
| JP3437606B2 (ja) | 動きベクトル検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19990622 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080709 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090709 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100709 Year of fee payment: 11 |