[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5163429B2 - 動きベクトル検出装置、その処理方法およびプログラム - Google Patents

動きベクトル検出装置、その処理方法およびプログラム Download PDF

Info

Publication number
JP5163429B2
JP5163429B2 JP2008284628A JP2008284628A JP5163429B2 JP 5163429 B2 JP5163429 B2 JP 5163429B2 JP 2008284628 A JP2008284628 A JP 2008284628A JP 2008284628 A JP2008284628 A JP 2008284628A JP 5163429 B2 JP5163429 B2 JP 5163429B2
Authority
JP
Japan
Prior art keywords
luminance difference
sum
reference block
search range
calculation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008284628A
Other languages
English (en)
Other versions
JP2010114597A (ja
Inventor
正幸 横山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008284628A priority Critical patent/JP5163429B2/ja
Priority to US12/588,329 priority patent/US8619863B2/en
Priority to CN2009102118562A priority patent/CN101739688B/zh
Publication of JP2010114597A publication Critical patent/JP2010114597A/ja
Application granted granted Critical
Publication of JP5163429B2 publication Critical patent/JP5163429B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Description

本発明は、動きベクトル検出装置に関し、特にブロックマッチング手法を用いる動きベクトル検出装置、および、その処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
動画像データを扱う際には、動画像データにおけるフレーム間の動きベクトルを用いることによって動画像データを圧縮できることが広く知られている。この動きベクトルを検出する手法としては、一般にブロックマッチングと呼ばれる手法が用いられる。このブロックマッチング手法では、２つの入力画像である基準フレームおよび参照フレームにおいて、その基準フレームに設定される基準ブロックと、参照フレームにおける探索領域内に複数設定される参照ブロックとの間の相関度がそれぞれ求められる。そして、その求められた相関度のうち最も相関度の高い参照ブロックに基づいて基準ブロックに対する動きベクトルを算出する。
このようなブロックマッチング手法においては、複数設定される参照ブロックと基準ブロックとの間の相関度を参照フレームごとに算出するため、処理量が多くなり、消費電力が大きくなってしまう。このため、２つの入力画像に基づいて参照フレームにおける探索領域の大きさを変更する手法が考案されている。例えば、基準フレームにおける基準ブロックと、参照フレームにおける所定位置のブロックとの間の相関度に基づいて探索領域を設定する動きベクトル検出装置が提案されている（例えば、特許文献１参照。）。
特開２０００−０７８５８０号公報（図２）
上述の従来技術では、基準フレームにおける基準ブロックと参照フレームにおける所定位置のブロックとの間の相関度に基づいて、探索領域を所定の大きさに設定することができる。しかしながら、基準ブロック内に物体のエッジなどが含まれる場合には、相関度が低くなり、大きな探索領域が設定されることによって、処理量が増えて消費電力が大きくなってしまうことがある。
本発明はこのような状況に鑑みてなされたものであり、ブロックマッチング手法による動きベクトル検出処理における消費電力を抑制することを目的とする。
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、基準フレームに設定される基準ブロックにおける所定の画素に対する画素間の輝度差である空間輝度差の絶対値の総和を算出する空間輝度差総和算出部と、上記基準ブロックに対応する参照フレームにおける対応ブロックと上記基準ブロックとにおいて互いに対応する画素間の輝度差である時間輝度差の絶対値の総和を算出する時間輝度差総和算出部と、上記基準ブロックに対する動きベクトルを探索するための上記参照フレームにおける探索範囲を上記空間輝度差の絶対値の総和と上記時間輝度差の絶対値の総和とに基づいて算出する探索範囲算出部と、上記探索範囲によって定まる上記参照フレームにおける探索領域内に参照ブロックを設定して上記設定された参照ブロックと上記基準ブロックとの間の相関度に基づいてブロックマッチングを行うことによって上記動きベクトルを計算するブロックマッチング計算部とを具備する動きベクトル検出装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、上記参照フレームにおける探索範囲を、空間輝度差の絶対値の総和と時間輝度差の絶対値の総和とに基づいて算出させるという作用をもたらす。
また、この第１の側面において、上記探索範囲算出部は、上記空間輝度差の絶対値の総和が大きいほど上記探索範囲を小さくし、上記時間輝度差の絶対値の総和が大きいほど上記探索範囲を大きくするようにしてもよい。これにより、空間輝度差の絶対値の総和が大きいほど探索範囲を小さくさせ、時間輝度差の絶対値の総和が大きいほど探索範囲を大きさせるという作用をもたらす。この場合において、上記探索範囲算出部は、上記空間輝度差の絶対値の総和に反比例するとともに上記時間輝度差の絶対値の総和に比例する上記探索範囲を算出するようにしてもよい。これにより、空間輝度差の絶対値の総和に反比例するとともに、時間輝度差の絶対値の総和に比例する探索範囲を算出させるという作用をもたらす。
また、この第１の側面において、上記空間輝度差総和算出部は、上記空間輝度差の絶対値の総和として上記基準ブロックに対して水平方向および垂直方向の各方向における上記空間輝度差の絶対値の総和をそれぞれ算出し、上記探索範囲算出部は、上記時間輝度差の絶対値の総和と上記各方向における上記空間輝度差の絶対値の総和とに基づいて上記各方向における上記探索範囲をそれぞれ算出するようにしてもよい。これにより、基準ブロックに対して水平方向および垂直方向の各方向における空間輝度差の絶対値の総和をそれぞれ算出し、時間輝度差の絶対値の総和と、各方向における空間輝度差の絶対値の総和とに基づいて、各方向における探索範囲をそれぞれ算出させるという作用をもたらす。この場合において、上記空間輝度差総和算出部は、上記基準ブロックにおける上記所定の画素に対する上記時間輝度差の符号と上記各方向における上記空間輝度差の符号とに基づいて上記各方向における上記空間輝度差の絶対値を正側空間輝度差総和および負側空間輝度差総和のうちいずれか一方に加算するようにしてもよい。これにより、基準ブロックにおける所定の画素に対する時間輝度差の符号と、各方向における空間輝度差の符号とに基づいて、各方向における空間輝度差の絶対値を、正側空間輝度差総和および負側空間輝度差総和のうちいずれか一方に加算させるという作用をもたらす。この場合において、上記時間輝度差総和算出部は、上記基準ブロックにおける上記所定の画素に対する上記時間輝度差の符号と上記各方向における上記空間輝度差の符号とに基づいて上記各方向における上記時間輝度差の絶対値を正側時間輝度差総和および負側時間輝度差総和のうちいずれか一方に加算するようにしてもよい。これにより、基準ブロックにおける所定の画素に対する時間輝度差の符号と、各方向における空間輝度差の符号とに基づいて、各方向における時間輝度差の絶対値を、正側時間輝度差総和および負側時間輝度差総和のうちいずれか一方に加算させるという作用をもたらす。この場合において、上記探索範囲算出部は、上記各方向における上記正側空間輝度差総和と上記各方向における上記正側時間輝度差総和とに基づいて上記各方向における正側の上記探索範囲をそれぞれ算出する正側探索範囲算出部と、上記各方向における上記負側空間輝度差総和と上記各方向における上記負側時間輝度差総和とに基づいて上記各方向における負側の上記探索範囲をそれぞれ算出する正側探索範囲算出部とを含むようにしてもよい。これにより、各方向における正側の探索範囲および負側の探索範囲をそれぞれ算出させるという作用をもたらす。
また、上記空間輝度差総和算出部は、上記基準ブロックにおける上記所定の画素に対する上記時間輝度差の符号と上記各方向における上記空間輝度差の符号とに基づいて上記各方向における上記空間輝度差の絶対値を正側空間輝度差総和および負側空間輝度差総和のうちいずれか一方に加算する場合において、上記各方向において上記正側空間輝度差総和および上記負側空間輝度差総和に基づいて正側尤度および負側尤度をそれぞれ算出する尤度算出部をさらに具備するようにしてもよい。これにより、各方向において正側空間輝度差総和および負側空間輝度差総和に基づいて、正側尤度および負側尤度をそれぞれ算出させるという作用をもたらす。この場合において、上記探索範囲算出部は、上記空間輝度差の絶対値の総和と上記時間輝度差の絶対値の総和と上記各方向における上記正側尤度とに基づいて上記各方向における正側の上記探索範囲をそれぞれ算出する正側探索範囲算出部と、上記空間輝度差の絶対値の総和と上記時間輝度差の絶対値の総和と上記各方向における上記負側尤度とに基づいて上記各方向における負側の上記探索範囲をそれぞれ算出する負側探索範囲算出部とを含むようにしてもよい。これにより、空間輝度差の絶対値の総和と、時間輝度差の絶対値の総和と、各方向における正側尤度および負側尤度とに基づいて、各方向における正側の探索範囲および負側の探索範囲をそれぞれ算出させるという作用をもたらす。
また、この第１の側面において、上記基準ブロックにおける所定の画素の輝度値に基づいて上記基準ブロックの基準輝度値を生成する基準輝度値生成部と、上記基準ブロックの各画素の輝度値と上記基準輝度値とに基づいて上記基準ブロックの各画素の有効度を計算する有効度計算部とをさらに具備し、ブロックマッチング計算部は、上記探索範囲によって定まる上記参照フレームにおける探索領域内に複数の参照ブロックを設定して上記設定された参照ブロックにおける上記基準ブロックの画素位置に対応する各画素の輝度値と上記基準ブロックの画素位置に対応する上記有効度とに基づいて上記参照ブロックにおける上記基準ブロックとの上記相関度を上記参照ブロック毎に算出する相関度算出部を含むようにしてもよい。これにより、基準ブロックの各画素位置に対応する有効度に基づいて、基準ブロックと各参照ブロックとの相関度を算出させるという作用をもたらす。
また、この第１の側面において、上記探索範囲算出部は、上記空間輝度差の絶対値の総和と上記時間輝度差の絶対値の総和とに基づいて算出された上記探索範囲および所定の範囲のいずれか一方を上記探索範囲とするようにしてもよい。これにより、空間輝度差の絶対値の総和と時間輝度差の絶対値の総和とに基づいて算出された探索範囲および所定の範囲のいずれか一方を上記探索範囲として算出させるという作用をもたらす。
本発明によれば、ブロックマッチング手法による動きベクトル検出処理における消費電力を抑制することができるという優れた効果を奏し得る。
以下、本発明を実施するための最良の形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（ブロックマッチング計算制御：各画素に有効度を付与する例）
２．第２の実施の形態（動きベクトル検出制御：探索領域を制御する例）
３．第３の実施の形態（動きベクトル検出制御：階層的ＭＥ（動き推定）による例）
４．第４の実施の形態（動きベクトル検出制御：各画素に有効度を付与する例と探索領域を制御する例との組合せ）
＜１．第１の実施の形態＞
［動きベクトル検出装置の機能構成例］
図１は、本発明の第１の実施の形態における動きベクトル検出装置１００の機能構成例を示すブロック図である。動きベクトル検出装置１００は、基準フレームバッファ１１０と、基準ブロック決定部１２０と、参照フレームバッファ１３０と、参照ブロック決定部１４０と、基準輝度値生成部１５０と、有効度計算部１６０と、ブロックマッチング計算部１７０とを備える。
基準フレームバッファ１１０は、信号線１０１を介して供給される画像を基準フレーム（current frame）として一時的に保存しておくものである。この基準フレームは、例えば、動画像における現在のフレームの画像である。この基準フレームバッファ１１０は、その基準フレームを基準ブロック決定部１２０に供給する。
基準ブロック決定部１２０は、基準フレームバッファ１１０から供給された基準フレームに対して基準ブロックの位置を決定し、その決定された基準ブロックにおける各画素の輝度を抽出するものである。なお、この基準ブロックとは、例えば、基準ブロック決定部１２０において予め規定された大きさの領域である。また、この基準ブロック決定部１２０は、例えば、基準フレーム内において基準ブロックを１画素単位に順次移動させることにより基準ブロックの位置を決定する。また、基準ブロック決定部１２０は、例えば、基準フレーム内において基準ブロックを基準ブロック単位に順次移動させることにより基準ブロックの位置を決定する。また、この基準ブロック決定部１２０は、決定された基準ブロックの各画素の輝度値を、基準輝度値生成部１５０、有効度計算部１６０およびブロックマッチング計算部１７０に供給する。また、この基準ブロック決定部１２０は、決定された基準ブロックの位置を、参照ブロック決定部１４０およびブロックマッチング計算部１７０に供給する。
参照フレームバッファ１３０は、信号線１０２を介して供給される画像を参照フレーム（reference frame）として一時的に保存しておくものである。この参照フレームは、例えば、基準フレームに対して１フレーム前の画像である（前方参照）。この参照フレームバッファ１３０は、参照フレームを参照ブロック決定部１４０に供給する。
参照ブロック決定部１４０は、基準ブロック決定部１２０から供給された基準ブロックの位置に基づいて、参照フレームバッファ１３０から供給された参照フレームにおける参照ブロックの位置を決定するものである。この参照ブロック決定部１４０は、基準ブロック決定部１２０から供給された基準ブロックの位置に基づいて、基準ブロックに対する動きベクトルを探索するための探索領域を参照フレームに規定する。そして、この参照ブロック決定部１４０は、その規定された探索領域において、参照ブロックの位置を決定する。なお、この探索領域とは、例えば、参照ブロック決定部１４０によって基準ブロックの位置を基準に規定される一定の大きさの領域である。この参照ブロック決定部１４０は、例えば、基準ブロックに対応する位置を中心に螺旋状に移動させながら参照ブロックの位置を順次決定してもよい。また、参照ブロック決定部１４０は、その決定された参照ブロックの各画素の輝度値および参照ブロックの位置をブロックマッチング計算部１７０に供給する。
基準輝度値生成部１５０は、基準ブロック決定部１２０から供給された基準ブロックにおける全部または予め定められた一部の画素の輝度値に基づいて基準輝度値を生成するものである。ここにいう基準輝度値とは、基準ブロックにおける動体を含む画素を識別するための基準となる輝度値である。この基準輝度値生成部１５０は、例えば、基準ブロックにおける全画素または一部の画素の統計値を基準輝度値として生成する。統計値としては、例えば、平均値または中間値などが考えられる。また、この基準輝度値生成部１５０は、例えば、基準ブロックにおける１つの画素の輝度値を基準輝度値として生成する。また、この基準輝度値生成部１５０は、その生成された基準輝度値を有効度計算部１６０に供給する。なお、基準輝度値生成部１５０は、特許請求の範囲に記載の基準輝度値生成部の一例である。
有効度計算部１６０は、基準ブロックの各画素の輝度値と、基準輝度値とに基づいて基準ブロックの各画素の有効度を算出するものである。この有効度計算部１６０は、輝度値差分算出部１６１および重み算出部１６２を備える。なお、有効度計算部１６０は、特許請求の範囲に記載の有効度計算部の一例である。
輝度値差分算出部１６１は、基準輝度値生成部１５０から供給される基準輝度値と、基準ブロック決定部１２０から供給される基準ブロックの各画素の輝度値との差分絶対値を基準ブロックの画素毎に算出するものである。この輝度値差分算出部１６１は、下式に基づいて差分絶対値Ｄ（ｉ，ｊ）を算出する。
なお、Ｉｂａｓｅは、基準輝度値生成部１５０から供給される基準輝度値である。また、Ｉｃ（ｉ，ｊ）は、基準ブロック決定部１２０から供給される基準ブロックの各画素の輝度値である。なお、（ｉ，ｊ）は画素の位置を示し、ｉは垂直方向の位置を、ｊは水平方向の位置を示す。
また、この輝度値差分算出部１６１は、このようにして算出された基準ブロックの各画素の差分絶対値を重み算出部１６２に供給する。
重み算出部１６２は、基準ブロックの各画素の重みを算出するものである。この輝度値差分算出部１６１から供給された基準ブロックの各画素の差分絶対値に基づいて、基準ブロックの各画素の有効度である重みを算出する。この重み算出部１６２は、この算出された基準ブロックの各画素の重みをブロックマッチング計算部１７０に供給する。
ブロックマッチング計算部１７０は、基準ブロックと参照ブロックとの相関度に基づいてブロックマッチングを行うことによって、基準ブロックに対する動きベクトルを計算するものである。このブロックマッチング計算部１７０は、相関度算出部１７１と、相関度マップ記憶部１７２と、位置取得部１７３と、動きベクトル算出部１７４とを備える。
相関度算出部１７１は、基準ブロックに対する各参照ブロックの重み付きＳＡＤ（Sum of Absolute Difference：差分絶対値の総和）を相関度として算出するものである。この相関度算出部１７１は、基準ブロックの各画素の輝度値と、参照ブロックにおける基準ブロックの画素位置に対応する各画素の輝度値との差分絶対値に、画素位置に対応する重みを乗じて各画素の相関値を算出する。そして、この相関度算出部１７１は、この相関値を総和することにより重み付きＳＡＤを算出する。この重み付きＳＡＤは、低い値であるほど高い相関度を示す値である。具体的には、この相関度算出部１７１は、次式に基づいて重み付きＳＡＤを算出する。
なお、Ｉｒ（ｉ，ｊ）は、基準ブロックの画素位置に対応する各画素の輝度値である。また、Ｗ（ｉ，ｊ）は、基準ブロックの画素位置に対応する重みである。
また、この相関度算出部１７１は、その算出された各参照ブロックの重み付きＳＡＤを相関度として相関度マップ記憶部１７２に供給する。なお、相関度算出部１７１は、特許請求の範囲に記載の相関度算出部の一例である。
相関度マップ記憶部１７２は、相関度算出部１７１から供給された参照ブロックの相関度と、参照ブロック決定部１４０から供給された参照ブロックの位置とを関連付けて一時的に保存するものである。相関度マップ記憶部１７２は、その保存された全ての参照ブロックにおける相関度および位置を位置取得部１７３に供給する。
位置取得部１７３は、相関度マップ記憶部１７２から供給された全ての参照ブロックのうち、最も相関度の高い参照ブロックの位置を取得するものである。すなわち、位置取得部１７３は、重み付きＳＡＤが最も低い参照ブロックの位置を取得する。この位置取得部１７３は、全ての参照ブロックにおける相関度および位置が相関度マップ記憶部１７２に保存された場合に、最も相関度の高い参照ブロックの位置を取得する。この位置取得部１７３は、その取得された参照ブロックの位置を動きベクトル算出部１７４に供給する。
動きベクトル算出部１７４は、位置取得部１７３から供給された最も相関度の高い参照ブロックの位置と、基準ブロック決定部１２０から供給された基準ブロックの位置とに基づいて動きベクトルを算出するものである。この動きベクトル算出部１７４は、その算出された動きベクトルを信号線１０３に供給する。
次に、本発明の実施の形態における基準フレームおよび参照フレームの設定について図面を参照して説明する。
［動きベクトルの検出例］
図２は、本発明の第１の実施の形態における動きベクトル検出装置１００による基準フレームおよび参照フレームに同一の２つの動体が含まれる場合における動きベクトルの検出例を示す図である。図２（ａ）には、動画像における現在のフレームである基準フレーム２００が示されている。図２（ｂ）には、基準フレームに対して１つ前のフレーム（前方参照の場合）である参照フレーム２２０が示されている。
基準フレーム２００には、動体Ａ２０１と、動体Ｂ２０２と、基準ブロック２１０とが示されている。動体Ａ２０１および動体Ｂ２０２は、時間変化に伴いフレーム内を移動する動体である。基準ブロック２１０は、基準ブロック決定部１２０によって決定される領域である。この基準ブロック２１０には、動体Ａ２０１の右下部分と、背景画像とが含まれている。
参照フレーム２２０には、基準フレーム２００に含まれる動体Ａ２０１および動体Ｂ２０２と、探索領域２２１と、参照ブロック２３０とが示されている。探索領域２２１は、参照ブロック決定部１４０によって規定される基準ブロック２１０の移動元を検索する領域である。この参照ブロック２３０には、動体Ａ２０１の右下部分と、動体Ｂ２０２の一部が含まれている。
この場合において、動きベクトル検出装置１００は、基準ブロック２１０に含まれる動体Ａ２０１に対応する画素の有効度を高くすることによって、基準ブロック２１０と参照ブロック２３０との相関度が最も高くなる。これにより、動きベクトル検出装置１００は、動体Ａ２０１の動きベクトルを正確に検出することができるようになる。
［基準輝度値の生成例］
図３は、本発明の第１の実施の形態における基準輝度値生成部１５０による基準輝度値の生成例を示す図である。
図３（ａ）は、基準ブロック２１０の各辺の画素数が「５」である場合における基準ブロック２１０の中心画素の輝度値を基準輝度値とする例を示す図である。基準ブロック２１０には、基準ブロックの画素＃１乃至＃２５と、画素＃１乃至＃２５のうち基準ブロック２１０の中心に位置する基準画素２１１とが示されている。また、画素＃１乃至＃２５に括弧付きで示している値はその画素の輝度値である。ここでは、画素＃１３が基準画素２１１となるため、画素＃１３の輝度値である「１５０」が基準輝度値となる。
図３（ｂ）は、基準ブロック２１０の各辺の画素数が「４」である場合における基準ブロックの中心付近における画素の輝度値の統計値を基準輝度値とする例を示す図である。ここでは、画素＃７と画素＃８と画素＃１２と画素＃１３とから基準輝度値が生成される。例えば、画素＃７と画素＃８と画素＃１２と画素＃１３との輝度値の平均値である「１５１．５」が基準輝度となる。
このように、基準輝度値生成部１５０により、基準ブロック決定部１２０からの基準ブロックにおける全体または一部の画素の輝度値に基づいて基準輝度値が生成され、その基準輝度値が有効度計算部１６０に供給される。
［有効度の計算例］
図４は、本発明の第１の実施の形態における有効度計算部１６０による有効度の計算例を示す図である。ここでは、図３（ａ）に示した基準ブロック２１０を例にして、有効度を高く設定する画素の分類手法について説明する。また、基準輝度値Ｉｂａｓｅを「１５０」とし、閾値Ｄｔｈを「２０」とする。
この場合、輝度値差分算出部１６１において、図１に示した式１により、画素＃１乃至＃２５の輝度値Ｉｃ（ｉ，ｊ）と、基準輝度値生成部１５０により供給される基準輝度値Ｉｂａｓｅとの差分絶対値Ｄ（ｉ，ｊ）が算出される。そして、重み算出部１６２において、画素＃１乃至＃２５の差分絶対値Ｄ（ｉ，ｊ）が閾値Ｄｔｈ以下か否かが判断される。
この例では、画素＃１、画素＃４および画素＃１５乃至＃２５は、閾値Ｄｔｈより高い画素として判断され、それ以外の画素＃２、画素＃３および画素＃５乃至＃１４は、閾値Ｄｔｈ以下の画素として判断される。
このように、基準ブロックの各画素の輝度値と基準輝度値との差分絶対値に基づいて、有効度を高く設定する画素が区別される。次に、差分絶対値と重みとの関係について以下に説明する。
［差分絶対値と重みとの関係例］
図５は、本発明の第１の実施の形態における輝度値差分算出部１６１により算出された差分絶対値と、重み算出部１６２により算出される重みとの関係の一例を示す図である。図５（ａ）および（ｂ）には、横軸を差分絶対値Ｄとし、縦軸を重みＷとするグラフを示す。
図５（ａ）は、輝度値差分算出部１６１により算出された差分絶対値Ｄが閾値Ｄｔｈ以下である場合に重みＷを一定値とする例を示す図である。ここでは、差分絶対値Ｄ（ｉ，ｊ）が閾値Ｄｔｈ以下である場合には、重み算出部１６２により、Ｗｍａｘが重みＷ（ｉ，ｊ）として相関度算出部１７１に供給される。一方、差分絶対値Ｄ（ｉ，ｊ）が閾値Ｄｔｈより大きい場合には、Ｗｍａｘより低い値を示すＷｍｉｎが重みＷ（ｉ，ｊ）として相関度算出部１７１に供給される。例えば、ＷｍａｘおよびＷｍｉｎは「１」および「０」に設定される。
具体的には、重み算出部１６２により、以下の式に基づいて基準ブロックの各画素の重みＷ（ｉ，ｊ）が算出される。なお、ＷｍｉｎとＷｍａｘは定数である。
このように、差分絶対値Ｄが閾値Ｄｔｈより低い画素には、一定の重みを算出する。これにより、相関度算出部１７１における相関度算出において、基準ブロックの各画素の輝度値と参照ブロックにおける各画素の輝度値との間の差分絶対値が閾値以下の画素における有効度を高くすることができる。
図５（ｂ）は、輝度値差分算出部１６１により算出された差分絶対値Ｄが閾値Ｄｔｈ以下である場合に重みＷが差分絶対値Ｄに反比例する例を示す図である。ここでは、差分絶対値Ｄ（ｉ，ｊ）が閾値Ｄｔｈ以下である場合には、重み算出部１６２により、差分絶対値Ｄに反比例する重みＷが重みＷ（ｉ，ｊ）として相関度算出部１７１に供給される。一方、差分絶対値Ｄ（ｉ，ｊ）が閾値Ｄｔｈより大きい場合には、最も低い値を示すＷｍｉｎが重みＷ（ｉ，ｊ）として相関度算出部１７１に供給される。
この例では、重み算出部１６２において以下の式に基づいて基準ブロックの各画素の重みＷ（ｉ，ｊ）が算出される。なお、ＷｍｉｎとＷｃは定数である。
このように、差分絶対値Ｄが閾値Ｄｔｈより低い画素には、差分絶対値Ｄに反比例する重みを算出することができる。これにより、相関度算出部１７１における相関度算出において、基準ブロックの各画素の輝度値と参照ブロックにおける各画素の輝度値との間の差分絶対値が低いほど有効度を高くすることができる。
［動きベクトル検出装置の動作例］
次に、本発明の実施の形態における動きベクトル検出装置１００の動作について図面を参照して説明する。
図６は、本発明の第１の実施の形態における動きベクトル検出装置１００における動きベクトル計算処理の処理手順例を示すフローチャートである。
まず、基準ブロック決定部１２０により、基準フレームバッファ１１０からの基準フレームに対して基準ブロックが決定される（ステップＳ９１１）。次に、基準輝度値生成部１５０により、基準ブロック決定部１２０からの基準ブロックにおける全体または予め定められた一部の画素の輝度値に基づいて基準輝度値が生成される（ステップＳ９１２）。次に、輝度値差分算出部１６１により、基準輝度値生成部１５０からの基準輝度値と、基準ブロックの各画素の輝度値との差分絶対値が算出される（ステップＳ９１３）。次に、重み算出部１６２により、輝度値差分算出部１６１からの基準ブロックの各画素の差分絶対値に基づいて、基準ブロックの各画素の重みが算出される（ステップＳ９１４）。
次に、参照ブロック決定部１４０により、参照フレームバッファ１３０からの参照フレームに対して参照フレームが決定される（ステップＳ９１５）。相関度算出部１７１により、基準ブロックの各画素の重みと、基準ブロックの各画素の輝度値と、参照ブロックの各画素の輝度値とに基づいて、基準ブロックと参照ブロックとの相関度が算出される（ステップＳ９１６）。
次に、相関度算出部１７１により算出された相関度と、その参照ブロックの位置とを関連付けて相関度マップ記憶部１７２に記憶する（ステップＳ９１７）。次に、位置取得部１７３により、検索領域において決定される全ての参照ブロックにおける相関度および位置が相関度マップ記憶部１７２に記憶されたか否かが判断される（ステップＳ９１８）。そして、全ての参照ブロックにおける相関度および位置が記憶されていない場合には、ステップＳ９１５に戻り、探索領域内に設定される全ての参照ブロックにおける相関度および位置が記憶されまで繰り返される。
一方、全ての参照ブロックにおける相関度と位置が記憶された場合には、位置取得部１７３により相関度が最大である参照ブロックの位置が取得される（ステップＳ９１９）。次に、動きベクトル算出部１７４により、位置取得部１７３からの参照ブロックの位置と、基準ブロックの位置とに基づいて動きベクトルが算出される（ステップＳ９２０）。
次に、動きベクトル算出部１７４によって算出された動きベクトルが全ての基準ブロックについて算出されたか否かが判断される（ステップＳ９２１）。そして、全ての基準ブロックについて動きベクトルの算出が終了していない場合には、ステップＳ９１１に戻り、新たな基準ブロックが決定されてステップＳ９１２以下の処理が行われる。一方、全ての基準ブロックについて算出された場合には、動きベクトル計算処理は終了する。
このように、本発明の第１の実施の形態によれば、有効度計算部１６０で算出した基準ブロックの各画素の有効度を基準ブロックと参照ブロックとの相関度の算出に反映させることによって、動きベクトルの検出精度を向上させることができる。
＜２．第２の実施の形態＞
［動きベクトル検出装置の一構成例］
図７は、本発明の第２の実施の形態における動きベクトル検出装置の一構成を示すブロック図である。動きベクトル検出装置３００は、対応ブロック抽出部３１０と、探索範囲生成部３２０と、基準フレームバッファ１１０と、基準ブロック決定部１２０と、参照フレームバッファ１３０と、参照ブロック決定部１４０と、ブロックマッチング計算部８７０とを備える。また、ブロックマッチング計算部８７０は、相関度算出部８７１と、相関度マップ記憶部８７２と、位置取得部８７３と、動きベクトル算出部８７４とを備える。ここでは、基準フレームバッファ１１０、基準ブロック決定部１２０および参照フレームバッファ１３０は、図１に示したものと同様であるため、図１と同一の符号を付してここでの説明を省略する。
対応ブロック抽出部３１０は、基準ブロックの位置に対応する参照フレームにおける対応ブロックの全体または予め定められた一部の画素の輝度値を抽出するものである。この対応ブロック抽出部３１０は、基準ブロック決定部１２０から供給された基準ブロックの位置に基づいて対応ブロックの位置を設定する。そして、対応ブロック抽出部３１０は、参照フレームバッファ１３０から供給された参照フレームにおける各画素の輝度値のうち、その設定された対応ブロックにおける各画素の輝度値を抽出する。また、この対応ブロック抽出部３１０は、その抽出された対応ブロックにおける各画素の輝度値を、信号線３１１を介して探索範囲生成部３２０に供給する。
探索範囲生成部３２０は、対応ブロックにおける全体または一部の画素の輝度値と、基準ブロックにおける全体または一部の画素の輝度値とに基づいて、基準ブロックに対する動きベクトルを算出するための参照フレームにおける探索範囲を生成するものである。この探索範囲生成部３２０は、基準ブロック決定部１２０から供給された基準ブロックにおける全体または予め定められた一部の画素に対する画素間の空間（space）上の輝度差である空間輝度差の絶対値の総和を算出する。さらに、この探索範囲生成部３２０は、基準ブロック決定部１２０からの基準ブロックと対応ブロック抽出部３１０からの対応ブロックとにおいて、互いに対応する画素間の時間（time）上の輝度差である時間輝度差の絶対値の総和を算出する。そして、この探索範囲生成部３２０は、空間輝度差の絶対値の総和と、時間輝度差の絶対値の総和とに基づいて、参照フレームにおける探索範囲を算出する。また、この探索範囲生成部３２０は、その算出された参照フレームにおける探索範囲を、信号線３２９を介して参照ブロック決定部１４０に供給する。
参照ブロック決定部１４０は、基準ブロック決定部１２０から供給された基準ブロックの位置と、探索範囲生成部３２０から供給された探索範囲とに基づいて参照フレームにおける探索領域を規定する。そして、参照ブロック決定部１４０は、図１で述べたとおり、探索領域内において参照ブロックを順次決定する。また、参照ブロック決定部１４０は、その決定された参照ブロックにおける各画素の輝度値を相関度算出部８７１に供給するとともに、その参照ブロックの位置を相関度マップ記憶部８７２に保存させる。
ブロックマッチング計算部８７０は、参照ブロックと基準ブロックとの間の相関度に基づいて、ブロックマッチングを行うことによって、基準ブロックに対する動きベクトルを計算するものである。なお、ブロックマッチング計算部８７０は、特許請求の範囲に記載のブロックマッチング計算部の一例である。相関度算出部８７１は、基準ブロック決定部１２０からの基準ブロックと、参照ブロック決定部１４０からの参照ブロックとにおいて、互いに対応する画素間の輝度差の絶対値の総和であるＳＡＤを相関度として、参照ブロックごとに算出するものである。ここでは、ＳＡＤの値が低いほど、相関度が高くなることを意味する。この相関度算出部８７１は、その参照ブロックごとに算出される相関度を相関度マップ記憶部８７２に保存させる。
相関度マップ記憶部８７２は、相関度算出部８７１から供給された参照ブロックの相関度と、参照ブロック決定部１４０から供給された参照ブロックの位置とを関連付けて一時的に保存するものである。相関度マップ記憶部８７２は、その保存された全ての参照ブロックにおける相関度および位置を位置取得部８７３に供給する。
位置取得部８７３は、相関度マップ記憶部８７２から供給された全ての参照ブロックのうち、最も相関度の高い参照ブロックの位置を取得するものである。すなわち、位置取得部８７３は、重み付きＳＡＤが最も低い参照ブロックの位置を取得する。この位置取得部８７３は、全ての参照ブロックにおける相関度および位置が相関度マップ記憶部８７２に保存された場合に、最も相関度の高い参照ブロックの位置を取得する。また、この位置取得部８７３は、その取得された参照ブロックの位置を動きベクトル算出部８７４に供給する。
動きベクトル算出部８７４は、位置取得部８７３から供給された最も相関度の高い参照ブロックの位置と、基準ブロック決定部１２０から供給された基準ブロックの位置とに基づいて、動きベクトルを算出するものである。
ここで、探索範囲生成部３２０により生成される探索範囲と、基準ブロックの位置とに基づいて規定される参照フレームにおける探索領域の一例について図面を参照して説明する。
［探索領域の規定例］
図８は、本発明の第２の実施の形態における動きベクトル検出装置３００により規定される参照フレームにおける探索領域の一例を示す概念図である。ここでは、参照フレームにおける探索領域４１０および最大探索領域４３０が示されている。ここでは、基準ブロックに対して水平方向および垂直方向をそれぞれｘ方向およびｙ方向とする。
探索領域４１０は、探索範囲生成部３２０により生成されるｘ方向の探索範囲Ｌｘおよびｙ方向の探索範囲Ｌｙと、探索領域基準ブロック２４０とに基づいて規定される領域である。この探索領域基準ブロック２４０は、参照フレームにおける基準ブロックの位置と同一位置のブロックである。すなわち、この探索領域基準ブロック２４０は、基準ブロックに対する動きベクトルが「０」となる位置に設定されるブロックである。
ｘ方向の探索範囲Ｌｘは、基準ブロック２１０を基準として、ｘ方向に対して参照ブロックを右側および左側に移動させることができる最大範囲を示す。ｙ方向の探索範囲Ｌｙは、探索領域基準ブロック２４０を基準として、ｙ方向に対して参照ブロックを上側および下側に移動させることができる最大範囲を示す。
最大探索領域４３０は、最大探索範囲Ｌｍａｘおよび探索領域基準ブロック２４０に基づいて規定される領域である。この最大探索範囲Ｌｍａｘは、画像の解像度や圧縮率によって定まるものであり、例えば、３２画素に設定される。
このように、動きベクトル検出装置３００は、探索範囲生成部３２０においてｘ方向の探索範囲Ｌｘおよびｙ方向の探索範囲Ｌｙをそれぞれ生成するため、探索領域におけるｘ方向およびｙ方向の探索範囲を独立して規定することができる。また、動きベクトル検出装置３００は、最大探索範囲Ｌｍａｘを設けることによって、想定される最大の領域より探索領域が拡大することを防止することができる。次に、ｘ方向の探索範囲Ｌｘおよびｙ方向の探索範囲Ｌｙを生成する探索範囲生成部３２０の構成の一例について次図を参照して詳細に説明する。
［探索範囲生成部の第１の構成例］
図９は、本発明の第２の実施の形態における探索範囲生成部３２０の第１の構成例を示すブロック図である。探索範囲生成部３２０は、Ｆｔ算出部３３０と、Ｆｓ算出部３４０と、Ｌ算出部３７０とを備える。
Ｆｔ算出部３３０は、信号線３１１から供給される対応ブロックと、信号線１２１から供給される基準ブロックとにおいて、互いに対応する画素間の輝度差である時間輝度差の総和を時間輝度差総和Ｆｔとして算出するものである。このＦｔ算出部３３０は、次式に基づいて時間輝度差総和Ｆｔを算出する。また、このＦｔ算出部３３０は、その算出された時間輝度差総和ＦｔをＬ算出部３３０に供給する。なお、Ｆｔ算出部３３０は、特許請求の範囲に記載の時間輝度差総和部の一例である。
なお、Ｉｔ（ｉ，ｊ）は、時間輝度差である。Ｉｃ（ｉ，ｊ）は、基準ブロック内の画素の輝度値である。Ｉｒ（ｉ，ｊ）は、参照ブロック内の画素の輝度値である。また、ｉおよびｊは、各ブロックに対するｘ方向の画素位置およびｙ方向の画素位置をそれぞれ示す。また、Ｎは、各ブロックにおける各方向における画素数から「１」を減じた値である。
このように、上式に基づいて算出される時間輝度差総和Ｆｔは、動体の動く速度が速い程、基準ブロックに含まれる動体と対応ブロックに含まれる同一の動体との位置の差が大きくなるため、大きくなり易い。一方、動体の動く速度が遅い程、基準ブロックと対応ブロックとにおける動体の位置の差が小さくなるため、時間輝度差総和Ｆｔは小さくなり易い。これにより、基準ブロックに含まれる動体の速度を推定することができる。
Ｆｓ算出部３４０は、信号線１２１から供給される基準ブロックにおける各画素に対する隣接画素間の輝度差である空間輝度差の絶対値の総和を空間輝度差総和として算出するものである。なお、Ｆｓ算出部３４０は、特許請求の範囲に記載の時間輝度差総和部の一例である。
また、Ｆｓ算出部３４０は、基準ブロックに対して水平方向および垂直方向の各方向における空間輝度差総和をそれぞれ算出する。このＦｘ算出部３５０およびＦｙ算出部３６０を備える。Ｆｘ算出部３５０は、基準ブロックにおける各画素に対する水平方向における空間輝度差の絶対値の総和を、ｘ方向の空間輝度差総和として算出するものである。すなわち、Ｆｘ算出部３５０は、基準ブロックにおける各画素に対してｘ方向に隣接する画素間の輝度差の総和をｘ方向の空間輝度差総和Ｆｘとして算出する。このｘ方向の空間輝度差総和Ｆｘは、空間輝度差総和Ｆｓのｘ方向の成分を示す値である。また、このＦｘ算出部３５０は、その算出されたｘ方向の空間輝度差総和ＦｘをＬｘ算出部３８０に供給する。なお、Ｆｘ算出部３５０は、特許請求の範囲に記載の時間輝度差総和部の一例である。
Ｆｙ算出部３６０は、基準ブロックにおける各画素に対する垂直方向における空間輝度差の絶対値の総和をｙ方向の空間輝度差総和として算出するものである。すなわち、Ｆｙ算出部３６０は、基準ブロックにおける各画素に対してｙ方向に隣接する画素間の輝度差の総和をｙ方向の空間輝度差総和Ｆｙとして算出する。このｙ方向の空間輝度差総和Ｆｙは、空間輝度差総和Ｆｓのｙ方向の成分を示す値である。また、このＦｙ算出部３６０は、その算出されたｙ方向の空間輝度差総和ＦｙをＬｙ算出部３８０に供給する。なお、Ｆｙ算出部３６０は、特許請求の範囲に記載の時間輝度差総和部の一例である。
ここで、上述のｘ方向の空間輝度差総和Ｆｘおよびｙ方向の空間輝度差総和Ｆｙの算出例としては、次式により表わすことができる。
なお、Ｉｘ（ｉ，ｊ）は、基準ブロックの各画素に対するｘ方向の空間輝度差である。Ｉｙ（ｉ，ｊ）は、基準ブロックの各画素に対するｙ方向の空間輝度差である。
このように、上式に基づいて算出される空間輝度差総和Ｆｓは、動体の動く速度が速い程、基準ブロックに含まれる動体はブレた画像となるため、小さくなり易い。一方、動体の動く速度が遅い程、基準ブロックに含まれる動体はブレの少ない鮮明な画像となるため、空間輝度差総和Ｆｓは大きくなり易い。これにより、基準ブロックに含まれる動体の速度を推定することができる。
Ｌ算出部３７０は、基準ブロックに対する動きベクトルを探索するための参照フレームにおける探索範囲を、Ｆｔ算出部３３０からの時間輝度差総和Ｆｔと、Ｆｓ算出部３４０からの空間輝度差総和Ｆｓとに基づいて算出するものである。このＬ算出部３７０は、空間輝度差総和Ｆｓが大きいほど探索範囲を小さくし、時間輝度差総和Ｆｔが大きいほど探索範囲を大きくする。すなわち、このＬ算出部３７０は、空間輝度差総和Ｆｓに反比例するとともに時間輝度差総和Ｆｔに正比例する探索範囲を算出する。そして、このＬ算出部３７０は、その算出された探索範囲および予め定められた範囲のいずれか一方を、参照フレームにおける探索範囲として算出する。具体的には、Ｌ算出部３７０は、次式の関数Ｇに基づいて探索範囲Ｌを算出する。
なお、Ｌｍａｘは、図８に示した最大探索範囲である。また、αは、固定値であり、例えば、「１」に設定される。上式より、αを小さい値に設定することによって、探索範囲が小さくなるため、ブロックマッチングによる処理量を抑えることができる。
また、このＬ算出部３７０は、信号線３２９を介して、算出された探索範囲Ｌを参照ブロック決定部１４０に供給する。なお、Ｌ算出部３７０は、特許請求の範囲に記載の探索範囲算出部の一例である。
また、Ｌ算出部３７０は、時間輝度差の絶対値の総和と、各方向における空間輝度差の絶対値の総和とに基づいて各方向における探索範囲をそれぞれ算出する。このＬ算出部３７０は、Ｌｘ算出部３８０およびＬｙ算出部３９０を備える。Ｌｘ算出部３８０は、図８に示したｘ方向の探索範囲Ｌｘを算出するものである。このＬｘ算出部３８０は、Ｆｔ算出部３３０からの時間輝度差総和Ｆｔと、Ｆｘ算出部３５０からのｘ方向の空間輝度差総和Ｆｘとに基づいて、ｘ方向の探索範囲Ｌｘを算出する。また、このＬｘ算出部３８０は、その算出されたｘ方向の探索範囲Ｌｘを、信号線３２９を介して参照ブロック決定部１４０に供給する。
Ｌｙ算出部３９０は、図８に示したｙ方向の探索範囲Ｌｙを算出するものである。このＬｙ算出部３９０は、Ｆｔ算出部３３０からの時間輝度差総和Ｆｔと、Ｆｙ算出部３６０からのｙ方向の空間輝度差総和Ｆｙとに基づいて、ｙ方向の探索範囲Ｌｙを算出する。このＬｙ算出部３９０は、その算出されたｙ方向の探索範囲Ｌｙを、信号線３２９を介して参照ブロック決定部１４０に供給する。
ここで、上述のｘ方向の探索範囲Ｌｘおよびｙ方向の探索範囲Ｌｙの算出例としては、次式により表わすことができる。
このように、時間輝度差総和Ｆｔおよび空間輝度差総和Ｆｓの２つのパラメータを用いることによって、基準ブロックに含まれる物体の動きを正確に推定できるため、基準ブロックにおける物体の動きに合わせた探索領域を規定することができる。また、ｘ方向およびｙ方向の探索範囲を別々に算出することによって、最適な探索領域を規定することができる。なお、ここでは、ｘ方向およびｙ方向の各方向の探索範囲を対称に生成する例について説明したが、探索領域基準ブロック２４０に対して上下方向および左右方向の探索範囲を個別に生成する例について以下に説明する。
［探索領域の規定例］
図１０は、本発明の第２の実施の形態における動きベクトル検出装置３００により非対称に規定される参照フレームにおける探索領域の一例を示す概念図である。ここでは、参照フレームにおける探索領域４２０および最大探索領域４３０が示されている。なお、参照フレームにおける探索領域４２０以外は、図８と同様であるため、図８と同一符号を付してここでの説明を省略する。
探索領域４２０は、探索領域基準ブロック２４０と、ｘ方向における正側の探索範囲Ｌｘ ＋および負側の探索範囲Ｌｘ −と、ｙ方向における正側の探索範囲Ｌｙ ＋および負側の探索範囲Ｌｙ −とに基づいて規定される領域である。このｘ方向における正側の探索範囲Ｌｘ ＋および負側の探索範囲Ｌｘ −と、ｙ方向における正側の探索範囲Ｌｙ ＋および負側の探索範囲Ｌｙ −とは、探索範囲生成部３２０により生成される。
ｘ方向における正側の探索範囲Ｌｘ ＋は、探索領域基準ブロック２４０を基準として、ｘ方向に対して参照ブロックを右側に移動させることができる最大範囲を示す。ｘ方向における負側の探索範囲Ｌｘ −は、探索領域基準ブロック２４０を基準として、ｘ方向に対して参照ブロックを左側に移動させることができる最大範囲を示す。
ｙ方向における正側の探索範囲Ｌｙ ＋は、探索領域基準ブロック２４０を基準として、ｙ方向に対して参照ブロックを下側に移動させることができる最大範囲を示す。ｙ方向における負側の探索範囲Ｌｙ −は、探索領域基準ブロック２４０を基準として、ｙ方向に対して参照ブロックを上側に移動させることができる最大範囲を示す。
このように、探索範囲生成部３２０により各方向における正側および負側の探索範囲を個別に生成することによって、各方向において探索領域基準ブロック２４０を基準として非対称に探索領域を規定する。次に、非対称に探索領域を規定する場合における探索範囲生成部３２０の一構成例について以下に説明する。
［探索範囲生成部の第２の構成例］
図１１は、本発明の第２の実施の形態における探索範囲を非対称に設定する場合における探索範囲生成部３２０の第２の構成例を示すブロック図である。探索範囲生成部３２０は、Ｆｔ算出部３３０と、Ｆｘ算出部３５０と、Ｆｙ算出部３６０と、Ｌｘ算出部３８０と、Ｌｙ算出部３９０とを備える。
Ｆｔ算出部３３０は、Ｆｔ ｘ−算出部３３１、Ｆｔ ｘ＋算出部３３２、Ｆｔ ｙ−算出部３３３およびＦｔ ｙ＋算出部３３４を含む。Ｆｘ算出部３５０は、Ｆｘ −算出部３５１およびＦｘ ＋算出部３５２を含む。Ｆｙ算出部３６０は、Ｆｙ −算出部３６１およびＦｙ ＋算出部３６２を含む。Ｌｘ算出部３８０は、Ｌｘ −算出部３８１およびＬｘ ＋算出部３８２を含む。Ｌｙ算出部３９０は、Ｌｙ −算出部３９１およびＬｙ ＋算出部３９２を含む。
Ｆｔ算出部３３０は、ｘ方向およびｙ方向の各方向における時間輝度差の絶対値を、各方向における正側時間輝度差総和および負側時間輝度差総和のうちいずれか一方に加算するものである。このＦｔ算出部３３０は、基準ブロックにおける全体または一部の画素に対する時間輝度差の符号と、各方向における空間輝度差の符号とに基づいて、基準ブロックにおける全体または一部の画素に対する各方向における時間輝度差の絶対値を加算する。なお、このＦｔ算出部３３０は、特許請求の範囲に記載の時間輝度差総和部の一例である。
Ｆｔ ｘ−算出部３３１は、基準ブロックにおける各画素に対するｘ方向の時間輝度差の絶対値を、その各画素に対する時間輝度差の符号とｘ方向の空間輝度差の符号とに基づいて、ｘ方向の負側時間輝度差総和Ｆｔ ｘ−に加算するものである。このＦｔ ｘ−算出部３３１は、その算出されたｘ方向の負側時間輝度差総和Ｆｔ ｘ−をＬｘ −算出部３８１に供給する。
Ｆｔ ｘ＋算出部３３２は、基準ブロックにおける各画素に対するｘ方向の時間輝度差の絶対値を、その各画素に対する時間輝度差の符号とｘ方向の空間輝度差の符号とに基づいて、ｘ方向の正側時間輝度差総和Ｆｔ ｘ＋に加算するものである。このＦｔ ｘ＋算出部３３２は、その算出されたｘ方向の正側時間輝度差総和Ｆｔ ｘ＋をＬｘ ＋算出部３８２に供給する。
Ｆｔ ｙ−算出部３３３は、基準ブロックにおける各画素に対するｙ方向の時間輝度差の絶対値を、その各画素に対する時間輝度差の符号とｙ方向における空間輝度差の符号とに基づいて、ｙ方向の負側時間輝度差総和Ｆｔ ｙ−に加算するものである。このＦｔ ｙ−算出部３３３は、その算出されたｙ方向の負側時間輝度差総和Ｆｔ ｙ−をＬｙ −算出部３９１に供給する。
Ｆｔ ｙ＋算出部３３４は、基準ブロックにおける各画素に対するｙ方向の空間輝度差の絶対値を、その各画素に対する時間輝度差の符号とｙ方向における空間輝度差の符号とに基づいて、ｙ方向の正側時間輝度差総和Ｆｔ ｙ＋に加算するものである。このＦｔ ｙ＋算出部３３４は、その算出されたｙ方向の正側時間輝度差総和Ｆｔ ｙ＋をＬｙ ＋算出部３９２に供給する。
ここで、ｘ方向の負側時間輝度差総和Ｆｔ ｘ−、ｘ方向の正側時間輝度差総和Ｆｔ ｘ＋、ｙ方向の負側時間輝度差総和Ｆｔ ｙ−およびｙ方向の正側時間輝度差総和Ｆｔ ｙ＋の算出例としては、次式により表わすことができる。
ここで、Ｉｔ ｘ−（ｉ，ｊ）、Ｉｔ ｘ＋（ｉ，ｊ）、Ｉｔ ｙ−（ｉ，ｊ）およびＩｔ ｙ＋（ｉ，ｊ）は、次式により表わすことができる。
このように、Ｆｔ算出部３３０では、基準ブロックにおける各画素に対する空間輝度差の符号および時間輝度差の符号に基づいて推定される動体の速度の向きを用いることによって、各方向における正側および負側の時間輝度差の絶対値の総和を算出する。
Ｆｘ算出部３５０は、基準ブロックにおける全体または一部の画素に対するｘ方向における空間輝度差の絶対値を、ｘ方向における正側空間輝度差総和および負側空間輝度差総和のうちいずれか一方に加算するものである。このＦｘ算出部３５０は、基準ブロックにおける全体または一部の画素に対する時間輝度差の符号と、各方向における空間輝度差の符号とに基づいて、その全体または一部の画素に対するｘ方向の空間輝度差を加算する。なお、このＦｘ算出部３５０は、特許請求の範囲に記載の空間輝度差総和部の一例である。
Ｆｘ −算出部３５１は、基準ブロックにおける各画素に対するｘ方向の空間輝度差の絶対値を、その各画素に対する時間輝度差の符号とｘ方向の空間輝度差の符号とに基づいて、ｘ方向の負側空間輝度差総和Ｆｘ −に加算するものである。このＦｔ ｘ−算出部３５１は、その算出されたｘ方向の負側空間輝度差総和Ｆｘ −をＬｘ −算出部３８１に供給する。
Ｆｘ ＋算出部３５２は、基準ブロックにおける各画素に対するｘ方向の空間輝度差の絶対値を、その各画素に対する時間輝度差の符号とｘ方向の空間輝度差の符号とに基づいて、ｘ方向の正側空間輝度差総和Ｆｘ ＋に加算するものである。このＦｘ ＋算出部３５２は、その算出されたｘ方向の正側空間輝度差総和Ｆｘ ＋をＬｘ ＋算出部３８２に供給する。
Ｆｙ算出部３６０は、基準ブロックにおける全体または一部の画素に対するｙ方向における空間輝度差の絶対値を、ｙ方向における正側空間輝度差総和および負側空間輝度差総和のうちいずれか一方に加算するものである。このＦｙ算出部３６０は、基準ブロックにおける全体または一部の画素に対する時間輝度差の符号と、各方向における空間輝度差の符号とに基づいて、その各画素に対するｙ方向の空間輝度差を加算する。なお、このＦｙ算出部３６０は、特許請求の範囲に記載の空間輝度差総和部の一例である。
Ｆｙ −算出部３６１は、基準ブロックにおける各画素に対するｙ方向の空間輝度差の絶対値を、その各画素に対する時間輝度差の符号とｙ方向の空間輝度差の符号とに基づいて、ｙ方向の負側空間輝度差総和Ｆｙ −に加算するものである。このＦｙ −算出部３６１は、その算出されたｙ方向の負側空間輝度差総和Ｆｙ −をＬｙ −算出部３９１に供給する。
Ｆｙ ＋算出部３６２は、基準ブロックにおける各画素に対するｙ方向の空間輝度差の絶対値を、その各画素に対する時間輝度差の符号とｙ方向の空間輝度差の符号とに基づいて、ｙ方向の正側空間輝度差総和Ｆｙ ＋に加算するものである。このＦｙ ＋算出部３６２は、その算出されたｙ方向の正側空間輝度差総和Ｆｙ ＋をＬｙ ＋算出部３９２に供給する。
ここで、上述のｘ方向の負側空間輝度差総和Ｆｘ −、ｘ方向の正側空間輝度差総和Ｆｘ ＋、ｙ方向の負側空間輝度差総和Ｆｙ −およびｙ方向の正側空間輝度差総和Ｆｙ ＋の算出例としては、次式により表わすことができる。
なお、Ｉｘ −（ｉ，ｊ）、Ｉｘ ＋（ｉ，ｊ）、Ｉｙ −（ｉ，ｊ）およびＩｙ ＋（ｉ，ｊ）は、次式により表わすことができる。
このように、Ｆｘ算出部３５０およびＦｙ算出部３６０では、基準ブロックにおける各画素に対する空間輝度差の符号および時間輝度差の符号に基づいて推定される動体の速度の向きを用いることによって、正側および負側の空間輝度差の絶対値の総和を算出する。
Ｌｘ算出部３８０は、ｘ方向における負側の探索範囲Ｌｘ −および正側の探索範囲Ｌｘ ＋を算出するものである。Ｌｘ −算出部３８１は、ｘ方向の負側空間輝度差総和Ｆｘ −と、ｘ方向の負側時間輝度差総和Ｆｔ ｘ−とに基づいて、ｘ方向における負側の探索範囲Ｌｘ −を算出するものである。このＬｘ −算出部３８１は、その算出されたｘ方向における負側の探索範囲Ｌｘ −を、信号線３２９を介して参照ブロック決定部１４０に供給する。なお、このＬｘ −算出部３８１は、特許請求の範囲に記載の負側探索範囲算出部の一例である。
Ｌｘ ＋算出部３８２は、ｘ方向の正側空間輝度差総和Ｆｘ ＋と、ｘ方向の正側時間輝度差総和Ｆｔ ｘ＋とに基づいて、ｘ方向における正側の探索範囲Ｌｘ ＋を算出するものである。このＬｘ ＋算出部３８２は、その算出されたｘ方向における正側の探索範囲Ｌｘ ＋を、信号線３２９を介して参照ブロック決定部１４０に供給する。なお、このＬｘ ＋算出部３８２は、特許請求の範囲に記載の正側探索範囲算出部の一例である。
Ｌｙ算出部３９０は、ｙ方向における負側の探索範囲Ｌｙ −および正側の探索範囲Ｌｙ ＋を算出するものである。Ｌｙ −算出部３９１は、ｙ方向の負側空間輝度差総和Ｆｙ −と、ｙ方向の負側時間輝度差総和Ｆｔ ｙ−とに基づいて、ｙ方向における負側の探索範囲Ｌｙ −を算出するものである。このＬｙ −算出部３９１は、その算出されたｙ方向における負側の探索範囲Ｌｙ −を、信号線３２９を介して参照ブロック決定部１４０に供給する。なお、このＬｙ −算出部３９１は、特許請求の範囲に記載の負側探索範囲算出部の一例である。
Ｌｙ ＋算出部３９２は、ｙ方向の正側空間輝度差総和Ｆｙ ＋と、ｙ方向の正側時間輝度差総和Ｆｔ ｙ＋とに基づいて、ｙ方向における正側の探索範囲Ｌｙ ＋を算出するものである。このＬｙ ＋算出部３９２は、その算出されたｙ方向における正側の探索範囲Ｌｙ ＋を、信号線３２９を介して参照ブロック決定部１４０に供給する。なお、このＬｙ ＋算出部３９２は、特許請求の範囲に記載の正側探索範囲算出部の一例である。
ここで、上述のｘ方向における負側の探索範囲Ｌｘ −および正側の探索範囲Ｌｘ ＋と、ｙ方向における負側の探索範囲Ｌｙ −および正側の探索範囲Ｌｙ ＋との算出例としては、次式により表わすことができる。
このように、探索範囲生成部３２０により各方向における正側および負側の探索範囲を生成することによって、各方向において非対称に探索領域を規定することができる。これにより、図９の構成に比べて探索領域をより適切に規定することができるため、精度良く動きベクトルを検出することができる。なお、この構成においては、動きベクトル検出装置３００におけるレジスタの数が多くなるため、レジスタの数を少なくするように改良したものが、次に説明する変形例である。
［探索範囲生成部の第２の構成例の変形例］
図１２は、本発明の第２の実施の形態における探索範囲を非対称に設定する場合における探索範囲生成部３２０の第２の構成例の変形例を示すブロック図である。
探索範囲生成部３２０は、図１１に示した構成におけるＦｔ算出部３３０に代えて、ρｘ算出部５１０およびρｙ算出部５２０と、図９に示したＦｔ算出部３３０、Ｆｘ算出部３５０およびＦｙ算出部３６０とを備える。ここでは、Ｆｘ −算出部３５１、Ｆｘ ＋算出部３５２、Ｆｙ −算出部３６１およびＦｙ ＋算出部３６２は、図１１に示したものと同様であるため、ここでの説明を省略する。また、Ｆｔ算出部３３０、Ｆｘ算出部３５０およびＦｙ算出部３６０も、図９に示したものと同様であるため、ここでの説明を省略する。なお、ρｘ算出部５１０およびρｙ算出部５２０は、特許請求の範囲に記載の尤度算出部の一例である。
ρｘ算出部５１０は、ｘ方向における負側空間輝度差総和Ｆｘ −および正側空間輝度差総和Ｆｘ ＋に基づいて、ｘ方向における正側尤度および負側尤度をそれぞれ算出するものである。このρｘ算出部５１０は、ρｘ −算出部５１１およびρｘ ＋算出部５１２を備える。
ρｘ −算出部５１１は、ｘ方向における負側空間輝度差総和Ｆｘ −および正側空間輝度差総和Ｆｘ ＋に基づいて、ｘ方向の負側尤度を算出するものである。このρｘ −算出部５１１は、その算出されたｘ方向の正側尤度ρｘ −をＬｘ −算出部３８１に供給する。
ρｘ ＋算出部５１２は、ｘ方向における負側空間輝度差総和Ｆｘ −および正側空間輝度差総和Ｆｘ ＋に基づいて、ｘ方向の正側尤度ρｘ ＋を算出するものである。このρｘ ＋算出部５１２は、その算出されたｘ方向の正側尤度をＬｘ ＋算出部３８２に供給する。
ρｙ算出部５２０は、ｙ方向における負側空間輝度差総和Ｆｙ −および正側空間輝度差総和Ｆｙ ＋に基づいて、ｙ方向における正側尤度および負側尤度をそれぞれ算出するものである。このρｙ算出部５２０は、ρｙ −算出部５２１およびρｙ ＋算出部５２２を備える。
ρｙ −算出部５２１は、ｙ方向における負側空間輝度差総和Ｆｙ −および正側空間輝度差総和Ｆｙ ＋に基づいて、ｙ方向の負側尤度ρｙ −を算出するものである。このρｙ −算出部５２１は、その算出されたｙ方向の負側尤度ρｙ −をＬｙ −算出部３８１に供給する。
ρｙ ＋算出部５２２は、ｙ方向における負側空間輝度差総和Ｆｙ −および正側空間輝度差総和Ｆｙ ＋に基づいて、ｙ方向の正側尤度ρｙ ＋を算出するものである。このρｙ ＋算出部５２２は、その算出されたｙ方向の正側尤度ρｙ ＋をＬｙ ＋算出部３８２に供給する。
ここで、上述のｘ方向の負側尤度ρｘ −、ｘ方向の正側尤度ρｘ ＋、ｙ方向の負側尤度ρｙ −およびｙ方向の正側尤度ρｙ ＋の算出例としては、次式により表わすことができる。
このように、ρｘ算出部５１０およびρｙ算出部５２０では、正側輝度差総和および負側輝度差総和を用いることによって、基準ブロックに含まれる動体の上下または左右の移動方向の尤度を算出する。
Ｌｘ −算出部３８１は、ｘ方向の負側空間輝度差総和Ｆｘ −と、ｘ方向の負側時間輝度差総和Ｆｔ ｘ−と、ｘ方向の負側尤度ρｘ −とに基づいて、ｘ方向における負側の探索範囲Ｌｘ −を算出するものである。このＬｘ −算出部３８１は、その算出されたｘ方向における負側の探索範囲Ｌｘ −を、信号線３２９を介して参照ブロック決定部１４０に供給する。
Ｌｘ ＋算出部３８２は、ｘ方向の正側空間輝度差総和Ｆｘ ＋と、ｘ方向の正側時間輝度差総和Ｆｔ ｘ＋と、ｘ方向の正側尤度ρｘ ＋とに基づいて、ｘ方向における正側の探索範囲Ｌｘ ＋を算出するものである。このＬｘ ＋算出部３８２は、その算出されたｘ方向における正側の探索範囲Ｌｘ ＋を、信号線３２９を介して参照ブロック決定部１４０に供給する。なお、Ｌｘ −算出部３８１およびＬｘ ＋算出部３８２は、特許請求の範囲に記載の探索範囲算出部の一例である。
Ｌｙ −算出部３９１は、ｙ方向の負側空間輝度差総和Ｆｙ −と、ｙ方向の負側時間輝度差総和Ｆｔ ｙ−と、ｙ方向の負側尤度ρｙ −とに基づいて、ｙ方向における負側の探索範囲Ｌｙ −を算出するものである。このＬｙ −算出部３９１は、その算出されたｙ方向における負側の探索範囲Ｌｙ −を、信号線３２９を介して参照ブロック決定部１４０に供給する。
Ｌｙ ＋算出部３９２は、ｙ方向の正側空間輝度差総和Ｆｙ ＋と、ｙ方向の正側時間輝度差総和Ｆｔ ｙ＋と、ｙ方向の負側尤度ρｙ ＋とに基づいて、ｙ方向における正側の探索範囲Ｌｙ ＋を算出するものである。このＬｙ ＋算出部３９２は、その算出されたｙ方向における正側の探索範囲Ｌｙ ＋を、信号線３２９を介して参照ブロック決定部１４０に供給する。なお、Ｌｙ −算出部３９１およびＬｙ ＋算出部３９２は、特許請求の範囲に記載の探索範囲算出部の一例である。
ここで、上述のｘ方向における負側の探索範囲Ｌｘ −および正側の探索範囲Ｌｘ ＋と、ｙ方向における負側の探索範囲Ｌｙ −および正側の探索範囲Ｌｙ ＋との算出例としては、次式により表わすことができる。
このように、ρｘ算出部５１０およびρｙ算出部５２０を設けることにより、図１１の構成に比べて、各方向における負側および正側の探索範囲の算出における処理量を低減することができる。
［動きベクトル検出装置の動作例］
次に、動きベクトル検出装置３００の動作について図面を参照して説明する。
図１３は、本発明の第２の実施の形態における動きベクトル検出装置３００の処理方法における処理手順例を示すフローチャートである。
まず、基準ブロック決定部１２０により、基準フレームバッファ１１０からの基準フレームにおいて基準ブロックが決定される（ステップＳ９３１）。次に、Ｆｓ算出部３４０により、基準ブロック決定部１２０からの基準ブロックにおける各画素に対する画素間の輝度差である空間輝度差の絶対値の総和として空間輝度差総和が算出される（ステップＳ９３２）。なお、ステップＳ９３２は、特許請求の範囲に記載の空間輝度差総和算出手順の一例である。
次に、Ｆｔ算出部３３０により、対応ブロック抽出部３１０からの対応ブロックと、基準ブロック決定部１２０からの基準ブロックとにおいて、互いに対応する画素間の輝度差である時間輝度差の総和として時間輝度差総和が算出される（ステップＳ９３３）。なお、ステップＳ９３３は、特許請求の範囲に記載の時間輝度差総和算出手順の一例である。次に、Ｌ算出部３７０により、Ｆｔ算出部３３０からの空間輝度差総和と、Ｆｓ算出部３４０からの時間輝度差総和とに基づいて参照フレームにおける探索範囲が算出される（ステップＳ９３４）。なお、ステップＳ９３４は、特許請求の範囲に記載の探索範囲算出手順の一例である。
次に、参照ブロック決定部１４０により、参照フレームバッファ１３０からの参照フレームに対して参照フレームが決定される（ステップＳ９３５）。相関度算出部８７１により、基準ブロックの各画素の輝度値と、参照ブロックの各画素の輝度値とに基づいて、基準ブロックと参照ブロックとの相関度が算出される（ステップＳ９３６）。次に、相関度算出部８７１により算出された相関度と、その参照ブロックの位置とを関連付けて相関度マップ記憶部８７２に記憶する（ステップＳ９３７）。次に、位置取得部８７３により、検索領域において決定される全ての参照ブロックにおける相関度および位置が相関度マップ記憶部８７２に記憶されたか否かが判断される（ステップＳ９３８）。そして、全ての参照ブロックにおける相関度および位置が記憶されていない場合には、ステップＳ９３５に戻り、探索領域内に設定される全ての参照ブロックにおける相関度および位置が記憶されまで繰り返される。
一方、全ての参照ブロックにおける相関度と位置が記憶された場合には、位置取得部８７３により相関度が最大である参照ブロックの位置が取得される（ステップＳ９３９）。次に、動きベクトル算出部８７４により、位置取得部８７３からの参照ブロックの位置と、基準ブロックの位置とに基づいて動きベクトルが算出される（ステップＳ９４０）。なお、ステップＳ９３５乃至Ｓ９４０は、特許請求の範囲に記載のブロックマッチング計算手順の一例である。
次に、動きベクトル算出部８７４によって算出された動きベクトルが全ての基準ブロックについて算出されたか否かが判断される（ステップＳ９４１）。そして、全ての基準ブロックについて動きベクトルの算出が終了していない場合には、ステップＳ９４１に戻り、新たな基準ブロックが決定されてステップＳ９４２以下の処理が行われる。一方、全ての基準ブロックについて算出された場合には、動きベクトル計算処理は終了する。
このように、本発明の第２の実施の形態によれば、探索範囲生成部３２０を設けることによって、基準ブロックに対する動きベクトルの探索領域を適切に規定することができる。これにより、探索領域を最小限に抑制することができるため、ブロックマッチングによる処理量を低減することができ、消費電力を抑制することができる。また、基準ブロックに対する動きベクトルの探索領域を適切に規定することによって、動きベクトルの検出精度を向上させることができる。
＜３．第３の実施の形態＞
［動き検出器の一構成例］
図１４は、本発明の第３の実施の形態における動き検出器６００の一構成例を示すブロック図である。動き検出器６００は、縮小画像を用いて階層的に動きベクトルを検出することによって動きを推定する階層的ＭＥ（Motion Estimation：動き推定）を行うものである。この動き検出器６００は、基準フレーム縮小画像生成部６１０と、フレームメモリ６２０と、参照フレーム縮小画像生成部６３０と、第１動きベクトル検出部６４０と、第２動きベクトル検出部６５０とを備える。
基準フレーム縮小画像生成部６１０は、信号線６０１から供給される基準フレームにおける予め定められた倍率となる縮小画像を生成するものである。この基準フレーム縮小画像生成部６１０は、その生成された縮小画像を、基準フレーム縮小画像として第１動きベクトル検出部６４０に供給する。
フレームメモリ６２０は、信号線６０１から供給された基準フレームを一時的に保持するものである。このフレームメモリ６２０は、その保持された基準フレームを参照フレームとして参照フレーム縮小画像生成部６３０および第２動きベクトル検出部６４０にそれぞれ供給する。
参照フレーム縮小画像生成部６３０は、フレームメモリ６２０から供給される参照フレームにおける予め定められた倍率となる縮小画像を生成するものである。この参照フレーム縮小画像生成部６３０は、その生成された縮小画像を、参照フレーム縮小画像として第１動きベクトル検出部６４０に供給する。
第１動きベクトル検出部６４０は、基準フレーム縮小画像に設定される基準ブロックと、参照フレーム縮小画像に複数設定される参照ブロックの各々との間の相関度に基づいて基準縮小画像における基準ブロックに対する動きベクトルを検出するものである。この第１動きベクトル検出部６４０は、基準フレーム縮小画像における基準ブロックに対して検出された動きベクトルを第２動きベクトル検出部６５０に供給する。この第１動きベクトル検出部６４０には、図７に示した動きベクトル検出装置３００を適用することができる。これにより、動きベクトルを効率良く検出することができるため、消費電力を低減することができる。
第２動きベクトル検出部６５０は、基準フレームに設定される基準ブロックと、参照フレームに複数設定される参照ブロックの各々との間の相関度に基づいて、基準ブロックに対する動きベクトルを検出するものである。この第２動きベクトル検出部６５０は、第１動きベクトル検出部６４０からの動きベクトルに基づいて探索領域を規定する。そして、この第２動きベクトル検出部６５０は、その規定された探索領域内に複数設定された参照ブロックの各々と、基準フレームに設定された基準ブロックとの間の相関度に基づいて、基準フレームにおける基準ブロックに対する動きベクトルを検出する。また、この第２動きベクトル検出部６５０は、検出された基準フレームにおける基準ブロックに対する動きベクトルを信号線６０９に供給する。この第２動きベクトル検出部６５０には、図７に示した動きベクトル検出装置３００を適用するようにしてもよい。
ここで、第１動きベクトル検出部６４０からの動きベクトルに基づいて、第２動きベクトル検出部６５０において基準フレームにおける基準ブロックに対する動きベクトルを検出する階層サーチ手法について、次図を参照して簡単に説明する。
［動きベクトルの検出例］
図１５は、本発明の第３の実施の形態における動き検出器６００の階層サーチ手法を例示する概念図である。ここでは、基準フレーム６０２と、参照フレーム６２１と、推定ブロック６５４と、基準縮小フレーム６１１と、参照縮小フレーム６３１と、動きベクトル６４１および６５１乃至６５３とが示されている。基準フレーム６０２は、動画像における現在のフレームの画像である。参照フレーム６２１は、フレームメモリ６２０に保持されている基準フレーム６０２に対して１つ前の画像である。基準ブロック６０３は、動きベクトルを検出するための基準フレーム６０２におけるブロックである。
基準縮小フレーム６１１は、基準フレーム縮小画像生成部６１０により生成される基準フレーム６０２における縮小画像である。参照縮小フレーム６３１は、参照フレーム縮小画像生成部６３０により生成される参照フレーム６２１における縮小画像である。基準ブロック６１２は、基準ブロック６０３に対応する基準縮小フレーム６１１におけるブロックである。ここでは、基準縮小フレーム６１１および参照縮小フレーム６３１が基準フレーム６０２および参照フレーム６２１に対してそれぞれ１／ｎ倍に縮小されることを想定する。
この場合において、第１動きベクトル検出部６４０は、基準縮小フレーム６１１に設定された基準ブロック６１２に対する動きベクトル６４１を検出する。次に、第２動きベクトル検出部６５０は、第１動きベクトル検出部によって検出された動きベクトル６４１の大きさをｎ倍した動きベクトル６５１に基づいて推定ブロック６５４の位置を決定する。そして、第２動きベクトル検出部６５０は、推定ブロック６５４の位置を基準として動きベクトル６５２を検出し、動きベクトル６５１および動きベクトル６５２に基づいて基準フレーム６０２における基準ブロック６０３に対する動きベクトル６５３を算出する。
このように、本発明の第３の実施の形態によれば、動きベクトル検出装置３００を、第１および第２動きベクトル検出部６４０および６５０に適用することによって、精度良く動きベクトルを検出することができる。
＜４．第４の実施の形態＞
［動きベクトル検出装置の一構成例］
図１６は、本発明の第４の実施の形態における動きベクトル検出装置７００の一構成例を示すブロック図である。動きベクトル検出装置７００は、図１に示した構成に加えて、図７に示した対応ブロック抽出部３１０および探索範囲生成部３２０を備える。この動きベクトル検出装置７００において、対応ブロック抽出部３１０および探索範囲生成部３２０は図７に示したものと同様であるため、ここでの説明を省略する。また、これら以外の構成については、図１に示したものと同様であるため、ここでの説明を省略する。
このように、本発明の第４の実施の形態では、有効度計算部１６０を設けることによって、フレーム内に複数の動体が含まれる場合であっても精度良く動きベクトルを検出することができる。それとともに、探索領域を最適化させることによってブロックマッチングによる相関度の算出処理を低減させることができる。
このように、本発明の実施の形態によれば、基準ブロックに対する動きベクトルを精度良く検出することができるため、消費電力を抑制することができる。
なお、本発明の実施の形態における動きベクトル検出装置３００および７００を撮像装置７１０に適用する例について次図を参照して説明する。
図１７は、本発明の実施の形態における撮像装置７１０の一構成例を示すブロック図である。撮像装置７１０は、制御部７１１と、撮像部７１２と、信号処理部７１５と、顔検出部７１６と、動きベクトル検出部７１７とを備える。また、撮像装置７１０は、ブレ補正部７１８と、画像記憶部７１９と、バス７２１と、ユーザインターフェース７２２と、画像圧縮伸張部７２５と、記憶媒体７２６と、入出力端子７２７と、メモリ７２８と、振動センサ７２９とを備える。なお、各ブロック間における画像信号の送受信は、直接のやりとり、または、画像記憶部７１９またはバス７２１を経由したやりとりによって行われる。
制御部７１１は、メモリ（図示せず）に格納されている各種制御プログラムに基づいて撮像装置７１０の各部を制御する制御部である。
撮像部７１２は、光学系７１３および撮像素子７１４を備え、被写体からの入射光を電気信号に光電変換し、光電変換された電気信号を信号処理部７１５に出力するものである。光学系７１３は、フォーカスレンズ、ズームレンズ、ブレ補正用レンズ、ブレ補正用プリズム等のレンズ郡を備え、これらのレンズ郡を介して入力された被写体からの入射光を撮像素子７１４に出力するものである。撮像素子７１４は、光学系７１３から出力された入射光を光電変換し、光電変換された電気信号を信号処理部７１５に出力するものである。なお、撮像部７１２において、ブレ補正用レンズの移動または傾き、ブレ補正用プリズムの変形や傾き、撮像素子７１４の移動等をすることによって、検出されたブレを光学的に補正することができる。これらは制御部７１１からの制御に基づいて実行される。
信号処理部７１５は、撮像素子７１４から出力された電気信号に対して各種の信号処理を施し、信号処理が施された画像データを画像記憶部７１９と画像圧縮伸張部７２５と、ユーザインターフェース７２２と顔検出部７１６とに出力するものである。信号処理部７１５における信号処理として、ノイズ軽減処理、レベル補正処理、Ａ／Ｄ変換処理および色彩補正処理等の信号処理がある。また、信号処理部７１５は、制御部７１１の指示に基づいて各部から入力された画像に対して各種の画像処理を実行する。
顔検出部７１６は、入力された画像データに対応する画像に含まれる人の顔を検出するものである。
動きベクトル検出部７１７は、入力された画像データに対応する画像について分割された各ブロックの動きベクトルを画像処理によって検出し、検出された動きベクトルに対応する値を制御部７１１に出力するものである。この動きベクトル検出部７１７に対して、本発明の実施の形態における動きベクトル検出装置３００および７００を適用することができる。
ブレ補正部７１８は、動きベクトル検出部７１７が検出した動きベクトルに基づいて算出されるブレ補正量等に基づいて、入力された画像データに対応する画像の位置を移動させて、その画像のブレを補正するものである。なお、ブレ補正部７１８は、電子的ブレ補正手段および光学的ブレ補正手段を有する。
なお、ブレ補正部７１８によりブレが補正された画像が画像圧縮伸張部７２５に出力される。そして、画像圧縮伸張部７２５は、ブレが補正された画像に対して画像圧縮処理を施し、画像圧縮処理が施された画像を記憶媒体７２６に記録する。また、ブレが補正された画像が表示部７２３に表示される。
画像記憶部７１９は、撮像装置７１０において処理対象となる画像データを記憶するものである。
バス７２１は、画像データを伝達するための共有バスである。ユーザインターフェース７２２は、表示部７２３と選択受付部７２４とを備え、撮像装置７１０を使用するユーザに対するインターフェースを提供するものである。
表示部７２３は、信号処理部７１５または画像圧縮伸張部７２５が出力した画像データに対応する画像を表示する表示部である。表示部７２３は、例えば、撮像装置７１０が撮像する被写体の画像である撮像画像を表示する。
選択受付部７２４は、ユーザが入力した選択情報を電気信号に変換し、変換された電気信号を制御部７１１に出力するものである。例えば、撮像部７１２が出力した撮像画像から顔検出部７１６が顔を検出した場合には、その撮像画像について検出された顔に基づくブレ補正処理を撮像装置７１０が実行する。このように、撮像画像に顔が含まれている場合において、その顔に基づくブレ補正処理を実行するように設定（ＯＮ設定）することができるとともに、その顔に基づくブレ補正処理を実行しない設定（ＯＦＦ設定）をすることができる。このＯＮ／ＯＦＦ設定を選択受付部７２４において行う。
なお、ユーザインターフェース７２２は、例えば、タッチパネルとして表示部７２３と選択受付部７２４とが一体で構成するようにしてもよく、表示部７２３を液晶ディスプレイ（ＬＣＤ）とし、選択受付部７２４をハードキーとしてもよい。
画像圧縮伸張部７２５は、入力された各種画像データを各画像処理に応じて圧縮または伸張するものである。例えば、画像圧縮伸張部７２５により圧縮処理が施された画像データが記憶媒体７２６に出力されて記憶媒体７２６に記憶される。また、画像圧縮伸張部７２５により伸張処理が施された画像データが画像記憶部７１９、表示部７２３、顔検出部７１６に出力される。なお、圧縮形式として、例えばＪＰＥＧ（Joint Photographic Experts Group）形式を採用することができる。
記憶媒体７２６は、画像圧縮伸張部７２５が出力した画像データを記憶するとともに、記憶されている画像データを画像圧縮伸張部７２５に出力する画像記憶媒体である。なお、画像記憶媒体としては、磁気ディスク、光ディスク、半導体記憶媒体、磁気テープ等の画像記憶媒体がある。また、画像記憶媒体は、外部取り外しの可能な記憶媒体および内蔵の記憶媒体の少なくとも何れか一方である。
入出力端子７２７は、画像圧縮伸張部７２５が出力した画像データを外部記憶媒体等の外部装置に出力するとともに、外部記憶媒体から入力された画像データを画像圧縮伸張部７２５に出力する入出力端子である。
メモリ７２８は、各種情報を記憶する揮発／不揮発性の記憶媒体である。
振動センサ７２９は、撮像装置７１０の振動を検出し、画像に依存しないブレ成分（すなわち、撮像装置７１０本体のブレ成分）を検出するものであり、検出された各種情報を制御部７１１に出力する。振動センサ７２９は、例えばジャイロセンサ、速度センサ、加速度センサにより実現することができる。
このように、本発明の実施の形態における動きベクトル検出装置３００および７００を、撮像装置７１０に適用することによって、撮像装置７１０における消費電力を抑制することができる。
なお、本発明の実施の形態では、参照フレームを基準フレームに対して１つ前のフレームとする例について説明したが、参照フレームを現在のフレームとし、基準フレームを参照フレームに対して１つ前のフレームとした場合においても適用することができる。
なお、本発明の実施の形態では、基準ブロックにおける全画素に対する輝度値を用いる例について説明したが、基準ブロックにおける一部の画素に対する輝度値を用いるようにしてもよい。
なお、本発明の実施の形態は、カムコーダやビデオレコーダ等の撮像装置や画像記憶装置において、記憶処理における動画を圧縮する画像符号化処理に適用することができる。
なお、本発明の実施の形態では、動画を撮像した時のブレを検出するカムコーダやビデオレコーダ等の撮像装置や画像記憶装置において、再生処理や記憶処理におけるブレ軽減処理に適用することができる。
なお、本発明の実施の形態は、撮像処理部において起因するランダムノイズを検出するカムコーダやビデオレコーダ等の撮像装置や画像記憶装置において、再生処理や記憶処理におけるノイズ低減処理に適用することができる。
なお、本発明の実施の形態は、ビデオレコーダ等の画像記憶装置において、フレーム不足による時間方向の解像度不足を低減させるための再生処理におけるフレーム補間処理に適用することができる。
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、上述のように特許請求の範囲における発明特定事項とそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
本発明の第１の実施の形態における動きベクトル検出装置１００の機能構成例を示すブロック図である。 本発明の第１の実施の形態における動きベクトル検出装置１００による基準フレームおよび参照フレームに同一の２つの動体が含まれる場合における動きベクトルの検出例を示す図である。 本発明の第１の実施の形態における基準輝度値生成部１５０による基準輝度値の生成例を示す図である。 本発明の第１の実施の形態における有効度計算部１６０により有効度の計算例を示す図である。 本発明の第１の実施の形態における輝度値差分算出部１６１により算出された差分絶対値と、重み算出部１６２により算出される重みとの関係の一例を示す図である。 本発明の第１の実施の形態における動きベクトル検出装置１００における動きベクトル計算処理の処理手順を示すフローチャートである。 本発明の第２の実施の形態における動きベクトル検出装置の一構成を示すブロック図である。 本発明の第２の実施の形態における動きベクトル検出装置３００により規定される参照フレームにおける探索領域の一例を示す概念図である。 本発明の第２の実施の形態における探索範囲生成部３２０の第１の構成例を示すブロック図である。 本発明の第２の実施の形態における動きベクトル検出装置３００により非対称に規定される参照フレームにおける探索領域の一例を示す概念図である。 本発明の第２の実施の形態における探索範囲を非対称に設定する場合における探索範囲生成部３２０の第２の構成例を示すブロック図である。 本発明の第２の実施の形態における探索範囲を非対称に設定する場合における探索範囲生成部３２０の第２の構成例の変形例を示すブロック図である。 本発明の第２の実施の形態における動きベクトル検出装置３００の処理方法における処理手順例を示すフローチャートである。 本発明の第３の実施の形態における動き検出器６００の一構成例を示すブロック図である。 本発明の第３の実施の形態における動き検出器６００の階層サーチ手法を例示する概念図である。 本発明の第４の実施の形態における動きベクトル検出装置７００の一構成例を示すブロック図である。 本発明の実施の形態における撮像装置７１０の一構成例を示すブロック図である。
符号の説明
１００、３００、７００ 動きベクトル検出装置
１０１、１０２、１０３、３１１、３２９、６０１、６０９ 信号線
１１０ 基準フレームバッファ
１２０ 基準ブロック決定部
１３０ 参照フレームバッファ
１４０ 参照ブロック決定部
１５０ 基準輝度値生成部
１６０ 有効度計算部
１６１ 輝度値差分算出部
１６２ 重み算出部
１７０、８７０ ブロックマッチング計算部
１７１、８７１ 相関度算出部
１７２、８７２ 相関度マップ記憶部
１７３、８７３ 位置取得部
１７４、８７４ 動きベクトル算出部
３１０ 対応ブロック抽出部
３２０ 探索範囲生成部
３３０ Ｆｔ算出部
３３１ Ｆｔ ｘ−算出部
３３２ Ｆｔ ｘ＋算出部
３３３ Ｆｔ ｙ−算出部
３３４ Ｆｔ ｙ＋算出部
３４０ Ｆｓ算出部
３５０ Ｆｘ算出部
３５１ Ｆｘ −算出部
３５２ Ｆｘ ＋算出部
３６０ Ｆｙ算出部
３６１ Ｆｙ −算出部
３６２ Ｆｙ ＋算出部
３７０ Ｌ算出部
３８０ Ｌｘ算出部
３８１ Ｌｘ −算出部
３８２ Ｌｘ ＋算出部
３９０ Ｌｙ算出部
３９１ Ｌｙ −算出部
３９２ Ｌｙ ＋算出部
５１０ ρｘ算出部
５１１ ρｘ −算出部
５１２ ρｘ ＋算出部
５２０ ρｙ算出部
５２１ ρｙ −算出部
５２２ ρｙ ＋算出部
６００ 動き検出器
６１０ 基準フレーム縮小画像生成部
６２０ フレームメモリ
６３０ 参照フレーム縮小画像生成部
６４０ 第１動きベクトル検出部
６５０ 第２動きベクトル検出部

Claims (11)

  1. 基準フレームに設定される基準ブロックにおける所定の画素に対する水平方向および垂直方向の各方向における画素間の輝度差である空間輝度差の絶対値の総和を前記各方向についてそれぞれ算出する空間輝度差総和算出部と、
    前記基準ブロックに対応する参照フレームにおける対応ブロックと前記基準ブロックとにおいて互いに対応する画素間の輝度差である時間輝度差の絶対値の総和を算出する時間輝度差総和算出部と、
    前記基準ブロックに対する動きベクトルを探索するための前記参照フレームにおける探索範囲を前記各方向における前記空間輝度差の絶対値の総和と前記時間輝度差の絶対値の総和とに基づいて前記各方向についてそれぞれ算出する探索範囲算出部と、
    前記探索範囲によって定まる前記参照フレームにおける探索領域内に参照ブロックを設定して前記設定された参照ブロックと前記基準ブロックとの間の相関度に基づいてブロックマッチングを行うことによって前記動きベクトルを計算するブロックマッチング計算部と
    を具備し、
    前記空間輝度差総和算出部は、前記基準ブロックにおける前記所定の画素に対する前記時間輝度差の符号と前記各方向における前記空間輝度差の符号とに基づいて前記各方向における前記空間輝度差の絶対値を正側空間輝度差総和および負側空間輝度差総和のうちいずれか一方に加算する
    動きベクトル検出装置。
  2. 前記探索範囲算出部は、前記空間輝度差の絶対値の総和が大きいほど前記探索範囲を小さくし、前記時間輝度差の絶対値の総和が大きいほど前記探索範囲を大きくする請求項１記載の動きベクトル検出装置。
  3. 前記探索範囲算出部は、前記空間輝度差の絶対値の総和に反比例するとともに前記時間輝度差の絶対値の総和に比例する前記探索範囲を算出する請求項２記載の動きベクトル検出装置。
  4. 前記時間輝度差総和算出部は、前記基準ブロックにおける前記所定の画素に対する前記時間輝度差の符号と前記各方向における前記空間輝度差の符号とに基づいて前記各方向における前記時間輝度差の絶対値を正側時間輝度差総和および負側時間輝度差総和のうちいずれか一方に加算する請求項１記載の動きベクトル検出装置。
  5. 前記探索範囲算出部は、
    前記各方向における前記正側空間輝度差総和と前記各方向における前記正側時間輝度差総和とに基づいて前記各方向における正側の前記探索範囲をそれぞれ算出する正側探索範囲算出部と、
    前記各方向における前記負側空間輝度差総和と前記各方向における前記負側時間輝度差総和とに基づいて前記各方向における負側の前記探索範囲をそれぞれ算出する負側探索範囲算出部と
    を含む請求項４記載の動きベクトル検出装置。
  6. 前記各方向において前記正側空間輝度差総和および前記負側空間輝度差総和に基づいて正側尤度および負側尤度をそれぞれ算出する尤度算出部をさらに具備する請求項１記載の動きベクトル検出装置。
  7. 前記探索範囲算出部は、
    前記空間輝度差の絶対値の総和と前記時間輝度差の絶対値の総和と前記各方向における前記正側尤度とに基づいて前記各方向における正側の前記探索範囲をそれぞれ算出する正側探索範囲算出部と、
    前記空間輝度差の絶対値の総和と前記時間輝度差の絶対値の総和と前記各方向における前記負側尤度とに基づいて前記各方向における負側の前記探索範囲をそれぞれ算出する負側探索範囲算出部と
    を含む請求項６記載の動きベクトル検出装置。
  8. 前記基準ブロックにおける所定の画素の輝度値に基づいて前記基準ブロックの基準輝度値を生成する基準輝度値生成部と、
    前記基準ブロックの各画素の輝度値と前記基準輝度値とに基づいて前記基準ブロックの各画素の有効度を計算する有効度計算部とをさらに具備し、
    ブロックマッチング計算部は、
    前記探索範囲によって定まる前記参照フレームにおける探索領域内に複数の参照ブロックを設定して前記設定された参照ブロックにおける前記基準ブロックの画素位置に対応する各画素の輝度値と前記基準ブロックの画素位置に対応する前記有効度とに基づいて前記参照ブロックにおける前記基準ブロックとの前記相関度を前記参照ブロック毎に算出する相関度算出部を含む
    請求項１記載の動きベクトル検出装置。
  9. 前記探索範囲算出部は、前記空間輝度差の絶対値の総和と前記時間輝度差の絶対値の総和とに基づいて算出された前記探索範囲および所定の範囲のいずれか一方を前記探索範囲とする請求項１記載の動きベクトル検出装置。
  10. 基準フレームに設定される基準ブロックにおける所定の画素に対する水平方向および垂直方向の各方向における画素間の輝度差である空間輝度差の絶対値の総和を前記各方向についてそれぞれ算出する空間輝度差総和算出手順と、
    前記基準ブロックに対応する参照フレームにおける対応ブロックと前記基準ブロックとにおいて互いに対応する画素間の輝度差である時間輝度差の絶対値の総和を算出する時間輝度差総和算手順と、
    前記基準ブロックに対する動きベクトルを探索するための前記参照フレームにおける探索範囲を前記各方向における前記空間輝度差の絶対値の総和と前記時間輝度差の絶対値の総和とに基づいて前記各方向についてそれぞれ算出する探索範囲算出手順と、
    前記探索範囲によって定まる前記参照フレームにおける探索領域内に参照ブロックを設定して前記設定された参照ブロックと前記基準ブロックとの間の相関度に基づいてブロックマッチングを行うことによって前記動きベクトルを計算するブロックマッチング計算手順と
    を具備し、
    前記空間輝度差総和算出手順において、前記基準ブロックにおける前記所定の画素に対する前記時間輝度差の符号と前記各方向における前記空間輝度差の符号とに基づいて前記各方向における前記空間輝度差の絶対値を正側空間輝度差総和および負側空間輝度差総和のうちいずれか一方に加算する
    動きベクトル検出方法。
  11. 基準フレームに設定される基準ブロックにおける所定の画素に対する水平方向および垂直方向の各方向における画素間の輝度差である空間輝度差の絶対値の総和を前記各方向についてそれぞれ算出する空間輝度差総和算出手順と、
    前記基準ブロックに対応する参照フレームにおける対応ブロックと前記基準ブロックとにおいて互いに対応する画素間の輝度差である時間輝度差の絶対値の総和を算出する時間輝度差総和算手順と、
    前記基準ブロックに対する動きベクトルを探索するための前記参照フレームにおける探索範囲を前記各方向における前記空間輝度差の絶対値の総和と前記時間輝度差の絶対値の総和とに基づいて前記各方向についてそれぞれ算出する探索範囲算出手順と、
    前記探索範囲によって定まる前記参照フレームにおける探索領域内に参照ブロックを設定して前記設定された参照ブロックと前記基準ブロックとの間の相関度に基づいてブロックマッチングを行うことによって前記動きベクトルを計算するブロックマッチング計算手順と
    をコンピュータに実行させるプログラムであって、
    前記空間輝度差総和算出手順において、前記基準ブロックにおける前記所定の画素に対する前記時間輝度差の符号と前記各方向における前記空間輝度差の符号とに基づいて前記各方向における前記空間輝度差の絶対値を正側空間輝度差総和および負側空間輝度差総和のうちいずれか一方に加算する
    プログラム。
JP2008284628A 2008-11-05 2008-11-05 動きベクトル検出装置、その処理方法およびプログラム Expired - Fee Related JP5163429B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008284628A JP5163429B2 (ja) 2008-11-05 2008-11-05 動きベクトル検出装置、その処理方法およびプログラム
US12/588,329 US8619863B2 (en) 2008-11-05 2009-10-13 Motion vector detection apparatus, motion vector processing method and program
CN2009102118562A CN101739688B (zh) 2008-11-05 2009-11-05 运动矢量检测装置和运动矢量处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008284628A JP5163429B2 (ja) 2008-11-05 2008-11-05 動きベクトル検出装置、その処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2010114597A JP2010114597A (ja) 2010-05-20
JP5163429B2 true JP5163429B2 (ja) 2013-03-13

Family

ID=42302816

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008284628A Expired - Fee Related JP5163429B2 (ja) 2008-11-05 2008-11-05 動きベクトル検出装置、その処理方法およびプログラム

Country Status (3)

Country Link
US (1) US8619863B2 (ja)
JP (1) JP5163429B2 (ja)
CN (1) CN101739688B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010288098A (ja) * 2009-06-12 2010-12-24 Sony Corp 画像フレーム補間装置、画像フレーム補間方法及び画像フレーム補間プログラム
US8400533B1 (en) * 2010-02-23 2013-03-19 Xilinx, Inc. Methods of reducing aberrations in a digital image
CN101950423B (zh) * 2010-09-06 2012-08-29 北京航空航天大学 一种运动方向异常物体检测方法和装置
TWI511547B (zh) * 2012-04-10 2015-12-01 Acer Inc 利用旋轉操作輔助視訊壓縮的方法及其影像擷取裝置
KR101347062B1 (ko) * 2012-06-27 2014-01-10 숭실대학교산학협력단 움직임 벡터의 예측을 위한 탐색영역 설정 장치 및 방법
MX339554B (es) 2012-09-28 2016-05-30 Sony Corp Dispositivo y metodo para procesamiento de imagen.
JP6163919B2 (ja) * 2013-07-01 2017-07-19 富士通株式会社 画像処理装置、補正方法および補正プログラム
JP6502485B2 (ja) 2015-05-21 2019-04-17 オリンパス株式会社 撮像装置
JP6543578B2 (ja) * 2016-01-27 2019-07-10 富士通株式会社 情報処理装置、情報処理方法、およびプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0281589A (ja) * 1988-09-19 1990-03-22 Toshiba Corp 動きベクトル検出方式
JPH05328333A (ja) * 1992-05-15 1993-12-10 Toshiba Corp 動きベクトル検出装置
JP3724653B2 (ja) * 1995-03-20 2005-12-07 ソニー株式会社 動き量検出方法及び動き量検出装置
JPH09121354A (ja) * 1995-10-25 1997-05-06 Oki Electric Ind Co Ltd ループフィルタ制御方法、動きベクトル検出方法及びループフィルタ制御回路
JP4294743B2 (ja) * 1996-12-13 2009-07-15 富士通株式会社 動きベクトル探索装置および動画像符号化装置
JP2000078580A (ja) 1998-08-28 2000-03-14 Sony Corp 動きベクトル検出装置および方法、並びに提供媒体
US7164778B1 (en) * 1999-01-25 2007-01-16 Nippon Telegraph And Telephone Corporation Digital watermark embedding method, digital watermark embedding apparatus, and storage medium storing a digital watermark embedding program
JP4366571B2 (ja) * 2003-09-18 2009-11-18 日本電気株式会社 動画像符号化装置及び方法
JP2005295319A (ja) * 2004-04-01 2005-10-20 Renesas Technology Corp 動き検出装置
US20060002474A1 (en) * 2004-06-26 2006-01-05 Oscar Chi-Lim Au Efficient multi-block motion estimation for video compression
JP4655217B2 (ja) * 2005-09-09 2011-03-23 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
CN1791224A (zh) * 2005-12-19 2006-06-21 宁波大学 一种基于h.264的自适应块搜索范围快速运动估计方法
CN100548049C (zh) * 2007-01-09 2009-10-07 浙江大学 一种基于多参考帧的h.264快速运动估计的方法
US8670484B2 (en) * 2007-12-17 2014-03-11 General Instrument Corporation Method and apparatus for selecting a coding mode
US9641861B2 (en) * 2008-01-25 2017-05-02 Mediatek Inc. Method and integrated circuit for video processing

Also Published As

Publication number Publication date
CN101739688B (zh) 2012-11-14
US8619863B2 (en) 2013-12-31
US20100110302A1 (en) 2010-05-06
CN101739688A (zh) 2010-06-16
JP2010114597A (ja) 2010-05-20

Similar Documents

Publication Publication Date Title
JP5163429B2 (ja) 動きベクトル検出装置、その処理方法およびプログラム
JP5284048B2 (ja) 画像処理装置、撮像装置及び画像処理方法
US9674441B2 (en) Image processing apparatus, image processing method, and storage medium
US20110243451A1 (en) Image processing apparatus and method, and program
US20140363087A1 (en) Methods of Image Fusion for Image Stabilization
JP2009147807A (ja) 画像処理装置
US11062464B2 (en) Image processing apparatus, method, and storage medium to derive optical flow
US20200036895A1 (en) Image processing apparatus, control method thereof, and image capture apparatus
US20100150465A1 (en) Method and apparatus for removing image noise
JP2010114596A (ja) 動きベクトル検出装置、その処理方法およびプログラム
KR101830077B1 (ko) 화상처리장치, 그 제어 방법 및 기억매체
JP4617883B2 (ja) 画像処理装置および方法、プログラム並びに記録媒体
JP2009212605A (ja) 情報処理方法、情報処理装置及びプログラム
JP5173549B2 (ja) 画像処理装置及び撮像装置
KR20190087119A (ko) 이미지를 안정화하는 이미지 처리 장치 및 이미지를 안정화하는 방법
JP5812808B2 (ja) 画像処理装置及び画像処理方法
US10063880B2 (en) Motion detecting apparatus, motion detecting method and program
JP2009021929A (ja) 撮像装置及び撮像方法
JP6454112B2 (ja) ぶれ補正装置、ぶれ補正方法及びプログラム、並びに撮像装置
KR102131903B1 (ko) 모션 벡터 추정 방법 및 모션 벡터 추정 장치
JP2005197862A (ja) 画像処理装置
JP2010015483A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2011254233A (ja) 画像処理装置および方法、並びに、プログラム
JP2009100017A (ja) 画像処理装置及び方法、並びにプログラム
JP2020095673A (ja) 画像処理装置およびその制御方法、ならびに撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110913

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120604

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121203

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151228

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151228

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees