JP2007183256A - 画像処理装置及びその方法 - Google Patents

Abstract

【課題】撮影装置の揺動の処理や消失・再現する特徴点の処理が必要とされている場合においても、動画像又は順次少しずつ変化する撮影画像から、その撮影装置の撮影位置、姿勢又は対象物の座標を精度良く計測できる技術を提供する。
【解決手段】本発明による画像処理装置１００は、相対的に移動する対象物について少しずつ変化する撮影画像を順次取得する撮影画像取得部２と、撮影画像取得部２で得られた撮影画像から特徴点を抽出する特徴抽出部３と、前記特徴点が抽出された撮影画像以前又は以降に取得された複数の撮影画像について前記特徴点に対応する候補対応点を捜索し、前記特徴点の追跡を行う特徴点追跡部４と、前記候補対応点について、追跡結果から対応点を確定し、確定された対応点を用いて撮影位置又は対象物の座標を演算する処理部５とを備える。
【選択図】図２

Description

本発明は画像処理装置及びその方法に関する。詳しくは、対象物に対して撮影装置が相対的に移動する場合の動的画像を追跡して、撮影装置又は対象物の座標を測定する画像処理装置及びその方法に関する。

相対的な移動をしながら、対象物を連続的に撮影して、撮影装置の位置を測定する技術はあった。しかしながら、実際に自動車等の移動体に撮影装置を搭載して撮影を行うと、自動車の揺動のため、必ずしも安定した画像が得られるものではなく、フレーム毎に上下動、傾き等を修正する必要があり、また、撮影装置と対象物の間に例えば他の自動車、飛鳥、落葉等が入って、特徴点がその陰に隠れて消滅したり、再度復活したりする場合もある。したがって、このような撮影装置の揺動の処理や消失・再現する特徴点の処理が必要となっている。他方、静止した対象物を静止した撮影装置で撮影する場合には、高精度、自動的に対応点探索、計測を行う三次元計測技術が開示されている。（特許文献１参照）

特願２００２−６４０９４号公報（段落００１８〜００７３、図１〜図１１等）

そこで、上記静止した対象物を静止した撮影装置で撮影する技術を、そのいずれか一方が移動する場合に発展適用させて、撮影装置の揺動の処理や消失・再現する特徴点の処理が必要とされるような場合においても、動画像又は順次少しずつ変化する撮影画像から、その撮影装置の撮影位置、姿勢又は対象物の座標を精度良く計測できる技術を提供することが必要とされている。

本発明は、撮影装置の揺動の処理や消失・再現する特徴点の処理が必要とされるような場合においても、動画像又は順次少しずつ変化する撮影画像から、その撮影装置の撮影位置、姿勢又は対象物の座標を精度良く計測できる技術を提供することを目的とする。

上記課題を解決するために、請求項１に記載の画像処理装置１００は、例えば図２に記載のように、相対的に移動する対象物について少しずつ変化する撮影画像を順次取得する撮影画像取得部２と、撮影画像取得部２で得られた撮影画像から特徴点を抽出する特徴抽出部３と、前記特徴点が抽出された撮影画像以前又は以降に取得された複数の撮影画像について前記特徴点に対応する候補対応点を捜索し、前記特徴点の追跡を行う特徴点追跡部４と、前記候補対応点について、追跡結果から対応点を確定し、確定された対応点を用いて撮影位置又は対象物の座標を演算する処理部５とを備える。

ここにおいて、少しずつ変化する撮影画像とは、時間的又は空間的に順次少しずつ変化する撮影画像であり、画像の大部分で対象物が共通であることを意味する。さらに具体的には、共通の特徴点を少なくとも４個含むように変化する撮影画像をいう。共通の特徴点の数はできるだけ多くとれるようにするのが好ましい。ビデオカメラで連続的に撮影された動画像でも良く、単体カメラで時間又は場所を少しずつ変えて順次撮影しても良く、順次撮影したフレームを全て取得しても良く、数フレーム置きに取得しても良い。典型的には対象物又は撮影装置のいずれか一方が移動し他方が静止した状態で撮影されるが、両者が相対的に移動する状態で撮影されれば良い。また、特徴点の追跡とは、特徴点から始めて、対応する候補対応点、対応点を順次捜索していくのであるが、広義の意味では候補対応点、対応点もまとめて特徴点といえるので、このような表現としており、特徴点をこのように広義の意味で用いる場合もある。また候補対応点とは、確定される前の対応点をいう。また、撮影位置とは典型的には撮像レンズの位置座標であり、対象物の座標とは典型的には対象物に付された各特徴点の座標又は対象物重心の位置座標である。このように構成すると、撮影装置の揺動の処理や消失・再現する特徴点の処理が必要とされるような場合においても、動画像又は順次少しずつ変化する撮影画像から、その撮影装置の撮影位置、姿勢又は対象物の座標を精度良く計測できる画像処理装置を提供できる。

また、請求項２に記載の発明は、請求項１に記載の画像処理装置において、追跡結果として、順次取得された撮影画像のうちの２つの撮影画像を用いた射影変換から求めた画面相対移動量若しくは２つの撮影画像間の特徴点の移動ベクトル又は画面相対移動量若しくは移動ベクトルを順次連結した移動軌跡を用いる。

ここにおいて、画面相対移動量とは撮影装置と撮影対象（特徴点を含む）間の画面上での相対的移動量であり、移動ベクトルとは二次元の撮影画像上における各特徴点の相対的移動ベクトルをいう。この移動ベクトルは、射影変換により撮影装置の揺動を補正したものを用いるのが好ましいが、補正なしのものが用いられる場合も含まれる。また、２つの撮影画像として典型的には隣接画像が使用されるが、これに限定されず、数フレーム離れた画像を用いても良い。このように構成すると、画面相対移動量、移動ベクトル又はこれらの移動軌跡を用いて、対応点として相応しくない候補対応点を精度良く選別できる。

また、請求項３に記載の発明は、請求項２に記載の画像処理装置において、特徴点追跡部は、特徴点が抽出された撮影画像と、それ以前又は以降に順次取得された複数の撮影画像について特徴点に対応する候補対応点を捜索し、捜索された候補対応点と特徴点との位置関係から移動ベクトルを形成し、移動ベクトル及び画面相対移動量に基づいて、特徴点に対応する蓋然性が高いと判断される候補対応点を選別、それ以前又は以降に順次取得された複数の撮影画像について特徴点及び対応点に対応する候補対応点を捜索し、移動ベクトルの形成、候補対応点の選別、候補対応点の捜索を順次繰り返す。
このように構成すると、特徴点の追跡結果を用いて、候補対応点の信頼性を向上できる。

また、請求項４に記載の発明は、請求項２に記載の画像処理装置において、特徴点追跡部４は、隣接する撮影画像間における各特徴点の追跡結果から各特徴点の移動ベクトル及び画面相対移動量を求めて、各特徴点の移動ベクトルを画面相対移動量から推定される各特徴点の推定位置と比較して、差異が大きいものを不良点として排除する。
このように構成すると、対応点として相応しくない候補対応点を容易かつ高精度に除去できる。

また、請求項５に記載の発明は、請求項１に記載の画像処理装置において、処理部５は、特徴点又は対応点の消失を検出し、所定数以上の消失、所定範囲以上の空白領域が生じた場合に、特徴抽出部３に特徴点を新設するように指示する。
ここにおいて、所定数、所定範囲は、例えば画面に表示されていた特徴点の１／４、画面の１／４等、充分にテンプレートマッチング等が行える範囲で適当な値を決定すれば良い。このように構成すると、常に画面上の特徴点を適当数保持できる。

また、請求項６に記載の発明は、請求項２に記載の画像処理装置において、処理部５は、第１の撮影画像の各特徴点について画面相対移動量又は前記移動ベクトルを順次連結した移動軌跡を用いて所定量（時間、位置）離隔して取得された第２の撮影画像に係る推定画像を作成し、第２の撮影画像とそれに係る推定画像とを比較して、候補対応点から対応点を確定し、確定された対応点を用いて撮影位置又は対象物の座標を演算する。
ここにおいて、所定量（時間、位置）は、取得された撮影画像の変化の程度により変化するので、対応点を確定するに十分実効的な量を決定すれば良い。また所定量は一つの値に限定されず適切な範囲を有するものとする。このように構成すると、推定画像を用いて信頼性のある対応点を選別できる。

また、請求項７に記載の発明は、請求項６に記載の画像処理装置において、第１の撮影画像は第２の撮影画像より以前若しくは以後に又は前方若しくは後方で撮影されたものであり、移動軌跡は時間又は位置を進行方向又は逆行方向にたどるものである。
このように構成すると、順逆方向いずれの推定も可能である。

また、請求項８に記載の発明は、請求項６に記載の画像処理装置において、特徴点追跡部４は、一旦候補対応点から除外されたが、その前又は後に取得された撮影画像で再現したと推測される候補対応点について、その前又は後に取得された撮影画像を第２の撮影画像とし、第２の撮影画像とそれに係る推定画像とを比較して、候補対応点であった蓋然性が高いと判断される候補対応点を再び候補対応点として復活させる。
このように構成すると、候補対応点の復活が可能となる。

また、請求項９に記載の発明は、請求項４に記載の画像処理装置において、処理部５は、隣接画像間又は前記第１の画像と前記第２の画像間における画面相対移動量が所定量となるように、隣接画像の取得を調整する。
ここにおいて、所定量とは請求項６の場合と同様である。このように構成すると、常に長期的視野での移動ベクトルの比較が可能になる。

また、請求項１０に記載の発明は、請求項４に記載の画像処理装置において、処理部５は、隣接画像間又は前記第１の画像と前記第２の画像間における画素のずれが所定数になるように調整する。
ここにおいて、所定数も、取得された撮影画像の変化の程度により変化するので、対応点を確定するに十分実効的な量を経験的に決定すれば良い。また所定数は一つの値に限定されず適切な範囲を有するものとする。このように構成すると、特徴点又は候補対応点の抽出が容易になる。

また、請求項１１に記載の発明は、請求項６に記載の画像処理装置において、撮影画像取得部２で得られた撮影画像間のオーバーラップ率、基線長、移動ベクトルのいずれか一つに基づき、第２の画像を選択する画像選択部を有する。
このように構成すると、安定して比較画像を選択できる。

また、請求項１２に記載の画像処理方法は、相対的に移動する対象物について少しずつ変化する撮影画像を順次取得する撮影画像取得工程と、撮影画像取得部で得られた撮影画像から特徴点を抽出する特徴抽出工程と、特徴点が抽出された撮影画像以前又は以降に取得された複数の撮影画像について特徴点に対応する候補対応点を捜索し、特徴点の追跡を行う特徴点追跡工程と、候補対応点について、追跡結果から対応点を確定し、確定された対応点を用いて撮影位置又は対象物の座標を演算する演算処理工程とを備える。
このように構成すると、撮影装置の揺動の処理や消失・再現する特徴点の処理が必要とされるような場合においても、動画像又は順次少しずつ変化する撮影画像から、その撮影装置の撮影位置、姿勢又は対象物の座標を精度良く計測できる画像処理方法を提供できる。

本発明によれば、撮影装置の揺動の処理や消失・再現する特徴点の処理が必要とされている場合においても、動画像又は順次少しずつ変化する撮影画像から、その撮影装置の撮影位置、姿勢又は対象物の座標を精度良く計測できる技術を提供できる。

以下に図面に基づき本発明の実施の形態について説明する。

［第１の実施の形態］
図１は本実施の形態における概念を説明するための図である。自動車にカメラを装着し、自動車の位置を少しずつ変えて対象物である市街地を撮影し、これら複数の撮影画像における追跡結果から、カメラの位置座標すなわち自動車の軌跡を求める例である。これによりカーナビゲーションに自動車の位置を連続的に表示可能になるが、ＧＰＳ電波を受信できない区間で補完的に利用される意義も大きい。動きのある特徴点や揺らぎの大きい特徴点については、カメラの位置座標を求めるのに不適当であるため除去する。

図２に本実施の形態における画像処理装置１００の構成例を示す。図において、１は画像処理装置１００の各部を制御して、画像処理装置として機能せしめる操作部であり、具体的には、撮影画像取得部２への撮影開始・停止の指示、特徴抽出部３の設定変更、特徴点追跡部４の設定変更、開始、停止の指示、処理部５への判断開始指示、標定実行指示等を行う。
２は動画像等の撮影画像を順次取得する撮影画像取得部であり、撮影画像の取得の他に特徴抽出部３への出力、動画像メモリ１０への撮影画像の保存等を行う。なお、撮影画像の撮影を行なわず、他の撮影装置から通信により撮影画像を取得しても良い。

３は順次取得した少しずつ異なる撮影画像から特徴点を抽出する特徴抽出部であり、撮影画像取得部２より入力された撮影画像からの特徴点の抽出、抽出された特徴点の特徴点追跡部４及び処理部５への出力等を行う。
４は特徴抽出部３より入力された特徴点に対応する候補対応点を捜索し、特徴点の追跡を行う特徴点追跡部であり、追跡処理の他に、追跡結果の処理部５への出力、処理部５の実行開始指示、候補対応点の配置の判断と特徴抽出部３への特徴点の新設指示等を行う。

５は処理部で、長期判断処理部６と標定処理／三次元計測部７を有する。長期判断処理部６は特徴点追跡部４における追跡結果から対応点を確定し、さらに、追跡結果に基づいて対応点の消滅、復活も行う。特徴抽出部３より入力された初期フレームでの特徴点に対する推定位置計算処理、特徴点追跡部４より入力された現在フレームの候補対応点に対する良否判断処理、対応点復活処理、これらの処理の特徴点追跡部４への反映、候補対応点の情報の対応点情報メモリ９への記録等を行う。標定処理／三次元計測部７は確定した対応点を用いて標定計算、三次元計測を実行するもので、その他に、動画像メモリ１０からの撮影画像の取得、対応点情報メモリ９からの候補対応点情報の取得、標定結果及び三次元計測結果の表示部８への出力、対応点情報メモリ９への反映、外部へ標定結果及び三次元計測結果の出力等を行う。
８は処理部により標定処理又は三次元計測された対象物の画像を立体的に表示する表示部、９は特徴点とその対応点（候補対応点を含む）に関する情報を記憶する対応点情報メモリ、１０は撮影画像を記憶する動画メモリである。

図３に第１の実施の形態における画像処理方法のフロー例を示す。まず動画像解析により画像上の特徴点の動きを解析する（Ｓ１０）。動画像解析では、画像取得、特徴抽出、追跡、特徴点の対応付けを行なう。自動車などの移動体の位置を少しずつ変えて対象物を撮影し、隣り合う画像同士に対して、自動的に順次、特徴点の対応付けが行われ、候補対応点が抽出される。さらに追跡を継続することにより、対応点が確定する。次に、誤対応点の除去を行ない（Ｓ２０）、次に、充分な基線長を有するステレオ画像のペアの決定を行い、そして、相互標定やバンドル調整による自動標定が行われ（Ｓ３０）、カメラの位置座標、姿勢、さらに三次元座標が求められる（Ｓ４０）。

［動画像解析］
図４に、動画像解析のフロー例を示す。ここではリアルタイム処理のフロー例を示し、全体のフローは図７に示す。また、動画像解析は動画像及び少しずつ変化する撮影画像を順次処理する。まず、撮影画像取得部２において撮影画像を取得する。自己の撮影装置で画像を撮影して取得しても良く、他の撮影装置で撮影した画像を通信回線を介して取得しても良い。操作部１は撮影画像から少しずつ変化する撮影画像を順次特徴抽出部３に供給する。本実施の形態では自動車に撮影装置を装着し、移動しながら撮影するので、少しずつ変化する撮影画像とは、時間的又は空間的に少しずつ変化する撮影画像であり、画像の大部分で対象物が共通であることを意味する。特徴抽出部３では各撮影画像から特徴点を抽出する（Ｓ１１）。また、ノイズ除去、特徴点の選点を行う。

次に、特徴点追跡部４では、特徴抽出処理により選点された各特徴点を追跡処理する（Ｓ１２）。すなわち、特徴点に対応する候補対応点を求め、特徴点の移動ベクトル及び画面相対移動量を求め、さらに、これらを連結して移動軌跡を求める。画面相対移動量とは撮影装置と撮影対象（特徴点を含む）間の画面上での相対的移動量であり、移動ベクトルとは二次元の撮影画像上における各特徴点の相対的移動ベクトルをいう。特徴点の追跡にあたり、まず、隣接撮影画像についてテンプレートマッチングを行い（Ｓ１３）、特徴点に対応する候補対応点を求める。これにより各特徴点の移動ベクトルが求められる。また、隣接撮影画像を用いて射影変換することにより（Ｓ１５）、撮影装置に対する画面相対移動量が求められる。次に、各特徴点の移動ベクトルをフレーム間の画面相対移動量と比較し、移動ベクトルの良否を判断する（Ｓ１４）。そして、異常な動きを示す誤対応と思われる候補対応点を削除する（Ｓ１６）。工程Ｓ１５とＳ１６を繰り返すことにより射影変換の精度が向上する。

次に、候補対応点の配置判断を行う（Ｓ１７）。すなわち、撮影画像上での特徴点、候補対応点の配置を確認する。もし、特徴点の配置が極端に偏ってしまって空白部分が生じた場合などには、新たに生じた空白部分に存在する点を新たな特徴点として特徴抽出部３に新設を指示する。そして、再度特徴抽出（Ｓ１１）に戻り、順次新たな隣接画像について特徴抽出（Ｓ１１）と追跡処理（Ｓ１２）をリアルタイムに繰り返す。もし、一連の撮影画像について特徴抽出が済んでいれば、テンプレートマッチング（Ｓ１３）に戻り、順次新たな隣接画像について追跡処理（Ｓ１２）が一括して行われる。

［特徴抽出］
特徴抽出（Ｓ１１）は特徴抽出部３において行なわれる。典型的には初期フレームでは全画面から抽出を行い、次のフレームからは、初期フレームと重複しない新たな画面領域から抽出が行われる。本実施の形態では、初期フレームにおける特徴点の抽出には、例えばＭＯＲＡＶＥＣオペレータ（Ｈ． Ｐ． Ｍｏｒａｖｅｃ． Ｔｏｗａｒｄｓ Ａｕｔｏｍａｔｉｃ Ｖｉｓｕａｌ Ｏｂｓｔａｃｌｅ Ａｖｏｉｄａｎｃｅ． Ｐｒｏｃ． ５ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ｐｐ． ５８４， １９７７．）や、Ｈａｒｉｓｓ，Ｐｒｅｓｓｙ，Ｓｕｓａｎなどのオペレーターを適宜採用できる。

特徴抽出オペレータは、どのようなものを利用しても、画像上のわずかなノイズ（エッジ上のノイズなど）に反応しやすいという問題がある。この性質の改善のために、特徴抽出オペレータを使用する前に画像のノイズ除去処理を平均値フィルターなどのノイズフィルターを用いて行なう。

しかし、ノイズ除去を行なっても、撮影対象によっては、画像上のある部分（木や芝など）に特徴点が集中し、後述のテンプレートマッチングなどに悪影響を及ぼすことがある。これを避けるために選点処理を行なう。選点処理には例えば、各特徴点の点間距離を制限するなどの手法が用いられる。また、特徴点の最大数が予め指定される場合には、画像全体に均等に配置した場合の点間距離をもとめ、この距離を下回らないよう配置する。このように特徴点を全体に均等に配置することにより、相互標定を確実にする。

［追跡処理］
特徴点追跡部４では、特徴抽出処理により選点された各特徴点を追跡処理する（Ｓ１２）。すなわち、特徴点に対応する候補対応点を求め、特徴点の移動ベクトル及び画面相対移動量を求め、さらに、これらを連結して移動軌跡を求める。

［テンプレートマッチング］
本実施の形態では特徴点の追跡に、テンプレートマッチングを使用する（Ｓ１３）。取得された撮影画像から隣接画像を順次選択してステレオペアとし、例えばＳＳＤＡ法（逐次残差法）などの手法によりステレオマッチングを行い、候補対応点を求める（Ｓ１３）。ＳＳＤＡ法（逐次残差法）とは、残差を用いて類似度を決定するもので、部分的な行列の残差が最小となる位置が候補対応点として求められる。ＳＳＤＡテンプレートマッチングは、テンプレートマッチングとしては比較的高速であり、ハード化も容易と考えられる。また、正規化相関法などの他の方式を採用することもできる。テンプレートマッチングには、テンプレートサイズと探索範囲を最適に選択することが大事であり、探索範囲については、ビデオカメラのフレームレート、移動速度などを基に最適な設定とする。

［移動ベクトルの良否判断］
テンプレートマッチングより、各特徴点の候補対応点が求められるが、ミスマッチングも多く発生する。例えばＳＳＤＡテンプレートマッチングの値があまりに高い（精度は悪い）場合にはその点はミスマッチングをおこしたと判定する。なお、テンプレートマッチングの結果、特徴点同士が、重なってしまった場合は相関値の結果から精度のいいものを優先する。

また、テンプレートマッチングで求められた候補対応点より、各特徴点の移動ベクトルが求められるが、移動ベクトルの良否、候補対応点の適性を判断し、ミスマッチングで発生した候補対応点を除去する（Ｓ１４）。まず、各特徴点の移動ベクトルをフレーム間の画面相対移動量と比較し、異常値を示す誤対応と思われる候補対応点を削除する。この場合に閾値を決めて削除しても良い。画面相対移動量は、撮影装置と撮影対象（特徴点を含む）間の画面上での相対的移動量であるが、同一撮影対象においても、撮影装置との距離、方向により変化するので、当該特徴点周囲の大部分の特徴点（ほぼ同様に移動する）の移動量で比較すれば良い。

本実施の形態では、候補対応点の除去に射影変換を利用する。フレーム間の全体的な移動は、時間的に非常に短いことから、射影変換によりほぼ近似できるものとの仮定をおき、射影変換により画面相対移動量を推定する（Ｓ１５）。すなわち、移動の推定に射影変換による推定を行ない、各特徴点についての移動ベクトルを画面相対移動量と比較し、異常値を示す候補対応点をリジェクトする（Ｓ１６）。

また、自動車などの移動体の揺動に伴い撮影画像も揺動するため、射影変換を用いてローテーションやカメラ位置の揺らぎについて補正を行なうことにより、ローテーションやカメラの位置揺れを除去した移動ベクトル、画面相対移動量を求めることができる。この、画面相対移動量を推定し、同時に、誤対応と思われる候補対応点を削除する。また、誤対応点の削除後に再度射影変換を行なうことにより候補対応点の信頼性が向上する。また、ローテーションやカメラの位置揺れが補正された候補対応点を用いることによるテンプレートマッチングの精度を高めることができ、移動ベクトルの信頼性も高めることができる。

撮影画面中に、走行中の自動車、飛鳥、落葉などの動くものに特徴点が付与された場合、またカメラの揺動が激しい場合などに誤対応点が生じ得る。カメラの揺動については射影変換で補正可能である。他方、撮影対象物と異なる動きをするものは誤対応点を生じさせる。したがって物体などの動きにより生じた誤対応点を除去することにより、特徴点（対応点、候補対応点を含む）の信頼性を向上し、ミスマッチングの判定の精度を向上し、ビデオカメラの大きな動揺にも対応が可能となる。

〔対応点の配置判断〕
次に、対応点の配置判断を行う（Ｓ１７）。ここでは、不良なものが除去されて残った候補対応点について、その配置が確認される。なお、この配置判断時には、特徴点の新設指示や候補対応点の復活も行なう（Ｓ１８、図７参照）。

図５に対応点マッチングにおける特徴点と候補対応点の例を模式的に示す。左画像と右画像は物体の位置が少し異なる。左画像には特徴点が多数とられているが、右画像では、これに対応する候補対応点の数が少なく描かれている。これは、不良な候補対応点が除去されることを模式的に示したものである。

図６に特徴点新設の例を示す。例えば、画面上の特徴点の配置範囲が、画面幅、高さの５０パーセントの範囲内にない場合、あるいは、その中心位置が、画面の中心から付近にない場合は、特徴抽出部３に指示して、特徴抽出オペレータにより特徴点の新設処理を実施させる。この基準によれば図６（ａ）では特徴点の配置が右上に偏り、中心位置が上記範囲外にあるので、特徴点が新設され、図６（ｂ）では中心位置が上記範囲内にあるので、特徴点が新設されない。特徴点の数が所定数以下になった場合にも安定した標定解析等のために特徴点の新設指示が行われる。

また、一度画面外に消失した候補対応点が、再度画面内に現れていないかを調べ、現れていれば回復させる。具体的には画面外への消失であるとして消去された候補対応点に対し、現在のフレーム上に残されている点によるアフィン変換によって、現在のフレーム上での対応箇所を推測する。推測された箇所において再度テンプレートマッチングを行い良好な結果を得た候補対応点を復活させる。

また、配置判断において、候補対応点が不良でなく、候補対応点の配置が射影変換による推定値と良く一致した場合は、特徴抽出（Ｓ１１）に戻り、当該候補対応点を有するフレームの当該候補対応点に対して次のフレームの対応する候補対応点を捜索する。この作業を、動画像等の撮影画像の最終フレームまで繰り返し、追跡を継続する（Ｓ１９、図７参照）。
以上の説明では、複数の撮影画像の一つを初期フレームの画像として特徴点を抽出し、その画像以降に取得された画像について該特徴点に対応する候補対応点を捜索するものとしている。これは、例えば、測量、土木、ＧＩＳ（地理情報システム（GIS：Geographic Information System））の分野、またはカーナビゲーションなどに本発明を応用する場合に、ＧＰＳ電波を受信できない区間で補完的に利用されるときに適している。即ちリアルタイムに候補対応点を捜索する場合である。しかしながら、逆に特徴点が抽出された撮影画像以前に取得された複数の画像について該特徴点に対応する候補対応点を捜索するようにしてもよい。その場合は、例えば最終画像のフレームが初期フレームとなる。これは、例えば、複数の撮影画像を取得してから、それに基いて解析を行い対象物の座標を測定する場合に適用できる。以下の説明においても、逆捜索が可能である点は同じである。

［長期的なベクトルの良否判断］
次に、長期的なベクトルの良否判断ルーチンについて説明する。このルーチンは、候補対応点を対応点として確定すると共に、長期的な追跡データに基づいて特徴点（対応点、候補対応点を含む）を新設、除去、再現するものである（Ｓ２０１、図７参照）。長期的なベクトルの良否判断処理（Ｓ２０１）は長期的判断処理部６で行われる。

図７は動画像解析のうち長期的なベクトルの良否判断ルーチンを説明するための図である。まず、初期フレームにおける特徴抽出処理（Ｓ１１、図４参照）により取得された候補対応点の座標情報を「長期的な良否判断処理」ルーチンに出力する（Ｓ２１）。また、各フレーム間の画面全体の移動量が射影変換により推定されたら（Ｓ１５）、各フレームに係る射影変換係数（ローテーション行列、並進ベクトル、カメラ外部パラメータなど）を「長期的な良否判断処理」ルーチンに出力する（Ｓ２２）。次に、工程Ｓ２１で得られた初期フレーム上の特徴点に対し、工程Ｓ２２で出力された射影変換係数を用いて、フレーム毎に射影変換を行い、これらの射影変換で得られた各フレームに相当する二次元画像から各フレーム上での候補対応点の推定位置を求める（Ｓ２３）。

所定の移動量、時間またはフレーム数を経過した段階で、候補対応点を対応点として確定し、また、対応点の新設、復活を行なう。すなわち、「追跡処理」ルーチン（Ｓ１２、図４参照）において候補対応点が、対応点として確定するに十分な移動量を得た、時間またはフレーム数を経過した、多くの候補対応点が除去されて残った候補対応点に配置に偏りが生じている、候補対応点数が少なくなった、特徴点の新設指示が出された（Ｓ１８）などの一定の条件が満たされたときに（Ｓ２０２）、長期的良否判断の実行開始のトリガとなり（Ｓ２９）、「長期的な良否判断処理」ルーチンは「追跡処理」ルーチン（Ｓ１２）により算出された現在フレームでの候補対応点の追跡位置情報を取得して（Ｓ２４１）、この追跡位置情報と工程Ｓ２３において算出された候補対応点の推定位置との比較を行い（Ｓ２４２）、対応点の確定（Ｓ２５１〜Ｓ２５２）、誤対応点の除去処理（Ｓ２６１〜Ｓ２６３）と、一旦消失したが現在フレームにおいて再現している候補対応点の復活処理を行う（Ｓ２７１〜Ｓ２７３）。

現在フレームでの候補対応点の追跡位置と候補対応点の推定位置との間で位置の残差が小さい場合には（Ｓ２５１）、候補対応点を対応点として確定する（Ｓ２５２）。現在フレームでの候補対応点の追跡位置と候補対応点の推定位置との間で位置の残差が大きい場合（Ｓ２６１）については、誤対応を起こしている可能性が高いと考えられる。そこで、現在フレームから初期フレームへの、バックマッチングをおこない（Ｓ２６２）その良否を判断する。具体的には、現在フレームでの候補対応点の周囲の小領域をテンプレートとし、初期フレームにおける候補対応点周囲を探索領域とするテンプレートマッチングを実行する。テンプレートマッチングの結果、初期フレームにおける候補対応点位置付近に十分な相関が得られた場合を良とし、それ以外は異常点として当該候補対応点を削除する（Ｓ２６３）。

また、現在フレームにおいて、「追跡処理」ルーチンでは一旦消失しているが、現在フレーム内に再現されている点については（Ｓ２７１）、現在フレームにおける候補対応点の推定位置を用いて候補対応点の復活処理をおこなう。具体的には、初期フレームにおける候補対応点の周囲の小領域をテンプレートとし、現在フレームにおける候補対応点の周囲を探索領域とするテンプレートマッチングを実行する（Ｓ２７２）。テンプレートマッチングの結果、十分な相関が得られた場合に当該候補対応点を復活する（Ｓ２７３）。さらに、候補対応点の削除、復活の処理結果を「追跡処理ルーチン」にフィードバックする（Ｓ２８）。

［誤対応点の除去］
前述の対応点追跡部４、処理部５における動画像解析処理により、すべてのフレームに対して、特徴点の対応付けがされていることになる。しかし、これらの対応付けは２次元的な解析によるものであり、実際には誤対応点が含まれ得る。
そこで本実施の形態ではさらなる誤対応点の除去を行なう（Ｓ２０）。これらの誤対応点の除去は、以下の標定処理及び三次元計測処理の結果を用いて行う。

［標定処理／三次元計測］
次に、標定処理／三次元計測部７で相互標定と三次元計測が行なわれる。ステレオペア選択された各画像について、特徴点と対応点の座標を用いて、標定計算処理を行う。標定計算処理により、撮影したカメラの位置、傾き、対応点の三次元位置を求めることができる。標定計算処理は、ステレオペア選択された撮影画像の対応付けに関しては相互標定で行ない、複数または全画像間の標定に関してはバンドル調整にて行う。このステレオペア選択を行う場合には、標定処理／三次元計測部において、撮影画像取得部で得られた複数の画像から、適切な基線長と推定される画像の組を選択することにより、適切な標定処理や三次元測定を行うことができる。

図８は標定を説明するための図である。ステレオ画像におけるモデル画像座標系ＸＹＺとカメラ座標系Ｘ_１Ｙ_１Ｚ_１、Ｘ_２Ｙ_２Ｚ_２の関係の説明図である。モデル画像座標系の原点を左側の投影中心にとり、右側の投影中心を結ぶ線をＸ軸にとるようにする。縮尺は、基線長（カメラ座標原点間の距離）を単位長さにとる。このとき求めるパラメータは、左側のカメラのＺ軸の回転角κ１、Ｙ軸の回転角φ１、Ｘ軸の回転角ω１、右側のカメラのＺ軸の回転角κ２、Ｙ軸の回転角φ２、Ｘ軸の回転角ω２の６つの回転角となる。標定計算処理により、これらの回転角を求め、これを用いてカメラの精密な三次元座標、姿勢や対象物の三次元座標が演算される。また、これら標定および三次元計測は自動化が可能である（特許文献１参照）。

図９は、三次元計測の結果を示す図であり、左側面下方に略直線状に並んだ点が求められた撮影位置を示し、立体図中に散乱している少し小さなプロットが三次元座標値が与えられた特徴点及び対応点を示している。

以上第１の実施の形態によれば、撮影装置の揺動の処理や消失・再現する特徴点の処理が必要とされるような場合においても、動画像又は順次少しずつ変化する撮影画像から、その撮影装置の撮影位置、姿勢の座標を精度良く計測できる技術を提供できる。また、動画像解析及び誤対応点の除去の処理をコンピュータで実現可能であり、既に自動化されている標定、三次元計測を含め画像処理方法の全工程の自動化も可能である。また、撮影装置の三次元座標を高い精度で安定して求められる。

［第２の実施の形態］
本実施の形態は、画像の特徴点を前方（未来）、後方（過去）に複数画面分追跡し、その追跡軌跡を延長することにより、基準画面（例えば初期フレームや現在フレーム）から、前方又は後方の画像を推定するものである。この推定値と実測値を比較して、推定値からかけ離れた実測値を有する候補対応点を削除する。或いは、一旦消失して再現した候補対応点から後方（過去）に複数画面分追跡して推定を行い、元の特徴点と比較して、推定値と実測値がほぼ一致する候補対応点を復活する。第１の実施の形態に比してかかる機能が追加されているが、他の点については第１の実施の形態と同様である。なお、基準画面が第１の画像に、第１の画像と比較される推定画像が第２の画像に対応する。

図１０は推定画像を説明するための図である。推定点の信頼性を確保するために、フォワード側、バックワード側の画像で連続チェックする。態様として、（１）フォワード側、バックワード側に、１枚ずつ画面の動きを射影変換を用いて推定していき、各特徴点についての移動ベクトルの追跡値と画面相対移動量による推定値とを比較し、異常値を示す候補対応点をリジェクトする。（２）所定のフレーム数や移動量が確保されるまで順次フォワード側、バックワード側に推定を続け、推定値を実測値と比較して、推定画像作成の妥当性を判定する。判定は例えばテンプレートマッチングにて行なう。これにより、再現した候補対応点を復活させる。特に、初期フレームと現在フレーム間でオーバーラップ分が無いか少ない場合に、オーバーラップのある範囲で推定値と追跡値とを比較し、これをチェックしつつ連結していくことで離れた画像の推定も行うことができ、意義が大きい。

［第３の実施の形態］
本実施の形態は、特徴点を抽出し易くする処理や、適切な基線長を確保して計測を容易とする処理を目的として、ソフト又はハードで移動量を調整するものである。第１又は第２の実施の形態に比してかかる機能が追加されているが、他の点についてはこれらの実施の形態と同様である。ソフトで調整する例として、処理部５において、多数の画像における各特徴点の移動量データを参照して、隣接画像間における各特徴点の移動量が、所定量の間隔となるように、画像の移動補正量、方向性を有するフィルタリング処理などのいずれか一つを調整することで可能である。ハードで調整する例として、撮影画像取得部２において、多数の画像における各特徴点の移動量データを参照して、隣接画像間における各特徴点の移動量が、所定量の間隔となるように、撮影タイミング、撮影位置又は撮影方向などのいずれか一つを調整することで可能である。また、所定量の間隔となるように画素数で調整することも可能である。適切なステレオペア選択を行う場合には、標定処理／三次元計測部において、撮影画像取得部で得られた複数の画像から、適切な基線長と推定される画像の組を選択することにより、適切な標定処理や三次元測定を行うことができる。また、撮影画像取得部で得られた複数の画像のオーバーラップ率、基線長、移動ベクトルなどのいずれか一つに基づき、比較画像を選択する画像選択部を設けても良い。

〔第４の実施の形態〕
本実施の形態は、特徴点の抽出方法として、特徴抽出オペレータを施す前に、さらにエッジ抽出法を使用するものである。第１の実施の形態に比してかかる機能が追加されているが、他の点については第１の実施の形態と同様である。単に特徴点を抽出する処理（例えばＭＯＲＡＶＥＣ法）は、画面全体に施すため、処理時間がかかる。また、パラメータによっては画面全体に点が抽出されすぎる、といった問題がある。これらの問題を軽減する処理として、ＭＯＲＡＶＥＣ法による処理前にエッジ抽出を簡単な処理で行い、その抽出画像上でさらに特徴点抽出を行う。こうすることで、特徴点を抽出する箇所が激減され、かつ単なる特徴点抽出よりも確実な特徴点を設定することが可能となる、すなわち、特徴点の信頼性を上げられる。

図１１にエッジ抽出処理の例を示す。各連続フレーム間の画像を差分すれば、エッジ画像が簡単に取得できる。本図では建物の壁のように変化のない部分は、僅かに変化した撮影画像の差分をとることによりデータが相殺されてゼロとなり、図上真っ黒に表示されている。壁と窓の境界、壁と空間の境界などは変化のある部分であるので、撮影画像の差分をとるとデータが残る。したがって、残ったデータにより各部分の境界線が図上白線で表示されている。そして、このエッジ画像上で例えばモラベックオペレータによる特徴抽出処理を施し、追跡するための特徴点とする。例えば白線の交差点を特徴点とすることができる。
エッジ抽出処理は、フレーム間の差分ではなく、１つの画像を例えば上に１画素、あるいは下に１画素、あるいは左に１画素、あるいは右に１画素ずらしたものと、自分自身の画像を差分することによっても、あるいは上下左右方向を組み合わせたものとしても、方向性に対するエッジ画像が取得できる。カメラが右に動いていれば、右方向に画素分動かした画像を差分してやることも可能である。こうすれば、仮にフレーム間が距離的に離れすぎた画像となっても単なる差分処理でエッジ抽出、すなわち特徴点抽出が可能となる。この処理は、差分だけで行えるので、ソフト処理でも簡単であり、さらにハードウェア化すれば、リアルタイムで処理可能である。

［第５の実施の形態］
第１の実施の形態では、対応点を確定するために、長期的なベクトルの良否判断ルーチンにおいて、所定の移動量またはフレーム数を経過した段階で、候補対応点の推定位置と「追跡処理」ルーチンにより算出された現在フレームでの候補対応点の追跡位置との比較を行い確定しているが、本実施の形態では追跡処理ルーチンで、所定の移動量、時間またはフレーム数を経過した段階で除去されずに残った候補対応点を対応点として確定する例を示す。この点は、第１の実施の形態と相違しているが、他の点については第１の実施の形態と同様である。例えば継続して７回目のルーチンを経て残った候補対応点を対応点として確定する。この場合、長期的なベクトルの良否判断ルーチンにおいて、対応点が消失或は再現する場合もありうるが、その場合は除去、或いは復活させる処理をすれば良い。また、復活についても同様に、一旦消失したが例えば継続して７回目のルーチンを経て残った候補対応点を復活させても良い。

［第６の実施の形態］
第１の実施の形態では、撮影対象が静止状態で、撮影装置が移動する例について説明したが、本実施の形態は撮影装置が静止状態で、撮影対象が移動する例である。この場合においても、本来の対象物の他に、撮影装置と対象物の間に動くものが割り込んだり、撮影装置に揺動が生じる場合があり、特徴点を追跡し、動画像又は順次少しずつ変化する撮影画像における対象物に係る特徴点の三次元座標を求めることができる。また、対象物自体が回転するようなものであれば、その特徴点が消失と復活を繰り返すので、本発明を適用可能である。また、複数の対象物が異なる動きをする場合もあり、このような場合についてもそれぞれの対象物について本発明を適用可能である。

［第７の実施の形態］
第１の実施の形態では、射影変換を使用する例について説明したが、撮影装置に、揺動がなく方向一定（前方に直進など）の場合には、必ずしも射影変換せずに、移動ベクトルを求め、各特徴点の移動ベクトルと画面全体又は当該特徴点周囲の移動ベクトルとを比較して、候補対応点の確定、除去、新設、復活を行なうことが可能である。なお、射影変換を用いて画面相対移動量を作成し、撮影画面の揺動を補正すれば、より信頼性のある処理ができる。

また、本発明は、以上の実施の形態に記載の画像処理方法をコンピュータに実行させるためのプログラムとしても実現可能である。プログラムは操作部１の内蔵メモリに蓄積して使用してもよく、システム内外の記憶装置に蓄積して使用してもよく、インターネットからダウンロードして使用しても良い。また、当該プログラムを記録した記録媒体としても実現可能である。

以上、本発明の実施の形態について説明したが、本発明は以上の実施の形態に限定されるものではなく、実施の形態に種々変更を加えられることは明白である。

例えば、以上の実施の形態では、対象物又は撮影装置の一方が移動し、他方が静止している状態で撮影画像を取得する例について説明したが、両者とも移動する場合に本発明を適用しても良い。例えば、一方の移動速度・方向が一定の場合など十分適用可能である。また、また、三次元座標については直交座標の例を説明したが、対象物と撮影装置の状況に応じて、円筒座標、球座標を用いることも可能である。また、工程Ｓ２０の誤対応点の除去等の一部の工程を省略することも可能である。また、特徴点の抽出にＭＯＲＡＶＥＣオペレータを、テンプレートマッチングにＳＳＤＡテンプレートマッチングを使用する例を説明したが、他のオペレータ、テンプレートマッチング法を使用しても良い。また画面相対移動量を求めるための射影変換を使用する例を説明したが、アフィン変換、フェルマート変換などの射影変換を使用しても良い。また、第１の実施の形態等では、対応点の確定、候補対応点の除去や復活のアルゴリズムについても、現在フレームでの候補対応点の追跡位置と候補対応点の推定位置とを比較する例等を説明したが、追跡位置と推定位置とを２回比較して決定しても良く、移動軌跡を推定位置の軌跡と比較するなど他のアルゴリズムを用いても良い。また、所定の移動量、時間またはフレーム数を経過した段階で、候補対応点を対応点として確定する例を説明したが、所定の移動量、時間またはフレーム数は経験に基づいて様々に決定できる。

本発明は動画像を用いた撮影装置又は撮影対象の位置座標の計測等に使用される。

本発明の概念を説明するための図である。 第１の実施の形態における画像処理装置の構成例を示すブロック図である。 第１の実施の形態における画像処理方法のフロー例を示す図である。 動画像解析のうちリアルタイム処理のフロー例を示す図である。 対応点マッチングの例を示す図である。 特徴点を新設する例を示す図である。 動画像解析のうち長期的なベクトルの良否判断ルーチンを説明するための図である。 標定を説明するための図である。 三次元計測の結果を示す図である。 推定画像を説明するための図である。 エッジ抽出処理の例を示す図である。

符号の説明

１ 操作部
２ 撮影画像取得部
３ 特徴抽出部
４ 特徴点追跡部
５ 処理部
６ 長期的判断処理部
７ 標定処理／三次元計測部
８ 表示部
９ 対応点情報メモリ
１０ 動画像メモリ
１００ 画像処理装置

Claims (12)

1. 相対的に移動する対象物について少しずつ変化する撮影画像を順次取得する撮影画像取得部と；
   前記撮影画像取得部で得られた撮影画像から特徴点を抽出する特徴抽出部と；
   前記特徴点が抽出された撮影画像以前又は以降に取得された複数の撮影画像について前記特徴点に対応する候補対応点を捜索し、前記特徴点の追跡を行う特徴点追跡部と；
   前記候補対応点について、追跡結果から対応点を確定し、確定された対応点を用いて撮影位置又は対象物の座標を演算する処理部とを備える；
   画像処理装置。
2. 前記追跡結果として、順次取得された撮影画像のうちの２つの撮影画像を用いた射影変換から求めた画面相対移動量若しくは２つの撮影画像間の特徴点の移動ベクトル又は前記画面相対移動量若しくは前記移動ベクトルを順次連結した移動軌跡を用いる；
   請求項１に記載の画像処理装置。
3. 前記特徴点追跡部は、特徴点が抽出された撮影画像と、それ以前又は以降に順次取得された複数の撮影画像について前記特徴点に対応する候補対応点を捜索し、捜索された候補対応点と特徴点との位置関係から前記移動ベクトルを形成し、前記移動ベクトル及び前記画面相対移動量に基づいて、前記特徴点に対応する蓋然性が高いと判断される候補対応点を選別、それ以前又は以降に順次取得された複数の撮影画像について前記特徴点及び前記対応点に対応する候補対応点を捜索し、移動ベクトルの形成、候補対応点の選別、候補対応点の捜索を順次繰り返す；
   請求項２に記載の画像処理装置。
4. 前記特徴点追跡部は、隣接する撮影画像間における各特徴点の追跡結果から各特徴点の移動ベクトル及び画面相対移動量を求めて、前記各特徴点の移動ベクトルと前記画面相対移動量から推定される各特徴点の推定位置とを比較して、差異が大きいものを不良点として排除する；
   請求項２に記載の画像処理装置。
5. 前記処理部は、前記特徴点又は前記対応点の消失を検出し、所定数の消失、所定範囲以上の空白領域が生じた場合に、前記特徴抽出部に特徴点を新設するように指示する；
   請求項１に記載の画像処理装置。
6. 前記処理部は、第１の撮影画像の各特徴点について前記画面相対移動量又は前記移動ベクトルを順次連結した移動軌跡を用いて所定量（時間、位置）離隔して取得された第２の撮影画像に係る推定画像を作成し、前記第２の撮影画像とそれに係る推定画像とを比較して、前記候補対応点から対応点を確定し、確定された対応点を用いて撮影位置又は対象物の座標を演算する；
   請求項２に記載の画像処理装置。
7. 前記第１の撮影画像は前記第２の撮影画像より以前若しくは以後に又は前方若しくは後方で撮影されたものであり、前記移動軌跡は時間又は位置を進行方向又は逆行方向にたどるものである；
   請求項６に記載の画像処理装置。
8. 前記特徴点追跡部は、一旦候補対応点から除外されたが、その前又は後に取得された撮影画像で再現したと推測される候補対応点について、前記その前又は後に取得された撮影画像を前記第２の撮影画像とし、前記第２の撮影画像とそれに係る推定画像とを比較して、前記候補対応点であった蓋然性が高いと判断される候補対応点を再び候補対応点として復活させる；
   請求項６に記載の画像処理装置。
9. 前記処理部は、隣接画像間又は前記第１の画像と前記第２の画像間における前記画面相対移動量が所定量となるように、隣接画像の取得を調整する；
   請求項４に記載の画像処理装置。
10. 前記処理部は、隣接画像間又は前記第１の画像と前記第２の画像間における画素のずれが所定数になるように調整する；
    請求項４に記載の画像処理装置。
11. 前記撮影画像取得部で得られた撮影画像間のオーバーラップ率、基線長、前記移動ベクトルのいずれか一つに基づき、前記第２の画像を選択する画像選択部を有する；
    請求項６に記載の画像処理装置。
12. 相対的に移動する対象物について少しずつ変化する撮影画像を順次取得する撮影画像取得工程と；
    前記撮影画像取得部で得られた撮影画像から特徴点を抽出する特徴抽出工程と；
    前記特徴点が抽出された撮影画像以前又は以降に取得された複数の撮影画像について前記特徴点に対応する候補対応点を捜索し、前記特徴点の追跡を行う特徴点追跡工程と；
    前記候補対応点について、追跡結果から対応点を確定し、確定された対応点を用いて撮影位置又は対象物の座標を演算する演算処理工程とを備える；
    画像処理方法。