JP4946878B2 - 画像識別装置及びプログラム - Google Patents

Description

本発明は、画像識別装置及びプログラムに係り、特に、画像がどの識別対象物を表わしているかを識別する画像識別装置及びプログラムに関する。

従来より、対象画像に対して、色やテクスチャなどの特徴量を用いて、小領域に分割してから、類似する小領域を統合して、画像をセグメント化するコンピュータシステムが知られている（特許文献１）。

また、色、テクスチャ、動きなどの複数の特徴量を用いて、特徴量ごとに領域を分割し、それら複数の分割結果の重なりから領域を統合して、対象画像の領域分割を行う領域分割装置が知られている（特許文献２）。
特開２００３−１７３４４２号公報 特開２００６−１２７０２４号公報

しかしながら、上記の特許文献１に記載の技術では、領域の分割に、色やテクスチャ情報を用いており、照明環境の変動や、物体のパターンの多様性に対する影響を受けやすいため、様々な状況の画像を安定して識別することができない、という問題がある。また、上記の特許文献２に記載の技術では、領域の分割に動き情報を用いており、すべての画素について、正確な動きを求めることは難しいため、様々な状況の画像を安定して識別することができない、という問題がある。

本発明は、上記の問題点を解決するためになされたもので、識別対象画像が、どの識別対象物を表しているかを安定して識別することができる画像識別装置及びプログラムを提供することを目的とする。

上記の目的を達成するために本発明に係る画像識別装置は、複数種類の識別対象物を撮像することにより得られた学習画像の前記識別対象物を表わす領域内に定めた注目画素と、前記学習画像から抽出された特徴点であって、かつ、該注目画素の周辺に存在する周辺特徴点との位置関係、及び前記周辺特徴点の特徴量を、前記識別対象物毎に記憶した記憶手段と、前記識別対象画像から複数の前記特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段によって抽出された前記複数の特徴点の各々について、前記特徴量を算出する特徴量算出手段と、前記識別対象画像内の各対象画素について、前記抽出された前記特徴点であって、かつ、前記対象画素の周辺に存在する周辺特徴点と前記対象画素との位置関係、及び前記周辺特徴点について算出された前記特徴量と、前記記憶手段に記憶された前記位置関係及び前記周辺特徴点の前記特徴量とを比較して、前記対象画素が、前記複数種類の識別対象物の何れを表わしているかを識別する識別手段とを含んで構成されている。

本発明に係るプログラムは、コンピュータを、複数種類の識別対象物を撮像することにより得られた学習画像の前記識別対象物を表わす領域内に定めた注目画素と、前記学習画像から抽出された特徴点であって、かつ、該注目画素の周辺に存在する周辺特徴点との位置関係、及び前記周辺特徴点の特徴量を、前記識別対象物毎に記憶した記憶手段、前記識別対象画像から複数の前記特徴点を抽出する特徴点抽出手段、前記特徴点抽出手段によって抽出された前記複数の特徴点の各々について、前記特徴量を算出する特徴量算出手段、及び前記識別対象画像内の各対象画素について、前記抽出された前記特徴点であって、かつ、前記対象画素の周辺に存在する周辺特徴点と前記対象画素との位置関係、及び前記周辺特徴点について算出された前記特徴量と、前記記憶手段に記憶された前記位置関係及び前記周辺特徴点の前記特徴量とを比較して、前記対象画素が、前記複数種類の識別対象物の何れを表わしているかを識別する識別手段として機能させるためのプログラムである。

本発明によれば、複数種類の識別対象物を撮像することにより得られた学習画像の識別対象物を表わす領域内に定めた注目画素と、学習画像から抽出された特徴点であって、かつ、該注目画素の周辺に存在する周辺特徴点との位置関係、及び周辺特徴点の特徴量を、記憶手段に識別対象物毎に記憶しておく。

そして、特徴点抽出手段によって、識別対象画像から複数の特徴点を抽出する。特徴量算出手段によって、特徴点抽出手段によって抽出された複数の特徴点の各々について、特徴量を算出する。

そして、識別手段によって、識別対象画像内の各対象画素について、抽出された特徴点であって、かつ、対象画素の周辺に存在する周辺特徴点と対象画素との位置関係、及び周辺特徴点について算出された特徴量と、記憶手段に記憶された位置関係及び周辺特徴点の特徴量とを比較して、対象画素が、複数種類の識別対象物の何れを表わしているかを識別する。

このように、対象画素の周辺に存在する周辺特徴点と対象画素との位置関係、及び周辺特徴点の特徴量を用いることにより、識別対象画像内の対象画素が、どの識別対象物を表わしているかを安定して識別することができる。

本発明に係る特徴量算出手段は、複数の特徴点の各々について、特徴量として、特徴点のエッジ方向に関する物理量、特徴点の輝度に関する物理量、及び特徴点の３次元位置の少なくとも一つを算出することができる。これによって、画像を撮像した環境によって変動しない特徴点の特徴量を用いることができる。

上記の識別対象画像及び前記学習画像の各々を、車両に搭載された撮像装置によって撮像された画像とすることができる。

本発明に係る記憶手段は、注目画素に対して周辺の所定位置にある所定領域内に存在する周辺特徴点の特徴量を、識別対象物毎に記憶し、識別手段は、識別対象画像の各対象画素について、対象画素に対して所定位置にある所定領域内に存在する周辺特徴点の特徴量と、記憶手段に記憶された周辺特徴点の特徴量とを比較して、対象画素が、複数種類の識別対象物の何れを表わしているかを識別することができる。これによって、対象画素に対して所定位置にある所定領域内に存在する周辺特徴点の特徴量を用いることにより、識別対象画像内の対象画素が、どの識別対象物を表わしているかを安定して識別することができる。

本発明に係る記憶手段は、位置関係、及び周辺特徴点の特徴量が属する複数の分類の何れかを、識別対象物毎に記憶し、特徴量算出手段は、複数の特徴点の各々について、特徴量を算出し、算出した特徴量が属する分類を特定し、識別手段は、識別対象画像の各対象画素について、周辺特徴点と対象画素との位置関係、及び周辺特徴点の特徴量が属する分類と、記憶手段に記憶された位置関係、及び周辺特徴点の特徴量が属する分類とを比較して、対象画素が、複数種類の識別対象物の何れを表わしているかを識別することができる。

本発明に係る画像識別装置は、識別手段による識別結果に基づいて、識別対象画像を、各識別対象物を表わす領域に分割する領域分割手段を更に含むことができる。これによって、識別対象画像を、各識別対象物を表わす領域に安定して分割することができる。

以上説明したように、本発明の画像識別装置及びプログラムによれば、対象画素の周辺に存在する周辺特徴点と対象画素との位置関係、及び周辺特徴点の特徴量を用いることにより、識別対象画像内の対象画素が、どの識別対象物を表わしているかを安定して識別することができる、という効果が得られる。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、車両に搭載され、かつ、撮像画像を、各識別対象物を表わす領域に分割する画像識別装置に本発明を適用した場合を例に説明する。

図１に示すように、第１の実施の形態に係る画像識別装置１０は、車両（図示省略）に取り付けられ、かつ、車両の前方を撮像して画像を生成する撮像装置１２と、撮像装置１２から得られる撮像画像を、各識別対象物を表わす領域に分割するコンピュータ１４と、コンピュータ１４による領域分割の結果を表示する表示装置１６とを備えている。

撮像装置１２は、車両の前方を撮像し、画像の画像信号を生成する撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。

コンピュータ１４は、ＣＰＵと、ＲＡＭと、後述する学習処理ルーチン及び画像識別処理ルーチンの各々を実行するためのプログラムを記憶したＲＯＭとを備え、機能的には次に示すように構成されている。コンピュータ１４は、撮像装置１２から撮像された画像を取得する画像取得部２０と、画像取得部２０により取得した撮像画像から、画像上で追跡しやすい特徴点を複数抽出する特徴点抽出部２２と、抽出された特徴点の各々について、特徴点の周囲における各エッジ方向のヒストグラムを算出して、各エッジ方向のヒストグラムを示す特徴ベクトルを生成すると共に、特徴ベクトルが後述するどの分類に属するかを特定して、特定された特徴ベクトルに関する分類を、特徴点の情報として求める特徴点特徴量算出部２４と、取得した撮像画像の各画素について、画素の周辺に存在する周辺特徴点の分類を用いて、画素の特徴ベクトルを算出する画素特徴量算出部２６と、後述する学習処理によって予め求められた画素の特徴ベクトルと識別対象物ラベルとの関係を記憶した特徴量記憶部２８と、算出された画素の特徴ベクトル、及び記憶した画素の特徴ベクトルと対象物ラベルとの関係に基づいて、撮像画像の各画素がどの識別対象物（たとえば、人、車両、路面、木、建物、空など）を表わしているかを識別する識別部３０と、同じ識別対象物を表している隣接する画素を、同一の領域とすることにより、撮像画像の領域分割を行う領域分割部３２とを備えている。

特徴点抽出部２２は、図２（Ａ）や図３（Ａ）に示すように、撮像装置１２から得られる撮像画像から、特徴点を複数抽出する。特徴点とは、周囲の点と区別でき、異なる画像間で対応関係を求めることが容易な点のことを指す。特徴点は、２次元的に濃淡変化の勾配値が大きくなる画素を検出する方法（例えばＨａｒｒｉｓオペレータなど）を用いて、自動的に抽出される。Ｈａｒｒｉｓオペレータを用いる方法では、以下に説明するように、特徴点を抽出する。

まず、画像の点（ｕ，ｖ）の輝度をＩ（ｕ，ｖ）として、以下の（１）式によって、行列Ｍを計算する。

ただし、Ｉ_ｕ，Ｉ_ｖはそれぞれ水平方向、垂直方向の微分、Ｇ_σは標準偏差σのガウス分布による平滑化を表す。

そして、上記（１）式で計算された行列Ｍの固有値λ_１、λ_２を用いて、以下の（２）式によりコーナー強度を計算する。

ただし、ｋは、予め設定される定数であって、０．０４〜０．０６の値が一般に用いられる。そして、このコーナー強度がしきい値以上であってかつ極大となる点を選択し、選択された点を特徴点として抽出する。

特徴点特徴量算出部２４は、以下に説明するように、各特徴点の特徴ベクトルの分類を算出する。まず、特徴点の周囲に、所定の大きさのウィンドウを設定し、ウィンドウ内の各画素について、勾配の大きさ及び方向を算出する。勾配の大きさは、以下の（３）式に従って算出される。

ただし、ｍ（ｕ,ｖ）は、画像座標（ｕ,ｖ）での勾配の大きさを表わし、ｘ（ｕ，ｖ）は、画像ｘの画像座標（ｕ,ｖ）の画素値を表わす。

また、勾配の方向は、以下の（４）式に従って算出される。

ただし、θ（ｕ,ｖ）は、画素座標（ｕ,ｖ）での勾配の方向を表わす。

そして、特徴点の周囲に設定したウィンドウを複数の小領域に分割し、各小領域について、図２（Ｂ）や図３（Ｂ）に示すようなエッジ方向のヒストグラムを作成する。エッジ方向のヒストグラムは、エッジ方向を所定の数に分割したヒストグラムであり、小領域内の各画素の勾配方向を勾配の大きさで重み付けして投票することにより、エッジ方向のヒストグラムを生成する。そして、全ての小領域のエッジ方向のヒストグラムを連結したベクトルを、特徴点の特徴ベクトルとして生成する。

そして、図４（Ｂ）、（Ｃ）に示すような、後述する全ての学習画像から得られた特徴ベクトルに関する複数の分類に基づいて、各特徴点の特徴ベクトルが、どの分類に属するかを特定し、特定された分類を、特徴点の分類とする。

画素特徴量算出部２６は、撮像画像の各対象画素について、以下に説明するように、画素の特徴ベクトルを算出する。まず、図５（Ａ）に示すように、対象画素の位置に対する相対位置（ｕ，ｖ）を中心とし、かつ、大きさをｗ×ｈとする矩形領域を設定し、その矩形領域内に存在する周辺特徴点の数及び周辺特徴点の特徴ベクトルの分類を用いて、画素の特徴ベクトルを算出する。例えば、矩形領域内に存在する周辺特徴点について、特徴点の情報として得られた特徴ベクトルに関する分類についてヒストグラムを生成する。図５（Ａ）に示すような撮像画像に設定された矩形領域の場合、対象画素に対して設定された矩形領域内に分類２の周辺特徴点が２点存在するので、図５（Ｂ）に示すような、特徴点の特徴ベクトルに関する分類のヒストグラムが生成される。

上記の矩形領域の相対位置及び大きさとして、対象画素を識別しやすい矩形領域の相対位置及び大きさが、学習により予め定められている。また、上記の矩形領域として、相対位置と大きさが異なる複数の矩形領域が定められており、各矩形領域に対して生成された分類のヒストグラムを連結して、画素の特徴ベクトルを生成する。

なお、対象画素の特徴ベクトルは、対象画素の周辺に存在する周辺特徴点と対象画素との位置関係、及び周辺特徴点について算出された特徴量に対応している。

特徴量記憶部２８は、上記と同様の画素の特徴ベクトルと識別対象物ラベルとの関係を記憶している。画素の特徴ベクトルと識別対象物ラベルとの関係は、以下に説明する学習方法により予め求められる。

まず、複数の識別対象物を撮像することにより得られた学習用の学習画像と、対応する識別対象物ラベル画像とを複数入力する。識別対象物ラベル画像は、各画素がどの種類の識別対象物を表しているかを示す識別対象物ラベルからなるデータである。そして、入力された各学習画像に対して、上記の特徴点抽出部２２と同様に、特徴点を複数抽出する。次に、全ての学習画像から抽出された全ての特徴点に対して、上述したように、エッジ方向のヒストグラムを算出し、エッジ方向のヒストグラムを示す特徴ベクトルを生成する。すべての特徴点のエッジ方向のヒストグラムを示す特徴ベクトルをクラスタリングし、図４（Ｂ）、（Ｃ）のように、複数の分類に分ける。

そして、上記のように得られた特徴ベクトルに関する分類に基づいて、学習画像の各特徴点について、特徴点の特徴ベクトルに関する分類を特定する。

各特徴点について、特徴点の特徴ベクトルに関する分類が得られると、学習画像の各画素について、各画素と周辺特徴点との相対的な位置関係、及び周辺特徴点の特徴ベクトルに関する分類に基づいて、上記の画素特徴量算出部２６と同様に、画素の特徴ベクトルを算出する。

全ての画素について画素の特徴ベクトルを計算すると、入力された識別対象物ラベル画像を用いて、各識別対象物と画素の特徴ベクトルとの関係について学習し、各識別対象物ラベルと、識別対象物を表わす領域内に定めた注目画素の特徴ベクトルとの関係を特徴量記憶部２８に記憶する。

識別部３０は、撮像画像の各対象画素について求められた画素の特徴ベクトルと、特徴量記憶部２８に記憶された識別対象物ラベルと対応した注目画素の特徴ベクトルとを比較して、撮像画像の各画素が、どの識別対象物を表わしているかを識別する。

領域分割部３２は、各画素の識別結果を用いて、以下に説明するように、撮像画像を領域分割する。まず、すべての画素を独立した領域として設定し、異なる領域に属し、かつ、隣接する画素の組の中で、同じ種類の識別対象物を表わしていると識別された組があれば、その組の画素が同じ領域となるように領域を統合する。この領域の統合処理を繰り返すことによって、画像の領域分割を行なう。

次に、本実施の形態の原理について説明する。画像を領域分割し、それぞれの画像領域が、どのような識別対象物を表わしているかを識別する問題では、従来、各画素の色やテクスチャ情報を特徴量として用いて、画素がどの種類の識別対象物を表わしているかを識別しており、色やテクスチャは照明環境の変動などに頑健ではない。

一方、画像中の特徴点については、画像の領域分割や識別のための強い手がかりとなる特徴量（エッジ方向の特徴や３次元位置など）を抽出することができるが、特徴点は画像中で粗い密度でしか抽出することができない。

本実施の形態では、画像の各画素に対して、周辺特徴点との相対的な位置関係と周辺特徴点のエッジ方向に関する物理量を、画素の特徴量とすることにより、特徴点でない画素の特徴量としても、頑健な特徴点の特徴量を利用することが可能となり、画像の領域分割及び識別を安定して行うことができる。

次に、本実施の形態に係る画像識別装置１０の作用について説明する。まず、車載カメラから車両前方を撮像することにより得られた複数の学習画像と、各学習画像に対応して生成された、各画素がどの識別対象物を表わしているかを示す識別対象物ラベルからなる識別対象物ラベル画像とがコンピュータ１４に入力され、学習画像及び識別対象物ラベル画像がメモリ（図示省略）に記憶される。

そして、コンピュータ１４において、図６に示す学習処理ルーチンが実行される。まず、ステップ１００において、メモリから、複数の学習画像及び複数の学習画像に対応する識別対象物ラベル画像を取得し、ステップ１０２において、上記ステップ１００で取得した学習画像の各々について、特徴点を複数抽出する。

そして、ステップ１０４において、上記ステップ１０２で抽出された特徴点の各々について、特徴点の情報として、エッジ方向のヒストグラムを算出し、算出したエッジ方向のヒストグラムを示す特徴ベクトルを生成する。

次のステップ１０６では、上記ステップ１０４で算出された特徴点の特徴ベクトルの全てに対して、クラスタリング処理を行い、特徴点の特徴ベクトルを複数の分類に分ける。そして、ステップ１０８において、上記ステップ１０４で算出された特徴点の特徴ベクトルと、上記ステップ１０６で得られた分類とに基づいて、各特徴点の特徴ベクトルが属する分類を特定し、特定された分類を、特徴点の特徴ベクトルに関する分類とする。

そして、ステップ１１０において、各学習画像について、上記ステップ１０８で算出された、周辺の矩形領域内に存在する周辺特徴点の特徴ベクトルに関する分類を用いて、各画素の特徴ベクトルを算出する。

次のステップ１１２では、上記ステップ１１０で算出された各画素の特徴ベクトルと、上記ステップ１００で取得した識別対象物ラベル画像とに基づいて、各識別対象物ラベルが示す識別対象物を表わす領域内に定めた注目画素の特徴ベクトルを求め、画素の特徴ベクトルと識別対象物ラベルとの関係を学習する。

そして、ステップ１１４において、上記ステップ１１２で学習した画素の特徴ベクトルと識別対象物ラベルとの関係を、特徴量記憶部２８に記憶して、学習処理ルーチンを終了する。

そして、画像識別装置１０を搭載した車両の走行中に、撮像装置１２によって車両の前方の所定領域が撮像されると、コンピュータ１４において、図７に示す画像識別処理ルーチンが実行される。

まず、ステップ１３０において、撮像装置１２から撮像画像を取得し、ステップ１３２において、上記ステップ１３０で取得した撮像画像から特徴点を抽出する。そして、ステップ１３４において、上記ステップ１３２で抽出した特徴点の各々について、エッジ方向のヒストグラムを算出し、算出したエッジ方向のヒストグラムを示す特徴ベクトルを生成し、学習処理により得られた特徴ベクトルに関する分類に基づいて、特徴ベクトルが属する分類を特定し、特定した分類を特徴点の特徴ベクトルに関する分類とする。

そして、ステップ１３６において、撮像画像の各対象画素について、上記ステップ１３４で算出された特徴点の特徴ベクトルに関する分類のうち、対象画素について所定の相対位置に設定された所定の矩形領域内に存在する周辺特徴点の分類を用いて、対象画素の特徴ベクトルを算出する。

次のステップ１３８では、特徴量記憶部２８から、画素の特徴ベクトルと識別対象物ラベルとの関係を示すデータを取得する。そして、ステップ１４０において、上記ステップ１３８で取得した画素の特徴ベクトルと識別対象物ラベルとの関係を示すデータ、及び上記ステップ１３６で算出した各画素の特徴ベクトルに基づいて、撮像画像の各画素の特徴ベクトルと、識別対象物ラベルが示す識別対象物を表わす領域内に定めた注目画素の特徴ベクトルと比較して、撮像画像の各画素が表している識別対象物を識別する。

次のステップ１４２では、領域分割の初期設定として、撮像画像の全ての画素の各々を、独立した領域として設定し、ステップ１４４において、異なる領域に属し、かつ、隣接する画素の組の中で、同じ種類の識別対象物を表わしていると識別された組が存在するか否かを判定する。上記ステップ１４４で、異なる領域に属し、かつ、同じ識別対象物を表わしていると識別された隣接する画素の組が存在する場合には、ステップ１４６で、この隣接する画素が同じ領域となるように領域を統合し、上記ステップ１４４へ戻る。

上記ステップ１４４で、異なる領域に属し、かつ、同じ識別対象物を表わしていると識別された隣接する画素の組が存在しない場合には、これ以上領域を統合できないため、領域分割が終了したと判断し、ステップ１４８において、上記ステップ１４２〜１４６の処理により撮像画像が領域分割された結果を、表示装置１６に表示させて、画像識別処理ルーチンを終了する。

以上説明したように、第１の実施の形態に係る画像識別装置によれば、撮像画像について、対象画素に対して周辺の所定位置にある矩形領域内に存在する周辺特徴点のエッジ方向のヒストグラムを表わす特徴ベクトルを用いて、学習データと比較することにより、識別対象となる撮像画像内の対象画素が、どの識別対象物を表わしているかを安定して識別することができる。また、撮像画像を、各識別対象物を表わす領域に安定して分割することができる。

また、画像を撮像した環境によって変動しない特徴点の特徴量を用いるため、様々な環境で撮像した撮像画像から、人、車両、路面、木、建物、空などの識別対象物を表わす領域を検出することができる。

次に、第２の実施の形態に係る画像識別装置について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

第２の実施の形態では、特徴点について、３次元位置に関する分類を求めている点と、画素の特徴ベクトルとして、矩形領域内の特徴点の３次元位置に関する分類のヒストグラムを算出している点とが、第１の実施の形態と主に異なっている。

図８に示すように、第２の実施の形態に係る画像識別装置２１０のコンピュータ２１４は、撮像装置１２によって連続して撮像された複数枚の撮像画像を取得する画像取得部２２０と、画像取得部２２０により取得した複数枚の撮像画像の各々から、画像上で追跡しやすい特徴点を複数抽出する特徴点抽出部２２２と、特徴点抽出部２２２によって複数枚の撮像画像から抽出された特徴点に基づいて、複数枚の撮像画像間で対応する点を検索して追跡し、複数枚の撮像画像で対応する特徴点の画像座標を検出する対応点検索部２２３と、対応する特徴点の複数枚の撮像画像の各々における画像座標に基づいて、１枚の撮像画像から抽出された特徴点の各々について、特徴点の特徴量として３次元位置を算出し、算出した３次元位置が属する分類を特定する特徴点特徴量算出部２２４と、取得した１枚の撮像画像の各画素について、画素の周辺に存在する周辺特徴点の３次元位置に関する分類を用いて、画素の特徴ベクトルを算出する画素特徴量算出部２２６と、学習によって求められた画素の特徴ベクトルと識別対象物ラベルとの関係を記憶した特徴量記憶部２２８と、識別部３０と、領域分割部３２とを備えている。

画像取得部２２０は、撮像装置１２によって連続して撮像された複数枚の撮像画像を取得する。なお、撮像装置１２がステレオカメラである場合には、ステレオカメラによって同時に撮像された複数枚の撮像画像を取得すればよい。

対応点検索部２２３は、特徴点抽出部２２２により１枚の撮像画像から抽出された特徴点の各々について、他の撮像画像との間で対応付けを行って、１枚の撮像画像の特徴点に対応する特徴点を他の撮像画像から検索する。なお、複数枚の撮像画像で対応する特徴点を検索するときには、複数枚の撮像画像で対応する特徴点及びその周囲の点の輝度は変化しないという仮定を用いて、複数枚の撮像画像の輝度のマッチングを行えばよく、例えば、Ｌｕｃａｓ−Ｋａｎａｄｅ法を用いて、１枚の撮像画像上の特徴点に対応する特徴点を、他の撮像画像上から検索する。

特徴点特徴量算出部２２４は、以下に説明するように、各特徴点について、特徴点の特徴量として３次元位置を算出し、学習処理で得られた３次元位置に関する複数の分類に基づいて、算出した特徴点の３次元位置が属する分類を特定する。

例えば、２枚の撮像画像に、対応する特徴点が写っており、２枚の撮像画像を撮影したときの撮像装置１２の相対的な位置及び姿勢の変化が、回転行列Ｒと並進ベクトルｔで表されるとする。また、２枚の撮像画像で対応する特徴点の座標が（ｘ、ｙ）、（ｘ’、ｙ’）で表わされるとすると、その特徴点の３次元座標（Ｘ、Ｙ、Ｚ）は、以下の（５）式の解として計算される。

ただし、行列Ｘ＝（Ｘ、Ｙ、Ｚ、１）^Ｔである。また、撮像装置１２のキャリブレーション行列をＫとし、行列Ｐ、Ｐ’を以下の（６）式で定義すると、行列Ａは、以下の（７）式で表される。

ただし、行列Ｉは、３×３の単位行列であり、行列０は、３×１の０行列である。また、ｐ^ｉ、ｐ’^ｉは、それぞれ行列Ｐ、Ｐ’の第ｉ行のベクトルである。

上記の（５）式〜（７）式を用いて、各特徴点の３次元位置が算出されると、後述する学習画像から得られた３次元位置に関する複数の分類に基づいて、各特徴点の３次元位置が、どの分類に属するかを特定し、特定された３次元位置に関する分類を、特徴点の分類とする。

画素特徴量算出部２２６は、１枚の撮像画像の各対象画素について、以下に説明するように、画素の特徴ベクトルを算出する。まず、対象画素の位置に対する相対位置（ｕ，ｖ）を中心とし、かつ、大きさをｗ×ｈとする矩形領域を設定し、その矩形領域内に存在する周辺特徴点の３次元位置の分類を用いて、画素の特徴ベクトルを算出する。例えば、予め定められた複数の矩形領域の各々について、矩形領域内に存在する周辺特徴点の３次元位置に関する分類のヒストグラムを算出し、複数の矩形領域について算出された複数のヒストグラムを連結して、画素の特徴ベクトルを生成する。

特徴量記憶部２２８は、上記と同様の画素の特徴ベクトルと識別対象物ラベルとの関係を記憶している。画素の特徴ベクトルと識別対象物ラベルとの関係は、以下に説明する学習方法により予め求められる。

まず、連続して撮像された２枚の学習画像と、対応する識別対象物ラベル画像とを複数組用意して、コンピュータ２１４に入力する。そして、入力された各学習画像に対して、上記の特徴点抽出部２２２と同様に、特徴点を複数抽出し、上記の対応点検索部２２３と同様に、各組の学習画像について、対応する特徴点を検索する。次に、各組の学習画像について、対応する特徴点から、上述したように、特徴点の３次元位置を算出する。また、全ての特徴点の３次元位置をクラスタリングし、特徴点の３次元位置を複数の分類に分ける。

そして、上記のように得られた３次元位置に関する複数の分類に基づいて、上記の特徴点特徴量算出部２２４と同様に、各特徴点について、特徴点の３次元位置が属する分類を特定する。

各特徴点について、特徴点の３次元位置が属する分類が得られると、学習画像の各画素について、各画素と周辺の特徴点との相対的な位置関係、及び周辺の特徴点の３次元位置が属する分類に基づいて、上記の画素特徴量算出部２２６と同様に、画素の特徴ベクトルを算出する。

全ての画素について画素の特徴ベクトルを計算すると、入力された識別対象物ラベル画像を用いて、各識別対象物と画素の特徴ベクトルとの関係について学習し、各識別対象物ラベルが示す識別対象物が表わす領域内に定めた注目画素の特徴ベクトルを求め、各識別対象物ラベルと画素の特徴ベクトルとの関係を示すデータとして特徴量記憶部２２８に記憶する。

次に、第２の実施の形態に係る画像識別処理ルーチンでは、撮像装置１２から複数枚の撮像画像を取得し、複数枚の撮像画像から特徴点を抽出する。そして、複数枚の撮像画像間で対応する特徴点を検出し、対応する特徴点の組の各々について、特徴点の特徴量として、特徴点の３次元位置を算出する。そして、学習処理により得られた特徴点の３次元位置に関する分類に基づいて、算出した特徴点の３次元位置が属する分類を特定し、特定した分類を、算出した特徴点の３次元位置に関する分類とする。

そして、撮像画像の各対象画素について、算出された特徴点の３次元位置に関する分類のうち、対象画素について所定の相対位置に設定された所定の矩形領域内に存在する特徴点の分類を用いて、画素の特徴ベクトルを算出する。

次に、特徴量記憶部２２８から、画素の特徴ベクトルと識別対象物ラベルとの関係を示すデータを取得する。そして、取得した画素の特徴ベクトルと識別対象物ラベルとの関係を示すデータ、及び算出した各画素の特徴ベクトルに基づいて、撮像画像の各画素の特徴ベクトルと、識別対象物ラベルが示す識別対象物を表わす領域内に定めた注目画素の特徴ベクトルと比較して、撮像画像の各画素が表している識別対象物を識別する。

そして、領域分割の初期設定として、撮像画像の全ての画素の各々を、独立した領域として設定し、異なる領域に属し、かつ、隣接する画素の組の中で、同じ種類の識別対象物を表わしていると識別された組が存在するか否かを判定する。異なる領域に属し、かつ、同じ識別対象物を表わしていると識別された隣接する画素の組が存在する場合には、この隣接する画素が同じ領域となるように領域を統合する。異なる領域に属し、かつ、同じ識別対象物を表わしていると識別された隣接する画素の組が存在しない場合には、領域分割が終了したと判断し、撮像画像が領域分割された結果を、表示装置１６に表示させる。

このように、撮像画像について、対象画素に対して周辺の所定位置にある矩形領域内に存在する周辺特徴点の３次元位置を用いて、学習データと比較することにより、識別対象となる撮像画像内の対象画素が、どの識別対象物を表わしているかを安定して識別することができる。

画像の領域分割や識別を行うとき、画像の色情報や、テクスチャ情報、動き情報などを用いて処理を行うが、照明環境の変動や対象物の多様性などにより、誤った処理結果となりやすい。上記の実施の形態では、画像中の物体の強い手がかりとなる特徴点の形状情報や３次元位置を、各画素の特徴量へ加えることにより、照明変動があり、色やテクスチャでは領域分割又は識別を行なうことが難しい場合や、画像パターンの中に、多様性がある建物などの物体が存在する場合であっても、精度よく領域分割を行なうことができる。

なお、上記の実施の形態では、特徴点の特徴ベクトルまたは特徴量として、エッジ方向のヒストグラムや３次元位置を用いた場合を例に説明したが、これに限定されるものではなく、特徴点の特徴ベクトルとして、特徴点の周辺画素の輝度の分布を示す特徴ベクトルを用いてもよい。また、特徴点の特徴ベクトルとして、エッジ方向のヒストグラム、３次元位置、及び輝度の分布の組み合わせを表わす特徴ベクトルを用いてもよい。

また、対象画素の特徴ベクトルとして、周辺の矩形領域内に存在する周辺特徴点の特徴ベクトルが属する分類のヒストグラムを表わす特徴ベクトルを用いた場合を例に説明したが、これに限定されるものではなく、対象画素の特徴ベクトルとして、対象画素の周辺に存在する周辺特徴点の相対位置、及びこの周辺特徴点の特徴ベクトルが属する分類を表わす特徴ベクトルを用いてもよい。また、周辺特徴点の特徴量と対象画素自体の特徴量（画素の輝度値、１次微分、２次微分など）を組み合わせた特徴ベクトルを用いてもよい。

また、特徴点の情報として、特徴点の特徴ベクトル又は特徴量の分類を用いる場合を例に説明したが、これに限定するものではなく、特徴点の情報として、特徴点の特徴ベクトル又は特徴量自体を用いるようにしてもよい。この場合には、対象画素に対する矩形領域内に存在する周辺特徴点の特徴ベクトル又は特徴量を表わすベクトルを、対象画素の特徴ベクトルとして用いればよい。また、学習処理によって、各識別対象物ラベルを示す識別対象物を表わす領域内に定めた注目画素に対する、矩形領域内に存在する周辺特徴点の特徴ベクトル又は特徴量を表わす特徴ベクトルを求め、各識別対象物ラベルと画素の特徴ベクトルとの関係を示すデータとして、特徴量記憶部に記憶しておけばよい。

本発明の第１の実施の形態に係る画像識別装置の構成を示す概略図である。 （Ａ）撮像画像から特徴点が抽出された様子を示すイメージ図、及び（Ｂ）特徴点について算出されるエッジ方向のヒストグラムを示すイメージ図である。 （Ａ）撮像画像から特徴点が抽出された様子を示すイメージ図、及び（Ｂ）特徴点について算出されるエッジ方向のヒストグラムを示すイメージ図である。 （Ａ）学習画像から特徴点が抽出された様子を示すイメージ図、（Ｂ）分類された特徴点の周辺領域の画像を示すイメージ図、及び（Ｃ）分類された特徴点のエッジ方向のヒストグラムを示すイメージ図である。 （Ａ）対象画素に対して設定される周辺の矩形領域を示すイメージ図、及び（Ｂ）設定された矩形領域について特徴点の特徴ベクトルの分類のヒストグラムを示すイメージ図である。 本発明の第１の実施の形態に係る画像識別装置における学習処理ルーチンの内容を示すフローチャートである。 本発明の第１の実施の形態に係る画像識別装置における画像識別処理ルーチンの内容を示すフローチャートである。 本発明の第２の実施の形態に係る画像識別装置の構成を示す概略図である。

符号の説明

１０、２１０ 画像識別装置
１２ 撮像装置
１４、２１４ コンピュータ
１６ 表示装置
２２、２２２ 特徴点抽出部
２４、２２４ 特徴点特徴量算出部
２６、２２６ 画素特徴量算出部
２８、２２８ 特徴量記憶部
３０ 識別部
３２ 領域分割部

Claims (7)

1. 複数種類の識別対象物を撮像することにより得られた学習画像の前記識別対象物を表わす領域内に定めた注目画素と、前記学習画像から抽出された特徴点であって、かつ、該注目画素の周辺に存在する周辺特徴点との位置関係、及び前記周辺特徴点の特徴量を、前記識別対象物毎に記憶した記憶手段と、
   前記識別対象画像から複数の前記特徴点を抽出する特徴点抽出手段と、
   前記特徴点抽出手段によって抽出された前記複数の特徴点の各々について、前記特徴量を算出する特徴量算出手段と、
   前記識別対象画像内の各対象画素について、前記抽出された前記特徴点であって、かつ、前記対象画素の周辺に存在する周辺特徴点と前記対象画素との位置関係、及び前記周辺特徴点について算出された前記特徴量と、前記記憶手段に記憶された前記位置関係及び前記周辺特徴点の前記特徴量とを比較して、前記対象画素が、前記複数種類の識別対象物の何れを表わしているかを識別する識別手段と、
   を含む画像識別装置。
2. 前記特徴量算出手段は、前記複数の特徴点の各々について、前記特徴量として、前記特徴点のエッジ方向に関する物理量、前記特徴点の輝度に関する物理量、及び前記特徴点の３次元位置の少なくとも一つを算出する請求項１記載の画像識別装置。
3. 前記識別対象画像及び前記学習画像の各々を、車両に搭載された撮像装置によって撮像された画像とした請求項１又は２記載の画像識別装置。
4. 前記記憶手段は、前記注目画素に対して周辺の所定位置にある所定領域内に存在する前記周辺特徴点の前記特徴量を、前記識別対象物毎に記憶し、
   前記識別手段は、前記識別対象画像の各対象画素について、前記対象画素に対して前記所定位置にある前記所定領域内に存在する前記周辺特徴点の前記特徴量と、前記記憶手段に記憶された前記周辺特徴点の前記特徴量とを比較して、前記対象画素が、前記複数種類の識別対象物の何れを表わしているかを識別する請求項１〜請求項３の何れか１項記載の画像識別装置。
5. 前記記憶手段は、前記位置関係、及び前記周辺特徴点の特徴量が属する複数の分類の何れかを、前記識別対象物毎に記憶し、
   前記特徴量算出手段は、前記複数の特徴点の各々について、前記特徴量を算出し、算出した特徴量が属する前記分類を特定し、
   前記識別手段は、前記識別対象画像の各対象画素について、前記周辺特徴点と前記対象画素との位置関係、及び前記周辺特徴点の前記特徴量が属する前記分類と、前記記憶手段に記憶された前記位置関係、及び前記周辺特徴点の前記特徴量が属する前記分類とを比較して、前記対象画素が、前記複数種類の識別対象物の何れを表わしているかを識別する請求項１〜請求項４の何れか１項記載の画像識別装置。
6. 前記識別手段による識別結果に基づいて、前記識別対象画像を、各識別対象物を表わす領域に分割する領域分割手段を更に含む請求項１〜請求項５の何れか１項記載の画像識別装置。
7. コンピュータを、
   複数種類の識別対象物を撮像することにより得られた学習画像の前記識別対象物を表わす領域内に定めた注目画素と、前記学習画像から抽出された特徴点であって、かつ、該注目画素の周辺に存在する周辺特徴点との位置関係、及び前記周辺特徴点の特徴量を、前記識別対象物毎に記憶した記憶手段、
   前記識別対象画像から複数の前記特徴点を抽出する特徴点抽出手段、
   前記特徴点抽出手段によって抽出された前記複数の特徴点の各々について、前記特徴量を算出する特徴量算出手段、及び
   前記識別対象画像内の各対象画素について、前記抽出された前記特徴点であって、かつ、前記対象画素の周辺に存在する周辺特徴点と前記対象画素との位置関係、及び前記周辺特徴点について算出された前記特徴量と、前記記憶手段に記憶された前記位置関係及び前記周辺特徴点の前記特徴量とを比較して、前記対象画素が、前記複数種類の識別対象物の何れを表わしているかを識別する識別手段
   として機能させるためのプログラム。