JP5407897B2 - 画像分類方法、装置、及びプログラム - Google Patents

Description

本発明は、画像を領域毎に複数のクラスに分類する画像分類方法、装置、及びプログラムに関する。

近年、画像処理技術は、ディジタル処理技術の進展に伴って飛躍的に進歩しており、様々な分野に応用されている。近年では、車載カメラから得られる画像から未舗装路の轍等を自動的に検出し、その検出結果に基づいて車両の運転状態を自動制御する技術も開発されている。この技術では、轍を示す画像の特徴をいくつかの指標（例えば、輝度の平均や分散等）を用いて数値化して予め分類器に学習させておき、新たに得られた画像を複数の領域に分割し、各々の領域を分類器で分類することによって、その画像を轍が含まれる領域と轍が含まれない領域とに分類している。

また、以下の特許文献１には、バーコードやＱＲコードと呼ばれる２次元コード等の対象を様々な撮影角度や照明条件下で撮影した画像を学習サンプルとして予め登録・学習しておき、その学習結果を用いることで対象の判別精度を高める技術の一例が開示されている。尚、この特許文献１では、学習サンプルの重み係数を、サポートベクターマシン（Support Vector Machine）で用いられるＳＭＯ（Sequential Minimal Optimization）アルゴリズムに基づいて算出する点が開示されている。

特開２００４−２１３５６７号公報

ところで、画像のある領域に特徴的な画像（特徴画像）が含まれるかどうかを判別する場合には、その領域のみに着目していたのでは正確な判別を行うことができず、周囲の状況を考慮して初めて正確な判別を行うことができることがある。例えば、上述した未舗装路の轍が含まれる領域と含まれない領域とに分類する場合においては、小石を敷き詰めた様な模様がある領域が草地に挟まれている画像の場合には、その模様がある領域が轍（特徴画像）が含まれる領域である可能性が高い。しかしながら、同じ模様の領域が土の領域に挟まれている画像の場合には、土の領域が轍である可能性が高い。

従来は、未舗装路の轍が含まれる領域と含まれない領域とに分類する場合には、処理対象の領域のみに着目して轍が含まれる領域であるか否かを判別しており、処理対象の領域以外の領域は全く考慮されていない。このため、予め想定していた状況とは異なる状況の画像（例えば、小石を敷き詰めた様な模様の領域が土の領域に挟まれている画像）が得られた場合には、本来の轍が含まれる領域以外の領域を誤って轍らしい領域として認識してしまい、認識精度が悪化する可能性があるという問題があった。

本発明は、上記事情に鑑みてなされたものであり、画像の周囲の状況を考慮することで特徴画像が含まれる領域と含まれない領域とをより正確に分類することができる画像分類方法、装置、及びプログラムを提供することを目的とする。

上記課題を解決するために、本発明の画像分類方法は、複数のブロック（Ｂ）に区分されて複数種類の特徴量を用いて評価される画像を、領域毎に複数のクラスに分類する画像分類方法であって、前記画像に含まれる特徴画像についての特徴量と当該特徴画像とは異なる非特徴画像についての特徴量とを用いて、予め前記複数のクラスの境界を学習する第１ステップと、分類すべき画像を複数のブロックに区分し、当該複数のブロックのうちの任意の第１ブロックの特徴量と、当該第１ブロックとは異なる第２ブロックの特徴量と、前記第１ステップの学習結果とを用いて、前記第１，第２ブロックを前記複数のクラスの何れか１つのクラスに分類する第２ステップと、前記第２ステップの分類結果に基づいて、前記第１ブロックが前記第２ブロックよりも前記特徴画像の可能性が高いことを示しているか、又は、前記第２ブロックが前記第１ブロックよりも前記特徴画像の可能性が高いことを示しているかを判定する第３ステップとを含むことを特徴としている。
また、本発明の画像分類方法は、前記複数のクラスは、任意の２つのブロックのうちの先のブロックに前記特徴画像が含まれる可能性が高い第１クラスと、前記任意の２つのブロックのうちの後のブロックに前記特徴画像が含まれる可能性が高い第２クラスとを有することを特徴としている。
また、本発明の画像分類方法は、検出対象の画像領域を構成する複数のブロックの中から、指定の領域内の２つのブロックの組み合わせを所定の生成規則に基づき生成し、前記学習結果を用いたクラス分類の結果から前記特徴画像が含まれている可能性が高いと判定された事が多いブロックを前記特徴画像として抽出する第４ステップを含むことを特徴としている。
また、本発明の画像分類方法は、前記組み合わせの生成規則が、総当り方式、又は、総当りの組み合わせから一定の比率で間引きをした組み合わせであることを特徴としている。
また、本発明の画像分類方法は、前記第１ステップが、前記複数のクラスの各々に含まれるデータの一部が他のクラスに含まれることを許容して前記境界を学習するステップであることを特徴としている。
また、本発明の画像分類方法は、前記第１ステップが、サポートベクターマシンを用いて、前記複数のクラスの各々に含まれるデータとの距離が最大となる前記境界を学習するステップであることを特徴としている。
また、本発明の画像分類方法は、前記特徴量が、前記ブロック毎の輝度の平均値、輝度の標準偏差、模様の方向性、及び粒度の少なくとも１つを表すものであることを特徴としている。
また、本発明の画像分類方法は、通路の画像と通路以外の画像との組を用いて行った学習結果を用いて、轍画像とそれ以外の部分を分類することを特徴としている。
上記課題を解決するために、本発明の画像分類装置は、複数のブロック（Ｂ）に区分されて複数種類の特徴量を用いて評価される画像を、領域毎に複数のクラスに分類する画像分類装置（３０）であって、前記画像に含まれる特徴画像についての特徴量と当該特徴画像とは異なる非特徴画像についての特徴量とを用いて、前記複数のクラスの境界を学習する学習手段（３２）と、複数のブロックに区分された分類すべき画像のうちの任意の第１ブロックの特徴量と、当該第１ブロックとは異なる第２ブロックの特徴量と、前記学習手段の学習結果とを用いて、前記第１，第２ブロックを前記複数のクラスの何れか１つのクラスに分類する分類手段（３４）と、前記分類手段の分類結果に基づいて、前記第１ブロックが前記第２ブロックよりも前記特徴画像の可能性が高いことを示しているか、又は、前記第２ブロックが前記第１ブロックよりも前記特徴画像の可能性が高いことを示しているかを判定する判定手段（３５）とを備えることを特徴としている。
また、本発明の画像分類装置は、前記複数のクラスが、任意の２つのブロックのうちの先のブロックに前記特徴画像が含まれる可能性が高い第１クラスと、前記任意の２つのブロックのうちの後のブロックに前記特徴画像が含まれる可能性が高い第２クラスとを有することを特徴としている。
また、本発明の画像分類装置は、検出対象の画像領域を構成する複数のブロックの中から、指定の領域内の２つのブロックの組み合わせを所定の生成規則に基づき生成し、前記学習結果を用いたクラス分類の結果から前記特徴画像が含まれている可能性が高いと判定された事が多いブロックを前記特徴画像として抽出する抽出手段を備えることを特徴としている。
また、本発明の画像分類装置は、前記組み合わせの生成規則が、総当り方式、又は、総当りの組み合わせから一定の比率で間引きをした組み合わせであることを特徴としている。
また、本発明の画像分類装置は、前記学習手段が、前記複数のクラスの各々に含まれるデータの一部が他のクラスに含まれることを許容して前記境界を学習することを特徴としている。
また、本発明の画像分類装置は、前記学習手段が、サポートベクターマシンを用いて、前記複数のクラスの各々に含まれるデータとの距離が最大となる前記境界を学習することを特徴としている。
また、本発明の画像分類装置は、前記特徴量が、前記ブロック毎の輝度の平均値、輝度の標準偏差、模様の方向性、及び粒度の少なくとも１つを表すものであることを特徴としている。
また、本発明の画像分類装置は、通路の画像と通路以外の画像との組を用いて行った学習結果を用いて、轍画像とそれ以外の部分を分類することを特徴としている。
本発明の画像分類プログラムは、コンピュータを、複数のブロック（Ｂ）に区分されて複数種類の特徴量を用いて評価される画像を、領域毎に複数のクラスに分類する画像分類手段として機能させる画像分類プログラムであって、前記コンピュータを、特徴画像についての特徴量と当該特徴画像とは異なる非特徴画像についての特徴量とを用いて、前記複数のクラスの境界を学習する学習手段（３２）と、複数のブロックに区分された分類すべき画像のうちの任意の第１ブロックの特徴量と、当該第１ブロックとは異なる第２ブロックの特徴量と、前記学習手段の学習結果とを用いて、前記第１，第２ブロックを前記複数のクラスの何れか１つのクラスに分類する分類手段（３４）と、前記分類手段の分類結果に基づいて、前記第１ブロックが前記第２ブロックよりも前記特徴画像の可能性が高いことを示しているか、又は、前記第２ブロックが前記第１ブロックよりも前記特徴画像の可能性が高いことを示しているかを判定する判定手段（３５）として機能させることを特徴としている。

本発明によれば、画像に含まれる特徴画像についての特徴量と特徴画像とは異なる非特徴画像についての特徴量とを用いて複数のクラスの境界を予め学習しておき、分類すべき画像を複数のブロックに区分し、複数のブロックのうちの任意の第１，第２ブロックの特徴量と上記の学習結果とを用いて、第１，第２ブロックを前記複数のクラスの何れか１つのクラスに分類し、それぞれのクラス分類の結果に基づき、第１ブロックが第２ブロックよりも特徴画像の可能性が高いことを示しているか、又は、第２ブロックが第１ブロックよりも前記特徴画像の可能性が高いことを示しているかを判定している。これにより、着目しているブロック（例えば、第１ブロック）の周囲に配置されるブロック（例えば、第２ブロック）を考慮した分類が行われることになるため、特徴画像が含まれる領域と含まれない領域とをより正確に分類することができるという効果がある。更に、１つのブロックを複数のブロックと比較して集計を行うことで、より正確に分類を行うことが可能となる。

本発明の一実施形態による画像分類装置を備える特徴画像抽出装置の要部構成を示すブロック図である。 学習部３２で行われる処理を説明するための図である。 学習動作を説明するための図である。 中心ブロック特定部３３で特定される中心ブロックの一例を示す図である。 分類部３４の動作を説明するための図である。 抽出された特徴画像の一例を示す図である。

以下、図面を参照して本発明の一実施形態による画像分類方法、装置、及びプログラムについて詳細に説明する。尚、以下の説明では、未舗装路の轍を特徴画像とし、轍が写し込まれた画像から最も轍らしい領域（例えば、轍の中心部分）の画像を分類して抽出する場合を例に挙げて説明する。図１は、本発明の一実施形態による画像分類装置を備える特徴画像抽出装置の要部構成を示すブロック図である。

図１に示す通り、特徴画像抽出装置１は、Ａ／Ｄ（アナログ／ディジタル）コンバータ１０、記憶装置２０、画像処理装置３０、及びＲＡＭ（Random Access Memory）４０を備えており、外部から入力される画像信号から最も轍らしい領域を抽出する。尚、図１に示す特徴画像抽出装置１は、例えばパーソナルコンピュータ等のコンピュータによって実現され、災害救助車両や工事車両等の特殊車両に搭載されて車両の進行方向を撮影する車載カメラ（図示省略）から入力される画像信号から特徴画像（未舗装路の轍）を抽出する。

Ａ／Ｄコンバータ１０は、不図示の車載カメラから入力される画像信号をディジタルデータに変換し、入力画像を示す入力画像データとして画像処理装置３０に出力する。尚、本実施形態においては、視野が約６０°であって解像度がＶＧＡ（横６４０×縦４８０画素）であり、モノクロの画像信号を出力する車載カメラが特殊車両に搭載されているとする。つまり、上記の入力画像データは、入力画像を構成する横６４０×縦４８０個の各画素の輝度を示す輝度データからなるデータである。尚、車載カメラからディジタル化された画像信号が出力される場合には、Ａ／Ｄコンバータ１０を省略することができる。

記憶装置２０は、例えばハードディスクによって実現され、特徴画像抽出プログラムＰＧ、複数種類のガボールフィルタＦ１〜Ｆ３０、複数種類のセンターサラウンドフィルタＦ３１〜Ｆ３５、及びＳＶＭ（Support Vector Machine：サポートベクターマシン）モデルＭ１を記憶する。この記憶装置２０は、画像処理装置３０からの読み出し要求に応じて上記の特徴画像抽出プログラムＰＧ、ガボールフィルタＦ１〜Ｆ３０、センターサラウンドフィルタＦ３１〜Ｆ３５、ＳＶＭモデルＭ１を画像処理装置３０に出力する。また、画像処理装置３０からの作成・更新要求に応じてＳＶＭモデルＭ１の作成・更新を行う。

ここで、特徴画像抽出プログラムＰＧは、入力画像データから特徴画像である未舗装路の最も轍らしい領域を抽出する処理を特徴画像抽出装置１で実現するためのプログラムである。この特徴画像抽出プログラムＰＧが画像処理装置３０によって読み出されて実行されることにより、画像処理装置３０において、特徴量算出部３１、学習部３２、中心ブロック特定部３３、分類部３４、及び抽出部３５の各機能が実現される。尚、特徴画像抽出プログラムＰＧは、学習部３２及び分類部３４を実現する画像分類プログラムを含んだプログラムである。

また、ガボールフィルタＦ１〜Ｆ３０は、２次元ガウス関数と２次元平面上を一方向に伝播する正弦波関数とを乗じて得られる２次元ガボール関数を利用した空間周波数フィルタであり、２次元ウェーブレットフィルタの一形態である。互いに直交するＸ軸及びＹ軸からなる２次元直交座標系における２次元ガボール関数ＧＢ（ｘ，ｙ）は以下の（１）式で表される。尚、以下の（１）式において、ｕ_０は波の角周波数、σはガウス関数の標準偏差（ガウス窓の幅）を示すパラメータである。また、２次元ガボール関数ＧＢ（ｘ，ｙ）は、波の方向を示すパラメータ（方向パラメータ）として角周波数ｕ_０の偏角φを有している。

以上の２次元ガボール関数ＧＢ（ｘ，ｙ）を利用したガボールフィルタを用いて、入力画像データをフィルタリングすることにより、入力画像の周波数特性やテクスチャ（模様）方向特性を抽出することができる。具体的には、入力画像において、方向パラメータ（偏角φ）と平行なテクスチャ方向を有すると共に、周波数パラメータ（角周波数ｕ_０）に近い周波数特性を有する領域が感度良く抽出される。

本実施形態では、方向パラメータ（角周波数ｕ_０の偏角φ）及び周波数パラメータ（角周波数ｕ_０）が異なる３０種類のガボールフィルタＦ１〜Ｆ３０が記憶装置２０に記憶されている。ここで、上記の周波数パラメータは、抽出すべき特徴画像である轍の幅に応じて設定される。例えば、波の波長（周期）が視野上で１．５〜４度（２５〜５０ｃｍ）程度となるように角周波数ｕ_０が設定される。かかる設定によって、轍が感度良く抽出されやすくなる。尚、本実施形態では、３０種類のガボールフィルタＦ１〜Ｆ３０が記憶装置２０に記憶されている例について説明するが、その数や種類は入力画像の解像度や画像処理装置３０の処理能力に応じて適宜変更することができる。

また、センターサラウンドフィルタＦ３１〜Ｆ３５は、画像上の円形状を強調する円環状のフィルタである。互いに直交するＸ軸及びＹ軸からなる２次元直交座標系におけるセンターサラウンドフィルタＣＳ（ｘ，ｙ；σ）は、以下の（２）式で表される。

このセンターサラウンドフィルタＣＳ（ｘ，ｙ；σ）は、上記（２）式中のσを変えることでフィルタサイズ（円環の大きさ）を変えることができる。これにより、円形形状の物体の画像をその径に応じて強調させたり、逆に強調させなかったりすることができる。本実施形態では、フィルタサイズが互いに異なる５種類のセンターサラウンドフィルタＦ３１〜Ｆ３５が用意されており、これらは例えば未舗装路の路面の粗さや小石等の小物体の密度を評価するために用いられる。尚、ガボールフィルタと同様に、センターサラウンドフィルタの数や種類は、入力画像の解像度や画像処理装置３０の処理能力に応じて適宜変更することができる。

ＳＶＭモデルＭ１は、轍が写し込まれた画像から最も轍らしい領域の画像を分類する際に用いられるものであり、画像処理装置３０における学習部３２の学習結果に応じて作成・更新され、画像処理装置３０の分類部３４で用いられる。尚、詳細は後述するが、本実施形態では、画像を複数のブロックに分割し、これら複数のブロックのうちの任意の２つを選択し、先に選択したブロックに轍が含まれる可能性が高いクラスＡ（第１クラス）と、後に選択したブロックに轍が含まれる可能性が高いクラスＢ（第２クラス）とに分類している。ＳＶＭモデルＭ１は、上記のクラスＡとクラスＢとの境界を示す境界線情報であるということができる。尚、ＳＶＭモデルＭ１の学習方法及び使用方法の詳細については後述する。

画像処理装置３０は、例えばＣＰＵ（中央処理装置）であり、記憶装置２０から読み出した特徴画像抽出プログラムＰＧに従って、入力画像データに対して所定の画像処理を行うことにより、特徴画像である未舗装路の最も轍らしい領域を抽出する。この画像処理装置３０では、上記特徴画像抽出プログラムＰＧが実行されることによって特徴量算出部３１、学習部３２（学習手段）、中心ブロック特定部３３、分類部３４（分類手段）、及び抽出部３５（判定手段、抽出手段）の各機能が実現される。

特徴量算出部３１は、入力画像データを複数のブロックに区分して複数種類のフィルタ処理を行い、入力画像データの評価に用いるブロック毎の特徴量をフィルタ処理の種類毎に求める。具体的には、入力画像データを一辺が２０画素程度からなる正方形のブロックに区分し、各々のブロック毎に以下に示す３７種類の特徴量を求める。ここで、ブロックは互いに一部重複しても良い。また、ブロックの形状も正方形だけではなく、円形などある特定の規則で生成される曲線で区切られていても良い。更に、規則性があれば同じ大きさである必要はなく、例えば、手前（画面下段）ほどその位置に比例して大きくなる区切り方などの大きさ変化を行っても良い。
（ａ）輝度の平均値：１種類
（ｂ）輝度の標準偏差：１種類
（ｃ）ガボールフィルタによって得られる特徴量：３０種類
（ｄ）センターサラウンドフィルタによって得られる特徴量：５種類

上記（ａ）はブロックの明るさを表す特徴量であり、（ｂ）はブロックの面の粗さを表す特徴量である。これらの特徴量は、特徴量算出部３１が入力画像データを複数のブロックに区分した後にそれぞれ求める。上記（ｃ）はブロックの模様の方向性を表す特徴量であり、特徴量算出部３１が入力画像データを複数のブロックに区分した後に、記憶装置２０からガボールフィルタＦ１〜Ｆ３０を読み出してフィルタリングすることにより求める。上記（ｄ）はブロックの粒度を表す特徴量であり、特徴量算出部３１が入力画像データを複数のブロックに区分した後に、記憶装置２０からセンターサラウンドフィルタＦ３１〜Ｆ３５を読み出してフィルタリングすることにより求める。

学習部３２は、サポートベクターマシンを備えており、特徴量算出部３１で算出された３７種類の特徴量を学習データとして用いてＳＶＭモデルＭ１の作成・更新を行う。ここで、サポートベクターマシンとは、一般的には文字認識、画像認識、音声認識等のパターン認識で用いられて、サンプルのクラスを判別する空間を学習する手法をいい、サポートベクターと呼ばれる最前線のサンプルに基づいてクラスを分ける最適な判別面（境界）を求めるものである。

図２は、学習部３２で行われる処理を説明するための図である。いま、説明を簡単にするために、特徴量算出部３１で算出される３７種類の特徴量のうちの２つの特徴量のみについて考え、これらを第１，第２パラメータとする。ＳＶＭモデルＭ１は、轍の画像（特徴画像）についての第１，第２パラメータと、轍とは異なる画像（非特徴画像）についての第１，第２パラメータと、クラスを示す情報とからなる学習用データを学習部３２に入力し、この学習データを用いた学習が行われることにより作成される。

ここで、轍の画像についての第１，第２パラメータが、轍とは異なる画像についての第１，第２パラメータよりも先に渡される場合には、上記のクラスを示す情報としてクラスＡ（先の画像に轍が含まれる可能性が高いクラス）が指定される。これに対し、轍の画像についての第１，第２パラメータが、轍とは異なる画像についての第１，第２パラメータよりも後に渡される場合には、上記のクラスを示す情報としてクラスＢ（後の画像に轍が含まれる可能性が高いクラス）が指定される。尚、クラスＡ，Ｂの指定はユーザによって行われる。

図２（ａ）は、学習部３２に入力される学習用データの分布の一例を示す図である。図２においては、クラスＡが指定された学習用データを四角印（□）で示しており、クラスＢが指定された学習用データを丸印（○）で示している。尚、図２では横軸に第１パラメータをとり、縦軸に第２パラメータをとっている。学習部３２は、サポートベクターマシンを用いて、図２（ｂ）に示す通り、クラスＡが指定された学習用データとクラスＢが指定された学習用データとの境界Ｚ１示すＳＶＭモデルＭ１を作成する。ここで、境界Ｚ１は、Ａクラスが指定された学習用データのうちの境界Ｚ１に最も近い学習用データとの距離（マージン）ｍ１と、Ｂクラスが指定された学習用データのうちの境界Ｚ１に最も違い学習用データとの距離ｍ２とが最大になるように求められる。

尚、ここでは説明を簡単にするために、２つのパラメータのみを考えている。よって、学習部３２で求められる境界Ｚ１は、図２（ｂ）に示す通り、二次元平面内における直線で表すことができる。しかしながら、学習部３２は、実際には７４個（３７個＋３７個）のパラメータを用いて学習を行うため、求められる境界は７４次元の空間を仕切る境界となり、ＳＶＭモデルＭ１はこの境界を表す境界情報になる。

このように、多くのパラメータを用いる場合には、学習用データの分布が極めて複雑になり、境界を求めるのが困難になる場合が考えられる。このため、境界を求める際に、以下の（Ａ），（Ｂ）に示す手法を用いても良い。
（Ａ）学習用データの境界からの「はみ出し」を許容する（ソフトマージン）
（Ｂ）学習用データをカーネル関数と呼ばれる関数で変換することで非線形に拡張する

上記（Ａ）の手法では、「はみ出し」を許容する量を示す新たなパラメータ「Ｃ」を導入する。このパラメータ「Ｃ」の値が小さい程、「はみ出し」が許容される範囲が大きくなる。また、上記（Ｂ）の手法を用いることで、複数の曲線状の境界を生成することができ、いわゆる「飛び地」状になっている学習用データも良好に分けることができるようになる。上記のカーネル関数としては、例えばガウシアンカーネルと呼ばれる種類のカーネルを用いることができる。ガウシアンカーネルを用いた場合には、パラメータ「σ」を調整することで境界の滑らかさを調整することができる。パラメータ「σ」の値が大きい程、境界線が滑らかになり、境界線の本数を少なくすることができる。

以上の（Ａ），（Ｂ）に示す手法を用いることによって、図２（ｃ）に示す通り、３本の曲線状の境界線Ｚ１１〜Ｚ１３を求めることができる。ここで、図２（ｃ）を参照すると、境界線Ｚ１１と境界線Ｚ１２との間において、クラスＢが指定された学習用データ（丸印で示されたデータ）の１つが、クラスＡが指定された学習用データ（四角印で示されたデータ）に混じっていることが分かる。これは、上記（Ａ）の手法の「はみ出し」を許容した結果である。

中心ブロック特定部３３は、特徴量算出部３１によって区分された複数のブロックのうち、特徴画像（未舗装路の轍）が含まれる可能性のあるブロックを中心ブロックとして特定する。ここで、中心ブロックを特定する方法としては、例えば特徴量算出部３１で求められた特徴量を用いて轍を含む通路であると推定される通路領域を特定し、特定された通路領域の中心線を求め、この中心線が通るブロックを中心ブロックとする方法が挙げられる。

尚、このように中心ブロックを自動的に特定するのではなく、特徴画像抽出装置１のユーザによって指示されたブロックを中心ブロックにしても良い。また、中心ブロックとして使用するブロックは、画像の最下部から画像の高さの１／４程度までの領域に含まれるブロックであるのが望ましい。これは、画像の上部に行くほど画像が不鮮明になり、中心ブロックが誤った位置に検出される可能性が高くなるからである。

分類部３４は、中心ブロック特定部３３で特定された中心ブロックについての３７種類の特徴量、中心ブロック以外のブロックについての３７種類の特徴量、及び記憶装置２０から読み出したＳＶＭモデルＭ１を用いて、それら２つのブロックをクラスＡ又はクラスＢに分類する。この分類を行うことによって、中心ブロック特定部３３で特定された中心ブロックが轍らしいのか、又は中心ブロック以外のブロックが轍らしいのかを判別することが可能になる。

本実施形態では、以上の分類を行うことで、中心ブロック特定部３３で特定された中心ブロックが轍であるか否かを、その中心ブロック以外のブロックを参照して判別する処理と同等の処理が結果として行われることになる。これにより、例えば、車載カメラから得られた画像が、小石を敷き詰めた様な模様がある領域が草地に挟まれている画像である場合、及び同模様の領域が土の領域に挟まれている画像である場合の何れの場合であっても、轍を正確に判別することが可能になる。抽出部３５は、分類部３４で分類されたブロックのうち、轍らしい画像が写り込んでいるブロックを抽出する。

ＲＡＭ４０は、画像処理装置３０が各種画像処理を実行する上で必要なデータや、上記の入力画像データを必要に応じて一時的に記憶するために使用される書換え可能な揮発性メモリである。

次に、上記構成における特徴画像抽出装置１の動作について説明する。特徴画像抽出装置１の動作は、ＳＶＭモデルＭ１を作成する学習動作（第１ステップ）と、車載カメラから得られる画像から轍を抽出する抽出動作（第２ステップ）とに大別される。尚、抽出動作時には、不図示の車載カメラ及び特徴画像抽出装置１を搭載する車両が未舗装路を走行しており、車載カメラからは轍が写り込んだ入力画像が得られるものとする。以下、学習動作及び抽出動作について順に説明する。

〔学習動作〕
図３は、学習動作を説明するための図である。尚、学習動作は、特徴画像である轍の抽出処理に先だって予め行われる動作である。まず、図３（ａ）に示す通り、轍が写り込んでいる画像Ｇ１〜Ｇｎがユーザによって複数用意される。具体的には、小石を敷き詰めた様な模様がある領域が草地に挟まれている画像、或いは同模様の領域が土の領域に挟まれている画像等の複数種類の画像が用意される。尚、この画像は不図示の車載カメラから得られる画像であるのが望ましいが、他のカメラで撮影した画像であっても良い。

次いで、用意された画像Ｇ１〜Ｇｎの各々を順に特徴画像抽出装置１に入力する。入力された画像Ｇ１〜Ｇｎは、Ａ／Ｄコンバータ１０に順に入力されてディジタルデータに変換され、入力画像データとして画像処理装置３０に出力される。Ａ／Ｄコンバータ１０からの入力画像データは、特徴量算出部３１に入力されて図３（ａ）に示す通り複数のブロックＢに区分される。図３（ａ）に示す例では横方向に約３０、縦方向に約２３のブロックＢに区分されている。

画像Ｇ１〜Ｇｎの区分が終了すると、画像Ｇ１〜Ｇｎの評価に用いるブロック毎の特徴量をフィルタ処理の種類毎に求める処理が特徴量算出部３１で行われる。具体的に、特徴量算出部３１は、区分したブロック毎の輝度の平均値及び輝度の標準偏差を自身の演算によって求める。これにより、各ブロックの明るさを示す特徴量と各ブロックの面の粗さを表す２種類の特徴量が求められる。

また、特徴量算出部３１は、記憶装置２０からガボールフィルタＦ１〜Ｆ３０を読み出してブロックに区分された入力画像データをフィルタリングすることにより、各ブロックの模様の方向性を表す３０種類の特徴量を求める。更に、記憶装置２０からセンターサラウンドフィルタＦ３１〜Ｆ３５を読み出してブロックに区分された入力画像データをフィルタリングすることにより、各ブロックの粒度を表す５種類の特徴量を求める。以上の処理を行うことによって、３７種類の特徴量がブロック毎に求められる。

以上の処理が終了すると、複数のブロックＢに区分された画像Ｇ１〜Ｇｎの各々について、ユーザの指示により轍の画像が含まれるブロック（轍ブロック）と、轍の画像が含まれないブロック（非轍ブロック）とが特定され、図３（ｂ）に示す学習用データＤ１，Ｄ２を作成する処理が行われる。ここで、学習用データＤ１はクラスＡが指定された学習用データであり、学習用データＤ２はクラスＢが指定された学習用データである。

学習用データＤ１は、ユーザがクラスＡの学習用データを作成すべき旨を指示した後に、轍ブロック（例えば、図３（ａ）に示す画像Ｇ１のブロックＢ１１）及び非轍ブロック（例えば、図３（ａ）に示す画像Ｇ１のブロックＢ２１）を順に指定することで作成される。かかる指定を行うと、図３（ｂ）に示す通り、轍ブロックであるブロックＢ１１の３７種類の特徴量、非轍ブロックであるブロックＢ２１の３７種類の特徴量、及びクラスＡを示す情報が順に並べられた学習用データＤ１が作成される。

学習用データＤ２は、ユーザがクラスＢの学習用データを作成すべき旨を指示した後に、非轍ブロック（例えば、図３（ａ）に示す画像Ｇ１のブロックＢ２２）及び轍ブロック（例えば、図３（ａ）に示す画像Ｇ１のブロックＢ１２）を順に指定することで作成される。かかる指定を行うと、図３（ｂ）に示す通り、非轍ブロックであるブロックＢ２２の３７種類の特徴量、轍ブロックであるブロックＢ１２の３７種類の特徴量、及びクラスＢを示す情報が順に並べられた学習用データＤ２が作成される。

ユーザが以上の手順を繰り返し、画像Ｇ１〜Ｇｎの各々について様々なブロックの組み合わせを指示することにより、多種多様のブロックの組み合わせについての学習用データＤ１，Ｄ２が作成される。ユーザの指示に基づいて作成された学習用データＤ１，Ｄ２は学習部３２に入力される。そして、図２を用いて説明した手法により、クラスＡとクラスＢとの境界を示す境界線情報であるＳＶＭモデルＭ１を作成する処理が行われ、かかる処理によって作成されたＳＶＭモデルＭ１は記憶装置２０に記憶される。尚、一度ＳＶＭモデルＭ１を作成した後に、新たな学習用データＤ１，Ｄ２を用いて学習部３２で学習させると、記憶装置２０に記憶されたＳＶＭモデルＭ１は更新される。

〔抽出動作〕
車載カメラから轍が写り込んだ入力画像が得られると、その入力画像はＡ／Ｄコンバータ１０に入力されてディジタルデータに変換され、入力画像データとして画像処理装置３０に出力される。Ａ／Ｄコンバータ１０からの入力画像データは、特徴量算出部３１に入力されて複数のブロックに区分される。例えば、図４に示す通り、横方向に約３０、縦方向に約２３のブロックＢに区分される。

入力画像の区分が終了すると、入力画像データの評価に用いるブロック毎の特徴量をフィルタ処理の種類毎に求める処理が特徴量算出部３１で行われる。具体的に、特徴量算出部３１は、区分したブロック毎の輝度の平均値及び輝度の標準偏差を自身の演算によって求める。これにより、各ブロックの明るさを示す特徴量と各ブロックの面の粗さを表す２種類の特徴量が求められる。

また、特徴量算出部３１は、記憶装置２０からガボールフィルタＦ１〜Ｆ３０を読み出してブロックに区分された入力画像データをフィルタリングすることにより、各ブロックの模様の方向性を表す３０種類の特徴量を求める。更に、記憶装置２０からセンターサラウンドフィルタＦ３１〜Ｆ３５を読み出してブロックに区分された入力画像データをフィルタリングすることにより、各ブロックの粒度を表す５種類の特徴量を求める。以上の処理を行うことによって、３７種類の特徴量がブロック毎に求められる。

入力画像データの各ブロックについて、複数種類の特徴量を算出する処理が終了すると、次に中心ブロックを特定する処理が中心ブロック特定部３３で行われる。例えば、以上の処理で求められた特徴量を用いて轍を含む通路であると推定される通路領域を特定し、特定された通路領域の中心線を求め、その中心線が通るブロックを中心ブロックとする処理が行われる。図４は、中心ブロック特定部３３で特定される中心ブロックの一例を示す図である。図４に示す例では、轍と草との境界付近に位置する６個の中心ブロックＣＢが特定されている。

中心ブロックＣＢの特定が終了すると、記憶装置２０から分類部３４にＳＶＭモデルＭ１が読み出され、分類部３４において、中心ブロックＣＢの特徴量、中心ブロックＣＢ以外のブロックの特徴量、及びＳＶＭモデルＭ１を用いて、それら２つのブロックがクラスＡ又はクラスＢに分類される。図５は、分類部３４の動作を説明するための図である。分類部３４は、まず図４に示す６個の中心ブロックＣＢのうちの何れか１つと、中心ブロックＣＢ以外のブロックＢのうちの何れか１つ（中心ブロックＣＢの近傍に位置するブロックが望ましい）とを選択する。尚、選択された２つのブロックのうち、先に選択されたブロックを「第１ブロック」といい、後に選択されたブロックを「第２ブロック」という。

次に、分類部３４は、図５に示す通り、第１ブロックについての３７種類の特徴量Ｖ１と第２ブロックについての３７種類の特徴量Ｖ２とを連結した７４次元の特徴量Ｖ１０を作成する。そして、この特徴量Ｖ１０と記憶装置２０から読み出したＳＶＭモデルＭ１とを用いて第１，第２ブロックをクラスＡ又はクラスＢに分類する。ここで、クラスＡに分類された場合には、第１ブロックがより轍ブロックらしいということができ、クラスＢに分類された場合には、第２ブロックがより轍ブロックらしいと言うことができる。選択するブロックを変えながら以上の処理が繰り返し行われる。以上の分類が終了すると、分類部３４の分類結果を用いて、轍が写り込んでいるブロックが抽出部３５によって抽出される。

具体的には、比較対象と同じ画面上の高さに存在する（つまり、同じ横の列に含まれる）全てのブロックとの分類が分類部３４において実施され、その結果を抽出部３５が受け取る。その結果を元に抽出部３５は、全てのブロックについてクラス分けの回数と、クラス分けの結果として轍に含まれる可能性が２ブロックのうち高い方であると推定（判定）した回数の比を求める（第３ステップ）。更に、抽出部３５は、比率が最も高いブロックが最も轍の特徴が強く現れている位置であるとして轍抽出を行う（第４ステップ）。比較する面積が多い場合には、周囲の一定幅の領域に限定して処理することで処理時間がかかり過ぎることを防ぐことも可能である。

図６は、抽出された特徴画像の一例を示す図である。以上の処理によって、図４に示す画像から、図６中の斜線を付したブロックＢＥが抽出される。図４に示す例では、轍と草との境界付近に６個の中心ブロックＣＢが配置されていた。これに対し、図６に示す例では、轍と草との境界付近ではなく、轍の略中心付近に位置するブロックが抽出されていることが分かる。これによって、中心ブロック特定部３３によって特定された中心ブロックＣＢよりも正確に轍ブロックを抽出することができる。

以上説明した通り、本実施形態によれば、轍の画像についての特徴量と、轍の画像とは異なる画像（例えば、草地や土の画像）についての特徴量とを用いて、複数のクラス（クラスＡ及びクラスＢ）の境界を予め学習しておき、分類すべき画像を複数のブロックに区分して、当該複数のブロックのうちの任意の第１，第２ブロックの特徴量と、上記の学習結果とを用いて、第１，第２ブロックを複数のクラスの何れか１つのクラスに分類している。この処理によって、中心ブロック特定部３３で特定された中心ブロックが轍ブロックであるか否かを、その中心ブロック以外のブロックを参照して判別する処理と同等の処理が結果として行われることになり、特徴画像が含まれる領域と含まれない領域とをより正確に分類することができる。

以上、本発明の実施形態について説明したが、本発明は上記実施形態に制限されず、本発明の範囲内で自由に変更が可能である。例えば、上記実施形態において、クラスの分類精度が低い場合には、分類に失敗したデータを重点的に学習データに追加してＳＶＭモデルＭ１を学習し直すことにより、分類の精度をより高めることが可能である（ブートストラップ法）。

また、上記実施形態では、説明を簡単にするために、分類部３４の分類結果に基づいて、轍が写り込んでいるブロックを抽出部３５が単純に抽出する例について説明した。しかしながら、分類部３４の分対結果に基づいてブロックの轍らしさを順位付けし、その順位が高いブロックから順に抽出部３５が抽出するようにしても良い。かかる処理を行うことによって、轍らしい領域を複数抽出することができる。また、総当たり方式でブロックを順位付けするのではなく、トーナメント方式によって順位付けしても良い。また、順位付けは必ずしも厳密である必要はなく、ある順位以上であれば轍であると判定して抽出しても良い。

また、上記実施形態では、中心ブロックを特定する方法として、轍を含む通路であると推定される通路領域の中心線を用いる方法、及びユーザの指示によって特定する方法を例に挙げて説明したが、これ以外の方法を用いることも可能である。例えば、車両にレーザレーダを設け、このレーザレーダの測定結果に基づいて中心ブロックを特定しても良い。

３２ 学習部
３４ 分類部
３５ 抽出部
Ｂ ブロック

Claims (17)

1. 複数のブロックに区分されて複数種類の特徴量を用いて評価される画像を、領域毎に複数のクラスに分類する画像分類方法であって、
   前記画像に含まれる特徴画像についての特徴量と当該特徴画像とは異なる非特徴画像についての特徴量とを用いて、予め前記複数のクラスの境界を学習する第１ステップと、
   分類すべき画像を複数のブロックに区分し、当該複数のブロックのうちの任意の第１ブロックの特徴量と、当該第１ブロックとは異なる第２ブロックの特徴量と、前記第１ステップの学習結果とを用いて、前記第１，第２ブロックを前記複数のクラスの何れか１つのクラスに分類する第２ステップと、
   前記第２ステップの分類結果に基づいて、前記第１ブロックが前記第２ブロックよりも前記特徴画像の可能性が高いことを示しているか、又は、前記第２ブロックが前記第１ブロックよりも前記特徴画像の可能性が高いことを示しているかを判定する第３ステップと
   を含むことを特徴とする画像分類方法。
2. 前記複数のクラスは、任意の２つのブロックのうちの先のブロックに前記特徴画像が含まれる可能性が高い第１クラスと、
   前記任意の２つのブロックのうちの後のブロックに前記特徴画像が含まれる可能性が高い第２クラスと
   を有することを特徴とする請求項１記載の画像分類方法。
3. 検出対象の画像領域を構成する複数のブロックの中から、指定の領域内の２つのブロックの組み合わせを所定の生成規則に基づき生成し、前記学習結果を用いたクラス分類の結果から前記特徴画像が含まれている可能性が高いと判定された事が多いブロックを前記特徴画像として抽出する第４ステップを含むことを特徴とする請求項１又は請求項２記載の画像分類方法。
4. 前記組み合わせの生成規則は、総当り方式、又は、総当りの組み合わせから一定の比率で間引きをした組み合わせであることを特徴とする請求項３の画像分類方法。
5. 前記第１ステップは、前記複数のクラスの各々に含まれるデータの一部が他のクラスに含まれることを許容して前記境界を学習するステップであることを特徴とする請求項１から請求項４の何れか一項に記載の画像分類方法。
6. 前記第１ステップは、サポートベクターマシンを用いて、前記複数のクラスの各々に含まれるデータとの距離が最大となる前記境界を学習するステップであることを特徴とする請求項１から請求項５の何れか一項に記載の画像分類方法。
7. 前記特徴量は、前記ブロック毎の輝度の平均値、輝度の標準偏差、模様の方向性、及び粒度の少なくとも１つを表すものであることを特徴とする請求項１から請求項６の何れか一項に記載の画像分類方法。
8. 通路の画像と通路以外の画像との組を用いて行った学習結果を用いて、轍画像とそれ以外の部分を分類することを特徴とする請求項１から請求項７の何れか一項に記載の画像分類方法。
9. 複数のブロックに区分されて複数種類の特徴量を用いて評価される画像を、領域毎に複数のクラスに分類する画像分類装置であって、
   前記画像に含まれる特徴画像についての特徴量と当該特徴画像とは異なる非特徴画像についての特徴量とを用いて、前記複数のクラスの境界を学習する学習手段と、
   複数のブロックに区分された分類すべき画像のうちの任意の第１ブロックの特徴量と、当該第１ブロックとは異なる第２ブロックの特徴量と、前記学習手段の学習結果とを用いて、前記第１，第２ブロックを前記複数のクラスの何れか１つのクラスに分類する分類手段と、
   前記分類手段の分類結果に基づいて、前記第１ブロックが前記第２ブロックよりも前記特徴画像の可能性が高いことを示しているか、又は、前記第２ブロックが前記第１ブロックよりも前記特徴画像の可能性が高いことを示しているかを判定する判定手段と
   を備えることを特徴とする画像分類装置。
10. 前記複数のクラスは、任意の２つのブロックのうちの先のブロックに前記特徴画像が含まれる可能性が高い第１クラスと、
    前記任意の２つのブロックのうちの後のブロックに前記特徴画像が含まれる可能性が高い第２クラスと
    を有することを特徴とする請求項９記載の画像分類装置。
11. 検出対象の画像領域を構成する複数のブロックの中から、指定の領域内の２つのブロックの組み合わせを所定の生成規則に基づき生成し、前記学習結果を用いたクラス分類の結果から前記特徴画像が含まれている可能性が高いと判定された事が多いブロックを前記特徴画像として抽出する抽出手段を備えることを特徴とする請求項９又は請求項１０記載の画像分類装置。
12. 前記組み合わせの生成規則は、総当り方式、又は、総当りの組み合わせから一定の比率で間引きをした組み合わせであることを特徴とする請求項１１の画像分類装置。
13. 前記学習手段は、前記複数のクラスの各々に含まれるデータの一部が他のクラスに含まれることを許容して前記境界を学習することを特徴とする請求項９から請求項１２の何れか一項に記載の画像分類装置。
14. 前記学習手段は、サポートベクターマシンを用いて、前記複数のクラスの各々に含まれるデータとの距離が最大となる前記境界を学習することを特徴とする請求項９から請求項１３の何れか一項に記載の画像分類装置。
15. 前記特徴量は、前記ブロック毎の輝度の平均値、輝度の標準偏差、模様の方向性、及び粒度の少なくとも１つを表すものであることを特徴とする請求項９から請求項１４の何れか一項に記載の画像分類装置。
16. 通路の画像と通路以外の画像との組を用いて行った学習結果を用いて、轍画像とそれ以外の部分を分類することを特徴とする請求項９から請求項１５の何れか一項に記載の画像分類装置。
17. コンピュータを、複数のブロックに区分されて複数種類の特徴量を用いて評価される画像を、領域毎に複数のクラスに分類する画像分類手段として機能させる画像分類プログラムであって、
    前記コンピュータを、特徴画像についての特徴量と当該特徴画像とは異なる非特徴画像についての特徴量とを用いて、前記複数のクラスの境界を学習する学習手段と、
    複数のブロックに区分された分類すべき画像のうちの任意の第１ブロックの特徴量と、当該第１ブロックとは異なる第２ブロックの特徴量と、前記学習手段の学習結果とを用いて、前記第１，第２ブロックを前記複数のクラスの何れか１つのクラスに分類する分類手段と、
    前記分類手段の分類結果に基づいて、前記第１ブロックが前記第２ブロックよりも前記特徴画像の可能性が高いことを示しているか、又は、前記第２ブロックが前記第１ブロックよりも前記特徴画像の可能性が高いことを示しているかを判定する判定手段と
    して機能させることを特徴とする画像分類プログラム。