JP4663013B2 - 色類別方法、色認識方法及び色認識装置 - Google Patents

Description

本発明は、クラスタリング手法を用いて画像中の所定の対象領域の色を認識する色認識方法に関し、特に、撮像時の照明条件、周辺環境条件等の撮像条件の影響による誤認識を低減させることができ、さらに新たな色に類別する再学習により、新たな色を認識することができる色類別方法、色認識方法及び色認識装置に関する。

本発明の第１の背景技術として特開２００２−１９００１８号公報に開示される画像領域分類装置がある。この第１の背景技術の画像領域分類装置は、複数の色成分から構成される画像に基づき、各色成分を軸とした色空間内の格子点における前記画像のヒストグラムを作成するヒストグラム作成手段と、前記ヒストグラム作成手段で作成されたヒストグラムをヒストグラム値に応じた大きさのオブジェクトで表示するヒストグラム表示手段と、前記ヒストグラム作成手段で作成されたヒストグラムの全格子点を複数個の代表値で分類するクラスタ分類手段とを備えるものである。

第１の背景技術の画像領域分類装置によれば、分類対象の画像に基づき、各色成分を軸とした色空間内の格子点における画像のヒストグラムを作成し、このヒストグラムを、ヒストグラム値に応じた大きさのオブジェクトで表示することから、色空間内でのヒストグラム値をオペレータが視覚的に認識できるようになり、表示されたオブジェクトを参照してオペレータが自分の意図に合ったクラスタ分類を設定でき、的確かつ迅速なカラー分類を行うことが可能となる。

本発明の第２の背景技術として特許第３７０８０４２号明細書に記載される画像処理方法がある。この第２の背景技術の画像処理方法は、入力画像中の少なくとも一部の画素を似通った色相を有するクラスタに分類するためのパラメータを計算する画像処理方法であって、前記入力画像中の少なくとも一部の画素をその色差に応じてクラスタリングするステップと、前記画素の色相値を計算するステップと、色相を表す色相円を可変の分割数の分割クラスタに分割するとともに、前記分割された色相円を可変の回転角で回転させて前記各分割クラスタに対応する色相値の範囲を変化させることにより、前記画素の色相値をクラスタリングするステップと、前記クラスタリングの結果に基づく評価値を計算するステップと、前記評価値を最適化するよう前記分割数及び回転角を変化させて前記パラメータを決定するステップと、前記色差に応じたクラスタリング結果を、前記パラメータに基づいて再分類するステップとを具備するものである。第２の背景技術の画像処理方法によれば、チューニングを必要とせず、より人間の知覚に近いカラー画像セグメンテーションを行うことができる。

本発明の第３の背景技術として特許第３０２５９８６号明細書に記載されるパターン認識システムがある。この第３の背景技術のパターン認識システムは、認識対象のパターンの状態を拾得するパターンデータ拾得手段と、前記パターンデータ拾得手段が拾得したデータの分布よりこの分布の特徴領域の状態を示すクラスタを生成する入力データ編集手段と、前記パターンデータ拾得手段が拾得したデータの前記入力データ編集手段により生成されたクラスタ内における特徴を示す特徴ベクトルを抽出する特徴ベクトル抽出手段とを有し、学習段階で前記特徴ベクトル抽出手段で抽出された特徴ベクトルと、認識段階で前記パターンデータ拾得手段が拾得したデータ分布の中の前記学習段階で前記入力データ編集手段により生成されたクラスタ内の部分より前記特徴ベクトル抽出手段で抽出された特徴ベクトルとを比較することでパターンの認識を行うパターン認識システムにおいて、学習段階で前記入力データ編集手段により生成されたクラスタの状態を認識段階で前記パターンデータ拾得手段が拾得したデータの分布の変化に合わせて変化させるクラスタ調節手段を有するものである。

第３の背景技術のパターン認識システムによれば、学習したパターンの認識を行うパターン認識において、学習してあるパターンを認識しようとしているにも拘わらず環境変化などにより得られるデータの状態が変化しても、その環境変化に合わせてデータの収集状態を変更でき、環境が変化しても再学習することなくパターンの認識ができる。
特開２００２−１９００１８号公報 特許第３７０８０４２号明細書 特許第３０２５９８６号明細書

しかしながら、前記第１の背景技術の画像領域分類装置は、色空間内でのヒストグラム値をオペレータが視覚的に認識し、表示されたオブジェクトを参照しながらオペレータが自らクラスタ分類を設定する必要があり、その設定の手間がオペレータにとって過大であるという課題を有する。処理対象の画像が多数ある場合は尚更である。加えて、オペレータはヒストグラム値を視覚的にではあるが参照してクラスタ分類を設定する必要があり、相応の熟練度が要求される。

また、前記第２の背景技術の画像処理方法は、コンピュータ上で作成された画像であればオペレータの手間を介することなく自動で正確にクラスタリングされるものの、撮像画像（特に野外での撮像画像）においては撮像環境によって実際の物体色と異なった画素値となり、例えば逆光、対象物体にかかる影の影響を受けた撮像画像があり、このような撮像画像に対しては適切にクラスタリングすることができないという課題を有する。この課題は前記第１の背景技術の画像領域分類装置も有する。

さらに、前記第３の背景技術のパターン認識方法は、学習により生成されたクラスタを使用時にデータの分布の変化に合わせて変化させるクラスタ調節手段を具備しているため、環境が変化しても再学習することなくそのパターン認識ができるものの、クラスタ調節手段が対応できる環境変化は限られるという課題を有する。

本発明は斯かる事情を鑑みてなされたものであり、撮像画像の対象領域の色を所定の分類色の分布率によって、更に分布率を構成する分類比が上位であるいくつかの色に注目することによってクラスタリングする構成により、クラスタが効率よく分離し、多様な撮像条件に応じた色に類別することができ、新たなクラスタを形成することで更に新たな色に類別することができる色類別方法を提供することを目的とする。

また、本発明の他の目的は、上述の色類別方法を利用して撮像画像の対象領域の色を指定色と対応付けてクラスタリングして学習しておき、より多くの撮像画像について、環境変化に応じて異なる撮像条件に対応させて画像中の対象領域の色を識別することができる色認識方法及び色認識装置を提供することにある。

さらに、本発明の他の目的は、前記色認識方法で比率の高い順に所定数の分類色を抽出して夫々を各次元とする色空間を定義するに際し、前記所定数を上位三色とする構成により、誤認識を低減させ、認識率を高めることができる色認識方法を提供することにある。

また、本発明の他の目的は、クラスタが分離できない場合はその他の色として認識できる構成とすることにより、精度よく色認識を行なうことができる色認識方法を提供することにある。

また、本発明の他の目的は、認識対象画像の画像の処理対象領域の色分布によりいずれのクラスタに属するかを、同じ色でも構成する分類色が異なる多様な色に対応する各クラスタの重心との距離を夫々算出し、その最短距離、最短距離となるクラスタに対応する指定色の頻度、対応する指定色の種類等の多様な判定条件に基づき認識色を選択する構成により、精度良く色認識を行なうことができる色認識方法を提供することにある。

さらに、本発明の他の目的は、クラスタの重心との距離をマハラノビス距離により算出する構成により、クラスタを構成する各座標のばらつきも考慮して精度良く色認識を行なうことができる色認識方法を提供することにある。

また、本発明の他の目的は、認識対象画像の処理対象領域の色分布がいずれのクラスタに対応するかが曖昧な場合は再学習のために記録しておく構成により、異なる撮像条件に影響される新たな色に類別することを可能とし、これにより新たな色を認識することができ、更に誤認識を低減させることができる色認識方法を提供することにある。

また、本発明の他の目的は、いずれのクラスタに対応するかが曖昧であることにより記録されている複数の認識対象画像について改めて上述の色類別方法を利用して類別し、更に場合によっては指定色を受け付けて類別された色を学習する構成により、多様な撮像条件に影響される新たな色に類別することができ、更に新たな色を認識することができる色認識方法を提供することにある。

第１発明に係る色類別方法は、撮像装置により撮像された複数の撮像画像について、各撮像画像から所定の処理対象領域を判別する判別ステップと、判別された処理対象領域に含まれる複数の画素の色分布を算出する算出ステップと、夫々の撮像画像について算出された色分布に基づきクラスタリングを実行してクラスタを形成する形成ステップとを含み、形成したクラスタに対応させて色を類別する色類別方法であって、前記算出ステップは、前記処理対象領域に含まれる複数の画素を所定の分類色によって分類するステップと、各分類色の比率を算出するステップとを含み、前記形成ステップは、各撮像画像の処理対象領域について、算出された前記比率が上位所定数である分類色を抽出するステップと、抽出された前記所定数の分類色を各次元とし、各分類色の比率の大きさを各次元方向に持つ複数の色空間を定義するステップと、各撮像画像について、算出された分類色の比率に基づき各色空間における座標を特定するステップと、各色空間で特定された座標群を前記所定数以上の数のクラスタにクラスタリングするステップとを含むことを特徴とする。

第２発明に係る色認識方法は、撮像装置により撮像され、指定色が夫々与えられている複数の撮像画像について、各撮像画像から所定の処理対象領域を判別する判別ステップと、判別された処理対象領域に含まれる複数の画素の色分布を算出する算出ステップとを実行し、算出された色分布に基づきクラスタリングを実行して各撮像画像に与えられている指定色毎にクラスタを形成する形成ステップとを含む学習処理を実行しておき、認識対象画像について前記判別ステップ及び算出ステップを実行し、算出された色分布に基づいて前記指定色毎のクラスタの内のいずれに属するかを判定する判定ステップを実行し、前記処理対象領域の色を認識する色認識方法であって、学習処理における前記算出ステップは、前記撮像画像の処理対象領域に含まれる複数の画素を所定の分類色によって分類するステップと、各分類色の比率を算出するステップとを含み、前記形成ステップは、各撮像画像の処理対象領域について、算出された前記比率が上位所定数である分類色を抽出するステップと、抽出された分類色を各次元とし、各分類色の比率の大きさを各次元方向に持つ色空間を定義するステップと、各指定色毎に、該指定色が与えられている各撮像画像について、算出された分類色の比率に基づき各色空間における座標を特定するステップと、各色空間で特定された各指定色毎の座標の集合を、前記指定色のクラスタとして形成するステップとを含むことを特徴とする。

第３発明に係る色認識方法は、前記上位所定数は、上位三色であることを特徴とする。

第４発明に係る色認識方法は、前記判定ステップは、前記認識対象画像について算出した各分類色の比率に基づき、各色空間における座標を夫々特定するステップと、特定した座標、及び前記色空間に形成されている各クラスタの重心の間の距離を算出する距離算出ステップと、色空間毎に、前記距離が最短であるクラスタを夫々特定するステップと、特定した各クラスタの指定色の内から一を認識色として選択する選択ステップとを含み、選択された認識色を前記認識対象画像の処理対象領域の色と認識することを特徴とする。

第５発明に係る色認識方法は、前記選択ステップは、各色空間に対して夫々特定したクラスタの指定色の内で最も頻度（度数）が高い指定色を選択する第１の基準、各色空間に対して夫々特定したクラスタの指定色の内で最も頻度（度数）が高い指定色が無彩色である場合であって、前記クラスタの指定色に、有彩色が含まれているときは前記有彩色を選択する第２の基準、特定したクラスタの指定色が前記他の色である場合、前記クラスタは無視する第３の基準、及び、各色空間に対して夫々特定したクラスタの指定色の内で最も頻度（度数）が高い指定色が前記他の色である場合、認識色を不明とする第４の基準の内の一又は複数の基準に基づいて選択することを特徴とする。

第６発明に係る色認識方法は、特定されたクラスタの重心との距離が所定値以上である場合、又は認識色が不明とされた場合の認識対象画像を、各分類色の比率と共に記録しておくステップを更に含むことを特徴とする。

第７発明に係る色認識方法は、記録してある各認識対象画像を出力するステップと、出力した前記各認識対象画像について指定色の設定を受け付けるステップと、設定された指定色が共通する認識対象画像について、共に記録してある分類色を各次元とする色空間における座標を特定するステップと、特定された座標群を、設定された指定色に対応する座標の集合としてクラスタリングすることにより新たに前記指定色のクラスタとして形成するステップとを更に含むことを特徴とする。

第８発明に係る色認識装置は、撮像装置により撮像され、指定色が夫々与えられている複数の撮像画像について、各撮像画像から所定の処理対象領域を判別する判別手段と、判別した処理対象領域に含まれる複数の画素の色分布を算出する算出手段と、算出した色分布に基づきクラスタリングを実行して各撮像画像に与えられている指定色毎にクラスタを形成しておく形成手段と、認識対象画像が与えられた場合、該認識対象画像について前記判別手段による判別及び前記算出手段による算出を行なう手段と、算出した色分布に基づいて前記指定色毎のクラスタの内のいずれに属するかを判定する判定手段とを備え、前記認識対象画像の処理対象領域の色を認識するようにしてある色認識装置であって、前記算出手段は、前記処理対象領域に含まれる複数の画素を所定の分類色によって分類する手段と、各分類色の比率を算出する手段とを備え、前記形成手段は、各撮像画像の処理対象領域について、算出された前記比率が上位所定数である分類色を抽出する手段と、抽出された分類色を各次元とし、各分類色の比率の大きさを各次元方向に持つ色空間を定義する手段と、各指定色毎に、該指定色が与えられている各撮像画像について、算出された分類色の比率に基づき各色空間における座標を特定する手段と、各色空間で特定された各指定色毎の座標の集合を、前記指定色のクラスタとして形成するようにしてあることを特徴とする。

（学習）
本発明では、色認識を行なう事前の学習段階として、学習用の撮像画像中における処理対象領域に含まれる複数の画素が所定の分類色に分類され、各分類色の比率を算出することによって色分布が算出される。各撮像画像の処理対象領域について算出された分類色の比率の内の上位所定数の分類色が夫々抽出され、その分類色を各次元とし、分類色の比率を次元方向に持つ色空間が、抽出された分類色の組み合わせ毎に定義される。この場合本発明では、分類色全てを次元とする色空間が全通り定義されるのではなく、比率の高い分類色を所定数選んで各次元とする色空間が定義される。また、抽出された分類色の組み合わせの数に応じた色空間が定義される。８色の分類色がある場合、その中の第１の分類色、第２の分類色、第３の分類色を各次元とした色空間、又は第１の分類色、第４の分類色、第５の分類色を各次元とした色空間等の色空間が定義される。つまり、分類色の組み合わせで色空間が形成される。なお、複数の画素を分類する際の所定の分類色は色を追加することも削除することも可能である。８色で分類しても、６色、１２色等で分類してもよい。定義された各色空間に対し、各撮像画像の処理対象領域について算出された分類色の比率に応じて、各撮像画像の処理対象領域の色分布に対応する座標が特定される。特定された各座標がクラスタリングにより分離されてクラスタとして形成されることにより、各撮像画像の処理対象領域の色が類別される。

なお、撮像画像中の処理対象領域は、人物、動物、車両、風景等である。処理対象領域は、例えば車両の場合、四輪車のボンネットとすることによって車両の色を類別することが可能になる。また、クラスタリングの手法には、階層的手法、非階層的手法のどちらも使用することが可能である。

なお、撮像画像中の処理対象領域の画素を分類する際、画像をＲＧＢ表色系からＨＳＩ表色系に変換することが望ましく、これにより更に正確に色を類別することが可能になる。また画素を分類色に分類する際は、全ての画素がいずれかの分類色に分類されることが好ましいので、例えばＨＳＩ表色系が分類色の数で分割され、画素の色が分割された色系のいずれに属するかによって分類する。

本発明では、色認識を行なう事前の学習段階として、指定色が与えられた学習用の撮像画像中の処理対象領域に含まれる複数の画素が所定の分類色に分類され、分類色の比率が算出される。各撮像画像の処理対象領域について抽出された分類色を各次元とする色空間が、抽出された分類色の組み合わせ毎に定義される。各学習用の撮像画像の処理対象領域について、算出された分類色の比率に基づき、定義された色空間夫々における座標が、与えられた指定色毎に特定され、指定色毎の座標の集合が指定色のクラスタとして形成される。即ち、処理対象領域の分類色の比率の分布と指定色との関係がクラスタリングにより学習される。これにより、認識対象画像の処理対象領域の分類色の比率に基づいて、いずれの指定色のクラスタに属するかが判定されることにより、指定色が認識色として選択される。

さらに本発明では、各撮像画像の処理対象領域について算出された分類色の内の比率上位三位までの分類色を抽出し、抽出された上位三色の分類色の組み合わせの数に応じた三次元の色空間が定義される。また、例えば白と認識されるべき画像であっても、白に相当する分類色のみならず、他の二つの分類色の比率も鑑みた色に詳細に類別される。なお、三次元の色空間を定義することにより、形成されるクラスタの分離が容易な構成となる。

更に本発明では、定義されている各色空間に対し、学習用撮像画像夫々について分類色の比率が上位か否かに拘わらず、各処理対象領域の分類色の比率に基づき座標が特定されてクラスタが形成されることにより、当該色空間の次元に相当する分類色では指定色のクラスタが他の指定色のクラスタと重複する場合がある。本発明では重複するクラスタは統合され、当該色空間では指定色との相関が明確でないその他のクラスタとして形成される。これにより、認識するに際し、定義済みの色空間ではクラスタとして明確に分離されない分類色の比率である場合は、その他のクラスタに属し、即ち、認識色はその他の色として判定されるときがある。

（認識）
本発明では、認識対象画像について色を認識するに際し、学習処理によって定義されている色空間と、各色空間における指定色毎のクラスタとに対し、認識対象画像の処理対象領域についての分類色の比率に基づいて、各色空間における座標が特定され、各クラスタの重心との距離が算出される。これにより、認識対象画像の処理対象領域の色がいずれのクラスタに属するかが判定される。学習処理で抽出された分類色の組み合わせに応じた色空間毎に、距離が最短であるクラスタが特定され、特定されたクラスタの指定色の内から一が選択されて、認識対象画像の処理対象領域の色として認識される。

本発明では更に、認識対象画像について色を認識するに際し、色空間毎に特定した各クラスタの指定色の内で、最も多い指定色が認識色とされる第１の基準、最も多い指定色が無彩色であっても一つでも有彩色が含まれている場合はその有彩色が認識色とされる第２の基準、その他の色である場合はそのクラスタに基づく判定を行なわないようにする第３の基準、及び、最も多い指定色が他の色である場合は認識色が不明とされる第４の基準の内の一又は複数に基づいて選択される。

本発明では更に、認識対象画像の処理対象領域の分類色の比率に対応する距離と、各クラスタの重心との距離の算出については、クラスタを構成する座標の集合のばらつきを考慮したマハラノビス（Mahalanobis）距離により算出される。

（再学習）
本発明では、認識対象画像の処理対象領域についての分類色の比率に基づき特定されたクラスタとの距離が所定値以上で離れている場合、特定されるクラスタの指定色の内で他の色が最も多い場合等、いずれのクラスタに属するかが不明瞭な場合は、分類色の比率と共に記録される。

本発明では、記録してある認識対象画像について、共に記録してある分類色の内の上位所定数の分類色が抽出され、抽出された分類色の組み合わせに対応させて認識対象画像がグループ化され、グループ化された各認識対象画像について対応する分類色を各次元とする色空間における座標が特定され、特定された座標群がクラスタリングされて新たにクラスタが形成させる学習処理が再度行なわれる。なお、グループ化された時点で指定色の設定を受け付け、設定された指定色毎に座標を特定し、指定色毎の座標群を新たな指定色のクラスタとして形成してもよい。

本発明では更に、新たにクラスタが形成された場合は、当該クラスタの指定色の設定が受け付けられ、前記新たなクラスタは設定された指定色のクラスタとして形成される。

また本発明では、記録してある認識対象画像について新たにクラスタが形成される前記学習処理が再度行なわれる際、グループ化された時点で各グループに対して指定色の設定が受け付けられる。設定された指定色毎に、グループ化された認識対象画像夫々について、分類色の比率に基づき色空間における座標が特定される。指定色毎に特定された座標の集合がクラスタリングされ、新たに指定色のクラスタとして形成される。

（学習）
本発明による場合、撮像画像における撮像条件によって黒み、赤み、白み等が強まることによって影響される処理対象領域の色分布を、撮像条件に対応してクラスタリングすることが可能になる。例えば単なる「赤」に加えて、「黒みがかった赤」、「白みがかった赤」など、撮像画像の撮像条件の影響を受けた新たな色に類別することができる。また、分類色を追加することにより、新たなクラスタに分離されることも期待でき、これにより新たな色に類別することもできる。このように撮像条件に対応して類別された色の色分布と、認識する画像の色分布とを比較することにより、撮像条件の影響を受けた事実に基づき、撮像画像の色バランス、明度等の修正を行なうことなしに撮像条件の影響を含めた色の認識を行なうことができる。これにより、誤認識を低減させ、精度良く色認識を行なうことも可能になる。

また、本発明による場合、撮像条件が異なる場合であっても事前に指定色が与えられ、指定色と分類色の比率との関係がクラスタリングにより学習されるので、認識対象領域の処理対象領域の分類色の比率に基づいて、対応する指定色を選択することにより撮像条件に対応した色を認識することができる。つまり、撮像画像の撮像条件によって異なる処理対象領域の分類色の色分布により、例えば黒み、赤み、白みが強くそれらの比率が高いものであっても与えられた指定色と認識すべきことを学習することができ、撮像条件に影響される色を精度良く認識することができる。

更に、三色の分類色で色空間を定義することにより、処理対象領域の色を複数の色の比率によって詳細に類別することができ、認識するに際しても、複数の分類色の比率に基づいて精度良く認識することができる。更に、二色又は四色の分類色で色空間を定義する場合よりも、認識の成功率の向上が期待される。

また本発明による場合、各色空間における各クラスタに指定色以外のその他の色のクラスタが形成される。これにより、認識の際に、処理対象領域に対応する座標がより多くの色空間でその他のクラスタに属するとして判定された場合は、認識色の判定を不明とすること又は判定を保留することも可能である。また、ある色空間においてその色空間に存在するある指定色のクラスタに属さず、その他のクラスタに属すると判定されることにより、その指定色は選択されないよう消去法で認識色を判定することも可能になり、既に与えられている指定色から無理に選択して判定を行なうことなしに、適切に色認識を行なうことができる。

（認識）
本発明による場合、認識対象画像の処理対象領域の色分布がいずれの指定色のクラスタの色分布と類似しているか、色分布に対応する座標と各クラスタの重心との距離に基づいて判定される。複数の色空間夫々について、各クラスタ夫々との距離を算出することにより、より精度良く認識色を判定することができる。

本発明による場合、認識対象画像についての色認識の際、各色空間毎に特定したクラスタに対応する複数の指定色の頻度又は内容に応じて指定色の内から色を選択して認識色とする。これにより、複数のクラスタが特定された場合でも第１の基準により適切に指定色から色を選択することができ、特定されたクラスタの指定色の内で無彩色の頻度が高いとしても頻度の少ない有彩色を優先する第２の基準により適切に制定色を選択することができる。更に、特定されたクラスタの指定色が他の色である場合は、第３の基準により、そのクラスタについては無視して他のクラス他の指定色の内から色を選択することができる。このように、多様な条件に基づいて精度良く色を認識することができるだけでなく、第４の基準により、他の色に対応するクラスタに属すると判定される頻度が高い等、各色空間におけるいずれのクラスタに属するかが不明瞭な場合は、与えられている指定色の中から無理に選択するのではなく「不明」とすることで、不適切な色を認識色として選択することなしに結果的に認識率を高めることができる。更に、不明な認識色となった認識対象画像の処理対象領域については新たな色として認識すべきである可能性があることを正しく認識することができる。

また、距離をマハラノビス距離で算出することにより、各クラスタを構成する学習用の画像の分類色の比率の分布のばらつきが考慮され、比率の分布に偏りがない指定色のクラスタの重心との距離はより長く算出され、精度良く認識を行なうことができる

（再学習）
本発明による場合、認識対象画像の処理対象領域の色分布に対応する座標が、いずれのクラスタに属するかが不明瞭な場合は、当該処理対象領域の色を新たな色として認識すべきである可能性があることから、算出された分類色の比率と共に記録に残される。これにより、記録されている認識対象画像について算出された分類色の比率と新たな色との関係をその後に学習することにより、新たな色を認識することが可能になる。

本発明による場合、特定されたクラスタの重心との最短距離でさえ所定値以上であって離れている等の条件により、いずれのクラスタに属するか不明瞭な座標に対応する認識対象画像については、再度その認識対象画像の処理対象領域の色分布に基づいてクラスタを形成する学習処理を行なう。これにより、適切に指定色を選択することができなかった場合でも、再度の学習を経て対応することができる。特に、本発明では、抽出された分類色の組み合わせに対応する複数の色空間が定義されており、新たな分類色の組み合わせに応じた新たな色空間を定義することもできる。また、多様な分類色の組み合わせに応じた複数の色空間が定義されるので、クラスタの数が増えた場合であっても新たな色に対応するクラスタを形成することができ、既存の色空間及び既存のクラスタに加えて新たな指定色のクラスタを形成させることができる。つまり、指定色が増加したとしても既存の指定色について適切に色認識を行なうことができる。

また本発明による場合、新たな色として認識すべき可能性がある色の処理対象領域を含む認識対象画像について、再度クラスタリングを行なうことでクラスタが増加するとき、又は色空間が増加するときは、クラスタリングして新たなクラスタを形成した後、又は分類色の組み合わせによりグループ化した後に、新たな指定色の設定を促すよう、対応する分類色の組み合わせ及び該分類色の比率を出力し、指定色の設定を受け付けることもできる。これにより、新たな指定色に対応するクラスタを形成して再学習することができ、その後新たな色を認識することもできる。

本発明に係る色類別方法及び認識方法は、色類別装置、色認識装置、両者を含む色認識システム、色認識装置のためのプログラムとしても把握することができる。これら前記の発明の概要は、本発明に必須となる特徴を列挙したものではなく、これら複数の特徴のサブコンビネーションも発明となり得る。

本発明に係る色認識方法の概要を模式的に示す説明図である。 実施の形態１における撮影環境の説明図である。 実施の形態１におけるシステム構成図である。 実施の形態１における色認識装置のハードウェア構成図である。 実施の形態１における色認識装置の機能ブロック図である。 実施の形態１における各色空間に形成された各クラスタのイメージ図である。 実施の形態１における各色空間に形成された各クラスタのイメージ図である。 実施の形態１における各色空間に形成された各クラスタのイメージ図である。 実施の形態１における各色空間に形成された各クラスタのイメージ図である。 実施の形態１における各色空間に形成された各クラスタのイメージ図である。 実施の形態１における各色空間に形成された各クラスタのイメージ図である。 実施の形態１における色認識装置のＣＰＵが色認識を行なう際の判定基準の内容例を示す説明図である。 実施の形態１における色認識装置のＣＰＵによる学習の処理手順を示すフローチャートである。 実施の形態１における色認識装置のＣＰＵによる認識の処理手順を示すフローチャートである。 実施の形態１における色認識装置のＣＰＵによって再学習用情報が記録される処理手順を示すフローチャートである。 実施の形態１における色認識装置のＣＰＵによって行なわれる再学習の処理手順を示すフローチャートである。 実施の形態１における色認識方法を実施する際の分類色の内容例を示す説明図である。 実施の形態１における色認識方法を実施する際の、処理対象領域に含まれる画素の分類色の比率の内容例を示す説明図である。 実施の形態１における色認識方法を実施する際の、学習用撮像画像と夫々の処理対象領域に含まれる画素の分類色の比率との内容例を示す説明図である。 実施の形態１における色認識方法を実施する際の、学習用撮像画像と夫々の処理対象領域に含まれる画素の分類色の比率との内容例を示す説明図である。 実施の形態１における色認識方法を実施する際の、学習用撮像画像と夫々の処理対象領域に含まれる画素の分類色の比率との内容例を示す説明図である。 実施の形態１における色認識方法を実施する際の、各色空間の次元となる基準色の内容例を示す説明図である。 本発明の色認識方法におけるクラスタリング処理において、色認識装置のＣＰＵにより一の色空間で特定される各学習用撮像画像の座標の内容例を示す説明図である。 本発明の色認識方法におけるクラスタリング処理により、各色空間に形成される各クラスタと各クラスタの重心座標との内容例を示す説明図である。 本発明の色認識方法における認識処理において認識対象画像の処理対象領域に含まれる画素の分類色の比率の内容例を示す説明図である。 本発明の色認識方法における認識処理において認識対象画像の分類色の比率に基づき各空間での最短距離のクラスタが特定される例を示す説明図である。 本発明の色認識方法における認識処理で認識対象画像に対応する各最短距離のクラスタから認識色が選択される例を示す説明図である。 本発明の色認識方法の認識結果を示す説明図である。 本発明の色認識方法で記録される再学習用情報の内容例を示す説明図である。 本発明の色認識方法で再学習の処理で出力される認識対象画像と対応するユーザ指定色の入力又は選択とを受け付けるために表示される画面例の説明図である。 本発明の色認識方法における再学習の処理により新たな指定色に対応して形成されるクラスタのイメージ図である。 実施の形態２における色認識システムの構成を示すブロック図である。 実施の形態２における色認識装置及び学習装置の機能ブロック図である。 実施の形態２における学習装置のＣＰＵによる学習の処理手順の一例を示すフローチャートである。 実施の形態２における学習装置のＣＰＵによる学習の処理手順の一例を示すフローチャートである。 本発明の色認識方法で学習の処理で、ユーザ指定色の入力又は選択を受け付けるために出力される画面例の説明図である。 実施の形態２における色認識装置のＣＰＵによる認識の処理手順の一例を示すフローチャートである。 実施の形態２における学習装置のＣＰＵによって行なわれる再学習の処理手順の一例を示すフローチャートである。 実施の形態２における学習装置のＣＰＵによって行なわれる再学習の処理手順の一例を示すフローチャートである。

符号の説明

１０ 撮像装置
２００，４００ 色認識装置
２１０，４１０，５１０ ＣＰＵ（プロセッサ）
２１１ 入力手段
２１２ 画像切出手段
２１３ 色分類手段
２１４ 正規化手段
２１５ クラスタリング手段
２１６ 距離算出手段
２１７ 認識結果判定手段
２１８ 出力手段
２１９ 学習未済データ抽出手段
２２０，４２０，５２０ メモリ
２３０，４３０，５３０ ハードディスク（ＨＤ）
２３１ クラスタ情報
２３２ 距離情報
２３３ 認識色情報
２３４ 再学習用情報
２３５ 判定基準
２４０，５４０ ディスプレイ
２８０，５８０ ＣＤ−ＲＯＭドライブ
２８１，５８１，５８２ 記録媒体
２Ｐ，４Ｐ 色認識プログラム
５Ｐ 学習プログラム
３０ 管理コンピュータ
５００ 学習装置（類別装置）

以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。なお、本発明は多くの異なる形態で実施可能である。したがって、本実施形態の記載内容のみで解釈すべきではない。また、実施の形態１及び２の全体を通して同じ要素には同じ符号を付している。

図１は、本発明に係る色認識方法の概要を模式的に示す説明図である。図１の説明図には、学習用の撮像画像から処理対象領域に含まれる画素の色の比率を対象としてクラスタリングすることにより形成されるクラスタを示し、クラスタリングの際に使用される撮像画像と、その画像の処理対象領域の色と、画素の色の比率とのデータを表で示している。クラスタの形成は、例えば三つの色を各次元とし、各色の比率を次元方向に有する色空間に対し、各撮像画像の色の比率に対応する座標群をクラスタリングすることにより行なわれる。各クラスタと画像の処理対象領域の色とを対応付けておくことにより、処理対象領域の色が色分布に基づいて類別される。

図１の説明図には、黒、白、赤を各次元とする色空間における、各画像の処理対象領域の色の比率に対応する座標の集合がクラスタを形成している例が示されている。黒いと認識される画像に対応する座標の集合により黒の軸近辺に黒のクラスタが形成され、赤と認識される画像に対応する座標の集合により赤の軸近辺に赤のクラスタが形成され、同様に、白いと認識される画像に対応する座標の集合により白の軸近辺に白のクラスタが形成されている。また、黒、白、赤を各次元とする色空間においては、黒、白、赤の要素が少ないシルバー、青又は黄と認識される画像に対応する座標の集合は、夫々分離せずに原点近辺に集中し、「その他」の色のクラスタとして統合されて形成される。

また、図１の説明図の例では、色を認識する対象となる画像の処理対象領域と、その処理対象領域に含まれる画素の色の比率との内容例が示されている。図１の説明図では、認識対象画像の処理対象領域に対応する座標、例えば黒、白、赤を各次元とする色空間における座標Ｘが特定され、座標Ｘと各クラスタの重心との距離を求められ、距離が最短であるクラスタの色、即ち図１の説明図では「白」を認識色とすることにより色を認識することができる。

このように、学習用の撮像画像に夫々対応する色をクラスタに分離することにより類別しておき、色認識を実行する際は認識対象となる画像の処理対象領域の色の比率から特定される色空間における座標と、各色に対応するクラスタの重心との距離を算出し、基本的には距離が最短であるクラスタに対応する色を認識色として色を認識する。本発明では、図１の説明図に示したような色認識方法で色を認識し、これにより撮像条件による影響を受けずに正確に色認識をすることができる。

図１の説明図の例に示したような本発明の色認識方法を実施するために必要なハードウェア等のシステム構成、具体的な処理、及び具体例について、実施の形態１及び２を例示することにより説明する。なお、本発明に係る色認識方法では、上述のように事前に学習用の撮像画像を用い、撮像画像中の処理対象領域の色を色分布に基づいて類別しておき、その情報を記憶しておく学習処理が必要である。また、本発明に係る色認識方法では、認識を行なった際に、色の判定が不明であった認識対象画像については集計してそれらに基づき再度色を類別することにより再学習が可能である。そこで、実施の形態１及び２では、個々の説明において学習処理、認識処理及び再学習処理に分けて説明する。

なお、以下に説明する実施の形態１及び２では、主にシステムについて説明するが、所謂当業者であれば明らかな通り、本発明はコンピュータで使用可能なプログラム及び方法としても実施できる。また、本発明は、ハードウェア、ソフトウェア、または、ソフトウェア及びハードウェアの実施形態で実施可能である。プログラムは、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、光記憶装置または磁気記憶装置等の任意のコンピュータ可読媒体に記録できる。さらに、プログラムはネットワークを介した他のコンピュータに記録することができる。

（実施の形態１）
［１．システム構成］
図２は、実施の形態１における撮影環境の説明図である。実施の形態１では、商業施設内に敷設された道路脇に撮像装置１０が配置され、商業施設管理室内に色認識装置２００が配置されている。商業施設内の複数出入口に夫々配置された撮像装置１０により撮影された撮影画像は、撮像装置１０と色認識装置２００とを結ぶ通信路を介して色認識装置２００に送信され、色認識装置２００は受信した認識対象の撮影画像を分析して撮影画像に写り込んでいる車両の色を認識して出力する。管理者が操作する管理コンピュータ３０で出力された車両色を集計する。このようにして管理コンピュータ３０で集計された車両色はマーケッティング等で使用されてもよい。なお、撮像装置１０は商業施設内の複数出入口に配置され、商業施設内に入場してくる車両を対象として撮影を行っている。

図３は、実施の形態１におけるシステム構成図であり、図４は、色認識装置２００のハードウェア構成図である。色認識装置２００のハードウェアの構成は、パーソナルコンピュータの構成であり、ＣＰＵ（Central Processing Unit）２１０と、ＤＲＡＭ（Dynamic Random Access Memory）等のメモリ２２０と、外部記憶装置であるハードディスク（以下ＨＤ（Hard Disk）という）２３０と、表示装置であるディスプレイ２４０と、入力装置であるキーボード２５０及びマウス２６０と、ネットワークに接続するための拡張カードであるＬＡＮカード２７０と、ＣＤ−ＲＯＭ（ＤＶＤ（Digital Versatile Disk））ドライブ２８０と、スピーカと接続するサウンドカード２９０とを含む。キーボード２５０及びマウス２６０は、入出力インタフェース２５１を介してＣＰＵ２１０と接続している。

色認識装置２００は、ＣＤ−ＲＯＭ、ＤＶＤ等の記録媒体２８１に格納された色認識プログラム２Ｐ、又はネットワークを介して他のコンピュータから送信される色認識プログラム２Ｐを、コンピュータのＨＤ２３０に複製しメモリ２２０に適切に読み出し可能な状態にするインストールが実行され、一般のコンピュータが色認識装置２００を構成している。なお、一般のコンピュータではなく色認識処理に特化したハードウェアを用いて色認識装置２００を構成することもできる。具体的には、色認識装置２００上のロジックをＡＳＩＣ（Application Specific IC）で実装し、メモリ等の複数のＬＳＩと共にシステムＬＳＩで色認識装置を構成することもできる。管理コンピュータ３０もハードウェアの構成は、色認識装置２００と同様に、一般のコンピュータの構成である。ここで、色認識装置２００と管理コンピュータ３０とを同一のコンピュータ上に構築することもできる。

図５は、実施の形態１における色認識装置２００の機能ブロック図である。色認識装置２００のＣＰＵ２１０はＨＤ２３０から色認識プログラム２Ｐをメモリ２２０に適切に読み出すことにより、入力手段２１１、対象領域判別手段２１２、色分類手段２１３、正規化手段２１４、クラスタリング手段２１５、距離算出手段２１６、認識結果判定手段２１７、出力手段２１８及び学習未済データ抽出手段２１９として機能する。また、ＣＰＵ２１０が各手段として機能することによりＨＤ２３０にクラスタ情報２３１、距離情報２３２、認識色情報２３３及び再学習用情報２３４が記憶される。ＨＤ２３０には、色を認識する際の基準となる判定基準２３５が記憶されている。

入力手段２１１は撮像装置１０及び管理コンピュータ３０からデータを取り込む機能を有する。撮像装置１０からはこの撮像装置１０が撮像した撮像画像を取り込み、管理コンピュータ３０からは管理コンピュータ３０が有する撮像画像と、該撮像画像に対して管理コンピュータ３０のオペレータであるユーザが入力したユーザ指定色とを受け付ける。撮像装置１０から色認識装置２００に取り込まれる撮像画像は認識対象画像であり、同じ撮像装置１０によって撮像された画像でも、管理コンピュータ３０を介して指定色と共に色認識装置２００に受け付けられる撮像画像は色を類別するための学習用撮像画像である。

対象領域判別手段２１２は撮像画像中に写り込んでいる処理対象物の該当領域（処理対象領域）を判別する機能を有する。ここで、撮像画像中の所定の対象物の処理対象領域域を判別する機能は既に画像処理の分野で公知技術となっているため、説明は省略する。一般的には、セグメンテーションとも呼ばれ、領域分割手法、エッジ検出手法等を用いることができる。以下に説明する実施の形態１における処理対象領域は、車両のボンネット部分である。

色分類手段２１３は処理対象領域に含まれる各画素の色を予め決められた所定の分類色に分類する機能を有する。実施の形態１においては、後述するようにユーザ指定色と分類色が同一とするが、異なっていてもよい。画素の色は前もって少なくとも色分類手段２１３による処理が始まる前にＲＧＢ表色系からＨＳＩ表色系へ変換し、変換後の各画素の色から色分類手段２１３によって分類色に分類することが望ましく、ＲＧＢ表色系のままで色分類する場合と比べＨＳＩ表色系で色分類する方が正確に色分類することができる。

正規化手段２１４は複数の処理対象領域に対する色分類結果を各処理対象領域に含まれる画素数に依存することなく使用できるように正規化する機能を有する。実施の形態１では、処理対象領域に含まれる各分類色の画素数の比率を求める。具体的には、各分類色の画素数を処理対象領域に含まれる画素数（切り出された領域の画素数）で除算して求める。

クラスタリング手段２１５は処理対象領域毎の分類色の画素数の比率を対象データとしてクラスタリングする機能を有する。つまり、特徴空間中で距離が近いデータ（座標の集合）をまとめてグループ化する。特徴空間は分類色を各次元とし、分類色の画素数の比率を次元方向に有する色空間である。ここで、色空間は分類色数の次元数を有する多次元空間となるが、実施の形態１では次元数を３として各色空間を定義する。各色空間の座標軸は、学習時における処理対象画像の分類色の画素数又は比率が上位三色の分類色とする。したがって、上位三色の分類色が同一の分類色の３次元空間は同一空間となる。また、クラスタリングにはｋ−ｍｅａｎｓ法を用いるが（ｋ−ｍｅａｎｓ法について詳細は後説）、各色空間におけるクラスタ数は、始めはこの各次元に対応する３つの分類色とその他の色を含めて計４つとする。ただし、各色空間におけるクラスタ数は、４つに限定されるのではなく、他の数でもよいし、後説する再学習時には増加することもある。

図６乃至図１１は、実施の形態１における各色空間に形成された各クラスタのイメージ図である。図６は、分類色の内の黒、白、シルバーの無彩色を各次元とする色空間である。また、図６のイメージ図には、処理対象画像の分類色の比率における黒の比率が高い座標の集合である黒クラスタ、白の比率が高い白クラスタ、シルバーの比率が高いシルバークラスタが形成されていることが示されている。また、白、黒、シルバーの比率に特に偏りのない色分布を持つ処理対象画像に対応する座標群により「その他」クラスタが形成されていることが示されている。

図７には、分類色の内の黒、白、黄色を各次元とする色空間に、黒クラスタ、白クラスタ、黄色クラスタ及び「その他」クラスタの４つが形成されていることが示されている。図８には、黒、シルバー、青を各次元とする色空間に、黒、シルバー、青及び「その他」のクラスタが形成されていること、図９には、黒、白、赤を各次元とする色空間に、黒、白、赤及び「その他」のクラスタが形成されていること、図１０には、黒、シルバー、緑を各次元とする色空間に、黒、シルバー、緑及び「その他」のクラスタが形成されていること、図１１には、黒、シルバー、紫を各次元とする色空間に、黒、シルバー、紫及び「その他」のクラスタが形成されていることが示されている。

図５に戻って説明を続ける。図５に示すように、上述のようなクラスタリングによって得られた情報は、クラスタ情報２３１としてＨＤ２３０に記録される。これにより一旦学習処理は終了し、クラスタ情報２３１を利用して認識処理が行なわれる。クラスタ情報２３１は汎用的に使用できるものである。具体的には、例えば、クラスタ情報２３１は、定義された夫々の色空間を識別する色空間識別情報、各色空間に形成されるクラスタを識別するクラスタ識別情報、クラスタに対応する指定色、及びクラスタの重心の各属性（フィールド）を含む。他に、後述のマハラノビス距離の計算時に必要な情報（分散・共分散行列）もフィールド値として有していることが望ましい。

距離算出手段２１６は色認識対象である認識対象画像の分類色の画素数の比率に対応する各色空間における座標と、各色空間中に形成されている各クラスタの重心との距離をマハラノビス距離に基づいて求める（マハラノビス距離について詳細は後説）。そして、色空間毎に対応する座標との距離が最短距離であるクラスタを特定し、その距離を求める。ここで求めた情報を距離情報２３２としてＨＤ２３０に記録する。ただし、ユークリッド距離に基づいて求めたとしても認識率の差は生じるものの色認識を行なうことができる。距離情報２３２は、例えば、色空間識別情報、クラスタ識別情報、及び最短距離の属性（フィールド）を含む。

ここで、ＨＤ２３０には、再学習（後述）時の処理に必要となる情報、及び有していると望ましい情報として、認識対象画像の識別情報、分類色の比率、及び認識対象画像を別途記録しておくことが望ましい。分類色の比率を記録しているのは再学習時に再度分類色の比率を計算する手間を回避するためである。勿論、記録している認識対象画像から再度分類色の比率まで算出する構成であってもよい。また、撮像画像（特に、認識対象画像）は、再学習時にユーザからのユーザ指定色の入力又は選択を受け付ける場合において、ユーザが色を決める際に撮像画像を表示するために用いる。

認識結果判定手段２１７は、求められた色空間毎に特定された最短距離のクラスタに基づき、所定の判定基準（実施の形態１ではＨＤ２３０に記憶されている判定基準２３５）により色認識を行なう。色認識された認識色は認識色情報２３３としてＨＤ２３０に記録される。たとえば、認識色情報２３３は、撮像画像識別情報及び認識色の属性（フィールド）を含む。

図１２は、実施の形態１における色認識装置２００のＣＰＵ２１０が色認識を行なう際の判定基準２３５の内容例を示す説明図である。図１２の説明図に示すような判定基準２３５はＨＤ２３０に記憶されているが、色認識プログラム２Ｐに組み込まれている構成でもよい。ＣＰＵ２１０は判定基準２３５に従って色判定を行なうようにしてある。

図１２の内容例の判定基準２３５には、まず、色空間毎の最短距離のクラスタに対応する色の内、「その他」の色が多い場合の判定を優先的に行なうことが基準として示されている。第１に、色空間毎の最短距離のクラスタに対応する色が全て「その他」の色であるか否かを判定し、全て「その他」の色である場合には色認識結果を「不明」とするという基準が示されている。即ち、図６乃至図１１に示した６つの色空間毎に４つのクラスタの内の最短距離のクラスタが特定され、特定された６つのクラスタが全て「その他」クラスタである場合は、認識色を「不明」とする。

第２に、一の色空間以外の色空間における最短距離のクラスタに対応する色が「その他」であるか否かを判定し、一の色空間以外で最短距離のクラスタに対応する色が「その他」である場合には「その他」クラスタを無視し、「その他」クラスタ以外のクラスタに対応する色を認識色とするという基準が示されている。例えば、６つの色空間毎に特定された６つの最短距離のクラスタの内の５つが「その他」クラスタであり、一のクラスタが「赤」クラスタである場合は、認識色を「赤」とする。

第１及び第２の基準に適合しない場合は、第３に、各クラスタの最短距離の内の最も最短の距離であるクラスタであって、且つその最短距離が所定値以下であるクラスタに対応する色を認識色とする基準が示されている。即ち例えば６つの色空間毎に特定された６つの最短距離のクラスタの内、一の色空間における「赤」クラスタが最も距離が短いクラスタである場合は、認識色を「赤」とする。

第４に、第３の基準により最も最短の距離のクラスタに対応する色が無彩色（例えば、黒、白、シルバー、グレー）である場合であって他の最短距離のクラスタに対応する色が有彩色である場合、且つその有彩色のクラスタの最短距離が所定値以下であるときは、認識色をその有彩色とする基準が示されている。即ち、６つの色空間毎に特定された６つの最短距離のクラスタが、「黒」「黒」「その他」「その他」「赤」「赤」であり、最も最短の距離のクラスタが無彩色である「黒」クラスタであっても、いずれかの「赤」クラスタの最短距離が所定値以下である場合は、認識色を「赤」とする。

第５に、色空間毎の最短距離のクラスタ夫々に対応する色の内、最も頻度（度数）の高い色を認識色とする基準が示されている。例えば、６つの色空間毎に特定された６つの最短距離のクラスタが、「黒」「白」「その他」「赤」「白」「その他」である場合、「その他」クラスタは無視して最も多く出現している色を優先的に認識色とするので、この場合認識色を「白」とする。

なお、判定基準２３５に含まれる各基準には図１２及び上述に示したように、第１から第５へ順に優先順位が付けられている。従って、第１及び第２の基準に当てはまる場合でも第１の基準が優先されて色が認識される。判定基準２３５の内容については、設計事項により多様な条件を使用することが可能である。

図５に再度戻って各機能の説明を続ける。図５に示すように、出力手段２１８は管理コンピュータ３０にデータを送出する機能を有する。

学習未済データ抽出手段２１９は、距離情報２３２及び認識色情報２３３（又は別途記録されている認識対象画像の識別情報、分類色の比率、及び認識対象画像）に基づき、認識色の色空間の最も距離が最短であるクラスタとの距離が所定値以上である撮像画像を抽出する機能を有する。ただし、認識色の色空間だけではなく全ての色空間の中で最も距離が近いクラスタとの距離が所定値以上である撮像画像を抽出する構成とすることもできる。また、図１２の説明図に示した判定基準２３５の内の第１の基準により、認識色が「不明」とされた場合の認識対象画像も抽出する。なお、学習未済データ抽出手段２１９により抽出された認識対象画像については再学習用情報２３４としてＨＤ２３０に記録してもよい。

学習未済データ抽出手段２１９の起動のトリガは、ユーザによる管理コンピュータ３０を介した起動命令でもよいし、所定時間間隔で起動してもよい。また、ＣＰＵ２１０が距離情報２３２及び認識色情報２３３に基づき、認識色の色空間の最も距離が近いクラスタとの距離が所定値以上である撮像画像を抽出する処理までを行い、抽出した撮像画像の数が所定数以上となった場合に後続の処理を続行する構成であってもよい。

上述のように構成される色認識装置２００のＣＰＵ２１０が、クラスタリング手段２１５として機能することにより実行される前述のクラスタリングについて、その内容の詳細を説明する。

［２．Ｋ−ｍｅａｎｓ法］
クラスタリングとは、ある特徴を有するデータを特徴空間中に対応させ、特徴空間中でその特徴が似ているデータを空間中の距離を用いてグループ化するための手法のことである。クラスタリングの手法には主に階層的手法と非階層的手法がある。階層的手法は比較的分類結果が精度よく得られることが知られているが、最大Ｏ（Ｎ³ ）の計算時間が必要となるため、分類対象が少ない場合に適している。

非階層的手法の代表例にＫ−Ｍｅａｎｓ法がある。この手法は分割したいデータ群を指定された数のクラスタに分割するため、任意のデータをクラスタの仮の重心として選出する。クラスタの数だけ選出されたデータをシードとよぶ。シードをクラスタの重心とし、データの分類を行う。最初の分割が終わったら重心を再度求め、データの分類を行う。これを分割結果が最適になるまで複数回繰返す。実施の形態１では、クラスタリング手法にＫ−Ｍｅａｎｓ法を用いる。Ｋ−Ｍｅａｎｓ法については「画像解析ハンドブック」P648-P657（東京大学出版会）に詳しい。次項以降でＫ−Ｍｅａｎｓ法の学習・認識を、学習フェーズと認識フェーズに分け、それぞれについて詳細を記述する。

［２．１ 学習フェーズ］
学習フェーズではまず、分類対象となる学習データを準備する。次に、Ｋ−Ｍｅａｎｓ法では実行時に分類したいクラスタ数が必要となるので、分類クラスタ数の決定を行う。学習データと分類クラスタ数を用いて、Ｋ−Ｍｅａｎｓ法を使用した学習を行う。学習により学習データが分類され、クラスタが生成される。各クラスタの重心と、各クラスタの分散共分散行列から、その逆行列を算出する。重心と逆行列が学習結果として出力される。学習結果（重心と分散共分散行列の逆行列）は認識フェーズで使用される。

≪１≫分類対象となる学習データの準備
≪２≫分類クラスタ数の決定
≪３≫Ｋ−Ｍｅａｎｓ法を使用した学習
≪４≫クラスタの重心、クラスタの分散共分散行列算出
≪５≫分散共分散行列の逆行列算出

※分散共分散行列の逆行列は、認識時の距離計算にマハノビス距離（後述）を使用する場合に必要となる。

学習フェーズでは２つの注意点がある。

＜I.初期状態に関して＞
Ｋ−Ｍｅａｎｓ法は初期状態（シード）がクラスタ生成結果に影響を与えることが知られており、通常は乱数を発生させて初期状態を決定している。しかし、予め別々のクラスタに分類されることが分かっているデータがある場合、その値を初期状態とすることも可能である。

＜II.学習方法に関して＞学習フェーズには以下の２つのパターンがある。

＜１＞Ｋ−Ｍｅａｎｓ法を使用してクラスタを生成するパターン
＜２＞クラスタを構成するデータが分かっているパターン

学習データがどのクラスタに属するか分からない場合は＜１＞のパターンを採用する。学習データが属するクラスタが予め分かっている場合や（学習済み）、各学習データの属するクラスタを指定したい場合は、＜２＞のパターンを採用する。この場合は、学習データと、学習データが属するクラスタ情報を準備する必要がある。

［２．２ 認識フェーズ］
認識フェーズでは認識対象となる認識データを準備する。学習フェーズの学習結果（逆行列、重心座標点）を読み込み、認識データがどのクラスタに分類されるか、距離計算を行なう。

≪１≫認識対象となる認識データの準備、
≪２≫学習結果（逆行列、重心座標点）の読み込み、
≪３≫距離計算、
≪４≫分類クラスタの計算

距離計算にはユークリッド距離、または、マハラノビス距離を使用する。どちらの計算方法を使用するかは実行時に選択できる。ユークリッド距離、マハラノビス距離の特徴と計算方法を以下に示す。

［２．２．１ ユークリッド距離］
ユークリッド空間における２点間の最短距離。ｎ次元空間の直角座標系における２点Ｐ，Ｑがあるとき、Ｐ、Ｑ間のユークリッド距離の２乗は式（３）で定義される。なお、Ｐの座標は式（１）で表わされ、Ｑの座標は式（２）で表わされる。

ユークリッド距離は、クラスタリングで使用する場合、特徴空間におけるクラスタリングの重心間距離や、また、分類におけるクラス間やクラスの重心とサンプルとの間の相違を計算する場合に使用される。

［２．２．２ マハラノビス距離］
クラスタと認識データとの距離尺度を求める。ｋ個の要素をもつクラスタの重心（平均）を以下に示す式（４）のように表わし、認識データに対応する座標を式（５）のように表わす。

またこのとき、各要素の分散共分散行列を式（６）のように表わしその逆行列を式（７）とすると、マハラノビス距離ｄ_j の２乗は式（８）で表わされる。

変数に相関がある場合、単純なユークリッド距離は適切な測度ではなくなるが、マハラノビス距離は相関も十分に考慮した結果となる。マハラノビス距離については「画像解析ハンドブック」P654（東京大学出版会）に詳しい。

［３．動作処理］
次に、上述のように構成される色認識装置２００のＣＰＵ２１０により実行される、学習処理、認識処理、及び再学習処理の各動作処理の処理手順についてフローチャートを用いて説明する。

［３．１ 学習］
図１３は、実施の形態１における色認識装置２００のＣＰＵ２１０による学習の処理手順を示すフローチャートである。管理コンピュータ３０には撮像装置１０から撮像画像が送信され、予めユーザは送信された撮像画像を視認してユーザ指定色に分類しておく。ユーザ指定色もユーザが決定することができる。これにより、管理コンピュータ３０にはユーザ指定色に分類された撮像画像が準備される。すなわち、撮像画像及びユーザ指定色のフィールドを有するデータが管理コンピュータ３０上に記録される。なお、実施の形態１では説明の便宜上、撮像画像に写りこみ、認識する対象を車体とし、この車体の色を認識する色認識装置としている。しかしながら、本発明はこれに限らず、撮像画像に写りこみ認識する対象は車両でなくてもよく、人、動物、風景であってもよいのは勿論である。

このユーザ指定色に分類された撮像画像を、例えばユーザの指示を受け、管理コンピュータ３０が色認識装置２００へ送信する。色認識装置２００のＣＰＵ２１０は、ユーザ指定色で分類された撮像画像を受信し（ステップＳ１０１）、入力手段２１１の機能により、１画像ずつ撮像画像を学習用撮像画像として取り込む（ステップＳ１０２）。

色認識装置２００のＣＰＵ２１０は、対象領域判別手段２１２の機能により、撮像画像中の処理対象領域として、認識対象である車両のボンネット領域を判別する（ステップＳ１０３）。なお、判別されたボンネット領域の下半分の領域を以降の処理対象とすることが望ましく、これにより、順光によりボンネットの色が白くとんでしまう現象が生じていたとしても、その影響を回避することができる。勿論、ＣＰＵ２１０は、対象領域判別手段２１２の機能によりボンネット領域の下半分のみを判別する構成であってもよい。

色認識装置２００のＣＰＵ２１０は、色分類手段２１３として機能することにより、学習用撮像画像の処理対象領域の各画素の色を所定の分類色に分類する（ステップＳ１０４）。ここで、少なくともステップＳ１０４の処理以前に、ＲＧＢ表色系からＨＳＩ表色系に変換することが望ましい。たとえば、ステップＳ１０２とステップＳ１０３との間で変換を行なう。また、ＣＰＵ２１０は、正規化手段２１４の機能により、学習用撮像画像の処理対象領域の各分類色の画素数を処理対象領域に含まれる画素数で除算し、分類色の比率を算出する（ステップＳ１０５）。なお、処理対象領域に含まれる画素数で除算されていることにより、算出された分類色の比率は処理対象領域の面積（画素数）に応じて正規化された比率である。

色認識装置２００のＣＰＵ２１０は、ステップＳ１０２により取り込んだ学習用撮像画像がステップＳ１０１で受信した撮像画像の内の最後の撮像画像を取り込んだ学習用撮像画像であるか否かを判断し（ステップＳ１０６）、最後の学習用撮像画像であると判断した場合（Ｓ１０６：ＹＥＳ）、次のステップＳ１０７に進む。色認識装置２００のＣＰＵ２１０は、最後の学習用撮像画像でないと判断した場合（Ｓ１０６：ＮＯ）、ステップＳ１０２へ処理を戻し、次の学習用撮像画像の処理に移行する。ここまでの処理により、ステップＳ１０７に進む直前まで、全ての学習用撮像画像に対する分類色の比率が算出される。

色認識装置２００のＣＰＵ２１０は、全ての学習用撮像画像について、指定色毎に、各学習用撮像画像に対して算出された分類色の比率に基づき、比率が上位所定数である分類色を抽出する（ステップＳ１０７）。このときＣＰＵ２１０は、上位三色の分類色を抽出する構成とする。色認識装置２００のＣＰＵ２１０は、各学習用撮像画像に対して共に抽出された分類色を各次元とする色空間を定義する（ステップＳ１０８）。これにより、図６乃至図１１に示したような各色空間が定義される。

色認識装置２００のＣＰＵ２１０は、クラスタリング手段２１５の機能により、ユーザ指定色毎に、当該ユーザ指定色が与えられている学習用撮像画像の処理対象領域の分類色の比率に基づき、定義された色空間の内の一の色空間に対してクラスタリングを実行する（ステップＳ１０９）。

なお、複数のユーザ指定色に対応するクラスタが同一色空間にある場合（つまり、ユーザ指定色の撮像画像の処理対象領域の各分類色の比率の上位三色が同じ組み合せのユーザ指定色）には、その分ここでの処理は少なくなる。実施の形態１でも、具体的に示しているユーザ指定色、例えば、白、黒、シルバー、赤、黄色、緑、青、紫の内の、白、黒及びシルバーのクラスタは同じ基準色の色空間にあり、ユーザ指定色が８色に比して６回のクラスタリングの処理となる。

また、ＣＰＵ２１０は、クラスタリング手段２１５の機能により形成されたクラスタとユーザ指定色とを関連付ける。具体的には、形成したクラスタに対応する学習用撮像画像に与えられているユーザ指定色から関連付けを実行する。通常であれば一のクラスタに属する撮像画像に対応するユーザ指定色は一色である。このような学習処理により、図６乃至図１１に示したような各色空間における各クラスタが夫々形成され、学習用撮像画像の処理対象領域の色が類別される。

色認識装置２００のＣＰＵ２１０は、クラスタリングを実行した色空間が全色空間の内の最後の色空間であるか否かを判断し（ステップＳ１１０）、最後の色空間でないと判断した場合（Ｓ１１０：ＮＯ）、ステップＳ１０９へ処理を戻して次の色空間についての処理に移行する。一方、色認識装置２００のＣＰＵ２１０は、最後の色空間であると判断した場合（Ｓ１１０：ＹＥＳ）、学習処理を終了する。

［３．２ 認識］
上述のように学習処理を実行した色認識装置２００に対し、撮像装置１０で撮像された認識対象画像が取り込まれた際の認識処理について説明する。図１４は、実施の形態１における色認識装置２００のＣＰＵ２１０による認識の処理手順を示すフローチャートである。

色認識装置２００のＣＰＵ２１０は、入力手段２１１の機能により、認識すべき認識対象画像を取り込む（ステップＳ２０１）。

この撮像画像は、撮像装置１０により順次色認識装置２００へ送信され、色認識装置２００のＣＰＵ２１０により、送信される各認識対象画像を取り込む都度、ステップＳ２０１乃至ステップ２０７の処理が実行される。ステップＳ２０２、ステップＳ２０３及びステップＳ２０４は夫々、［３．１ 学習］における図１３のフローチャートに示したステップＳ１０３、ステップＳ１０４及びステップ１０５と同様の処理であるため詳細な説明を省略する。

色認識装置２００のＣＰＵ２１０は、距離算出手段２１６の機能により、取り込まれた認識対象画像の処理対象領域の分類色の比率に基づき、図６乃至図１１に示したような各色空間の内の一の色空間における座標を特定し（ステップＳ２０５）、特定された座標と、当該一の色空間に形成されている各クラスタの重心との距離を算出する（ステップＳ２０６）。色認識装置２００のＣＰＵ２１０は、ステップＳ２０６で算出した距離の内の最短距離と、その最短距離のクラスタに対応する色とをメモリ２２０に記憶する（ステップＳ２０７）。ステップＳ２０５からステップＳ２０７までの処理により、色空間毎に、各色空間に形成されている各クラスタとの距離が算出され、各クラスタの内の距離が最短距離であるクラスタと、その距離とが特定される。

色認識装置２００のＣＰＵ２１０は、現在処理を行なっている色空間が最後の色空間であるか否かを判断し（ステップＳ２０８）、最後の色空間であると判断した場合（Ｓ２０８：ＹＥＳ）、処理を次のステップ２０９へ進める。一方、色認識装置２００のＣＰＵ２１０は、最後の色空間でないと判断した場合（Ｓ２０８：ＮＯ）、処理をステップＳ２０５へ戻して、次の色空間を対象とした処理に移行する。

次に、色認識装置２００のＣＰＵ２１０は、認識結果判定手段２１７の機能により、記図１２に示したような判定基準２３５の観点に立って色空間毎に算出されて記憶してある最短距離及びそのクラスタに対応する色から認識結果を判定し（ステップ２０９）、処理を終了する。

図１４のフローチャートに示した認識処理により、学習処理により形成されたクラスタに対応して類別されていた色の内のいずれかから色を選択して色を認識することができる。

なお、ステップＳ２０９の処理において、後述する再学習のための再学習用情報２３４を記録する処理を含んでもよい。即ち、所定のトリガによって起動する学習未済データ抽出手段により、まとめて抽出して記録してもよいが、認識処理中に抽出して記録してもよい。図１５は、実施の形態１における色認識装置２００のＣＰＵ２１０によって再学習用情報２３４が記録される処理手順を示すフローチャートである。本実施の形態１においては、図１５のフローチャートに示す処理は、図１４のフローチャートに示した処理手順の内のステップＳ２０９の処理中に行なう構成とする。

色認識装置２００のＣＰＵ２１０は、前記ステップＳ２０７の処理によって色空間毎に算出されて記憶してある各クラスタとの最短距離の内の最も最短である距離が所定値以上であるか否かを判断する（ステップＳ４１）。色認識装置２００のＣＰＵ２１０は、最も最短である距離が所定値未満であると判断した場合（Ｓ４１：ＮＯ）、処理を次のステップＳ４２に進める。一方、色認識装置２００のＣＰＵ２１０は、最も最短である距離が所定以上であると判断した場合（Ｓ４１：ＹＥＳ）、当該認識対象画像と、ステップＳ２０４により算出した分類色の比率とを再学習用情報２３４としてＨＤ２３０に記録する（ステップＳ４３）。

色認識装置２００のＣＰＵ２１０は、ステップＳ４１において最も最短である距離が所定値未満であると判断した場合（Ｓ４１：ＮＯ）、ステップＳ２０９の処理の判定基準２３５に基づく判定により認識色は「不明」とされたか否かを判断する（ステップＳ４２）。色認識装置２００のＣＰＵ２１０は、認識色は「不明」とされていないと判断した場合（ステップＳ４２：ＮＯ）、処理をステップＳ２０９へ戻す。一方、色認識装置２００のＣＰＵ２１０は、認識色は「不明」とされたと判断した場合（Ｓ４２：ＹＥＳ）、当該認識対象画像と、ステップＳ２０４により算出した分類色の比率とを再学習用情報２３４としてＨＤ２３０に記録し（Ｓ４３）、処理をステップＳ２０９へ戻す。

なお、全色空間についてステップＳ２０５からステップＳ２０７までの処理を行なうことにより色空間毎に算出された各クラスタとの最短距離と各クラスタに対応する色とを、再学習用情報２３４としてＨＤ２３０に記録しておき、更に、ステップＳ２０９で判定した色が「不明」である場合にも、判定を保留した再学習用情報２３４として記録しておく構成でもよい。この場合、図１５のフローチャートに示した処理手順を、後述する再学習の処理の最初に、記録してある再学習用情報２３４にも基づいて実行することにより再学習用の情報を抽出するようにしてもよい。

［３．３ 再学習動作］
次に、色認識装置２００のＣＰＵ２１０が距離算出手段２１６として機能する際に、再学習用情報２３４として別途記録しておくことが望まれる各認識対象画像と、分類色の比率とから再学習する処理について説明する。なお、再学習用情報２３４は、図１５のフローチャートに示した処理手順で記録されたものでもよい。

図１６は、実施の形態１における色認識装置２００のＣＰＵ２１０によって行なわれる再学習の処理手順を示すフローチャートである。色認識装置２００のＣＰＵ２１０は、学習未済データ抽出手段２１９により、前述のトリガにより起動して認識色と同一のユーザ指定色のクラスタの最短距離が所定値以上である認識対象画像、又は認識色が「不明」とされた認識対象画像を抽出することにより、再学習用情報２３４として再学習用のデータを収集する（ステップＳ３０１）。ここでの所定値は色空間毎又はクラスタ毎に設定することが望ましい。設定は形成されたクラスタの形状、広がり、クラスタ相互関係を考慮して決定される。

色認識装置２００のＣＰＵ２１０は、再学習用のデータとして抽出した認識対象画像を出力手段２１８により管理コンピュータ３０へ送出する（ステップＳ３０２）。管理コンピュータ３０は、抽出された認識対象画像を受信する（ステップＳ３０３）。管理コンピュータ３０は、受信した認識対象画像を例えば一枚ずつ表示装置に出力して表示し（ステップＳ３０４）、現在表示されている画像に対応するユーザ指定色の選択又は入力を促す。

ユーザ指定色の選択は既にあるユーザ指定色の中からの選択であり、入力は別途新たなユーザ指定色を作成する。ここで、認識対象画像を一枚ずつ表示する構成としたが、複数の画像を同時に表示し、車両の該当部位の色が同一又は類似であると視認されるものをグループ化し、ユーザ指定色の選択又は入力を行ってもよい。また、既に決定したユーザ指定色に対応する撮像画像を表示することも望ましく、そうすることで現にユーザ指定色を決定しようとしている撮像画像とユーザ指定色が決定されている撮像画像を対比してユーザ指定色を決定、修正することができる。

管理コンピュータ３０は、ユーザによるユーザ指定色の選択又は入力を受け付け（ステップＳ３０５）、ユーザ指定色が選択又は入力された認識対象画像が、受信した認識対象画像の内の最後の画像であるか否かを判断する（ステップＳ３０６）。管理コンピュータ３０は、最後の画像でないと判断した場合（Ｓ３０６：ＮＯ）、処理をステップＳ３０４へ戻して次の画像を対象とした処理に移行する。また、管理コンピュータ３０は、最後の画像であると判断した場合（Ｓ３０６：ＹＥＳ）、次のステップＳ３０７に進む。

管理コンピュータ３０は、各認識対象画像に対応して選択又は入力されたユーザ指定色を色認識装置２００へ送信する（ステップＳ３０７）。送信前にユーザ指定色毎に各認識対象画像がグループ化されてあることが好ましい。これは後記ステップＳ３１０からステップ３１１の処理が認識対象画像のユーザ指定色毎になされるからである。ただし、このグループ化は色認識装置２００側で行ってもよい。

色認識装置２００のＣＰＵ２１０は、管理コンピュータ３０から送信された各認識対象画像に対応して選択又は入力されたユーザ指定色を受信する（ステップ３０８）。色認識装置２００のＣＰＵ２１０は、各認識対象画像の分類色の比率ををＨＤ２３０から読み出す（ステップ３０９）。このとき、色認識装置２００のＣＰＵ２１０は、既に学習済みの学習用撮像画像についての分類色の比率についてもＨＤ２３０から読み出し、共に以下のクラスタリングを実行することにより、新しい画像を含めて新たに色を分類する学習処理が可能になる。なお、抽出された認識対象画像が再学習で使用される際は、学習用撮像画像と同様の扱いとなる。

色認識装置２００のＣＰＵ２１０は、クラスタリング手段２１５の機能により、受信したユーザ指定色毎に、各認識対象画像にについて読み出した分類色の比率に基づいて、一の色空間に対しクラスタリングを実行する（ステップ３１０）。色認識装置２００のＣＰＵ２１０は、クラスタリングした色空間が最後の色空間であるか否かを判断し（ステップ３１１）、最後の色空間でないと判断した場合（Ｓ３１１：ＮＯ）、処理をステップＳ３１０へ戻して次の色空間についての処理に移行する。色認識装置２００のＣＰＵ２１０は、最後の色空間であると判断した場合（Ｓ３１１：ＹＥＳ）、再学習の処理を終了する。

［４．具体的適用例］
上述の処理手順を具体例に適用する例について説明する。

［４．１ 車体色認識］
屋外で撮影のため、さまざま環境条件の影響を受け、車体は本来の色とは異なる色に撮影されることがある。車体色認識ではボンネット中で最も画素数が多い色を車体色としているが、環境影響を受けている場合でも占有率の高い色を車体色と認識するため、認識率が低い。そこで、特に、環境影響を受けた車体の色認識率向上を目的に、前説したＫ−ｍｅａｎｓを利用し、環境影響を受けた撮像条件に対応して車体の色認識を試みる。

［４．２ データ内容］
学習用に使用したデータは、撮影画像中の車体のボンネット領域を処理対象領域とした各色成分の量である。データの抽出方法は、まず画像中から車体のボンネット領域を判別し、判別した領域の画素を８色に分類する。８色の分類色が上述のクラスタリングを行なう際の色空間の次元に対応する。しかし、カメラの画角や、車種により画像中のボンネット領域の大きさは様々であるので、上述の処理のように対象領域の全画素数を足して１となるよう正規化し、各分類色の比率を調整するようにした。

図１７は、実施の形態１における色認識方法を実施する際の分類色の内容例を示す説明図である。図１７の説明図に示すように、分類色は白、黒、シルバー、赤、黄色、緑、紫、青、紫の８色を分類色とし、夫々に次元番号が割り振られている。

図１８は、実施の形態１における色認識方法を実施する際の、処理対象領域に含まれる画素の分類色の比率の内容例を示す説明図である。図１８には、撮像画像中の車体のボンネット領域を処理対象領域とした場合、ユーザが判断した車体色毎に、処理対象領域の画素を図１７に示した分類色で分類した場合の比率が示されている。なお、図１８に示した分類色の比率は正規化済みである。なお、各分類色の内の最も多く含まれる分類色を太線で示している。

図１８の説明図からも分かるように、単色に見える車でも塗装色の種類や光の影響で様々な色成分を含んでいる。また、車体色に該当する色成分量の値が一番大きく、その他の色成分の多くが最大の色成分より値が1桁以上小さいこともわかる。ただし、車体色の色成分と同じ桁である色成分もあり、これは車体色と関係が近い（白とシルバー等）、または、撮影画像中にその色成分を持つもの（エンブレム、サイドミラー、フロントグリル等）が写っているためである。なお、分類色の種類は図１７に示すように、８色（白、黒、シルバー、赤、黄色、緑、青、紫）であり、次元数は８次元（データは車体の色成分からなるので）とする。

また、図１８の説明図に示すように、分類色の比率の最大値は１であり（ボンネット領域には該当する次元の色だけが存在する場合）、最小値は０（ボンネット領域には該当する次元の色が存在しない場合）である。

なお、車体色は撮像条件に対応させて、同じ白でも「標準白」、「順光白」、「逆光白」、「斜光白」、「夕暮白」、「夜間白」、「降雪白」等に細分化してもよく、又は車種に対応させて同じ白でも「軽トラ白」、「セダン白」、「大型トラック白」等に細分化してもよい。

［４．３ 実験結果］
［４．３．１ 学習データ］
車体色を認識するため、８色の指定色に分類された学習用撮像画像は、指定色の分類毎に別々のクラスタに分類されることが望ましい。そこで、学習データは８つのクラスタ生成が予想されるような各色の代表的な車体画像データから作成する。今回は学習用撮影画像として８色の車体色（指定色）を５枚ずつ、計４０枚を選出し、夫々のボンネット領域に含まれる画素の分類色の比率を学習データとした。

また、クラスタの初期値には、別々のクラスタに分類させたい各色のデータ（各５件）のうち、１件ずつ、計８件のデータの色成分（車体色）を設定した。なお、本学習用のデータではクラスタ数が予め決定していたが、本来は最適なクラスタ数は不明である。学習時に設定するクラスタ数が不明な場合は次元数と同じ数から増減させて決めていくとよい。

図１９乃至図２１は、実施の形態１における色認識方法を実施する際の、学習用撮像画像と夫々の処理対象領域に含まれる画素の分類色の比率との内容例を示す説明図である。以下、図１９乃至図２１の内容例に示した学習用撮像画像に基づき、クラスタリングがＣＰＵ２１０により実行される処理について説明する。

［４．３．１．１ 色空間の定義（各次元となる基準色の設定）］
実施の形態１では、上述の学習用撮像画像に対応する分類色の比率に基づくクラスタリングを行なうに際し、ＣＰＵ２１０により３次元の色空間が定義される。３次元の各３軸に対応する分類色は、図１９乃至図２１に示したように各車体色（指定色）毎にグループ分けした場合に、夫々の学習用撮像画像の処理対象領域に含まれる画素の分類色の内の上位三色を抽出した色となる。図１９乃至図２１に示した内容例であれば、車体色（指定色）「白」の学習用撮像画像に対応する分類色の内の上位三色は「白」「黒」「シルバー」である。同様に車体色（指定色）「赤」の学習用撮像画像に対応する分類色の内の上位三色は「赤」「黒」「白」である。このように指定色毎に、抽出される上位三色を各次元としてＣＰＵ２１０により色空間が定義される。

なお、指定色毎に、夫々の学習用撮像画像の処理対象領域に含まれる画素の分類色の内の上位三色を抽出した色を色空間の各３次元とするのは、以下の根拠に基づく。本発明では、クラスタの重心と、認識対象画像から同様に算出される分類色の比率に対応する各色空間における座標との距離をマハラノビス距離により算出する。マハラノビス距離には、クラスタを構成する各座標の分散・共分散行列、更にその逆行列が必要になるが、この逆行列の計算ができない場合にはマハラノビス距離が計算できない。逆行列の計算ができない場合には以下の２つのケースが考えられる。

≪１≫変数間に１次結合（線形結合）があるケース
≪２≫変数の個数がサンプル数以上のケース

１のケースでは、１次結合の発生しているいずれかの変数を分析対象から除く必要がある。２のケースではサンプル数を増やすか、または、変数を削る必要がある。

ここで本実施の形態１で学習に用いられるデータを参照した場合、各指定色の学習用撮像画像から算出される分類色の中で実際に色の構成に重要な色成分は３つ程度であり、残り５つの色成分の値が０に近い（１次結合している）特徴が挙げられる。つまり、３色以外の色成分はそのデータにとって相関のない成分（次元）といえる。そこで相関のある色成分の次元だけを抽出し、クラスタを生成することにより、マハラノビス距離で色認識を行うことができると予想される。

このように、３つの色成分を使用するので、各色成分に該当する分類色の比率とそれ以外（その他）の４クラスタに分類される。例えば、指定色が白である学習用撮像画像を分類するために用いる色空間の基準色は「白」、「黒」、「シルバー」であり、認識を行う際には、各クラスタに夫々の分類色の比率が類別されることになる。しかし「白」、「黒」、「シルバー」以外の色の画像に対応するクラスタとしては、この色空間では他のクラスタと分離される適当なクラスタが存在しない。そこで基準色となる色成分以外の指定色に対応する学習用撮像画像の分類色の比率は「その他」として分類されるようにする必要がある。

図２２は、実施の形態１における色認識方法を実施する際の、各色空間の次元となる基準色の内容例を示す説明図である。図２２の説明図に示すように、車体色毎にＣＰＵ２１０により抽出された上位三色が基準色として設定され、これらの基準色を各次元とする色空間がＣＰＵ２１０により定義される。なお、「白」「黒」「シルバー」の車体色に対して抽出された上位三色は共通するので、これらの基準色を各次元とする色空間は一の色空間に併合される（図６参照）。従って、８色の車体色に基づいて、ＣＰＵ２１０により抽出された基準色の組み合わせは８通りから６通りとなり、夫々に対応する色空間が定義される（図６乃至図１１参照）。

［４．３．１．２ クラスタリング処理］
図６乃至図１１に示したような各色空間に対し、図１９乃至図２１に示した各学習用撮像画像の分類色の比率が対応する座標を特定し、クラスタリングを行なう。例えば、車体色（指定色）「白」の各学習用撮像画像の分類色の比率に基づき、６つの色空間夫々における「白」に対応する座標を特定する。図２３は、本発明の色認識方法におけるクラスタリング処理において、色認識装置２００のＣＰＵ２１０により一の色空間で特定される各学習用撮像画像の座標の内容例を示す説明図である。図２３に示す内容例は、図７のイメージ図に示した色空間（「白」「黒」「赤」を各次元とする色空間、以降空間２という）に、各指定色の学習用撮像画像に対応する座標の内容例を示している。

図２３に示すように、車体色（指定色）が「白」「黒」「シルバー」「赤」「黄」「緑」「青」及び「紫」の学習用撮像画像について夫々、空間２の各次元に対応する「赤」「黒」「白」の分類色の比率に基づき座標（基準色の比率）が特定される。このとき、「赤」「白」「黒」以外の車体色（指定色）の学習用撮像画像の基準色（赤、黒、白）の比率はいずれも低く、基準色に対して偏りがないため、クラスタとして分離することが期待されない。従って、それらは「その他」クラスタとして形成される（図７参照）。

クラスタリング処理を各色空間に対して行なうことにより、各色空間において各指定色に対応するクラスタが形成される。図２４は、本発明の色認識方法におけるクラスタリング処理により、各色空間に形成される各クラスタと各クラスタの重心座標との内容例を示す説明図である。なお、図２４に示した内容例は、ＣＰＵ２１０がクラスタリング手段の機能により、図１３のフローチャートのステップＳ１０９の処理を実行することによりＨＤ２３０に記憶されるクラスタ情報２３１に対応する。なお、図２４に示した内容例はあくまで一例であり、クラスタ情報２３１は、図２４に示したように各色空間毎に各クラスタの重心座標を対応付ける形式のみならず、指定色毎に各色空間におけるクラスタの重心座標を対応付ける形式でもよい。

［４．３．２ クラスタの生成結果］
結果として各５件の座標の集合である各２４クラスタ（６色空間夫々に４クラスタ）に類別された。また、各クラスタには同一色の指定色の学習用撮像画像に対応する座標が含まれていることが確認された。通常、初期値は全データからランダムに取得し、クラスタ生成を行う。なお、Ｋ−Ｍｅａｎｓの分類結果は初期値の影響をうけやすく、特に、学習データが少ない場合には留意する必要がある。

［４．３．３ 認識］
認識に使用するデータ（分類色の比率）は学習データと同じ形式とし、撮影装置１０により撮像された画像の内の任意の２２５件の認識対象画像を対象とした。図２５は、本発明の色認識方法における認識処理において認識対象画像の処理対象領域に含まれる画素の分類色の比率の内容例を示す説明図である。図２５に示すような比率を用いて各色空間における座標を特定し、各クラスタの重心との距離を算出する。

認識の対象とした認識対象画像は、代表的な色をもつ車体の画像をはじめ、環境影響を受け、車体本来の色が目視でも判断が難しい画像など、様々な条件の車両画像が含まれる。各画像データからボンネット部分の色成分データを抽出し、認識データとした。

［４．３．４ 認識結果］
図２５に示したような認識対象画像の分類色の比率に基づき、色認識装置２００のＣＰＵ２１０は、学習処理で形成されたいずれのクラスタに近いか否かを距離を算出することにより特定する。なお、ＣＰＵ２１０は、図２５に示した認識対象画像の分類色の比率に基づいて、図６乃至図１１に示した全色空間における座標を特定し、各色空間で４つのクラスタ夫々の重心との距離を算出する。図２６は、本発明の色認識方法における認識処理において認識対象画像の分類色の比率に基づき各空間での最短距離のクラスタが特定される例を示す説明図である。図２６に示すように、図６の「白」「黒」「シルバー」を各次元（基準色）とする色空間（空間１）においては、図２５に示した分類色の比率の内の「白」０．５２８、「黒」０．１５４、「シルバー」０．２５９が用いられて座標が特定され、距離が算出される。同様に、図７の「白」「黒」「赤」を各次元とする（基準色）色空間（空間２）においては、図２５に示した分類色の比率の内の「白」０．５２８、「黒」０．１５４、「赤」０．０１３が用いられて座標が特定され、距離が算出される。

認識処理は上述のように、各色空間における最短距離のクラスタの指定色が「その他」であるか否かの判定、指定色の頻度、及び最短距離に基づき図１２に示したような判定基準２３５を基準として判定される。図２７は、本発明の色認識方法における認識処理で認識対象画像に対応する各最短距離のクラスタから認識色が選択される例を示す説明図である。図２７に示すように、図２５に示した認識データに対し、各色空間における最短距離クラスタは、「白」「白」「白」「シルバー」「その他」「その他」と特定される。図１２に示した判定基準２３５に照らし合わせた場合、その内の第３又は第５の基準に基づいて認識色は特定されたクラスタに対応する色から「白」が選択されて判定される。

［４．３．５ 認識率］
このような認識処理によって認識が成功した認識率を実験に基づき示す。認識率は以下の式（９）ように算出する。

認識率=（真値の色（人間による分類）と認識結果の色とが同じ件数）／全件数・・・（９）

算出された認識率は（認識データ件数：２２５件）、図２８に示すような結果となった。図２８は、本発明の色認識方法の認識結果を示す説明図である。図２８に示すように、２２５件の内の正解した件数は１７８件である。これにより、認識率は７９．１１％と求められる。

なお、図２８には比較のために、各指定色の基準色（色空間の各次元に対応する色）を、指定色毎に学習用撮像画像の処理対象領域に含まれる画素の分類色の比率の内の上位三色とした場合以外、即ち上位一色、上位二色又は上位四色とした場合の認識率について示している。つまり、各色空間の次元数を１次元、２次元又は４次元とした場合である。次元数１の場合は、クラスタリングを行なわずに、指定色毎に学習用撮像画像の処理対象領域に含まれる画素の分類色の内の最も多い一色により、処理対象領域を類別した場合である。図２８に示すように、上位三色を基準色として色空間を３次元で定義した場合の認識率が最も高く、マハラノビス距離を算出するためのみならず上位三色とする効果が得られることが分かる。

［４．４ 再学習］
本発明の場合、認識処理において、各色空間で特定した最短距離のクラスタの内の最も距離の短いクラスタであってもその最短距離が所定値以上である場合、又は認識色が「不明」とされた場合は、再学習用情報２３４として記録される。図２９は、本発明の色認識方法で記録される再学習用情報２３４の内容例を示す説明図である。図２９に示すように、再学習用情報２３４として、認識対象画像の識別情報と、分類色の比率とが含まれている。なお、認識対象画像そのものも記録しておくことが望ましい。

［４．４．１ ユーザ指定色の追加］
再学習処理において色認識装置２００のＣＰＵ２１０は、図１６のフローチャートに示したように、抽出した認識対象画像を管理コンピュータ３０へ送出する。管理コンピュータ３０では、受信した認識対象画像を管理コンピュータ３０のディスプレイに出力される。図３０は、本発明の色認識方法で再学習の処理で出力される認識対象画像と対応するユーザ指定色の入力又は選択とを受け付けるために表示される画面例の説明図である。図３０に示すように、抽出された認識対象画像が夫々表示され、既にユーザ指定色として登録されているユーザ指定色が選択可能に表示されている。更に、新たなユーザ指定色が選択又は入力可能に表示されている。図３０の画面例のように表示されることにより、ユーザは、抽出された撮像画像の該当領域の色を視認してユーザ指定色を入力又は選択することができる。ここで、ユーザ指定色の入力又は選択時において、ユーザ指定色の登録時にユーザにコメント（例えば、「曇天時の赤」「雨天時の白」）を入力させ、後に表示することもできる。

また、ユーザが抽出された認識対象画像に対して管理コンピュータ３０上でユーザ指定色を入力又は選択する場合に、各抽出された認識対象画像に対して入力又は選択してもよいが、ユーザが同一のユーザ指定色であるとして抽出された認識対象画像から指定した複数の画像のグループに対して一のユーザ指定色を入力又は選択することもできる（図３０参照）。図３０に示すように、複数の認識対象画像を選択し、一のユーザ指定色を入力又は選択する。図３０では抽出された認識対象画像が左のウィンドウに表示され、ユーザがその中から同じユーザ指定色になるものを選択し、右側のウィンドウ上部に表示されている登録されているユーザ指定色の中から選択し、または、右側のウィンドウ中部に表示されているカラーパレットの中から色を選択して下記テキストボックスに入力し（カラーパレットから色を選択することでテキストボックスに色名称が自動的に入力され、ユーザはさらに修正することができる。たとえば、「スカイブルー」と表示されているところ、「曇天時のスカイブルー」とすることができる。）、「ＯＫ」ボタンを押下することで色認識装置２００で以下に示すクラスタリングが開始される。

［４．４．２ 再学習処理］
管理コンピュータ３０は、図１６のフローチャートに示したように、ユーザにより選択又は入力された指定色を色認識装置２００へ送信する。色認識装置２００のＣＰＵ２１０は、送信された指定色と、その指定色に対応する認識処理画像とを、指定色毎の学習用撮像画像として学習処理を行なう。ＣＰＵ２１０は、クラスタリング手段２１５により、抽出されて指定色が入力又は選択された認識対象画像の分類色の比率を読み出し、この読み出された色分類の比率から各色空間においてクラスタリングを実行する。

抽出された認識対象画像に対して入力又は選択された指定色が既存のユーザ指定色である場合は、既に学習済みの学習用撮像画像の分類色の比率と共にクラスタリングを実行してもよい。これにより、形成されているクラスタを構成するデータ（座標）数が増加して既存のクラスタがより適切な形状となり、精度が上がることが期待される。なお、抽出された認識対象画像の分類色の比率によっては、新たに色空間が作られ、新たにクラスタが作られることもある。勿論、既存のクラスタの形状が変化するに過ぎない場合もある。

抽出された認識対象画像に対して入力又は選択された指定色が既存のユーザ指定色でない場合、新たにユーザ指定色が追加され、それに対応するクラスタが形成されることになる。図３１は、本発明の色認識方法における再学習の処理により新たな指定色に対応して形成されるクラスタのイメージ図である。「白」又は「赤」と認識されたが、最も最短距離が短い、空間２における「白」クラスタ又は「赤」クラスタの重心と、対応する分類色の比率に対応する座標との距離が所定の閾値以上である認識対象画像が複数記録されていた場合、これらが管理コンピュータ３０へ送出され、管理コンピュータ３０で「白っぽい赤」等の新しい指定色が選択又は入力されたときは、色認識装置２００で新たな「白っぽい赤」クラスタが空間２に形成される。このように、新たにクラスタが追加され、より高い認識率で認識することが可能となる。

このように、本発明の色認識装置によれば、ユーザが撮像画像の色をユーザ指定色として指定するだけで各色空間にクラスタが形成されて学習がなされ、クラスタ形成後に認識対象画像が入力されると学習により形成されたクラスタと認識対象画像の対比により認識対象画像の処理対象領域の認識色をより高い認識率で適切に判定することができる。また、既に学習した色空間のクラスタでは対応できないような認識対象画像については、あるトリガで抽出してユーザに対してかかる認識対象画像のユーザ指定色を指定して貰うことで再学習することができ、自己発展的に学習が促進され、時間経過とともに高い認識率を発揮することができる。

（実施の形態２）
実施の形態１は、一の色認識装置２００が学習処理をしておき、撮像装置から送られる認識対象装置に対する認識処理を行ない、更に認識処理によって不明とされた画像に基づいて再学習処理を一貫して行なう構成であった。しかしながら、本発明はこれに限らず、学習処理及び再学習処理を行なう学習装置と、学習処理によって作成された図２４に示したようなクラスタ情報２３１を取得して、それらと判定基準２３５に基づいて認識処理を行なう色認識装置とが、例えば通信網を介して接続して色認識システムを構成し、色認識システムにより色認識を行なうようにしてもよい。このような、通信網、通信線を介して物理的に離れた装置間の処理によって色認識が実施される構成にについて以下に説明する。なお、実施の形態１と共通の構成については同一の符号を用いて詳細な説明を省略する。

図３２は、実施の形態２における色認識システムの構成を示すブロック図である。図３２中の４００は色認識装置であり、そのハードウェア構成は、ＣＰＵ４１０と、ＤＲＡＭ等のメモリ４２０と、ハードディスク（ＨＤ）４３０と、ＬＡＮカード４７０とを含む。色認識装置４００は、撮像装置１０と共に設置されていてもよく、工場母屋内に設置されていてもよい。色認識装置４００は、認識対象画像として撮像画像を受け付けて認識処理を行なう装置である。

図３２中の５００は、学習装置であり、そのハードウェア構成は、実施の形態１における色認識装置２００及び管理コンピュータ３０同様にパーソナルコンピュータの構成であり、ＣＰＵ５１０と、メモリ５２０と、ハードディスク（ＨＤ）５３０と、ディスプレイ５４０と、キーボード５５０及びマウス５６０と、ＬＡＮカード５７０と、ＣＤ−ＲＯＭ（ＤＶＤ）ドライブ５８０と、サウンドカード５９０とを含む。キーボード５５０及びマウス５６０は、入出力インタフェース５５１を介してＣＰＵ５１０と接続している。学習装置５００は、学習用撮像画像及び再学習用情報に対応する認識対象画像における処理対象領域の分類色の比率に基づき、処理対象領域の色をクラスタリング法を用いた学習によりユーザ指定色又は新たな色に類別しておく装置である。

色認識装置４００と学習装置５００とはＬＡＮ又は他の通信回線、通信網を介して接続しており、相互にデータの送受信が可能である。

色認識装置４００は、学習装置５００がＣＤ−ＲＯＭ、ＤＶＤ等の記録媒体５８２から読み出して送信した色認識プログラム４ＰをＨＤ４３０に記憶し、メモリ４２０に適切に読み出して実行することにより色認識を行なう。また、学習装置５００も、ＣＤ−ＲＯＭ、ＤＶＤ等の記録媒体５８１から学習プログラム５Ｐを読み出してＨＤ５３０に記憶し、メモリ５２０に適切に読み出して実行することにより、分類色の比率に基づき色を類別する学習処理を行なう。なお、色認識プログラム４Ｐ及び学習プログラム５Ｐは、実施の形態１における色認識装置２００のＣＰＵ２１０が読み出して実行した色認識プログラム２Ｐの内の、認識処理に対応する部分と、学習処理及び再学習処理に対応する部分とを別々の構成としたコンピュータプログラムである。

図３３は、実施の形態２における色認識装置４００及び学習装置５００の機能ブロック図である。色認識装置４００のＣＰＵ４１０は、ＨＤ４３０から色認識プログラム４Ｐをメモリ４２０に適切に読み出すことにより、認識対象画像を取り込む入力手段２１１、対象領域判別手段２１２、色分類手段２１３、正規化手段２１４、距離算出手段２１６、認識結果判定手段２１７、学習未済データ抽出手段２１９として機能する。また、ＣＰＵ４１０が各手段として機能することによりＨＤ４３０に距離情報２３２、認識色情報２３３及び再学習用情報２３４が記憶される。ＨＤ４３０には、色を認識する際の基準となるクラスタ情報２３１及び判定基準２３５が記憶されている。

学習装置５００のＣＰＵ５１０は、ＨＤ５３０から制御プログラム５Ｐをメモリ５２０に適切に読み出すことにより、対象領域判別手段２１２、色分類手段２１３、正規化手段２１４、クラスタリング手段２１５、出力手段２１８として機能する。また、ＣＰＵ５１０が各手段として機能することによりＨＤ５３０にはクラスタ情報２３１が記憶される。また、ＨＤ５３０には学習に使用する再学習用情報２３４が記憶される。

なお、実施の形態２で色認識装置４００と学習装置５００とが夫々読み出す色認識プログラム４Ｐ及び学習プログラム５Ｐは、色認識プログラム２Ｐを別々に構成したものであるから、上述の各機能は、実施の形態１における色認識装置２００のＣＰＵ２１０が色認識プログラム２Ｐを読み出して実行することにより実現する機能と同様である。したがって各機能については同一の符号を付し、詳細な説明を省略する。

なお、学習装置５００のＣＰＵ５１０が、学習処理を実行することによりＨＤ５３０に記憶される各クラスタの重心座標の情報を含むクラスタ情報２３１は、学習処理後に色認識装置４００へ送信され、色認識装置４００のＨＤ４３０に記憶され、認識処理に使用される。そのため、図３３中の色認識装置４００のＨＤ４３０に記憶されているクラスタ情報２３１及び学習装置５００のＨＤ５３０に記憶されているクラスタ情報２３１の内容は送信後は同一である。

次に、上述のように構成される色認識システムにおいて色認識装置４００及び学習装置５００夫々により実行される各動作処理について説明する。なお、各動作処理によって得られるクラスタ情報２３１、認識結果、認識率については実施の形態１における［４．具体的適用例］と同様の結果になる。

（学習）
まず、学習装置５００により学習用撮像画像が取得され、学習装置５００のＣＰＵ５１０は、対象領域判別手段２１２、色分類手段２１３、正規化手段２１４、クラスタリング手段２１５の機能により、各学習用撮像画像の処理対象領域の色を類別しておく処理を行なう。学習装置５００のＣＰＵ５１０により行なわれる学習処理の処理手順は、実施の形態１における図１３のフローチャートに示した処理手順と同一でもよい。ただし、クラスタリングは、先に与えられた指定色毎の学習用撮像画像に対応する座標の集合をその指定色のクラスタとして形成しなくても可能である。したがって、実施の形態２では、先に指定色毎に学習用撮像画像を分類しておくことなく、クラスタリングを行なう構成で学習を行なう。

図３４及び図３５は、実施の形態２における学習装置５００のＣＰＵ５１０による学習の処理手順の一例を示すフローチャートである。学習装置５００のＣＰＵ５１０は、撮像装置１０とは限らない撮像装置により撮像された学習用撮像画像を事前に取得しておき、ＨＤ５３０に記憶している。この場合、学習用撮像画像にはユーザ指定色と対応付けらなくてもよい。

学習装置５００のＣＰＵ５１０は、ＨＤ５３０に記憶されている学習用撮像画像から一を取り込む（ステップＳ５０１）。学習装置５００のＣＰＵ５１０は、取り込んだ学習用撮像画像に対し、対象領域判別手段２１２の機能により、処理対象領域として認識対象である車両のボンネット領域を判別する（ステップＳ５０２）。学習装置５００のＣＰＵ５１０は、色分類手段２１３の機能により、学習用撮像画像の処理対象領域の各画素の色を分類色に分類する（ステップＳ５０３）。また、学習装置５００のＣＰＵ５１０は、正規化手段２１４の機能により、学習用撮像画像の処理対象領域の各分類色の画素数を処理対象領域に含まれる画素数で除算し、分類色の比率を算出する（ステップＳ５０４）。

学習装置５００のＣＰＵ５１０は、ステップＳ５０１により取り込んだ学習用撮像画像がＨＤ５３０に記憶されている学習用撮像画像の内の最後の学習用撮像画像であるか否かを判断し（ステップＳ５０５）、最後の学習用撮像画像であると判断した場合（Ｓ５０５：ＹＥＳ）、次のステップＳ５０６に進む。学習用装置５００のＣＰＵ５１０は、最後の学習用撮像画像でないと判断した場合（Ｓ５０５：ＮＯ）、処理をステップＳ５０１へ戻し、次の学習用撮像画像の処理に移行する。ここまでの処理により、全ての学習用撮像画像に対する分類色の比率が算出される。

学習装置５００のＣＰＵ５１０は、全ての学習用撮像画像についての分類色の比率に基づき、夫々比率が上位所定数である分類色を抽出する（ステップＳ５０６）。このときＣＰＵ５１０は、上位三色の分類色を抽出する。学習装置５００のＣＰＵ５１０は、各学習用撮像画像に対して共に抽出された分類色を各次元とする色空間を定義する（ステップＳ５０７）。これにより、図６乃至図１１に示したような各色空間が定義される。

学習装置５００のＣＰＵ５１０は、クラスタリング手段２１５の機能により、全学習用撮像画像について、夫々の処理対象領域の分類色の比率に基づき、定義された色空間の内の一の色空間に対しクラスタリングを実行する（ステップＳ５０８）。色認識装置２００のＣＰＵ２１０は、クラスタリングを実行した色空間が全色空間の内の最後の色空間であるか否かを判断し（ステップＳ５０９）、最後の色空間でないと判断した場合（Ｓ５０９：ＮＯ）、ステップＳ５０８へ処理を戻して次の色空間についての処理に移行する。一方、学習装置５００のＣＰＵ５１０は、最後の色空間であると判断した場合（Ｓ５０９：ＹＥＳ）、次の処理へ進む。

ステップＳ５０９が終了した時点で、学習装置５００のＣＰＵ５１０は、ＨＤ５３０に記憶してある全学習用撮像画像の処理対象領域の色を、その分類色の比率で類別する処理が終了している。以降は、その類別された各色に色の名前（識別名）を付けることにより、形成されたクラスタの情報をユーザが使用する際に識別が可能になる。

次に、学習装置５００のＣＰＵ５１０は、形成されたクラスタに対応する学習用撮像画像をグループ化し（ステップＳ５１０）、グループ化された学習用撮像画像をまとめてディスプレイ５４０へ出力し（ステップＳ５１１）、ユーザ指定色の選択又は入力を受け付ける（ステップＳ５１２）。学習装置５００のＣＰＵ５１０は、グループ化された学習用撮像画像に対応するクラスタに、受け付けたユーザ指定色を対応付けてクラスタ情報２３１として記憶する（ステップＳ５１３）。学習装置５００のＣＰＵ５１０は、形成されたクラスタの内の全クラスタについてユーザ指定色を受け付けたか否かを判断し（ステップＳ５１４）、全クラスタについてユーザ指定色を受け付けていないと判断した場合（Ｓ５１４：ＮＯ）、処理をステップＳ５１０へ戻して次のクラスタに対してユーザ指定色を受け付ける。学習装置５００のＣＰＵ５１０は、全クラスタについてユーザ指定色を受け付けたと判断した場合（Ｓ５１４：ＹＥＳ）、学習処理を終了する。

図３６は、本発明の色認識方法で学習の処理で、ユーザ指定色の入力又は選択を受け付けるために出力される画面例の説明図である。図３６に示すように、クラスタ毎にグループ化された学習用撮像画像がタブにより分けられて夫々表示され、既にユーザ指定色として登録されているユーザ指定色が選択可能に表示されている。更に、新たなユーザ指定色が選択又は入力可能に表示されている。図３６の画面例のように表示されることにより、ユーザは、クラスタ毎の学習用撮像画像の該当領域の色を視認してユーザ指定色を入力又は選択し、そのユーザ指定色により色を類別させることができる。

（認識）
学習装置５００のＣＰＵ５１０により上述のように学習処理が実行された後、撮像装置１０で撮像された認識対象画像が取り込まれた際の認識処理について説明する。なお、実施の形態２における色認識装置４００は、学習処理が学習装置５００により実行されたことにより、初期的には類別された色の情報であるクラスタ情報２３１をＨＤ２３０に有していないので、これを取得する必要がある。

図３７は、実施の形態２における色認識装置４００のＣＰＵ４１０による認識の処理手順の一例を示すフローチャートである。なお、色認識装置４００のＣＰＵ４１０が行なう認識処理そのものは、実施の形態１における図１４のフローチャートに示した処理手順と同様であるので、同一のステップ番号を付して詳細な説明を省略する。

色認識装置４００のＣＰＵ４１０は、色認識を行なう前に学習装置５００からクラスタ情報２３１を取得する（ステップＳ６０１）。取得の方法は、学習装置５００へリクエスト信号を送信し、学習装置５００からリクエストに応じて送信されるクラスタ情報２３１を受信する方法による。その他、ＬＡＮ経由でなくとも記憶媒体に一旦記憶されたクラスタ情報２３１を色認識装置４００のＨＤ４３０に複製して使用してもよい。

色認識装置４００のＣＰＵ４１０はその後、取得したクラスタ情報２３１を使用し、認識処理（ステップＳ２０１〜ステップＳ２０９）を実行する。

なお、実施の形態１の認識処理において再学習用情報２３４が記録されたように、実施の形態２でも、認識処理において再学習用情報２３４が記録される。なお、実施の形態２では、色認識装置４００のＣＰＵ４１０は、認識対象画像について処理を行ない、認識処理において最短距離が所定値以上である場合、又は認識色が「不明」とされた場合に、その画像と算出した分類色の比率とを学習装置５００へ送信する。認識処理を行なう都度、画像と算出した分類色の比率とを送信するようにしてもよい。また、色認識装置４００のＣＰＵ４１０は、所定の起動トリガによって起動される学習未済データ抽出手段２１９の機能により、距離情報２３２及び認識色情報２３３（又は別途記録されている認識対象画像の識別情報、分類色の比率、及び認識対象画像）に基づき、認識色の色空間の最も距離が最短であるクラスタとの距離が所定値以上である撮像画像を抽出し、学習装置５００へ送信してもよい。学習装置５００のＣＰＵ５１０は、送信された認識対象画像と分類色の比率とを再学習用情報２３４としてＨＤ２３０に記録しておく。

（再学習）
学習装置５００は、ＨＤ２３０に記録してある再学習用情報２３４の認識対象画像に基づいて再度クラスタリングを行なう学習処理を実行することにより、再学習を行なう。図３８は、実施の形態２における学習装置５００のＣＰＵ５１０によって行なわれる再学習の処理手順の一例を示すフローチャートである。

学習装置５００のＣＰＵ５１０は、再学習用に、ＨＤ５３０に再学習情報２３４として記憶してある認識対象画像を再学習用と分類色の比率とを読み出し（ステップＳ７０１）、各認識対象画像について読み出した分類色の内の比率が上位所定数（三色）である分類色を抽出する（ステップＳ７０２）。学習装置５００のＣＰＵ５１０は、共に抽出された分類色を各次元とする色空間を定義する（ステップＳ７０３）。なお、定義された色空間が既存の色空間と同一である場合は、既存の色空間を使用する。

学習装置５００のＣＰＵ５１０は、クラスタリング手段２１５の機能により、各再学習用の認識対象画像の分類色の比率に基づき、一の色空間毎にクラスタリングを実行する（ステップＳ７０４）。学習装置５００のＣＰＵ５１０は、クラスタリングした色空間が最後の色空間であるか否かを判断し（ステップＳ７０５）、最後の色空間でないと判断した場合（Ｓ７０５：ＮＯ）、処理をステップＳ７０４へ戻して次の色空間についての処理に移行する。

学習装置５００のＣＰＵ５１０は、最後の色空間であると判断した場合（Ｓ７０５：ＹＥＳ）、形成された各クラスタの内の一のクラスタに対応する認識対象画像をグループ化する（ステップＳ７０６）。学習装置５００のＣＰＵ５１０は、グループ化された認識対象画像をまとめてディスプレイ５４０へ出力し（ステップＳ７０７）、ユーザ指定色の選択又は入力を受け付ける（ステップＳ７０８）。学習装置５００のＣＰＵ５１０は、グループ化された認識対象画像に対応するクラスタに、受け付けたユーザ指定色を対応付けてクラスタ情報２３１として記憶する（ステップＳ７０９）。学習装置５００のＣＰＵ５１０は、形成されたクラスタの内の全クラスタについてユーザ指定色を受け付けたか否かを判断し（ステップＳ７１０）、全クラスタについてユーザ指定色を受け付けていないと判断した場合（Ｓ７１０：ＮＯ）、処理をステップＳ７０６へ戻して次のクラスタに対してユーザ指定色を受け付ける。学習装置５００のＣＰＵ５１０は、全クラスタについてユーザ指定色を受け付けたと判断した場合（Ｓ７１０：ＹＥＳ）、再学習処理を終了する。

図３８のフローチャートに示した処理手順の内のステップＳ７０７でディスプレイ５４０に出力される画面例は、学習処理におけるユーザ指定色の入力又は選択を受け付けるために表示される例と同様である（図３６参照）。これにより、一の認識対象画像毎にユーザ指定色を受け付けるよりも、ある程度グループ化され、且つクラスタリングにより客観的に類別された色に対応させてグループ化された認識対象画像毎にユーザ指定色を指定することができるので、ユーザにとっては利便性が向上する。

なお、図３８のフローチャートに示した処理手順では、先にクラスタリングを行なったが、指定色を受け付けた後に再度その受け付けられた指定色に対応するクラスタが形成されるように再度クラスタリングを実行してもよい。これにより、認識に用いられるクラスタ情報２３１の精度が向上し、色認識装置４００による認識率の向上が期待される。

また、図３８のフローチャートに示した処理手順では、先に認識対象画像がクラスタに対応してグループ化されることによりユーザの選択又は入力操作が容易になったが、グループ化の方法は他の方法でもよい。

この際、学習装置５００のＣＰＵ５１０は、各認識対象画像の分類色の比率の上位三色を基準色とし、共通の基準色を持つ認識対象画像をグループ化してもよい。例えば、図２９の説明図に示した内容例では、画像１及び画像２の基準色が「白」、「黒」、「シルバー」で共通しており、画像１及び画像２のグループと、画像３のグループとに分類される。図３９は、実施の形態２における学習装置５００のＣＰＵ５１０によって行なわれる再学習の処理手順の一例を示すフローチャートである。

学習装置５００のＣＰＵ５１０は、再学習用に、ＨＤ５３０に再学習情報２３４として記憶してある認識対象画像を再学習用と分類色の比率とを読み出し（ステップＳ８０１）、各認識対象画像について読み出した分類色の内の比率が上位所定数（三色）である分類色を基準色としてグループ化する（ステップＳ８０２）。学習装置５００のＣＰＵ５１０は、グループ化された認識対象画像をまとめてディスプレイ５４０へ出力し（ステップＳ８０３）、ユーザ指定色の選択又は入力を受け付ける（ステップＳ８０４）。

学習装置５００のＣＰＵ５１０は、出力している認識対象画像が再学習用の最後の認識対象画像であるか否かを判断し（ステップＳ８０５）、最後の認識対象画像でないと判断した場合（Ｓ８０５：ＮＯ）、処理をステップＳ８０３へ戻して次のグループの認識対象画像を出力する。

学習装置５００のＣＰＵ５１０は、最後の認識対象画像であると判断した場合（Ｓ８０５：ＹＥＳ）、ステップＳ８０２でグループ化する際に基準色とした所定数の各分類色の組み合わせを各次元とする色空間を定義する（ステップＳ８０６）。なお、定義された色空間が既存の色空間と同一である場合は、既存の色空間を使用する。

学習装置５００のＣＰＵ５１０は、クラスタリング手段２１５の機能により、受け付けたユーザ指定色毎に、各再学習用の認識対象画像の分類色の比率に基づいて一の色空間に対しクラスタリングを実行する（ステップＳ８０７）。学習装置５００のＣＰＵ５１０は、クラスタリングした色空間が最後の色空間であるか否かを判断し（ステップＳ８０８）、最後の色空間でないと判断した場合（Ｓ８０８：ＮＯ）、処理をステップＳ８０７へ戻して次の色空間についての処理に移行する。一方、学習装置５００のＣＰＵ５１０は、最後の色空間であると判断した場合（Ｓ８０８：ＹＥＳ）、再学習処理を終了する。

図３９のフローチャートに示した処理手順においても、ユーザ指定色の選択又は入力を受け付けるために認識対象画像をディスプレイ５４０に出力する際も（Ｓ８０３）、学習処理におけるユーザ指定色の入力又は選択を受け付けるために表示される例と同様である（図３６参照）。

図３８又は図３９のフローチャートに示した処理により、ユーザが再学習用の認識対象画像に対してユーザ指定色を入力又は選択する前、又は、それと同時に、再学習用の認識対象画像をグループ毎に表示することができる。特に、前記グループ毎に一のユーザ指定色を入力又は選択する前に、グループに属する抽出された撮像画像を指定する操作が楽になる。この場合には類似する色の抽出された撮像画像が集まるために、自動的に類似色と判断される抽出された撮像画像単位で表示し、ユーザが同一のユーザ指定色のグループとして相応しくない抽出された撮像画像をグループから取り除く操作を受け付ける構成であることが望ましい。類似色の決定は対象となる撮像画像の処理対象部位の画素数の頻度が最も高い色の各表色系空間での位置から判断してもよいし、対象となる撮像画像の処理対象部位の分類色の比率から判断してもよい。後者の場合、本実施形態では特に上位３つの比率の分類色の色空間を使用していることから、上位３つの比率のみを判断対象とすることもできる。

ユーザがディスプレイ５４０に表示された認識用対象画像に対してユーザ指定色を入力又は選択する前に、学習装置５００でクラスタリングを行って適切なクラスタを形成しておき、各クラスタに対応する認識対象画像に対してユーザ指定色をユーザが入力又は選択するときには、この該当する認識対象画像を同時に表示することが望ましい。したがって、再学習の際も、図３６の画面例に示したように、タブ毎に各クラスタに対応する認識対象画像が表示されるようにする（図３６の画面例は、この場合、全部で６つの新たなクラスタが形成された場合に相当する）。

なお、ユーザがユーザ指定色を入力又は選択する操作をより容易にするため、選択されて現在表示されているクラスタに合致する色を自動的に候補として右側のウィンドウのカラーパレットから候補表示することが望ましい。さらに、図３６の画面例では同じクラスタに対応する認識対象画像は、予め選択状態になっており、その中から選択を解除する操作をユーザが行う構成であることが望ましい。なぜならば、同じクラスタに属しているため同色のユーザ指定色である可能性が高く、何度も認識対象画像を選択するよりも、逆に、選択を解除する方がユーザの手間が回避されるからである。この図３６の画面例では、各タブで、ユーザによりユーザ指定色が入力又は選択された後、「ＯＫ」ボタンが押下される都度、与えられた指定色に対応して再度クラスタリングを開始する構成であってもよいが、必要な全てのタブのユーザ指定色を選択した後に「ＯＫ」ボタンを押下して再度クラスタリングする構成であってもよい。そうすることで、クラスタリングの回数を抑えることができる。

なお、Ｋ−Ｍｅａｎｓ法においては各色空間でクラスタ数をクラスタリング前に指定する必要があるが、例えば、前のクラスタリング実行時よりも１つ多いクラスタ数を指定し、新たに形成されたクラスタに対して、不明であるとして抽出された認識対象撮像画像のみ属する場合には適切なクラスタが形成されたとして処理を続行し、一方、新たに形成されたクラスタに対して抽出された認識対象画像と学習用撮像画像とが混在する場合にはそのクラスタを処理対象とせず（ユーザにユーザ指定色の入力又は選択をさせない）、次の色空間について処理する。よって、新たに形成されたクラスタが適正なクラスタであるか否かを判断し、適正なクラスタについてのみユーザにユーザ指定色をユーザが入力又は選択する構成であることが望ましい。新たに形成されたクラスタが適正なクラスタであるか否かの指標は、上述の新たなクラスタに属する画像が抽出された認識対象画像からなるか否かの他に、新たなクラスタが他のクラスタと十分に離れているか否か（あまりも近いと色認識時に正確に判断することができない）、新たなクラスタが他のクラスタと比べて占有領域が大きくないか否かがある。この適正なクラスタであるか否かの判断は、ユーザが認識対象画像に対して、ユーザ指定色を入力又は選択して抽出された認識対象画像及び学習用撮像画像で再度クラスタリングする構成の場合にもクラスタ形成時に適用することが望ましく、前記第１の実施形態のクラスタ形成時に適用することも望ましい。ただし、一部の指標は使用できない場合がある。

以上の前記各実施形態により本発明を説明したが、本発明の技術的範囲は実施形態に記載の範囲には限定されず、これら各実施形態に多様な変更又は改良を加えることが可能である。そして、かような変更又は改良を加えた実施の形態も本発明の技術的範囲に含まれる。このことは、請求の範囲及び課題を解決する手段からも明らかなことである。

Claims (8)

1. 撮像装置により撮像された複数の撮像画像について、各撮像画像から所定の処理対象領域を判別する判別ステップと、判別された処理対象領域に含まれる複数の画素の色分布を算出する算出ステップと、夫々の撮像画像について算出された色分布に基づきクラスタリングを実行してクラスタを形成する形成ステップとを含み、形成したクラスタに対応させて色を類別する色類別方法であって、
   前記算出ステップは、
   前記処理対象領域に含まれる複数の画素を所定の分類色によって分類するステップと、
   各分類色の比率を算出するステップと
   を含み、
   前記形成ステップは、
   各撮像画像の処理対象領域について、算出された前記比率が上位所定数である分類色を抽出するステップと、
   抽出された前記所定数の分類色を各次元とし、各分類色の比率の大きさを各次元方向に持つ複数の色空間を定義するステップと、
   各撮像画像について、算出された分類色の比率に基づき各色空間における座標を特定するステップと、
   各色空間で特定された座標群を前記所定数以上の数のクラスタにクラスタリングするステップと
   を含むことを特徴とする色類別方法。
2. 撮像装置により撮像され、指定色が夫々与えられている複数の撮像画像について、各撮像画像から所定の処理対象領域を判別する判別ステップと、判別された処理対象領域に含まれる複数の画素の色分布を算出する算出ステップとを実行し、算出された色分布に基づきクラスタリングを実行して各撮像画像に与えられている指定色毎にクラスタを形成する形成ステップとを含む学習処理を実行しておき、認識対象画像について前記判別ステップ及び算出ステップを実行し、算出された色分布に基づいて前記指定色毎のクラスタの内のいずれに属するかを判定する判定ステップを実行し、前記処理対象領域の色を認識する色認識方法であって、
   学習処理における前記算出ステップは、
   前記撮像画像の処理対象領域に含まれる複数の画素を所定の分類色によって分類するステップと、
   各分類色の比率を算出するステップと
   を含み、
   前記形成ステップは、
   各撮像画像の処理対象領域について、算出された前記比率が上位所定数である分類色を抽出するステップと、
   抽出された分類色を各次元とし、各分類色の比率の大きさを各次元方向に持つ色空間を定義するステップと、
   各指定色毎に、該指定色が与えられている各撮像画像について、算出された分類色の比率に基づき各色空間における座標を特定するステップと、
   各色空間で特定された各指定色毎の座標の集合を、前記指定色のクラスタとして形成するステップと
   を含む
   ことを特徴とする色認識方法。
3. 前記上位所定数は、上位三色であること
   を特徴とする請求項２に記載の色認識方法。
4. 前記判定ステップは、
   前記認識対象画像について算出した各分類色の比率に基づき、各色空間における座標を夫々特定するステップと、
   特定した座標、及び前記色空間に形成されている各クラスタの重心の間の距離を算出する距離算出ステップと、
   色空間毎に、前記距離が最短であるクラスタを夫々特定するステップと、
   特定した各クラスタの指定色の内から一を認識色として選択する選択ステップと
   を含み、
   選択された認識色を前記認識対象画像の処理対象領域の色と認識する
   ことを特徴とする請求項２または請求項３に記載の色認識方法。
5. 前記選択ステップは、
   各色空間に対して夫々特定したクラスタの指定色の内で最も頻度（度数）が高い指定色を選択する第１の基準、
   各色空間に対して夫々特定したクラスタの指定色の内で最も頻度（度数）が高い指定色が無彩色である場合であって、前記クラスタの指定色に、有彩色が含まれているときは前記有彩色を選択する第２の基準、
   特定したクラスタの指定色が前記他の色である場合、前記クラスタは無視する第３の基準、及び、
   各色空間に対して夫々特定したクラスタの指定色の内で最も頻度（度数）が高い指定色が前記他の色である場合、認識色を不明とする第４の基準
   の内の一又は複数の基準に基づいて選択する
   ことを特徴とする請求項４に記載の色認識方法。
6. 特定されたクラスタの重心との距離が所定値以上である場合、又は認識色が不明とされた場合の認識対象画像を、各分類色の比率と共に記録しておくステップ
   を更に含むことを特徴とする請求項２乃至５のいずれかに記載の色認識方法。
7. 記録してある各認識対象画像を出力するステップと、
   出力した前記各認識対象画像について指定色の設定を受け付けるステップと、
   設定された指定色が共通する認識対象画像について、共に記録してある分類色を各次元とする色空間における座標を特定するステップと、
   特定された座標群を、設定された指定色に対応する座標の集合としてクラスタリングすることにより新たに前記指定色のクラスタとして形成するステップと
   を更に含むことを特徴とする請求項６に記載の色認識方法。
8. 撮像装置により撮像され、指定色が夫々与えられている複数の撮像画像について、各撮像画像から所定の処理対象領域を判別する判別手段と、判別した処理対象領域に含まれる複数の画素の色分布を算出する算出手段と、算出した色分布に基づきクラスタリングを実行して各撮像画像に与えられている指定色毎にクラスタを形成しておく形成手段と、認識対象画像が与えられた場合、該認識対象画像について前記判別手段による判別及び前記算出手段による算出を行なう手段と、算出した色分布に基づいて前記指定色毎のクラスタの内のいずれに属するかを判定する判定手段とを備え、前記認識対象画像の処理対象領域の色を認識するようにしてある色認識装置であって、
   前記算出手段は、
   前記処理対象領域に含まれる複数の画素を所定の分類色によって分類する手段と、
   各分類色の比率を算出する手段と
   を備え、
   前記形成手段は、
   各撮像画像の処理対象領域について、算出された前記比率が上位所定数である分類色を抽出する手段と、
   抽出された分類色を各次元とし、各分類色の比率の大きさを各次元方向に持つ色空間を定義する手段と、
   各指定色毎に、該指定色が与えられている各撮像画像について、算出された分類色の比率に基づき各色空間における座標を特定する手段と、
   各色空間で特定された各指定色毎の座標の集合を、前記指定色のクラスタとして形成するようにしてあること
   を特徴とする色認識装置。

Images