JP2002203242A

JP2002203242A - 植物認識システム

Info

Publication number: JP2002203242A
Application number: JP2000403201A
Authority: JP
Inventors: Toyohisa Kaneko; 豊久金子; Takashi Saito; 剛史斉藤
Original assignee: Japan Science and Technology Corp
Current assignee: Japan Science and Technology Agency
Priority date: 2000-12-28
Filing date: 2000-12-28
Publication date: 2002-07-19
Anticipated expiration: 2020-12-28
Also published as: JP3918143B2

Abstract

(57)【要約】【課題】花を付ける植物の画像認識を行い、草花の識
別を行う。【解決手段】花と葉のディジタル画像より、クラスタ
リング法を用いて対象物である花と葉の画像を抽出し、
その抽出された花と葉の画像より得られる情報を特徴量
とする。単数または複数の特徴量を求め、その求められ
た特徴量と、あらかじめデータベースに登録してある各
種の植物の特徴量とを統計的手法を用いて解析して野草
の種類を判別する。また、認識結果では正しい１つの野
草名称を得るシステムや、類似の数個を画面に表示し、
最終的には人の目による認識を行うシステムを構成し、
その認識結果をもとに野草の種類や、植物辞典に掲載さ
れているような情報を表示することもできる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像認識に関する
ものであり、特に花を付ける植物の画像を認識するシス
テムに関する。

【０００２】

【背景技術】道路や山道、野原など至るところで野草を
見ることができる。しかし、私たちは野草の名称や分類
について知らないことが多い。図鑑を利用して野草の名
称を知ろうとするが、植物学的な分類に基づいて整理さ
れているために素人にはわかりにくく時間もかかる。ま
た携帯型図鑑（例えば、林弥栄，「山渓ハンディ図鑑
１野に咲く花」，山と渓谷社，東京，1998）では、８
４科約１０００種の野草が収録されている。野草の種類
数が多いため、図鑑から特定の野草を見つけるだけでな
く、同科の野草を見つけることさえ困難である。もし、
野草の判別に自動認識の技術を適用することができれ
ば、専門家でなくともその名称を容易に知ることができ
る。さらに近年の携帯型コンピュータ、デジタルカメラ
などの普及により、安価で可搬姓の高い自動認識システ
ム実現のための環境は整いつつある。静止画像からのプ
リミティブな物体や人間の顔を認識したり、ＣＴ画像か
ら肺癌などの認識に関する研究事例は多い。しかし、
魚、昆虫、植物などの自然物を対象とした認識について
の報告は少ない。例えば、平岡ら（平岡透，矢野啓
司，瀧山龍三，「輪郭線及びテクスチャ情報に基づく
画像認識法 −魚画像認識への応用」，信学技報，PRMU
96-148，no.1，pp.55-62，Jan.1997）は魚のテクスチャ
と形状を基にした認識を行っているが、実際に撮影した
画像ではなく、図鑑写真を加工した画像を用いている。
Ｉｍら（Cholhong Im, Hirobumi Nishida,Toshiyasu L.
Kunii, "Recognizing Plant Species by Leaf Shapes
- A CaseStudy of the Acer Family", ICPR'98, pp.117
1-1173, Brisbane, Australia, Aug.1998）はカエデ科
の樹木の認識を葉形状より行っている。関田ら（関田
巌，栗田多喜夫，大津展之，「複素自己回帰モデル
による形の識別」，信学論（Ｄ-II），vol.J73-Ｄ-II，
No.6，pp.804-811，Jun.1990）は木の葉の認識を行って
いるが５種サンプル数１６枚とデータが少ない。金山ら
（金山和義，川嶋稔夫，青木由直，「植物データを
対象とした画像インデクシング」，信学技報，PRMU97-1
72，no.11，pp.151-158，Nov.1997）、竹本ら（竹本
清香，興梠正克，村岡洋一，「花冠の特徴に基づく花
検索システム」，1999，信学総大，Ｄ.12-66）は植物写
真を基にしたインデクシングを目標としているが、野草
の認識までは至っていない。本発明では実際に生息して
いる野草を用いて、撮影から認識までの一連のシステム
実現を目的とする。

【０００３】

【発明が解決しようとする課題】本発明の目的は、花を
付ける植物の画像認識を行い、草花の識別を行うことを
目的としている。

【０００４】

【課題を解決するための手段】上述の目的を達成するた
めに、本発明は、花や葉の特徴をもとに植物の種類を判
別する植物認識システムであって、前記入力された花お
よび／または葉のディジタル画像より、対象物である花
および／または葉の画像を抽出し、前記抽出された花お
よび／または葉の画像より単数または複数の特徴量を求
め、前記求められた特徴量と、あらかじめデータベース
に登録してある各種の植物の特徴量とから、前記植物の
種類を判別する。これにより、花をつける植物を対象と
した画像認識として、その花画像、葉画像より自動的に
画像認識をし、草花の識別を行うことができる。

【０００５】前記花および／または葉の画像を抽出する
ためには、色空間において行うクラスタリング法を用い
ることができる。前記特徴量とは、前記抽出された花ま
たは葉の画像より求められる値であり、次に定義するも
のから選択したものとすることができる。１．花の画像において、重心Ｇから花弁の輪郭までの距
離をｄとし、重心との角度θを横軸，縦軸をｄとした波
形のグラフにしたときの、前記波形における平均谷間距
離ｌ，山の高さの平均をｈとしたときの、花弁の形状ｌ
／ｈ。２．花弁数。但し、花弁数が７以上の場合は７とする。３．花の面積をＳ、重心をＧ（ｇ_ｉ，ｇ_ｊ）としたとき
の

【数５】で定義される、花のモーメントＭ。４．花の周囲長をＬとしたとき

【数６】Ｒ＝４πＳ／Ｌ^２で定義した、花の円形度Ｒ。５．色合いをＨ、彩度をＳとしたときのＨＳ色空間を半
径１の円とし、その円の中心をｘｙ平面の原点に設置し
た空間内において、前記花に最大分布している色に該当
する色のｘ座標値。６．前記５の空間内で、前記花に最大分布している色に
該当する色のｙ座標値。７．前記５の空間内で、前記空間をさらに−１≦ｘ≦１
および−１≦ｙ≦１を分割したときの格子内に含まれる
色を１単位の色集合とし、前記花に最大分布している色
が含まれる色集合内に含まれる色の分布割合。８．前記５の空間内で、前記花に２番目に分布している
色に該当する色のｘ座標値。９．前記５の空間内で、前記花に２番目に分布している
色に該当する色のｙ座標値。 10．前記７の色集合で、前記花に２番目に分布している
色が含まれる色集合内に含まれる色の分布割合。 11．前記葉において、鋸歯の頂点を結んでできる外側近
似形状の面積Ｓ_Ｅと、鋸歯の谷を結んでできる内側近似
形状の面積Ｓ_Ｉとしたときの、葉の形状Ｓ_Ｉ／Ｓ _Ｅ。 12．葉のアスペクト比。 13．前記葉の面積をＳ、重心をＧ（ｇ_ｉ，ｇ_ｊ）とした
ときの

【数７】で定義される、葉のモーメントＭ。 14．前記葉の周囲長をＬとしたとき

【数８】Ｒ＝４πＳ／Ｌ^２で定義した、葉の円形度Ｒ。 15．前記葉の重心をＧ、基部と先端を結ぶ長さｌの中央
脈の中心をＣとしたとき、前記葉の先端方向を正の向き
としたときの中心Ｃから重心Ｇまでの距離をｂとしたと
きの、前記葉の重心の偏り（ｌ＋２ｂ）／ｌ。 16．前記葉の基部の開き角度。 17．前記葉の先端の開き角度。 18．前記葉が単葉ならば０、複葉ならば１。 19．前記５の空間内で、前記葉に最大分布している色に
該当する色のｘ座標値。 20．前記５の空間内で、前記葉に最大分布している色に
該当する色のｙ座標値。 21．前記７の色集合で、前記葉に最大分布している色が
含まれる色集合内に含まれる色の分布割合。

【０００６】前記植物の種類を判別するための解析に、
前記特徴量に正規化を施し、区分的線形識別関数を用い
て行うことができる。前記解析に用いる前記特徴量は、
認識率のよい組み合わせである、あらかじめ定めた数の
特徴量を用いるため、認識に必要な特徴量７，８個で十
分な認識率を得ることもできる。認識結果を表示し、か
つ前記認識結果をもとに前記植物の種類やその情報を表
示することもできる。なお、上述の機能をコンピュータ
・システムに実装することができるプログラムを格納し
た記憶媒体も本発明である。

【０００７】

【発明の実施の形態】本発明の植物認識システムの実施
の形態を、図面を参照して説明する。本発明では、デジ
タルカメラ等を用いた撮影画像を入力し、野草の名称を
表示するシステムを提供する。ただし、本システムで扱
う野草は人間が明らかに花と葉を認識できる顕花植物で
あり、花が咲いている時期に撮影することを前提として
いる。ある一つの野草から花と葉を採取し、それぞれ黒
色布地（又は画用紙）上の中央付近に位置させ撮影す
る。花や葉は枯れや虫食いなどによる欠陥のないものを
採取する。また葉はその成長過程や採取位置により、葉
縁の形状が異なる場合がある。ここでは各々の野草にお
いて代表的な形の葉を用いることにする。葉は方向を持
つため基部を画像の左側、先端を右側におく。さらに花
の形状は３次元的な構造が多い。本発明で定義する特徴
量は２次元構造のみを用いている。ユーザにより撮影方
向が異なることを防ぐため、撮影は真上かそれに近い斜
め上の角度から行う。また本システムで用いる画像は赤
（Ｒ），緑（Ｇ），青（Ｂ）によるカラー画像であり、
例えばＲＧＢの各色を各８ビットで表現し、画像サイズ
は縦４８０画素、横６４０画素である。

【０００８】図１は本発明のシステムとその認識処理の
流れを示したものである。本システムは、図１（ａ）に
示すように、ＣＰＵ２０にデジタルカメラや写真読取り
装置等の画像入力装置１０、システムの操作を行うため
の入力装置３０、操作画面や認識結果を表示する表示装
置４０、認識に用いるデータや植物のデータが記録され
ている記憶装置５０が接続されている構成となってい
る。また、認識処理の流れは図１（ｂ）に示すように、
まず、認識する対象である花と葉の画像を入力装置１０
より入力し（Ｓ１００）、入力した画像から花と葉の対
象物を切り出す背景分離処理をＣＰＵ２０で行う（Ｓ１
１０）。さらにＣＰＵ２０は抽出した対象物の画像をも
とに、定義した特徴量を求め（Ｓ１２０）、対象物の認
識を行う（Ｓ１３０）。画像から対象物を抽出する作業
は極めて重要であり、本発明のシステムではクラスタリ
ング法を用いることにする。特徴量は花、葉それぞれに
おいて定義する。そして特徴量を入力データとして区分
的線形識別関数による認識を行う。

【０００９】［背景分離］＜入力画像の性質と方針＞図２は花と葉の自然の状態を
そのまま撮影した画像を示したものである。ほとんどの
花や葉は群生しているため、図２のような画像から自動
的に対象物のみを抽出することは難しい作業である。そ
こで、対象物を抽出するために光源などの撮影環境を同
一に設定し撮影する方法や、対象物の存在しない画像と
存在する画像の２枚を用い、両面像を差分することによ
り対象物を抽出する方法などが挙げられる。しかし、本
発明は安価なシステム、かつユーザに対する操作の軽減
を考慮する必要がある。そこで本発明のシステムでは、
対象物の背景に黒色の布地（もしくは画用紙）を用い
た。これは対象物である花が極彩色や無彩色（白色）に
分布し、葉は一般的に緑色であり、撮影時における太陽
光などの光の反射を最小限に抑えるためである。図３は
前述の方法で撮影した、対象物の背景に黒色布地を置い
て撮影した画像である。本発明のシステムで定義する特
徴量の多くは対象物の正確な輪郭形状を必要とするた
め、正確な背景分離は不可欠である。そこで、この入力
画像においてエッジ検出やしきい値選定法などの諸手法
により背景分離を試みたが、以下に述べるような要因に
より必ずしも背景分離を容易には行えなかった。対象物（特に花）が立体的な構造を持ち、図３（ａ）
のように相互に影を作り背景との差が低くなる。図３（ｂ）のように、対象物の影が背景領域に写り、
背景が一様でなくなる。背景領域上の四隅に明暗が生じることがある。そこで次に述べるクラスタリング法を用いて背景分離を
行う。

【００１０】＜クラスタリング＞本研究におけるクラス
クリングは色空間において行う。色空間におけるクラス
タリングは、静止カラー画像の限定色選択を目的として
研究されている（Paul S.Heckbert, "Color image quan
tization for frame buffer display", pp.297-307, SI
GGRAPH'82, Boston, Jul.1982）。ここでは最初に赤
（Ｒ）、緑（Ｇ）、青（Ｂ）の３次元色分布空間を考
え、この空間においてseed（初期クラスタ値）を導出し
た後クラスタリングを行う。（１）初期クラスタ決定本発明のシステムでは最終的にクラスタ数を背景と対象
物の２つにする。クラスタリングはＲＧＢ空間における
k-means法（ｋ−平均法）を用いて行い、以下の手順で
初期クラスタを導出する。ＲＧＢ空間における分布 seedを求めるに当たって、ＲＧＢ空間分布を考える。図
４はＲＧＢ空間を示した図である。この図４のようにま
ず各座標軸において分布の最小、最大両端においてノイ
ズ成分と考えられる要素を無視するため、両端から全画
素数の０．１％（約３００画素）の分布を無視する。次
に両端を除いた分布において、各座標軸に沿ってｎ個に
均等分割したｎ^３個の小空間を考える。この分布空間よ
りseedを検出する。ただし本発明の実施形態ではｎ＝５
とする。 seed検出 seed検出は以下の手順により行う。まず頻度数が最大で
ある小空間を選ぶ。そして、連結する小空間が共にseed
となることを避けるために、図５に示すような、選ばれ
た小空間に隣接する６小空間はseedに選択しない。選択
した小空間とそれを囲む６小空間を取り除いた後、再び
最大頻度の小空間を選ぶプロセスを繰り返す。選ばれた
小空間における中央値をseedとする。初期クラスタ数
（seed数）ｋは条件を満たす全ての小空間とする。

【００１１】（２）ｋ−ｍｅａｎｓ法（ｋ−平均法）本手法のアルゴリズムは以下のとおりである。最初にｋ個の仮クラスタの重心seedを決定する。本
研究では前節で述べた方法によりseedを求める。全てのデータを最短距離にあるクラスタに分類す
る。距離としてはＲＧＢ空間のユークリッド距離を使用
する。再分類されたクラスタから新たにクラスタの重心を
求める。の処理で新たなクラスタ中心が全て以前と同じで
あれば終了し、そうでなければに戻る。

【００１２】図６は図３（ａ）の花画像に対するクラス
タリング結果をＲＧＢ空間分布に示した図であり、図７
はクラスタリング結果を画像上に展開したものである。
図６のような色空間で同じクラスタに分類されても、画
像上では必ずしも同じ領域に分布しているとは限らな
い。そこで展開した画像で接合されていない領域は、全
て独立のクラスタとする。図６の色空間におけるクラス
タ数は６である。しかし図７ではクラスタ数が４７５と
増大する。この図では入力画像における色の移り変わり
と考えられる場所で画素数が少ないクラスタ（小領域）
が多数存在する。そこで次にクラスタ数の軽減を目的と
し、これら小領域の除去を行う。

【００１３】＜クラスタ統合＞クラスタ統合は小領域ク
ラスタの除去を目的とした１次クラスタ統合、背景領域
に属するクラスタを統合する２次クラスタ統合、さらに
画像状況に応じて影を除去する３次クラスタ統合の３過
程から構成する。最後に背景領域を除去することにより
対象物を抽出する。（１）１次クラスタ統合各クラスタに属する画像を調べて、その数があるしきい
値Ｔ_１以下のクラスタを統合の対象とする。この値は統
合処理により対象物の輪郭が欠けないように注意する。
統合は各クラスタの平均色を求め、周囲のクラスタと比
較して最も色差の小さいクラスタへ吸収させる。色差は
ＲＧＢ空間のユークリッド距離とする。図８は前述の処
理をＴ_１＝３００（全画素数の０．１％）として行っ
た、１次クラスタ統合後の結果を示したものである。（２）２次クラスタ統合本システムで使用する花及び葉の画像では、必ず対象物
は画像の中心付近に置かれ、画像から対象物がはみ出す
ことは無い。この条件下では画像の外側縁を含むクラス
タは必ず背景に属する。従ってこの性質を利用し、１次
クラスタ統合の結果を背景Ａ_ｂに属するか、対象物Ａ_ｏ
に属するか、もしくは未定Ａ_ｔに分別する。全クラスタ
をＡ_ｂ，Ａ_ｏ，Ａ_ｔのいずれかに分類させるため、本発
明のシステムではエッジ強度ｅを定義する。そしてクラ
スタ境界におけるｅの分布を求め、分布の検定を行うこ
とによりクラスタ統合処理を行う。即ち現段階において
は、幾つものクラスタからなる背景領域を、１つのクラ
スタに統合することを目的とする。図９はエッジ強度ｅ
の導出について説明するための図であり、画素をクラス
タ別に表している図である。この図９を用いて説明す
る。クラスタＣ_ｌとＣ_２の境界線を検出し、境界線上の画
素の隅に番号をつける。この隅を中心として、４×４の小領域（局所領域と呼
ぶ）を設ける。ｐ番目の局所領域において、クラスタＣ_１とＣ_２に属
する画素の入力画像におけるＲＧＢ平均値（ｒ_１，
ｇ_１，ｂ_１），（ｒ_２，ｇ_２，ｂ_２）を計算する。エッジ強度は上記平均値の差分

【数９】｛ｅ_ｐ，ｐ＝１，・・・，ｎ｝の平均値μ_１，２、分
散σ^２ _１，２を計算しておく。以上の手順により求まる
エッジ強度ｅの分布を用いてクラスタ統合を施す。背景
領域に存在するクラスタ境界では、入力画像上の輝度値
が緩やかに変化する。逆に背景領域と対象物領域のクラ
スタ境界では輝度値が急変している。まず、画像縁を含
む全てのクラスタをＡ_ｂに属させ、Ａ_ｂに属するクラス
タ間のエッジ強度の分布を正規分布Ｎ（μ_ｂ，σ_ｂ）と
仮定する。次にＡ_ｂに属するクラスタＣ_ｂとその隣接ク
ラスタＣ_ｔのクラスタ間エッジ強度の分布を対象分布Ｎ
（μ _ｔ，σ_ｔ）とする。次に、Ｎ（μ_ｂ，σ_ｂ）とＮ
（μ_ｔ，σ_ｔ）において正規分布検定を行う。仮説をμ
_ｂ＝μ_ｔとし、

【数１０】を計算する。ｚ_ｏ＜αならば対象分布は背景分布と同じ
であるとし、Ｃ_ｔをＡ_ｂに属させる。α≦ｚ_ｏ＜βなら
ば、Ｃ_ｔはＡ_ｔに属させ３次クラスタ統合の対象とす
る。そうでなければＣ_ｔをＡ_ｏに属させる。図１０は、
図８における２次クラスタ統合処理を適用した結果を示
した画像である。このように対象物と背景が正確に分離
されていることがわかる。また図７ではクラスタ数が４
７５であったのに対し、図８ではクラスタ数は２４、図
１０では２２になる。

【００１４】（３）３次クラスタ統合前統合処理により対象物と背景はほぼ正確に分離され
る。しかしながら、画像によっては背景領域に対象物の
影が生じているものがある。明確に現れる影は背景と対
象物との中間に位置し、２次クラスタ統合では処理でき
ない場合がある。そこで本プロセスでは影領域を検出
し、背景に統合する処理を行う。プロセスは以下の方法
で行う。２次クラスタ統合により求まったＡ_ｔに属するクラス
タＣ_ｉの平均輝度値をＹ _ｉとする。Ａ_ｂに属する全クラスタの平均輝度値をＹ_ｂとする。影は背景よりも暗い性質があるため、Ｙ_ｉ＜Ｙ_ｂなら
ば注目クラスタは影であり、Ａ_ｂに属させる。そうでな
ければＡ_ｏに属させる。以上の処理を全てのＣ_ｉ（Ｃ_ｉ∈Ａ_ｔ）に対して行
い、クラスタをＡ_ｂもしくはＡ_ｏに分類する。図１１
は、実際に影を持つ画像（図１１（ａ））に対して、１
次〜３次までのクラスタ統合処理を行った過程と結果
を、図１１（ｂ）〜図１１（ｄ）の順番で示したもので
ある。図１１（ｂ）のような背景領域に対象物の影が生
じている画像でも影領域を検出し、図１１（ｄ）のよう
に背景に統合することができている。

【００１５】（４）背景領域除去前述までの処理により画像は大まかなクラスタによって
表現されている。最後に背景クラスタＡ_ｂを取り除くこ
とにより対象物抽出を実現する。図１２は、図３（ａ）
の花と図１１（ａ）の葉の画像より背景分離処理を行っ
た結果を示した画像である。図３（ａ）の花と図１１
（ａ）の葉の画像より対象物抽出をした画像は、それぞ
れ図１２（ａ）及び図１２（ｂ）である。

【００１６】［特徴量］＜花の特徴量＞花の構造は多種多様で複雑である。また
入力画像から雄しべ、雌しべなどの複雑な構造を認識す
ることは難しい。そこで本研究では主に輪郭形状情報か
ら特徴量Ｆ１〜Ｆ４の４個、色情報から特徴量Ｆ５〜Ｆ
１０の６個の計１０個の花の特徴量を定義する。（１）形状情報（花）図１３は花形状の解析を示した図である。花の構造にお
いて最も大きな面積を占め、入力画像から確実に得られ
る情報として花弁が挙げられる。本システムでは、図１
３（ａ）に示すような花の輪郭情報をもとに、重心Ｇか
ら輪郭までの距離ｄを求め、図１３（ｂ）のような横軸
を角度θ、縦軸を距離ｄとした１次元波形に変換する。
この波形より以下に示す２つのパラメータを定義する。Ｆ１）花弁形状花弁幅を波形における平均谷間距離ｌ、花弁の長さを平
均山の高さｈとし、花弁の形状をｌ／ｈと定義する。Ｆ２）花弁数図１３に示す波形で極大値数を求める。花弁数が多い花
ではその数を正確に求めることが困難である。花弁数Ｎ
がＮ＞７の場合は「花弁数が多い」と明示的に示す数値
Ｎ＝７とする。Ｆ３）モーメントＦ３は次式に定義されたモーメントＭを用いる。

【数１１】ただし、式中においてＳは面積、Ｇ（ｇ_ｉ，ｇ_ｊ）を重
心とする。Ｆ４）円形度花弁の外周形状が円にどれくらい近いかを示す情報とし
て、

【数１２】Ｒ＝４πＳ／Ｌ^２より円形度を求める。ここでＬは花の周囲長を示し、０
＜Ｒ≦１である。

【００１７】（２）色情報（花）花の色は極彩色又は白などの無彩色であることが多く、
主に１色分布からなっている花、２色分布から、もしく
はそれ以上の色分布からなっている花に分類できる。本
研究では面積の大きい２色とそれらの面積割合を特徴量
として６個定義する。入力された画像情報は、光の３原
色赤，緑，青で表す、ＲＧＢ色空間値であるが、色合
い，彩度，明度の３要素で表す、ＨＳＶ色空間に変換し
色情報を得る。図１４はＨＳ空間を分割したものを示し
た図である。そして図１４に示すＨＳ空間より６個の特
徴量を得る。なお、ここでいう分布割合は、注目座標分
布数及びその４近傍座標の分布数の総和とする。Ｆ５）第１色ｘ座標最大分布数のｘ座標値Ｆ６）第１色ｙ座標最大分布数のｙ座標値Ｆ７）第１色割合その座標と４近傍座標を含めた分布
割合Ｆ８）第２色ｘ座標２番目の分布数のｘ座標値Ｆ９）第２色ｙ座標２番目の分布数のｙ座標値Ｆ１０）第２色割合その座標と４近傍座標を含めた分
布割合ただし、本研究ではＨＳＶ色空間と、色合い，輝度，彩
度の３要素で表す、ＨＬＳ色空間による特徴量を求め認
識した結果、ほとんど差が見られなかった。そのため、
ここではＨＳＶ色空間を用いた。

【００１８】＜葉の特徴量＞葉は花と比べ構造が簡単で
あり、方向が明瞭である。本研究では特徴量を求めるに
あたって最初に小葉の検出を行い、その後基部・先端の
位置を調べる。形状情報から特徴量Ｌ１〜Ｌ８の８個、
色情報から特徴量Ｌ９〜Ｌ１１の３個、計１１個の特徴
量を定義する。（１）小葉の検出図１５は単葉と複葉を示した画像である。この図１５に
示すように、葉画像は大まかに分類すると、単葉と、複
数の小葉で構成している複葉の２種類ある。特徴量にお
いては葉構造（Ｌ８）で単葉、複葉の区別をする。ただ
しＬ８と色情報を除いた特徴量では単葉における特徴を
定義する。そのため最初に単葉、複葉の分類を行い、複
葉の場合は小葉の検出を行う必要がある。小葉の検出は
花の形状情報を求める手順と同様に、重心と輪郭点間の
距離を求め、２次元画像から１次元波形に変換する。こ
の波形より極小点数を求め小葉があるか否か判断する。（２）基部・先端位置の決定葉の方向は先に述べたように基部を左、先端を右という
ように、撮影条件で指定している。しかし、基部・先端
の形状には様々な種類がある。本発明のシステムでは基
部・先端の形状を凸形状、凹形状に分類し、極点を求め
ることによりその位置を決定する。

【００１９】（３）形状情報（葉）ほとんどの葉は緑色であるため、分類には色情報よりも
形状情報のほうが有効であると考えられる。そこで本シ
ステムでは葉の形状としてアスペクト比、モーメントな
ど８個の特徴量を定義する。Ｌ１）葉縁の形状図１６は鋸歯を有する葉を示した図である。葉縁には、
この図１６のように鋸歯の有るものや、無いもの、その
大きさの違いなど様々な形状があるが、これらを解析し
区別することは困難な作業である。そこで本システムで
は、鋸歯の割合を定義し、この値を特徴量として用いる
ことにする。鋸歯の割合は図１６に示すような外側近似
形状、内側近似形状を生成しそれら面積Ｓ_Ｅ，Ｓ_Ｉの比
（Ｓ_Ｉ／Ｓ_Ｅ）として与える。Ｌ２）アスペクト比葉のアスペクト比を定義する。またモーメント、円形度
については花の場合と同様にして求める。Ｌ３）モーメントＦ３と同様に、式［数１１］に定義されたモーメントＭ
を用いる。Ｌ４）円形度Ｆ４と同様に、式［数１２］に定義されたＲを求める。Ｌ５）重心の偏り図１７は葉のパターンの例を示した図であり、葉の重心
は大別すると図１７に示すように３パターンになる。葉
の重心をＧ、基部、先端を結ぶ中央脈の中心をＣとし、
重心の偏りを

【数１３】Ｌ５＝（ｌ＋２ｂ）／ｌ（ただし、−１
／２≦Ｌ５≦１／２）と定義する。

【００２０】葉の基部、先端は縁の形状と同様に葉の特
徴を示すものとして有効な情報である。本システムでは
基部、先端の形状として各々の角度θ_１，θ_２を求め、
それらを特徴量として定義する。図１８は葉の基部と先
端の角度の定義を示したものである。図１８に示すよう
に角度は基部Ａ、先端Ｂの各々から両側へｄ離れた点
（基部側：Ａ_１，Ａ_２，先端側：Ｂ_１，Ｂ_２）を求め
る。それよりＬ６，Ｌ７を求める。Ｌ６）基部角度 θ_１＝∠Ａ_１ＡＡ_２Ｌ７）先端角度 θ_２＝∠Ｂ_１ＢＢ_２Ｌ８）葉構造本システムで扱う葉は図１５で示したように、単葉と複
葉とに大別される。そこで特徴量として前者の場合Ｌ８
＝０、後者の場合Ｌ８＝１と定義する。分類方法は
「（１）小葉の検出」で先述したとおりである。

【００２１】（４）色情報（葉）葉の色は一般的に緑色１色分布である。そのため色情報
は、花の場合と異なり最大分布色のみを定義する。定義
は花の場合と同様である。Ｌ９）第１色ｘ座標最大分布数のｘ座標値Ｌ１０）第１色ｙ座標最大分布数のｙ座標値Ｌ１１）第１色割合その座標と４近傍座標を含めた分
布割合

【００２２】＜認識法＞現在では数多くの認識法が提案
されている。本発明のシステムでは前述の定義で求まっ
た特徴量に正規化を施す。そして区分的線形識別関数を
用いて認識を行う。なお、詳細については、以下の実施
例を参照されたい。

【００２３】＜実施例＞次に、実施例として本発明のシ
ステムを用いての植物認識の実験を行った。実験のため
に、入力画像は各種２０セットずつ用意した。また認識
は正識別率を少数サンプルから推定するために、Leave-
one-out methodを用いた。即ち区分的線形識別関数のプ
ロトタイプ数を１９、実験データ数を１とする。［背景分離］本発明の発明者たちは、大学のキャンパス
付近に生息する野草を撮影し、３４種２０セットの花画
像と葉画像を用いて背景分離処理を行った。実験におい
て設定した各パラメータを［表１］に示し、処理結果を
［表２］に示す。花画像では９８．５３％、葉画像では
９９．１２％の抽出率を得た。

【表１】

【表２】このように、撮影画像から対象物を切り出す手法とし
て、クラスタリング法を採用し、その有効性を検証する
ことができた。一般的に色空間におけるクラスタリング
処理では、後処理としてクラスタ統合を施す必要があ
る。そこで３段階からなる統合処理をすることにより、
正確な対象物抽出が実現可能となった。

【００２４】［認識］次に背景分離処理により抽出した
対象物面像をもとに各特徴量を計算した。そしてこれら
を入力として認識を行った。本実施例では全ての特徴量花のみの特徴量葉のみの特徴量の３組の特徴量を用いて認識率を求めた。結果を［表
３］に示す。

【表３】この表３は認識結果において第１侯補のみを考慮した場
合と、第２侯補、第３候補まで考慮した場合における認
識率を示す。全ての特徴量を用いた場合には９６．０３
％の認識率を得た。

【００２５】本システムでは対象物のサイズ情報を考慮
していない。しかしながら、［表３］を参照してもわか
る通り、サイズ情報が無くても十分な認識率を得てい
る。これは本実施例で用いた野草種類数が少なく、サイ
ズが未知でも色や形状情報のみで十分であるからと考え
る。手動測定したサイズ情報を含めた予備実験を行った
結果、全ての特徴量で９６．９１％（即ち、０．８８％
の向上）であった。

【００２６】次に本システムを用いて、有効な特徴量を
求める実験を行った。まず２１個の特徴量より１個を選
び認識を行う。つまり特徴量１で２１通りの認識を行
う。この結果より最も認識率の高い特徴量を求め、これ
を最も有効な特徴量とする。次にこの特徴量と残りの２
０個の組み合わせ（２０通り）を用いて認識を行う。同
様に認識結果より最も認識率の高い特徴量を求め、これ
を２番目に有効な特徴量とする。以後同様にして有効な
特徴量を決定していく。［表４］は決定された有効な特
徴量を示したものである。

【表４】また、図１９は特徴量数と認識率の変化を示したグラフ
である。図１９のグラフを見てもわかる通り、この結果
より特徴量数７，８個で十分な認識率を得ている。さら
に野草１６種２０セットにおける認識実験（Takeshi Sa
itoh, Toyohisa Kaneko, "Automatic Recognition of W
ild Flowers", ICPR2000, vol.2, pp.507-510, Barcelo
na, Spain, Sep.2000）と比較すると、有効な８特徴量
の内、花の特徴が占める割合が増えていることがわかっ
た。これは、葉よりも花の情報の方が有効であるからで
ある。

【００２７】次に誤認識について検討を行った。その結
果、誤認識しやすいのは同科の野草である傾向があっ
た。また葉形状は異なっていても、花同士が似た形状や
色をしている場合誤認識が起こりやすい。これは前述の
認識結果からも推察できるが、葉よりも花の情報の方が
有効であるためである。

【００２８】＜他の実施形態＞前述の実施例では、春か
ら初夏にかけての野草を用いている。そのため季節情報
や採取場所等を特徴量として入力しなくても十分な認識
率を得たが、画像から計測される特徴量に加えて季節、
場所、時間等の情報も特徴量として加えることで、より
高い認識率を得ることができる。また、認識結果では正
しい１つの野草名称を得るシステムにしてもよいし、類
似の数個を画面に表示し、最終的には人の目による認識
を行うシステムもよい。その認識結果をもとに野草の種
類や、植物辞典に掲載されているような情報を表示する
こともできる。本発明に関するプログラムを格納した記
憶媒体から、プログラムをシステムで読み出して実行す
ることにより、本発明の構成を実現することができる。
この記録媒体には、ＤＶＤ、ＣＤ、ＭＤ、ＭＯ、フロッ
ピー（登録商標）・ディスク、磁気テープ、ＲＯＭカセ
ット等がある。

【００２９】

【発明の効果】本発明のシステムにより、自然物を対象
とした画像認識として、野草を取り上げ、その花画像、
葉画像より計測できる野草の種類判別に有効な２１個の
特徴量を用いて自動的に画像認識をし、草花の識別を行
うことができた。また、本システムを用いて、認識に必
要な特徴量７，８個で十分な認識率を得ることができ
た。

【図面の簡単な説明】

【図１】本発明のシステムとその認識処理の流れを示
した図である。

【図２】花と葉の自然の状態をそのまま撮影した画像
を示した図である。

【図３】対象物の背景に黒色布地を置いて撮影した画
像を示した図である。

【図４】ＲＧＢ空間を示した図である。

【図５】頻度数が最大である小空間と、それに隣接す
る６小空間を示した図である。

【図６】花画像に対するクラスタリング結果をＲＧＢ
空間分布に示した図である。

【図７】クラスタリング結果を展開した画像を示した
図である。

【図８】１次クラスタ統合処理を適用した結果の画像
を示した図である。

【図９】エッジ強度ｅの導出について説明するための
図である。

【図１０】２次クラスタ統合処理を適用した結果の画
像を示した図である。

【図１１】実際に影を持つ画像において１次〜３次ま
でのクラスタ統合処理を行った過程と結果を示した図で
ある。

【図１２】花と葉の画像より背景分離処理を行った画
像を示した図である。

【図１３】花形状の解析を示した図である。

【図１４】ＨＳ空間を分割したものを示した図である

【図１５】単葉と複葉の画像を示した図である。

【図１６】鋸歯を有する葉を示した図である。

【図１７】葉のパターンの例を示した図である。

【図１８】葉の基部と先端の角度の定義を示した図で
ある。

【図１９】特徴量数と認識率の変化を示したグラフを
示した図である。

【符号の説明】

１０画像入力装置２０ＣＰＵ３０入力装置４０表示装置５０記憶装置

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｔ 7/60 １５０Ｇ０６Ｔ 7/60 １５０Ｓ１５０Ａ

Claims

【特許請求の範囲】

【請求項１】花や葉の特徴をもとに植物の種類を判別す
る植物認識システムであって、花および／または葉のディジタル画像より、対象物であ
る花および／または葉の画像を抽出し、前記抽出された花および／または葉の画像より単数また
は複数の特徴量を求め、前記求められた特徴量と、あらかじめデータベースに登
録してある各種の植物の特徴量とから、前記植物の種類
を判別することを特徴とする植物認識システム。
【請求項２】請求項１に記載する植物認識システムにお
いて、前記花および／または葉の画像を抽出するためには、色
空間において行うクラスタリング法を用いることを特徴
とする植物認識システム。
【請求項３】請求項１または２に記載する植物認識シス
テムにおいて、前記特徴量とは、前記抽出された花または葉の画像より
求められる値であり、次に定義するものから選択したも
のであることを特徴とする植物認識システム。１．花の画像において、重心Ｇから花弁の輪郭までの距
離をｄとし、重心との角度θを横軸，縦軸をｄとした波
形のグラフにしたときの、前記波形における平均谷間距
離ｌ，山の高さの平均をｈとしたときの、花弁の形状ｌ
／ｈ。２．花弁数。但し、花弁数が７以上の場合は７とする。３．花の面積をＳ、重心をＧ（ｇ_ｉ，ｇ_ｊ）としたとき
の【数１】で定義される、花のモーメントＭ。４．花の周囲長をＬとしたとき【数２】Ｒ＝４πＳ／Ｌ^２で定義した、花の円形度Ｒ。５．色合いをＨ、彩度をＳとしたときのＨＳ色空間を半
径１の円とし、その円の中心をｘｙ平面の原点に設置し
た空間内において、前記花に最大分布している色に該当
する色のｘ座標値。６．前記５の空間内で、前記花に最大分布している色に
該当する色のｙ座標値。７．前記５の空間内で、前記空間をさらに−１≦ｘ≦１
および−１≦ｙ≦１を分割したときの格子内に含まれる
色を１単位の色集合とし、前記花に最大分布している色
が含まれる色集合内に含まれる色の分布割合。８．前記５の空間内で、前記花に２番目に分布している
色に該当する色のｘ座標値。９．前記５の空間内で、前記花に２番目に分布している
色に該当する色のｙ座標値。 10．前記７の色集合で、前記花に２番目に分布している
色が含まれる色集合内に含まれる色の分布割合。 11．前記葉において、鋸歯の頂点を結んでできる外側近
似形状の面積Ｓ_Ｅと、鋸歯の谷を結んでできる内側近似
形状の面積Ｓ_Ｉとしたときの、葉の形状Ｓ_Ｉ／Ｓ _Ｅ。 12．葉のアスペクト比。 13．前記葉の面積をＳ、重心をＧ（ｇ_ｉ，ｇ_ｊ）とした
ときの【数３】で定義される、葉のモーメントＭ。14．前記葉の周囲長
をＬとしたとき【数４】Ｒ＝４πＳ／Ｌ^２で定義した、葉の円形度Ｒ。 15．前記葉の重心をＧ、基部と先端を結ぶ長さｌの中央
脈の中心をＣとしたとき、前記葉の先端方向を正の向き
としたときの中心Ｃから重心Ｇまでの距離をｂとしたと
きの、前記葉の重心の偏り（ｌ＋２ｂ）／ｌ。 16．前記葉の基部の開き角度。 17．前記葉の先端の開き角度。 18．前記葉が単葉ならば０、複葉ならば１。 19．前記５の空間内で、前記葉に最大分布している色に
該当する色のｘ座標値。 20．前記５の空間内で、前記葉に最大分布している色に
該当する色のｙ座標値。 21．前記７の色集合で、前記葉に最大分布している色が
含まれる色集合内に含まれる色の分布割合。
【請求項４】請求項１〜３のいずれかに記載する植物認
識システムにおいて、前記植物の種類を判別するための解析に、前記特徴量に
正規化を施し、区分的線形識別関数を用いて行うことを
特徴とする植物認識システム。
【請求項５】請求項４に記載する植物認識システムにお
いて、前記解析に用いる前記特徴量は、認識率のよい組み合わ
せである、あらかじめ定めた数の特徴量を用いることを
特徴とする植物認識システム。
【請求項６】請求項１〜５のいずれかに記載する植物認
識システムにおいて、認識結果を表示し、かつ前記認識結果をもとに前記植物
の種類やその情報を表示することを特徴とする植物認識
システム。
【請求項７】請求項１〜６のいずれかに記載の機能を
コンピュータ・システムに実装することができるプログ
ラムを格納した記憶媒体。