JP5769559B2 - 画像処理装置、画像処理プログラム、ロボット装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理によってエッジを検出するための画像処理装置、画像処理プログラム、ロボット装置及び画像処理方法に関するものである。

画像処理の分野において、画像から物体の端面等を知るための方法としてエッジ抽出がよく知られている。エッジを抽出する方法（画像処理方法）としては、ソーベルフィルタやラプラシアンフィルタ等が一般的に知られている。この手法として、以下のエッジ抽出装置を用いる画像処理方法が知られている。なお、エッジとは、濃淡画像内で輝度（画素値）が急激に変化している部分を意味する。

このエッジ抽出装置（画像処理装置）は、画像からエッジ強度を算出してエッジ検出を行うエッジ検出部と、エッジ検出部が検出したエッジをラベリング処理し、かつエッジの長さを求めるラベリング処理部とを備えている。さらに、エッジ抽出装置は、ラベリング処理部が求めたエッジの長さとエッジ検出部が算出したエッジ強度とを対応付けた値によってエッジの強調処理を行うエッジ強調処理部を備えている。そして、エッジ抽出装置は、エッジ強調処理部によって強調された画像の値に対して、調整可能とされる閾値（しきい値）により２値化処理を施し、所定のエッジを抽出するエッジ抽出部を備えている（特許文献１参照）。

即ち、特許文献１に記載のエッジ検出装置では、エッジを検出する際にエッジの強度（濃淡変化の急峻さ）と長さとを基準にして、エッジ強度が弱く且つ短いエッジに関してはノイズエッジと判断することで、細かいノイズエッジを除去する。

また、エッジ抽出システムを用いた別の画像処理方法が知られている。このエッジ抽出システムは、画像を入力する画像入力手段と、画像入力手段から出力される入力画像から画像のエッジを抽出するエッジ抽出手段と、エッジ抽出手段で抽出されたエッジ抽出画像を取り込むエッジ抽出画像出力手段とを備えている。エッジ抽出手段は、画像入力手段から出力される入力画像の中から切り出した領域のデータを入力データとし該領域の特定画素がエッジか否かを示すデータを教師データとして画像のエッジ抽出処理を学習するエッジ抽出学習部を備えている。さらに、エッジ抽出学習部で学習した学習結果に基づいて、画像入力手段から出力される入力画像から画像のエッジを抽出するエッジ抽出部を備えている（特許文献２参照）。

即ち、特許文献２に記載のエッジ抽出システムでは、図１５（ａ）に示すように、入力画像の比較対象となる、ワークの参照画像３３から領域を設定する。さらに、検出対象となるエッジを含む検出対象領域３４のデータと、検出対象となるエッジを含まない非検出対象の非検出対象領域３５のデータとを予め記憶しておく。検出対象領域３４には、検出対象が真である（例えば１）と関連付け、非検出対象領域３５には、検出対象が否（例えば０）と関連付けることにより、予め検出領域を学習させておく。

そして、図１５（ｂ）に示すように、参照画像３３とは別に撮像したワークの入力画像３６に対して領域を走査していき、学習結果より、入力画像３６における領域３７は非検出領域であり、入力画像３６における領域３８は検出対象領域であると判断する。つまり、参照画像３３の中から切り出した領域データの特定画素がエッジか否かを示すデータを教師データとして、画像のエッジ抽出処理を学習することにより、図１５（ｃ）に示すように任意のエッジを検出する。

特開２００９−２８２９２８号公報 特開平５−４６７６４号公報

図１６（ａ）の画像に対し、従来の一般的なエッジ抽出を行った結果を以下に示す。つまり、図１６（ａ）の画像に対して行う一般的なエッジ抽出のみでは、図１６（ｂ）に示すように背景や物体の傷、照明の輝度ムラ等が原因でノイズが多く出るため、このことが、エッジを使用した位置計測を行う場合などには誤差の要因になる。

ここで、上記特許文献１記載のエッジ検出装置を用いた画像処理方法によると、図１６（ｂ）に示すような細かいノイズエッジを除去することは可能である。しかし、図１６（ｃ）に示すような二重円形部分を有する画像に対してエッジ抽出した場合には、図１６（ｄ）に示すように、円環部の内径と外径とでエッジが夫々に抽出される。なお、図１６（ｄ）における符号３１は、検出したい検出対象エッジである内径のエッジを示し、符号３２は、検出対象ではない非検出対象エッジである外径のエッジを示す。

このような画像の場合、内径にも外径にも同様に、強度が強く且つ長いエッジが取れるため、任意の内径エッジのみを検出することは困難である。非検出対象エッジが検出対象エッジに対して形状の相違を持つのであれば、両者を形状の特徴に基づいて分離することは容易である。しかし、非検出対象エッジと検出対象エッジとが類似の形状を示すような場合は、特に検出対象エッジのみを検出することは困難となる。つまり図１６（ｄ）に示すように、検出対象エッジ３１及び非検出対象エッジ３２の双方がともに円形の一部を示すような形状であるため、形状特徴による分離が難しい。

また、上記特許文献２記載のエッジ抽出システムを用いた画像処理方法によると、図１６（ｃ）に示すような画像に対しても、予め参照画像に基づいて検出対象のエッジか否かを学習することで、検出対象エッジ３１のみを検出することは可能である。しかし、この画像処理方法では、カメラの撮像に用いられる照明装置が劣化するなどで照明条件に変化が生じた場合には、入力画像の輝度変動が大きくなる。そして、予め学習しておいたエッジか否かを示す教師データと入力画像のエッジ領域データとで、輝度変動による差異が生じる。そのため、検出対象エッジ３１の検出が不安定になるという不都合を生じる。

本発明は、検出対象エッジに対して類似形状の非検出対象エッジを持つような状況下で照明の変化が起こっても、検出対象エッジのみを安定して検出することが可能な画像処理装置、画像処理プログラム、ロボット装置及び画像処理方法を提供することを目的とする。

本発明は、予めワークを撮像した参照画像上の複数のエッジのそれぞれについて算出された、エッジに対して一定の位置関係にあるサンプリング領域の輝度値からなる特徴量の大小関係を記憶する記憶部と、取得した入力画像上のワークのエッジを抽出するエッジ抽出部と、前記エッジ抽出部によって抽出された各エッジについて前記特徴量を算出する特徴量算出部と、算出された前記入力画像上の各エッジの特徴量から輝度値及び頻度の度数分布を示すヒストグラムを作成し、このヒストグラムの分布状態に基づいて求められた閾値により区分される特徴量の範囲により、前記エッジ抽出工程にて抽出されたエッジを区分するエッジ区分部と、前記閾値によって区分された特徴量の範囲の大小関係と前記記憶部に記憶された特徴量の大小関係とを比較して、対応する大小関係にある特徴量の範囲内の入力画像上のエッジと前記参照画像上でのエッジとを対応付けるエッジ関係設定部と、を備えたことを特徴とする画像処理装置にある。

本発明は、コンピュータを、前記画像処理装置として機能させることを特徴とする画像処理プログラムにある。

本発明は、ワークを照らす照明装置と、前記照明装置に照らされたワークを撮像するカメラと、前記画像処理装置と、前記カメラが撮像した入力画像に基づいて前記画像処理装置が算出した位置情報に基づいて、ワークに対して所定の処理を施す作動アームと、を備えたことを特徴とするロボット装置にある。

本発明は、画像処理装置が、予めワークを撮像した参照画像上の複数のエッジのそれぞれについて算出された、エッジに対して一定の位置関係にあるサンプリング領域の輝度値からなる特徴量の大小関係を記憶する記憶工程と、前記画像処理装置が、取得した入力画像上のワークのエッジを抽出するエッジ抽出工程と、前記画像処理装置が、前記エッジ抽出工程にて抽出された各エッジについて前記特徴量を算出する特徴量算出工程と、前記画像処理装置が、算出された前記入力画像上の各エッジの特徴量から輝度値及び頻度の度数分布を示すヒストグラムを作成し、このヒストグラムの分布状態に基づいて求められた閾値により区分される特徴量の範囲により、前記エッジ抽出部によって抽出されたエッジを区分するエッジ区分工程と、前記画像処理装置が、前記閾値によって区分された特徴量の範囲の大小関係と前記記憶工程にて記憶された特徴量の大小関係とを比較して、対応する大小関係にある特徴量の範囲内の入力画像上のエッジと前記参照画像上でのエッジとを対応付けるエッジ関係設定工程と、を備えたことを特徴とする画像処理方法にある。

本発明によれば、閾値によって区分された特徴量の範囲の大小関係と、記憶部に記憶された特徴量の大小関係とを比較して、対応する大小関係にある特徴量の範囲内の入力画像上のエッジと、参照画像上でのエッジとを対応付けることができる。そのため、検出対象エッジに対して類似形状の非検出対象エッジを持つような状況下で照明の変化が起こった場合であっても、検出対象のエッジのみを安定して検出することが可能になる。

（ａ），（ｂ）は本発明に係る実施の形態の画像処理装置を備えたロボット装置を説明するための図である。 本実施の形態におけるハード構成を示すブロック図である。 本実施の形態における画像処理装置の画像処理部の構成を詳細に示すブロック図である。 （ａ），（ｂ）は本実施の形態を説明するための図である。 （ａ），（ｂ），（ｃ），（ｄ）は本実施の形態を説明するための図である。 （ａ），（ｂ），（ｃ），（ｄ）は本実施の形態を説明するための図である。 （ａ），（ｂ）は本実施の形態を説明するための図である。 （ａ），（ｂ）は本実施の形態を説明するための図である。 （ａ），（ｂ）は本実施の形態を説明するための図である。 本実施の形態を説明するための図である。 （ａ），（ｂ），（ｃ）は本実施の形態を説明するための図である。 （ａ），（ｂ）は本実施の形態を説明するための図である。 本実施の形態を説明するためのフローチャート図である。 本実施の形態を説明するためのフローチャート図である。 （ａ），（ｂ），（ｃ）は従来技術を説明するための図である。 （ａ），（ｂ），（ｃ），（ｄ）は従来技術を説明するための図である。

以下、図面に沿って、本発明に係る実施形態について説明する。まず、図１（ａ），（ｂ）を参照して、本発明に係る画像処理装置及びこの画像処理装置を備えるロボット装置について説明するが、本発明に係る画像処理方法については、画像処理装置及びロボット装置の説明を通して説明されるものとする。なお、図１（ａ）は画像処理装置を備えるロボット装置１００におけるカメラ１及び画像処理部２を用いて載置部４上の検出対象ワーク３からエッジを検出する際の概略構成図であり、図１（ｂ）はロボット装置１００の全体を示す斜視図である。

図１（ａ），（ｂ）に示すように、ロボット装置１００は、検出対象ワーク（ワーク）３を照らす照明装置１０５と、照明装置１０５に照らされた検出対象ワーク３を撮像するカメラ１とを備えている。更に、ロボット装置１００は、コンピュータ１９により構成される画像処理装置と、カメラ１が撮像した入力画像に基づいて画像処理装置が算出した位置情報に基づいて、検出対象ワーク３に対して所定の処理を施す作動アーム１０２とを備えている。

即ち、ロボット装置１００は、複数の枠部材１０４によって形成されたブース１０３と、ブース１０３の下部中央に配置された架台１０１とを備えている。さらに、架台１０１上部に配置された作動アーム１０２と、作動アーム１０２に対向する位置に配置された状態で検出対象ワーク３を載置する載置部４とを備えている。架台１０１内には、画像処理部２等を有するコンピュータ１９が配設されている。ブース１０３における作動アーム１０２の上方には、撮像手段としてのカメラ１と、このカメラ１の両隣りに配置された照明装置１０５とが配設されている。作動アーム１０２は、多関節シリアルリンクロボットから成り、その各関節は、コンピュータ１９に基づくモータ駆動によりアーム先端部１０２ａの位置及び姿勢が制御される。

カメラ１は、不図示のレンズにより光像を形成し、不図示の撮像素子により光像を撮像信号に変換し、この撮像信号を、エッジの検出対象である入力画像として画像処理部２に提供する撮像手段を構成している。

図１（ａ）に示すように、アーム先端部１０２ａに取り付けられたハンド部１０２ｂは、検出対象ワーク（ワーク）３を把持及び解放し得るように構成されている。ハンド部１０２ｂは、把持した検出対象ワーク３の位置・姿勢を修正するのに十分な範囲においての、手首に相当する関節での回転機構や多関節指機構等の制御機構を備えている。このようなハンド部１０２ｂを有する作動アーム１０２の駆動制御は、カメラ１からの撮像データに基づく画像処理部２、及びこの画像処理部２からのデータを用いるコンピュータ１９によって実現される。

図２に示すように、コンピュータ１９のコンピュータ本体１９ａには、ＣＰＵ５を主体として機能する画像処理部２等が収納されている。ＣＰＵ５には、画像処理部２の他に、ＲＡＭ２９及びＲＯＭ３０等がバス７を介して接続されている。ＲＡＭ２９には、ＣＰＵ５に対する作業領域が確保される。ＲＯＭ３０には、コンピュータ１９の基本制御に必要なプログラムが格納されている。画像処理部２は、後述する画像処理機能の他、ＣＰＵ５からの描画指示に応じて液晶等のディスプレイ４０を制御して所定の画像を表示させる機能を備える。コンピュータ１９における上記ＲＯＭ３０には、コンピュータ１９を画像処理装置として機能させるための画像処理プログラムが格納されている。

ＣＰＵ５には、バス７に接続された入力インターフェース（インターフェイス）４１を介して、入力装置としてのキーボード４２及びマウス４３が接続されており、エッジ検出等に必要な指定情報、メニュー選択指示、あるいはその他の指示の入力を可能としている。また、ＣＰＵ５には、バス７に接続された入力インターフェース４７を介して、カメラ１が接続されている。そして、バス７には、記録ディスク読取装置４４が接続されており、種々の情報を記録した記録媒体４５を読み込み、例えばＲＯＭ３０に格納できるようになっている。また、バス７には、通信装置４６が接続されており、上述のような記録媒体４５を使用せずに、通信装置４６を介してインターネット等から配信される種々の情報をダウンロード可能に構成されている。

ここで、図３を参照して、コンピュータ１９内の画像処理部２の詳細について説明する。即ち、図３に示すように、画像処理部２は、特徴量相対関係記憶部８、入力画像記憶部９、エッジ画像記憶部１０、エッジ特徴量記憶部５１、特徴量ヒストグラム記憶部１１、及びエッジ‐特徴量対応記憶部１２を有している。エッジ‐特徴量対応記憶部１２は、選択部１２ａと位置算出部１２ｂとを有している。

このような画像処理部２では、カメラ１から提供された入力画像が入力画像記憶部９に記憶され、またＣＰＵ５は、バス７を介して各記憶部８〜１２，５１に適時アクセスして各処理を実行する。

ＣＰＵ５及び特徴量相対関係記憶部８により、記憶部が構成されている。記憶部は、予め検出対象ワーク３を撮像した参照画像上の複数のエッジ（１４，１５）の夫々について算出された、エッジに対して一定の位置関係にあるサンプリング領域２０〜２２（図５参照）の輝度値ｋからなる特徴量Ｋ，Ｎ１，Ｎ２の大小関係を記憶する。

即ち、特徴量相対関係記憶部８は、ＣＰＵ５の指示に従って、参照画像１３から、検出対象の検出対象エッジ１４と検出対象以外の非検出対象エッジ１５とに対し一定の位置関係にあるサンプリング領域２０，２１，２２の輝度値ｋを算出する。そして、後述の特徴量算出部で算出された特徴量Ｋ、特徴量Ｎ１，Ｎ２として記憶する。その際、検出対象エッジ１４の特徴量Ｋと非検出対象エッジ１５の特徴量Ｎ１，Ｎ２との大小関係を記憶する。つまり、特徴量相対関係記憶部８は、ＣＰＵ５の指示に従って、照明状態で撮像された検出対象ワーク３の参照画像１３から、上記エッジ１４，１５に対して一定の位置関係にあるサンプリング領域２０〜２２毎の平均輝度値（ｋ）をそれぞれ算出する。そして、検出対象エッジ１４に対応する特徴量Ｋと非検出対象エッジ１５に対応する特徴量Ｎ１，Ｎ２として設定すると共に、それら特徴量Ｋ，Ｎ１，Ｎ２の大小関係を記憶する。特徴量相対関係記憶部８は、大小関係を、例えば後述の大小関係フラグ（ｆｌａｇ）の「１」「２」「３」として記憶する。

入力画像記憶部９は、ＣＰＵ５の指示に従って、カメラ１から提供された入力画像を記憶する。ＣＰＵ５は、カメラ１から提供された入力画像から、検出対象の画像の比較対象となるワーク画像である参照画像１３（図４参照）を作成して、入力画像記憶部９に記憶させる。

ＣＰＵ５及びエッジ画像記憶部１０により、取得した入力画像上の検出対象ワーク３のエッジを抽出するエッジ抽出部が構成されている。即ち、エッジ画像記憶部１０は、ＣＰＵ５の指示に従って、検出対象画像や参照画像からエッジを検出してその画像を記憶する。

ＣＰＵ５及びエッジ特徴量記憶部５１により、上記エッジ抽出部（５，１０）によって抽出された各エッジについて特徴量Ｋ、特徴量Ｎ１，Ｎ２を算出する特徴量算出部が構成されている。即ち、エッジ特徴量記憶部５１は、ＣＰＵ５の指示に従って、抽出された各エッジにおける特徴量Ｋ、特徴量Ｎ１，Ｎ２を算出する。

ＣＰＵ５及び特徴量ヒストグラム記憶部１１により、エッジ区分部が構成されている。エッジ区分部は、算出された入力画像上の各エッジの特徴量から輝度値及び頻度の度数分布を示す特徴量ヒストグラムを作成し、このヒストグラムの分布状態に基づき求められた閾値で区分される特徴量の範囲により、エッジ抽出部にて抽出されたエッジを区分する。

即ち、特徴量ヒストグラム記憶部１１は、上記特徴量算出部（５，５１）によって得られたエッジの特徴量Ｋ，Ｎ１，Ｎ２に基づき、ＣＰＵ５の指示に従って特徴量ヒストグラムを作成する。そして、このヒストグラムから閾値を決定（設定）して記憶すると共に、この閾値により区分される特徴量の範囲により、上記エッジ抽出部で抽出されたエッジを区分する。

ＣＰＵ５及びエッジ‐特徴量対応記憶部１２により、エッジ関係設定部が構成されている。エッジ関係設定部は、上記閾値によって区分された特徴量の範囲の大小関係と、上記記憶部（５，８）に記憶された特徴量Ｋ，Ｎ１，Ｎ２の大小関係（特徴相対関係）とを比較する。そして、対応する大小関係にある特徴量の範囲内の入力画像上のエッジと、参照画像１３上でのエッジ（１４，１５）とを対応付ける。

即ち、エッジ‐特徴量対応記憶部１２は、ＣＰＵ５の指示に従って、エッジ‐特徴量の対応表（図８（ｂ）参照）を記憶し、検出対象エッジ１４の特徴量範囲と非検出対象エッジ１５の特徴量範囲とを分離し区別する。そして、検出対象エッジ１４の特徴量範囲内の特徴量を持つエッジを検出対象のエッジとして選択する。つまり、エッジ‐特徴量対応記憶部１２は、今回検出するべき検出対象ワーク３の検出対象エッジ１４の特徴量Ｋの範囲を決定する。

上記選択部１２ａは、上記エッジ関係設定部（５，１２）によって設定されたエッジの対応関係に基づいて、検出対象の検出対象エッジ１４を入力画像上にて選択する。また、上記位置算出部１２ｂは、選択部１２ａによって選択されたエッジから検出対象ワーク３の位置情報を算出する。

以下、図１３及び図１４を参照して、本実施形態の詳細について説明する。図１３は、本実施の形態におけるメインフローを示すフローチャートであり、図１４は、ステップＳ２のエッジ特徴量大小関係処理のサブルーチンを示すフローチャートである。

まず、図１３において処理がスタートすると、オフラインで教示を行う。つまり、予めカメラ１で検出対象ワーク３を撮像した参照画像１３を入力する。そして、画像処理部２に接続されたディスプレイ４０に表示した状態で、オペレータは、検出したい検出対象エッジ１４のみを選択するための教示の操作を、マウス４３を使用して行う（ステップＳ１）。

ステップＳ２では、ＣＰＵ５及び特徴量相対関係記憶部８により、エッジ特徴量Ｋ、Ｎ１、Ｎ２の大小関係を判定する。エッジ特徴量大小関係の判定処理は、図１４におけるステップＳ２-１において、特徴量の計算に用いるエッジを参照画像１３から選択し、ステップＳ２-２において、検出対象エッジ１４の特徴量をＫ、非検出対象エッジ１５の特徴量をＮ１，Ｎ２として計算する。つまり、上記特徴量算出部（５，５１）が、上記エッジ抽出部（５，１０）によって抽出された各エッジについて特徴量Ｋ、特徴量Ｎ１，Ｎ２を算出する。

即ち、図４（ａ），（ｂ）に示すように、参照画像１３において検出したいエッジを最内径の検出対象エッジ１４とし、その他の検出を望まないエッジを非検出対象エッジ１５とする。教示は、オペレータがディスプレイ４０の画面を見ながらマウス４３を使用して行うが、その具体的な方法は下記に示す。

まず、ステップＳ２-１において、ディスプレイ４０に表示された図４（ａ）の参照画像１３に対し、次のように操作する。つまり、図４（ｂ）のように検出対象エッジ１４上の適宜の点１７と、非検出対象エッジ１５上の適宜の点１８、及び、中心付近の一点である点１６の各位置を、夫々マウスポインタにより設定する。このマウスポインタによる設定とは、マウスポインタが指している参照画像１３上の座標情報（ｘ，ｙ）を画像処理部２に送信することを意味する。

そしてステップＳ２-２では、参照画像１３に対して設定した上記の位置（点１６，１７，１８）から一定の位置関係にある領域の輝度値をサンプリングし、その領域の輝度値の平均を算出する。一定の位置関係にある領域については以下に示す。

まず、図５（ａ）に示すように、前記設定した中心付近の点１６を基準点とし、この基準点（１６）と前記設定したエッジ上の点１７とを結ぶ直線と、参照画像１３のｙ軸（図の上下方向）とで成す角度θを求める。

ついで、図５（ｂ）に示すように、前記エッジ上の点１７が矩形の底辺の中心となる位置に、マウスを用いて矩形のサンプリング領域２０を設定する。そして図５（ｃ）のように、エッジ上の点１７を固定点として求めた直線の角度θだけ、矩形のサンプリング領域２０を時計方向に回転させ、非検出対象エッジ１５上の点１８（図４（ｂ））に対しても、図５（ｄ）のようにサンプリング領域２１，２２を設定する。そして、上記と同様に点１８を固定点として求めた直線の角度だけ、矩形のサンプリング領域２１，２２を図の時計方向に回転させる。

このように、本実施形態では、サンプリング領域２０，２１，２２を、検出対象エッジ１４及び非検出対象エッジ１５の一方側においてそのエッジ（１４，１５）の接線に接する位置関係となるように設定する。つまり、検出対象ワーク３が円形のエッジで構成される場合、上記矩形のサンプリング領域２１，２２において、次のように処理する。まず、抽出された各エッジ上の任意の一点を選択し、検出対象ワーク３における中心付近の一点１６を基準点として、基準点（１６）と各エッジ上の任意の一点とを結ぶ直線とで成す角度θを求める。さらに、各エッジ上の任意の一点に設定した領域を角度θに相当する角度だけ回転させることで、隣接する検出対象エッジ１４の領域と非検出対象エッジ１５の領域とが交差しないように設定する。

なお、ここまでは、検出対象のエッジが円形の場合について説明したが、検出対象のエッジが直線である場合には、下記の方法により、一定の位置関係にある領域を求めることができる。

即ち、検出対象である計測対象ワークのエッジが、図６（ａ）に示すように直線的なエッジで構成される場合、例えば正方形を構成するような場合も、上記と同様に処理する。つまり、検出対象エッジ２３上の点２３ａ、非検出対象エッジ２４上の点２４ａ、及び、中心付近の一点である点２５の位置を、それぞれマウスポインタで設定する。そして、図６（ｂ）の破線で示すように設定したエッジ２３，２４上の各点２３ａ，２４ａを中心とした領域のエッジを抽出し、そのエッジの画像のｘ軸（図の左右方向）に対する角度を求める。

つまり、エッジ上の点２３ａ，２４ａが矩形の底辺の中心となる位置に矩形のサンプリング領域を設定し（図６（ａ））、この領域の大きさを、検出対象エッジに対して作成した矩形のサンプリング領域が隣接する非検出対象エッジと交差しないように設定する。例えば、検出対象エッジと隣接する非検出対象エッジ間の幅がＬピクセル程度である場合は、矩形の一辺の大きさをＬ／２とする。また、設定する領域は、矩形のサンプリング領域に限らず円領域や楕円領域でもよい。

さらに、上記設定した矩形のサンプリング領域を、図６（ｃ）に示すように前記エッジ上の点２３ａ，２４ａを固定点として、前記求めたエッジの角度分だけ回転させる。この回転をさせる際に、図６（ｄ）に示すように、矩形のサンプリング領域の上辺の中心位置２８が基準位置２６から遠ざかる方向へ回転させる。

図６（ｄ）のような場合は、エッジの角度がｘ軸に対して９０度であるため、回転方向がプラス９０度とマイナス９０度の２つが考えられる。右周りの方向をプラスとすると、矩形のサンプリング領域の上辺の中心位置（中心点）２８が基準位置（基準点）２６から遠ざかるのはプラス９０度方向であるため、プラス９０度回転させる。実際の判断は、両方の回転を行い、基準位置２６と上辺中心位置２８との距離を計算し、距離が長いほうの回転方向を採用することにより行う。

このように、検出対象ワーク３が直線的なエッジで構成される場合、矩形のサンプリング領域において、抽出された各エッジ上の任意の一点を選択し、選択した前記任意の一点の近傍のエッジ角度を求める。さらに、各エッジ上の任意の一点に設定した領域をエッジ角度に相当する角度分だけ回転させることで、隣接する検出対象エッジ１４の領域と非検出対象エッジ１５の領域とが交差しないように設定する。

領域を設定した後、前述したように参照画像から設定した各領域内の輝度平均値を算出する。この輝度平均値は、一領域内の輝度値の総和を領域の面積で割ることによって算出することができる。前記算出した検出対象エッジの領域と、非検出対象エッジの領域との輝度平均値を、それぞれのエッジの特徴量とする。特徴量とする値は、領域の輝度平均値に限らず、領域の輝度の中央値、領域の中心一画素の輝度値（代表画素の輝度値）とすることもできる。

この後、ステップＳ２-３において、特徴量Ｋ＞特徴量Ｎ１＞特徴量Ｎ２である場合には、大小関係フラグ（ｆｌａｇ）＝１と設定し、特徴量相対関係記憶部８に記憶する（ステップＳ２-６）。

また、ステップＳ２-４において、特徴量Ｎ１＞特徴量Ｋ＞特徴量Ｎ２である場合には、大小関係フラグ（ｆｌａｇ）＝２と設定し、特徴量相対関係記憶部８に記憶する（ステップＳ２-７）。

また、ステップＳ２-５において、特徴量Ｎ１＞特徴量Ｎ２＞特徴量Ｋである場合には、大小関係フラグ（ｆｌａｇ）＝３として設定し、特徴量相対関係記憶部８に記憶する（ステップＳ２-８）。

以上のステップＳ２-３〜Ｓ２-８では、検出対象エッジ１４の特徴量と非検出対象エッジ１５の特徴量との大小関係を算出して特徴量相対関係記憶部８に記憶する処理を行った。つまり、画像の輝度値が大きいと白に近く、小さいと黒くなる。このため、本実施形態では、図５（ｄ）に示す検出対象エッジ１４の領域の特徴量Ｋが非検出対象エッジ１５の矩形のサンプリング領域２１，２２の特徴量Ｎ１，Ｎ２より大きいという旨を、特徴量相対関係記憶部８に記憶しておく。言い換えると、検出対象エッジ１４の特徴量Ｋ＞非検出対象エッジ１５の特徴量Ｎ１＞非検出対象エッジ１５の特徴量Ｎ２、であるという旨を特徴量相対関係記憶部８に記憶しておく。

具体的には、特徴量の大小関係は、下記３通りの第１〜第３の状態（１）〜（３）が考えられる。
（１）検出対象エッジ１４の特徴量Ｋが最も大きいとき、即ち、検出対象エッジ１４の特徴量Ｋ＞非検出対象エッジ１５の特徴量Ｎ１＞非検出対象エッジ１５の特徴量Ｎ２、であるとき。
（２）検出対象エッジ１４の特徴量Ｋが２番目に大きいとき、即ち、非検出対象エッジ１５の特徴量Ｎ１＞検出対象エッジ１４の特徴量Ｋ＞非検出対象エッジ１５の特徴量Ｎ２、であるとき。
（３）検出対象エッジ１４の特徴量Ｋが最も小さいとき、即ち、非検出対象エッジ１５の特徴量Ｎ１＞非検出対象エッジ１５の特徴量Ｎ２＞検出対象エッジ１４の特徴量Ｋ、であるとき。

上記３通りの内のどの状態かを記憶しておく。そのため、特徴量相対関係記憶部８には、第１の状態（１）の場合はフラグ１を（Ｓ２-３，Ｓ２-６）、第２の状態（２）の場合はフラグ２を（Ｓ２-４，Ｓ２-７）、第３の状態（３）の場合はフラグ３を（Ｓ２-５，Ｓ２-８）を格納しておくだけでよい。つまり、特徴量相対関係記憶部８は、参照画像１３を入力として特徴量の算出を行い、特徴量Ｋ，Ｎ１，Ｎ２の大小関係を表した値（フラグの１、２、３のいずれか）を出力とする。

以上のようなエッジ特徴量の大小関係処理の後、ステップＳ３において、検出対象の画像を入力する。つまり、ステップＳ３は、検出対象となる検出対象ワーク３の入力画像に対して、実際にオンラインで行う検出工程であり、このステップＳ３にて、カメラ１により検出対象となる検出対象ワーク３の画像を入力し、入力画像記憶部９に記憶しておく。

そして、ステップＳ４において、ＣＰＵ５及びエッジ画像記憶部１０からなるエッジ抽出部により、エッジを抽出する。つまり、このステップＳ４にて、エッジ抽出部は、ステップＳ３で入力された検出対象ワーク３の入力画像に対し、例えば代表的な手法であるソーベル（ＳｏｂｅＬ）フィルタを使用して、エッジの抽出を行う。エッジ抽出フィルタとしては様々なものが知られているが、ＳｏｂｅＬフィルタ以外のものを使用しても良い。

エッジ抽出では、物体の輪郭を抽出することができる。つまり、図７（ａ）に示す入力画像をエッジ抽出すると、図７（ｂ）に示すような画像となる。また、実際の画像では、背景やワークの傷、照明のムラ等、様々な原因により細かなノイズエッジが出てくる。しかし、図７（ｂ）に示すエッジ抽出後の画像は、エッジの長さを基準にして、短いエッジをノイズエッジとして除去した後のエッジ画像として、エッジ画像記憶部１０に記憶される。

細かいノイズエッジの除去方法としては、様々なものが知られているため、長さによる除去に限定されるものではない。また、抽出したエッジは、近傍での連結性があるものを１つのエッジとしてまとめるラべリング処理を行い、それぞれの連結したエッジに番号を振り分け識別できるようにして（図８（ｂ）のエッジ番号１，２，・・）、エッジ‐特徴量対応記憶部１２に記憶される。

さらに、ステップＳ５において、ＣＰＵ５及びエッジ特徴量記憶部５１からなる特徴量算出部により、全エッジの特徴量を計算（算出）する。つまり、このステップＳ５では、特徴量算出部は、前記エッジ抽出部で取得したエッジ画像から、各エッジ上の或る一点の位置を選択する。この或る一点とは、エッジの中心に位置する点、もしくは任意の点でよい。

そして図８（ａ）に示すように、その各点の位置をエッジ上の点として、特徴量相対関係記憶部８と同様に、一定の位置関係に矩形のサンプリング領域を設定する。その際、基準点となるワークの中心位置は、検出対象ワーク３がカメラ１に対して毎回一定の位置に来る場合には、特徴量相対関係記憶部８の参照画像１３で使用した基準位置をそのまま使用してもよい。一方、検出対象ワーク３の中心位置が毎回ずれるような場合には、パターンマッチング等により検出対象ワーク３の概略中心位置を予め求めておく必要がある。

そして、各サンプリング領域（矩系領域）２０，２１，２２に位置する前記入力画像の輝度値を取得して、矩形のサンプリング領域毎に平均輝度値を算出し、算出した平均輝度値を各エッジの特徴量とする。また各エッジの特徴量を記憶するため、ＣＰＵ５及びエッジ画像記憶部１０からなるエッジ抽出部で求めたエッジ番号（図８（ｂ）参照）と、そのエッジの特徴量との対応がわかるエッジ‐特徴量の対応表を作成し、エッジ‐特徴量対応記憶部１２に記憶しておく。

さらに、ステップＳ６において、ＣＰＵ５及び特徴量ヒストグラム記憶部１１からなるエッジ区分部が、ＣＰＵ５及びエッジ特徴量記憶部５１からなる特徴量算出部で得られた全エッジの特徴量Ｋ，Ｎ１，Ｎ２に基づき、特徴量ヒストグラムを作成する。さらに、ステップＳ７において、上記エッジ区分部が、特徴量ヒストグラムから閾値を決定して記憶する。

上記ステップＳ６〜ステップＳ７の処理工程は、上記エッジ区分部によって実行される。このエッジ区分部は、まず、前記算出した特徴量（平均輝度値）を、図９（ｂ）に示すような横軸に平均の輝度値をとり且つ縦軸に頻度をとったヒストグラムを作成し、特徴量ヒストグラム記憶部１１に記憶する。実際には、ヒストグラムの作成は、図９（ａ）に示すように０〜２５５の２５６個のテーブルを用意しておき、テーブル値と一致する前記平均輝度値がいくつあるかを記憶していく。例えば、平均輝度値３０が２つある場合は、テーブル値３０に「２」を入力する。そして、作成したヒストグラムから閾値（しきい値）を求める。閾値の求め方を以下に示す。

前記特徴量ヒストグラムより輝度値ｋのときの頻度をＨ［ｋ］とすると、まず、下記式（１）に示す加重移動平均法により、Ｈ_ＷＭＡ［ｋ］を求める。

上記式（１）において、ｎは平均化する区間を表し、ｎの値が大きければ平滑化を強くすることができ、小さければ平滑化を弱くすることができる。図９（ｂ）のヒストグラムをｎ=３で平滑化したヒストグラムを、図１０の折れ線によるヒストグラム２９として示す。

次に、下記式（２）に示す条件式を満たすＨ_ＷＭＡ［ｋ］を探索する。ただし、式（２）では、ｋの値が小さいほうの閾値を閾値１、もう一方を閾値２とする。本実施の形態では、図４に示すような画像の場合に２種類の非検出対象エッジ１５が出るため、このように２つの極小値を、閾値１、２として設定する。

平滑化後の上記ヒストグラム２９が極小値となる位置を見つけ、その値を閾値として設定する。極小値の探索方法は、Ｈ_ＷＭＡ［ｋ］のｋを０〜２５５まで変化させてゆく。そして、現在のＨ_ＷＭＡ［ｋ］に対し、前後のヒストグラム（頻度）の値Ｈ_ＷＭＡ［ｋ−１］、Ｈ_ＷＭＡ［ｋ＋１］がＨ_ＷＭＡ［ｋ］より大きければ、前記作成したヒストグラムの極小値とみなす。

ステップＳ８では、ステップＳ２で特徴量相対関係記憶部８に記憶された、特徴量Ｋ，Ｎ１，Ｎ２の大小関係を表した値（フラグ１、２、３の何れか）に基づき、大小関係のフラグ＝１であるか否かを判断する。そして、大小関係フラグ＝１である場合はステップＳ１１に進み、そうでなければ、ステップＳ９に進む。ステップＳ１１では、検出対象エッジ１４の特徴量Ｋ＞閾値２（非検出対象エッジ１５のＮ１）、を満たすエッジを選択して、ステップＳ１４に進む。ステップＳ１４では、次の画像が有るか否かを判断し、有る場合にはステップＳ３に戻って検出対象の画像を入力し、次の画像が無い場合には処理を終了する。

また、ステップＳ９では、大小関係のフラグ＝２であるか否かを判断し、大小関係フラグ＝２である場合はステップＳ１２に進み、そうでなければ、ステップＳ１０に進む。ステップＳ１２では、閾値２（Ｎ１）＞特徴量Ｋ＞閾値１（Ｎ２）、を満たすエッジを選択して、ステップＳ１４に進む。

ステップＳ１０では、大小関係のフラグ＝３であるか否かを判断し、大小関係フラグ＝３である場合はステップＳ１３に進む。ステップＳ１３では、閾値１（Ｎ２）＞特徴量Ｋ、を満たすエッジを選択して、ステップＳ１４に進む。

以上のステップＳ８〜Ｓ１３の処理工程は、ＣＰＵ５及びエッジ‐特徴量対応記憶部１２からなるエッジ関係設定部によって実行される。つまり、エッジ関係設定部は、特徴量相対関係記憶部８に記憶しておいた値（フラグ）が「１」であれば、閾値２（非検出対象エッジ１５のＮ１）以上の特徴量Ｋを持つエッジが検出対象であると判断する（Ｓ８，Ｓ１１）。

また、エッジ関係設定部は、特徴量相対関係記憶部８の値が「２」であれば、閾値１（非検出対象エッジ１５のＮ２）以上且つ閾値２（非検出対象エッジ１５のＮ１）以下の特徴量Ｋを持つエッジが検出対象であると判断する（Ｓ９，Ｓ１２）。さらに、特徴量相対関係記憶部８の値が「３」であれば、閾値１（非検出対象エッジ１５のＮ２）以下の特徴量を持つエッジが検出対象であると判断する（Ｓ１０，Ｓ１３）。

以上のように本実施の形態では、前記２つの閾値１、２と、予め記憶しておいた特徴量の大小関係フラグ１（特徴量Ｋ＞特徴量Ｎ１＞特徴量Ｎ２）とにより、閾値２以上の特徴量Ｋを持つエッジが検出対象であると判断できる。すると、エッジ関係設定部は、前記作成したエッジ‐特徴量対応表（図８（ｂ））に基づいて、閾値２以上の特徴量Ｋを持つエッジのみを選択する。エッジ関係設定部は、ＣＰＵ５及びエッジ画像記憶部１０からなるエッジ抽出部によって抽出された全エッジの中から、検出対象エッジと判断したエッジのみを残したエッジ画像を生成して、出力する。

また、図１１（ａ），（ｂ），（ｃ）に示す参照画像４８の場合のように、非検出対象エッジ５０が１種類しか出なければ、作成したヒストグラム（図１２（ａ））から、判別分析法によって閾値を求めることができる。下記にその方法を示す。

即ち、輝度値ｋのときの頻度をＨ［ｋ］とし、仮の閾値をｔとする。ここで、図１２（ｂ）における符号３０は、閾値ｔを示している。この閾値ｔで、ヒストグラムを分割したときの左側をクラス１、右側をクラス２とし、クラス１内のエッジ数（頻度の総和）をω_１、輝度値の平均をｍ_１、分散をσ_１とする。一方、クラス２内のエッジ数（頻度の総和）をω_２、輝度値の平均をｍ_２、分散をσ_２とすると、下記式（３）により、クラス１、クラス２におけるクラス内分散σ_Ｗが求まる。

次に、ヒストグラム全体の平均輝度値をｍ_ｔとすると、下記式（４）によりクラス１とクラス２のクラス間分散σ_ｂが求まる。

そして、下記式（５）を分離度として、仮の閾値ｔを０から２５５まで変更し、分離度が最大のときのｔを閾値として設定する。

上記エッジ関係設定部は、閾値によって区分された特徴量の範囲の大小関係と上記記憶部（５，８）に記憶された特徴量Ｋ，Ｎ１，Ｎ２の大小関係とを比較する。そして、対応する大小関係にある特徴量の範囲内の入力画像上のエッジと参照画像１３上でのエッジ（１４，１５）とを対応付ける。つまり、エッジ関係設定部は、上記閾値と、予め記憶しておいた輝度値の相対関係（検出対象エッジ近傍の輝度値＞非検出対象エッジ近傍の輝度値）より、閾値以上の特徴量を持つエッジが検出対象であると判断できる。

上記処理フローが、入力画像１枚に対する本発明の画像処理方法（エッジ検出方法）である。連続して次の画像を入力して本画像処理方法を行う場合は、上述のように、ステップＳ３に戻って、新たに検出対象となる次の検出対象ワーク３の画像を入力する（ステップＳ１４）。

以上のように、参照画像１３から予め算出しておいた検出対象エッジ１４周辺の輝度値と、非検出対象エッジ１５周辺の輝度値との相対関係と、順次送られてくる検出対象ワーク３の入力画像毎に算出する閾値とを用いて、必要な検出対象エッジのみを選択できる。つまり、照明装置１０５の照明状態に変化が生じた場合、この変化に応じて閾値を動的に変更できるので、予め算出した特徴量の相対関係が変わらない限り、照明装置１０５の照明状態に拘わらず、検出対象エッジのみをロバストに検出することができる。

以上の本実施形態では、参照画像１３から、予め検出対象エッジ１４と非検出対象エッジ１５とに対して一定の位置関係にある領域の輝度値ｋを特徴量Ｋとして算出する。そして、検出対象エッジ１４の特徴量Ｋと非検出対象エッジ１５の特徴量Ｎ１，Ｎ２との大きさを比較し、その大小関係を記憶しておく。そして、検出対象となる入力画像からエッジを抽出し、抽出した全エッジの特徴量Ｋ，Ｎ１，Ｎ２を算出し、その特徴量のヒストグラムを作成する。

さらに、作成したヒストグラムから閾値を求め、求めた閾値と、参照画像１３から予め算出しておいた特徴量Ｋ，Ｎ１，Ｎ２の大小関係とにより、検出対象エッジ１４の特徴量範囲と非検出対象エッジ１５の特徴量範囲とを分離し、区別することができる。そして、検出対象エッジ１４の特徴量範囲内の特徴量を持つエッジのみを選択することで、照明装置１０５の明るさの変化に拘わらず、入力画像から検出対象エッジ１４のみを的確に検出することができる。

このように、検出対象の検出対象ワーク３の入力画像に対して、毎回エッジ特徴量を計算し、検出対象エッジ１４と非検出対象エッジ１５とを分離するための特徴量の閾値を動的に計算することができる。また、その特徴量は、サンプリング領域の輝度値に基づいて計算される。そのため、照明装置１０５の劣化等が原因で入力画像内の輝度変動が大きくなった場合でも、参照画像１３から予め求めておいた検出対象エッジ１４と非検出対象エッジ１５の各特徴量の大小関係が変わらない限り、両エッジ１４，１５を安定に分離できる。

また、特徴量を算出するためのエッジに対して一定の位置関係にある領域を求める際に、各エッジ上の一点を選択する。そして、検出対象物体（検出対象ワーク３）が円形の場合には、中心付近の一点１６を基準点として、基準点（１６）と各エッジ上の点１７，２１，２２との角度を求める。一方、検出対象物体が直線的な場合には、選択した点上のエッジ２３，２４の角度を求める。

そして、図５（ｂ）及び図６（ａ）に示すように、エッジ上の点に設定しておいた領域を求めた角度分だけ回転させる。これにより、円形の場合にはエッジの接線に沿わせ、直線的な場合にはエッジの長さ方向に沿わせることで、各エッジと、設定した領域とが交差する不都合をなくする。そのため、領域の輝度値に基づいてエッジの特徴量を求める場合に、誤った特徴量を算出することを確実に防ぐことができる。

オペレータは、参照画像１３により、検出対象エッジ１４の特徴量Ｋと非検出対象エッジ１５の特徴量Ｎ１，Ｎ２との大小関係を教示する。その際に、検出対象エッジ１４上の任意の一点１７、対象以外の各エッジ上の任意の一点（２１，２２）、検出対象物体の中心付近の一点１６を、マウスポインタ等を使用して教示してやるだけでよい。前記角度、特徴量の計算や大小関係の記憶等は、各点１６，１７（２１，２２）の位置さえ分かれば、プログラムにより自動で設定できるため、上記のように簡易的な教示で済むことになる。

１…カメラ、３…ワーク（検出対象ワーク）、５，８…記憶部（ＣＰＵ，特徴量相対関係記憶部）、５，１０…エッジ抽出部（ＣＰＵ，エッジ画像記憶部）、５，１１…エッジ区分部（ＣＰＵ，特徴量ヒストグラム記憶部）、５，１２…エッジ関係設定部（ＣＰＵ，エッジ‐特徴量対応記憶部）、５，５１…特徴量算出部（ＣＰＵ，エッジ特徴量記憶部）、１３…参照画像、１４…エッジ（検出対象エッジ）、１５…エッジ（非検出対象エッジ）、１９…コンピュータ、２０，２１，２２…サンプリング領域（矩形領域）、１０５…照明装置、Ｋ，Ｎ１，Ｎ２…特徴量

Claims (6)

1. 予めワークを撮像した参照画像上の複数のエッジのそれぞれについて算出された、エッジに対して一定の位置関係にあるサンプリング領域の輝度値からなる特徴量の大小関係を記憶する記憶部と、
   取得した入力画像上のワークのエッジを抽出するエッジ抽出部と、
   前記エッジ抽出部によって抽出された各エッジについて前記特徴量を算出する特徴量算出部と、
   算出された前記入力画像上の各エッジの特徴量から輝度値及び頻度の度数分布を示すヒストグラムを作成し、このヒストグラムの分布状態に基づいて求められた閾値により区分される特徴量の範囲により、前記エッジ抽出部によって抽出されたエッジを区分するエッジ区分部と、
   前記閾値によって区分された特徴量の範囲の大小関係と前記記憶部に記憶された特徴量の大小関係とを比較して、対応する大小関係にある特徴量の範囲内の入力画像上のエッジと前記参照画像上でのエッジとを対応付けるエッジ関係設定部と、を備えた、
   ことを特徴とする画像処理装置。
2. 前記サンプリング領域は、エッジの一方側においてそのエッジの接線に接する位置関係となるように設定される、
   請求項１記載の画像処理装置。
3. 前記エッジ関係設定部によって設定されたエッジの対応関係に基づいて、検出対象のエッジを前記入力画像上にて選択する選択部と、
   前記選択部によって選択されたエッジからワークの位置情報を算出する位置算出部と、を備えた、
   請求項１又は２記載の画像処理装置。
4. コンピュータを、請求項１乃至３のいずれか１項記載の画像処理装置として機能させる、
   ことを特徴とする画像処理プログラム。
5. ワークを照らす照明装置と、
   前記照明装置に照らされたワークを撮像するカメラと、
   請求項３記載の画像処理装置と、
   前記カメラが撮像した入力画像に基づいて前記画像処理装置が算出した位置情報に基づいて、ワークに対して所定の処理を施す作動アームと、を備えた、
   ことを特徴とするロボット装置。
6. 画像処理装置が、予めワークを撮像した参照画像上の複数のエッジのそれぞれについて算出された、エッジに対して一定の位置関係にあるサンプリング領域の輝度値からなる特徴量の大小関係を記憶する記憶工程と、
   前記画像処理装置が、取得した入力画像上のワークのエッジを抽出するエッジ抽出工程と、
   前記画像処理装置が、前記エッジ抽出工程にて抽出された各エッジについて前記特徴量を算出する特徴量算出工程と、
   前記画像処理装置が、算出された前記入力画像上の各エッジの特徴量から輝度値及び頻度の度数分布を示すヒストグラムを作成し、このヒストグラムの分布状態に基づいて求められた閾値により区分される特徴量の範囲により、前記エッジ抽出工程にて抽出されたエッジを区分するエッジ区分工程と、
   前記画像処理装置が、前記閾値によって区分された特徴量の範囲の大小関係と前記記憶工程にて記憶された特徴量の大小関係とを比較して、対応する大小関係にある特徴量の範囲内の入力画像上のエッジと前記参照画像上でのエッジとを対応付けるエッジ関係設定工程と、を備えた、
   ことを特徴とする画像処理方法。

Images