JP2014164641A - 画像処理装置、ロボット制御システム、ロボット、プログラム及び画像処理方法 - Google Patents

Abstract

【課題】 定形部及び不定形部を有する検出対象物の位置姿勢を推定することができる画像処理装置、ロボット制御システム、ロボット、プログラム及び画像処理方法の提供。
【解決手段】 画像処理装置１００では、定形部及び不定形部を有するワークのＣＡＤ（Computer Aided Design）モデルデータから得られた複数の参照画像を記憶する参照画像記憶部１１０と、ワークの撮像画像を取得する撮像画像取得部１２０と、ワークの位置姿勢を特定する位置姿勢特定部１３０と、を含む。そして、位置姿勢特定部１３０は、定形部の重み付けに比べて不定形部の重み付けが低い複数の参照画像の各参照画像と、撮像画像とのマッチング処理を行って、ワークの位置姿勢を特定する。
【選択図】 図１

Description

本発明は、画像処理装置、ロボット制御システム、ロボット、プログラム及び画像処理方法等に関係する。

画像中の対象物体像から、その物体の３次元的な位置姿勢を知ることは、種々の応用において必要とされる。検出対象物の位置姿勢を知るために、例えば検出対象物のＣＡＤ（Computer Aided Design）モデルデータと、実際の検出対象物を撮像して得られる画像データとのマッチング処理を行う方法が広く用いられている。このようなＣＡＤモデルデータを生成して、ＣＡＤマッチングを行う発明としては、特許文献１や特許文献２に記載される従来技術がある。

特表２００９−５２３６２３号公報 特開２０１２−３２９０９号公報

検出対象物が定形物である場合においては、前述した特許文献１や特許文献２に記載される方法などが非常に有効である。

しかし、検出対象物の一部が不定形な場合には、不定形部分のモデル化は一般的に難しく、不定形部分のモデル化が可能であったとしても学習に膨大な時間（コスト）が掛かる。

本発明の幾つかの態様によれば、定形部及び不定形部を有する検出対象物の位置姿勢を推定することができる画像処理装置、ロボット制御システム、ロボット、プログラム及び画像処理方法等を提供することができる。

本発明の一態様は、定形部及び不定形部を有するワークのＣＡＤ（Computer Aided Design）モデルデータから得られた複数の参照画像を記憶する参照画像記憶部と、前記ワークの撮像画像を取得する撮像画像取得部と、前記ワークの位置姿勢を特定する位置姿勢特定部と、を含み、前記位置姿勢特定部は、前記定形部の重み付けに比べて前記不定形部の重み付けが低い前記複数の参照画像の各参照画像と、前記撮像画像とのマッチング処理を行って、前記ワークの前記位置姿勢を特定する画像処理装置に関係する。

本発明の一態様では、ワークの定形部の重み付けに比べて不定形部の重み付けが低い複数の参照画像の各参照画像と、撮像画像とのマッチング処理を行って、ワークの位置姿勢を特定する。

よって、定形部及び不定形部を有する検出対象物の位置姿勢を推定することが可能となる。

また、本発明の一態様では、前記位置姿勢特定部は、前記定形部の輪郭線の重み付け値に比べて、前記不定形部の輪郭線の重み付け値が低い前記各参照画像の輪郭線と、前記撮像画像の輪郭線との前記マッチング処理を行って、前記ワークの前記位置姿勢を特定してもよい。

これにより、マッチング処理において、不定形部の輪郭線よりも定形部の輪郭線における一致度を重視して、ワークの位置姿勢を特定すること等が可能になる。

また、本発明の一態様では、前記位置姿勢特定部は、前記不定形部の第１の輪郭線と第２の輪郭線とで重み付け値が異なる前記各参照画像の輪郭線と、前記撮像画像の輪郭線との前記マッチング処理を行って、前記ワークの前記位置姿勢を特定してもよい。

これにより、例えば不定形部の第１の輪郭線に対する重み付け値よりも、不定形部の第２の輪郭線に対する重み付け値を大きく設定して、ワークの位置姿勢の検出精度をより向上させること等が可能になる。

また、本発明の一態様では、前記位置姿勢特定部は、前記定形部の前記輪郭線の太さと前記不定形部の前記輪郭線の太さが異なる前記各参照画像の前記輪郭線と、前記撮像画像の前記輪郭線との前記マッチング処理を行ってもよい。

これにより、不定形部に比べて、定形部の位置が一致しているか否かの判定をより厳しくすること等が可能になる。

また、本発明の一態様では、前記位置姿勢特定部は、前記重み付け値が大きいほど前記輪郭線が細い前記各参照画像の前記輪郭線と、前記撮像画像の前記輪郭線との前記マッチング処理を行ってもよい。

これにより、大きな重み付け値を設定すればするほど、その輪郭線が一致しているか否かの判定をより厳しくすること等が可能になる。

また、本発明の一態様では、前記位置姿勢特定部は、輪郭の形状が異なる前記ワークを表す第１の画像〜第Ｎ（Ｎは２以上の整数）の画像に基づいて生成された前記各参照画像の輪郭線と、前記撮像画像の輪郭線との前記マッチング処理を行って、前記ワークの前記位置姿勢を特定してもよい。

これにより、１枚の参照画像と撮像画像のマッチング処理を行うだけで、不定形部が取り得る複数の異なる形状のいずれかと、撮像画像に映るワークの不定形部が一致しているか否かを判定すること等が可能になる。

また、本発明の一態様では、前記位置姿勢特定部は、前記不定形部の形状が異なる複数のＣＡＤモデルデータから生成された前記各参照画像の前記輪郭線と、前記撮像画像の前記輪郭線との前記マッチング処理を行ってもよい。

これにより、第１のＣＡＤモデルデータ〜第ＮのＣＡＤモデルデータから第１の画像〜第Ｎの画像を生成し、第１の画像〜第Ｎの画像から参照画像を生成すること等が可能になる。

また、本発明の一態様では、前記各参照画像は、前記第１の画像〜前記第Ｎの画像を加重平均して生成された画像であってもよい。

これにより、第１の画像〜第Ｎの画像のそれぞれにおいて、撮像画像と一致しているか否かの判定の厳しさを調整すること等が可能になる。

また、本発明の一態様では、前記第１の画像〜前記第Ｎの画像の各画像には、前記各画像に映る輪郭により表される形状をした前記ワークの出現頻度に対応する重み付け値が設定されており、前記各参照画像は、前記第１の画像〜前記第Ｎの画像の前記各画像に設定された重み付け値に基づいて、前記第１の画像〜前記第Ｎの画像を加重平均して生成された画像であってもよい。

これにより、例えば頻繁に出現する形状の画像に対しては、一致しているとより判定しやすくすること等が可能になる。

また、本発明の一態様では、前記参照画像記憶部は、前記複数の参照画像として、第１の視点から見た前記ワークのＣＡＤモデルを表す第１の参照画像と、前記第１の視点とは異なる第２の視点から見た前記ＣＡＤモデルを表す第２の参照画像と、を記憶してもよい。

これにより、位置姿勢の検出精度をより向上させること等が可能になる。

また、本発明の一態様では、前記参照画像記憶部は、重み付け値として輝度値が設定された前記参照画像を記憶し、前記参照画像は、前記定形部に比べて低い前記輝度値が前記不定形部に設定された画像であってもよい。

これにより、参照画像としてグレイスケール画像を生成すること等が可能になる。

また、本発明の他の態様では、前記画像処理装置と、前記ワークの前記位置姿勢の特定結果に基づいて、ロボットの各部を制御するロボット制御部と、を含むロボット制御システムに関係する。

また、本発明の他の態様では、前記ロボット制御システムを含むロボットに関係する。

また、本発明の他の態様では、定形部及び不定形部を有するワークのＣＡＤ（Computer Aided Design）モデルデータから得られた複数の参照画像を記憶する処理を行い、前記ワークの撮像画像を取得する処理を行い、前記定形部の重み付けに比べて前記不定形部の重み付けが低い前記複数の参照画像の各参照画像と、前記撮像画像とのマッチング処理を行い、前記ワークの前記位置姿勢を特定する処理を行い、前記ワークの前記位置姿勢の特定結果に基づいて、ロボットの各部を制御する処理を行うロボットに関係する。

また、本発明の他の態様では、上記各部としてコンピューターを機能させるプログラムに関係する。

また、本発明の他の態様では、定形部及び不定形部を有するワークのＣＡＤ（Computer Aided Design）モデルデータから得られた複数の参照画像を記憶する処理を行い、前記ワークの撮像画像を取得する処理を行い、前記定形部の重み付けに比べて前記不定形部の重み付けが低い前記複数の参照画像の各参照画像と、前記撮像画像とのマッチング処理を行い、前記ワークの前記位置姿勢を特定する処理を行う画像処理方法に関係する。

本実施形態の画像処理装置のシステム構成例。 本実施形態のロボット制御システムのシステム構成例。 図３（Ａ）及び図３（Ｂ）は、本実施形態のロボットの構成例。 図４（Ａ）〜図４（Ｄ）は、定形部と不定形部を含むワークのＣＡＤモデルの一例。 図５（Ａ）及び図５（Ｂ）は、ワークの位置姿勢を誤検出する場合の説明図。 定形部と不定形部とで異なる重み付け値を設定する手法の説明図。 不定形部の部位毎に異なる重み付け値を設定する手法の説明図。 本実施形態のロボット制御システム及びロボットの処理の流れを説明するフローチャート。 撮像画像の前処理の流れを説明するフローチャート。 参照画像の生成処理の流れを説明するフローチャート。 図１１（Ａ）〜図１１（Ｃ）は、非定型部の形状が異なるＣＡＤモデルの説明図。 第１の画像〜第Ｎの画像の説明図。 参照画像の説明図。 ＣＡＤマッチングの流れを説明するフローチャート。 ラスタスキャンの説明図。 スコアの算出処理の説明図。 図１７（Ａ）〜図１７（Ｆ）は、マッチング結果の説明図。 参照画像をθだけ回転させてラスタスキャンを行う場合の説明図。

以下、本実施形態について説明する。まず、本実施形態の概要を説明し、次に本実施形態のシステム構成例について説明する。そして、本実施形態の手法について具体例を交えつつ詳細に説明し、最後に、フローチャートを用いて本実施形態の処理の流れについて説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また、本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．概要
画像中の対象物体像から、その物体の３次元的な位置姿勢を知ることは、種々の応用において必要とされる。一例として、産業用ロボットの応用においては、カメラなどを用いて検出対象物を撮像し、撮像した画像を用いて検出対象物の位置姿勢情報を検出し、検出した位置姿勢情報に基づいてロボットがその検出対象物を把持する、などと言うことが要求される。

ここで、検出対象物の位置姿勢を知るために、検出対象物のＣＡＤ（Computer Aided Design）モデルデータと、実際の検出対象物を撮像して得られる画像データとのマッチング処理（ＣＡＤマッチング）を行う方法が広く用いられている。この方法は、ＣＡＤモデルデータの作成が比較的容易であることや、３次元的な学習が可能である点において有用である。このようなＣＡＤモデルデータを生成して、ＣＡＤマッチングを行う発明としては、前述した特許文献１や特許文献２に記載される発明がある。

検出対象物が定形物である場合においてはこのような方法は非常に有効である。しかし、検出対象物の一部が不定形な場合には、不定形部分のモデル化は一般的に難しく、不定形部分のモデル化が可能であったとしても学習に膨大な時間（コスト）が掛かる。

そこで、本実施形態では、検出対象物の一部が定形で、他の部分が不定形である場合に、検出対象物の位置姿勢を推定することができる画像処理装置、ロボット制御システム、ロボット、プログラム及び画像処理方法等を提供する。

２．システム構成例
次に、図１に本実施形態の画像処理装置の構成例を示す。

画像処理装置１００は、参照画像記憶部１１０と、撮像画像取得部１２０と、位置姿勢特定部１３０と、を含む。なお、画像処理装置１００は、図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。

次に各部で行われる処理について説明する。

参照画像記憶部１１０は、定形部及び不定形部を有するワークのＣＡＤモデルデータから得られた複数の参照画像を記憶する。また、参照画像記憶部１１０の機能はＲＡＭ等のメモリーやＨＤＤ（ハードディスクドライブ）などにより実現できる。

撮像画像取得部１２０は、ワークの撮像画像を取得する処理を行う。撮像画像取得部１２０は、例えば撮像部と有線又は無線により通信を行う通信部（インターフェース部）であってもよいし、撮像部そのものであってもよい。

位置姿勢特定部１３０は、ワークの位置姿勢を特定する処理を行う。なお、位置姿勢特定部１３０の機能は、各種プロセッサー（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。

また、図２に本実施形態のロボット制御システムの構成例を示す。

本実施形態のロボット制御システム２００は、画像処理装置１００と、ロボット制御部２１０と、を含む。

ロボット制御部２１０は、ワークの位置姿勢の特定結果に基づいて、ロボット３００の各部を制御する。なお、ロボット制御部２１０の機能は、各種プロセッサー（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。

次に、本実施形態のロボットの構成例を図３（Ａ）及び図３（Ｂ）に示す。例えば、図３（Ａ）のロボットは、ロボット本体３００（ロボット）とロボット制御システム２００とが別体に構成されている。しかし、本実施形態のロボットは図３（Ａ）の構成に限定されず、図３（Ｂ）のようにロボット本体３００とロボット制御システム２００とが一体に構成されていてもよい。具体的には図３（Ｂ）に示したように、ロボット３００は、ロボット本体（アーム及びハンドを有する）及びロボット本体を支えるベースユニット部を有し、当該ベースユニット部にロボット制御システム２００が格納されるものであってもよい。図３（Ｂ）のロボット３００には、ベースユニット部に車輪等が設けられ、ロボット全体が移動可能な構成となっている。なお、図３（Ａ）は単腕型の例であるが、ロボット３００は図３（Ｂ）に示すように双腕型等の多腕型のロボットであってもよい。また、ロボット３００は、人手により移動させられるものであってもよいし、車輪を駆動するモーターを設け、当該モーターをロボット制御システム２００により制御することにより、移動させられるものであってもよい。また、ロボット制御システム２００は、図３（Ｂ）のようにロボット３００の下に設けられたベースユニット部に設けられるとは限られない。

３．本実施形態の手法
次に、本実施形態の手法について説明する。本実施形態では、例えば図４（Ａ）に示すような定形部と不定形部とを有するワークＷＫを検出対象物とし、ワークＷＫの位置姿勢を検出する。図４（Ａ）のワークＷＫは、実際のワークそのものである。

ここで、定形部とは、物体において、所与の大きさ以下の外力が加えられても変形しない部分（部材又は領域）のことをいう。一方、不定形部とは、物体において、所与の大きさ以下の外力が加えられた場合に、外力の大きさに応じて変形する部分（部材又は領域）のことをいう。例えば、図４（Ａ）のワークＷＫにおいては、キャップ（口部）が定形部ＦＦであり、チューブ部（容器）が不定形部ＵＦである。なお、実際には、定形部に所与の大きさ以下の外力が加えられた場合にも、極僅かに定形部が変形することもあるが、変形量が所与の大きさ以下である際には、その部分を定形部であるとみなしてよい。また、以下で説明するワークＷＫの表面には、模様がないものとするが、ワークＷＫの表面に模様が描かれていても構わない。

そして、このようなワークＷＫの位置姿勢の特定処理を行う際には、ワークＷＫのＣＡＤモデルデータを生成し、図４（Ｂ）に示すような参照画像ＲＥＩＭをＣＡＤモデルデータに基づいて生成する。さらに、生成した参照画像と、実際にワークＷＫを撮像して得られる撮像画像とのマッチング処理を行い、ワークＷＫの位置姿勢を推定する。

しかし、本例のようにワークＷＫが定形部ＦＦだけでなく、不定形部ＵＦを含む場合には、ワークＷＫは無数の形状を取り得る。そのため、参照画像により表されるワークＷＫの形状と、実際の撮像画像に映るワークＷＫの形状とが大きく異なる場合には、同一のワークＷＫを表す参照画像と撮像画像のマッチング処理を行っても、ワークＷＫの位置姿勢を正しく特定することができない場合がある。

従って、マッチング処理において、どのような参照画像を用いるかが重要となる。例えば、参照画像の生成方法として２つの例を説明する。

まず、一つの目の方法としては、不定形部ＵＦに凹み等がない状態のＣＡＤモデルから生成した図４（Ｃ）に示すような参照画像ＲＥＩＭを用いる方法がある。

また、もう一つの方法としては、形状が変化する不定形部ＵＦを無視して、形状が変化しない定形部ＦＦのみに着目した図４（Ｄ）に示すような参照画像ＲＥＩＭを用いる方法がある。

しかし、これらの方法では、図５（Ａ）及び図５（Ｂ）に示すような誤検出が多発するという問題がある。なお、図５（Ａ）及び図５（Ｂ）では、撮像画像に映るワークＷＫを実線で表し、撮像画像に対する参照画像のマッチング位置を点線で表している。

具体的には、図４（Ｃ）に示す参照画像ＲＥＩＭを用いた場合には、例えば図５（Ａ）に示すように、撮像画像中に映るワークＷＫに対してＭＲ１、ＭＲ２又はＭＲ３の位置で参照画像とマッチングしてしまう。本例のマッチング処理においては、撮像画像と参照画像の輪郭がどれだけ一致したか、言い換えれば、一致している輪郭線の長さがどれだけ長いかでスコアが決まり、最も高いスコアになった結果を検出結果として返す。そのため、マッチング処理において、定形部ＦＦよりも輪郭線が長い不定形部ＵＦの一致度が重視されてしまい、図５（Ａ）に示すような結果となってしまう。

その結果、図５（Ａ）の例では、本来であればワークＷＫがＤＲ１方向を向いていることが検出できれば良いのであるが、期待通りにマッチング処理が進まず、マッチング位置がＭＲ１になった場合には、ワークＷＫがＤＲ２方向を向いていると検出し、マッチング位置がＭＲ２になった場合には、ワークＷＫがＤＲ３方向を向いていると検出し、マッチング位置がＭＲ３になった場合には、ワークＷＫがＤＲ４方向を向いている、と誤って特定してしまう。

一方で、図４（Ｄ）に示す参照画像ＲＥＩＭを用いた場合には、図５（Ｂ）に示すように、撮像画像中に映るワークＷＫに対してＭＲ１〜ＭＲ６のいずれかの位置で参照画像とマッチングしてしまい、この場合にも正しい位置姿勢の特定ができない。

前述したように、定形部の形状は、所与の大きさ以下の外力が加わっても変化せず（変化しにくく）、一方で不定形部の形状は変化しやすい。すなわち、ほとんどの場合に、参照画像と撮像画像の両方に同じ形状の定形部が映っているが、一方で、参照画像と撮像画像とで全く同じ形状の不定形部が映っていることは稀であり、不定形部の一部の形状が異なっていることが大抵である。それにも関わらず、上記の方法ではマッチング処理において、定形部と不定形部とを同等に扱っており、このことが上記のような誤検出を発生させる原因であると考えられる。

そこで、本実施形態では、定形部の重み付けを不定形部に対して大きく設定する。

すなわち、本実施形態の画像処理装置１００では、定形部及び不定形部を有するワークのＣＡＤモデルデータから得られた複数の参照画像を記憶する参照画像記憶部１１０と、ワークの撮像画像を取得する撮像画像取得部１２０と、ワークの位置姿勢を特定する位置姿勢特定部１３０と、を含む。そして、位置姿勢特定部１３０は、定形部の重み付けに比べて不定形部の重み付けが低い複数の参照画像の各参照画像と、撮像画像とのマッチング処理を行って、ワークの位置姿勢を特定する。

ここで、ＣＡＤ（Computer Aided Design）とは、コンピューター支援設計とも呼ばれ、コンピューターを用いて設計することを指す。そして、ＣＡＤモデルデータとは、ＣＡＤにおいて設計される設計対象を表すデータのことをいう。

また、参照画像とは、ＣＡＤモデルデータから生成される画像であって、撮像画像に映る検出対象の位置姿勢を推定するために用いられる画像のことをいう。

さらに、撮像画像とは、撮像部によって検出対象を撮像して得られる画像又は外部の記憶部に記憶された検出対象が映っている画像のことをいう。撮像画像は、ネットワークを介して取得される画像であってもよい。

このように本実施形態では、検出対象物の一部が不定形な場合であっても、不定形部分のモデル化を容易にすることが可能であり、不定形部を含む参照画像の学習に膨大な時間（コスト）を掛ける必要もない。

よって、定形部及び不定形部を有する検出対象物の位置姿勢を推定することが可能となる。

また、定形部及び不定形部の重み付けとは、例えばワークの輪郭線に対して設定する重み付け値であってもよい。

すなわち、位置姿勢特定部１３０は、定形部の輪郭線の重み付け値に比べて、不定形部の輪郭線の重み付け値が低い各参照画像の輪郭線と、撮像画像の輪郭線とのマッチング処理を行って、ワークの位置姿勢を特定してもよい。

具体例を図６に示す。図６では、定形部の輪郭線ＦＦＬに対する重み付け値として１０を設定し、不定形部の輪郭線ＵＦＬに対する重み付け値として１を設定している。

これにより、マッチング処理において、不定形部の輪郭線よりも定形部の輪郭線における一致度を重視して、ワークの位置姿勢を特定すること等が可能になる。

また、前述したように、定形部と不定形部とでは、定形部の方が変形しにくく、参照画像と撮像画像に同じ形状の定形部が映っている可能性が高い。そして、同じ形状の定形部同士のマッチング処理の方が、形状が異なることがある不定形部同士のマッチング処理よりも容易であり、ワークの位置姿勢の検出精度も高い。そのため、ワークが定形部と不定形部の両方を有する場合には、不定形部よりも定形部の方がマッチング処理において重視すべき部分であると言える。

ここで、不定形部内においても、不定形部を把持した時などに変形しにくい領域と、変形しやすい領域が存在することがある。この場合には、定形部と不定形部の例を用いて説明したのと同様の理由で、変形しやすい領域よりも変形しにくい領域の方がマッチング処理において重視すべき領域であると言える。

そこで、不定形部の領域毎にあらかじめ変形のしやすさが分かっている場合には、あらかじめくびれを想定して図７のように変形したＣＡＤモデルを生成しておいても良い。そして、不定形部において変形しやすい領域の第１の輪郭線と、不定形部において変形しにくい領域の第２の輪郭線とに対して異なる重み付け値を設定してもよい。

すなわち、位置姿勢特定部１３０は、不定形部の第１の輪郭線と第２の輪郭線とで重み付け値が異なる各参照画像の輪郭線と、撮像画像の輪郭線とのマッチング処理を行って、ワークの位置姿勢を特定してもよい。

ここで、第１の輪郭線とは、例えば不定形部において変形しやすい領域の輪郭線であり、図７の例ではＵＦＬ１に相当する。

一方で、第２の輪郭線とは、例えば不定形部において変形しにくい領域の輪郭線であり、図７の例ではＵＦＬ２に相当する。

図７の例を詳細に説明すると、不定形部において変形しやすい領域の第１の輪郭線ＵＦＬ１に対する重み付け値を１に設定し、不定形部において変形しにくい領域の第２の輪郭線ＵＦＬ２に対する重み付け値を２に設定している。そして、定形部の輪郭線ＦＦＬに対しては、不定形部の第１の輪郭線ＵＦＬ１及び第２の輪郭線ＵＦＬ２に対して設定した重み付け値よりも大きい値である１０を、重み付け値として設定している。

これにより、例えば不定形部の第１の輪郭線に対する重み付け値よりも、不定形部の第２の輪郭線に対する重み付け値を大きく設定して、ワークの位置姿勢の検出精度をより向上させること等が可能になる。

４．処理の詳細
次に、本実施形態の画像処理装置を含むロボット制御システム及びロボットが行う処理の流れを、図８のフローチャートを用いて説明する。このロボット制御システム及びロボットは、上述したＣＡＤマッチング処理を行うことにより、ワークの位置姿勢を検出し、検出した位置姿勢に基づいて、ワークに対して操作を行うものである。

具体的には、まず参照画像を取得し（Ｓ１００）、次に撮像画像の前処理を行う（Ｓ１１０）。ここで、撮像画像の前処理の流れを図９のフローチャートに示す。

まず、ワークを撮像することにより、撮像画像を取得する（Ｓ１１１）。そして、撮像画像において着目領域（ＲＯＩ：Region of Interest）を設定する（Ｓ１１２）。ここで、着目領域は、撮像画像内のワークが映る領域及びワークの周辺領域のことをいう。そして、撮像画像の着目領域内に映るワークに対して輪郭抽出処理を行う（Ｓ１１３）。

次に、図８のフローチャートに戻り、取得した参照画像と前処理後の撮像画像を用いてＣＡＤマッチングを行う（Ｓ１２０）。そして、対象物（ワーク）が見つかったか否かの判定を行い（Ｓ１３０）、対象物が見つかったと判定した場合には、対象物をハンドリングして（Ｓ１４０）、処理を終了する。一方で、対象物が見つからなかったと判定した場合には、そのまま処理を終了する。

ここで、ステップＳ１００において取得する参照画像の生成処理の流れについて、図１０のフローチャートを用いて説明する。

まず、ワークの定形部のＣＡＤモデルデータ（３Ｄ）の作成処理を行う（Ｓ２００）。または、ワークの定形部のＣＡＤモデルデータ（３Ｄ）があらかじめ作成されている場合には、ＣＡＤモデルデータの読み込み処理を行う。なお、定形部は形状が変わらないことを前提とするため、一つのワークに対して一つのＣＡＤモデルデータを作成すればよい。

次に、ワークの不定形部のＮ個の代表姿勢に対して、ＣＡＤモデルデータ（３Ｄ）をそれぞれ作成する（Ｓ２０１）。なお、Ｎは任意の正の整数であるが、Ｎ＝２〜１０程度であることが望ましい。

例えば、前述した図４（Ａ）のワークのＣＡＤモデルデータを作成する場合には、図１１（Ａ）のような定形部のＣＡＤモデルＦＦＭのデータを一つ生成し、図１１（Ｂ）のようなＮ個の不定形部のＣＡＤモデルＵＦＭ１〜ＵＦＭＮのデータを生成する。これらのＣＡＤモデルを結合すると、図１１（Ｃ）に示すようなワーク全体を表す第１のＣＡＤモデルＲＰＭ１〜第ＮのＣＡＤモデルＲＰＭＮとなる。

そして、実際のカメラとワークとの位置関係に基づいて、第１のＣＡＤモデルＲＰＭ１〜第ＮのＣＡＤモデルＲＰＭＮを構成するように、定形部のＣＡＤモデルＦＦＭと不定形部のＣＡＤモデルＵＦＭ１〜ＵＦＭＮとを組み合わせてレンダリングし（Ｓ２０２）、Ｎ枚の２次元画像を得る。さらに以降の処理では、取得したＮ枚の２次元画像に映るワークの各輪郭線に対して重み付け処理を行う。

具体的には、レンダリングした２次元画像から輪郭線を一本、抽出し（Ｓ２０３）、抽出した輪郭線が定形部の輪郭線であるか、不定形部の輪郭線であるかを判断する（Ｓ２０４）。

そして、選択した輪郭線が定形部の輪郭線であると判断した場合には、輪郭線の線幅を１に設定し、画素輝度を２５５に設定する（Ｓ２０５）。

一方で、選択した輪郭線が不定形部の輪郭線であると判断した場合には、輪郭線の線幅をＮ（Ｎは不定形部のＣＡＤモデルの数）に設定し、画素輝度を２５５／Ｎに設定する（Ｓ２０６）。なお、ここでは、画素輝度をそのまま重み付け値として用いて、輪郭線をグレイスケール画像として描画する。また、画素輝度は０〜２５５の範囲を取り得る。すなわち、画素輝度が最大値である２５５に近づくほど大きな重み付けをしていることになり、同時に輪郭線の色が黒色から白色に近づく。

次に、全ての輪郭線に対してステップＳ２０４〜Ｓ２０６の処理を行ったか否かを判定し（Ｓ２０７）、全ての輪郭線に対してステップＳ２０４〜Ｓ２０６の処理を行っていないと判定した場合には、ステップＳ２０４の処理に戻る。

一方で、全ての輪郭線に対してステップＳ２０４〜Ｓ２０６の処理を行ったと判定した場合には、第１のＣＡＤモデルＲＰＭ１〜第ＮのＣＡＤモデルＲＰＭＮの全てに対してステップＳ２０４〜Ｓ２０７の処理を行ったか否かを判定する（Ｓ２０８）。第１のＣＡＤモデルＲＰＭ１〜第ＮのＣＡＤモデルＲＰＭＮの全てに対してステップＳ２０２〜Ｓ２０７の処理を行っていないと判定した場合には、ステップＳ２０２の処理に戻る。

一方で、第１のＣＡＤモデルＲＰＭ１〜第ＮのＣＡＤモデルＲＰＭＮの全てに対してステップＳ２０２〜Ｓ２０７の処理を行ったと判定した場合には、図１２に示すような第１の画像ＯＩＭ１〜第Ｎの画像ＯＩＭＮが生成できている。そして、第１の画像ＯＩＭ１〜第Ｎの画像ＯＩＭＮの重ね合わせ処理を行い、図１３に示すような参照画像ＲＥＩＭを生成する（Ｓ２０９）。

具体的には、第１の画像ＯＩＭ１〜第Ｎの画像ＯＩＭＮ間で対応する位置にある画素の画素値の平均処理を行って、平均値を求め、求めた平均値を参照画像での画素値とする。

この時、単純な平均処理を行うのではなく、第１のＣＡＤモデルＲＰＭ１〜第ＮのＣＡＤモデルＲＰＭＮの予想される出現頻度に応じて、加重平均処理を行ってもよい。加重平均処理を行う場合の参照画像の各画素値Ｐ（ｘ，ｙ）は、式（１）により表される。

なお、ｗ_ｉは、各ＣＡＤモデルの出現頻度、言い換えれば不定形部がその形状になる頻度の度合いを表す。そして、出現頻度が高いほど、ｗ_ｉは大きくなる。例えば、図１１（Ｃ）では、第１のＣＡＤモデルＲＰＭ１の出現頻度がｗ_１＝０．４であって、第２のＣＡＤモデルＲＰＭ２の出現頻度がｗ_２＝０．３であって、第３のＣＡＤモデルＲＰＭ３の出現頻度がｗ_３＝０．２であって、第ＮのＣＡＤモデルＲＰＭＮの出現頻度がｗ_Ｎ＝０．１である。

ただし、式（１）において出現頻度による重み付けを行わない場合には、ｗ_ｉ＝１／Ｎとする。この場合には、前述したように各画像の画素値を単純平均した値が、参照画像の画素値として算出される。

このようにして生成した参照画像は参照画像記憶部に記憶され、前述した図８のステップＳ１００において取得される。

次に、図８のステップＳ１２０のＣＡＤマッチングの詳細な処理の流れを、図１４のフローチャートを用いて説明する。

まず、例えば図１５に示すような撮像画像ＣＩＭを取得する（Ｓ１２１）。なお、ここで取得する撮像画像ＣＩＭは、図１５に示すような二値化処理などの前処理後の画像である。

そして、参照画像ＲＥＩＭを撮像画像ＣＩＭ内の初期位置へ置く（Ｓ１２２）。

次に、参照画像ＲＥＩＭ上の任意の一点を代表点Ｇ（Ｇ_ｘ，Ｇ_ｙ）として定める。代表点Ｇ（Ｇ_ｘ，Ｇ_ｙ）は、例えば画像の重心や画像の中心、画像の左上隅、Ｐ（ｘ，ｙ）が０でない最も左上の画素などとする。

次に、下式（２）及び下式（３）に従って、Ｐ（ｘ，ｙ）の座標を代表点Ｇ（Ｇ_ｘ，Ｇ_ｙ）からの相対座標に書き換え、Ｐ（Ｐ_ｘ，Ｐ_ｙ）とする。

そして、図１５の矢印ＤＲのように参照画像ＲＥＩＭを撮像画像ＣＩＭ上で移動させるラスタスキャンを行いながら、スコア（得票値）Ｓ（ｘ,ｙ,θ）を計算する（Ｓ１２３）。スコアＳ（ｘ,ｙ,θ）は、例えば下式（４）などにより求める。

なお、図１６に示すように、式（４）において、Ｈは参照画像ＲＥＩＭの高さであり、Ｗは参照画像ＲＥＩＭの幅である。また、Ｃ（Ｃ_ｘ，Ｃ_ｙ）は撮像画像ＣＩＭの画素値であり、Ｃ_ｘ及びＣ_ｙは、撮像画像ＣＩＭにおける代表点Ｇ（Ｇ_ｘ，Ｇ_ｙ）を基準とする相対座標である。

式（４）で求めたスコアＳ（ｘ,ｙ,θ）は、参照画像ＲＥＩＭと撮像画像ＣＩＭに映るワークＷＫが重なれば重なるほど、大きな値となる。

具体例を図１７（Ａ）〜図１７（Ｆ）に示す。図１７（Ａ）の撮像画像ＣＩＭ１と図１７（Ｂ）の参照画像ＲＥＩＭ１を重ね合わせた場合のマッチング結果ＭＲ１では、図１７（Ｃ）に示す白い部分でしかマッチングしていないことが分かる。一方で、図１７（Ｄ）の撮像画像ＣＩＭ２と図１７（Ｅ）の参照画像ＲＥＩＭ２を重ね合わせた場合には、マッチング結果ＭＲ２は図１７（Ｆ）のようになり、図１７（Ｃ）のマッチング結果ＭＲ１よりもマッチングしている部分（白い部分）が増えている。この時、マッチング結果ＭＲ２におけるスコアＳ（ｘ,ｙ,θ）の方が、マッチング結果ＭＲ１におけるスコアＳ（ｘ,ｙ,θ）よりも大きくなる。

そして、ステップＳ１２３の処理を全てのｘ、ｙに対して行い（Ｓ１２４、Ｓ１２５）、さらに参照画像をθだけ回転させて、ステップＳ１２３の処理を繰り返す（Ｓ１２６）。ここで、図１８に示すように、θは撮像画像ＣＩＭに対する参照画像ＲＥＩＭの任意の回転角である。なお、ｘ方向への移動、ｙ方向への移動、θの回転の３つの順番は問わない。

最後に、スコアＳ（ｘ,ｙ,θ）が最大となるｘ,ｙ,θをワークＷＫの位置姿勢として求めて（Ｓ１２７）、処理を終了する。

以上のように、位置姿勢特定部１３０は、定形部の輪郭線の太さと不定形部の輪郭線の太さが異なる各参照画像の輪郭線と、撮像画像の輪郭線とのマッチング処理を行ってもよい。

これにより、不定形部に比べて、定形部の位置が一致しているか否かの判定をより厳しくすること等が可能になる。

また、位置姿勢特定部１３０は、重み付け値が大きいほど輪郭線が細い各参照画像の輪郭線と、撮像画像の輪郭線とのマッチング処理を行ってもよい。

これにより、大きな重み付け値を設定すればするほど、その輪郭線が一致しているか否かの判定をより厳しくすること等が可能になる。つまり、小さな重み付け値を設定した輪郭線よりも、大きな重み付け値を設定した輪郭線が一致しているか否かの判定をより厳しくすること等が可能になる。

例えば、大きな重み付け値を設定する定形部の輪郭線を細くし、小さな重み付け値を設定する不定形部の輪郭線を太くしてもよい。

その結果、定形部の位置が少しでもずれている時には式（４）のスコアが大きくならないが、定形部の位置が一致している場合には、式（４）のスコアが急激に大きくなる。一方で、不定形部の位置は多少ずれていても、参照画像の不定形部の輪郭線を太くしているため、一致しているとみなすことができ、式（４）のスコアが大幅に小さくなることはない。

また、位置姿勢特定部１３０は、輪郭の形状が異なるワークを表す第１の画像〜第Ｎ（Ｎは２以上の整数）の画像に基づいて生成された各参照画像の輪郭線と、撮像画像の輪郭線とのマッチング処理を行って、ワークの位置姿勢を特定してもよい。

前述したように、例えば第１の画像〜第Ｎ（Ｎは２以上の整数）の画像は、図１２の画像ＯＩＭ１〜ＯＩＭＮである。

これにより、１枚の参照画像と撮像画像のマッチング処理を行うだけで、不定形部が取り得る複数の異なる形状のいずれかと、撮像画像に映るワークの不定形部が一致しているか否かを判定すること等が可能になる。よって、不定形部の形状が異なる場合のそれぞれにおいて、マッチング処理を行う場合よりも、処理量を削減すること等ができる。

また、位置姿勢特定部１３０は、不定形部の形状が異なる複数のＣＡＤモデルデータから生成された各参照画像の輪郭線と、撮像画像の輪郭線とのマッチング処理を行ってもよい。

これにより、第１のＣＡＤモデルデータ〜第ＮのＣＡＤモデルデータから、第１の画像〜第Ｎの画像を生成し、第１の画像〜第Ｎの画像から参照画像を生成すること等が可能になる。

また、各参照画像は、第１の画像〜第Ｎの画像を加重平均して生成された画像であってもよい。

これにより、第１の画像〜第Ｎの画像のそれぞれにおいて、撮像画像と一致しているか否かの判定の厳しさを調整すること等が可能になる。

具体的には、第１の画像〜第Ｎの画像の各画像には、各画像に映る輪郭により表される形状をしたワークの出現頻度に対応する重み付け値が設定されていてもよい。そして、各参照画像は、第１の画像〜第Ｎの画像の各画像に設定された重み付け値に基づいて、第１の画像〜第Ｎの画像を加重平均して生成された画像であってもよい。

これにより、例えば頻繁に出現する形状の画像に対しては、一致しているとより判定しやすくすること等が可能になる。

また、参照画像記憶部１１０は、複数の参照画像として、第１の視点から見たワークのＣＡＤモデルを表す第１の参照画像と、第１の視点とは異なる第２の視点から見たＣＡＤモデルを表す第２の参照画像と、を記憶してもよい。

これにより、位置姿勢の検出精度をより向上させること等が可能になる。

また、参照画像記憶部１１０は、重み付け値として輝度値が設定された参照画像を記憶してもよい。そして、参照画像は、定形部に比べて低い輝度値が不定形部に設定された画像であってもよい。

これにより、参照画像としてグレイスケール画像を生成すること等が可能になる。

なお、本実施形態の画像処理装置１００、ロボット制御システム２００及びロボット３００等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサーがプログラムを実行することで、本実施形態の画像処理装置１００、ロボット制御システム２００及びロボット３００等が実現される。具体的には、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサーが実行する。ここで、情報記憶媒体（コンピューターにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリー（カード型メモリー、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサーは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピューター（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピューターに実行させるためのプログラム）が記憶される。

以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、画像処理装置、ロボット制御システム及びロボット等の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。

１００ 画像処理装置、１１０ 参照画像記憶部、１２０ 撮像画像取得部、
１３０ 位置姿勢特定部、２００ ロボット制御システム、２１０ ロボット制御部、
３００ ロボット（ロボット本体）

Claims (16)

1. 定形部及び不定形部を有するワークのＣＡＤ（Computer Aided Design）モデルデータから得られた複数の参照画像を記憶する参照画像記憶部と、
   前記ワークの撮像画像を取得する撮像画像取得部と、
   前記ワークの位置姿勢を特定する位置姿勢特定部と、
   を含み、
   前記位置姿勢特定部は、
   前記定形部の重み付けに比べて前記不定形部の重み付けが低い前記複数の参照画像の各参照画像と、前記撮像画像とのマッチング処理を行って、前記ワークの前記位置姿勢を特定することを特徴とする画像処理装置。
2. 請求項１において、
   前記位置姿勢特定部は、
   前記定形部の輪郭線の重み付け値に比べて、前記不定形部の輪郭線の重み付け値が低い前記各参照画像の輪郭線と、前記撮像画像の輪郭線との前記マッチング処理を行って、前記ワークの前記位置姿勢を特定することを特徴とする画像処理装置。
3. 請求項１又は２において、
   前記位置姿勢特定部は、
   前記不定形部の第１の輪郭線と第２の輪郭線とで重み付け値が異なる前記各参照画像の輪郭線と、前記撮像画像の輪郭線との前記マッチング処理を行って、前記ワークの前記位置姿勢を特定することを特徴とする画像処理装置。
4. 請求項２又は３において、
   前記位置姿勢特定部は、
   前記定形部の前記輪郭線の太さと前記不定形部の前記輪郭線の太さが異なる前記各参照画像の前記輪郭線と、前記撮像画像の前記輪郭線との前記マッチング処理を行うことを特徴とする画像処理装置。
5. 請求項２乃至４のいずれかにおいて、
   前記位置姿勢特定部は、
   前記重み付け値が大きいほど前記輪郭線が細い前記各参照画像の前記輪郭線と、前記撮像画像の前記輪郭線との前記マッチング処理を行うことを特徴とする画像処理装置。
6. 請求項１乃至５のいずれかにおいて、
   前記位置姿勢特定部は、
   輪郭の形状が異なる前記ワークを表す第１の画像〜第Ｎ（Ｎは２以上の整数）の画像に基づいて生成された前記各参照画像の輪郭線と、前記撮像画像の輪郭線との前記マッチング処理を行って、前記ワークの前記位置姿勢を特定することを特徴とする画像処理装置。
7. 請求項６において、
   前記位置姿勢特定部は、
   前記不定形部の形状が異なる複数のＣＡＤモデルデータから生成された前記各参照画像の前記輪郭線と、前記撮像画像の前記輪郭線との前記マッチング処理を行うことを特徴とする画像処理装置。
8. 請求項６又は７において、
   前記各参照画像は、
   前記第１の画像〜前記第Ｎの画像を加重平均して生成された画像であることを特徴とする画像処理装置。
9. 請求項８において、
   前記第１の画像〜前記第Ｎの画像の各画像には、
   前記各画像に映る輪郭により表される形状をした前記ワークの出現頻度に対応する重み付け値が設定されており、
   前記各参照画像は、
   前記第１の画像〜前記第Ｎの画像の前記各画像に設定された重み付け値に基づいて、前記第１の画像〜前記第Ｎの画像を加重平均して生成された画像であることを特徴とする画像処理装置。
10. 請求項１乃至９のいずれかにおいて、
    前記参照画像記憶部は、
    前記複数の参照画像として、第１の視点から見た前記ワークのＣＡＤモデルを表す第１の参照画像と、前記第１の視点とは異なる第２の視点から見た前記ＣＡＤモデルを表す第２の参照画像と、を記憶することを特徴とする画像処理装置。
11. 請求項１乃至１０のいずれかにおいて、
    前記参照画像記憶部は、
    重み付け値として輝度値が設定された前記参照画像を記憶し、
    前記参照画像は、
    前記定形部に比べて低い前記輝度値が前記不定形部に設定された画像であることを特徴とする画像処理装置。
12. 請求項１乃至１１のいずれかに記載される前記画像処理装置と、
    前記ワークの前記位置姿勢の特定結果に基づいて、ロボットの各部を制御するロボット制御部と、
    を含むロボット制御システム。
13. 請求項１２に記載される前記ロボット制御システムを含むロボット。
14. 定形部及び不定形部を有するワークのＣＡＤ（Computer Aided Design）モデルデータから得られた複数の参照画像を記憶する処理を行い、
    前記ワークの撮像画像を取得する処理を行い、
    前記定形部の重み付けに比べて前記不定形部の重み付けが低い前記複数の参照画像の各参照画像と、前記撮像画像とのマッチング処理を行い、
    前記ワークの前記位置姿勢を特定する処理を行い、
    前記ワークの前記位置姿勢の特定結果に基づいて、ロボットの各部を制御する処理を行うことを特徴とするロボット。
15. 定形部及び不定形部を有するワークのＣＡＤ（Computer Aided Design）モデルデータから得られた複数の参照画像を記憶する参照画像記憶部と、
    前記ワークの撮像画像を取得する撮像画像取得部と、
    前記ワークの位置姿勢を特定する位置姿勢特定部として、
    コンピューターを機能させ、
    前記位置姿勢特定部は、
    前記定形部の重み付けに比べて前記不定形部の重み付けが低い前記複数の参照画像の各参照画像と、前記撮像画像とのマッチング処理を行って、前記ワークの前記位置姿勢を特定することを特徴とするプログラム。
16. 定形部及び不定形部を有するワークのＣＡＤ（Computer Aided Design）モデルデータから得られた複数の参照画像を記憶する処理を行い、
    前記ワークの撮像画像を取得する処理を行い、
    前記定形部の重み付けに比べて前記不定形部の重み付けが低い前記複数の参照画像の各参照画像と、前記撮像画像とのマッチング処理を行い、
    前記ワークの前記位置姿勢を特定する処理を行うことを特徴とする画像処理方法。