JP7174074B2 - 画像処理装置、作業ロボット、基板検査装置および検体検査装置 - Google Patents

Description

本明細書は、画像処理装置、作業ロボット、基板検査装置および検体検査装置を開示する。

従来、画像処理装置として、対象物の二次元画像（平面画像）の画像データを取得し、その画像データに基づいて三次元空間における対象物の位置および姿勢を検出するものが提案されている（例えば、特許文献１参照）。この装置では、対象物の各面のテンプレート画像を用意しておき、取得した画像データに含まれる対象物の画像から可視面を検出して各可視面に対応するテンプレート画像をそれぞれ読み込み、テンプレート画像毎に視線方向を画像データの視線方向に合わせて変更した変換画像データを作成する。そして、画像処理装置は、画像データと変換画像データとの一致度を計算し、一致度が閾値を超えて有効とされる面のうち信頼性が最も高い面に基づいて、対象物の位置および姿勢を求めるものとしている。

特開２０１２－１８５７５２号公報

上述した画像処理装置では、撮像された画像データの可視面に存在する全ての点について変換行列を用いた変換処理を施して変換画像データを作成する。このため、画像処理装置の処理負担が大きくなって、位置や姿勢を認識するのに時間がかかる場合がある。

本開示は、処理負担を抑えつつ対象物の位置や姿勢を精度よく認識することを主目的とする。

本開示は、上述の主目的を達成するために以下の手段を採った。

本開示の画像処理装置は、対象物の複数の特徴点の特徴量および三次元の位置情報が対応付けられた三次元形状モデルを記憶する記憶部と、カメラにより撮像された前記対象物の二次元画像から特徴点の特徴量および二次元の位置情報を抽出する抽出処理部と、前記二次元画像の特徴点と前記三次元形状モデルの特徴点とのマッチングを前記特徴量を用いて行うことにより、前記二次元画像の特徴点の三次元の位置情報を特定して前記対象物の位置および姿勢を認識する認識処理部と、を備えることを要旨とする。

本開示の画像処理装置は、カメラにより撮像された対象物の二次元画像から特徴点の特徴量および二次元の位置情報を抽出し、二次元画像の特徴点と三次元形状モデルの特徴点とのマッチングを特徴量を用いて行うことにより対象物の位置および姿勢を認識する。これにより、対象物の位置および姿勢を認識する際に、対象物の二次元画像から抽出した特徴点と三次元形状モデルの特徴点とのマッチングを行えばよく、画像内の全ての点の処理を行う必要がないから処理負担を軽減することができる。また、各特徴点の特徴量を用いてマッチングを適切に行うことができる。したがって、処理負担を抑えつつ対象物の位置や姿勢を精度よく認識することができる。

第１実施形態のロボットシステム１０の構成の概略を示す構成図。 準備処理の一例を示すフローチャート。 画像取得処理の一例を示すフローチャート。 モデル作成処理の一例を示すフローチャート。 画像取得処理における複数の視点の一例を示す説明図。 複数の二次元画像Ｇｉの一例を示す説明図。 二次元画像Ｇｉから作成される三次元形状モデルＭの一例を示す説明図。 認識処理の一例を示すフローチャート。 二次元画像Ｇａの一例を示す説明図。 マッチング処理の一例を示すフローチャート。 マッチング処理の様子の一例を示す説明図。 第２実施形態の基板作業ライン１００の構成の概略を示す構成図。 第３実施形態の検体検査装置２００の構成の概略を示す構成図。

次に、本開示を実施するための形態について図面を参照しながら説明する。

［第１実施形態］
図１は第１実施形態のロボットシステム１０の構成の概略を示す構成図である。なお、図１の左右方向がＸ軸方向であり、前後方向がＹ軸方向であり、上下方向がＺ軸方向である。第１実施形態のロボットシステム１０は、図示するように、供給装置１２と、搬送装置１４と、作業ロボット２０と、制御装置１８とを備える。供給装置１２は、前後方向（Ｙ軸方向）に離して配置された駆動ローラおよび従動ローラに架け渡されたコンベアベルト１２ａを備え、駆動ローラの回転駆動により、コンベアベルト１２ａ上の機械部品や電子部品などの複数のワークＷを後方から前方へ供給する。搬送装置１４は、コンベアベルトにより構成され、ワークＷの供給方向と直交する方向（Ｘ軸方向）にトレイＴを搬送し、中央位置にて位置決め保持する。制御装置１８は、ＣＰＵやＲＯＭ，ＲＡＭ，ＨＤＤ，入出力ポートなどを備え、供給装置１２と搬送装置１４と作業ロボット２０の各動作を制御する。

作業ロボット２０は、先端に作業ツールとしてのチャックを備える垂直多関節のロボットアーム２２と、ロボットアーム２２の先端に取り付けられるカメラ２４と、カメラ２４により撮像された画像を処理する画像処理装置３０とを備える。作業ロボット２０は、ロボットアーム２２の作動により、コンベアベルト１２ａ上のワークＷをチャックでピックアップして、トレイＴ上にプレースする作業や所定箇所に組み付ける作業などを行う。カメラ２４は、ワークＷの位置および姿勢を認識するために二次元画像を撮像し、画像処理装置３０に出力する。画像処理装置３０は、ＨＤＤ等によって構成され、画像処理に必要なプログラムや三次元形状モデルＭなどを記憶する記憶部３２を備え、キーボードやマウス等の入力装置３８と、ディスプレイ等の出力装置３９とが接続されている。

次に、ロボットシステム１０がワークＷの位置および姿勢を認識するための各種処理を説明する。まず、認識するための準備処理を説明する。図２は準備処理の一例を示すフローチャートであり、主に画像処理装置３０の機能により実行される。この処理では、画像処理装置３０は、基準となるワークＷの複数の二次元画像Ｇｉを取得する画像取得処理を実行して（Ｓ１００）、各二次元画像Ｇｉの特徴点Ｐを複数抽出する（Ｓ１１０）。そして、画像処理装置３０は、各特徴点Ｐから三次元モデルＭを作成するモデル作成処理を実行して（Ｓ１２０）、準備処理を終了する。Ｓ１００の画像取得処理は図３のフローチャートに基づいて実行され、Ｓ１２０のモデル作成処理は図４のフローチャートに基づいて実行される。また、図５は画像取得処理における複数の視点の一例を示す説明図であり、図６は複数の二次元画像Ｇｉの一例を示す説明図であり、図７は二次元画像Ｇｉから作成される三次元形状モデルＭの一例を示す説明図である。本実施形態では、形状を簡略化した立方体形状のワークＷを示す。

図３（Ｓ１００）の画像取得処理では、画像処理装置３０は、まず、所定の撮像領域の中心にワークＷを配置するように出力装置３９に指示を出力する（Ｓ２００）。本実施形態では、この指示に基づいて作業者がワークＷを配置するものとする。次に、画像処理装置３０は、制御装置１８による作業ロボット２０の制御により撮像領域の中心の視点Ｅ０上の所定高さ位置にカメラ２４を移動させて（Ｓ２１０）、視点Ｅ０上でカメラ２４により二次元画像Ｇ０を撮像させる（Ｓ２２０，図５Ａ）。二次元画像Ｇ０は、ワークＷを真上から撮像した画像となる。続いて、画像処理装置３０は、二次元画像Ｇ０におけるワークＷの中心位置の位置ずれ量を算出し（Ｓ２３０）、位置ずれ量が所定量未満であるか否かを判定する（Ｓ２４０）。なお、ワークＷは、Ｓ２００で撮像領域の中心への配置が指示されるため、Ｓ２２０で撮像された二次元画像Ｇ０の画像中心と、二次元画像Ｇ０内のワークＷの中心とが基本的には一致する。ただし、ワークＷが撮像領域の中心からずれて配置されていると、位置ずれ量が所定量以上となる場合がある。

画像処理装置３０は、Ｓ２４０で位置ずれ量が所定量以上であると判定すると、ワークＷの位置ずれの警告を出力装置３９に出力し（Ｓ２５０）、作業者によりワークＷが撮像領域の中心に再配置されるのを待つ（Ｓ２６０）。作業者は、ワークＷを再配置すると、入力装置３８を用いてその旨を入力する。画像処理装置３０は、ワークＷが再配置されたと判定すると、Ｓ２２０に戻り処理を行う。一方、画像処理装置３０は、Ｓ２４０で位置ずれ量が所定量未満であると判定すると、制御装置１８による作業ロボット２０の制御により複数の視点Ｅｉ上にカメラ２４を順次水平移動させて複数の二次元画像Ｇｉを撮像して（Ｓ２７０）、画像取得処理を終了する。図５に示すように、複数の視点Ｅｉは、視点Ｅ０と、視点Ｅ０を中心とする矩形領域（例えば正方形領域）の各頂点や各辺の中点などに定められた視点Ｅ１～Ｅ８との計９視点であり、各視点Ｅ１～Ｅ８間の距離が予め定められたものとなっている。図５Ｂは、視点Ｅ０上から視点Ｅ１上に水平移動したカメラ２４が二次元画像Ｇ１を撮像する様子を示す。二次元画像Ｇ１では、二次元画像Ｇ０と異なりワークＷの側面も写るものとなる。また、図６は、各視点Ｅ０～Ｅ８でそれぞれ撮像された二次元画像Ｇ０～Ｇ８を示す。図示するように、異なる視点で様々な視差の二次元画像Ｇｉが取得される。なお、本実施形態は、二次元画像Ｇｉが撮像される複数の視点として９視点を例示するが、２以上の視点であればよい。また、ワークＷとカメラ２４とが相対的に移動して複数の視点で二次元画像Ｇｉが撮像されればよく、カメラ２４ではなくワークＷが移動するものとしてもよい。

こうしてＳ１００で二次元画像Ｇｉを取得すると、画像処理装置３０は、Ｓ１１０で各二次元画像Ｇｉからキーポイントである特徴点Ｐ（特徴データ２Ｄｉ（ｘ，ｙ；ｆ））を抽出する。画像処理装置３０は、例えば、各二次元画像Ｇｉにおける各画素の輝度値から互いに直交する二方向の輝度分布を求め、それらの変化量が所定量以上となる点を特徴点Ｐとして抽出する。このため、特徴点Ｐは、ワークＷの頂点やワークＷの異なる材質の境界点、ワークＷの異なる表面性状の境界点などに現れやすく、光の反射やノイズの影響などを抑えやすいものとなる。図７では特徴点Ｐを丸印で示す。図示するように、特徴点Ｐは、その殆どがワークＷの頂点から抽出されるが、光の反射やノイズの影響などによりワークＷの面内から抽出されるものもある。本実施形態では、各二次元画像Ｇｉからの特徴点Ｐの抽出を、例えばＤＮＮ（ディープニューラルネットワーク）などの機械学習を用いて行い、特徴点近傍の固有の輝度分布が各特徴点Ｐの特徴記述子ｆ（特徴量）として出力される。画像処理装置３０は、各特徴点Ｐの特徴データ２Ｄｉ（ｘ，ｙ；ｆ）として、二次元画像Ｇｉ内の所定位置を基準とする各特徴点Ｐの位置座標（ｘ，ｙ）と、各特徴点Ｐの特徴記述子ｆとを含むデータを抽出する。なお、位置座標（ｘ、ｙ）の基準となる所定位置は、例えば二次元画像Ｇｉ内のワークＷの正面の中心となる位置やワークＷの重心となる位置などに適宜定めることができる。

図４（Ｓ１２０）のモデル作成処理では、画像処理装置３０は、まず、異なる二次元画像Ｇｉから抽出された特徴点Ｐの対応付けを行うと共に（Ｓ３００）、対応付けられた特徴点Ｐが各二次元画像Ｇｉに出現する度数である出現数をカウントする（Ｓ３１０）。Ｓ３００，Ｓ３１０では、画像処理装置３０は、主に特徴点Ｐの特徴記述子ｆに基づいて、位置座標（ｘ，ｙ）を参照しながら、特徴点Ｐの対応付けを行い、対応付けられた特徴点Ｐの出現数をカウントする。図７では、二次元画像Ｇ０のワークＷ正面の四隅の特徴点Ｐ（例えばＰｓ）は、二次元画像Ｇ１～Ｇ８のワークＷ正面の四隅の特徴点Ｐにそれぞれ対応付けられ、各二次元画像Ｇ０～Ｇ８に出現するため、出現数がそれぞれ値９とカウントされる。また、二次元画像Ｇ１のワークＷ側面における奥側の２つの特徴点Ｐ（Ｐｔ，Ｐｕ）は、二次元画像Ｇ１～Ｇ４，Ｇ８の５つの画像に出現する特徴点Ｐ（Ｐｔ）か、二次元画像Ｇ１，Ｇ２，Ｇ６～Ｇ８の５つの画像に出現する特徴点Ｐ（Ｐｕ）にそれぞれ対応付けられるため、出現数がそれぞれ値５とカウントされる。また、二次元画像Ｇ４，Ｇ５のワークＷ正面の面内の特徴点Ｐは、いずれも当該画像にのみ出現しており、他の二次元画像Ｇｉの特徴点Ｐと対応付けられないため、出現数はそれぞれ値１とカウントされる。このような出現数の少ない特徴点Ｐは、上述したように光の反射やノイズの影響などよって抽出される。

次に、画像処理装置３０は、特徴点Ｐの出現数が所定数以上であるか否かを判定し（Ｓ３２０）、所定数以上であると判定すると、その特徴点Ｐを三次元形状モデルＭの登録対象の特徴点Ｐｍに設定し（Ｓ３３０）、所定数以上でないと判定すると、その特徴点Ｐを三次元形状モデルＭの登録対象から除外する（Ｓ３４０）。所定数は、図７の二次元画像Ｇ４，Ｇ５のみに出現するような特徴点Ｐを排除できる値に適宜定められるものとする。これにより、画像処理装置３０は、光の反射やノイズの影響を排除して、三次元形状モデルＭの登録対象の特徴点Ｐｍを適切に設定することができる。また、画像処理装置３０は、登録対象に設定した特徴点Ｐｍの高さｚを二次元画像Ｇｉ同士の視差から算出し三次元情報（ｘ，ｙ，ｚ）を生成する（Ｓ３５０）。上述したように、各視点Ｅｉは、その間の距離が定められ、また、カメラ２４が二次元画像Ｇｉを撮像する際の所定高さ位置も定められている。このため、画像処理装置３０は、いわゆるステレオカメラの原理により、二次元画像Ｇｉ同士の視差から特徴点Ｐの高さｚを算出することができる。そして、画像処理装置３０は、各特徴点Ｐについての処理が完了したか否かを判定し（Ｓ３６０）、完了していないと判定すると、Ｓ３００に戻り処理を繰り返す。一方、画像処理装置３０は、Ｓ３６０で各特徴点Ｐの処理が完了したと判定すると、三次元情報（ｘ，ｙ，ｚ）と特徴記述子ｆとを有する特徴点Ｐｍの特徴データ３Ｄｉ（ｘ，ｙ，ｚ；ｆ）で構成された三次元形状モデルＭを作成し記憶部３２に記憶して（Ｓ３７０，図７参照）、モデル作成処理を終了する。このようにして、画像処理装置３０は、複数視点の二次元画像Ｇｉから三次元形状モデルＭを作成する。

続いて、ロボットシステム１０がワークＷに対する作業を行う際に、対象物であるワークＷの位置および姿勢を認識するための処理を説明する。図８は認識処理の一例を示すフローチャートであり、主に画像処理装置３０の機能により実行される。この処理が開始されると、画像処理装置３０は、まず、コンベアベルト１２ａ上の作業対象のワークＷの二次元画像Ｇａをカメラ２４により撮像する（Ｓ４００）。なお、カメラ２４は、制御装置１８の制御により、上述した所定高さ位置で撮像する。次に、画像処理装置３０は、二次元画像ＧａからワークＷの特徴点Ｐの特徴データ２Ｄｉ（ｘ，ｙ；ｆ）を抽出する（Ｓ４１０）。図９は二次元画像Ｇａの一例を示す説明図である。図９の二次元画像Ｇａでは、４つのワークＷからそれぞれ特徴点Ｐ（丸印）が抽出される。なお、特徴点Ｐは、各ワークＷの頂点以外に正面の面内からも抽出されている。続いて、画像処理装置３０は、二次元画像Ｇａの各特徴点Ｐと三次元モデルＭの特徴点Ｐｍとをマッチングするマッチング処理を実行して（Ｓ４２０）、認識処理を終了する。Ｓ４２０のマッチング処理は、図１０のフローチャートに基づいて実行される。また、図１１はマッチング処理の様子の一例を示す説明図である。

図１０（Ｓ４２０）のマッチング処理では、画像処理装置３０は、まず、Ｓ４１０で抽出した二次元画像Ｇａの特徴点Ｐと三次元形状モデルＭの特徴点Ｐｍとをマッチングする（Ｓ５００，図１１Ａ参照）。Ｓ５００では、画像処理装置３０は、二次元画像Ｇａ内のいずれかのワークＷにおける各特徴点Ｐの特徴データ２Ｄｉ（ｘ，ｙ；ｆ）と、三次元形状モデルＭの各特徴点Ｐｍの特徴データ３Ｄｉ（ｘ，ｙ，ｚ；ｆ）とを、上述した特徴記述子ｆを用いてマッチングする。画像処理装置３０は、マッチングにより、二次元画像Ｇａの特徴点Ｐに同一またはより類似度の高い三次元形状モデルＭの特徴点Ｐｍを選定し、各特徴点Ｐの粗位置Ｐｒ（ｘ，ｙ，ｚ，Ｒｘ，Ｒｙ，Ｒｚ）を設定する（Ｓ５１０）。Ｒｘ，Ｒｙ，Ｒｚは、それぞれＸ軸，Ｙ軸，Ｚ軸に対する回転量（回転角度）を示す。画像処理装置３０は、位置座標の誤差や回転量の誤差ができるだけ均等に分散されるように、粗位置Ｐｒ（ｘ，ｙ，ｚ，Ｒｘ，Ｒｙ，Ｒｚ）を設定する。

次に、画像処理装置３０は、設定した粗位置Ｐｒに基づいて三次元形状モデルＭの画像を二次元画像Ｇａ上に投影する（Ｓ５２０，図１１Ｂ参照）。なお、図１１Ｂでは投影画像を点線で示す。続いて、画像処理装置３０は、三次元形状モデルＭの投影画像と二次元画像Ｇａ内のワークＷとの重なり具合が大きくなるように位置調整を行い（Ｓ５３０）、重なり具合が最大となる位置（ｘ，ｙ，ｚ，Ｒｘ，Ｒｙ，Ｒｚ）を特徴点Ｐの三次元の位置に特定しワークＷの位置および姿勢を認識して（Ｓ５４０）、マッチング処理を終了する。画像処理装置３０は、例えばＳ５３０，Ｓ５４０では、投影画像を画素単位で位置調整しながら、着目画素とそれに重なる画素との輝度差を取得し、その点を補間した波形の変化率が値０となる位置をサブ画素単位で検出することで重なり具合が最大となる位置を特定する。図１１Ｂの例では、図中の矢印方向に投影画像の位置を調整することになる。このようにして、画像処理装置３０は、二次元画像Ｇａと三次元形状モデルＭとからワークＷの位置および姿勢を認識することができる。また、制御装置１８は、認識されたワークＷの位置および姿勢に基づいてロボットアーム２２を制御するから、ワークＷを適切にピックアップさせることができる。

ここで、第１実施形態の構成要素と本開示の構成要素との対応関係を明らかにする。第１実施形態の記憶部３２が記憶部に相当し、図８の認識処理のＳ４１０を実行する画像処理装置３０が抽出処理部に相当し、認識処理のＳ４２０を実行する画像処理装置３０が認識処理部に相当し、画像処理装置３０が画像処理装置に相当する。図２の準備処理のＳ１２０を実行する画像処理装置３０が作成処理部に相当する。図３の画像取得処理のＳ２３０～Ｓ２５０を実行する画像処理装置３０と出力装置３９とが報知部に相当する。また、カメラ２４がカメラに相当し、作業ロボット２０が作業ロボットに相当する。

以上説明した第１実施形態の作業ロボット２０では、画像処理装置３０が、カメラ２４に撮像されたワークＷの二次元画像Ｇａの特徴点Ｐと三次元形状モデルＭの特徴点ＰｍとのマッチングによりワークＷの位置および姿勢を認識する。このため、画像処理装置３０は、二次元画像Ｇａ内の全ての点の処理を行う必要がなく、特徴点Ｐの特徴記述子ｆに基づいてマッチングを適切に行うことができるから、処理負担を抑えつつワークＷの位置や姿勢を精度よく認識することができる。また、作業ロボット２０は、ワークＷを適切にピックアップして作業精度を向上させることができる。また、作業ロボット２０は、三次元画像を撮像するための比較的大型のカメラや比較的高額のカメラを備える必要がないものとなる。

また、画像処理装置３０は、ワークＷの三次元形状データを取得できない場合でも、ワークＷの複数の二次元画像Ｇｉから三次元形状モデルＭを作成することができる。また、画像処理装置３０は、中心位置からワークＷがずれている場合に警告を報知するから、視差が適切に現れた二次元画像Ｇｉから特徴点Ｐの高さｚを適切に求めることができる。また、画像処理装置３０は、出現数の少ない特徴点Ｐを排除して三次元形状モデルＭを作成するから、マッチングの処理負担を軽減しつつワークＷの認識精度をより向上させることができる。また、画像処理装置３０は、三次元形状モデルＭの投影画像と二次元画像Ｇａとの重なり度合いがより大きくなるように粗位置Ｐｒを調整するから、マッチングの誤差を適切に修正することができる。また、画像処理装置３０は、ＤＮＮなどの機械学習により、特徴点Ｐの特徴記述子ｆの抽出精度を向上させることができる。

［第２実施形態］
次に、第２実施形態について説明する。図１２は第２実施形態の基板作業ライン１００の構成の概略を示す構成図である。基板作業ライン１００は、基板Ｂに粘性流体であるはんだを印刷する印刷装置１１０と、印刷状態を検査する印刷検査装置１１５と、基板Ｂに部品を実装する実装装置１２０と、部品の実装状態を検査する実装検査装置１２５とを備える。各装置は、図示しない管理装置に接続されており、管理装置から受信した作業指示に基づいて各作業を実行したり、各作業の実行状況を管理装置に送信したりする。また、各装置は、下記の構成以外に入力装置と出力装置とをそれぞれ備える。

印刷装置１１０は、印刷制御装置１１１と、印刷部１１２と、カメラ１１３とを備える。印刷部１１２は、スクリーンマスクのパターン孔にスキージを用いてはんだを押し込んで基板Ｂにはんだを印刷する。印刷制御装置１１１は、カメラ１１３により撮像された二次元画像に基づいて所定の印刷位置にはんだを印刷するように印刷部１１２を制御する。印刷検査装置１１５は、検査制御装置１１６と、画像処理装置１１７と、カメラ１１９とを備える。画像処理装置１１７は、カメラ１１９により撮像された基板Ｂの二次元画像に各種画像処理を行うものであり、基板Ｂに印刷されたはんだの三次元形状モデルＭｂなどを記憶する記憶部１１８を備える。検査制御装置１１６は、カメラ１１９により撮像された二次元画像に対してなされた画像処理装置１１７の処理結果に基づいて印刷状態を検査したり、印刷検査装置１１５の全体を制御したりする。

実装装置１２０は、実装制御装置１２１と、実装部１２２と、カメラ１２３とを備える。実装部１２２は、吸着ノズルを備えるヘッドを備え、図示しない供給ユニットにより供給された部品を吸着ノズルで吸着し、ヘッドを基板Ｂ上に移動させて基板Ｂに部品を実装する。実装制御装置１２１は、カメラ１２３により撮像された二次元画像に基づいて所定の実装位置に部品を実装するように実装部１２２を制御する。実装検査装置１２５は、検査制御装置１２６と、画像処理装置１２７と、カメラ１２９とを備える。画像処理装置１２７は、カメラ１２９により撮像された基板Ｂの二次元画像に各種画像処理を行うものであり、基板Ｂに実装された部品の三次元形状モデルＭｃなどを記憶する記憶部１２８を備える。検査制御装置１１６は、カメラ１２９により撮像された二次元画像に対してなされた画像処理装置１２７の処理結果に基づいて部品の実装状態を検査したり、実装検査装置１２５の全体を制御したりする。

この第２実施形態では、例えば、基板Ｂに印刷されたはんだなどの印刷物（結果物）を対象物として、印刷検査装置１１５（基板検査装置）の画像処理装置１１７により、上述した準備処理や認識処理と同様な処理が実行される。準備処理では、画像処理装置１１７は、基準となる印刷物を対象物として、複数の二次元画像Ｇｉを撮像し、各二次元画像Ｇｉから印刷物の頂点などの特徴点Ｐを抽出する。そして、画像処理装置１１７は、抽出した各特徴点Ｐの特徴データ３Ｄｉ（ｘ，ｙ，ｚ；ｆ）を生成し、三次元形状モデルＭｂを作成して記憶部１１８に記憶する。また、認識処理では、画像処理装置１１７は、印刷物が形成された基板Ｂの二次元画像Ｇａを撮像して特徴点Ｐを抽出し、特徴点Ｐと三次元形状モデルＭｂの特徴点Ｐｍとを特徴記述子ｆを用いてマッチングして、印刷物の各頂点位置や姿勢などを認識する。この認識結果に基づいて、検査制御装置１１６は、基板Ｂに印刷されたはんだの高さが適切であるか否かや、はんだの量（体積）が適切であるか否かなどの印刷状態の検査を行うことができる。即ち、印刷検査装置１１５は、印刷物の二次元画像から基板Ｂの立体的な印刷状態の検査を行うことができる。

また、第２実施形態において、印刷物を対象物とするものに限られず、以下のようにしてもよい。例えば、基板Ｂに実装された部品（結果物）を対象物として、実装検査装置１２５（基板検査装置）の画像処理装置１２７が準備処理を実行して三次元形状モデルＭｃを記憶部１２８に記憶する。また、部品の二次元画像Ｇａと三次元形状モデルＭｃとに基づく画像処理装置１２７の認識処理の結果に基づいて、検査制御装置１２６は、基板Ｂに実装された部品の高さが正常であるか否かや傾き度合いが許容範囲内であるか否かなどの実装状態の検査を行うものとしてもよい。また、検査制御装置１２６は、三次元形状モデルＭｃの特徴点Ｐｍとは異なる位置に特徴点Ｐが現れるか否かに基づいて部品の疵の有無を検査することもできる。あるいは、実装装置１２０が画像処理装置を備え、供給される部品を対象物として準備処理や認識処理を実行してもよい。このような実装装置１２０には、複数の部品をバラバラの状態で収容してそれらを整列させながら供給するバルクフィーダや複数の部品を平板状のトレイに収容して供給するトレイフィーダなどが用いられるものがある。そのようなフィーダから供給された部品の位置や姿勢を適切に認識して、部品を適切にピックアップ（吸着）することができる。

［第３実施形態］
次に、第３実施形態について説明する。図１３は第３実施形態の検体検査装置２００の構成の概略を示す構成図である。検体検査装置２００は、顕微鏡装置２１０と、画像処理装置２３０と、検査制御装置２０２とを備える。顕微鏡装置２１０は、検査対象物としての検体の像を拡大するための顕微鏡部２１２と、顕微鏡装置２１０に内蔵され拡大された検体の二次元画像を撮像するカメラ２１３とを備える。顕微鏡部２１２は、検体が載置されるステージ２１２ａと対物レンズ２１２ｂの他、図示は省略するが、ステージ２１２ａを水平方向や垂直方向に移動させるステージ駆動部や対物レンズ２１２ｂを合焦させる焦準部、検体に光を照射する照射部、検体の観察光をカメラ２１３に導く光学系などを備える。画像処理装置２３０は、カメラ２１３により撮像された検体の二次元画像に各種画像処理を行う。また、画像処理装置２３０は、検体の三次元形状モデルＭｄなどを記憶する記憶部２３２を備え、キーボードやマウス等の入力装置２３８と、ディスプレイ等の出力装置２３９とが接続されている。検査制御装置２０２は、カメラ２１３により撮像された二次元画像に対してなされた画像処理装置２３０の処理結果に基づいて検体の検査を行ったり、検体検査装置２００の全体を制御したりする。

この第３実施形態では、例えば、検体中の特定の検査対象を対象物として、画像処理装置２３０により、上述した準備処理や認識処理と同様な処理が実行される。なお、対象物（特定の検査対象）としては、例えば細菌やウイルス、タンパク質などが挙げられるが、これらに限定されるものではない。画像処理装置２３０は、基準となる対象物の複数の二次元画像Ｇｉを撮像し、各二次元画像Ｇｉから対象物の頂点などの特徴点Ｐを抽出する。そして、画像処理装置２３０は、抽出した各特徴点Ｐの特徴データ３Ｄｉ（ｘ，ｙ，ｚ；ｆ）を生成し、三次元形状モデルＭｄを作成して記憶部２３２に記憶する。また、認識処理では、画像処理装置２３０は、検体の二次元画像Ｇａを撮像して特徴点Ｐを抽出し、特徴点Ｐと三次元形状モデルＭｄの特徴点Ｐｍとを特徴記述子ｆを用いてマッチングして、検出物の各頂点位置や姿勢などを認識する。この認識結果に基づいて、検査制御装置２０２は、検体中の対象物の検出や検査を行うことができる。即ち、検体検査装置２００は、検体の二次元画像から検体中の三次元形状の対象物の検査を精度よく行うことができる。また、このような検査では、対象物の三次元ＣＡＤデータなどを取得するのは困難であるが、複数の二次元画像Ｇｉから三次元形状モデルＭｄを適切に作成することができる。

なお、本開示は上述した実施形態に何ら限定されることはなく、本開示の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。

例えば、上述した実施形態では、複数の二次元画像Ｇｉから三次元形状モデルＭを作成するものとしたが、これに限られず、対象物のＣＡＤデータなどの図面データから三次元形状モデルＭを作成するものとしてもよい。また、画像処理装置３０が三次元形状モデルＭを作成するものに限られず、他の装置により作成された三次元形状モデルＭが記憶部３２などに記憶されるものとしてもよい。

上述した実施形態では、複数の二次元画像Ｇｉを撮像する際に中心位置からワークＷがずれている場合に警告を報知するものとしたが、これに限られず、そのような警告を報知しないものとしてもよい。ただし、視差が適切に現れた二次元画像Ｇｉを取得するために報知するものが好ましい。

上述した実施形態では、出現数の少ない特徴点Ｐを排除して三次元形状モデルＭを作成するものとしたが、これに限られず、出現数に拘わらず、抽出した特徴点Ｐを含む三次元形状モデルＭを作成するものとしてもよい。

上述した実施形態では、三次元形状モデルＭを投影した投影画像と二次元画像Ｇａとの重なり度合いがより大きくなるように粗位置Ｐｒを調整して特徴点Ｐの三次元の位置情報を特定するものとしたが、これに限られるものではない。そのような重ね合わせを行うことなく、マッチングにより特徴点Ｐの位置を特定するものなどとしてもよい。

上述した実施形態では、ＤＮＮなどの機械学習を用いて特徴量を抽出するものとしたが、これに限られず、ＳＵＲＦ特徴量やＳＩＦＴ特徴量など特徴点Ｐの特徴量を抽出するものであれば如何なる手法を用いてもよい。

上述した第１実施形態では、垂直多関節の作業ロボット２０を例示したが、これに限られず、水平多関節ロボットやパラレルリンクロボットなどであってもよい。また、本開示の内容を作業ロボットや基板検査装置、検体検査装置に適用するものに限られず、工作機械などの他の装置に適用するものとしてもよい。また、画像処理装置は、それらの装置が備えるものに限られず、独立した装置として構成してもよい。上述した第３実施形態では、タンパク質などの検出に本開示の内容を適用するものを例示したが、これに限られず、マイクロメートルオーダやナノメートルオーダなどの微小な対象物の画像処理に適用するものであればよい。また、そのような微小な対象物に対して、マイクロマニピュレータなどを用いた所定操作が行われる際の画像処理に本開示の内容を適用するものでもよい。

ここで、本開示の画像処理装置は、以下のように構成してもよい。例えば、本開示の画像処理装置において、前記抽出処理部は、基準となる前記対象物が所定位置に配置された状態で前記カメラにより複数の視点で撮像された前記対象物の複数の二次元画像を取得し、該複数の二次元画像から前記特徴点の特徴量および二次元の位置情報を抽出し、前記二次元画像間の視差から前記特徴点の高さ情報を求めて三次元の位置情報を作成し、特徴量および三次元の位置情報を前記特徴点に対応付けた前記三次元形状モデルを作成して前記記憶部に記憶する作成処理部を備えるものとしてもよい。こうすれば、対象物の三次元形状データを取得できない場合でも三次元形状モデルを作成することができる。

本開示の画像処理装置において、前記抽出処理部は、前記複数の二次元画像として、基準となる前記対象物が前記所定位置に配置された状態で前記カメラが前記所定位置を基準とする前記複数の視点に順次移動して撮像した画像を取得し、前記所定位置に対する前記対象物の位置ずれ量が所定の許容量以上である場合に警告を報知する報知部を備えるものとしてもよい。こうすれば、視差が適切に現れた二次元画像から特徴点の高さ情報を求めることができるから、三次元形状モデルを精度よく作成することができる。

本開示の画像処理装置において、前記作成処理部は、前記複数の二次元画像から抽出した前記特徴点の各々について、前記複数の二次元画像に出現する度数をカウントし、該カウントした度数が所定数以上となる前記特徴点を用いて前記三次元形状モデルを作成するものとしてもよい。こうすれば、出現する度数が少なく信頼性の低い特徴点を排除した三次元形状モデルを作成することができるから、マッチングの処理負担を軽減しつつ対象物の認識精度をより向上させることができる。

本開示の画像処理装置において、前記認識処理部は、前記マッチングにより前記特徴点の粗位置を設定し、該設定した粗位置に基づいて前記二次元画像上に前記三次元形状モデルの画像を投影し、該投影した画像と前記二次元画像との重なり度合いがより大きくなるように前記粗位置を調整して前記特徴点の三次元の位置情報を特定するものとしてもよい。こうすれば、マッチングの誤差を適切に修正して、対象物の位置および姿勢をより精度よく認識することができる。

本開示の画像処理装置において、前記抽出処理部は、前記特徴量の抽出を所定の機械学習により行うものとしてもよい。こうすれば、特徴点の特徴量の抽出精度を向上させつつマッチングを適切に行うことができる。

本開示の作業ロボットは、上述したいずれかの画像処理装置と、前記対象物としてのワークの前記二次元画像を撮像するカメラと、を備え、前記カメラにより撮像された前記二次元画像から前記画像処理装置により認識された前記ワークの認識結果に基づいて前記ワークをピックアップして所定作業を行うものである。本開示の作業ロボットは、上述したいずれかの画像処理装置により認識されたワークの認識結果に基づいてワークをピックアップして所定作業を行うから、ワークを適切にピックアップして作業精度を向上させることができる。

本開示の基板検査装置は、上述したいずれかの画像処理装置と、基板に対する所定作業により該基板に設けられた結果物を前記対象物として二次元画像を撮像するカメラと、を備え、前記カメラにより撮像された前記二次元画像から前記画像処理装置により認識された前記結果物の認識結果に基づいて前記基板の検査を行うものである。本開示の基板検査装置は、上述したいずれかの画像処理装置により認識された結果物の認識結果に基づいて基板の検査を行うから、結果物の二次元画像を用いて基板の検査を精度よく行うことができる。

本開示の検体検査装置は、上述したいずれかの画像処理装置と、前記対象物としての検体の像を拡大する顕微鏡装置と、前記顕微鏡装置により拡大された前記検体の二次元画像を撮像するカメラと、を備え、前記カメラにより撮像された前記二次元画像から前記画像処理装置により認識された前記検体の認識結果に基づいて該検体の検査を行うものである。本開示の検体検査装置は、上述したいずれかの画像処理装置により認識された検体の認識結果に基づいて検体の検査を行うから、顕微鏡装置により拡大された検体の二次元画像を用いて検体の検査を精度よく行うことができる。

本開示は、画像処理装置、作業ロボット、基板検査装置および検体検査装置の製造産業などに利用可能である。

１０ ロボットシステム、１２ 供給装置、１２ａ コンベアベルト、１４ 搬送装置、１８ 制御装置、２０ 作業ロボット、２２ ロボットアーム、２４，１１３，１１９，１２３，１２９，２１３ カメラ、３０，１１７，１２７，２３０ 画像処理装置、３２，１１８，１２８，２３２ 記憶部、３８，２３８ 入力装置、３９，２３９ 出力装置、１００ 基板作業ライン、１１０ 印刷装置、１１１ 印刷制御装置、１１２ 印刷部、１１５ 印刷検査装置、１１６，１２６，２０２ 検査制御装置、１２０ 実装装置、１２１ 実装制御装置、１２２ 実装部、１２５ 実装検査装置、２００ 検体検査装置、２１０ 顕微鏡装置、２１２ 顕微鏡部、２１２ａ ステージ、２１２ｂ レンズ、Ｍ，Ｍｂ，Ｍｃ，Ｍｄ 三次元形状モデル、Ｂ 基板、Ｔ トレイ、Ｗ ワーク。

Claims (7)

1. 対象物の複数の特徴点の特徴量および三次元の位置情報が対応付けられた三次元形状モデルを記憶する記憶部と、
   カメラにより撮像された前記対象物の二次元画像から特徴点の特徴量および二次元の位置情報を抽出する抽出処理部と、
   前記二次元画像の特徴点と前記三次元形状モデルの特徴点とのマッチングを前記特徴量を用いて行うことにより、前記二次元画像の特徴点の三次元の位置情報を特定して前記対象物の位置および姿勢を認識する認識処理部と、
   を備え、
   前記抽出処理部は、基準となる前記対象物が所定位置に配置された状態で前記カメラにより複数の視点で撮像された前記対象物の複数の二次元画像を取得し、該複数の二次元画像から前記特徴点の特徴量および二次元の位置情報を抽出するものであり、前記複数の二次元画像として、基準となる前記対象物が前記所定位置に配置された状態で前記カメラが前記所定位置を基準とする前記複数の視点に順次移動して撮像した画像を取得し、
   前記二次元画像間の視差から前記特徴点の高さ情報を求めて三次元の位置情報を作成し、特徴量および三次元の位置情報を前記特徴点に対応付けた前記三次元形状モデルを作成して前記記憶部に記憶する作成処理部と、
   前記所定位置に対する前記対象物の位置ずれ量が所定の許容量以上である場合に警告を報知する報知部と、
   を備える画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記作成処理部は、前記複数の二次元画像から抽出した前記特徴点の各々について、前記複数の二次元画像に出現する度数をカウントし、該カウントした度数が所定数以上となる前記特徴点を用いて前記三次元形状モデルを作成する
   画像処理装置。
3. 請求項１または２に記載の画像処理装置であって、
   前記認識処理部は、前記マッチングにより前記特徴点の粗位置を設定し、該設定した粗位置に基づいて前記二次元画像上に前記三次元形状モデルの画像を投影し、該投影した画像と前記二次元画像との重なり度合いがより大きくなるように前記粗位置を調整して前記特徴点の三次元の位置情報を特定する
   画像処理装置。
4. 請求項１ないし３のいずれか１項に記載の画像処理装置であって、
   前記抽出処理部は、前記特徴量の抽出を所定の機械学習により行う
   画像処理装置。
5. 請求項１ないし４のいずれか１項に記載の画像処理装置と、
   前記対象物としてのワークの前記二次元画像を撮像するカメラと、
   を備え、
   前記カメラにより撮像された前記二次元画像から前記画像処理装置により認識された前記ワークの認識結果に基づいて前記ワークをピックアップして所定作業を行う
   作業ロボット。
6. 請求項１ないし４のいずれか１項に記載の画像処理装置と、
   基板に対する所定作業により該基板に設けられた結果物を前記対象物として二次元画像を撮像するカメラと、
   を備え、
   前記カメラにより撮像された前記二次元画像から前記画像処理装置により認識された前記結果物の認識結果に基づいて前記基板の検査を行う
   基板検査装置。
7. 請求項１ないし４のいずれか１項に記載の画像処理装置と、
   前記対象物としての検体の像を拡大する顕微鏡装置と、
   前記顕微鏡装置により拡大された前記検体の二次元画像を撮像するカメラと、
   を備え、
   前記カメラにより撮像された前記二次元画像から前記画像処理装置により認識された前記検体の認識結果に基づいて該検体の検査を行う
   検体検査装置。

Images