JP2011165007A - 検査システム、その方法及びプログラム - Google Patents
検査システム、その方法及びプログラム Download PDFInfo
- Publication number
- JP2011165007A JP2011165007A JP2010028201A JP2010028201A JP2011165007A JP 2011165007 A JP2011165007 A JP 2011165007A JP 2010028201 A JP2010028201 A JP 2010028201A JP 2010028201 A JP2010028201 A JP 2010028201A JP 2011165007 A JP2011165007 A JP 2011165007A
- Authority
- JP
- Japan
- Prior art keywords
- image
- coordinate
- reference image
- captured
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】作業スペースと設備投資との問題を解決し、外観検査の自動化を行うことが可能な検査システム及びその方法を提供する。
【解決手段】本発明の検査システムは、固定されておらず、不確定な位置で検査対象の外観を撮像し撮像画像とする撮像装置と、予め検査対象を撮像した参照画像を記憶する記憶部と、撮像装置の撮像座標上の撮像画像を、参照画像を撮像した際の参照撮像座標上に座標変換し、変換した結果を比較画像として出力する画像処理部と、参照画像と比較画像とを比較するマッチング処理部とを備える。
【選択図】図１
【解決手段】本発明の検査システムは、固定されておらず、不確定な位置で検査対象の外観を撮像し撮像画像とする撮像装置と、予め検査対象を撮像した参照画像を記憶する記憶部と、撮像装置の撮像座標上の撮像画像を、参照画像を撮像した際の参照撮像座標上に座標変換し、変換した結果を比較画像として出力する画像処理部と、参照画像と比較画像とを比較するマッチング処理部とを備える。
【選択図】図１
Description
本発明は、画像処理により製品の検査を行う検査システム、その方法及びプログラムに関するものである。
現在、製造過程における製品の外観検査は、多くの製品に対して作業員の目視検査により行われている。
しかしながら、この作業員による目視検査は、作業員の熟練度による検査における良否判定のバラツキ、また、製品の不良を見逃すことにより、作業員が心理的な負担を受けることになる。
また、検査の判定を検査記録により再確認する場合、この検査記録における良否判定自体が各作業者によってばらついているため、過去の良否判定の見直しを高い精度にて行えないという問題もある。
しかしながら、この作業員による目視検査は、作業員の熟練度による検査における良否判定のバラツキ、また、製品の不良を見逃すことにより、作業員が心理的な負担を受けることになる。
また、検査の判定を検査記録により再確認する場合、この検査記録における良否判定自体が各作業者によってばらついているため、過去の良否判定の見直しを高い精度にて行えないという問題もある。
このため、作業員による目視検査の問題を解決するため、製品の外観検査の自動化（画像処理による判定）が進められている。
例えば、固定されたカメラにより撮影された画像と、予め用意された画像とのテンプレートマッチングにより、製品に対する部品の取り付けの有無を確認する外観検査装置が提案されている（例えば、特許文献１を参照）。
また、カメラをロボットハンドに取り付け、このカメラの撮影した画像により外観検査を行う外観検査装置が提案されている（例えば、特許文献２を参照）。
例えば、固定されたカメラにより撮影された画像と、予め用意された画像とのテンプレートマッチングにより、製品に対する部品の取り付けの有無を確認する外観検査装置が提案されている（例えば、特許文献１を参照）。
また、カメラをロボットハンドに取り付け、このカメラの撮影した画像により外観検査を行う外観検査装置が提案されている（例えば、特許文献２を参照）。
しかしながら、特許文献１及び特許文献２に示す外観検査装置にあっては、製品を撮影する固定カメラまたはカメラが取り付けられたロボットを配置する必要があり、この配置する場所（作業スペース）を確保することと、製造ラインが変更される度に、配置させるための専用のシステムを導入する設備交換の煩雑さとが、外観検査の自動化を行う障壁となっている。
本発明は、このような事情に鑑みてなされたもので、その目的は、配置に必要な作業スペースと設備交換の煩雑さとの問題を解決し、外観検査の自動化を行うことが可能な検査システム、その方法及びプログラムを提供することにある。
本発明の検査システムは、固定されておらず、不確定な位置で検査対象の外観を撮像し撮像画像とする撮像装置と、予め基準となる前記検査対象を撮像した参照画像を記憶する記憶部と、前記撮像装置の撮像座標上の前記撮像画像を、前記参照画像を撮像した際の参照撮像座標上に座標変換し、変換した結果を比較画像として出力する画像処理部と、前記参照画像と前記比較画像とを比較するマッチング処理部とを備えることを特徴とする。
この構成により、本発明は、作業員が手に持った撮像装置により、検査対象の外観である撮像画像を撮影しても、この撮像画像をテンプレートである参照画像の撮影位置に合わせることができ、撮像画像と参照画像との比較を行うことが可能となる。
この結果、この発明によれば、作業員が手に携帯しているため、撮像位置が固定されず、常に不確定な撮像位置でも、参照画像と比較する比較画像を得ることができるため、従来の外観検査装置のように、撮像装置を固定する装置を配置する作業スペースと、その装置の設備の煩雑な交換とを必要としない。
また、この発明によれば、作業員が携帯して検査用の撮像画像を撮像するが、作業員自身が外観検査の判定を行う訳ではないので、検査ミスなどが発生した場合においても、作業者の心理的負担を低減することができる。
この構成により、本発明は、作業員が手に持った撮像装置により、検査対象の外観である撮像画像を撮影しても、この撮像画像をテンプレートである参照画像の撮影位置に合わせることができ、撮像画像と参照画像との比較を行うことが可能となる。
この結果、この発明によれば、作業員が手に携帯しているため、撮像位置が固定されず、常に不確定な撮像位置でも、参照画像と比較する比較画像を得ることができるため、従来の外観検査装置のように、撮像装置を固定する装置を配置する作業スペースと、その装置の設備の煩雑な交換とを必要としない。
また、この発明によれば、作業員が携帯して検査用の撮像画像を撮像するが、作業員自身が外観検査の判定を行う訳ではないので、検査ミスなどが発生した場合においても、作業者の心理的負担を低減することができる。
本発明の検査システムは、前記画像処理部が、前記撮像座標上の前記撮像画像を前記参照画像と同様の参照撮像座標に座標変換するホモグラフィ行列を、前記撮像画像に乗算して、前記参照画像と同様の参照撮像座標上（参照画像と同様の撮像位置の座標系）の前記比較画像を生成することを特徴とする。
この構成により、撮像画像の特徴点と参照画像の特徴点とにおける対応点からホモグラフィ行列を生成し、この生成したホモグラフィ行列を用いて、撮像画像を座標変換し、撮像座標を、参照画像と同様の参照撮像座標とした比較画像を生成する。
このため、ホモグラフィ行列が既知でなくとも、撮像画像の撮像座標を、参照画像と同様の参照撮像座標とするため、作業者が撮像装置の位置を、ホモグラフィ行列が既知となる位置に移動させるなどの注意を払うことなく、製品の外観検査を行うことができる。
この構成により、撮像画像の特徴点と参照画像の特徴点とにおける対応点からホモグラフィ行列を生成し、この生成したホモグラフィ行列を用いて、撮像画像を座標変換し、撮像座標を、参照画像と同様の参照撮像座標とした比較画像を生成する。
このため、ホモグラフィ行列が既知でなくとも、撮像画像の撮像座標を、参照画像と同様の参照撮像座標とするため、作業者が撮像装置の位置を、ホモグラフィ行列が既知となる位置に移動させるなどの注意を払うことなく、製品の外観検査を行うことができる。
本発明の検査システムは、前記画像処理部が、前記撮像座標上の前記撮像画像を前記参照画像と同様の参照撮像座標に座標変換するホモグラフィ行列と、当該ホモグラフィ行列の誤差を補正する誤差行列とを、前記撮像画像に対し乗算し、得られた比較画像と参照画像との各画素の輝度値の差の二乗和を求め、この二乗和が最小となる前記誤差行列を求め、この求めた誤差行列と前記ホモグラフィ行列とにより、前記撮像座標上の前記撮像画像を、前記参照画像と同様の参照撮像座標上に座標変換し、変換結果を前記比較画像として出力することを特徴とする。
この構成により、ホモグラフィ行列を誤差行列により補正する処理を行った後、補正したホモグラフィ行列により、撮像座標の撮像画像を、参照画像と同様の参照撮像座標上の比較画像に座標変換を行うようにしている。
このため、ホモグラフィ行列が既知でなくとも、撮像座標の撮像画像を、参照画像と同様の参照撮像座標の比較画像とするため、作業者が撮像装置の位置を、ホモグラフィ行列が既知となる位置に移動させるなどの注意を払うことなく、製品の外観検査を行うことができる。
この構成により、ホモグラフィ行列を誤差行列により補正する処理を行った後、補正したホモグラフィ行列により、撮像座標の撮像画像を、参照画像と同様の参照撮像座標上の比較画像に座標変換を行うようにしている。
このため、ホモグラフィ行列が既知でなくとも、撮像座標の撮像画像を、参照画像と同様の参照撮像座標の比較画像とするため、作業者が撮像装置の位置を、ホモグラフィ行列が既知となる位置に移動させるなどの注意を払うことなく、製品の外観検査を行うことができる。
本発明の検査システムは、前記撮像画像と前記参照画像とにおける特徴点を求め、この特徴点の特徴量が類似する組合せを、前記撮像画像と前記参照画像との対応点として抽出する対応点検出部と、前記対応点である撮像画像及び参照画像の各々の特徴点の座標値を用い、前記ホモグラフィ行列を求めるホモグラフィ行列生成部とをさらに有することを特徴とする。
この構成により、撮像画像の特徴点と参照画像の特徴点とにおける対応点からホモグラフィ行列を生成し、この生成したホモグラフィ行列を用いて、撮像画像を座標変換し、撮像座標を、参照画像と同様の参照撮像座標とした比較画像を生成する。
このため、ホモグラフィ行列が既知でなくとも、撮像画像の撮像座標を、参照画像と同様の参照撮像座標とするため、作業者が撮像装置の位置を、ホモグラフィ行列が既知となる位置に移動させるなどの注意を払うことなく、製品の外観検査を行うことができる。
この構成により、撮像画像の特徴点と参照画像の特徴点とにおける対応点からホモグラフィ行列を生成し、この生成したホモグラフィ行列を用いて、撮像画像を座標変換し、撮像座標を、参照画像と同様の参照撮像座標とした比較画像を生成する。
このため、ホモグラフィ行列が既知でなくとも、撮像画像の撮像座標を、参照画像と同様の参照撮像座標とするため、作業者が撮像装置の位置を、ホモグラフィ行列が既知となる位置に移動させるなどの注意を払うことなく、製品の外観検査を行うことができる。
本発明の検査システムは、前記画像処理部が、前記比較画像と、前記参照画像との類似性を求め、当該類似性が予め設定した値以下の場合、前記撮像画像を他の撮像画像に変更し、検査処理を再度行うことを特徴とする。
この構成により、画像処理部がホモグラフィ行列生成部の生成するホモグラフィ行列により、一旦、撮像画像を座標変換し、参照画像と同様の参照撮像座標の比較画像とし、参照画像のテンプレート画像と、比較画像から形状抽出した画像との形状比較を行う。
このため、参照画像と比較画像との形状が大きく異なる場合、再度撮像画像の入力から外観検査を行うため、撮像画像の撮像した位置及び傾きが参照画像と大きく異なることで、良品を不良品とする誤った判定を抑制することができ、より作業員の手にした撮像装置で検査を行うことを容易とすることが可能である。
この構成により、画像処理部がホモグラフィ行列生成部の生成するホモグラフィ行列により、一旦、撮像画像を座標変換し、参照画像と同様の参照撮像座標の比較画像とし、参照画像のテンプレート画像と、比較画像から形状抽出した画像との形状比較を行う。
このため、参照画像と比較画像との形状が大きく異なる場合、再度撮像画像の入力から外観検査を行うため、撮像画像の撮像した位置及び傾きが参照画像と大きく異なることで、良品を不良品とする誤った判定を抑制することができ、より作業員の手にした撮像装置で検査を行うことを容易とすることが可能である。
本発明の検査方法は、上記検査システムを動作させる検査方法であり、画像処理部が、固定されておらず、不確定な位置で撮像を行う撮像装置により撮像された検査対象の外観である撮像画像を入力し、前記撮像装置の撮像座標上の前記撮像画像を、予め基準となる前記検査対象の参照画像を撮像した際の参照撮像座標上に座標変換し、変換した結果を比較画像として出力する画像処理過程と、マッチング処理部が、前記参照画像と前記比較画像とを比較するマッチング処理過程とを有する。
本発明のプログラムは、上記検査システムの機能をコンピュータに実行させるためのプログラムであり、画像処理部が、固定されておらず、不確定な位置で撮像を行う撮像装置により撮像された検査対象の外観である撮像画像を入力し、前記撮像装置の撮像座標上の前記撮像画像を、予め基準となる前記検査対象の参照画像を撮像した際の参照撮像座標上に座標変換し、変換した結果を比較画像として出力する画像処理ステップと、マッチング処理部が、前記参照画像と前記比較画像とを比較するマッチング処理ステップとを有するコンピュータが実行可能なプログラムである。
本発明の検査システムは、例えば、プリント基板上における電子部品の実装の有無、あるいは装置において配置する部品の有無を検査する装置等である。
この検査システムは、作業員が手にしたカメラなどの撮像装置により、例えば、プリント基板の電子部品の実装面を撮像した撮像画像と、予め検査対象の電子部品の実装面（良品もしくは不良品である）を撮像した参照画像とを比較して、製品の良否を判断する。
この検査システムは、作業員が手にしたカメラなどの撮像装置により、例えば、プリント基板の電子部品の実装面を撮像した撮像画像と、予め検査対象の電子部品の実装面（良品もしくは不良品である）を撮像した参照画像とを比較して、製品の良否を判断する。
このとき、本発明においては、作業員が自身で携帯する撮像装置により、撮像画像を撮像するため、この撮像画像と、予め撮像された参照画像との撮像した際の撮像装置の位置及び傾きと異なるため、この撮像画像を参照画像と同一の位置及び傾きに変換して、変換後の撮像画像を参照画像と比較する。
以下、上述した本発明の実施形態を詳細に説明する。
以下、上述した本発明の実施形態を詳細に説明する。
＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態について説明する。図１は、この発明の第１の実施形態による検査システムの構成例を示す概略ブロック図である。
同図において、検査システムは、画像検査装置１と撮像装置２とから構成されている。
画像検査装置１は、入力処理部１１、画像処理部１２、マッチング処理部１３及び参照画像記憶部１４を備えている。
撮像装置２は、デジタルカメラまたはデジタルビデオカメラ等の画像を撮像する装置であり、作業員Ｐにより携帯されている。作業員Ｐは、撮像装置２により検査対象の製品Ｔの外観を撮像する。レンジファインダを用いて距離画像を得るようにしてもよい。
以下、図面を参照して、本発明の第１の実施形態について説明する。図１は、この発明の第１の実施形態による検査システムの構成例を示す概略ブロック図である。
同図において、検査システムは、画像検査装置１と撮像装置２とから構成されている。
画像検査装置１は、入力処理部１１、画像処理部１２、マッチング処理部１３及び参照画像記憶部１４を備えている。
撮像装置２は、デジタルカメラまたはデジタルビデオカメラ等の画像を撮像する装置であり、作業員Ｐにより携帯されている。作業員Ｐは、撮像装置２により検査対象の製品Ｔの外観を撮像する。レンジファインダを用いて距離画像を得るようにしてもよい。
入力処理部１１は、撮像した製品Ｔの撮像画像が撮像装置２から供給されると、画像処理部１２へこの撮像画像を出力する。
また、入力処理部１１は、撮像装置２がデジタルビデオカメラの場合、所定の周期にてサンプリングして、サンプリングした画像データを撮像画像として画像処理部１２へ出力する。
参照画像記憶部１４は、検査対象の製品が良品の場合、あるいは不良品の場合の外観の画像データである、基準となる参照画像が記憶されている。以下においては、参照画像として良品の場合の製品の外観を撮像した画像を用いた場合を説明する。
また、入力処理部１１は、撮像装置２がデジタルビデオカメラの場合、所定の周期にてサンプリングして、サンプリングした画像データを撮像画像として画像処理部１２へ出力する。
参照画像記憶部１４は、検査対象の製品が良品の場合、あるいは不良品の場合の外観の画像データである、基準となる参照画像が記憶されている。以下においては、参照画像として良品の場合の製品の外観を撮像した画像を用いた場合を説明する。
画像処理部１２は、撮像画像を撮影したカメラ座標を、参照画像を撮影したカメラ座標に変換する処理を行う。ここで、カメラ座標とは、３次元のワールド（世界）座標系に位置する、カメラが撮像した２次元平面の座標系を示している。このため、カメラ座標系の平面にある画素は、ワールド座標系におけるｘ，ｙ，ｚ座標における並進ベクトル及び回転ベクトルにより表されることになる。
図２は撮像画像を撮像したカメラC１（撮像装置２）と、参照画像を撮像したカメラC２（予め参照画像を撮像した撮像装置、撮像装置２あるいは他の撮像装置）とのワールド座標系における、それぞれのカメラ座標Ｊ１とカメラ座標Ｊ２との関係を示す図である。検査対象としての製品Ｔのある面の座標系は２次元の座標（平面）πである。座標πの点Ｑが、カメラ座標Ｊ１の座標ｐ＊、またカメラ座標Ｊ２の座標ｐに対応している。
カメラC１のカメラ座標Ｊ１と、カメラC２のカメラ座標Ｊ２とは、互いに２次元座標である座標πにある製品の面を撮像しているが、製品Ｔの面を撮像した位置及び傾きが異なるため、互いに空間的に異なる位置に配置された２次元座標系となっている。
このため、参照画像をテンプレートとして、外観検査のためのマッチング処理を行う場合には、カメラ座標Ｊ１をカメラ座標Ｊ２の座標系に対応させる必要がある。
カメラC１のカメラ座標Ｊ１と、カメラC２のカメラ座標Ｊ２とは、互いに２次元座標である座標πにある製品の面を撮像しているが、製品Ｔの面を撮像した位置及び傾きが異なるため、互いに空間的に異なる位置に配置された２次元座標系となっている。
このため、参照画像をテンプレートとして、外観検査のためのマッチング処理を行う場合には、カメラ座標Ｊ１をカメラ座標Ｊ２の座標系に対応させる必要がある。
ここで、カメラ座標Ｊ１をカメラ座標Ｊ２に変換するためには、座標変換関数が用いられ、例えば、一般的にホモグラフィ行列が用いられている。
ホモグラフィ行列Ｈは、３×３行列であり、下記（１）式により表され、例えば、ワールド座標系において、カメラ座標Ｊ１を、カメラ座標Ｊ２に変換させる。すなわち、この（２）式において、Ａ１及びＡ２はそれぞれカメラC１、カメラC２のカメラ特有の内部パラメータであり、Ｒはカメラ座標Ｊ２に対するカメラ座標Ｊ１の回転ベクトルであり、ｔはカメラ座標Ｊ２に対するカメラ座標Ｊ１の並進ベクトルであり、ｄはカメラC１のレンズ中心から平面πに対する垂線の長さ、ｎは平面πにおけるカメラC１のカメラ座標Ｊ１での法線ベクトルである。
ホモグラフィ行列Ｈは、３×３行列であり、下記（１）式により表され、例えば、ワールド座標系において、カメラ座標Ｊ１を、カメラ座標Ｊ２に変換させる。すなわち、この（２）式において、Ａ１及びＡ２はそれぞれカメラC１、カメラC２のカメラ特有の内部パラメータであり、Ｒはカメラ座標Ｊ２に対するカメラ座標Ｊ１の回転ベクトルであり、ｔはカメラ座標Ｊ２に対するカメラ座標Ｊ１の並進ベクトルであり、ｄはカメラC１のレンズ中心から平面πに対する垂線の長さ、ｎは平面πにおけるカメラC１のカメラ座標Ｊ１での法線ベクトルである。
また、空間における同一点をカメラC１及びカメラC２において撮像した際、その点がカメラC１のカメラ座標Ｊ１の座標点Ｐ＊に位置し、カメラC２のカメラ座標Ｊ２の座標点Ｐに位置する。
ワールド座標系において、座標点Ｐ＊と座標点Ｐとに対してホモグラフィ行列Ｈによる対応関係は、以下の（２）式として表される。
ワールド座標系において、座標点Ｐ＊と座標点Ｐとに対してホモグラフィ行列Ｈによる対応関係は、以下の（２）式として表される。
（２）式において、αはカメラ座標Ｊ１における座標点Ｐ＊と、カメラ座標Ｊ２の座標点Ｐの座標値により決定される定数である。また、ｕ＊、ｖ＊は座標点Ｐ＊の２次元座標系における座標を示し、ｕ、ｖは座標点Ｐの２次元座標系における座標を示している。それぞれの「１」は、各カメラの焦点距離を示す数値であり、この焦点距離により座標が規格化されている。このため、規格化した際の焦点距離の数値は定数αに含まれている。これにより、ワールド座標系におけるカメラ座標Ｊ１及びカメラ座標Ｊ２との中心と平面πとの距離は、同様と考えられる。
また、ホモグラフィ行列Ｈは、３×３の行列であり、同一平面状の４個以上の座標点Ｐ＊（カメラ座標Ｊ１の２次元平面上の座標点）と座標点Ｐ（カメラ座標Ｊ２の２次元平面上の座標点）との組が４つ以上あれば、求めることができる。
ホモグラフィ行列は３×３の行列であり、９個の成分を持つが、定数倍の自由度があるので、どれか一つの成分を定数に固定して、未知数は８個であるとみなせる。対応点として座標点が４組あれば、それぞれカメラ座標の２軸（X軸、Y軸）の成分を持っているので、８個の連立方程式を立てることが出来、未知数が決定できる。
ホモグラフィ行列は３×３の行列であり、９個の成分を持つが、定数倍の自由度があるので、どれか一つの成分を定数に固定して、未知数は８個であるとみなせる。対応点として座標点が４組あれば、それぞれカメラ座標の２軸（X軸、Y軸）の成分を持っているので、８個の連立方程式を立てることが出来、未知数が決定できる。
図１に戻り、画像処理部１２は、入力処理部１１から撮像画像を読み込み、上述したホモグラフィ行列Ｈを用いて、作業員がカメラC１により撮像した撮像画像のカメラ座標Ｊ１を、カメラC２で撮像した参照画像のカメラ座標Ｊ２に変換する処理を行う。
ここで、撮像画像の撮像位置が参照画像の撮像位置近傍にある場合、後述する行列＾Ｇには単位行列が用いられる。この単位行列は、例えばカメラ座標Ｊ１の各画素を座標変換した場合、同一のカメラ座標Ｊ１となる行列である。
このため、画像処理部１２は、参考文献（”Ｈｏｍｏｇｒａｐｈｙ−ｂａｓｅｄ ２Ｄ Ｖｉｓｕａｌ Ｔｒａｃｋｉｎｇ ａｎｄ Ｓｅｒｖｏｉｎｇ”、Ｓ．Ｂｅｎｈｉｍａｎｅ ａｎｄ Ｅ．Ｍａｌｉｓ、Ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓ Ｒｅｓｅｒｃｈ ２００７；２６；６６１）等に記載されている一般的なＥＳＭ法（Ｅｆｆｉｃｉｅｎｔ Ｓｅｃｏｎｄ−ｏｒｄｅｒ Ｍｉｎｉｍｉｚａｔｉｏｎ Ｍｅｔｈｏｄ；効率的２次最小化法、）を用いた座標変換処理を行う。座標変換を行うことができれば、これ以外の手法を用いるようにしてもよい。
ここで、撮像画像の撮像位置が参照画像の撮像位置近傍にある場合、後述する行列＾Ｇには単位行列が用いられる。この単位行列は、例えばカメラ座標Ｊ１の各画素を座標変換した場合、同一のカメラ座標Ｊ１となる行列である。
このため、画像処理部１２は、参考文献（”Ｈｏｍｏｇｒａｐｈｙ−ｂａｓｅｄ ２Ｄ Ｖｉｓｕａｌ Ｔｒａｃｋｉｎｇ ａｎｄ Ｓｅｒｖｏｉｎｇ”、Ｓ．Ｂｅｎｈｉｍａｎｅ ａｎｄ Ｅ．Ｍａｌｉｓ、Ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓ Ｒｅｓｅｒｃｈ ２００７；２６；６６１）等に記載されている一般的なＥＳＭ法（Ｅｆｆｉｃｉｅｎｔ Ｓｅｃｏｎｄ−ｏｒｄｅｒ Ｍｉｎｉｍｉｚａｔｉｏｎ Ｍｅｔｈｏｄ；効率的２次最小化法、）を用いた座標変換処理を行う。座標変換を行うことができれば、これ以外の手法を用いるようにしてもよい。
図３はＥＳＭ法によるカメラ座標Ｊ１からカメラ座標Ｊ２への座標変換を説明する概念図である。このＥＳＭ法とは、後述するＳＩＦＴ及びＳＵＲＦが複数次元の特徴量を有する特徴点を用いて対応点を抽出し、この対応点を用いてホモグラフィ行列を生成している。
一方、ＥＳＭ法においては、全画素の各々の輝度値（階調度）を用いてホモグラフィ行列を生成している。
ここで、画像処理部１２は、図３に示すように、座標変換においてホモグラフィ行列Ｈではなく＾ＧＧ（ｘ）を用いている。ここで、＾ＧとＨとは同一の行列である。また、Ｇ（ｘ）は、誤差ベクトルである。
ＥＳＭ法のアルゴリズムは、ホモグラフィ行列＾Ｇにより透視投影変換を行い、誤差行列Ｇ（ｘ）によりさらに回転及び並進処理を行うことで、ワールド座標系において、撮像画像のカメラ座標Ｊ１の各画素の座標値を、参照画像のカメラ座標Ｊ２の各画素の座標値に近づける操作を行うものである。
まず、画像処理部１２は、ホモグラフィ行列＾ＧＧ（ｘ）を用い、カメラ座標Ｊ１の撮像画像の座標点ｐ（画素）を、カメラ座標Ｊ２の参照画像と同一平面に対して透視投影変換する。これにより、カメラ座標系Ｊ１の座標点ｐ＊に対応したカメラ座標系Ｊ２における座標点ｐは以下の（３）式により求められる。（３）式において、ｗ（Ｇ）は座標変換に用いる透視投影変換行列である。
一方、ＥＳＭ法においては、全画素の各々の輝度値（階調度）を用いてホモグラフィ行列を生成している。
ここで、画像処理部１２は、図３に示すように、座標変換においてホモグラフィ行列Ｈではなく＾ＧＧ（ｘ）を用いている。ここで、＾ＧとＨとは同一の行列である。また、Ｇ（ｘ）は、誤差ベクトルである。
ＥＳＭ法のアルゴリズムは、ホモグラフィ行列＾Ｇにより透視投影変換を行い、誤差行列Ｇ（ｘ）によりさらに回転及び並進処理を行うことで、ワールド座標系において、撮像画像のカメラ座標Ｊ１の各画素の座標値を、参照画像のカメラ座標Ｊ２の各画素の座標値に近づける操作を行うものである。
まず、画像処理部１２は、ホモグラフィ行列＾ＧＧ（ｘ）を用い、カメラ座標Ｊ１の撮像画像の座標点ｐ（画素）を、カメラ座標Ｊ２の参照画像と同一平面に対して透視投影変換する。これにより、カメラ座標系Ｊ１の座標点ｐ＊に対応したカメラ座標系Ｊ２における座標点ｐは以下の（３）式により求められる。（３）式において、ｗ（Ｇ）は座標変換に用いる透視投影変換行列である。
これにより、カメラ座標Ｊ１（撮像画像）の座標値ｐ＊を、カメラ座標Ｊ２（参照画像）の座標値ｐに、ホモグラフィ行列＾ＧＧ（ｘ）により変換し、この（４）式により求められる座標値ｐ、すなわちカメラ座標Ｊ１の変換値ｐ＊に対応するカメラ座標Ｊ２の座標値ｐの画素の明るさは、以下の（４）式により表される。
また、カメラ座標Ｊ１における座標値Ｐ＊の画素の明るさは、以下の（５）式により表される。
画像処理部１２は、（３）式により、カメラ座標系Ｊ１の座標点ｐ＊に対応したカメラ座標系Ｊ２における座標点ｗ（＾ＧＧ（ｘ））（ｐ＊）を求める。
また、画像処理部１２は、この座標点ｗ（＾ＧＧ（ｘ））（ｐ＊）の画素の輝度値Ｉ（ｗ（＾ＧＧ（ｘ））（ｐ＊））を、参照画像記憶部１４の参照画像から読み出す。
画像処理部１２は、カメラ座標系Ｊ１における座標値ｐ＊の画素の輝度値を読み出し、輝度値Ｉ（ｗ（＾ＧＧ（ｘ））（ｐ＊））から、輝度値Ｉ＊（ｐ＊）を減算して誤差を算出する。
また、画像処理部１２は、この座標点ｗ（＾ＧＧ（ｘ））（ｐ＊）の画素の輝度値Ｉ（ｗ（＾ＧＧ（ｘ））（ｐ＊））を、参照画像記憶部１４の参照画像から読み出す。
画像処理部１２は、カメラ座標系Ｊ１における座標値ｐ＊の画素の輝度値を読み出し、輝度値Ｉ（ｗ（＾ＧＧ（ｘ））（ｐ＊））から、輝度値Ｉ＊（ｐ＊）を減算して誤差を算出する。
画像処理部１２は、このカメラ座標Ｊ１の全ての座標値ｐ＊を順次、カメラ座標Ｊ２の座標値ｗ（＾ＧＧ（ｘ））（ｐ＊）に座標変換し、座標変換したカメラ座標Ｊ２における座標値ｗ（＾ＧＧ（ｘ））（ｐ＊）の画素の輝度値と、変換前のカメラ座標Ｊ１の座標値ｐ＊の画素の輝度値との差分を、以下の（６）式により求める。
また、画像処理部１２は、カメラ座標系Ｊ１の撮像画像の全ての座標点について、上述した二乗和を求め、誤差行列Ｇ（ｘ）の要素を変換することで、回転及び並進の処理を行い、二乗和が最小となる誤差行列Ｇ（ｘ）を要素ｘを変更しつつ求める。
また、このとき、画像処理部１２は、撮像画像の各画素を座標変換し、参照画像と同一の画素数にする。すなわち、カメラ座標Ｊ２における参照画像の座標範囲をはみ出した部分の画素（参照画像の画素と重ならない画素）に座標変換された画素を破棄し、参照画像の座標範囲に入る画素（参照画像の画素と重なる画素）のみを比較画像とする。
また、このとき、画像処理部１２は、撮像画像の各画素を座標変換し、参照画像と同一の画素数にする。すなわち、カメラ座標Ｊ２における参照画像の座標範囲をはみ出した部分の画素（参照画像の画素と重ならない画素）に座標変換された画素を破棄し、参照画像の座標範囲に入る画素（参照画像の画素と重なる画素）のみを比較画像とする。
画像処理部１２は、ホモグラフィ行列＾Ｇと二乗和が最小となる誤差行列Ｇ（ｘ）とを用い、（３）式により撮像画像を、参照画像と同様の撮像位置のカメラ座標Ｊ２上に変換する座標変換を行い、座標変換の結果として比較画像を生成し、生成した比較画像をマッチング処理部１３へ出力する。
ここで、二乗和が最小となるＧ（ｘ）における要素ｘを求めるアルゴリズムとしては、ＥＳＭ法で用いたアルゴリズムではなく、ＫＬＴ（Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ）法等を用いても良い。
ここで、二乗和が最小となるＧ（ｘ）における要素ｘを求めるアルゴリズムとしては、ＥＳＭ法で用いたアルゴリズムではなく、ＫＬＴ（Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ）法等を用いても良い。
マッチング処理部１３は、参照画像のデータを参照画像記憶部１４から読み込み、画像処理部１２から入力される比較画像の各画素と、この各画素に座標値に対して参照画像の対応する座標値の画素との差分を求め、全画素の差分の二乗和を、以下に示す（７）式により求める。この式（７）において、Ｐｉは比較画像の画素ｉの輝度値であり、Ｔｉは参照画像の画素ｉの輝度値である。
マッチング処理部１３は、予め設定した閾値以下の場合、参照画像と比較画像とが一致したと判定して良品を示す信号を出力し、一方、予め設定した閾値を超えた場合、参照画像と比較画像とが一致しないと判定して不良品を示す信号を出力する。
また、マッチング処理部１３は、差分の二乗和を求めるのではなく、以下の（８）式に示す相関係数により類似度を求めるように構成しても良い。この（８）式において、Ｔｉは参照画像の画素ｉの輝度値であり、ＴＭは参照画像における全画素の輝度値の平均値であり、Ｐｉは比較画像の画素ｉの輝度値であり、ＰＭは比較画像の全画素の輝度値の平均値である。
また、マッチング処理部１３は、差分の二乗和を求めるのではなく、以下の（８）式に示す相関係数により類似度を求めるように構成しても良い。この（８）式において、Ｔｉは参照画像の画素ｉの輝度値であり、ＴＭは参照画像における全画素の輝度値の平均値であり、Ｐｉは比較画像の画素ｉの輝度値であり、ＰＭは比較画像の全画素の輝度値の平均値である。
この（８）式を用いた場合、マッチング処理部１３は、予め設定した閾値以上の場合、参照画像と比較画像とが一致したと判定して良品を示す信号を出力し、一方、予め設定した閾値未満の場合、参照画像と比較画像とが一致しないと判定して不良品を示す信号を出力する。
次に、第１の実施形態による検査システムの動作を図４を用いて説明する。図４は第１の実施形態による検査システムの検査処理の動作例を示すフローチャートである。
本実施形態は、後述する他の実施形態に対して、対応点の検索を行っていないが、例えば、撮像画像が参照画像近傍の画像の場合、すなわちカメラ座標Ｊ１とカメラ座標Ｊ２とがほぼ重なる位置である場合に有効に用いることができる。
本実施形態は、後述する他の実施形態に対して、対応点の検索を行っていないが、例えば、撮像画像が参照画像近傍の画像の場合、すなわちカメラ座標Ｊ１とカメラ座標Ｊ２とがほぼ重なる位置である場合に有効に用いることができる。
ステップＳ１：
入力処理部１１は、撮像装置２から製品Ｔが撮像された撮像画像のデータを、画像処理部１２に対して出力する。撮像装置２による製品Ｔの撮像は、作業者Ｔが撮像装置２を手に持って、製品Ｔの各面の撮像することにより行われる。ここで、作業者Ｔはいずれの面を、撮像装置２により撮像しているかを示す識別情報を、入力処理部１１に対して入力する。
画像処理部１２は、入力処理部１１から供給される撮像画像を所定の周期において、内部記憶部に格納する。
入力処理部１１は、撮像装置２から製品Ｔが撮像された撮像画像のデータを、画像処理部１２に対して出力する。撮像装置２による製品Ｔの撮像は、作業者Ｔが撮像装置２を手に持って、製品Ｔの各面の撮像することにより行われる。ここで、作業者Ｔはいずれの面を、撮像装置２により撮像しているかを示す識別情報を、入力処理部１１に対して入力する。
画像処理部１２は、入力処理部１１から供給される撮像画像を所定の周期において、内部記憶部に格納する。
ステップＳ２：
次に、画像処理部１２は、撮像している面の識別情報に対応する参照画像のデータを、参照画像記憶部１４から読み込み、内部記憶部に格納する。
次に、画像処理部１２は、撮像している面の識別情報に対応する参照画像のデータを、参照画像記憶部１４から読み込み、内部記憶部に格納する。
ステップＳ３：
次に、画像処理部１２は、すでに説明したように、ＥＳＭ法により、ワールド座標系におけるカメラ座標Ｊ１からカメラ座標Ｊ２に座標変換するホモグラフィ行列を求め、カメラ座標Ｊ１における撮像画像の各画素の座標を、カメラ座標Ｊ２における比較画像の各画素の座標に変換する。
次に、画像処理部１２は、すでに説明したように、ＥＳＭ法により、ワールド座標系におけるカメラ座標Ｊ１からカメラ座標Ｊ２に座標変換するホモグラフィ行列を求め、カメラ座標Ｊ１における撮像画像の各画素の座標を、カメラ座標Ｊ２における比較画像の各画素の座標に変換する。
ステップＳ４：
マッチング処理部１３は、比較画像と参照画像との対応する座標点における輝度値を、二乗和あるいは相関値を用いて、類似度を抽出し、この抽出した類似度により、撮像した製品Ｔの面が良品か不良品かのいずれであるかの判定を行う。
マッチング処理部１３は、比較画像と参照画像との対応する座標点における輝度値を、二乗和あるいは相関値を用いて、類似度を抽出し、この抽出した類似度により、撮像した製品Ｔの面が良品か不良品かのいずれであるかの判定を行う。
ステップＳ４：
そして、マッチング処理部１３は、例えば、（７）式を用いた差の二乗和あるいは相関値等により、比較画像の参照画像に対する類似度を求めた場合、予め設定した閾値以下の場合、参照画像と比較画像とが一致したと判定して良品を示す信号を出力する。
一方、マッチング処理部１３は、予め設定した閾値を超えた場合、参照画像と比較画像とが一致しないと判定して不良品を示す信号を出力する。
そして、マッチング処理部１３は、例えば、（７）式を用いた差の二乗和あるいは相関値等により、比較画像の参照画像に対する類似度を求めた場合、予め設定した閾値以下の場合、参照画像と比較画像とが一致したと判定して良品を示す信号を出力する。
一方、マッチング処理部１３は、予め設定した閾値を超えた場合、参照画像と比較画像とが一致しないと判定して不良品を示す信号を出力する。
上述したように、本実施形態によれば、作業者Ｐが撮像した製品Ｔの撮像画像と、予め良品の製品の画像として撮像した参照画像とを比較するため、カメラ座標Ｊ１の撮像画像を一旦、参照画像と同一のカメラ座標Ｊ２の比較画像に座標変換し、参照画像の座標系に合わせた後に、比較画像と参照画像との比較を行うため、作業者が手で持つ撮像装置２で撮像した撮像画像を容易に参照画像と比較することが可能となる。
この結果、製品Ｔに対して常に撮像装置２を固定しておく必要が無く、作業者がその度に撮像装置２により任意の位置から、製品Ｔの各面の撮像を行うことができ、撮像装置２を固定する装置を配置する作業スペースと、製造ライン変更に伴う煩雑な装置設備の交換作業とを必要とせず、かつ作業員自身が外観検査の判定を行わないので、作業者の心理的負担を低減することができる。
この結果、製品Ｔに対して常に撮像装置２を固定しておく必要が無く、作業者がその度に撮像装置２により任意の位置から、製品Ｔの各面の撮像を行うことができ、撮像装置２を固定する装置を配置する作業スペースと、製造ライン変更に伴う煩雑な装置設備の交換作業とを必要とせず、かつ作業員自身が外観検査の判定を行わないので、作業者の心理的負担を低減することができる。
＜第２の実施形態＞
次に、図面を参照して、本発明の第２の実施形態について説明する。図５は、この発明の第２の実施形態による検査システムの構成例を示す概略ブロック図である。
同図において、検査システムは、第１の実施形態と同様に、画像検査装置１と撮像装置２とから構成されている。
画像検査装置１は、入力処理部１１、画像処理部２２、マッチング処理部１３、参照画像記憶部１４、対応点検出部１５及びホモグラフィ行列作成部１６を備えている。図１の第１の実施形態と同様の構成については同一の符号を付し、その説明を省略する。
次に、図面を参照して、本発明の第２の実施形態について説明する。図５は、この発明の第２の実施形態による検査システムの構成例を示す概略ブロック図である。
同図において、検査システムは、第１の実施形態と同様に、画像検査装置１と撮像装置２とから構成されている。
画像検査装置１は、入力処理部１１、画像処理部２２、マッチング処理部１３、参照画像記憶部１４、対応点検出部１５及びホモグラフィ行列作成部１６を備えている。図１の第１の実施形態と同様の構成については同一の符号を付し、その説明を省略する。
対応点検出部１５は、撮像画像及び参照画像の各々に対して、ＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）またはＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）を用いて、画像の特徴点の抽出を行い、画像の特徴点とその特徴量のベクトルのデータとを求める。このとき、特徴ベクトルの合成ベクトルが予め設定した数値以上の画素を特徴点として検出する。この特徴点の特徴量のベクトルとしては、ＲＧＢ（Red Green Blue；三原色）毎の階調度、隣接する画素との色毎の階調度の差などの複数の次元から構成されている。例えば、ＳＩＦＴを用いた場合、特徴量としては１２８次元のベクトルとして表現される。
また、対応点検出部１５は、撮像画像の特徴点と、参照画像の特徴点とを比較し、類似する画素を対応点として選択する。
図６は撮像画像の特徴点と、参照画像の特徴点とを比較し、類似した点を対応点として抽出する処理を説明する図である。
対応点検出部１５は、撮像画像の特徴点Ｄ１を選択し、この特徴点Ｄ１の特徴量と、参照画像の全ての特徴点との比較を、以下の（９）式により行う。
図６は撮像画像の特徴点と、参照画像の特徴点とを比較し、類似した点を対応点として抽出する処理を説明する図である。
対応点検出部１５は、撮像画像の特徴点Ｄ１を選択し、この特徴点Ｄ１の特徴量と、参照画像の全ての特徴点との比較を、以下の（９）式により行う。
すなわち、対応点検出部１５は、撮像画像の特徴点Ｄ１と、全ての参照画像の特徴点各々とのユークリッド距離を、（９）式により求め、特徴点Ｄ１とユークリッド距離が最小の参照画像における特徴点を抽出し、撮像画像の特徴点Ｄ１と、抽出された参照画像の特徴点とを対応点として組合せる。例えば、図６においては、撮像画像の特徴点Ｄ１との間において、最もユークリッド距離の小さい参照画像の特徴点は特徴点ＤＰ１であり、特徴点Ｄ１と特徴点ＤＰ１とが対応点となる。
図６において、特徴点Ｄ１と特徴点ＤＰ１との特徴長のユークリッド距離ｄは１２であり、特徴点Ｄ１と特徴点ＤＰ２との特徴量のユークリッド距離ｄは５４であり、特徴点Ｄ１と特徴点ＤＰ３との特徴量のユークリッド距離ｄは４７であり、特徴点Ｄ１と特徴点ＤＰ２との特徴量のユークリッド距離ｄは６８である。
このため、対応点検出部１５は、特徴点Ｄ１と特徴点ＤＰ１とのユークリッド距離ｄが１２と、全ての組合せのなかで最も小さいため、撮像画像の特徴点Ｄ１と、参照画像の特徴点ＤＰ１とを対応点として組合せに設定する。
そして、対応点検出部１５は、撮像画像の特徴点を順次選択し、選択した特徴点毎に、参照画像の特徴点各々とのユークリッド距離を求め、最小となるユークリッド距離を有する参照画像の特徴点を、選択した特徴点の対応点とする。
ここで、対応点検出部１５は、後述するホモグラフィ行列の算出に必要な対応点を、４組以上求める。
このため、対応点検出部１５は、特徴点Ｄ１と特徴点ＤＰ１とのユークリッド距離ｄが１２と、全ての組合せのなかで最も小さいため、撮像画像の特徴点Ｄ１と、参照画像の特徴点ＤＰ１とを対応点として組合せに設定する。
そして、対応点検出部１５は、撮像画像の特徴点を順次選択し、選択した特徴点毎に、参照画像の特徴点各々とのユークリッド距離を求め、最小となるユークリッド距離を有する参照画像の特徴点を、選択した特徴点の対応点とする。
ここで、対応点検出部１５は、後述するホモグラフィ行列の算出に必要な対応点を、４組以上求める。
ホモグラフィ行列生成部１６は、撮像画像の特徴点と参照画像の特徴点との対応点全ての情報を用いて、（２）式を求め、この（２）式を連立させて解くことにより、ホモグラフィ行列Ｈのなかの４つの未定要素を求める。ここでは、対応点を精度良く抽出する方法としてRANSAC等がある。
画像処理部２２は、ホモグラフィ行列生成部１６の生成したホモグラフィ行列Ｈを用いて、カメラ座標Ｊ１の撮像画像の各画素の座標点を座標変換し、カメラ座標Ｊ２における比較画像を生成する。この座標変換により、カメラ座標Ｊ２の参照画像と同様の位置及び傾きである撮像画像として、比較画像を得ることができる。
画像処理部２２は、ホモグラフィ行列生成部１６の生成したホモグラフィ行列Ｈを用いて、カメラ座標Ｊ１の撮像画像の各画素の座標点を座標変換し、カメラ座標Ｊ２における比較画像を生成する。この座標変換により、カメラ座標Ｊ２の参照画像と同様の位置及び傾きである撮像画像として、比較画像を得ることができる。
次に、第２の実施形態による検査システムの動作を図７を用いて説明する。図７は第２の実施形態による検査システムの検査処理の動作例を示すフローチャートである。
図７のフローチャートにおいて、ステップＳ２１、ステップＳ２８、ステップＳ２９の各々は、第１の実施形態の図４のフローチャートにおけるステップＳ１、ステップＳ４、ステップＳ５とそれぞれ同様のため説明を省略する。また、本実施形態においては、第１の実施形態におけるＥＳＭによる座標変換処理を行っていない。ＳＩＦＴなどにより抽出した特徴点から正確な対応点が抽出できれば、ＥＳＭによるカメラ座標Ｊ１とカメラ座標Ｊ２との合わせ込みが必要ではない。
このＥＳＭの処理の有無は、検査対象毎に撮像画像及び参照画像における特徴点の数の比較、あるいは特徴量のユークリッド距離の大きさなどを実験により求めておく。
図７のフローチャートにおいて、ステップＳ２１、ステップＳ２８、ステップＳ２９の各々は、第１の実施形態の図４のフローチャートにおけるステップＳ１、ステップＳ４、ステップＳ５とそれぞれ同様のため説明を省略する。また、本実施形態においては、第１の実施形態におけるＥＳＭによる座標変換処理を行っていない。ＳＩＦＴなどにより抽出した特徴点から正確な対応点が抽出できれば、ＥＳＭによるカメラ座標Ｊ１とカメラ座標Ｊ２との合わせ込みが必要ではない。
このＥＳＭの処理の有無は、検査対象毎に撮像画像及び参照画像における特徴点の数の比較、あるいは特徴量のユークリッド距離の大きさなどを実験により求めておく。
ステップＳ２２：
次に、対応点検出部１５は、内部記憶部に記憶している撮像画像（ステップＳ２１において入力された撮像画像）における特徴点の抽出を、ＳＩＦＴまたはＳＵＲＦ等を用いて行う。
次に、対応点検出部１５は、内部記憶部に記憶している撮像画像（ステップＳ２１において入力された撮像画像）における特徴点の抽出を、ＳＩＦＴまたはＳＵＲＦ等を用いて行う。
ステップＳ２３：
そして、対応点検出部１５は、撮像している面の識別情報に対応する参照画像のデータを、参照画像記憶部１４から読み込み、内部記憶部に格納する。
そして、対応点検出部１５は、撮像している面の識別情報に対応する参照画像のデータを、参照画像記憶部１４から読み込み、内部記憶部に格納する。
ステップＳ２４：
次に、対応点検出部１５は、内部記憶部に記憶している参照画像における特徴点の抽出を、ＳＨＩＦを用いて行う。
次に、対応点検出部１５は、内部記憶部に記憶している参照画像における特徴点の抽出を、ＳＨＩＦを用いて行う。
ステップＳ２５：
撮像画像及び参照画像の特徴点の抽出が終了すると、対応点検出部１５は、撮像画像の特徴点を順次１つ選択し、この選択した撮像画像の特徴点と、参照画像の全特徴点の各々との特徴量のユークリッド距離を求め、選択した撮像画像の特徴点とのユークリッド距離が最も小さい参照画像の特徴点を、選択した撮像画像の特徴点との対応点として抽出する。
また、対応点検出部１５は、上述した特徴点の組合せとしての対応点において、この対応点における最も小さなユークリッド距離が予め設定した値より小さい場合、この撮像画像の特徴点と参照画像の特徴点とを、対応点として抽出しないように構成しても良い。
撮像画像及び参照画像の特徴点の抽出が終了すると、対応点検出部１５は、撮像画像の特徴点を順次１つ選択し、この選択した撮像画像の特徴点と、参照画像の全特徴点の各々との特徴量のユークリッド距離を求め、選択した撮像画像の特徴点とのユークリッド距離が最も小さい参照画像の特徴点を、選択した撮像画像の特徴点との対応点として抽出する。
また、対応点検出部１５は、上述した特徴点の組合せとしての対応点において、この対応点における最も小さなユークリッド距離が予め設定した値より小さい場合、この撮像画像の特徴点と参照画像の特徴点とを、対応点として抽出しないように構成しても良い。
ステップＳ２６：
次に、ホモグラフィ行列生成部１６は、抽出された対応点のなかから、特徴量のユークリッドが小さい方から４つの対応点を抽出し、この４つの対応点を用いてホモグラフィ行列を求める。
すなわち、ホモグラフィ行列生成部１６は、対応点毎に組み合わされている特徴点の座標を用い、４つの（２）式を生成し、この４つの式を連立して解くことにより、ホモグラフィ行列Ｈの未定要素を求めて、ホモグラフィ行列Ｈを生成する。
次に、ホモグラフィ行列生成部１６は、抽出された対応点のなかから、特徴量のユークリッドが小さい方から４つの対応点を抽出し、この４つの対応点を用いてホモグラフィ行列を求める。
すなわち、ホモグラフィ行列生成部１６は、対応点毎に組み合わされている特徴点の座標を用い、４つの（２）式を生成し、この４つの式を連立して解くことにより、ホモグラフィ行列Ｈの未定要素を求めて、ホモグラフィ行列Ｈを生成する。
ステップＳ２７：
画像処理部２２は、ホモグラフィ行列生成部１６が求めたホモグラフィ行列により、カメラ座標Ｊ１における２次元平面上の撮像画像を座標変換し、カメラ座標Ｊ２の２次元平面上の比較画像を生成する。
この後段の処理であるステップＳ２８及びステップＳ２９の各々は、それぞれ図４のフローチャートのステップＳ４、ステップＳ５と同様のため、説明を省略する。
画像処理部２２は、ホモグラフィ行列生成部１６が求めたホモグラフィ行列により、カメラ座標Ｊ１における２次元平面上の撮像画像を座標変換し、カメラ座標Ｊ２の２次元平面上の比較画像を生成する。
この後段の処理であるステップＳ２８及びステップＳ２９の各々は、それぞれ図４のフローチャートのステップＳ４、ステップＳ５と同様のため、説明を省略する。
本第２の実施形態によれば、第１の実施形態と同様に、作業者Ｐが撮像した製品Ｔの撮像画像と、予め良品の製品の画像として撮像した参照画像とを比較するため、カメラ座標Ｊ１の撮像画像を一旦、参照画像と同一のカメラ座標Ｊ２の比較画像に座標変換し、参照画像の座標系に合わせた後に、比較画像と参照画像との比較を行うため、作業者が手で持つ撮像装置２で撮像した撮像画像を容易に参照画像と比較することが可能となる。
この結果、製品Ｔに対して常に撮像装置２を固定しておく必要が無く、作業者がその度に撮像装置２により任意の位置から、製品Ｔの各面の撮像を行うことができ、撮像装置２を固定する装置を配置する作業スペースと、製造ライン変更に伴う煩雑な装置設備の交換作業とを必要とせず、かつ作業員自身が外観検査を行わないので、作業者の心理的負担を低減することができる。
この結果、製品Ｔに対して常に撮像装置２を固定しておく必要が無く、作業者がその度に撮像装置２により任意の位置から、製品Ｔの各面の撮像を行うことができ、撮像装置２を固定する装置を配置する作業スペースと、製造ライン変更に伴う煩雑な装置設備の交換作業とを必要とせず、かつ作業員自身が外観検査を行わないので、作業者の心理的負担を低減することができる。
また、本第２の実施形態によれば、撮像画像の特徴点と参照画像の特徴点とにおける対応点からホモグラフィ行列Ｈを生成し、この生成したホモグラフィ行列Ｈを用いて、カメラ座標Ｊ１の撮像画像を、参照画像と同様のカメラ座標Ｊ２に変換し（各画素の座標変換を行い）、参照画像と同様の撮影位置とした比較画像を生成する。
このため、ホモグラフィ行列が既知でなくとも、カメラ座標Ｊ１の撮像画像を、参照画像と同様のカメラ座標Ｊ２に座標変換して比較画像とするため、作業者が撮像装置の位置を、ホモグラフィ行列が既知となる位置に移動させるなどの注意を払うことなく、製品の外観検査を行うことができる。
このため、ホモグラフィ行列が既知でなくとも、カメラ座標Ｊ１の撮像画像を、参照画像と同様のカメラ座標Ｊ２に座標変換して比較画像とするため、作業者が撮像装置の位置を、ホモグラフィ行列が既知となる位置に移動させるなどの注意を払うことなく、製品の外観検査を行うことができる。
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。第３の実施形態の構成は、第２の実施形態と同様である。以下、第２の実施形態と異なる動作を説明する。
第３の実施形態が第２の実施形態と異なる点は、画像処理部２２がホモグラフィ行列Ｈを用いて、（３）式から（６）式により、カメラ座標Ｊ１の２次元平面上の撮像画像を、カメラ座標Ｊ２の２次元平面上の比較画像に座標変換することにある。
次に、本発明の第３の実施形態について説明する。第３の実施形態の構成は、第２の実施形態と同様である。以下、第２の実施形態と異なる動作を説明する。
第３の実施形態が第２の実施形態と異なる点は、画像処理部２２がホモグラフィ行列Ｈを用いて、（３）式から（６）式により、カメラ座標Ｊ１の２次元平面上の撮像画像を、カメラ座標Ｊ２の２次元平面上の比較画像に座標変換することにある。
次に、第３の実施形態による検査システムの動作を図８を用いて説明する。図８は第３の実施形態による検査システムの検査処理の動作例を示すフローチャートである。
図８のフローチャートにおいて、ステップＳ３１からステップＳ３６の各々は、それぞれ図７のフローチャートのステップＳ２１からステップＳ２６と同様であり、説明を省略する。また、ステップＳ３９及びステップＳ４０の各々は、図７のフローチャートのステップＳ２８、ステップＳ２９と同様であり、説明を省略する。
図８のフローチャートにおいて、ステップＳ３１からステップＳ３６の各々は、それぞれ図７のフローチャートのステップＳ２１からステップＳ２６と同様であり、説明を省略する。また、ステップＳ３９及びステップＳ４０の各々は、図７のフローチャートのステップＳ２８、ステップＳ２９と同様であり、説明を省略する。
ステップＳ３７、Ｓ３８：
次に、画像処理部１２は、ワールド座標系におけるカメラ座標Ｊ１からカメラ座標Ｊ２に座標変換するホモグラフィ行列Ｈ及び参照画像の各画素の輝度値を用い、第１の実施形態において説明したＥＳＭ法により、ホモグラフィ行列＾Ｇ（Ｈ）に対する誤差行列Ｇ（ｘ）を求め、カメラ座標Ｊ１における撮像画像の各画素の座標を、カメラ座標Ｊ２における比較画像の各画素の座標に座標変換する。
この後段の処理であるステップＳ３９及びステップＳ４０の各々は、それぞれ図７のフローチャートのステップＳ２８、ステップＳ２９と同様のため、説明を省略する。
次に、画像処理部１２は、ワールド座標系におけるカメラ座標Ｊ１からカメラ座標Ｊ２に座標変換するホモグラフィ行列Ｈ及び参照画像の各画素の輝度値を用い、第１の実施形態において説明したＥＳＭ法により、ホモグラフィ行列＾Ｇ（Ｈ）に対する誤差行列Ｇ（ｘ）を求め、カメラ座標Ｊ１における撮像画像の各画素の座標を、カメラ座標Ｊ２における比較画像の各画素の座標に座標変換する。
この後段の処理であるステップＳ３９及びステップＳ４０の各々は、それぞれ図７のフローチャートのステップＳ２８、ステップＳ２９と同様のため、説明を省略する。
第４の実施形態によれば、第１及び第２の実施形態の効果に加え、撮像画像の特徴点と参照画像の特徴点とにおける対応点からホモグラフィ行列を生成し、この生成したホモグラフィ行列＾Ｇ（Ｈ）を誤差行列Ｇ（ｘ）により補正する処理を行った後、補正したホモグラフィ行列（＾ＧＧ（ｘ））により、カメラ座標Ｊ１の撮像画像を、参照画像と同様のカメラ座標Ｊ２の比較画像に座標変換を行うようにしている。
このため、ホモグラフィ行列が既知でなくとも、カメラ座標Ｊ１の撮像画像を、参照画像と同様のカメラ座標Ｊ２の比較画像とするため、作業者が撮像装置の位置を、ホモグラフィ行列が既知となる位置に移動させるなどの注意を払うことなく、製品の外観検査を行うことができる。
このため、ホモグラフィ行列が既知でなくとも、カメラ座標Ｊ１の撮像画像を、参照画像と同様のカメラ座標Ｊ２の比較画像とするため、作業者が撮像装置の位置を、ホモグラフィ行列が既知となる位置に移動させるなどの注意を払うことなく、製品の外観検査を行うことができる。
＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。第４の実施形態の構成は、第３の実施形態と同様である。以下、第３の実施形態と異なる動作を説明する。
第３の実施形態と異なる点は、まず、第１の実施形態と同様にＥＳＭを行いた座標変換処理を行う。そして、座標変換したカメラ座標Ｊ２における座標値ｗ（＾ＧＧ（ｘ））（ｐ＊）の画素の輝度値と、変換前のカメラ座標Ｊ１の座標値ｐ＊の画素の輝度値との差分の二乗和による類似度（後述する（７）式）、あるいは相関値による類似度（後述する（８）式）を求め、この類似度が予め設定した閾値に対して低い場合、第２の実施形態と同様にホモグラフィ行列の生成を行う。
次に、本発明の第４の実施形態について説明する。第４の実施形態の構成は、第３の実施形態と同様である。以下、第３の実施形態と異なる動作を説明する。
第３の実施形態と異なる点は、まず、第１の実施形態と同様にＥＳＭを行いた座標変換処理を行う。そして、座標変換したカメラ座標Ｊ２における座標値ｗ（＾ＧＧ（ｘ））（ｐ＊）の画素の輝度値と、変換前のカメラ座標Ｊ１の座標値ｐ＊の画素の輝度値との差分の二乗和による類似度（後述する（７）式）、あるいは相関値による類似度（後述する（８）式）を求め、この類似度が予め設定した閾値に対して低い場合、第２の実施形態と同様にホモグラフィ行列の生成を行う。
次に、第４の実施形態による検査システムの動作を図９を用いて説明する。図９は第４の実施形態による検査システムの検査処理の動作例を示すフローチャートである。第３の実施形態に追加された処理としては、ステップＳ７０及びステップＳ７１である。
ステップＳ３１：
入力処理部１１は、撮像装置２から製品Ｔが撮像された撮像画像のデータを、画像処理部１２に対して出力する。撮像装置２による製品Ｔの撮像は、作業者Ｔが撮像装置２を手に持って、製品Ｔの各面の撮像することにより行われる。ここで、作業者Ｔはいずれの面を、撮像装置２により撮像しているかを示す識別情報を、入力処理部１１に対して入力する。
画像処理部１２は、入力処理部１１から供給される撮像画像を所定の周期において、内部記憶部に格納する。
ステップＳ３１：
入力処理部１１は、撮像装置２から製品Ｔが撮像された撮像画像のデータを、画像処理部１２に対して出力する。撮像装置２による製品Ｔの撮像は、作業者Ｔが撮像装置２を手に持って、製品Ｔの各面の撮像することにより行われる。ここで、作業者Ｔはいずれの面を、撮像装置２により撮像しているかを示す識別情報を、入力処理部１１に対して入力する。
画像処理部１２は、入力処理部１１から供給される撮像画像を所定の周期において、内部記憶部に格納する。
ステップＳ３３：
そして、対応点検出部１５は、撮像している面の識別情報に対応する参照画像のデータを、参照画像記憶部１４から読み込み、内部記憶部に格納する。
そして、対応点検出部１５は、撮像している面の識別情報に対応する参照画像のデータを、参照画像記憶部１４から読み込み、内部記憶部に格納する。
ステップＳ７０：
次に、画像処理部１２は、すでに説明したように、ＥＳＭ法により、ワールド座標系におけるカメラ座標Ｊ１からカメラ座標Ｊ２に座標変換するホモグラフィ行列を求め、カメラ座標Ｊ１における撮像画像の各画素の座標を、カメラ座標Ｊ２における比較画像の各画素の座標に変換する。
次に、画像処理部１２は、すでに説明したように、ＥＳＭ法により、ワールド座標系におけるカメラ座標Ｊ１からカメラ座標Ｊ２に座標変換するホモグラフィ行列を求め、カメラ座標Ｊ１における撮像画像の各画素の座標を、カメラ座標Ｊ２における比較画像の各画素の座標に変換する。
ステップＳ７１：
そして、画像処理部１２は、座標変換したカメラ座標Ｊ２における座標値ｗ（＾ＧＧ（ｘ））（ｐ＊）の画素の輝度値と、変換前のカメラ座標Ｊ１の座標値ｐ＊の画素の輝度値との差分を全画素で加算し、この加算値の逆数を類似度とし予め設定した閾値を超える場合、類似しているとして、ホモグラフィ行列＾Ｇと得られた誤差行列Ｇとにより、撮像画像の各画素の座標変換を行い、比較画像を生成して処理をステップＳ３９へ進め、一方、類似度が予め設定した閾値より低い場合、類似していないとして処理をステップＳ３２へ進める。
以降の処理は、第３の実施形態と同様であるため、説明を省略する。
本実施形態によれば、撮像画像を参照画像の撮像位置近傍で撮像することにより、ホモグラフィ行列を求めることなく、行列＾Ｇを対角行列とし、誤差行列Ｇ（ｘ）により微調整を行うことで、テンプレートマッチングの処理を行うことが可能となるため、高速化することができる。
そして、画像処理部１２は、座標変換したカメラ座標Ｊ２における座標値ｗ（＾ＧＧ（ｘ））（ｐ＊）の画素の輝度値と、変換前のカメラ座標Ｊ１の座標値ｐ＊の画素の輝度値との差分を全画素で加算し、この加算値の逆数を類似度とし予め設定した閾値を超える場合、類似しているとして、ホモグラフィ行列＾Ｇと得られた誤差行列Ｇとにより、撮像画像の各画素の座標変換を行い、比較画像を生成して処理をステップＳ３９へ進め、一方、類似度が予め設定した閾値より低い場合、類似していないとして処理をステップＳ３２へ進める。
以降の処理は、第３の実施形態と同様であるため、説明を省略する。
本実施形態によれば、撮像画像を参照画像の撮像位置近傍で撮像することにより、ホモグラフィ行列を求めることなく、行列＾Ｇを対角行列とし、誤差行列Ｇ（ｘ）により微調整を行うことで、テンプレートマッチングの処理を行うことが可能となるため、高速化することができる。
＜第５の実施形態＞
次に、本発明の第５の実施形態について説明する。第５の実施形態の構成は、第２及び第３の実施形態と同様である。以下、第３の実施形態と異なる動作を説明する。
第５の実施形態が第３の実施形態と異なる点は、画像処理部２２がホモグラフィ行列Ｈを生成した後、このホモグラフィ行列Ｈにより、カメラ座標Ｊ１の撮像画像を、参照画像と同様なカメラ座標Ｊ２の比較画像に座標変換し、座標変換後の形状が参照画像の形状と大きく異なっていた場合、撮像画像が異なる位置を撮像したり、あるいは参照画像を撮像した位置と大幅にずれていて座標変換の可能範囲を超えているとして、現在処理している撮像画像を破棄し、新たに次に入力処理部１１がサンプリングする撮像画像に対して新たに処理を開始することにある。
次に、本発明の第５の実施形態について説明する。第５の実施形態の構成は、第２及び第３の実施形態と同様である。以下、第３の実施形態と異なる動作を説明する。
第５の実施形態が第３の実施形態と異なる点は、画像処理部２２がホモグラフィ行列Ｈを生成した後、このホモグラフィ行列Ｈにより、カメラ座標Ｊ１の撮像画像を、参照画像と同様なカメラ座標Ｊ２の比較画像に座標変換し、座標変換後の形状が参照画像の形状と大きく異なっていた場合、撮像画像が異なる位置を撮像したり、あるいは参照画像を撮像した位置と大幅にずれていて座標変換の可能範囲を超えているとして、現在処理している撮像画像を破棄し、新たに次に入力処理部１１がサンプリングする撮像画像に対して新たに処理を開始することにある。
次に、第５の実施形態による検査システムの動作を図１０を用いて説明する。図１０は第５の実施形態による検査システムの検査処理の動作例を示すフローチャートである。
図１０のフローチャートにおいて、ステップＳ５１からステップＳ５６の各々は、それぞれ図９のフローチャートのステップＳ３１からステップＳ３６と同様であり、説明を省略する。また、ステップＳ６０及びステップＳ６１の各々は、図９のフローチャートのステップＳ３９、ステップＳ４０と同様であり、説明を省略する。
図１０のフローチャートにおいて、ステップＳ５１からステップＳ５６の各々は、それぞれ図９のフローチャートのステップＳ３１からステップＳ３６と同様であり、説明を省略する。また、ステップＳ６０及びステップＳ６１の各々は、図９のフローチャートのステップＳ３９、ステップＳ４０と同様であり、説明を省略する。
ステップＳ５７：
画像処理部２２は、ホモグラフィ行列生成部１６から入力されるホモグラフィ行列Ｈにより、このホモグラフィ行列Ｈにより、カメラ座標Ｊ１の撮像画像を、参照画像と同様であるカメラ座標Ｊ２の比較画像に座標変換する。
画像処理部２２は、ホモグラフィ行列生成部１６から入力されるホモグラフィ行列Ｈにより、このホモグラフィ行列Ｈにより、カメラ座標Ｊ１の撮像画像を、参照画像と同様であるカメラ座標Ｊ２の比較画像に座標変換する。
ステップＳ５８：
画像処理部２２は、参照画像記憶部１４に予め記憶されている、参照画像における製品の形状抽出したテンプレート画像と、比較画像から形状抽出した画像との形状比較を行う。
ここで、画像処理部２２は、形状抽出として撮像画像のエッジ検出を行い、この検出したエッジの画像とテンプレート画像との類似度を、（７）式または（８）式により類似度を求め、この類似度が予め設定している数値より小さい場合、異なる形状と判定する。
画像処理部２２は、参照画像記憶部１４に予め記憶されている、参照画像における製品の形状抽出したテンプレート画像と、比較画像から形状抽出した画像との形状比較を行う。
ここで、画像処理部２２は、形状抽出として撮像画像のエッジ検出を行い、この検出したエッジの画像とテンプレート画像との類似度を、（７）式または（８）式により類似度を求め、この類似度が予め設定している数値より小さい場合、異なる形状と判定する。
このとき、画像処理部２２は、テンプレート画像と、比較画像から形状抽出した画像との形状が異なる場合、撮像画像が異なる位置を撮像したり、あるいは参照画像を撮像した位置と大幅にずれていて座標変換の可能範囲を超えているとして、処理をステップＳ５３に戻す。
一方、画像処理部２２は、テンプレート画像と、比較画像から形状抽出した画像との形状が同様の場合、処理をステップＳ５９へ進める。
一方、画像処理部２２は、テンプレート画像と、比較画像から形状抽出した画像との形状が同様の場合、処理をステップＳ５９へ進める。
ステップＳ５９：
次に、画像処理部１２は、第１の実施形態において説明したように、ＥＳＭ法により、ワールド座標系におけるカメラ座標Ｊ１からカメラ座標Ｊ２に座標変換するホモグラフィ行列を求め、カメラ座標Ｊ１における撮像画像の各画素の座標を、カメラ座標Ｊ２における比較画像の各画素の座標に変換する。
この後段の処理であるステップＳ６０及びステップＳ６１の各々は、それぞれ図８のフローチャートのステップＳ３９、ステップＳ４０と同様のため、説明を省略する。
次に、画像処理部１２は、第１の実施形態において説明したように、ＥＳＭ法により、ワールド座標系におけるカメラ座標Ｊ１からカメラ座標Ｊ２に座標変換するホモグラフィ行列を求め、カメラ座標Ｊ１における撮像画像の各画素の座標を、カメラ座標Ｊ２における比較画像の各画素の座標に変換する。
この後段の処理であるステップＳ６０及びステップＳ６１の各々は、それぞれ図８のフローチャートのステップＳ３９、ステップＳ４０と同様のため、説明を省略する。
第５の実施形態によれば、第１、第２及び第３の実施形態の効果に加え、画像処理部２２がホモグラフィ行列生成部１６の生成するホモグラフィ行列Ｈにより、一旦、撮像画像を座標変換し、参照画像と同様のカメラ座標Ｊ２の比較画像とし、参照画像のテンプレート画像と、比較画像から形状抽出した画像との形状比較を行い、形状が大きく異なる場合、再度撮像画像の入力から外観検査を行うため、撮像画像の撮像した位置及び傾きが参照画像と大きく異なることに起因する、良品を不良品とする誤った判定を抑制することができ、より作業員の手にした撮像装置で検査を行うことを容易とすることが可能である。
また、図１０に示すフローチャートにおいて、ステップＳ５８の処理を、ステップＳ５７とステップＳ５９の間ではなく、ステップＳ５９とステップＳ６０との間に配置する構成としても良い。
また、図１０のフローチャートに対して、ステップＳ５８と同様の処理を、ステップＳ６９及びステップＳ６０の間に追加する構成としても良い。
また、ステップＳ５８における座標変換がうまく行われたか否かの判定として、参照画像と比較画像との画像の比較を、上述した形状比較により行うのではなく、色の情報を用いて行うように、画像処理部２２を構成しても良い。例えば、変換される前の撮像画像における座標ｐ＊の画素の色情報（ＲＧＢの各々の階調度）と、変換された後の比較画像における座標ｐの画素の色情報とを比較し、予め設定された閾値を超える差分があれば、同様でないと判定する。
また、図１０のフローチャートに対して、ステップＳ５８と同様の処理を、ステップＳ６９及びステップＳ６０の間に追加する構成としても良い。
また、ステップＳ５８における座標変換がうまく行われたか否かの判定として、参照画像と比較画像との画像の比較を、上述した形状比較により行うのではなく、色の情報を用いて行うように、画像処理部２２を構成しても良い。例えば、変換される前の撮像画像における座標ｐ＊の画素の色情報（ＲＧＢの各々の階調度）と、変換された後の比較画像における座標ｐの画素の色情報とを比較し、予め設定された閾値を超える差分があれば、同様でないと判定する。
また、ステップＳ６０において、外観検査の結果として不良判定となった場合、ステップＳ６１に処理を進めるのではなく、ステップＳ５３からステップＳ６０までの処理を、良品判定となるまであるいは設定した回数まで、繰り返す構成としてもよい。この場合、設定した回数となるまで良品判定が行われない場合、外観検査の結果を不良と判定するようにする。
これにより、撮像画像の撮像した位置及び傾きが参照画像と大きく異なることに起因する、良品を不良品とする誤った判定を抑制することができ、作業員の手にした撮像装置で検査を行うことをさらに容易にすることが可能である。
これにより、撮像画像の撮像した位置及び傾きが参照画像と大きく異なることに起因する、良品を不良品とする誤った判定を抑制することができ、作業員の手にした撮像装置で検査を行うことをさらに容易にすることが可能である。
第１の実施形態から第５の実施形態において、予め準備する参照画像を良品の画像として説明したが、例えば、電子部品の実装において、不良品となった実装基板の写真を撮像して参照画像として用い、類似したら不良品として判定するように構成しても良い。
また、予め複数の参照画像を準備しておき、各参照画像と撮像画像との類似の比較を行い、全てと類似した場合、あるいは予め設定した数以上に類似した場合を良品として判定（参照画像が不良品の場合には不良品と判定）するように構成しても良い。
なお、上述の実施形態において、平面画像に関する座標変換を説明したが、対象が３Dであっても本システムは有効である。3D復元には、８点以上の対応点があればよいので、平面と同様の手法（SIFT,SURF等を使う）で取り扱うことができる。３Dの場合は、座標変換にホモグラフィ行列を使いず、ホモグラフィ行列のような３×３の行列を使って座標変換を行う。
また、予め複数の参照画像を準備しておき、各参照画像と撮像画像との類似の比較を行い、全てと類似した場合、あるいは予め設定した数以上に類似した場合を良品として判定（参照画像が不良品の場合には不良品と判定）するように構成しても良い。
なお、上述の実施形態において、平面画像に関する座標変換を説明したが、対象が３Dであっても本システムは有効である。3D復元には、８点以上の対応点があればよいので、平面と同様の手法（SIFT,SURF等を使う）で取り扱うことができる。３Dの場合は、座標変換にホモグラフィ行列を使いず、ホモグラフィ行列のような３×３の行列を使って座標変換を行う。
なお、図１及び図５に示す参照画像記憶部１４は、ハードディスク装置や光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記憶媒体、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような揮発性のメモリ、あるいはこれらの組み合わせにより構成されるものとする。
なお、図１及び図５における画像処理部１２、２２、マッチング処理部１３、対応点検出部１５及びホモグラフィ行列生成部１６は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。
なお、この画像処理部１２、２２は専用のハードウェアにより実現されるものであってもよく、また、この処理部３０はメモリおよびＣＰＵ（中央演算装置）により構成され、処理部３０の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
なお、以上説明した実施形態において、テンプレートマッチング処理より前に撮影画像をテンプレート画像と同じ画素数にする場合には、SIFT、SURF等の処理の後（座標変換後）に対象領域の切り取り（対応点位置が分るので、切り出す画素領域もわかる）を行うか、ESMで座標変換した後に対象領域の切り取りを行う。
なお、図１及び図５における画像処理部１２、２２、マッチング処理部１３、対応点検出部１５及びホモグラフィ行列生成部１６は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。
なお、この画像処理部１２、２２は専用のハードウェアにより実現されるものであってもよく、また、この処理部３０はメモリおよびＣＰＵ（中央演算装置）により構成され、処理部３０の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
なお、以上説明した実施形態において、テンプレートマッチング処理より前に撮影画像をテンプレート画像と同じ画素数にする場合には、SIFT、SURF等の処理の後（座標変換後）に対象領域の切り取り（対応点位置が分るので、切り出す画素領域もわかる）を行うか、ESMで座標変換した後に対象領域の切り取りを行う。
また、図１における画像処理部１２、２２、マッチング処理部１３、対応点検出部１５、ホモグラフィ行列生成部１６の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより外観検査の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
１…画像検査装置 ２…撮像装置 １１…入力処理部 １２，２２…画像処理部 １３…マッチング処理部 １４…参照画像記憶部 １５…対応点検出部 １６…ホモグラフィ行列生成部
Claims (7)
- 固定されておらず、不確定な位置で検査対象の外観を撮像し撮像画像とする撮像装置と、
予め基準となる前記検査対象を撮像した参照画像を記憶する記憶部と、
前記撮像装置の撮像座標上の前記撮像画像を、前記参照画像を撮像した際の参照撮像座標上に座標変換し、変換した結果を比較画像として出力する画像処理部と、
前記参照画像と前記比較画像とを比較するマッチング処理部と
を備えることを特徴とする検査システム。 - 前記画像処理部が、前記撮像座標上の前記撮像画像を前記参照画像と同様の参照撮像座標に座標変換するホモグラフィ行列を、前記撮像画像に乗算して、前記参照画像と同様の参照撮像座標上の前記比較画像を生成する
ことを特徴とする請求項１に記載の検査システム。 - 前記画像処理部が、
前記撮像座標上の前記撮像画像を前記参照画像と同様の参照撮像座標に座標変換するホモグラフィ行列と、当該ホモグラフィ行列の誤差を補正する誤差行列とを、前記撮像画像に対し乗算し、得られた比較画像と参照画像との各画素の輝度値の差の二乗和を求め、この二乗和が最小となる前記誤差行列を求め、この求めた誤差行列と前記ホモグラフィ行列とにより、前記撮像座標上の前記撮像画像を、前記参照画像と同様の参照撮像座標上に座標変換し、変換結果を前記比較画像として出力することを特徴とする請求項１に記載の検査システム。 - 前記撮像画像と前記参照画像とにおける特徴点を求め、この特徴点の特徴量が類似する組合せを、前記撮像画像と前記参照画像との対応点として抽出する対応点検出部と、
前記対応点である撮像画像及び参照画像の各々の特徴点の座標値を用い、前記ホモグラフィ行列を求めるホモグラフィ行列生成部と
をさらに有することを特徴とする請求項２または請求項３に記載の検査システム。 - 前記画像処理部が、
前記比較画像と、前記参照画像との類似性を求め、当該類似性が予め設定した値以下の場合、前記撮像画像を他の撮像画像に変更し、検査処理を再度行うことを特徴とする請求項４に記載の検査システム。 - 請求項１から請求項５のいずれか一項に記載の検査システムを動作させる検査方法であり、
画像処理部が、固定されておらず、不確定な位置で撮像を行う撮像装置により撮像された検査対象の外観である撮像画像を入力し、前記撮像装置の撮像座標上の前記撮像画像を、予め基準となる前記検査対象の参照画像を撮像した際の参照撮像座標上に座標変換し、変換した結果を比較画像として出力する画像処理過程と、
マッチング処理部が、前記参照画像と前記比較画像とを比較するマッチング処理過程と
を有する検査方法。 - 請求項１から請求項５のいずれか一項に記載の検査システムの機能をコンピュータに実行させるためのプログラムであり、
画像処理部が、固定されておらず、不確定な位置で撮像を行う撮像装置により撮像された検査対象の外観である撮像画像を入力し、前記撮像装置の撮像座標上の前記撮像画像を、予め基準となる前記検査対象の参照画像を撮像した際の参照撮像座標上に座標変換し、変換した結果を比較画像として出力する画像処理ステップと、
マッチング処理部が、前記参照画像と前記比較画像とを比較するマッチング処理ステップと
をコンピュータに実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010028201A JP5600954B2 (ja) | 2010-02-10 | 2010-02-10 | 検査システム、その方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010028201A JP5600954B2 (ja) | 2010-02-10 | 2010-02-10 | 検査システム、その方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011165007A true JP2011165007A (ja) | 2011-08-25 |
| JP5600954B2 JP5600954B2 (ja) | 2014-10-08 |
Family
ID=44595605
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010028201A Expired - Fee Related JP5600954B2 (ja) | 2010-02-10 | 2010-02-10 | 検査システム、その方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5600954B2 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014123193A (ja) * | 2012-12-20 | 2014-07-03 | Kddi Corp | フィールド作業支援装置 |
| JP2015158427A (ja) * | 2014-02-24 | 2015-09-03 | 株式会社東芝 | ３次元変形量計測装置および３次元変形量計測方法 |
| US9129358B2 (en) | 2012-02-01 | 2015-09-08 | Seiko Epson Corporation | Inspecting apparatus, robot apparatus, inspecting method, and inspecting program |
| JP2017096939A (ja) * | 2015-11-12 | 2017-06-01 | コグネックス・コーポレイション | ビジョンシステムで３ｄポイントクラウドマッチングに使用するクラッタをスコアリングするためのシステム及び方法 |
| JP2018124798A (ja) * | 2017-02-01 | 2018-08-09 | 東芝テック株式会社 | 画像探索装置および画像探索プログラム |
| JP2022040209A (ja) * | 2016-05-20 | 2022-03-10 | マジック リープ， インコーポレイテッド | 畳み込み画像変換推定を実行するための方法およびシステム |
| JP2023525283A (ja) * | 2020-09-25 | 2023-06-15 | ▲騰▼▲訊▼科技（深▲セン▼）有限公司 | 画像検出方法、装置、コンピュータプログラム及びコンピュータ機器 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07131779A (ja) * | 1993-09-10 | 1995-05-19 | Sony Corp | 図形検査方法及び図形検査装置 |
| JP2004199542A (ja) * | 2002-12-20 | 2004-07-15 | Fuji Xerox Co Ltd | 画像検査装置、プログラム、記憶媒体 |
| JP2004342067A (ja) * | 2003-04-22 | 2004-12-02 | 3D Media Co Ltd | 画像処理方法、画像処理装置、及びコンピュータプログラム |
| JP2008021161A (ja) * | 2006-07-13 | 2008-01-31 | Mitsubishi Fuso Truck & Bus Corp | 走行状態判定装置 |
| JP2009505543A (ja) * | 2005-08-17 | 2009-02-05 | ウェセックス テクノロジー オプト−エレクトロニック プロダクツ リミテッド | 手持ち型画像処理装置 |
| JP2009171242A (ja) * | 2008-01-16 | 2009-07-30 | Nippon Telegr & Teleph Corp <Ntt> | 画像間の特徴点の対応付方法、画像間の特徴点の対応付装置、画像間の特徴点の対応付プログラム及びそのプログラムを記録した記録媒体。 |
-
2010
- 2010-02-10 JP JP2010028201A patent/JP5600954B2/ja not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07131779A (ja) * | 1993-09-10 | 1995-05-19 | Sony Corp | 図形検査方法及び図形検査装置 |
| JP2004199542A (ja) * | 2002-12-20 | 2004-07-15 | Fuji Xerox Co Ltd | 画像検査装置、プログラム、記憶媒体 |
| JP2004342067A (ja) * | 2003-04-22 | 2004-12-02 | 3D Media Co Ltd | 画像処理方法、画像処理装置、及びコンピュータプログラム |
| JP2009505543A (ja) * | 2005-08-17 | 2009-02-05 | ウェセックス テクノロジー オプト−エレクトロニック プロダクツ リミテッド | 手持ち型画像処理装置 |
| JP2008021161A (ja) * | 2006-07-13 | 2008-01-31 | Mitsubishi Fuso Truck & Bus Corp | 走行状態判定装置 |
| JP2009171242A (ja) * | 2008-01-16 | 2009-07-30 | Nippon Telegr & Teleph Corp <Ntt> | 画像間の特徴点の対応付方法、画像間の特徴点の対応付装置、画像間の特徴点の対応付プログラム及びそのプログラムを記録した記録媒体。 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9129358B2 (en) | 2012-02-01 | 2015-09-08 | Seiko Epson Corporation | Inspecting apparatus, robot apparatus, inspecting method, and inspecting program |
| JP2014123193A (ja) * | 2012-12-20 | 2014-07-03 | Kddi Corp | フィールド作業支援装置 |
| JP2015158427A (ja) * | 2014-02-24 | 2015-09-03 | 株式会社東芝 | ３次元変形量計測装置および３次元変形量計測方法 |
| JP2017096939A (ja) * | 2015-11-12 | 2017-06-01 | コグネックス・コーポレイション | ビジョンシステムで３ｄポイントクラウドマッチングに使用するクラッタをスコアリングするためのシステム及び方法 |
| US10452949B2 (en) | 2015-11-12 | 2019-10-22 | Cognex Corporation | System and method for scoring clutter for use in 3D point cloud matching in a vision system |
| JP2022040209A (ja) * | 2016-05-20 | 2022-03-10 | マジック リープ， インコーポレイテッド | 畳み込み画像変換推定を実行するための方法およびシステム |
| JP7241210B2 (ja) | 2016-05-20 | 2023-03-16 | マジック リープ， インコーポレイテッド | 畳み込み画像変換推定を実行するための方法およびシステム |
| JP2018124798A (ja) * | 2017-02-01 | 2018-08-09 | 東芝テック株式会社 | 画像探索装置および画像探索プログラム |
| JP2023525283A (ja) * | 2020-09-25 | 2023-06-15 | ▲騰▼▲訊▼科技（深▲セン▼）有限公司 | 画像検出方法、装置、コンピュータプログラム及びコンピュータ機器 |
| JP7490082B2 (ja) | 2020-09-25 | 2024-05-24 | ▲騰▼▲訊▼科技（深▲セン▼）有限公司 | 画像検出方法、装置、コンピュータプログラム及びコンピュータ機器 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5600954B2 (ja) | 2014-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5600954B2 (ja) | 検査システム、その方法及びプログラム | |
| US10825198B2 (en) | 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images | |
| US20110228052A1 (en) | Three-dimensional measurement apparatus and method | |
| CN113191954B (zh) | 一种基于双目相机的全景图像拼接方法 | |
| CN112270719B (zh) | 相机标定方法、装置及系统 | |
| JP2014131257A (ja) | 画像補正システム、画像補正方法及びプログラム | |
| CN109247068A (zh) | 用于滚动快门补偿的方法和设备 | |
| JP2003244521A (ja) | 情報処理方法、装置および記録媒体 | |
| JP5156601B2 (ja) | 形状測定装置およびプログラム | |
| WO2014045508A1 (ja) | 検査装置、検査方法、および検査プログラム | |
| JP5297779B2 (ja) | 形状測定装置およびプログラム | |
| CN113129383B (zh) | 手眼标定方法、装置、通信设备及存储介质 | |
| JP2018207252A (ja) | 画像処理システム、画像処理システムの制御方法、及び、プログラム | |
| JP2004271292A (ja) | 校正器及びステレオカメラ位置姿勢校正装置 | |
| JPH1079029A (ja) | 立体情報検出方法及びその装置 | |
| KR20120075899A (ko) | 수중 모니터링을 위한 수중카메라 영상의 스티칭 방법 | |
| JP2011095131A (ja) | 画像処理方法 | |
| JP2005275789A (ja) | 三次元構造抽出方法 | |
| CN117218633A (zh) | 一种物品检测方法、装置、设备及存储介质 | |
| JP2016099633A (ja) | 携帯端末を利用した保全点検システム | |
| JP5671135B2 (ja) | 位置検出装置およびそれを搭載した外観検査装置 | |
| JP2008014857A (ja) | プリント板の検査用座標取得装置、検査用座標取得方法、及び検査用座標取得プログラム | |
| KR101326095B1 (ko) | 영상융합장치 및 그 방법 | |
| KR20220115223A (ko) | 다중 카메라 캘리브레이션 방법 및 장치 | |
| CN110930344B (zh) | 一种目标的质量确定方法、装置、系统及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20120127 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120928 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20120928 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20120928 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130530 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130702 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130902 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140204 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140320 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140722 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140804 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5600954 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |