JP5865666B2 - 画像処理装置および画像処理プログラム - Google Patents

Description

本発明は、画像を処理する画像処理装置および画像処理プログラムに関する。

従来より、画像処理装置を用いて計測対象物の画像から計測対象物の物理量が計測される。特許文献１に記載される画像計測装置では、取得された画像データに基づいて計測対象物の画像が表示される。その画像上において、特徴的な部分を示す特徴画像、および計測位置が指定される。指定された特徴画像およびその特徴画像に対する計測位置の相対位置等が記憶部に記憶される。

その後、新たな画像データに基づいて、計測対象物の画像が表示される。その画像から記憶部に記憶された特徴画像と一致する部分画像がマッチング処理により探索される。探索された部分画像および記憶部に記憶された相対位置に基づいて計測位置が設定され、設定された計測位置のエッジ部分が検出される。検出されたエッジ部分に基づいて所定の物理量が計測される。

特開２０１０−１６９５８４号公報

上記の画像計測装置では、計測対象物の画像に特徴画像と一致する部分画像が複数存在する場合、全ての部分画像に関して計測位置が設定され、物理量が計測される。そのため、計測の必要がない箇所に関しても計測が行われることがある。一方、計測対象物の画像上において、計測の必要がある箇所についてのみ個々に計測の設定を行うことも考えられる。しかしながら、計測箇所が多くなると、全ての計測箇所に計測の設定を行うために多大な労力が必要になる。

本発明の目的は、所望の計測部分の幾何的な物理量を選択的にかつ容易に取得することが可能な画像処理装置および画像処理プログラムを提供することである。

（１）第１の発明に係る画像処理装置は、第１の画像データに基づいて計測対象物の画像を対象物画像として表示するとともに、第２の画像データに基づいて対象物画像の特定部分に対応する計測部分指定画像を表示するための表示部と、計測部分指定画像と、対象物画像から所定の特徴部分を検出するための検出領域との予め定められた一定の位置関係を記憶する記憶部と、表示部に表示される計測部分指定画像を対象物画像に相対的に移動させるために使用者により操作される操作部と、操作部の操作により計測部分指定画像が対象物画像の特定部分に移動された場合、移動後の計測部分指定画像に対して記憶部に記憶された位置関係にある検出領域から、対象物画像における特徴部分を検出し、検出された特徴部分に関する幾何的な物理量を第１の画像データに基づいて算出する処理部とを備え、処理部は、操作部の操作により計測部分指定画像と対象物画像の特定部分との距離が一定範囲内になったときに、計測部分指定画像の位置と対象物画像の特定部分の位置とが一致するように計測部分指定画像を移動させるように動作するものである。

その画像処理装置においては、計測部分指定画像と、対象物画像から所定の特徴部分を検出するための検出領域との予め定められた一定の位置関係が記憶部に記憶される。第１の画像データに基づいて計測対象物の画像が対象物画像として表示部に表示され、第２の画像データに基づいて対象物画像の特定部分に対応する計測部分指定画像が表示部に表示される。使用者によって操作部が操作されることにより、計測部分指定画像が対象物画像に相対的に移動される。計測部分指定画像が対象物画像の特定部分に移動された場合、移動後の計測部分指定画像に対して記憶部に記憶された位置関係にある検出領域から、対象物画像の所定の特徴部分が検出される。検出された特徴部分に関する幾何的な物理量が第１の画像データに基づいて算出される。

これにより、対象物画像に複数の特定部分が存在する場合でも、使用者が、操作部の操作により計測部分指定画像を対象物画像の所望の特定部分に移動させることにより、その特定部分に対して一定の位置関係にある特徴部分に関する幾何的な物理量を取得することができる。したがって、計測対象物の所望の計測部分の幾何的な物理量を選択的にかつ容易に取得することができる。
また、操作部の操作により計測部分指定画像と対象物画像の特定部分との距離が一定範囲内になったときに、計測部分指定画像の位置と対象物画像の特定部分の位置とが一致するように計測部分指定画像が移動される。そのため、計測部分指定画像の位置と対象物画像の特定部分の位置とを容易にかつ正確に一致させることができる。それにより、その特定部分に対して一定の位置関係にある部分に関する幾何的な物理量を容易にかつ正確に取得することができる。

（２）幾何的な物理量は、長さおよび角度の少なくとも一方を含んでもよい。この場合、使用者が、操作部の操作により計測部分指定画像を対象物画像の特定部分に移動させることにより、その特定部分に対して一定の位置関係にある部分の長さおよび角度の少なくとも一方を取得することができる。

（３）計測部分指定画像は、計測対象物と同一または同種の計測対象物の画像の特定部分を含んでもよい。

この場合、計測部分指定画像が対象物画像の特定部分と略同一または類似であるので、計測部分指定画像と対象物画像の特定部分との関係を使用者が容易に認識することができる。それにより、使用者が、計測部分指定画像を所望の特定部分に容易に移動させることができる。

（４）処理部は、第２の画像データの取得時と共通の撮像条件で第１の画像データが取得されるように撮像装置を制御するように動作してもよい。

この場合、計測部分指定画像と対象物画像の特定部分との相関性がより高くなる。それにより、使用者が、計測部分指定画像を対象物画像の所望の特定部分により容易に移動させることができる。

（５）処理部は、第１の画像データが第１の撮像倍率で取得され、第２の画像データが第２の撮像倍率で取得された場合に、対象物画像または計測部分指定画像を第１の撮像倍率と第２の撮像倍率との比率に基づいて縮小または拡大するように動作してもよい。

この場合、計測部分指定画像と対象物画像の特定部分とを同じ大きさで表示部に表示させることができる。それにより、使用者が、計測部分指定画像を対象物画像の所望の特定部分により容易に移動させることができる。

（６）計測部分指定画像は、対象物画像の特定部分に対応する図形を含んでもよい。

この場合、計測部分指定画像を生成および表示するための処理負担が低減される。それにより、コストの低減が可能となる。

（７）第２の発明に係る画像処理プログラムは、第１の画像データに基づいて計測対象物の画像を対象物画像として表示するとともに、第２の画像データに基づいて対象物画像の特定部分に対応する計測部分指定画像を表示するための処理と、計測部分指定画像と、対象物画像から所定の特徴部分を検出するための検出領域との予め定められた一定の位置関係を予め記憶する処理と、表示される計測部分指定画像を対象物画像に相対的に移動させるために使用者により操作される処理と、使用者による操作により計測部分指定画像と対象物画像の特定部分との距離が一定範囲内になったときに、計測部分指定画像の位置と対象物画像の特定部分の位置とが一致するように計測部分指定画像を移動させる処理と、使用者による操作により計測部分指定画像が対象物画像の特定部分に移動された場合、移動後の計測部分指定画像に対して記憶された位置関係にある検出領域から、対象物画像における特徴部分を検出し、検出された特徴部分に関する幾何的な物理量を第１の画像データに基づいて算出する処理とを、処理装置に実行させるものである。

その画像処理プログラムによれば、計測部分指定画像と、対象物画像から所定の特徴部分を検出するための検出領域との予め定められた一定の位置関係が予め記憶される。第１の画像データに基づいて計測対象物の画像が対象物画像として表示され、第２の画像データに基づいて対象物画像の特定部分に対応する計測部分指定画像が表示される。使用者の操作により、計測部分指定画像が対象物画像に相対的に移動される。計測部分指定画像が対象物画像の特定部分に移動された場合、移動後の計測部分指定画像に対して予め記憶された位置関係にある検出領域から、対象物画像の所定の特徴部分が検出される。検出された特徴部分に関する幾何的な物理量が第１の画像データに基づいて算出される。

これにより、対象物画像に複数の特定部分が存在する場合でも、使用者が、操作部の操作により計測部分指定画像を所望の特定部分に移動させることにより、その特定部分に対して一定の位置関係にある部分に関する幾何的な物理量を取得することができる。したがって、計測対象物の所望の計測部分の幾何的な物理量を選択的にかつ容易に取得することができる。
また、使用者による操作により計測部分指定画像と対象物画像の特定部分との距離が一定範囲内になったときに、計測部分指定画像の位置と対象物画像の特定部分の位置とが一致するように計測部分指定画像が移動される。そのため、計測部分指定画像の位置と対象物画像の特定部分の位置とを容易にかつ正確に一致させることができる。それにより、その特定部分に対して一定の位置関係にある部分に関する幾何的な物理量を容易にかつ正確に取得することができる。
（８）参考形態に係る画像処理装置は、第１の画像データに基づいて計測対象物の画像を対象物画像として表示するとともに、第２の画像データに基づいて対象物画像の特定部分に対応する計測部分指定画像を表示するための表示部と、計測部分指定画像と、対象物画像から所定の特徴部分を検出するための検出領域との予め定められた一定の位置関係を記憶する記憶部と、表示部に表示される計測部分指定画像を対象物画像に相対的に移動させるために使用者により操作される操作部と、操作部の操作により計測部分指定画像が対象物画像の特定部分に移動された場合、移動後の計測部分指定画像に対して記憶部に記憶された位置関係にある検出領域から、対象物画像における特徴部分を検出し、検出された特徴部分に関する幾何的な物理量を第１の画像データに基づいて算出する処理部とを備える。
（９）処理部は、操作部の操作により計測部分指定画像と対象物画像の特定部分との距離が一定範囲内になったときに、計測部分指定画像の位置と対象物画像の特定部分の位置とが一致するように計測部分指定画像を移動させるように動作してもよい。
（１０）参考形態に係る画像処理プログラムは、第１の画像データに基づいて計測対象物の画像を対象物画像として表示するとともに、第２の画像データに基づいて対象物画像の特定部分に対応する計測部分指定画像を表示するための処理と、計測部分指定画像と、対象物画像から所定の特徴部分を検出するための検出領域との予め定められた一定の位置関係を予め記憶する処理と、表示される計測部分指定画像を対象物画像に相対的に移動させるために使用者により操作される処理と、使用者による操作により計測部分指定画像が対象物画像の特定部分に移動された場合、移動後の計測部分指定画像に対して記憶された位置関係にある検出領域から、対象物画像における特徴部分を検出し、検出された特徴部分に関する幾何的な物理量を第１の画像データに基づいて算出する処理とを、処理装置に実行させる。

本発明によれば、所望の計測部分の幾何的な物理量を選択的にかつ容易に取得することが可能となる。

本発明の一実施の形態に係る画像処理装置を備えた拡大観察装置の構成を示すブロック図である。 本発明の一実施の形態に係る拡大観察装置の顕微鏡を示す斜視図である。 顕微鏡の撮像装置がＺ方向と平行に固定されている状態を示す模式図である。 顕微鏡の撮像装置がＺ方向から所望の角度まで傾斜された状態を示す模式図である。 対象物画像の例を示す図です。 計測部分指定画像の例を示す図である。 図６の計測部分指定画像に対して設定される計測条件およびエッジ検出領域の例を示す図である。 計測部分指定画像を用いた計測対象物の計測部分の指定方法について説明するための図である。 計測部分指定画像を用いた計測対象物の計測部分の指定方法について説明するための図である。 計測部分指定画像を用いた計測対象物の計測部分の指定方法について説明するための図である。 計測部分指定画像を用いた計測対象物の計測部分の指定方法について説明するための図である。 計測部分指定画像、計測条件およびエッジ検出領域の設定方法の例について説明するための図である。 計測部分指定画像、計測条件およびエッジ検出領域の設定方法の例について説明するための図である。 計測部分指定画像、計測条件およびエッジ検出領域の設定方法の例について説明するための図である。 指定情報設定処理のフローチャートである。 計測処理のフローチャートである。 計測処理のフローチャートである。 計測部分指定画像の他の例を示す図である。

以下、本発明の一実施の形態に係る画像処理装置を備えた拡大観察装置について図面を参照しながら説明する。

（１）拡大観察装置の構成
図１は、本発明の一実施の形態に係る画像処理装置を備えた拡大観察装置の構成を示すブロック図である。

以下において、水平面内で直交する２方向をＸ方向およびＹ方向とし、Ｘ方向およびＹ方向に垂直な方向（鉛直方向）をＺ方向とする。

図１に示すように、拡大観察装置３００は、顕微鏡１００および画像処理装置２００を備える。

顕微鏡１００は、撮像装置１０、ステージ装置２０および回転角度センサ３０を含む。撮像装置１０は、カラーＣＣＤ（電荷結合素子）１１、ハーフミラー１２、対物レンズ１３、Ａ／Ｄ変換器（アナログ／デジタル変換器）１５、照明用光源１６およびレンズ駆動部１７を含む。ステージ装置２０は、ステージ２１、ステージ駆動部２２およびステージ支持部２３を含む。ステージ２１上には、計測対象物Ｓが載置される。

照明用光源１６は、例えば白色光を発生するハロゲンランプまたは白色ＬＥＤ（発光ダイオード）である。照明用光源１６により発生された白色光は、ハーフミラー１２により反射された後、対物レンズ１３によりステージ２１上の計測対象物Ｓに集光される。

計測対象物Ｓにより反射された白色光は、対物レンズ１３およびハーフミラー１２を透過してカラーＣＣＤ１１に入射する。カラーＣＣＤ１１は、赤色波長の光を受光する複数の赤色用画素、緑色波長の光を受光する複数の緑色用画素、および青色波長の光を受光する複数の青色用画素を有する。複数の赤色用画素、複数の緑色用画素および複数の青色用画素は二次元的に配列される。カラーＣＣＤ１１の各画素からは、受光量に対応する電気信号が出力される。カラーＣＣＤ１１の出力信号は、Ａ／Ｄ変換器１５によりデジタル信号に変換される。Ａ／Ｄ変換器１５から出力されるデジタル信号は、画像データとして画像処理装置２００に順次与えられる。カラーＣＣＤ１１に代えてＣＭＯＳ（相補性金属酸化膜半導体）イメージセンサ等の撮像素子が用いられてもよい。

対物レンズ１３は、Ｚ方向に移動可能に設けられる。レンズ駆動部１７は、画像処理装置２００の制御により対物レンズ１３をＺ方向に移動させる。それにより、撮像装置１０の焦点の位置がＺ方向において移動する。

ステージ２１は、Ｚ方向の軸の周りで回転可能にステージ支持部２３上に設けられる。ステージ駆動部２２は、画像処理装置２００から与えられる移動指令信号（駆動パルス）に基づいてステージ２１をステージ支持部２３に対して相対的に後述するｘ方向およびｙ方向に移動させる。ステージ駆動部２２には、ステッピングモータが用いられる。回転角度センサ３０は、ステージ２１の回転角度を検出し、検出した角度を示す角度検出信号を画像処理装置２００に与える。

画像処理装置２００は、インタフェース２１０、ＣＰＵ（中央演算処理装置）２２０、ＲＯＭ（リードオンリメモリ）２３０、記憶装置２４０、入力装置２５０、表示部２６０および作業用メモリ２７０を含む。

ＲＯＭ２３０には、システムプログラムが記憶される。記憶装置２４０は、ハードディスク等からなる。記憶装置２４０には、画像処理プログラムが記憶される。画像処理プログラムは、後述の指定情報設定処理プログラムおよび計測処理プログラムを含む。また、記憶装置２４０には、顕微鏡１００からインタフェース２１０を通して与えられる画像データ、および後述の指定情報等の種々のデータが記憶される。入力装置２５０は、キーボードおよびポインティングデバイスを含む。ポインティングデバイスとしては、マウスまたはジョイスティック等が用いられる。

表示部２６０は、例えば液晶ディスプレイパネルまたは有機ＥＬ（エレクトロルミネッセンス）パネルにより構成される。

作業用メモリ２７０は、ＲＡＭ（ランダムアクセスメモリ）からなり、種々のデータの処理のために用いられる。

ＣＰＵ２２０は、記憶装置２４０に記憶された画像処理プログラムを実行することにより作業用メモリ２７０を用いて画像データに基づく画像処理を行うとともに、画像データに基づく画像を表示部２６０に表示させる。また、ＣＰＵ２２０は、インタフェース２１０を通して顕微鏡１００のカラーＣＣＤ１１、照明用光源１６、レンズ駆動部１７およびステージ駆動部２２を制御する。

図２は、本発明の一実施の形態に係る拡大観察装置３００の顕微鏡１００を示す斜視図である。図２においては、Ｘ方向、Ｙ方向およびＺ方向が矢印で示される。

図２に示すように、顕微鏡１００はベース１を有する。ベース１上には、第１の支持台２が取り付けられるとともに、この第１の支持台２の前面に嵌め込まれるように第２の支持台３が取り付けられる。

第１の支持台２の上端部には、連結部４がＹ方向に延びる回動軸Ｒ１の周りに回動可能に取り付けられる。連結部４には回動支柱５が取り付けられる。それにより、回動支柱５は連結部４の回動に伴って回動軸Ｒ１を支点としてＺ方向に平行な垂直面内で傾斜可能である。使用者は、固定つまみ９により連結部４を第１の支持台２に対して固定することができる。

連結部６の前面には環状の支持部７が取り付けられる。支持部７には、略円筒状の撮像装置１０が取り付けられる。図２の状態では、撮像装置１０の光軸Ｒ２はＺ方向に平行である。支持部７は、撮像装置１０を水平面内で移動させるための複数の調整ネジ４１を有する。複数の調整ネジ４１を用いて撮像装置１０の光軸Ｒ２が回動軸Ｒ１に垂直に交差するように撮像装置１０の位置を調整することができる。

ベース１上の第２の支持台３の前面には、Ｚ方向に摺動可能にスライダ８が取り付けられる。第２の支持台３の側面には、調整つまみ４２が設けられる。スライダ８のＺ方向（高さ方向）の位置は、調整つまみ４２により調整可能である。

ステージ装置２０の支持部２３は、スライダ８上に取り付けられる。ステージ２１は、支持部２３に対してＺ方向の回転軸Ｒ３の周りに回転可能に設けられる。また、ステージ２１には、水平面内で互いに直交するｘ方向およびｙ方向が設定される。ステージ２１は、図１のステージ駆動部２２によりｘ方向およびｙ方向に移動可能に設けられる。ステージ２１が回転軸Ｒ３の周りに回転すると、ステージ２１のｘ方向およびｙ方向も回転する。それにより、ステージ２１のｘ方向およびｙ方向は、Ｘ方向およびＹ方向に対して水平面内で傾斜する。

撮像装置１０の撮像範囲（視野範囲）は、撮像装置１０の倍率により異なる。以下、撮像装置１０の撮像範囲を単位領域と呼ぶ。ステージ２１をｘ方向およびｙ方向に移動させることにより複数の単位領域の画像データを取得することができる。複数の単位領域の画像データを連結することにより複数の単位領域の画像を図１の表示部２６０に表示することができる。

図３は顕微鏡１００の撮像装置１０がＺ方向と平行に固定されている状態を示す模式図である。また、図４は顕微鏡１００の撮像装置１０がＺ方向から所望の角度まで傾斜された状態を示す模式図である。

図３に示すように、回動支柱５がＺ方向に平行な状態で固定つまみ９を締めることにより連結部４が第２の支持台３に固定される。それにより、撮像装置１０の光軸Ｒ２がＺ方向に平行な状態で回動軸Ｒ１に垂直に交差する。この場合、撮像装置１０の光軸Ｒ２はステージ２１の表面に垂直となる。

固定つまみ９を緩めることにより連結部４が回動軸Ｒ１の周りに回動可能となり、回動支柱５が回動軸Ｒ１を支点として傾斜可能となる。それにより、図４に示すように、撮像装置１０の光軸Ｒ２をＺ方向に対して任意の角度θ傾斜させることができる。この場合、撮像装置１０の光軸Ｒ２は回動軸Ｒ１に垂直に交差する。同様にして、撮像装置１０の光軸Ｒ２をＺ方向に対して図４と逆側に任意の角度傾斜させることができる。

したがって、調整つまみ４２（図２）を用いて、ステージ２１上の計測対象物の表面の高さを回動軸Ｒ１の高さに一致させることにより、計測対象物の同じ部分を垂直な方向および斜め方向から観察することができる。

（２）計測対象物の計測部分の測定
上記のように、撮像装置１０により取得された計測対象物Ｓの画像データに基づいて、計測対象物Ｓの画像が表示部２６０に表示される。以下、計測対象物Ｓの画像データを対象物画像データと呼び、計測対象物Ｓの画像を対象物画像と呼ぶ。

図５は、対象物画像の例を示す図です。図５の対象物画像ＯＩにおいて、計測対象物Ｓは、複数の端子部ＴＰ、および複数の導体パターンＣＰを含む回路基板である。各端子部ＴＰには、円形の開口Ｈが形成される。

本実施の形態では、計測対象物Ｓの計測部分を指定するための指定情報が記憶装置２４０（図１）に記憶される。指定情報は、対象物画像Ｓの特定部分に対応する計測部分指定画像の画像データを含む。以下、計測部分指定画像の画像データを指定画像データと呼ぶ。

図６は、計測部分指定画像の例を示す図である。図６の計測部分指定画像ＡＩは、計測対象物Ｓの一の端子部ＴＰの画像である。本例では、対象物画像ＯＩにおける計測対象物Ｓの各端子部ＴＰを表す部分が、対象物画像ＯＩの特定部分に相当する。計測部分指定画像ＡＩは、実際に計測されるべき計測対象物Ｓの画像の特定部分であってもよく、同種の計測対象物Ｓの画像の特定部分であってもよい。

計測部分指定画像ＡＩに対して、計測条件およびエッジ検出領域が設定される。計測条件は、計測されるべき幾何的な物理量を示す。エッジ検出領域は、対象物画像から所定の特徴部分（本例では、エッジ部）を検出するための領域であり、計測部分指定画像ＡＩに対して一定の位置関係を有する。図７は、図６の計測部分指定画像ＡＩに対して設定される計測条件およびエッジ検出領域の例を示す図である。図７の例では、開口Ｈの径Ｔ１および端子部ＴＰの幅Ｔ２が計測条件として設定される。径Ｔ１および幅Ｔ２は、幾何的な物理量としての長さの例である。また、開口Ｈの円形の縁に反った一定幅の円環状の領域ＥＲ１、ならびに端子部ＴＰの互いに平行な一対の辺にそれぞれ沿った一定幅の長尺状領域ＥＲ２，ＥＲ３が、エッジ検出領域ＥＲとして設定される。計測部分指定画像ＡＩに対する計測条件およびエッジ検出領域ＥＲの相対位置は記憶装置２４０に記憶される。

図８〜図１１は、計測部分指定画像を用いた計測対象物Ｓの計測部分の指定方法について説明するための図である。計測部分の指定時には、図８に示すように、対象物画像ＯＩが表示部２６０（図１）に表示されるとともに、対象物画像ＯＩに重なるように計測部分指定画像ＡＩが表示部２６０に半透明で表示される。

対象物画像データの取得時における撮像倍率と指定画像データの取得時における撮像倍率とが異なる場合には、これらの撮像倍率の比率に基づいて計測部分指定画像ＡＩが拡大または縮小される。これにより、対象物画像ＯＩおよび計測部分指定画像ＡＩとを共通の倍率で表示部２６０に表示することができる。なお、計測部分指定画像ＡＩが拡大または縮小される代わりに、対象物画像ＯＩが拡大または縮小されてもよい。

使用者による入力装置２５０（図１）の操作により、図９に示すように、計測部分指定画像ＡＩが対象物画像ＯＩに対して相対的に移動される。例えば、入力装置２５０としてマウスが用いられる場合、計測部分指定画像ＡＩがドラッグされることにより、計測部分指定画像ＡＩが対象物画像ＯＩに対して相対的に移動される。また、例えば、マウスホイールが回転されることにより、計測部分指定画像ＡＩの向きが調整される。

図１０に示すように、使用者は、対象物画像ＯＩの所望の特定部分に計測部分指定画像ＡＩが重なるように、入力装置２５０（図１）の操作により、計測部分指定画像ＡＩの位置および向きを調整する。なお、使用者による入力装置２５０の操作によって対象物画像ＯＩの特定部分と計測部分指定画像ＡＩとの距離が予め定められた範囲内になったときに、対象物画像ＯＩの特定部分に計測部分指定画像ＡＩが重なるように計測部分指定画像ＡＩの位置および向きが自動的に調整されてもよい。

対象物画像ＯＩの所望の特定部分に計測部分指定画像ＡＩが重ねられた状態で、計測を指示する入力装置２５０の操作（例えば、マウスのクリック）が行われると、計測部分指定画像ＡＩに対応するエッジ検出領域ＥＲ（図７）から対象物画像ＯＩのエッジ部が検出される。エッジ部とは、明るさ（輝度、色等）が急峻に変化する部分をいい、計測対象物Ｓの各部の境界を表す対象物画像ＯＩの部分である。この場合、検出されたエッジ部に対応する計測対象物Ｓの部分が、計測対象物Ｓの計測部分として指定される。その計測部分に関して、計測条件として設定された幾何的な物理量が計測される。

具体的には、対象物画像ＯＩにおいて、開口Ｈの円形の縁を表すエッジ部および端子部ＴＰの一対の辺を表すエッジ部が検出される。検出されたエッジ部の径Ｔ１および幅Ｔ２に基づいて、実際の開口Ｈの径Ｔ１および端子部ＴＰの幅Ｔ２が計測される。この場合、対象物画像ＯＩの撮像倍率に基づいて、対象物画像ＯＩにおける寸法（画素数）から実際の寸法が算出される。

さらに、図１１に示すように、対象物画像ＯＩ上に、寸法線等の補助線とともに計測結果が表示される。図１１において、「ｘ」および「ｙ」は、それぞれ数値を表す。計測結果および補助線の表示位置は、計測部分指定画像ＡＩに対する相対位置として予め設定されて記憶装置２４０に記憶されてもよく、対象物画像ＯＩの特定部分の向きおよび大きさ等に応じて、適宜調整されてもよい。

（３）計測部分指定画像、計測条件およびエッジ検出領域の設定方法
図１２〜図１４は、計測部分指定画像ＡＩ、計測条件およびエッジ検出領域ＥＲの設定方法の例について説明するための図である。図１２〜図１４においては、図６および図７に示される計測部分指定画像ＡＩ、エッジ検出領域および計測条件の設定方法について説明する。また、本例では、図５の対象物画像ＯＩを用いて、計測部分指定画像ＡＩ、計測条件およびエッジ検出領域ＥＲが設定される。図１２〜図１４は、図５の対象物画像ＯＩの一部拡大図である。

まず、図１２（ａ）に示すように、対象物画像ＯＩ上において計測条件とて開口Ｈの径Ｔ１が設定される。続いて、図１２（ｂ）に示すように、対象物画像ＯＩの開口Ｈの縁を表すエッジ部に重なるようにエッジ検出領域ＥＲの領域ＥＲ１が設定される。この場合、対象物画像ＯＩの特定部分のばらつき等を考慮して、開口Ｈの縁を表すエッジ部が確実に検出されるようにエッジ検出領域ＥＲの領域ＥＲ１の幅Ｈ１が設定される。

また、図１３（ａ）に示すように、対象物画像ＯＩ上において計測条件とて端子部ＴＰの幅Ｔ２が設定される。続いて、図１３（ｂ）に示すように、対象物画像ＯＩの端子部ＴＰの一対の辺に重なるようにエッジ検出領域ＥＲの領域ＥＲ２，ＥＲ３が設定される。この場合、対象物画像ＯＩの特定部分のばらつき等を考慮して、端子部ＴＰの一対の辺を表すエッジ部が確実に検出されるようにエッジ検出領域ＥＲの領域ＥＲ２，ＥＲ３の幅Ｈ２，Ｈ３が設定される。

最後に、図１４に示すように、計測部分指定画像ＡＩの範囲ＲＡが設定される。この場合、対象物画像ＯＩにおける範囲ＲＡ内の部分が計測部分指定画像ＡＩに設定される。

このようにして設定された計測部分指定画像ＡＩの画像データ、計測条件およびエッジ検出領域ＥＲが、指定情報として記憶装置２４０に記憶される。この場合、計測部分指定画像ＡＩに対する計測条件およびエッジ検出領域ＥＲの相対位置が記憶装置２４０に記憶される。

（４）指定情報設定処理
指定情報を設定するための指定情報設定処理について説明する。指定情報設定処理は、図１のＣＰＵ２２０が記憶装置２４０に記憶される指定情報設定処理プログラムを実行することにより行われる。図１５は、指定情報設定処理のフローチャートである。

図１５に示すように、まず、ＣＰＵ２２０は、指定情報の設定に用いられる対象物画像データが使用者により指定されたか否かを判定する（ステップＳ１）。例えば、使用者は、入力装置２５０（図１）の操作により、記憶装置２４０（図１）に記憶された対象物画像データ、またはその時点で撮像装置１０により取得される対象物画像データのうち所望の対象物画像データを指定する。

対象物画像データが指定されていない場合、ＣＰＵ２２０は、対象物画像データが指定されるまでステップＳ１の処理を繰り返す。対象物画像データが指定された場合、ＣＰＵ２２０は、指定された対象物画像データに基づいて対象物画像ＯＩを表示部２６０に表示させる（ステップＳ２）。

表示部２６０に対象物画像ＯＩが表示された状態で、使用者は、入力装置２５０の操作により、図１２〜図１４に示したように、計測条件、エッジ検出領域ＥＲおよび計測部分指定画像ＡＩの範囲を設定する。使用者は、計測条件、エッジ検出領域ＥＲおよび計測部分指定画像ＡＩの範囲の各々の設定完了時に、入力装置２５０の所定の操作（例えば、ダブルクリック等）を行う。また、使用者は、全ての計測条件およびエッジ検出領域ＥＲの設定が完了した場合、入力装置２５０の操作により、例えば、表示部２６０に表示される完了ボタンを選択する。

ＣＰＵ２２０は、入力装置２５０の操作に基づいて、計測条件の設定が完了したか否かを判定する（ステップＳ３）。計測条件の設定が完了していない場合、ＣＰＵ２２０は、計測条件の設定が完了するまでステップＳ３の処理を繰り返す。計測条件の設定が完了した場合、ＣＰＵ２２０は、入力装置２５０の操作に基づいて、エッジ検出領域ＥＲの設定が完了したか否かを判定する（ステップＳ４）。エッジ検出領域ＥＲの設定が完了していない場合、ＣＰＵ２２０は、エッジ検出領域ＥＲの設定が完了するまでステップＳ４の処理を繰り返す。エッジ検出領域ＥＲの設定が完了した場合、ＣＰＵ２２０は、入力装置２５０の操作に基づいて、全ての計測条件およびエッジ検出領域ＥＲの設定が完了したか否かを判定する（ステップＳ５）。

全ての計測条件およびエッジ検出領域ＥＲの設定が完了していない場合、ＣＰＵ２２０は、ステップＳ３の処理に戻る。全ての計測条件およびエッジ検出領域ＥＲの設定が完了した場合、ＣＰＵ２２０は、入力装置２５０の操作に基づいて、計測部分指定画像ＡＩの範囲の設定が完了したか否かを判定する（ステップＳ６）。計測部分指定画像ＡＩの範囲の設定が完了していない場合、ＣＰＵ２２０は、ステップＳ６の処理を繰り返す。計測部分指定画像ＡＩの範囲の設定が完了した場合、ＣＰＵ２２０は、設定された計測部分指定画像ＡＩの画像データを記憶装置２４０に記憶するとともに、その計測部分指定画像ＡＩに対する計測条件およびエッジ検出領域ＥＲの相対位置を記憶装置２４０に記憶する（ステップＳ７）。

（５）計測処理
計測対象物Ｓの計測部分の物理量を計測するための計測処理について説明する。指定情報設定処理は、図１のＣＰＵ２２０が記憶装置２４０に記憶される計測処理プログラムを実行することにより行われる。図１６および図１７は、計測処理のフローチャートである。

図１６に示すように、まず、ＣＰＵ２２０は、対象物画像データが指定されたか否かを判定する（ステップＳ１１）。例えば、使用者は、入力装置２５０（図１）の操作により、記憶装置２４０（図１）に記憶された対象物画像データ、またはその時点で撮像装置１０により取得される対象物画像データのうち所望の対象物画像データを指定する。計測処理に用いられる対象物画像データは、上記の指定情報設定処理に用いられる対象物画像データと同じであってもよく、または異なってもよい。

対象物画像データが指定されていない場合、ＣＰＵ２２０は、対象物画像データが指定されるまでステップＳ１１の処理を繰り返す。対象物画像データが指定された場合、ＣＰＵ２２０は、指定された対象物画像データに基づいて対象物画像ＯＩを表示部２６０に表示させる（ステップＳ１２）。

次に、ＣＰＵ２２０は、指定画像データが指定されたか否かを判定する（ステップＳ１３）。使用者は、入力装置２５０の操作により、記憶装置２４０に指定情報として記憶された１または複数の指定画像データから所望の指定画像データを指定する。

指定画像データが指定されていない場合、ＣＰＵ２２０は、指定画像データが指定されるまでステップＳ１３の処理を繰り返す。指定画像データが指定された場合、ＣＰＵ２２０は、ステップＳ１１で指定された対象物画像データの撮像倍率とステップＳ１３で指定された指定画像データの撮像倍率との比率が予め定められた値より小さいか否かを判定する（ステップＳ１４）。

対象物画像データの撮像倍率と指定画像データの撮像倍率との比率が予め定められた値より小さい場合、ＣＰＵ２２０は、指定画像データに基づいて計測部分指定画像ＡＩを撮像倍率のまま表示部２６０に表示させる（ステップＳ１５）。対象物画像データの撮像倍率と指定画像データの撮像倍率との比率が予め定められた値以上である場合、ＣＰＵ２２０は、対象物画像データの撮像倍率と指定画像データの撮像倍率との比率に基づいて、対象物画像ＯＩの表示倍率と計測部分指定画像ＡＩの表示倍率とが同じになるように、計測部分指定画像ＡＩを拡大または縮小して表示部２６０に表示させる（ステップＳ１６）。

表示部２６０に対象物画像ＯＩおよび計測部分指定画像ＡＩが表示された状態で、使用者は、入力装置２５０の操作により、図８〜図１０に示したように、計測部分指定画像ＡＩを移動させる。

ＣＰＵ２２０は、対象物画像ＯＩの特定部分（端子部ＴＰを表す部分）と計測部分指定画像ＡＩとの距離が予め定められた範囲内になったか否かを判定する（ステップＳ１７）。対象物画像ＯＩの特定部分（端子部ＴＰを表す部分）は、計測部分指定画像ＡＩに基づいて例えばパターンマッチングにより検出される。対象物画像ＯＩの特定部分と計測部分指定画像ＡＩとの距離が予め定められた範囲内になっていない場合、ＣＰＵ２２０は、ステップＳ１７の処理を繰り返す。

対象物画像ＯＩの特定部分と計測部分指定画像ＡＩとの距離が予め定められた範囲内になった場合、ＣＰＵ２２０は、対象物画像ＯＩの特定部分に計測部分指定画像ＡＩが重なるように計測部分指定画像ＡＩの位置および向きを調整する（ステップＳ１８）。

次に、ＣＰＵ２２０は、入力装置２５０の操作（例えば、マウスのクリック）に基づいて、計測の指示があるか否かを判定する（ステップＳ１９）。計測の指示がない場合、ＣＰＵ２２０は、ステップＳ１８において計測部分指定画像ＡＩの位置および向きが調整された後に計測部分指定画像ＡＩが移動されたか否かを判定する（ステップＳ２０）。計測部分指定画像ＡＩが移動されていない場合、ＣＰＵ２２０は、ステップＳ１９，Ｓ２０の処理を繰り返す。計測部分指定画像ＡＩが移動された場合、ＣＰＵ２２０は、ステップＳ１７の処理に戻る。

計測指示がある場合、ＣＰＵ２２０は、記憶装置２４０に指定情報として記憶された計測条件およびエッジ検出領域ＥＲに基づいて、対象物画像ＯＩのエッジ部を検出するとともに（ステップＳ２１）、検出されたエッジ部に対応する計測対象物Ｓの計測部分の物理量を計測する（ステップＳ２２）。次に、ＣＰＵ２２０は、計測結果を表示部２６０に表示させる（ステップＳ２３）。

次に、ＣＰＵ２２０は、計測すべき全ての計測部分の計測が完了したか否かを判定する（ステップＳ２４）。使用者は、全ての計測条件およびエッジ検出領域ＥＲの設定が完了した場合、入力装置２５０の操作により、例えば、表示部２６０に表示される完了ボタンを選択する。計測すべき全ての計測部分の計測が完了していない場合、ＣＰＵ２２０は、ステップＳ１７〜Ｓ２３の処理を繰り返す。計測すべき全ての計測部分の計測が完了した場合、ＣＰＵ２２０は、計測処理を終了する。

（６）効果
本実施の形態に係る画像処理装置２００においては、対象物画像データに基づいて対象物画像ＯＩが表示部２６０に表示され、指定画像データに基づいて対象物画像ＯＩの特定部分に対応する計測部分指定画像ＡＩが表示部２６０に表示される。使用者によって入力装置２５０が操作されることにより、計測部分指定画像ＡＩが対象物画像ＯＩに相対的に移動される。計測部分指定画像ＡＩが対象物画像ＯＩの特定部分に移動された場合、予め設定された計測条件およびエッジ検出領域に基づいて、計測対象物Ｓの計測部分が指定され、指定された計測部分の幾何的な物理量が計測される。

これにより、対象物画像ＯＩに複数の特定部分が存在する場合、その複数の特定部分のうち計測部分指定画像ＡＩが移動された特定部分に関して、幾何的な物理量の計測が行われる。そのため、使用者が、入力装置２５０の操作により計測部分指定画像ＡＩを対象物画像ＯＩの所望の特定部分に移動させることにより、その特定部分に対応する計測対象物Ｓの計測部分の幾何的な物理量を選択的にかつ容易に取得することができる。

また、本実施の形態では、計測部分指定画像ＡＯが対象物画像Ｓの特定部分からなる。これにより、計測部分指定画像ＡＩと対象物画像ＯＩの特定部分との関係を使用者が容易に認識することができる。それにより、使用者が、計測部分指定画像ＡＩを対象物画像ＯＩの所望の特定部分に容易に移動させることができる。

また、本実施の形態では、対象物画像データの撮像倍率と指定画像データの撮像倍率との比率が予め定められた値以上である場合、その比率に基づいて、対象物画像ＯＩの表示倍率と計測部分指定画像ＡＩの表示倍率とが同じになるように、計測部分指定画像ＡＩが拡大または縮小されて表示部２６０に表示される。これにより、使用者が、計測部分指定画像ＡＩを対象物画像ＯＩの所望の特定部分により容易に移動させることができる。

また、本実施の形態では、対象物画像ＯＩの特定部分と計測部分指定画像ＡＩとの距離が予め定められた範囲内になった場合、対象物画像ＯＩの特定部分に計測部分指定画像ＡＩが重なるように計測部分指定画像ＡＩの位置および向きが調整される。それにより、計測部分指定画像ＡＩと対象物画像ＯＩの特定部分とを容易にかつ正確に一致させることができる。それにより、その特定部分に対応する計測対象物Ｓの計測部分の幾何的な物理量を容易にかつ正確に取得することができる。

（７）他の実施の形態
（７−１）
指定情報設定処理に用いられる対象物画像データの取得後に、計測処理に用いられる対象物画像データが取得される場合、ＣＰＵ２２０は、指定情報設定処理用の対象物画像データの取得時と共通の撮像条件で計測処理用の対象物画像データが取得されるように撮像装置１０を制御してもよい。この場合、計測処理において、計測部分指定画像ＡＩと対象物画像ＯＩの特定部分との相関性がより高くなる。それにより、使用者が、計測部分指定画像ＡＩを対象物画像ＯＩの所望の特定部分により容易に移動させることができる。

（７−２）
上記実施の形態では、計測部分指定画像ＡＩが対象物画像ＯＩの特定部分からなるが、これに限らない。図１８は、計測部分指定画像ＡＩの他の例を示す図である。図１８の計測部分指定画像ＡＩは、端子部ＴＰの一対の辺を表す線ＳＴ１，ＳＴ２および開口Ｈの縁を表す線ＳＴ３を含む。このように、計測部分指定画像ＡＩは、対象物画像ＯＩの特定部分に対応する図形であってもよい。

この場合も、上記同様に、計測部分指定画像ＡＩに対して計測条件およびエッジ検出領域が設定される。計測処理時には、計測部分指定画像ＡＩが対象物画像ＯＩの特定部分に移動されることにより、予め設定された計測条件およびエッジ検出領域に基づいて、計測対象物Ｓの計測部分が指定され、指定された計測部分の幾何的な物理量が計測される。

（７−３）
上記実施の形態では、エッジ検出領域ＥＲにおいて検出されたエッジ部に関して、幾何的な物理量が計測されるが、これに限らない。例えば、エッジ検出領域ＥＲの代わりに、対象物画像ＯＩから所定の特徴部分を検出するための検出領域が計測部分指定画像ＡＩに対して一定の位置関係を有するように設定され、その検出領域において検出された部分に関して、幾何的な物理量が計測されてもよい。なお、所定の特徴部分とは、例えば、所定の幾何形状を有する部分、または所定範囲の輝度を有する部分等である。

（７−４）
上記実施の形態では、幾何的な物理量として径および幅が計測されるが、これに限らず、半径および距離等が幾何的な物理量として計測されてもよい。また、これらは幾何的な物理量としての長さの例であるが、これに限らず、幾何的な物理量として角度等が計測されてもよい。

（７−５）
上記実施の形態では、計測処理時に、入力装置２５０の操作により計測部分指定画像ＡＩが表示部２６０上で移動されるが、これに限らず、計測部分指定画像ＡＩが対象物画像ＯＩに相対的に移動されるように、対象物画像ＯＩが表示部２６０上で移動されてもよい。

（８）請求項の各構成要素と実施の形態の各部との対応関係
以下、請求項の各構成要素と実施の形態の各部との対応の例について説明するが、本発明は下記の例に限定されない。

上記実施の形態においては、対象物画像データが第１の画像データの例であり、指定画像データが第２の画像データの例であり、対象物画像ＯＩが対象物画像の例であり、計測部分指定画像ＡＩが計測部分指定画像の例であり、表示部２６０が表示部の例であり、入力装置２５０が操作部の例であり、ＣＰＵ２２０が処理部および処理装置の例であり、撮像装置１０が撮像装置の例である。

請求項の各構成要素として、請求項に記載されている構成または機能を有する他の種々の要素を用いることもできる。

本発明は、種々の画像処理装置に有効に利用可能である。

１０ 撮像装置
１１ カラーＣＣＤ
１２ ハーフミラー
１３ 対物レンズ
１５ Ａ／Ｄ変換器
１６ 照明用光源
１７ レンズ駆動部
２０ ステージ装置
２１ ステージ
２２ ステージ駆動部
２３ ステージ支持部
１００ 顕微鏡
２１０ インタフェース
２２０ ＣＰＵ
２３０ ＲＯＭ
２４０ 記憶装置
２５０ 入力装置
２６０ 表示部
２７０ 作業用メモリ
３００ 拡大観察装置
ＡＩ 計測部分指定画像
ＣＰ 導体パターン
ＥＲ エッジ検出領域
Ｈ 開口
ＯＩ 対象物画像
Ｓ 計測対象物
ＴＰ 端子部

Claims (7)

1. 第１の画像データに基づいて計測対象物の画像を対象物画像として表示するとともに、第２の画像データに基づいて前記対象物画像の特定部分に対応する計測部分指定画像を表示するための表示部と、
   前記計測部分指定画像と、前記対象物画像から所定の特徴部分を検出するための検出領域との予め定められた一定の位置関係を記憶する記憶部と、
   前記表示部に表示される前記計測部分指定画像を前記対象物画像に相対的に移動させるために使用者により操作される操作部と、
   前記操作部の操作により前記計測部分指定画像が前記対象物画像の前記特定部分に移動された場合、移動後の前記計測部分指定画像に対して前記記憶部に記憶された前記位置関係にある前記検出領域から、前記対象物画像における前記特徴部分を検出し、検出された前記特徴部分に関する幾何的な物理量を前記第１の画像データに基づいて算出する処理部とを備え、
   前記処理部は、前記操作部の操作により前記計測部分指定画像と前記対象物画像の前記特定部分との距離が一定範囲内になったときに、前記計測部分指定画像の位置と前記対象物画像の前記特定部分の位置とが一致するように前記計測部分指定画像を移動させるように動作する、画像処理装置。
2. 前記幾何的な物理量は、長さおよび角度の少なくとも一方を含む、請求項１記載の画像処理装置。
3. 前記計測部分指定画像は、前記計測対象物と同一または同種の計測対象物の画像の特定部分を含む、請求項１または２記載の画像処理装置。
4. 前記処理部は、前記第２の画像データの取得時と共通の撮像条件で前記第１の画像データが取得されるように撮像装置を制御するように動作する、請求項３記載の画像処理装置。
5. 前記処理部は、前記第１の画像データが第１の撮像倍率で取得され、前記第２の画像データが第２の撮像倍率で取得された場合に、前記対象物画像または前記計測部分指定画像を第１の撮像倍率と第２の撮像倍率との比率に基づいて縮小または拡大するように動作する、請求項３または４記載の画像処理装置。
6. 前記計測部分指定画像は、前記対象物画像の前記特定部分に対応する図形を含む、請求項１〜５のいずれかに記載の画像処理装置。
7. 第１の画像データに基づいて計測対象物の画像を対象物画像として表示するとともに、第２の画像データに基づいて前記対象物画像の特定部分に対応する計測部分指定画像を表示するための処理と、
   前記計測部分指定画像と、前記対象物画像から所定の特徴部分を検出するための検出領域との予め定められた一定の位置関係を予め記憶する処理と、
   表示される前記計測部分指定画像を前記対象物画像に相対的に移動させるために使用者により操作される処理と、
   使用者による操作により前記計測部分指定画像と前記対象物画像の前記特定部分との距離が一定範囲内になったときに、前記計測部分指定画像の位置と前記対象物画像の前記特定部分の位置とが一致するように前記計測部分指定画像を移動させる処理と、
   使用者による操作により前記計測部分指定画像が前記対象物画像の前記特定部分に移動された場合、移動後の前記計測部分指定画像に対して前記記憶された前記位置関係にある前記検出領域から、前記対象物画像における前記特徴部分を検出し、検出された前記特徴部分に関する幾何的な物理量を前記第１の画像データに基づいて算出する処理とを、処理装置に実行させる、画像処理プログラム。

Images