JP2005283267A - 貫通穴計測装置及び方法並びに貫通穴計測用プログラム - Google Patents

Abstract

【課題】 対象部材に形成された貫通穴の計測を精度よく自動的に行うこと。
【解決手段】 所定の厚みを有するワークＷに形成された貫通穴Ｈを撮影してステレオ画像を取得する画像取得装置１と、この取得した画像を処理する画像処理装置２とを備え、
この画像処理装置２が、ワークＷの画像取得面である表面側に位置する貫通穴Ｈの表面側輪郭と当該ワークの裏面側に位置する貫通穴の裏面側輪郭との三次元形状を抽出する輪郭形状抽出手段１２と、抽出した各輪郭形状のそれぞれ対応する特徴点の三次元位置情報を検出する特徴点検出手段１３と、検出したそれぞれ対応する特徴点の三次元位置情報に基づいて貫通穴の位置及びその貫通方向を算出する貫通穴情報算出手段１４と、を備えた。
【選択図】図２

Description

本発明は、貫通穴計測装置にかかり、特に、厚みのあるワークに形成された貫通穴の位置及び貫通方向を計測する装置に関する。また、計測方法、計測用プログラムに関する。

二輪アルミフレームなどの種々の部品が取り付けられる部材には、多くの部品取付用穴が形成されている。例えば、図１２に示すような二輪アルミフレームＦには、複数の貫通穴Ｈが形成される。しかし、かかる場合に、フレームが歪んで形成されてしまうと、その取付用穴の位置や穴の貫通方向が変化してしまい、取付部品が取り付けられないという問題が生じる。従って、これら取付用穴の検査を事前に行うことで、取付可能な許容範囲にあるフレームのみを使用することができ、その後の組み付け作業の迅速化を図ることができる。

そして、対象部材（ワーク）に形成された孔の位置を検査する技術が、特許文献１に開示されている。この特許文献１記載の孔位置の計測方法は、対象にスリット光を照射し、差分などの画像処理を使用し、対象の形状又は位置を計測するという手法であり、数ｍｍ程度の板厚を有する部材を対象としている。しかし、このような手法では、より厚みのある板材に形成された貫通孔に利用すると、孔の内面にもスリット光が照射され、誤検出や精度低下となるという問題が生じる。また、孔周辺が面取り加工されている場合、面取りによるスリット光の歪みが発生し、さらに検出が困難となる。

また、その他の従来技術として、対象部材を透明板の上に置き、下方から透過照明することで対象の影を撮影し、画像処理による形状の特徴（全長や、穴と穴の距離など）から、対象の部品種別を判定する手法がある。しかしながら、この手法では厚さ（深さ）のある穴を正確に認識することができないという問題が生じる。そして、全体形状の特徴を用いて種別判定を行うことはできるものの、形状検査としては不十分な精度である。

特開平６−２８１４１０号公報

このような従来技術の問題点から、上記検査はいぜんとして手作業にて行われている場合もある。具体的には、作業者が検査対象の貫通穴にピンを通して検査している。しかし、このような手作業による検査では、検査対象となる製品数が多いことと、検査箇所となる穴の数が多く、フレームなどの検査対象物が重量物となるとその作業は作業者にとって困難なものとなる。

このため、本発明では、自動的に、対象部材に形成された貫通穴の位置、方向などを精度よく検出することができ、容易に貫通穴の検査を行うことができる貫通穴計測装置、方法、プログラムを提供することをその目的とする。

そこで、本発明では、所定の厚みを有するワークに形成された貫通穴を撮影してステレオ画像を取得する画像取得装置と、この取得した画像を処理する画像処理装置とを備え、
この画像処理装置が、ワークの画像取得面である表面側に位置する貫通穴の表面側輪郭と当該ワークの裏面側に位置する貫通穴の裏面側輪郭との三次元形状を抽出する輪郭形状抽出手段と、抽出した各輪郭形状のそれぞれ対応する特徴点の三次元位置情報を検出する特徴点検出手段と、検出したそれぞれ対応する特徴点の三次元位置情報に基づいて貫通穴の位置及びその貫通方向を算出する貫通穴情報算出手段と、を備えた、という構成を採っている。

このとき、画像処理装置が、予め定められたワークに形成する各貫通穴の位置及び貫通方向を表す貫通穴設計情報を記憶する設計情報記憶手段と、この設計情報記憶手段に記憶された貫通穴設計情報と貫通穴情報検出手段による検出情報とを比較する貫通穴検証手段と、を備えた、という構成にすると望ましい。

このようにすることにより、まず、厚板材であるワークに形成された貫通穴のステレオ画像を取得し、貫通穴のワーク表面側に位置する輪郭と、貫通穴越しに映し出された裏面側に位置する輪郭との三次元形状を抽出する。そして、表面側輪郭と裏面側輪郭とのそれぞれ対応する特徴点の三次元座標を検出し、この特徴点から貫通穴の位置を検出することができ、さらに、それぞれ対応する特徴点座標のベクトルを算出することで、貫通穴の貫通方向を検出することができる。従って、ワークに形成された貫通穴の位置、及び、貫通方向が精度よく形成されているか否かを判断することができ、当該製品の検査を自動的に行うことができる。その結果、貫通穴の加工不良によるものはもちろんのこと、貫通穴を形成するワークの変形などによる精度不良をも容易に検出することができる。

また、上記輪郭形状抽出手段は、抽出した表面側輪郭及び裏面側輪郭と予め定められた輪郭予測ルールとに基づいてそれぞれの輪郭形状を予測算出する輪郭形状算出機能を備えた、という構成にすると望ましい。

これにより、貫通穴の輪郭形状を完全に抽出できない場合であってもその一部の輪郭から全体を予測することができる。特に、裏面側の輪郭形状を予測算出することができるため、両輪郭形状の特徴点座標を確実に検出することができ、貫通穴の計測精度の向上を図ることができる。

また、輪郭形状抽出手段は、ステレオ画像からエッジ検出により輪郭形状を抽出する、という構成にすると望ましい。さらには、ワークを裏面側から照らす照明装置を備えた、という構成にするとなお望ましい。

このようにエッジ検出を行うことで、輪郭形状の算出精度が向上し、特に、裏面から照明を照らすことでより裏面側の輪郭形状のエッジ検出を精度よく行うことができる。

また、貫通穴は、穴部分の断面形状が円形状である円柱状貫通穴であると共に、
特徴点検出手段は、表面側輪郭形状と裏面側輪郭形状とに基づいて当該各輪郭形状の円中心を特徴点として算出する輪郭中心算出機能を備えた、という構成にすると望ましい。

このように特徴点を貫通穴の円中心とすることで、ワークの板厚が不明な場合であっても、貫通穴の貫通方向及びワークの板厚まで検出することができ、測定精度の向上を図ることができる。

また、貫通穴情報算出手段は、表面側輪郭形状と裏面側輪郭形状とのうち、少なくともいずれか一方の輪郭形状に基づいて当該貫通穴の径を算出する機能を有する、という構成にすると望ましい。これにより、貫通穴の径まで同時に計測することができ、計測精度の向上を図ることができる。

また、本発明では、画像取得装置にて所定の厚みを有するワークに形成された貫通穴を撮影してステレオ画像を取得する画像取得工程と、この取得した画像を画像処理装置にて処理することによりワークの画像取得面である表面側に位置する貫通穴の表面側輪郭と当該ワークの裏面側に位置する貫通穴の裏面側輪郭との三次元形状を抽出する輪郭形状抽出工程と、画像処理装置にて抽出した各輪郭形状のそれぞれ対応する特徴点の三次元位置情報を検出する特徴点検出工程と、画像処理装置にて検出したそれぞれ対応する特徴点の三次元位置情報に基づいて貫通穴の位置及びその貫通方向を算出する貫通穴情報算出工程と、から成る貫通穴計測方法を提供している。

さらに、画像取得装置にて所定の厚みを有するワークに形成された貫通穴を撮影してステレオ画像を取得し、この取得した画像を処理する画像処理装置に、
ワークの画像取得面である表面側に位置する貫通穴の表面側輪郭と当該ワークの裏面側に位置する貫通穴の裏面側輪郭との三次元形状を抽出する輪郭形状抽出手段、抽出した各輪郭形状のそれぞれ対応する特徴点の三次元位置情報を検出する特徴点検出手段、検出したそれぞれ対応する特徴点の三次元位置情報に基づいて貫通穴の位置及びその貫通方向を算出する貫通穴情報算出手段、とを実現するための貫通穴計測用プログラムも提供している。

このような構成にすることにより、上述同様の作用効果を得ることができ、上記目的を達成することができる。

ワークに形成された貫通穴の位置、及び、貫通方向が精度よく形成されているか否かを検出することができ、当該製品の検査を自動的に行うことができる。従って、貫通穴の加工不良によるものはもちろんのこと、貫通穴を形成するワークの変形などによる精度不良をも容易に検出することができる、という従来にない優れた効果を有する。

本発明である貫通穴計測装置は、所定の厚みを有するワークに形成された貫通穴を撮影してステレオ画像を取得する画像取得装置と、この取得した画像を処理する画像処理装置とを備えている。そして、画像処理装置が、ステレオ画像から貫通穴の両端となるワークの表面及び裏面に位置する輪郭形状を抽出して、各輪郭形状から相互に対応する特徴点をそれぞれ検出する。そして、この特徴点から貫通穴の位置と、当該特徴点のベクトルから貫通穴の貫通方向を算出して、当該貫通穴がワークに適切に形成されているか否かを容易に判断を行うことができる、というものである。以下、本システムの構成について、以下の実施例を参照して詳述する。

本発明の第一の実施例を、図１乃至図１０を参照して説明する。図１乃至図２は、本実施例における貫通穴計測装置の構成を示す図である。図３乃至図４は、貫通穴計測装置における画像処理の様子を示す説明図である。図５乃至図６は、貫通穴計測装置に用いる構成に関する説明図である。図７乃至図１０は、装置の動作を示すフローチャートである。

〈全体構成〉
本実施例における貫通穴計測装置は、図１（ａ）に示すように、所定の厚みを有するワークＷに形成された貫通穴Ｈを撮影してステレオ画像を取得する画像取得装置であるステレオカメラ１と、この取得した画像を処理する画像処理装置２とを備えている。また、ワークＷの裏面側から所定の光を照射して、貫通穴Ｈを透過させる透過照明３を備えている。そして、この透過照明３や上記ステレオカメラ１は、ロボットアーム４に備え付けられていて、画像処理装置２に接続されたロボットコントローラ５にてその位置が制御される。

また、図１（ｂ）には、図１（ａ）をさらに簡略化した貫通穴計測装置の構成を示す。この図に示すように、ワークＷの表面側にステレオカメラ１を配置し、当該ワークＷの裏面側から透過照明３にて照明した状態で、ステレオカメラ１にてワークＷに形成された貫通穴Ｈの画像を取得する。そして、取得した画像を画像処理装置２にて処理する、という構成である。以下、各構成について詳述する。

〈ワーク、貫通穴〉
本実施例では、計測対象である貫通穴Ｈは、厚板形状のワークＷに形成された断面円形状の貫通穴Ｈであり、換言すると、略円柱形状の貫通穴Ｈである。そして、ワークＷには貫通穴Ｈが複数形成されており、後述するように、これら全ての貫通穴が計測対象となる。なお、上記貫通穴Ｈは断面が円形状であることに限定されない。

また、ワークＷは固定装置（図示せず）にて固定配置され、その状態でロボットアーム４に備え付けられたステレオカメラ１にて撮影されることとなる。なお、ワークＷの形状や配置位置、当該ワークＷに形成される設計上の貫通穴Ｈの位置などを表す設計情報が予め用意されていて、後述するように画像処理装置２に記憶されることとなる。

〈ステレオカメラ〉
ステレオカメラ１は、所定の間隔を設けてロボットアーム４に固定配置された２つのＣＣＤカメラである。そして、画像処理装置２にてその画像撮影タイミングなどが制御され、ワークＷに形成された貫通穴Ｈのステレオ画像を撮影し、そのステレオ画像データを画像処理装置２に送信して記憶する。

このとき、ステレオカメラ１にて貫通穴Ｈの画像を取得する際には、貫通穴Ｈの奥側の輪郭、すなわち、ワークＷの裏面側に形成されうる貫通穴Ｈの輪郭形状の一部が映し出される角度で取得する。従って、貫通穴Ｈの貫通方向を表す軸に対して所定の角度をもって取得可能なよう、ロボットアーム４の動作を制御して、ステレオカメラ１の配置間隔や、撮影時のワークＷに対する距離を設定する。なお、取得したときの画像の一例を図３（ａ）に示す。この図は、左右それぞれのステレオカメラ１にて同一の貫通穴Ｈを撮影したときのものである。

ここで、上述したように、ステレオカメラ１では貫通穴ＨのワークＷの裏面側に位置する輪郭形状を撮影できる位置にて撮影するわけであるが、貫通穴Ｈの貫通方向である軸方向に対して大きな角度を有する位置から撮影すると貫通穴Ｈの表面側の輪郭形状のみが映し出される場合がある。従って、このことを回避するために、予め画像処理装置２に記憶されているワークＷの形状、配置位置情報、貫通穴Ｈの位置情報などから、ワークＷに形成された貫通穴Ｈの形成位置を予測し、そのほぼ正面からステレオカメラ１にて取得する。そして、左右のステレオカメラ１の設置間隔は大きく設けずにロボットアーム４に設置しておく。これにより、ステレオカメラ１自体が所定の間隔を設けて配置されているため、左右の各カメラの光軸が貫通穴Ｈの軸から傾いて配置されることとなり、確実に裏面側の輪郭形状をも撮影することができる。なお、ステレオカメラ１が貫通穴Ｈの軸とほぼ同軸上から撮影することとなってもよい。かかる場合でも遠近法により裏面側の輪郭形状が映し出されることとなり、ステレオ視の原理により輪郭形状の三次元形状を算出することができる。

〈透過照明〉
また、上述したように、上記ステレオカメラ１とはワークＷを挟んで反対側、すなわち、ワークＷの裏面側に透過照明３を配置するが、これは貫通穴Ｈの裏側から表側に所定の明るさを有する光を照射させるためである。このようにすることで、表側から取得したステレオ画像においては貫通部分が明るく映し出されるため、裏側（奥側）に位置する貫通穴Ｈの輪郭形状を当該画像から容易に検出可能となる。

なお、この透過照明３は、上述したステレオカメラ１が設置されたロボットアーム４に設置される。そして、ステレオカメラ１と透過照明３を備えたロボットアーム４は一対設けられ、ワークＷの表面側（一方のロボットアーム４）と裏面側（他方のロボットアーム４’）とに配置される。そして表面側の一方のロボットアーム４に備えられたステレオカメラ１で所定の貫通穴Ｈの画像を取得する際には、その貫通穴Ｈの裏面側に他方のロボットアーム４’の透過照明３’が位置するよう各ロボットアーム４，４’を画像処理装置２にて制御する。

〈画像処理装置〉
画像処理装置２は、演算部であるＣＰＵ１０と、記憶部であるメモリ２０と、マウスやキーボードなどの入力部３０と、ディスプレイやプリンタなどの出力部４０とを備えた一般的なコンピュータにて構成される。このコンピュータは、パーソナルコンピュータでもよいが、ワークステーションなどの比較的演算処理能力の高いコンピュータであるとなお望ましい。

また、この画像処理装置２には、上述したステレオカメラ１，１’と、このステレオカメラ１，１’を移動するロボットアーム４，４’の動作を制御するコントローラ５，５’と、が接続されている。

そして、ＣＰＵ１０には、主に、以下のような処理を実行する処理部が構築されている。これら処理部は、貫通穴計測用プログラムが画像処理装置２のＣＰＵ１０に読み出されて組み込まれることで実現される。そして、このプログラムは、予め画像処理装置１の記憶部に記憶されていてＣＰＵにて読み出されてもよく、ＣＤ−ＲＯＭなどの可搬媒体に記憶されたものが画像処理装置１に提供されてもよい。さらには、ネットワークを介して他のコンピュータからダウンロードすることにより組み込まれてもよい。以下、各処理部の処理内容について説明する。なお、各処理部による作用は以下に説明するものに限定されない。もちろん、動作説明時に説明する動作をも実現する。

ここで、ＣＰＵ１０に構築される各処理部、及び、メモリ２０に記憶されるデータについて、図２の画像処理装置２の構成を示す機能ブロック図を参照して詳述する。

まず、ＣＰＵ１０には、主に、ステレオカメラ１の動作を制御してステレオ画像を取得する画像取得処理部１１と、取得したステレオ画像の処理を行う貫通穴計測処理部（輪郭形状抽出部１２、特徴点検出部１３、貫通穴情報算出部１４）と、計測した貫通穴の検証を行う貫通穴検証部１５とが構築されている。

また、メモリ２０には、輪郭形状を算出するための予め定められたルールデータを記憶する輪郭予測ルール記憶部２１と、輪郭形状の特徴点を算出するための予め定められたルールデータである特徴点算出ルール記憶部２２と、計測対象であるワークＷの形状、設置位置、貫通穴Ｈの設計上の形成位置、貫通方向（軸）などの基準となる設計上のワークＷに関するデータを記憶する設計情報記憶部２３と、が形成されている。

そして、上記画像取得処理部１１には、ロボットアーム４の動作を制御するロボットコントローラ５に制御指令を発するロボットアーム制御機能を有している。この機能は、設計情報記憶部２３に記憶された情報に基づいて、貫通穴Ｈが形成されているであろう箇所をステレオカメラ１にて撮影できるようロボットアーム４の動作を制御する。例えば、ワークＷの所定の貫通穴Ｈの軸上に、ステレオカメラ１の中間点が位置するように移動する。また、これと同時に、ワークＷの裏面側に位置するロボットアーム４’に装備された透過照明が、その貫通穴Ｈを裏面側から照明可能な位置に移動するようロボットコントローラ５’に指令を出す。そして、その後、ステレオカメラ１にて貫通穴Ｈが形成されているであろう箇所のステレオ画像（符号ＰＬ，ＰＲ）を取得して、メモリ２０などの記憶装置に一時保存する。このとき得られたステレオ画像（符号ＰＬ，ＰＲ）の一例を図３（ａ）に示す。この図に示すように、貫通穴Ｈの両端の輪郭がワークＷの表面側（符号Ｈ１）と裏面側（符号Ｈ２）とに位置するが、裏面側の輪郭形状Ｈ２はその一部のみが撮影されることとなる。

そして、上記輪郭形状抽出部１２は、上記取得したステレオ画像からワークＷの画像取得面である表面側に位置する貫通穴の表面側輪郭形状と当該ワークの裏面側に位置する貫通穴の裏面側輪郭形状との三次元形状を抽出する。この処理について具体的に説明する。まず、図３（ａ）のような左右のステレオ画像ＰＬ，ＰＲそれぞれについて、エッジ処理を行う。このとき、まず始めに表面側の輪郭を抽出可能な予め定められた設定にてエッジ処理を行う。例えば、濃淡差が比較的少ないエッジを抽出することで、表面側の輪郭形状をエッジ線として抽出することができ、図３（ｂ）に実線で示すようなエッジ画像が得られる。一方で、裏面側の輪郭を抽出するさいには、比較的濃淡差が大きいエッジを抽出することで、図３（ｃ）の実線で示すように裏面側のエッジ画像を得ることができる。なお、輪郭形状の算出手法は上記のものに限定されない。例えば、ステレオ画像から三次元形状として貫通穴の輪郭形状を抽出し、各輪郭形状の距離に応じて表面側の輪郭と裏面側の輪郭とを区別して抽出してもよい。

また、輪郭形状抽出部１２は、上述したように抽出した表面側輪郭形状Ｈ１の一部と、裏面側輪郭形状Ｈ２の一部とから、それぞれ輪郭の全体形状を予測して算出する。ここでは、貫通穴Ｈを真正面からではなく斜めから撮影しているため、その端面画像は楕円形状となっている。従って、予め楕円の一部形状から楕円形状を予測するルールが記述されたデータをメモリ２０から読み出して、これに基づいて表面側及び裏面側の輪郭形状をそれぞれ楕円形状にあてはめて算出する。なお、輪郭予測ルールデータは輪郭形状抽出部１２による処理プログラムに組み込まれていてもよい。また、楕円あてはめ処理や後述する円形状のあてはめ処理は、既に種々のアルゴリズムが公知であるためその詳細な説明は省略する。

さらに、輪郭形状抽出部１２は、上記楕円形状にあてはめられた表面側輪郭Ｈ１、及び、裏面側輪郭形状Ｈ２を、それぞれ左右のステレオ画像を用いて三次元データに変換する。そして、さらに、この三次元データに変換された楕円形状を真円形状にあてはめる。なお、このときのあてはめルールは輪郭予測ルール記憶部２１に記憶されていたり、あるいは、プログラム化されている。このようにして表面側輪郭形状Ｈ１と、裏面側輪郭形状Ｈ２を三次元データにてそれぞれ算出する。算出した形状の三次元データの一例を、それぞれ図４（ａ），（ｂ）に示す。

そして、上記特徴点検出部１３は、上述のようにして算出した表面側輪郭形状Ｈ１と、裏面側輪郭形状Ｈ２とのそれぞれの特徴点を三次元データにて検出する。本実施例の場合には、特徴点は円形状である貫通穴Ｈの中心であるとされているため、各輪郭形状データＨ１，Ｈ２から特徴点算出ルールに基づいてその中心点座標を算出する。

また、貫通穴情報算出部１４では、図４（ｃ）に示すように、上記算出した表面側輪郭形状Ｈ１と裏面側輪郭形状Ｈ２との各中心座標のベクトルを算出し、当該貫通穴の貫通方向である軸Ｃを算出する。また、同時に、表面側輪郭形状Ｈ１から貫通穴Ｈの位置と、径を求める。さらには、上記軸Ｃや各輪郭形状Ｈ１，Ｈ２の中心座標から貫通穴Ｈの奥行き、すなわち、板厚をも算出することができる。

また、貫通穴検証部１５は、上述したようにして求めた貫通穴Ｈが設計通りに形成されているか否かを検証する。具体的には、上記算出した貫通穴Ｈの位置、軸方向（角度）、径などを、予めメモリ２０に記憶された設計情報と比較し、これら各値が予め定められた許容値を満たしているかどうか判断する。そして、その結果をメモリ２０などの記憶部に記憶したり、出力部４０から出力して、オペレータに通知する。

ここで、上記画像取得処理部１１は、ステレオカメラ１にて画像を取得する準備としてカメラキャリブレーションを行うが、その手法が本実施例では従来のものと異なる。例えば、従来例では図５（ｃ）に示す格子パターンを複数回撮影して、多数の特徴点を入力するＺｈａｎｇの手法が一般には用いられる。これは、初回にカメラ焦点・絞りを固定して、以後、格子パターンを動かして（角度を変えて）撮影する。ところが、このような従来の手法では、焦点が合っていない撮影時には図５（ｄ）の左右それぞれの図に示すように格子がぼやけるが、これを人間が目視にて判別することは困難である。そして、本願における撮影はワークＷに対して接写するため、厳密なピント合わせが必要になる。このため、本実施例では、図５（ａ）に示すように、十字線付きの格子パターンを用いることとする。このときのキャリブレーションの様子を図５（ｂ）に示すと、格子パターンだけを見ると焦点が合っているようにも見えるが、十字線の状態を見ると左上の部分で焦点が合っていないことがわかる。これにより、格子の状態を見るよりも十字線の状態を見ることで、焦点ずれを詳細に判断することができる。

また、上記十字線付き格子パターンを実際にカメラ１にて撮影する際には、従来は図６（ａ）に示すように、格子付きパターン板５０に対して表面側から照明１０３を当てていた。しかし、このような照明１０３では、格子パターンの動き（角度）によって照明状態が変わってしまうなどの不都合があり、また、強い照明が必要である反面、照明を強くすると板に照明が写りこんでしまう、という不都合があった。このため、本実施例では、図５（ａ）に示す十字線付き格子パターンをＯＨＰシートなどの透明シートに印刷し、この格子パターンシート５１を図６（ｂ）に示すようにステレオカメラ１とは反対側に位置する裏面側から透過照明５１にて照明する。これにより、接写状態であっても、暗転してコントラストの強い画像を得ることができ、精度の高いカメラキャリブレーションを行うことができる。

〈動作〉
次に、上述した貫通穴計測装置の動作を、図７乃至図１０を参照して説明する。図７は、装置の全体的な動作の概要を示すフローチャートである。図８乃至図１０は、図７に示す各処理の詳細な動作を示すフローチャートである。

図７を参照して全体的な動作を説明する。まず、画像処理装置２にてロボットアーム４の動作を制御して、ステレオカメラ１にてワークＷに形成された貫通穴Ｈのステレオ画像を取得する（画像取得工程、ステップＳ１）。そして、このステレオ画像を元に、貫通穴計測処理を行う（ステップＳ２，Ｓ３，Ｓ４）。このとき、貫通穴Ｈが形成されていると予測される位置の情報となる設計形状等に基づいて、全ての貫通穴Ｈのステレオ画像を取得してしてから計測処理を行ってもよく、一つの貫通穴Ｈの画像を取得する度に計測処理を行ってもよい。

そして、貫通穴計測処理では、まず、取得した画像から貫通穴Ｈの両端の輪郭形状であるワークＷの表面側輪郭形状Ｈ１と裏面側輪郭形状Ｈ２とを三次元形状として抽出する（輪郭形状抽出工程、ステップＳ２）。続いて、この各輪郭形状からそれぞれ対応する特徴点を検出する（特徴点検出工程、ステップＳ３）。なお、本実施例では、貫通穴が円形状であるため、その中心を特徴点とする。続いて、各輪郭形状の特徴点から貫通穴Ｈの貫通方向及び位置、さらには、その径などを算出する（貫通穴情報算出工程、ステップＳ４）。

その後、予め記憶された設計形状と比較することで、実際に製造した製品に形成された貫通穴Ｈが、設計通りに形成されているかを検証する（貫通穴検証工程、ステップＳ５）。

このようにすることにより、ワークに形成された貫通穴の位置、及び、貫通方向が精度よく形成されているか否かを検出することができ、当該製品の検査を自動的に行うことができる。その結果、貫通穴の加工不良によるものはもちろんのこと、貫通穴を形成するワークの変形などによる精度不良をも検出することができる。

次に、図７に開示した各処理の詳細な動作を、図８乃至図１０を参照して説明する。まず、図８を参照して画像取得処理を説明する。

画像を取得する前にステレオカメラ１の準備処理として、まずカメラキャリブレーションを行う（ステップＡ１）。このとき、上述したように、ＯＨＰシートなどに印刷された十字線付き格子パターンを透過照明にて背面側から照明して用いる。

続いて、操作者がワークＷをロボットアーム４に対向して配置し、ワークＷの種別を画像処理装置２に操作者が入力して設定する（ステップＡ２）。あるいは、ワークＷが他のロボットにて搬送されることにより自動的に配置され、当該ワークＷに対応したワークの種別を特定するデータが自動的に設定される。

続いて、ワークＷに応じて予め定められている設計形状などから、貫通穴数や、各貫通穴の位置に応じた撮影位置、照明位置のデータが操作者にて画像処理装置２に入力される（ステップＡ３）。あるいは、ワークＷの種別に応じてメモリ２０から当該ワークＷの設計形状が読み出され、これに基づいて当該ワークＷに形成されている貫通穴数や、各貫通穴の位置に応じた撮影位置、照明位置のデータが自動的に画像処理装置２に設定されてもよい。

そして、上述したように画像処理装置２に入力設定されたデータに基づいて、ロボットアーム４，４’の制御が行われ、ステレオカメラ１及び透過照明３’が所定の貫通穴Ｈを撮影可能な位置に移動される（ステップＡ４）。その後、ステレオカメラ１にてステレオ画像を撮影すると（ステップＡ５）、画像データを画像処理装置２に送信して記憶する（ステップＡ６）。

こうして、ワークＷに形成されている全ての貫通穴Ｈのステレオ画像を取得するまで上記ステップＡ４〜ステップＡ６を繰り返す（ステップＡ７）。このとき、一方のロボットアーム４に備え付けられたステレオカメラ１のみを使用して画像を取得することに限らず、他方のロボットアーム４’に備え付けられたステレオカメラ１’と、一方のロボットアーム４に備え付けられた透過照明３’を用いて画像を取得するとよい。この場合には、ワークＷの表面と裏面とが逆になるが、貫通穴Ｈの位置や軸方向を計測することには問題ない。これにより、貫通穴Ｈの位置によってはロボットアームの移動量が少なくなり、迅速な画像取得を図ることができる。

このようにして全ての画像取得が終了すると（ステップＡ７にて肯定判断）、ロボットアームを待機位置に移動する（ステップＡ８）。そして、記憶した各貫通穴Ｈのステレオ画像を用いて、貫通穴計測を行う。その処理を図９に示す。

まず、ステレオ画像データを読み出し（ステップＢ１）、フラグＦを０にセットする（ステップＢ２）。続いて、フラグＦの値を調べ（ステップＢ３）、Ｆ＝０であれば（ステップＢ３にて肯定判断）、カメラ側（手前側）、すなわちワークＷ上で表面側に位置する当該貫通穴Ｈの輪郭について処理するよう設定される（ステップＢ４）。なお、後述するように、表面側の輪郭についての処理が終了するとＦ＝１となるので、その際には裏面側の輪郭について処理するよう設定される（ステップＢ３で否定判断の後、ステップＢ５）。

続いて、表面側の輪郭形状を抽出すべく、ステレオ画像のエッジ処理が行われる（ステップＢ６）。このとき、表面側の輪郭はそのエッジが鋭く出ていないと予測できるため、濃淡変化の少ないエッジを検出するよう処理する。なお、これを左右のステレオ画像それぞれについて行う。そして、エッジはその一部しか抽出できないことがあるため、その一部のエッジ線に楕円あてはめを行う（ステップＢ７）。その後、楕円形状として表された左右のステレオ画像上の輪郭形状を用いて、表面側輪郭形状を三次元座標上の楕円形状に変換し（ステップＢ８）、これにあてはまる円形状を算出する（ステップＢ９）。こうして、表面側輪郭形状が三次元座標上に円形状として表されることとなり、この座標から穴径や輪郭形状の中心位置を算出する（ステップＢ１０）。

続いて、フラグＦが０であれば表面側輪郭として算出データを一時的に保存する（ステップＢ１１）。その後、Ｆ＝１でなければＦ＝１にセットして（ステップＢ１２にて否定判断の後、ステップＢ１３）、ステップＢ３に戻る。すると、今度はステップＦ＝１であるため（ステップＢ３にて否定判断）、裏面側輪郭形状について処理を行うよう設定され（ステップＢ５）、上述した貫通穴計測処理が行われる。

そして、表面側及び裏面側の輪郭形状や特徴点である中心座標が算出できると（ステップＢ１２にて肯定判断）、画像処理装置２にて両輪郭形状の中心座標からベクトルを算出することで、貫通穴Ｈの貫通方向（軸方向）を算出することができる（ステップＢ１４）。このようにして算出された貫通穴の計測データは画像処理装置２に一時的に記憶される（ステップＢ１５）。そして、上記処理は全ての貫通穴について行われることとなる（ステップＢ１６）。

続いて、計測したデータの検証処理を図１０を参照して説明する。まず、上述のように算出して一時的に記憶した計測データを読み出すとともに、設計形状の情報である設計情報をメモリ２０から読み出す（ステップＣ１）。そして、計測したものと設計上のデータを比較して、穴の位置や軸方向、穴の径などが、設計通りとなっているかということを検証する（ステップＣ２）。このとき、製造したものと設計上のデータの誤差を算出し（ステップＣ３）、当該誤差の値が予め設計情報として設計情報記憶部２３に記憶された許容値を満たすか否か、例えば、誤差が許容値よりも低いかどうか、ということを画像処理装置２は調べる（ステップＣ４）。

仮に、検証した貫通穴Ｈの誤差が許容範囲を超えた場合には（ステップＣ４で否定判断）、ＮＧ判定となり（ステップＣ７）、ＮＧとなった貫通穴Ｈを特定する情報や、誤差の詳細データが画像処理装置２に記憶、さらには、ディスプレイやプリントから出力される（ステップＣ８）。一方で、ある貫通穴について誤差が許容範囲内にある場合には（ステップＣ４にて肯定判断）、全ての貫通穴Ｈについて検証を行う（ステップＣ５）。そして、全ての貫通穴において誤差が許容範囲内にあると（ステップＣ５にて肯定判断）、ＯＫ判定となり（ステップＣ６）、その旨の結果が出力される（ステップＣ８）。

このようにすることにより、ワークＷに形成された貫通穴Ｈの位置、及び、貫通方向が精度よく形成されているか否かを検出することができ、当該製品の検査を自動的に行うことができる。その結果、貫通穴の加工不良によるものはもちろんのこと、貫通穴を形成するワークの変形などによる精度不良をも検出することができる。

そして、本実施例では、上述したように、貫通穴Ｈの輪郭形状をその一部から予測して抽出することで、貫通穴の計測精度の向上を図ることができる。特に、ワークＷの裏面から照明を照らして画像を取得することで、裏面側の輪郭形状の抽出を精度よく行うことができ、さらなる貫通穴の計測精度の向上を図ることができ、自動的に厳格な検査を行うことができる。

次に、本発明の第二の実施例を、図１１を参照して説明する。図１１は、実施例２における貫通穴計測装置の構成を示す概略図である。

本実施例における貫通穴計測装置は、上述した実施例１におけるものとほぼ同様の構成であるが、ロボットアーム４，４’にさらにレーザ測距計６，６’が備えられている点で異なる。このレーザ測距計６，６’は、画像処理装置２に接続されその動作を制御され、ワークＷまでの距離を計測する。

そして、例えば、一方のロボットアーム４（図１１の左側）に設置されたステレオカメラ１にて貫通穴Ｈを撮影する場合には、他方のロボットアーム４’（図１１の右側）に備えられたレーザ測距計６’にて、当該画像取得対象となっている貫通穴Ｈが形成されている付近のワークＷの裏面までの距離を計測する（図１１の点線矢印参照）。そして、ワークＷとの位置関係を考慮することで、ワークＷの裏面の三次元位置を容易に算出することができる。なお、計測データは画像処理装置２にステレオ画像と共に記憶しておく。

その後、貫通穴Ｈの裏面側の輪郭形状を算出する際に、その三次元位置をレーザ測距計６’による測定データを用いる。これは、裏面側の輪郭形状箇所は、ステレオカメラ１から遠い位置にあるため、ステレオ画像だけによる計測ではその誤差が大きいことがありうる。特に、実施例１で示したように、裏面側の輪郭形状の抽出できるエッジは少ないため、より精度が低下することがありうる。従って、距離データを併用することで、裏面側の輪郭形状のより精度の高い三次元位置を算出することができ、測定する貫通穴情報の精度の向上を図ることができる。

なお、上述同様に、貫通穴Ｈの裏面側の輪郭形状の精度向上を図る手段として、レーザ測距計を用いず、ワークＷの板厚データを予め画像処理装置２に記憶しておき、これを三次元認識する際に用いることも有効である。

本発明である貫通穴計測装置は、貫通穴が精度よく形成されているか否かを自動的に検査する装置として工場の製造ラインに設置可能であり、産業上の利用可能性を有する。

実施例１における貫通穴計測装置の構成を示す概略図である。図１（ａ）は使用状況を示す図であり、図１（ｂ）はその基本構成を示す図である。 貫通穴計測装置を構成する画像処理装置の構成を示す機能ブロック図である。 図３（ａ）〜（ｃ）は、画像処理装置による画像処理の様子を示す説明図である。 図４（ａ）〜（ｃ）は、画像処理装置による画像処理の様子を示す説明図である。 図５（ａ）〜（ｄ）は、カメラキャリブレーションに用いる格子パターンを示す説明図である。 図６（ａ），（ｂ）は、カメラキャリブレーション時における格子パターンの使用状態を示す説明図である。 貫通穴計測装置の動作を示すフローチャートである。 貫通穴計測装置の動作を示すフローチャートであり、特に、画像取得処理の動作を示す。 貫通穴計測装置の動作を示すフローチャートであり、特に、貫通穴計測処理の動作を示す。 貫通穴計測装置の動作を示すフローチャートであり、特に、貫通穴検証処理の動作を示す。 実施例２における貫通穴計測装置の構成を示す概略図である。 ワークに形成された貫通穴の一例を示す図である。

符号の説明

１ ステレオカメラ（画像取得装置）
２ 画像処理装置
３ 透過照明（照明装置）
４ ロボットアーム
５ ロボットコントローラ
１１ 画像取得処理部
１２ 輪郭形状抽出部（輪郭形状抽出手段）
１３ 特徴点検出部（特徴点検出手段）
１４ 貫通穴情報算出部（貫通穴情報算出手段）
１５ 貫通穴検証部（貫通穴検証手段）
２１ 輪郭予測ルール記憶部
２２ 特徴点算出ルール記憶部
２３ 設計情報記憶部
Ｗ ワーク
Ｈ 貫通穴
Ｈ１ 表面側輪郭形状
Ｈ２ 裏面側輪郭形状

Claims (9)

1. 所定の厚みを有するワークに形成された貫通穴を撮影してステレオ画像を取得する画像取得装置と、この取得した画像を処理する画像処理装置とを備え、
   この画像処理装置が、前記ワークの画像取得面である表面側に位置する前記貫通穴の表面側輪郭と当該ワークの裏面側に位置する前記貫通穴の裏面側輪郭との三次元形状を抽出する輪郭形状抽出手段と、抽出した前記各輪郭形状のそれぞれ対応する特徴点の三次元位置情報を検出する特徴点検出手段と、検出したそれぞれ対応する特徴点の三次元位置情報に基づいて前記貫通穴の位置及びその貫通方向を算出する貫通穴情報算出手段と、を備えたことを特徴とする貫通穴計測装置。
2. 前記画像処理装置が、予め定められた前記ワークに形成する各貫通穴の位置及び貫通方向を表す貫通穴設計情報を記憶する設計情報記憶手段と、この設計情報記憶手段に記憶された貫通穴設計情報と前記貫通穴情報検出手段による検出情報とを比較する貫通穴検証手段と、を備えた、ことを特徴とする請求項１記載の貫通穴計測装置。
3. 前記輪郭形状抽出手段は、抽出した表面側輪郭及び裏面側輪郭と予め定められた輪郭予測ルールとに基づいてそれぞれの輪郭形状を予測算出する輪郭形状算出機能を備えた、ことを特徴とする請求項１又は２記載の貫通穴計測装置。
4. 前記輪郭形状抽出手段は、前記ステレオ画像からエッジ検出により輪郭形状を抽出する、ことを特徴とする請求項３記載の貫通穴計測装置。
5. 前記ワークを裏面側から照らす照明装置を備えた、ことを特徴とする請求項１，２，３又は４記載の貫通穴計測装置。
6. 前記貫通穴は、穴部分の断面形状が円形状である円柱状貫通穴であると共に、
   前記特徴点検出手段は、表面側輪郭形状と裏面側輪郭形状とに基づいて当該各輪郭形状の円中心を前記特徴点として算出する輪郭中心算出機能を備えた、ことを特徴とする請求項１，２，３，４又は５記載の貫通穴計測装置。
7. 前記貫通穴情報算出手段は、表面側輪郭形状と裏面側輪郭形状とのうち、少なくともいずれか一方の輪郭形状に基づいて当該貫通穴の径を算出する機能を有する、ことを特徴とする請求項６記載の貫通穴計測装置。
8. 画像取得装置にて所定の厚みを有するワークに形成された貫通穴を撮影してステレオ画像を取得する画像取得工程と、この取得した画像を画像処理装置にて処理することにより前記ワークの画像取得面である表面側に位置する前記貫通穴の表面側輪郭と当該ワークの裏面側に位置する前記貫通穴の裏面側輪郭との三次元形状を抽出する輪郭形状抽出工程と、前記画像処理装置にて抽出した前記各輪郭形状のそれぞれ対応する特徴点の三次元位置情報を検出する特徴点検出工程と、前記画像処理装置にて検出したそれぞれ対応する特徴点の三次元位置情報に基づいて前記貫通穴の位置及びその貫通方向を算出する貫通穴情報算出工程と、から成ることを特徴とする貫通穴計測方法。
9. 画像取得装置にて所定の厚みを有するワークに形成された貫通穴を撮影してステレオ画像を取得し、この取得した画像を処理する画像処理装置に、
   前記ワークの画像取得面である表面側に位置する前記貫通穴の表面側輪郭と当該ワークの裏面側に位置する前記貫通穴の裏面側輪郭との三次元形状を抽出する輪郭形状抽出手段、抽出した前記各輪郭形状のそれぞれ対応する特徴点の三次元位置情報を検出する特徴点検出手段、検出したそれぞれ対応する特徴点の三次元位置情報に基づいて前記貫通穴の位置及びその貫通方向を算出する貫通穴情報算出手段、とを実現するための貫通穴計測用プログラム。
   
   

Images