JP2014041074A - 画像処理装置及び検査装置 - Google Patents
画像処理装置及び検査装置 Download PDFInfo
- Publication number
- JP2014041074A JP2014041074A JP2012183859A JP2012183859A JP2014041074A JP 2014041074 A JP2014041074 A JP 2014041074A JP 2012183859 A JP2012183859 A JP 2012183859A JP 2012183859 A JP2012183859 A JP 2012183859A JP 2014041074 A JP2014041074 A JP 2014041074A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- test object
- distance image
- background
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【課題】被検物を撮影して得られた画像データから、簡単な処理で、高速に被検物の位置及び回転量を検出する画像処理装置、及び該画像処理装置を備えた検査装置を提供する。
【解決手段】被検物を撮影して得られた画像データから距離画像データを生成する距離画像生成部207と、距離画像データを背景領域と被検物領域とに分離する背景・被検物領域分離部208と、距離画像データの被検物領域から、被検物の位置及び回転量を算出する位置及び回転量算出部209と備える。
【選択図】図4
【解決手段】被検物を撮影して得られた画像データから距離画像データを生成する距離画像生成部207と、距離画像データを背景領域と被検物領域とに分離する背景・被検物領域分離部208と、距離画像データの被検物領域から、被検物の位置及び回転量を算出する位置及び回転量算出部209と備える。
【選択図】図4
Description
本発明は、被検物を撮影して得られた画像データを処理して該被検物の位置及び回転量を検出する画像処理装置、及び、該画像処理装置の処理機能を備えた検査装置に関する。
従来から、被検物を撮影して得られた画像データについて、ハフ変換やテンプレート・マッチングなどを用いて被検物の位置(位置ずれ)や回転量(回転ずれ)を検出する方法が知られている。また、距離画像データを用いて、同様に被検物の位置(位置ずれ)や回転量(回転ずれ)を検出する方法(ICP法)も知られている(例えば、非特許文献1)。しかし、従来の方法は、画像データや距離データの全画面を処理対象領域とするため、演算処理量、演算時間、使用ハードウエア等が増大する問題があった。また、ICP法はアルゴリズムも非常に複雑である。
なお、特許文献1には、テンプレート・マッチングを用いた位置検出法において、画像データ中の特徴点の密度に応じて、テンプレート・マッチングの計算対象領域を限定することで、高速に被検体の位置ずれや回転ずれを検出する技術が記載されているが、特徴点抽出には画像データの全画面を対象とする必要があり、処理の高速化には限界がある。
本発明は、従来技術に比べて、被検物を撮影して得られた画像データから、簡単な処理で、高速に被検物の位置及び回転量を検出する画像処理装置、及び、該画像処理装置の処理機能を備えた検査装置を提供することにある。
本発明の画像処理装置は、被検物を撮影して得られた画像データから距離画像データを生成する距離画像生成手段と、前記距離画像データを背景領域と被検物領域とに分離する背景・被検物領域分離手段と、前記距離画像データの被検物領域から、前記被検物の位置・回転量を算出する位置・回転量算出手段とを有することを特徴とする。
また、本発明の検査装置は、被検物を複数方向から撮影して、視差の異なる複数の画像データを取得する撮影手段と、前記複数の画像データから距離画像データを生成する距離画像生成手段と、前記距離画像データを背景領域と被検物領域とに分離する背景及び被検物領域分離手段と、前記距離画像データの被検物領域から、前記被検物の位置及び回転量を算出する位置及び回転量算出手段と、前記算出された被検物の位置及び回転量をあらかじめ定められた閾値と比較して、前記被検物の位置ずれ及び回転ずれを判定する位置ずれ・回転ずれ判定手段とを有することを特徴とする。
本発明によれば、距離画像データを用いて、簡単な処理で、高速に被検物の位置及び回転量を検出することが可能になる。
以下、本発明の実施形態について図面を参照して説明する。なお、実施形態では、撮像手段として2つのカメラからなるステレオカメラにより被検物を撮影して、該被検物について視点の異なる2つの画像データを取得し、該2つの画像データから距離画像データを生成し、該距離画像データを背景領域と被検物領域に分離し、該被検物領域の重心、モーメントを計算することにより、被検物の位置及び回転量を算出するとする。
図1は、本実施形態に係る検査装置(画像処理装置を含む)の被検物とカメラの設置状態の一例を示した図である。図1において、撮像手段であるカメラA101とカメラB102は、一定の間隔で、且つ、両者の光軸が平行になるように、カメラ固定治具100に固定されている。このカメラA101、カメラB102がステレオカメラを構成し、カメラA101がステレオカメラの左目、カメラB102が右目に相当する。さらに、カメラ固定治具100には、パタン投影部103が固定されている。カメラ固定治具100は支持台110に固定されている。該支持台110に取り付けられたカメラ固定治具100と該支持台110の設置面112とは平行になるよう構成されている。その結果、カメラA101、カメラB102及びパタン投影部103は鉛直下向きに設置される。支持台110の設置面112上の、カメラA101、カメラB102、パタン投影部103と対向する位置に、被検物10が載置される。ここで、被検物の形状は直方体とする。
図2は、本実施形態に係る検査装置の全体的システム構成図である。カメラ固定治具100に固定されたカメラA101、カメラB102は、それぞれ設置面112の背景及び被検物10を撮影し、その光学像をアナログ電気信号に変換し、さらにデジタル信号に変換して画像データを出力する。例えば、画像データは8ビット/画素からなり、0〜255階調(輝度値)をとる。
パタン投影部103は、被検物10及びその周辺をランダムパタンで照射して、後述のカメラA101、カメラB102によるステレオ画像を利用した測距演算が安定に行えるようにする。このパタン投影部103は、図3のように、カメラA101、カメラB102のステレオカメラ測距領域より広い領域にランダムパタンを照射するようにする。なお、模様などの付いた被写体を撮影して測距演算を行うなど、測距演算が安定に行える場合には、パタン投影部103は使用しなくてもよい。
処理ユニット200は、カメラA101及びカメラB102の撮影を制御すると共に、カメラA101及びカメラB102から出力される画像データを取り込んで、該画像データから被検物10の位置及び回転量を算出し、位置ずれ及び回転ずれを判定するための種々の処理、主に画像処理を行う処理基板である。
この処理ユニット200には、パソコン(PC)300及び外部通信部400が接続されている。
パソコン300は、処理ユニット200に対して、該処理ユニット200での処理のためのパラメータの指定やその他の指示を行うと共に、処理ユニット200から画像データや、計算結果、判定結果などを受信して表示する。すなわち、パソコン300はユーザインタフェース手段として機能する。なお、パソコン300の代わりに、タッチパネル等の操作部を使用し、処理ユニット200と一体的に構成することでもよい。
外部通信部400は、一般にPLC(Programmable Logic Controller)と接続される。該外部通信部400は、例えば、撮影トリガーを処理ユニット200に与える、処理ユニット200の動作状態を監視する、処理ユニット200から判定結果を受け取る、などが可能である。
図4は、本実施形態に係る処理ユニット200の詳細構成を示すブロック図である。本処理ユニット200は、カメラAインターフェース(I/F)201、カメラBI/F202、PCI/F203、外部I/F204、メモリ205、画像変換部206、距離画像生成部207、背景・被検物分離部208、位置・回転量算出部209、位置ずれ・回転ずれ判定部210、及び制御部211等のモジュールからなり、これら各モジュールはバス212で接続されている。ここで、画像変換部206、距離画像生成部207、背景・被検物分離部208及び位置・回転量検出部209が本発明に係る画像処理装置として機能する。
制御部211は、各モジュールの動作制御を行う。また、制御部211は、各モジュールとの画像データ、その他データ等のやり取り、メモリ205への画像データ、その他データ等の保存/取り出しを行う。メモリ205は、各モジュールで使用する画像データ、パラメータ、ユーザ設定値などを記憶する。
カメラAI/F201は、カメラA101とのインターフェースであり、制御部211からの撮影指示や設定データ等をカメラA101に送信すると共に、カメラA101から出力された画像データを取り込んでメモリ205に記憶する。カメラBI/F202は、カメラB102とのインターフェースであり、同じく制御部211からの撮影指示や設定データ等をカメラB102に送信すると共に、カメラB102から出力された画像データを取り込んでメモリ205に記憶する。ここで、設定データには、自動露出、ホワイトバランス、画像信号モード(グレースケール/YUVカラー/Raw画像等)などが含まれる。なお、画像信号モードはグレースケールとする。したがって、カメラA101,カメラB102からはモノクロの輝度画像データが出力される。
PCI/F203は、パソコン(PC)300とのインターフェースであり、パソコン300で設定されたユーザ設定値(位置ずれ・回転ずれ判定閾値)を受け取り、メモリ205に記憶する。また、PCI/F203は、画像データ、位置・回転計算結果、判定結果等をパソコン300に送信する。
外部I/F204は、外部通信部400とのインターフェースであり、撮影トリガーを外部通信部400から受け取り、また、処理ユニット200の動作状態や判定結果などを外部通信部400に出力する。
画像変換部206は、メモリ205から、カメラA101で撮影された画像データ(以下、輝度画像データA)、カメラB102で撮影された画像データ(以下、輝度画像データB)を取り込んで、それぞれ画像歪みを補正する。さらに、画像変換部206は、歪み補正された輝度画像データBに対して歪み補正された輝度画像データAを平行化(ステレオ画像の平行化)し、平行化された輝度画像データA’と輝度画像データB’をメモリ205に記憶する。例えば、歪み補正の手法としてはA flexible new technique for camera calibration”.IEEE Transactions on Pattern Analysis and Machine Intelligence,22(11):1330-1334,2000に記載の手法、平行化の手法としてはFusiello A,Trucco E and VerriA:A compact algorithm for rectification of stereo pairs. Machine Vision and Applications:16-22,2000に記載の手法を用いるとよい。
なお、カメラA101とカメラB102を予め平行化した状態でカメラ固定治具100に固定することで平行化の処理は省略できる。
距離画像生成部207は、メモリ205から、平行化された輝度画像データA’と輝度画像データB’を取り込み、この2つの輝度画像データA’,B’を用いて、ブロックマッチングを行い、視差画像データCを生成する。視差画像データCは各画素毎に生成する。そして、視差画像データCから距離画像データDを作成する。距離画像データDは、視差画像データCの各視差値pについて、カメラA101、カメラB102の焦点距離をF1、基線長(カメラA101、カメラB102の光軸間の距離)をB1として、各画素毎に、d=Fl*Bl/pの式を利用して、距離値dを計算することによって得られる。距離画像生成部207は、生成した距離画像データDをメモリ205に記憶する。
なお、カメラが3つ以上の場合には複数の距離画像データが得られるため、各距離画像データをマージングして一つの距離画像データにする必要がある。これには従来から知られている手法を用いてればよい(例えば、非特許文献2〜4)。さらに、距離画像データを生成できればステレオカメラ方式でなくてもよく、例えば、光切断法やパタン投影法を使用して距離画像データを生成してもよい。
本実施形態では、まず、被検物10が設置面112に設置されない状態での、カメラA101、カメラB102が該設置面112(背景)を撮影して得られた輝度画像データA’と輝度画像データB’から距離画像データ(以下、背景距離画像データD1と称す)を生成してメモリ205に記憶しておく。次に、被検物10が設置面112に設置された場合の、カメラA101、カメラB102が該被検物10及び設置面112を撮影して得られた輝度画像データA’と輝度画像データB’から距離画像データ(以下、距離画像データD2と称す)を生成してメモリ205に記憶する。
背景・被検物分離部208は、メモリ205から背景距離画像データD1及び距離画像データD2を取り込み、両者の距離値を比較して、距離画像データD2を背景領域と被検物領域とに分離する。具体的には、背景・被検物分離部208では、各画素毎に、背景距離画像データD1の距離値と距離画像データD2の距離値を比較して、距離値の差の絶対値が所定値の閾値以上の画素を被検物領域、それ以外の画素を背景領域と分離する。
図5乃至図7は、背景・被検物分離部208での背景・被検物領域分離処理を説明する図である。ここでは、カメラA101、カメラB102から設置面112までの距離は100mmであるとする。また、被検物10は、高さが20mmの直方体とする。
図5(a)は、被検物10が設置面112に設置されない場合の、カメラB102による輝度画像データB’である。すなわち、輝度画像データB’は白紙である。カメラA101の輝度画像データA’も同様である(不図)。実際には、輝度画像データにはパタン投影部103によるランダムパタンが反映されるが、図面の簡単化のために省略する。これは、図6(a)及び図7(a)についても同様とする。
図5(b)は、図5(a)の被検物10が設置面112に設置されない場合について、カメラA101とカメラB102による輝度画像データA’及び輝度画像データB’から生成された背景距離画像データD1を示したものである。ここで、各升は画素を表わし、升内の数値は距離値(mm)を表わしている。
図6(a)は、被検物10が設置面112に設置された場合の、カメラB102による輝度画像データB’の一例である。カメラA101の輝度画像データA’も同様である(不図)。図6(b)は、図6(a)の場合について、カメラA101とカメラB102による輝度画像データA’及び輝度画像データB’から生成された距離画像データD1である。
同様に、図7(a)は、被検物10が設置面112に設置された場合の、カメラB102による輝度画像データB’の別の例である。カメラA101の輝度画像データA’も同様である(不図)。図7(b)は、図7(a)の場合について、カメラA101とカメラB102による輝度画像データA’及び輝度画像データB’から生成された距離画像データD1である。
背景・被検物分離部20は、各画素毎に、背景距離画像データD1(図5(b))の距離値と距離画像データD2(図6(b)、図7(b))の距離値を比較して、距離画像データD2中の、距離値の差の絶対値が所定の閾値以上の画素を被検物領域、それ以外の画素を背景領域とする。ここでは、閾値を10とする。この結果、図6(b)の距離画像データD2は、図6(c)に示すように、被検物領域と背景領域に分離される。同様に、図7(b)の距離画像データD2は、図7(c)に示すように、被検物領域と背景領域に分離される。図6(c)及び図7(c)において、網掛けした部分が被検物領域を表わしている。
なお、本実施形態では、背景距離画像データと距離画像データを使用して、距離画像データを背景領域と被検物領域に分離したが、距離画像データの各画素について、当該距離値が所定の閾値以下の画素を被検物領域、それ以外の画素を背景領域と分離することでもよい。例えば、図6(b)及び図7(b)の場合、閾値を85とすることで、図6(c)及び図7(c)に示したように分離することができる。
位置・回転量算出部209は、背景・被検物分離部208で分離された距離画像データD2の被検物領域についてモーメントM00,M10,M01,M11,M20,M02を計算し、該モーメントを利用して被検物10の位置X,Y、及び、回転量Θを算出する。
ここで、モーメントM00,M10,M01,M11,M20,M02の計算には、次式(1)を用いる。
モーメントM00,M10,M01,M11,M20,M02から、被検物10の位置(重心位置)X,Y、回転量Θは次のようにして算出する。
図8は、図6の場合(被検物が水平に配置されている場合)について距離画像データD2の座標を表わしたものである。図8において、網掛けした部分が被検物領域、網掛けしない部分が背景領域である。式(1)より、図8では、M00=30,M10=105,M01=120,M11=420,M20=455,M02=540となる。これにより、被検物10の位置X,Yは、X≒3.5,Y≒4.0、回転量ΘはΘ=0と算出される。
図9は、図7の場合(被検物が傾いて配置されている場合)について距離画像データD2の座標を表わしたものである。図9において、網掛けした部分が被検物領域、網掛けしない部分が背景領域である。式(1)より、図9では、M00=28,M10=129,M01=118,M11=556,M20=706,M02=562となる。これにより、被検物10の位置X,Yは、X≒4.6,Y≒4.2、回転量ΘはΘ≒27.6と算出される。
なお、式(1)において、距離画像データの背景領域ではsrc(x,y)=0である。したがって、モーメントM00,M10,M01,M11,M20,M02の計算では、距離画像データの被検物領域の座標について(図8、図9の網掛け部分)、式(1)を計算すればよい。これにより、演算処理量、演算時間が短縮される。
位置ずれ・回転ずれ判定部210は、位置・回転量算出部209で算出された被検物10の位置X,Y、回転量Θについて、あらかじめ定めた閾値(minX,maxX,minY,maxY,minΘ,maxΘ)と比較することで、被検物10の位置・回転ずれを判定する。すなわち、被検物が正常に置かれているか否か判定する。具体的には、minX≦X≦maxXかつminY≦Y≦maxYかつminΘ≦Θ≦maxΘの場合は、判定結果は1(OK)、それ以外は0(NG)となる。
位置ずれ・回転ずれ部210での判定結果は、制御部211を介して、PCI/F203からパソコン300あるいは外部I/F204から外部通信部400に繋がるPLCに出力される。
制御部211は、状態により動作が異なる。図10に制御部211の遷移状態を示す。初期状態では、背景撮影状態1001にある。背景撮影登録が完了すると閾値調整状態1002に遷移する。そして判定閾値設定が完了すると、運用状態1003に遷移する。なお、初期化(距離画像や判定閾値の初期化)が行われると、状態は撮影状態1001に移る。
図11は、制御部211の各状態における処理ユニット200の動作フローを示した図である。
図11(a)は、制御部211が背景撮影状態1001のときにトリガーが入力された場合の動作フローである。背景撮影状態1001では、まだ、被検物10は設置面112に設置されない。
制御部211はカメラA101,カメラB102に同期して撮影指示を行う(ステップ1101)。すると、カメラA101で撮影された背景画像の画像データ(輝度画像データA)が画像変換部206に転送され、同じくカメラB102で撮影された背景画像の画像データ(輝度画像データB)が画像変換部206に転送される。そして、画像変換部206にて、画素歪み補正及びで平行化された輝度画像データA’、輝度画像データB’が生成される(ステップ1102)。この輝度画像データA’および輝度画像データB’は距離画像生成部207に転送される。距離画像生成部207では、輝度画像データA’と輝度画像データB’を用いて視差画像データCを生成し、視差画像データCから距離画像データDを生成する(ステップ1103)。ここでは、背景距離画像データD1が生成される。制御部211は、背景距離画像データD1をメモリ205に保存すると共に、輝度画像データB’(背景輝度画像)をパソコン300へ転送する(ステップ1104)。なお、制御部211は、輝度画像データA’をパソコン300へ転送することでもよい。要は、ユーザにとって背景画像であることかわかればよい。
図7(b)は、制御部211が閾値調整状態1002のときにトリガーが入力された場合の動作フローである。閾値調整状態1002では、位置ずれ・回転ずれ判定対象の被検物(モデル製品)10が設置面112に正しく設置される。
制御部211はカメラA101,カメラB102に同期して撮影指示を行う(ステップ1101)。すると、カメラA101で撮影された被検物画像の画像データ(輝度画像データA)が画像変換部206に転送され、同じくカメラB102で撮影された被検物画像の画像データ(輝度画像データB)が画像変換部206に転送される。そして、画像変換部206にて、画素歪み補正及びで平行化された輝度画像データA’、輝度画像データB’が生成される(ステップ1102)。この輝度画像データA’および輝度画像データB’は距離画像生成部207に転送される。距離画像生成部207では、輝度画像データA’と輝度画像データB’を用いて視差画像データCを生成し、視差画像データCから距離画像データDを生成する(ステップ1103)。ここでは、距離画像データD2が生成される。この距離画像データD2は背景・被検物分離部208に転送される。また、メモリ205に保存されている背景距離画像データD1も背景・被検物分離部208に転送される。背景・被検物分離部208では、背景距離画像データD1と距離画像データD2を比較して、距離画像データD2を背景領域と被検物領域に分離する(ステップ1105)。この分離結果は、位置・回転量算出部209に転送される。位置・回転量算出部209では、距離画像データD2の被検物領域のモーメントを計算し、このモーメントから被検物(モデル製品)10の位置X,Y、及び回転量Θを算出する(ステップ1106)。制御部211は、輝度画像データB’、及び位置X,Y、回転量Θの情報をパソコン300へ転送する(ステップ1107)。この場合も、輝度画像データ(被検物輝度画像)としては輝度画像データA’をパソコン300へ転送することでもよい。要は、ユーザにとって被検物画像の位置・回転状況がわかればよい。
パソコン300では、転送された輝度画像データB’、位置X,Y、回転量Θの情報を表示部に表示する。これをもとに、ユーザは判定閾値(minX,maxX,minY,maxY,minΘ,maxΘ)を設定入力する。パソコン300は、この設定入力された判定閾値を処理ユニット200に転送し、処理ユニット200の制御部211は、転送された判定閾値をメモリ205に保持する。
図11(c)は、制御部211が運用状態1003の時にトリガーが入力された場合の動作フローである。運用状態1003では、実際の検査対象の被検物10が設置面112に任意の態様で設置される。
制御部211はカメラA101,カメラB102に同期して撮影指示を行う(ステップ1101)。すると、カメラA101で撮影された被検物画像の画像データ(輝度画像データA)が画像変換部206に転送され、同じくカメラB102で撮影された被検物画像の画像データ(輝度画像データB)が画像変換部206に転送される。そして、画像変換部206にて、画素歪み補正及びで平行化された輝度画像データA’、輝度画像データB’が生成される(ステップ1102)。この輝度画像データA’および輝度画像データB’は距離画像生成部207に転送される。距離画像生成部207では、輝度画像データA’と輝度画像データB’を用いて視差画像データCを生成し、視差画像データCから距離画像データDを生成する(ステップ1103)。ここでは、距離画像データD2が生成される。この距離画像データD2は背景・被検物分離部208に転送される。また、メモリ205に保存されている背景距離画像データD1も背景・被検物分離部208に転送される。背景・被検物分離部208では、背景距離画像データD1と距離画像データD2を比較して、距離画像データD2を背景領域と被検物領域に分離する(ステップ1105)。この分離結果は、位置・回転量算出部209に転送される。位置・回転量算出部209では、距離画像データD2の被検物領域のモーメントを計算し、このモーメントから被検物10の位置X,Y、及び回転量Θを算出する(ステップ1106)。この算出された位置X,Y、回転量Θのデータは位置ずれ・回転ずれ判定部210に転送される。また、メモリ205に保存されている判定閾値(minX,maxX,minY,maxY,minΘ,maxΘ)も位置ずれ・回転ずれ判定部210に転送される。位置ずれ・回転ずれ判定部210では、算出された算出された位置X,Y及び回転量Θを判定閾値と比較して、被検物10の位置ずれ・回転ずれを判定する(ステップ1108)。そして、判定結果(OK/NG)を制御部211へ通知する。制御部211は、判定結果、輝度画像データB’をPC300や外部通信部400へ転送する(ステップ1109)。
以下に、本実施形態に係る画像処理装置を含む検査装置の具体的動作について説明する。
図12は、ユーザ操作と共に本検査装置の全体の動作の流れ示した図である。図12中、網掛けの個所がユーザ操作を示している。図13はパソコン300の表示画面の遷移を示した図である。
カメラA101,カメラB102、及び、パタン投影部103は、図1のように設置されているとする。なお、先に述べたように、パタン投影部103は省略することでもよい。最初、被検物10は設置されていない。
ユーザは、パソコン300上で被検物の位置ずれ・回転ずれ判定のための専用アプリケーションを起動する(ステップ2001)。この時、パソコン300の表示画面は図13−Aのようになる。また、処理ユニット200の制御部211は初期状態の背景撮影状態1001にある(図10)。
次に、ユーザは背景撮影ボタン502を押下する(ステップ2002)。すると、PC300からPCI/F203を通して制御部211にトリガーが入力される。その結果、処理ユニット200は図11(a)で示した処理動作を実行し(ステップ2003)、輝度画像データ(背景輝度画像)B’をパソコン300へ出力する。この時、パソコン300の表示画面の撮影画像表示領域501に輝度画像データB’が表示されるが、被検物が設置されていないので、何も表示されていない。すなわち、表示画面は図13−Aと同様である。実際には、パタン投影部103によるパタン(図3)が表示されるが、ここでは説明の簡単化のため省略する。輝度画像データB’の転送後、制御部211は閾値調整状態1002へ遷移する(図10)。
次に、ユーザは、カメラA101,カメラB102の直下に、位置ずれ・回転ずれを判定したい被検物(モデル製品)10を設置する(ステップ2004)。その際、被検物10がカメラA101及びカメラB102の両方の視野に含まれる位置に設置する。また、被検物10は、位置ずれ・回転ずれがないように設置する。
ユーザは撮影ボタン503を押下する(ステップ2005)。すると、PC300からPCI/F203を通して制御部211にトリガーが入力される。その結果、処理ユニット200は図11(b)で示した処理動作を実行し(ステップ2006)、輝度画像データ(被検物画像)B’及び位置・回転量の情報をパソコン300へ出力する。この時、パソコン300の表示画面は図13−Bのようになる。すなわち、投影画像表示領域501に被検物10の画像が表示される。また、算出された位置X,Y、回転量Θが位置バー(X)505、位置バー(Y)506、回転バー507上に表示される。ここでは、位置X=0,位置Y=0,回転量Θ=0である。
ユーザは、マウスなどを用いて、位置バー(X)505、位置バー(Y)506、回転バー507を操作し、判定閾値として、X位置ずれ許容量(minX,maxX)、Y位置ずれ許容量(minY,maxY)、回転ずれ許容量(minΘ,maxΘ)を設定する(ステップ2007)。この時、パソコン300の表示画面は図13−Cのようになる。
判定閾値の設定が終了したなら、ユーザは調整完了ボタン504ほ押下する(ステップ2008)。すると、ユーザが設定した判定閾値(minX,maxX,minY,maxY,minΘ,maxΘ)が、パソコン300からPCI/F203を通して処理ユニット200へ通知される。制御部211は、この判定閾値をメモリ205に保持すると共に、運用状態1003へ遷移する(図10)。
以後、実際の検査対象の被検物10が設置され、ユーザが撮影ボタン503を押下することで、PC300からPCI/F203を通して制御部211にトリガーが入力される。その結果、処理ユニット200は図11(c)で示した処理動作を実行し(ステップ2009)、輝度画像データ(被検物画像)B’及び判定結果をパソコン300へ出力する。図13−Dは、この時のパソコン300の表示画面の一例を示したものである。これは、被検物10の位置X,Yは許容範囲内であるが、回転量Θが許容範囲を超えているため、判定結果は「NG」となったことを示している。
なお、外部通信部400に接続されるPLCから撮影トリガーを入力することで、同様に処理ユニット200は図11(c)で示した処理動作を実行し、外部I/F204、外部通信部400を通して、PLCで判定結果を得ることができる。
次に、ステレオカメラの他の実施例について説明する。図1では、カメラ固定治具100にカメラA101,カメラB102を一定の間隔を持たせてステレオカメラとしたが、このような構成に限る必要はない。
図14は、カメラA101とカメラB102の代わりとして使用可能な、2つのカメラが一体となった一体型ステレオカメラの構成例を示した図である。これは、矢印方向に被写体があるものとし、一体型ステレオカメラにより被写体を撮像する構成の断面模式図を示したものである。601はレンズアレイを表す。レンズアレイは被写体側の面と像面側の面の二面からなり、面内に複数のレンズがアレイ状に配列されている。図14では、被写体側、像側の両方の面にレンズ面が設けられた両面レンズアレイが示されている。6001aは被写体側の面に設けられたレンズ、601bは像側の面に設けられたレンズであり、601aと601bがセットになって被写体の像を像面上で結像させる。602は、レンズアレイにおける隣接するレンズセット間での光線のクロストーク(混線)を防止するための遮光用の隔壁(遮光壁と呼ぶ)であり、金属や樹脂等の撮像光線に対して不透明な材料からなる。レンズアレイ601の像側の面と遮光壁とが接着されている。603は、板状部材に、各レンズセットに対応して円形の孔を設けた開口アレイであり、レンズの絞りとして作用する。レンズアレイ601の被写体側の面の平面部に設けられた突起部607を介して開口アレイ603とレンズアレイ601は接着されている。604は、レンズアレイにおける各レンズセットにより撮像される被写体の像を撮像するCMOSセンサ(撮像素子)であり、基板605の上に実装されている。606は筐体であり、レンズアレイ601の被写体側の面と接着してレンズアレイ601、遮光壁602、開口アレイ603を保持し、基板605に接着されている。
図14の構成の一体型ステレオカメラを用いると、レンズアレイ601と対応した視差を持った画像がCMOSセンサ604に撮像される。図10の構成によれば、測距精度は低いものの、ステレオカメラを小型化することができる。
図15は、2つのカメラが一体となった一体型ステレオカメラの他の構成例を示した図である。基本的構成は図14と同じであり、相違点は、CMOSセンサ(撮像素子)が604a,604bの2枚からなる構成となっていることである。図15の構成によれば、センサの枚数が増えるので、コストは増加するが、測距精度が向上する利点がある。
10 被検物
101,102 カメラ
103 パタン投影部
200 処理ユニット
201,202 カメラI/F
203 PCI/F
204 外部I/F
205 メモリ
206 画像変換部
207 距離画像生成部
208 背景・被検物分離部
209 位置・回転量算出部
210 位置ずれ・回転ずれ判定部
211 制御部
300 パソコン
400 外部通信部
101,102 カメラ
103 パタン投影部
200 処理ユニット
201,202 カメラI/F
203 PCI/F
204 外部I/F
205 メモリ
206 画像変換部
207 距離画像生成部
208 背景・被検物分離部
209 位置・回転量算出部
210 位置ずれ・回転ずれ判定部
211 制御部
300 パソコン
400 外部通信部
P.J.Besl and N.D.McKay,A method for registration of 3-D shapes,IEEE Transactions on Pattern Analysis and Machine Intelligence,14(2) 1992,pp.239-256.
Greg Turk and Marc Levoy.Zippered polygonmeshes from range images.In Proc.SIGGRAPH ’94,pp.311-318.ACM,1994.
Curless,B.,Levoy,M.,A Volumetric Method for Building Complex Models from Range Images,In Proc.SIGGRAPH’96,ACM,1996,pp.303-312.
M.Wheeler,Y.Sato,and K.Ikeuchi,Consensussurfaces for modeling 3D objects from multiplerange images,In Proc.IEEE International Conference on Computer Vision,pp.917-923,Jan,1997.
Claims (6)
- 被検物を撮影して得られた画像データから距離画像データを生成する距離画像生成手段と、
前記距離画像データを背景領域と被検物領域とに分離する背景・被検物領域分離手段と、
前記距離画像データの被検物領域から、前記被検物の位置及び回転量を算出する位置・回転量算出手段と、
を有することを特徴とする画像処理装置。 - 前記距離画像手段は、被検物が存在しない状態で撮影して得られた背景画像データから背景距離画像データおよび被検物を撮影して得られた画像データから距離画像データを生成し、
前記背景・被検物領域分離手段は、前記背景距離画像データと前記距離画像データとを比較して、前記距離画像データを背景領域と被検物領域とに分離する、
ことを特徴とする請求項1に記載の画像処理装置。 - 前記位置・回転量算出手段は、前記距離画像データの被検物領域のモーメントを計算し、前記モーメントから被検物の位置・回転量を算出する、
ことを特徴とする請求項1又は2に記載の画像処理装置。 - 被検物を複数方向から撮影して、視差の異なる複数の画像データを取得する撮影手段と、
前記複数の画像データから距離画像データを生成する距離画像生成手段と、
前記距離画像データを背景領域と被検物領域とに分離する背景・被検物領域分離手段と、
前記距離画像データの被検物領域から、前記被検物の位置及び回転量を算出する位置・回転量算出手段と、
前記算出された被検物の位置及び回転量をあらかじめ定められた閾値と比較して、前記被検物の位置ずれ及び回転ずれを判定する位置ずれ・回転ずれ判定手段と、
を有することを特徴とする検査装置。 - 前記撮像手段は、被検物に対向する位置に設けられた、複数のレンズがアレイ配列されてなるレンズアレイと、前記レンズアレイの像面側に設けられた、前記複数のレンズのそれぞれにより略結像される前記被検物の縮小像を撮像する撮像素子とを有する、
ことを特徴とする請求項4に記載の検査装置。 - 前記撮像手段は、被検物の撮影領域よりも広領域にランダムパタンを照射するパタン投影手段を更に有することを特徴とする請求項4又は5に記載の検査装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012183859A JP2014041074A (ja) | 2012-08-23 | 2012-08-23 | 画像処理装置及び検査装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012183859A JP2014041074A (ja) | 2012-08-23 | 2012-08-23 | 画像処理装置及び検査装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014041074A true JP2014041074A (ja) | 2014-03-06 |
Family
ID=50393436
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012183859A Pending JP2014041074A (ja) | 2012-08-23 | 2012-08-23 | 画像処理装置及び検査装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014041074A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018115981A (ja) * | 2017-01-19 | 2018-07-26 | 株式会社日立エルジーデータストレージ | 物体位置検出装置 |
CN110998241A (zh) * | 2018-01-23 | 2020-04-10 | 深圳市大疆创新科技有限公司 | 用于校准可移动对象的光学系统的系统和方法 |
CN111223796A (zh) * | 2018-11-23 | 2020-06-02 | 细美事有限公司 | 基板处理装置和用于偏心检查的装置及方法 |
JP2022134364A (ja) * | 2021-03-03 | 2022-09-15 | 日本電気株式会社 | 計測装置、計測方法およびコンピュータプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1031742A (ja) * | 1996-07-15 | 1998-02-03 | Mitsubishi Electric Corp | 画像処理装置および物体移載装置 |
JP2006074460A (ja) * | 2004-09-02 | 2006-03-16 | Matsushita Electric Ind Co Ltd | 物体検出装置および方法 |
JP2007192625A (ja) * | 2006-01-18 | 2007-08-02 | Seiko Epson Corp | 欠陥判別方法および欠陥判別装置 |
JP2011133273A (ja) * | 2009-12-22 | 2011-07-07 | Canon Inc | 推定装置及びその制御方法、プログラム |
-
2012
- 2012-08-23 JP JP2012183859A patent/JP2014041074A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1031742A (ja) * | 1996-07-15 | 1998-02-03 | Mitsubishi Electric Corp | 画像処理装置および物体移載装置 |
JP2006074460A (ja) * | 2004-09-02 | 2006-03-16 | Matsushita Electric Ind Co Ltd | 物体検出装置および方法 |
JP2007192625A (ja) * | 2006-01-18 | 2007-08-02 | Seiko Epson Corp | 欠陥判別方法および欠陥判別装置 |
JP2011133273A (ja) * | 2009-12-22 | 2011-07-07 | Canon Inc | 推定装置及びその制御方法、プログラム |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018115981A (ja) * | 2017-01-19 | 2018-07-26 | 株式会社日立エルジーデータストレージ | 物体位置検出装置 |
CN110998241A (zh) * | 2018-01-23 | 2020-04-10 | 深圳市大疆创新科技有限公司 | 用于校准可移动对象的光学系统的系统和方法 |
CN111223796A (zh) * | 2018-11-23 | 2020-06-02 | 细美事有限公司 | 基板处理装置和用于偏心检查的装置及方法 |
CN111223796B (zh) * | 2018-11-23 | 2023-10-27 | 细美事有限公司 | 基板处理装置和用于偏心检查的装置及方法 |
JP2022134364A (ja) * | 2021-03-03 | 2022-09-15 | 日本電気株式会社 | 計測装置、計測方法およびコンピュータプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6465789B2 (ja) | デプスカメラの内部パラメータを算出するプログラム、装置及び方法 | |
EP3248374B1 (en) | Method and apparatus for multiple technology depth map acquisition and fusion | |
CN101755190B (zh) | 校准方法、校准装置及具备该校准装置的校准系统 | |
TWI547828B (zh) | 感測器與投射器之校準技術 | |
JP6363863B2 (ja) | 情報処理装置および情報処理方法 | |
US20110249117A1 (en) | Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program | |
JP2007129709A (ja) | イメージングデバイスをキャリブレートするための方法、イメージングデバイスの配列を含むイメージングシステムをキャリブレートするための方法およびイメージングシステム | |
JP2011253376A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
TWI521471B (zh) | 3 - dimensional distance measuring device and method thereof | |
JP2019510311A (ja) | 平面の鏡を用いたステレオ画像システムを較正するための方法およびコンピュータプログラム製品 | |
TWI672937B (zh) | 三維影像處理之裝置及方法 | |
JP6304244B2 (ja) | 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム | |
CN112602118B (zh) | 图像处理装置和三维测量系统 | |
JP7489670B2 (ja) | 補正パラメータ算出方法、変位量算出方法、補正パラメータ算出装置、及び、変位量算出装置 | |
JP2014041074A (ja) | 画像処理装置及び検査装置 | |
KR20120108256A (ko) | 로봇 물고기 위치 인식 시스템 및 로봇 물고기 위치 인식 방법 | |
KR20200046789A (ko) | 이동하는 물체의 3차원 데이터를 생성하는 방법 및 장치 | |
US8908012B2 (en) | Electronic device and method for creating three-dimensional image | |
JP5336325B2 (ja) | 画像処理方法 | |
JP4871315B2 (ja) | 複眼撮影装置およびその制御方法並びにプログラム | |
JP6409769B2 (ja) | 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム | |
JP7504688B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP5967470B2 (ja) | 検査装置 | |
JP2014002489A (ja) | 位置推定装置、方法、及びプログラム | |
WO2015159791A1 (ja) | 測距装置および測距方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160408 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160413 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20161014 |