[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2016186421A - 画像処理方法 - Google Patents

画像処理方法 Download PDF

Info

Publication number
JP2016186421A
JP2016186421A JP2015065725A JP2015065725A JP2016186421A JP 2016186421 A JP2016186421 A JP 2016186421A JP 2015065725 A JP2015065725 A JP 2015065725A JP 2015065725 A JP2015065725 A JP 2015065725A JP 2016186421 A JP2016186421 A JP 2016186421A
Authority
JP
Japan
Prior art keywords
normal
light source
captured image
angle
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015065725A
Other languages
English (en)
Other versions
JP6519265B2 (ja
Inventor
賢一郎 町田
Kenichiro Machida
賢一郎 町田
治孝 井本
Harutaka Imoto
治孝 井本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IHI Corp
Original Assignee
IHI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IHI Corp filed Critical IHI Corp
Priority to JP2015065725A priority Critical patent/JP6519265B2/ja
Publication of JP2016186421A publication Critical patent/JP2016186421A/ja
Application granted granted Critical
Publication of JP6519265B2 publication Critical patent/JP6519265B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】微細で複雑な形状の物体であっても外観や形状を高精度に計測することができる画像処理方法を提供する。
【解決手段】異なる位置に配置された複数の光源2から物体Xに個別に光を照射して物体Xの撮影画像を個別に取得し、この撮影画像における注目画素Tの輝度値の変化に基づいて注目画素Tの法線を推定する照度差ステレオ法を用い、注目画素Tにおける入射光軸と法線とのなす第一角度、注目画素Tにおける反射光軸と法線とのなす第二角度及び注目画素Tにおける入射光軸と光源軸Lとのなす第三角度θを用いて撮影画像Pを補正する。
【選択図】図1

Description

本発明は、画像処理方法に関し、特に、照度差ステレオ法を用いた画像処理方法に関する。
例えば、製品の形状や表面の傷等を目視確認する外観検査において、検査の効率と品質の向上を目的とした検査の自動化が求められている。近年、三次元非接触形状計測手法として、レーザ変位センサを走査させて計測する手法(特許文献1参照)やパターン光を物体に投影し投影光の撮影画像を解析することで物体の三次元形状を計測する手法(特許文献2参照)を適用した装置が利用されつつある。
しかしながら、これらの手法は、レーザの形状やパターン光の投影模様以上の分解能を実現することが困難であるとともに、物体への投影光が解析画像に鮮明に写っている必要があるため、投影光を十分なコントラストで撮影できない表面性状を持った物体(例えば、鏡面や黒体)の計測に弱い傾向がある。
ところで、一般に、物体の表面に光を照射した場合、光の入射角度に対応して種々の方向に光が反射し、光の反射角度によって、光の強度(すなわち、輝度値)が変化することとなる。したがって、視点(カメラ)を固定して、物体の表面に複数の方向から光を照射して、その反射光の輝度値の変化を計測することによって、物体の立体形状を計測することが可能となる。この原理を用いた方法が照度差ステレオ法である。照度差ステレオ法では、カメラにより撮影された画像の観測輝度情報から、各画素における法線方向(すなわち、面法線ベクトル)を推定している。
例えば、特許文献3には、照度差ステレオ法において、鏡面反射が存在する被写体では大きな誤差が生じること、鏡面反射を分離した拡散反射画像のみを利用することで鏡面反射の存在による推定誤差を無くすことができること、輝度値を用いて影領域を除去すること等が記載されている。また、特許文献1には、鏡面反射を分離する方法として種々の方法があることも記載されている(偏光フィルタを用いた方法、マルチスペクトルカメラを用いた方法、線形化画像を利用した方法等)。
特開2004−294170号公報 特開平8−29136号公報 特開2008−16918号公報
上述した特許文献3に記載されたように、照度差ステレオ法を用いた場合、撮影画像中の正反射(鏡面反射ともいう)や影の影響が強い部分が誤差要因となることが知られている。そして、より微細で複雑な形状を高精度に計測するためには、正反射や影の強い部分を簡便かつ正確に除去する技術の開発が望まれている。また、照度差ステレオ法では、光源の位置と向きに起因する物体に対する照度のばらつきも誤差要因となる。また、複数の光源を用いた照度差ステレオ法では、全ての光源が同一の光度であることが好ましいが、実際には光源によって個体差が存在し、誤差要因となる。
本発明は、上述した問題点に鑑み創案されたものであり、微細で複雑な形状の物体であっても外観や形状を高精度に計測することができる画像処理方法を提供することを目的とする。
本発明によれば、異なる位置に配置された複数の光源から物体に個別に光を照射して前記物体の撮影画像を個別に取得し、前記撮影画像における注目画素の輝度値の変化に基づいて前記注目画素の法線を推定する照度差ステレオ法を用いた画像処理方法において、前記注目画素における入射光軸と前記法線とのなす第一角度、前記注目画素における反射光軸と前記法線とのなす第二角度又は前記注目画素における入射光軸と光源軸とのなす第三角度のうち少なくとも何れか一つを用いて前記撮影画像を補正する、ことを特徴とする画像処理方法が提供される。
前記画像処理方法において、補正した前記撮影画像を用いて照度差ステレオ法により前記注目画素の法線を推定し直し、該法線の変化量が所定の閾値の範囲内に収束するまで、前記撮影画像の補正を繰り返すようにしてもよい。
また、前記撮影画像の補正は、前記第一角度が90°近傍における所定の閾値以上である場合に前記注目画素を影部と判断して前記撮影画像から除去することを含んでいてもよい。
また、前記撮影画像の補正は、前記第一角度と前記第二角度との差分が0°近傍の所定の範囲内である場合に前記注目画素を正反射部と判断して前記撮影画像から除去することを含んでいてもよい。
また、前記撮影画像の補正は、前記光源から一つの基準光源を選択し、ある光源の前記第三角度を用いて前記基準光源の配光特性から前記ある光源の光度を推定するとともに、前記基準光源及び前記ある光源の前記注目画素までの距離に基づく光の減衰率を考慮して、前記ある光源に対する前記注目画素の輝度値を補正することを含んでいてもよい。
また、前記画像処理方法において、補正した前記撮影画像を用いて前記物体の外観形状を算出するようにしてもよい。
また、前記画像処理方法は、前記撮影画像を取得する撮影工程と、輝度値を用いて正反射部及び影部を除去する第一除去工程と、照度差ステレオ法を用いて画素ごとに前記法線を推定する第一法線推定工程と、画素ごとに三次元座標を算出する第一座標算出工程と、前記法線を用いて正反射部及び影部を除去する第二除去工程と、画素ごとに観測輝度値を補正する輝度値補正工程と、補正した前記撮影画像について照度差ステレオ法を用いて画素ごとに法線を推定する第二法線推定工程と、補正した前記撮影画像について画素ごとに三次元座標を算出する第二座標算出工程と、前記第二法線推定工程で推定した法線の前記第一法線推定工程で推定した法線に対する変化量が所定の閾値以下に収束したか否か判断する判断工程と、を備え、前記法線の変化量が閾値以下に収束するまで前記第二除去工程〜前記判断工程を繰り返し処理するようにしてもよい。
上述した本発明の画像処理方法によれば、注目画素における、入射光軸と法線とのなす角度(第一角度)、反射光軸と法線とのなす角度(第二角度)又は入射光軸と光源軸とのなす角度(第三角度)のうち少なくとも何れか一つを用いて撮影画像を補正するようにしたことから、輝度値や偏向特性を用いた場合と比較して、簡便かつ正確に正反射や影の部分を除去したり、照度のばらつきを抑制したりすることができ、微細で複雑な形状の物体であっても外観や形状を高精度に計測することができる。
例えば、第一角度が90°近傍における所定の閾値以上である場合に注目画素を影部の影響を強く受けた部分と判断することができ、第一角度と第二角度との差分が0°近傍の所定の範囲内である場合に注目画素を正反射部の影響を強く受けた部分と判断することができる。したがって、本発明によれば、計測誤差の大きい輝度値に依存することがなく、かつ、複雑な計算を行うこともなく、正反射部や影部の影響を強く受けた部分を容易に除去することができる。
また、第三角度を用いて配光特性や距離差に起因する光の減衰率を考慮して注目画素の輝度値を補正することにより、光源の位置と向きに起因する物体に対する照度のばらつきや光源の個体差による影響を効果的に抑制することができる。
照度差ステレオ法を用いた形状計測装置を示す概念図であり、(a)は側面図、(b)は平面図、である。 図1に示した光学系に使用されるレンズの説明図であり、(a)はテレセントリックレンズ、(b)は通常のレンズ、を示している。 物体の表面に光を照射したときの光の反射に関する説明図であり、(a)は撮影画像、(b)は入射光及び反射光の位置関係、を示している。 本発明の第一実施形態に係る画像処理方法を示すフロー図である。 図4に示した第二除去工程の作用を示す図であり、(a)は白色セラミックス球の場合、(b)は銀貨の場合、を示している。 銀貨の形状計測結果を示す図であり、(a)は第一実施形態に係る画像処理方法を用いた計測結果、(b)はレーザ変位センサを用いた計測結果、を示している。 本発明の第二実施形態に係る画像処理方法を示すフロー図である。 本発明の第三実施形態に係る画像処理方法を示すフロー図である。
以下、本発明の第一実施形態について図1〜図6を用いて説明する。ここで、図1は、照度差ステレオ法を用いた形状計測装置を示す概念図であり、(a)は側面図、(b)は平面図、である。図2は、図1に示した光学系に使用されるレンズの説明図であり、(a)はテレセントリックレンズ、(b)は通常のレンズ、を示している。図3は、物体の表面に光を照射したときの光の反射に関する説明図であり、(a)は撮影画像、(b)は入射光及び反射光の位置関係、を示している。図4は、本発明の第一実施形態に係る画像処理方法を示すフロー図である。
最初に、本実施形態において使用する形状計測装置の概要について説明する。図1(a)及び図1(b)に示した形状計測装置1は、異なる位置に配置された複数の光源2から物体Xに個別に光を照射して物体Xの撮影画像Pを個別に取得し、撮影画像Pにおける注目画素Tの輝度値の変化に基づいて法線nを画素単位で推定する照度差ステレオ法を用いたものである。
具体的には、形状計測装置1は、装置上部に光軸が鉛直になるようにカメラ3及びレンズ4を固定し、その下に高さが調整可能で水平な計測ステージ(図示せず)を設置している。この計測ステージを中心にドーム状の枠体(図示せず)を組み、そこに複数の光源2を取り付けている。図1(b)では、一例として、16個の光源2を図示しているが、かかる個数及び配置に限定されるものではない。なお、環境光の混入を防ぐために装置全体をパネルで覆うようにしてもよい。
光源2は、例えば、LEDモジュールにより構成される。LEDモジュールは、表面実装型白色LED素子を内蔵しており、前面から拡散板を介して発光面が白色拡散光を照射するように構成されている。このように、LED照明をモジュール化することにより、LED素子の放熱対策を行うことができるとともに、光の照射角度を制限して光が直接カメラに入射することを抑制することができる。
カメラ3は、例えば、1600万画素程度のモノクロCCDカメラであるが、かかるカメラに限定されるものではない。また、レンズ4は、例えば、両側テレセントリックレンズである。図2(a)に示したように、物体側レンズ41と像側レンズ42の焦点位置を同じくし、焦点位置に口径を小さくした絞りを置くことで、光学系の軸外の物点から出て開口絞りの中心を通過する光線(主光線)が、物体X側と像Im側で光軸(図中、一点鎖線で示した直線)と平行になる光学系が両側テレセントリック(double-sided telecentric)である。
図2(b)に示したように、通常のレンズ4′での撮影画像は透視投影画像となるのに対し、両側テレセントリックレンズ(レンズ4)での撮影画像は平行投影画像となる。このため両側テレセントリックレンズでは、物体Xと光学系との間の距離が変化しても、被写界深度の範囲内であれば撮影画像上の像Imの大きさは変わらず、視差による画像歪みを低減することができる。なお、図2(a)及び図2(b)において、説明の便宜上、物体X,X′及び像Im,Im′を両矢印で簡易的に表示している。
また、光源2、カメラ3及びレンズ4は、図1(a)に示したように、制御装置5に接続されている。制御装置5は、光源2の発光、カメラ3の撮影、レンズ4の焦点、撮影画像の記憶や解析等の処理を行う。また、制御装置5は、後述する本発明の第一実施形態に係る画像処理方法を実行するプログラムが格納されており、カメラ3による撮影画像を所定のフローに従って補正する。なお、図1(b)では、説明の便宜上、制御装置5の図を省略してある。
ここで、ある光源2から物体Xに光を照射して、レンズ4を介してカメラ3で撮影した撮影画像Pについて説明する。例えば、図3(a)に示したように、物体Xとして白色セラミックス球を使用した場合、物体Xの表面には、一般に、白く明るく表示される正反射部M(鏡面反射ともいう)及び暗く表示される影部S(アタッチドシャドウともいう)が生じる。
いま、撮影画像P中の注目画素Tに対応する物体X上の点Txにおける光の反射について考察する。図3(b)に示したように、点Txにおける入射光軸をc、反射光軸をr、法線をn、光源軸(光源の中心軸)をLとすれば、入射光軸cと法線nとのなす角度は第一角度θ、反射光軸rと法線nとのなす角度は第二角度θ、入射光軸cと光源軸Lとのなす角度は第三角度θと表示することができる。
そして、本発明の第一実施形態に係る画像処理方法は、図4に示したように、異なる位置に配置された複数の光源2から物体Xに個別に光を照射して物体Xの撮影画像Pを個別に取得し、この撮影画像Pにおける注目画素Tの輝度値(観測輝度値ともいう)の変化に基づいて注目画素Tの法線nを推定する照度差ステレオ法を用い、注目画素Tにおける入射光軸cと法線nとのなす第一角度θ、注目画素Tにおける反射光軸rと法線nとのなす第二角度θ及び注目画素Tにおける入射光軸cと光源軸Lとのなす第三角度θを用いて撮影画像Pを補正するようにしたものである。
具体的には、図4に示したフロー図に従って撮影画像Pを補正する。図4に示した画像処理方法は、異なる光源2から個別に物体Xに光を照射して撮影画像Pを取得する撮影工程Step1と、撮影画像Pから観測輝度値を用いて正反射部M及び影部Sを構成する画素を除去する第一除去工程Step2と、照度差ステレオ法を用いて画素ごとに法線nを推定する第一法線推定工程Step3と、画素ごとに三次元座標を算出する第一座標算出工程Step4と、法線nを用いた正反射部M及び影部Sを構成する画素を除去する第二除去工程Step5と、画素ごとに観測輝度値を補正する輝度値補正工程Step6と、補正した撮影画像Pについて照度差ステレオ法を用いて画素ごとに法線nを推定する第二法線推定工程Step7と、補正した撮影画像Pについて画素ごとに三次元座標を算出する第二座標算出工程Step8と、第二法線推定工程Step7で推定した法線nの第一法線推定工程Step3で推定した法線nに対する変化量が所定の閾値以下に収束したか否か判断する判断工程Step9と、を備え、法線nの変化量が閾値以下に収束するまで第二除去工程Step5〜判断工程Step9を繰り返し処理するようにしたものである。
撮影工程Step1は、例えば、形状計測装置1のN=1〜16までの光源2について、順番に物体Xに光を照射して、その光に照らされた状態の物体Xを個別にカメラ3で撮影する工程である。したがって、例えば、本実施形態では、16枚の撮影画像Pを取得することができる。
第一除去工程Step2は、撮影画像Pの各画素における観測輝度値から強い正反射部M及び強い影部Sを一次スクリーニング的に除去する工程である。例えば、8ビット画像において、観測輝度値が250以上又は255の部分は強い正反射部Mとして除去し、観測輝度値が5以下又は0の部分は強い影部Sとして、撮影画像Pから除去する。なお、この第一除去工程Step2は、必要に応じて省略してもよい。
第一法線推定工程Step3は、第一除去工程Step2で除去した画素は除いて、撮影画像Pの画素ごとに照度差ステレオ法を用いて法線nを推定する工程である。法線nを推定する際には、光の方向と明るさの関係を示す関係式、I=λvec{n}・vec{c}により、vec{n}を推定する。ここで、Iは画素の明るさ(輝度値)、λは拡散反射率(アルベド)、vec{n}は面法線ベクトル、vec{c}は入射光軸ベクトル、を示している。
この関係式は、行列を用いて表現すれば、数1式のように表現することができる。なお、Iは画素の観測輝度値、Nは光源2の数、XはX座標、YはY座標、ZはZ座標を示している。また、(cNx,cNy,cNz)は、N番目の光源2のXYZ座標、(n,n,n)は画素の法線ベクトル、を示している。
第一座標算出工程Step4は、推定した法線nの条件を満たすように、各画素の中心点における三次元座標(XYZ座標)を算出する工程である。各画素の三次元座標を算出することにより、物体Xの三次元形状を復元することができる。このとき、Z座標、すなわち、物体Xの高さを算出するには、種々の方法がある。例えば、ポアソン方程式を用いた積分による手法、隣り合う画素の相対高さを円弧近似で定義する手法、パラメトリック曲面を用いる手法等を用いることができる。
また、物体Xの三次元形状の復元には、照度差ステレオ法により算出される法線nは一様分布であること、正則な曲面は曲面上の任意の点の近傍において二次の高さ関数により表現可能であることから、曲面表現には一様双二次のB-spline曲面を用いるようにしてもよい。B-spline曲面を用いることにより、省メモリで計算コストが低い、高精度で密な連続した形状の復元が可能である、そのままCAE(Computer Aided Engineering)やCAM(Computer Aided Manufacturing)等の工程で使用することができ等の利点が得られる。
第二除去工程Step5は、推定した法線nと算出した三次元座標を用いて求められる第一角度θ及び第二角度θを用いて正反射部M及び影部Sの影響を強く受けている画素を撮影画像Pから除去する工程である。上述したように、光源2から物体Xに光を照射すると反射や影を生じる。特に、正反射部Mや影部Sによる輝度値の変化は法線推定の誤差要因となるため、法線推定過程において撮影画像P上の正反射部Mや影部Sの影響が強い画素を除去することが好ましい。
本実施形態では、光線ベクトル(入射光軸c及び反射光軸r)と物体Xの表面における法線nとの間の角度(第一角度θ及び第二角度θ)を画素ごとに高精度に算出して評価することにより、正反射部Mや影部Sの除去を行っている。また、本実施形態では、レンズ4に視差による画像歪みやレンズの歪曲収差が少ない両側テレセントリックレンズを使用していることから、第一角度θ及び第二角度θを容易に算出することができる。
正反射は、光の入射角と反射角が等しい場合に生じる現象である。すなわち、第一角度θと第二角度θとが一致している部分の観測輝度値には、高い比率で正反射成分が含まれていると考えられる。そこで、本実施形態では、第一角度θと第二角度θとの差分が0°近傍の所定の範囲内である場合に、その注目画素Tを正反射部Mの影響を受けている部分と判断して撮影画像Pから除去している。ここで、所定の範囲とは、例えば、0°≦|θ−θ|≦20°であってもよいし、0°≦|θ−θ|≦10°であってもよいし、0°≦|θ−θ|≦5°であってもよい。
また、アタッチドシャドウは、物体Xの表面における法線方向と光源軸方向との関係により直接光の当たらない部分に生じる影である。すなわち、第一角度θの大きさが、例えば、90°よりも大きい場合は、アタッチドシャドウが発生していると考えられる。そこで、本実施形態では、第一角度θが90°近傍の所定の閾値以上である場合に、その注目画素Tを影部Sの影響を受けている部分と判断して撮影画像Pから除去している。ここで、所定の閾値以上とは、例えば、θ≧70°であってもよいし、θ≧80°であってもよいし、θ≧85°であってもよいし、θ≧90°であってもよい。
なお、本実施形態では、正反射部M及び影部Sの影響が強い画素の両方を除去しているが、必要に応じて、正反射部Mの影響が強い画素のみを除去するようにしてもよいし、影部Sの影響が強い画素のみを除去するようにしてもよい。
輝度値補正工程Step6は、注目画素Tにおける入射光の拡散度(すなわち、第三角度θの大きさ)及び注目画素Tから光源2までの距離d(図1参照)に基づいて、注目画素Tの観測輝度値を補正する工程である。
一般的な照度差ステレオ法では、光源2からの光は平行光でかつ各光源2からの光の照度は等しいという前提条件があるため、光源2の方向を推定することで光源2ごとに単一の光線ベクトルを決定すればよい。しかしながら、図1に示した形状計測装置1の光源2は、物体Xまでの距離が比較的近接している(例えば、400mm程度)であるため、光源2からの光は拡散光として扱うべきである。
拡散光の場合は、光の到達点(撮影画素)ごとに光線ベクトル(入射光軸c)が異なるため、三次元空間における光源2の位置を推定し、それを元に算出した撮影画素ごとの光線ベクトル(入射光軸c)を照度方程式に適用することで精度向上を図ることができる。なお、本実施形態において、光源2は、発光面の寸法が物体Xと光源2間の距離と比較して十分に小さいことから、点光源として扱うことができる。
また、光源2と物体X間の距離dを算出することで、光の逆二乗の法則(光の強さは光源からの距離の二乗に反比例すること)を考慮して、複数の光源2から選択した基準光源(例えば、注目画素Tに最も近い光源2)に対する距離差に基づいて、光源2の光度を基準光源の光度に対する比率として表現することができ、光源2の個体差による影響を低減することができる。さらに、光源2の方向(すなわち、第三角度θ)を把握することで、拡散光の配光特性を考慮した観測輝度値の補正も可能となる。本実施形態では、レンズ4として歪みの少ない両側テレセントリックレンズを使用していることから、これらの補正を容易に行うことができる。
したがって、輝度値補正工程Step6における補正は、光源2から一つの基準光源を選択し、ある光源2の第三角度θを用いて基準光源の配光特性からある光源2の光度を推定するとともに、基準光源及びある光源2の注目画素Tまでの距離dに基づく光の減衰率を考慮して、ある光源2に対する注目画素Tの輝度値を補正するものであると言い換えることができる。なお、基準光源としては、注目画素Tに最も近い光源2に限定されるものではなく、複数の光源2から任意に選択することができる。
さらに、本実施形態において、物体Xに照射された実際の光の強さと撮影画像Pの観測輝度値の関係を表すカメラレスポンス関数f(I)を導出して観測輝度値の補正を行うようにしてもよい。照度差ステレオ法においては、物体Xに照射された実際の光の強さと撮影画像Pの観測輝度値の関係を表すカメラレスポンス関数f(I)が線形であるという前提があるが、実際にはカメラ内部で行われるガンマ補正等の影響により線形でない場合が多い。
カメラレスポンス関数f(I)の非線形性は算出される法線nの誤差要因となるため、事前にカメラレスポンス関数f(I)を求め、観測輝度値に補正を加えるようにしてもよい。カメラレスポンス関数f(I)の推定については、画像ノイズの分散の情報から推定する手法や輝度値の制御が可能な輝度箱を用いる方法等がある。
また、一般的な照度差ステレオ法では、各光源2から物体Xに照射される光の照度が均一であるという前提条件がある。各光源2からの照度が不均一な場合、照度方程式に誤差を含むため、法線nの推定精度に影響を与えることがある。しかしながら、実際の光源2は、物体Xと光源2間の距離の差や光源2の輝度の個体差により、物体Xに対して全ての光源2の照度を均一にすることは略不可能である。
ここで、光源2の照度のばらつきは、LEDの個体差や製作したLED制御装置の回路損失に起因しているものと考えられる。そこで、本実施形態では、各光源2の輝度を輝度計により測定し、各光源2の輝度値Iiと全ての光源2における最大輝度値Imaxを用いて、個体差補正係数biをImax/Iiの計算式により算出した。
以上の補正内容を纏めると、数2式のように輝度値補正関数を導出することができる。ここで、Iは注目画素Tの観測輝度値、f(I)はカメラレスポンス関数、dは撮影画像Pで使用した光源2と注目画素T間の距離、dminは全光源において注目画素Tとの距離が最も近い光源2と注目画素T間の距離、nは配光特性モデルにおける乗数、Icは注目画素Tの補正した輝度値、biは光源2の個体差補正係数、を示している。
なお、カメラレスポンス関数f(I)の非線形性を無視できる場合には、数2式において、f(I)の部分に観測輝度値Iを代入するようにすればよい。また、数2式において、光源2の個体差のばらつきを無視できる場合や無視してもよい場合には、個体差補正係数biを省略するようにしてもよい。
第二法線推定工程Step7は、第二除去工程Step5及び輝度値補正工程Step6により補正した撮影画像Pについて、照度差ステレオ法を用いて法線nを推定し直す工程である。上述したように、第二除去工程Step5により正反射部M及び影部Sの影響が強い画素が除去され、残った画素についても輝度値が補正されていることから、補正した撮影画像Pから推定される法線nは、第一法線推定工程Step3により推定された法線nよりも精度が向上することとなる。
第二座標算出工程Step8は、第二法線推定工程Step7により補正された法線nに基づいて各画素の三次元座標を算出し直す工程である。上述した工程により、法線nを高精度に推定することができることから、各画素の三次元座標もより高精度に算出することができる。なお、三次元座標の算出方法は、第一座標算出工程Step4と同じであることから、ここでは詳細な説明を省略する。
判断工程Step9は、第二法線推定工程Step7により補正された法線nの変化量に基づいて補正を繰り返すか否かを判断する工程である。例えば、第二法線推定工程Step7により推定された全ての法線nについて、第一法線推定工程Step3により推定された法線nに対する変化量(例えば、これらの法線nのなす角度φの大きさ)が所定の閾値以下に収束したか否かを判断する。補正前の法線nと補正後の法線nのなす角度φの大きさを変化量とした場合には、閾値を例えば、φ≦1°と規定してもよいし、φ≦0.5°と規定してもよいし、φ≦0.1°と規定してもよい。
かかる判断工程Step9において、法線nの変化量が閾値以下に収束した場合(Yes)には、法線nの補正処理を終了する。また、判断工程Step9において、法線nの変化量が閾値以下に収束していない場合(No)には、上述した第二除去工程Step5〜判断工程Step9を繰り返す。この繰り返し処理により、法線nを高精度に推定することができ、最終的に物体Xの三次元形状を高精度に復元することができる。
次に、上述した本実施形態に係る画像処理方法の効果について、図5(a)〜図6(b)を参照しつつ説明する。ここで、図5は、図4に示した第二除去工程の作用を示す図であり、(a)は白色セラミックス球の場合、(b)は銀貨の場合、を示している。図6は、銀貨の形状計測結果を示す図であり、(a)は第一実施形態に係る画像処理方法を用いた計測結果、(b)はレーザ変位センサを用いた計測結果、を示している。
図5(a)及び図5(b)において、上段は物体X(白色セラミックス球又は銀貨)の撮影画像、中段は第一除去工程Step2後の撮影画像、下段は第二除去工程Step5後の撮影画像(繰り返し回数は1)、を示している。各図の中段に示した第一除去工程Step2後の撮影画像は、従来の輝度値の最大値及び最小値を用いた正反射部M及び影部Sの除去方法に相当する。中段の画像では、正反射の影響を受けた部分の除去量が少なく、影の影響を受けた部分はほとんど除去されていないことが解る。それに対して、下段の画像では、正反射及び影の影響を受けた部分が適切に除去されていることが解る。
図4に示したフロー図に基づいて、本実施形態に係る画像処理方法を銀貨に対して適用し、補正した撮影画像Pに基づいて三次元形状を復元したところ、図6(a)に示したように、銀貨中の模様を明確に表現することができた。それに対して、従来技術の一つであるレーザ変位センサを用いた場合には、図6(b)に示したように、凹凸の起伏が明確に表現できておらず、全体としてぼやけた感じに表示されている。また、正反射の影響を強く受けた部分の画素が飛んでおり、三次元形状を十分に復元できていないことも解る。
したがって、従来のレーザ変位センサを用いた方法では、製品の形状や表面の傷等を目視確認する高精度な外観検査に適用することは困難である。一方、本実施形態に係る画像処理方法を使用した場合には、物体X(ここでは、銀貨)の表面の形状を高精度に復元することができることから、高精度な外観検査を行うことが可能となる。
次に、本発明の他の実施形態に係る画像処理方法について、図7及び図8を参照しつつ説明する。ここで、図7は、本発明の第二実施形態に係る画像処理方法を示すフロー図である。また、図8は、本発明の第三実施形態に係る画像処理方法を示すフロー図である。なお、各図において、図4に示した第一実施形態に係る画像処理方法を示すフロー図と同一の工程については、詳細な説明を省略する。
図7に示した第二実施形態に係る画像処理方法は、数2式に示した輝度値補正関数による輝度値の補正工程を省略したものである。具体的には、図4に示したフロー図から、輝度値の補正に関連する工程(第一座標算出工程Step4、輝度値補正工程Step6、第二座標算出工程Step8)を省略したものである。なお、最終的に物体Xの三次元形状を復元する場合には、各画素の三次元座標が必要になることから、判断工程Step9の次工程として座標算出工程Step10を追加するようにしてもよい。
かかる第二実施形態に係る画像処理方法では、法線nを用いた正反射部M及び/又は影部Sを構成する画素を除去する第二除去工程Step5を含んでいることから、注目画素Tにおける入射光軸cと法線nとのなす第一角度θ及び注目画素Tにおける反射光軸rと法線nとのなす第二角度θの両方又はいずれか一方を用いて撮影画像Pを補正する方法であるものといえる。
図8に示した第三実施形態に係る画像処理方法は、図4に示したフロー図から、法線nを用いた正反射部M及び影部Sを構成する画素を除去する第二除去工程Step5を省略したものである。本実施形態では、この第二除去工程Step5に代わる工程として、輝度値補正工程Step6の後に、輝度値を用いた正反射部M及び影部Sを構成する画素の除去を行う除去工程Step11を追加している。この除去工程Step11の処理内容は、第一除去工程Step2と同じである。
かかる第三実施形態に係る画像処理方法では、数2式に示した輝度値補正関数による輝度値補正工程Step6を含んでいることから、注目画素Tにおける入射光軸cと光源軸Lとのなす第三角度θを用いて撮影画像Pを補正する方法であるものといえる。このように、本発明では、必要な画像処理レベルや物体Xの特性等に応じて、第一角度θ、第二角度θ及び第三角度θのいずれか又はこれらの組み合わせを用いて撮影画像Pを補正することができる。
上述した第一実施形態〜第三実施形態に係る画像処理方法によれば、注目画素Tにおける、入射光軸cと法線nとのなす角度(第一角度θ)、反射光軸rと法線nとのなす角度(第二角度θ)又は入射光軸cと光源軸Lとのなす角度(第三角度θ)のうち少なくとも何れか一つを用いて撮影画像Pを補正するようにしたことから、輝度値や偏向特性を用いた従来技術と比較して、簡便かつ正確に正反射部Mや影部Sを除去したり、照度のばらつきを抑制したりすることができ、微細で複雑な形状の物体であっても外観や形状を高精度に計測することができる。
また、第一角度θ及び第二角度θを用いることにより、計測誤差の大きい輝度値に依存することがなく、かつ、複雑な計算を行うこともなく、正反射部Mや影部Sを除去することができる。また、第三角度θを含む輝度値補正関数(数2式)を用いることにより、光源の位置と向きに起因する物体に対する照度のばらつきや光源の個体差による影響を効果的に抑制することができる。
本発明は上述した実施形態に限定されず、本発明に係る画像処理方法は外観検査以外にも適用することができる等、本発明の趣旨を逸脱しない範囲で種々変更が可能であることは勿論である。
1 形状計測装置
2 光源
3 カメラ
4 レンズ
5 制御装置
41 物体側レンズ
42 像側レンズ
Step1 撮影工程
Step2 第一除去工程
Step3 第一法線推定工程
Step4 第一座標算出工程
Step5 第二除去工程
Step6 輝度値補正工程
Step7 第二法線推定工程
Step8 第二座標算出工程
Step9 判断工程
Step10 座標算出工程
Step11 除去工程

Claims (7)

  1. 異なる位置に配置された複数の光源から物体に個別に光を照射して前記物体の撮影画像を個別に取得し、前記撮影画像における注目画素の輝度値の変化に基づいて前記注目画素の法線を推定する照度差ステレオ法を用いた画像処理方法において、
    前記注目画素における入射光軸と前記法線とのなす第一角度、前記注目画素における反射光軸と前記法線とのなす第二角度又は前記注目画素における入射光軸と光源軸とのなす第三角度のうち少なくとも何れか一つを用いて前記撮影画像を補正する、
    ことを特徴とする画像処理方法。
  2. 補正した前記撮影画像を用いて照度差ステレオ法により前記注目画素の法線を推定し直し、該法線の変化量が所定の閾値の範囲内に収束するまで、前記撮影画像の補正を繰り返す、ことを特徴とする請求項1に記載の画像処理方法。
  3. 前記撮影画像の補正は、前記第一角度が90°近傍の所定の閾値以上である場合に前記注目画素を影部と判断して前記撮影画像から除去することを含む、ことを特徴とする請求項1に記載の画像処理方法。
  4. 前記撮影画像の補正は、前記第一角度と前記第二角度との差分が0°近傍の所定の範囲内である場合に前記注目画素を正反射部と判断して前記撮影画像から除去することを含む、ことを特徴とする請求項1に記載の画像処理方法。
  5. 前記撮影画像の補正は、前記光源から一つの基準光源を選択し、ある光源の前記第三角度を用いて前記基準光源の配光特性から前記ある光源の光度を推定するとともに、前記基準光源及び前記ある光源の前記注目画素までの距離に基づく光の減衰率を考慮して、前記ある光源に対する前記注目画素の輝度値を補正することを含む、ことを特徴とする請求項1に記載の画像処理方法。
  6. 補正した前記撮影画像を用いて前記物体の外観形状を算出する、ことを特徴とする請求項1に記載の画像処理方法。
  7. 前記撮影画像を取得する撮影工程と、観測輝度値を用いて正反射部及び影部を除去する第一除去工程と、照度差ステレオ法を用いて画素ごとに前記法線を推定する第一法線推定工程と、画素ごとに三次元座標を算出する第一座標算出工程と、前記法線を用いて正反射部及び影部を除去する第二除去工程と、画素ごとに観測輝度値を補正する輝度値補正工程と、補正した前記撮影画像について照度差ステレオ法を用いて画素ごとに法線を推定する第二法線推定工程と、補正した前記撮影画像について画素ごとに三次元座標を算出する第二座標算出工程と、前記第二法線推定工程で推定した法線の前記第一法線推定工程で推定した法線に対する変化量が所定の閾値以下に収束したか否か判断する判断工程と、を備え、前記法線の変化量が閾値以下に収束するまで前記第二除去工程〜前記判断工程を繰り返し処理するようにした、ことを特徴とする請求項1に記載の画像処理方法。
JP2015065725A 2015-03-27 2015-03-27 画像処理方法 Active JP6519265B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015065725A JP6519265B2 (ja) 2015-03-27 2015-03-27 画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015065725A JP6519265B2 (ja) 2015-03-27 2015-03-27 画像処理方法

Publications (2)

Publication Number Publication Date
JP2016186421A true JP2016186421A (ja) 2016-10-27
JP6519265B2 JP6519265B2 (ja) 2019-05-29

Family

ID=57203190

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015065725A Active JP6519265B2 (ja) 2015-03-27 2015-03-27 画像処理方法

Country Status (1)

Country Link
JP (1) JP6519265B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018136693A (ja) * 2017-02-21 2018-08-30 キヤノン株式会社 画像処理装置および画像処理方法
CN108955526A (zh) * 2018-07-27 2018-12-07 朱培恒 一种光场扫描装置及其光场扫描方法
CN110227662A (zh) * 2019-08-08 2019-09-13 征图新视(江苏)科技股份有限公司 一种受话器产品成像缺陷的检测方法及其检测光源
CN112212798A (zh) * 2020-08-14 2021-01-12 厦门大学 一种零件三维形貌测量装置
EP3929565A1 (en) * 2020-06-25 2021-12-29 Samsung Electronics Co., Ltd. Apparatus and method for optically analyzing substance of object
JP2022032937A (ja) * 2020-08-11 2022-02-25 株式会社東芝 コンピュータビジョン方法及びシステム
CN114354607A (zh) * 2021-10-09 2022-04-15 七海测量技术(深圳)有限公司 一种基于螺旋相衬滤波算法的光度立体瑕疵检测方法
CN114494392A (zh) * 2022-02-14 2022-05-13 腾讯科技(深圳)有限公司 一种图像处理方法、装置、计算机设备以及可读存储介质
US20220277466A1 (en) * 2021-02-26 2022-09-01 Seiko Epson Corporation Measurement method and measurement system
WO2022244367A1 (ja) * 2021-05-21 2022-11-24 株式会社 レイマック 非接触血管解析方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000315257A (ja) * 1999-04-30 2000-11-14 Shiseido Co Ltd 皮膚状態の三次元画像生成方法
WO2007029446A1 (ja) * 2005-09-01 2007-03-15 Matsushita Electric Industrial Co., Ltd. 画像処理方法、画像処理装置及び画像処理プログラム
WO2014136490A1 (ja) * 2013-03-05 2014-09-12 株式会社日立製作所 形状検査方法およびその装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000315257A (ja) * 1999-04-30 2000-11-14 Shiseido Co Ltd 皮膚状態の三次元画像生成方法
WO2007029446A1 (ja) * 2005-09-01 2007-03-15 Matsushita Electric Industrial Co., Ltd. 画像処理方法、画像処理装置及び画像処理プログラム
WO2014136490A1 (ja) * 2013-03-05 2014-09-12 株式会社日立製作所 形状検査方法およびその装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018136693A (ja) * 2017-02-21 2018-08-30 キヤノン株式会社 画像処理装置および画像処理方法
CN108955526A (zh) * 2018-07-27 2018-12-07 朱培恒 一种光场扫描装置及其光场扫描方法
CN110227662A (zh) * 2019-08-08 2019-09-13 征图新视(江苏)科技股份有限公司 一种受话器产品成像缺陷的检测方法及其检测光源
US12055487B2 (en) 2020-06-25 2024-08-06 Samsung Electronics Co., Ltd. Apparatus and method for analyzing substance of object
EP3929565A1 (en) * 2020-06-25 2021-12-29 Samsung Electronics Co., Ltd. Apparatus and method for optically analyzing substance of object
US20210404953A1 (en) * 2020-06-25 2021-12-30 Samsung Electronics Co., Ltd. Apparatus and method for analyzing substance of object
JP7247248B2 (ja) 2020-08-11 2023-03-28 株式会社東芝 コンピュータビジョン方法及びシステム
US11568595B2 (en) 2020-08-11 2023-01-31 Kabushiki Kaisha Toshiba Computer vision method and system
JP2022032937A (ja) * 2020-08-11 2022-02-25 株式会社東芝 コンピュータビジョン方法及びシステム
CN112212798A (zh) * 2020-08-14 2021-01-12 厦门大学 一种零件三维形貌测量装置
US20220277466A1 (en) * 2021-02-26 2022-09-01 Seiko Epson Corporation Measurement method and measurement system
US12002230B2 (en) 2021-02-26 2024-06-04 Seiko Epson Corporation Measurement method and measurement system
WO2022244367A1 (ja) * 2021-05-21 2022-11-24 株式会社 レイマック 非接触血管解析方法
CN114354607A (zh) * 2021-10-09 2022-04-15 七海测量技术(深圳)有限公司 一种基于螺旋相衬滤波算法的光度立体瑕疵检测方法
CN114354607B (zh) * 2021-10-09 2023-10-31 七海测量技术(深圳)有限公司 一种基于螺旋相衬滤波算法的光度立体瑕疵检测方法
CN114494392A (zh) * 2022-02-14 2022-05-13 腾讯科技(深圳)有限公司 一种图像处理方法、装置、计算机设备以及可读存储介质

Also Published As

Publication number Publication date
JP6519265B2 (ja) 2019-05-29

Similar Documents

Publication Publication Date Title
JP6519265B2 (ja) 画像処理方法
JP6319329B2 (ja) プレノプティック・カメラを使った表面属性の推定
CN110392252B (zh) 用于生成相机的校正模型以校正像差的方法
US7893393B2 (en) System and method for calibrating an image projection system
WO2013008804A1 (ja) 計測装置および情報処理装置
US20150276383A1 (en) Information processing apparatus, method for controlling information processing apparatus, gripping system, and storage medium
JP6937642B2 (ja) 表面評価方法及び表面評価装置
JP5133626B2 (ja) 表面反射特性測定装置
KR101624120B1 (ko) 3차원 형상 계측용 구조광의 국소 영역별 패턴 광원 조사 시스템 및 방법
JP6791341B2 (ja) 校正方法、校正装置、及びプログラム
JP6869652B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP5599849B2 (ja) レンズ検査装置及びその方法
US11415408B2 (en) System and method for 3D profile determination using model-based peak selection
JP7056131B2 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
JP6237032B2 (ja) 色と三次元形状の計測方法及び装置
JP2018009927A (ja) 画像処理装置、画像処理方法及びプログラム
JP2006337254A (ja) 撮像装置、撮像画像距離測定方法、撮像画像距離測定プログラム、及び記録媒体
CN109074647B (zh) 物品的外观检查装置及利用其的物品的外观检查方法
JP6560159B2 (ja) 位置計測装置
JP2019207127A (ja) レーザ較正装置、その較正方法、及びレーザ較正装置を含む画像入力装置
US11195290B2 (en) Apparatus and method for encoding in structured depth camera system
JP7028814B2 (ja) 外形認識装置、外形認識システム及び外形認識方法
JP5967470B2 (ja) 検査装置
JP6939501B2 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
JP5981353B2 (ja) 3次元計測装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190408

R151 Written notification of patent or utility model registration

Ref document number: 6519265

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151