JP2016217833A - 画像処理システム及び画像処理方法 - Google Patents

Abstract

【課題】被計測物体の計測面が高光沢等である場合でも、３次元形状を精度よく復元することができる画像処理システムを提供する。
【解決手段】プロジェクタ２から被計測物体へ投影した投影パターン像と、カメラ３で撮影した撮影パターン画像とを取り込み、投影パターン像と撮影パターン画像との対応点を算出し、算出した対応点から前記被計測物体の３次元形状を復元する画像処理装置４を備え、画像処理装置４は、取り込んだ投影パターン像と撮影パターン画像とから、被計測物体の表面のある領域に対応する、投影パターン像と得られた撮影パターン画像とのマッチング度を相関で算出する相関算出部４２と、相関算出部４２で算出された相関度合いに基づいて、被計測物体の表面からの１次反射光による撮影パターン画像を弁別して取得する１次反射光取得部４３とを有している。
【選択図】図２

Description

本発明は、画像処理システム及び画像処理方法に関する。

例えば、工場の様々な組立てライン等におけるＦＡ(Factory Automation)分野においては、部品の検査や認識等のために、非接触で計測が可能なアクティブステレオ方式の計測装置が多数市販されている。このような非接触の計測のタイプとしては、例えば、レーザープローブや、ラインレーザーを用いたセンシング方式などが従来より知られているが、近年、エリア（面）で計測可能な、所謂プロジェクタ・カメラ方式が注目されている。

このようなプロジェクタ・カメラ方式による３次元計測の技術は既に知られており（例えば、特許文献１）、被計測物体に対してプロジェクタ（投影装置）からパターン像を投影し、被計測物体に投影されたパターン像をカメラ（撮影装置）で撮影して、この撮影画像から対応点を獲得し、獲得した対応点から３次元形状を復元して、被計測物体を３次元計測するものである。

例えば、特許文献１には、被計測物体に対して投影光学ユニット（プロジェクタ）からパターン像を投影して、被計測物体に投影されたパターン像を撮像素子（カメラ）で撮影し、位相をシフトした状態で取得した複数のパターン像より算出した位相情報を用いて被計測物体の高さ情報を求める構成のプロジェクタ・カメラ方式の３次元形状測定装置が開示されている。

特許文献１に記載の技術によれば、被計測物体の計測面が低散乱部分から高散乱部分までの広い範囲であっても高精度に計測を行うことができると記載されている。しかしながら、例えば被計測物体の計測面が、高光沢でかつ凹状の湾曲形状等である場合には、投影光学ユニット（プロジェクタ）から投影されたパターン像（パターン光）がこの計測面で相互反射して、投影されたパターン像が重畳されることで、投影されたパターン像と撮影した画像との正しい対応付けができなくなる不具合が生じる。このため、３次元形状を精度よく復元することができず、正しく３次元計測を行うことができなくなる。

そこで、本発明は、被計測物体の計測面が高光沢等である場合でも、３次元形状を精度よく復元することができる画像処理システムを提供することを目的とする。

前記目的を達成するために本発明に係る画像処理システムは、被計測物体の表面に所定のパターン像を投影する投影手段と、前記被計測物体に投影された前記パターン像を撮影して、撮影パターン画像を取得する撮影手段と、前記被計測物体に投影した投影パターン像と前記撮影パターン画像とを取り込み、前記投影パターン像と前記撮影パターン画像との対応点を算出し、算出した対応点から前記被計測物体の３次元形状を復元する画像処理手段と、を備えた画像処理システムにおいて、前記画像処理手段は、取り込んだ前記投影パターン像と前記撮影パターン画像とから、前記被計測物体の表面のある領域に対応する、投影パターン像と得られた撮影パターン画像とのマッチング度を相関で算出する相関算出部と、前記相関算出部で算出された相関度合いに基づいて、前記被計測物体の表面からの１次反射光による撮影パターン画像を弁別して取得する１次反射光取得部と、を有していることを特徴としている。

本発明に係る画像処理システムによれば、投影パターン像と撮影パターン画像とから、被計測物体の表面のある領域に対応する、投影パターン像と得られた撮影パターン画像とのマッチング度を相関で算出して、算出された相関度合いに基づいて、被計測物体の表面からの１次反射光による撮影パターン画像を弁別して取得することができる。

よって、例えば、被計測物体の表面が高光沢でかつ凹状に湾曲している場合に、被計測物体の表面での相互反射等によって、投影パターン像と得られた撮影パターン画像との正しい対応付けができなくなるような不具合を抑制して、被計測物体の表面からの１次反射光のみによる撮影パターン画像を弁別して取得し、３次元形状を精度よく復元することができる。

実施形態に係る画像処理システムの外観を示す概略図。 実施形態に係る画像処理システムの概略構成を示すブロック図。 プロジェクタの画像投影ユニットの構成を示す概略図。 被計測物体に投影するパターン像の一例を示す図。 被計測物体の一例を示す斜視図。 パターン像が投影された計測面に対して、カメラで撮影した撮影パターン画像の一例を示す図。 実施形態の画像処理システムによる画像処理を示すフローチャート。 被計測物体の計測面で発生する相互反射を説明するための模式図。 投影パターンと撮影パターン画像との間の対応が正しく求まっていない状態を説明するための模式図。 ある領域に対応するＭ系列の投影パターンと、得られた各撮影パターン画像の一例を示した図。 得られた各撮影パターン画像のそれぞれの相関の高さを算出した結果を示した図。 変形例１におけるマッチング処理を説明するための模式図。 変形例２におけるマッチング処理を説明するための模式図。 （ａ），（ｂ），（ｃ）は、それぞれ被計測物体に投影するパターン像の他の一例を示す図。

以下、本発明を図示の実施形態に基づいて説明する。図１は、本実施形態に係る画像処理システムの外観を示す概略図、図２は、この画像処理システムの概略構成を示すブロック図である。

図１に示すように本実施形態に係る画像処理システム１は、投影手段としてのプロジェクタ２と、撮影手段としてのカメラ３と、画像処理手段としての画像処理装置４とを備えている。画像処理装置４とプロジェクタ２、カメラ３は有線によって接続されている。

プロジェクタ２は、図２に示すように、画像信号入力部１１と、画像信号処理部１２と、デバイス駆動制御部１３と、画像投影ユニット１４を主要構成部として備えており、投影像を被計測物体５に対して投影する。プロジェクタ２は、被計測物体５の略正面前方側に配置されている。

画像信号入力部１１は、画像処理装置４の画像信号出力部４０から出力される画像信号を入力する。画像信号処理部１２は、前記画像信号に対して所定の画像処理（例えば、コントラスト、明るさ、彩度、色相、ＲＧＢゲイン、シャープネスなどの処理）を施して投影像信号を生成する。デバイス駆動制御部１３は、生成された投影像信号に応じて、画像投影ユニット１４内のデバイス（光源２０、カラーホィール２１、ＭＤＭ素子２５（図３参照）など）の駆動制御を行う。

画像投影ユニット１４は、図３に示すように、光源２０から出射された白色光は回転するカラーホィール２１でＲＧＢの各色の光に変換され、リレーレンズ系２２、平面ミラー２３、凹面ミラー２４等を介して、画像形成素子としての周知のＤＭＤ(Digatal Micromirror Device)素子２５に入射される。そして、ＤＭＤ素子２５は、各色（ＲＧＢ）の光の入射タイミングに同期して、その表示画素毎の画像データに基づいて複数の微小ミラーを駆動制御し、前記投影画像信号に応じた投影像を投影光学系２６を通して被計測物体５に投影する。被計測物体５に投影する投影像は、本実施形態では例えば、図４に示すようなチェッカーパターン（市松模様）などのパターン像である。

カメラ３は、図２に示すように、撮影レンズ３０と、ＣＣＤなどの固体撮像素子３１と、信号処理部３２を主要構成部として備えており、撮影レンズ３０を通して入射される被計測物体５の被写体像が固体撮像素子３１上に結像される。そして、信号処理部３２は、固体撮像素子３１から出力される電気信号（画素出力信号）を取り込み、所定の信号処理（例えば、シューディング補正、ベイヤー変換、色補正などの処理）を行って表示や記録が可能な画像信号を生成する。カメラ３は、プロジェクタ２と略同一平面上でプロジェクタ２と所定の間隔を設けて被計測物体５側へ向けて配置されている。

被計測物体５は、本実施形態では例えば、図５に示すような凹状に湾曲した計測面５ａを有し、かつその表面が高光沢処理（鏡面処理）された金属部品であり、被計測物体５の計測面５ａ側にプロジェクタ２からパターン像（例えば、チェッカーパターン）が投影される。なお、被計測物体５としては、図５に示したような凹状に湾曲した計測面５ａを有し、かつその表面が高光沢処理（鏡面処理）された金属部品に限らず、計測面が高光沢処理されていれば他の表面形状でも、他の材質でも良い。

画像処理装置４は、カメラ３の信号処理部３２から画像信号を入力する画像信号入力部４１と、相関算出部４２と、１次反射光取得部４３と、３次元形状復元処理部４４と、表示部４５（図１参照）と、画像処理装置４の処理全体を制御する制御部４６、及び前記パターン像に応じた画像信号をプロジェクタ２側へ出力する前記画像信号出力部４０を主要構成部として備えている。画像処理装置４は、例えばパーソナルコンピュータによって構成されている。

相関算出部４２は、画像信号出力部４０から取り込んだ投影パターン像と、カメラ３から画像信号入力部４１を介して取り込んだ撮影パターン画像（例えば、図６のような撮影画像）とから、被計測物体５の表面のある領域に対応する、得られた撮影パターン画像と投影パターン像とのマッチング度を相関で算出する（相関算出部４２の処理動作の詳細は後述する）。

１次反射光取得部４３は、相関算出部４２で算出された相関度合いに基づいて、被計測物体５の表面からの１次反射光による撮影パターン画像を弁別して取得する（１次反射光取得部４３の処理動作の詳細は後述する）。３次元形状復元処理部４４は、１次反射光取得部４３で取得した１次反射光による２次元の撮影パターン画像と前記投影パターン像との対応点を算出し、算出した対応点から、計測面５ａの３次元形状を復元する。

なお、カメラ３で撮影する計測面５ａからの１次反射光の成分には、厳密には計測面５ａからの２次反射光以上の反射光成分、計測面５ａでの多重反射光の成分や散乱光の成分なども僅かに含まれているが、本実施形態では単に「１次反射光」として定義する。

次に、本実施形態に係る画像処理システム１による画像処理を、図７に示すフローチャートを参照して説明する。

先ず、画像処理装置４の画像信号出力部４０からプロジェクタ２の画像信号入力部１１に画像信号を出力して、プロジェクタ２からパターン像（例えば、図４に示したようなチェッカーパターン像）を被計測物体５の計測面５ａに投影する（ステップＳ１）。

そして、カメラ３で前記パターン像が投影された計測面５ａを撮影する（ステップＳ２）。この撮影した画像は、例えば、図６に示したような計測面５ａにパターン像（チェッカーパターン像）が投影された２次元画像である。撮影した画像は、画像処理装置４内の記憶部（不図示）に記憶される。カメラ３による撮影は、例えば、画像処理装置４からカメラ３への撮影ＯＮ信号の入力や、計測者によるカメラ３の撮影ボタンのＯＮ操作によって行われる。

そして、例えば、図６に示したような撮影した画像（プロジェクタ２から計測面５ａに、チェッカーパターンのようなパターン像を投影したときの撮影画像）をカメラ３で撮影した場合、この投影されたパターン（以下、「投影パターン」という）とカメラ３で撮影した画像（撮影パターン画像）との対応付けを行う（ステップＳ３）。本実施形態のようにプロジェクタ２が画像形成素子としてＤＭＤ素子２５を有している場合、投影パターンと撮影パターン画像との対応付けは、ＤＭＤ素子２５の画素ごとの符号化による周知のマッチング手法によって行うことができる。撮影パターン画像は、画像処理装置４の表示部４５に表示することができる。

ところで、本実施形態では、被計測物体５の計測面５ａが、凹状に湾曲しかつその表面が高光沢処理（鏡面処理）されているので、例えば、図８に示すように、計測面５ａにプロジェクタ２からパターン像（パターン光）Ｌを投影すると、この計測面５ａで１次反射光Ｌ１以外にも、相互反射によって２次反射光Ｌ２などが発生する。なお、図８では、後の１次反射光取得部４３等での処理に悪影響を及ぼす外乱光として、２次反射光Ｌ２のみを示したが、これ以外にも計測面５ａでの３次以上の反射光、多重反射光、外部光源から入射された光の反射光なども外乱光として挙げられる。

このように、凹状に湾曲しかつその表面が高光沢処理（鏡面処理）された計測面５ａにパターン像を投影した場合、図８に示した相互反射等によって、カメラ３で撮影した撮影パターン画像の任意の領域にパターン像の一部が重畳されて、投影パターンと撮影パターン画像との間の対応が正しく求まらない。

例えば、図６に示した撮影パターン像のうちの任意の領域Ａを選択したときに、この領域Ａに対応して、例えば図９に示すような投影パターンＰが投影されている場合、計測面５ａでの相互反射等によって、例えば２つのパターンａ，ｂが発生し、領域Ａには、この２つのパターンａ，ｂが重畳されて、例えばパターンｃが撮影パターン画像として得られる。よって、投影パターンａ（投影パターン像）とパターンｄ（撮影パターン画像）との間の対応が正しく求まらない。

そこで、本実施形態では、周知のマッチング手法で得られる符号化パターンがＭ系列の特性を持つように、プロジェクタ２のＤＭＤ素子２５の動きや個体差と投影パターンとが整合を有するように調整し、撮影した画像のうちの任意の領域における、投影パターンと撮影パターン画像との間のマッチング度を相関で算出する（ステップＳ４）。ステップＳ４の処理は、相関算出部４２で実行される。

なお、上記したプロジェクタ２のＤＭＤ素子２５の動きや個体差と投影パターンとの整合をとるために、予め白平面へのパターン像（例えば、図６に示したようなチェッカーパターン像）の投影による投影像の符号化のためのキャリブレーションを実施して、Ｍ系列に近い系列が出るように調整する。

計測面５ａでの相互反射等によって投影パターンと撮影パターン画像との間の対応が正しく求まっていない場合（図９参照）に、ステップＳ４の処理において、例えば、図６に示した撮影パターン画像のうちの任意の領域Ａを選択したときに、この領域Ａに対応して、例えば図１０に示すようなＭ系列の投影パターンＭを投影した場合、マッチング度を相関で算出することで、例えばパターンＡ，Ｂ,Ｃのようなパターンの撮影パターン画像が得られたとする。

図１１は、上記のパターンＡ，Ｂ,Ｃのそれぞれの相関の高さを算出した結果を示した図である。なお、図１１において、横軸は各パターンＡ，Ｂ,Ｃの位相、縦軸は各パターンＡ，Ｂ,Ｃの相関の高さである。

Ｍ系列は高い相関を示すパターンとなるため、図１１に示すパターンＡ，Ｂ,ＣのうちからパターンＡを、最も相関の高いパターン（高相関パターン）として算出する（ステップＳ５）。この最も相関の高いパターンＡがマッチング率の最も高いパターンとなるので、相互反射成分等の影響を抑制して計測面５ａからの１次反射光のみによる撮影パターン画像を弁別して取得する（ステップＳ６）。これにより、計測面５ａにおける投影パターンと取得した撮影パターン画像とが正しく対応した状態となる。ステップＳ６の処理は、１次反射光取得部４３で実行される。

そして、計測面５ａにおける投影パターン（投影パターン像）と取得した撮影パターン画像との対応点（座標）を算出し（ステップＳ７）、算出した対応点（座標）から計測面５ａの３次元形状を復元する（ステップＳ８）。復元された被計測物体５の計測面５ａの３次元形状は、画像処理装置４の表示部４５に表示することができる。

このように、本実施形態によれば、投影パターン像と撮影パターン画像とから、被計測物体５の計測面５ａのある領域に対応する、投影パターン像と得られた撮影パターン画像とのマッチング度を相関で算出して、算出された相関度合いに基づいて、被計測物体５の計測面５ａからの１次反射光による撮影パターン画像を弁別して取得することができる。

よって、本実施形態のように、被計測物体５の計測面５ａが高光沢でかつ凹状に湾曲している場合に、被計測物体５の計測面５ａでの相互反射等によって、投影されたパターン像と撮影パターン画像との正しい対応付けができなくなるような不具合を抑制して、計測面５ａの３次元形状を精度よく復元することができる。

<変形例１>
上記した実施形態では図１０、図１１に示したように、マッチング度を相関で算出することで、相関の高いマッチングを行うようにしたが、マッチングの精度をより高めるために、例えば、図１２に示す変形例１のように、撮影パターン画像に対してエピポーラ幾何を用いて、マッチング度を相関で算出する際の領域（例えば、図１２では、エピポーラ線Ｅ上の３つの領域Ｍ１，Ｍ２，Ｍ３）を限定して、限定した各領域のうちから最も相関の高い領域を算出するようにしてもよい。

図１２に示したようなエピポーラ線Ｅは、幾何的にキャリブレーションされた画像処理システム１のプロジェクタ２とカメラ３の配置位置から、基礎行列から算出ことが可能である。

このように、撮影パターン画像に対してエピポーラ幾何を用いて、マッチング度を相関で算出する際の領域を限定することで、マッチングの精度がより向上し、更に、不要な領域でのマッチング計算が不要となるので計算効率の向上を図ることができる。

<変形例２>
変形例１では、撮影パターン画像に対してエピポーラ幾何を用いて、マッチング度を相関で算出する際の領域を限定するようにしたが、例えば図１３に示すように、エピポーラ線Ｅ上で、外乱光等の影響によってエラー位置だがマッチング度が高相関を示す領域Ｍ４（以下、「エラー領域Ｍ４」という）と、マッチング度の相関がエラー領域Ｍ４よりもやや低いがマッチングの正解領域Ｍ５とが算出されることがある。この場合、相関の高さでマッチング度を判断すると、正解領域Ｍ５ではなくエラー領域Ｍ４を採用して、マッチングエラーが発生することがある。エラー領域Ｍ４の方が採用された場合には、３次元形状の復元精度が低下する。

そこで、変形例２では、このようなマッチングエラーを防止するために、計測面５ａにおける投影パターン（投影パターン像）と、エラー領域Ｍ４と正解領域Ｍ５に対応して取得した各撮影パターン画像との対応点（座標）を算出し、算出した対応点（座標）から計測面５ａの３次元形状を復元する。

次に、エラー領域Ｍ４と正解領域Ｍ５に対して、どちらが正しい領域かを判定するために、制御部４６は、前記復元した３次元形状の３次元点位置から透視投影変換により得た２次元座標系での３次元位置に対応する座標と、計測面５ａにおける投影パターン（投影パターン像）のパターン座標との誤差を判定する。この誤差判定で、誤差が予め設定した閾値よりも小さい方（即ち、正解領域Ｍ１）を正常な位置として決定する。

このように、エピポーラ線Ｅ上で、外乱光等の影響によってエラー位置だがマッチング度が高相関を示すエラー領域Ｍ４が算出された場合でも、このエラー領域Ｍ４を採用することなく、正解領域Ｍ５を採用することができるので、１次反射光のみを弁別して精度よく３次元形状を復元することができる。

なお、前記した実施形態では、計測面５ａに投影するパターン像として、チェッカーパターン像を採用した例であったが、これに限らず、例えば、図１４（ａ），（ｂ），（ｃ）にそれぞれ示すような、全体がダークグレーの格子状パターン像、ダークグレーのドットパターン像、グラデーション像などでもよい。図１４（ｃ）に示したグラデーション像は、上から下に向けて濃いめのダークトーンからハイトーンのグラデーションである。

また、前記した実施形態では、プロジェクタ２とカメラ３が別体で所定の間隔を設けて配置された構成であったが、プロジェクタ２の外面（例えば上面）にカメラ３を一体的に配置した構成でもよい。更に、画像処理装置４とプロジェクタ２、カメラ３とを、無線通信網で構築されたネットワークを介して接続した構成でもよい。

１ 画像処理システム
２ プロジェクタ
３ カメラ
４ 画像処理装置
５ 被計測物体
５ａ 計測面
１４ 画像投影ユニット
２５ ＤＭＤ素子
３０ 撮影レンズ
３１ 固体撮像素子
３２ 信号処理部
４２ 相関算出部
４３ １次反射光取得部
４４ ３次元形状復元処理部
Ｅ エピポーラ線

特許第４０７７７５４号公報

Claims (7)

1. 被計測物体の表面に所定のパターン像を投影する投影手段と、前記被計測物体に投影された前記パターン像を撮影して、撮影パターン画像を取得する撮影手段と、前記被計測物体に投影した投影パターン像と前記撮影パターン画像とを取り込み、前記投影パターン像と前記撮影パターン画像との対応点を算出し、算出した対応点から前記被計測物体の３次元形状を復元する画像処理手段と、を備えた画像処理システムにおいて、
   前記画像処理手段は、取り込んだ前記投影パターン像と前記撮影パターン画像とから、前記被計測物体の表面のある領域に対応する、投影パターン像と得られた撮影パターン画像とのマッチング度を相関で算出する相関算出部と、
   前記相関算出部で算出された相関度合いに基づいて、前記被計測物体の表面からの１次反射光による撮影パターン画像を弁別して取得する１次反射光取得部と、を有していることを特徴とする画像処理システム。
2. 前記投影手段から投影パターン像を前記被計測物体に投影して、前記投影パターン像に対して複数の撮影パターン画像が得られた場合に、前記相関算出部は、最も相関の高いパターンに相当する撮影パターン画像をマッチング度が最も高いパターンとして算出することを特徴とする請求項１に記載の画像処理システム。
3. 前記１次反射光取得部は、前記相関算出部で算出されたマッチング度が最も高いパターンの撮影パターン画像を、前記被計測物体の表面からの１次反射光による撮影パターン画像として弁別して取得することを特徴とする請求項２に記載の画像処理システム。
4. 前記相関算出部は、得られた撮影パターン画像に対して幾何計算を用いて、マッチング度を相関で算出する際の領域を所定数に限定して、限定した各領域のうちから最も相関の高い領域を、マッチング度が最も高い撮影パターン画像として算出することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理システム。
5. 前記投影パターン像と前記相関算出部で算出した前記撮影パターン画像との対応点を算出し、算出した対応点から前記被計測物体の３次元形状を復元した後に、前記３次元形状の３次元点位置から透視投影変換により得た２次元座標系での３次元位置に対応する座標と、前記投影パターン像のパターン座標との誤差を判定して、誤差が所定範囲内であれば算出した３次元形状の復元精度が高いと判定することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理システム。
6. 前記被計測物体の計測面は、高光沢であることを特徴とする請求項１乃至５のいずれか一項に記載の画像処理システム。
7. 被計測物体の表面に所定のパターン像を投影する投影手段と、前記被計測物体に投影された前記パターン像を撮影して、撮影パターン画像を取得する撮影手段と、前記被計測物体に投影した投影パターン像と前記撮影パターン画像とを取り込み、前記投影パターン像と前記撮影パターン画像との対応点を算出し、算出した対応点から前記被計測物体の３次元形状を復元する画像処理手段と、を備えた画像処理システムの画像処理方法において、
   取り込んだ前記投影パターン像と前記撮影パターン画像とから、前記被計測物体の表面のある領域に対応する、投影パターン像と得られた撮影パターン画像とのマッチング度を相関で算出する第１ステップと、
   前記第１ステップで算出された相関度合いに基づいて、前記被計測物体の表面からの１次反射光による撮影パターン画像を弁別して取得する第２ステップと、を含んでいることを特徴とする画像処理方法。