JP6144976B2 - 情報処理装置、組み付け装置、情報処理方法、及びプログラム - Google Patents

Description

本発明は、情報処理装置、制御装置、組み付け装置、情報処理方法、及びプログラムに関する。

物体までの距離を計測する方法として、スリット光や二次元パターン光等を物体に照射した状態で物体の画像を撮像し、三角測量の原理に基づいて距離の計測を行う、アクティブ計測方式が知られている。特許文献１には、照明パターンを複数の方向から照射することができる計測装置が開示されている。特許文献１の方法によれば、所定の方向から照明パターンを照射している場合には画像の輝度が飽和する場合であっても、他の方向から照明パターンを照射することにより、十分なコントラストを有する画像に基づいて距離を計測することかできる。

特許文献２には、光源により照明されている物体の画像と、光源により照明されていない物体の画像と、パターン光が照射されている物体の画像とを用いて、物体の表面反射率や外光の影響を補正しながら物体までの距離を計測する方法が開示されている。

特許第４０７７７５４号 特許第３８８４３２１号

しかしながら、従来技術によっても、測定対象物体の性質により距離の計測が困難な場合がある。例えば、測定対象物体が白色又は金属製の高反射素材と、黒色の低反射素材との双方を含む場合がある。この場合、高反射素材によって光は強く反射され、低反射素材によって光は弱く反射される。したがって、従来の方法で照明パターンを照射した場合、撮像画像のうち高反射素材に対応する部分で輝度値が飽和するか、又は低反射素材に対応する部分で輝度値が不足する可能性がある。この場合、照明パターンの検出位置にずれが生じるか、又は照明パターンを検出できないために、高反射素材と低反射素材との双方について同時に距離を正確に計測できないことがある。

また、測定対象物体が、照明装置に近い部分と遠い部分とを含んでいる場合も、同様の問題が生じうる。さらに、測定対象物体が色の異なる部分を含む場合にも同様の問題が生じうる。例えば、測定対象物品が赤い部分と青い部分とを含む場合、赤い照明パターンを照射した場合には青い部分からの反射光が弱く、青い照明パターンを照射した場合には赤い部分からの反射光が弱くなる。

一方で、これまで人間が行っていた複雑なタスク、例えば工業製品の組み立て等をロボットに行わせることが多くなっている。ロボットは、ハンド等のエンドエフェクタによって部品を把持し、把持している把持部品を組み付け対象まで移動し、把持部品を組み付け対象に組み付ける。ここで、ロボットハンド等が把持している把持部品を組み付け対象に組み付けるためには、把持部品と組み付け対象の正確な位置関係をロボットに教示する必要がある。このような位置関係を取得するためにアクティブ計測方式を用いる場合、把持部品と組み付け対象との双方に照明光を照射する必要があるが、上述のように同時に２つの測定対象の距離を正しく計測できない場合がある。

本発明は、以上の問題に鑑みてなされたものであり、距離測定対象を構成する複数の部分について同時により正確に距離を測定することを目的とする。

本発明の目的を達成するために、例えば、本発明の情報処理装置は以下の構成を備える。すなわち、
距離測定のための測定パターンを測定対象に照射する照射手段と、
前記測定パターンが照射されている前記測定対象を含む撮像画像を取得する撮像手段と、
前記撮像手段が取得する撮像画像のうち、相対的に多くの光を前記撮像手段へと反射する前記測定対象の第１部分を含む第１領域と、相対的に少ない光を前記撮像手段へと反射する前記測定対象の第２部分を含む第２領域と、を検出する第１の検出手段と、
前記測定パターンのうち、前記第１部分に照射される第３領域と、前記第２部分に照射される第４領域と、を検出する第２の検出手段と、
前記第３領域における照射光量が、前記第４領域における照射光量より少なくなるように、領域により照射光量が異なる測定パターンを生成する生成手段と、
前記生成された測定パターンを前記照射手段に照射させる指示手段と、
前記生成された測定パターンが照射された前記測定対象を含む撮像画像を前記撮像手段から取得し、該取得した撮像画像を用いて前記測定対象までの距離を導出する導出手段と、
を備え、
前記第１の検出手段は、予備測定パターンが照射された前記測定対象を含む撮像画像から、前記第１領域と前記第２領域とを検出し、
前記生成手段は、前記第３領域における照射光量を少なくすることと、前記第４領域における照射光量を多くすることと、のうちの少なくとも一方を行うように、前記予備測定パターンを修正することにより、前記測定パターンを生成することを特徴とする。

距離測定対象を構成する複数の部分について同時により正確に距離を測定できる。

実施形態１に係る組み付け装置の構成の一例を示す図。 実施形態１に係る組み付け装置を用いた組み付けシステムの一例を示す図。 実施形態１に係る処理の一例のフローチャート。 実施形態１で参照される画像輝度と照明強度との対応関係の一例を示す図。 実施形態２で参照される画像輝度と照明強度との対応関係の一例を示す図。 実施形態４により距離を測定できる測定対象の例を示す図。 実施形態４に係る処理の一例のフローチャート。 実施形態４に係る処理の一例のフローチャート。

［実施形態１］
以下で、本発明の実施形態１について説明する。本実施形態に係る組み付け装置１３は、図１に示すように、計測装置１２と、ロボットハンド機構１３１（把持装置）とを備える。ロボットハンド機構１３１は、ロボットハンドと、ロボットハンドを制御する制御装置とを備える。ロボットハンド機構１３１の制御装置は、計測装置１２から取得した距離情報を参照しながら、ロボットハンドが把持する物体（把持部品）を組み付け対象の物体に組み付けるようにロボットハンドを制御する。計測装置１２は、ロボットハンド機構１３１に、把持部品又は組み付け対象（以下、測定対象と呼ぶ）についての距離情報を提供する。すなわち、把持部品及び組み付け対象は、測定対象の一部である。

計測装置１２は、照射装置１１と距離算出部１２１とを有している。照射装置１１は、距離測定のための照明パターン（測定パターン）を測定対象に照射する。距離算出部１２１は、照射装置１１が照射した照明パターンの情報と取得した画像情報とに基づいて、照射装置１１の位置を基準とした測定対象の表面の各点までの距離を判定する。より正確には、距離算出部１２１は、後述する照射部１１１又は撮像部１１２の位置を基準とした距離を判定する。例えば計測装置１２は、把持部品又は組み付け対象までの距離を判定することができる。もっとも、計測装置１２が照射部１１１及び撮像部１１２を有している必要はない。計測装置１２は情報処理装置１０と距離算出部１２１とを有し、照射部１１１及び撮像部１１２に通信可能に接続されていてもよい。

距離の算出方法としては、従来の方法を用いることができる。本実施形態においては、三角測量の原理を用いて距離を測定するものとする。三角測量は、照射装置１１が有する照射部１１１及び撮像部１１２（正確には照射部１１１及び撮像部１１２の光点）と、測定対象上の１点と、を頂点とする三角形に基づいて行われる。具体的には、照射部１１１と撮像部１１２とを結ぶ線分を基線として、基線と、測定対象上の点との角度を求める。角度を求める際には、照射部１１１が照射した照明パターンと、撮像部１１２が撮像した撮像画像との対応関係が参照される。この基線の長さと角度とを用いて、撮像部１１２から、すなわち視点位置から測定対象上の点までの距離を算出する。三角測量においては、照射部１１１及び撮像部１１２についての内部パラメータと、照射部１１１と撮像部１１２との間の相対的な位置及び姿勢を示す情報と、に基づいて計算が行われる。

照射装置１１は、情報処理装置１０、照射部１１１、及び撮像部１１２を備える。照射部１１１は、後述する照明パターン生成部１１５によって生成された照明パターンを測定対象に照射する。本実施形態において照射部１１１は、色成分毎に照明パターンの強度分布を制御しながら照射を行ってもよい。照射部１１１の具体的な構成については特に限定されないが、例えば液晶プロジェクタを照射部１１１として用いることができる。液晶プロジェクタは、照明パターンの表示色及び強度を画素単位で制御することができる。液晶プロジェクタの内部パラメータ（例えば、焦点距離、主点位置、又はレンズ歪み等）は、予め校正しておくことができる。照射部１１１としては、例えばデジタルミラーデバイスを備えるプロジェクタを用いることもできる。

撮像部１１２は、照射部１１１により照明パターンが照射されている測定対象の画像、又は照明パターンを照射されていない測定対象の画像を取得する。撮像部１１２の具体的な構成については特に限定されないが、例えばデジタルカメラ等の撮像素子を備える撮像装置を撮像部１１２として用いることができる。照射装置１１は、撮像部１１２の代わりに又はこれに加えて、予め記憶装置に記憶してある静止画像又は動画像を読み出す画像取得部（不図示）を有していてもよい。この場合、画像取得部によって読み出された画像が後述する対応関係取得部１１３及び画像分割部１１６に入力される。

情報処理装置１０は、対応関係取得部１１３、強度分布決定部１１４、照明パターン生成部１１５、及び画像分割部１１６を備える。対応関係取得部１１３は、照射部１１１によって照射された照明パターン内の各位置と、撮像部１１２が取得する撮像画像の各画素と、の対応関係を取得する（第２の検出）。もっとも、後述するように、この対応関係は照明パターン内の各位置に対応する撮像画像の１つの画素を特定するものである必要はない。例えば、この対応関係は、照明パターン内の各位置に対応する、撮像画像内の分割領域を特定する情報であってもよい。

以下の説明においては、照明パターン内の各位置とは、照明パターンを示す照明パターン画像の各画素のことを意味するものとする。本実施形態においては照射部１１１として液晶プロジェクタが用いられ、したがって照明パターン内の各位置とは液晶プロジェクタが備える液晶フィルタの各画素のことを意味する。すなわち、本実施形態で対応関係取得部１１３は、液晶プロジェクタの液晶フィルタの画素と、撮像部１１２が取得した画像内の画素との対応関係を取得する。

本実施形態において用いられる照明パターンは、照明パターン中の各位置を特定可能な符号情報を含んでいる。具体的な一例として、本実施形態においては格子パターンが測定対象に照射される。対応関係取得部１１３は、格子パターンが照射されている状態の画像を撮像部１１２から取得する。そして、対応関係取得部１１３はこの画像から格子パターンを抽出し、各格子点に埋め込まれた符号情報を抽出する。さらに、対応関係取得部１１３は、抽出した符号情報に基づいて、画像上の符号情報が埋め込まれている部分が照射された格子パターンのどの位置に対応するかを調べる。こうして、対応関係取得部１１３は、照射部１１１から照射した照明パターン中の各位置と、撮像された画像上の各画素との対応関係を取得する。そして対応関係取得部１１３は、取得した対応関係を示す対応位置情報を保持する。

照明パターンは格子パターンに限定されるわけではない。撮像された画像中の部分領域と照明パターンの位置とを対応付けることができ、領域ごとに照明強度を変化させても距離計測が可能であれば、どのような照明パターンを用いてもよい。例えば、照明パターンとしてはマルチスリット光を用いることもできるし、空間変調されたパターン光を用いることもできる。

画像分割部１１６は、撮像部１１２から取得した画像を画像の輝度に基づいて複数の領域に分割する。本実施形態において画像分割部１１６は、ロボットハンド機構１３１が把持する把持部品を含む領域と、把持部品を組み付ける組み付け対象を含む領域と、に分割する（第１の検出）。そして画像分割部１１６は、それぞれの領域の位置を示す情報を保持する。しかしながら、領域の分割方法はこれに限定されず、たとえば３つ以上に領域を分割してもよい。この場合、３つ以上の分割領域のそれぞれについて照射強度が決定されうる。

強度分布決定部１１４は、画像分割部１１６で分割した領域毎に、照射する照明パターンの強度分布を決定する。具体的には、強度分布決定部１１４は、撮像部１１２から取得した画像の輝度に基づいて、照明パターンのそれぞれの画素の強度を決定する。この際、強度分布決定部１１４は、画像の輝度と照明パターンの強度との対応関係を示す情報を参照して、照明パターンの強度を決定する。この対応関係は、事前に作成されており、その作成方法については後述する。以下の説明においては、照明パターンのそれぞれの画素の強度のことを単に「強度」と省略することがある。

照明パターンの強度とは、具体的には、照明パターンとして各画素がＯＮ／ＯＦＦのいずれかであるパターンを用いる場合における、ＯＮの画素の画素値でありうる。また、照明パターンとして多値のパターンを用いる場合には、照明パターンの強度とは、多値のうち最大の値に対応する画素値でありうる。また、照明パターンの強度は、上述のように照明パターンの各画素の画素値を決定するために用いられうる。一方で、符号情報が埋め込まれた照明パターンを用いる場合、照明パターンの強度がそれぞれの符号情報について決定され、符号情報を含む部分領域の画素値を決定するために照明パターンの強度が用いられてもよい。

照明パターン生成部１１５は、対応関係取得部１１３から取得した対応関係と、強度分布決定部１１４が決定した強度分布とに従って、照明パターンを生成する。照明パターン生成部１１５が生成した照明パターンに従って、照射部１１１は照明を測定対象に照射する。

組み付け装置１３を使用した組み付けシステム２１の概要を図２（Ａ）に示す。組み付けシステム２１によれば、ロボットハンド２０２を制御して、把持部品２０３を組み付け対象２０４に組み付けことができる。以下に、組み付けシステム２１の動作方法について説明する。まず、ロボットハンド２０２の把持部２０６が部品箱２０５の上に移動する。次に、把持部２０６は部品箱２０５から１つの把持部品２０３を把持する。把持状態を保ったまま、把持部２０６は組み付け対象２０４まで移動し、組み付け対象２０４に把持部品２０３を組み付ける。この動作を繰り返し行うことにより、１つの組み付け対象２０４に複数の部品を組み付けることができる。

ロボットハンド２０２は、オンハンド３次元計測装置２０１を有している。オンハンド３次元計測装置２０１は、上述した計測装置１２の照射部１１１及び撮像部１１２と、ロボットハンド２０２への取り付け部を備える。前述の部品把持から組み付けまでの一連の動作を監視するために、照射部１１１及び撮像部１１２と、これらと通信可能に接続された情報処理装置１０とを用いて、任意のタイミングで距離計測が行われる。

図２（Ｂ）は、撮像部１１２が撮像する画像の一例を示す。撮像部１１２は、把持部品２０３（第１部分、第１物体）と組み付け対象２０４（第２部分、第２物体）とを同時に撮像する。図２（Ｂ）においては、把持部品２０３は白い部品であり、組み付け対象２０４は主に黒い部品で構成されているものとする。図２（Ｂ）において、把持部品２０３から３次元計測装置２０１までの距離は、組み付け対象２０４から３次元計測装置２０１までの距離と比較して相対的に短い。このために、把持部品２０３はより多くの光を撮像部１１２へと反射し、組み付け対象２０４は把持部品２０３より少ない光を撮像部１１２へと反射する。

この場合に照明パターンを照射すると、把持部品２０３に照射された照明パターンの照度は、組み付け対象２０４に照射された照明パターンの照度と比べて相対的に高くなる。このために、撮像部１１２が撮像した画像において、把持部品２０３の領域で輝度が飽和するか、組み付け対象２０４の領域で輝度が不足する可能性がある。特にこの場合においては、把持部品２０３が白い部品であり、組み付け対象２０４が黒い部品であるから、輝度の飽和又は不足が発生しやすく、適切に照明パターンを検出できない画像が取得される可能性が高い。

本実施形態においては、画像が把持部品を含む把持部品領域（第１領域）と組み付け対象を含む組み付け対象領域（第２領域）、又は高反射率領域と低反射率領域に分割される。そして、それぞれの領域に対して、明るさや波長等の光学的特性が異なる照明パターンが照射される。例えば、把持部品２０３に照射される領域（第１領域）における照射光量が、組み付け対象２０４に照射される領域（第２領域）における照射光量よりも弱くなるように、領域により照射光量（照明強度）が異なる測定パターンが生成される。これにより、把持部品２０３及び組み付け対象２０４の双方（測定対象）について適正な画像を取得し、適切に照明パターンを検出することにより、把持部品２０３と組み付け対象２０４とについて同時に距離計測を行うことが可能となる。

また、本実施形態によれば、領域分割位置と照明パターンとを把持部品２０３の形状又は把持状態等に応じて適応的に変化させることができる。このため、把持する部品が変わった場合や部品の把持位置がずれた場合でも、把持部品２０３と組み付け対象２０４とについて同時に正確な距離計測を行うことが可能となる。もちろん、把持部品２０３が組み付け対象２０４と比べてより少ない光を撮像部１１２へと反射する場合であっても、本実施形態の方法を同様に用いることができる。

以下で、図３を参照して情報処理装置１０が行う処理について説明する。以下の説明においては、情報処理装置１０は図２（Ａ）に示す組み付けシステム２１を制御するものとする。

ステップＳ１０１０において撮像部１１２は、測定対象を含む画像を撮像する。そして画像分割部１１６は、撮像した画像について領域分割処理を行うことにより、領域分割マップを作成する。具体的には画像分割部１１６は、撮像画像から把持部品２０３の領域を抽出する。そして、抽出結果に基づいて画像分割部１１６は領域分割マップを生成する。領域分割マップにおいては、各画素について、どの分割領域に属するかを示すラベルが特定される。

以下では、画像分割部１１６による領域分割方法について説明する。まず、ロボットハンド機構１３１は、撮像部１１２からみて把持部品２０３が基準背景の前方に位置するように、把持部品２０３を把持しているロボットハンド２０２を移動させる。基準背景は、通常、反射率が均一な平面素材で構成される平坦な背景である。撮像画像から把持部品２０３の領域と背景の領域とを後述するようにコンピュータが区別可能であれば、基準背景の種類は特に限定されない。例えば、組み付け対象２０４が基準背景に含まれていてもよい。

続いて撮像部１１２は、把持部品２０３を把持しているロボットハンド２０２及び把持部品２０３を基準背景を背景として撮像することにより、撮像画像を取得する。さらに画像分割部１１６は、基準背景を背景として、把持部品２０３を把持していないロボットハンド２０２を撮像することによって得られた撮像画像を記憶部（不図示）から取得する。この撮像画像は、撮像部１１２によって予め撮像されている。そして、画像分割部１１６は、把持部品２０３を把持している状態の撮像画像と、把持部品２０３を把持していない場合の撮像画像との差分に基づいて、把持部品２０３を把持している状態の撮像画像から、把持部品２０３の領域を抽出する。抽出方法は特に限定されない。例えば、画像分割部１１６は、２つの画像の差分画像を、所定の画素値を閾値として用いて２値化し、メディアンフィルタ等を用いてノイズを除去することにより、把持部品２０３の領域を抽出することができる。

こうして得られた把持部品２０３の領域を把持部品領域と呼ぶ。また、撮像画像のうち把持部品２０３以外の領域を背景領域と呼ぶ。そして、画像分割部１１６は、把持部品領域の画素にはラベル「１」が付され、背景領域の画素にはラベル「０」が付されている、領域分割マップを生成する。本実施形態において撮像部１１２はロボットハンド２０２に取り付けられている。したがって、ロボットハンド２０２が把持部品２０３を離してから再び把持すること等によって、撮像部１１２と把持部品２０３との相対位置が変化しない限り、撮像部１１２による撮像画像において把持部品２０３は同じ位置に映っている。例えば、把持部品２０３がロボットハンド２０２によって組み付け対象２０４近傍に移動された場合であっても、撮像部１１２による撮像画像において把持部品２０３は同じ位置に映っている。

ステップＳ１０２０において対応関係取得部１１３は、撮像部１１２が撮像した画像上の画素と、照明パターン中の位置との対応関係に従って、対応関係マップを作成する。具体的にはまず照射部１１１は、撮像部１１２からみて把持部品２０３が基準背景の前方に位置している状態で、上述の符号情報を含む照明パターンを照射する。そして、照射部１１１による照射が行われている状態で、撮像部１１２は撮像画像を取得する。本実施形態においては、基準背景上に照射された照明パターンを撮像画像から検出できるように、照明パターン、照射部１１１による照射強度、照射部１１１と基準背景との位置関係、等が設定されている。

そして対応関係取得部１１３は、領域分割マップを参照して、ラベル「０」が付されている画素から、すなわち背景領域から照明パターンを検出する。そして、検出された照明パターンから符号情報を抽出することにより、符号情報が示す照明パターン中の位置と、符号情報が抽出された画像中の位置と、の対応関係を取得する。本実施形態において、対応関係取得部１１３は、照明パターンの各位置について、その位置のパターンが把持部品領域に映るか否かを示す、対応関係マップを生成する。この対応関係マップは、照明パターンの各位置について、その位置のパターンが把持部品に照射されるか否かを示している。

例えば、照明パターンに埋め込まれた符号情報が、撮像画像の背景領域から検出された場合、対応関係マップの検出した符号情報に対応する位置には、ラベル「０」が付される。このように、把持部品以外に照射される照明パターン中の位置が、対応関係マップに記録される。また、照明パターンに埋め込まれた符号情報が、撮像画像の背景領域から検出されなかった場合、対応関係マップのこの符号情報に対応する位置には、ラベル「１」が付される。本実施形態においては、照明パターンは、基準背景と把持部品に照射される。したがって、背景領域内の画像との対応が認識されなかった符号情報が、把持部品に照射されていることになる。このように、把持部品に照射される照明パターン中の位置も、対応関係マップに記録される。符号情報が示す照明パターン中の位置と、符号情報が抽出された画像中の位置と、の対応関係を示す情報の構成は特に限定されない。例えば、対応関係マップを作成する代わりに、照明パターン中の各位置について、対応する撮像画像上の座標を記録してもよい。

ステップＳ１０３０において強度分布決定部１１４は、測定対象に照射する照明強度を決定する。本実施形態において強度分布決定部１１４は、領域分割マップに示される領域ごとに照明強度を決定する。言い換えれば、強度分布決定部１１４は、把持部品に対する照明強度と、把持部品以外に対する照明強度と、を決定する。このようにして、測定対象に対する照明強度分布が決定される。以下に、その具体的な処理について説明する。

まず撮像部１１２は、基準背景を背景として、把持部品２０３を把持しているロボットハンド２０２の画像を２枚撮像する。１枚目の画像（第１の撮像画像）は、照射部１１１が光を照射していない状態、すなわち環境光下で撮影される。また、２枚目の画像（第２の撮像画像）は、照射部１１１が均一な照明パターンを照射している状態で撮影される。もっとも、２枚の画像を撮影している際の照射部１１１の状態は特に限定されず、照射部１１１によって照射される光が異なっているように２枚の画像が撮像されていればよい。例えば、１枚目の画像は、撮像部１１２の視野角全体にわたって照射部１１１が一様な光を照射している状態で撮像されてもよい。また、１枚目の画像として、ステップＳ１０１０で取得した画像を用いてもよい。

次に強度分布決定部１１４は、領域分割マップを参照して、ラベル「１」が付されている画素について、すなわち把持部品領域について画素値の平均を算出する。こうして、強度分布決定部１１４は、環境光下での把持部品領域の輝度値と、照明パターン下での把持部品領域の輝度値とを算出する。もっとも、把持部品領域の輝度値として平均値を用いる必要はなく、例えば中央値のような統計値を用いることもできる。また、本実施形態においては平均画素値を輝度値として用いるが、輝度値は異なる方法で算出されてもよい。

そして強度分布決定部１１４は、予め作成されている、画像の輝度と照明強度との対応関係１０３１を参照して、環境光下での把持部品領域の輝度値と、環境光下での把持部品領域の輝度値とに対応する照明強度を決定する。図４に示すルックアップテーブルは、予め作成されている画像の輝度と照明パターンの強度との対応関係１０３１の例である。

図４には、環境光下での把持部品領域の輝度値及び照明パターン下での把持部品領域の輝度値、並びにこれらに対応する照明強度が規定されている。図４に規定されている照明強度は、より高い精度で距離の測定が可能となるように予め決定されたものである。例えば、環境光下での輝度値が８５で、照明パターン下での輝度値が２４４である場合、強度分布決定部１１４は、これらに対応する「照明パターン強度１」を、把持部品領域に対する照明強度として選択する。一方で、環境光下での輝度値及び照明パターン下での輝度値に対応する照明強度が規定されていない場合、強度分布決定部１１４はデフォルト値（Ｄｅｆａｕｌｔ）である「照明パターン強度Ｄ」を把持部品領域に対する照明強度として決定する。

このように、異なる照明状態で取得された画像の輝度値、例えば照明パターンが照射されていない環境光下での輝度値及び照明パターン下での輝度値を参照することにより、把持部品の反射特性等に応じて適した照明強度を選択することが可能となる。また、把持部品をより正確に識別することも可能となる。もっとも、強度分布決定部１１４は、１枚の撮像画像における把持部品領域の輝度値に応じて、照明強度を決定してもよい。例えば、１枚の撮像画像における把持部品領域の輝度値と、照明強度との対応関係を用いて、照明強度を決定することができる。また、所定の関数を用いて、把持部品領域の輝度値に対応する照明強度を決定することもできる。

また、強度分布決定部１１４は、背景領域に対しては、デフォルト値である「照明パターン強度Ｄ」を照明強度として決定する。以上のようにして、ステップＳ１０１０で分割されたそれぞれの領域について、照明強度が決定される。

画像の輝度と照明パターンの強度との対応関係は適宜作成することができるが、以下にその作成方法の一例について説明する。この方法では、ロボットハンド２０２が様々な部品を把持している状態で撮像部１１２がステップＳ１０３０と同様に２枚の画像を撮像する。そして、２枚の画像のそれぞれについての輝度が、距離計測精度が最も高くなる照明パターンの強度と対応付けて記録される。以下で、この方法についてより詳しく説明する。

まず、ロボットハンド２０２及び把持部品２０３が、実際の組み付け作業と同様の位置姿勢に配置される。例えば、ロボットハンド２０２が実際の組み付け作業と同様に把持部品２０３を把持するように、ロボットハンド２０２が操作される。配置作業は手動で行ってもよいし、ロボットハンド２０２を動作させながら行ってもよい。

次に、撮像部１１２が把持部品２０３を基準背景を背景として撮像できるように、ロボットハンド２０２を移動させる。次に、ステップＳ１０３０で用いられるのと同様の照明条件下で、例えば環境光下及び均一な照明パターン下で、撮像部１１２により画像が２枚取得される。そして、この２枚の画像のそれぞれから、把持部品領域が抽出され、領域内の輝度値が算出される。把持部品領域の抽出はステップＳ１０１０と同様に行うことができる。また、領域内の輝度値の算出はステップＳ１０３０と同様に行うことができる。１つの把持部品２０３について、撮像及び輝度値の算出を繰り返し行うことにより、環境光下での把持部品領域の輝度値の範囲と、均一な照明パターン下での把持部品領域の輝度値の範囲とを決定することができる。

次に、撮像部１１２が把持部品２０３を基準背景を背景として撮像できる状態のままで、照射部１１１から照明パターンが照射され、同時に撮像部１１２により撮像が行われる。さらに、撮像画像を用いて距離算出部１２１は把持部品２０３までの距離を、より正確には照射部１１１及び撮像部１１２を基準とする把持部品２０３の位置を、算出する。この際に用いる照明パターンは、均一な照明パターンでありうる。ここで照射部１１１は様々な強度の照明パターンを照射し、距離算出部１２１はそれぞれの照明パターン下で距離の算出を行う。具体的には、照明強度を最大から段階的に弱くしていきながら、距離の算出を行うことができる。そして、距離算出部１２１は、最も精度良く距離を算出できる（例えば、最も距離の誤差が小さい）照明パターンの強度を決定し、この強度を記録する。

距離の算出精度は、実際の距離情報を用いて判定することができる。例えば、ロボットハンド２０２、撮像部１１２、照射部１１１及び把持部品２０３の３Ｄモデルを用いたシミュレーションにより、把持部品２０３までの距離を推定することができる。そして、シミュレーションにより推定した距離と距離算出部１２１が算出した距離との誤差に従って、算出精度を判定することができる。シミュレーションによる距離と実際の距離との間には誤差がある。しかしながら、この例では所定の照明強度で精度良く距離を計測できるか否かを判定しているに過ぎないため、シミュレーションによる距離の誤差は許容することができる。

以上の作業を複数の把持部品２０３について行うことにより、図４に示す対応関係が得られる。図４においては、番号１以外の各行は異なる把持部品２０３に対応している。それぞれの把持部品２０３について、環境光下での把持部品領域の輝度値の範囲と、均一な照明パターン下での把持部品領域の輝度値の範囲と、最も精度良く距離を算出できる照明パターンの強度と、が記録されている。図４の対応関係を用いて、ステップＳ１０３０において現在把持している部品を判別することもできる。ここで、１つの把持部品２０３について、異なる位置姿勢ごとに照明強度を決定してもよい。

また、番号１の行には、デフォルトの照明パターン強度Ｄが記録されている。他の行に規定された輝度値範囲に当てはまらない部品に対しては、強度Ｄの照明パターンが照射される。また、把持部品以外に対しても、強度Ｄの照明パターンが照射される。この強度Ｄは、適宜設定することができる。例えば、組み付け対象２０４について最も精度良く距離を算出できる照明パターンの強度を同様に決定し、強度Ｄとして用いることもできる。

ステップＳ１０４０において、照明パターン生成部１１５は、ステップＳ１０３０で決定された照明強度と、ステップＳ１０２０で得られた対応関係マップとに従って、照明パターンを決定する。より具体的には、撮像画像のそれぞれの分割領域に対応する測定対象へと、ステップＳ１０３０で決定した強度の照明パターンが照射されるように、照明パターン生成部１１５は照明パターンを生成する。以下で、この処理について詳しく説明する。

対応関係マップには、照明パターンの各位置について、その位置のパターンが把持部品領域に映るか否か、すなわち把持部品に照射されるか否かを記録されている。また、ステップＳ１０３０においては、分割領域ごとに、すなわち領域分割マップのラベル「０」「１」のそれぞれについて、照明強度が決定されている。したがって、照明パターン生成部１１５は、照明パターンの各位置についてパターンが映る分割領域を選択し、選択された分割領域に対応する照明強度を照明パターンのその位置についての照明強度として設定する。こうして、照明パターン生成部１１５は、各位置について設定された照明強度を有する照明パターンを生成することができる。

ステップＳ１０５０において、情報処理装置１０が有する指示部（不図示）は、照射部１１１に、Ｓ１０４０で生成された照明パターンを測定対象へと照射させる。ステップＳ１０６０において撮像部１１２は、照明パターンが照射されている状態で測定対象を撮像する。ステップＳ１０７０において距離算出部１２１は、ステップＳ１０６０で撮像された撮像画像と照射された照明パターンを参照して測定対象までの距離を算出する。

次に、組み付け装置１３の全体的な動作について説明する。まず照射部１１１は、照明パターン生成部１１５によって生成された照明パターンを照射する。照明パターン生成部１１５による照明パターンの生成は、任意のタイミングで行われうる。例えば、測定対象までの距離を算出する際に毎回照明パターンを生成してもよい。また、ロボットハンド２０２が新たな把持部品２０３を把持した際に照明パターンを生成してもよい。さらには、把持部品２０３が組み付け対象２０４に接近した際に照明パターンを生成してもよい。

次に撮像部１１２は、照明パターンが照射されている状態で測定対象を撮像する。そして、得られた撮像画像に基づいて距離算出部１２１は測定対象までの距離を算出する。上述のように、照明パターンと、撮像画像上における照明パターンに対応する位置と、を用いて距離算出部１２１は距離を算出する。これ以外にも、照射部１１１及び撮像部１１２の内部パラメータ、並びにロボットハンド２０２と測定対象との間の相対的な位置及び姿勢を示す情報を用いることもできる。そして、距離算出部１２１は得られた距離情報をロボットハンド機構１３１に送信し、ロボットハンド機構１３１は送信された情報を用いてフィードバック制御等の動作制御を行う。

別の実施例として、照明パターン生成部１１５は、以前に照明強度を決定する際に用いられた撮像画像と、今回撮像された撮像画像とを比較し、差が小さい場合には以前と同じ照明強度を用いて照明パターンを生成することもできる。例えば、前回撮像された画像と今回撮像された画像との画素ごとの差分値の総和を算出し、これをあらかじめ決められた閾値と比較してもよい。あらかじめ決められた閾値より差分値の総和が小さい場合、撮像画像の差は小さいと判定することができる。さらなる実施例として、あらかじめ決められた閾値より差分値の総和が小さい場合、強度分布決定部１１４は差分値に応じて前回得られた照明強度を調節し、得られた強度を今回の照明強度として用いることもできる。より具体的には、画像がより明るくなっている場合には照明強度をより小さくすればよい。また、照明パターン生成部１１５は、以前に照明パターンを決定する際に用いられた撮像画像と、今回撮像された撮像画像とを比較し、差が大きい場合にのみ新たな照明パターンを生成してもよい。

本実施形態においては、分割領域ごとに異なる照明強度を有する構造化された照明光を用いて、組み付け対象と把持部品の距離を同時にかつより正確に取得できるために、正確な組み付けが容易となる。本実施形態においては撮像画像の輝度値に従って照明強度を決定した。しかしながら、照明強度の決定は色成分ごとに行ってもよい。例えば、図４において、照明強度としてＲＧＢ各色についての強度が設定されていてもよい。また、ＲＧＢ各色の輝度値の組み合わせについて、対応する照明強度が設定されていても良い。さらには、ＲＧＢ各色について、それぞれの輝度値に応じた照明強度が設定されていてもよい。例として、所定の色成分、例えばＲ成分（着目色成分）、について組み付け対象２０４が把持部品２０３より少ない光を撮像部１１２へと反射する場合を考える。この場合、把持部品２０３に対して照射されるＲ成分の照射光量が、組み付け対象２０４に対して照射されるＲ成分の照射光量よりも少なくなるように、Ｒ成分についての照射光量が設定されうる。

［実施形態２］
以下で、本発明の実施形態２について説明する。実施形態２は、組み付け対象に照射する照明パターンの強度を、組み付け対象２０４と３次元計測装置２０１との距離に応じて変化させる点で、第１の実施形態と異なる。本実施形態によれば、組み付け対象２０４と、３次元計測装置２０１との距離が変化しても、適切な照射光を照射することができる。把持部品２０３と３次元計測装置２０１との距離は変化しないため、把持部品２０３への照射光の強度の決定は、実施形態１と同様に行われる。

本実施形態においては、予め作成された、撮像部１１２により撮像された画像の輝度と、測定対象の属性と、の関係を示す情報が用いられる。ここで、属性とは、複数の測定対象の中から１つの測定対象を識別するための情報である。例えば、この属性は把持されている把持部品２０３を識別する情報でありうる。属性は、属性は測定対象を識別できるのであれば特に限定されず、具体的には部品名称又は材質名等でありうる。

以下で、実施形態２における処理の流れを説明する。本実施形態に係る装置及び処理方法は実施形態１と同様であり、同様の構成については説明を省略する。本実施形態の処理と、実施形態１の処理とは、ステップＳ１０３０の処理が異なる。まず、ステップＳ１０３０で用いられる対応関係情報について説明する。本実施形態においては、図４に示す対応関係情報の代わりに、図５（Ａ）（Ｂ）に示す対応関係情報を用いて、照明強度が決定される。図５（Ａ）（Ｂ）に示す情報も、実施形態１と同様、予め作成されたものである。

まず、図５（Ａ）（Ｂ）に示す情報の作成方法について説明する。本実施形態においては、図５（Ａ）に示す輝度と属性との対応関係を示す情報と、図５（Ｂ）に示す属性と強度との対応関係を示す情報とが用いられる。図５（Ａ）に示す情報は図４に示す情報と同様のものであるが、輝度値の組み合わせに対して、照明強度の代わりに属性情報が付されている。この属性情報は、それぞれの輝度値の組み合わせに対応する把持部品を識別する情報（把持部品１〜３）である。また、属性「組み付け部」が、デフォルトの属性情報として設定されている。

図５（Ｂ）は、属性と強度との対応関係を示す。属性「把持部品１〜３」については、組み付け対象２０４と３次元計測装置２０１との距離にかかわらず一定の照明強度（照明パターン強度１〜３）が用いられる。なぜなら、３次元計測装置２０１と把持部品２０３との間の距離は略一定だからである。この照明パターン強度１〜３は、図４に示す照明パターン強度１〜３と同様のものであり、実施形態１と同様に決定される。一方で、属性「組み付け部」については、組み付け対象２０４と３次元計測装置２０１との距離に応じて異なる強度（照明パターン強度４〜６）が設定される。

以下に、「組み付け部」についての照明強度の決定方法について説明する。まず、実施形態１と同様、ロボットハンド２０２と組み付け対象２０４とを実際の組み付け作業に従って配置する。この状態で照射部１１１から照明パターンを照射している間に撮像部１１２が撮像した撮像画像を用いて、距離算出部１２１は組み付け対象２０４までの距離を算出する。実施形態１と同様に、距離算出部１２１は照明強度を最大から段階的に弱くしていきながら距離の算出を行う。そして、距離算出部１２１は、最も精度良く距離を算出できる照明パターンの強度を決定し、この強度を記録する。距離の算出精度の決定も、実施形態１と同様に行うことができる。以上のような照明パターンの強度の決定を、３次元計測装置２０１と組み付け対象２０４との間の距離を変化させながら行うことにより、それぞれの距離に対応した照明パターン強度４〜６が決定される。

次に、本実施形態におけるステップＳ１０３０の処理について説明する。強度分布決定部１１４は、実施形態１と同様に、基準背景を背景として、把持部品２０３を把持しているロボットハンド２０２の画像を２枚撮像する。そして強度分布決定部１１４は、実施形態１と同様に、環境光下での把持部品領域の輝度値と、照明パターン下での把持部品領域の輝度値とを算出する。そして、これらの輝度値の組み合わせに対応する属性を図５（Ａ）に従って選択し、選択された属性に対応する照明強度を図５（Ｂ）に従って選択する。こうして、把持部品の属性が検出され、把持部品領域に照射される照明強度が決定される。輝度値が把持部品１〜３に該当しない場合、属性として「組み付け部」が選択されてもよいし、不図示のデフォルト属性が選択されてもよい。

一方で、把持部品以外の領域については、照明パターン強度Ｄの代わりに、照射部１１１と組み付け対象２０４との相対距離に応じた照明強度を図５（Ｂ）を参照して選択する。例えば相対距離が７５ｍｍである場合、照明強度として「照明パターン強度５」が選択される。照射部１１１と組み付け対象２０４との相対距離は、ロボットハンド２０２の位置姿勢情報と組み付け対象２０４の配置情報とを参照して算出することができる。ロボットハンド２０２の位置姿勢情報は、ロボットハンド２０２の制御装置から取得することができる。また、組み付け対象２０４の配置情報は予め入力しておけばよい。

他の方法としては、照明パターンを照射するタイミングは事前に分かっているのであれば、そのタイミングにおける相対距離を測定しておき、測定された相対距離を予め入力しておいてもよい。さらには、所定の強度の照明パターンを照射している間に撮像部１１２が撮像した撮像画像を用いて距離算出部１２１が算出した距離を、相対距離として用いることもできる。以上のような方法により、距離取得部（不図示）は照射部１１１と組み付け対象２０４との相対距離を取得することができる。

以上のように決定された把持部品領域についての照明強度と、組み付け対象２０４を含む把持部品以外の領域についての照明強度とを用いて、照明パターン生成部１１５は照明パターンを生成する。本実施形態においては照射部１１１と組み付け対象２０４との距離に応じた照明強度を図５（Ｂ）を参照して選択したが、所定の関数を用い、この距離に応じた照明強度を算出してもよい。

［実施形態３］
以下に、本発明の実施形態３について説明する。実施形態３において、強度分布決定部１１４は、測定対象の設計情報、及び３次元計測装置２０１と測定対象との間の相対位置姿勢情報を用いて、照明強度を決定する。以下で、実施形態３における処理の流れを説明する。本実施形態に係る装置及び処理方法は実施形態１と同様であり、同様の構成については説明を省略する。本実施形態の処理と、実施形態１の処理とは、ステップＳ１０３０の処理が異なる点と、ステップＳ１０３０とステップＳ１０４０との間にステップＳ１０３５が追加されている点で異なる。

ステップＳ１０３０において強度分布決定部１１４は、３次元計測装置２０１と測定対象との間の相対位置姿勢情報を用いて照明強度を決定する。具体的には、まず、強度分布決定部１１４は、ロボットハンド２０２による組み付けを模した３次元モデルを、グラフィックスハードウェアを用いて３次元空間上で再現する。具体的には、照射部１１１、撮像部１１２、及び測定対象が、３次元空間上に描かれる。この際には、照射部１１１の光源、及び撮像部１１２が有する投影面の位置情報が参照される。この相対位置姿勢情報は、例えば、ロボットハンド２０２の位置姿勢を示す情報を用いて算出することができる。

そして強度分布決定部１１４は、照射部１１１、撮像部１１２、及び測定対象の位置姿勢を示す位置姿勢情報と、測定対象の設計情報に応じて、照明強度を決定する。この設計情報は、例えば、測定対象の光反射率を示す情報であり予め用意されている。この光反射率を示す情報は、所定の光についての反射率を示す情報であってもよいし、分光反射特性を示す情報であってもよい。強度分布決定部１１４は、関数を用いて、測定対象の位置と、測定対象の反射率若しくは分光反射特性に対応する照明強度を算出することができる。例えば、照射部１１１若しくは撮像部１１２と測定対象との相対距離が大きい場合、測定対象の反射率が低い場合、又は測定対象が黒色に近い場合には、照明強度を強めることができる。一方で、逆の場合には光量を弱めることができる。このようにして、撮像部１１２によって撮像される撮像画像上における照明強度が所定範囲に入るように、照明強度が決定されうる。

強度分布決定部１１４は、以上のように、照明パターンの各位置について、その位置の照明パターンが照射される測定対象の設計情報に応じて、照明強度を決定する。一方で、強度分布決定部１１４は、把持部品に照射される位置と、把持部品以外に照射される位置と、について照明パターンの強度を決定してもよい。この場合、こうして決定された照明強度を用いて、実施形態１のステップＳ１０４０と同様に照明パターン生成部１１５は照明パターンを生成することができる。

強度分布決定部１１４はさらに、シミュレーションにより、照明強度を調整してもよい。具体的には、強度分布決定部１１４は、照射部１１１から照射され、測定対象によって撮像部１１２へと反射される光量をシミュレーションにより推定する。すなわち、強度分布決定部１１４は、照射部１１１から照明パターンを照射した際に撮像部１１２により撮像される画像を、３次元空間上でのシミュレーションにより再現する。このシミュレーションは、照射部１１１、撮像部１１２及び測定対象のモデルの位置姿勢の情報と、光源光量並びに測定対象の反射率若しくは分光反射特性等を用いて行うことができる。これらの情報を用いて、強度分布決定部１１４は、撮像部１１２により撮像される画像上の輝度値をシミュレーションにより算出する。

シミュレーションにより得られる画像のうち測定対象部分に、所望の輝度範囲にある照明パターンが含まれていれば、処理はステップＳ１０３５に進み、この際に照射部１１１が照射している照明パターンを用いて照明強度が決定される。一方で、所望の輝度範囲にある照明パターンが含まれていない場合、強度分布決定部１１４は照明強度を変更し、再度シミュレーションを行う。具体的には、前回の照明パターンとは異なる照明パターンを複数用いて、それぞれの照明パターンを用いて再度シミュレーションを行うことができる。例えば、前回の照明パターンよりも強度が所定値だけ高い又は低いパターンを用いてシミュレーションを行うことができる。別の方法として、シミュレーションで使用する関数のパラメータを変更し、再度シミュレーションを行ってもよい。シミュレーションを繰り返すことにより、シミュレーションにより得られる画像のうち測定対象部分に、所望の輝度範囲にある照明パターンが含まれるように、照明パターンの強度が決定される。こうして得られた照明パターンを用いて、ステップＳ１０３５で照明強度が決定される。

ステップＳ１０３５において、強度分布決定部１１４は各分割領域についての照明強度を決定する。本実施形態において、ステップＳ１０３０で決定した照明パターンは、シミュレーションにより算出した照明パターンの強度分布である。この強度分布は、ステップＳ１０１０で生成した分割領域マップに示される各領域の分布とは完全に一致しないことが多い。そこで本実施形態において、強度分布決定部１１４は、ステップＳ１０２０で得られた対応関係マップを参照して、各領域についての照明強度を、ステップＳ１０３０で決定された照明パターンを参照して決定する。こうして強度分布決定部１１４は、ステップＳ１０３０で決定された強度の照明パターンが、ステップＳ１０１０で生成した分割領域マップに従って照射されるように、照明パターンを微調整する。

具体的には強度分布決定部１１４は、ステップＳ１０２０で得られた対応関係マップを参照して、分割領域マップに示される各画素について、ステップＳ１０３０で決定された照明パターン中の位置における照明強度を判定する。こうして強度分布決定部１１４は、各分割領域に含まれる複数の画素について、対応する複数の照明強度を集計することにより、分割領域についての照明強度を決定する。具体的には強度分布決定部１１４は、複数の照明強度の統計値、例えば最頻値を、分割領域についての照明強度として用いることができる。こうして強度分布決定部１１４は、各領域についての照明強度を決定する。こうして決定された照明強度を用いて、ステップＳ１０４０において実施形態１と同様に照明パターンが生成される。

［実施形態４］
以下で、本発明の実施形態４について説明する。本実施形態では、図６に示すように、測定対象の表面に模様がある場合、又は測定対象が複雑な三次元形状を有している場合にも、距離計測のためにより適した照明パターンを生成することができる。本実施形態に係る装置の構成は、実施形態１と同様である。以下では、実施形態１と同様の構成については、説明を省略する。

本実施形態に係る処理の一例について、図７のフローチャートを参照して説明する。ステップＳ４０１０において撮像部１１２は、測定対象を含む画像を撮像する。そして画像分割部１１６は、実施形態１と同様に、撮像した画像について領域分割処理を行うことにより、領域分割マップを作成する。ステップＳ４０２０において対応関係取得部１１３は、実施形態１と同様に、画像上の画素と照明パターンの各位置の対応関係を示す対応関係マップを取得する。

ステップＳ４０３０において強度分布決定部１１４及び照明パターン生成部１１５は、照明強度を決定する。この処理について図８のフローチャートを参照して説明する。ステップＳ４０３１において撮像部１１２は、照射部１１１が照明パターン光（予備測定パターン）を照射している状態における測定対象の画像と、照射部が光を照射していない環境光下での測定対象の画像と、を撮像する。ステップＳ４０３１で照射される照明パターン光は特に限定されず、例えば均一な照明パターン光でありうる。すなわち、把持部品に対する照明強度と、把持部品以外に対する照明強度が同じであってもよい。照明パターン光の強度は、照射部１１１により照射可能な強度であれば特に限定されない。

ステップＳ４０３２において照明パターン生成部１１５は、照射部１１１が照明パターン光を照射している状態における測定対象の画像から、反射光量が多い領域（第１領域）と反射光量が少ない領域（第２領域）とを検出する。本実施形態において照明パターン生成部１１５は、照射部が光を照射していない環境光下での測定対象の画像をさらに参照して、これらの領域を検出する。具体的には照明パターン生成部１１５は、ステップＳ４０３１で取得した２枚の画像の差分画像を生成する。

ステップＳ４０３３において照明パターン生成部１１５は、差分画像の各画素について、画素値が所定の範囲内にあるか否かを判定する。具体的には、照明パターン生成部１１５は、画素値が上限閾値以下であるか否か、及び下限閾値以上であるか否かを判定する。この閾値は、差分画像の輝度差についての望ましい範囲を規定するものであって、予め決定されている。全ての画素について、対応する画素値が所定の範囲にある場合、ステップＳ４０３０の処理は終了する。この場合、直前のステップＳ４０３１又はＳ４０３５で照射された照明パターンが、ステップＳ４０４０において照射される。一方で、いずれかの画素について画素値が所定の範囲にない場合、処理はステップＳ４０３４に進む。

ステップＳ４０３４において強度分布決定部１１４は、ステップＳ４０３３における比較結果に基づいて、直前のステップＳ４０３１又はＳ４０３５で照射された照明パターンの照明強度を修正する。具体的には、把持部品領域において差分画像の画素値が上限閾値より大きい場合には、照明パターン生成部１１５は把持部品に対する照明強度をあらかじめ決定する所定量だけ弱くする。また、把持部品領域において差分画像の画素値が下限閾値より小さい場合には、照明パターン生成部１１５は把持部品に対する照明強度をあらかじめ決定する所定量だけ強くする。照明パターン生成部１１５は、把持部品以外の領域に対する照明強度についても同様に、背景領域における差分画像の画素値を参照して修正を行う。

さらに照明パターン生成部１１５は、強度分布決定部１１４によって修正された照明強度に従って、実施形態１と同様に照明パターンを生成する。この処理は、実施形態１と同様に、ステップＳ４０１０で取得した対応関係マップに従って行うことができる。

ステップＳ４０３５において照射部１１１は、ステップＳ４０３４で生成された照明パターンを測定対象に照射する。そして撮像部１１２は、照明パターンが照射された測定対象の画像を撮像する。その後処理はステップＳ４０３２に戻り、照射部が光を照射していない環境光下での測定対象の画像と、ステップＳ４０３６で撮像された画像と、を用いて同様の処理が繰り返される。以上の処理により、照明パターンが生成される。

照明パターンのある位置について、Ｎ回目のステップＳ４０３３で対応する画素値が上限閾値を上回り、Ｎ＋１回目のステップＳ４０３３で対応する画素値が下限閾値を下回ると判定される場合、又はその逆の場合がある。その場合、続くステップＳ４０３４においては、照明強度を所定量だけ強く又は弱くする代わりに、所定の係数を照明強度に乗算することができる。別の方法として、照明強度Ｎ回目の処理における照明強度と、Ｎ＋１回目の処理における照明強度との間の強度を、新たな照明強度として用いてもよい。このような方法により、差分画像の画素値が可能な限り２つの閾値の間に入るように照明強度を決定することができる。

ステップＳ４０４０〜Ｓ４０６０においては、実施形態１のステップＳ１０５０〜Ｓ１０７０と同様の処理が行われる。以上の処理により、測定対象の画像を参照しながら、距離測定に適した照明パターンを生成することが可能となる。

［実施形態４の変形例］
実施形態４では把持部品に対する照明強度及び把持部品以外に対する照明強度を修正しながら照明パターンを生成した。この変形例においては、照明パターンの各位置における照明強度を独立に修正しながら照明パターンを生成する。本変形例に係る装置は、強度分布決定部１１４及び画像分割部１１６を有さなくてもよい。また、ステップＳ４０１０は省略することができる。以下に、実施形態４との相違点について説明する。

ステップＳ４０２０において対応関係取得部１１３は、対応関係マップを取得する。本変形例における対応関係マップは、照射部１１１によって照射された照明パターン内の各位置について、各位置の照明パターンが映る撮像画像内の画素を特定する。例えば、対応関係マップは、照明パターンに含まれる符号情報のそれぞれについて、符号情報が映っている撮像画像内の画素を特定する情報でありうる。この対応関係マップは照明パターンの制御に用いられるものであり、測定対象への距離を算出するために直接用いられるわけではないため、照明強度が高すぎることなどによる検出誤差は許容することができる。

ステップＳ４０３３において照明パターン生成部１１５は、照明パターンの各位置に対応する差分画像の画素について、画素値が所定の範囲内にあるか否かを判定する。この判定は、ステップＳ４０２０で取得した対応関係マップに従って行うことができる。照明パターンの全ての位置について、対応する画素値が所定の範囲にある場合、ステップＳ４０３０の処理は終了する。一方で、照明パターンのいずれかの位置について、対応する画素値が所定の範囲にない場合、処理はステップＳ４０３４に進む。

ステップＳ４０３４において照明パターン生成部１１５は、ステップＳ４０３３における比較結果に基づいて、直前のステップＳ４０３１又はＳ４０３５で照射された照明パターンの各位置の照明強度を修正する。具体的には、対応する差分画像の画素値が上限閾値より大きい場合には、照明強度があらかじめ決定する所定量だけ弱くされる。また、対応する差分画像の画素値が下限閾値より小さい場合には、照明強度があらかじめ決定する所定量だけ強くされる。

以上の処理により、照明パターンの各位置について詳細に照射強度を制御しながら、距離測定に適した照明パターンを生成することが可能となる。

（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (19)

1. 距離測定のための測定パターンを測定対象に照射する照射手段と、
   前記測定パターンが照射されている前記測定対象を含む撮像画像を取得する撮像手段と、
   前記撮像手段が取得する撮像画像のうち、相対的に多くの光を前記撮像手段へと反射する前記測定対象の第１部分を含む第１領域と、相対的に少ない光を前記撮像手段へと反射する前記測定対象の第２部分を含む第２領域と、を検出する第１の検出手段と、
   前記測定パターンのうち、前記第１部分に照射される第３領域と、前記第２部分に照射される第４領域と、を検出する第２の検出手段と、
   前記第３領域における照射光量が、前記第４領域における照射光量より少なくなるように、領域により照射光量が異なる測定パターンを生成する生成手段と、
   前記生成された測定パターンを前記照射手段に照射させる指示手段と、
   前記生成された測定パターンが照射された前記測定対象を含む撮像画像を前記撮像手段から取得し、該取得した撮像画像を用いて前記測定対象までの距離を導出する導出手段と、
   を備え、
   前記第１の検出手段は、予備測定パターンが照射された前記測定対象を含む撮像画像から、前記第１領域と前記第２領域とを検出し、
   前記生成手段は、前記第３領域における照射光量を少なくすることと、前記第４領域における照射光量を多くすることと、のうちの少なくとも一方を行うように、前記予備測定パターンを修正することにより、前記測定パターンを生成することを特徴とする情報処理装置。
2. 前記測定パターンは、符号情報を有するパターンであり、
   前記第２の検出手段は、前記測定パターンが照射されている前記測定対象を含む前記撮像画像と、前記測定パターンが備える符号情報と、前記第１の検出手段が検出した前記撮像画像の前記第１領域及び前記第２領域とに基づいて、前記測定パターンの前記第３領域及び前記第４領域を検出することを特徴とする、請求項１に記載の情報処理装置。
3. 前記第１の検出手段は、前記撮像画像の輝度分布に基づいて、前記第１領域又は前記第２領域を検出することを特徴とする、請求項１又は２に記載の情報処理装置。
4. 前記第１の検出手段は、前記撮像手段から取得した前記第１部分又は前記第２部分を含む撮像画像と、前記撮像手段から取得した前記第１部分又は前記第２部分を含まない撮像画像と、を比較することにより前記撮像画像の前記第１領域又は前記第２領域を検出することを特徴とする、請求項１乃至３の何れか１項に記載の情報処理装置。
5. 前記生成手段は、前記第１部分と前記第２部分との少なくとも一方の部分について、前記撮像手段から取得した撮像画像のうち該部分に対応する領域に含まれる画素の画素値に従って、該部分に照射される領域における照射光量を決定することを特徴とする、請求項１乃至４の何れか１項に記載の情報処理装置。
6. 前記生成手段は、前記第１部分と前記第２部分との少なくとも一方の部分について、該部分に対応する領域に含まれる画素の画素値の統計値を算出し、該部分に照射される領域における照射光量として、該算出された統計値に対応する照射光量をルックアップテーブルを参照して取得することを特徴とする、請求項５に記載の情報処理装置。
7. 前記生成手段は、第１の撮像画像を用いて算出された画素値の統計値と、前記第１の撮像画像とは前記測定対象の照明状態が異なる第２の撮像画像を用いて算出された画素値の統計値と、に対応する照射光量を前記ルックアップテーブルを参照して取得することを特徴とする、請求項６に記載の情報処理装置。
8. 前記生成手段は、前記第１部分と前記第２部分との少なくとも一方の部分について、前記撮像手段から取得した撮像画像のうち該部分に対応する領域に含まれる画素の画素値に従って該部分の属性を検出し、該検出した属性に対応する照射光量をルックアップテーブルを参照して取得することを特徴とする、請求項５に記載の情報処理装置。
9. 前記属性は、前記部分に対応する物体を識別する情報、又は前記部分の材質を識別する情報であることを特徴とする、請求項８に記載の情報処理装置。
10. 前記生成手段は、前記第１部分と前記第２部分との少なくとも一方の部分について、各色成分についての前記統計値を算出し、当該各色成分についての統計値に対応する照射光量を前記ルックアップテーブルを参照して取得することを特徴とする、請求項６又は７に記載の情報処理装置。
11. 前記第１部分と前記第２部分との少なくとも一方の部分について、該部分までの距離を取得する距離取得手段をさらに有し、
    前記生成手段は、該部分までの距離に従って、該部分に照射される領域における照射光量を決定することを特徴とする、請求項１乃至１０の何れか１項に記載の情報処理装置。
12. 前記生成手段は、前記照射手段、前記撮像手段及び前記測定対象の位置姿勢情報、並びに前記測定対象の光反射率を示す情報に従って、前記照射光量を決定することを特徴とする、請求項１に記載の情報処理装置。
13. 前記生成手段は、前記照射手段から照射され、前記測定対象により前記撮像手段へと反射される光量を推定し、該推定に従って前記照射光量を決定することを特徴とする、請求項１２に記載の情報処理装置。
14. 前記照射光量は色成分毎に異なり、
    前記第２部分は、着目色成分について、前記第１部分よりも少ない光を前記撮像手段へと反射し、
    前記測定パターンにおいて、前記第３領域における前記着目色成分の照射光量は、前記第４領域における当該着目色成分の照射光量より少ない
    ことを特徴とする、請求項１乃至１３の何れか１項に記載の情報処理装置。
15. 前記測定パターンは空間符号化法に用いられる縞パターンであることを特徴とする請求項１乃至１４の何れか１項に記載の情報処理装置。
16. 測定対象の一部である第１物体までの距離、及び前記測定対象の一部である第２物体までの距離を計測する、請求項１乃至１５の何れか１項に記載の情報処理装置と、
    前記測定対象の一部である第１物体を把持する把持手段と、
    前記計測された距離に従って、前記把持手段を制御する制御手段と、
    を備えることを特徴とする組み付け装置。
17. 前記把持手段が前記照射手段及び前記撮像手段を備えることを特徴とする、請求項１６に記載の組み付け装置。
18. 情報処理装置が行う情報処理方法であって、
    照射手段に、距離測定のための測定パターンを測定対象に照射させる照射工程と、
    撮像手段に、前記測定パターンが照射されている前記測定対象を含む撮像画像を取得させる撮像工程と、
    前記撮像手段が取得する撮像画像のうち、相対的に多くの光を前記撮像手段へと反射する前記測定対象の第１部分を含む第１領域と、相対的に少ない光を前記撮像手段へと反射する前記測定対象の第２部分を含む第２領域と、を検出する第１の検出工程と、
    前記測定パターンのうち、前記第１部分に照射される第３領域と、前記第２部分に照射される第４領域と、を検出する第２の検出工程と、
    前記第３領域における照射光量が、前記第４領域における照射光量より少なくなるように、領域により照射光量が異なる測定パターンを生成する生成工程と、
    前記生成された測定パターンを前記照射手段に照射させる指示工程と、
    前記生成された測定パターンが照射された前記測定対象を含む撮像画像を前記撮像手段から取得し、該取得した撮像画像を用いて前記測定対象までの距離を導出する導出工程と、
    を有し、
    前記第１の検出工程では、予備測定パターンが照射された前記測定対象を含む撮像画像から、前記第１領域と前記第２領域とを検出し、
    前記生成工程では、前記第３領域における照射光量を少なくすることと、前記第４領域における照射光量を多くすることと、のうちの少なくとも一方を行うように、前記予備測定パターンを修正することにより、前記測定パターンを生成することを特徴とする情報処理方法。
19. コンピュータに、
    照射手段に、距離測定のための測定パターンを測定対象に照射させる照射工程と、
    撮像手段に、前記測定パターンが照射されている前記測定対象を含む撮像画像を取得させる撮像工程と、
    前記撮像手段が取得する撮像画像のうち、相対的に多くの光を前記撮像手段へと反射する前記測定対象の第１部分を含む第１領域と、相対的に少ない光を前記撮像手段へと反射する前記測定対象の第２部分を含む第２領域と、を検出する第１の検出工程と、
    前記測定パターンのうち、前記第１部分に照射される第３領域と、前記第２部分に照射される第４領域と、を検出する第２の検出工程と、
    前記第３領域における照射光量が、前記第４領域における照射光量より少なくなるように、領域により照射光量が異なる測定パターンを生成する生成工程と、
    前記生成された測定パターンを前記照射手段に照射させる指示工程と、
    前記生成された測定パターンが照射された前記測定対象を含む撮像画像を前記撮像手段から取得し、該取得した撮像画像を用いて前記測定対象までの距離を導出する導出工程と、
    を実行させるプログラムであって、
    前記第１の検出工程では、予備測定パターンが照射された前記測定対象を含む撮像画像から、前記第１領域と前記第２領域とを検出し、
    前記生成工程では、前記第３領域における照射光量を少なくすることと、前記第４領域における照射光量を多くすることと、のうちの少なくとも一方を行うように、前記予備測定パターンを修正することにより、前記測定パターンを生成することを特徴とするプログラム。

Images