JP5322206B2 - ３次元形状の計測方法および装置 - Google Patents

Description

本発明は、３次元形状の計測方法および装置に関し、例えば、（Ａ）ロボットなどが物体をハンドリングする場合に、物体の位置や形状を計測する３次元視覚センサーや、（Ｂ）洗濯物のように柔軟で形状が可変なシート状物品の３次元形状計測方法に関する。
なお、本明細書における「洗濯物」とは、特に断りのない限り、２つ以上の角部を有する形状のあらゆる洗濯物を意味しており、具体例としては、シーツ、包布、タオル等の方形状の布類が挙げられる。

従来の３元視覚センサーとしては、パターン光を投影し、光切断法による距離計測によりカメラパラメータを厳密に決定することで、光の当たった位置の３次元座標を計測するものがある。しかしながら、図１に示すように、透明容器の内側にある苗の形状と位置を認識し、茎の把持位置を把握する場合に、通常のステレオ処理では透明容器の存在により３次元形状が正しく求まらなかった。そこで、発明者らは、ますスリット状の数本の光を投影し、左右のカメラでの対応位置を確定しておいて、そこからの相対視差で３次元形状を求める方法を提言した（特許文献１および非特許文献１参照）。しかしながら、この方法は、苗の茎のように２次元形状そのものを抽出し易く、対応点候補が確定し難い場合には有効であったが、平面上に置かれた無地の布のように、形状が不定であり、かつ、対応点が見つけ難い物体の３次元形状の抽出はできなかった。

ところで、上記のような形状計測装置を用いて柔軟物ワークのハンドリングを行う場合に、容易に変形する柔軟物の端部特徴部を探索し、その位置や状態を識別することが行われている。前述のクローン苗の計測結果による移植システム等が提案されているが、シート状の柔軟物のワークを展開仕上げするために必要な識別技術がなかった。
また、ワークの３次元形状を計測し、既知のワーク形状とマッチングをおこないワークを取り出すビンピッキングのための技術が近年提言されているが、ワークが柔軟物の場合にはその形状が変化するため、マッチングを行うことができないという問題があった。

従来のランドリー工場における選択工程は次の手順で行われる。まず、入荷した汚れた方形状布片を集めて一緒にして水または洗浄剤によって洗濯または洗浄する洗濯工程で該布片の汚れを落とした後、脱水工程に導入し、脱水機で該布片を脱水し、互いの布片が絡みつき塊状となった布片の絡みを解いて布片を山積とする。ここで、該布片は柔軟で形を崩しやすい性質のために布片を自動的に折り畳むための機械化が困難で該布片の山積から該布片の一枚を取出して展開し折畳むには、手で広げて折り畳むか、もしくは、該布片を人手によって広げた後、布片の縁（辺）を揃えて折畳み装置に供給して折り畳むかしかなかった。

しかし、高温多湿の悪環境の下で人手によって山積みとなった該布片の中から一枚一枚取り上げ広げて折畳み装置に揃えるには重労働となり、その上、手間がかかるので作業能率が悪くコスト高となる等の問題点があった。
そこで、布片を折り畳む装置が考え出されたが、洗濯脱水後の布片を山積みにし、山積みとなった布片から一枚一枚を掴み上げて、布片の対角の角部を稜として折り畳む手段を機械化した装置（例えば、特許文献２）があるが、従来の装置は操作が複雑で手間が掛かり、折り畳みの精度が悪いといった問題点があった。

そこで、出願人の関連会社によって、方形状布片の任意の部分を掴んで吊し、吊された布片の角部の一つを掴んで吊す方法および装置が提言された（特許文献３）。
また、出願人の関連会社により、おしぼり等の方形状布片を三角形状に折り畳んで吊す装置が提言された（特許文献４）。

非特許文献２には、図２のような構成で、明暗の縞パターンの組み合わせを変えながら何度も投影し、観察点の明るさの変化の組み合わせを利用して、対応点を決定する方法が提言されている。

特開２００４−１９８４１３号公報 特公平５−３４２６２号公報 特許３３７９８５７号公報 特許３８０１７５８号公報 第11回知能メカトロニクスワークショップ，pp58-pp62，(2006) ，「クローン苗認識のための3次元視覚センサーとそのアルゴリズム」 井口征士、佐藤宏介：三次元画像計測、昭晃堂（1990）,pp.80-88

非特許文献２にはパターン光投影によるステレオ視覚処理が開示される。しかしながら、非特許文献２に開示される方法は、複数回のパターン投影が必要であるため高速処理ができないこと、ロボットの腕のように動きのあるものの上にセンサーを取り付けられないこと、などの問題があった。
また、複数のパターンを投影することを前提とするが、パターンが単純な場合には、布のように形状が不定の物体の３次元形状計測ができないという問題がある一方、パターンが複雑にするとステレオ画像の対応付けができなくなるという問題点がある。

ところで、クリーニング業界では、タオル等のリネン類を大量に洗濯し、展開して折りたたみ、スタックしてパッケージにしてリースする業態があるが、これらの作業を機械により自動化したいという強いニーズがある。これらの作業を自動化するためには、洗濯したリネン類を１枚ずつ取り出したり、端部を探索して把持し、展張する技術が必要である。すなわち、積み重なった柔軟物であるリネン類の山から、絡み無く１つずつリネン類をピックアップするためにその最高点の３次元座標を計測すること、および、一枚ないしは数枚のタオルを展開するため端部を探索することが必要である。

本発明は、可変シート状物品等のワークに対して行う作業を自動化するために、その３次元形状を高速かつ高分解能に取得することを解決すべき課題とし、より具体的には、例えば、山積みされた洗濯物を整形加工するために、画像認識により把持位置を判定し、その把持位置をロボットハンドにより把持し、シート状物品を整形することを解決すべき課題とする。

本発明の技術思想は、３次元形状抽出のためには空間的に密なパターンを用い、それと組み合わせて対応点決定のために、粗なパターンを配置することに特徴がある。このような特徴を有するパターンの例を、図３に示す。このパターンは、対象物体（ワーク）に投影されたとき、平面上に現れるパターンであり、下記の特徴を持つ。
［i］模様無しワークの形状を正確に計測できるよう、調密なパターンを配置し、さらに位置決め用の単純パターンを配置した。
［ii］調密パターンとしては格子パターンを用い、左右カメラが対応位置を取れるようにするため、格子を構成する線の方向を斜め４５度に設定した。
［iii］粗位置決め用のパターンとしては、パターンマッチング時に変形の影響を受けにくい円形のドット状パターンとした。
［iv］円形のドット状パターンの間隔は、視覚センサーの考えている動作範囲内では、対応点が別のドットと重ならない様に設計した。

上記と同様な考え方に基づくものであるが、さらに模様のない不定形３次元凹凸形状を簡便に調べるのに効果的な、一方向縞のパターン例を図４に示す。このパターンは、縦方向の段差などを計測するのに効果的な縦縞パターンと、対応付けを行うためのドット状パターンからなる。ドット状パターンは縦縞パターンを構成する直線の間に配置している。ここでは、想定される動作範囲内で左右のカメラ間で誤対応が起きないよう、ドット間隔をその範囲内で計算される視差よりも大に設定することが好ましい。
なお、異なる幅の線、異なる間隔の線、曲線、および、これらの組み合わせにより第２のパターンを構成できることは言うまでもない。この際、線を重ね合わせてもよいし、また、カラープロジェクタにより、異なる色の線によりパターンを構成してもよい。

以上の技術思想に基づく課題を解決するための手段を下記に記載する。
［１］ステレオカメラの撮像領域に配置されたワークにパターンを投影し、ステレオカメラによりワークのパターン付きステレオ画像を取得し、ステレオ画像処理することによりワークの３次元形状を計測する方法であって、前記投影パターンは、前記ワークのパターン付きステレオ画像の対応付けを行うための空間的に粗な第１のパターンと、ワークの３次元形状を計測するための空間的に密な第２のパターンとを組み合わせて配置したものであることを特徴とする３次元形状の計測方法。
［２］前記第１のパターンについてステレオ画像処理することにより、最高点または最低点を抽出する第１工程、第１工程で抽出された最高点または最低点の近傍に位置する前記第２のパターンについてステレオ画像処理をすることによりワークの最高点または最低点を抽出する第２工程、を含むことを特徴とする［１］に記載の３次元形状の計測方法。
［３］前記第１のパターンとしてドット状パターンを配置し、前記第２のパターンとして格子状パターンを配置することを特徴とする［１］または［２］に記載の３次元形状の計測方法。
［４］前記第１のパターンとしてドット状パターンを配置し、前記第２のパターンとして線状パターンを配置することを特徴とする［１］または［２］に記載の３次元形状の計測方法。
［５］前記ワークの２次元輪郭形状を計測し、ワークの端部候補を抽出する工程、前記工程により抽出したワークの端部候補からワークの端部を選定する工程、前記工程により選定したワークの端部についてステレオ画像処理することによりワークの端部の３次元位置情報を取得する工程、を含むことを特徴とする［１］ないし［４］のいずれかに記載の３次元形状の計測方法。
［６］前記ワークの２次元輪郭形状を計測し、ワークの端部候補を抽出する工程、前記ワークの段差エッジを３次元計測し、ワークの端部候補を抽出する工程、上記２つの工程により抽出したワークの端部候補からワークの端部を選定する工程、前記工程により選定したワークの端部についてステレオ画像処理することによりワークの端部の３次元位置情報を取得する工程、を含むことを特徴とする［１］ないし［４］のいずれかに記載の３次元形状の計測方法。
［７］前記ワークが、シート状の柔軟物であることを特徴とする［１］ないし［６］のいずれかに記載の３次元形状の計測方法。
［８］ステレオカメラを構成する一対の撮像素子と、前記ステレオカメラの撮像領域に配置されたワークにパターンを投影する投影装置と、前記ステレオカメラによりワークのパターン付きステレオ画像を取得し、ステレオ画像処理することによりワークの３次元形状を計測する制御部とを備える３次元形状の計測装置であって、前記投影装置は、前記ワークのパターン付きステレオ画像の対応付けを行うための空間的に粗な第１のパターンと、ワークの３次元形状を計測するための空間的に密な第２のパターンとを組み合わせて配置したものである投影パターンを投影可能であることを特徴とする３次元形状の計測装置。
［９］前記制御部は、前記第１のパターンについてステレオ画像処理することにより、最高点または最低点を抽出する第１工程、第１工程で抽出された最高点または最低点の近傍に位置する前記第２のパターンについてステレオ画像処理をすることによりワークの最高点または最低点を抽出する第２工程、を含むことを特徴とする［８］に記載の３次元形状の計測装置。
［１０］前記投影装置は、前記第１のパターンとしてドット状パターンを配置し、前記第２のパターンとして格子状パターンを配置した投影パターンを投影可能であることを特徴とする［８］または［９］に記載の３次元形状の計測装置。
［１１］前記投影装置は、前記第１のパターンとしてドット状パターンを配置し、前記第２のパターンとして線状パターンを配置した投影パターンを投影可能であることを特徴とする［８］または［９］に記載の３次元形状の計測装置。
［１２］前記制御部は、前記ワークの２次元輪郭形状を計測し、ワークの端部候補を抽出する工程、前記工程により抽出したワークの端部候補からワークの端部を選定する工程、前記工程により選定したワークの端部についてステレオ画像処理することによりワークの端部の３次元位置情報を取得する工程、を含むことを特徴とする［８］ないし［１１］のいずれかに記載の３次元形状の計測装置。
［１３］前記制御部は、前記ワークの２次元輪郭形状を計測し、ワークの端部候補を抽出する工程、前記ワークの段差エッジを３次元計測し、ワークの端部候補を抽出する工程、上記２つの工程により抽出したワークの端部候補からワークの端部を選定する工程、前記工程により選定したワークの端部についてステレオ画像処理することによりワークの端部の３次元位置情報を取得する工程、を含むことを特徴とする［８］ないし［１１］のいずれかに記載の３次元形状の計測装置。
［１４］前記投影装置は、前記一対の撮像素子の間に配置され、前記一対の撮像素子は、あおり光学系を構成することを特徴とする請求項［８］ないし［１３］のいずれかに記載の３次元形状の計測装置。

本発明によれば、可変シート状物品の３次元形状を取得することが可能となる。より詳細には、例えば、無地の布のハンドリングなど、対応点が取れないために、ステレオ画像処理で３次元形状が求められない場合においても、３次元形状を高分解能に取得することが可能となる。
また、模様や色彩が不鮮明な可変シート状物品の３次元形状を把握し、その２つの角部をロボットハンドにより掴むことが可能となる。
また、画像処理の対象領域を限定することにより、高速処理を実現することができる。

本発明の方法は、プロジェクタによりパターンが投影された可変シート状物品をステレオ撮像して一対のパターン付き画像を取得し、該パターン付き画像をステレオマッチングすることにより可変シート状物品の３次元形状を取得する可変シート状物品の形状認識方法であり、好ましくは、前記パターンは、複数のドット部を有する格子状のパターンであること、より好ましくは、前記ステレオマッチングは、一対の画像中の対応するドットのペアリングを行い、該ドット近傍の格子ラインのペアリングを行い、該格子ラインの三次元座標を計算することにより行われること、さらに好ましくは、パターンが投影されていない可変シート状物品をステレオ撮像したパターン無し画像を取得する工程と、前記パターン付き画像と前記パターン無し画像との差分画像を得る工程と、前記差分画像を２値化した２値化画像を取得する工程と、を含み、前記２値化画像をステレオマッチングすることを特徴とし、特に、前記可変シート状物品が、模様および色彩が不鮮明な洗濯物である場合に顕著な効果を奏する。
本発明の装置は、一定間隔に配置された複数の撮像素子と、該撮像素子の視野にパターンを投影する投影装置とを備えるステレオ撮像機構であり、好ましくは、前記投影装置は、複数のドット部を有する格子状のパターンを投影可能であること、より好ましくは、前記撮像素子が、前記投影装置を挟んで対称に配置されることを特徴とする。

最良の形態の本発明を、山積みされた無地の布のハンドリングを行う場合の例で説明する。
図５に示すように、ロボットハンドによりワークの山６から１つずつワーク５を取り出す作業を行う場合、ワークの山６の撮像画像に対してステレオ画像処理を施し、ワークの山６の最高点を抽出する必要がある。しかしながら、ワーク５が無地の布のように特徴部位を把握しにくい場合には、対応点を見つけることが困難であることが少なくない。そこで、本発明では、図６に示す視覚センサー３を用いることにより、対応点を高精度に（誤り率を低く）自動抽出することを可能としている。

本発明の視覚センサー３は、左右にカメラを配置したステレオ視覚系の中央にパターン投影機を置き、所定のパターンを投影し、ワーク５にパターンを写して、それを模様としてステレオ画像処理を行うことで、３次元形状を抽出する。
図７は、上記の視覚センサー３の具体的な構成の一態様を示すものである。図７に示すように、本発明の視覚センサー３は、中央にプロジェクタ３１が配置され、その両側部にカメラ３２，３３が配置されている。プロジェクタ３１は、ＬＥＤを光源とし、ガラス板等に所定のパターンを焼き付けたパターン基板を装着し、レンズで拡大投影する。ワーク５上に投影されたパターンを、左右のカメラ３２，３３で撮像し、カメラ間のパターンの対応付けを行い、ステレオ画像処理することで３次元形状を計算可能としている。左右のカメラ３２，３３のレンズは、左右それぞれの撮像素子と、布の山の中央を結ぶ直線上に有るように配置したあおり光学系とし、好ましくは中央よりにシフトを行う機能を持たせる（特許文献１参照）。ここで、あおり光学系とは、一般のステレオ光学系で近接した物体を見る場合、カメラを傾けるため遠近収差が発生するため、撮像面とレンズの平行度を保ったままレンズを中央にずらして配置することで、遠近収差の無い同一視野の画像を撮像することができる光学系である。ステレオ視覚センサー３をこのように構成することで、ステレオ対応付けの時、左右の画像間での同一点近傍の画像変形が少なく、対応付け処理が容易になる。

左右の画像の対応付けにあたり、ステレオカメラを構成する２台のカメラ３２，３３を、同じ台上に間隔を開けて水平に設置した構成におけるステレオ対応の考え方を、図８を参照しながら説明する。図８中、左カメラ３２の撮像素子の１画素Ｐ１が見ている方向は、Ｐ１の視線をのばした一本の直線上である。ここで、その直線を右カメラ３３で見たときに、もし仮想的な視線直線が空間中にあるとすると、右画像中に写り込む直線は図８に符号３４で示す直線となる。この直線３４のことを、エピポーララインと呼ぶ。
ステレオ視覚センサー３で観測する物体が高さＺ１とＺ２の間に有るとき、エピポーラライン３４上でステレオ対応点が現れる位置は、右カメラの視点ｅ２とＺ１、Ｚ２を結ぶ線が画面と交わる点、Ｑ１とＱ２の間に限られる。この長さは、光学系の設計が決まると、計算で求めることができる。そこで、粗く配置した粗パターン６１（例えば、ドット状パターン）の投影時の間隔ｈαをＱ１−Ｑ２の間隔よりも長くしておけば、ステレオ対応を行うとき、誤対応を起こすことが無い。本発明のステレオ視覚センサー３は、このような投影パターン６０をワーク５またはワークの山６に投影することにより、安定なステレオ対応を行うことを可能としている。発明者による度重なる試行の結果、図３および図４に示す投影パターンを用いてステレオ対応を行うとき、ドット状パターンは安定に対応づけられることが確認できた。
投影パターン６０は、例えば、ガラス基板、或いはフィルムでマスクパターンとして精度良く製作した。ここでパターンの全体サイズやドット、格子線のサイズは下記式１を用いて決定した。
（数１）P＝V×f／L
V(mm)：ステレオカメラの視野
L(mm)：カメラからターゲット（ワーク）までの作動距離
f(mm)：投影レンズの焦点距離
P(mm)：Vへの投影をカバーするマスクパターンのサイズ
マスクパターン上でのドットの直径や格子線の幅は、ターゲット面に投影するサイズに上記の式１を適用した値を用いる。
なお、上記の「ドット状」には、円、三角形、正方形、長方形、多角形、並びに、これらの重ね合わせおよび／または組み合わせてできる簡単な標識なども含まれる。

ところで、物体の３次元形状を調密に計測する必要がある場合、高い分解能で計測する必要がある場合、或いは、３次元座標を計測する場合には、粗パターン６１のみでは粗すぎるため、調密パターン６２の各ラインについても対応付けを行わなくてはならない。図３の場合、まずドット状パターン周りで一定の規則でラインに番号付けを行い、対応するドットの周りで、同じ番号付けが行われたラインを対応付けすることで、ステレオ対応が行われる。本発明の番号付けの処理方法の一態様を、図９を参照しながら説明する。
図９に示す処理方法においては、右上ブロック、右下ブロック、左上ブロック、左下ブロックの４領域に分けて処理される。まず、ドット状パターンに一番近い直線上の点Ｐ１を求め、Ｐ１を含む直線を直線１とする。直線１上で、ドット状パターンに近い交点を５つ探し、Ｐ２〜Ｐ６とする。これらの交点をもとに、各交点を含む直線１に交わる直線を直線６〜１０とする。そして、直線６〜１０に交わる直線として、直線１に平行な直線２〜５とする。
左右のカメラ３２，３３で対応が取れたドット状パターンの周りで、上記と同じ規則を適用して番号付けを行う。同じ番号付けが行われた直線郡を、対応直線とすることで、ステレオ対応を行うことができる。これにより、無地で積層された積層したワークの山６の３Ｄ形状を、調密に求めることができる。

図１０から図１３までを参照しながら、最高位置を算出する手順を説明する。
まず、図１０に示すように、パターン投影画像を左右カメラで取得する。次に、ドット状パターンで対応付けを行い、各ドットのそれぞれについてステレオ対応計算をし、３次元位置を求める。このドット状パターンの投影された位置の３次元位置データから、積層された布の形状を粗く求めると、図１１のような出力が得られる。図１１に示すドット状パターンのデータから、最高位置にあるドットを算出することができる。
続いて、図１２に示すように、最高位置にあるドットの周りの領域を取り出す。この同じドット状パターンの周りの画像を、ドット状パターンの位置で重ねると、図１３のような出力が得られる。そして、各直線の重なりのずれをもとに、ドット状パターンの位置からの相対高さを公知の手法により算出する。ここで、相対高さの算出手法については、特許文献１などに開示されるが、一例をあげると、計測対象上の基準点から計測対象までの高さｈを、撮像手段から計測対象上の基準点までの高さＨと、画像のずれ量ｄと、撮像手段間の距離Ｗから、下記式２で算出することができる。
（数２）ｈ＝Ｈｄ／（Ｗ＋ｄ）
相対高さを算出することにより、ワーク５が重なりあった全体のうちで、一番高い点を正確に求めることができる。その座標位置を計算し、ロボットハンドでその位置をつかむことで、１枚のワーク５をつかみ上げることができる。

《システムの構成例》
本発明のステレオ視覚センサー３を用いたシステムの構成例を図２７に示す。このシステムは、ＣＰＵ、記憶部等が組み込まれたコンピュータ（ＰＣ）からなる制御装置２０１と、制御装置２０１に接続されたカメラとの通信インターフェース部２０２と、外部制御機器の制御を行うインターフェース２３４，２３５と、ステレオカメラ２３２，２３３と、プロジェクタ２３１と、プロジェクタ光源２３６の制御電源２０２と、カメラインターフェースケーブル２０４（ＩＥＥＥ−１３９４）と、プロジェクタ光源の制御ケーブル２０５（ＴＴＬ）と、電源ケーブル２０６とを備えている。
制御装置２０１は、カメラに撮像命令を送信し、カメラからの画像情報を記憶部に記憶する。また、パターン光の点灯制御を行うためにＰＩＯコネクタであるインターフェースポート２３４を有し、電源と制御ケーブル２０５を介して通信し、ＴＴＬレベルでの光源制御を行うことができる。電源２０２は、プロジェクタ２３１が安全かつ高輝度に点灯するための電力を供給する。
図２７の構成例では、カメラの内部または近傍に制御電源を配置しカメラからＴＴＬケーブルを接続し、カメラが持つ点灯制御機能をもちいてステレオ同期撮像している。ここで、ＰＩＯインターフェースを、制御装置２０１の内部に備える構成としてもよいし、ＰＩＯインターフェースを有するカメラを利用してもよい。かかる構成によれば、制御装置２０１とカメラ間のＰＩＯケーブルが不要となり、ＩＥＥＥ−１３９４ケーブルだけですむこととなる。

システムの制御は、ステレオカメラの同期シャッター制御に合わせて高輝度光源の発光タイミングをコントロールする手法を採用することが好ましい。高コントラストのパターン画像を取得し、識別性を高めるためである。
また、２台のステレオカメラの間にプロジェクタを組み込むと、カメラの作動距離と視野に合わせて、その視野をカバーする投光パターン範囲を決定することが容易である。
また、投影レンズの焦点距離、イメージサークル、その他光学仕様からレンズ取り付け面からパターン設置部までの距離を計算し、本発明のパターン構成方法にもとづき設計されたパターンの大きさや間隔が、校正面上で設計通りになるようにマスクパターンを実装することが好ましい。

光源２３６は、基板上に高輝度ＬＥＤを１個もしくは多数個配置して、これを専用電源でカメラの撮像タイミングをカバーするように点灯させることが好ましい。作動時の熱によるダメージを抑えることでＬＥＤの寿命が延び、しかもオーバードライブできるので撮像時の明るさが増し、良好な画像が得られるからである。なお、熱によるダメージが懸念される場合には、ヒートシンクを基板裏に配置するのが好ましい。
ＬＥＤを多数個実装するときは、ＬＥＤの配置を周辺部に多く配置するのが好ましい。一般にレンズの軸周辺に配置すると照度が高くなり、斜めにレンズに入光させると、投影面での照度が下がるからである。また、撮像レンズでも同様に画像の中央部が明るく、周辺部が暗くなる傾向があるので、得られる画像がさらに中央部と周辺部で輝度値が変動しやすくなるからである。また、周辺部に多く配置することで、画像中央部と周辺部との照度差変化を抑えることもできる。

なお、撮像した画像のコントラストが不足する場合には、常時点灯型の高輝度光源を配置し、シャッタータイミング制御装置を光路上に配置してステレオカメラの同期シャッター制御に合わせて投影パターン発光する構成としてもよい。ここで用いる光源としてはメタルハライド光源やハロゲン光源等が例示される。放電灯は高輝度の光を効率よく出力できるが、同期撮像するには点灯制御が必要となるところ、このような制御は一般に困難である。そのため、メカニカルなシャッター機能を光路上に配置してこれを制御することにより高輝度な光での計測を可能することが好ましい。

以下では本発明の詳細を実施例で説明するが、本発明は実施例によって何ら限定されるものではない。

実施例１は、洗濯されたタオル等の布類のハンドリングシステムに関する。
本実施例のハンドリングシステムは、図１４に示すように、図示しない搬送装置により目的地に落下されたワーク５が構成した山６を、第１のロボットハンド１０および第２のロボットハンド２０により折畳機４に自動投入することができる。
本実施例のハンドリングシステムは、プルアップハンド２、ステレオ視覚センサー３、認識用台７、第１のロボットハンド１０、および第２のロボットハンド２０を実質的な構成要素とする。

《プルアップハンド２》
プルアップハンド２は、昇降スライダと、昇降スライダに取り付けられた把持部（チャック）とを備える。把持部によりワーク５を把持し、上方から吊り下げることができる。

《ステレオ視覚センサー３，４》
ワークの山６の上方位置には、ステレオ視覚センサー３（全体撮像機構３）が設けられている。ステレオ視覚センサー３は、レンズと撮像素子が平行に構成されたあおり光学系を利用した相対ステレオ視覚センサーである（図７参照）。本実施例のステレオ視覚センサー３の観察視野は、概ね１２００×１０００ｍｍである。
ステレオ視覚センサー３は、投影パターン６０を投射するためのプロジェクタ３１を有している。格子模様を有する投影パターンを投影することにより、レンズの歪みに起因する画像の歪みを取り除くこと、すなわち歪み補正をすることを容易にしている。
本実施例のステレオ視覚センサー３により、ミリメートル単位の凹凸を計測できることが確認できた。

また、本実施例では、ロボットハンド１０および２０に、観察視野が概ね２００×２００ｍｍの小型のステレオ視覚センサー４（手先撮像機構４）をそれぞれ搭載し、ロボットハンドの手先に位置するワーク５の要部の３次元形状を計測するようにしている。図１６は、手先撮像機構４の外観斜視図であり、図１７は、手先撮像機構４の内部構成図である。
手先撮像機構４は、シフト調整機構３１１、ライズ調整機構３１２、および、回転調整機構３１３を備えており、撮像視野をＸＹ方向およびθ方向に対して調整可能に構成されている。
図１６では、パターン基板３０６の背後に隣接してＬＥＤ光源３３６を配置して照明系を構成しているが、光源とパターンの間に集光レンズを配置し光源の発光体の像を投影レンズの絞りに結像させるケラー照明系を用いて構成することもできる。

《ロボットハンド１０，２０》
ロボットハンド１０，２０は、ワーク５を把持するためのフィンガー機構と、６軸の関節からなるアームとをそれぞれ備える。
ところで、従来、視覚認識センサーによりワーク特徴部のポーズを識別し、そのワークポーズ（ワーク姿勢）に対する手先部分のポーズを動作表現することで、ばら積みされた既知形状のワークを正確に把持できることが知られている。出現するワークポーズの方向性に対して対応するためには、従来６自由度のマニピュレータが使用されている。
なお、６自由度ではワーク姿勢に対応する手先部分のポーズを表現するための関節角の計算が比較的容易であるが、表現できない特異姿勢を到達範囲内に含んでいるためそのポーズの表現ができないことがある。したがって、計算の容易性やロボットハンドのコストの観点を捨象すれば、７軸の関節からなるアームを備えることが好ましい。

《１．作業工程の概要》
図１４を参照しながら、本実施例のハンドリングシステムにおける作業工程の概要を説明する。
(a)最高点の検出
この工程では、ステレオ視覚センサー３での撮像データに基づき、ワークの山６の最高点を検出する。ここで、ワークの山６は、洗濯後、脱水された状態で積層された無模様単色のタオルの山である。ワークの山６の最高点をロボットハンド１０または２０により掴む。なお、ワークの山６の最高点を検出するための具体的な処理については後述する。
(b)ワークの端部の把持
(i)ロボットハンドにより掴んだワーク５を、平らな認識用台７の上に展開する。
(ii)手先撮像機構４によりワークの一方の概略端点を判定し、フィンガー機構により概略端点の近傍を掴む。

(c)ワークの角部の把持
フィンガー機構で掴んだワークをプルアップハンド２に受け渡す。プルアップハンド２により吊されたワークの角部を手先撮像機構４により判定し、フィンガー機構によりワークの角部を把持する。
(d)ワークの他の角部の把持
ワークの角部を把持した状態で、ロボットハンドによりワークを上方に引き上げる。すると、他の角部がワークの下方に位置される。ワークの他の角部を手先撮像機構４により判定し、もう一方のロボットハンドのフィンガー機構によりワークの他の角部を把持する。
(e)ワークの折畳機への投入
２つの角部を掴まれたワークは、２つのロボットハンドにより展張された状態で、折畳機のコンベア上に載置される。折畳機によりワークは所定の折り数で折り畳まれる。

《２．フィンガー機構による把持》
図１６は、フィンガー機構によりワークを把持する手順の流れ図である。
まず、ユーザーにより、パーソナルコンピュータ等の入力手段から、ワーク５の把持位置情報が入力される（ＳＴＥＰ１）。本実施例では、ワーク５の角部を撮像するための設定情報を入力する。
手先撮像機構によりワーク５を撮像し（ＳＴＥＰ２）、その撮像データに画像処理を施すことにより把持位置の判定が行われる。より詳細には、特徴点としての端点（Ｐ１）、長辺点（Ｐ２）、短辺点（Ｐ３）が検出される箇所を把持位置とする（ＳＴＥＰ３）。本実施例では、特徴点のＸＹＺ座標をそれぞれ測定し、ワーク５の姿勢を算出可能としている。
ワーク５の把持位置が確定すると、把持位置までのロボットハンドの経路の計算が行われる（ＳＴＥＰ４）。続いて、算出したロボットハンドの経路に、特異点が含まれるなどにより実現が不可能でないかのチェックが行われる（ＳＴＥＰ５）。経路に不具合がある場合には、経路に不具合が含まれないことが確認されるまで経路の再計算が行われる。経路が確定すると、ロボットハンドへ経路情報が送信される（ＳＴＥＰ６）。

《３．ステレオ対応》
模様や色彩が不鮮明（無模様、単色含む）なタオル等においては、その３次元形状を把握することは困難である。ステレオ視の原理により物体の空間座標を把握する際には、左右の撮像素子により得られた画像間で対応する箇所（対応点）を見つけることが必要となるが、模様や色彩が不鮮明なタオル等の画像において対応点を見つけやすい特徴的な箇所を抽出することは容易ではない。そこで、本実施例では、ワーク５に投影パターン６０を投影することで、対応点の抽出を容易にすることを可能としている。
本実施例では、左右の撮像素子の間にプロジェクタを配置することで、撮像素子の視野に所定のパターンを投影することを可能としている。ただし、撮像素子とプロジェクタの配置は、この組み合わせに限られず、当業者が適宜変更することが可能である。
本実施例の投影パターン６０は、図３と同一であり、複数の粗パターン６１と調密パターン６２との組み合わせからなる。投影パターン６０は、対応点の検出が容易なものであれば、本実施例のパターンに限定されないことは言うまでもない。

左側の撮像素子３２により投影パターンが投影されたタオルを撮像した画像（以下、「左側画像」という。）と、右側の撮像素子３３により投影パターンが投影されたタオルを撮像した画像（以下、「右側画像」という。）を取得する。最高点の抽出にあたっては、まず、左側画像におけるドットの抽出が行われる。続いて、左側画像のドットと対応する右側画像のドットが、通常のパターンマッチングの手法により決定される。対応するドットの探索は、左側画像のドットと、右側画像のドットのエピポーラ線の水平化により行われる。
左右の画像の対応するドットのペアが決定されると、格子パターンを構成するラインのナンバリングが実行される。ここで、ドットと最も近いラインに１が付され、隣接するラインに連続する番号（例えば、２，３，４・・・）を付していく。続いて、番号が付されたラインと交叉するラインに、連続する番号（例えば、６，７，８・・・）を付する。
ナンバリングをすることで、同じ番号が付されたドットのペアについての３次元位置座標が計算可能となる。

《４．最高点の探索》
最高点の探索は、次の［１］〜［５］に記載されるアルゴリズムで行われる。
［１］本実施例では安定したイメージを得るために、背景差分法によるパターン抽出を行い、画像処理が行われた加工済み画像を用いて最高点の探索を行う。すなわち、投影パターンが投影されたイメージ（図１８(i)参照）から、投影パターンが投影されていないイメージ（図１８(ii)参照）を減算し、差分イメージ（図１８(iii)参照）を取得する。
［２］投影画像のクリアーなイメージを取得するために、上記［１］で得られた差分イメージを２値化する。本実施例では、この処理に浮動閾値を使用した。
［３］２値化された差分イメージにおいて、ドット状パターンが検出され、ステレオ画像処理が行われる。これにより、ワークの山６の最高点のラフな分析が可能となり、最も高いドットを見つけることができる（図１１参照）。
［４］最も高いドットの周辺の格子パターンのラインにより、方向の分析が行われる（図１９参照）。
［５］対応するラインのペアについて、ステレオ画像処理が行われ、格子ラインの３次元座標が計算される。この様子を示したのが図２０であり、同図中(i)は最も高いドットであり、(ii)は最高点である。このように、ドット状パターンの周辺の格子ラインについてのみ３次元位置座標を計算することにより、ワークの山６の最高点を高速に探索することが可能となる。

《５．概略端点の抽出》
最高点を把持されたワーク５は、認識用台７の上に展開して載置される。認識用台７の上に載置されたワーク５の概略端点の抽出は、単純な２値化処理により行われる。図２１(i)は、ワーク５の端部を撮像した画像であり、(ii)は(i)の画像を２値化した画像である。２値化した画像に画像処理を施して把持位置を算出し、ロボットハンドのフィンガー機構により把持位置を掴む（図１４(b)参照）。

概略端点の抽出作業を、図２２を参照しながら詳細に説明する。
まず、左右のパターン無し画像を取得し、背景差分法によりパターン抽出し、２値化処理を行う。続いて、２値化処理を行った画像に対しラベリングを行う。ラベリングは、画像を左上から右下にかけてラスタ走査を行う過程で横方向に一定の規則をもってラベル番号を振り、ラベル番号が振られた各画素にグループ番号を振り、各グループ番号に対してソートを行うとともに面積、重心の計算をする工程である。
次に、２値化された画像に対して、ワーク５の輪郭を抽出するためのトラッキングを行う。トラッキングデータを利用し、任意の距離の三点の情報をもとにベクトルのなす角の計算を行うことで概略端点位置を決定する。任意の距離の三点が構成する角が、例えば、９０度以下である場合には端点と判定し、把持位置の候補とする。但し、本実施例では、端点が無しと判定された場合には、輪郭の最も端にある位置を把持位置する例外処理を行っている。実際にハンドリングする際は、ワーク５の端点を把持すると、ワーク５を損傷したりするなどの問題があるため、２値化した画像における端点よりもやや内側の部分を把持位置とする。

《６．角部の抽出》
端部をフィンガー機構により掴まれたワーク５は、プルアップハンド２に受け渡され、プルアップハンド２の把持部が上昇することで、吊り下げられた状態となる。概略的な端部を保持し吊り下げたタオル等の布を展開する場合、布の両端部を保持して拡げるためには、隣り合う２つ角部を識別し、その位置情報や姿勢情報を取得する必要がある。ここで位置情報については、ワークの端点の一点のデカルト座標で示される位置が分かればよい。また、姿勢情報については、ワークの端点のデカルト座標値と、長辺上および短辺上に適当な距離を離れて位置する長辺上の点および短辺上の点のデカルト座標値とを組み合わせることで算出できる。

角部の抽出作業を、図２３から図２５までを参照しながら詳細に説明する。
まず、プルアップハンド２により吊されたワークの角部に投影パターンを投影し、左右のパターン無し画像を取得する。そして、背景差分法によりパターン抽出し、２値化処理を行う。ここまでは、上記《５》に記載した概略端点の抽出作業と同様である。続いて、上記《３》に記載したステレオ画像処理の手法により、ドット状パターンの対応付けおよび格子パターンの対応付けが行われ、３次元形状の抽出が行われる。
次に、上記《５》に記載した手法によりワーク５の輪郭を抽出するためのトラッキングを行い、曲率分析を実行して角部の候補を決定する（ＳＴＥＰ１１、図２４(i)参照）。ここで、ワーク５に重なりが無い場合には、単純な２次元画像のトラッキングデータの曲率判定により角部を決定することができるが、ワーク５がタオル等の場合には重なりが生じることを避けられない。そこで、３次元の等高分析により、３次元の高さの分析を行い、奥行き段差の有無を判定する（ＳＴＥＰ１２）。続いて、角部候補について角部の判定が行われる（ＳＴＥＰ１３）。本実施例では、背景との輪郭線を曲率判定して得る角部候補と、３次元計測して得られた段差部分のエッジをトラッキングして得る角部候補のうち曲率が小さいものを選択する。このとき、ワーク５の姿勢がカメラの反対側に降り曲がっている場合には、そこは特徴点ではないと判定する。そして、その特徴点近傍の面の向きがカメラの方に向いた端点を特徴点として識別し、その端点周辺の３点の位置情報を識別する。以上により、角部の位置情報および姿勢情報が把握される（図２４(ii)参照）。

図２６(i)は、角部の候補についての評価の様子を示す図面である。ここでは、全ての角部について、表面の平らさの評価（３次元平面度評価）が行われ、角部が選択される。より詳細には、曲がっている部分が角部の候補から外され、ロボットハンドに最も近い角部が選択される。選択された角部を把持するために、角部の３次元位置情報および方向が計算される。これら値を算出するために、選択された端点および端点を囲む２つのポイントが３次元格子データから抽出され、その情報がロボットハンドに送信される。選択された角部を構成する端点および端点を囲む２つのポイントを図２６(ii)に示す。

上記に説明した本実施例のハンドリングシステムによれば、高い成功率をもって洗濯したタオルのハンドリングを行うことができる。

スリット光パターン投影する従来の３次元計測装置である。 物体にコード化されたパターン光を８回投射し、全体を２５６個の領域に分けて、光切断法を応用して３次元計測を行う計測センサーの原理図である。 本発明の投影パターンの構成例である。 本発明の投影パターンの別の構成例である。 ロボットハンドによるハンドリングシステムの構成例である。 ステレオ視覚センサーによるパターン光投射の説明図である。 ステレオ視覚センサーの構成図である。 ステレオ画像処理におけるエピポーララインの説明図である。 図３の投影パターンにおける対応付けの手法の説明図である。 左右のカメラで撮像した、ワークの山のパターン付き画像である。 図１０の画像を用いて３次元計測を行った結果をグラフ表示した例である。 最も高いドットを選択し、周囲の画像を切り出した際の表示例である。 図１２で切り出した画像をドットの位置で重ね合わせたときの、格子状パターンの視差（ずれ）の表示例である。 実施例１に係るハンドリングシステムの作業工程の概要を説明するための図面である。 実施例１に係るロボットハンドによりワークを把持する手順の流れ図である。 実施例１に係る手先撮像機構の外観斜視図である。 実施例１に係る手先撮像機構の、(i)正面図、(ii)要部透過平面図、(iii)要部透過背面図である。 (i)投影パターンが投影されたワークの撮像画像と、(ii)投影パターンが投影されていないワークの撮像画像と、(iii)(i)および(ii)の差分画像である。 ステレオ画像処理による３次元形状抽出した際の表示例である。 (i)最も高いドットおよび(ii)最高点の抽出の説明図である。 (i)ワークの端部の撮像画像と、（ii)(i)の差分画像を２値化した画像である。 ワークの概略端点を抽出する手順の流れ図である。 ワークの輪郭抽出手順を示した図面である。 ワークの角部候補の判定手順を示した図面である。 ワークの角部を抽出する手順の流れ図である。 (i)ワークの角部評価の説明図と、（ii)角部座標検出の説明図である。 本発明のステレオ視覚センサーを用いたシステムの構成例である。

符号の説明

１ フレーム
２ プルアップハンド（吊し用ハンド）
３ ステレオ視覚センサー（ステレオ撮像機構）
４ ハンド用ステレオ視覚センサー（手先撮像機構）
５ ワーク（布類）
６ ワークの山
７ 認識用台
８ 折畳機
１０ 第１のロボットハンド
２０ 第２のロボットハンド
３１，４１ プロジェクタ（投影装置）
３２，３３，４２，４３ カメラ（撮像素子）
３４ エピポーラライン
５１ 長辺
５２ 短辺
６０ 投影パターン
６１ 粗パターン
６２ 調密パターン
１１０ ロボットハンド
１２１ ガラス容器
１２２ 幼芽
１２３ スリット光
１３１ スリット光投影系
１３２，１３３ カメラ
１４１ プロジェクタ
１４２ カメラ
３０１ 投影レンズ
３０２，３０３ 撮像レンズ
３０５ 鏡筒
３０６ パターン基板
３０７ パターン取付リング
３１１ ライズ調整機構
３１２ シフト調整機構
３１３ 回転調整機構
３３６ ＬＥＤ光源
３４２，３４３ 撮像素子

Claims (14)

1. ステレオカメラの撮像領域に配置されたワークにパターンを投影し、ステレオカメラによりワークのパターン付きステレオ画像を取得し、ステレオ画像処理することによりワークの３次元形状を計測する方法であって、
   前記投影パターンは、前記ワークのパターン付きステレオ画像の対応付けを行うための空間的に粗な第１のパターンと、ワークの３次元形状を計測するための空間的に密な第２のパターンとを組み合わせて配置したものであることを特徴とする３次元形状の計測方法。
2. 前記第１のパターンについてステレオ画像処理することにより、最高点または最低点を抽出する第１工程、
   第１工程で抽出された最高点または最低点の近傍に位置する前記第２のパターンについてステレオ画像処理をすることによりワークの最高点または最低点を抽出する第２工程、
   を含むことを特徴とする請求項１に記載の３次元形状の計測方法。
3. 前記第１のパターンとしてドット状パターンを配置し、前記第２のパターンとして格子状パターンを配置することを特徴とする請求項１または２に記載の３次元形状の計測方法。
4. 前記第１のパターンとしてドット状パターンを配置し、前記第２のパターンとして線状パターンを配置することを特徴とする請求項１または２に記載の３次元形状の計測方法。
5. 前記ワークの２次元輪郭形状を計測し、ワークの端部候補を抽出する工程、
   前記工程により抽出したワークの端部候補からワークの端部を選定する工程、
   前記工程により選定したワークの端部についてステレオ画像処理することによりワークの端部の３次元位置情報を取得する工程、
   を含むことを特徴とする請求項１ないし４のいずれかに記載の３次元形状の計測方法。
6. 前記ワークの２次元輪郭形状を計測し、ワークの端部候補を抽出する工程、
   前記ワークの段差エッジを３次元計測し、ワークの端部候補を抽出する工程、
   上記２つの工程により抽出したワークの端部候補からワークの端部を選定する工程、
   前記工程により選定したワークの端部についてステレオ画像処理することによりワークの端部の３次元位置情報を取得する工程、
   を含むことを特徴とする請求項１ないし４のいずれかに記載の３次元形状の計測方法。
7. 前記ワークが、シート状の柔軟物であることを特徴とする請求項１ないし６のいずれかに記載の３次元形状の計測方法。
8. ステレオカメラを構成する一対の撮像素子と、
   前記ステレオカメラの撮像領域に配置されたワークにパターンを投影する投影装置と、
   前記ステレオカメラによりワークのパターン付きステレオ画像を取得し、ステレオ画像処理することによりワークの３次元形状を計測する制御部とを備える３次元形状の計測装置であって、
   前記投影装置は、前記ワークのパターン付きステレオ画像の対応付けを行うための空間的に粗な第１のパターンと、ワークの３次元形状を計測するための空間的に密な第２のパターンとを組み合わせて配置したものである投影パターンを投影可能であることを特徴とする３次元形状の計測装置。
9. 前記制御部は、前記第１のパターンについてステレオ画像処理することにより、最高点または最低点を抽出する第１工程、
   第１工程で抽出された最高点または最低点の近傍に位置する前記第２のパターンについてステレオ画像処理をすることによりワークの最高点または最低点を抽出する第２工程、
   を含むことを特徴とする請求項８に記載の３次元形状の計測装置。
10. 前記投影装置は、前記第１のパターンとしてドット状パターンを配置し、前記第２のパターンとして格子状パターンを配置した投影パターンを投影可能であることを特徴とする請求項８または９に記載の３次元形状の計測装置。
11. 前記投影装置は、前記第１のパターンとしてドット状パターンを配置し、前記第２のパターンとして線状パターンを配置した投影パターンを投影可能であることを特徴とする請求項８または９に記載の３次元形状の計測装置。
12. 前記制御部は、
    前記ワークの２次元輪郭形状を計測し、ワークの端部候補を抽出する工程、
    前記工程により抽出したワークの端部候補からワークの端部を選定する工程、
    前記工程により選定したワークの端部についてステレオ画像処理することによりワークの端部の３次元位置情報を取得する工程、
    を含むことを特徴とする請求項８ないし１１のいずれかに記載の３次元形状の計測装置。
13. 前記制御部は、
    前記ワークの２次元輪郭形状を計測し、ワークの端部候補を抽出する工程、
    前記ワークの段差エッジを３次元計測し、ワークの端部候補を抽出する工程、
    上記２つの工程により抽出したワークの端部候補からワークの端部を選定する工程、
    前記工程により選定したワークの端部についてステレオ画像処理することによりワークの端部の３次元位置情報を取得する工程、
    を含むことを特徴とする請求項８ないし１１のいずれかに記載の３次元形状の計測装置。
14. 前記投影装置は、前記一対の撮像素子の間に配置され、
    前記一対の撮像素子は、あおり光学系を構成することを特徴とする請求項８ないし１２のいずれかに記載の３次元形状の計測装置。