JP2019181600A - ピックアンドプレイス装置 - Google Patents

Abstract

【課題】収納容器内に収納された複数の物品を、ロボットを用いてピックアンドプレイスするにあたり、収納容器内で最上位にある物品の鉛直方向の位置が変化しても、作業効率を低下させることなく物品を正確に取り出す。【解決手段】収納容器１０内に収納された複数の物品１を該収納容器の上面開口部から順次取り出し、又は上面開口部を介して収納容器内へ複数の物品を順次積載するピックアンドプレイス装置１００Ａが、収納容器１０の上面開口部の上方から該上面開口部の画像を撮る撮像装置２０、画像に基づいて物品の位置情報を取得する機能を有するロボット４０Ａ、収納容器１０内で最上位にある物品１ｔの鉛直方向の位置情報を取得する手段（距離センサ２２）、及び前記位置情報に基づいて撮像装置２０を昇降させることにより、収納容器１０内で最上位にある物品１ｔと撮像装置２０との鉛直方向の距離ｈを一定に保持する昇降手段２３を有する。【選択図】図１Ａ

Description

本発明は、ロボットを用いたピックアンドプレイス装置に関する。

物品を段ボール箱等の収納容器、ベルトコンベア、作業台等から取り出し、必要に応じて物品を所望の向きに合わせ、収納容器、ベルトコンベア、作業台等の所定の位置に置く、ピックアンドプレイスと称される作業が行われている。ロボットを用いたピックアンドプレイスでは、一般に、取り出す物品の画像を撮像装置で撮り、その画像情報をロボットのコントローラに送り、そのコントローラによって、物品を取り出すときのロボットハンドの位置や姿勢が正確に目標動作を行うように調整されている。そのため、撮像装置と物品の位置関係が変化すると撮像視野における物品像の比率が調整時とは異なるものとなり、物品を取り出すときのロボットハンドの位置や姿勢が正確に定まらず、正確な目標動作を行うことができない。

また、物品を収納容器に底部から順次箱詰めする場合に、収納容器内にて先に箱詰めした物品の画像を撮像装置で撮り、その画像情報に基づいて物品を箱詰めするときのロボットハンドの位置や姿勢を調整し、次の物品を箱詰めしていくことがある。この場合にも画像情報に基づいてロボットハンドの位置や姿勢を調整した後、物品と撮像装置との距離が変化したときに、物品を箱詰めしていくロボットハンドの位置や姿勢が調整時のままであると正確に目標動作を行うことができない。

このような問題は、意図せずに撮像装置が動いた場合や、物品を載置する作業台の高さが変った場合等に生じるが、後者に対しては、撮像装置と作業台との距離を計測し、撮像装置の視野範囲に物品が入るように撮像装置の高さを変更することが提案されている（特許文献１）。

また、パラレルリンク型ロボットを使用する場合に、並列した複数のアームが接続されているアーム先端側の可動プレートに撮像装置を取り付け、物品を取り出す際のつかみ方や方向を確認できるようにすることが提案されている（特許文献２）。

特開２０１５−１３１３７５号公報 特開２０１５−８５４８６号公報

しかしながら、従来のピックアンドプレイス装置では、段ボール箱等の収納容器に複数の物品が充填されている場合に、その収納容器内の物品を、迅速にかつ確実に取り出していくことができず、また、段ボール箱等の収納容器に複数の物品を迅速にかつ確実に詰めていくことができない。

即ち、特許文献１に記載のように、収納容器を載置する作業台の高さに応じて撮像装置の高さを変更すると、作業台と同じ高さにある物品は撮像装置の視野範囲に収めることができる。しかしながら、複数の物品が充填されている収納容器を作業台に載置し、作業台の高さに変化がなく、その収納容器から物品を順次取り出す作業を行う場合に、物品の取り出しが進むにつれて収納容器内で最上位にある物品の鉛直方向の位置が下がると、撮像装置の視野範囲に物品が収まっていても、視野範囲において物品の像が小さくなっていくので、物品を識別するための特徴を画像情報から正しく認識することができなくなり、また、画像情報に基づく物品の水平方向の位置が実際の位置とずれてしまい、ロボットハンドで物品を確実に取り上げることが困難となる。

また、特許文献２に記載のようにロボットのアーム先端側の可動プレートに取り付けた撮像装置で物品の画像を撮ると、その撮像装置の視野範囲において物品の大きさを一定範囲に保持することができるので、アーム先端側のロボットハンドで物品を取り上げることができる。しかしながら、アーム先端側の可動プレートに取り付けた撮像装置は、物品を取り上げるときから物品を所定の位置に置くときまでその物品を撮り続けることになり、その物品を取り上げ、その物品を所定の位置に置き、次の取り出すべき物品付近に戻るまでは次に取り出すべき物品の画像を撮ることができず、次の取り出すべき物品付近に戻ってから撮像することによりようやく物品を取り上げる位置が定まる。そのため、ピックアンドプレイスの作業効率が低下する。

この他、収納容器内の物品の取り出しを続けるにつれて収納容器内で最上位にある物品の鉛直方向の位置が下がってくることに対し、その下がった分だけ収納容器の載置台を持ち上げることが考えられるが、載置台を昇降させる周辺装置が必要となるので、設備が複雑化し、高価となる。さらに、収納容器が空になって次の収納容器と入れ替えるときには、上昇させた載置台を降下させることが必要となるため、収納容器の入れ替え時間が長くなり、作業効率が低下する。

上述した問題は、収納容器内の物品を順次取り出していく場合だけでなく、収納容器内に順次物品を積載していく場合にも生じる。即ち、物品を収納容器内に順次箱詰めする場合には、先に箱詰めした物品と重なるように次に箱詰めする物品を積載したり、逆に、先に箱詰めした物品を避けて次に箱詰めする物品を積載したりする場合には、先の物品を箱詰めした後に撮像装置で収納容器内の画像を撮り、その画像情報に基づいて収納容器内で次に物品を積載するときのロボットハンドの位置や姿勢を調整することがある。このような場合に、収納容器内へ物品の積載を続けるにつれて収納容器内で最上位にある物品の鉛直方向の位置が上がってくると、収納容器内で最上位にある物品と撮像装置との距離が変化し、画像情報に基づいてロボットハンドの位置や姿勢を正確に調整することが困難となる。

より具体的には、例えば、物品としてキャップを重なりなく段ボール箱等の収納容器に箱詰めする際、まず箱底に厚紙などの仕切り板をしき、次に仕切り板上の隅部からロボットでキャップを置いていく。仕切り板上の面にキャップを並べ終わると、次の仕切り板をその上にしき、さらにキャップを置いていくという作業を繰り返す。この際、収納容器内を撮像し、その画像情報に基づいてキャップを並べると、重なりなく、また最小の隙間にてキャップを並べることができるので、収納容器内に効率良くキャップを収納することができる。しかしながら、収納容器内に底から順にキャップが積層されていくと、視野範囲において物品の像が大きくなっていくので、物品を識別するための特徴を画像情報から正しく認識することができなくなり、また、画像情報に基づく物品の水平方向の位置が実際の位置とずれてしまい、ロボットハンドで物品を確実に置いていくことが困難となる。キャップ以外の物品、例えば薄状の包装用袋やボトル等を最小の隙間で積載する際も同様である。なお、収納容器内へ物品を積載するにあたり、仕切り板の使用の有無は適宜定められる。

このような収納容器内への物品の積載に関する問題に対し、収納容器内で最上位にある物品の鉛直方向の位置が上がった分だけ収納容器の載置台を下げることが考えられるが、載置台を昇降させる周辺装置が必要となるので、設備が複雑化し、高価となる。さらに、収納容器が満杯になって次の収納容器と入れ替えるときには、下降させた載置台を上昇させることが必要となるため、収納容器の入れ替え時間が長くなり、作業効率が低下する。

これらの問題に対し、本発明は、収納容器内に収納された複数の物品を順次取り出し（ピック）、所定の位置に置く（プレイス）というピックアンドプレイスを、ロボットを用いて行うにあたり、収納容器内で最上位にある物品の鉛直方向の位置にかかわらず、ロボットハンドで物品を正確に取り出し、かつ物品の取り出し位置が鉛直方向で変化しない場合に比して同等以上の作業効率を得ることを課題とする。また、本発明は、任意の場所に置かれた複数の物品を順次取り出し（ピック）、収納容器内に載置する（プレイス）というピックアンドプレイスを、ロボットを用いて行うにあたり、収納容器内で既に載置されている物品のうち最上位にある物品の鉛直方向の位置にかかわらず、ロボットハンドで物品を正確に収納容器内に積載し、かつ物品の積載位置が鉛直方向で変化しない場合に比して同等以上の作業効率を得ることを課題とする。

本発明者は、収納容器に収納された複数の物品を、ロボットを用いて順次正確且つ高速に取り出し、又は収納容器内に積載していくためには、取り出すべき物品の位置情報、又は物品を載置すべき位置の情報を画像情報に基づいてロボットに取得させるにあたり、収納容器内で最上位にある物品の鉛直方向の位置を取得し、その位置情報に基づいて、収納容器の上面開口部の画像を撮る撮像装置を昇降させることが有効であると想到し、本発明を完成させた。

即ち、本発明は、収納容器内に収納された複数の物品を該収納容器の上面開口部から順次取り出し、又は上面開口部を介して収納容器内へ複数の物品を順次積載するピックアンドプレイス装置であって、
収納容器の上面開口部の上方から該上面開口部の画像を撮る撮像装置、
画像に基づいて物品の位置情報を取得する機能を有するロボット、
収納容器内で最上位にある物品の鉛直方向の位置情報を取得する手段、及び
前記位置情報に基づいて撮像装置を昇降させることにより、収納容器内で最上位にある物品と撮像装置との鉛直方向の距離を一定に保持する昇降手段を有するピックアンドプレイス装置を提供する。

また、本発明は、複数の物品が収容されている収納容器の上面開口部の上方から該上面開口部の画像を撮像装置で撮り、その画像に基づいて物品の位置情報を取得する機能を有するロボットを用いて、収納容器内に収納された複数の物品を該収納容器の上面開口部から順次取り出し、又は上面開口部を介して収納容器内へ複数の物品を順次積載するピックアンドプレイス方法であって、
収納容器の上面開口部の画像を撮るにあたり、収納容器内で最上位にある物品の鉛直方向の位置情報を取得し、取得した物品の位置情報に基づいて撮像装置を昇降させ、撮像装置と収納容器内で最上位にある物品との鉛直方向の距離を一定にするピックアンドプレイス方法を提供する。

本発明のピックアンドプレイス装置又はピックアドプレイス方法によれば、ロボットが物品の位置情報を取得するために使用する画像を、収納容器内で最上位にある物品との鉛直方向の距離を一定に保持した撮像装置で撮るので、画像情報から物品の特徴と位置を精確に認識することが可能となる。

したがって、収納容器内に収納された複数の物品を、ロボットを用いて順次取り出していく場合には、収納容器内からの物品の取り出しが進行するに応じて収納容器内における物品の最上位の位置が下がっても、撮像視野において最上位にある物品の大きさの比率を一定の範囲に保持することができ、収納容器内で物品が整列状態に積層していても、又はランダムに積まれていても、収納容器から物品を順次確実に取り出すことができる。一方、ロボットを用いて収納容器内へ複数の物品を順次積載していく場合には、物品の積載の進行に応じて収納容器内における物品の最上位の位置が上がっても、撮像視野において最上位にある物品の大きさの比率を一定の範囲に保持することができ、物品を収納容器内の載置すべき位置に精確に積載していくことができる。

また、本発明によれば、撮像装置がアームの先端又はロボットハンドに取り付けられている場合と異なり、物品を所定の位置にプレイスするためにロボットハンドが収納容器から離れている場合でも、撮像装置は収納容器の上面開口部の画像を撮ることができ、その時点で最上位にある物品の特徴と位置を画像情報から精確に取得することができる。

したがって、収納容器内に収納された複数の物品を、ロボットを用いて順次取り出していく場合には、ロボットハンドが、収納容器から取り出した物品を収納容器外の位置にプレイスする間に、次に収納容器から取り出す物品の位置をロボットに認識させることができ、また、収納容器内へ物品を順次積載していくピックアンドプレイスを行う場合には、ロボットハンドが保管場所等の収納容器外の場所から物品を取り出す間に、その物品を積載すべき収納容器内の位置をロボットに認識させことができる。よって、物品のピックアンドプレイスを効率的に行うことができる。

特に、本発明のピックアンドプレイス装置又はピックアドプレイス方法において、撮像装置と共に昇降する照明手段を有する態様によれば、収納容器内の物品を常時十分な光量で照明することができ、光量を調整する機構を照明手段に別途設けなくても、収納容器内の上部に収納された物品から底部に収納された物品に至るまで、高速かつ正確に取り出すことが可能となる。

図１Ａは、垂直多関節型ロボットを備えるピックアンドプレイス装置１００Ａであって、ロボットハンドが物品のプレイス位置にある状態の概略正面図である。 図１Ｂは、垂直多関節型ロボットを備えるピックアンドプレイス装置１００Ａであって、収納容器内で最上位の物品が収納容器の上面開口部付近にあり、ロボットハンドがその物品をピックする位置にある状態の概略正面図である。 図１Ｃは、垂直多関節型ロボットを備えるピックアンドプレイス装置１００Ａであって、収納容器内で最上位の物品が収納容器の上面開口部付近にあり、物品をピックしたロボットハンドが物品のピック位置上空にある状態の概略正面図である。 図１Ｄは、垂直多関節型ロボットを備えるピックアンドプレイス装置１００Ａであって、収納容器内で最上位の物品が収納容器の底部付近にあり、ロボットハンドが物品のプレイス位置にある状態の概略正面図である。 図１Ｅは、垂直多関節型ロボットを備えるピックアンドプレイス装置１００Ａであって、収納容器内で最上位の物品が収納容器の底部付近にあり、ロボットハンドが物品のピック位置にある状態の概略正面図である。 図１Ｆは、垂直多関節型ロボットを備えるピックアンドプレイス装置１００Ａであって、収納容器内で最上位の物品が収納容器の底部付近にあり、物品をピックしたロボットハンドが物品のピック位置上空にある状態の概略正面図である。 図２は、ピックアンドプレイス装置１００Ａの撮像装置付近の（ａ）上面図、（ｂ）正面部分断面図及び（ｃ）側面図である。 図３は、ピックアンドプレイス装置１００Ａにおける撮像装置と収納容器内の物品との位置関係を示す概略斜視図である。 図４Ａは、スカラ型ロボットを備えるピックアンドプレイス装置１００Ｂであって、ロボットハンドが収納容器の底部付近に存在する物品をピックした状態の概略正面図である。 図４Ｂは、スカラ型ロボットを備えるピックアンドプレイス装置１００Ｂであって、物品をピックしたロボットハンドが収納容器の上空にある状態の概略正面図である。 図５Ａは、パラレルリンク型ロボットを備えるピックアンドプレイス装置１００Ｃであって、ロボットハンドが収納容器のピック位置の上空にある状態の概略正面図である。 図５Ｂは、パラレルリンク型ロボットを備えるピックアンドプレイス装置１００Ｃであって、ロボットハンドが収納容器の底部付近に存在する物品のピック位置にある状態の概略正面図である。 図５Ｃは、パラレルリンク型ロボットを備えるピックアンドプレイス装置１００Ｃであって、物品をピックしたロボットハンドが物品のピック位置上空にある状態の概略正面図である。 図５Ｄは、パラレルリンク型ロボットを備えるピックアンドプレイス装置１００Ｃであって、ロボットハンドが物品のプレイス位置にある状態の概略正面図である。 図６は、パラレルリンク型ロボットの概略上面図である。 図７は、物品の誤認試験で使用したパウチの登録画像である。 図８Ａは、上面開口部付近までパウチが充填されている収納容器内で最上位にあるパウチと撮像装置との距離の説明図である。 図８Ｂは、収納容器の上面開口部付近までパウチが充填されているときに撮像装置で撮られた画像である。 図８Ｃは、収納容器の上面開口部付近までパウチが充填されているときに撮像装置で撮られた画像中のパウチ画像と、そのパウチの登録画像との対比図である。 図９Ａは、収納容器の底部付近にのみパウチが存在するときの、収納容器内で最上位にあるパウチと撮像装置との距離の説明図である。 図９Ｂは、収納容器の底部付近にのみパウチが存在するときに、収納容器内で最上位にあるパウチとの距離が一定に保持されない撮像装置で撮られた画像である。 図９Ｃは、収納容器の底部付近にのみパウチが存在するときに、収納容器内で最上位にあるパウチとの距離が一定に保持されない撮像装置で撮られた画像中のパウチ画像と、そのパウチの登録画像との対比図である。 図１０は、収納容器の上面開口部付近に物品が存在するときに画像から認識される最上位の物品の重心座標と、その物品の実際の重心座標とを、（ａ）収納容器の上面図及び（ｂ）撮像装置と収納容器の正面図に示した図である。 図１１は、収納容器の底部付近に物品が存在するときに、収納容器内で最上位にあるパウチとの距離が一定に保持されない撮像装置で撮られた画像から認識される最上位の物品の重心座標と、その物品の実際の重心座標とを、（ａ）収納容器の上面図及び（ｂ）撮像装置と収納容器の正面図に示した図である。 図１２Ａは、円柱状物品がランダムに充填されている収納容器の上面開口部の画像である。 図１２Ｂは、円柱状物品がランダムに充填されている収納容器から物品を複数個取り出した後に撮った上面開口部の画像であって、ピック可能な物品が認識されない画像である。 図１２Ｃは、円柱状物品がランダムに充填されている収納容器から物品を複数個取り出し、その収納容器を揺さぶった後に撮った上面開口部の画像であって、ピック可能な物品が認識される画像である。 図１３は、円柱状物品の登録画像と撮像装置で撮られる物品像の説明図である。 図１４は、ピックアンドプレイス装置１００Ａにおける動作のフローチャートである。 図１５は、ピックアンドプレイス装置の動作制御における基準位置の説明図である。 図１６は、収納容器内で最上位に存在する物品と撮像装置との距離（ｈ＋ｈ1）と、画像から認識されるｘ座標のズレ量（ｘ−ｘ1）との関係図である。 図１７は、物品を収納した収納容器の開口状態の斜視図である。

以下、図面を参照しつつ本発明を詳細に説明する。なお、各図中で同一の符号は、同一又は同等の構成要素を表している。
また、以下の説明では、収納容器内の物品を順次取り出していくピックアンドプレイスを行う装置及び方法について主に説明するが、収納容器内に物品を順次積載していくピックアンドプレイスを行う装置及び方法は、収納容器内の物品を順次取り出していくピックアンドプレイスを行う装置及び方法に準じて構成することができる。

［収納容器内から物品を取り出すピックアンドプレイス装置の概要］
図１Ａは、本発明の一実施例のピックアンドプレイス装置１００Ａの概略正面図であって、収納容器内で最上位に存在する物品１ｔが収納容器の上面開口部付近に位置し、ロボットハンド４２がプレイス位置にある状態を示している。また、図２は図１Ａのピックアンドプレイス装置１００Ａの撮像装置２０付近の上面図、正面図及び側面図であり、図３は撮像装置２０と収納容器１０内の物品１との位置関係を示す概略斜視図である。

この実施例のピックアンドプレイス装置１００Ａは、箱形の収納容器１０に収納された複数の物品１を、該収納容器１０から順次取り出し、ベルトコンベア５０上のプレイス位置に所定の向きで置くというピックアンドプレイスを行う。なお、本発明においてプレイス位置は１箇所に限定されず、例えば、ピック位置の両側にベルトコンベアを配置し、一つの収納容器に入っている物品を２列のベルトコンベアに取り出しても良い。

図１７に示したように、本実施例において収納容器１０に入っている物品１は、開閉可能なキャップなどを有する、内容物が未充填で内容物により膨らむ前の薄いスパウト付パウチの空袋であり、収納容器１０では、スパウト付パウチの空袋が、スパウト部２の位置がずれながら収納容器１０の上面開口部付近まで多層に積層されている。なお、本発明において所定の位置にプレイスされた物品１は適宜その後の工程に供される。例えば、図１Ａのピックアンドプレイス装置１００Ａによりベルトコンベア５０に取り出されたスパウト付パウチの空袋は内容物充填機に供給され、空袋内に内容物が充填される。

ピックアンドプレイス装置１００Ａは、収納容器１０の上面開口部の画像を撮る撮像装置２０、収納容器１０内を照明する照明手段２１、撮像装置２０が撮った画像に基づいて物品１の位置情報を取得する機能を有する垂直多関節型ロボット４０Ａを有している。

また、このピックアンドプレイス装置１００Ａは、収納容器１０内で最上位にある物品１ｔの鉛直方向の位置情報を取得する手段として距離センサ２２を有しており、距離センサ２２が取得した位置情報に基づいて撮像装置２０を昇降させることにより、収納容器１０内で最上位にある物品１ｔと撮像装置２０との鉛直方向の距離ｈを一定に保持する昇降手段２３を有している。したがって、この距離ｈは、最上位にある物品１ｔが収納容器１０の上面開口部付近に存在するとき（図１Ａ）も、収納容器１０からの物品の取り出しが進んで最上位にある物品１ｔが収納容器１０の底部付近に存在するとき（図１Ｄ）も一定である。

［物品］
図１Ａには、物品１として、開閉可能なキャップなどを有する、内容物が未充填の薄いスパウト付パウチの空袋を示したが、本発明において物品１の形状、大きさ、用途等に特に限定はない。形状の例として、球、立方体、直方体、円柱体、円錐体、板、棒、線材、フィルム又はシート等の薄状体などをあげることができる。用途の例としては、キャップ、ボトル、包装用材料等をあげることができ、特に包装用材料としての薄状包装用袋を挙げることができる。種々の物品の中でも、本発明が大きな効果を発揮するものは、パウチの空袋、スパウト付パウチの空袋等の薄状包装用袋であり、その中でも大きな効果を発揮するものは開閉可能なキャップなどを有するスパウト付パウチの空袋（以下、単に空袋ともいう）の如く、全体が薄状体であるがその一部分が厚いために位置がずれながら多層に積層される物品である。空袋のスパウト部は、キャップ、ストローの内包部等により袋部よりも厚みが厚い。また、空袋の袋本体は、樹脂層、アルミ層、又はそれらの複合シート等で形成されているので袋本体の表面が滑りやすい。そのため、この空袋を内容物の充填機に供給するために収納容器から一枚ずつ取り出すと、スパウト部が厚いことや、袋本体の表面が滑りやすいことから、収納容器から空袋を取り出す度に取り出した空袋の周辺の空袋が動き、収納容器に残っている空袋の水平方向の位置が変化する。それだけでなく、スパウト付パウチの空袋はその一部分が厚いため、収納容器内では反りを生じたり傾いたりしているので、空袋の水平方向位置が変化すると鉛直方向位置も変化することがある。また空袋の取り出しが進むと、最上部の空袋の鉛直方向位置は低くなっていく。そのため、従前の方法で収納容器の上面開口部の画像を撮っても、様々な誤差が生じ、画像認識により収納容器から取り出すべき空袋の位置や姿勢を取得することは極めて困難である。これに対し、本発明では、収納容器の上面開口部の画像を撮るにあたり、その画像における空袋の大きさを常時一定の範囲に保持できるので、画像認識の精度が高まり、確実に空袋を取り出すことが可能となる。

［収納容器］
図１Ａには、収納容器１０として段ボール箱等の箱形容器を示したが、本発明において収納容器１０の形状や材質には特に制限はない。段ボール箱の他、樹脂ケース、折り畳み可能なコンテナ等とすることができる。収納容器１０に物品を収納し、輸送する間に埃や塵が物品１に付着しないように、収納容器１０の内側に内袋をセットし、その内袋内に物品１を積層するものでもよい。

［ロボット］
本発明において、ロボットの種類は特に限定されず、垂直多関節型ロボット、スカラ型ロボット（水平多関節型ロボット）、パラレルリンク型ロボット等を使用することができる。いずれの種類のロボットにおいても、ロボットとしては、ロボット自体に、又はロボットとそれに付随する装置も含めたロボットシステムとして、不図示の画像認識装置を有するものを使用する。画像認識装置は、画像が入力されると画像内の物品の位置情報を取得し、ロボットのコントローラは、画像認識装置が取得した物品の位置情報に基づいて、収納容器１０から物品１を取り出すときのロボットハンド４２の位置や姿勢を制御する。

図１Ａに示した本実施例のピックアンドプレイス装置１００Ａは、ロボットとして、垂直多関節型ロボット４０Ａを有している。このピックアンドプレイス装置１００Ａでは、ピックアンドプレイスの対象とする物品１がスパウト付パウチの空袋であり、ロボットハンド４２はスパウト付パウチの空袋を吸着する吸着式のものとなっている。垂直多関節ロボット４０Ａが物品１をベルトコンベア５０にプレイスする際（図１Ａ、図１Ｄ）、収納容器１０の上方にはロボットアームの上腕やロボット本体などのロボットの構成要素が存在しない。そのため、撮像装置２０や距離センサ２２を収納容器１０の上面開口部上に設置することが可能となり、プレイスの際に撮像が容易に行えるので好ましい。

垂直多関節ロボット４０Ａでは、物品１を保持したロボットハンド４２が物品のピック位置の上空にあるときに、ロボットアーム４１の最高位置と撮像装置２０との間に間隙Ｚ１をあけ、ロボットハンド４２に保持された物品１の最下位置と収納容器１０との間に間隙Ｚ２を有すことで、ロボットアーム４１と撮像装置２０が干渉して、ロボットアーム４１によって撮像装置２０を破損するなどのトラブルを防止できる。（図１Ｃ、図１Ｆ）。

図４Ａ及び図４Ｂは、スカラ型ロボット４０Ｂを用いた実施例のピックアンドプレイス装置１００Ｂの概略正面図である。このピックアンドプレイス装置１００Ｂでは、ピックアンドプレイスの対象とする物品１がポンプキャップであり、ロボットハンド４２はポンプキャップを把持する開閉把持式のものとなっている。

スカラ型ロボット４０Ｂは、ロボットアームの先端に、該先端の回転と高さ変更を行うＺ軸４３を有している。スカラ型ロボット４０Ｂでは、収納容器１０内の底部付近の物品１を取り出すときにはロボットアーム先端の回転と高さ変更を行うＺ軸４３の突き出し量が小さく、Ｚ軸４３の上端は低いが（図４Ａ）、収納容器１０の上方の物品１を取り出すときには、物品１を収納容器１０の最高位置以上に持ち上げることが必要となり、Ｚ軸４３がロボットアーム４１の先端の上方に大きく突き出す（図４Ｂ）。このとき、Ｚ軸４３の上端と撮像装置２０との間に間隙Ｚ１を有すように、上方に大きく突き出したＺ軸４３の上端よりも上に撮像装置２０や距離センサ２２を設置することが好ましい。また、この状態でロボットハンド４２に保持された物品１の最下位置と収納容器１０との間にも空隙ｚ２を有すようにすることが好ましい（図４Ｂ）。このように間隙Ｚ１、Ｚ２を有することで、Ｚ軸４３と撮像装置２０が干渉することによりＺ軸４３が撮像装置２０を破損するなどのトラブルを防止できる。

なお、Ｚ軸４３は中空であり、Ｚ軸４３内にロボットハンド４２の開閉用又は吸着用のエアチューブや信号線を通すことができる。

図５Ａ〜図５Ｄは、パラレルリンク型ロボット４０Ｃを用いた実施例のピックアンドプレイス装置１００Ｃの概略正面図であり、図６は図５Ａの上面図である。図５Ａ及び図６に示したように、３つのロボットアーム４１ａ、４１ｂ、４１ｃを有するパラレルリンク型ロボット４０Ｃのロボット本体４４の中央部の真下には、ロボットアーム４１ａ、４１ｂ、４１ｃがどのような動きをしてもこれらのロボットアームが来ない３角柱状の空間Ｐがあり、３つのロボットアーム４１ａ、４１ｂ、４１ｃの動作範囲に隣接した領域にもロボットアーム４１ａ、４１ｂ、４１ｃがどのような動きをしてもこれらのロボットアーム４１ａ、４１ｂ、４１ｃが来ない空間Ｑがある。そこで、このピックアンドプレイス装置１００Ｃでは、ロボットアームが来ない空間Ｐを利用して撮像装置２０や距離センサ２２を設置し、収納容器１０の設置場所をロボット本体４４の中央部の真下としている。即ち、この空間Ｐに撮像装置２０を設置すると、収納容器１０の上面開口部付近まで物品１が充填されているために撮像装置２０が、該撮像装置の昇降範囲内で高い位置にあり、この状態で物品１を取り出すためにロボットハンド４２を収納容器１０の上空に移動させたときも（図５Ａ）、収納容器１０からの物品１の取り出しが進行して収納容器内の最上位の物品の位置が下がり、その分撮像装置２０の位置を下げて画像を撮り、収納容器１０の底部付近に残っている物品１を取り上げるときも（図５Ｂ）、収納容器１０内でピックした物品１を収納容器１０の上空に持ち上げたときも（図５Ｃ）、収納容器１０から取り出した物品１を、ベルトコンベア５０等の所定のプレイス位置に置くときも（図５Ｄ）、撮像装置２０がロボットアーム４１ａ、４１ｂ、４１ｃの動作の障害になることはない。

パラレルリンク型ロボット４０Ｃでは、図５Ａ及び図５Ｂに示したロボットアームの最大可動範囲又はロボットハンドの最大可動範囲からわかるように、ロボット本体４４の中央部真下におけるロボットアーム４１ａ、４１ｂ、４１ｃの上下ストロークが、ロボットアーム４１ａ、４１ｂ、４１ｃの動作範囲の外周付近の上下ストロークよりも大きい。そのため、収納容器１０をロボット本体４４の中央部真下に設置することにより収納容器１０の深さが深い場合でも収納容器１０から物品１を取り出すことが可能となる。この場合、ピックアンドプレイス装置１００Ｃで扱える収納容器１０の最大深さは空間Ｐに設置可能な昇降装置２４の上下のストローク程度となる。

一方、パラレルリンク型ロボット４０Ｃの空間Ｑに撮像装置２０や距離センサ２２を設置し、この空間Ｑの真下に収納容器１０を設置してもよい。これにより、ロボットアーム４１の動作範囲の外周付近から物品を取り出せるので、物品の取り出し位置からプレイス位置までの移動距離を長くすることができ、プレイス位置の設定場所の自由度を高めることができる。この場合、ピックアンドプレイス装置１００Ｃで扱える収納容器１０の最大深さは、パラレルリンク型ロボット４０Ｃの動作範囲の外周付近におけるロボットアーム４１の上下ストロークの程度となる。

ロボットとして垂直多関節型ロボット、スカラ型ロボット、パラレルリンク型ロボット等のいずれを使用する場合でもロボットの設置位置は特に限定されず、使用するロボットの種類等に応じて、床置き、壁吊り、天吊り等とすることができる。

［ロボットハンド］
いずれの種類のロボットにおいても、ロボットハンド４２は、吸着式、開閉把持式などとすることができる。吸着式は、１個又は複数個のバキュームパッドからなる。吸着式は物品１に接触すると直ちに物品１を把持することができるので、ロボットの動作時間を短縮し、ピックアンドプレイス装置１Ａの処理能力を高める上で好ましい。一方、開閉把持式は駆動源としてエアー駆動機器やモータを使用する。開閉把持式によれば、２以上の方向から物品１を掴むようにして把持することができる。そのため、物品が複雑な形状であっても物品を確実に把持することができる点で好ましい。また、物品のサイズや形状が異なる場合に、把持開始位置や終了位置、把持力などを調整することにより、ロボットハンドを交換しなくても物品の把持が可能となる点でも好ましい。

［画像認識装置とロボット制御］
本発明においてロボットの制御は、従前のロボットなどのピックアンドプレイス装置で使用されている画像認識装置やコントローラを使用することができる。即ち、画像認識装置は、撮像装置２０が収納容器１０内に置かれた物品を撮像すると、その撮った画像中から予め登録しておいた情報と一致する物品を探し出し、撮像した画像中の物品の位置と向きを認識し、ロボットハンド４２が物品１を取り出すピック位置と向きを決定する。その位置と向きの情報に基づき、コントローラはロボットハンドがピックに至るまでのロボットアーム動作、ピック時のハンドの位置と向きを定めるアーム動作、ハンドの吸着や開閉動作、プレイスへのハンドの位置と向きを定めるアーム動作などを制御する。この方法で認識された物品が複数個ある場合には、より精度の高いものを優先させることにより物品の取り出し位置と向きが決定される。しかしながら、収納容器１０内の物品の取り出しが進み、収納容器内における最上層の物品の位置が下がってくると、従前の画像認識装置とコントローラを使用するだけでは、次の理由１、理由２により、撮像装置２０が撮った画像に基づいて物品の位置を精確に認識することができず、ロボットハンド４２の位置や姿勢を精確に制御することができない。

（理由１）
一般に、予め登録しておいた情報と撮像した画像中の物品との一致度を相関値という。相関値が１００％のとき、予め登録しておいた情報と画像中の物品とは完全一致となる。通常、画像に基づいて物品を認識する場合、相関値の閾値を定め、相関値が閾値未満の物品は収納容器１０から取り出す物品から除外する。複数の物品の輪郭や模様などが入り組んでいる画像では、物品が存在しないところで物品が存在すると誤認されることがあるが、相関値に閾値を定め、閾値未満の物品を取り出す物品から除外することにより上述の誤認を防止することができる。閾値は撮像条件によって適宜調整されるが、通常は、相関値８０％程度を閾値とする。

収納容器１０からの物品１の取り出しが進み、収納容器１０内で最上位の物品と撮像装置２０との距離が変化すると、撮像した画像に占める物品の大きさは徐々に小さくなり、相関値が低下し、相関値が閾値未満となると実際には物品が存在するのに、物品が無いものとして認識される場合がある。

例えば、物品１として、縦３００ｍｍ、横２００ｍｍの大きさのパウチであり、図７に示すように、パウチ１の表面に「２．５倍」及び「Ａｂｃ」という文字が記載されているものを使用し、パウチと撮像装置との距離と誤認との関係を調べる誤認試験を行った。この場合、撮像装置の視野の略全域に収納容器１０の画像を納めるのに適した、最上位の物品１ｔと撮像装置との距離ｈは１２００ｍｍであった。相関値の閾値は８０％に設定した。収納容器（縦４５０ｍｍ、横４００ｍｍ、深さ４５０ｍｍ）いっぱいにパウチを充填し、収納容器内のパウチを収納容器内で最上位にあるものから順次を取り出し、その都度一致度を算出した。その結果、パウチが収納容器１０の上面開口部近傍にあるときの一致度は概ね９９％であったが、当初の最上位の物品の位置に対して鉛直方向に下がった距離ｈ１が３０ｍｍの位置にある物品の相関値は８０％を下回り、収納容器１０内に物品が残存しているにもかかわらず、取り出し対象とする物品は存在しないと誤認されることがわかった。即ち、図８Ａに示すように、パウチ１が収納容器１０の上面開口部近傍まで充填されているときには、収納容器１０内で最上位にあるパウチ１ｔと撮像装置２０との距離ｈが１２００ｍｍであり、このとき撮像装置２０で撮られた収納容器１０の上面開口部の画像では、図８Ｂに示すように撮像視野７の略全体が収納容器の上面図で占められており、図８Ｃに示すように、撮像装置で撮られた画像中のパウチ画像６とこのパウチの登録画像５は略完全に一致した（相関値９９％）。これに対して、図９Ａに示すように、パウチ１が収納容器１０の底部付近にのみ存在するときには、収納容器１０内で最上位にあるパウチ１ｔと撮像装置２０との距離ｈ’は（ｈ＋ｈ1）であり、パウチの減少分だけ長くなっている。このとき撮像装置２０で撮られた収納容器の上面開口図の画像では、図９Ｂに示すように撮像視野７の中央部分の狭い領域にのみパウチが写っており、図９Ｃに示すように撮像装置で撮られた画像中のパウチ画像６とこのパウチの登録画像５とを対比すると、登録画像５に比して撮像装置で撮られたパウチ画像６の方が小さく、相関値が８０％を下回った。

（理由２）
撮像装置２０で撮った画像から把握される最上位の物品１ｔの位置にロボットハンド４２を動かす前には、一般に、画像から認識される位置情報と実際とを合致させるキャリブレーションと呼ばれる調整を行う。例えば、図１０（ｂ）に示すように収納容器１０の上面開口部付近まで物品１が充填されている場合に、撮像装置２０が撮った収納容器の上面開口部の画像が図１０（ａ）であり、収納容器１０で最上位にある物品１ｔのピック位置を該物品１ｔの真の重心とするとき、その真の重心の水平方向の座標（ｘ，ｙ）と、図１０（ａ）の画像から認識される、最上位にある物品の重心の水平方向の座標（ｘ，ｙ）とをキャリブレーションにより一致させる。キャリブレーションにより一致させるとは、画像から認識される最上位にある物品の重心の水平方向の座標（ｘ，ｙ）を目標としてロボットハンドを移動させると、その移動した位置が真の重心の水平方向の座標（ｘ，ｙ）に一致するようにロボットの動きを調整することである。

しかしながら、収納容器１０からの物品１の取り出しが進み、収納容器１０内で最上位の物品１ｔと撮像装置２０との距離が変化すると、図１１に示すように、撮像した画像に占める物品の大きさは徐々に小さくなり、キャリブレーション後に画像から認識される物品１ｔの重心座標（ｘ1，ｙ1）と、実際の物品１ｔの真の重心座標（ｘ，ｙ）とにずれが生じるのでロボットハンドを物品の存在位置に精確に動かすことができなくなる。そのため、例えばロボットハンドが吸着式の場合には、物品が存在しないところで吸着パッドが物品を吸着しようとしたり、スパウト部などの平面でないことにより吸着できない部分を吸着しようとしたりして、吸着に失敗することがある。仮に吸着できたとしても、物品の本来の位置を吸着しておらず、プレイス時に所定の位置にプレイスできなかったり、所定の向きにプレイスできなかったりする。また、ロボットハンドが開閉把持式の場合には、ロボットハンドの把持部が、物品が存在しないところを把持しようとして把持に失敗したり、本来の把持位置と異なるところを把持してしまうことにより物品を傷めたり、プレイス時に所定の位置にプレイスできなかったり、所定の向きにプレイスできなかったりする。

収納容器１０からの物品１の取り出しが進み、収納容器１０内で最上位に物品と撮像装置２０との距離が変化し、撮像した画像に占める物品の大きさが小さくなると、画像から認識される水平方向の物品の位置と実際の位置とにズレが生じるのは次の理由による。

即ち、図１０に示すように、物品１が収納容器１０の上面開口部付近まで充填されているとき、収納容器の最上位の物品１ｔと撮像装置との距離がｈであり、物品のピック位置とする真の重心の水平方向の座標（ｘ、ｙ）が撮像視野の中心から２００ｍｍ離れた位置にあるとする。このとき、キャリブレーションにより、画面上の物品の重心座標と実際の物品の重心座標（ｘ，ｙ）とは一致している。ここで、ピック位置とする座標（ｘ，ｙ）と撮像装置２０のレンズ面の中心を結ぶ直線と、撮像装置２０の中心軸とがなす角度をθとする。一方、図１１に示すように、収納容器１０からの物品１の取り出しが進み、収納容器１０内の底部付近のみに物品１が存在するとき、収納容器１０内で最上位に存在する物品１ｔのピック位置の水平方向の座標が（ｘ、ｙ）であり、このピック位置の座標（ｘ、ｙ）と撮像装置との距離が（ｈ＋ｈ１）であるとき、収納容器１０の上面開口部の画像では物品の画像が小さくなっているため、画像上での物品１ｔのピック位置の座標は（ｘ1,ｙ1）となり、本来のピック位置の座標とずれる。即ち、本来のピック位置（ｘ，ｙ）と撮像装置２０のレンズ面の中心を結ぶ直線と、撮像装置２０の中心軸とがなす角度θ1が距離（ｈ＋ｈ１）とｘから求まり、この角度θ1と距離ｈからｘ1が求まるが、θ1＜θであるから、ｘ1とｘは一致しない。このｘ座標のズレ量（ｘ−ｘ1）と、収納容器内で最上位に存在する物品と撮像装置との距離（ｈ＋ｈ1）との関係を図１６に示す。

（理由３）
一般に、ピックアンドプレイスする物品に対し、その物品の背景色の明度、色相などを変えられる場合には、例えば、物品が白色なら背景色を黒や濃緑とすることで、物品と背景色との明度や色相などの差を大きくし、物品の輪郭を認識し易くすることができる。そのため、物品に対して背景色の明度や色相を変えることにより物品の輪郭を認識し易くすると、例えば５０万画素程度の少ない画素数でも画像による物品の認識が可能となる。

しかしながら、図１７に示したように、収納容器１０内に複数の物品１が充填されており、収納容器内で最上位にある物品１ｔを順次ピックアンドプレイスの対象としていく場合、収納容器内で最上位にある物品１ｔの背景は、同種の物品で形成されていることになるため、ピックアンドプレイスする物品とその背景とで色の明度や色相を変えることができない。そのため、画像認識により物品の輪郭を認識することが困難となる。そのため、物品が充填されている収納容器の上面開口部の画像から、収納容器内で最上位にある物品１ｔを認識できるようにするためには、即ち、その物品の外形、物品に印刷された文字、記号、模様などを用いて物品１ｔを区別認識できるようにするためにはより多くの画素が必要となるが、図８Ｂと図９Ｂを対比すると分かるように、収納容器から物品の取り出しが進行するに応じて撮像装置２０で撮った画像において１つの物品１が占める面積が小さくなっていくので、画像認識に使用できる画素数が減少する。このため、物品１ｔの画像による認識が困難となる。これに対応するために撮像装置２０で撮る画像の画素数を過度に大きくすると、画像処理時間が長くなってしまう。

このように、収納容器１０からの物品１の取り出しが進行して収納容器内における物品の最上層の位置が下がると、従前のロボットが備えるコントローラとキャリブレーションの機能だけでは、撮像装置２０が撮った画像に基づいて画像認識装置から得られる情報を使用しても物品の位置を正しく認識することができない。これに対し、本発明によれば、収納容器１０内で最上位の物品１ｔと撮像装置との距離が常に一定に保持されるので、コントローラは、撮像装置２０が撮った画像に基づいて画像認識装置から得られる情報を使用することで物品の位置を正しく認識することができる。

［収納容器内で最上位にある物品の鉛直方向の位置情報の取得手段］
実施例のピックアンドプレイス装置１００Ａでは、収納容器１０内で最上位にある物品１ｔの鉛直方向の位置情報を取得する手段として２つ以上の距離センサ２２を有している。距離センサ２２の個数を増やすと精確な位置情報を得やすくなるが、その分コストがかかるので実施例では２〜４個の距離センサ２２を設けている。

ここで、収納容器１０内で最上位にある物品１ｔとは、収納容器１０内を上面視した場合に、物品の外形に応じて定められた特徴点、又は物品内で最高位となる点が他の物品よりも高いものをいう。また、最上位にある物品の鉛直方向の位置情報としては、物品の外形に応じて定められた特徴点もしくは最高位となる点の距離センサ２２からの距離を使用する、又は特徴点もしくは最高位となる点の任意の基準点からの鉛直方向の距離を使用するなどの方法が挙げられる。

ピックアンドプレイス装置１００Ａにおいて、距離センサ２２は、撮像装置２０と照明手段２１を取り付けるベース２６が有する穴２７ａ、２７ｃを通して計測を行えるように、穴２７ａ、２７ｃの上方の固定した位置に不図示の取り付け部材にて取り付けられている（図１Ａ、図２、図３）。この場合、固定した位置に取り付けられた距離センサ２２と収納容器１０内で最上位にある物品１ｔとの距離が測定され、その測定結果に基づいて収納容器１０内で最上位にある物品１ｔと撮像装置２０との距離が一定となるように、昇降装置２４でベース２６を移動させる。一方、本発明においては、距離センサ２２をベース２６に取り付け、収納容器１０内で最上位にある物品１ｔと距離センサ２２との距離が一定になるように、昇降装置２４でベース２６を移動させてもよい。距離センサ２２を２個以上設けた場合、物品のソリや傾きがあって高低差がある場合でも、距離の測定結果の平均値を使用することで大きな誤差が生じることを防止できる。

距離センサ２２の種類に特に限定はないが、レーザーセンサを使用することが好ましい。距離情報は、コントローラにアナログで出力されてもデジタルで出力されてもよい。

距離センサ２２の計測値を、最上位にある物品１ｔの位置情報に使用することができるが、距離センサ２２を２個以上設ける場合、計測値の平均を、最上位にある物品１ｔの位置情報に使用することで取り出しの失敗を抑制できる。即ち、収納容器１０に収納された最上位の物品１ｔの最上面の高さに物品のソリや傾きで高低差が有る場合でも、確実に物品１ｔを取り出すことができる。別の方法として、距離センサを４〜８個程度設置し、取り出し対象となった物品位置にある、もしくは物品位置に最も近いセンサの計測値を使用することで、位置情報の精度を高めることもできる。

本発明では、ピック位置に薄状の物品が重ねられている場合には、またピックにより物品が収納容器１０の全域でほぼ同じように減少していく場合には、距離センサ２２に代えてロボットによる物品の取り出し回数を計測し、その回数に応じて収納容器１０内で最上位にある物品１の鉛直方向の位置情報を推定してもよい。

距離センサ２２が、収納容器１０内で最上位にある物品１ｔの鉛直方向の位置情報を取得し、その位置情報に基づいて昇降装置２０のコントローラがベース２６を昇降させることにより、収納容器１０内で最上位にある物品１ｔが上面開口部近傍にある場合（図１Ａ、図１Ｂ、図１Ｃ）でも、収納容器１０の底部付近に有る場合（図１Ｄ、図１Ｅ、図１Ｆ）でも、収納容器１０内で最上位にある物品１ｔと撮像装置２０との鉛直方向の距離ｈを一定とすると、撮像装置２０で撮った収納容器１０の上面開口部の画像において、収納容器１０で最上位にある物品１ｔの像が占める大きさが略一定となる。したがって、ロボット４０のコントローラはロボットハンド４２が物品１ｔを取りに行く位置を精確に制御することができ、ロボットハンド４２は確実に全ての物品１を収納容器１０から取り出すことができる。

これに対し、この距離ｈを一定に保持しない場合には、撮像装置２０で撮った画像における最上位に物品１ｔの大きさが、物品１の取り出しが進むにつれて小さくなるので、この画像に基づいてコントローラが判断する最上位の物品１ｔの水平方向の位置情報と、実際のその物品１ｔの位置情報とにズレが生じ、コントローラが制御する位置にロボットハンドが物品を取り出しにいっても、ピック位置がずれることによって発生するトラブルや、ロボットハンドの位置が高すぎてロボットハンドの先端が物品に届かず、物品１ｔを取り出すことができないというトラブルが起こりやすくなる。

上述の距離ｈは、収納容器１０の外側や内壁ができるだけ撮像する画像に含まれないように設定することが好ましい。これにより、撮像装置２０で撮った画像の画素を、物品の認識に最大限利用することができる。

［昇降手段］
ピックアンドプレイス装置１００Ａにおいて、昇降手段２３は、ステッピングモータ又はサーボモータなどを備えた昇降装置２４、昇降装置２４を支持する固定部材２５、昇降装置２４により昇降するベース２６を有しており、撮像装置２０と照明手段２１は共通のベース２６に取り付けられている（図２）。

昇降手段２３の機能としては、収納容器１０内で最上位にある物品１ｔと撮像装置２０との鉛直方向の距離ｈが、収納容器１０からの物品の取り出しに対して速やかに一定に保持されるように、距離センサ２２が取得した位置情報に基づく所定の位置に高速移動できることが好ましい。そのため、昇降装置２４ではステッピングモータ又はサーボモータなどを駆動源としたボールねじアクチュエータを使用したり、ベルト駆動などその他の昇降機構にリニアモーションガイド等のガイド部材を組み合わせて使用したりすることが好ましい。

一方、ベース２６は、軽量化のため、及び撮像装置２０、照明手段２１、距離センサ２２の機能が損なわれないようにするため、開口部分２７（３つの穴２７ａ、２７ｂ、２７ｃ）を有し、この開口部分２７を通して収納容器１０内の撮影と照明が行われるようにしている。特に、撮像装置２０のレンズ部２０ａが取り付けられる中央部の穴２７ｂは、レンズ部２０ａの掃除やレンズ交換などのメンテナンスを行い易いように、十分な空間を有する穴とすることが好ましい。

ベース２６は昇降装置２４の移動ベース２８よりも下方にあるように、オフセット部材２９を介して移動ベース２８に取り付けられている。これにより、昇降装置２４の設置位置がベース２６よりも上方になるので、ロボットアーム４１が、ベース２６の昇降に干渉することを防止できる。

［撮像装置］
撮像装置２０としては、撮影した画像を電気信号に変換する機能を有する周知のものを特に制限なく用いることができる。

撮像装置２０は、収納容器１０の上面開口部の真上から収納容器１０内全体を一様に撮ることができるように、収納容器１０の上面開口部の真上に設置することが好ましい。実施例のピックアンドプレイス装置１００Ａの撮像装置２０では、ベースの中央部の穴２７ｂからレンズ部２０ａが下方に突出するようにベース２６に固定部材３０を用いて取り付けられている。

撮像を行うタイミングは、いずれの種類のロボットを用いる場合でも、撮像装置１０の視野にロボットアーム４１やロボットハンド４２が存在しないときが好ましい。これにより撮像視野内にロボットアーム４１やロボットハンド４２が写り込んで、物品の画像認識に支障が来されることを防止できる。

例えば、垂直多関節型ロボット４０Ａを用いる場合には、ロボットアーム４１の先端が収納容器１０から水平方向に離れているときを撮像タイミングとすることが好ましい。
また、パラレルリンク型ロボット４０Ｃを使用する場合、３つのロボットアーム４１にそれぞれ設けられている下腕４１Ｌが接続しているプレート４５にロボットハンド４２が設けられているので、３つのロボットアームのうちの１つの上腕４１Ｕが振り上がり、ロボットハンド４２がロボット本体４４の中央部から離れているときを撮像タイミングとすることが好ましい（図５Ｄ）。このとき、上腕４１Ｕが振り上がっているロボットアーム４１は完全に撮像視野の外となり、残り２つのロボットアームも撮像視野の両側に位置し、撮像視野の外となる。

撮像を行うタイミングを制御する方法は、特に限定されない。例えば、プレイス位置の上空にロボットハンド４２が存在するときはロボットハンド４２が撮像視野外にあるとして、プレイス位置の上空にある間に撮像が行われるように、ロボットハンド４２が所定の位置を通過した時点でトリガー信号を発信させる制御方法、又はロボットハンド４２が物品を取り上げてから所定の経過時間後にトリガー信号を発信させる制御方法を用いることができる。

［揺さぶり機構］
収納容器１０内に物品が縦、横、斜めなどランダムな方向に充填されている場合には、撮像した物品の形状が立体的に歪むので、撮像装置で撮った画像内に、予め画像認識装置に登録した物品を見つけられないおそれがある。これに対しては、撮像前に予め収納容器１０を揺さぶり機構で振動させたり、上下、左右、回転、これらの複合などの動きで揺さぶったりすることで、収納容器の上面開口部から撮った物品の画像が、その物品の登録されている画像に近づくようにすることが好ましい。

即ち、図１２Ａは、円柱状物品１がランダムに充填されている収納容器１０の上面開口部の画像である。この円柱状物品を画像認識させるために、予め登録しておいた登録画像を図１３に示す。また、同図に示すように、円柱状物品１は撮像方向によって異なる形状の画像(A)、(B)、(C、(D)、(E)に撮られ、画像認識装置では、物品画像と登録した画像との一致の度合いによって撮像された物品がピックする物品と認識されたり、ピックする物品とは認識されなかったりする。例えば、図１２Ａに示した画像では、物品１ａは、図１３の(A)状態に撮られているからピックする物品と認識され、物品１ｂ、１ｃは(B)状態に写っているから、ピックする物品と認識される。図１２Ｂは、図１２Ａに示した状態から物品１ａ、１ｂ、１ｃを取り出した後に、同様に撮像した画像である。図１２Ｂに示した画像では、ピックする画像が認識されない。そこで、収納容器を揺さぶり、再度同様に画像を撮った。図１２Ｃは、この揺さぶり後の画像である。揺さぶりにより収納容器１０中の物品の傾きが変化した。図１２Ｂにおける物品１ｄ、１ｅ、１ｆ、１ｇは、図１２Ｃでは物品１ｄ’、１ｅ’、１ｆ’、１ｇ’と写り、物品１ｄ’は図１３の(A)状態、物品１ｅ’、１ｆ’、１ｇ’は図１３の(B)状態となって、ピックする物品と認識されるようになった。

収納容器１０の揺さぶり機構としては、(i)バイブレータ等の振動によるもの、(ii)回転装置の先端に偏心したカムを設置し、そのカムで収納容器１０を上下させるもの、(iii)エアシリンダや電動シリンダなどの往復運動で収納容器１０を上下させるもの、(iv)これらを組み合わせたもの等をあげることができる。また、これらを揺動可能な設置台に載せることで、大きな揺さぶり効果を得られるようにしてもよい。

なお、撮像装置２０で物品１の画像を撮る前の揺さぶりの要否は、物品の形状や充填状態によって異なり、一般に、パウチが積層されている場合やボトルが整列されている場合などでは揺さぶりを行うことなく画像認識が可能となるが、非薄状体であるボトルがランダムに充填されている場合には揺さぶりが必要となる。

［照明手段］
ピックアンドプレイス装置には、物品１を明確に撮像するために照明手段２１を設けることが好ましい。実施例のピックアンドプレイス装置１Ａでは、複数の照明手段２１が撮像装置２０の両側に配置されるように、撮像装置２０と共通のベース２６に、各照明手段２１の両端部が固定されており、収納容器１０の上面開口部の真上から収納容器１０内の物品１が照明されるようにしている（図１Ａ、図２、図３）。

このように撮像装置２０と照明手段２１を共通のベース２６に取り付けることにより、撮像装置２０と照明手段２１が同時に同じ距離を昇降し、収納容器１０内で最上位にある物品１ｔと照明手段２１との鉛直方向の距離が一定に保持される。そのため、収納容器１０の物品の取り出しが進み、収納容器１０内で最上位にある物品の鉛直方向の位置が下がっても、収納容器１０内の物品を照明する光の強さは変化せず、不足することはない。したがって、明確に物品を撮像するために光量を調整することも不要となる。

また、照明手段２１を撮像装置２０に対して左右対称に配置することにより、収納容器１０内の照度をできるだけ均一化し、撮像する物品の画像認識が照明の不均一により妨げられることを防止している。

なお、本発明においては、撮像装置２０と照明手段２１を別個のベースに取り付け、独立的に昇降させてもよい。これにより設置位置の自由度を高めることができる。一方、撮像装置２０と照明手段２１を共通のベース２６に設置すると、昇降装置２４が一つあれば足りるので制御が容易となる。

これに対し、照明手段を、収納容器１０に対して固定された位置に設置すると、物品１の取り出しが進むにつれて収納容器１０内で最上位の物品の高さが下がってきた場合に、照明手段から発せられた照明光が距離の増大によって収納容器１０内の物品１を照明する光の強さが弱まり物品の撮影が困難になる場合があるが、物品の高さ減少に伴い、光の強さを徐々に高める制御を行うことでこれを防止することができる。

照明手段２１として使用する照明の種類に特に限定はないが、光量が大きく、省電力で制御も容易な点からＬＥＤを使用することが好ましい。照明の個数も特に限定はないが、２個以上の照明を撮像装置２０の周囲に対称的に配置したり、撮像装置２０を囲むように配置したりすると、収納容器１０内を均一に照明することができるので好ましい。照明は連続点灯でも良く、撮像時のみの点灯でもよい。照明の寿命を長くする点からは、撮像時のみの点灯とすることが好ましい。

本発明において、物品の表面の反射率が高い場合には、撮像画像が局部的に白色化するハレーションの発生を防止するため、偏光フィルターを設置することが好ましい。即ち、ピックアンドプレイス装置１００Ａでは、撮像装置２０と照明手段２１を共にベース２６に取り付けているので撮影方向と照明方向が略同じになる。そのため、物品１の表面が金属やメタリック調フィルム等の高反射率の材料で形成されている場合には、ハレーションが発生し、画像認識が困難となる場合がある。そこでハレーション防止のため、撮像装置２０と照明手段２１に偏波面を異ならせた偏光フィルターを設置することが好ましい。

また、ハレーションの防止のために、複数の照明を１個ずつ順次点灯して撮像し、さらに全灯点灯して撮像し、それらの画像を合成する方法、露光を変えて複数回撮像し、それらの画像を合成する方法などを行ってもよい。装置コスト、処理時間の点からは、偏光フィルターを用いることが好ましい。

なお、実施例のピックアンドプレイス装置１００Ａについて説明した撮像装置、照明手段、昇降手段、ベース等の構成要素は、本発明の他の実施例においても適宜使用することができる。

［ピックアンドプレイス装置における動作のフロー］
本発明のピックアンドプレイス方法は、実施例のピックアンドプレイス装置を用いて、図１４に示したフローチャートにしたがって行うことができる。このフローチャートにおいて、Ｐ１、Ｐ２、Ｐ３は、それぞれ図１５に示した基準位置を表している。

＜０＞スタート段階では、収納容器１０の上面開口部付近まで物品１が充填された収納容器１０を不図示の搬送装置によりピックアンドプレイス装置の撮像装置の真下に供給する。このとき、収納容器１０として段ボール箱を使用する場合には、段ボール箱の上方のフラップを開け、フラップを段ボール箱の側面に折り返し、折り返しがもとに戻らないように、クリップを用いてフラップをダンボール箱の側面に固定しておくことが好ましい。また、スタート時にロボットハンドはピック位置Ｐ１の上空Ｐ０にある。

＜１＞ロボットハンドをプレイス位置Ｐ３の上空Ｐ２に移動させ、収納容器の最上位にありピックの対象とする物品の位置情報（以下、ピック位置情報という）を取得するときにロボットアームやロボットハンドが撮像視野に入らないようにする。

＜２＞ロボットハンドのＰ２位置への移動をトリガーとして、ピック位置情報の取得命令がだされる。ピック位置情報の取得命令がだされると、（１）距離センサ２２は収納容器１０内の最上位にある物品の位置情報を取得し、（２）昇降装置のコントローラが（１）で取得した位置情報に基づいて撮像装置２０の目標高さを計算し、（３）昇降装置２４がその高さへ撮像装置２０を移動させ、（４）撮像装置２０が収納容器１０の上面開口部の画像を撮る。この画像には、収納容器内に存在する物品が映し出されることになる。

（５）撮像装置２０が撮った画像に基づき、ロボット４０が備える画像認識装置が、収納容器１０内で最上位にある物品１ｔの水平方向の位置と方向を演算する。（６）一方、距離センサ２２で取得した位置情報に基づき、ロボットのコントローラが、収納容器１０内で最上位にある物品１ｔをピックするロボットハンドの鉛直方向の位置（ｚ）を演算する。（７）ロボットのコントローラは、算出された物品１ｔの位置と方向により、ロボットハンド４２が物品１ｔをピックする位置と方向（ｘ,ｙ,ｚ,θ）を決定する。

＜３＞ロボットのコントローラがロボットハンドのピック位置情報（ｘ,ｙ,ｚ,θ）を取得する。
ここで、取得されたピック位置情報に、予め登録されている物品の画像情報と一致するする情報があった場合（情報あり）、即ち、ピックする対象の物品が見つかった場合には、＜４＞ロボットハンドをピック位置の上空Ｐ0に移動させ、＜５＞さらにピック位置Ｐ1に移動させ、＜６＞物品をピックし、＜７＞物品をピック位置Ｐ１の上空Ｐ０に持ち上げ、＜８＞物品をプレイス位置の上空Ｐ２へ移動させる。

＜９＞ロボットハンドのＰ２位置への移動をトリガーとして、次の物品のピックに備えてピック位置情報の取得指令がだされ、前述の（１）〜（７）の工程（サブサイクル）が行われる。また、（１）〜（７）が行われる間に、＜１０＞ロボットハンドはプレイス位置Ｐ３に移動し、＜１１＞物品をプレイスする。＜１２＞物品をプレイスしている間に次の物品のピック位置情報（ｘ,ｙ,ｚ,θ）を取得する。ここで、取得されたピック位置情報に、予め登録されている物品の画像情報と一致する情報があった場合（情報あり）、即ち、ピックする対象の物品が見つかった場合には、＜１３＞ロボットハンドをプレイス位置の上空Ｐ２に移動させ、＜１４＞さらにピック位置の上空Ｐ０に移動させる。以降は前述の＜５＞〜＜１４＞のサイクルを繰り返す。こうして、ｎ番目の物品のピックアンドプレイスを行うメインサイクルと、ｎ番目の物品をプレイスしている間に行うｎ＋１番目の物品のピック位置情報を取得するサブサイクルを繰り返す。これにより、収納容器から物品を取り出す度に収納容器内で最上位にある物品の鉛直方向の位置情報を取得するにもかかわらず、高い作業効率で物品のピックアンドプレイスを行うことが可能となる。したがって、例えば、ロボットとしてパラレルリンクロボットを使用するときは、メインサイクルを０．８〜３秒で行うことができる。サブサイクルは、ロボットの動作に待ち時間が発生しないように、通常約０．２秒以内で行う。

一方、＜３＞又は＜１２＞で取得したピック位置情報にピックする対象の物品がなかった場合（情報なし）、［１］ロボットハンドをプレイス位置の上空Ｐ２に移動させ、［２］続いてピック位置の上空Ｐ０に移動させ、処理を終了する。

なお、図１４に示した上述のフローにおいて、スタート直後の工程＜１＞〜＜４＞は省略してもよい。スタート直後では、通常、収納容器に所定量の物品が充填されているから、キャリブレーションを行うだけで、精確に画像認識をすることができる。

また、工程＜３＞、＜１２＞で取得したピック位置情報において、ピックする対象の物品が無い場合（「情報なし」となる場合）の具体例としては、(i)収納容器１０内でピックすべき物品がなくなり、作業を正常に終了した場合、(ii)物品の変形が想定以上に大きく、撮像装置で撮った画像に、予め登録されている物品の画像情報に一致するものがない場合、(iii)撮像装置で撮った画像に、広範囲のハレーションが発生し、撮像装置で撮った画像から物品を認識することができない場合、(iv)物品のピック時に周辺の物品を裏返してしまい、その後に撮った画像では物品が裏返っており、予め登録されている物品の画像情報と一致しない場合、(v)収納容器に充填する物品を間違えた場合、(vi)複数の物品について画像情報が登録されている場合に、当該物品の画像認識のために使用する登録情報の選択を誤った場合等がある。

なお、上述した実施例において収納容器１０のピック位置への供給方法は特に限定されないが、ベルトコンベヤやエアシリンダなどのプッシュ機構などで行われる。終了時には、空になった収納容器１０はベルトコンベヤやエアシリンダなどのプッシュ機構などで排出され、新たな収納容器１０が供給される。

［収納容器内へ物品を積載するピックアンドプレイス装置］
収納容器へ物品を順次積載していくピックアンドプレイス装置及び方法は、上述した、収納容器から物品を順次取り出していくピックアンドプレイス装置及び方法において、収納容器内で物品をピックするための画像情報に基づくロボットハンドの制御を、収納容器内に物品をプレイスするための画像情報に基づくロボットハンドの制御に置き換えることにより、収納容器から物品を順次取り出していくピックアンドプレイス装置及び方法に準じて構成することができる。即ち、収納容器へ物品を順次積載していくピックアンドプレイス装置及び方法における物品のプレイス時のロボットの制御では、画像認識装置が、ある物品が収納容器内に置かれた後に撮られた画像に基づいて収納容器内のその物品の位置と向きを認識し、ロボットハンドが次に収納容器内におく物品の位置と向きを決定し、コントローラが、次に収納容器内に物品をロボットハンドでプレイスするときのハンドの位置と向きを定める動作、ハンドの吸着や開閉動作などを制御する。このような制御の際にも、収納容器内で最上位にある物品と撮像装置との鉛直方向の距離を一定に維持することにより、収納容器内を撮った画像において、収納容器内で最上位にある物品の鉛直方向の高さでの収納容器の開口面積を、撮像視野の面積に対して一定範囲の比率に収めるので、物品を積載していくロボットハンドの位置や姿勢を精確に制御し、目標動作を正確に行うことが可能となる。したがって、プレイス位置がずれることによって発生するトラブルを防止することができる。また、この画像を、収納容器の載置位置の上方に設置した撮像装置で撮るので、ロボットハンドが物品をピックするために撮像視野から外れている間にこの画像を撮ることができる。したがって、撮像のためにピックアンドプレイスの速度が低下することを防止することができる。

１、１ａ、１ｂ、１ｃ、１ｄ、１ｅ、１ｆ、１ｇ 物品、スパウト付パウチの空袋
１ｔ 最上位にある物品、最上位にあるパウチ
２ スパウト部
５ 物品（パウチ）の登録画像
６ 撮像装置で撮られた画像中の物品（パウチ）の画像
７ 撮像視野
１０ 収納容器、段ボール箱
２０ 撮像装置
２０ａ レンズ部
２１ 照明手段
２２ 距離センサ
２３ 昇降手段
２４ 昇降装置
２５ 固定部材
２６ ベース
２７、２７ａ、２７ｂ、２７ｃ 開口部分、穴
２８ 昇降装置の移動ベース
２９ オフセット部材
３０ 固定部材
４０Ａ 垂直多関節型ロボット
４０Ｂ スカラ型ロボット
４０Ｃ パラレルリンク型ロボット
４１、４１ａ、４１ｂ、４１ｃ ロボットアーム
４１Ｕ ロボットアームの上腕
４１Ｌ ロボットアームの下腕
４２ ロボットハンド
４３ スカラ型ロボットのロボットアーム先端のＺ軸
４４ パラレルリンク型ロボットのロボット本体
４５ パラレルシンク型ロボットのプレート
５０ ベルトコンベア
１００Ａ、１００Ｂ、１００Ｃ ピックアンドプレイス装置
ｈ、ｈ1 距離
Ｐ０ ピック位置上空
Ｐ１ ピック位置
Ｐ２ プレイス位置上空
Ｐ３ プレイス位置
Ｐ、Ｑ 空間
Ｚ１、Ｚ２ 間隙

Claims (9)

1. 収納容器内に収納された複数の物品を該収納容器の上面開口部から順次取り出し、又は上面開口部を介して収納容器内へ複数の物品を順次積載するピックアンドプレイス装置であって、
   収納容器の上面開口部の上方から該上面開口部の画像を撮る撮像装置、
   画像に基づいて物品の位置情報を取得する機能を有するロボット、
   収納容器内で最上位にある物品の鉛直方向の位置情報を取得する手段、及び
   前記位置情報に基づいて撮像装置を昇降させることにより、収納容器内で最上位にある物品と撮像装置との鉛直方向の距離を一定に保持する昇降手段を有するピックアンドプレイス装置。
2. 撮像装置と共に昇降する照明手段を有する請求項１記載のピックアンドプレイス装置。
3. 撮像装置と照明手段が共通のベースに設置されている請求項１又は２記載のピックアンドプレイス装置。
4. 撮像装置のレンズ部と照明手段の双方に偏光フィルターが設けられている請求項１〜３のいずれかに記載のピックアンドプレイス装置。
5. 複数の物品が収容されている収納容器の上面開口部の上方から該上面開口部の画像を撮像装置で撮り、その画像に基づいて物品の位置情報を取得する機能を有するロボットを用いて、収納容器内に収納された複数の物品を該収納容器の上面開口部から順次取り出し、又は上面開口部を介して収納容器内へ複数の物品を順次積載するピックアンドプレイス方法であって、
   収納容器の上面開口部の画像を撮るにあたり、収納容器内で最上位にある物品の鉛直方向の位置情報を取得し、取得した物品の位置情報に基づいて撮像装置を昇降させ、撮像装置と収納容器内で最上位にある物品との鉛直方向の距離を一定にするピックアンドプレイス方法。
6. 収納容器から物品を取り出し、又は積載する度に収納容器内で最上位にある物品の鉛直方向の位置情報を取得する請求項５記載のピックアンドプレイス方法。
7. 撮像装置と共に昇降する照明手段を用いて、収納容器の上面開口部の画像を撮る請求項５又は６記載のピックアンドプレイス方法。
8. ロボットアームが撮像装置の視野外にある状態で収納容器の上面開口部の画像を撮る請求項５〜７のいずれかに記載のピックアンドプレイス方法。
9. 物品が薄状包装用袋である請求項５〜８のいずれかに記載のピックアンドプレイス方法。

Images