JP3596434B2 - 物品位置認識装置 - Google Patents
物品位置認識装置 Download PDFInfo
- Publication number
- JP3596434B2 JP3596434B2 JP2000197447A JP2000197447A JP3596434B2 JP 3596434 B2 JP3596434 B2 JP 3596434B2 JP 2000197447 A JP2000197447 A JP 2000197447A JP 2000197447 A JP2000197447 A JP 2000197447A JP 3596434 B2 JP3596434 B2 JP 3596434B2
- Authority
- JP
- Japan
- Prior art keywords
- article
- pallet
- recognized
- imaging
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Input (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、パレット上の物品（ワーク）の物品位置認識装置に関するものである。
【０００２】
【従来の技術】
従来、物品位置の検出方式として、事前に登録された積付パターン情報に基づく物品概略位置の範囲内で、物品の位置検出を行う方式がある。
【０００３】
このような物品位置検出装置の一例が、特開平６−５５４７７号公報に開示されている。すなわち図１３に示すように、ロボット５１のハンド５２に３本のレーザー（投光手段）５３とＣＣＤカメラ（撮像手段）５４を取り付け、事前に登録された積付パターン情報に基づく物品概略位置の範囲内で、ロボット５１のハンド５２に取り付けた３本のレーザー５３から物品５５に対して“キ”の字を投影させ、これをＣＣＤカメラ５４により認識し、物品５５のエッジを検出することにより形状・方向を算出している。この算出した物品５５の形状・方向に基づいて、ハンド５２の位置が補正され、ハンド５２により物品５５が支持され、移載される（デパレタイズされる）。
【０００４】
上記物品５５の認識の画像処理に必要なデータは、物品５５のサイズ、撮像距離（ＣＣＤカメラ５４と物品５５の天面との距離）、目的の物品５５の周辺物品の配置情報、画像認識最適設定情報、ロボットハンド角度情報、画像認識リトライ回数設定情報などである。
【０００５】
この物品位置検出装置は、物品５５のエッジを検出する方法を採用することでパターンマッチングを行わないため、高速認識を行うことができ、デパレタイズ作業の高速化を実現している。
【０００６】
【発明が解決しようとする課題】
しかし、従来の物品位置検出装置では、ロボット５１のハンド５２にＣＣＤカメラ５４が取り付けられているためＣＣＤカメラ５４の視野が狭く、よって物品概略位置の範囲内で物品の位置を検出することから、人手が介在し、登録された積付位置以外の場所に物品がある場合は検出できず、よって自動でデパレタイズを実行できず、全自動で物品のピッキング作業を行うことができないという問題があった。
【０００７】
また従来の物品位置検出装置では、物品５５の認識の画像処理に必要なデータが多く、設定に時間がかかるという問題があった。
そこで、本発明は、人手が介在してパレット上のどの位置に物品があるのか分からない状態の物品位置検出を行い、自動デパレタイズを可能とし、また画像処理に必要なデータを少なくできる物品位置認識装置を提供することを目的としたものである。
【０００８】
【課題を解決するための手段】
前述した目的を達成するために、本発明のうち請求項１記載の発明は、パレット上の物品の位置を認識する装置であって、
前記パレットのほぼ中心上方から前記物品を撮影する第１撮像手段と、前記パレットの斜め上方より前記物品を撮影する第２撮像手段と、前記パレットの斜め上方より前記物品に対して照明する照明手段と、前記第１撮像手段と前記第２撮像手段に接続された認識手段を備え、
前記認識手段は、前記照明手段により前記物品のかど部に形成される影を利用した物品天面上のかど部のパターンを予め記憶し、前記第１撮像手段により撮影された物品の撮像データにより前記物品のかど部を抽出し、前記予め記憶されたかど部のパターンと一致するパターンを求め、その平面座標を記憶するパターンマッチング手段と、前記パターンマッチング手段により求められた、予め記憶されたかど部のパターンと一致するパターンの物品天面のかど部の高さを、前記第１撮像手段により撮影された物品の撮像データと前記第２撮像手段により撮影された物品の撮像データにより検出する高さ検出手段と、前記高さ検出手段により検出された物品のかど部の高さと、設定された最上段の物品の高さが一致する物品を求め、この物品のかど部の平面座標を記憶する選択手段と、前記選択手段により求めた物品のかど部から伸びる２本の明暗差のふちから辺を求め、これら辺により物品の向きを求める向き検出手段と、予め記憶された物品の平面の辺の長さと、前記向き検出手段により求められた物品の向きと、この物品のかど部の平面座標により物品の重心の座標を求める重心検出手段とから構成したことを特徴とするものである。
【００１１】
上記構成によれば、第１撮像手段により撮影された物品の撮像データにより照明手段によって物品のかど部に形成される影を利用して物品天面上のかど部が認識され、この物品天面のかど部の高さが、第１撮像手段により撮影された物品の撮像データと第２撮像手段により撮影された物品の撮像データにより求められ、この物品のかど部の高さと、設定された最上段の物品の高さが一致する物品が求められ、この高さが一致した物品のかど部から伸びる２本の明暗差のふちから辺が求められ、これら２辺により物品の向きが求められ、この求められた物品の向きとこの物品のかど部の平面座標により物品の重心が求められる。
【００１２】
また請求項２に記載の発明は、上記請求項１に記載の発明であって、向き検出手段は、最上段の物品の個数が１個のとき、物品のかど部から伸ばした２本の辺の長さの差の領域の明暗差のふちを検出し、一方の明暗差のふちが認識され、他方の明暗差のふちが認識されないと、前記明暗差のふちが認識された辺を長辺、前記明暗差のふちが認識されない辺を短辺と認識し、また最上段の物品の個数が２個で一塊で配置されているとき、求めた各辺にそれぞれ対向する物品の明暗差のふちを検出し、明暗差のふちを抽出した辺を長辺、他方の辺を短辺と認識し、また最上段の物品の個数が３個以上で一塊で配置されているとき、物品のかど部に対向する長辺と短辺を検出し、長辺と短辺を検出すると、検出した長辺に対向する辺を長辺、検出した短辺に対向する辺を短辺と認識することを特徴とするものである。
【００１３】
上記構成によれば、最上段の物品の個数およびその配置の状態に応じて物品の長辺と短辺がそれぞれ認識され、物品の重心座標が求められる。
また請求項３に記載の発明は、上記請求項１または請求項２に記載の発明であって、第１および第２撮像手段は、被写体を撮影するときに赤外映像のみを取り込んだ撮像データを得る構成としたことを特徴とするものである。
【００１４】
上記構成によれば、赤外映像のみを取り込むことにより物品に印刷された文字、模様、貼付テープ色（青、緑色など）の影響を少なくすることができ、正確な撮像データを得ることができる。
【００１５】
また請求項４に記載の発明は、上記請求項１〜請求項３のいずれかに記載の発明であって、照明手段は昇降手段を有し、設定された最上段の物品の高さにより、昇降手段を駆動して最上段の物品と照明手段の距離を一定する構成としたことを特徴とするものである。
【００１６】
この構成によれば、最上段の物品と照明手段の距離が一定とされ、第１および第２撮像手段は、撮像データを常に正確な精度で得ることができる。
また請求項５に記載の発明は、上記請求項１〜請求項３のいずれかに記載の発明であって、パレットを昇降する昇降手段を有し、設定された最上段の物品の高さにより、昇降手段を駆動して最上段の物品と照明手段の距離を一定する構成としたことを特徴とするものである。
【００１７】
この構成によれば、最上段の物品と照明手段の距離が一定とされ、第１および第２撮像手段は、撮像データを常に同じ明るさで、精度よく得ることができる。
また請求項６に記載の発明は、上記請求項１〜請求項３のいずれかに記載の発明であって、第１または第２撮像手段に自動ズーム機能を付加し、設定された最上段の物品の高さにより、前記自動ズーム機能により最上段の物品の撮像データの大きさを調整し一定とする構成としたことを特徴とするものである。
【００１８】
この構成によれば、最上段の物品の大きさが一定に調整され、第１または第２撮像手段は、撮像データを常に正確な精度で得ることができる。
また請求項７に記載の発明は、上記請求項１〜請求項６のいずれかに記載の発明であって、第１または第２撮像手段に絞り調整機能を付加したことを特徴とするものである。
【００１９】
この構成によれば、物品の表面にハレーションが発生しないように絞りが調整され、安定した画像が取り込める。
また請求項８に記載の発明は、上記請求項１〜請求項７のいずれかに記載の発明であって、複数の照明手段を備え、これら照明手段を切り換え可能な構成としたことを特徴とするものである。
【００２０】
この構成によれば、物品のかど部に発生する影の位置を変更でき、目的の物品のかど部に影を発生でき、目的の物品の重心位置を求めることができる。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
［実施の形態１］
図１は本発明の実施の形態１における物品位置認識装置の構成図である。
【００２２】
図１において、１は被認識対象の物品（ワーク）２が積付られたパレットであり、パレット１の最上段の物品２の位置を認識する物品位置認識装置３が設けられている。
【００２３】
物品位置認識装置３は、パレット１のほぼ中心上方から物品２を撮影する第１ＣＣＤカメラ（第１撮像手段）１１と、パレット１の斜め上方より物品２を撮影する第２ＣＣＤカメラ（第２撮像手段）１２と、パレット１の斜め上方より物品２に対して照明する照明装置（第１照明手段）１３と、これら第１ＣＣＤカメラ１１と第２ＣＣＤカメラ１２と照明装置１３に接続され、パレット１上の最上段の物品２の位置認識処理を行う画像処理装置（認識手段）１５から構成されている。
【００２４】
第１ＣＣＤカメラ１１と第２ＣＣＤカメラ１２にはそれぞれ、レンズの表面に赤外線のみを透過する赤外線フィルタが取り付けられ、また物品２の表面にハレーションが発生しないように絞りを調整し安定した画像を取り込めるように絞り調整機能が付加されている。第１ＣＣＤカメラ１１と第２ＣＣＤカメラ１２においては、赤外線フィルタにより被写体を撮影するときに赤外映像のみを取り込んだ撮像データ（映像データ）が得られ、赤外映像のみを取り込むことにより物品２に印刷された文字、模様、貼付テープ色（青、緑色など）の影響を少なくすることができ、正確な撮像データを得ることができる。
【００２５】
上記照明装置１３は、パレット１を斜め上方より見下ろす所定の角度に固定された照明ランプ１６と、画像処理装置１５からの指令により垂直支柱１７に沿って照明ランプ１６を昇降する昇降装置１８（昇降手段）から構成されている。昇降装置１８は、たとえば照明ランプ１６を支柱１７に沿って支持する支持体と、この支持体に設置されたモータと、このモータの回転軸に連結されたピニオンと、支柱１７に沿って上下方向に敷設され前記ピニオンが係合するラック（いずれも図示せず）などにより構成され、モータの回転により支持体が昇降することにより照明ランプ１６が昇降される。
【００２６】
上記画像処理装置１５は、第１ＣＣＤカメラ１１により撮影された物品２の撮像データにより照明装置１３によって物品２のかど部（ふち，コーナー）に形成される影を利用して物品天面上のかど部を認識し、この物品天面のかど部の高さを、第１ＣＣＤカメラ１１により撮影された物品２の撮像データと第２ＣＣＤカメラ１２により撮影された物品２の撮像データにより求め、物品の重心を認識するものである（詳細は後述する）。
【００２７】
上記構成の制御構成図を図２に示す。
画像処理装置１５は、図２に示すように、
第１ＣＣＤカメラ１１により撮影された物品２の撮像データを平面座標で記憶する第１画像メモリ２１と、
第２ＣＣＤカメラ１２により撮影された物品２の撮像データを平面座標で記憶する第２画像メモリ２２と、
照明装置１３により最上段の物品２のかど部に形成される影Ｓを利用した物品天面のかど部のパターンが予め記憶された（第１）パターンメモリ２３と、
第１画像メモリ２１に記憶された物品２の撮像データにより、物品２のかど部の影Ｓを利用して物品天面のかど部を抽出し、パターンメモリ２３に予め記憶された物品天面のかど部のパターンと一致するパターンを求め、その平面座標を記憶するパターンマッチング手段２５と、
パターンマッチング手段２５により求められた、予め記憶された物品天面のかど部のパターンと一致するパターンの物品２のかど部の高さｈを、第１画像メモリ２１に記憶された物品２の撮像データと第２画像メモリ２２に記憶された撮像データにより検出する高さ検出手段２６と、
高さ検出手段２６により検出された物品２のかど部の高さｈと、後述する昇降用制御手段により求められる最上段の物品２の高さＨが一致する物品２を求め、この物品２のかど部の平面座標を記憶する選択手段２７と、
選択手段２７により求めた物品２のかど部から伸びる２本のエッジ（明暗差のふち）の長さを、第１画像メモリ２１に記憶された撮像データより求め、これらエッジの長さと後述する昇降用制御手段により求められる最上段の物品２の数（個数）により物品２の向きを求め、物品２のかど部の平面座標とともに出力し、また向きを求めることができなかったとき、物品２のかど部の平面座標（情報）のみを、後述する物品位置検出装置４７へ出力する向き検出手段２８と、
後述する昇降用制御手段により入力した物品の平面の長さ（物品２の幅、長さのデータ）と、向き検出手段２８により求められた物品２の向きとこの物品２のかど部の平面座標により物品２の重心の平面座標を求め、この重心の平面座標データを後述するロボット制御装置１９へ出力する重心検出手段２９と、
後述するロボット制御装置１９より入力した物品２のサイズ（物品２の幅、長さ、高さのデータ）、パレット上の総物品数、１段の総物品数、パレット１の厚みのデータより、最上段の物品２の数と、最上段の物品２までの高さＨを演算し、この最上段の物品２までの高さＨに基づいて、最上段の物品２と現状認識している照明装置１３との距離を一定とするように、パルス信号を照明装置１３の昇降装置１８へ出力する昇降用制御手段３０と、
照明装置１３の照明ランプ１６へ点灯信号を出力する駆動手段３１
から構成されている。
【００２８】
物品位置認識装置３を備えたデパレタイズ部の構成を図３に示す。
図３において、２０はロボットであり、このロボット２０は、後述するロボット制御装置１９からの指令に基づいてパレット１から物品２を１個ずつ持ち上げて移載する。
【００２９】
また４１は駆動ローラコンベヤから構成された搬入コンベヤであり、自動搬送台車（搬送手段の一例）４２より、デパレタイズされる物品２が積付られたパレット１を受け取り、物品位置認識装置３が設置されたデパレタイズ位置ａまで搬送する。このデパレタイズ位置ａにおいて前記ロボット２０により物品２はデパレタイズされ、移載コンベヤ４３へ移載される。終了すると、パレット１は搬入コンベヤ４１より、駆動ローラコンベヤから構成された搬出コンベヤ４４へ移載され、この搬出コンベヤ４４によりパレット１は搬送され、自動搬送台車４２へ搬出する。
【００３０】
またロボット２０のハンド４６に従来の３本のレーザーとＣＣＤカメラ（図示せず）が取り付けられ、従来のレーザー方式の物品位置検出装置４７（図２）が構成されている。この物品位置検出装置４７は、ロボット制御装置１９の一部として構成されており、物品位置認識装置３の画像処理装置１５から、前記最上段の物品２のかど部の平面座標データを入力すると、公知のように、この座標データから最上段の物品２の概略位置を判断し、この物品２の概略位置の範囲内で、３本のレーザーから物品に対して“キ”の字を投影し、これをＣＣＤカメラにより認識し、物品のエッジを検出することにより物品２の重心座標を算出し、ロボット制御装置１９へ出力する。
【００３１】
ロボット制御装置１９には、物品２の移載等を管理する上位コンピュータ（図示せず）より物品２の移載の数（ピッキング数）などの指令データ、およびデパレタイズに必要なデータ、たとえば物品２のサイズ（物品２の幅、長さ、高さのデータ）、パレット上の総物品数、１段の総物品数、パレット１の厚みなどのデータが入力され、図４に示すように、図１に示す天井型濃淡方式の画像処理装置１５より重心平面座標を入力すると、このパレット１上に認識された物品２の重心平面座標および前記デパレタイズに必要なデータに基づいて、ロボット２０へ指令してロボット２０を駆動し、あるいは従来のレーザー方式の物品位置検出装置４７より物品２の重心座標データを入力すると、この重心平面座標および前記デパレタイズに必要なデータに基づいて、ロボット２０へ指令してロボット２０を駆動し、指令データのピッキング数の物品２を１個ずつパレット１より移載コンベヤ４３へ移載させる。
【００３２】
天井型濃淡方式の画像処理装置１５より重心平面座標を得る手順を図５〜図８のフローチャートにしたがって詳細に説明する。なお、ロボット制御装置１９より、物品２のサイズ（物品２の幅、長さ、高さのデータ）、パレット上の総物品数、１段の総物品数、パレット１の厚みのデータが入力されているものとする。
【００３３】
まず、昇降用制御手段３０により、ロボット制御装置１９から入力した物品２の高さデータ、パレット１上の総物品数、１段の総物品数、パレット１の厚みのデータにより最上段の物品２の数と、最上段の物品２までの高さＨを演算し（ステップ−１）、この最上段の物品２までの高さＨに基づいて、パルス信号を照明装置１３の昇降装置１８へ出力し、最上段の物品２と照明装置１３との距離を一定とする（ステップ−２）。これにより第１ＣＣＤカメラ１１と第２ＣＣＤカメラ１２は、常に同じ明るさで、精度よく撮像データを得ることができる。
【００３４】
次に、駆動手段３１により照明装置１３の照明ランプ１６を駆動してストロボ照射させ、同時に第１ＣＣＤカメラ１１と第２ＣＣＤカメラ１２によりパレット１上の物品２を撮影し、その撮像データを平面座標で、それぞれ第１画像メモリ２１と第２画像メモリ２２に記憶する（ステップ−３）。
【００３５】
次に、パターンマッチング手段２５において、第１画像メモリ２１に記憶された物品２の撮像データにより物品２のかど部の影Ｓを利用して物品天面のかど部を抽出し、パターンメモリ２３に予め記憶された物品天面のかど部のパターンと一致するパターンを求め、その平面座標を記憶する（ステップ−４）。
【００３６】
パターンマッチング手段２５により予め記憶された物品天面のかど部のパターンと一致するパターンが求められると（ステップ−５）、続いて高さ検出手段２６において、パターンマッチング手段２５により求められた、予め記憶された物品天面のかど部のパターンと一致するパターンの物品２のかど部までの高さｈを、第１画像メモリ２１に記憶された物品２の撮像データと第２画像メモリ２２に記憶された撮像データにより求める（ステップ−６）。
【００３７】
次に選択手段２７において、高さ検出手段２６により検出された物品２のかど部までの高さｈと、昇降制御手段３０により算出した最上段の物品２までの高さＨが一致する物品２を求め、この物品２のかど部の平面座標を記憶する（ステップ−７）。
【００３８】
次に向き検出手段２８において、選択手段２７により求めた物品２のかど部から伸びる２本のエッジを第１画像メモリ２１に記憶された撮像データから探す｛たとえば、トーン差のある数点（たとえば７点）をラインとして見なす｝（ステップ−８）。次にこれらエッジが直交しているかを確認し（ステップ−９）、直交していることが確認されると、これらエッジを延ばし、断点（条件が変わる点）を見つけ、２辺の長さを求める（ステップ−１０）。
【００３９】
以下、下記のステップにより、これら求めた２辺から長辺と短辺を認識し、物品２の向きを求める。
まず、向き検出手段２８において、昇降用制御手段３０より入力した最上段の物品２の個数が１個かどうかを確認し（ステップ−１１）、確認すると、求めた２辺の長さの差の領域のエッジを検出し（ステップ−１２）、一方のエッジが認識され、他方のエッジが認識されないと、一方のエッジを長辺、他方のエッジを短辺と認識し、物品２の向きを求める（ステップ−１３）。
【００４０】
向き検出手段２８は、上記ステップ−１１において、最上段の物品２の個数が１個でない場合、入力した最上段の物品２の個数が２個かどうかを確認し（ステップ−１４）、確認すると、求めた２辺にそれぞれ対向する辺の位置で物品２のエッジを検出し（ステップ−１５）、２つ以上のエッジを抽出した辺を長辺、他方の辺を短辺と認識し、物品２の向きを求める（ステップ−１６）。
【００４１】
向き検出手段２８は、上記ステップ−１４において、最上段の物品２の個数が２個でない場合、すなわち物品２が３個以上の場合、物品２のかど部に対する対向辺の長辺・短辺が同時に検出できるかを調べ（ステップ−１７）、長辺・短辺を同時に検出できるとき、検出した長辺に対向する辺を長辺、検出した短辺に対向する辺を短辺と認識し、物品２の向きを求める（ステップ−１８）。ステップ−１８において、長辺・短辺を同時に検出できないとき、上記最上段の物品２の個数が２個のときの処理を行い（ステップ−１９）、２つ以上のエッジを抽出した辺を長辺、他方の辺を短辺と認識し、物品２の向きを求める（ステップ−２０）。
【００４２】
上記ステップ−１３，１５，２０において、エラー、すなわち長辺・短辺を認識できないとき、物品２のかど部の座標を物品位置検出装置４７へ出力する（ステップ−２１）。
【００４３】
続いて、重心検出手段２９において、昇降制御手段３０より入力された物品２の幅と長さのデータと、向き検出手段２８により求められた物品２の向きと、この物品２のかど部の平面座標により物品２の重心の平面座標を求め（ステップ−２２）、この重心の平面座標データをロボット制御装置１９へ出力する（ステップ−２３）。
【００４４】
このように、物品位置が未知なとき、物品位置認識装置３により最上段の物品２の重心座標データが検出され、この重心座標データに基づいてロボット制御装置１９を介してロボット２０により物品２のデパレタイズが行われることにより、人手が介在してパレット１上のどの位置に物品２があるのか分からない状態においても自動でデパレタイズを実行することができ、全自動で物品２のピッキング作業を行うことができる。
【００４５】
また物品位置認識装置３に必要なデータは、物品２のサイズ、パレット上の総物品数、１段の総物品数、パレット１の厚みのデータと数が少なくてよく、設定にかかる時間を短縮でき、認識処理時間を短縮することができる。
【００４６】
なお、物品位置が既知なとき、物品位置認識装置３による輪郭データの認識を行わず、レーザー方式の物品位置認識装置４７により物品位置を認識することにより、作業時間の短縮を図ることもできる。
［実施の形態２］
図９は本発明の実施の形態２における物品位置認識装置の構成図である。
【００４７】
実施の形態２では、上記実施の形態１の構成に、新たに、照明装置（第１照明装置）１３とはパレット１を挟んで対象の位置で、パレット１の斜め上方より物品２に対して照明する第２照明装置（第２照明手段）１４を設けている。
【００４８】
また図１０に示すように、画像処理装置１５に、新たに第２照明装置１４により最上段の物品２のかど部に形成される影Ｓを利用した物品天面のかど部のパターンが予め記憶された第２パターンメモリ２４を設け、昇降用制御手段３０は、照明装置１３と同時に第２照明装置１４の昇降装置１８を駆動するようにしており、また駆動手段３１は、後述するロボット制御装置１９より入力した物品２のデパレタイズ情報により第１照明装置１３と第２照明装置１４の一方を選択し、選択した照明装置１３または１４の照明ランプ１６へ点灯信号を出力し、また選択信号をパターンマッチング手段２５へ出力するようにしており、さらにパターンマッチング手段２５は、駆動手段３１の選択信号により、照明装置１３のパターンメモリ２３または照明装置１４のパターンメモリ２４を選択し、選択した照明装置１３のパターンメモリ２３または照明装置１４のパターンメモリ２４に予め記憶された物品天面のかど部のパターンと一致するパターンを求めるようにしている。
【００４９】
また画像処理装置１５より重心平面座標を得る手順では、上記図５〜図８のフローチャートの手順を実行する前に、「駆動手段３１により物品２のデパレタイズ情報に基づいて照明装置１３の照明ランプ１６、または第２照明装置１４の照明ランプ１６を選択する」ステップを実行する。なお、ロボット制御装置１９より、物品２のサイズ、パレット上の総物品数、１段の総物品数、パレット１の厚みのデータに加えて、上記物品２のデパレタイズ情報が入力されているものとする。
【００５０】
上記物品２のデパレタイズ情報に基づいて照明装置１３の照明ランプ１６あるいは第２照明装置１４の照明ランプ１６を選択する方法について説明する。
パレット１の搬送中に物品２の荷崩れ、落下を防止するためには、パレット１の中心に物品２が残るように、たとえば図１１に番号▲１▼〜▲９▼の順で示すように、４隅から物品２がデパレタイズすることが望まれる。このとき、図１１において右上に示す番号▲１▼の物品２をデパレタイズするとき、矢印Ａで示す番号▲１▼の物品２の右斜めから第１照明装置１３により照明を当てても番号▲１▼の物品２のかど部には影ができない。よって第２照明装置１４を選択し、矢印Ｂで示すように番号▲１▼の物品２の左斜めから第２照明装置１４により照明を当てて番号▲１▼の物品２のかど部に影を作成する。
【００５１】
よって図１１に示すように、物品２のデパレタイズ情報により第１照明装置１３または第２照明装置１４を選択する。
このように、物品２のデパレタイズ情報により照明装置１３または１４を選択することにより、目的の物品２のかど部に影Ｓを作ることができ、その重心座標データを求めることができ、よってパレット１上の外側に配置された物品２から順にデパレタイズすることができ、荷姿を安定させることができる。
［他の実施の形態］
上記実施の形態１，２において、照明装置１３，１４に昇降装置１８を設けているが、これら昇降装置１８に代えて、パレット１を昇降させる昇降装置を設け、昇降用制御手段３０により算出された最上段の物品２の高さＨにより、この昇降装置を駆動して最上段の物品２と照明装置１３，１４の距離を一定とする構成としてもよい。
【００５２】
また上記実施の形態１，２において、照明装置１３，１４に昇降装置１８を設けているが、これら昇降装置１８に代えて、第１ＣＣＤ装置１１または第２ＣＣＤ装置１２の少なくとも一方に自動ズーム機能を付加し、昇降用制御手段３０により算出された最上段の物品２の高さＨにより、前記自動ズーム機能により最上段の物品２の撮像データの大きさを調整し一定とする構成としてもよい。
【００５３】
また上記実施の形態１，２においては、図３に示すように、デパレタイズ位置ａにおいてロボット２０によりパレット１上より物品２はデパレタイズされ、移載コンベヤ４３へ移載される運用形態を示しているが、デパレタイズされた物品２が、他のパレット１へ積付られる運用形態とすることもできる。この「パレットからパレットへのデパレタイズ・パレタイズ」の運用形態の一例を図１２に示す。図１２において、４８は、自動搬送台車（搬送手段の一例）４２より、パレタイズされる物品２を積付けるパレット１を受け取り、パレタイズ位置ｂへ搬送する第２搬入コンベヤであり、この第２搬入コンベヤ４８によりパレタイズ位置ｂへ搬入されたパレット１に対して、ロボット２０によりデパレタイズ位置ａのパレット１上よりデパレタイズされた物品２が積み込まれる（パレタイズされる）構成としている。またパレタイズが終了したパレット１は、第２搬入コンベヤ４８より第２搬出コンベヤ４９へ移載され、この第２搬出コンベヤ４９により自動搬送台車４２へ搬出される構成としている。前記第２搬入コンベヤ４８と第２搬出コンベヤ４９は、たとえば駆動ローラコンベヤから構成される。
【００５４】
【発明の効果】
以上述べたように本発明によれば、人手が介在してパレット上のどの位置に物品があるのか分からない状態においても、最上段の物品を認識でき、よってこの認識に基づいて物品のデパレタイズが行われることにより、自動でデパレタイズを実行することができ、全自動で物品のピッキング作業を行うことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における物品位置認識装置の構成図である。
【図２】同物品位置認識装置の制御構成図である。
【図３】同物品位置認識装置を備えたデパレタイズ部の構成図である。
【図４】同物品位置認識装置を備えたデパレタイズ部のロボット駆動の手順を示すフローチャートである。
【図５】同物品位置認識装置による物品認識のフローチャートである。
【図６】同物品位置認識装置による物品認識のフローチャートである。
【図７】同物品位置認識装置による物品認識のフローチャートである。
【図８】同物品位置認識装置による物品認識のフローチャートである。
【図９】本発明の実施の形態２における物品位置認識装置の構成図である。
【図１０】同物品位置認識装置の制御構成図である。
【図１１】同物品位置認識装置による物品認識の説明図である。
【図１２】他の実施の形態における物品位置認識装置を備えたデパレタイズ部の構成図である。
【図１３】物品位置検出装置を備えたロボットの概略構成と物品位置検出装置による物品検出方法の説明図である。
【符号の説明】
１ パレット
２ 物品
３ 物品位置認識装置
１１ 第１ＣＣＤカメラ
１２ 第２ＣＣＤカメラ
１３ 照明装置
１４ 第２照明装置
１５ 画像処理装置
１６ 照明ランプ
１８ 昇降装置
１９ ロボット制御装置
２０ ロボット
２１，２２ 画像メモリ
２３，２４ パターンメモリ
２５ パターンマッチング手段
２６ 高さ検出手段
２７ 選択手段
２８ 向き検出手段
２９ 重心検出手段
３０ 昇降用制御手段
３１ 駆動手段
４７ 物品位置認識装置
【発明の属する技術分野】
本発明は、パレット上の物品（ワーク）の物品位置認識装置に関するものである。
【０００２】
【従来の技術】
従来、物品位置の検出方式として、事前に登録された積付パターン情報に基づく物品概略位置の範囲内で、物品の位置検出を行う方式がある。
【０００３】
このような物品位置検出装置の一例が、特開平６−５５４７７号公報に開示されている。すなわち図１３に示すように、ロボット５１のハンド５２に３本のレーザー（投光手段）５３とＣＣＤカメラ（撮像手段）５４を取り付け、事前に登録された積付パターン情報に基づく物品概略位置の範囲内で、ロボット５１のハンド５２に取り付けた３本のレーザー５３から物品５５に対して“キ”の字を投影させ、これをＣＣＤカメラ５４により認識し、物品５５のエッジを検出することにより形状・方向を算出している。この算出した物品５５の形状・方向に基づいて、ハンド５２の位置が補正され、ハンド５２により物品５５が支持され、移載される（デパレタイズされる）。
【０００４】
上記物品５５の認識の画像処理に必要なデータは、物品５５のサイズ、撮像距離（ＣＣＤカメラ５４と物品５５の天面との距離）、目的の物品５５の周辺物品の配置情報、画像認識最適設定情報、ロボットハンド角度情報、画像認識リトライ回数設定情報などである。
【０００５】
この物品位置検出装置は、物品５５のエッジを検出する方法を採用することでパターンマッチングを行わないため、高速認識を行うことができ、デパレタイズ作業の高速化を実現している。
【０００６】
【発明が解決しようとする課題】
しかし、従来の物品位置検出装置では、ロボット５１のハンド５２にＣＣＤカメラ５４が取り付けられているためＣＣＤカメラ５４の視野が狭く、よって物品概略位置の範囲内で物品の位置を検出することから、人手が介在し、登録された積付位置以外の場所に物品がある場合は検出できず、よって自動でデパレタイズを実行できず、全自動で物品のピッキング作業を行うことができないという問題があった。
【０００７】
また従来の物品位置検出装置では、物品５５の認識の画像処理に必要なデータが多く、設定に時間がかかるという問題があった。
そこで、本発明は、人手が介在してパレット上のどの位置に物品があるのか分からない状態の物品位置検出を行い、自動デパレタイズを可能とし、また画像処理に必要なデータを少なくできる物品位置認識装置を提供することを目的としたものである。
【０００８】
【課題を解決するための手段】
前述した目的を達成するために、本発明のうち請求項１記載の発明は、パレット上の物品の位置を認識する装置であって、
前記パレットのほぼ中心上方から前記物品を撮影する第１撮像手段と、前記パレットの斜め上方より前記物品を撮影する第２撮像手段と、前記パレットの斜め上方より前記物品に対して照明する照明手段と、前記第１撮像手段と前記第２撮像手段に接続された認識手段を備え、
前記認識手段は、前記照明手段により前記物品のかど部に形成される影を利用した物品天面上のかど部のパターンを予め記憶し、前記第１撮像手段により撮影された物品の撮像データにより前記物品のかど部を抽出し、前記予め記憶されたかど部のパターンと一致するパターンを求め、その平面座標を記憶するパターンマッチング手段と、前記パターンマッチング手段により求められた、予め記憶されたかど部のパターンと一致するパターンの物品天面のかど部の高さを、前記第１撮像手段により撮影された物品の撮像データと前記第２撮像手段により撮影された物品の撮像データにより検出する高さ検出手段と、前記高さ検出手段により検出された物品のかど部の高さと、設定された最上段の物品の高さが一致する物品を求め、この物品のかど部の平面座標を記憶する選択手段と、前記選択手段により求めた物品のかど部から伸びる２本の明暗差のふちから辺を求め、これら辺により物品の向きを求める向き検出手段と、予め記憶された物品の平面の辺の長さと、前記向き検出手段により求められた物品の向きと、この物品のかど部の平面座標により物品の重心の座標を求める重心検出手段とから構成したことを特徴とするものである。
【００１１】
上記構成によれば、第１撮像手段により撮影された物品の撮像データにより照明手段によって物品のかど部に形成される影を利用して物品天面上のかど部が認識され、この物品天面のかど部の高さが、第１撮像手段により撮影された物品の撮像データと第２撮像手段により撮影された物品の撮像データにより求められ、この物品のかど部の高さと、設定された最上段の物品の高さが一致する物品が求められ、この高さが一致した物品のかど部から伸びる２本の明暗差のふちから辺が求められ、これら２辺により物品の向きが求められ、この求められた物品の向きとこの物品のかど部の平面座標により物品の重心が求められる。
【００１２】
また請求項２に記載の発明は、上記請求項１に記載の発明であって、向き検出手段は、最上段の物品の個数が１個のとき、物品のかど部から伸ばした２本の辺の長さの差の領域の明暗差のふちを検出し、一方の明暗差のふちが認識され、他方の明暗差のふちが認識されないと、前記明暗差のふちが認識された辺を長辺、前記明暗差のふちが認識されない辺を短辺と認識し、また最上段の物品の個数が２個で一塊で配置されているとき、求めた各辺にそれぞれ対向する物品の明暗差のふちを検出し、明暗差のふちを抽出した辺を長辺、他方の辺を短辺と認識し、また最上段の物品の個数が３個以上で一塊で配置されているとき、物品のかど部に対向する長辺と短辺を検出し、長辺と短辺を検出すると、検出した長辺に対向する辺を長辺、検出した短辺に対向する辺を短辺と認識することを特徴とするものである。
【００１３】
上記構成によれば、最上段の物品の個数およびその配置の状態に応じて物品の長辺と短辺がそれぞれ認識され、物品の重心座標が求められる。
また請求項３に記載の発明は、上記請求項１または請求項２に記載の発明であって、第１および第２撮像手段は、被写体を撮影するときに赤外映像のみを取り込んだ撮像データを得る構成としたことを特徴とするものである。
【００１４】
上記構成によれば、赤外映像のみを取り込むことにより物品に印刷された文字、模様、貼付テープ色（青、緑色など）の影響を少なくすることができ、正確な撮像データを得ることができる。
【００１５】
また請求項４に記載の発明は、上記請求項１〜請求項３のいずれかに記載の発明であって、照明手段は昇降手段を有し、設定された最上段の物品の高さにより、昇降手段を駆動して最上段の物品と照明手段の距離を一定する構成としたことを特徴とするものである。
【００１６】
この構成によれば、最上段の物品と照明手段の距離が一定とされ、第１および第２撮像手段は、撮像データを常に正確な精度で得ることができる。
また請求項５に記載の発明は、上記請求項１〜請求項３のいずれかに記載の発明であって、パレットを昇降する昇降手段を有し、設定された最上段の物品の高さにより、昇降手段を駆動して最上段の物品と照明手段の距離を一定する構成としたことを特徴とするものである。
【００１７】
この構成によれば、最上段の物品と照明手段の距離が一定とされ、第１および第２撮像手段は、撮像データを常に同じ明るさで、精度よく得ることができる。
また請求項６に記載の発明は、上記請求項１〜請求項３のいずれかに記載の発明であって、第１または第２撮像手段に自動ズーム機能を付加し、設定された最上段の物品の高さにより、前記自動ズーム機能により最上段の物品の撮像データの大きさを調整し一定とする構成としたことを特徴とするものである。
【００１８】
この構成によれば、最上段の物品の大きさが一定に調整され、第１または第２撮像手段は、撮像データを常に正確な精度で得ることができる。
また請求項７に記載の発明は、上記請求項１〜請求項６のいずれかに記載の発明であって、第１または第２撮像手段に絞り調整機能を付加したことを特徴とするものである。
【００１９】
この構成によれば、物品の表面にハレーションが発生しないように絞りが調整され、安定した画像が取り込める。
また請求項８に記載の発明は、上記請求項１〜請求項７のいずれかに記載の発明であって、複数の照明手段を備え、これら照明手段を切り換え可能な構成としたことを特徴とするものである。
【００２０】
この構成によれば、物品のかど部に発生する影の位置を変更でき、目的の物品のかど部に影を発生でき、目的の物品の重心位置を求めることができる。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
［実施の形態１］
図１は本発明の実施の形態１における物品位置認識装置の構成図である。
【００２２】
図１において、１は被認識対象の物品（ワーク）２が積付られたパレットであり、パレット１の最上段の物品２の位置を認識する物品位置認識装置３が設けられている。
【００２３】
物品位置認識装置３は、パレット１のほぼ中心上方から物品２を撮影する第１ＣＣＤカメラ（第１撮像手段）１１と、パレット１の斜め上方より物品２を撮影する第２ＣＣＤカメラ（第２撮像手段）１２と、パレット１の斜め上方より物品２に対して照明する照明装置（第１照明手段）１３と、これら第１ＣＣＤカメラ１１と第２ＣＣＤカメラ１２と照明装置１３に接続され、パレット１上の最上段の物品２の位置認識処理を行う画像処理装置（認識手段）１５から構成されている。
【００２４】
第１ＣＣＤカメラ１１と第２ＣＣＤカメラ１２にはそれぞれ、レンズの表面に赤外線のみを透過する赤外線フィルタが取り付けられ、また物品２の表面にハレーションが発生しないように絞りを調整し安定した画像を取り込めるように絞り調整機能が付加されている。第１ＣＣＤカメラ１１と第２ＣＣＤカメラ１２においては、赤外線フィルタにより被写体を撮影するときに赤外映像のみを取り込んだ撮像データ（映像データ）が得られ、赤外映像のみを取り込むことにより物品２に印刷された文字、模様、貼付テープ色（青、緑色など）の影響を少なくすることができ、正確な撮像データを得ることができる。
【００２５】
上記照明装置１３は、パレット１を斜め上方より見下ろす所定の角度に固定された照明ランプ１６と、画像処理装置１５からの指令により垂直支柱１７に沿って照明ランプ１６を昇降する昇降装置１８（昇降手段）から構成されている。昇降装置１８は、たとえば照明ランプ１６を支柱１７に沿って支持する支持体と、この支持体に設置されたモータと、このモータの回転軸に連結されたピニオンと、支柱１７に沿って上下方向に敷設され前記ピニオンが係合するラック（いずれも図示せず）などにより構成され、モータの回転により支持体が昇降することにより照明ランプ１６が昇降される。
【００２６】
上記画像処理装置１５は、第１ＣＣＤカメラ１１により撮影された物品２の撮像データにより照明装置１３によって物品２のかど部（ふち，コーナー）に形成される影を利用して物品天面上のかど部を認識し、この物品天面のかど部の高さを、第１ＣＣＤカメラ１１により撮影された物品２の撮像データと第２ＣＣＤカメラ１２により撮影された物品２の撮像データにより求め、物品の重心を認識するものである（詳細は後述する）。
【００２７】
上記構成の制御構成図を図２に示す。
画像処理装置１５は、図２に示すように、
第１ＣＣＤカメラ１１により撮影された物品２の撮像データを平面座標で記憶する第１画像メモリ２１と、
第２ＣＣＤカメラ１２により撮影された物品２の撮像データを平面座標で記憶する第２画像メモリ２２と、
照明装置１３により最上段の物品２のかど部に形成される影Ｓを利用した物品天面のかど部のパターンが予め記憶された（第１）パターンメモリ２３と、
第１画像メモリ２１に記憶された物品２の撮像データにより、物品２のかど部の影Ｓを利用して物品天面のかど部を抽出し、パターンメモリ２３に予め記憶された物品天面のかど部のパターンと一致するパターンを求め、その平面座標を記憶するパターンマッチング手段２５と、
パターンマッチング手段２５により求められた、予め記憶された物品天面のかど部のパターンと一致するパターンの物品２のかど部の高さｈを、第１画像メモリ２１に記憶された物品２の撮像データと第２画像メモリ２２に記憶された撮像データにより検出する高さ検出手段２６と、
高さ検出手段２６により検出された物品２のかど部の高さｈと、後述する昇降用制御手段により求められる最上段の物品２の高さＨが一致する物品２を求め、この物品２のかど部の平面座標を記憶する選択手段２７と、
選択手段２７により求めた物品２のかど部から伸びる２本のエッジ（明暗差のふち）の長さを、第１画像メモリ２１に記憶された撮像データより求め、これらエッジの長さと後述する昇降用制御手段により求められる最上段の物品２の数（個数）により物品２の向きを求め、物品２のかど部の平面座標とともに出力し、また向きを求めることができなかったとき、物品２のかど部の平面座標（情報）のみを、後述する物品位置検出装置４７へ出力する向き検出手段２８と、
後述する昇降用制御手段により入力した物品の平面の長さ（物品２の幅、長さのデータ）と、向き検出手段２８により求められた物品２の向きとこの物品２のかど部の平面座標により物品２の重心の平面座標を求め、この重心の平面座標データを後述するロボット制御装置１９へ出力する重心検出手段２９と、
後述するロボット制御装置１９より入力した物品２のサイズ（物品２の幅、長さ、高さのデータ）、パレット上の総物品数、１段の総物品数、パレット１の厚みのデータより、最上段の物品２の数と、最上段の物品２までの高さＨを演算し、この最上段の物品２までの高さＨに基づいて、最上段の物品２と現状認識している照明装置１３との距離を一定とするように、パルス信号を照明装置１３の昇降装置１８へ出力する昇降用制御手段３０と、
照明装置１３の照明ランプ１６へ点灯信号を出力する駆動手段３１
から構成されている。
【００２８】
物品位置認識装置３を備えたデパレタイズ部の構成を図３に示す。
図３において、２０はロボットであり、このロボット２０は、後述するロボット制御装置１９からの指令に基づいてパレット１から物品２を１個ずつ持ち上げて移載する。
【００２９】
また４１は駆動ローラコンベヤから構成された搬入コンベヤであり、自動搬送台車（搬送手段の一例）４２より、デパレタイズされる物品２が積付られたパレット１を受け取り、物品位置認識装置３が設置されたデパレタイズ位置ａまで搬送する。このデパレタイズ位置ａにおいて前記ロボット２０により物品２はデパレタイズされ、移載コンベヤ４３へ移載される。終了すると、パレット１は搬入コンベヤ４１より、駆動ローラコンベヤから構成された搬出コンベヤ４４へ移載され、この搬出コンベヤ４４によりパレット１は搬送され、自動搬送台車４２へ搬出する。
【００３０】
またロボット２０のハンド４６に従来の３本のレーザーとＣＣＤカメラ（図示せず）が取り付けられ、従来のレーザー方式の物品位置検出装置４７（図２）が構成されている。この物品位置検出装置４７は、ロボット制御装置１９の一部として構成されており、物品位置認識装置３の画像処理装置１５から、前記最上段の物品２のかど部の平面座標データを入力すると、公知のように、この座標データから最上段の物品２の概略位置を判断し、この物品２の概略位置の範囲内で、３本のレーザーから物品に対して“キ”の字を投影し、これをＣＣＤカメラにより認識し、物品のエッジを検出することにより物品２の重心座標を算出し、ロボット制御装置１９へ出力する。
【００３１】
ロボット制御装置１９には、物品２の移載等を管理する上位コンピュータ（図示せず）より物品２の移載の数（ピッキング数）などの指令データ、およびデパレタイズに必要なデータ、たとえば物品２のサイズ（物品２の幅、長さ、高さのデータ）、パレット上の総物品数、１段の総物品数、パレット１の厚みなどのデータが入力され、図４に示すように、図１に示す天井型濃淡方式の画像処理装置１５より重心平面座標を入力すると、このパレット１上に認識された物品２の重心平面座標および前記デパレタイズに必要なデータに基づいて、ロボット２０へ指令してロボット２０を駆動し、あるいは従来のレーザー方式の物品位置検出装置４７より物品２の重心座標データを入力すると、この重心平面座標および前記デパレタイズに必要なデータに基づいて、ロボット２０へ指令してロボット２０を駆動し、指令データのピッキング数の物品２を１個ずつパレット１より移載コンベヤ４３へ移載させる。
【００３２】
天井型濃淡方式の画像処理装置１５より重心平面座標を得る手順を図５〜図８のフローチャートにしたがって詳細に説明する。なお、ロボット制御装置１９より、物品２のサイズ（物品２の幅、長さ、高さのデータ）、パレット上の総物品数、１段の総物品数、パレット１の厚みのデータが入力されているものとする。
【００３３】
まず、昇降用制御手段３０により、ロボット制御装置１９から入力した物品２の高さデータ、パレット１上の総物品数、１段の総物品数、パレット１の厚みのデータにより最上段の物品２の数と、最上段の物品２までの高さＨを演算し（ステップ−１）、この最上段の物品２までの高さＨに基づいて、パルス信号を照明装置１３の昇降装置１８へ出力し、最上段の物品２と照明装置１３との距離を一定とする（ステップ−２）。これにより第１ＣＣＤカメラ１１と第２ＣＣＤカメラ１２は、常に同じ明るさで、精度よく撮像データを得ることができる。
【００３４】
次に、駆動手段３１により照明装置１３の照明ランプ１６を駆動してストロボ照射させ、同時に第１ＣＣＤカメラ１１と第２ＣＣＤカメラ１２によりパレット１上の物品２を撮影し、その撮像データを平面座標で、それぞれ第１画像メモリ２１と第２画像メモリ２２に記憶する（ステップ−３）。
【００３５】
次に、パターンマッチング手段２５において、第１画像メモリ２１に記憶された物品２の撮像データにより物品２のかど部の影Ｓを利用して物品天面のかど部を抽出し、パターンメモリ２３に予め記憶された物品天面のかど部のパターンと一致するパターンを求め、その平面座標を記憶する（ステップ−４）。
【００３６】
パターンマッチング手段２５により予め記憶された物品天面のかど部のパターンと一致するパターンが求められると（ステップ−５）、続いて高さ検出手段２６において、パターンマッチング手段２５により求められた、予め記憶された物品天面のかど部のパターンと一致するパターンの物品２のかど部までの高さｈを、第１画像メモリ２１に記憶された物品２の撮像データと第２画像メモリ２２に記憶された撮像データにより求める（ステップ−６）。
【００３７】
次に選択手段２７において、高さ検出手段２６により検出された物品２のかど部までの高さｈと、昇降制御手段３０により算出した最上段の物品２までの高さＨが一致する物品２を求め、この物品２のかど部の平面座標を記憶する（ステップ−７）。
【００３８】
次に向き検出手段２８において、選択手段２７により求めた物品２のかど部から伸びる２本のエッジを第１画像メモリ２１に記憶された撮像データから探す｛たとえば、トーン差のある数点（たとえば７点）をラインとして見なす｝（ステップ−８）。次にこれらエッジが直交しているかを確認し（ステップ−９）、直交していることが確認されると、これらエッジを延ばし、断点（条件が変わる点）を見つけ、２辺の長さを求める（ステップ−１０）。
【００３９】
以下、下記のステップにより、これら求めた２辺から長辺と短辺を認識し、物品２の向きを求める。
まず、向き検出手段２８において、昇降用制御手段３０より入力した最上段の物品２の個数が１個かどうかを確認し（ステップ−１１）、確認すると、求めた２辺の長さの差の領域のエッジを検出し（ステップ−１２）、一方のエッジが認識され、他方のエッジが認識されないと、一方のエッジを長辺、他方のエッジを短辺と認識し、物品２の向きを求める（ステップ−１３）。
【００４０】
向き検出手段２８は、上記ステップ−１１において、最上段の物品２の個数が１個でない場合、入力した最上段の物品２の個数が２個かどうかを確認し（ステップ−１４）、確認すると、求めた２辺にそれぞれ対向する辺の位置で物品２のエッジを検出し（ステップ−１５）、２つ以上のエッジを抽出した辺を長辺、他方の辺を短辺と認識し、物品２の向きを求める（ステップ−１６）。
【００４１】
向き検出手段２８は、上記ステップ−１４において、最上段の物品２の個数が２個でない場合、すなわち物品２が３個以上の場合、物品２のかど部に対する対向辺の長辺・短辺が同時に検出できるかを調べ（ステップ−１７）、長辺・短辺を同時に検出できるとき、検出した長辺に対向する辺を長辺、検出した短辺に対向する辺を短辺と認識し、物品２の向きを求める（ステップ−１８）。ステップ−１８において、長辺・短辺を同時に検出できないとき、上記最上段の物品２の個数が２個のときの処理を行い（ステップ−１９）、２つ以上のエッジを抽出した辺を長辺、他方の辺を短辺と認識し、物品２の向きを求める（ステップ−２０）。
【００４２】
上記ステップ−１３，１５，２０において、エラー、すなわち長辺・短辺を認識できないとき、物品２のかど部の座標を物品位置検出装置４７へ出力する（ステップ−２１）。
【００４３】
続いて、重心検出手段２９において、昇降制御手段３０より入力された物品２の幅と長さのデータと、向き検出手段２８により求められた物品２の向きと、この物品２のかど部の平面座標により物品２の重心の平面座標を求め（ステップ−２２）、この重心の平面座標データをロボット制御装置１９へ出力する（ステップ−２３）。
【００４４】
このように、物品位置が未知なとき、物品位置認識装置３により最上段の物品２の重心座標データが検出され、この重心座標データに基づいてロボット制御装置１９を介してロボット２０により物品２のデパレタイズが行われることにより、人手が介在してパレット１上のどの位置に物品２があるのか分からない状態においても自動でデパレタイズを実行することができ、全自動で物品２のピッキング作業を行うことができる。
【００４５】
また物品位置認識装置３に必要なデータは、物品２のサイズ、パレット上の総物品数、１段の総物品数、パレット１の厚みのデータと数が少なくてよく、設定にかかる時間を短縮でき、認識処理時間を短縮することができる。
【００４６】
なお、物品位置が既知なとき、物品位置認識装置３による輪郭データの認識を行わず、レーザー方式の物品位置認識装置４７により物品位置を認識することにより、作業時間の短縮を図ることもできる。
［実施の形態２］
図９は本発明の実施の形態２における物品位置認識装置の構成図である。
【００４７】
実施の形態２では、上記実施の形態１の構成に、新たに、照明装置（第１照明装置）１３とはパレット１を挟んで対象の位置で、パレット１の斜め上方より物品２に対して照明する第２照明装置（第２照明手段）１４を設けている。
【００４８】
また図１０に示すように、画像処理装置１５に、新たに第２照明装置１４により最上段の物品２のかど部に形成される影Ｓを利用した物品天面のかど部のパターンが予め記憶された第２パターンメモリ２４を設け、昇降用制御手段３０は、照明装置１３と同時に第２照明装置１４の昇降装置１８を駆動するようにしており、また駆動手段３１は、後述するロボット制御装置１９より入力した物品２のデパレタイズ情報により第１照明装置１３と第２照明装置１４の一方を選択し、選択した照明装置１３または１４の照明ランプ１６へ点灯信号を出力し、また選択信号をパターンマッチング手段２５へ出力するようにしており、さらにパターンマッチング手段２５は、駆動手段３１の選択信号により、照明装置１３のパターンメモリ２３または照明装置１４のパターンメモリ２４を選択し、選択した照明装置１３のパターンメモリ２３または照明装置１４のパターンメモリ２４に予め記憶された物品天面のかど部のパターンと一致するパターンを求めるようにしている。
【００４９】
また画像処理装置１５より重心平面座標を得る手順では、上記図５〜図８のフローチャートの手順を実行する前に、「駆動手段３１により物品２のデパレタイズ情報に基づいて照明装置１３の照明ランプ１６、または第２照明装置１４の照明ランプ１６を選択する」ステップを実行する。なお、ロボット制御装置１９より、物品２のサイズ、パレット上の総物品数、１段の総物品数、パレット１の厚みのデータに加えて、上記物品２のデパレタイズ情報が入力されているものとする。
【００５０】
上記物品２のデパレタイズ情報に基づいて照明装置１３の照明ランプ１６あるいは第２照明装置１４の照明ランプ１６を選択する方法について説明する。
パレット１の搬送中に物品２の荷崩れ、落下を防止するためには、パレット１の中心に物品２が残るように、たとえば図１１に番号▲１▼〜▲９▼の順で示すように、４隅から物品２がデパレタイズすることが望まれる。このとき、図１１において右上に示す番号▲１▼の物品２をデパレタイズするとき、矢印Ａで示す番号▲１▼の物品２の右斜めから第１照明装置１３により照明を当てても番号▲１▼の物品２のかど部には影ができない。よって第２照明装置１４を選択し、矢印Ｂで示すように番号▲１▼の物品２の左斜めから第２照明装置１４により照明を当てて番号▲１▼の物品２のかど部に影を作成する。
【００５１】
よって図１１に示すように、物品２のデパレタイズ情報により第１照明装置１３または第２照明装置１４を選択する。
このように、物品２のデパレタイズ情報により照明装置１３または１４を選択することにより、目的の物品２のかど部に影Ｓを作ることができ、その重心座標データを求めることができ、よってパレット１上の外側に配置された物品２から順にデパレタイズすることができ、荷姿を安定させることができる。
［他の実施の形態］
上記実施の形態１，２において、照明装置１３，１４に昇降装置１８を設けているが、これら昇降装置１８に代えて、パレット１を昇降させる昇降装置を設け、昇降用制御手段３０により算出された最上段の物品２の高さＨにより、この昇降装置を駆動して最上段の物品２と照明装置１３，１４の距離を一定とする構成としてもよい。
【００５２】
また上記実施の形態１，２において、照明装置１３，１４に昇降装置１８を設けているが、これら昇降装置１８に代えて、第１ＣＣＤ装置１１または第２ＣＣＤ装置１２の少なくとも一方に自動ズーム機能を付加し、昇降用制御手段３０により算出された最上段の物品２の高さＨにより、前記自動ズーム機能により最上段の物品２の撮像データの大きさを調整し一定とする構成としてもよい。
【００５３】
また上記実施の形態１，２においては、図３に示すように、デパレタイズ位置ａにおいてロボット２０によりパレット１上より物品２はデパレタイズされ、移載コンベヤ４３へ移載される運用形態を示しているが、デパレタイズされた物品２が、他のパレット１へ積付られる運用形態とすることもできる。この「パレットからパレットへのデパレタイズ・パレタイズ」の運用形態の一例を図１２に示す。図１２において、４８は、自動搬送台車（搬送手段の一例）４２より、パレタイズされる物品２を積付けるパレット１を受け取り、パレタイズ位置ｂへ搬送する第２搬入コンベヤであり、この第２搬入コンベヤ４８によりパレタイズ位置ｂへ搬入されたパレット１に対して、ロボット２０によりデパレタイズ位置ａのパレット１上よりデパレタイズされた物品２が積み込まれる（パレタイズされる）構成としている。またパレタイズが終了したパレット１は、第２搬入コンベヤ４８より第２搬出コンベヤ４９へ移載され、この第２搬出コンベヤ４９により自動搬送台車４２へ搬出される構成としている。前記第２搬入コンベヤ４８と第２搬出コンベヤ４９は、たとえば駆動ローラコンベヤから構成される。
【００５４】
【発明の効果】
以上述べたように本発明によれば、人手が介在してパレット上のどの位置に物品があるのか分からない状態においても、最上段の物品を認識でき、よってこの認識に基づいて物品のデパレタイズが行われることにより、自動でデパレタイズを実行することができ、全自動で物品のピッキング作業を行うことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における物品位置認識装置の構成図である。
【図２】同物品位置認識装置の制御構成図である。
【図３】同物品位置認識装置を備えたデパレタイズ部の構成図である。
【図４】同物品位置認識装置を備えたデパレタイズ部のロボット駆動の手順を示すフローチャートである。
【図５】同物品位置認識装置による物品認識のフローチャートである。
【図６】同物品位置認識装置による物品認識のフローチャートである。
【図７】同物品位置認識装置による物品認識のフローチャートである。
【図８】同物品位置認識装置による物品認識のフローチャートである。
【図９】本発明の実施の形態２における物品位置認識装置の構成図である。
【図１０】同物品位置認識装置の制御構成図である。
【図１１】同物品位置認識装置による物品認識の説明図である。
【図１２】他の実施の形態における物品位置認識装置を備えたデパレタイズ部の構成図である。
【図１３】物品位置検出装置を備えたロボットの概略構成と物品位置検出装置による物品検出方法の説明図である。
【符号の説明】
１ パレット
２ 物品
３ 物品位置認識装置
１１ 第１ＣＣＤカメラ
１２ 第２ＣＣＤカメラ
１３ 照明装置
１４ 第２照明装置
１５ 画像処理装置
１６ 照明ランプ
１８ 昇降装置
１９ ロボット制御装置
２０ ロボット
２１，２２ 画像メモリ
２３，２４ パターンメモリ
２５ パターンマッチング手段
２６ 高さ検出手段
２７ 選択手段
２８ 向き検出手段
２９ 重心検出手段
３０ 昇降用制御手段
３１ 駆動手段
４７ 物品位置認識装置
Claims (8)
- パレット上の物品の位置を認識する装置であって、
前記パレットのほぼ中心上方から前記物品を撮影する第１撮像手段と、
前記パレットの斜め上方より前記物品を撮影する第２撮像手段と、
前記パレットの斜め上方より前記物品に対して照明する照明手段と、
前記第１撮像手段と前記第２撮像手段に接続された認識手段
を備え、
前記認識手段は、
前記照明手段により前記物品のかど部に形成される影を利用した物品天面上のかど部のパターンを予め記憶し、前記第１撮像手段により撮影された物品の撮像データにより前記物品のかど部を抽出し、前記予め記憶されたかど部のパターンと一致するパターンを求め、その平面座標を記憶するパターンマッチング手段と、
前記パターンマッチング手段により求められた、予め記憶されたかど部のパターンと一致するパターンの物品天面のかど部の高さを、前記第１撮像手段により撮影された物品の撮像データと前記第２撮像手段により撮影された物品の撮像データにより検出する高さ検出手段と、
前記高さ検出手段により検出された物品のかど部の高さと、設定された最上段の物品の高さが一致する物品を求め、この物品のかど部の平面座標を記憶する選択手段と、
前記選択手段により求めた物品のかど部から伸びる２本の明暗差のふちから辺を求め、これら辺により物品の向きを求める向き検出手段と、
予め記憶された物品の平面の辺の長さと、前記向き検出手段により求められた物品の向きと、この物品のかど部の平面座標により物品の重心の座標を求める重心検出手段と
から構成したこと
を特徴とする物品位置認識装置。 - 向き検出手段は、
最上段の物品の個数が１個のとき、
物品のかど部から伸ばした２本の辺の長さの差の領域の明暗差のふちを検出し、一方の明暗差のふちが認識され、他方の明暗差のふちが認識されないと、前記明暗差のふちが認識された辺を長辺、前記明暗差のふちが認識されない辺を短辺と認識し、
最上段の物品の個数が２個で一塊で配置されているとき、
求めた各辺にそれぞれ対向する物品の明暗差のふちを検出し、明暗差のふちを抽出した辺を長辺、他方の辺を短辺と認識し、
最上段の物品の個数が３個以上で一塊で配置されているとき、
物品のかど部に対向する長辺と短辺を検出し、長辺と短辺を検出すると、検出した長辺に対向する辺を長辺、検出した短辺に対向する辺を短辺と認識すること
を特徴とする請求項１に記載の物品位置認識装置。 - 第１および第２撮像手段は、被写体を撮影するときに赤外映像のみを取り込んだ撮像データを得る構成としたこと
を特徴とする請求項１または請求項２に記載の物品位置認識装置。 - 照明手段は昇降手段を有し、設定された最上段の物品の高さにより、昇降手段を駆動して最上段の物品と照明手段の距離を一定する構成としたこと
を特徴とする請求項１〜請求項３のいずれかに記載の物品位置認識装置。 - パレットを昇降する昇降手段を有し、設定された最上段の物品の高さにより、昇降手段を駆動して最上段の物品と照明手段の距離を一定する構成としたこと
を特徴とする請求項１〜請求項３のいずれかに記載の物品位置認識装置。 - 第１または第２撮像手段に自動ズーム機能を付加し、設定された最上段の物品の高さにより、前記自動ズーム機能により最上段の物品の撮像データの大きさを調整し一定とする構成としたこと
を特徴とする請求項１〜請求項３のいずれかに記載の物品位置認識装置。 - 第１または第２撮像手段に絞り調整機能を付加したこと
を特徴とする請求項１〜請求項６のいずれかに記載の物品位置認識装置。 - 複数の照明手段を備え、これら照明手段を切り換え可能な構成としたこと
を特徴とする請求項１〜請求項７のいずれかに記載の物品位置認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000197447A JP3596434B2 (ja) | 2000-06-30 | 2000-06-30 | 物品位置認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000197447A JP3596434B2 (ja) | 2000-06-30 | 2000-06-30 | 物品位置認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002013913A JP2002013913A (ja) | 2002-01-18 |
| JP3596434B2 true JP3596434B2 (ja) | 2004-12-02 |
Family
ID=18695773
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000197447A Expired - Fee Related JP3596434B2 (ja) | 2000-06-30 | 2000-06-30 | 物品位置認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3596434B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020537775A (ja) * | 2018-10-30 | 2020-12-24 | 株式会社Ｍｕｊｉｎ | 自動パッケージ登録機構および自動検出パイプラインを備えたロボットシステム |
| US11034025B2 (en) | 2018-10-30 | 2021-06-15 | Mujin, Inc. | Automated package registration systems, devices, and methods |
| US11353883B2 (en) | 2018-02-02 | 2022-06-07 | Panasonic Intellectual Property Management Co., Ltd. | Carrier, carrier with reception capability, carrier system, host system, method for controlling the carrier, and non-transitory storage medium |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4711401B2 (ja) * | 2005-05-23 | 2011-06-29 | ユニバーサル造船株式会社 | 鋼材の形状認識方法及び装置 |
| JP5339037B2 (ja) * | 2008-06-25 | 2013-11-13 | 株式会社Ｉｈｉ | ピッキング装置と方法 |
| JP5360369B2 (ja) * | 2008-09-11 | 2013-12-04 | 株式会社Ｉｈｉ | ピッキング装置と方法 |
| US20230064123A1 (en) * | 2020-02-20 | 2023-03-02 | Nec Corporation | Article specification apparatus, article specification method, and non-transitory storage medium |
| JP7561519B2 (ja) * | 2020-05-22 | 2024-10-04 | 株式会社アマダ | 曲げ加工システム及びその使用方法 |
| WO2024086883A1 (en) * | 2022-10-26 | 2024-05-02 | Fastbrick Ip Pty Ltd | Adhesive application system |
-
2000
- 2000-06-30 JP JP2000197447A patent/JP3596434B2/ja not_active Expired - Fee Related
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11353883B2 (en) | 2018-02-02 | 2022-06-07 | Panasonic Intellectual Property Management Co., Ltd. | Carrier, carrier with reception capability, carrier system, host system, method for controlling the carrier, and non-transitory storage medium |
| US11288810B2 (en) | 2018-10-30 | 2022-03-29 | Mujin, Inc. | Robotic system with automated package registration mechanism and methods of operating the same |
| US11501445B2 (en) | 2018-10-30 | 2022-11-15 | Mujin, Inc. | Robotic system with automated package scan and registration mechanism and methods of operating the same |
| US11062457B2 (en) | 2018-10-30 | 2021-07-13 | Mujin, Inc. | Robotic system with automated package registration mechanism and minimum viable region detection |
| US11176674B2 (en) | 2018-10-30 | 2021-11-16 | Mujin, Inc. | Robotic system with automated object detection mechanism and methods of operating the same |
| US11189033B2 (en) | 2018-10-30 | 2021-11-30 | Mujin, Inc. | Robotic system with automated package registration mechanism and auto-detection pipeline |
| JP2020537775A (ja) * | 2018-10-30 | 2020-12-24 | 株式会社Ｍｕｊｉｎ | 自動パッケージ登録機構および自動検出パイプラインを備えたロボットシステム |
| US11034025B2 (en) | 2018-10-30 | 2021-06-15 | Mujin, Inc. | Automated package registration systems, devices, and methods |
| KR20210087065A (ko) * | 2018-10-30 | 2021-07-09 | 무진 아이엔씨 | 자동 패키지 등록 시스템, 장치 및 방법 |
| US11636605B2 (en) | 2018-10-30 | 2023-04-25 | Mujin, Inc. | Robotic system with automated package registration mechanism and minimum viable region detection |
| US11780101B2 (en) | 2018-10-30 | 2023-10-10 | Mujin, Inc. | Automated package registration systems, devices, and methods |
| US11797926B2 (en) | 2018-10-30 | 2023-10-24 | Mujin, Inc. | Robotic system with automated object detection mechanism and methods of operating the same |
| KR102650494B1 (ko) | 2018-10-30 | 2024-03-22 | 무진 아이엔씨 | 자동화된 패키지 등록 시스템, 디바이스 및 방법 |
| US11961042B2 (en) | 2018-10-30 | 2024-04-16 | Mujin, Inc. | Robotic system with automated package registration mechanism and auto-detection pipeline |
| US12002007B2 (en) | 2018-10-30 | 2024-06-04 | Mujin, Inc. | Robotic system with automated package scan and registration mechanism and methods of operating the same |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002013913A (ja) | 2002-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3849514B2 (ja) | 物品位置認識装置 | |
| JP4911341B2 (ja) | 物品移載装置 | |
| JP3596434B2 (ja) | 物品位置認識装置 | |
| US20240043227A1 (en) | Depalletizer system and controlling method for the same | |
| JP2002271099A (ja) | 部品実装機、実装検査方法 | |
| JP5339037B2 (ja) | ピッキング装置と方法 | |
| JP2002037441A (ja) | ランダムワークの整列方法および整列装置 | |
| JP3482938B2 (ja) | 物品位置認識装置 | |
| JP6104429B2 (ja) | 搬送システム | |
| CN109502357A (zh) | 一种码垛机器人工作站和板件码垛方法 | |
| JPH07299782A (ja) | デパレタイズ用画像作成方法および画像作成装置 | |
| JP2687030B2 (ja) | ロボット使用の自動移載装置 | |
| JP3434004B2 (ja) | 部品認識装置及び部品実装装置 | |
| JPWO2018158888A1 (ja) | バックアップピンの認識方法および部品実装装置 | |
| JP2010161243A (ja) | 部品認識装置および部品移載装置 | |
| JP2974111B2 (ja) | 物品移載方法 | |
| JPH10128689A (ja) | 無人移動体の視覚補正装置 | |
| JP4096594B2 (ja) | 物品保管設備 | |
| CN114955523A (zh) | 一种在西林瓶检测行业基于视觉定位的机械手上料系统 | |
| JPH1196378A (ja) | 積荷位置姿勢認識装置 | |
| WO2021261378A1 (ja) | ロボットシステム | |
| JPH09203622A (ja) | 文字読取装置及び刻印文字の自動認識方法 | |
| JPH1094991A (ja) | 物品位置検出方法及び装置 | |
| WO2021187003A1 (ja) | 検査システム、検査結果の表示方法および表示プログラム | |
| JP2001328088A (ja) | 物品処理システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040427 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040511 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040709 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040817 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040830 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090917 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100917 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110917 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110917 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110917 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120917 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120917 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120917 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130917 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |