本発明の実施形態について図面に基づいて説明する。図1は、本実施形態に係る物品保管設備1の全体構成の概略を示す図である。本実施形態の物品保管設備1は、図1に示すように、自動倉庫2と、入庫コンベヤ3と、出庫コンベヤ4と、ピッキングコンベヤ5と、再入庫コンベヤ6と、ピッキング装置7と、供給コンベヤ8と、異常時コンベヤ11と、制御システム70(図2参照)とを備える。
1.物品保管設備
本実施形態の物品保管設備1では、自動倉庫2から出庫されてピッキング箇所Uへ搬送された容器20から、ピッキング装置7にて物品21を取り出す際に、当該取り出し対象である物品21の位置を画像を用いて認識する。その為に、第1撮像装置13により容器20を上方から撮像し、当該撮像した作業用撮像画像内に含まれる予め定められた物品21の特定の矩形面の画像に対応するテンプレート画像との一致度が第1閾値以上である一の作業用物品存在領域を検出する。そして、当該検出した作業用物品存在領域の平面視における位置や高さ等から取り出し対象である物品21の上面の中心の座標位置を算出し、当該座標位置に基づいて、ピッキング装置7を作動させて物品21を取り出す。このピッキング装置7での物品21の取り出し作業を円滑にできるように、本実施形態における物品保管設備1では、当該容器20が自動倉庫2へ入庫される前に、第1撮像装置13と同じ機能を有する第2撮像装置14で上方から容器20を撮像し、当該撮像した入庫用撮像画像内に含まれる前記テンプレート画像との一致度が前記第1閾値以上である入庫用物品存在領域M、すなわち、前記作業用物品存在領域に対応する入庫用物品存在領域Mが複数個(第2閾値)検出できるかどうかの検査を行う入庫前検査装置50を備える点に特徴がある。入庫前検査装置50にて入庫用物品存在領域Mが複数個(第2閾値)検出できれば、ピッキング装置7においても取り出し対象である物品21を複数個認識できることが想定される為、ピッキング装置7による物品21の取り出し作業が適切に行えると想定される。
自動倉庫2は、容器20を複数収納するものであり、具体的には、図1に示すように、容器20の出し入れ方向が互いに対向するように間隔を隔てて設置した2つの収納棚9と、2つの収納棚9同士の間に形成した移動通路を走行するスタッカークレーン10とを設けて構成されている。スタッカークレーン10は、移動通路に沿って走行自在な走行台車(図示せず)と上下に昇降自在な昇降台(図示せず)と当該昇降台に備えられるフォーク式の物品移載装置(図示せず)とを有している。また、スタッカークレーン10は、後述のクレーン制御部32によって作動制御されている。
ここで、容器20は、容器内部を第1撮像装置13及び第2撮像装置14にて撮像可能なように上面が開放された直方体形状に構成されており、内部には直方体形状の物品21を収容している。例えば、容器20は、トレーや上面を取り除いた段ボール箱等である。また、容器20は、図3及び図5に示すように、搬送方向に沿う方向、搬送面において搬送方向と直交する幅方向及び鉛直方向(高さ方向)の各方向に複数の物品21を積層して収容することが可能である。具体的には、図3及び図5に示すように、容器20は、物品上面が同一の高さに属するように配置された同一形状の複数の物品21により形成される物品層を、高さ方向に積層した状態で収容している。なお、容器20は、立方体形状であってもよい。
物品21は、直方体形状に構成されており、物品21のそれぞれには物品識別情報が付与されている。本実施形態では、同一種類の物品21に対しては、同一の物品識別情報が付与されている。そして、1つの容器20には、同一種類の物品21が収容されるように、すなわち、同一の物品識別情報が付与された物品21が収容されるように構成されている。本実施形態では、物品21の3辺の寸法は、図3に示すように、H1、W1、L1であり、これらの寸法情報は、物品情報データベース40(図2参照)に物品識別情報に関連付けて予め格納されている。物品21の各辺の長さの関係は、H1<W1<L1である。また、各物品21が矩形面のいずれの面を上面とした姿勢で収納されるかを示す設定収納姿勢が、容器20毎に予め定められており、本実施形態では、図3に示すように、高さ方向(鉛直方向)に沿う長さがH1となる姿勢(一つの頂点を構成する3辺のうち最も小さい長さの辺が上下に沿う姿勢)が設定収納姿勢である。なお、物品21は、立方体形状に構成されていてもよい。
入庫コンベヤ3は、自動倉庫2に容器20を搬送するコンベヤである。本実施形態の入庫コンベヤ3には、検査箇所Sと、スタッカークレーン10により容器20が受け取られる当該自動倉庫2への入庫ゲートである第1移載箇所Q1とが設けられている。具体的には、本実施形態の入庫コンベヤ3は、直線状に設けられ、搬送方向における最下流側の端部に第1移載箇所Q1が設けられ、当該第1移載箇所Q1に対して上流側で隣接する位置に検査箇所Sが設けられている。なお、本実施形態の入庫コンベヤ3が、本発明の入庫用搬送装置に相当する。
検査箇所Sは、自動倉庫2に入庫される前に容器20に対して入庫前検査を行う場所である。この入庫前検査は、自動倉庫2から出庫された容器20に対して行われるピッキング装置7による物品21の取り出し作業を円滑に行うことができるかを事前に確認する検査である。なお、入庫前検査の具体的な処理については後述する。本実施形態の検査箇所Sは、図1に示すように、入庫コンベヤ3の搬送経路上に設定されている。具体的には、入庫コンベヤ3における第1移載箇所Q1の上流側であり、異常時コンベヤ11との接続箇所に設定されている。そして、本実施形態の検査箇所Sは、入庫前検査の検査結果に応じて、当該入庫前検査の終了した容器20の搬送先を、第1移載箇所Q1及び異常時コンベヤ11のいずれかに切り替え可能に構成されている。具体的には、検査箇所Sは、図1に示すように、入庫前検査の結果が正常である場合には、容器20を自動倉庫2に入庫すべく、入庫コンベヤ3の搬送方向に沿った方向に当該容器20を切り出して、第1移載箇所Q1に搬送する。また、検査箇所Sは、入庫前検査の結果が異常である場合には、異常時コンベヤ11に設定された作業箇所Wに容器20を搬送すべく、入庫コンベヤ3の搬送方向と直交する方向に切り出して、異常時コンベヤ11へ搬送する。また、検査箇所Sを含む入庫コンベヤ3は、コンベヤ制御部33(図2参照)により制御される。なお、本実施形態の検査箇所Sが、本発明の検査位置に対応する箇所に相当する。なお、検査箇所Sは、入庫コンベヤ3における異常時コンベヤ11との接続箇所より入庫コンベヤ3の搬送方向で上流側に設定してもよい。この場合、検査後の容器20は、異常時コンベヤ11との接続箇所において上記同様に第1移載箇所Q1又は作業箇所Wに分岐搬送される。
また、検査箇所Sには、当該検査箇所Sにおいて上方から容器20を撮像する第2撮像装置14と、第1バーコードリーダ12とが設けられている。第1バーコードリーダ12は、検査箇所Sに搬送された容器20の外側面に付されているバーコード15(図3参照)を非接触(例えば、光学読み取り)で読み取るものである。バーコード15には、容器20の固有の容器識別情報が含まれており、第1バーコードリーダ12は、読み取ったバーコード15に含まれる容器20の容器識別情報を上位コントローラ30(図2参照)に出力する。
第2撮像装置14は、撮像した対象物から当該第2撮像装置14までの距離の情報を記録することができる装置(例えばステレオカメラ)である。第2撮像装置14は、検査箇所Sに搬送されてきた容器20を上方から撮像する。本実施形態では、第2撮像装置14は、図3に示すように、一対のカメラ14A及び14Bを備える。カメラ14Aは、当該検査箇所Sの中心位置の直上であり当該検査箇所Sの搬送面からの高さが既知の位置に設けられ、検査箇所S全体を平面的に撮像する。他方のカメラ14Bは、検査箇所Sの中心位置から入庫コンベヤ3の搬送方向で設定距離だけ離間した位置(本例では、入庫コンベヤ3の搬送方向で下流側に離間した位置)の上方に設けられ、斜め上方から検査箇所S全体を撮像する。そして、第2撮像装置14は、カメラ14Aで撮像した画像における各画素においてのカメラ14Aからの距離情報を、カメラ14A及びカメラ14Bの視差に基づいて算出して、各画素がカメラ14Aからの距離情報を有する撮像画像を生成する。なお、第2撮像装置14が本発明の入庫用撮像装置に相当し、当該第2撮像装置14の撮像画像が、本発明の入庫用撮像画像に相当する。
出庫コンベヤ4は、自動倉庫2から出庫された容器20をピッキングコンベヤ5へ搬送するコンベヤである。具体的には、出庫コンベヤ4の搬送方向における最上流側の端部には、第2移載箇所Q2が設けられている。第2移載箇所Q2は、収納棚9から取り出されてスタッカークレーン10にて搬送された容器20が、当該スタッカークレーン10によって出庫される場所、すなわち、自動倉庫2からの出庫ゲートである。そして、出庫コンベヤ4は、当該第2移載箇所Q2に出庫された容器20をピッキングコンベヤ5へ搬送する。なお、出庫コンベヤ4は、コンベヤ制御部33により制御される。
ピッキングコンベヤ5は、出庫コンベヤ4から搬送された容器20をピッキング箇所Uに搬送するとともに、当該ピッキング箇所Uでの容器20からの物品21の取り出し作業が終了した容器20を再入庫コンベヤ6に搬送するコンベヤである。また、ピッキングコンベヤ5には、搬送方向における一部の領域(本例では中央付近)に幅方向(搬送面における搬送方向と直交する方向)全体に亘ってピッキング箇所Uが設定されている。ピッキング箇所Uは、ピッキング装置7による容器20から物品21の取り出し作業が行われる場所である。また、ピッキング装置7によって容器20から取り出された物品21は、後述の供給コンベヤ8に移載される。なお、ピッキングコンベヤ5は、コンベヤ制御部33により制御される。
また、ピッキング箇所Uには、物品21の取り出し作業対象である容器20を上方から撮像する第1撮像装置13と第4バーコードリーダ23とが設けられている。第1撮像装置13は、図1に示すように、一対のカメラ13A及び13Bを備えて、各画素がカメラ13Aからの距離情報を有する撮像画像を生成する。なお、第1撮像装置13は、第2撮像装置14と同一の構成である為、詳細な説明については省略する。第1撮像装置13が本発明の作業用撮像装置に相当し、当該第1撮像装置13の撮像画像が、本発明の作業用撮像画像に相当する。
第4バーコードリーダ23は、ピッキング箇所Uに搬送された容器20の外側面に付されているバーコード15を読み取るものであり、第1バーコードリーダと同一の構成である。第4バーコードリーダ23は、読み取ったバーコード15に含まれる容器20の容器識別情報を上位コントローラ30に出力する。
再入庫コンベヤ6は、ピッキングコンベヤ5から搬送された容器20、すなわち、ピッキング箇所Uにて物品21の取り出し作業が完了した容器20を自動倉庫2へ再入庫させるコンベヤである。また、再入庫コンベヤ6の最下流側の端部には、第3移載箇所Q3が設けられている。第3移載箇所Q3へ搬送された容器20は、スタッカークレーン10を介して収納棚9へ再入庫される。なお、再入庫コンベヤ6は、後述のコンベヤ制御部33により制御される。
ピッキング装置7は、自動倉庫2から出庫されてピッキング箇所Uに搬送された容器20から物品21を取り出す装置である。ピッキング装置7は、図1及び図2に示すように物品認識部36とピッキングロボット37とを備えている。また、ピッキング装置7は、上位コントローラ30と情報伝達可能に接続され、ピッキング装置制御部34により制御されている。また、ピッキング装置7は、第1撮像装置13とも情報伝達可能に接続されている。ピッキング装置7は、第1撮像装置13で撮像した作業用撮像画像において物品21の矩形面の画像に対応する予め定められたテンプレート画像との一致度が第1閾値以上である部分を作業用物品存在領域として検出し、作業用物品存在領域を検出することにより物品21の位置を認識して、当該物品21を容器20から取り出す。具体的には、図2に示すように、ピッキング装置7では、まず、上位コントローラ30のピッキング装置制御部34が、ピッキングコンベヤ5の作動やセンサ(図示せず)等により、容器20がピッキング箇所Uに搬送されたことを検知すると、物品認識部36に物品探索指令を出力する。物品認識部36は、第1撮像装置13から作業用撮像画像を取得し、当該作業用撮像画像を用いて、物品21の物品上面の3次元位置及び平面視姿勢を認識する処理を実行し、当該認識処理の結果である物品上面の3次元位置及び平面視姿勢の情報(認識結果情報)をピッキング装置制御部34に出力する。ピッキング装置制御部34は、当該認識結果情報に基づいて、ピッキングロボット37の作動を制御する。また、上位コントローラ30のピッキング装置制御部34は、第4バーコードリーダ23からピッキング箇所Uに位置する容器20の容器識別情報を取得することにより、容器20がピッキング箇所Uに搬送されたとして、物品認識部36に物品探索指令を出力する構成であってもよい。
ピッキングロボット37は、ピッキングロボットの本体部(図示せず)から延びるアームの先端部に、当該アームに対して回転可能に設けられているハンド部(図示せず)と、当該ハンド部の下面にハンド部の下方空間において伸縮可能な複数の吸着ノズルとを有している。ピッキング装置制御部34は、物品認識部36により位置が認識された物品21の上面の上方までハンド部を作動させ、吸着ノズルを当該物品21の上面まで伸ばして、当該物品21の上面に吸着させた状態で上方に向けて縮ませるようにピッキングロボット37を制御する。
供給コンベヤ8は、ピッキング装置7によって容器20から取り出された物品21を、集品コンベヤ(図示せず)へ供給搬送するコンベヤである。なお、供給コンベヤ8は、コンベヤ制御部33により制御される。
異常時コンベヤ11は、検査箇所Sにおいて入庫コンベヤ3と接続されて、入庫前検査装置50から異常である旨の検査結果が出力された容器20(エラー出力が行われた容器20)を作業箇所Wに搬送するコンベヤである。また、本実施形態の異常時コンベヤ11は、作業箇所Wにおける作業が終了した容器20を入庫コンベヤ3に戻す機能も有している。すなわち、本実施形態の異常時コンベヤ11は、平面視で角張ったU字状に構成され、当該U字の開口部が入庫コンベヤ3側を向くように配設されている。具体的には、異常時コンベヤ11は、検査箇所Sと、当該検査箇所Sよりも入庫コンベヤ3の搬送方向の上流側に位置する合流箇所17との二箇所で入庫コンベヤ3と接続されている。また、当該U字の凸部には、作業箇所Wが設けられている。
ここで、作業箇所Wとは、作業者16による作業が行われる箇所である。本実施形態では、作業箇所Wは、作業者16がエラーの原因を特定し、当該特定したエラーの原因を解消する為の作業を行う場所である。具体的には、当該作業箇所Wでは、作業者16が、当該作業箇所Wに位置する容器20に収容されているべき物品21以外の物品21が収容されていないかや、当該容器20内に設定収納姿勢以外の姿勢で収納されている物品21がないかや、予め登録されている物品21のテンプレート画像に不備がないか等のエラーの原因を特定する。そして、作業者16は、当該エラーを解消する為の作業、例えば、容器20に誤って他の物品21が収容されている場合には、本来収容されているべき物品21に入れ替える作業や、容器20内の物品21の収納姿勢を設定収納姿勢に修正する作業や、テンプレート画像の更新作業等を行い、再度入庫コンベヤ3に当該容器20を合流させる。
また、作業箇所Wには、第2バーコードリーダ18と、第3バーコードリーダ22と、表示装置19とが設けられている。本実施形態の第2バーコードリーダ18は、作業者16が、作業箇所Wに位置する容器20内の物品21の外側面に付されているバーコード(図示せず)を非接触(例えば、光学読み取り)で読み取るものであり、例えばハンディタイプのバーコードリーダである。物品21の外側面に付されているバーコードには、物品識別情報が含まれており、第2バーコードリーダ18は、読み取ったバーコードに含まれる物品21の物品識別情報を上位コントローラ30(物品判別部35)に出力する。
第3バーコードリーダ22は、第1バーコードリーダ12と同一の構成のバーコードリーダであり、作業箇所Wに搬送された容器20に付されているバーコード15を非接触で読み取り、当該バーコード15に含まれる容器識別情報を上位コントローラ(物品判別部35)に出力する。
表示装置19は、表示画面を有する液晶表示装置であり、上位コントローラ30により表示制御されている。表示装置19には、少なくとも物品判別部35(後述)における判別結果の情報が表示される。また、表示装置19には、第3バーコードリーダ22で読み取った容器識別情報に対応づけられた容器20に関する情報や、第2バーコードリーダ18で読み取った物品識別情報に対応づけられた物品21に関する情報等が表示される構成であってもよい。
2.物品保管制御システム
物品保管制御システム70(図2参照)は、物品保管設備1の各機能部を制御する上位コントローラ30と、自動倉庫2へ入庫される前に容器20に対して入庫前検査を実行する入庫前検査装置50と、物品情報データベース40とを備えている。
上位コントローラ30は、物品容器情報取得部31と、クレーン制御部32と、コンベヤ制御部33と、ピッキング装置制御部34と、物品判別部35とを備えている。上位コントローラ30は、各コンベヤ(入庫コンベヤ3,出庫コンベヤ4,ピッキングコンベヤ5,再入庫コンベヤ6,供給コンベヤ8,異常時コンベヤ11)と、ピッキング装置7と、スタッカークレーン10と、表示装置19とのそれぞれと情報伝達可能に接続され、これらを制御している。また、上位コントローラ30は、各バーコードリーダ(第1バーコードリーダ12,第2バーコードリーダ18,第3バーコードリーダ22,第4バーコードリーダ23)とも、これらからの情報伝達が可能なように接続されている。また、上位コントローラ30は、入庫前検査装置50とも情報伝達可能に接続されている。上位コントローラ30は、容器20が検査箇所Sに搬送されたことをセンサ(図示しない)や入庫コンベヤ3の作動等で検知すると、入庫前検査装置50に対して検査開始指令を出力して入庫前検査装置50にて入庫前検査を開始させ、当該入庫前検査が終了すると入庫前検査装置50から検査結果を取得する。なお、上位コントローラ30は、第1バーコードリーダ12から検査箇所Sに位置する容器20の容器識別情報を取得することにより、当該容器20が検査箇所Sに搬送されたとして、入庫前検査装置50に対して検査開始指令を出力する構成であってもよい。
物品容器情報取得部31は、容器識別情報及び物品識別情報を取得し、これらに対応づけられている容器20に関する容器情報を物品情報データベース40のマスター容器情報から取得すると共に、物品21に関する物品情報をマスター物品情報から取得する機能部である。本実施形態では、物品容器情報取得部31は、第1バーコードリーダ12、第3バーコードリーダ22及び第4バーコードリーダ23から容器識別情報を取得した場合には、当該容器識別情報に対応づけられている容器20に関する容器情報をマスター容器情報から取得する。また、その際に、物品容器情報取得部31は、当該容器識別情報に対応づけられている物品識別情報に基づき、当該物品識別情報に対応づけられている物品21の物品情報をマスター物品情報から取得する。具体的には、物品容器情報取得部31は、取得した容器情報に含まれる、容器20の内部に収容されているべき物品21の物品識別情報に対応づけられている物品21の物品情報を取得する。また、物品容器情報取得部31は、第2バーコードリーダ18から作業箇所Wに位置する容器20に収容されている物品21の物品識別情報を取得する。その際に、物品容器情報取得部31は、当該物品識別情報に対応づけられている物品21に関する物品情報をマスター物品情報から取得してもよい。なお、容器情報には、容器20の寸法情報、容器20の内部に収容されているべき物品21の物品識別情報、容器20内の最上段に存在する物品21の数を示す最上段物品数情報、及び、設定収納姿勢情報が含まれる。また、物品情報には、物品21の寸法情報、テンプレート画像の情報が含まれる。なお、本実施形態の物品容器情報取得部31が、本発明の物品識別情報取得部及び容器識別情報取得部に相当する。
具体的には、上位コントローラ30が、第1バーコードリーダ12から容器識別情報を取得すると、物品容器情報取得部31は、当該取得した容器識別情報に基づいて、検査箇所Sに位置する容器20の容器情報を取得するとともに、当該容器識別情報に対応づけられている物品識別情報に基づいて物品情報を取得する。そして、上位コントローラ30は、入庫前検査装置50に対して検査開始指令を出力する際に、これらの容器情報及び物品情報も入庫前検査装置50に出力する。
また、上位コントローラ30が、第4バーコードリーダ23から容器識別情報を取得すると、物品容器情報取得部31は、当該取得した容器識別情報に基づいて、ピッキング箇所Uに位置する容器20の容器情報を取得するとともに、当該容器識別情報に対応づけられている物品識別情報に基づいて物品21の物品情報を取得する。そして、上位コントローラ30は、物品認識部36に対して、容器20内の物品21の上面の位置を認識する位置認識処理を開始させる為の物品探索指令を出力する際に、これらの容器情報及び物品情報もピッキング装置7に出力する。
また、上位コントローラ30が、第3バーコードリーダ22から容器識別情報を取得すると、物品容器情報取得部31は、当該取得した容器識別情報に基づいて、作業箇所Wに位置する容器20の容器情報を取得する。また、作業者16の操作により第2バーコードリーダ18にて当該容器20内の物品21に付されたバーコードが読み取られた場合は、上位コントローラ30(物品容器情報取得部31)は、第2バーコードリーダ18から当該物品21に付されたバーコードに含まれる物品識別情報を取得する。そして、上位コントローラ30は、物品容器情報取得部31にて取得した容器情報に含まれる容器20の内部に収容されているべき物品21の物品識別情報と、第2バーコードリーダ18から取得した実際に容器20内に収容されている物品21の物品識別情報とを、物品判別部35で用いる。
クレーン制御部32は、スタッカークレーン10の作動を制御するものであり、スタッカークレーン10との間で情報伝達可能に接続されている。クレーン制御部32は、収納棚9における収納部(図示せず)又は第1,第2移載箇所Q1,Q2に対応して設定された物品移載用停止位置に物品移載装置(図示せず)を移動させるべく、走行台車(図示せず)の走行作動及び昇降台(図示せず)の昇降作動を制御する。また、クレーン制御部32は、当該物品移載装置を当該物品移載用停止位置に停止させた状態で容器20を取り出したり、卸したりすべく、物品移載装置の作動を制御するように構成されている。
コンベヤ制御部33は、各コンベヤ(入庫コンベヤ3,出庫コンベヤ4,ピッキングコンベヤ5,再入庫コンベヤ6,供給コンベヤ8,異常時コンベヤ11)の作動を制御するものである。本実施形態では、コンベヤ制御部33は、各コンベヤにおける搬送方向の上流側に載置された容器20(物品21)を、当該搬送方向の下流側に向かって搬送するように各コンベヤの作動を制御する。また、コンベヤ制御部33は、検査箇所Sに対応する入庫コンベヤも制御する。具体的には、コンベヤ制御部33は、上位コントローラ30が、入庫前検査装置50より異常である旨の結果情報を取得すると、異常時コンベヤ11にて容器20を搬送させるべく、検査箇所Sに位置する容器20を搬送方向と直交する方向に切り出すように検査箇所Sに対応する入庫コンベヤ3を制御する。また、コンベヤ制御部33は、上位コントローラ30が入庫前検査装置50より正常である旨の結果情報を取得すると、検査箇所Sに位置する容器20を第1移載箇所Q1に搬送すべく、当該容器20を搬送方向に切り出すように検査箇所Sに対応する入庫コンベヤ3を制御する。
ピッキング装置制御部34は、ピッキング装置7の作動を制御するものである。具体的には、ピッキング装置制御部34は、容器20がピッキング箇所Uに搬送されたことを検知すると、物品認識部36に物品探索指令を出力する。そして、ピッキング装置制御部34は物品認識部36から認識結果情報を取得すると、当該認識結果情報に基づいて、ピッキングロボット37の作動を制御する。
物品判別部35は、作業箇所Wに位置する容器20に収容されているべき物品21と、実際に容器20内に収容されている物品21とが一致するか否かを判別する機能部である。本実施形態では、物品判別部35は、物品容器識別情報取得部31が第2バーコードリーダ18から取得した物品識別情報と、第3バーコードリーダ22から取得した作業箇所Wに位置する容器20の容器識別情報に対応付けて物品情報データベース40に記憶されている物品識別情報とが異なる場合には、作業箇所Wに位置する容器20に収容されているべき物品21と、実際に容器20内に収容されている物品21とが一致しないと判別するとともに、当該一致しない旨の情報を作業者に報知する。本実施形態では、物品判別部35は、作業箇所Wに位置する容器20に収容されているべき物品21と、実際に容器20内に収容されている物品21とが一致しないと判別すると、上位コントローラ30の表示制御部(図示せず)を介してその旨を表示装置19に表示させる。この物品判別部35と表示装置19とが、本発明の物品判別報知部に相当する。
ここで、物品情報データベース40は、容器20に収容されている物品21についての、少なくとも数量情報を含む収容関連情報を、容器20に付された容器識別情報と関連付けて記憶する記憶部である。また、物品情報データベース40には、自動倉庫2に入庫予定の容器20の容器識別情報と容器20に収容されているべき物品21の物品識別情報とが予め対応付けて記憶されている。本実施形態の物品情報データベース40は、別の装置(図示せず)でマスター登録された各容器20に関する情報であるマスター容器情報と、同様に別の装置(図示せず)でマスター登録された各物品21に関する情報であるマスター物品情報とを備えている。マスター容器情報には、各容器20の寸法情報、各容器20の内部に収容されているべき各物品21の物品識別情報、各容器20内の最上段物品数情報、及び、設定収納姿勢情報が、各容器の固有の容器識別情報に対応づけられて含まれている。本実施形態の物品情報データベース40が、本発明の収容情報記憶部に相当する。また、本実施形態の各容器20の内部に収容されているべき各物品21の物品識別情報、各容器20内の最上段物品数情報、及び、設定収納姿勢情報が、本発明の収容関連情報に相当する。
また、マスター物品情報には、各物品21の寸法情報及びテンプレート画像が、各物品21の物品識別情報に対応づけられて含まれている。物品21の寸法情報は、当該物品21の1つの頂点から延びる3辺の各辺の寸法を示す情報である。また、テンプレート画像は、後述のパターンマッチング処理で入庫用物品存在領域Mを検出する際の雛形となる画像である。テンプレート画像は、物品21の6個の矩形面のうちの一部の矩形面の模様に対応する画像であり、本実施形態では、設定収納姿勢時に上面となる矩形面の模様に対応するカラー画像である。具体的には、図8の破線で囲まれた領域で示すように、別の撮像装置(図示せず)によって物品21の設定収納姿勢時に上面となる矩形面(本例では商品名「○○○」が表示されている面)が撮像され、当該撮像画像に基づく矩形面の画像がテンプレート画像Pとして予めマスター登録されている。その際、当該テンプレート画像のサイズや分解能も併せて登録されている。なお、6個の全部の矩形面の画像に対応する6個のテンプレート画像が予めマスター登録されていてもよいが、作業者による登録作業の負担軽減のためには5個以下の矩形面の画像に対応するテンプレート画像が登録されていることが好ましく、本実施形態では、設定収納姿勢時に上面となる1個の矩形面のみが登録されている。なお、当該テンプレート画像は、ピッキング装置7の物品認識部36で実行されるパターンマッチング処理において作業用物品存在領域を検出する際の雛形でもある。
ところで、本実施形態では、容器20内に収容されているべき物品21及び当該物品21の設定収納姿勢は予め容器20毎に定められており、本来であれば、容器20内には、収容されているべき物品21が設定収納姿勢の状態で収容されているはずである。しかし、例えば、当該容器20内に物品21を収容する際に、作業者等が、収容されるべき物品21とは異なる物品21(物品識別情報が異なる物品21)を誤って収容してしまったり、設定収納姿勢とは異なる姿勢で収容してしまったりする場合が考えられる。このような場合、ピッキング箇所Uにおけるピッキング装置7による物品21の取り出し作業では、作業用撮像画像において、テンプレート画像(本来収容されているべき物品21の設定収納姿勢時において上面となる矩形面の画像)との一致度が第1閾値以上である部分を検出することは困難であり、物品21の位置認識処理が適切に実行できず、その結果、当該物品21の取り出し作業が円滑に処理できなくなる。そこで、本実施形態では、入庫前検査装置50により、ピッキング箇所Uでの物品21の位置認識処理が適切に行うことができるかを、当該テンプレート画像を用いて、自動倉庫2へ入庫前の容器20に対して事前に確認するための検査をする。すなわち、入庫前検査装置50は、ピッキング箇所Uでの取り出し対象となり得る容器20内の最上段の物品層に属する物品21のうち、当該容器20内に収納されているべき物品21であってかつ設定収納姿勢で収納されている物品21が、画像を用いて、ある所定の数(本例では第2閾値)以上検出できるか否かを検査するものである。具体的には、入庫前検査装置50は、第2撮像装置14にて撮像した入庫用撮像画像内においてテンプレート画像との一致度が第1閾値以上である部分を入庫用物品存在領域Mとして検出し、検出した入庫用物品存在領域Mの数が第2閾値以上であるか否かを判別するものである。入庫前検査装置50は、物品容器情報取得部51と、画像取得部52と、容器外形検出部53と、物品探索範囲設定部54と、パターンマッチング処理部57と、検査部58と、チェック処理部59と、記憶部62と、第2閾値設定部63とを備える。以下、各機能部について説明する。
物品容器情報取得部51は、上位コントローラ30から出力された、検査箇所Sに位置する容器20の容器情報及び当該容器20内に収容されているべき物品21の物品情報を取得する機能部である。本実施形態では、物品容器情報取得部51は、当該取得した容器情報及び物品情報を記憶部62に記憶する。
画像取得部52は、第2撮像装置14から撮像画像を取得する機能部である。本実施形態では、画像取得部52は、上位コントローラ30より検査開始指令を受けると、第2撮像装置14に対して撮像指示を出力し、当該撮像指示に基づいて撮像された入庫用撮像画像を第2撮像装置14から取得する。また、当該入庫用撮像画像が第2撮像装置14(カメラ14A)から撮像された物品上面までの距離情報を含んでいる為、画像取得部52は、当該距離情報と既知である第2撮像装置14(カメラ14A)の容器底面(搬送面)からの高さとから、当該入庫用撮像画像における各画素について、当該各画素に対応する位置での物品上面の容器底面からの高さを示す高さ情報を取得する。そして、画像取得部52は、各画素が容器底面からの高さ情報を有する入庫用撮像画像を生成する。なお、第2撮像装置14(カメラ14A)の容器底面からの高さは、既知である搬送面からの高さから、予め容器20の寸法情報に含まれている容器20の底面の厚みを差し引くことにより算出することができる。そして、画像取得部52は、当該生成した各画素が容器底面からの高さ情報を有する入庫用撮像画像を記憶部62に記憶する。入庫用撮像画像の一例を図4に示す。
容器外形検出部53は、入庫用撮像画像内に容器20の外形が含まれるか否かを検出する機能部である。具体的には、図4に示すように、容器外形検出部53は、まず、入庫用撮像画像内における検査箇所Sの搬送面の色と容器20の色とのコントラスト差から容器外形を抽出する。また、容器外形検出部53は、記憶部62の容器情報に含まれる容器20の寸法情報、特に容器20の平面視の矩形を形成する2辺の寸法情報を取得する。容器外形検出部53は、当該抽出した容器外形と、当該取得した容器20の寸法情報とを比較して、予め定められた許容範囲内で一致していると判別する場合には、容器外形であると認識する。なお、容器外形検出部53は、当該抽出した容器外形が、容器20の寸法情報と予め定められた許容範囲内で一致しないと判別する場合には、画像取得部52を介して再度第2撮像装置14に撮像指示を出力して新しい画像を取得し、同様に再度容器外形検出部53で容器外形検出処理を実行する。容器外形検出部53は、予め定めた所定回数(例えば2回)以上、第2撮像装置14で撮像し直しても容器外形を検出できなければ、上位コントローラ30に異常である旨の結果情報を出力する。
物品探索範囲設定部54は、入庫用撮像画像内において、検出対象である最上段の物品層に属しかつ設定収納姿勢で収納されている物品21の上面を探索する際に、当該探索処理を実行する範囲である物品探索範囲を設定する機能部である。本実施形態では、まず、物品探索範囲設定部54は、最上段の物品層を仮定すると共に、当該最上段の物品層に属する物品21の設定収納姿勢時において上面となり得る面を仮定する。そして、物品探索範囲設定部54は、当該仮定した最上段の物品層に属する物品21の設定収納姿勢時において上面となり得る面の高さを算出し、当該算出した高さと同一の高さ情報を有する画素を抽出して第1の単一高さ画像を生成する。そして、物品探索範囲設定部54は、当該第1の単一高さ画像に、当該物品21の上面に対応する領域(物品探索領域)が存在するか否かを判別し、当該物品探索領域が存在すると判別する場合には、当該第1の単一高さ画像を物品探索範囲と設定する。
また、物品探索範囲設定部54は、第1の単一高さ画像に物品探索領域が存在しないと判別した場合には、最上段の物品層に属する物品21の設定収納姿勢以外の姿勢において上面となり得る面を仮定して、当該仮定した面の高さを算出し、当該高さと同一の高さ情報を有する画素を抽出して単一高さ画像を生成する。そして、物品探索範囲設定部54は、設定収納姿勢以外の姿勢に対応する当該単一高さ画像に物品探索領域が存在するか否かを判別し、当該物品探索領域が存在すると判別する場合には、最上段の物品層に属する物品21は設定収納姿勢以外の姿勢で収納されていると考えられる為、異常である旨の結果情報を上位コントローラ30へ出力する。
また、物品探索範囲設定部54は、設定収納姿勢以外の姿勢に対応する当該単一高さ画像に物品探索領域が存在しないと判別する場合には、最上段の物品層は、もう一段下の段であると仮定すると共に、当該新たに仮定した最上段の物品層に属する物品21の設定収納姿勢時において上面となり得る面を新たに仮定する。そして、物品探索範囲設定部54は、当該新たに仮定した最上段の物品層に属する物品21の設定収納姿勢時において上面となり得る面の高さを算出し、当該算出した高さと同一の高さ情報を有する画素を抽出して新たな第2の単一高さ画像を生成する。そして、物品探索範囲設定部54は、同様に、第2の単一高さ画像に、物品探索領域が存在するか否かを判別し、当該第2の単一高さ画像に物品探索領域が存在すると判別する場合には、当該第2の単一高さ画像を物品探索範囲として設定する。一方、物品探索範囲設定部54は、当該第2の単一高さ画像に物品探索領域が存在しないと判別する場合には、異常である旨の結果情報を上位コントローラ30へ出力する。
また、ここにおける、物品探索領域が存在するとは、各単一高さ画像に、予め定められたある一定範囲以上の連続した領域が存在することをいい、本例では、単一高さ画像中に、対応する収納姿勢(設定収納姿勢若しくはそれ以外の姿勢)において上面となる矩形面の表面積以上の連続した領域が含まれる場合に物品探索領域が存在するとする。なお、当該矩形面の面積×予め定められた閾値%(例えば、90%)以上の連続した領域である場合に物品探索領域が存在するとしてもよい。
そして、物品探索範囲設定部54は、上記の処理を実行する為に、仮想基準面設定部55と単一高さ画像生成部56とを備えている。
仮想基準面設定部55は、最上段の物品層に属する物品21が載置されていると考えられる面、すなわち当該最上段の物品層に属する物品21の底面が属すると考えられる面を仮想基準面及び仮想基準下面として設定する機能部である。本実施形態では、仮想基準面設定部55は、図4及び図6に示すように、容器20を上方から見た際に、平面視で容器20内において一番広い平面が属する高さ、すなわち、当該入庫用撮像画像内において同一の高さ情報を有する画素が最も多く含まれる高さを基準高さHとし、当該基準高さHの高さ情報を有する画素群により形成される平面を仮想基準面Kとして設定する。具体的には、仮想基準面設定部55は、容器外形検出部53により容器外形が検出できた場合に、各画素が容器底面からの高さ情報を有する入庫用撮像画像を記憶部62から取得し、当該入庫用撮像画像に基づいて、図7に示すように、縦軸に画素の出現率(画素数)、横軸に画素値(各画素が有する高さ)をとったヒストグラムを生成する。そして、仮想基準面設定部55は、当該ヒストグラムを谷で分割した際に最も面積が大きい山を判別し(図7の紙面左側の山)、その山の中で一番出現率が大きい画素値が有する高さ(図7の紙面左側から3番目のヒストグラムの画素値)を基準高さHとする。図4及び図6の例では、高さ方向(鉛直方向)に積層された下から2層目の物品21の物品上面から形成される平面が一番広い平面領域を有しており、当該平面が入庫用撮像画像内における仮想基準面Kに設定される。
また、仮想基準面設定部55は、仮想基準面Kよりも一段下の物品層に属する物品21が載置されていると考えられる面、すなわち、物品上面が仮想基準面Kに属する物品であるベース段物品(本例では下から2層目の物品)の底面が属する面を仮想基準下面KKとしてさらに設定することができる。具体的には、仮想基準面設定部55は、仮想基準面Kの基準高さHから、記憶部62から取得した物品情報に含まれる設定収納姿勢時の物品21の高さであるH1を引いた高さ「H−H1」の高さ情報を有する画素群により形成される平面を仮想基準下面KKとして設定する。また、仮想基準面設定部55は、設定した仮想基準面K及び仮想基準下面KKの情報を記憶部62に記憶する。
単一高さ画像生成部56は、仮想基準面設定部55により設定された仮想基準面Kに底面が属する物品であるベース上段物品(図5の例の下から3層目の物品)が存在すると仮定した場合に、すなわち、ベース上段物品が最上段の物品層に属する物品であると仮定した場合に、当該物品21の設定収納姿勢時に上面となる面の容器底面からの論理高さを算出する。本実施形態では、単一高さ画像生成部56は、記憶部62から取得した物品21の寸法情報と仮想基準面の高さとに基づいて、当該物品21の設定収納姿勢において上面となる面の容器底面からの論理高さを算出する。そして、単一高さ画像生成部56は、当該算出した論理高さと同一の高さ情報を有する画素を入庫用撮像画像から抽出して第1の単一高さ画像を生成する。具体的には、図5の例を用いて説明すると、本実施形態での物品21の設定収納姿勢は高さ方向に長さH1の辺を沿わせたKC姿勢である為、最上段の物品層に属する物品であると考えられるベース上段物品21の設定収納姿勢時に上面となる面の容器底面からの論理高さは、図5の紙面左側に示すように、基準高さHに物品21の高さ方向の寸法H1を足した「H+H1」となる。すなわち、単一高さ画像生成部56は、H+H1の高さ情報を有する画素を入庫用撮像画像から抽出して第1の単一高さ画像を生成する。そして、単一高さ画像生成部56は、当該生成した第1の単一高さ画像を記憶部62に記憶する。
また、物品探索範囲設定部54が、第1の単一高さ画像に物品探索領域が存在しないと判別した場合には、単一高さ画像生成部56は、仮想基準面に底面が属するベース上段物品が最上段の物品層に属する物品21であると仮定した場合に、当該物品21の設定収納姿勢以外において上面となる面の容器底面からの論理高さを算出する。具体的には図5の例を用いて説明すると、単一高さ画像生成部56は、上記設定収納姿勢(KC姿勢)以外の姿勢である横転ロング姿勢KA及び横転ショート姿勢KBのそれぞれにおいて物品21の上面となる面の容器底面からの論理高さを算出する。ここで、横転ロング姿勢KAとは、高さ方向に3辺のうち最も長い辺であるL1の辺を沿わせた物品21の姿勢を示し、横転ショート姿勢KBとは、高さ方向に長さW1の辺を沿わせた姿勢を示す。よって、横転ロング姿勢KA及び横転ショート姿勢KBのそれぞれにおいて物品21の上面となる面の容器底面からの論理高さは、図5の紙面中央側で示すように、それぞれ「H+L1」と「H+W1」となる。すなわち、単一高さ画像生成部56は、H+L1の高さ情報を有する画素を入庫用撮像画像から抽出して単一高さ画像を生成するとともに、H+W1の高さ情報を有する画素を入庫用撮像画像から抽出して単一高さ画像を生成する。
また、物品探索範囲設定部54が、第1の単一高さ画像に物品探索領域が存在しないと判別した場合で、かつ、当該仮想基準面に底面が属するベース上段物品の設定収納姿勢以外の姿勢(横転ロング姿勢や横転ショート姿勢)に対応する単一高さ画像にも物品探索領域が存在しないと判別する場合には、仮想基準面に底面が属するベース上段物品が存在しない、すなわち、ベース上段物品は最上段に属する物品21ではないと考えられる。そこで、単一高さ画像生成部56は、仮想基準面よりも一層下の段の底面である仮想基準下面上のベース段物品(図5の例の下から2層目の物品)が存在すると仮定し、すなわち、ベース段物品が最上段に属する物品21であると仮定し、当該物品21の設定収納姿勢時に上面となる面の容器底面からの論理高さを算出する。そして、単一高さ画像生成部56は、当該論理高さと同一の高さ情報を有する画素を入庫用撮像画像から抽出して新たな第2の単一高さ画像を生成して、記憶部62に記憶する。単一高さ画像生成部56は、記憶部62から取得した物品21の寸法情報と仮想基準下面の情報に基づいて、設定収納姿勢時に上面となる面の容器底面からの論理高さを算出する。具体的には、図5の紙面右側に示すように、単一高さ画像生成部56は、設定収納姿勢時に上面となる面の容器底面からの論理高さを、仮想基準下面KKの高さ「H−H1」に、物品21の設定収納姿勢時の高さ方向の寸法Hを足して、「H−H1+H」、すなわち「H」であると算出する。そして、単一高さ画像生成部56は、「H」の高さ情報を有する画素を入庫用撮像画像から抽出して第2の単一高さ画像を生成する。
パターンマッチング処理部57は、第2撮像装置14にて撮像した入庫用撮像画像内においてテンプレート画像との一致度が第1閾値以上である部分を入庫用物品存在領域Mとして検出する機能部である。本実施形態では、パターンマッチング処理部57は、物品探索範囲設定部54にて物品探索範囲として設定された単一高さ画像内に含まれる、テンプレート画像との一致度が予め定められた第1閾値以上である領域を入庫用物品存在領域Mとして検出する。具体的には、パターンマッチング処理部57は、物品探索範囲設定部54にて物品探索範囲が設定されると、記憶部62から物品情報に含まれるテンプレート画像を探索テンプレートとして取得すると共に、当該物品探索範囲として設定された単一高さ画像を取得する。そして、パターンマッチング処理部57は、当該単一高さ画像のカラー画像に探索テンプレートをマッチングさせていく。また、当該カラー画像の分解能と探索テンプレートの分解能とが異なる場合には、パターンマッチング処理部57は、これらの分解能から算出した倍率で当該カラー画像を拡大し、当該拡大したカラー画像に探索テンプレートをマッチングさせていく。そして、パターンマッチング処理部57は、当該カラー画像中に、探索テンプレートの画像と一致度が予め定められた第1閾値以上(例えば、テンプレート画像を構成する画素数の80%以上)である領域を検出すると、当該検出した領域を入庫用物品存在領域Mとして記憶部62に記憶する。そして、パターンマッチング処理部57は、物品探索範囲として設定された単一高さ画像から、当該検出した入庫用物品存在領域Mの領域を除いた領域を新たな物品探索範囲として、同様にパターンマッチング処理を実行する。そして、パターンマッチング処理部57は、当該設定収納姿勢に対応する単一高さ画像から、新たに入庫用物品存在領域Mを検出できなくなるまで上記処理を続行する。
図8及び図9の例では、パターンマッチング処理部54は、物品探索範囲として設定された単一高さ画像Tに、探索テンプレートとしてのテンプレート画像Pをマッチングさせていく。パターンマッチング処理部54は、テンプレート画像Pとの一致度が予め定められた第1閾値以上である領域を検出すると(図8の単一高さ画像Tの領域内の左下の矩形)、当該検出した領域を入庫用物品存在領域Mとして記憶部62に保存する。そして、パターンマッチング処理部54は、図9に示すように、単一高さ画像Tから、先に検出した入庫用物品存在領域Mを除いた領域を新たな物品探索範囲として、テンプレート画像Pをマッチングさせていく。
一方、パターンマッチング処理部57は、単一高さ画像内に、探索テンプレートの画像と一致度が予め定められた閾値以上である領域を検出できなかった場合には、記憶部62に記憶される入庫用物品存在領域Mはない。よって、後述の検査部58において、検出された入庫用物品存在領域Mが第2閾値未満となるため、異常である旨の結果情報が上位コントローラ30に対して出力される。
検査部58は、パターンマッチング処理部54にて検出した入庫用物品存在領域Mの数が第2閾値未満であるか否かを判別する機能部である。具体的には、検査部58は、パターンマッチング処理部54にて、全ての入庫用物品存在領域Mが検出されると、記憶部62に記憶されている当該検出された入庫用物品存在領域Mの数を算出する。そして、検査部58は、記憶部62に記憶されている第2閾値の情報を取得して、検出された入庫用物品存在領域Mの数が第2閾値未満であるか否かを判別する。また、検査部58は、当該検出した入庫用物品存在領域Mの数が第2閾値未満であると判別すると、異常である旨の結果情報を上位コントローラ30に対して出力する。
また、検査部58は、検出した入庫用物品存在領域Mの数が第2閾値以上であると判別すると、これらの検出した各入庫用物品存在領域Mをチェック処理部59に出力して当該チェック処理部59にて所定のチェックを行わせる。また、検査部58は、チェック処理部59での当該所定のチェックの結果に応じて有効物品存在領域又は無効物品存在領域のいずれかに分類された入庫用物品存在領域Mを、当該チェックが終了した順にチェック処理部59から取得する。そして、検査部58は、有効物品存在領域に分類された入庫用物品存在領域Mが第2閾値以上となった時点で、正常である旨の結果情報を上位コントローラ30に対して出力する。一方、検査部58は、パターンマッチング処理部57で検出した全ての入庫用物品存在領域Mの数から無効物品存在領域に分類された入庫用物品存在領域Mの数を差し引いた数が、第2閾値未満となった時点で、異常である旨の結果情報を上位コントローラ30に対して出力する。
チェック処理部59は、パターンマッチング処理部54にて検出した各入庫用物品存在領域Mに対して所定のチェックを行い、当該チェック結果に応じて、有効物品存在領域と無効物品存在領域とに分類する機能部である。具体的には、チェック処理部59は、差分チェック部60とセルチェック部61とを備え、当該差分チェック部60又はセルチェック部61のいずれかで不合格と判別した場合には、無効物品存在領域に分類し、差分チェック部60及びセルチェック部61の双方で合格であると判別した場合には、有効物品存在領域に分類する。そして、チェック処理部59は、有効物品存在領域か無効物品存在領域かの分類分けが完了した入庫用物品存在領域Mを検査部58に出力する。
差分チェック部60は、テンプレート画像と入庫用物品存在領域Mとの差分画像を生成し、当該差分画像のうち許容差分量を超えた領域の、テンプレート画像に対する割合が所定の閾値以下であれば合格と判別する機能部である。なお、当該所定の閾値及び許容差分量は予め設定されており記憶部62に記憶されている。具体的には、差分チェック部60は、テンプレート画像と入庫用物品存在領域Mとの対応する各座標位置における、R,G,Bの各チャンネルについての差分を求めて差分画像を作成し、当該差分画像を2値化する。そして、差分チェック部60は、当該2値化した差分画像において許容差分量を超えた領域のテンプレート画像に対する面積比が所定の閾値以下であれば合格と判別し、所定の閾値未満であれば不合格と判別する。
セルチェック部61は、テンプレート画像と入庫用物品存在領域Mとの双方を同様に複数のセルに分割し、当該分割後の対応するセル同士の類似度を比較し、当該類似度が所定値未満である不合格セル数が所定の許容数以下であれば合格と判別する機能部である。なお、当該類似度の所定値や所定の許容数の情報は、予め定められて記憶部62に記憶されている。具体的には、セルチェック部61は、まず、記憶部62からテンプレート画像と入庫用物品存在領域Mとを取得し、これらのエッジ画像を生成する。なお、その際に、テンプレート画像の端部分は除去しておく。そして、セルチェック部61は、テンプレート画像及び入庫用物品存在領域Mのエッジ画像を複数(例えば、32の倍数)のセルに分割し、対応する双方のセルが「特徴的な模様や文字」を持たない場合(本例では、エッジ量がある閾値より小さい場合)には、合格セルとする。また、対応する双方のセルが「特徴的な模様や文字」を持つ場合には、セルチェック部61は、対応するセルの類似度を比較し、類似度が所定値未満であるセルを不合格セルとし、これらの不合格セルの総数が、所定の許容数以下であるか否かを判別する。そして、セルチェック部61は、不合格セルの総数が、所定の許容数以下であると判別した場合には、当該入庫用物品存在領域Mは合格であると判別する。
第2閾値設定部63は、上位コントローラ30の物品容器情報取得部31から取得した容器識別情報にて識別される容器20についての容器情報に基づいて、第2閾値を設定するように構成されている。本実施形態では、パターンマッチング処理部57において全ての入庫用物品存在領域Mが検出されると、第2閾値設定部63は、検査箇所Sに位置する容器20に関する容器情報に含まれる最上段物品数情報を記憶部62から取得する。そして、第2閾値設定部63は、当該最上段物品数の所定の割合(例えば80%)の個数を第2閾値として設定し、当該設定した第2閾値の情報を容器識別情報に対応づけて記憶部62に記憶する。第2閾値は、例えば、最上段物品数が20個で所定の割合が80%である場合には16個となる。また、最上段物品数の所定の割合の個数が1個以上となればよく、当該所定の割合は自由に設定することができる。なお、最上段物品数の所定の割合の個数が整数でない場合には、切り下げ等により整数とする。また、第2閾値設定部63は、予め定めた所定の定数(例えば、5個等)を第2閾値としてもよい。その場合、当該設定した所定の定数が、最上段物品数よりも大きい値の場合には、第2閾値設定部63は、第2閾値として最上段物品数とすることができる。また、第2閾値設定部63は、第2閾値として、最上段物品数の所定の割合の個数又は予め定めた所定の定数のいずれか小さい方に設定することもできるし、最上段物品数のうち所定の割合の個数及び予め定めた所定の定数のいずれか大きい方に設定することもできる。
3.物品保管制御の処理手順
本実施形態に係る物品保管制御における各処理手順について、図10〜図12を用いて説明する。以下に説明する物品保管制御の処理手順は、上位コントローラ30、入庫前検査装置50及びこれらに付随する各装置を構成するハードウェア又はソフトウェア(プログラム)或いはその両方により実行される。上記の各機能部がプログラムにより構成される場合には、上位コントローラ30及び入庫前検査装置50のそれぞれが有する演算処理装置(図示せず)が、それぞれが有する各機能部を構成するプログラムを実行するコンピュータとして動作してもよいし、上位コントローラ30の演算処理装置が、物品保管設備1の全ての機能部を構成するプログラムを実行するコンピュータとして動作してもよい。
3−1.入庫前検査処理について
本実施形態に係る入庫前検査処理では、まず、入庫前検査装置50は、上位コントローラ30より検査開始指令を受ける際に、検査箇所Sに位置する容器20の容器情報及び物品情報を上位コントローラ30より取得する(ステップ#01)。次に、第2撮像装置14から入庫用撮像画像を取得し(ステップ#02)、当該ステップ#02で取得した入庫用撮像画像から容器20の外形を検出する(ステップ#03)。ステップ#03において容器20の外形を検出できれば(ステップ#03:Yes)、次にパターンマッチング処理において探索処理が実行される範囲である物品探索範囲を決定する処理を行う(ステップ#04)。ステップ#04で決定した物品探索範囲があれば(ステップ#05:Yes)、ステップ#04で決定した物品探索範囲に対してパターンマッチング処理を実行する(ステップ#06)。その後、第2閾値の情報や、各チェック処理等で用いる閾値情報を記憶部62から取得する(ステップ#07)。なお、ステップ#06とステップ#07との処理手順を入れ替えてもよい。次に、ステップ#06のパターンマッチング処理で検出した全入庫用物品存在領域Mの数と、ステップ#07で取得した第2閾値とを比較し、全入庫用物品存在領域Mの数が第2閾値以上であれば(ステップ#08:Yes)、その中から1つの入庫用物品存在領域Mを選択し(ステップ#09)、当該選択した入庫用物品存在領域Mに対して差分チェックを行う(ステップ#10)。そして、ステップ#10の差分チェックで合格と判別すると(ステップ#10:Yes)、次に、当該入庫用物品存在領域Mに対して、さらにセルチェックを行う(ステップ#11)。そして、ステップ#11のセルチェックでも合格と判別した入庫用物品存在領域Mを、有効物品存在領域に決定する(ステップ#11:Yes,ステップ#12)。なお、ステップ#10とステップ#11との処理手順を入れ替えてもよい。
一方、ステップ#10の差分チェックで不合格と判別した入庫用物品存在領域M(ステップ#10:No)や、ステップ#11のセルチェックで不合格と判別した入庫用物品存在領域M(ステップ#11:No)については、無効物品存在領域に決定する(ステップ#16)。そして、ステップ#06のパターンマッチング処理で検出した入庫用物品存在領域Mのそれぞれに対してステップ#09〜ステップ#12若しくはステップ#16までの処理を順次行う過程で、有効物品存在領域の数が第2閾値以上となると(ステップ#13:Yes)、上位コントローラ30に対して正常である旨の結果情報を出力する(ステップ#14)。また、一の入庫用物品存在領域Mに対してのステップ#09〜ステップ#12の処理が終了した時点で、有効物品存在領域の数が第2閾値未満である場合は(ステップ#13:No)、ステップ#09に戻り、次に選択した入庫用物品存在領域Mに対してステップ#10の差分チェック等を行う。また、ステップ#06で検出した入庫用物品存在領域Mのそれぞれに対してステップ#09〜ステップ#12若しくはステップ#16までの処理を順次行う過程で、ステップ#06で検出した全入庫用物品存在領域Mの数から無効物品存在領域の数を引いた値が第2閾値未満となると(ステップ#17:Yes)、上位コントローラ30に対して異常である旨の結果情報を出力する(ステップ#15)。また、一の入庫用物品存在領域Mに対してのステップ#09〜ステップ#16の処理が終了した時点で、ステップ#06で検出した全入庫用物品存在領域Mの数から無効物品存在領域の数を引いた値が第2閾値以上の場合は(ステップ#17:No)、ステップ#09に戻り、次に選択した入庫用物品存在領域Mに対してステップ#10の差分チェック等を行う。
また、ステップ#03において容器20の外形が検出できず(ステップ#03:No)、かつ、ステップ#02での入庫用撮像画像の取得回数が所定回数以上を超えていなければ(ステップ#18:No)、ステップ#02に戻り再度第2撮像装置14から入庫用撮像画像を取得する(ステップ#02)。ステップ#03において容器20の外形が検出できず(ステップ#03:No)、かつ、ステップ#02での入庫用撮像画像の取得回数が所定回数以上を超えれば(ステップ#18:Yes)、上位コントローラ30に対して異常である旨の結果情報を出力する(ステップ#15)。また、ステップ#05で物品探索範囲を設定しなかった場合にも(ステップ#05:No)、上位コントローラ30に対して異常である旨の結果情報を出力する(ステップ#15)。また、ステップ#08で、ステップ#06のパターンマッチング処理で検出した全入庫用物品存在領域Mの数と、ステップ#07で取得した第2閾値とを比較し、全入庫用物品存在領域Mの数が第2閾値未満である場合にも(ステップ#08:No)、上位コントローラ30に対して異常である旨の結果情報を出力する(ステップ#15)。
3−2.物品探索範囲の決定処理について
上記ステップ#04の物品探索範囲の決定処理では、まず、最上段の物品層に属する物品21が載置されていると考えられる面を仮想基準面として設定する(ステップ#21)。そして、ステップ#21で設定した仮想基準面に底面が属する物品であるベース上段物品が存在すると仮定した場合の、物品21の設定収納姿勢時において上面となる面の単一高さ画像、すなわち、物品21の設定収納姿勢に対応する単一高さ画像を生成する(ステップ#22)。ステップ#22で生成した単一高さ画像について2値化を行い(ステップ#23)、ステップ#23で2値化した設定収納姿勢に対応する単一高さ画像に、物品探索領域が存在するか否かを判別し、物品探索領域があると判別した場合には(ステップ#24:Yes)、物品探索範囲を、仮想基準面に底面が属するベース上段物品の設定収納姿勢に対応する単一高さ画像に決定する(ステップ#25)。また、ステップ#24で、設定収納姿勢に対応する単一高さ画像に、物品探索領域が存在しないと判別した場合には(ステップ#24:No)、仮想基準面に底面が属する物品であるベース上段物品が存在すると仮定した場合の、物品21の設定収納姿勢以外の姿勢(横転ロング姿勢及び横転ショート姿勢)時において上面となる面の単一高さ画像を生成する(ステップ#26)。ステップ#26で生成した単一高さ画像について2値化を行い(ステップ#27)、ステップ#27で2値化した設定収納姿勢以外の姿勢に対応する各単一高さ画像に、物品探索領域が存在するか否かを判別し、物品探索領域があると判別した場合には(ステップ#28:Yes)、物品探索範囲はなしと決定して(ステップ#34)、物品探索範囲の決定処理を終了する。一方、ステップ#28で設定収納姿勢以外の姿勢に対応する各単一高さ画像に、物品探索領域が存在しないと判別した場合には(ステップ#28:No)、次に、仮想基準下面を設定する(ステップ#29)。そして、仮想基準下面に底面が属し、仮想基準面に上面が属する物品であるベース段物品が存在すると仮定した場合の、物品21の設定収納姿勢に対応する単一高さ画像を生成する(ステップ#30)。ステップ#30で生成した単一高さ画像について2値化を行う(ステップ#31)。そして、ステップ#31で2値化を行った単一高さ画像に、物品探索領域が存在するか否かを判別し、物品探索領域があると判別した場合には(ステップ#32:Yes)、物品探索範囲を仮想基準下面に底面が属するベース段物品の設定収納姿勢に対応する単一高さ画像に決定(ステップ#33)して、物品探索範囲の決定処理を終了する。また、ステップ#32で物品探索領域が存在しないと判別した場合には(ステップ#32:No)、物品探索範囲はなしと決定して(ステップ#34)、物品探索範囲の決定処理を終了する。
3−3.異常時処理について
次に、上記ステップ#15で出力された異常である旨の結果情報を取得した際の上位コントローラ30の処理(異常時処理)について説明する。入庫前検査装置50から異常である旨の結果情報を取得すると(ステップ#41)、コンベヤ制御部33は、入庫コンベヤ3の検査箇所Sに位置する容器20を異常時コンベヤ11に搬送するとともに、異常時コンベヤ11を作動させる(ステップ#42)。そして、当該容器20が作業箇所Wに搬送されると、作業者が第2バーコードリーダ18を用いて当該容器20内の物品21に付されたバーコードを読み取ることにより得られる、当該物品21の物品識別情報を第2バーコードリーダ18から取得する(ステップ#43)。また、作業箇所Wに搬送された容器20に付されたバーコード15に含まれる容器識別情報を第3バーコードリーダ22から取得する(ステップ#44)。そして、ステップ#44で取得した容器識別情報に対応づけられている物品識別情報を物品情報データベース40から取得し、当該物品情報データベース40から取得した物品識別情報とステップ#43で取得した物品識別情報とが一致しているかを判別する(ステップ#45)。ステップ#45で一致していると判別する場合には(ステップ#45:Yes)、容器20内に収容されているべき物品21が実際に容器20内に収容されている為、容器20内の物品21が正しい旨の情報を表示装置19に表示して作業者に報知する(ステップ#47)。一方、ステップ#45で一致していないと判別する場合には(ステップ#45:No)、容器20内に収容されているべき物品21とは異なる物品21が容器20内に収容されている為、容器20内の物品21が正しくない旨の情報を表示装置19に表示して作業者に報知する(ステップ#46)。
4.その他の実施形態
最後に、本発明に係る物品保管設備1のその他の実施形態について説明する。なお、以下のそれぞれの実施形態で開示される構成は、矛盾が生じない限り、他の実施形態で開示される構成と組み合わせて適用することも可能である。
(1)上記の実施形態では、ステレオカメラ等の一対のカメラ14A及び14Bを有する第2撮像装置14を用いて、カメラ14Aで撮像した画像における各画素においての当該カメラ14Aからの距離情報を、一対のカメラ14A及び14Bの視差に基づいて算出して、各画素が当該カメラ14Aからの距離情報を有する撮像画像を生成する構成であった。しかし、本発明の実施形態はこれに限定されるものではなく、第2撮像装置14として、撮像画像と距離情報とを併せて取得できる距離画像センサを用いる構成であってもよい。また、同様に第1撮像装置13も撮像画像と距離情報とを併せて取得できる距離画像センサを用いる構成であってもよい。
(2)上記の実施形態では、容器識別情報や物品識別情報は、各容器や各物品の外側面に付されたバーコード情報の中に含まれる構成であり、各バーコードリーダによって非接触に(光学的に)読み取られる構成であった。しかし、本発明の実施形態はこれに限定されるものではない。例えば、各容器や各物品に、容器識別情報や物品識別情報を記憶するICタグ等のRFIDタグが付されており、当該RFIDタグに記憶された情報を無線通信により読み取る構成であってもよい。
(3)上記の実施形態では、上位コントローラ30と入庫前検査装置50とは別の装置で構成されているが、上位コントローラ30及び入庫前検査装置50の各機能部の機能を同一の装置が備える構成であってもよい。
(4)上記の実施形態では、物品判別部35は、作業箇所Wに位置する容器20に収容されているべき物品21と、実際に容器20内に収容されている物品21とが一致しないと判別すると、その旨を表示装置19に表示させることで、作業者に報知する構成であった。しかし、本発明の実施形態はこれに限定されるものではなく、物品判別部35は、作業箇所Wに位置する容器20に収容されているべき物品21と、実際に容器20内に収容されている物品21とが一致しない旨を、音声や振動等により作業者に報知する構成であってもよい。
(5)上記の実施形態では、テンプレート画像として、物品21の設定収納姿勢時に上面となる矩形面の模様に対応する画像のみが予めマスター物品情報に含まれている。しかし、本発明の実施形態はこれに限定されるものではなく、物品21の設定収納姿勢時に下面となる矩形面の模様に対応する画像も予めテンプレート画像としてマスター物品情報に含まれる構成であってもよい。その場合、パターンマッチング処理部57は、一方のテンプレート画像での入庫用物品存在領域Mの検出が終了した後に、他方のテンプレート画像で入庫用物品存在領域Mの検出を行い、検査部58は、双方のテンプレート画像で検出された入庫用物品存在領域Mの総数が第2閾値未満である場合に異常である旨の結果情報を上位コントローラ30に出力する構成であってもよい。
(6)上記の実施形態では、検査部58は、有効物品存在領域に分類された入庫用物品存在領域Mの数が第2閾値以上となった時点で、正常である旨の結果情報を上位コントローラ30に対して出力する構成であったが、本発明の実施形態はこれに限定されるものではない。検査部58は、全ての入庫用物品存在領域Mへのチェックが終了した後で、全有効物品存在領域の数が第2閾値以上であるか否かを判別し、全有効物品存在領域の数が第2閾値以上である場合には正常である旨の結果情報を出力し、全有効物品存在領域の数が第2閾値未満である場合には異常報告を出力する構成であってもよい。
(7)上記の実施形態では、検査部58は、チェック処理部59で有効物品存在領域に分類された入庫用物品存在領域Mが第2閾値以上となると正常である旨の結果情報を出力する構成であった。しかし、本発明の実施形態はこれに限定されるものではなく、入庫前検査装置50は、チェック処理部59を備えずに、パターンマッチング処理部57で検出された全入庫用物品存在領域Mが第2閾値以上であると正常である旨の結果情報を上位コントローラ30に出力する構成であってもよい。
(8)上記の実施形態では、仮想基準面設定部55は、仮想基準面Kの基準高さHとして、ヒストグラムを谷で分割した際に最も面積が大きい山を判別し、当該山の中で一番出現率が大きい画素値が有する高さ、すなわち、同一の高さ情報を有する画素が最も多く含まれる高さを基準高さHとしている。しかし、本発明の実施形態はこれに限定されるものではない。例えば、ヒストグラムを谷で分割した際の最も面積が大きい山を構成する画素数及び画素値(各画素が有する高さ)から画素値(高さ)の平均値を算出し、当該平均値を基準高さHとする構成であってもよい。
(9)上記の実施形態では、異常時コンベヤ11は、合流箇所17と検査箇所Sとの二箇所で入庫コンベヤ3と接続される平面視で角張ったU字状に構成されているが、本発明の実施形態はこれに限定されるものではない。異常時コンベヤ11は、入庫コンベヤ3と一箇所のみで接続される、例えばI字状に構成されていてもよい。その場合、異常時コンベヤ11の、入庫コンベヤ3と接続される側の端部とは反対側の端部に作業箇所Wが設けられる構成であってもよい。また、異常時コンベヤ11を設けずに、検査箇所Sに作業箇所Wを設ける構成であってもよい。