JP7493941B2 - 荷役制御装置、及びセンサ装置 - Google Patents

Description

本発明の実施形態は、荷役制御装置、及びセンサ装置に関する。

従来、物流倉庫等に設置され、カメラの撮像画像に基づいて、荷物等の物品を把持して当該物品を移動させる荷役システムの荷役制御装置、及びセンサ装置が知られている。

特許第６５２３８８３号公報 特開２０１９－４８３６７号公報

複数の物品がシート状の覆い物によってまとめられている場合であっても、物品を良好に判定することができる荷役制御装置、及びセンサ装置を提供する。

実施形態の荷役制御装置は、送受信部と、制御部と、を備える。送受信部は、載置部に戴置された物品を把持して当該物品を移動させる荷役装置に設けられ、前記載置部が存在する方向に超音波または電波を送信波として送信し、前記送信波の反射波を受信する。制御部は、前記載置部に戴置された物品の撮像画像に基づいて、前記載置部に物品が複数存在することを認識した場合に、当該撮像画像に基づいた認識結果及び前記送受信部の前記反射波の受信結果に基づいて、複数の物品がシート状の覆い物でまとめられているか否かを判定し、当該判定した結果に基づいて、前記荷役装置を制御する。

図１は、第１の実施形態の荷役システムの構成の一例を示す図である。 図２は、第１の実施形態の荷役制御装置におけるセンサ装置の超音波送信素子及び超音波受信素子の配置例を示した図である。 図３は、第１の実施形態のセンサ装置から送信された超音波の伝搬経路の一例を示す図である。 図４は、第１の実施形態の制御装置およびセンサ装置のハードウェア構成の一例を示す図である。 図５は、第１の実施形態の制御装置及びセンサ装置の機能構成の一例を示す図である。 図６は、第１の実施形態の荷役システムが実行する荷役処理のフローチャートである。 図７は、第１の実施形態のセンサ装置が実行する距離算出処理を説明するための図であって、隣接する複数の物品が覆い物によって覆われて覆い物によって一つにまとめられている例を示す図である。 図８は、第１の実施形態のセンサ装置が実行する距離算出処理を説明するための図であって、隣接する複数の物品が覆い物によって覆われて覆い物によって一つにまとめられている例を示す図である。 図９は、第１の実施形態のセンサ装置が実行する距離算出処理を説明するための図であって、隣接する複数の物品が覆い物によって覆われておらず覆い物によって一つにまとめられていない例を示す図である。 図１０は、第１の実施形態のセンサ装置が実行する距離算出処理を説明するための図であって、隣接する複数の物品が覆い物によって覆われておらず覆い物によって一つにまとめられていない例を示す図である。 図１１は、第１の実施形態の第１の変形例におけるセンサ装置の超音波送信素子及び超音波受信素子の配置例を示した図である。 図１２は、第２の実施形態のセンサ装置の超音波送信素子と超音波受信素子との配置例を示した図である。 図１３は、第２の実施形態の反射波の到来方向の検出方法を説明するための図である。 図１４は、第２の実施形態の荷役システムが実行する荷役処理のフローチャートである。 図１５は、第３の実施形態の制御装置及びセンサ装置の機能構成の一例を示す図である。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。

（第１の実施形態）
図１は、第１の実施形態の荷役システムの構成の一例を示す図である。図２は、第１の実施形態のセンサ装置の超音波送信素子及び超音波受信素子の配置例を示した図である。

図１に示すように、荷役システム１は、荷役装置１０と、センサ装置２０と、カメラ３０と、フレーム４０と、を備える。また、荷役装置１０は、移動装置５０と、制御装置６０と、を備える。また、センサ装置２０、カメラ３０、および制御装置６０は、荷役制御装置７０を構成している。ここで、制御装置６０と、カメラ３０、センサ装置２０および移動装置５０とは、例えば、シリアルケーブルやＬＡＮ（Local Area Network）等を介して接続される。

以下の説明において、本実施形態の荷役システム１における上下方向とは、例えば、下方向は、重力が向かう方向ベクトルを含んでおり、上方向は、当該下方向と反対方向であって、荷役装置１０が物品Ｗ１を持ち上げる方向とする。

荷役装置１０は、パレット２の上面２ａ上に載置された物品Ｗ１を目的地（不図示）に荷役（移動）するための装置である。本実施形態の目的地は、物品Ｗ１の移動先であればよく、例えばコンベアが考えられる。パレット２は、フレーム４０が設置された床面Ｇに配置されている。すなわち、パレット２は、フレーム４０を基準として規定の位置に位置されており、当該規定の位置に位置されたパレット２の上面２ａの全領域が、物品Ｗ１の載置領域Ｒ１である。パレット２は、載置部の一例である。なお、載置部（載置領域Ｒ１）は、これに限定されない。載置部（載置領域Ｒ１）は、例えば、床面Ｇ等に設けられていてもよい。床面Ｇは、水平方向に広がっている。載置領域Ｒ１には、複数の物品Ｗ１が載置されうる。物品Ｗ１は、例えば、ペットボトル、段ボール等の箱等である。本実施形態においては、１以上の物品Ｗ１を含む複数の荷物を指す場合に、物品群Ｗという。パレット２は、フォークリフト等により、移動される。物品Ｗ１は、対象物や荷物等とも称される。

フレーム４０は、四角枠状の下枠部材４１と、四角枠状の上枠部材４２と、四つ（複数）の柱部材４３と、を有する。なお、図１では、四つの柱部材４３のうち二つが示されている。下枠部材４１は、床面Ｇに固定されている。上枠部材４２は、下枠部材４１の上方に設けられている。四つの柱部材４３は、下枠部材４１の四つの角部と上枠部材４２の四つの角部とを接続している。下枠部材４１内の床面Ｇにパレット２が配置されている。すなわち、パレット２は、フレーム４０内に配置されている。

カメラ３０は、パレット２の上方に設けられている。具体的には、カメラ３０は、フレーム４０の上枠部材４２に取付部材（不図示）を介して固定されている。カメラ３０は、上枠部材４２の枠内の中央部に配置されている。カメラ３０は、一例として３Ｄカメラである。

カメラ３０は、パレット２の載置領域Ｒ１に載置された物品群Ｗを上方から撮像し、撮像によって得られた撮像画像を制御装置６０に出力する。カメラ３０の撮像範囲は、少なくとも物品群Ｗを含むように設定されている。カメラ３０は、物品Ｗ１とカメラ３０との間の距離を測定可能である。カメラ３０は、撮像装置および距離測定装置の一例である。

移動装置５０は、パレット２、およびコンベアの周囲に配置されている。

移動装置５０は、基台１１１と、基台１１１に支持されたアーム部１１２と、アーム部１１２の先端に設けられた把持部１１３と、を備える。

基台１１１は、床面Ｇに固定された筐体である。

アーム部１１２は、一例として多関節ロボットアームである。アーム部１１２は、把持部１１３によって保持された物品Ｗ１を上下方向に移動する動作、および水平方向に移動する動作を実行可能に構成されている。

例えば、アーム部１１２は、１軸または２軸回りに回動可能な複数の関節により連結された３つの可動部１１２ａ～１１２ｄで構成される。可動部１１２ａは、基台１１１から延出している。可動部１１２ｂは、可動部１１２ａから延出している。可動部１１２ｃは、可動部１１２ｂから延出している。可動部１１２ｄは、可動部１１２ｃから延出している。以後、可動部１１２ｄにおける可動部１１２ｃ側の端部（基端部）から、可動部１１２ｄにおける可動部１１２ｃとは反対側の端部（先端部）へ向かう方向を、Ｄ１方向とも称する。

アーム部１１２（可動部１１２ｄ）の先端には、把持部１１３が取り付けられている。把持部１１３は、物品Ｗ１を挟み込んで把持する。把持部１１３は、例えば、ベース部１１３ａと、ベース部１１３ａからＤ１方向に突出した複数のアーム１１３ｂと、を備え、複数のアーム１１３ｂによって物品Ｗ１を挟み込んで把持する。なお、物品Ｗ１の把持は、挟持による把持方法に限定されない。例えば、把持部１１３は、負圧によって物品Ｗ１を吸着把持してもよい。また、把持部１１３は、２つの物品Ｗ１を一度に把持してもよい。なお、把持部１１３は、把持機構や保持部とも称される。

センサ装置２０は、超音波を用いて、例えばエコーロケーション技術等により、物品検出を行う。センサ装置２０は、移動装置５０の先端部（把持部１１３）に設けられ、パレット２に載置された物品群Ｗの上方等から当該物品群Ｗをセンシングし、そのセンシング結果を制御装置６０に出力する。

図２に示すように、センサ装置２０は、ハウジング２２と、超音波送信素子２３（図２）と、超音波受信素子２４（図２）と、を有する。ハウジング２２は、把持部１１３のベース部１１３ａの側面に固定されている。超音波送信素子２３および超音波受信素子２４は、素子群２５を構成している。把持部１１３を有するアーム部１１２は、超音波送信素子２３と超音波受信素子２４とを組み合わせた超音波センサユニットの向きを変更可能な駆動機構の一例を示したものとなる。

図２に示すように、超音波送信素子２３は、一例として、１個設けられている。超音波送信素子２３は、ハウジング２２の取付面２２ａに配置されている。超音波送信素子２３は、アンテナ素子によって構成されている。超音波送信素子２３は、送信素子の一例である。なお、超音波送信素子２３の個数は、上記に限定されない。

超音波受信素子２４の個数は、一例として、３個（複数）設けられている。超音波受信素子２４は、取付面２２ａにおいて超音波送信素子２３の周囲に配置されている。超音波受信素子２４は、超音波送信素子２３から送信された超音波の反射波を受信する。超音波受信素子２４は、アンテナ素子によって構成されている。超音波受信素子２４は、受信素子の一例である。なお、超音波受信素子２４の個数は、上記に限定されない。

本実施形態のセンサ装置２０は、超音波受信素子２４を３個設けることとした。そして、センサ装置２０は、超音波送信素子２３が送信した超音波の反射波を、３個の超音波受信素子２４の各々が受信したタイミングの違いに応じて、センサ装置２０と、超音波を反射波として反射させた対象物と、の間の相対的な位置関係を認識できる。

具体的には、センサ装置２０は、超音波送信素子２３から、物品群Ｗに含まれる物品Ｗ１の上方等から物品Ｗ１に対して超音波を送信した場合に、物品Ｗ１で反射した反射波を、３個の超音波受信素子２４が受信する。そして、センサ装置２０は、３個の超音波受信素子２４の各々が受信した反射波に基づいて、センサ装置２０を基準とした、物品群Ｗに含まれる物品Ｗ１の相対的な位置を検出する。

次に、センサ装置２０における超音波の伝搬経路について説明する。

図３は、第１の実施形態のセンサ装置２０から送信された超音波の伝搬経路の一例を示す図である。図３中の矢印は、超音波の伝播経路の一例を示す。図３に示すように、例えば、センサ装置２０の超音波送信素子２３は、パレット２の載置領域Ｒ１（図１参照）の方向に対して超音波を送信する。パレット２の載置領域Ｒ１に物品Ｗ１が存在する場合、超音波送信素子２３は、物品Ｗ１の斜め上方から物品Ｗ１に向けて超音波３１を送信することになる。波形３３は、超音波３１の波の形状を示している。超音波３１は、物品Ｗ１の上部のエッジ部Ｗ１ａで反射する。そして、センサ装置２０の超音波受信素子２４は、エッジ部Ｗ１ａで反射した反射波３２を受信する。波形３４は、反射波３２の波の形状を示している。反射波３２の波形３４は、減衰や反射等の影響で、超音波３１の波形３３と比べて振幅が小さくなる。しかしながら、超音波受信素子２４が受信した反射波のうち、エッジ部Ｗ１ａで反射した反射波３２の波形３４は、振幅が最も大きい（最も信号強度が大きい）。換言すれば、本実施形態のセンサ装置２０は、超音波受信素子２４が受信した反射波に基づいて、物品Ｗ１のエッジ部Ｗ１ａを検出できる。

図４は、制御装置６０およびセンサ装置２０のハードウェア構成の一例を示す図である。図４に示すように、センサ装置２０は、超音波送信素子２３及び超音波受信素子２４の他に、送信制御部３０１、オペアンプ３０２、オペアンプ３０５、混合器３０６および処理部３０７等を備える。本実施形態においては、超音波送信素子２３及び超音波受信素子２４の組み合わせを、超音波センサユニット（送受信部の一例）とも称する。

送信制御部３０１は、使用する超音波の周波数（超音波波形）に応じた周波数信号を生成して送信する。送信制御部３０１で生成された周波数信号は、オペアンプ３０２を介して増幅された後、超音波送信素子２３に入力される。また、送信制御部３０１で生成された周波数信号は、混合器３０６にも入力される。より具体的には、送信制御部３０１は、バースト信号またはチャープ信号を超音波送信素子２３に送信する。これにより、超音波送信素子２３から送信される超音波が、バースト波またはチャープ波となる。送信制御部３０１は、信号生成部とも称される。

超音波送信素子２３および超音波受信素子２４は、上述のようにそれぞれアンテナ素子によって構成されている。超音波送信素子２３は、周波数信号に応じた超音波（超音波）として送信し、その反射波を超音波受信素子２４が受信する。超音波受信素子２４で受信された反射波は、オペアンプ３０２を介して増幅された後、反射波信号として混合器３０６に入力される。

混合器３０６は、入力された周波数信号および反射波信号の両信号に対して所定の式に基づいて相関を算出し、処理部３０７に出力する。相関を算出するための所定の式は、どのような式を用いてもよく、周知の手法による式でもよい。

処理部３０７は、混合器３０６から入力される信号を超音波送信素子２３（超音波受信素子２４）毎に検波した後、検出信号としてセンサインタフェース１２６に出力することができる。また、処理部３０７は、ＣＰＵがプログラムを実行することにより実現されてもよいし、専用のハードウェアによって構成されてもよい。処理部３０７は、演算・検波モジュールとも称される。

さらに、処理部３０７は、超音波受信素子２４によって受信された対象物（ある物品Ｗ１）からの反射波に基づいて、対象物（ある物品Ｗ１）と、当該対象物と隣接した物品Ｗ１とがシート状の覆い物Ｂ（図１）によってまとめられているかを判定する。なお、処理の詳細は後述する。

上記の構成により、センサ装置２０では、センシング範囲内に存在する物品Ｗ１をセンシングし、そのセンシング結果を検出信号として制御装置６０（センサインタフェース１２６）に出力する。かかる検出信号は、センシング範囲内に存在する物品Ｗ１の上面、側面およびエッジ部Ｗ１ａ等の形状を超音波強度（電波強度）等の測定値で表したものとなる。また、センサ装置２０は、処理部３０７の処理結果を制御装置６０に送信する。

図１に戻って、制御装置６０は、移動装置５０、センサ装置２０、およびカメラ３０を制御する装置である。すなわち、制御装置６０は、荷役システム１全体を制御する装置である。制御装置６０は、カメラ３０の撮像結果およびセンサ装置２０のセンシング結果に基づき、移動装置５０の動作を制御する。制御装置６０は、移動装置５０と一体的に設けられてもよいし、移動装置５０と別体として設けられてもよい。

なお、本実施形態では、移動装置５０と制御装置６０とを荷役装置としたが、これに限らず、移動装置５０を荷役装置としてもよい。

次に、上述した制御装置６０の構成について説明する。

図４に示すように、制御装置６０は、プロセッサ１２１、表示部１２２、操作部１２３、カメラインタフェース１２４、移動装置インタフェース１２５、センサインタフェース１２６、通信部１２７、および記憶部１２８を備える。

プロセッサ１２１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）等の制御装置である。表示部１２２は、例えば、液晶ディスプレイ、タッチパネル式ディスプレイ等の表示デバイス（出力装置）によって実現される。操作部１２３は、キーボードやポインティングデバイス等の入力デバイス（入力装置）によって実現される。なお、操作部１２３は、表示部１２２の画面上に設けられるタッチパネルであってもよい。

カメラインタフェース１２４は、カメラ３０と通信可能に接続するインタフェースとする。プロセッサ１２１は、カメラインタフェース１２４に接続されたカメラ３０を制御する。移動装置インタフェース１２５は、移動装置５０と通信可能に接続するインタフェースとする。プロセッサ１２１は、移動装置インタフェース１２５に接続された移動装置５０を制御する。センサインタフェース１２６は、センサ装置２０と通信可能に接続するインタフェースとする。プロセッサ１２１は、センサインタフェース１２６に接続されたセンサ装置２０を制御する。

制御装置６０の通信部１２７は、外部装置と接続するための通信インタフェースである。通信部１２７は、プロセッサ１２１の制御の下、外部装置との間で各種データの授受を行う。外部装置としては、例えば、荷役システムを監視する監視装置が考えられる。そして、通信部１２７は、異常が生じた場合に、監視装置に異常が生じた旨の通知を行う。

記憶部１２８は、例えば、ＲＡＭ（Random Access Memory）等の主記憶装置、フラッシュメモリ等の半導体メモリ素子やハードディスク等の補助記憶装置によって実現される。記憶部１２８は、荷役装置１０の動作に係るプログラムや設定情報等を記憶する。また、記憶部１２８は、移動装置５０の上下方向および水平方向の移動限界位置や、アーム部１１２の可動範囲、把持部１１３の把持可能な物品Ｗ１の寸法の上限および下限等を示した限界情報を記憶する。また、記憶部１２８は、物品Ｗ１のサイズ（寸法）や形状等を示した荷物情報を記憶する。

次に、図５を参照して、制御装置６０の機能構成の構成について説明する。ここで、図５は、制御装置６０とセンサ装置２０の機能構成の一例を示す図である。本実施形態においては、制御装置６０のプロセッサ１２１と、センサ装置２０の処理部３０７と、の組み合わせを、制御部の例として示した場合について説明する。しかしながら、制御部の例を、制御装置６０のプロセッサ１２１と、センサ装置２０の処理部３０７と、の組み合わせに、制限するものではなく、例えば、制御装置６０のプロセッサ１２１のみで実現してもよい。制御装置６０のプロセッサ１２１のみで実現する場合、センサ装置２０が備える算出部３０７ａ及び物品判定部３０７ｂが、プロセッサ１２１内で実現される。

図５に示すように、制御装置６０においては、プロセッサ１２１が記憶部１２８に記憶されたプログラムを実行することで、認識部１２１１、移動制御部１２１２、出力部１２１６を機能部として実現する。また、移動制御部１２１２は、計画部１２１４、計画実行部１２１５を含み、計画部１２１４は、把持決定部１２１４ａを含む。

認識部１２１１は、カメラ３０で撮像された撮像画像を取得する。認識部１２１１は、カメラインタフェース１２４を介して撮像画像を直接取得してもよいし、カメラインタフェース１２４を介して一時的に記憶部１２８に記憶された撮像画像を取得してもよい。

認識部１２１１は、取得した撮像画像に基づいて、パレット２上に置かれた物品Ｗ１を認識する。例えば、本実施形態の認識部１２１１は、取得した撮像画像に対して画像処理を行うことで、撮像されている物品の輪郭を抽出し、当該輪郭に基づいて、パレット２上に置かれた物品Ｗ１を認識する。なお、本実施形態の認識部１２１１は、さらに、記憶部１２８に記憶された荷物情報で示されている物品Ｗ１のサイズ（寸法）や形状と、抽出された輪郭と、を比較することで、パレット２上に置かれた物品Ｗ１を認識してもよい。さらには、認識部１２１１は、カメラ３０が設けられた位置と、撮像画像に写っている物品Ｗ１の位置と、に基づいて、実際の３次元空間上における、パレット２上に置かれた物品Ｗ１の位置情報を特定する。物品Ｗ１の位置情報には、物品Ｗ１のエッジ部Ｗ１ａの位置情報も含まれている。

そして、認識部１２１１は、上記の撮像画像に基づいた認識結果を、センサインタフェース１２６を介して、センサ装置２０に送信する。これにより、センサ装置２０の処理部３０７は、認識された物品Ｗ１のサイズや形状、位置情報を把握できる。

センサ装置２０の処理部３０７は、例えば、ＣＰＵ、及びＲＯＭやＲＡＭ等のメモリの組み合わせで実現してもよい。処理部３０７は、混合器３０６から入力される信号を超音波送信素子２３（超音波受信素子２４）毎に検波するだけではなく、当該ＣＰＵが、ＲＯＭに格納されているプログラムを読み込み、実行することで、算出部３０７ａと、物品判定部３０７ｂと、を実現する。

算出部３０７ａは、混合器３０６から入力される信号を取得する。算出部３０７ａは、取得した信号に基づいて、物品Ｗ１のエッジ部とセンサ装置２０との間の距離を算出すると共に、センサ装置２０を基準とした物品Ｗ１のエッジ部の位置情報を算出する。

算出部３０７ａは、制御装置６０から、実際の３次元空間上における、センサ装置２０の位置情報を取得する。ところで、制御装置６０の移動制御部１２１２は、アーム部１１２を制御している。このため、制御装置６０の移動制御部１２１２は、アーム部１１２を制御した場合に、制御された後のアーム部１１２の関節毎の角度に基づいて、センサ装置２０の位置情報を算出する。移動制御部１２１２は、算出したセンサ装置２０の位置情報を、センサ装置２０に送信する。これにより、本実施形態の算出部３０７ａは、制御装置６０から、実際の３次元空間上のセンサ装置２０の位置情報を取得する。算出部３０７ａは、実際の３次元空間上のセンサ装置２０の位置情報と、センサ装置２０を基準とした物品Ｗ１のエッジ部の位置情報と、に基づいて、実際の３次元空間上における物品Ｗ１のエッジ部の位置情報を算出する。

物品判定部３０７ｂは、制御装置６０から送信された、認識部１２１１による認識結果に基づいて、パレット２上に置かれた物品Ｗ１が複数存在するか否かを判定する。物品判定部３０７ｂは、パレット２上に置かれた物品Ｗ１が複数存在すると判定した場合に、認識部１２１１による撮像画像に基づいた認識結果、及び超音波センサユニットによる反射波の受信結果に基づいて、複数の物品Ｗ１がシート状の覆い物Ｂでまとめられているか否かを判定する。

本実施形態の物品判定部３０７ｂは、認識結果として撮像画像により認識された複数の物品Ｗ１のエッジ部の位置と、反射波の受信結果に基づいて定められる、反射波が反射したエッジ部の位置と、に基づいて、複数の物品Ｗ１が、シート状の覆い物Ｂでまとめられているか否かを判定する。

つまり、複数の物品Ｗ１がシート状の覆い物Ｂでまとめられている場合には、まとめられた複数の物品Ｗ１の組み合わせにおけるエッジ部からのみ反射波を受信する。これに対し、複数の物品Ｗ１がシート状の覆い物Ｂでまとめられていない場合には、複数の物品Ｗ１の各々のエッジ部から反射波を受信する。

そこで、物品判定部３０７ｂは、撮像画像で認識された、複数の物品Ｗ１の各々のエッジ部の位置と、反射波が反射した複数の物品Ｗ１の各々のエッジ部の位置と、が略一致する場合に、複数の物品Ｗ１がシート状の覆い物Ｂでまとめられていないと判定する。一方、物品判定部３０７ｂは、撮像画像で認識された、複数の物品Ｗ１の各々のエッジ部に対応する位置に、反射波が反射したエッジ部が存在しない場合に、換言すれば撮像画像と反射波との間で、エッジ部の位置が略一致しない場合に、複数の物品Ｗ１がシート状の覆い物Ｂでまとめられていると判定する。そして、物品判定部３０７ｂによる判定結果を、制御装置６０の移動制御部１２１２に送信する。

物品判定部３０７ｂは、シート状の覆い物Ｂでまとめられているか否かを考慮して、認識した物品Ｗ１の中から移動対象物を決定する。移動対象物の決定の手法は、例えば、一番上にある物品Ｗ１を選定するなど、種々の公知の技術を採用することができる。

計画部１２１４は、認識部１２１１による物品Ｗ１の認識結果、および物品判定部３０７ｂによって決定された移動対象物を示す情報を、受信する。物品Ｗ１の認識結果は、一例として、物品群Ｗに含まれる物品Ｗ１の個数と、物品Ｗ１の各々の寸法、形状、デザイン、梱包特徴、および積載特徴、位置である。また、物品Ｗ１の各々の位置は、パレット２上の水平方向の位置、および高さ方向の位置である。また、物品Ｗ１の各々の位置は、把持部１１３からの相対距離によって表されてもよい。

計画部１２１４は、認識部１２１１の認識結果および物品判定部３０７ｂの判定結果に基づいて、移動装置５０のアーム部１１２および把持部１１３の駆動機構を動作させるための行動計画を導出（算出）する。

詳細には、計画部１２１４の把持決定部１２１４ａは、認識部１２１１の画像認識結果および物品判定部３０７ｂの判定結果に基づいて、把持部１１３の把持対象物（すなわち移動対象物）の把持位置を決定する。例えば、把持決定部１２１４ａは、覆い物Ｂによって一つにまとめられている複数の物品Ｗ１が移動対象物の場合には、当該一つにまとめられた複数の物品Ｗ１のいずれかの位置を把持位置とする。一方、把持決定部１２１４ａは、覆い物Ｂによって一つにまとめられている複数の物品Ｗ１が移動対象物ではなく、物品Ｗ１の各々が移動対象物の場合には、移動対象物である物品Ｗ１のいずれかの位置を把持位置とする。把持位置は、例えば、アームでつかむタイプのロボットの場合には把持対象物のエッジ部Ｗ１ａであり、吸着タイプのロボットの場合には把持対象物の中央である。このように、把持の方法に合わせて把持位置を変更してよい。

また、計画部１２１４は、画像認識結果または判定結果に基づいて、把持対象物を、把持部１１３が把持可能か否かを判定する。例えば、計画部１２１４は、物品Ｗ１の寸法が、記憶部１２８に記憶された移動装置５０の限界情報に定義された把持部１１３の把持可能な物品Ｗ１の寸法の上限から下限の範囲に含まれない場合に、当該物品Ｗ１の把持を回避すると判定する。この場合、計画部１２１４は、行動計画を導出せずに、把持を回避することを、出力部１２１６に送出する。また、計画部１２１４は、把持を回避する対象である物品Ｗ１が映り込んだ撮像画像を、出力部１２１６に送出する。

出力部１２１６は、計画部１２１４から物品Ｗ１の把持を回避することを通知された場合に、外部装置に把持回避の報知情報を出力する。例えば、出力部１２１６は、把持回避の理由と、把持回避される物品Ｗ１が映り込んだ撮像画像とを、外部装置に出力する。また、計画部１２１４は、把持回避の理由と、把持回避される物品Ｗ１が映り込んだ撮像画像とを、制御装置６０の表示部１２２に表示させてもよい。

計画部１２１４は、把持対象物を把持部１１３に把持させると判定した場合は、行動計画を導出し、導出した行動計画を、計画実行部１２１５に送出する。例えば、計画部１２１４は、把持対象物に設定された１または複数の物品Ｗ１をコンベアまで移動する経路（最短経路）を示した行動計画を導出する。なお、計画部１２１４は、２つ以上の物品Ｗ１を同時に把持して移動させる行動計画を導出してもよい。行動計画の導出の手法は、公知の技術を採用することができる。

計画実行部１２１５は、計画部１２１４で導出された行動計画に基づいて、移動装置５０の動作（駆動機構）を制御する。例えば、計画実行部１２１５は、行動計画に基づき移動装置５０の動作を制御することで、移動対象物の物品Ｗ１を行動計画に示された経路でコンベアまで移動させる。また、行動計画は、計画部１２１４によって、物品判定部３０７ｂによる判定結果と認識部１２１１による認識結果とに基づいて導出されているため、換言すれば、計画実行部１２１５は、判定結果と認識結果とに基づいて、物品Ｗ１を把持するよう制御する。計画実行部１２１５の制御対象は、アーム部１１２および把持部１１３の駆動機構である。

上述した機能構成により、荷役装置１０では、パレット２に置かれた物品Ｗ１を、目的地に荷役（移動）させることができる。

次に、荷役システム１が実行する荷役処理の流れを説明する。図６は、第１の実施形態の荷役システム１が実行する荷役処理のフローチャートである。

図６に示すように、認識部１２１１が移動対象物を決定する（Ｓ１１）。次に、送信制御部３０１が周波数信号を超音波送信素子２３に送信し、超音波送信素子２３が超音波を送信する（Ｓ１２）。

次に、超音波受信素子２４が超音波の反射波を受信し、算出部３０７ａは、センサ装置２０から超音波の反射地点までの距離（以後、第１の算出距離とも称する）を算出する（Ｓ１３）。

算出部３０７ａが実行する、センサ装置２０から超音波の反射地点までの第１の算出距離の算出処理（距離算出処理）を、図７～図１０を参照して詳細に説明する。図７および図８は、第１の実施形態のセンサ装置２０が実行する距離算出処理を説明するための図であって、隣接する複数の物品Ｗ１が覆い物Ｂによって覆われ、一つにまとめられている例を示す図である。図９および図１０は、第１の実施形態のセンサ装置２０が実行する距離算出処理を説明するための図であって、隣接する複数の物品Ｗ１が覆い物Ｂで覆われておらず、一つにまとめられていない例を示す図である。なお、図１，図７～図１０では、隣り合う二つの物品Ｗ１が離間した状態が示されているが、実際には隣り合う二つの物品Ｗ１は接触していてもよい。また、図７，９において、矢印は、反射波の進行方向の一例を示し、波形状は、反射波の波形を模式的に示している。ここで、覆い物Ｂは、透明または半透明のビニールシート等である。覆い物Ｂは、まとめ物、ラッピングシート（シート）、シュリンクフィルム（フィルム）とも称される。

超音波送信素子２３によって空気中に送信される超音波すなわち空気中に放射される送信信号をｆ（ｔ）としたときに、超音波受信素子２４は、受信信号（反射波）ｘ（ｔ）を到達時間Ｔだけ遅れたタイミングで受信する。算出部３０７ａは、超音波受信素子２４が受信した受信信号（反射波）ｘ（ｔ）に対して、送信信号ｆ（ｔ）との相関をとることで、超音波の反射地点を算出する。

算出部３０７ａは、相関値が、設定された閾値以上の場合に、超音波送信素子２３から送信された送信信号の反射波を超音波受信素子２４が受信したと判定する。送信信号の送信時から相関値のピーク地点までの時間に音速を乗算した値の半分が超音波受信素子２４から超音波の反射地点までの第１の算出距離となる。

算出部３０７ａは、３個の超音波受信素子２４でそれぞれ受信した受信信号に対して、送信信号との相関値を算出して、超音波受信素子２４から反射地点までの第１の算出距離を算出する。

ここで、超音波の波長に対して物品Ｗ１の表面の凹凸は十分に小さいため、物品Ｗ１の表面では、超音波は、鏡面反射（正反射）する。このため、物品Ｗ１の斜め上方から送信された超音波における、センサ装置２０が受信する物品Ｗ１からの反射波は、物品Ｗ１のエッジ部Ｗ１ａで反射した信号となる。これは、物品Ｗ１が覆い物Ｂによって覆われた場合も同様である。

このように、センサ装置２０で受信できる反射波は、物品Ｗ１のエッジ部Ｗ１ａや覆い物Ｂのエッジ部Ｂａでの反射波となる。このため、図７，８に示すように、隣接する複数の物品Ｗ１が覆い物Ｂで覆われて一つにまとめられている場合には、超音波受信素子２４は、複数の物品Ｗ１のうち端に位置する物品Ｗ１の外側のエッジ部Ｗ１ａに対応して形成された覆い物Ｂのエッジ部Ｂａの反射波のみを受信する。つまり、この場合、超音波受信素子２４は、覆い物Ｂにおける、複数の物品Ｗ１のエッジ部Ｗ１ａのうち互いに隣り合うエッジ部Ｗ１ａ（図８中の領域Ｃ中のエッジ部Ｗ１ａ）を覆った部分Ｂｂ（図８）の反射波は、超音波受信素子２４に到達しない。

一方、図９，１０に示すように、隣接する複数の物品Ｗ１が覆い物Ｂで覆われておらず一つにまとめられていない場合には、超音波受信素子２４は、複数の物品Ｗ１のそれぞれのエッジ部Ｗ１ａからの反射波を受信する。

図６に戻って、Ｓ１４にて、算出部３０７ａは、各超音波受信素子２４から反射地点迄の各第１の算出距離から、反射位置を算出する。詳細には、３個の超音波受信素子２４から反射地点迄の距離がそれぞれ分かるため、算出部３０７ａは、３個の超音波受信素子２４のそれぞれの設置位置を中心とし、第１の算出距離を半径とした３個の球の交点の位置を算出する。そして、算出部３０７ａは、算出された３個の球の交点の位置を、反射地点の位置として算出する。

次に、物品判定部３０７ｂは、認識部１２１１によって認識された、移動対象物である物品Ｗ１、及び隣接する他の物品Ｗ１（以後、隣接物品Ｗ１とも称する）のエッジ部Ｗ１ａの位置と、算出された反射地点の位置と、が一致するか否かを判定する（Ｓ１５）。物品Ｗ１及び隣接物品Ｗ１のエッジ部Ｗ１ａは、認識部１２１１によって撮像画像データから認識されたものとする。なお、本実施形態では、エッジ部Ｗ１ａの位置と、算出された反射地点の位置と、が一致するか否かを例に示したが、一致するか否かに制限するものではなく、略一致するか否かを判断できれば良い。例えば、エッジ部Ｗ１ａの位置と、算出された反射地点の位置と、の類似度が所定の閾値より高いか否かを判断してもよい。

物品Ｗ１及び隣接物品Ｗ１のエッジ部Ｗ１ａから反射波を受信した場合、物品Ｗ１と隣接物品Ｗ１と、が覆い物Ｂでまとめられていない、換言すれば物品Ｗ１と隣接物品Ｗ１とは、個別の物品と判定できる。ところで、物品Ｗ１及び隣接物品Ｗ１のエッジ部Ｗ１ａは、撮像画像に基づいた認識結果から把握できる。従って、撮像画像に基づいた認識結果である、物品Ｗ１及び隣接物品Ｗ１のエッジ部Ｗ１ａの位置から反射波を受信した場合には、覆い物Ｂでまとめられていないと判定できる。そこで、本実施形態の物品判定部３０７ｂは、撮像画像に基づいた認識結果である隣接物品Ｗ１のエッジ部Ｗ１ａの位置と、算出された反射地点の位置とが一致する場合には、物品Ｗ１と隣接物品Ｗ１と、は個別の物品であると判定する。よって、物品判定部３０７ｂは、移動対象物に決定された物品Ｗ１と隣接する他の物品Ｗ１のエッジ部Ｗ１ａの位置と、算出された反射地点の位置とが一致すると判定した場合には（Ｓ１５：Ｙｅｓ）、当該隣接する他の物品Ｗ１は個別の物品であると判定する。そして、把持決定部１２１４ａは、当該判定結果に基づいて、Ｓ１１で決定された移動対象物の把持位置を決定する（Ｓ１６）。このように、移動対象物が覆い物Ｂによって一つにまとめられていないと判定された場合、物品Ｗ１と、隣接する他の物品Ｗ１と、をそれぞれ別の移動対象物として処理される。

一方、物品判定部３０７ｂは、移動対象物に決定された物品Ｗ１と隣接する他の物品Ｗ１のエッジ部Ｗ１ａの位置と、算出された反射地点の位置とが一致しないと判定した場合には（Ｓ１５：Ｎｏ）、Ｓ１８に進む。Ｓ１８にて、物品判定部３０７ｂは、移動対象物に決定された物品Ｗ１と隣接物品Ｗ１との組み合わせを一つの移動対象物と判断する（Ｓ１８）。すなわち、この場合、把持決定部１２１７ａは、移動対象物に決定された物品Ｗ１と、当該移動対象物に決定された物品Ｗ１と隣接する他の物品Ｗ１とは、覆い物Ｂによって覆われて一つにまとめられていると判定し、隣接物品Ｗ１を移動対象物に加える。つまり、移動対象物が更新される。

そして、物品判定部３０７ｂは、認識結果に基づいて、他に隣接物品Ｗ１が存在するか否かを判定する（Ｓ１９）。他に隣接物品Ｗ１が存在すると判定した場合（Ｓ１９：Ｙｅｓ）、センサ装置２０の処理部３０７は、Ｓ１８で一つと判断された移動対象物と、他の隣接物品Ｗ１と、についてエッジ部を検出し（Ｓ２０）、再びＳ１５に戻り、Ｓ１５以降の処理を実行する。

一方、物品判定部３０７ｂは、認識結果に基づいて、他に隣接物品Ｗ１が存在しないと判定した場合（Ｓ１９：Ｎｏ）、把持決定部１２１４ａは、当該判定結果に基づいて、Ｓ１８で一つと判断された移動対象物の把持位置を決定する（Ｓ２１）。

このように、制御装置６０は、移動対象物からの反射波（超音波信号）に基づいて、覆い物Ｂで複数の物品Ｗ１が覆われているか否かを判定できるため、移動対象物の正しい大きさを認識できる。これにより、把持決定部１２１４ａは、移動対象物の適切な把持位置を決定することができる。

Ｓ１６及びＳ２１の処理の後に、移動制御部１２１２は、移動対象物を把持部１１３に把持させて、移動対象物を移動装置５０によって移動させる（Ｓ１７）。そしては、荷役システム１は、Ｓ１１に戻り、上記の処理を繰り返し実行する。

以上のように、本実施形態では、制御装置６０が備える認識部１２１１及び移動制御部１２１２と、センサ装置２０が備える、算出部３０７ａ及び物品判定部３０７ｂと、を組み合わせることで、制御部を実現する。当該制御部は、上述した構成を組み合わせることで、パレット２（載置部）に載置された物品Ｗ１の撮像画像に基づいて、パレット２に物品Ｗ１が複数存在することを認識した場合に、当該認識結果及び超音波センサユニットの反射波の受信結果に基づいて、複数の物品Ｗ１がシート状の覆い物Ｂでまとめられているか否かを判定し、判定結果に基づいて、移動装置５０を制御する。よって、本実施形態によれば、複数の物品Ｗ１がシート状の覆い物Ｂによって覆われて覆い物Ｂによって一つにまとめられている場合であっても、移動対象物の適切な把持位置を決定することができるので、物品Ｗ１の移動を良好に行なうことができる。

また、本実施形態では、センサ装置２０の超音波センサユニット（送受信部）は、送信波を送信する１個の超音波送信素子２３（送信素子）と、反射波を受信する複数個の超音波受信素子２４（受信素子）と、を有する。よって、超音波受信素子２４が１個の場合と比較して、隣接する複数の物品Ｗ１がシート状の覆い物Ｂによって覆われて覆い物Ｂによって一つにまとめられているかの判定の精度が向上しやすい。

また、本実施形態では、送信制御部３０１が、超音波送信素子２３を駆動させる際にバースト波またはチャープ波を使用する。バースト波を使用することで、反射波の有無によって物品の有無を判定できるという利点と、センサ装置２０の移動速度の算出が容易に実施できるという利点がある。また、特定の周波数のみを送信する安価なセンサ装置２０を実現できる。チャープ信号は、送受信可能な周波数帯域の広い超音波センサが必要になるが、対象物までの距離の算出の分解能の向上と、耐雑音性を向上することができる。

（第１の変形例）
第１の実施形態においては、１個の超音波送信素子２３と、３個の超音波受信素子２４と、を備える例について説明した。しかしながら、超音波送信素子２３と超音波受信素子２４との配置は、様々な態様が考えられる。そこで、第１の変形例では、第１の実施形態とは異なる、超音波送信素子２３と超音波受信素子２４との配置例について説明する。図１１は、第１の実施形態の第１の変形例におけるセンサ装置の超音波送信素子２３と超音波受信素子２４との配置例を示した図である。

図１１に示すように、本変形例では、超音波送信素子２３の個数と超音波受信素子２４の個数とが、それぞれ１個である。本変形例は、複数の超音波受信素子２４を備えていない。このため、本変形例は、３次元空間上の位置の代わりに、距離に基づいて、覆い物Ｂで一つにまとめられているか否かを判断する。

上記構成の本変形例では、物品判定部３０７ｂは、算出したセンサ装置２０から超音波の反射地点までの第１の算出距離と、制御装置６０の認識部１２１１がカメラ３０の出力に基づいて算出した、センサ装置２０から移動対象物のエッジ部Ｗ１ａまでの第２の算出距離と、を比較して、隣接する複数の物品Ｗ１が覆い物Ｂで覆われて一つにまとめられているかを判定する。具体的には、物品判定部３０７ｂは、第１の算出距離と第２の算出距離とが一致する場合には反射点が存在し、隣接物品Ｗ１は個別の物品であると判定する。すなわち、この場合、物品判定部３０７ｂは、隣接する複数の物品Ｗ１が覆い物Ｂで覆われて一つにまとめられていないと判定する。一方、物品判定部３０７ｂは、第１の算出距離と第２の算出距離とが一致しない場合には、移動対象物に決定された物品Ｗ１と、当該移動対象物に決定された物品Ｗ１と隣接する他の物品Ｗ１とは、覆い物Ｂによって覆われて一つにまとめられていると判定し、隣接物品Ｗ１を移動対象物に加える。つまり、移動対象物が更新される。

以上のように、本変形例では、超音波送信素子２３（送信素子）の個数と超音波受信素子２４（受信素子）の個数が、それぞれ１個である。よって、超音波送信素子２３と超音波受信素子２４で構成される超音波センサユニットの小型化がしやすい。

なお、上述した実施形態及び本変形例では、超音波送信素子２３と超音波受信素子２４とが別個に設けられているが、これに限定されない。例えば、一つの超音波素子が、超音波の送受信を行なってもよい。すなわち、一つの超音波素子が、超音波送信素子２３と超音波受信素子２４とを兼ねてもよい。

（第２の変形例）
次に、第１の実施形態の第２の変形例を説明する。本変形例では、送信制御部３０１は、センサ装置２０とパレット２（載置部）に載置された物品Ｗ１との間の距離に応じて、超音波の送信形態を変更する。例えば、送信制御部３０１は、センサ装置２０とパレット２（載置部）に載置された物品Ｗ１との間の距離に応じて、超音波の送信信号の長さや送信間隔を変更する。センサ装置２０と物品Ｗ１との間の距離は、カメラ３０によって測定された検出が用いられる。

ここで、センサ装置２０と物品Ｗ１との間の距離が比較的遠い場合には、センサ装置２０が超音波（信号）を送信して物品Ｗ１の反射波を受信するまでの超音波の伝搬経路が長いため、当該伝搬距離に応じて送信信号が減衰する。このため、チャープ波を送信する場合には、受信時の信号強度を確保するために、ある一定以上の長さの信号長でセンサ装置２０の超音波送信素子２３を駆動させる必要がある。

一方、センサ装置２０と物品Ｗ１との間の距離が比較的近い場合には、伝搬距離が短くなり受信できる信号強度が増加するため、チャープ波を送信する場合には、信号長を短くできる。信号長を短くすることで、反射波から求める相関値のピーク地点を容易に検出でき、センサ装置２０から物品Ｗ１までの距離の検出精度を向上できる。また、この場合に、超音波（送信信号）を送信する間隔を短くすることで、物品Ｗ１の反射波を受信（取得）する回数が増加するので、精度よく反射地点を検出することができる。

以上のように、センサ装置２０と物品Ｗ１との間の距離が長い程、超音波の送信信号の長さを長くする。

（第２の実施形態）
次に、第２の実施形態を図１２～図１４を参照して説明する。図１２は、第２の実施形態のセンサ装置の超音波送信素子と超音波受信素子との配置例を示した図である。図１３は、第２の実施形態の反射波の到来方向の検出方法を説明するための図である。図１４は、第２の実施形態の荷役システムが実行する荷役処理のフローチャートである。

図１２に示すように、本実施形態では、複数の超音波受信素子２４は、第１の直線Ｌ１に沿って並べられた複数個の超音波受信素子２４Ａと、第１の直線Ｌ１と交差する第２の直線Ｌ２に沿って並べられた複数個の超音波受信素子２４Ｂと、を含む。換言すると、複数の超音波受信素子２４は、Ｄ２方向に沿って並べられた複数個の超音波受信素子２４Ａと、Ｄ２方向と交差するＤ３に沿って並べられた複数個の超音波受信素子２４Ｂと、を含む。一例として、第１の直線Ｌ１（Ｄ２方向）、第２の直線Ｌ２（Ｄ３方向）、およびＤ１方向は、互いに直交している。また、第１の直線Ｌ１と第２の直線との交点に位置する超音波受信素子２４は、超音波受信素子２４Ａおよび超音波受信素子２４Ｂを兼ねる。また、超音波受信素子２４Ａの個数および超音波受信素子２４Ｂの個数は、同じである。超音波受信素子２４Ａは、第１の受信素子の一例であり、超音波受信素子２４Ｂは、第２の受信素子の一例である。なお、本実施形態は、第１の直線Ｌ１と、第１の直線Ｌ１と交差する第２の直線Ｌ２と、に沿って超音波受信素子２４を並べる例について説明するが、複数の直線に沿って超音波受信素子２４を並べる手法に制限するものではなく、一つの直線に沿って超音波受信素子２４を並べてもよい。

算出部３０７ａは、複数の超音波受信素子２４の反射波の受信結果に基づいて、センサ装置２０を基準とした、超音波の反射地点の位置を算出する。超音波の反射地点とは、上述した実施形態と同様に、反射波が反射するエッジ部の位置とする。以下に、算出部３０７ａによる超音波の反射地点の位置の算出方法を図１３を参照して説明する。

本実施形態では、受信信号（反射波）に対して、ビームフォーミング法を用いた演算を実施することで、超音波の反射地点の位置を算出する。図１３に示すように、反射波を平面波と仮定した場合に、超音波受信素子２４と超音波受信素子２４との間の距離ｄ０と音速ｃを用いて、式（１）より遅延時間ｔ０を求めることができる。角度θとは、複数の超音波受信素子２４が直線上に並べられた方向と、複数の超音波受信素子２４のうち基準となる超音波受信素子２４から目的地までの方向と、の間の角度とする。
ｔ０＝ｄ０・ＳＩＮθ／ｃ ・・・（１）

ビームフォーミング法を用いた演算を行う方向（Ｄ２方向、Ｄ３方向）ごとに、各超音波受信素子２４の遅延時間を求め、各受信信号に対して求めた遅延時間だけ遅延させた信号全てを加算することで、各方向（Ｄ２方向、Ｄ３方向）にビームフォーミング法を用いて演算した際の受信信号を作成できる。

超音波の反射地点が、センサ装置２０の正面に存在しない場合、複数の超音波受信素子２４で受信した反射波を示す信号をそのまま加算すると、それぞれの反射波は位相が異なるため、目的の信号を得る事ができない。このため、反射地点に強く反応した反射波を示す信号を算出するためには、超音波受信素子２４毎に算出された遅延時間ｔ０を考慮する必要がある。そこで、算出部３０７ａは、超音波受信素子２４の各々が受信した反射波を示す信号に対して、超音波受信素子２４毎に算出された遅延時間ｔ０を遅延させた後、遅延させた反射波を示す信号を全て加算する。

これにより、反射地点に強く反応した反射波を示す信号を得ることができる。本実施形態においては、算出部３０７ａは、複数の角度θの各々に対応する遅延パターン（角度θ毎の超音波受信素子２４の各々の遅延時間の組み合わせ）を備えておく。そして、算出部３０７ａは、複数の超音波受信素子２４で受信した反射波を示す信号に対して、複数の遅延パターンを用いて調整することで、反射地点に強く反応する、反射波を示す信号を得られる。そして、算出部３０７ａは、反射地点に強く反応した時に適用された遅延パターンの角度θから、反射地点が存在する方向を認識できる。

そして、算出部３０７ａは、反射地点が存在する方向、及び反射地点までの距離を組み合わせることで、センサ装置２０を基準とした、反射地点の位置、換言すれば、反射が反射した（移動対象物の）エッジ部の位置を算出できる。

ビームフォーミングは、超音波受信素子２４を直線状に設置した軸の方向しか反射地点が存在する方向を判定できない。このため、本実施形態では、２軸方向を検出（算出）するために、図１２に示すような十字状に超音波受信素子２４を配置した。超音波受信素子２４の個数を増加することで、虚像の低減効果が期待でき、物品Ｗ１からの反射波の数が多い場合にそれぞれの反射の分離が容易になるという利点がある。

次に、本実施形態の荷役システム１が実行する荷役処理を図１４を参照して説明する。

本実施形態の荷役処理は、図１４に示すように、Ｓ１１～Ｓ１３の後にＳ２１を行なう。Ｓ２１にて、物品判定部３０７ｂは、受信した受信信号に対してビームフォーミング処理を行い、各方向（Ｄ２方向、Ｄ３方向）の受信信号を作成し、十字状に配置された超音波受信素子２４の２つの配列方向（Ｄ２方向、Ｄ３方向）でそれぞれ反射波の到来方向、換言すれば反射地点が存在する方向を算出する（Ｓ２１）。そして、物品判定部３０７ｂは、到来時間差を考慮して求めた超音波受信素子２４から反射地点までの距離と、算出した反射地点が存在する方向とから、反射地点の位置を算出する（Ｓ１４）。到来時間差とは、超音波を送信してから受信するまでの超音波受信素子２４間の時間差とする。本実施形態の算出部３０７ａは、複数の超音波受信素子２４の到来時間の平均に基づいて反射地点までの距離を算出することで、到来時間差を考慮した、反射地点までの距離を算出できる。他の例としては、算出部３０７ａは、特定の超音波受信素子２４（例えば、図１３において遅延時間ｔ０＝０となる超音波受信素子２４）が反射波を受信するまでの到来時間に基づいて、反射地点までの距離を算出してもよい。そして、Ｓ１５以降の処理が行なわれる。

以上のように、本実施形態では、超音波送信素子２３と超音波受信素子２４とを組み合わせた超音波センサユニット（送受信部）は、第１の直線Ｌ１に沿って並べられた複数個の超音波受信素子２４Ａ（第１の受信素子）と、第１の直線Ｌ１と交差する第２の直線Ｌ２に沿って並べられた複数個の超音波受信素子２４（第２の受信素子）と、を有する。物品判定部３０７ｂ（判定部）は、超音波受信素子２４Ａの反射波の受信結果と超音波受信素子２４の反射波の受信結果とに基づいて、センサ装置２０に対する反射波の到来方向を検出する。よって、物品Ｗ１の位置の検出の精度が向上する。

（第３の実施形態）
上述した実施形態においては、次に、第３の実施形態を図１５を参照して説明する。図１５は、第３の実施形態の制御装置及びセンサ装置の機能構成の一例を示す図である。なお、第１の実施形態と同じ構成については同一符号を割り当て、説明を省略する。

図１５に示すように、本実施形態では、移動制御部１２１２は、指向性制御部１２１８を有する。指向性制御部１２１８は、パレット２に載置された物品Ｗ１に向けて超音波が送信されるようにセンサ装置２０の向きを制御する。指向性制御部１２１８は、カメラ３０の撮像画像に基づいて、パレット２に載置された物品Ｗ１に向けて超音波が送信されるように、移動装置５０のアーム部１１２を制御する。指向性制御部１２１８は、超音波送信素子２３と超音波受信素子２４とを組み合わせた超音波センサユニットの向きを変更可能な駆動機構の一例を示したものである。

ここで、一般的に超音波センサは正面方向の感度が高く、側面方向では感度が低下する。このため、超音波センサが物品Ｗ１の方向を向いていない場合に、反射波を受信できない可能性がある。この問題に対して、本実施形態では、移動制御部１２１２の指向性制御部１２１８が、パレット２に載置された物品Ｗ１に向けて超音波が送信されるようにセンサ装置２０の向きを制御するので、センサ装置２０が反射波を精度よく受信することができる。

なお、把持部１１３に対するセンサ装置２０の姿勢をモータ等の駆動源の駆動力によって変化させる姿勢変化機構を設けてもよい。この場合、指向性制御部１２１８は、姿勢変化機構の駆動源を制御することにより、パレット２に載置された物品Ｗ１に向けて超音波が送信されるようにセンサ装置２０の向きを制御してもよい。また、この場合、姿勢変化機構は、把持部１１３に対してセンサ装置２０を回転させる構成であってよい。

以上説明したとおり、上記実施形態によれば、複数の物品Ｗ１がシート状の覆い物Ｂによって覆われて覆い物Ｂによって一つにまとめられている場合であっても、物品Ｗ１の移動を良好に行なうことができる。

上述の各実施形態の制御装置６０で実行されるプログラムおよびセンサ装置２０で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、上述の各実施形態の制御装置６０で実行されるプログラムおよびセンサ装置２０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の各実施形態の制御装置６０で実行されるプログラムおよびセンサ装置２０で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、上述の各実施形態のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

上述の各実施形態の制御装置６０で実行されるプログラムは、上述した各部（取得部、認識部、移動制御部、出力部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、取得部、認識部、移動制御部、出力部が主記憶装置上に生成されるようになっている。

上述の各実施形態のセンサ装置２０で実行されるプログラムは、上述した各部（距離測定部、位置認識部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、距離測定部、位置認識部が主記憶装置上に生成されるようになっている。

なお、上記実施形態では、センサ装置２０は、超音波に替えて電波（ミリ波）を送受信して、物品Ｗ１を検出してもよい。この場合には、センサ装置２０は、超音波送信素子２３および超音波受信素子２４に替えて、電波送信素子と電波受信素子とを有する。

また、上記実施形態では、物品判定部３０７ｂ（判定部）がセンサ装置２０に設けられた例が示されたが、これに限定されない。例えば、物品判定部３０７ｂは、制御装置６０に設けられてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

２…パレット（載置部）、１０…荷役装置、２３…超音波送信素子（送信素子）、２４…超音波受信素子（受信素子）、２４Ａ…超音波受信素子（第１の受信素子）、２４Ｂ…超音波受信素子（第２の受信素子）、５０…移動装置、７０…荷役制御装置、３０１…送信制御部、３０７ａ…算出部、３０７ｂ…物品判定部（判定部）、１２１１…認識部、１２１２…移動制御部（制御部）、Ｂ…覆い物、Ｌ１…第１の直線、Ｌ２…第２の直線、Ｗ１…物品。

Claims (9)

1. 載置部に戴置された物品を把持して当該物品を移動させる荷役装置に設けられ、前記載置部が存在する方向に超音波または電波を送信波として送信し、前記送信波の反射波を受信する送受信部と、
   前記載置部に戴置された物品の撮像画像に基づいて、前記載置部に物品が複数存在することを認識した場合に、当該撮像画像に基づいた認識結果及び前記送受信部の前記反射波の受信結果に基づいて、複数の物品がシート状の覆い物でまとめられているか否かを判定し、当該判定した結果に基づいて、前記荷役装置を制御する制御部と、
   を備え、
   前記制御部は、さらに、前記認識結果として、前記撮像画像により認識された前記複数の物品の各々のエッジ部の位置と、前記反射波の受信結果に基づいて定められる、前記反射波が反射したエッジ部の位置と、に基づいて、前記複数の物品が、前記シート状の覆い物でまとめられているか否かを判定する、
   荷役制御装置。
2. 前記制御部は、さらに、前記撮像画像により認識された前記複数の物品の各々のエッジ部の位置と、前記反射波が反射した前記複数の物品の各々のエッジ部の位置と、が略一致する場合に、前記複数の物品が、前記シート状の覆い物でまとめられていないと判定する、
   請求項１に記載の荷役制御装置。
3. 前記制御部は、さらに、前記撮像画像により認識された前記複数の物品の各々のエッジ部の位置と、前記反射波が反射した前記複数の物品の各々のエッジ部の位置と、が略一致しない場合に、前記複数の物品が、前記シート状の覆い物でまとめられていると判定する、
   請求項２に記載の荷役制御装置。
4. 前記送受信部は、前記送信波を送信する１個の送信素子と、前記反射波を受信する複数個の受信素子と、を有した、請求項１～３のいずれか一つに記載の荷役制御装置。
5. 前記送受信部は、前記送信波を送信する送信素子と、前記反射波を受信する受信素子と、を有し、
   前記送信素子の個数と前記受信素子の個数が、それぞれ１個である、請求項１～３のいずれか一つに記載の荷役制御装置。
6. 前記送受信部は、略直線に並べられた複数の受信素子を少なくとも有し、
   前記制御部は、前記複数の受信素子から受信した複数の受信結果の演算結果に基づいて、前記反射波が反射したエッジ部の位置を算出する、
   請求項４に記載の荷役制御装置。
7. 前記送受信部と前記載置部に載置された前記物品との間の距離に応じて、前記送信波の送信形態を変更する、
   請求項１～６のうちいずれか一つに記載の荷役制御装置。
8. 前記制御部は、前記載置部に載置された前記物品に向けて前記送信波が送信されるように前記送受信部の向きを変更可能な駆動機構を制御する、請求項１～７のうちいずれか一つに記載の荷役制御装置。
9. 載置部に戴置された物品を把持して当該物品を移動させる荷役装置に設けられ、前記載置部が存在する方向に超音波または電波を送信波として送信し、前記送信波の反射波を受信する送受信部と、
   撮像部が撮像した撮像画像に基づいた前記載置部に存在する物品の認識結果において、前記載置部に物品が複数存在することが示されている場合に、当該撮像画像に基づいた認識結果及び前記送受信部の前記反射波の受信結果に基づいて、複数の物品がシート状の覆い物でまとめられているか否かを判定する制御部と、
   を備え、
   前記制御部は、さらに、前記認識結果として、前記撮像画像により認識された前記複数の物品の各々のエッジ部の位置と、前記反射波の受信結果に基づいて定められる、前記反射波が反射したエッジ部の位置と、に基づいて、前記複数の物品が、前記シート状の覆い物でまとめられているか否かを判定する、
   センサ装置。

Images