JP7018637B2 - 食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム及び記憶媒体 - Google Patents

Description

本発明は、食器等を自動的に洗浄する食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム及び記憶媒体に関する。

近年、飲食店における従業員不足等の背景から、飲食店における業務やサービスの工程を自動化したいという要請がある。食器洗浄についても、自動化の要請があり、従来、特許文献１のような技術が提案されている。

上記特許文献１に記載の食器洗浄システムは、陶磁器であることを識別するために陶器の高台内に人間が識別できる記号又は文字を設けておき、洗浄用コンベア上の画像をカメラで取得し、取得した画像からテンプレートマッチングにより陶磁器に設けられた記号又は文字を読み取ることにより、陶磁器を認識してロボットアーム機構により陶磁器をピッキングする。

上記特許文献２に記載の食器洗浄システムは、食器の高台に人間が識別できると共に食器の種類（大きさ、茶碗、丼、皿等）を判定するための識別子と、識別子の位置と範囲と向きを特定するためのシンボルとが表記されており、洗浄用コンベア上の画像をカメラで取得し、取得した画像からパターンマッチングにより陶磁器に設けられた識別子を認識し、ロボットアーム機構により食器をピッキングする。また、特許文献２では、識別子としては、人間が識別できるものであり、バーコード、二次元コード、磁気的コード等は除外される。

上記特許文献３に記載の食器洗浄システムは、食器洗浄機から取り出され、ウェイテングエリアからピッキングエリアに移されて静止している食器について、ピッキングエリアカメラで取得した画像を処理して食器の種類を判別するとともに食器の重心位置を計算し、ロボットアーム機構によりピッキングして、リリースエリアへ食器の種類ごとに積み重ねる。特許文献３では、画像処理としてパターンマッチング処理を行い、食器の種類、重心位置、皿を上方から見た際の長手方向の向き（長方形上の皿の向き）を判定する。

上記特許文献４に記載の食器洗浄システムは、洗浄用ラックを洗浄室に搬入すること、食器洗浄機のドアを開閉すること、洗浄スイッチを押すこと、洗浄室から搬出台に洗浄用ラックを搬出すること、搬出台から食器をピッキングし、ストックラックに食器を移送することを、ロボットアームが行う。洗浄用ラックが静止している状態で、洗浄用ラックの位置に対応する搬出台上のピッキングエリアをピッキングカメラで撮影した画像をパターンマッチング処理することにより、食器の種類、食器の重心位置、皿を上方から見た際の長手方向の向き（長方形上の皿の向き）を判定する。

特開２０１８－１２６２７２号公報 特開２０１９－０３７３４９号公報 国際公開第２０１８／０３４２５１号 国際公開第２０１８／０３４２５２号

上記特許文献１に記載の食器洗浄システムでは、陶磁器の高台内に設けた人間が識別できる記号又は文字を、カメラで取得した画像からテンプレートマッチングすることにより、陶磁器を認識してロボットアーム機構により陶磁器をピッキングしている。しかしながら、陶磁器は全てコンベアに対して水平に伏せて並べられた状態（高台が真上を向いた状態）で使用することが前提である上、陶磁器の種類までも判別することまでは記載されていない。陶磁器が三次元的に異なる角度でコンベア上を搬送される場合には、特許文献１の食器洗浄システムでは対応できない。また、陶磁器の高台内に設ける記号又は文字は人間が識別できるものに限定される。さらに、洗浄用コンベアに陶磁器を並べることまでは自動化できていない。

上記特許文献２に記載の食器洗浄システムでは、食器の種類を判定するための識別子と、識別子の位置と範囲と向きを特定するためのシンボルを食器の高台内に設け、パターンマッチング処理により食器洗浄システムが食器の種類を判別している。しかしながら、食器は全てコンベアに対して水平に伏せて並べられた状態（高台が真上を向いた状態）で使用することが前提であり、食器が三次元的に異なる角度でコンベア上を搬送される場合には、特許文献２の食器洗浄システムでは対応できない。また、陶磁器の高台内に設ける記号又は文字は人間が識別できるものに限定される。さらに、洗浄用コンベアに食器を並べることまでは自動化できていない。

上記特許文献３に記載の食器洗浄システムでは、ピッキングエリアにおいて静止している食器について、ピッキングエリアカメラで取得した画像を処理して食器の種類を判別している。このため、ピッキングエリアのピッキングコンベアと洗浄コンベアとを分け、さらにその間にリレーコンベアを設ける必要があり、コンベアの構造が複雑となっている。また、食器は全てコンベアに対して水平に伏せて並べられた状態（高台が真上を向いた状態）で使用することが前提であり、食器が三次元的に異なる角度でコンベア上を搬送される場合には、特許文献３の食器洗浄システムでは対応できない。さらに、洗浄コンベアに食器を並べることまでは自動化できていない。

上記特許文献４に記載の食器洗浄システムでは、洗浄用ラックが静止している状態で、洗浄用ラックの位置に対応する搬出台上のピッキングエリアをピッキングカメラで撮影した画像をパターンマッチング処理することにより、食器の種類を判別している。このため、コンベア上で移動中の食器をピックアップする用途には利用できない。また、食器は全てコンベアに対して水平に伏せて並べられた状態（高台が真上を向いた状態）で使用することが前提であり、食器が三次元的に異なる角度でコンベア上を搬送される場合には、特許文献４の食器洗浄システムでは対応できない。さらに、洗浄用ラックに食器を並べることまでは自動化できていない。

上記特許文献１～４では、複数の食器が三次元的に異なる角度でコンベア上を搬送されている状態で、ロボットが食器をピックアップすることが考慮されていない。本発明者は全自動の食器自動洗浄システムを実現すべく、例えば洗浄前の食器をコンベアへ並べる段階から自動化すること、食器を並べる角度は実用上、高台が真上を向いた状態だけではないこと、コンベア上で移動中の食器をピックアップすること、ロボットの姿勢には制限があること等の条件のもと、食器及びロボットについて静的及び動的な分析を行うことを通じて鋭意全自動の食器自動洗浄システムについて研究開発を進めた結果、本発明の実施形態を完成するに至った。すなわち、本発明の目的は、食器が三次元的に異なる角度でコンベア上を搬送されている状態で、各食器の種類や状態を判別し、ロボットが安全に食器をピックアップし、所定の収納位置に載置可能な食器自動洗浄システムを提供することにある。

本発明の上記目的は、以下の構成によって達成できる。すなわち、本発明の第１の態様の食器自動洗浄システムは、
食器を投入する食器投入部から投入された食器を洗浄する食器洗浄部と、
前記食器洗浄部で洗浄された食器を搬送する食器搬送部と、
複数の画像取得部を備え、前記食器搬送部で搬送される食器を識別すると共に当該食器の情報を取得する食器情報取得部と、
前記食器搬送部で搬送された食器が載置される食器載置部と、
前記食器搬送部から食器を取り上げ、当該食器を前記食器載置部へ食器を載置する食器取上部と、
を備える食器自動洗浄システムにおいて、
前記食器情報取得部が取得する情報には、食器の種類、食器の大きさ、食器の形状、食器の色彩、食器の位置、食器の姿勢、食器の向き、食器に付されたマーカ、又は、食器に付されたコードの少なくともいずれか１つが含まれ、
前記食器情報取得部が前記食器搬送部で搬送されている食器を識別すると、前記食器取上部が、該識別された食器の位置及び姿勢を、複数台の画像取得部から計測された前記識別された食器の情報を混合して継続してトラッキングし、食器が前記食器搬送部で搬送されている状態で、当該トラッキングされた食器の位置及び姿勢を含む情報を用いて食器を取り上げることを特徴とする。

本発明の実施形態によれば、食器が三次元的に異なる角度でコンベア上を搬送されている状態で、各食器の種類や状態を判別し、ロボットが安全に食器をピックアップし、所定の収納位置に載置可能な食器自動洗浄システムを提供することができる。

食器自動洗浄システムの工程図である。 食器自動洗浄システムの全体構成図である。 食器取出部のブロック図である。 図４Ａは食器取出部の平面図であり、図４Ｂは食器取出部の斜視図である。 マーカの使用例の説明図である。 ハンドの斜視図である。 図７Ａはハンドの変形例の斜視図、図７Ｂはハンドの変形例の側面図である。 図８Ａは、ハンドの別の変形例の斜視図であり、図８Ｂは、ハンドの別の変形例の側面図である。 図９Ａは積み上げ式の食器載置部の説明図、図９Ｂは積み下げ式の食器載置部の説明図である。 図１０は、食器の裏面に刻印されたＡＲマーカの説明図である。 図１１は食器の裏面にＡＲマーカを印刷した後にコーティングしたものの説明図である。 食器マーカを使わない食器の画像認識の説明図である。 実施形態４の食器取出部の平面図である。 図１４Ａは、食器自動洗浄システムの上面図であり、図１４Ｂは、食器自動洗浄システムの斜視図である。 食器自動洗浄システムの受け渡し台周辺を示す図である。

以下、図面を参照して本発明の実施形態に係る食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム及び記憶媒体を説明する。但し、以下に示す実施形態は本発明の技術思想を具体化するための食器自動洗浄システムを例示するものであって、本発明をこれらに特定するものではなく、特許請求の範囲に含まれるその他の実施形態のものにも等しく適用し得るものである。

［第１実施形態］
本発明の第１実施形態に係る食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム及び記憶媒体について、図１～図９を参照して説明する。

図１は本実施形態に係る食器自動洗浄システムの工程図の一例である。本実施形態の食器自動洗浄システムは、食器投入部１、食器洗浄部２及び食器取出部３を含んでいる。また、本実施形態の食器自動洗浄システムは、食器から残渣やゴミを除去する工程Ｓ１、食器をコンベア上に並べて置く工程Ｓ２、水流と洗剤により洗浄する工程Ｓ３、乾燥する工程Ｓ４、及び、食器をコンベア上から保管場所へ移す工程Ｓ５を含んでいる。食器投入部１においては、食器から残渣やゴミを除去する工程Ｓ１及び食器をコンベア上に並べて置く工程Ｓ２が実行され、食器洗浄部２においては、水流と洗剤により洗浄する工程Ｓ３及び乾燥する工程Ｓ４が実行され、食器取出部３においては、食器をコンベア上から保管場所へ移す工程Ｓ５を実行する。

図２は本実施形態に係る食器自動洗浄システムの全体構成図の一例である。食器１１としては、例えば、洋食器、和食器、形状等の種類を問わず、例えば食品を盛るための皿、ボール、碗、丼、鉢等、飲料を入れるカップ、コップ、グラス、茶碗，酒器等，食物を取り扱う箸、フォーク、ナイフ、スプーン、マドラー、レンゲ等、調理用具ないしキッチン用品である鍋、フライパン、まな板、包丁、ナイフ、ボール、カップ、コンテナ、フライ返し、へら、杓子等、食事に用いられる道具や器具の全てを含む。食器１１は食器搬送部１０によって、食器投入部１から食器洗浄部２を介して食器取出部３まで搬送される。食器搬送部１０は、例えば食器投入部１から食器洗浄部２を通して、食器取出部３まで食器を搬送するための単一のコンベアとすることもできるが、例えば食器投入部１用のコンベア、食器洗浄部２用のコンベア、及び、食器取出部３用のコンベアに分けて複数のコンベアから構成することも可能であり、さらに、各部においてコンベアを複数に分けて設けることも可能であり、あるいは、複数のコンベアに代えて１つのコンベアとすることも可能である。

食器搬送部１０は特に限定されるものではないが、例えば食器を搬送できるコンベアである。なおコンベアの種類としては、例えばａ）コンベア面がフラットで、食器をコンベア上に伏せておくタイプのコンベアであるフラットコンベア、ｂ）コンベア面の下に食器を差し込めるスペースを設け、薄い食器から洗浄ラックまで対応できるアンダーフライトコンベア、ｃ）コンベア上の突起に食器を立てかけて洗浄を行い、薄い食器から洗浄ラックまで対応できるフライトコンベア、ｄ）洗浄ラックに収納した食器を洗浄する場合に用いるラックコンベア等、あらゆるタイプのコンベアに対応可能である。

食器取出部３には、食器取上部としての多関節ロボット１２、食器取上部で食器搬送部１０から取り上げた食器をまとめて載置するための食器載置部１３、食器搬送部１０で搬送される食器を識別する共に食器の情報を取得する食器情報取得部１４が設けられている。食器取出部３においては、食器情報取得部１４からの食器の情報に基づいて、食器取上部としての多関節ロボット１２によって食器を取り上げ、取り上げられた食器を食器載置部１３へまとめて載置する。ここでは、食器取上部として、多関節ロボット１２を例示したが、本実施形態はこれに限定されるものではなく、例えば変形自在のアームを持ったロボット、吊り上げ形のロボット等を含む産業用ロボット等、食器を取り上げることができる仕組みを備えていれば全ての食器取り上げ用の手段が含まれる。食器載置部１３においては、食器取上部によって取り上げられた食器が、例えば種類ごとにまとめて載置される。食器載置部１３において食器をまとめて載置する方法としては、例えば同じ種類の食器を伏せた状態で同じ方向に重ねて載置する。食器取出部３は、食器情報取得部１４からの情報により、食器の種類と姿勢を把握することができるため、例えば平面視長方形の食器の長辺と短辺の方向を揃えた状態で、食器を食器載置部１３に重ねて載置することができる。食器の種類としては、食器の大きさ、形状、色彩等が含まれる。また、多関節ロボット１２は、食器が食器搬送部１０で搬送されている状態、すなわち食器が移動している時でも、食器を食器搬送部１０から取り上げることができる。

本実施形態では、食器自動洗浄システムを全自動化する観点から説明しているが、例えば食器投入部１の一部を手動で行うようにすることも可能である。

食器投入部１は、食器浸漬ユニット、食器かき上げユニット、及び、洗浄ポンプを含み、食器浸漬ユニットは、食器浸漬シンク及びジェットノズルを有し、食器かき上げユニットは食器かき上げ用コンベア、食器整列部及びストレーナを有している。食器浸漬シンクには水が溜められており、ジェットノズルからの水流によって、食器から残渣やゴミが除去される。ストレーナによって濾過された水は、洗浄ポンプによって加圧され、ジェットノズルから噴射される。ジェットノズルからの水流によって、残渣やゴミが除去された食器は、食器かき上げ用コンベアによって、食器洗浄部２に搬送される。なお、洗浄ポンプは食器洗浄部の下部に、ストレーナは食器かき上げ用コンベアの下部に、ジェットノズルは食器かき上げ用コンベアの正面に描かれているが、これは一例にすぎず、食器浸漬ユニット、食器かき上げユニット、及び、食器洗浄部の形状や配置に応じて、洗浄ポンプ、ストレーナ、及び、ジェットノズルの配置は適宜変更可能である。

食器整列部は、食器かき上げ用コンベア上において、食器洗浄部に搬送される食器の種類や姿勢を整列させる手段であって、例えば多関節ロボット等の産業用ロボット等を使用することができる。食器かき上げ用コンベアでかき上げられる食器は、そのままの状態では、食器が重なっていたり、食器の姿勢が食器洗浄部２の洗浄に適さない状態となっていたりすることがある。食器整列部は、食器の配置や姿勢を整えることによって、食器洗浄部２において食器が洗浄されやすいように、また、食器取出部３において食器を取り出しやすいようすることができる。例えば食器かき上げ用コンベア上で大皿が伏せられた状態で搬送されると、大皿の下に小皿や、碗等、比較的小さな他の食器が重なり、この後の工程である、食器洗浄部２において荒い残しが生じるおそれがある。また、食器が重なっていると、食器情報取得部１４において食器の情報が取得されない場合があり、この場合、食器取出部３において、食器の取り出し漏れが生じる可能性がある。このため、食器かき上げ用コンベア上で大皿が伏せられた状態であると、例えば大皿が他の食器の上に重ならないように、食器かき上げ用コンベア上の突起に大皿を立てかけた状態に整える。

また、コンベアの搬送方向に対して、食器の姿勢を揃えておくと、例えばコンベアの進行方向に食器の裏面（糸底）が向くように揃えて並べておくと、食器洗浄部２において各食器を適切に洗浄することができるようになると共に、食器取出部３においては各食器を取り出しやすくすることができる。さらに、後述のように、食器投入部１において、食器の種類、位置、及び姿勢を予め決められたルールによって食器を投入することにより、食器取出部３における食器の種類、位置及び姿勢の画像認識の精度を向上し、食器の取り上げの失敗を低減すると共に、食器取り上げの速度の上にもつなげることができる。

食器洗浄部２のタイプに応じて、すなわち、食器投入位置と食器取出位置との配置に応じて、食器投入部１及び食器取出部３の配置が調整される。したがって、図２に示した食器自動洗浄システムの全体構成図は本実施形態の一例であり、直線タイプについて説明したものであり、本実施形態はこの図面に示されたレイアウトに限定されるものではく、コーナータイプやランドライプ等の他の様々なタイプの食器洗浄部２に対応するレイアウトが可能である。

図３は本実施形態に係る食器取出部３のブロック図の一例を示す。食器取出部３は、食器情報取得部１４としての画像取得部、食器取出演算部３０及び多関節ロボット１２を含んでいる。食器取出演算部３０は、例えばパーソナルコンピュータ（以下「ＰＣ」という。）やタブレット端末等で構成できるものであり、食器位置・姿勢検出部３１、食器取出順序計画部３２、及び、食器取出動作指令部３３を有している。食器位置・姿勢検出部３１は、食器情報取得部１４から食器の位置、姿勢及び種類等に関する情報を取得する。

食器取出順序計画部３１が食器搬送部１０にコンベアの稼働、または、停止の指令を出すと共に、食器投入部１にコンベアの稼働に応じた稼働、または、停止の指令を出す。
また、食器位置・姿勢検出部３１が、食器情報取得部１４の他に、食器投入部１、食器搬送部１０及び食器洗浄部２等と接続し、各部と通信できる場合には、例えば食器投入部１からの食器投入時の食器位置ないし姿勢情報、食器搬送部による食器搬送速度の情報、食器洗浄部による洗浄水流の強さに関する情報等を、食器位置・姿勢検出部３１が食器の位置、姿勢及び種類等に関する情報の取得に利用することもできる。

食器取出動作指令部３３は多関節ロボット１２に食器取出し動作の指令を出力し、この指令に基づいて多関節ロボット１２は食器を食器搬送部１０から取り上げ、食器載置部へ食器をまとめて載置する。

図４は本実施形態に係る食器取出部３の概観図の一例である。図４Ａは食器取出部３の平面図であり、図４Ｂは食器取出部３の斜視図である。食器取出部３においては、食器情報取得部１４からの食器の情報に基づいて、食器取上部としての多関節ロボット１２によって食器搬送部１０によって搬送されている食器を取り上げ、取り上げられた食器を食器載置部１３へまとめて載置する。ここで、図４Ａ及び図４Ｂは、多関節ロボット１２、食器搬送部１０及び食器載置部１３の配置は本実施形態の一例であり、例えば食器搬送部１０を挟んで、多関節ロボット１２の反対側に、食器搬送部１０を設けることもできる。このように、食器搬送部１０上で多関節ロボット１２が食器を取り上げる位置と食器載置部１３との距離をできるだけ短く設定することにより、食器取上部１２の動作を高速化することができる。

食器搬送部１０の進行側の端部には、多関節ロボット１２が取り上げできなかった食器を受け取るための食器受取部（図示省略）が設けられている。多関節ロボット１２の各関節には可動限界があるため、１つの姿勢から次の姿勢に変位する際には、可動限界に伴う制限がある。食器の姿勢によっては、多関節ロボット１２の可動限界のために、食器を取り上げできない可能性がある。また、食器情報取得部１４がＡＲマーカ４２を適切に読み取ることができなかった場合、例えば食器同士が重なっていた場合等には、多関節ロボット１２が食器を取り上げできない可能性がある。そこで、食器搬送部１０の進行側の端部に食器受取部を設けておくことにより、例え多関節ロボット１２が食器を取り上げできなかった場合にも、安全に食器を受け取ることができ、食器自動洗浄システムに冗長性を持たせることができる。

図５は本実施形態に係るマーカの使用例の説明図の一例である。本実施例では、マーカ、例えばＡＲマーカ４２を食器の裏面（糸底）に設け、食器情報取得部１４としての食器検出用カメラで食器の画像を取得して画像認識することにより、食器を認識すると共に、食器の位置、姿勢及び種類に関する情報を取得する一例について説明する。

食器情報取得部１４としての食器検出用カメラは、図４に示されているように例えば食器搬送部１０の上方であって、食器取上部１２の上流側であって、食器搬送部１０の両側に、食器搬送部１０の幅方向の中央を向くように設けられている。食器の裏面（糸底）には、食器の種類ごとに異なるマーカ、例えばＡＲマーカ４２が設けられている。なお、本実施形態のマーカとしてはＡＲマーカ４２に限定されるものではなく、食器の種類、食器の位置、又は、食器の姿勢のいずれか少なくとも１つを識別可能なマーカであれば、どのようなマーカを用いてもよい。
なお、図４では食器情報取得部１４が２つ設けられるものを例示したが、食器情報取得部１４の数は２つに限らず１以上であればよい。例えば、４つの食器情報取得部１４を設けてもよい。４つの食器情報取得部１４を設ける場合、図４に示す２つの食器情報取得部１４のそれぞれに対して高さを同じくしてコンベアの搬送方向に離間した位置に食器情報取得部１４を設ける。例えば、４つの食器情報取得部１４を４角形のラインの各角に対応する位置に配置すると共にコンベアの横幅方向中心の所定領域に光軸が集まるように向きを調整した場合、４つの食器情報取得部１４によって搬送方向の正逆両方向から食器の画像を取得することができる。
すなわち、４つの食器情報取得部１４を設けると、コンベアの進行方向に食器１１の裏面（糸底）が向くように揃えて並べるルールから外れた食器１１についても、コンベアの進行方向側に光軸が傾けられた食器情報取得部１４によって食器１１の裏面（糸底）の画像を取得することができる。

ＡＲマーカ４２について、「ARマーカーとは、画像認識型AR（Augmented Reality：拡張現実）システムにおいて、付加情報を表示する位置を指定するための標識となる、決まったパターンの画像のこと。」（ウェブサイトＩＴ用語辞典e-Wordsによる）。ＡＲマーカ４２を用いることにより、食器検出用カメラで検出される画像において、食器の画像は見る角度や距離によって変化するが、ＡＲマーカ４２を利用すれば、ＡＲマーカ４２に付加されたデジタル情報を読み出すことができると共に、ＡＲマーカ４２の姿勢、すなわちＡＲマーカが付された食器の姿勢を検出することができる。また、ＡＲマーカ４２に食器の種類をコード化しておけば、ＡＲマーカを食器検出用カメラで撮影することにより、食器の位置、姿勢及び種類等を食器の上方として検出することが可能である。なお、ＡＲマーカ４２を撮影することによって取得する食器の位置情報としては、食器の裏面（糸底）の中心位置が挙げられる。

多関節ロボット１２のアームの先端側には、ハンド４０が取り付けられており、ハンド４０の先端側には食器を吸着するための吸着部４１が設けられている。

図６は本実施形態に係るハンド４０の斜視図の一例を示す。ハンド４０は、延存部４５、延存部４５の一端側のハンド取付部４６、延存部４５の他端側の吸着部４１、及び、真空ホース４７を備えている。ハンド取付部４６は多関節ロボット１２のアーム側に取り付けられる。真空ホース４７の配管は延存部４５を通して吸着部４１まで延存しており、吸着部４１は真空により食器の裏面（糸底）を吸着することができる。なお、真空ホースの他端側は多関節ロボット１２に設けられたロボット側真空ホース取付部（図示省略）に取り付けられており、このロボット側真空ホース取付部により吸着部４１は真空引きされている。

多関節ロボット１２が食器を吸着して搬送する際、大きい食器、重い食器を高速で運ぶと、振動が大きくなり、後の積み上げがうまくいかなくなることがある。この振動の原因は、ハンド４０の吸着部４１が、食器を吸着後に変形することである。吸着部４１を囲むように、パッドよりも剛性の高いリング状の部材を設置し、吸着時に食器を内力で吸着し、ハンド４０の変形を抑えることにより、多関節ロボット１２により食器を吸着して搬送する際の食器の振動を大幅に低減することができる。

図７は本実施形態に係るハンド４０Ａの別の実施例の斜視図の一例を示す。ハンド４０Ａは延存部４５、延存部４５の一端側のハンド取付部４６、延存部４５の他端側の結合部４９、結合部に設けられた第１の吸着部４１Ａと第２の吸着部４１Ｂ、及び、ハンド側真空ホース取付部４８を備えている。ハンド側真空ホース取付部４８には、図示されない真空ホースが取り付けられており、この真空ホースの他端はロボット側真空ホース取付部（図示省略）に取り付けられている。ハンド側真空ホース取付部からの配管は延存部４５を通して吸着部４１Ａ，４１Ｂまで延存されており、吸着部４１Ａ，４１Ｂは真空により食器の裏面（糸底）を吸着することができる。両吸着部４１Ａ，４１Ｂは略９０度間隔で結合部４９に設けられている。吸着部４１Ａ，４１Ｂが２箇所あることによって、多関節ロボット１２が無理な姿勢を取ることなく食器を取り上げることができるようになる。また、これにより食器の取り出し失敗の割合を低減することができる。

図８Ａは、ハンドの別の変形例の斜視図であり、図８Ｂは、ハンドの別の変形例の側面図である。図８では、図７と同じ構成には同一の符号を用い、その説明は省略する。

多関節ロボット１２は、食器１１の認識（食器１１の位置と姿勢）の誤差により、食器１１ではない位置に取り上げにいくことがある。例えば、多関節ロボット１２が食器１１よりも奥側の位置に取り上げにいくことがある。
その際、吸着部４１等のハンド４０の一部が、食器搬送部１０のコンベアや他の部材に接触し、食器１１を取り上げることができないままにハンド４０をコンベアに押し付けてしまうことがあり、コンベア、食器１１、あるいは、ハンド４０を破損させてしまうおそれがあった。

従来は、ハンド４０に力覚センサ（６軸センサ）を設け、ハンド４０に負荷される力を力覚センサによって検出し、ハンド４０に過大な外力が負荷された場合、多関節ロボット１２の動作を止めていた。
しかしながら、力覚センサは、水濡れに弱く、衝撃力で壊れ易く、高価であるという理由から、省略したいという要請がある。

ハンド４０Ｃは、複数のバネ機構６０及びボールジョイント６１を備えている。なお、ハンド４０Ｃは、力覚センサ６２も備えている。
複数のバネ機構６０及びボールジョイント６１は、ハンド４０Ｃがコンベア等の押し付け先から受ける反力（外力）及びコンベア、及び／又は食器１１がハンド４０Ｃから受ける押し付け力を低減させる。
複数のバネ機構６０は、円形の板状部分であるハンド取付部４６とハンド取付部４６に対向配置された円形板状部材との間に設けられている。

バネ機構６０は、ハンド４０Ｃがコンベア等に押し付けられた際、弾性を有する部分がハンド取付部４６と円形板状部材との間で外力に応じて弾性変形されることによって外力を低減させるものである。
このバネ機構６０は、バネ定数を適切に設定することによって、外力が負荷されていない弾性的に中立な状態では変形することなく過大な外力が負荷された場合のみ弾性変形されるようになっている。

ボールジョイント６１は、ハンド取付部４６の中央位置に配置される。これにより、ボールジョイント６１を中心として回転される方向にのみバネ機構６０による弾性力が作用されるようになっている。
このため、ハンド４０Ｃの手首（ハンド取付部４６）から離れたところに吸着部４１Ａ，４１Ｂがあることにより手首に並進力よりもモーメントが大きくかかる場合であっても、ハンド４０Ｃの並進方向への不要なたわみを防ぎつつ、吸着部４１Ａ，４１Ｂから受けるモーメントにはバネ機構６０が弾性変形して倣うようになっている。

このハンド４０Ｃを用いることによって、食器１１を取り上げることができないまま吸着部４１等のハンド４０Ｃの一部がコンベアに押し付けられた場合であっても、コンベア等の押し付け先からハンド４０Ｃが受ける反力（外力）、及びコンベア、食器１１がハンド４０Ｃから受ける押し付け力を低減させることができるため、コンベア、食器１１、及びハンド４０Ｃが破損することを防ぐことができる。

なお、本実施形態では、ボールジョイント６１を中心として回転される方向にのみ弾性力が作用されるようにしているが、ボールジョイント６１の軸方向についても弾性力が作用される構成にしても構わない。

図９は本実施形態に係る食器載置部１３の説明図であり、図９Ａは積み上げ式の食器載置部の説明図、図９Ｂは積み下げ式の食器載置部の説明図である。図９Ａの積み上げ式の食器載置部１３の場合には、食器載置部１３の上面は平面としておく。多関節ロボット１２は、食器情報取得部１４で取得された食器の種類の情報に基づいて、食器の種類ごとに食器載置部１３の所定の場所に食器を積み重ねていく。食器取出演算部３０においては、食器載置部１３にいくつの食器を載置したのか食器の種類ごとにカウントしているので、食器の種類と数に応じた食器が積み上げられた高さを予測することが可能である。また、食器載置部１３に位置に応じて食器の有無を検出する手段、食器が積み上げられた高さを検出する手段を設けておくこともでき、例えば、食器載置部１３を撮影する食器載置部画像取得部（図示省略）を解析することにより、食器載置部１３に載置されている食器の位置、種類及び個数を検出することができる。

図９Ｂの積み下げ式の食器載置部１３の場合には、種類ごとに食器を積み下げていく位置を決めておき、各積み下げ位置において食器の重さに応じて昇降する手段を設けることにより、次に積まれる食器がちょうど食器載置部１３の上面に位置するような位置になるように調整することができる。これにより、多関節ロボット１２は食器を積み下げていく場所及び高さを予め把握しているため、正確に各食器を積み下げていくことが可能である。なお、各積み下げ位置において食器の重さに応じて昇降する手段を設けない場合には、食器取出演算部３０においては、食器載置部１３にいくつの食器を載置したのか食器の種類ごとにカウントしておくことで、食器が積み上げられた高さを検出する手段を設けておくことにより、所定の積み下げ高さまで各食器を載置することができる。また、各食器が載置されている高さを検出する適宜の手段を設けた場合には、多関節ロボット１２に対して各食器の積み下げ位置を指示することも可能である。

［食器情報取得部について］
食器の種類ごとに食器載置部１３へ食器を積み分けるため、食器の裏面（糸底）に種類ごとに異なるＡＲマーカを設けている。ＡＲマーカを食器に設けることにより、食器の位置と姿勢が一定でないものでも多関節ロボット１２が食器を取り上げることができる。食器情報取得部１４としての複数の食器検出用カメラの入力を用いて、カルマンフィルタによる個々のＡＲマーカの追跡を行うことにより、食器の位置及び姿勢を認識する精度を上げることができる。また、食器搬送部１０が動作中であっても、多関節ロボット１２は移動中の食器を取り上げることができる。

［食器取上部について］
多関節ロボット１２により食器をピックアップするためのロボットの姿勢は無数に存在するが、実際にロボットが取れる姿勢ないし取りやすい姿勢は限られている。ロボットの姿勢を適切に選ばないと、ロボットが動けない姿勢、もしくは、可動限界に近すぎて停止してしまう。例えばロボットの姿勢が特異点を取った場合には、ロボットが停止してしまうことがある。そこで、多関節ロボット１２の動きやすさの指標である可操作度と、可動限界までの近さを用いて、いくつかの姿勢の候補のうち、ロボットが動きやすい姿勢を選んで食器をピックアップする。

通常、多関節ロボット１２の動きは、スタートからゴールまでの最短距離を動こうとするが、食器のピックアップ時に最短距離を動くと関節が可動範囲を超えてしまう可能性がある。そこで、スタートからゴールまでの多関節ロボット１２の動きを予めシミュレーションし、可動範囲を超える可能性のある関節の角度を、予めゴールまでの最短距離に近い角度に合わせてからスタートする。これにより、ゴールまでの姿勢にたどりつくまでに、特定の関節が可動範囲を超えてしまう状況を防ぐことができる。

食器載置部１３に食器を積み上げるとき、高さが合わないと、食器を落下させて騒音が大きくなるおそれ、あるいは、食器を押し付けることにより食器を破損するおそれがある。そこで、多関節ロボット１２のアームとハンド４０との間に力覚センサを設け、食器が押し付けられる力を検知し、食器が落下しないようにする。コンプライアンス制御を用いて、多関節ロボット１２のアーム先端ないしハンド４０に仮想的なバネ性を持たせて、食器を押し付けても破損したりしないようにする。積み重ね方がずれている方向を力覚センサで検知して、そちらの方向へ倣うようにする。

食器の認識に誤りがあった場合に吸着が出来ない場合等、食器や食器搬送部１０を吸着部４１以外で触って押し付けて、多関節ロボット１２や食器搬送部１０の故障の原因になる可能性や、食器を壊す可能性がある。コンプライアンス制御を利用しつつ、力覚センサで積み重ね方がずれている方向を検知すると同時に、設定した手先の力の閾値を超える力がかかった場合に、ピックアップ失敗として異常処理（食器を見逃す、あるいは、もう一度センサで計測して正しい位置姿勢を計測する等の処理）を行えば、処理を続けることが可能になる。

食器を食器載置部１３に積み重ねる時、食器載置部１の側に位置ずれがあったり、先に置いた食器の位置姿勢がずれていたりした場合に、食器を押し付ける力が発生して食器を破損したり、食器が跳ねて載置に失敗する可能性がある。そこで、コンプライアンス制御を利用することのより、これらの失敗確率を低減することができる。また、コンプライアンス制御で手先がずれる方向が分かるので、そちらに手先の目標値を移動させる、すなわち、倣うことで、位置姿勢のずれ自体を推定して解消することが可能になる。

［予測について］
ＡＲマーカを検出する際、カメラの一般的な特性として、カメラの光軸方向（奥行き方向）の精度が悪化する。ＡＲマーカの位置の精度が悪いと、ロボットが食器をピックアップする位置がずれて、ピッキングに失敗する場合がある。また、ＡＲマーカの向きがカメラからよく見えない場合や、隠れている場合には、食器を検出できない場合がある。そこで、カメラを複数台使い、ＡＲマーカをトラッキングする。ＡＲマーカをトラッキングするにはカルマンフィルタを用いる。複数のカメラから計測したマーカの位置及び姿勢をカルマンフィルタで混合して推定することにより、カメラからＡＲマーカを計測できない瞬間があった場合でも、ＡＲマーカを見失うことなくその位置及び姿勢を追跡ですることができる。

カルマンフィルタを用いて、より精度よく推定するため次の2点の改良を行った。
（ａ）カルマンフィルタには、誤差の大きさ（誤差の共分散行列）をパラメータとして設定することができる。カメラの光軸方向への誤差は原理的に大きいことは分かっているので、カメラの光軸方向の誤差の値を大きく設定することで、位置と姿勢の推定制度が向上する。
（ｂ）カルマンフィルタでは、状態量として他のパラメータ、例えば（イ）マーカの大きさが想定と違う、（ロ）カメラの姿勢が想定よりも少しずれている、（ハ）コンベアの向きが微妙にずれている等の量を推定することができる。これらの状態量を用いることにより、より精度よくマーカの位置及姿勢を推定することができる。

カメラの配置については、カメラの光軸方向に測定精度が悪いことが分かっているので、カメラの光軸方向をできるだけ違う向きにすることで、精度の悪化の偏りを防ぐことができる。そのため、画像取得部として2つのカメラは、コンベアをはさんで両側からコンベアの中心方向に光軸が向くように配置されている。

食器を食器洗浄部に投入するには、一定のルールがあるので、このルールに従って取り出す際の食器の位置も予測することができる。また、食器を食洗器に投入する際にマーカ情報を読み取る場合には、予めコンベア上の食器の配置が把握されているため、食器をピックアップする位置を精度よく予測できるようになる。

また、食器をピックアップする手順は、１）複数のカメラでマーカを計測し、その位置をカルマンフィルタで推定し、２）マーカがカメラの視野から外れると、コンベアの移動量（コンベアに設置したエンコーダで直接計測した移動量）から、移動後のマーカの位置を推定しつづけ、３）推定した位置に基づいて、そこにあるはずの食器をロボットがピックアップするという手順が挙げられる。コンベア上で食器が他のものに当たったり、コンベア上で食器が不安定であったりした場合、カメラでマーカを観測していない間に食器が動いてしまうことがあり得るため、本来は、ロボットが食器をピックアップする直前まで、カメラでマーカを観測し続けるのが最も確実である。常に食器をカメラの視野内に収めることができれば、食器の位置の測定精度はさらに改善される。ただし、カルマンフィルタ自体は、常に食器が視野内に入っているとしても、複数のカメラを使って観測の精度を上げるためには必要である。なお、ロボットの動作範囲の近くにカメラの視野をむけるためにカメラをロボットに近づけると、ロボットがカメラにあたってしまうことがあるため、全体の構成やカメラの配置を工夫する必要がある。

［学習について］
食器の投入をロボットで行う場合には、食器の投入時のルールを、ピックアップの失敗事例を受けて随時修正していくことができる。ロボットが無理な姿勢にならないように、食器を投入していくルールを学習によって最適化していくことができる。例えば、ピックアップに適した入れ方、規則正しい食器の入れ方、あるいは取りやすい向きとした食器の入れ方を、学習、例えば強化学習のような仕組みで食器の投入ルールを最適化することが可能である。

強化学習は、ロボットの行動の結果に対する報酬を設定し、その報酬をできるだけ高めるような行動を獲得させる方法である。報酬の一例としては、食器ピックアップの成功と失敗の結果を真空吸着の圧力センサで判定し、ピックアップできた場合に報酬を与えるようにする。観測した食器の画像などを入力にして、この報酬を最大化するようにロボットのピックアップ時の軌道の補正量（の決め方）を獲得するような強化学習を行うことが有効である。
なお、実際に本実施形態の食器自動洗浄システムを運転しながら強化学習を行うには、所定の試行回数が必要であるため、強化学習が進みピックアップ制度が向上するまでの間に、食器とアームとの衝突などによる破損や故障を防ぐために、前述のコンプライアンス制御を採用することが効果的である。

ロボットの姿勢が制限されるため、アーム先端を最短距離で移動させることができない場合がある。現在の食器をピックアップする動作に続けて次の食器を滑らかにピックアップできるように、多関節ロボット１２のアーム先端の軌道の補正量、どの食器をピックアップ対象に選出するかを最適化するような学習も可能である。例えば学習済みのＡＩを用いれば、食洗器の導入初期から、ロボットが熟練者のような滑らかな動きで迅速に食器をピックアップすることが可能になる。例えば、ロボットのピックアップ時の軌道に補正量を入れ、ピックアップが上手くいく方向に強化学習、あるいは、DNN（ディープニューラルネットワーク）による教師あり学習等により、その補正量の最適化を行うことは効果的であり、ロボットの高速化にも寄与する。

［実施形態２］
図１０～図１１を参照して、本発明の実施形態２の食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム及び記憶媒体について説明する。本実施形態では、実施形態１で用いるマーカの複数の変形例について説明する。

［変形例１］
変形例１では、ＡＲマーカを印刷したシールを張り付ける方法について説明する。特に限定するものではないが、例えば
（ａ）白地のシート部材に黒色インクでＡＲマーカを印刷したシート部材、
（ｂ）透明のシート部材に黒色インクでＡＲマーカを印刷したシート部材、
（ｃ）黒色のシート部材に白色インクでＡＲマーカを印刷したシート部材、又は、
（ｄ）透明のシート部材に白色インクでＡＲマーカを印刷したシート部材、
のいずれか１つのシート部材を接着剤ないしは粘着剤により食器の裏面（糸底）に貼り付ける。ここで、シート部材及びインクの色は、透明、白色ないしは黒色に限定されるものではなく、印刷されたシート部材を食器の裏面に貼り付けた時に、ＡＲマーカを読み取ることができる色の組み合わせであればよい。画像認識のソフトウエアを調整することにより、様々な色の組み合わせに対応することが可能であるが、一般的に食器の色としては白または黒が多いため、白地に黒インク、黒字に白インクの組み合わせが多く用いられる。この場合、黒地の食器には、白地の食器用のマーカのパターンを白黒反転して用いることができる。なお、上記（ｂ）のシート部材は白色等、黒色インクが識別できる薄い色の食器に用いられ、上記（ｄ）のシート部材は黒色等、白色インクが識別できる濃い色の食器に用いられる。

防水シートとしては、例えばシート部材の表面に防水フィルムないしは防水コーティングを有し、耐水性及び耐熱性の高いものを用いることが望ましい。シート部材を食器に貼り付けるための接着剤ないしは粘着剤についても、繰り返し洗浄して用いることができるように、耐水性及び耐熱性の高いものを用いることが望ましい。また、シート部材を貼り付けることができる限りにおいて、食器の形状や材質はどのようなものでも構わない。なお、ＡＲマーカは例えば食器の裏面の糸底などの平面部分に設けられる必要がある。既存の食器に後からシート部材を貼り付けることができるので、特別な食器を用意する必要がない。

防水シートないしコーティングについて、耐水性及び耐熱性の高いものを用いることを説明したが、本実施例はこれに限定されるものではなく、食器は繰り返し洗浄され、食品を盛り付けて使用されるため、例えば防水シートないしコーティングは化学的にも物理的にも耐久性を有することが望ましい。すなわち、例えば耐アルカリ、耐酸性等、さまざまな食品に対しても、また、洗剤に対しても耐性を有し、繰り返し洗浄しても剥がれにくく、使用時や洗浄時の摩擦にも耐久性を有することが望ましい。

［変形例２］
図１０を用いて変形例２について説明する。変形例２では、食器の裏面にＡＲマーカ４２をレーザー加工により刻印する方法である。変形例２で用いられる食器としては、レーザー加工により溝を形成できる素材のものであればよく、例えばメラミン製とすることができる。食器の形状としては、ＡＲマーカを設けるだけの平面部分、例えば裏面に平面上の糸底を有する食器であれば、どのような形状のものでも構わない。

食器裏面のＡＲマーカに対応するインクを詰めたい部分に、例えば約０．３ｍｍ間隔のハッチング状、すなわち、複数の略平行な線状の溝をレーザーにより加工する。この溝に食器の色とは異なる色のインクを詰める。ハッチングの間隔は特に限定されるものではなく、例えば約０．３ｍｍよりも狭い間隔とすることもできるし、これよりも広い間隔としてもよい。インクとしては耐水性のもの用い、かつ、耐熱性のものが望ましい。溝内に詰められたインクは、溝内に保持されるため耐久性を有しているためコーティング等を設ける必要は無い。ただし、より耐久性を向上するためにＡＲマーカ部に耐水性及び耐熱性を有する防水フィルムないしは防止コーティングを設けることもできる。既存の食器に後からレーザー加工することができるため、特別な食器を用意する必要がない。

図１０Ａは白地の食器には黒色インクを詰めた例である。マーカの大きさは、特に限定されるものでないが、約２０ｍｍ角とすることができ、また、より小さな食器に対応するために約１５ｍｍ角等、より小さい大きさでもよく、さらに、約３０ｍｍ角等より大きいサイズでも構わない。図１０Ｂは黒色の食器に白色インクを詰めた例である。食器の色及びインクの色は黒色ないし白色に限定されるものではなく、ＡＲマーカ４２を読み取ることができる色の組み合わせであればよい。画像認識のソフトウエアを調整することにより、様々な色の組み合わせ、様々なサイズのマーカに対応することが可能である。なお、画像認識のアルゴリズムの簡略化及び位置ないし姿勢等の認識精度の向上のため、ＡＲマーカのサイズは統一しておくことが望ましい。

［変形例３］
図１１を用いて変形例３について説明する。変形例３は、食器の裏面にＡＲマーカ４２を直接印刷した後にコーティングする方法である。まず、メラミン製食器の製造工程においてＡＲマーカを設ける方法について説明する。メラミン製の食器の製造工程において、適宜のインクによりＡＲマーカを印刷し、その表面にコーティング、例えばメラミンコーティングを施す。コーティングの材質はメラミンに限定されるものではないが、食器の素材が例えばメラミン製である場合には、ＡＲマーカの表面のコーティングもメラミンコーティングとすることが望ましい。インクとしては、特に限定されるものではないが、例えば紫外線発色インク、紫外線変色インク、紫外線硬化インク等を用いることができる。

メラミン製の食器を例に挙げて説明したが、変形例３のＡＲマーカ印刷方法はメラミン製の食器に限定されるものでもなく、陶器、ガラス、樹脂等、さまざまな食器にも適用可能であり、材質に応じた適宜のコーティング、例えば樹脂コーティングを施すものとする。また、既存の食器に対して後からＡＲマーカを印刷することができる。この場合には、既存の食器に後からレーザー加工することができるため、特別な食器を用意する必要がない。また、ＡＲマーカはコーティングされているため、耐久性が高い。

図１１Ａは白地の食器に黒色インクを印刷した例である。食器の材質、インクの仕様や状態、コーティングの仕様や状態によって黒色インクの発色が薄くなる場合があるが、画像認識のソフトウエアの調整により、黒色インクの発色が薄くなった場合にもＡＲマーカを認識できるようにできる。図１１Ｂは黒生の食器に白色インクを印刷した例である。食器の材質、インクの仕様や状態、コーティングの仕様や状態によって白色インクの発色が例えばやや茶色がかる場合があるが、画像認識のソフトウエアの調整によりＡＲマーカを認識できるようにできる。なお、変形例３の食器の色及びインクの色の組み合わせは黒色ないし白色に限定されるものではなく、ＡＲマーカを識別できる限りにおいて他の様々な色の組み合わせが可能であり、画像認識のソフトウエアを調整することにより、様々な色の組み合わせのＡＲマーカを認識することができる。

［変形例４］
変形例４では、ＡＲマーカを有したタグを食器に接着する方法を説明する。例えばコイン状の形状（薄い円状の形状）のタグにＡＲマーカを印刷しておき、このタグの印刷面を表面にして食器の裏面の例えば糸底に接着剤ないし粘着剤にて貼り付ける。タグの印刷面には耐水性及び耐熱性を有する防水フィルムないしは防止コーティングが設けることが望ましい。また、タグを食器に貼り付けるための接着剤ないし粘着剤についても、耐水性及び耐熱性を有するものを用いることが望ましい。変形例４のタグの形状や材質などの仕様は、コイン状に限定されるものではなく、ＡＲマーカを有する限りにおいては、どのような仕様のものでも構わない。既存の食器に対して後からＡＲマーカを有したタグを貼り付けるので、特別な食器を用意する必要がない。

［変形例５］
変形例５では、マーカの種類、マーカの位置について説明する。変形例１～４ではマーカとしてＡＲマーカを用いる例を説明したが、本実施形態においてマーカはＡＲマーカに限定されるものではなく、食器の種類、食器の位置、又は、食器の姿勢のいずれか少なくとも１つを識別可能なマーカであれば、どのようなマーカを用いてもよい。

また、マーカの配置は、食器の裏側の例えば糸底の中央に設けることができるが、本実施形態はこれに限定されるものではない。例えば、食器の種類ごとにマーカが所定の位置にあれば、画像認識ソフトウエアにおいて、その位置を予め登録しておくことにより、食器をピックアップする位置を把握することが可能である。

［実施形態３］
図１２を参照して本発明の実施形態３の食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム及び記憶媒体について説明する。図１２では、図１～１１において説明した符号は同じものを用い、その説明は省略する。実施形態１、２では食器情報取得部１４がＡＲマーカを用いて食器を認識する例を説明したが、実施形態２では、ＡＲマーカが無くとも食器を認識する例を説明する。

食器情報取得部１４としての複数の食器検出用カメラのからの画像、及び、３次元点群（例えば複数カメラ画像から得られる）による食器の認識を行うことにより、ＡＲマーカが無くても食器の位置及び姿勢を認識することができる。特に限定されるものではないが、例えばIntel RealSense Depth Camera D400シリーズの深度計測が可能なステレオビジョンの深度カメラを使用可能である。二つのイメージの差を検出してリアルタイムな深度イメージ処理が可能なイメージセンサセット（２の深度センサ、最大解像度1280×720）を搭載し、カラーデータのスケーリングが可能で、IR投射器を搭載し、USB給電で動作する。例えば白一色の無地の壁を観測する際にも深度データをより正確に取るための、対象を照らすアクティブIR投射器により赤外光のランダムなドットパターンを投影して、見かけ対象物上に模様を付加し、２つのカメラ画像の対応を取りやすくしている。

３次元点群を得る方法として上述のステレオカメラ方式の他に、１）レーザー光やＬＥＤ等のパターンを照射して、その模様の映り方を撮影し、3次元点群を取る方法（Structured Light方式）、２）レーザー光やＬＥＤ等の光を照射し、反射して帰ってくるまでの時間を計測する方式（Time of Flight方式）、及び、３）画像の焦点が合う位置を探索して奥行情報を知る方式（合焦方式）等も用いることができる。

また、例えば、図１２に示すように、食器の画像認識にDNNを用いれば、その食器だけを含む画像もしくは点群の領域を切り出すことができるので、食器の位置及び姿勢の検出精度も向上する。図１２においては認識された食器が検出枠５０により表示され、さらにその種別が種別表示５１として表示される。

実施形態３では複数の食器検出用カメラのからの画像、及び、３次元点群により食器の認識を行う方法を例示したが、本実施形態はこれに限定されるものではなく、例えば、２次元画像を用いて食器を検出する方法、学習制御により食器を認識する方法、食器の画像から糸底を検出する方法、これらを組み合わせた方法等も適用することができる。例えば、２次元画像からでも食器の位置及び姿勢を検出することは可能であるので、ＡＲマーカが無くとも食器を画像認識し、この画像認識に基づいて食器の糸底を多関節ロボット１２の吸着部４１を有するハンド４０により吸着して取り上げることが可能である。

［実施形態４］
図１３を参照して本発明の実施形態４の食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム及び記憶媒体について説明する。図１３は実施形態４の食器取出部の平面図である。図１３では、図１～１２と同じ構成には同一の符号を用い、その説明は省略する。実施形態４では、多関節ロボット１２と共に、コンテナ収容ロボット５６を用いる例を説明する。

食器１１を食器搬送部１０から取り上げてコンテナ５７に収納する動作を１台の多関節ロボット１２、例えば６軸多関節ロボットで行う場合には、多関節ロボット１２の可動範囲が限られているため、コンテナ５７に食器を水平に積み上げて収納することは困難である。このため、食器１１を食器搬送部１０から取り上げてコンテナ５７に収納する動作を全て、１台の多関節ロボット１２により実現しようとすると、装置が大型化してしまう。

図１３では、多関節ロボット１２と共に、コンテナ収容ロボット５６を用いて、食器搬送部１０から食器１１を取り上げて、コンテナ５７に収容する動作を行う。多関節ロボット１２は、食器搬送部１０から食器１１を取り上げて、受け渡し台５５に食器１１を伏せた状態、すなわち、糸底が上を向いた姿勢で載置する。受け渡し台５５に載置された食器１１は、コンテナ収容ロボット５６によってコンテナ５７に収容される。コンテナ収容ロボット５６としては特に限定されるものではないが、例えば水平多関節ロボットを用いることができる。

多関節ロボット１２及びコンテナ収容ロボット５６は食器１１を取り上げる手段を有している。例えば、多関節ロボット１２は吸着部４１を備えるハンド４０を有しおり、吸着部４１により食器１１の糸底を吸着して食器１１を取り上げることができる。また、例えば、コンテナ収容ロボット５６もアームの先端側に吸着部４１を有しており、吸着部４１により食器１１の糸底を吸着して食器１１を取り上げることができる。

食器搬送部１０により搬送されてきた食器１１を多関節ロボット１２が取り上げて、食器１１を受け渡し台５５に載置する。受け渡し台５５に載置された食器１１をコンテナ収容ロボット５６が取り上げて、コンテナ５７へ収納する。図１３では、コンテナ収容ロボット５６が食器を収納できる範囲内に、コンテナが４個配置されているが、コンテナの数はこれに限定されるものではなく、コンテナ収容ロボット５６が食器を収納できる範囲内に１個以上配置される。コンテナ収容ロボット５６は、食器１１の種類に応じて、所定のコンテナに食器１１を収納することができる。例えば、１つのコンテナに１種類の食器１1を収納することができる。

多関節ロボット１２及びコンテナ収容ロボット５６は、受け渡し台５５の周辺など、互いの可動領域が重なるところがある。このため、多関節ロボット１２及びコンテナ収容ロボット５６が互いに干渉しないように協調制御する。本実施形態では、多関節ロボット１２及びコンテナ収容ロボット５６の動作の役割は明確に分けられており、その動作において干渉する場面は限定されている。このため、本実施例の協調制御には、例えば単純なインターロック制御等も適用可能であり、必ずしも複雑な制御を必要とするものではなく、また、この協調制御としては様々な制御方法が適用可能である。

コンテナ５７に食器１１を収納する際に、食器の外形、すなわち、平積み時の横幅（例えば円形の食器の場合には半径、方形の食器の場合には一辺（特に長辺）の長さ等）を確実に取得しておかないと、食器１１が食器自動洗浄システムの各部に接触し、破損してしまう虞がある。食器１１の食器の外形が確実に取得できない場合、例えば画像認識にて食器の大きさを推定する場合、画像取得部を追加したり、画像処理する計算機が必要となったりするため、高コストになってしまう。

そこで、受け渡し台５５の所定の位置に所定の形状の衝立部材を設ける。多関節ロボット１２が食器１１を平置き姿勢で受け渡し台５５に下ろす際に、食器の側面を衝立部材に押し付けるまで水平移動し、衝立部材に接触した位置を検出する。この検出には例えば、多関節ロボット１２のアーム先端部やハンド４０等に設けられた力覚センサ、振動センサや、加速度センサ、あるいは、多関節ロボット１２の駆動モータの負荷電流センサ、画像取得部等、様々なセンサを用いることができる。衝立部材の位置は予め分かっており、また、多関節ロボット１２の軌跡も計算できるため、多関節ロボット１２が取り上げている食器１１が衝立部材に接触した位置から、食器外形を計算することができる。また、このように食器１１の外形を計算することができれば、食器１１の寸法が登録されていない場合であっても、コンテナ５７への食器１１の収納までを自動化することができる。

［実施形態５］
図１４を参照して本発明の実施形態５の食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム及び記憶媒体について説明する。図１４Ａは、食器自動洗浄システムの上面図であり、図１４Ｂは、食器自動洗浄システムの斜視図である。図１４では、図１～１３と同じ構成には同一の符号を用い、その説明は省略する。実施形態５では、実施形態４と同様に多関節ロボット１２と共に、コンテナ収容ロボット５６を用いる例を説明する。

食器搬送部１０の脇に多関節ロボット１２を配置すると（図１３参照）、多関節ロボット１２の設置側に対して反対側の食器搬送部１０の端部周辺領域に多関節ロボット１２のハンド４０が届きにくくなり、姿勢の採れる範囲も狭くなってしまう。結果的に、食器搬送部１０の脇に多関節ロボット１２を配置すると、食器搬送部１０の食器１１の搬送領域によって食器１１の取り上げが難しくなる場合がある。

また、食器搬送部１０の脇に多関節ロボット１２を配置すると、システム全体が大きくなってしまいスペース効率が悪くなる。

本実施形態の食器自動洗浄システムは、食器搬送部１０の上を食器搬送部１０の横幅方向で跨ぐ位置に多関節ロボット１２を設置するための搬送部跨ぎ架台７０を備えている。

搬送部跨ぎ架台７０は、門型であり、上部を橋渡す壁に多関節ロボット１２が固定される。本実施形態では、多関節ロボット１２の可動範囲が食器搬送部１０の横幅方向における中心を対称とする範囲になるように多関節ロボット１２が搬送部跨ぎ架台７０に固定される。

本実施形態５の食器自動洗浄システムでは、多関節ロボット１２の可動範囲が食器搬送部１０の横幅方向における中心を対称とする範囲になるように、多関節ロボット１２が搬送部跨ぎ架台７０に固定されるため、多関節ロボット１２が食器搬送部１０上の幅方向における広い範囲での食器１１の取り上げが可能になると共に、様々な姿勢をとり易くなる。

また、本実施形態５の食器自動洗浄システムでは、これまで有効に活用されていなかった食器搬送部１０の出口の上方付近に多関節ロボット１２を配置しているため、システム全体のコンパクト化、及び通路を占有しない等の省スペース化を図ることができる。

［実施形態６］
図１５を参照して本発明の実施形態６の食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム及び記憶媒体について説明する。図１５は、食器自動洗浄システムの受け渡し台５５周辺を示す図である。図１５では、図１～１４と同じ構成には同一の符号を用い、その説明は省略する。

多関節ロボット１２が、食器１１を取り上げて受け渡し台５５に伏せて置く際に、食器１１の種類、及び食器１１の高さを認識していれば、受け渡し台５５の高さに合わせて食器１１を置くことができる。しかし、食器１１の種類が誤って認識された場合、受け渡し台５５に食器１１を押し付けたり、受け渡し台５５の上方から食器１１を落としたりすることになる。
このように食器１１の種類が誤って認識された場合、食器１１の破損や、受け渡し台５５上の食器１１の位置が大きくずれるため、コンテナ収容ロボット５６の動作ができなくなる問題がある。
このような問題は、多関節ロボット１２の速度を下げ、食器１１の認識に対する確実性を上げることによって解消することができるが、食器１１の処理性能が出なくなる。

本実施形態の食器自動洗浄システムは、受け渡し台５５から所定間隔上方に離れた水平面を食器１１が横切ったことを検出する検出器８０を備える。

検出器８０は、例えば、透過型センサによって実現される。検出器８０として透過型センサを用いた場合、検出器８０は、直線状のレーザーを、例えば、受け渡し台５５から数ｃｍ上方に離れた水平面上に投影し、レーザーを食器１１が横切ったことを検出する。

食器自動洗浄システムは、多関節ロボット１２が、食器１１を取り上げて受け渡し台５５に伏せて置く際に、食器１１の種類を認識していない場合や、食器１１の高さを認識していな場合であっても、検出器８０が受け渡し台５５から所定間隔上方に離れた水平面を食器１１が横切ったことを検出したタイミングで多関節ロボット１２を減速させると同時に食器１１の高さを推定することによって受け渡し台５５の高さに合わせて食器１１を置く。

本実施形態６の食器自動洗浄システムでは、検出器８０によって、受け渡し台５５から所定間隔上方に離れた水平面を食器１１が横切ったことを検出することによって、食器１１の画像認識に頼らず、受け渡し台５５の高さに合わせて食器１１を置くことができるため、高速かつ確実な食器１１の処理を行うことができる。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は本発明の技術思想を具体化するための食器自動洗浄システムを例示するものであって、本発明をこれらに特定するものではなく、その他の実施形態のものにも等しく適用し得るものであり、また、これらの実施形態の一部を省略、追加、変更することや、各実施形態の態様を組み合わせることが可能である。

１…食器投入部 ２…食器洗浄部
３…食器取出部 １０…食器搬送部
１１…食器 １２…多関節ロボット
１３…食器載置部 １４…食器情報取得部
３０…食器取出演算部 ３１…食器位置・姿勢検出部
３２…食器取出順序計画部 ３３…食器取出動作指令部
３５…画像取得部 ３６…食器投入部
３７…食器搬送部 ３８…食器洗浄部
４０、４０Ｃ…ハンド ４１…吸着部
４１Ａ…第１の吸着部 ４１Ｂ…第２の吸着部
４２…ＡＲマーカ ４５…延存部
４６…ハンド取付部 ４７…真空ホース
４８…ハンド側真空ホース取付部 ４９…結合部
５０…検出枠 ５１…種別表示
５５…受け渡し台 ５６…コンテナ収容ロボット５６
５７…コンテナ ６０…バネ機構
６１…ボールジョイント ６２…力覚センサ
７０…搬送部跨ぎ架台 ８０…検出器

Claims (18)

1. 食器を投入する食器投入部から投入された食器を洗浄する食器洗浄部と、
   前記食器洗浄部で洗浄された食器を搬送する食器搬送部と、
   複数の画像取得部を備え、前記食器搬送部で搬送される食器を識別すると共に当該食器の情報を取得する食器情報取得部と、
   前記食器搬送部で搬送された食器が載置される食器載置部と、
   前記食器搬送部から食器を取り上げ、当該食器を前記食器載置部へ食器を載置する食器取上部と、
   を備える食器自動洗浄システムにおいて、
   前記食器情報取得部が取得する情報には、食器の種類、食器の大きさ、食器の形状、食器の色彩、食器の位置、食器の姿勢、食器の向き、食器に付されたマーカ、又は、食器に付されたコードの少なくともいずれか１つが含まれ、
   前記食器情報取得部が前記食器搬送部で搬送されている食器を識別すると、前記食器取上部が、該識別された食器の位置及び姿勢を、複数台の画像取得部から計測された前記識別された食器の情報を混合して継続してトラッキングし、食器が前記食器搬送部で搬送されている状態で、当該トラッキングされた食器の位置及び姿勢を含む情報を用いて食器を取り上げることを特徴とする食器自動洗浄システム。
2. 食器を投入する食器投入部から投入された食器を洗浄する食器洗浄部と、
   前記食器洗浄部で洗浄された食器を搬送する食器搬送部と、
   前記食器搬送部で搬送される食器を識別すると共に当該食器の情報を取得する食器情報取得部と、
   前記食器搬送部で搬送された食器が載置される食器載置部と、
   多関節ロボットを用いて前記食器搬送部から食器を取り上げ、当該食器を前記食器載置部へ食器を載置する食器取上部と、
   を備える食器自動洗浄システムにおいて、
   前記食器情報取得部が取得する情報には、食器の種類、食器の大きさ、食器の形状、食器の色彩、食器の位置、食器の姿勢、食器の向き、食器に付されたマーカ、又は、食器に付されたコードの少なくともいずれか１つが含まれ、
   前記食器情報取得部が前記食器搬送部で搬送されている食器を識別すると、前記食器取上部が、前記食器情報取得部で取得された食器の位置及び姿勢を含む情報に基づいて、前記多関節ロボットの可動範囲をシミュレーションし、可動範囲を超える可能性のある関節がある場合には、最初に該関節を目標値近くの角度に合わせてから、次に食器の取り上げ位置まで多関節ロボットを駆動制御することを特徴とする食器自動洗浄システム。
3. 食器を投入する食器投入部から投入された食器を洗浄する食器洗浄部と、
   前記食器洗浄部で洗浄された食器を搬送する食器搬送部と、
   前記食器搬送部で搬送される食器を識別すると共に当該食器の情報を取得する食器情報取得部と、
   前記食器搬送部で搬送された食器が載置される食器載置部と、
   力覚センサを備えた多関節ロボットを用いて前記食器搬送部から食器を取り上げ、当該食器を前記食器載置部へ食器を載置する食器取上部と、
   を備える食器自動洗浄システムにおいて、
   前記食器情報取得部が取得する情報には、食器の種類、食器の大きさ、食器の形状、食器の色彩、食器の位置、食器の姿勢、食器の向き、食器に付されたマーカ、又は、食器に付されたコードの少なくともいずれか１つが含まれ、
   前記食器情報取得部が前記食器搬送部で搬送されている食器を識別すると、前記食器取上部は前記食器情報取得部で取得された情報及び前記力覚センサにより検出された押し付けられる力の情報に基づいて、食器の状態に対応して食器を取り上げると共に、前記食器載置部の状態に対応して、取り上げられた食器の位置及び姿勢を倣うように制御することにより、前記取り上げられた食器を前記食器載置部へ食器を載置することを特徴とする食器自動洗浄システム。
4. 前記食器情報取得部は１以上の画像取得部を備えることを特徴とする請求項２又は３に記載の食器自動洗浄システム。
5. 前記食器情報取得部は撮像部を備え、該撮像部によって取得された画像から食器の情報を取得できることを特徴とする請求項１～４のいずれか１項に記載の食器自動洗浄システム。
6. 食器が前記食器搬送部で搬送されている状態で、前記食器情報取得部が食器を取り上げることを特徴とする請求項１～５のいずれか１項に記載の食器自動洗浄システム。
7. 前記食器情報取得部が取得する情報がマーカである場合、
   前記マーカは、
   （１）シールを貼付したもの、
   （２）レーザー加工により形成したもの、
   （３）印刷により付与されたもの、
   （４）コーティングされたもの、又は、
   （５）前記マーカが印刷された他の部材を貼付したもの、
   のいずれか少なくとも１つであることを特徴とする請求項１～６のいずれか１項に記載の食器自動洗浄システム。
8. 食器にマーカが設けられていない状態で、食器を識別することを特徴とする請求項１～
   ７のいずれか１項に記載の食器自動洗浄システム。
9. 前記食器情報取得部ないし前記食器取上部は、食器の位置を予測することを特徴とする請求項１～８のいずれか１項に記載の食器自動洗浄システム。
10. 前記食器取上部は弾性部材を備えることを特徴とする請求項１～９のいずれか１項に記載の食器自動洗浄システム。
11. 前記食器投入部、前記食器情報取得部、又は、前記食器取上部のいずれか少なくとも１つは機械学習を用いて制御されることを特徴とする請求項１～１０のいずれか１項に記載の食器自動洗浄システム。
12. 前記食器取上部は吸着部により食器を取り上げる多関節ロボットを含み、
    前記吸着部は、吸着方向が異なる複数の吸着部を備えることを特徴とする請求項１～１１のいずれか１項に記載の食器自動洗浄システム。
13. さらに、コンテナ収容ロボットを用いて食器をコンテナに収容することを特徴とする請求項１～１２のいずれか１項に記載の食器自動洗浄システム。
14. 投入された食器を洗浄する食器洗浄工程と、
    前記食器洗浄工程で洗浄された食器を搬送する食器搬送工程と、
    複数の画像取得部からの情報により、前記食器搬送工程で搬送される食器を識別すると共に当該食器の情報を取得する食器情報取得工程と、
    前記食器搬送工程で搬送される食器を取り上げ、当該取り上げた食器を載置する食器取上工程と、
    を含む食器自動洗浄方法において、
    前記食器情報取得工程で取得される情報には、食器の種類、食器の大きさ、食器の形状、食器の色彩、食器の位置、食器の姿勢、食器の向き、食器に付されたマーカ、又は、食器に付されたコードの少なくともいずれか１つが含まれ、
    前記食器情報取得工程において、前記食器搬送工程で搬送されている食器が識別されると、前記食器取上工程において、該識別された食器の位置及び姿勢を、複数台の画像取得部から計測された前記識別された食器の情報を混合して継続してトラッキングし、食器が前記食器搬送工程で搬送されている状態で、当該トラッキングされた食器の位置及び姿勢を含む情報を用いて食器を取り上げることを特徴とする食器自動洗浄方法。
15. 投入された食器を洗浄する食器洗浄工程と、
    前記食器洗浄工程で洗浄された食器を搬送する食器搬送工程と、
    前記食器搬送工程で搬送される食器を識別すると共に当該食器の情報を取得する食器情報取得工程と、
    多関節ロボットを用いて前記食器搬送工程で搬送される食器を取り上げ、当該取り上げた食器を載置する食器取上工程と、
    を含む食器自動洗浄方法において、
    前記食器情報取得工程で取得される情報には、食器の種類、食器の大きさ、食器の形状、食器の色彩、食器の位置、食器の姿勢、食器の向き、食器に付されたマーカ、又は、食器に付されたコードの少なくともいずれか１つが含まれ、
    前記食器情報取得工程において、前記食器搬送工程で搬送されている食器が識別されると、前記食器取上工程において、前記食器情報取得工程で取得された食器の位置及び姿勢を含む情報に基づいて、前記多関節ロボットの可動範囲をシミュレーションし、可動範囲を超える可能性のある関節がある場合には、最初に該関節を目標値近くの角度に合わせてから、次に食器の取り上げ位置まで多関節ロボットを駆動制御することを特徴とする食器自動洗浄方法。
16. 投入された食器を洗浄する食器洗浄工程と、
    前記食器洗浄工程で洗浄された食器を搬送する食器搬送工程と、
    前記食器搬送工程で搬送される食器を識別すると共に当該食器の情報を取得する食器情報取得工程と、
    力覚センサを備えた多関節ロボットを用いて前記食器搬送工程で搬送される食器を取り上げ、当該取り上げた食器を食器載置部に載置する食器取上工程と、
    を含む食器自動洗浄方法において、
    前記食器情報取得工程で取得される情報には、食器の種類、食器の大きさ、食器の形状、食器の色彩、食器の位置、食器の姿勢、食器の向き、食器に付されたマーカ、又は、食器に付されたコードの少なくともいずれか１つが含まれ、
    前記食器情報取得工程において、前記食器搬送工程で搬送されている食器が識別されると、前記食器取上工程において、前記食器情報取得工程で取得された情報及び前記力覚センサにより検出された押し付けられる力の情報に基づいて、食器の状態に対応して食器を取り上げると共に、前記食器載置部の状態に対応して取り上げられた食器の位置及び姿勢を倣うように制御することにより、前記取り上げられた食器を前記食器載置部へ食器を載置することを特徴とする食器自動洗浄方法。
17. 請求項１４～１６のいずれか１項に記載の食器自動洗浄方法における各工程をコンピュータ部により実行可能なことを特徴とする食器自動洗浄プログラム。
18. 請求項１７に記載の食器自動洗浄プログラムを記憶した記憶媒体。

Images