JP7402145B2 - 遠隔操作システム、移動ロボット、及び操作端末 - Google Patents

Description

本発明は、遠隔操作システム、移動ロボット、及び操作端末に関する。

従来、カメラを備えた移動ロボットを、操作端末によって利用者が遠隔操作するシステムが提案されている（例えば、特許文献１参照）。
上記システムによれば、移動ロボットのカメラによる撮影画像が操作端末に送信され、利用者は、操作端末に表示される移動ロボットの移動先の周辺画像を認識しながら、移動ロボットを操作することができる。

特開２０１９－６２２９３号公報

上述したような移動ロボットの遠隔操作システムにおいて、利用者は、移動ロボットの周辺の画像から移動ロボットがおかれている状況を認識して、状況に応じた適切な操作を行う必要がある。
本発明はかかる背景に鑑みてなさなれたものであり、移動ロボットの周囲状況に応じた、利用者による移動ロボットの遠隔操作を支援することができる遠隔操作システム、移動ロボット、及び操作端末を提供することを目的とする。

上記目的を達成するための第１態様として、移動ロボットと、前記移動ロボットとの間で相互に通信を行う操作端末と、を備え、前記移動ロボットは、前記移動ロボットの周辺を撮影するカメラを有して、前記カメラの撮影画像に基づくモニタ画像情報を前記操作端末に送信し、前記操作端末は、端末表示部を有し、前記モニタ画像情報を受信して、前記撮影画像に基づくモニタ画像を含む操作画面を、前記端末表示部に表示する、遠隔操作システムであって、前記移動ロボットの移動速度を含む前記移動ロボットの移動状況を認識する移動状況認識部と、前記モニタ画像を表示する第１サブ画面と、操作アイコンを表示する第２サブ画面とを含む前記操作画面を、前記端末表示部に表示し、所定の表示モードに応じて、前記第２サブ画面の表示内容を変更する画面表示制御部と、を備え、前記画面表示制御部は、前記移動ロボットが停止している状況に対応した停止表示モードであるときは、前記第２サブ画面に、通話相手とのコミュニケーションをサポートするためのコミュニケーションウインドウを表示し、前記移動ロボットが移動している状況に対応した移動表示モードであるときには、前記第２サブ画面に、前記移動ロボットの移動操作をサポートするための操作サポート情報を表示し、前記移動状況認識部により認識される前記移動ロボットの移動状況に応じて、前記操作サポート情報の内容を変更する遠隔操作システムが挙げられる。

上記遠隔操作システムにおいて、前記移動ロボットの周辺に所在している人又は他のロボットである周辺対象物体を認識する周辺対象物体認識部と、前記周辺対象物体を対象とした、選択操作を受け付けるコミュニケーション対象選択受付部と、を備え、前記画面表示制御部は、前記停止表示モードにおいて、前記コミュニケーション対象選択受付部により選択が受け付けられた前記周辺対象物体とのコミュニケーションをサポートするための前記操作アイコン又は前記コミュニケーションウインドウの少なくともいずれか一方を、前記第２サブ画面に表示する構成としてもよい。

上記遠隔操作システムにおいて、前記画面表示制御部は、前記停止表示モードにおいて、複数の前記周辺対象物体の識別情報を、前記第２サブ画面に一覧表示し、前記コミュニケーション対象選択受付部は、前記一覧表示された前記識別情報に対する選択操作に応じて、前記周辺対象物体の選択を受け付ける構成としてもよい。

上記遠隔操作システムにおいて、前記コミュニケーション対象選択受付部は、前記第１サブ画面に表示される前記周辺対象物体の画像部分に対する選択操作に応じて、前記周辺対象物体の選択を受け付ける構成としてもよい。

上記遠隔操作システムにおいて、前記画面表示制御部は、前記コミュニケーション対象選択受付部により選択が受け付けられた前記周辺対象物体の前記画像部分を拡大した画像を、前記第１サブ画面又は前記第２サブ画面の前記コミュニケーションウインドウに表示し、前記コミュニケーション対象選択受付部により選択が受付けられた前記周辺対象物体のみを対象としたコミュニケーションを可能にするコミュニケーション制御部を備える構成としてもよい。

上記遠隔操作システムにおいて、前記周辺対象物体認識部は、前記移動ロボットの周辺に所在している前記周辺対象物体のうち、予め登録された前記周辺対象物体、又は前記移動ロボットから所定距離以内に所在している前記周辺対象物体を認識する構成としてもよい。

上記遠隔操作システムにおいて、前記画面表示制御部は、前記移動表示モードにおいて、前記カメラの撮影画像のうち、第１撮影範囲の画像部分を前記第１サブ画面に表示すると共に、前記第１撮影範囲と異なる第２撮影範囲の画像部分を、前記操作サポート情報として前記第２サブ画面に表示する構成としてもよい。

上記遠隔操作システムにおいて、前記移動ロボットの周囲に存在する障害物を認識する障害物認識部を備え、前記画面表示制御部は、前記移動表示モードにおいて、前記障害物が含まれる前記第２撮影範囲の画像部分を、前記障害物の画像部分を強調表示して、前記第２サブ画面に表示する構成としてもよい。

上記遠隔操作システムにおいて、前記画面表示制御部は、前記移動表示モードにおいて、前記移動ロボットの移動エリアの地図を、前記操作サポート情報として前記第２サブ画面に表示する構成としてもよい。

上記遠隔操作システムにおいて、前記画面表示制御部は、前記移動表示モードにおいて、前記移動エリアに存在する観光スポット、前記移動エリアに存在する施設、前記移動エリアで実施されるイベントのうちの少なくともいずれか一つに関する情報であるエリア付加情報を、前記操作サポート情報として前記第２サブ画面に表示する構成としてもよい。

上記遠隔操作システムにおいて、前記画面表示制御部は、前記地図に表示されている特定地点についての選択操作がなされたときに、前記特定地点に関連付けられた前記エリア付加情報を、前記操作サポート情報として前記第２サブ画面に表示する構成としてもよい。

上記遠隔操作システムにおいて、前記移動ロボットの現在位置を認識する現在位置認識部を備え、前記画面表示制御部は、前記移動表示モードにおいて、前記現在位置認識部により、前記移動ロボットが、観光エリアとして登録された登録済みエリアに位置していることが認識されたときに、前記登録済みエリアと関連付けられた前記エリア付加情報を、前記操作サポート情報として前記第２サブ画面に表示する構成としてもよい。

上記遠隔操作システムにおいて、前記移動ロボットの移動速度を認識する移動速度認識部を備え、前記画面表示制御部は、前記移動ロボットの移動速度が所定の低速判定速度以下であるときに、前記エリア付加情報を、前記操作サポート情報として前記第２サブ画面に表示する構成としてもよい。

上記遠隔操作システムにおいて、前記移動ロボットの現在位置を認識する現在位置認識部と、前記移動ロボットの目的地を認識する目的地認識部と、前記現在位置から前記目的地までの移動ルートを認識する移動ルート認識部と、を備え、前記画面表示制御部は、前記移動表示モードにおいて、前記現在位置から前記目的地までの前記移動ルートによる移動を案内するナビゲーション情報を、前記操作サポート情報として、前記第２サブ画面に表示する構成としてもよい。

上記遠隔操作システムにおいて、前記移動ロボットの移動速度を認識する移動速度認識部を備え、前記画面表示制御部は、前記移動ロボットの移動速度が所定速度以上であるときに、前記ナビゲーション情報を前記第２サブ画面に表示する構成としてもよい。

上記遠隔操作システムにおいて、前記移動ロボットは、ロボット表示部を備え、前記移動表示モードにおいて、前記ロボット表示部への前記操作端末の利用者の顔画像の表示を禁止するか、又は前記ロボット表示部の表示を所定の代替アイコンの表示に切り替える利用者顔画像表示制御部を備える構成としてもよい。

上記遠隔操作システムにおいて、前記操作端末の利用者による操作に応じて、前記表示モードを切り替える表示モード切替部を備える構成としてもよい。

上記遠隔操作システムにおいて、前記移動ロボットが屋内に所在しているか屋外に所在しているかを認識する屋内外所在認識部と、前記移動ロボットが屋内に所在しているか屋外に所在しているかに応じて、前記表示モードを切り替える表示モード切替部と、を備える構成としてもよい。

上記遠隔操作システムにおいて、前記操作端末の利用者による操作に応じて、前記操作画面の表示レイアウトを変更する表示レイアウト変更部を備える構成としてもよい。

上記遠隔操作システムにおいて、前記端末表示部はタッチパネルであり、前記画面表示制御部は、前記操作画面に表示される操作アイコンの内、前記表示モードに依存してタッチ操作が不能となっている第１の操作アイコンを、タッチ操作が可能である第２の操作アイコンと異なる表示態様で表示する構成としてもよい。

上記目的を達成するための第２態様として、周辺を撮影するカメラと、操作端末との間で通信を行うロボット通信部と、前記操作端末の端末表示部に表示させる操作画面を設定する画面表示制御部と、前記画面表示制御部により設定された前記操作画面のデータを、前記ロボット通信部により前記操作端末に送信する画面データ送信部と、を備える移動ロボットであって、前記移動ロボットの移動速度を含む前記移動ロボットの移動状況を認識する移動状況認識部を備え、前記画面表示制御部は、前記カメラの撮影画像に基づくモニタ画像を表示する第１サブ画面と、操作アイコンを表示する第２サブ画面とを含む、前記操作画面を設定し、所定の表示モードに応じて、前記第２サブ画面の表示内容を変更し、前記移動ロボットが停止している状況に対応した停止表示モードであるときは、前記第２サブ画面に、通話相手とのコミュニケーションをサポートするためのコミュニケーションウインドウを表示し、前記移動ロボットが移動している状況に対応した移動表示モードであるときには、前記第２サブ画面に、前記移動ロボットの移動操作をサポートするための操作サポート情報を表示し、前記移動状況認識部により認識される前記移動ロボットの移動状況に応じて、前記操作サポート情報の内容を変更する移動ロボットが挙げられる。

上記目的を達成するための第３態様として、移動ロボットを遠隔操作するための操作端末であって、端末表示部と、前記移動ロボットとの間で相互に通信を行う端末通信部と、前記移動ロボットから送信される前記移動ロボットの周辺の撮影画像に基づくモニタ画像情報を、前記端末通信部により受信するモニタ画像情報取得部と、前記移動ロボットの移動速度を含む前記移動ロボットの移動状況を認識する移動状況認識部と、前記端末表示部に、前記モニタ画像情報に基づくモニタ画像を表示する第１サブ画面と、操作アイコンを表示する第２サブ画面とを含む、操作画面を表示し、所定の表示モードに応じて、前記第２サブ画面の表示内容を変更する画面表示制御部と、を備え、前記画面表示制御部は、前記移動ロボットが停止している状況に対応した停止表示モードであるときは、前記第２サブ画面に、通話相手とのコミュニケーションをサポートするためのコミュニケーションウインドウを表示し、前記移動ロボットが移動している状況に対応した移動表示モードであるときには、前記第２サブ画面に、前記移動ロボットの移動操作をサポートするための操作サポート情報を表示し、前記移動状況認識部により認識される前記移動ロボットの移動状況に応じて、前記操作サポート情報の内容を変更する操作端末が挙げられる。

上記遠隔操作システムによれば、端末表示部に表示する操作画面に、移動ロボットの周辺のモニタ画像を表示する第１サブ画面に加えて、第１サブ画面と異なる第２サブ画面を表示することにより、移動ロボットの周囲状況に応じた、利用者による移動ロボットの遠隔操作を支援することができる。

図１は、遠隔操作システムの構成の説明図である。 図２は、移動ロボットの構成図である。 図３は、操作端末の構成図である。 図４は、表示モードに応じた操作画面の切替処理のフローチャートである。 図５は、停止表示モードにおける操作画面の表示処理のフローチャートである。 図６は、移動表示モードにおける操作画面の表示処理のフローチャートである。 図７は、移動ロボットが会議の場に所在している状況における、操作画面の表示態様の説明図である。 図８は、会議の場に新たな人が加わった状況における、操作画面の表示態様の説明図である。 図９は、会議の場に新たな人が加わった状況における、操作画面の別の表示態様の説明図である。 図１０は、移動ロボットが屋内を移動している状況における、操作画面の表示態様の説明図である。 図１１は、モニタ画像の一部を拡大表示する態様の説明図である。 図１２は、移動ロボットが観光スポットを移動している状況における、操作画面の説明図である。 図１３は、移動ロボットが屋外の道路を移動している状況における、操作画面の説明図である。 図１４は、移動ロボットが傾斜地を移動している場合に、カメラの撮影方向を水平方向に制御する態様の説明図である。

［１．遠隔操作システムの構成］
図１を参照して、本実施形態の遠隔操作システム１の実施態様について説明する。遠隔操作システム１は、移動ロボット１０と操作端末１００とを備え、移動ロボット１０と操作端末１００は、通信ネットワーク２００を介して相互に通信を行う。移動ロボット１０は、頭部１１、首部１２、胴部１３、及び走行ユニット１４を備えている。

頭部１１には、ロボット表示部６１、ロボットスピーカー６３、及びロボットマイク６４が設けられている。首部１２は、胴部１３に対して、頭部１１を上下及び左右にスイング動作（首振り動作）させる。胴部１３には、ロボットカメラ６２及びライダー６５が設けられている。ロボットカメラ６２は、移動ロボット１０の周辺を撮影し、ライダー（ＬｉＤＡＲ）は、レーザー照射により移動ロボット１０の周辺に存在する物体までの距離を検出する。

操作端末１００の端末表示部１４１（タッチパネル）には、移動ロボット１０から送信されるモニタ画像を含む操作画面が表示され、遠隔操作システム１の利用者Ｕは、操作画面に表示される移動ロボット１０の周辺のモニタ画像を視認して、移動ロボット１０の移動先の状況を認識する。そして、利用者Ｕは、移動ロボット１０の状況に応じて、操作端末１００により移動ロボット１０を遠隔操作する。

移動ロボット１０は、いわゆるテレプレゼンスロボットであり、例えば、建物３００内を移動して会議の場３０１で会議に参加し、或いは屋外を移動して観光スポット３１０や、ホテル等の目的地３２０に向かう。移動ロボット１０のロボット表示部６１には、利用者Ｕの顔画像或いは利用者Ｕの顔を模したアイコンが表示され、これにより、利用者Ｕ自身が、移動ロボット１０の移動先に所在しているかのような感覚を、移動ロボット１０の付近にいる人達に与えることができる。

また、利用者Ｕも、操作端末１００に表示される移動ロボット１０の周辺の画像を視認することにより、利用者Ｕ自身が移動ロボット１０の移動先に所在しているかのような感覚を得ることができる。さらに、利用者Ｕは、操作端末１００により、移動ロボット１０の移動先にいる人或いは他のロボットとの間で、ビデオ通話やチャットによるコミュニケーションを行うことができる。

移動ロボット１０は、通信ネットワーク２００を介して、エリア情報サーバー２１０から、移動ロボット１０の移動エリア内の情報を取得すると共に、ロボット管理サーバー２２０から、移動ロボット１０或いは他のロボットに関する情報を取得する。

［２．移動ロボットの構成］
図２を参照して、移動ロボット１０の構成について説明する。移動ロボット１０は、上述した構成要素の他に、ロボット通信部６０、ロボットコントローラ２０、ＧＮＳＳ（Global Navigation Satellite System）センサ６６、速度センサ６７、及び傾斜センサ６８を備えている。

ロボット通信部６０は、通信ネットワーク２００を介して、操作端末１００との間で通信を行う。なお、移動ロボット１０と操作端末１００との距離が短い状況では、ロボット通信部６０が、操作端末１００との間で直接通信を行うようにしてもよい。ＧＮＳＳセンサ６６は、ＧＮＳＳ衛星からの電波を受信して、移動ロボット１０の現在位置を検出する。速度センサ６７は、移動ロボット１０の移動速度（走行速度）を検出する。傾斜センサ６８は、水平方向に対する移動ロボット１０の傾斜角度を検出する。

ロボットコントローラ２０は、ロボットプロセッサ３０、ロボットメモリ５０、及び図示しないインターフェース回路等により構成されている。ロボットメモリ５０には、ロボット制御用プログラム５１、地図ＤＢ（database）５２、建物ＤＢ５３等が保存されている。地図ＤＢ５２には、移動ロボット１０の移動エリアの地図が記録されている。建物ＤＢ５３には、移動ロボット１０の移動エリア内に存在する建物のフロアレイアウト等が記録されている。

地図ＤＢ５２、及び建物ＤＢ５３は、エリア情報サーバー２１０から移動ロボット１０にダウンロードされてもよい。ロボット制御用プログラム５１は、ロボット管理サーバー２２０から移動ロボット１０にダウンロードされてもよい。

ロボットプロセッサ３０は、ロボット制御用プログラム５１をロボットメモリ５０から読み込んで実行することによって、画面表示制御部３１、現在位置認識部３２、移動状況認識部３３、表示モード切替部３４、周辺対象物体認識部３５、コミュニケーション対象選択受付部３６、コミュニケーション制御部３７、障害物認識部３８、動作中物体認識部３９、目的地認識部４０、移動ルート認識部４１、表示画像範囲設定部４２、カメラ撮影範囲制御部４３、水平方向画像取得部４４、利用者顔画像表示制御部４５、及び表示レイアウト変更部４６として機能する。

画面表示制御部３１は、移動ロボット１０が停止状態である場合に対応した停止表示モードと、移動ロボット１０が移動状態（走行状態）である場合に対応した移動表示モードとに応じて、操作端末１００に送信する操作画面のデータを変更することにより、操作端末１００の端末表示部１４１に表示される操作画面を制御する。各表示モードにおける操作画面の表示態様の詳細については後述する。

現在位置認識部３２は、ＧＮＳＳセンサ６６から出力される位置検出信号に基づいて、移動ロボット１０の現在位置（緯度、経度）を認識する。移動状況認識部３３は、現在位置認識部３２により認識される移動ロボット１０の現在位置の変化、速度センサ６７により検出される移動ロボット１０の移動速度、地図ＤＢ５２から取得した地図データ、建物ＤＢ５３から取得した建物のレイアウト等に基づいて、移動ロボット１０の移動状況を認識する。現在位置認識部３２は、移動ロボット１０が屋内に位置している場合は、ライダー６５による周囲物体の検出状況と、建物ＤＢ５３から取得した屋内のレイアウトデータをマッチングさせて、屋内における移動ロボット１０の現在位置を認識する。

表示モード切替部３４は、利用者Ｕによる選択操作に応じて、表示端末１００における操作画面の表示モードを、停止表示モードと移動表示モードとに切り替える。周辺対象物体認識部３５は、ロボットカメラ６２による撮影画像、ライダー６５による物体検出信号、及びロボットマイク６４による検出音に基づいて、移動ロボット１０の周辺の所在する人及び他のロボットを、周辺対象物体として認識する。なお、人又はロボットが所持している発信機から送信される識別信号を、ロボット通信部６０により受信することによって、移動ロボット１０の周辺に所在する人及び他のロボットを認識してもよい。

コミュニケーション対象選択受付部３６は、利用者Ｕによる操作画面の選択操作に応じて、利用者Ｕがコミュニケーションの実施を希望する周辺対象物体の選択を受け付ける。コミュニケーション制御部３７は、コミュニケーション対象選択受付部３６により選択が受付けられた周辺対象物体と、利用者Ｕとの間のコミュニケーションを制御する。コミュニケーション制御部３７は、利用者Ｕと周辺対象物体とのビデオ通話、音声通話、チャットを可能にする。

障害物認識部３８は、ロボットカメラ６２による撮影画像、及びライダー６５による物体検出信号に基づいて、移動ロボット１０の周辺に存在する障害物を認識する。動作中物体認識部３９は、ロボットカメラ６２による撮影画像、ライダー６５の物体検出信号、及びロボットマイク６４の検出音に基づいて、移動ロボット１０の周辺の動作中物体を認識する。動作中物体には、人及び移動ロボット１０以外の他のロボットが含まれる。ここで、「動作」には、体を動かす行為の他に、発言等の声を発する行為も含まれる。

目的地認識部４０は、利用者Ｕにより設定された移動ロボット１０の移動の目的地を認識する。利用者Ｕは、操作端末１００の操作によって、移動ロボット１０の目的地を設定する。ここで、目的地には、移動ロボット１０が向かう最終的な目的地の他に、最終的な目的地まで移動する途中で立ち寄る地点も含まれる。

移動ルート認識部４１は、現在位置認識部３２により認識された移動ロボット１０の現在位置、目的地認識部４０により認識された移動ロボット１０の目的地、及び地図ＤＢ５２から取得した地図データに基づいて、移動ロボット１０の移動ルートを認識する。表示画像範囲設定部４２、利用者Ｕによる操作に応じて、操作端末１００の操作画面に表示するモニタ画像の範囲を設定する。

カメラ撮影範囲制御部４３は、移動ロボット１０の周辺に所在する全ての人及び他のロボットが、ロボットカメラ６２の撮影範囲に含まれるように、移動ロボット１０を移動させる。なお、ロボットカメラ６２が、広角と望遠の切替が可能な構成になっている場合には、広角に切り替えて、移動ロボット１０の周辺に所在する全ての人及び他のロボットが、ロボットカメラ６２の撮影範囲に含まれるようにしてもよい。

水平方向画像取得部４４は、ロボットカメラ６２が撮影方向を変更する機能を有している場合に、図１４のＳ１、Ｓ２に示したように、移動ロボット１０が傾斜地に位置していて、ロボットカメラ６２が水平方向よりも上向き或いは下向きになる状況で、Ｓ３、Ｓ４に示したように、ロボットカメラ６２の撮影方向を水平方向に向ける処理を行う。これにより、移動ロボット１０の進行方向の撮影画像を取得することができる。また、ロボットカメラ６２が撮影方向を変更する機能を有していない場合には、水平方向画像取得部４４は、Ｓ１、Ｓ２の状況でロボットカメラ６２により撮影された上向き又は下向きの画像から、水平方向に相当する範囲の画像を抽出することにより、移動ロボット１０の進行方向の撮影画像を取得する。

利用者顔画像表示制御部４５は、利用者Ｕによる操作端末１００の操作に応じて、ロボット表示部６１に利用者Ｕの顔画像を表示させるか否かを制御する。利用者Ｕの顔画像は、端末カメラ１４２により撮影されて移動ロボット１０に送信されるリアルタイムの画像でもよく、予め移動ロボット１０のロボットメモリ５０に保存された画像でもよい。利用者顔画像表示制御部４５は、ロボット表示部６１に利用者Ｕの顔画像を表示しないときには、利用者Ｕの操作に応じて、利用者Ｕの顔を模したアイコンをロボット表示部６１に表示するか、或いは顔画像と顔を模したアイコンのいずれもロボット表示部６１に表示しない状態とする。表示レイアウト変更部４６は、利用者Ｕによる操作端末１００の操作に応じて、操作端末１００に表示される操作画面のレイアウトを変更する。

［３．操作端末の構成］
図３を参照して、操作端末１００の構成について説明する。操作端末１００は、端末コントローラ１１０、端末通信部１４０、端末表示部１４１、端末カメラ１４２、端末マイク１４３、及び端末スピーカー１４４を備えている。操作端末１００は、移動ロボット１０を操作するための専用端末であってもよく、スマートフォンやタブレット端末等の汎用の通信端末であってもよい。

端末通信部１４０は、通信ネットワーク２００（図１参照）を介して、移動ロボット１０との間で相互に通信を行う。端末表示部１４１はタッチパネルであり、端末コントローラ１１０から出力される画面データに応じた操作画面を表示すると共に、利用者Ｕのタッチ操作に応じた操作データを、端末コントローラ１１０に出力する。

端末カメラ１４２は、利用者Ｕの顔画像等を撮影して撮影画像のデータを端末コントローラ１１０に出力する。端末マイク１４３は、利用者Ｕの音声等を検出して音声データを端末コントローラ１１０に出力する。端末スピーカー１４４は、端末コントローラ１１０から出力される音データを入力して、移動ロボット１０を介して通話を行っている相手の音声等を出力する。

端末メモリ１３０には、移動ロボット１０の操作を実現するロボット操作アプリのプログラム１３１が保存されている。端末プロセッサ１２０は、ロボット操作アプリのプログラム１３１を読み込んで実行することにより、ロボット操作画面制御部１２１、及びロボット操作指示制御部１２２として機能する。

ロボット操作画面制御部１２１は、移動ロボット１０から送信される移動ロボット１０用の操作画面のデータを、端末通信部１４０により受信して、操作画面を端末表示部１４１に表示する。操作画面のデータには、ロボットカメラ６２による撮影画像に基づくモニタ画像情報が含まれる。ロボット操作指示制御部１２２は、端末表示部１４１から出力される操作画面のタッチ操作に応じた操作信号から、利用者Ｕによる操作の指示内容を認識して、操作の指示内容を示す操作データを、端末通信部１４０により移動ロボット１０に送信する。

［４．表示モードの切替処理］
図４に示したフローチャートに従って、移動ロボット１０により実行される端末表示部１４１における操作画面の表示モードの切替処理について説明する。画面表示制御部３１は、操作端末１００に表示される操作画面を、図７～図９に例示した停止表示モードによる操作画面と、図１０～図１３に例示した移動表示モードによる表示画面とに切り替えて制御する。

図７を参照して、操作画面５１０には、ロボットカメラ６２により撮影される移動ロボット１０の周辺の撮影画像５００から抽出されたモニタ画像を表示する第１サブ画面５２０と、移動ロボット１０を操作するための第２サブ画面５３０とが含まれる。本実施形態では、第２サブ画面５３０は、操作画面５１０の第１サブ画面５２０以外の領域となっている。第２サブ画面５３０には、表示モードを切り替えるためのモード切替スイッチ５３１が表示される。

図７の操作画面５１０は、移動ロボット１０が停止状態である場合に対応した停止表示モードによる操作画面であるため、移動ロボット１０の頭部１１の縦振りを指示する縦振りアイコン５３２と、頭部１１の横振りを指示する横振りアイコン５３３が表示される。また、ビデオ通話、音声通話、チャット等によるコミュニケーションを行うためのコミュニケーションアイコン５３４と、コミュニケーションウィンドウ５４０が表示される。

コミュニケーションアイコン５３４には、音声通話を開始するための音声通話アイコン５３４ａ、ビデオ通話を開始するためのビデオ通話アイコン５３４ｂ、チャットの開始等を行うためのオプションアイコン５３４ｃ、通話を終了するための通話終了アイコン５３４ｄが含まれる。コミュニケーションウィンドウ５４０には、通話相手の顔画像５４１、チャットによるメッセージ５４２等が表示される。

図４のステップＳ１で、表示モード切替部３４は、操作端末１００から送信される操作データに基づいて、モード切替スイッチ５３１の操作状態を認識する。そして、表示モード切替部３４は、モード切替スイッチ５３１による首振モードへの切替操作がなされたときに、ステップＳ１０に処理を進めて停止表示モードに設定し、ステップＳ４に処理を進める。

一方、首振りモードへの切替操作がなかったときには、表示モード切替部３４は、ステップＳ３に処理を進めて、モード切替スイッチ５３１の走行モードへの切替操作がなされたか否かを判断する。そして、表示モード切替部３４は、走行モードへの切替操作がなされたときはステップＳ５０に処理を進め、走行モードへの切替操作がなされなかったときには、ステップＳ４に処理を進める。ステップＳ４で、表示モード切替部３４は、操作画面の表示モードを移動表示モードに設定する。

［５．停止表示モードによる操作画面の表示］
図７～図９に示した操作画面を参照しつつ、図５に示したフローチャートに従って、移動ロボット１０により実行される、停止表示モードによる操作画面の表示の制御について説明する。

図５のステップＳ１１で、画面表示制御部３１は、図７に示したように、停止表示モードによる操作画面５１０の画面データを操作端末１００に送信して、操作画面５１０を、操作端末１００の端末表示部１４１に表示させる。操作画面５１０には、上述したように、ロボットカメラ６２の撮影画像に５００に基づくモニタ画像が表示される第１サブ画面５２０と、コミュニケーション用の操作部が表示される第２サブ画面５３０とが含まれる。

図７は、移動ロボット１０が会議の場に所在している状況での撮影画像５００と操作画面５１０とを示しており、撮影画像５００には、会議の参加者の画像部分が含まれている。この場合、カメラ撮影範囲制御部４３は、会議の参加している全ての人及び他のロボットの画像部分が含まれるように、移動ロボット１０を移動させて、ロボットカメラ６２の撮影範囲を調節する。なお、ロボットカメラ６２に撮影方向の変更、或いはレンズの広角と標準の切替等の機能が備えられている場合には、カメラ撮影範囲制御部４３は、これらの機能も活用してロボットカメラ６２の撮影範囲を調節する。

画面表示制御部３１は、ロボットカメラ６２の撮影画像５００から、会議の場に所在している全ての人及び他のロボットの画像部分が含まれるように設定した範囲５０１の画像部分を抽出したモニタ画像５２０ａを、第１サブ画面５２０に表示する。利用者Ｕは、第１サブ画面５２０を視認することで、会議に参加している人及び他のロボットを確認することができる。

次のステップＳ１２で、コミュニケーション対象選択受付部３６は、第１サブ画面５２０に表示されている人の画像部分５２２～５２６のいずれかについて、利用者Ｕのタッチ操作がなされた否かを判断する。そして、コミュニケーション対象選択受付部３６は、いずれかの人の画像部分がタッチされたときに、タッチされた画像部分に対応する人を、利用者Ｕとのコミュニケーション対象として設定し、ステップＳ２０に処理を進める。

この場合、画面表示制御部３１が、コミュニケーション対象として設定された人の画像部分を拡大した画像を、第１サブ画面５２０又は第２サブ画面５３０に表示するようにしてもよい。図７では、画面表示制御部３１が、コミュニケーション対象として設定された人の画像部分を拡大した画像５４１を、第２サブ画面５３０のコミュニケーションウィンドウ５４０に表示する例を示している。また、コミュニケーション制御部３７が、コミュニケーション対象として設定された人が使用している通信端末と操作端末１００との通信を確立することによって、コミュニケーション対象として設定された人についてのみ、利用者Ｕとのコミュニケーション（音声通話、チャット等）を可能にするようにしてもよい。

ステップＳ２０で、コミュニケーション制御部３７は、利用者Ｕによるコミュニケーションアイコン５３４の操作に応じて、利用者Ｕとコミュニケーション対象との間で、音声通話、ビデオ通話、或いはチャットによるコミュニケーションの制御を実行し、ステップＳ１３に処理を進める。

ステップＳ１３で、動作中物体認識部３９は、移動ロボット１０の周辺に存在する動作中物体を探索し、動作中物体を認識したときにステップＳ２１に処理を進める。ステップＳ２１で、画面表示制御部３１は、図８に示したように、ロボットカメラ６２の撮影画像５０２から、動作中物体の画像部分５０３が含まれる範囲５０４の画像部分を抽出する。そして、範囲５０４の画像部分を拡大したモニタ画像５２０ｂを、第１サブ画面５２０に表示する。これにより、移動ロボット１０に接近する動作中物体について、利用者Ｕによる認識を容易にすることができる。

また、図９に示したように、画面表示制御部３１が、ロボットカメラ６２の撮影画像５０２から、動作中物体の画像部分５０３と、会議に参加している全ての人の画像部分とが含まれる範囲５０５の画像部分を抽出するようにしてもよい。この場合、画面表示制御部３１は、範囲５０５のモニタ画像を第１サブ画面５２０に表示する。これにより、利用者Ｕは、会議に参加している全ての人の様子を視認しつつ、移動ロボット１０に接近している動作中物体を容易に認識することができる。

ここで、画面表示制御部３１は、動作中物体認識部３９により複数の動作中物体が認識されたときには、以下の優先順位１→優先順位２→優先順位３、の決定条件により、ステップＳ２１による処理の対象とする動作中物体を決定する。
優先順位１：最も大きい声で発言中の動作中物体。
優先順位２：移動中の動作中物体。
優先順位３：起立して発言中の動作中物体。
なお、上記優先順位は一例にすぎず、例えば、利用者Ｕが操作端末１００を操作して、優先順位をカスタマイズできるようにしてもよい。

［６．移動表示モードによる操作画面の表示］
図１０～図１３に示した操作画面を参照しつつ、図６に示したフローチャートに従って、移動ロボット１０により実行される、移動表示モードによる操作画面の表示の制御について説明する。

図６のステップＳ５１で、画面表示制御部３１は、図１０に示したように、移動表示モードによる操作画面５１０の画面データを操作端末１００に送信して、操作画面５１０を、操作端末１００の端末表示部１４１に表示させる。操作画面５１０には、ロボットカメラ６２の撮影画像に基づくモニタ画像が表示される第１サブ画面５２０と、移動ロボット１０の移動操作をサポートするための画像が表示される第２サブ画面５３０とが含まれる。

図１０は、移動ロボット１０が建物の中（屋内）を移動している状況での操作画面５１０を示している。移動表示モードでは、移動ロボット１０の前後の移動を指示するための前後移動アイコン、及び左右の移動を指示するための左右移動アイコン６０２が表示される。また、移動ロボット１０の移動速度を表示する速度メータ６０３が表示される。さらに、移動ロボット１０が移動している建物のフロアレイアウト図６１０が表示される。

続くステップＳ５２で、障害物認識部３８は、移動ロボット１０の周辺に存在する障害物を探索する。そして、障害物認識部３８は、障害物を認識したときはステップＳ６０に処理を進め、障害物を認識しなかったときにはステップＳ５３に処理を進める。ステップＳ６０で、画面表示制御部３１は、図６に示したように、障害物の存在を報知する障害物報知ウィンドウ６１１を、第２サブ画面５３０に表示する。障害物報知ウィンドウ６１１には、注意喚起メッセージ（ここでは、「この先、段差があります」のメッセージ）、障害物の画像等が表示される。

次のステップＳ５３で、画面表示制御部３１は、移動ロボット１０の移動速度が低速判定速度（例えば、数ｋｍ／hourに設定される）である状態で、第１サブ画面５２０に表示されている画像部分の選択操作がなされたか否かを判断する。そして、画面表示制御部３１は、画像部分の選択操作がなされたときはステップＳ６１に処理を進め、画像部分の選択操作がなされていないときにはステップＳ５４に処理を進める。

ステップＳ６１で、画面表示制御部３１は、図１１に示したように、第１サブ画面５２０の画像部分６１２（ここでは、フロアガイドパネルの画像部分）が選択されたときに、画像部分６１２を拡大した拡大ウィンドウ６２０を第２サブ画面５３０に表示する。これにより、利用者Ｕは、第１サブ画面５２０により、移動ロボット１０の前方を広範囲で確認しつつ、第２サブ画面５３０の拡大ウィンドウ６２０により、確認したい対象物の詳細を視認することができる。

続くステップＳ５４で、移動状況認識部３３は、移動ロボット１０が観光スポットに所在しているか否かを判断する。そして、移動状況認識部３３は、移動ロボット１０が観光スポットに所在しているときはステップＳ６２に処理を進め、移動ロボット１０が観光スポットに位置していないときにはステップＳ５５に処理を進める。

ステップＳ６２で、画面表示制御部３１は、図１２に示したように、移動ロボット１０の周辺の撮影画像５２０ｅを表示する第１サブ画面５２０と、観光スポット（ここでは動物園）の地図７００を表示する第２サブ画面５３０とを含む操作画面５１０を表示する。さらに、画面表示制御部３１は、移動ロボット１０の所在地点或いは移動ロボット１０の付近の付加情報を表示する付加情報７０１を表示する。

また、画面表示制御部３１は、障害物認識部３８により移動ロボット１０の付近の障害物が認識されている場合は、ステップＳ６０の処理により、障害物報知ウィンドウ７０２も表示する。

続くステップＳ５５で、移動状況認識部３３は、移動ロボット１０の移動速度が高速判定速度（例えば、数１０ｋｍ／ｈｏｕｒに設定される）以上であるか否かを判断する。そして、移動状況認識部３３は、移動ロボット１０の移動速度が高速判定速度以上であるときはステップＳ６３に処理を進め、移動ロボット１０の移動速度が高速判定速度未満であるときにはステップＳ５６に処理を進める。

ステップＳ６３で、画面表示制御部３１は、図１３に示したように、移動ロボット１０の前方の撮影画像５２０ｆを表示する第１サブ画面５２０と、移動ロボット１０の移動エリアの地図に、移動ロボット１０の現在位置Ｓから目的地Ｇまでの経路Ｒｔを示すルート案内ウィンドウ８００を表示する第２サブ画面５３０とを含む、操作画面５１０を表示する。ルート案内ウィンドウ８００の表示により、利用者Ｕによる移動ロボット１０の目的地までの移動を支援することができる。

さらに、画面表示制御部３１は、目的地への到着予測時刻８０１を第２サブ画面５３０に表示する。また、画面表示制御部３１は、障害物認識部３８により移動ロボット１０の付近の障害物が認識されている場合は、ステップＳ６０の処理により、障害物ウィンドウ８０２を第２サブ画面５３０に表示する。障害物ウィンドウ８０２には、障害物として認識された歩行者の画像部分が枠８０２ａにより強調されて表示される。

また、移動ロボット１０が高速判定速度以上で移動しているときには、コミュニケーションの操作は禁止されるため、画面表示制御部３１は、図１３に示したように、コミュニケーションアイコン５１４（タッチ操作が不能となっている第１の操作アイコン）の表示を、他の操作が可能な前後移動アイコン６０１，左右移動アイコン６０２（タッチ操作が可能である第２の操作アイコン）よりも暗くして（異なる表示態様で）表示する。これにより、コミュニケーションアイコン５１４の操作が不能であることを、利用者Ｕに認知させる。なお、異なる表示態様として、操作可能なアイコンをカラーで表示し、操作不能なアイコンをグレースケールで表示する等、他の表示態様を用いてもよい。

［７．他の実施形態］
上記実施形態では、表示モード切替部３４は、図４に示したフローチャートによる処理により、利用者Ｕによるモード切替スイッチ５３１の操作に応じて、停止表示モードと移動表示モードとを切り替えた。他の実施形態として、移動状況認識部３３により認識される移動ロボット１０の移動状況に応じて、停止表示モードと移動表示モードとを切り替えるようにしてもよい。例えば、移動ロボット１０が所定時間以上停止状態であるときに、停止表示モードに切り替えるようにしてもよい。また、移動ロボットが所定速度以上で移動しているときに、移動表示モードに切り替えるようにしてもよい。

上記実施形態では、図８、図９に示したように、停止表示モードにおいて、動作中物体認識部３９により動作中物体が認識されたときに、第１サブ画面５２０の表示を、動作中物体の画像部分を含まない第１モニタ画面５２０ａから、動作中物体の画像部分を含む第２モニタ画面５２０ｂ，５２０ｃに切り替えた。他の実施形態として、第１サブ画面５２０の表示は変更せずに、動作中物体の画像部分を含む第２モニタ画面５２０ｂ，５２０ｃを、第２サブ画面５３０に表示するようにしてもよい。

或いは、停止表示モードにおいては、第１サブ画面５２０を第１モニタ画面から第２モニタ画面に切替え、移動表示モードにおいては、第２モニタ画面を第２サブ画面５３０に表示するようにしてもよい。

上記実施形態において、コミュニケーション対象選択受付部３６は、第１サブ画面５２０に表示されている人の画像部分がタッチ操作されたときに、タッチ操作された画像部分に対応した人をコミュニケーション対象として設定した。他の実施形態として、第１サブ画面５２０に表示されている画像部分に対応する人又はロボットの識別情報（氏名、ＩＤ等）を、第１サブ画面に一覧表示し、一覧表示された識別情報のタッチ操作により、コミュニケーション対象を選択できるようにしてもよい。

上記実施形態では、操作画面５１０の表示を、移動ロボット１０のロボットプロセッサ３０により、画面表示制御部３１～利用者顔画像表示制御部４５の処理によって制御した。他の実施形態として、画面表示制御部３１～利用者顔画像表示制御部４５の全部又は一部を、操作端末１００の端末プロセッサ１２０により構成してもよい。この場合、端末プロセッサ１２０は、移動ロボット１０から送信されるロボットカメラ６２の撮影画像、ロボットマイク６４により検出される音声のデータ、ライダー６５により検出される物体のデータ等に基づいて、端末表示部１４１に表示される操作画面５１０を制御する。

また、画面表示制御部３１～利用者顔画像表示制御部４５の全部又は一部をロボット管理サーバー２２０により構成してもよい。この場合、ロボット管理サーバー２２０は、移動ロボット１０及び操作端末１００との間で通信を行って、ロボットカメラ６２の撮影画像、操作端末１００の操作データ等を受信し、操作端末１００の端末表示部１４１の表示を制御する。

上記実施形態において、現在位置認識部３２が地図ＤＢ５２又は建物ＤＢ５３に基づいて、移動ロボット１０が部屋内に位置していることを認識するようにしてもよい。そして、現在位置認識部３２により移動ロボット１０が部屋内に位置していることが認識されている状態であるときに、ロボットカメラ６２による撮影画像、ライダー６５の物体検出信号、及びロボットマイク６４の検出音等に基づいて、部屋内に進入する物体が検出された場合に、動作中物体認識部３９が、当該物体を動作中物体として認識するようにしてもよい。

なお、図２、図３は、本願発明の理解を容易にするために、移動ロボット１０と操作端末１００の構成を、主な処理内容により区分して示した概略図であり、移動ロボット１０と操作端末１００の構成を、他の区分によって構成してもよい。また、各構成要素の処理は、１つのハードウェアユニットにより実行されてもよいし、複数のハードウェアユニットにより実行されてもよい。また、図４～図６に示した各構成要素による処理は、１つのプログラムにより実行されてもよいし、複数のプログラムにより実行されてもよい。

［８．上記実施形態によりサポートされる構成］
上記実施形態は、以下の構成の具体例である。

（第１項）移動ロボットと、前記移動ロボットとの間で相互に通信を行う操作端末と、を備え、前記移動ロボットは、前記移動ロボットの周辺を撮影するカメラを有して、前記カメラの撮影画像に基づくモニタ画像情報を前記操作端末に送信し、前記操作端末は、端末表示部を有し、前記モニタ画像情報を受信して、前記撮影画像に基づくモニタ画像を含む操作画面を、前記端末表示部に表示する、遠隔操作システムであって、前記端末表示部に、前記モニタ画像を表示する第１サブ画面と、前記第１サブ画面と異なる第２サブ画面とを含む、前記操作画面を表示し、所定の表示モードに応じて、前記第２サブ画面の表示内容を変更する画面表示制御部を備える遠隔操作システム。
第１項の遠隔操作システムによれば、端末表示部に表示する操作画面に、移動ロボットの周辺のモニタ画像を表示する第１サブ画面に加えて、第１サブ画面と異なる第２サブ画面を表示することにより、移動ロボットの周囲状況に応じた、利用者による移動ロボットの遠隔操作を支援することができる。

（第２項）前記表示モードとして、前記移動ロボットが停止している状況に対応した停止表示モードが設定され、前記移動ロボットの周辺に所在している人又は他のロボットである周辺対象物体を認識する周辺対象物体認識部と、前記周辺対象物体を対象とした、選択操作を受け付けるコミュニケーション対象選択受付部と、を備え、前記画面表示制御部は、前記停止表示モードにおいて、前記コミュニケーション対象選択受付部により選択が受け付けられた前記周辺対象物体とのコミュニケーションをサポートするための操作部を、前記第２サブ画面に表示する第１項に記載の遠隔操作システム。
第２項の遠隔操作システムによれば、操作端末の利用者と、利用者が選択した周辺対象物体（人又は他のロボット）との間のコミュニケーションをサポートすることができる。

（第３項）前記画面表示制御部は、前記停止表示モードにおいて、複数の前記周辺対象物体の識別情報を、前記第２サブ画面に一覧表示し、前記コミュニケーション対象選択受付部は、前記一覧表示された前記識別情報に対する選択操作に応じて、前記周辺対象物体の選択を受け付ける第２項に記載の遠隔操作システム。
第３項の遠隔操作システムによれば、操作端末の利用者は、移動ロボットの周辺に所在している人又は他のロボットの一覧表示を参照して、コミュニケーションを行う対象を選択することができる。

（第４項）前記コミュニケーション対象選択受付部は、前記第１サブ画面に表示される前記周辺対象物体の画像部分に対する選択操作に応じて、前記周辺対象物体の選択を受け付ける第２項又は第３項に記載の遠隔操作システム。
第４項の遠隔操作システムによれば、操作端末の利用者は、周辺対象物体の画像を確認して、コミュニケーションを行う対象を選択することができる。

（第５項）前記画面表示制御部は、前記コミュニケーション対象選択受付部により選択が受け付けられた前記周辺対象物体の前記画像部分を拡大した画像を、前記第１サブ画面又は前記第２サブ画面に表示し、前記コミュニケーション対象選択受付部により選択が受付けられた前記周辺対象物体のみを対象としたコミュニケーションを可能にするコミュニケーション制御部を備える第４項に記載の遠隔操作システム。
第５項の遠隔操作システムによれば、拡大画像によるコミュケーション相手の確認を容易にしつつ、特定の周辺対象物体との間で一対一のコミュニケーションを行うことができる。

（第６項）前記周辺対象物体認識部は、前記移動ロボットの周辺に所在している前記周辺対象物体のうち、予め登録された前記周辺対象物体、又は前記移動ロボットから所定距離以内に所在している前記周辺対象物体を認識する第２項から第５項のうちいずれか１項に記載の遠隔操作システム。
第６項の遠隔操作システムによれば、コミュニケーションを行う対象を、予め登録された周辺対象物体、又は移動ロボットから所定距離以内に所在する周辺対象物体に限定することにより、利用者によるコミュニケーション相手の選択を容易にすることができる。

（第７項）前記表示モードとして、前記移動ロボットが移動過程にある状況に対応した移動表示モードが設定され、前記画面表示制御部は、前記移動表示モードにおいて、移動過程にある前記移動ロボットの操作をサポートするための操作サポート情報を、前記第２サブ画面に表示する第１項から第６項のうちいずれか１項に記載の遠隔操作システム。
第７項の遠隔操作システムによれば、移動ロボットが移動過程であるときに、モニタ画像を表示する第１サブ画面と、移動過程にある移動ロボットの操作をサポートする別の第２サブ画面とを含む操作画面を表示することにより、利用者による移動ロボットの操作を容易にすることができる。

（第８項）前記画面表示制御部は、前記移動表示モードにおいて、前記カメラの撮影画像のうち、第１撮影範囲の画像部分を前記第１サブ画面に表示すると共に、前記第１撮影範囲と異なる第２撮影範囲の画像部分を、前記操作サポート情報として前記第２サブ画面に表示する第７項に記載の遠隔操作システム。
第８項の遠隔操作システムによれば、異なる撮影範囲に対応した画像部分を表示する第１サブ画面と第２サブ画面を含む操作画面を、端末表示部に表示することにより、利用者による移動ロボットの周囲状況の認識を容易にすることができる。

（第９項）前記移動ロボットの周囲に存在する障害物を認識する障害物認識部を備え、前記画面表示制御部は、前記移動表示モードにおいて、前記障害物が含まれる前記第２撮影範囲の画像部分を、前記障害物の画像部分を強調表示して、前記第２サブ画面に表示する第８項に記載の遠隔操作システム。
第９項の遠隔操作システムによれば、移動ロボットの周囲に存在する障害物に対する利用者の認識を容易にすることができる。

（第１０項）前記画面表示制御部は、前記移動表示モードにおいて、前記移動ロボットの移動エリアの地図を、前記操作サポート情報として前記第２サブ画面に表示する第７項から第９項のうちいずれか１項に記載の遠隔操作システム。
第１０項の遠隔操作システムによれば、移動エリアの地図を第２サブ画面に表示することにより、利用者による移動ロボットの移動先の認識を容易にすることができる。

（第１１項）前記画面表示制御部は、前記移動表示モードにおいて、前記移動エリアに存在する観光スポット、前記移動エリアに存在する施設、前記移動エリアで実施されるイベントのうちの少なくともいずれか一つに関する情報であるエリア付加情報を、前記操作サポート情報として前記第２サブ画面に表示する第１０項に記載の遠隔操作システム。
第１１項の遠隔操作システムによれば、エリア付加情報を第２サブ画面に表示することにより、利用者による移動ロボットが移動する過程で立ち寄るポイントの選択を容易にすることができる。

（第１２項）前記画面表示制御部は、前記地図に表示されている特定地点についての選択操作がなされたときに、前記特定地点に関連付けられた前記エリア付加情報を、前記操作サポート情報として前記第２サブ画面に表示する第１１項に記載の遠隔操作システム。
第１２項の遠隔操作システムによれば、利用者が選択した特定地点に関する情報を、第２サブ画面の表示によって利用者に提供することができる。

（第１３項）前記移動ロボットの現在位置を認識する現在位置認識部を備え、前記画面表示制御部は、前記移動表示モードにおいて、前記現在位置認識部により、前記移動ロボットが、観光エリアとして登録された登録済みエリアに位置していることが認識されたときに、前記登録済みエリアと関連付けられた前記エリア付加情報を、前記操作サポート情報として前記第２サブ画面に表示する第１１項又は第１２項に記載の遠隔操作システム。
第１３項の遠隔操作システムによれば、移動ロボットが、観光エリアとして登録された登録済みエリア内を移動しているタイミングで、移動ロボットが位置している地点に関連した状況を、第２サブ画面の表示によって利用者に提供することができる。

（第１４項）前記移動ロボットの移動速度を認識する移動速度認識部を備え、前記画面表示制御部は、前記移動ロボットの移動速度が所定の低速判定速度以下であるときに、前記エリア付加情報を、前記操作サポート情報として前記第２サブ画面に表示する第１１項から第１３項のうちいずれか１項に記載の遠隔操作システム。
第１４項の遠隔操作システムによれば、移動ロボットの移動速度が比較的低速であるときに限定して、エリア付加情報を利用者に提供することができる。

（第１５項）前記移動ロボットの現在位置を認識する現在位置認識部と、前記移動ロボットの目的地を認識する目的地認識部と、前記現在位置から前記目的地までの移動ルートを認識する移動ルート認識部と、を備え、前記画面表示制御部は、前記移動表示モードにおいて、前記現在位置から前記目的地までの前記移動ルートによる移動を案内するナビゲーション情報を、前記操作サポート情報として、前記第２サブ画面に表示する第７項から第１４項のうちいずれか１項に記載の遠隔操作システム。
第１５項の遠隔操作システムによれば、ナビゲーション情報を第２サブ画面に表示することによって、利用者による目的地までの移動ロボットの操作を容易にすることができる。

（第１６項）前記移動ロボットの移動速度を認識する移動速度認識部を備え、前記画面表示制御部は、前記移動ロボットの移動速度が所定の高速判定速度以上であるときに、前記ナビゲーション情報を前記第２サブ画面に表示する第１５項に記載の遠隔操作システム。
第１６項の遠隔操作システムによれば、移動ロボットの移動速度が高速判定速度以上であって、移動ロボットが目的地まで移動していることが想定されるときに、ナビゲーション情報を第２サブ画面に表示して、利用者による移動ロボットの操作を支援することができる。

（第１７項）前記移動ロボットは、ロボット表示部を備え、前記移動表示モードにおいて、前記ロボット表示部への前記操作端末の利用者の顔画像の表示を禁止するか、又は前記ロボット表示部の表示を所定の代替アイコンの表示に切り替える利用者顔画像表示制御部を備える第７項から第１６項のうちいずれか１項に記載の遠隔操作システム。
第１７項の遠隔操作システムによれば、移動ロボットが移動中であって、利用者が、移動ロボットの周辺にいる人或いは他のロボットとのコミュニケーションを図る可能性が低いと想定される場合に、ロボットの表示部への利用者の顔画像の表示を禁止するか、又は代替アイコンの表示に切り替えることができる。

（第１８項）前記操作端末の利用者による操作に応じて、前記表示モードを切り替える表示モード切替部を備える第１項から第１７項のうちいずれか１項に記載の遠隔操作システム。
第１８項の遠隔操作システムによれば、操作端末の表示モードを、利用者の希望する表示モードに切り替えることができる。

（第１９項）前記移動ロボットが屋内に所在しているか屋外に所在しているかを認識する屋内外所在認識部と、前記移動ロボットが屋内に所在しているか屋外に所在しているかに応じて、前記表示モードを切り替える表示モード切替部と、を備える第１項から第１７項のうちいずれか１項に記載の遠隔操作システム。
第１９項の遠隔操作システムによれば、移動ロボットが屋内に所在しているか屋外に所在しているかに応じて、移動ロボットが所在している環境に応じた表示モードに切り替えることができる。

（第２０項）前記操作端末の利用者による操作に応じて、前記操作画面の表示レイアウトを変更する表示レイアウト変更部を備える第１項から第１９項のうちいずれか１項に記載の遠隔操作システム。
第２０項の遠隔操作システムによれば、操作画面の表示レイアウトを、利用者の希望に応じたレイアウトにすることができる。

（第２１項）前記端末表示部はタッチパネルであり、前記画面表示制御部は、前記操作画面に表示される操作アイコンの内、前記表示モードに依存してタッチ操作が不能となっている第１の操作アイコンを、タッチ操作が可能である第２の操作アイコンと異なる表示態様で表示する第１項から第２０項のうちいずれか１項に記載の遠隔操作システム。
第２１項の遠隔操作システムによれば、操作可能な操作アイコンと操作不能な操作アイコンとの、利用者による識別を容易にすることができる。

（第２２項）周辺を撮影するカメラと、操作端末との間で通信を行うロボット通信部と、前記操作端末の端末表示部に表示させる操作画面を設定する画面表示制御部と、前記画面表示制御部により設定された前記操作画面のデータを、前記ロボット通信部により前記操作端末に送信する画面データ送信部と、を備える移動ロボットであって、前記画面表示制御部は、前記カメラの撮影画像に基づくモニタ画像を表示する第１サブ画面と、前記第１サブ画面と異なる第２サブ画面とを含む、前記操作画面を設定し、所定の表示モードに応じて、前記第２サブ画面の表示内容を変更する移動ロボット。
第２２項の移動ロボットによれば、端末表示部に対して、移動ロボットの周辺のモニタ画像を表示する第１サブ画面に加えて、第１サブ画面と異なる第２サブ画面を表示する操作画面のデータを送信することにより、移動ロボットの周囲状況に応じた、利用者による移動ロボットの遠隔操作を支援することができる。

（第２３項）移動ロボットを遠隔操作するための操作端末であって、端末表示部と、前記移動ロボットとの間で相互に通信を行う端末通信部と、前記移動ロボットから送信される前記移動ロボットの周辺の撮影画像に基づくモニタ画像情報を、前記端末通信部により受信するモニタ画像情報取得部と、前記端末表示部に、前記モニタ画像情報に基づくモニタ画像を表示する第１サブ画面と、前記第１サブ画面と異なる第２サブ画面とを含む、操作画面を表示し、所定の表示モードに応じて、前記第２サブ画面の表示内容を変更する画面表示制御部と、を備える操作端末。
第２３項の操作端末によれば、移動ロボットから送信されるモニタ画像情報を受信して、端末表示部に表示する操作画面に、移動ロボットの周辺のモニタ画像を表示する第１サブ画面に加えて、第１サブ画面と異なる第２サブ画面を表示することにより、移動ロボットの周囲状況に応じた、利用者による移動ロボットの遠隔操作を支援することができる。

１…遠隔操作システム、１０…移動ロボット、１４…走行ユニット、２０…ロボットコントローラ、３０…ロボットプロセッサ、３１…画面表示制御部、３２…現在位置認識部、３３…表示モード切替部、３４…表示モード切替部、３５…周辺対象物体認識部、３６…コミュニケーション対象選択受付部、３７…コミュニケーション制御部、３８…障害物認識部、３９…動作中物体認識部、４０…目的地認識部、４１…移動ルート認識部、４２…表示画像範囲設定部、４３…カメラ撮影範囲制御部、４４…水平方向画像取得部、４５…利用者顔画像表示制御部、６１…ロボット表示部、６２…ロボットカメラ、６３…ロボットスピーカー、６４…ロボットマイク、６５…ライダー、６６…ＧＮＳＳセンサ、６７…速度センサ、６８…傾斜センサ、１００…操作端末、１１０…端末コントローラ、１２０…端末プロセッサ、１２１…ロボット操作画面制御部、１２２…ロボット操作指示制御部、１４１…端末表示部、１４２…端末カメラ、１４３…端末マイク、１４４…端末スピーカー。

Claims (22)

1. 移動ロボットと、前記移動ロボットとの間で相互に通信を行う操作端末と、を備え、
   前記移動ロボットは、前記移動ロボットの周辺を撮影するカメラを有して、前記カメラの撮影画像に基づくモニタ画像情報を前記操作端末に送信し、
   前記操作端末は、端末表示部を有し、前記モニタ画像情報を受信して、前記撮影画像に基づくモニタ画像を含む操作画面を、前記端末表示部に表示する、
   遠隔操作システムであって、
   前記移動ロボットの移動速度を含む前記移動ロボットの移動状況を認識する移動状況認識部と、
   前記モニタ画像を表示する第１サブ画面と、操作アイコンを表示する第２サブ画面とを含む前記操作画面を、前記端末表示部に表示し、所定の表示モードに応じて、前記第２サブ画面の表示内容を変更する画面表示制御部と、を備え、
   前記画面表示制御部は、
   前記移動ロボットが停止している状況に対応した停止表示モードであるときは、前記第２サブ画面に、通話相手とのコミュニケーションをサポートするためのコミュニケーションウインドウを表示し、
   前記移動ロボットが移動している状況に対応した移動表示モードであるときには、前記第２サブ画面に、前記移動ロボットの移動操作をサポートするための操作サポート情報を表示し、前記移動状況認識部により認識される前記移動ロボットの移動状況に応じて、前記操作サポート情報の内容を変更する
   遠隔操作システム。
2. 前記移動ロボットの周辺に所在している人又は他のロボットである周辺対象物体を認識する周辺対象物体認識部と、
   前記周辺対象物体を対象とした、選択操作を受け付けるコミュニケーション対象選択受付部と、を備え、
   前記画面表示制御部は、前記停止表示モードにおいて、前記コミュニケーション対象選択受付部により選択が受け付けられた前記周辺対象物体とのコミュニケーションをサポートするための前記操作アイコン又は前記コミュニケーションウインドウの少なくともいずれか一方を、前記第２サブ画面に表示する
   請求項１に記載の遠隔操作システム。
3. 前記画面表示制御部は、前記停止表示モードにおいて、複数の前記周辺対象物体の識別情報を、前記第２サブ画面に一覧表示し、
   前記コミュニケーション対象選択受付部は、前記一覧表示された前記識別情報に対する選択操作に応じて、前記周辺対象物体の選択を受け付ける
   請求項２に記載の遠隔操作システム。
4. 前記コミュニケーション対象選択受付部は、前記第１サブ画面に表示される前記周辺対象物体の画像部分に対する選択操作に応じて、前記周辺対象物体の選択を受け付ける
   請求項２又は請求項３に記載の遠隔操作システム。
5. 前記画面表示制御部は、前記コミュニケーション対象選択受付部により選択が受け付けられた前記周辺対象物体の前記画像部分を拡大した画像を、前記第１サブ画面又は前記第２サブ画面の前記コミュニケーションウインドウに表示し、
   前記コミュニケーション対象選択受付部により選択が受付けられた前記周辺対象物体のみを対象としたコミュニケーションを可能にするコミュニケーション制御部を備える
   請求項４に記載の遠隔操作システム。
6. 前記周辺対象物体認識部は、前記移動ロボットの周辺に所在している前記周辺対象物体のうち、予め登録された前記周辺対象物体、又は前記移動ロボットから所定距離以内に所在している前記周辺対象物体を認識する
   請求項２から請求項５のうちいずれか１項に記載の遠隔操作システム。
7. 前記画面表示制御部は、前記移動表示モードにおいて、前記カメラの撮影画像のうち、第１撮影範囲の画像部分を前記第１サブ画面に表示すると共に、前記第１撮影範囲と異なる第２撮影範囲の画像部分を、前記操作サポート情報として前記第２サブ画面に表示する
   請求項１から請求項６のうちいずれか１項に記載の遠隔操作システム。
8. 前記移動ロボットの周囲に存在する障害物を認識する障害物認識部を備え、
   前記画面表示制御部は、前記移動表示モードにおいて、前記障害物が含まれる前記第２撮影範囲の画像部分を、前記障害物の画像部分を強調表示して、前記第２サブ画面に表示する
   請求項７に記載の遠隔操作システム。
9. 前記画面表示制御部は、前記移動表示モードにおいて、前記移動ロボットの移動エリアの地図を、前記操作サポート情報として前記第２サブ画面に表示する
   請求項１から請求項８のうちいずれか１項に記載の遠隔操作システム。
10. 前記画面表示制御部は、前記移動表示モードにおいて、前記移動エリアに存在する観光スポット、前記移動エリアに存在する施設、前記移動エリアで実施されるイベントのうちの少なくともいずれか一つに関する情報であるエリア付加情報を、前記操作サポート情報として前記第２サブ画面に表示する
    請求項９に記載の遠隔操作システム。
11. 前記画面表示制御部は、前記地図に表示されている特定地点についての選択操作がなされたときに、前記特定地点に関連付けられた前記エリア付加情報を、前記操作サポート情報として前記第２サブ画面に表示する
    請求項１０に記載の遠隔操作システム。
12. 前記移動ロボットの現在位置を認識する現在位置認識部を備え、
    前記画面表示制御部は、前記移動表示モードにおいて、前記現在位置認識部により、前記移動ロボットが、観光エリアとして登録された登録済みエリアに位置していることが認識されたときに、前記登録済みエリアと関連付けられた前記エリア付加情報を、前記操作サポート情報として前記第２サブ画面に表示する
    請求項１０又は請求項１１に記載の遠隔操作システム。
13. 前記移動ロボットの移動速度を認識する移動速度認識部を備え、
    前記画面表示制御部は、前記移動ロボットの移動速度が所定の低速判定速度以下であるときに、前記エリア付加情報を、前記操作サポート情報として前記第２サブ画面に表示する
    請求項１０から請求項１２のうちいずれか１項に記載の遠隔操作システム。
14. 前記移動ロボットの現在位置を認識する現在位置認識部と、
    前記移動ロボットの目的地を認識する目的地認識部と、
    前記現在位置から前記目的地までの移動ルートを認識する移動ルート認識部と、を備え、
    前記画面表示制御部は、前記移動表示モードにおいて、前記現在位置から前記目的地までの前記移動ルートによる移動を案内するナビゲーション情報を、前記操作サポート情報として、前記第２サブ画面に表示する
    請求項１から請求項１３のうちいずれか１項に記載の遠隔操作システム。
15. 前記移動ロボットの移動速度を認識する移動速度認識部を備え、
    前記画面表示制御部は、前記移動ロボットの移動速度が所定の高速判定速度以上であるときに、前記ナビゲーション情報を前記第２サブ画面に表示する
    請求項１４に記載の遠隔操作システム。
16. 前記移動ロボットは、ロボット表示部を備え、
    前記移動表示モードにおいて、前記ロボット表示部への前記操作端末の利用者の顔画像の表示を禁止するか、又は前記ロボット表示部の表示を所定の代替アイコンの表示に切り替える利用者顔画像表示制御部を備える、
    請求項１から請求項１５のうちいずれか１項に記載の遠隔操作システム。
17. 前記操作端末の利用者による操作に応じて、前記表示モードを切り替える表示モード切替部を備える
    請求項１から請求項１６のうちいずれか１項に記載の遠隔操作システム。
18. 前記移動ロボットが屋内に所在しているか屋外に所在しているかを認識する屋内外所在認識部と、
    前記移動ロボットが屋内に所在しているか屋外に所在しているかに応じて、前記表示モードを切り替える表示モード切替部と、を備える
    請求項１から請求項１７のうちいずれか１項に記載の遠隔操作システム。
19. 前記操作端末の利用者による操作に応じて、前記操作画面の表示レイアウトを変更する表示レイアウト変更部を備える
    請求項１から請求項１８のうちいずれか１項に記載の遠隔操作システム。
20. 前記端末表示部はタッチパネルであり、
    前記画面表示制御部は、前記操作画面に表示される操作アイコンの内、前記表示モードに依存してタッチ操作が不能となっている第１の操作アイコンを、タッチ操作が可能である第２の操作アイコンと異なる表示態様で表示する
    請求項１から請求項１９のうちいずれか１項に記載の遠隔操作システム。
21. 周辺を撮影するカメラと、
    操作端末との間で通信を行うロボット通信部と、
    前記操作端末の端末表示部に表示させる操作画面を設定する画面表示制御部と、
    前記画面表示制御部により設定された前記操作画面のデータを、前記ロボット通信部により前記操作端末に送信する画面データ送信部と、
    を備える移動ロボットであって、
    前記移動ロボットの移動速度を含む前記移動ロボットの移動状況を認識する移動状況認識部を備え、
    前記画面表示制御部は、
    前記カメラの撮影画像に基づくモニタ画像を表示する第１サブ画面と、操作アイコンを表示する第２サブ画面とを含む、前記操作画面を設定し、所定の表示モードに応じて、前記第２サブ画面の表示内容を変更し、
    前記移動ロボットが停止している状況に対応した停止表示モードであるときは、前記第２サブ画面に、通話相手とのコミュニケーションをサポートするためのコミュニケーションウインドウを表示し、
    前記移動ロボットが移動している状況に対応した移動表示モードであるときには、前記第２サブ画面に、前記移動ロボットの移動操作をサポートするための操作サポート情報を表示し、前記移動状況認識部により認識される前記移動ロボットの移動状況に応じて、前記操作サポート情報の内容を変更する
    移動ロボット。
22. 移動ロボットを遠隔操作するための操作端末であって、
    端末表示部と、
    前記移動ロボットとの間で相互に通信を行う端末通信部と、
    前記移動ロボットから送信される前記移動ロボットの周辺の撮影画像に基づくモニタ画像情報を、前記端末通信部により受信するモニタ画像情報取得部と、
    前記移動ロボットの移動速度を含む前記移動ロボットの移動状況を認識する移動状況認識部と、
    前記端末表示部に、前記モニタ画像情報に基づくモニタ画像を表示する第１サブ画面と、操作アイコンを表示する第２サブ画面とを含む、操作画面を表示し、所定の表示モードに応じて、前記第２サブ画面の表示内容を変更する画面表示制御部と、を備え、
    前記画面表示制御部は、
    前記移動ロボットが停止している状況に対応した停止表示モードであるときは、前記第２サブ画面に、通話相手とのコミュニケーションをサポートするためのコミュニケーションウインドウを表示し、
    前記移動ロボットが移動している状況に対応した移動表示モードであるときには、前記第２サブ画面に、前記移動ロボットの移動操作をサポートするための操作サポート情報を表示し、前記移動状況認識部により認識される前記移動ロボットの移動状況に応じて、前記操作サポート情報の内容を変更する
    操作端末。

Images