JP7392377B2

JP7392377B2 - 機器、情報処理方法、プログラム、情報処理システムおよび情報処理システムの方法

Info

Publication number: JP7392377B2
Application number: JP2019187168A
Authority: JP
Inventors: 篤史小杉; 敏之吉田
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2019-10-10
Filing date: 2019-10-10
Publication date: 2023-12-06
Anticipated expiration: 2039-10-10
Also published as: JP2021064067A

Description

本発明は、機器、情報処理方法、プログラム、情報処理システムおよび情報処理システムの方法に関する。

近年、様々な技術が知られている。例えば、他の会議参加者の表示をしながら発言者が誰であるかを容易に認識することを可能にし、議参加者に関する映像情報を自然かつ詳細に認識することを可能にするテレビ会議システムが開示されている（例えば、特許文献１参照。）。

また、監視エリア全体を撮像する監視用カメラと、人の顔部分を撮像するクローズアップ用カメラと、監視装置とを備えるシステムにおいて、監視装置が、監視用カメラによって撮像された画像に基づき人の動きを検出し、検出した人の動きに応じてクローズアップ用カメラによって撮像された画像を録画する技術が開示されている（例えば、特許文献２参照。）。

さらに、遠隔操作によって自由移動させることが可能なロボット装置が開示されている（例えば、特許文献３参照。）。操作者は、遠隔地の会議場に出席させたロボット装置を介して、会議の状況を見たり、聞いたり、表情を見せたり、話したり、資料を提示したり、握手をしたりすることができる。

特開平７－３３６６６０号公報特開平１０－３３６６３２号公報特開２００２－４６０８８号公報

特許文献１は、テレビ会議システムを開示しているに過ぎず、特許文献２は、画像を用いる監視装置を開示しているに過ぎず、特許文献３は、遠隔操作によって自由移動しつつ情報のやりとりを行うことが可能なロボット装置を開示しているに過ぎない。しかし、対象（例えば、人など）によって機器が用いられる場合には、機器による処理は、対象の感情が考慮された上で実行されたほうが、対象にとって利便性が高いと考えられる。

そこで、対象にとってより利便性の高い処理を行うことを可能とする技術が提供されることが望まれる。

上記問題を解決するために、本発明のある観点によれば、複数の撮像部によって撮像された映像に基づいて前記映像に写る対象の感情を識別する感情識別部と、前記感情識別部によって識別された感情に対応した処理を行う処理部と、を備える、機器であって、前記処理部は、前記感情のうちの敵意の感情値が第１の閾値以上である対象が存在する場合には、前記複数の撮像部によって撮像された映像に基づいて、前記機器を斜め上方向から俯瞰した俯瞰映像に前記機器をかたどったグラフィックをレンダリングした自由視点映像を生成し、前記自由視点映像がオペレータの操作端末に送信されるように通信部を制御する、機器が提供される。

前記処理部は、前記感情のうちの視線の感情値が第２の閾値以上である対象が存在する場合には、前記機器によって前記対象の位置に基づく所定の動作がなされるように前記機器を制御してもよい。

前記視線の感情値は、前記視線と前記機器との位置関係に基づいて識別されてもよい。

前記処理部は、前記感情のうちの第１の感情の感情値が第１の条件を満たす場合には、前記機器が前記対象に接近するように移動部を制御してもよい。

前記処理部は、前記感情のうちの第２の感情の感情値が第２の条件を満たす場合には、前記機器と前記操作端末とが接続されるように前記通信部を制御してもよい。

前記機器と接続される前記操作端末は、前記感情のうちの第３の感情の感情値に基づいて選択されてもよい。

前記処理部は、前記機器とオペレータの操作端末とが接続された後、前記操作端末から受信された前記オペレータによって発せられた音声が出力されるようにスピーカを制御してもよい。

前記処理部は、前記第２の感情の感情値が前記第２の条件を満たす場合には、前記第２の条件に対応するコンテンツが表示されるように前記機器が備える表示装置を制御してもよい。

前記処理部は、前記第２の感情の感情値が前記第２の条件を満たす場合には、前記自由視点映像が前記操作端末に送信されるように前記通信部を制御してもよい。

また、本発明の別の観点によれば、複数の撮像部によって撮像された映像に基づいて前記映像に写る対象の感情を識別することと、前記感情に対応した処理を行うことと、前記感情のうちの敵意の感情値が第１の閾値以上である対象が存在する場合には、前記複数の撮像部によって撮像された映像に基づいて、機器を斜め上方向から俯瞰した俯瞰映像に前記機器をかたどったグラフィックをレンダリングした自由視点映像を生成し、前記自由視点映像がオペレータの操作端末に送信されるように通信部を制御することと、を含む、情報処理方法が提供される。

また、本発明の別の観点によれば、コンピュータを、複数の撮像部によって撮像された映像に基づいて前記映像に写る対象の感情を識別する感情識別部と、前記感情識別部によって識別された感情に対応した処理を行う処理部と、を備える機器であって、前記処理部は、前記感情のうちの敵意の感情値が第１の閾値以上である対象が存在する場合には、前記複数の撮像部によって撮像された映像に基づいて、前記機器を斜め上方向から俯瞰した俯瞰映像に前記機器をかたどったグラフィックをレンダリングした自由視点映像を生成し、前記自由視点映像がオペレータの操作端末に送信されるように通信部を制御する、機器として機能させるためのプログラムが提供される。

また、本発明の別の観点によれば、機器と管理センタとを有する情報処理システムであって、前記機器は、複数の撮像部によって撮像された映像に基づいて前記映像に写る対象の感情を識別する感情識別部と、前記感情のうちの所定の感情値が所定の条件を満たす場合には、前記機器とオペレータの操作端末とが接続されるように通信部を制御する処理部と、を備え、前記処理部は、前記感情のうちの敵意の感情値が第１の閾値以上である対象が存在する場合には、前記複数の撮像部によって撮像された映像に基づいて、前記機器を斜め上方向から俯瞰した俯瞰映像に前記機器をかたどったグラフィックをレンダリングした自由視点映像を生成し、前記自由視点映像がオペレータの操作端末に送信されるように通信部を制御し、前記管理センタは、前記感情に基づいて前記オペレータを選択するコミュニケーション部を備える、情報処理システムが提供される。

また、本発明の別の観点によれば、複数の撮像部によって撮像された映像に基づいて前記映像に写る対象の感情を識別することと、前記感情のうちの所定の感情値が所定の条件を満たす場合には、機器と前記感情に基づいて選択されたオペレータの操作端末とが接続されるように通信部を制御することと、前記感情のうちの敵意の感情値が第１の閾値以上である対象が存在する場合には、前記複数の撮像部によって撮像された映像に基づいて、前記機器を斜め上方向から俯瞰した俯瞰映像に前記機器をかたどったグラフィックをレンダリングした自由視点映像を生成し、前記自由視点映像がオペレータの操作端末に送信されるように通信部を制御することと、を有する、情報処理システムの方法が提供される。

以上説明したように本発明によれば、対象にとってより利便性の高い処理を行うことを可能とする技術が提供される。

本発明の実施形態に係る情報処理システムの構成例を示す図である。対象と位置と感情との紐づけデータテーブルの構成例を示す図である。感情とコンテンツとの紐づけデータテーブルの構成例を示す図である。オペレータと感情との紐づけデータテーブルの構成例を示す図である。表示部によって表示されるエリア監視画面の例を示す図である。同実施形態に係る情報処理システムの動作例を示すフローチャートである。同実施形態に係る情報処理システムの動作例を示すフローチャートである。同実施形態に係るロボットの例としての情報処理装置のハードウェア構成を示す図である。走行ルート情報の例を示す図である。マップに表現された現在ルートと代替ルートの例を示す図である。マップに表現された障害物の発見地点の例を示す図である。ロボットの視線の映像に表現された現在ルートの例を示す図である。ロボットの視線の映像に表現されたルート補正候補の例を示す図である。ロボットの視線の映像に表現されたルート補正後の現在ルートの例を示す図である。迂回可否の識別結果とロボットのアクションとの対応関係の例を示す表である。ロボットの視線の映像に表現された現在ルートの例を示す図である。自由視点の映像に表現された現在ルートの例を示す図である。マップに表現された手動ルートの例を示す図である。手動ルートで目標位置に向かって走行するロボットの視線の映像の例を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一の機能構成を有する複数の構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、異なる実施形態の類似する構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。

（１．実施形態の詳細）
続いて、本発明の実施形態の詳細について説明する。

（１－１．システム構成の説明）
図１は、本発明の実施形態に係る情報処理システムの構成例を示す図である。図１に示されるように、情報処理システム１は、ロボット１００と、管理センタ１６０とを備える。ロボット１００および管理センタ１６０は、ネットワークの例としてのＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）網１５０に接続されており、ＩＰ網１５０を介して互いに通信可能に構成されている。

ここで、ロボットとは、一般に、「人造人間」、「人間に類似した動作や作業を行うもの」、「指示に基づき動作や作業をコンピュータ操作により行う装置」、「自律的な動作や作業をコンピュータ操作により行う装置」、「自動制御によるマニピュレーション機能又は、移動機能をもち、各種の作業をプログラムによって実行でき、産業に使用される機械」（ＪＩＳＢ０１３４－１９９８）、「人間にサービスするロボット」（ＪＩＳＢ０１８７：２００５）「センサ、知能・制御系、駆動系の３つの要素技術を有する、知能化した機械システム」（経済産業省ロボット政策研究会）、等のように解される。

ロボット１００は、対象の感情に応じた処理を実行する機器の一例として機能する。本発明の実施形態では、ロボット１００によって感情が考慮される対象が人である場合を主に想定する。しかし、感情が考慮される対象は、人以外の動物（例えば、犬または猫など）であってもよいし、機械（例えば、ロボットなど）であってもよいし、その他の感情推定され得るものであってもよい。また、本発明の実施形態では、ロボット１００が１台存在する場合を主に想定する。しかし、ロボット１００は、複数台存在していてもよい。

図１に示されるように、ロボット１００は、ネットワーク１０１、監視部１０２、通信部１０３、コミュニケーション部１０４、人工知能部１０５、移動部１０６および制御データベース１４１を備える。

ネットワーク１０１は、ロボット１００の内部の機能ブロック同士の通信を中継する。ネットワーク１０１の形態は限定されない。例えば、ネットワーク１０１は、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）やＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）などを含んでもよい。ロボット１００の内部の機能ブロックは、ネットワーク１０１上でＰ２Ｐ（ＰｅｅｒｔｏＰｅｅｒ）ネットワークを形成し、機能ブロック同士でＰ２Ｐ通信を行うようにしてもよい。この場合、ロボット１００は、各機能ブロック（ノード）のノード情報を管理するノード情報管理部（図示省略）を有し、ノード情報管理部が機能ブロックから要求があった際に接続先のノード情報を与え、機能ブロックがノード情報管理部から与えられたノード情報に基づきＰ２Ｐ接続を行ってＰ２Ｐ通信を行う。ノード情報管理部は、各機能ブロックの起動時に機能ブロック毎のノード名、ＵＲＩ（ＵｎｉｆｏｒｍＲｅｓｏｕｒｃｅＩｄｅｎｔｉｆｉｅｒ）、通信ポート番号、ＩＰアドレス等の登録を受けると共にノード情報として管理し、例えば、機能ブロックから接続先ノード名で要求を受けると、ノード名でノード情報を参照し、ノード名に対応するＵＲＩ、通信ポート番号、ＩＰアドレス等をノード情報として要求元の機能ブロックへ与える。

監視部１０２は、周囲を監視する機能を有する。本発明の実施形態では、監視部１０２が、エリア監視カメラ１１１を含んでおり、エリア監視カメラ１１１が周囲の映像を撮像する場合を主に想定する。しかし、監視部１０２は、エリア監視カメラ１１１の代わりに、または、エリア監視カメラ１１１に追加して、周囲の音を検出するマイクロフォンを含んでもよいし、周囲の匂いを検出する匂いセンサを含んでもよいし、他のセンサを含んでもよい。

通信部１０３は、通信インタフェースによって構成されており、ＩＰ網１５０に接続されている。例えば、通信部１０３は、ＩＰ網１５０を介して管理センタ１６０との間で通信を行うことが可能である。

コミュニケーション部１０４は、対象との間でコミュニケーションを行う機能を有する。より詳細に、コミュニケーション部１０４は、対象からの入力を受ける入力装置と、対象への出力を行う出力装置とを含んでいる。本発明の実施形態では、コミュニケーション部１０４が、対象からの操作を検出する検出装置および対象に視覚情報を提示するディスプレイが積層されたタッチパネル１２１と、対象に音（自動音声またはオペレータから発せられた音）を提示するスピーカ１２２と、対象から発せられた音（例えば、声など）を検出するマイクロフォン１２３とを含んでいる場合を主に想定する。しかし、コミュニケーション部１０４が具体的にどのようなデバイスを含んでいるかは限定されない。

移動部１０６は、車輪およびモーターを備えており、人工知能部１０５による制御に従って、モーターが車輪を回転させることによって床面上を移動する。このように、本発明の実施形態では、ロボット１００が床面上を移動可能である場合を主に想定するが、ロボット１００は、床面上を移動できなくてもよい。例えば、ロボット１００は、人工知能部１０５による制御に従って、床面上に静止した状態で身体の一部（例えば、頭部など）のみを動かすことが可能であってもよい。また、ロボット１００は、空中を移動する飛行物体（ドローン）であってもよく、その場合、移動部１０６は、プロペラおよびモーターを備えており、人工知能部１０５による制御に従って、モーターがプロペラを回転させることによって空中を移動する。

人工知能部１０５は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）などの演算装置を含み、図示しないメモリにより記憶されているプログラムがＣＰＵによりＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）に展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、人工知能部１０５は、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。

より詳細に、人工知能部１０５は、エリア監視カメラ１１１による監視結果に基づいて、ロボット１００による動作の判断を行う。そして、人工知能部１０５は、判断結果に基づいて、ロボット１００が動作するようにロボット１００を制御する。図１に示されるように、人工知能部１０５は、感情判断部１３１および行動処理部１３２を含んでいる。

制御データベース１４１は、対象と位置と感情との紐づけデータテーブル１４２（図２）、および、感情とコンテンツとの紐づけデータテーブル１４３（図３）を有する。なお、制御データベース１４１は、記憶装置に格納されている。ここで、記憶装置は、ロボット１００の動作を制御するためのプログラムを記憶している。また、記憶装置は、（制御データベース１４１やノード情報管理部が管理するノード情報を含む）各種のデータを記憶する。当該プログラムには、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）およびアプリケーションなどが含まれる。

感情判断部１３１は、エリア監視カメラ１１１によって撮像された映像に基づいて、映像に写る対象の位置を検出する。本発明の実施形態では、感情判断部１３１によって検出される対象が１つである場合を主に想定する。しかし、感情判断部１３１によって検出される対象は、複数であってもよい。そして、感情判断部１３１は、検出した対象の感情を識別する。

本発明の実施形態では、感情判断部１３１が、対象の感情の例として、対象の各種類の感情（興味、困り、焦り、泣き、敵意、視線それぞれの感情）を識別する場合を主に想定する。特に、敵意の感情は、怒りの感情なども含み得る。また、泣きの感情は、哀しみの感情を含み得る。さらに、視線の感情は、何かを見たいという感情に相当し得る。しかし、感情判断部１３１によって識別される感情の種類はこれらに限定されない。より詳細に、感情判断部１３１は、各種類の感情の値（感情値）を算出する。

感情判断部１３１は、検出した対象それぞれに対して対象ＩＤを付与するとともに、検出した対象それぞれの処理順序を算出し（処理順序を導出し）、付与した対象ＩＤと対象の位置と識別した各種類の感情値と処理順序とを制御データベース１４１の対象と位置と感情との紐づけデータテーブル１４２（図２）に登録する。処理順序については後に詳細に説明する。

図２は、対象と位置と感情との紐づけデータテーブル１４２の構成例を示す図である。図２に示されるように、対象と位置と感情との紐づけデータテーブル１４２は、「対象ＩＤ」と、対象の「位置」と、「興味」、「困り」、「焦り」、「泣き」、「敵意」、「視線」それぞれの感情値と、「順序」とが対応付けられてなる。

「対象ＩＤ」は、対象を一意に識別するための情報である。対象の「位置」は、対象の三次元位置である。図２に示された例では、対象の三次元位置がＸ座標とＹ座標とＺ座標との組み合わせによって表現されている。しかし、対象の三次元位置は、かかる形式に限定されない。また、各感情値は、大きいほど当該種類の感情が強いことを示す。図２に示された例では、感情値の最小値が「０」であり、感情値の最大値が「１００」である場合を想定する。しかし、感情値の最小値および最大値は、これらに限定されない。

特に、「視線」の感情値は、ロボット１００に対する対象の視線の強さを示す。ここで、視線の強さは、感情判断部１３１によって視線とロボット１００との位置関係に基づいて識別されてよい。より詳細に、本発明の実施形態では、視線の強さが、対象によってロボット１００に視線が連続して当てられている時間である場合を主に想定する。しかし、視線の強さは、かかる例に限定されない。例えば、視線の強さは、対象の視線方向と対象からロボット１００への方向とのなす角度に関する値であってもよいし、対象の位置とロボット１００の位置との距離に関する値であってもよい。

例えば、対象の視線方向と対象からロボット１００への方向とのなす角度が小さいほど、対象がロボット１００に強く視線を向けていると言える。そこで、感情判断部１３１は、対象の視線方向と対象からロボット１００への方向とのなす角度が小さいほど、「視線」の感情値を大きく算出してもよい。あるいは、対象の位置とロボット１００の位置との距離が小さいほど、対象がロボット１００に視線を強く向けていると言える。そこで、感情判断部１３１は、対象からロボット１００までの距離が小さいほど、「視線」の感情値を大きく算出してもよい。

「順序」は、ロボット１００による処理順序を示している。本発明の実施形態では、処理順序が、全部または一部の感情値の合計値の大きい順である場合を主に想定する。図２には、全部の感情値の合計値が最も大きい対象（対象ＩＤ＝３０００３）の処理順序が最も早く（「順序」＝１）、合計値が次に大きい対象（対象ＩＤ＝２０００２）の処理順序が次に早く（「順序」＝２）、合計値が最も小さい対象（対象ＩＤ＝１０００１）の処理順序が最も遅い例が示されている（「順序」＝３）。しかし、処理順序は、かかる例に限定されない。例えば、処理順序は、いずれかの一つの感情値が大きい順であってもよい。

行動処理部１３２は、感情判断部１３１によって識別された感情に対応した処理を行う。かかる構成によれば、対象にとってより利便性の高い処理がロボット１００によって行われ得る。ここでは、行動処理部１３２が、処理順序が最も早い（最高値の）処理のみを実行する場合を想定する。しかし、行動処理部１３２は、処理順序が早い順に所定数の処理のみを実行してもよいし、処理順序が早い順に全部の処理を実行してもよい。

例えば、行動処理部１３２は、感情判断部１３１によって識別された感情のうちの敵意の感情値が第１の閾値以上である対象が存在する場合には、オペレータの操作端末１６４に通報されるように通信部１０３を制御する。通信部１０３は、行動処理部１３２による制御に従って管理センタ１６０に通報する。かかる構成によれば、オペレータが敵意の感情を持つ対象を早期に監視することが可能になるという効果が享受される。

ここで、通報を受ける操作端末１６４は、あらかじめ決められていてもよいし、そのときの状況に応じて決められてもよい（例えば、空いているオペレータの操作端末１６４が通報を受けてもよい）。このとき、行動処理部１３２は、通報とともにエリア監視カメラ１１１によって撮像された映像と敵意の感情を持つ対象の位置とが操作端末１６４に送信されるように通信部１０３を制御する。

また、行動処理部１３２は、感情判断部１３１によって識別された感情のうちの視線の感情値が第２の閾値以上である対象が存在する場合には（例えば、敵意の感情値が第１の閾値未満である場合、かつ、視線の感情値が第２の閾値以上である場合には）、ロボット１００によって当該対象の位置に基づく所定の動作がなされるようにロボット１００を制御する。かかる構成によれば、ロボット１００によって対象の存在が認識されたことを早期に対象に知らせることが可能になるという効果が享受される。

対象の位置に基づく所定の動作は、特定の動作に限定されない。例えば、対象の位置に基づく所定の動作は、ロボット１００が当該対象にロボット１００の頭部の正面（例えば、顔など）を見せるように頭部を動かす動作であってもよいし、ロボット１００が当該対象にロボット１００の胴体の正面（例えば、腹など）を見せるように胴体を動かす動作であってもよいし、タッチパネル１２１を当該対象に近づける動作であってもよいし、他の動作であってもよい。

また、行動処理部１３２は、（例えば、敵意の感情値が第１の閾値未満である場合、かつ、視線の感情値が第２の閾値未満である場合には）感情判断部１３１によって識別された感情と、あらかじめ用意された感情とコンテンツとの紐づけデータテーブル１４３とに基づいて、処理を決定し得る。

図３は、感情とコンテンツとの紐づけデータテーブル１４３の構成例を示す図である。図３に示されるように、感情とコンテンツとの紐づけデータテーブル１４３は、「興味の閾値」と、「困りの閾値」と、「焦りの閾値」と、「泣きの閾値」と、コンテンツとが対応付けられてなる。行動処理部１３２は、感情判断部１３１によって識別された各感情（興味、困り、焦り、泣き）の値が、対応する閾値以上である場合に、対応するコンテンツが出力されるように制御する。

なお、コンテンツは、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔＭａｒｋｕｐＬａｎｇｕａｇｅ）、ＸＭＬ（ＥｘｔｅｎｓｉｂｌｅＭａｒｋｕｐＬａｎｇｕａｇｅ）、ＣＳＳ（ＣａｓｃａｄｉｎｇＳｔｙｌｅＳｈｅｅｔｓ）またはＪＳＯＮ（ＪａｖａＳｃｒｉｐｔ（登録商標）ＯｂｊｅｃｔＮｏｔａｔｉｏｎ）などの形式による記述を組み合わせて形成されればよい。また、コンテンツは、文字、動画像、音などを含むよう形成されてもよい。また、コンテンツとしてコンテンツに係る資源の場所を表すＵＲＬ（ＵｎｉｆｏｒｍＲｅｓｏｕｒｃｅＬｏｃａｔｏｒ）を設定し、ＵＲＬに基づきコンテンツが取得され、コンテンツが出力されるように制御してもよい。また、図３に示された例は、感情とコンテンツとの紐づけの一例に過ぎないため、感情とコンテンツとの紐づけは、図３に示された例に限定されない。

図３に示された例では、コンテンツの例として、メッセージと、音声と、センタ接続とが挙げられている。ただし、図３に示された例は、感情とコンテンツとの紐づけの一例に過ぎない。行動処理部１３２は、感情判断部１３１によって識別された興味の感情値が「興味の閾値」以上である場合には、コンテンツの例としてのメッセージ「〇〇にご興味はお有りですか」がタッチパネル１２１によって表示されるようにタッチパネル１２１を制御する。かかる構成によれば、オペレータが容易に対象とコミュニケーションを取ることが可能になるという効果が享受される。具体的なメッセージの内容は限定されない。

さらに、行動処理部１３２は、感情判断部１３１によって識別された感情のうちのある感情（第１の感情）の感情値がロボット１００を対象に接近させる必要のある条件（第１の条件）を満たす場合には、ロボット１００が対象に接近するように移動部１０６を制御してもよい。かかる構成によれば、ロボット１００が対象とコミュニケーションを取り始めるまでの時間を短縮することが可能になるという効果が享受される。

ロボット１００を対象に接近させる必要のある条件は、興味の感情値が「興味の閾値」以上であるという条件であってもよい。あるいは、ロボット１００を対象に接近させる必要のある条件は、他の感情値（例えば、困り、焦り、または、泣きの感情値）が対応する閾値以上であるという条件であってもよい。

行動処理部１３２は、対象の視線が当たる位置に（あるいは、対象の視界にロボット１００が入るように）ロボット１００を対象に接近させてもよい。また、ロボット１００の対象への接近は、毎回同じように行われてもよいし、状況に応じて異なるように行われてもよい。例えば、ロボット１００を対象に接近させるスピード（ロボット１００の移動スピード）は、毎回同じであってもよいし、対象の感情のうちのある感情値または対象の性別などに基づいて、変化してもよい。あるいは、ロボット１００を対象に接近させる経路も、毎回同じであってもよいし、対象の感情のうちのある感情値または対象の性別などに基づいて、変化してもよい。

また、行動処理部１３２は、感情判断部１３１によって識別された困りの感情値が「困りの閾値」以上である場合には、コンテンツの例としてのメッセージ「どうなされましたか」がタッチパネル１２１によって表示されるようにタッチパネル１２１を制御するとともに、コンテンツの例としての動作「管理センタのオペレータの操作端末への接続」が通信部１０３によって行われるように通信部１０３を制御する。通信部１０３は、行動処理部１３２による制御に従って、管理センタ１６０に接続要求を送信する。接続要求には、各感情値が含まれてよい。ただし、オペレータの操作端末１６４に接続されるための条件は、かかる例に限定されない。

すなわち、行動処理部１３２は、感情判断部１３１によって識別された感情のうちのある感情（第２の感情）の感情値が管理センタ１６０で対応する必要がある条件（第２の条件）を満たす場合には、当該条件に対応するコンテンツが表示されるようにタッチパネル１２１を制御するとともに、ロボット１００とオペレータの操作端末１６４とが接続されるように通信部１０３を制御すればよい。かかる構成によれば、オペレータが早期に対象の状態を確認できるという効果が享受される。

このとき、管理センタ１６０で対応する必要がある条件は、他の感情値（例えば、興味、焦り、または、泣きの感情値）が閾値以上であるという条件であってよい。後に説明するように、オペレータは、管理センタ１６０において選択されればよい。ロボット１００とオペレータの操作端末１６４とが接続された後は、行動処理部１３２は、操作端末１６４から受信されたオペレータによって発せられた音声が出力されるようにスピーカ１２２を制御するとともに、エリア監視カメラ１１１によって撮像された映像が操作端末１６４に送信されるように通信部１０３を制御する。

また、行動処理部１３２は、感情判断部１３１によって識別された焦りの感情値が「焦りの閾値」以上である場合には、コンテンツの例としてのメッセージ「何かお探しですか」がタッチパネル１２１によって表示されるようにタッチパネル１２１を制御する。かかる構成によれば、オペレータが容易に対象とコミュニケーションを取ることが可能になるという効果が享受される。具体的なメッセージの内容は限定されない。

また、行動処理部１３２は、感情判断部１３１によって識別された泣きの感情値が「泣きの閾値」以上である場合には、コンテンツの例としての音声（音楽）がスピーカ１２２によって出力されるようにスピーカ１２２を制御する。かかる構成によれば、オペレータが容易に対象とコミュニケーションを取ることが可能になるという効果が享受される。具体的な音声の内容は限定されない。

管理センタ１６０は、ロボット１００を遠隔から管理する。本発明の実施形態では、管理センタ１６０によって１台のロボット１００が管理される場合を主に想定する。しかし、管理センタ１６０によって複数台のロボット１００が管理されてもよい。図１に示されるように、管理センタ１６０は、ゲートウェイ装置１６１、ネットワーク１６２、コミュニケーション部１６３、管理データベース１６５、および、複数の操作端末１６４を備える。

ゲートウェイ装置１６１は、ＩＰ網１５０に接続されている。例えば、ゲートウェイ装置１６１は、ＩＰ網１５０を介してロボット１００との間で通信を行うことが可能である。より詳細には、ゲートウェイ装置１６１は、タッチパネル１２１によって検出された操作、マイクロフォン１２３によって検出された音、接続要求、エリア監視カメラ１１１によって撮像された映像、対象の位置、対象の感情などを受信し、オペレータから発せられた音（例えば、声など）をロボット１００に送信する。

ネットワーク１６２は、管理センタ１６０の内部の機能ブロック同士の通信を中継する。ネットワーク１６２の形態は限定されない。例えば、ネットワーク１６２は、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）などを含んでもよい。

管理データベース１６５は、オペレータと感情との紐づけデータテーブル１６６（図４）を有する。なお、管理データベース１６５は、記憶装置に格納されている。ここで、記憶装置は、管理センタ１６０の動作を制御するためのプログラムを記憶している。また、記憶装置は、（管理データベース１６５を含む）各種のデータを記憶する。当該プログラムには、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）およびアプリケーションなどが含まれる。

コミュニケーション部１６３は、接続制御部１７１を備える。コミュニケーション部１６３は、ロボット１００から送信された通報がゲートウェイ装置１６１によって受信された場合、操作端末１６４に通報を送信する。上記したように、通報を受ける操作端末１６４は、あらかじめ決められていてもよいし、そのときの状況に応じて決められてもよい。

一方、コミュニケーション部１６３は、ロボット１００から送信された接続要求がゲートウェイ装置１６１によって受信された場合、接続要求に基づいてオペレータを選択する。図４は、オペレータと感情との紐づけデータテーブル１６６の構成例を示す図である。図４に示されるように、オペレータと感情との紐づけデータテーブル１６６は、「オペレータＩＤ」と「興味の閾値」、「困りの閾値」、「焦りの閾値」、「泣きの閾値」とが対応付けられてなる。

「オペレータＩＤ」は、オペレータを一意に識別するための情報である。

「興味の閾値」は、興味の感情値の閾値である。同様に、「困りの閾値」は、困りの感情値の閾値であり、「焦りの閾値」は、焦りの感情値の閾値であり、「泣きの閾値」は、泣きの感情値の閾値である。なお、オペレータに閾値が対応付けられる感情の種類は、これらに限定されない。ここでは、感情値の最小値が「０」である場合を想定しているため、図４に示された例では、オペレータＩＤ「ａａａ」には、興味の閾値「５０」のみが実質的に対応付けられ、オペレータＩＤ「ｂｂｂ」には、困りの閾値「５０」のみが実質的に対応付けられ、オペレータＩＤ「ｃｃｃ」には、焦りの閾値「５０」および泣きの閾値のみが実質的に対応付けられている。

コミュニケーション部１６３は、接続要求に含まれる各感情値のうちのある感情（第３の感情）の感情値に基づいてオペレータを選択する。かかる構成によれば、対象の感情に適したオペレータが選択され得る。ここでは、興味、困り、焦り、および、泣きそれぞれの感情値が接続要求に含まれる場合を想定する。コミュニケーション部１６３は、興味、困り、焦り、および、泣きそれぞれの感情値が、オペレータと感情との紐づけデータテーブル１６６の対応する閾値以上であるオペレータＩＤが存在する場合に、当該オペレータＩＤ（オペレータ）を選択すればよい。

コミュニケーション部１６３は、オペレータを選択すると、接続制御部１７１によってロボット１００とオペレータの操作端末１６４との接続制御を行う。例えば、接続制御部１７１による接続制御は、ＷｅｂＲＴＣ（ＷｅｂＲｅａｌ－ＴｉｍｅＣｏｍｍｕｎｉｃａｔｉｏｎ）によって実現されてもよい。ロボット１００と操作端末１６４とが接続されると、ロボット１００と操作端末１６４との間の通信が開始される（対象とオペレータとの間のコミュニケーションが開始される）。

操作端末１６４は、図示しない制御部を備える。制御部は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）などの演算装置を含み、図示しないメモリにより記憶されているプログラムがＣＰＵによりＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）に展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、制御部は、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。

操作端末１６４は、通信部１８１、操作部１８２、および、表示部１８３を有する。通信部１８１は、通信インタフェースによって構成されており、ＩＰ網１５０に接続されている。例えば、通信部１８１は、ＩＰ網１５０を介してロボット１００との間で通信を行うことが可能である。操作部１８２は、オペレータからの操作（例えば、コミュニケーション開始操作など）を検出する。

表示部１８３は、通信部１８１によって通報が受信されると、エリア監視カメラ１１１によって撮像された映像を表示する。これによって、オペレータは、敵意の感情を持つ対象を早期に監視することが可能になるという効果が享受される。

一方、操作端末１６４とロボット１００との接続がなされると、表示部１８３は、エリア監視カメラ１１１によって撮像された映像と対象の位置とに基づいて、対象が拡大された映像（拡大映像）を表示する。また、表示部１８３は、対象の各感情値を表示する。

図５は、表示部１８３によって表示されるエリア監視画面１８５の例を示す図である。図５に示されたように、一例として、表示部１８３は、エリア監視画面１８５を表示する。エリア監視画面１８５には、対象３０１の拡大映像が含まれており、当該拡大映像には、（ロボット１００に相当する）ロボット１００も写っている。ロボット１００は、拡大映像の中央に位置してもよい。なお、ロボット１００は、既に説明したように移動部１０６およびタッチパネル１２１を備える他、エリア監視カメラ１１１の例としてのカメラ１１１ａ～１１１ｄを備える。本発明の実施形態では、カメラ１１１ａ～１１１ｄそれぞれによって撮像された映像に基づいて、エリア監視画面１８５に表示されているような自由視点の映像（ロボット１００の俯瞰映像（当該ロボット１００周辺の自由視点映像であって当該ロボット１００を斜め上方向から俯瞰した映像）に、ロボット１００をかたどったグラフィック（いわゆるアバター画像）をレンダリングした、いわゆるフライングビュー（登録商標）の映像）が形成（レンダリング）されてもよい。自由視点の映像を形成する処理については、例えば、参考文献１（沖電気工業株式会社駒井英敬著，「フライングビュー」，[Online]，INTERNET，[２０１９年１０月８日検索]，<URL:https://www.oki.com/jp/iot/doc/2018/img/ceatec/ceatec_flyingview.pdf>の記載技術を適用するようにしてもよい。カメラの個数および取り付け位置などは限定されない。対象３０１の近傍には、対象３０１のＩＤと各感情値が表示されている。オペレータは、このようにして表示部１８３によって表示されたエリア監視画面１８５を見ることができる。

なお、操作端末１６４は、操作部１８２によってオペレータからのコミュニケーション開始操作が検出され、オペレータから発せられた音（例えば、声など）が操作端末１６４によって検出されると、オペレータから発せられた音がゲートウェイ装置１６１を介してロボット１００に送信されるようにゲートウェイ装置１６１を制御する。これによって、対象は、オペレータから発せられた音を聴くことができる。一方、操作端末１６４は、対象から発せられた音がロボット１００のマイクロフォン１２３によって検出された場合、対象から発せられた音を出力する。これによって、オペレータは、対象から発せられた音を聴くことができる。

以上、本発明の実施形態に係る情報処理システム１の構成について説明した。

（１－２．システムの動作）
続いて、本発明の実施形態に係る情報処理システム１の動作について説明する。図６および図７は、本発明の実施形態に係る情報処理システム１の動作例を示すフローチャートである。なお、情報処理システム１の構成について、上記のように詳細に説明したため、ここでの情報処理システム１の動作の説明は、情報処理システム１の構成の説明よりも、簡略化して行う。

まず、図６に示されるように、ロボット１００のエリア監視カメラ１１１は、周囲を撮像することによって映像を得る（Ｓ２０１）。次に、ロボット１００の感情判断部１３１は、エリア監視カメラ１１１によって得られた映像に基づいて、対象と（対象の）位置と（対象の）感情との紐づけデータを作成する（Ｓ２０２）。感情判断部１３１は、対象と（対象の）位置と（対象の）感情との紐づけデータを、対象と位置と感情の紐づけデータテーブル１４２（図２）に登録する。

行動処理部１３２は、対象と（対象の）位置と（対象の）感情との紐づけデータに基づいて、敵意の感情値が閾値以上の対象が存在するか否かを判断する（Ｓ２０３）。

敵意の感情値が閾値以上の対象が存在する場合には（Ｓ２０３において「ＹＥＳ」）、ロボット１００の通信部１０３が、ＩＰ網１５０を介して管理センタ１６０と通信を行い、管理センタ１６０の操作端末１６４に通報を行う（Ｓ２１１）。表示部１８３が、エリア監視カメラ１１１によって撮像された映像を表示すると、操作端末１６４のオペレータは、当該映像を見ることによって敵意の感情を持つ対象を監視することができる（Ｓ２１２）。

行動処理部１３２は、敵意の感情値が閾値以上の対象が存在しない場合には（Ｓ２０３において「ＮＯ」）、対象と（対象の）位置と（対象の）感情との紐づけデータに基づいて、対象の処理順序を計算する（処理順序を導出する）（Ｓ２０４）。そして、行動処理部１３２は、対象の処理順序を、対象と位置と感情の紐づけデータテーブル１４２（図２）に登録する。

続いて、行動処理部１３２は、対象と（対象の）位置と（対象の）感情との紐づけデータから、処理順序が最高値のデータ（処理順序が最も早いデータ）を選択する（Ｓ２０５）。なお、以下の動作では、処理順序が最高値のデータについての処理のみが実行される場合を説明するが、上記したように、処理順序が早い順に所定数の処理が実行されてもよいし、処理順序が早い順に全部の処理が実行されてもよい。

続いて、図７に示されるように、行動処理部１３２は、選択した対象が視線をロボット１００に向けているか否かを判断する（Ｓ２０６）。対象が視線をロボット１００に向けているか否かは、対象の視線の感情値が閾値以上であるか否かによって判断され得る。行動処理部１３２は、対象が視線をロボット１００に向けていると判断した場合（Ｓ２０６において「ＹＥＳ」）、ロボット１００が対象にロボット１００の正面を見せるようにロボット１００を制御する（Ｓ２２１）。その代わりに、上記したように、行動処理部１３２は、タッチパネル１２１を対象に近づけるようロボット１００を制御してもよい。行動処理部１３２は、Ｓ２０７に進む。

一方、行動処理部１３２は、対象が視線をロボット１００に向けていないと判断した場合（Ｓ２０６において「ＮＯ」）、Ｓ２０７に進む。行動処理部１３２は、Ｓ２０７に進むと、ロボット１００が対象に接近する必要があるかを判断する（Ｓ２０７）。行動処理部１３２は、ロボット１００が対象に接近する必要があると判断した場合（Ｓ２０７において「ＹＥＳ」）、ロボット１００が対象に接近するように移動部１０６を制御する（Ｓ２２２）。行動処理部１３２は、Ｓ２０８に進む。

一方、行動処理部１３２は、ロボット１００が対象に接近する必要がないと判断した場合（Ｓ２０７において「ＮＯ」）、Ｓ２０８に進む。行動処理部１３２は、Ｓ２０８に進むと、管理センタ１６０で対応する必要があるかを判断する（Ｓ２０８）。行動処理部１３２が、管理センタ１６０で対応する必要があると判断した場合（Ｓ２０８において「ＹＥＳ」）、通信部１０３は、ＩＰ網１５０を介して管理センタ１６０と通信し、コミュニケーション部１６３によって、対象の感情と、オペレータと感情との紐づけデータテーブル１６６（図４）とに基づいて選択されたオペレータの操作端末１６４に接続する（Ｓ２２３）。

続いて、操作端末１６４は、エリア監視カメラ１１１によって撮像された映像と対象の位置とに基づいて、対象の映像をエリア監視画面１８５（図５）に拡大表示する（Ｓ２２４）。これによって、オペレータは、対象を監視しつつ、対象に向けた音声（例えば、アドバイスなど）を発することができる。ロボット１００の行動処理部１３２は、感情とコンテンツとの紐づけデータテーブル１４３（図３）から、対象の各感情値が合致するデータ（処理判断データ）を取得する。そして、行動処理部１３２は、取得した処理判断データに従い、コンテンツをタッチパネル１２１に表示させるとともに、スピーカ１２２からオペレータの音声を出力させる（Ｓ２２５）。

一方、行動処理部１３２は、管理センタ１６０で対応する必要がないと判断した場合（Ｓ２０８において「ＮＯ」）、感情とコンテンツとの紐づけデータテーブル１４３（図３）から、対象の各感情値が合致するデータ（処理判断データ）を取得する。そして、行動処理部１３２は、取得した処理判断データに従い、コンテンツをタッチパネル１２１に表示させるとともに、スピーカ１２２からあらかじめ登録されている音声（自動音声）を出力させる（Ｓ２０９）。

以上、本発明の実施形態に係る情報処理システム１の動作について説明した。

（２．ハードウェア構成例）
続いて、本発明の実施形態に係るロボット１００のハードウェア構成例について説明する。ただし、本発明の実施形態に係る管理センタ１６０のハードウェア構成例も同様に実現され得る。

以下では、本発明の実施形態に係るロボット１００のハードウェア構成例として、情報処理装置９００のハードウェア構成例について説明する。なお、以下に説明する情報処理装置９００のハードウェア構成例は、ロボット１００のハードウェア構成の一例に過ぎない。したがって、ロボット１００のハードウェア構成は、以下に説明する情報処理装置９００のハードウェア構成から不要な構成が削除されてもよいし、新たな構成が追加されてもよい。

図８は、本発明の実施形態に係るロボット１００の例としての情報処理装置９００のハードウェア構成を示す図である。情報処理装置９００は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）９０１と、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）９０２と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）９０３と、ホストバス９０４と、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力装置９０８と、出力装置９０９と、ストレージ装置９１０と、通信装置９１１と、を備える。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバス等から構成されるホストバス９０４により相互に接続されている。

ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（ＰｅｒｉｐｈｅｒａｌＣｏｍｐｏｎｅｎｔＩｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス９０６に接続されている。なお、必ずしもホストバス９０４、ブリッジ９０５および外部バス９０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置９０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバー等ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路等から構成されている。情報処理装置９００を操作するユーザは、この入力装置９０８を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置９０９は、例えば、ＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（ＯｒｇａｎｉｃＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）装置、ランプ等の表示装置およびスピーカ等の音声出力装置を含む。

ストレージ装置９１０は、データ格納用の装置である。ストレージ装置９１０は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置９１０は、例えば、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）で構成される。このストレージ装置９１０は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。

通信装置９１１は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１１は、無線通信または有線通信のどちらに対応してもよい。

以上、本発明の実施形態に係るロボット１００のハードウェア構成例について説明した。

（３．まとめ）
以上に説明したように、本発明の実施形態によれば、エリア監視カメラ１１１（撮像部）によって撮像された映像に基づいて映像に写る対象の感情を識別する感情判断部１３１（感情識別部）と、感情判断部１３１によって識別された感情に対応した処理を行う行動処理部１３２（処理部）と、を備える、ロボット１００（機器）が提供される。かかる構成によれば、対象にとってより利便性の高い処理を行うことが可能となる。

行動処理部１３２は、感情のうちの敵意の感情値が第１の閾値以上である対象が存在する場合には、オペレータの操作端末１６４に通報されるように通信部１０３を制御してもよい。かかる構成によれば、オペレータが敵意の感情を持つ対象を早期に監視することが可能になるという効果が享受される。さらに、行動処理部１３２は、敵意の感情値が第１の閾値以上である対象が存在する場合には、映像が操作端末１６４に送信されるように通信部１０３を制御してもよい。

行動処理部１３２は、感情のうちの視線の感情値が第２の閾値以上である対象が存在する場合には、ロボット１００によって対象の位置に基づく所定の動作がなされるようにロボット１００を制御してもよい。かかる構成によれば、ロボット１００によって対象の存在が認識されたことを早期に対象に知らせることが可能になるという効果が享受される。ここで、視線の感情値は、視線とロボット１００との位置関係に基づいて識別されてもよい。

行動処理部１３２は、感情のうちの第１の感情の感情値が第１の条件（ロボット１００を対象に接近させる必要のある条件）を満たす場合には、ロボット１００が対象に接近するように移動部１０６を制御してもよい。かかる構成によれば、ロボット１００が対象とコミュニケーションを取り始めるまでの時間を短縮することが可能になるという効果が享受される。

行動処理部１３２は、感情のうちの第２の感情の感情値が第２の条件（管理センタ１６０で対応する必要がある条件）を満たす場合には、ロボット１００と操作端末１６４とが接続されるように通信部１０３を制御してもよい。ここで、ロボット１００と接続される操作端末１６４は、感情のうちの第３の感情の感情値に基づいて選択されてもよい。かかる構成によれば、対象の感情に適したオペレータが選択され得る。

ここで、行動処理部１３２は、ロボット１００とオペレータの操作端末１６４とが接続された後、操作端末１６４から受信されたオペレータによって発せられた音声が出力されるようにスピーカ１２２を制御してもよい。対象は、オペレータによって発せられた音声を聴くことが可能になる。かかる構成によれば、オペレータが容易に対象とコミュニケーションを取ることが可能になるという効果が享受される。

行動処理部１３２は、第２の感情の感情値が第２の条件を満たす場合には、第２の条件に対応するコンテンツが表示されるようにロボット１００が備えるタッチパネル１２１（表示装置）を制御してもよい。かかる構成によれば、対象は、表示されたコンテンツを見ることが可能になる。あるいは、行動処理部１３２は、第２の感情の感情値が第２の条件を満たす場合には、映像が操作端末１６４に送信されるように通信部１０３を制御してもよい。かかる構成によれば、オペレータは、対象の映像を監視することが可能になる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記では、行動処理部１３２が、敵意の感情を持つ対象が存在する場合に、オペレータの操作端末１６４に通報されるように制御し、エリア監視カメラ１１１によって撮像された映像が操作端末１６４に送信されるように制御する例を説明した。このとき、行動処理部１３２は、他のセンサによって得られたセンシングデータも操作端末１６４に送信されるように制御してもよい。より詳細に、行動処理部１３２は、敵意の感情を持つ対象の回りに存在する他のセンサを起動して敵意の感情を持つ対象を監視させてもよいし、既にセンサを用いて監視を行っている他のロボットが存在すれば、当該他のロボットのセンサによって敵意の感情を持つ対象を監視するようにしてもよい。

本発明の実施形態に係るロボット１００は、様々な分野の業務を行い得る。例えば、ロボット１００は、警備業の分野において警備員が手動にて行っていた業務を代行することも可能である。例えば、ロボット１００が対象の感情に対応する処理を行うことによって、簡易に対象を監視することができる（例えば、迷子になってしまった対象を簡易に識別することが可能となる）。

（ロボット自立走行）
本発明の実施形態に係るロボット１００は、自立走行を行う。例えば、ロボット１００は、図９に示される走行ルート情報に基づき、自立走行を行う。ここで、走行ルート情報は、地図（マップ）情報、ルート情報（ルート１）、初期位置情報（Ａ）、目標位置情報（Ｂ）等に基づき形成されている情報である。地図（マップ）情報は、床および壁の位置などを含んでよい。ロボット１００は、記憶装置やｍｉｃｒｏＳＤカード（図示省略）等に予め設定された走行ルート情報を保持してもよいし、ネットワークを介して走行ルート情報をダウンロードしてもよい。ここでは、図９に示されたように、走行ルート情報が、二次元情報（縦横で表された地図（マップ）情報、ルート情報、初期位置情報、目標位置情報等に基づき形成される情報）である場合を主に想定する。しかし、走行ルート情報は、三次元情報（縦横高さで表された地図（マップ）情報、ルート情報、初期位置情報、目標位置情報等に基づき形成される情報)であってもよい。

（ロボット自立走行における障害物検知）
本発明の実施形態に係るロボット１００は、走行路上で障害物を検知することが可能である。例えば、ロボット１００は、エリア監視カメラ１１１によって得られた撮像情報に基づき障害物検知を行ってもよいし、センサ部（超音波センサやミリ波レーダー等）によって取得されたセンサ情報に基づき障害物検知を行ってもよいし、撮像情報とセンサ情報とに基づき障害物検知を行ってもよい。

（ロボット自立走行における障害物回避）
本発明の実施形態に係るロボット１００は、走行路上で障害物検知を行うと、障害物回避を試みる。ロボット１００は、例えば、現在ルート(図１０のルート１)に障害物を検知した場合、走行ルート情報に基づき、現在ルート(図１０のルート１)において障害物を回避できるルート補正候補を識別し現在ルート内で障害物を回避するルート補正（図１０のルート１)、現在ルートとは別に設定された代替ルートを識別し代替ルートで障害物を回避する静的代替ルート補正（図１０のルート２）、現在ルートとは別にＡＩ（ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｔ）で発見した代替ルートを識別し代替ルートで障害物を回避する動的代替ルート補正（図１０のルート３)、等により回避できるか否かを判断する。

ここで、現在ルートにおいて障害物を回避できるルート補正候補を識別し現在ルート内で障害物を回避するルート補正について説明する。例えば、ロボット１００が、現在ルート（図１１のルート１）を自立走行中、ある地点（図１１のＣ）で障害物を発見したとする（図１２）。すると、ロボット１００は、撮像情報とセンサ情報とに基づき、自身が自立走行中の現在ルートと障害物との位置関係を識別すると共に、通行可能なスペースの幅や高さを識別して自身の通行可否を識別し、現在ルートにおいて障害物を回避できるルート補正候補を識別する（図１３）。そして、ロボット１００は、現在ルートにおいて障害物を回避できるルート補正候補に従って、現在ルート内で障害物を回避するルート補正（図１４のルート補正後ルート１）を行う。

ここで、現在ルートとは別にＡＩで発見した代替ルートを識別し代替ルートで障害物を回避する動的代替ルート補正について説明する。例えば、ロボット１００が、現在ルート(図１１のルート１)を自立走行中、ある地点（図１１のＣ）で障害物を発見したとする（図１２）。すると、ロボット１００は、走行ルート情報に基づき、障害物を発見した地点（図１１のＣ）から目標位置（図１１のＢ）に通ずる最短ルートを導出する。例えば、ロボット１００は、ＡＩにより、ＲＲＴ（Ｒａｐｉｄｌｙｅｘｐｌｏｒｉｎｇｒａｎｄｏｍｔｒｅｅ）アルゴリズムなどに基づき障害物を発見した地点（図１１のＣ）から目標位置（図１１のＢ）までの最短ルートを導出する。このとき、ロボット１００は、障害物を発見した地点（図１１のＣ）から目標位置（図１１のＢ）に通ずる純粋な最短ルートを導出してもよいし、障害物を発見した地点（図１１のＣ）から障害物を回避しつつ現在ルートに戻り目標位置（図１１のＢ）に通ずる最短ルートを導出してもよい。

そして、ロボット１００は、現在ルートとは別にＡＩで発見した代替ルートを識別し代替ルートで障害物を回避する動的代替ルート補正（図１０のルート３）を行う。なお、図１０のルート３は、障害物を発見した地点（図１１のＣ）から目標位置（図１１のＢ）に通ずる純粋な最短ルートであり、障害物を発見した地点（図１１のＣ）から障害物を回避しつつ現在ルートに戻り目標位置（図１１のＢ）に通ずる最短ルートである。

（ロボット自立走行における障害物検知時オペレータ通知）
本発明の実施形態に係るロボット１００は、障害物検知時にオペレータに通知を行う。このとき、例えば、ロボット１００は、障害物回避できるか否かに係わらず、障害物検知時にオペレータに通知を行ってよい。さらに、ロボット１００は、オペレータへの通知に際し、識別した障害物情報（ダンボール、倒木、危険物などの障害物を表す情報）をオペレータに通知してもよい。

ここで、迂回可否の識別結果とロボット１００のアクションとの対応関係をまとめると、図１５のようになる。

（オペレータ遠隔操作）
本発明の実施形態に係るロボット１００は、障害物検知を行い、自立走行（身動き）できなくなってしまった場合、オペレータにその旨（自立走行できないことや発見した障害物について)を通知し、遠隔操作モードに移行し、オペレータによる迂回ルート設定をできるようにしてもよい。遠隔操作モードへの移行は、ロボット１００がオペレータの操作端末１６４に対し、遠隔操作モードへの移行通知を行ってオペレータが操作端末１６４に対して移行操作をすることでなされ得る。

遠隔操作モードに移行すると、オペレータは、操作端末１６４に表示されるエリア監視画面でロボット１００の周辺監視を行えるようになり、ロボット１００が置かれている状態を観察できるようになる。ここで、遠隔操作モードにおいて、オペレータは迂回ルートを設定する。例えば、ロボット１００が、図１１のＣの位置で障害物を発見し、遠隔操作モードに至った場合、オペレータは、操作端末１６４に表示される画面（図１６や図１７）において、走行ルート情報を呼び出し新たなルート（図１８の手動ルート）を設定する。この場合、ロボット１００は、設定に基づき、障害物を発見した位置（図１１のＣ）から初期位置（図１１のＡ）に移動し、新たなルート（図１８の手動ルート）で目標位置（図１８のＢ）に向かって走行する。

なお、オペレータは、遠隔操作モードで新たなルートを設定後、新たなルートで目標位置に向かって走行しているロボット１００の視線の映像を閲覧してもよい。図１９は、障害物を発見した位置（図１１のＣ）から初期位置（図１１のＡ）に移動し、新たなルート（図１８の手動ルート）で目標位置（図１８のＢ）に向かって走行するロボット１００の視線の映像であって、図１８のＡの位置の映像である。

（エリア監視画面）
エリア監視画面に表示される映像は、ロボット１０００の視線の映像であってもよいし、上記したように形成された自由視点の映像であってもよい。あるいは、エリア監視画面上で、エリア監視画面に表示される映像をロボット１００の視線の映像にするか、自由視点の映像にするかをオペレータが切り替え可能であってもよい。

１情報処理システム
１００ロボット（機器）
１０１ネットワーク
１０２監視部
１０３通信部
１０４コミュニケーション部
１０５人工知能部
１０６移動部
１１１エリア監視カメラ
１２１タッチパネル
１２２スピーカ
１２３マイクロフォン
１３１感情判断部
１３２行動処理部
１４１制御データベース
１４２対象と位置と感情との紐づけデータテーブル
１４３感情とコンテンツとの紐づけデータテーブル
１５０ＩＰ網
１６０管理センタ
１６１ゲートウェイ装置
１６２ネットワーク
１６３コミュニケーション部
１６４操作端末
１６５管理データベース
１６６オペレータと感情との紐づけデータテーブル
１７１接続制御部
１８１通信部
１８２操作部
１８３表示部
１８５エリア監視画面
３０１対象

Claims

複数の撮像部によって撮像された映像に基づいて前記映像に写る対象の感情を識別する感情識別部と、
前記感情識別部によって識別された感情に対応した処理を行う処理部と、
を備える、機器であって、
前記処理部は、前記感情のうちの敵意の感情値が第１の閾値以上である対象が存在する場合には、前記複数の撮像部によって撮像された映像に基づいて、前記機器を斜め上方向から俯瞰した俯瞰映像に前記機器をかたどったグラフィックをレンダリングした自由視点映像を生成し、前記自由視点映像がオペレータの操作端末に送信されるように通信部を制御する、
機器。
前記処理部は、前記感情のうちの視線の感情値が第２の閾値以上である対象が存在する場合には、前記機器によって前記対象の位置に基づく所定の動作がなされるように前記機器を制御する、
請求項１に記載の機器。
前記視線の感情値は、前記視線と前記機器との位置関係に基づいて識別される、
請求項２に記載の機器。
前記処理部は、前記感情のうちの第１の感情の感情値が第１の条件を満たす場合には、前記機器が前記対象に接近するように移動部を制御する、
請求項１に記載の機器。
前記処理部は、前記感情のうちの第２の感情の感情値が第２の条件を満たす場合には、前記機器と前記操作端末とが接続されるように前記通信部を制御する、
請求項１に記載の機器。
前記機器と接続される前記操作端末は、前記感情のうちの第３の感情の感情値に基づいて選択される、
請求項５に記載の機器。
前記処理部は、前記機器と前記操作端末とが接続された後、前記操作端末から受信された前記オペレータによって発せられた音声が出力されるようにスピーカを制御する、
請求項５に記載の機器。
前記処理部は、前記第２の感情の感情値が前記第２の条件を満たす場合には、前記第２の条件に対応するコンテンツが表示されるように前記機器が備える表示装置を制御する、
請求項５に記載の機器。
前記処理部は、前記第２の感情の感情値が前記第２の条件を満たす場合には、前記自由視点映像が前記操作端末に送信されるように前記通信部を制御する、
請求項５に記載の機器。
複数の撮像部によって撮像された映像に基づいて前記映像に写る対象の感情を識別することと、
前記感情に対応した処理を行うことと、
前記感情のうちの敵意の感情値が第１の閾値以上である対象が存在する場合には、前記複数の撮像部によって撮像された映像に基づいて、機器を斜め上方向から俯瞰した俯瞰映像に前記機器をかたどったグラフィックをレンダリングした自由視点映像を生成し、前記自由視点映像がオペレータの操作端末に送信されるように通信部を制御することと、
を含む、情報処理方法。
コンピュータを、
複数の撮像部によって撮像された映像に基づいて前記映像に写る対象の感情を識別する感情識別部と、
前記感情識別部によって識別された感情に対応した処理を行う処理部と、
を備える機器であって、
前記処理部は、前記感情のうちの敵意の感情値が第１の閾値以上である対象が存在する場合には、前記複数の撮像部によって撮像された映像に基づいて、前記機器を斜め上方向から俯瞰した俯瞰映像に前記機器をかたどったグラフィックをレンダリングした自由視点映像を生成し、前記自由視点映像がオペレータの操作端末に送信されるように通信部を制御する、
機器として機能させるためのプログラム。
機器と管理センタとを有する情報処理システムであって、
前記機器は、
複数の撮像部によって撮像された映像に基づいて前記映像に写る対象の感情を識別する感情識別部と、
前記感情のうちの所定の感情値が所定の条件を満たす場合には、前記機器とオペレータの操作端末とが接続されるように通信部を制御する処理部と、を備え、
前記処理部は、前記感情のうちの敵意の感情値が第１の閾値以上である対象が存在する場合には、前記複数の撮像部によって撮像された映像に基づいて、前記機器を斜め上方向から俯瞰した俯瞰映像に前記機器をかたどったグラフィックをレンダリングした自由視点映像を生成し、前記自由視点映像がオペレータの操作端末に送信されるように通信部を制御し、
前記管理センタは、
前記感情に基づいて前記オペレータを選択するコミュニケーション部を備える、
情報処理システム。
複数の撮像部によって撮像された映像に基づいて前記映像に写る対象の感情を識別することと、
前記感情のうちの所定の感情値が所定の条件を満たす場合には、機器と前記感情に基づいて選択されたオペレータの操作端末とが接続されるように通信部を制御することと、
前記感情のうちの敵意の感情値が第１の閾値以上である対象が存在する場合には、前記複数の撮像部によって撮像された映像に基づいて、前記機器を斜め上方向から俯瞰した俯瞰映像に前記機器をかたどったグラフィックをレンダリングした自由視点映像を生成し、前記自由視点映像がオペレータの操作端末に送信されるように通信部を制御することと、
を有する、情報処理システムの方法。