[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2018097710A - ロボット制御システム - Google Patents

ロボット制御システム

Info

Publication number
JP2018097710A
JP2018097710A JP2016243027A JP2016243027A JP2018097710A JP 2018097710 A JP2018097710 A JP 2018097710A JP 2016243027 A JP2016243027 A JP 2016243027A JP 2016243027 A JP2016243027 A JP 2016243027A JP 2018097710 A JP2018097710 A JP 2018097710A
Authority
JP
Japan
Prior art keywords
robot
information
map
place
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016243027A
Other languages
English (en)
Other versions
JP7095220B2 (ja
Inventor
良太 水谷
Ryota Mizutani
良太 水谷
タプリヤ ローシャン
Roshan Thapliya
タプリヤ ローシャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2016243027A priority Critical patent/JP7095220B2/ja
Publication of JP2018097710A publication Critical patent/JP2018097710A/ja
Application granted granted Critical
Publication of JP7095220B2 publication Critical patent/JP7095220B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】移動可能なロボットを、当該ロボットのセンサでは特定できない、ロボットを通過させるべきではない場所を考慮した移動経路に沿って移動制御を行うこと。【解決手段】ロボット制御システムは、移動可能なロボット、と、ロボットが移動する領域の地図を記憶する記憶手段426と、領域の環境情報を取得する取得手段421と、取得された環境情報を用いて地図上の、ロボットを通過させるべきではない場所の情報を更新する更新手段422と、ロボットの現在位置から目的地までの経路を、更新された地図を参照して探索する探索手段423と、探索された経路に沿ってロボットが移動するよう制御する制御手段と、を備える。【選択図】図7

Description

本発明は、ロボット制御システムに関する。
特許文献1には、ある環境中に多数の探索ロボットを配置し、各探索ロボットはカメラで周囲の画像を撮影して画像の特徴を抽出し、監督ロボットがその特徴を集めて顕著性を検出し各探索ロボットに通知し、探索ロボットは回転アンテナによって顕著な画像を見た探索ロボットの位置を知って移動手段で移動し、結果として、他とは異なる特徴を有する対象物を見た探索ロボットの周囲に他の探索ロボットが集まる、群ロボットシステムが開示されている。
特許文献2には、ナビゲータロボット(自律ロボット)と機能ロボット(非自律ロボット)とからなるシステムが開示されている。ナビゲータロボットは、マッピング、位置確認、計画、及び制御の4つの主要なタスクを行い、機能ロボットは、掃除機がけ、掃き掃除、モップがけ、等のタスクを実行する。ナビゲータロボットは、機能ロボットが障害物の周りを移動する際に機能ロボットを操作する。
特開2007−287071号公報 特許第4951180号公報
本発明の目的は、移動可能なロボットを、当該ロボットのセンサでは特定できない、ロボットを通過させるべきではない場所を考慮した移動経路に沿って移動制御を行うことが可能なロボット制御システムを提供することである。
請求項1記載の発明は、
移動可能なロボットと、
ロボットが移動する領域の地図を記憶する記憶手段と、
前記領域の環境情報を取得する取得手段と、
取得された環境情報を用いて前記地図上の、ロボットを通過させるべきではない場所の情報を更新する更新手段と、
ロボットの現在位置から目的地までの経路を、更新された地図を参照して探索する探索手段と、
探索された経路に沿って前記ロボットが移動するよう制御する制御手段と、
を備えたロボット制御システムである。
また、請求項2に記載の発明は、請求項1記載のロボット制御システムに係り、前記更新手段は、前記取得手段によって取得された環境情報に基づいて、人が密集している場所、打ち合わせが行われている場所、集中して作業を行っている人がいる場所、衝突危険性の高い場所の少なくとも1つを、ロボットを通過させるべきではない場所として更新する。
また、請求項3に記載の発明は、請求項1又は2記載のロボット制御システムに係り、前記探索手段は、前記地図上の、ロボットを通過させるべきではない場所を回避する経路を探索する。
また、請求項4に記載の発明は、請求項1又は2記載のロボット制御システムに係り、前記制御手段は、前記ロボットが前記地図上の、ロボットを通過させるべきではない場所の近辺を走行する際に、速度を低下させて移動するよう前記ロボットを制御する。
また、請求項5に記載の発明は、請求項2記載のロボット制御システムに係り、前記更新手段は、取得された環境情報を用いて前記地図上の衝突危険性の高い場所における衝突危険性の度合いを動的に更新し、前記制御手段は、前記ロボットが前記地図上の、衝突危険性の高い場所の近辺を走行する際に、前記更新手段により更新された衝突危険性の度合いに応じて速度を低下させて移動するよう前記ロボットを制御する。
また、請求項6に記載の発明は、請求項1から5いずれかに記載のロボット制御システムに係り、前記取得手段は、前記環境情報として、前記領域に存在する人の生体情報を取得する。
請求項1に記載のロボット制御システムの発明によれば、移動可能なロボットを、当該ロボットのセンサでは特定できない、ロボットを通過させるべきではない場所を考慮した移動経路に沿って移動制御を行うことが可能なロボット制御システムを提供することが可能となる。
請求項2に記載のロボット制御システムの発明によれば、移動可能なロボットを、人が密集している場所、打ち合わせが行われている場所、集中して作業を行っている人がいる場所、衝突危険性の高い場所を考慮した移動経路に沿って移動制御を行うことが可能となる。
請求項3に記載のロボット制御システムの発明によれば、移動可能なロボットを、当該ロボットのセンサでは特定できない、ロボットを通過させるべきではない場所を回避するような移動経路に沿って移動制御を行うことが可能となる。
請求項4に記載のロボット制御システムの発明によれば、移動可能なロボットが人や他の障害物に衝突する可能性を、本発明の構成を有さないシステムに比べて、低くすることが可能となる。
請求項5に記載のロボット制御システムの発明によれば、移動可能ロボットが衝突危険性のより高い場所の付近を走行する際により速度を低下させて走行するような移動制御を行うことが可能となる。
請求項6に記載のロボット制御システムの発明によれば、移動可能ロボットのセンサでは特定できない、人の精神状態に応じて、移動可能ロボットを迂回させる移動経路に沿って当該ロボットの移動制御を行うことが可能となる。
本発明の実施形態に係るロボット制御システム100の一例を示す全体概略図である。 対話型ロボット20のハードウェア構成図である。 対話型ロボット20の機能ブロック図である。 サービス実行ロボット20のハードウェア構成図である。 サービス実行ロボット20の機能ブロック図である。 制御サーバ40のハードウェア構成図である。 制御サーバ40の機能ブロック図を示す。 制御サーバ40の地図記憶部426に記憶されたワークプレイス10の地図、および経路情報処理部423によって探索された対話型ロボット20Aの移動経路の一例を示す説明図である。 制御サーバ40における移動制御の流れを示すフローチャートである。 図8の地図に対して地図更新情報を反映させるとともに、変更された移動経路の一例を示す説明図である。 制御サーバ40からロボット派遣指示を受信した対話型ロボット20Aにおける制御の流れを示すフローチャートである。
本発明の一実施形態のロボット制御システムを、図1を参照して説明する。本実施形態のロボット制御システム100は、オフィスビルの一つのフロア(一つの階)等の比較的大きな所定の領域10(以下、ワークプレイスという)に配置される複数の対話型ロボット20と、複数のサービス実行ロボット30、制御サーバ40、ワークプレイス10の天井や壁に配置される複数の環境センサ50と、を備えて構成され、制御サーバ40は、各対話型ロボット20、各サービス実行ロボット30、及び環境センサ50にネットワーク60によって接続される。環境センサ50は、RGBカメラ、深度センサ、複数のマイクロフォン等(それぞれ図示せず)を含んで構成される。それぞれの環境センサ50は、ワークプレイス10を構成する特定の部分(例えば、特定の通路、部屋)に関する環境情報を検出し、その情報を制御サーバ40に送信する。制御サーバ40と各対話型ロボット20、各サービス実行ロボット30とは、ワークプレイス10の壁面等に設置されたアクセスポイント70を介して無線ネットワークにより接続される。
また、ワークプレイス10には複数の利用者80が存在するが、本実施形態では、利用者80は、ワークプレイス10内で業務を行うオフィスワーカーである。それぞれの利用者80は、ウェアラブルセンサ55を腕等に装着しており、各ウェアラブルセンサ55はアクセスポイント70を介して制御サーバ40と接続される。ウェアラブルセンサ55は生体センサであり、利用者80の脈拍、皮膚の導電率、体温を測定し、それらの生体情報を環境情報として制御サーバ40に送信する。
ここで、図2、3を参照して、本実施形態の対話型ロボット20について説明する。図2は対話型ロボット20のハードウェア構成図である。図2に示すように、対話型ロボット20は、制御用マイクロプロセッサ210、メモリ211、ハードディスク・ドライブ(HDD)やソリッド・ステート・ドライブ(SSD)等の記憶装置212、通信インタフェース213、カメラ214、マイクロフォン215、スピーカ216、移動装置217を備えて構成され、それぞれ制御バス218に接続されている。
制御用マイクロプロセッサ210は、記憶装置212に記憶された制御プログラムを実行することにより対話型ロボット20の各部の動作を制御統括する。メモリ211には、制御サーバ40から受信するロボット派遣指示、後述する派遣指示解釈部によって生成される制御情報が一時的に記憶される。さらに、メモリ211には、対話型ロボット20のカメラ241が撮影した周囲の状況、例えば壁や天井、障害物の画像、対話型ロボット20が利用者80と対話を行った際にカメラ241が撮影した利用者80の表情、挙動、身体の状態の画像、対話時の対話の音声、対話内容が一時的に記憶される。
記憶装置212には対話型ロボット20の各部を制御するための制御プログラムが記憶される。通信インタフェース213は、対話型ロボット20がアクセスポイント70を介して制御サーバ40や他の対話型ロボット20或いはサービス実行ロボット30と通信を行うための通信制御を行う。
カメラ214は、対話型ロボット20の周囲の状況を撮影し、メモリ211に記憶する。また、利用者80と対話を行った際に、利用者80の表情、挙動、身体の状態の変化等を撮影し、メモリ211に記憶する。また、マイクロフォン215は、利用者と対話を行った際に、利用者の音声を検出し、メモリ211に記憶、つまり録音する。なお、メモリ211には、音声を直接録音するのではなく、音声内容を解釈した後の対話内容を記憶させてもよい。スピーカ216は、対話型ロボット20の後述する対話制御部が生成した音声を出力する。移動装置217は、対話型ロボット20を任意の場所に移動させるのに必要な車輪やモータ等の駆動装置により構成される。なお、移動装置217は現在位置を検出するためのGPS受信装置を含んでいてもよい。
図3は、対話型ロボット20の機能ブロック図を示す。対話型ロボット20は、記憶装置212に記憶されている制御プログラムを制御用マイクロプロセッサ210において実行することにより、図3に示されるように、派遣指示受信部220、派遣指示解釈部221、現在位置検出部222、移動制御部223、周囲状況検出部224、周囲状況通知部225、対話制御部226として機能する。
派遣指示受信部220は、制御サーバ40からロボット派遣指示情報を受信する。ロボット派遣指示情報には、実行すべきなのはどんなサービスか(対話型ロボット20の場合にはどんな対話サービスを提供するのか)、誰に対して提供するのか(サービス提供相手)、いつ提供するのか(サービス提供の時期)、どこで提供するのか(サービス提供場所)といった情報、および制御サーバ40において探索された、対話型ロボット20の現在位置からサービス提供場所である目的地までの移動経路情報が含まれる。派遣指示受信部220は、受信したロボット派遣指示情報をメモリ211に一時的に記憶する。また、派遣指示受信部220は、目的地に向かって移動中に制御サーバ40から送信されてきた更新された移動経路情報を受信し、メモリ211に記憶する。
派遣指示解釈部221は、受信したロボット派遣指示情報を解釈し、対話型ロボット20の各部を動作させる具体的な制御情報を生成する。制御情報には、どのような内容の対話を行うのか、および移動経路に沿ってどのように対話型ロボット20を移動させるのかに関する情報が含まれており、メモリ211に一時的に記憶される。
現在位置検出部222は、対話型ロボット20の現在位置を検出する。具体的には、現在位置検出装置222は、移動装置217の車輪の回転角の情報に基づいて対話型ロボット20の移動距離と移動方向を算出し、記憶装置212に記憶された地図(不図示)から得られる情報と、カメラ214で撮影した壁や通路等の画像とを比較することによって対話型ロボット20の現在位置を検出する。なお、移動装置217がGPS受信装置を含んでいる場合には、GPS信号を解析することにより現在位置を検出してもよい。移動制御部223は、現在位置検出部222によって特定される現在位置を参照しつつ移動装置217の動作を制御し、制御サーバ40から受信した移動経路情報に沿って対話型ロボット20を移動させる。
周囲状況検出部224は、カメラ214によって撮影した対話型ロボット20の周囲の状況を解析し、障害物、他のロボット、人が存在するか否か、およびそれらの位置を判断し、その情報をメモリ211に記憶する。周囲状況通知部225は、周囲状況検出部224によって検出された周囲の状況についての情報、例えば、障害物、人、他のロボットの存在の有無やそれらの位置についての情報を、環境情報として制御サーバ40に送信する。
対話制御部226は、派遣指示解釈部221で解釈された派遣指示に含まれる対話内容に基づいて対話型ロボット20が利用者80と行う対話を制御するとともに、利用者80に対する応答内容を生成する。具体的には、対話制御部226は、派遣指示に含まれる対話内容に応じて応答メッセージを生成し、スピーカ216に出力する。
次に、図4、5を参照して、本実施形態のサービス実行ロボット30について説明する。サービス実行ロボット30は、例えば、運搬ロボット、ディスプレイロボット、プロジェクタロボット等である。なお、図4、5においては、サービス実行ロボットとして、ディスプレイロボットを例示して説明する。図4は、本実施形態のサービス実行ロボット30のハードウェア構成図である。サービス実行ロボット30は、制御用マイクロプロセッサ310、メモリ311、記憶装置312、通信インタフェース313、カメラ314、マイクロフォン315、移動装置316、表示装置317、入力装置318を備えて構成され、それぞれ制御バス319に接続されている。
制御用マイクロプロセッサ310は、記憶装置312に記憶された制御プログラムを実行することによりサービス実行ロボット30の各部の動作を制御統括する。メモリ311は、通信インタフェース313を介して制御サーバ40から受信したロボット派遣指示、および後述する派遣指示解釈部によって生成される制御情報が一時的に記憶される。さらにメモリ311には、サービス実行ロボット30のカメラ314が撮影した周囲の状況、例えば壁や天井、障害物の画像、さらにマイクロフォン315が検出した音声等も一時的に記憶される。
記憶装置312は、ハードディスク・ドライブ(HDD)やソリッド・ステート・ドライブ(SSD)等であり、サービス実行ロボット30を制御するための制御プログラムが記憶されている。通信インタフェース313は、サービス実行ロボット30がアクセスポイント70及びネットワーク60を介して制御サーバ40と通信を行うための通信制御を行う。
カメラ314は、サービス実行ロボット30が移動する際に、周囲の状況を撮影したり、利用者80がサービス実行ロボット30の表示装置317の前に立ってテレビ電話をかける、というような場合に利用者80の顔を撮影したりする。カメラ314によって撮影された画像はメモリ211に一時的に記憶される。マイクロフォン315は、利用者80の音声等を検出し、メモリ211に一時的に記憶する。移動装置316は、サービス実行ロボット30を任意の場所に移動させるのに必要な車輪やモータ等の駆動装置、及びGPS受信装置等の現在位置検出装置で構成される。
表示装置317は、液晶ディスプレイ、液晶ディスプレイの角度や高さを変えるための調節装置等で構成され、記憶装置312に記憶された情報や、通信インタフェース313、アクセスポイント70、及びネットワーク60を介して制御サーバ40やインターネット等から取得した情報を、液晶ディスプレイ上に表示する。入力装置318は、表示装置317を構成する液晶ディスプレイの表面に配置されたタッチパネルであり、利用者80が表示装置317に表示された情報を視認しながらタッチパネルの所定箇所に触れることにより、必要な情報を入力することができる。
図5は、サービス実行ロボット30の機能ブロック図を示す。サービス実行ロボット30は、記憶装置312に記憶されている制御プログラムを制御用マイクロプロセッサ310において実行することにより、図5に示されるように、派遣指示受信部320、派遣指示解釈部321、現在位置検出部322、移動制御部323、周囲状況検出部324、周囲状況通知部325、サービス実行部326として機能する。
派遣指示受信部320は、制御サーバ40からロボット派遣指示情報を受信する。ロボット派遣指示情報には、実行すべきなのはどんなサービスか(サービス内容)、だれに対して提供するのか(サービス提供相手)、いつ、或いはいつまでに提供するのか(サービス提供の時期)、およびどこで提供するのか(サービス提供場所、つまり目的地)といった情報、および制御サーバ40において探索された、サービス実行ロボット30の現在位置からサービス提供場所である目的地までの移動経路情報が含まれる。派遣指示受信部320は、受信したロボット派遣指示情報をメモリ311に一時的に記憶する。また、派遣指示受信部220は、目的地に向かって移動中に制御サーバ40から送信されてきた更新された移動経路情報を受信し、メモリ211に記憶する。
派遣指示解釈部321は、受信したロボット派遣指示情報を解釈し、サービス実行ロボット30の各部を動作させる具体的な制御情報を生成する。制御情報には、いつ、どのように表示装置317を動作させるか、どんな情報を表示するか、といった具体的動作に関する情報(サービス実行ロボット30が運搬ロボットの場合には、どんなものをどのように収集、配布するかといった情報)、サービス実行ロボット30を移動させる場合には目的地の情報が含まれており、メモリ311に一時的に記憶される。
現在位置検出部322は、サービス実行ロボット30の現在位置を検出する。具体的には、現在位置検出部322は、移動装置316の車輪の回転角の情報に基づいてサービス実行ロボット30の移動距離と移動方向を算出し、後述する地図と、カメラ314で撮影した壁や通路等の画像とを比較することによってサービス実行ロボット30の現在位置を検出する。なお、移動装置316がGPS受信装置を含んでいる場合には、GPS信号を解析することにより現在位置を検出してもよい。移動制御部323は、現在位置検出部322によって特定される現在位置を参照しつつ移動装置316の動作を制御し、制御サーバ40から受信した移動経路情報に沿ってサービス実行ロボット30を移動させる。
周囲状況検出部324は、カメラ314によって撮影したサービス実行ロボット30の周囲の状況を解析し、障害物や他のロボット、人が存在するか否か、およびそれらの位置を判断し、その情報をメモリ311に記憶する。周囲状況通知部325は、周囲状況検出部325によって検出された周囲の状況についての情報、例えば、障害物、人、他のロボットの存在の有無やそれらの位置についての情報を、環境情報として制御サーバ40に送信する。
サービス実行部326は、メモリ311に記憶されている制御情報にしたがって、表示装置317等を動作させ、制御サーバ40から受信したロボット派遣指示により特定されるサービスを実行する。
次に、図6、7を参照して、本実施形態の制御サーバ40について説明する。図6は、制御サーバ40のハードウェア構成図である。図6に示すように、制御サーバ40は、CPU410、メモリ411、記憶装置412、通信インタフェース413、ユーザインタフェース414を備えて構成され、それぞれ制御バス415に接続されている。CPU410は、記憶装置412に記憶された制御プログラムに基づいて制御サーバ40各部の動作を制御統括する。メモリ411には、複数の環境センサ50、対話型ロボット20に設けられるセンサ、サービス実行ロボット30に設けられるセンサから送信されてきたワークプレイス10内の障害物、人、ロボットの位置についての情報、また、人が密集している場所、打ち合わせが行われている場所、集中して作業を行っている人がいる場所についての情報、また、対話型ロボット20やサービス実行ロボット30に送信されるロボット派遣指示、およびワークプレイス10の地図に対してリアルタイムに追加される地図更新情報が一時に的記憶される。
記憶装置412は、ハードディスク・ドライブ(HDD)やソリッド・ステート・ドライブ(SSD)等であり、制御サーバ40を制御するための制御プログラムが記憶されている。さらに、記憶装置412には、後述するワークプレイス10の地図が記憶される。通信インタフェース413は、制御サーバ40がアクセスポイント70を介して各対話型ロボット20、サービス実行ロボット30、環境センサ50、ウェアラブルセンサ55と各種データの送受信を行うための通信制御を行う。ユーザインタフェース414は、液晶ディスプレイ等の表示装置、及びキーボードやマウス等の入力装置によって構成されており、記憶装置412に記憶されている制御プログラムを管理者が調整したりするためのものである。
図7は、制御サーバ40の機能ブロック図を示す。制御サーバ40は、記憶装置412に記憶されている制御プログラムをCPU410において実行することにより、図7に示されるように、派遣要請受信部420、環境/ロボット情報取得部421、地図更新部422、経路情報処理部423、派遣指示情報処理部424、派遣指示/経路情報送信部425、地図記憶部426として機能する。
派遣要請受信部420は、ワークプレイス10内のある場所において、利用者80が手招き等でロボットの派遣を要請した場合に、環境センサ50によって送信されるロボット派遣要請情報を受信する。環境センサ50から受信するロボット派遣要請情報には、ロボット派遣要請の生じた場所、時刻、利用者80による要求の種類についての情報が含まれる。なお、ロボット派遣要請は、利用者80が音声によって明示的に派遣を必要とするロボットや提供を必要とするサービスを特定し、環境センサ50や利用者80の近くにいる対話型ロボット20がロボット派遣要請を検出するようにしてもよい。
環境/ロボット情報取得部421は、ワークプレイス10内に配置された複数の環境センサ50、対話型ロボット20、およびサービス実行ロボット30から環境情報をリアルタイムに取得し、メモリ411に一時的に記憶する。なお、この環境情報には、障害物、人、他のロボットの存在の有無やそれらの位置についての情報、さらに、ワークプレイス10内に存在する人の生体情報が含まれる。また、それぞれの対話型ロボット20、サービス実行ロボット30は、環境情報として各ロボットの現在位置情報を環境情報に付与して記憶する。また、環境/ロボット情報取得部421は、ワークプレイス10内において稼働しているそれぞれの対話型ロボット20、サービス実行ロボット30の現在位置情報をリアルタイムに取得する。
地図更新部422は、環境情報取得部421によって取得された環境情報に基づいて、後述する地図上の、ロボットを通過させるべきではない場所の情報を更新する。例えば、地図更新部422は、環境情報取得部421によって取得された、障害物、人、他のロボットの存在の有無や位置を含む環境情報に基づいて、人が密集している場所、打ち合わせが行われている場所、集中して作業を行っている人がいる場所、衝突危険性の高い場所の少なくとも1つを、ロボットを通過させるべきではない場所として特定し、それらの情報を地図上に反映させることによって地図を更新する。なお、その際に、地図更新部422は、環境情報取得部421によって取得された環境情報を用いて、後述する地図上の衝突危険性の高い場所における衝突危険性の度合いを算出し、その衝突危険性の度合いを地図上に動的に更新させてもよい。
経路情報処理部423は、対話型ロボット20の現在位置検出部222によって特定された現在位置、或いはサービス実行ロボット30の現在位置検出部322によって特定された現在位置からサービス提供場所である目的地までの移動経路を、後述する地図記憶部426に記憶された地図を参照して探索して移動経路情報を生成し、メモリ411に記憶する。さらに、経路情報処理部423は、それぞれの対話型ロボット20、サービス実行ロボット30から経路情報要求を受信したか否かを判定し、経路情報要求を受信した場合には当該対話型ロボット20又はサービス実行ロボット30の現在位置から目的地までの移動経路を、更新された地図を参照して探索する。さらに、経路情報処理部423は、対話型ロボット20、サービス実行ロボット30から送信されてくる現在位置情報に基づいて、当該ロボットが目的地到着したか否かを判定する。
派遣指示情報処理部424は、ロボット派遣要請受信部420において受信したロボット派遣要請、および各ロボットの現在位置の情報に基づいて、どのロボットを派遣すべきかを決定する。さらに、派遣指示情報処理部424は、実行すべきなのはどんなサービスか(対話型ロボット20の場合にはどんな対話サービスを提供するのか)、誰に対して提供するのか(サービス提供相手)、いつ提供するのか(サービス提供の時期)、どこで提供するのか(サービス提供場所)といった情報、および経路情報処理部423において探索された移動経路情報によって構成されるロボット派遣指示情報を生成する。
派遣指示/経路情報送信部425は、ロボット派遣指示生成部424によって生成されたロボット派遣指示情報を、派遣指示情報処理部424で特定された、サービスを実行すべきロボット(特定の対話型ロボット20或いはサービス実行ロボット30)に送信する。また、経路情報処理部423によって新たに移動経路が探索され、それに基づいて新たな移動経路情報が生成された場合には、生成された新たな移動経路情報を該当する対話型ロボット20、サービス実行ロボット30に送信する。
地図記憶部426は、対話型ロボット20、サービス実行ロボット30が移動する領域の地図を記憶する。なお、本実施形態においては、地図記憶部426は、ワークプレイス10内の地図を記憶している。この地図には、ワークプレイス10内の通路、壁、部屋、出入口が登録されている。また、地図記憶部426に記憶された地図は、上述した地図更新部422によって、ロボットを通過させるべきではない場所の情報が更新される。ロボットを通過させるべきではない場所としては、人が密集している場所、打ち合わせが行われている場所、集中して作業を行っている人がいる場所、衝突危険性の高い場所とその衝突危険性の度合いが含まれる。
次に、図8〜11を参照して、本実施形態のロボット制御システム100における処理の流れを説明する。なお、図8は、制御サーバ40の地図記憶部426に記憶されたワークプレイス10の地図、および経路情報処理部423によって探索された対話型ロボット20Aの移動経路の一例を示す説明図である。図9は、制御サーバ40における移動制御の流れを示すフローチャートである。図10は、図8の地図に対して地図更新情報を反映させるとともに、変更された移動経路の一例を示す説明図である。図11は、制御サーバ40からロボット派遣指示を受信した対話型ロボット20Aにおける制御の流れを示すフローチャートである。
図8に示すように、ワークプレイス10には、部屋A〜部屋D、通路910〜通路940が存在する。さらに、部屋Aには環境センサ50Aが設置されて部屋A内部の環境情報を検出し、通路920の壁面には環境センサ50Bが配置されて通路930の環境情報を検出し、通路910の壁面には環境センサ50C、50Dが配置され、それぞれ通路920、940の環境情報を検出する。また、ワークプレイス10には、2台の対話型ロボット20A、20Bと1台のサービス実行ロボット30Aが稼働している。なお、以下の説明では、部屋Aで業務をしている利用者80Aがロボット派遣要請を行った場合について説明する。
利用者80Aがロボット派遣要請を行うと、部屋Aに設置された環境センサ50Aは、利用者80Aによるロボット派遣要請を検出し、ロボット派遣要請の生じた場所、時刻、および利用者80Aの要求の種類についての情報を含むロボット派遣要請情報を制御サーバ40に送信する。そこで、まず図9を参照しつつ、制御サーバ40における処理の流れを説明する。図9のステップS901において、制御サーバ40の派遣要請受信部420は、環境センサ50Aから送信されてきたロボット派遣要請情報を受信する。ステップS902において、派遣指示情報処理部424は、受信したロボット派遣要請情報に基づいて、派遣すべきロボットを決定する。ワークプレイス10にロボットが複数存在する場合、派遣指示情報処理部424は、ロボット派遣要請情報の内容、つまり提供すべきサービスの内容、および各ロボットの現在位置情報に基づいて、どの対話型ロボット20、或いはサービス実行ロボット30を派遣すべきかを決定する。例えば、図8の例では、派遣指示情報処理部424は、現在位置Pにいる対話型ロボット20Aを派遣すべきロボットとして決定する。なお、それぞれのロボットの現在位置は、環境/ロボット情報取得部421によってリアルタイムに取得しているものとする。
ステップS903において、制御サーバ40の経路情報処理部423は、対話型ロボット20Aの現在位置検出部222によって特定された現在位置Pからサービス提供場所である目的地Gまでの移動経路を、地図記憶部426に記憶された地図を参照して探索し、移動経路情報としてメモリ411に記憶する。経路情報処理部423によって探索される移動経路は、本実施形態においては、図8における紙面右方向をX方向、上方向をY方向とした場合、現在位置Pから通路910をX方向に通路940まで進み、次いでY方向に左折して通路940をY方向に進み、「部屋A」の出入口950をX方向に右折して「部屋A」に入り、目的地Gに達する経路Rである。
ステップS904において、派遣指示情報処理部424は、ステップS903において探索された移動経路情報、およびステップS901において受信したロボット派遣要請情報に基づいて、ロボット派遣指示情報を生成する。ロボット派遣指示情報には、例えば、上述の移動経路情報、および目的地Gまで移動した後に、利用者80Aに対して「要望を尋ねる」といった指示内容が含まれる。
ステップS905において、派遣指示/経路情報送信部425は、上記ステップS904において生成したロボット派遣指示情報を、ステップS902において派遣すべきロボットとして決定された対話型ロボット20、或いはサービス実行ロボット30(図8の例では対話型ロボット20A)に送信する。
ステップS906において、環境/ロボット情報取得部421は、ワークプレイス10に設置された複数の環境センサ50、およびワークプレイス10内で稼働している複数の対話型ロボット20、サービス実行ロボット30からワークプレイス10内のそれぞれの部屋、通路等の各部分の環境情報を取得し、メモリ411に記憶する。ここで、例えば、図10に示すように、通路940の、通路910との接続箇所に近い場所で、利用者80B、80Cが立ち話をしているとする。そこで、通路940を撮影している環境センサ50C、および通路940を走行又はそこに待機しているサービス実行ロボット30により通路940の通路910との接続部付近に利用者80B、80Cが立ち話をしていることを検出し、環境情報として制御サーバ40に送信し、制御サーバ40の環境/ロボット情報取得部421が環境情報を取得する。なお、対話型ロボット20、サービス実行ロボット30が環境情報を送信する場合には、対話型ロボット20、サービス実行ロボット30の周囲情報検出部227、327によってロボット周囲の状況を検出し、周囲状況通知部225、328によって制御サーバ40に送信する。そして、制御サーバ40の環境/ロボット情報取得部421は、上述したように、送信されてきた環境情報を取得する。
ステップS907において、制御サーバ40の地図更新部422は、上記ステップS906において取得された環境情報を用いて地図記憶部426に記憶された地図上の、ロボットを通過させるべきではない場所の情報を更新する。例えば、図10における通路940の、通路910との接続箇所付近を、人が密集している場所であるので、ロボットを通過させるべきではない場所960として特定し、更新する。
ステップS908において、経路情報処理部423は、ロボット派遣指示情報を送信した対話型ロボット20から経路情報要求を受信したか否かを判定する。経路情報処理部423により、経路情報要求は受信されていないと判定した場合には、ステップS906に戻り、環境センサ50、対話型ロボット20、サービス実行ロボット30から環境情報を取得し、リアルタイムに地図を更新する処理を行う(ステップS907)。
ステップS908において、経路情報要求を受信したと判定された場合、ステップS909において、経路情報処理部423は、地図記憶部426に記憶されている、更新された地図を参照し、対話型ロボット20の現在位置P’から目的地までの経路探索を再度行い、新たな移動経路情報を生成し、メモリ411に記憶する。なお、上述の例では、図10に示すように、対話型ロボット20の現在位置P’からロボットを通過させるべきではない場所960を回避した移動経路R’が探索されている。この移動経路R’は、現在位置P’からY方向へ左折して通路920を走行し、次いで通路930との接続部分においてX方向へ右折して通路930を走行し、さらに、右折して通路940を短い距離だけ走行し、「部屋A」の出入口950をX方向に左折して「部屋A」に入り、利用者80Aのところまで移動する経路で構成されている。
ステップS910において、派遣指示/経路情報送信部425は、ステップS909において生成された新たな移動経路情報を、対話型ロボット20Aに送信する。ステップS911において、経路情報処理部423は、対話型ロボット20Aから送信されてきた現在位置情報に基づいて、当該対話型ロボット20Aが目的地に到着したか否かを判定し、目的地に到着していなければステップS906に戻り、ステップS906〜S910までの処理を、対話型ロボット20が目的地に到着するまで行う。ステップS911において、対話型ロボット20が目的地に到着したと判定された場合は処理を終了する。
次に、図11を参照しつつ、制御サーバ40からロボット派遣指示情報を受信した対話型ロボット20Aにおける処理の流れを説明する。図9のステップS905において、制御サーバ40の派遣指示/経路情報送信部425がロボット派遣指示情報を送信すると、図11のステップS1101において、対話型ロボット20Aの派遣指示受信部220は、ロボット派遣指示情報を受信し、派遣指示解釈部221は、受信したロボット派遣指示情報に基づいて制御情報を生成する。制御情報は、図8の部屋Aにいる利用者90Aの場所まで、対話型ロボット20Aの現在位置Pから移動経路Rを移動し、利用者90Aに対して「要望を尋ねる」といった動作を行うよう対話型ロボット20Aの各部を制御する指示で構成される。
ステップS1102において、移動制御部223は、移動経路情報によって特定される経路に沿って対話型ロボット20が移動するよう移動装置217を制御する。ステップS1103において現在位置検出部222により現在位置を特定する。これは、移動装置217の車輪の回転角の情報に基づいて対話型ロボット20の移動距離と移動方向を算出し、対話型ロボット20の記憶装置212に記憶された地図(図示せず)と、カメラ214によって撮影した壁や通路等の画像とを比較することにより行われる。
ステップS1104において、対話型ロボット20は、カメラ214によって対話型ロボット20の周囲の状況を撮影し、周囲状況検出部224は、撮影された画像を解析し、障害物や他のロボット、人が存在するか否か、およびそれらの位置を判断し、周囲状況通知部225は、障害物、人、他のロボットの存在の有無や位置についての情報を含む環境情報を制御サーバ40に送信する。
ステップS1105において、移動制御部223は、上記ステップS1103において特定された現在位置を参照し、前回に特定された現在位置から所定距離、或いは所定時間移動したか否かを判定する。所定距離、或いは所定時間移動していないと判定された場合、ステップS1102に戻り、移動経路に沿って所定距離、或いは所定時間移動する間、ステップS1102〜S1105の処理を実行する。ステップS1105において所定距離、或いは所定時間移動したと判定された場合、ステップS1106に進み、移動制御部223は、ステップS1103において特定された現在位置情報を参照し、対話型ロボット20が目的地に到着したか否かを判定する。
ステップS1106において、対話型ロボット20が目的地に到着したと判定された場合、ステップS1109に進み、対話制御部226は、ステップS1101において受信したロボット派遣指示情報に基づいて生成された制御情報に基づいて、利用者80Aに対して対話(サービス実行ロボット30の場合は、サービス提供)を行い、処理を終了する。ステップS1106において、対話型ロボット20が目的地に到達していないと判定された場合、ステップS1107に進む。
ステップS1107において、移動制御部223は、新たな経路の情報の要求を制御サーバ40に対して行う。ステップS1108において、移動制御部223は、制御サーバ40から新たな移動経路情報を受信すると、それまでの移動経路情報に代えて新たな移動経路情報を今後の移動経路として、メモリ211に記憶させる。次いで、ステップS1102に戻り、移動制御部223は、新たな移動経路(ここでは、図10の移動経路R’)に沿って対話型ロボット20Aが移動するように制御を行い、対話型ロボット20Aが目的地Gに到着するまで上記ステップS1102〜S1108の処理を実行する。
なお、上記の例においては、ある一台の対話型ロボット20Aが目的地に向かって移動する際に、ワークプレイス10内に設置された環境センサ50A〜50D、ワークプレイス10内を走行又はそこに待機する他の対話型ロボット20B、サービス実行ロボット30を用いて周囲の環境情報を取得し、ロボットを通過させるべきではない場所を地図に反映することによって、当該対話型ロボット20Aだけでは把握できない、人が密集している場所、打ち合わせが行われている場所、といったロボットを通過させるべきではない場所を避けるように移動経路を変更する場合を説明した。しかしながら、ワークプレイス10内に存在する利用者80に取り付けられた生体センサ55によって利用者80の精神状態を検出し、その精神状態に応じてロボットを通過させるべきではない場所を特定し、そこを避けるように移動経路を変更するようにしてもよい。例えば、生体センサ55から利用者80の生体情報を取得し、取得した生体情報を利用して、利用者80が集中して業務を行っていることを推定できるが、その場合には、その箇所を避けるように経路探索を行うようにしてもよい。
また、上記の例においては、対話型ロボット20は、環境情報に基づいて、ロボットを通過させるべきではない場所を回避する経路を探索して移動経路とする例を説明したが、本発明は、上記の例に限定されず、例えば、対話型ロボット20がロボットを通過させるべきではない場所の近辺を走行する際に、移動制御部223は、通常の走行速度よりも速度を低下させて移動するように対話型ロボット20の移動装置217を制御してもよい。さらに、制御サーバ40の地図更新部422は、環境センサ50や他の対話型ロボット20、サービス実行ロボット30から取得した環境情報を用いて地図記憶部426に記憶された地図上の衝突危険性の高い場所における衝突危険性の度合いを算出して動的に更新し、対話型ロボット20の移動制御部223は、対話型ロボット20が地図上の、衝突危険性の高い場所の近辺を走行する際に、地図更新部422によって更新された衝突危険性の度合いに応じて速度を低下させて移動するように対話型ロボット20の移動装置217を制御してもよい。
また、上記の例においては、対話型ロボット20が、目的地まで移動する例を説明したが、本発明においては、サービス実行ロボット30が目的地まで移動する場合にも等しく適用することが可能である。
さらに、上記の例においては、ワークプレイス10内に設置された環境センサ50、また、ワークプレイス10内で稼働している対話型ロボット20、サービス実行ロボット30から取得した環境情報を用いてロボットを通過させるべきではない場所を特定し、その場所を地図上に反映させ、その場所を回避したり、その付近を走行する際に速度を低下させたりする制御を行う場合について説明したが、反対に、取得した環境情報に基づいてロボットが寄り道をする場所、例えば、複数の利用者が立ち話をしている、暇を持て余している利用者いる等、を特定し、その場所を地図上に反映させ、ロボットが移動する際に、その場所を経由して目的地に向かうようにしてもよい。
10 ワークプレイス
20 対話型ロボット
30 サービス実行ロボット
40 制御サーバ
50 環境センサ
55 ウェアラブルセンサ
60 ネットワーク
70 アクセスポイント
80 利用者
100 ロボット制御システム
210 制御用マイクロプロセッサ
211 メモリ
212 記憶装置
213 通信インタフェース
214 カメラ
215 マイクロフォン
216 スピーカ
217 移動装置
218 制御バス
220 派遣指示受信部
221 派遣指示解釈部
222 現在位置検出部
223 移動制御部
224 周囲状況検出部
225 周囲状況通知部
226 対話制御部
310 制御用マイクロプロセッサ
311 メモリ
312 記憶装置
313 通信インタフェース
314 カメラ
315 マイクロフォン
316 移動装置
317 表示装置
318 入力装置
319 制御バス
320 派遣指示受信部
321 派遣指示解釈部
322 現在位置検出部
323 移動制御部
324 周囲状況検出部
325 周囲状況通知部
326 サービス実行部
410 CPU
411 メモリ
412 記憶装置
413 通信インタフェース
414 ユーザインタフェース
415 制御バス
420 派遣要請受信部
421 環境/ロボット情報取得部
422 地図更新部
423 経路情報処理部
424 派遣指示情報処理部
425 派遣指示/経路情報送信部
426 地図記憶部

Claims (6)

  1. 移動可能なロボットと、
    ロボットが移動する領域の地図を記憶する記憶手段と、
    前記領域の環境情報を取得する取得手段と、
    取得された環境情報を用いて前記地図上の、ロボットを通過させるべきではない場所の情報を更新する更新手段と、
    ロボットの現在位置から目的地までの経路を、更新された地図を参照して探索する探索手段と、
    探索された経路に沿って前記ロボットが移動するよう制御する制御手段と、
    を備えたロボット制御システム。
  2. 前記更新手段は、前記取得手段によって取得された環境情報に基づいて、人が密集している場所、打ち合わせが行われている場所、集中して作業を行っている人がいる場所、衝突危険性の高い場所の少なくとも1つを、ロボットを通過させるべきではない場所として更新する請求項1記載のロボット制御システム。
  3. 前記探索手段は、前記地図上の、ロボットを通過させるべきではない場所を回避する経路を探索する請求項1又は2記載のロボット制御システム。
  4. 前記制御手段は、前記ロボットが前記地図上の、ロボットを通過させるべきではない場所の近辺を走行する際に、速度を低下させて移動するよう前記ロボットを制御する請求項1又は2記載のロボット制御システム。
  5. 前記更新手段は、取得された環境情報を用いて前記地図上の衝突危険性の高い場所における衝突危険性の度合いを動的に更新し、
    前記制御手段は、前記ロボットが前記地図上の、衝突危険性の高い場所の近辺を走行する際に、前記更新手段により更新された衝突危険性の度合いに応じて速度を低下させて移動するよう前記ロボットを制御する請求項2記載のロボット制御システム。
  6. 前記取得手段は、前記環境情報として、前記領域に存在する人の生体情報を取得する請求項1から5のいずれかに記載のロボット制御システム。
JP2016243027A 2016-12-15 2016-12-15 ロボット制御システム Active JP7095220B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016243027A JP7095220B2 (ja) 2016-12-15 2016-12-15 ロボット制御システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016243027A JP7095220B2 (ja) 2016-12-15 2016-12-15 ロボット制御システム

Publications (2)

Publication Number Publication Date
JP2018097710A true JP2018097710A (ja) 2018-06-21
JP7095220B2 JP7095220B2 (ja) 2022-07-05

Family

ID=62632320

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016243027A Active JP7095220B2 (ja) 2016-12-15 2016-12-15 ロボット制御システム

Country Status (1)

Country Link
JP (1) JP7095220B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109460020A (zh) * 2018-10-31 2019-03-12 北京猎户星空科技有限公司 机器人地图共享方法、装置、机器人及系统
JP2021137330A (ja) * 2020-03-05 2021-09-16 株式会社竹中工務店 浮遊体移動制御装置
KR20230011195A (ko) * 2021-07-12 2023-01-20 재단법인대구경북과학기술원 관제 인프라를 이용한 다중 센서 융합 기반의 회피 경로 생성 방법 및 제어 장치
KR20230056270A (ko) * 2021-10-20 2023-04-27 네이버랩스 주식회사 건물을 주행하는 로봇 제어 방법 및 시스템
KR20230151265A (ko) * 2022-04-25 2023-11-01 재단법인대구경북과학기술원 관제 센서 최적 위치 산출 장치 및 이를 이용한 관제 센서 최적 위치 산출 방법
WO2024080225A1 (ja) * 2022-10-13 2024-04-18 ソフトバンクグループ株式会社 人型ロボットの制御システム及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008065811A (ja) * 2006-08-08 2008-03-21 Matsushita Electric Ind Co Ltd 障害物回避方法と障害物回避移動装置
WO2014091611A1 (ja) * 2012-12-13 2014-06-19 株式会社日立製作所 自律走行装置
JP2014209293A (ja) * 2013-04-16 2014-11-06 富士ゼロックス株式会社 経路探索装置、自走式作業装置、プログラム及び記録媒体
JP2015014919A (ja) * 2013-07-05 2015-01-22 綜合警備保障株式会社 経路生成装置および経路生成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008065811A (ja) * 2006-08-08 2008-03-21 Matsushita Electric Ind Co Ltd 障害物回避方法と障害物回避移動装置
WO2014091611A1 (ja) * 2012-12-13 2014-06-19 株式会社日立製作所 自律走行装置
JP2014209293A (ja) * 2013-04-16 2014-11-06 富士ゼロックス株式会社 経路探索装置、自走式作業装置、プログラム及び記録媒体
JP2015014919A (ja) * 2013-07-05 2015-01-22 綜合警備保障株式会社 経路生成装置および経路生成方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109460020A (zh) * 2018-10-31 2019-03-12 北京猎户星空科技有限公司 机器人地图共享方法、装置、机器人及系统
JP2021137330A (ja) * 2020-03-05 2021-09-16 株式会社竹中工務店 浮遊体移動制御装置
KR20230011195A (ko) * 2021-07-12 2023-01-20 재단법인대구경북과학기술원 관제 인프라를 이용한 다중 센서 융합 기반의 회피 경로 생성 방법 및 제어 장치
KR102674203B1 (ko) * 2021-07-12 2024-06-12 재단법인대구경북과학기술원 관제 인프라를 이용한 다중 센서 융합 기반의 회피 경로 생성 방법 및 제어 장치
KR20230056270A (ko) * 2021-10-20 2023-04-27 네이버랩스 주식회사 건물을 주행하는 로봇 제어 방법 및 시스템
KR102705200B1 (ko) * 2021-10-20 2024-09-11 네이버 주식회사 건물을 주행하는 로봇 제어 방법 및 시스템
KR20230151265A (ko) * 2022-04-25 2023-11-01 재단법인대구경북과학기술원 관제 센서 최적 위치 산출 장치 및 이를 이용한 관제 센서 최적 위치 산출 방법
KR102677452B1 (ko) 2022-04-25 2024-06-24 재단법인대구경북과학기술원 관제 센서 최적 위치 산출 장치 및 이를 이용한 관제 센서 최적 위치 산출 방법
WO2024080225A1 (ja) * 2022-10-13 2024-04-18 ソフトバンクグループ株式会社 人型ロボットの制御システム及びプログラム

Also Published As

Publication number Publication date
JP7095220B2 (ja) 2022-07-05

Similar Documents

Publication Publication Date Title
JP7095220B2 (ja) ロボット制御システム
JP6844124B2 (ja) ロボット制御システム
US20210346557A1 (en) Robotic social interaction
US11455792B2 (en) Robot capable of detecting dangerous situation using artificial intelligence and method of operating the same
JP6665506B2 (ja) 遠隔操作装置、方法及びプログラム
JP4838499B2 (ja) ユーザ支援装置
WO2012117508A1 (ja) 情報処理装置、方法およびプログラム
US11307593B2 (en) Artificial intelligence device for guiding arrangement location of air cleaning device and operating method thereof
JP6069607B2 (ja) ロボットサービス連携システムおよびプラットフォーム
JP7180613B2 (ja) 情報処理装置および情報処理方法
JP5318623B2 (ja) 遠隔操作装置および遠隔操作プログラム
JP2019535054A (ja) 拡張/仮想現実環境において仮想キャラクタを配置するための方法およびコンピュータプログラム
US11748614B2 (en) Artificial intelligence device for controlling external device
JPWO2020129309A1 (ja) 案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法
JPWO2020129312A1 (ja) 案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法
KR20200128486A (ko) 사용자의 위치를 결정하는 인공 지능 장치 및 그 방법
JP2018169787A (ja) 自律型モビリティシステムおよび自律型モビリティの制御方法
US11455529B2 (en) Artificial intelligence server for controlling a plurality of robots based on guidance urgency
US11449074B2 (en) Robot for providing guidance service using artificial intelligence and method of operating the same
JP2009238251A (ja) ユーザ支援装置
JP2006231421A (ja) ロボット制御装置、ロボット制御方法およびロボット制御プログラム、ならびに移動ロボット
JP7013667B2 (ja) 案内装置及び案内システム
JP2011143511A (ja) ユーザ支援システム
EP4060448A1 (en) Methods of controlling a mobile robot device to follow or guide a person
US20210133561A1 (en) Artificial intelligence device and method of operating the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201002

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20201102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220606

R150 Certificate of patent or registration of utility model

Ref document number: 7095220

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150