JP2018128640A - 情報処理装置、情報処理システム及びプログラム - Google Patents
情報処理装置、情報処理システム及びプログラム Download PDFInfo
- Publication number
- JP2018128640A JP2018128640A JP2017023381A JP2017023381A JP2018128640A JP 2018128640 A JP2018128640 A JP 2018128640A JP 2017023381 A JP2017023381 A JP 2017023381A JP 2017023381 A JP2017023381 A JP 2017023381A JP 2018128640 A JP2018128640 A JP 2018128640A
- Authority
- JP
- Japan
- Prior art keywords
- display
- robot
- management area
- moving body
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 65
- 238000004891 communication Methods 0.000 claims description 61
- 238000000034 method Methods 0.000 claims description 36
- 230000008859 change Effects 0.000 claims description 34
- 230000007246 mechanism Effects 0.000 claims description 25
- 230000033001 locomotion Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 12
- 238000013459 approach Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 54
- 230000006870 function Effects 0.000 description 47
- 230000000875 corresponding effect Effects 0.000 description 13
- 230000035807 sensation Effects 0.000 description 13
- 235000019615 sensations Nutrition 0.000 description 13
- 210000003128 head Anatomy 0.000 description 12
- 238000001514 detection method Methods 0.000 description 9
- 230000009466 transformation Effects 0.000 description 9
- 238000013507 mapping Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 210000004247 hand Anatomy 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 241000196324 Embryophyta Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 240000001973 Ficus microcarpa Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 229910000510 noble metal Inorganic materials 0.000 description 1
- 230000008058 pain sensation Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
- B25J9/1676—Avoiding collision or forbidden zones
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39082—Collision, real time collision avoidance
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40202—Human robot coexistence
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40478—Graphic display of work area of robot, forbidden, permitted zone
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/49—Nc machine tool, till multiple
- G05B2219/49137—Store working envelop, limit, allowed zone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
- Digital Computer Display Output (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【解決手段】情報処理装置は、移動体の位置情報が変化する場合、移動体に紐付けられた画像の表示寸法を変化させて表示する表示制御部を有する。
【選択図】図3
Description
請求項2に記載の発明は、前記表示制御部は、前記移動体の距離の変化の方向を前記画像の向きにより表現することを特徴とする請求項1に記載の情報処理装置である。
請求項3に記載の発明は、前記移動体の管理上定めた区域は、予め定められた対象を基準に定まることを特徴とする請求項1に記載の情報処理装置である。
請求項4に記載の発明は、前記表示制御部は、予め定められた対象に対する前記移動体の遠近に応じて当該移動体に紐付けられた前記画像の表示寸法を変化させることを特徴とする請求項1に記載の情報処理装置である。
請求項5に記載の発明は、前記表示制御部は、前記対象に対して前記移動体が近づくと当該移動体に紐付けられた前記画像の表示寸法を拡大し、当該移動体が遠ざかると当該移動体に紐付けられた当該画像の表示寸法を縮小することを特徴とする請求項4に記載の情報処理装置である。
請求項6に記載の発明は、前記表示制御部は、前記移動体の管理上定められた区域の中心から当該移動体までの距離に応じて、当該移動体に紐付けられた前記画像の表示寸法を変化させることを特徴とする請求項1に記載の情報処理装置である。
請求項7に記載の発明は、前記表示制御部は、前記距離が閾値を超えると、前記移動体に紐付けられた前記画像の表示寸法を変化させることを特徴とする請求項6に記載の情報処理装置である。
請求項8に記載の発明は、前記表示制御部は、前記位置情報が前記移動体の管理上定められた区域を越えた場合、当該移動体に紐付けられた前記画像を表示領域上から消すことを特徴とする請求項1に記載の情報処理装置である。
請求項9に記載の発明は、前記表示制御部は、前記位置情報が管理上定められた前記区域内に復帰した場合、前記移動体に紐付けられた前記画像を前記表示領域内に再表示することを特徴とする請求項8に記載の情報処理装置である。
請求項10に記載の発明は、前記表示制御部は、前記移動体との通信が切れた場合、通信が切れた位置で、当該移動体に紐付けられた前記画像を表示領域上から消すことを特徴とする請求項1に記載の情報処理装置である。
請求項11に記載の発明は、前記表示制御部は、前記移動体との通信が再開した場合、通信が再開した位置で、当該移動体に紐付けられた前記画像を前記表示領域内に再表示することを特徴とする請求項10に記載の情報処理装置である。
請求項12に記載の発明は、前記表示制御部は、前記移動体に紐付けられた前記画像の表示寸法によって表される距離を画面上に表示することを特徴とする請求項1に記載の情報処理装置である。
請求項13に記載の発明は、前記表示制御部は、前記移動体に紐付けられた前記画像とともに、当該移動体が位置する領域情報を画面上に表示することを特徴とする請求項1に記載の情報処理装置である。
請求項14に記載の発明は、前記表示制御部は、表示画面上に表示される他の作業領域と重ならないように前記移動体に紐付けられた前記画像の表示位置を移動させることを特徴とする請求項1に記載の情報処理装置である。
請求項15に記載の発明は、前記表示制御部は、前記表示画面と非表示の仮想空間を跨いで前記移動体に紐付けられた前記画像の表示位置を移動させることを特徴とする請求項14に記載の情報処理装置である。
請求項16に記載の発明は、前記表示制御部は、前記表示画面から非表示の仮想空間に前記移動体に紐付けられた前記画像の表示位置を移動させることを特徴とする請求項14に記載の情報処理装置である。
請求項17に記載の発明は、前記移動体は、自走機構を有することを特徴とする請求項1に記載の情報処理装置である。
請求項18に記載の発明は、前記移動体に紐付けられた前記画像を、前記移動体の稼働状態に応じて変化させることを特徴とする請求項17に記載の情報処理装置である。
請求項19に記載の発明は、前記表示制御部は、ユーザに前記移動体の救援を要請する表記を行うことを特徴とする請求項17に記載の情報処理装置である。
請求項20に記載の発明は、前記移動体に紐付けられた前記画像の上に実行させたい機能に紐付けられた他の画像が重ね合わせられた場合、当該移動体に向けて当該機能の実行指示を送信することを特徴とする請求項1に記載の情報処理装置である。
請求項21に記載の発明は、前記移動体に紐付けられた前記画像に対する移動操作を画面上で受け付けた場合、当該移動体に向けて画面上と同じ移動を実現する指示を送信することを特徴とする請求項20に記載の情報処理装置である。
請求項22に記載の発明は、1つ又は複数の移動体と、前記移動体の位置情報が変化する場合、当該移動体に紐付けられた画像の表示寸法を変化させて表示する情報処理装置とを有する情報処理システムである。
請求項23に記載の発明は、コンピュータに、表示画面上に移動体の位置表示に使用される表示領域を表示させる処理と、前記移動体の位置情報が変化する場合、当該移動体に紐付けられた画像の表示寸法を前記表示領域上で変化させて表示させる処理とを実行させるプログラムである。
請求項2記載の発明によれば、距離の変化によらず移動体に紐付けられた画像の向きが同じ場合に比して、距離の変化の方向を把握できる。
請求項3記載の発明によれば、移動体に紐付けられた画像の表示寸法が遠近を表さない場合に比して、位置関係の把握が容易になる。
請求項4記載の発明によれば、移動体に紐付けられた画像の表示寸法が予め定めた対象に対する遠近を表さない場合に比して、基準として定めた対象との位置関係の把握が容易になる。
請求項5記載の発明によれば、近づくことで表示寸法が拡大し、遠ざかることで表示寸法が縮小することで、基準として定めた対象との位置関係の把握が容易になる。
請求項6記載の発明によれば、移動体に紐付けられた画像の表示寸法が管理上定められた区域の中心に対する遠近を表さない場合に比して、中心との位置関係の把握が容易になる。
請求項7記載の発明によれば、予め定めた閾値を超えることで表示寸法が変化するので、表示寸法を計算するための負荷を低減できる。
請求項8記載の発明によれば、移動体に紐付けられた画像が画面上から消えることで、移動体が管理上定められた区域を越えたことを把握できる。
請求項9記載の発明によれば、移動体に紐付けられた画像の再表示により、移動体が管理上定められた区域に復帰したことを把握できる。
請求項10記載の発明によれば、移動体に紐付けられた画像が画面上から消えることで、移動体との通信が途絶えたことを把握できる。
請求項11記載の発明によれば、移動体に紐付けられた画像の再表示により、移動体との通信の復帰を把握できる。
請求項12記載の発明によれば、表示寸法によって表される距離が表示されることで、移動体の具体的な距離の推測が容易になる。
請求項13記載の発明によれば、移動体が位置する領域が表示されることで、移動体の具体的な位置の把握が容易になる。
請求項14記載の発明によれば、移動体に紐付けられた画像を他の作業領域と重ならないように移動することで、位置関係の把握を継続できる。
請求項15記載の発明によれば、移動体に紐付けられた画像を非表示の仮想空間を跨いで移動することで、位置関係の把握を継続できる。
請求項16記載の発明によれば、移動体に紐付けられた画像を非表示の仮想空間に移動することで、位置関係の把握を継続できる。
請求項17記載の発明によれば、移動体に紐付けられた画像の表示寸法が遠近を表さない場合に比して、位置関係の把握が容易になる。
請求項18記載の発明によれば、画像の表示形態の変化を通じて稼働状態を把握できる。
請求項19記載の発明によれば、操作画面上に救援を要求する表記が行われるので、移動体の稼働状態を把握できる。
請求項20記載の発明によれば、操作により機能の実行を指示できる。
請求項21記載の発明によれば、画像の表示形態の変化を通じて機能の実行を把握できる。
請求項22記載の発明によれば、移動体に紐付けられた画像の表示寸法が遠近を表さない場合に比して、位置関係の把握が容易になる。
請求項23記載の発明によれば、移動体に紐付けられた画像の表示寸法が遠近を表さない場合に比して、位置関係の把握が容易になる。
図1は、実施形態の一例である情報処理システム1の概念構成を示す図である。
情報処理システム1は、ユーザ3によって操作される情報端末100と、ユーザ3の管理下にあるロボット200とによって構成されている。
情報端末100は情報処理装置の一例であり、ロボット200は移動体の一例である。
例えば情報端末100は、(1)据え置き型のコンピュータ、タブレット型のコンピュータ、スマートウォッチ、スマートフォン、デジタルカメラ、ビデオカメラ、モニタ等の画像表示装置、画像記録装置、画像再生装置、ゲーム機等の電子機器、(2)冷蔵庫、調理器、洗濯機等の家庭用電気製品、(3)家電モニタ等の住宅設備、(4)自動車等の車両、(5)工作機械等でもよい。
移動体の移動は、面内に限らず線上を含み、水平方向に限らず上下方向を含み、屋内に限らず屋外を含み、地上に限らず、水中、空中、地中、体内を含む。
管理区域300は、管理対象とする移動体の所在や状態の管理のために現実の空間で定められる区域であり、物理的に定まる場合(例えば建物、オフィスや店舗のフロア、壁やパーテーションで仕切られた部屋や区画など)だけでなく、基準点との関係で物理的に定まる場合、ユーザの指定により定まる場合を含む。
基準点には、構造物、物品、人、動物、植物などの物理的に特定可能な対象が用いられる。
基準点との関係には、基準点を含む区画、基準点を含む部屋、基準点を含むフロア、基準点を含む建物、基準点を含む地域の他、基準点からの距離なども含まれる。
図2は、ユーザ3を含むように管理区域300を定める例を示す図である。
図3は、基準点5から一定の距離又は一定の範囲を管理区域300に定める例を示す図である。
図3においては、管理区域300として、保護対象としての子供やペット、防犯対象として貴金属などが基準点5として指定された例を表している。
基準点5は必ずしも不動点に限らず、移動点であってもよい。基準点5が移動点の場合、管理区域300の範囲は基準点5の移動に伴って移動する。
情報処理システム10では、情報端末100がネットワーク500を通じてサーバ600に接続されている。この点が、情報処理システム10と情報処理システム1(図1参照)との違いである。
情報処理システム10の場合、ロボット200の所在や稼働状態はサーバ600で実行される処理機能を通じて情報端末100に提供される。従って、図4における情報端末100はいわゆる入出力装置として使用され、後述する処理機能はサーバ600側で実行される。その意味で、サーバ600は情報処理装置の一例である。
・外観構成
図5は、本実施の形態で使用するロボット200の外観構成を説明する図である。ロボット200は、人形や玩具の一形態である。
ロボット200の外観構成は、図5に示すヒト型に限らず、犬やネコなどの動物、花や木などの植物、車(電車を含む)や飛行機等の乗り物を題材として表現したものでよい。本実施の形態における乗り物には有人機だけでなく無人機も含まれる。
本実施の形態における胴部201には、信号処理のための電子部品が格納されている。胴部201には、表示デバイスや音響機器が搭載されてもよい。
もっとも、ロボット200が単なる人形である場合、胴部201には詰め物が充填される。
本実施の形態の場合、ジョイント機構は、3軸まわりに回転可能である。3軸まわりの回転とは、ヨー(z軸まわりの回転)、ロール(x軸まわりの回転)、ピッチ(y軸まわりの回転)の3つである。
3軸の全てに対して回転可能である必要はなく、1軸のみ又は2軸について回転可能でよい。これらの回転は手動で行われてもよいし、不図示のモーターによる回転駆動により実現してもよい。もっとも、頭部202が胴部201に対して固定される場合を妨げない。
頭部202には目202A、202Bが設けられている。目202A及び202Bは、装飾的に配置されていてもよいし、撮像装置、投影機、照明等を内蔵してもよい。頭部202には可動式の耳が配置されていてもよい。
本実施の形態の場合、ジョイント機構は、頭部202と同様に多軸でも単軸でもよい。また、軸周りの回転は手動で実現されてもよいし、不図示のモーターによる回転駆動により実現してもよい。
もっとも、腕203及び205は、胴部201に固定されていてもよい。
なお、腕203及び205を予め定めた角度に折り曲げれば、物の運搬に用いることができる。
本実施の形態におけるジョイント機構は、頭部202と同様に多軸でも単軸でもよい。また、軸周りの回転は手動で実現されてもよいし、不図示のモーターによる回転駆動によって実現してもよい。
本実施の形態の場合、手204及び206は、指の開閉により物を掴むことができる。
手204及び206は、腕203及び205に対して固定でもよい。
足207及び208がジョイント機構を介して胴部201に連結される場合、ジョイント機構は、頭部202と同じく多軸でも単軸でもよい。
また、軸周りの回転は手動で実現されてもよいし、不図示のモーターによる回転駆動によって実現してもよい。なお、足207及び208は、胴部201に対して固定でもよい。
図6は、本実施の形態におけるロボット200のハードウェア構成を説明する図である。
ロボット200は、装置全体の動きを制御する制御部210と、静止画像又は動画像を撮像するカメラ211と、会話用の音声、楽曲、効果音を再生するスピーカ212と、音の入力又は取得に用いられるマイク213と、ジョイント機構などの可動機構214と、外部装置との通信に用いられる通信部215と、画像を表示する表示部216と、装置全体を移動させる移動機構217と、各部に電力を供給する電源218と、各部の状態や周辺情報の収集に使用されるセンサ219と、位置情報の取得に用いられる位置検知部220とを有している。これらの各部は、例えばバス221により互いに接続されている。
また、ロボット200は、不図示の部材を更に搭載してもよい。例えばロボット200は、電源ボタン、記憶装置(ハードディスク装置、半導体メモリ等)、熱源(冷却源を含む。)等を搭載してもよい。
ROMには、CPUにより実行されるプログラムが記憶されている。CPUは、ROMに記憶されているプログラムを読み出し、RAMを作業エリアに使用してプログラムを実行する。プログラムの実行を通じ、CPUはロボット200を構成する各部の動作を制御する。
ここでの情報には、例えば視覚、聴覚、触覚、味覚、嗅覚、平衡感覚、温度が含まれる。
視覚は、カメラ211で撮像された画像の認識処理を通じて実現される。
聴覚は、マイク213で取得された音の認識処理を通じて実現される。
触覚には、例えば表在感覚(触覚、痛覚、温度覚)、深部覚(圧覚、位置覚、振動覚など)、皮質性感覚(二点識別覚、立体識別能力など)が含まれる。制御部210は、触覚の違いを分別できる。
触覚、味覚、臭覚、平衡感覚、温度は、各種のセンサ219による情報の検知を通じて実現される。なお、温度には、周辺温度、内部温度、ヒトや動物の体温なども含まれる。
更に、制御部210が取得する情報には、ヒトや動物の脳波も含み得る。この場合、脳波は、ヒト等に装着された脳波検知デバイスから発信される情報を通信部215で受信すればよい。
認識処理では、人工知能に基づく機械学習を採用してもよく、当該技術を採用すればヒトに近い判断結果が得られる。最近では、ニューラルネットワーク型のディープラーニングが発達している。また部分的に学習分野を強化する強化学習などによる認識精度の向上も進んでいる。
さらに、制御部210には、不明な事態が発生した場合に、インターネット検索や外部のコンピュータとの通信を通じて情報を収集し、検索事象との類似度によって解決策を発見する機能を搭載してもよい。
これら情報の入出力や可動機構214の動きを通じ、制御部210は、ユーザとの間でコミュニケーションを成立させることができる。コミュニケーションの応用例には、例えば接客や会議の進行なども含まれる。
また、制御部210は、コミュニケーションの記録機能や議事録の作成機能を有してもよい。
また、表示部216として投影機が用いられる場合、投影機は、例えば目202A及び202B(図5参照)のいずれか一方又は両方に配置することができる。なお、投影機は胴部201や頭部202に配置してもよい。
物の搬送に使用される場合、可動機構214は、腕203、205や手204、206の変形を通じて、例えば物を掴む、抱える、支える等の動作を実現する。
感情の表現に使用される場合、可動機構214は、例えば頭部202、腕203、205等(図5参照)の駆動を通じて、頭を傾げる、見上げる、周囲を見回す(キョロキョロする)、万歳する、指さし等の動作を実行する。
ロボット200には、通信先として想定する外部装置で用いられる通信方式の数だけ通信部215が搭載される。
通信方式には、例えば赤外線通信、可視光通信、近接無線通信、WiFi(登録商標)、ブルートゥース(登録商標)、RFID(登録商標)、ZigBee(登録商標)、IEEE802.11a(登録商標)、MulteFire、LPWA(Low Power Wide Area)等がある。
無線通信に使用する帯域には、短波長帯(例えば800MHz〜920MHz)、長波長帯(例えば2.4GHz、5GHz)等がある。
なお、通信部215と外部装置との接続には通信ケーブルを使用してもよい。
決済機能には、事前に預託された金額の範囲での決済が可能なプリペイド式、後払い型のクレジット決済、指定口座から代金を決済するデビットカード決済等を用いてもよい。
通貨は、ビットコイン(登録商標)のような仮想通貨でもよい。
なお、ロボット200の胴部201に現金を収容する空間を設け、必要に応じて決済に必要な金額を排出する機能、収容されている現金を取り出せるように扉を開閉する機能などを設けてもよい。
スピーカ212と連動して、ヒトに現金を借りる機能を設けてもよい。
本実施の形態の場合、表示部216には、文字や図形が表示される。
表示部216が頭部202に配置される場合、表示部216に表情を表示してもよい。
本実施の形態における電源218には二次電池を使用するが、電力を発生できれば一次電池、燃料電池、太陽電池のいずれを用いてもよい。
また、電源218の代わりに、電源ケーブルを通じて外部から電力の供給を受ける構成を採用してもよい。
位置検知部220には、例えばGPS(Global Positioning System)信号から地点情報を読み取る方式、GPSと同等の信号を用いて屋内の位置を測位するIMES(Indoor Messaging System)方式、WiFiの複数のアクセスポイントから送信された電波の強度や到達時間等から位置を測位するWiFi測位方式、基地局から定期的に発生される信号に対する応答の方角と遅延時間から位置を測位する基地局測位方式、不可聴域の超音波を受信して位置を測位する音波測位方式、ブルートゥースを使ったビーコンからの電波を受信して位置を測位するブルートゥース測位方式、LED(Light Emitting Diode)等の照明光の点滅によって伝達される位置情報を用いて位置を測位する可視光測位方式、加速度センサやジャイロセンサ等を用いて現在位置を測位する自律航法方式等を利用する。
位置検出技術には、屋内用の技術に限らず、屋外用の技術を用いてもよい。ロボット200が屋内と屋外の両方で使用される場合、屋内用と屋外用の2種類の位置検知部220を搭載してもよい。
検出又は推定された位置情報は、通信部215を通じて情報端末100やサーバ600に通知される。
図8は、ロボット200から送信される通信用の電波からロボット200の位置を測位する方式を説明する図である。
ロボット200から送信された電波225は、位置が既知のアクセスポイント800A、800B、800Cで受信される。位置測位部900は、アクセスポイント800A、800B、800Cで受信された電波225の強度や遅延時間等からロボット200の位置を測位する。測位された位置情報は、位置測位部900から情報端末100やサーバ600に通知される。
もっとも、位置測位部900としての機能を情報端末100やサーバ600が実行してもよい。
また、屋内や屋外に配置された監視カメラなどによって撮像された画像にロボット200の画像が含まれる場合、ロボット200を撮像した監視カメラの位置などをロボット200の位置として用いてもよい。ロボット200の検出には画像認識技術を使用する。
ここでの監視カメラを使用する方法は、ロボット200が電子部品を搭載しない人形の場合にも適用できる。
続いて、情報端末100及びサーバ600の構成について説明する。以下では、情報端末100の構成について説明する。
図9は、本実施の形態における情報端末100のハードウェア構成を説明する図である。
情報端末100は、装置全体の動きを制御する制御部110と、ユーザによる操作入力を受け付ける操作部111と、外部装置との通信に用いられる通信部112と、各種のデータの記憶に用いられる記憶部113と、各種のアプリケーションに対応する作業画面を表示する表示部114と、音声や楽曲、効果音などを出力するスピーカ115とを有している。これらの各部は、例えばバス116により互いに接続されている。
なお、サーバ600の場合は、制御部110、通信部112、記憶部113が搭載されていればよい。
ROMには、CPUにより実行されるプログラムが記憶されている。CPUは、ROMに記憶されているプログラムを読み出し、RAMを作業エリアに使用してプログラムを実行する。プログラムの実行を通じ、CPUは情報端末100を構成する各部の動作を制御する。
本実施の形態における制御部110は表示制御部の一例である。表示制御部としての機能については後述する。
通信部112は、有線方式により又は無線方式により外部装置と通信するための装置である。本実施の形態における通信部112は、無線方式により外部装置と通信する。外部装置の一例がロボット200である。
記憶部113は、ハードディスク装置その他の大容量の記憶装置である。CPUで実行されるプログラムは記憶部113に記憶されていてもよい。
図10は、本実施の形態に係る情報端末100のソフトウェア構成を説明する図である。図10に示すソフトウェア構成は、制御部110によるプログラムの実行を通じて実現される。
基準位置取得部1102は、基準位置として情報端末100を操作するユーザの位置、管理区域300の中心位置、ユーザによって指定された基準点5(図3参照)等のいずれを使用するかを取得する。
基準位置の情報は、指示受付部1107から与えられる。
距離Lの例を図11〜図13に示す。
図11は、ユーザ3とロボット200との距離Lを説明する図である。この場合、ユーザ3とロボット200は管理区域300内に位置する。
図12は、管理区域300の中心位置Pcとロボット200との距離Lを説明する図である。この場合、ユーザ3は管理区域300の内側に位置してもよいし、ユーザ3Aのように管理区域300の外側に位置してもよい。
図13は、子供やペット等の基準点5とロボット200との距離Lを説明する図である。この場合も、ユーザ3は管理区域300の内側に位置してもよいし、ユーザ3Aのように管理区域300の外側に位置してもよい。
データベースは記憶部113(図9参照)に保存されていてもよいし、通信部112(図9参照)を通じて接続された外部の記憶装置に格納されていてもよい。
本実施の形態における管理区域情報取得部1104は、管理区域300の情報として、レイアウト情報、実空間内に配置又は存在する備品の情報、位置の把握に必要なランドマーク等の情報も取得する。
もっとも、管理区域情報取得部1104は、前述したレイアウト以外の情報も含めて管理区域形状変形部1106に出力してもよい。
なお、レイアウト情報は、設計図や地図レベルの精密かつ正確な情報に限らず、おおよその形状を表現した簡略的な情報でもよい。
備品やランドマークは、概念的なイメージを表す記号やマークによって表示画面114Aに表現されてもよい。
ただし、位置関係の把握の実現には、表示される情報量が増えすぎないことが好ましい。
また、位置関係の把握には、おおよそのレイアウトとレイアウト内の位置関係が分かればよい。このため、備品やランドマーク等に関する情報のうち実際に表示される情報は、表示画像生成部1110において選択してもよい。
管理区域300の設定又は選択に関する情報は、指示受付部1107から与えられる。
表示領域情報取得部1105は、表示画面114Aの物理的な情報(例えば7インチディスプレイ、解像度等)を取得する他、指示受付部1107を通じて受け付けた他の作業画面の寸法や配置位置に関する情報も取得する。
表示画面114A上に他の作業画面が表示されていない場合、表示上の管理区域(以下「仮想管理区域」という。)の表示には、表示部114の画面全体(表示画面114A)を使用できる。もっとも、仮想管理区域の表示に使用できる最大範囲は、ユーザが設定し又は調整してもよい。
表示画面114A上に他の作業画面が表示される場合、仮想管理区域300Aの表示には、表示画面114Aから他の作業画面を除いた部分が用いられる。
図14は、実空間における管理区域300が楕円形状であるのに対し、表示部114の表示画面114Aが概略矩形である場合の変形処理を説明する図であり、(a)は実空間における管理区域300の形状を示し、(b)は仮想管理区域300Aに加えられる部分領域別の変形の方向と大きさを示す。矢印の向きと長さは変形の方向と変形量を表している。
非線形に変形されるので、変形前のレイアウトと変形後のレイアウトは相似にはならない。
このように、図14に示す変形処理は、領域によって圧縮変換と伸長変換が適用される不均一な変形であり、変形後の仮想管理区域300Aには、圧縮される領域と伸長される領域が混在する。すなわち、図14に示す仮想管理区域300Aには、縮尺が異なる領域が混在している。
なお、管理区域形状変形部1106による仮想管理区域300Aの変形は、基準点に対するロボット200の遠近と基準点に対するロボット200のおおよその方向を把握できる程度に情報が保存される変形であればよい。
例えば個々の領域における変形量が表示画面114Aの中心から遠いほど大きく、表示画面114Aの中心に近いほど小さくなるようにしてもよい。
また、方向や領域別に圧縮すべき量や伸長すべき量を特定し、その大きさに応じて各方向や領域に対する変形量を定めてもよい。
もっとも、管理区域情報取得部1104から与えられた仮想管理区域300Aの形状と表示画面114Aの形状が相似でも、仮想管理区域300Aの一部領域を非線形に変形することは可能である。
この変形手法でも、仮想管理区域300Aが表示画面114Aと同じ概略矩形に変形されるが、実空間上における地点と表示画面上の地点の対応関係の分布は図14の例とは異なるものになる。
図16に示すように一方向の長い長方形状の場合にも、図15に例示したように、ユーザ3が位置する管理区域300の端部が画面左端に位置するように仮想管理区域300Aを変形してもよい。
このような例を図17に示す。図17は、変形後の仮想管理区域300Aの形状が表示画面114Aの形状に一致しない例を説明する図であり、(a)は実空間における管理区域300の形状を示し、(b)は仮想管理区域300Aに加えられる部分領域別の変形の方向と大きさを示す。
図17は、実空間における管理区域300が一方向に長い長方形状(例えば細長い通路)であるのに対し、表示画面114Aが概略矩形である場合を表している。
しかし、左右方向については、表示画面114Aに収まるように変形しているので、図17に示す変形も、特許請求の範囲における「表示領域の形状に応じて変形する」の一例である。
図18は、表示画面114A上に他の作業画面114Bが表示される場合に、他の作業画面と重ならないように仮想管理区域300Aを変形させる例を説明する図であり、(a)は実空間における管理区域300の形状を示し、(b)は仮想管理区域300Aに加えられる部分領域別の変形の方向と大きさを示す。
ここでの他の作業画面114Bは、特許請求の範囲における「他の作業領域」の一例である。
なお、仮想管理区域300Aの形状は、他の作業画面114Bの形状が変化すると又は閉じられると、他の作業画面114Bの形状変化に連動して変化する。
ここでの指示には、前述した基準位置の指定、管理区域300の指定などが含まれる。
例えば表示画面114A上で、ロボット200に実行させたい機能を表す画像がロボット200に紐付けられた画像200A(図19参照)に重ね合わせるように移動された場合、指示送信部1108は、該当する機能の実行を指示するコマンドをロボット200に送信する。ここでの「ロボット200に実行させたい機能を表す画像」は、特許請求の範囲における「他の画像」の一例である。
マッピング部1109は、ロボット200やユーザ3(又は3A)が管理区域300内に位置するか否かを判断する機能も有している。
マッピング処理の際には、表示部114の解像度も考慮される。従って、ディスプレイの寸法が同じでも解像度が異なればロボット200やユーザ3のマッピング位置は異なる可能性がある。
ここで、表示画像生成部1110は、ロボット200の位置をアイコンや画像等によって仮想管理区域300A上に表示する。
図19は、表示画面114Aにおけるロボット200の位置表示に実画像を用いる例を説明する図であり、(a)はカメラ910の配置例を示し、(b)は仮想管理区域300Aにおける表示例を示す。
実画像(画像200A)を用いることで、仮想管理区域300A上で管理される物品が複数の場合にも、ユーザ3による位置の把握が容易になる。
また、表示画像生成部1110は、距離に応じて画像200Aの表示寸法を変更することもできる。表示例については後述する。
ここで、仮想管理画面114Cは、物理的な表示画面114Aの外側に位置する非表示のページである。非表示のページは仮想空間の一例である。図21では、非表示のページが1つの例を表しているが、非表示のページ数は複数でもよい。
例えば他の作業画面114Bに応じて単純に変形したのでは仮想管理区域300Aの表示面積が小さくなりすぎて、ロボット200の位置の理解そのものが困難になる可能性がある。
そこで、仮想管理区域300Aの表示面積が予め定めた面積より小さくならないように変形し、その後、仮想管理区域300Aの表示位置を移動させてもよい。
この場合も、仮想管理区域300Aの形状を変形した後に表示位置を移動させてもよい。
図23は、距離Lに応じてロボット200に紐付けられた画像200Aの表示寸法を変化させる例を説明する図であり、(a)は実空間上におけるユーザ3とロボット200の距離Lの関係を示し、(b)は表示寸法の変化が連続的である場合を示し、(c)は表示寸法の変化がステップ的である場合を示す。
なお、ステップ的な表示寸法の変化は、距離Lと閾値との比較により実現される。例えば距離Lが閾値を超えるタイミングで(大きい方に超える場合と小さい方に超える場合の2種類がある)、表示画像生成部1110は画像200Aの表示寸法を変化させる。
本実施の形態では、画像200Aの表示寸法を変化させる機能を、仮想管理区域300Aを表示画面114Aの形状に応じて変形させる機能と組み合わせて用いるが、表示領域の形状の変形とは無関係に画像200Aの表示寸法を変化させてもよい。
距離の理解には、仮想管理区域300A上における各位置の表示縮尺や距離情報の表示が必要である。
図24は仮想管理区域300Aの各部に表示縮尺(スケールバー)を表示する例を示す図である。図24の例では表示画面114Aの4隅部分に比して画面中央側の十字領域の圧縮比率が高いことを表している。
表示縮尺は、縮尺情報の一例であり、表示画面114Aにマッピングされた画像200Aに対応するロボット200の実空間400上における位置を補足する情報として用いられる。
図26はロボット200の位置を特定するエリア名で表示する例を説明する図であり、(a)は管理区域300で規定されているエリア名を示し、(b)は仮想管理区域300A上にロボット200が存在するエリア名を表示する表示例を示す。図26では、セクションAに行くことが文字で表示されている。
これらの表示機能の組み合わせにより、ユーザ3は、ロボット200の位置を容易に把握できるのに加え、より正確な位置を理解できる。
図28はロボット200が管理区域300を超えることを予告する画面の例を説明する図であり、(a)は管理区域300とロボット200の位置関係を示し、(b)は表示画面114Aに表示される予告画面の例を示し、(c)は予告表示後の表示を示す。
本実施の形態の場合、「予告」とは、画像200Aが表示画面114Aから消滅することの報知又は示唆することを意味する。
図28の例では、ロボット200が管理区域300から出ることが「さようなら」との文字で表示され、その後、画像200Aが画面上から消えている。これによりユーザ3はロボット200が管理区域300から外れることを表示画面114A上で理解できる。
図29の例では、ロボット200が管理区域300から出ることが手を振る動作で表示され、その後、画像200Aが画面上から消えている。これによりユーザ3はロボット200が管理区域300から外れることを表示画面114A上で理解できる。
図30はロボット200が管理区域300に復帰することを予告する画面の例を説明する図であり、(a)は管理区域300とロボット200の位置関係を示し、(b)は表示画面114Aに表示される予告画面の例を示し、(c)は予告表示後の表示を示す。
図30の例では、ロボット200が管理区域300に戻ることが「ただいま」との文字とともに画像200Aが画面上に出現されている。すなわち、画像200Aが再表示されている。これによりユーザ3はロボット200が管理区域300に復帰したことを表示画面114A上で理解できる。
図31の例では、ロボット200が管理区域300に復帰することが、お辞儀をする画像200Aを画面上に出現させることで示されている。すなわち、画像200Aが再表示されている。これによりユーザ3はロボット200が管理区域300に復帰したことを表示画面114A上で理解できる。
図32は、管理区域300の中央でロボット200との通信が途切れる場合の表示例を説明する図であり、(a)は管理区域300とロボット200の位置関係を示し、(b)は通信不良を予告する画面の例を示し、(c)は予告表示後の表示を示す。
図32の例では、ロボット200と通信できなくなったことが手を振る動作で表示され、その後、画像200Aが画面上から消えている。
仮想管理区域300Aの中央に位置するにもかかわらず、このような動作の後にロボット200に紐付けられた画像200Aが消えることでロボット200との通信が途切れたことを、ユーザ3は表示画面114A上で理解できる。
なお、通信不良となったことを文字によって画面上に表示してもよい。
図33の例では、ロボット200との通信が復帰したことが、お辞儀した画像200Aの出現で表示されている。
仮想管理区域300Aの中央に位置するにもかかわらず、お辞儀した画像200Aが出現することで、ロボット200との通信が再開したことを、ユーザ3は表示画面114A上で理解できる。
なお、通信が再開したことを文字によって画面上に表示してもよい。因みに画像200Aの表示が消える際の表示寸法と表示が回復する際の表示寸法は同じになる。
ロボット200の稼働状態を取得できれば、表示画面114Aにロボット200の稼働状態を表示することができる。
図34では、ロボット200が荷物230を運んでいる状態を表している。このため、表示画面114Aには荷物230Aを運ぶ画像200Aが表示されている。この表示よりユーザ3は、ロボット200が荷物230を運んでいることを確認できる。
図35では、ロボット200が荷物230を落とした状態を表している。この例では、表示画面114Aでも、荷物230Aを持っていない画像200Aが表示されるとともに「HELP」、「荷物落とした」、「荷物拾いに来て」等の救援を要請する表記(文字)が表示されている。この表示よりユーザ3は、ロボット200を視認できなくてもトラブルの発生を知り、対応動作をとることが可能になる。
以下では、実施の形態に係る情報端末100による操作画面例について説明する。
・画面例1
図36は、ユーザ3とロボット200が近くに位置する場合の表示例を示す図であり、(a)は管理区域300におけるユーザ3とロボット200の位置を示し、(b)は仮想管理区域300Aにおける位置関係の表示例を示す。
図36ではユーザ3の近くにロボット200が位置する場合の表示例であるので、ユーザ3を表す画像3Bの近くに比較的大きな表示寸法でロボット200に紐付けられた画像200Aが表示されている。図36からは、ロボット200が管理区域300の中央付近に位置することもわかる。
図37ではユーザ3の遠くにロボット200が位置する場合の表示例であるので、ユーザ3を表す画像3Bから遠く離れた位置に小さい表示寸法でロボット200に紐付けられた画像200Aが表示されている。図37からは、ロボット200が管理区域300の隅付近に位置することも分かる。
図38は、ユーザ3が管理区域300の中央付近に位置する場合の表示例を示す図であり、(a)は管理区域300におけるユーザ3とロボット200の位置を示し、(b)は仮想管理区域300Aにおける位置関係の表示例を示す。
図38は、ロボット200が管理区域300の隅に位置する点で図37の例と同じであるが、ユーザ3とロボット200との距離が近いため、ロボット200に紐付けられた画像200Aの表示寸法はあまり小さくなっていない。
図39は、ユーザ3とロボット200が近くに位置する場合の他の表示例を示す図であり、(a)は管理区域300におけるユーザ3とロボット200の位置を示し、(b)は仮想管理区域300Aにおける位置関係の表示例を示す。
ユーザ3とロボット200の位置関係は図36と同じである。ただし、図39の場合には、表示領域に対応する距離の目安が表示されている。例えば図39の例では、ロボット200が100mほど離れたところに位置することが分かる。
ロボット200に紐付けられた画像200Aの表示寸法と画面上の距離の目安から、ユーザ3はロボット200の位置関係を容易に把握できる。
図40は、ユーザ3とロボット200が近くに位置する場合の他の表示例を示す図であり、(a)は管理区域300におけるユーザ3とロボット200の位置を示し、(b)は仮想管理区域300Aにおける位置関係の表示例を示す。
ユーザ3とロボット200の位置関係は図39と同じである。ただし、図40の場合には、表示領域に対応する縮尺情報が表示されている。具体的には、同じ長さでも画面の左側は5m、中央付近は10m、右側は100mであることが分かる。
ロボット200に紐付けられた画像200Aの表示寸法と画面上の縮尺情報から、ユーザ3はロボット200の位置関係を容易に把握できる。
図41は、管理区域300内に複数のロボット200が位置する場合の表示例を示す図であり、(a)は管理区域300におけるユーザ3と2台のロボット200(1)、200(2)の位置関係を示し、(b)は仮想管理区域300Aにおける位置関係の表示例を示す。
図41に示す表示例では、近くに位置するロボット200(1)と200(2)を表す画像200A(1)と200A(2)が同じ表示寸法で表示されている。
ただし、画像200A(1)と200A(2)の表示形態が同じでは2台のロボット200(1)と200(2)を区別できない。
そこで、図41では、2つの画像200A(1)と200A(2)の表示形態を変えて2台のロボット200(1)と200(2)の位置関係を区別できるようにしている。なお、図41では、画像200A(1)と画像200A(2)の色を変えている。
図42に示す表示例では、ロボット200(1)がユーザ3に近づいた一方で、ロボット200(2)はユーザ3から遠ざかっている。加えて図42では、画像200A(1)の表示寸法が大きく変化し、画像200A(2)の表示寸法が小さく変化している。
この表示の変化により、ユーザ3は2台のロボット200(1)と200(2)の位置関係を容易に把握できる。
図43は、表示画面114A内に他の作業画面114Bが表示された場合の表示例を示す図であり、(a)は管理区域300におけるユーザ3と2台のロボット200(1)、200(2)の位置関係を示し、(b)は仮想管理区域300Aにおける位置関係の表示例を示す。
図43では仮想管理区域300Aの形状が他の作業画面114Bを避けるように変形されており、その結果として、ロボット200(2)を表す画像200A(2)が表示画面114Aの真ん中付近に移動されている。
ただし、この表示位置は管理区域300の端に対応するため、ロボット200(2)を表す画像200A(2)の表示寸法は他方のロボット200(1)を表す画像200A(1)の表示寸法に対して格段に小さくなっている。
これによりユーザ3はロボット200(1)が近くに位置し、ロボット200(2)が遠くに位置することを容易に把握できる。
図44は、他の作業画面114Bの表示寸法が変化する場合の仮想管理区域300Aの形状変化を説明する図であり、(a)は他の作業画面114Bが表示される前の表示例を示し、(b)は他の作業画面114Bが表示された直後の表示例を示し、(c)は他の作業画面114Bの表示面積が変更された後の表示例を示す。
図44では、仮想管理区域300Aの形状が変化しているが、ロボット200に紐付けられた画像200Aの表示寸法は変化していない。このように仮想管理区域300Aの変化によらず、ユーザ3はロボット200の位置を容易に把握できる。
図45は、ロボット200が管理区域300内でユーザ3から遠ざかる場合の表示例を説明する図であり、(a)は管理区域300におけるユーザ3とロボット200の位置関係を示し、(b)はロボット200が遠ざかる様子を表現する表示例を示し、(c)はロボット200が遠ざかる様子を表現する他の表示例を示す。
(b)では、ユーザ3に対応する画像3Bに対してロボット200に紐付けられた画像200Aが背を向けている。(c)では、表示画面114Aを見ているユーザ3に対してロボット200に紐付けられた画像200Aが背を向けている。
(b)では、ユーザ3に対応する画像3Bに対してロボット200に紐付けられた画像200Aが正面を向けている。(c)では、表示画面114Aを見ているユーザ3に対してロボット200に紐付けられた画像200Aが正面を向けている。
図47は、複数の管理区域300に位置している複数のロボット200(1)と200(2)を1つの表示画面114Aで管理する場合の表示例を説明する図であり、(a)は2つの管理区域300(1)と300(2)におけるロボット200の位置を示し、(b)は表示画面114Aの表示例を示す。
表示画面114Aには、2つの管理区域300(1)と300(2)に対応する2つの仮想管理区域300A(1)と300A(2)が並んで表示されている。
仮想管理区域300A(1)では、ロボット200(1)に対応する画像200A(1)の表示寸法が大きく表示され、仮想管理区域300A(2)では、ロボット200(2)に対応する画像200A(2)の表示寸法が小さく表示されている。
図48は、表示画面114Aを用いてロボット200に指示を出す場合の表示例を説明する図であり、(a)はロボット200からの指示要求画面例を示し、(b)はユーザによる指示の入力例を示し、(c)はロボット200からの応答画面例を示す。
例えばロボット200に紐付けられた画像200Aの上にカーソルを合わせて右クリックすると、指示要求画面が表示される。
図48の例では、ユーザ3がロボット200に印刷物の配送を要求する場合の例を示している。
図49は、ロボット200に実行させたい機能を表す画像250をロボット200に紐付けられた画像200Aに重ね合わせることで機能の実行を指示する場合の表示例を説明する図であり、(a)はロボット200に対する機能の実行指示操作を示し、(b)はロボット200からの応答画面例を示し、(c)はロボット200の動作状態を示す。
図49の例では、ユーザ3がロボット200に印刷物の配送を要求する場合の例を示している。(c)では、ロボット200に紐付けられた画像200Aが印刷物230Bを抱えており、配送中であることが分かる。
図50は、ロボット200に紐付けられた画像200Aの位置を表示画面114A上で移動させる移動操作があると、管理区域300上でロボット200が実際に移動される様子を説明する図であり、(a)は表示画面114Aの表示例を示し、(b)は実空間である管理区域300におけるロボット200の移動を示す。
図50の例では、カーソル240をロボット200に紐付けられた画像200Aの上に合わせてドラッグアンドドロップすることで、実空間上のロボット200に対して移動の指示が送信される。
なお、図50の例では、ドラッグの過程で画像200Aの位置がユーザ3から遠ざかるため、表示画面114A上における画像200Aの表示寸法が小さくなっている。
図51は、実空間400上でのロボット200の移動量に対応する仮想管理区域300Aでの画像200Aの変化量が仮想管理区域300Aの形状に応じて変化する様子を説明する図であり、(a)は実空間400上でのロボット200の移動量を示し、(b)は仮想管理区域300Aの表示面積が大きい場合の画像200Aの変化量を示し、(c)は仮想管理区域300Aの表示面積が小さい場合の画像200Aの変化量を示す。
図中の各矢印は実空間400又は仮想管理区域300A内での変化量を表している。
図51の場合、ロボット200に紐付けられた画像200Aの表示寸法は仮想管理区域300Aの違いによらず同じであり、画像200Aの変化量だけが変化している。
管理区域300を設定しない場合、管理区域情報取得部1104(図10参照)は、ロボット200が実在する地点周辺の地図情報やレイアウト情報をデータベースなどから取得してもよい。
この場合でも、表示画面114A内の仮想管理区域300Aの形状に応じてロボット200の位置表示が変化されることで、ユーザによる移動体の位置の把握が容易になる。
図52は、仮想管理区域300Aの表示寸法に応じて画像200Aの変化範囲が制約を受けることを説明する図であり、(a)は仮想管理区域300Aの表示寸法が大きい場合の画像200Aの変化範囲を示し、(b)は仮想管理区域300Aの表示寸法が小さい場合の画像200Aの変化範囲を示す。
図52の場合、表示画面114A上で画像200Aが左右方向に移動できる範囲は(a)の方が(b)よりも長くなっている。
このように、画像200Aを表示画面114A上で移動できる範囲は仮想管理区域300Aの表示寸法の制約を受ける。
なお、画像200Aの表示寸法の変化範囲が仮想管理区域300Aの表示寸法の制約を受ける表示としてもよい。
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
Claims (23)
- 移動体の位置情報が変化する場合、当該移動体に紐付けられた画像の表示寸法を変化させて表示する表示制御部を有する情報処理装置。
- 前記表示制御部は、前記移動体の距離の変化の方向を前記画像の向きにより表現すること
を特徴とする請求項1に記載の情報処理装置。 - 前記移動体の管理上定めた区域は、予め定められた対象を基準に定まること
を特徴とする請求項1に記載の情報処理装置。 - 前記表示制御部は、予め定められた対象に対する前記移動体の遠近に応じて当該移動体に紐付けられた前記画像の表示寸法を変化させること
を特徴とする請求項1に記載の情報処理装置。 - 前記表示制御部は、前記対象に対して前記移動体が近づくと当該移動体に紐付けられた前記画像の表示寸法を拡大し、当該移動体が遠ざかると当該移動体に紐付けられた当該画像の表示寸法を縮小すること
を特徴とする請求項4に記載の情報処理装置。 - 前記表示制御部は、前記移動体の管理上定められた区域の中心から当該移動体までの距離に応じて、当該移動体に紐付けられた前記画像の表示寸法を変化させること
を特徴とする請求項1に記載の情報処理装置。 - 前記表示制御部は、前記距離が閾値を超えると、前記移動体に紐付けられた前記画像の表示寸法を変化させること
を特徴とする請求項6に記載の情報処理装置。 - 前記表示制御部は、前記位置情報が前記移動体の管理上定められた区域を越えた場合、当該移動体に紐付けられた前記画像を表示領域上から消すこと
を特徴とする請求項1に記載の情報処理装置。 - 前記表示制御部は、前記位置情報が管理上定められた前記区域内に復帰した場合、前記移動体に紐付けられた前記画像を前記表示領域内に再表示すること
を特徴とする請求項8に記載の情報処理装置。 - 前記表示制御部は、前記移動体との通信が切れた場合、通信が切れた位置で、当該移動体に紐付けられた前記画像を表示領域上から消すこと
を特徴とする請求項1に記載の情報処理装置。 - 前記表示制御部は、前記移動体との通信が再開した場合、通信が再開した位置で、当該移動体に紐付けられた前記画像を前記表示領域内に再表示すること
を特徴とする請求項10に記載の情報処理装置。 - 前記表示制御部は、前記移動体に紐付けられた前記画像の表示寸法によって表される距離を画面上に表示すること
を特徴とする請求項1に記載の情報処理装置。 - 前記表示制御部は、前記移動体に紐付けられた前記画像とともに、当該移動体が位置する領域情報を画面上に表示すること
を特徴とする請求項1に記載の情報処理装置。 - 前記表示制御部は、表示画面上に表示される他の作業領域と重ならないように前記移動体に紐付けられた前記画像の表示位置を移動させること
を特徴とする請求項1に記載の情報処理装置。 - 前記表示制御部は、前記表示画面と非表示の仮想空間を跨いで前記移動体に紐付けられた前記画像の表示位置を移動させること
を特徴とする請求項14に記載の情報処理装置。 - 前記表示制御部は、前記表示画面から非表示の仮想空間に前記移動体に紐付けられた前記画像の表示位置を移動させること
を特徴とする請求項14に記載の情報処理装置。 - 前記移動体は、自走機構を有すること
を特徴とする請求項1に記載の情報処理装置。 - 前記移動体に紐付けられた前記画像を、前記移動体の稼働状態に応じて変化させること
を特徴とする請求項17に記載の情報処理装置。 - 前記表示制御部は、ユーザに前記移動体の救援を要請する表記を行うこと
を特徴とする請求項17に記載の情報処理装置。 - 前記移動体に紐付けられた前記画像の上に実行させたい機能に紐付けられた他の画像が重ね合わせられた場合、当該移動体に向けて当該機能の実行指示を送信すること
を特徴とする請求項1に記載の情報処理装置。 - 前記移動体に紐付けられた前記画像に対する移動操作を画面上で受け付けた場合、当該移動体に向けて画面上と同じ移動を実現する指示を送信すること
を特徴とする請求項20に記載の情報処理装置。 - 1つ又は複数の移動体と、
前記移動体の位置情報が変化する場合、当該移動体に紐付けられた画像の表示寸法を変化させて表示する情報処理装置と
を有する情報処理システム。 - コンピュータに、
表示画面上に移動体の位置表示に使用される表示領域を表示させる処理と、
前記移動体の位置情報が変化する場合、当該移動体に紐付けられた画像の表示寸法を前記表示領域上で変化させて表示させる処理と
を実行させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017023381A JP6950192B2 (ja) | 2017-02-10 | 2017-02-10 | 情報処理装置、情報処理システム及びプログラム |
US15/699,361 US10347026B2 (en) | 2017-02-10 | 2017-09-08 | Information processing apparatus with location based display |
CN201710903197.3A CN108415675B (zh) | 2017-02-10 | 2017-09-29 | 信息处理设备、信息处理系统和信息处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017023381A JP6950192B2 (ja) | 2017-02-10 | 2017-02-10 | 情報処理装置、情報処理システム及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018128640A true JP2018128640A (ja) | 2018-08-16 |
JP6950192B2 JP6950192B2 (ja) | 2021-10-13 |
Family
ID=63105343
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017023381A Active JP6950192B2 (ja) | 2017-02-10 | 2017-02-10 | 情報処理装置、情報処理システム及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10347026B2 (ja) |
JP (1) | JP6950192B2 (ja) |
CN (1) | CN108415675B (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021074827A (ja) * | 2019-11-11 | 2021-05-20 | 株式会社日立製作所 | ロボットシステム |
CN113524182A (zh) * | 2021-07-13 | 2021-10-22 | 东北石油大学 | 一种智能调节人与屏幕距离的装置及方法 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10880470B2 (en) * | 2015-08-27 | 2020-12-29 | Accel Robotics Corporation | Robotic camera system |
CN109909977A (zh) * | 2019-03-20 | 2019-06-21 | 哈尔滨理工大学 | 一种基于脑电波的姿态自动跟随机器人 |
CN110753303B (zh) * | 2019-10-23 | 2021-04-20 | 浙江树人学院(浙江树人大学) | 一种基于多传感器融合的服务机器人室内定位系统及方法 |
US12099997B1 (en) | 2020-01-31 | 2024-09-24 | Steven Mark Hoffberg | Tokenized fungible liabilities |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04270981A (ja) * | 1991-02-26 | 1992-09-28 | Honda Motor Co Ltd | レーダ装置 |
JP2005208857A (ja) * | 2004-01-21 | 2005-08-04 | Campus Create Co Ltd | 画像生成方法 |
JP2009245346A (ja) * | 2008-03-31 | 2009-10-22 | Nec Corp | 管制塔用表示装置、該管制塔用表示装置に用いられる航空機表示方法及び表示制御プログラム |
JP2011065308A (ja) * | 2009-09-16 | 2011-03-31 | Hitachi Ltd | 自律移動システム及び自律移動装置 |
US20150360865A1 (en) * | 2013-06-18 | 2015-12-17 | Hdt Robotics, Inc. | Robotic manipulator for warehouses |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06149339A (ja) | 1992-11-10 | 1994-05-27 | Nitto Seiko Co Ltd | 教示装置 |
JP2006039953A (ja) * | 2004-07-27 | 2006-02-09 | Denso Corp | 画像合成装置、ディスプレイ装置およびナビゲーション装置 |
JP3729417B1 (ja) * | 2004-09-07 | 2005-12-21 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
JP4347313B2 (ja) | 2006-02-23 | 2009-10-21 | ファナック株式会社 | ロボット教示操作盤 |
JP2009123061A (ja) | 2007-11-16 | 2009-06-04 | Topy Ind Ltd | ロボット位置検出システム |
JP5087532B2 (ja) * | 2008-12-05 | 2012-12-05 | ソニーモバイルコミュニケーションズ株式会社 | 端末装置、表示制御方法および表示制御プログラム |
JP4850984B2 (ja) * | 2009-12-28 | 2012-01-11 | パナソニック株式会社 | 動作空間提示装置、動作空間提示方法およびプログラム |
US20130093860A1 (en) * | 2010-10-20 | 2013-04-18 | Mitsubishi Electric Corporation | 3dimension stereoscopic display device |
JP5892361B2 (ja) * | 2011-08-02 | 2016-03-23 | ソニー株式会社 | 制御装置、制御方法、プログラム、及びロボット制御システム |
WO2013136498A1 (ja) * | 2012-03-15 | 2013-09-19 | パイオニア株式会社 | 画像認識装置、画像認識方法、画像認識プログラム、及び記録媒体 |
KR20150017435A (ko) * | 2013-08-06 | 2015-02-17 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 터치 입력을 이용한 객체 편집 방법 |
JP6410022B2 (ja) * | 2013-09-06 | 2018-10-24 | パナソニックIpマネジメント株式会社 | マスタスレーブロボットの制御装置及び制御方法、ロボット、マスタスレーブロボットの制御プログラム、並びに、マスタスレーブロボットの制御用集積電子回路 |
JP6151670B2 (ja) * | 2014-06-30 | 2017-06-21 | 本田技研工業株式会社 | 移動支援装置 |
EP3060966B1 (en) * | 2014-07-30 | 2021-05-05 | SZ DJI Technology Co., Ltd. | Systems and methods for target tracking |
CN106293417A (zh) * | 2015-06-08 | 2017-01-04 | 中兴通讯股份有限公司 | 屏幕画面显示方法及装置 |
US9855664B2 (en) * | 2015-11-25 | 2018-01-02 | Denso Wave Incorporated | Robot safety system |
-
2017
- 2017-02-10 JP JP2017023381A patent/JP6950192B2/ja active Active
- 2017-09-08 US US15/699,361 patent/US10347026B2/en active Active
- 2017-09-29 CN CN201710903197.3A patent/CN108415675B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04270981A (ja) * | 1991-02-26 | 1992-09-28 | Honda Motor Co Ltd | レーダ装置 |
JP2005208857A (ja) * | 2004-01-21 | 2005-08-04 | Campus Create Co Ltd | 画像生成方法 |
JP2009245346A (ja) * | 2008-03-31 | 2009-10-22 | Nec Corp | 管制塔用表示装置、該管制塔用表示装置に用いられる航空機表示方法及び表示制御プログラム |
JP2011065308A (ja) * | 2009-09-16 | 2011-03-31 | Hitachi Ltd | 自律移動システム及び自律移動装置 |
US20150360865A1 (en) * | 2013-06-18 | 2015-12-17 | Hdt Robotics, Inc. | Robotic manipulator for warehouses |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021074827A (ja) * | 2019-11-11 | 2021-05-20 | 株式会社日立製作所 | ロボットシステム |
JP7282016B2 (ja) | 2019-11-11 | 2023-05-26 | 株式会社日立製作所 | ロボットシステム |
CN113524182A (zh) * | 2021-07-13 | 2021-10-22 | 东北石油大学 | 一种智能调节人与屏幕距离的装置及方法 |
CN113524182B (zh) * | 2021-07-13 | 2023-05-16 | 东北石油大学 | 一种智能调节人与屏幕距离的装置及方法 |
Also Published As
Publication number | Publication date |
---|---|
US20180232923A1 (en) | 2018-08-16 |
US10347026B2 (en) | 2019-07-09 |
CN108415675A (zh) | 2018-08-17 |
CN108415675B (zh) | 2023-06-09 |
JP6950192B2 (ja) | 2021-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6950192B2 (ja) | 情報処理装置、情報処理システム及びプログラム | |
US11429761B2 (en) | Method and apparatus for interacting with a node in a storage area | |
US9552056B1 (en) | Gesture enabled telepresence robot and system | |
US11514207B2 (en) | Tracking safety conditions of an area | |
US9517559B2 (en) | Robot control system, robot control method and output control method | |
CN105190482B (zh) | 缩放手势的检测 | |
CN103460256B (zh) | 在扩增现实系统中将虚拟图像锚定到真实世界表面 | |
KR102280798B1 (ko) | 카트 로봇 및 로봇 관제 시스템 | |
Mirri et al. | Human-Drone Interaction: state of the art, open issues and challenges | |
US20180005445A1 (en) | Augmenting a Moveable Entity with a Hologram | |
CN109478267A (zh) | 基于观察的事件跟踪 | |
JP6927937B2 (ja) | 三次元骨格表現を生成するためのシステム及び方法 | |
JP6938980B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
KR102190743B1 (ko) | 로봇과 인터랙션하는 증강현실 서비스 제공 장치 및 방법 | |
CN105808062A (zh) | 一种用于控制智能装置的方法和终端 | |
JP2018030223A (ja) | 捜し物ロボット | |
KR20200144363A (ko) | 로봇 및 그의 구동 방법 | |
JP6809267B2 (ja) | 情報処理装置、情報処理システム及びプログラム | |
JPWO2019138618A1 (ja) | 動物型の自律移動体、動物型の自律移動体の動作方法、およびプログラム | |
JP7196894B2 (ja) | 情報処理装置、情報処理システム及びプログラム | |
JP7513030B2 (ja) | 情報処理装置、情報処理方法、情報処理プログラム及び制御装置 | |
Mao et al. | Eliminating drift of the head gesture reference to enhance Google Glass-based control of an NAO humanoid robot | |
CN116079703A (zh) | 机器人示教方法、装置、设备及计算机可读存储介质 | |
CN111975765A (zh) | 电子装置、机器人系统和虚拟区域设定方法 | |
KR20200094375A (ko) | 프로그래밍이 가능한 완구용 로봇 및 완구용 로봇의 구동 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210326 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210601 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210715 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210824 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210906 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6950192 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |