[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2018128640A - 情報処理装置、情報処理システム及びプログラム - Google Patents

情報処理装置、情報処理システム及びプログラム Download PDF

Info

Publication number
JP2018128640A
JP2018128640A JP2017023381A JP2017023381A JP2018128640A JP 2018128640 A JP2018128640 A JP 2018128640A JP 2017023381 A JP2017023381 A JP 2017023381A JP 2017023381 A JP2017023381 A JP 2017023381A JP 2018128640 A JP2018128640 A JP 2018128640A
Authority
JP
Japan
Prior art keywords
display
robot
management area
moving body
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017023381A
Other languages
English (en)
Other versions
JP6950192B2 (ja
Inventor
賢吾 得地
Kengo Tokuchi
賢吾 得地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2017023381A priority Critical patent/JP6950192B2/ja
Priority to US15/699,361 priority patent/US10347026B2/en
Priority to CN201710903197.3A priority patent/CN108415675B/zh
Publication of JP2018128640A publication Critical patent/JP2018128640A/ja
Application granted granted Critical
Publication of JP6950192B2 publication Critical patent/JP6950192B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1407General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/021Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676Avoiding collision or forbidden zones
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/32Operator till task planning
    • G05B2219/32014Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39082Collision, real time collision avoidance
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40202Human robot coexistence
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40478Graphic display of work area of robot, forbidden, permitted zone
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/49Nc machine tool, till multiple
    • G05B2219/49137Store working envelop, limit, allowed zone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/20Linear translation of whole images or parts thereof, e.g. panning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Digital Computer Display Output (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】移動体に紐付けられた画像の表示寸法が遠近を表さない場合に比して、位置関係の把握を容易にする。
【解決手段】情報処理装置は、移動体の位置情報が変化する場合、移動体に紐付けられた画像の表示寸法を変化させて表示する表示制御部を有する。
【選択図】図3

Description

本発明は、情報処理装置、情報処理システム及びプログラムに関する。
特許文献1には、遠隔操作するロボットの位置および方向をディスプレイ上に表示し、必要に応じて表示位置および方向を修正できる技術が記載されている。
特開2009−123061号公報
IoT(Internet of Things)社会の進展に伴い、物の位置等を容易に把握できる仕組みが必要になる。
本発明は、移動体に紐付けられた画像の表示寸法が遠近を表さない場合に比して、位置関係の把握を容易にすることを目的とする。
請求項1に記載の発明は、移動体の位置情報が変化する場合、当該移動体に紐付けられた画像の表示寸法を変化させて表示する表示制御部を有する情報処理装置である。
請求項2に記載の発明は、前記表示制御部は、前記移動体の距離の変化の方向を前記画像の向きにより表現することを特徴とする請求項1に記載の情報処理装置である。
請求項3に記載の発明は、前記移動体の管理上定めた区域は、予め定められた対象を基準に定まることを特徴とする請求項1に記載の情報処理装置である。
請求項4に記載の発明は、前記表示制御部は、予め定められた対象に対する前記移動体の遠近に応じて当該移動体に紐付けられた前記画像の表示寸法を変化させることを特徴とする請求項1に記載の情報処理装置である。
請求項5に記載の発明は、前記表示制御部は、前記対象に対して前記移動体が近づくと当該移動体に紐付けられた前記画像の表示寸法を拡大し、当該移動体が遠ざかると当該移動体に紐付けられた当該画像の表示寸法を縮小することを特徴とする請求項4に記載の情報処理装置である。
請求項6に記載の発明は、前記表示制御部は、前記移動体の管理上定められた区域の中心から当該移動体までの距離に応じて、当該移動体に紐付けられた前記画像の表示寸法を変化させることを特徴とする請求項1に記載の情報処理装置である。
請求項7に記載の発明は、前記表示制御部は、前記距離が閾値を超えると、前記移動体に紐付けられた前記画像の表示寸法を変化させることを特徴とする請求項6に記載の情報処理装置である。
請求項8に記載の発明は、前記表示制御部は、前記位置情報が前記移動体の管理上定められた区域を越えた場合、当該移動体に紐付けられた前記画像を表示領域上から消すことを特徴とする請求項1に記載の情報処理装置である。
請求項9に記載の発明は、前記表示制御部は、前記位置情報が管理上定められた前記区域内に復帰した場合、前記移動体に紐付けられた前記画像を前記表示領域内に再表示することを特徴とする請求項8に記載の情報処理装置である。
請求項10に記載の発明は、前記表示制御部は、前記移動体との通信が切れた場合、通信が切れた位置で、当該移動体に紐付けられた前記画像を表示領域上から消すことを特徴とする請求項1に記載の情報処理装置である。
請求項11に記載の発明は、前記表示制御部は、前記移動体との通信が再開した場合、通信が再開した位置で、当該移動体に紐付けられた前記画像を前記表示領域内に再表示することを特徴とする請求項10に記載の情報処理装置である。
請求項12に記載の発明は、前記表示制御部は、前記移動体に紐付けられた前記画像の表示寸法によって表される距離を画面上に表示することを特徴とする請求項1に記載の情報処理装置である。
請求項13に記載の発明は、前記表示制御部は、前記移動体に紐付けられた前記画像とともに、当該移動体が位置する領域情報を画面上に表示することを特徴とする請求項1に記載の情報処理装置である。
請求項14に記載の発明は、前記表示制御部は、表示画面上に表示される他の作業領域と重ならないように前記移動体に紐付けられた前記画像の表示位置を移動させることを特徴とする請求項1に記載の情報処理装置である。
請求項15に記載の発明は、前記表示制御部は、前記表示画面と非表示の仮想空間を跨いで前記移動体に紐付けられた前記画像の表示位置を移動させることを特徴とする請求項14に記載の情報処理装置である。
請求項16に記載の発明は、前記表示制御部は、前記表示画面から非表示の仮想空間に前記移動体に紐付けられた前記画像の表示位置を移動させることを特徴とする請求項14に記載の情報処理装置である。
請求項17に記載の発明は、前記移動体は、自走機構を有することを特徴とする請求項1に記載の情報処理装置である。
請求項18に記載の発明は、前記移動体に紐付けられた前記画像を、前記移動体の稼働状態に応じて変化させることを特徴とする請求項17に記載の情報処理装置である。
請求項19に記載の発明は、前記表示制御部は、ユーザに前記移動体の救援を要請する表記を行うことを特徴とする請求項17に記載の情報処理装置である。
請求項20に記載の発明は、前記移動体に紐付けられた前記画像の上に実行させたい機能に紐付けられた他の画像が重ね合わせられた場合、当該移動体に向けて当該機能の実行指示を送信することを特徴とする請求項1に記載の情報処理装置である。
請求項21に記載の発明は、前記移動体に紐付けられた前記画像に対する移動操作を画面上で受け付けた場合、当該移動体に向けて画面上と同じ移動を実現する指示を送信することを特徴とする請求項20に記載の情報処理装置である。
請求項22に記載の発明は、1つ又は複数の移動体と、前記移動体の位置情報が変化する場合、当該移動体に紐付けられた画像の表示寸法を変化させて表示する情報処理装置とを有する情報処理システムである。
請求項23に記載の発明は、コンピュータに、表示画面上に移動体の位置表示に使用される表示領域を表示させる処理と、前記移動体の位置情報が変化する場合、当該移動体に紐付けられた画像の表示寸法を前記表示領域上で変化させて表示させる処理とを実行させるプログラムである。
請求項1記載の発明によれば、移動体に紐付けられた画像の表示寸法が遠近を表さない場合に比して、位置関係の把握が容易になる。
請求項2記載の発明によれば、距離の変化によらず移動体に紐付けられた画像の向きが同じ場合に比して、距離の変化の方向を把握できる。
請求項3記載の発明によれば、移動体に紐付けられた画像の表示寸法が遠近を表さない場合に比して、位置関係の把握が容易になる。
請求項4記載の発明によれば、移動体に紐付けられた画像の表示寸法が予め定めた対象に対する遠近を表さない場合に比して、基準として定めた対象との位置関係の把握が容易になる。
請求項5記載の発明によれば、近づくことで表示寸法が拡大し、遠ざかることで表示寸法が縮小することで、基準として定めた対象との位置関係の把握が容易になる。
請求項6記載の発明によれば、移動体に紐付けられた画像の表示寸法が管理上定められた区域の中心に対する遠近を表さない場合に比して、中心との位置関係の把握が容易になる。
請求項7記載の発明によれば、予め定めた閾値を超えることで表示寸法が変化するので、表示寸法を計算するための負荷を低減できる。
請求項8記載の発明によれば、移動体に紐付けられた画像が画面上から消えることで、移動体が管理上定められた区域を越えたことを把握できる。
請求項9記載の発明によれば、移動体に紐付けられた画像の再表示により、移動体が管理上定められた区域に復帰したことを把握できる。
請求項10記載の発明によれば、移動体に紐付けられた画像が画面上から消えることで、移動体との通信が途絶えたことを把握できる。
請求項11記載の発明によれば、移動体に紐付けられた画像の再表示により、移動体との通信の復帰を把握できる。
請求項12記載の発明によれば、表示寸法によって表される距離が表示されることで、移動体の具体的な距離の推測が容易になる。
請求項13記載の発明によれば、移動体が位置する領域が表示されることで、移動体の具体的な位置の把握が容易になる。
請求項14記載の発明によれば、移動体に紐付けられた画像を他の作業領域と重ならないように移動することで、位置関係の把握を継続できる。
請求項15記載の発明によれば、移動体に紐付けられた画像を非表示の仮想空間を跨いで移動することで、位置関係の把握を継続できる。
請求項16記載の発明によれば、移動体に紐付けられた画像を非表示の仮想空間に移動することで、位置関係の把握を継続できる。
請求項17記載の発明によれば、移動体に紐付けられた画像の表示寸法が遠近を表さない場合に比して、位置関係の把握が容易になる。
請求項18記載の発明によれば、画像の表示形態の変化を通じて稼働状態を把握できる。
請求項19記載の発明によれば、操作画面上に救援を要求する表記が行われるので、移動体の稼働状態を把握できる。
請求項20記載の発明によれば、操作により機能の実行を指示できる。
請求項21記載の発明によれば、画像の表示形態の変化を通じて機能の実行を把握できる。
請求項22記載の発明によれば、移動体に紐付けられた画像の表示寸法が遠近を表さない場合に比して、位置関係の把握が容易になる。
請求項23記載の発明によれば、移動体に紐付けられた画像の表示寸法が遠近を表さない場合に比して、位置関係の把握が容易になる。
実施形態の一例である情報処理システムの概念構成を示す図である。 ユーザを含むように管理区域を定める例を示す図である。 基準点から一定の距離又は一定の範囲を管理区域に定める例を示す図である。 実施形態の他の例である情報処理システムの概念構成を示す図である。 本実施の形態で使用するロボットの外観構成を説明する図である。 本実施の形態におけるロボットのハードウェア構成を説明する図である。 ビーコンを用いる測位方式を説明する図である。 ロボットから送信される通信用の電波からロボットの位置を測位する方式を説明する図である。 本実施の形態における情報端末のハードウェア構成を説明する図である。 本実施の形態に係る情報端末のソフトウェア構成を説明する図である。 ユーザとロボットとの距離を説明する図である。 管理区域の中心位置とロボットとの距離を説明する図である。 子供やペット等の基準点とロボットとの距離を説明する図である。 実空間における管理区域が楕円形状であるのに対し、表示部の表示画面が概略矩形である場合の変形処理を説明する図であり、(a)は実空間における管理区域の形状を示し、(b)は表示上の仮想管理区域に加えられる部分領域別の変形の方向と大きさを示す。 ユーザが位置する管理区域の端部が画面左端に位置するように仮想管理区域を変形する例を説明する図であり、(a)は実空間における管理区域の形状を示し、(b)は仮想管理区域に加えられる部分領域別の変形の方向と大きさを示す。 実空間における管理区域が一方向に長い長方形状(例えば細長い通路)であるのに対し、表示部の表示画面が概略矩形である場合の変形処理を説明する図であり、(a)は実空間における管理区域の形状を示し、(b)は仮想管理区域に加えられる部分領域別の変形の方向と大きさを示す。 変形後の仮想管理区域の形状が表示画面の形状に一致しない例を説明する図であり、(a)は実空間における管理区域の形状を示し、(b)は仮想管理区域に加えられる部分領域別の変形の方向と大きさを示す。 表示画面上に他の作業画面が表示される場合に、他の作業画面と重ならないように仮想管理区域を変形させる例を説明する図であり、(a)は実空間における管理区域の形状を示し、(b)は仮想管理区域に加えられる部分領域別の変形の方向と大きさを示す。 表示画面におけるロボットの位置表示に実画像を用いる例を説明する図であり、(a)はカメラの配置例を示し、(b)は仮想管理区域における表示例を示す。 表示画面上に他の作業画面が表示される場合に、仮想管理区域を表示画面内で移動する例を説明する図であり、(a)は他の作業画面が表示される前の仮想管理区域の表示位置を示し、(b)は他の作業画面が表示された後の仮想管理区域の表示位置を示す。 表示画面上に他の作業画面が表示される場合に、仮想管理区域を表示画面と仮想管理画面を跨ぐ位置に移動する例を説明する図であり、(a)は他の作業画面が表示される前の仮想管理区域の表示位置を示し、(b)は他の作業画面が表示された後の仮想管理区域の表示位置を示す。 表示画面上に他の作業画面が表示される場合に、仮想管理区域を仮想管理画面に移動する例を説明する図であり、(a)は他の作業画面が表示される前の仮想管理区域の表示位置を示し、(b)は他の作業画面が表示された後の仮想管理区域の表示位置を示す。 距離に応じてロボットに紐付けられた画像の表示寸法を変化させる例を説明する図であり、(a)は実空間上におけるユーザとロボットの距離の関係を示し、(b)は表示寸法の変化が連続的である場合を示し、(c)は表示寸法の変化がステップ的である場合を示す。 仮想管理区域の各部に表示縮尺(スケールバー)を表示する例を示す図である。 表示寸法が表す距離情報を画面上に表示する例を説明する図であり、(a)は表示寸法と距離の対応見本を示し、(b)は画像の近傍に距離の目安が表示される例を示す。 ロボットの位置を特定するエリア名で表示する例を説明する図であり、(a)は管理区域で規定されているエリア名を示し、(b)は仮想管理区域上にロボットが存在するエリア名を表示する表示例を示す。 ロボットまでの距離を画面上に表示する例を説明する図であり、(a)は管理区域内にあるロボットの位置を示し、(b)は仮想管理区域にロボットまでの距離を数値で表示する表示例を示す。 ロボットが管理区域を超えることを予告する画面の例を説明する図であり、(a)は管理区域とロボットの位置関係を示し、(b)は表示画面に表示される予告画面の例を示し、(c)は予告表示後の表示を示す。 ロボットが管理区域を超えることを予告する画面の他の例を説明する図であり、(a)は管理区域とロボットの位置関係を示し、(b)は表示画面に表示される予告画面の例を示し、(c)は予告表示後の表示を示す。 ロボットが管理区域に復帰することを予告する画面の例を説明する図であり、(a)は管理区域とロボットの位置関係を示し、(b)は表示画面に表示される予告画面の例を示し、(c)は予告表示後の表示を示す。 ロボットが管理区域に復帰することを予告する画面の例を説明する図であり、(a)は管理区域とロボットの位置関係を示し、(b)は表示画面に表示される予告画面の例を示し、(c)は予告表示後の表示を示す。 管理区域の中央でロボットとの通信が途切れる場合の表示例を説明する図であり、(a)は管理区域とロボットの位置関係を示し、(b)は通信不良を予告する画面の例を示し、(c)は予告表示後の表示を示す。 管理区域の中央でロボットとの通信が再開される場合の表示例を説明する図であり、(a)は管理区域とロボットの位置関係を示し、(b)は通信再開前の画面の例を示し、(c)は通信の再開を示す画面の例を示す。 稼働情報取得部から稼働情報を取得した表示画像生成部による表示例を説明する図であり、(a)は実空間上でのロボットの稼働状態を示し、(b)は表示画面上の表示態様を示す。 稼働情報取得部から稼働情報を取得した表示画像生成部による表示の他の例を説明する図であり、(a)は実空間上でのロボットの稼働状態を示し、(b)は表示画面上の表示態様を示す。 ユーザとロボットが近くに位置する場合の表示例を示す図であり、(a)は管理区域におけるユーザとロボットの位置を示し、(b)は仮想管理区域における位置関係の表示例を示す。 ユーザとロボットが離れて位置する場合の表示例を示す図であり、(a)は管理区域におけるユーザとロボットの位置を示し、(b)は仮想管理区域における位置関係の表示例を示す。 ユーザが管理区域の中央付近に位置する場合の表示例を示す図であり、(a)は管理区域におけるユーザとロボットの位置を示し、(b)は仮想管理区域における位置関係の表示例を示す。 ユーザとロボットが近くに位置する場合の他の表示例を示す図であり、(a)は管理区域におけるユーザとロボットの位置を示し、(b)は仮想管理区域における位置関係の表示例を示す。 ユーザとロボットが近くに位置する場合の他の表示例を示す図であり、(a)は管理区域におけるユーザとロボットの位置を示し、(b)は仮想管理区域における位置関係の表示例を示す。 管理区域内に複数のロボットが位置する場合の表示例を示す図であり、(a)は管理区域におけるユーザと2台のロボットの位置関係を示し、(b)は仮想管理区域における位置関係の表示例を示す。 管理区域内における複数のロボットの位置関係が変化した場合の表示例を示す図であり、(a)は管理区域におけるユーザと2台のロボットの位置関係を示し、(b)は仮想管理区域における位置関係の表示例を示す。 表示画面内に他の作業画面が表示された場合の表示例を示す図であり、(a)は管理区域におけるユーザと2台のロボットの位置関係を示し、(b)は仮想管理区域における位置関係の表示例を示す。 他の作業画面の表示寸法が変化する場合の仮想管理区域の形状変化を説明する図であり、(a)は他の作業画面が表示される前の表示例を示し、(b)は他の作業画面が表示された直後の表示例を示し、(c)は他の作業画面の表示面積が変更された後の表示例を示す。 ロボットが管理区域内でユーザから遠ざかる場合の表示例を説明する図であり、(a)は管理区域におけるユーザとロボットの位置関係を示し、(b)はロボットが遠ざかる様子を表現する表示例を示し、(c)はロボットが遠ざかる様子を表現する他の表示例を示す。 ロボットが管理区域内でユーザに近づく場合の表示例を説明する図であり、(a)は管理区域におけるユーザとロボットの位置関係を示し、(b)はロボットが近づく様子を表現する表示例を示し、(c)はロボットが近づく様子を表現する他の表示例を示す。 複数の管理区域に位置している複数のロボットを1つの表示画面で管理する場合の表示例を説明する図であり、(a)は2つの管理区域におけるロボットの位置を示し、(b)は表示画面の表示例を示す。 表示画面を用いてロボットに指示を出す場合の表示例を説明する図であり、(a)はロボットからの指示要求画面例を示し、(b)はユーザによる指示の入力例を示し、(c)はロボットからの応答画面例を示す。 ロボットに実行させたい機能を表す画像を、ロボットに紐付けられた画像に重ね合わせることで機能の実行を指示する場合の表示例を説明する図であり、(a)はロボットに対する機能の実行指示操作を示し、(b)はロボットからの応答画面例を示し、(c)はロボットの稼働動作を示す。 ロボットに紐付けられた画像の位置を表示画面上で移動させる移動動作があると、管理区域上でロボットが実際に移動される様子を説明する図であり、(a)は表示画面の表示例を示し、(b)は実空間である管理区域におけるロボットの移動を示す。 実空間上でのロボットの移動量に対応する仮想管理区域での画像の変化量が仮想管理区域の形状に応じて変化する様子を説明する図であり、(a)は実空間上でのロボットの移動量を示し、(b)は仮想管理区域の表示面積が大きい場合の画像の変化量を示し、(c)は仮想管理区域の表示面積が小さい場合の画像の変化量を示す。 仮想管理区域の表示寸法に応じて画像の変化範囲が制約を受けることを説明する図であり、(a)は仮想管理区域の表示寸法が大きい場合の画像の変化範囲を示し、(b)は仮想管理区域の表示寸法が小さい場合の画像の変化範囲を示す。
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
<システム構成例>
図1は、実施形態の一例である情報処理システム1の概念構成を示す図である。
情報処理システム1は、ユーザ3によって操作される情報端末100と、ユーザ3の管理下にあるロボット200とによって構成されている。
情報端末100は情報処理装置の一例であり、ロボット200は移動体の一例である。
図1では、情報端末100としてノート型のコンピュータを例示しているが、情報端末100は、搭載する表示デバイス又は外部の表示デバイスとの連携により、ロボット200の位置情報を表示できる機能を備える機器であれば種類を問わない。
例えば情報端末100は、(1)据え置き型のコンピュータ、タブレット型のコンピュータ、スマートウォッチ、スマートフォン、デジタルカメラ、ビデオカメラ、モニタ等の画像表示装置、画像記録装置、画像再生装置、ゲーム機等の電子機器、(2)冷蔵庫、調理器、洗濯機等の家庭用電気製品、(3)家電モニタ等の住宅設備、(4)自動車等の車両、(5)工作機械等でもよい。
本実施の形態において、「移動体」は、実空間において位置が固定されていない物であればよく、例えばぬいぐるみ等の人形や玩具、装飾品、ノート型のコンピュータ、タブレット型のコンピュータ、スマートウォッチ、スマートフォン、デジタルカメラ、ビデオカメラ、ボイスレコーダ、医療器具等の可搬型の物品の他、自動車、電車、船、飛行機、ドローン等の自走機構によって実空間内を移動する有人又は無人の輸送用機器も含まれる。また、移動体には、自転車やベビーカーのように人力で移動する車両も含まれる。
移動体の移動は、面内に限らず線上を含み、水平方向に限らず上下方向を含み、屋内に限らず屋外を含み、地上に限らず、水中、空中、地中、体内を含む。
図1の場合、ユーザ3は、情報端末100において実行される処理機能を通じ、管理区域300内にあるロボット200の所在や稼働状態を把握する。
管理区域300は、管理対象とする移動体の所在や状態の管理のために現実の空間で定められる区域であり、物理的に定まる場合(例えば建物、オフィスや店舗のフロア、壁やパーテーションで仕切られた部屋や区画など)だけでなく、基準点との関係で物理的に定まる場合、ユーザの指定により定まる場合を含む。
基準点には、構造物、物品、人、動物、植物などの物理的に特定可能な対象が用いられる。
基準点との関係には、基準点を含む区画、基準点を含む部屋、基準点を含むフロア、基準点を含む建物、基準点を含む地域の他、基準点からの距離なども含まれる。
図2及び図3は、移動体が移動可能な最大範囲を与える実空間400の一部分を管理区域300に設定した例を表している。
図2は、ユーザ3を含むように管理区域300を定める例を示す図である。
図3は、基準点5から一定の距離又は一定の範囲を管理区域300に定める例を示す図である。
図3においては、管理区域300として、保護対象としての子供やペット、防犯対象として貴金属などが基準点5として指定された例を表している。
基準点5は必ずしも不動点に限らず、移動点であってもよい。基準点5が移動点の場合、管理区域300の範囲は基準点5の移動に伴って移動する。
図4は、実施形態の他の例である情報処理システム10の概念構成を示す図である。図4には図1との対応部分に同一符号を付して表している。
情報処理システム10では、情報端末100がネットワーク500を通じてサーバ600に接続されている。この点が、情報処理システム10と情報処理システム1(図1参照)との違いである。
情報処理システム10の場合、ロボット200の所在や稼働状態はサーバ600で実行される処理機能を通じて情報端末100に提供される。従って、図4における情報端末100はいわゆる入出力装置として使用され、後述する処理機能はサーバ600側で実行される。その意味で、サーバ600は情報処理装置の一例である。
<ロボットの構成>
・外観構成
図5は、本実施の形態で使用するロボット200の外観構成を説明する図である。ロボット200は、人形や玩具の一形態である。
ロボット200の外観構成は、図5に示すヒト型に限らず、犬やネコなどの動物、花や木などの植物、車(電車を含む)や飛行機等の乗り物を題材として表現したものでよい。本実施の形態における乗り物には有人機だけでなく無人機も含まれる。
図5に例示したヒト型のロボット200は、胴部201、頭部202、腕203、205、手204、206、足207、208を有している。
本実施の形態における胴部201には、信号処理のための電子部品が格納されている。胴部201には、表示デバイスや音響機器が搭載されてもよい。
もっとも、ロボット200が単なる人形である場合、胴部201には詰め物が充填される。
本実施の形態における頭部202は、首の部分に設けられたジョイント機構を介して胴部201に連結されている。
本実施の形態の場合、ジョイント機構は、3軸まわりに回転可能である。3軸まわりの回転とは、ヨー(z軸まわりの回転)、ロール(x軸まわりの回転)、ピッチ(y軸まわりの回転)の3つである。
3軸の全てに対して回転可能である必要はなく、1軸のみ又は2軸について回転可能でよい。これらの回転は手動で行われてもよいし、不図示のモーターによる回転駆動により実現してもよい。もっとも、頭部202が胴部201に対して固定される場合を妨げない。
頭部202には目202A、202Bが設けられている。目202A及び202Bは、装飾的に配置されていてもよいし、撮像装置、投影機、照明等を内蔵してもよい。頭部202には可動式の耳が配置されていてもよい。
本実施の形態における腕203及び205は、胴部201とジョイント機構を介して連結されている。腕203及び205の上腕と前腕は、ジョイント機構を介して連結されている。
本実施の形態の場合、ジョイント機構は、頭部202と同様に多軸でも単軸でもよい。また、軸周りの回転は手動で実現されてもよいし、不図示のモーターによる回転駆動により実現してもよい。
もっとも、腕203及び205は、胴部201に固定されていてもよい。
なお、腕203及び205を予め定めた角度に折り曲げれば、物の運搬に用いることができる。
手204及び206は、手首の部分に設けられたジョイント機構を介して腕203及び205に連結されている。手204及び206の手の平と指は、いずれもジョイント機構を介して連結されている。
本実施の形態におけるジョイント機構は、頭部202と同様に多軸でも単軸でもよい。また、軸周りの回転は手動で実現されてもよいし、不図示のモーターによる回転駆動によって実現してもよい。
本実施の形態の場合、手204及び206は、指の開閉により物を掴むことができる。
手204及び206は、腕203及び205に対して固定でもよい。
足207及び208は、ジョイント機構を介して胴部201に連結されてもよいし、車輪やキャタピラー等の自走機構として胴部201に取り付けられてもよい。
足207及び208がジョイント機構を介して胴部201に連結される場合、ジョイント機構は、頭部202と同じく多軸でも単軸でもよい。
また、軸周りの回転は手動で実現されてもよいし、不図示のモーターによる回転駆動によって実現してもよい。なお、足207及び208は、胴部201に対して固定でもよい。
・ハードウェア構成
図6は、本実施の形態におけるロボット200のハードウェア構成を説明する図である。
ロボット200は、装置全体の動きを制御する制御部210と、静止画像又は動画像を撮像するカメラ211と、会話用の音声、楽曲、効果音を再生するスピーカ212と、音の入力又は取得に用いられるマイク213と、ジョイント機構などの可動機構214と、外部装置との通信に用いられる通信部215と、画像を表示する表示部216と、装置全体を移動させる移動機構217と、各部に電力を供給する電源218と、各部の状態や周辺情報の収集に使用されるセンサ219と、位置情報の取得に用いられる位置検知部220とを有している。これらの各部は、例えばバス221により互いに接続されている。
言うまでもなく、図6に示すハードウェア構成は一例である。従って、ロボット200は、前述した全ての部材を搭載する必要はない。
また、ロボット200は、不図示の部材を更に搭載してもよい。例えばロボット200は、電源ボタン、記憶装置(ハードディスク装置、半導体メモリ等)、熱源(冷却源を含む。)等を搭載してもよい。
制御部210は、いわゆるコンピュータであり、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)を有している。
ROMには、CPUにより実行されるプログラムが記憶されている。CPUは、ROMに記憶されているプログラムを読み出し、RAMを作業エリアに使用してプログラムを実行する。プログラムの実行を通じ、CPUはロボット200を構成する各部の動作を制御する。
制御部210は、例えばカメラ211、マイク213、センサ219を通じて取得される情報をプログラムに従って処理する機能を有している。
ここでの情報には、例えば視覚、聴覚、触覚、味覚、嗅覚、平衡感覚、温度が含まれる。
視覚は、カメラ211で撮像された画像の認識処理を通じて実現される。
聴覚は、マイク213で取得された音の認識処理を通じて実現される。
触覚には、例えば表在感覚(触覚、痛覚、温度覚)、深部覚(圧覚、位置覚、振動覚など)、皮質性感覚(二点識別覚、立体識別能力など)が含まれる。制御部210は、触覚の違いを分別できる。
触覚、味覚、臭覚、平衡感覚、温度は、各種のセンサ219による情報の検知を通じて実現される。なお、温度には、周辺温度、内部温度、ヒトや動物の体温なども含まれる。
更に、制御部210が取得する情報には、ヒトや動物の脳波も含み得る。この場合、脳波は、ヒト等に装着された脳波検知デバイスから発信される情報を通信部215で受信すればよい。
制御部210には、取得した情報を認識し、処理するための機能が備えられている。これらの機能は、内蔵されたプログラムや通信部215を通じて接続された外部のコンピュータで実行されるプログラムを通じて実現される。
認識処理では、人工知能に基づく機械学習を採用してもよく、当該技術を採用すればヒトに近い判断結果が得られる。最近では、ニューラルネットワーク型のディープラーニングが発達している。また部分的に学習分野を強化する強化学習などによる認識精度の向上も進んでいる。
さらに、制御部210には、不明な事態が発生した場合に、インターネット検索や外部のコンピュータとの通信を通じて情報を収集し、検索事象との類似度によって解決策を発見する機能を搭載してもよい。
制御部210は、認識結果や処理結果に基づいて、各種の動作を実行する。例えばスピーカ212を通じて音声を出力したり、通信部215を通じてメッセージを送信したり、表示部216を通じて画像を出力してもよい。
これら情報の入出力や可動機構214の動きを通じ、制御部210は、ユーザとの間でコミュニケーションを成立させることができる。コミュニケーションの応用例には、例えば接客や会議の進行なども含まれる。
また、制御部210は、コミュニケーションの記録機能や議事録の作成機能を有してもよい。
通信を確立できない外部機器が存在する場合、制御部210は、外部機器の遠隔操作のために用意されたコントローラを画像認識(例えば形状やリモコンに記載されている文字による認識)により特定し、特定されたコントローラに対する操作を通じて外部機器に対して指示を送信できるようにしてもよい。
本実施の形態の場合、カメラ211は、目202A及び202B(図5参照)の位置に配置される。
また、表示部216として投影機が用いられる場合、投影機は、例えば目202A及び202B(図5参照)のいずれか一方又は両方に配置することができる。なお、投影機は胴部201や頭部202に配置してもよい。
可動機構214は、物の搬送の他、感情を表現する目的でも使用される。
物の搬送に使用される場合、可動機構214は、腕203、205や手204、206の変形を通じて、例えば物を掴む、抱える、支える等の動作を実現する。
感情の表現に使用される場合、可動機構214は、例えば頭部202、腕203、205等(図5参照)の駆動を通じて、頭を傾げる、見上げる、周囲を見回す(キョロキョロする)、万歳する、指さし等の動作を実行する。
本実施の形態における通信部215は、無線方式によって外部と通信する。
ロボット200には、通信先として想定する外部装置で用いられる通信方式の数だけ通信部215が搭載される。
通信方式には、例えば赤外線通信、可視光通信、近接無線通信、WiFi(登録商標)、ブルートゥース(登録商標)、RFID(登録商標)、ZigBee(登録商標)、IEEE802.11a(登録商標)、MulteFire、LPWA(Low Power Wide Area)等がある。
無線通信に使用する帯域には、短波長帯(例えば800MHz〜920MHz)、長波長帯(例えば2.4GHz、5GHz)等がある。
なお、通信部215と外部装置との接続には通信ケーブルを使用してもよい。
これらの通信機能の応用例として、ロボット200は、仮想通貨による決済機能を有してもよい。
決済機能には、事前に預託された金額の範囲での決済が可能なプリペイド式、後払い型のクレジット決済、指定口座から代金を決済するデビットカード決済等を用いてもよい。
通貨は、ビットコイン(登録商標)のような仮想通貨でもよい。
なお、ロボット200の胴部201に現金を収容する空間を設け、必要に応じて決済に必要な金額を排出する機能、収容されている現金を取り出せるように扉を開閉する機能などを設けてもよい。
スピーカ212と連動して、ヒトに現金を借りる機能を設けてもよい。
表示部216は、ユーザとの間で視覚的なコミュニケーションを実現するために用いられる。
本実施の形態の場合、表示部216には、文字や図形が表示される。
表示部216が頭部202に配置される場合、表示部216に表情を表示してもよい。
本実施の形態の場合、移動機構217には車輪やキャタピラーを用いるが、プロペラや圧縮空気の吹き出し機構を用い、空気の力でロボット200を移動させてもよい。
本実施の形態における電源218には二次電池を使用するが、電力を発生できれば一次電池、燃料電池、太陽電池のいずれを用いてもよい。
また、電源218の代わりに、電源ケーブルを通じて外部から電力の供給を受ける構成を採用してもよい。
本実施の形態の場合、ロボット200には、位置検知部220が搭載されている。
位置検知部220には、例えばGPS(Global Positioning System)信号から地点情報を読み取る方式、GPSと同等の信号を用いて屋内の位置を測位するIMES(Indoor Messaging System)方式、WiFiの複数のアクセスポイントから送信された電波の強度や到達時間等から位置を測位するWiFi測位方式、基地局から定期的に発生される信号に対する応答の方角と遅延時間から位置を測位する基地局測位方式、不可聴域の超音波を受信して位置を測位する音波測位方式、ブルートゥースを使ったビーコンからの電波を受信して位置を測位するブルートゥース測位方式、LED(Light Emitting Diode)等の照明光の点滅によって伝達される位置情報を用いて位置を測位する可視光測位方式、加速度センサやジャイロセンサ等を用いて現在位置を測位する自律航法方式等を利用する。
図7は、ビーコンを用いる測位方式を説明する図である。図7の場合、発振器700Aが壁に配置され、発振器700Bが床に配置され、発振器700Cが天井に配置され、発振器700Dが画像形成装置700の内部に配置されている。各発信器からは、固有の位置情報によって変調されたビーコンが発せられる。
位置検出技術には、屋内用の技術に限らず、屋外用の技術を用いてもよい。ロボット200が屋内と屋外の両方で使用される場合、屋内用と屋外用の2種類の位置検知部220を搭載してもよい。
検出又は推定された位置情報は、通信部215を通じて情報端末100やサーバ600に通知される。
本実施の形態の場合、ロボット200に位置検知部220が搭載されているが、位置検知部220が搭載されていない場合には、外部設備を通じてロボット200の位置情報を取得又は推定してもよい。
図8は、ロボット200から送信される通信用の電波からロボット200の位置を測位する方式を説明する図である。
ロボット200から送信された電波225は、位置が既知のアクセスポイント800A、800B、800Cで受信される。位置測位部900は、アクセスポイント800A、800B、800Cで受信された電波225の強度や遅延時間等からロボット200の位置を測位する。測位された位置情報は、位置測位部900から情報端末100やサーバ600に通知される。
もっとも、位置測位部900としての機能を情報端末100やサーバ600が実行してもよい。
この他、ロボット200との間で近接無線通信が確立した読取装置(いわゆるリーダ)の位置情報をロボット200の位置として用いてもよい。
また、屋内や屋外に配置された監視カメラなどによって撮像された画像にロボット200の画像が含まれる場合、ロボット200を撮像した監視カメラの位置などをロボット200の位置として用いてもよい。ロボット200の検出には画像認識技術を使用する。
ここでの監視カメラを使用する方法は、ロボット200が電子部品を搭載しない人形の場合にも適用できる。
<情報端末及びサーバの構成>
続いて、情報端末100及びサーバ600の構成について説明する。以下では、情報端末100の構成について説明する。
・ハードウェア構成
図9は、本実施の形態における情報端末100のハードウェア構成を説明する図である。
情報端末100は、装置全体の動きを制御する制御部110と、ユーザによる操作入力を受け付ける操作部111と、外部装置との通信に用いられる通信部112と、各種のデータの記憶に用いられる記憶部113と、各種のアプリケーションに対応する作業画面を表示する表示部114と、音声や楽曲、効果音などを出力するスピーカ115とを有している。これらの各部は、例えばバス116により互いに接続されている。
言うまでもなく、図9に示すハードウェア構成は一例である。従って、情報端末100は、前述した全ての部材を搭載する必要はない。また、情報端末100は、不図示の部材を更に搭載してもよい。
なお、サーバ600の場合は、制御部110、通信部112、記憶部113が搭載されていればよい。
制御部110は、いわゆるコンピュータであり、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)を有している。
ROMには、CPUにより実行されるプログラムが記憶されている。CPUは、ROMに記憶されているプログラムを読み出し、RAMを作業エリアに使用してプログラムを実行する。プログラムの実行を通じ、CPUは情報端末100を構成する各部の動作を制御する。
本実施の形態における制御部110は表示制御部の一例である。表示制御部としての機能については後述する。
操作部111には、マウス、キーボード、タッチパネル等が用いられる。タッチパネルは、表示部114の前面側に配置される。
通信部112は、有線方式により又は無線方式により外部装置と通信するための装置である。本実施の形態における通信部112は、無線方式により外部装置と通信する。外部装置の一例がロボット200である。
記憶部113は、ハードディスク装置その他の大容量の記憶装置である。CPUで実行されるプログラムは記憶部113に記憶されていてもよい。
表示部114には、液晶ディスプレイパネル、有機EL(electroluminescence)ディスプレイパネル等が用いられる。なお、表示部114は、情報端末100に対して外付けされるモニタでもよい。
・ソフトウェア構成
図10は、本実施の形態に係る情報端末100のソフトウェア構成を説明する図である。図10に示すソフトウェア構成は、制御部110によるプログラムの実行を通じて実現される。
制御部110は、実空間400(図2、図3参照)上におけるロボット200の位置情報を取得する位置情報取得部1101と、ロボット200の位置管理に用いる基準位置を取得する基準位置取得部1102と、基準位置からロボット200の距離を計算する距離計算部1103として機能する。
位置情報取得部1101は、通信部112(図9参照)を通じてロボット200の位置情報を取得してもよいし、無線基地局における受信強度や遅延時間等に基づいてロボット200の位置情報を計算してもよい。
基準位置取得部1102は、基準位置として情報端末100を操作するユーザの位置、管理区域300の中心位置、ユーザによって指定された基準点5(図3参照)等のいずれを使用するかを取得する。
基準位置の情報は、指示受付部1107から与えられる。
距離計算部1103は、基準位置とロボット200との距離Lを計算する。
距離Lの例を図11〜図13に示す。
図11は、ユーザ3とロボット200との距離Lを説明する図である。この場合、ユーザ3とロボット200は管理区域300内に位置する。
図12は、管理区域300の中心位置Pcとロボット200との距離Lを説明する図である。この場合、ユーザ3は管理区域300の内側に位置してもよいし、ユーザ3Aのように管理区域300の外側に位置してもよい。
図13は、子供やペット等の基準点5とロボット200との距離Lを説明する図である。この場合も、ユーザ3は管理区域300の内側に位置してもよいし、ユーザ3Aのように管理区域300の外側に位置してもよい。
図10の説明に戻る。制御部110は、ロボット200の管理範囲を規定する管理区域300(図1〜図4参照)の位置情報を取得する管理区域情報取得部1104と、表示部114(図9参照)の画面上で管理区域300の表示に使用される表示領域の情報を取得する表示領域情報取得部1105と、取得された表示領域の形状に応じて画面上に配置する管理区域300の形状を変形する管理区域形状変形部1106として機能する。
管理区域情報取得部1104は、ユーザによって指定された管理区域300のレイアウト情報等を不図示のデータベース等から取得する。
データベースは記憶部113(図9参照)に保存されていてもよいし、通信部112(図9参照)を通じて接続された外部の記憶装置に格納されていてもよい。
本実施の形態における管理区域情報取得部1104は、管理区域300の情報として、レイアウト情報、実空間内に配置又は存在する備品の情報、位置の把握に必要なランドマーク等の情報も取得する。
本実施の形態における管理区域情報取得部1104は、取得された管理区域300の情報のうち少なくともレイアウト情報を管理区域形状変形部1106に出力する。
もっとも、管理区域情報取得部1104は、前述したレイアウト以外の情報も含めて管理区域形状変形部1106に出力してもよい。
なお、レイアウト情報は、設計図や地図レベルの精密かつ正確な情報に限らず、おおよその形状を表現した簡略的な情報でもよい。
レイアウト情報には、管理区域300内の領域の把握に有用な情報、例えば部署やチームの名称、店舗の名称等を含めてもよい。
備品やランドマークは、概念的なイメージを表す記号やマークによって表示画面114Aに表現されてもよい。
ただし、位置関係の把握の実現には、表示される情報量が増えすぎないことが好ましい。
また、位置関係の把握には、おおよそのレイアウトとレイアウト内の位置関係が分かればよい。このため、備品やランドマーク等に関する情報のうち実際に表示される情報は、表示画像生成部1110において選択してもよい。
管理区域300の設定又は選択に関する情報は、指示受付部1107から与えられる。
表示領域情報取得部1105は、管理区域300の表示に使用できる表示領域の情報を取得する。
表示領域情報取得部1105は、表示画面114Aの物理的な情報(例えば7インチディスプレイ、解像度等)を取得する他、指示受付部1107を通じて受け付けた他の作業画面の寸法や配置位置に関する情報も取得する。
表示画面114A上に他の作業画面が表示されていない場合、表示上の管理区域(以下「仮想管理区域」という。)の表示には、表示部114の画面全体(表示画面114A)を使用できる。もっとも、仮想管理区域の表示に使用できる最大範囲は、ユーザが設定し又は調整してもよい。
表示画面114A上に他の作業画面が表示される場合、仮想管理区域300Aの表示には、表示画面114Aから他の作業画面を除いた部分が用いられる。
管理区域形状変形部1106は、管理区域300のレイアウト情報を例えば図14〜図17に示すように変形する。
図14は、実空間における管理区域300が楕円形状であるのに対し、表示部114の表示画面114Aが概略矩形である場合の変形処理を説明する図であり、(a)は実空間における管理区域300の形状を示し、(b)は仮想管理区域300Aに加えられる部分領域別の変形の方向と大きさを示す。矢印の向きと長さは変形の方向と変形量を表している。
図14の場合、管理区域形状変形部1106は、変形後の仮想管理区域300Aが表示画面114Aの形状(例えば5インチディスプレイ)と一致するように、管理区域情報取得部1104から与えられた仮想管理区域300Aの全体を非線形に変形している。変形後の仮想管理区域300Aは、ロボット200に紐付けられた画像(図19等で後述する画像200A)の位置表示に使用される表示領域の一例である。
非線形に変形されるので、変形前のレイアウトと変形後のレイアウトは相似にはならない。
図14の例では、仮想管理区域300Aのうち、表示画面114Aから領域の一部がはみ出す水平方向には圧縮変換が適用され、表示画面114Aの四隅の領域では伸長変換が適用される。
このように、図14に示す変形処理は、領域によって圧縮変換と伸長変換が適用される不均一な変形であり、変形後の仮想管理区域300Aには、圧縮される領域と伸長される領域が混在する。すなわち、図14に示す仮想管理区域300Aには、縮尺が異なる領域が混在している。
なお、管理区域形状変形部1106による仮想管理区域300Aの変形は、基準点に対するロボット200の遠近と基準点に対するロボット200のおおよその方向を把握できる程度に情報が保存される変形であればよい。
このような変形を実現する手法は1つではなく、様々な手法が考えられる。
例えば個々の領域における変形量が表示画面114Aの中心から遠いほど大きく、表示画面114Aの中心に近いほど小さくなるようにしてもよい。
また、方向や領域別に圧縮すべき量や伸長すべき量を特定し、その大きさに応じて各方向や領域に対する変形量を定めてもよい。
なお、管理区域情報取得部1104から与えられた仮想管理区域300Aの形状と表示画面114Aの形状が相似である場合には、管理区域形状変形部1106が、仮想管理区域300Aを相似変換してもよい。
もっとも、管理区域情報取得部1104から与えられた仮想管理区域300Aの形状と表示画面114Aの形状が相似でも、仮想管理区域300Aの一部領域を非線形に変形することは可能である。
図15は、ユーザ3が位置する管理区域300の端部が画面左端に位置するように仮想管理区域300Aを変形する例を説明する図であり、(a)は実空間における管理区域300の形状を示し、(b)は表示上の仮想管理区域300Aに加えられる部分領域別の変形の方向と大きさを示す。矢印の向きと長さは変形の方向と変形量を表している。
図15の例では、仮想管理区域300Aのうち、表示画面114Aから領域の一部がはみ出す水平方向には左端に向けて全体的に圧縮変形する処理が適用され、表示画面114Aの左上隅と左下隅の領域では伸長変換が適用される。
この変形手法でも、仮想管理区域300Aが表示画面114Aと同じ概略矩形に変形されるが、実空間上における地点と表示画面上の地点の対応関係の分布は図14の例とは異なるものになる。
図16は、実空間における管理区域300が一方向に長い長方形状(例えば細長い通路)であるのに対し、表示部114の表示画面114Aが概略矩形である場合の変形処理を説明する図であり、(a)は実空間における管理区域300の形状を示し、(b)は仮想管理区域300Aに加えられる部分領域別の変形の方向と大きさを示す。矢印の向きと長さは変形の方向と変形量を表している。
図16の例では、仮想管理区域300Aのうち、表示画面114Aから領域の一部がはみ出す水平方向には圧縮変換が適用され、表示画面114Aの上下方向には伸長変換が適用される。
図16に示すように一方向の長い長方形状の場合にも、図15に例示したように、ユーザ3が位置する管理区域300の端部が画面左端に位置するように仮想管理区域300Aを変形してもよい。
ところで、図14〜図16に示す変形の例では、変形後の仮想管理区域300Aの形状を表示画面114Aの形状に一致させているが、変形後の仮想管理区域300Aの形状が表示画面114Aの形状に一致しなくてもよい。
このような例を図17に示す。図17は、変形後の仮想管理区域300Aの形状が表示画面114Aの形状に一致しない例を説明する図であり、(a)は実空間における管理区域300の形状を示し、(b)は仮想管理区域300Aに加えられる部分領域別の変形の方向と大きさを示す。
図17は、実空間における管理区域300が一方向に長い長方形状(例えば細長い通路)であるのに対し、表示画面114Aが概略矩形である場合を表している。
図17の例では、表示画面114Aからはみ出す領域がある水平方向についてのみ圧縮しているので、表示画面114Aには仮想管理区域300Aの上下位置に余白が生じている。
しかし、左右方向については、表示画面114Aに収まるように変形しているので、図17に示す変形も、特許請求の範囲における「表示領域の形状に応じて変形する」の一例である。
続いて、表示画面114A上に他の作業画面が表示されている又は新たに表示される場合における仮想管理区域300Aの変形例について説明する。
図18は、表示画面114A上に他の作業画面114Bが表示される場合に、他の作業画面と重ならないように仮想管理区域300Aを変形させる例を説明する図であり、(a)は実空間における管理区域300の形状を示し、(b)は仮想管理区域300Aに加えられる部分領域別の変形の方向と大きさを示す。
ここでの他の作業画面114Bは、特許請求の範囲における「他の作業領域」の一例である。
図18の場合、変形前は楕円形状であった仮想管理区域300AがL字形状に変形されている。
なお、仮想管理区域300Aの形状は、他の作業画面114Bの形状が変化すると又は閉じられると、他の作業画面114Bの形状変化に連動して変化する。
図10の説明に戻る。制御部110は、ユーザ3からの指示を受け付ける指示受付部1107としての機能を有している。
ここでの指示には、前述した基準位置の指定、管理区域300の指定などが含まれる。
また、制御部110は、指示受付部1107で受け付けた指示のうち外部装置(例えばロボット200)に対する指示内容を通信部112により送信する指示送信部1108として機能する。
例えば表示画面114A上で、ロボット200に実行させたい機能を表す画像がロボット200に紐付けられた画像200A(図19参照)に重ね合わせるように移動された場合、指示送信部1108は、該当する機能の実行を指示するコマンドをロボット200に送信する。ここでの「ロボット200に実行させたい機能を表す画像」は、特許請求の範囲における「他の画像」の一例である。
また、制御部110は、位置情報取得部1101から与えられるロボット200やユーザ3(又は3A)の位置情報を表示画面114Aに表示される仮想管理区域300A上にマッピングするマッピング部1109として機能する。
マッピング部1109は、ロボット200やユーザ3(又は3A)が管理区域300内に位置するか否かを判断する機能も有している。
本実施の形態におけるマッピング部1109は、管理区域形状変形部1106で実行された変形処理の情報を取得し、又は、管理区域300と仮想管理区域300Aの間の座標の対応関係に関する情報を取得し、仮想管理区域300A上にロボット200やユーザ3の位置をマッピングする(対応付ける)処理を実行する。
マッピング処理の際には、表示部114の解像度も考慮される。従って、ディスプレイの寸法が同じでも解像度が異なればロボット200やユーザ3のマッピング位置は異なる可能性がある。
さらに、制御部110は、ロボット200の位置情報がマッピングされた後の仮想管理区域300Aに基づいて、仮想管理区域300Aの画像を生成する表示画像生成部1110としても機能する。
ここで、表示画像生成部1110は、ロボット200の位置をアイコンや画像等によって仮想管理区域300A上に表示する。
管理区域300に配置されたカメラが撮像したロボット200の画像が画像取得部1111から与えられる場合、表示画像生成部1110は、アイコンに代えてロボット200の実画像を表示することもできる。
図19は、表示画面114Aにおけるロボット200の位置表示に実画像を用いる例を説明する図であり、(a)はカメラ910の配置例を示し、(b)は仮想管理区域300Aにおける表示例を示す。
実画像(画像200A)を用いることで、仮想管理区域300A上で管理される物品が複数の場合にも、ユーザ3による位置の把握が容易になる。
また、表示画像生成部1110は、距離計算部1103から距離情報を入力してもよい。この場合、表示画像生成部1110は、表示画面114A上に距離を表す数値を表示することができる。表示例については後述する。
また、表示画像生成部1110は、距離に応じて画像200Aの表示寸法を変更することもできる。表示例については後述する。
また、表示画像生成部1110は、仮想管理区域300A以外の作業画面(他の作業画面114B)が画面上に表示された場合に、仮想管理区域300Aの表示寸法はそのままに他の作業画面114Bを避けるように表示位置を移動させる機能を有してもよい。図20〜図23に表示位置の移動例を示す。
図20は、表示画面114A上に他の作業画面114Bが表示される場合に、仮想管理区域300Aを表示画面114A内で移動する例を説明する図であり、(a)は他の作業画面114Bが表示される前の仮想管理区域300Aの表示位置を示し、(b)は他の作業画面114Bが表示された後の仮想管理区域300Aの表示位置を示す。
図21は、表示画面114A上に他の作業画面114Bが表示される場合に、仮想管理区域300Aを表示画面114Aと仮想管理画面114Cを跨ぐ位置に移動する例を説明する図であり、(a)は他の作業画面114Bが表示される前の仮想管理区域300Aの表示位置を示し、(b)は他の作業画面114Bが表示された後の仮想管理区域300Aの表示位置を示す。
ここで、仮想管理画面114Cは、物理的な表示画面114Aの外側に位置する非表示のページである。非表示のページは仮想空間の一例である。図21では、非表示のページが1つの例を表しているが、非表示のページ数は複数でもよい。
図21の例では、仮想管理区域300Aの形状を変化させずに表示位置を移動させているが、新たに表示された他の作業画面114Bに応じて仮想管理区域300Aの形状を変化させた後に表示位置を移動させてもよい。
例えば他の作業画面114Bに応じて単純に変形したのでは仮想管理区域300Aの表示面積が小さくなりすぎて、ロボット200の位置の理解そのものが困難になる可能性がある。
そこで、仮想管理区域300Aの表示面積が予め定めた面積より小さくならないように変形し、その後、仮想管理区域300Aの表示位置を移動させてもよい。
図22は、表示画面114A上に他の作業画面114Bが表示される場合に、仮想管理区域300Aを仮想管理画面114Cに移動する例を説明する図であり、(a)は他の作業画面114Bが表示される前の仮想管理区域300Aの表示位置を示し、(b)は他の作業画面114Bが表示された後の仮想管理区域300Aの表示位置を示す。
この場合も、仮想管理区域300Aの形状を変形した後に表示位置を移動させてもよい。
また、表示画像生成部1110には、ロボット200に紐付けられた画像200Aの表示寸法を基準位置からの距離に応じて変化させる機能を搭載してもよい。
図23は、距離Lに応じてロボット200に紐付けられた画像200Aの表示寸法を変化させる例を説明する図であり、(a)は実空間上におけるユーザ3とロボット200の距離Lの関係を示し、(b)は表示寸法の変化が連続的である場合を示し、(c)は表示寸法の変化がステップ的である場合を示す。
図23に示すように、表示画像生成部1110は、距離Lが近くなるほど大きな表示寸法で画像200Aを表示し、距離Lが遠くなるほど小さい表示寸法で画像200Aを表示する。このように表示寸法を変化させることで、ユーザ3によるロボット200の位置の把握が容易になる。
なお、ステップ的な表示寸法の変化は、距離Lと閾値との比較により実現される。例えば距離Lが閾値を超えるタイミングで(大きい方に超える場合と小さい方に超える場合の2種類がある)、表示画像生成部1110は画像200Aの表示寸法を変化させる。
本実施の形態では、画像200Aの表示寸法を変化させる機能を、仮想管理区域300Aを表示画面114Aの形状に応じて変形させる機能と組み合わせて用いるが、表示領域の形状の変形とは無関係に画像200Aの表示寸法を変化させてもよい。
なお、表示画面114Aでの表示寸法の変化によってロボット200が近いか遠いかを把握することはできても実際の距離までは分からない。
距離の理解には、仮想管理区域300A上における各位置の表示縮尺や距離情報の表示が必要である。
図24は仮想管理区域300Aの各部に表示縮尺(スケールバー)を表示する例を示す図である。図24の例では表示画面114Aの4隅部分に比して画面中央側の十字領域の圧縮比率が高いことを表している。
表示縮尺は、縮尺情報の一例であり、表示画面114Aにマッピングされた画像200Aに対応するロボット200の実空間400上における位置を補足する情報として用いられる。
図25は表示寸法が表す距離情報を画面上に表示する例を説明する図であり、(a)は表示寸法と距離の対応見本を示し、(b)は画像200Aの近傍に距離の目安が表示される例を示す。
図26はロボット200の位置を特定するエリア名で表示する例を説明する図であり、(a)は管理区域300で規定されているエリア名を示し、(b)は仮想管理区域300A上にロボット200が存在するエリア名を表示する表示例を示す。図26では、セクションAに行くことが文字で表示されている。
図27はロボット200までの距離を画面上に表示する例を説明する図であり、(a)は管理区域300内にあるロボット200の位置を示し、(b)は仮想管理区域300Aにロボット200までの距離Lを数値で表示する表示例を示す。
これらの表示機能の組み合わせにより、ユーザ3は、ロボット200の位置を容易に把握できるのに加え、より正確な位置を理解できる。
また、表示画像生成部1110にはロボット200が管理区域300を超えることを表示画面上で予告する機能を設けてもよい。
図28はロボット200が管理区域300を超えることを予告する画面の例を説明する図であり、(a)は管理区域300とロボット200の位置関係を示し、(b)は表示画面114Aに表示される予告画面の例を示し、(c)は予告表示後の表示を示す。
本実施の形態の場合、「予告」とは、画像200Aが表示画面114Aから消滅することの報知又は示唆することを意味する。
図28の例では、ロボット200が管理区域300から出ることが「さようなら」との文字で表示され、その後、画像200Aが画面上から消えている。これによりユーザ3はロボット200が管理区域300から外れることを表示画面114A上で理解できる。
図29はロボット200が管理区域300を超えることを予告する画面の他の例を説明する図であり、(a)は管理区域300とロボット200の位置関係を示し、(b)は表示画面114Aに表示される予告画面の例を示し、(c)は予告表示後の表示を示す。
図29の例では、ロボット200が管理区域300から出ることが手を振る動作で表示され、その後、画像200Aが画面上から消えている。これによりユーザ3はロボット200が管理区域300から外れることを表示画面114A上で理解できる。
また、表示画像生成部1110には、ロボット200が管理区域300に復帰することを表示画面上で予告する機能を設けてもよい。
図30はロボット200が管理区域300に復帰することを予告する画面の例を説明する図であり、(a)は管理区域300とロボット200の位置関係を示し、(b)は表示画面114Aに表示される予告画面の例を示し、(c)は予告表示後の表示を示す。
図30の例では、ロボット200が管理区域300に戻ることが「ただいま」との文字とともに画像200Aが画面上に出現されている。すなわち、画像200Aが再表示されている。これによりユーザ3はロボット200が管理区域300に復帰したことを表示画面114A上で理解できる。
図31はロボット200が管理区域300に復帰することを予告する画面の例を説明する図であり、(a)は管理区域300とロボット200の位置関係を示し、(b)は表示画面114Aに表示される予告画面の例を示し、(c)は予告表示後の表示を示す。
図31の例では、ロボット200が管理区域300に復帰することが、お辞儀をする画像200Aを画面上に出現させることで示されている。すなわち、画像200Aが再表示されている。これによりユーザ3はロボット200が管理区域300に復帰したことを表示画面114A上で理解できる。
また、表示画像生成部1110には、ロボット200が管理区域300の中にあっても通信不良となることを表示する機能を設けてもよい。
図32は、管理区域300の中央でロボット200との通信が途切れる場合の表示例を説明する図であり、(a)は管理区域300とロボット200の位置関係を示し、(b)は通信不良を予告する画面の例を示し、(c)は予告表示後の表示を示す。
図32の例では、ロボット200と通信できなくなったことが手を振る動作で表示され、その後、画像200Aが画面上から消えている。
仮想管理区域300Aの中央に位置するにもかかわらず、このような動作の後にロボット200に紐付けられた画像200Aが消えることでロボット200との通信が途切れたことを、ユーザ3は表示画面114A上で理解できる。
なお、通信不良となったことを文字によって画面上に表示してもよい。
図33は、管理区域300の中央でロボット200との通信が再開される場合の表示例を説明する図であり、(a)は管理区域300とロボット200の位置関係を示し、(b)は通信再開前の画面の例を示し、(c)は通信の再開を示す画面の例を示す。
図33の例では、ロボット200との通信が復帰したことが、お辞儀した画像200Aの出現で表示されている。
仮想管理区域300Aの中央に位置するにもかかわらず、お辞儀した画像200Aが出現することで、ロボット200との通信が再開したことを、ユーザ3は表示画面114A上で理解できる。
なお、通信が再開したことを文字によって画面上に表示してもよい。因みに画像200Aの表示が消える際の表示寸法と表示が回復する際の表示寸法は同じになる。
図10の説明に戻る。制御部110は、ロボット200から稼働情報を取得する稼働情報取得部1112としての機能も有している。
ロボット200の稼働状態を取得できれば、表示画面114Aにロボット200の稼働状態を表示することができる。
図34は、稼働情報取得部1112から稼働情報を取得した表示画像生成部1110による表示例を説明する図であり、(a)は実空間上でのロボット200の稼働状態を示し、(b)は表示画面上の表示態様を示す。
図34では、ロボット200が荷物230を運んでいる状態を表している。このため、表示画面114Aには荷物230Aを運ぶ画像200Aが表示されている。この表示よりユーザ3は、ロボット200が荷物230を運んでいることを確認できる。
図35は、稼働情報取得部1112から稼働情報を取得した表示画像生成部1110による表示の他の例を説明する図であり、(a)は実空間上でのロボット200の稼働状態を示し、(b)は表示画面上の表示態様を示す。
図35では、ロボット200が荷物230を落とした状態を表している。この例では、表示画面114Aでも、荷物230Aを持っていない画像200Aが表示されるとともに「HELP」、「荷物落とした」、「荷物拾いに来て」等の救援を要請する表記(文字)が表示されている。この表示よりユーザ3は、ロボット200を視認できなくてもトラブルの発生を知り、対応動作をとることが可能になる。
<操作画面例>
以下では、実施の形態に係る情報端末100による操作画面例について説明する。
・画面例1
図36は、ユーザ3とロボット200が近くに位置する場合の表示例を示す図であり、(a)は管理区域300におけるユーザ3とロボット200の位置を示し、(b)は仮想管理区域300Aにおける位置関係の表示例を示す。
図36ではユーザ3の近くにロボット200が位置する場合の表示例であるので、ユーザ3を表す画像3Bの近くに比較的大きな表示寸法でロボット200に紐付けられた画像200Aが表示されている。図36からは、ロボット200が管理区域300の中央付近に位置することもわかる。
図37は、ユーザ3とロボット200が離れて位置する場合の表示例を示す図であり、(a)は管理区域300におけるユーザ3とロボット200の位置を示し、(b)は仮想管理区域300Aにおける位置関係の表示例を示す。
図37ではユーザ3の遠くにロボット200が位置する場合の表示例であるので、ユーザ3を表す画像3Bから遠く離れた位置に小さい表示寸法でロボット200に紐付けられた画像200Aが表示されている。図37からは、ロボット200が管理区域300の隅付近に位置することも分かる。
なお、図36と図37ではロボット200に紐付けられた画像200Aの表示寸法をユーザ3との距離に応じて変化させているが、表示寸法は画面上の位置によらず同じとしてもよい。
・画面例2
図38は、ユーザ3が管理区域300の中央付近に位置する場合の表示例を示す図であり、(a)は管理区域300におけるユーザ3とロボット200の位置を示し、(b)は仮想管理区域300Aにおける位置関係の表示例を示す。
図38は、ロボット200が管理区域300の隅に位置する点で図37の例と同じであるが、ユーザ3とロボット200との距離が近いため、ロボット200に紐付けられた画像200Aの表示寸法はあまり小さくなっていない。
・画像例3
図39は、ユーザ3とロボット200が近くに位置する場合の他の表示例を示す図であり、(a)は管理区域300におけるユーザ3とロボット200の位置を示し、(b)は仮想管理区域300Aにおける位置関係の表示例を示す。
ユーザ3とロボット200の位置関係は図36と同じである。ただし、図39の場合には、表示領域に対応する距離の目安が表示されている。例えば図39の例では、ロボット200が100mほど離れたところに位置することが分かる。
ロボット200に紐付けられた画像200Aの表示寸法と画面上の距離の目安から、ユーザ3はロボット200の位置関係を容易に把握できる。
・画面例4
図40は、ユーザ3とロボット200が近くに位置する場合の他の表示例を示す図であり、(a)は管理区域300におけるユーザ3とロボット200の位置を示し、(b)は仮想管理区域300Aにおける位置関係の表示例を示す。
ユーザ3とロボット200の位置関係は図39と同じである。ただし、図40の場合には、表示領域に対応する縮尺情報が表示されている。具体的には、同じ長さでも画面の左側は5m、中央付近は10m、右側は100mであることが分かる。
ロボット200に紐付けられた画像200Aの表示寸法と画面上の縮尺情報から、ユーザ3はロボット200の位置関係を容易に把握できる。
・画面例5
図41は、管理区域300内に複数のロボット200が位置する場合の表示例を示す図であり、(a)は管理区域300におけるユーザ3と2台のロボット200(1)、200(2)の位置関係を示し、(b)は仮想管理区域300Aにおける位置関係の表示例を示す。
図41に示す表示例では、近くに位置するロボット200(1)と200(2)を表す画像200A(1)と200A(2)が同じ表示寸法で表示されている。
ただし、画像200A(1)と200A(2)の表示形態が同じでは2台のロボット200(1)と200(2)を区別できない。
そこで、図41では、2つの画像200A(1)と200A(2)の表示形態を変えて2台のロボット200(1)と200(2)の位置関係を区別できるようにしている。なお、図41では、画像200A(1)と画像200A(2)の色を変えている。
図42は、管理区域300内における複数のロボット200の位置関係が変化した場合の表示例を示す図であり、(a)は管理区域300におけるユーザ3と2台のロボット200(1)、200(2)の位置関係を示し、(b)は仮想管理区域300Aにおける位置関係の表示例を示す。
図42に示す表示例では、ロボット200(1)がユーザ3に近づいた一方で、ロボット200(2)はユーザ3から遠ざかっている。加えて図42では、画像200A(1)の表示寸法が大きく変化し、画像200A(2)の表示寸法が小さく変化している。
この表示の変化により、ユーザ3は2台のロボット200(1)と200(2)の位置関係を容易に把握できる。
・画面例6
図43は、表示画面114A内に他の作業画面114Bが表示された場合の表示例を示す図であり、(a)は管理区域300におけるユーザ3と2台のロボット200(1)、200(2)の位置関係を示し、(b)は仮想管理区域300Aにおける位置関係の表示例を示す。
図43では仮想管理区域300Aの形状が他の作業画面114Bを避けるように変形されており、その結果として、ロボット200(2)を表す画像200A(2)が表示画面114Aの真ん中付近に移動されている。
ただし、この表示位置は管理区域300の端に対応するため、ロボット200(2)を表す画像200A(2)の表示寸法は他方のロボット200(1)を表す画像200A(1)の表示寸法に対して格段に小さくなっている。
これによりユーザ3はロボット200(1)が近くに位置し、ロボット200(2)が遠くに位置することを容易に把握できる。
・画面例7
図44は、他の作業画面114Bの表示寸法が変化する場合の仮想管理区域300Aの形状変化を説明する図であり、(a)は他の作業画面114Bが表示される前の表示例を示し、(b)は他の作業画面114Bが表示された直後の表示例を示し、(c)は他の作業画面114Bの表示面積が変更された後の表示例を示す。
図44では、仮想管理区域300Aの形状が変化しているが、ロボット200に紐付けられた画像200Aの表示寸法は変化していない。このように仮想管理区域300Aの変化によらず、ユーザ3はロボット200の位置を容易に把握できる。
・画面例8
図45は、ロボット200が管理区域300内でユーザ3から遠ざかる場合の表示例を説明する図であり、(a)は管理区域300におけるユーザ3とロボット200の位置関係を示し、(b)はロボット200が遠ざかる様子を表現する表示例を示し、(c)はロボット200が遠ざかる様子を表現する他の表示例を示す。
(b)では、ユーザ3に対応する画像3Bに対してロボット200に紐付けられた画像200Aが背を向けている。(c)では、表示画面114Aを見ているユーザ3に対してロボット200に紐付けられた画像200Aが背を向けている。
図46は、ロボット200が管理区域300内でユーザ3に近づく場合の表示例を説明する図であり、(a)は管理区域300におけるユーザ3とロボット200の位置関係を示し、(b)はロボット200が近づく様子を表現する表示例を示し、(c)はロボット200が近づく様子を表現する他の表示例を示す。
(b)では、ユーザ3に対応する画像3Bに対してロボット200に紐付けられた画像200Aが正面を向けている。(c)では、表示画面114Aを見ているユーザ3に対してロボット200に紐付けられた画像200Aが正面を向けている。
・画面例9
図47は、複数の管理区域300に位置している複数のロボット200(1)と200(2)を1つの表示画面114Aで管理する場合の表示例を説明する図であり、(a)は2つの管理区域300(1)と300(2)におけるロボット200の位置を示し、(b)は表示画面114Aの表示例を示す。
表示画面114Aには、2つの管理区域300(1)と300(2)に対応する2つの仮想管理区域300A(1)と300A(2)が並んで表示されている。
仮想管理区域300A(1)では、ロボット200(1)に対応する画像200A(1)の表示寸法が大きく表示され、仮想管理区域300A(2)では、ロボット200(2)に対応する画像200A(2)の表示寸法が小さく表示されている。
・画面例10
図48は、表示画面114Aを用いてロボット200に指示を出す場合の表示例を説明する図であり、(a)はロボット200からの指示要求画面例を示し、(b)はユーザによる指示の入力例を示し、(c)はロボット200からの応答画面例を示す。
例えばロボット200に紐付けられた画像200Aの上にカーソルを合わせて右クリックすると、指示要求画面が表示される。
図48の例では、ユーザ3がロボット200に印刷物の配送を要求する場合の例を示している。
・画面例11
図49は、ロボット200に実行させたい機能を表す画像250をロボット200に紐付けられた画像200Aに重ね合わせることで機能の実行を指示する場合の表示例を説明する図であり、(a)はロボット200に対する機能の実行指示操作を示し、(b)はロボット200からの応答画面例を示し、(c)はロボット200の動作状態を示す。
図49の例では、ユーザ3がロボット200に印刷物の配送を要求する場合の例を示している。(c)では、ロボット200に紐付けられた画像200Aが印刷物230Bを抱えており、配送中であることが分かる。
・画面例12
図50は、ロボット200に紐付けられた画像200Aの位置を表示画面114A上で移動させる移動操作があると、管理区域300上でロボット200が実際に移動される様子を説明する図であり、(a)は表示画面114Aの表示例を示し、(b)は実空間である管理区域300におけるロボット200の移動を示す。
図50の例では、カーソル240をロボット200に紐付けられた画像200Aの上に合わせてドラッグアンドドロップすることで、実空間上のロボット200に対して移動の指示が送信される。
なお、図50の例では、ドラッグの過程で画像200Aの位置がユーザ3から遠ざかるため、表示画面114A上における画像200Aの表示寸法が小さくなっている。
・画面例13
図51は、実空間400上でのロボット200の移動量に対応する仮想管理区域300Aでの画像200Aの変化量が仮想管理区域300Aの形状に応じて変化する様子を説明する図であり、(a)は実空間400上でのロボット200の移動量を示し、(b)は仮想管理区域300Aの表示面積が大きい場合の画像200Aの変化量を示し、(c)は仮想管理区域300Aの表示面積が小さい場合の画像200Aの変化量を示す。
図中の各矢印は実空間400又は仮想管理区域300A内での変化量を表している。
図51の場合、ロボット200に紐付けられた画像200Aの表示寸法は仮想管理区域300Aの違いによらず同じであり、画像200Aの変化量だけが変化している。
図51では、実空間400内に管理区域300が設定されていないので、図51における仮想管理区域300Aはロボット200の周辺領域に対応する。ここでの仮想管理区域300Aは、ロボット200の位置表示に使用される表示領域の一例である。
管理区域300を設定しない場合、管理区域情報取得部1104(図10参照)は、ロボット200が実在する地点周辺の地図情報やレイアウト情報をデータベースなどから取得してもよい。
この場合でも、表示画面114A内の仮想管理区域300Aの形状に応じてロボット200の位置表示が変化されることで、ユーザによる移動体の位置の把握が容易になる。
・画面例14
図52は、仮想管理区域300Aの表示寸法に応じて画像200Aの変化範囲が制約を受けることを説明する図であり、(a)は仮想管理区域300Aの表示寸法が大きい場合の画像200Aの変化範囲を示し、(b)は仮想管理区域300Aの表示寸法が小さい場合の画像200Aの変化範囲を示す。
図52の場合、表示画面114A上で画像200Aが左右方向に移動できる範囲は(a)の方が(b)よりも長くなっている。
このように、画像200Aを表示画面114A上で移動できる範囲は仮想管理区域300Aの表示寸法の制約を受ける。
なお、画像200Aの表示寸法の変化範囲が仮想管理区域300Aの表示寸法の制約を受ける表示としてもよい。
<他の実施の形態>
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
1…情報処理システム、3、3A…ユーザ、5…基準点、100…情報端末、110…制御部、114A…表示画面、114B…他の作業画面、200…ロボット、200A…ロボットを表す画像、221…電波、300…管理区域、300A…仮想管理区域、400…実空間、600…サーバ、700…画像形成装置、700A、700B、700C、700D…発信器、800A、800B、800C…アクセスポイント、900…位置測定部、910…カメラ、1101…位置情報取得部、1102…基準位置取得部、1103…距離計算部、1104…管理区域情報取得部、1105…表示領域情報取得部、1106…管理区域形状変形部、1107…指示受付部、1108…指示送信部、1109…マッピング部、1110…表示画像生成部、1111…画像取得部、1112…稼働情報取得部

Claims (23)

  1. 移動体の位置情報が変化する場合、当該移動体に紐付けられた画像の表示寸法を変化させて表示する表示制御部を有する情報処理装置。
  2. 前記表示制御部は、前記移動体の距離の変化の方向を前記画像の向きにより表現すること
    を特徴とする請求項1に記載の情報処理装置。
  3. 前記移動体の管理上定めた区域は、予め定められた対象を基準に定まること
    を特徴とする請求項1に記載の情報処理装置。
  4. 前記表示制御部は、予め定められた対象に対する前記移動体の遠近に応じて当該移動体に紐付けられた前記画像の表示寸法を変化させること
    を特徴とする請求項1に記載の情報処理装置。
  5. 前記表示制御部は、前記対象に対して前記移動体が近づくと当該移動体に紐付けられた前記画像の表示寸法を拡大し、当該移動体が遠ざかると当該移動体に紐付けられた当該画像の表示寸法を縮小すること
    を特徴とする請求項4に記載の情報処理装置。
  6. 前記表示制御部は、前記移動体の管理上定められた区域の中心から当該移動体までの距離に応じて、当該移動体に紐付けられた前記画像の表示寸法を変化させること
    を特徴とする請求項1に記載の情報処理装置。
  7. 前記表示制御部は、前記距離が閾値を超えると、前記移動体に紐付けられた前記画像の表示寸法を変化させること
    を特徴とする請求項6に記載の情報処理装置。
  8. 前記表示制御部は、前記位置情報が前記移動体の管理上定められた区域を越えた場合、当該移動体に紐付けられた前記画像を表示領域上から消すこと
    を特徴とする請求項1に記載の情報処理装置。
  9. 前記表示制御部は、前記位置情報が管理上定められた前記区域内に復帰した場合、前記移動体に紐付けられた前記画像を前記表示領域内に再表示すること
    を特徴とする請求項8に記載の情報処理装置。
  10. 前記表示制御部は、前記移動体との通信が切れた場合、通信が切れた位置で、当該移動体に紐付けられた前記画像を表示領域上から消すこと
    を特徴とする請求項1に記載の情報処理装置。
  11. 前記表示制御部は、前記移動体との通信が再開した場合、通信が再開した位置で、当該移動体に紐付けられた前記画像を前記表示領域内に再表示すること
    を特徴とする請求項10に記載の情報処理装置。
  12. 前記表示制御部は、前記移動体に紐付けられた前記画像の表示寸法によって表される距離を画面上に表示すること
    を特徴とする請求項1に記載の情報処理装置。
  13. 前記表示制御部は、前記移動体に紐付けられた前記画像とともに、当該移動体が位置する領域情報を画面上に表示すること
    を特徴とする請求項1に記載の情報処理装置。
  14. 前記表示制御部は、表示画面上に表示される他の作業領域と重ならないように前記移動体に紐付けられた前記画像の表示位置を移動させること
    を特徴とする請求項1に記載の情報処理装置。
  15. 前記表示制御部は、前記表示画面と非表示の仮想空間を跨いで前記移動体に紐付けられた前記画像の表示位置を移動させること
    を特徴とする請求項14に記載の情報処理装置。
  16. 前記表示制御部は、前記表示画面から非表示の仮想空間に前記移動体に紐付けられた前記画像の表示位置を移動させること
    を特徴とする請求項14に記載の情報処理装置。
  17. 前記移動体は、自走機構を有すること
    を特徴とする請求項1に記載の情報処理装置。
  18. 前記移動体に紐付けられた前記画像を、前記移動体の稼働状態に応じて変化させること
    を特徴とする請求項17に記載の情報処理装置。
  19. 前記表示制御部は、ユーザに前記移動体の救援を要請する表記を行うこと
    を特徴とする請求項17に記載の情報処理装置。
  20. 前記移動体に紐付けられた前記画像の上に実行させたい機能に紐付けられた他の画像が重ね合わせられた場合、当該移動体に向けて当該機能の実行指示を送信すること
    を特徴とする請求項1に記載の情報処理装置。
  21. 前記移動体に紐付けられた前記画像に対する移動操作を画面上で受け付けた場合、当該移動体に向けて画面上と同じ移動を実現する指示を送信すること
    を特徴とする請求項20に記載の情報処理装置。
  22. 1つ又は複数の移動体と、
    前記移動体の位置情報が変化する場合、当該移動体に紐付けられた画像の表示寸法を変化させて表示する情報処理装置と
    を有する情報処理システム。
  23. コンピュータに、
    表示画面上に移動体の位置表示に使用される表示領域を表示させる処理と、
    前記移動体の位置情報が変化する場合、当該移動体に紐付けられた画像の表示寸法を前記表示領域上で変化させて表示させる処理と
    を実行させるプログラム。
JP2017023381A 2017-02-10 2017-02-10 情報処理装置、情報処理システム及びプログラム Active JP6950192B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017023381A JP6950192B2 (ja) 2017-02-10 2017-02-10 情報処理装置、情報処理システム及びプログラム
US15/699,361 US10347026B2 (en) 2017-02-10 2017-09-08 Information processing apparatus with location based display
CN201710903197.3A CN108415675B (zh) 2017-02-10 2017-09-29 信息处理设备、信息处理系统和信息处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017023381A JP6950192B2 (ja) 2017-02-10 2017-02-10 情報処理装置、情報処理システム及びプログラム

Publications (2)

Publication Number Publication Date
JP2018128640A true JP2018128640A (ja) 2018-08-16
JP6950192B2 JP6950192B2 (ja) 2021-10-13

Family

ID=63105343

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017023381A Active JP6950192B2 (ja) 2017-02-10 2017-02-10 情報処理装置、情報処理システム及びプログラム

Country Status (3)

Country Link
US (1) US10347026B2 (ja)
JP (1) JP6950192B2 (ja)
CN (1) CN108415675B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021074827A (ja) * 2019-11-11 2021-05-20 株式会社日立製作所 ロボットシステム
CN113524182A (zh) * 2021-07-13 2021-10-22 东北石油大学 一种智能调节人与屏幕距离的装置及方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10880470B2 (en) * 2015-08-27 2020-12-29 Accel Robotics Corporation Robotic camera system
CN109909977A (zh) * 2019-03-20 2019-06-21 哈尔滨理工大学 一种基于脑电波的姿态自动跟随机器人
CN110753303B (zh) * 2019-10-23 2021-04-20 浙江树人学院(浙江树人大学) 一种基于多传感器融合的服务机器人室内定位系统及方法
US12099997B1 (en) 2020-01-31 2024-09-24 Steven Mark Hoffberg Tokenized fungible liabilities

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04270981A (ja) * 1991-02-26 1992-09-28 Honda Motor Co Ltd レーダ装置
JP2005208857A (ja) * 2004-01-21 2005-08-04 Campus Create Co Ltd 画像生成方法
JP2009245346A (ja) * 2008-03-31 2009-10-22 Nec Corp 管制塔用表示装置、該管制塔用表示装置に用いられる航空機表示方法及び表示制御プログラム
JP2011065308A (ja) * 2009-09-16 2011-03-31 Hitachi Ltd 自律移動システム及び自律移動装置
US20150360865A1 (en) * 2013-06-18 2015-12-17 Hdt Robotics, Inc. Robotic manipulator for warehouses

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06149339A (ja) 1992-11-10 1994-05-27 Nitto Seiko Co Ltd 教示装置
JP2006039953A (ja) * 2004-07-27 2006-02-09 Denso Corp 画像合成装置、ディスプレイ装置およびナビゲーション装置
JP3729417B1 (ja) * 2004-09-07 2005-12-21 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4347313B2 (ja) 2006-02-23 2009-10-21 ファナック株式会社 ロボット教示操作盤
JP2009123061A (ja) 2007-11-16 2009-06-04 Topy Ind Ltd ロボット位置検出システム
JP5087532B2 (ja) * 2008-12-05 2012-12-05 ソニーモバイルコミュニケーションズ株式会社 端末装置、表示制御方法および表示制御プログラム
JP4850984B2 (ja) * 2009-12-28 2012-01-11 パナソニック株式会社 動作空間提示装置、動作空間提示方法およびプログラム
US20130093860A1 (en) * 2010-10-20 2013-04-18 Mitsubishi Electric Corporation 3dimension stereoscopic display device
JP5892361B2 (ja) * 2011-08-02 2016-03-23 ソニー株式会社 制御装置、制御方法、プログラム、及びロボット制御システム
WO2013136498A1 (ja) * 2012-03-15 2013-09-19 パイオニア株式会社 画像認識装置、画像認識方法、画像認識プログラム、及び記録媒体
KR20150017435A (ko) * 2013-08-06 2015-02-17 삼성전자주식회사 전자 장치 및 전자 장치의 터치 입력을 이용한 객체 편집 방법
JP6410022B2 (ja) * 2013-09-06 2018-10-24 パナソニックIpマネジメント株式会社 マスタスレーブロボットの制御装置及び制御方法、ロボット、マスタスレーブロボットの制御プログラム、並びに、マスタスレーブロボットの制御用集積電子回路
JP6151670B2 (ja) * 2014-06-30 2017-06-21 本田技研工業株式会社 移動支援装置
EP3060966B1 (en) * 2014-07-30 2021-05-05 SZ DJI Technology Co., Ltd. Systems and methods for target tracking
CN106293417A (zh) * 2015-06-08 2017-01-04 中兴通讯股份有限公司 屏幕画面显示方法及装置
US9855664B2 (en) * 2015-11-25 2018-01-02 Denso Wave Incorporated Robot safety system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04270981A (ja) * 1991-02-26 1992-09-28 Honda Motor Co Ltd レーダ装置
JP2005208857A (ja) * 2004-01-21 2005-08-04 Campus Create Co Ltd 画像生成方法
JP2009245346A (ja) * 2008-03-31 2009-10-22 Nec Corp 管制塔用表示装置、該管制塔用表示装置に用いられる航空機表示方法及び表示制御プログラム
JP2011065308A (ja) * 2009-09-16 2011-03-31 Hitachi Ltd 自律移動システム及び自律移動装置
US20150360865A1 (en) * 2013-06-18 2015-12-17 Hdt Robotics, Inc. Robotic manipulator for warehouses

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021074827A (ja) * 2019-11-11 2021-05-20 株式会社日立製作所 ロボットシステム
JP7282016B2 (ja) 2019-11-11 2023-05-26 株式会社日立製作所 ロボットシステム
CN113524182A (zh) * 2021-07-13 2021-10-22 东北石油大学 一种智能调节人与屏幕距离的装置及方法
CN113524182B (zh) * 2021-07-13 2023-05-16 东北石油大学 一种智能调节人与屏幕距离的装置及方法

Also Published As

Publication number Publication date
US20180232923A1 (en) 2018-08-16
US10347026B2 (en) 2019-07-09
CN108415675A (zh) 2018-08-17
CN108415675B (zh) 2023-06-09
JP6950192B2 (ja) 2021-10-13

Similar Documents

Publication Publication Date Title
JP6950192B2 (ja) 情報処理装置、情報処理システム及びプログラム
US11429761B2 (en) Method and apparatus for interacting with a node in a storage area
US9552056B1 (en) Gesture enabled telepresence robot and system
US11514207B2 (en) Tracking safety conditions of an area
US9517559B2 (en) Robot control system, robot control method and output control method
CN105190482B (zh) 缩放手势的检测
CN103460256B (zh) 在扩增现实系统中将虚拟图像锚定到真实世界表面
KR102280798B1 (ko) 카트 로봇 및 로봇 관제 시스템
Mirri et al. Human-Drone Interaction: state of the art, open issues and challenges
US20180005445A1 (en) Augmenting a Moveable Entity with a Hologram
CN109478267A (zh) 基于观察的事件跟踪
JP6927937B2 (ja) 三次元骨格表現を生成するためのシステム及び方法
JP6938980B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR102190743B1 (ko) 로봇과 인터랙션하는 증강현실 서비스 제공 장치 및 방법
CN105808062A (zh) 一种用于控制智能装置的方法和终端
JP2018030223A (ja) 捜し物ロボット
KR20200144363A (ko) 로봇 및 그의 구동 방법
JP6809267B2 (ja) 情報処理装置、情報処理システム及びプログラム
JPWO2019138618A1 (ja) 動物型の自律移動体、動物型の自律移動体の動作方法、およびプログラム
JP7196894B2 (ja) 情報処理装置、情報処理システム及びプログラム
JP7513030B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び制御装置
Mao et al. Eliminating drift of the head gesture reference to enhance Google Glass-based control of an NAO humanoid robot
CN116079703A (zh) 机器人示教方法、装置、设备及计算机可读存储介质
CN111975765A (zh) 电子装置、机器人系统和虚拟区域设定方法
KR20200094375A (ko) 프로그래밍이 가능한 완구용 로봇 및 완구용 로봇의 구동 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210715

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210824

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210906

R150 Certificate of patent or registration of utility model

Ref document number: 6950192

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150