[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7513030B2 - 情報処理装置、情報処理方法、情報処理プログラム及び制御装置 - Google Patents

情報処理装置、情報処理方法、情報処理プログラム及び制御装置 Download PDF

Info

Publication number
JP7513030B2
JP7513030B2 JP2021545132A JP2021545132A JP7513030B2 JP 7513030 B2 JP7513030 B2 JP 7513030B2 JP 2021545132 A JP2021545132 A JP 2021545132A JP 2021545132 A JP2021545132 A JP 2021545132A JP 7513030 B2 JP7513030 B2 JP 7513030B2
Authority
JP
Japan
Prior art keywords
coordinate system
moving
unit
reference position
moving body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021545132A
Other languages
English (en)
Other versions
JPWO2021049147A1 (ja
Inventor
友哉 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2021049147A1 publication Critical patent/JPWO2021049147A1/ja
Application granted granted Critical
Publication of JP7513030B2 publication Critical patent/JP7513030B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0033Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by having the operator tracking the vehicle either by direct line of sight or via one or more cameras located remotely from the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0219Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本発明は、情報処理装置、情報処理方法、情報処理プログラム及び制御装置に関する。
従来、移動体の操作を容易にする技術が知られている。例えば、移動環境内の所定の基準位置を原点とするグローバル座標系において、移動体との相対方向に沿って、自己位置から所定の距離離れた地点に通過点を設定する。そして、障害物との衝突を自律的に回避させながら、設定した通過点へと移動体を移動させるよう制御する技術が提案されている。
特開2010-250536号公報
しかしながら、上記の従来技術では、移動体の移動方向を適切に制御することができるとは限らない。例えば、上記の従来技術では、障害物との衝突を自律的に回避させながら、設定した通過点へと移動体を移動させるにすぎず、移動体の移動方向を適切に制御することができるとは限らない。
本願は、上記に鑑みてなされたものであって、移動体の移動方向を適切に制御することができる情報処理装置、情報処理方法、情報処理プログラム及び制御装置を提供することを目的とする。
上記の課題を解決するために、本開示に係る一形態の情報処理装置は、操作者による移動体に対する移動方向の指示を含む指示情報を取得する取得部と、前記取得部によって取得された指示情報に含まれる移動方向を、前記移動体の周辺環境に応じて定まる基準位置と前記移動体の相対位置とに基づく相対座標系における移動方向に変換する変換部と、前記変換部によって変換された移動方向に基づいて、前記移動体の移動方向を制御する制御部と、を備えることを特徴とする。
本開示の実施形態に係る情報処理の一例を示す図である。 本開示の実施形態に係る情報処理システムの構成例を示す図である。 本開示の実施形態に係る移動体装置の構成例を示す図である。 本開示の実施形態に係る指示情報記憶部の一例を示す図である。 本開示の実施形態に係る処理情報記憶部の一例を示す図である。 本開示の実施形態に係る条件情報記憶部の一例を示す図である。 本開示の実施形態に係る情報処理の手順を示すフローチャートである。 本開示の第1の変形例に係る情報処理の一例を示す図である。 本開示の第2の変形例に係る情報処理の一例を示す図である。 本開示の第3の変形例に係る情報処理の一例を示す図である。 本開示の第4の変形例に係る情報処理の一例を示す図である。 本開示の第5の変形例に係る情報処理の一例を示す図である。 本開示の第6の変形例に係る情報処理の一例を示す図である。 本開示の第7の変形例に係る情報処理の一例を示す図である。 本開示の第8の変形例に係る情報処理の一例を示す図である。 本開示の第9の変形例に係る情報処理の一例を示す図である。 本開示の第10の変形例に係る情報処理の一例を示す図である。 本開示の第11の変形例に係る情報処理の一例を示す図である。 本開示の第12の変形例に係る情報処理の一例を示す図である。 本開示の第13の変形例に係る情報処理の一例を示す図である。 本開示の第14の変形例に係る情報処理の一例を示す図である。 本開示のその他の実施形態に係る情報処理の一例を示す図である。 本開示のその他の実施形態に係る端末装置の構成例を示す図である。 情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
以下に示す項目順序に従って本開示を説明する。
1.実施形態
1-1.実施形態に係る情報処理の概要
1-2.実施形態に係る情報処理システムの構成
1-3.実施形態に係る移動体装置の構成
1-3-1.実施形態に係る通信部の構成
1-3-2.実施形態に係る記憶部の構成
1-3-2-1.実施形態に係る指示情報記憶部の構成
1-3-2-2.実施形態に係る処理情報記憶部の構成
1-3-2-3.実施形態に係る条件情報記憶部の構成
1-3-3.実施形態に係る物理センサの構成
1-3-4.実施形態に係る駆動部の構成
1-3-5.実施形態に係る制御部の構成
1-4.実施形態に係る情報処理の手順
1-5.実施形態に係る制御装置の構成
1-6.実施形態の変形例
1-6-1.実施形態の第1の変形例
1-6-2.実施形態の第2の変形例
1-6-3.実施形態の第3の変形例
1-6-4.実施形態の第4の変形例
1-6-5.実施形態の第5の変形例
1-6-6.実施形態の第6の変形例
1-6-7.実施形態の第7の変形例
1-6-8.実施形態の第8の変形例
1-6-9.実施形態の第9の変形例
1-6-10.実施形態の第10の変形例
1-6-11.実施形態の第11の変形例
1-6-12.実施形態の第12の変形例
1-6-13.実施形態の第13の変形例
1-6-14.実施形態の第14の変形例
1-6-15.実施形態の第15の変形例
2.その他の実施形態
2-1.移動体が3次元空間を移動する場合
3.本開示に係る効果
4.ハードウェア構成
[1.実施形態]
[1-1.実施形態に係る情報処理の概要]
まず、図1を用いて、本開示の実施形態に係る情報処理の概要について説明する。図1は、本開示の実施形態に係る情報処理の一例を示す図である。本開示の実施形態に係る情報処理は、図1に示す情報処理システム1によって実現される。図1に示す例では、操作者U1が、制御装置50を用いて地面を自律的に移動(例えば歩行など)可能なロボットである移動体装置100を操作する。移動体装置100は、操作者U1の指示に応じて2次元平面上を移動する。
[1-2.実施形態に係る情報処理システムの構成]
次に、図1及び図2を用いて、本開示の実施形態に係る情報処理システムの構成について説明する。図2は、本開示の実施形態に係る情報処理システムの構成例を示す図である。図2に示すように、情報処理システム1には、制御装置50と、移動体装置100とが含まれる。制御装置50と、移動体装置100とは所定のネットワークNを介して、有線または無線により通信可能に接続される。なお、図2に示す情報処理システム1には、任意の数の制御装置50と、任意の数の移動体装置100とが含まれてもよい。また、図2に示す情報処理システム1には、制御装置50を操作する操作者の端末装置10(図2では図示略)が含まれてもよい。
移動体装置100は、電気的および/または磁気的な作用を用いて自律的に動作可能な機械(装置)あるいはその他一般的な移動体装置である。図1に示す例では、移動体装置100は、地面を自律的に移動(例えば歩行など)可能なロボット(例えばペットロボットなど)である。ただし、本実施形態はかかる例に限定されず、移動体装置100は、他の種類のロボット(例えばヒューマノイドロボットやドローンなど)、乗り物(例えば、車両、船舶、飛行体など)、各種の産業用機械、または、玩具などであってもよい。なお、以下では、移動体装置100のことを単に移動体と記載する場合がある。
また、移動体装置100は、移動中の自己位置を推定する。移動体装置100は、自己位置として、実空間内の移動体装置100の絶対的な位置(絶対位置)を推定する。例えば、移動体装置100は、自己位置の絶対座標を取得するための各種センサを備え、移動中の自己位置の絶対座標を取得する。図1では、絶対座標系のX軸をX1、絶対座標系のY軸をY1で示す。また、移動体装置100の位置をQ1、制御装置50の位置(図1では、操作者U1の位置と同じ)をP1で示す。
制御装置50は、移動体装置100を操作するためのコントローラである。制御装置50は、移動体装置100を操作する操作者によって利用される情報処理装置である。図1では、制御装置50は、移動体装置100を操作する操作者U1の手によって把持される。例えば、制御装置50は、操作者によって利用される端末装置10であってもよい。例えば、制御装置50は、スマートフォンなどの携帯電話機や、タブレット端末や、PDA(Personal Digital Assistant)や、デスクトップ型PC(Personal Computer)や、ノート型PC等であってもよい。
制御装置50は、操作者から移動体装置100に対する移動方向の指示を含む指示情報(操作コマンドともいう)の入力を受け付ける。制御装置50は、操作者から指示情報の入力を受け付けると、受け付けた指示情報を移動体装置100に送信する。なお、制御装置50は、操作者による操作を補助するための補助画面に対応する補助コンテンツを表示する表示部(出力部)を有する。例えば、制御装置50は、補助コンテンツとして、操作者が実行しようとしている操作コマンドを仮に実行した場合のイメージを操作者に対して視覚的に認識させる補助コンテンツを表示する。
従来技術では、移動体装置100の移動方向は、移動体装置10の向きや姿勢に依存するため、操作者が移動体装置100の向きや姿勢を考慮して移動方向を指示する必要があった。例えば、従来技術では、操作者が移動体装置100に対して前方方向に移動する指示を与えた場合、指示を受けた移動体装置100は、その時に移動体装置100が向いている正面の向きに移動する。そのため、例えば、風などの外乱により、移動体装置100の向きや姿勢が大幅に変わった場合、移動体装置100は操作者が意図しない方向に移動してしまうという問題があった。
また、従来技術では、操作者が移動体装置100に対して大まかな進行方向を指示し、移動体装置100が障害物を回避しながら移動する半自動操作において、移動体装置100が障害物回避を行うと、移動体装置100の向きが大幅に変わるため、操作者は複雑な操作を行う必要があった。
そこで、本開示の実施形態に係る移動体装置100は、操作者による移動体装置100に対する移動方向の指示を含む指示情報に従って移動する情報処理装置である。移動体装置100は、操作者による移動体装置100に対する移動方向の指示を含む指示情報を制御装置50から取得する。また、移動体装置100は、取得した指示情報に含まれる移動方向を、移動体装置100の周辺環境に応じて定まる基準位置と移動体装置100の相対位置とに基づく相対座標系における移動方向に変換する。そして、移動体装置100は、変換した移動方向に基づいて、移動体装置100の移動方向を制御する。
このように、本開示の実施形態に係る移動体装置100は、基準位置との相対位置を考慮しながら移動することができる。これにより、移動体装置100は、風などの外乱により、移動体装置100の向きや姿勢が急激に変わった場合であっても、移動体装置100を操作者の意図通りの方向に移動させることを可能にする。また、移動体装置100は、半自動操作によって操作される移動体装置100の向きが障害物回避により大幅に変わった場合であっても、容易に移動方向を指示することを可能にする。
ここから、図1を用いて、本開示の実施形態に係る情報処理の流れについて説明する。図1に示す例では、制御装置50は、操作者U1から、移動体装置100を右90度の方向(東方向)へ移動させる指示を含む指示情報CM1の入力を受け付ける。また、制御装置50は、操作者U1から、移動体装置100の操作に用いる座標系として、制御装置50の位置を基準位置として、基準位置からの相対座標系を用いる指示を含む指示情報CM1の入力を受け付ける。制御装置50は、指示情報CM1の入力を受け付けると、受け付けた指示情報CM1を移動体装置100に送信する。
移動体装置100は、制御装置50から指示情報CM1を受信する。移動体装置100は、指示情報CM1を取得する。移動体装置100は、指示情報CM1を取得すると、指示情報CM1を実行するための処理を実行する。具体的には、移動体装置100は、指示情報CM1を取得すると、自己位置Q1の絶対座標(15、15)を取得する。続いて、移動体装置100は、指示情報CM1に含まれる基準位置の絶対座標を取得する。例えば、移動体装置100は、基準位置P1として指定された制御装置50の位置の絶対座標(5、10)を取得する。
続いて、移動体装置100は、基準位置P1に対する自己位置Q1の相対座標を算出する。例えば、移動体装置100は、取得した自己位置Q1の絶対座標(15、15)から基準位置P1の絶対座標(5、10)を減算することにより、基準位置P1に対する自己位置Q1の相対座標(10、5)を算出する。
続いて、移動体装置100は、基準位置P1に対する自己位置Q1の相対座標(10、5)を算出すると、操作に用いる相対座標系を決定する。例えば、移動体装置100は、基準位置P1を操作に用いる相対座標系の原点に決定する。また、移動体装置100は、基準位置P1から自己位置Q1に向かう方向を相対座標系のY軸に決定する。また、移動体装置100は、基準位置P1から自己位置Q1に向かう方向のベクトルを右回りに90度回転させた方向を相対座標系のX軸に決定する。図1では、移動体装置100によって決定された相対座標系のX軸をX1´で示す。また、移動体装置100によって決定された相対座標系のY軸をY1´で示す。
続いて、移動体装置100は、操作に用いる相対座標系を決定すると、取得した指示情報CM1に含まれる移動方向を、決定した相対座標系における移動方向に変換する。例えば、移動体装置100を右90度の方向(東方向)へ移動させる移動方向をベクトルで示すと、絶対座標系では図1のベクトルD1の向きになる。このとき、移動体装置100は、絶対座標系における移動方向を示すベクトルD1を、決定した相対座標系における移動方向を示すベクトルD1´に変換する。
例えば、図1に示す絶対座標系のY1軸と相対座標系のY1´軸とがなす角度をθとすると、X1-Y1座標系(絶対座標系)からX1´-Y1´座標系(相対座標系)への変換は、2次元のベクトルを時計回りに角度θだけ回転する回転変換を示す2×2の行列Mで示される。移動体装置100は、ベクトルD1に対して時計回りに角度θだけ回転する回転変換を施すことにより、ベクトルD1を相対座標系における移動方向を示すベクトルD1´に変換する。例えば、移動体装置100は、行列MとベクトルD1との積を計算することにより、相対座標系における移動方向を示すベクトルD1´を算出する。
続いて、移動体装置100は、絶対座標系における移動方向を決定した相対座標系における移動方向に変換すると、変換した移動方向に基づいて、移動体装置100の移動方向を制御する。例えば、移動体装置100は、相対座標系における移動方向を示すベクトルD1´の方向に移動体装置100を移動させるよう移動体装置100の移動を制御する。
上述したとおり、移動体装置100は、操作者による移動体装置100に対する移動方向の指示を含む指示情報を取得する。また、移動体装置100は、取得した指示情報に含まれる移動方向を、移動体装置100の周辺環境(図1では操作者U1の存在)に応じて定まる基準位置と移動体装置100の相対位置とに基づく相対座標系における移動方向に変換する。そして、移動体装置100は、変換した移動方向に基づいて、移動体装置100の移動方向を制御する。
このように、本開示の実施形態に係る移動体装置100は、基準位置との相対位置を考慮しながら移動することができる。これにより、移動体装置100は、風などの外乱により、移動体装置100の向きや姿勢が急激に変わった場合であっても、移動体装置100を操作者の意図通りの方向に移動させることを可能にする。また、移動体装置100は、半自動操作によって操作される移動体装置100の向きが障害物回避により大幅に変わった場合であっても、容易に移動方向を指示することを可能にする。したがって、移動体装置100は、移動体の移動方向を適切に制御することができる。
なお、図1に示す例では、移動体装置100が、基準位置P1として指定された制御装置50の位置の絶対座標と、移動体装置100の自己位置Q1の絶対座標とを取得する例について説明したが、基準位置P1の絶対座標や自己位置Q1の絶対座標は必ずしも必要ではない。具体的には、移動体装置100は、赤外線センサ等を用いることにより、制御装置50の位置に対する移動体装置100の相対位置を直接取得してもよい。
[1-3.実施形態に係る移動体装置の構成]
次に、図3を用いて、本開示の実施形態に係る移動体装置の構成について説明する。図3は、本開示の実施形態に係る移動体装置の構成例を示す図である。
図3に示すように、移動体装置100は、通信部110と、記憶部120と、物理センサ130と、駆動部140と、制御部150とを有する。
[1-3-1.実施形態に係る通信部の構成]
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部110は、ネットワークNと有線または無線で接続され、制御装置50や端末装置10との間で情報の送受信を行う。
[1-3-2.実施形態に係る記憶部の構成]
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。例えば、記憶部120は、実施形態に係る情報処理プログラムを記憶する。記憶部120は、図3に示すように、指示情報記憶部121と、処理情報記憶部122と、条件情報記憶部123とを有する。
[1-3-2-1.実施形態に係る指示情報記憶部の構成]
指示情報記憶部121は、操作者による移動体装置100に対する指示に関する各種の情報を記憶する。図4は、本開示の実施形態に係る指示情報記憶部の一例を示す図である。図4に示す例では、指示情報記憶部121は、「指示情報ID」、「日時」、「移動方向」、「座標系」、「基準位置」といった項目を有する。
「指示情報ID」は、指示情報を識別するための識別情報を示す。「日時」は、指示情報の受信日時を示す。「移動方向」は、移動体装置100の移動方向を示す。「座標系」は、移動体装置100の操作に用いられる座標系の種類を示す。「基準位置」は、移動体装置100の操作に用いられる座標系の原点の位置に相当する。
図4に示す例では、指示情報ID「CM1」で識別される指示情報(指示情報CM1)は、図1に示す操作者による移動体装置100に対する指示情報に対応する。また、日時「DT1」は、指示情報CM1の受信日時を示す。また、移動方向「右90度へ前進」は、移動体装置100の移動方向が右90度の方向(東の方向)であることを示す。また、座標系「相対座標系」は、移動体装置100の操作に用いられる座標系の種類が相対座標系であることを示す。また、基準位置「制御装置50の位置」は、移動体装置100の操作に用いられる座標系の原点の位置が制御装置50の位置であることを示す。
[1-3-2-2.実施形態に係る処理情報記憶部の構成]
処理情報記憶部122は、指示情報に従って移動体装置100が処理する各種の情報を記憶する。図5は、本開示の実施形態に係る処理情報記憶部の一例を示す図である。図5に示す例では、処理情報記憶部122は、「処理情報ID」、「日時」、「基準位置座標」、「自己位置座標」、「相対位置座標」といった項目を有する。
「処理情報ID」は、処理情報を識別するための識別情報を示す。「日時」は、指示情報に従って移動体装置100が処理を開始した日時を示す。「基準位置座標」は、基準位置の絶対座標を示す。「自己位置座標」は、移動体装置100の位置の絶対座標を示す。「相対位置座標」は、基準位置に対する移動体装置100の相対的な位置の座標を示す。
図5に示す例では、処理情報ID「PS1」で識別される処理情報(処理情報PS1)は、図1に示す移動体装置100が処理する処理情報に対応する。また、日時「DT1」は、移動体装置100が処理情報PS1の処理を開始した日時を示す。また、基準位置座標「(5、10)」は、基準位置の絶対座標が(5、10)であることを示す。また、自己位置座標「(15、15)」は、移動体装置100の位置の絶対座標が(15、15)であることを示す。また、相対位置座標「(10、5)」は、基準位置に対する移動体装置100の相対的な位置の座標が(10、5)であることを示す。
[1-3-2-3.実施形態に係る条件情報記憶部の構成]
条件情報記憶部123は、移動体装置100の操作に用いられる座標系の変更条件に関する各種の情報を記憶する。図6は、本開示の実施形態に係る条件情報記憶部の一例を示す図である。図6に示す例では、条件情報記憶部123は、「条件情報ID」、情報を識別するための識別情報である。「センサ情報種別」、「条件情報」、「閾値」といった項目を有する。
「条件情報ID」は、条件情報を識別するための識別情報を示す。「センサ情報種別」は、移動体装置100の操作に用いられる座標系の変更条件に用いられるセンサ情報の種別を示す。「条件情報」は、移動体装置100の操作に用いられる座標系の変更条件を示す。「閾値」は、移動体装置100の操作に用いられる座標系の変更条件に用いられるセンサ情報の閾値であって、変更条件に関する閾値を示す。
[1-3-3.実施形態に係る物理センサの構成]
物理センサ130は、所定の情報を検知するセンサである。具体的には、物理センサ130は、画像を撮像する撮像手段としての画像センサ(カメラ)の機能を備え、画像情報を検知する。また、物理センサ130は、音声を取得する手段としての音声センサ(マイク)の機能を備え、音声情報を検知する。また、物理センサ130は、光源を検知する手段としての光センサや照度センサの機能を備え、光源を検知する。また、物理センサ130は、水圧や気圧を検知する圧力センサの機能を備え、水圧や気圧を検知する。また、物理センサ130は、温度を検知する温度センサの機能を備え、作用対象の温度を検知する。また、物理センサ130は、風圧を検知する風圧センサの機能を備え、風圧を検知する。また、物理センサ130は、移動体装置100の振動を検知する振動センサの機能を備え、移動体装置100の振動を検知する。
なお、物理センサ130は、加速度センサ、ジャイロセンサ、湿度センサ、近接センサ、ニオイや汗や心拍や脈拍や脳波等の生体情報を取得するためのセンサ等の種々のセンサの機能を備えてもよい。
また、物理センサ130は、測距センサの機能を備え、被測定対象と移動体装置100との間の距離を検知する。物理センサ130は、測距センサの機能を備え、被測定対象と移動体装置100との間の距離情報を検知する。具体的には、物理センサ130は、測距センサの機能として、光学センサを備える。例えば、物理センサ130は、LiDARを備えてもよい。LiDARは、赤外線レーザ等のレーザ光線を周囲の物体に照射し、反射して戻るまでの時間を計測することにより、周囲にある物体までの距離や相対速度を検知する。物理センサ130は、ミリ波レーダを使った測距センサを備えてもよい。なお、物理センサ130は、測距センサとして、LiDARに限らず、ToFセンサやステレオカメラ等の種々のセンサを備えてもよい。
また、物理センサ130は、GPS(Global Positioning System)センサ等の位置を検知するセンサ(位置センサ)の機能を備え、位置を検知し、位置情報を取得可能であるものとする。
[1-3-4.実施形態に係る駆動部の構成]
駆動部140は、移動体装置100における物理的構成を駆動する機能を有する。駆動部140は、移動体装置100の位置の移動を行うための機能を有する。駆動部140は、例えばアクチュエータである。なお、駆動部140は、移動体装置100が所望の動作を実現可能であれば、どのような構成であってもよい。駆動部140は、移動体装置100の位置の移動等を実現可能であれば、どのような構成であってもよい。移動体装置100がキャタピラやタイヤ等の移動機構を有する場合、駆動部140は、キャタピラやタイヤ等を駆動する。例えば、駆動部140は、移動制御部156による指示に応じて、移動体装置100の移動機構を駆動することにより、移動体装置100を移動させ、移動体装置100の位置を変更する。
[1-3-5.実施形態に係る制御部の構成]
制御部150は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、移動体装置100内部の記憶装置に記憶されている各種プログラム(情報処理プログラムの一例に相当)がRAMを作業領域として実行されることにより実現される。また、制御部150は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
図3に示すように、制御部150は、取得部151と、算出部152と、決定部153と、変換部154と、判定部155と、移動制御部156と、送信部157とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部150の内部構成は、図3に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
取得部151は、操作者による移動体に対する移動方向の指示を含む指示情報を取得する。具体的には、取得部151は、制御装置50から指示情報を受信する。取得部151は、受信した指示情報を取得する。取得部151は、指示情報を取得すると、取得した指示情報を指示情報記憶部121に格納する。
また、取得部151は、指示情報を取得すると、指示情報を実行するための処理を実行する。具体的には、取得部151は、指示情報を取得すると、移動体の位置(以下、移動体位置ともいう)の絶対座標を取得する。例えば、取得部151は、GPSセンサによって移動体位置のGPS座標を絶対座標として取得する。続いて、取得部151は、指示情報に含まれる基準位置の絶対座標を取得する。例えば、取得部151は、基準位置として指定された制御装置50の位置の絶対座標を取得する。例えば、取得部151は、GPSセンサによって基準位置のGPS座標を絶対座標として取得する。取得部151は、基準位置の絶対座標と移動体位置の絶対座標とを取得すると、取得した基準位置の絶対座標と移動体位置の絶対座標とを処理情報記憶部122に格納する。
算出部152は、基準位置に対する移動体位置の相対位置座標を算出する。具体的には、算出部152は、取得部151によって基準位置の絶対座標と移動体位置の絶対座標とが取得されると、取得部151によって取得された移動体位置の絶対座標から、取得部151によって取得された基準位置の絶対座標を減算することにより、基準位置に対する移動体位置の相対位置座標を算出する。算出部152は、基準位置に対する移動体位置の相対位置座標を算出すると、算出した相対位置座標を処理情報記憶部122に格納する。
決定部153は、操作に用いる相対座標系を決定する。具体的には、決定部153は、算出部152によって基準位置に対する移動体位置の相対座標が算出されると、基準位置から移動体位置に向かう方向を相対座標系のY軸に決定する。また、決定部153は、基準位置から移動体位置に向かう方向のベクトルを右回りに90度回転させた方向を相対座標系のX軸に決定する。また、決定部153は、基準位置を操作に用いる相対座標系の原点に決定する。
変換部154は、取得部151によって取得された指示情報に含まれる移動方向を、操作者の位置である基準位置と移動体の相対位置とに基づく相対座標系における移動方向に変換する。例えば、絶対座標系のY軸と相対座標系のY´軸とがなす角度をθとすると、X-Y座標系(絶対座標系)からX´-Y´座標系(相対座標系)への変換は、2次元のベクトルを時計回りに角度θだけ回転する回転変換を示す2×2の行列Mで示される。このとき、変換部154は、絶対座標系における移動方向を示すベクトルD1に対して時計回りに角度θだけ回転する回転変換を施すことにより、絶対座標系における移動方向を示すベクトルD1を相対座標系における移動方向を示すベクトルD1´に変換する。例えば、変換部154は、行列MとベクトルD1との積を計算することにより、ベクトルD1をベクトルD1´に変換する。このように、変換部154は、決定部153によって操作に用いる相対座標系が決定されると、取得部151によって取得された指示情報に含まれる移動方向(ベクトルD1)を、決定部153によって決定された相対座標系における移動方向(ベクトルD1´)に変換する。
このように、変換部154は、取得部151によって取得された指示情報に含まれる移動方向(ベクトルD1)を、移動体の周辺環境(操作者)に応じて定まる基準位置(制御装置50の位置)と移動体の相対位置とに基づく相対座標系における移動方向(ベクトルD1´)に変換する。
判定部155は、移動体の周辺環境に関する環境情報が所定の条件を満たすか否かを判定する。具体的には、判定部155は、移動体の周辺環境(操作者)に関する環境情報(操作者による移動体に対する指示情報)が所定の条件を満たすか否かを判定する。例えば、判定部155は、操作者による移動体に対する指示情報が変更されたか否かを判定する。例えば、判定部155は、指示情報に含まれる移動体の移動方向、基準位置または操作に用いられる座標系のうち少なくともいずれか一つが変更されたか否かを判定する。
変換部154は、判定部155によって環境情報が所定の条件を満たすと判定された場合に、基準位置を所定の条件に応じた基準位置に変更し、取得部151によって取得された指示情報に含まれる移動方向を、変更した後の基準位置と移動体の相対位置とに基づく相対座標系における移動方向に変換する。例えば、変換部154は、判定部155によって指示情報に含まれる移動体の移動方向、基準位置または操作に用いられる座標系のうち少なくともいずれか一つが変更されたと判定された場合に、基準位置を変更後の指示情報に応じた基準位置に変更する。続いて、変換部154は、取得部151によって取得された指示情報に含まれる移動方向を、変更した後の基準位置と移動体の相対位置とに基づく相対座標系における移動方向に変換する。
移動制御部156は、変換部154によって変換された移動方向に基づいて、移動体の移動方向を制御する。移動制御部156は、変換部154によって移動方向が変換されると、変換部154によって変換された移動方向に基づいて、移動体の移動方向を制御する。具体的には、移動制御部156は、相対座標系における移動方向を示すベクトルD1´の方向に移動体を移動させるよう移動体の移動を制御する。
送信部157は、各種の情報を制御装置50に送信する。例えば、送信部157は、取得部151によって取得された基準位置の絶対座標と移動体位置の絶対座標とを送信する。また、送信部157は、算出部152によって算出された基準位置に対する移動体位置の相対位置座標を送信する。また、送信部157は、決定部153によって決定された操作に用いる相対座標系に関する情報を送信する。
[1-4.実施形態に係る情報処理の手順]
次に、図7を用いて、本開示の実施形態に係る情報処理の流れについて説明する。図7は、本開示の実施形態に係る情報処理の手順を示すフローチャートである。
図7に示すように、移動体装置100は、移動方向の指示を含む指示情報を取得する(ステップS101)。続いて、移動体装置100は、指示情報を取得すると、基準位置に対する移動体の相対位置に基づいて相対座標系を決定する(ステップS102)。続いて、移動体装置100は、相対座標系を決定すると、指示情報に含まれる移動方向を相対座標系の移動方向に変換する(ステップS103)。続いて、移動体装置100は、移動方向を相対座標系の移動方向に変換すると、変換した移動方向に基づいて、移動体の移動方向を制御する(ステップS104)。
[1-5.実施形態に係る制御装置の構成]
次に、図8を用いて、本開示の実施形態に係る制御装置の構成について説明する。図8は、本開示の実施形態に係る制御装置の構成例を示す図である。
図8に示すように、制御装置50は、通信部51と、記憶部52と、入力部53と、出力部54と、制御部55とを有する。
通信部51は、例えば、NIC等によって実現される。そして、通信部51は、ネットワークNと有線または無線で接続され、移動体装置100や端末装置10等の外部の情報処理装置との間で情報の送受信を行う。
記憶部52は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。例えば、記憶部52は、移動体装置100や端末装置10等の外部の情報処理装置から取得した情報を記憶する。また、記憶部52は、受付部551によって受け付けられた指示情報を記憶する。また、記憶部52は、受信部553によって受信された処理情報を記憶する。また、記憶部52は、生成部554によって生成されたコンテンツを記憶する。
入力部53は、操作者から各種操作を受け付ける入力装置である。具体的には、入力部53は、操作者から移動体装置100に対する移動方向の指示を含む指示情報(操作コマンドともいう)の入力操作を受け付ける。例えば、入力部53は、キーボードやマウスや操作キーなどによって実現される。
出力部54は、各種情報を表示するための表示装置である。例えば、出力部54は、液晶ディスプレイなどによって実現される。なお、制御装置50にタッチパネルが採用される場合には、入力部53と出力部54とは一体化される。
出力部54は、生成部554によって生成されたコンテンツを表示する。例えば、出力部54は、生成部554によって生成されたコンテンツであって、操作者による操作を補助するための補助画面に対応する補助コンテンツを表示する。例えば、出力部54は、補助コンテンツとして、操作者が実行しようとしている操作コマンドを仮に実行した場合のイメージを操作者に対して視覚的に認識させる補助コンテンツを表示する。例えば、出力部54は、後述する図23に示す仮実行モードの画面に対応する補助コンテンツを表示する。
制御部55は、CPUやMPU等によって、制御装置50内部の記憶装置に記憶されている各種プログラム(情報処理プログラムの一例に相当)がRAMを作業領域として実行されることにより実現される。また、制御部55は、例えば、ASICやFPGA等の集積回路により実現される。
図8に示すように、制御部55は、受付部551と、送信部552と、受信部553と、表示制御部554とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部55の内部構成は、図8に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
受付部551は、入力部52を介して入力された指示情報(操作コマンドともいう)を受け付ける。受付部551は、指示情報を受け付けると、受け付けた指示情報を記憶部52に格納する。
送信部552は、種々の情報を移動体装置100に送信する。例えば、送信部552は、受付部551によって受け付けられた指示情報を移動体装置100に送信する。
受信部553は、移動体装置100から各種情報を受信する。例えば、受信部553は、移動体装置100から処理情報を取得する。例えば、受信部553は、基準位置の絶対座標と移動体位置の絶対座標とを受信する。また、受信部553は、基準位置に対する移動体位置の相対位置座標を受信する。また、送信部157は、操作に用いる相対座標系に関する情報を受信する。
生成部554は、操作者による操作を補助するための補助画面に対応する補助コンテンツを生成する。具体的には、生成部554は、記憶部52を参照して、指示情報および処理情報を取得する。続いて、生成部554は、取得した指示情報と処理情報とに基づいて、操作者が実行しようとしている操作コマンドを仮に実行した場合のイメージを操作者に対して視覚的に認識させる補助コンテンツを生成する。例えば、生成部554は、操作者によって指示された移動体の移動方向が、移動体の周辺環境に応じて定まる基準位置と移動体の相対位置とに基づく相対座標系における移動方向に変換された移動方向に基づいて、移動体の移動方向を制御した場合のシミュレーション画像に対応する補助コンテンツを生成する。生成部554は、補助コンテンツを生成すると、生成した補助コンテンツを記憶部52に格納する。
表示制御部555は、生成部554によって生成された補助コンテンツを出力部54に出力する。具体的には、表示制御部555は、操作者によって指示された移動体の移動方向が、移動体の周辺環境に応じて定まる基準位置と移動体の相対位置とに基づく相対座標系における移動方向に変換された移動方向に基づいて、移動体の移動方向を制御した場合のシミュレーション画像を操作者に対して視認可能に表示する。例えば、表示制御部555は、後述する図23に示す仮実行モードの画面に対応する補助コンテンツを出力部54に表示する。
[1-6.実施形態の変形例]
次に、図9-図22を用いて、本開示の変形例に係る各種情報処理について説明する。なお、図9-図22に示す例では、操作者U1が、制御装置50を用いて空中を自律的に移動(例えば、飛行)可能なロボット(例えば、ドローン)である移動体装置100を操作する。移動体装置100は、操作者U1の指示に応じて2次元平面上を移動する。また、移動体装置100は、カメラ等の画像センサを備え、撮影対象を撮影する。
[1-6-1.実施形態の第1の変形例]
まず、図9を用いて、本開示の第1の変形例に係る情報処理の概要について説明する。図9は、本開示の第1の変形例に係る情報処理の一例を示す図である。図9では、移動体装置100は、撮影対象である鳥O2を追尾しながら移動する。具体的には、鳥O2の位置から所定の相対位置を基準位置P2とする。基準位置P2は、鳥O2の移動に応じて、鳥O2からの相対位置を保ったまま移動する。そして、移動体装置100は、基準位置P2から移動体装置100に向かう相対方向を保ったまま、基準位置P2から遠ざかる方向へ移動する。
図9に示す例では、制御装置50は、操作者U1から、移動体装置100を前方(北方向)へ移動させる指示を含む指示情報CM2の入力を受け付ける。また、制御装置50は、操作者U1から、移動体装置100の操作に用いる座標系として、撮影対象である鳥O2の位置から所定の相対位置を基準位置P2として、基準位置P2からの相対座標系を用いる指示を含む指示情報CM2の入力を受け付ける。具体的には、制御装置50は、基準位置を示す情報として、撮影対象である鳥を識別する識別情報「O2」と、識別情報「O2」で識別される鳥O2の位置から所定の相対位置を示す相対位置ベクトルΔ(例えば、(5、0))とを含む指示情報CM2の入力を受け付ける。制御装置50は、指示情報CM2の入力を受け付けると、受け付けた指示情報CM2を移動体装置100に送信する。
変換部154は、取得部151によって取得された指示情報に含まれる移動方向を、移動体による作用対象の位置から所定の相対位置に位置する基準位置と移動体の相対位置とに基づく相対座標系における移動方向に変換する。
取得部151は、制御装置50から指示情報CM2を受信する。取得部151は、指示情報CM2を取得する。取得部151は、指示情報CM2を取得すると、指示情報CM2を実行するための処理を実行する。具体的には、取得部151は、指示情報CM2を取得すると、自己位置Q2の絶対座標(17、17)を取得する。続いて、取得部151は、例えば画像認識により、撮影対象である鳥を検知する。続いて、取得部151は、撮影対象である鳥を検知すると、鳥を識別情報「O2」で識別する。続いて、取得部151は、カメラ等の画像センサによって取得した画像に基づいて、識別情報「O2」で識別される鳥O2の位置R2の絶対座標(10、10)を取得する。
算出部152は、取得部151によって鳥O2の位置R2の絶対座標(10、10)が取得されると、指示情報CM2に含まれる相対位置ベクトルΔ(5、0)を鳥O2の位置R2の絶対座標(10、10)に加算することにより、基準位置P2の絶対座標(15、10)を算出する。
続いて、算出部152は、基準位置P2の絶対座標(15、10)を算出すると、基準位置P2に対する自己位置Q2の相対座標を算出する。例えば、算出部152は、取得部151によって取得された自己位置Q2の絶対座標(17、17)から基準位置P2の絶対座標(15、10)を減算することにより、基準位置P2に対する自己位置Q2の相対座標(2、7)を算出する。
続いて、決定部153は、基準位置P2に対する自己位置Q2の相対座標(2、7)を算出すると、操作に用いる相対座標系C2を決定する。例えば、決定部153は、基準位置P2を操作に用いる相対座標系C2の原点に決定する。また、移動体装置100は、基準位置P2から自己位置Q2に向かう方向を相対座標系C2のY軸に決定する。また、移動体装置100は、基準位置P2から自己位置Q2に向かう方向のベクトルを右回りに90度回転させた方向を相対座標系C2のX軸に決定する。
続いて、変換部154は、決定部153によって操作に用いる相対座標系C2が決定されると、取得部151によって取得された指示情報CM2に含まれる移動方向D2(図示略)を、決定部153によって決定された相対座標系C2における移動方向D2´に変換する。例えば、移動体装置100を前方(北方向)へ移動させる移動方向をベクトルD2(図示略)で示すと、変換部154は、絶対座標系C2における移動方向を示すベクトルD2を、決定した相対座標系C2における移動方向を示すベクトルD2´に変換する。
このように、変換部154は、取得部151によって取得された指示情報に含まれる移動方向(移動方向D2)を、移動体による作用対象の位置(撮影対象である鳥O2の位置R)から所定の相対位置(相対位置ベクトルΔ)に位置する基準位置(基準位置P2)と移動体の相対位置とに基づく相対座標系(相対座標系C2)における移動方向(移動方向D2´)に変換する。
例えば、絶対座標系のY軸と相対座標系C2のY´軸とがなす角度をθとすると、X-Y座標系(絶対座標系)からX´-Y´座標系(相対座標系)への変換は、2次元のベクトルを時計回りに角度θだけ回転する回転変換を示す2×2の行列Mで示される。変換部154は、ベクトルD2に対して時計回りに角度θだけ回転する回転変換を施すことにより、ベクトルD2を相対座標系C2における移動方向を示すベクトルD2´に変換する。例えば、変換部154は、行列MとベクトルD2との積を計算することにより、相対座標系C2における移動方向を示すベクトルD2´を算出する。
続いて、移動制御部156は、絶対座標系における移動方向D2を決定した相対座標系C2における移動方向D2´に変換すると、変換した移動方向D2´に基づいて、移動体装置100の移動方向を制御する。例えば、移動制御部156は、相対座標系C2における移動方向を示すベクトルD2´の方向に移動体装置100を移動させるよう移動体装置100の移動を制御する。
[1-6-2.実施形態の第2の変形例]
次に、図10を用いて、本開示の第2の変形例に係る情報処理の概要について説明する。図10は、本開示の第2の変形例に係る情報処理の一例を示す図である。図9では、1台の移動体装置100が撮影対象である鳥O2を追尾しながら移動する例について説明した。図10では、5体の移動体装置100-1~100-5がそれぞれ撮影対象である鳥O2を追尾しながら移動する。具体的には、鳥O2の位置から所定の相対位置であるそれぞれの基準位置P2-1~P2-5は、鳥O2から見て、鳥O2の位置を囲む五角形の各頂点に対応する相対位置に配置される。また、基準位置P2-1~P2-5は、鳥O2の移動に応じて、鳥O2からの相対位置を保ったままそれぞれ移動する。そして、移動体装置100-1~100-5は、それぞれ基準位置P2-1~P2-5から移動体装置100-1~100-5に向かう相対方向を保ったまま、基準位置P2-1~P2-5から遠ざかる方向へ移動する。
図10に示す例では、制御装置50は、操作者U1から、各移動体装置100-1~100-5に対して個別の指示情報CM3-1~CM3-5を受け付ける。具体的には、制御装置50は、操作者U1から、移動体装置100-1~100-5を前方(北方向)へ移動させる指示を含む指示情報の入力を受け付ける。また、制御装置50は、操作者U1から、移動体装置100-1~100-5の操作に用いる座標系として、撮影対象である鳥O2の位置から所定の相対位置を基準位置P2-1~P2-5として、基準位置P2-1~P2-5からの相対座標系を用いる指示を含む指示情報CM3-1~CM3-5の入力を受け付ける。具体的には、制御装置50は、基準位置を示す情報として、撮影対象である鳥を識別する識別情報「O2」と、識別情報「O2」で識別される鳥O2の位置からそれぞれの所定の相対位置を示す相対位置ベクトルΔ21~Δ25とを含む指示情報CM3-1~CM3-5の入力を受け付ける。制御装置50は、指示情報CM3-1~CM3-5の入力を受け付けると、受け付けた指示情報CM3-1~CM3-5を移動体装置100に送信する。このように、制御装置50から各移動体装置100-1~100-5に対して個別に操作に用いられる座標系や基準位置、所定の相対位置を送信してもよい。
図10では、変換部154は、取得部151によって取得された指示情報(指示情報CM3-1~CM3-5)に含まれる移動方向(移動方向D21~D25(図示略))を、移動体(移動体装置100-1~100-5)による作用対象の位置(撮影対象である鳥O2の位置R)から所定の相対位置(相対位置ベクトルΔ21~Δ25)に位置する基準位置(基準位置P2-1~P2-5)と移動体の相対位置とに基づく相対座標系(相対座標系C2-1~C2-5)における移動方向(移動方向D21´~D25´)に変換する。
[1-6-3.実施形態の第3の変形例]
次に、図11を用いて、本開示の第3の変形例に係る情報処理の概要について説明する。図11は、本開示の第3の変形例に係る情報処理の一例を示す図である。図10では5体の移動体装置100-1~100-5がそれぞれ撮影対象である鳥O2を追尾しながら移動する例について説明した。図11では、図11の左方に示す5体の移動体装置100-1~100-5に加えて、図11の右方に示すように、さらに5体の移動体装置100-6~100-10がそれぞれ撮影対象である鳥O3(鳥2とは異なる撮影対象)を追尾しながら移動する。具体的には、図10に加えて、鳥O3の位置から所定の相対位置であるそれぞれの基準位置P3-1~P3-5は、鳥O3から見て、鳥O3の位置を囲む五角形の各頂点に対応する相対位置に配置される。また、基準位置P3-1~P3-5は、鳥O3の移動に応じて、鳥O3からの相対位置を保ったままそれぞれ移動する。そして、移動体装置100-6~100-10は、それぞれ基準位置P3-1~P3-5から移動体装置100-6~100-10に向かう相対方向を保ったまま、基準位置P3-1~P3-5から遠ざかる方向へ移動する。
図11に示す例では、制御装置50は、操作者U1から、各移動体装置100-1~100-10に対して個別の指示情報CM3-1~CM3-10を受け付ける。具体的には、制御装置50は、操作者U1から、移動体装置100-1~100-10については、図10と同様の指示情報CM3-1~CM3-5を受け付ける。また、制御装置50は、操作者U1から、移動体装置100-6~100-10の操作に用いる座標系として、撮影対象である鳥O3の位置から所定の相対位置を基準位置P3-1~P3-5として、基準位置P3-1~P3-5からの相対座標系を用いる指示を含む指示情報CM3-6~CM3-10の入力を受け付ける。具体的には、制御装置50は、基準位置を示す情報として、撮影対象である鳥を識別する識別情報「O3」と、識別情報「O3」で識別される鳥O3の位置からそれぞれの所定の相対位置を示す相対位置ベクトルΔ31~Δ35とを含む指示情報CM3-6~CM3-10の入力を受け付ける。制御装置50は、指示情報の入力を受け付けると、受け付けた指示情報CM3-1~CM3-10を移動体装置100に送信する。
図11では、変換部154は、取得部151によって取得された指示情報(指示情報CM3-1~CM3-5)に含まれる移動方向(移動方向D21~D25(図示略))を、移動体(移動体装置100-1~100-5)による作用対象の位置(撮影対象である鳥O2の位置)から所定の相対位置(相対位置ベクトルΔ21~Δ25)に位置する基準位置(基準位置P2-1~P2-5)と移動体の相対位置とに基づく相対座標系(相対座標系C2-1~C2-5)における移動方向(移動方向D21´~D25´)に変換する。また、変換部154は、取得部151によって取得された指示情報(指示情報CM3-6~CM3-10)に含まれる移動方向(移動方向D31~D35(図示略))を、移動体(移動体装置100-6~100-10)による作用対象の位置(撮影対象である鳥O3の位置)から所定の相対位置(相対位置ベクトルΔ31~Δ35)に位置する基準位置(基準位置P3-1~P3-5)と移動体の相対位置とに基づく相対座標系(相対座標系C3-1~C3-5(図示略))における移動方向(移動方向D31´~D35´(図示略))に変換する。
[1-6-4.実施形態の第4の変形例]
次に、図12を用いて、本開示の第4の変形例に係る情報処理の概要について説明する。図12は、本開示の第4の変形例に係る情報処理の一例を示す図である。図12に示す例では、撮影対象である鳥O2を五角形に囲む5体の移動体装置100-1~100-5のうち、1体の移動体装置100-5がバッテリー残量低下により帰還する。移動体装置100-5は、帰還信号をブロードキャストする。残り4体の移動体装置100-1~100-4は、移動体装置100-5から帰還信号を受信すると、撮影対象である鳥O2を四角系に囲むように操作に用いられる相対座標系を変更する。
以下では、4体の移動体装置100-1~100-4のそれぞれ移動体装置の処理について説明する。取得部151は、移動体装置100-5から帰還信号を受信する。判定部155は、帰還信号を受信すると、条件情報記憶部123を参照して、移動体の周辺環境に関する環境情報が条件情報ID「CD1」で識別される条件(条件情報CD1)を満たすと判定する。
ここから、4体の移動体装置100-1~100-4のうち、移動体装置100-1を例にとって説明する。移動体装置100-1の取得部151は、判定部155によって移動体の周辺環境に関する環境情報が条件CD1を満たすと判定されると、移動体装置100-1の位置の絶対座標を取得する。また、取得部151は、記憶部120を参照して、条件CD1に応じた基準位置P2-1Aの絶対座標を取得する。なお、所定の条件に応じた基準位置は、各条件と対応付けてあらかじめ記憶部120にプリセットされているものとする。例えば、条件CD1に応じた基準位置は、移動体装置100が5体のときは撮影対象の位置を囲む五角形の各頂点に対応する相対位置、移動体装置100が4体のときは撮影対象の位置を囲む四角形の各頂点に対応する相対位置、というようにプリセットされているものとする。
算出部152は、取得部151によって条件CD1に応じた基準位置P2-1Aの絶対座標と移動体装置100-1の位置の絶対座標とが取得されると、移動体装置100-1の位置の絶対座標から、条件CD1に応じた基準位置P2-1Aの絶対座標を減算することにより、条件CD1に応じた基準位置P2-1Aに対する移動体装置100-1の位置の相対位置座標を算出する。
決定部153は、算出部152によって条件CD1に応じた基準位置P2-1Aに対する移動体装置100-1の位置の相対座標が算出されると、条件CD1に応じた基準位置P2-1Aから移動体装置100-1の位置に向かう方向を相対座標系のY軸に決定する。また、決定部153は、条件CD1に応じた基準位置P2-1Aから移動体装置100-1の位置に向かう方向のベクトルを右回りに90度回転させた方向を相対座標系のX軸に決定する。また、決定部153は、条件CD1に応じた基準位置P2-1Aを操作に用いる相対座標系の原点に決定する。
変換部154は、取得部151によって取得された指示情報に含まれる移動方向を、条件CD1に応じた基準位置P2-1Aと移動体装置100-1の相対位置とに基づく相対座標系における移動方向に変換する。
移動体装置100-1と同様に、移動体装置100-2~100-4の各変換部154は、それぞれの基準位置P2-2~P2-4を条件CD1に応じたそれぞれの基準位置P2-2A~P2-4Aに変更し、取得部151によって取得された指示情報に含まれる移動方向を、変更した後のそれぞれの基準位置P2-2A~P2-4Aと各移動体装置100-2~100-4の相対位置とに基づく相対座標系における移動方向に変換する。
このように、判定部155は、移動体の周辺環境に関する環境情報が所定の条件(他の移動体からの帰還信号を検知した)を満たすか否かを判定する。変換部154は、判定部155によって環境情報が所定の条件を満たすと判定された場合に、基準位置(基準位置P2-1~P2-4)を所定の条件に応じた基準位置(基準位置P2-1A~P2-4A)に変更し、取得部151によって取得された指示情報に含まれる移動方向を、変更した後の基準位置と移動体の相対位置とに基づく相対座標系における移動方向に変換する。
[1-6-5.実施形態の第5の変形例]
次に、図13を用いて、本開示の第5の変形例に係る情報処理の概要について説明する。図13は、本開示の第5の変形例に係る情報処理の一例を示す図である。図13に示す例では、移動体装置100は、撮影対象である鳥O2に気付かれないように、鳥O2が向いている方向(進行方向の向き)と反対側の所定の位置を基準位置として、基準位置を追従するように移動する。そして、移動体装置100は、鳥O2が向いている方向の変化を検知すると、相対座標系を切り替える。これにより、操作者U1は、撮影対象である鳥O2に気付かれないように、移動体装置100を操作可能になる。
具体的には、取得部151は、画像センサによって撮影対象である鳥O2を撮影した撮影画像を取得する。判定部155は、取得部151によって取得された撮影画像に基づいて、画像認識等により、鳥O2の進行方向の向きを検知する。また、判定部155は、取得部151によって取得された撮影画像に基づいて、鳥O2の進行方向の変更を検知する。例えば、判定部155は、取得部151によって取得された撮影画像に基づいて、所定時間内における鳥O2の向きの変化量が閾値#2を超えたか否かを判定する。判定部155は、所定時間内における鳥O2の向きの変化量が閾値#2を超えたと判定した場合に、鳥O2の向きが変更したことを検知する。
このように、取得部151は、環境情報として、センサ(画像センサ)によって検知された移動体の周辺環境に関するセンサ情報(画像情報および画像情報に基づいて検知した鳥O2の向き)を取得する。判定部155は、取得部151によって取得されたセンサ情報が所定の条件(条件情報CD2)を満たすか否かを判定する。例えば、判定部は、取得部151によって取得されたセンサ情報の変化量(画像情報に基づいて検知した鳥O2の向きの変化量)が所定の条件(条件情報CD2に対応する閾値#2を超えること)を満たすか否かを判定する。
判定部155は、鳥O2の向きが変更したことを検知すると、条件情報記憶部123を参照して、移動体の周辺環境に関する環境情報が条件情報ID「CD2」で識別される条件(条件情報CD2)を満たすと判定する。
取得部151は、判定部155によって移動体の周辺環境に関する環境情報が条件CD2を満たすと判定されると、移動体位置の絶対座標を取得する。また、取得部151は、記憶部120を参照して、条件CD2に応じた基準位置P2´の絶対座標を取得する。なお、条件CD2に応じた基準位置P2´は、移動体による撮影対象の向き(進行方向の向き)と反対向きに撮影対象から所定の相対位置、というようにプリセットされているものとする。
変換部154は、取得部151によって取得された指示情報に含まれる移動方向を、条件CD2に応じた基準位置P2´と移動体の相対位置とに基づく相対座標系における移動方向に変換する。
このように、変換部154は、取得部151によって取得された指示情報に含まれる移動方向を、移動体による作用対象の位置(撮影対象である鳥O2の位置)から移動体の周辺環境に応じて定まる所定の相対位置(鳥O2の進行方向の向きに応じて定まる所定の相対位置)に位置する基準位置(基準位置P2´)と移動体の相対位置とに基づく相対座標系における移動方向に変換する。
[1-6-6.実施形態の第6の変形例]
次に、図14を用いて、本開示の第6の変形例に係る情報処理の概要について説明する。図14は、本開示の第6の変形例に係る情報処理の一例を示す図である。図14に示す例では、移動体装置100は、撮影対象である野球のピッチャーO4を撮影する。そして、移動体装置100は、ピッチャーO4が振りかぶったことを検知すると、相対座標系の基準位置を、ピッチャーO4の位置P3からボールO5の位置P3´に切り替える。
具体的には、ピッチャーO4が振りかぶる前は、変換部154は、取得部151によって取得された指示情報に含まれる移動方向を、移動体による撮影対象であるピッチャーO4の位置である基準位置P3(図示略)と移動体装置100の相対位置とに基づく相対座標系における移動方向に変換する。
このように、変換部154は、取得部151によって取得された指示情報に含まれる移動方向を、移動体による作用対象の位置(撮影対象であるピッチャーO4の位置)である基準位置(基準位置P3(図示略))と移動体の相対位置とに基づく相対座標系における移動方向に変換する。
取得部151は、画像センサによって撮影対象であるピッチャーO4を撮影した撮影画像を取得する。判定部155は、取得部151によって取得された撮影画像に基づいて、画像認識等により、ピッチャーO4による振りかぶりを検知する。例えば、判定部155は、取得部151によって取得された撮影画像に基づいて、所定時間内におけるピッチャーO4による投球姿勢の変化量が閾値#3を超えたか否かを判定する。判定部155は、所定時間内におけるピッチャーO4による投球姿勢の変化量が閾値#3を超えたと判定した場合に、ピッチャーO4による振りかぶりを検知する。
判定部155は、ピッチャーO4による振りかぶりを検知すると、条件情報記憶部123を参照して、移動体の周辺環境に関する環境情報が条件情報ID「CD3」で識別される条件(条件情報CD3)を満たすと判定する。
取得部151は、判定部155によって移動体の周辺環境に関する環境情報が条件CD3を満たすと判定されると、移動体位置の絶対座標を取得する。また、取得部151は、記憶部120を参照して、条件CD3に応じた基準位置P3´(図示略)の絶対座標を取得する。なお、条件CD3に応じた基準位置P3´は、ピッチャーO4による振りかぶりを検知するとボールO5の位置、というようにプリセットされているものとする。
変換部154は、取得部151によって取得された指示情報に含まれる移動方向を、条件CD3に応じた基準位置P3´と移動体の相対位置とに基づく相対座標系における移動方向に変換する。具体的には、変換部154は、取得部151によって取得された指示情報に含まれる移動方向を、移動体による作用対象の位置(撮影対象であるボールO5の位置)である基準位置(基準位置P3´(図示略))と移動体の相対位置とに基づく相対座標系における移動方向に変換する。
[1-6-7.実施形態の第7の変形例]
次に、図15を用いて、本開示の第7の変形例に係る情報処理の概要について説明する。図15は、本開示の第7の変形例に係る情報処理の一例を示す図である。図15に示す例では、移動体装置100は、羊の群れを撮影する。具体的には、変換部154は、取得部151によって取得された指示情報に含まれる移動方向を、移動体による撮影対象である羊の群れの重心の位置である基準位置P4と移動体装置100の相対位置とに基づく相対座標系における移動方向に変換する。例えば、取得部151は、画像センサによって撮影された羊の群れの撮影画像に基づいて、画像認識により、羊の群れの重心の位置を検知する。
[1-6-8.実施形態の第8の変形例]
次に、図16を用いて、本開示の第8の変形例に係る情報処理の概要について説明する。図16は、本開示の第8の変形例に係る情報処理の一例を示す図である。図16に示す例では、移動体装置100は、撮影対象である羊の群れを撮影する。そして、移動体装置100は、羊の群れの重心の位置から一定以上離れた羊の個体を検知すると、相対座標系の基準位置を、羊の群れの重心の位置P4から羊の個体の位置P5に切り替える。
具体的には、取得部151は、画像センサによって撮影対象である羊の群れを撮影した撮影画像を取得する。判定部155は、取得部151によって取得された撮影画像に基づいて、画像認識等により、羊の群れの重心の位置から離れた羊の個体を検知する。例えば、判定部155は、取得部151によって取得された撮影画像に基づいて、羊の群れの重心の位置と羊の個体との間の距離が閾値#5を超えたか否かを判定する。判定部155は、羊の群れの重心の位置と羊の個体との間の距離が閾値#5を超えたと判定した場合に、羊の群れの重心の位置から一定以上離れた羊の個体を検知する。
判定部155は、羊の群れの重心の位置から一定以上離れた羊の個体を検知すると、条件情報記憶部123を参照して、移動体の周辺環境に関する環境情報が条件情報ID「CD5」で識別される条件(条件情報CD5)を満たすと判定する。
取得部151は、判定部155によって移動体の周辺環境に関する環境情報が条件CD5を満たすと判定されると、移動体位置の絶対座標を取得する。また、取得部151は、記憶部120を参照して、条件CD5に応じた基準位置P5の絶対座標を取得する。なお、条件CD5に応じた基準位置P5は、羊の群れの重心の位置から一定以上離れた羊の個体を検知すると羊の個体の位置、というようにプリセットされているものとする。
変換部154は、取得部151によって取得された指示情報に含まれる移動方向を、条件CD5に応じた基準位置P5と移動体の相対位置とに基づく相対座標系における移動方向に変換する。具体的には、変換部154は、取得部151によって取得された指示情報に含まれる移動方向を、移動体による作用対象の位置(撮影対象である羊の個体の位置)である基準位置(基準位置P5)と移動体の相対位置とに基づく相対座標系における移動方向に変換する。
[1-6-9.実施形態の第9の変形例]
次に、図17を用いて、本開示の第9の変形例に係る情報処理の概要について説明する。図17は、本開示の第9の変形例に係る情報処理の一例を示す図である。図17に示す例では、移動体装置100は、花火が爆発した瞬間の位置を基準位置として保持したまま、花火を撮影する。これにより、操作者U1は、周囲が暗く移動体装置100を操作しづらい中、花火との距離を保つかどうかのみに専念して移動体装置100を操作可能になる。
具体的には、取得部151は、光センサによって花火が爆発による光量を検知する。判定部155は、取得部151によって取得された光量が閾値#6を超えるか否かを判定する。判定部155は、光量が閾値#6を超えたと判定した場合に、花火の爆発を検知する。
判定部155は、花火の爆発を検知すると、条件情報記憶部123を参照して、移動体の周辺環境に関する環境情報が条件情報ID「CD6」で識別される条件(条件情報CD6)を満たすと判定する。
取得部151は、判定部155によって移動体の周辺環境に関する環境情報が条件CD6を満たすと判定されると、移動体位置の絶対座標を取得する。また、取得部151は、記憶部120を参照して、条件CD6に応じた基準位置P6の絶対座標を取得する。なお、条件CD6に応じた基準位置P6は、花火が爆発した瞬間の位置、というようにプリセットされているものとする。なお、取得部151は、例えば、画像センサによって、花火が爆発した瞬間の位置を検知する。
変換部154は、取得部151によって取得された指示情報に含まれる移動方向を、条件CD6に応じた基準位置P6と移動体の相対位置とに基づく相対座標系における移動方向に変換する。具体的には、変換部154は、取得部151によって取得された指示情報に含まれる移動方向を、移動体による作用対象の位置(撮影対象である花火が爆発した瞬間の位置)である基準位置(基準位置P6)と移動体の相対位置とに基づく相対座標系における移動方向に変換する。
[1-6-10.実施形態の第10の変形例]
次に、図18を用いて、本開示の第10の変形例に係る情報処理の概要について説明する。図18は、本開示の第10の変形例に係る情報処理の一例を示す図である。図18に示す例では、移動体装置100は、花火が爆発した瞬間の位置を基準位置P7として花火を撮影する。そして、移動体装置100は、これからフィナーレである(たくさんの花火が打ちあがる)というアナウンスを検知すると、相対座標系の基準位置を、花火が爆発した瞬間の位置P7から複数の花火の重心の位置P8に切り替える。
具体的には、取得部151は、音センサによって「これからフィナーレである(たくさんの花火が打ちあがる)」というアナウンスの音声情報を取得する。判定部155は、取得部151によって取得された音声情報に基づいて、自然言語処理等により、フィナーレのアナウンスを検知する。例えば、判定部155は、取得部151によって取得された音声情報を文字情報に変換して、あらかじめプリセットされたフィナーレのアナウンスに対応する文字情報と照合して、取得した音声情報がフィナーレのアナウンスであるか否かを判定する。
判定部157は、フィナーレのアナウンスを検知すると、条件情報記憶部123を参照して、移動体の周辺環境に関する環境情報が条件情報ID「CD7」で識別される条件(条件情報CD7)を満たすと判定する。
取得部151は、判定部157によって移動体の周辺環境に関する環境情報が条件CD7を満たすと判定されると、移動体位置の絶対座標を取得する。また、取得部151は、記憶部120を参照して、条件CD7に応じた基準位置P8の絶対座標を取得する。なお、条件CD7に応じた基準位置P8は、フィナーレのアナウンスを検知すると複数の花火の重心の位置、というようにプリセットされているものとする。
変換部154は、取得部151によって取得された指示情報に含まれる移動方向を、条件CD7に応じた基準位置P8と移動体の相対位置とに基づく相対座標系における移動方向に変換する。具体的には、変換部154は、取得部151によって取得された指示情報に含まれる移動方向を、移動体による作用対象の位置(撮影対象である複数の花火の重心の位置)である基準位置(基準位置P8)と移動体の相対位置とに基づく相対座標系における移動方向に変換する。
[1-6-11.実施形態の第11の変形例]
次に、図19を用いて、本開示の第11の変形例に係る情報処理の概要について説明する。図19は、本開示の第11の変形例に係る情報処理の一例を示す図である。図19に示す例では、移動体装置100は、撮影対象である花火以外の群衆の視線の先を基準位置P9として群衆の視線から花火を撮影する。
具体的には、取得部151は、画像センサによって、花火と花火の群集を含む撮影画像を取得する。群衆が5人である場合を例に説明すると、判定部157は、取得部151によって取得された撮影画像に基づいて、5人の視線の先を表す5本の直線を推定し、5本の直線との距離の総和が最小になるような点を検出する。
判定部157は、5本の直線との距離の総和が最小になるような点を検出すると、条件情報記憶部123を参照して、移動体の周辺環境に関する環境情報が条件情報ID「CD8」で識別される条件(条件情報CD8)を満たすと判定する。
取得部151は、判定部157によって移動体の周辺環境に関する環境情報が条件CD8を満たすと判定されると、移動体位置の絶対座標を取得する。また、取得部151は、記憶部120を参照して、条件CD8に応じた基準位置P9の絶対座標を取得する。なお、条件CD8に応じた基準位置P9は、群衆の視線の先を表す複数の直線との距離の総和が最小になるような点の位置、というようにプリセットされているものとする。
変換部154は、取得部151によって取得された指示情報に含まれる移動方向を、条件CD8に応じた基準位置P9と移動体の相対位置とに基づく相対座標系における移動方向に変換する。
[1-6-12.実施形態の第12の変形例]
次に、図20を用いて、本開示の第12の変形例に係る情報処理の概要について説明する。図20は、本開示の第12の変形例に係る情報処理の一例を示す図である。図20の左方に示すように、移動体装置100は、ホバリングしながらトンネルの壁全体を撮影している。移動体装置100によって撮影された画像は、操作者U1の端末装置10の画面に表示される。
続いて、図20の中央に示すように、操作者U1は、端末装置10の画面に表示された画像を見ながら、壁に傷(クラック)がある部分を選択(例えば、クリック)して、選択した地点を基準位置P10として登録する。制御装置50は、操作者U1によって選択された基準位置P10に関する情報を端末装置10から取得する。なお、端末装置10と制御装置50とは一体であってもよい。また、移動体装置100が壁の異常個所(例えば、傷)を検知し、検知した異常個所を基準位置P10として決定してもよい。変換部154は、取得部151によって取得された指示情報に含まれる移動方向を、基準位置P10と移動体の相対位置とに基づく相対座標系における移動方向に変換する。
これにより、操作者U1は基準位置P10に対する移動体装置100の相対座標系を用いて移動体装置100を操作することができる。これにより、操作者U1は制御装置50のスティックを前後に倒すだけで、異常個所へ移動体装置100を近づける又は遠ざける操作が可能になる。すなわち、操作者U1は、異常個所のズームアウト撮影やズームイン撮影が容易になる。
[1-6-13.実施形態の第13の変形例]
次に、図21を用いて、本開示の第13の変形例に係る情報処理の概要について説明する。図21は、本開示の第13の変形例に係る情報処理の一例を示す図である。図21に示す例では、移動体装置100は、制御装置50の位置を基準位置として移動しながら鳥O2を撮影する。そして、移動体装置100は、例えば、遮蔽物(例えば、ビルB1)等によって制御装置50から受信している赤外線の遮断を検知すると、相対座標系の基準位置を、制御装置50の位置から撮影対象である鳥O2の位置に切り替える。
具体的には、取得部151は、制御装置50から赤外線を受信する。判定部157は、赤外線センサによって、赤外線の受信が遮断されたことを検知する。
判定部157は、赤外線の受信が遮断されたことを検知すると、条件情報記憶部123を参照して、移動体の周辺環境に関する環境情報が条件情報ID「CD9」で識別される条件(条件情報CD9)を満たすと判定する。
取得部151は、判定部157によって移動体の周辺環境に関する環境情報が条件CD9を満たすと判定されると、移動体位置の絶対座標を取得する。また、取得部151は、記憶部120を参照して、条件CD9に応じた基準位置の絶対座標を取得する。なお、条件CD9に応じた基準位置は、赤外線の遮断を検知すると撮影対象の位置、というようにプリセットされているものとする。
変換部154は、取得部151によって取得された指示情報に含まれる移動方向を、条件CD9に応じた基準位置(鳥O2の位置)と移動体の相対位置とに基づく相対座標系における移動方向に変換する。操作者U1は、遮蔽物によって移動体装置100や撮影対象である鳥O2を直接視認することができなくなった場合でも、端末装置10の画面を見ながら、引き続き移動体装置100を操作することができる。
なお、送信部157は、赤外線の遮断を検知して鳥O2の位置を基準位置とした相対座標系に切り替えたという通知を制御装置50に送信してもよい。制御装置50は、座標系の切り替えに関する通知を受信すると、制御装置50本体を振動させることにより、操作者U1に対して座標系の切り替えに関する通知を行ってもよい。
[1-6-14.実施形態の第14の変形例]
次に、図22を用いて、本開示の第14の変形例に係る情報処理の概要について説明する。図22は、本開示の第14の変形例に係る情報処理の一例を示す図である。図22の上段に示す例では、移動体装置100の向きを操作者U1に対してわかりやすく提示するために、移動体装置100に顔デバイスF1を取り付ける。なお、移動体装置100にディスプレイを取り付けて、正面方向に矢印を描いてもよい。また、移動体装置100の周囲にLEDを取り付けて、移動体装置100が正面方向から操作者U1に向かう向きをLEDの光線によって照らしてもよい。
図22の下段に示す例では、移動体装置100の移動方向を操作者U1に対してわかりやすく提示するために、移動体装置100が、相対座標系と指示情報に含まれる移動方向とから計算された方向に顔デバイスF1を向ける。なお、移動体装置100の周囲にLEDを取り付けて、移動体装置100が相対座標系と指示情報に含まれる移動方向とから計算された方向をLEDの光線によって照らしてもよい。
[1-6-15.実施形態の第15の変形例]
まず、図23を用いて、本開示のその他の実施形態に係る情報処理の概要について説明する。図23は、本開示のその他の実施形態に係る情報処理の一例を示す図である。図23に示す例では、表示制御部555は、生成部554によって生成された補助コンテンツを出力部54に出力する。具体的には、表示制御部555は、操作者によって指示された移動体の移動方向が、移動体の周辺環境に応じて定まる基準位置と移動体の相対位置とに基づく相対座標系における移動方向に変換された移動方向に基づいて、移動体の移動方向を制御した場合のシミュレーション画像を操作者に対して視認可能に表示する。
[2.その他の実施形態]
[2-1.移動体が3次元空間を移動する場合]
上述した実施形態では、理解を容易にするため、実施形態に係る移動体装置100が2次元平面を移動する例について説明したが、実施形態に係る移動体装置100は3次元空間を移動してもよい。移動体装置100が3次元空間を移動する場合は、空間を定義するための3軸の方向のうちの2軸の方向を定めるか、3軸の方向のうちの1軸と所定の平面を定める必要がある。
例えば、移動体装置100は、基準位置から移動体装置100を仰ぐ方向を正面方向(例えば、X軸)に決定する。そして、例えば、操作者U1が立っている方向をZ軸に決定する。あるいは、宇宙空間等であれば、光源(例えば、太陽)の方向をZ軸に決定してもよい。あるいは、操作者U1と作用対象(例えば、撮影対象)とその他いずれかの物体(操作者以外の他の人間、動物、月または地球などの惑星など)がいる場所をXY平面に決定してもよい。あるいは、複数台の移動体装置100が存在する(近似)平面をXY平面に決定してもよい。
[3.本開示に係る効果]
上述のように、本開示に係る情報処理装置(実施形態では移動体装置100)は、取得部(実施形態では取得部151)と、変換部(実施形態では変換部154)と、制御部(実施形態では移動制御部156)とを備える。取得部は、操作者による移動体に対する移動方向の指示を含む指示情報を取得する。変換部は、取得部によって取得された指示情報に含まれる移動方向を、移動体の周辺環境に応じて定まる基準位置と移動体の相対位置とに基づく相対座標系における移動方向に変換する。制御部は、変換部によって変換された移動方向に基づいて、移動体の移動方向を制御する。
このように、本開示の実施形態に係る情報処理装置は、基準位置との相対位置を考慮しながら移動体を移動させることができる。これにより、情報処理装置は、風などの外乱により、移動体の向きや姿勢が急激に変わった場合であっても、移動体を操作者の意図通りの方向に移動させることを可能にする。また、情報処理装置0は、半自動操作によって操作される移動体の向きが障害物回避により大幅に変わった場合であっても、容易に移動方向を指示することを可能にする。したがって、情報処理装置は、移動体の移動方向を適切に制御することができる。
また、変換部は、取得部によって取得された指示情報に含まれる移動方向を、操作者の位置である基準位置と移動体の相対位置とに基づく相対座標系における移動方向に変換する。
これにより、情報処理装置は、作者の位置である基準位置と移動体の相対位置とに基づく相対座標系に基づいて、移動体の移動方向をより容易に指示することを可能にする。
また、変換部は、取得部によって取得された指示情報に含まれる移動方向を、移動体による作用対象の位置である基準位置と移動体の相対位置とに基づく相対座標系における移動方向に変換する。
これにより、情報処理装置は、移動体による作用対象の位置である基準位置と移動体の相対位置とに基づく相対座標系に基づいて、移動体の移動方向をより容易に指示することを可能にする。
また、変換部は、取得部によって取得された指示情報に含まれる移動方向を、移動体による作用対象の位置から所定の相対位置に位置する基準位置と移動体の相対位置とに基づく相対座標系における移動方向に変換する。
これにより、情報処理装置は、例えば、作用対象の位置から少し離れた位置から作用対象を追尾しながら作用するように、移動体の移動方向をより容易に指示することを可能にする。
また、変換部は、取得部によって取得された指示情報に含まれる移動方向を、移動体による作用対象の位置から移動体の周辺環境に応じて定まる所定の相対位置に位置する基準位置と移動体の相対位置とに基づく相対座標系における移動方向に変換する。
これにより、情報処理装置は、移動体の周辺環境に応じて作用対象の位置から少し離れた位置を動的に変更することができる。
また、変換部は、取得部によって取得された指示情報に含まれる移動方向を、移動体による撮影対象の位置である基準位置と移動体の相対位置とに基づく相対座標系における移動方向に変換する。
これにより、情報処理装置は、例えば、撮影対象の位置から少し離れた位置から撮影対象を追尾しながら撮影するように、移動体の移動方向をより容易に指示することを可能にする。
また、本開示に係る情報処理装置は、判定部(実施形態では判定部155)をさらに備える。判定部は、移動体の周辺環境に関する環境情報が所定の条件を満たすか否かを判定する。変換部は、判定部によって環境情報が所定の条件を満たすと判定された場合に、基準位置を所定の条件に応じた基準位置に変更し、取得部によって取得された指示情報に含まれる移動方向を、変更した後の基準位置と移動体の相対位置とに基づく相対座標系における移動方向に変換する。
これにより、情報処理装置は、移動体の周辺環境に応じて、動的に座標系を変更することができる。
また、取得部は、環境情報として、センサによって検知された移動体の周辺環境に関するセンサ情報を取得する。判定部は、取得部によって取得されたセンサ情報が所定の条件を満たすか否かを判定する。
これにより、情報処理装置は、種々のセンサによって検知されたさまざまな移動体の周辺環境に応じて、動的に座標系を変更することができる。
また、判定部は、取得部によって取得されたセンサ情報の変化量が所定の条件を満たすか否かを判定する。
これにより、情報処理装置は、種々のセンサによって検知されたさまざまな移動体の周辺環境の変化に応じて、動的に座標系を変更することができる。
また、本開示に係る制御装置(実施形態では制御装置50)は、表示制御部(実施形態では表示制御部555)を備える。表示制御部は、操作者によって指示された移動体の移動方向が、移動体の周辺環境に応じて定まる基準位置と移動体の相対位置とに基づく相対座標系における移動方向に変換された移動方向に基づいて、移動体の移動方向を制御した場合のシミュレーション画像を操作者に対して視認可能に表示する。
これにより、制御装置は、移動体の動作制御におけるユーザビリティを向上させることができる。
[4.ハードウェア構成]
上述してきた実施形態や変形例に係る移動体装置100等の情報機器は、例えば図24に示すような構成のコンピュータ1000によって実現される。図24は、移動体装置100等の情報処理装置の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。以下、実施形態に係る移動体装置100を例に挙げて説明する。コンピュータ1000は、CPU1100、RAM1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信インターフェイス1500、及び入出力インターフェイス1600を有する。コンピュータ1000の各部は、バス1050によって接続される。
CPU1100は、ROM1300又はHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、CPU1100は、ROM1300又はHDD1400に格納されたプログラムをRAM1200に展開し、各種プログラムに対応した処理を実行する。
ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるBIOS(Basic Input Output System)等のブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、HDD1400は、プログラムデータ1450の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
通信インターフェイス1500は、コンピュータ1000が外部ネットワーク1550(例えばインターネット)と接続するためのインターフェイスである。例えば、CPU1100は、通信インターフェイス1500を介して、他の機器からデータを受信したり、CPU1100が生成したデータを他の機器へ送信したりする。
入出力インターフェイス1600は、入出力デバイス1650とコンピュータ1000とを接続するためのインターフェイスである。例えば、CPU1100は、入出力インターフェイス1600を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、CPU1100は、入出力インターフェイス1600を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス1600は、所定の記録媒体(メディア)に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
例えば、コンピュータ1000が実施形態に係る移動体装置100として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされた情報処理プログラムを実行することにより、制御部150等の機能を実現する。また、HDD1400には、本開示に係る情報処理プログラムや、記憶部120内のデータが格納される。なお、CPU1100は、プログラムデータ1450をHDD1400から読み取って実行するが、他の例として、外部ネットワーク1550を介して、他の装置からこれらのプログラムを取得してもよい。
なお、本技術は以下のような構成も取ることができる。
(1)
操作者による移動体に対する移動方向の指示を含む指示情報を取得する取得部と、
前記取得部によって取得された指示情報に含まれる移動方向を、前記移動体の周辺環境に応じて定まる基準位置と前記移動体の相対位置とに基づく相対座標系における移動方向に変換する変換部と、
前記変換部によって変換された移動方向に基づいて、前記移動体の移動方向を制御する制御部と、
を備える情報処理装置。
(2)
前記変換部は、
前記取得部によって取得された指示情報に含まれる移動方向を、前記操作者の位置である前記基準位置と前記移動体の相対位置とに基づく相対座標系における移動方向に変換する
前記(1)に記載の情報処理装置。
(3)
前記変換部は、
前記取得部によって取得された指示情報に含まれる移動方向を、前記移動体による作用対象の位置である前記基準位置と前記移動体の相対位置とに基づく相対座標系における移動方向に変換する
前記(1)または(2)に記載の情報処理装置。
(4)
前記変換部は、
前記取得部によって取得された指示情報に含まれる移動方向を、前記移動体による作用対象の位置から所定の相対位置に位置する前記基準位置と前記移動体の相対位置とに基づく相対座標系における移動方向に変換する
前記(3)に記載の情報処理装置。
(5)
前記変換部は、
前記取得部によって取得された指示情報に含まれる移動方向を、前記移動体による作用対象の位置から前記移動体の周辺環境に応じて定まる前記所定の相対位置に位置する前記基準位置と前記移動体の相対位置とに基づく相対座標系における移動方向に変換する
前記(4)に記載の情報処理装置。
(6)
前記変換部は、
前記取得部によって取得された指示情報に含まれる移動方向を、前記移動体による撮影対象の位置である前記基準位置と前記移動体の相対位置とに基づく相対座標系における移動方向に変換する
前記(3)~(5)のいずれか一つに記載の情報処理装置。
(7)
前記移動体の周辺環境に関する環境情報が所定の条件を満たすか否かを判定する判定部をさらに備え、
前記変換部は、
前記判定部によって環境情報が所定の条件を満たすと判定された場合に、前記基準位置を前記所定の条件に応じた基準位置に変更し、前記取得部によって取得された指示情報に含まれる移動方向を、変更した後の基準位置と前記移動体の相対位置とに基づく相対座標系における移動方向に変換する
前記(1)~(6)のいずれか一つに記載の情報処理装置。
(8)
前記取得部は、
前記環境情報として、センサによって検知された前記移動体の周辺環境に関するセンサ情報を取得し、
前記判定部は、
前記取得部によって取得されたセンサ情報が所定の条件を満たすか否かを判定する
前記(7)に記載の情報処理装置。
(9)
前記判定部は、
前記取得部によって取得されたセンサ情報の変化量が所定の条件を満たすか否かを判定する
前記(8)に記載の情報処理装置。
(10)
操作者によって指示された移動体の移動方向が、前記移動体の周辺環境に応じて定まる基準位置と前記移動体の相対位置とに基づく相対座標系における移動方向に変換された移動方向に基づいて、前記移動体の移動方向を制御した場合のシミュレーション画像を前記操作者に対して視認可能に表示する表示制御部と、
を備える制御装置。
(11)
操作者による移動体に対する移動方向の指示を含む指示情報を取得し、
取得した指示情報に含まれる移動方向を、前記移動体の周辺環境に応じて定まる基準位置と前記移動体の相対位置とに基づく相対座標系における移動方向に変換し、
変換した移動方向に基づいて、前記移動体の移動方向を制御する、
処理を実行する情報処理方法。
(12)
コンピュータに、
操作者による移動体に対する移動方向の指示を含む指示情報を取得する取得手順と、
前記取得手順によって取得された指示情報に含まれる移動方向を、前記移動体の周辺環境に応じて定まる基準位置と前記移動体の相対位置とに基づく相対座標系における移動方向に変換する変換手順と、
前記変換手順によって変換された移動方向に基づいて、前記移動体の移動方向を制御する制御手順と、
を実行させるための情報処理プログラム。
1 情報処理システム
50 制御装置
51 通信部
52 記憶部
53 入力部
54 出力部
55 制御部
551 受付部
552 送信部
553 受信部
554 生成部
555 表示制御部
100 移動体装置
110 通信部
120 記憶部
121 指示情報記憶部
122 処理情報記憶部
123 条件情報記憶部
130 物理センサ
140 駆動部
150 制御部
151 取得部
152 算出部
153 決定部
154 変換部
155 判定部
156 移動制御部
157 送信部

Claims (10)

  1. 操作者による移動体に対する移動方向の指示を含む指示情報を取得する取得部と、
    前記取得部によって取得された指示情報に含まれる移動方向を、前記移動体の周辺環境に応じて定まる基準位置と前記移動体の相対位置とに基づく相対座標系における移動方向に変換する変換部と、
    前記変換部によって変換された移動方向に基づいて、前記移動体の移動方向を制御する制御部と、
    前記移動体の周辺環境に関する環境情報が所定の条件を満たすか否かを判定する判定部と、
    を備え、
    前記変換部は、
    前記判定部によって環境情報が所定の条件を満たすと判定された場合に、前記基準位置を前記所定の条件に応じた基準位置に変更し、前記取得部によって取得された指示情報に含まれる移動方向を、変更した後の基準位置と前記移動体の相対位置とに基づく相対座標系における移動方向に変換する
    情報処理装置。
  2. 前記変換部は、
    前記取得部によって取得された指示情報に含まれる移動方向を、前記操作者の位置である前記基準位置と前記移動体の相対位置とに基づく相対座標系における移動方向に変換する
    請求項1に記載の情報処理装置。
  3. 前記変換部は、
    前記取得部によって取得された指示情報に含まれる移動方向を、前記移動体による作用対象の位置である前記基準位置と前記移動体の相対位置とに基づく相対座標系における移動方向に変換する
    請求項1に記載の情報処理装置。
  4. 前記変換部は、
    前記取得部によって取得された指示情報に含まれる移動方向を、前記移動体による作用対象の位置から所定の相対位置に位置する前記基準位置と前記移動体の相対位置とに基づく相対座標系における移動方向に変換する
    請求項3に記載の情報処理装置。
  5. 前記変換部は、
    前記取得部によって取得された指示情報に含まれる移動方向を、前記移動体による作用対象の位置から前記移動体の周辺環境に応じて定まる前記所定の相対位置に位置する前記基準位置と前記移動体の相対位置とに基づく相対座標系における移動方向に変換する
    請求項4に記載の情報処理装置。
  6. 前記変換部は、
    前記取得部によって取得された指示情報に含まれる移動方向を、前記移動体による撮影対象の位置である前記基準位置と前記移動体の相対位置とに基づく相対座標系における移動方向に変換する
    請求項3に記載の情報処理装置。
  7. 前記取得部は、
    前記環境情報として、センサによって検知された前記移動体の周辺環境に関するセンサ情報を取得し、
    前記判定部は、
    前記取得部によって取得されたセンサ情報が所定の条件を満たすか否かを判定する
    請求項に記載の情報処理装置。
  8. 前記判定部は、
    前記取得部によって取得されたセンサ情報の変化量が所定の条件を満たすか否かを判定する
    請求項に記載の情報処理装置。
  9. 操作者による移動体に対する移動方向の指示を含む指示情報を取得し、
    取得した指示情報に含まれる移動方向を、前記移動体の周辺環境に応じて定まる基準位置と前記移動体の相対位置とに基づく相対座標系における移動方向に変換し、
    変換した移動方向に基づいて、前記移動体の移動方向を制御
    前記移動体の周辺環境に関する環境情報が所定の条件を満たすか否かを判定し、
    前記環境情報が所定の条件を満たすと判定した場合に、前記基準位置を前記所定の条件に応じた基準位置に変更し、取得した指示情報に含まれる移動方向を、変更した後の基準位置と前記移動体の相対位置とに基づく相対座標系における移動方向に変換する
    処理を実行する情報処理方法。
  10. コンピュータに、
    操作者による移動体に対する移動方向の指示を含む指示情報を取得する取得手順と、
    前記取得手順によって取得された指示情報に含まれる移動方向を、前記移動体の周辺環境に応じて定まる基準位置と前記移動体の相対位置とに基づく相対座標系における移動方向に変換する変換手順と、
    前記変換手順によって変換された移動方向に基づいて、前記移動体の移動方向を制御する制御手順と、
    前記移動体の周辺環境に関する環境情報が所定の条件を満たすか否かを判定する判定手順と、
    を実行させ、
    前記変換手順は、
    前記判定手順によって環境情報が所定の条件を満たすと判定された場合に、前記基準位置を前記所定の条件に応じた基準位置に変更し、前記取得手順によって取得された指示情報に含まれる移動方向を、変更した後の基準位置と前記移動体の相対位置とに基づく相対座標系における移動方向に変換する
    情報処理プログラム。
JP2021545132A 2019-09-11 2020-07-08 情報処理装置、情報処理方法、情報処理プログラム及び制御装置 Active JP7513030B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019165477 2019-09-11
JP2019165477 2019-09-11
PCT/JP2020/026667 WO2021049147A1 (ja) 2019-09-11 2020-07-08 情報処理装置、情報処理方法、情報処理プログラム及び制御装置

Publications (2)

Publication Number Publication Date
JPWO2021049147A1 JPWO2021049147A1 (ja) 2021-03-18
JP7513030B2 true JP7513030B2 (ja) 2024-07-09

Family

ID=74866932

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021545132A Active JP7513030B2 (ja) 2019-09-11 2020-07-08 情報処理装置、情報処理方法、情報処理プログラム及び制御装置

Country Status (2)

Country Link
JP (1) JP7513030B2 (ja)
WO (1) WO2021049147A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024009885A1 (ja) * 2022-07-06 2024-01-11 ソニーグループ株式会社 制御装置、移動体および操縦システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014113864A (ja) 2012-12-07 2014-06-26 Hitachi Solutions Ltd 散布支援装置
WO2018034295A1 (ja) 2016-08-16 2018-02-22 本郷飛行機株式会社 情報処理システム
JP2018110352A (ja) 2017-01-05 2018-07-12 Kddi株式会社 操縦装置、情報処理方法、プログラム、及び飛行システム
JP2019511044A (ja) 2016-02-29 2019-04-18 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 飛行デバイスの動き制御のための方法およびシステム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014113864A (ja) 2012-12-07 2014-06-26 Hitachi Solutions Ltd 散布支援装置
JP2019511044A (ja) 2016-02-29 2019-04-18 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 飛行デバイスの動き制御のための方法およびシステム
WO2018034295A1 (ja) 2016-08-16 2018-02-22 本郷飛行機株式会社 情報処理システム
JP2018110352A (ja) 2017-01-05 2018-07-12 Kddi株式会社 操縦装置、情報処理方法、プログラム、及び飛行システム

Also Published As

Publication number Publication date
JPWO2021049147A1 (ja) 2021-03-18
WO2021049147A1 (ja) 2021-03-18
US20220291679A1 (en) 2022-09-15

Similar Documents

Publication Publication Date Title
US11861892B2 (en) Object tracking by an unmanned aerial vehicle using visual sensors
US11755041B2 (en) Objective-based control of an autonomous unmanned aerial vehicle
US11787543B2 (en) Image space motion planning of an autonomous vehicle
US11829139B2 (en) Applications and skills for an autonomous unmanned aerial vehicle
US20240062663A1 (en) User Interaction With An Autonomous Unmanned Aerial Vehicle
US11644832B2 (en) User interaction paradigms for a flying digital assistant
JP6835392B2 (ja) 撮像装置により取得された画像を制御するためのシステム及び方法
JP6784434B2 (ja) 方法、uav制御プログラム、無人航空機、及び制御システム
US10520943B2 (en) Unmanned aerial image capture platform
KR102190743B1 (ko) 로봇과 인터랙션하는 증강현실 서비스 제공 장치 및 방법
JP7513030B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び制御装置
JP2021073796A (ja) 制御装置、及び画像を取得する方法
US12140948B2 (en) Information processing device, information processing method, information processing program, and control device
JP2023083072A (ja) 方法、システムおよびプログラム
Antoshchuk et al. Autopilot model for returning an unmanned aerial vehicle to its starting point in case of electromagnetic noise.

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240502

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240528

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240610

R150 Certificate of patent or registration of utility model

Ref document number: 7513030

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150