[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7452543B2 - 情報処理装置、情報処理方法、プログラム及び情報処理システム - Google Patents

情報処理装置、情報処理方法、プログラム及び情報処理システム Download PDF

Info

Publication number
JP7452543B2
JP7452543B2 JP2021530501A JP2021530501A JP7452543B2 JP 7452543 B2 JP7452543 B2 JP 7452543B2 JP 2021530501 A JP2021530501 A JP 2021530501A JP 2021530501 A JP2021530501 A JP 2021530501A JP 7452543 B2 JP7452543 B2 JP 7452543B2
Authority
JP
Japan
Prior art keywords
moving body
information processing
movable area
mobile object
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021530501A
Other languages
English (en)
Other versions
JPWO2021005876A1 (ja
Inventor
厚 岡森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2021005876A1 publication Critical patent/JPWO2021005876A1/ja
Application granted granted Critical
Publication of JP7452543B2 publication Critical patent/JP7452543B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G05D1/1064Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones specially adapted for avoiding collisions with other aircraft
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/17Terrestrial scenes taken from planes or by drones
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft
    • G08G5/20Arrangements for acquiring, generating, sharing or displaying traffic information
    • G08G5/22Arrangements for acquiring, generating, sharing or displaying traffic information located on the ground
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft
    • G08G5/20Arrangements for acquiring, generating, sharing or displaying traffic information
    • G08G5/26Transmission of traffic-related information between aircraft and ground stations
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft
    • G08G5/30Flight plan management
    • G08G5/34Flight plan management for flight plan modification
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft
    • G08G5/50Navigation or guidance aids
    • G08G5/55Navigation or guidance aids for a single aircraft
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft
    • G08G5/80Anti-collision systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft
    • G08G5/50Navigation or guidance aids
    • G08G5/57Navigation or guidance aids for unmanned aircraft

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)

Description

本技術は、情報処理装置、情報処理方法、プログラム及び情報処理システムに関する。
近年、例えば景色等を空撮する場合や遠隔巡廻警備等をする場合に、複数の移動体で構成されるシステムを活用することが提案されている。このようなシステムにおいては、移動体同士の衝突を回避する技術が採用される(例えば、特許文献1及び2)。
特開2012-131484号公報 特開2007-034714号公報
複数の移動体で構成されるシステムでは、一方の移動体に対して他方の移動体がどのように動くのか不明であったり、他方の移動体の移動速度や移動方向等を把握することが困難であったりすることによって、移動体同士の衝突を回避する上での十分な確度が得られない場合がある。
そこで、本技術では、移動体同士の衝突を回避する確度を向上させることが可能な情報処理装置、情報処理方法、プログラム及び情報処理システムを提案する。
上記課題を解決するため、本技術の一形態に係る情報処理装置は、制御部を有する。
上記制御部は、
第1の移動体により撮像された第2の移動体の撮像画像と、上記第1の移動体の位置情報とに基づいて、上記第1の移動体に対する上記第2の移動体の相対位置を算出し、
上記相対位置に基づき上記第2の移動体の移動可能領域を算出する。
上記制御部は、上記撮像画像を画像処理することにより、上記第2の移動体を識別する識別情報を特定してもよい。
上記制御部は、
上記第2の移動体と上記第1の移動体との間の距離を推定し、
上記推定距離と、上記第1の移動体の位置情報と、上記第1の移動体に対する上記第2の移動体の相対的な方角から、上記第2の移動体の位置情報を算出してもよい。
上記制御部は、上記第2の移動体の位置情報と、上記識別情報に対応づけられた上記第2の移動体の機体性能とに基づき、上記第2の移動体の移動可能領域を算出してもよい。
上記制御部は、上記識別情報に対応づけられた上記第2の移動体の最高速度、最高上昇速度、最高下降速度、最高加速度、最高上昇加速度又は最高下降加速度の少なくとも1つと、上記第2の移動体の位置情報とに基づき、上記第2の移動体の移動可能領域を算出してもよい。
上記制御部は、上記移動可能領域の算出結果を上記第1の移動体に出力し、
上記第1の移動体は、上記移動可能領域と交差しない、上記第1の移動体の移動経路を生成してもよい。
上記制御部は、上記第1の移動体の移動経路が生成されてから一定時間経過後の上記第2の移動体の位置情報に基づいて、上記第2の移動体の移動可能領域を新たに算出してもよい。
上記制御部は、上記第2の移動体の移動可能領域を新たに算出した算出結果を上記第1の移動体に出力し、
上記第1の移動体は、上記新たに算出された移動可能領域と交差しない、上記第1の移動体の移動経路を新たに生成してもよい。
上記第1の移動体又は上記第2の移動体の少なくとも一方は、飛行体であってもよい。
上記情報処理装置は、サーバであってもよい。
上記課題を解決するため、本技術の一形態に係る情報処理装置は、
上記情報処理装置により撮像された移動体の撮像画像と、上記情報処理装置の位置情報とに基づいて、上記情報処理装置に対する上記移動体の相対位置を算出し、
上記相対位置に基づき上記移動体の移動可能領域を算出する。
上記情報処理装置は、移動体又は飛行体であってもよい。
上記課題を解決するため、本技術の一形態に係る情報処理装置の情報処理方法は、
第1の移動体により撮像された第2の移動体の撮像画像と、上記第1の移動体の位置情報とに基づいて、上記第1の移動体に対する上記第2の移動体の相対位置が算出される。
上記相対位置に基づき上記第2の移動体の移動可能領域が算出される。
上記課題を解決するため、本技術の一形態に係るプログラムは、情報処理装置に以下のステップを実行させる。
第1の移動体により撮像された第2の移動体の撮像画像と、上記第1の移動体の位置情報とに基づいて、上記第1の移動体に対する上記第2の移動体の相対位置を算出するステップ。
上記相対位置に基づき上記第2の移動体の移動可能領域を算出するステップ。
上記課題を解決するため、本技術の一形態に係る情報処理システムは、情報処理装置と、第1の移動体とを有する。
上記情報処理装置は、
上記第1の移動体により撮像された第2の移動体の撮像画像と、上記第1の移動体の位置情報とに基づいて、上記第1の移動体に対する上記第2の移動体の相対位置を算出し、
上記相対位置に基づき上記第2の移動体の移動可能領域を算出し、
上記移動可能領域の算出結果を上記第1の移動体に出力する。
上記第1の移動体は、上記移動可能領域と交差しない、上記第1の移動体の移動経路を生成する。
ドローン機体と他機体とを併記して示す図である。 本技術の第1の実施形態の情報処理システムの構成例を示す模式図である。 上記情報処理システムの構成例を示すブロック図である。 ドローン機体の型番と機体性能とが対応づけられたデータテーブルの一例を示す図である。 ドローン機体及び情報処理装置のハードウェア構成例を示すブロック図である 上記情報処理システムの典型的な動作の流れを示すフローチャートである。 カメラの光学系及び撮像素子を簡略的に示す模式図である。 ドローン機体と他機体とを併記して示す図である。 他機体の水平方向及び垂直平面方向の最大移動範囲を示す概念図である。 ドローン機体が他機体の最大移動可能領域と交差しないように飛行する状況を示す図である。 ドローン機体と他機体とを併記して示す図である。 ドローン機体と他機体とを併記して示す図である。 本技術の第2の実施形態のドローン機体の構成例を示すブロック図である。 上記ドローン機体の典型的な動作の流れを示すフローチャートである。
以下、図面を参照しながら、本技術の実施形態を説明する。
<第1の実施形態>
図1は、ドローン機体10と、ドローン機体10とは異なるドローン機体である他機体20とを併記して示す図である。他機体20は、特許請求の範囲の「第2の移動体」の一例である。
以下の実施形態では、ドローン機体10と他機体20との衝突を回避する上で、ドローン機体10が他機体20との衝突を回避する実施形態について説明する。なお、図1に示すX,Y及びZ軸方向は相互に直交する3軸方向であり、以下の図においても共通である。
[情報処理システムの構成]
図2は第1の実施形態の情報処理システム1の構成例を示す模式図であり、図3は情報処理システム1の構成例を示すブロック図である。情報処理システム1は、図2に示すように、ドローン機体10と、情報処理装置30と、コントローラ40とを有する。
ドローン機体10と情報処理装置30は、ネットワークNを介して相互に通信可能に接続されている。ネットワークNは、インターネットや移動体通信網、あるいはローカルエリアネットワーク等であってもよく、これら複数種類のネットワークが組み合わされたネットワークであってもよい。
ドローン機体10とコントローラ40は、無線通信により接続されている。ドローン機体10とコントローラ40とを接続する通信規格は典型的にはLTE(Long Term Evolution)通信であるがこれに限られず、例えばWi-Fi等、その種類は問わない。
(ドローン機体)
ドローン機体10は、図3に示すように、カメラ101と、GPSセンサ102と、気圧センサ103と、加速度センサ104と、カメラ制御部105と、制御部106と、通信部107と、記憶部108とを有する。ドローン機体10は、特許請求の範囲の「第1の移動体」の一例である。
カメラ101は、例えば、CMOS(Complementary Metal Oxide Semiconductor)またはCCD(Charge Coupled Device)などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。カメラ101は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
GPSセンサ102は、GPS衛星から信号を受信し、ドローン機体10の現在の緯度及び経度を測定する。GPSセンサ102は、GPS衛星から取得した信号に基づき算出した、ドローン機体10の緯度及び経度に関するセンサデータを相対位置算出部3021に出力する。
気圧センサ103は、気圧を測定し、これを高度に変換することによってドローン機体10の飛行高度(気圧高度)を計測する圧力センサである。気圧センサ103は、ドローン機体10が受ける風の影響も含めた総圧と、ドローン機体10が受ける大気圧とを検出し、これらの差分に基づいてドローン機体10の飛行速度(対気速度)を計測する。
気圧センサ103は、ドローン機体10の飛行高度及び飛行速度を計測することにより得られたセンサデータを相対位置算出部3021に出力する。気圧センサ103は、例えばピエゾ抵抗方式の圧力センサであってもよく、その種類は問わない。
加速度センサ104は、ドローン機体10の加速度を検出する。加速度センサ104は、ドローン機体10の傾きや振動等といった種々の動きを検出する。加速度センサ104は、ドローン機体10の加速度を検出することにより得られたセンサデータを相対位置算出部3021に出力する。
加速度センサ104は、例えば、圧電型加速度センサ、サーボ型加速度センサ、ひずみ型加速度センサ又は半導体式加速度センサ等であってもよく、その種類は問わない。
カメラ制御部105は、制御部106の制御に基づき、カメラ101の撮影方向、姿勢及び撮影倍率を変更する制御信号を生成し、この信号をカメラ101及び制御部302に出力する。
カメラ制御部105は、例えば3軸ジンバル等のモータが内蔵された雲台(図示略)を介してカメラ101のパン及びチルト方向の可動を制御し、カメラ101の現在の姿勢(例えばパン角及びチルト角)や撮影倍率に関する制御信号を相対位置算出部3021に出力する。
制御部106は、記憶部108に格納されたプログラムに従って、ドローン機体10の動作全般またはその一部を制御する。制御部106は、機能的に、移動経路生成部1061を有する。
移動経路生成部1061は、他機体20の最大移動可能領域Eに基づき、ドローン機体10の中間目標地点であるウェイポイントPを設定し、設定されたウェイポイントPを経由するドローン機体10の移動経路Rを生成する(図10参照)。最大移動可能領域Eは、特許請求の範囲の「移動可能領域」の一例である。
通信部107は、ネットワークNを介して、情報処理装置30と通信を行う。通信部107は、ドローン機体10の通信インターフェースとして機能する。
記憶部108は、GPSセンサ102、気圧センサ103及び加速度センサ104から出力されたセンサデータや、カメラ制御部105から出力された制御信号を記憶する。
(情報処理装置)
情報処理装置30は、図3に示すように、通信部301と、制御部302と、記憶部303とを有する。情報処理装置30は、典型的にはクラウドサーバであるがこれに限られず、PC等の他の任意のコンピュータであってもよい。
あるいは、情報処理装置30は、ドローン機体10に指示を与え、誘導する飛行管制を実行する管制制御装置であってもよい。
通信部301は、ネットワークNを介してドローン機体10と通信を行う。通信部301は、情報処理装置30の通信インターフェースとして機能する。
制御部302は、記憶部303に格納されたプログラムに従って、情報処理装置30の動作全般またはその一部を制御する。制御部302は、特許請求の範囲の「制御部」に相当する。
制御部302は、機能的に、相対位置算出部3021と、移動可能領域算出部3022とを有する。
相対位置算出部3021は、GPSセンサ102及び気圧センサ103から取得したセンサデータから、ドローン機体10の現在位置(位置情報)を算出する。相対位置算出部3021は、カメラ101から取得した撮像画像と、カメラ制御部105から取得した、カメラ101の現在の姿勢に関する制御信号と、ドローン機体10の現在位置とに基づいて、ドローン機体10に対する他機体20の相対位置を算出する。
移動可能領域算出部3022は、他機体20の相対位置と機体性能とに基づき、他機体20の最大移動可能領域Eを算出する。
記憶部303は、複数のドローン機体各々の機種名又は型番と機体性能とが対応づけられたデータを記憶する。機種名又は型番は、特許請求の範囲の「識別情報」の一例である。
記憶部303は、ウェイポイントPの設定間隔(以下、一定時間t)と、複数のドローン機体各々の局所特徴量とを記憶する。図4は、ドローン機体の型番と機体性能とが対応づけられたデータテーブルの一例である。なお、図4に記載の具体的な数値はあくまで一例であり、この数値に限定されないのは勿論である。
(コントローラ)
コントローラ40は、ドローン機体10を操縦する操縦装置であり、表示部41を有する。表示部41は、例えば、LCDまたは有機ELディスプレイなどの表示装置である。
表示部41は、カメラ101により撮影された映像を表示する。これにより、ユーザは、表示部41に表示された映像を見ながらドローン機体10を操作することができる。
(ハードウェア構成)
図5は、ドローン機体10及び情報処理装置30のハードウェア構成例を示すブロック図である。ドローン機体10及び情報処理装置30は、図5に示す情報処理装置100であってもよい。
情報処理装置100は、CPU(Central Processing unit)109、ROM(Read Only Memory)110、およびRAM(Random Access Memory)111を有する。制御部106,302は、CPU109であってもよい。
情報処理装置100は、ホストバス112、ブリッジ113、外部バス114、インターフェース115、入力装置116、出力装置117、ストレージ装置118、ドライブ119、接続ポート120、通信装置121を有する構成であってもよい。
また、情報処理装置100は、必要に応じて、撮像装置122、およびセンサ123を有する構成であってもよい。さらに、情報処理装置100は、CPU109に代えて、またはこれとともに、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)またはGPU(Graphics Processing Unit)などの処理回路を有してもよい。
CPU109は、演算処理装置および制御装置として機能し、ROM110、RAM111、ストレージ装置118、またはリムーバブル記録媒体50に記録された各種プログラムに従って、情報処理装置100内の動作全般またはその一部を制御する。記憶部108,303は、ROM110、RAM111、ストレージ装置118又はリムーバブル記録媒体50であってもよい。
ROM110は、CPU109が使用するプログラムや演算パラメータなどを記憶する。RAM111は、CPU109の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。
CPU109、ROM110、およびRAM111は、CPUバスなどの内部バスにより構成されるホストバス112により相互に接続されている。さらに、ホストバス112は、ブリッジ113を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス114に接続されている。
入力装置116は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置116は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置100の操作に対応した携帯電話などの外部接続機器60であってもよい。
入力装置116は、ユーザが入力した情報に基づいて入力信号を生成してCPU109に出力する入力制御回路を含む。ユーザは、この入力装置116を操作することによって、情報処理装置100に対して各種のデータを入力したり処理動作を指示したりする。
出力装置117は、取得した情報をユーザに対して視覚や聴覚、触覚などの感覚を用いて通知することが可能な装置で構成される。出力装置117は、例えば、LCD(Liquid Crystal Display)または有機EL(Electro-Luminescence)ディスプレイなどの表示装置、スピーカー又はヘッドフォンなどの音声出力装置、もしくはバイブレータなどでありうる。
出力装置117は、情報処理装置100の処理により得られた結果を、テキストもしくは画像などの映像、音声もしくは音響などの音声、またはバイブレーションなどとして出力する。
ストレージ装置118は、情報処理装置100の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置118は、例えば、HDD(Hard Disk Drive)などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置118は、例えばCPU109が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ119は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体50のためのリーダライタであり、情報処理装置100に内蔵、あるいは外付けされる。ドライブ119は、装着されているリムーバブル記録媒体50に記録されている情報を読み出して、RAM111に出力する。また、ドライブ119は、装着されているリムーバブル記録媒体50に記録を書き込む。
接続ポート120は、機器を情報処理装置100に接続するためのポートである。接続ポート120は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどでありうる。
また、接続ポート120は、RS-232Cポート、光オーディオ端子、HDMI(登録商標)(High-Definition Multimedia Interface)ポートなどであってもよい。接続ポート120に外部接続機器60を接続することで、情報処理装置100と外部接続機器60との間で各種のデータが交換されうる。
通信装置121は、例えば、ネットワークNに接続するための通信デバイスなどで構成された通信インターフェースである。通信装置121は、例えば、LAN(Local Area Network)、Bluetooth(登録商標)、Wi-Fi、WUSB(Wireless USB)用またはLTE(Long Term Evolution)用の通信カードなどでありうる。また、通信装置121は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。
通信装置121は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置121に接続されるネットワークNは、無線によって接続されたネットワークであり、例えば、インターネット、赤外線通信、ラジオ波通信、近距離無線通信または衛星通信などを含みうる。通信部107,301は、通信装置121であってもよい。
撮像装置122は、実空間を撮像し、撮像画像を生成する装置である。カメラ101は、撮像装置122に相当する。
センサ123は、例えば、加速度センサ、角速度センサ、地磁気センサ、照度センサ、温度センサ、気圧センサ、または音センサ(マイクロフォン)などの各種のセンサである。
センサ123は、例えば情報処理装置100の筐体の姿勢など、情報処理装置100自体の状態に関する情報や、情報処理装置100の周辺の明るさや騒音など、情報処理装置100の周辺環境に関する情報を取得する。また、センサ123は、GPS(Global Positioning System)信号を受信して装置の緯度、経度および高度を測定するGPS受信機を含んでもよい。GPSセンサ102,気圧センサ103及び加速度センサ104は、センサ123に相当する。
以上、情報処理システム1の構成例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化した部材により構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
[情報処理システムの動作]
図6は、情報処理システム1の典型的な動作の流れを示すフローチャートである。以下、情報処理システム1の動作について、図6を適宜参照しながら説明する。
先ず、ドローン機体10に搭載されたカメラ101が、他機体20が存在する実空間(以下、3次元空間)を撮像する。この際、カメラ101の撮影範囲に他機体20が収まっている場合(ステップS101のYES)、カメラ101は、他機体20が画面いっぱいになるまで倍率を拡大する。
これにより、カメラ101の撮影範囲(視野サイズ)が、他機体20の大きさとほぼ同等となる。カメラ101は、撮影範囲と他機体20の大きさがほぼ同等である状態で他機体20を撮像し(ステップS102)、この撮像画像を相対位置算出部3021に出力する。
カメラ制御部105は、制御部106の制御に基づき、カメラ101の撮影方向、姿勢及び撮影倍率を変更する制御信号を生成し、この信号をカメラ101及び制御部302(相対位置算出部3021)に出力する(ステップS103)。
カメラ制御部105は、例えば3軸ジンバル等のモータが内蔵された雲台(図示略)を介してカメラ101のパン及びチルト方向の可動を制御し、カメラ101の現在の姿勢(例えばパン角及びチルト角)や撮影倍率に関する制御信号を相対位置算出部3021に出力する(ステップS103)。
GPSセンサ102は、GPS衛星から取得した信号に基づき算出した、ドローン機体10の緯度及び経度に関するセンサデータを相対位置算出部3021に出力する(ステップS103)。
加速度センサ104は、ドローン機体10の加速度を検出することにより得られたセンサデータを相対位置算出部3021に出力する。気圧センサ103は、ドローン機体10の飛行高度及び飛行速度を計測することにより得られたセンサデータを相対位置算出部3021に出力する(ステップS103)。
次に、相対位置算出部3021は、カメラ101から取得した撮像画像に対して所定の画像処理を施し、他機体20の機種名又は型番を特定する(ステップS104のYES)。具体的には、相対位置算出部3021は、他機体20が撮像された撮像画像から他機体20の3D形状の局所特徴量を抽出する。
局所特徴量は、例えば、SIFT(scale invariant feature transform)、SURF(speed-up robust features)、RIFF(rotation invariant fast feature)、BREIF(binary robust independent elementary features)、BRISK(binary robust invariant scalable keypoints)、ORB(oriented FAST and rotated BRIEF)又はCARD(compact and real-time descriptors)等により算出された特徴量である。
相対位置算出部3021は、他機体20の3D形状の局所特徴量と、記憶部303に予め記憶されている複数のドローン機体各々の局所特徴量とを比較する特徴量マッチングによって他機体20を検出し、他機体20の機種名又は型番を特定する。
一方、相対位置算出部3021は、他機体20の3D形状から他機体20の機種名又は型番を特定できなかった場合(ステップS104のNO)、後述のステップS108において予め設定されているデフォルト機種の機体性能(最高速度、最高上昇速度、最高下降速度、最高加速度、最高上昇加速度、最高下降加速度)を参照する(ステップS105)。
図7は、カメラ101の光学系及び撮像素子を簡略的に示す模式図である。相対位置算出部3021は、カメラ101の画面いっぱいに他機体20が拡大された時のカメラ101の視野サイズ(撮影範囲)をF、カメラ101のレンズの焦点距離をF、カメラ101の撮像素子のサイズをDとした場合に、他機体20とドローン機体10との間の推定距離Lを例えば下記式(1)により算出する(ステップS106)。
L=(F・F)/D・・・(1)
推定距離Lは、図7に示すように、他機体20にレンズの焦点が合っているときの、レンズの先端から他機体20までの距離であるワークディスタンス(作動距離)に相当する。
続いて、相対位置算出部3021は、GPSセンサ102及び気圧センサ103から取得したセンサデータに基づき、世界座標系を基準としたドローン機体10の3次元座標位置(x,y,z)を算出する。この3次元座標位置は、ドローン機体10の現在位置(位置情報)を示す座標位置である。
次に、カメラ制御部105は、他機体20がカメラ101の撮影範囲に収まっている時のカメラ101(ジンバル)のパン角θ(パン方向へ回転角度)及びチルト角θ(チルト方向への回転角度)が何度に制御されているのか、その制御信号を相対位置算出部3021に出力する。相対位置算出部3021は、カメラ制御部105から取得した制御信号に基づき、ドローン機体10に対する他機体20の相対的な方角を算出する。
続いて、相対位置算出部3021は、ドローン機体10の現在の3次元座標位置(x,y,z)と、ドローン機体10と他機体20との間の推定距離Lと、ドローン機体10に対する他機体20の相対的な方角(パン角θ及びチルト角θ)から、世界座標系を基準とした他機体20の3次元座標位置(x,y,z)を算出する(ステップS107)。
具体的には、ドローン機体10の現在位置を原点位置とする座標系において、パン角、チルト角、ドローン機体10と他機体20との間の推定距離をそれぞれ、θ、θ、Lとした場合に、相対位置算出部3021は、当該座標系における他機体20の3次元座標位置(x´,y´,z´)を例えば下記式(2),(3),(4)により算出する。
´=L*cos(θ)*cos(θ)・・・(2)
´=L*sin(θ)*cos(θ)・・・(3)
´=L*sin(θ)・・・(4)
相対位置算出部3021は、ドローン機体10の現在位置(x,y,z)を用いて3次元座標位置(x´,y´,z´)を世界座標系に座標変換することにより3次元座標位置(x,y,z)を算出する。この3次元座標位置は、他機体20の現在位置(位置情報)を示す座標位置である。図8は、ドローン機体10の現在位置を原点位置とする座標系において、ドローン機体10と他機体20とを併記して示す図である。
次に、相対位置算出部3021は、記憶部303に記憶されているデータテーブル(図4)を参照することによって、先のステップS104において特定した機種名又は型番に対応づけられた他機体20の機体性能(最高速度、最高上昇速度、最高下降速度、最高加速度、最高上昇加速度、最高下降加速度)と一定時間tを記憶部303から読み出す。
次いで、相対位置算出部3021は、先のステップS107において算出した他機体20の3次元座標位置(x,y,z)を中心として、この中心から最高速度を上限として最高加速度で加速した場合の水平方向(XY平面方向)における最大移動範囲E1を算出する。
図9aは、他機体20の水平方向における最大移動範囲E1を示す概念図である。最大移動範囲E1は、最高速度、最高加速度、最大移動距離をそれぞれV,a,Lとした場合に、例えば下記式(5),(6)により算出される。
=V+(a )/2・・・(5)
E1=(Lπ・・・(6)
次に、相対位置算出部3021は、先のステップS107において算出した他機体20の3次元座標位置(x,y,z)を中心として、この中心から最高上昇速度を上限として最高上昇加速度で上昇した場合の垂直平面方向(XZ平面方向)における最大上昇範囲E2を算出する。
図9bは、他機体20の垂直平面方向における最大移動範囲を示す概念図である。最大上昇範囲E2は、最高上昇速度、最高上昇加速度,最大上昇距離をそれぞれVup,aup,Lupとした場合に、例えば下記式(7),(8)により算出される。
up=Vup+(aup )/2・・・(7)
E2={(Lupπ}/2・・・(8)
同様に、相対位置算出部3021は、他機体20の3次元座標位置(x,y,z)を中心として、この中心から最高下降速度を上限として最高下降加速度で下降した場合の垂直平面方向における最大下降範囲E3を算出する。
最大下降範囲E3は、最高下降速度、最高下降加速度,最大下降距離をそれぞれVdown,adown,Ldownとした場合に、例えば下記式(9),(10)により算出される。相対位置算出部3021は、最大移動範囲E1,最大上昇範囲E2及び最大下降範囲E3を算出した算出結果を移動可能領域算出部3022に出力する。
down=Vdown+(adown )/2・・・(9)
E3={(Ldownπ}/2・・・(10)
移動可能領域算出部3022は、最大移動範囲E1、最大上昇範囲E2及び最大下降範囲E3を組み合わせ、これらにより規定される最大移動可能領域Eを算出し、3次元空間における他機体20の最大移動可能領域Eを算出する(ステップS108)。
移動可能領域算出部3022は、最大移動可能領域Eを算出した算出結果を移動経路生成部1061及びコントローラ40に出力する(ステップS109)。
コントローラ40の表示部41は、他機体20の最大移動可能領域Eを表示する。この際、表示部41は、カメラ101により撮影された映像に、最大移動可能領域Eが仮想的に重畳されたオーバーレイ画像を生成し、この画像を表示する。これにより、ユーザは、他機体20の最大移動可能領域Eを可視化された情報として確認することができる。
最大移動可能領域Eは、最大移動距離、最大上昇距離、最大下降距離をそれぞれ、L、Lup、Ldownとした場合に、例えば下記式(11)により算出される円柱として規定されてもよい。
E={Lup+Ldown}・(L・π ・・・(11)
あるいは、最大移動可能領域Eは、図1に示すように、例えば下記式(12)により算出される楕円球体として規定されてもよい。
E=4/3・π・〔(L・{(Lup+Ldown)/2}〕・・・(12)
図10は、ドローン機体10が他機体20の最大移動可能領域Eと交差しないように飛行する状況を示す図である。移動経路生成部1061は、他機体20の最大移動可能領域Eを仮想障害物として、この仮想障害物に含まれないようにウェイポイントP(中間目標地点)を設定し、ウェイポイントPを経由する移動経路Rを生成する(ステップS110)。この際、移動経路生成部1061は、例えばA*(Aスター)やD*(Dスター)等のパス探索アルゴリズムに従って、移動経路Rを生成する。
具体的には、例えば移動経路生成部1061は、最大移動可能領域Eを構成する点群データの各点の3次元座標位置とドローン機体10の機体幅L2に基づき、ウェイポイントPの3次元座標位置(x,y,z)を算出し、この座標位置を経由する移動経路Rを生成する。
この際、移動経路生成部1061は、例えば、移動経路Rがドローン機体10の幅方向中央を通る場合に、最大移動可能領域Eの最外周を構成する点群データの任意点Pの座標位置(x,y,z)と座標位置(x,y,z)との間の距離L3が機体幅L2より大きくなるように、座標位置(x,y,z)を設定する。なお、機体幅L2は、例えば、ドローン機体10の幅方向中央から幅方向端部までの寸法である。
図11は、世界座標系においてドローン機体10と他機体20とを併記して示す図であり、新たな最大移動可能領域E´からウェイポイントP及び移動経路Rを変更する状況を示す図である。
移動可能領域算出部3022は、例えば強風等の何等かの外的要因によってドローン機体10が一定時間t内にウェイポイントPに到達できなかった場合に、一定時間t経過後の他機体20の現在位置(x",y",z")から他機体20の一定時間t内に取り得る最大移動可能領域E´を新たに算出する。そして、移動経路生成部1061が最大移動可能領域E´に基づいてウェイポイントPを変更してもよい。
この場合、移動経路生成部1061は、ドローン機体10の現在の飛行位置からウェイポイントPに向かうまでの移動経路を、変更後のウェイポイントP´の座標位置(x´,y´,z´)を経由する移動経路R´に変更する。これにより、ドローン機体10が一定時間t内にウェイポイントPに到達できない等の不足の事態が発生したとしても、他機体20との衝突を回避することができる。
図12は、世界座標系においてドローン機体10と他機体20とを併記して示す図であり、新たな最大移動可能領域E´から移動経路R´を生成する状況を示す図である。
情報処理システム1は、先のステップS102~ステップS110までの一連の工程を一定時間t毎に繰り返し実行する。これにより、ドローン機体10が経由するウェイポイントPが一定時間tおきに間欠的に設定される。
この際、移動可能領域算出部3022は、図12に示すように、一定時間t経過後の他機体20の現在位置(x",y",z")から他機体20の一定時間t内に取り得る最大移動可能領域E´を新たに算出する。
移動経路生成部1061は、最大移動可能領域E´に基づいて新たなウェイポイントP´を設定し、ウェイポイントP´の座標位置(x´,y´,z´)を経由する移動経路R´を新たに生成する。
さらに、移動可能領域算出部3022は、一定時間t内にドローン機体10がウェイポイントPからウェイポイントP´に到達できなかった場合に、一定時間t経過後の他機体20の現在位置から、他機体20の一定時間t内に取り得る最大移動可能領域E´を新たに算出し、移動経路生成部1061が当該最大移動可能領域E´に基づいてウェイポイントP´を変更してもよい。
この場合、移動経路生成部1061は、現在の自身の飛行位置からウェイポイントP´に向かうまでの移動経路を、変更後のウェイポイントの3次元座標位置を経由する移動経路R´に変更する。
[作用・効果]
情報処理システム1では、他機体20が一定時間t内に最大限移動できる範囲である最大移動可能領域Eを情報処理装置30が算出する。そして、ドローン機体10は、最大移動可能領域Eと交差しない移動経路Rを生成する。
これにより、他機体20が一定時間t内に急上昇や急下降等の予期しない動作を取ったとしてもこの動作が最大移動可能領域Eに収まるので、ドローン機体10が最大移動可能領域Eと交差しない移動経路Rに従って移動すれば、一定時間t内での他機体20との衝突が確実に回避される。
また、情報処理システム1では、移動経路Rが生成されてから一定時間t経過後の他機体20の現在位置に基づいて、情報処理装置30が最大移動可能領域E´を新たに算出する。そして、ドローン機体10は、最大移動可能領域E´と交差しない移動経路R´を新たに生成する。これにより、他機体20がどのような移動経路を取ろうとも、ドローン機体10と他機体20との衝突が回避される。
さらに、情報処理システム1では、ドローン機体10の最大移動可能領域Eを算出する演算処理を情報処理装置30が実行する。即ち、ドローン機体10と他機体20との衝突を回避する上で、ドローン機体10が実行すべき演算処理の一端を情報処理装置30が担う。これにより、ドローン機体10の計算負荷を大幅に減らすことができる。さらに、ドローン機体10の演算処理能力を上げる必要がなくなるのでドローン機体10の設計コストが抑えられる。
<第2の実施形態>
図13は本技術の第2の実施形態のドローン機体10の構成例を示すブロック図である。以下、第1の実施形態と同様の構成については同様の符号を付し、その説明を省略する。
第2の実施形態では、ドローン機体10の演算処理能力そのものが向上した場合や、ドローン機体10が情報処理装置30と通信ができない場合などに、ドローン機体10が他機体20の最大移動可能領域を算出し、この最大移動可能領域と交差しない自身の移動経路を生成する処理を一貫して実行する点で、第1の実施形態と異なる。
[ドローン機体の構成]
第2の実施形態のドローン機体10の制御部106は、図13に示すように、機能的に、移動経路生成部1061、相対位置算出部3021及び移動可能領域算出部3022を有する。
[ドローン機体の動作]
図14は、第2の実施形態のドローン機体10の典型的な動作を示すフローチャートである。当該ドローン機体10は、図14に示すフローチャートに従った動作を実行する。なお、第1の実施形態の情報処理システム1と同様の動作については同様の符号を付し、その説明を省略する。
<変形例>
以上、本技術の実施形態について説明したが、本技術は上述の実施形態に限定されるものではなく種々変更を加え得ることは勿論である。
例えば、上記実施形態では、他機体20の現在位置と機体性能から算出された最大移動可能領域Eに基づいてドローン機体10の移動経路Rが生成されるがこれに限られず、他機体20の機種名又は型番毎に予め計算された他機体20の最大移動可能領域に基づいてドローン機体10の移動経路が生成されてもよい。
また、上記実施形態では、オーバーレイ画像が表示部41に表示されるがこれに限られず、オーバーレイ画像に代えてまたはこれとともに、ユーザに注意喚起を促す情報が表示部41に表示されてもよい。
さらに、上記実施形態では、他機体20の3D形状から、他機体20の機種名又は型番が特定されるがこれに限られず、例えば、他機体20の機体表面のロゴやマーカーなどから他機体20の機種名又は型番が特定されてもよい。
加えて、上記実施形態では、他機体20の最高速度、最高上昇速度、最高下降速度、最高加速度、最高上昇加速度及び最高下降加速度の全てを利用して、最大移動範囲E1、最大上昇範囲E2及び最大下降範囲E3を算出するがこれに限られず、最高速度、最高上昇速度、最高下降速度、最高加速度、最高上昇加速度又は最高下降加速度の少なくとも1つが最大移動範囲E1、最大上昇範囲E2又は最大下降範囲E3の算出に利用されてもよい。
さらに、上記実施形態では、情報処理装置30が他機体20の最大移動可能領域を算出し、ドローン機体10が最大移動可能領域と交差しない、自身の移動経路を生成するがこれに限られない。ドローン機体10は、他機体20の最大移動可能領域に代えて、またはこれとともに、他機体20の一定時間tに取り得る移動可能領域に基づいて、自身の移動経路を生成してもよい。
<補足>
本技術の実施形態は、例えば、上記で説明したような情報処理装置、システム、情報処理装置またはシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
また、上記実施形態では、ドローン機体10及び他機体20が飛行体であることを前提として説明したがこれに限られず、ドローン機体10又は他機体20の少なくとも一方が飛行体であってもよい。さらに、本技術は、飛行体以外の他の移動体(例えばロボット等)に適用されてもよく、その用途は特に限定されない。なお、飛行体には、ドローン機体の他に、航空機、無人飛行機及び無人ヘリコプター等が含まれる。
さらに、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
以上、添付図面を参照しながら本技術の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本技術の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本技術の技術的範囲に属するものと了解される。
なお、本技術は以下のような構成もとることができる。
(1)
第1の移動体により撮像された第2の移動体の撮像画像と、上記第1の移動体の位置情報とに基づいて、上記第1の移動体に対する上記第2の移動体の相対位置を算出し、
上記相対位置に基づき上記第2の移動体の移動可能領域を算出する制御部を備える、情報処理装置。
(2)
上記制御部は、上記撮像画像を画像処理することにより、上記第2の移動体を識別する識別情報を特定する、上記(1)に記載の情報処理装置。
(3)
上記制御部は、
上記第2の移動体と上記第1の移動体との間の距離を推定し、
上記推定距離と、上記第1の移動体の位置情報と、上記第1の移動体に対する上記第2の移動体の相対的な方角から、上記第2の移動体の位置情報を算出する、上記(2)に記載の情報処理装置。
(4)
上記制御部は、上記第2の移動体の位置情報と、上記識別情報に対応づけられた上記第2の移動体の機体性能とに基づき、上記第2の移動体の移動可能領域を算出する、上記(3)に記載の情報処理装置。
(5)
上記制御部は、上記識別情報に対応づけられた、上記第2の移動体の最高速度、最高上昇速度、最高下降速度、最高加速度、最高上昇加速度又は最高下降加速度の少なくとも1つと、上記第2の移動体の位置情報とに基づき、上記第2の移動体の移動可能領域を算出する、上記(3)又は(4)に記載の情報処理装置。
(6)
上記制御部は、上記移動可能領域の算出結果を上記第1の移動体に出力し、
上記第1の移動体は、上記移動可能領域と交差しない、上記第1の移動体の移動経路を生成する、上記(5)に記載の情報処理装置。
(7)
上記制御部は、上記第1の移動体の移動経路が生成されてから一定時間経過後の上記第2の移動体の位置情報に基づいて、上記第2の移動体の移動可能領域を新たに算出する、上記(5)又は(6)に記載の情報処理装置。
(8)
上記制御部は、上記第2の移動体の移動可能領域を新たに算出した算出結果を上記第1の移動体に出力し、
上記第1の移動体は、上記新たに算出された移動可能領域と交差しない、上記第1の移動体の移動経路を新たに生成する、上記(7)に記載の情報処理装置。
(9)
上記第1の移動体又は上記第2の移動体の少なくとも一方は、飛行体である、上記(1)から(8)のいずれか1つに記載の情報処理装置。
(10)
上記情報処理装置は、サーバである、上記(1)から(9)のいずれか1つに記載の情報処理装置。
(11)
情報処理装置により撮像された移動体の撮像画像と、上記情報処理装置の位置情報とに基づいて、上記情報処理装置に対する上記移動体の相対位置を算出し、
上記相対位置に基づき上記移動体の移動可能領域を算出する、上記情報処理装置。
(12)
上記情報処理装置は、移動体又は飛行体である、上記(11)に記載の情報処理装置。
(13)
情報処理装置が、
第1の移動体により撮像された第2の移動体の撮像画像と、上記第1の移動体の位置情報とに基づいて、上記第1の移動体に対する上記第2の移動体の相対位置を算出し、
上記相対位置に基づき上記第2の移動体の移動可能領域を算出する、情報処理方法。
(14)
第1の移動体により撮像された第2の移動体の撮像画像と、上記第1の移動体の位置情報とに基づいて、上記第1の移動体に対する上記第2の移動体の相対位置を算出するステップと、
上記相対位置に基づき上記第2の移動体の移動可能領域を算出するステップと
を情報処理装置に実行させるプログラム。
(15)
第1の移動体により撮像された第2の移動体の撮像画像と、上記第1の移動体の位置情報とに基づいて、上記第1の移動体に対する上記第2の移動体の相対位置を算出し、
上記相対位置に基づき上記第2の移動体の移動可能領域を算出し、
上記移動可能領域の算出結果を上記第1の移動体に出力する、情報処理装置と、
上記移動可能領域と交差しない、上記第1の移動体の移動経路を生成する、上記第1の移動体と
を具備する情報処理システム。
情報処理システム・・・1
ドローン機体・・・10
他機体・・・20
情報処理装置・・・50
コントローラ・・・60
制御部・・・106,302
最大移動可能領域・・・E,E´
移動経路・・・R,R´

Claims (13)

  1. 第1の移動体により撮像された第2の移動体の撮像画像と、前記第1の移動体の位置情報とに基づいて、前記第1の移動体に対する前記第2の移動体の相対位置を算出し、
    前記相対位置に基づき前記第2の移動体の移動可能領域を算出する制御部を備え、
    前記制御部は、前記撮像画像を画像処理することにより、前記第2の移動体を識別する識別情報を特定し、
    前記第2の移動体を識別する識別情報を特定できた場合は、前記第2の移動体の位置情報と、前記識別情報に対応づけられた前記第2の移動体の機体性能とに基づき、前記第2の移動体の移動可能領域を算出し、
    前記第2の移動体を識別する識別情報を特定できなかった場合は、前記第2の移動体の位置情報と、予め設定されたデフォルト機種の機体性能とに基づき、前記第2の移動体の移動可能領域を算出する
    情報処理装置。
  2. 前記制御部は、
    前記第2の移動体と前記第1の移動体との間の距離を推定し、
    前記推定距離と、前記第1の移動体の位置情報と、前記第1の移動体に対する前記第2の移動体の相対的な方角から、前記第2の移動体の位置情報を算出する、請求項に記載の情報処理装置。
  3. 前記制御部は、前記識別情報に対応づけられた、前記第2の移動体の最高速度、最高上昇速度、最高下降速度、最高加速度、最高上昇加速度又は最高下降加速度の少なくとも1つ、又は予め設定されたデフォルト機種の最高速度、最高上昇速度、最高下降速度、最高加速度、最高上昇加速度又は最高下降加速度の少なくとも1つと、前記第2の移動体の位置情報とに基づき、前記第2の移動体の移動可能領域を算出する、請求項に記載の情報処理装置。
  4. 前記制御部は、前記移動可能領域の算出結果を前記第1の移動体に出力し、
    前記第1の移動体は、前記移動可能領域と交差しない、前記第1の移動体の移動経路を生成する、請求項に記載の情報処理装置。
  5. 前記制御部は、前記第1の移動体の移動経路が生成されてから一定時間経過後の前記第2の移動体の位置情報に基づいて、前記第2の移動体の移動可能領域を新たに算出する、請求項に記載の情報処理装置。
  6. 前記制御部は、前記第2の移動体の移動可能領域を新たに算出した算出結果を前記第1の移動体に出力し、
    前記第1の移動体は、前記新たに算出された移動可能領域と交差しない、前記第1の移動体の移動経路を新たに生成する、請求項に記載の情報処理装置。
  7. 前記第1の移動体又は前記第2の移動体の少なくとも一方は、飛行体である、請求項1に記載の情報処理装置。
  8. 前記情報処理装置は、サーバである、請求項1に記載の情報処理装置。
  9. 情報処理装置により撮像された移動体の撮像画像と、前記情報処理装置の位置情報とに基づいて、前記情報処理装置に対する前記移動体の相対位置を算出し、
    前記相対位置に基づき前記移動体の移動可能領域を算出する、前記情報処理装置であって、
    前記撮像画像を画像処理することにより、前記移動体を識別する識別情報を特定し、
    前記移動体を識別する識別情報を特定できた場合は、前記移動体の位置情報と、前記識別情報に対応づけられた前記移動体の機体性能とに基づき、前記移動体の移動可能領域を算出し、
    前記移動体を識別する識別情報を特定できなかった場合は、前記移動体の位置情報と、予め設定されたデフォルト機種の機体性能とに基づき、前記移動体の移動可能領域を算出する、
    情報処理装置
  10. 前記情報処理装置は、移動体又は飛行体である、請求項に記載の情報処理装置。
  11. 情報処理装置が、
    第1の移動体により撮像された第2の移動体の撮像画像と、前記第1の移動体の位置情報とに基づいて、前記第1の移動体に対する前記第2の移動体の相対位置を算出し、
    前記相対位置に基づき前記第2の移動体の移動可能領域を算出する、情報処理方法であって、
    前記撮像画像を画像処理することにより、前記第2の移動体を識別する識別情報を特定し、
    前記第2の移動体を識別する識別情報を特定できた場合は、前記第2の移動体の位置情報と、前記識別情報に対応づけられた前記第2の移動体の機体性能とに基づき、前記第2の移動体の移動可能領域を算出し、
    前記第2の移動体を識別する識別情報を特定できなかった場合は、前記第2の移動体の位置情報と、予め設定されたデフォルト機種の機体性能とに基づき、前記第2の移動体の移動可能領域を算出する
    情報処理方法
  12. 第1の移動体により撮像された第2の移動体の撮像画像と、前記第1の移動体の位置情報とに基づいて、前記第1の移動体に対する前記第2の移動体の相対位置を算出、前記相対位置に基づき前記第2の移動体の移動可能領域を算出するステップ情報処理装置に実行させるプログラムであって、
    前記撮像画像を画像処理することにより、前記第2の移動体を識別する識別情報を特定するステップと、
    前記第2の移動体を識別する識別情報を特定できた場合は、前記第2の移動体の位置情報と、前記識別情報に対応づけられた前記第2の移動体の機体性能とに基づき、前記第2の移動体の移動可能領域を算出するステップと、
    前記第2の移動体を識別する識別情報を特定できなかった場合は、前記第2の移動体の位置情報と、予め設定されたデフォルト機種の機体性能とに基づき、前記第2の移動体の移動可能領域を算出するステップと、を有する
    プログラム
  13. 第1の移動体により撮像された第2の移動体の撮像画像と、前記第1の移動体の位置情報とに基づいて、前記第1の移動体に対する前記第2の移動体の相対位置を算出し、
    前記相対位置に基づき前記第2の移動体の移動可能領域を算出し、
    前記移動可能領域の算出結果を前記第1の移動体に出力する、情報処理装置と、
    前記移動可能領域と交差しない、前記第1の移動体の移動経路を生成する、前記第1の移動体と
    を具備し、
    前記情報処理装置は、前記撮像画像を画像処理することにより、前記第2の移動体を識別する識別情報を特定し、
    前記第2の移動体を識別する識別情報を特定できた場合は、前記第2の移動体の位置情報と、前記識別情報に対応づけられた前記第2の移動体の機体性能とに基づき、前記第2の移動体の移動可能領域を算出し、
    前記第2の移動体を識別する識別情報を特定できなかった場合は、前記第2の移動体の位置情報と、予め設定されたデフォルト機種の機体性能とに基づき、前記第2の移動体の移動可能領域を算出する
    情報処理システム。
JP2021530501A 2019-07-05 2020-05-07 情報処理装置、情報処理方法、プログラム及び情報処理システム Active JP7452543B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019126219 2019-07-05
JP2019126219 2019-07-05
PCT/JP2020/018552 WO2021005876A1 (ja) 2019-07-05 2020-05-07 情報処理装置、情報処理方法、プログラム及び情報処理システム

Publications (2)

Publication Number Publication Date
JPWO2021005876A1 JPWO2021005876A1 (ja) 2021-01-14
JP7452543B2 true JP7452543B2 (ja) 2024-03-19

Family

ID=74113997

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021530501A Active JP7452543B2 (ja) 2019-07-05 2020-05-07 情報処理装置、情報処理方法、プログラム及び情報処理システム

Country Status (5)

Country Link
US (1) US20220309699A1 (ja)
EP (1) EP3995396A4 (ja)
JP (1) JP7452543B2 (ja)
CN (1) CN114072333A (ja)
WO (1) WO2021005876A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI846244B (zh) * 2022-12-27 2024-06-21 緯創資通股份有限公司 軌跡修正系統及其方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000214254A (ja) 1999-01-25 2000-08-04 Mitsubishi Electric Corp 航空機航路監視システム
JP2017539033A (ja) 2014-12-12 2017-12-28 アマゾン テクノロジーズ インコーポレイテッド 光、音、及び/またはマルチスペクトルパターン検出を使用する商用及び一般航空機の回避
WO2019077682A1 (ja) 2017-10-17 2019-04-25 株式会社自律制御システム研究所 無人航空機の飛行計画経路を設定するためのシステム及びプログラム
US20200066171A1 (en) 2018-08-27 2020-02-27 Gulfstream Aerospace Corporation Predictive aircraft flight envelope protection system
US20200103499A1 (en) 2018-10-02 2020-04-02 Fortem Technologies, Inc. System and method for drone and object classification

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4640806B2 (ja) 2005-07-27 2011-03-02 株式会社エヌ・ティ・ティ・データ 衝突危険予測システム、および、プログラム
AT507035B1 (de) * 2008-07-15 2020-07-15 Airbus Defence & Space Gmbh System und verfahren zur kollisionsvermeidung
US9014880B2 (en) 2010-12-21 2015-04-21 General Electric Company Trajectory based sense and avoid
JP6379575B2 (ja) * 2014-03-27 2018-08-29 日本電気株式会社 無人航空機、無人航空機の制御方法、および、管制システム
US10189567B2 (en) * 2016-06-09 2019-01-29 Skycatch, Inc. Identifying camera position of a UAV in flight utilizing real time kinematic satellite navigation
KR101895343B1 (ko) * 2016-12-26 2018-09-05 이선구 충돌 회피용 드론 제어장치
US10122997B1 (en) * 2017-05-03 2018-11-06 Lowe's Companies, Inc. Automated matrix photo framing using range camera input

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000214254A (ja) 1999-01-25 2000-08-04 Mitsubishi Electric Corp 航空機航路監視システム
JP2017539033A (ja) 2014-12-12 2017-12-28 アマゾン テクノロジーズ インコーポレイテッド 光、音、及び/またはマルチスペクトルパターン検出を使用する商用及び一般航空機の回避
WO2019077682A1 (ja) 2017-10-17 2019-04-25 株式会社自律制御システム研究所 無人航空機の飛行計画経路を設定するためのシステム及びプログラム
US20200066171A1 (en) 2018-08-27 2020-02-27 Gulfstream Aerospace Corporation Predictive aircraft flight envelope protection system
US20200103499A1 (en) 2018-10-02 2020-04-02 Fortem Technologies, Inc. System and method for drone and object classification

Also Published As

Publication number Publication date
EP3995396A4 (en) 2022-08-31
JPWO2021005876A1 (ja) 2021-01-14
US20220309699A1 (en) 2022-09-29
EP3995396A1 (en) 2022-05-11
WO2021005876A1 (ja) 2021-01-14
CN114072333A (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN111344644B (zh) 用于基于运动的自动图像捕获的技术
CN108292141B (zh) 用于目标跟踪的方法和系统
CN109416535B (zh) 基于图像识别的飞行器导航技术
JP6943988B2 (ja) 移動可能物体の制御方法、機器およびシステム
JP6583840B1 (ja) 検査システム
JP7501535B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム
US12024284B2 (en) Information processing device, information processing method, and recording medium
US12055396B2 (en) Information processing apparatus, moving body, information processing system, information processing method, and program
WO2023047799A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP2020036163A (ja) 情報処理装置、撮影制御方法、プログラム及び記録媒体
JP7452543B2 (ja) 情報処理装置、情報処理方法、プログラム及び情報処理システム
JP7677147B2 (ja) 移動体、情報処理装置、情報処理方法及びプログラム
US11448884B2 (en) Image based finger tracking plus controller tracking
JP6681101B2 (ja) 検査システム
JP6681102B2 (ja) 検査システム
JP2019114036A (ja) 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
JP2019211486A (ja) 検査システム
JP7452533B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2020119572A1 (zh) 形状推断装置、形状推断方法、程序以及记录介质
CN112313942A (zh) 一种进行图像处理和框架体控制的控制装置
WO2022113482A1 (ja) 情報処理装置、方法およびプログラム
JP2023083072A (ja) 方法、システムおよびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231030

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240219

R151 Written notification of patent or utility model registration

Ref document number: 7452543

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151