JP2018174441A - 無人航空機制御システム、情報処理装置、無人航空機、それらの制御方法、及びプログラム - Google Patents

Abstract

【課題】撮像装置を備えた無人航空機で撮像される映像の揺れを低減しつつ、被写体を拡大して撮像することを目的とする。【解決手段】撮像装置を備える無人航空機１０１と、無人航空機１０１を制御可能な情報処理装置１０３とが通信可能に接続された無人航空機制御システムであって、撮像装置で被写体を撮像する撮像手段と、撮像手段で撮像する被写体の像を拡大すべく当該撮像装置を制御する第一の拡大制御手段と、撮像手段で撮像する被写体の像を拡大すべく被写体に近づけるよう無人航空機１０１を制御する第二の拡大制御手段と、無人航空機１０１の振動に関るデータを取得する取得手段と、取得手段で取得した振動に関するデータに応じて、第一の拡大制御手段及び第二の拡大制御手段のうち、いずれかの拡大制御手段を用いて被写体の像を拡大するよう指示する指示手段を備えることを特徴とする無人航空機制御システム。【選択図】図５

Description

本発明は、無人航空機を用いて撮像を行う撮像システム、情報処理装置、無人航空機、それらの制御方法、及びプログラムに関する。

従来、人が搭乗していない航空機である無人航空機が存在する。無人航空機は、大型なものから小型なものまで様々であるが、特に近年では遠隔操縦可能な小型の無人航空機（通称：ドローン）が注目されている。

近年では、無人航空機に撮像装置を搭載し、当該撮像装置を備えた無人航空機を飛行させることが行われている。これにより、人が簡単には撮像できない場所や位置、方向からの撮像が可能となり、より自由度の高い写真撮像や映像の録画、配信などが行われている。

特許文献１には、無人航空機により上空から撮像された画像を番組放送のための放送局へ転送する中継システムが開示されている。

特開２０１６−２２５９８３号公報

特許文献１のように無人航空機による撮像が行われる際に、強風などの外部からの影響を受けて無人航空機の機体が揺れてしまうと、撮像している映像にも揺れが生じる。特に望遠撮像により被写体を拡大する場合には、狭い領域を画面全体に出力しているので望遠撮像をしていない場合よりも映像に揺れが発生しやすい。そのため弱い風であっても外部からの影響がある中では望遠撮像を実施しづらく、適切な撮像ができないという問題が生じる。無人航空機による撮像において、無人航空機に対する外部からの影響がある中でも映像を適切に撮像する解決方法については、特許文献１には記載されていない。

そこで、本発明は、撮像装置を備えた無人航空機で撮像される映像の揺れを低減しつつ、被写体を拡大して撮像することを目的とする。

本発明の撮像装置を備える無人航空機と、前記無人航空機を制御可能な情報処理装置とが通信可能に接続された無人航空機制御システムは、前記撮像装置で被写体を撮像する撮像手段と、前記撮像手段で撮像する被写体の像を拡大すべく前記撮像装置を制御する第一の拡大制御手段と、前記撮像手段で撮像する被写体の像を拡大すべく被写体に近づけるよう前記無人航空機を制御する第二の拡大制御手段と、前記無人航空機の振動に関するデータを取得する取得手段と、前記取得手段で取得した振動に関するデータに応じて、前記第一の拡大制御手段及び前記第二の拡大制御手段のうち、いずれかの拡大制御手段を用いて前記被写体の像を拡大するよう指示する指示手段と、を備えることを特徴とする。

本発明によれば、撮像装置を備えた無人航空機で撮像される映像の揺れを低減しつつ、被写体を拡大して撮像可能な効果を奏する。

本発明の実施形態における、撮像システムのシステム構成の一例を示す図である。 無人航空機１０１のハードウェア構成の一例を示す図である。 情報処理装置１０３のハードウェア構成の一例を示す図である。 撮像システムの機能構成の一例を示す図である。 本実施形態における、無人航空機１０１と情報処理装置１０３の制御処理の一連の流れを示すフローチャートである。 角速度センサから出力された各種データの一例を示す図である。 無人航空機１０１の位置データテーブルと無人航空機１０１が備えるカメラ２７１から取得可能な撮像に関する情報を示すデータテーブルの一例である。 無人航空機１０１が被写体を撮像している側面の様子の一例を示す図である。 無人航空機１０１が被写体を撮像している上面の様子の一例を示す図である。

以下、図面を参照して、本発明の実施形態を詳細に説明する。図１は本実施形態における撮像システムのシステム構成の一例を示す図である。

本実施形態の無人航空機制御システムは、無人航空機１０１、中継装置１０２、情報処理装置１０３が、ネットワーク１１０や無線ＬＡＮ（移動体通信網を含む）１２０を介して通信可能に接続されている。尚、図１のシステム構成は一例であり、用途や目的に応じて様々な構成例がある。

無人航空機１０１は、情報処理装置１０３により遠隔操縦などで制御可能な無人の航空機である。無人航空機１０１は、情報処理装置１０３からの指示に応じて、複数の回転翼を動作させて飛行する。無人航空機１０１は、この回転翼の回転数を増減させることで無人航空機１０１の前進・後退・旋回・ホバリング等を行う。無人航空機１０１は、例えば、ドローンである。

また、無人航空機１０１は、情報処理装置１０３や不図示の操作端末等と無線および有線で通信することが可能である。尚、本実施形態では、無人航空機１０１は、情報処理装置１０３と有線および無線のどちらの方式で通信してもよい。

中継装置１０２は、無人航空機１０１に対して電源を供給したり、情報処理装置１０３からの制御信号を伝えたりする機能を有する。

情報処理装置１０３は、無人航空機１０１を制御するための機器である。情報処理装置１０３は、無人航空機１０１が格納された場所と物理的に距離が離れた遠隔地に設置されていてもよいし、例えば同一の敷地内等の物理的な距離はそれほど離れていない近距離に設置されていてもよい。

ネットワーク１１０および無線ＬＡＮ１２０は、本撮像システムの各機器を接続するネットワークである。本撮像システムの各機器は、ネットワークで接続されていても無線ＬＡＮで接続されていても、移動体通信網で接続されていても実施可能なものである。

次に、図２を用いて図１に示した無人航空機１０１のハードウェア構成について説明する。

図２は、無人航空機１０１のハードウェア構成を示す図である。尚、図２に示す無人航空機１０１のハードウェア構成は一例であり、用途や目的に応じて様々な構成例がある。

フライトコントローラ２００は無人航空機１０１の飛行制御を行うためのマイクロコントローラであり、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、周辺バスインタフェース２０４（以下、周辺バスＩ／Ｆ２０４という。）を備えている。

ＣＰＵ２０１は、システムバスに接続される各デバイスを統括的に制御する。また、ＲＯＭ２０２あるいは周辺バスＩ／Ｆ３０４に接続される外部メモリ２８０には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラムが記憶されている。

また外部メモリ２８０（記憶手段）には、無人航空機１０１の実行する機能を実現するために必要な各種プログラム等が記憶されている。ＲＡＭ２０３（記憶手段）は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。

ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０３にロードして、プログラムを実行することで各種動作を実現するものである。

周辺バスＩ／Ｆ２０４は、各種周辺デバイスと接続するためのインタフェースである。周辺バスＩ／Ｆ２０４には、ＰＭＵ２１０、ＳＩＭアダプタ２２０、無線ＬＡＮ用ＢＢユニット２３０、移動体通信用ＢＢユニット２４０、ＧＰＳユニット２５０、センサ２６０、ＧＣＵ２７０、外部メモリ２８０が接続されている。

ＰＭＵ２１０はパワーマネジメントユニットであり、無人航空機１０１が備えるバッテリからＥＳＣ２１１への電源供給を制御することができる。ＥＳＣ２１１は、エレクトロニックスピードコントローラであり、ＥＳＣ２１１に接続されるモータ２１２の回転数を制御することができる。ＥＳＣ２１１によってモータ２１２を回転させることで、モータ２１２に接続されるプロペラ２１３（回転翼）を回転させる。

尚、ＥＳＣ２１１、モータ２１２、プロペラ２１３のセットは、プロペラ２１３の数に応じて複数備えられている。例えば、クアッドコプターであれば、プロペラ２１３の数は４枚であるので、このセットが４つ必要となる。

ＳＩＭアダプタ２２０は、ＳＩＭカード２２１を挿入するためのカードアダプタである。ＳＩＭカード２２１の種類は特に問わない。移動体通信網を提供する通信事業者に応じたＳＩＭカード２２１であればよい。

無線ＬＡＮ用ＢＢユニット２３０は、無線ＬＡＮを介して通信を行うためのベースバンドユニットである。無線ＬＡＮ用ＢＢユニット２３０は、送信したいデータや信号からベースバンド信号を生成して変復調回路へ送出することができる。更に、受信したベースバンド信号から元のデータや信号を得ることができる。

また、無線ＬＡＮ用ＲＦユニット２３１は、無線ＬＡＮを介して通信を行うためのＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）ユニットである。無線ＬＡＮ用ＲＦユニット２３１は、無線ＬＡＮ用ＢＢユニット２３０から送出されたベースバンド信号を無線ＬＡＮの周波数帯に変調してアンテナから送信することができる。更に、無線ＬＡＮの周波数帯の信号を受信すると、これをベースバンド信号に復調することができる。

移動体通信用ＢＢユニット２４０は、移動体通信網を介して通信を行うためのベースバンドユニットである。移動体通信用ＢＢユニット２４０は、送信したいデータや信号からベースバンド信号を生成して変復調回路へ送出することができる。更に、受信したベースバンド信号から元のデータや信号を得ることができる。

また、移動体通信用ＲＦユニット２４１は、移動体通信網を介して通信を行うためのＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）ユニットである。移動体通信用ＲＦユニット２４１は、移動体通信用ＢＢユニット２４０から送出されたベースバンド信号を移動体通信網の周波数帯に変調してアンテナから送信することができる。更に、移動体通信網の周波数帯の信号を受信すると、これをベースバンド信号に復調することができる。

ＧＰＳユニット２５０は、グローバルポジショニングシステムにより、無人航空機１０１の現在位置を取得することの可能な受信機である。ＧＰＳユニット２５０は、ＧＰＳ衛星からの信号を受信し、現在位置を推定することができる。

センサ２６０は、無人航空機１０１の傾き、向き、速度や周りの環境を計測するためのセンサである。無人航空機１０１はセンサ２６０として、ジャイロセンサ、加速度センサ、気圧センサ、磁気センサ、超音波センサ等を備えている。これらのセンサから取得したデータに基づいて、ＣＰＵ２０１が無人航空機１０１の姿勢や移動を制御する。

ＧＣＵ２７０はジンバルコントロールユニットであり、カメラ２７１とジンバル２７２の動作を制御するためのユニットである。無人航空機１０１が飛行することにより機体に振動が発生したり、機体が不安定になったりするため、カメラ２７１で撮像した際にブレが発生しないよう、ジンバル２７２によって無人航空機１０１の振動を吸収し水平を維持する。また、ジンバル２７２によってカメラ２７１の遠隔操作を行うことも可能である。

本発明の無人航空機１０１が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ２８０に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ２８０に格納されている。

図３において、ＣＰＵ３０１はシステムバス３０４に接続される各デバイスやコントローラを統括的に制御する。

また、ＲＯＭ３０２あるいは外部メモリ３１１には、ＣＰＵ３０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）が記憶されている。その他ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。

３０３はＲＡＭで、ＣＰＵ３０１の主メモリ、ワークエリア等として機能する。ＣＰＵ３０１は、処理の実行に際して必要なプログラム等をＲＯＭ３０２あるいは外部メモリ３１１からＲＡＭ３０３にロードして、ロードしたプログラムを実行することで各種動作を実現するものである。

また、３０５は入力コントローラで、キーボード（ＫＢ）３０９等のポインティングデバイス等からの入力を制御する。３０６はビデオコントローラで、ディスプレイ３１０等の表示器への表示を制御する。

３０７はメモリコントローラで、ブートプログラム、各種のアプリケーション、各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）へのアクセスを制御する。その他ＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ３１１へのアクセスを制御する。

３０８は通信Ｉ／Ｆコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。

なお、ＣＰＵ３０１は、例えばＲＡＭ３０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ３１０上での表示を可能としている。また、ＣＰＵ３０１は、ディスプレイ３１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

本発明を実現するための後述する各種プログラムは、外部メモリ３１１に記録されており、必要に応じてＲＡＭ３０３にロードされることによりＣＰＵ３０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる設定ファイル等も外部メモリ３１１に格納されている。

図４は、無人航空機制御システムの機能構成の一例を示す図である。尚、図４に示す無人航空機１０１及び情報処理装置１０３の機能構成は一例であり、用途や目的に応じて様々な構成例がある。

無人航空機１０１は、機能部として、飛行制御部４１１、通信制御部４１２、ＧＰＳ制御部４１３、センサ制御部４１４、撮像制御部４１５、レンズ制御部４１６を備える。

飛行制御部４１１は、無人航空機１０１の飛行を制御するための機能部である。飛行制御部４１１は、無人航空機１０１が備える複数の回転翼を、中継装置１０２や情報処理装置１０３からの指示に応じて回転させ、前進・後退・旋回・ホバリング等の駆動制御を行う。

通信制御部４１２は、情報処理装置１０３との間で通信を行うための機能部である。通信は、無線ＬＡＮを介した通信でも移動体通信網を介した通信であってもよい。通信制御部４１２は、移動体通信網を利用する場合に、移動体通信用ＢＢユニット２４０及び移動体通信用ＲＦユニット２４１を制御し、移動体通信網の周波数帯に変調して信号を送信、また移動体通信網の周波数帯の信号を受信するとこれを復調する。

ＧＰＳ制御部４１３は、無人航空機１０１の現在位置を取得するための機能部である。ＧＰＳ制御部４１３は、ＧＰＳユニット２５０を制御してＧＰＳ衛星からの信号を受信し、無人航空機１０１の現在位置を推定する。

センサ制御部４１４は、センサ２６０で検出した情報を取得するための機能部である。センサ制御部４１４は、無人航空機１０１が備える、ジャイロセンサ、加速度センサ、気圧センサ、磁気センサ、超音波センサ等の各種センサが検出した情報を無人航空機１０１が飛行している際に取得し、飛行制御部４１１の飛行制御に用いる。また、情報処理装置１０３は、ジャイロセンサから取得した無人航空機１０１の揺れを示す情報を用いてズーム制御や無人航空機１０１の飛行制御を行う。

撮像制御部４１５は、ＧＣＵ２７０を介してカメラ２７１に撮像動作を行わせるとともに撮像された、画像データを得るための機能部である。撮像制御部４１５は情報処理装置１０３からの指示に応じてカメラ２７１で撮像を行い、生成された画像データを外部メモリ２８０等の記憶媒体に記憶する。あるいは、撮像制御部４１５は生成された画像データを中継装置１０２や情報処理装置１０３に送信してもよい。

また、撮像制御部４１５は、情報処理装置１０３などからの指示に応じて、ＧＣＵ２７０を介してジンバル２７２の動作制御を行い、カメラ２７１の撮像方向を制御することも可能である。

レンズ制御部４１６は、情報処理装置１０３の撮像装置制御部４３２の要求により、ズーム制御、フォーカス制御、及び露出制御を行うための機能部である。

情報処理装置１０３は、通信制御部４３１、撮像装置制御部４３２、無人航空機制御部４３３、無人航空機情報受信部４３４を備える。

通信制御部４３１は、ネットワーク上で通信可能に接続されている各装置（情報処理装置１０３）と通信を行う機能部である。

撮像装置制御部４３２は、入力デバイス３０９を介して受け付けた撮像動作を通信制御部４３１の機能により無人航空機１０１と通信し、カメラ２７１に撮像動作を行わせるための機能部である（撮像手段）。

無人航空機制御部４３３は、入力デバイス３０９を介して受け付けた命令か、もしくはあらかじめ設定された処理により無人航空機１０１を制御する機能部である。

無人航空機情報受信部４３４は、無人航空機１０１が備えるセンサ制御部４１４やＧＰＳ制御部４１３の機能により取得、または出力される情報を受信する機能部である。

次に、図５を用いて本実施形態の説明を行う。本実施形態では、無人航空機１０１の振動が大きい場合に、ズームレンズのズーム動作による撮像から、無人航空機１０１が被写体に近づく移動動作による撮像に変更することで望遠撮像を可能とする。

ステップＳ５０１では、情報処理装置１０３のＣＰＵ３０１は、キーボード等の入力デバイス３０９から受け付けた無人航空機１０１の撮像開始指示を、通信制御部４３１の機能により無人航空機１０１に送信する。尚、ここで言う無人航空機１０１は飛行中であるものとする。

ステップＳ５０２では、無人航空機１０１のＣＰＵ２０１は、情報処理装置１０３から送られてきた撮像開始指示を受信する。

ステップＳ５０３では、無人航空機１０１のＣＰＵ２０１は、ステップＳ５０２で受信した撮像指示に従って、カメラ２７１による撮像を開始する。

ステップＳ５０４では、無人航空機１０１のＣＰＵ２０１は、ＧＰＳ制御部４１３の機能により取得した位置情報を通信制御部４１２の機能により情報処理装置１０３に送信する。無人航空機１０１は位置情報を１秒単位など所定の間隔ごとに送信するとよい。

ステップＳ５０５では、情報処理装置１０３のＣＰＵ３０１は、無人航空機１０１から送信された位置情報を受信する。受信した位置情報は、情報処理装置１０３の外部メモリ３１１に記憶される。ここで言う位置情報とは図７のデータテーブルである、無人航空機１０１の位置データのことを示す。

ステップＳ５０６では、情報処理装置１０３のＣＰＵ３０１は、無人航空機１０１が飛行中であるか否かを判定する。無人航空機１０１が飛行中であるか否かは、ステップＳ５０５で無人航空機１０１から受信した位置情報に含まれる高度情報の変化などから判定するとよい。無人航空機１０１が飛行中であると判定した場合はステップＳ５０７に処理を進める。無人航空機１０１が飛行中であると判定しなかった場合は、無人航空機１０１が飛行中であると判定するまでステップＳ５０６の処理を繰り返す。

ステップＳ５０７では、情報処理装置１０３のＣＰＵ３０１は、撮像装置制御部４３２の機能により入力デバイス３０９などからレンズのズームイン操作を受け付けたか否かを判定する。レンズのズームイン操作を受け付けたと判定した場合はステップＳ５０８に処理を進める。レンズのズームイン操作を受け付けたと判定しなかった場合は、ズームイン操作を受け付けるまでステップＳ５０７の処理を繰り返す。

ステップＳ５０８では、情報処理装置１０３のＣＰＵ３０１は、ステップＳ５０７でレンズのズームイン操作を受け付けたと判定した場合に、通信制御部４３１の機能により無人航空機１０１にズームイン操作指示を送信する。

ステップＳ５０９では、無人航空機１０１のＣＰＵ２０１は、ステップＳ５０８で情報処理装置１０３から送信されたズームイン操作指示を受信する。

ステップＳ５１０では、無人航空機１０１のＣＰＵ２０１は、ステップＳ５０９で受信したズームイン操作指示に従ってレンズ制御部４１６の機能によりズームイン動作を行う（第一の拡大制御手段）。より具体的には、無人航空機１０１のＣＰＵ２０１は、無人航空機１０１のカメラ２７１が備える複数のレンズの間隔を変化させ、焦点距離を調整することでズームイン動作を行う。ズームイン動作は、被写体の像を撮像しながら行われる。ズームイン動作が行われることにより、被写体の像が拡大されていく映像が、情報処理装置１０３が備えるディスプレイ３１０に表示される。尚、本実施形態の第一と第二の拡大制御手段は、情報処理装置１０３からの制御により実行されるが，無人航空機１０１の制御により拡大制御してもよい。

ステップＳ５１１では、無人航空機１０１のＣＰＵ２０１は、無人航空機１０１が備えるカメラ２７１が撮像する、撮像の状態に関する撮像情報をカメラ２７１から取得する。そして通信制御部４１２の機能により、取得した撮像情報を情報処理装置１０３に送信する。ここで言う撮像情報とは、パン（角度）データ、チルト（角度）データ、ズーム（照合距離）データ、フォーカス（焦点）データのことを含む。撮像情報は定期的に、もしくは所定のタイミングで無人航空機１０１から情報処理装置１０３に送信されるとよい。

ステップＳ５１２では、情報処理装置１０３のＣＰＵ３０１は、無人航空機１０１から撮像情報を取得する。無人航空機１０１から受信した撮像情報は、情報処理装置１０３のＣＰＵ３０１が、情報処理装置１０３が備える外部メモリ３１１に記憶する。

ここで、図７を用いて、情報処理装置１０３が記憶する各種データテーブルについて説明する。図７は、情報処理装置１０３が記憶する各種データテーブルの一例を示す図である。

図７に示す無人航空機１０１の位置データは、無人航空機１０１が飛行している位置を示す位置データである。位置データは、緯度、経度、高度のデータを含む。

図７に示すパン（角度）データは、無人航空機１０１が備えるカメラ２７１の初期位置（基準位置）を０度とし（北方向）、その位置において、カメラ２７１の撮像方向を示したテーブルである。

図７に示すチルト（角度）データは、無人航空機１０１が備えるカメラ２７１のチルトの角度データを示したテーブルである。０度が水平であることを示している。

図７に示すズーム（焦点）データは、無人航空機１０１が備えるカメラ２７１がどれくらいズームしているかのデータ（ｆ値）を示したテーブルである。

図７に示すフォーカス（距離）データは、無人航空機１０１が備えるカメラ２７１で撮像する際にフォーカスがあった被写体までの距離のデータを示したテーブルである。

次に、ステップＳ５１３では、情報処理装置１０３のＣＰＵ３０１は、ステップＳ５１２で取得した撮像情報を用いて被写体の位置を特定する（特定手段）。具体的な算出方法については、後述する。尚、後述する被写体の位置の算出方法は一例であり、被写体の位置が特定できるのであれば、どの情報を用いてどの算出方法から求めてもよい。

ステップＳ５１４では、無人航空機１０１のＣＰＵ２０１は、センサ制御部４１４の機能によりジャイロセンサを用いて角速度情報を取得する（取得手段）。取得した角速度情報を情報処理装置１０３に送信する（送信手段）。

図６では、ジャイロセンサで出力した出力電圧（角速度情報）の一例を示す図である。図６における角速度情報（ａ）と角速度情報（ｂ）はともに、ジャイロセンサで検知した出力電圧を縦軸で表し、横軸は出力電圧を受信した時間の経過を表している。出力電圧は、無人航空機１０１の機体の揺れの度合いを示す。ここで言う無人航空機１０１の機体の揺れとは、カメラ２７１の撮像方向に対して交差する動きのことを示す。つまり、無人航空機１０１の進行方向、もしくは進行方向と逆向きの方向に対する動きは、機体の揺れとしない。角速度情報（ａ）と角速度情報（ｂ）の図は、出力電圧が所定の範囲で変動している様子を示す。本実施形態では、基準電圧は２．０ボルトとして、所定の範囲はプラスマイナス０．５ボルトの範囲（以下、Ｖ１）としているが、この値は一例であり、任意に設定可能である。角速度情報（ａ）は、基準電圧に対する電圧の変動量が比較的小さく、出力電圧がＶ１の範囲にある状態を示す。出力電圧がＶ１の範囲にある場合には、無人航空機１０１の揺れにより、撮像された画像データの画質が実質的に影響を受けない範囲である。図６における角速度情報（ｂ）は、基準電圧に対する電圧の変動量が比較的大きく、出力電圧がＶ１の範囲外にある状態を示す。つまり、無人航空機１０１の揺れにより、撮像された画像データの画質が影響を受ける場合である。角速度情報（ｂ）におけるＴ１の範囲は、出力電圧が基準電圧の２．０ボルトからプラスマイナス０．５ボルト以上の変動があったことを示す。この角速度情報を無人航空機１０１から受信した情報処理装置１０３は、出力電圧がＶ１の範囲を越えた場合か、もしくはＶ１の範囲と重なった場合に無人航空機１０１の動きを制御する指示を無人航空機１０１に送信する。この場合の制御については後述する。電圧の変動は正確に検知するために、なるべく短い周期で角速度情報を取得することが好ましい。尚、本実施形態において、角速度情報を用いて無人航空機１０１の揺れを検知しているが、無人航空機１０１の揺れが検知可能な情報であれば、他の情報を用いてもよい。他の情報の一例として、無人航空機１０１は、ジャイロセンサ以外の、加速度センサ、気圧センサ、磁気センサ、超音波センサ等の各種センサにより検出した揺れを示す情報を用いてもよい。

ステップＳ５１５では、情報処理装置１０３のＣＰＵ３０１は、無人航空機情報受信部４３４の機能により、無人航空機１０１から送信された角速度情報を受信する（受信手段）。

ステップＳ５１６では、情報処理装置１０３のＣＰＵ３０１は、無人航空機１０１の揺れが、受信した角速度情報をもとにあらかじめ定めていた値以上の揺れか否かを判定する。基準値以上の揺れを検知したと判定した場合はステップＳ５１７に処理を進める。基準値以上の揺れを検知したと判定しなかった場合は、基準値以上の揺れを検知するまでステップＳ５１６の処理を繰り返す。

ステップＳ５１７では、情報処理装置１０３のＣＰＵ３０１は、無人航空機１０１が備えるレンズのズームを制御するための指示を無人航空機１０１に送信する。また、情報処理装置１０３のＣＰＵ３０１は、飛行している無人航空機１０１を移動させる指示と、ステップＳ５１３で特定した被写体位置情報を無人航空機１０１に送信する（指示手段）。

ステップＳ５１８では、無人航空機１０１のＣＰＵ２０１は、情報処理装置１０３から送信された、レンズのズームを制御するための指示と、無人航空機１０１を移動させる指示と、被写体位置情報を受信する。

ステップＳ５１９では、無人航空機１０１のＣＰＵ２０１は、ステップＳ５１６で情報処理装置１０３から受信した指示に基づいて、レンズ制御部４１６の機能によりレンズのズームイン動作を制御する。無人航空機１０１の機体が揺れている場合にズームイン動作による拡大制御を行うと、ズームイン動作せずに撮像する場合に比べて大きく映像が揺れてしまう。そのため、ズームイン動作を制限することで映像の大きな揺れの発生を低減する。尚、本実施形態では、指示手段は情報処理装置１０３から無人航空機１０１への指示のことを指すが、無人航空機１０１のＣＰＵ２０１が第一の拡大制御手段と第二の拡大制御手段いずれの制御手段を用いるか指示してもよい。

ステップＳ５２０では、無人航空機１０１のＣＰＵ２０１は、ステップＳ５１８で情報処理装置１０３から受信した移動指示と被写体位置情報に従って、飛行制御部４１１の機能により被写体位置の方向に移動制御しながら飛行する（第二の拡大制御手段）。これにより、ステップＳ５１９でズームイン動作を制限した場合であっても、無人航空機１０１自体を移動させることで被写体を拡大する撮像を行うことが可能となる。さらに、ステップＳ５１９でズーム動作を制限することで、映像の揺れを低減することが可能となる。

ここで、ステップＳ５１３で情報処理装置１０３が被写体の位置を特定する特定方法の例について、図７から図９を用いて説明する。被写体の位置はステップＳ５１２で情報処理装置１０３が受信した、撮像情報に従って特定する。

図８は、無人航空機１０１が被写体を撮像する様子を側面から見た図の一例である。

図９は、無人航空機１０１が被写体を撮像する様子を上面から見た図の一例である。

まず、高度の計算を行う。例えば、図８に示すように、無人航空機１０１のカメラ２７１のチルト角度が５度で、カメラ２７１から被写体までの撮像距離（フォーカス（焦点）データ）が３０ｍであった場合について計算する。無人航空機１０１の高さと被写体の高さとの差であるＺの値は、ｓｉｎ（−５度）×３０ｍを計算する。情報処理装置１０３のＣＰＵ３０１の計算の結果２．６１ｍと算出される。図７のテーブルに示すように、無人航空機１０１の高さは１２．３４ｍである。情報処理装置１０３のＣＰＵ３０１は、この１２．３４ｍから、２．６１ｍを引くことで、被写体の高さ（高度）が９．７３ｍであると算出する。

次に、被写体の緯度の計算方法について説明する。図８に示すように無人航空機１０１のカメラ２７１のチルト角度が５度で、カメラ２７１から被写体までの撮像距離が３０ｍである場合について計算する。その場合はｃｏｓ（５度）×３０ｍを計算する。情報処理装置１０３のＣＰＵ３０１の計算の結果、無人航空機１０１から被写体までの緯度上の直線距離（２８．８９）が算出される。そして、図９に示すようにパンの角度が１５度である場合は、情報処理装置１０３のＣＰＵ３０１は、ｃｏｓ（１５度）×２９．８９ｍを計算する。計算の結果、無人航空機１０１から被写体までの緯度上の直線距離（２８．８８ｍ）が算出される。緯度は、１秒当たり３０．８６ｍであるため、情報処理装置１０３のＣＰＵ３０１は、この２８．８８ｍを３０．８６ｍで割る。その結果、無人航空機１０１からの緯度の差が０．９４秒であることを算出することができる。そして、無人航空機１０１の緯度が３５度３７分３２．１２秒であることから、情報処理装置１０３のＣＰＵ３０１は、３５度３７分３２．１２秒から０．９４秒をひく。この計算方法により被写体の緯度（３５度３７分３３．０６秒）を算出することができる。

次に、被写体の経度の計算方法について説明する。図９に示すようにパンの角度が１５度で、無人航空機１０１から被写体までの上から見た距離が２９．８９ｍである場合を情報処理装置１０３のＣＰＵ３０１が計算する。その場合は２９．８９ｍをｓｉｎ（１５度）で割る。その結果、無人航空機１０１と被写体までの経度上の距離（７．７４ｍ）が算出される。そして、経度は１秒当たり２５．３７ｍである。情報処理装置１０３のＣＰＵ３０１は、７．７４ｍを２５．３７ｍで割ることで、無人航空機１０１と被写体までの経度の差の値（０．３１秒）を算出す。無人航空機１０１の緯度は図７の通り、１３９度４４分２５．４５秒である。情報処理装置１０３のＣＰＵ３０１が、１３９度４４分２５．４５秒から０．３１秒を引くことで、被写体の経度（１３９度４４分２５．１４秒）を算出することができる。

以上の計算により、被写体の高度、緯度、経度を求めることができる。

以上で、本実施形態の処理の一連の流れの説明を終了する。

このように、本実施形態によれば、撮像装置を備えた無人航空機で撮像される映像の揺れを低減しつつ、被写体を拡大して撮像可能な効果を奏する。

本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。

したがって、本発明の機能処理をコンピュータで実現（実行可能と）するために、前記ンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページか_ら暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

尚、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１ 無人航空機
１０２ 中継装置
１０３ 情報処理装置
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２３０ 無線ＬＡＮ用ＢＢユニット
２３１ 無線ＬＡＮ用ＲＦユニット
２４０ 移動体通信用ＢＢユニット
２４１ 移動体通信用ＲＦユニット
２５０ ＧＰＳユニット
２６０ センサ
２７１ カメラ
３０１ ＣＰＵ
３０２ ＲＯＭ
３０３ ＲＡＭ
３０９ 入力デバイス
３１０ ディスプレイ
３１１ 外部メモリ

Claims (14)

1. 撮像装置を備える無人航空機と、前記無人航空機を制御可能な情報処理装置とが通信可能に接続された無人航空機制御システムであって、
   前記撮像装置で被写体を撮像する撮像手段と、
   前記撮像手段で撮像する被写体の像を拡大すべく前記撮像装置を制御する第一の拡大制御手段と、
   前記撮像手段で撮像する被写体の像を拡大すべく被写体に近づけるよう前記無人航空機を制御する第二の拡大制御手段と、
   前記無人航空機の振動に関するデータを取得する取得手段と、
   前記取得手段で取得した振動に関するデータに応じて、前記第一の拡大制御手段及び前記第二の拡大制御手段のうち、いずれかの拡大制御手段を用いて前記被写体の像を拡大するよう指示する指示手段と、
   を備えることを特徴とする無人航空機制御システム。
2. 前記第一の拡大制御手段は、前記撮像装置が備えるレンズの焦点距離を調整することで前記被写体の像を拡大するよう制御することを特徴とする請求項１に記載の無人航空機制御システム。
3. 前記取得手段で取得する前記無人航空機の振動に関するデータは、前記撮像装置の撮像方向に対して交差する方向の揺れの度合いを示すデータであることを特徴とする請求項１または２に記載の無人航空機制御システム。
4. 前記指示手段は、前記取得手段で取得した前記無人航空機の振動に関するデータが、所定の値と同じ、または所定の値より大きい場合に、前記第二の拡大制御手段で前記被写体の像を拡大するよう指示する請求項１乃至３のいずれか１項に記載の無人航空機制御システム。
5. 前記指示手段は、前記第一の拡大制御手段で被写体を拡大して撮像している場合に前記取得手段で所定の値と同じ、または所定の値より大きい振動に関するデータを取得すると、前記第一の拡大制御手段から前記第二の拡大制御手段に変更して被写体を拡大して撮像するよう指示することを特徴とする請求項１乃至４のいずれか１項に記載の無人航空機制御システム。
6. 前記無人航空機は、被写体の位置を特定する特定手段を更に備え、
   前記第二の拡大制御手段は、前記被写体の像を拡大すべく、前記特定手段で特定した被写体の位置に向かって飛行するよう前記無人航空機を制御することを特徴とする請求項１乃至５のいずれか１項に記載の無人航空機制御システム。
7. 撮像装置を備える無人航空機と、前記無人航空機を制御可能な情報処理装置とが通信可能に接続された無人航空機制御システムの制御方法であって、
   前記撮像装置で被写体を撮像する撮像ステップと、
   前記撮像ステップで撮像する被写体の像を拡大すべく前記撮像装置を制御する第一の拡大制御ステップと、
   前記撮像ステップで撮像する被写体の像を拡大すべく被写体に近づけるよう前記無人航空機を制御する第二の拡大制御ステップと、
   前記無人航空機の振動に関するデータを取得する取得ステップと、
   前記取得ステップで取得した振動に関するデータに応じて、前記第一の拡大制御ステップ及び前記第二の拡大制御ステップのうち、いずれかの拡大制御ステップを用いて前記被写体の像を拡大するよう指示する指示ステップと、
   を備えることを特徴とする無人航空機制御システムの制御方法。
8. 撮像装置を備える無人航空機と、前記無人航空機を制御可能な情報処理装置とが通信可能に接続された無人航空機制御システムとして機能させるプログラムであって、
   前記無人航空機制御システムを、
   前記撮像装置で被写体を撮像する撮像手段と、
   前記撮像手段で撮像する被写体の像を拡大すべく前記撮像装置を制御する第一の拡大制御手段と、
   前記撮像手段で撮像する被写体の像を拡大すべく被写体に近づけるよう前記無人航空機を制御する第二の拡大制御手段と、
   前記無人航空機の振動に関するデータを取得する取得手段と、
   前記取得手段で取得した振動に関するデータに応じて、前記第一の拡大制御手段及び前記第二の拡大制御手段のうち、いずれかの拡大制御手段を用いて前記被写体の像を拡大するよう指示する指示手段、
   として機能させること特徴とするプログラム
9. 撮像装置で被写体を撮像する撮像手段を備える無人航空機と通信可能であり、当該無人航空機を制御可能な情報処理装置であって、
   前記撮像手段で撮像する被写体の像を拡大すべく前記撮像装置を制御する第一の拡大制御手段と、
   前記撮像手段で撮像する被写体の像を拡大すべく被写体に近づけるよう前記無人航空機を制御する第二の拡大制御手段と、
   前記無人航空機の振動に関するデータを前記無人航空機から受信する受信手段と、
   前記受信手段で受信した振動に関するデータに応じて、前記第一の拡大制御手段及び前記第二の拡大制御手段のうち、いずれかの拡大制御手段を用いて前記被写体の像を拡大するよう指示する指示手段と、
   を備えることを特徴とする情報処理装置。
10. 撮像装置で被写体を撮像する撮像手段を備える無人航空機と通信可能であり、当該無人航空機を制御可能な情報処理装置の制御方法であって、
    前記撮像手段で撮像する被写体の像を拡大すべく前記撮像装置を制御する第一の拡大制御ステップと、
    前記撮像手段で撮像する被写体の像を拡大すべく被写体に近づけるよう前記無人航空機を制御する第二の拡大制御ステップと、
    前記無人航空機の振動に関するデータを前記無人航空機から受信する受信ステップと、
    前記受信ステップで受信した振動に関するデータに応じて、前記第一の拡大制御ステップ及び前記第二の拡大制御ステップのうち、いずれかの拡大制御ステップを用いて前記被写体の像を拡大するよう指示する指示ステップと、
    を備えることを特徴とする情報処理装置の制御方法。
11. 撮像装置で被写体を撮像する撮像手段を備える無人航空機と通信可能であり、当該無人航空機を制御可能な情報処理装置として機能させるプログラムであって、
    前記情報処理装置を、
    前記撮像手段で撮像する被写体の像を拡大すべく前記撮像装置を制御する第一の拡大制御手段と、
    前記撮像手段で撮像する被写体の像を拡大すべく被写体に近づけるよう前記無人航空機を制御する第二の拡大制御手段と、
    前記無人航空機の振動に関するデータを前記無人航空機から受信する受信手段と、
    前記受信手段で受信した振動に関するデータに応じて、前記第一の拡大制御手段及び前記第二の拡大制御手段のうち、いずれかの拡大制御手段を用いて前記被写体の像を拡大するよう指示する指示手段、
    として機能させることを特徴とするプログラム。
12. 無人航空機を制御可能な情報処理装置と通信可能であり、撮像装置を備える無人航空機であって、
    前記撮像装置で被写体を撮像する撮像手段と、
    前記撮像手段で撮像する被写体の像を拡大すべく前記撮像装置を制御する第一の拡大制御手段と、
    前記撮像手段で撮像する被写体の像を拡大すべく被写体に近づけるよう前記無人航空機を制御する第二の拡大制御手段と、
    前記無人航空機の振動に関するデータを取得する取得手段と、
    前記取得手段で取得した前記データを前記情報処理装置に送信する送信手段と、を備え、
    前記無人航空機は、前記送信手段で送信した前記データに対する前記情報処理装置からの指示に応じて、前記第一の拡大制御手段及び前記第二の拡大制御手段のうち、いずれかの拡大制御手段を用いて前記被写体の像を拡大することを特徴とする無人航空機。
13. 無人航空機を制御可能な情報処理装置と通信可能であり、撮像装置を備える無人航空機の制御方法であって、
    前記撮像装置で被写体を撮像する撮像ステップと、
    前記撮像ステップで撮像する被写体の像を拡大すべく前記撮像装置を制御する第一の拡大制御ステップと、
    前記撮像ステップで撮像する被写体の像を拡大すべく被写体に近づけるよう前記無人航空機を制御する第二の拡大制御ステップと、
    前記無人航空機の振動に関するデータを取得する取得ステップと、
    前記取得ステップで取得した前記データを前記情報処理装置に送信する送信ステップと、を備え、
    前記送信ステップで送信した前記データに対する前記情報処理装置からの指示に応じて、前記第一の拡大制御ステップ及び前記第二の拡大制御ステップのうちいずれかの拡大制御ステップを用いて前記被写体の像を拡大することを特徴とする無人航空機の制御方法。
14. 無人航空機を制御可能な情報処理装置と通信可能であり、撮像装置を備える無人航空機として機能させるプログラムであって、
    前記無人航空機を、
    前記撮像装置で被写体を撮像する撮像手段と、
    前記撮像手段で撮像する被写体の像を拡大すべく前記撮像装置を制御する第一の拡大制御手段と、
    前記撮像手段で撮像する被写体の像を拡大すべく被写体に近づけるよう前記無人航空機を制御する第二の拡大制御手段と、
    前記無人航空機の振動に関するデータを取得する取得手段と、
    前記取得手段で取得した前記データを前記情報処理装置に送信する送信手段として機能させ、
    前記無人航空機を、前記送信手段で送信した前記データに対する前記情報処理装置からの指示に応じて、前記第一の拡大制御手段及び前記第二の拡大制御手段のうち、いずれかの拡大制御手段を用いて前記被写体の像を拡大させるよう機能させることを特徴とするプログラム。
    
    
    
    

Images