JP6791387B2

JP6791387B2 - 飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラム

Info

Publication number: JP6791387B2
Application number: JP2019535473A
Authority: JP
Inventors: 哲夫井下
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2017-08-08
Filing date: 2017-08-08
Publication date: 2020-11-25
Anticipated expiration: 2037-08-08
Also published as: US20230388449A1; US11765315B2; US20210362876A1; WO2019030820A1; JPWO2019030820A1

Description

本発明は、飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラムに関する。

上記技術分野において、特許文献１には、操縦士の技術および手間を省略するため、着陸時に、地上に載置されたターゲットマークに対して飛行体を自動誘導制御する技術が開示されている。

特開2012-71645号公報

しかしながら、上記文献に記載の技術では、飛行高度によっては、ターゲットマークを正確に視認できず飛行体が所望の地点に着陸できない場合があった。

本発明の目的は、上述の課題を解決する技術を提供することにある。

上記目的を達成するため、本発明に係る装置は、
飛行体が離陸地点から離陸上昇中であるか、着陸に向けて下降中であるかを判定する判定手段と、
前記飛行体に取り付けられた撮像手段と、
前記飛行体が離陸上昇中であると判定した場合に、前記撮像手段により撮影された下方画像を記録する記録手段と、
前記飛行体が着陸に向けて下降中であると判定した場合に、離陸上昇中に前記記録手段に記録された下方画像と、前記下降中に撮影された下方画像とを利用して、下降しながら前記離陸地点に対して前記飛行体を誘導する誘導手段と、
を備えた飛行体である。

上記目的を達成するため、本発明に係る他の装置は、
飛行体が離陸地点から離陸上昇中であるか、着陸に向けて下降中であるかを判定する判定手段と、
前記飛行体が離陸上昇中であると判定した場合に、下方の画像を撮影させて、撮影された下方画像を記録する記録手段と、
前記飛行体が着陸に向けて下降中であると判定した場合に、離陸上昇中に前記記録手段に記録された下方画像と、前記下降中に撮影された下方画像とを利用して、下降しながら前記離陸地点に対して前記飛行体を誘導する誘導手段と、
を備えた飛行体制御装置である。

上記目的を達成するため、本発明に係る方法は、
飛行体が離陸地点から離陸上昇中であるか、着陸に向けて下降中であるかを判定する判定ステップと、
前記飛行体が離陸上昇中であると判定した場合に、下方の画像を撮影させて、撮影された下方画像を記録する記録ステップと、
前記飛行体が着陸に向けて下降中であると判定した場合に、離陸上昇中に記録された下方画像と、前記下降中に撮影された下方画像とを利用して、下降しながら前記離陸地点に対して前記飛行体を誘導する誘導ステップと、
を含む飛行体の制御方法である。

上記目的を達成するため、本発明に係るプログラムは、
飛行体が離陸地点から離陸上昇中であるか、着陸に向けて下降中であるかを判定する判定ステップと、
前記飛行体が離陸上昇中であると判定した場合に、下方の画像を撮影させて、撮影された下方画像を記録する記録ステップと、
前記飛行体が着陸に向けて下降中であると判定した場合に、離陸上昇中に記録された下方画像と、前記下降中に撮影された下方画像とを利用して、下降しながら前記離陸地点に対して前記飛行体を誘導する誘導ステップと、
をコンピュータに実行させる飛行体制御プログラムである。

本発明によれば、より確実に飛行体を所望の地点に着陸させることができる。

本発明の第１実施形態に係る飛行体の構成を示すブロック図である。本発明の第２実施形態に係る飛行体の飛行条件を説明する図である。本発明の第２実施形態に係る飛行体の飛行条件を説明する図である。本発明の第２実施形態に係る飛行体の構成を説明する図である。本発明の第２実施形態に係る飛行体の構成を説明する図である。本発明の第２実施形態に係る飛行体の構成を説明する図である。本発明の第２実施形態に係る飛行体の構成を説明する図である。本発明の第２実施形態に係る飛行体の構成を説明する図である。本発明の第２実施形態に係る飛行体の処理の流れを説明するフローチャートである。本発明の第３実施形態に係る飛行体の構成を説明する図である。本発明の第３実施形態に係る飛行体の構成を説明する図である。本発明の第３実施形態に係る飛行体の処理の流れを説明するフローチャートである。本発明の第５実施形態に係る飛行体制御装置の構成を説明する図である。

以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。

［第１実施形態］
本発明の第１実施形態としての飛行体１００について、図１を用いて説明する。図１に示すように、飛行体１００は、上昇下降判定部１０１と下方画像記録部１０２と飛行体誘導部１０３と撮像部１０４とを含む。

上昇下降判定部１０１は、飛行体１００が離陸地点１１０から離陸上昇中であるか、着陸に向けて下降中であるかを判定する。

撮像部１０４は、飛行体１００に取り付けられ、飛行体周囲を撮影する。下方画像記録部１０２は、飛行体１００が離陸上昇中であると判定した場合に、離陸上昇中の飛行体下方領域１２０を撮像部１０４に撮影させて、撮影された下方画像１２１を記録する。

飛行体１００が着陸に向けて下降中であると判定した場合に、離陸上昇中に下方画像記録部１０２に記録された下方画像と、下降中に撮影された下方画像とを利用して、離陸地点に対して飛行体１００を誘導する。

以上の構成によれば、離陸上昇中に撮像された下方画像を用いて、より確実に飛行体を所望の地点に着陸させることができる。

［第２実施形態］
次に本発明の第２実施形態に係る飛行体について、図２乃至図５を用いて説明する。図２Ａは、本実施形態に係る飛行体２００の離発着の様子を説明するための図である。飛行体２００を災害現場に派遣するため、例えばビルの谷間に、車両２１０を停車させ、そのルーフに設けられたターゲットマークから飛行体２００を離発着させる。

着陸時、ＧＰＳ（Global Positioning System）に頼った制御では、数ｍのズレが生じるため、ターゲットマーク上に着陸させることは難しい。さらに、図２Ｂに示すように、高い高度（例えば１００ｍ以上）からは、このようなターゲットマーク２１５がよく見えなかったり、周辺の建物に見られる模様や形状に紛れて、ターゲットマーク２１５の誤認識が生じたりといったことが起こる。

そこで、本実施形態では、ターゲットマークに頼らずに、所望の着陸地点（例えば車両のルーフや、海上の船の上など）に飛行体２００を誘導するための技術を提供する。

図３は、飛行体２００の内部構成を示す図である。飛行体２００の内部には、上昇下降判定部３０１、下方画像データベース３０２、飛行体誘導部３０３、撮像部３０４、位置あわせ部３０５、特徴抽出部３０６、高度取得部３０７を備える。

上昇下降判定部３０１は、飛行体２００が離陸地点３１５から離陸上昇中であるか、着陸に向けて下降中であるかを判定する。

図４に示すように、下方画像データベース３０２は、飛行体２００が離陸上昇中であると判定した場合に、学習登録フェーズに移行し、所定高度において下方の画像を撮影させて、撮影された下方画像を記録する。また、飛行体誘導部３０３は、飛行体２００が着陸に向けて下降中であると判定した場合に、照合フェーズに移行し、下方画像データベース３０２に記録された内容と、下降中に撮影された下方画像４０１、４０２とのマッチングを行ない、下降しながら離陸地点３１５に対して飛行体を誘導する。

撮像部３０４は、離陸上昇時は真下に向いて画像を撮像・学習し、その後に水平移動時は任意の向きで撮像を行なう。着陸時はＧＰＳで飛行体２００を近辺まで帰還させ、着陸時に撮像部３０４を下方に向けて撮像を行ないつつ下降する。

位置あわせ部３０５は、図５に示すとおり、離陸上昇中の飛行体２００の位置ずれ５０１を吸収すべく、下方画像の位置あわせを行なった上で下方画像データベース３０２に記録する。つまり、常に、離陸地点３１５が中央にくるように下方画像を切り取る。

高度取得部３０７は、飛行体２００が飛行中の高度に関する飛行高度情報を取得する。下方画像データベース３０２は、飛行高度情報を、下方画像と対応付けて記録する。また、下方画像データベース３０２は、異なる撮影高度に対応する複数の下方画像を記録する。

特徴抽出部３０６は、下方画像から複数の特徴点を抽出し、抽出された特徴点を学習情報として下方画像データベース３０２に記録する。マッチングのため、画像から特徴点を抽出する技術についてはORB: an efficient alternative to SIFT or SURF(Ethan Rublee Vincent Rabaud Kurt Konolige Gary Bradski)に開示がある。

飛行体誘導部３０３は、下方画像データベース３０２に記録された特徴点と、下降中に撮影された下方画像から抽出された特徴点との比較を行なう。飛行体誘導部３０３は、飛行高度情報に応じて、下降中に撮影された下方画像とのマッチングを行なうべき内容を下方画像データベース３０２から選択する。具体的には、図６に示すとおり、飛行体２００が下降中、高度８０ｍの位置で撮像した画像と比較すべき画像として、下方画像データベース３０２に高度９０ｍ、８０ｍ、７０ｍに対応して記録された３つの下方画像６０１〜６０３（の特徴点）を選択する。

このとき、飛行体誘導部３０３は、高度取得部３０７から高度が取得できる場合には、その高度を参照情報として、特徴点を選択するが、高度が取得できない場合には、取得タイミングが新しい下方画像から古い下方画像へと比較対象を変更する。

飛行体誘導部３０３は、所定高度ごとにマッチングを行ない、高度に応じた移動量の誘導を随時行なう。具体的には、移動量算出部３３１が、移動量データベース３３２を参照して、下方画像データベース３０２に記録された特徴点と、下降中に撮影された下方画像から抽出された特徴点とのずれに基づき、飛行体２００の移動量を導き出す。図７に示すとおり、同じ特徴点のずれが同じ画素数であっても、高度が高くなればなるほど大きく移動させる必要が生じる。なお、着陸する半径５ｍぐらいのところにＧＰＳにて仮想的に目に見えないジオフェンスを設定して、ぶつかった場所で下降する制御にしてもよい。

図８は、本実施形態に係る飛行体２００において行なわれる処理の流れを示すフローチャートである。まず、ステップＳ８０１において、上昇下降判定部３０１が離陸上昇中か否か判定する。次にステップＳ８０３に進み、撮像部３０４が、地上方向の画像を撮影し、同時に高度取得部３０７が高度を取得する。

ステップＳ８０５では、下方画像データベース３０２が撮影された下方画像を記録しつつ、特徴抽出部３０６がその下方画像から特徴点を抽出し、ステップＳ８０７に進むと、さらに下方画像データベース３０２に対し、高度情報に対応させて特徴点位置を記録する。その際、位置あわせ部３０５が、上述した位置あわせ処理を行なう。

次に、ステップＳ８０９では、上昇下降判定部３０１が、飛行体２００の着陸下降を検出したか否か判定する。検出すればステップＳ８１１に進み、下方画像（例えば地上画像や海上画像）を撮影して、下方画像データベース３０２に記録する。ステップＳ８１３において特徴抽出部３０６は、地上画像データベース３０２に記録された地上画像から特徴点を抽出した後、ステップＳ８１５で離陸上昇時に登録された特徴点との比較を行なう。

ステップＳ８１７においては、移動量算出部３３１が、特徴点の位置ずれ量（画素数）から、飛行体２００の移動量を算出する。そして、ステップＳ８１９に進むと、飛行体誘導部３０３は、算出された移動量通りに飛行体２００を移動させる。

最後に着陸８２１が完了したか否かを判定して、未完了であれば、ステップＳ８０９に戻り処理を繰り返す。

以上、本実施形態によれば、ビルの間など、ＧＰＳが使いづらい場所でも離着陸を正確に行なうことができる。本実施形態では、下方画像から特徴点を抽出して、特徴点の比較により、上昇時と下降時の位置ずれを検知したが、本発明はこれに限定されるものではなく、下方画像同士を比較して、上昇時と下降時の位置ずれを検知してもよい。

［第３実施形態］
次に本発明の第３実施形態に係る飛行体９００について、図９を用いて説明する。図９は、本実施形態に係る飛行体９００の内部構成を説明するための図である。本実施形態に係る飛行体９００は、上記第２実施形態と比べると、特徴抽出部９０６において移動体除去部９６１を有する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

移動体除去部９６１は、離陸時に上昇しながら撮影され、地上画像データベース３０２に記録された複数画像（フレーム）を比較し、フレーム間の特徴点の移動ベクトルを算出する。すなわち、飛行体９００の離陸上昇中に撮影された複数の地上画像の中に含まれる物体が、画像中、時間の経過と共に離陸地点を中心として放射状に移動していない場合には、該物体を移動体と判断して特徴点の抽出対象から排除する。

離陸上昇時には、図１０に示すような、離陸地点に向かう上昇移動ベクトル１００１以外のベクトルを持つ特徴点については、車両や人間など、背景として固定されていない移動体として、記録すべき特徴点から排除する。

一方、着陸下降時も、離陸地点から放射状に外側に向かう下降移動ベクトル１００２以外のベクトルを持つ特徴点については、車両や人間など、背景として固定されていない移動体として、比較すべき特徴点から排除する。

図１１は、本実施形態に係る飛行体９００における処理の流れを示すフローチャートである。ステップＳ１１０５およびステップＳ１１１５において、移動体除去処理（ベクトル処理）を行なう以外は、図８のフローチャートと同様であるため、説明を省略する。

以上、本実施形態によれば、移動体を除去することにより、学習およびマッチングを精度良く行なうことができ、ひいては、所定の位置に正確に飛行体を着陸させることができる。

［第４実施形態］
次に本発明の第４実施形態に係る飛行体について説明する。上記実施形態では、離陸上昇時に記録された内容と、下降中に撮影された地上画像とのマッチングを行なったが、本実施形態では、さらに、離陸前にあらかじめ記録手段に記録された事前画像情報を用いて、誘導制御を行なう。具体的には、所定高度以上では、画像全体から抽出した特徴点でマッチングおよび飛行体誘導制御を行ない、所定高度未満ではわかりやすいターゲットマーカー（例えば１５ｍで事前登録したパターン）とのパターンマッチングを行なって誘導する。

マッチング方法を切り替える高さは、カメラの画角とターゲットマーカーの大きさから決定してもよいし、その高さから撮影された画像に含まれる特徴点数から決定してもよい。

［第５実施形態］
次に本発明の第５実施形態に係る飛行体制御装置１２００について、図１２を用いて説明する。図１２は、本実施形態に係る飛行体制御装置１２００（いわゆるプロポ）の内部構成を説明するための図である。

本実施形態に係る飛行体制御装置１２００は、上昇下降判定部１２０１、地上画像データベース１２０２、飛行体誘導部１２０３、画像受信部１２０４、位置あわせ部１２０５、特徴抽出部１２０６、高度取得部１２０７を備える。

上昇下降判定部１２０１は、飛行体１２５０が離陸地点３１５から離陸上昇中であるか、着陸に向けて下降中であるかを判定する。

画像受信部１２０４は、離陸上昇時は真下に向いて画像を撮像・学習し、その後に水平移動時は任意の向きで撮像を行ない画像を受信する。着陸時はＧＰＳで飛行体１２５０を近辺まで帰還させ、着陸時に飛行体１２５０の撮像部を真下に向けて撮像を行ないつつ下降する。

位置あわせ部１２０５は、離陸上昇中の飛行体２００の位置ずれを吸収すべく、地上画像の位置あわせを行なった上で地上画像データベース１２０２に記録する。つまり、常に、離陸地点３１５が中央にくるように地上画像を切り取る。

高度取得部１２０７は、飛行体１２５０が飛行中の高度に関する飛行高度情報を取得する。地上画像データベース１２０２は、飛行高度情報を、地上画像と対応付けて記録する。また、地上画像データベース１２０２は、異なる撮影高度に対応する複数の地上画像を記録する。

特徴抽出部１２０６は、地上画像から複数の特徴点を抽出し、抽出された特徴点を学習情報として地上画像データベース１２０２に記録する。

飛行体誘導部１２０３は、地上画像データベース１２０２に記録された特徴点と、下降中に撮影された地上画像から抽出された特徴点との比較を行なう。飛行体誘導部１２０３は、飛行高度情報に応じて、下降中に撮影された地上画像とのマッチングを行なうべき内容を地上画像データベース１２０２から選択する。飛行体誘導部１２０３は、所定高度ごとにマッチングを行ない、高度に応じた移動量の誘導を随時行なう。

本実施形態によれば、飛行体を所望の地点に正確に着陸させることができる。

［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。

Claims

飛行体が離陸地点から離陸上昇中であるか、着陸に向けて下降中であるかを判定する判定手段と、
前記飛行体に取り付けられた撮像手段と、
前記飛行体が離陸上昇中であると判定した場合に、前記撮像手段により撮影された下方画像を記録する記録手段と、
前記飛行体が着陸に向けて下降中であると判定した場合に、離陸上昇中に前記記録手段に記録された下方画像と、前記下降中に撮影された下方画像とを利用して、下降しながら前記離陸地点に対して前記飛行体を誘導する誘導手段と、
を備えた飛行体。
飛行高度情報を取得する高度取得手段をさらに備え、
前記記録手段は、
前記飛行高度情報を、前記下方画像と対応付けて記録する請求項１に記載の飛行体。
前記記録手段は、異なる撮影高度に対応する複数の下方画像を記録し、
前記誘導手段は、前記飛行高度情報に応じて、前記下降中に撮影された下方画像とともに利用すべき前記下方画像を前記記録手段から選択する請求項２に記載の飛行体。
前記記録手段は、前記下方画像から抽出された特徴点を学習情報として記録し、
前記誘導手段は、前記記録手段に記録された前記特徴点と、前記下降中に撮影された下方画像から抽出された特徴点とを比較して、下降しながら前記離陸地点に対して前記飛行体を誘導する請求項１乃至３にいずれか１項に記載の飛行体。
前記飛行体の離陸上昇中に撮影された前記複数の下方画像の中に含まれる物体が、画像中、時間の経過と共に前記離陸地点を中心として放射状に移動していない場合には、該物体を移動体と判断して前記特徴点の抽出対象から排除する移動体除去手段を含む請求項４に記載の飛行体。
前記誘導手段は、前記飛行体が着陸に向けて下降中であると判定した場合に、離陸上昇中に前記撮像手段により撮像された下方画像と、離陸前にあらかじめ前記記録手段に記録された事前画像情報と、前記下降中に撮影された下方画像とを利用して、前記離陸地点に対して前記飛行体を誘導する請求項１乃至５のいずれか１項に記載の飛行体。
前記誘導手段は、所定高度ごとに前記記録手段に記録された下方画像と前記下降中に撮影された下方画像とを利用して、高度に応じた移動量の誘導を行なう請求項１乃至６のいずれか１項に記載の飛行体。
飛行体が離陸地点から離陸上昇中であるか、着陸に向けて下降中であるかを判定する判定手段と、
前記飛行体が離陸上昇中であると判定した場合に、下方の画像を撮影させて、撮影された下方画像を記録する記録手段と、
前記飛行体が着陸に向けて下降中であると判定した場合に、離陸上昇中に前記記録手段に記録された下方画像と、前記下降中に撮影された下方画像とを利用して、下降しながら前記離陸地点に対して前記飛行体を誘導する誘導手段と、
を備えた飛行体制御装置。
飛行体が離陸地点から離陸上昇中であるか、着陸に向けて下降中であるかを判定する判定ステップと、
前記飛行体が離陸上昇中であると判定した場合に、下方の画像を撮影させて、撮影された下方画像を記録する記録ステップと、
前記飛行体が着陸に向けて下降中であると判定した場合に、離陸上昇中に記録された下方画像と、前記下降中に撮影された下方画像とを利用して、下降しながら前記離陸地点に対して前記飛行体を誘導する誘導ステップと、
を含む飛行体の制御方法。
飛行体が離陸地点から離陸上昇中であるか、着陸に向けて下降中であるかを判定する判定ステップと、
前記飛行体が離陸上昇中であると判定した場合に、下方の画像を撮影させて、撮影された下方画像を記録する記録ステップと、
前記飛行体が着陸に向けて下降中であると判定した場合に、離陸上昇中に記録された下方画像と、前記下降中に撮影された下方画像とを利用して、下降しながら前記離陸地点に対して前記飛行体を誘導する誘導ステップと、
をコンピュータに実行させる飛行体制御プログラム。