[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7534744B1 - Learning model, signal processing device, flying object, and teacher data generation method - Google Patents

Learning model, signal processing device, flying object, and teacher data generation method Download PDF

Info

Publication number
JP7534744B1
JP7534744B1 JP2024000572A JP2024000572A JP7534744B1 JP 7534744 B1 JP7534744 B1 JP 7534744B1 JP 2024000572 A JP2024000572 A JP 2024000572A JP 2024000572 A JP2024000572 A JP 2024000572A JP 7534744 B1 JP7534744 B1 JP 7534744B1
Authority
JP
Japan
Prior art keywords
learning
learning model
synthetic aperture
received signal
aperture radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2024000572A
Other languages
Japanese (ja)
Inventor
成生 金本
勇治 川上
秀輔 安井
洋 横谷
文誉 大串
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SPACE SHIFT, INC.
Original Assignee
SPACE SHIFT, INC.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SPACE SHIFT, INC. filed Critical SPACE SHIFT, INC.
Priority to JP2024000572A priority Critical patent/JP7534744B1/en
Application granted granted Critical
Publication of JP7534744B1 publication Critical patent/JP7534744B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Radar Systems Or Details Thereof (AREA)

Abstract

【課題】RAWデータを用いた地物等の対象物の検出を可能にすること。【解決手段】学習領域に照射された電磁波が反射された反射電磁波に基づく第1合成開口レーダ受信信号を入力とし、第1合成開口レーダ受信信号の特徴量に応じた、学習領域における対象物の第1対象物情報を出力とする教師データを用いて学習され、検出領域に照射された電磁波が反射された反射電磁波に基づく第2合成開口レーダ受信信号の入力に対し、第2合成開口レーダ受信信号の特徴量に応じた、検出領域における対象物の第2対象物情報を出力するよう、コンピュータを機能させる、学習モデル。【選択図】図1[Problem] To enable detection of objects such as ground features using RAW data. [Solution] A learning model that learns using teacher data in which a first synthetic aperture radar reception signal based on electromagnetic waves reflected from an electromagnetic wave irradiated to a learning area is input, and first object information of the object in the learning area corresponding to the feature amount of the first synthetic aperture radar reception signal is output, and causes a computer to function in such a way that in response to an input of a second synthetic aperture radar reception signal based on electromagnetic waves reflected from an electromagnetic wave irradiated to a detection area, second object information of the object in the detection area corresponding to the feature amount of the second synthetic aperture radar reception signal. [Selected Figure] Figure 1

Description

本発明は、学習モデル、信号処理装置、飛翔体、及びプログラムに関する。 The present invention relates to a learning model, a signal processing device, a flying object, and a program.

人工衛星、航空機あるいはドローン装置などの飛翔体を使用した地上及び海上を含む地球表面の状態の観測が広く行われている。人工衛星による観測手法には、合成開口レーダ(SAR:Synthetic Aperture Radar)技術を使用して得られるレーダ画像いわゆるSAR画像を取得して行われる観測手法や光学画像とSAR画像とを取得し、両画像を組み合わせて行われる観測手法などがある。特許文献1には、合成開口レーダによって得られた生データ(RAWデータ)を用いて、SAR画像化の処理を経ずに物体の検出を行うことが記載されている。 Observations of the state of the Earth's surface, including land and sea, are widely carried out using flying objects such as artificial satellites, aircraft, and drones. Satellite observation methods include observation methods that acquire radar images, so-called SAR images, obtained using synthetic aperture radar (SAR) technology, and observation methods that acquire optical images and SAR images and combine the two. Patent Document 1 describes the use of raw data acquired by a synthetic aperture radar to detect objects without undergoing SAR imaging processing.

特開2023-000897号公報JP 2023-000897 A

RAWデータを用いて地物等の対象物の検出をどのように実現するかについては様々な方法が考えられる。そこで、本発明は、RAWデータを用いた地物等の対象物の検出を可能にする、学習モデル、信号処理装置、飛翔体、及び教師データ生成方法を提供することを目的とする。 There are various possible methods for detecting objects such as features using RAW data. Therefore, the present invention aims to provide a learning model, a signal processing device, a flying object, and a training data generation method that enable the detection of objects such as features using RAW data.

本発明の一態様に係る学習モデルは、学習領域に照射された電磁波が反射された反射電磁波に基づく第1合成開口レーダ受信信号の特徴量を入力とし、学習領域における対象物の第1対象物情報を出力とする教師データを用いて学習され、検出領域に照射された電磁波が反射された反射電磁波に基づく第2合成開口レーダ受信信号の特徴量の入力に対し、検出領域における対象物の第2対象物情報を出力するよう、コンピュータを機能させる。 A learning model according to one aspect of the present invention is trained using teacher data in which the input is a feature of a first synthetic aperture radar received signal based on a reflected electromagnetic wave irradiated to a learning area, and the output is first object information of an object in the learning area, and causes a computer to function in such a way that in response to an input of the feature of a second synthetic aperture radar received signal based on a reflected electromagnetic wave irradiated to a detection area, the computer outputs second object information of an object in the detection area.

この態様によれば、合成開口レーダ受信信号の特徴量に基づいて対象物情報が出力されるようにできるので、RAWデータを用いた地物等の対象物の検出が可能となる。 According to this aspect, object information can be output based on the features of the synthetic aperture radar received signal, making it possible to detect objects such as ground features using RAW data.

上記態様において、第1合成開口レーダ受信信号の特徴量は、第1合成開口レーダ受信信号の周波数スペクトルを含み、第2合成開口レーダ受信信号の特徴量は、第2合成開口レーダ受信信号の周波数スペクトルを含んでもよい。 In the above aspect, the feature of the first synthetic aperture radar reception signal may include a frequency spectrum of the first synthetic aperture radar reception signal, and the feature of the second synthetic aperture radar reception signal may include a frequency spectrum of the second synthetic aperture radar reception signal.

上記態様において、第1合成開口レーダ受信信号の特徴量は、第1合成開口レーダ受信信号の信号強度を含み、第2合成開口レーダ受信信号の特徴量は、第2合成開口レーダ受信信号の信号強度を含んでもよい。 In the above aspect, the feature of the first synthetic aperture radar received signal may include the signal strength of the first synthetic aperture radar received signal, and the feature of the second synthetic aperture radar received signal may include the signal strength of the second synthetic aperture radar received signal.

上記態様において、第1合成開口レーダ受信信号の特徴量は、第1合成開口レーダ受信信号の位相を含み、第2合成開口レーダ受信信号の特徴量は、第2合成開口レーダ受信信号の位相を含んでもよい。 In the above aspect, the feature of the first synthetic aperture radar reception signal may include the phase of the first synthetic aperture radar reception signal, and the feature of the second synthetic aperture radar reception signal may include the phase of the second synthetic aperture radar reception signal.

これらの態様によれば、合成開口レーダ受信信号の特徴量として、周波数スペクトル、信号強度、又は位相に基づく対象物情報が出力されるようにできるので、RAWデータを用いた地物等の対象物の検出が可能となる。 According to these aspects, target information based on the frequency spectrum, signal strength, or phase can be output as a feature of the synthetic aperture radar received signal, making it possible to detect targets such as ground features using RAW data.

上記態様において、第1合成開口レーダ受信信号は、学習領域のうち特徴量が所定の条件を満たす一部の領域に対応する信号であり、第1合成開口レーダ受信信号の特徴量は、学習領域における対象物に基づく特徴量を含んでもよい。 In the above aspect, the first synthetic aperture radar received signal is a signal corresponding to a portion of the learning area whose feature quantity satisfies a predetermined condition, and the feature quantity of the first synthetic aperture radar received signal may include a feature quantity based on an object in the learning area.

この態様によれば、学習モデルの教師データとされる受信信号の特徴量の元となる受信信号は、特徴量が所定の条件を満たす領域に対応する信号となるので、学習のために必要とされるデータ量が小さくなる。また、受信信号の特徴量は、学習領域における対象物に基づく特徴量を含んでいるため、データ量を小さくしつつ、RAWデータを用いた地物等の対象物の検出が可能となる。 According to this aspect, the received signal that is the source of the features of the received signal that are used as training data for the learning model is a signal that corresponds to an area where the features satisfy a predetermined condition, so the amount of data required for learning is small. In addition, the features of the received signal include features based on objects in the learning area, so it is possible to detect objects such as ground features using RAW data while reducing the amount of data.

上記態様において、第2合成開口レーダ受信信号は、検出領域のうち特徴量が所定の条件を満たす一部の領域に対応する信号であり、第2合成開口レーダ受信信号の特徴量は、検出領域における対象物に基づく特徴量を含んでもよい。 In the above aspect, the second synthetic aperture radar reception signal is a signal corresponding to a portion of the detection area whose feature quantity satisfies a predetermined condition, and the feature quantity of the second synthetic aperture radar reception signal may include a feature quantity based on an object in the detection area.

この態様によれば、学習モデルを用いた推論の際に使用される第2合成開口レーダ受信信号の特徴量についても、特徴量が所定の条件を満たす一部の領域に対応する信号に基づくものとできるので、推論のために必要とされるデータ量が小さくなる。また、第2合成開口レーダ受信信号の特徴量は、学習領域における対象物に基づく特徴量を含んでいるため、データ量を小さくしつつ、RAWデータを用いた地物等の対象物の検出が可能となる。 According to this aspect, the feature quantities of the second synthetic aperture radar reception signal used in inference using the learning model can also be based on signals corresponding to a portion of the area where the feature quantities satisfy a predetermined condition, so the amount of data required for inference is reduced. In addition, the feature quantities of the second synthetic aperture radar reception signal include feature quantities based on objects in the learning area, so that it is possible to detect objects such as ground features using RAW data while reducing the amount of data.

上記態様において、第1対象物情報は、学習領域における対象物の属性を示す情報を含み、第2対象物情報は、検出領域における対象物の属性を示す情報を含んでもよい。 In the above aspect, the first object information may include information indicating attributes of the object in the learning area, and the second object information may include information indicating attributes of the object in the detection area.

この態様によれば、対象物の属性を示す情報を得ることができるので、対象物についてより詳細な情報を得つつ対象物を検出することが可能となる。 According to this aspect, it is possible to obtain information indicating the attributes of an object, making it possible to detect the object while obtaining more detailed information about the object.

本発明の他の一態様に係る情報処理装置は、学習モデルが記憶された記憶部と、第2合成開口レーダ受信信号を取得する信号取得部と、学習モデルに、第2合成開口レーダ受信信号を入力し、第2対象物情報を推論する推定部と、を備える。 An information processing device according to another aspect of the present invention includes a memory unit in which a learning model is stored, a signal acquisition unit that acquires a second synthetic aperture radar reception signal, and an estimation unit that inputs the second synthetic aperture radar reception signal to the learning model and infers second object information.

本発明の他の一態様に係る飛翔体は、学習モデルが記憶された記憶部と、第2合成開口レーダ受信信号を取得する信号取得部と、学習モデルに、第2合成開口レーダ受信信号を入力し、第2対象物情報を推論する推定部と、第2対象物情報に基づく出力信号を外部に出力する信号出力部と、を備える。 A flying object according to another aspect of the present invention includes a memory unit in which a learning model is stored, a signal acquisition unit that acquires a second synthetic aperture radar reception signal, an estimation unit that inputs the second synthetic aperture radar reception signal to the learning model and infers second object information, and a signal output unit that outputs an output signal based on the second object information to the outside.

本発明の他の一態様に係る教師データ生成方法は、コンピュータが、学習領域に照射された電磁波が反射された反射電磁波に基づく第1合成開口レーダ受信信号を取得することと、第1合成開口レーダ受信信号から、学習領域のうち学習領域における対象物が存在する領域に対応する学習信号の特徴量を抽出することと、対象物の対象物情報を取得することと、学習信号の特徴量と対象物情報との組を、検出領域に照射された電磁波が反射された反射電磁波に基づく第2合成開口レーダ受信信号の特徴量の入力に対し、第2合成開口レーダ受信信号の特徴量に応じた、検出領域における対象物の第2対象物情報を出力するよう、コンピュータを機能させる学習モデルの学習に用いられる教師データとして記憶することと、を含む。 A method for generating teacher data according to another aspect of the present invention includes a computer acquiring a first synthetic aperture radar reception signal based on electromagnetic waves reflected from an electromagnetic wave irradiated to a learning area, extracting from the first synthetic aperture radar reception signal a feature of the learning signal corresponding to an area of the learning area in which an object is present, acquiring object information of the object, and storing a pair of the feature of the learning signal and the object information as teacher data used in learning a learning model that causes the computer to function in such a way that, in response to an input of a feature of a second synthetic aperture radar reception signal based on electromagnetic waves reflected from an electromagnetic wave irradiated to a detection area, second object information of the object in the detection area corresponding to the feature of the second synthetic aperture radar reception signal is output.

本発明によれば、RAWデータを用いた地物等の対象物の検出が可能となる。 The present invention makes it possible to detect objects such as ground features using RAW data.

本実施形態に係る観測システムのブロック図である。FIG. 1 is a block diagram of an observation system according to an embodiment of the present invention. 本実施形態に係る学習モデルを説明する図である。FIG. 2 is a diagram illustrating a learning model according to the present embodiment. 本実施形態に係る学習モデルの学習を説明する図である。FIG. 2 is a diagram illustrating learning of a learning model according to the present embodiment. 本実施形態に係る飛翔体における処理の一例を説明するフローチャートである。11 is a flowchart illustrating an example of processing in a flying object according to the present embodiment. 本実施形態に係る学習モデルを用いた推論の一例を説明する図である。FIG. 2 is a diagram illustrating an example of inference using a learning model according to the present embodiment. 本実施形態に係る飛翔体における処理の他の一例を説明するフローチャートである。10 is a flowchart illustrating another example of processing in the flying object according to the present embodiment. 本実施形態に係る学習モデルを用いた推論の他の一例を説明する図である。FIG. 11 is a diagram illustrating another example of inference using the learning model according to the present embodiment. 本実施形態に係る飛翔体における処理の他の一例を説明するフローチャートである。10 is a flowchart illustrating another example of processing in the flying object according to the present embodiment. 本実施形態に係る学習モデルの他の一例を説明する図である。FIG. 11 is a diagram illustrating another example of a learning model according to the present embodiment. 本実施形態に係る学習モデルの学習に使用される教師データ生成方法の一例を説明する図である。11 is a diagram illustrating an example of a method for generating teacher data used for learning a learning model according to the present embodiment. FIG. 本実施形態に係る飛翔体における処理の他の一例を説明するフローチャートである。10 is a flowchart illustrating another example of processing in the flying object according to the present embodiment. 本実施形態に係る学習モデルを用いた推論の他の一例を説明する図である。FIG. 11 is a diagram illustrating another example of inference using the learning model according to the present embodiment. 観測システムの他の態様を示すブロック図である。FIG. 2 is a block diagram showing another aspect of the observation system.

添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。 A preferred embodiment of the present invention will be described with reference to the attached drawings. In each drawing, the same reference numerals are used to denote the same or similar configurations.

図1には、本実施形態に係る観測システム10のブロック図が示される。観測システム10は、飛翔体100及び観測装置200を備える。飛翔体100は地球上空の空間に配置され、観測装置200は地球に配置される。本実施形態では、飛翔体100が地球表面の検出領域Dをレーダによって観測し、飛翔体100において処理された観測信号Oが観測装置200に送信される。観測信号Oとは、例えば後述される、飛翔体100が取得した受信信号又は当該受信信号に対応し、検出領域Dにおける地物や海上の船舶等の対象物の情報である対象物情報を示す信号である。 Figure 1 shows a block diagram of an observation system 10 according to this embodiment. The observation system 10 includes an air vehicle 100 and an observation device 200. The air vehicle 100 is placed in the space above the Earth, and the observation device 200 is placed on the Earth. In this embodiment, the air vehicle 100 observes a detection area D on the Earth's surface using a radar, and an observation signal O processed by the air vehicle 100 is transmitted to the observation device 200. The observation signal O is, for example, a received signal acquired by the air vehicle 100, which will be described later, or a signal corresponding to the received signal, indicating object information, which is information on objects such as land features and ships at sea in the detection area D.

飛翔体100は、通信アンテナ101、レーダ装置102、及び信号処理装置103を備える。飛翔体100は、受信信号の取得及び処理が可能な人工衛星であり、宇宙空間に配置されて地球の周囲を周回する。なお、飛翔体100は静止衛星であってもよい。また、飛翔体100は、航空機、ヘリコプターもしくはドローン装置などの、地球上空に位置することが可能な装置であればよい。 The flying object 100 includes a communication antenna 101, a radar device 102, and a signal processing device 103. The flying object 100 is an artificial satellite capable of acquiring and processing received signals, and is placed in space and orbits the Earth. Note that the flying object 100 may be a geostationary satellite. The flying object 100 may also be any device capable of being positioned above the Earth, such as an aircraft, helicopter, or drone device.

通信アンテナ101は、飛翔体100が地球上又は宇宙空間に設けられる外部装置との通信を行うためのアンテナである。 The communication antenna 101 is an antenna that enables the flying object 100 to communicate with an external device installed on Earth or in outer space.

レーダ装置102は、例えばマイクロ波である電磁波EM1を、地球表面の検出領域Dに対して照射し、検出領域Dにおける観測対象物によって電磁波EM1が反射された反射電磁波EM2を取得する装置である。レーダ装置102は、例えば、合成開口レーダ(SAR)である。反射電磁波EM2は、レーダ装置102により、飛翔体100で取り扱いが可能な、電磁波の変動に基づく受信信号(RAWデータ)として処理及び記録される。受信信号は、例えば、検出領域Dの各座標に対応する複素数の信号として記録される。レーダ装置102は、通信アンテナ101を通じて、観測信号Oを観測装置200に送信する。 The radar device 102 is a device that irradiates electromagnetic waves EM1, for example microwaves, onto a detection area D on the Earth's surface and acquires reflected electromagnetic waves EM2 that are the electromagnetic waves EM1 reflected by an object to be observed in the detection area D. The radar device 102 is, for example, a synthetic aperture radar (SAR). The reflected electromagnetic waves EM2 are processed and recorded by the radar device 102 as a received signal (RAW data) based on electromagnetic wave fluctuations that can be handled by the flying object 100. The received signal is recorded, for example, as a complex signal corresponding to each coordinate of the detection area D. The radar device 102 transmits an observation signal O to the observation device 200 via the communication antenna 101.

レーダ装置102には、受信信号の取得処理を制御するためのプロセッサ及び当該制御に必要なプログラムが記憶される記憶装置が含まれる。 The radar device 102 includes a processor for controlling the acquisition process of the received signal and a storage device that stores the programs necessary for that control.

信号処理装置103は、レーダ装置102によって取得された受信信号の処理を行う情報処理装置である。信号処理装置103は、メモリ等の記憶領域を有し、記憶領域に格納されたプログラムをプロセッサが実行することによって所定の処理を行うコンピュータである。 The signal processing device 103 is an information processing device that processes the received signal acquired by the radar device 102. The signal processing device 103 is a computer that has a storage area such as a memory, and performs predetermined processing by having a processor execute a program stored in the storage area.

信号処理装置103は、記憶部104及び制御部105を有する。記憶部104は、例えば、RAM等の半導体メモリや、光ディスクである。記憶部104は、信号処理装置103での処理に用いられる各種の情報を記憶する。 The signal processing device 103 has a memory unit 104 and a control unit 105. The memory unit 104 is, for example, a semiconductor memory such as a RAM or an optical disk. The memory unit 104 stores various information used for processing in the signal processing device 103.

記憶部104には、学習モデル1041が記憶される。学習モデル1041は、受信信号を入力とし、受信信号の特徴量に応じた対象物情報を出力するよう学習されたプログラムである。本実施形態における特徴量及び学習モデル1041の詳細については後述する。 The memory unit 104 stores a learning model 1041. The learning model 1041 is a program that is trained to receive a received signal as input and output object information according to the feature quantities of the received signal. Details of the feature quantities and the learning model 1041 in this embodiment will be described later.

制御部105は、信号処理装置103における信号処理を行う。また、制御部105は、飛翔体100を通じた受信信号の処理結果の送信を制御する。制御部105は、信号取得部1051、推定部1052、及び信号出力部1053を有する。 The control unit 105 performs signal processing in the signal processing device 103. The control unit 105 also controls the transmission of the processing results of the received signal through the flying object 100. The control unit 105 has a signal acquisition unit 1051, an estimation unit 1052, and a signal output unit 1053.

信号取得部1051は、レーダ装置102から受信信号を取得する。 The signal acquisition unit 1051 acquires the received signal from the radar device 102.

推定部1052は、信号取得部1051によって取得された受信信号の特徴量を学習モデル1041に入力し、学習モデル1041から対象物情報を取得する。 The estimation unit 1052 inputs the features of the received signal acquired by the signal acquisition unit 1051 into the learning model 1041 and acquires object information from the learning model 1041.

信号出力部1053は、通信アンテナ101を通じて、推定部1052が取得した対象物情報を観測信号Oとして観測装置200に出力する。また、信号出力部1053は、対象物情報と共に、当該対象物情報に対応する受信信号を観測信号Oとして出力してもよい。 The signal output unit 1053 outputs the object information acquired by the estimation unit 1052 to the observation device 200 as an observation signal O via the communication antenna 101. The signal output unit 1053 may also output a received signal corresponding to the object information as the observation signal O together with the object information.

観測装置200は、飛翔体100による検出領域Dの観測を制御する制御信号を飛翔体100に対して送信し、飛翔体100から観測信号Oを取得する装置である。観測装置200は、アンテナ及びアンテナによる通信を制御する制御部を含む通信部201を有する。飛翔体100との情報の送受信は、通信部201を通じて行われる。 The observation device 200 is a device that transmits a control signal to the flying object 100 to control the observation of the detection area D by the flying object 100, and acquires an observation signal O from the flying object 100. The observation device 200 has a communication unit 201 that includes an antenna and a control unit that controls communication by the antenna. Information is transmitted and received with the flying object 100 via the communication unit 201.

信号処理部202は、飛翔体100からの観測信号Oの処理を行う。信号処理部202は、飛翔体100から取得した観測信号Oに基づいて、例えば検出領域Dにおける観測結果を画像によって可視化する処理を行う。 The signal processing unit 202 processes the observation signal O from the flying object 100. Based on the observation signal O acquired from the flying object 100, the signal processing unit 202 performs processing to visualize the observation results in the detection area D, for example, using an image.

図2及び図3を参照して、本実施形態に係る学習モデル1041の学習について説明する。 The learning of the learning model 1041 according to this embodiment will be described with reference to Figures 2 and 3.

図2は、学習モデル1041の学習及び推論を模式的に説明する図である。学習モデル1041は学習用データLD1を教師データとして学習される。学習用データLDには、ある領域(学習領域)への電磁波の照射によって取得された受信信号R0(第1合成開口レーダ受信信号)の特徴量と受信信号R0の特徴量に対応する対象物情報TI0(第1対象物情報)の組が含まれる。学習モデル1041は、受信信号R0の特徴量を入力、対象物情報TI0を出力として学習される。ここで、本実施形態における特徴量とは、受信信号R0の周波数スペクトル、信号強度、又は位相を含む情報である。 Figure 2 is a diagram that illustrates the learning and inference of the learning model 1041. The learning model 1041 learns using the learning data LD1 as teacher data. The learning data LD includes a set of features of a received signal R0 (first synthetic aperture radar received signal) acquired by irradiating an electromagnetic wave to a certain area (learning area) and object information TI0 (first object information) corresponding to the features of the received signal R0. The learning model 1041 learns using the features of the received signal R0 as input and the object information TI0 as output. Here, the features in this embodiment are information including the frequency spectrum, signal intensity, or phase of the received signal R0.

図3には、2つの対象物、対象物O1及び対象物O2が存在する学習領域D0が観測された場合の受信信号R0及び受信信号の特徴量が示される。 Figure 3 shows the received signal R0 and the features of the received signal when a learning area D0 containing two objects, object O1 and object O2, is observed.

学習領域D0が観測されると、受信信号R0が得られる。受信信号R0に基づいて、受信信号R0の特徴量(周波数スペクトル、信号強度、又は位相)が算出される。受信信号R0の特徴量に対する対象物情報TI0の対応付けのために、受信信号R0に対応する対象物情報TI0をユーザが把握可能とするための情報処理が行われる。 When the learning area D0 is observed, a received signal R0 is obtained. Based on the received signal R0, the features of the received signal R0 (frequency spectrum, signal strength, or phase) are calculated. In order to associate the feature of the received signal R0 with the object information TI0, information processing is performed to enable the user to grasp the object information TI0 corresponding to the received signal R0.

例えば、受信信号R0に基づいて受信信号R0の特徴量がグラフとして生成され、ユーザがグラフに基づいて対象物情報TI0を対応付けてもよい。また、受信信号R0と対象物情報TI0とを対応づける学習モデルを用いて、コンピュータによって、受信信号R0の特徴量に対して対象物情報を関連付けてもよい。また、受信信号R0は、SAR画像化のための所定の変換処理を経てユーザが理解可能な情報とされてもよい。あるいは、特徴量に対応付けられる対象物情報TI0は、上述の画像化を経ずに、学習領域D0を観測する他の装置から取得された情報であってもよい。例えば、船舶検知を行う場合、対象物情報TI0は、受信信号R0に対する処理から得られる情報の他に、船舶自動識別装置(AIS)を用いて取得された情報とされてもよい。 For example, the feature quantity of the received signal R0 may be generated as a graph based on the received signal R0, and the user may associate the object information TI0 based on the graph. Also, a computer may associate the object information with the feature quantity of the received signal R0 using a learning model that associates the received signal R0 with the object information TI0. Also, the received signal R0 may be converted into information that is understandable by the user through a predetermined conversion process for SAR imaging. Alternatively, the object information TI0 associated with the feature quantity may be information obtained from another device observing the learning area D0 without undergoing the above-mentioned imaging. For example, when detecting a ship, the object information TI0 may be information obtained from processing the received signal R0, as well as information obtained using an automatic identification system (AIS).

対象物情報TI0は、受信信号R0の特徴量(周波数スペクトル、信号強度、又は位相)に対応付けられた情報となる。受信信号R0は、例えば、I(t)+jQ(t)(jは虚数単位、tは時刻)として、複素数の形式で得られる信号である。受信信号R0を極形式で記載する場合、受信信号R0は、A(t)ejθ(t)と表すことができる。このとき、受信信号R0の信号強度はA(t)であり、受信信号R0の位相はθ(t)であり、検出領域D0に対する各座標に対して、信号強度及び位相が得られる。また、時間領域における受信信号R0に対して、周波数変換を行うことによって、受信信号R0の周波数スペクトルX(ω)を得ることができる。 The object information TI0 is information associated with the feature quantity (frequency spectrum, signal strength, or phase) of the received signal R0. The received signal R0 is a signal obtained in the form of a complex number, for example, as I(t)+jQ(t) (j is an imaginary unit, t is time). When the received signal R0 is described in polar form, the received signal R0 can be expressed as A(t)e jθ(t) . At this time, the signal strength of the received signal R0 is A(t), the phase of the received signal R0 is θ(t), and the signal strength and phase are obtained for each coordinate relative to the detection area D0. In addition, the frequency spectrum X(ω) of the received signal R0 can be obtained by performing a frequency conversion on the received signal R0 in the time domain.

学習モデル1041は、受信信号R0から算出されるこれらの特徴量の入力に対して対象物情報を出力するように学習される。例えば、学習モデル1041は、受信信号R0に基づく特徴量が制御部105において演算され、特徴量を入力として、対象物情報を出力するように学習される。なお、学習モデル1041は、受信信号R0そのものが入力され、対象物情報を出力するように学習されてもよく、この場合学習モデル1041において受信信号R0に基づく特徴量の演算が行われるようにしてもよい。 The learning model 1041 is trained to output object information in response to the input of these feature quantities calculated from the received signal R0. For example, the learning model 1041 is trained to output object information using the feature quantities as input, with the feature quantities calculated in the control unit 105 based on the received signal R0. Note that the learning model 1041 may also be trained to receive the received signal R0 itself as input and output object information, in which case the learning model 1041 may be configured to calculate the feature quantities based on the received signal R0.

対象物情報T10は、学習領域の各ピクセルにおいて対象物が存在する確率の確率分布の情報を含む。また、対象物情報TI0は、例えば、学習領域に存在する対象物の数や対象物の属性の情報を含む。対象物の属性とは、例えば、対象物の種類(建築物、移動体、地形、自然物等)、対象物の大きさ、対象物の移動速度等、対象物に関する種々の情報である。対象物の属性の情報は、対象物がある属性の項目に分類される確率であってもよい。 The object information T10 includes information on the probability distribution of the probability that an object exists in each pixel of the learning area. The object information TI0 also includes, for example, information on the number of objects present in the learning area and the attributes of the objects. The attributes of an object include various information related to the object, such as the type of object (building, moving object, terrain, natural object, etc.), the size of the object, the moving speed of the object, etc. The information on the attributes of an object may be the probability that the object is classified into a certain attribute item.

学習モデル1041は、上述のように用意された学習用データLD1を用いて、例えば、ニューラルネットワークを使用する方法等の一般的な機械学習の方法によって学習される。なお、学習モデル1041は、単一の学習モデルとして構成されてもよく、複数の学習モデルを組み合わせた学習モデルとして構成されてもよい。 The learning model 1041 is trained by a general machine learning method, such as a method using a neural network, using the learning data LD1 prepared as described above. Note that the learning model 1041 may be configured as a single learning model, or may be configured as a learning model that combines multiple learning models.

飛翔体100によって検出領域に照射された電磁波に基づき、飛翔体100が取得した受信信号R1(第2合成開口レーダ受信信号)の特徴量が、学習済みの学習モデル1041に対して入力されると、学習モデル1041は対象物情報TI1(第2対象物情報)を出力する。 When the features of the received signal R1 (second synthetic aperture radar received signal) acquired by the flying object 100 based on the electromagnetic waves irradiated to the detection area by the flying object 100 are input to the trained learning model 1041, the learning model 1041 outputs the object information TI1 (second object information).

図4及び図5を参照して、飛翔体100による処理について説明する。図4及び図5における処理では、学習モデル1041が出力する対象物情報は、受信信号R1の周波数スペクトルに応じた情報であるとする。 The processing by the flying object 100 will be described with reference to Figures 4 and 5. In the processing in Figures 4 and 5, the target information output by the learning model 1041 is assumed to be information corresponding to the frequency spectrum of the received signal R1.

図4のステップS401において、レーダ装置102は、検出領域D1に対して電磁波EM1を照射する。照射のタイミングは、観測装置200によって制御されたタイミングでもよく、飛翔体100において予め指定されたタイミングであってもよい。図5に示されるように、検出領域D1には対象物O3,O4,O5が存在する。 In step S401 of FIG. 4, the radar device 102 irradiates the detection area D1 with electromagnetic waves EM1. The timing of irradiation may be controlled by the observation device 200, or may be a timing designated in advance by the flying object 100. As shown in FIG. 5, objects O3, O4, and O5 are present in the detection area D1.

ステップS402において、信号取得部1051は、レーダ装置102が検出した反射電磁波EM2に基づく受信信号R1をレーダ装置102から取得する。 In step S402, the signal acquisition unit 1051 acquires a received signal R1 from the radar device 102 based on the reflected electromagnetic wave EM2 detected by the radar device 102.

ステップS403において、推定部1052は、受信信号R1の特徴量を学習モデル1041に入力する。このとき、推定部1052は受信信号R1の特徴量(例えば、周波数スペクトル)を算出する演算を行う。 In step S403, the estimation unit 1052 inputs the feature quantity of the received signal R1 to the learning model 1041. At this time, the estimation unit 1052 performs a calculation to calculate the feature quantity (e.g., frequency spectrum) of the received signal R1.

ステップS404において、推定部1052は、受信信号R1の特徴量に応じた対象物情報MD1を学習モデル1041から取得する。対象物情報は、一例として、図5に示される対象物情報TI1a及び対象物情報TI1bを含む。対象物情報TI1aは、検出領域における対象物が存在する確率の確率分布である。対象物情報TI1aでは、対象物が存在する確率が高い領域として、領域A1,A2,A3が示されている。対象物情報TI1bは、検出領域における対象物の数や対象物の属性である。この例では、3つの対象物が検出されている。 In step S404, the estimation unit 1052 acquires object information MD1 corresponding to the feature amount of the received signal R1 from the learning model 1041. The object information includes, as an example, object information TI1a and object information TI1b shown in FIG. 5. Object information TI1a is a probability distribution of the probability that an object exists in the detection area. In object information TI1a, areas A1, A2, and A3 are shown as areas where the object is highly likely to exist. Object information TI1b is the number of objects in the detection area and the attributes of the objects. In this example, three objects are detected.

ステップS405において、信号出力部1053は、対象物情報TI1に基づく出力信号を観測装置200に出力する。対象物情報TI1に基づく出力信号は、対象物情報TI1の全部や、対象物情報TI1の一部を伝達する信号である。あるいは、出力信号は、対象物情報に対して情報処理がなされた結果の情報を伝達する信号であってもよい。 In step S405, the signal output unit 1053 outputs an output signal based on the object information TI1 to the observation device 200. The output signal based on the object information TI1 is a signal that transmits all of the object information TI1 or a part of the object information TI1. Alternatively, the output signal may be a signal that transmits information resulting from information processing performed on the object information.

図6及び図7を参照して、学習モデル1041が出力する対象物情報が、受信信号R1の信号強度に基づく情報である場合について説明する。図7に示されるように、検出領域D1には対象物O3,O4,O5が図5の場合と同様に存在するものとする。 With reference to Figures 6 and 7, a case will be described in which the object information output by the learning model 1041 is information based on the signal strength of the received signal R1. As shown in Figure 7, it is assumed that objects O3, O4, and O5 are present in the detection area D1, as in the case of Figure 5.

図6のステップS601において、レーダ装置102は、検出領域D1に対して電磁波EM1を照射する。ステップS602において、信号取得部1051は、レーダ装置102が検出した反射電磁波EM2に基づく受信信号R1をレーダ装置102から取得する。 In step S601 of FIG. 6, the radar device 102 irradiates the detection area D1 with electromagnetic waves EM1. In step S602, the signal acquisition unit 1051 acquires from the radar device 102 a received signal R1 based on the reflected electromagnetic waves EM2 detected by the radar device 102.

ステップS603において、推定部1052は、受信信号R1の特徴量として、受信信号R1の信号強度を学習モデル1041に入力する。受信信号R1は、例えば、図7に示される画像IG1を生成可能な信号である。画像IG1は、信号に応じて様々な形態をとり得る。一例として、画像IG1では、各対象物が検出されて得られる信号強度がプロットされ、信号強度の変化が模様のように示されてもよい。推定部1052は、受信信号R1の信号強度に応じた対象物情報MD1を学習モデル1041から取得する。対象物情報は、一例として、図7に示されるように、図5で示された場合と同様に、対象物情報TI1a及び対象物情報TI1bを含む。 In step S603, the estimation unit 1052 inputs the signal strength of the received signal R1 to the learning model 1041 as a feature of the received signal R1. The received signal R1 is, for example, a signal capable of generating the image IG1 shown in FIG. 7. The image IG1 can take various forms depending on the signal. As an example, in the image IG1, the signal strength obtained by detecting each object may be plotted, and the change in the signal strength may be shown as a pattern. The estimation unit 1052 acquires object information MD1 corresponding to the signal strength of the received signal R1 from the learning model 1041. As an example, the object information includes object information TI1a and object information TI1b as shown in FIG. 7, similar to the case shown in FIG. 5.

ステップS605において、信号出力部1053は、対象物情報TI1に基づく出力信号を観測装置200に出力する。 In step S605, the signal output unit 1053 outputs an output signal based on the object information TI1 to the observation device 200.

図8を参照して、学習モデル1041が出力する対象物情報が、受信信号R1の位相に基づく情報である場合について説明する。図8のステップS801において、レーダ装置102は、検出領域D1に対して電磁波EM1を照射する。ステップS602において、信号取得部1051は、レーダ装置102が検出した反射電磁波EM2に基づく受信信号R1をレーダ装置102から取得する。ステップS803において、推定部1052は、受信信号R1の位相を学習モデル1041に入力する。ステップS804において、推定部1052は、受信信号R1の信号強度に応じた対象物情報MD1を学習モデル1041から取得する。ステップS605において、信号出力部1053は、対象物情報TI1に基づく出力信号を観測装置200に出力する。 Referring to FIG. 8, a case will be described where the object information output by the learning model 1041 is information based on the phase of the received signal R1. In step S801 of FIG. 8, the radar device 102 irradiates the detection area D1 with electromagnetic waves EM1. In step S602, the signal acquisition unit 1051 acquires the received signal R1 based on the reflected electromagnetic waves EM2 detected by the radar device 102 from the radar device 102. In step S803, the estimation unit 1052 inputs the phase of the received signal R1 to the learning model 1041. In step S804, the estimation unit 1052 acquires the object information MD1 corresponding to the signal strength of the received signal R1 from the learning model 1041. In step S605, the signal output unit 1053 outputs an output signal based on the object information TI1 to the observation device 200.

ここまでに説明したように、学習モデル1041を用いて対象物情報を推論する場合、学習モデル1041は受信信号の特徴量としての周波数スペクトル、強度、又は位相を入力として対象物情報を出力するように学習され、学習モデル1041を用いた推論が行われる。このとき、受信信号の特徴量として、周波数スペクトル、強度、又は位相を組み合わせることが可能である。 As described above, when inferring object information using the learning model 1041, the learning model 1041 is trained to output object information using the frequency spectrum, intensity, or phase as the feature of the received signal as input, and inference is performed using the learning model 1041. At this time, it is possible to combine the frequency spectrum, intensity, or phase as the feature of the received signal.

図9及び図10を参照して、本実施形態に係る学習モデル1041の他の学習方法について説明する。 With reference to Figures 9 and 10, we will explain other learning methods for the learning model 1041 according to this embodiment.

図9は、学習モデル1041の学習及び推論を模式的に説明する図である。学習モデル1041は学習用データLD2を教師データとして学習される。学習用データLD2には、ある領域(学習領域)への電磁波の照射によって取得された受信信号R0(第1合成開口レーダ受信信号)のうち、特徴量が所定の条件を満たす受信信号R0aと、受信信号R0aの特徴量に応じた対象物情報TI0(第1対象物情報)との組が含まれる。 Figure 9 is a diagram that illustrates the learning and inference of the learning model 1041. The learning model 1041 learns using the learning data LD2 as teacher data. The learning data LD2 includes a pair of a received signal R0a, the feature of which satisfies a predetermined condition, among received signals R0 (first synthetic aperture radar received signals) acquired by irradiating an area (learning area) with electromagnetic waves, and object information TI0 (first object information) corresponding to the feature of the received signal R0a.

特徴量に対する所定の条件は、学習領域における対象物に基づく特徴量を含む受信信号を抽出することが可能な条件であり、観測の目的等に応じて変更することが可能である。例えば、受信信号R0から受信信号R0aを抽出する場合、信号強度が所定の条件を満たす受信信号を抽出することができる。例えば、信号強度に対する所定の条件とは信号強度が所定の閾値より大きいことである。また、例えば、周波数スペクトルに対する所定の条件とは、周波数が所定の周波数帯域にあることである。また、例えば、位相に対する所定の条件とは、位相が所定の範囲内にあることである。 The predetermined conditions for the features are conditions that make it possible to extract a received signal that includes features based on the object in the learning area, and can be changed according to the purpose of observation, etc. For example, when extracting received signal R0a from received signal R0, it is possible to extract a received signal whose signal strength satisfies a predetermined condition. For example, the predetermined condition for the signal strength is that the signal strength is greater than a predetermined threshold. Also, for example, the predetermined condition for the frequency spectrum is that the frequency is in a predetermined frequency band. Also, for example, the predetermined condition for the phase is that the phase is within a predetermined range.

学習モデル1041は、受信信号R0aの特徴量を入力、対象物情報TI0を出力として学習される。 The learning model 1041 learns by inputting the features of the received signal R0a and outputting the object information TI0.

図10を参照して、学習用データLD2の生成について説明する。図10の例では、2つの対象物、対象物O1及び対象物O2が存在する学習領域D0の観測結果を用いた学習用データLD2の生成の場合が示される。 The generation of learning data LD2 will be described with reference to FIG. 10. The example of FIG. 10 shows the generation of learning data LD2 using the observation results of a learning area D0 in which two objects, object O1 and object O2, exist.

学習領域D0が観測されると、受信信号R0が得られる。受信信号R0がグラフとしてプロットされる、あるいはSAR画像に変換される等して画像化された場合、画像IG0が得られる。画像IG0は、受信信号R0の信号強度に対応付けることができる。受信信号R0のうち、信号強度が所定の閾値より大きくなるような受信信号が受信信号R0から抽出される。例えば、画像IG0における一部の領域に対応する受信信号R0a1、画像IG0において他の一部の領域に対応する受信信号R0a2を含む受信信号R0aが抽出される。受信信号R0a1を画像化した場合、画像IG2が得られ、受信信号R0a2を画像化した場合、画像IG3が得られる。画像IG2及びIG3は、受信信号R0a1及びR0a2のそれぞれの信号強度に対応付けることができる。 When the learning area D0 is observed, a received signal R0 is obtained. When the received signal R0 is plotted as a graph or imaged by converting it into a SAR image, an image IG0 is obtained. The image IG0 can be associated with the signal strength of the received signal R0. A received signal whose signal strength is greater than a predetermined threshold is extracted from the received signal R0. For example, a received signal R0a including a received signal R0a1 corresponding to a part of the area in the image IG0 and a received signal R0a2 corresponding to another part of the area in the image IG0 is extracted. When the received signal R0a1 is imaged, an image IG2 is obtained, and when the received signal R0a2 is imaged, an image IG3 is obtained. The images IG2 and IG3 can be associated with the signal strengths of the received signals R0a1 and R0a2, respectively.

受信信号R0a1及び受信信号R0a2を含む受信信号R0aの各受信信号の特徴量には、画像IG0に基づく対象物情報TI0がそれぞれ関連付けられる。対象物情報は、一例として、対象物情報TI0a及び対象物情報TI0bを含む。対象物情報TI0aは、検出領域における対象物が存在する確率の確率分布である。対象物情報TI0aでは、対象物が存在する確率が高い領域として、領域A4,A5が示されている。対象物情報TI0bは、検出領域における対象物の数や対象物の属性である。この例では、2つの対象物が検出されている。学習用データLD2は、受信信号R0aと対象物情報TI0の組として生成される。 The feature quantities of each received signal R0a, including received signal R0a1 and received signal R0a2, are associated with object information TI0 based on image IG0. The object information includes, as an example, object information TI0a and object information TI0b. The object information TI0a is a probability distribution of the probability that an object exists in the detection area. In the object information TI0a, areas A4 and A5 are shown as areas where the object is highly likely to exist. The object information TI0b is the number of objects in the detection area and the attributes of the objects. In this example, two objects are detected. The learning data LD2 is generated as a set of the received signal R0a and the object information TI0.

学習モデル1041は、上述のように用意された学習用データLD2を用いて、例えば、ニューラルネットワークを使用する方法等の一般的な機械学習の方法によって学習される。 The learning model 1041 is trained using the learning data LD2 prepared as described above, for example, by a general machine learning method such as a method using a neural network.

図11及び図12を参照して、飛翔体100による処理について説明する。 The processing performed by the flying object 100 will be described with reference to Figures 11 and 12.

図11のステップS1101において、レーダ装置102は、検出領域D1に対して電磁波EM1を照射する。図12に示されるように、検出領域D1には対象物O3,O4,O5が存在する。 In step S1101 of FIG. 11, the radar device 102 irradiates the detection area D1 with an electromagnetic wave EM1. As shown in FIG. 12, objects O3, O4, and O5 are present in the detection area D1.

ステップS1102において、信号取得部1051は、レーダ装置102が検出した反射電磁波EM2に基づく受信信号R1をレーダ装置102から取得する。 In step S1102, the signal acquisition unit 1051 acquires a received signal R1 from the radar device 102 based on the reflected electromagnetic wave EM2 detected by the radar device 102.

ステップS1103において、推定部1052は、受信信号R1のうち、所定の信号強度の条件を満たす受信信号R1aを抽出する。抽出された受信信号R1aの特徴量は、例えば、図12に示されるように、受信信号R1に基づく画像IG1の一部が切り取られた画像IG4に対応する。 In step S1103, the estimation unit 1052 extracts a received signal R1a that satisfies a predetermined signal strength condition from the received signal R1. The feature amount of the extracted received signal R1a corresponds to an image IG4 in which a part of the image IG1 based on the received signal R1 is cut out, for example, as shown in FIG. 12.

ステップS1104において、推定部1052は、受信信号R1aを学習モデル1041に入力する。 In step S1104, the estimation unit 1052 inputs the received signal R1a to the learning model 1041.

ステップS1105において、推定部1052は、受信信号R1aの特徴量に基づく対象物情報MD1を学習モデル1041から取得する。対象物情報は、一例として、図12に示される対象物情報TI1a及び対象物情報TI1bを含む。対象物情報TI1aでは、図5の場合と同様に、対象物が存在する確率が高い領域として、領域A1,A2,A3が示されている。対象物情報TI1bは、検出領域における対象物の数や対象物の属性である。この例では、3つの対象物が検出されている。 In step S1105, the estimation unit 1052 acquires object information MD1 based on the features of the received signal R1a from the learning model 1041. The object information includes, as an example, object information TI1a and object information TI1b shown in FIG. 12. In the object information TI1a, similar to the case of FIG. 5, areas A1, A2, and A3 are shown as areas where there is a high probability that objects exist. The object information TI1b is the number of objects in the detection area and the attributes of the objects. In this example, three objects are detected.

ステップS1106において、信号出力部1053は、対象物情報TI1に基づく出力信号を観測装置200に出力する。 In step S1106, the signal output unit 1053 outputs an output signal based on the object information TI1 to the observation device 200.

このように、部分的な受信信号の特徴量から、全体の受信信号の特徴量に基づく対象物情報を出力可能とすることで、学習モデル1041が推論に用いる入力となるデータのデータ量を小さくすることができる。さらに、学習モデル1041を用いた演算時間を短くすることができるので、観測のリアルタイム性が向上する。また、学習モデル1041による演算負荷を小さくすることが可能となるため、より軽量な処理装置を用いた対象物情報の取得が可能となる。 In this way, by making it possible to output object information based on the features of the entire received signal from the features of a partial received signal, it is possible to reduce the amount of data that is input to the learning model 1041 for inference. Furthermore, since the calculation time using the learning model 1041 can be shortened, the real-time nature of observation is improved. Furthermore, since it is possible to reduce the calculation load of the learning model 1041, it becomes possible to obtain object information using a lighter processing device.

図13には、他の態様として観測システム10Aを示すブロック図が示される。図13に示されるように、信号処理装置103は、観測装置200Aに含まれるように設けることもできる。飛翔体100Aの制御部1301によって、レーダ装置102が取得した受信信号が、観測装置200Aに送信される。観測装置200Aの信号処理装置103によって上述の処理を行うようにすることもできる。 Figure 13 shows a block diagram of an observation system 10A as another embodiment. As shown in Figure 13, the signal processing device 103 can also be provided so as to be included in the observation device 200A. The control unit 1301 of the flying object 100A transmits the received signal acquired by the radar device 102 to the observation device 200A. The above-mentioned processing can also be performed by the signal processing device 103 of the observation device 200A.

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその条件等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる構成同士を部分的に置換し又は組み合わせることが可能である。 The above-described embodiment is intended to facilitate understanding of the present invention, and is not intended to limit the present invention. The elements and conditions of the embodiment are not limited to those exemplified, and can be modified as appropriate. Different configurations can also be partially substituted or combined.

10…観測システム、100…飛翔体、101…通信アンテナ、102…レーダ装置、103…信号処理装置、104…記憶部、1041…学習モデル、105…制御部、1051…信号取得部、1052…推定部、1053…信号出力部、200…観測装置、201…通信部、202…信号処理部 10...observation system, 100...aircraft vehicle, 101...communication antenna, 102...radar device, 103...signal processing device, 104...storage unit, 1041...learning model, 105...control unit, 1051...signal acquisition unit, 1052...estimation unit, 1053...signal output unit, 200...observation device, 201...communication unit, 202...signal processing unit

Claims (13)

学習モデルであって、
学習領域に照射された電磁波が反射された反射電磁波に基づく第1合成開口レーダ受信信号から所定の条件に基づいて抽出され、前記学習領域のうち一部の領域に対応する第1特徴量を入力とし、前記学習領域における対象物の第1対象物情報を出力とする教師データを用いて学習され、前記所定の条件は、前記第1特徴量が前記学習領域における対象物に基づく特徴量を含む条件であり、
検出領域に照射された電磁波が反射された反射電磁波に基づく第2合成開口レーダ受信信号から抽出された第2特徴量の入力に対し、前記検出領域における対象物の第2対象物情報を出力するよう、コンピュータを機能させる学習モデル。
A learning model,
learning is performed using teacher data that is extracted based on a predetermined condition from a first synthetic aperture radar received signal based on a reflected electromagnetic wave that is irradiated onto a learning area, a first feature value corresponding to a portion of the learning area is input, and first object information of an object in the learning area is output, the predetermined condition being a condition that the first feature value includes a feature value based on the object in the learning area;
A learning model that causes a computer to function in such a way that, in response to an input of a second feature extracted from a second synthetic aperture radar received signal based on a reflected electromagnetic wave that is irradiated to a detection area, the computer outputs second object information of the object in the detection area.
請求項1に記載の学習モデルであって、
前記所定の条件は、前記第1特徴量が前記第1合成開口レーダ受信信号の周波数スペクトルである場合、前記周波数スペクトルが所定の周波数帯域にあることである、学習モデル。
The learning model according to claim 1,
A learning model , wherein the specified condition is that, when the first feature is a frequency spectrum of the first synthetic aperture radar received signal, the frequency spectrum is within a specified frequency band.
請求項1に記載の学習モデルであって、
前記所定の条件は、前記第1特徴量が前記第1合成開口レーダ受信信号の信号強度である場合、前記信号強度が所定の閾値より大きいことである、学習モデル。
The learning model according to claim 1,
A learning model , wherein the specified condition is that when the first feature is the signal strength of the first synthetic aperture radar received signal, the signal strength is greater than a specified threshold.
請求項1に記載の学習モデルであって、
前記所定の条件は、前記第1特徴量が前記第1合成開口レーダ受信信号の位相である場合、前記位相が所定の範囲内にあることである、学習モデル。
The learning model according to claim 1,
A learning model , wherein the specified condition is that when the first feature is the phase of the first synthetic aperture radar received signal, the phase is within a specified range.
請求項1に記載の学習モデルであって、
前記第2特徴量は、前記第2合成開口レーダ受信信号から前記所定の条件に基づいて抽出される学習モデル。
The learning model according to claim 1,
The second feature is a learning model extracted from the second synthetic aperture radar received signal based on the specified condition .
学習モデルであって、A learning model,
学習領域に照射された電磁波が反射された反射電磁波に基づく第1合成開口レーダ受信信号の周波数スペクトルを含む第1特徴量を入力とし、前記学習領域における対象物の第1対象物情報を出力とする教師データを用いて学習され、learning is performed using teacher data in which a first feature amount including a frequency spectrum of a first synthetic aperture radar reception signal based on an electromagnetic wave irradiated to a learning area and reflected therefrom is input, and first object information of an object in the learning area is output;
検出領域に照射された電磁波が反射された反射電磁波に基づく第2合成開口レーダ受信信号の周波数スペクトルを含む第2特徴量の入力に対し、前記検出領域における対象物の第2対象物情報を出力するよう、コンピュータを機能させる学習モデル。A learning model that causes a computer to function in response to an input of a second feature including a frequency spectrum of a second synthetic aperture radar received signal based on a reflected electromagnetic wave that is irradiated to a detection area and then reflected, to output second object information of an object in the detection area.
請求項に記載の学習モデルであって、
前記第1特徴量は、前記第1合成開口レーダ受信信号の信号強度をさらに含み、
前記第2特徴量は、前記第2合成開口レーダ受信信号の信号強度をさらに含む、学習モデル。
The learning model according to claim 6 ,
The first characteristic amount further includes a signal strength of the first synthetic aperture radar received signal,
A learning model , wherein the second feature further includes a signal strength of the second synthetic aperture radar received signal .
請求項6又は7に記載の学習モデルであって、
前記第1特徴量は、前記第1合成開口レーダ受信信号の位相をさらに含み、
前記第2特徴量は、前記第2合成開口レーダ受信信号の位相をさらに含む、学習モデル。
The learning model according to claim 6 or 7 ,
the first feature value further includes a phase of the first synthetic aperture radar received signal,
A learning model , wherein the second feature further includes a phase of the second synthetic aperture radar received signal .
請求項1又は6に記載の学習モデルであって、
前記第1対象物情報は、前記学習領域における対象物の属性を示す情報を含み、
前記第2対象物情報は、前記検出領域における対象物の属性を示す情報を含む、学習モデル。
The learning model according to claim 1 or 6 ,
the first object information includes information indicating an attribute of an object in the learning area,
A learning model, wherein the second object information includes information indicating attributes of the object in the detection area.
請求項1又は6に記載の学習モデルが記憶された記憶部と、
前記第2合成開口レーダ受信信号を取得する信号取得部と、
前記学習モデルに、前記第2合成開口レーダ受信信号を入力し、前記第2対象物情報を推論する推定部と、を備える信号処理装置。
A storage unit in which the learning model according to claim 1 or 6 is stored;
A signal acquisition unit that acquires the second synthetic aperture radar received signal;
and an estimation unit that inputs the second synthetic aperture radar received signal to the learning model and infers the second object information.
請求項1又は6に記載の学習モデルが記憶された記憶部と、
前記第2合成開口レーダ受信信号を取得する信号取得部と、
前記学習モデルに、前記第2合成開口レーダ受信信号を入力し、前記第2対象物情報を推論する推定部と、
前記第2対象物情報に基づく出力信号を外部に出力する信号出力部と、を備える飛翔体。
A storage unit in which the learning model according to claim 1 or 6 is stored;
A signal acquisition unit that acquires the second synthetic aperture radar received signal;
an estimation unit that inputs the second synthetic aperture radar received signal to the learning model and infers the second object information;
A flying object comprising: a signal output unit that outputs an output signal based on the second object information to the outside.
コンピュータが、
学習領域に照射された電磁波が反射された反射電磁波に基づく第1合成開口レーダ受信信号を取得することと、
前記第1合成開口レーダ受信信号から、前記第1合成開口レーダ受信信号の第1特徴量が前記学習領域における対象物に基づく特徴量を含む所定の条件に基づいて、前記第1特徴量が前記学習領域のうち一部の領域に対応する学習信号を抽出することと、
前記対象物の対象物情報を取得することと、
前記学習信号の特徴量と前記対象物情報との組を、検出領域に照射された電磁波が反射された反射電磁波に基づく第2合成開口レーダ受信信号の特徴量の入力に対し、前記第2合成開口レーダ受信信号の特徴量に応じた、前記検出領域における対象物の第2対象物情報を出力するよう、コンピュータを機能させる学習モデルの学習に用いられる教師データとして記憶することと、
を含む、教師データ生成方法。
The computer
acquiring a first synthetic aperture radar received signal based on a reflected electromagnetic wave that is reflected from an electromagnetic wave irradiated onto a learning area;
extracting a learning signal from the first synthetic aperture radar received signal, the first feature amount of which corresponds to a portion of the learning region, based on a predetermined condition in which the first feature amount of the first synthetic aperture radar received signal includes a feature amount based on an object in the learning region ;
acquiring object information of the object;
storing a pair of the feature amount of the learning signal and the object information as teacher data used for learning a learning model that causes a computer to function in such a way that, in response to an input of a feature amount of a second synthetic aperture radar reception signal based on a reflected electromagnetic wave of an electromagnetic wave irradiated to a detection area, a second object information of the object in the detection area corresponding to the feature amount of the second synthetic aperture radar reception signal is output;
A method for generating teacher data, comprising:
コンピュータが、The computer
学習領域に照射された電磁波が反射された反射電磁波に基づく第1合成開口レーダ受信信号を学習信号として取得することと、acquiring, as a learning signal, a first synthetic aperture radar reception signal based on a reflected electromagnetic wave that is irradiated onto a learning region and reflected therefrom;
前記学習領域における対象物の対象物情報を取得することと、acquiring object information of an object in the learning area;
前記学習信号の周波数スペクトルを含む特徴量と前記対象物情報との組を、検出領域に照射された電磁波が反射された反射電磁波に基づく第2合成開口レーダ受信信号の周波数スペクトルを含む特徴量の入力に対し、前記第2合成開口レーダ受信信号の特徴量に応じた、前記検出領域における対象物の第2対象物情報を出力するよう、コンピュータを機能させる学習モデルの学習に用いられる教師データとして記憶することと、storing a set of the feature amount including the frequency spectrum of the learning signal and the object information as teacher data used for learning a learning model that causes a computer to function in such a way that, in response to an input of the feature amount including the frequency spectrum of a second synthetic aperture radar reception signal based on a reflected electromagnetic wave that is irradiated to a detection area, the computer outputs second object information of the object in the detection area according to the feature amount of the second synthetic aperture radar reception signal;
を含む、教師データ生成方法。A method for generating teacher data, comprising:
JP2024000572A 2024-01-05 2024-01-05 Learning model, signal processing device, flying object, and teacher data generation method Active JP7534744B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024000572A JP7534744B1 (en) 2024-01-05 2024-01-05 Learning model, signal processing device, flying object, and teacher data generation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2024000572A JP7534744B1 (en) 2024-01-05 2024-01-05 Learning model, signal processing device, flying object, and teacher data generation method

Publications (1)

Publication Number Publication Date
JP7534744B1 true JP7534744B1 (en) 2024-08-15

Family

ID=92261393

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2024000572A Active JP7534744B1 (en) 2024-01-05 2024-01-05 Learning model, signal processing device, flying object, and teacher data generation method

Country Status (1)

Country Link
JP (1) JP7534744B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019152543A (en) 2018-03-02 2019-09-12 株式会社東芝 Target recognizing device, target recognizing method, and program
US10976429B1 (en) 2017-10-16 2021-04-13 Hrl Laboratories, Llc System and method for synthetic aperture radar target recognition utilizing spiking neuromorphic networks
CN114578356A (en) 2022-03-02 2022-06-03 中南大学 Distributed scatterer deformation monitoring method, system and equipment based on deep learning
JP2023000897A (en) 2021-06-18 2023-01-04 株式会社スペースシフト Learning model, signal processor, flying body, and program
US20230105700A1 (en) 2021-10-06 2023-04-06 The Boeing Company Synthetic aperture radar classifier neural network

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10976429B1 (en) 2017-10-16 2021-04-13 Hrl Laboratories, Llc System and method for synthetic aperture radar target recognition utilizing spiking neuromorphic networks
JP2019152543A (en) 2018-03-02 2019-09-12 株式会社東芝 Target recognizing device, target recognizing method, and program
JP2023000897A (en) 2021-06-18 2023-01-04 株式会社スペースシフト Learning model, signal processor, flying body, and program
US20230105700A1 (en) 2021-10-06 2023-04-06 The Boeing Company Synthetic aperture radar classifier neural network
CN114578356A (en) 2022-03-02 2022-06-03 中南大学 Distributed scatterer deformation monitoring method, system and equipment based on deep learning

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Marin Kacan et. al.,"Deep Learning Approach for Object Classification on Raw and Reconstructed GBSAR Data",Remote Sensing,2022年11月10日,No.14, 5673,pp.1-27,インターネット<URL:https://doi.org/10.3390/rs14225673>

Similar Documents

Publication Publication Date Title
JP7006875B1 (en) Learning models, signal processor, projectiles, and programs
US11808842B2 (en) Data generation device, image identification device, data generation method, and recording medium
US20190204416A1 (en) Target object detecting device, method of detecting a target object and computer readable medium
CN106772309B (en) Radar target detection method based on telecommunication satellite radiation source
US20190353751A1 (en) Vehicle radar system and method of calibrating the same
US20130282210A1 (en) Unmanned maritime vehicle with inference engine and knowledge base and related methods
Horne et al. Proposed ontology for cognitive radar systems
WO2018155683A1 (en) Flying body, and program
Hamilton et al. Antisubmarine warfare applications for autonomous underwater vehicles: the GLINT09 sea trial results
Benjamin et al. Obstacle avoidance using multiobjective optimization and a dynamic obstacle manager
CN103175525A (en) Radar image simulation system and method based on electronic chart and navigation data
US20170206287A1 (en) Real-time electromagnetic environmental simulator
CN116907282B (en) Unmanned target aircraft ultra-low altitude flight control method based on artificial intelligence algorithm
CN113311857A (en) Environment sensing and obstacle avoidance system and method based on unmanned aerial vehicle
JP2020180875A (en) Clutter learning device and clutter identification device
JP7534744B1 (en) Learning model, signal processing device, flying object, and teacher data generation method
US11300671B2 (en) Method for removing inter-radar interference using deconvolution of cross correlated reference signals, signal processing device, signal processing method, and signal processing program
CN114863235B (en) Fusion method of heterogeneous remote sensing images
JP2015099097A (en) Synthetic aperture radar device and image processing method thereof
JP2020193904A (en) Target signal separation device, passive radar device, and target signal separation method
EP4138036A1 (en) Learning model, signal processing device, flying body, and program
Song et al. Underwater terrain-aided navigation based on multibeam bathymetric sonar images
CN116597325A (en) Airborne infrared small target detection method and equipment based on model migration
JP7571960B1 (en) PROGRAM, INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND LEARNING MODEL
CN114690188A (en) A bank system for glider intelligence underwater acoustic detection under water

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240105

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20240105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240325

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240724

R150 Certificate of patent or registration of utility model

Ref document number: 7534744

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150