JP2023164047A - Evaluation data preparation device, evaluation data preparation method, and evaluation data preparation program - Google Patents
Evaluation data preparation device, evaluation data preparation method, and evaluation data preparation program Download PDFInfo
- Publication number
- JP2023164047A JP2023164047A JP2022075352A JP2022075352A JP2023164047A JP 2023164047 A JP2023164047 A JP 2023164047A JP 2022075352 A JP2022075352 A JP 2022075352A JP 2022075352 A JP2022075352 A JP 2022075352A JP 2023164047 A JP2023164047 A JP 2023164047A
- Authority
- JP
- Japan
- Prior art keywords
- data
- sensor
- model
- vehicle
- scenario
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 170
- 238000002360 preparation method Methods 0.000 title abstract 5
- 238000012545 processing Methods 0.000 claims abstract description 62
- 238000006243 chemical reaction Methods 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 27
- 238000013507 mapping Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 51
- 238000010801 machine learning Methods 0.000 description 50
- 238000004088 simulation Methods 0.000 description 22
- 230000007613 environmental effect Effects 0.000 description 21
- 238000004891 communication Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/06—Improving the dynamic response of the control system, e.g. improving the speed of regulation or avoiding hunting or overshoot
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M17/00—Testing of vehicles
- G01M17/007—Wheeled or endless-tracked vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
Description
本開示は、評価用データ作成装置、評価用データ作成方法及び評価データ用作成プログラムに関するものである。 The present disclosure relates to an evaluation data creation device, an evaluation data creation method, and an evaluation data creation program.
車両を運転する運転者を支援するために、自動運転、衝突回避等の運転支援機能が開発されている。運転支援機能は、車両に搭載された各種センサの取得データに基づいて、実行する支援の判定を行う。運転支援機能は、走行する車両の種々の環境に対応する必要がある。 Driving support functions such as automatic driving and collision avoidance have been developed to support drivers who drive vehicles. The driving support function determines which support to perform based on data obtained from various sensors installed in the vehicle. The driving support function needs to be compatible with various environments in which the vehicle runs.
運転支援機能の性能を評価するための評価手法も提案されている。特許文献1には、シミュレーションで複数の車両の走行環境を再現し、再現した情報をそれぞれの車両に入力して実行される挙動に基づいて運転支援機能を評価することが記載されている。 Evaluation methods for evaluating the performance of driving support functions have also been proposed. Patent Document 1 describes that the driving environment of a plurality of vehicles is reproduced through simulation, the reproduced information is input to each vehicle, and a driving support function is evaluated based on the executed behavior.
特許文献1の装置は、シミュレーションで解析を行うことで、種々の状況での解析を行うことができる。しかしながら、シミュレーションであるため、実際に車両が走行して得ることができるデータとは乖離が生じるため、運転支援機能の評価に用いた場合に、信頼性の向上に限界がある。 The device disclosed in Patent Document 1 can perform analysis in various situations by performing analysis through simulation. However, since it is a simulation, there is a deviation from the data that can be obtained when the vehicle is actually driving, so there is a limit to the improvement in reliability when used to evaluate driving support functions.
特許文献1の装置では、シミュレーションにより種々の条件・状況を模擬した解析ができる。しかしながら、シミュレーションで得られる評価用データについては、実際に車両が走行して得られるデータとは乖離があるため、運転支援性能の評価に適したレベルまでデータの信頼性を高めることが難しい。 The device disclosed in Patent Document 1 can perform simulations to simulate various conditions and situations. However, since the evaluation data obtained through the simulation differs from the data obtained when the vehicle is actually driving, it is difficult to increase the reliability of the data to a level suitable for evaluating driving support performance.
一方、実際の車両を走行させることにより、模擬データではなく実際の走行データを得ることができる。この場合に、運転支援性能の評価に適した信頼性を得るには、種々の条件、状況にて試験を行う必要がある。しかしながら、実際の車両を使って種々の条件、状況で走行試験を行うことには限界がある。そのため、実際の走行車両試験から、運転支援性能の評価に適したデータを得ることは、現実には難しい。 On the other hand, by driving an actual vehicle, it is possible to obtain actual driving data instead of simulated data. In this case, in order to obtain reliability suitable for evaluating driving support performance, it is necessary to conduct tests under various conditions and situations. However, there are limits to conducting driving tests using actual vehicles under various conditions and situations. Therefore, it is difficult in reality to obtain data suitable for evaluating driving support performance from actual driving vehicle tests.
本開示は、上記課題を解決するために、運転支援性能の評価に適した信頼性を有する評価用データを、効率的に作成できる評価用データ作成装置、評価用データ作成方法及び評価用データ作成プログラムを提供することを課題とする。 In order to solve the above problems, the present disclosure provides an evaluation data creation device, an evaluation data creation method, and an evaluation data creation method that can efficiently create evaluation data with reliability suitable for evaluation of driving support performance. The task is to provide a program.
本開示は、車両の自動運転及び車両の運転支援機能の少なくとも一方を評価する評価用データを作成する評価用データ作成装置であって、前記車両の走行を再現するシナリオを設定するシナリオ設定部と、前記車両のセンサをモデル化したセンサモデルを用いて、前記シナリオ設定部で設定したシナリオを前記車両が走行した場合に取得されるセンサデータを作成するセンサデータ作成部と、前記センサデータ作成部で作成したセンサデータに、前記車両のセンサで取得したデータである実データを対応付け、対応付けた実データに基づいて前記センサデータを変換して、評価用データである変換実データを作成する実データ変換部と、を含む評価用データ作成装置を提供する。 The present disclosure provides an evaluation data creation device that creates evaluation data for evaluating at least one of automatic driving of a vehicle and a driving support function of the vehicle, the device comprising: a scenario setting unit that sets a scenario for reproducing the driving of the vehicle; , a sensor data creation unit that creates sensor data obtained when the vehicle runs a scenario set by the scenario setting unit, using a sensor model that models the sensor of the vehicle; and the sensor data creation unit The sensor data created in 2. is associated with actual data that is data acquired by the sensor of the vehicle, and the sensor data is converted based on the associated actual data to create converted actual data that is evaluation data. An evaluation data creation device including an actual data conversion section is provided.
また、本開示は、車両の自動運転及び車両の運転支援機能の少なくとも一方の運転支援機能を評価する評価用データを作成する評価用データ作成方法であって、前記車両の走行を再現するシナリオを設定するステップと、前記車両のセンサをモデル化したセンサモデルを用いて、前記シナリオ設定部で設定したシナリオを前記車両が走行した場合に取得されるセンサデータを作成するステップと、作成したセンサデータに、前記車両のセンサで取得したデータである実データを対応付け、対応付けた実データに基づいて前記センサデータを変換して、評価用データである変換実データを作成するステップと、を含む評価用データ作成方法を提供する。 The present disclosure also provides an evaluation data creation method for creating evaluation data for evaluating at least one of automatic driving of a vehicle and a driving support function of a vehicle, the method comprising: a step of creating sensor data that is acquired when the vehicle runs the scenario set in the scenario setting section using a sensor model that models the sensor of the vehicle; the step of associating actual data that is data acquired by a sensor of the vehicle, converting the sensor data based on the associated actual data, and creating converted actual data that is evaluation data. Provides a method for creating evaluation data.
また、本開示は、車両の自動運転及び車両の運転支援機能の少なくとも一方運転支援機能を評価する評価用データを作成する評価用データ作成プログラムであって、前記車両の走行を再現するシナリオを設定するステップと、前記車両のセンサをモデル化したセンサモデルを用いて、前記シナリオ設定部で設定したシナリオを前記車両が走行した場合に取得されるセンサデータを作成するステップと、作成したセンサデータに、前記車両のセンサで取得したデータである実データを対応付け、対応付けた実データに基づいて前記センサデータを変換して、評価用データである変換実データを作成するステップと、を含む処理を実行させる評価用データ作成プログラムを提供する。 The present disclosure also provides an evaluation data creation program that creates evaluation data for evaluating at least one of automatic driving of a vehicle and a driving support function of a vehicle, the program setting a scenario that reproduces the driving of the vehicle. a step of creating sensor data that will be acquired when the vehicle runs the scenario set in the scenario setting section using a sensor model that models the sensors of the vehicle; , a step of associating actual data that is data acquired by a sensor of the vehicle, converting the sensor data based on the associated actual data, and creating converted actual data that is evaluation data. Provides an evaluation data creation program that executes the evaluation data.
上記構成とすることで、運転支援の性能の評価に用いるより多くの評価用データを少ない処理量で作成できるという効果を奏する。 With the above configuration, it is possible to create more evaluation data for use in evaluating driving support performance with a smaller amount of processing.
以下に、本開示に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。さらに、以下に記載した構成要素は適宜組み合わせることが可能であり、また、実施形態が複数ある場合には、各実施形態を組み合わせることも可能である。 Embodiments according to the present disclosure will be described in detail below based on the drawings. Note that the present invention is not limited to this embodiment. Furthermore, the constituent elements in the embodiments described below include those that can be easily replaced by those skilled in the art, or those that are substantially the same. Furthermore, the constituent elements described below can be combined as appropriate, and if there are multiple embodiments, it is also possible to combine each embodiment.
<評価用データ作成装置>
図1は、評価用データ作成装置の一例を示すブロック図である。本実施形態に係る評価用データ作成装置10は、ECU(Electronic Control Unit)6の運転支援機能の評価に用いる評価用データを作成する。
<Evaluation data creation device>
FIG. 1 is a block diagram showing an example of an evaluation data creation device. The evaluation data creation device 10 according to the present embodiment creates evaluation data used for evaluation of the driving support function of the ECU (Electronic Control Unit) 6.
ECU6は、車両に搭載され、車両に搭載されたセンサで取得した情報に基づいて、運転支援機能を実行する。ECU6が実行する運転支援は、特に限定されない。運転支援としては、走行速度制御、ブレーキ制御、操舵制御、自動運転制御、運転者への警告制御、他の車両、周囲の通行人に対する警告制御等が例示される。つまり、車両の自動運転機能、運転支援機能の少なくとも一方が対象となる。車両に搭載されたセンサも種々の情報が含まれ、LiDAR等の距離センサ、温度センサ、カメラ等で取得した情報、通信を介して周囲の車両、路側機、クラウドから取得した情報、車両に入力されたアクセル、ブレーキ、操舵等の操作情報、駆動機構に配置されたセンサの情報等が含まれる。 The ECU 6 is mounted on the vehicle and executes a driving support function based on information acquired by a sensor mounted on the vehicle. The driving support executed by the ECU 6 is not particularly limited. Examples of driving support include traveling speed control, brake control, steering control, automatic driving control, warning control to the driver, and warning control to other vehicles and surrounding passersby. In other words, at least one of the vehicle's automatic driving function and driving support function is targeted. Sensors installed in the vehicle also contain various information, including information acquired by distance sensors such as LiDAR, temperature sensors, cameras, etc., information acquired from surrounding vehicles, roadside devices, and the cloud via communication, and information input into the vehicle. This includes information on the accelerator, brake, steering, etc., and information on sensors installed in the drive mechanism.
ECU6の評価を行う場合、評価用データ作成装置10で作成された評価用データをECU6に入力する。ECU6は、センサのデータとして入力されると、入力された評価用データを処理して、処理結果を運転支援の指示情報として評価装置8に出力する。 When evaluating the ECU 6, evaluation data created by the evaluation data creation device 10 is input to the ECU 6. When input as sensor data, the ECU 6 processes the input evaluation data and outputs the processing result to the evaluation device 8 as driving support instruction information.
評価装置8は、ECU6の運転支援機能を評価する。評価装置8は、CPU等の演算処理機能と、ROM、RAM等の記憶機能を有し、プログラムで、評価機能を実行する装置である。評価装置8は、評価用データ作成装置10で入力した評価用データとその評価用データの条件を取得し、ECU6で評価用データを処理して出力される運転支援の指示情報を取得する。評価装置8は、ECU6が実行した運転支援のタイミング、内容が、評価用データのシナリオの状況に対して適切であるかを判定する。評価用データを用いて、ECU6を評価することで、ECU6の運転支援の性能を評価することができる。評価用データを用いて、ECU6を評価し、ECU6の機能を調整することで、運転支援の性能を向上させることができる。また、評価用データは、ECU6の学習データとして用いることもできる。 The evaluation device 8 evaluates the driving support function of the ECU 6. The evaluation device 8 is a device that has an arithmetic processing function such as a CPU and a storage function such as a ROM and RAM, and executes an evaluation function using a program. The evaluation device 8 acquires the evaluation data inputted by the evaluation data creation device 10 and the conditions of the evaluation data, processes the evaluation data by the ECU 6, and acquires driving support instruction information outputted. The evaluation device 8 determines whether the timing and content of the driving support executed by the ECU 6 are appropriate for the situation of the scenario of the evaluation data. By evaluating the ECU 6 using the evaluation data, the driving support performance of the ECU 6 can be evaluated. The performance of driving support can be improved by evaluating the ECU 6 and adjusting the functions of the ECU 6 using the evaluation data. Moreover, the evaluation data can also be used as learning data for the ECU 6.
次に、評価用データ作成装置10について説明する。評価用データ作成装置10は、評価対象の車両の走行状態をシミュレーションで再現し、評価対象の車両の走行時にECU6に入力されるデータを模擬した評価用データを作成する。 Next, the evaluation data creation device 10 will be explained. The evaluation data creation device 10 reproduces the running state of the vehicle to be evaluated through simulation, and creates evaluation data that simulates data input to the ECU 6 when the vehicle to be evaluated is running.
評価用データ作成装置10は、入力部12と、出力部14と、通信部15と、演算部16と、記憶部18と、を含む。入力部12は、キーボード及びマウス、タッチパネル、またはオペレータからの発話を集音するマイク等の入力装置を含み、オペレータが入力装置に対して行う操作に対応する信号を演算部16へ出力する。出力部14は、ディスプレイ等の表示装置を含み、演算部16から出力される表示信号に基づいて、処理結果や処理対象の画像等、各種情報を含む画面を表示する。また、出力部14は、データを記録媒体で出力する記録装置を含んでもよい。通信部15は、通信インターフェースを用いて、データの送信を行う。通信部15は、ECU6、評価装置8と通信を行い、データの送受信を行う。通信部15は、外部機器と通信を行い取得した各種データ、プログラムを記憶部16に送り、保存する。通信部は、有線の通信回線で外部機器と接続しても、無線の通信回線で外部機器と接続してもよい。
The evaluation data creation device 10 includes an
演算部16は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等の集積回路(プロセッサ)と、作業領域となるメモリとを含み、これらのハードウェア資源を用いて各種プログラムを実行することによって各種処理を実行する。具体的に、演算部16は、記憶部18に記憶されているプログラムを読み出してメモリに展開し、メモリに展開されたプログラムに含まれる命令をプロセッサに実行させることで、各種処理を実行する。演算部16は、シナリオ設定部22と、センサデータ作成部24と、実データ変換部26と、対応付け処理部28と、機械学習部30と、を含む。演算部16の各部の説明の前に記憶部18について説明する。
The calculation unit 16 includes an integrated circuit (processor) such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit), and a memory serving as a work area, and can execute various programs using these hardware resources. Execute various processing by. Specifically, the arithmetic unit 16 reads a program stored in the storage unit 18, loads it in the memory, and causes the processor to execute instructions included in the program loaded in the memory, thereby executing various processes. The calculation unit 16 includes a
記憶部18は、磁気記憶装置や半導体記憶装置等の不揮発性を有する記憶装置からなり、各種のプログラムおよびデータを記憶する。記憶部18は、データ作成プログラム32と、学習プログラム34と、シナリオモデル36と、環境物体モデル37と、天候モデル38と、光源モデル40と、車両モデル42と、センサモデル44と、対応付けテーブル46と、実データ48と、学習済みモデル50と、を含む。
The storage unit 18 is composed of a nonvolatile storage device such as a magnetic storage device or a semiconductor storage device, and stores various programs and data. The storage unit 18 stores a
記憶部18に記憶されるデータとしては、シナリオモデル36と、環境物体モデル37と、天候モデル38と、光源モデル40と、車両モデル42と、センサモデル44と、対応付けテーブル46と、実データ48と、学習済みモデル50と、が含まれる。シナリオモデル36と、環境物体モデル37と、天候モデル38と、光源モデル40と、車両モデル42と、センサモデル44と、対応付けテーブル46と、実データ48と、学習済みモデル50とは、それぞれ複数備え、使用するモデル、データ、テーブルを選択することができる。
The data stored in the storage unit 18 includes a scenario model 36, an
シナリオモデル36は、車両の走行のシミュレーションする条件を設定したモデルである。シナリオモデル36は、環境物体モデル37、天候モデル38、光源モデル40、車両モデル42のそれぞれから選択したモデルを組み合わせたモデルある。シナリオモデル36は、ある瞬間のECU6の処理の評価をするために、時間経過がないある瞬間のモデルとしても、所定の区間を走行中のECU6の処理の評価をするために、時間経過があるモデルとしてもよい。
The scenario model 36 is a model that sets conditions for simulating vehicle travel. The scenario model 36 is a model that is a combination of models selected from the
環境物体モデル37は、車両の周囲の形状の情報を含むモデルである。環境物体モデル37は、車両が走行する道路の形状情報(直線、カーブ、交差点、ガードレールの有無、信号機の有無)や、周囲の車両の情報、周囲の通行人の情報等を含む。つまり、環境物体モデル37は、車両の周囲の三次元形状のモデルを含む。
The
天候モデル38は、晴れ、曇り、雨、暴風雨、雪、みぞれ、車両の天候を再現するモデルである。天候モデル38は、雲量、降雨量、降雪量、温度、風速等に応じて、再現される状況が変化するモデルである。
The
光源モデル40は、太陽、照明塔、建物、対向車など、車両の周囲にある光を出力する物体のモデルである。
The
車両モデル42は、解析対象の車両、周囲の車両を再現するモデルである。車両モデル42は、車両の形状、走行性能、搭載しているセンサの情報等を含む。
The
センサモデル44は、解析対象の車両に搭載されるセンサのモデルである。センサモデル44は、周囲の情報に応じて、どのような情報を出力するかが設定されるモデルである。 The sensor model 44 is a model of a sensor installed in a vehicle to be analyzed. The sensor model 44 is a model in which what kind of information is output is set according to surrounding information.
対応付けテーブル46は、シミュレーションで作成したデータであるセンサデータと、事前に実際に車両を走行して取得した実データとの対応付けの情報を含むモデルである。対応付けテーブル46は、対応付けを行う条件の情報を有する。対応付けテーブル46は、シナリオの条件や取得したセンサデータに基づいて予め設定された振り分け条件に基づいて実データを対応付ける場合、実データを対応付ける条件のテーブルが含まれる。対応付けに学習済みモデル50を用いる場合、センサデータを学習済みモデル50に入力する処理条件等が対応付けられる。
The association table 46 is a model that includes information on the association between sensor data, which is data created through simulation, and actual data obtained by actually driving the vehicle in advance. The correspondence table 46 has information on conditions for performing correspondence. The association table 46 includes a table of conditions for associating actual data when the actual data is associated based on distribution conditions preset based on scenario conditions and acquired sensor data. When using the learned
実データ48は、事前に実際に車両を走行して取得したデータである。実データ48は、車両に搭載したセンサが検出したデータである。また、実データ48は実際に車両を走行した際の情報、環境物体の情報、天候の情報、光源の情報、車両の情報も含まれる。
学習済みモデル50は、機械学習部30が機械学習で作成したモデルである。学習済みモデル50は、センサデータが入力されると、当該センサデータに対応する実データを出力する。
The trained
記憶部18に記憶されるプログラムとしては、データ作成プログラム32と、学習プログラム34と、がある。
The programs stored in the storage unit 18 include a
データ作成プログラム32は、評価用データを作成するプログラム(評価用データ作成プログラム)である。データ作成プログラム32は、シナリオ設定部22、センサデータ作成部24、実データ変換部26、対応付け処理部28の機能を実現するプログラムである。
The
学習プログラム34は、データ作成プログラム32の処理の一部に用いる学習済みモデルを機械学習で作成するプログラムである。学習プログラム34は、機械学習部30の機能を実現するプログラムである。学習プログラム34は、シナリオに基づいてシミュレーションで作成したセンサデータを入力とし、当該センサデータに対応する実データを出力とした教師データを用いて、深層学習処理を行い、学習済みモデル50を作成する。深層学習モデルとしては、GAN(Generative Adversarial Network)等を用いることができる。なお、学習モデル、機械学習の方法は特に限定されず、センサデータを実データに変換できればよい。
The learning program 34 is a program that uses machine learning to create a learned model used for part of the processing of the
記憶部18は、記録媒体に記録されたデータ作成プログラム32と、学習プログラム34と、を読み込むことで、データ作成プログラム32と、学習プログラム34と、がインストールされてもよいし、ネットワーク上で提供されるデータ作成プログラム32と、学習プログラム34と、を読み込むことで、データ作成プログラム32と、学習プログラム34と、がインストールされてもよい。
The storage unit 18 may install the
演算部16の各部の機能について説明する。演算部16の各部は、記憶部18に記憶されるプログラムを実行することで、実行することができる。シナリオ設定部22は、解析を実行するシミュレーションの条件を取得し、条件に基づいたモデルを、環境物体モデル37と、天候モデル38と、光源モデル40と、車両モデル42とから、それぞれ選択して、シミュレーションモデルであるシナリオモデルを作成する。解析を実行するシミュレーションの条件は、ユーザの入力結果に基づいて設定する。シナリオ設定部22は、解析を実行するシミュレーションの条件に対応するシナリオモデル36が記憶部18に記憶されている場合、記憶されているシナリオモデル36を読み出す。
The functions of each part of the calculation section 16 will be explained. Each part of the calculation unit 16 can be executed by executing a program stored in the storage unit 18. The
センサデータ作成部24は、車両のセンサをモデル化したセンサモデルを用いて、シナリオ設定部22で設定したシナリオを車両が走行した場合のセンサデータを作成する。センサデータ作成部24は、シナリオ設定部22で作成したシナリオモデルに基づいてシミュレーションを実行し、シナリオモデルに基づいて車両が走行した場合にセンサが検出するデータであるセンサデータを作成する。
The sensor
実データ変換部26は、センサデータ作成部24で作成したセンサデータに対して対応付け処理部28で対応付けを行い、対応付けた結果を用いて、実データに変換する。
The actual data conversion unit 26 associates the sensor data created by the sensor
対応付け処理部28は、実データ変換部26から入力されるセンサデータに対して実データの対応付けを行う。対応付け処理部28は、対応付けテーブル46を用いて、センサデータに対応する実データを特定する。また、対応付け処理部28は、学習済みモデル50を使用する場合、機械学習部30にセンサデータを入力し、出力された実データを取得する。
The association processing section 28 associates actual data with the sensor data inputted from the actual data conversion section 26 . The association processing unit 28 uses the association table 46 to identify actual data that corresponds to the sensor data. Further, when using the trained
機械学習部30は、シナリオに基づいてシミュレーションで作成したセンサデータを入力とし、当該センサデータに対応する実データを出力とした教師データを用いて、深層学習処理を行い、学習済みモデル50を作成する。また、機械学習部30は、学習済みモデル50を用いた処理も実行する。具体的には、機械学習部30は、入力されたセンサデータを学習済みモデル50に入力し、対応する実データを出力する。
The
<方法>
次に、図2を用いて、評価用データ作成方法について説明する。図2は、評価用データ作成装置の処理の一例を示すフローチャートである。図2に示す処理は、対応付け処理で機械学習を用いない処理である。
<Method>
Next, a method for creating evaluation data will be described using FIG. 2. FIG. 2 is a flowchart showing an example of processing of the evaluation data creation device. The process shown in FIG. 2 is a process that does not use machine learning in the association process.
演算部16は、シナリオ設定部22で、実行するシミュレーションのシナリオを決定する(ステップS12)。シナリオ設定部22は、ユーザにより入力された条件、予め設定される条件等に元浮いて実行するシナリオを決定する。
The calculation unit 16 uses the
演算部16は、シナリオ設定部22で、シナリオに基づいて、使用する環境物体モデル、天候モデル、光源モデル、車両モデルを決定し、シナリオモデルを作成する(ステップS14)。
In the calculation unit 16, the
演算部16は、決定したシナリオモデルをセンサモデルに入力し、センサデータを作成する(ステップS16)。演算部16は、センサデータ作成部24で、車両モデル42に基づいてセンサモデルを作成する。センサデータ作成部24は、シナリオモデルをセンサモデルに入力してシミュレーションを実行し、センサモデルで検出したセンサデータ、つまりシナリオモデルで走行した場合に、センサが検出するデータを作成する。
The calculation unit 16 inputs the determined scenario model into the sensor model and creates sensor data (step S16). The calculation unit 16 uses the sensor
演算部16は、センサデータに対応する実データを決定する(ステップS18)。演算部16は、実データ変換部26及び対応付け処理部28で、対応付けテーブル46を用いてセンサデータを処理して、センサデータに対応付けする実データを決定する。本実施形態では、センサデータ及びシナリオモデルに基づいて、対応付けテーブル46に対応付けられている実データから、最も条件が近い実データを選定する。 The calculation unit 16 determines actual data corresponding to the sensor data (step S18). In the calculation unit 16, the actual data converting unit 26 and the association processing unit 28 process the sensor data using the association table 46 to determine actual data to be associated with the sensor data. In this embodiment, based on the sensor data and the scenario model, actual data with the closest conditions are selected from the actual data associated with the association table 46.
演算部16は、実データへの変換処理を行う(ステップS20)。演算部16は、実データ変換部26で、対応付け処理部28で決定した対応付けに基づいてセンサデータを実データに変換する。 The calculation unit 16 performs a conversion process to actual data (step S20). In the calculation unit 16, the actual data conversion unit 26 converts the sensor data into actual data based on the association determined by the association processing unit 28.
演算部16は、作成した実データを保存する(ステップS22)。実データが評価用データとなる。 The calculation unit 16 stores the created actual data (step S22). The actual data becomes the evaluation data.
本実施形態は、以上のように、シミュレーションで作成したセンサデータに対する実データを特定し、センサデータを実データに変換することで、評価用データを実データとすることができる。 In this embodiment, as described above, the evaluation data can be made into real data by specifying real data for sensor data created in simulation and converting the sensor data into real data.
ここで、シナリオモデルは、例えば、物体の形状をポリゴンで形成し、物体の特性(反射率、透過率、テクスチャ等)をマテリアルとして設定し、これらを組み合わせて三次元形状のモデルとする。シナリオモデルの設定を簡素なモデル、例えば、モデルの作成ソフトに初期設定で設定されている情報のみで作成した場合、本実施形態は、センサデータから実データに変換することで、ECU6に供給する評価用データは実データとすることができる。 Here, in the scenario model, for example, the shape of an object is formed by polygons, the characteristics of the object (reflectance, transmittance, texture, etc.) are set as materials, and these are combined to form a three-dimensional model. When setting the scenario model as a simple model, for example, when creating only the information set in the initial settings in the model creation software, this embodiment converts the sensor data into actual data and supplies it to the ECU 6. The evaluation data can be actual data.
これにより、センサモデルから実データに近い値を出力するための精緻なモデルを作成せずに、実際の走行した場合に近い、評価用データを作成することができる。また、シナリオモデルとして簡素なモデルを用いつつ、高い精度の評価ができる評価用データを作成できるため、評価用データの作成にかかる時間を低減することができ、処理を簡単にすることができる。また、実データを対応付けることで、評価用データが実際のセンサの検出と乖離することを抑制できる。 Thereby, it is possible to create evaluation data that is close to actual driving without creating a sophisticated model for outputting values close to actual data from the sensor model. Further, since it is possible to create evaluation data that allows highly accurate evaluation while using a simple model as a scenario model, the time required to create evaluation data can be reduced and processing can be simplified. Furthermore, by associating the actual data, it is possible to suppress the deviation of the evaluation data from the actual sensor detection.
上記実施形態では、対応付け処理部28で、センサデータに対応する1つの実データ48を決定し、決定した実データを評価表データとしたがこれに限定されない。評価用データ作成装置10は、機械学習部で学習済みモデルを作成し、センサデータから実データへの変換を、学習済みモデルを用いて行ってもよい。
In the embodiment described above, the association processing unit 28 determines one piece of
<学習済みモデル作成方法>
図3は、機械学習部の動作の一例を示すフローチャートである。図3に示す処理は、機械学習部で実行する。機械学習部30は、実データを取得する(ステップS32)。機械学習部30は、記憶部18に記憶された実データを取得しても、通信部15を介して実データ取得してもよい。
<How to create a trained model>
FIG. 3 is a flowchart showing an example of the operation of the machine learning section. The processing shown in FIG. 3 is executed by the machine learning section. The
機械学習部30は、センサデータを作成する(ステップS34)。機械学習部30は、シナリオ設定部22、センサデータ作成部24で処理を実行し、実データに対応するセンサデータを作成する。機械学習部30は、例えば、実データの走行時の条件を取得し、作成した条件を用いてセンサデータを作成する。
The
機械学習部30は、センサデータと実データの対応付けを実行する(ステップS36)。つまり、機械学習部30は、ステップS32で取得した実データとステップS34で作成したセンサデータとを対応付ける。
The
機械学習部30は、学習用のデータの作成が完了したかを判定する(ステップS38)。例えば、機械学習部30は、センサデータと実データとの組み合わせが、設定した数以上あるかを判定基準とする。
The
機械学習部30は、学習用のデータの作成が完了していない(ステップS38でNo)と判定した場合、ステップS32に戻り、センサデータと実データとの組み合わせをさらに作成する。
When the
機械学習部30は、学習用のデータの作成が完了した(ステップS38でYes)と判定した場合、センサデータを入力とし、対応する実データを出力として、学習モデルの学習を実行する(ステップS40)。機械学習部30は、例えば、学習データとなる、センサデータと実データとの組み合わせの一部を学習用データ、残りを検証用データとし、学習用データで学習を行い、検証用データで検証する。
If the
機械学習部30は、以上の処理で、センサデータが入力されると、対応する実データを出力する学習済みモデルを作成する。なお、学習済みモデルの作成方法は、一例でありこれに限定されない。上記実施形態では、教師あり学習として説明したが、学習モデルと実データとを準備し、教師無し学習で、センサデータに対する実データの特定を行うようにしてもよい。
Through the above processing, the
<評価用データ作成方法の他の例>
図4は、評価用データ作成装置の処理の一例を示すフローチャートである。図4に示す処理のうち、図2に示す処理を同じ処理は同じ符号を付して詳細な説明を省略する。
<Other examples of how to create evaluation data>
FIG. 4 is a flowchart showing an example of processing of the evaluation data creation device. Among the processes shown in FIG. 4, processes that are the same as those shown in FIG. 2 are given the same reference numerals, and detailed explanations are omitted.
演算部16は、シナリオ設定部22で、実行するシミュレーションのシナリオを決定する(ステップS12)。演算部16は、シナリオ設定部22で、シナリオに基づいて、使用する環境物体モデル、天候モデル、光源モデル、車両モデルを決定し、シナリオモデルを作成する(ステップS14)。演算部16は、決定したシナリオモデルをセンサモデルに入力し、センサデータを作成する(ステップS16)。
The calculation unit 16 uses the
演算部16は、センサデータを学習済みモデルに入力し、実データに変換する(ステップS52)。 The calculation unit 16 inputs the sensor data to the trained model and converts it into actual data (step S52).
演算部16は、作成した実データを保存する(ステップS22)。実データが評価用データとなる。 The calculation unit 16 stores the created actual data (step S22). Actual data becomes evaluation data.
評価用データ作成装置10は、図4に示すように、機械学習(深層学習)で作成した学習済みモデルを用いて、センサデータを実データに変換することで、各種条件の設定等を行わずに、データの変換を行うことができる。 As shown in FIG. 4, the evaluation data creation device 10 converts sensor data into actual data using a trained model created by machine learning (deep learning), without setting various conditions. , data conversion can be performed.
ここで、評価用データ作成装置10は、複数の学習済みモデルを用いてもよい。学習済みモデルを複数用いる場合は、分類する条件を設定し、それぞれの分類条件を満たすセンサデータと実データとの対応付けを行った学習データを作成する。機械学習部30は、学習データ毎に、機械学習を実行することで、分類する条件毎の学習済みモデルを作成する。
Here, the evaluation data creation device 10 may use a plurality of trained models. When using multiple trained models, the classification conditions are set and learning data is created in which sensor data that satisfies each classification condition is associated with actual data. The
図5は、評価用データ作成装置の処理の一例を示すフローチャートである。図5に示す処理のうち、図4に示す処理を同じ処理は同じ符号を付して詳細な説明を省略する。図5は、学習済モデルを、天候、光源の条件毎に学習済みモデルを作成している場合である。 FIG. 5 is a flowchart showing an example of processing of the evaluation data creation device. Among the processes shown in FIG. 5, the same processes as those shown in FIG. 4 are given the same reference numerals, and detailed description thereof will be omitted. FIG. 5 shows a case where trained models are created for each weather and light source condition.
演算部16は、シナリオ設定部22で、実行するシミュレーションのシナリオを決定する(ステップS12)。演算部16は、シナリオ設定部22で、シナリオに基づいて、使用する環境物体モデル、天候モデル、光源モデル、車両モデルを決定し、シナリオモデルを作成する(ステップS14)。演算部16は、決定したシナリオモデルをセンサモデルに入力し、センサデータを作成する(ステップS16)。
The calculation unit 16 uses the
演算部16は、実データ変換部26を用いて、天候モデル、光源モデルに基づいて使用する学習済みモデルを決定する(ステップS54)。実データ変換部26は、シナリオモデルの情報に基づいて、センサデータの天候、光源の条件を取得し、取得した条件に対応する学習済みモデルを決定する。演算部16は、センサデータを学習済みモデルに入力し、実データに変換する(ステップS56)。 The calculation unit 16 uses the actual data conversion unit 26 to determine a trained model to be used based on the weather model and the light source model (step S54). The actual data conversion unit 26 acquires the weather and light source conditions of the sensor data based on the information of the scenario model, and determines a learned model corresponding to the acquired conditions. The calculation unit 16 inputs the sensor data to the trained model and converts it into actual data (step S56).
演算部16は、作成した実データを保存する(ステップS22)。実データが評価用データとなる。 The calculation unit 16 stores the created actual data (step S22). Actual data becomes evaluation data.
このように、学習済みデータを条件毎に設けることで、実データを特定する精度を高くすることができる。シナリオモデルの条件で実際に走行した場合に得られる実データに近い実データを対応付けることができる。 In this way, by providing learned data for each condition, it is possible to increase the accuracy of identifying actual data. It is possible to associate actual data that is close to the actual data obtained when actually driving under the conditions of the scenario model.
本実施形態のように、天候、光源を分類の条件とすることで、シナリオモデルから作成したセンサデータでの判定が難しい条件を識別することができる。例えば、画像の場合、雨なのか雪なのか、曇っていて暗いのか夕方で暗いのか室内で暗いのか等で、学習結果が混在することを抑制できる。これにより、センサデータに基づいた実データの変換の精度をより高くすることができる。 By using weather and light sources as classification conditions as in this embodiment, it is possible to identify conditions that are difficult to determine using sensor data created from a scenario model. For example, in the case of images, it is possible to prevent the learning results from being mixed depending on whether it is raining or snowing, whether it is cloudy and dark, whether it is dark in the evening, whether it is dark indoors, etc. This makes it possible to further improve the accuracy of conversion of actual data based on sensor data.
評価用データ作成装置は、ユーザの入力に基づいて使用する学習済みデータを決定してもよい。図6は、評価用データ作成装置の処理の一例を示すフローチャートである。図6に示す処理のうち、図5に示す処理を同じ処理は同じ符号を付して詳細な説明を省略する。 The evaluation data creation device may determine learned data to be used based on user input. FIG. 6 is a flowchart showing an example of processing of the evaluation data creation device. Among the processes shown in FIG. 6, the same processes as those shown in FIG.
演算部16は、シナリオ設定部22で、実行するシミュレーションのシナリオを決定する(ステップS12)。演算部16は、シナリオ設定部22で、シナリオに基づいて、使用する環境物体モデル、天候モデル、光源モデル、車両モデルを決定し、シナリオモデルを作成する(ステップS14)。演算部16は、決定したシナリオモデルをセンサモデルに入力し、センサデータを作成する(ステップS16)。
The calculation unit 16 uses the
演算部16は、実データ変換部26を用いて、入力に基づいて使用する学習済みモデルを決定する(ステップS62)。実データ変換部26は、入力部12に入力された天候、光源の情報に基づいて、対応する学習済みモデルを決定する。演算部16は、センサデータを学習済みモデルに入力し、実データに変換する(ステップS56)。
The calculation unit 16 uses the actual data conversion unit 26 to determine a trained model to be used based on the input (step S62). The actual data conversion unit 26 determines a corresponding trained model based on the weather and light source information input to the
演算部16は、作成した実データを保存する(ステップS22)。実データが評価用データとなる。 The calculation unit 16 stores the created actual data (step S22). Actual data becomes evaluation data.
評価用データ作成装置10は、これにより、センサデータをユーザが必要とする天候、光源の条件の実データに変換することができる。なお、本実施形態ではユーザの入力としたが、他のデータベースから入力された情報としてもよい。 The evaluation data creation device 10 can thereby convert the sensor data into actual data of the weather and light source conditions required by the user. In this embodiment, the information is input by the user, but the information may be input from another database.
評価用データ作成装置10は、ステップS12で決定するシナリオの、天候、光源を1つの標準の設定としてもよい。これにより、モデルの作成の負荷を低減することができる。また、ユーザの任意の設定に基づいて学習済みモデルを選定する処理であるため、評価用データとなる実データの天候、光源として、ユーザが必要とする天候、光源の条件の実データに変換することができる。 The evaluation data creation device 10 may set the weather and light source of the scenario determined in step S12 as one standard setting. This makes it possible to reduce the burden of model creation. In addition, since the process selects a trained model based on the user's arbitrary settings, the actual weather and light source data used as evaluation data are converted into actual data of the weather and light source conditions required by the user. be able to.
評価用データ作成装置は、学習済みモデルを、環境物体モデルの条件毎に分類してもよい。図7は、評価用データ作成装置の処理の一例を示すフローチャートである。図7に示す処理のうち、図5に示す処理を同じ処理は同じ符号を付して詳細な説明を省略する。 The evaluation data creation device may classify the learned models for each condition of the environmental object model. FIG. 7 is a flowchart showing an example of processing of the evaluation data creation device. Among the processes shown in FIG. 7, processes that are the same as those shown in FIG.
演算部16は、シナリオ設定部22で、実行するシミュレーションのシナリオを決定する(ステップS12)。演算部16は、シナリオ設定部22で、シナリオに基づいて、使用する環境物体モデル、天候モデル、光源モデル、車両モデルを決定し、シナリオモデルを作成する(ステップS14)。演算部16は、決定したシナリオモデルをセンサモデルに入力し、センサデータを作成する(ステップS16)。
The calculation unit 16 uses the
演算部16は、実データ変換部26を用いて、環境物体モデルに基づいて使用する学習済みモデルを決定する(ステップS64)。実データ変換部26は、シナリオモデルの情報に基づいて、センサデータの天候、光源の条件を取得し、取得した条件に対応する学習済みモデルを決定する。演算部16は、センサデータを学習済みモデルに入力し、実データに変換する(ステップS56)。 The calculation unit 16 uses the actual data conversion unit 26 to determine a learned model to be used based on the environmental object model (step S64). The actual data conversion unit 26 acquires the weather and light source conditions of the sensor data based on the information of the scenario model, and determines a learned model corresponding to the acquired conditions. The calculation unit 16 inputs the sensor data to the trained model and converts it into actual data (step S56).
演算部16は、作成した実データを保存する(ステップS22)。実データが評価用データとなる。 The calculation unit 16 stores the created actual data (step S22). Actual data becomes evaluation data.
評価用データ作成装置10は、環境物体モデルを条件毎に分類し、人、ビル、樹木等が類似する条件で学習を行うことで、学習済みモデルの精度を高くすることができる。また、学習時に計算が発散することを抑制でき、モデルの作成負荷も低減できる。 The evaluation data creation device 10 can improve the accuracy of the learned model by classifying the environmental object models by condition and performing learning under similar conditions for people, buildings, trees, etc. Further, it is possible to suppress calculation divergence during learning, and reduce model creation load.
また、評価用データ作成装置10は、学習時に環境物体モデルも入力情報として入力することが好ましい。これにより、天候や光源(昼夜)で検出状態が変わる場合も、環境物理モデルの条件を処理しつつ対応付けることができる。これにより、検出精度をより高くすることができる。 Furthermore, it is preferable that the evaluation data creation device 10 also input an environmental object model as input information during learning. As a result, even if the detection state changes depending on the weather or the light source (day or night), the conditions of the environmental physical model can be processed and associated. Thereby, detection accuracy can be made higher.
<評価用データ作成装置の他の例>
図8は、評価用データ作成装置の一例を示すブロック図である。図8に示す評価用データ作成装置10aは、評価用データ作成装置10の構成に加え、天候光源変換部29と、第2学習済みモデル52とを含む。また、評価用データ作成装置10の学習済みモデルが、第1学習済みモデル50となる。評価用データ作成装置10は、データの変換処理を2回実行する。
<Other examples of evaluation data creation device>
FIG. 8 is a block diagram showing an example of an evaluation data creation device. In addition to the configuration of the evaluation data creation device 10, the evaluation
評価用データ作成装置10aは、第1学習済みモデル50と第2学習済みモデル52の2つの学習済みモデルを有する。第1学習済みモデル50は、上述したようにセンサデータを実データに変換する処理に用いる学習済みモデルである。第1学習済みモデル50は、天候、光源の条件を標準条件としたセンサモデルと実データとで学習を行い、作成される。
The evaluation
第2学習済みモデル52は、実データを天候、光源の条件が異なる実データに変換する処理に用いる学習済みモデルである。第2学習済みモデル52の作成方法は後述する。
The second trained
天候光源変換部29は、第2学習済みモデル52を用いて、実データ変換部26で作成した実データ(第一実データ)の天候と光源の条件を変更した第二実データを作成する。天候光源変換部29は、入力部12で入力された条件に基づいて天候と光源の条件を変更する。
The weather
図9は、機械学習部の動作の一例を示すフローチャートである。図9を用いて、機械学習部で実行する。機械学習部30は、光源、天候が標準条件の実データを取得する(ステップS72)。機械学習部30は、記憶部18に記憶された実データを取得しても、通信部15を介して実データ取得してもよい。
FIG. 9 is a flowchart showing an example of the operation of the machine learning section. This is executed by the machine learning section using FIG. The
機械学習部30は、光源、天候が標準条件とは異なる実データを取得する(ステップS74)。機械学習部30は、記憶部18に記憶された実データを取得しても、通信部15を介して実データ取得してもよい。
The
機械学習部30は、光源、天候以外が同じ条件の実データ同士の対応付けを実行する(ステップS76)。つまり、機械学習部30は、ステップS72で取得した実データとステップS74で作成したセンサデータとを対応付ける。
The
機械学習部30は、学習用のデータの作成が完了したかを判定する(ステップS78)。例えば、機械学習部30は、実データの組み合わせが、設定した数以上あるかを判定基準とする。
The
機械学習部30は、学習用のデータの作成が完了していない(ステップS78でNo)と判定した場合、ステップS72に戻り、センサデータと実データとの組み合わせをさらに作成する。
When the
機械学習部30は、学習用のデータの作成が完了した(ステップS78でYes)と判定した場合、標準条件の実データを入力とし、対応する実データを出力として、第2学習モデルの学習を実行する(ステップS80)。
When the
機械学習部30は、以上の処理で、標準条件の実データを異なる天候、光源の条件の実データに変換する第2学習済みモデルを作成する。
Through the above processing, the
図10は、評価用データ作成装置の処理の一例を示すフローチャートである。演算部16は、シナリオ設定部22で、実行するシミュレーションのシナリオを決定する(ステップS12)。演算部16は、シナリオ設定部22で、シナリオに基づいて、使用する環境物体モデル、車両モデルを決定し、シナリオモデルを作成する(ステップS90)。天候モデル、光源モデルは、標準条件のモデルとする。演算部16は、決定したシナリオモデルをセンサモデルに入力し、センサデータを作成する(ステップS16)。
FIG. 10 is a flowchart showing an example of processing of the evaluation data creation device. The calculation unit 16 uses the
演算部16は、第1学習済みモデルを決定する(ステップS92)。実データ変換部26は、シナリオモデルの情報や入力に基づいて、取得した条件に対応する学習済みモデルを決定する。なお、第1学習済みモデルは、1つの学習済みモデルとしてもよい。演算部16は、センサデータを第1学習済みモデルに入力し、第一実データに変換する(ステップS94)。 The calculation unit 16 determines the first learned model (step S92). The actual data conversion unit 26 determines a learned model corresponding to the acquired conditions based on the information and input of the scenario model. Note that the first trained model may be one trained model. The calculation unit 16 inputs the sensor data to the first trained model and converts it into first actual data (step S94).
演算部16は、天候光源変換部29を用いて、入力に基づいて使用する第2学習済みモデルを決定する(ステップS96)。天候光源変換部29は、入力部12に入力された天候、光源の情報に基づいて、対応する第2学習済みモデルを決定する。演算部16は、第一実データを第二学習済みモデルに入力し、第二実データに変換する(ステップS98)。
The calculation unit 16 uses the weather light
演算部16は、作成した第二実データを保存する(ステップS99)。第二実データが評価用データとなる。 The calculation unit 16 stores the created second actual data (step S99). The second actual data becomes evaluation data.
評価用データ作成装置10aは、変換処理を2回行うことで、センサデータ作成部24作成するセンサデータのシナリオのうち、天候、光源のデータを基準条件とすることができる。これにより、センサデータの作成の負荷を小さくすることができる。また、第1学習済みモデルの作成の負荷も小さくすることができる。
By performing the conversion process twice, the evaluation
評価用データ作成装置10aは、天候光源変換部29で、天候、光源の条件を変更することで、センサデータから変換した第一実データを、所望の天候、光源の条件の第二実データに変換することができる。
The evaluation
また、評価用データ作成装置10aは、第2学習済みモデルとして、対応する実データを選択する処理を実行する機械学習としてもよいが、教師データに基づいて、第一実データを第二実データに変換する処理を学習する機械学習とすることが好ましい。評価用データ作成装置10aは、基準状態から所望の天候、光源に変換できる第2学習済みモデル52を用いることで、天候、光源の影響をより高い精度で変換、補正することができる。これにより、天候、光源を変化させた種々の第二実データを作成することができ、評価用データをより多く作成することができる。
Furthermore, the evaluation
また、上記実施形態では、実データに対して天候、光源を変更する処理を行ったが、変更する処理は、天候、光源に限定されない。シナリオで設定する種々の条件に基づいて、実データの変更、つまり、実データの補正処理を行ってもよい。これにより、シナリオにより近い実データとすることができる。また、補正処理ができることで、条件が異なる評価用データをより多く作成することができる。 Furthermore, in the embodiment described above, the process of changing the weather and the light source is performed on the actual data, but the process of changing is not limited to the weather and the light source. The actual data may be changed, that is, the actual data may be corrected based on various conditions set in the scenario. This allows the actual data to be closer to the scenario. Furthermore, by being able to perform correction processing, it is possible to create more evaluation data with different conditions.
本開示は、以下の発明を開示している。なお、下記に限定されない。
(1)車両の自動運転及び車両の運転支援機能の少なくとも一方を評価する評価用データを作成する評価用データ作成装置であって、前記車両の走行を再現するシナリオを設定するシナリオ設定部と、前記車両のセンサをモデル化したセンサモデルを用いて、前記シナリオ設定部で設定したシナリオを前記車両が走行した場合に取得されるセンサデータを作成するセンサデータ作成部と、前記センサデータ作成部で作成したセンサデータに、前記車両のセンサで取得したデータである実データを対応付け、対応付けた実データに基づいて前記センサデータを変換して、評価用データである変換実データを作成する実データ変換部と、を含む評価用データ作成装置。
This disclosure discloses the following inventions. Note that the examples are not limited to the following.
(1) An evaluation data creation device that creates evaluation data for evaluating at least one of automatic driving of a vehicle and a driving support function of the vehicle, the scenario setting unit that sets a scenario that reproduces the driving of the vehicle; a sensor data creation unit that creates sensor data obtained when the vehicle runs a scenario set by the scenario setting unit, using a sensor model that models the sensor of the vehicle; An implementation for associating the created sensor data with actual data that is data acquired by a sensor of the vehicle, converting the sensor data based on the associated actual data, and creating converted actual data that is evaluation data. An evaluation data creation device including a data conversion section.
これにより、センサモデルから実データに近い値を出力するための精緻なモデルを作成せずに、実際の走行した場合に近い、評価用データを作成することができる。また、シナリオモデルとして簡素なモデルを用いつつ、高い精度の評価ができる評価用データを作成できるため、評価用データの作成にかかる時間を低減することができ、処理を簡単にすることができる。 Thereby, it is possible to create evaluation data that is close to actual driving without creating a sophisticated model for outputting values close to actual data from the sensor model. Further, since it is possible to create evaluation data that allows highly accurate evaluation while using a simple model as a scenario model, the time required to create evaluation data can be reduced and processing can be simplified.
(2)前記実データを記憶する記憶部を有し、前記実データ変換部が取得したセンサデータと、前記記憶部に記憶した実データとを比較し、前記センサデータに対応付ける実データを決定する対応付け処理部を有する(1)に記載の評価用データ作成装置。実データを対応付けることで、評価用データが実際のセンサの検出と乖離することを抑制できる。 (2) having a storage unit for storing the actual data, comparing the sensor data acquired by the actual data conversion unit with the actual data stored in the storage unit, and determining actual data to be associated with the sensor data; The evaluation data creation device according to (1), including a correlation processing section. By correlating the actual data, it is possible to prevent the evaluation data from deviating from the actual sensor detection.
(3)前記センサデータと前記実データとが対応付けられた学習データを用いて、前記センサデータを入力とし、対応する実データを出力として学習した学習済モデルで、前記センサデータを処理し、前記センサデータに対応付ける実データを決定する対応付け処理部を有する(1)に記載の評価用データ作成装置。学習済みモデルを用いることで、対応付け処理の負荷を低減することができる。 (3) using learning data in which the sensor data and the actual data are associated, processing the sensor data with a trained model that has been trained with the sensor data as input and the corresponding actual data as output; The evaluation data creation device according to (1), further comprising an association processing unit that determines actual data to be associated with the sensor data. By using a trained model, the load of the mapping process can be reduced.
(4)前記対応付け処理部は、シナリオの条件で分類した複数の学習済モデルを有し、前記シナリオ設定部で設定したシナリオに基づいて使用する学習済みモデルを決定する(3)に記載の評価用データ作成装置。これにより、学習済みモデルの精度を高くすることができる。また、学習時に計算が発散することを抑制でき、モデルの作成負荷も低減できる。 (4) The association processing unit has a plurality of trained models classified according to scenario conditions, and determines the trained model to be used based on the scenario set by the scenario setting unit. Evaluation data creation device. This makes it possible to increase the accuracy of the trained model. Further, it is possible to suppress calculation divergence during learning, and reduce model creation load.
(5)前記対応付け処理部は、シナリオの天候及び周囲の光源の少なくとも一方に基づいて、使用する学習済みモデルを決定する(4)に記載の評価用データ作成装置。天候、光源を分類の条件とすることで、シナリオモデルから作成したセンサデータでの判定が難しい条件を識別することができる。例えば、画像の場合、雨なのか雪なのか、曇っていて暗いのか夕方で暗いのか室内で暗いのか等で、学習結果が混在することを抑制できる。これにより、センサデータに基づいた実データの変換の精度をより高くすることができる。 (5) The evaluation data creation device according to (4), wherein the association processing unit determines a trained model to be used based on at least one of the weather of the scenario and the surrounding light source. By using weather and light sources as classification conditions, it is possible to identify conditions that are difficult to judge using sensor data created from a scenario model. For example, in the case of images, it is possible to prevent the learning results from being mixed depending on whether it is raining or snowing, whether it is cloudy and dark, whether it is dark in the evening, whether it is dark indoors, etc. This makes it possible to further improve the accuracy of conversion of actual data based on sensor data.
(6)入力を検出する入力部を有し、前記対応付け処理部は、前記入力部で検出した入力に基づいて、使用する学習済みモデルを決定する(4)または(5)に記載の評価用データ作成装置。これにより、ユーザが必要とする条件に対応する実データに変換することができる。 (6) The evaluation according to (4) or (5), further comprising an input unit that detects an input, wherein the association processing unit determines a trained model to be used based on the input detected by the input unit. data creation device. Thereby, it is possible to convert the data into actual data that corresponds to the conditions required by the user.
(7)前記対応付け処理部は、車両の周囲環境に基づいて、使用する学習済みモデルを決定する(4)から(6)のいずれかに記載の評価用データ作成装置。これにより、学習済みモデルの精度を高くすることができる。また、学習時に計算が発散することを抑制でき、モデルの作成負荷も低減できる。 (7) The evaluation data creation device according to any one of (4) to (6), wherein the association processing unit determines a trained model to be used based on the surrounding environment of the vehicle. This makes it possible to increase the accuracy of the trained model. Further, it is possible to suppress calculation divergence during learning, and reduce model creation load.
(8)前記実データ変換部で作成した変換実データに対して、前記シナリオから天候及び周囲の光源の少なくとも一方を変換する処理を行い、第二変換実データを作成する天候・光源変換部を有する(1)から(7)のいずれか一つに記載の評価用データ作成装置。これにより、センサデータの作成の負荷を小さくすることができ、評価用データをより多く作成することができる。 (8) A weather/light source conversion unit that performs a process of converting at least one of weather and surrounding light sources from the scenario to the converted actual data created by the actual data conversion unit, and creates second converted actual data. The evaluation data creation device according to any one of (1) to (7). Thereby, the load of creating sensor data can be reduced, and more evaluation data can be created.
(9)天候・光源変換部は、天候及び周囲の光源の少なくとも一方が異なる実データが対応付けられ、前記シナリオ作成部で作成するシナリオの天候及び周囲の光源の実データを入力とし、天候及び周囲の光源の少なくとも一方が異なる対応付けられた実データを出力として学習した学習済みモデルで、変換実データを前記第二変換実データに変換する(8)に記載の評価用データ作成装置。これにより、シナリオにより近い実データとすることができる。また、補正処理ができることで、条件が異なる評価用データをより多く作成することができる。 (9) The weather/light source conversion unit is associated with actual data in which at least one of the weather and the surrounding light sources is different, receives the actual data of the weather and the surrounding light sources of the scenario created by the scenario creation unit, and receives the weather and the surrounding light sources as input. The evaluation data creation device according to (8), which converts the converted actual data into the second converted actual data using a learned model that is trained by outputting actual data that is associated with a different at least one of the surrounding light sources. This allows the actual data to be closer to the scenario. Furthermore, by being able to perform correction processing, it is possible to create more evaluation data with different conditions.
(10)車両の自動運転及び車両の運転支援機能の少なくとも一方運転支援機能を評価する評価用データを作成する評価用データ作成方法であって、前記車両の走行を再現するシナリオを設定するステップと、記車両のセンサをモデル化したセンサモデルを用いて、前記シナリオ設定部で設定したシナリオを前記車両が走行した場合に取得されるセンサデータを作成するステップと、作成したセンサデータに、前記車両のセンサで取得したデータである実データを対応付け、対応付けた実データに基づいて前記センサデータを変換して、評価用データである変換実データを作成するステップと、を含む評価用データ作成方法。 (10) An evaluation data creation method for creating evaluation data for evaluating at least one of a vehicle's automatic driving and a vehicle's driving support function, the step comprising: setting a scenario for reproducing the driving of the vehicle; , using a sensor model that models the sensor of the vehicle, creating sensor data that will be acquired when the vehicle runs the scenario set by the scenario setting section; Creating evaluation data, including the step of associating actual data that is data acquired by a sensor, and converting the sensor data based on the associated actual data to create converted actual data that is evaluation data. Method.
これにより、センサモデルから実データに近い値を出力するための精緻なモデルを作成せずに、実際の走行した場合に近い、評価用データを作成することができる。また、シナリオモデルとして簡素なモデルを用いつつ、高い精度の評価ができる評価用データを作成できるため、評価用データの作成にかかる時間を低減することができ、処理を簡単にすることができる。 Thereby, it is possible to create evaluation data that is close to actual driving without creating a sophisticated model for outputting values close to actual data from the sensor model. Further, since it is possible to create evaluation data that allows highly accurate evaluation while using a simple model as a scenario model, the time required to create evaluation data can be reduced and processing can be simplified.
(11)車両の自動運転及び車両の運転支援機能の少なくとも一方運転支援機能を評価する評価用データを作成する評価用データ作成プログラムであって、前記車両の走行を再現するシナリオを設定するステップと、前記車両のセンサをモデル化したセンサモデルを用いて、設定したシナリオを前記車両が走行した場合に取得されるセンサデータを作成するステップと、作成したセンサデータに、前記車両のセンサで取得したデータである実データを対応付け、対応付けた実データに基づいて前記センサデータを変換して、評価用データである変換実データを作成するステップと、を含む処理を実行させる評価用データ作成プログラム。 (11) An evaluation data creation program for creating evaluation data for evaluating at least one of a vehicle's automatic driving and a vehicle's driving support function, the step of setting a scenario for reproducing the driving of the vehicle; , using a sensor model that models the sensors of the vehicle to create sensor data that will be acquired when the vehicle travels through a set scenario; An evaluation data creation program that executes a process including the step of associating actual data that is data, converting the sensor data based on the associated actual data, and creating converted actual data that is evaluation data. .
これにより、センサモデルから実データに近い値を出力するための精緻なモデルを作成せずに、実際の走行した場合に近い、評価用データを作成することができる。また、シナリオモデルとして簡素なモデルを用いつつ、高い精度の評価ができる評価用データを作成できるため、評価用データの作成にかかる時間を低減することができ、処理を簡単にすることができる。 Thereby, it is possible to create evaluation data that is close to actual driving without creating a sophisticated model for outputting values close to actual data from the sensor model. Further, since it is possible to create evaluation data that allows highly accurate evaluation while using a simple model as a scenario model, the time required to create evaluation data can be reduced and processing can be simplified.
6 ECU
8 評価装置
10 評価用データ作成装置
12 入力部
14 出力部
15 通信部
16 演算部
18 記憶部
22 シナリオ設定部
24 センサデータ作成部
26 実データ変換部
28 対応付け処理部
30 機械学習部
32 データ作成プログラム
34 学習プログラム
36 シナリオモデル
37 環境物体モデル
38 天候モデル
40 光源モデル
42 車両モデル
44 センサモデル
46 対応付けテーブル
48 実データ
50 学習済みモデル
6 ECU
8 Evaluation device 10 Evaluation
Claims (11)
前記車両の走行を再現するシナリオを設定するシナリオ設定部と、
前記車両のセンサをモデル化したセンサモデルを用いて、前記シナリオ設定部で設定したシナリオを前記車両が走行した場合に取得されるセンサデータを作成するセンサデータ作成部と、
前記センサデータ作成部で作成したセンサデータに、前記車両のセンサで取得したデータである実データを対応付け、対応付けた実データに基づいて前記センサデータを変換して、評価用データである変換実データを作成する実データ変換部と、を含む評価用データ作成装置。 An evaluation data creation device that creates evaluation data for evaluating at least one of automatic driving of a vehicle and a driving support function of a vehicle, the device comprising:
a scenario setting unit that sets a scenario for reproducing the driving of the vehicle;
a sensor data creation unit that creates sensor data that is acquired when the vehicle runs a scenario set by the scenario setting unit, using a sensor model that models sensors of the vehicle;
The sensor data created by the sensor data creation unit is associated with actual data, which is data acquired by the sensor of the vehicle, and the sensor data is converted based on the associated actual data, thereby converting the sensor data to be evaluation data. An evaluation data creation device including an actual data conversion unit that creates actual data.
前記実データ変換部が取得したセンサデータと、前記記憶部に記憶した実データとを比較し、前記センサデータに対応付ける実データを決定する対応付け処理部を有する請求項1に記載の評価用データ作成装置。 comprising a storage unit that stores the actual data;
The evaluation data according to claim 1, further comprising a correlation processing unit that compares the sensor data acquired by the actual data conversion unit and the actual data stored in the storage unit, and determines actual data to be associated with the sensor data. Creation device.
前記対応付け処理部は、前記入力部で検出した入力に基づいて、使用する学習済みモデルを決定する請求項4に記載の評価用データ作成装置。 has an input section that detects input;
The evaluation data creation device according to claim 4, wherein the association processing unit determines a trained model to be used based on the input detected by the input unit.
前記車両の走行を再現するシナリオを設定するステップと、
前記車両のセンサをモデル化したセンサモデルを用いて、前記シナリオ設定部で設定したシナリオを前記車両が走行した場合に取得されるセンサデータを作成するステップと、
作成したセンサデータに、前記車両のセンサで取得したデータである実データを対応付け、対応付けた実データに基づいて前記センサデータを変換して、評価用データである変換実データを作成するステップと、を含む評価用データ作成方法。 An evaluation data creation method for creating evaluation data for evaluating at least one of a vehicle's automatic driving and a vehicle's driving support function, the method comprising:
setting a scenario that reproduces the driving of the vehicle;
Using a sensor model that models the sensors of the vehicle, creating sensor data that will be acquired when the vehicle runs the scenario set by the scenario setting unit;
A step of associating the created sensor data with actual data that is data acquired by a sensor of the vehicle, converting the sensor data based on the associated actual data, and creating converted actual data that is evaluation data. and an evaluation data creation method including.
前記車両の走行を再現するシナリオを設定するステップと、
前記車両のセンサをモデル化したセンサモデルを用いて、設定したシナリオを前記車両が走行した場合に取得されるセンサデータを作成するステップと、
作成したセンサデータに、前記車両のセンサで取得したデータである実データを対応付け、対応付けた実データに基づいて前記センサデータを変換して、評価用データである変換実データを作成するステップと、を含む処理を実行させる評価用データ作成プログラム。 An evaluation data creation program that creates evaluation data for evaluating at least one of a vehicle's automatic driving and a vehicle's driving support function, the program comprising:
setting a scenario that reproduces the driving of the vehicle;
creating sensor data to be obtained when the vehicle travels through a set scenario using a sensor model that models the sensors of the vehicle;
A step of associating the created sensor data with actual data that is data acquired by a sensor of the vehicle, converting the sensor data based on the associated actual data, and creating converted actual data that is evaluation data. An evaluation data creation program that executes processing including.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022075352A JP2023164047A (en) | 2022-04-28 | 2022-04-28 | Evaluation data preparation device, evaluation data preparation method, and evaluation data preparation program |
PCT/JP2023/006272 WO2023210132A1 (en) | 2022-04-28 | 2023-02-21 | Evaluation data creation device, evaluation data creation method, and evaluation data creation program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022075352A JP2023164047A (en) | 2022-04-28 | 2022-04-28 | Evaluation data preparation device, evaluation data preparation method, and evaluation data preparation program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023164047A true JP2023164047A (en) | 2023-11-10 |
Family
ID=88518561
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022075352A Pending JP2023164047A (en) | 2022-04-28 | 2022-04-28 | Evaluation data preparation device, evaluation data preparation method, and evaluation data preparation program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2023164047A (en) |
WO (1) | WO2023210132A1 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6549892B2 (en) * | 2014-05-19 | 2019-07-24 | 株式会社堀場製作所 | Vehicle test system, test management device, test management program, and vehicle test method |
DE102015224558A1 (en) * | 2015-12-08 | 2017-06-08 | Robert Bosch Gmbh | Method for validating a driver assistance function of a motor vehicle |
JP6946861B2 (en) * | 2017-08-29 | 2021-10-13 | トヨタ自動車株式会社 | Automatic driving evaluation device and automatic driving evaluation method |
-
2022
- 2022-04-28 JP JP2022075352A patent/JP2023164047A/en active Pending
-
2023
- 2023-02-21 WO PCT/JP2023/006272 patent/WO2023210132A1/en unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023210132A1 (en) | 2023-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10832478B2 (en) | Method and system for virtual sensor data generation with depth ground truth annotation | |
US20200074230A1 (en) | Automatically generating training data for a lidar using simulated vehicles in virtual space | |
JP2021534484A (en) | Procedural world generation | |
US12097873B2 (en) | Dynamic sensor data augmentation via deep learning loop | |
KR102068473B1 (en) | Simulation method and apparatus vehicle | |
CN106198049A (en) | Real vehicles is at ring test system and method | |
US12106575B2 (en) | Method for operating a driver assistance system of a vehicle and driver assistance system for a vehicle | |
Wang et al. | Simulation and application of cooperative driving sense systems using prescan software | |
JP2019093896A (en) | Information processing device, classification method and computer program | |
CN114625637A (en) | Testing method and evaluation method based on dynamic virtual scene | |
JP2023168244A (en) | Method and system for calibration and validation of advanced driver assistance system (adas) and/or automated driving system (ads), and computer program product | |
JPWO2018173933A1 (en) | Information processing apparatus, traveling data processing method, vehicle, and program | |
US11919530B2 (en) | Method and system for validating an autonomous vehicle stack | |
US20230278582A1 (en) | Trajectory value learning for autonomous systems | |
CN114077785A (en) | Method and device for constructing simulation test scene of vehicle | |
WO2023123130A1 (en) | Method and apparatus for autonomous driving system, electronic device and medium | |
WO2023210132A1 (en) | Evaluation data creation device, evaluation data creation method, and evaluation data creation program | |
CN109683491B (en) | Vehicle-mounted camera simulation system | |
CN112462759B (en) | Evaluation method, system and computer storage medium of rule control algorithm | |
CN113421298A (en) | Vehicle distance measuring method, vehicle control device, vehicle and readable storage medium | |
US20230298263A1 (en) | Real world object reconstruction and representation | |
CN207965887U (en) | A kind of driving style device for identifying of novel differentiation operating mode | |
US11565711B2 (en) | System and method for generating vehicle speed alerts | |
Sural et al. | CoSim: A Co-Simulation Framework for Testing Autonomous Vehicles in Adverse Operating Conditions | |
WO2023058178A1 (en) | Simulation device, simulation method, and simulation program |