JP7045103B1 - Data Expansion Devices, Data Expansion Systems, and Data Expansion Programs - Google Patents
Data Expansion Devices, Data Expansion Systems, and Data Expansion Programs Download PDFInfo
- Publication number
- JP7045103B1 JP7045103B1 JP2020191255A JP2020191255A JP7045103B1 JP 7045103 B1 JP7045103 B1 JP 7045103B1 JP 2020191255 A JP2020191255 A JP 2020191255A JP 2020191255 A JP2020191255 A JP 2020191255A JP 7045103 B1 JP7045103 B1 JP 7045103B1
- Authority
- JP
- Japan
- Prior art keywords
- data
- information
- target
- unit
- expansion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】機械学習のためのデータ拡張を支援するデータ拡張装置、データ拡張システム、及びデータ拡張方法を提供する。【解決手段】機械学習のためのデータ拡張を支援するデータ拡張装置1であって、データ拡張を行う対象の対象データと、対象データに付与されるアノテーション情報とを含む拡張対象情報を取得する取得部と、アノテーション情報に基づいて指標情報を生成する生成部と、生成部により生成された指標情報に基づいて、新しい対象データを生成し、生成した新しい対象データを含む拡張データを生成するデータ拡張部を備える。【選択図】図1PROBLEM TO BE SOLVED: To provide a data expansion device, a data expansion system, and a data expansion method for supporting data expansion for machine learning. SOLUTION: This is a data expansion device 1 that supports data expansion for machine learning, and is an acquisition of acquiring expansion target information including target data to be data expansion and annotation information given to the target data. Data extension that generates new target data based on the part, the generation part that generates index information based on the annotation information, and the index information generated by the generation part, and generates extended data including the generated new target data. It has a part. [Selection diagram] Fig. 1
Description
本発明は、機械学習のためのデータ拡張を支援するデータ拡張装置、データ拡張システム、及びデータ拡張プログラムに関する。データ拡張装置、データ拡張システム、及びデータ拡張プログラムに関する。 The present invention relates to a data expansion device, a data expansion system, and a data expansion program that support data expansion for machine learning. Regarding data expansion devices, data expansion systems, and data expansion programs .
従来、機械学習のためのデータ拡張するシステムとして、例えば特許文献1のX線画像物体認識システムが提案されている。
Conventionally, as a data expansion system for machine learning, for example, the X-ray image object recognition system of
特許文献1に開示されたX線画像物体認識システムは、物体のX線画像と、物体に対応する正解ラベルとを含む学習セットを用いて機械学習を行う学習ネットワークと、学習セットから、物体のX線撮影時の撮影条件を導くための撮影情報を算出する撮影情報算出部と、撮影情報に基づいて、X線画像から新たなX線画像を作成するデータ拡張を行う際に用いるデータ拡張パラメータを決定するデータ拡張パラメータ決定部と、データ拡張パラメータに基づいてデータ拡張を行い、取得した新たなX線画像と正解ラベルとを用いて学習ネットワークを機械学習させる学習処理部とを備えることを特徴とする。
The X-ray image object recognition system disclosed in
ここで、機械学習に用いる学習画像の枚数が不足している場合、現状では、回転や拡大・縮小などを用いて、1枚の画像から複数枚の新たな画像を生成することでデータ拡張を行っている。このため、検出対象のパターンが多い場合には、ランダムにデータ拡張を行うことが可能であるが、形や色が変化しない特定のパターンのみを検出する場合は、ランダムに学習させるよりも、限定したデータ拡張の手法を適用することでデータ拡張の精度が向上する。これにより、実際にはあり得ないパターンを拡張して学習してしまうことを防ぐことができるが、全ての検出パターンを確認する必要があり、多大な工数と時間がかかり、適切、適確なデータ拡張を迅速に行えない懸念が挙げられる。 Here, when the number of learning images used for machine learning is insufficient, at present, data expansion is performed by generating a plurality of new images from one image by using rotation, enlargement / reduction, and the like. Is going. Therefore, if there are many patterns to be detected, it is possible to perform data expansion at random, but if only a specific pattern whose shape or color does not change is detected, it is more limited than learning at random. The accuracy of data expansion is improved by applying the above-mentioned data expansion method. This can prevent the learning from expanding the pattern that is not possible in reality, but it is necessary to check all the detection patterns, which takes a lot of man-hours and time, and is appropriate and appropriate. There is a concern that data expansion cannot be performed quickly.
この点、特許文献1の開示技術では、予め用意される学習セットから、物体のX線撮影時の撮影条件を導くための撮影情報を算出し、算出した撮影情報に基づいて決定されるデータ拡張パラメータに基づいてデータ拡張を行う。このため、撮影情報を算出するための学習セットが存在しない場合、またはデータ拡張の元となる対象データが少数・少量の場合には、撮影時の撮影条件を導くためのデータ拡張パラメータが不足し、適切、適確なデータ拡張を迅速に行うことができない。このような事情により、機械学習におけるデータ拡張の精度の向上が望まれている。
In this regard, in the disclosure technique of
そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、機械学習におけるデータ拡張の精度の向上を図ることができるデータ拡張装置、データ拡張システム、及びデータ拡張プログラムを提供することにある。 Therefore, the present invention has been devised in view of the above-mentioned problems, and an object thereof is a data expansion device, a data expansion system, and a data expansion system capable of improving the accuracy of data expansion in machine learning. It is to provide a data extension program .
第1発明に係るデータ拡張装置は、機械学習のためのデータ拡張を支援するデータ拡張装置であって、対象物が撮影された対象画像に含まれ、前記対象物の画像と合わせて前記データ拡張を行う対象の対象データと、前記対象データに付与される前記対象データを識別する識別情報、前記対象データの特徴を示す特徴情報、前記対象画像における位置を示す座標情報、及び前記対象データの発生した工程を示す工程情報を少なくとも含むアノテーション情報とを含む拡張対象情報を取得する取得部と、前記取得部により取得された前記アノテーション情報に基づいて、異なる特性を示す複数の指標情報を生成する生成部と、前記生成部により生成された前記指標情報を出力する出力部と、前記出力部により出力された前記指標情報に基づいて、新しい対象データを生成し、生成した新しい前記対象データを含む拡張データを生成するデータ拡張部と、を備えることを特徴とする。 The data expansion device according to the first invention is a data expansion device that supports data expansion for machine learning, and is included in a target image in which an object is captured, and the data expansion is combined with the image of the object. The target data of the target to be performed, the identification information given to the target data for identifying the target data, the feature information indicating the characteristics of the target data, the coordinate information indicating the position in the target image, and the generation of the target data. An acquisition unit that acquires extended target information including at least annotation information that includes process information indicating the process that has been performed, and a generation that generates a plurality of index information that exhibits different characteristics based on the annotation information acquired by the acquisition unit. An extension that generates new target data based on the unit, an output unit that outputs the index information generated by the generation unit, and the index information output by the output unit , and includes the generated new target data. It is characterized by including a data extension unit for generating data.
第2発明に係るデータ拡張装置は、第1発明において、前記取得部により取得される前記対象データは、画像データ、映像データ、又はテキストデータの少なくとも何れかのデータであること、を特徴とする。 The data expansion device according to the second invention is characterized in that, in the first invention, the target data acquired by the acquisition unit is at least one of image data, video data, and text data. ..
第3発明に係るデータ拡張装置は、第1発明又は第2発明において、前記生成部により生成される前記指標情報は、前記対象データに紐づく識別情報、及び前記拡張対象情報の特徴を示す縦横長情報、回転情報、傾き情報、色相情報、彩度情報、明度情報、輝度情報、線形度情報、座標情報、分布情報、範囲情報、偏差情報、データ強度情報、又はパターン情報の少なくとも何れかを含むこと、を特徴とする。 In the data expansion device according to the third invention, in the first invention or the second invention, the index information generated by the generation unit indicates identification information associated with the target data and vertical and horizontal characteristics of the expansion target information. At least one of length information, rotation information, tilt information, hue information, saturation information, brightness information, brightness information, linearity information, coordinate information, distribution information, range information, deviation information, data intensity information, or pattern information. It is characterized by including.
第4発明に係るデータ拡張装置は、第1発明~第3発明の何れかにおいて、前記出力部により出力された複数の前記指標情報を調整する調整部をさらに備え、前記データ拡張部は、前記調整部により調整された前記指標情報に基づき前記対象データを拡張し、拡張データを生成すること、を特徴とする。 The data expansion device according to the fourth invention further includes an adjustment unit for adjusting a plurality of the index information output by the output unit in any one of the first invention to the third invention, and the data expansion unit is the said. It is characterized in that the target data is expanded based on the index information adjusted by the adjusting unit to generate extended data.
第5発明に係るデータ拡張装置は、第1発明~第4発明の何れかにおいて、予め取得された過去の拡張対象情報に含まれる複数のデータと、前記過去の拡張対象情報に紐づく参照情報に含まれる複数のデータと、の間における重み変数に対応する複数の連関度を有する連関性が記憶された参照データベースと、前記取得部により取得された前記拡張対象情報に基づいて、 前記参照データベースを参照し、前記連関性に基づき算出された解に紐づく最適な前記参照情報を選択し、最適な前記参照情報に基づき複数の前記指標情報を含む評価結果を生成する評価部と、をさらに備え、前記出力部は、前記評価部により生成された前記評価結果を出力すること、を特徴とする。 The data expansion device according to the fifth invention is the plurality of data included in the past expansion target information acquired in advance in any one of the first invention to the fourth invention, and reference information associated with the past expansion target information. A reference database that stores a plurality of data contained in the data and a reference database that stores a relationship having a plurality of degrees of association corresponding to a weight variable between the data, and the reference database based on the extended target information acquired by the acquisition unit. Further, an evaluation unit that selects the optimum reference information associated with the solution calculated based on the association and generates an evaluation result including a plurality of the index information based on the optimum reference information. The output unit is characterized in that it outputs the evaluation result generated by the evaluation unit.
第6発明に係るデータ拡張システムは、機械学習のためのデータ拡張を支援するデータ拡張システムであって、対象物が撮影された対象画像に含まれ、前記対象物と合わせて前記データ拡張を行う対象の対象データと、前記対象データに付与される前記対象データを識別する識別情報、前記対象データの特徴を示す特徴情報、前記対象画像における位置を示す座標情報、及び前記対象データの発生した工程を示す工程情報を少なくとも含むアノテーション情報とを含む拡張対象情報を取得する取得手段と、前記取得手段により取得された前記アノテーション情報に基づいて、異なる特性を示す複数の指標情報を生成する生成手段と、前記生成手段により生成された前記指標情報を出力する出力手段と、前記出力手段により出力された前記指標情報に基づいて、新しい対象データを生成し、生成した新しい前記対象データを含む拡張データを生成するデータ拡張手段と、を備えることを特徴とする。 The data expansion system according to the sixth invention is a data expansion system that supports data expansion for machine learning, and the object is included in a captured target image, and the data expansion is performed together with the object. Target data, identification information that identifies the target data given to the target data, feature information that indicates the characteristics of the target data, coordinate information that indicates the position in the target image, and a process in which the target data is generated. An acquisition means for acquiring extended target information including at least annotation information including process information indicating the above, and a generation means for generating a plurality of index information showing different characteristics based on the annotation information acquired by the acquisition means. , An output means that outputs the index information generated by the generation means, and an extended data including the new target data generated by generating new target data based on the index information output by the output means. It is characterized by comprising a data expanding means for generating.
第7発明に係るデータ拡張プログラムは、機械学習のためのデータ拡張を支援するデータ拡張プログラムであって、対象物が撮影された対象画像に含まれ、前記対象物と合わせて前記データ拡張を行う対象の対象データと、前記対象データに付与される前記対象データを識別する識別情報、前記対象データの特徴を示す特徴情報、前記対象画像における位置を示す座標情報、及び前記対象データの発生した工程を示す工程情報を少なくとも含むアノテーション情報とを含む拡張対象情報を取得する取得ステップと、前記取得ステップにより取得された前記アノテーション情報に基づいて、異なる特性を示す複数の指標情報を生成する生成ステップと、前記生成ステップにより生成された前記指標情報を出力する出力ステップと、前記出力ステップにより出力された前記指標情報に基づいて、新しい対象データを生成し、生成した新しい前記対象データを含む拡張データを生成するデータ拡張ステップと、をコンピュータに実行させることを特徴とする。 The data expansion program according to the seventh invention is a data expansion program that supports data expansion for machine learning, is included in an object image in which an object is captured, and performs the data expansion together with the object. Target data, identification information that identifies the target data given to the target data, feature information that indicates the characteristics of the target data, coordinate information that indicates the position in the target image, and a process in which the target data is generated. An acquisition step for acquiring extended target information including at least annotation information including process information indicating the above, and a generation step for generating a plurality of index information showing different characteristics based on the annotation information acquired by the acquisition step. , An output step that outputs the index information generated by the generation step, and an extended data including the generated new target data by generating new target data based on the index information output by the output step. It is characterized by having a computer execute a data expansion step to be generated.
第1発明~第5発明によれば、取得部は、データ拡張を行う対象物の対象データと、対象データに付与されるアノテーション情報とを含む拡張対象情報を取得する。このため、対象データとアノテーション情報とに基づき、拡張データを生成するための複数の指標情報を生成することができる。これにより、機械学習におけるデータ拡張の精度の向上を図ることが可能となる。 According to the first to fifth inventions, the acquisition unit acquires the expansion target information including the target data of the object for which the data is expanded and the annotation information given to the target data. Therefore, it is possible to generate a plurality of index information for generating extended data based on the target data and the annotation information. This makes it possible to improve the accuracy of data expansion in machine learning.
また、第1発明~第5発明によれば、生成部は、アノテーション情報に基づいて、異なる特性を示す指標情報を生成する。このため、異なる特性を示す指標情報に基づき、様々にデータ拡張された拡張データを生成することができる。これにより、機械学習におけるデータ拡張の精度の向上を図ることが可能となる。 Further, according to the first to fifth inventions, the generation unit generates index information showing different characteristics based on the annotation information. Therefore, it is possible to generate extended data with various data extensions based on the index information showing different characteristics. This makes it possible to improve the accuracy of data expansion in machine learning.
特に、第2発明によれば、対象データは、画像データ、映像データ、又はテキストデータの少なくとも何れかのデータである。このため、対象データの種類に応じた指標情報を生成することができる。これにより、機械学習におけるデータ拡張の精度の向上を図ることが可能となる。 In particular, according to the second invention, the target data is at least one of image data, video data, and text data. Therefore, it is possible to generate index information according to the type of target data. This makes it possible to improve the accuracy of data expansion in machine learning.
特に、第3発明によれば、指標情報は、対象データに紐づく識別情報、及び拡張対象情報の特徴を示す縦横長情報、縦横長情報、回転情報、傾き情報、色相情報、彩度情報、明度情報、輝度情報、線形度情報、座標情報、分布情報、範囲情報、偏差情報、データ強度情報、又はパターン情報の少なくとも何れかを含む。このため、複数の指標情報を出力することができる。これにより、機械学習におけるデータ拡張の精度の向上を図ることが可能となる。 In particular, according to the third invention, the index information includes identification information associated with the target data, vertical / horizontal information indicating the characteristics of the extended target information, vertical / horizontal information, rotation information, inclination information, hue information, saturation information, and the like. It includes at least one of brightness information, brightness information, linearity information, coordinate information, distribution information, range information, deviation information, data intensity information, or pattern information. Therefore, a plurality of index information can be output. This makes it possible to improve the accuracy of data expansion in machine learning.
特に、第4発明によれば、調整部は、指標情報を調整する。このため、データ拡張部は、調整部により調整された前記指標情報に基づき新しい前記対象データを含む拡張データを生成することができる。これにより、機械学習におけるデータ拡張の精度の向上を図ることが可能となる。 In particular, according to the fourth invention, the adjusting unit adjusts the index information. Therefore, the data expansion unit can generate extended data including the new target data based on the index information adjusted by the adjustment unit. This makes it possible to improve the accuracy of data expansion in machine learning.
特に、第5発明によれば、参照データベースは、予め取得された過去の拡張対象情報と、過去の拡張対象情報に紐づく参照情報に含まれる複数のデータと、の間における重み変数に対応する複数の連関度を有する連関性を記憶する。このため、過去の拡張対象情報とは異なる未知の拡張対象情報を評価する場合においても、定量的な評価を実施することができる。これにより、機械学習における更なるデータ拡張の精度の向上を図ることが可能となる。 In particular, according to the fifth invention, the reference database corresponds to a weight variable between the past extended target information acquired in advance and a plurality of data included in the reference information associated with the past extended target information. Memorize the relationships that have multiple degrees of connection. Therefore, even when evaluating unknown extended target information different from past extended target information, quantitative evaluation can be performed. This makes it possible to further improve the accuracy of data expansion in machine learning.
また、第6発明によれば、取得手段は、データ拡張を行う対象物の対象データと、対象データに付与されるアノテーション情報とを含む拡張対象情報を取得する。このため、対象データとアノテーション情報とに基づき、拡張データを生成するための複数の指標情報を生成することができる。これにより、機械学習におけるデータ拡張の精度の向上を図ることが可能となる。 Further, according to the sixth invention, the acquisition means acquires the expansion target information including the target data of the object for which the data is expanded and the annotation information given to the target data. Therefore, it is possible to generate a plurality of index information for generating extended data based on the target data and the annotation information. This makes it possible to improve the accuracy of data expansion in machine learning.
また、第7発明によれば、取得ステップは、データ拡張を行う対象物の対象データと、対象データに付与されるアノテーション情報とを含む拡張対象情報を取得する。このため、対象データとアノテーション情報とに基づき、拡張データを生成するための複数の指標情報を生成することができる。これにより、機械学習におけるデータ拡張の精度の向上を図ることが可能となる。 Further, according to the seventh invention, the acquisition step acquires the expansion target information including the target data of the object for which the data is expanded and the annotation information given to the target data. Therefore, it is possible to generate a plurality of index information for generating extended data based on the target data and the annotation information. This makes it possible to improve the accuracy of data expansion in machine learning.
以下、本発明を適用した実施形態におけるデータ拡張装置、データ拡張システム、及び
データ拡張方法の一例について、図面を参照しながら説明する。
Hereinafter, the data expansion device, the data expansion system, and the data expansion system according to the embodiment to which the present invention is applied, and
An example of the data expansion method will be described with reference to the drawings.
(データ拡張システム100)
図1を参照して、本実施形態におけるデータ拡張システム100、及びデータ拡張装置1の一例について説明する。
(Data Expansion System 100)
An example of the
本実施形態におけるデータ拡張システム100は、例えば図1に示すように、データ拡張装置1を有する。データ拡張装置1は、例えば公衆通信網4を介して他の端末2やサーバ3に接続されてもよい。データ拡張装置1は、例えば公衆通信網4で接続される他の端末2を介して対象画像20を取得する。
The
データ拡張システム100では、例えば図2に示すように、データ拡張装置1を用いて対象画像20を取得する。対象画像20は、例えば被写体、工作物等の対象物20aと、対象物20aと合わせてデータ拡張させたい対象データ21を含む。対象画像20をデータ拡張させる場合、例えば対象画像20における対象物20aの画像はそのままで、対象データ21を「回転」、「色相」、「輝度」のそれぞれのパターン、バリエーション等を増やすことで、対象画像20を拡張データとして水増しさせる。
In the
データ拡張システム100は、対象画像20を取得したあと、例えばデータ拡張を行う対象部分である対象データ21と、対象データ21に付与されるアノテーション情報21aとを含む拡張対象情報を取得する。データ拡張システム100は、例えば対象データ21に付与されるアノテーション情報21aに含まれる複数の情報に基づいて、複数の指標情報(指標情報31a、指標情報31b、指標情報31c、等)を生成する。データ拡張システム100は、例えば生成された複数の指標情報31a~31cを表示部109等に出力する。複数の指標情報31a~31cは、例えば公知の画像解析などの技術に基づき分析され、対象データ21を構成する複数の指標情報として数値化し、例えば分布図などとして表示部109等に出力するようにしてもよい。
After acquiring the
対象データ21は、例えばデータ拡張システム100により、データ拡張装置1を介して取得される対象画像20に含まれる。対象データ21は、対象画像20の他に、例えば映像データ、又はテキストデータの少なくとも何れかのデータであってもよい。データ拡張装置1を介して取得されるデータが、例えば映像データ、音楽データの場合は、それらの各々に付加されるアノテーション情報の特徴を分析し、分析された結果に基づいて複数の指標情報を生成する。対象データ21の分析は、例えば公知の画像解析技術、または音楽解析技術などが用いられ、複数の異なる指標情報として、例えば数値、分布図などで生成されてもよい。
The
指標情報30は、例えばデータ拡張システム100により、データ拡張装置1を介して取得された対象データ21に付与されるアノテーション情報21aに含まれる複数の情報に基づいて生成され、例えば対象データ21の回転を示す指標情報31a、色相の度合いを示す指標情報31b、輝度の度合いを示す指標情報31cとして生成される。データ拡張システム100は、例えば生成された複数の指標情報30を表示部109等に出力し、データ拡張装置1を介して入力された指示により、指定された複数の指標情報30に基づいて、複数の拡張データ40を生成する。
The
指標情報30は、例えば対象データ21に紐づく識別情報、及び拡張対象情報の特徴を示す縦横長情報、回転情報、傾き情報、色相情報、彩度情報、明度情報、輝度情報、線形度情報、座標情報、分布情報、範囲情報、偏差情報、データ強度情報、又はパターン情報の少なくとも何れかを含むようにしてもよい。
The
拡張データ40は、例えばデータ拡張装置1により、複数の指標情報30に基づいて生成される。データ拡張装置1は、例えば生成された指標情報が指標情報31aである場合は、複数の指標情報31aに基づいて対象データ21を回転させ、複数の拡張データ41aを生成する。またデータ拡張装置1は、例えば生成された指標情報が指標情報31bである場合は、複数の指標情報31bに基づいて対象データ21の色相を変化させ、複数の拡張データ41bを生成する。またデータ拡張装置1は、例えば生成された指標情報が指標情報31cである場合は、複数の指標情報31cに基づいて対象データ21の輝度を変化させ、複数の拡張データ41cを生成する。
The
拡張データ40は、例えば複数の指標情報30の組合せであってもよい。データ拡張装置1を介して指定された複数の指標情報30が、例えば指標情報31a(回転)、指標情報31b(色相)、及び指標情報31c(輝度)である場合は、複数の指標情報31a~31cの組合せに基づいて、対象データ21の回転、色相、及び輝度が変化した拡張データを複数生成するようにしてもよい。これにより、対象データ21とアノテーション情報21aとに基づいて、適切、適確な拡張データを迅速に生成することが可能となり、拡張データを用いた機械学習におけるデータ拡張の精度の向上を図ることが可能となる。
The
データ拡張装置1として、例えばパーソナルコンピュータ(PC)等の電子機器が用いられるほか、例えばスマートフォン、タブレット型端末、ウェアラブル端末、IoT(Internet of Things)デバイス等の電子機器、Raspberry Pi(登録商標)等のシングルボードコンピュータが用いられてもよく、例えばマイクやカメラなどの入力装置(図示せず)が内蔵されてもよい。
As the
対象画像20は、例えばデータ拡張装置1の取得した対象データ21、アノテーション情報21aに紐づくように、操作者等が直接にデータ拡張装置1に入力するほか、例えば公衆通信網4に接続される他の端末2等から送信されてもよい。
The
(データ拡張装置1)
次に、図3を参照して、本実施形態におけるデータ拡張装置1の一例を説明する。図3(a)は、本実施形態におけるデータ拡張装置1の構成の一例を示す模式図であり、図3(b)は、本実施形態におけるデータ拡張装置1の機能の一例を示す模式図である。
(Data expansion device 1)
Next, an example of the
データ拡張装置1は、例えば図3(a)に示すように、筐体10と、CPU(Central Processing Unit)101と、ROM(Read Only Memory)102と、RAM(Random Access Memory)103と、保存部104と、I/F105~107とを備える。各々の構成101~107は、内部バス110により接続される。
As shown in FIG. 3A, for example, the
CPU101は、データ拡張装置1全体を制御する。ROM102は、CPU101の動作コードを格納する。RAM103は、CPU101の動作時に使用される作業領域である。
The
保存部104は、拡張対象情報や参照データベース等の各種情報が保存される。保存部104として、例えばHDD(Hard Disk Drive)の他、SSD(Solid State Drive)やUSBメモリ、クラウド等のデータ保存装置が用いられる。なお、例えばデータ拡張装置1は、図示しないGPU(Graphics Processing Unit)を有してもよい。GPUを有することで、通常よりも高速演算処理が可能となる。
The
I/F105は、データ拡張装置1との各種情報の送受信を行うためのインターフェースであるほか、例えば公衆通信網4を介して、他の端末2やサーバ3等との各種情報の送受信を行うためのインターフェースでもよい。
The I /
I/F106は、入力部108との情報の送受信を行うためのインターフェースである。入力部108として、例えばキーボードが用いられ、データ拡張装置1を利用する操作者等は、入力部108を介して、各種情報又はデータ拡張装置1の制御コマンド等を入力する。
The I /
I/F107は、表示部109との各種情報の送受信を行うためのインターフェースである。表示部109は、保存部104に保存された評価結果等の各種情報、又はデータ拡張装置1の処理状況等を出力する。表示部109として、ディスプレイが用いられ、例えばタッチパネル式でもよい。
The I /
<参照データベース>
保存部104に保存された参照データベースには、予め取得された過去の拡張対象情報と、過去の拡張対象情報に紐づく参照情報との間における連関性が記憶され、例えば連関性を有する学習モデルが記憶される。
<Reference database>
The reference database stored in the
参照データベースには、例えば過去の拡張対象情報、及び参照情報が記憶されてもよい。連関性は、例えば過去の拡張対象情報、及び参照情報を一組の学習データとして、複数の学習データを用いた機械学習により構築される。学習方法として、例えば畳み込みニューラルネットワーク等の深層学習が用いられる。 For example, past extended target information and reference information may be stored in the reference database. The association is constructed by machine learning using a plurality of learning data, for example, using the past extended target information and the reference information as a set of learning data. As a learning method, deep learning such as a convolutional neural network is used.
この場合、例えば連関性は、多対多の情報(過去の拡張対象情報に含まれる複数のデータ、対、参照情報に含まれる複数のデータ)の間における繋がりの度合いを示す。 In this case, for example, the association indicates the degree of connection between many-to-many information (a plurality of data included in the past extended target information, a pair, and a plurality of data included in the reference information).
連関性は、機械学習の過程で適宜更新される。即ち、連関性は、例えば過去の対象データ21、アノテーション情報21a及び参照情報に基づいて最適化された関数を示す。このため、過去に拡張対象情報を評価した結果を全て踏まえて構築された連関性を用いて、拡張対象情報に対する評価結果が生成される。これにより、拡張対象情報が他の対象データ21、アノテーション情報21aなどと組み合わされる構成状態を有する場合においても、最適な評価結果を生成することができる。
Relationships are updated as appropriate during the process of machine learning. That is, the association indicates, for example, a function optimized based on the
また、参照データベースは、拡張対象情報が過去の拡張対象情報と同一又は類似である場合のほか、非類似である場合においても、最適な評価結果を定量的に生成することができる。なお、機械学習を行う際に汎化能力を高めることで、未知の拡張対象情報に対する評価精度の向上を図ることができる。 Further, the reference database can quantitatively generate the optimum evaluation result even when the extended target information is the same as or similar to the past extended target information or when it is dissimilar. By increasing the generalization ability when performing machine learning, it is possible to improve the evaluation accuracy for unknown extended target information.
なお、連関性は、例えば過去の拡張対象情報に含まれる複数のデータと、参照情報に含まれる複数のデータとの間における繋がりの度合いを示す複数の連関度を有してもよい。連関度は、例えば学習モデルがニューラルネットワークで構築される場合、重み変数に対応させることができる。 The association may have, for example, a plurality of association degrees indicating the degree of connection between the plurality of data included in the past extended target information and the plurality of data included in the reference information. The degree of association can correspond to a weight variable, for example, when the learning model is constructed by a neural network.
過去の拡張対象情報は、上述した拡張対象情報と同種の情報を示す。過去の拡張対象情報は、例えば過去に対象データ21を評価した際に取得された拡張対象情報を複数含む。
The past expansion target information indicates the same type of information as the expansion target information described above. The past expansion target information includes, for example, a plurality of expansion target information acquired when the
参照情報は、過去の拡張対象情報に紐づき、対象データ21、アノテーション情報21aに関する情報を示す。参照情報は、対象データ21の内容、状態、または影響を踏まえた評価(例えば「回転」、「色相」、「輝度」等)を示すほか、指標情報の優先度、組合せ、数値、分布などに関する情報を含んでもよい。なお、参照情報に含まれる具体的な内容は、任意に設定することができる。
The reference information is linked to the past extended target information, and indicates information related to the
連関性は、例えば図4に示すように、過去の拡張対象情報と参照情報との間における繋がりの度合いを示してもよい。この場合、連関性を用いることで、過去の拡張対象情報に含まれる複数のデータ(図4では「データA」~「データC」)のそれぞれに対し、参照情報に含まれる複数のデータ(図4では「参照A」~「参照C」)の関係の度合いを紐づけて記憶させることができる。このため、例えば連関性を介して、過去の拡張対象情報に含まれる1つのデータに対して、参照情報に含まれる複数のデータを紐づけることができ、多角的な評価結果の生成を実現することができる。 The association may indicate the degree of connection between the past extended target information and the reference information, as shown in FIG. 4, for example. In this case, by using the association, a plurality of data included in the reference information (FIG. 4) for each of the plurality of data included in the past extended target information (“Data A” to “Data C” in FIG. 4). In 4, the degree of relationship between "reference A" to "reference C") can be associated and stored. Therefore, for example, it is possible to link a plurality of data included in the reference information to one data included in the past extended target information through association, and it is possible to generate a multifaceted evaluation result. be able to.
連関性は、例えば過去の拡張対象情報に含まれる複数のデータと、参照情報に含まれる複数のデータとをそれぞれ紐づける複数の連関度を有する。連関度は、例えば百分率、10段階、又は5段階等の3段階以上で示され、例えば線の特徴(例えば太さ等)で示される。例えば、過去の拡張対象情報に含まれる「データA」は、参照情報に含まれる「参照A」との間の連関度AA「80%」を示し、参照情報に含まれる「参照B」との間の連関度AB「65%」を示す。すなわち、「連関度」は、各データ間における繋がりの度合いを示しており、例えば連関度が高いほど、各データの繋がりが強いことを示す。なお、上述した機械学習により連関性を構築する際、連関性が3段階以上の連関度を有するように設定してもよい。 The association has, for example, a plurality of association degrees in which a plurality of data included in the past extended target information and a plurality of data included in the reference information are associated with each other. The degree of association is shown in three or more steps such as percentage, 10 steps, or 5 steps, and is shown by, for example, the characteristics of the line (for example, thickness). For example, the "data A" included in the past expansion target information indicates the degree of association AA "80%" with the "reference A" included in the reference information, and the "reference B" included in the reference information. The degree of association between them is AB "65%". That is, the "degree of association" indicates the degree of connection between each data, and for example, the higher the degree of association, the stronger the connection of each data. When constructing the association by the above-mentioned machine learning, the association may be set to have three or more levels of association.
過去の拡張対象情報は、例えば図5に示すように、過去の対象データと、過去のアノテーション情報とを分割して、参照データベースに記憶されてもよい。この場合、過去の対象データ及び過去のアノテーション情報の組み合わせと、参照情報との間の関係に基づいて、連関度が算出される。なお、過去の拡張対象情報は、例えば上記に加え、過去の対策情報を分割して、参照データベースに記憶されてもよい。 As shown in FIG. 5, for example, the past extended target information may be stored in the reference database by dividing the past target data and the past annotation information. In this case, the degree of association is calculated based on the relationship between the combination of the past target data and the past annotation information and the reference information. In addition to the above, the past expansion target information may be stored in the reference database by dividing the past countermeasure information.
例えば、過去の対象データに含まれる「対象データa」、及び過去のアノテーション情報に含まれる「アノテーション情報a」の組み合わせは、「参照A」との間の連関度AAA「56%」を示し、「参照B」との間の連関度ABA「23%」を示す。この場合、過去の対象データ及び過去のアノテーション情報をそれぞれ独立してデータを記憶させることができる。このため、評価結果を生成する際、精度の向上及び選択肢の範囲を拡大させることが可能となる。 For example, the combination of the "target data a" included in the past target data and the "annotation information a" included in the past annotation information indicates a degree of association AAA "56%" with the "reference A". The degree of association ABA "23%" with "reference B" is shown. In this case, the past target data and the past annotation information can be stored independently. Therefore, when generating the evaluation result, it is possible to improve the accuracy and expand the range of options.
過去の拡張対象情報は、例えば合成データと、類似度とを含んでもよい。合成データは、過去の対象データ又は過去のアノテーション情報との間における3段階以上の類似度により示される。合成データは、数値、行列、又はヒストグラム等の形式で参照データベースに記憶されるほか、例えば画像や文字列等の形式で記憶するようにしてもよい。 The past extended target information may include, for example, synthetic data and similarity. The synthetic data is indicated by three or more levels of similarity with past target data or past annotation information. The composite data may be stored in the reference database in the form of a numerical value, a matrix, a histogram, or the like, or may be stored in the form of, for example, an image or a character string.
図3(b)は、データ拡張装置1の機能の一例を示す模式図である。データ拡張装置1は、取得部11と、生成部12と、出力部13と、データ拡張部14と、調整部15と、記憶部16と、更新部17と、評価部18とを備える。なお、図3(b)に示した各機能は、CPU101が、RAM103を作業領域として、保存部104等に保存されたプログラムを実行することにより実現され、例えば人工知能により制御されてもよい。
FIG. 3B is a schematic diagram showing an example of the function of the
<取得部11>
取得部11は、対象画像20を取得する。対象画像20には、例えば対象物20aと対象データ21を含む。取得部11は、例えば対象画像20に複数の対象物20aが含まれている場合、操作者によって入力部108を介して選択された範囲に含まれる対象データ21を、データ拡張する対象データ21として取得するようにしてもよい。
<
The
取得部11は、データ拡張を行う対象の対象データ21と、対象データ21に付与されるアノテーション情報21aとを含む拡張対象情報を取得する。取得部11は、データ拡張装置1から対象画像20を取得するほか、例えば接続された他の端末2から、対象画像20、その他の形式の各種データを取得するようにしてもよい。
The
取得部11は、例えば対象画像20を取得した場合、対象画像20と共に対象データ21とアノテーション情報21aを拡張対象情報として取得する。なお、取得部11が対象画像20、対象データ21、拡張対象情報を取得する範囲、枚数、頻度、及び周期等は、任意である。
For example, when the
取得部11は、取得部11が取得する対象データ21として、例えば画像データ、映像データ、又はテキストデータの少なくとも何れかのデータを取得する。
The
また取得部11は、例えばデータ拡張装置1を介して対象画像20を先に取得しておき、他の端末2を介して後から対象データ21と、対象データ21に付与されるアノテーション情報21aを取得するようにしてもよい。
Further, the
取得部11は、例えば対象データ21が画像である場合に、例えば対象データ21の画像の特徴「◆(黒色の菱形の画像)」と、付与されたアノテーション情報21aとして、例えば対象データ21の識別情報「対象データ 001」、対象データ21の特徴「菱形」、対象データ21の色情報「RGB(0,0,0)」、対象画像20における位置「座標(X,Y)」、タグ情報「破片」、対象データ21の発生した工程「生産工程」等を、各種のアノテーション情報21aとして取得する。
For example, when the
取得部11は、データ拡張装置1に送信された各種情報を受信する。取得部11は、例えば公衆通信網4及びI/F105を介して、他の端末2等の外部端末から送信された対象画像20やアノテーション情報21a、指標情報30に対する指定等の各種情報を受信してもよい。
The
取得部11は、例えば保存部104に保存された学習モデルを参照し、対象データ21に対応するアノテーション情報21aを選択し、拡張対象情報として取得してもよい。
For example, the
取得部11は、例えばデータ拡張装置1の入力部108等を介して入力された対象データ21の範囲を特定し、その範囲に含まれる対象データ21を取得するようにしてもよい。取得部11は、入力部108等を介して入力されたデータ拡張の範囲が、対象物20aを含む場合は、対象物20aと対象データ21をデータ拡張の範囲として取得するようにしてもよい。
The
<生成部12>
生成部12は、取得部11により取得された対象データ21に付与されるアノテーション情報21aに含まれる複数の情報に基づいて、複数のデータ拡張が可能となる異なる特性を示す複数の指標情報30を生成する。
<
The
生成部12は、例えば対象画像20に含まれる対象物20a、対象データ21が複数ある場合、各々を対象画像20の部分画像として認識し、部分画像毎に指標情報30を生成してもよい。生成部12は、例えば公知の画像判別技術等により、対象画像20に写っている対象物20a、対象データ21を各々に細分化し、各々を判別する。
For example, when there are a plurality of
生成部12は、例えば対象画像20における対象データ21の位置情報、大きさ、形状等の評価結果に基づいて、数値情報、または分布等で「回転」に関する指標情報31aを生成する。
The
生成部12は、例えば対象画像20における対象データ21と、アノテーション情報21aに基づいて、例えば「色相」、「輝度」における指標情報30を生成する。生成部12は、前述と同様に、例えば対象データ21と、対象データ21に付与されるアノテーション情報21aに基づいて評価し、評価結果に基づいて「色相」に関する指標情報31b、「輝度」に関する指標情報31cを生成する。
The
生成部12は、判別した各部分画像に対して、例えば対象画像20における配置位置、大きさ、色、撮影条件、アノテーション情報21a等の各種の情報に基づいて、適切な指標情報30を生成するようにしてもよい。これにより、対象画像20に複数の対象物20a、対象データ21が含まれていた場合であっても、それらを、それら画像、データの特性、各々の位置関係等に基づいて区別することができ、機械学習におけるデータ拡張の精度を向上させるための指標情報30を生成することが可能となる。
The
<出力部13>
出力部13は、生成部12により生成された複数の指標情報30を出力する。出力部13は、I/F107を介して表示部109に評価結果を送信するほか、例えばI/F105を介して、他の端末2等に指標情報30を送信する。出力部13は、例えば図2に示した複数の指標情報30、拡張データ40等を、表示部109等に出力する。
<
The
<データ拡張部14>
データ拡張部14は、出力部13により出力された指標情報30に基づいて、新しい対象データを含む拡張データ40を生成する。データ拡張部14は、例えばデータ拡張装置1を介して操作者により「回転」を示す指標情報31aが選択された場合は、「回転」を示す数値情報に基づいて、対象データ21を回転させた新しい対象データを生成する。データ拡張部14は、新しく生成した対象データと対象画像20に含まれる対象物20aとを合成した拡張データ41aを生成する。
<
The
データ拡張部14は、例えば対象画像20の対象データ21を、出力部13により出力された指標情報30に基づき元の対象データ21を修正、移動等を行い、新しい対象データとして複数生成する。データ拡張部14は、複数の新しい対象データを、データ拡張する対象画像20の対象データとして置き換え、拡張データ40を生成する。
For example, the
データ拡張部14は、指標情報31aに基づいて、対象データ21の回転を、さらに角度を増した(回転させた)新しい対象データを生成し、新しい対象データを含む拡張データ40として生成する。データ拡張部14は、指標情報30が、例えば「回転」の他に、位置や大きさに関する指標情報である場合は、それらの各々の指標情報30に基づいて、対象データ21の配置位置や大きさを変えた新しい対象データを含む拡張データ40を複数生成する。
Based on the
データ拡張部14は、例えば「色相」に関する指標情報31bに基づいて、「色相」を変化させた新しい対象データを生成し、この新しい対象データを含む拡張データ41bを生成する。また、データ拡張部14は、例えば「輝度」に関する指標情報31cに基づいて、「輝度」を変化させた新しい対象データを含む拡張データ41cを生成するようにしてもよく、生成部12により生成された複数の指標情報30に基づいて、それぞれ異なる新しい対象データを生成し、その新しい対象データを含む拡張データを複数生成する。
The
データ拡張部14は、出力部13により出力された複数の指標情報30の複数の指標情報30の組合せに基づいて、例えば回転、位置、大きさと合わせ、「色相」と「輝度」を変えた新しい対象データを含む拡張データ40を複数生成するようにしてもよい。データ拡張部14は、後述する調整部15により調整された複数の指標情報30に基づいて、新しい対象データを含む新たな拡張データ40を生する。
The
データ拡張部14は、例えば、同じ指標情報30に基づいて、同一の新しい対象データを複数含み、配置位置だけ変えた拡張データ40を生成してもよい。これにより、例えば対象画像20には1つの対象データ21しか含まれていない画像であっても、新しい対象データ(例えば「縮小」)の個数を変えた拡張データ40、新しい対象データ(例えば「位置」)の配置を変えた拡張データ40を生成することが可能となる。
For example, the
<調整部15>
調整部15は、例えば出力部13により出力された複数の指標情報30で示される各々の指標情報30(例えば指標情報31a~31c等)を調整する。調整部15は、例えばデータ拡張装置1の入力部108を介して、表示部109に表示される指標情報30の数値や範囲、位置等を調整することができる。調整部15により調整された指標情報30の数値や範囲に基づいて、データ拡張部14において対応する新しい対象データを含む拡張データ40が生成される。
<
The adjusting
<記憶部16>
記憶部16は、保存部104に保存された参照データベース等の各種情報を必要に応じて取出す。記憶部16は、各々の構成11、13~16により取得又は生成された各種情報を、保存部104に保存する。
<
The
<表示部109>
表示部109は、対象画像20、複数の指標情報30、複数の拡張データ40、評価結果を表示する。表示部109は、例えば図2に示すように、生成部12で生成された複数の指標情報30を表示する。指標情報31aは「回転」に関する指標情報を示し、指標情報31bは「色相」に関する指標情報を示し、指標情報31cは「輝度」に関する指標情報を示す。
<
The
表示部109は、複数の拡張データ40を表示する。拡張データ41aは指標情報31aに基づき生成された新しい対象データを含む拡張データを示し、拡張データ41bは指標情報31bに基づいて生成された拡張データを示し、拡張データ41cは指標情報31cに基づいて生成された新しい対象データを含む拡張データを示す。表示部109は、例えばリストや文字列のみを用いて、評価結果を表示してもよい。上記表示方法には、公知の技術を用いることができる。
The
<更新部17>
更新部17は、例えば参照データベースを更新する。更新部17は、過去の拡張対象情報と、参照情報との間の関係を新たに取得した場合には、関係を連関性に反映させる。例えば評価部18により生成された評価結果を踏まえ、評価者等が評価結果の内容における精度を判定し、判定結果をデータ拡張装置1が取得した場合、更新部17は、判定結果に基づき参照データベースに含まれる連関性を更新する。
<Update
The
<評価部18>
評価部18は、参照データベースを参照し、拡張対象情報に対する評価結果を生成する。評価部18は、例えば拡張対象情報を入力データとし、連関性に基づき算出された解に紐づく最適な参照情報を選択し、最適な参照情報に基づく評価結果を生成する。
<
The
評価部18は、例えば図4に示した参照データベースを参照した場合、拡張対象情報に含まれるデータと同一又は類似するデータ(例えば「データA」:第1データとする)を選択する。第1データとして、拡張対象情報と一部一致又は完全一致するデータが選択されるほか、例えば類似するデータが選択される。拡張対象情報が行列等の数値で表される場合、選択される第1データに含まれる数値範囲を、予め設定してもよい。
When referring to the reference database shown in FIG. 4, for example, the
評価部18は、選択した第1データに紐づく参照情報、及び選択した第1データと参照情報との間における連関度(第1連関度)を選択し、選択した参照情報及び第1連関度に基づき評価結果を生成する。なお、第1連関度は、予め構築された連関性から選択されるほか、評価部18によって算出されてもよい。
The
例えば評価部18は、第1データ「データA」に紐づく参照情報に含まれるデータ「参照A」、及び「データA」と「参照A」との間における第1連関度(連関度AA)「80%」を選択する。なお、参照情報及び第1連関度は、複数のデータを含んでもよい。この場合、上述した「参照A」及び「80%」に加えて、第1データ「データA」に紐づく参照情報「参照B」、及び「データA」と「参照B」との間における第1連関度(連関度AB)「65%」を選択し、「参照A」及び「85%」、並びに、「参照B」及び「33%」に基づき評価結果を生成してもよい。
For example, the
評価結果は、拡張対象情報を含んでもよい。評価結果は、例えば参照情報及び連関度を用いて、確率で表された指標情報の推奨(拡張性)を示してもよい。 The evaluation result may include extended target information. The evaluation result may show the recommendation (extensibility) of the index information expressed by the probability by using, for example, the reference information and the degree of association.
評価部18は、例えば予め保存部104等に記憶された出力用フォーマット等の形式データを用いて、上述選択した参照情報及び第1連関度等を、評価者等が理解できる形式(例えば文字列)を示す評価結果を生成する。なお、評価結果を生成する際における形式の設定等は、例えば公知の技術を用いてもよい。
The
評価部18は、例えば選択した第1連関度に基づいて、評価結果の内容を決定する。例えば評価部18は、「50%」以上の第1連関度に紐づく参照情報に基づいて、評価結果を生成し、「50%」未満の第1連関度に紐づく参照情報を評価結果に反映しないように設定されてもよい。なお、第1連関度に基づく判定基準は、例えば評価者等が予め閾値等を設定してもよく、閾値の範囲等は任意に設定できる。また、評価部18は、例えば2以上の第1連関度を演算した結果や、2以上の第1連関度の比較に基づいて、評価結果の内容を決定してもよい。
The
<公衆通信網4>
公衆通信網4は、例えばデータ拡張装置1等が通信回路を介して接続されるインターネット網等である。公衆通信網4は、いわゆる光ファイバ通信網で構成されてもよい。また、公衆通信網4は、有線通信網のほか、無線通信網等の公知の通信網で実現してもよい。
<
The
<他の端末2>
他の端末2として、例えばデータ拡張装置1と同様に電子機器で具現化されたものが用いられる。他の端末2は、例えばデータ拡張装置1と通信可能な中央制御装置等を示す。他の端末2は、例えばデータ拡張装置1と接続可能であり、各データ拡張装置1により生成された指標情報30、拡張データ40、または評価結果を取得することができる。これにより、例えば複数個所で対象画像20のデータ拡張や評価結果を分析することができ、対象画像20のデータ拡張の効率化等を図ることが可能となる。
<Other terminal 2>
As the
<サーバ3>
サーバ3には、例えば上述した各種情報が記憶される。サーバ3には、例えば公衆通信網4を介して送られてきた各種情報が蓄積される。サーバ3には、例えば保存部104と同様の情報が保存され、公衆通信網4を介して1つ以上のデータ拡張装置1と各種情報の送受信が行われてもよい。即ち、データ拡張装置1は、保存部104の代わりにサーバ3を用いてもよい。
<
For example, the
(データ拡張システム100の動作の一例)
次に、本実施形態におけるデータ拡張システム100の動作の一例について説明する。図6は、本実施形態におけるデータ拡張システム100の動作の一例を示すフローチャートである。
(Example of operation of data expansion system 100)
Next, an example of the operation of the
<取得手段S110>
取得部11は、データ拡張を行う対象の対象データ21と、対象データ21に付与されるアノテーション情報21aとを含む拡張対象情報を取得す(取得手段S110)。取得部11は、取得する対象データ21として、例えば画像データ、映像データ、又はテキストデータを取得する。
<Acquisition means S110>
The
また取得部11は、出力部13により出力された複数の指標情報30に対する調整を、入力部108を介して取得する。取得部11は、例えば記憶部16を介して、拡張対象情報を保存部104に保存する。
Further, the
取得部11は、例えば対象データ21と、対象データ21に付与されるアノテーション情報21aを含む拡張対象情報を取得する。アノテーション情報21aは、例えば予め対象データ21に紐づくように、評価者等によってデータ拡張装置1に入力されるほか、例えば対象データ21に基づき、取得部11が対象データ21に適した各情報を選択するようにしてもよい。この場合、取得部11は、予め保存部104に保存された複数のアノテーション情報21aから、対象データ21に適した各情報を選択する。
The
<生成手段S120>
次に、生成部12は、複数の指標情報30を生成する(生成手段S120)。生成部12は、例えば、取得部11により取得された対象拡張情報に含まれる対象データ21と、対象データ21に紐づけられるアノテーション情報21aに含まれる複数の情報に基づいて、異なる特性を示す複数の指標情報30を生成する。
<Generation means S120>
Next, the
生成部12は、例えば取得部11により取得された拡張対象情報に基づいて、対象データ21に紐づく識別情報、及び拡張対象情報の特徴を示す縦横長情報、回転情報、傾き情報、色相情報、彩度情報、明度情報、輝度情報、線形度情報、座標情報、分布情報、範囲情報、偏差情報、データ強度情報、またはパターン情報等により示される指標情報30を生成する。各々の指標情報30は、例えば公知の画像分析技術、音声分析技術を用いて、各成分に細分化され、分布図などとして生成されてもよい。
The
<出力手段S130>
次に、出力部13は、複数の指標情報30を出力する(出力手段S130)。出力部13は、複数の指標情報30を表示部109等に出力する。出力部13は、例えば公衆通信網4を介して他の端末2又はサーバ3に出力してもよい。
<Output means S130>
Next, the
<データ拡張手段S140>
次に、データ拡張手段S140は、新しい対象データを含む複数の拡張データ40を生成する(データ拡張手段S140)。データ拡張部14は、出力部13により出力された複数の指標情報30に基づいて、対応する新しい対象データを含む複数の拡張データ40を生成する。
<Data expansion means S140>
Next, the data expansion means S140 generates a plurality of
データ拡張部14は、新しく生成した対象データを、対象画像20から対象データ21を除去した画像に重ね合わせることで、新しい対象データを含む拡張データ40を生成することを繰り返し行うことで、機械学習のためのデータ拡張を行う。
The
<調整手段S150>
また、調整部15は、複数の指標情報30を調整する(調整手段S150)。調整部15は、例えば出力部13により出力された複数の指標情報30を調整する。調整部15は、表示部109に出力された個々の指標情報31a~指標情報31c等に対し、入力部108を介して対象データ21に紐づく識別情報、及び拡張対象情報の特徴を示す縦横長情報、回転情報、傾き情報、色相情報、彩度情報、明度情報、輝度情報、線形度情報、座標情報、分布情報、範囲情報、偏差情報、データ強度情報、またはパターン情報等を選択し、選択した指標情報30の調整を行う。これにより、操作者、または評価者による指標情報30の修正や編集が可能となり、より正確な拡張データ40を生成することが可能となる。
<Adjustment means S150>
Further, the adjusting
<評価手段S160>
次に、参照データベースを参照し、拡張対象情報に対する評価結果を生成する(評価手段S160)。評価部18は、取得部11により取得された拡張対象情報を取得し、例えば保存部104に保存された参照データベースを取得する。評価部18は、例えば拡張対象情報を入力データとし、関数等で示された連関性に基づき算出された解に紐づく最適な参照情報を選択し、最適な参照情報に基づく評価結果を生成する。このとき、例えば評価部18は、1つの拡張対象情報に対して複数の参照情報を選択してもよい。
<Evaluation means S160>
Next, the reference database is referred to, and the evaluation result for the extended target information is generated (evaluation means S160). The
評価部18は、1つの拡張対象情報に対して1つの評価結果を生成するほか、例えば複数の拡張対象情報に対して1つの評価結果を生成してもよい。評価部18は、例えば保存部104に保存された出力用フォーマット等の形式データを用いて、評価結果を生成する。評価部18は、例えば記憶部16を介して、評価結果を保存部104に保存する。
The
<更新手段S170>
なお、例えば過去の拡張対象情報と、参照情報との間の関係を新たに取得した場合には、関係を連関性に反映させてもよい(更新手段S170)。例えば評価部18により生成された評価結果を踏まえ、評価者等が評価結果の精度を判定した判定結果をデータ拡張装置1が取得した場合、更新部17は、判定結果に基づき参照データベースに記憶された連関性を更新する。
<Update means S170>
In addition, for example, when the relationship between the past expansion target information and the reference information is newly acquired, the relationship may be reflected in the association (update means S170). For example, when the
これにより、本実施形態におけるデータ拡張システム100の動作が終了する。なお、更新手段S170を実施する場合のタイミングは、任意である。
As a result, the operation of the
本実施形態によれば、評価部18は、参照データベースを参照し、拡張対象情報に対する評価結果を生成する。参照情報は、指標情報30を含む。このため、過去の拡張対象情報を評価した結果を踏まえた評価結果を生成することができる。これにより、機械学習におけるデータ拡張の精度の向上を図ることが可能となる。
According to the present embodiment, the
また、本実施形態によれば、連関性は、過去の拡張対象情報と、参照情報とを学習データとして用いた機械学習により構築される。このため、過去の拡張対象情報とは異なる未知の拡張対象情報を評価する場合においても、定量的な評価を実施することができる。これにより、評価精度の更なる向上を図ることが可能となる。 Further, according to the present embodiment, the association is constructed by machine learning using the past extended target information and the reference information as learning data. Therefore, even when evaluating unknown extended target information different from past extended target information, quantitative evaluation can be performed. This makes it possible to further improve the evaluation accuracy.
また、本実施形態によれば、更新部17は、過去の拡張対象情報と、参照情報との間の関係を新たに取得した場合には、関係を連関性に反映させる。このため、連関性を容易に更新することができ、継続した評価精度の向上を図ることが可能となる。
Further, according to the present embodiment, when the
また、本実施形態によれば、取得手段S110を行う取得ステップ、生成手段S120を行う生成ステップ、出力手段S130を行う出力ステップ、データ拡張手段S140を行うデータ拡張ステップは、データ拡張方法として提供されてもよい。これにより、機械学習におけるデータ拡張の精度の向上を図ることが可能となる。 Further, according to the present embodiment, the acquisition step for performing the acquisition means S110, the generation step for performing the generation means S120, the output step for performing the output means S130, and the data expansion step for performing the data expansion means S140 are provided as data expansion methods. May be. This makes it possible to improve the accuracy of data expansion in machine learning.
本発明の実施形態を説明したが、この実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.
1 :データ拡張装置
2 :端末
3 :サーバ
4 :公衆通信網
10 :筐体
11 :取得部
12 :生成部
13 :出力部
14 :データ拡張部
15 :調整部
16 :記憶部
17 :更新部
18 :評価部
20 :対象画像
20a :対象物
21 :対象データ
21a :アノテーション情報
30 :指標情報
31a :指標情報
31b :指標情報
31c :指標情報
40 :拡張データ
41a :拡張データ
41b :拡張データ
41c :拡張データ
100 :データ拡張システム
101 :CPU
102 :ROM
103 :RAM
104 :保存部
105 :I/F
106 :I/F
107 :I/F
108 :入力部
109 :表示部
110 :内部バス
S110 :取得手段
S120 :生成手段
S130 :出力手段
S140 :データ拡張手段
S150 :調整手段
S160 :評価手段
S170 :更新手段
1: Data expansion device 2: Terminal 3: Server 4: Public communication network 10: Housing 11: Acquisition unit 12: Generation unit 13: Output unit 14: Data expansion unit 15: Adjustment unit 16: Storage unit 17: Update unit 18 : Evaluation unit 20:
102: ROM
103: RAM
104: Storage unit 105: I / F
106: I / F
107: I / F
108: Input unit 109: Display unit 110: Internal bus S110: Acquisition means S120: Generation means S130: Output means S140: Data expansion means S150: Adjustment means S160: Evaluation means S170: Update means
Claims (7)
対象物が撮影された対象画像に含まれ、前記対象物の画像と合わせて前記データ拡張を行う対象の対象データと、前記対象データに付与される前記対象データを識別する識別情報、前記対象データの特徴を示す特徴情報、前記対象画像における位置を示す座標情報、及び前記対象データの発生した工程を示す工程情報を少なくとも含むアノテーション情報とを含む拡張対象情報を取得する取得部と、
前記取得部により取得された前記アノテーション情報に基づいて、異なる特性を示す複数の指標情報を生成する生成部と、
前記生成部により生成された前記指標情報を出力する出力部と、
前記出力部により出力された前記指標情報に基づいて、新しい対象データを生成し、生成した新しい前記対象データを含む拡張データを生成するデータ拡張部と、
を備えることを特徴とするデータ拡張装置。 A data expansion device that supports data expansion for machine learning.
The target data that is included in the target image in which the target is captured and whose data is expanded together with the image of the target, the identification information that identifies the target data given to the target data, and the target data. An acquisition unit that acquires extended target information including feature information indicating the characteristics of the target image, coordinate information indicating a position in the target image, and annotation information including at least process information indicating the process in which the target data is generated.
A generation unit that generates a plurality of index information showing different characteristics based on the annotation information acquired by the acquisition unit, and a generation unit.
An output unit that outputs the index information generated by the generation unit, and
A data expansion unit that generates new target data based on the index information output by the output unit and generates extended data including the generated new target data.
A data expansion device characterized by comprising.
を特徴とする請求項1記載のデータ拡張装置。 The target data acquired by the acquisition unit is at least one of image data, video data, and text data.
The data expansion device according to claim 1.
を特徴とする請求項1又は2記載のデータ拡張装置。 The index information generated by the generation unit includes identification information associated with the target data, vertical / horizontal information indicating the characteristics of the extended target information, rotation information, tilt information, hue information, saturation information, and brightness information. Includes at least one of brightness information, chromaticity information, coordinate information, distribution information, range information, deviation information, data intensity information, or pattern information.
The data expansion apparatus according to claim 1 or 2.
前記データ拡張部は、
前記調整部により調整された前記指標情報に基づいて、新しい対象データを生成し、生成した新しい前記対象データを含む拡張データを生成すること、
を特徴とする請求項1~3のうち何れか1項記載のデータ拡張装置。 Further, an adjusting unit for adjusting the index information generated by the generating unit is provided.
The data expansion unit is
To generate new target data based on the index information adjusted by the adjusting unit, and to generate extended data including the generated new target data.
The data expansion device according to any one of claims 1 to 3.
前記取得部により取得された前記拡張対象情報に基づいて、前記参照データベースを参照し、前記連関性に基づき算出された解に紐づく最適な前記参照情報を選択し、最適な前記参照情報に基づき複数の前記指標情報を含む評価結果を生成する評価部と、をさらに備え、
前記出力部は、前記評価部により生成された前記評価結果を出力すること、
を特徴とする請求項1~4のうち何れか1項記載のデータ拡張装置。 It has a plurality of association degrees corresponding to weight variables between a plurality of data included in the past expansion target information acquired in advance and a plurality of data included in the reference information associated with the past expansion target information. A reference database that stores relationships and
Based on the extended target information acquired by the acquisition unit, the reference database is referred to, the optimum reference information associated with the solution calculated based on the association is selected, and the optimum reference information is selected. Further equipped with an evaluation unit that generates an evaluation result including a plurality of the index information.
The output unit outputs the evaluation result generated by the evaluation unit.
The data expansion device according to any one of claims 1 to 4.
対象物が撮影された対象画像に含まれ、前記対象物と合わせて前記データ拡張を行う対象の対象データと、前記対象データに付与される前記対象データを識別する識別情報、前記対象データの特徴を示す特徴情報、前記対象画像における位置を示す座標情報、及び前記対象データの発生した工程を示す工程情報を少なくとも含むアノテーション情報とを含む拡張対象情報を取得する取得手段と、
前記取得手段により取得された前記アノテーション情報に基づいて、異なる特性を示す複数の指標情報を生成する生成手段と、
前記生成部により生成された前記指標情報を出力する出力手段と、
前記出力手段により出力された前記指標情報に基づいて、新しい対象データを生成し、生成した新しい前記対象データを含む拡張データを生成するデータ拡張手段と、
を備えることを特徴とするデータ拡張システム。 A data expansion system that supports data expansion for machine learning.
Target data that is included in the target image in which the target is captured and whose data is expanded together with the target, identification information that identifies the target data given to the target data, and features of the target data. An acquisition means for acquiring extended target information including feature information indicating the above, coordinate information indicating a position in the target image, and annotation information including at least process information indicating the process in which the target data is generated.
A generation means that generates a plurality of index information showing different characteristics based on the annotation information acquired by the acquisition means, and a generation means.
An output means for outputting the index information generated by the generation unit, and
A data expansion means that generates new target data based on the index information output by the output means and generates extended data including the generated new target data.
A data expansion system characterized by being equipped with.
対象物が撮影された対象画像に含まれ、前記対象物と合わせて前記データ拡張を行う対象の対象データと、前記対象データに付与される前記対象データを識別する識別情報、前記対象データの特徴を示す特徴情報、前記対象画像における位置を示す座標情報、及び前記対象データの発生した工程を示す工程情報を少なくとも含むアノテーション情報とを含む拡張対象情報を取得する取得ステップと、
前記取得ステップにより取得された前記アノテーション情報に基づいて、異なる特性を示す複数の指標情報を生成する生成ステップと、
前記生成ステップにより生成された前記指標情報を出力する出力ステップと、
前記出力ステップにより出力された前記指標情報に基づいて、新しい対象データを生成し、生成した新しい前記対象データを含む拡張データを生成するデータ拡張ステップと、
をコンピュータに実行させること
を特徴とするデータ拡張プログラム。 A data expansion program that supports data expansion for machine learning.
Target data that is included in the target image in which the target is captured and whose data is expanded together with the target, identification information that identifies the target data given to the target data, and features of the target data. The acquisition step of acquiring the extended target information including the feature information indicating the feature information, the coordinate information indicating the position in the target image, and the annotation information including at least the process information indicating the process in which the target data is generated.
A generation step that generates a plurality of index information showing different characteristics based on the annotation information acquired by the acquisition step, and a generation step.
An output step that outputs the index information generated by the generation step, and
A data expansion step that generates new target data based on the index information output by the output step and generates extended data including the generated new target data.
To let the computer run
A data extension program featuring.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020191255A JP7045103B1 (en) | 2020-11-17 | 2020-11-17 | Data Expansion Devices, Data Expansion Systems, and Data Expansion Programs |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020191255A JP7045103B1 (en) | 2020-11-17 | 2020-11-17 | Data Expansion Devices, Data Expansion Systems, and Data Expansion Programs |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7045103B1 true JP7045103B1 (en) | 2022-03-31 |
JP2022080213A JP2022080213A (en) | 2022-05-27 |
Family
ID=81254722
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020191255A Active JP7045103B1 (en) | 2020-11-17 | 2020-11-17 | Data Expansion Devices, Data Expansion Systems, and Data Expansion Programs |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7045103B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024181589A1 (en) * | 2023-02-27 | 2024-09-06 | 코드크레인 유한회사 | System for expanding training data and method for providing same |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018116589A (en) | 2017-01-20 | 2018-07-26 | Kddi株式会社 | State identification device, program and method using changed image group of object image |
WO2018220700A1 (en) | 2017-05-30 | 2018-12-06 | 株式会社日立国際電気 | New learning dataset generation method, new learning dataset generation device, and learning method using generated learning dataset |
-
2020
- 2020-11-17 JP JP2020191255A patent/JP7045103B1/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018116589A (en) | 2017-01-20 | 2018-07-26 | Kddi株式会社 | State identification device, program and method using changed image group of object image |
WO2018220700A1 (en) | 2017-05-30 | 2018-12-06 | 株式会社日立国際電気 | New learning dataset generation method, new learning dataset generation device, and learning method using generated learning dataset |
Non-Patent Citations (2)
Title |
---|
堰澤 映,外1名,人工的に生成した道路シーンを用いた道路標識認識器の学習,電子情報通信学会技術研究報告 Vol.118 No.362 [online] IEICE Technical Report,日本,一般社団法人電子情報通信学会 The Institute of Electronics,Information and Communication Engineers,2018年,第118巻,pp.73-78 |
石田 皓之,外3名,生成型学習による低解像度道路標識認識のための生成モデルの検討,電子情報通信学会2005年総合大会講演論文集 基礎・境界 PROCEEDINGS OF THE 2005 IEICE GENERAL CONFERENCE,2005年 |
Also Published As
Publication number | Publication date |
---|---|
JP2022080213A (en) | 2022-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110288614B (en) | Image processing method, device, equipment and storage medium | |
CN110580435B (en) | Face recognition system and enhanced face recognition method | |
JP2018195107A (en) | Image processing system | |
EP1363235A1 (en) | Signal processing device | |
US20210232863A1 (en) | Electronic device and controlling method of electronic device | |
EP1477929A1 (en) | Signal processor | |
US20220180122A1 (en) | Method for generating a plurality of sets of training image data for training machine learning model | |
US20190087982A1 (en) | Automatic coloring of line drawing | |
US12136143B2 (en) | Image processing system configured to generate a colorized image | |
JP7207846B2 (en) | Information processing device, information processing method and program | |
US20230237777A1 (en) | Information processing apparatus, learning apparatus, image recognition apparatus, information processing method, learning method, image recognition method, and non-transitory-computer-readable storage medium | |
JP7045103B1 (en) | Data Expansion Devices, Data Expansion Systems, and Data Expansion Programs | |
US11625816B2 (en) | Learning device, image generation device, learning method, image generation method, and program | |
KR102562052B1 (en) | Electronic apparatus and contorl method thereof | |
CN107533760A (en) | A kind of image partition method and device | |
JP2022036131A (en) | Learning device, inferring device, learning method, inferring method, computer system, and program | |
JP2021064043A (en) | Image processing device, image processing system, image processing method and image processing program | |
CN116563570A (en) | Color recognition method and device, electronic equipment and storage medium | |
US12051135B2 (en) | System and method for a precise semantic segmentation | |
JP6618162B1 (en) | Evaluation device and evaluation system | |
US11900258B2 (en) | Learning device, image generating device, learning method, image generating method, and program | |
JP5883963B2 (en) | Image processing device | |
JP2020119001A (en) | Information processing apparatus, information processing method, and program | |
CN112699795B (en) | Face recognition method and device, electronic equipment and storage medium | |
WO2022269708A1 (en) | Information processing device and information processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201126 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20201126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210309 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20210402 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210413 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210614 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210616 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210616 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210914 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220215 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220311 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7045103 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |