[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7045103B1 - Data Expansion Devices, Data Expansion Systems, and Data Expansion Programs - Google Patents

Data Expansion Devices, Data Expansion Systems, and Data Expansion Programs Download PDF

Info

Publication number
JP7045103B1
JP7045103B1 JP2020191255A JP2020191255A JP7045103B1 JP 7045103 B1 JP7045103 B1 JP 7045103B1 JP 2020191255 A JP2020191255 A JP 2020191255A JP 2020191255 A JP2020191255 A JP 2020191255A JP 7045103 B1 JP7045103 B1 JP 7045103B1
Authority
JP
Japan
Prior art keywords
data
information
target
unit
expansion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020191255A
Other languages
Japanese (ja)
Other versions
JP2022080213A (en
Inventor
勇佑 南塲
成基 荻本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vrain Solution
Original Assignee
Vrain Solution
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vrain Solution filed Critical Vrain Solution
Priority to JP2020191255A priority Critical patent/JP7045103B1/en
Application granted granted Critical
Publication of JP7045103B1 publication Critical patent/JP7045103B1/en
Publication of JP2022080213A publication Critical patent/JP2022080213A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】機械学習のためのデータ拡張を支援するデータ拡張装置、データ拡張システム、及びデータ拡張方法を提供する。【解決手段】機械学習のためのデータ拡張を支援するデータ拡張装置1であって、データ拡張を行う対象の対象データと、対象データに付与されるアノテーション情報とを含む拡張対象情報を取得する取得部と、アノテーション情報に基づいて指標情報を生成する生成部と、生成部により生成された指標情報に基づいて、新しい対象データを生成し、生成した新しい対象データを含む拡張データを生成するデータ拡張部を備える。【選択図】図1PROBLEM TO BE SOLVED: To provide a data expansion device, a data expansion system, and a data expansion method for supporting data expansion for machine learning. SOLUTION: This is a data expansion device 1 that supports data expansion for machine learning, and is an acquisition of acquiring expansion target information including target data to be data expansion and annotation information given to the target data. Data extension that generates new target data based on the part, the generation part that generates index information based on the annotation information, and the index information generated by the generation part, and generates extended data including the generated new target data. It has a part. [Selection diagram] Fig. 1

Description

本発明は、機械学習のためのデータ拡張を支援するデータ拡張装置、データ拡張システム、及びデータ拡張プログラムに関する。データ拡張装置、データ拡張システム、及びデータ拡張プログラムに関する。 The present invention relates to a data expansion device, a data expansion system, and a data expansion program that support data expansion for machine learning. Regarding data expansion devices, data expansion systems, and data expansion programs .

従来、機械学習のためのデータ拡張するシステムとして、例えば特許文献1のX線画像物体認識システムが提案されている。 Conventionally, as a data expansion system for machine learning, for example, the X-ray image object recognition system of Patent Document 1 has been proposed.

特許文献1に開示されたX線画像物体認識システムは、物体のX線画像と、物体に対応する正解ラベルとを含む学習セットを用いて機械学習を行う学習ネットワークと、学習セットから、物体のX線撮影時の撮影条件を導くための撮影情報を算出する撮影情報算出部と、撮影情報に基づいて、X線画像から新たなX線画像を作成するデータ拡張を行う際に用いるデータ拡張パラメータを決定するデータ拡張パラメータ決定部と、データ拡張パラメータに基づいてデータ拡張を行い、取得した新たなX線画像と正解ラベルとを用いて学習ネットワークを機械学習させる学習処理部とを備えることを特徴とする。 The X-ray image object recognition system disclosed in Patent Document 1 is based on a learning network that performs machine learning using a learning set including an X-ray image of an object and a correct label corresponding to the object, and a learning set of objects. A shooting information calculation unit that calculates shooting information for deriving shooting conditions during X-ray shooting, and a data expansion parameter used when performing data expansion to create a new X-ray image from an X-ray image based on the shooting information. It is characterized by having a data expansion parameter determination unit that determines And.

特開2020-14799号公報Japanese Unexamined Patent Publication No. 2020-14799

ここで、機械学習に用いる学習画像の枚数が不足している場合、現状では、回転や拡大・縮小などを用いて、1枚の画像から複数枚の新たな画像を生成することでデータ拡張を行っている。このため、検出対象のパターンが多い場合には、ランダムにデータ拡張を行うことが可能であるが、形や色が変化しない特定のパターンのみを検出する場合は、ランダムに学習させるよりも、限定したデータ拡張の手法を適用することでデータ拡張の精度が向上する。これにより、実際にはあり得ないパターンを拡張して学習してしまうことを防ぐことができるが、全ての検出パターンを確認する必要があり、多大な工数と時間がかかり、適切、適確なデータ拡張を迅速に行えない懸念が挙げられる。 Here, when the number of learning images used for machine learning is insufficient, at present, data expansion is performed by generating a plurality of new images from one image by using rotation, enlargement / reduction, and the like. Is going. Therefore, if there are many patterns to be detected, it is possible to perform data expansion at random, but if only a specific pattern whose shape or color does not change is detected, it is more limited than learning at random. The accuracy of data expansion is improved by applying the above-mentioned data expansion method. This can prevent the learning from expanding the pattern that is not possible in reality, but it is necessary to check all the detection patterns, which takes a lot of man-hours and time, and is appropriate and appropriate. There is a concern that data expansion cannot be performed quickly.

この点、特許文献1の開示技術では、予め用意される学習セットから、物体のX線撮影時の撮影条件を導くための撮影情報を算出し、算出した撮影情報に基づいて決定されるデータ拡張パラメータに基づいてデータ拡張を行う。このため、撮影情報を算出するための学習セットが存在しない場合、またはデータ拡張の元となる対象データが少数・少量の場合には、撮影時の撮影条件を導くためのデータ拡張パラメータが不足し、適切、適確なデータ拡張を迅速に行うことができない。このような事情により、機械学習におけるデータ拡張の精度の向上が望まれている。 In this regard, in the disclosure technique of Patent Document 1, the data expansion determined based on the calculated imaging information by calculating the imaging information for deriving the imaging conditions at the time of X-ray imaging of the object from the learning set prepared in advance. Data expansion is performed based on the parameters. Therefore, if there is no learning set for calculating shooting information, or if the target data that is the source of data expansion is small or small, the data expansion parameters for deriving the shooting conditions at the time of shooting are insufficient. , Proper and proper data expansion cannot be performed quickly. Under these circumstances, it is desired to improve the accuracy of data expansion in machine learning.

そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、機械学習におけるデータ拡張の精度の向上を図ることができるデータ拡張装置、データ拡張システム、及びデータ拡張プログラムを提供することにある。 Therefore, the present invention has been devised in view of the above-mentioned problems, and an object thereof is a data expansion device, a data expansion system, and a data expansion system capable of improving the accuracy of data expansion in machine learning. It is to provide a data extension program .

第1発明に係るデータ拡張装置は、機械学習のためのデータ拡張を支援するデータ拡張装置であって、対象物が撮影された対象画像に含まれ、前記対象物の画像と合わせて前記データ拡張を行う対象の対象データと、前記対象データに付与される前記対象データを識別する識別情報、前記対象データの特徴を示す特徴情報、前記対象画像における位置を示す座標情報、及び前記対象データの発生した工程を示す工程情報を少なくとも含むアノテーション情報とを含む拡張対象情報を取得する取得部と、前記取得部により取得された前記アノテーション情報に基づいて、異なる特性を示す複数の指標情報を生成する生成部と、前記生成部により生成された前記指標情報を出力する出力部、前記出力部により出力された前記指標情報に基づいて、新しい対象データを生成し、生成した新しい前記対象データを含む拡張データを生成するデータ拡張部と、を備えることを特徴とする。 The data expansion device according to the first invention is a data expansion device that supports data expansion for machine learning, and is included in a target image in which an object is captured, and the data expansion is combined with the image of the object. The target data of the target to be performed, the identification information given to the target data for identifying the target data, the feature information indicating the characteristics of the target data, the coordinate information indicating the position in the target image, and the generation of the target data. An acquisition unit that acquires extended target information including at least annotation information that includes process information indicating the process that has been performed, and a generation that generates a plurality of index information that exhibits different characteristics based on the annotation information acquired by the acquisition unit. An extension that generates new target data based on the unit, an output unit that outputs the index information generated by the generation unit, and the index information output by the output unit , and includes the generated new target data. It is characterized by including a data extension unit for generating data.

第2発明に係るデータ拡張装置は、第1発明において、前記取得部により取得される前記対象データは、画像データ、映像データ、又はテキストデータの少なくとも何れかのデータであること、を特徴とする。 The data expansion device according to the second invention is characterized in that, in the first invention, the target data acquired by the acquisition unit is at least one of image data, video data, and text data. ..

第3発明に係るデータ拡張装置は、第1発明又は第2発明において、前記生成部により生成される前記指標情報は、前記対象データに紐づく識別情報、及び前記拡張対象情報の特徴を示す縦横長情報、回転情報、傾き情報、色相情報、彩度情報、明度情報、輝度情報、線形度情報、座標情報、分布情報、範囲情報、偏差情報、データ強度情報、又はパターン情報の少なくとも何れかを含むこと、を特徴とする。 In the data expansion device according to the third invention, in the first invention or the second invention, the index information generated by the generation unit indicates identification information associated with the target data and vertical and horizontal characteristics of the expansion target information. At least one of length information, rotation information, tilt information, hue information, saturation information, brightness information, brightness information, linearity information, coordinate information, distribution information, range information, deviation information, data intensity information, or pattern information. It is characterized by including.

第4発明に係るデータ拡張装置は、第1発明~第3発明の何れかにおいて、前記出力部により出力された複数の前記指標情報を調整する調整部をさらに備え、前記データ拡張部は、前記調整部により調整された前記指標情報に基づき前記対象データを拡張し、拡張データを生成すること、を特徴とする。 The data expansion device according to the fourth invention further includes an adjustment unit for adjusting a plurality of the index information output by the output unit in any one of the first invention to the third invention, and the data expansion unit is the said. It is characterized in that the target data is expanded based on the index information adjusted by the adjusting unit to generate extended data.

第5発明に係るデータ拡張装置は、第1発明~第4発明の何れかにおいて、予め取得された過去の拡張対象情報に含まれる複数のデータと、前記過去の拡張対象情報に紐づく参照情報に含まれる複数のデータと、の間における重み変数に対応する複数の連関度を有する連関性が記憶された参照データベースと、前記取得部により取得された前記拡張対象情報に基づいて、 前記参照データベースを参照し、前記連関性に基づき算出された解に紐づく最適な前記参照情報を選択し、最適な前記参照情報に基づき複数の前記指標情報を含む評価結果を生成する評価部と、をさらに備え、前記出力部は、前記評価部により生成された前記評価結果を出力すること、を特徴とする。 The data expansion device according to the fifth invention is the plurality of data included in the past expansion target information acquired in advance in any one of the first invention to the fourth invention, and reference information associated with the past expansion target information. A reference database that stores a plurality of data contained in the data and a reference database that stores a relationship having a plurality of degrees of association corresponding to a weight variable between the data, and the reference database based on the extended target information acquired by the acquisition unit. Further, an evaluation unit that selects the optimum reference information associated with the solution calculated based on the association and generates an evaluation result including a plurality of the index information based on the optimum reference information. The output unit is characterized in that it outputs the evaluation result generated by the evaluation unit.

第6発明に係るデータ拡張システムは、機械学習のためのデータ拡張を支援するデータ拡張システムであって、対象物が撮影された対象画像に含まれ、前記対象物と合わせて前記データ拡張を行う対象の対象データと、前記対象データに付与される前記対象データを識別する識別情報、前記対象データの特徴を示す特徴情報、前記対象画像における位置を示す座標情報、及び前記対象データの発生した工程を示す工程情報を少なくとも含むアノテーション情報とを含む拡張対象情報を取得する取得手段と、前記取得手段により取得された前記アノテーション情報に基づいて、異なる特性を示す複数の指標情報を生成する生成手段と、前記生成手段により生成された前記指標情報を出力する出力手段と、前記出力手段により出力された前記指標情報に基づいて、新しい対象データを生成し、生成した新しい前記対象データを含む拡張データを生成するデータ拡張手段と、を備えることを特徴とする。 The data expansion system according to the sixth invention is a data expansion system that supports data expansion for machine learning, and the object is included in a captured target image, and the data expansion is performed together with the object. Target data, identification information that identifies the target data given to the target data, feature information that indicates the characteristics of the target data, coordinate information that indicates the position in the target image, and a process in which the target data is generated. An acquisition means for acquiring extended target information including at least annotation information including process information indicating the above, and a generation means for generating a plurality of index information showing different characteristics based on the annotation information acquired by the acquisition means. , An output means that outputs the index information generated by the generation means, and an extended data including the new target data generated by generating new target data based on the index information output by the output means. It is characterized by comprising a data expanding means for generating.

第7発明に係るデータ拡張プログラムは、機械学習のためのデータ拡張を支援するデータ拡張プログラムであって、対象物が撮影された対象画像に含まれ、前記対象物と合わせて前記データ拡張を行う対象の対象データと、前記対象データに付与される前記対象データを識別する識別情報、前記対象データの特徴を示す特徴情報、前記対象画像における位置を示す座標情報、及び前記対象データの発生した工程を示す工程情報を少なくとも含むアノテーション情報とを含む拡張対象情報を取得する取得ステップと、前記取得ステップにより取得された前記アノテーション情報に基づいて、異なる特性を示す複数の指標情報を生成する生成ステップと、前記生成ステップにより生成された前記指標情報を出力する出力ステップと、前記出力ステップにより出力された前記指標情報に基づいて、新しい対象データを生成し、生成した新しい前記対象データを含む拡張データを生成するデータ拡張ステップと、をコンピュータに実行させることを特徴とする。 The data expansion program according to the seventh invention is a data expansion program that supports data expansion for machine learning, is included in an object image in which an object is captured, and performs the data expansion together with the object. Target data, identification information that identifies the target data given to the target data, feature information that indicates the characteristics of the target data, coordinate information that indicates the position in the target image, and a process in which the target data is generated. An acquisition step for acquiring extended target information including at least annotation information including process information indicating the above, and a generation step for generating a plurality of index information showing different characteristics based on the annotation information acquired by the acquisition step. , An output step that outputs the index information generated by the generation step, and an extended data including the generated new target data by generating new target data based on the index information output by the output step. It is characterized by having a computer execute a data expansion step to be generated.

第1発明~第5発明によれば、取得部は、データ拡張を行う対象物の対象データと、対象データに付与されるアノテーション情報とを含む拡張対象情報を取得する。このため、対象データとアノテーション情報とに基づき、拡張データを生成するための複数の指標情報を生成することができる。これにより、機械学習におけるデータ拡張の精度の向上を図ることが可能となる。 According to the first to fifth inventions, the acquisition unit acquires the expansion target information including the target data of the object for which the data is expanded and the annotation information given to the target data. Therefore, it is possible to generate a plurality of index information for generating extended data based on the target data and the annotation information. This makes it possible to improve the accuracy of data expansion in machine learning.

また、第1発明~第5発明によれば、生成部は、アノテーション情報に基づいて、異なる特性を示す指標情報を生成する。このため、異なる特性を示す指標情報に基づき、様々にデータ拡張された拡張データを生成することができる。これにより、機械学習におけるデータ拡張の精度の向上を図ることが可能となる。 Further, according to the first to fifth inventions, the generation unit generates index information showing different characteristics based on the annotation information. Therefore, it is possible to generate extended data with various data extensions based on the index information showing different characteristics. This makes it possible to improve the accuracy of data expansion in machine learning.

特に、第2発明によれば、対象データは、画像データ、映像データ、又はテキストデータの少なくとも何れかのデータである。このため、対象データの種類に応じた指標情報を生成することができる。これにより、機械学習におけるデータ拡張の精度の向上を図ることが可能となる。 In particular, according to the second invention, the target data is at least one of image data, video data, and text data. Therefore, it is possible to generate index information according to the type of target data. This makes it possible to improve the accuracy of data expansion in machine learning.

特に、第3発明によれば、指標情報は、対象データに紐づく識別情報、及び拡張対象情報の特徴を示す縦横長情報、縦横長情報、回転情報、傾き情報、色相情報、彩度情報、明度情報、輝度情報、線形度情報、座標情報、分布情報、範囲情報、偏差情報、データ強度情報、又はパターン情報の少なくとも何れかを含む。このため、複数の指標情報を出力することができる。これにより、機械学習におけるデータ拡張の精度の向上を図ることが可能となる。 In particular, according to the third invention, the index information includes identification information associated with the target data, vertical / horizontal information indicating the characteristics of the extended target information, vertical / horizontal information, rotation information, inclination information, hue information, saturation information, and the like. It includes at least one of brightness information, brightness information, linearity information, coordinate information, distribution information, range information, deviation information, data intensity information, or pattern information. Therefore, a plurality of index information can be output. This makes it possible to improve the accuracy of data expansion in machine learning.

特に、第4発明によれば、調整部は、指標情報を調整する。このため、データ拡張部は、調整部により調整された前記指標情報に基づき新しい前記対象データを含む拡張データを生成することができる。これにより、機械学習におけるデータ拡張の精度の向上を図ることが可能となる。 In particular, according to the fourth invention, the adjusting unit adjusts the index information. Therefore, the data expansion unit can generate extended data including the new target data based on the index information adjusted by the adjustment unit. This makes it possible to improve the accuracy of data expansion in machine learning.

特に、第5発明によれば、参照データベースは、予め取得された過去の拡張対象情報と、過去の拡張対象情報に紐づく参照情報に含まれる複数のデータと、の間における重み変数に対応する複数の連関度を有する連関性を記憶する。このため、過去の拡張対象情報とは異なる未知の拡張対象情報を評価する場合においても、定量的な評価を実施することができる。これにより、機械学習における更なるデータ拡張の精度の向上を図ることが可能となる。 In particular, according to the fifth invention, the reference database corresponds to a weight variable between the past extended target information acquired in advance and a plurality of data included in the reference information associated with the past extended target information. Memorize the relationships that have multiple degrees of connection. Therefore, even when evaluating unknown extended target information different from past extended target information, quantitative evaluation can be performed. This makes it possible to further improve the accuracy of data expansion in machine learning.

また、第6発明によれば、取得手段は、データ拡張を行う対象物の対象データと、対象データに付与されるアノテーション情報とを含む拡張対象情報を取得する。このため、対象データとアノテーション情報とに基づき、拡張データを生成するための複数の指標情報を生成することができる。これにより、機械学習におけるデータ拡張の精度の向上を図ることが可能となる。 Further, according to the sixth invention, the acquisition means acquires the expansion target information including the target data of the object for which the data is expanded and the annotation information given to the target data. Therefore, it is possible to generate a plurality of index information for generating extended data based on the target data and the annotation information. This makes it possible to improve the accuracy of data expansion in machine learning.

また、第7発明によれば、取得ステップは、データ拡張を行う対象物の対象データと、対象データに付与されるアノテーション情報とを含む拡張対象情報を取得する。このため、対象データとアノテーション情報とに基づき、拡張データを生成するための複数の指標情報を生成することができる。これにより、機械学習におけるデータ拡張の精度の向上を図ることが可能となる。 Further, according to the seventh invention, the acquisition step acquires the expansion target information including the target data of the object for which the data is expanded and the annotation information given to the target data. Therefore, it is possible to generate a plurality of index information for generating extended data based on the target data and the annotation information. This makes it possible to improve the accuracy of data expansion in machine learning.

図1は、本実施形態におけるデータ拡張システムの一例を示す模式図である。FIG. 1 is a schematic diagram showing an example of a data expansion system according to the present embodiment. 図2は、本実施形態におけるデータ拡張システムの動作の一例を示す模式図である。FIG. 2 is a schematic diagram showing an example of the operation of the data expansion system in the present embodiment. 図3(a)は、本実施形態におけるデータ拡張システムの構成の一例を示す模式図であり、図3(b)は、本実施形態におけるデータ拡張システムの機能の一例を示す模式図である。FIG. 3A is a schematic diagram showing an example of the configuration of the data expansion system in the present embodiment, and FIG. 3B is a schematic diagram showing an example of the function of the data expansion system in the present embodiment. 図4は、本実施形態における参照データベースの一例を示す模式図である。FIG. 4 is a schematic diagram showing an example of a reference database in this embodiment. 図5は、本実施形態における参照データベースの第1変形例を示す模式図である。FIG. 5 is a schematic diagram showing a first modification of the reference database in the present embodiment. 図6は、本実施形態におけるデータ拡張システムの動作の一例を示すフローチャートである。FIG. 6 is a flowchart showing an example of the operation of the data expansion system in the present embodiment.

以下、本発明を適用した実施形態におけるデータ拡張装置、データ拡張システム、及び
データ拡張方法の一例について、図面を参照しながら説明する。
Hereinafter, the data expansion device, the data expansion system, and the data expansion system according to the embodiment to which the present invention is applied, and
An example of the data expansion method will be described with reference to the drawings.

(データ拡張システム100)
図1を参照して、本実施形態におけるデータ拡張システム100、及びデータ拡張装置1の一例について説明する。
(Data Expansion System 100)
An example of the data expansion system 100 and the data expansion device 1 in the present embodiment will be described with reference to FIG. 1.

本実施形態におけるデータ拡張システム100は、例えば図1に示すように、データ拡張装置1を有する。データ拡張装置1は、例えば公衆通信網4を介して他の端末2やサーバ3に接続されてもよい。データ拡張装置1は、例えば公衆通信網4で接続される他の端末2を介して対象画像20を取得する。 The data expansion system 100 in this embodiment has a data expansion device 1 as shown in FIG. 1, for example. The data expansion device 1 may be connected to another terminal 2 or a server 3 via, for example, a public communication network 4. The data expansion device 1 acquires the target image 20 via, for example, another terminal 2 connected by the public communication network 4.

データ拡張システム100では、例えば図2に示すように、データ拡張装置1を用いて対象画像20を取得する。対象画像20は、例えば被写体、工作物等の対象物20aと、対象物20aと合わせてデータ拡張させたい対象データ21を含む。対象画像20をデータ拡張させる場合、例えば対象画像20における対象物20aの画像はそのままで、対象データ21を「回転」、「色相」、「輝度」のそれぞれのパターン、バリエーション等を増やすことで、対象画像20を拡張データとして水増しさせる。 In the data expansion system 100, for example, as shown in FIG. 2, the target image 20 is acquired by using the data expansion device 1. The target image 20 includes, for example, an object 20a such as a subject or a workpiece, and target data 21 whose data is to be expanded together with the object 20a. When expanding the data of the target image 20, for example, by increasing the patterns, variations, etc. of the "rotation", "hue", and "luminance" of the target data 21 while keeping the image of the object 20a in the target image 20 as it is. The target image 20 is inflated as extended data.

データ拡張システム100は、対象画像20を取得したあと、例えばデータ拡張を行う対象部分である対象データ21と、対象データ21に付与されるアノテーション情報21aとを含む拡張対象情報を取得する。データ拡張システム100は、例えば対象データ21に付与されるアノテーション情報21aに含まれる複数の情報に基づいて、複数の指標情報(指標情報31a、指標情報31b、指標情報31c、等)を生成する。データ拡張システム100は、例えば生成された複数の指標情報31a~31cを表示部109等に出力する。複数の指標情報31a~31cは、例えば公知の画像解析などの技術に基づき分析され、対象データ21を構成する複数の指標情報として数値化し、例えば分布図などとして表示部109等に出力するようにしてもよい。 After acquiring the target image 20, the data expansion system 100 acquires expansion target information including, for example, the target data 21 which is a target portion for data expansion and the annotation information 21a given to the target data 21. The data expansion system 100 generates a plurality of index information (index information 31a, index information 31b, index information 31c, etc.) based on a plurality of information included in the annotation information 21a given to the target data 21, for example. The data expansion system 100 outputs, for example, a plurality of generated index information 31a to 31c to the display unit 109 or the like. The plurality of index information 31a to 31c are analyzed based on, for example, a known technique such as image analysis, quantified as a plurality of index information constituting the target data 21, and output to the display unit 109 or the like as, for example, a distribution map. You may.

対象データ21は、例えばデータ拡張システム100により、データ拡張装置1を介して取得される対象画像20に含まれる。対象データ21は、対象画像20の他に、例えば映像データ、又はテキストデータの少なくとも何れかのデータであってもよい。データ拡張装置1を介して取得されるデータが、例えば映像データ、音楽データの場合は、それらの各々に付加されるアノテーション情報の特徴を分析し、分析された結果に基づいて複数の指標情報を生成する。対象データ21の分析は、例えば公知の画像解析技術、または音楽解析技術などが用いられ、複数の異なる指標情報として、例えば数値、分布図などで生成されてもよい。 The target data 21 is included in the target image 20 acquired via the data expansion device 1 by, for example, the data expansion system 100. In addition to the target image 20, the target data 21 may be, for example, video data or at least one of text data. When the data acquired through the data expansion device 1 is, for example, video data or music data, the characteristics of the annotation information added to each of them are analyzed, and a plurality of index information is obtained based on the analyzed results. Generate. For the analysis of the target data 21, for example, a known image analysis technique, music analysis technique, or the like is used, and a plurality of different index information may be generated, for example, by a numerical value or a distribution map.

指標情報30は、例えばデータ拡張システム100により、データ拡張装置1を介して取得された対象データ21に付与されるアノテーション情報21aに含まれる複数の情報に基づいて生成され、例えば対象データ21の回転を示す指標情報31a、色相の度合いを示す指標情報31b、輝度の度合いを示す指標情報31cとして生成される。データ拡張システム100は、例えば生成された複数の指標情報30を表示部109等に出力し、データ拡張装置1を介して入力された指示により、指定された複数の指標情報30に基づいて、複数の拡張データ40を生成する。 The index information 30 is generated, for example, by the data expansion system 100 based on a plurality of information included in the annotation information 21a given to the target data 21 acquired via the data expansion device 1, for example, rotation of the target data 21. Is generated as index information 31a indicating the degree of hue, index information 31b indicating the degree of hue, and index information 31c indicating the degree of brightness. The data expansion system 100 outputs, for example, a plurality of generated index information 30 to a display unit 109 or the like, and a plurality of index information 30 based on a plurality of designated index information 30 according to an instruction input via the data expansion device 1. The extended data 40 of is generated.

指標情報30は、例えば対象データ21に紐づく識別情報、及び拡張対象情報の特徴を示す縦横長情報、回転情報、傾き情報、色相情報、彩度情報、明度情報、輝度情報、線形度情報、座標情報、分布情報、範囲情報、偏差情報、データ強度情報、又はパターン情報の少なくとも何れかを含むようにしてもよい。 The index information 30 includes, for example, identification information associated with the target data 21, vertical / horizontal information indicating the characteristics of the extended target information, rotation information, tilt information, hue information, saturation information, brightness information, brightness information, linearity information, and the like. It may include at least one of coordinate information, distribution information, range information, deviation information, data intensity information, or pattern information.

拡張データ40は、例えばデータ拡張装置1により、複数の指標情報30に基づいて生成される。データ拡張装置1は、例えば生成された指標情報が指標情報31aである場合は、複数の指標情報31aに基づいて対象データ21を回転させ、複数の拡張データ41aを生成する。またデータ拡張装置1は、例えば生成された指標情報が指標情報31bである場合は、複数の指標情報31bに基づいて対象データ21の色相を変化させ、複数の拡張データ41bを生成する。またデータ拡張装置1は、例えば生成された指標情報が指標情報31cである場合は、複数の指標情報31cに基づいて対象データ21の輝度を変化させ、複数の拡張データ41cを生成する。 The extended data 40 is generated by, for example, the data expanding device 1 based on a plurality of index information 30. For example, when the generated index information is the index information 31a, the data expansion device 1 rotates the target data 21 based on the plurality of index information 31a to generate a plurality of extended data 41a. Further, for example, when the generated index information is the index information 31b, the data expansion device 1 changes the hue of the target data 21 based on the plurality of index information 31b and generates a plurality of expansion data 41b. Further, for example, when the generated index information is the index information 31c, the data expansion device 1 changes the brightness of the target data 21 based on the plurality of index information 31c to generate a plurality of expansion data 41c.

拡張データ40は、例えば複数の指標情報30の組合せであってもよい。データ拡張装置1を介して指定された複数の指標情報30が、例えば指標情報31a(回転)、指標情報31b(色相)、及び指標情報31c(輝度)である場合は、複数の指標情報31a~31cの組合せに基づいて、対象データ21の回転、色相、及び輝度が変化した拡張データを複数生成するようにしてもよい。これにより、対象データ21とアノテーション情報21aとに基づいて、適切、適確な拡張データを迅速に生成することが可能となり、拡張データを用いた機械学習におけるデータ拡張の精度の向上を図ることが可能となる。 The extended data 40 may be, for example, a combination of a plurality of index information 30s. When the plurality of index information 30 designated via the data expansion device 1 is, for example, index information 31a (rotation), index information 31b (hue), and index information 31c (brightness), the plurality of index information 31a to Based on the combination of 31c, a plurality of extended data in which the rotation, hue, and brightness of the target data 21 are changed may be generated. As a result, it becomes possible to quickly generate appropriate and appropriate extended data based on the target data 21 and the annotation information 21a, and it is possible to improve the accuracy of data expansion in machine learning using the expanded data. It will be possible.

データ拡張装置1として、例えばパーソナルコンピュータ(PC)等の電子機器が用いられるほか、例えばスマートフォン、タブレット型端末、ウェアラブル端末、IoT(Internet of Things)デバイス等の電子機器、Raspberry Pi(登録商標)等のシングルボードコンピュータが用いられてもよく、例えばマイクやカメラなどの入力装置(図示せず)が内蔵されてもよい。 As the data expansion device 1, for example, an electronic device such as a personal computer (PC) is used, and for example, an electronic device such as a smartphone, a tablet terminal, a wearable terminal, an IoT (Internet of Things) device, a Raspbury Pi (registered trademark), and the like. A single board computer may be used, and an input device (not shown) such as a microphone or a camera may be built in.

対象画像20は、例えばデータ拡張装置1の取得した対象データ21、アノテーション情報21aに紐づくように、操作者等が直接にデータ拡張装置1に入力するほか、例えば公衆通信網4に接続される他の端末2等から送信されてもよい。 The target image 20 is directly input to the data expansion device 1 by an operator or the like so as to be linked to the target data 21 and the annotation information 21a acquired by the data expansion device 1, or is connected to, for example, a public communication network 4. It may be transmitted from another terminal 2 or the like.

(データ拡張装置1)
次に、図3を参照して、本実施形態におけるデータ拡張装置1の一例を説明する。図3(a)は、本実施形態におけるデータ拡張装置1の構成の一例を示す模式図であり、図3(b)は、本実施形態におけるデータ拡張装置1の機能の一例を示す模式図である。
(Data expansion device 1)
Next, an example of the data expansion device 1 in the present embodiment will be described with reference to FIG. FIG. 3A is a schematic diagram showing an example of the configuration of the data expansion device 1 in the present embodiment, and FIG. 3B is a schematic diagram showing an example of the function of the data expansion device 1 in the present embodiment. be.

データ拡張装置1は、例えば図3(a)に示すように、筐体10と、CPU(Central Processing Unit)101と、ROM(Read Only Memory)102と、RAM(Random Access Memory)103と、保存部104と、I/F105~107とを備える。各々の構成101~107は、内部バス110により接続される。 As shown in FIG. 3A, for example, the data expansion device 1 stores a housing 10, a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, a RAM (Random Access Memory) 103, and the storage. A unit 104 and I / F 105 to 107 are provided. Each configuration 101 to 107 is connected by an internal bus 110.

CPU101は、データ拡張装置1全体を制御する。ROM102は、CPU101の動作コードを格納する。RAM103は、CPU101の動作時に使用される作業領域である。 The CPU 101 controls the entire data expansion device 1. The ROM 102 stores the operation code of the CPU 101. The RAM 103 is a work area used when the CPU 101 operates.

保存部104は、拡張対象情報や参照データベース等の各種情報が保存される。保存部104として、例えばHDD(Hard Disk Drive)の他、SSD(Solid State Drive)やUSBメモリ、クラウド等のデータ保存装置が用いられる。なお、例えばデータ拡張装置1は、図示しないGPU(Graphics Processing Unit)を有してもよい。GPUを有することで、通常よりも高速演算処理が可能となる。 The storage unit 104 stores various information such as expansion target information and a reference database. As the storage unit 104, for example, in addition to an HDD (Hard Disk Drive), a data storage device such as an SSD (Solid State Drive), a USB memory, or a cloud is used. For example, the data expansion device 1 may have a GPU (Graphics Processing Unit) (not shown). Having a GPU enables higher-speed arithmetic processing than usual.

I/F105は、データ拡張装置1との各種情報の送受信を行うためのインターフェースであるほか、例えば公衆通信網4を介して、他の端末2やサーバ3等との各種情報の送受信を行うためのインターフェースでもよい。 The I / F 105 is an interface for transmitting and receiving various information with the data expansion device 1, and also for transmitting and receiving various information with other terminals 2 and servers 3 via, for example, a public communication network 4. Interface may be used.

I/F106は、入力部108との情報の送受信を行うためのインターフェースである。入力部108として、例えばキーボードが用いられ、データ拡張装置1を利用する操作者等は、入力部108を介して、各種情報又はデータ拡張装置1の制御コマンド等を入力する。 The I / F 106 is an interface for transmitting / receiving information to / from the input unit 108. For example, a keyboard is used as the input unit 108, and an operator or the like who uses the data expansion device 1 inputs various information or a control command of the data expansion device 1 via the input unit 108.

I/F107は、表示部109との各種情報の送受信を行うためのインターフェースである。表示部109は、保存部104に保存された評価結果等の各種情報、又はデータ拡張装置1の処理状況等を出力する。表示部109として、ディスプレイが用いられ、例えばタッチパネル式でもよい。 The I / F 107 is an interface for transmitting and receiving various information to and from the display unit 109. The display unit 109 outputs various information such as evaluation results stored in the storage unit 104, or the processing status of the data expansion device 1. A display is used as the display unit 109, and a touch panel type may be used, for example.

<参照データベース>
保存部104に保存された参照データベースには、予め取得された過去の拡張対象情報と、過去の拡張対象情報に紐づく参照情報との間における連関性が記憶され、例えば連関性を有する学習モデルが記憶される。
<Reference database>
The reference database stored in the storage unit 104 stores the relationship between the past extended target information acquired in advance and the reference information associated with the past extended target information, for example, a learning model having a relationship. Is remembered.

参照データベースには、例えば過去の拡張対象情報、及び参照情報が記憶されてもよい。連関性は、例えば過去の拡張対象情報、及び参照情報を一組の学習データとして、複数の学習データを用いた機械学習により構築される。学習方法として、例えば畳み込みニューラルネットワーク等の深層学習が用いられる。 For example, past extended target information and reference information may be stored in the reference database. The association is constructed by machine learning using a plurality of learning data, for example, using the past extended target information and the reference information as a set of learning data. As a learning method, deep learning such as a convolutional neural network is used.

この場合、例えば連関性は、多対多の情報(過去の拡張対象情報に含まれる複数のデータ、対、参照情報に含まれる複数のデータ)の間における繋がりの度合いを示す。 In this case, for example, the association indicates the degree of connection between many-to-many information (a plurality of data included in the past extended target information, a pair, and a plurality of data included in the reference information).

連関性は、機械学習の過程で適宜更新される。即ち、連関性は、例えば過去の対象データ21、アノテーション情報21a及び参照情報に基づいて最適化された関数を示す。このため、過去に拡張対象情報を評価した結果を全て踏まえて構築された連関性を用いて、拡張対象情報に対する評価結果が生成される。これにより、拡張対象情報が他の対象データ21、アノテーション情報21aなどと組み合わされる構成状態を有する場合においても、最適な評価結果を生成することができる。 Relationships are updated as appropriate during the process of machine learning. That is, the association indicates, for example, a function optimized based on the past target data 21, annotation information 21a, and reference information. Therefore, the evaluation result for the extended target information is generated by using the association constructed based on all the results of evaluating the extended target information in the past. Thereby, even when the extended target information has a configuration state in which the extended target information is combined with the other target data 21, the annotation information 21a, and the like, the optimum evaluation result can be generated.

また、参照データベースは、拡張対象情報が過去の拡張対象情報と同一又は類似である場合のほか、非類似である場合においても、最適な評価結果を定量的に生成することができる。なお、機械学習を行う際に汎化能力を高めることで、未知の拡張対象情報に対する評価精度の向上を図ることができる。 Further, the reference database can quantitatively generate the optimum evaluation result even when the extended target information is the same as or similar to the past extended target information or when it is dissimilar. By increasing the generalization ability when performing machine learning, it is possible to improve the evaluation accuracy for unknown extended target information.

なお、連関性は、例えば過去の拡張対象情報に含まれる複数のデータと、参照情報に含まれる複数のデータとの間における繋がりの度合いを示す複数の連関度を有してもよい。連関度は、例えば学習モデルがニューラルネットワークで構築される場合、重み変数に対応させることができる。 The association may have, for example, a plurality of association degrees indicating the degree of connection between the plurality of data included in the past extended target information and the plurality of data included in the reference information. The degree of association can correspond to a weight variable, for example, when the learning model is constructed by a neural network.

過去の拡張対象情報は、上述した拡張対象情報と同種の情報を示す。過去の拡張対象情報は、例えば過去に対象データ21を評価した際に取得された拡張対象情報を複数含む。 The past expansion target information indicates the same type of information as the expansion target information described above. The past expansion target information includes, for example, a plurality of expansion target information acquired when the target data 21 was evaluated in the past.

参照情報は、過去の拡張対象情報に紐づき、対象データ21、アノテーション情報21aに関する情報を示す。参照情報は、対象データ21の内容、状態、または影響を踏まえた評価(例えば「回転」、「色相」、「輝度」等)を示すほか、指標情報の優先度、組合せ、数値、分布などに関する情報を含んでもよい。なお、参照情報に含まれる具体的な内容は、任意に設定することができる。 The reference information is linked to the past extended target information, and indicates information related to the target data 21 and the annotation information 21a. The reference information indicates an evaluation (for example, "rotation", "hue", "luminance", etc.) based on the content, state, or influence of the target data 21, and also relates to the priority, combination, numerical value, distribution, etc. of the index information. Information may be included. The specific contents included in the reference information can be arbitrarily set.

連関性は、例えば図4に示すように、過去の拡張対象情報と参照情報との間における繋がりの度合いを示してもよい。この場合、連関性を用いることで、過去の拡張対象情報に含まれる複数のデータ(図4では「データA」~「データC」)のそれぞれに対し、参照情報に含まれる複数のデータ(図4では「参照A」~「参照C」)の関係の度合いを紐づけて記憶させることができる。このため、例えば連関性を介して、過去の拡張対象情報に含まれる1つのデータに対して、参照情報に含まれる複数のデータを紐づけることができ、多角的な評価結果の生成を実現することができる。 The association may indicate the degree of connection between the past extended target information and the reference information, as shown in FIG. 4, for example. In this case, by using the association, a plurality of data included in the reference information (FIG. 4) for each of the plurality of data included in the past extended target information (“Data A” to “Data C” in FIG. 4). In 4, the degree of relationship between "reference A" to "reference C") can be associated and stored. Therefore, for example, it is possible to link a plurality of data included in the reference information to one data included in the past extended target information through association, and it is possible to generate a multifaceted evaluation result. be able to.

連関性は、例えば過去の拡張対象情報に含まれる複数のデータと、参照情報に含まれる複数のデータとをそれぞれ紐づける複数の連関度を有する。連関度は、例えば百分率、10段階、又は5段階等の3段階以上で示され、例えば線の特徴(例えば太さ等)で示される。例えば、過去の拡張対象情報に含まれる「データA」は、参照情報に含まれる「参照A」との間の連関度AA「80%」を示し、参照情報に含まれる「参照B」との間の連関度AB「65%」を示す。すなわち、「連関度」は、各データ間における繋がりの度合いを示しており、例えば連関度が高いほど、各データの繋がりが強いことを示す。なお、上述した機械学習により連関性を構築する際、連関性が3段階以上の連関度を有するように設定してもよい。 The association has, for example, a plurality of association degrees in which a plurality of data included in the past extended target information and a plurality of data included in the reference information are associated with each other. The degree of association is shown in three or more steps such as percentage, 10 steps, or 5 steps, and is shown by, for example, the characteristics of the line (for example, thickness). For example, the "data A" included in the past expansion target information indicates the degree of association AA "80%" with the "reference A" included in the reference information, and the "reference B" included in the reference information. The degree of association between them is AB "65%". That is, the "degree of association" indicates the degree of connection between each data, and for example, the higher the degree of association, the stronger the connection of each data. When constructing the association by the above-mentioned machine learning, the association may be set to have three or more levels of association.

過去の拡張対象情報は、例えば図5に示すように、過去の対象データと、過去のアノテーション情報とを分割して、参照データベースに記憶されてもよい。この場合、過去の対象データ及び過去のアノテーション情報の組み合わせと、参照情報との間の関係に基づいて、連関度が算出される。なお、過去の拡張対象情報は、例えば上記に加え、過去の対策情報を分割して、参照データベースに記憶されてもよい。 As shown in FIG. 5, for example, the past extended target information may be stored in the reference database by dividing the past target data and the past annotation information. In this case, the degree of association is calculated based on the relationship between the combination of the past target data and the past annotation information and the reference information. In addition to the above, the past expansion target information may be stored in the reference database by dividing the past countermeasure information.

例えば、過去の対象データに含まれる「対象データa」、及び過去のアノテーション情報に含まれる「アノテーション情報a」の組み合わせは、「参照A」との間の連関度AAA「56%」を示し、「参照B」との間の連関度ABA「23%」を示す。この場合、過去の対象データ及び過去のアノテーション情報をそれぞれ独立してデータを記憶させることができる。このため、評価結果を生成する際、精度の向上及び選択肢の範囲を拡大させることが可能となる。 For example, the combination of the "target data a" included in the past target data and the "annotation information a" included in the past annotation information indicates a degree of association AAA "56%" with the "reference A". The degree of association ABA "23%" with "reference B" is shown. In this case, the past target data and the past annotation information can be stored independently. Therefore, when generating the evaluation result, it is possible to improve the accuracy and expand the range of options.

過去の拡張対象情報は、例えば合成データと、類似度とを含んでもよい。合成データは、過去の対象データ又は過去のアノテーション情報との間における3段階以上の類似度により示される。合成データは、数値、行列、又はヒストグラム等の形式で参照データベースに記憶されるほか、例えば画像や文字列等の形式で記憶するようにしてもよい。 The past extended target information may include, for example, synthetic data and similarity. The synthetic data is indicated by three or more levels of similarity with past target data or past annotation information. The composite data may be stored in the reference database in the form of a numerical value, a matrix, a histogram, or the like, or may be stored in the form of, for example, an image or a character string.

図3(b)は、データ拡張装置1の機能の一例を示す模式図である。データ拡張装置1は、取得部11と、生成部12と、出力部13と、データ拡張部14と、調整部15と、記憶部16と、更新部17と、評価部18とを備える。なお、図3(b)に示した各機能は、CPU101が、RAM103を作業領域として、保存部104等に保存されたプログラムを実行することにより実現され、例えば人工知能により制御されてもよい。 FIG. 3B is a schematic diagram showing an example of the function of the data expansion device 1. The data expansion device 1 includes an acquisition unit 11, a generation unit 12, an output unit 13, a data expansion unit 14, an adjustment unit 15, a storage unit 16, an update unit 17, and an evaluation unit 18. Each function shown in FIG. 3B is realized by the CPU 101 executing a program stored in the storage unit 104 or the like using the RAM 103 as a work area, and may be controlled by, for example, artificial intelligence.

<取得部11>
取得部11は、対象画像20を取得する。対象画像20には、例えば対象物20aと対象データ21を含む。取得部11は、例えば対象画像20に複数の対象物20aが含まれている場合、操作者によって入力部108を介して選択された範囲に含まれる対象データ21を、データ拡張する対象データ21として取得するようにしてもよい。
<Acquisition unit 11>
The acquisition unit 11 acquires the target image 20. The target image 20 includes, for example, an object 20a and target data 21. For example, when the target image 20 includes a plurality of objects 20a, the acquisition unit 11 uses the target data 21 included in the range selected by the operator via the input unit 108 as the target data 21 for data expansion. You may try to get it.

取得部11は、データ拡張を行う対象の対象データ21と、対象データ21に付与されるアノテーション情報21aとを含む拡張対象情報を取得する。取得部11は、データ拡張装置1から対象画像20を取得するほか、例えば接続された他の端末2から、対象画像20、その他の形式の各種データを取得するようにしてもよい。 The acquisition unit 11 acquires the expansion target information including the target data 21 for data expansion and the annotation information 21a given to the target data 21. In addition to acquiring the target image 20 from the data expansion device 1, the acquisition unit 11 may acquire the target image 20 and various data in other formats from, for example, another connected terminal 2.

取得部11は、例えば対象画像20を取得した場合、対象画像20と共に対象データ21とアノテーション情報21aを拡張対象情報として取得する。なお、取得部11が対象画像20、対象データ21、拡張対象情報を取得する範囲、枚数、頻度、及び周期等は、任意である。 For example, when the target image 20 is acquired, the acquisition unit 11 acquires the target data 21 and the annotation information 21a together with the target image 20 as extended target information. The range, number of sheets, frequency, period, and the like for the acquisition unit 11 to acquire the target image 20, the target data 21, and the extended target information are arbitrary.

取得部11は、取得部11が取得する対象データ21として、例えば画像データ、映像データ、又はテキストデータの少なくとも何れかのデータを取得する。 The acquisition unit 11 acquires at least one of image data, video data, and text data as the target data 21 to be acquired by the acquisition unit 11.

また取得部11は、例えばデータ拡張装置1を介して対象画像20を先に取得しておき、他の端末2を介して後から対象データ21と、対象データ21に付与されるアノテーション情報21aを取得するようにしてもよい。 Further, the acquisition unit 11 acquires the target image 20 first via the data expansion device 1, for example, and then obtains the target data 21 and the annotation information 21a given to the target data 21 via the other terminal 2. You may try to get it.

取得部11は、例えば対象データ21が画像である場合に、例えば対象データ21の画像の特徴「◆(黒色の菱形の画像)」と、付与されたアノテーション情報21aとして、例えば対象データ21の識別情報「対象データ 001」、対象データ21の特徴「菱形」、対象データ21の色情報「RGB(0,0,0)」、対象画像20における位置「座標(X,Y)」、タグ情報「破片」、対象データ21の発生した工程「生産工程」等を、各種のアノテーション情報21aとして取得する。 For example, when the target data 21 is an image, the acquisition unit 11 identifies the target data 21 as, for example, the feature "◆ (black diamond-shaped image)" of the image of the target data 21 and the added annotation information 21a. Information "target data 001", feature "diamond" of target data 21, color information "RGB (0,0,0)" of target data 21, position "coordinates (X, Y)" in target image 20, tag information " "Shards", the process "production process" in which the target data 21 is generated, and the like are acquired as various annotation information 21a.

取得部11は、データ拡張装置1に送信された各種情報を受信する。取得部11は、例えば公衆通信網4及びI/F105を介して、他の端末2等の外部端末から送信された対象画像20やアノテーション情報21a、指標情報30に対する指定等の各種情報を受信してもよい。 The acquisition unit 11 receives various information transmitted to the data expansion device 1. The acquisition unit 11 receives various information such as designations for the target image 20, annotation information 21a, and index information 30 transmitted from an external terminal such as another terminal 2 via, for example, the public communication network 4 and the I / F 105. You may.

取得部11は、例えば保存部104に保存された学習モデルを参照し、対象データ21に対応するアノテーション情報21aを選択し、拡張対象情報として取得してもよい。 For example, the acquisition unit 11 may refer to the learning model stored in the storage unit 104, select the annotation information 21a corresponding to the target data 21, and acquire it as the extended target information.

取得部11は、例えばデータ拡張装置1の入力部108等を介して入力された対象データ21の範囲を特定し、その範囲に含まれる対象データ21を取得するようにしてもよい。取得部11は、入力部108等を介して入力されたデータ拡張の範囲が、対象物20aを含む場合は、対象物20aと対象データ21をデータ拡張の範囲として取得するようにしてもよい。 The acquisition unit 11 may specify a range of the target data 21 input via, for example, the input unit 108 of the data expansion device 1, and acquire the target data 21 included in the range. When the range of data expansion input via the input unit 108 or the like includes the object 20a, the acquisition unit 11 may acquire the object 20a and the target data 21 as the range of data expansion.

<生成部12>
生成部12は、取得部11により取得された対象データ21に付与されるアノテーション情報21aに含まれる複数の情報に基づいて、複数のデータ拡張が可能となる異なる特性を示す複数の指標情報30を生成する。
<Generator 12>
The generation unit 12 provides a plurality of index information 30 showing different characteristics that enable a plurality of data expansion based on a plurality of information included in the annotation information 21a given to the target data 21 acquired by the acquisition unit 11. Generate.

生成部12は、例えば対象画像20に含まれる対象物20a、対象データ21が複数ある場合、各々を対象画像20の部分画像として認識し、部分画像毎に指標情報30を生成してもよい。生成部12は、例えば公知の画像判別技術等により、対象画像20に写っている対象物20a、対象データ21を各々に細分化し、各々を判別する。 For example, when there are a plurality of objects 20a and target data 21 included in the target image 20, the generation unit 12 may recognize each of them as a partial image of the target image 20 and generate index information 30 for each partial image. The generation unit 12 subdivides the object 20a and the target data 21 shown in the target image 20 into each, and discriminates each of them, for example, by a known image discrimination technique or the like.

生成部12は、例えば対象画像20における対象データ21の位置情報、大きさ、形状等の評価結果に基づいて、数値情報、または分布等で「回転」に関する指標情報31aを生成する。 The generation unit 12 generates index information 31a related to "rotation" in numerical information, distribution, etc., based on evaluation results such as position information, size, shape, etc. of the target data 21 in the target image 20, for example.

生成部12は、例えば対象画像20における対象データ21と、アノテーション情報21aに基づいて、例えば「色相」、「輝度」における指標情報30を生成する。生成部12は、前述と同様に、例えば対象データ21と、対象データ21に付与されるアノテーション情報21aに基づいて評価し、評価結果に基づいて「色相」に関する指標情報31b、「輝度」に関する指標情報31cを生成する。 The generation unit 12 generates index information 30 for, for example, "hue" and "luminance" based on, for example, the target data 21 in the target image 20 and the annotation information 21a. Similar to the above, the generation unit 12 evaluates based on, for example, the target data 21 and the annotation information 21a given to the target data 21, and based on the evaluation result, the index information 31b regarding “hue” and the index regarding “luminance”. Generate information 31c.

生成部12は、判別した各部分画像に対して、例えば対象画像20における配置位置、大きさ、色、撮影条件、アノテーション情報21a等の各種の情報に基づいて、適切な指標情報30を生成するようにしてもよい。これにより、対象画像20に複数の対象物20a、対象データ21が含まれていた場合であっても、それらを、それら画像、データの特性、各々の位置関係等に基づいて区別することができ、機械学習におけるデータ拡張の精度を向上させるための指標情報30を生成することが可能となる。 The generation unit 12 generates appropriate index information 30 for each of the discriminated partial images, for example, based on various information such as the arrangement position, size, color, shooting conditions, and annotation information 21a in the target image 20. You may do so. Thereby, even if a plurality of objects 20a and target data 21 are included in the target image 20, they can be distinguished based on the images, the characteristics of the data, the positional relationship of each, and the like. , It becomes possible to generate index information 30 for improving the accuracy of data expansion in machine learning.

<出力部13>
出力部13は、生成部12により生成された複数の指標情報30を出力する。出力部13は、I/F107を介して表示部109に評価結果を送信するほか、例えばI/F105を介して、他の端末2等に指標情報30を送信する。出力部13は、例えば図2に示した複数の指標情報30、拡張データ40等を、表示部109等に出力する。
<Output unit 13>
The output unit 13 outputs a plurality of index information 30 generated by the generation unit 12. The output unit 13 transmits the evaluation result to the display unit 109 via the I / F 107, and also transmits the index information 30 to another terminal 2 or the like via, for example, the I / F 105. The output unit 13 outputs, for example, a plurality of index information 30, extended data 40, and the like shown in FIG. 2 to the display unit 109 and the like.

<データ拡張部14>
データ拡張部14は、出力部13により出力された指標情報30に基づいて、新しい対象データを含む拡張データ40を生成する。データ拡張部14は、例えばデータ拡張装置1を介して操作者により「回転」を示す指標情報31aが選択された場合は、「回転」を示す数値情報に基づいて、対象データ21を回転させた新しい対象データを生成する。データ拡張部14は、新しく生成した対象データと対象画像20に含まれる対象物20aとを合成した拡張データ41aを生成する。
<Data expansion unit 14>
The data expansion unit 14 generates expansion data 40 including new target data based on the index information 30 output by the output unit 13. When the index information 31a indicating "rotation" is selected by the operator via, for example, the data expansion device 1, the data expansion unit 14 rotates the target data 21 based on the numerical information indicating "rotation". Generate new target data. The data expansion unit 14 generates expansion data 41a, which is a combination of the newly generated target data and the object 20a included in the target image 20.

データ拡張部14は、例えば対象画像20の対象データ21を、出力部13により出力された指標情報30に基づき元の対象データ21を修正、移動等を行い、新しい対象データとして複数生成する。データ拡張部14は、複数の新しい対象データを、データ拡張する対象画像20の対象データとして置き換え、拡張データ40を生成する。 For example, the data expansion unit 14 modifies or moves the original target data 21 based on the index information 30 output by the output unit 13 to generate a plurality of the target data 21 of the target image 20 as new target data. The data expansion unit 14 replaces a plurality of new target data with the target data of the target image 20 for data expansion, and generates the expansion data 40.

データ拡張部14は、指標情報31aに基づいて、対象データ21の回転を、さらに角度を増した(回転させた)新しい対象データを生成し、新しい対象データを含む拡張データ40として生成する。データ拡張部14は、指標情報30が、例えば「回転」の他に、位置や大きさに関する指標情報である場合は、それらの各々の指標情報30に基づいて、対象データ21の配置位置や大きさを変えた新しい対象データを含む拡張データ40を複数生成する。 Based on the index information 31a, the data expansion unit 14 generates new target data with a further increased angle (rotation) of the target data 21, and generates it as extended data 40 including the new target data. When the index information 30 is, for example, "rotation" and index information related to the position and size, the data expansion unit 14 has the arrangement position and size of the target data 21 based on the respective index information 30. A plurality of extended data 40 including new target data with different values are generated.

データ拡張部14は、例えば「色相」に関する指標情報31bに基づいて、「色相」を変化させた新しい対象データを生成し、この新しい対象データを含む拡張データ41bを生成する。また、データ拡張部14は、例えば「輝度」に関する指標情報31cに基づいて、「輝度」を変化させた新しい対象データを含む拡張データ41cを生成するようにしてもよく、生成部12により生成された複数の指標情報30に基づいて、それぞれ異なる新しい対象データを生成し、その新しい対象データを含む拡張データを複数生成する。 The data expansion unit 14 generates new target data in which the "hue" is changed based on, for example, the index information 31b regarding the "hue", and generates extended data 41b including the new target data. Further, the data expansion unit 14 may generate the expansion data 41c including the new target data in which the “brightness” is changed, based on the index information 31c regarding the “brightness”, for example, and is generated by the generation unit 12. Based on the plurality of index information 30, different new target data is generated, and a plurality of extended data including the new target data are generated.

データ拡張部14は、出力部13により出力された複数の指標情報30の複数の指標情報30の組合せに基づいて、例えば回転、位置、大きさと合わせ、「色相」と「輝度」を変えた新しい対象データを含む拡張データ40を複数生成するようにしてもよい。データ拡張部14は、後述する調整部15により調整された複数の指標情報30に基づいて、新しい対象データを含む新たな拡張データ40を生する。 The data expansion unit 14 is a new model in which "hue" and "luminance" are changed according to, for example, rotation, position, and size, based on a combination of a plurality of index information 30 of a plurality of index information 30 output by the output unit 13. A plurality of extended data 40 including the target data may be generated. The data expansion unit 14 generates new expansion data 40 including new target data based on a plurality of index information 30 adjusted by the adjustment unit 15 described later.

データ拡張部14は、例えば、同じ指標情報30に基づいて、同一の新しい対象データを複数含み、配置位置だけ変えた拡張データ40を生成してもよい。これにより、例えば対象画像20には1つの対象データ21しか含まれていない画像であっても、新しい対象データ(例えば「縮小」)の個数を変えた拡張データ40、新しい対象データ(例えば「位置」)の配置を変えた拡張データ40を生成することが可能となる。 For example, the data expansion unit 14 may generate expansion data 40 including a plurality of the same new target data and changing only the arrangement position based on the same index information 30. As a result, for example, even if the target image 20 contains only one target data 21, the extended data 40 in which the number of new target data (for example, “reduced”) is changed, and the new target data (for example, “position”) are changed. It becomes possible to generate the extended data 40 in which the arrangement of ") is changed.

<調整部15>
調整部15は、例えば出力部13により出力された複数の指標情報30で示される各々の指標情報30(例えば指標情報31a~31c等)を調整する。調整部15は、例えばデータ拡張装置1の入力部108を介して、表示部109に表示される指標情報30の数値や範囲、位置等を調整することができる。調整部15により調整された指標情報30の数値や範囲に基づいて、データ拡張部14において対応する新しい対象データを含む拡張データ40が生成される。
<Adjustment unit 15>
The adjusting unit 15 adjusts each index information 30 (for example, index information 31a to 31c, etc.) indicated by a plurality of index information 30 output by the output unit 13, for example. The adjusting unit 15 can adjust the numerical value, range, position, etc. of the index information 30 displayed on the display unit 109, for example, via the input unit 108 of the data expansion device 1. Based on the numerical value and the range of the index information 30 adjusted by the adjusting unit 15, the extended data 40 including the corresponding new target data is generated in the data expanding unit 14.

<記憶部16>
記憶部16は、保存部104に保存された参照データベース等の各種情報を必要に応じて取出す。記憶部16は、各々の構成11、13~16により取得又は生成された各種情報を、保存部104に保存する。
<Memory unit 16>
The storage unit 16 retrieves various information such as a reference database stored in the storage unit 104 as needed. The storage unit 16 stores various information acquired or generated by the respective configurations 11, 13 to 16 in the storage unit 104.

<表示部109>
表示部109は、対象画像20、複数の指標情報30、複数の拡張データ40、評価結果を表示する。表示部109は、例えば図2に示すように、生成部12で生成された複数の指標情報30を表示する。指標情報31aは「回転」に関する指標情報を示し、指標情報31bは「色相」に関する指標情報を示し、指標情報31cは「輝度」に関する指標情報を示す。
<Display unit 109>
The display unit 109 displays the target image 20, a plurality of index information 30, a plurality of extended data 40, and an evaluation result. As shown in FIG. 2, for example, the display unit 109 displays a plurality of index information 30 generated by the generation unit 12. The index information 31a shows the index information about "rotation", the index information 31b shows the index information about "hue", and the index information 31c shows the index information about "luminance".

表示部109は、複数の拡張データ40を表示する。拡張データ41aは指標情報31aに基づき生成された新しい対象データを含む拡張データを示し、拡張データ41bは指標情報31bに基づいて生成された拡張データを示し、拡張データ41cは指標情報31cに基づいて生成された新しい対象データを含む拡張データを示す。表示部109は、例えばリストや文字列のみを用いて、評価結果を表示してもよい。上記表示方法には、公知の技術を用いることができる。 The display unit 109 displays a plurality of extended data 40. The extended data 41a shows extended data including new target data generated based on the index information 31a, the extended data 41b shows extended data generated based on the index information 31b, and the extended data 41c is based on the index information 31c. Shows extended data, including the new target data generated. The display unit 109 may display the evaluation result using, for example, only a list or a character string. A known technique can be used for the above display method.

<更新部17>
更新部17は、例えば参照データベースを更新する。更新部17は、過去の拡張対象情報と、参照情報との間の関係を新たに取得した場合には、関係を連関性に反映させる。例えば評価部18により生成された評価結果を踏まえ、評価者等が評価結果の内容における精度を判定し、判定結果をデータ拡張装置1が取得した場合、更新部17は、判定結果に基づき参照データベースに含まれる連関性を更新する。
<Update part 17>
The update unit 17 updates, for example, the reference database. When the update unit 17 newly acquires the relationship between the past expansion target information and the reference information, the update unit 17 reflects the relationship in the association. For example, when the evaluator or the like determines the accuracy of the content of the evaluation result based on the evaluation result generated by the evaluation unit 18 and the data expansion device 1 acquires the determination result, the update unit 17 determines the reference database based on the determination result. Update the associations contained in.

<評価部18>
評価部18は、参照データベースを参照し、拡張対象情報に対する評価結果を生成する。評価部18は、例えば拡張対象情報を入力データとし、連関性に基づき算出された解に紐づく最適な参照情報を選択し、最適な参照情報に基づく評価結果を生成する。
<Evaluation unit 18>
The evaluation unit 18 refers to the reference database and generates an evaluation result for the extended target information. For example, the evaluation unit 18 uses the extended target information as input data, selects the optimum reference information associated with the solution calculated based on the association, and generates an evaluation result based on the optimum reference information.

評価部18は、例えば図4に示した参照データベースを参照した場合、拡張対象情報に含まれるデータと同一又は類似するデータ(例えば「データA」:第1データとする)を選択する。第1データとして、拡張対象情報と一部一致又は完全一致するデータが選択されるほか、例えば類似するデータが選択される。拡張対象情報が行列等の数値で表される場合、選択される第1データに含まれる数値範囲を、予め設定してもよい。 When referring to the reference database shown in FIG. 4, for example, the evaluation unit 18 selects data that is the same as or similar to the data included in the extended target information (for example, “data A”: first data). As the first data, data that partially or completely matches the extended target information is selected, and for example, similar data is selected. When the expansion target information is represented by a numerical value such as a matrix, the numerical range included in the selected first data may be set in advance.

評価部18は、選択した第1データに紐づく参照情報、及び選択した第1データと参照情報との間における連関度(第1連関度)を選択し、選択した参照情報及び第1連関度に基づき評価結果を生成する。なお、第1連関度は、予め構築された連関性から選択されるほか、評価部18によって算出されてもよい。 The evaluation unit 18 selects the reference information associated with the selected first data and the degree of association (first degree of association) between the selected first data and the reference information, and selects the selected reference information and the first degree of association. The evaluation result is generated based on. The first degree of association is selected from the associations constructed in advance, and may be calculated by the evaluation unit 18.

例えば評価部18は、第1データ「データA」に紐づく参照情報に含まれるデータ「参照A」、及び「データA」と「参照A」との間における第1連関度(連関度AA)「80%」を選択する。なお、参照情報及び第1連関度は、複数のデータを含んでもよい。この場合、上述した「参照A」及び「80%」に加えて、第1データ「データA」に紐づく参照情報「参照B」、及び「データA」と「参照B」との間における第1連関度(連関度AB)「65%」を選択し、「参照A」及び「85%」、並びに、「参照B」及び「33%」に基づき評価結果を生成してもよい。 For example, the evaluation unit 18 has the data "reference A" included in the reference information associated with the first data "data A", and the first degree of association (linkage degree AA) between "data A" and "reference A". Select "80%". The reference information and the first degree of association may include a plurality of data. In this case, in addition to the above-mentioned "reference A" and "80%", the reference information "reference B" associated with the first data "data A" and the second between "data A" and "reference B". 1 Linkage degree (linkage degree AB) "65%" may be selected and evaluation results may be generated based on "reference A" and "85%", as well as "reference B" and "33%".

評価結果は、拡張対象情報を含んでもよい。評価結果は、例えば参照情報及び連関度を用いて、確率で表された指標情報の推奨(拡張性)を示してもよい。 The evaluation result may include extended target information. The evaluation result may show the recommendation (extensibility) of the index information expressed by the probability by using, for example, the reference information and the degree of association.

評価部18は、例えば予め保存部104等に記憶された出力用フォーマット等の形式データを用いて、上述選択した参照情報及び第1連関度等を、評価者等が理解できる形式(例えば文字列)を示す評価結果を生成する。なお、評価結果を生成する際における形式の設定等は、例えば公知の技術を用いてもよい。 The evaluation unit 18 uses format data such as an output format stored in advance in the storage unit 104 or the like to allow the evaluator or the like to understand the above-selected reference information and the first association degree (for example, a character string). ) Is generated. For example, a known technique may be used for setting the format when generating the evaluation result.

評価部18は、例えば選択した第1連関度に基づいて、評価結果の内容を決定する。例えば評価部18は、「50%」以上の第1連関度に紐づく参照情報に基づいて、評価結果を生成し、「50%」未満の第1連関度に紐づく参照情報を評価結果に反映しないように設定されてもよい。なお、第1連関度に基づく判定基準は、例えば評価者等が予め閾値等を設定してもよく、閾値の範囲等は任意に設定できる。また、評価部18は、例えば2以上の第1連関度を演算した結果や、2以上の第1連関度の比較に基づいて、評価結果の内容を決定してもよい。 The evaluation unit 18 determines the content of the evaluation result based on, for example, the selected first degree of association. For example, the evaluation unit 18 generates an evaluation result based on the reference information associated with the first association degree of "50%" or more, and uses the reference information associated with the first association degree of less than "50%" as the evaluation result. It may be set not to reflect. As for the determination criteria based on the first degree of association, for example, an evaluator or the like may set a threshold value or the like in advance, and the threshold range or the like can be arbitrarily set. Further, the evaluation unit 18 may determine the content of the evaluation result based on, for example, the result of calculating two or more first association degrees and the comparison of two or more first association degrees.

<公衆通信網4>
公衆通信網4は、例えばデータ拡張装置1等が通信回路を介して接続されるインターネット網等である。公衆通信網4は、いわゆる光ファイバ通信網で構成されてもよい。また、公衆通信網4は、有線通信網のほか、無線通信網等の公知の通信網で実現してもよい。
<Public communication network 4>
The public communication network 4 is, for example, an Internet network or the like to which a data expansion device 1 or the like is connected via a communication circuit. The public communication network 4 may be configured by a so-called optical fiber communication network. Further, the public communication network 4 may be realized by a known communication network such as a wireless communication network in addition to the wired communication network.

<他の端末2>
他の端末2として、例えばデータ拡張装置1と同様に電子機器で具現化されたものが用いられる。他の端末2は、例えばデータ拡張装置1と通信可能な中央制御装置等を示す。他の端末2は、例えばデータ拡張装置1と接続可能であり、各データ拡張装置1により生成された指標情報30、拡張データ40、または評価結果を取得することができる。これにより、例えば複数個所で対象画像20のデータ拡張や評価結果を分析することができ、対象画像20のデータ拡張の効率化等を図ることが可能となる。
<Other terminal 2>
As the other terminal 2, for example, a terminal embodied in an electronic device similar to the data expansion device 1 is used. The other terminal 2 indicates, for example, a central control device capable of communicating with the data expansion device 1. The other terminal 2 can be connected to, for example, the data expansion device 1, and can acquire the index information 30, the expansion data 40, or the evaluation result generated by each data expansion device 1. Thereby, for example, the data expansion of the target image 20 and the evaluation result can be analyzed at a plurality of places, and the efficiency of the data expansion of the target image 20 can be improved.

<サーバ3>
サーバ3には、例えば上述した各種情報が記憶される。サーバ3には、例えば公衆通信網4を介して送られてきた各種情報が蓄積される。サーバ3には、例えば保存部104と同様の情報が保存され、公衆通信網4を介して1つ以上のデータ拡張装置1と各種情報の送受信が行われてもよい。即ち、データ拡張装置1は、保存部104の代わりにサーバ3を用いてもよい。
<Server 3>
For example, the server 3 stores the above-mentioned various information. Various information transmitted via, for example, the public communication network 4 is stored in the server 3. For example, information similar to that of the storage unit 104 may be stored in the server 3, and various information may be transmitted / received to / from one or more data expansion devices 1 via the public communication network 4. That is, the data expansion device 1 may use the server 3 instead of the storage unit 104.

(データ拡張システム100の動作の一例)
次に、本実施形態におけるデータ拡張システム100の動作の一例について説明する。図6は、本実施形態におけるデータ拡張システム100の動作の一例を示すフローチャートである。
(Example of operation of data expansion system 100)
Next, an example of the operation of the data expansion system 100 in this embodiment will be described. FIG. 6 is a flowchart showing an example of the operation of the data expansion system 100 in the present embodiment.

<取得手段S110>
取得部11は、データ拡張を行う対象の対象データ21と、対象データ21に付与されるアノテーション情報21aとを含む拡張対象情報を取得す(取得手段S110)。取得部11は、取得する対象データ21として、例えば画像データ、映像データ、又はテキストデータを取得する。
<Acquisition means S110>
The acquisition unit 11 acquires the expansion target information including the target data 21 for data expansion and the annotation information 21a given to the target data 21 (acquisition means S110). The acquisition unit 11 acquires, for example, image data, video data, or text data as the target data 21 to be acquired.

また取得部11は、出力部13により出力された複数の指標情報30に対する調整を、入力部108を介して取得する。取得部11は、例えば記憶部16を介して、拡張対象情報を保存部104に保存する。 Further, the acquisition unit 11 acquires adjustments to the plurality of index information 30 output by the output unit 13 via the input unit 108. The acquisition unit 11 stores the extended target information in the storage unit 104, for example, via the storage unit 16.

取得部11は、例えば対象データ21と、対象データ21に付与されるアノテーション情報21aを含む拡張対象情報を取得する。アノテーション情報21aは、例えば予め対象データ21に紐づくように、評価者等によってデータ拡張装置1に入力されるほか、例えば対象データ21に基づき、取得部11が対象データ21に適した各情報を選択するようにしてもよい。この場合、取得部11は、予め保存部104に保存された複数のアノテーション情報21aから、対象データ21に適した各情報を選択する。 The acquisition unit 11 acquires, for example, the target data 21 and the extended target information including the annotation information 21a given to the target data 21. The annotation information 21a is input to the data expansion device 1 by an evaluator or the like so as to be linked to the target data 21 in advance, and the acquisition unit 11 obtains each information suitable for the target data 21 based on the target data 21, for example. You may choose. In this case, the acquisition unit 11 selects each information suitable for the target data 21 from the plurality of annotation information 21a stored in the storage unit 104 in advance.

<生成手段S120>
次に、生成部12は、複数の指標情報30を生成する(生成手段S120)。生成部12は、例えば、取得部11により取得された対象拡張情報に含まれる対象データ21と、対象データ21に紐づけられるアノテーション情報21aに含まれる複数の情報に基づいて、異なる特性を示す複数の指標情報30を生成する。
<Generation means S120>
Next, the generation unit 12 generates a plurality of index information 30 (generation means S120). The generation unit 12 exhibits different characteristics based on, for example, the target data 21 included in the target extension information acquired by the acquisition unit 11 and a plurality of information included in the annotation information 21a associated with the target data 21. Index information 30 is generated.

生成部12は、例えば取得部11により取得された拡張対象情報に基づいて、対象データ21に紐づく識別情報、及び拡張対象情報の特徴を示す縦横長情報、回転情報、傾き情報、色相情報、彩度情報、明度情報、輝度情報、線形度情報、座標情報、分布情報、範囲情報、偏差情報、データ強度情報、またはパターン情報等により示される指標情報30を生成する。各々の指標情報30は、例えば公知の画像分析技術、音声分析技術を用いて、各成分に細分化され、分布図などとして生成されてもよい。 The generation unit 12 has, for example, based on the expansion target information acquired by the acquisition unit 11, identification information associated with the target data 21, vertical and horizontal information indicating the characteristics of the expansion target information, rotation information, tilt information, hue information, and the like. The index information 30 indicated by saturation information, lightness information, luminance information, linearity information, coordinate information, distribution information, range information, deviation information, data intensity information, pattern information, etc. is generated. Each index information 30 may be subdivided into each component and generated as a distribution map or the like by using, for example, a known image analysis technique or voice analysis technique.

<出力手段S130>
次に、出力部13は、複数の指標情報30を出力する(出力手段S130)。出力部13は、複数の指標情報30を表示部109等に出力する。出力部13は、例えば公衆通信網4を介して他の端末2又はサーバ3に出力してもよい。
<Output means S130>
Next, the output unit 13 outputs a plurality of index information 30 (output means S130). The output unit 13 outputs a plurality of index information 30 to the display unit 109 and the like. The output unit 13 may output to another terminal 2 or a server 3 via, for example, a public communication network 4.

<データ拡張手段S140>
次に、データ拡張手段S140は、新しい対象データを含む複数の拡張データ40を生成する(データ拡張手段S140)。データ拡張部14は、出力部13により出力された複数の指標情報30に基づいて、対応する新しい対象データを含む複数の拡張データ40を生成する。
<Data expansion means S140>
Next, the data expansion means S140 generates a plurality of expansion data 40 including new target data (data expansion means S140). The data expansion unit 14 generates a plurality of expansion data 40 including the corresponding new target data based on the plurality of index information 30 output by the output unit 13.

データ拡張部14は、新しく生成した対象データを、対象画像20から対象データ21を除去した画像に重ね合わせることで、新しい対象データを含む拡張データ40を生成することを繰り返し行うことで、機械学習のためのデータ拡張を行う。 The data expansion unit 14 repeatedly generates extended data 40 including the new target data by superimposing the newly generated target data on the image obtained by removing the target data 21 from the target image 20, and thus machine learning. Perform data expansion for.

<調整手段S150>
また、調整部15は、複数の指標情報30を調整する(調整手段S150)。調整部15は、例えば出力部13により出力された複数の指標情報30を調整する。調整部15は、表示部109に出力された個々の指標情報31a~指標情報31c等に対し、入力部108を介して対象データ21に紐づく識別情報、及び拡張対象情報の特徴を示す縦横長情報、回転情報、傾き情報、色相情報、彩度情報、明度情報、輝度情報、線形度情報、座標情報、分布情報、範囲情報、偏差情報、データ強度情報、またはパターン情報等を選択し、選択した指標情報30の調整を行う。これにより、操作者、または評価者による指標情報30の修正や編集が可能となり、より正確な拡張データ40を生成することが可能となる。
<Adjustment means S150>
Further, the adjusting unit 15 adjusts a plurality of index information 30 (adjusting means S150). The adjusting unit 15 adjusts, for example, a plurality of index information 30 output by the output unit 13. The adjusting unit 15 is vertically and horizontally long to show the characteristics of the identification information associated with the target data 21 and the extended target information via the input unit 108 for the individual index information 31a to the index information 31c output to the display unit 109. Select and select information, rotation information, tilt information, hue information, saturation information, brightness information, brightness information, linearity information, coordinate information, distribution information, range information, deviation information, data intensity information, pattern information, etc. The index information 30 is adjusted. As a result, the operator or the evaluator can modify or edit the index information 30, and more accurate extended data 40 can be generated.

<評価手段S160>
次に、参照データベースを参照し、拡張対象情報に対する評価結果を生成する(評価手段S160)。評価部18は、取得部11により取得された拡張対象情報を取得し、例えば保存部104に保存された参照データベースを取得する。評価部18は、例えば拡張対象情報を入力データとし、関数等で示された連関性に基づき算出された解に紐づく最適な参照情報を選択し、最適な参照情報に基づく評価結果を生成する。このとき、例えば評価部18は、1つの拡張対象情報に対して複数の参照情報を選択してもよい。
<Evaluation means S160>
Next, the reference database is referred to, and the evaluation result for the extended target information is generated (evaluation means S160). The evaluation unit 18 acquires the extended target information acquired by the acquisition unit 11, and acquires, for example, the reference database stored in the storage unit 104. For example, the evaluation unit 18 uses the extended target information as input data, selects the optimum reference information associated with the solution calculated based on the association shown by the function or the like, and generates an evaluation result based on the optimum reference information. .. At this time, for example, the evaluation unit 18 may select a plurality of reference information for one extended target information.

評価部18は、1つの拡張対象情報に対して1つの評価結果を生成するほか、例えば複数の拡張対象情報に対して1つの評価結果を生成してもよい。評価部18は、例えば保存部104に保存された出力用フォーマット等の形式データを用いて、評価結果を生成する。評価部18は、例えば記憶部16を介して、評価結果を保存部104に保存する。 The evaluation unit 18 may generate one evaluation result for one extended target information, or may generate one evaluation result for a plurality of extended target information, for example. The evaluation unit 18 generates an evaluation result using, for example, format data such as an output format stored in the storage unit 104. The evaluation unit 18 stores the evaluation result in the storage unit 104, for example, via the storage unit 16.

<更新手段S170>
なお、例えば過去の拡張対象情報と、参照情報との間の関係を新たに取得した場合には、関係を連関性に反映させてもよい(更新手段S170)。例えば評価部18により生成された評価結果を踏まえ、評価者等が評価結果の精度を判定した判定結果をデータ拡張装置1が取得した場合、更新部17は、判定結果に基づき参照データベースに記憶された連関性を更新する。
<Update means S170>
In addition, for example, when the relationship between the past expansion target information and the reference information is newly acquired, the relationship may be reflected in the association (update means S170). For example, when the data expansion device 1 acquires a determination result in which the evaluator or the like determines the accuracy of the evaluation result based on the evaluation result generated by the evaluation unit 18, the update unit 17 stores the determination result in the reference database based on the determination result. Update the association.

これにより、本実施形態におけるデータ拡張システム100の動作が終了する。なお、更新手段S170を実施する場合のタイミングは、任意である。 As a result, the operation of the data expansion system 100 in the present embodiment is completed. The timing when the update means S170 is carried out is arbitrary.

本実施形態によれば、評価部18は、参照データベースを参照し、拡張対象情報に対する評価結果を生成する。参照情報は、指標情報30を含む。このため、過去の拡張対象情報を評価した結果を踏まえた評価結果を生成することができる。これにより、機械学習におけるデータ拡張の精度の向上を図ることが可能となる。 According to the present embodiment, the evaluation unit 18 refers to the reference database and generates an evaluation result for the extended target information. The reference information includes the index information 30. Therefore, it is possible to generate an evaluation result based on the result of evaluating the past expansion target information. This makes it possible to improve the accuracy of data expansion in machine learning.

また、本実施形態によれば、連関性は、過去の拡張対象情報と、参照情報とを学習データとして用いた機械学習により構築される。このため、過去の拡張対象情報とは異なる未知の拡張対象情報を評価する場合においても、定量的な評価を実施することができる。これにより、評価精度の更なる向上を図ることが可能となる。 Further, according to the present embodiment, the association is constructed by machine learning using the past extended target information and the reference information as learning data. Therefore, even when evaluating unknown extended target information different from past extended target information, quantitative evaluation can be performed. This makes it possible to further improve the evaluation accuracy.

また、本実施形態によれば、更新部17は、過去の拡張対象情報と、参照情報との間の関係を新たに取得した場合には、関係を連関性に反映させる。このため、連関性を容易に更新することができ、継続した評価精度の向上を図ることが可能となる。 Further, according to the present embodiment, when the update unit 17 newly acquires the relationship between the past expansion target information and the reference information, the update unit 17 reflects the relationship in the association. Therefore, the association can be easily updated, and the evaluation accuracy can be continuously improved.

また、本実施形態によれば、取得手段S110を行う取得ステップ、生成手段S120を行う生成ステップ、出力手段S130を行う出力ステップ、データ拡張手段S140を行うデータ拡張ステップは、データ拡張方法として提供されてもよい。これにより、機械学習におけるデータ拡張の精度の向上を図ることが可能となる。 Further, according to the present embodiment, the acquisition step for performing the acquisition means S110, the generation step for performing the generation means S120, the output step for performing the output means S130, and the data expansion step for performing the data expansion means S140 are provided as data expansion methods. May be. This makes it possible to improve the accuracy of data expansion in machine learning.

本発明の実施形態を説明したが、この実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.

1 :データ拡張装置
2 :端末
3 :サーバ
4 :公衆通信網
10 :筐体
11 :取得部
12 :生成部
13 :出力部
14 :データ拡張部
15 :調整部
16 :記憶部
17 :更新部
18 :評価部
20 :対象画像
20a :対象物
21 :対象データ
21a :アノテーション情報
30 :指標情報
31a :指標情報
31b :指標情報
31c :指標情報
40 :拡張データ
41a :拡張データ
41b :拡張データ
41c :拡張データ
100 :データ拡張システム
101 :CPU
102 :ROM
103 :RAM
104 :保存部
105 :I/F
106 :I/F
107 :I/F
108 :入力部
109 :表示部
110 :内部バス
S110 :取得手段
S120 :生成手段
S130 :出力手段
S140 :データ拡張手段
S150 :調整手段
S160 :評価手段
S170 :更新手段
1: Data expansion device 2: Terminal 3: Server 4: Public communication network 10: Housing 11: Acquisition unit 12: Generation unit 13: Output unit 14: Data expansion unit 15: Adjustment unit 16: Storage unit 17: Update unit 18 : Evaluation unit 20: Target image 20a: Target object 21: Target data 21a: Annotation information 30: Index information 31a: Index information 31b: Index information 31c: Index information 40: Extended data 41a: Extended data 41b: Extended data 41c: Extended Data 100: Data expansion system 101: CPU
102: ROM
103: RAM
104: Storage unit 105: I / F
106: I / F
107: I / F
108: Input unit 109: Display unit 110: Internal bus S110: Acquisition means S120: Generation means S130: Output means S140: Data expansion means S150: Adjustment means S160: Evaluation means S170: Update means

Claims (7)

機械学習のためのデータ拡張を支援するデータ拡張装置であって、
対象物が撮影された対象画像に含まれ、前記対象物の画像と合わせて前記データ拡張を行う対象の対象データと、前記対象データに付与される前記対象データを識別する識別情報、前記対象データの特徴を示す特徴情報、前記対象画像における位置を示す座標情報、及び前記対象データの発生した工程を示す工程情報を少なくとも含むアノテーション情報とを含む拡張対象情報を取得する取得部と、
前記取得部により取得された前記アノテーション情報に基づいて、異なる特性を示す複数の指標情報を生成する生成部と、
前記生成部により生成された前記指標情報を出力する出力部と
前記出力部により出力された前記指標情報に基づいて、新しい対象データを生成し、生成した新しい前記対象データを含む拡張データを生成するデータ拡張部と、
を備えることを特徴とするデータ拡張装置。
A data expansion device that supports data expansion for machine learning.
The target data that is included in the target image in which the target is captured and whose data is expanded together with the image of the target, the identification information that identifies the target data given to the target data, and the target data. An acquisition unit that acquires extended target information including feature information indicating the characteristics of the target image, coordinate information indicating a position in the target image, and annotation information including at least process information indicating the process in which the target data is generated.
A generation unit that generates a plurality of index information showing different characteristics based on the annotation information acquired by the acquisition unit, and a generation unit.
An output unit that outputs the index information generated by the generation unit, and
A data expansion unit that generates new target data based on the index information output by the output unit and generates extended data including the generated new target data.
A data expansion device characterized by comprising.
前記取得部により取得される前記対象データは、画像データ、映像データ、又はテキストデータの少なくとも何れかのデータであること、
特徴とする請求項1記載のデータ拡張装置。
The target data acquired by the acquisition unit is at least one of image data, video data, and text data.
The data expansion device according to claim 1.
前記生成部により生成される前記指標情報は、前記対象データに紐づく識別情報、及び前記拡張対象情報の特徴を示す縦横長情報、回転情報、傾き情報、色相情報、彩度情報、明度情報、輝度情報、線形度情報、座標情報、分布情報、範囲情報、偏差情報、データ強度情報、又はパターン情報の少なくとも何れかを含むこと、
を特徴とする請求項1又は2記載のデータ拡張装置。
The index information generated by the generation unit includes identification information associated with the target data, vertical / horizontal information indicating the characteristics of the extended target information, rotation information, tilt information, hue information, saturation information, and brightness information. Includes at least one of brightness information, chromaticity information, coordinate information, distribution information, range information, deviation information, data intensity information, or pattern information.
The data expansion apparatus according to claim 1 or 2.
前記生成部により生成された前記指標情報を調整する調整部をさらに備え、
前記データ拡張部は、
前記調整部により調整された前記指標情報に基づいて、新しい対象データを生成し、生成した新しい前記対象データを含む拡張データを生成すること、
を特徴とする請求項1~3のうち何れか1項記載のデータ拡張装置。
Further, an adjusting unit for adjusting the index information generated by the generating unit is provided.
The data expansion unit is
To generate new target data based on the index information adjusted by the adjusting unit, and to generate extended data including the generated new target data.
The data expansion device according to any one of claims 1 to 3.
予め取得された過去の拡張対象情報に含まれる複数のデータと、前記過去の拡張対象情報に紐づく参照情報に含まれる複数のデータと、の間における重み変数に対応する複数の連関度を有する連関性が記憶された参照データベースと、
前記取得部により取得された前記拡張対象情報に基づいて、前記参照データベースを参照し、前記連関性に基づき算出された解に紐づく最適な前記参照情報を選択し、最適な前記参照情報に基づき複数の前記指標情報を含む評価結果を生成する評価部と、をさらに備え、
前記出力部は、前記評価部により生成された前記評価結果を出力すること、
を特徴とする請求項1~4のうち何れか1項記載のデータ拡張装置。
It has a plurality of association degrees corresponding to weight variables between a plurality of data included in the past expansion target information acquired in advance and a plurality of data included in the reference information associated with the past expansion target information. A reference database that stores relationships and
Based on the extended target information acquired by the acquisition unit, the reference database is referred to, the optimum reference information associated with the solution calculated based on the association is selected, and the optimum reference information is selected. Further equipped with an evaluation unit that generates an evaluation result including a plurality of the index information.
The output unit outputs the evaluation result generated by the evaluation unit.
The data expansion device according to any one of claims 1 to 4.
機械学習のためのデータ拡張を支援するデータ拡張システムであって、
対象物が撮影された対象画像に含まれ、前記対象物と合わせて前記データ拡張を行う対象の対象データと、前記対象データに付与される前記対象データを識別する識別情報、前記対象データの特徴を示す特徴情報、前記対象画像における位置を示す座標情報、及び前記対象データの発生した工程を示す工程情報を少なくとも含むアノテーション情報とを含む拡張対象情報を取得する取得手段と、
前記取得手段により取得された前記アノテーション情報に基づいて、異なる特性を示す複数の指標情報を生成する生成手段と、
前記生成部により生成された前記指標情報を出力する出力手段と、
前記出力手段により出力された前記指標情報に基づいて、新しい対象データを生成し、生成した新しい前記対象データを含む拡張データを生成するデータ拡張手段と、
を備えることを特徴とするデータ拡張システム。
A data expansion system that supports data expansion for machine learning.
Target data that is included in the target image in which the target is captured and whose data is expanded together with the target, identification information that identifies the target data given to the target data, and features of the target data. An acquisition means for acquiring extended target information including feature information indicating the above, coordinate information indicating a position in the target image, and annotation information including at least process information indicating the process in which the target data is generated.
A generation means that generates a plurality of index information showing different characteristics based on the annotation information acquired by the acquisition means, and a generation means.
An output means for outputting the index information generated by the generation unit, and
A data expansion means that generates new target data based on the index information output by the output means and generates extended data including the generated new target data.
A data expansion system characterized by being equipped with.
機械学習のためのデータ拡張を支援するデータ拡張プログラムであって、
対象物が撮影された対象画像に含まれ、前記対象物と合わせて前記データ拡張を行う対象の対象データと、前記対象データに付与される前記対象データを識別する識別情報、前記対象データの特徴を示す特徴情報、前記対象画像における位置を示す座標情報、及び前記対象データの発生した工程を示す工程情報を少なくとも含むアノテーション情報とを含む拡張対象情報を取得する取得ステップと、
前記取得ステップにより取得された前記アノテーション情報に基づいて、異なる特性を示す複数の指標情報を生成する生成ステップと、
前記生成ステップにより生成された前記指標情報を出力する出力ステップと、
前記出力ステップにより出力された前記指標情報に基づいて、新しい対象データを生成し、生成した新しい前記対象データを含む拡張データを生成するデータ拡張ステップと、
をコンピュータに実行させること
を特徴とするデータ拡張プログラム
A data expansion program that supports data expansion for machine learning.
Target data that is included in the target image in which the target is captured and whose data is expanded together with the target, identification information that identifies the target data given to the target data, and features of the target data. The acquisition step of acquiring the extended target information including the feature information indicating the feature information, the coordinate information indicating the position in the target image, and the annotation information including at least the process information indicating the process in which the target data is generated.
A generation step that generates a plurality of index information showing different characteristics based on the annotation information acquired by the acquisition step, and a generation step.
An output step that outputs the index information generated by the generation step, and
A data expansion step that generates new target data based on the index information output by the output step and generates extended data including the generated new target data.
To let the computer run
A data extension program featuring.
JP2020191255A 2020-11-17 2020-11-17 Data Expansion Devices, Data Expansion Systems, and Data Expansion Programs Active JP7045103B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020191255A JP7045103B1 (en) 2020-11-17 2020-11-17 Data Expansion Devices, Data Expansion Systems, and Data Expansion Programs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020191255A JP7045103B1 (en) 2020-11-17 2020-11-17 Data Expansion Devices, Data Expansion Systems, and Data Expansion Programs

Publications (2)

Publication Number Publication Date
JP7045103B1 true JP7045103B1 (en) 2022-03-31
JP2022080213A JP2022080213A (en) 2022-05-27

Family

ID=81254722

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020191255A Active JP7045103B1 (en) 2020-11-17 2020-11-17 Data Expansion Devices, Data Expansion Systems, and Data Expansion Programs

Country Status (1)

Country Link
JP (1) JP7045103B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024181589A1 (en) * 2023-02-27 2024-09-06 코드크레인 유한회사 System for expanding training data and method for providing same

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018116589A (en) 2017-01-20 2018-07-26 Kddi株式会社 State identification device, program and method using changed image group of object image
WO2018220700A1 (en) 2017-05-30 2018-12-06 株式会社日立国際電気 New learning dataset generation method, new learning dataset generation device, and learning method using generated learning dataset

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018116589A (en) 2017-01-20 2018-07-26 Kddi株式会社 State identification device, program and method using changed image group of object image
WO2018220700A1 (en) 2017-05-30 2018-12-06 株式会社日立国際電気 New learning dataset generation method, new learning dataset generation device, and learning method using generated learning dataset

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
堰澤 映,外1名,人工的に生成した道路シーンを用いた道路標識認識器の学習,電子情報通信学会技術研究報告 Vol.118 No.362 [online] IEICE Technical Report,日本,一般社団法人電子情報通信学会 The Institute of Electronics,Information and Communication Engineers,2018年,第118巻,pp.73-78
石田 皓之,外3名,生成型学習による低解像度道路標識認識のための生成モデルの検討,電子情報通信学会2005年総合大会講演論文集 基礎・境界 PROCEEDINGS OF THE 2005 IEICE GENERAL CONFERENCE,2005年

Also Published As

Publication number Publication date
JP2022080213A (en) 2022-05-27

Similar Documents

Publication Publication Date Title
CN110288614B (en) Image processing method, device, equipment and storage medium
CN110580435B (en) Face recognition system and enhanced face recognition method
JP2018195107A (en) Image processing system
EP1363235A1 (en) Signal processing device
US20210232863A1 (en) Electronic device and controlling method of electronic device
EP1477929A1 (en) Signal processor
US20220180122A1 (en) Method for generating a plurality of sets of training image data for training machine learning model
US20190087982A1 (en) Automatic coloring of line drawing
US12136143B2 (en) Image processing system configured to generate a colorized image
JP7207846B2 (en) Information processing device, information processing method and program
US20230237777A1 (en) Information processing apparatus, learning apparatus, image recognition apparatus, information processing method, learning method, image recognition method, and non-transitory-computer-readable storage medium
JP7045103B1 (en) Data Expansion Devices, Data Expansion Systems, and Data Expansion Programs
US11625816B2 (en) Learning device, image generation device, learning method, image generation method, and program
KR102562052B1 (en) Electronic apparatus and contorl method thereof
CN107533760A (en) A kind of image partition method and device
JP2022036131A (en) Learning device, inferring device, learning method, inferring method, computer system, and program
JP2021064043A (en) Image processing device, image processing system, image processing method and image processing program
CN116563570A (en) Color recognition method and device, electronic equipment and storage medium
US12051135B2 (en) System and method for a precise semantic segmentation
JP6618162B1 (en) Evaluation device and evaluation system
US11900258B2 (en) Learning device, image generating device, learning method, image generating method, and program
JP5883963B2 (en) Image processing device
JP2020119001A (en) Information processing apparatus, information processing method, and program
CN112699795B (en) Face recognition method and device, electronic equipment and storage medium
WO2022269708A1 (en) Information processing device and information processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201126

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20201126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210309

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220311

R150 Certificate of patent or registration of utility model

Ref document number: 7045103

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350