[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN113196335A - 小批量学习装置及其工作程序和工作方法 - Google Patents

小批量学习装置及其工作程序和工作方法 Download PDF

Info

Publication number
CN113196335A
CN113196335A CN201980082352.7A CN201980082352A CN113196335A CN 113196335 A CN113196335 A CN 113196335A CN 201980082352 A CN201980082352 A CN 201980082352A CN 113196335 A CN113196335 A CN 113196335A
Authority
CN
China
Prior art keywords
small
learning
image
area ratio
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980082352.7A
Other languages
English (en)
Other versions
CN113196335B (zh
Inventor
涌井隆史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN113196335A publication Critical patent/CN113196335A/zh
Application granted granted Critical
Publication of CN113196335B publication Critical patent/CN113196335B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种小批量学习装置，其对用于实施以像素单元来判别图像内的多个类别的语义分割的机器学习模型赋予小批量数据来进行训练，所述小批量学习装置具备计算部、确定部及生成部。计算部计算成为小批量数据来源的学习用输入图像及注释图像中的、相对于整个注释图像的面积的多个类别中每个类别的第1面积比例。确定部确定第1面积比例低于第1设定值的稀有类别。生成部从学习用输入图像及注释图像生成小批量数据。生成部生成小批量数据中的稀有类别的第2面积比例为大于在计算部中计算出的第1面积比例的第2设定值以上的小批量数据。

Description

小批量学习装置及其工作程序和工作方法
技术领域
本发明技术涉及一种小批量学习装置及其工作程序和工作方法。
背景技术
已知有以像素单元来判别图像内的多个类别的语义分割。语义分割通过U形卷积神经网络(U-Net；U-Shaped Neural Network)等机器学习模型(以下，简称为模型)来实现。
为了提高模型的判别精度，需要对模型赋予学习数据来进行训练，从而更新模型。学习数据由学习用输入图像和手动指定学习用输入图像内的类别的注释图像构成。在日本专利公开2017-107386号公报中，从多个学习用输入图像中提取了成为注释图像来源的一个学习用输入图像。
发明内容
发明要解决的技术课题
在学习中有称为小批量学习的方法。在小批量学习中，将小批量数据作为学习数据赋予到模型。小批量数据由将学习用输入图像和注释图像进行分割的多个分割图像(例如以原始图像的1/100尺寸的框来分割的1万张分割图像)中的一部分(例如100张)构成。小批量数据生成多组(例如100组)，各组依次被赋予到模型。
在此，考虑在学习用输入图像及注释图像中存在类别偏差的情况。例如，学习用输入图像是在相差显微镜中显现出细胞培养状态的图像，并且是类别1分类为分化细胞，类别2分类为未分化细胞，类别3分类为培养基、类别4分类为死细胞的图像。而且，是如下情况：在整个学习用输入图像及注释图像中的各类别的面积比例是分化细胞为38％、未分化细胞为2％、培养基为40％、死细胞为20％，未分化细胞的面积比例相对低。
若如此在学习用输入图像及注释图像中存在类别偏差，则在由学习用输入图像及注释图像构成的小批量数据中产生类别偏差的可能性也变高。在小批量数据中产生了类别偏差的情况下，不考虑面积比例相对低的稀有类别而进行训练。其结果，导致创建稀有类别的判别精度低的模型。
在日本专利公开2017-107386号公报中，如上所述，从多个学习用输入图像中提取了成为注释图像来源的一个学习用输入图像。然而，在该方法中，在多个学习用输入图像的所有图像中存在类别偏差的情况下，最终导致创建稀有类别的判别精度低的模型。从而，在日本专利公开2017-107386号公报中记载的方法中，无法解决导致创建稀有类别的判别精度低的模型的问题。
本发明技术的目的在于提供一种可以抑制用于实施语义分割的机器学习模型的类别的判别精度降低的小批量学习装置及其工作程序和工作方法。
用于解决技术课题的手段
为了实现上述目的，本发明的小批量学习装置对用于实施以像素单元来判别图像内的多个类别的语义分割的机器学习模型赋予小批量数据来进行训练，所述小批量学习装置具备：计算部，计算成为小批量数据来源的学习用输入图像及注释图像中的、相对于整个注释图像的面积的多个类别中每个类别的第1面积比例；确定部，确定第1面积比例低于第1设定值的稀有类别；及生成部，从学习用输入图像及注释图像生成小批量数据，并生成小批量数据中的稀有类别的第2面积比例为大于在计算部中计算出的第1面积比例的第2设定值以上的小批量数据。
优选在生成部中具备接收部，所述接收部接收是否进行生成第2面积比例为第2设定值以上的小批量数据的处理的选择指示。
优选生成部按照一定规则生成多个小批量数据，并且在按照一定规则生成的多个小批量数据中，选择第2面积比例为第2设定值以上的小批量数据以用于训练。
优选生成部检测注释图像内的稀有类别的均匀分布区域和非均匀分布区域，并且使均匀分布区域的成为小批量数据来源的图像的剪切数多于非均匀分布区域的剪切数。
在本发明的小批量学习装置的工作程序中，所述小批量学习装置对用于实施以像素单元来判别图像内的多个类别的语义分割的机器学习模型赋予小批量数据来进行训练，所述小批量学习装置的工作程序使计算机发挥如下作用：计算部，计算成为小批量数据来源的学习用输入图像及注释图像中的、相对于整个注释图像的面积的多个类别中每个类别的第1面积比例；确定部，确定第1面积比例低于第1设定值的稀有类别；及生成部，从学习用输入图像及注释图像生成小批量数据，并且生成小批量数据中的稀有类别的第2面积比例为大于在计算部中计算出的第1面积比例的第2设定值以上的小批量数据。
在本发明的小批量学习装置的工作方法中，所述小批量学习装置对用于实施以像素单元来判别图像内的多个类别的语义分割的机器学习模型赋予小批量数据来进行训练，所述小批量学习装置的工作方法具备：计算步骤，计算成为小批量数据来源的学习用输入图像及注释图像中的、相对于整个注释图像的面积的多个类别中每个类别的第1面积比例；确定步骤，确定第1面积比例低于第1设定值的稀有类别；及生成步骤，从学习用输入图像及注释图像生成小批量数据，并生成小批量数据中的稀有类别的第2面积比例为大于在计算步骤中计算出的第1面积比例的第2设定值以上的小批量数据。
发明效果
根据本发明技术，能够提供一种可以抑制用于实施语义分割的机器学习模型的类别的判别精度降低的小批量学习装置及其工作程序和工作方法。
附图说明
图1是表示小批量学习装置及其处理的概要的图。
图2是表示应用装置及其处理的概要的图。
图3是表示图像的图，图3A表示学习用输入图像，图3B表示注释图像。
图4是表示从学习用输入图像生成分割学习用输入图像的状态的图。
图5是表示从注释图像生成分割注释图像的状态的图。
图6是表示由多个分割学习用输入图像的一部分构成分割学习用输入图像组的图。
图7是表示由多个分割注释图像的一部分构成分割注释图像组的图。
图8是表示构成小批量学习装置的计算机的框图。
图9是表示小批量学习装置的CPU的处理部的框图。
图10是表示计算部及确定部的处理的具体例的图。
图11是表示生成部的处理的具体例的图。
图12是表示小批量学习装置的处理顺序的流程图。
图13是表示询问是否使生成部进行生成第2面积比例为第2设定值以上的小批量数据的处理的第2实施方式的图。
图14是表示在按照一定规则生成的多个小批量数据中选择第2面积比例为第2设定值以上的小批量数据以用于训练的第3实施方式的图。
图15是表示使注释图像内的稀有类别的均匀分布区域的成为小批量数据来源的图像的剪切数多于非均匀分布区域的剪切数的第4实施方式的图。
具体实施方式
[第1实施方式]
在图1中，小批量学习装置2为了提高用于实施以像素单元来判别输入图像内的多个类别的语义分割的模型10的判别精度，使模型10使用小批量数据11进行小批量学习。小批量学习装置2例如是台式个人电脑。并且，模型10例如是U-Net。
类别也可以说是在输入图像中显现的物体的类型。并且，简而言之，语义分割对在输入图像中显现的物体的类别及其轮廓进行判别，模型10将其判别结果作为输出图像而输出。例如，在输入图像中显现出杯子、书本、移动电话这三个物体的情况下，作为输出图像理想的是，杯子、书本、移动电话被判别为各个类别，并且忠实地追随这些物体轮廓的轮廓线被绘制在各个物体上。
模型10的类别的判别精度通过对模型10赋予学习数据来进行训练，从而更新模型10而被提高。学习数据由输入到模型10的学习用输入图像与手动指定学习用输入图像内的类别的注释图像的组构成。注释图像是用于与根据学习用输入图像从模型10输出的学习用输出图像进行所谓的核对答案的图像，与学习用输出图像进行比较。模型10的类别的判别精度越高，注释图像与学习用输出图像的差异变得越小。
在小批量学习装置2中，如上所述，将小批量数据11用作学习数据。小批量数据11由分割学习用输入图像组12和分割注释图像组13构成。
在小批量学习中，分割学习用输入图像组12被赋予到模型10。由此，从模型10针对分割学习用输入图像组12的每个分割学习用输入图像20S(参考图4)输出学习用输出图像。如此比较从模型10输出的学习用输出图像的集合即学习用输出图像组14与分割注释图像组13，并且评价模型10的类别的判别精度。然后，根据该类别的判别精度的评价结果来更新模型10。小批量学习装置2在替换小批量数据11的同时，进行将这些分割学习用输入图像组12输入到模型10和从模型10输出学习用输出图像组14，模型10的类别的判别精度的评价、以及模型10的更新，并且重复至模型10的类别的判别精度成为所期望的级别。
如图2所示，如上所述将类别的判别精度提高至所期望的级别的模型10作为已进行训练的机器学习模型(以下，已进行训练的模型)10T并入到应用装置15中。还未判别所显现的物体的类别及其轮廓的输入图像16被赋予到已进行训练的模型10T。已进行训练的模型10T判别在输入图像16中显现的物体的类别及其轮廓，并输出输出图像17来作为其判别结果。与小批量学习装置2同样，应用装置15例如是台式个人电脑，并将输入图像16和输出图像17并排显示于显示器。另外，应用装置15可以是与小批量学习装置2不同的装置，也可以是与小批量学习装置2相同的装置。并且，在将已进行训练的模型10T并入到应用装置15中之后，也可以对已进行训练的模型10T赋予小批量数据11来进行训练。
如图3A所示，学习用输入图像20在该例中是在相差显微镜中显现出细胞培养状态的1张图像。在学习用输入图像20中，分化细胞、未分化细胞、培养基、死细胞作为物体而显现。在该情况下的注释图像21中，如图3B所示，类别1的分化细胞、类别2的未分化细胞、类别3的培养基、类别4的死细胞分别被手动指定。另外，与学习用输入图像20同样，赋予到已进行训练的模型10T的输入图像16也是在相差显微镜中显现出细胞培养状态的图像。
如图4所示，分割学习用输入图像20S是将由矩形框25包围的区域每次进行剪切的图像，该矩形框25在学习用输入图像20内在横向上依次每次移动DX且在纵向上依次每次移动DY。框25的横向移动量DX例如是框25的横向尺寸的1/2。同样地，框25的纵向移动量DY例如是框25的纵向尺寸的1/2。框25例如是学习用输入图像20的1/50的尺寸。在该情况下，分割学习用输入图像20S是20S_1～20S_10000共计1万张。
同样地，如图5所示，分割注释图像21S是将由矩形框25包围的区域每次进行剪切的图像，该矩形框25在注释图像21内在横向上依次每次移动DX且在纵向上依次每次移动DY。分割注释图像21S是21S_1～21S_10000共计1万张。另外，以下设为在小批量学习装置2内备有学习用输入图像20及注释图像21，并且也已生成分割学习用输入图像20S及分割注释图像21S来进行说明。
如图6所示，分割学习用输入图像组12由如图4所示生成的多个分割学习用输入图像20S中的一部分(例如1万张分割学习用输入图像20S中的100张)构成。同样地，如图7所示，分割注释图像组13由如图5所示生成的多个分割注释图像21S中的一部分(例如1万张分割注释图像21S中的100张)构成。在构成分割学习用输入图像组12的分割学习用输入图像20S和构成分割注释图像组13的分割注释图像21S中，由框25剪切的区域彼此相同。
在图8中，构成小批量学习装置2的计算机具备存储器件30、内存31、CPU(CentralProcessing Unit：中央处理单元)32、通信部33、显示器34及输入器件35。这些经由数据总线36相互连接。
存储器件30是构成小批量学习装置2的计算机中内置的、或通过电缆、网络而连接于计算机的硬盘驱动器。或者，存储器件30是联装多个硬盘驱动器的磁盘阵列。在存储器件30存储有操作系统等控制程序、各种应用程序及这些程序附带的各种数据等。另外，可以使用固态驱动器来代替硬盘驱动器。
内存31是用于CPU32执行处理的工作存储器。CPU32将存储在存储器件30中的程序加载到内存31并通过按照程序执行处理，由此集中控制计算机的各部分。
通信部33是经由互联网或公用通信网等WAN(Wide Area Network：广域网)之类的网络进行各种信息的传输控制的网络接口。显示器34显示各种画面。在各种画面上具备基于GUI(Graphical User Interface：图形用户界面)的操作功能。构成小批量学习装置2的计算机通过各种画面来接收来自输入器件35的操作指示的输入。输入器件35是键盘、鼠标、触摸面板等。
在图9中，存储器件30中存储有学习用输入图像20、注释图像21、分割学习用输入图像20S、分割注释图像21S及模型10。并且，存储器件30中存储有工作程序40来作为应用程序。工作程序40是用于使计算机作为小批量学习装置2发挥作用的应用程序。即，工作程序40是本发明技术所涉及的“小批量学习装置的工作程序”的一例。
若启动工作程序40，则构成小批量学习装置2的计算机的CPU32与内存31等协作，作为计算部50、确定部51、生成部52、学习部53、评价部54及更新部55发挥作用。
计算部50计算相对于整个注释图像21的面积的多个类别中每个类别的第1面积比例。更详细而言，计算部50从存储器件30读取注释图像21。然后，针对每个类别加算在注释图像21中被手动指定的区域的像素数。接着，将加算的像素数除以注释图像21的总像素数，由此计算第1面积比例。例如，在指定为类别1的分化细胞的区域的加算的像素数为10000且总像素数为50000的情况下，类别1的分化细胞的第1面积比例为(10000/50000)×100＝20％。计算部50将所计算出的第1面积比例输出到确定部51。
确定部51确定第1面积比例低于第1设定值的稀有类别。确定部51将所确定的稀有类别输出到生成部52。
生成部52从如图4及图5所示生成自学习用输入图像20及注释图像21的分割学习用输入图像20S及分割注释图像21S中，如图6及图7所示选择其一部分，由此生成小批量数据11。生成部52生成多组(例如100组)小批量数据11。在确定部51中确定有稀有类别的情况下，生成部52设计分割学习用输入图像20S及分割注释图像21S的选择方法，由此生成第2面积比例为大于第1面积比例的第2设定值以上的小批量数据11。另一方面，在确定部51中未确定有稀有类别的情况下，生成部52不受如上所述的限制而生成小批量数据11。生成部52将所生成的小批量数据11输出到学习部53及评价部54。
在此，第2面积比例是1组小批量数据11中的稀有类别的面积比例。并且，在确定部51中确定有稀有类别时的分割学习用输入图像20S及分割注释图像21S的选择方法的设计，例如是优先选择稀有类别的物体显现得较大的分割学习用输入图像20S及分割注释图像21S等。也可以执行增加用于将小批量数据11的稀有类别的第2面积比例设为第2设定值以上的分割学习用输入图像20S及分割注释图像21S的选项的方法。具体而言，对稀有类别的物体显现得较大的分割学习用输入图像20S及分割注释图像21S实施修整、左右翻转、旋转之类的图像处理来制作成另一图像，从而设为小批量数据11的新选项。这种方法被称为数据增强。
学习部53将来自生成部52的小批量数据11的分割学习用输入图像组12赋予到模型10来进行训练。由此，学习部53将从模型10输出的学习用输出图像组14输出到评价部54。
评价部54比较来自生成部52的小批量数据11的分割注释图像组13和来自学习部53的学习用输出图像组14，并评价模型10的类别的判别精度。评价部54将评价结果输出到更新部55。
评价部54使用损失函数来评价模型10的类别的判别精度。损失函数是表示分割注释图像组13与学习用输出图像组14的差异程度的函数。损失函数的计算值越接近0，表示模型10的类别的判别精度越高。
更新部55根据来自评价部54的评价结果来更新模型10。更具体而言，更新部55通过伴随学习系数的随机梯度下降法等来改变模型10的各种参数值。学习系数表示模型10的各种参数值的变化幅度。即，学习系数越是相对大的值，各种参数值的变化幅度越大，模型10的更新程度也越大。
图10及图11表示计算部50、确定部51、生成部52各部的处理的具体例。首先，在图10中，如表60所示，计算部50计算各类别的第1面积比例。图10中例示出分别如下计算出的情况：类别1的分化细胞的第1面积比例为38％，类别2的未分化细胞的第1面积比例为2％，类别3的培养基的第1面积比例为40％，类别4的死细胞的第1面积比例为20％。
确定部51确定第1面积比例低于第1设定值的稀有类别。图10中例示出如下情况：由于第1设定值为5％以下，因此将第1面积比例为2％而低于第1设定值的类别2的未分化细胞确定为稀有类别。另外，在此例示出仅确定有一个稀有类别的情况，但是在存在多个第1面积比例低于第1设定值的类别的情况下，当然多个类别被确定为稀有类别。
接着，在图11中，如表61所示，生成部52生成小批量数据11，该小批量数据11中稀有类别的第2面积比例为大于在计算部50中计算出的第1面积比例的第2设定值以上。在图11中，由于第2设定值为25％以上，因此在各小批量数据11中，作为稀有类别的类别2的未分化细胞的第2面积比例被设为25％。并且，除了作为稀有类别的类别2的未分化细胞以外的其他类别的第2面积比例也均被设为25％。另外，图10所示的第1设定值及图11所示的第2设定值仅为一个示例。第2设定值至少大于稀有类别的第1面积比例即可，在上述例中大于2％即可。并且，关于除了稀有类别以外的其他类别的第2面积比例并没有特别的限制，因此不需要如上所述将值均设为25％。
接着，参考图12所示的流程图对基于上是结构的作用进行说明。首先，启动工作程序40，如图9所示，构成小批量学习装置2的计算机的CPU32作为各处理部50～55发挥作用。
如图10的表60所示，由计算部50计算各类别的第1面积比例(步骤ST100、计算步骤)。接着，也如图10所示，在确定部51中确定第1面积比例低于第1设定值的稀有类别(步骤ST110、确定步骤)。
在确定部51中确定有稀有类别的情况下(步骤ST120中为“是”)，如图11的表61所示，由生成部52生成稀有类别的第2面积比例为第2设定值以上的小批量数据11(步骤ST130、生成步骤)。
在确定部51中确定有稀有类别的情况，即为在学习用输入图像20及注释图像21中存在类别偏差的情况。若在学习用输入图像20及注释图像21中存在类别偏差，则在不受任何限制而生成了小批量数据11的情况下，在小批量数据11中也产生类别偏差的可能性变高。因此，其结果，导致创建稀有类别的判别精度低的模型10。
然而，在本实施方式中，如上所述，在确定部51中确定有稀有类别的情况下，在生成部52中生成有稀有类别的第2面积比例为第2设定值以上的小批量数据11。由此，即使在学习用输入图像20及注释图像21中存在类别偏差的情况下，在小批量数据11中也不会产生类别偏差。从而，可以避免创建稀有类别的判别精度低的模型10的情况，并可以抑制模型10的类别的判别精度降低。
另一方面，在确定部51中未确定有稀有类别的情况下，在生成部52中不受特别的限制而生成小批量数据11(步骤ST140、生成步骤)。
在学习部53中，来自生成部52的小批量数据11的分割学习用输入图像组12被赋予到模型10来进行训练(步骤ST150)。然后，在评价部54中比较如上述从模型10输出的学习用输出图像组14和来自生成部52的小批量数据11的分割注释图像组13，并评价模型10的类别的判别精度(步骤ST160)。
在根据基于评价部54的评价结果判定为模型10的类别的判别精度达到所期望的级别的情况下(步骤ST170中为“是”)，结束小批量学习。另一方面，在判定为模型10的类别的判别精度未达到所期望的级别的情况下(步骤ST170中为“否”)，由更新部55来更新模型10(步骤ST180)。然后，处理返回到步骤ST150，另一组小批量数据11被赋予到模型10，并重复随后的步骤。
[第2实施方式]
在图13所示的第2实施方式中，询问是否使生成部52进行生成第2面积比例为第2设定值以上的小批量数据11的处理。
在图13中，第2实施方式的小批量学习装置的CPU除了第1实施方式的各处理部50～55以外，还作为接收部65发挥作用。在确定部52中确定有稀有类别的情况下，接收部65接收是否使生成部52进行生成第2面积比例为第2设定值以上的小批量数据11的处理的选择指示。
在第2实施方式中，在确定部52中确定有稀有类别的情况下，在显示器34上显示询问画面66。在询问画面66上显示确定有稀有类别的内容和询问是否可以生成第2面积比例为第2设定值以上的小批量数据11的内容的消息67、“是”按钮68、“否”按钮69。接收部65接收“是”按钮68和“否”按钮69的选择指示来作为是否进行生成第2面积比例为第2设定值以上的小批量数据11的处理的选择指示。在选择了“是”按钮68的情况下，在生成部52中进行生成第2面积比例为第2设定值以上的小批量数据11的处理。另一方面，在选择了“否”按钮69的情况下，在生成部52中不进行生成第2面积比例为第2设定值以上的小批量数据11的处理。
当生成注释图像时，由于手动指定类别，因此可能会错误指定类别。并且，也会出现虽然在模型10的开发初期指定为类别，但是随着进行开发被视为不太重要的类别。在这种情况下，会存在虽然在确定部52中确定有稀有类别，但是可以不生成第2面积比例为第2设定值以上的小批量数据11的情况。
因此，在第2实施方式中，由接收部65接收是否使生成部52进行生成第2面积比例为第2设定值以上的小批量数据11的处理的选择指示。从而，能够应对虽然在确定部52中确定了稀有类别，但是可以不生成第2面积比例为第2设定值以上的小批量数据11的情况。
[第3实施方式]
在图14所示的第3实施方式中，按照一定规则生成多个小批量数据11。然后，在按照一定规则生成的多个小批量数据11中，选择第2面积比例为第2设定值以上的小批量数据11以用于训练。
在图14中，如图4及图5所示，第3实施方式的生成部75使框25按照一定规则移动(在横向上依次各移动DX，并且在纵向上依次各移动DY移动)，生成分割学习用输入图像20S及分割注释图像21S。并且，生成部75从分割学习用输入图像20S及分割注释图像21S按照一定规则生成分割学习用输入图像组12及分割注释图像组13。在第1实施方式中，通过设计分割学习用输入图像20S及分割注释图像21S的选择方法而生成第2面积比例为第2设定值以上的小批量数据11，但是在第3实施方式中，不设计这种选择方法而按照一定规则生成小批量数据11。
生成部75在如此按照一定规则生成的多个小批量数据11中选择第2面积比例为第2设定值以上的小批量数据11以用于训练。
表76表示生成部75按照一定规则生成的多个小批量数据11的各类别的第2面积比例。在此，与图10等同样，例示出类别2的未分化细胞被确定为稀有类别的情况。并且，例示出第2设定值也与第1实施方式同样地为25％以上的情况。在该情况下，作为稀有类别的类别2的未分化细胞的第2面积比例为第2设定值以上的是No.2的小批量数据11。因此，如表77所示，生成部75选择No.2的小批量数据11作为赋予到学习部53的小批量数据11。
如此，在第3实施方式中，生成部75按照一定规则生成多个小批量数据11，并且在按照一定规则生成的多个小批量数据11中选择第2面积比例为第2设定值以上的小批量数据11以用于训练。从而，通过设计分割学习用输入图像20S及分割注释图像21S的选择方法，可以省去生成第2面积比例为第2设定值以上的小批量数据11的麻烦。
[第4实施方式]
在图15所示的第4实施方式中，检测注释图像21内的稀有类别的均匀分布区域和非均匀分布区域。然后，使均匀分布区域的成为小批量数据11的来源的图像的剪切数多于非均匀分布区域的剪切数。在此，成为小批量数据11的来源的图像是分割注释图像21S。
在图15中，第4实施方式的生成部检测注释图像21内的稀有类别的均匀分布区域80和非均匀分布区域81。作为均匀分布区域80的检测方法，首先，将注释图像21分割为多个区域，并计算各区域中的稀有类别的面积比例。接着，求出所计算出的各区域的面积比例的平均AVE和标准偏差σ。然后，检测稀有类别的面积比例例如超过AVE+3σ的区域来作为均匀分布区域80。
生成部使如上所述检测到的均匀分布区域80的、分割注释图像21S的剪切数多于非均匀分布区域81的剪切数。在图15中，关于图4及图5所示的框25的移动量，通过使均匀分布区域80的移动量DX_A、DY_A小于非均匀分布区域81的移动量DX_B、DY_B，使均匀分布区域80的分割注释图像21S的剪切数多于非均匀分布区域81的剪切数。
如此，在第4实施方式中，生成部检测注释图像21内的稀有类别的均匀分布区域80和非均匀分布区域81，并使均匀分布区域80的成为小批量数据11的来源的图像的剪切数多于非均匀分布区域81的剪切数。从而，能够简单地生成第2面积比例为第2设定值以上的小批量数据11。
在上述各实施方式中，作为输入图像16及学习用输入图像20而例示出在相差显微镜中显现细胞培养状态的图像，并且作为类别而例示出分化细胞、培养基等，但是并不限定于此。例如，可以将MRI(Magnetic Resonance Imagin g：核磁共振成像)图像设为输入图像16及学习用输入图像20，并将肝、肾之类的器官设为类别。
模型10并不限定于U-Net，也可以是其他卷积神经网络，例如SegNet。
构成小批量学习装置2的计算机的硬件结构可以进行各种变形。例如，以提高处理能力及可靠性为目的，作为硬件，可以由分离的多台计算机来构成小批量学习装置2。具体而言，使3台计算机分散承担计算部50及确定部51的功能、生成部52及学习部53的功能、评价部54及更新部55的功能。在该情况下，由3台计算机构成小批量学习装置2。
如此，计算机的硬件结构能够根据处理能力、安全性、可靠性等所需性能来适当地变更。此外，并不限定于硬件，关于工作程序40等应用程序，也以确保安全性及可靠性为目的，当然可以进行双重化，或者分散存储于多个存储器件。
在上述各实施方式中，例如作为计算部50、确定部51、生成部52、75、学习部53、评价部54、更新部55及接收部65之类的执行各种处理的处理部(Processing Unit)的硬件结构，能够使用以下所示的各种处理器(Processor)。在各种处理器中，如上所述，除了执行软件(工作程序40)而作为各种处理部发挥作用的通用的处理器即CPU32以外，还包括FPGA(Field Programm able Gate Array：现场可编程门阵列)等在制造之后可以变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)、ASIC(Applic ationSpecific Integrated Circuit：专用集成电路)等具有为了执行特定处理而专门设计的电路结构的处理器即专用电路等。
一个处理部可以由这些各种处理器中的一个来构成，也可以由相同类型或不同类型的两个以上处理器的组合(例如，多个FPGA的组合和/或CPU与FPGA的组合)来构成。并且，可以由一个处理器构成多个处理部。
作为由一个处理器构成多个处理部的例子，第一，如以客户端、服务器等计算机为代表，由一个以上的CPU与软件的组合而构成一个处理器，该处理器作为多个处理部而发挥作用。第二，如以片上系统(System on Chip：SoC)等为代表，使用由一个IC(IntegratedCircuit：集成电路)芯片来实现包括多个处理部的系统整体的功能的处理器。如此，作为硬件结构，各种处理部构成为使用一个以上的上述各种处理器而构成。
此外，作为这些各种处理器的硬件结构，更具体而言，能够使用组合半导体元件等电路元件的电路(circuitry)。
根据以上记载，能够掌握以下附加项1中所记载的发明。
[附加项1]
一种小批量学习装置，其对用于实施以像素单元来判别图像内的多个类别的语义分割的机器学习模型赋予小批量数据来进行训练，所述小批量学习装置具备：
计算处理器，计算成为所述小批量数据来源的学习用输入图像及注释图像中的、相对于整个所述注释图像的面积的所述多个类别中每个类别的第1面积比例；
确定处理器，确定所述第1面积比例低于第1设定值的稀有类别；及
生成处理器，从所述学习用输入图像及所述注释图像生成所述小批量数据，并生成所述小批量数据中的所述稀有类别的第2面积比例为大于在所述计算处理器中计算出的所述第1面积比例的第2设定值以上的所述小批量数据。
本发明技术也可以适当地组合上述各种实施方式和各种变形例。并且，并不限定于上述各实施方式，只要不脱离主旨，当然可以采用各种结构。此外，本发明技术不仅涉及到程序，而且也涉及到非临时存储程序的存储介质。
以上所示的记载内容及图示内容是关于本发明技术所涉及部分的详细说明，只是本发明技术的一例。例如，与上述结构、功能、作用及效果有关的说明是与本发明技术所涉及部分的结构、功能、作用及效果的一例有关的说明。因此，在不脱离本发明技术的主旨的范围内，当然可以对以上所示的记载内容及图示内容删除不必要的部分，或者追加新的要素，或者进行替换。并且，为了避免复杂化且容易理解本发明技术所涉及的部分，在以上所示的记载内容及图示内容中，省略了在可以实施本发明技术的方面不需要特别说明的与技术常识等有关的说明。
在本说明书中，“A和/或B”与“A及B中的至少一个”的含义相同。即，“A和/或B”是指可以只有A，也可以只有B，还可以是A及B的组合。并且，在本说明书中，使用“和/或”来将表现3个以上的事项结合起来表现时，也可以适用与“A和/或B”相同的概念。
本说明书中所记载的全部文献、专利申请及技术标准，与具体且分别地记载将各个文献、专利申请及技术标准通过参考而引入的情况相同程度地，通过参考而引入本说明书中。

Claims (6)

1.一种小批量学习装置，其对用于实施以像素单元来判别图像内的多个类别的语义分割的机器学习模型赋予小批量数据来进行训练，所述小批量学习装置具备：
计算部，计算成为所述小批量数据来源的学习用输入图像及注释图像中的、相对于整个所述注释图像的面积的所述多个类别中每个类别的第1面积比例；
确定部，确定所述第1面积比例低于第1设定值的稀有类别；及
生成部，从所述学习用输入图像及所述注释图像生成所述小批量数据，并生成所述小批量数据中的所述稀有类别的第2面积比例为大于在所述计算部中计算出的所述第1面积比例的第2设定值以上的所述小批量数据。
2.根据权利要求1所述的小批量学习装置，其中，
在所述生成部中具备接收部，所述接收部接收是否进行生成所述第2面积比例为所述第2设定值以上的所述小批量数据的处理的选择指示。
3.根据权利要求1或2所述的小批量学习装置，其中，
所述生成部按照一定规则生成多个所述小批量数据，并且在按照所述一定规则生成的多个所述小批量数据中，选择所述第2面积比例为所述第2设定值以上的所述小批量数据以用于所述训练。
4.根据权利要求1至3中任一项所述的小批量学习装置，其中，
所述生成部检测所述注释图像内的所述稀有类别的均匀分布区域和非均匀分布区域，并且使所述均匀分布区域的成为所述小批量数据来源的图像的剪切数多于所述非均匀分布区域的所述剪切数。
5.一种小批量学习装置的工作程序，所述小批量学习装置对用于实施以像素单元来判别图像内的多个类别的语义分割的机器学习模型赋予小批量数据来进行训练，所述小批量学习装置的工作程序使计算机发挥如下作用：
计算部，计算成为所述小批量数据来源的学习用输入图像及注释图像中的、相对于整个所述注释图像的面积的所述多个类别中每个类别的第1面积比例；
确定部，确定所述第1面积比例低于第1设定值的稀有类别；及
生成部，从所述学习用输入图像及所述注释图像生成所述小批量数据，并且生成所述小批量数据中的所述稀有类别的第2面积比例为大于在所述计算部中计算出的所述第1面积比例的第2设定值以上的所述小批量数据。
6.一种小批量学习装置的工作方法，所述小批量学习装置对用于实施以像素单元来判别图像内的多个类别的语义分割的机器学习模型赋予小批量数据来进行训练，所述小批量学习装置的工作方法具备：
计算步骤，计算成为所述小批量数据来源的学习用输入图像及注释图像中的、相对于整个所述注释图像的面积的所述多个类别中每个类别的第1面积比例；
确定步骤，确定所述第1面积比例低于第1设定值的稀有类别；及
生成步骤，从所述学习用输入图像及所述注释图像生成所述小批量数据，并生成所述小批量数据中的所述稀有类别的第2面积比例为大于在所述计算步骤中计算出的所述第1面积比例的第2设定值以上的所述小批量数据。
CN201980082352.7A 2018-12-14 2019-10-29 小批量学习装置及其工作程序和工作方法 Active CN113196335B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018234883 2018-12-14
JP2018-234883 2018-12-14
PCT/JP2019/042385 WO2020121668A1 (ja) 2018-12-14 2019-10-29 ミニバッチ学習装置とその作動プログラムおよび作動方法

Publications (2)

Publication Number Publication Date
CN113196335A true CN113196335A (zh) 2021-07-30
CN113196335B CN113196335B (zh) 2024-08-30

Family

ID=71075774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980082352.7A Active CN113196335B (zh) 2018-12-14 2019-10-29 小批量学习装置及其工作程序和工作方法

Country Status (5)

Country Link
US (1) US20210304006A1 (zh)
EP (1) EP3896648A4 (zh)
JP (1) JP7096360B2 (zh)
CN (1) CN113196335B (zh)
WO (1) WO2020121668A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113168713B (zh) * 2018-12-14 2024-09-06 富士胶片株式会社 小批量学习装置及其工作程序、工作方法及图像处理装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090232407A1 (en) * 2008-03-11 2009-09-17 Koji Aoyama Image processing device, method, and program
CN102521610A (zh) * 2011-12-08 2012-06-27 北京新媒传信科技有限公司 图片过滤方法和装置
JP2014072620A (ja) * 2012-09-28 2014-04-21 Nikon Corp 画像処理プログラム、画像処理方法、画像処理装置、及び撮像装置
EP3073443A1 (en) * 2015-03-23 2016-09-28 Université de Mons 3D Saliency map
WO2018189875A1 (ja) * 2017-04-14 2018-10-18 株式会社日立ハイテクノロジーズ 撮像装置および形態特徴データ表示方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6509717B2 (ja) 2015-12-09 2019-05-08 日本電信電話株式会社 事例選択装置、分類装置、方法、及びプログラム
US9916522B2 (en) * 2016-03-11 2018-03-13 Kabushiki Kaisha Toshiba Training constrained deconvolutional networks for road scene semantic segmentation
JP6965343B2 (ja) * 2016-10-31 2021-11-10 コニカ ミノルタ ラボラトリー ユー．エス．エー．，インコーポレイテッド 制御フィードバックを用いる画像セグメンテーションの方法及びシステム
JP7011146B2 (ja) * 2017-03-27 2022-01-26 富士通株式会社 画像処理装置、画像処理方法、画像処理プログラム、及び教師データ生成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090232407A1 (en) * 2008-03-11 2009-09-17 Koji Aoyama Image processing device, method, and program
CN102521610A (zh) * 2011-12-08 2012-06-27 北京新媒传信科技有限公司 图片过滤方法和装置
JP2014072620A (ja) * 2012-09-28 2014-04-21 Nikon Corp 画像処理プログラム、画像処理方法、画像処理装置、及び撮像装置
EP3073443A1 (en) * 2015-03-23 2016-09-28 Université de Mons 3D Saliency map
WO2018189875A1 (ja) * 2017-04-14 2018-10-18 株式会社日立ハイテクノロジーズ 撮像装置および形態特徴データ表示方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CRISTIANO LEAL等: "Microbial-based evaluation of foaming events in full-scale wastewater treatment plants by microscopy survey and quantitative image analysis", ENVIRONMENTAL SCIENCE AND POLLUTION RESEARCH, 2016•SPRINGER, 30 April 2016 (2016-04-30) *

Also Published As

Publication number Publication date
JPWO2020121668A1 (ja) 2021-09-27
WO2020121668A1 (ja) 2020-06-18
EP3896648A1 (en) 2021-10-20
JP7096360B2 (ja) 2022-07-05
US20210304006A1 (en) 2021-09-30
EP3896648A4 (en) 2022-01-26
CN113196335B (zh) 2024-08-30

Similar Documents

Publication Publication Date Title
JP6798021B1 (ja) 畳み込みニューラルネットワークの高速計算
US12136258B2 (en) Information processing apparatus, method for operating information processing apparatus, and operating program of information processing apparatus
WO2018065434A1 (en) Digital pathology system and associated workflow for providing visualized whole-slide image analysis
CN109564575A (zh) 使用机器学习模型来对图像进行分类
JP6732309B1 (ja) 情報処理装置、情報処理方法、および、情報処理プログラム
CN113168713B (zh) 小批量学习装置及其工作程序、工作方法及图像处理装置
CN113168698B (zh) 小批量学习装置及其工作程序和工作方法
US12062184B2 (en) Image processing apparatus, and operation method and operating program thereof, operating apparatus, and operation method and operating program thereof, and machine learning system
JP7348446B2 (ja) 手書きフォント生成サービスを提供する方法およびシステム
CN113196335A (zh) 小批量学习装置及其工作程序和工作方法
US9891692B2 (en) Apparatus and method of controlling power consumption of graphic processing unit (GPU) resources
JP7099254B2 (ja) 学習方法、学習プログラム及び学習装置
JP2020204863A (ja) 学習装置、学習装置の作動方法、および学習装置の作動プログラム
CN112748917B (zh) 图表显示方法及装置
CN113632138A (zh) 图像处理装置、图像处理装置的工作方法及图像处理装置的工作程序
CN113297479A (zh) 一种用户画像生成方法、装置及电子设备
CN111198858A (zh) 一种文件处理的方法、装置、计算机存储介质及终端
WO2024157824A1 (ja) 情報処理装置、モデル生成装置、情報処理方法、モデル生成方法、および記録媒体
KR20230065750A (ko) 딥러닝 기반으로 장소 리뷰 이미지를 분류하는 방법, 시스템, 및 컴퓨터 프로그램
CN114596637A (zh) 图像样本数据增强训练方法、装置及电子设备
JP2019219728A (ja) 学習済みモデルを選定する方法、訓練データを生成する方法、学習済みモデルを生成する方法、コンピュータおよびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant