CN112543950A - 图像处理装置、图像处理方法以及图像处理程序 - Google Patents

Abstract

卷积神经网络进行第一屏蔽处理，所述第一屏蔽处理是通过检查图像与屏蔽图像的各自对应的像素彼此的像素值的运算，来屏蔽检查对象外的像素区域，所述检查图像包含检查对象的像素区域与检查对象外的像素区域，所述屏蔽图像包含具有用于屏蔽检查对象外的像素区域的像素值，且与检查对象外的像素区域相关联的像素区域，进行用于从进行了第一屏蔽处理的检查图像中提取特征图像的中间处理，且进行第二屏蔽处理，所述第二屏蔽处理是通过进行了中间处理的检查图像、与进行了与中间处理相同的处理的屏蔽图像的各自对应的像素彼此的像素值的运算，来屏蔽检查对象外的像素区域。

Description

图像处理装置、图像处理方法以及图像处理程序

技术领域

本发明涉及一种图像处理装置、图像处理方法以及图像处理程序。

背景技术

在工厂自动化领域中，使用图像测量处理的自动控制已得到广泛实用化。例如，如下所述的检查工序已得到实用化，即，对工件等被检查对象进行拍摄，从通过所述拍摄而获得的检查图像中提取缺陷等的特征图像，由此来检查工件的良否。作为此种图像测量处理的示例，已知有使用卷积神经网络来提取特征图像的方法。卷积神经网络通过反复进行图像的卷积处理与池化(pooling)处理，从而将局部的特征加以组合而提取整体的特征。因此，若在检查图像的一部分映入有异物，则会提取异物的特征，从而在反复进行图像的卷积处理与池化处理的过程中，异物的特征将对图像的大范围造成影响。此种影响可能成为误检测的原因。作为用于避免此种误检测的方法，例如日本专利特开2017-146957号公报提出了一种方法：对检查图像的像素区域中的检查对象外的像素区域进行屏蔽(mask)，将经屏蔽的检查图像输入至卷积神经网络，以提取特征图像。

现有技术文献

专利文献

专利文献1：日本专利特开2017-146957号公报

发明内容

发明所要解决的问题

但是，当将经屏蔽的检查图像输入至卷积神经网络时，会提取检查对象的像素区域与检查对象外的像素区域之间的边界的特征(例如，像素值的浓淡的分界线)，此种特征也与异物的特征同样，可能成为误检测的原因。

因此，本发明的课题在于，解决此种问题，提出一种对检查对象的像素区域与检查对象外的像素区域之间的边界特征的提取进行抑制的图像处理装置、图像处理方法以及图像处理程序。

解决问题的技术手段

为了解决所述问题，本发明的图像处理装置包括：进行第一屏蔽处理的部件，所述第一屏蔽处理是通过检查图像与屏蔽图像的各自对应的像素彼此的像素值的运算，来屏蔽检查对象外的像素区域，所述检查图像包含检查对象的像素区域与检查对象外的像素区域，所述屏蔽图像包含具有用于屏蔽检查对象外的像素区域的像素值，且与检查对象外的像素区域相关联的像素区域；进行中间处理的部件，所述中间处理用于从进行了第一屏蔽处理的检查图像中，通过卷积神经网络来提取特征图像；对屏蔽图像进行与中间处理相同的处理的部件；以及进行第二屏蔽处理的部件，所述第二屏蔽处理是通过进行了中间处理的检查图像、与进行了与中间处理相同的处理的屏蔽图像的各自对应的像素彼此的像素值的运算，来屏蔽检查对象外的像素区域。根据此种结构，能够对检查对象的像素区域与检查对象外的像素区域之间的边界特征的提取进行抑制。

进行第二屏蔽处理的部件也可对第一次的中间处理后且第二次的中间处理前的检查图像进行第二屏蔽处理。在对检查图像进行的中间处理的次数少的阶段进行第二屏蔽处理，比起在对检查图像进行的中间处理的次数多的阶段进行第二屏蔽处理，对检查对象的像素区域与检查对象外的像素区域之间的边界特征的提取进行抑制的效果高。若检查对象的像素区域与检查对象外的像素区域之间的边界的特征被提取一次，则每当执行后段的中间处理(例如卷积处理)时便会传播至整个图像。越是在卷积处理的次数尽可能少的阶段进行第二屏蔽处理，则检查对象的像素区域与检查对象外的像素区域之间的边界特征的传播将越少。

进行第二屏蔽处理的部件也可对各中间处理后的检查图像进行第二屏蔽处理。由此，能够更切实地对检查对象的像素区域与检查对象外的像素区域之间的边界特征的提取进行抑制。

本发明的图像处理装置也可还包括：自动生成对检查对象的像素区域的位置、形状及大小进行规定的屏蔽图像的部件。由此，能够考虑检查图像上的异物的位置、形状、大小、个数及分布等来适当地设定检查对象的像素区域。

检查对象的像素区域的形状也可为非矩形。由此，能够提高检查对象的像素区域的设定的自由度。

本发明的图像处理装置还包括显示装置，所述显示装置将表示检查对象的像素区域的位置、形状及大小的标记重叠显示于检查图像，或者重叠显示于从检查图像提取了特征图像的检查结果图像。由此，操作者能够在视觉上掌握检查对象的像素区域A的位置、形状及大小。

本发明的图像处理方法是由计算机系统执行下述步骤：进行第一屏蔽处理，所述第一屏蔽处理是通过检查图像与屏蔽图像的各自对应的像素彼此的像素值的运算，来屏蔽检查对象外的像素区域，所述检查图像包含检查对象的像素区域与检查对象外的像素区域，所述屏蔽图像包含具有用于屏蔽检查对象外的像素区域的像素值，且与检查对象外的像素区域相关联的像素区域；进行中间处理，所述中间处理用于从进行了第一屏蔽处理的检查图像中，通过卷积神经网络来提取特征图像；对屏蔽图像进行与中间处理相同的处理；以及进行第二屏蔽处理，所述第二屏蔽处理是通过进行了中间处理的检查图像、与进行了与中间处理相同的处理的屏蔽图像的各自对应的像素彼此的像素值的运算，来屏蔽检查对象外的像素区域。通过所述方法，能够对检查对象的像素区域与检查对象外的像素区域之间的边界特征的提取进行抑制。

本发明的图像处理程序是使计算机系统执行下述步骤：进行第一屏蔽处理，所述第一屏蔽处理是通过检查图像与屏蔽图像的各自对应的像素彼此的像素值的运算，来屏蔽检查对象外的像素区域，所述检查图像包含检查对象的像素区域与检查对象外的像素区域，所述屏蔽图像包含具有用于屏蔽检查对象外的像素区域的像素值，且与检查对象外的像素区域相关联的像素区域；进行中间处理，所述中间处理用于从进行了第一屏蔽处理的检查图像中，通过卷积神经网络来提取特征图像；对屏蔽图像进行与中间处理相同的处理；以及进行第二屏蔽处理，所述第二屏蔽处理是通过进行了中间处理的检查图像、与进行了与中间处理相同的处理的屏蔽图像的各自对应的像素彼此的像素值的运算，来屏蔽检查对象外的像素区域。通过所述方法，能够对检查对象的像素区域与检查对象外的像素区域之间的边界特征的提取进行抑制。

发明的效果

根据本发明，能够对检查对象的像素区域与检查对象外的像素区域之间的边界特征的提取进行抑制。

附图说明

图1是表示本实施方式的图像处理流程的说明图。

图2是表示本实施方式的检查图像的一例的说明图。

图3是表示本实施方式的检查结果图像的一例的说明图。

图4是表示本实施方式的屏蔽图像的一例的说明图。

图5是表示本实施方式的屏蔽图像的一例的说明图。

图6是表示本实施方式的图像处理装置的硬件结构的说明图。

图7是表示本实施方式的图像处理方法的流程的流程图。

图8是表示本实施方式的图像处理方法的流程的流程图。

具体实施方式

以下，基于附图来说明本发明的一方面的实施方式。本发明的实施方式是为了便于理解本发明，而非用于限定地解释本发明。本发明可不脱离其主旨而进行变更或改良，并且在本发明中也包含其等价物。另外，同一符号表示同一构成元件，省略重复的说明。

[适用例]

首先，一边参照图1至图5，一边对本发明的适用例进行说明。

图1是表示本实施方式的图像处理流程的说明图。卷积神经网络100从被检查对象的检查图像31中提取缺陷等的特征图像并输出检查结果图像37。被检查对象例如为结构件或零件等工件，检查图像31是拍摄被检查对象而获得的图像数据。图2是表示检查图像31的一例的说明图。在检查图像31中，映入有缺陷80与异物90。图3是表示检查结果图像37的一例的说明图。在检查结果图像37中，提取出了缺陷80的特征图像81。

卷积神经网络100算出检查图像31中所含的缺陷80的图像属于学习完毕的多个等级(class)中的任一个的概率值，并输出提取出了与多个等级中的由操作者所选择的特定等级对应的缺陷80的特征图像81的检查结果图像37。作为等级的示例，例如可列举针对缺陷80的每个种类而分类的图像(例如“黑点”、“白点”、“黑线”及“白线”)与“背景”的组合。卷积神经网络100使用针对每个等级而准备的包含学习用图像数据与教学数据(标签)的学习用数据集而事先进行机器学习，由此，预先获得用于算出检查图像31中所含的缺陷80的图像属于学习完毕的多个等级中的任一个的概率值的内部参数、及用于输出检查结果图像37的内部参数，所述检查结果图像37提取出了与多个等级中的由操作者所选择的特定等级对应的缺陷80的特征图像81。内部参数例如包含卷积神经网络100的结构(例如层数、各层的神经元的个数、神经元彼此的结合关系及各神经元的激活函数)、及超参数(hyperparameter)(表示各神经元间的结合的权重及各神经元的阈值的信息)。等级并不限于所述示例，也可包含根据缺陷80的形状的观点而分类的多个等级、或根据缺陷80的颜色浓度的观点而分类的多个等级。作为缺陷80的示例，可列举划痕、击痕、污垢等。

如图2所示，检查图像31包含检查对象的像素区域31A与检查对象外的像素区域31B。检查对象的像素区域31A的位置(坐标)、形状(轮廓)及大小(面积)被设定成，异物90不包含在像素区域31A内。例如，也可由计算机系统对异物90的位置、形状、大小、个数及分布等进行图像识别，且以异物90不包含在像素区域31A内的方式来自动设定像素区域31A的位置、形状及大小。或者，也可由操作者对异物90的位置、形状、大小、个数及分布等进行识别，且以异物90不包含在像素区域31A内的方式来手动设定像素区域31A的位置、形状及大小。符号70表示了对这样设定的像素区域31A的位置、形状及大小进行显示的标记。通过将标记70重叠显示于检查图像31，从而操作者能够在视觉上掌握检查对象的像素区域31A的位置、形状及大小。另外，也可如图3所示，将标记70重叠显示于检查结果图像37。

图4是表示对检查对象外的像素区域31B进行屏蔽的屏蔽图像50的一例的说明图。本说明书中，将从卷积神经网络100的图像处理(特征图像81的提取处理)中排除检查对象外的像素区域31B的像素信息的操作称作“屏蔽”。屏蔽图像50包含与检查对象的像素区域31A对应的像素区域50A、及与检查对象外的像素区域31B对应的像素区域50B。像素区域50A具有用于不屏蔽检查对象的像素区域31A而提取特征图像81的像素值(例如“1”)。像素区域50B具有用于屏蔽检查对象外的像素区域31B的像素值(例如“0”)。本说明书中，将通过检查图像31与屏蔽图像50的各自对应的像素彼此的像素值的运算处理来屏蔽检查对象外的像素区域31B的操作称作“屏蔽处理”。作为被用于此种屏蔽处理的运算处理，例如可列举检查图像31与屏蔽图像50的各自对应的像素彼此的像素值的乘法处理。屏蔽处理后的检查对象外的像素区域31B的像素值例如被变更为值“0”。图2及图4所示的示例中，位于检查对象的像素区域31A内的像素P1与位于屏蔽图像50的像素区域50A内的像素Q1处于对应的位置关系，因此在屏蔽处理中，将像素P1的像素值与像素Q1的像素值(例如“1”)相乘。同样，位于检查对象外的像素区域31B内的像素P2与位于屏蔽图像50的像素区域50B内的像素Q2处于对应的位置关系，因此在屏蔽处理中，将像素P2的像素值与像素Q2的像素值(例如“0”)相乘。此处，所谓“对应的位置关系”，例如是指：当对检查图像31及屏蔽图像50分别设定共同的坐标原点时，坐标位置相同。

此处，返回图1的说明。卷积神经网络100进行通过乘法器61来将检查图像31与屏蔽图像50的各自对应的像素值彼此相乘的屏蔽处理。卷积神经网络100对进行了屏蔽处理的检查图像31适用卷积滤波器而反复进行卷积处理与池化处理，所述卷积处理用于从检查图像31中提取特征，所述池化处理用于对所提取的特征进行压缩。卷积神经网络100既可交替地进行卷积处理与池化处理，或者也可将数次卷积处理与紧随其后的一次池化处理作为一个处理单元，而多次反复进行所述处理单元。符号32表示了对卷积层或池化层进行总称的中间层。全结合层33根据通过多个中间层32而提取的特征来计算加权和，并将其输出至软最大值(softmax)层34。软最大值层34基于从全结合层33输出的加权和来算出通过多个中间层32而提取的特征属于多个等级中的任一个的概率值，并将其输出至全结合层35。

卷积神经网络100为了提取与多个等级中的由操作者所选择的特定等级对应的缺陷80的特征图像81，而将与跟所述特定等级以外的等级对应的缺陷的特征图像相关的软最大值层34的输出值(概率值)设定为零。卷积神经网络100对来自全结合层35的输出适用逆卷积滤波器而反复进行逆卷积处理与逆池化处理，由此，输出提取出了特征图像81的检查结果图像37。符号36表示了对逆卷积层或逆池化层进行总称的中间层。

本说明书中，将“卷积滤波器”与“逆卷积滤波器”总称作“空间滤波器”。而且，将用于对检查图像31适用空间滤波器而从检查图像31提取特征图像81的处理称作“中间处理”。中间处理包含所述的卷积处理、池化处理、逆卷积处理及逆池化处理。在此种中间处理中，提取检查对象的像素区域31A与检查对象外的像素区域31B之间的边界的特征。为了便于说明，将此种边界的特征称作“边界特征”。图1所示的示例中，在检查图像31的各中间处理中，每当提取边界特征时，为了屏蔽所述边界特征，卷积神经网络100进行通过乘法器62来将检查图像31与屏蔽图像50的各自对应的像素彼此的像素值相乘的屏蔽处理。为了便于说明，将前者称作“第一屏蔽处理”，将后者称作“第二屏蔽处理”，以对使用乘法器61的屏蔽处理与使用乘法器62的屏蔽处理进行区分。

卷积神经网络100对屏蔽图像50进行与对第一屏蔽处理后的检查图像31所进行的中间处理相同的处理后，对检查图像31进行第二屏蔽处理。举对通过第N次中间处理而提取的边界特征进行屏蔽的情况为例，对第二屏蔽处理的详细进行说明。此处，当将中间处理的全部次数设为M时，N为1以上且M以下的整数，M为1以上的整数。卷积神经网络100对进行了第一屏蔽处理的检查图像31适用空间滤波器而进行N次用于从检查图像31提取特征图像81的中间处理。卷积神经网络100将与适用于检查图像31的空间滤波器相同的滤波器适用于屏蔽图像50，进行N次与对检查图像31所进行的中间处理相同的处理。卷积神经网络100将进行了N次中间处理的检查图像31、与进行了N次与所述中间处理相同的处理的屏蔽图像50的各自对应的像素彼此的像素值相乘。这样，对屏蔽图像50进行了与对第一屏蔽处理后的检查图像31所进行的中间处理相同的处理后，对检查图像31进行第二屏蔽处理，由此，能够屏蔽通过中间处理而提取的边界特征。图1所示的示例中，卷积神经网络100在N＝1、2、…、M的全部中，对检查图像31进行第二屏蔽处理。这样，每当在各中间处理中提取出边界特征时，屏蔽边界特征，由此，能够更切实地抑制边界特征的提取。

另外，卷积处理中，进行基于下式的运算处理。

[数1]

上式中，I_btm(X、Y、c)为输入图像。在检查图像31的卷积处理中，将检查图像31设为输入图像。在屏蔽图像50的卷积处理中，将屏蔽图像50设为输入图像。I_top(X、Y、c)是对输入图像进行卷积处理而获得的输出图像。W(X、Y、c、n)为卷积滤波器。被用于检查图像31的卷积处理的卷积滤波器与被用于屏蔽图像50的卷积处理的卷积滤波器相同。B(n)为偏压。c为输入图像的通道数。Kx、Ky为卷积滤波器的内核大小(kernel size)。另外，在屏蔽图像50的卷积处理中，也可将W(X、Y、c、n)全部替换为“1”，将B(n)全部替换为“0”来进行计算。

另外，所述说明中，对每当在各中间处理中提取到边界特征时屏蔽边界特征的示例进行了叙述，但未必需要每当在各中间处理中提取到边界特征时屏蔽边界特征。例如，在对检查图像31进行的中间处理的次数少的阶段屏蔽所提取的边界特征，比起在对检查图像31进行的中间处理的次数多的阶段屏蔽所提取的边界特征，对检查对象的像素区域31A与检查对象外的像素区域31B之间的边界特征的提取进行抑制的效果更高。边界特征若被提取一次，则每当执行后段的中间处理(例如卷积处理)时将传播至整个图像。越是在卷积处理的次数尽可能少的阶段进行第二屏蔽处理，则边界特征的传播越少。因此，卷积神经网络100也可对第一次的中间处理后且第二次的中间处理前的检查图像31进行第二屏蔽处理，而不屏蔽通过第二次以后的中间处理所提取的边界特征。或者，卷积神经网络100也可屏蔽在多个中间层32中的任一个或一个以上的中间层32中提取出的边界特征，而不屏蔽在剩余的中间层32、36中提取出的边界特征。

而且，也可如图5所示，将屏蔽图像50的像素区域中的、与检查对象的像素区域31A对应的像素区域50A的形状设定为非矩形。由此，能够提高检查对象的像素区域31A的设定的自由度。非矩形包含矩形(正方形或长方形)以外的所有形状。非矩形例如既可为将多个矩形组合而成的多边形，也可为圆形或椭圆形等。而且，也可对检查图像31的整个像素区域进行二值化处理，以具有二值中的其中任一个值的像素的集合成为检查对象的像素区域31A的方式，来设定屏蔽图像50的像素区域50A的形状。作为此种二值化处理的示例，例如可列举将亮度、彩度或明度中的任一个为阈值以上的像素值设为“1”，而将小于阈值的像素值设为“0”的处理。

[硬件结构]

接下来，一边参照图6，一边对本实施方式的图像处理装置10的硬件结构的一例进行说明。

图像处理装置10是一种计算机系统，其包括处理器11、主存储器12、摄像机接口13、输入/输出接口14、显示器接口15、通信接口16及存储装置17，以作为其硬件资源。

存储装置17为盘介质(例如磁记录介质或光磁记录介质)或半导体存储器(例如易失性存储器或非易失性存储器)等计算机可读取的记录介质。此种记录介质例如也可称作非一次性记录介质。在存储装置17中，存储有软件程序(图像处理程序21及操作系统22)。图像处理程序21是用于使处理器11执行本实施方式的图像处理方法的计算机程序。这些软件程序从存储装置17被读取到主存储器12中，由处理器11予以解释及执行，由此，实现卷积神经网络100的所述图像处理功能。另外，在存储装置17中，还存储有检查图像31及检查结果图像37。

在摄像机接口13连接有摄像机41。摄像机41既可被内置于图像处理装置10，或者也可被外置于图像处理装置10。摄像机41对被检查对象30进行拍摄。被检查对象30例如也可为在生产线上由带式输送器予以搬送的工件。图像处理装置10既可被设置在生产线上，或者也可被设置在与生产线不同的场所。当图像处理装置10被设置在与生产线不同的场所时，图像处理装置10也可通过通信接口16而从网络45接收通过设置在生产线的摄像机对被检查对象30的拍摄而获得的检查图像31。

在输入/输出接口14，连接有输入装置42与输出装置43。输入装置42是对操作者所进行的各种设定(例如屏蔽图像50的设定或等级指定等)的输入进行受理的设备。输入装置42为键盘、鼠标、触摸板等。输出装置43是输出图像处理装置10的处理结果等的设备。输出装置43例如为打印机。

在显示器接口15连接有显示装置44。显示装置44显示用于操作者所进行的各种设定的画面，或者显示缺陷检测的检查结果。例如，如图2所示，显示装置44能够将表示检查对象的像素区域31A的位置、形状及大小的标记70重叠显示于检查图像31。而且，例如，如图3所示，显示装置44也可将标记70重叠显示于检查结果图像37。显示装置44例如为液晶显示器等显示器设备。

[图像处理方法]

图7是表示本实施方式的图像处理方法的处理流程的一例的流程图。

步骤701中，图像处理装置10使用摄像机41来拍摄被检查对象30，获得检查图像31。

步骤702中，图像处理装置10进行屏蔽图像50的设定处理。所述设定处理中，生成对检查对象的像素区域31A的位置、形状及大小进行规定的屏蔽图像50。例如，也可如图2所示，由图像处理装置10对异物90的位置、形状、大小、个数及分布等进行图像识别，并以异物90不包含在像素区域31A内的方式来自动设定屏蔽图像50。或者，也可由操作者对异物90的位置、形状、大小、个数及分布等进行识别，并以异物90不包含在像素区域31A内的方式来手动设定屏蔽图像50。

步骤703中，图像处理装置10从操作者受理学习完毕的多个等级中的、与期望检测的缺陷80对应的等级的指定。

步骤704中，图像处理装置10在卷积神经网络100的图像处理之前，先对检查图像31进行前处理。所述前处理例如是检查图像31的放大处理、缩小处理或噪声去除处理等。

步骤705中，图像处理装置10通过卷积神经网络100的图像处理，从检查图像31中提取缺陷80的特征。

步骤706中，图像处理装置10对所提取的特征进行后处理，并输出提取出特征图像81的检查结果图像37。所述后处理例如是基于像素值与阈值的比较的二值化处理。

步骤707中，图像处理装置10判定缺陷80的特征提取是否已成功。若如操作者所期待的那样提取出了缺陷80，则判定为缺陷80的特征提取已成功。反复执行步骤704～706的处理，直至缺陷80的特征提取成功为止。

另外，请留意，在图1的说明中省略了步骤704的前处理与步骤706的后处理的说明。

图8是表示卷积神经网络100的图像处理流程的一例的流程图。所述图像处理是通过处理器11对图像处理程序21的执行，而作为卷积神经网络100的图像处理功能来进行，相当于所述步骤705的处理。关于卷积神经网络100的图像处理功能的详细，如同一边参照图1至图4一边说明的那样。此处，为了省略重复说明，仅作概略性的记载。

步骤801中，图像处理装置10进行第一屏蔽处理，所述第一屏蔽处理是通过检查图像31与屏蔽图像50的各自对应的像素彼此的像素值的运算，来屏蔽检查对象外的像素区域31B，所述检查图像31包含检查对象的像素区域31A与检查对象外的像素区域31B，所述屏蔽图像50包含具有用于屏蔽检查对象外的像素区域31B的像素值且与检查对象外的像素区域31B相关联的像素区域50B。

步骤802中，图像处理装置10进行中间处理，所述中间处理用于从进行了第一屏蔽处理的检查图像31中通过卷积神经网络100来提取特征图像81。

步骤803中，图像处理装置10对屏蔽图像50进行与中间处理相同的处理。

步骤804中，图像处理装置10进行第二屏蔽处理，所述第二屏蔽处理是通过进行了中间处理的检查图像31、与进行了与中间处理相同的处理的屏蔽图像50的各自对应的像素彼此的像素值的运算，来屏蔽检查对象外的像素区域31B。

另外，卷积神经网络100的图像处理功能未必需要通过图像处理装置10的硬件资源与图像处理程序21的协作来实现，例如也可使用图像处理装置10的专用的硬件资源(例如专用集成电路(Application Specific lntegrated Circuit，ASIC)或现场可编程门阵列(Field Programmable Gate Array，FPGA)等)来实现。

所述实施方式的一部分或全部可如以下的附注那样记载，但并不限定于以下。

(附注1)

一种图像处理装置10，包括：

进行第一屏蔽处理的部件801，所述第一屏蔽处理是通过检查图像31与屏蔽图像50的各自对应的像素彼此的像素值的运算，来屏蔽检查对象外的像素区域31B，所述检查图像31包含检查对象的像素区域31A与检查对象外的像素区域31B，所述屏蔽图像50包含具有用于屏蔽检查对象外的像素区域31B的像素值，且与检查对象外的像素区域31B相关联的像素区域50B；

进行中间处理的部件802，所述中间处理用于从进行了第一屏蔽处理的检查图像31中，通过卷积神经网络来提取特征图像81；

对屏蔽图像50进行与中间处理相同的处理的部件803；以及

进行第二屏蔽处理的部件804，所述第二屏蔽处理是通过进行了中间处理的检查图像31、与进行了与中间处理相同的处理的屏蔽图像50的各自对应的像素彼此的像素值的运算，来屏蔽检查对象外的像素区域31B。

(附注2)

根据附注1所述的图像处理装置10，其中

进行第二屏蔽处理的部件804是对第一次的中间处理后且第二次的中间处理前的检查图像31进行第二屏蔽处理。

(附注3)

根据附注1所述的图像处理装置10，其中

进行第二屏蔽处理的部件804是对各中间处理后的检查图像31进行第二屏蔽处理。

(附注4)

根据附注1至3中任一项所述的图像处理装置10，还包括：

自动生成对检查对象的像素区域31A的位置、形状及大小进行规定的屏蔽图像50的部件702。

(附注5)

根据附注4所述的图像处理装置10，其中

检查对象的像素区域31A的形状为非矩形。

(附注6)

根据附注4或5所述的图像处理装置10，还包括：

显示装置44，将表示检查对象的像素区域31A的位置、形状及大小的标记70重叠显示于检查图像31，或者重叠显示于从检查图像31提取了特征图像81的检查结果图像37。

(附注7)

一种图像处理方法，由计算机系统执行：

步骤801，进行第一屏蔽处理，所述第一屏蔽处理是通过检查图像31与屏蔽图像50的各自对应的像素彼此的像素值的运算，来屏蔽检查对象外的像素区域31B，所述检查图像31包含检查对象的像素区域31A与检查对象外的像素区域31B，所述屏蔽图像50包含具有用于屏蔽检查对象外的像素区域31B的像素值，且与检查对象外的像素区域31B相关联的像素区域；

步骤802，进行中间处理，所述中间处理用于从进行了第一屏蔽处理的检查图像31中，通过卷积神经网络来提取特征图像81；

步骤803，对屏蔽图像50进行与中间处理相同的处理；以及

步骤804，进行第二屏蔽处理，所述第二屏蔽处理是通过进行了中间处理的检查图像31、与进行了与中间处理相同的处理的屏蔽图像50的各自对应的像素彼此的像素值的运算，来屏蔽检查对象外的像素区域31B。

(附注8)

一种图像处理程序21，使计算机系统执行：

步骤801，进行第一屏蔽处理，所述第一屏蔽处理是通过检查图像31与屏蔽图像50的各自对应的像素彼此的像素值的运算，来屏蔽检查对象外的像素区域31B，所述检查图像31包含检查对象的像素区域31A与检查对象外的像素区域31B，所述屏蔽图像50包含具有用于屏蔽检查对象外的像素区域31B的像素值，且与检查对象外的像素区域31B相关联的像素区域；

步骤802，进行中间处理，所述中间处理用于从进行了第一屏蔽处理的检查图像31中，通过卷积神经网络来提取特征图像81；

步骤803，对屏蔽图像50进行与中间处理相同的处理；以及

步骤804，进行第二屏蔽处理，所述第二屏蔽处理是通过进行了中间处理的检查图像31、与进行了与中间处理相同的处理的屏蔽图像50的各自对应的像素彼此的像素值的运算，来屏蔽检查对象外的像素区域31B。

符号的说明

10：图像处理装置

11：处理器

12：主存储器

13：摄像机接口

14：输入/输出接口

15：显示器接口

16：通信接口

17：存储装置

21：图像处理程序

22：操作系统

30：检查对象

31：检查图像

32：中间层

33：全结合层

34：软最大值层

35：全结合层

36：中间层

37：检查结果图像

41：摄像机

42：输入装置

43：输出装置

44：显示装置

45：网络

50：屏蔽图像

61：乘法器

62：乘法器

70：标记

80：缺陷

81：特征图像

90：异物

Claims (8)

1.一种图像处理装置，包括：

进行第一屏蔽处理的部件，所述第一屏蔽处理是通过检查图像与屏蔽图像的各自对应的像素彼此的像素值的运算，来屏蔽检查对象外的像素区域，所述检查图像包含检查对象的像素区域与所述检查对象外的像素区域，所述屏蔽图像包含具有用于屏蔽所述检查对象外的像素区域的像素值，且与所述检查对象外的像素区域相关联的像素区域；

进行中间处理的部件，所述中间处理用于从进行了所述第一屏蔽处理的检查图像中，通过卷积神经网络来提取特征图像；

对所述屏蔽图像进行与所述中间处理相同的处理的部件；以及

进行第二屏蔽处理的部件，所述第二屏蔽处理是通过进行了所述中间处理的所述检查图像、与进行了与所述中间处理相同的处理的所述屏蔽图像的各自对应的像素彼此的像素值的运算，来屏蔽所述检查对象外的像素区域。

2.根据权利要求1所述的图像处理装置，其中

进行所述第二屏蔽处理的部件是对第一次的中间处理后且第二次的中间处理前的所述检查图像进行所述第二屏蔽处理。

3.根据权利要求1所述的图像处理装置，其中

进行所述第二屏蔽处理的部件是对各中间处理后的所述检查图像进行所述第二屏蔽处理。

4.根据权利要求1至3中任一项所述的图像处理装置，还包括：

自动生成对所述检查对象的像素区域的位置、形状及大小进行规定的所述屏蔽图像的部件。

5.根据权利要求4所述的图像处理装置，其中

所述检查对象的像素区域的形状为非矩形。

6.根据权利要求4或5所述的图像处理装置，还包括：

显示装置，将表示所述检查对象的像素区域的位置、形状及大小的标记重叠显示于所述检查图像，或者重叠显示于从所述检查图像提取了所述特征图像的检查结果图像。

7.一种图像处理方法，由计算机系统执行下述步骤：

进行第一屏蔽处理，所述第一屏蔽处理是通过检查图像与屏蔽图像的各自对应的像素彼此的像素值的运算，来屏蔽检查对象外的像素区域，所述检查图像包含检查对象的像素区域与所述检查对象外的像素区域，所述屏蔽图像包含具有用于屏蔽所述检查对象外的像素区域的像素值，且与所述检查对象外的像素区域相关联的像素区域；

进行中间处理，所述中间处理用于从进行了所述第一屏蔽处理的检查图像中，通过卷积神经网络来提取特征图像；

对所述屏蔽图像进行与所述中间处理相同的处理；以及

进行第二屏蔽处理，所述第二屏蔽处理是通过进行了所述中间处理的所述检查图像、与进行了与所述中间处理相同的处理的所述屏蔽图像的各自对应的像素彼此的像素值的运算，来屏蔽所述检查对象外的像素区域。

8.一种图像处理程序，使计算机系统执行下述步骤：

进行第一屏蔽处理，所述第一屏蔽处理是通过检查图像与屏蔽图像的各自对应的像素彼此的像素值的运算，来屏蔽检查对象外的像素区域，所述检查图像包含检查对象的像素区域与所述检查对象外的像素区域，所述屏蔽图像包含具有用于屏蔽所述检查对象外的像素区域的像素值，且与所述检查对象外的像素区域相关联的像素区域；

进行中间处理，所述中间处理用于从进行了所述第一屏蔽处理的检查图像中，通过卷积神经网络来提取特征图像；

对所述屏蔽图像进行与所述中间处理相同的处理；以及

进行第二屏蔽处理，所述第二屏蔽处理是通过进行了所述中间处理的所述检查图像、与进行了与所述中间处理相同的处理的所述屏蔽图像的各自对应的像素彼此的像素值的运算，来屏蔽所述检查对象外的像素区域。

Images