CN107111872B

CN107111872B - 信息处理装置、信息处理方法、及存储介质

Info

Publication number: CN107111872B
Application number: CN201580067434.6A
Authority: CN
Inventors: 瀧本将史; 御手洗裕辅; 森克彦; 藤森友贵
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-12-12
Filing date: 2015-12-03
Publication date: 2021-01-12
Anticipated expiration: 2035-12-03
Also published as: JP2016114592A; CN107111872A; US20170323437A1; JP6632288B2; US10311559B2

Abstract

为了向用户呈现关于输入数据的确定结果以及确定结果的原因，提供了提取单元，被配置为从包括检查目标对象的图像中提取多个特征量；确定单元，被配置为基于提取出的特征量来确定检查目标对象的异常程度；以及图像生成单元，被配置为基于各个特征量相对于所确定的异常程度的贡献程度来生成表示检查目标对象中所包括的缺陷的缺陷显示图像。

Description

信息处理装置、信息处理方法、及存储介质

技术领域

本发明涉及一种拾取对象的图像并且基于拾取的图像来确定对象是正常还是异常的方法。

背景技术

已经提出了一种设备，其中当输入诸如图像之类的信号并且通过鉴别器鉴别输入信号的属性等时，鉴别结果的原因被可视化并呈现给用户。例如，在自动外观检查领域，当通过使用包括检查目标的图像来确定检查目标是正常还是异常时，如果检查目标异常的确定结果以及针对上述确定的原因可以被提供，那么这种信息对于用户是有用的。即，当对应于异常原因的区域可以被可视化为图像时，用户可以直观地找出自动外观检查装置的确定参考。因而，当调整与检查相关的参数时并且当发现特定异常模式的出现次数以向生产线中的处理提供反馈作为执行修改的对策时，上述配置是有用的。

例如，PTL1公开了从通过在多个照明条件下拍摄检查目标对象而获得的多个图像来创建一个确定图像，并且通过使用该确定图像来执行正常/异常检查。关于由根据PTL 1的方法创建的确定图像，在检查目标对象被确定为异常的情况下，存在异常的区域与要可视化的其它正常区域被区分开，并且用户可以容易地理解哪个区域异常。

但是，根据PTL 1的确定图像的创建根据先前设置的期望的检查项被优化，并且难以应对复杂的检查或未识别的缺陷。

鉴于以上所述，PTL 2公开了一种从输入图像中提取先前选择的特征量并通过使用该特征量来确定其是正常还是异常而不生成如PTL 1中的确定图像的方法。根据这种方法，通过预先学习影响正常或异常鉴别的特征量而不生成确定图像，有可能准确地确定其是正常还是异常。

但是，即使采用如PTL 2中那样输出检查结果而不创建确定图像的方法，在一些情况下也期望执行对结果的分析。即，虽然正常/异常鉴别准确度在部件(part)的外观检查中极其重要，但是发现对应于附加信息(异常的类型、位置等)的异常原因并容易地掌握趋势在许多情况下对于用户来说也是有用的信息。根据PTL2中公开的方法，发生异常原因不被呈现给用户的问题。

引用列表

专利文献

PTL1：日本专利公开No.2010-175305

PTL2：日本专利公开No.2010-102690

发明内容

为了解决上述问题，根据本说明书的一方面的无缺陷产品检查装置包括例如提取单元，被配置为从包括检查目标对象的图像中提取多个特征量；确定单元，被配置为基于提取出的特征量来确定检查目标对象的异常程度；以及图像生成单元，被配置为基于各特征量相对于由确定单元确定的异常程度的贡献程度来生成表示检查目标对象中所包括的缺陷的缺陷显示图像。

此外，根据本说明书的一方面的信息处理装置包括例如提取单元，被配置为从包括检查目标对象的多个图像中提取多个特征量；确定单元，被配置为基于提取出的特征量来确定检查目标对象的异常程度；以及图像生成单元，被配置为通过基于各特征量相对于由确定单元确定的异常程度的贡献程度将多个图像彼此合成来生成强调和显示检查目标对象中所包括的缺陷的图像。

根据本说明书，可以向用户呈现关于输入数据的确定结果以及确定结果的原因。

从以下参考附图对实施例的描述，本发明的其它特征将变得清楚。

附图说明

[图1]图1图示了使用根据第一实施例的信息处理装置的检查系统的配置示例。

[图2]图2图示了根据第一实施例的显示装置的显示示例。

[图3]图3是根据第一实施例的处理流程图。

[图4]图4是根据第一实施例的处理流程图。

[图5A]图5A是相关技术装置的功能框图。

[图5B]图5B是根据第一实施例的信息处理装置的功能框图。

[图6]图6是图示根据第一实施例的图5B的图整合单元的处理内容的细节的框图。

[图7]图7是用于描述根据第一和第二实施例的、确定异常得分中相应特征量的重要程度的情况的解释图。

[图8]图8图示了使用根据第二和第三实施例的信息处理装置的检查系统的配置示例。

[图9]图9是根据第二实施例的信息处理装置的功能框图。

[图10]图10是图示根据第二实施例的、图9的图整合单元的处理内容的细节的框图。

[图11]图11是根据第三实施例的信息处理装置的功能框图。

[图12]图12是图示根据第三实施例的、图11的图像合成单元的处理内容的细节的框图。

[图13]图13是根据第四实施例的信息处理装置的功能框图。

[图14]图14是图示根据第四实施例的、图13的图整合单元的处理内容的细节的框图。

[图15]图15是根据第三实施例的处理流程图。

具体实施方式

在下文中，将参照附图对本发明的实施例(示例性实施例)进行描述。

在对本发明的相应实施例进行描述之前，将参照图1描述安装有根据各个实施例的信息处理装置101的硬件配置。

在图1中，CPU 1010以总体方式控制经由总线1000连接的各个设备。CPU 1010读出存储在只读存储器(ROM)1020中的处理步骤和程序。根据本实施例的包括操作系统(OS)的相应处理程序、设备驱动程序等存储在ROM 1020并临时存储在随机存取存储器(RAM)1030中，以便由CPU 1010适当执行。输入信号以信号可以由信息处理装置101处理的格式从外部装置(诸如显示装置或操作装置)输入到输入接口(I/F)1040。输出信号以信号可以由显示装置处理的格式从输出I/F 1050输出到外部装置(显示装置)。

第一实施例

在下文中，将参照附图对本发明的第一实施方式进行描述。

图1是使用根据本实施例的信息处理装置101的外观检查系统的概念图。

图像拾取装置103由可以获得检查目标对象102的表面的画面(图像模式)并将所获得的视频发送到信息处理装置101的摄像机等构成。信息处理装置101通过使用所发送的视频画面执行用于外观检查的信息处理。

检查目标对象102是作为要被信息处理装置101确定为无缺陷产品或有缺陷产品的目标的对象。检查目标对象102的示例包括用于工业产品的橡胶成形的产品、金属部件、玻璃成形产品(诸如透镜)、塑料成形产品等。在一些情况下，可以在检查目标对象102的表面上造成在无缺陷产品上看不到的不规则性或者加工过程中的不均匀性或划痕。这些缺陷通过外观检查来检测，并且被检测为有缺陷产品。

显示装置104由监视器等构成。图2图示了对显示装置104的确定结果的显示示例。图像显示在区域201上。对应于在区域201上选择的图像的正常/异常分类结果被显示，同时用粗体框强调，并且OK/NG显示在区域202上。在那个时候鉴别器的异常得分被显示在区域203上。针对所选择的图像的异常得分图被显示在区域204上，该区域表示难以单独利用图像可视识别的大刮痕样异常可以容易地在区域204上显示的异常得分图上可视识别的情况。即，在用户检查区域204上显示的图像的同时，用户可以容易地理解为什么在区域201上选择的图像被确定为异常。

图5A是如PTL 1中所述的、从输入图像400生成用于可视化的确定图像的相关技术装置的功能块。图5B是本实施例的功能块。在图5A中，以确定图像生成单元402在确定中间图像403中生成的方式执行对输入图像400的鉴别，并且鉴别单元404基于确定中间图像403的结果关于输入图像400是正常还是异常执行鉴别。在下文中，将描述根据图5B中的本实施例的、构成信息处理装置的各个功能。

输入图像401是由图像拾取单元拾取的检查目标对象的图像。

特征提取单元405从输入图像401中提取特征量。根据本实施例，从通过输入图像的变换所获得的图像中提取最大值、平均值、方差、峰度、偏度、对比度、最大梯度等作为特征量。具体处理将如下所述。

鉴别单元406通过使用由特征提取单元405提取的特征量来确定包括在输入图像401中的检查目标对象是正常还是异常。

图生成单元407从输入图像401生成对应于提取出的特征的相应特征量的图。根据本实施例的图具有与输入图像相同数量的维度的二维阵列，并且得分存储在相应的元素中。当然，图不限于这种格式。

图整合单元408参考相应特征量相对于在鉴别单元406进行鉴别时所获得的鉴别结果的贡献程度，并且把由图生成单元407针对各个特征量生成的多个图彼此整合，以生成可视化的图像409，其中缺陷候选区域被可视化。图整合单元408输出所生成的可视化的图像409。

上述各个功能单元是在CPU 1010将存储在ROM 1020中的程序扩展到RAM 1030上并且遵循在下面将要描述的相应流程图执行处理的同时实现的。例如，在硬件被构成为使用CPU 1010的软件处理的代替方式的情况下，可以构造对应于本文所述的每个功能单元的处理的计算单元或电路。

在下文中，将参考图3描述本实施例的处理流程图。

步骤S301

在步骤S301中，特征提取单元405从对应于检查目标的图像的输入图像401中提取N条特征。在下文中，将描述如何确定根据本实施例的从图像提取的特征量。

首先，通过基于Haar小波变换的滤波处理，将输入图像401从高频分量分解为低频分量在垂直、水平和对角线方向的频率分量图像，以生成多个层次图像。然后，从多个生成的层次图像中提取多个特征量。通过使用由以下四种类型的矩阵(表达式1-A至1-D)表示的滤波器，对输入图像401执行基于Haar小波变换的处理。

[数学表达式1]

表达式1-A表示垂直方向的高频分量滤波器，表达式1-B表示水平方向的高频分量滤波器，表达式1-C表示对角线方向的高频分量滤波器，而表达式1-D表示低频分量滤波器。通过使用由表达式1-A至1-D表示的滤波器生成新的图像，其存储与就通过对输入图像401中的2×2像素执行内积计算新获得的频率分量而言被分解的图像对应的像素值。这种过滤处理在输入图像401中的整个区域上移动，而没有2×2区域的重叠，并且获得其中四种类型的图像(垂直方向的高频分量图像、水平方向的高频分量图像、对角线方向的高频分量图像和低频分量图像)的图像尺寸在纵向和横向减半的图像。

其后，类似于在输入图像中，对低频分量图像进一步进行滤波处理，以获得在下一层次级别中包括垂直方向的高频分量图像、水平方向的高频分量图像、对角线方向的高频分量图像和低频分量图像的四种类型的图像。

具有纵向和横向减半的图像尺寸的图像的生成被通过重复用于为每个频率分解信号的上述处理来重复执行，并且直到重复执行到分解最终不再可行的层次级别时才结束。应当指出的是，分解执行多达多少层次级别依赖于输入图像401的尺寸。例如，在分解成8个层次级别的情况下，由于获得了每个层次级别4个图像，因此获得8×4＝32种类型的图像(层次图像生成)。

接下来，从32种类型的图像中提取多个统计特征量。在本文中，(层次图像中的)每个频率分量图像中的像素值的最大值、平均值、方差、峰度、偏差、对比度或最大梯度等值被设置为被提取的特征量。在本文中，当从每个频率分量图像中提取的特征量的数量被设置为20时，从单个原始图像提取的特征量的数量最终为32×20＝640。但是，在鉴别处理中使用多达640个的全部特征量来处理的信息的维度数量较高，并且一般化(generalizing)能力在许多情况下由于一般被称为“维度的诅咒”的现象而减小。鉴于以上所述，通过搜索使得准确区分正常和异常的特征量集合的机械学习方法，预先选择适于鉴别处理的特征量的组合，并且有可能在实际的检查中实现高精度的鉴别处理。提出了各种方法作为搜索令人满意的特征量组合的特征选择方法，并且示例了众多技术，包括LASSO、图形切割、使用遗传算法的特征选择技术等。在下文中，通过特征选择处理预先最终选择的特征量的数量被设置为N(大约几十个特征量)。应当指出的是，可以使用任何鉴别器，并且根据本实施例使用子空间方法。此外，根据本实施例，使用Haar小波变换，但是本发明不限于此，并且可以使用有可能从输入图像401生成多个图像的预定变换。

步骤S302

在步骤S302中，鉴别单元406获得在步骤S301中提取的N个特征量，并且基于距表示已经通过子空间方法作为正态分布学习的正常区域的更高维度表面的距离来确定是否存在异常。异常得分被鉴别器定义为距正态分布的距离等的数值变换。根据本实施例，子空间方法被鉴别单元406用作鉴别方法。如图7中所示，当输入的整个特征量被设置为X时，通过在先前学习时训练正常数据来学习具有最大模式分布方差的朝向的超平面。与超平面正交的方向分量中距在测试时新输入的数据的距离D被用作距正态分布的距离，即，异常得分。因此，不存在用于检查的中间图像，并且可以执行正常/异常鉴别。距离D可以通过使期望由正常数据的均值向量Mc(c＝1,2，...，C)和超平面构成向量

(l＝1，2，...，L)表示的正常特征空间中的分布经受由超平面进行的近似表示来获得。对于上述“l”，可以确定适当的维度数L，并且可以在下面的描述中设置L维超平面。

在外观检查中，c表示正常状态下的类别数。例如，在两个正常状态彼此混合的状态下的检查可以通过设置c＝2来执行。对于c＝2的情况下的距离D，计算由两个正常类(c＝1和c＝2)定义的两个距离，并且当两个距离中的一个距离小于或等于先前设置为阈值的距离时，可以确定为正常。但是，应当指出的是，由于一般在要求精度的外观检查中通过单个检查处理同时执行两种类型部件的检查的概率非常低，因此在下文中设置c＝1。此外，正常数据的条数被设置为t。在这个时候，Mc由表达式2表示。

[数学表达式2]

方差-协方差矩阵Σc可以通过使用特征向量Xci来表示。方差-协方差矩阵Σc由表达式3表示。

[数学表达式3]

为了定义近似超平面，通过使用表达式3中获得的Σc，求解由表达式4表示的特征值问题。

[数学表达式4]

其后，在Σc的第一特征值和特征向量分别被设置为λcl和

的情况下，根据与λcl的所选择的L条较大部分对应的

把通过表达式2中的Mc的超平面定义为用于描述正态分布的平面。在从测试样本提取的特征向量X'是N维特征向量的情况下，对应于异常得分的距离D由表达式5表示，而第j个元素(N高于或等于j，并且j高于或等于1)被设置为xj，并且类似地，均值向量Mc的第j维元素被设置为mjc。

[数学表达式5]

此外，与本文中的异常得分D(距离D)的计算一起，输出N个特征量相对于异常得分D的贡献程度。本文提及的贡献程度是指每个特征量相对于异常得分D的贡献率，并且当在稍后阶段中可视化异常得分图时在步骤S312中被读取使用。贡献程度计算方法可以被用于以下计算。当权重W的第j维中相对于X'的元素被设置为wj，并且特征向量被设置为e时，与异常得分D的关系可以由表达式6表示。

[数学表达式6]

因而，要获得的第j维特征量的贡献程度wj作为表达式7被计算。

[数学表达式7]

输出这样计算出的wj，以便在步骤S306的可视化处理中使用。此外，相对于异常得分D预先设定阈值，并且在步骤S303中，鉴别单元确定为正常或异常。

步骤S304

在步骤S304中，确定是否执行基于异常得分图的缺陷候选区域可视化。用户可以预先设置是否执行缺陷候选区域可视化。当设置不执行异常得分图可视化时，处理前进到步骤S305。当设置执行异常得分图可视化时，处理前进到步骤S306以执行缺陷候选区域可视化。可以基于在步骤S304中获得的正常或异常确定结果来确定处理前进到步骤S306还是步骤S305。即，当被确定为异常时，处理可以自动前进到步骤S306。

步骤S305

在步骤S305中，图整合单元408向显示装置104输出关于其是正常还是异常、异常得分等的信息。

步骤S306

在步骤S306中，缺陷区域被可视化。这个处理将通过使用图4的处理流程图来描述。

步骤S308

在步骤S308中，图生成单元407获得输入图像401。

步骤S309

在步骤S309中，图生成单元407计算表示在步骤S301中提取的特征量的得分的得分图。例如，当在步骤S301中提取的N个特征量中的一个是通过Haar小波变换获得的层次图像的最大值时，由图生成单元407生成的图与用于在步骤S301中提取最大值的层次图像相同。此外，当在步骤S301中提取的N个特征量中的一个是通过Haar小波变换获得的层次图像的平均值时，通过将层次图像划分成具有任意尺寸的网格并且计算各个网格中的平均值所获得的图像被设置为得分图。

步骤S310

在步骤S310中，图生成单元407对在步骤S309中获得的得分图执行归一化。通过与步骤S309类似的方法，包括无缺陷检查目标对象的多个训练图像被预先变换成对应于相应特征的得分图，并且计算所获得的得分图的平均值和标准偏差，以便被保持在例如ROM1020中。其后，读出所保持的平均值和标准偏差，并且使用读取的值对步骤S309中获得的得分图进行归一化。

步骤S311

在步骤S311中，基于用户设置，图整合单元408确定是否仅剩下高于或等于阈值的得分图的值，或者所有值都剩下。如果设置了阈值截止，那么在步骤S313中将低于或等于阈值的所有区域设置为0。

步骤S312

在步骤S312中，图整合单元408读取在步骤S302中输出的特征量的贡献程度，并通过使用贡献程度作为相应得分图的重要程度来将各个得分图彼此整合，以创建缺陷显示图像。在这个时候将在图6的概念图中图示创建影响重要程度的图像的处理。图6的概念表示图5B的图整合单元408的细节。

在表达式7中计算的重要程度W相对于输入的N个特征量保持相应的权重w1至wN，如图6中所示，并且这些权重从鉴别单元406发送到图整合单元408。然后，从N个特征量计算的相应图分别作为Fmap1至FmapN从图生成单元407发送。其后，分别对应的图乘以重要程度，并且为所有图中的每个相同像素计算线性和，以生成单个缺陷显示图像。应当指出的是，当相应的得分图彼此整合时，相应的得分图被一次变换成具有与原始输入图像401相同的分辨率，然后彼此整合。缺陷显示图像是其中缺陷区域被强调的图像以及指示由鉴别单元406确定为异常的原因的图像。

步骤S313

在步骤S313中，图整合单元408将在步骤S310中归一化的相应图中具有小于等于阈值的得分的区域的所有得分都设置为0。因而，由于只有缺陷区域具有得分，因此在将缺陷区域重叠在要显示的输入图像401上的情况下，便于用户识别缺陷区域的位置。

步骤S307

在步骤S307中，图整合单元408将在步骤S306中生成的得分图输出到显示装置104，以便显示。在步骤S305中，图整合单元408输出关于其是正常还是异常的信息、异常得分等，并且处理结束。

根据本实施例，用户可以直观地找出检查对象与异常确定结果一起被判定为异常的原因。为此，当调整与检查相关的参数并且当发现特定异常模式的发生次数以提供对生产线中的处理的反馈作为执行修改的对策时，上述配置是有益的。

第二实施例

在下文中，将参照附图描述本发明的第二实施例(示例性实施例)。根据第二实施例，在通过拍摄单个检查目标获得多个图像并且从每个图像提取特征量以执行外观检查的情况下，生成指示检查结果的原因的图像。

将参考图8描述安装根据本实施例的信息处理装置801的硬件配置。图8的配置类似于图1的配置，但是被设计成使得在检查目标802上形成大的不规则结构，并且准确地检测不规则上的纹理异常。因此，与图1相比，不同之处在于提供了八个照明装置805至812，并且照相装置805至812由信息处理装置801控制。

图8是使用根据本实施例的信息处理装置801的外观检查系统的概念图。

图像拾取装置803由可以获得检查目标802的表面的画面(图像模式)并将获得的画面发送到信息处理装置801的摄像机等构成。在本文中，照明装置805至812的照明时间与图像拾取装置803的图像拾取同步地被控制，并且拍摄与检查目标802相关的多种类型的图像。在图8中，照明装置805至812被示例为具有不同照射角度的照明，但是这些照明装置不仅可以发射可见光或均匀照明，而且可以发射红外线或任意模式的照明。特别地，在获得并使用检查目标802的三维结构的情况下，发射多个模式照明，以执行图像拾取。此外，可以在基于这八个照明的组合的照明条件下进行拍摄。根据本实施例，将在单个照明条件下执行一次图像拾取以获得待处理的八个输入图像的情况下进行描述。

信息处理装置801以上述方式控制照明装置805至812，并且通过使用由图像拾取装置803拍摄和发送的多种类型的视频画面来执行用于检测异常的信息处理。

检查目标对象802是被设置为由信息处理装置801确定为正常或异常的目标的对象。

显示装置804由监视器等构成。对显示装置804的确定结果显示示例与图2中所示的第一实施例的相似。

图9是本实施例的功能框图。在下文中，将描述根据本实施例的图9中的信息处理装置的相应功能。

输入图像9005至9012是在由照明装置805至812形成的照明环境下由图像拾取单元803拍摄的检查目标对象的图像。特征提取单元9050至9057分别从输入图像9005至9012提取特征量。根据本实施例，与第一实施例中类似，从通过对输入图像执行频率变换所获得的图像中提取最大值、平均值、方差、峰度、偏度、对比度、最大梯度等作为特征量。

鉴别单元906通过使用由特征提取单元9050至9057提取的特征量来确定输入图像9005至9012中所包括的检查目标对象是正常还是异常。

图生成单元9070至9077从输入图像9005至9012分别生成对应于提取出的特征的相应特征量的对应图。

图整合单元908参考各个特征量相对于由鉴别单元906进行鉴别时获得的鉴别结果的贡献程度，并且整合由图生成单元9070至9077为每个特征量生成的多个图，以生成其中缺陷候选区域被可视化的可视化的图像909。与第一实施例类似地执行用于生成可视化的图像909的处理，但是差异在于输入图像的数量。根据第一实施例，检查是通过使用从单个输入图像提取的特征量组来执行的，但是根据本实施例，检查是通过使用从多个图像提取的特征量组(类似地像根据第一实施例从单个输入图像提取的特征量组)来执行的。在这里，将参考图10的概念图来描述生成可视化的图像的方法。图10的概念图10表示图9的图整合单元908的细节。

在下文中，将参考图3描述根据本实施例的处理流程图。

(步骤S301)

处理的序列(诸如步骤S301中的特征提取)与第一实施例的类似。通过分别对应的特征提取单元9050至9057分别从输入图像9005至9012提取特征量。根据用于从单个输入图像进行特征提取的方法，通过基于Haar小波变换的滤波处理，通过从高频分量到低频分量的垂直、水平和对角线方向的频率分量的图像分解生成多个层次图像。其后，从多个生成的层次图像中提取多个特征量。关于也在本文中提取的特征量，与第一实施例中类似，预先选择使得可以高度准确地检测异常数据的特征量。但是，应当指出的是，根据本实施例，由于在对所有八个输入图像执行特征选择之前进行特征提取处理，因此，与第一实施例相比，提取的特征量是在8倍特征量被提取的状态下进行选择的。其后，从所有这些提取的特征中搜索特征量的令人满意的组合。可以通过使用在相关技术中作为特征选择方法的LASSO、图形切割、使用遗传算法的特征选择技术等执行该选择。作为特征选择的结果，由特征提取单元9050至9057提取的特征量不一定需要分别具有相同的特征量集合，并且提取的特征量的数量也不一定需要彼此相等。在一些情况下，从在某些照明条件下拍摄的图像中提取的特征数可以为0。

在下文中，关于通过特征选择处理预先最终选择的特征量，从所有输入图像提取的特征量的总数被设置为几十个特征量。

(步骤S302)

在步骤S302中，从步骤S301中提取的特征量从特征提取单元9050发送到9057，并且由鉴别单元906执行正常/异常确定。应当指出的是，根据本实施例，与第一实施例类似，鉴别单元906基于距表示已经由子空间方法作为正态分布被学习的正常区域的更高维度表面的距离来确定是否存在异常。与第一实施例类似，执行相应特征量对于异常得分的贡献程度的计算方法，并且输出相应特征量的计算出的贡献程度。在步骤S303中，鉴别单元确定它是正常还是异常。

(步骤S304)

在步骤S304中，确定是否执行基于异常得分图的缺陷候选区域可视化。用户可以预先设置是否执行缺陷候选区域可视化。当设置成不执行异常得分图可视化时，处理前进到步骤S305。当设置成执行异常得分图可视化时，处理前进到步骤S306，以执行缺陷候选区域可视化。可以基于在步骤S304中获得的正常或异常的确定结果来确定处理是前进到步骤S306还是步骤S305。即，当确定为异常时，处理可以自动前进到步骤S306。

(步骤S305)

在步骤S305中，图整合单元908向显示装置104输出关于其是正常还是异常、异常得分等的信息。

(步骤S306)

(步骤S308)

在步骤S308中，图生成单元9070至9077获得输入图像9005至9012。

(步骤S309)

在步骤S309中，类似于第一实施例，图生成单元9070至9077计算表示在步骤S301中提取的特征量的得分的得分图。

(步骤S310)

在步骤S310中，类似于第一实施例，图生成单元9070至9077执行在步骤S309中获得的得分图的归一化。

(步骤S311)

在步骤S311中，基于用户设置，图整合单元908确定是否仅剩下高于或等于阈值的得分图的值，或者所有值都剩下。如果设置了阈值截止，那么在步骤S313中将低于或等于阈值的所有区域设置为0。

(步骤S312)

在步骤S312中，图整合单元908读取在步骤S302中输出的特征量的贡献程度，并通过使用贡献程度作为相应得分图的重要程度来将相应得分图彼此整合，以创建缺陷显示图像。在这个时候将在图10的概念图中图示创建被影响重要程度的图像的处理。图10的概念表示图9的图整合单元908的细节。在这个时候的图整合中，也使用多个输入图像。从特征量分别计算的图Fmap90701至FmapN乘以对应的重要程度，并且对于所有图中的每个相同像素计算线性和，以生成单个缺陷显示图像。应当指出的是，当相应的得分图彼此整合时，相应的得分图被一次变换成具有与原始输入图像9005至9012相同的分辨率，然后彼此整合。如果输入图像9005至9012的图像尺寸彼此不同，那么将那些图像尺寸变换成相同尺寸(例如，与输入图像的最大尺寸匹配)，并且彼此耦合。

缺陷显示图像是其中缺陷区域被强调的图像以及指示由鉴别单元406确定为异常的原因的图像。

(步骤S313)

在步骤S313中，图整合单元908将在步骤S310中归一化的各个图中具有小于或等于阈值的得分的区域的所有得分都设置为0。因而，由于只有缺陷区域具有得分，因此在将缺陷区域重叠在要显示的输入图像401上的情况下，便于用户识别缺陷区域的位置。

(步骤S307)

在步骤S307中，图整合单元908将在步骤S306中生成的得分图输出到显示装置104，以便显示。在步骤S305中，图整合单元408输出关于其是正常还是异常、异常得分等的信息，并且处理结束。

根据本实施例，用户可以直观地找出检查对象与异常确定结果一起被判定为异常的原因。为此，当调整与检查相关的参数时并且当发现特定异常模式的发生次数以提供对生产线中的处理的反馈作为执行修改的对策时，上述配置是有益的。除了上述之外，还有可能取决于在多个照明条件下获得的拍摄图像和S302中输出的对应于相应图像的特征量的贡献程度来找出重要的拍摄条件，以及缺陷在哪种拍摄条件下更有可能被识别的趋势。

第三实施例

在下文中，将参照附图描述本发明的第三实施例(示例性实施例)。类似于第二实施例，根据第三实施例的方法，通过拍摄单个检查目标来获得多个图像。对于在提取每个图像的特征量以执行外观检查的情况下指示检查结果的原因的图像，显示其中异常区域被强调并且来自输入图像的拍摄在多个照明条件下拍摄的合成图像，作为可视化结果，而不是基于异常得分图的可视化的图像。根据本实施例，例如，在初始设置下，即使当如图8中所示的照明装置805至812那样通过执行拍摄来执行检查而不调整照明条件时，也可以将图像彼此合成，以获得合成图像，作为通过照明条件的最佳组合获得的缺陷区域强调图像，使得用户容易直观地识别，并且可以将合成图像呈现给用户。

将通过图9与图11之间的比较来描述本实施例与第二实施例之间的区别。根据本实施例，不存在根据第二实施例的图生成单元9070至9077和图整合单元908，而是代替地存在接收输入图像并输出可视化的图像911的图像合成单元910。因此，除了S306中用于缺陷区域的可视化的流程由根据本实施例的图15替换之外，与图3中所示的S301至S307相关的处理流程与第二实施例类似。

步骤S314

在步骤S314中，输入图像9005至9012被读取，以被发送到图像合成单元910。

步骤S315

在步骤S302中输出的相应特征量的贡献程度(重要程度)从鉴别单元906发送到图像合成单元910。其后，计算对应于相应输入图像的重要程度。图12图示了由图像合成单元910进行的处理的示例的细节。对应于相应输入图像9005至9012的重要程度由相应特征量重要程度中对应于相应输入图像的重要程度之和来定义。通过整合针对相应输入图像计算的重要程度而获得的值可以采用十进制格式，并且采用超过亮度范围0至255的二维矩阵形式。这些获得的结果被累积，并且最终获得的二维矩阵被再次归一化成包含在0至255的范围内，以获得可视化的图像911。

第四实施例

在下文中，将参照附图描述本发明的第四实施例(示例性实施例)。根据第四实施例，在通过拍摄单个检查目标获得多个图像并且通过从图像中提取特征量来执行外观检查的情况下，由鉴别器计算用于每个图像的异常程度，并且按输入图像的数量而定的异常程度被彼此整合，以再次确定其是正常还是异常，并且还通过将这个时候的多个异常得分设置为参考来生成指示检查结果的原因的图像。

根据第二实施例，当输入在多个照明条件下获得的拍摄图像时，从所拾取的图像提取的特征量被彼此整合，以便由单个鉴别器确定为正常或异常。但是，由于在生产线中的实际使用情况下执行单独拍摄花费时间，尤其是如果在所有拍摄结束时才执行检查的话，就所花费的时间而言这可能是不方便的。鉴于上述情况，在执行上述检查的情况下，设计了以下线：其中布置有检测对于相应输入图像具有不同趋势的异常的检查装置。在上述情况下，也旨在通过使用由每个鉴别器输出的异常得分来生成指示检查结果的原因的图像。

在图13中，输入图像9005至9012被输入，并且从输入图像9005至9012中提取在特征提取单元9050至9057中先前选择的特征量。在鉴别单元9060至9067中针对分别提取的特征量来计算异常程度D130至D137。在本文中，鉴别单元9060至9067例如通过子空间方法等执行鉴别，并且使用使得可以计算距正常数据的分布的距离作为异常程度的方法。每个鉴别处理和由图整合单元9080至9087输出图的处理与其中拍摄一个输入图像的根据第一实施例的那些处理相似，并且执行鉴别处理和可视化图像生成。按输入图像的数量而定的异常程度被进一步发送到鉴别单元90600，以便以综合的方式确定结果，使得确定检查目标是正常还是异常。鉴别单元90600可以使用任何鉴别方法。例如，可以使用简单的方法，诸如对异常程度D130至D137的总值执行阈值确定的方法，或者针对每个异常程度D130至D137预先设置阈值并在甚至其中一个异常程度超过阈值的情况下将其确定为异常的方法。其后，由相应的图整合单元9080至9087计算出的特征量图Fmap1300至Fmap1307被发送到图整合单元90800。然后，图整合单元90800接收由鉴别单元9060至9067输出的异常程度D130至D137。如图14中所示，关于相应特征量得分图的对应异常程度被相互整合并累积，以生成可视化的图像909。这基于如下想法：由于可以想到具有高异常程度的对象强烈地反映相应的异常趋势，因此这可以等同于根据第一至第三实施例的重要程度来对待。

其它实施例

本发明的实施例还可以通过系统或装置的计算机来实现，该计算机读出并执行记录在存储介质(例如，非暂态计算机可读存储介质)上的计算机可执行指令以执行本发明的上述(一个或多个)实施例中的一个或多个；以及还可以通过由系统或装置的计算机通过例如从存储介质读出并执行计算机可执行指令以执行上述(一个或多个)实施例中的一个或多个的功能的方法来实现。计算机可以包括中央处理单元(CPU)、微处理单元(MPU)或其它电路系统中的一个或多个，并且可以包括单独计算机或单独计算机处理器的网络。计算机可执行指令可以例如从网络或存储介质提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储装置、光盘(诸如紧凑盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)^TM)、闪存设备、存储卡等中的一个或多个。

虽然已经参考示例性实施例描述了本发明，但是应当理解的是，本发明不限于所公开的示例性实施例。所附权利要求的范围应当被赋予最广泛的解释，以便涵盖所有此类修改以及等同的结构和功能。

本申请要求于2014年12月12日提交的日本专利申请No.2014-251881和于2015年9月24日提交的日本专利申请No.2015-187463的优先权，因此这两个申请通过引用而全部并入本文。

Claims

1.一种信息处理装置，包括：

提取单元，被配置为从包括检查目标对象的图像中提取多个特征量；

确定单元，被配置为基于提取出的特征量来确定检查目标对象的异常程度；以及

图像生成单元，被配置为基于各个特征量相对于由确定单元确定的异常程度的贡献程度来生成表示在检查目标对象中包括的缺陷的缺陷显示图像。

2.如权利要求1所述的信息处理装置，还包括：

得分信息生成单元，被配置为生成多条得分信息，每条得分信息表示来自图像的特征量中的每一个特征量的得分，

其中异常程度是通过确定单元和多条得分信息确定的。

3.如权利要求2所述的信息处理装置，

其中得分信息是具有与图像相同数量维度的二维阵列信息，以及

其中图像生成单元通过基于贡献程度将所述多条得分信息彼此整合来生成缺陷显示图像。

4.如权利要求1所述的信息处理装置，还包括：

确定单元，被配置为基于异常程度来确定检查目标对象是正常还是异常。

5.如权利要求1所述的信息处理装置，还包括：

层次图像生成单元，被配置为通过对图像执行预定变换来生成具有不同分辨率的多个层次图像，

其中提取单元从层次图像中提取特征量。

6.如权利要求5所述的信息处理装置，

其中特征量包括层次图像中的像素值的最大值、平均值、方差、峰度、偏度、对比度和最大梯度中的至少一个。

7.如权利要求1所述的信息处理装置，

其中预定变换包括小波变换。

8.一种信息处理装置，包括：

提取单元，被配置为从包括检查目标对象的多个图像中提取多个特征量；

图像生成单元，被配置为通过基于各个特征量相对于由确定单元确定的异常程度的贡献程度将多个图像彼此合成来生成强调和显示在检查目标对象中所包括的缺陷的图像。

9.如权利要求8所述的信息处理装置，

其中所述多个图像是包括分别利用不同模式照明进行辐射的检查目标对象的图像。

10.一种信息处理方法，包括：

从包括检查目标对象的图像中提取多个特征量；

基于提取出的特征量来确定检查目标对象的异常程度；以及

基于各个特征量相对于所确定的异常程度的贡献程度来生成表示在检查目标对象中包括的缺陷的缺陷显示图像。

11.一种信息处理方法，包括：

从包括检查目标对象的多个图像中提取多个特征量；

基于提取出的特征量来确定检查目标对象的异常程度；以及

通过基于各个特征量相对于所确定的异常程度的贡献程度将多个图像彼此合成来生成强调和显示在检查目标对象中包括的缺陷的图像。

12.一种非暂时计算机可读存储介质，被配置为存储程序，该程序用于使计算机执行如权利要求10所述的信息处理方法。

13.一种非暂时计算机可读存储介质，被配置为存储程序，该程序用于使计算机执行如权利要求11所述的信息处理方法。