CN106462549B

CN106462549B - 使用从显微变化中进行的机器学习来鉴定实体对象

Info

Publication number: CN106462549B
Application number: CN201580031079.7A
Authority: CN
Inventors: 阿什列什·夏尔马; 拉克希米纳拉亚南·苏布拉马尼安; 维迪尤斯·斯里尼瓦桑
Original assignee: Entrupy Inc
Current assignee: Entrupy Inc
Priority date: 2014-04-09
Filing date: 2015-04-09
Publication date: 2020-02-21
Anticipated expiration: 2035-04-09
Also published as: US20170032285A1; JP6767966B2; WO2015157526A1; EP3129896B1; JP2017520864A; CN106462549A; EP3129896A1; EP3129896A4; EP3129896C0

Abstract

一种用于对显微图像进行分类的方法，包括：接收训练数据集(306)，该训练数据集包括来自实体对象(303)的至少一个显微图像(305)以及针对该图像的基于产品规格的相关联类别定义(304)。机器学习分类器被训练成用于将该图像分类成多个类别(308)。该显微图像(305)被用作分类器的测试输入，以便基于该产品规格来将该图像分类成一个或多个类别。该产品规格包括品牌名称、产品线、或者该物理对象的标签上的其他细节。

Description

使用从显微变化中进行的机器学习来鉴定实体对象

相关申请的交叉引用

本申请基于于2014年4月9日提交的美国临时申请序列号61/977,423，该申请的全部内容通过引用结合在此。

技术领域

本公开涉及鉴定对象，并且更具体地涉及使用从显微变化中进行的机器学习来鉴定实体对象。

背景技术

伪造实体商品是全球性问题。据估计，世界贸易的7％涉及伪造商品。多年来，存在着已经被尝试用于减轻伪造问题的各种技术解决方案：从如全息图和条码等明显技术到如示踪剂等隐蔽技术。然而，这些解决法案在帮助最终消费者鉴定对象时提供有限的价值，并且通常涉及使用如RFID微芯片等嵌入式示踪剂。

用于鉴定商品的其他方式可能涉及利用经训练的专家的技能，该专家熟悉倾向于将真品从高仿品中区分出来的细微差别。然而，如这些技能等技能可能供不应求并且在销售点不容易获得。此外，即使在已经鉴定产品之后，鉴定者可能提供真实性证书，但是这也可能被伪造。

伪造产品在市场中的盛行可能会减少合法制造商的收入，可能增大真品的价格，并且可能扼杀奢侈品二级市场(比如在二手市场上)。相应地，伪造商品的盛行不利于制造商、，不利于消费者，并且不利于全球经济。

发明内容

一种用于鉴定第一实体对象的至少一个部分的示例性系统包括：接收该第一实体对象的至少一个部分的至少一个第一显微图像。接收标记数据，该标记数据包括与可选地基于制造过程或规格的类别相关联的至少一个第二实体对象的至少一个部分的至少一个显微图像。对包括数学函数的机器学习技术进行训练以用于使用标记数据作为训练或比较输入来识别对象类别，并且该第一显微图像被用作机器学习技术的测试输入从而确定第一实体对象的类别。

该示例性鉴定系统可以使用基于n级卷积神经网络的分类器，该分类器具有捕获低级、中级和高级显微变化和特征的卷积层和子采样层。

示例性鉴定系统可以使用基于支持向量机的分类器，包括特征提取、通过方向梯度直方图来进行的关键点描述符生成以及基于视觉词袋(Bag of Visual Words)的分类器。该系统还可以使用异常检测系统，该异常检测系统基于对聚类的密度估计来对该对象进行分类。显微图像可以包括曲线、斑点、以及作为实体对象的身份的一部分的其他特征。

实体对象可以是以下各项中的任何一项：手提袋、鞋子、服装、皮带、手表、酒瓶、艺术家签名、体育用品、高尔夫球杆、运动衫、化妆品、药片、电子装置、电子零部件、电子芯片、电子电路、电池、电话、汽车零部件、玩具、汽车零部件、安全气囊、航空零部件、扣件、货币、银行支票、汇票、或者可以被伪造的任何其他物品。

该示例性系统还可以使用支持向量机技术、神经网络技术、以及用于鉴定实体对象的异常检测技术的组合。根据一些示例性实施例，可以使用具有显微安排的手持式计算设备或移动电话来执行鉴定。

在结合所附段落阅读本公开的示例性实施例的以下详细描述时，本公开的示例性实施例的这些和其他目的、特征和方面将变得明显。

附图说明

从结合示出了本公开的说明性实施例的附图进行的以下详细描述中，本公开的进一步目的、特征和方面将变得明显，在附图中：

图1是流程图，展示了根据本公开的示例性实施例的使用视觉词袋对来自显微图像的实体对象进行分类和鉴定的示例性方法；

图2是流程图，展示了根据本公开的示例性实施例的使用基于视觉词袋的投票、卷积神经网络和异常检测对来自显微图像中的实体对象进行分类和鉴定的示例性方法；

图3是流程图，展示了根据本公开的示例性实施例的通过从实体对象中提取显微图像并从机器学习系统中生成数学模型来训练机器学习系统的示例性方法；

图4是流程图，展示了根据本公开的示例性实施例的通过使用经训练的数学模型对系统进行的测试阶段的示例性图示；

图5是框图，展示了根据本公开的示例性实施例的示例性8层卷积神经网络；

图6是框图，展示了根据本公开的示例性实施例的示例性12层卷积神经网络；

图7是框图，展示了根据本公开的示例性实施例的示例性16层卷积神经网络；

图8是框图，展示了根据本公开的示例性实施例的示例性20层卷积神经网络；

图9是框图，展示了根据本公开的示例性实施例的示例性24层卷积神经网络；

图10是图像，展示了根据本公开的示例性实施例的示出了假图像的第一和第三卷积层的示例性卷积神经网络管道；

图11是图像，展示了根据本公开的示例性实施例的示出了真图像的第一和第三卷积层的示例性卷积神经网络管道；

图12是图像，展示了根据本公开的示例性实施例的真图像和假图像的示例性全连接层6；

图13是图示，展示了根据本公开的示例性实施例的真图像和假图像的示例性全连接层7；

图14是框图，展示了跨多个平行卷积网的示例性多尺度处理和分类；

图15是框图，展示了根据本公开的示例性实施例的用于跨卷积网络的集成对显微图像进行分类的示例性集成方案；

图16是图示，展示了根据本公开的示例性实施例的用于鉴定实体对象的移动应用；

图17是示意图，展示了根据本文所描述的各种实施例的可以在系统中或者单独使用的服务器的示例；以及

图18是框图，展示了根据本文所描述的各种实施例的客户端设备。

具体实施方式

贯穿附图，相同的参考数字和字符可以用于指代所展示的实施例的类似特征、元件、部件或部分。此外，虽然现在将参照附图详细描述本公开，但是结合说明性实施例如此进行而并不受附图中所展示的特定实施例限制。

根据本公开的示例性实施例的示例性系统、方法和计算机可访问介质可以利用从显微变化中进行的机器学习来鉴定实体对象。示例性系统、方法和计算机可访问介质可以基于这样的概念：相比采用非规定的方法来制造的对象(其通常是伪造品)，使用规定或标准化方法来制造的对象在显微层面上往往可能具有类似的视觉特性。可以使用这些特性来对不同组的对象进行分类并区分为真品或非真品。

本发明的示例性实施例可以使用手持式低成本设备来捕获各种对象的显微图像。之后，可以在显微层面使用新颖的监督式学习技术通过对从设备中提取的显微图像进行分类来鉴定对象。可以使用监督式学习技术的组合。这些技术可以包括以下各项中的一项或多项：(i)通过基于方向梯度直方图提取特征而使用视觉词袋进行的基于SVM的分类；(ii)通过改变内核(滤波器)、子采样层和池化层而使用多级卷积神经网络进行的分类，这里，不同的架构(例如，对级的配置)可以用于减小测试误差率；以及(iii)通过将对应于其距离基向量最近邻距离的向量进行排列而使用异常检测技术进行的分类。

示例性视觉词袋

根据本公开的示例性实施例的系统可以包括对物品的显微图像进行分类以便鉴别真实性的五级过程：(i)使用基于斑块、角点或者斑点的图像描述符来提取特征；(ii)对这些描述符进行量化，从而使得最近邻落入相同或附近区域(袋)，这形成了视觉词；(iii)将候选显微图像中的视觉词做成直方图；(iv)使用内核图和线性SVM来将图像训练成真的(或者将图像标记为真的)；以及(v)在测试阶段期间，可以使用相同的程序来对新的显微图像进行分类，以便鉴别物品的图像(以及因此，物品)是否是真的。在寻找显微变化和在显微层面对物品的图像进行分类时，量化水平、特征提取参数、以及视觉词的数量可能是重要的。

示例性特征提取

一旦使用显微镜成像硬件来捕获了物品的图像，就可以将图像分割成更小图像的块以便进行处理。将图像分割成更小块可以提供多种益处，包括：(i)显微成像硬件的视场很大(相比其他现成的显微成像硬件)，大约为12mm×10mm。根据一些示例性实施例，因为可以在10微米的范围内分析显微变化，所以优选地是，可以将图像分割成更小的图像以便辅助处理这些变化。(ii)将图像分割成更小的块可以帮助建立视觉词汇表并解释微小变化。

之后，可以以不同尺度(对于尺度不变性)使用高斯拉普拉斯(Laplacian ofGaussian)滤波器来处理每一个图像块或斑块，以便找出稳健的关键点或斑点区域。可以在关键点周围选择像素的方形邻域(例如，在一些实施例中，8×8、16×16、32×32)，以便计算方向梯度直方图。为了实现旋转不变性，可以基于梯度的主导方向的取向来计算直方图。如果旋转图像，那么梯度的主导方向保持不变，并且邻域直方图的每隔一个部件保持与未旋转的图像相同。描述符或直方图向量可以是例如128维数，并且可以针对每一个关键点而计算描述符，导致对于尺度变化或旋转来说是稳健的经计算的图像描述符(描述符或直方图向量可以是n维数)。

由于高斯拉普拉斯在执行时间上很慢，所以FAST角点检测算法也可以用于加快找出关键点的过程。尽管FAST很好地表示了角点，但是没有考虑边缘和斑点。为了减轻这种问题，可以将图像划分成均等的非重叠窗口并且之后强迫FAST检测器找到这些窗口中的每一个窗口中的关键点，由此给出要操作的关键点的密集网。一旦识别了关键点，过程就涉及计算方向梯度直方图以便得到描述符组。

示例性量化

可以使用k均值(k-means)聚类基于视觉词的数量来聚集描述符。视觉词的数量(其基本上是聚类的数量)可以用于控制形成视觉词汇表所需要的粒度。例如，在分层图像分类中，在具有对象间分类的更高层次上，词汇表可能很小；而在细粒度分类(如我们的)中，词汇表需要很大，以便容纳不同的显微变化。因此，在一些实施例中，可以不使用固定数量的视觉词，但是相反可以使用范围，从而使得可以捕获显微变化的多样性。例如，可以针对一系列聚类而不是固定大小的聚类而运行k均值聚类。k均值聚类中心现在形成用于找出参考图像是否具有足够于将其分类为真的(或者非真的)词的视觉词汇表或码本。

示例性视觉词直方图

算法中的下一步骤可以包括计算图像块中的视觉词直方图。可以将关键点描述符映射到聚类中心(或视觉词)上，并且可以基于视觉词的频率来形成直方图。考虑到视觉词直方图，现在可以尝试将一个物品的图像的视觉词与另一个物品的图像相匹配。可以将需要被分类为真或非真的物品的候选图像的视觉词与基线或训练图像(其具有其自己的视觉词组)进行比较，以便对候选图像进行分类。因为可以使过程自动化，所以在一些示例性实施例中，可以使用基于SVM的分类器。

示例性SVM分类器

一旦获得了一个或多个训练图像的视觉词，支持向量机(SVM)就可以用于训练系统。根据一些示例性实施例，可以使用三种类型的SVM，包括：(i)线性SVM、(ii)非线性径向基函数内核SVM、以及(iii)2线性χ²SVM。虽然训练线性SVM更快，但是当对大量类别进行分类时，非线性和2线性χ²SVM可以提供优越的分类效果。在一些实施例中，可以使用利用一对多分类的图像来训练系统，但是这种方式可能随着训练集增大(例如，类别的数量增大)而变得不可扩展。在其他实施例中，可以使用另一种方式(比如，一对一方式)，在该方式中，对类别对进行分类。在一些示例性实施例中，可以采用这两种方式，这两种方式在不同场景下提供可比较的性能。

在算法的第一级期间，在进行特征提取之前，可以将图像分割成块。分割或划分窗口步长可以使划分的图像是非重叠的或重叠的。可以使用一系列窗口大小来执行分割，以下详细示出了示例性学习结果。

示例性卷积神经网络

示例性卷积神经网络可以成功地对图像种类、视频样本进行分类并且成功地进行具有很少或者没有监督的其他复杂任务。最先进的机器识别系统使用卷积神经网络的某种形式，并且当被应用到如Caltech-101、CIFAR和ImageNet等标准视觉数据集时，该技术已经取得了迄今为止最好的结果。

在卷积神经网络(卷积网络，Convnet)中，每一个级可以包括卷积和子采样程序。虽然多于一个级可以改进分类，但是级数量基于分类任务。不存在适合于每一个分类任务的最佳级数量。因此，根据一些示例性实施例，一级、二级和三级卷积网络可以与基于分类准确度来选择的最佳级一起使用。

一级卷积网络可以包括卷积层和子采样层，在其之后，输出是全连接神经网络并且使用向后传播来对其进行训练。一级卷积网络的问题在于这样的事实：基于梯度的学习方式识别边缘、角点、以及低级特征，但是其未能学习如斑点、曲线和其他复杂图案等更高级特征。虽然分类准确度可能大于80％，但是由于可能捕获不到更高级特征，所以在某些情况下，一级卷积网络可能看起来是次优的，但是可以在其他示例性实施例中使用。

二级卷积网络可以包括两组交替的卷积层和子采样层。最终两个层可以是全连接并且可以使用向后传播算法来对其进行训练。二级卷积网络在显微层面上识别作为重要分类线索的斑点、曲线、和特征。当观察表面的显微图像时，远离边缘和角点突出的特征是复杂曲线、斑点和形状。仅仅是因为使用了二级卷积网，所以捕获不到这些特征。可以要求适当的卷积技术和采样技术来实现这一点，并且将在此部分中更加详细地对此进行描述。使用二级卷积网络可以实现大于90％的分类准确度。

三级卷积网络包括三组交替的卷积层和子采样层以及全连接两个最终层。可以使用向后传播算法来训练整个网络。三级卷积网络可能表现得比1级和2级卷积网络更差，其分类准确度大约为75％。这种行为的一个原因是在显微层面上缺少复杂曲线和形状之后的更高级特征。在一般图像分类任务中，例如，如果对狗和猫进行分类，那么二级卷积网络将识别曲线和一些形状，但是将永远不能识别比纯粹的曲线更高级的鼻子、耳朵和眼睛。在这些分类任务中，可能优选地是，使用三级(或者有时候，四级或五级)卷积网络来识别更高级特征。在一些实施例中，由于显微图案不具有特定结构，所以三级卷积网络可能是次优的，但是可以在其他示例性实施例中使用。事实上，由于最后级(卷积和子采样)的原因，进行分类所需要的特征中的一些特征可能丢失。

示例性卷积层

在对象识别任务中使用视觉词袋方法来进行的特征提取可以包括识别区别特征。可以使用利用尺度不变特征变换(SIFT)、加速稳健特征(SURF)、以及其他技术的手动设计的特征提取。如果图像统计为已知的，那么手动设计特征可能是特别适合的。但是，如果图像统计是未知的，那么手动设计特征可能是个问题，因为不清楚区别特征(帮助对图像进行分类的特征)组将是什么。为了避免这种问题，可以对候选图像执行多次卷积，以便提取或捕获不同类型的特征。在一些实施例中，作为卷积层的一部分，可以在候选图像上使用96种类型的卷积内核，以便生成大小为96的特征图。这些卷积捕获显微图像上可能的多样失真组。由于在图像捕获和对该对象表面的篡改时，图像经受变化和失真，所以可以将卷积应用到图像上，以便使网络相对于这种失真是稳健的。而且，因为这些滤波器组是可训练的，所以可以基于显微图像来训练卷积层中的滤波器。为了防止分类算法依赖于一组固定的滤波器/卷积，可训练的滤波器是必不可少的。为了使滤波器是可训练的，可以使用可训练的标量术语以及非线性函数，从而使得第i个特征图m_i＝g_i tanh(f_i*x_i)，其中，g_i是标量术语；tanh是非线性函数；f_i是滤波器；并且x_i是图像。

示例性子采样层

一旦对图像执行卷积，输出就可以包括一组特征图。之后，可以对每一个特征图进行最大池化和对比度归一化，以便生成减小大小的特征图。这就是子采样的过程，可以进行该过程来减小特征图的维度以及改进大偏差的稳健性。虽然卷积提供了相对于失真的稳健性，但是子采样提供了对大于微小失真的移位、转换和变化而言的稳健性。可以使用步长为4的从4×4到16×16像素的一系列大小的滑动窗口来计算这些窗口斑块的最大池化，从而形成子采样的特征图。之后，使用高斯窗口来对特征图进行对比度归一化，从而减小伪造特征的影响。改变窗口大小(以及步长)就显著地改变了测试误差率。随着窗口大小增大，测试误差率增大。这部分是因为在从相对小区域的大区域中进行最大池化时，更高级特征丢失。而且，由局部对比度归一化执行的“求平均”增大，造成平面特征不具有可区别的特性。因此，在优选实施例中，在子采样层中，将窗口大小保持在某个限度(例如，4×4、8×8或16×16)内。

还可以执行平均池化，以便将微小失真和伪造特征的影响归一化。池化程序在视觉感知中对复杂脑细胞进行建模，而且局部对比度归一化遵循某些神经科学模型。

最终两个层完全连接，并且可以使用线性分类器来对最终输出值进行分类。最终两个层充当具有隐藏层的多层神经网络以及用于进行分类的逻辑回归。在最终层中，soft-max标准或基于跨熵的标准可以用于进行分类。基于SVM的技术还可以用于对最终层的输出进行分类。在图5中呈现了整个2级8层卷积网络的示例。在图5中，第一级是501、502、503、504，并且505、506、507、508是第二级。

在对象识别任务中使用视觉词袋方法来进行的特征提取涉及识别区别特征。可以使用利用DSIFT、DAISY和其他技术的手动设计的特征提取。如果图像统计为已知的，那么可以使用手动设计特征。但是，如果图像统计是未知的，那么手动设计特征将是个问题，因为不清楚区别特征(帮助对图像进行分类的特征)组将是什么。图像中的细粒度特征和宏观特征两者都有可能丢失，这是因为手动设计的特征可能未能将其识别为兴趣区域或兴趣点。为了在对显微图像进行分类时避免这种问题，可以使用卷积神经网络(CNN)。

CNN是对图像执行的操作层。通常，使用越多层，CNN模型的性能或准确度会越好。CNN的深度是可以确定分类或学习复杂特征的准确度的重要超参数。当观察表面的显微图像时，远离边缘和角点突出的特征是复杂曲线、斑点和形状。在由特征检测器、量化和SVM或k-NN分类器组成的传统计算机视觉管道中未捕获到这些更高级特征。虽然浅层卷积网学习如点和边缘等特征，但是它们并不学习如斑点和形状等中级到高级特征。显微特征往往具有多样化的特征，而且学习不同粒度级(中级到高级)的这些特征很重要。为了让网络学习这些更高级特征，可以使用具有多个层的足够深的CNN。

根据本发明的一些示例性实施例，可以跨材料的各种显微图像的数据集使用三种类型的卷积神经网络(CNN)架构来实现高准确度级。第一架构是卷积层、池化层和全连接层的8层网络。在第二架构中，我们移除了全连接层之一，但是在第一卷积层中减少了滤波器大小和步长，以便辅助对细粒度特征进行分类。第三架构或技术用于使用基于区域的CNN(R-CNN)来识别图像内的区域。区域选择器在图像上运行，其提供了图像内大约2000个候选区域。之后，每一个区域被传递至CNN以便进行分类。

第一网络架构由3个卷积层连同3个最大池化层和ReLU(修正线性单元)、随后是2个独立的卷积层(其不具有最大池化层)以及最终部分中的3个全连接层组成。最终分类器是跨所有类别给出了分值或概率的softmax函数。在图5中呈现了该架构。在进入网络之前，输入RGB(3通道)图像501被向下采样至256×256×3并且之后被中心修剪至227×227×3。在第一卷积层中，在x和y两个方向上，使用内核大小为11且步长为4的96个不同滤波器来对输入图像进行卷积。使用ReLU来处理输出110×110×96特征图502，使用内核大小3和步长2来对其进行最大池化，并且使用局部响应归一化来对其进行归一化，以便得到55×55×96特征图。可以在随后层中对特征图执行类似操作。在层2中，可以对特征图进行卷积，使用ReLU来对其进行处理，对其进行最大池化并对其进行归一化，以便获得大小为26×26×256的特征图503。接下来的两个层(层3、4)504和505是具有ReLU但不具有最大池化和归一化的卷积层。输出特征图大小是13×13×384。层5由用于获得大小为6×6×256的特征图506的卷积、ReLU、最大池化和归一化操作组成。接下来的两个层(层6、7)507可以是全连接的，其输出4096维向量。最终层是C方式的softmax函数508，其输出跨C个类别的概率。

作为卷积层的一部分，可以在候选图像上使用各种类型的卷积内核，以便生成不同大小的特征图。这些卷积捕获显微图像上可能的多样失真组。由于在图像捕获和对该对象表面的篡改时，图像经受变化和失真，所以可以将卷积应用到图像上，以便使网络相对于这种失真是稳健的。而且，因为这些滤波器组可以是可训练的，所以基于显微图像来训练卷积层中的滤波器。可训练的滤波器可能特别有用，从而使分值类算法不依赖于一组固定的滤波器/卷积。

一旦对图像执行卷积，输出就可以是一组特征图。之后，对每一个特征图进行最大池化和归一化，以便生成减小大小的特征图。这就是子采样的过程，基本上进行该过程来减小特征图的维度以及改进大偏差的稳健性。虽然卷积提供了相对于失真的稳健性，但是子采样提供了对大于微小失真的移位、转换和变化而言的稳健性。改变窗口大小(以及步长)就显著地改变了测试误差率。这部分是因为在从相对小区域的大区域中执行最大池化时，更高级特征丢失。而且，由局部响应归一化执行的“求平均”增大，造成平面特征不具有可区别的特性。因此，在子采样层中，将步长保持在某个限度内。还可以执行平均池化，以便将微小失真和伪造特征的影响归一化。

在第二架构中，可以在第一卷积层中减小滤波器大小和步长。可以使用内核大小8来代替内核大小11，并且可以使用步长2来代替步长4。这种变化增加了参数的数量，因此可以使用小得多的批量大小来执行训练。训练批量大小可以从250个图像减小到50个图像。进行减小滤波器大小和降低步长的这种类型的技术，从而增大对细粒度特征的识别/分类。相比于第一架构，第二架构的唯一变化是在第一卷积层中减小滤波器大小和步长大小。由于第一层是不同的，所以没有使用预先训练的权重。相反，可以使用新的权重初始化组、偏差、学习速率、以及批量大小来从头来时训练整个网络。由于网络倾向于过度拟合的网络深度，所以可以使用数据扩充来增加数据集中的图像数量。可以使用如转换、移位、水平和垂直翻转、对227×227区域的随机修剪(例如，从原始的256×256)以及旋转等标签保留数据扩充技术。这些扩充技术可以用于将数据集扩充50倍。而且，在最终的两个层中可以使用随机丢弃来调整和减小过度拟合。

8层CNN可以扩展至12、16、20和24层深的CNN。随着层数增大，网络学习将两个或更多个类别从彼此区别开来的细粒度特征。在图6中呈现了12层CNN的架构。前两层601由卷积层连同最大池化层和ReLU(修正线性单元)组成，随后是四个独立的卷积层602(其不具有最大池化层)。紧随其后的是三组卷积层、最大池化层和ReLU层603以及最终部分中的两个全连接层。最终分类器是跨所有类别给出了分值或概率的softmax函数。

在图7中呈现了16层CNN的架构。通过在前两个110×110×96层702之后添加两个卷积层来扩展12层CNN；26×26×256层703与12层CNN中的层保持相同；增加了704两个附加卷积层13×13×384。

图8中呈现的20层CNN是对16层CNN的扩展。添加了附加110×110×96层801、26×26×256层802、以及13×13×384层803和804、一个附加的全连接层805，以便扩展20层CNN的架构。

对于图9中所呈现的24层CNN，可能存在五个110×110×96层901、五个26×26×256层902、五个13×13×256层903、四个6×6×256层904以及四个全连接层905、以及最终的softmax函数。通常，可以使用可对显微图像进行分类的n层CNN。

利用以上所呈现的每种架构(8层、12层、16层、20层、24层)，多尺度方式可以用于以不同尺度和图像分辨率处理显微图像。图14呈现了多尺度方式。以多尺度、分辨率和图像尺寸将图像引入卷积网络1401。在1402中，以多个步幅(1到8)从1×1到15×15应用卷积层中的内核(过滤器尺寸)和步幅，从而使得这些卷积层捕获到图像尺度的变形。

CNN架构或模型可对图像进行分类并且示出这些滤波器跨整个网络是可学习的。同样，可以对不同的架构进行组合，并且可以跨这些架构对softmax可能性进行池化以便确定图像的类别。在图15中示出的这种集成方式聚集了跨不同模型/架构1502学习的特征并且提供一种综合方式来对图像进行分类。例如，如果第一8层模型学习曲线以便区分图像1501，则12层模型可能学习到斑点、拐角以便区分各种类别之间的图像。这种对来自多个模型的结果进行组合的集成方式可以用于跨多个特征区分图像类别。最终结果是跨整个集成的结果的平均值或中间值。

图10、图11、图12和图13示出了在对两张图像进行分类的动作中的CNN流水线。一个是真的路易威登交织字母包1001的外部面料的显微图像，并且另一个是伪造路易威登交织字母包1101的外部面料的显微图像。对于裸眼来说，可能难以在真假图像之间进行分辨，因为两张图像看起来几乎是一模一样。但是，CNN成功地将图像分辨/分类为真假类别。卷积层1 1002和1102示出了用于每张图像的第一36滤波器(96个过滤器中的)，并且卷积层31003和1103示出了每张图像的384个滤波器。虽然两张图像看起来相似，但具有微小差异。在全连接层6(fc6)1201和1202中，每张图像的4096维向量是不同的。类似地，在全连接层7(fc7)1301和1302中，对应于每张图像的4096向量是不同的(现在可分辨出这两个向量并且因此可以分辨出图像)。在fc7之后，softmax函数将4096向量作为输入并且输出每个类别的分值/概率。

诸如转换、剪切、旋转、翻转、镜像、失真(窄窗口和大窗口内)、膨胀和变换跨多个内核的图像-标签保留变换等数据扩充技术可以用于增大数据集尺寸。这帮助模型避免过度拟合，因为图像的更多转变是训练集的一部分。

基于区域的CNN：在第三种类型的架构中，可以使用获得具有图像的候选区域的R-CNN，并且这些候选图像用作到CNN的输入。选择性选择技术可以用于获得图像中作为区域的定界框。一旦识别出这些候选区域，将可以将这些区域可作为图像提取，缩放至输入CNN所需的尺寸256×256。这些选择性选择技术每张图像给出大约2000个区域，因此数据集增大2000倍。由于训练集的这种大规模增大，第一“微调”CNN架构用于训练图像。该基于区域的CNN的理论如下。如果两张显微图像(一个为真且一个为假)仅在图像内的一个特定区域有差异，则可能需要非常深的网络对这两张图像进行分类。相反，可以使用当前的框架或架构，并且基于区域的选择技术可以用于识别区域并相应地对图像进行分类。

可以在跨以下对象和材料扩展的120万张显微图像上对此系统进行评估：(1)皮革：可以从20种类型的皮革中捕获3万张显微图像。(2)织物：可以从120种类型的织物中捕获6000张图像。(3)奢侈品设计师包：可以从在线奢侈品转售网站获得的100个奢侈品设计师包中提取2万张图像。还可以使用从街头小贩和在线仿制奢侈品网站购买的大量假手提包。这些包括与正品包非常相似但可能在特定区域有少量差异的所谓的“高仿品”。由于这些高仿品，可以从包的每个区域提取显微图像，诸如提手、外表面、剪裁、内衬、缝合、拉链、内表面、金属标志、和金属硬件连接。(4)塑料：可以从15种类型的塑料表面中提取2000张图像。(5)可以从10种类型的纸质中提取2000张图像。(6)运动衫：可以从NFL店购买的两件正版NFL运动衫和从街头小贩或的2件假NFL运动衫中提取500张图像。(7)药片：可以从若干药品药片中提取200张图像以便示出变化和分类结果。

每个对象/材料数据集可以被随机分割为三个集：训练集、验证集、测试集，从而使得训练集包含70％的图像，验证集包含20％的图像，并且测试集包含10％的图像。算法在训练集上运行，并且在验证集上测试验证准确度。一旦完成(或者通过过早停止或者直到达到最大迭代)学习周期(训练、验证)，则在测试集上运行算法以便确定测试集准确度。在测试集上可以提供10层交叉验证准确度。(数据集被10次分割为训练集、验证集、测试集，并且每次确定准确度。10层交叉验证准确度是跨10次试验中的平均测试准确度)。

从视觉词袋的角度来看，可以应用四种类型的分类方法。(i)用于密集特征提取的DSIFT、用于量化的k均值、以及用于最终分类的SVM，(ii)用于密集特征提取的DAISY、用于量化的k均值以及用于最终分类的SVM。针对测试，可以在最后的步骤中使用k-NN而非SVM。

针对CNN，为了避免过度拟合并且获得测试准确度，可以通过生成标签保留失真(诸如4次旋转、每次旋转进行翻转、12次转换(侧卷和上卷)以及将256×256输入图像修剪成30个随机修剪的227×227区域)来人工地增加数据集的尺寸。这将数据集的尺寸增大了50倍至300万张图像。(注意，一旦数据集被分割成训练集、验证集和测试集就执行此数据扩充。针对同一训练图像的不同失真将执行其他验证/测试)。

CNN的训练参数可以如下。针对CNN，学习速率是0.001，步长是20000，重量衰变是0.0005，动量是0.9，并且批量大小是50。针对更深层CNN，学习速率是0.0001，并且步长是200000。由于12层、16层、20层、24层CNN是从头训练，因此学习速率可能会显著地更低并且步长高于8层CNN。

皮革：跨30000皮革样本的测试准确度可以如下。(在数据扩充之后，数据集的尺寸可以增加至150万张图像)。针对视觉词袋模型，10层交叉验证之后的平均测试准确度可以是大约93.8％。基于k-NN的方法趋于执行低于基于SVM的方法，并且DSIFT执行稍微高于DAISY描述符。如果增加了DAISY的描述符尺寸，则可以达到更高的准确率。针对CNN，平均测试准确度可以是98.1％。最后一层是20路softmax分类器以便对20种类型的皮革进行分类。

织物：词袋模型的平均测试准确度可以是92％。相较于皮革样本准确度降低的原因之一可能是由于类别尺寸的增加。CNN的测试准确度可以是98.3％。当与视觉词袋模型进行比较时，数据扩充和失真技术增加了准确率。由于数据扩充，数据集增加到300000张图像。

包：可以以每种品牌为基础对图像进行分类。数据集中的品牌可以是LV、香奈儿(Chanel)、古驰(Gucci)、普拉达(Prada)、蔻驰(Coach)、迈克高仕(Michael Kors)和克洛伊(Chloe)。虽然7路分类是可能的，但由于可以使用每一种品牌真包和假包，因此可以执行二进制分类。给定特定品牌的包的输入图像，可以确定每个包是那个品牌的真版还是假版。可以使用二进制分类而非多类别分类的原因如下：(i)不同品牌的包可能使用相同的材料。因此，跨不同品牌对相同材料进行分类将导致不一致的结果。(ii)实施的试验可以尝试模仿真实世界的场景。如果一个人购买特定品牌的奢侈品设计师的包，则他们将想要知道给定品牌名称的那个包的真实性。因此，不是跨所有品牌对包进行分类，而是可以基于每种品牌执行二进制分类(真的或假的)。

跨20000张图像(数据扩充之后数据集增加到1百万张图像)，视觉词袋模型的测试准确度可以是92.4％。因此，基于SVM的方法可以比基于k-NN的方法更好地工作。针对CNN，平均测试准确度可以是98.5％。这些包具有不同类型的表面，范围从皮革、织物、帆布到金属标志、镀金标志、拉链等。数据扩充技术和CNN的深度架构帮助增加准确率。

塑料：这可以是跨10种不同类型的塑料材料的10路分类。词袋模型的平均测试准确度可以是92.5％。针对CNN，平均测试准确度可以是95.3％。

纸：跨2000张图像的纸和10种类型的纸的平均测试准确度针对词袋模型可以是94.3％且针对CNN是95.1％。词袋模型和CNN的结果相对于纸样本的分类均是可比较的。

运动衫：利用NFL运动衫，还可以执行二进制分类。给定输入图像，可以确定图像是真的还是假的。平均测试准确度针对词袋模型可以是94％并且针对CNN可以是98.8％。深层的CNN可能能够捕获一些图像中的细粒度细节，这相较于其余方法可以给出优越的性能。

药片：在此数据集中，由于无需使用假药片，因此二进制分类可以用于对两种不同类型的药片进行分类。平均测试准确度针对词袋模型可以是96.8％并且针对CNN其可以是98.5％。

R-CNN：利用R-CNN，由于可以获得每张图像2000个区域，因此可以对1000个包进行测试。(注意，数据集现在是2百万张图像)。10层交叉验证测试准确度可以是高于8层和12层CNN的98.9。这表明R-CNN能够对8层和12层均漏掉的细粒度特征进行分类。

训练阶段：在训练阶段，可以从不同的产品或产品类别中提取显微图像以便形成训练集。然后，可以训练并测试这些图像以便生成为认证准备的模型。在认证奢侈手提包的情况下，可以获取一种特定品牌的包，并且可以使用在此描述的设备来提取多张显微图像。可以扫描手提包的每个区域：集尘袋、外部材料、外部缝合、内部皮革、内部拉链、内部标志、外部皮革剪裁、外部拉链、内衬。可以在后端服务器中上传、处理和训练这些图像。可以针对正版包和仿版包两者完成此程序。一旦受到训练、交叉验证和测试，模型可以为认证阶段做准备。

如图16中示出的，在认证阶段过程中，可以执行如下步骤：(i)用户打开移动应用，将设备放置在对象上，(ii)在1601中，设备经由WiFi在应用上直播对象的显微表面的视频，(iii)在1602中，用户使用应用捕获图像(或多张图像)并且将其上传至服务器，(iv)在1603中，在几秒内，服务器利用写着对象是“真的”还是“假的”的消息作出响应。由苹果公司提供的与设备和服务器进行交互的移动应用(诸如为IOS移动操作系统设计的移动应用)可以用于认证阶段。在这种情况(诸如手提袋)下，用户上传来自包的不同区域的多张图像以便检查真实性。由于所谓的“高仿”包趋于在相同的区域使用相同的材料，因此可以从多个区域捕获图像并检查真实性。

本发明的示例性实施例可以不同于三种显著方式中的已知方式。(i)在明显的/隐蔽的技术中，它们需要在开始创造或制造产品时应用其技术。但是在这种实时情况下，不需要在开始制造产品时执行测试。不像明显的技术(诸如墨水、条码、全息图、显微结构等)，本发明的示例性实施例无需将任何物质嵌入到产品或对象内。

在此描述的技术可以是非侵入式并且将不能以任何方式修改对象。(ii)无需对每个单个物品进行标记。正品和复制品的分类可以基于从图像获取的显微变化。(iii)当前的明显/隐蔽认证技术不能对之前未标记的对象进行认证。在本方式中，由于使用了机器学习技术，因此可以对该对象的新实例进行认证。(iv)大多数用于嵌入在产品上的技术(诸如纳米打印、微标签)是昂贵的。加上其基于进行专用的、昂贵的显微手持设备的检测，这是消费者/企业采用中的问题。本发明的示例性实施例可以使用基于设备和云的认证解决方案，该方案利用移动手机工作并且成本低且使用简单。

使用机器学习监督式、半监督式和未监督式学习技术的图像分类用于图像的大规模分类。SVM和卷积神经网络是大规模图像分类的两种重要的技术。本发明的示例性实施例不同于至少三种方式中的这些方式：(i)用于识别显微变形的特征提取和训练，(ii)基于中度水平和细粒度特征对该对象的显微图像进行分类，以及(iii)使用技术(例如，BoW、深卷积网)的组合和显微成像硬件以便认证对象。

示例性异常/异常值检测

可以使用不同尺寸的滑动窗口将输入图像分割为更小的分块。可以在每个分块上执行特征提取：高斯拉普拉斯用于检测关键点和定向梯度直方图以便从关键点生成不同的描述符。

在一些实施例中，每个描述符可以是128维空间中的向量。从不同的窗口尺寸中获得所有图像分块可以投射到128维向量空间上。类似地，来自训练集的所有图像可以投射到向量空间上，形成可在测试阶段过程中在稍后的点处与候选向量进行比较的向量的训练集。

在一些实施例中，可以通过使用OPTICS算法(用于识别聚类结构的排序点)来确定训练向量的密度。虽然OPTICS算法在训练集中找到了聚类，但是可以通过将训练集中的所有子聚类的密度相结合将整个训练集看做单个聚类。

一旦确定了训练集的聚类及其密度，则测试阶段可以开始。可以使用用于显微成像的硬件来提取需要被分类为是真品或非真品的物品的候选图像。可以使用特征提取算法来生成描述符向量，并且将这些向量投射到128维空间上。可以使用OPTICS算法来计算这些测试向量的密度。

密度比较：给定训练集和测试集的密度，可以设置阈值以用于判定测试集是否是训练的一部分。这还可以确定训练的重叠量和测试集。根据本发明的一些示例性实施例，重叠越高，测试向量接近原始训练集的可能性越高。

在多类别分类中，可能无法使用异常检测技术，因为异常检测系统可能需要二类分类问题。虽然他们可以在训练数据中找到聚类，但是将使用用于分类的SVM(类似于以上讨论的视觉词袋技术)。本发明的示例性实施例可以主要从假图像中检测出真图像，因此在此情况下其是二类问题并且异常检测可以很好地工作。

示例性系统

用于认证实体对象的总体系统使用学习技术的组合。在一些实施例中，步骤可以包括：

训练阶段：在训练阶段，可以从不同的产品或产品类别中提取显微图像以便形成训练集。所提取的显微图像可以分为多个分块(重叠或非重叠)，并且这些分块可以作为训练数据集用于分类系统。训练数据集还包含描述产品的类别或类别定义。类别定义可以基于产品规格(名称、生产线、品牌、产地和标签)或与产品的制造过程有关。例如，其可以是包、手表的品牌、电子芯片的规格等)。

可以将图像分块作为输入给予SVM、卷积网络、和异常检测系统，并且相应地对它们进行分类。

测试阶段：在图4中提到的测试阶段或认证阶段，可以提取实体对象的一张或多张显微图像。基于应用，可以从对象的不同区域中提取图像以便得到各种图像集。而且，从对象的不同区域中提取图像阻止伪造者，并且增加了伪造检测率。伪造者可能能够克隆对象的一部分，但是克隆对象的不同部分可能在经济上不可行。

如图2所示，首先，可以从设备提取显微图像2001。所提取的显微图像可以被分为多个块2002(例如，重叠或非重叠)。分块可以用作到分类系统的输入。每个分块可以用作到视觉词袋系统2003、卷积网络2004和异常检测2005系统的输入。

每个系统的结果(例如，分类输出)可以制成表并且只有当有大多数(2:1或更多)2006时；图像或分块被认为是真实的(如果大多数不支持，则图像被认为是非真实的)。在一些实施例中，可以指明图像的真实分块的数量的阈值。如果图像中的真实分块的数量在阈值之上，则图像被认为是真实的否则其可能被认为是非真实的。在任何情况下，提供结果2007。

在具有多类别分类问题的一些实施例中，当类别的数量大于二(例如，真实的或非真实的)时，则系统可以输出类别名称。如先前所述，类别可以基于产品规格，诸如产品名称、生产线、产品上的标签、品牌；或者其可与产品的制造过程(材料、制造步骤)有关。例如，如果在训练数据集中有十种类别/品牌，则在测试阶段，系统可以输出十种类别中的一种类型作为分类系统的答案。

图1示出了根据本发明的示例性实施例的使用视觉词袋的示例性分类系统。可以使用设备从实体对象的一部分中提取图像101并将其分为多个分块102。然后，使用梯度直方图和其他示例性特征检测技术来计算特征向量103；使用k均值聚类对特征向量进行聚类104，并且对与(多个)图像的特征向量相对应的聚类中心进行识别105；计算空间直方图106并且最后将这些直方图特征用作到支持向量机分类器的输入107。

图3示出了基于机器学习技术的示例性分类系统。从实体对象303的一部分中提取单个或多个显微图像305，并且用作机器学习技术的训练数据306。将与实体对象的品牌相对应的类别定义、生产线、标签或制造过程或规格304添加到训练数据中。机器学习技术使用训练数据来生成数学模型307并对模型进行计算以便拟合训练数据308。

图4示出了基于机器学习技术的分类系统的示例性测试阶段。从实体对象401的一部分中提取单个或多个显微图像402。此信息被馈送到机器学习技术403的测试阶段中。测试阶段使用训练的数学模型404来预测实体对象405的类别。对象的类别可以是品牌、生产线、或规格406。

本发明的示例性实施例在奢侈品产品市场具有实际应用。在奢侈品市场，伪造产品相当猖獗。在此描述的系统可帮助认证手提包、鞋、服装、腰带、手表、酒瓶、包装和其他配饰。

本发明的示例性实施例在体育用品市场具有实际应用。在体育产品中，系统可认证运动衫、运动服装、高尔夫球俱乐部和其他体育配饰。

本发明的示例性实施例在化妆品市场具有实际应用。近来，MAC化妆包正在被伪造。系统可以用于认证MAC化妆包和其他保健和美容产品。

本发明的示例性实施例在药物行业具有实际应用。伪造药物/药品是世界范围内的重大问题。处方药(诸如伟哥、西力士)、抗生素(诸如希舒美、达菲、疫苗沛儿)；心血管药物(诸如立普妥、活络喜、氯吡格雷)和其他不无需处方的药物(诸如抗过敏药物、西乐葆、维柯丁)是经常被伪造的。通过使用该系统，用户/患者可检查药物是真还是假。

本发明的示例性实施例在消费者和工业电子市场中具有实际应用。伪造电子产品不仅来自制造不合格零件而且通过黑榜和其他过程重复使用正品零件。从昂贵的智能机、电池到电子芯片和电路。系统可以是供应链的一部分，并且在其通过供应链中的不同供应商时对电子产品进行认证。可以对黑榜电子零件和电路进行识别和分类。

本发明的示例性实施例在汽车和航空零件市场上具有实际应用。汽车配件行业不断地受伪造零件的困扰。全息图、标签和条形码由制造商和供应商使用，但伪造者总是绕过它。航线零件、气囊和电池是市场上一些伪造得最多的零件。

本发明的示例性实施例在儿童玩具工具领域具有实际应用。不合格的玩具会对玩玩具的孩子有害。铅被用来制造便宜的玩具，并且这可导致严重的健康问题。系统可检查玩具的真实性，从而帮助父母(进而帮助孩子)选择真正的玩具。

本发明的示例性实施例在金融和货币工具领域具有实际应用。金融系统充满造假和伪造问题。系统可检查伪造的货币、支票、汇款单、和其他与纸相关的伪造问题。通过检验纸表面、字母、墨水blob、曲线的显微相似性和差异性，可以将物品分类为真品或非真品。

在一些实施例中，对象认证空间、相关的工作可被归类成两个集合。(i)使用明显和隐蔽技术的对象认证、以及(ii)使用机器学习的图像分类。

参考图17，在示例性实施例中，框图展示了可用于系统306、其他系统或独立式的服务器1700。服务器1700可以是数字计算机，该数字计算机在硬件架构方面通常包括处理器1702、输入/输出(I/O)接口1704、网络接口1706、数据存储设备1708和存储器1710。本领域普通技术人员应当认识到，图17以过简化的方式描绘了服务器1700，并且实际实施例可以包括附加部件和适当配置的处理逻辑以便支持在此未详细描述的已知或常规操作特征。部件(1702、1704、1706、1708、和1710)经由本地接口1712通信地耦合。如本领域已知的，本地接口1712可以是例如但不限于一个或多个总线或其他有线或无线连接。本地接口1712可以具有为简单起见而被省略的附加元件，诸如用于实现通信的控制器、缓冲器(缓存)、驱动器、中继器和接收器以及许多其他元件。进一步地，本地接口1712可以包括用于实现在前述部件之间的适当通信的地址、控件和/或数据连接。

处理器1702是用于执行软件指令的硬件设备。处理器1702可以是任何定制或者商用处理器、中央处理单元(CPU)、在与服务器1700相关联的若干处理器之中的辅助处理器、基于半导体的微处理器(以微芯片或者芯片组的形式)、或者一般为用于执行软件指令的任何设备。当服务器1700在操作中时，处理器1702被配置成用于执行存储器1710内存储的软件、用于向和从存储器1710传送数据并且用于总体上按照软件指令控制服务器1700的操作。I/O接口1704可以用于从系统输出接收用户输入和/或用于向一个或多个设备或部件提供系统输出。可以经由例如键盘、触摸屏、和/或鼠标提供用户输入。可以经由显示设备和打印机(未示出)提供系统输出。I/O接口1704可以包括例如串行端口、并行端口、小型计算机系统接口(SCSI)、串行ATA(SATA)、光纤通道、无限带宽、iSCSI、PCI快速接口(PCI-x)、红外(IR)接口、射频(RF)接口、和/或通用串行总线(USB)接口。

网络接口1706可以用于使得服务器1700在网络(诸如因特网、广域网(WAN)、局域网(LAN)等等)上进行通信。网络接口1706可以包括例如以太网卡或适配器(例如，10BaseT、快速以太网、千兆位以太网、10GbE)或无线局域网(WLAN)卡或适配器(例如，802.11a/b/g/n)。网络接口306可以包括用于在网络上实现适当通信的地址、控件和/或数据连接。数据存储设备1708可以用于存储数据。数据存储设备1708可以包括易失性存储器元件(例如，随机存取存储器(RAM，诸如DRAM、SRAM、SDRAM等))、非易失性存储器元件(例如，ROM、硬盘驱动器、磁带、CDROM等)中任一者、及其组合。此外，数据存储设备1708可以并入电子、磁、光和/或其他类型的存储介质。在一个示例中，数据存储设备1708可以位于服务器1700内部，诸如例如服务器1700中连接至本地接口1712的内部硬盘驱动器。另外，在另一实施例中，数据存储设备1708可以位于服务器1700外部，诸如例如连接至I/O接口1704(例如，SCSI或USB连接)的外部硬盘驱动器。在进一步实施例中，数据存储设备1708可以通过网络连接至服务器1700，诸如例如附接于网络的文件服务器。

存储器1710可以包括易失性存储器元件(例如，随机存取存储器(RAM(诸如DRAM、SRAM、SDRAM等)))、非易失性存储器元件(例如，ROM、硬盘驱动器、磁带、CDROM等)中任一者、及其组合。此外，存储器1710可以并入电子、磁、光和/或其他类型的存储介质。注意，存储器1710可以具有分布式架构，其中，各种部件处于相互远离、但是可由处理器1702访问。存储器1710中的软件可以包括一个或多个软件程序，这些软件程序中的每个软件程序包括用于实现逻辑功能的可执行指令的有序清单。存储器1710中的软件包括适当的操作系统(O/S)1714和一个或多个程序1716。操作系统1714实质上控制其他计算机程序(诸如该一个或多个程序1716)的执行，并且提供调度、输入-输出控制、文件和数据管理、存储器管理、和通信控制及相关服务。该一个或多个程序1716可以被配置成用于实现在此描述的各个处理、算法、方法、技术等。

参考图18，在示例性实施例中，框图展示了客户端设备或者有时是移动设备1800，其可以用于系统1800等。移动设备1800可以是数字设备，该数字设备就硬件架构而言通常包括处理器1802、输入/输出(I/O)接口1804、无线电1806、数据存储设备1808和存储器1810。本领域普通技术人员应当认识到，图18以过简化的方式描绘了移动设备1800，并且实际实施例可以包括附加部件和适当配置的处理逻辑以便支持在此未详细描述的已知或常规操作特征。部件(1802、1804、1806、1808、和1810)经由本地接口1812通信地耦合。如本领域已知的，本地接口1812可以为例如但不限于一个或多个总线或者其他有线或无线连接。本地接口1812可具有为简单起见而被省略的附加元件，诸如用于实现通信的控制器、缓冲器(缓存)、驱动器、中继器和接收器以及许多其他元件。进一步地，本地接口1812可以包括用于实现在前述部件之间的适当通信的地址、控件和/或数据连接。

处理器1802是用于执行软件指令的硬件设备。处理器1802可以是任何定制或者商用处理器、中央处理单元(CPU)、在与移动设备1800相关联的若干处理器之中的辅助处理器、基于半导体的微处理器(以微芯片或者芯片组的形式)、或者一般为用于执行软件指令的任何设备。当移动设备1800在操作中时，处理器1802被配置成用于执行存储器1810内存储的软件、用于向和从存储器1810传送数据并且用于总体上按照软件指令控制移动设备1800的操作。在示例性实施例中，处理器1802可以包括诸如针对功耗而优化的移动优化处理器和移动应用。I/O接口1804可用于从系统输出接收用户输入和/或用于提供系统输出。可经由例如键盘、触摸屏、滚动球、滚动条、按钮、条形码扫描器等提供用户输入。可经由显示设备(诸如液晶显示器(LCD)、触摸屏等)提供系统输出。I/O接口1804还可包括例如串行端口、并行端口、小型计算机系统接口(SCSI)、红外(IR)接口、射频(RF)接口、通用串行总线(USB)接口等。I/O接口1804可包括使得用户与移动设备1800进行交互的图形用户接口(GUI)。另外，I/O接口404可以进一步包括成像设备，即相机、摄像机等。

无线电1806实现到外部访问设备或网络的无线通信。可由无线电1806来支持任何数量的适当无线数据通信协议、技术或方法，该无线电包括但不限于：RF；IrDA(红外)；蓝牙；ZigBee(以及IEEE 802.15协议的其他变体)；IEEE802.11(任何变形)；IEEE 802.16(WiMAX或任何其他变形)；直接序列扩频；跳频扩频；长期演进(LTE)；蜂窝/无线/无绳/电信协议(例如，3G/4G等)；无线家庭网络通信协议；寻呼网络协议；磁感应；卫星数据通信协议；无线医院或医疗设施网络协议(诸如在WMTS带中操作的这些协议)；GPRS；专用无线数据通信协议(诸如无线USB的变体)；以及用于无线通信的任何其他协议。数据存储设备1808可以用于存储数据。数据存储设备1808可以包括易失性存储器元件(例如，随机存取存储器(RAM(诸如DRAM、SRAM、SDRAM等)))、非易失性存储器元件(例如，ROM、硬盘驱动器、磁带、CDROM等)中任一者、及其组合。此外，数据存储设备1808可以并入电子、磁、光和/或其他类型的存储介质。

存储器1810可以包括易失性存储器元件(例如，随机存取存储器(RAM(诸如DRAM、SRAM、SDRAM等)))、非易失性存储器元件(例如，ROM、硬盘驱动器等)中任一者、及其组合。此外，存储器1810可以并入电子、磁、光和/或其他类型的存储介质。注意，存储器1810可以具有分布式架构，其中，各种部件处于相互远离、但是可由处理器1802访问。存储器1810中的软件可包括一个或多个软件程序，这些软件程序中的每个软件程序包括用于实现逻辑功能的可执行指令的有序清单。在图18的示例中，存储器1810中的软件包括适当的操作系统(O/S)1814和程序1816。操作系统1814实质上控制其他计算机程序的执行，并且提供调度、输入-输出控制、文件和数据管理、存储器管理、和通信控制及相关服务。程序1816可以包括被配置成用于向移动设备1800提供最终用户功能的各种应用、附加软件等。例如，示例性程序1816可以包括但不限于网络浏览器、社交应用、流式媒体应用、游戏、地图和位置应用、电子邮件应用、金融应用等。在典型的示例中，最终用户典型地使用程序1816中的一个或多个程序连同网络(诸如系统306)。

以上仅展示了本公开的原理。根据在此的教导，所描述的实施例的各种修改和改变对于本领域的普通技术人员将是明显的。因此将认识到，本领域技术人员将能够设计出体现本公开的原理并且可因此在本公开的精神和范围内的多个系统、安排和程序(尽管未在此明确示出或描述)。如应当由本领域普通技术人员理解的，各种不同的示例性实施例可以彼此一起使用以及彼此互换。

Claims

1.一种用于对显微图像进行分类的方法，所述方法包括：

接收训练数据集，所述训练数据集包括从实体对象中提取的至少一个显微图像以及针对所述至少一个显微图像的基于对应于所述实体对象的产品规格的相关联类别定义；

将所接收的训练数据集的显微图像分割成更小图像的分块；

训练一个或多个机器学习分类器，以便构造用于基于所述训练数据集来将所述至少一个显微图像分类成一个或多个类别的模型，其中，所述机器学习分类器包括视觉词袋系统、卷积神经网络系统和异常检测系统的组合；

接收所述至少一个显微图像；

将所接收的显微图像分割为多个分块，每个分块用作为所述视觉词袋系统、所述卷积神经网络系统和所述异常检测系统的测试输入，以便使用构造的模型基于所述产品规格来将所述分块分类成一个或多个类别；

将每个系统的结果制成表以确定所述分块是否是真实的；以及

将所述显微图像中真实分块的数量与阈值进行比较以确定所述显微图像是否是真实的，

其中，所述产品规格包括品牌名称、产品线、或者包括在所述实体对象的标签上的细节，

其中，所述类别定义包括关于所述实体对象是正品还是伪造品的信息，以及

其中，所述卷积神经网络系统是从一级卷积神经网络、二级卷积神经网络和三级卷积神经网络中基于分类准确度来选择的卷积神经网络，

其中：

所述一级卷积神经网络包括卷积层和子采样层，在所述一级卷积神经网络之后，输出是全连接神经网络并且使用向后传播算法来对所述一级卷积神经网络进行训练；

所述二级卷积神经网络包括两组交替的卷积层和子采样层，其中最终两个层是全连接并且使用向后传播算法来对所述二级卷积神经网络进行训练；以及

所述三级卷积神经网络包括三组交替的卷积层和子采样层，其中最终两个层是全连接并且使用向后传播算法来训练所有层。

2.如权利要求1所述的方法，其中，所述类别定义包括关于所述实体对象的质量的信息。

3.如权利要求1所述的方法，其中，所述实体对象的制造过程包括关于制造的输入材料和参数的信息。

4.如权利要求1所述的方法，其中，使用具有显微镜的手持式计算设备或移动电话来提取所述显微图像。

5.如权利要求1所述的方法，其中，所述显微图像包括曲线或者斑点。

6.如权利要求1所述的方法，其中，所述机器学习分类器还包括基于支持向量机的分类器，包括特征提取、通过方向梯度直方图的关键点描述符生成以及基于视觉词袋的分类器。

7.如权利要求6所述的方法，其中，所述视觉词袋分类器包括k均值聚类技术、将图像描述符索引为k中心以及空间直方图生成。

8.如权利要求7所述的方法，其中，最终分类器是支持向量机或基于k最近邻的分类器。

9.如权利要求1所述的方法，其中，所述异常检测系统基于对聚类的密度估计来对所述实体对象进行分类。

10.如权利要求1所述的方法，其中，所述机器学习分类器包括基于n层卷积神经网络的分类器，所述方法包括：

生成捕获低级、中级和高级显微变化和特征的卷积层、子采样层、最大池化层、平均池化层和激活函数；

使用利用反向传播技术的随机共轭梯度下降来训练所述n层卷积神经网络；

使用作为所述n层卷积神经网络中的最终层之一的softmax函数来产生类别概率；

生成训练特征作为所述n层卷积神经网络中的每一个层的输出。

11.如权利要求1所述的方法，其中，所述机器学习分类器包括通过转换、旋转、剪切、翻转、镜像或者跨不同区域的修剪来对所述训练数据集进行数据扩充。

12.如权利要求1所述的方法，其中，所述机器学习分类器包括用于识别低粒度特征、中粒度特征、高粒度特征和细粒度特征的多尺度卷积、滤波器和步长。

13.如权利要求1所述的方法，其中，所述机器学习分类器包括n层卷积神经网络，所述n层卷积神经网络基于n层的深度来学习区别特征。

14.如权利要求1所述的方法，其中，所述机器学习分类器包括基于区域的卷积神经网络，所述基于区域的卷积神经网络识别图像内的特定候选区域并使用至少一个n层卷积神经网络来对所述候选区域进行分类。

15.如权利要求1所述的方法，其中，所述机器学习分类器包括对n层卷积神经网络进行装配以及将所述显微图像分类成所述n层卷积神经网络中的每一个n层卷积网络的输出概率的组合。

16.如权利要求1所述的方法，其中，所述分类确定所述实体对象的真实性，并且所述实体对象包括以下各项中的一项或多项：手提袋、鞋子、服装、皮带、手表、酒瓶、包装、标签、配饰、运动衫、运动服装、高尔夫球杆、化妆品、药物、药品、电子芯片、电路、电话、电池、汽车零部件、航空零部件、气囊、纸币、纸质文档、玩具、以及食物产品。

17.如权利要求1所述的方法，其中，所述显微图像包括以下各项中的一项或多项的显微图像：纸、塑料、金属、合金、皮革、玻璃、木材、陶瓷、以及黏土。

18.如权利要求10所述的方法，其中，所述n层卷积神经网络是8层卷积神经网络、12层卷积神经网络、16层卷积神经网络、20层卷积神经网络、或24层卷积神经网络。

19.如权利要求18所述的方法，其中，所述8层卷积神经网络包括：三个卷积层连同三个最大池化层和修正线性单元ReLU，随后是两个独立的不具有最大池化的卷积层以及最终部分中的三个全连接层，随后是跨所有类别给出了分值或概率的softmax函数。

20.如权利要求18所述的方法，其中，所述12层卷积神经网络包括：由卷积层连同最大池化层和修正线性单元ReLU组成的两个层，随后是四个独立的不具有最大池化的卷积层，随后是三组卷积层、最大池化层和ReLU层以及最终部分中的两个全连接层。

21.如权利要求18所述的方法，其中，所述16层卷积神经网络包括：8层卷积神经网络，加上在第一组卷积层之后的两个卷积层以及在所述16层卷积神经网络之后的两个附加卷积层。

22.如权利要求18所述的方法，其中，所述20层卷积神经网络包括：8层卷积神经网络；由卷积层、最大池化层和修正线性单元ReLU层组成的另一组8个层；随后是四个全连接层以及softmax函数。

23.如权利要求18所述的方法，其中，所述24层卷积神经网络包括：三组8层网络结合一个最终全连接层。

24.一种用于对显微图像进行分类的系统，所述系统包括：

训练数据集单元，所述训练数据集单元存储数据集，所述数据集包括从实体对象中提取的至少一个显微图像以及基于产品规格或制造过程规格的相关联类别定义；

计算设备，所述计算设备被配置成用于：将所述数据集的显微图像分割成更小图像的分块；训练机器学习分类器使用所述训练数据集来识别对象类别，其中，所述机器学习分类器包括视觉词袋系统、卷积神经网络系统和异常检测系统的组合；接收至少一个显微图像；将所接收的显微图像分割为多个分块，每个分块用作所述视觉词袋系统、所述卷积神经网络系统和所述异常检测系统的测试输入，以便确定所述分块的类别；将每个系统的结果制成表以确定所述分块是否是真实的；以及将所述显微图像中真实分块的数量与阈值进行比较以确定所述显微图像是否是真实的，

其中：

25.如权利要求24所述的系统，其中，所述产品规格包括品牌名称、产品线、或者包括在所述实体对象的标签上的细节。

26.如权利要求24所述的系统，其中，所述类别定义包括关于所述实体对象的质量的信息。

27.如权利要求24所述的系统，其中，所述制造过程包括关于制造所述实体对象的输入材料和参数的信息。

28.如权利要求24所述的系统，其中，所述计算设备包括具有显微镜的手持式计算设备或移动电话。

29.如权利要求24所述的系统，其中，所述显微图像包括曲线或者斑点。

30.如权利要求24所述的系统，其中，所述机器学习分类器还包括基于支持向量机的分类器，包括特征提取、通过方向梯度直方图的关键点描述符生成以及基于视觉词袋的分类器。

31.如权利要求24所述的系统，其中，所述视觉词袋分类器包括k均值聚类分类器、将图像描述符索引为k中心以及空间直方图生成。

32.如权利要求30所述的系统，其中，最终分类器是支持向量机或基于k最近邻的分类器。

33.如权利要求24所述的系统，其中，所述异常检测系统基于对聚类的密度估计来对所述实体对象进行分类。

34.如权利要求24所述的系统，其中，所述机器学习分类器包括基于n层卷积神经网络的分类器，所述系统包括：

捕获低级、中级和高级显微变化和特征的一个或多个卷积层、子采样层、最大池化层、平均池化层和激活函数；

所述计算设备还被配置成用于使用利用反向传播技术的随机共轭梯度下降来训练所述n层卷积神经网络；

作为用于产生类别概率的一组最终层之一的softmax函数；以及

作为所述n层卷积神经网络中的每一个层的输出的训练特征。

35.如权利要求24所述的系统，其中，所述机器学习分类器包括通过转换、旋转、剪切、翻转、镜像或者跨不同区域的修剪来对所述数据集进行数据扩充。

36.如权利要求24所述的系统，其中，所述机器学习分类器包括用于识别低粒度特征、中粒度特征、高粒度特征和细粒度特征的多尺度卷积、滤波器和步长。

37.如权利要求24所述的系统，其中，所述机器学习分类器包括n层卷积神经网络，所述n层卷积神经网络基于n层的深度来学习区别特征。

38.如权利要求24所述的系统，其中，所述机器学习分类器包括基于区域的卷积神经网络，所述基于区域的卷积神经网络识别图像内的特定候选区域并使用至少一个n层卷积神经网络来对所述候选区域进行分类。

39.如权利要求24所述的系统，其中，所述机器学习分类器包括对n层卷积神经网络进行集成，并且对所述显微图像的分类是对所述n层卷积神经网络中的每一个n层卷积网络的输出概率的组合。

40.如权利要求24所述的系统，其中，所述分类确定所述实体对象的真实性，并且所述实体对象包括以下各项中的一项或多项：手提袋、鞋子、服装、皮带、手表、酒瓶、包装、标签、配饰、运动衫、运动服装、高尔夫球杆、化妆品、药物、药品、电子芯片、电路、电话、电池、汽车零部件、航空零部件、气囊、纸币、纸质文档、玩具、或食物产品。

41.如权利要求24所述的系统，其中，所述显微图像包括纸、塑料、金属、合金、皮革、玻璃、木材、陶瓷、或黏土的显微图像。

42.如权利要求34所述的系统，其中，所述n层卷积神经网络是8层卷积神经网络、12层卷积神经网络、16层卷积神经网络、20层卷积神经网络、或24层卷积神经网络。

43.如权利要求42所述的系统，其中，所述8层卷积神经网络包括：三个卷积层连同三个最大池化层和修正线性单元ReLU，随后是两个独立的不具有最大池化的卷积层以及最终部分中的三个全连接层，随后是跨所有类别给出了分值或概率的softmax函数。

44.如权利要求42所述的系统，其中，所述12层卷积神经网络包括：由卷积层连同最大池化层和修正线性单元ReLU组成的两个层，随后是四个独立的不具有最大池化的卷积层，随后是三组卷积层、最大池化层和ReLU层以及最终部分中的两个全连接层。

45.如权利要求42所述的系统，其中，所述16层卷积神经网络包括：8层卷积神经网络，加上在第一组卷积层之后的两个卷积层以及在所述16层卷积神经网络之后的两个附加卷积层。

46.如权利要求42所述的系统，其中，所述20层卷积神经网络包括：8层卷积神经网络；由卷积层、最大池化层和修正线性单元ReLU层组成的另一组8个层；随后是四个全连接层以及softmax函数。

47.如权利要求42所述的系统，其中，所述24层卷积神经网络包括：三组8层网络结合一个最终全连接层。