[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111598113A - 模型优化方法、数据识别方法和数据识别装置 - Google Patents

模型优化方法、数据识别方法和数据识别装置 Download PDF

Info

Publication number
CN111598113A
CN111598113A CN201910126230.5A CN201910126230A CN111598113A CN 111598113 A CN111598113 A CN 111598113A CN 201910126230 A CN201910126230 A CN 201910126230A CN 111598113 A CN111598113 A CN 111598113A
Authority
CN
China
Prior art keywords
data
loss function
data recognition
model
optimized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910126230.5A
Other languages
English (en)
Inventor
王梦蛟
刘汝杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to CN201910126230.5A priority Critical patent/CN111598113A/zh
Priority to JP2019236447A priority patent/JP2020135858A/ja
Priority to EP20151942.8A priority patent/EP3699823A1/en
Priority to US16/748,107 priority patent/US20200265308A1/en
Publication of CN111598113A publication Critical patent/CN111598113A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Manufacturing & Machinery (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及模型优化方法、数据识别方法和数据识别装置。优化数据识别模型的方法包括：获取待优化的数据识别模型的损失函数；计算损失函数中与类对应的权重向量；对权重向量进行归一化处理；通过增大权重向量中任两个权重向量间的夹角来更新损失函数；基于更新的损失函数来优化待优化的数据识别模型。

Description

模型优化方法、数据识别方法和数据识别装置
技术领域
本公开涉及模型优化方法、数据识别方法和数据识别装置。更具体地，本发明涉及数据识别模型的优化学习方法以在使用经优化的数据识别模型识别数据时能够提高数据识别的准确率。
背景技术
深度神经网络(Deep neural network，DNN)目前是许多人工智能应用的基础。由于DNN在语音识别和图像识别上的突破性应用，使用DNN的应用量有了爆炸性的增长。这些DNN被部署到了从自动驾驶汽车、病理检测到复杂游戏等各种应用中。在许多领域中，DNN能够超越人类决策的准确率。而DNN的出众表现源于它能使用统计学习方法从原始数据中提取高层特征，在大量的数据中获得输入空间的有效表征。这与之前使用手动提取特征或专家设计规则的方法不同。
以人的面部识别为例，在对面部识别DNN模型的训练中，首先，需要在大量的不同人的数据集上训练分类模型。出于验证的目的，使用分类模型从图像对中提取特征，然后计算图像对的相似性以测试图像对是否属于同一个人。然而，在目前的DNN模型以及一些优化模型中，关注于减少类内差异以实现对相同人的面部图像的更好的聚类，但是在识别近似面部时或者对于通过面部提取特征映射的不同面部的特征具有混淆的可能时仍然会出现错误识别的情况。
因而，在本发明中提出了一种新的优化的DNN模型训练方法以及基于经优化的DNN模型的数据识别方法和数据识别装置。应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本申请的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
发明内容
在下文中将给出关于本公开的简要概述，以便提供关于本公开的某些方面的基本理解。应当理解，这个概述并不是关于本公开的穷举性概述。它并不是意图确定本公开的关键或重要部分，也不是意图限定本公开的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
为了实现本公开的目的，根据本公开的一个方面，提供了优化数据识别模型的方法，包括：获取待优化的数据识别模型的损失函数；计算损失函数中与类对应的权重向量；对权重向量进行归一化处理；通过增大权重向量中任两个权重向量间的夹角来更新所述损失函数；基于更新的损失函数来优化待优化的数据识别模型。
根据本公开的另一方面，提供了数据识别方法，包括：使用优化数据识别模型的方法得到的优化后的数据识别模型进行数据识别。
根据本公开的另一方面，还提供了数据识别装置，包括：至少一个处理器，被配置成执行数据识别方法。
根据本公开内容，提出了一种新的优化的DNN模型训练方法以及基于经优化的DNN模型的数据识别方法和数据识别装置。根据本公开内容，使用本公开内容的优化方法优化的DNN模型进行数据识别时，能够在识别具有近似特征的不同对象时以及在对于通过特征提取而映射出的特征具有混淆的可能时可以进一步降低出现错误识别的概率，从而提高数据识别的准确率。
附图说明
参照下面结合附图对本公开实施方式的说明，会更加容易地理解本公开的以上和其它目的、特点和优点，在附图中：
图1是示出深度神经网络的系统框图的示意图；
图2是示出根据本公开一个实施方式的深度神经网络中的一部分的示意图；
图3A是示出根据本公开一个实施方式的模型训练的示意图；
图3B是示出根据本公开一个实施方式的模型部署的示意图；
图4是示出根据本公开一个实施方式的优化数据识别模型的方法的流程图；
图5示出了根据本公开一个实施方式的数据识别装置的示意图；
图6是示出可用来实现根据本公开的实施方式的数据识别模型优化方法或数据识别方法的装置的通用机器的结构简图。
具体实施方式
在下文中将结合附图对本公开的示例性实施方式进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，本领域技术人员在实现实施方式的过程中可以做出很多特定于实施方式的决定，以便实现实施方式，并且这些决定可能会随着实施方式的不同而有所改变。
在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本公开，在附图中仅仅示出了与根据本公开的方案密切相关的部件，而省略了与本公开关系不大的其他细节。
下面参考附图描述这里公开的示例性实施例。应当注意，出于清楚的目的，在附图和描述中省略了有关所属技术领域的技术人员知道但是与示例性实施例无关的部分和过程的表示和说明。
本领域的技术人员可以理解，示例性实施例的各方面可以被实施为系统、方法或计算机程序产品。因此，示例性实施例的各个方面可以具体实现为以下形式，即，可以是完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)、或组合软件部分与硬件部分的实施例，本文可以一般称为"电路"、"模块"或"系统"。此外，示例性实施例的各个方面可以采取体现为一个或多个计算机可读介质的计算机程序产品的形式，该计算机可读介质上面体现有计算机可读程序代码。可以例如通过计算机网络来分发计算机程序，或者计算机程序可以位于一个或更多个远程服务器上，或被嵌入设备的存储器中。
可以使用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质例如可以是，但不限于电的、磁的、光的、电磁的、红外线的、或半导体的系统、设备或装置、或前述各项的任何适当的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括以下：有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储装置、磁存储装置、或前述各项的任何适当的组合。在本文语境中，计算机可读存储介质可以是任何含有或存储供指令执行系统、设备或装置使用的或与指令执行系统、设备或装置相联系的程序的有形介质。
计算机可读信号介质可以包括例如在基带中或作为载波的一部分传播的其中带有计算机可读程序代码的数据信号。这样的传播信号可以采取任何适当的形式，包括但不限于电磁的、光的或其任何适当的组合。
计算机可读信号介质可以是不同于计算机可读存储介质的、能够传达、传播或传输供指令执行系统、设备或装置使用的或与指令执行系统、设备或装置相联系的程序的任何一种计算机可读介质。
体现在计算机可读介质中的程序代码可以采用任何适当的介质传输，包括但不限于无线、有线、光缆、射频等等、或上述各项的任何适当的组合。
用于执行这里公开的示例性实施例的各方面的操作的计算机程序代码可以以一种或多种程序设计语言的任何组合来编写，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++之类，还包括常规的过程式程序设计语言，诸如"C"程序设计语言或类似的程序设计语言。
以下参照按照示例性实施例的方法、设备(系统)和计算机程序产品的流程图和/或框图来描述这里公开的示例性实施例的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理设备的处理器以生产出一种机器，使得通过计算机或其它可编程数据处理设备执行的这些指令产生用于实现流程图和/或框图中的方框中规定的功能/操作的装置。
也可以把这些计算机程序指令存储在能够指引计算机或其它可编程数据处理设备以特定方式工作的计算机可读介质中，使得存储在计算机可读介质中的指令产生一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令的制造品。
也可以把计算机程序指令加载到计算机或其它可编程数据处理设备上，导致在计算机或其它可编程数据处理设备上执行一系列操作步骤以产生计算机实现的过程，使得在计算机或其它可编程设备上执行的指令提供实现流程图和/或框图中的方框中规定的功能/操作的过程。
下面首先对与本发明的相关的神经网络进行介绍。
神经网络使用通过简化生物神经元的功能而配置的人工神经元，并且人工神经元可以通过具有连接权重的边缘彼此连接。连接权重(神经网络的参数)是边缘的预定值，并且还可以称为连接强度。神经网络可以通过人工神经元执行人脑的认知功能或学习过程。人造神经元也可以称为节点。
神经网络可包括多个层。例如，神经网络可以包括输入层，隐藏层和输出层。输入层可以接收用于执行训练的输入并将输入发送到隐藏层，并且输出层可以基于从隐藏层的节点接收的信号生成神经网络的输出。隐藏层可以设置在输入层和输出层之间。隐藏层可以将从输入层接收的训练数据改变为容易预测的值。包括在输入层和隐藏层中的节点可以通过具有连接权重的边缘彼此连接，并且包括在隐藏层和输出层中的节点也可以通过具有连接权重的边缘彼此连接。输入层、隐藏层和输出层可以分别包括多个节点。
神经网络可以包括多个隐藏层。包括多个隐藏层的神经网络可以称为深度神经网络。训练深度神经网络可以称为深度学习。包括在隐藏层中的节点可以称为隐藏节点。深度神经网络中提供的隐藏层的数量不限于任何特定数量。
可以通过监督学习来训练神经网络。监督学习是指将输入数据和与其对应的输出数据提供给神经网络，并更新边缘的连接权重以便输出对应于输入数据的输出数据的方法。例如，模型训练设备可以通过delta规则和误差反向传播学习来更新人工神经元之间的边缘的连接权重。
图1是示出深度神经网络的系统框图的示意图。
在以上介绍的神经网络基础上的深度神经网络(Deep Neural Networks,DNN)，是深层次的神经网络。深度神经网络从结构上讲与传统的多层感知机没有什么不同，并且在做有监督学习时算法也是一样的。唯一的不同是这个网络在做有监督学习前要先做非监督学习，然后将非监督学习学到的权值当作有监督学习的初值进行训练。这个改变其实对应着一个合理的假设。用P(x)表示用无监督学习对网络进行预训练得到的数据的一种表示，然后用有监督学习对网络进行训练(如BP算法)，得到P(Y|X)，其中Y为输出(比如类别标签)。该假设认为P(X)的学习有助于P(Y|X)的学习。这种学习思路相对于单纯的有监督学习而言有助于降低过拟合的风险，因为它不仅学习了条件概率分布P(Y|X)，还学习了X和Y的联合概率分布。
根据本公开实施方式的数据识别模型优化的训练方法使用深度神经网络来进行。深度神经网络是一种具备至少一个隐层的神经网络。与浅层神经网络类似，深度神经网络也能够为复杂非线性系统提供建模，但多出的层次为模型提供了更高的抽象层次，因而提高了模型的能力。深度神经网络是一种判别模型，可以使用反向传播算法进行训练。权重更新可以使用函数进行随机梯度下降法求解。这一函数的选择与学习的类型(例如监督学习、无监督学习、增强学习)以及激活函数相关。例如，为了在一个多分类问题上进行监督学习，通常的选择是使用ReLU作为激活函数，而使用交叉熵作为代价函数。此外，深度神经网络还使用损失函数以衡量模型的性能。
图2是示出根据本公开一个实施方式的深度神经网络中的一部分的示意图。
如上文所述，深度神经网络使用损失函数以衡量模型的性能。具体地，通过预测值和真实值之间的计算，得出的一个值，这个值在模型拟合的时候用于告知模型是否还有可以继续优化的空间(模型的目的就是希望损失函数是拟合过的模型中最小的)。通常机器学习每一个算法中都会有一个目标函数，算法的求解过程是通过对这个目标函数优化的过程。在分类或者回归问题中，通常使用损失函数作为其目标函数。损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。
图2示出了根据本公开实施方式的深度神经网络中的一部分的示意图，以使得能够理解Softmax函数在网络中的具体位置。
如2所示，图的等号左边部分为全连接层，W是全连接层的参数，也称为权值，X是全连接层的输入，即特征。从图2可以看出特征X是N*1的向量，其是由全连接层前面多个卷积层和池化层处理后得到的，假设全连接层前面连接的是一个卷积层，这个卷积层的输出是100个特征，每个特征的大小是4*4，那么在将这些特征输入给全连接层之前会将这些特征转换成N*1的向量(这个时候N就是100*4*4＝1600)。解释完X，再来看W，W是全连接层的参数，是个T*N的矩阵，这个N和X的N对应，T表示类别数，比如分类的类别数为7，那么T就是7。训练深度神经网络，对于全连接层而言即寻找最合适的W矩阵。因此全连接层就是执行WX得到一个T*1的向量(也就是图2中的logits[T*1])，这个向量里面的每个数都没有大小限制的，也就是从负无穷大到正无穷大。然后如果多分类问题，一般会在全连接层后面接一个Softmax层，这个Softmax的输入是T*1的向量，输出也是T*1的向量(也就是图2中的prob[T*1]，这个向量中的每个元素的值表示这个样本属于每个类的概率)，输出的向量中的每个元素的值的大小范围为0到1以表征概率。也就是说，Softmax的输出向量即为样本属于各个类的概率。
图3A是示出根据本公开一个实施方式的模型训练的示意图。
图3B是示出根据本公开一个实施方式的模型部署的示意图。
在此，以人脸图像作为示例进行说明，需要注意的是，使用人脸图像作为示例进行说明仅出于示出的目的，而并不用于限制。为了训练验证模型，需要在具有大量ID(身份)的数据集上训练分类模型。部署模型时，分类模型用于从是图像对中提取特征。然后计算图像对之间的相似性以验证图像对是否来自相同的ID。
分类模型的训练可以如图3A所示，人脸验证模型的部署可以如图3B所示。模型的输出之间的差异被表示为如下式所示的Softmax损失函数。
Figure BDA0001973682530000071
在公式(1)中，Ls表示Softmax损失，m表示类别的总数量(样本xi的总数量)，yi是xi的标签，
Figure BDA0001973682530000072
表示样本xi经过模型输出的输出特征，W为系数矩阵，
Figure BDA0001973682530000073
表示类别yi的中心，这些参数都是Softmax中的常规参数，T为矩阵的转置操作。
使用Softmax损失函数来训练深度神经网络的目的就在于使得
Figure BDA0001973682530000074
的值尽可能大，这样损失会尽可能小，即，使得使用模型进行预测得到的预测值接近于真实值。
Figure BDA0001973682530000081
在公式(2)中，θ是
Figure BDA0001973682530000084
与
Figure BDA0001973682530000085
之间的夹角，这意味着，为了使Softmax损失函数的值尽可能的小，就需要使得
Figure BDA0001973682530000086
与
Figure BDA0001973682530000087
之间的夹角θ的值尽可能的小。在使得Softmax损失函数的值逐渐变小的过程中，
Figure BDA0001973682530000088
逐渐地接近类的中心
Figure BDA0001973682530000089
Figure BDA00019736825300000810
也可以被称为损失函数中与类对应的权重向量，因为在公式中
Figure BDA00019736825300000811
也是影响
Figure BDA00019736825300000812
的值的权重，其中，权重向量为M维的向量，M为大于1的整数。
以上对如何通过减小减少
Figure BDA00019736825300000813
与
Figure BDA00019736825300000814
之间的夹角θ来减少类内差异进行了说明。但是如果类的中心
Figure BDA00019736825300000815
没有合理地分布，即使通过减少
Figure BDA00019736825300000816
与
Figure BDA00019736825300000817
之间的夹角θ来减少类内差异(使得类内样本变得更加地聚集在一起)，如果类间差异由于上述的不合理的分布而变得很小时，也可能造成无法令人满意的分类结果。例如，如果各个类的中心彼此间接近，则对分类模型的训练也会降低对提取的特征的区分能力。
为了使得各个类的中心
Figure BDA00019736825300000818
彼此之间尽量远离。这意味着，每两个类中心
Figure BDA00019736825300000819
之间的夹角α应该尽可能的大。换句话说，经归一化处理的每两个类中心
Figure BDA00019736825300000820
之间的点积应该尽可能的小。
在这里，在目前的整体损失的基础上，引入新的损失LC以表征经归一化的每两个类中心
Figure BDA00019736825300000821
之间的夹角。
Figure BDA0001973682530000082
Figure BDA0001973682530000083
在公式(3)和公式(4)中，符号′表示归一化处理操作，数据归一化处理是数据挖掘的一项基础工作，不同评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据归一化处理，以解决数据指标之间的可比性，至于具体的归一化处理方式在此不再赘述。这样，更新过程可以按照下面的公式(5)进行：
Figure BDA0001973682530000091
在公式(5)中，μ为学习速率。
通过以上方式经归一化的每两个类中心
Figure BDA0001973682530000092
之间的夹角被增大，进而各个类的中心被更新或者可以说损失函数中与类对应的权重向量被更新，从而实现了对深度神经网络模型的包括Softmax函数在内的各个损失函数的更新。这样的更新在保证小的类内差异的同时，也减小了类间差异，因此事实上，基于经更新的损失函数来训练模型实现了对待优化的数据识别模型的优化。
图4是示出根据本公开一个实施方式的优化数据识别模型的方法的流程图。
在步骤401中，获取待优化的数据识别模型的损失函数，具体地，待优化的数据识别模型可以是现成的已有模型或者也可以是当前正在训练中的模型；接下来，在步骤402中，计算损失函数中与类对应的权重向量，具体地，通过获取模型中的损失函数来进一步地计算出如公式(2)描述的与类对应的权重向量；在步骤403中，对计算出的权重向量进行归一化处理，数据归一化处理是数据挖掘的一项基础工作，不同评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据归一化处理，以解决数据指标之间的可比性，至于具体的归一化处理方式在此不再赘述；接下来，在步骤404中，通过增大权重向量中任两个权重向量间的夹角来更新损失函数，具体的增大夹角的方式可以参见前面的描述；最后，进入步骤405，在步骤405中，基于更新后的损失函数来优化待优化的数据识别模型，具体地址，在步骤404中，经归一化的权重向量中任两个权重向量间的夹角被增大的情况下，进而各个类的中心被更新或者可以说损失函数中与类对应的权重向量被更新，从而实现了对深度神经网络模型的包括Softmax函数在内的各个损失函数的更新。这样的更新在保证小的类内差异的同时，也减小了类间差异，因此事实上，在步骤405结束后，基于经更新的损失函数来训练模型实现了对待优化的数据识别模型的优化。
图5示出了根据本公开一个实施方式的数据识别装置的示意图。
图5所示的数据识别装置500，包括至少一个处理器501，其被配置成执行数据识别方法。数据识别装置还可以包括存储单元503和/或通信单元502，其中存储单元503用于存储待识别的数据和/或识别后得到的数据，通信单元502用于接收待识别的数据和/或发送识别后的得到的数据。
根据本公开的各种实施方式，数据识别模型的输入数据可以包括图像数据、语音数据或文本数据之一。
图6是示出可用来实现根据本公开的实施方式的信息处理装置和信息处理方法的通用机器700的结构简图。通用机器700可以是例如计算机系统。应注意，通用机器700只是一个示例，并非暗示对本公开的方法和装置的使用范围或者功能的局限。也不应将通用机器700解释为对上述信息处理方法和信息处理装置中示出的任一组件或其组合具有依赖或需求。
在图6中，中央处理单元(CPU)701根据只读存储器(ROM)702中存储的程序或从存储部分708加载到随机存取存储器(RAM)703的程序执行各种处理。在RAM 703中，还根据需要存储当CPU 701执行各种处理等等时所需的数据。CPU 701、ROM 702和RAM 703经由总线704彼此连接。输入/输出接口705也连接到总线704。
下述部件也连接到输入/输出接口705：输入部分706(包括键盘、鼠标等等)、输出部分707(包括显示器，例如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分708(包括硬盘等)、通信部分706(包括网络接口卡例如LAN卡、调制解调器等)。通信部分706经由网络例如因特网执行通信处理。根据需要，驱动器710也可连接到输入/输出接口705。可拆卸介质711例如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器710上，使得从中读出的计算机程序可根据需要被安装到存储部分708中。
在通过软件实现上述系列处理的情况下，可以从网络例如因特网或从存储介质例如可拆卸介质711安装构成软件的程序。
本领域的技术人员应当理解，这种存储介质不局限于图6所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质711。可拆卸介质711的例子包含磁盘(包含软盘)、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 702、存储部分708中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。
此外，本公开还提出了一种存储有计算机可读的程序指令的计算机程序产品。所述指令代码由计算机读取并执行时，可执行上述根据本公开的信息处理方法。相应地，用于承载这种程序指令的上面列举的各种存储介质也包括在本公开的范围内。
上面已通过框图、流程图和/或实施方式进行了详细描述，阐明了根据本公开的实施方式的装置和/或方法的具体实施方式。当这些框图、流程图和/或实施方式包含一个或多个功能和/或操作时，本领域的技术人员明白，这些框图、流程图和/或实施方式中的各功能和/或操作可以通过各种硬件、软件、固件或实质上它们的任意组合而单独地和/或共同地实施。在一种实施方式中，本说明书中描述的主题的几个部分可通过特定用途集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或其他集成形式实现。然而，本领域的技术人员会认识到，本说明书中描述的实施方式的一些方面能够全部或部分地在集成电路中以在一个或多个计算机上运行的一个或多个计算机程序的形式(例如，以在一个或多个计算机系统上运行的一个或多个计算机程序的形式)、以在一个或多个处理器上运行的一个或多个程序的形式(例如，以在一个或多个微处理器上运行的一个或多个程序的形式)、以固件的形式、或以实质上它们的任意组合的形式等效地实施，并且，根据本说明书中公开的内容，设计用于本公开的电路和/或编写用于本公开的软件和/或固件的代码完全是在本领域技术人员的能力范围之内。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。涉及序数的术语并不表示这些术语所限定的特征、要素、步骤或组件的实施顺序或者重要性程度，而仅仅是为了描述清楚起见而用于在这些特征、要素、步骤或组件之间进行标识。
综上，在根据本公开的实施方式中，本公开提供了如下方案，但不限于此：
方案1.一种优化数据识别模型的方法，包括：
获取待优化的数据识别模型的损失函数；
计算所述损失函数中与类对应的权重向量；
对所述权重向量进行归一化处理；
通过增大所述权重向量中任两个权重向量间的夹角来更新所述损失函数；
基于更新的所述损失函数来优化所述待优化的数据识别模型。
方案2.根据方案1所述的方法，其中，所述待优化的数据识别模型是通过深度神经网络训练得到的。
方案3.根据方案1所述的方法，其中，所述基于更新的所述损失函数来优化所述待优化的数据识别模型还包括：
基于更新的所述损失函数训练新的数据识别模型，其中，所述新的数据识别模型是对所述待优化的数据识别模型进行优化后的数据识别模型。
方案4.根据方案2或3所述的方法，所述数据识别模型是通过使所述损失函数的函数值最小训练得到的。
方案5.根据方案1或2或3所述的方法，其中，所述损失函数包括Softmax损失函数。
方案6.根据方案1或2或3所述的方法，其中，所述损失函数包括Logit损失函数。
方案7.根据方案1或2或3所述的方法，其中，所述损失函数包括特征损失函数。
方案8.根据方案1或2或3所述的方法，其中，一个类对应一个权重向量。
方案9.根据方案8所述的方法，其中，所述权重向量为M维的向量，M为大于1的整数。
方案10.根据方案或1或2或3所述的方法，其中，所述数据包括图像数据、语音数据或文本数据之一。
方案11.根据方案2所述的方法，所述待优化的数据识别模型是通过卷积神经网络训练得到的。
方案12.一种数据识别方法，包括：
使用根据方案1至11之一所述的优化数据识别模型的方法得到的优化后的数据识别模型进行数据识别。
方案13.一种数据识别装置，包括：
至少一个处理器，被配置成执行方案12所述的方法。
方案14.一种存储有程序指令的计算机可读存储介质，当所述程序指令被计算机执行时用于执行方案1-12所述的方法。
尽管上面已经通过对本公开的具体实施方式的描述对本公开进行了披露，但是，应该理解，本领域的技术人员可在所附权利要求的精神和范围内设计对本公开的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本公开的保护范围内。

Claims (10)

1.一种优化数据识别模型的方法，包括：
获取待优化的数据识别模型的损失函数；
计算所述损失函数中与类对应的权重向量；
对所述权重向量进行归一化处理；
通过增大所述权重向量中任两个权重向量间的夹角来更新所述损失函数；
基于更新的所述损失函数来优化所述待优化的数据识别模型。
2.根据权利要求1所述的方法，其中，所述待优化的数据识别模型是通过深度神经网络训练得到的。
3.根据权利要求1所述的方法，其中，所述基于更新的所述损失函数来优化所述待优化的数据识别模型还包括：
基于更新的所述损失函数训练新的数据识别模型，其中，所述新的数据识别模型是对所述待优化的数据识别模型进行优化后的数据识别模型。
4.根据权利要求2或3所述的方法，所述数据识别模型是通过使所述损失函数的函数值最小训练得到的。
5.根据权利要求1或2或3所述的方法，其中，所述损失函数包括Softmax损失函数。
6.根据权利要求1或2或3所述的方法，其中，一个类对应一个权重向量。
7.根据权利要求6所述的方法，其中，所述权重向量为M维的向量，M为大于1的整数。
8.根据权利要求或1或2或3所述的方法，其中，所述数据包括图像数据、语音数据或文本数据之一。
9.一种数据识别方法，包括：
使用根据权利要求1至8之一所述的优化数据识别模型的方法得到的优化后的数据识别模型进行数据识别。
10.一种数据识别装置，包括：
至少一个处理器，被配置成执行权利要求9所述的方法。
CN201910126230.5A 2019-02-20 2019-02-20 模型优化方法、数据识别方法和数据识别装置 Pending CN111598113A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910126230.5A CN111598113A (zh) 2019-02-20 2019-02-20 模型优化方法、数据识别方法和数据识别装置
JP2019236447A JP2020135858A (ja) 2019-02-20 2019-12-26 モデル最適化方法、データ認識方法及びデータ認識装置
EP20151942.8A EP3699823A1 (en) 2019-02-20 2020-01-15 Model optimization method, data identification method and data identification device
US16/748,107 US20200265308A1 (en) 2019-02-20 2020-01-21 Model optimization method, data identification method and data identification device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910126230.5A CN111598113A (zh) 2019-02-20 2019-02-20 模型优化方法、数据识别方法和数据识别装置

Publications (1)

Publication Number Publication Date
CN111598113A true CN111598113A (zh) 2020-08-28

Family

ID=69172673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910126230.5A Pending CN111598113A (zh) 2019-02-20 2019-02-20 模型优化方法、数据识别方法和数据识别装置

Country Status (4)

Country Link
US (1) US20200265308A1 (zh)
EP (1) EP3699823A1 (zh)
JP (1) JP2020135858A (zh)
CN (1) CN111598113A (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI768951B (zh) * 2021-06-03 2022-06-21 宏碁股份有限公司 訓練老年性黃斑部退化的分類模型的電子裝置和方法
CN113792683B (zh) * 2021-09-17 2024-05-10 平安科技（深圳）有限公司 文本识别模型的训练方法、装置、设备以及存储介质
CN115393645B (zh) * 2022-08-27 2024-08-13 宁波华东核工业勘察设计院集团有限公司 一种土壤自动分类定名方法、系统、存储介质及智能终端
CN117910538B (zh) * 2024-03-19 2024-06-18 成都三一能源环保技术有限公司 基于机器学习的井下钻井仪器运行状态监测系统
CN118411568B (zh) * 2024-06-27 2024-10-01 苏州元脑智能科技有限公司 目标识别模型的训练、目标识别方法、系统、设备及介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10572800B2 (en) * 2016-02-05 2020-02-25 Nec Corporation Accelerating deep neural network training with inconsistent stochastic gradient descent
US10546232B2 (en) * 2017-07-04 2020-01-28 Microsoft Technology Licensing, Llc Image recognition with promotion of underrepresented classes
US10691975B2 (en) * 2017-07-19 2020-06-23 XNOR.ai, Inc. Lookup-based convolutional neural network
KR102570278B1 (ko) * 2017-07-31 2023-08-24 삼성전자주식회사 교사 모델로부터 학생 모델을 트레이닝하는데 사용되는 학습 데이터를 생성하는 장치 및 방법
US20190147320A1 (en) * 2017-11-15 2019-05-16 Uber Technologies, Inc. "Matching Adversarial Networks"

Also Published As

Publication number Publication date
US20200265308A1 (en) 2020-08-20
EP3699823A1 (en) 2020-08-26
JP2020135858A (ja) 2020-08-31

Similar Documents

Publication Publication Date Title
US12131258B2 (en) Joint pruning and quantization scheme for deep neural networks
CN111598113A (zh) 模型优化方法、数据识别方法和数据识别装置
CN111105008A (zh) 模型训练方法、数据识别方法和数据识别装置
Gu et al. Self-organising fuzzy logic classifier
Chen Deep learning with nonparametric clustering
CN109545227B (zh) 基于深度自编码网络的说话人性别自动识别方法及系统
Nguyen et al. Practical and theoretical aspects of mixture‐of‐experts modeling: An overview
CN112884010A (zh) 基于自编码器的多模态自适应融合深度聚类模型及方法
US20210005183A1 (en) Orthogonally constrained multi-head attention for speech tasks
CN111985601A (zh) 用于增量学习的数据识别方法
US11797823B2 (en) Model training with retrospective loss
US20150161232A1 (en) Noise-enhanced clustering and competitive learning
CN117611932B (zh) 基于双重伪标签细化和样本重加权的图像分类方法及系统
US20220121949A1 (en) Personalized neural network pruning
US10733483B2 (en) Method and system for classification of data
CN113269647A (zh) 基于图的交易异常关联用户检测方法
US20230076290A1 (en) Rounding mechanisms for post-training quantization
Al Zorgani et al. Comparative study of image classification using machine learning algorithms
KR20200071865A (ko) 차원 축소에 기반한 영상 객체 인식 시스템 및 방법
CN116010793A (zh) 分类模型训练方法及装置、类别检测方法
CN111401440B (zh) 目标分类识别方法、装置、计算机设备及存储介质
CN116090556A (zh) 信息处理方法、信息处理装置和存储介质
CN114692809A (zh) 基于神经集群的数据处理方法及装置、存储介质、处理器
CN117195895B (zh) 一种基于语义增强机制的关系抽取方法及系统
US20220383117A1 (en) Bayesian personalization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200828