CN109871896A

CN109871896A - 数据分类方法、装置、电子设备及存储介质

Info

Publication number: CN109871896A
Application number: CN201910143402.XA
Authority: CN
Inventors: 张志伟
Original assignee: Beijing Dajia Internet Information Technology Co Ltd
Current assignee: Beijing Dajia Internet Information Technology Co Ltd
Priority date: 2019-02-26
Filing date: 2019-02-26
Publication date: 2019-06-11
Anticipated expiration: 2039-02-26
Also published as: CN109871896B

Abstract

本申请是关于一种数据分类方法、装置、电子设备及存储介质。首先，获取待处理数据，并输入预先训练好的数据分类模型；利用数据分类模型，对待处理数据进行特征提取，分别采用第一映射算法和第二映射算法，将提取的特征映射为第一logits向量和第二logits向量；然后，根据第一logits向量计算待处理数据属于各个类别的预测置信度，并用预测置信度对第二logits向量进行调整；最后，根据调整后的第二logits向量，确定分类结果。由于数据分类模型利用预测置信度对第二logits向量进行调整，再将调整后的第二logits向量输入Softmax层计算预测概率，因此能够提高计算出待处理数据属于各个类别的预测概率的可靠性，从而减少误判、提高数据分类的准确性。

Description

数据分类方法、装置、电子设备及存储介质

技术领域

本公开涉及数据处理技术领域，特别是涉及一种数据分类方法、装置、电子设备及存储介质。

背景技术

在视频图像、语音识别或自然语言处理等相关领域中，都需要进行数据分类。目前，卷积神经网络(CNN)作为深度学习的一个重要分支，具有超强的拟合能力和全局优化能力，因而在上述技术领域中，通常利用CNN模型进行数据的分类。

具体的，如图1所示，相关技术中卷积神经网络包括：卷积层110、池化层120、全连接层130、Softmax层140和输出层150，利用卷积神经网络进行数据分类的过程主要包括如下步骤：

以视频数据的分类为例，首先将待处理的视频数据输入预先训练好的卷积神经网络模型，依次经过卷积神经网络模型的卷积层110、池化层120，进行样本特征的提取及降采样；然后通过全连接层130按预先训练的参数值，采用预设映射算法，对提取到的特征进行映射，得到维度与类别数对应的logits向量，并将logits向量输入至Softmax层140，得到输出向量，输出向量中的各个数值分别表示样本数据属于各个类别的预测概率；最后，由输出层输150根据预测概率和预先设置的概率阈值，得到视频数据的分类结果。

在上述分类过程中，全连接层130按预先训练的参数对提取到的特征进行映射，得到维度与类别数对应的logits向量的步骤，对分类结果是否准确起关键作用。但全连接层130的参数值是训练获得的，其参数值会由选择的训练样本的不同而不同，因此会影响分类结果的稳定性。

发明内容

为克服相关技术中存在的问题，本公开提供一种数据分类方法、装置、电子设备及存储介质。

根据本公开实施例的第一方面，提供一种数据分类方法，所述方法包括：

获取待处理数据；

将所述待处理数据输入预先训练好的数据分类模型；

利用所述数据分类模型，对所述待处理数据进行特征提取；分别采用第一映射算法和第二映射算法对提取的特征进行映射，获得第一logits向量和第二logits向量；根据所述第一logits向量计算所述待处理数据属于各个类别的预测置信度；用所述预测置信度对所述第二logits向量进行调整；根据调整后的所述第二logits向量，确定分类结果；

获得所述数据分类模型输出的分类结果。

可选的，所述数据分类模型为预先训练好的卷积神经网络模型；

所述预先训练好的卷积神经网络模型，包括：卷积层、池化层、第一全连接层、第二全连接层、Sigmoid层、附加层、Softmax层和输出层；

所述利用所述数据分类模型，对所述待处理数据进行特征提取；分别采用第一映射算法和第二映射算法对提取的特征进行映射，获得第一logits向量和第二logits向量；根据所述第一logits向量计算所述待处理数据属于各个类别的预测置信度；用所述预测置信度对所述第二logits向量进行调整；根据调整后的所述第二logits向量，确定分类结果的步骤，包括：

将所述待处理数据输入所述卷积神经网络模型的卷积层和池化层，提取所述待处理数据的特征，并降采样；

将所述池化层输出的所述待处理数据的特征分别输入所述第一全连接层和所述第二全连接层，将提取到的所述特征映射到各个类别，分别获得第一logits向量和第二logits向量；所述第一全连接层和所述第二全连接层的参数不相同；

将所述第一logits向量输入所述Sigmoid层，计算获得所述待处理数据属于各个类别的预测置信度；

将所述预测置信度和所述第二logits向量输入所述附加层，用所述预测置信度对所述第二logits向量进行加权计算，获得加权后的第二logits向量；

将所述加权后的第二logits向量输入所述Softmax层，计算获得所述待处理数据属于各个类别的预测概率；

将所述待处理数据属于各个类别的预测概率，输入所述输出层，根据所述预测概率以及预先设置的概率阈值，确定分类结果。

可选的，所述数据分类模型，采用如下步骤训练获得：

获取多个训练样本；其中，每个训练样本包括样本数据以及该样本数据的监督信息；所述监督信息，包括：每个样本数据所属真实类别、每个样本数据属于各个类别的真实概率以及每个样本数据属于各个类别的真实置信度；

将预设数量个训练样本输入待训练卷积神经网络模型；所述待训练卷积神经网络模型为预设的初始卷积神经网络模型；

根据所述Sigmoid层输出的预测置信度、所述Softmax层输出的预测概率、各个输入的样本数据的监督信息以及待训练卷积神经网络的损失函数，确定损失值；所述待训练卷积神经网络的损失函数，是预先根据置信度交叉熵损失函数和分类交叉熵损失函数设置的；

根据所述损失值判断所述待训练卷积神经网络模型是否收敛；如果收敛，则所述待训练卷积神经网络模型为训练完成的数据分类模型；

如果未收敛，则分别调整所述待训练卷积神经网络模型中第一全连接层和第二全连接层的参数，并返回所述将预设数量个训练样本输入待训练卷积神经网络模型的步骤。

可选的，所述根据所述Sigmoid层输出的预测置信度、所述Softmax层输出的预测概率、各个输入的样本数据的监督信息以及待训练卷积神经网络的损失函数，确定损失值的步骤，包括：

获取所述待训练卷积神经网络模型中Sigmoid层输出的预测置信度；

根据所述预测置信度、置信度交叉熵损失函数以及每个样本数据属于各个类别的真实置信度，确定置信度交叉熵损失函数的损失值；

获取所述待训练卷积神经网络模型中Softmax层输出的预测概率；

根据所述预测概率、分类交叉熵损失函数以及每个样本数据属于各个类别的真实概率，确定分类交叉熵损失函数的损失值；

根据所述置信度交叉熵损失函数的损失值以及分类交叉熵损失函数的损失值，确定所述待训练卷积神经网络模型的损失值。

可选的，所述待训练卷积神经网络的损失函数为：

其中，loss表示所述待训练卷积神经网络的损失函数，loss_conf为所述置信度交叉熵损失函数，loss_clf为所述分类交叉熵损失函数，#Class为分类的类别数，λ为预设的加权系数。

可选的，所述置信度交叉熵损失函数，为：

其中，C表示输入所述待训练卷积神经网络模型的训练样本的数量，q_n表示第n个输入所述待训练卷积神经网络模型的训练样本属于各个类别的真实置信度，表示第n个输入所述待训练卷积神经网络模型的训练样本属于各个类别的预测置信度。

可选的，所述分类交叉熵损失函数，为：

其中，C表示输入所述待训练卷积神经网络模型的训练样本的数量，p_n表示第n个输入所述待训练卷积神经网络模型的训练样本属于各个类别的真实概率，表示第n个输入所述待训练卷积神经网络模型的训练样本属于各个类别的预测概率。

可选的，所述如果未收敛，则分别调整待所述训练卷积神经网络模型中第一全连接层和第二全连接层的参数的步骤，包括：

分别计算所述待训练卷积神经网络的损失函数对于所述第一全连接层当前参数的第一偏导数以及对于所述第二全连接层当前参数的第二偏导数；

根据所述第一全连接层的当前参数、所述第一偏导数以及预设的学习速率，调整所述第一全连接层的参数；

根据所述第二全连接层的当前参数、所述第二偏导数以及预设的学习速率，调整所述第二全连接层的参数。

可选的，用计算出的所述预测置信度对所述第二logits向量按照如下公式进行加权计算：

其中，logits2为所述第二logits向量，为第n个输入所述待训练卷积神经网络模型的训练样本属于各个类别的预测置信度，表示element-wise乘法运算，logitsweighted为所述加权后的第二logits向量。

可选的，所述根据所述预测概率以及预先设置的概率阈值，获得所述数据分类模型输出的分类结果的步骤，包括：

获取所述Softmax层输出的预测概率中的最大值；

判断所述最大值是否达到预设的概率阈值；如果是，则所述最大值对应的类别即为样本数据的预测类别。

根据本公开实施例的第二方面，提供一种数据分类装置，所述装置包括：

数据获取模块，被配置为获取待处理数据；

输入模块，被配置为将所述待处理数据输入预先训练好的数据分类模型；

数据分类模块，被配置为利用所述数据分类模型，对所述待处理数据进行特征提取；分别采用第一映射算法和第二映射算法对提取的特征进行映射，获得第一logits向量和第二logits向量；根据所述第一logits向量计算所述待处理数据属于各个类别的预测置信度；用所述预测置信度对所述第二logits向量进行调整；根据调整后的所述第二logits向量，确定分类结果；

结果获得模块，被配置为获得所述数据分类模型输出的分类结果。

所述数据分类模块，包括：

特征提取单元，被配置将所述待处理数据输入所述卷积神经网络模型的卷积层和池化层，提取所述待处理数据的特征，并降采样；

映射单元，被配置为将所述池化层输出的所述待处理数据的特征分别输入所述第一全连接层和所述第二全连接层，将提取到的所述特征映射到各个类别，分别获得第一logits向量和第二logits向量；所述第一全连接层和所述第二全连接层的参数不相同；

置信度计算单元，被配置为将所述第一logits向量输入所述Sigmoid层，计算获得所述待处理数据属于各个类别的预测置信度；

加权计算单元，被配置为将所述预测置信度和所述第二logits向量输入所述附加层，用所述预测置信度对所述第二logits向量进行加权计算，获得加权后的第二logits向量；

概率计算单元，被配置为将所述加权后的第二logits向量输入所述Softmax层，计算获得所述待处理数据属于各个类别的预测概率；

结果确定单元，被配置为将所述待处理数据属于各个类别的预测概率，输入所述输出层，根据所述预测概率以及预先设置的概率阈值，确定分类结果。

可选的，所述数据分类模型，采用训练模块训练获得；

所述训练模块，包括：

样本获取单元，被配置为获取多个训练样本；其中，每个训练样本包括样本数据以及该样本数据的监督信息；所述监督信息，包括：每个样本数据所属真实类别、每个样本数据属于各个类别的真实概率以及每个样本数据属于各个类别的真实置信度；

样本输入单元，被配置为将预设数量个训练样本输入待训练卷积神经网络模型；所述待训练卷积神经网络模型为预设的初始卷积神经网络模型；

损失值确定单元，被配置为根据所述Sigmoid层输出的预测置信度、所述Softmax层输出的预测概率、各个输入的样本数据的监督信息以及待训练卷积神经网络的损失函数，确定损失值；所述待训练卷积神经网络的损失函数，是预先根据置信度交叉熵损失函数和分类交叉熵损失函数设置的；

收敛判断单元，被配置为根据所述损失值判断所述待训练卷积神经网络模型是否收敛；如果收敛，则所述待训练卷积神经网络模型为训练完成的数据分类模型；

参数调整单元，被配置为在所述待训练卷积神经网络未收敛时，分别调整所述待训练卷积神经网络模型中第一全连接层和第二全连接层的参数，并触发所述样本输入单元执行将预设数量个训练样本输入待训练卷积神经网络模型的步骤。

可选的，所述损失值确定单元，包括：

第一获取子单元，被配置为获取所述待训练卷积神经网络模型中Sigmoid层输出的预测置信度；

第一损失值确定子单元，被配置为根据所述预测置信度、置信度交叉熵损失函数以及每个样本数据属于各个类别的真实置信度，确定置信度交叉熵损失函书的损失值；

第二获取子单元，被配置为获取所述待训练卷积神经网络模型中Softmax层输出的预测概率；

第二损失值确定子单元，被配置为根据所述预测概率、分类交叉熵损失函数以及每个样本数据属于各个类别的真实概率，确定分类交叉熵损失函数的损失值；

第三损失值确定子单元，被配置为根据所述置信度交叉熵损失函数的损失值以及分类交叉熵损失函数的损失值，确定所述待训练卷积神经网络模型的损失值。

可选的，所述参数调整单元，包括：

偏导数计算子单元，被配置为分别计算所述待训练卷积神经网络的损失函数对于所述第一全连接层当前参数的第一偏导数以及对于所述第二全连接层当前参数的第二偏导数；

第一参数调整子单元，被配置为根据所述第一全连接层的当前参数、所述第一偏导数以及预设的学习速率，调整所述第一全连接层的参数；

第二参数调整子单元，被配置为根据所述第二全连接层的当前参数、所述第二偏导数以及预设的学习速率，调整所述第二全连接层的参数。

可选的，所述加权计算单元，被配置为按照如下公式用计算出的所述预测置信度对所述第二logits向量进行加权计算：

其中，Logits₂为所述第二logits向量，为第n个输入所述待训练卷积神经网络模型的训练样本属于各个类别的预测置信度，表示element-wise乘法运算，logits_weighted为所述加权后的第二logits向量。

可选的，所述结果确定单元，包括：

最大值获取子单元，被配置为获取所述Softmax层输出的预测概率中的最大值；

判断子单元，被配置为判断所述最大值是否达到预设的概率阈值；如果是，则所述最大值对应的类别即为样本数据的预测类别。

根据本公开实施例的第三方面，提供一种电子设备，所述的电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：执行所述存储器上所存放的可执行指令时，实现上述第一方面任一所述的方法步骤。

根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述第一方面任一所述的方法步骤。

根据本公开实施例的第五方面，提供一种计算机程序产品，当所述计算机程序产品由电子设备的处理器执行时，使得电子设备能够执行上述第一方面任一所述的方法步骤。

本公开的实施例提供的技术方案可以包括以下有益效果：通过获取待处理数据，并输入预先训练好的数据分类模型；利用数据分类模型，对待处理数据进行特征提取，分别采用第一映射算法和第二映射算法对提取的特征进行映射，获得第一logits向量和第二logits向量；然后，根据第一logits向量计算待处理数据属于各个类别的预测置信度，并用预测置信度对第二logits向量进行调整；最后，根据调整后的第二logits向量，确定分类结果。由于数据分类模型利用预测置信度对第二logits向量进行调整，再将调整后的第二logits向量输入Softmax层计算预测概率，因此能够提高计算出待处理数据属于各个类别的预测概率的可靠性，从而减少误判、提高数据分类的准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是相关技术中卷积神经网络的结构示意图。

图2是根据一示例性实施例示出的一种数据分类方法的流程图。

图3是根据一示例性实施例示出的一种卷积神经网络的结构示意图。

图4是根据一示例性实施例示出的一种数据分类装置的框图。

图5是根据一示例性实施例示出的一种用于数据分类的装置的框图。

图6是根据一示例性实施例示出的另一种用于数据分类的装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

图2是根据一示例性实施例示出的一种数据分类方法的流程图，包括以下步骤：

在步骤S201中，获取待处理数据。

具体的，待处理数据可以为视频数据、图像数据、语音数据或文本数据等。

在步骤S202中，将待处理数据输入预先训练好的数据分类模型。

在步骤S203中，利用所述数据分类模型，对所述待处理数据进行特征提取；分别采用第一映射算法和第二映射算法对提取的特征进行映射，获得第一logits向量和第二logits向量；根据所述第一logits向量计算所述待处理数据属于各个类别的预测置信度；用所述预测置信度对所述第二logits向量进行调整；根据调整后的所述第二logits向量，确定分类结果。

具体的，利用数据分类模型，对待处理数据进行特征提取，分别使用第一映射算法和第二映射算法对提取出的特征进行映射，获得维度与类别数对应的第一logits向量和第二logits向量；然后，根据第一logits向量计算待处理数据属于各个类别的预测置信度，并用计算出的预测置信度对第二logits向量进行加权计算，获得加权后的第二logits向量；最后，根据加权后的第二logits向量计算待处理数据属于各个类别的预测概率，根据预测概率以及预先设置的概率阈值，确定分类结果。

在步骤S204中，获得数据分类模型输出的分类结果。

本实施例中，数据分类模型可以为预先训练好的卷积神经网络模型。如图3所示，该卷积神经网络模型，包括：卷积层310、池化层320、第一全连接层330、第二全连接层340、Sigmoid层350、附加层360、Softmax层370和输出层380。具体的，利用数据分类模型对待处理数据进行分类的过程如下：

首先，将待处理数据输入卷积神经网络模型的卷积层310，提取待处理数据的特征，并输入池化层320进行降采样；将池化层输出的待处理数据的特征分别输入第一全连接层330和第二全连接层340，映射提取到的特征到各个类别，分别获得第一logits向量和第二logits向量；其中，第一全连接层330和第二全连接层340的参数不相同，映射算法相同。

然后，将第一logits向量输入Sigmoid层350，计算获得待处理数据属于各个类别的预测置信度，并将预测置信度和第二logits向量输入附加层360，用预测置信度对第二logits向量按照如下公式加权计算：

其中，logits₂为第二logits向量，为第n个输入待训练卷积神经网络模型的训练样本属于各个类别的预测置信度，表示element-wise乘法运算，logits_weighted为加权后的第二logits向量。

获得加权后的第二logits向量后，将加权后的第二logits向量输入Softmax层370，计算获得待处理数据属于各个类别的预测概率。

最后，输出层380根据Softmax层370计算出的预测概率以及预先设置的概率阈值，确定分类结果。

具体的，获取Softmax层输出的预测概率中的最大值；判断该最大值是否达到预设的概率阈值；如果是，则该最大值对应的类别即为样本数据的预测类别。

以对一个手写的一位数字作为待处理数据进行识别，识别该数字属于0～9的分类中的哪类为例，分类的类别数#Class＝10，若预先设置的概率阈值为0.6，将待处理数据输入数据分类模型，假设Softmax层370输出的预测概率为[0.01；0.07；0.02；0.7；0；0.05；0；0.08；0；0.07]，该10×1列向量中的10个数值分别表示待处理数据属于0～9这10个数字的预测概率。可以理解的是，由于预测概率中，待处理数据属于数字“3”的预测概率最大为0.7，且大于概率阈值0.6，因此，待处理数据的分类结果为数字“3”。

可选的，数据分类模型可以采用如下步骤训练获得：

步骤一，获取多个训练样本；其中，每个训练样本包括样本数据以及该样本数据的监督信息；监督信息，包括：每个样本数据所属真实类别、每个样本数据属于各个类别的真实概率以及每个样本数据属于各个类别的真实置信度。

步骤二，将预设数量个训练样本输入待训练卷积神经网络模型；待训练卷积神经网络模型为预设的初始卷积神经网络模型。

步骤三，根据Sigmoid层350输出的预测置信度、Softmax层370输出的预测概率、各个输入的样本数据的监督信息以及待训练卷积神经网络的损失函数，确定损失值；其中，待训练卷积神经网络的损失函数，是预先根据置信度交叉熵损失函数和分类交叉熵损失函数设置的。

具体的，确定待训练卷积神经网络的损失值时，先获取待训练卷积神经网络模型中Sigmoid层350输出的预测置信度，根据预测置信度、置信度交叉熵损失函数以及每个样本数据属于各个类别的真实置信度，按照如下公式确定置信度交叉熵损失函数的损失值：

其中，C表示输入待训练卷积神经网络模型的训练样本的数量，q_n表示第n个输入待训练卷积神经网络模型的训练样本属于各个类别的真实置信度，表示第n个输入待训练卷积神经网络模型的训练样本属于各个类别的预测置信度。

然后，获取待训练卷积神经网络模型中Softmax层370输出的预测概率，根据预测概率、分类交叉熵损失函数以及每个样本数据属于各个类别的真实概率，按照如下公式确定分类交叉熵损失函数的损失值：

其中，C表示输入待训练卷积神经网络模型的训练样本的数量，p_n表示第n个输入待训练卷积神经网络模型的训练样本属于各个类别的真实概率，表示第n个输入待训练卷积神经网络模型的训练样本属于各个类别的预测概率。

最后，根据置信度交叉熵损失函数的损失值以及分类交叉熵损失函数的损失值，按照如下公式确定待训练卷积神经网络模型的损失值：

其中，loss表示待训练卷积神经网络的损失函数，loss_conf为置信度交叉熵损失函数，loss_clf为分类交叉熵损失函数，#Class为分类的类别数，λ为预设的加权系数。

步骤四，根据损失值判断待训练卷积神经网络模型是否收敛；如果收敛，则待训练卷积神经网络模型为训练完成的数据分类模型。

步骤五，如果未收敛，则分别调整待训练卷积神经网络模型中第一全连接层330和第二全连接层340的参数，并返回将预设数量个训练样本输入待训练卷积神经网络模型的步骤。

本步骤中，如果待训练卷积神经网络的损失值大于预设精度，则表示待训练卷积神经网络未收敛，则分别调整待训练卷积神经网络模型中第一全连接层330和第二全连接层340的参数。

具体的，先分别计算待训练卷积神经网络的损失函数对于第一全连接层330当前参数的第一偏导数以及对于第二全连接层340当前参数的第二偏导数；然后，根据第一全连接层330的当前参数、第一偏导数以及预设的学习速率，调整第一全连接层330的参数，并根据第二全连接层340的当前参数、第二偏导数以及预设的学习速率，调整第二全连接层340的参数。

本申请实施例提供的数据分类方法可以包括以下有益效果：通过获取待处理数据，并输入预先训练好的数据分类模型；利用数据分类模型，对待处理数据进行特征提取，分别采用第一映射算法和第二映射算法对提取的特征进行映射，获得第一logits向量和第二logits向量；然后，根据第一logits向量计算待处理数据属于各个类别的预测置信度，并用预测置信度对第二logits向量进行调整；最后，根据调整后的第二logits向量，确定分类结果。由于数据分类模型利用预测置信度对第二logits向量进行调整，再将调整后的第二logits向量输入Softmax层计算预测概率，因此能够提高计算出待处理数据属于各个类别的预测概率的可靠性，从而减少误判、提高数据分类的准确性。

图4是根据一示例性实施例示出的一种数据分类装置框图。参照图4，该装置包括数据获取模块410，输入模块420，数据分类模块430，结果获得模块440。

该数据获取模块410被配置为获取待处理数据；

该输入模块420被配置为将待处理数据输入预先训练好的数据分类模型；

该数据分类模块430被配置为利用所述数据分类模型，对所述待处理数据进行特征提取；分别采用第一映射算法和第二映射算法对提取的特征进行映射，获得第一logits向量和第二logits向量；根据所述第一logits向量计算所述待处理数据属于各个类别的预测置信度；用所述预测置信度对所述第二logits向量进行调整；根据调整后的所述第二logits向量，确定分类结果；

该结果获得模块440被配置为获得所述数据分类模型输出的分类结果。

本申请实施例提供的数据分类装置可以包括以下有益效果：通过获取待处理数据，并输入预先训练好的数据分类模型；利用数据分类模型，对待处理数据进行特征提取，分别采用第一映射算法和第二映射算法对提取的特征进行映射，获得第一logits向量和第二logits向量；然后，根据第一logits向量计算待处理数据属于各个类别的预测置信度，并用预测置信度对第二logits向量进行调整；最后，根据调整后的第二logits向量，确定分类结果。由于数据分类模型利用预测置信度对第二logits向量进行调整，再将调整后的第二logits向量输入Softmax层计算预测概率，因此能够提高计算出待处理数据属于各个类别的预测概率的可靠性，从而减少误判、提高数据分类的准确性。

可选的，在本实施例中，该数据分类模型为预先训练好的卷积神经网络模型；

该预先训练好的卷积神经网络模型，包括：卷积层、池化层、第一全连接层、第二全连接层、Sigmoid层、附加层、Softmax层和输出层；

该数据分类模块430，可以包括：

特征提取单元，被配置将待处理数据输入卷积神经网络模型的卷积层和池化层，提取所述待处理数据的特征，并降采样；

映射单元，被配置为将池化层输出的待处理数据的特征分别输入第一全连接层和第二全连接层，将提取到的所述特征映射到各个类别，分别获得第一logits向量和第二logits向量；第一全连接层和第二全连接层的参数不相同；

置信度计算单元，被配置为将所述第一logits向量输入Sigmoid层，计算获得所述待处理数据属于各个类别的预测置信度；

概率计算单元，被配置为将所述加权后的第二logits向量输入Softmax层，计算获得所述待处理数据属于各个类别的预测概率；

可选的，在本实施例中，该数据分类模型，采用训练模块训练获得；

该训练模块，可以包括：

损失值确定单元，被配置为根据Sigmoid层输出的预测置信度、Softmax层输出的预测概率、各个输入的样本数据的监督信息以及待训练卷积神经网络的损失函数，确定损失值；所述待训练卷积神经网络的损失函数，是预先根据所述置信度交叉熵损失函数和分类交叉熵损失函数设置的；

收敛判断单元，被配置为根据所述损失值判断待训练卷积神经网络模型是否收敛；如果收敛，则待训练卷积神经网络模型为训练完成的数据分类模型；

参数调整单元，被配置为如果未收敛，则分别调整待训练卷积神经网络模型中第一全连接层和第二全连接层的参数，并触发样本输入单元执行将预设数量个训练样本输入待训练卷积神经网络模型的步骤。

可选的，在本实施例中，该损失值确定单元，可以包括：

第一获取子单元，被配置为获取待训练卷积神经网络模型中Sigmoid层输出的预测置信度；

第二获取子单元，被配置为获取待训练卷积神经网络模型中Softmax层输出的预测概率；

第三损失值确定子单元，被配置为根据所述置信度交叉熵损失函数的损失值以及分类交叉熵损失函数的损失值，确定待训练卷积神经网络模型的损失值。

可选的，在本实施例中，该参数调整单元，可以包括：

偏导数计算子单元，被配置为分别计算所述待训练卷积神经网络的损失函数对于第一全连接层当前参数的第一偏导数以及对于第二全连接层当前参数的第二偏导数；

第一参数调整子单元，被配置为根据第一全连接层的当前参数、所述第一偏导数以及预设的学习速率，调整第一全连接层的参数；

第二参数调整子单元，被配置为根据第二全连接层的当前参数、所述第二偏导数以及预设的学习速率，调整第二全连接层的参数。

可选的，在本实施例中，该加权计算单元，被配置为按照如下公式用计算出的所述预测置信度对所述第二logits向量进行加权计算：

其中，Logits₂为所述第二logits向量，为第n个输入待训练卷积神经网络模型的训练样本属于各个类别的预测置信度，表示element-wise乘法运算。

可选的，在本实施例中，该结果确定单元，可以包括：

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图5是根据一示例性实施例示出的一种用于数据分类的装置500的框图。例如，装置500可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图5，装置500可以包括以下一个或多个组件：处理组件502，存储器504，电力组件506，多媒体组件508，音频组件510，输入/输出(I/O)的接口512，传感器组件514，以及通信组件516。

处理组件502通常控制装置500的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件502可以包括一个或多个处理器520来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件502可以包括一个或多个模块，便于处理组件502和其他组件之间的交互。例如，处理组件502可以包括多媒体模块，以方便多媒体组件508和处理组件502之间的交互。

存储器504被配置为存储各种类型的数据以支持在设备500的操作。这些数据的示例包括用于在装置500上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件506为装置500的各种组件提供电力。电源组件506可以包括电源管理系统，一个或多个电源，及其他与为装置500生成、管理和分配电力相关联的组件。

多媒体组件508包括在所述装置500和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件508包括一个前置摄像头和/或后置摄像头。当设备500处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件510被配置为输出和/或输入音频信号。例如，音频组件510包括一个麦克风(MIC)，当装置500处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中，音频组件510还包括一个扬声器，用于输出音频信号。

I/O接口512为处理组件502和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件514包括一个或多个传感器，用于为装置500提供各个方面的状态评估。例如，传感器组件514可以检测到设备500的打开/关闭状态，组件的相对定位，例如所述组件为装置500的显示器和小键盘，传感器组件514还可以检测装置500或装置500一个组件的位置改变，用户与装置500接触的存在或不存在，装置500方位或加速/减速和装置500的温度变化。传感器组件514可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件514还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件516被配置为便于装置500和其他设备之间有线或无线方式的通信。装置500可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件516还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器504，上述指令可由装置500的处理器520执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

图6是根据一示例性实施例示出的一种用于数据分类的装置600的框图。例如，装置600可以被提供为一服务器。参照图6，装置600包括处理组件622，其进一步包括一个或多个处理器，以及由存储器632所代表的存储器资源，用于存储可由处理组件622的执行的指令，例如应用程序。存储器632中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件622被配置为执行指令，以执行本申请实施例所提供的一种数据分类方法。

装置600还可以包括一个电源组件626被配置为执行装置600的电源管理，一个有线或无线网络接口650被配置为将装置600连接到网络，和一个输入输出(I/O)接口658。装置600可以操作基于存储在存储器632的操作系统，例如Windows ServerTM，Mac OSXTM，UnixTM,LinuxTM，FreeBSDTM或类似。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims

1.一种数据分类方法，其特征在于，包括：

获取待处理数据；

将所述待处理数据输入预先训练好的数据分类模型；

获得所述数据分类模型输出的分类结果。

2.根据权利要求1所述的数据分类方法，其特征在于，所述数据分类模型为预先训练好的卷积神经网络模型；

3.根据权利要求2所述的方法，其特征在于，所述数据分类模型，采用如下步骤训练获得：

4.根据权利要求3所述的数据分类方法，其特征在于，所述根据所述Sigmoid层输出的预测置信度、所述Softmax层输出的预测概率、各个输入的样本数据的监督信息以及待训练卷积神经网络的损失函数，确定损失值的步骤，包括：

5.根据权利要求4所述的数据分类方法，其特征在于，所述待训练卷积神经网络的损失函数为：

6.根据权利要求5所述的数据分类方法，其特征在于，所述置信度交叉熵损失函数，为：

7.根据权利要求5所述的数据分类方法，其特征在于，所述分类交叉熵损失函数，为：

8.一种数据分类装置，其特征在于，包括：

数据获取模块，被配置为获取待处理数据；

9.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。

10.一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够在执行时实现权利要求1-7任一所述的方法步骤。