CN107239532A - 数据挖掘方法及装置 - Google Patents

Abstract

本发明公开了一种数据挖掘方法及装置，涉及数据挖掘技术领域。其中的方法包括：将目标的内容数据输入内容卷积神经网络CNN，获取目标的内容特征向量；将目标的内容特征向量输入深度神经网络DNN，获取目标的预估数据。从而在不需要提供目标的历史数据的情况下，高效的获取目标更为准确的预估数据。

Description

数据挖掘方法及装置

技术领域

本发明涉及数据挖掘技术领域，特别涉及一种数据挖掘方法及装置。

背景技术

物流调度是电商网站运营的重要环节，高效的物流调度依赖于准确的商品销量预估。因此，优化销量预估方法，对降低电商网站运营成本，提高用户购物体验而言至关重要。如果能准确预估目标商品在目标时间和地域条件下的销量，可以提前对目标商品在各区域的库存进行调度和备货，或提前引导消费者合理安排消费，从而可以节省货物运输和库存成本，提高用户的购物体验。

传统销量预估方法，通常需要积累目标商品的历史销量数据，并通过历史销量数据估计目标商品的实际销量数据。这种方法过于依赖于积累目标商品的历史销量数据，不能举一反三，因此对新品销量预估的准确性较差，容易造成新品货物积压或备货不足的现象，进而造成损失。

现有技术中还存在的销量预估方法是，分析目标商品的属性，并利用目标商品的属性将目标商品与其它商品相关联。例如，书籍的属性包括作者、内容分类等等。然后，从不同的属性维度统计目标商品、相关商品或属性聚合商品的统计销量数据。最后，根据得到的各维度统计销量数据，例如该作者以及该内容分类的统计销量数据，预测得到目标商品的销量。这种方法的存在的问题是，关联商品的策略较为简单，并且关联商品的数量限制太少。对于类别、品牌繁多的电商商品来说，该方法过于简化问题，主观性强，使得预估数据准确性较低。同时，由于在预估过程中需要大量人工特征工程的工作，如按照多种维度提取统计数据，设计各种规则提取相关商品等等，这些工作非常依赖于工程师的经验，易受主观性影响，提取的特征质量参差不齐，存在大量无效甚至起反作用的人工特征，而要优化其中的特征提取规则非常费时，效率较低。

发明内容

本发明解决的一个技术问题是，如何在不需要提供目标的历史数据的情况下，高效的获取目标更为准确的预估数据。

根据本发明实施例的一个方面，提供了一种数据挖掘方法，包括：将目标的内容数据输入内容卷积神经网络CNN，获取目标的内容特征向量；将目标的内容特征向量输入深度神经网络DNN，获取目标的预估数据。

在一些实施例中，该方法还包括：将目标的历史数据输入统计CNN，获取目标的统计特征向量；将目标的内容特征向量和目标的统计特征向量级联后输入深度神经网络DNN，获取目标的预估数据。

在一些实施例中，将目标的内容数据输入内容卷积神经网络CNN，获取目标的内容特征向量包括：利用文本深度表示模型，将目标的文本描述编码为二维矩阵；将二维矩阵输入内容CNN，获取目标的文本特征向量，并将文本特征向量作为目标的内容特征向量。

在一些实施例中，将目标的内容数据输入内容卷积神经网络CNN，获取目标的内容特征向量包括：根据目标的图片的像素值，将目标的图片编码为多维矩阵；将多维矩阵输入内容CNN，获取目标的图片特征向量，并将图片特征向量作为目标的内容特征向量。

在一些实施例中，内容CNN包括第一内容CNN和第二CNN；将目标的内容数据输入内容卷积神经网络CNN，获取目标的内容特征向量包括：利用文本深度表示模型，将目标的文本描述编码为二维矩阵；将二维矩阵输入第一内容CNN，获取目标的文本特征向量；根据目标的图片的像素值，将目标的图片编码为多维矩阵；将多维矩阵输入第二内容CNN，获取目标的图片特征向量；将文本特征向量与图片特征向量作为目标的内容特征向量。

在一些实施例中，将目标的历史数据输入统计CNN，获取目标的统计特征向量包括：将目标在不同时段的历史数据级联为时域统计序列；将时域统计序列输入统计CNN，获取目标的时域统计特征向量，并将时域统计特征向量作为目标的统计特征向量。

在一些实施例中，将目标的历史数据输入统计CNN，获取目标的统计特征向量包括：将目标的统计区域离散化为多个子区域；将目标在相同时段不同子区域内的历史数据编码为地域统计矩阵；将地域统计矩阵输入统计CNN，获取目标的地域统计特征向量，并将地域统计特征向量作为目标的统计特征向量。

在一些实施例中，统计CNN包括第一统计CNN和第二统计CNN；将目标的历史数据输入统计CNN，获取目标的统计特征向量包括：将目标在不同时段的历史销量级联为时域统计序列；将时域统计序列输入第一统计CNN，获取目标的时域统计特征向量；将目标的统计区域离散化为多个子区域；将目标在相同时段不同子区域内的历史数据编码为地域统计矩阵；将地域统计矩阵输入第二统计CNN，获取目标的地域统计特征向量；将时域统计特征向量与地域统计特征向量作为目标的统计特征向量。

在一些实施例中，内容CNN由卷积层、池化层、全连接层以及输出层组成。

在一些实施例中，统计CNN由卷积层、池化层、以及输出层组成。

在一些实施例中，DNN由全连接层和输出层组成，全连接层中的各个神经元执行非线性激活函数运算。

在一些实施例中，该方法还包括：计算目标的实际数据与预估数据的平均平方误差；利用反向传播算法，将平均平方误差从内容CNN、统计CNN以及DNN组成的组合神经网络的输出层向输入层传递，以迭代更新组合神经网络中各层的参数。

在一些实施例中，该方法还包括：利用样本的内容数据和样本的历史数据，对内容CNN、统计CNN以及DNN组成的组合神经网络进行训练。

根据本发明实施例的另一个方面，提供了一种数据挖掘装置，包括：内容特征向量获取模块，配置为将目标的内容数据输入内容卷积神经网络CNN，获取目标的内容特征向量；预估数据获取模块，配置为将目标的内容特征向量输入深度神经网络DNN，获取目标的预估数据。

在一些实施例中，该装置还包括统计特征向量获取模块，配置为将目标的历史数据输入统计CNN，获取目标的统计特征向量；预估数据获取模块还配置为：将目标的内容特征向量和目标的统计特征向量级联后输入深度神经网络DNN，获取目标的预估数据。

在一些实施例中，内容特征向量获取模块配置为：利用文本深度表示模型，将目标的文本描述编码为二维矩阵；将二维矩阵输入内容CNN，获取目标的文本特征向量，并将文本特征向量作为目标的内容特征向量。

在一些实施例中，内容特征向量获取模块配置为：根据目标的图片的像素值，将目标的图片编码为多维矩阵；将多维矩阵输入内容CNN，获取目标的图片特征向量，并将图片特征向量作为目标的内容特征向量。

在一些实施例中，内容CNN包括第一内容CNN和第二内容CNN；内容特征向量获取模块配置为：利用文本深度表示模型，将目标的文本描述编码为二维矩阵；将二维矩阵输入第一内容CNN，获取目标的文本特征向量；根据目标的图片的像素值，将目标的图片编码为多维矩阵；将多维矩阵输入第二内容CNN，获取目标的图片特征向量；将文本特征向量与图片特征向量作为目标的内容特征向量。

在一些实施例中，统计特征向量获取模块配置为：将目标在不同时段的历史数据级联为时域统计序列；将时域统计序列输入统计CNN，获取目标的时域统计特征向量，并将时域统计特征向量作为目标的统计特征向量。

在一些实施例中，统计特征向量获取模块配置为：将目标的统计区域离散化为多个子区域；将目标在相同时段不同子区域内的历史数据编码为地域统计矩阵；将地域统计矩阵输入统计CNN，获取目标的地域统计特征向量，并将地域统计特征向量作为目标的统计特征向量。

在一些实施例中，统计CNN包括第一统计CNN和第二统计CNN；统计特征向量获取模块配置为：将目标在不同时段的历史销量级联为时域统计序列；将时域统计序列输入第一统计CNN，获取目标的时域统计特征向量；将目标的统计区域离散化为多个子区域；将目标在相同时段不同子区域内的历史数据编码为地域统计矩阵；将地域统计矩阵输入第二统计CNN，获取目标的地域统计特征向量；将时域统计特征向量与地域统计特征向量作为目标的统计特征向量。

在一些实施例中，内容CNN由卷积层、池化层、全连接层以及输出层组成。

在一些实施例中，统计CNN由卷积层、池化层、以及输出层组成。

在一些实施例中，DNN由全连接层和输出层组成，全连接层中的各个神经元执行非线性激活函数运算，得到目标的预估数据。

在一些实施例中，该装置还包括参数更新模块，配置为：计算目标的实际数据与预估数据的平均平方误差；利用反向传播算法，将平均平方误差从内容CNN、统计CNN以及DNN组成的组合神经网络的输出层向输入层传递，以迭代更新组合神经网络中各层的参数。

在一些实施例中，该装置还包括训练模块，配置为利用样本的内容数据和样本的历史数据，对内容CNN、统计CNN以及DNN组成的组合神经网络进行训练。

根据本发明实施例的又一个方面，提供了一种数据挖掘装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器中的指令，执行前述的数据挖掘方法。

根据本发明实施例的再一个方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现前述的数据挖掘方法。

本发明提供的数据挖掘方法，能够通过统计卷积神经网络获取目标的内容特征向量，进而通过深度神经网络获取目标的预估数据。从而在不需要提供目标的历史数据的情况下，高效的获取目标更为准确的预估数据。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示出内容CNN、统计CNN以及DNN组成的组合神经网络的示意图。

图2示出了内容CNN的网络结构示意图。

图3示出了统计CNN的网络结构示意图。

图4示出了DNN的网络结构示意图。

图5示出本发明数据挖掘方法的一个实施例的流程示意图。

图6示出本发明数据挖掘方法的另一个实施例的流程示意图。

图7示出本发明数据挖掘装置的一个实施例的结构示意图。

图8示出了本发明数据挖掘装置的另一个实施例的结构图。

图9示出了本发明数据挖掘装置的又一个实施例的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明提供的技术方案中涉及CNN(Convolutional Neural Network，卷积神经网络)以及DNN(Deep Neural Network，深度神经网络)。图1示出内容CNN、统计CNN以及DNN组成的组合神经网络的示意图。

以商品为例，内容CNN的输入为目标商品的内容数据，内容CNN能够从内容角度分析目标商品，并提取目标商品的内容特征向量。统计CNN的输入为目标商品的销量数据，统计CNN通过多层卷积神经网络，多尺寸的滑动卷积窗口，自动抽取目标商品的不同维度统计特征向量。DNN的输入为目标商品的内容特征向量以及目标商品的统计特征向量所拼接成的特征向量，DNN能够学习高阶的组合特征，最后线性组合得到目标商品的预估数据。

在使用内容CNN、统计CNN以及DNN组成的组合神经网络获取目标的预估数据之前，需要利用样本商品的内容数据和样本商品的历史数据对内容CNN、统计CNN以及DNN组成的组合神经网络进行训练。为使得输入的训练数据满足神经网络的数据输入要求，需要对样本商品的原始数据进行预处理。

对于商品的内容数据而言，可以将商品的文本描述或者商品图片编码为内容数据。

例如，商品的文本描述为“iPadMini平板电脑32GB”，那么可以将文本描述分成3个词语“iPadMini”、“平板电脑”、“32GB”，然后利用文本深度表示模型Word2Vec，将目标的文本描述编码为如表1所示的二维矩阵。表1所示的二维矩阵为50行3列的矩阵，矩阵的每一列代表一个词语所对应的词向量，把这些词向量按照出现顺序连接即可生成编码二维矩阵。矩阵的每一行代表各词语在词向量空间的某一个维度(共50维)。

表1

再比如，可以将RGB三通道的商品图片缩放为100×100像素的图片，然后用8位整型表示每通道的像素值，像素值范围为0～255。由于图片具有RGB三个通道，且一共具有100×100个像素点，因此以像素点在每通道的像素值进行编码，可以将图片编码为100×100×3的编码矩阵。当然，为了减少后续CNN网络的运算负荷，还可以对每个像素点的像素值进行归一化运算。

对于商品的历史数据而言，可以将商品在不同时段的历史销量编码为历史数据，还可以将商品在相同时段不同子区域内的历史销量编码为历史数据。

例如，某种商品在过去5天的历史销量数据如表2所示。那么可以将该数据级联为时域统计序列10，15，5，4，3。

10

15

5

4

3

表2

再比如，可以将地图按照空间分割成相等大小的方块，以此建立地域统计矩阵，地域统计矩阵中的每个元素分别对应商品在每个分割方块地区的销量数据，例如表3所示。其中，X表示该区域内商品的销量未知，需要进行预估。

1	0	1	0	0
					0	0	X	0	0
0	3	5	0	0
					0	0	0	6	0
0	0	0	0	0

表3

完成原始数据的预处理后，可以将预处理后的地域统计矩阵输入组合神经网络，以对组合神经网络进行训练。

图2示出了内容CNN的网络结构示意图。从图2可以看出，内容CNN由卷积层、池化层、全连接层以及输出层组成。其中，卷积层和池化层学习商品的局部信息，然后将局部特征信息汇合到全连接层，全连接层则学习包含商品的全局信息，最终输出内容特征向量，例如一个50维的向量，作为DNN的输入。

本领域技术人员应理解，在从商品的文本描述中提取内容特征向量时，也可以使用RNN(Recurrent Neural Networks,循环神经网络)代替内容CNN。

图3示出了统计CNN的网络结构示意图。从图3可以看出，统计CNN由卷积层、池化层、以及输出层组成。统计CNN的输入可以是商品按时间排列的销量数据(用颜色的深浅代表该时段的销量高低)。训练过程中，如果输入表2所示时域序列，则同时还需要输入样本商品的实际销量，例如时域统计序列10，15，5，4，3，6；如果输入表3所示地域序列，则同时还需要输入样本商品在相应时间特定区域的实际销量(X的取值)。

与图2所示的内容CNN相区别的是，统计CNN不具有全连接层，因为全连接层会破坏统计数据的局部性。这里的局部性是指，对于这里提取出的统计特征，每一个特征只是跟某段时间的销量序列有关，并没有包含全局销量信息。如果在统计CNN中插入全连接层，相当于在CNN末端就进行了统计特征整合，而对统计特征的整合处理设置在后续的DNN中更为合理。例如，统计CNN的输出可以是10维的向量，作为DNN的输入。

图4示出了DNN的网络结构示意图。从图4可以看出，DNN由全连接层和输出层组成。DNN网络的输入是由上述内容特征向量和统计特征向量连接的一维特征向量，例如可以是由50维的内容特征向量和10维的统计特征向量级联成的60维的特征向量。

全连接层中的各个神经元对输入的内容特征向量或者输入的级联后的内容特征向量和统计特征向量进行relu或sigmoid等非线性激活函数运算，学习到复杂的组合函数，最终输出商品的预估销量，该预估销量可以为一个浮点数。通常而言，relu算法优于sigmoid算法，因为relu算法不具有如sigmoid算法的较大饱和区。sigmoid算法的较大饱和区使得梯度后向传播算法常会导致梯度弥散问题，从而使得DNN网络得不到有效的训练。

下面结合图5描述本发明提供的数据挖掘方法的一个实施例。

图5示出本发明数据挖掘方法的一个实施例的流程示意图。如图5所示，该实施例的数据挖掘方法包括：

步骤S502，将目标的内容数据输入内容CNN，获取目标的内容特征向量。

下面列举步骤S502的三种实现方式。

(1)利用文本深度表示模型，将目标的文本描述编码为二维矩阵。将二维矩阵输入第一内容CNN，获取目标的文本特征向量，并将文本特征向量作为目标的内容特征向量。

(2)根据目标的图片的像素值，将目标的图片编码为多维矩阵。将多维矩阵输入第二内容CNN，获取目标的图片特征向量，并将图片特征向量作为目标的内容特征向量。

(3)利用文本深度表示模型，将目标的文本描述编码为二维矩阵。将二维矩阵输入第一内容CNN，获取目标的文本特征向量。根据目标的图片的像素值，将目标的图片编码为多维矩阵。将多维矩阵输入第二内容CNN，获取目标的图片特征向量。将文本特征向量与图片特征向量作为目标的内容特征向量。

上述第一内容CNN与第二内容CNN分别可以通过前述的内容CNN训练方法得到。由于目标的内容数据预处理过程与样本的内容数据预处理过程类似，在此不对目标的内容数据预处理过程进行赘述。

步骤S504，将目标的内容特征向量输入深度神经网络DNN，获取目标的预估数据。

对于新品而言，新品的内容特征向量可以依照本实施例的方法正常提取，但是统计特征不能获得因此可以设置为0，那么DNN网络将只能通过内容特征向量来做预估得到销量。由于不用人工计算目标商品与的其它商品的关联度，直接用DNN网络做预测。如果经过大量样本数据的充分训练，DNN网络可以学习到与新品相似的其它商品的销量估计(估计的参照特征包含了内容统计特征)。因此对于新品而言，也可以根据其内容特征进行合理的销量预估。

上述实施例提出的基于CNN和DNN的数据挖掘方法，可以从商品的文本、图像等高维内容数据中提取内容特征向量，并基于内容特征向量进行相关商品分析以及新品销量预测，相比传统的基于规则的方法，泛化能力更强，扩展能力更好，并且可量化，不受主观因素影响，因此能够获得更准确的新品销量预测效果。同时，CNN比人工统计规则的方法更加的灵活，可以智能学习调整参数，比人工调整统计规则效率更高；DNN可以智能学习特征尺度变换、特征组合等参数，比人工特征处理效率更高，并且预估更为准确。

发明人还发现，现有技术中的销量估计方法没有考虑地域的关联性对商品销量的影响，比如A地与B地的距离与A地与C地相比更近、人文风俗更相似，那么目标商品在A地的销量应该与B地更加相关。为此，本发明还提供了数据挖掘方法的另一个实施例来解决这一技术问题。

图6示出本发明数据挖掘方法的另一个实施例的流程示意图。如图6所示，该实施例的数据挖掘方法包括：

步骤S602，将目标的内容数据输入内容卷积神经网络CNN，获取目标的内容特征向量。具体实现方式可以参照步骤S502。

步骤S604，将目标的历史数据输入统计CNN，获取目标的统计特征向量。

下面列举步骤S604的三种实现方式。

(1)将目标在不同时段的历史数据级联为时域统计序列；将时域统计序列输入第一统计CNN，获取目标的时域统计特征向量，并将时域统计特征向量作为目标的统计特征向量。

例如，将表2所示数据输入第一统计CNN后，第一统计CNN采例如采用窗口大小为3的卷积核对其处理，其中卷积核权重先初始化为1/3,1/3,1/3。那么对5天的销量数据序列进行卷积操作后，所得到的结果是如表4所示。该示例相当于以3天为滑动窗口，统计了3天的销量平均值。对于实际应用来说，卷积核权重可以通过算法自动学习，卷积核大小可以设置多个、不同尺度，并且卷积操作可以堆叠多层，形成深度网络。

10

15

5

表4

(2)将目标的统计区域离散化为多个子区域；将目标在相同时段不同子区域内的历史数据编码为地域统计矩阵；将地域统计矩阵输入第二统计CNN，获取目标的地域统计特征向量，并将地域统计特征向量作为目标的统计特征向量。

目标地区的统计数据，可通过相邻区域的统计数据做卷积操作预估得到。例如，要计算表3中“X”区域的销量，可以计算目标区域周围3×3的窗口的卷积统计值。同样的，卷积核的权重值可以通过机器学习的方法自动学习，卷积核的个数、大小均可以通过实验配置。如果输出的地域统计特征是二维的，可以将其按行展开成一维的向量。

(3)将目标在不同时段的历史销量级联为时域统计序列；将时域统计序列输入第一统计CNN，获取目标的时域统计特征向量；将目标的统计区域离散化为多个子区域；将目标在相同时段不同子区域内的历史数据编码为地域统计矩阵；将地域统计矩阵输入第二统计CNN，获取目标的地域统计特征向量；将时域统计特征向量与地域统计特征向量作为目标的统计特征向量。

上述第一统计CNN与第二统计CNN分别可以通过前述的统计CNN训练方法得到。由于目标的历史数据预处理过程与样本的历史数据预处理过程类似，在此不对目标的历史数据预处理过程进行赘述。

步骤S606，将目标的内容特征向量和目标的统计特征向量级联后输入深度神经网络DNN，获取目标的预估数据。

上述实施例中，针对“预估目标商品在目标时间和地域条件下的实际销量”的问题，进行了更为全面的神经网络建模。通过确立三类与目标相关的内容相关特征、时域相关特征、地域相关特征，并从内容属性关联、时域关联、地域关联三个方面提取、处理和编码了适合神经网络处理的输入数据，最终通过内容CNN、统计CNN以及DNN的组合神经网络结构，有效处理和组合三类特征，节省大量人工特征处理的工作，高效的完成目标商品销量的准确预估。

在一些实施例中，获取目标的预估数据后，还可以计算目标的实际数据与预估数据的平均平方误差。然后利用反向传播算法，将平均平方误差从内容CNN、统计CNN以及DNN组成的组合神经网络的输出层向输入层传递，以迭代更新组合神经网络中各层的参数。从而通过更新后的组合神经网络，更为准确的预估后续目标的数据。

下面结合图7描述本发明一个实施例的数据挖掘装置。

图7示出本发明数据挖掘装置的一个实施例的结构示意图。如图7所示，该实施例的数据挖掘装置70包括：

内容特征向量获取模块702，配置为将目标的内容数据输入内容卷积神经网络CNN，获取目标的内容特征向量。

预估数据获取模块704，配置为将目标的内容特征向量输入深度神经网络DNN，获取目标的预估数据。

在一些实施例中，内容特征向量获取模块702配置为：利用文本深度表示模型，将目标的文本描述编码为二维矩阵；将二维矩阵输入第一内容CNN，获取目标的文本特征向量，并将文本特征向量作为目标的内容特征向量。

在一些实施例中，内容特征向量获取模块702配置为：根据目标的图片的像素值，将目标的图片编码为多维矩阵；将多维矩阵输入第二内容CNN，获取目标的图片特征向量，并将图片特征向量作为目标的内容特征向量。

在一些实施例中，内容特征向量获取模块702配置为：利用文本深度表示模型，将目标的文本描述编码为二维矩阵；将二维矩阵输入第一内容CNN，获取目标的文本特征向量；根据目标的图片的像素值，将目标的图片编码为多维矩阵；将多维矩阵输入第二内容CNN，获取目标的图片特征向量；将文本特征向量与图片特征向量作为目标的内容特征向量。

上述实施例提出的基于CNN和DNN的数据挖掘方法，可以从商品的文本、图像等高维内容数据中提取内容特征向量，并基于内容特征向量进行相关商品分析以及新品销量预测，相比传统的基于规则的方法，泛化能力更强，扩展能力更好，并且可量化，不受主观因素影响，因此能够获得更准确的新品销量预测效果。同时，CNN比人工统计规则的方法更加的灵活，可以智能学习调整参数，比人工调整统计规则效率更高；DNN可以智能学习特征尺度变换、特征组合等参数，比人工特征处理效率更高，并且预估更为准确。

在一些实施例中，该装置70还包括统计特征向量获取模块703，配置为将目标的历史数据输入统计CNN，获取目标的统计特征向量。预估数据获取模块704还配置为：将目标的内容特征向量和目标的统计特征向量级联后输入深度神经网络DNN，获取目标的预估数据。

在一些实施例中，统计特征向量获取模块703配置为：将目标在不同时段的历史数据级联为时域统计序列；将时域统计序列输入第一统计CNN，获取目标的时域统计特征向量，并将时域统计特征向量作为目标的统计特征向量。

在一些实施例中，统计特征向量获取模块703配置为：将目标的统计区域离散化为多个子区域；将目标在相同时段不同子区域内的历史数据编码为地域统计矩阵；将地域统计矩阵输入第二统计CNN，获取目标的地域统计特征向量，并将地域统计特征向量作为目标的统计特征向量。

在一些实施例中，统计特征向量获取模块703配置为：将目标在不同时段的历史销量级联为时域统计序列；将时域统计序列输入第一统计CNN，获取目标的时域统计特征向量；将目标的统计区域离散化为多个子区域；将目标在相同时段不同子区域内的历史数据编码为地域统计矩阵；将地域统计矩阵输入第二统计CNN，获取目标的地域统计特征向量；将时域统计特征向量与地域统计特征向量作为目标的统计特征向量。

上述实施例中，针对“预估目标商品在目标时间和地域条件下的实际销量”的问题，进行了更为全面的神经网络建模。通过确立三类与目标相关的内容相关特征、时域相关特征、地域相关特征，并从内容属性关联、时域关联、地域关联三个方面提取、处理和编码了适合神经网络处理的输入数据，最终通过内容CNN、统计CNN以及DNN的组合神经网络结构，有效处理和组合三类特征，节省大量人工特征处理的工作，高效的完成目标商品销量的准确预估。

在一些实施例中，内容CNN由卷积层、池化层、全连接层以及输出层组成。

在一些实施例中，统计CNN由卷积层、池化层、以及输出层组成。

在一些实施例中，DNN由全连接层和输出层组成，全连接层中的各个神经元执行非线性激活函数运算，得到目标的预估数据。

在一些实施例中，该装置70还包括参数更新模块705，配置为：计算目标的实际数据与预估数据的平均平方误差；利用反向传播算法，将平均平方误差从内容CNN、统计CNN以及DNN组成的组合神经网络的输出层向输入层传递，以迭代更新组合神经网络中各层的参数。

在一些实施例中，该装置还包括训练模块701，配置为利用样本的内容数据和样本的历史数据，对内容CNN、统计CNN以及DNN组成的组合神经网络进行训练。

图8示出了本发明数据挖掘装置的另一个实施例的结构图。如图8所示，该实施例的数据挖掘装置80包括：存储器810以及耦接至该存储器810的处理器820，处理器820被配置为基于存储在存储器810中的指令，执行前述任意一个实施例中的数据挖掘方法。

其中，存储器810例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。

图9示出了本发明数据挖掘装置的又一个实施例的结构图。如图9所示，该实施例的装置90包括：存储器810以及处理器820，还可以包括输入输出接口930、网络接口940、存储接口950等。这些接口930，940，950以及存储器810和处理器820之间例如可以通过总线950连接。其中，输入输出接口930为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口940为各种联网设备提供连接接口。存储接口950为SD卡、U盘等外置存储设备提供连接接口。

本发明还包括一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现前述任意一个实施例中的数据挖掘方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (28)

1.一种数据挖掘方法，其特征在于，包括：

将目标的内容数据输入内容卷积神经网络CNN，获取目标的内容特征向量；

将目标的内容特征向量输入深度神经网络DNN，获取目标的预估数据。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

将目标的历史数据输入统计CNN，获取目标的统计特征向量；

将目标的内容特征向量和目标的统计特征向量级联后输入深度神经网络DNN，获取目标的预估数据。

3.如权利要求1所述的方法，其特征在于，所述将目标的内容数据输入内容卷积神经网络CNN，获取目标的内容特征向量包括：

利用文本深度表示模型，将目标的文本描述编码为二维矩阵；

将所述二维矩阵输入所述内容CNN，获取目标的文本特征向量，并将所述文本特征向量作为目标的内容特征向量。

4.如权利要求1所述的方法，其特征在于，所述将目标的内容数据输入内容卷积神经网络CNN，获取目标的内容特征向量包括：

根据目标的图片的像素值，将目标的图片编码为多维矩阵；

将所述多维矩阵输入所述内容CNN，获取目标的图片特征向量，并将所述图片特征向量作为目标的内容特征向量。

5.如权利要求1所述的方法，其特征在于，所述内容CNN包括第一内容CNN和第二内容CNN；

所述将目标的内容数据输入内容卷积神经网络CNN，获取目标的内容特征向量包括：

利用文本深度表示模型，将目标的文本描述编码为二维矩阵；

将所述二维矩阵输入第一内容CNN，获取目标的文本特征向量；

根据目标的图片的像素值，将目标的图片编码为多维矩阵；

将所述多维矩阵输入第二内容CNN，获取目标的图片特征向量；

将所述文本特征向量与所述图片特征向量作为目标的内容特征向量。

6.如权利要求2所述的方法，其特征在于，所述将目标的历史数据输入统计CNN，获取目标的统计特征向量包括：

将目标在不同时段的历史数据级联为时域统计序列；

将所述时域统计序列输入所述统计CNN，获取目标的时域统计特征向量，并将所述时域统计特征向量作为目标的统计特征向量。

7.如权利要求2所述的方法，其特征在于，所述将目标的历史数据输入统计CNN，获取目标的统计特征向量包括：

将目标的统计区域离散化为多个子区域；

将目标在相同时段不同子区域内的历史数据编码为地域统计矩阵；

将所述地域统计矩阵输入所述统计CNN，获取目标的地域统计特征向量，并将所述地域统计特征向量作为目标的统计特征向量。

8.如权利要求2所述的方法，其特征在于，所述统计CNN包括第一统计CNN和第二统计CNN；

所述将目标的历史数据输入统计CNN，获取目标的统计特征向量包括：

将目标在不同时段的历史销量级联为时域统计序列；

将所述时域统计序列输入第一统计CNN，获取目标的时域统计特征向量；

将目标的统计区域离散化为多个子区域；

将目标在相同时段不同子区域内的历史数据编码为地域统计矩阵；

将所述地域统计矩阵输入第二统计CNN，获取目标的地域统计特征向量；

将所述时域统计特征向量与所述地域统计特征向量作为所述目标的统计特征向量。

9.如权利要求1至5中任一项所述的方法，其特征在于，所述内容CNN由卷积层、池化层、全连接层以及输出层组成。

10.如权利要求2、6至8中任一项所述的方法，其特征在于，所述统计CNN由卷积层、池化层、以及输出层组成。

11.如权利要求1或2所述的方法，其特征在于，所述DNN由全连接层和输出层组成，所述全连接层中的各个神经元执行非线性激活函数运算。

12.如权利要求2所述的方法，其特征在于，所述方法还包括：

计算目标的实际数据与预估数据的平均平方误差；

利用反向传播算法，将所述平均平方误差从所述内容CNN、所述统计CNN以及所述DNN组成的组合神经网络的输出层向输入层传递，以迭代更新所述组合神经网络中各层的参数。

13.如权利要求2所述的方法，其特征在于，所述方法还包括：

利用样本的内容数据和样本的历史数据，对所述内容CNN、所述统计CNN以及所述DNN组成的组合神经网络进行训练。

14.一种数据挖掘装置，其特征在于，包括：

内容特征向量获取模块，配置为将目标的内容数据输入内容卷积神经网络CNN，获取目标的内容特征向量；

预估数据获取模块，用于将目标的内容特征向量输入深度神经网络DNN，获取目标的预估数据。

15.如权利要求14所述的装置，其特征在于，所述装置还包括统计特征向量获取模块，配置为将目标的历史数据输入统计CNN，获取目标的统计特征向量；

所述预估数据获取模块还配置为：将目标的内容特征向量和目标的统计特征向量级联后输入深度神经网络DNN，获取目标的预估数据。

16.如权利要求14所述的装置，其特征在于，所述内容特征向量获取模块配置为：

利用文本深度表示模型，将目标的文本描述编码为二维矩阵；

将所述二维矩阵输入所述内容CNN，获取目标的文本特征向量，并将所述文本特征向量作为目标的内容特征向量。

17.如权利要求14所述的装置，其特征在于，所述内容特征向量获取模块配置为：

根据目标的图片的像素值，将目标的图片编码为多维矩阵；

将所述多维矩阵输入所述内容CNN，获取目标的图片特征向量，并将所述图片特征向量作为目标的内容特征向量。

18.如权利要求14所述的装置，其特征在于，所述内容CNN包括第一内容CNN和第二内容CNN；

所述内容特征向量获取模块配置为：

利用文本深度表示模型，将目标的文本描述编码为二维矩阵；

将所述二维矩阵输入第一内容CNN，获取目标的文本特征向量；

根据目标的图片的像素值，将目标的图片编码为多维矩阵；

将所述多维矩阵输入第二内容CNN，获取目标的图片特征向量；

将所述文本特征向量与所述图片特征向量作为目标的内容特征向量。

19.如权利要求15所述的装置，其特征在于，所述统计特征向量获取模块配置为：

将目标在不同时段的历史数据级联为时域统计序列；

将所述时域统计序列输入所述统计CNN，获取目标的时域统计特征向量，并将所述时域统计特征向量作为目标的统计特征向量。

20.如权利要求15所述的装置，其特征在于，所述统计特征向量获取模块配置为：

将目标的统计区域离散化为多个子区域；

将目标在相同时段不同子区域内的历史数据编码为地域统计矩阵；

将所述地域统计矩阵输入所述统计CNN，获取目标的地域统计特征向量，并将所述地域统计特征向量作为目标的统计特征向量。

21.如权利要求15所述的装置，其特征在于，所述统计CNN包括第一统计CNN和第二统计CNN；

所述统计特征向量获取模块配置为：

将目标在不同时段的历史销量级联为时域统计序列；

将所述时域统计序列输入第一统计CNN，获取目标的时域统计特征向量；

将目标的统计区域离散化为多个子区域；

将目标在相同时段不同子区域内的历史数据编码为地域统计矩阵；

将所述地域统计矩阵输入第二统计CNN，获取目标的地域统计特征向量；

将所述时域统计特征向量与所述地域统计特征向量作为所述目标的统计特征向量。

22.如权利要求14至18中任一项所述的装置，其特征在于，所述内容CNN由卷积层、池化层、全连接层以及输出层组成。

23.如权利要求15、19至21中任一项所述的装置，其特征在于，所述统计CNN由卷积层、池化层、以及输出层组成。

24.如权利要求14所述的装置，其特征在于，所述DNN由全连接层和输出层组成，所述全连接层中的各个神经元进行非线性激活函数运算。

25.如权利要求15所述的装置，其特征在于，所述装置还包括参数更新模块，配置为：

计算目标的实际数据与预估数据的平均平方误差；

利用反向传播算法，将所述平均平方误差从所述内容CNN、所述统计CNN以及所述DNN组成的组合神经网络的输出层向输入层传递，以迭代更新所述组合神经网络中各层的参数。

26.如权利要求15所述的装置，其特征在于，所述装置还包括训练模块，配置为利用样本的内容数据和样本的历史数据，对所述内容CNN、所述统计CNN以及所述DNN组成的组合神经网络进行训练。

27.一种数据挖掘装置，其特征在于，包括：

存储器；以及

耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1至13中任一项所述的数据挖掘方法。

28.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如权利要求1至13中任一项所述的数据挖掘方法。