[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN110334759B - 一种评论驱动的深度序列推荐方法 - Google Patents

一种评论驱动的深度序列推荐方法 Download PDF

Info

Publication number
CN110334759B
CN110334759B CN201910576739.XA CN201910576739A CN110334759B CN 110334759 B CN110334759 B CN 110334759B CN 201910576739 A CN201910576739 A CN 201910576739A CN 110334759 B CN110334759 B CN 110334759B
Authority
CN
China
Prior art keywords
vector
user
comment
document
commodity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910576739.XA
Other languages
English (en)
Other versions
CN110334759A (zh
Inventor
李晨亮
牛锡钏
陈震中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201910576739.XA priority Critical patent/CN110334759B/zh
Publication of CN110334759A publication Critical patent/CN110334759A/zh
Application granted granted Critical
Publication of CN110334759B publication Critical patent/CN110334759B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • General Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种评论驱动的深度序列推荐方法，包括以下步骤：对用户评论文本建立词汇表，每个单词赋予随机初始化的词向量；为每篇文档构建文档词向量表达矩阵；得到方面感知的文档表达张量和多个特征图；计算用户的长期偏好向量和商品的向量表示；计算联合层面和个体层面的用户短期偏好向量；对两个层面进行加权相加得到最终的用户短期偏好向量；将用户短期偏好向量乘以折减系数和用户长期偏好向量相加，得到用户的向量表示，进而计算用户对商品的偏好分数；训练得到RNS模型；将训练的RNS模型用于线上的序列推荐情景。本发明很好地解决了评论驱动的序列推荐问题，具有训练较快、测试时间较短的优点，说明本发明具有广泛的实际意义和商业价值。

Description

一种评论驱动的深度序列推荐方法
技术领域
本发明涉及计算机技术领域，尤其涉及一种评论驱动的深度序列推荐方法。
背景技术
随着互联网的快速兴起，我们逐步进入大数据时代。大数据时代的信息繁杂，几乎每个人每天面对的信息都是过载的，这就是智能推荐系统的用武之地，它已经在诸如新闻浏览软件，短视频平台，问答社区发挥了巨大作用，精准推荐帮助用户缓解信息爆炸带来的忧虑。
传统的推荐系统技术，例如以矩阵分解为代表的协同过滤框架，都是在一个静态思维下考虑用户的兴趣偏好，即每个用户对应一个不变的向量，然而这是不符合实际情况的，现实中用户的兴趣在不断地发生着变化，推荐算法应该能够对这些变化进行建模，才能够完成更精准的推荐。这就是序列化推荐的问题，序列化推荐是一种动态推荐，它考虑用户最近购买过的L个商品进行短期偏好建模，并同时能够综合用户的长期偏好，能够更精确地刻画用户兴趣所在。
目前现有技术中，还没有人提出用户评论文本驱动的序列化动态精准推荐的方法。
发明内容
本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种评论驱动的深度序列推荐方法。
本发明解决其技术问题所采用的技术方案是：
本发明提供一种评论驱动的深度序列推荐方法，该方法包括以下步骤：
步骤1、获取用户/商品文档，根据其中所有用户购买的商品和评论文本信息，对所有用户评论文本建立一个词汇表，词汇表中的每个单词赋予一个随机初始化的词向量；
步骤2、根据每个单词的词向量，为每篇文档构建文档词向量表达矩阵；
步骤3、利用方面特定的词向量转换矩阵对文档表达矩阵进行矩阵相乘，得到方面感知的文档表达张量；
步骤4、对文档表达张量，将方面维度看做类似图像的通道，在文档长度维度进行1.5维的卷积操作，得到多个特征图；
步骤5、通过一个最大池化层，对特征图提取特征，得到用户的长期偏好向量和商品的向量表示；
步骤6、对于目标商品和用户最近购买的L个商品，通过第一个注意力网络连接步骤5得到的这L+1个商品的表达向量，得到购买过的L个商品的权重，对这L个商品向量进行加权相加得到联合层面的用户短期偏好向量；
步骤7、通过一个argmax层，得到L个商品的权重中的权重最大的商品向量，作为个体层面的用户短期偏好向量；
步骤8、通过第二个注意力网络，以目标商品向量为引导，计算个体层面和联合层面的偏好向量的权重，对两个层面进行加权相加得到最终的用户短期偏好向量；
步骤9、将最终的用户短期偏好向量乘以折减系数后与用户长期偏好向量相加，得到用户的向量表示；
步骤10、将用户向量表示和商品向量表示进行交互，得到用户对商品的偏好分数，通过偏好分数判断是否将目标商品推荐给用户；
步骤11、通过以上步骤训练得到RNS模型；
步骤12、将训练好的RNS模型用于线上的序列推荐情景。
进一步地，本发明的步骤1的具体方法为：
步骤1.1、对所有用户评论文本进行聚合，经过文本预处理后，得到所有评论文本的词汇表；
步骤1.2、将词汇表中的每个单词w映射为向量ew∈Rd，其中d表示词向量的空间大小，向量ew是随机初始化的，随模型训练。
进一步地，本发明的步骤2的具体方法为：
步骤2.1、给定用户u，将其所有对购买过的商品评论聚合，构成评论文档Du；所有商品的评论文档处理方式一致；
步骤2.2、将评论文档Du中的每个单词，根据词向量映射到词向量空间，得到文档词向量矩阵Mu∈Rl×d，其中1表示文档长度，d表示词向量的空间大小。
进一步地，本发明的步骤3的具体方法为：
步骤3.1、引入方面a特定的词向量转换矩阵Ta∈Rd×d，将原始词向量转化到方面a特定的语义向量空间；
步骤3.2、对于用户评论文档Du，将它的词向量矩阵与方面a特定的词向量转换矩阵相乘，得到该评论文档对应的方面a特定的语义向量空间的词向量矩阵，公式如下：
Figure BDA0002112291040000031
其中，
Figure BDA0002112291040000032
为该评论文档对应的方面a的语义向量空间的词向量矩阵；
步骤3.3、设定共有K个方面，对于每个方面，用户评论文档都通过步骤3.2得到对应的方面特定的语义向量空间的词向量矩阵，这样的矩阵共有K个，将这K个矩阵拼接，即得到用户评论文档表达张量
Figure BDA0002112291040000033
这样的张量是方面感知的。
进一步地，本发明的步骤4的具体方法为：
对用户评论文档表达张量
Figure BDA0002112291040000034
将方面维度看做类似图像的通道，在文档长度维度进行1.5维卷积；设定卷积核共有n个，第k个卷积核的形状为Fk∈Rh×d×K，其中，1≤k≤n，h为卷积核的高度；第k个卷积核提取特征的公式为：
Figure BDA0002112291040000035
其中，1≤i≤1-h+1为卷积核的滑动窗口起始点，⊙代表卷积操作，ReLU代表激活函数，zk即是第k个卷积核得到的特征图。
进一步地，本发明的步骤5的具体方法为：
步骤5.1：n个卷积核就可以得到n个特征图，为了得到最显著的特征，将得到的n个特征图通过一个最大池化层，再将输出值拼接起来，公式如下：
Figure BDA0002112291040000041
得到的向量
Figure BDA0002112291040000042
即是用户长期偏好向量表示，同理，每个商品i也可以通过如上的步骤1-5对其评论文档进行方面级的卷积建模，得到其向量表示：qi。
进一步地，本发明的步骤6的具体方法为：
步骤6.1、给定目标商品j，其向量表示为qj，用户u最近购买的L个商品，其向量表示分别为，q1，q2，.......qL，以向量qj为引导，通过softmax函数计算L个商品的权重
Figure BDA0002112291040000043
如下公式：
Figure BDA0002112291040000044
其中，qi表示每个商品i对其评论文档进行方面级的卷积建模得到的向量表示；
步骤6.2、利用得到的权重，对最近购买的L个商品向量进行加权相加，如下公式：
Figure BDA0002112291040000045
其中，得到的
Figure BDA0002112291040000046
即为联合层面的用户短期偏好向量。
进一步地，本发明的步骤7的具体方法为：
步骤7.1、为了刻画个体层面上用户购买记录对其未来购买行为的影响，利用一个argmax函数得到在步骤6.1中计算的权重最大的商品向量，公式如下：
Figure BDA0002112291040000047
Figure BDA0002112291040000051
其中，得到的
Figure BDA0002112291040000052
即为个体层面的用户短期偏好向量。
进一步地，本发明的步骤8的具体方法为：
步骤8.1、为了进一步判断联合层面和个体层面对于用户未来购买行为的影响，同样利用一个注意力层，即softmax函数，计算两个层面的权重
Figure BDA0002112291040000053
这里同样以目标商品向量qj为引导，公式如下：
Figure BDA0002112291040000054
步骤8.2、利用得到的权重，对两个层面的用户短期偏好向量进行加权相加，如下公式：
Figure BDA0002112291040000055
其中，得到的
Figure BDA0002112291040000056
即为最终的用户短期偏好向量。
进一步地，本发明的步骤9的具体方法为：
步骤9.1：通过步骤5和步骤8分别得到用户长期偏好和短期偏好向量，为了综合表示用户的兴趣偏好，对短期偏好向量偏好乘以一个折减系数α，与长期偏好向量相加，公式如下：
Figure BDA0002112291040000057
得到的pu即为用户最终的综合偏好向量。
进一步地，本发明的步骤10的具体方法为：
给定用户u和目标商品j，利用用户综合偏好向量和目标商品向量计算得到偏好分数为：
Figure BDA0002112291040000058
其中，σ()表示sigmoid激活函数，最终得到的偏好分数suj是一个0到1之间的值，能表示概率；pu即为用户最终的综合偏好向量，qj为目标商品向量。
进一步地，本发明的步骤11的具体方法为：
训练时采用交叉熵作为损失函数，正则项为L2正则，具体的损失函数形式如下：
Figure BDA0002112291040000061
其中，Cu表示用户u的所有训练样例，N(j)表示采样的负样本，λ表示正则项的权重系数，θ表示所有模型参数，模型在训练时运用反向传播以及随机梯度下降算法进行优化，模型训练若干轮数后训练完成。
本发明产生的有益效果是：本发明的评论驱动的深度序列推荐方法，通过利用了隐藏在用户评论文本里的语义信息，通过方面级卷积神经网络、层次注意力机制等前沿技术有效地解决了序列化动态推荐任务。根据本发明所提供的模型结果，我们发明的模型可以很好的应用在序列化动态推荐任务上，实验同时表明我们发明的模型比其他推荐算法效果要提高很多。与此同时，我们的发明模型具有训练时间短、测试时间快速等优点，可以很好的应用到各种场景之中，具有广泛的实际意义和商业价值。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明实施例的方法原理示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明实施例的用户评论文本驱动的深度序列化动态精准推荐方法，通过方面级的卷积神经网络对用户评论文本进行建模来完成序列化推荐任务。本模型动态考虑了用户的兴趣偏好变化，符合现实中的用户兴趣的实际情况。首先通过建模用户评论文本，特征提取得到用户的长期偏好向量，及商品的向量表示；然后考虑用户最近购买的L个商品，以预测目标商品为引导，利用第一个注意力网络分别考虑联合层面和个体层面的用户短期兴趣偏好，然后利用第二个注意力网络考虑两个层面短期兴趣偏好的权重，得到最终的用户短期偏好向量；最后综合考虑用户长期偏好向量和短期偏好向量，预测得到对目标商品的偏好分数，即购买概率。
如图1所示，本发明实施例的用户评论文本驱动的深度序列化动态精准推荐方法，包括以下步骤：
步骤1：对所有用户评论文本建立一个词汇表，每个单词赋予一个随机初始化的词向量；
步骤1.1：对所有用户评论文本进行聚合，经过文本预处理后，得到所有评论文本的词汇表；
步骤1.2：将词汇表中的每个单词w映射为向量ew∈Rd(其中d代表词向量的空间大小)，向量ew是随机初始化的，随模型训练。
步骤2：根据用户/商品文档里每个单词的词向量，为每篇文档构建文档词向量表达矩阵；
步骤2.1：给定用户u，将她的所有对购买过的商品评论聚合，构成评论文档Du；商品的评论文档处理方式一致，不再赘述，下同；
步骤2.2：将评论文档Du中的每个单词根据步骤1.2得到的词向量映射到词向量空间，得到文档词向量矩阵Mu∈Rl×d，其中1表示文档长度。
步骤3：利用方面特定的词向量转换矩阵对步骤2得到的文档表达矩阵进行矩阵相乘，得到方面感知的文档表达张量；
步骤3.1：引入方面a特定的词向量转换矩阵Ta∈Rd×d，可以将原始词向量转化到方面a特定的语义向量空间；
步骤3.2：对于用户评论文档Du，将它的词向量矩阵与方面a特定的词向量转换矩阵相乘，得到该评论文档对应的方面a特定的语义向量空间的词向量矩阵，公式如下：
Figure BDA0002112291040000081
其中
Figure BDA0002112291040000082
为该评论文档对应的方面a的语义向量空间的词向量矩阵；
步骤3.3：设定共有K个方面，对于每个方面，用户评论文档都通过步骤3.2得到对应的方面特定的语义向量空间的词向量矩阵这样的矩阵共有K个，将这K个矩阵拼接，即得到用户评论文档表达张量
Figure BDA0002112291040000083
这样的张量是方面感知的。
步骤4：对步骤3得到的文档表达张量，将方面维度看做类似图像的通道，在文档长度维度进行1.5维的卷积操作，得到多个特征图；
步骤4.1：对于步骤3.3得到的用户评论文档表达张量
Figure BDA0002112291040000084
将方面维度看做类似图像的通道，在文档长度维度进行1.5维卷积。设定卷积核共有n个，第k个卷积核的形状为Fk∈Rh×d×K，其中，1≤k≤n，h为卷积核的高度。第k个卷积核提取特征的公式为：
Figure BDA0002112291040000085
其中1≤i≤1-h+1为卷积核的滑动窗口起始点，⊙代表卷积操作，ReLU代表激活函数，zk即是第k个卷积核得到的特征图。
步骤5：通过一个最大池化层，对步骤4得到的特征图提取最重要的特征，得到用户的长期偏好向量和商品的向量表示；
步骤5.1：n个卷积核就可以得到n个特征图，为了得到最显著的特征，将得到的n个特征图通过一个最大池化层，再将输出值拼接起来，公式如下：
Figure BDA0002112291040000086
得到的向量
Figure BDA0002112291040000087
即是用户长期偏好向量表示，同理，每个商品i也可以通过如上的步骤1-5对其评论文档进行方面级的卷积建模，得到其向量表示：qi。
步骤6：对于目标商品和用户最近购买的L个商品，通过第一个注意力网络连接步骤5得到的这L+1个商品的表达向量，得到购买过的L个商品的权重，对这L个商品向量进行加权相加得到联合层面的用户短期偏好向量；
步骤6.1：给定目标商品j，其向量表示为qi，用户u最近购买的L个商品，其向量表示分别为，q1，q2，.......qL，以向量qj为引导，通过softmax函数计算L个商品的权重，如下公式：
Figure BDA0002112291040000091
步骤6.2：利用步骤6.1得到的权重，对最近购买的L个商品向量进行加权相加，如下公式：
Figure BDA0002112291040000092
得到的
Figure BDA0002112291040000093
即为联合层面的用户短期偏好向量。
步骤7：通过一个argmax层，得到步骤6中的权重最大的商品向量，作为个体层面的用户短期偏好向量；
步骤7.1：为了刻画个体层面上用户购买记录对其未来购买行为的影响，利用一个argmax函数得到在步骤6.1中计算的权重最大的商品向量，公式如下：
Figure BDA0002112291040000094
Figure BDA0002112291040000095
得到的
Figure BDA0002112291040000096
即为个体层面的用户短期偏好向量。
步骤8：通过第二个注意力网络，以目标商品向量为引导，计算步骤6和步骤7得到的两个层面(个体层面和联合层面)的偏好向量的权重，对两个层面进行加权相加得到最终的用户短期偏好向量；
步骤8.1：为了进一步判断联合层面和个体层面对于用户未来购买行为的影响，同样利用一个注意力层，即softmax函数，计算两个层面的权重，这里同样以目标商品向量qj为引导，公式如下：
Figure BDA0002112291040000101
步骤8.2：利用步骤8.1得到的权重，对两个层面的用户短期偏好向量进行加权相加，如下公式：
Figure BDA0002112291040000102
得到的
Figure BDA0002112291040000103
即为最终的用户短期偏好向量。
步骤9：将步骤8中得到的用户短期偏好向量乘以折减系数和用户长期偏好向量相加，得到用户的向量表示；
步骤9.1：通过步骤5和步骤8分别得到用户长期偏好和短期偏好向量，为了综合表示用户的兴趣偏好，对短期偏好向量偏好乘以一个折减系数α，与长期偏好向量相加，公式如下：
Figure BDA0002112291040000104
得到的pu即为用户最终的综合偏好向量。
步骤10：将步骤9中得到的用户向量表示和步骤5得到的商品向量表示进行交互，得到用户对商品的偏好分数；
步骤10.1：给定用户u和目标商品j，利用用户综合偏好向量和目标商品向量计算得到偏好分数为：
Figure BDA0002112291040000105
其中σ()表示sigmoid激活函数，最终得到的偏好分数suj是一个0到1之间的值，可以表示概率。
步骤11：训练该模型；
步骤11.1：训练时采用交叉熵作为损失函数，正则项为L2正则，具体的损失函数形式如下：
Figure BDA0002112291040000111
其中Cu表示用户u的所有训练样例，N(j)表示采样的负样本，λ表示正则项的权重系数，θ表示所有模型参数。模型在训练时运用反向传播以及随机梯度下降算法进行优化，模型训练若干轮数后训练完成。
步骤12：将训练好的模型用于线上的序列推荐情景。
步骤12.1：给定用户u和目标商品j，将训练好的模型执行步骤1-10即可用于线上序列推荐场景。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种评论驱动的深度序列推荐方法，其特征在于，该方法包括以下步骤：
步骤1、获取用户/商品文档，根据其中所有用户购买的商品和评论文本信息，对所有用户评论文本建立一个词汇表，词汇表中的每个单词赋予一个随机初始化的词向量；
步骤2、根据每个单词的词向量，为每篇文档构建文档词向量表达矩阵；
步骤3、利用方面特定的词向量转换矩阵对文档表达矩阵进行矩阵相乘，得到方面感知的文档表达张量；
步骤4、对文档表达张量，将方面维度看做类似图像的通道，在文档长度维度进行1.5维的卷积操作，得到多个特征图；
步骤5、通过一个最大池化层，对特征图提取特征，得到用户的长期偏好向量和商品的向量表示；
步骤6、对于目标商品和用户最近购买的L个商品，通过第一个注意力网络连接步骤5得到的这L+1个商品的表达向量，得到购买过的L个商品的权重，对这L个商品向量进行加权相加得到联合层面的用户短期偏好向量；
步骤7、通过一个argmax层，得到L个商品的权重中的权重最大的商品向量，作为个体层面的用户短期偏好向量；
步骤8、通过第二个注意力网络，以目标商品向量为引导，计算个体层面和联合层面的偏好向量的权重，对两个层面进行加权相加得到最终的用户短期偏好向量；
步骤9、将最终的用户短期偏好向量乘以折减系数后与用户长期偏好向量相加，得到用户的向量表示；
步骤10、将用户向量表示和商品向量表示进行交互，得到用户对商品的偏好分数，通过偏好分数判断是否将目标商品推荐给用户；
步骤11、通过以上步骤训练得到RNS模型；
步骤12、将训练好的RNS模型用于线上的序列推荐情景；
步骤10的具体方法为：
给定用户u和目标商品j，利用用户综合偏好向量和目标商品向量计算得到偏好分数为：
Figure FDA0003782488570000021
其中，σ()表示sigmoid激活函数，最终得到的偏好分数suj是一个0到1之间的值，能表示概率；pu即为用户最终的综合偏好向量，qj为目标商品向量；
步骤11的具体方法为：
训练时采用交叉熵作为损失函数，正则项为L2正则，具体的损失函数形式如下：
Figure FDA0003782488570000022
其中，Cu表示用户u的所有训练样例，N(j)表示采样的负样本，λ表示正则项的权重系数，θ表示所有模型参数，模型在训练时运用反向传播以及随机梯度下降算法进行优化，模型训练若干轮数后训练完成。
2.根据权利要求1所述的评论驱动的深度序列推荐方法，其特征在于，步骤1的具体方法为：
步骤1.1、对所有用户评论文本进行聚合，经过文本预处理后，得到所有评论文本的词汇表；
步骤1.2、将词汇表中的每个单词w映射为向量ew∈Rd，其中d表示词向量的空间大小，向量ew是随机初始化的，随模型训练。
3.根据权利要求1所述的评论驱动的深度序列推荐方法，其特征在于，步骤2的具体方法为：
步骤2.1、给定用户u，将其所有对购买过的商品评论聚合，构成评论文档Du；所有商品的评论文档处理方式一致；
步骤2.2、将评论文档Du中的每个单词，根据词向量映射到词向量空间，得到文档词向量矩阵Mu∈Rl×d，其中l表示文档长度，d表示词向量的空间大小。
4.根据权利要求1所述的评论驱动的深度序列推荐方法，其特征在于，步骤3的具体方法为：
步骤3.1、引入方面a特定的词向量转换矩阵Tu∈Rd×d，将原始词向量转化到方面a特定的语义向量空间；
步骤3.2、对于用户评论文档Du，将它的词向量矩阵与方面a特定的词向量转换矩阵相乘，得到该评论文档对应的方面a特定的语义向量空间的词向量矩阵，公式如下：
Figure FDA0003782488570000031
其中，
Figure FDA0003782488570000032
为该评论文档对应的方面a的语义向量空间的词向量矩阵；
步骤3.3、设定共有K个方面，对于每个方面，用户评论文档都通过步骤3.2得到对应的方面特定的语义向量空间的词向量矩阵，这样的矩阵共有K个，将这K个矩阵拼接，即得到用户评论文档表达张量
Figure FDA0003782488570000033
这样的张量是方面感知的。
5.根据权利要求1所述的评论驱动的深度序列推荐方法，其特征在于，步骤4的具体方法为：
对用户评论文档表达张量
Figure FDA0003782488570000034
将方面维度看做类似图像的通道，在文档长度维度进行1.5维卷积；设定卷积核共有n个，第k个卷积核的形状为Fk∈Rh×d×K，其中，1≤k≤n，h为卷积核的高度；第k个卷积核提取特征的公式为：
Figure FDA0003782488570000035
其中，1≤i≤l-h+1为卷积核的滑动窗口起始点，⊙代表卷积操作，ReLU代表激活函数，zk即是第k个卷积核得到的特征图。
6.根据权利要求1所述的评论驱动的深度序列推荐方法，其特征在于，步骤5的具体方法为：
n个卷积核就得到n个特征图，为了得到最显著的特征，将得到的n个特征图通过一个最大池化层，再将输出值拼接起来，公式如下：
Figure FDA0003782488570000041
得到的向量
Figure FDA0003782488570000042
即是用户长期偏好向量表示，同理，每个商品i也对其评论文档进行方面级的卷积建模，得到其向量表示：qi。
7.根据权利要求1所述的评论驱动的深度序列推荐方法，其特征在于，步骤6的具体方法为：
步骤6.1、给定目标商品j，其向量表示为qj，用户u最近购买的L个商品，其向量表示分别为，q1，q2，......qL,以向量qj为引导，通过softmax函数计算L个商品的权重
Figure FDA0003782488570000043
如下公式：
Figure FDA0003782488570000044
其中，qi表示每个商品i对其评论文档进行方面级的卷积建模得到的向量表示；
步骤6.2、利用得到的权重，对最近购买的L个商品向量进行加权相加，如下公式：
Figure FDA0003782488570000045
其中，得到的
Figure FDA0003782488570000046
即为联合层面的用户短期偏好向量。
8.根据权利要求1所述的评论驱动的深度序列推荐方法，其特征在于，步骤7的具体方法为：
步骤7.1、为了刻画个体层面上用户购买记录对其未来购买行为的影响，利用一个argmax函数得到在步骤6.1中计算的权重最大的商品向量，公式如下：
Figure FDA0003782488570000047
Figure FDA0003782488570000048
其中，得到的
Figure FDA0003782488570000051
即为个体层面的用户短期偏好向量。
9.根据权利要求1所述的评论驱动的深度序列推荐方法，其特征在于，步骤8的具体方法为：
步骤8.1、为了进一步判断联合层面和个体层面对于用户未来购买行为的影响，同样利用一个注意力层，即softmax函数，计算两个层面的权重
Figure FDA0003782488570000052
这里同样以目标商品向量qj为引导，公式如下：
Figure FDA0003782488570000053
步骤8.2、利用得到的权重，对两个层面的用户短期偏好向量进行加权相加，如下公式：
Figure FDA0003782488570000054
其中，得到的
Figure FDA0003782488570000055
即为最终的用户短期偏好向量。
10.根据权利要求1所述的评论驱动的深度序列推荐方法，其特征在于，步骤9的具体方法为：
根据得到用户长期偏好和短期偏好向量，为了综合表示用户的兴趣偏好，对短期偏好向量偏好乘以一个折减系数α，与长期偏好向量相加，公式如下：
Figure FDA0003782488570000056
得到的pu即为用户最终的综合偏好向量。
CN201910576739.XA 2019-06-28 2019-06-28 一种评论驱动的深度序列推荐方法 Expired - Fee Related CN110334759B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910576739.XA CN110334759B (zh) 2019-06-28 2019-06-28 一种评论驱动的深度序列推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910576739.XA CN110334759B (zh) 2019-06-28 2019-06-28 一种评论驱动的深度序列推荐方法

Publications (2)

Publication Number Publication Date
CN110334759A CN110334759A (zh) 2019-10-15
CN110334759B true CN110334759B (zh) 2022-09-23

Family

ID=68143717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910576739.XA Expired - Fee Related CN110334759B (zh) 2019-06-28 2019-06-28 一种评论驱动的深度序列推荐方法

Country Status (1)

Country Link
CN (1) CN110334759B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110765260A (zh) * 2019-10-18 2020-02-07 北京工业大学 一种基于卷积神经网络与联合注意力机制的信息推荐方法
CN110827063A (zh) * 2019-10-18 2020-02-21 用友网络科技股份有限公司 一种多策略融合的商品推荐方法、装置、终端及存储介质
CN111242729A (zh) * 2020-01-07 2020-06-05 西北工业大学 一种基于长短期兴趣的序列化推荐方法
CN111275521B (zh) * 2020-01-16 2022-06-14 华南理工大学 一种基于用户评论与满意层面嵌入的商品推荐方法
CN111311364B (zh) * 2020-02-13 2021-10-01 山东大学 基于多模态商品评论分析的商品推荐方法及系统
CN113495942B (zh) * 2020-04-01 2022-07-05 百度在线网络技术（北京）有限公司 推送信息的方法和装置
CN113495991A (zh) * 2020-04-03 2021-10-12 北京沃东天骏信息技术有限公司 一种推荐方法和装置
CN111429234B (zh) * 2020-04-16 2023-09-29 电子科技大学中山学院 一种基于深度学习的商品序列推荐方法
CN111680151B (zh) * 2020-05-06 2022-02-11 华东师范大学 一种基于层次化transformer的个性化商品评论摘要生成方法
CN111738807B (zh) * 2020-07-23 2020-11-27 上海众旦信息科技有限公司 用于推荐目标对象的方法、计算设备和计算机存储介质
CN113781085A (zh) * 2021-01-20 2021-12-10 北京沃东天骏信息技术有限公司 信息生成方法、装置、电子设备和计算机可读介质
CN112860880B (zh) * 2021-03-23 2024-03-08 辽宁工程技术大学 一种融合评论文本和特征加权的四维张量分解推荐方法
CN114154071B (zh) * 2021-12-09 2023-05-09 电子科技大学 一种基于注意力机制的情感时序推荐方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101452480A (zh) * 2007-12-04 2009-06-10 索尼株式会社 信息处理设备、信息处理方法,以及信息处理程序
CN108573411A (zh) * 2018-04-17 2018-09-25 重庆理工大学 基于用户评论的深度情感分析和多源推荐视图融合的混合推荐方法
CN109145112A (zh) * 2018-08-06 2019-01-04 北京航空航天大学 一种基于全局信息注意力机制的商品评论分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10963941B2 (en) * 2017-09-08 2021-03-30 Nec Corporation Method and system for combining user, item and review representations for recommender systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101452480A (zh) * 2007-12-04 2009-06-10 索尼株式会社 信息处理设备、信息处理方法,以及信息处理程序
CN108573411A (zh) * 2018-04-17 2018-09-25 重庆理工大学 基于用户评论的深度情感分析和多源推荐视图融合的混合推荐方法
CN109145112A (zh) * 2018-08-06 2019-01-04 北京航空航天大学 一种基于全局信息注意力机制的商品评论分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Context-Aware User-Item Representation Learning for Item Recommendation;Libing Wu等;《IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING, SUBMISSION 2017》;20171229;第1-14页 *
融合注意力机制对评论文本深度建模的推荐方法;黄文明;《计算机工程. https://doi.org/10.19678/j.issn.1000-3428.0051339》;20181105;第1-9页 *

Also Published As

Publication number Publication date
CN110334759A (zh) 2019-10-15

Similar Documents

Publication Publication Date Title
CN110334759B (zh) 一种评论驱动的深度序列推荐方法
CN108536681B (zh) 基于情感分析的智能问答方法、装置、设备及存储介质
CN111291266A (zh) 基于人工智能的推荐方法、装置、电子设备及存储介质
CN108090229A (zh) 一种基于卷积神经网络确定评分矩阵的方法和装置
CN106570522B (zh) 物体识别模型的建立方法及物体识别方法
CN113297370B (zh) 基于多交互注意力的端到端多模态问答方法及系统
KR102326744B1 (ko) 사용자 참여형 키워드 선정 시스템의 제어 방법, 장치 및 프로그램
CN111737578A (zh) 一种推荐方法及系统
CN111666416A (zh) 用于生成语义匹配模型的方法和装置
CN117033609B (zh) 文本视觉问答方法、装置、计算机设备和存储介质
CN110413769A (zh) 场景分类方法、装置、存储介质及其电子设备
CN113656563A (zh) 一种神经网络搜索方法及相关设备
CN111105013A (zh) 对抗网络架构的优化方法、图像描述生成方法和系统
CN112668638A (zh) 一种图像美学质量评估和语义识别联合分类方法及系统
CN112529149A (zh) 一种数据处理方法及相关装置
CN112819024A (zh) 模型处理方法、用户数据处理方法及装置、计算机设备
CN113409157B (zh) 一种跨社交网络用户对齐方法以及装置
CN114239730A (zh) 一种基于近邻排序关系的跨模态检索方法
CN111445545B (zh) 一种文本转贴图方法、装置、存储介质及电子设备
CN110347916B (zh) 跨场景的项目推荐方法、装置、电子设备及存储介质
CN113705197B (zh) 一种基于位置增强的细粒度情感分析方法
CN112541705B (zh) 生成用户行为评估模型的方法、装置、设备以及存储介质
CN109740162B (zh) 文本表示方法、装置及介质
CN115017321A (zh) 一种知识点预测方法、装置、存储介质以及计算机设备
CN118115850B (zh) 一种基于跨模态提示学习的可控图像描述方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220923