CN101206752A

CN101206752A - 电子商务网站相关商品推荐系统及其方法

Info

Publication number: CN101206752A
Application number: CNA2007103017095A
Authority: CN
Inventors: 曹杨; 庄洪波; 王洪涛; 张研
Original assignee: BEIJING KEWEN SHUYE INFORMATION TECHNOLOGY Co Ltd
Current assignee: BEIJING KEWEN SHUYE INFORMATION TECHNOLOGY Co Ltd
Priority date: 2007-12-25
Filing date: 2007-12-25
Publication date: 2008-06-25

Abstract

本发明公开了一种电子商务网站相关商品推荐系统，从顾客的购物历史数据和购物内容出发挖掘特征词，利用数学方法建立不同特征向量间的相似关系，得到商品间的相似关系，从而为顾客找到商品。同时还公开了相关商品的推荐方法，从数据库中提取一定时间跨度的数据，选取并计算有用的数据信息段建立“商品—顾客”计算模型，再按照“商品—顾客—其他商品”模式进行商品间相似度的计算，并将结果推荐给顾客。从而抓住顾客心理，促使顾客购买相关商品，刺激增加销量。

Description

电子商务网站相关商品推荐系统及其方法

技术领域

本发明涉及电子商务网站的相关商品推荐领域，特别是涉及电子商务网站的基于购物行为Item的商品推荐技术和基于内容的商品推荐技术。

背景技术

当今时代是信息技术的时代，互联网在人们的生活中占据了相当大的比重，网上购物就是其中之一。为此，电子商务网站都以获得最大利益为目标，用技术和非技术的方法，增加注册顾客、增加订单量、提供优质的服务。在这些前提下，个性化的商品推荐技术应运而生。

目前，国内的一些推荐技术大多采用比较原始的方法。

最原始的方法是“数据库查询”，通过sql语句找到数据库中和顾客浏览、收藏或是购买的商品有相同作者、相同分类、相同主题等的其他一些商品，推荐给顾客。“问卷反馈”方式，通过提问，让顾客回答一些问题，直接了解顾客的喜好，推荐合适的商品。此外还有“关联规则”等等形式的商品推荐方法。以上这些方法，在推荐的准确性、实时性等方面不够理想，推荐的自动化程度和持久性程度低，缺乏个性化。总结起来，目前国内商品推荐存在以下缺点：

缺乏个性化的推荐。很多的推荐结果是针对所有用户的，或者是针对大部分用户的，不是针对某个用户当前行为的个性化的推荐。这些推荐结果中，可能很多的推荐与某些用户的兴趣并不相符。这是我国电子商务推荐的最大缺点。

推荐的自动化程度低。大多数的推荐功能都需要用户经过一段时间与计算机的交互，输入自己的兴趣信息，然后才能得到结果(“问卷反馈”方式)。

推荐的持久性程度低。目前国内大部分的推荐技术都是建立在当前用户会话基础上的，不能利用用户以前的会话信息，推荐的持久性程度非常低，这也是国内推荐技术的一个主要缺点。

推荐方法单一。所运用的大多数推荐策略基本上就是分类浏览和基于内容的检索，缺乏多种推荐策略的混合使用，尤其是缺少个性化的与非个性化的推荐策略的混合使用。

实时性差，不能在线推荐。有的推荐策略不能做到在线推荐，如信函式推荐，推荐结果不能及时反馈给用户。

推荐的局限性大。大部分只能推荐那些有一定销售量、关注量的商品，而对于那些刚刚上架的新进的商品，无所适从——冷开始问题。

发明内容

为了解决以上问题，给顾客推荐他们可能要购买的商品，同时又能推荐新上架的商品，本发明提供一种简便的在电子商务网站使用的方法：

首先使用基于购物历史挖掘的推荐技术，从顾客的实际购物数据出发进行挖掘，得到的相关推荐商品符合顾客客观的实际的购物趋势和兴趣习惯。

然后，使用基于内容挖掘的自然语言处理相关技术，挖掘商品信息的特征词，把商品表示成相关的信息特征向量，根据不同特征向量间的相似关系得到商品间的相似关系，从而为顾客推荐相关商品。

综上所述，系统由基于购物历史挖掘部分和基于内容挖掘部分构成。第一部分基于购物历史挖掘部分：

如图1所示，本发明系统所使用的功能模块包括：源数据准备模块、数据字段提取模块、计算模型模块、相关商品计算模块。其中的每个部分都是本发明得以实现并成功应用的基础，构成了一个技术系统。

1.源数据准备模块：从数据库中提取一定时间跨度的订单数据、浏览日志、搜索日志等等，能反映“商品-顾客”关系的数据集。

2.数据字段提取模块：提取每条订单中的有用信息，如：购买日期、购买人、购买商品等数据。

3.计算模型模块：通过分析这些数据，建立“商品-顾客”计算模型。

4.相关商品计算模块：按照商品——购买该商品的顾客——该顾客购买其他商品的关系，针对模型中的每个商品，从该商品本身出发，找到购买过它的顾客，再从顾客出发，找到和它存在关系的商品，然后运用核心公式计算这两个商品之间的相似度。

最后，计算完毕后得到每个商品的推荐结果的倒排文件。

具体包括以下步骤：

1)原始数据准备：可以是订单数据，或是浏览日志，搜索日志等等。

2)数据字段提取：取得数据源中有用的计算信息，如时间、人、商品等。

3)建立计算模型：通过分析提取的数据，建立“商品-顾客”计算模型(表示哪些顾客购买了哪些商品、哪些商品被哪些顾客购买过等关系)。

4)相关商品计算模型：用核心计算公式计算每个商品的相关商品集合。

其中，上述步骤4的核心计算公式有很多种选择，比如：

(1)L1-Norm算法：

L 1 (B, R) = \frac{| B \cap R |}{| B | \cdot | R |}

(2)L2-Norm算法：

L 2 (B, R) = \frac{| B \cap R |}{\sqrt{| B | \cdot | R |}}

(3)MI1算法：

MI 1 (B, R) = - | B \cap R | \cdot \lg \frac{| B \cap R |}{| B | \cdot | R |}

(4)COS算法：

\cos (\overset{&RightArrow;}{A}, \overset{&RightArrow;}{B}) = \frac{\overset{&RightArrow;}{A} \cdot \overset{&RightArrow;}{B}}{| | \overset{&RightArrow;}{A} | | \cdot | | \overset{&RightArrow;}{B} | |}

以上例举了4个比较常用的公式，计算的侧重点和效果各不相同，其他还有一些公式，选用哪种，由具体需求决定，即可单独使用，也可以组合使用。

第二部分基于内容挖掘部分：

如图5所示，本发明系统所使用的功能模块包括：商品信息初始化模块，分词模块，特征词组模块，特征词模块，向量组合模块和相关度计算模块。其中的每个部分都是本发明得以实现并成功应用的基础并构成了一个技术系统。

商品信息初始化模块：读取每条商品相关的信息，建立商品ID和描述信息的对应集。

分词模块：对描述信息进行中文分词，获得分词后的结果。

特征词组模块：计算商品描述信息分词后的特征词组。

特征词模块：计算商品描述信息分词后的特征词。

向量组合模块：将特征词组和特征词表示成商品特征向量的集合。

相关度计算模块：通过特征向量的集合，计算商品间的相似度，作为相关商品的备选集合。

包括以下步骤：

1)准备相关商品的信息，包括商品标题、商品内容、内容摘要等描述商品的信息。

2)对商品信息进行词法分析，得到计算特征词组和特征词的备选集合。

3)计算特征词组，可使用多种方法把备选词组合作为特征词组，如基于n元语法的组合词抽取。

4)计算特征词，对备选词排序，得到备选词的权重，如可以计算词的TFIDF值。

5)将特征词组和特征词联合构成代表商品特征的向量集。

6)计算每个商品的相关商品，并将结果显示出来推荐给顾客。

本发明可应用于基于购物行为Item的商品推荐、基于内容的商品推荐以及没有顾客购买记录的新上架商品的推荐等。几者之间可以互为补充，从不同角度解决商品推荐问题，为用户购物提供良好的体验，从而达到增加商务网站的销售量。

附图说明

图1是本发明的基于购物历史挖掘部分的系统流程图。

图2是本发明的基于购物历史挖掘部分的数据处理模块流程图。

图3是本发明的基于购物历史挖掘部分的计算模型倒排及索引结构图。

图4是本发明的基于购物历史挖掘部分的计算相关商品流程图。

图5是本发明的基于内容挖掘部分的商品推荐流程图。

图6是本发明的基于内容挖掘部分的抽取关键词组和关键词的流程图。

图7是本发明的基于内容挖掘部分的相关商品计算的流程图。

具体实施方式

例1：某购物网站三个月订单的处理

步骤1：原始数据准备

如提取3个月的订单数据OrderInfo.txt，格式为(时间顾客ID商品ID商品名)

例如：OrderInfo.txt的前20行的数据显示

20070715 C1 P1 Name1

20070717 C1 P2 Name2

20070721 C3 P1 Name1

20070722 C5 P2 Name2

20070725 C1 P4 Name4

20070803 C4 P7 Name7

20070805 C1 P3 Name3

20070812 C3 P2 Name2

20070825 C2 P2 Name2

20070827 C5 P5 Name5

20070827 C5 P3 Name3

20070828 C4 P9 Name9

20070828 C3 P4 Name4

20070828 C3 P8 Name8

20070829 C1 P5 Name5

20070829 C5 P8 Name8

20070829 C4 P4 Name4

20070830 C1 P8 Nane8

20070830 C2 P5 Name5

20070903 C2 P4 Name4

20070903 C4 P8 Name8

20070903 C2 P9 Name9

20070903 C3 P9 Name9

20070903 C3 P6 Name6

…… …… …… ……

步骤2：数据字段提取，如图2所示

按CustID排序：
按CustID排序：			200707152007071720070721200707222007072520070803200708052007081220070825200708272007082720070828200708282007082820070829200708292007082920070830200708302007090320070903200709032007090320070903……	C1C1C3C5C1C4C1C3C2C5C5C4C3C3C1C5C4C1C2C2C4C2C3C3……	P1P2P1P2P4P7P3P2P2P5P3P9P4P8P5P8P4P8P5P4P8P9P9P6……

按ProID排序：
按ProID排序：			200707152007071720070721200707222007072520070803200708052007081220070825200708272007082720070828200708282007082820070829200708292007082920070830200708302007090320070903200709032007090320070903……	C1C1C3C5C1C4C1C3C2C5C5C4C3C3C1C5C4C1C2C2C4C2C3C3……	P1P2P1P2P4P7P3P2P2P5P3P9P4P8P5P8P4P8P5P4P8P9P9P6……

提取相关数据项(有用信息)、对数据项排序。在该例中，提取相关数据项时，提取订单数据中的OrderDate(购买时间)、CustID(顾客ID)、ProID(商品ID)，存贮在包含这三个整型字段的结构中，写入二进制文件中，并按照各个单元结构中的CustID和ProID分别排序，生成下面的两个中间结果文件：

步骤3：生成计算模型

由上一步生成的两个结果文件，生成“商品-顾客”计算模型。

在该实例中，计算模型主要表示哪些顾客购买了哪些商品、哪些商品被哪些顾客购买过等关系，可以概括为顾客购物模型和商品被购买模型。

顾客购物模型表示每个顾客买过哪些商品，是一个倒排表结构(C-P倒排表)。商品被购买模型表示每个商品被哪些顾客够买过，也是一个倒排表结构(P-C倒排表)。

通过读取步骤2产生的两个中间结果文件，生成下面的两个倒排表，以及两个查询索引(C-P倒排索引和P-C倒排索引)，如图3所示。

C-P倒排表C1： P1 P2 P3 P4 P5 P8C2： P2 P4 P5 P9C3： P1 P2 P4 P6 P8 P9C4： P4 P7 P8 P9C5： P2 P3 P5 P8 ……

P-C倒排表P1： C1 C3P2： C1 C2 C3 C5P3： C1 C5P4： C1 C2 C3 C4P5： C1 C2 C5P6： C3P8： C1 C3 C4 C5P9： C2 C3 C4 ……

步骤4：相关商品计算

(1)、核心计算公式：

这里以“COS算法”为例，它是采用一种基于条目之间的协同过滤的推荐算法，即余弦公式。它对具有相同或相似销售历史的商品进行配对，并统计它们的相似程度，对销售活动进行向量化，然后对向量进行公式计算，最后形成一个相似的条目矩阵。

similarity (\overset{&RightArrow;}{A}, \overset{&RightArrow;}{B}) = \cos (\overset{&RightArrow;}{A}, \overset{&RightArrow;}{B}) = \frac{\overset{&RightArrow;}{A} \cdot \overset{&RightArrow;}{B}}{| | \overset{&RightArrow;}{A} | | \cdot | | \overset{&RightArrow;}{B} | |}

其中，在具体实例中：

向量A：表示商品A的销售人次量，向量B：表示商品B的销售人次量。

分子含义：在商品A和商品B购买过的相同的商品数量。

分母含义：表示商品A销售人次量的开方和商品B销售人次量的开方的乘积。

(2)、流程如图4所示。

a)进行内存映射读取对磁盘上的两个倒排表，

b)对于P-C倒排表中的商品Pi，查询它的销售记录，得到顾客集合CustList，

c)遍历CustList中的每个顾客，查询倒排表C-P，获取顾客的购买集合ProList，

d)遍历ProList，与原商品Pi两两配对(这里认为，被同一个顾客购买过的两个商品具有相关性)，生成规则(Proi-Proj-Count)，

e)通过计算公式以及规则，计算商品Pi和ProList中的每个商品的相似度，排序后记录结果，

f)返回b，直到遍历完所有的Pi。

例如，计算P1的相关商品时：

a)查找P-C倒排表，得到P1的销售记录C1、C3

b)查找C-P倒排表，得到C1还购买了(P2、P3、P4、P5、P8)，C3还购买了(P2、P4、P6、P8、P9)，认为P1与C1和C3的其他购买商品存在相关性

c)统计规则：P1-P2-2、P1-P3-1、P1-P4-2、P1-P5-1、P1-P6-1、P1-P8-2、P1-P9-1

d)计算P1和这些相关商品之间的相似度

P1-P2：

P1-P3：

P1-P4：P1-P5：

P1-P6：

P1-P8：

P1-P9：

因此，得到P1的推荐结果(与P1相关的商品，按相似度排序)：

P2(0.707)、P4(0.707)、P6(0.707)、P8(0.707)、P9(0.707)、P3(0.5)、P5(0.4087)

例2：顾客购书推荐相关商品

步骤1

准备信息数据，主要是商品文本描述信息。其包括商品标题、商品内容、内容摘要等，如：

C程序设计(第三版)——新世纪计算机基础教育丛书作者：谭浩强著

JavaScript高级程序设计——图灵程序设计丛书作者：扎卡斯著，曹力等译

…….

步骤2

对以上数据信息进行分词。针对不同的使用需求，可采用不同的切分方法。如基于正向最大匹配的切词算法，可保证一定的切分速度，使系统的运行时间缩短。

步骤3

分析特征词组。为了得到特征词组，可采用多种方法：基于字的n元语法和基于词的n元语法等。在分词的基础上考虑分词碎片的结果，基于词的n元语法效果较好。基于词的n元语法：考虑词、单字的连续组合，可以构成有完整意义的词组。这里选择使用2-5元语法，计算了所有2-5元词、字的组合概率，成词的模式。这样频次较低的词的词也可以收录进来。

步骤4

分析特征词抽取。对区别文档最有意义的词语应该是那些在文档中出现频率足够高，但在整个文档集的其他文档中频率足够少的词语。所以，词语权重与其项频和文频有关。这里使用TF-IDF公式计算

ω_{i} (d) = \frac{{tf}_{i} (d) \log (\frac{N}{n_{i}} + 0.1)}{\sqrt{Σ_{i = 1}^{n} {({tf}_{i} (d))}^{2} \times \log^{2} (\frac{N}{n_{i}} + 0.1)}} - - - (1)

根据TF-IDF公式，文档集中包含某一词条的文档越多，说明它区分文档类别属性的能力越低，其权值越小；另一方面，某一文档中某一词条出现的频率越高，说明它区分文档内容属性的能力越强，其权值越大。

步骤5

把特征词组和特征词组合成向量的模式，为下一步计算相关度打下基础。

步骤6

相关度计算。计算两个向量的相似度有多种方法：基于向量空间模型的相似度计算方法；基于集合模型的相似度计算方法。这里考虑速度与效率，采用基于集合模型的相似度计算方法。文本相似度的决策函数：令F(A)表示文档A的指纹集，F(B)表示文档B的指纹集，S(A，B)表示文档A和B的相似度，则决策函数为

S (A, B) = \frac{| F (A) \cap F (B) |}{| F (A) \cup F (B) |} - - - (2)

当文档向量维数变化不大时，可以简化为

S(A，B)＝|F(A)∩F(B)| (3)

式(3)可以表示式(2)的趋势，应用公式(3)可以简化计算的过程。首先，记录每个商品信息的特征向量；接着记录每个向量对应的商品；计算商品相似度时，只需要计算每个向量对应的商品。在程序中，根据商品数据建立一个倒排的向量对应商品ID序列表，计算相似度时，只要对商品对应的向量遍历查找后计数可得出相关度大商品。

结果示例

C程序设计(第三版)推荐的新商品为：

·C语言程序设计

·C++程序设计解析

·C++程序设计教程(第2版)

JavaScript高级程序设计——图灵程序设计丛书，推荐的新商品为：

·ASP.NET实用教程

Claims

1.一种电子商务网站相关商品推荐系统，从顾客的购物历史数据和购物内容出发挖掘特征词，利用数学方法建立不同特征向量间的相似关系，得到商品间的相似关系，从而为顾客推荐相关商品，其中顾客的购物历史部分包括：

源数据准备模块：从数据库中提取一定时间跨度的能反映“商品-顾客”关系的数据集；

数据字段提取模块：提取每条订单中的有用信息，建立“商品-顾客”计算模型；

相关商品计算模块：按照商品——购买该商品的顾客——该顾客购买其他商品的关系，运用核心公式计算它们之间的相似度；

最后，得到每个商品的推荐结果的倒排文件；

其中购物内容部分包括：

商品信息初始化模块：读取每条商品相关的信息，建立商品ID和描述信息的对应集；

分词模块：对描述信息进行中文分词，获得分词后的结果；

特征词组模块：计算商品描述信息分词后的特征词组；

特征词模块：计算商品描述信息分词后的特征词；

向量组合模块：将特征词组和特征词表示成商品特征向量的集合；

2.如权利要求1所述的一种电子商务网站相关商品推荐系统，其特征在于源数据准备模块是指执行从数据库中提取一定时间跨度的订单数据、浏览日志、搜索日志。

3.如权利要求1所述的一种电子商务网站相关商品推荐系统，其特征在于数据字段提取模块是指执行提取每条订单中的购买日期、购买人、购买商品数据。

4.如权利要求1所述的一种电子商务网站相关商品推荐系统，其特征在于相关商品计算模型是指采用L1-Norm算法、L2-Norm算法、MI1算法、COS算法中的一种或几种组合。

5.一种电子商务网站相关商品推荐方法，包括如下步骤：

(1)处理购物历史数据库中的数据部分：

①从数据库中准备原始数据，

②提取数据源中有用的计算信息数据字段，

③通过分析提取的数据，建立“商品-顾客”计算模型，

④用核心计算公式计算每个商品的相关商品集合；

(2)处理购物商品内容的数据部分：

①准备相关商品的信息，

②对商品信息进行词法分析，得到计算特征词组和特征词的备选集合，

③计算特征词组，把备选词组合作为特征词组，

④计算特征词，对备选词排序，得到备选词的权重，

⑤将特征词组和特征词联合构成代表商品特征的向量集，

⑥计算每个商品的相关商品，并显示推荐的结果给顾客。

6.如权利要求5所述的一种电子商务网站相关商品推荐方法，其特征在于核心计算公式是指采用L1-Norm算法、L2-Norm算法、M11算法、COS算法中的一种或几种组合。

7.如权利要求5所述的一种电子商务网站相关商品推荐方法，其特征在于使用基于n元语法的组合词抽取来计算计算特征词组。

8.如权利要求5所述的一种电子商务网站相关商品推荐方法，其特征在于使用词的TFIDF值来计算词的权重。