CN108229826A - 一种基于改进贝叶斯算法的网购风险等级评估方法 - Google Patents

Abstract

本发明提供了一种基于改进贝叶斯算法的网购风险等级评估方法，包括：步骤1，从电商平台抓取需求的指标数据；步骤2，对指标进行无量纲化处理，并对各指标设定4个风险等级标准值；步骤3，利用欧式距离法对网购风险进行等级的划分，选取部分作为训练集M，部分作为测试集m；步骤4，对指标数据进行等级离散化处理；步骤5，计算贝叶斯的先验概率和条件概率；步骤6，利用Jaccard方法进行指标相关性的计算，求得权重并改进；步骤7，利用改进的加权贝叶斯公式计算出测试集m中样本的风险等级。本发明，在通过对大量某类商品信息统计的基础上，可以帮助消费者通过电商平台的数据信息评估相应网购活动的风险情况，并改进贝叶斯算法来提高评估的准确性。

Description

一种基于改进贝叶斯算法的网购风险等级评估方法

技术领域

本发明涉及电子商务领域，具体设计一种基于改进贝叶斯算法的网购风险等级评估方法。

背景技术

如今，随着网络的发达和普及，基于信息技术、计算机技术和网络技术的电子商务应用，由于其存在方便、价格低、选择面大等诸多优势，越来越受到广大消费者的青睐，改变了企业的生产经营方式，也改变了人们的消费方式。然而，由于电子商务的虚拟性、商家的恶性竞争、产品假冒伪劣等，如何辨识网上购物存在的风险，特别是产品质量风险，一直是消费者关心的问题。

当前各大电子商务平台为了对更好地监督和管理网店的运营情况，也为了帮助消费者了解购买的商品和其所在网店的情况，根据消费者的反馈，制定了许多的指标，比如买家评论、评论得分、月销量、卖家服务、物流、退款退货情况等。

但是，由于指标的数量较大，部分指标也没有给出相比于同行业的水平，并且没有一个综合的水平划分，导致消费者无法直观、有效地评估网购活动中存在地风险情况。

于是，为了解决消费者对面大量指标而无法有效了解其反映的情况，帮助消费者了解此次网购中存在的风险情况，设计了一种基于改进贝叶斯算法的网购风险等级评估方法，用户只要提供相应的指标，就能得到网购相应的风险等级。

发明内容

(一)要解决的技术问题

本发明提供了一种基于改进贝叶斯算法的网购风险等级评估方法，对电商平台提供的大量指标进行了综合风险等级划分，统计各指标在综合风险等级中的分布情况，并且让消费者可以通过网购对象的指标了解到存在的风险情况，提升了电商平台提供的指标的价值，对电商平台和消费者都具有很好的应用价值。

本发明提出的利用相似性的加权贝叶斯算法，有效地解决了朴素贝叶斯算法中各指标独立在现实情况下难以满足的问题，并采用各最终风险等级权重独立计算的方法，提高了分类的准确性。

本发明提出的改进传统贝叶斯算法权重，深刻考虑到了加入权重后导致先验概率存在明显差异时对结果的影响过大的问题，对权重进行了改进，进一步提高了分类的准确性。

(二)技术方案

一种基于改进贝叶斯算法的网购风险等级评估方法，其特征在于，所述方法包括：

步骤1，使用网络爬虫技术从电商平台上抓取某类商品的商品信息和店铺信息数据。爬虫技术是从一个初始网页的URL开始，根据设计的正则表达式抓取网页中的内容和抽取新的URL，直到完成设定的任务为止。将记录数据的网页用dom4j技术提取需要的信息节点解析为文本，持久化处理，存入数据库中。

步骤2，选择出适合的商品信息(月销量、累计评价、收藏人气、评价得分)和店铺信息(年龄、描述、服务、物流、纠纷退款率)作为风险评估的指标集合{a₁,a₂,...,a_n}。对指标进行无量纲化处理，使指标数据间具有可比性，采用的无量纲化公式是：

从数据的实际情况出发，将每种指标数据排序，平均划分成4个风险等级，取每个等级数据集合的中位数作为相应等级的指标。

步骤3，利用欧式距离法对购买各商品的风险进行等级的划分，取最小距离对应等级作为样本等级，计算公式是：

其中，k＝1，2，3，4，代表划分的4个风险等级；a_i表示各指标的数值；b_ki表示k等级下各指标的标准值；d_k表示样本与k等级之间的距离。

指标数据进行等级离散化处理是将所有样本的指标数据换成最接近的等级标准值对应的等级。选取部分作为训练集M，部分作为测试集m。

步骤4，对指标数据进行等级离散化处理，即数据均以等级形式表示，是将所有样本的指标数据换成最接近的等级标准值对应的等级。

步骤5，统计出需要的参数值，通过公式计算出贝叶斯公式的先验概率P(C_k)和条件概率P(x_i|C_k)，其中，先验概率是各风险等级发生的概率，条件概率是各风险等级发生情况下各指标风险等级发生的概率。

步骤6，利用Jaccard相关系数计算出各指标风险等级与最终风险等级之间的相关性，并且4个最终风险等级分开计算，得到4组相关性值，通过相关性的大小获得4组权重，加入指数权重后导致在先验概率P(C_k)存在明显差异时对结果的影响过大，为了解决这一问题，将权重从和为1改进为平均值为1。

步骤7，利用改进的加权贝叶斯公式计算出测试集m中样本属于各风险等级的后验概率，比较出最大的概率属于的风险等级作为相应样本的风险等级。具体的计算公式是：

其中，V表示最终风险等级，C表示风险等级集合；k＝1，2，3，4，C_k代表划分的四方法个风险等级；X表示样本；x_i表示第i个风险指标对应等级；n表示风险指标的数目；V_ik表示C_k等级对应的权重组；arg表示取最大值时的C_k，即取最大的概率的等级作为样本最终等级。

(三)有益效果

本发明提出的基于改进贝叶斯算法的网购风险等级评估方法，能够帮助消费者更好地了解网购的对象在同行业中的风险大小情况，同时对贝叶斯算法的加权和权重的改进有效地提高了风险等级评估结果的准确性。

附图说明

图1是本发明的技术路线图。

图2是本发明的风险等级标准值设定图。

图3是本发明的贝叶斯算法加权及权重改进流程图。

图4是本发明的改进权重效果示意图。

具体实施方式

为了使本发明的目的、技术方案和有点更加清楚明了，下面结合具体实施方案并参照附图，对本发明进一步详细说明。

在下面的描述中阐述了很多细节以便于充分理解本发明，但是，本发明还可以在采用其他不同于此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例限制。

图1显示了本发明一种基于改进贝叶斯算法的网购风险等级评估方法的技术路线图。

步骤1，以手机为例，使用网络爬虫技术从天猫上抓取手机的商品信息和店铺信息数据。爬虫技术是从搜索手机转到的第一个网页的URL开始，根据设计的正则表达式抓取网页中的内容和抽取新的URL，直到完成抓取最后一级店铺详情URL中的内容为止。将记录数据的网页用dom4j技术提取需要的信息节点解析为文本，持久化处理，存入数据库中。

步骤2，选择出手机信息(月销量、累计评价、收藏人气、评价得分)和店铺信息(年龄、描述、服务、物流、纠纷退款率)作为风险评估的指标集合{a₁,a₂,...,a_n}，其中，n＝9。由于纠纷退款率是逆指标，先进行减法一致性处理1-x_i。对指标进行无量纲化处理，使指标数据间具有可比性，采用的无量纲化公式是：

例如手机所有样本中月销量的最大值为50000，月销量的最小值为10，那么如果某一样本的月销量为5000，无量纲化后为(5000-10)/(50000-10)＝0.0998。

如图2所示，从数据的实际情况出发，将每种指标数据排序，平均划分成4个风险等级，取每个等级数据集合的中位数作为相应等级的标准值。

步骤3，利用欧式距离法对购买各商品的风险进行等级的划分，取最小距离对应等级作为样本等级，计算公式是：

其中，k＝1，2，3，4，代表划分的4个风险等级；a_i表示各指标的数值；b_ki表示k等级下各指标的标准值；d_k表示样本与k等级之间的距离。如表1所示。

表1欧式距离法符号含义表

指标数据进行等级离散化处理是将所有样本的指标数据换成最接近的等级标准值对应的等级。选取部分作为训练集M，部分作为测试集m。

步骤4，对指标数据进行等级离散化处理，即数据均以等级形式表示，是将所有样本的指标数据换成最接近的等级标准值对应的等级。例如某样本中a₁的值与b₁₁、b₂₁、b₃₁、b₄₁中b₁₁最接近，那么a₁的值变为1。

步骤5，统计出需要的参数值，通过公式计算出贝叶斯公式的先验概率P(C_k)和条件概率P(x_i|C_k)，其中，先验概率是各最终风险等级发生的概率，条件概率是各最终风险等级发生情况下各指标风险等级发生的概率。

步骤6，利用Jaccard相关系数即为A∩B所有样本某指标风险等级和对应最终风险等级相同的数目，A∪B是样本总数，计算出各指标风险等级与最终风险等级之间的相关性，得到相关性值，通过相关性的大小获得权重。由于贝叶斯算法中后验概率是先验概率和条件概率之间的乘积，所以乘积权重对样本属于4个风险等级的概率比较没有影响，所以加入指数权重。加入权重后的公式为：

加入小数权重后，导致P(x_i|C_k)在k取不同值时差异明显缩小，在先验概率P(C_k)存在明显差异时对结果的影响过大。为了解决这一问题，将权重从和为1改进为平均值为1。原权重为(V₁,V₂,V₃,V₄)，求出平均值改进后权重为优点是既可以体现指标间重要性的差异，又可以防止条件概率影响过小，从而有效降低先验概率差异对结果的干扰。如图3所示，以P1＝0.3^v1*0.4^v2*0.5^v3*0.6^v4和P2＝0.6^v1*0.5^v2*0.4^v3*0.3^v4为例，(v1,v2,v3,v4)＝(0.1,0.2,1.8,1.9),(0.2,0.3,1.7,1.8)...(1.9,1.8,0.2,0.1),得到P1/P2的变化曲线，从图中可以看出权重影响了原本相同的P1和P2的大小关系，而且当权重在0.5-1.5之间时，倍率变化在0.5-2之间，该权重区间符合实际情况，该倍率也可以达到更好的分类效果。

步骤7，将4个最终风险等级分开计算，得到4组相关性值，通过相关性的大小获得4组权重。权重的改进过程如图4所示。利用改进的加权贝叶斯公式计算出测试集m中样本属于各风险等级的后验概率，比较出最大的概率属于的风险等级作为相应样本的风险等级。具体的计算公式是：

其中，V表示最终风险等级，C表示风险等级集合；k＝1，2，3，4，C_k代表划分的四方法个风险等级；X表示样本；x_i表示第i个风险指标对应等级；n表示风险指标的数目；V_ik表示C_k等级对应的权重组；arg表示取最大值时的C_k，即取最大的概率的等级作为样本最终等级。

应理解，本发明的上述具体实施方式是用于示例性说明本发明的原理，而不构成对本发明的限制。本发明所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种基于改进贝叶斯算法的网购风险等级评估方法，其特征在于，所述方法包括：

步骤1，使用网络爬虫技术从电商平台上抓取某类商品的商品信息和店铺信息数据，将记录数据的网页解析为文本，持久化处理，存入数据库中；

步骤2，将抓取的商品信息和店铺信息作为风险评估的指标，对指标进行无量纲化处理，使指标数据间具有可比性，并对各指标设定4个风险等级标准值；

步骤3，利用欧式距离法对购买各商品的风险进行等级的划分，选取部分作为训练集M，部分作为测试集m；

步骤4，对指标数据进行等级离散化处理，即数据均以等级形式表示；

步骤5，统计出需要的参数值，通过公式计算出贝叶斯公式的先验概率和条件概率；

步骤6，利用Jaccard方法进行指标相关性的计算，获得权重，并对权重进行改进；

步骤7，利用改进的加权贝叶斯公式计算出测试集m中样本属于各风险等级的后验概率，比较出最大的概率属于的风险等级作为相应样本的风险等级。

2.如权利要求1所述的一种基于改进贝叶斯算法的网购风险等级评估方法，其特征在于：在步骤2中，选择出适合的商品信息(月销量、累计评价、收藏人气、评价得分)和店铺信息(年龄、描述、服务、物流、纠纷退款率)作为风险评估的指标集合{a₁,a₂,...,a_n}。

3.如权利要求1所述的一种基于改进贝叶斯算法的网购风险等级评估方法，其特征在于：在步骤2中，为了使指标数据间具有可比性，先对逆指标进行减法一致性处理，然后对所有指标无量纲化处理，公式是：

其中min x表示指标中的最小值；max x表示指标中的最大值。

4.如权利要求1所述的一种基于改进贝叶斯算法的网购风险等级评估方法，其特征在于：在步骤2中，从数据的实际情况出发，将每种指标数据排序，平均划分成4个风险等级，取每个等级数据集合的中位数作为相应等级的指标。

5.如权利要求1所述的一种基于改进贝叶斯算法的网购风险等级评估方法，其特征在于：在步骤3中，利用欧式距离法对购买各商品的风险进行等级的划分，取最小距离对应等级作为样本等级，计算公式是：

其中，k＝1，2，3，4，代表划分的四个风险等级；a_i表示各指标的数值；b_ki表示k等级下各指标的标准值；d_k表示样本与k等级之间的距离。

6.如权利要求1所述的一种基于改进贝叶斯算法的网购风险等级评估方法，其特征在于：在步骤4中，指标数据进行等级离散化处理是将所有样本的指标数据换成最接近的等级标准值对应的等级。

7.如权利要求1所述的一种基于改进贝叶斯算法的网购风险等级评估方法，其特征在于：在步骤5中，先验概率是各风险等级发生的概率，条件概率是各风险等级发生情况下各指标风险等级发生的概率。

8.如权利要求1所述的一种基于改进贝叶斯算法的网购风险等级评估方法，其特征在于：在步骤6中，Jaccard方法计算的是各指标风险等级与最终风险等级之间的相关性，并且4个最终风险分开计算，得到4组相关性值。

9.如权利要求1所述的一种基于改进贝叶斯算法的网购风险等级评估方法，其特征在于：在步骤6中，通过相关性的大小获得4组权重，考虑到先验概率差异的影响，将权重从和为1改进为平均值为1。

10.如权利要求1所述的一种基于改进贝叶斯算法的网购风险等级评估方法，其特征在于：在步骤7中，具体的计算公式是：

其中，V表示等级，C表示风险等级集合；k＝1，2，3，4，C_k代表划分的四方法个风险等级；X表示样本；x_i表示第i个风险指标对应等级；n表示风险指标的数目；arg表示取最大值时的C_k，即取最大的概率的等级作为样本最终等级。