CN108805332B

CN108805332B - 一种特征评估方法和装置

Info

Publication number: CN108805332B
Application number: CN201810427768.5A
Authority: CN
Inventors: 傅珊珊
Original assignee: Beijing QIYI Century Science and Technology Co Ltd
Current assignee: Beijing QIYI Century Science and Technology Co Ltd
Priority date: 2018-05-07
Filing date: 2018-05-07
Publication date: 2022-12-02
Anticipated expiration: 2038-05-07
Also published as: CN108805332A

Abstract

本发明实施例提供了一种特征评估方法和装置，可以接收用户输入的评估指令，其中，评估指令中携带有待评估特征和数据标识，根据数据标识，对目标特征对应的评估数据进行预处理，将目标特征对应的评估数据的预处理结果，输入至预先训练好的评估模型，根据评估模型的输出结果，确定待评估特征的评估结果。基于上述处理，可以实现自动特征评估，进而提高特征评估的效率。

Description

一种特征评估方法和装置

技术领域

本发明涉及数据处理技术领域，特别是涉及一种特征评估方法和装置。

背景技术

在机器学习中，通常可以根据预测模型和原始数据，得到预测结果。为了得到较好的预测结果，除了选择合适的预测模型外，技术人员还需要从原始数据中提取特征。特征的质量直接决定预测结果的准确度。例如，在进行广告点击率的预测时，原始数据可以为多个广告在预设时间段内接收到的点击请求中的数据，点击请求中的数据可以包括用户的性别、用户的年龄或者广告的类型，技术人员可以将用户的性别、用户的年龄或者广告的类型，作为预测广告点击率的特征。

然而，发明人在实现本发明的过程中发现，现有技术至少存在如下问题：

现有技术中，在对特征进行评估时，往往由技术人员根据经验，确定需要使用的特征。例如，在进行广告点击率的预测时，技术人员可以选择将用户的性别作为特征，并根据该特征安排广告的投放，然后，技术人员可以根据投放的广告的实际点击率，确定该特征的评估结果。如果广告的实际点击率有增大，则技术人员可以确认该特征有效，否则，可以确认该特征无效。

由以上可见，现有技术中，技术人员需要根据某一特征安排广告的投放，经过预设时间段后，根据广告的实际点击率，才可以确认某一特征是否有效，降低了特征评估的效率。

发明内容

本发明实施例的目的在于提供一种特征评估方法和装置，以提高特征评估的效率。具体技术方案如下：

第一方面，为了达到上述目的，本发明实施例公开了一种特征评估方法，上述方法包括：

接收用户输入的评估指令，其中，所述评估指令中携带有待评估特征和数据标识，所述数据标识用于标识特征评估所需的评估数据，所述评估数据包括每一特征对应的预设的数值；

根据所述数据标识，对目标特征对应的评估数据进行预处理，其中，所述目标特征包括所述待评估特征和预设特征；

将所述目标特征对应的评估数据的预处理结果，输入至预先训练好的评估模型；

根据所述评估模型的输出结果，确定所述待评估特征的评估结果。

可选的，所述根据所述数据标识，对目标特征对应的评估数据进行预处理，包括：

如果目标特征为连续型特征，对所述目标特征对应的评估数据进行离散特征变换，得到所述目标特征对应的离散型数值。

可选的，所述评估模型的输出结果包括受试者工作特征ROC曲线，所述根据所述评估模型的输出结果，确定所述目标特征的评估结果，包括：

如果所述ROC曲线的曲线下面积AUC大于预设阈值，则确定所述待评估特征为有效特征；

如果所述ROC曲线的AUC小于预设阈值，则确定所述待评估特征为无效特征。

可选的，当对多个待评估特征进行评估时，在确定所述待评估特征为有效特征之后，所述方法还包括：

将当前的待评估特征添加到所述预设特征中，以根据更新后的预设特征和所述评估模型，对下一待评估特征进行特征评估。

第二方面，为了达到上述目的，本发明实施例公开了一种特征评估装置，所述装置包括：

收发模块，用于接收用户输入的评估指令，其中，所述评估指令中携带有待评估特征和数据标识，所述数据标识用于标识特征评估所需的评估数据，所述评估数据包括每一特征对应的预设的数值；

处理模块，用于根据所述数据标识，对目标特征对应的评估数据进行预处理，其中，所述目标特征包括所述待评估特征和预设特征；

可选的，所述处理模块，具体用于如果目标特征为连续型特征，对所述目标特征对应的评估数据进行离散特征变换，得到所述目标特征对应的离散型数值。

可选的，所述评估模型的输出结果包括受试者工作特征ROC曲线，所述处理模块，具体用于如果所述ROC曲线的AUC大于预设阈值，则确定所述待评估特征为有效特征；

可选的，当对多个待评估特征进行评估时，所述处理模块，还用于将当前的待评估特征添加到所述预设特征中，以根据更新后的预设特征和所述评估模型，对下一待评估特征进行特征评估。

第三方面，为了达到上述目的，本发明实施例还公开了一种电子设备，所述电子设备包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信：

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现如上述任一所述的特征评估方法。

在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的特征评估方法。

在本发明实施的又一方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的特征评估方法。

本发明实施例提供的一种特征评估方法和装置，可以接收用户输入的评估指令，其中，评估指令中携带有目标特征和数据标识，根据数据标识，对目标特征对应的评估数据进行预处理，将目标特征对应的评估数据的预处理结果，输入至预先训练好的评估模型，根据评估模型的输出结果，确定待评估特征的评估结果。基于上述处理，可以实现自动特征评估，进而提高特征评估的效率。

当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本发明实施例提供的一种特征评估方法的流程图；

图2为本发明实施例提供的一种特征评估装置的结构图；

图3为本发明实施例提供的一种电子设备的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。

现有技术中，往往由技术人员根据经验，确定需要使用的特征。例如，在进行广告点击率的预测时，技术人员可以选择将用户的性别作为特征，并根据该特征安排广告的投放，然后，技术人员可以根据投放的广告的实际点击率，确定该特征的评估结果。可以看出，现有技术中，特征评估的效率低。

为了解决上述问题，本发明实施例提供了一种特征评估方法和装置，可以应用于电子设备，该电子设备可以是终端，也可以是服务器。电子设备可以接收用户输入的评估指令，其中，评估指令中携带有待评估特征和数据标识。电子设备可以根据数据标识，对目标特征对应的评估数据进行预处理，将目标特征对应的评估数据的预处理结果，输入至预先训练好的评估模型，根据评估模型的输出结果，确定待评估特征的评估结果。基于上述处理，可以根据评估模型的输出结果，直接确定待评估特征的评估结果，进而可以提高特征评估的效率。

参见图1，图1为本发明实施例提供的一种特征评估方法的流程图，该方法可以包括以下步骤：

S101：接收用户输入的评估指令。

其中，评估指令中可以携带有待评估特征和数据标识，待评估特征可以为一个，也可以为多个。数据标识用于标识特征评估所需的评估数据，评估数据可以包括每一特征对应的预设的数值。例如，在广告点击率的预测中，评估数据可以是已上线的广告接收到的点击请求中的数据。

在实施中，电子设备通常可以根据实际业务中的数据(即评估数据)对某一特征进行评估。例如，当电子设备评估某一特征在广告点击率的预测中是否有效时，电子设备可以获取某一时间段内，多个样本广告接收到的点击请求，将点击请求中包含的待评估特征和已上线特征对应的特征数值，作为评估数据。其中，已上线特征可以是当前业务中已使用的有效特征。然后，电子设备可以根据待评估特征和已上线特征对应的特征数值，对待评估特征进行评估。当用户需要对某一特征(即待评估特征)进行评估时，可以通过电子设备的输入部件，向电子设备输入评估指令，电子设备则可以接收到该评估指令，并解析该评估指令，得到待评估特征和数据标识。

S102：根据数据标识，对目标特征对应的评估数据进行预处理。

其中，目标特征可以包括待评估特征和预设特征，预设特征可以是当前业务中已使用的有效特征，预设特征可以为一个，也可以为多个。具体的，预设特征可以是技术人员根据经验预先设定的，也可以是根据本发明实施例的特征评估方法确定出的有效特征。

在实施中，当电子设备解析评估指令，得到数据标识后，可以根据数据标识，获取目标特征对应的评估数据。具体的，当电子设备评估某一特征在广告点击率的预测中是否有效时，电子设备可以根据数据标识，在本地存储的广告的点击请求中包含的数据中，获取目标特征对应的数据(即评估数据)。例如，某一广告接收到的点击请求中的数据可以包括：男、24岁、晚上9点、该用户使用手机端点击该广告、点击的广告图像中含有动物。目标特征可以包括：用户年龄、用户的性别。电子设备则可以根据数据标识，获取2017年8月9日-2017年8月10日，本地存储的10条广告的300个点击请求中用户的年龄和用户的性别。或者，电子设备也可以从提供广告服务的服务器中获取某一时间段内，该服务器接收到的预设数量个广告的点击请求中包含的数据，并提取其中目标特征对应的评估数据。然后，电子设备可以对目标特征对应的评估数据进行预处理。具体的，电子设备对评估数据进行预处理的方法将在后续进行详细介绍。

S103：将目标特征对应的评估数据的预处理结果，输入至预先训练好的评估模型。

其中，评估模型可以是FM(Factorization Machine，因子分解机)模型、LR(Logistic Regression，逻辑回归)模型或现有技术中其他评估模型。评估模型可以是根据已上线的有效特征对应的评估数据进行训练得到的，例如，评估模型可以是根据上述预设特征和样本广告的实际点击率对FM模型进行训练得到的。

在实施中，电子设备在对目标特征对应的评估数据进行预处理后，可以将预处理结果输入至预先训练好的评估模型，以对待评估特征进行评估。

S104：根据评估模型的输出结果，确定待评估特征的评估结果。

其中，评估模型的输出结果可以为ROC(Receiver Operating Characteristic，受试者工作特征)曲线，还可以是PR(Precision Recall，召回率准确度)曲线。

在实施中，电子设备可以根据评估模型的输出结果，判定待评估特征是否有效。具体的，将在后续详细介绍。

由以上可见，基于本发明实施例的特征评估方法，电子设备可以接收用户输入的评估指令，根据数据标识，对目标特征对应的评估数据进行预处理，将预处理结果输入至预先训练好的评估模型，根据评估模型的输出结果，确定待评估特征的评估结果。基于上述处理，可以根据评估模型的输出结果，直接确定待评估特征的评估结果，进而可以提高特征评估的效率。

可选的，电子设备根据数据标识，对目标特征对应的评估数据进行预处理，可以包括以下步骤：如果目标特征为连续型特征，对目标特征对应的评估数据进行离散特征变换，得到目标特征对应的离散型数值。

在实施中，如果目标特征为连续型特征，电子设备可以对目标特征对应的评估数据进行离散特征变换，得到目标特征对应的离散型数值，例如，目标特征可以为年龄，目标特征对应的评估数据中包含了20岁到29岁，共计10种年龄，电子设备可以将每个年龄作为一个特征，并进行编号，编号为1到10。如果某一点击请求中包含的数据为20岁，则电子设备可以确定该点击请求编号为1的特征上的值为1，编号为2至10的特征上的值为0，相应的，如果某一点击请求中包含的数据为25岁，则电子设备可以确定该点击请求编号为6的特征上的值为1，编号为1至5和7至10的特征上的值为0。另外，当目标特征还包括性别时，电子设备可以将每种性别作为一个特征，并进行编号，编号为11和12，编号11代表男性，编号12代表女性。如果某一点击请求中包含的数据为男性，则电子设备可以确定该点击请求编号为11的特征上的值为1，编号为12的特征上的值为0，相应的，如果某一点击请求中包含的数据为女性，则电子设备可以确定该点击请求编号为10的特征上的值为0，编号为12的特征上的值为1。具体的，电子设备可以根据GBDT(Gradient Boosting Decision Tree，梯度提升决策树)，对连续型特征进行离散特征变换。进而，电子设备可以得到该点击请求中，目标特征对应的离散型数值。

另外，在广告的点击率预测中，通常需要获取广告的图像特征，图像特征可以包括某广告的图片中包含的人脸的个数，某广告的图片中包含的汽车的个数等。电子设备可以根据预设的图像特征提取算法，获取目标特征对应的图像数据，然后对图像数据进行离散特征变换，得到目标特征对应的离散型数值。例如，目标特征为图像中包含的人脸的个数，针对某一点击请求，电子设备可以获取该点击请求对应的图像，然后根据图像特征提取算法，获取该图像中包含的人脸的个数，并将该图像包含的人脸的个数作为目标特征对应的图像数据。然后，电子设备可以对图像数据进行离散特征变换，得到目标特征对应的离散型数值。具体的，可以参考上述实施例中电子设备对目标特征对应的评估数据进行离散特征变换的详细介绍。

由以上可见，基于本发明实施例的特征评估方法，电子设备可以自动对目标特征对应的评估数据进行预处理，得到目标特征对应的离散型数值，能够提高特征评估的效率。

可选的，评估模型的输出结果可以包括ROC曲线，电子设备根据评估模型的输出结果，确定目标特征的评估结果，可以包括以下步骤：如果ROC曲线的AUC大于预设阈值，则确定待评估特征为有效特征；如果ROC曲线的AUC小于预设阈值，则确定待评估特征为无效特征。

其中，预设阈值可以由技术人员根据经验进行设置。

在实施中，电子设备可以获取评估模型的输出结果，具体的，电子设备可以评估模型输出的ROC曲线，并计算该ROC曲线的AUC，然后电子设备可以判断该ROC曲线的AUC是否大于预设阈值，当电子设备判定该ROC曲线的AUC大于或者等于预设阈值时，电子设备可以确定待评估特征为有效特征，当电子设备判定该ROC曲线的AUC小于预设阈值时，电子设备可以确定待评估特征为无效特征。

由以上可见，基于本发明实施例的特征评估方法，电子设备可以直接根据评估模型输出的ROC曲线的AUC，判定待评估特征是否有效，能够提高特征评估的效率。

可选的，当电子设备对多个待评估特征进行评估时，在确定当前的待评估特征为有效特征之后，该方法还可以包括以下步骤：将当前的待评估特征添加到预设特征中，以根据更新后的预设特征和评估模型，对下一待评估特征进行特征评估。

在实施中，当电子设备判定当前的待评估特征为有效特征后，电子设备可以将该待评估特征作为预设特征，以使电子设备可以根据更新后的预设特征和预先训练好的评估模型，对下一待评估特征进行特征评估，进而可以提高特征评估的准确度和效率。

与图1的方法实施例相对应，参见图2，图2为本发明实施例提供的一种特征评估装置的结构图，该装置可以包括：

收发模块201，用于接收用户输入的评估指令，其中，所述评估指令中携带有待评估特征和数据标识，所述数据标识用于标识特征评估所需的评估数据，所述评估数据包括每一特征对应的预设的数值；

处理模块202，用于根据所述数据标识，对目标特征对应的评估数据进行预处理，其中，所述目标特征包括所述待评估特征和预设特征；

可选的，所述处理模块202，具体用于如果目标特征为连续型特征，对所述目标特征对应的评估数据进行离散特征变换，得到所述目标特征对应的离散型数值。

可选的，当对多个待评估特征进行评估时，所述处理模块202，还用于将当前的待评估特征添加到所述预设特征中，以根据更新后的预设特征和所述评估模型，对下一待评估特征进行特征评估。

由以上可见，基于本发明实施例的特征评估装置，电子设备可以接收用户输入的评估指令，根据数据标识，对目标特征对应的评估数据进行预处理，将预处理结果输入至预先训练好的评估模型，根据评估模型的输出结果，确定待评估特征的评估结果。基于上述处理，可以提高特征评估的效率。

本发明实施例还提供了一种电子设备，如图3所示，包括处理器301、通信接口302、存储器303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信，

存储器303，用于存放计算机程序；

处理器301，用于执行存储器303上所存放的程序时，实现如下步骤：

上述电子设备提到的通信总线304可以是外设部件互连标准(PeripheralComponent Interconnect，简称PCI)总线或扩展工业标准结构(Extended IndustryStandard Architecture，简称EISA)总线等。该通信总线304可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口302用于上述电子设备与其他设备之间的通信。

存储器303可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器303还可以是至少一个位于远离前述处理器301的存储装置。

上述的处理器301可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的特征评估方法。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的特征评估方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质、计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims

1.一种特征评估方法，其特征在于，所述方法包括：

根据所述评估模型的输出结果，确定所述待评估特征的评估结果，所述评估结果用于判定所述待评估特征是否为有效特征。

2.根据权利要求1所述的方法，其特征在于，所述根据所述数据标识，对目标特征对应的评估数据进行预处理，包括：

3.根据权利要求1所述的方法，其特征在于，所述评估模型的输出结果包括受试者工作特征ROC曲线，所述根据所述评估模型的输出结果，确定所述目标特征的评估结果，包括：

或者，如果所述ROC曲线的AUC小于预设阈值，则确定所述待评估特征为无效特征。

4.根据权利要求3所述的方法，其特征在于，当对多个待评估特征进行评估时，在确定所述待评估特征为有效特征之后，所述方法还包括：

5.一种特征评估装置，其特征在于，所述装置包括：

6.根据权利要求5所述的装置，其特征在于，

所述处理模块，具体用于如果目标特征为连续型特征，对所述目标特征对应的评估数据进行离散特征变换，得到所述目标特征对应的离散型数值。

7.根据权利要求5所述的装置，其特征在于，所述评估模型的输出结果包括受试者工作特征ROC曲线，所述处理模块，具体用于如果所述ROC曲线的曲线下面积AUC大于预设阈值，则确定所述待评估特征为有效特征；

8.根据权利要求7所述的装置，其特征在于，当对多个待评估特征进行评估时，所述处理模块，还用于将当前的待评估特征添加到所述预设特征中，以根据更新后的预设特征和所述评估模型，对下一待评估特征进行特征评估。

9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-4任一所述的方法步骤。