CN113536104A - 一种信息推荐方法、装置、设备及存储介质 - Google Patents
一种信息推荐方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113536104A CN113536104A CN202011077812.8A CN202011077812A CN113536104A CN 113536104 A CN113536104 A CN 113536104A CN 202011077812 A CN202011077812 A CN 202011077812A CN 113536104 A CN113536104 A CN 113536104A
- Authority
- CN
- China
- Prior art keywords
- information
- recall
- gear
- determining
- strategy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及信息推荐技术领域,具体是一种信息推荐方法、装置、设备及存储介质,所述方法包括:响应于信息推荐请求,利用多个不同的召回策略,从预设信息库中确定其各自对应的召回信息集合;获取信息推荐的历史数据,基于所述历史数据确定各个所述召回策略的修正参数;根据各个所述召回策略的修正参数和预设召回档位确定各个所述召回策略对应的实际召回档位;分别针对每个所述召回策略,基于预设排序模型以及所述实际召回档位从与之对应的召回信息集合中确定候选推荐信息集合;从各个所述召回策略对应的候选推荐信息集合中确定预设数量的信息,推荐给目标用户。本发明的信息推荐方法既能够保证信息推荐的效果,又能够提升推荐信息的多样性。
Description
技术领域
本发明涉及信息推荐技术领域,特别涉及一种信息推荐方法、装置、设备及存储介质。
背景技术
随着大数据时代的到来,推荐系统已成为大众在面对海量互联网信息筛选问题时的最佳解决方案。推荐系统的核心是推荐引擎,旨在通过从大量数据中过滤有用的信息,为用户提供所需的信息。推荐引擎可以通过存储和分析用户行为日志、物品评分等历史信息挖掘数据集中的样本模式,进一步分析用户特征,产生与用户需求和兴趣共同相关的推荐信息。这些推荐系统给用户带来便捷的信息筛选服务的同时,也丰富了用户的互联网生活。
现有的推荐系统通常先使用多种召回策略进行多路召回,从多个维度召回一部分相关的候选信息,再确定最终的推荐信息。其中,确定最终的推荐信息的方法有以下两种:一种是将多种召回策略召回的信息汇总后通过排序模型进行排序,再选出一定数量的信息推荐给用户。由于不同的排序模型有不同的倾向,例如有些排序模型更偏好热门的信息,而有些模型则更偏好新出现的信息,如果把召回的信息汇总后通过排序模型进行排序,会因为排序模型自身的倾向,把不同召回算法的效果削弱,导致有的召回算法并不能发挥自己的应有的效果,不能从更多角度满足用户的需求。
另一种方法是不再将多种召回策略召回的信息进行汇总,而是通过排序模型分别将各个召回策略召回的信息进行排序,并按照固定的百分比或数量进行截断,再从截断后的信息中选出一定数量的信息推荐给用户。这种方法对各个召回算法一视同仁,保证了推荐信息的多样性,但不能体现出各个召回策略的优劣,影响了信息推荐的效果。
发明内容
针对现有技术的上述问题,本发明的目的在于提供一种信息推荐方法、装置、设备及存储介质,既能够保证信息推荐的效果,又能够提升推荐信息的多样性。
为了解决上述问题,本发明提供一种信息推荐方法,包括:
响应于信息推荐请求,利用多个不同的召回策略,从预设信息库中确定其各自对应的召回信息集合,所述召回信息集合包括至少一个信息;
获取信息推荐的历史数据,基于所述历史数据确定各个所述召回策略的修正参数;
根据各个所述召回策略的修正参数和预设召回档位确定各个所述召回策略对应的实际召回档位;
分别针对每个所述召回策略,基于预设排序模型以及所述实际召回档位从与之对应的召回信息集合中确定候选推荐信息集合;
从各个所述召回策略对应的候选推荐信息集合中确定预设数量的信息,推荐给目标用户。
本发明另一方面提供一种信息推荐装置,包括:
召回信息集合确定模块,用于响应于信息推荐请求,利用多个不同的召回策略,从预设信息库中确定其各自对应的召回信息集合,所述召回信息集合包括至少一个信息;
修正参数确定模块,用于获取信息推荐的历史数据,基于所述历史数据确定各个所述召回策略的修正参数;
实际召回档位确定模块,用于根据各个所述召回策略的修正参数和预设召回档位确定各个所述召回策略对应的实际召回档位;
候选推荐信息集合确定模块,用于分别针对每个所述召回策略,基于预设排序模型以及所述实际召回档位从与之对应的召回信息集合中确定候选推荐信息集合;
推荐模块,用于从各个所述召回策略对应的候选推荐信息集合中确定预设数量的信息,推荐给目标用户。
本发明另一方面提供一种电子设备,包括处理器和存储器,所述存储器中存储有至少一条指令或者至少一段程序,所述至少一条指令或者所述至少一段程序由所述处理器加载并执行以实现上述的信息推荐方法。
本发明另一方面提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令或者至少一段程序,所述至少一条指令或者所述至少一段程序由处理器加载并执行以实现如上述的信息推荐方法。
本发明的信息推荐方法通过利用多个召回策略进行信息召回,并基于全网历史数据确定各个召回策略的修正参数,根据所述修正参数对预设召回档位进行修正分别得到各个召回策略的实际召回档位,最后根据各自的实际召回档位对召回的信息进行截断,既能够保证信息推荐的效果,又能够提升推荐信息的多样性,避免因排序模型自身的倾向性导致某些召回策略难以曝光而发挥不出应有的效果。并且,各个召回策略保留的信息量是基于其在历史数据中的表现来决定,召回策略的效果越好,保留的信息也会越多,能够避免为了多样性而牺牲最终推荐的效果。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1是本发明一个实施例提供的实施环境示意图;
图2是本发明一个实施例提供的信息推荐方法的流程图;
图3是本发明一个实施例提供的召回策略的修正参数的示意图;
图4是本发明另一个实施例提供的信息推荐方法的流程图;
图5是本发明一个实施例提供的召回策略对应的档位分布情况的示意图;
图6是本发明一个具体实施例提供的信息推荐流程的示意图;
图7是本发明一个具体实施例提供的信息推荐的界面示意图;
图8是本发明一个实施例提供的信息推荐装置的结构示意图;
图9是本发明一个实施例提供的服务器的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了使本发明实施例公开的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明实施例进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本发明实施例,并不用于限定本发明实施例。首先,本发明实施例对下述概念进行解释:
召回:从大量候选物品里,采取召回算法将候选物品集合快速减少到千级别甚至百级别。
召回算法:召回过程中使用的算法称为召回算法,常用的召回算法有画像召回、协同召回、深度语义匹配模型(Deep Structured Semantic Model,DSSM)召回等等。
排序:使用排序模型,对召回算法的召回结果进行打分并排序,排序内部可能会有多层排序,如粗排和精排(可能还会有更多层的排序),每一层排序后都会进行截断减少下一层排序的物品量。
请参考说明书附图1,其示出了本发明实施例提供的一种实施环境示意图,该实施环境可以包括终端110和服务器120。所述终端110以及所述服务器120可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
所述终端110可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。所述终端110可以运行有一个或多个客户端,所述多个客户端可以为同一类的客户端,也可以为不同类的客户端。
所述服务器120可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
在实际应用中,所述客户端可以为资讯类应用的客户端,用户打开、登录或点击所述客户端后可以浏览信息页面。当用户在所述终端110进行信息页面浏览时,会产生信息推荐请求,所述终端110将该信息推荐请求发送至所述服务器120中。所述信息推荐请求可以是用户通过所述终端110浏览资讯类应用的客户端时产生的,也可以是资讯类应用定时产生的,例如,每天下午15:00为用户推荐相关信息的信息推荐请求。
实现本发明实施例提供的信息推荐方法的信息推荐装置可以作为应用的服务端程序安装于所述服务器120。所述服务器120会识别所述终端110发送的信息推荐请求,并通过本发明实施例提供的信息推荐方法对与信息推荐请求对应的信息库中的信息进行召回,生成信息推荐列表,将该信息推荐列表返回给所述终端110,以使得所述终端110可以输出该信息推荐列表,从而达到向终端的用户推荐信息的目的。
需要说明的是,图1仅仅是一种示例。
请参考说明书附图2,其示出了本发明一个实施例提供的一种信息推荐方法的流程,该方法可以应用于图1中的服务器。具体的如图2所示,所述方法可以包括以下步骤:
S210:响应于信息推荐请求,利用多个不同的召回策略,从预设信息库中确定其各自对应的召回信息集合,所述召回信息集合包括至少一个信息。
本发明实施例中,当目标用户对终端中的资讯类应用客户端进行信息浏览时会生成信息推荐请求,或者当目标用户对终端中的资讯类应用进行使用时,在某个固定时间段会生成信息推荐请求,又或者当终端的某个应用设置有接收推荐信息的应用功能时,即使目标用户没有使用或者浏览该应用,也会在固定时间段生成信息推荐请求。在资讯类应用生成信息推荐请求后,终端会将该信息推荐请求发送至服务器,以使得服务器能够接收到该信息推荐请求。
当服务器接收到该信息推荐请求后,可以确定与所述信息推荐请求对应的预设信息库,利用不同的召回策略进行召回,得到多个召回队列,每个所述召回队列即为一个召回信息集合。所述多个召回策略可以采用不同的召回算法,例如画像召回、协同召回、DSSM召回等等,本发明实施例对此不做限制。由于不同的召回算法具有不同的倾向性,例如某些召回算法会更喜欢召回一些热门的信息,而另一些召回算法会更喜欢召回一些目标用户感兴趣的信息,甚至另一些召回算法会更喜欢召回一些目标用户所属用户群体喜欢的信息,因此通过不同的召回策略进行召回,可以提高召回的信息的多样性,满足目标用户不同角度的兴趣。
S220:获取信息推荐的历史数据,基于所述历史数据确定各个所述召回策略的修正参数。
本发明实施例中,可以根据所述资讯类应用的现网历史数据来确定各个召回策略的表现情况,根据各个召回策略的效果动态地确定对与之对应的召回信息集合中的信息进行截断的档位,即当某个信息经过排序模型打分得到的预测点击通过率(Predict Click-Through Rate,PCTR)低于这个档位的档位阈值时就会被截断。其中,所述修正参数可以包括用户点击率或者点击时长,所述修正参数即可以体现所述召回策略的表现情况。
在一个可能的实施例中,所述获取信息推荐的历史数据,基于所述历史数据确定各个所述召回策略的修正参数可以包括:
对所述信息推荐请求进行解析,确定目标用户;
获取所述目标用户的特征信息,根据所述特征信息确定所述目标用户所在的目标用户群体;
从所述历史数据中获取各个所述召回策略针对所述目标用户群体的历史召回信息集合;
分别针对每个所述召回策略,确定所述目标用户群体对所述历史召回信息集合中的信息的点击数据,作为所述召回策略的修正参数。
本发明实施例中,可以预先将所述资讯类应用的用户分为多个用户群体,例如可以根据用户的性别和年龄段进行分类,先将用户分为男性和女性,然后根据年龄将男性用户和女性用户分别分为多个不同的群体。示例性地,结合参考说明书附图3,可以将12-15岁女性、16-18岁女性、19-23岁女性等分别作为不同的用户群体。则可以获取所述目标用户的性别和年龄,根据所述性别和年龄确定所述目标用户所在的目标用户群体。
在一个可能的实施例中,还可以在性别、年龄的基础上根据用户所在地域等信息再进行更细致的用户群体划分,本发明实施例对此不做限制。
本发明实施例中,可以根据各个召回策略在所述目标用户群体中的表现情况,来确定各个召回策略针对目标用户的修正参数,所述点击数据可以包括用户的点击率或者点击时长,即可以将各个召回策略在所述目标用户群体里的点击率或者点击时长作为其修正参数。
在一个可能的实施例中,所述分别针对每个所述召回策略,确定所述目标用户群体对所述历史召回信息集合中的信息的点击数据,作为所述召回策略的修正参数可以包括:
获取所述历史召回信息集合中的信息的信息类型;
根据所述信息类型对所述历史召回信息集合中的信息进行分类,得到多个子历史召回信息集合;
确定所述目标用户群体对各个子历史召回信息集合中的信息的点击数据,作为所述召回策略在各个信息类型中的修正参数。
本发明实施例中,还可以分别确定各个召回策略在所述目标用户群体里不同类型信息下的点击数据,将所述点击数据作为所述召回策略在各个信息类型中的修正参数。示例性地,结合参考说明书附图3,所述信息类型可以包括娱乐类型、体育类型和动漫类型等等。假设所述目标用户为22岁的女性,则可以确定所述目标用户群体为19-23岁女性,再根据信息推荐的历史数据分别确定各个召回策略在19-23岁女性群体里的不同信息类型下的点击率,具体地,召回策略1在娱乐类型下的点击率为8%,召回策略2在娱乐类型下的点击率为10%,召回策略3在娱乐类型下的点击率为15%,则召回策略1、召回策略2、召回策略3在娱乐类型下的修正参数即为8%、10%和15%。
在一个可能的实施例中,还可以在各个信息类型的基础上进行更细致的类型划分,例如可以根据信息的内容细化到二级分类、三级分类等,本发明实施例对此不做限制。示例性地,体育类型中还可以根据体育类型分为田径运动、球类运动和水上运动等等,所述球类运动又可以分为羽毛球、垒球、篮球以及足球等等。
S230:根据各个所述召回策略的修正参数和预设召回档位确定各个所述召回策略对应的实际召回档位。
本发明实施例中,所述召回策略的修正参数可以包括所述召回策略在多个信息类型中的修正参数,所述召回策略对应的实际召回档位也可以包括所述召回策略在多个信息类型中的实际召回档位;可以针对不同信息类型,基于预设召回档位分别确定每个所述召回策略在所述信息类型中的实际召回档位,以对召回信息集合中不同信息类型的信息进行截断。
在一个可能的实施例中,所述根据各个所述召回策略的修正参数和预设召回档位确定各个所述召回策略对应的实际召回档位可以包括:
分别针对每个信息类型,计算各个所述召回策略在所述信息类型中的修正参数的平均值;
根据各个所述召回策略在所述信息类型中的修正参数、所述平均值和所述预设召回档位确定各个所述召回策略在所述信息类型中的实际召回档位。
具体地,所述预设召回档位可以根据实际情况进行设置,所述所述召回策略在各个信息类型中的实际召回档位可以通过下式计算得到:
在一个示例中,假设采用A,B,C三种不同的召回策略对预设信息库中的信息进行召回,总共召回的文章量是1000篇,现在期望经过排序模型截断后剩下100篇,那么就是保留得分最高的10%的文章。假设A,B,C三种召回策略在所述目标用户群体里的娱乐类型的击率分别是8%,10%和15%,即A,B,C三种召回策略的修正参数分别是8%,10%和15%。
假设总的档位是100档,那么截断的预设召回档位是10档(10档/100档=10%),A,B,C三种召回策略的修正参数的平均值为11%,召回策略A,B,C对于娱乐类型的实际召回档位计算如下:
需要说明的是,上述档位修正的公式也可以有不同的变种,例如可以使用高斯分布来计算实际召回档位,本发明实施例对此不做限制。
本发明实施例引入档位的概念来衡量信息的得分高低,可以预先确定各个所述召回策略对应的档位分布情况,根据期望经过排序模型截断后剩余的信息量来确定预设召回档位,根据各个召回策略的修正参数进行档位的修正确定最终的实际召回档位。
在一个可能的实施例中,所述方法还可以包括确定各个所述召回策略对应的档位分布情况的步骤,所述档位分布情况包括多个档位以及与之对应的档位阈值。在实际应用中,可以根据各个召回策略的召回记录,针对根据不同用户群体不同信息类型的分类分别确定对应的档位分布情况。具体地,如图4所示,所述确定各个所述召回策略对应的档位分布情况可以包括:
S410:分别针对每个所述召回策略,获取所述召回策略的召回信息记录,所述召回信息记录包括多个信息以及与之对应的用户群体。
S420:根据所述信息对应的用户群体以及所述信息的信息类型对所述召回信息记录中的信息进行分类,得到多个子召回信息集合;其中,不同的子召回信息集合对应的信息类型和用户群体中至少一个不同。
具体地,每个分类对应一个信息类型和一个用户群体,不同分类的子召回信息集合具有不同的信息类型或者对应不同的用户群体,或者具有不同的信息类型和对应不同的用户群体。
S430:利用所述预设排序模型对各个所述子召回信息集合中的信息进行打分,得到所述信息的预测点击通过率。
具体地,可以基于实际推送给用户的信息推荐结果训练所述预设排序模型,即可以将已知信息推荐结果作为样本,采用一定的深度学习方法进行模型训练得到所述预设排序模型。在利用所述预设排序模型对各个所述子召回信息集合中的信息进行打分时,将所述信息输入所述预设排序模型即可输出所述信息的预测点击通过率。
S440:根据各个所述子召回信息集合中的信息的预测点击通过率的分布情况确定所述召回策略在不同分类下对应的档位分布情况。
具体地,可以通过统计所述子召回信息集合中的所有信息的PCTR值的分布情况,将所述PCTR值的分布区间从高到低等频划分成N(N为正整数)个子区间,将每个子区间作为一个档位,将每个子区间内PCTR的最小值作为所述档位的档位阈值,得到不同分类下对应的档位分布情况,其中,所述不同分类的信息类型和用户群体中至少一个不同。
在一个示例中,结合参考说明书附图5,可以根据用户的性别和年龄划分用户群体,对每个召回算法可以根据不同用户群体和不同信息类型分别确定对应的档位分布情况,得到召回算法X信息类型X性别X年龄的各个档位以及与之对应的档位阈值。如图5所示,以划分100档为例,可以得到召回策略1,召回策略2和召回策略3在各个分类中各个档位(1-100档位)的档位阈值。假设召回策略1在19-23岁女性用户群体里娱乐类型下对应的子召回信息集合中有10000条信息,则可以将所述10000条信息的PCTR值从大到小排布,将前100的PCTR值所在的区间划分为1档,档位阈值为第100个PCTR值;将101-200的PCTR值所在的区间划分为2档,档位阈值为第200个PCTR值;依次类推,即可得到召回策略1在19-23岁女性用户群体里娱乐类型下1-100档的档位以及对应的档位阈值。
需要说明的是,不同召回策略在同一分类中划分的总的档位数相同,但同一召回策略在不同分类中划分的总的档位数可以相同,也可以不同,本发明实施例对此不做限制。
在一个可能的实施例中,还可以基于不同召回策略针对所述目标用户的召回信息记录,确定不同召回策略在不同信息类型下的PCTR分布,进而确定不同召回策略针对所述目标用户的档位分布情况。但需要保证所述目标用户拥有足够的行为记录,计算出的结果才有足够的可信度。
S240:分别针对每个所述召回策略,基于预设排序模型以及所述实际召回档位从与之对应的召回信息集合中确定候选推荐信息集合。
本发明实施例中,可以利用所述预设排序模型分别对各个召回信息集合中的信息进行打分,根据各个信息的得分情况以及信息类型来确定保留的信息,将保留下来的信息加入对应的候选推荐信息集合。
在一个可能的实施例中,所述分别针对每个所述召回策略,基于预设排序模型以及所述实际召回档位从与之对应的召回信息集合中确定候选推荐信息集合可以包括:
针对所述召回信息集合中的每个信息,确定所述信息的目标信息类型;
获取所述召回策略在所述目标信息类型中的实际召回档位;
利用预设排序模型对所述信息进行打分,得到所述信息的预测点击通过率;
当所述预测点击通过率和所述实际召回档位满足预设关系时,将所述信息加入所述召回策略对应的候选推荐信息集合。
具体地,所述当所述预测点击通过率和所述实际召回档位满足预设关系时,将所述信息加入所述召回策略对应的候选推荐信息集合可以包括:
获取所述目标用户所在的目标用户群体;
根据所述目标用户群体和所述目标信息类型确定目标档位分布情况,所述目标档位分布情况包括多个档位以及与之对应的档位阈值;
根据所述目标档位分布情况确定所述实际召回档位对应的档位阈值;
将所述预测点击通过率与所述档位阈值进行比较;
当所述预测点击通过率大于或者等于所述档位阈值时,将所述信息加入所述候选推荐信息集合。
在一个示例中,假设一篇娱乐类型的文章是召回策略A召回的,经过所述预设排序模型打分可以得到所述文章的PCTR,又假设召回策略A在目标用户群体的娱乐类型的实际召回档位为7档,则如果所述文章的PCTR大于或者等于7档的档位阈值时才会保留,即可以将该文章加入召回策略A对应的候选推荐信息集合;如果所述文章的PCTR小于7档的档位阈值时,该文章会被截断。
在一个可能的实施例中,对某个召回策略的召回信息集合中的信息,还可以根据所述目标档位分布情况以及所述信息的预测点击通过率确定所述信息所在的目标档位,将所述目标档位与所述实际召回档位进行比较,当所述目标档位不低于所述实际召回档位时,可以将所述信息加入该召回策略对应的候选推荐信息集合,当所述目标档位低于所述实际召回档位时,所述信息会被截断。
S250:从各个所述召回策略对应的候选推荐信息集合中确定预设数量的信息,推荐给目标用户。
本发明实施例中,可以通过不同的方法从各个所述召回策略对应的候选推荐信息集合中选取若干满足要求的信息作为目标推荐信息。示例性地,可以分别从各个所述召回策略对应的候选推荐信息集合中选取PCTR值最大的信息作为目标推荐信息。当确定目标推荐信息后,还可以基于预设规则生成推荐信息列表,并将所述推荐信息列表发送至所述信息推荐请求对应的终端。所述终端接收到所述推荐信息列表后,可以向目标用户展示所述推荐信息列表中的各个信息。
下面以一个具体的应用场景为例对本发明实施例提供的信息推荐方法进行说明。本发明实施例提供的信息推荐方法可以应用于多种信息流推荐场景中,例如可以应用于某个应用的图文推荐场景,在此场景下,结合参考说明书附图6,应用服务器接收到终端发送的目标用户的信息推荐请求后,可以采用本发明实施例提供的信息推荐方法确定不同召回算法召回的召回队列,并通过把不同的召回队列在推荐流程中进行穿透,把截断后的不同队列返回到图文网关,由图文网关进行多样性的选择(即每条召回队列都选取一些文章),确定最终推荐给用户的文章,应用服务器可以将最终推荐给用户的文章发送至所述终端,所述终端接收之后可以在指定用户界面中向所述目标用户展示这些文章。示例性地,如图7所示,所述终端可以在该应用的主界面中展示接收到的文章,这些文章可以包括不同维度的文章,例如时新文章,用户长期兴趣的文章和用户关注账号的文章等等。
本发明实施例提供的信息推荐方法在图文推荐场景中,能改善用户的阅读体验,特别是针对新用户,由于新用户的行为较少,导致新用户的画像不太可信,新用户行为数据训练出来的排序模型也容易产生明显的倾向性,导致最终打分较高的内容容易趋同(例如对于女生非常容易推出综艺和电视剧相关的文章)。在推荐过程中把各个召回策略进行穿透,能够规避排序模型的自身倾向,最终推荐给用户的文章会更具有多样性。采用本方法推荐给用户的图文信息的多样性有明显提升,日活跃用户数也有提升。
下面对本发明实施例提供的信息推荐方法的推荐效果进行示例说明。本发明实施例可以在线上进行实验,实验对照组采用对多种召回策略召回的信息汇总后通过排序模型进行排序的推荐方式,实验组采用本发明实施例提供的根据修正后的实际召回档位对各个召回策略召回的信息进行截断的推荐方式。通过对推荐给用户的图文信息数据和用户点击数据进行统计发现,实验组的主信息流图文二级分类点击多样性、主信息流图文一级分类点击多样性和主信息流图文二级分类曝光多样性等数据明显高于对照组,实验组的日活跃用户数、信息流点击人数和累计使用时长等数据也明显高于对照组,推荐效果提升明显。
综上所述,本发明的信息推荐方法通过利用多个召回策略进行信息召回,并基于全网历史数据确定各个召回策略的修正参数,根据所述修正参数对预设召回档位进行修正分别得到各个召回策略的实际召回档位,最后根据各自的实际召回档位对召回的信息进行截断,既能够保证信息推荐的效果,又能够提升推荐信息的多样性,避免因排序模型自身的倾向性导致某些召回策略难以曝光而发挥不出应有的效果。并且,各个召回策略保留的信息量是基于其在历史数据中的表现来决定,召回策略的效果越好,保留的信息也会越多,能够避免为了多样性而牺牲最终推荐的效果。
参考说明书附图8,其示出了本发明一个实施例提供的一种信息推荐装置的结构。如图8所示,所述装置可以包括:
召回信息集合确定模块810,用于响应于信息推荐请求,利用多个不同的召回策略,从预设信息库中确定其各自对应的召回信息集合,所述召回信息集合包括至少一个信息;
修正参数确定模块820,用于获取信息推荐的历史数据,基于所述历史数据确定各个所述召回策略的修正参数;
实际召回档位确定模块830,用于根据各个所述召回策略的修正参数和预设召回档位确定各个所述召回策略对应的实际召回档位;
候选推荐信息集合确定模块840,用于分别针对每个所述召回策略,基于预设排序模型以及所述实际召回档位从与之对应的召回信息集合中确定候选推荐信息集合;
推荐模块850,用于从各个所述召回策略对应的候选推荐信息集合中确定预设数量的信息,推荐给目标用户。
在一个可能的实施例中,所述装置还可以包括档位分布情况确定模块,用于确定各个所述召回策略对应的档位分布情况;所述档位分布情况确定模块可以包括:
召回信息记录获取单元,用于分别针对每个所述召回策略,获取所述召回策略的召回信息记录,所述召回信息记录包括多个信息以及与之对应的用户群体;
分类单元,用于根据所述信息对应的用户群体以及所述信息的信息类型对所述召回信息记录中的信息进行分类,得到多个子召回信息集合;其中,不同的子召回信息集合对应的信息类型和用户群体中至少一个不同;
打分单元,用于利用所述预设排序模型对各个所述子召回信息集合中的信息进行打分,得到所述信息的预测点击通过率;
档位分布情况确定单元,用于根据各个所述子召回信息集合中的信息的预测点击通过率的分布情况确定所述召回策略在不同分类下对应的档位分布情况。
需要说明的是,上述实施例提供的装置,在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与相应方法实施例属于同一构思,其具体实现过程详见对应方法实施例,这里不再赘述。
本发明一个实施例还提供了一种电子设备,该电子设备包括处理器和存储器,该存储器中存储有至少一条指令或者至少一段程序,该至少一条指令或者该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的信息推荐方法。
存储器可用于存储软件程序以及模块,处理器通过运行存储在存储器的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、功能所需的应用程序等;存储数据区可存储根据所述设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器还可以包括存储器控制器,以提供处理器对存储器的访问。
本发明实施例所提供的方法实施例可以在终端、服务器或者类似的运算装置中执行,即上述电子设备可以包括终端、服务器或者类似的运算装置。以运行在服务器上为例,如图9所示,其示出了本发明实施例提供的运行信息推荐方法的服务器的结构示意图。该服务器900可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(Central Processing Unit,CPU)910(例如,一个或一个以上处理器)和存储器930,一个或一个以上存储应用程序923或数据922的存储介质920(例如一个或一个以上海量存储设备)。其中,存储器930和存储介质920可以是短暂存储或持久存储。存储在存储介质920的程序可以包括一个或一个以上模块,每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器910可以设置为与存储介质920通信,在服务器900上执行存储介质920中的一系列指令操作。服务器900还可以包括一个或一个以上电源960,一个或一个以上有线或无线网络接口950,一个或一个以上输入输出接口940,和/或,一个或一个以上操作系统921,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
输入输出接口940可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器900的通信供应商提供的无线网络。在一个实例中,输入输出接口940包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,输入输出接口940可以为射频(RadioFrequency,RF)模块,其用于通过无线方式与互联网进行通讯,所述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(Global System of Mobilecommunication,GSM)、通用分组无线服务(General Packet Radio Service,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码分多址(Wideband Code DivisionMultiple Access,WCDMA)、长期演进(Long Term Evolution,LTE)、电子邮件、短消息服务(Short Messaging Service,SMS)等。
本领域普通技术人员可以理解,图9所示的结构仅为示意,服务器900还可包括比图9中所示更多或者更少的组件,或者具有与图9所示不同的配置。
本发明一个实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质可设置于电子设备之中以保存用于实现一种信息推荐方法相关的至少一条指令或者至少一段程序,该至少一条指令或者该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的信息推荐方法。
可选地,在本发明实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本发明一个实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各种可选实现例中提供的信息推荐方法。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种信息推荐方法,其特征在于,包括:
响应于信息推荐请求,利用多个不同的召回策略,从预设信息库中确定其各自对应的召回信息集合,所述召回信息集合包括至少一个信息;
获取信息推荐的历史数据,基于所述历史数据确定各个所述召回策略的修正参数;
根据各个所述召回策略的修正参数和预设召回档位确定各个所述召回策略对应的实际召回档位;
分别针对每个所述召回策略,基于预设排序模型以及所述实际召回档位从与之对应的召回信息集合中确定候选推荐信息集合;
从各个所述召回策略对应的候选推荐信息集合中确定预设数量的信息,推荐给目标用户。
2.根据权利要求1所述的方法,其特征在于,所述获取信息推荐的历史数据,基于所述历史数据确定各个所述召回策略的修正参数包括:
对所述信息推荐请求进行解析,确定目标用户;
获取所述目标用户的特征信息,根据所述特征信息确定所述目标用户所在的目标用户群体;
从所述历史数据中获取各个所述召回策略针对所述目标用户群体的历史召回信息集合;
分别针对每个所述召回策略,确定所述目标用户群体对所述历史召回信息集合中的信息的点击数据,作为所述召回策略的修正参数。
3.根据权利要求2所述的方法,其特征在于,所述分别针对每个所述召回策略,确定所述目标用户群体对所述历史召回信息集合中的信息的点击数据,作为所述召回策略的修正参数包括:
获取所述历史召回信息集合中的信息的信息类型;
根据所述信息类型对所述历史召回信息集合中的信息进行分类,得到多个子历史召回信息集合;
确定所述目标用户群体对各个子历史召回信息集合中的信息的点击数据,作为所述召回策略在各个信息类型中的修正参数。
4.根据权利要求2或3所述的方法,其特征在于,所述召回策略的修正参数包括所述召回策略在多个信息类型中的修正参数,所述召回策略对应的实际召回档位包括所述召回策略在多个信息类型中的实际召回档位;
所述根据各个所述召回策略的修正参数和预设召回档位确定各个所述召回策略对应的实际召回档位包括:
分别针对每个信息类型,计算各个所述召回策略在所述信息类型中的修正参数的平均值;
根据各个所述召回策略在所述信息类型中的修正参数、所述平均值和所述预设召回档位确定各个所述召回策略在所述信息类型中的实际召回档位。
5.根据权利要求4所述的方法,其特征在于,所述分别针对每个所述召回策略,基于预设排序模型以及所述实际召回档位从与之对应的召回信息集合中确定候选推荐信息集合包括:
针对所述召回信息集合中的每个信息,确定所述信息的目标信息类型;
获取所述召回策略在所述目标信息类型中的实际召回档位;
利用预设排序模型对所述信息进行打分,得到所述信息的预测点击通过率;
当所述预测点击通过率和所述实际召回档位满足预设关系时,将所述信息加入所述召回策略对应的候选推荐信息集合。
6.根据权利要求5所述的方法,其特征在于,所述当所述预测点击通过率和所述实际召回档位满足预设关系时,将所述信息加入所述召回策略对应的候选推荐信息集合包括:
获取所述目标用户所在的目标用户群体;
根据所述目标用户群体和所述目标信息类型确定目标档位分布情况,所述目标档位分布情况包括多个档位以及与之对应的档位阈值;
根据所述目标档位分布情况确定所述实际召回档位对应的档位阈值;
将所述预测点击通过率与所述档位阈值进行比较;
当所述预测点击通过率大于或者等于所述档位阈值时,将所述信息加入所述候选推荐信息集合。
7.根据权利要求1或6所述的方法,其特征在于,所述方法还包括确定各个所述召回策略对应的档位分布情况;所述确定各个所述召回策略对应的档位分布情况包括:
分别针对每个所述召回策略,获取所述召回策略的召回信息记录,所述召回信息记录包括多个信息以及与之对应的用户群体;
根据所述信息对应的用户群体以及所述信息的信息类型对所述召回信息记录中的信息进行分类,得到多个子召回信息集合;其中,不同的子召回信息集合对应的信息类型和用户群体中至少一个不同;
利用所述预设排序模型对各个所述子召回信息集合中的信息进行打分,得到所述信息的预测点击通过率;
根据各个所述子召回信息集合中的信息的预测点击通过率的分布情况确定所述召回策略在不同分类下对应的档位分布情况。
8.一种信息推荐装置,其特征在于,包括:
召回信息集合确定模块,用于响应于信息推荐请求,利用多个不同的召回策略,从预设信息库中确定其各自对应的召回信息集合,所述召回信息集合包括至少一个信息;
修正参数确定模块,用于获取信息推荐的历史数据,基于所述历史数据确定各个所述召回策略的修正参数;
实际召回档位确定模块,用于根据各个所述召回策略的修正参数和预设召回档位确定各个所述召回策略对应的实际召回档位;
候选推荐信息集合确定模块,用于分别针对每个所述召回策略,基于预设排序模型以及所述实际召回档位从与之对应的召回信息集合中确定候选推荐信息集合;
推荐模块,用于从各个所述召回策略对应的候选推荐信息集合中确定预设数量的信息,推荐给目标用户。
9.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求1-7任意一项所述的信息推荐方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1-7任意一项所述的信息推荐方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011077812.8A CN113536104A (zh) | 2020-10-10 | 2020-10-10 | 一种信息推荐方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011077812.8A CN113536104A (zh) | 2020-10-10 | 2020-10-10 | 一种信息推荐方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113536104A true CN113536104A (zh) | 2021-10-22 |
Family
ID=78094288
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011077812.8A Pending CN113536104A (zh) | 2020-10-10 | 2020-10-10 | 一种信息推荐方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113536104A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114139046A (zh) * | 2021-10-29 | 2022-03-04 | 北京达佳互联信息技术有限公司 | 对象推荐方法、装置、电子设备及存储介质 |
CN114416505A (zh) * | 2021-12-31 | 2022-04-29 | 北京五八信息技术有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
CN114547434A (zh) * | 2021-12-30 | 2022-05-27 | 北京达佳互联信息技术有限公司 | 对象推荐方法、装置、电子设备及存储介质 |
CN114707064A (zh) * | 2022-03-29 | 2022-07-05 | 贵州大学 | 一种基于多模型融合的快速云服务召回推荐方法 |
CN114785852A (zh) * | 2022-04-07 | 2022-07-22 | 北京达佳互联信息技术有限公司 | 一种推送内容确定方法、装置、电子设备及存储介质 |
CN114881573A (zh) * | 2022-05-27 | 2022-08-09 | 江苏满运软件科技有限公司 | 一种干线物流货找车的召回方法、装置、电子设备及存储介质 |
CN115017400A (zh) * | 2021-11-30 | 2022-09-06 | 荣耀终端有限公司 | 一种应用app推荐方法及电子设备 |
CN115062184A (zh) * | 2022-06-29 | 2022-09-16 | 四川长虹电器股份有限公司 | 一种语音召回场景下的影片排序方法 |
-
2020
- 2020-10-10 CN CN202011077812.8A patent/CN113536104A/zh active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114139046A (zh) * | 2021-10-29 | 2022-03-04 | 北京达佳互联信息技术有限公司 | 对象推荐方法、装置、电子设备及存储介质 |
CN115017400A (zh) * | 2021-11-30 | 2022-09-06 | 荣耀终端有限公司 | 一种应用app推荐方法及电子设备 |
CN114547434A (zh) * | 2021-12-30 | 2022-05-27 | 北京达佳互联信息技术有限公司 | 对象推荐方法、装置、电子设备及存储介质 |
CN114416505A (zh) * | 2021-12-31 | 2022-04-29 | 北京五八信息技术有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
CN114707064A (zh) * | 2022-03-29 | 2022-07-05 | 贵州大学 | 一种基于多模型融合的快速云服务召回推荐方法 |
CN114785852A (zh) * | 2022-04-07 | 2022-07-22 | 北京达佳互联信息技术有限公司 | 一种推送内容确定方法、装置、电子设备及存储介质 |
CN114785852B (zh) * | 2022-04-07 | 2024-04-09 | 北京达佳互联信息技术有限公司 | 一种推送内容确定方法、装置、电子设备及存储介质 |
CN114881573A (zh) * | 2022-05-27 | 2022-08-09 | 江苏满运软件科技有限公司 | 一种干线物流货找车的召回方法、装置、电子设备及存储介质 |
CN115062184A (zh) * | 2022-06-29 | 2022-09-16 | 四川长虹电器股份有限公司 | 一种语音召回场景下的影片排序方法 |
CN115062184B (zh) * | 2022-06-29 | 2024-05-28 | 四川长虹电器股份有限公司 | 一种语音召回场景下的影片排序方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113536104A (zh) | 一种信息推荐方法、装置、设备及存储介质 | |
US11593894B2 (en) | Interest recommendation method, computer device, and storage medium | |
US11128582B2 (en) | Emoji recommendation method and apparatus | |
US11763145B2 (en) | Article recommendation method and apparatus, computer device, and storage medium | |
CN110543598B (zh) | 信息推荐方法、装置及终端 | |
CN110012060B (zh) | 移动终端的信息推送方法、装置、存储介质和服务器 | |
US9978093B2 (en) | Method and system for pushing mobile application | |
US11966445B2 (en) | Recommending contents using a base profile | |
US8332418B1 (en) | Collaborative filtering to match people | |
WO2020048084A1 (zh) | 资源推荐方法、装置、计算机设备及计算机可读存储介质 | |
US9270767B2 (en) | Method and system for discovery of user unknown interests based on supplemental content | |
US9864951B1 (en) | Randomized latent feature learning | |
US10949000B2 (en) | Sticker recommendation method and apparatus | |
CN107798027B (zh) | 一种信息热度预测方法、信息推荐方法及装置 | |
US20140280554A1 (en) | Method and system for dynamic discovery and adaptive crawling of content from the internet | |
CN103473036B (zh) | 一种输入法皮肤推送方法及系统 | |
CN112364239A (zh) | 消息推送策略确定方法、装置、设备及存储介质 | |
CN113643070A (zh) | 一种基于大数据的智能信息推送方法及系统 | |
US20140280350A1 (en) | Method and system for user profiling via mapping third party interests to a universal interest space | |
CN112464102A (zh) | 一种应用程序的推荐方法 | |
CN110457387B (zh) | 一种应用于网络中用户标签确定的方法及相关装置 | |
CN114258670A (zh) | 信息推送方法、装置、电子设备以及存储介质 | |
CN112182460A (zh) | 资源的推送方法和装置、存储介质及电子装置 | |
CN114637927B (zh) | 一种内容推荐方法、装置、电子设备及存储介质 | |
WO2018202127A1 (zh) | 信息推送方法及装置、存储介质和电子装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40053990 Country of ref document: HK |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |