[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN116431917A - 基于神经网络的智能信息推送方法及系统 - Google Patents

基于神经网络的智能信息推送方法及系统 Download PDF

Info

Publication number
CN116431917A
CN116431917A CN202310404486.4A CN202310404486A CN116431917A CN 116431917 A CN116431917 A CN 116431917A CN 202310404486 A CN202310404486 A CN 202310404486A CN 116431917 A CN116431917 A CN 116431917A
Authority
CN
China
Prior art keywords
vector
type
preset
information
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202310404486.4A
Other languages
English (en)
Inventor
黄为华
魏萍
张世伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202310404486.4A priority Critical patent/CN116431917A/zh
Publication of CN116431917A publication Critical patent/CN116431917A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能技术，揭露了一种基于神经网络的智能信息推送方法，包括：利用嵌入函数将用户类型转化成连续的类型向量，利用位置序列函数将类型向量编码成类型序列向量；利用自注意力层提取类型向量的特征向量，用前馈神经网络层对其进行特征优化，得到高级特征向量，利用归一函数计算其概率分布，得到对应的标签概率值；若标签概率值中的最大值小于或等于预设的概率阈值，向用户推送标准信息类型对应的信息；若标签概率值中的最大值大于概率阈值，选取标签概率值大于所述概率阈值的信息标签，并向所述用户类型的用户推送被选取的信息标签对应的信息。本发明还提出一种基于神经网络的智能信息推送系统。本发明可以提高信息推送精确度。

Description

基于神经网络的智能信息推送方法及系统
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于神经网络的智能信息推送方法及系统。
背景技术
随着互联网技术的不断发展，传播的信息越来越多。为了给用户节省筛选时间，提高信息推送的效率程度，需要从海量信息中选取对用户爱好相同的信息，进行推送。
传统的信息推送方法往往只能提供固定格式的信息内容，缺乏新颖和多样化。实际应用生活中，大多是由一个组织或个人向群体无差别的推送信息，缺乏个性化和精准性，只能根据简单规则或关键词匹配进行推送，很难满足用户的多样化需求，从而导致进行信息推送时精确度较低。
发明内容
本发明提供一种基于神经网络的智能信息推送方法、系统及计算机可读存储介质，其主要目的在于解决进行信息推送时时的精确度较低的问题。
为实现上述目的，本发明提供的一种基于神经网络的智能信息推送方法，包括：
获取预设的用户类型，利用预设的Transformer模型中嵌入层的嵌入函数将所述用户类型转化成连续的类型向量，利用预设的位置序列函数将所述类型向量进行位置编码，得到类型序列向量，其中，所述嵌入函数为：
Figure BDA0004180823660000011
E(x)＝Wx+b
其中，x为类型序列经过独热编码后的向量表示，t为所述类型序列，a为预设的参数值，W为所述嵌入层预设的权重矩阵，b为所述嵌入层预设的的偏置向量，E(x)为所述类型向量；
所述利用所述Transformer模型中的自注意力层提取所述类型序列向量的特征向量，利用前馈神经网络层对所述特征向量进行特征优化，得到高级特征向量；
利用预设的归一函数计算所述高级特征向量对应的概率分布，得到所述高级特征向量对应的信息标签以及信息标签对应的标签概率值；
若所述标签概率值中的最大值小于或等于预设的概率阈值，则向所述用户类型的用户推送预设的标准信息类型对应的信息；
若所述标签概率值中的最大值大于所述概率阈值，则选取所述标签概率值大于所述概率阈值的信息标签，并向所述用户类型的用户推送被选取的信息标签对应的信息。
可选地，所述利用预设的位置序列函数将所述类型向量进行位置编码，得到类型序列向量，包括：
利用如下位置序列函数将所述类型向量进行位置编码：
Figure BDA0004180823660000021
其中，Pi，j为第i个位置、第j维度上的类型序列向量，其中i是类型向量当前位置的索引，j是类型向量的维度索引，d是类型向量的维度。
可选地，所述利用所述Transformer模型中的自注意力层提取所述类型序列向量的特征向量，包括：
获取所述类型序列向量对应的查询向量、键向量和值向量；
根据所述查询向量与键向量计算每个类型序列向量之间的相似度矩阵；
利用预设的归一公式对所述相似度矩阵进行归一化操作，得到注意力权重矩阵；
将所述注意力权重矩阵与所述值向量进行点积操作，得到特征向量。
可选地，所述根据所述查询向量与键向量计算每个类型序列向量之间的相似度矩阵，包括：
利用如下相似度公式计算计算每个类型序列向量之间的相似度矩阵：
Figure BDA0004180823660000022
其中，Si，j是所述相似度矩阵，Qi为序列号为i的查询向量Kj为序列号为j的键向量，d′为自注意力头数i、j是与所述类型序向量Pi，j下角标对应的序列号。
可选地，所述利用预设的归一公式对所述相似度矩阵进行归一化操作，得到注意力权重矩阵，包括：
利用如下归一公式对所述相似度矩阵进行归一化操作：
Figure BDA0004180823660000031
其中，Ai，j为注意力权重矩阵，Si，j为所述相似度矩阵，Si，k为第i个位置、第k维度上的相似度矩阵对应的数值，n为所述相似度矩阵中数值个数，k为从1到n之间的序列号。
可选地，所述将所述注意力权重矩阵与所述值向量进行点积操作，得到特征向量，包括：
利用如下点积公式将所述注意力权重矩阵与所述值向量进行点积操作：
Figure BDA0004180823660000032
其中，Yi为特征向量，Ai，j为注意力权重矩阵，m为注意力权重矩阵中数值的个数，Vj为序列号为j的值向量。
可选地，所述利用前馈神经网络层对所述特征向量进行特征优化，得到高级特征向量，包括：
将所述特征向量通过所述前馈神经网络层中的全连接层映射到内部向量空间中，得到内部向量；
利用预设的非线性激活函数对所述内部向量进行非线性变换，得到转换向量；
将所述转换向量通过另一个全连接层映射到原始的向量空间，得到高级特征向量。
可选地，所述将所述特征向量通过所述前馈神经网络层中的全连接层映射到内部向量空间中，得到内部向量，包括：
计算所述特征向量与所述全连接层中的每个神经元的加权求和，得到加权结果；
对所述加权结果进行非线性变换，得到加权变换；
将所有神经元对应的加权变换进行向量编码，得到内部向量。
可选地，所述计算所述特征向量与所述全连接层中的每个神经元的加权求和，得到加权结果，包括：
利用如下所示加权公式计算所述特征向量与所述全连接层中的每个神经元的加权求和：
Figure BDA0004180823660000041
其中，QH为所述加权结果，wr是连接第r个输入到αr神经元的权重，αr为第r个神经元，u为所述特征向量的长度，β为αr神经元的偏置。
为了解决上述问题，本发明还提供一种基于神经网络的智能信息推送系统，所述系统包括：
嵌入层模块：获取预设的用户类型，利用预设的Transformer模型中嵌入层的嵌入函数将所述用户类型转化成连续的类型向量，利用预设的位置序列函数将所述类型向量进行位置编码，得到类型序列向量，其中，所述嵌入函数为：
Figure BDA0004180823660000042
E(x)＝Wx+b
其中，x为类型序列经过独热编码后的向量表示，t为所述类型序列，a为预设的参数值，W为所述嵌入层预设的权重矩阵，b为所述嵌入层预设的的偏置向量，E(x)为所述类型向量；
优化模块：所述利用所述Transformer模型中的自注意力层提取所述类型序列向量的特征向量，利用前馈神经网络层对所述特征向量进行特征优化，得到高级特征向量；
计算概率模块：利用预设的归一函数计算所述高级特征向量对应的概率分布，得到所述高级特征向量对应的信息标签以及信息标签对应的标签概率值；
第一推送模块：若所述标签概率值中的最大值小于或等于预设的概率阈值，则向所述用户类型的用户推送预设的标准信息类型对应的信息；
第二推送模块：若所述标签概率值中的最大值大于所述概率阈值，则选取所述标签概率值大于所述概率阈值的信息标签，并向所述用户类型的用户推送被选取的信息标签对应的信息。
本发明实施例通过获取预设的用户类型，利用预设的Transformer模型中嵌入层的嵌入函数将所述用户类型转化成连续的类型向量，利用预设的位置序列函数将所述类型向量进行位置编码，得到类型序列向量，编码函数可以将输入序列中的每个词汇转换为对应的向量表示，能够利用向量空间的结构捕捉输入之间的语义相关性，便于后续任务的处理。而线性变换函数则将这些向量映射到更高维度的空间中，同时也能够消除编码函数中可能存在的冗余信息，提高特征的表示效果；利用所述Transformer模型中的自注意力层提取所述类型序列向量的特征向量，利用前馈神经网络层对所述特征向量进行特征优化，得到高级特征向量，通过自注意力机层让模型对输入向量的所有位置进行注意，因此能够捕获全局信息，从而更好地理解输入向量；利用预设的归一函数计算所述高级特征向量对应的概率分布，得到所述高级特征向量对应的信息标签以及信息标签对应的标签概率值，能使输出结果的范围都是相同且可控的，同时也便于比较，易于理解，方便调控；若所述标签概率值中的最大值小于或等于预设的概率阈值，向所述用户类型的用户推送预设的标准信息类型对应的信息。因此本发明提出的基于神经网络的智能信息推送方法、系统、电子设备及计算机可读存储介质，可以解决进行信息推送方法时的精确度较低的问题。
附图说明
图1为本发明一实施例提供的基于神经网络的智能信息推送方法的流程示意图；
图2为本发明一实施例提供的提取所述类型序列向量的特征向量的流程示意图；
图3为本发明一实施例提供的提取高级特征向量的流程示意图；
图4为本发明一实施例提供的基于神经网络的智能信息推送系统的功能模块图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例提供一种基于神经网络的智能信息推送方法。所述基于神经网络的智能信息推送方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述基于神经网络的智能信息推送方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参照图1所示，为本发明一实施例提供的基于神经网络的智能信息推送方法的流程示意图。在本实施例中，所述基于神经网络的智能信息推送方法包括：
S1、获取预设的用户类型，利用预设的Transformer模型中嵌入层的嵌入函数将所述用户类型转化成连续的类型向量，利用预设的位置序列函数将所述类型向量进行位置编码，得到类型序列向量；
本发明实施例中，所述Transformer模型是一种基于注意力机制的神经网络模型，能够用于自然语言处理任务，如文本分类、机器翻译等，在本发明实施例中使用所述Transformer模型提取所述用户类型对应的信息推送类型。
为了提升所述Transformer模型的表达能力以及降低维度灾难的影响，需要通过Transformer模型中的嵌入层将离散的用户类型映射成连续的向量表示，不仅能够更好地表达用户类型之间的相似性和差异性，还能降低数据的维度，提高了Transformer模型处理数据的效率。
本发明实施例中，所述利用预设的Transformer模型中嵌入层的嵌入函数将所述类型序列转化成连续的类型向量，包括：
利用如下嵌入函数将所述类型序列转化成连续的类型向量：
Figure BDA0004180823660000071
E(x)＝Wx+b
其中，x为类型序列经过独热编码后的向量表示，t为所述类型序列，a为预设的参数值，W为所述嵌入层预设的权重矩阵，b为所述嵌入层预设的偏置向量，E(x)为所述类型向量。
详细地，所述嵌入函数包含一个编码函数和一个线性变换函数组成，其中，编码函数可以将输入序列中的每个词汇转换为对应的向量表示，能够利用向量空间的结构捕捉输入之间的语义相关性，便于后续任务的处理。而线性变换函数则将这些向量映射到更高维度的空间中，同时也能够消除编码函数中可能存在的冗余信息，提高特征的表示效果。
本发明实施例中，所述利用预设的位置序列函数将所述类型向量进行位置编码，得到类型序列向量，包括：
利用如下位置序列函数将所述类型向量进行位置编码：
Figure BDA0004180823660000072
其中，Pi,j为第i个位置、第j维度上的类型序列向量，其中i是类型向量当前位置的索引，j是类型向量的维度索引，d是类型向量的维度。
通过所述位置序列函数能够对不同位置的类型向量添加不同的位置编码，从而使模型能够更好的地处理序列中的位置信息。
在所述Transformer模型中，嵌入层对于模型的整体性能至关重要，能使模型能够更好地处理自然语言任务中的长文本序列，获得更好的表达能力和泛化能力。
S2、利用所述Transformer模型中的自注意力层提取所述类型序列向量的特征向量，利用前馈神经网络层对所述特征向量进行特征优化，得到高级特征向量；
为了使所述类型序列向量各个元素之间建立联系，同时展现其在整个序列中的重要性和上下文信息，需要利用所述Transformer模型中的自注意力层提取所述类型序列向量的特征向量，通过自注意力机层让模型对输入向量的所有位置进行注意，因此能够捕获全局信息，从而更好地理解输入向量。
本发明实施例中，参照图2所示，所述利用所述Transformer模型中的自注意力层提取所述类型序列向量的特征向量，包括：
S21、获取所述类型序列向量对应的查询向量、键向量和值向量；
S22、根据所述查询向量与键向量计算每个类型序列向量之间的相似度矩阵；
S23、利用预设的归一公式对所述相似度矩阵进行归一化操作，得到注意力权重矩阵；
S24、将所述注意力权重矩阵与所述值向量进行点积操作，得到特征向量。
详细地，所述获取所述类型序列向量对应的查询向量、键向量和值向量是通过对所述类型序列向量进行不同的线性变换得到的。例如，对于给定的类型序向量Pi，j，通过将所述类型序向量与三个预设的学习权重矩阵WQ，WK和WV相乘来获取对应的查询向量Qi、键向量Ki和值向量Vi。
另外地，获取查询向量、键向量和值向量是为了进行注意力机制操作，这可以帮助我们在处理自然语言分类任务时更好地理解和捕捉输入数据之间的相关性。
具体地，所述根据所述查询向量与键向量计算每个类型序列向量之间的相似度矩阵，包括：
利用如下相似度公式计算计算每个类型序列向量之间的相似度矩阵：
Figure BDA0004180823660000081
其中，Si，j是所述相似度矩阵，Qi为序列号为i的查询向量Kj为序列号为j的键向量，d′为自注意力头数i、j是与所述类型序向量Pi,j下角标对应的序列号。
详细地，所述利用预设的归一公式对所述相似度矩阵进行归一化操作，得到注意力权重矩阵，包括：
利用如下归一公式对所述相似度矩阵进行归一化操作：
Figure BDA0004180823660000091
其中，Ai，j为注意力权重矩阵，Si,j为所述相似度矩阵，Si，k为第i个位置、第k维度上的相似度矩阵对应的数值，n为所述相似度矩阵中数值个数，k为从1到n之间的序列号。
另外地，所述将所述注意力权重矩阵与所述值向量进行点积操作，得到特征向量，包括：
利用如下点积公式将所述注意力权重矩阵与所述值向量进行点积操作：
Figure BDA0004180823660000092
其中，Yi为特征向量，Ai，j为注意力权重矩阵，m为注意力权重矩阵中数值的个数，Vj为序列号为j的值向量。
为了提高Transformer模型的表现和预测性能，通常利用前馈神经网络层对所述特征向量进行特征优化，这种特征优化的方式可以帮助模型更好地理解和处理输入数据，并有助于降低过拟合的风险，从而提高了模型的泛化能力和准确度。
本发明实施例中，参考图3所示，所述利用前馈神经网络层对所述特征向量进行特征优化，得到高级特征向量，包括：
S31、将所述特征向量通过所述前馈神经网络层中的全连接层映射到内部向量空间中，得到内部向量；
S32、利用预设的非线性激活函数对所述内部向量进行非线性变换，得到转换向量；
S33、将所述转换向量通过另一个全连接层映射到原始的向量空间，得到高级特征向量。
详细地，所述将所述特征向量通过所述前馈神经网络层中的全连接层映射到内部向量空间中，得到内部向量，包括：
计算所述特征向量与所述全连接层中的每个神经元的加权求和，得到加权结果；
对所述加权结果进行非线性变换，得到加权变换；
将所有神经元对应的加权变换进行向量编码，得到内部向量。
具体地，所述计算所述特征向量与所述全连接层中的每个神经元的加权求和，得到加权结果，包括：
利用如下所示加权公式计算所述特征向量与所述全连接层中的每个神经元的加权求和：
Figure BDA0004180823660000101
其中，QH为所述加权结果，wr是连接第r个输入到αr神经元的权重，αr为第r个神经元，u为所述特征向量的长度，β为αr神经元的偏置。
另外地，所述非线性激活函数包括但不限于ReLU、sigmoid，、tanh，、softmax等。
详细地，所述前馈神经网络层是一种基本的神经网络层，其作用是接受输入并通过一系列计算将其转换为输出，主要负责对每个位置上的向量进行非线性变换，从而实现进一步的特征提取和转换的功能。由于该层没有参数共享和序列依赖关系，因此能够高效地处理每个位置上的信息，提升了Transformer模型的表现。
S3、利用预设的归一函数计算所述高级特征向量对应的概率分布，得到所述高级特征向量对应的信息标签以及信息标签对应的标签概率值；
为了将Transformer模型分类结果有更好的解释性以及可靠性，Transformer模型在输出层要通过预设的归一函数计算所述高级特征向量对应的概率分布。
本发明实施例中，所述利用预设的归一公式将所述高级特征向量映射至相同的概率分布，与S2中利用预设的归一公式对所述相似度矩阵进行归一化操作步骤类似，在此不作赘述。
详细地，所述利用预设的归一函数计算所述高级特征向量对应的概率分布能够将输出向量归一化，使得每个元素都在0到1之间，且所有元素之和为1，能使输出结果的范围都是相同且可控的，同时也便于比较，易于理解，方便调控。
若所述标签概率值中的最大值小于或等于预设的概率阈值，则执行S4向所述用户类型的用户推送预设的标准信息类型对应的信息；
本发明实施例中，由于Transformer模型的冷启动问题目前无法完全解决，因此可能会导致所述标签概率值中的最大值小于或等于预设的概率阈值，说明模型对输入的用户类型无法准确分析，此时不能Transformer模型的分类结果向用户推送信息。
详细地，若所述标签概率值中的最大值小于或等于预设的概率阈值，则向所述用户类型的用户推送预设的标准信息类型对应的信息，其中，所述预设的标准信息类型是基于大部分用户偏爱的信息类型。
若所述标签概率值中的最大值大于所述概率阈值，则执行S5选取所述标签概率值大于所述概率阈值的信息标签，并向所述用户类型的用户推送被选取的信息标签对应的信息。
本发明实施例中，若所述标签概率值中的最大值大于所述概率阈值，说明所述Transformer模型预测的结果准确度较高，确定所有大于所述概率阈值的标签信息为被选取的标签信息，直接向所述用户类型对应的用户推送被选取的标签信息对应的信息。
如图4所示，是本发明一实施例提供的基于神经网络的智能信息推送系统的功能模块图。
本发明所述基于神经网络的智能信息推送系统100可以安装于电子设备中。根据实现的功能，所述基于神经网络的智能信息推送系统100可以包括嵌入层模块101、优化模块102、计算概率模块103、第一推送模块104及第二推送模块105。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述嵌入层模块101：获取预设的用户类型，利用预设的Transformer模型中嵌入层的嵌入函数将所述用户类型转化成连续的类型向量，利用预设的位置序列函数将所述类型向量进行位置编码，得到类型序列向量，其中，所述嵌入函数为：
Figure BDA0004180823660000121
E(x)＝Wx+b
其中，x为类型序列经过独热编码后的向量表示，t为所述类型序列，a为预设的参数值，W为所述嵌入层预设的权重矩阵，b为所述嵌入层预设的的偏置向量，E(x)为所述类型向量；
所述优化模块102：所述利用所述Transformer模型中的自注意力层提取所述类型序列向量的特征向量，利用前馈神经网络层对所述特征向量进行特征优化，得到高级特征向量；
所述计算概率模块103：利用预设的归一函数计算所述高级特征向量对应的概率分布，得到所述高级特征向量对应的信息标签以及信息标签对应的标签概率值；
所述第一推送模块104：若所述标签概率值中的最大值小于或等于预设的概率阈值，则向所述用户类型的用户推送预设的标准信息类型对应的信息；
所述第二推送模块105：若所述标签概率值中的最大值大于所述概率阈值，则选取所述标签概率值大于所述概率阈值的信息标签，并向所述用户类型的用户推送被选取的信息标签对应的信息。
详细地，本发明实施例中所述基于神经网络的智能信息推送系统100中所述的各模块在使用时采用与上述图1至图3中所述的基于神经网络的智能信息推送方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统实施例中陈述的多个单元或系统也可以由一个单元或系统通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种基于神经网络的智能信息推送方法，其特征在于，所述方法包括：
获取预设的用户类型，利用预设的Transformer模型中嵌入层的嵌入函数将所述用户类型转化成连续的类型向量，利用预设的位置序列函数将所述类型向量进行位置编码，得到类型序列向量，其中，所述嵌入函数为：
Figure FDA0004180823650000011
E(x)＝Wx+b
其中，x为类型序列经过独热编码后的向量表示，t为所述类型序列，a为预设的参数值，W为所述嵌入层预设的权重矩阵，b为所述嵌入层预设的的偏置向量，E(x)为所述类型向量；
所述利用所述Transformer模型中的自注意力层提取所述类型序列向量的特征向量，利用前馈神经网络层对所述特征向量进行特征优化，得到高级特征向量；
利用预设的归一函数计算所述高级特征向量对应的概率分布，得到所述高级特征向量对应的信息标签以及信息标签对应的标签概率值；
若所述标签概率值中的最大值小于或等于预设的概率阈值，则向所述用户类型的用户推送预设的标准信息类型对应的信息；
若所述标签概率值中的最大值大于所述概率阈值，则选取所述标签概率值大于所述概率阈值的信息标签，并向所述用户类型的用户推送被选取的信息标签对应的信息。
2.如权利要求1所述的基于神经网络的智能信息推送方法，其特征在于，所述利用预设的位置序列函数将所述类型向量进行位置编码，得到类型序列向量，包括：
利用如下位置序列函数将所述类型向量进行位置编码：
Figure FDA0004180823650000012
其中，Pi,j为第i个位置、第j维度上的类型序列向量，其中i是类型向量当前位置的索引，j是类型向量的维度索引，d是类型向量的维度。
3.如权利要求1所述的基于神经网络的智能信息推送方法，其特征在于，所述利用所述Transformer模型中的自注意力层提取所述类型序列向量的特征向量，包括：
获取所述类型序列向量对应的查询向量、键向量和值向量；
根据所述查询向量与键向量计算每个类型序列向量之间的相似度矩阵；
利用预设的归一公式对所述相似度矩阵进行归一化操作，得到注意力权重矩阵；
将所述注意力权重矩阵与所述值向量进行点积操作，得到特征向量。
4.如权利要求3所述的基于神经网络的智能信息推送方法，其特征在于，所述根据所述查询向量与键向量计算每个类型序列向量之间的相似度矩阵，包括：
利用如下相似度公式计算计算每个类型序列向量之间的相似度矩阵：
Figure FDA0004180823650000021
其中，Si,j是所述相似度矩阵，Qi为序列号为i的查询向量Kj为序列号为j的键向量，d'为自注意力头数i、j是与所述类型序向量Pi,j下角标对应的序列号。
5.如权利要求3所述的基于神经网络的智能信息推送方法，其特征在于，所述利用预设的归一公式对所述相似度矩阵进行归一化操作，得到注意力权重矩阵，包括：
利用如下归一公式对所述相似度矩阵进行归一化操作：
Figure FDA0004180823650000022
其中，Ai,j为注意力权重矩阵，Si,j为所述相似度矩阵，Si,k为第i个位置、第k维度上的相似度矩阵对应的数值，n为所述相似度矩阵中数值个数，k为从1到n之间的序列号。
6.如权利要求3中所述的基于神经网络的智能信息推送方法，其特征在于，所述将所述注意力权重矩阵与所述值向量进行点积操作，得到特征向量，包括：
利用如下点积公式将所述注意力权重矩阵与所述值向量进行点积操作：
Figure FDA0004180823650000031
其中，Yi为特征向量，Ai,j为注意力权重矩阵，m为注意力权重矩阵中数值的个数，Vj为序列号为j的值向量。
7.如权利要求1至7任一项所述的基于神经网络的智能信息推送方法，其特征在于，所述利用前馈神经网络层对所述特征向量进行特征优化，得到高级特征向量，包括：
将所述特征向量通过所述前馈神经网络层中的全连接层映射到内部向量空间中，得到内部向量；
利用预设的非线性激活函数对所述内部向量进行非线性变换，得到转换向量；
将所述转换向量通过另一个全连接层映射到原始的向量空间，得到高级特征向量。
8.如权利要求7所述的基于神经网络的智能信息推送方法，其特征在于，所述将所述特征向量通过所述前馈神经网络层中的全连接层映射到内部向量空间中，得到内部向量，包括：
计算所述特征向量与所述全连接层中的每个神经元的加权求和，得到加权结果；
对所述加权结果进行非线性变换，得到加权变换；
将所有神经元对应的加权变换进行向量编码，得到内部向量。
9.如权利要求8所述的基于神经网络的智能信息推送方法，其特征在于，所述计算所述特征向量与所述全连接层中的每个神经元的加权求和，得到加权结果，包括：
利用如下所示加权公式计算所述特征向量与所述全连接层中的每个神经元的加权求和：
Figure FDA0004180823650000041
其中，QH为所述加权结果，wr是连接第r个输入到αr神经元的权重，αr为第r个神经元，u为所述特征向量的长度，β为αr神经元的偏置。
10.一种基于神经网络的智能信息推送系统，其特征在于，所述系统包括：
嵌入层模块：获取预设的用户类型，利用预设的Transformer模型中嵌入层的嵌入函数将所述用户类型转化成连续的类型向量，利用预设的位置序列函数将所述类型向量进行位置编码，得到类型序列向量，其中，所述嵌入函数为：
Figure FDA0004180823650000042
E(x)＝Wx+b
其中，x为类型序列经过独热编码后的向量表示，t为所述类型序列，a为预设的参数值，W为所述嵌入层预设的权重矩阵，b为所述嵌入层预设的的偏置向量，E(x)为所述类型向量；
优化模块：所述利用所述Transformer模型中的自注意力层提取所述类型序列向量的特征向量，利用前馈神经网络层对所述特征向量进行特征优化，得到高级特征向量；
计算概率模块：利用预设的归一函数计算所述高级特征向量对应的概率分布，得到所述高级特征向量对应的信息标签以及信息标签对应的标签概率值；
第一推送模块：若所述标签概率值中的最大值小于或等于预设的概率阈值，则向所述用户类型的用户推送预设的标准信息类型对应的信息；
第二推送模块：若所述标签概率值中的最大值大于所述概率阈值，则选取所述标签概率值大于所述概率阈值的信息标签，并向所述用户类型的用户推送被选取的信息标签对应的信息。
CN202310404486.4A 2023-04-17 2023-04-17 基于神经网络的智能信息推送方法及系统 Withdrawn CN116431917A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310404486.4A CN116431917A (zh) 2023-04-17 2023-04-17 基于神经网络的智能信息推送方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310404486.4A CN116431917A (zh) 2023-04-17 2023-04-17 基于神经网络的智能信息推送方法及系统

Publications (1)

Publication Number Publication Date
CN116431917A true CN116431917A (zh) 2023-07-14

Family

ID=87079317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310404486.4A Withdrawn CN116431917A (zh) 2023-04-17 2023-04-17 基于神经网络的智能信息推送方法及系统

Country Status (1)

Country Link
CN (1) CN116431917A (zh)

Similar Documents

Publication Publication Date Title
CN110347835B (zh) 文本聚类方法、电子装置及存储介质
CN115796173B (zh) 针对监管报送需求的数据处理方法和系统
CN116415654A (zh) 一种数据处理方法及相关设备
CN112613308A (zh) 用户意图识别方法、装置、终端设备及存储介质
CN111898703B (zh) 多标签视频分类方法、模型训练方法、装置及介质
CN112434159B (zh) 一种利用深度神经网络进行论文多标签分类的方法
CN113987169A (zh) 基于语义块的文本摘要生成方法、装置、设备及存储介质
CN113268609A (zh) 基于知识图谱的对话内容推荐方法、装置、设备及介质
CN111984791A (zh) 一种基于注意力机制的长文分类方法
CN115951883A (zh) 分布式微服务架构的服务组件管理系统及其方法
CN116226357B (zh) 一种输入中包含错误信息场景下的文档检索方法
WO2023134085A1 (zh) 问题答案的预测方法、预测装置、电子设备、存储介质
CN111597401A (zh) 基于图关系网络的数据处理方法、装置、设备及介质
CN111507108B (zh) 别名生成方法、装置、电子设备及计算机可读存储介质
CN117473071B (zh) 数据检索方法、装置、设备及计算机可读介质
CN114299304A (zh) 一种图像处理方法及相关设备
CN115952928B (zh) 一种短期电力负荷预测方法、装置、设备及存储介质
CN117436950A (zh) 广告投放效果监控系统及其方法
CN116431917A (zh) 基于神经网络的智能信息推送方法及系统
CN116561540B (zh) 业务数据校正方法、装置及ai数字人的训练方法、装置
CN117349399B (zh) 文本分类语料库的构建方法及其系统
CN111158640B (zh) 一种基于深度学习的一对多需求分析识别方法
CN114444485B (zh) 一种云环境网络设备实体识别方法
CN118709232A (zh) 基于安全加密芯片的边缘物联代理方法
CN118551828A (zh) 生成文本检测模型的训练方法、文本检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20230714