[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN113127646A - 基于知识图谱的智能对话推荐方法及装置 - Google Patents

基于知识图谱的智能对话推荐方法及装置 Download PDF

Info

Publication number
CN113127646A
CN113127646A CN202110426610.8A CN202110426610A CN113127646A CN 113127646 A CN113127646 A CN 113127646A CN 202110426610 A CN202110426610 A CN 202110426610A CN 113127646 A CN113127646 A CN 113127646A
Authority
CN
China
Prior art keywords
sample
dialogue
conversation
trained
intention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110426610.8A
Other languages
English (en)
Inventor
黄民烈
马文畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202110426610.8A priority Critical patent/CN113127646A/zh
Publication of CN113127646A publication Critical patent/CN113127646A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于知识图谱的智能对话推荐方法及装置，该方法包括：获取用户端的语音信息；将语音信息输入到训练好的语言模型中，得到语音信息对应的自然语言回复，训练好的语言模型是由样本对话历史内容和样本意图推理树，对语言模型进行训练得到的；其中，样本意图推理树是根据预设对话意图、样本对话历史表示和样本用户画像，基于知识图谱进行推理得到的；样本对话历史表示是通过对样本对话历史内容进行编码得到的；样本用户画像是通过对样本对话历史内容中提及到的知识图谱的节点进行编码，基于自注意力机制得到的。本发明通过对不同对话意图下实体推理的过程进行建模，有效地提高智能对话推荐的准确性与语言生成的流畅性。

Description

基于知识图谱的智能对话推荐方法及装置
技术领域
本发明涉及自然语言处理技术领域，尤其涉及一种基于知识图谱的智能对话推荐方法及装置。
背景技术
在当今信息爆炸时代，基于互联网的大型电商平台彻底改变了人们的生活方式。面对平台上海量的商品信息，用户常常陷入选择和比较的困境中，如何快速的了解用户喜好，精准地推荐用户心仪的产品成为一个难题。
传统推荐系统需要大量的用户历史数据，在历史数据缺失的冷启动(Cold Start)场景下，现有推荐系统无法完成精准推荐的需求。结合近年来对话系统的快速发展，对话推荐系统(Conversational Recommendation System，简称CRS)应运而生。在对话推荐的场景下，系统需要通过对话引导用户表达自身需求，快速建立用户画像，并结合已有商品数据完成针对用户的精准推荐。其中，大规模的知识图谱常用来存储海量的商品信息，并用来刻画商品之间的各种关系。
现有对话推荐系统往往对传统推荐系统和对话系统进行简单的耦合：在知识图谱上寻找推荐对象，再将推荐对象引入生成的自然语言中。然而，此类方法未能有效建模该场景下系统端的多种对话意图，包括不同对话意图下的知识推理以及对话策略生成，从而导致推荐性能和语言生成性能不理想。因此，现在亟需一种基于知识图谱的智能对话推荐方法及装置来解决上述问题。
发明内容
针对现有技术存在的问题，本发明提供一种基于知识图谱的智能对话推荐方法及装置。
本发明提供一种基于知识图谱的智能对话推荐方法，包括：
获取用户端的语音信息；
将所述语音信息输入到训练好的语言模型中，得到所述语音信息对应的自然语言回复，所述训练好的语言模型是由样本对话历史内容和样本意图推理树，对语言模型进行训练得到的；
其中，所述样本意图推理树是根据预设对话意图、样本对话历史表示和样本用户画像，基于知识图谱进行推理得到的；所述样本对话历史表示是通过对所述样本对话历史内容进行编码得到的；所述样本用户画像是通过对所述样本对话历史内容中提及到的知识图谱的节点进行编码，基于自注意力机制得到的。
根据本发明提供的一种基于知识图谱的智能对话推荐方法，所述训练好的语言模型通过以下步骤得到：
根据样本问法和所述样本问法对应的样本回复，构建每轮次对话的样本历史对话内容，所述样本问法为用户端样本对话内容，所述样本回复为系统端样本对话内容；
基于预训练的BERT模型，对所述样本历史对话内容进行编码，得到样本对话历史表示；
基于预训练的R-GCN模型，对知识图谱中每个节点进行编码，并根据所述样本对话历史内容中提及到的知识图谱的节点，将编码后的节点构建得到的目标节点矩阵，通过自注意力机制生成对应的样本用户画像；
通过所述样本对话历史表示和所述样本用户画像，基于知识图谱，生成预设对话意图对应的样本意图推理树；
根据所述样本意图推理树和所述样本历史对话内容，构建训练样本集，并将所述训练样本集输入到预训练的GPT-2模型进行微调，以根据训练好的GPT-2模型，得到训练好的语言模型，所述训练好的语言模型包括所述预训练的BERT模型、所述预训练的R-GCN模型和所述训练好的GPT-2模型。
根据本发明提供的一种基于知识图谱的智能对话推荐方法，所述基于预训练的BERT模型，对所述样本历史对话内容进行编码，得到样本对话历史表示，包括：
基于预训练的BERT模型，对每轮次对话的样本历史对话内容进行编码，得到每轮次对话的对话表示：
BERT([yt-1；xt])；
其中，xt表示第t轮次对话中的用户端样本对话内容，yt-1表示第t-1轮次对话中的系统端样本对话内容；所述预训练的BERT模型的输出层连接一个LSTM层；
通过所述LSTM层，根据对话的时序关系，对所有轮次对话的对话表示按照时序关系进行编码，得到样本对话历史表示ut；
ut＝LSTM(ut-1，BERT([yt-1；xt]))。
根据本发明提供的一种基于知识图谱的智能对话推荐方法，所述基于预训练的R-GCN模型，对知识图谱中每个节点进行编码，并根据所述样本对话历史内容中提及到的知识图谱的节点，将编码后的节点构建得到的目标节点矩阵，通过自注意力机制生成对应的样本用户画像，包括：
基于预训练的R-GCN模型，对知识图谱中每个节点进行编码，得到每个节点在所述预训练的R-GCN模型中每一层的表示：
Figure BDA0003029820880000031
其中，
Figure BDA0003029820880000032
表示与节点e有关系r的节点集合；
Figure BDA0003029820880000033
与
Figure BDA0003029820880000034
为训练参数；R-GCN模型第L层的节点表示为
Figure BDA0003029820880000035
he∈Rd；e′表示与节点e有关系r的节点；
根据所述样本对话历史内容中提及到的知识图谱的节点，将对应的编码后的节点构成目标节点矩阵Mt：
Figure BDA0003029820880000041
Figure BDA0003029820880000042
基于自注意力机制，根据所述目标节点矩阵，生成对应的样本用户画像pt：
pt＝αt*Mt；
αt＝softmax(wp·tanh(WpMt))；
其中，αt表示第t轮次对话的权重向量，wp与Wp表示训练参数。
根据本发明提供的一种基于知识图谱的智能对话推荐方法，所述通过所述样本对话历史表示和所述样本用户画像，基于知识图谱，生成预设对话意图对应的样本意图推理树，包括：
根据样本对话历史表示和样本用户画像，对预设对话意图在知识图谱上进行单步推理，得到对应的推理上下文向量ct：
Figure BDA0003029820880000043
Figure BDA0003029820880000044
其中，it表示第t个轮次对话中每个对话意图的训练向量表示，ut表示样本对话历史表示，pt表示样本用户画像，he表示知识图谱中编码后的节点，γ(n)表示推理跳数为n时的权重值；
根据所述推理上下文向量，获取知识图谱中与节点e有关系r的节点e′的得分
Figure BDA0003029820880000045
Figure BDA0003029820880000046
根据满足预设函数条件的节点，构建预设对话意图对应的样本意图推理树，所述预设函数条件为：
Figure BDA0003029820880000051
其中，
Figure BDA0003029820880000052
表示从节点e出发根据对应预设对话意图所能达到的节点集，τ表示预设得分。
根据本发明提供的一种基于知识图谱的智能对话推荐方法，在所述通过所述样本对话历史表示和所述样本用户画像，基于知识图谱，生成预设对话意图对应的样本意图推理树之后，所述方法还包括：
按照先序遍历，对样本意图推理树进行序列化处理，得到序列化后的样本意图推理树；
将所述序列化后的样本意图推理树和样本历史对话内容输入到预训练的GPT-2模型进行微调，得到训练好的语言模型，所述训练好的语言模型为：
Figure BDA0003029820880000053
其中，xt表示第t轮次对话中的用户端样本对话内容，yt表示第t轮次对话中的系统端样本对话内容，At表示第t轮次对话中序列化后的样本意图推理树，k表示系统端样本对话内容中字符在整个序列中的位置。
根据本发明提供的一种基于知识图谱的智能对话推荐方法，所述训练好的语言模型的损失函数
Figure BDA0003029820880000054
为：
Figure BDA0003029820880000055
Figure BDA0003029820880000056
Figure BDA0003029820880000057
Figure BDA0003029820880000058
Figure BDA0003029820880000061
其中，
Figure BDA0003029820880000062
表示选择预设对话意图部分的损失函数，
Figure BDA0003029820880000063
表示意图推理树部分的损失函数，
Figure BDA0003029820880000064
表示自然语言生成部分的损失函数，ε表示知识图谱上的节点集合，se′表示实体e′由语言模型预测的得分，
Figure BDA0003029820880000065
表示实体e′实际得分，
Figure BDA0003029820880000066
及
Figure BDA0003029820880000067
表示训练参数。
本发明还提供一种基于知识图谱的智能对话推荐装置，包括：
语音信息获取模块，用于获取用户端的语音信息；
智能回复生成模块，用于将所述语音信息输入到训练好的语言模型中，得到所述语音信息对应的自然语言回复，所述训练好的语言模型是由样本对话历史内容和样本意图推理树，对语言模型进行训练得到的；
其中，所述样本意图推理树是根据预设对话意图、样本对话历史表示和样本用户画像，基于知识图谱进行推理得到的；所述样本对话历史表示是通过对所述样本对话历史内容进行编码得到的；所述样本用户画像是通过对所述样本对话历史内容中提及到的知识图谱的节点进行编码，基于自注意力机制得到的。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于知识图谱的智能对话推荐方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于知识图谱的智能对话推荐方法的步骤。
本发明提供的基于知识图谱的智能对话推荐方法及装置，通过对不同对话意图下实体推理的过程进行建模，有效地提高智能对话推荐的准确性与语言生成的流畅性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于知识图谱的智能对话推荐方法的流程示意图；
图2为本发明提供的训练好的语言模型的整体结构示意图；
图3为本发明提供的神经推理单元的结构示意图；
图4为本发明提供的基于知识图谱的智能对话推荐装置的结构示意图；
图5为本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明提供的基于知识图谱的智能对话推荐方法的流程示意图，如图1所示，本发明提供了一种基于知识图谱的智能对话推荐方法，包括：
步骤101，获取用户端的语音信息。
在本发明中，首先通过对话推荐系统中的用户端，获取用户的语音信息，该语音信息可以是询问信息、闲聊信息或推荐信息(即需要对话系统进行推荐商品的问题)等具有不同意图的语音信息。
步骤102，将所述语音信息输入到训练好的语言模型中，得到所述语音信息对应的自然语言回复，所述训练好的语言模型是由样本对话历史内容和样本意图推理树，对语言模型进行训练得到的；
其中，所述样本意图推理树是根据预设对话意图、样本对话历史表示和样本用户画像，基于知识图谱进行推理得到的；所述样本对话历史表示是通过对所述样本对话历史内容进行编码得到的；所述样本用户画像是通过对所述样本对话历史内容中提及到的知识图谱的节点进行编码，基于自注意力机制得到的。
在本发明中，对常见的对话推荐意图基于知识图谱进行建模，通过对语言模型进行训练，从而学习不同意图下的知识图谱推理模式，能够在显式的建模对话意图的前提下，学习对话中知识图谱实体推理的规律，并最终产生符合用户需求的自然语言回复。需要说明的是，本发明所选取存储了海量商品信息，并刻画商品之间各种关系的知识图谱，对于其他领域的基于知识图谱的智能对话推荐(例如，医疗对话推荐)，本发明提供的方法也适用。
本发明提供的基于知识图谱的智能对话推荐方法，通过对不同对话意图下实体推理的过程进行建模，有效地提高智能对话推荐的准确性与语言生成的流畅性。
在上述实施例的基础上，所述训练好的语言模型通过以下步骤得到：
步骤201，根据样本问法和所述样本问法对应的样本回复，构建每轮次对话的样本历史对话内容，所述样本问法为用户端样本对话内容，所述样本回复为系统端样本对话内容。
在本发明中，首先通过历史自然对话的样本，构建对应的样本历史对话内容，具体地，将样本问法和该样本问法对应的样本回复作为一轮对话，从而得到多轮次对话的样本历史对话内容D＝{x1，y1，..，xt-1，yt-1，xt}，其中，xt表示样本问法，该样本问法可以是带有询问意图的问法，也可以是具有闲聊意图的问法，或者是寻求商品推荐的问法；yt表示该样本问法对应的自然语言回复。在本发明中，将用户端样本对话内容作为样本问法，即寻求推荐者一方的对话内容；将对应的系统端样本内容对话作为样本回答，即推荐者一方(可以为对话推荐系统或者自然语言对话中推荐方)的对话内容。
步骤202，基于预训练的BERT模型，对所述样本历史对话内容进行编码，得到样本对话历史表示；
在本发明中，步骤202具体包括：基于预训练的BERT模型，对每轮次对话的样本历史对话内容进行编码，得到每轮次对话的对话表示：
BERT([yt-1；xt])；
其中，xt表示第t轮次对话中的用户端样本对话内容，yt-1表示第t-1轮次对话中的系统端样本对话内容；所述预训练的BERT模型的输出层连接一个LSTM层；图2为本发明提供的训练好的语言模型的整体结构示意图，可参考图2所示，在t个对话轮次中，使用预训练的语言模型BERT，对每个轮次的样本历史对话内容(User Utterance)进行编码，需要说明的是，本发明采用的预训练模型，通过自监督学习从大规模数据中训练获得的，可直接通过预训练模型对样本数据进行预处理，也可基于具体任务，对预训练的模型进行微调。
通过所述LSTM层，根据对话的时序关系，对所有轮次对话的对话表示按照时序关系进行编码，得到样本对话历史表示ut；
ut＝LSTM(ut-1，BERT([yt-1；xt]))。
步骤203，基于预训练的R-GCN模型，对知识图谱中每个节点进行编码，并根据所述样本对话历史内容中提及到的知识图谱的节点，将编码后的节点构建得到的目标节点矩阵，通过自注意力机制生成对应的样本用户画像。
在本发明中，定义关于商品信息的知识图谱G＝(ε，R)，其中ε为知识图谱上的节点集合，
Figure BDA0003029820880000101
为知识图谱上所有关系集合，可参考图2所示，根据知识图谱上提及到的实体(Mentioned Entity)，通过R-GCN模型得到样本用户画像pt。所述步骤203具体包括：基于预训练的R-GCN模型，对知识图谱中每个节点进行编码，得到每个节点在所述预训练的R-GCN模型中每一层的表示：
Figure BDA0003029820880000102
其中，
Figure BDA0003029820880000103
表示与节点e有关系r的节点集合；
Figure BDA0003029820880000104
与
Figure BDA0003029820880000105
为训练参数；R-GCN模型第L层的节点表示为
Figure BDA0003029820880000106
he∈Rd；e′表示与节点e有关系r的节点，e∈ε；
根据所述样本对话历史内容中提及到的知识图谱的节点，将对应的编码后的节点构成目标节点矩阵Mt：
Figure BDA0003029820880000107
Figure BDA0003029820880000108
基于自注意力机制，根据所述目标节点矩阵，生成对应的样本用户画像pt：
pt＝αt*Mt；
αt＝softmax(wp·tanh(WpMt))；
其中，αt表示第t轮次对话的权重向量，wp与Wp表示训练参数。
步骤204，通过所述样本对话历史表示和所述样本用户画像，基于知识图谱，生成预设对话意图对应的样本意图推理树；
在本发明中，以三种在对话推荐中常见的对话意图：询问，闲聊和推荐，进行样本意图推理树的构建进行说明。为了减少模型学习的搜索空间，本发明设置图推理的跳数最大为两跳，并根据先验知识设置了各个对话意图的推理规则，如下表1：
表1
Figure BDA0003029820880000111
在进行图推理时，首先选定本轮的对话意图，其次按照选定意图对应的推理规则，进行至多两条的推理。在每一跳的推理时，可选择多个节点，最终则形成一颗以对话意图为根，最大深度为2的推理树，将该推理树作为本轮的对话意图At，用于指导语言生成，例如，若当前轮对话意图为I，I拥有子节点n0和n1，其中，n0连接两个叶子节点n00和n01，n1连接一个叶子节点n10。
在本发明中，根据样本历史对话内容，首先进行对话意图的选择，将该问题视为一个三分类器：
Figure BDA0003029820880000112
其中，分类器的损失函数为：
Figure BDA0003029820880000113
为了进行知识图谱上的多跳推理，图3为本发明提供的神经推理单元的结构示意图，可参考图2和图3所示，本发明设计了一个神经推理单元(Walker Cell)，该单元的作用是根据对话信息，基于R-GCN模型输出的实体嵌入(Entity Embedding)和根据样本对话历史表示和样本用户画像得到的上下文嵌入(Context Embedding)，获取每个节点的得分，从而基于该得分选择满足预设条件的节点构建推理树。在本发明中，在知识图谱上从对话意图(跳数n＝1)或实体(跳数n＝2)出发进行单步推理。
具体地，所述步骤204包括：根据样本对话历史表示和样本用户画像，对预设对话意图在知识图谱上进行单步推理，得到对应的推理上下文向量ct：
Figure BDA0003029820880000121
Figure BDA0003029820880000122
其中，it表示第t个轮次对话中每个对话意图的训练向量表示，ut表示样本对话历史表示，pt表示样本用户画像，he表示知识图谱中编码后的节点，γ(n)表示推理跳数为n时的权重值；
根据所述推理上下文向量，获取知识图谱中与节点e有关系r的节点e′的得分
Figure BDA0003029820880000123
Figure BDA0003029820880000124
通过神经推理单元，根据满足预设函数条件的节点，构建预设对话意图对应的样本意图推理树，所述预设函数条件为：
Figure BDA0003029820880000125
其中，
Figure BDA0003029820880000126
表示从节点e出发根据对应预设对话意图所能达到的节点集，τ表示预设得分。
步骤205，根据所述样本意图推理树和所述样本历史对话内容，构建训练样本集，并将所述训练样本集输入到预训练的GPT-2模型进行微调，以根据训练好的GPT-2模型，得到训练好的语言模型，所述训练好的语言模型包括所述预训练的BERT模型、所述预训练的R-GCN模型和所述训练好的GPT-2模型。
在本发明中，对预训练的GPT-2模型进行参数初始化，再通过样本意图推理树和样本历史对话内容构建的训练样本集，对该模型进行微调，从而基于训练好的训练好的GPT-2模型、预训练的BERT模型以及所述预训练的R-GCN模型，构建训练好的语言模型。
在上述实施例的基础上，在所述通过所述样本对话历史表示和所述样本用户画像，基于知识图谱，生成预设对话意图对应的样本意图推理树之后，所述方法还包括：
按照先序遍历，对样本意图推理树进行序列化处理，得到序列化后的样本意图推理树；
将所述序列化后的样本意图推理树和样本历史对话内容输入到预训练的GPT-2模型进行微调，得到训练好的语言模型，所述训练好的语言模型为：
Figure BDA0003029820880000131
其中，xt表示第t轮次对话中的用户端样本对话内容，yt表示第t轮次对话中的系统端样本对话内容，At表示第t轮次对话中序列化后的样本意图推理树，k表示系统端样本对话内容中字符在整个序列中的位置。
在本发明中，将生成的样本意图推理树作为当前对话轮次的意图At，用于生成自然语言回复的语言模型可以视为建立具有参数θg的统计语言模型：
Figure BDA0003029820880000132
为了将节点树(即样本意图推理树)作为GPT-2模型的输入，本发明将节点树按先序遍历进行序列化。可参考图2所示，例如，若当前轮对话意图为I，I拥有子节点n0和n1，n0分别连接叶子节点n00和n01，n1连接一个叶子节点n10，构建节点树(Reasoning Tree)，则该轮对话行为序列化如下：
A＝[I(n0(n00)(n01))(n1(n10))]；
每轮对话的序列化结果(Dialog Act)和对话历史拼接，作为GPT-2模型的输入。本发明采用预训练语言模型GPT-2对语言模型进行参数初始化，并在训练集上进行微调，提高了生成的自然语言回复的质量。
在上述实施例的基础上，所述训练好的语言模型的损失函数L为：
Figure BDA0003029820880000141
Figure BDA0003029820880000142
Figure BDA0003029820880000143
Figure BDA0003029820880000144
Figure BDA0003029820880000145
其中，
Figure BDA0003029820880000146
表示选择预设对话意图部分的损失函数，
Figure BDA0003029820880000147
表示意图推理树部分的损失函数，
Figure BDA0003029820880000148
表示自然语言生成部分的损失函数，ε表示知识图谱上的节点集合，se′表示实体e′由语言模型预测的得分，
Figure BDA0003029820880000149
表示实体e′实际得分，
Figure BDA00030298208800001410
及
Figure BDA00030298208800001411
表示训练参数。
图4为本发明提供的基于知识图谱的智能对话推荐装置的结构示意图，如图4所示，本发明提供了一种基于知识图谱的智能对话推荐装置，包括语言信息获取模块401和智能回复生成模块402，其中，语音信息获取模块401用于获取用户端的语音信息；智能回复生成模块402用于将所述语音信息输入到训练好的语言模型中，得到所述语音信息对应的自然语言回复，所述训练好的语言模型是由样本对话历史内容和样本意图推理树，对语言模型进行训练得到的；其中，所述样本意图推理树是根据预设对话意图、样本对话历史表示和样本用户画像，基于知识图谱进行推理得到的；所述样本对话历史表示是通过对所述样本对话历史内容进行编码得到的；所述样本用户画像是通过对所述样本对话历史内容中提及到的知识图谱的节点进行编码，基于自注意力机制得到的。
本发明提供的基于知识图谱的智能对话推荐装置，通过对不同对话意图下实体推理的过程进行建模，有效地提高智能对话推荐的准确性与语言生成的流畅性。
在上述实施例的基础上，所述装置还包括样本对话构建模块、第一编码模块、第二编码模块、意图推理树生成模块和训练模块，其中，样本对话构建模块用于根据样本问法和所述样本问法对应的样本回复，构建每轮次对话的样本历史对话内容，所述样本问法为用户端样本对话内容，所述样本回复为系统端样本对话内容；第一编码模块用于基于预训练的BERT模型，对所述样本历史对话内容进行编码，得到样本对话历史表示；第二编码模块用于基于预训练的R-GCN模型，对知识图谱中每个节点进行编码，并根据所述样本对话历史内容中提及到的知识图谱的节点，将编码后的节点构建得到的目标节点矩阵，通过自注意力机制生成对应的样本用户画像；意图推理树生成模块用于通过所述样本对话历史表示和所述样本用户画像，基于知识图谱，生成预设对话意图对应的样本意图推理树；训练模块用于根据所述样本意图推理树和所述样本历史对话内容，构建训练样本集，并将所述训练样本集输入到预训练的GPT-2模型进行微调，以根据训练好的GPT-2模型，得到训练好的语言模型，所述训练好的语言模型包括所述预训练的BERT模型、所述预训练的R-GCN模型和所述训练好的GPT-2模型。
本发明提供的装置是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。
图5为本发明提供的电子设备的结构示意图，如图5所示，该电子设备可以包括：处理器(processor)501、通信接口(CommunicationsInterface)502、存储器(memory)503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。处理器501可以调用存储器503中的逻辑指令，以执行基于知识图谱的智能对话推荐方法，该方法包括：获取用户端的语音信息；将所述语音信息输入到训练好的语言模型中，得到所述语音信息对应的自然语言回复，所述训练好的语言模型是由样本对话历史内容和样本意图推理树，对语言模型进行训练得到的；其中，所述样本意图推理树是根据预设对话意图、样本对话历史表示和样本用户画像，基于知识图谱进行推理得到的；所述样本对话历史表示是通过对所述样本对话历史内容进行编码得到的；所述样本用户画像是通过对所述样本对话历史内容中提及到的知识图谱的节点进行编码，基于自注意力机制得到的。
此外，上述的存储器503中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于知识图谱的智能对话推荐方法，该方法包括：获取用户端的语音信息；将所述语音信息输入到训练好的语言模型中，得到所述语音信息对应的自然语言回复，所述训练好的语言模型是由样本对话历史内容和样本意图推理树，对语言模型进行训练得到的；其中，所述样本意图推理树是根据预设对话意图、样本对话历史表示和样本用户画像，基于知识图谱进行推理得到的；所述样本对话历史表示是通过对所述样本对话历史内容进行编码得到的；所述样本用户画像是通过对所述样本对话历史内容中提及到的知识图谱的节点进行编码，基于自注意力机制得到的。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于知识图谱的智能对话推荐方法，该方法包括：获取用户端的语音信息；将所述语音信息输入到训练好的语言模型中，得到所述语音信息对应的自然语言回复，所述训练好的语言模型是由样本对话历史内容和样本意图推理树，对语言模型进行训练得到的；其中，所述样本意图推理树是根据预设对话意图、样本对话历史表示和样本用户画像，基于知识图谱进行推理得到的；所述样本对话历史表示是通过对所述样本对话历史内容进行编码得到的；所述样本用户画像是通过对所述样本对话历史内容中提及到的知识图谱的节点进行编码，基于自注意力机制得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于知识图谱的智能对话推荐方法，其特征在于，包括：
获取用户端的语音信息；
将所述语音信息输入到训练好的语言模型中，得到所述语音信息对应的自然语言回复，所述训练好的语言模型是由样本对话历史内容和样本意图推理树，对语言模型进行训练得到的；
其中，所述样本意图推理树是根据预设对话意图、样本对话历史表示和样本用户画像，基于知识图谱进行推理得到的；所述样本对话历史表示是通过对所述样本对话历史内容进行编码得到的；所述样本用户画像是通过对所述样本对话历史内容中提及到的知识图谱的节点进行编码，基于自注意力机制得到的。
2.根据权利要求1所述的基于知识图谱的智能对话推荐方法，其特征在于，所述训练好的语言模型通过以下步骤得到：
根据样本问法和所述样本问法对应的样本回复，构建每轮次对话的样本历史对话内容，所述样本问法为用户端样本对话内容，所述样本回复为系统端样本对话内容；
基于预训练的BERT模型，对所述样本历史对话内容进行编码，得到样本对话历史表示；
基于预训练的R-GCN模型，对知识图谱中每个节点进行编码，并根据所述样本对话历史内容中提及到的知识图谱的节点，将编码后的节点构建得到的目标节点矩阵，通过自注意力机制生成对应的样本用户画像；
通过所述样本对话历史表示和所述样本用户画像，基于知识图谱，生成预设对话意图对应的样本意图推理树；
根据所述样本意图推理树和所述样本历史对话内容，构建训练样本集，并将所述训练样本集输入到预训练的GPT-2模型进行微调，以根据训练好的GPT-2模型，得到训练好的语言模型，所述训练好的语言模型包括所述预训练的BERT模型、所述预训练的R-GCN模型和所述训练好的GPT-2模型。
3.根据权利要求2所述的基于知识图谱的智能对话推荐方法，其特征在于，所述基于预训练的BERT模型，对所述样本历史对话内容进行编码，得到样本对话历史表示，包括：
基于预训练的BERT模型，对每轮次对话的样本历史对话内容进行编码，得到每轮次对话的对话表示：
BERT([yt-1；xt])；
其中，xt表示第t轮次对话中的用户端样本对话内容，yt-1表示第t-1轮次对话中的系统端样本对话内容；所述预训练的BERT模型的输出层连接一个LSTM层；
通过所述LSTM层，根据对话的时序关系，对所有轮次对话的对话表示按照时序关系进行编码，得到样本对话历史表示ut；
ut＝LSTM(ut-1,BERT([yt-1；xt]))。
4.根据权利要求2所述的基于知识图谱的智能对话推荐方法，其特征在于，所述基于预训练的R-GCN模型，对知识图谱中每个节点进行编码，并根据所述样本对话历史内容中提及到的知识图谱的节点，将编码后的节点构建得到的目标节点矩阵，通过自注意力机制生成对应的样本用户画像，包括：
基于预训练的R-GCN模型，对知识图谱中每个节点进行编码，得到每个节点在所述预训练的R-GCN模型中每一层的表示：
Figure FDA0003029820870000021
其中，
Figure FDA0003029820870000022
表示与节点e有关系r的节点集合；
Figure FDA0003029820870000023
与
Figure FDA0003029820870000024
为训练参数；R-GCN模型第L层的节点表示为
Figure FDA0003029820870000025
he∈Rd；e′表示与节点e有关系r的节点；
根据所述样本对话历史内容中提及到的知识图谱的节点，将对应的编码后的节点构成目标节点矩阵Mt：
Figure FDA0003029820870000031
Figure FDA0003029820870000032
基于自注意力机制，根据所述目标节点矩阵，生成对应的样本用户画像pt：
pt＝αt*Mt；
αt＝softmax(wp·tanh(WpMt))；
其中，αt表示第t轮次对话的权重向量，wp与Wp表示训练参数。
5.根据权利要求2所述的基于知识图谱的智能对话推荐方法，其特征在于，所述通过所述样本对话历史表示和所述样本用户画像，基于知识图谱，生成预设对话意图对应的样本意图推理树，包括：
根据样本对话历史表示和样本用户画像，对预设对话意图在知识图谱上进行单步推理，得到对应的推理上下文向量ct：
Figure FDA0003029820870000033
Figure FDA0003029820870000034
其中，it表示第t个轮次对话中每个对话意图的训练向量表示，ut表示样本对话历史表示，pt表示样本用户画像，he表示知识图谱中编码后的节点，γ(n)表示推理跳数为n时的权重值；
根据所述推理上下文向量，获取知识图谱中与节点e有关系r的节点e′的得分
Figure FDA0003029820870000035
Figure FDA0003029820870000036
根据满足预设函数条件的节点，构建预设对话意图对应的样本意图推理树，所述预设函数条件为：
Figure FDA0003029820870000037
其中，
Figure FDA0003029820870000041
表示从节点e出发根据对应预设对话意图所能达到的节点集，τ表示预设得分。
6.根据权利要求5所述的基于知识图谱的智能对话推荐方法，其特征在于，在所述通过所述样本对话历史表示和所述样本用户画像，基于知识图谱，生成预设对话意图对应的样本意图推理树之后，所述方法还包括：
按照先序遍历，对样本意图推理树进行序列化处理，得到序列化后的样本意图推理树；
将所述序列化后的样本意图推理树和样本历史对话内容输入到预训练的GPT-2模型进行微调，得到训练好的语言模型，所述训练好的语言模型为：
Figure FDA0003029820870000042
其中，xt表示第t轮次对话中的用户端样本对话内容，yt表示第t轮次对话中的系统端样本对话内容，At表示第t轮次对话中序列化后的样本意图推理树，k表示系统端样本对话内容中字符在整个序列中的位置。
7.根据权利要求6所述的基于知识图谱的智能对话推荐方法，其特征在于，所述训练好的语言模型的损失函数
Figure FDA0003029820870000043
为：
Figure FDA0003029820870000044
Figure FDA0003029820870000045
Figure FDA0003029820870000046
Figure FDA0003029820870000047
Figure FDA0003029820870000051
其中，
Figure FDA0003029820870000052
表示选择预设对话意图部分的损失函数，
Figure FDA0003029820870000053
表示意图推理树部分的损失函数，
Figure FDA0003029820870000054
表示自然语言生成部分的损失函数，ε表示知识图谱上的节点集合，se′表示实体e′由语言模型预测的得分，
Figure FDA0003029820870000055
表示实体e′实际得分，
Figure FDA0003029820870000056
及
Figure FDA0003029820870000057
表示训练参数。
8.一种基于知识图谱的智能对话推荐装置，其特征在于，包括：
语音信息获取模块，用于获取用户端的语音信息；
智能回复生成模块，用于将所述语音信息输入到训练好的语言模型中，得到所述语音信息对应的自然语言回复，所述训练好的语言模型是由样本对话历史内容和样本意图推理树，对语言模型进行训练得到的；
其中，所述样本意图推理树是根据预设对话意图、样本对话历史表示和样本用户画像，基于知识图谱进行推理得到的；所述样本对话历史表示是通过对所述样本对话历史内容进行编码得到的；所述样本用户画像是通过对所述样本对话历史内容中提及到的知识图谱的节点进行编码，基于自注意力机制得到的。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述基于知识图谱的智能对话推荐方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于知识图谱的智能对话推荐方法的步骤。
CN202110426610.8A 2021-04-20 2021-04-20 基于知识图谱的智能对话推荐方法及装置 Pending CN113127646A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110426610.8A CN113127646A (zh) 2021-04-20 2021-04-20 基于知识图谱的智能对话推荐方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110426610.8A CN113127646A (zh) 2021-04-20 2021-04-20 基于知识图谱的智能对话推荐方法及装置

Publications (1)

Publication Number Publication Date
CN113127646A true CN113127646A (zh) 2021-07-16

Family

ID=76778228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110426610.8A Pending CN113127646A (zh) 2021-04-20 2021-04-20 基于知识图谱的智能对话推荐方法及装置

Country Status (1)

Country Link
CN (1) CN113127646A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113641807A (zh) * 2021-07-28 2021-11-12 北京百度网讯科技有限公司 对话推荐模型的训练方法、装置、设备和存储介质
CN113672693A (zh) * 2021-08-23 2021-11-19 东北林业大学 基于知识图谱和标签关联的在线问答平台的标签推荐方法
CN113704432A (zh) * 2021-08-31 2021-11-26 广州方舟信息科技有限公司 一种基于互联网医院的人工智能客服系统构建方法及装置
CN113793197A (zh) * 2021-09-02 2021-12-14 中电积至(海南)信息技术有限公司 一种基于知识图谱语义融合的会话推荐系统
CN113946651A (zh) * 2021-09-27 2022-01-18 盛景智能科技(嘉兴)有限公司 维修知识推荐方法、装置、电子设备、介质及产品
CN114138956A (zh) * 2021-11-26 2022-03-04 北京比特易湃信息技术有限公司 一种结合推荐策略的对话系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107943998A (zh) * 2017-12-05 2018-04-20 竹间智能科技（上海）有限公司 一种基于知识图谱的人机对话控制系统及方法
US20190325868A1 (en) * 2018-04-24 2019-10-24 Accenture Global Solutions Limited Robotic agent conversation escalation
CN111738532A (zh) * 2020-08-14 2020-10-02 支付宝(杭州)信息技术有限公司 一种事件对对象影响度的获取方法和系统
CN111858892A (zh) * 2020-07-24 2020-10-30 中国平安人寿保险股份有限公司 基于知识图谱的语音交互方法、装置、设备及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107943998A (zh) * 2017-12-05 2018-04-20 竹间智能科技（上海）有限公司 一种基于知识图谱的人机对话控制系统及方法
US20190325868A1 (en) * 2018-04-24 2019-10-24 Accenture Global Solutions Limited Robotic agent conversation escalation
CN111858892A (zh) * 2020-07-24 2020-10-30 中国平安人寿保险股份有限公司 基于知识图谱的语音交互方法、装置、设备及介质
CN111738532A (zh) * 2020-08-14 2020-10-02 支付宝(杭州)信息技术有限公司 一种事件对对象影响度的获取方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WENCHANG MA, RYUICHI TAKANOBU, MINGHAO TU, MINLIE HUANG: "Bridging the Gap between Conversational Reasoning and Interactive Recommendation", pages 1 - 17, Retrieved from the Internet <URL:https://arxiv.org/abs/2010.10333v1> *
吕诗宁;张毅;胡若云;沈然;江俊军;欧智坚;: "融合神经网络与电力领域知识的智能客服对话系统研究", 浙江电力, vol. 39, no. 8, 25 August 2020 (2020-08-25), pages 76 - 82 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113641807A (zh) * 2021-07-28 2021-11-12 北京百度网讯科技有限公司 对话推荐模型的训练方法、装置、设备和存储介质
CN113641807B (zh) * 2021-07-28 2024-05-24 北京百度网讯科技有限公司 对话推荐模型的训练方法、装置、设备和存储介质
CN113672693A (zh) * 2021-08-23 2021-11-19 东北林业大学 基于知识图谱和标签关联的在线问答平台的标签推荐方法
CN113672693B (zh) * 2021-08-23 2022-05-10 东北林业大学 基于知识图谱和标签关联的在线问答平台的标签推荐方法
CN113704432A (zh) * 2021-08-31 2021-11-26 广州方舟信息科技有限公司 一种基于互联网医院的人工智能客服系统构建方法及装置
CN113793197A (zh) * 2021-09-02 2021-12-14 中电积至(海南)信息技术有限公司 一种基于知识图谱语义融合的会话推荐系统
CN113946651A (zh) * 2021-09-27 2022-01-18 盛景智能科技(嘉兴)有限公司 维修知识推荐方法、装置、电子设备、介质及产品
CN113946651B (zh) * 2021-09-27 2024-05-10 盛景智能科技(嘉兴)有限公司 维修知识推荐方法、装置、电子设备、介质及产品
CN114138956A (zh) * 2021-11-26 2022-03-04 北京比特易湃信息技术有限公司 一种结合推荐策略的对话系统

Similar Documents

Publication Publication Date Title
CN113127646A (zh) 基于知识图谱的智能对话推荐方法及装置
Li et al. Storygan: A sequential conditional gan for story visualization
CN112633010B (zh) 基于多头注意力和图卷积网络的方面级情感分析方法及系统
CN109614471B (zh) 一种基于生成式对抗网络的开放式问题自动生成方法
CN111160467A (zh) 一种基于条件随机场和内部语义注意力的图像描述方法
CN108734276A (zh) 一种基于对抗生成网络的模仿学习对话生成方法
CN113064968B (zh) 一种基于张量融合网络的社交媒体情感分析方法及系统
CN110851566A (zh) 一种改进的可微分网络结构搜索的方法
CN112417289A (zh) 一种基于深度聚类的资讯信息智能推荐方法
CN109684636B (zh) 一种基于深度学习的用户情感分析方法
CN112541063A (zh) 一种基于自学习对话模型的人机对话方法及系统
CN115408505A (zh) 一种基于双通道超图兴趣建模的对话推荐算法
CN112364236A (zh) 目标对象推荐系统、方法、装置、数据处理方法及装置
CN114254108B (zh) 一种中文文本对抗样本生成的方法、系统及介质
Hawkins et al. Generalizing meanings from partners to populations: Hierarchical inference supports convention formation on networks
CN113254788B (zh) 一种基于大数据的推荐方法、系统及可读存储介质
CN113761337B (zh) 基于事件隐式要素与显式联系的事件预测方法和装置
CN114372126A (zh) 一种面向对象的端到端对话生成方法、系统和介质
CN113723108A (zh) 一种事件提取方法、装置、电子设备及存储介质
CN116485501B (zh) 一种基于图嵌入与注意力机制的图神经网络会话推荐方法
CN117436480A (zh) 一种Mindspore框架下的大模型及推荐方法
CN116306834A (zh) 一种基于全局路径感知图神经网络模型的链路预测方法
Qiu et al. Local Interpretable Explanations for GBDT
CN114648017A (zh) 一种基于异质图注意力网络的文档级关系抽取方法
CN114020931A (zh) 知识图谱问答问句实体链接方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination