CN112905809B - 知识图谱学习方法和系统 - Google Patents

Abstract

提供了一种知识图谱学习方法和系统，所述方法包括：构建针对知识图谱嵌入模型的关系矩阵的搜索空间，其中，关系矩阵指示关系嵌入向量中的各个元素的矩阵分布，并且所述搜索空间包括多种关系矩阵；针对特定知识图谱任务的使用关系矩阵的函数，在所述搜索空间中搜索对应优化关系矩阵候选的集合，并在所述优化关系矩阵候选的集合中确定与所述函数对应的优化关系矩阵；基于使用所述优化关系矩阵的所述函数来训练所述特定知识图谱任务的嵌入模型；以及利用所述嵌入模型获得所述特定知识图谱任务的嵌入表示。

Description

知识图谱学习方法和系统

技术领域

本申请涉及人工智能领域中的知识图谱嵌入技术，更具体地讲，涉及一种知识图谱学习方法和系统。

背景技术

随着信息网络技术的快速发展，各种信息网络数据内容呈现爆炸式增长的态势。这样的内容通常具有大规模、异质多元、组织结构松散的特点，给人们有效获取信息和知识提出了挑战。知识图谱(KG，Knowledge Graph)是语义网络的知识库，能够用可视化技术描述知识资源及其载体，并挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。

知识图谱作为一种特殊的图形结构，实体(entity)作为结点，关系(relation)作为有向边，最近引起了很多人的兴趣。在知识图谱中，每个边缘可被表示为具有(头部实体，关系，尾部实体)这一形式的三元组(h，r，t)，以指示两个实体h(即，头部实体)和t(即，尾部实体)通过关系r连接，例如(NewYork，isLocatedIn，USA)可表示NewYork位于USA。在过去的几十年中建立了许多大型知识图谱，例如WordNet，Freebase，DBpedia，YAGO。它们改进了各种下游应用，例如结构化搜索、问答和实体推荐等。

在知识图谱中，一个基本问题是如何量化给定三元组(h，r，t)的相似性，以便可以执行后续应用。最近，知识图谱嵌入(KGE，Knowledge Graph Embedding)已经出现并发展成为用于此目的一种方法。知识图谱嵌入旨在寻找低维度的实体和关系的向量表示(即，嵌入(embedding))，以便可以量化它们的相似性。具体说来，给定一组观察到的事实(即，三元组)，知识图谱嵌入尝试学习该三元组中的实体和关系的低维向量表示，以便可以量化三元组的相似性。可通过评分函数(Scoring Function)来测量这种相似度，评分函数可用于基于给定关系构建模型以用于衡量实体之间的相似性。要构建知识图谱嵌入模型，最重要的是设计并选择合适的评分函数。由于不同的评分函数在捕捉相似性方面有其自身的弱点和优势，因此评分函数的选择对于知识图谱嵌入的性能至关重要。

通常，评分函数是由人设计和选择的，也是知识图谱嵌入最重要的视角，它可以显著影响嵌入的质量

为了生成高质量的嵌入，评分函数应该具有可扩展性和表现力。可扩展性意味着基于评分函数的知识图谱嵌入模型的参数针对实体和关系的数量不应该增长得比线性更快，而表现力要求评分函数能够处理知识图谱中的常见的关系性质，即对称、反对称、一般不对称和反向关系。

然而，由人类设计的新评分函数提升的性能逐渐变得微不足道。这主要是由于不同的知识图谱在关系中有不同的模式，因此适应一个知识图谱的评分函数可能不会在另一个知识图谱上有一致的表现。此外，如何在众多评分函数中为知识图谱本身选择最好的一个评分函数也已经成为一个非常重要的问题。

发明内容

根据本发明的实施例，提供了一种知识图谱学习方法，所述方法包括：构建针对知识图谱嵌入模型的关系矩阵的搜索空间，其中，关系矩阵指示关系嵌入向量中的各个元素的矩阵分布，并且所述搜索空间包括多种关系矩阵；针对特定知识图谱任务的使用关系矩阵的函数，在所述搜索空间中搜索对应优化关系矩阵候选的集合，并在所述优化关系矩阵候选的集合中确定与所述函数对应的优化关系矩阵；基于使用所述优化关系矩阵的所述函数来训练所述特定知识图谱任务的嵌入模型；以及利用所述嵌入模型获得所述特定知识图谱任务的嵌入表示，其中，搜索优化关系矩阵候选的集合的步骤包括：在所述搜索空间中确定第一数量的关系矩阵作为初始关系矩阵候选的集合，通过对初始关系矩阵候选的集合中的关系矩阵候选进行至少一次迭代更新操作来获得所述优化关系矩阵候选的集合，其中，在每次迭代更新操作中通过对当前关系矩阵候选的集合中的关系矩阵候选执行变异操作或交叉操作来生成包括第二数量的新关系矩阵的新关系矩阵集合，并基于所述新关系矩阵集合来更新当前关系矩阵候选的集合中的关系矩阵候选。

可选地，所述关系矩阵g(r)可以是与关系嵌入向量r对应的K×K块矩阵，其中，[g(r)]_ij＝diag(a_ij)，[g(r)]_ij表示关系矩阵g(r)中的第i行第j列的块，a_ij∈{0,±r₁,…,±r_K}，r₁至r_K是通过将关系嵌入向量r分割为K个子嵌入向量而获得的，1≤i≤K，1≤j≤K，并且i、j和K是正整数。

可选地，所述变异操作可包括：以预定概率将从当前关系矩阵候选的集合中选择的关系矩阵候选中的每个块的值变异为其他块值，以生成新关系矩阵。所述交叉操作可包括：从当前关系矩阵候选的集合中选择两个关系矩阵候选，并使新关系矩阵中的每个块复用所述两个关系矩阵候选之一的对应块。

可选地，包括在所述新关系矩阵集合中的新关系矩阵可满足以下约束条件(1)-(4)：(1)在先前已被估计过模型性能的关系矩阵中不存在与所述新关系矩阵等效的关系矩阵；(2)所述新关系矩阵中没有零行和/或零列；(3)所述新关系矩阵包括关系嵌入向量r的所有K个子嵌入向量r₁至r_K；并且(4)所述新关系矩阵中没有重复的行和/或列。

可选地，所述初始关系矩阵候选的集合中的关系矩阵候选可具有K个非零块。

可选地，基于所述新关系矩阵集合来更新当前关系矩阵候选的集合中的关系矩阵候选的步骤可包括：使用预设预测器来获得所述新关系矩阵集合中的每个新关系矩阵的性能，并选择性能最高的第三数量的新关系矩阵以形成分别对应的第三数量个所述函数；基于所述第三数量个所述函数分别对所述特定知识图谱任务的嵌入模型进行训练，并对经过训练的各个嵌入模型进行估计以确定所述第三数量个所述函数的对应模型性能；基于所述第三数量个所述函数的对应模型性能，利用所述第三数量的新关系矩阵来更新所述关系矩阵候选的集合；将第三数量的新关系矩阵及其对应模型性能存储在预设记录集合中，并基于所述预设记录集合中存储的关系矩阵及其对应模型性能来更新所述预测器。

可选地，所述特定知识图谱任务可以是多跳预测任务，该任务中的多跳查询被定义为/> L是该查询的长度并且L≥1，e₀是该查询的开始实体，e_？是该查询的预测目标实体，∧是连接运算，e₁,…,e_L-1是将所述连接运算连接起来的中间实体，并且，r₁,…,r_L是该查询所涉及的关系，其中，所述函数可以是用于预测查询/>的得分的评分函数/> 是与关系r_t的关系嵌入向量r_t对应的关系矩阵，1≤t≤L。

可选地，所述特定知识图谱任务可以是结点分类任务，并且所述函数可以是结点表示函数：

其中，是结点实体v的邻居结点的集合并且/>是针对输入的邻居结点关系对(u，r)的消息函数，/>是结点实体v在第l层的表示，/>是结点实体v在第l+1层的表示，/>是结点实体u在第l层的表示，并且/>是结点实体v与结点实体u之间的关系r在第l层的表示，其中，g(r^(l))是与关系r在第l层的关系嵌入向量r^(l)对应的关系矩阵。

根据本发明的另一实施例，提供了一种知识图谱学习系统，所述系统包括：搜索空间构建装置，被配置为构建针对知识图谱嵌入模型的关系矩阵的搜索空间，其中，关系矩阵指示关系嵌入向量中的各个元素的矩阵分布，并且所述搜索空间包括多种关系矩阵；关系矩阵搜索装置，被配置为针对特定知识图谱任务的使用关系矩阵的函数，在所述搜索空间中搜索对应优化关系矩阵候选的集合，并在所述优化关系矩阵候选的集合中确定与所述函数对应的优化关系矩阵；嵌入模型训练装置，被配置为基于使用所述优化关系矩阵的所述函数来训练所述特定知识图谱任务的嵌入模型；以及表示装置，被配置为利用所述嵌入模型获得所述特定知识图谱任务的嵌入表示，其中，关系矩阵搜索装置被配置为通过以下操作搜索优化关系矩阵候选的集合：在所述搜索空间中确定第一数量的关系矩阵作为初始关系矩阵候选的集合，通过对初始关系矩阵候选的集合中的关系矩阵候选进行至少一次迭代更新操作来获得所述优化关系矩阵候选的集合，其中，在每次迭代更新操作中，关系矩阵搜索装置通过对当前关系矩阵候选的集合中的关系矩阵候选执行变异操作或交叉操作来生成包括第二数量的新关系矩阵的新关系矩阵集合，并基于所述新关系矩阵集合来更新当前关系矩阵候选的集合中的关系矩阵候选。

可选地，所述关系矩阵g(r)可以是与关系嵌入向量r对应的K×K块矩阵，其中，[g(r)]_ij＝diag(a_ij)，[g(r)]_ij表示关系矩阵g(r)中的第i行第j列的块，a_ij∈{0,±r₁,…,±r_K}，r₁至r_K是通过将关系嵌入向量r分割为K个子嵌入向量而获得的，1≤i≤K，1≤j≤K，并且i、j和K是正整数。

可选地，所述变异操作可包括：以预定概率将从当前关系矩阵候选的集合中选择的关系矩阵候选中的每个块的值变异为其他块值，以生成新关系矩阵。所述交叉操作可包括：从当前关系矩阵候选的集合中选择两个关系矩阵候选，并使新关系矩阵中的每个块复用所述两个关系矩阵候选之一的对应块。

可选地，包括在所述新关系矩阵集合中的新关系矩阵可满足以下约束条件(1)-(4)：(1)在先前已被估计过模型性能的关系矩阵中不存在与所述新关系矩阵等效的关系矩阵；(2)所述新关系矩阵中没有零行和/或零列；(3)所述新关系矩阵包括关系嵌入向量r的所有K个子嵌入向量r₁至r_K；并且(4)所述新关系矩阵中没有重复的行和/或列。

可选地，所述初始关系矩阵候选的集合中的关系矩阵候选可具有K个非零块。

可选地，关系矩阵搜索装置可被配置为通过以下操作来更新当前关系矩阵候选的集合中的关系矩阵候选：使用预设预测器来获得所述新关系矩阵集合中的每个新关系矩阵的性能，并选择性能最高的第三数量的新关系矩阵以形成分别对应的第三数量个所述函数；基于所述第三数量个所述函数分别对所述特定知识图谱任务的嵌入模型进行训练，并对经过训练的各个嵌入模型进行估计以确定所述第三数量个所述函数的对应模型性能；基于所述第三数量个所述函数的对应模型性能，利用所述第三数量的新关系矩阵来更新所述关系矩阵候选的集合；将第三数量的新关系矩阵及其对应模型性能存储在预设记录集合中，并基于所述预设记录集合中存储的关系矩阵及其对应模型性能来更新所述预测器。

可选地，所述特定知识图谱任务可以是多跳预测任务，该任务中的多跳查询被定义为/> L是该查询的长度并且L≥1，e₀是该查询的开始实体，e_？是该查询的预测目标实体，∧是连接运算，e₁,…,e_L-1是将所述连接运算连接起来的中间实体，并且，r₁,…,r_L是该查询所涉及的关系，其中，所述函数可以是用于预测查询/>的得分的评分函数/> 是与关系r_t的关系嵌入向量r_t对应的关系矩阵，1≤t≤L。

可选地，所述特定知识图谱任务可以是结点分类任务，并且所述函数可以是结点表示函数：

其中，是结点实体v的邻居结点的集合并且/>是针对输入的邻居结点关系对(u，r)的消息函数，/>是结点实体v在第l层的表示，/>是结点实体v在第l+1层的表示，/>是结点实体u在第l层的表示，并且/>是结点实体v与结点实体u之间的关系r在第l层的表示，其中，g(r^(l))是与关系r在第l层的关系嵌入向量r^(l)对应的关系矩阵。

根据本发明的另一实施例，提供了一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行前述知识图谱嵌入方法。

根据本发明的另一实施例，提供了一种包括至少一个计算装置和至少一个存储指令的存储装置的系统，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行前述知识图谱嵌入方法。

有益效果

通过应用根据本发明的示例性实施例的知识图谱嵌入方法和系统，能够自动搜索给定知识图谱任务的评分函数，并且还使得能够在准确地保证候选评分函数的表现力的同时减少关于搜索评分函数所需要的训练时间。

此外，除了上述评分函数以外，本发明的示例性实施例的知识图谱嵌入方法和系统还能够应用于搜索其他给定知识图谱任务的涉及关系的其他函数，由此拓展应用领域并能够更好地完成给定知识图谱任务。

附图说明

从下面结合附图对本发明实施例的详细描述中，本发明的这些和/或其他方面和优点将变得更加清楚并更容易理解，其中：

图1是示出根据本公开的示例性实施例的知识图谱嵌入系统的框图；

图2是示出根据本公开的示例性实施例的知识图谱嵌入方法的流程图。

具体实施方式

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明的示例性实施例作进一步详细说明。

在下面开始对本发明构思的描述之前，为便于理解，将首先对本申请中所使用的各个参数及其表达形式进行解释：

对于知识图谱，其实体集合和关系集合分别通过ε和来表示。知识图谱中的三元组由(h，r，t)表示，其中，h∈ε和t∈ε分别是头部实体和尾部实体的索引，/>是关系的索引，|ε|是知识图谱中实体元素的数量，并且/>是知识图谱中关系元素的数量。

在下文中，嵌入向量由对应参数的粗体形式表示，例如，和/>是分别与实体h和t对应的实体嵌入向量，/>是与关系r对应的关系嵌入向量，d是嵌入向量的维度。

<a，b，c>是点积，并且对于实值向量，它等于a^Tdiag(b)c，而对于复值向量，它是Hermitian乘积。对角矩阵diag(b)由b中的元素构成。

图1是示出根据本公开的示例性实施例的知识图谱嵌入系统200的框图。参照图1，知识图谱嵌入系统200可包括搜索空间构建装置110、关系矩阵搜索装置120、嵌入模型训练装置130以及表示装置140。

在本发明的示例性实施例中，搜索空间构建装置110可用于构建针对知识图谱嵌入模型的关系矩阵的搜索空间。这里，关系矩阵可指示关系嵌入向量中的各个元素的矩阵分布，并且所述搜索空间可包括多种不同的关系矩阵。此外，本文所提到的知识图谱嵌入模型(或嵌入模型)可以是具有可训练参数(例如，{h，r，t})和结构g(即，下文的关系矩阵)的嵌入模型。

在本发明的示例性实施例中，仅作为示例，所述关系矩阵g(r)可以是与关系嵌入向量r对应的K×K块矩阵，其中，[g(r)]_ij＝diag(a_ij)，[g(r)]_ij表示关系矩阵g(r)中的第i行第j列的块，a_ij∈{0,±r₁,…,±r_K}，r₁至r_K是通过将关系嵌入向量r分割为K个子嵌入向量而获得的，1≤i≤K，1≤j≤K，并且i、j和K是正整数。

由于不同关系矩阵g(r)之间的主要差别在于将对角矩阵diag(a_ij)填充到所述K×K的块矩阵的方式不同，因此可依据所述K×K块矩阵中的非零块(即，子嵌入向量±r₁,…,±r_K)的分布，设计出多种关系矩阵，由此构成关系矩阵的搜索空间。

关系矩阵搜索装置120可针对特定知识图谱任务的使用关系矩阵的函数，在所述搜索空间中搜索对应优化关系矩阵候选的集合，并在所述优化关系矩阵候选的集合中确定与所述函数对应的优化关系矩阵。

在下文中，为便于解释，将以所述函数是针对知识图谱的预测任务的评分函数f(h,r,t)为例进行描述，这里，评分函数f(h,r,t)返回反映三元组(h，r，t)的相似性的实数值，并且较高分数表示更多相似性。

在本发明的示例性实施例中，所述评分函数可被表示为如下等式(1)：

其中，实体嵌入向量h和t按照与关系嵌入向量r相同的分割方式被分别分割为K个子嵌入向量h₁至h_K、以及t₁至t_K。在本发明的实施例中，以相同的分割方式被分割是指从嵌入向量h、r和t分割得到的K个子嵌入向量h₁至h_K、r₁至r_K、以及t₁至t_K中，对应子嵌入向量具有相同的维度，即，h₁、r₁及t₁维度相同，h₂、r₂及t₂维度相同，依次类推。此外，在本发明的实施例中，在进行分割时，嵌入向量h、r和t可被均匀分割(即，各个子嵌入向量的维度相同，例如，子嵌入向量h₁至h_K维度相同)，也可被非均匀的分割(即，各个子嵌入向量的维度不完全相同，例如，子嵌入向量h₁至h_K的维度不完全相同)。

然而，例如，当K＝4时(即，嵌入向量h、r和t被分别划分为4个子嵌入向量)，对于4×4的块矩阵，关系矩阵的搜索空间包括种关系矩阵(即，关系矩阵的每个子块有9种选择，即，/>其中，/>)，因此在所述搜索空间中直接搜索所述评分函数f(h,r,t)的最优关系矩阵，搜索过程可能相当复杂且缓慢。

优选地，在本发明的示例性实施例中，关系矩阵搜索装置120可使用基于演化的搜索算法缩小搜索范围从而找出优化关系矩阵候选的集合，然后，关系矩阵搜索单元120可在缩小了搜索范围的该优化关系矩阵候选的集合中确定所述评分函数f(h,r,t)的优化关系矩阵。

以下将详细解释使用基于演化的搜索算法来确定优化关系矩阵候选的集合的处理。

在所述算法中，所述筛选条件可包括以下约束条件(1)-(4)：

(1)在先前已被估计过模型性能的关系矩阵中不存在与所述新关系矩阵g_new(r)等效的关系矩阵(可利用与中的记录进行比较实现)；

(2)所述新关系矩阵g_new(r)中没有零行和/或零列；

(3)所述新关系矩阵g_new(r)包括嵌入向量r的所有K个子嵌入向量r₁至r_K；并且

(4)所述新关系矩阵g_new(r)中没有重复的行和/或列。

这里，与新关系矩阵g_new(r)等效的关系矩阵是指与所述新关系矩阵g_new(r)具有不同的矩阵结构但具有相同的模型性能的矩阵。此外，这里所指的关系矩阵的模型性能(或者是评分函数的模型性能)是指基于使用该关系矩阵的评分函数(或该评分函数)对知识图谱的嵌入模型进行训练直至收敛之后所获得的嵌入模型的性能。

在本发明的示例性实施例中，当关系矩阵g(r)是K×K的块矩阵时，初始关系矩阵候选的集合中的关系矩阵候选的非零块的数量最小为K以包括r₁至r_K全部，最大可为K×K。

下面将更详细地解释上述搜索算法。

在所述搜索算法中，可首先在关系矩阵的搜索空间中确定第一数量(即，上述算法中的I个)的关系矩阵作为初始关系矩阵候选的集合(上述算法中的步骤1)。这里，由于所述搜索空间涵盖了所有可能的关系矩阵，因此，关系矩阵搜索装置120可直接随机生成I个具有K个非零块的关系矩阵作为初始关系矩阵候选的集合/>

之后，关系矩阵搜索装置120可通过对初始关系矩阵候选的集合中的关系矩阵候选进行至少一次迭代更新操作来获得所述优化关系矩阵候选的集合(上述算法中的步骤2-13)。

详细地讲，在每次迭代更新操作中，关系矩阵搜索装置120可通过对当前关系矩阵候选的集合中的关系矩阵候选执行变异操作或交叉操作来生成包括第二数量(即，上述算法中的N个)的新关系矩阵的新关系矩阵集合/>(上述算法中的步骤3-7)，并基于所述新关系矩阵集合/>来更新当前关系矩阵候选的集合/>中的关系矩阵候选(上述算法中的步骤8-步骤12)。

这里，所述变异操作可以是以预定概率(例如，0.05)将从当前关系矩阵候选的集合中选择的关系矩阵候选g中的每个块的值变异为其他块值，以生成新关系矩阵g_new(上述算法中的步骤4)。所述交叉操作可首先从当前关系矩阵候选的集合/>中选择两个关系矩阵候选g_a,g_b，并使新关系矩阵g_new中的每个块复用与所述两个关系矩阵候选之一的对应块(上述算法中的步骤5)。这里，所述两个关系矩阵候选之一被选择进行复用的概率可以是相等的，均为0.5。

当通过变异操作/交叉操作产生的新关系矩阵g_new满足上述筛选条件时，可将该新关系矩阵g_new添加到所述新关系矩阵集合/>(上述算法中的步骤6)。

这里，如以上算法所示，可多次重复执行变异操作或交叉操作来生成所述新关系矩阵集合直到所述新关系矩阵集合/>中包括的关系矩阵的数量达到所述预设数量N为止(上述算法中的步骤7)。

之后，关系矩阵搜索装置120可基于所述新关系矩阵集合中的新关系矩阵来更新当前关系矩阵候选的集合中的关系矩阵候选。

具体地，关系矩阵搜索装置120可使用预设预测器来获得所述新关系矩阵集合中的每个新关系矩阵的性能，并选择性能最高的第三数量(即，上述算法中的M个)的新关系矩阵来形成M个对应的评分函数(例如，上述算法中的评分函数f_g，所述M个新关系矩阵中的每一个可形成一个对应的评分函数)(上述算法中的步骤8)。这里，所述预测器/>是用于预测与关系矩阵对应的评分函数的性能的预测模型，可基于使用预测器/>对与关系矩阵对应的评分函数的性能预测结果来对关系矩阵的性能进行估计和排序。

然后，关系矩阵搜索装置120可基于所述M个评分函数分别对知识图谱任务的嵌入模型进行训练(上述算法中的步骤9)，并分别对经过训练的各个嵌入模型进行估计以确定所述M个评分函数的对应模型性能(上述算法中的步骤10)。

之后，关系矩阵搜索装置120可基于所述M个评分函数的对应模型性能，利用所述M个新关系矩阵来更新所述关系矩阵候选的集合(上述算法中的步骤11)。这里，仅作为示例，例如，如果所述M个评分函数中有一个评分函数的模型性能大于与当前关系矩阵候选的集合/>中的最差关系矩阵对应的评分函数的模型性能，则可使用与该一个评分函数对应的关系矩阵替换所述最差关系矩阵，如果所述M个评分函数中有两个评分函数的模型性能大于与当前关系矩阵候选的集合/>中的最差的两个关系矩阵对应的评分函数的模型性能，则可使用与该两个评分函数对应的关系矩阵替换所述最差的两个关系矩阵，以此类推，从而实现对关系矩阵候选的集合/>的更新。

此外，在实现对关系矩阵候选的集合的更新时，关系矩阵搜索装置120还可将所述M个新关系矩阵及其对应模型性能存储在预设记录集合/>中(上述算法中的步骤12)，并基于所述预设记录集合/>中存储的关系矩阵及其对应模型性能来更新所述预测器/>(上述算法中的步骤13)。

在本发明的实施例中，所述预测器可被设计为使得性能好的预测候选比性能坏的预测候选获得更高的性能排序(原则1)，并且能够基于少量样本进行学习(原则2)。

具体说来，对于原则1，这意味着针对关系矩阵g(r)提取的特征与评分函数的质量密切相关，应容易构建(不依赖于r的值)。而对于原则2，则应限制特征的数量。

基于上述原则，在本发明的示例性实施例中，所述预测器能够基于提取的特征识别关系矩阵g(r)的对称性和/或反对称性，并对不具有对称性及反对称性的块矩阵对应的评分函数给予低预测，即，所述预测器/>被设计为使用具有对称相关特征(SRF，symmetric-related feature)的输入。

然而应该理解，以上实施例中使用的评分函数仅是示例，本申请不限于。在本发明的示例性实施例中，所述函数还可以是与关系嵌入向量相关(或使用关系嵌入向量)的其他类型的函数。

仅作为示例，所述特定知识图谱任务可以是多跳预测任务，该任务中的多跳查询可被定义为/> L是该查询的长度并且L≥1，e₀是该查询的开始实体，e_？是该查询的预测目标实体，∧是连接(conjunction)运算，并且e₁,…,e_L-1是将所述连接运算连接起来的中间实体，，r₁,…,r_L是该查询所涉及的关系。此时，所述函数可以是用于预测查询/>的得分的评分函数其中/>是与关系r_t的关系嵌入向量r_t对应的关系矩阵，1≤t≤L。在本发明的示例性实施例中，可在搜索空间中为所述L个关系矩阵搜索共有的最优关系矩阵形式(即，所述L个关系矩阵使用相同的关系矩阵结构)，然后基于使用该优化关系矩阵形式的所述评分函数来训练该知识图谱任务的嵌入模型。

又例如，所述特定知识图谱任务也可以是结点分类任务，并且所述函数可以是结点表示函数其中，/>是结点实体v的邻居结点的集合并且/>是针对输入的邻居结点关系对(u，r)的消息函数，/>是结点实体v在第l层的表示，/>是结点实体v在第l+1层的表示，/>是结点实体u在第l层的表示，并且/>是结点实体v与结点实体u之间的关系r在第l层的表示，g(r^(l))是与关系r在第l层的关系嵌入向量r^(l)对应的关系矩阵。在本发明的示例性实施例中，可在搜索空间中为该任务的嵌入模型中所涉及的上述关系矩阵搜索共有的最优关系矩阵形式(即，这些关系矩阵使用相同的关系矩阵结构)，然后基于使用该优化关系矩阵形式的上述结点表示函数来训练该知识图谱任务的嵌入模型。

在确定了所需的优化关系矩阵之后，嵌入模型训练装置130可基于使用所述优化关系矩阵的所述函数(例如，上述评分函数)来训练所述特定知识图谱任务的嵌入模型，并且表示装置140可利用所述嵌入模型获得所述特定知识图谱任务的嵌入表示。

此外，尽管在图1中没有示出，但根据本公开的示例性实施例的知识图谱嵌入系统200还可包括：机器学习模型训练单元(未示出)，用于基于获得的所述特定知识图谱任务的嵌入表示训练机器学习模型，得到用于执行关系检索、语义检索、智能检索、智能推荐、智能问答、个性化推荐、多跳预测、结点分类、内容分发中的至少一项的目标机器学习模型；以及预测单元(未示出)，用于利用所述目标机器学习模型，执行预测任务，其中，所述预测任务包括关系检索、语义检索、智能检索、智能推荐、智能问答、个性化推荐、多跳预测、结点分类、内容分发中的至少一项。

图2是示出根据本公开的示例性实施例的知识图谱嵌入方法的流程图。

如图2所示，在步骤S210，可通过上述搜索空间构建装置110构建针对知识图谱嵌入模型的关系矩阵的搜索空间。这里，关系矩阵可指示关系嵌入向量中的各个元素的矩阵分布，并且所述搜索空间可包括多种关系矩阵，。

在步骤S220，关系矩阵搜索装置120可针对特定知识图谱任务的使用关系矩阵的函数，在所述搜索空间中搜索对应优化关系矩阵候选的集合，并在所述优化关系矩阵候选的集合中确定与所述函数对应的优化关系矩阵。具体地讲，在步骤S220，关系矩阵搜索装置120可首先在所述搜索空间中确定第一数量的关系矩阵作为初始关系矩阵候选的集合，然后通过对初始关系矩阵候选的集合中的关系矩阵候选进行至少一次迭代更新操作来获得所述优化关系矩阵候选的集合。在本发明的示例性实施例中，在每次迭代更新操作中可通过对当前关系矩阵候选的集合中的关系矩阵候选执行变异操作或交叉操作来生成包括第二数量的新关系矩阵的新关系矩阵集合，并基于所述新关系矩阵集合来更新当前关系矩阵候选的集合中的关系矩阵候选。这里，所述变异操作是指以预定概率将从当前关系矩阵候选的集合中选择的关系矩阵候选中的每个块的值变异为其他块值，以生成新关系矩阵。所述交叉操作可包括：从当前关系矩阵候选的集合中选择两个关系矩阵候选，并使新关系矩阵中的每个块复用所述两个关系矩阵候选之一的对应块。

之后，在步骤S230，嵌入模型训练装置130可基于使用所述优化关系矩阵的所述函数来训练所述特定知识图谱任务的嵌入模型。

最后，在步骤S240，可由表示装置140利用所述嵌入模型获得所述特定知识图谱任务的嵌入表示。

以上已结合图1详细描述了根据本公开的示例性实施例的知识图谱嵌入系统200的上述各个组成元件所执行的详细操作的具体过程，因此为了简明，在此将不再赘述。

此外，根据本公开的示例性实施例的知识图谱嵌入方法还可基于在步骤S240获得的所述特定知识图谱任务的嵌入表示训练机器学习模型，得到用于执行关系检索、语义检索、智能检索、智能推荐、智能问答、个性化推荐、多跳预测、结点分类、内容分发中的至少一项的目标机器学习模型，并且可利用所述目标机器学习模型，执行预测任务，其中，所述预测任务包括关系检索、语义检索、智能检索、智能推荐、智能问答、个性化推荐、多跳预测、结点分类、内容分发中的至少一项。

也就是说，本公开的示例性实施例的知识图谱嵌入方法和系统可被应用于各种领域，例如关系检索、语义检索、智能检索、智能推荐、智能问答、个性化推荐、反欺诈、多跳预测、结点分类、内容分发等。

仅作为示例，在根据本公开的示例性实施例的知识图谱嵌入方法和系统的各种应用场景之中，例如，对于检索(诸如关系检索、语义检索、智能等)，可通过输入两个关键词来检索它们之间的关系或检索相应的另一实体，例如，输入(北京中国)可检索出它们之间的关系为“首都”(即，北京是中国的首都)，或者，输入(母亲张三)可检索出另一实体“李四”(李四是张三的母亲)。

例如，对于智能问答，输入“中国的首都是哪里？”则能准确返回“北京”，由此可通过知识图谱真正理解了用户的意图。

例如，对于反欺诈，当将借款人(实体)的信息加入到知识图谱中时，通过读取借款人与知识图谱中的其他人之间的关系，或者是他们共享的信息是否一致，可判断是否存在欺诈风险。

例如，对于智能推荐(例如，个性化推荐)，可向具有相似的关系的三元组的实体推荐相似的内容。例如，对于(张三学生A高中)(即，张三是A高中的学生)，可基于知识图谱中的其他A高中的学生的信息，向张三进行推荐。

在知识图谱的上述不同应用中，判断知识图谱是否得到了适当的应用的评价指标也各不相同。例如，针对搜索应用，其评价指标通常是搜索的全面率和准确率，对于反欺诈，其评价指标通常是信用度、欺诈概率等，而对于智能问答和智能推荐，其评价指标则是满意度或准确率，等等。因此，通常根据知识图谱嵌入模型的不同应用场景来确定其评价指标并由此设计对应的评分函数，以便能够利用更好的评分函数来使用训练出更好的知识图谱的嵌入模型。根据本发明的示例性实施例搜索出的评分函数在其搜索过程中能够自动结合这样的评价指标找到最佳评分函数模型，消除了人工设计评分函数的不便之处。此外，由于关系矩阵的搜索空间可涵盖所有可能的关系矩阵形式，有利于扩大搜索范围从而为特定知识图谱任务找出更好的评分函数。

通过应用根据本发明的示例性实施例的知识图谱嵌入方法和系统，能够自动搜索给定知识图谱的评分函数。此外，由于在搜索过程中使用了利用专门设计的对称相关特征的预测器来针对评分函数进行预测，因此能够避免对差的评分函数进行训练，使得能够在准确地获得候选评分函数的表现力的同时减少关于评分函数的训练时间，加速搜索进程。

此外，除了上述评分函数以外，本发明的示例性实施例的知识图谱嵌入方法和系统还能够被类似地应用于搜索给定知识图谱任务的涉及关系的其他函数，由此能够拓展了应用领域并更好地完成给定知识图谱任务。

以上已参照图1至图2描述了根据本公开的示例性实施例的知识图谱嵌入方法和系统。然而，应理解的是：附图中示出的装置和系统可被分别配置为执行特定功能的软件、硬件、固件或上述项的任意组合。例如，这些系统、装置可对应于专用的集成电路，也可对应于纯粹的软件代码，还可对应于软件与硬件相结合的模块。此外，这些系统或装置所实现的一个或多个功能也可由物理实体设备(例如，处理器、客户端或服务器等)中的组件来统一执行。

此外，上述方法可通过记录在计算机可读存储介质上的指令来实现，例如，根据本申请的示例性实施例，可提供一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行以下步骤：构建针对知识图谱嵌入模型的关系矩阵的搜索空间，其中，关系矩阵指示关系嵌入向量中的各个元素的矩阵分布，并且所述搜索空间包括多种关系矩阵；针对特定知识图谱任务的使用关系矩阵的函数，在所述搜索空间中搜索对应优化关系矩阵候选的集合，并在所述优化关系矩阵候选的集合中确定与所述函数对应的优化关系矩阵；基于使用所述优化关系矩阵的所述函数来训练所述特定知识图谱任务的嵌入模型；以及利用所述嵌入模型获得所述特定知识图谱任务的嵌入表示。

上述计算机可读存储介质中存储的指令可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，应注意，所述指令还可用于执行除了上述步骤以外的附加步骤或者在执行上述步骤时执行更为具体的处理，这些附加步骤和进一步处理的内容已经在参照图1至图2进行相关方法的描述过程中提及，因此这里为了避免重复将不再进行赘述。

应注意，根据本公开的示例性实施例的知识图谱嵌入系统可完全依赖计算机程序或指令的运行来实现相应的功能，即，各个装置在计算机程序的功能架构中与各步骤相应，使得整个系统通过专门的软件包(例如，lib库)而被调用，以实现相应的功能。

另一方面，当图1所示的系统和装置以软件、固件、中间件或微代码实现时，用于执行相应操作的程序代码或者代码段可以存储在诸如存储介质的计算机可读介质中，使得至少一个处理器或至少一个计算装置可通过读取并运行相应的程序代码或者代码段来执行相应的操作。

例如，根据本申请示例性实施例，可提供一种包括至少一个计算装置和至少一个存储指令的存储装置的系统，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行下述步骤：构建针对知识图谱嵌入模型的关系矩阵的搜索空间，其中，关系矩阵指示关系嵌入向量中的各个元素的矩阵分布，并且所述搜索空间包括多种关系矩阵；针对特定知识图谱任务的使用关系矩阵的函数，在所述搜索空间中搜索对应优化关系矩阵候选的集合，并在所述优化关系矩阵候选的集合中确定与所述函数对应的优化关系矩阵；基于使用所述优化关系矩阵的所述函数来训练所述特定知识图谱任务的嵌入模型；以及利用所述嵌入模型获得所述特定知识图谱任务的嵌入表示。

具体说来，上述系统可以部署在服务器或客户端中，也可以部署在分布式网络环境中的节点上。此外，所述系统可以是PC计算机、平板装置、个人数字助理、智能手机、web应用或其他能够执行上述指令集合的装置。此外，所述系统还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。另外，所述系统的所有组件可经由总线和/或网络而彼此连接。

这里，所述系统并非必须是单个系统，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。所述系统还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子装置。

在所述系统中，所述至少一个计算装置可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，所述至少一个计算装置还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。计算装置可运行存储在存储装置之一中的指令或代码，其中，所述存储装置还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，所述网络接口装置可采用任何已知的传输协议。

存储装置可与计算装置集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储装置可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储装置和计算装置可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得计算装置能够读取存储在存储装置中的指令。

以上描述了本申请的各示例性实施例，应理解，上述描述仅是示例性的，并非穷尽性的，本申请不限于所披露的各示例性实施例。在不偏离本申请的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。因此，本申请的保护范围应该以权利要求的范围为准。

Claims (12)

1.一种知识图谱学习方法，所述方法包括：

构建针对知识图谱嵌入模型的关系矩阵的搜索空间，其中，关系矩阵指示关系嵌入向量中的各个元素的矩阵分布，并且所述搜索空间包括多种关系矩阵；

针对特定知识图谱任务使用的关系矩阵的函数，在所述搜索空间中搜索对应优化关系矩阵候选的集合，并在所述优化关系矩阵候选的集合中确定与所述函数对应的优化关系矩阵；

基于使用所述优化关系矩阵的所述函数来训练所述特定知识图谱任务的嵌入模型；以及

利用所述嵌入模型获得所述特定知识图谱任务的嵌入表示；

基于所述嵌入表示训练机器学习模型，得到目标机器学习模型；

利用所述目标机器学习模型，执行预测任务，其中，所述预测任务包括关系检索、语义检索、智能检索、智能推荐、智能问答、个性化推荐、多跳预测、结点分类、内容分发中的至少一项；

其中，搜索优化关系矩阵候选的集合的步骤包括：

在所述搜索空间中确定第一数量的关系矩阵作为初始关系矩阵候选的集合，通过对初始关系矩阵候选的集合中的关系矩阵候选进行至少一次迭代更新操作来获得所述优化关系矩阵候选的集合，

其中，在每次迭代更新操作中通过对当前关系矩阵候选的集合中的关系矩阵候选执行变异操作或交叉操作来生成包括第二数量的新关系矩阵的新关系矩阵集合，并基于所述新关系矩阵集合来更新当前关系矩阵候选的集合中的关系矩阵候选；

其中，所述关系矩阵g(r)是与关系嵌入向量r对应的K×K块矩阵，其中，[g(r)]_ij＝diag(a_ij)，[g(r)]_ij表示关系矩阵g(r)中的第i行第j列的块，a_ij∈{0，±r₁，...，±r_K}，r₁至r_K是通过将关系嵌入向量r分割为K个子嵌入向量而获得的，1≤i≤K，1≤j≤K，并且i、j和K是正整数；

所述变异操作包括：以预定概率将从当前关系矩阵候选的集合中选择的关系矩阵候选中的每个块的值变异为其他块值，以生成新关系矩阵，

所述交叉操作包括：从当前关系矩阵候选的集合中选择两个关系矩阵候选，并使新关系矩阵中的每个块复用所述两个关系矩阵候选之一的对应块；

其中，基于所述新关系矩阵集合来更新当前关系矩阵候选的集合中的关系矩阵候选的步骤包括：

使用预设预测器来获得所述新关系矩阵集合中的每个新关系矩阵的性能，并选择性能最高的第三数量的新关系矩阵以形成分别对应的第三数量个所述函数；

基于所述第三数量个所述函数分别对所述特定知识图谱任务的嵌入模型进行训练，并对经过训练的各个嵌入模型进行估计以确定所述第三数量个所述函数的对应模型性能；

基于所述第三数量个所述函数的对应模型性能，利用所述第三数量的新关系矩阵来更新所述关系矩阵候选的集合；

将第三数量的新关系矩阵及其对应模型性能存储在预设记录集合中，并基于所述预设记录集合中存储的关系矩阵及其对应模型性能来更新所述预测器。

2.如权利要求1所述的方法，其中，包括在所述新关系矩阵集合中的新关系矩阵满足以下约束条件(1)-(4)：

(1)在先前已被估计过模型性能的关系矩阵中不存在与所述新关系矩阵等效的关系矩阵；

(2)所述新关系矩阵中没有零行和/或零列；

(3)所述新关系矩阵包括关系嵌入向量r的所有K个子嵌入向量r₁至r_K；并且

(4)所述新关系矩阵中没有重复的行和/或列。

3.如权利要求2所述的方法，其中，所述初始关系矩阵候选的集合中的关系矩阵候选具有K个非零块。

4.如权利要求1所述的方法，其中，所述特定知识图谱任务是多跳预测任务，该任务中的多跳查询被定义为L是该查询的长度并且L≥1，e₀是该查询的开始实体，e_？是该查询的预测目标实体，∧是连接运算，e₁，...，e_L-1是将所述连接运算连接起来的中间实体，并且，r₁，...，r_L是该查询所涉及的关系，

其中，所述函数是用于预测查询的得分的评分函数其中，/>是与关系r_t的关系嵌入向量/>对应的关系矩阵，1≤t≤L。

5.如权利要求1所述的方法，其中，所述特定知识图谱任务是结点分类任务，并且所述函数是结点表示函数：

其中，是结点实体v的邻居结点的集合并且/>是针对输入的邻居结点关系对(u，r)的消息函数，/>是结点实体v在第l层的表示，/>是结点实体v在第l+1层的表示，/>是结点实体u在第l层的表示，并且/>是结点实体v与结点实体u之间的关系r在第l层的表示，

其中，g(r^(l))是与关系r在第l层的关系嵌入向量r^(l)对应的关系矩阵。

6.一种知识图谱学习系统，所述系统包括：

搜索空间构建装置，被配置为构建针对知识图谱嵌入模型的关系矩阵的搜索空间，其中，关系矩阵指示关系嵌入向量中的各个元素的矩阵分布，并且所述搜索空间包括多种关系矩阵；

关系矩阵搜索装置，被配置为针对特定知识图谱任务使用的关系矩阵的函数，在所述搜索空间中搜索对应优化关系矩阵候选的集合，并在所述优化关系矩阵候选的集合中确定与所述函数对应的优化关系矩阵；

嵌入模型训练装置，被配置为基于使用所述优化关系矩阵的所述函数来训练所述特定知识图谱任务的嵌入模型；以及

表示装置，被配置为利用所述嵌入模型获得所述特定知识图谱任务的嵌入表示；

机器学习模型训练单元，被配置为基于获得的所述特定知识图谱任务的嵌入表示训练机器学习模型，得到目标机器学习模型；

预测单元，被配置为利用所述目标机器学习模型，执行预测任务，其中，所述预测任务包括关系检索、语义检索、智能检索、智能推荐、智能问答、个性化推荐、多跳预测、结点分类、内容分发中的至少一项；

其中，关系矩阵搜索装置被配置为通过以下操作搜索优化关系矩阵候选的集合：

在所述搜索空间中确定第一数量的关系矩阵作为初始关系矩阵候选的集合，通过对初始关系矩阵候选的集合中的关系矩阵候选进行至少一次迭代更新操作来获得所述优化关系矩阵候选的集合，

其中，在每次迭代更新操作中，关系矩阵搜索装置通过对当前关系矩阵候选的集合中的关系矩阵候选执行变异操作或交叉操作来生成包括第二数量的新关系矩阵的新关系矩阵集合，并基于所述新关系矩阵集合来更新当前关系矩阵候选的集合中的关系矩阵候选；

其中，所述关系矩阵g(r)是与关系嵌入向量r对应的K×K块矩阵，其中，[g(r)]_ij＝diag(a_ij)，[g(r)]_ij表示关系矩阵g(r)中的第i行第j列的块，a_ij∈{0，±r₁，...，±r_K}，r₁至r_K是通过将关系嵌入向量r分割为K个子嵌入向量而获得的，1≤i≤K，1≤j≤K，并且i、j和K是正整数；

所述变异操作包括：以预定概率将从当前关系矩阵候选的集合中选择的关系矩阵候选中的每个块的值变异为其他块值，以生成新关系矩阵，

所述交叉操作包括：从当前关系矩阵候选的集合中选择两个关系矩阵候选，并使新关系矩阵中的每个块复用所述两个关系矩阵候选之一的对应块；

其中，关系矩阵搜索装置被配置为通过以下操作来更新当前关系矩阵候选的集合中的关系矩阵候选：

使用预设预测器来获得所述新关系矩阵集合中的每个新关系矩阵的性能，并选择性能最高的第三数量的新关系矩阵以形成分别对应的第三数量个所述函数；

基于所述第三数量个所述函数分别对所述特定知识图谱任务的嵌入模型进行训练，并对经过训练的各个嵌入模型进行估计以确定所述第三数量个所述函数的对应模型性能；

基于所述第三数量个所述函数的对应模型性能，利用所述第三数量的新关系矩阵来更新所述关系矩阵候选的集合；

将第三数量的新关系矩阵及其对应模型性能存储在预设记录集合中，并基于所述预设记录集合中存储的关系矩阵及其对应模型性能来更新所述预测器。

7.如权利要求6所述的系统，其中，包括在所述新关系矩阵集合中的新关系矩阵满足以下约束条件(1)-(4)：

(1)在先前已被估计过模型性能的关系矩阵中不存在与所述新关系矩阵等效的关系矩阵；

(2)所述新关系矩阵中没有零行和/或零列；

(3)所述新关系矩阵包括关系嵌入向量r的所有K个子嵌入向量r₁至r_K；并且

(4)所述新关系矩阵中没有重复的行和/或列。

8.如权利要求7所述的系统，其中，所述初始关系矩阵候选的集合中的关系矩阵候选具有K个非零块。

9.如权利要求6所述的系统，其中，所述特定知识图谱任务是多跳预测任务，该任务中的多跳查询被定义为L是该查询的长度并且L≥1，e₀是该查询的开始实体，e_？是该查询的预测目标实体，∧是连接运算，e₁，...，e_L-1是将所述连接运算连接起来的中间实体，并且，r₁，…，r_L是该查询所涉及的关系，

其中，所述函数是用于预测查询的得分的评分函数其中，/>是与关系r_t的关系嵌入向量/>对应的关系矩阵，1≤t≤L。

10.如权利要求6所述的系统，其中，所述特定知识图谱任务是结点分类任务，并且所述函数是结点表示函数：

其中，是结点实体v的邻居结点的集合并且/>是针对输入的邻居结点关系对(u，r)的消息函数，/>是结点实体v在第l层的表示，/>是结点实体v在第l+1层的表示，/>是结点实体u在第l层的表示，并且/>是结点实体v与结点实体u之间的关系r在第l层的表示，

其中，g(r^(l))是与关系r在第l层的关系嵌入向量r^(l)对应的关系矩阵。

11.一种计算机可读存储介质，其中，所述计算机可读存储介质用于存储指令，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行如权利要求1至5中的任一权利要求所述的方法。

12.一种知识图谱学习系统，其中，所述知识图谱学习系统包括至少一个计算装置和至少一个存储指令的存储装置，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行如权利要求1至5中的任一权利要求所述的方法。