CN112668719A - 基于工程能力提升的知识图谱构建方法 - Google Patents

Abstract

本发明公开了基于工程能力提升的知识图谱构建方法，本发明通过构建工程教育领域知识图谱的方法，获取学生提升工程能力的一系列有效途径。在构建知识图谱的过程中，提出了一种基于Bilstm和CRF结合的命名实体识别方法，一种基于BERT模型的关系提取方法和一种基于预训练TransE模型的负三元组潜在正确概率知识推理算法。本发明将知识图谱以工程教育为起点向各项措施延伸进行可视化展示，可以更加清晰准确地显示出各条路径的内容。

Description

基于工程能力提升的知识图谱构建方法

技术领域

本发明属于工程教育领域，特别涉及一种基于工程能力提升的知识图谱构建方法。

背景技术

当前，在应对全球化的挑战和加强国家核心竞争力的背景下，大力培养卓越科技工程人 才成为了世界各国快速发展的必然要求，而工程教育作为培养卓越工程人才的核心领域，其 重要性也随之日益显现。工程教育发展与全球化发展相互促进，彼此影响。增强对国内外工 程教育领域的研究力度，快速掌握各类研究的热点，趋势和特征，对于促进我国工程教育的 建设和改革有着重大意义。

在工程教育教育领域，可以通过知识图谱来帮助学生获取提升工程能力的途径，提升学 生的工程能力水平。并且由于知识图谱是网状知识库，具有强大的表达能力，可以帮助学生 快速找到提升工程能力的有效途径，提高学习效率。因此，有效利用知识图谱能够帮助学生 进行有效的自主学习，实现工程能力的提升。

通过上述分析，为了增强国家的综合实力，培养更多优质的工程领域人才，我们需要获 取提升学生工程能力的有效途径，来培养更多高素质人才。有效的工程能力提升方法研究需 要有特定领域的知识库或知识图谱来提取特定信息作为知识基础支撑，就像专家需要有专业 领域的知识作为支撑一样，因此本发明将知识图谱引入工程教育领域，构建工程教育知识图 谱用于寻找提升工程能力的有效途径。通过抽取特定领域信息来构建知识图谱现已成为人工 智能的关键技术之一，己在自动问答、语义搜索、个性化推荐系统、内容分发等领域得到广 泛应用。信息提取的相关研究与应用的升温，是人工智能对于深刻理解数据与处理数据的迫 切需求所产生的必然结果，它的发展依赖于多项技术的交叉，涉及自然语言处理、语义网络、 数据库、文本分析等。特定领域知识图谱是通过文本分析、概念抽取、关系挖掘、本体构建 与推理、可视化等流程分析、构建、绘制特定领域知识的关系网络结构，并以友好的图形方 式呈现出来，具有一图胜千言的效果。知识图谱作为一种改进的知识组织方式，是实现知识 网络可视化有效载体。它更加直观易懂，更符合人类由表及里、由浅入深的认知规律。通过 知识图谱中结构化的知识，人们可以避免淹没在纷繁复杂的垃圾信息之中，避免信息过载， 直奔主题，掌握核心知识以及其关系网络，有利于深刻理解知识及其本质。所以，提升工程 能力的有效途径可以通过知识图谱进行查询，本发明将提升能力的有效路径进行可视化展示， 便于学生直观地寻找到有效方法，提升综合素质。

发明内容

经济社会的快速发展对学生的工程能力提出了更高的要求，高校趋同化的育人目标和课 程体系下所培养的工程后备军拉大了与社会需求的差距。因此，强化工程能力培养，寻找实 现工程提升的有效途径对于现代社会发展有着极其重要的作用。为了解决此问题，本发明提 出了基于工程能力提升的知识图谱构建系统，通过构建工程教育领域知识图谱，为国家培养 高素质工程人才提供更加直观和准确的有效途径。知识图谱的构建主要是从一些公开的结构 化、半结构化以及非结构化的数据中利用知识抽取技术获得实体、属性、关系这些知识要素， 再结合知识融合、知识推理等技术形成一个结构化的语义知识库。知识抽取是构建知识图谱 的基础，主要分为两个子任务：实体抽取和实体关系抽取。完成知识抽取工作后会采用知识 推理对获取的三元组数据进行补充和完善，完成完整的知识图谱构建工作。本发明提出将 BILSTM-CRF模型与BERT模型结合，提取工程教育领域数据实体关系，构建工程教育领域 的知识图谱。由于BILSTM可以捕捉句子更多的前后信息，并解决训练会有的梯度弥散或者 梯度消失问题，在命名实体识别过程中可以识别全部的实体，而CRF层可以在训练数据时自 动学习一些约束条件，从而保证最终预测结果的有效性，即可以将识别到的全部实体根据权 值判定其是否为有效的实体，提高命名实体识别的准确率。BERT模型可以增加词向量模型 泛化能力，充分描述字符级、词级、句子级甚至句间关系特征，并且易于进行迁移操作，在 进行实体关系提取的工程中可以根据上下文捕捉完整的关系链，对于本发明中工程教育领域 数据非常适用。

由于提取的数据总会有一些数据缺失，不会是绝对完备的数据，所以本发明提出使用知 识推理模型TransE对抽取的知识图谱数据进行补充和完善，实现知识图谱的不断更新。由于 传统的TransE模型随机替换头实体，尾实体或者关系实体生成负三元组的过程中可能会包含 正三元组问题，使得模型无法做出正确的推理。因此，本发明提出使用负三元组的潜在正确 概率，将随机替换头实体，尾实体或者关系实体而产生的负三元组按照其正确概率进行评分， 得分不同的负三元组对模型的训练权重也会有所不同。在进行模型训练时，将负三元组中接 近于正三元组评分的三元组权重降低，从而模型推理效果。

通过知识推理模型TransE对抽取的知识图谱数据进行补充和完善后，使用图形数据库 Neo4j将知识图谱数据进行储存，并进行可视化展示，以便学生可以直观地查看各项提升能 力路径，对于学生自身的工程能力提升和国家的人才培养计划起到至关重要的作用。

附图说明

图1是本发明知识图谱总体构建示意图。

图2是本发明命名实体识别和实体关系抽取示意图。

图3是本发明知识推理示意图。

图4是本发明基于工程能力提升的知识图谱构建的示例。

具体实施方式

以下将结合附图所示的具体实施方式对本发明进行详细描述。

图1是本发明构建知识图谱的总体流程图，如图1所示，为了获取工程教育领域提升工 程能力相关数据，使用网络爬虫工具爬取知网中工程教育领域论文摘要内容和百度百科工程 教育领域内容，首先将知网数据进行整理合并，得到提升工程能力相关的实体关系数据。然 后提出使用BILSTM-CRF模型与BERT模型结合，以知网中提升工程能力相关的实体关系数 据进行模型训练，对百度百科工程教育领域数据通过BILSTM-CRF模型进行命名实体识别后， 再进入BERT模型进行实体关系抽取，最后得出一系列可以实现学生工程能力提升的三元组 数据，完成知识图谱的构建工作。

但是，在知识图谱构建过程中会存在很多三元组的实体或者关系缺失，因此，会采用知 识推理对所构建的知识图谱进行实体关系的完善。TransE模型参数少、复杂度低并且在构建 大规模知识图谱中表现出了简单、高效的特点，因此本发明选择TransE模型对构建的知识图 谱三元组信息进行补充和完善。本发明针对TransE模型随机替换产生负三元组的过程中会有 产生正三元组的概率，提出了计算负三元组中潜在正三元组概率的方法进行知识推理过程， 通过这种方法，可以有效提升知识推理的信息补全结果。

图2是基于BILSTM-CRF和BERT融合的实体关系抽取流程示意图，如图2所示，包括：

步骤21，利用预训练或随机初始化的嵌入矩阵将句子中的每个字由one-hot向量映射为 低维稠密的字向量。并在输入下一层之前，设置dropout以缓解过拟合；

步骤22，自动提取句子特征，将一个句子的各个字的字嵌入序列作为双向LSTM各个时 间步的输入，再将前向LSTM输出的状态序列与反向LSTM的状态序列在各个位置输出的状 态进行按位置拼接；

步骤23，将向量映射到k维，k是标注集的标签数，从而得到自动提取的句子特征，记 作矩阵P。可以把P的每一维pi都视作将字xi分类到第j个标签的打分值，再对P进行Softmax 将各个位置独立进行k类分类，接下来接入CRF层进行标注；

步骤24，进行句子级的序列标注，CRF层的参数是一个(k+2)×(k+2)的矩阵A，A_ij表示 的是从第i个标签到第j个标签的转移得分，进而在为一个位置进行标注的时候可以利用此 前已经标注过的标签，之所以要加2是因为要为句子首部添加一个起始状态以及为句子尾部 添加一个终止状态。整个序列的打分等于各个位置的打分之和，而每个位置的打分由两部分 得到，一部分是由LSTM输出的pi决定，另一部分则由CRF的转移矩阵A决定，根据打分 结果对句子进行实体标注；

步骤25，使用BILSTM-CRF标注实体作为BERT模型的输入，经过BERT处理，将实 体词汇转换为词汇id，然后映射到词汇嵌入向量；

步骤26，经过多层Transformer的encoder编码，得到句子的编码向量，将编码序列的第 一个结果作为关系抽取的语义向量，在BERT得到了句子的语义表示向量后，再经过一层全 连接层；

步骤27，使用softmax函数计算关系概率，得到最终的提取关系结果；

图3是本发明知识推理的流程示意图，如图3所示，包括：

在人工构建的知识图谱过程中，三元组的知识表示形式无法有效地度量和利用实体间的 语义关联关系，所以需要知识推理对实体间的语义关系进行补全。TransE模型参数少、复杂 度低并且在构建大规模知识图谱中表现出了简单、高效的特点，因此本发明选择TransE模型 对构建的知识图谱三元组信息进行补充和完善。本发明使用的TransE模型核心是在一个三元 组(h,r,t)中，将关系r的向量表示视为从头实体向量到尾实体向量的翻译。通过三元组的 得分函数，可以将正负三元组分开。本发明采用的TransE算法得分函数为： f(h,r,t)＝||h+r-t||_1/2，其中h,t,r分别是头实体、关系和尾实体的向量表示，用L1或L2范 数衡量距离。得分函数在一定程度上可以衡量三元组的正确性，正三元组的得分应该接近于 0，而负三元组的得分越大，说明替换实体之前的正三元组的得分可能越接近0。

由于本发明中获得知识图谱的数据规模较小，无法被称为一个完备的知识图谱，其中存 在一定的三元组缺失。因此会导致算法中通过随机替换头实体或者尾实体来构成负三元组的 方法存在一定缺陷，因为这样构成的负三元组本质上其实可能是一个正三元组，这样的负三 元组的潜在正确概率在就会特别大，使得该负三元组与正三元组特别接近，无法区别。TransE 模型的得分公式为：f(h,r,t)＝||h+r-t||_1/2，其中h，r，t分别表示头实体、关系和尾实体的 向量表示，1和2分别表示L1范数和L2范数，正三元组得分接近于0，负三元组得分越大 越好。文本对TransE算法中的负三元组潜在正确概率做出修改，新算法中负三元组潜在正确 概率定义(CH)计算公式如下：

其中P(p_i)表示关系路径在知识图谱中 出现的概率，操作符*表示关系r_z和关系路径p_i共线。α是超参数。通过修改线性函数， 潜在正确概率值很大的的负三元组能够在一定程度上减小，与正三元组进行明显区分。

计算出所有正负三元组的得分以及负三元组潜在的正确概率后，需要通过最小化目标函 数来更新所有实体和关系的向量表示。本发明将负样本潜在正确概率加入TransE算法的目标 函数中：

其中σ为负三元组的潜在正 确概率，β为模型的超参数，正三元组和负三元组之间的区别越小，该负三元组的潜在正确 概率越大，而该负三元组的目标函数得分越小，所以使用负三元组在TransE模型上的得分作 为度量其潜在正确概率的标准。

所以本发明使用TransE模型首先进行随机替换知识图谱中的头实体，尾实体或者关系实 体生成负三元组，然后计算负三元组的潜在正确概率，并去除负三元组中潜在正确概率较大 的三元组，最后使用修正后的负三元组数据进行知识推理训练。。

图4是本发明基于工程能力提升的知识图谱构建的示例，如图4所示，包括：

提升学生工程能力从工程教育出发，以人才培养为研究重心，以教学改革为培养途径， 采用探究式教学的方法，包括创设实验情境，激发学生自主探究欲望；创设开放课堂，激发 学生自主探究潜能；进行适时地点拨，引导学生的探究方向；推动学生实现合作探究，训练 学生主动学习的能力；推动学生完成创新作业，激励学生实现主动学习。通过查询知识图谱 信息，我们可以找到有效的培养途径，实现学生工程能力地提升。知识图谱可以使我们直观 地获得所需要的信息，为培养学生提升自身工程能力提供了强有力地支持。

通过知识图谱，可以查找到通过各方面实现学生工程能力提升的途径，对于我国应对全 球化的挑战，加强国家核心竞争力，大力培养卓越科技工程人才的要求，提供了有效的途径。

应当理解，虽然本说明书根据实施方式加以描述，但是并非每个实施方式仅包含一个独 立的技术方案，说明书的这种叙述方式仅仅是为了清楚起见，本领域的技术人员应当将说明 书作为一个整体，各个实施方式中的技术方案也可以适当组合，按照本领域技术人员的理解 来实施。

以上所列出的一系列详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并 非用于限制本发明的保护范围，凡是未脱离发明技艺精神所作的等效实施方式或变更均应包 含在本发明的保护范围之内。

Claims (4)

1.基于工程能力提升的知识图谱构建方法，其特征在于：包括如下步骤：

步骤1、为获取工程教育领域提升工程能力相关数据，使用网络爬虫工具爬取知网中工程教育领域论文摘要内容和百度百科工程教育领域内容；

步骤2、将知网数据进行整理合并，得到提升工程能力相关的实体关系数据；使用BILSTM-CRF模型与BERT模型结合，以知网中提升工程能力相关的实体关系数据进行模型训练，对百度百科工程教育领域数据通过BILSTM-CRF模型进行命名实体识别后，进入BERT模型进行实体关系抽取；

步骤3、得出一系列实现学生工程能力提升的三元组数据，初步完成知识图谱的构建工作；

步骤4、在知识图谱构建过程中会存在很多三元组的实体或者关系缺失，采用基于预训练模型的负样本潜在正确概率知识推理算法对所构建的知识图谱进行实体关系的完善；

步骤5、使用图形数据库Neo4j将知识图谱数据进行储存，并进行可视化展示。

2.根据权利要求1所述的基于工程能力提升的知识图谱构建系统，其特征在于：为了获取工程教育领域提升工程能力相关数据，使用网络爬虫工具爬取知网中工程教育领域论文摘要内容和百度百科工程教育领域内容，将知网数据进行整理合并，得到提升工程能力相关的实体关系数据，作为接下来融合实体命名识别和实体关系抽取模型的训练集。

3.根据权利要求1所述的基于工程能力提升的知识图谱构建系统，其特征在于，所使用的基于BILSTM-CRF和BERT融合的实体关系抽取方法；该方法捕捉句子更多的前后信息，保证最终预测结果的有效性；包括，

步骤21，利用预训练或随机初始化的嵌入矩阵将句子中的每个字由one-hot向量映射为低维稠密的字向量；并在输入下一层之前，设置dropout以缓解过拟合；

步骤22，自动提取句子特征，将一个句子的各个字的字嵌入序列作为双向LSTM各个时间步的输入，再将前向LSTM输出的状态序列与反向LSTM的状态序列在各个位置输出的状态进行按位置拼接；

步骤23，将向量映射到k维，k是标注集的标签数，从而得到自动提取的句子特征，记作矩阵P；把P的每一维pi都视作将字xi分类到第j个标签的打分值，再对P进行Softmax将各个位置独立进行k类分类，接下来接入CRF层进行标注；

步骤24，进行句子级的序列标注，CRF层的参数是一个(k+2)×(k+2)的矩阵A，A_ij表示的是从第i个标签到第j个标签的转移得分，进而在为一个位置进行标注的时候利用此前已经标注过的标签，之所以要加2是因为要为句子首部添加一个起始状态以及为句子尾部添加一个终止状态；整个序列的打分等于各个位置的打分之和，而每个位置的打分由两部分得到，一部分是由LSTM输出的pi决定，另一部分则由CRF的转移矩阵A决定，根据打分结果对句子进行实体标注；

步骤25，使用BILSTM-CRF标注实体作为BERT模型的输入，经过BERT处理，将实体词汇转换为词汇id，然后映射到词汇嵌入向量；

步骤26，经过多层Transformer的encoder编码，得到句子的编码向量，将编码序列的第一个结果作为关系抽取的语义向量，在BERT得到了句子的语义表示向量后，再经过一层全连接层；

步骤27，使用softmax函数计算关系概率，得到最终的提取关系结果。

4.根据权利要求1所述的基于工程能力提升的知识图谱构建方法，其特征在于，使用的知识推理方法，选择TransE模型对构建的知识图谱三元组信息进行补充和完善；使用基于预训练模型的负样本潜在正确概率知识推理算法，具体操作过程是：使用TransE模型首先进行随机替换知识图谱中的头实体，尾实体或者关系实体生成负三元组，然后计算负三元组的潜在正确概率，并去除负三元组中潜在正确概率较大的三元组，最后使用修正后的负三元组数据进行知识推理训练；

TransE模型的得分公式为：f(h,r,t)＝||h+r-t||_1/2，其中h，r，t分别表示头实体、关系关系和尾实体的向量表示，1和2分别表示L1范数和L2范数；负三元组潜在正确概率定义(CH)计算公式如下：

其中P(p_i)表示关系路径在知识图谱中出现的概率，操作符*表示关系r_z和关系路径p_i共线；α是超参数；将得分公式和负样本潜在正确概率加入TransE算法的目标函数中：

其中σ为负三元组的潜在正确概率，β为模型的超参数。

Images