CN106777331A - 知识图谱生成方法及装置 - Google Patents

Abstract

本发明提供一种知识图谱生成方法及装置，属于计算机技术领域。该方法包括：从至少两个数据源中获取每一个数据源对应的元事件信息；在每一个数据源对应的元事件信息中抽取元事件信息对应的预设信息，预设信息包括实体及其属性；对预设信息进行关联融合，生成知识图谱。本发明提供的知识图谱生成方法及装置，提高了用户获取信息的效率。

Description

知识图谱生成方法及装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种知识图谱生成方法及装置。

背景技术

随着互联网的迅速发展，人们获取信息和知识的途径越来越多样化，但是海量的数据散布于互联网的每一个角落，这给用户获取真正所需的信息带来了很大的障碍。

目前，新闻领域、社交媒体事件检测领域多关注单个事件或单纯的人物关系，对于一般事件与事件，人物与事件的关系往往需要人工编辑整理(例如新闻门户网站的专题梳理)，多数情况下用户搜索相关事件或新闻时返回的结果仍是一个个高冗余、低精度的独立网页，在查全率和查准率方面均存在较大问题，用户往往需要花费更多时间浏览查找想要的信息和知识。

因此，采用现有的数据处理及信息检索方式，使得用户获取信息的效率不高。

发明内容

本发明提供一种知识图谱生成方法及装置，以提高用户获取信息的效率。

本发明实施例提供一种知识图谱生成方法，包括：

从至少两个数据源中获取所述每一个数据源对应的元事件信息；

在所述每一个数据源对应的元事件信息中抽取所述元事件信息对应的预设信息，所述预设信息包括实体及其属性；

对所述预设信息进行关联融合，生成知识图谱。

在本发明一实施例中，所述从至少两个数据源中获取所述每一个数据源对应的元事件信息，包括：

从至少两个数据源中获取所述每一个数据源对应的元事件的文本数据；

从所述元事件的文本数据中提取所述元事件信息。

在本发明一实施例中，所述在所述每一个数据源对应的元事件信息中抽取所述元事件信息对应的预设信息，包括：

从所述每一个数据源对应的元事件信息中获取所述元事件信息对应的结构化数据；

从所述元事件信息对应的结构化数据中抽取所述元事件信息对应的预设信息。

在本发明一实施例中，所述每一个数据源对应的元事件信息中获取所述元事件信息对应的结构化数据之前，还包括：

对所述每一个数据源对应的元事件信息进行结构化处理；所述结构化处理为下述至少一种处理：

命名实体识别处理；

关键词提取处理；

主题摘要处理；

主题分类处理。

在本发明一实施例中，所述对所述预设信息进行关联融合，包括：

确定所述每一个数据源的可信度；

根据所述每一个数据源的可信度对所述预设信息进行关联融合。

在本发明一实施例中，所述对所述预设信息进行关联融合之后，还包括：

存储和更新所述知识图谱。

本发明实施例还提供一种知识图谱生成装置，包括：

获取单元，用于从至少两个数据源中获取所述每一个数据源对应的元事件信息；

抽取单元，用于在所述每一个数据源对应的元事件信息中抽取所述元事件信息对应的预设信息，所述预设信息包括实体及其属性；

生成单元，用于对所述预设信息进行关联融合，生成知识图谱。

在本发明一实施例中，所述获取单元，具体用于从至少两个数据源中获取所述每一个数据源对应的元事件的文本数据；从所述元事件的文本数据中提取所述元事件信息。

在本发明一实施例中，所述抽取单元，具体用于从所述每一个数据源对应的元事件信息中获取所述元事件信息对应的结构化数据；从所述元事件信息对应的结构化数据中抽取所述元事件信息对应的预设信息。

在本发明一实施例中，还包括：

处理单元，用于对所述每一个数据源对应的元事件信息进行结构化处理；所述结构化处理为下述至少一种处理：

命名实体识别处理；

关键词提取处理；

主题摘要处理；

主题分类处理。

本发明实施例提供的知识图谱生成方法及装置，通过从至少两个数据源中获取每一个数据源对应的元事件信息；在每一个数据源对应的元事件信息中抽取元事件信息对应的预设信息，预设信息包括实体及其属性；对预设信息进行关联融合，生成知识图谱，从而将至少两个数据源中的信息融合起来，提高了用户获取信息的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种知识图谱生成方法的流程示意图；

图2为本发明实施例提供的另一种知识图谱生成方法的流程示意图；

图3为本发明实施例提供的再一种知识图谱的示意图；

图4为本发明实施例提供的一种预设信息的获取方法的示意图；

图5为本发明实施例提供的一种预设信息关联融合的示意图；

图6为本发明实施例提供的一种知识图谱生成装置的结构示意图；

图7为本发明实施例提供的另一种知识图谱生成装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

图1为本发明实施例提供的一种知识图谱生成方法的流程示意图，该知识图谱生成方法可以由知识图谱生成装置执行，示例的，该知识图谱生成装置可以独立设置，也可以集成在处理器中。请参见图1所示，该知识图谱生成方法可以包括：

S101、从至少两个数据源中获取每一个数据源对应的元事件信息。

示例的，至少两个数据源的个数可以为2个，可以为3个，也可以为4个，当然，也可以为其他值，具体可以根据实际需要进行设置，在此，对于至少两个数据源的个数，本发明实施例不做具体限制。

S102、在每一个数据源对应的元事件信息中抽取元事件信息对应的预设信息。

其中，预设信息包括实体及其属性。可选的，在本发明实施例中，预设信息也可以根据实际需要包含其他信息，本发明实施例只是以预设信息包括事件、人物实体及其属性为例进行说明，但并不代表本发明仅局限于此。进一步地，实体是指命名实体词和事件名等；属性是指命名实体修饰的名词，如人物年龄、性别，事件时间、地点等。

S103、对预设信息进行关联融合，生成知识图谱。

在获取到每一个数据源的元事件信息对应的预设信息之后，就可以该至少两个数据源对应的预设信息进行关联融合，补充实体之间关系及实体与属性间关系，以生成知识图谱。由此可见，本发明实施例提供的知识图谱生成方法，通过对多数据源信息关联融合，不仅可以有效避免单数据源造成的属性缺失和误差，从而完善事件信息，提高了事件信息的可信度；而且进一步提高了用户获取信息的效率。

本发明实施例提供的知识图谱生成方法，通过从至少两个数据源中获取每一个数据源对应的元事件信息；在每一个数据源对应的元事件信息中抽取元事件信息对应的预设信息，预设信息包括实体及其属性；对预设信息进行关联融合，生成知识图谱，从而将至少两个数据源中的信息融合起来，提高了用户获取信息的效率。

基于图1对应的实施例，在图1对应的实施例的基础上，进一步地，请参见图2所示，图2为本发明实施例提供的另一种知识图谱生成方法的流程示意图，该知识图谱生成方法还可以包括：

S201、从至少两个数据源中获取每一个数据源对应的元事件的文本数据。

示例的，在本发明实施例中，以至少两个数据源如微博、新闻及百科三个为例，当然，本发明实施例只是以至少两个数据源如微博、新闻及百科三个为例进行说明，但并不代表本发明实施例仅局限于此。请参见图3所示，图3为本发明实施例提供的再一种知识图谱的示意图。具体为：可以分别从微博、新闻及百科三个数据源中获取元事件(即元事件发现)，之后再进行预设信息提取，将提取之后的预设信息进行事件融合及关联，最后将形成的事件人物知识存储在图数据库中。

对于事件领域，由于微博存在字数限制，所以单条微博所包含的内容往往比较精炼，而新闻网网站的报道则丰富而详细，百科则存在时效性较差，覆盖面较窄但是准确度和可靠度高，在获取该三个数据对应的元事件的文本数据时，可以通过对微博数据、新闻数据及百科数据进行持续有针对性的采集，从而获取到该三个数据对应的元事件的文本数据。

S202、从元事件的文本数据中提取元事件信息。

在获取到该三个数据对应的元事件的文本数据之后，就可以利用聚类技术检测微博中提到的微博事件和新闻网站中报道的新闻事件，并与百科数据进行比对，筛选得到可信度较高的元事件信息。

具体的，在利用诸如聚类等技术检测出微博事件以及大量相关微博之后，选取利用微博中提到的关键句找到描述相关度最高的新闻报道，这样便可以筛选描述元事件信息的相关微博数据集∑weibo和新闻数据集∑news；由于百科往往由人工后期编辑，所以新发生的事件可能无法及时找到其相关百科数据，但一些重大突发事件在一段时间后会有较为详细整理，这部分内容∑baike需要加入事件更新中。

S203、对每一个数据源对应的元事件信息进行结构化处理。

其中，结构化处理为下述至少一种处理：命名实体识别处理；关键词提取处理；主题摘要处理；主题分类处理。

可选的，在本发明实施例中，可以根据每一个数据源的数据类型确定是否对每一个数据源对应的元事件信息进行结构化处理。示例的，在获取到元事件信息的三个数据集∑weibo、∑news及∑baike之后，可以将元事件信息作为一个实体，使用属性来刻画实体特性，每个属性以“<属性，值>对的方式来表示。由于百科本身在爬取时便可保存为“实体-属性-属性值”的结构化数据，因此，可以无需对该百科对应的元事件信息进行结构化处理。而从微博和新闻站点中提取的元事件信息为非结构化数据，因此，需要通过命名实体识别处理、关键词提取处理、主题摘要处理及主题分类处理对元事件信息进行结构化处理。示例的，关键词提取处理可以通过TF-IDF技术进行处理；主题摘要处理可以通过LDA技术进行处理；主题分类处理可以通过SVM技术进行处理，当然，本发明实施例只是以此为例进行说明，但并不代表本发明仅局限于此。

示例的，在本发明实施例中，请参见图4所示，图4为本发明实施例提供的一种预设信息的获取方法的示意图。对于微博和新闻事件而言，可以先通过命名实体识别处理和实体属性识别处理完成时间、地点、参与人、关键词、时间简述、时间类型等相关预设信息的提取。实体属性提取可以包括Hashtag话题标签识别处理，TF-IDF关键词处理、LDA主题处理及SVM分类处理等。

S204、从每一个数据源对应的元事件信息中获取元事件信息对应的结构化数据。

在进行结构化处理之后，就可以从每一个数据源对应的元事件信息中获取该元事件信息对应的结构化数据，以便从元事件信息对应的结构化数据中抽取该元事件信息对应的预设信息。

S205、从元事件信息对应的结构化数据中抽取元事件信息对应的预设信息。

其中，预设信息可以包括实体及其属性。可选的，在本发明实施例中，预设信息也可以根据实际需要包含其他信息，本发明实施例只是以预设信息包括实体及其属性为例进行说明，但并不代表本发明仅局限于此。

S206、确定每一个数据源的可信度。

在对获取到的每一个数据源的预设信息进行关联融合时，由于每一个数据源的预设信息之间可能存在误差，因此，可以先确定每一个数据源的可信度，从而防止在数据源的预设信息之间存在误差时，可以以可靠度最高的数据源的预设信息作为最终的预设信息。

示例的，在本发明实施例中，可以认为百科的可信度大于新闻的可信度，新闻的可信度大于微博的可信度。当然，本发明只是以此为例进行说明，但并不代表本发明仅局限于此。

S207、根据每一个数据源的可信度对预设信息进行关联融合，生成知识图谱。

示例的，在根据每一个数据源的可信度对预设信息进行融合的过程中，首先是对事件属性进行合并，对于相同属性，可以直接合并；而当属性值存在误差时，选取数据源可信度最高的属性值作为最终的属性值。例如，若时间属性存在差异时，认为百科和新闻报道的时间更可信；其次，考虑实体对齐问题，如涉及到参与人微博提法为“川普”，新闻提法为“特朗普”，此时需要借助word2vec计算词汇距离、与百科数据对比等方法合并到正确人物实体，如在本发明实施例中，可以将参与人统一至“唐纳德·特朗普”。由此可见，通过多数据源信息融合，可以有效避免单数据源造成的属性缺失和误差，进一步完善事件信息，并且提高可信度。

在完成事件属性融合后，还要将事件、人物(组织、地点)进行关联，其中涉及到实体消歧问题。例如，事件参与人检测融合为“李娜”，但是百科人物“李娜”对应多个人物，此时需要将事件信息与百科词条信息进行距离计算，选取距离较近的词条进行关联，从而达到实体消歧的目的，提高了事件信息的准确性和可靠性。

示例的，在本发明实施例中，请参见图5所示，图5为本发明实施例提供的一种预设信息融合的示意图。在获取到微博、新闻及百科对应的预设信息之后，可以通过对实体对齐和实体消歧处理，从而对预设信息进行融合，以生成知识图谱。

由此可见，本发明实施例提供的知识图谱生成方法，通过根据每一个数据源的可信度对多个数据源对应的预设信息进行关联融合，生成知识图谱，不仅可以有效避免单数据源造成的属性缺失和误差，从而完善事件信息，提高了事件信息的可信度；而且进一步提高了用户获取信息的效率。

S208、存储和更新知识图谱。

在生成知识图谱之后，可以将该知识图谱的数据保存至图数据库中，并进行索引以方便查询和更新。图数据库善于处理大量复杂、互连接的数据，这也符合知识图谱的特性。示例的，在本发明实施例中，可以选取neo4j开源图数据库以实现高效的连接查询，具体在存储时，可以先创建节点，并为节点设置得到的属性；然后选取节点，为节点添加关系并标明关系方向。此外，可以利用ElasticSearch开源搜索引擎对实体关键字段进行索引，检索时通过ElasticSearch得到实体序号再到neo4j中取得相关实体及其关联实体信息，从而方便用户获取信息，提高了用户获取信息的效率。

图6为本发明实施例提供的一种知识图谱生成装置60的结构示意图，请参见图6所示，该只是图谱生成装置60可以包括：

获取单元601，用于从至少两个数据源中获取每一个数据源对应的元事件信息。

抽取单元602，用于在每一个数据源对应的元事件信息中抽取元事件信息对应的预设信息，预设信息包括实体及其属性。

生成单元603，用于对预设信息进行关联融合，生成知识图谱。

可选的，获取单元601，具体用于从至少两个数据源中获取每一个数据源对应的元事件的文本数据；从元事件的文本数据中提取元事件信息。

可选的，抽取单元602，具体用于从每一个数据源对应的元事件信息中获取元事件信息对应的结构化数据；从元事件信息对应的结构化数据中抽取元事件信息对应的预设信息。

可选的，该知识图谱生成装置60还包括处理单元604，请参见图7所示，图7为本发明实施例提供的另一种知识图谱生成装置60的结构示意图。

处理单元604，用于对每一个数据源对应的元事件信息进行结构化处理；结构化处理为下述至少一种处理：

命名实体识别处理；

关键词提取处理；

主题摘要处理；

主题分类处理。

本发明实施例所示的知识图谱生成装置60，可以执行上述方法实施例所示的技术方案，其实现原理以及有益效果类似，此处不再进行赘述。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种知识图谱生成方法，其特征在于，包括：

从至少两个数据源中获取所述每一个数据源对应的元事件信息；

在所述每一个数据源对应的元事件信息中抽取所述元事件信息对应的预设信息，所述预设信息包括实体及其属性；

对所述预设信息进行关联融合，生成知识图谱。

2.根据权利要求1所述的方法，其特征在于，所述从至少两个数据源中获取所述每一个数据源对应的元事件信息，包括：

从至少两个数据源中获取所述每一个数据源对应的元事件的文本数据；

从所述元事件的文本数据中提取所述元事件信息。

3.根据权利要求1或2所述的方法，其特征在于，所述在所述每一个数据源对应的元事件信息中抽取所述元事件信息对应的预设信息，包括：

从所述每一个数据源对应的元事件信息中获取所述元事件信息对应的结构化数据；

从所述元事件信息对应的结构化数据中抽取所述元事件信息对应的预设信息。

4.根据权利要求3所述的方法，其特征在于，所述每一个数据源对应的元事件信息中获取所述元事件信息对应的结构化数据之前，还包括：

对所述每一个数据源对应的元事件信息进行结构化处理；所述结构化处理为下述至少一种处理：

命名实体识别处理；

关键词提取处理；

主题摘要处理；

主题分类处理。

5.根据权利要求4所述的方法，其特征在于，所述对所述预设信息进行融合，包括：

确定所述每一个数据源的可信度；

根据所述每一个数据源的可信度对所述预设信息进行融合。

6.根据权利要求5所述的方法，其特征在于，所述对所述预设信息进行融合之后，还包括：

存储所述知识图谱。

7.一种知识图谱生成装置，其特征在于，包括：

获取单元，用于从至少两个数据源中获取所述每一个数据源对应的元事件信息；

抽取单元，用于在所述每一个数据源对应的元事件信息中抽取所述元事件信息对应的预设信息，所述预设信息包括实体及其属性；

生成单元，用于对所述预设信息进行关联融合，生成知识图谱。

8.根据权利要求7所述的装置，其特征在于，

所述获取单元，具体用于从至少两个数据源中获取所述每一个数据源对应的元事件的文本数据；从所述元事件的文本数据中提取所述元事件信息。

9.根据权利要求7或8所述的装置，其特征在于，

所述抽取单元，具体用于从所述每一个数据源对应的元事件信息中获取所述元事件信息对应的结构化数据；从所述元事件信息对应的结构化数据中抽取所述元事件信息对应的预设信息。

10.根据权利要求9所述的装置，其特征在于，还包括：

处理单元，用于对所述每一个数据源对应的元事件信息进行结构化处理；所述结构化处理为下述至少一种处理：

命名实体识别处理；

关键词提取处理；

主题摘要处理；

主题分类处理。