CN109657074A - 基于地址树的新闻知识图谱构建方法 - Google Patents

Abstract

本发明提供一种基于地址树的新闻知识图谱构建方法，包括：确定事件类新闻的数据模型中的实体和实体间的关系；其中所述实体至少包括地名；还包括以下的至少一种实体：事件、时间、详情；且所述实体间的关系至少包括以下的一种类型：发生关系、救助关系、时间关系；提取新闻中的实体以获取以下的至少一种实体集合：地名集合P，事件集合E，时间集合T，详情集合I；根据地名集合P构建地址树，其中所述地址树的每一节点为一个地址，且所述节点间的关系为地址之间的隶属关系；步骤4、基于地址树进行层次化的知识融合，构建知识图谱。

Description

基于地址树的新闻知识图谱构建方法

技术领域

本发明涉及数据处理技术领域，具体涉及一种基于地址树的新闻知识图谱构建方法。

背景技术

谷歌公司在2012年首次提出了知识图谱的概念。从信息检索过渡到语义检索，从关键词匹配、字符串模糊查找返回给用户一系列的文档信息过渡到语义检索返回给用户一张经过加工与推理的知识子图，知识图谱技术正是其基础与桥梁。目前知识图谱已被应用于金融、影视等多个领域，在科研和工程领域都成为研究热点。知识图谱的构建主要有两种方式，即自顶向下和自底向上。

早期的知识图谱构建主要是自顶向下的方式，即:从百科类网站等非常结构化的数据中提炼出本体，并将其中实体连接到知识库中形成知识图谱。例如，Freebase项目就是采用维基百科作为数据来源。

目前的知识图谱大多采用自底向上的方式进行构建；这种构建方式的数据来源主要是半结构甚至无结构的数据，经过实体识别、实体关系抽取等过程提取出候选知识单元。但在形成知识图谱时，由于实体指称项不完整并且其语义的多样性，需要进行实体消歧、共指消解等知识融合过程。

在新闻中，主体内容通常描述某地点发生了某事件，具体情况(详情)如何；而其中地点是一类重要的实体。面向新闻事件，采用自底向上的方式构建知识图谱时地名实体的融合问题就尤其突出。例如，从文本中抽取出“四川”和“四川省”、“四川阿坝州”和“阿坝州”，如何将这些实体进行融合是知识图谱领域需要解决的一个实际问题。但是，目前国内外对知识图谱的研究仍然面临着诸多的挑战，特别是对包含大量地名实体的知识进行构图的经验以及案例还较少。

发明内容

针对现有技术中存在的问题，本发明实施例要解决的技术问题是提出一种基于地址树的新闻知识图谱构建方法；能够利用知识要素中地名等数据自然存在的层次性，还原语料中蕴含的地址树信息，并以此为基础融合其他种类的知识要素，完成地理知识图谱的增量更新。

为了解决上述问题，本发明实施例提出了一种基于地址树的新闻知识图谱构建方法，包括：

步骤1、确定事件类新闻的数据模型中的实体和实体间的关系；其中所述实体至少包括地名；还包括以下的至少一种实体：事件、时间、详情；且所述实体间的关系至少包括以下的一种类型：

发生关系：用于描述实体地点和事件之间的二元关系；描述为三元组[地点，发生关系，事件]；

救助关系：用于描述事件发生后，获得救助的人数情况；描述为三元组[事件，救助关系，详情]；

时间关系：用于实体事件和时间之间的二元关系；描述为三元组[事件，时间关系，时间]；

步骤2、提取新闻中的实体以获取以下的至少一种实体集合：地名集合P，事件集合E，时间集合T，详情集合I；

步骤3、根据地名集合P构建地址树，其中所述地址树的每一节点为一个地址，且所述节点间的关系为地址之间的隶属关系；

步骤4、基于地址树进行层次化的知识融合，构建知识图谱。

其中，所述步骤3还包括：对地名集合P中的地名进行消歧；具体包括：

对地名集合P中的地名进行归一化处理以将其中的同一地名的不同称呼方式统一为同一地名。

其中，所述步骤3中的根据地名集合P构建地址树，具体包括：

步骤31、从地名集合P中确定根节点以形成基础地址树，该根节点为地名集合P中地理范围最大的节点；

步骤32、判断地名集合P中是否还有候选节点，如果没有则构建地址树完成；如果有则从地名集合P中提取一个候选节点；

步骤33、将其与当前的基础地址树中最底层的节点进行分析以确定候选节点是否为当前节点的下级地名；如果是则将该候选节点作为当前节点的下级节点；如果否则上移到上一层的节点并继续进行分析，直至找到该候选节点的上级节点；

步骤34、更新当前的基础地址树，然后将该候选节点从地名集合P中删除。

其中，所述步骤4具体包括：

步骤41、利用信息抽取技术从事件类新闻中提出符合本体定义的实体、实体间的关系，得到知识图谱的建图知识要素，形成候选知识单元；

步骤42、根据步骤3生成的地址树，确定候选知识单元之间是否存在地点的上下位关系；如果是则将存在地点的上下位关系的两个或多个候选知识单元之间进行合并；

步骤43、将步骤42进行知识融合后的候选知识单元，生成知识图谱。

其中，所述步骤43的知识融合还包括：

事件信息融合步骤，用于提取事件的事件名称，并检查候选知识单元中的事件以判断在地址树的父节点或子节点上是否有相同事件；如果没有，则该事件信息融合步骤结束；如果有，则再对两个事件描述的原文信息进行对比校验以确定是否为同一事件；如果为同一事件，则只保留一个事件；如果为不同事件，则保留两个事件。

其中，所述事件描述的原文信息进行对比，具体包括：根据候选知识单元中的记录，将详情信息实体链接到对应的事件实体上，以进行对比。

其中，所述步骤43的知识融合还包括：

时间信息融合步骤，用于根据候选知识单元中的记录，将事件的时间信息实体链接到对应的事件实体上，以进行对比。

本发明的上述技术方案的有益效果如下：上述技术方案提出了一种基于地址树的新闻知识图谱构建方法，本发明提出一种基于地址树的新闻知识图谱构建方法。利用知识要素中地名等数据自然存在的层次性，还原语料中蕴含的地址树信息，并以此为基础融合其他种类的知识要素，完成地理知识图谱的增量更新。

附图说明

图1为本发明实施例的灾害新闻知识图谱构建的逻辑框图；

图2为本发明实施例的地址树中初始路径示意图；

图3为本发明实施例的地名添加过程示意图；

图4为本发明实施例的完整的地址树的示意图；

图5为知识融合的层次化过程的示意图；

图6为地名信息融合的流程示意图；

图7为事件添加过程的流程示意图；

图8为知识图谱示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明实施例以新闻为信息来源，通过信息抽取从中获得关注的知识实体，通过信息融合构建出新闻的知识图谱。数据源主要来自网上的新闻，是一种无结构的文本信息。通过信息抽取技术获得地点实体、事件实体、事件详情等知识要素，经过知识融合即可构建较为完善的知识图谱，具体流程如图1所示。

在构建过程中包含几项关键技术，包括：

1、本体是知识图谱的底层数据模型，是最终图谱可视化和应用的基础，不同领域本体构建需要符合该领域的特定应用需求。

2、信息抽取是获取具体知识单元的关键技术，已有很多研究成果，并不是本文研究重点。

3、知识融合负责将信息抽取获取的知识单元融合在一起形成一个完成的知识图谱。信息抽取获取的知识单元存在冗余、不一致等问题，这些都是知识融合要解决的问题，是本文的研究重点。本文以地点为出发点，提出一种地址树构建方法，以此为基础进行知识融合构建新闻的知识图谱。

本发明以新闻为信息来源，通过信息抽取从中获得关注的知识实体，通过信息融合构建出新闻的知识图谱。数据源主要来自网上的新闻，是一种无结构的文本信息。通过信息抽取技术获得地点实体、事件实体、事件详情等知识要素，经过知识融合即可构建较为完善的知识图谱。具体处理过程如图1所示的，包括：

(1)首先，对于事件类新闻确定数据模型，该数据模型中包含实体和实体间的关系。其中，不同类型的处理原理类似；为了说明原理，这里只用详情来说明。在本发明的一个实施例中，实体包括如下类型：

·地名：指中国行政区域。例如，四川、成都等都是地名。

·事件：新闻中的主体事件。例如，签约会、晚会等都是事件。

·时间：主体事件发生的时间。例如，2018年3月3日。

·详情：事件发生产生的相关信息。详情还可以再细分类型，例如人数、金额等。

在本发明的一个实施例中，实体间的关系包括如下类型：

·发生关系：用于描述什么地方发生了什么事。是实体“地点”和“事件”之间的二元关系。描述为三元组[地点，发生关系，事件]。

·救助关系：用于描述事件发生后，获得救助的人数情况。描述为三元组[事件，救助关系，详情]。对于每种类型的详情，有针对性地定义一种关系。

·时间关系：用于描述事件发生的时间。是实体“事件”和“时间”之间的二元关系。描述为三元组[事件，时间关系，时间]。

上述仅为本发明的一个实施例的例子，本发明实施例中可以包括多种不同的实体以及实体间的关系，因此本领域内技术人员可以理解实体以及实体间的关系可以根据具体需求进行扩展。

(2)其次，以一篇新闻为输入，通过信息抽取获得各种实体集合：其中，地名集合为P，事件集合为E，时间集合为T，详情集合为I。

(3)构建地址树：

地名之间本身是具有层次性的，不同地名实体之间在行政划分上存在上下位关系。例如，绵阳市归属四川省，高川乡归属安州区，故可以将地名实体集合组织为树或森林这种数据结构。本发明利用现有地图产品的API来构建出每个语料所蕴含的地址树。

设给定一篇地灾新闻Doc，对于信息抽取得到的地名集合P，将其作为参数传给地图产品(例如高德)的API，获取P中所包含的一条最深的初始路径，其中根节点为root，作为后期构建完整地址树的基础。

例如，当地名集合P＝{四川省，木兰镇，新都区，成都市，绵阳市，安州区，游仙区}时，可构造的初始路径如图2所示，根节点root为“四川省”。如图2所示的。

通过此种方式可以有效地利用上下文信息进行实体消歧。例如“刘庄”这个地名，北京市有刘庄，河南省也有刘庄；全国各地包含刘庄的省市县肯定不止这两个，故而“刘庄”这个实体本身存在歧义。而上述流程能够将新闻语料中所有的地名组合在一起构建输入数据，有效地利用了实体的上下文语义信息，可以达到实体消歧的目的，得到正确地名实体。

同时，四川、四川省两个指称项都指向了四川省这个实体，通过上述流程返回的数据中对所有的输入进行了规范化的处理，可以完成地点的共指消解。即：四川被翻译成为了四川省。

通过上述方式获得的初始路径地址其实就是一棵树，为初始的地址树。设地址树为tree，其根节点为root。依次取出地名集合P中的每一个地名，添加到tree中形成最终的地址树。树中每个节点都是地名，节点的层次关系描述行政区域之间的隶属关系。地址树生成算法描述如下。

设给定一个新增地名poi_a。当poi_a归属于地址树中的poi_b时，则poi_a也归属于poi_b的祖先节点。若是先根顺序增添节点，则会出现跃层添加的问题。例如，针对实际中“四川省-成都市-新都区”的层次，新都区因为隶属于成都市，而成都市又隶属于四川省，通过先根顺序增添节点就会在树中将新都区添加四川省下面，出现了跃层的情况。为了避免此类问题，本文采用后根遍历的顺序完善整棵地址树中的节点链接过程。

例如，在图2的基础上挂接地点“绵阳市”时，如果采用先尝试判断它是否归属于木兰镇，再判断它是否归属于新都区，直至判断它确实属于四川省，则成为四川省的子节点挂接于地址树中，语料中的每个地名实体数据都需要按上述流程链接到地址树中。过程如图3所示。虚线是过程判断，最终“绵阳市”成为“四川省”的子节点。

在上述P＝{四川省，木兰镇，新都区，成都市，绵阳市，安州区，游仙区}的例子中，构造的最终地址树如图4所示。

(4)基于地址树进行层次化的知识融合，构建知识图谱

利用信息抽取技术从数据源中提出符合本体定义的实体及其关系后，得到知识图谱的建图知识要素，形成候选知识单元。通过分析发现，这些候选知识单元中存在着大量的冗余信息，甚至实体指称项并不完整。

例如，对于句子“2015年北京西城区非遗演出季活动“古代诗词歌曲演唱会”在京演出。”，信息抽取发生关系的结果为抽取到下述三元组的形式：

[北京，发生关系，演唱会]

[西城，发生关系，演唱会]

分析此例可以发现，北京、西城这两个实体指称项分别对应着北京市、西城区这两类实体，且两条记录描述的是一件事情，存在信息冗余。因此，必须经过实体消歧，共指消解等过程对这些信息抽取结果进行知识融合。

由于地名实体之间具有天然的层次性，且在一篇新闻中多个地名实体以及其他类型实体同时出现，这就为基于实体共现进行合理规范地建图提供了可能。本发明通过还原地点的上下位关系，形成每篇新闻对应的地址树信息，并以此为基础进行知识融合，融合地点的经纬度，事件发生时间等信息要素，最终绘制成为其对应的新闻图谱。

知识融合的过程是层次化的，关系如图5所示。

在知识融合过程中，地址树的构建是基础也是骨架，具有非常重要的地位，它决定着图谱内容的准确度及精简度。

信息抽取的结果是大量扁平化的、离散的知识要素，对于这些知识来说则地址树是其索引。在构建知识图谱的过程中，融合候选知识单元中包含的经纬度实体，时间实体，事件详情实体等信息，通过先根遍历的过程逐层地融合到图中并存入知识库。即，采用层层包装地址树的方式，将各种离散的知识关联在树上，构建成为新闻的图谱。这种方式有利于向图中扩展更多的信息，具有高内聚低耦合的特性。

例如，对于一段新闻“2017年9月29日，四川省成都市新都区人民政府与15家轨道交通行业龙头企业进行了签约会，签约总金额达115亿元签约。2017年7月5日，绵阳市举办2017中国(绵阳)科技城人才之夜颁奖晚会,晚会上，我市为重大产业高层次团队和人才、军民融合高层次团队和人才、大众创业、万众创新团队和人才、脱贫攻坚和社会事业优秀团队和人才共667名人才代表颁奖”。信息抽取的结果为：

P＝{四川省，成都市，新都区，绵阳市}

E＝{签约会，晚会}

T＝{2017年9月29日，2017年7月5日}

I＝{15家，115亿，667名}

关系抽取结果为：

[四川省，发生，签约会]

[成都市，发生，签约会]

[新都区，发生，签约会]

[绵阳市，发生，晚会]

[签约会，金额，115亿元]

[签约会，参加，15家]

[颁奖晚会，表彰，667名代表]

得到地址树后，知识融合的过程为：

(1)地名信息融合

地址树中包含了地名上下位的语义信息，子节点在行政区域管理上从属于父节点，故为了保持这种关系，根据先根遍历的顺序，首先融合根节点，之后递归融合左子树，最后递归融合右子树。直到所有的节点入库。

地址树中包含了地名上下位的语义信息，子节点在行政区域管理上从属于父节点，故为了保持这种关系，根据先根遍历的顺序，首先融合根节点，之后递归融合左子树，最后递归融合右子树。直到所有的节点入库。具体流程如图6所示的。

(2)事件信息融合

将地名信息入库之后，接下来融合事件信息，遍历候选知识单元集合中的每一条记录，逐次添加，由于一件事情发生在子行政区域中，那一定也发生在父行政区域中，如上所示实体关系抽取结果，签约会发生在了新都区，因为新都区归成都市管辖，所以这次签约会也发生在了成都市，同理得到了这次签约会也发生在了四川省。所以，为了准确的定位事件发生的最准确的地址，在融合实体关系抽取候选知识单元时，首先根据事件名称，检查候选知识单元中的事件，是否也在该事件对应的地名节点子节点中有发生，如果发生，则通过事件描述的原文信息对比，再校验一次是否真是同一事件，而不是相同名称不同的事件。当确定该事件在子节点中没有发生时，则建立该地名与该事件的发生关系，同时入库，如果在子节点中发生时，则放弃此条知识单元。其中事件添加过程如图7所示的。

(3)详情信息融合

详情信息的融合逻辑是根据候选知识单元中的记录，将详情信息实体链接到相关的事件信息实体上。

(4)时间信息融合

时间信息的融合同详情信息融合的逻辑大致相同，根据候选知识单元中的记录，将时间信息实体链接到相关的事件信息实体上。

最终得到该新闻的知识图谱如图8所示。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于地址树的新闻知识图谱构建方法，其特征在于，包括：

步骤1、确定事件类新闻的数据模型中的实体和实体间的关系；其中所述实体至少包括地名；还包括以下的至少一种实体：事件、时间、详情；且所述实体间的关系至少包括以下的一种类型：

发生关系：用于描述实体地点和事件之间的二元关系；描述为三元组[地点，发生关系，事件]；

救助关系：用于描述事件发生后，获得救助的人数情况；描述为三元组[事件，救助关系，详情]；

时间关系：用于实体事件和时间之间的二元关系；描述为三元组[事件，时间关系，时间]；

步骤2、提取新闻中的实体以获取以下的至少一种实体集合：地名集合P，事件集合E，时间集合T，详情集合I；

步骤3、根据地名集合P构建地址树，其中所述地址树的每一节点为一个地址，且所述节点间的关系为地址之间的隶属关系；

步骤4、基于地址树进行层次化的知识融合，构建知识图谱。

2.根据权利要求1所述的基于地址树的新闻知识图谱构建方法，其特征在于，所述步骤3还包括：对地名集合P中的地名进行消歧；具体包括：

对地名集合P中的地名进行归一化处理以将其中的同一地名的不同称呼方式统一为同一地名。

3.根据权利要求1所述的基于地址树的新闻知识图谱构建方法，其特征在于，所述步骤3中的根据地名集合P构建地址树，具体包括：

步骤31、从地名集合P中确定根节点以形成基础地址树，该根节点为地名集合P中地理范围最大的节点；

步骤32、判断地名集合P中是否还有候选节点，如果没有则构建地址树完成；如果有则从地名集合P中提取一个候选节点；

步骤33、将其与当前的基础地址树中最底层的节点进行分析以确定候选节点是否为当前节点的下级地名；如果是则将该候选节点作为当前节点的下级节点；如果否则上移到上一层的节点并继续进行分析，直至找到该候选节点的上级节点；

步骤34、更新当前的基础地址树，然后将该候选节点从地名集合P中删除。

4.根据权利要求1所述的基于地址树的新闻知识图谱构建方法，其特征在于，所述步骤4具体包括：

步骤41、利用信息抽取技术从事件类新闻中提出符合本体定义的实体、实体间的关系，得到知识图谱的建图知识要素，形成候选知识单元；

步骤42、根据步骤3生成的地址树，确定候选知识单元之间是否存在地点的上下位关系；如果是则将存在地点的上下位关系的两个或多个候选知识单元之间进行合并；

步骤43、将步骤42进行知识融合后的候选知识单元，生成知识图谱。

5.根据权利要求4所述的基于地址树的新闻知识图谱构建方法，其特征在于，所述步骤43的知识融合还包括：

事件信息融合步骤，用于提取事件的事件名称，并检查候选知识单元中的事件以判断在地址树的父节点或子节点上是否有相同事件；如果没有，则该事件信息融合步骤结束；如果有，则再对两个事件描述的原文信息进行对比校验以确定是否为同一事件；如果为同一事件，则只保留一个事件；如果为不同事件，则保留两个事件。

6.根据权利要求5所述的基于地址树的新闻知识图谱构建方法，其特征在于，所述事件描述的原文信息进行对比，具体包括：根据候选知识单元中的记录，将详情信息实体链接到对应的事件实体上，以进行对比。

7.根据权利要求5所述的基于地址树的新闻知识图谱构建方法，其特征在于，所述步骤43的知识融合还包括：

时间信息融合步骤，用于根据候选知识单元中的记录，将事件的时间信息实体链接到对应的事件实体上，以进行对比。