CN108052576B - 一种事理知识图谱构建方法及系统 - Google Patents
一种事理知识图谱构建方法及系统 Download PDFInfo
- Publication number
- CN108052576B CN108052576B CN201711293661.8A CN201711293661A CN108052576B CN 108052576 B CN108052576 B CN 108052576B CN 201711293661 A CN201711293661 A CN 201711293661A CN 108052576 B CN108052576 B CN 108052576B
- Authority
- CN
- China
- Prior art keywords
- event
- entities
- micro
- layer
- entity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000000605 extraction Methods 0.000 claims abstract description 49
- 230000001364 causal effect Effects 0.000 claims abstract description 34
- 238000010276 construction Methods 0.000 claims abstract description 28
- 238000013507 mapping Methods 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 11
- 238000004140 cleaning Methods 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000008451 emotion Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 230000001939 inductive effect Effects 0.000 claims description 2
- 230000004044 response Effects 0.000 abstract description 5
- 238000011161 development Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 239000010977 jade Substances 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 244000025361 Ficus carica Species 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/288—Entity relationship models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Life Sciences & Earth Sciences (AREA)
- Tourism & Hospitality (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- General Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Animal Behavior & Ethology (AREA)
- Computational Linguistics (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种事理知识图谱构建方法及系统，该构建系统包括：宏观事件层构建模块、微观知识层构建模块、关系映射模块、本体层构建模块和事理知识图谱生成模块；所述宏观事件层构建模块包括：事件实体抽取单元、事件演化单元和因果关系抽取单元；所述微观知识层构建模块包括：微观实体抽取单元。本发明通过从结构化数据中获取事件实体和微观实体，分别构建宏观事件层和微观实体层，并抽取不同事件实体之间的因果关系映射到微观实体中，通过对微观实体层中微观实体的关系、类型和因果关系进行抽象和归纳，由此判断事件形成突发性群体响应的本质原因，对突发事件进行预警预测。
Description
技术领域
本发明涉及信息挖掘技术领域，尤其涉及一种事理知识图谱构建方法及系统。
背景技术
随着虚拟化、云计算等互联网技术的广泛应用，特别是社会化媒体，诸如微博、微信等在民众中的飞速发展与广泛普及，网络空间较现实社会更频繁的成为个体交流和情感表达的场所。以世界著名的在线社交网站Facebook为例，2011年底其月活跃用户已达8.45亿，而在2014年，微信的月活跃用户数超过8.06亿(2014年全国人口为13.68亿人)。覆盖面如此广泛的社会化媒体一方面能够大幅度降低获取信息的难度，为人们日常工作生活带来便利；另一方面也由于管控成本及时效的原因，导致部分携带虚假、负面信息的内容极易大范围扩散，乃至形成一些应激突发性的恶性群体性事件。
近年来，知识图谱相关技术由于其广泛的应用场景与灵活高效的归纳、推理、分析手段而广为人知。作为知识图谱技术的原始模型，1977年E.A.Feigenbaum首次提出知识工程的概念并通过恰当利用计算机处理分析特定专业领域数据来解决实际应用。2012年，谷歌基于大量前期研究与应用提出了知识图谱项目，其最初目标为满足用户智能搜索需求，为用户提供附带推理分析功能的智能搜索结果。在此基础上，伴随着大量相关应用于研究发现，知识图谱附带的本体层能够有效归纳知识的本质特征，为实现基于知识的推理提供了保证。但知识图谱的结构与构建方式需要根据实际的应用环境进行有针对性的调整，才能真正付诸使用。
发明内容
为了解决现有技术存在的问题，本发明的至少一个实施例提供了一种事理知识图谱构建方法，包括：
从结构化数据中抽取具有预设置类型的事件实体构成宏观事件层，通过聚合演化使所述宏观事件层内的事件实体之间形成事件演化链，并基于事件演化链抽取事件实体之间的因果关系；
从所述结构化数据中抽取微观实体组成微观知识层，根据事件实体与微观实体之间的映射关系，将所述因果关系映射到所述微观知识层；
对所述微观知识层的微观实体和微观实体间的因果关系进行抽象和归纳，形成事理知识本体层，由所述宏观事件层、微观知识层和事理知识本体层构成事理知识图谱。
可选的，所述通过知识抽取技术从所述结构化数据中抽取微观实体组成微观知识层，具体包括：
通过命名实体识别、实体间关系抽取和实体属性抽取技术从所述结构化数据中抽取实体、实体间关系和实体属性，组成包括所述实体、实体间关系和实体属性的微观实体，并通过所述微观实体组成微观知识层。
可选的，所述从所述结构化数据中抽取微观实体组成微观知识层，还包括：
对抽取得到的所述实体和实体间关系进行指代消歧和共指消解处理；
基于预存储的实体关系的连通图对所述实体进行关系预测，得到预测实体间关系，并将所述预测实体间关系添加到所述实体间关系中。
可选的，从结构化数据中抽取具有预设置类型的事件实体构成宏观事件层，具体包括：
对所述结构化数据进行快速事件检测得到所有待处理事件实体；
对所有所述待处理事件实体分别进行事件实体属性抽取，分别得到每一组待处理事件实体的事件实体属性组，事件实体属性组中事件实体属性的种类包括：标题、时间、地点、人物、类型、情感和关键词；
将事件实体属性的类型与所述预设置类型相同的待处理事件实体作为所述事件实体，并通过所有所述事件实体组成宏观事件层。
可选的，所述从结构化数据中抽取具有预设置类型的事件实体构成宏观事件层之前，还包括：
通过基于流式异常图检测的事件检测算法从数据源中获取各种类型的源数据，并对所述源数据进行预处理，得到所述结构化数据；所述预处理包括：采集、清洗和规范化。
本发明实施例还提供了一种事理知识图谱构建系统，包括：宏观事件层构建模块、微观知识层构建模块、关系映射模块、本体层构建模块和事理知识图谱生成模块；所述宏观事件层构建模块包括：事件实体抽取单元、事件演化单元和因果关系抽取单元；所述微观知识层构建模块包括：微观实体抽取单元；
所述宏观事件层构建模块，用于通过所述事件实体抽取单元从结构化数据中抽取具有预设置类型的事件实体构成宏观事件层；
所述事件演化单元，用于通过聚合演化使所述宏观事件层内的事件实体之间形成事件演化链；
所述因果关系抽取单元，用于基于事件演化链抽取事件实体之间的因果关系；
所述微观知识层构建模块，用于通过微观实体抽取单元利用知识抽取技术从所述结构化数据中抽取微观实体组成微观知识层；
所述关系映射模块，用于根据事件实体与微观实体之间的映射关系，将所述因果关系映射到所述微观知识层；
所述本体层构建模块，用于对所述微观知识层的微观实体和微观实体间的因果关系进行抽象和归纳，形成事理知识本体层；
事理知识图谱生成模块，用于由所述宏观事件层、微观知识层和事理知识本体层构成事理知识图谱。
可选的，微观知识层构建模块，具体用于，通过微观实体抽取单元利用命名实体识别、实体间关系抽取和实体属性抽取技术从所述结构化数据中抽取实体、实体间关系和实体属性，组成包括所述实体、实体间关系和实体属性的微观实体，并通过所述微观实体组成微观知识层。
可选的，所述微观知识层构建模块还包括：微观实体融合单元，用于对抽取得到的所述实体和实体间关系进行指代消歧和共指消解处理；并基于预存储的实体关系的连通图对所述实体进行关系预测，得到预测实体间关系，将所述预测实体间关系添加到所述实体间关系中。
可选的，所述宏观事件层构建模块，具体用于，通过所述事件实体抽取单元对所述结构化数据进行快速事件检测得到所有待处理事件实体；对所有所述待处理事件实体分别进行事件实体属性抽取，分别得到每一组待处理事件实体的事件实体属性组；将事件实体属性的类型与所述预设置类型相同的待处理事件实体作为所述事件实体，并通过所有所述事件实体组成宏观事件层；事件实体属性组中事件实体属性的种类包括：标题、时间、地点、人物、类型、情感和关键词。
可选的，该构建系统还包括：数据清洗模块，用于通过基于流式异常图检测的事件检测算法从数据源中获取各种类型的源数据，并对所述源数据进行预处理，得到所述结构化数据；所述预处理包括：采集、清洗和规范化。
本发明的上述技术方案与现有技术相比具有如下优点：本发明通过从结构化数据中获取事件实体和微观实体，分别构建宏观事件层和微观实体层，并抽取不同事件实体之间的因果关系映射到微观实体中，通过对微观实体层中微观实体的关系、类型和因果关系进行抽象和归纳，由此判断事件形成突发性群体响应的本质原因，对突发事件进行预警预测。
附图说明
图1是本发明实施例提供的一种事理知识图谱构建方法流程示意图；
图2是本发明另一实施例提供的一种事理知识图谱构建系统结构示意图；
图3是本发明另一实施例提供的一种事理知识图谱构建系统结构示意图其一；
图4是本发明又一实施例提供的一种事理知识图谱中因果关系映射实例结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供的一种事理知识图谱构建方法，包括：
从结构化数据中抽取具有预设置类型的事件实体构成宏观事件层，通过聚合演化使宏观事件层内的事件实体之间形成事件演化链，并基于事件演化链抽取事件实体之间的因果关系；
通过知识抽取技术从结构化数据中抽取微观实体组成微观知识层，根据事件实体与微观实体之间的映射关系，将因果关系映射到微观知识层；
对微观知识层的微观实体和微观实体间的因果关系进行抽象和归纳，形成事理知识本体层，由宏观事件层、微观知识层和事理知识本体层构成事理知识图谱。
上述实施例，本发明实施例通过从结构化数据中获取事件实体构建宏观事件层，由此抽取不同事件实体之间的因果关系，并获取结构化数据中的微观实体构建微观实体层，因事件实体均可与部分微观实体进行对应，由此将不同事件实体之间的因果关系映射到微观实体中，对微观实体层中微观实体的关系、类型和因果关系进行抽象和归纳，形成事理知识本体，根据事理知识本体构建事理知识图谱，由此判断事件形成突发性群体响应的本质原因，对突发事件进行预警预测，突发性群体响应事件的共性即为预设置类型，如人身伤害类、自然灾害类、金融诈骗类等引发公众舆论的时间，可用textCNN等分类算法给出的。
如图2和图3所示，本发明另一实施例提供的一种事理知识图谱构建系统，包括：宏观事件层构建模块、微观知识层构建模块、关系映射模块、本体层构建模块和事理知识图谱生成模块；宏观事件层构建模块包括：事件实体抽取单元、事件演化单元和因果关系抽取单元；微观知识层构建模块包括：微观实体抽取单元；
宏观事件层构建模块，用于通过事件实体抽取单元从结构化数据中抽取具有预设置类型的事件实体构成宏观事件层，宏观事件层以实体加属性的形式定义事件实体，该预设置类型为突发性群体响应事件的共性，如人身伤害类、自然灾害类、金融诈骗类等引发公众舆论的时间，可用textCNN等分类算法给出的；
事件演化单元，用于通过聚合演化使宏观事件层内的事件实体之间形成事件演化链；
因果关系抽取单元，用于基于事件演化链抽取事件实体之间的因果关系，具体的，对事件实体之间的因果分析，采用偏序因果关系抽取技术抽取事件实体之间的因果关系，具有因果关系的两个事件实体间存在时序上的先后关系；
微观知识层构建模块，用于通过微观实体抽取单元利用知识抽取技术从结构化数据中抽取微观实体组成微观知识层，微观知识层一方面保有传统知识图谱中实体及实体间关系、属性等元素；另一方面将宏观事件层的事件实体进行细粒度拆解，将事件实体之间的因果关系与微观知识层中的微观实体一一对应；
关系映射模块，用于根据事件实体与微观实体之间的映射关系，将因果关系映射到微观知识层，由于事件实体的属性均可对应微观知识层中的实体，所以宏观事件层中的事件实体均可在微观知识层匹配合适的实体，形成映射关系。这样一来，事件的描述便可借由微观知识层中实体间的关系进行进一步扩展，对事件进行更细粒度的剖析，挖掘事件实体之间的因果关系与细粒度微观实体间因果关系的映射方式，因果关系是描述对象间存在的一种先后相继、彼此制约的一对范畴，此类因果关系在时序上具有严格的先后关系，且不受关系间微观实体的影响，从文本数据中抽取因果关系并进行归纳能够直接用来作为继发预测的依据，因此，本发明实施例基于统计数据及经过抽取的文本特征采用规则方法抽取同一事件不同演化阶段间的因果关系，以此作为预警预测的依据；
本体层构建模块，用于对微观知识层的微观实体和微观实体间的因果关系进行抽象和归纳，形成事理知识本体层，具体的，针对微观知识层中对应不同事件实体间语义、结构的归纳抽象，以及事件发展演化过程中明显的因果知识，形成事理知识本体层；
事理知识图谱生成模块，用于由宏观事件层、微观知识层和事理知识本体层构成事理知识图谱。
微观知识层是宏观事件层中实体的细粒度表示，而本体层是微观知识层中事理知识的抽象。这样的结构能够有效抽取事件的细粒度事理知识，同样能够有效发现不同事件间深层次的共性，积淀难以直接发现的事件本质联系及知识。
上述结构化数据通过数据清洗模块从数据源获取源数据处理后得到，用于通过基于流式异常图检测的事件检测算法从数据源中获取各种类型的源数据，并对源数据进行预处理，得到结构化数据，得到质量更好的输入数据进行处理，减少后续工作中不必要的工作量；预处理包括：采集、清洗和规范化，数据源中包括：结构化数据、半结构化数据和非结构化数据。
如图3所示，在本实施例中，微观知识层构建模块，通过知识抽取技术从结构化数据中抽取微观实体，为本发明提供传统的知识图谱的数据以得到数据支撑，具体的，通过微观实体抽取单元利用命名实体识别、实体间关系抽取和实体属性抽取技术从结构化数据中抽取实体、实体间关系和实体属性，组成包括实体、实体间关系和实体属性的微观实体，并通过微观实体组成微观知识层，作为信息抽取领域的经典问题，选取近期成熟的基于attention机制的Bi-LSTM模型及CRF、softmax等下游输出层来获取包括实体、关系、属性的知识。
如图3所示，在本实施例中，微观知识层构建模块还包括：微观实体融合单元，通过知识融合技术对从结构化数据中抽取的实体进行处理，减少冗余，提高抽取得到的知识的质量，对抽取得到的实体和实体间关系进行指代消歧和共指消解处理；并基于预存储的实体关系的连通图对实体进行关系预测，得到预测实体间关系，将预测实体间关系添加到实体间关系中，具体的，为了提升抽取知识的质量，优化微观知识层的知识结构，对抽取到的微观实体进行实体链接及链接预测操作。其中，实体链接作为对微观实体及微观实体间关系进行指代消歧与共指消解的工作，能够有效削减知识结构中冗余实体、关系的个数，提升知识的精炼程度。而链接预测作为探索微观实体间隐含关系的任务能够将原本稀疏的知识结构变得更为稠密，从而为后续关系挖掘提供更可靠的数据支持。
如图3所示，在本实施例中，宏观事件层构建模块，具体用于，通过事件实体抽取单元对结构化数据进行快速事件检测得到所有待处理事件实体；为了进一步贴合事件实体的定义，我们将事件表示形式设置为标准的七元组，七元组包括：标题、时间、地点、人物、类型、情感和关键词，并以事件实体属性的形式将其存储在宏观事件层，对所有待处理事件实体分别进行事件实体属性抽取，即为图3中事件元组抽取，分别得到每一组待处理事件实体的事件实体属性组；将事件实体属性的类型与预设置类型相同的待处理事件实体作为事件实体，并通过所有事件实体组成宏观事件层；事件实体属性组中事件实体属性的种类。
如图4所示，本发明提供的一个具体实施例，“徐玉玉案”事件的发生与省公安部的挂牌督办存在直接的因果关系，而观察其在微观知识层映射所形成的事件相关微观实体所组成图结构不难发现，两个事件间存在的因果关系可直接反应在“死亡”，“督办”这两个微观实体间，因此将“徐玉玉案”事件的发生代表的事件实体和省公安部的挂牌督办代表的事件实体之间的因果关系映射到“死亡”和“督办”这两个微观实体上，在完成上述操作后，微观知识层中存在于微观实体间的因果关系在更细粒度上解释了宏观事件层中不同事件实体间演化的事理知识，成为事理知识本体层的数据来源。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (4)
1.一种事理知识图谱构建方法，其特征在于，包括：
通过基于流式异常图检测的事件检测算法从数据源中获取各种类型的源数据，并对所述源数据进行预处理，得到结构化数据；
从结构化数据中抽取具有预设置类型的事件实体构成宏观事件层，通过聚合演化使所述宏观事件层内的事件实体之间形成事件演化链，并通过偏序因果关系抽取方法抽取事件实体之间的因果关系；
从所述结构化数据中抽取微观实体组成微观知识层，根据宏观事件层中的事件实体在所述微观知识层中匹配的微观实体，形成映射关系；根据事件实体与微观实体之间的映射关系，将所述事件实体之间的因果关系映射到所述微观知识层的微观实体之间；
对所述微观知识层的微观实体对应不同事件实体进行语义、结构的抽象和归纳，结合微观实体间的因果关系，形成事理知识本体层，由所述宏观事件层、微观知识层和事理知识本体层构成事理知识图谱；
其中，所述从所述结构化数据中抽取微观实体组成微观知识层，具体包括：
通过命名实体识别、实体间关系抽取和实体属性抽取技术从所述结构化数据中抽取实体、实体间关系和实体属性，组成包括所述实体、实体间关系和实体属性的微观实体，并通过所述微观实体组成微观知识层；
其中，从结构化数据中抽取具有预设置类型的事件实体构成宏观事件层，具体包括：
对所述结构化数据进行快速事件检测得到所有待处理事件实体；
对所有所述待处理事件实体分别进行事件实体属性抽取，分别得到每一组待处理事件实体的事件实体属性组，事件实体属性组中事件实体属性的种类包括：标题、时间、地点、人物、类型、情感和关键词；
将事件实体属性的类型与所述预设置类型相同的待处理事件实体作为所述事件实体，并通过所有所述事件实体组成宏观事件层。
2.根据权利要求1所述的一种事理知识图谱构建方法，其特征在于，所述通过知识抽取技术从所述结构化数据中抽取微观实体组成微观知识层，还包括：
对抽取得到的所述实体和实体间关系进行指代消歧和共指消解处理；
基于预存储的实体关系的连通图对所述实体进行关系预测，得到预测实体间关系，并将所述预测实体间关系添加到所述实体间关系中。
3.一种事理知识图谱构建系统，其特征在于，包括：数据清洗模块、宏观事件层构建模块、微观知识层构建模块、关系映射模块、本体层构建模块和事理知识图谱生成模块；所述宏观事件层构建模块包括：事件实体抽取单元、事件演化单元和因果关系抽取单元；所述微观知识层构建模块包括：微观实体抽取单元；
所述数据清洗模块，用于通过基于流式异常图检测的事件检测算法从数据源中获取各种类型的源数据，并对所述源数据进行预处理，得到结构化数据；
所述宏观事件层构建模块，用于通过所述事件实体抽取单元从结构化数据中抽取具有预设置类型的事件实体构成宏观事件层；
所述事件演化单元，用于通过聚合演化使所述宏观事件层内的事件实体之间形成事件演化链；
所述因果关系抽取单元，用于通过偏序因果关系抽取方法抽取事件实体之间的因果关系；
所述微观知识层构建模块，用于通过微观实体抽取单元从所述结构化数据中抽取微观实体组成微观知识层；
所述关系映射模块，用于根据宏观事件层中的事件实体在所述微观知识层中匹配的微观实体，形成映射关系；根据事件实体与微观实体之间的映射关系，将所述事件实体之间的因果关系映射到所述微观知识层的微观实体之间；
所述本体层构建模块，用于对所述微观知识层的微观实体对应不同事件实体进行语义、结构的抽象和归纳，结合微观实体间的因果关系，形成事理知识本体层；
事理知识图谱生成模块，用于由所述宏观事件层、微观知识层和事理知识本体层构成事理知识图谱；
其中，微观知识层构建模块，具体用于，通过微观实体抽取单元利用命名实体识别、实体间关系抽取和实体属性抽取技术从所述结构化数据中抽取实体、实体间关系和实体属性，组成包括所述实体、实体间关系和实体属性的微观实体，并通过所述微观实体组成微观知识层；
其中，所述宏观事件层构建模块，具体用于，通过所述事件实体抽取单元对所述结构化数据进行快速事件检测得到所有待处理事件实体；对所有所述待处理事件实体分别进行事件实体属性抽取，分别得到每一组待处理事件实体的事件实体属性组；将事件实体属性的类型与所述预设置类型相同的待处理事件实体作为所述事件实体，并通过所有所述事件实体组成宏观事件层。
4.根据权利要求3所述的一种事理知识图谱构建系统，其特征在于，所述微观知识层构建模块还包括：微观实体融合单元，用于对抽取得到的所述实体和实体间关系进行指代消歧和共指消解处理；并基于预存储的实体关系的连通图对所述实体进行关系预测，得到预测实体间关系，将所述预测实体间关系添加到所述实体间关系中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711293661.8A CN108052576B (zh) | 2017-12-08 | 2017-12-08 | 一种事理知识图谱构建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711293661.8A CN108052576B (zh) | 2017-12-08 | 2017-12-08 | 一种事理知识图谱构建方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108052576A CN108052576A (zh) | 2018-05-18 |
| CN108052576B true CN108052576B (zh) | 2021-04-23 |
Family
ID=62122612
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711293661.8A Active CN108052576B (zh) | 2017-12-08 | 2017-12-08 | 一种事理知识图谱构建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108052576B (zh) |
Families Citing this family (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108763556A (zh) * | 2018-06-01 | 2018-11-06 | 北京奇虎科技有限公司 | 基于需求词的用户挖掘方法及装置 |
| CN109033200B (zh) * | 2018-06-29 | 2021-03-02 | 北京百度网讯科技有限公司 | 事件抽取的方法、装置、设备及计算机可读介质 |
| CN109086797B (zh) * | 2018-06-29 | 2021-12-28 | 中国地质大学（武汉） | 一种基于注意机制的异常事件检测方法及系统 |
| CN109446530A (zh) * | 2018-11-03 | 2019-03-08 | 上海犀语科技有限公司 | 一种基于lstm模型由文本中抽取信息的方法及装置 |
| CN109446343B (zh) * | 2018-11-05 | 2020-10-27 | 上海德拓信息技术股份有限公司 | 一种公共安全知识图谱构建的方法 |
| CN109726293B (zh) * | 2018-11-14 | 2020-12-01 | 数据地平线（广州）科技有限公司 | 一种因果事件图谱构建方法、系统、装置及存储介质 |
| CN109726819B (zh) * | 2018-12-29 | 2021-09-14 | 东软集团股份有限公司 | 一种实现事件推理的方法及装置 |
| CN111506734B (zh) * | 2019-01-30 | 2024-01-26 | 国家计算机网络与信息安全管理中心 | 一种事件演化知识图谱构建方法、装置、设备及存储介质 |
| CN109885698A (zh) * | 2019-02-13 | 2019-06-14 | 北京航空航天大学 | 一种知识图谱构建方法及装置、电子设备 |
| CN110188346B (zh) * | 2019-04-29 | 2023-09-29 | 浙江工业大学 | 一种基于信息抽取的网络安全法案件智能研判方法 |
| CN110134797A (zh) * | 2019-04-29 | 2019-08-16 | 贳巽(北京)国际商业数据技术股份公司 | 一种基于事理图谱和多因子模型研判金融市场变化的方法 |
| CN111858948B (zh) * | 2019-04-30 | 2024-08-02 | 杭州海康威视数字技术股份有限公司 | 一种本体构建方法、装置、电子设备及存储介质 |
| CN110135716B (zh) * | 2019-05-06 | 2021-02-09 | 华北电力大学 | 一种电网基建项目动态预警识别方法和系统 |
| CN110245241A (zh) * | 2019-06-18 | 2019-09-17 | 卓尔智联(武汉)研究院有限公司 | 塑料知识图谱构建装置、方法及计算机可读存储介质 |
| CN110377759B (zh) * | 2019-07-22 | 2022-02-11 | 中国工商银行股份有限公司 | 事件关系图谱构建方法及装置 |
| CN110427623B (zh) * | 2019-07-24 | 2021-09-21 | 深圳追一科技有限公司 | 半结构化文档知识抽取方法、装置、电子设备及存储介质 |
| US11354506B2 (en) * | 2019-07-30 | 2022-06-07 | Baidu Usa Llc | Coreference-aware representation learning for neural named entity recognition |
| CN110472107B (zh) * | 2019-08-22 | 2024-01-30 | 腾讯科技（深圳）有限公司 | 多模态知识图谱构建方法、装置、服务器以及存储介质 |
| CN110705597B (zh) * | 2019-09-04 | 2022-11-11 | 中国科学院计算技术研究所 | 基于事件因果关系抽取的网络苗头事件检测方法及系统 |
| CN110895569A (zh) * | 2019-10-10 | 2020-03-20 | 卓尔智联(武汉)研究院有限公司 | 案卷事理图谱构建方法、电子装置及存储介质 |
| CN110968700B (zh) * | 2019-11-01 | 2023-04-07 | 数地工场(南京)科技有限公司 | 融合多类事理与实体知识的领域事件图谱构建方法和装置 |
| CN110968699B (zh) * | 2019-11-01 | 2023-07-18 | 数地工场(南京)科技有限公司 | 一种基于事理推荐的逻辑图谱构建及预警方法和装置 |
| CN110807104B (zh) * | 2019-11-08 | 2023-04-14 | 上海明胜品智人工智能科技有限公司 | 异常信息的确定方法及装置、存储介质、电子装置 |
| CN110909992A (zh) * | 2019-11-11 | 2020-03-24 | 北京明略软件系统有限公司 | 一种风险预测的方法、装置及设备 |
| CN111160005B (zh) * | 2019-11-25 | 2022-06-24 | 国家计算机网络与信息安全管理中心 | 基于事件演化知识本体的事件预测方法、装置及终端设备 |
| CN111177311B (zh) * | 2019-12-10 | 2024-03-29 | 华能集团技术创新中心有限公司 | 一种事件处理结果的数据分析模型及分析方法 |
| US20230041628A1 (en) * | 2020-01-19 | 2023-02-09 | Siemens Aktiengesellschaft | Graph-Based Industrial Flow Model Building System, Apparatus, and Method |
| CN111400456B (zh) * | 2020-03-20 | 2023-09-26 | 北京百度网讯科技有限公司 | 资讯推荐方法及装置 |
| CN111611410B (zh) * | 2020-06-23 | 2024-01-12 | 中国人民解放军国防科技大学 | 基于多层网络空间知识表示的知识处理方法和装置 |
| CN112487306B (zh) * | 2020-12-07 | 2023-01-17 | 华东师范大学 | 基于知识图谱的自动化事件标记与分类方法 |
| CN112465262B (zh) * | 2020-12-07 | 2024-09-24 | 北京明略软件系统有限公司 | 一种事件预测处理方法、装置、设备及存储介质 |
| CN112507691B (zh) * | 2020-12-07 | 2024-10-15 | 数地工场(南京)科技有限公司 | 一种融合情感、产业链和事理逻辑的可解释性金融标的物生成方法和装置 |
| CN113449116B (zh) * | 2021-06-22 | 2022-12-20 | 青岛海信网络科技股份有限公司 | 一种图谱构建、预警方法、设备及介质 |
| CN113761094B (zh) * | 2021-08-19 | 2024-09-27 | 华南师范大学 | 地质灾害事理图谱的构建方法、系统、装置和存储介质 |
| CN114357197B (zh) * | 2022-03-08 | 2022-07-26 | 支付宝(杭州)信息技术有限公司 | 事件推理方法和装置 |
| CN114707004B (zh) * | 2022-05-24 | 2022-08-16 | 国网浙江省电力有限公司信息通信分公司 | 基于图像模型和语言模型的事理关系抽取处理方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103488724A (zh) * | 2013-09-16 | 2014-01-01 | 复旦大学 | 一种面向图书的阅读领域知识图谱构建方法 |
| CN106777331A (zh) * | 2017-01-11 | 2017-05-31 | 北京航空航天大学 | 知识图谱生成方法及装置 |
| CN106934032A (zh) * | 2017-03-14 | 2017-07-07 | 软通动力信息技术（集团）有限公司 | 一种城市知识图谱构建方法及装置 |
| CN107122444A (zh) * | 2017-04-24 | 2017-09-01 | 北京科技大学 | 一种法律知识图谱自动构建方法 |
| CN107391677A (zh) * | 2017-07-21 | 2017-11-24 | 深圳狗尾草智能科技有限公司 | 携带实体关系属性的中文通用知识图谱的生成方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7761478B2 (en) * | 2005-11-23 | 2010-07-20 | International Business Machines Corporation | Semantic business model management |
-
2017
- 2017-12-08 CN CN201711293661.8A patent/CN108052576B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103488724A (zh) * | 2013-09-16 | 2014-01-01 | 复旦大学 | 一种面向图书的阅读领域知识图谱构建方法 |
| CN106777331A (zh) * | 2017-01-11 | 2017-05-31 | 北京航空航天大学 | 知识图谱生成方法及装置 |
| CN106934032A (zh) * | 2017-03-14 | 2017-07-07 | 软通动力信息技术（集团）有限公司 | 一种城市知识图谱构建方法及装置 |
| CN107122444A (zh) * | 2017-04-24 | 2017-09-01 | 北京科技大学 | 一种法律知识图谱自动构建方法 |
| CN107391677A (zh) * | 2017-07-21 | 2017-11-24 | 深圳狗尾草智能科技有限公司 | 携带实体关系属性的中文通用知识图谱的生成方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| A Control-Data-Mapping Entity-Relationship Model for Internal Controls Construction in Database Design;J Chen 等;《International Journal of Knowledge-Based Organizations (IJKBO)》;20140430;第4卷;20-36 * |
| 基于多数据源的知识图谱构建方法研究;吴运兵 等;《福州大学学报(自然科学版)》;20170516;第45卷(第3期);329-335 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108052576A (zh) | 2018-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108052576B (zh) | 一种事理知识图谱构建方法及系统 | |
| Zhang et al. | Mining dual emotion for fake news detection | |
| Cao et al. | Knowledge-preserving incremental social event detection via heterogeneous gnns | |
| Cao et al. | DeepHate: Hate speech detection via multi-faceted text representations | |
| Nouh et al. | Understanding the radical mind: Identifying signals to detect extremist content on twitter | |
| Alomari et al. | Iktishaf: A big data road-traffic event detection tool using Twitter and spark machine learning | |
| US10902468B2 (en) | Real-time, stream data information integration and analytics system | |
| US11019107B1 (en) | Systems and methods for identifying violation conditions from electronic communications | |
| Kristiyanti et al. | Comparison of SVM & naïve Bayes algorithm for sentiment analysis toward west java governor candidate period 2018-2023 based on public opinion on twitter | |
| US9213997B2 (en) | Method and system for social media burst classifications | |
| Hilal et al. | Artificial Intelligence Based Sentiment Analysis for Health Crisis Management in Smart Cities. | |
| Bhakuni et al. | Evolution and evaluation: Sarcasm analysis for twitter data using sentiment analysis | |
| Lamsal et al. | Socially enhanced situation awareness from microblogs using artificial intelligence: A survey | |
| Alorini et al. | LSTM-RNN based sentiment analysis to monitor COVID-19 opinions using social media data | |
| Jia et al. | Pattern discovery and anomaly detection via knowledge graph | |
| Gong et al. | Fake news detection through graph-based neural networks: A survey | |
| Alterkavı et al. | Novel authorship verification model for social media accounts compromised by a human | |
| Mathew et al. | Temporal effects of unmoderated hate speech in gab | |
| Siddiqua et al. | Combining a rule-based classifier with weakly supervised learning for twitter sentiment analysis | |
| Adje et al. | Smart City Based on Open Data: A Survey | |
| Arumugam et al. | EIAASG: Emotional intensive adaptive aspect-specific GCN for sentiment classification | |
| Su et al. | An improved BERT method for the evolution of network public opinion of major infectious diseases: Case Study of COVID-19 | |
| KR102242317B1 (ko) | 정성적 가짜 뉴스 판단 시스템, 판단 방법 및 이를 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 | |
| Aliyu et al. | Analysis of cyber bullying on Facebook using text mining | |
| Ruch | Can x2vec save lives? integrating graph and language embeddings for automatic mental health classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |