CN115203428B - 一种知识图谱构建方法、装置、电子设备及存储介质 - Google Patents
一种知识图谱构建方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115203428B CN115203428B CN202210604131.5A CN202210604131A CN115203428B CN 115203428 B CN115203428 B CN 115203428B CN 202210604131 A CN202210604131 A CN 202210604131A CN 115203428 B CN115203428 B CN 115203428B
- Authority
- CN
- China
- Prior art keywords
- data
- knowledge graph
- sub
- industry
- document
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 claims abstract description 42
- 230000002776 aggregation Effects 0.000 claims description 20
- 238000004220 aggregation Methods 0.000 claims description 20
- 238000004458 analytical method Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 11
- 230000004931 aggregating effect Effects 0.000 claims description 6
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 8
- 235000019580 granularity Nutrition 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 2
- 238000004804 winding Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000009960 carding Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种知识图谱构建方法、装置、电子设备及存储介质,涉及知识图谱、自然语言处理、深度学习等人工智能技术领域,可应用于智能创作等场景。具体实现方案为:对第一文档数据进行解析,得到多种类型的待处理数据;将待处理数据与行业样本数据进行匹配,得到与行业样本数据匹配的实体对象,实体对象用于表征行业知识的分类;从待处理数据中提取出与实体对象相关的第一子对象;根据实体对象和第一子对象,构建行业知识图谱。采用本公开,可以降低行业知识图谱的构建成本。
Description
技术领域
本公开涉及人工智能技术领域,尤其涉及知识图谱、自然语言处理、深度学习等领域,可应用于智能创作等场景。
背景技术
知识图谱是人工智能的重要分支技术,知识图谱作为结构化的语义知识库,用于以符号形式描述物理世界中的概念及其相互关系,其基本组成单位是“实体—关系—实体”三元组,“实体”间通过“关系”相互联结,构成网状的知识结构。
知识图谱按照功能和应用场景可以分为通用知识图谱和行业知识图谱。其中,通用知识图谱面向的是通用领域,强调知识的广度,形态通常为结构化的百科知识,针对的使用者主要为普通用户;而行业知识图谱则面向某一特定领域,强调知识的深度,通常需要基于该行业的数据库进行构建,针对的使用者为行业内的从业人员以及潜在的业内人士等。
相关技术中,要想构建上述行业知识图谱,需要深入理解大量的行业知识,标注大量的专业训练数据,整个构建过程成本高,建设周期长。
发明内容
本公开提供了一种知识图谱构建方法、装置、电子设备以及存储介质。
根据本公开的一方面,提供了一种知识图谱构建方法,包括:
对第一文档数据进行解析,得到多种类型的待处理数据;
将所述待处理数据与行业样本数据进行匹配,得到与所述行业样本数据匹配的实体对象,所述实体对象用于表征行业知识的分类;
从所述待处理数据中提取出与所述实体对象相关的第一子对象;
根据所述实体对象和所述第一子对象,构建行业知识图谱。
根据本公开的另一方面,提供了一种知识图谱构建装置,包括:
解析模块,用于对第一文档数据进行解析,得到多种类型的待处理数据;
匹配模块,用于将所述待处理数据与行业样本数据进行匹配,得到与所述行业样本数据匹配的实体对象,所述实体对象用于表征行业知识的分类;
第一提取模块,用于从所述待处理数据中提取出与所述实体对象相关的第一子对象;
第一构建模块,用于根据所述实体对象和所述第一子对象,构建行业知识图谱。
根据本公开的另一方面,提供了一种电子设备,包括:
至少一个处理器;以及
与该至少一个处理器通信连接的存储器;其中,
该存储器存储有可被该至少一个处理器执行的指令,该指令被该至少一个处理器执行,以使该至少一个处理器能够执行本公开任意一实施例所提供的方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,该计算机指令用于使该计算机执行本公开任意一项实施例所提供的方法。
采用本公开,通过对第一文档数据进行解析,可以得到多种类型的待处理数据,将该待处理数据与行业样本数据进行匹配,可以得到与行业样本数据匹配的实体对象,该实体对象用于表征行业知识的分类。从待处理数据中提取出与该实体对象相关的第一子对象,以便根据该实体对象和该第一子对象构建行业知识图谱,从而,可以降低行业知识图谱的构建成本。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开实施例的一分布式集群处理场景的示意图;
图2是根据本公开实施例的知识图谱构建方法的流程示意图;
图3是根据本公开实施例的应用示例中知识图谱构建场景的示意图;
图4是根据本公开实施例的应用示例中基于对文档数据的解析构建多层业务架构的示意图;
图5是根据本公开实施例的应用示例中构建知识图谱及其业务应用的系统架构图;
图6是根据本公开实施例的知识图谱构建装置的组成结构示意图;
图7是用来实现本公开实施例的知识图谱构建方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。本文中术语“第一”、“第二”表示指代多个类似的技术用语并对其进行区分,并不是限定顺序的意思,或者限定只有两个的意思,例如,第一特征和第二特征,是指代有两类/两个特征,第一特征可以为一个或多个,第二特征也可以为一个或多个。
另外,为了更好的说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。
针对行业(或称企业)知识图谱的构建,采用相关技术手段,都需要投入大量的构建成本,无法满足现如今数据量和知识量飞速增长的现状,也难以做到规模化的落地应用。
针对行业(或称企业)而言,存在大量内容丰富的文档数据,如何从这些文档数据中提取出满足行业各个业务应用场景的行业知识图谱,且只需结合少量的行业数据样本即可构建该行业知识图谱,以降低构建成本是要解决的问题,对此,本公开提供了一种知识图谱构建方案,可以从文档数据中得到多种类型的待处理数据(如文档数据中的字、词、句、段落、章节、表格、图片、公式、图表等),将该待处理数据基于少量的行业数据样本进行匹配,最终构建出所需的行业知识图谱,大大降低了行业知识图谱的构建成本,进而,通过该行业知识图谱还可以促进行业知识的应用,提高生产效率与质量。
根据本公开的实施例,图1是根据本公开实施例的一分布式集群处理场景的示意图,该分布式集群系统为集群系统的一个示例,示例性的描述了可以利用该分布式集群系统进行行业知识图谱的构建,本公开不限于单机或多机上的知识图谱构建,采用分布式的处理可以进一步提高行业知识图谱的构建精度。如图1所示,在该分布式集群系统中包括多个节点(如服务器集群101、服务器102、服务器集群103、服务器104、服务器105,服务器105还可以连接电子设备,如手机1051及台式机1052),多个节点间,以及多个节点与连接的电子设备间可以共同执行一个或多个关系提取任务。可选地,该分布式集群系统中的多个节点可以采用数据并行的方式执行与行业知识图谱构建相关的部分或全部任务,以提高该行业知识图谱的构建精度和构建效率。
根据本公开的实施例,提供了一种知识图谱构建方法,图2是根据本公开实施例的知识图谱构建方法的流程示意图,该方法可以应用于知识图谱构建装置,例如,该装置可以部署于单机、多机或集群系统中的终端或服务器或其它处理设备执行的情况下,可以实现知识图谱构建等等处理。其中,终端可以为用户设备(UE,User Equipment)、移动设备、个人数字处理(PDA,Personal Digital Assistant)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图2所示,该方法应用于图1所示的集群系统中的任一节点或电子设备(手机或台式机等)中,包括:
S201、对第一文档数据进行解析,得到多种类型的待处理数据。
S202、将待处理数据与行业样本数据进行匹配,得到与该行业样本数据匹配的实体对象,该实体对象用于表征行业知识的分类。
S203、从待处理数据中提取出与该实体对象相关的第一子对象。
S204、根据实体对象和该第一子对象,构建行业知识图谱。
S201-S204的一示例中,该多种类型的待处理数据,包括但不限于文档数据中的字、词、句、段落、章节、表格、图片、公式、图表等,该多种类型的待处理数据也可以称之为多粒度的待处理数据,其中,“字”、“词”、“句”、“段落”、“章节”、“表格”、“图片”、“公式”、“图表”分别为针对该第一文档数据的一个数据类型划分粒度。换言之,通过对第一文档数据的解析,即:基于不同的数据类型划分粒度可以得到该多种类型的待处理数据。将该多种类型的待处理数据与少量的行业样本数据进行匹配,比如,通过命名实体识别(Named EntityRecognition,NER)处理,可以得到与该行业样本数据匹配的实体对象。从该多种类型的待处理数据中提取出与该实体对象相关的第一子对象(如分面),以便根据该实体对象和该第一子对象快速的构建该行业知识图谱。其中,该分面指:事物的多维度属性,比如一本书包含主题、作者、年代等分面;比如以行业知识为例,还可以是工艺要求、工艺流程等分面。
采用本公开,通过对第一文档数据进行解析,可以得到多种类型的待处理数据,将该待处理数据与行业样本数据进行匹配,可以得到与行业样本数据匹配的实体对象,该实体对象用于表征行业知识的分类。从待处理数据中提取出与该实体对象相关的第一子对象,以便根据该实体对象和该第一子对象构建行业知识图谱,从而,可以降低行业知识图谱的构建成本。
一实施方式中,还包括:根据实体对象构建用于查询的第一数据结构,根据第一子对象构建用于查询的第二数据结构。
一示例中,该第一数据结构可以为基于该实体对象构建的用于描述实体对象上下位关系的数据结构(可以称之为实体上下位体系);在第一子对象以分面为例的情况下,该第二数据结构可以为基于分面构建的数据结构(可以称之为分面体系)。
采用本实施方式,可以根据该实体对象和该第一子对象构建用于查询场景的多种数据结构,以便更精准的适配该查询场景,并最终构建出所需的行业知识图谱。
一实施方式中,根据实体对象和第一子对象,构建行业知识图谱,包括:对第一文档数据,根据第一数据结构和第二数据结构进行数据结构的重新组织,得到第二文档数据。根据该第二文档数据,构建行业知识图谱。
一示例中,该第一数据结构可以为基于该实体对象构建的用于描述实体对象上下位关系的数据结构(可以称之为实体上下位体系);在第一子对象以分面为例的情况下,该第二数据结构可以为基于分面构建的数据结构(可以称之为分面体系),可以通过多种数据结构重新组织数据后构建行业知识图谱。
采用本实施方式,可以根据该实体对象和该第一子对象构建用于查询场景的多种数据结构,通过多种数据结构对无序的该第一文档数据重新组织数据后,使得到的第二文档数据有序且符合多种数据格式,适配该查询场景构建出所需的行业知识图谱也更精确,便于后续收到查询请求后快速匹配到符合查询请求的查询结果。
一实施方式中,还包括:从待处理数据中提取出第二子对象,第二子对象为经过语义解析得到的第一语义标签。
一些示例中,除了实体对象、与该实体对象相关的第一子对象(如分面),还可以包括第二子对象(如第一语义标签),从而可以根据该实体对象、该第一子对象和该第二子对象中的至少两种更好的构建出所需的行业知识图谱。其中,对于第二子对象而言,可以构建用于查询的第三数据结构,以便针对该第一文档数据,根据该第三数据结构进行数据结构的重新组织,得到第三文档数据,根据该第三文档数据,构建行业知识图谱。
采用本实施方式,可以根据该实体对象、该第一子对象和该第二子对象中的至少两种数据结构更好的构建出所需的行业知识图谱。其中,就第二子对象而言,可以通过第三数据结构对无序的该第一文档数据重新组织数据后,使得到的第三文档数据有序且符合对应的数据格式,适配该查询场景构建出所需的行业知识图谱也更精确,便于后续收到查询请求后快速匹配到符合查询请求的查询结果。
一实施方式中,还包括:对获取的查询请求进行语义解析,得到查询请求描述的第二语义标签,根据该第二语义标签更新行业知识图谱。
一些示例中,终端发起的查询请求(或者为终端推荐的信息中)也包括对构建行业知识图谱有用的数据,比如,在查询场景中可以包括分析查询请求的用户查询意图(或称查询需求),基于该用户查询意图可以得到第二语义标签,根据该第二语义标签可以更新行业知识图谱。
采用本实施方式,不仅如上述从文档数据中可以提取出构建行业知识图谱有用的数据,以避免相关技术中必须依赖大量的行业样本数据及大量的标注数据等,而且,还可以如上述示例,可以通过与用户的互动,从用户发起的查询请求中得到对构建行业知识图谱有用的数据,最终,结合这两面途径得到的数据可以构建更全面、更准确的行业知识图谱。不仅可以更新行业知识图谱,还可以根据该行业知识图谱对查询请求进行响应以得到文档数据中包括文档内容块的查询结果,进一步的,还可以根据文档数据中该文档内容块对应的坐标,基于视觉交互定位出该文档内容块在该文件数据中的位置。
一实施方式中,还包括:获取查询请求中的请求数据,将该请求数据和多维度的查询指标与行业知识图谱进行匹配,得到多维度的语义块。根据该多维度的语义块,对与该请求数据对应文档数据中的多个文档内容块进行聚合,得到聚合结果。在同一个文档页面中显示该聚合结果。其中,该多维度的查询指标,包括实体对象、第一子对象、第二子对象中的至少两种。
一些示例中,请求数据可以是:查询某文档数据中与变压器相关的参数(如环境温度过高对变压器的影响参数等),根据该请求数据和多维度的查询指标与行业知识图谱进行匹配,得到与该变压器相关的参数(如环境温度过高对变压器的影响参数等)和多维度的查询指标匹配的该多维度的语义块(这些语义块中包括的内容与该变压器相关的参数相匹配、或者存在上下级关系等),将这些语义块进行聚合得到的聚合结果,在同一个文档页面中进行显示。
采用本实施方式,在查询场景中,分析查询请求中的请求数据,结合上述所构建的行业知识图谱,根据该行业知识图谱对该查询请求进行响应,可以直接反馈与该查询请求对应的查询内容(如将文档数据中的文档内容块聚合处理后得到的聚合结果),由于基于行业知识图谱进行查询匹配的精准性,导致无需二次跳转,可以直接得到与该查询请求对应的查询内容,直接满足查询请求,提高查询精度,提高了查询效率。
图3是根据本公开实施例的应用示例中知识图谱构建场景的示意图,如图3所示,包括两方面内容,第一方面:在服务器300侧得到多种数据结构,以根据该多种数据结构来构建行业知识图谱;第二方面,服务器300侧通过与终端设备301侧的交互(如查询场景中针对查询请求的响应),进一步更新所需的行业知识图谱,以及反馈针对该查询请求的查询结果(如将文档数据中的文档内容块聚合处理后得到的聚合结果)。如图3所示的具体处理流程包括:
S301、基于面向文档内容的原始数据,将文档内容划分为多个粒度,如文档章节、文档表格、文档图片、文档公式、文档段落、文档中的字、词、句等。
S302、基于少量行业样本数据,对数据实体进行NER识别,以构建出包含实体上下位关系的实体体系311。
S303、从文档数据中提取与该实体对象相关的分面,提取与实体对象匹配的分面标签,以构建出分面体系312。
S304、提取文档数据中的第一语义标签,以构建出语义标签体系313。
S305、服务器获取终端设备发起的查询请求。
S306、服务器对该查询请求进行响应处理,基于该查询请求中的语义聚合得到语义块,将与该语义块匹配的文档内容块314反馈给终端设备。
一些示例中,可以通过深度学习技术实现各类文档数据(如pdf、word、excel、ppt等)的解析处理,形成多个粒度的待处理数据(包括文档数据中的字、词、句、段落、章节、表格、图片、公式、图表等)。该解析处理可以通过对应不同粒度的多个语义碎片单元分别执行,以提高处理效率。从文档数据中基于NER、复杂NER、泛实体抽取模型等进行实体对象的抽取,比如,结合少量行业样本数据对该多个粒度的待处理数据进行匹配,以实现行业(或企业)实体对象的抽取,从而基于行业规则或行业知识构建出包含实体上下位关系的实体体系311。从文档数据中提取与该实体对象相关的分面,比如,从章节、图表、正文中提取关于实体对象的各个分面标签,并基于章节层级结构、基于篇章级关系抽取等方法,提取与实体对象匹配的分面标签,以构建出分面体系312;比如,从表格中抽取单元格、基于行列结构抽取键值对(Key-value,KV)值或、SPO值(即基于表格得到的SPO二元组、三元组信息或其他多元组信息等)。提取文档数据中的第一语义标签,比如基于通用概念图谱(即包括第一语义标签的映射关系)构建语义标签体系313。
一些示例中,服务器获取查询请求后进行响应处理,可以该基于查询请求中的语义聚合得到语义块,最终反馈给终端设备与该语义块匹配的文档内容块314。该响应处理可以通过索引语义单元执行,有别于第一方面的离线处理方式,可以采用在线处理方式,比如,可以根据查询请求中描述的用户查询意图得到第二语义标签,以根据该第二语义标签可以更新行业知识图谱。还可以根据查询请求中的请求数据及其描述的用户查询意图,结合上述多维度的查询指标(比如,该查询指标包括实体对象、第一子对象、第二子对象中的至少两种)与行业知识图谱进行匹配,得到多维度的语义块,从而根据该多维度的语义块对与该请求数据对应文档数据中的多个文档内容块进行聚合,得到聚合结果。在同一个文档页面中显示该聚合结果,考虑到该语义块是满足行业业务应用场景需求的完整单位,以查询场景为例,基于该语义块的聚合处理,可以直接反馈出与查询请求相关的最完整的文档内容块,在不做二次跳转原文的情况下,直接满足查询需求。
可选的,采用如图3所示知识图谱构建,可以基于实体对象、第一子对象(如分面)及第二子对象(如第一语义标签和第二语义标签)构成的多维度查询指标的多种组合方式去关联文档数据中的多个文档内容块,从而,不仅可以得到包括多维度内容的行业知识图谱,还可以快速响应查询请求,直接满足查询需求,直接反馈与该查询请求匹配的查询结果。
图4是根据本公开实施例的应用示例中基于对文档数据的解析构建多层业务架构的示意图,如图4所示,通过对文档数据的碎片化内容(文档、章节、表格、段落、图片等)多粒度的划分及解析处理,得到多种数据格式,从而基于多种数据格式(如上述第一数据格式、上述第二数据格式、上述第三数据格式中的至少两种)构建出行业知识图谱。该行业知识图谱可以进一步加入业务事件图谱中,并提供给上层业务应用所针对的用于文档数据处理的各个业务核心对象(如包括查询、推荐等文档数据处理的业务核心对象)。
表1中示例了包括实体、分面等的数据结构,如表1所示,采用多种数据格式(如上述第一数据格式、上述第二数据格式、上述第三数据格式中的至少两种)构建出行业知识图谱,并对文档数据进行重新组织,采用实体、分面、部件等进行标识,从而将无序且半结构化的文档数据转变为有序且结构化的文档数据,提高了查询场景中对查询请求的响应精度及响应效率。
表1
表2中示例了包括实体、分面等的数据结构,基于表2示例的数据结构可以实现文档数据的查询,表3中示例了在文档数据“110kV SF6气体绝缘三相双绕组交流电力变压器技术规范书”中查询得到的文档内容块。如表2-表3所示,查询请求可以包括请求数据“110v电力变压器”,根据该请求数据及其用户查询意图去匹配行业知识图谱,得到匹配的语义块。根据该语义块进行聚合处理后,可以直接跳转到对应文档数据“110kV SF6气体绝缘三相双绕组交流电力变压器技术规范书”中的文档内容块的相应位置(如表3中右侧显示的“4.1.2环境温度”的部分),从而基于该语义块的聚合处理,可以直接反馈出与查询请求相关的最完整的文档内容块,在不做二次跳转原文的情况下,直接满足查询需求。
表2
表3
图5是根据本公开实施例的应用示例中构建知识图谱及其业务应用的系统架构图,如图5所示,通过系统架构中的行业知识图谱构建模块来实现上述行业知识图谱的构建过程,具体的,可以通过结构分析模块在各类文档数据中得到多粒度的待处理数据,可以通过内容理解模块进行各种抽取处理、语义分析等,以便该行业知识图谱构建模块可以基于该结构分析模块的输出及该内容理解模块的输出来实现上述行业知识图谱的构建过程。进一步的,还可以与各个上层业务应用中的模块(一个或多个查询模块、一个或多个推荐模块等)进行在线交互来更新该行业知识图谱,以及对各个上层业务应用进行精准及高效的响应处理(查询的相关性排序、匹配查询的内容及行业知识体系、基于用户或使用场景的内容和知识推荐等)。
采用上述本应用示例,由于无需人工构建行业知识图谱,也无需行业专家去构建及标注行业数据样本,完全基于企业/行业的现有文档数据,通过实体、分面、标签抽取等手段得到多种数据格式后构建行业知识图谱,在短时间内,因此,无需行业专家复杂的专业背景知识,完全企业/行业的现有文档数据自身,即可构建出符合企业/行业的知识体系的行业知识图谱,更加高效,从而满足了各个上层业务应用基本的内容知识检索、知识推荐、知识问答、知识梳理等需求。而且,通过对文档数据的碎片化处理及聚合处理,形成能够直接满足需求的语义块,直接反馈出对应语义块的文档内容块,以及定位出该文档内容块的所在位置,避免过多地跳转原文,实现了对海量的半结构化文档内容的细粒度查询及定位。
根据本公开的实施例,提供了一种知识图谱构建装置,图6是根据本公开实施例的知识图谱构建装置的组成结构示意图,如图6所示,知识图谱构建装置包括:解析模块601,用于对第一文档数据进行解析,得到多种类型的待处理数据;匹配模块602,用于将所述待处理数据与行业样本数据进行匹配,得到与所述行业样本数据匹配的实体对象,所述实体对象用于表征行业知识的分类;第一提取模块603,用于从所述待处理数据中提取出与所述实体对象相关的第一子对象;第一构建模块604,用于根据所述实体对象和所述第一子对象,构建行业知识图谱。
一实施方式中,还包括:第二构建模块,用于根据所述实体对象,构建用于查询的第一数据结构;根据所述第一子对象,构建用于查询的第二数据结构。
一实施方式中,其中,所述第一构建模块604,用于对所述第一文档数据,根据所述第一数据结构和所述第二数据结构进行数据结构的重新组织,得到第二文档数据;根据所述第二文档数据,构建所述行业知识图谱。
一实施方式中,还包括:第二提取模块,用于从所述待处理数据中提取出第二子对象,所述第二子对象为经过语义解析得到的第一语义标签。
一实施方式中,还包括:第三构建模块,用于根据所述第二子对象,构建用于查询的第三数据结构;对所述第一文档数据,根据所述第三数据结构进行数据结构的重新组织,得到第三文档数据;根据所述第三文档数据,构建所述行业知识图谱。
一实施方式中,还包括:更新模块,用于对获取的查询请求进行语义解析,得到所述查询请求描述的第二语义标签;根据所述第二语义标签,更新所述行业知识图谱。
一实施方式中,还包括:聚合模块,用于获取查询请求中的请求数据;将所述请求数据和多维度的查询指标与所述行业知识图谱进行匹配,得到多维度的语义块;根据所述多维度的语义块,对与所述请求数据对应文档数据中的多个文档内容块进行聚合,得到聚合结果;在同一个文档页面中显示所述聚合结果;其中,所述多维度的查询指标,包括所述实体对象、所述第一子对象、所述第二子对象中的至少两种。
本公开的技术方案中,所涉及的用户个人信息的获取,存储和应用等,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示,电子设备700包括计算单元701,其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序,来执行各种适当的动作和处理。在RAM 703中,还可存储电子设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
电子设备700中的多个部件连接至I/O接口705,包括:输入单元706,例如键盘、鼠标等;输出单元707,例如各种类型的显示器、扬声器等;存储单元708,例如磁盘、光盘等;以及通信单元709,例如网卡、调制解调器、无线通信收发机等。通信单元709允许电子设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理,例如知识图谱构建方法。例如,在一些实施例中,知识图谱构建方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元708。在一些实施例中,计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到电子设备700上。当计算机程序加载到RAM 703并由计算单元701执行时,可以执行上文描述的知识图谱构建方法的一个或多个步骤。备选地,在其他实施例中,计算单元701可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行知识图谱构建方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (12)
1.一种知识图谱构建方法,包括:
对第一文档数据进行解析,得到多种类型的待处理数据;
将所述待处理数据与行业样本数据进行匹配,得到与所述行业样本数据匹配的实体对象,所述实体对象用于表征行业知识的分类;
从所述待处理数据中提取出与所述实体对象相关的第一子对象;
根据所述实体对象和所述第一子对象,构建行业知识图谱,
所述方法还包括:
从所述待处理数据中提取出第二子对象,所述第二子对象为经过语义解析得到的第一语义标签;
获取查询请求中的请求数据;
将所述请求数据和多维度的查询指标与所述行业知识图谱进行匹配,得到多维度的语义块;
根据所述多维度的语义块,对与所述请求数据对应文档数据中的多个文档内容块进行聚合,得到聚合结果;
在同一个文档页面中显示所述聚合结果;
其中,所述多维度的查询指标,包括所述实体对象、所述第一子对象、所述第二子对象中的至少两种。
2.根据权利要求1所述的方法,还包括:
根据所述实体对象,构建用于查询的第一数据结构;
根据所述第一子对象,构建用于查询的第二数据结构。
3.根据权利要求2所述的方法,其中,所述根据所述实体对象和所述第一子对象,构建行业知识图谱,包括:
对所述第一文档数据,根据所述第一数据结构和所述第二数据结构进行数据结构的重新组织,得到第二文档数据;
根据所述第二文档数据,构建所述行业知识图谱。
4.根据权利要求1所述的方法,还包括:
根据所述第二子对象,构建用于查询的第三数据结构;
对所述第一文档数据,根据所述第三数据结构进行数据结构的重新组织,得到第三文档数据;
根据所述第三文档数据,构建所述行业知识图谱。
5.根据权利要求1所述的方法,还包括:
对获取的查询请求进行语义解析,得到所述查询请求描述的第二语义标签;
根据所述第二语义标签,更新所述行业知识图谱。
6.一种知识图谱构建装置,包括:
解析模块,用于对第一文档数据进行解析,得到多种类型的待处理数据;
匹配模块,用于将所述待处理数据与行业样本数据进行匹配,得到与所述行业样本数据匹配的实体对象,所述实体对象用于表征行业知识的分类;
第一提取模块,用于从所述待处理数据中提取出与所述实体对象相关的第一子对象;
第一构建模块,用于根据所述实体对象和所述第一子对象,构建行业知识图谱;
第二提取模块,用于从所述待处理数据中提取出第二子对象,所述第二子对象为经过语义解析得到的第一语义标签;
聚合模块,用于:
获取查询请求中的请求数据;
将所述请求数据和多维度的查询指标与所述行业知识图谱进行匹配,得到多维度的语义块;
根据所述多维度的语义块,对与所述请求数据对应文档数据中的多个文档内容块进行聚合,得到聚合结果;
在同一个文档页面中显示所述聚合结果;
其中,所述多维度的查询指标,包括所述实体对象、所述第一子对象、所述第二子对象中的至少两种。
7.根据权利要求6所述的装置,还包括第二构建模块,用于:
根据所述实体对象,构建用于查询的第一数据结构;
根据所述第一子对象,构建用于查询的第二数据结构。
8.根据权利要求7所述的装置,其中,所述第一构建模块,用于:
对所述第一文档数据,根据所述第一数据结构和所述第二数据结构进行数据结构的重新组织,得到第二文档数据;
根据所述第二文档数据,构建所述行业知识图谱。
9.根据权利要求6所述的装置,还包括第三构建模块,用于:
根据所述第二子对象,构建用于查询的第三数据结构;
对所述第一文档数据,根据所述第三数据结构进行数据结构的重新组织,得到第三文档数据;
根据所述第三文档数据,构建所述行业知识图谱。
10.根据权利要求6所述的装置,还包括更新模块,用于:
对获取的查询请求进行语义解析,得到所述查询请求描述的第二语义标签;
根据所述第二语义标签,更新所述行业知识图谱。
11.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-5中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210604131.5A CN115203428B (zh) | 2022-05-30 | 2022-05-30 | 一种知识图谱构建方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210604131.5A CN115203428B (zh) | 2022-05-30 | 2022-05-30 | 一种知识图谱构建方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115203428A CN115203428A (zh) | 2022-10-18 |
CN115203428B true CN115203428B (zh) | 2023-09-26 |
Family
ID=83576770
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210604131.5A Active CN115203428B (zh) | 2022-05-30 | 2022-05-30 | 一种知识图谱构建方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115203428B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107633044A (zh) * | 2017-09-14 | 2018-01-26 | 国家计算机网络与信息安全管理中心 | 一种基于热点事件的舆情知识图谱构建方法 |
CN113656590A (zh) * | 2021-07-16 | 2021-11-16 | 北京百度网讯科技有限公司 | 行业图谱的构建方法、装置、电子设备及存储介质 |
CN113836314A (zh) * | 2021-09-18 | 2021-12-24 | 北京百度网讯科技有限公司 | 知识图谱构建方法、装置、设备以及存储介质 |
CN114495143A (zh) * | 2021-12-24 | 2022-05-13 | 北京百度网讯科技有限公司 | 一种文本对象识别方法、装置、电子设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111522967B (zh) * | 2020-04-27 | 2023-09-15 | 北京百度网讯科技有限公司 | 知识图谱构建方法、装置、设备以及存储介质 |
-
2022
- 2022-05-30 CN CN202210604131.5A patent/CN115203428B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107633044A (zh) * | 2017-09-14 | 2018-01-26 | 国家计算机网络与信息安全管理中心 | 一种基于热点事件的舆情知识图谱构建方法 |
CN113656590A (zh) * | 2021-07-16 | 2021-11-16 | 北京百度网讯科技有限公司 | 行业图谱的构建方法、装置、电子设备及存储介质 |
CN113836314A (zh) * | 2021-09-18 | 2021-12-24 | 北京百度网讯科技有限公司 | 知识图谱构建方法、装置、设备以及存储介质 |
CN114495143A (zh) * | 2021-12-24 | 2022-05-13 | 北京百度网讯科技有限公司 | 一种文本对象识别方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115203428A (zh) | 2022-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114610845B (zh) | 基于多系统的智能问答方法、装置和设备 | |
CN113326420B (zh) | 问题检索方法、装置、电子设备和介质 | |
CN113836314B (zh) | 知识图谱构建方法、装置、设备以及存储介质 | |
CN118210908B (zh) | 一种检索增强方法、装置、电子设备及存储介质 | |
CN114495143B (zh) | 一种文本对象识别方法、装置、电子设备及存储介质 | |
CN113609847B (zh) | 信息抽取方法、装置、电子设备及存储介质 | |
CN113268560A (zh) | 用于文本匹配的方法和装置 | |
CN112559631A (zh) | 分布式图数据库的数据处理方法、装置以及电子设备 | |
CN113239295A (zh) | 搜索方法、装置、电子设备以及存储介质 | |
CN112506864B (zh) | 文件检索的方法、装置、电子设备及可读存储介质 | |
CN117112595A (zh) | 一种信息查询方法、装置、电子设备及存储介质 | |
CN113836316B (zh) | 三元组数据的处理方法、训练方法、装置、设备及介质 | |
CN113609100A (zh) | 数据存储方法、数据查询方法、装置及电子设备 | |
CN115203428B (zh) | 一种知识图谱构建方法、装置、电子设备及存储介质 | |
CN115186163B (zh) | 搜索结果排序模型的训练与搜索结果排序方法、装置 | |
CN116597443A (zh) | 素材标签处理方法、装置、电子设备及介质 | |
CN116955856A (zh) | 信息展示方法、装置、电子设备以及存储介质 | |
CN115658903A (zh) | 文本分类方法、模型训练方法、相关装置及电子设备 | |
CN114969371A (zh) | 一种联合知识图谱的热度排序方法及装置 | |
CN114417862A (zh) | 文本匹配方法、文本匹配模型的训练方法和装置 | |
CN112818167A (zh) | 实体检索方法、装置、电子设备及计算机可读存储介质 | |
CN116069914B (zh) | 训练数据的生成方法、模型训练方法以及装置 | |
CN116610782B (zh) | 文本检索方法、装置、电子设备及介质 | |
CN116542244A (zh) | 电力行业的实体消歧方法及装置 | |
CN116431764A (zh) | 一种数据匹配方法、装置、设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |