CN110163257A - 抽取结构化信息的方法、装置、设备和计算机存储介质 - Google Patents
抽取结构化信息的方法、装置、设备和计算机存储介质 Download PDFInfo
- Publication number
- CN110163257A CN110163257A CN201910330632.7A CN201910330632A CN110163257A CN 110163257 A CN110163257 A CN 110163257A CN 201910330632 A CN201910330632 A CN 201910330632A CN 110163257 A CN110163257 A CN 110163257A
- Authority
- CN
- China
- Prior art keywords
- text
- model
- processed
- input
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Machine Translation (AREA)
Abstract
本发明提供一种抽取结构化信息的方法、装置、设备和计算机存储介质,其中所述方法包括:获取用户输入的待处理文本,并确定所述待处理文本的领域;确定与所述待处理文本的领域对应的信息抽取模型,其中所确定的信息抽取模型为阅读理解模型、序列标注模型以及序列生成模型中的一种;将所述待处理文本作为输入,输入到所确定的信息抽取模型中,将所确定的信息抽取模型的输出结果作为所述待处理文本的结构化信息。本发明能够提升结构化信息的抽取准确性。
Description
【技术领域】
本发明涉及自然语言处理技术领域,尤其涉及一种抽取结构化信息的方法、装置、设备和计算机存储介质。
【背景技术】
在各个领域中,普遍存在以自然语言记录的文本。我们把这类文本定义为无结构文本,如财报、新闻、病历等。同时在各个领域中,也普遍存在抽取结构化信息的需求。即从无结构文本中,提取一些结构化的属性值,如从财报中提取公司名称、从新闻中提取袭击事件的地点、从病历中提取患者的癌症分期情况等。但由于存在大量的无结构文本,很难直接通过人力进行结构化抽取工作,所以以计算机为基础的结构化抽取软件应运而生。
在现有技术中,通常采用相同的结构化抽取软件对不同领域的文本进行结构化信息的抽取,而由于不同领域的文本所抽取的结构化信息会因文本所属领域的不同而不同,因此现有技术在抽取不同领域文本中的结构化信息时,抽取的准确性较低。
【发明内容】
有鉴于此,本发明提供了一种抽取结构化信息的方法、装置、设备和计算机存储介质,能够提升结构化信息的抽取准确性。
本发明为解决技术问题所采用的技术方案是提供一种抽取结构化信息的方法,所述方法包括:获取用户输入的待处理文本,并确定所述待处理文本的领域;确定与所述待处理文本的领域对应的信息抽取模型,其中所确定的信息抽取模型为阅读理解模型、序列标注模型以及序列生成模型中的一种;将所述待处理文本作为输入,输入到所确定的信息抽取模型中,将所确定的信息抽取模型的输出结果作为所述待处理文本的结构化信息。
根据本发明一优选实施例,所述确定所述待处理文本的领域包括:将待处理文本输入到预先训练得到的领域识别模型中,将领域识别模型的输出结果确定为待处理文本的领域。
根据本发明一优选实施例,所述确定所述待处理文本的领域包括:获取领域分类模板;将所述待处理文本与所述领域分类模板进行匹配,将匹配得到的领域分类模板所对应的领域确定为所述待处理文本的领域。
根据本发明一优选实施例,所述确定与所述待处理文本的领域对应的信息抽取模型包括:根据预设的领域与信息抽取模型之间的对应关系,确定与所述待处理文本的领域对应的信息抽取模型。
根据本发明一优选实施例,所述阅读理解模型采用以下方式预先训练得到:获取文本、与各文本对应的问题描述以及各文本中所包含的部分词语;将各文本以及与各文本对应的问题描述作为输入,将各文本中所包含的部分词语作为输出,训练深度学习模型,从而得到阅读理解模型
根据本发明一优选实施例,所述序列标注模型采用以下方式预先训练得到:获取文本以及各文本中各词语的标签;将各文本作为输入,将各文本以及各文本中各词语的标签作为输出,训练深度学习模型,从而得到序列标注模型。
根据本发明一优选实施例,所述序列生成模型采用以下方式预先训练得到:获取文本以及与各文本对应的文本描述;将各文本作为输入,将与各文本对应的文本描述作为输出,训练深度学习模型,从而得到序列生成模型。
根据本发明一优选实施例,在将所述待处理文本作为输入,输入到所确定的信息抽取模型中之前,还包括:对所述待处理文本进行分词处理,得到所述待处理文本的分词结果;将所述待处理文本的分词结果作为所确定的信息抽取模型的输入。
根据本发明一优选实施例,若所确定的信息抽取模型为阅读理解模型,在将所述待处理文本作为输入,输入到所确定的阅读理解模型中之前,还包括:获取用户输入的问题描述;将所述待处理文本以及所述问题描述作为所述阅读理解模型的输入。
本发明为解决技术问题所采用的技术方案是提供一种抽取结构化信息的装置,所述装置包括:获取单元,用于获取用户输入的待处理文本,并确定所述待处理文本的领域;确定单元,用于确定与所述待处理文本的领域对应的信息抽取模型,其中所确定的信息抽取模型为阅读理解模型、序列标注模型以及序列生成模型中的一种;抽取单元,用于将所述待处理文本作为输入,输入到所确定的信息抽取模型中,将所确定的信息抽取模型的输出结果作为所述待处理文本的结构化信息。
根据本发明一优选实施例,所述获取单元在确定所述待处理文本的领域时,具体执行:将待处理文本输入到预先训练得到的领域识别模型中,将领域识别模型的输出结果确定为待处理文本的领域。
根据本发明一优选实施例,所述获取单元在确定所述待处理文本的领域时,具体执行:获取领域分类模板;将所述待处理文本与所述领域分类模板进行匹配,将匹配得到的领域分类模板所对应的领域确定为所述待处理文本的领域。
根据本发明一优选实施例,所述确定单元在确定与所述待处理文本的领域对应的信息抽取模型时,具体执行:根据预设的领域与信息抽取模型之间的对应关系,确定与所述待处理文本的领域对应的信息抽取模型。
根据本发明一优选实施例,所述装置还包括训练单元,用于采用以下方式预先训练得到所述阅读理解模型:获取文本、与各文本对应的问题描述以及各文本中所包含的部分词语;将各文本以及与各文本对应的问题描述作为输入,将各文本中所包含的部分词语作为输出,训练深度学习模型,从而得到阅读理解模型
根据本发明一优选实施例,所述装置还包括训练单元,用于采用以下方式预先训练得到所述序列标注模型:获取文本以及各文本中各词语的标签;将各文本作为输入,将各文本以及各文本中各词语的标签作为输出,训练深度学习模型,从而得到序列标注模型。
根据本发明一优选实施例,所述装置还包括训练单元,用于采用以下方式预先训练得到所述序列生成模型:获取文本以及与各文本对应的文本描述;将各文本作为输入,将与各文本对应的文本描述作为输出,训练深度学习模型,从而得到序列生成模型。
根据本发明一优选实施例,所述抽取单元在将所述待处理文本作为输入,输入到所确定的信息抽取模型中之前,还执行:对所述待处理文本进行分词处理,得到所述待处理文本的分词结果;将所述待处理文本的分词结果作为所确定的信息抽取模型的输入。
根据本发明一优选实施例,若所述确定单元所确定的信息抽取模型为阅读理解模型,所述抽取单元在将所述待处理文本作为输入,输入到所确定的阅读理解模型中之前,还执行:获取用户输入的问题描述;将所述待处理文本以及所述问题描述作为所述阅读理解模型的输入。
由以上技术方案可以看出,本发明通过获取待处理文本的领域,进而根据待处理文本的领域来确定相应的信息抽取模型,最后根据所确定的信息抽取模型对待处理文本进行结构化信息的抽取,避免了使用相同的信息抽取模型对不同领域文本进行结构化信息的抽取,从而提升了结构化信息抽取的准确性。
【附图说明】
图1为本发明一实施例提供的一种抽取结构化信息的方法流程图;
图2为本发明一实施例提供的一种抽取结构化信息的装置结构图;
图3为本发明一实施例提供的计算机系统/服务器的框图。
【具体实施方式】
为了使本发明的目的、技术方案和优点更加清楚,下面结合附图和具体实施例对本发明进行详细描述。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
图1为本发明一实施例提供的一种抽取结构化信息的方法流程图,如图1中所示,所述方法包括:
在101中,获取用户输入的待处理文本,并确定所述待处理文本的领域。
在本步骤中,获取用户输入的待处理文本,例如要进行结构化信息抽取的财报、病历等无结构文本,然后确定该待处理文本所属的领域,例如确定用户输入的财报属于金融领域、确定用户输入的病历属于医疗领域等。
可以理解的是,待处理文本的领域可以为待处理文本所属的技术领域,例如待处理文本属于医疗领域、金融领域或者科技领域等;也可以为某一技术领域中的某个分类领域,例如待处理文本属于医疗领域中的CT报告、病理报告或者手术记录等。
具体地,本步骤在确定待处理文本的领域时,可以采用以下方式:将待处理文本输入到预先训练得到的领域识别模型中,将领域识别模型的输出结果确定为待处理文本的领域。其中,预先训练得到的领域识别模型能够根据所输入的文本输出该文本对应的领域。
其中,在预先训练得到领域识别模型时,可以采用以下方式:获取文本以及对应各文本的领域;将各文本作为输入,将对应各文本的领域作为输出,训练分类模型,以得到领域识别模型。
另外,本步骤在确定待处理文本的领域时,也可以采用以下方式:获取领域分类模板,其中一个领域分类模板对应唯一一个领域;将待处理文本与所获取的领域分类模板进行匹配,将匹配得到的领域分类模板所对应的领域确定为待处理文本的领域。其中,领域分类模板是预先存在的,直接获取预先存在的领域分类模板来确定待处理文本所属的领域。
在102中,确定与所述待处理文本的领域对应的信息抽取模型,其中所确定的信息抽取模型为阅读理解模型、序列标注模型以及序列生成模型中的一种。
对于不同领域的文本来说,所抽取的结构化信息会因领域的不同而不同。举例来说,对于医疗领域的文本来说,需要对文本中身体部位的信息进行抽取,但对于金融领域的文本来说,则无需对文本中身体部位的信息进行抽取。而使用相同的信息抽取模型对不同领域的文本进行结构化信息抽取时,会抽取相同的结构化信息,例如抽取不同领域的文本中身体部位的信息,因此会导致结构化信息抽取的准确性较低。
为了解决上述问题,在本步骤中,确定与步骤101中待处理文本的领域对应的信息抽取模型,其中所确定的信息抽取模型为阅读理解模型、序列标注模型以及序列生成模型中的一种。其中,上述三种信息抽取模型是预先训练得到的,能够根据所输入的文本,输出对应该文本的结构化信息。
具体地,本步骤在确定与待处理文本的领域对应的信息抽取模型时,可以采用以下方式:根据预设的领域与信息抽取模型之间的对应关系,确定与待处理文本的领域对应的信息抽取模型,进而根据所确定的信息抽取模型对该待处理文本进行结构化信息的抽取。
因此,本步骤根据预设的对应关系,确定与待处理文本的领域所对应的信息抽取模型,即所确定的信息抽取模型仅用于对预设领域的文本进行结构化信息的抽取,从而提升结构化信息抽取的准确性。另外,本步骤也可以对各信息抽取模型进行展示,将用户从中所选择的信息抽取模型作为与待处理文本的领域对应的信息抽取模型。
可以理解的是,本发明在建立领域与信息抽取模型之间的对应关系时,可以根据各个信息抽取模型对不同领域的文本进行信息抽取时的抽取效果,将对某一领域的文本实际抽取效果最好的信息抽取模型作为与该领域所对应的信息抽取模型。
举例来说,若序列生成模型对金融领域的文本的抽取效果最好,则建立“金融领域与序列生成模型之间的对应关系”;若序列标注模型对医疗领域的文本的抽取效果最好,则建立“医疗领域与序列标注模型之间的对应关系”;若阅读理解模型对科技领域的文本的抽取效果最好,则建立“科技领域与阅读理解模型之间的对应关系”。
另外,本发明也可以根据各个信息抽取模型在进行训练时所使用的训练数据的领域,来建立领域与信息抽取模型之间的对应关系。
举例来说,若训练阅读理解模型时所使用的训练数据为金融领域的文本,则建立“金融领域与阅读理解模型之间的对应关系”;若训练阅读理解模型时所使用的训练数据为科技领域的文本,则建立“科技领域与阅读理解模型之间的对应关系”。
在103中,将所述待处理文本作为输入,输入到所确定的信息抽取模型中,将所确定的信息抽取模型的输出结果作为所述待处理文本的结构化信息。
在本步骤中,将步骤101所获取的待处理文本作为输入,输入到步骤102所确定的信息抽取模型中,从而将该信息抽取模型的输出结果,作为对应待处理文本的结构化信息。
另外,本步骤在将待处理文本作为输入,输入到所确定的信息抽取模型之前,还可以包括以下内容:对待处理文本进行分词处理,得到该待处理文本的分词结果;将待处理文本的分词结果作为所确定的信息抽取模型的输入。
可以理解的是,步骤102中所确定的信息抽取模型是预先训练得到的,各信息抽取模型的训练过程分别为:
阅读理解模型,可以采用以下方式预先训练得到:获取文本、与各文本对应的问题描述以及各文本中所包含的部分词语;将各文本以及与各文本对应的问题描述作为输入,将各文本中所包含的部分词语作为输出,训练深度学习模型,从而得到阅读理解模型。利用该阅读理解模型,能够根据所输入的文本以及问题描述,输出该文本中所包含的部分词语。
举例来说,若输入阅读理解模型中的问题描述为“抽取公司名称”时,则该模型会将所输入的文本中包含的公司名称作为输出结果。
序列标注模型,可以采用以下方式预先训练得到:获取文本以及各文本中各词语的标签;将各文本作为输入,将各文本以及各文本中各词语的标签作为输出,训练深度学习模型,从而得到序列标注模型。利用该序列标注模型,能够根据所输入的文本,输出该文本以及该文本中各词语对应的标签。
举例来说,若将“A公司的张女士离职”作为序列标注模型的输入,则该模型的输出为“A公司(company)的(other)张女士(person)离职(leave)”。
序列生成模型,可以采用以下方式预先训练得到:获取文本以及与各文本对应的文本描述;将各文本作为输入,将与各文本对应的文本描述作为输出,训练深度学习模型,从而得到序列生成模型。利用该序列生成模型,能够根据所输入的文本,得到对应该文本的描述文本。即序列生成模型能够对所输入的文本进行转化,例如将输入文本中的某个词语转化为另一个词语,从而得到对应该输入文本的另一表达方式。
举例来说,若将“英格兰遭遇袭击”作为序列生成模型的输入,则该模型的输出可能为“英国被攻击”,即序列生成模型将“英格兰”转化为“英国”,将“遭遇袭击”转化为“被攻击”。
可以理解的是,若步骤102中所确定的信息抽取模型为阅读理解模型,则本步骤在将待处理文本作为输入,输入到所确定的阅读理解模型之前,还包括以下内容:获取用户输入的问题描述;将待处理文本以及所获取的问题描述作为输入,输入到阅读理解模型。
图2为本发明一实施例提供的一种抽取结构化信息的装置结构图,如图2中所示,所述装置包括:训练单元21、获取单元22、确定单元23以及抽取单元24。
训练单元21,用于预先训练得到各信息抽取模型,各信息抽取模型中包括阅读理解模型、序列标注模型以及序列生成模型。
其中,训练单元21可以采用以下方式预先训练得到阅读理解模型:获取文本、与各文本对应的问题描述以及各文本中所包含的部分词语;将各文本以及与各文本对应的问题描述作为输入,将各文本中所包含的部分词语作为输出,训练深度学习模型,从而得到阅读理解模型。利用该阅读理解模型,能够根据所输入的文本以及问题描述,输出该文本中所包含的部分词语。
训练单元21可以采用以下方式预先训练得到序列标注模型:获取文本以及各文本中各词语的标签;将各文本作为输入,将各文本以及各文本中各词语的标签作为输出,训练深度学习模型,从而得到序列标注模型。利用该序列标注模型,能够根据所输入的文本,输出该文本以及该文本中各词语对应的标签。
训练单元21可以采用以下方式预先训练得到序列生成模型:获取文本以及与各文本对应的文本描述;将各文本作为输入,将与各文本对应的文本描述作为输出,训练深度学习模型,从而得到序列生成模型。利用该序列生成模型,能够根据所输入的文本,得到对应该文本的描述文本。即序列生成模型能够对所输入的文本进行转化,例如将输入文本中的某个词语转化为另一个词语,从而得到对应该输入文本的另一表达方式。
获取单元22,用于获取用户输入的待处理文本,并确定所述待处理文本的领域。
获取单元22获取用户输入的待处理文本,例如要进行结构化信息抽取的财报、病历等无结构文本,然后确定该待处理文本所属的领域,例如确定用户输入的财报属于金融领域、确定用户输入的病历属于医疗领域等。
可以理解的是,待处理文本的领域可以为待处理文本所属的技术领域,例如待处理文本属于医疗领域、金融领域或者科技领域等;也可以为某一技术领域中的某个分类领域,例如待处理文本属于医疗领域中的CT报告、病理报告或者手术记录等。
具体地,获取单元22在确定待处理文本的领域时,可以采用以下方式:将待处理文本输入到预先训练得到的领域识别模型中,将领域识别模型的输出结果确定为待处理文本的领域。其中,预先训练得到的领域识别模型能够根据所输入的文本输出该文本对应的领域。
其中,在预先训练得到领域识别模型时,可以采用以下方式:获取文本以及对应各文本的领域;将各文本作为输入,将对应各文本的领域作为输出,训练分类模型,以得到领域识别模型。
另外,获取单元22在确定待处理文本的领域时,也可以采用以下方式:获取领域分类模板,其中一个领域分类模板对应唯一一个领域;将待处理文本与所获取的领域分类模板进行匹配,将匹配得到的领域分类模板所对应的领域确定为待处理文本的领域。其中,领域分类模板是预先存在的,直接获取预先存在的领域分类模板来确定待处理文本所属的领域。
确定单元23,用于确定与所述待处理文本的领域对应的信息抽取模型,其中所确定的信息抽取模型为阅读理解模型、序列标注模型以及序列生成模型中的一种。
确定单元23确定与获取单元22中待处理文本的领域对应的信息抽取模型,其中所确定的信息抽取模型为阅读理解模型、序列标注模型以及序列生成模型中的一种。其中,上述三种信息抽取模型是预先由训练单元21训练得到的,能够根据所输入的文本,输出对应该文本的结构化信息。
具体地,确定单元23在确定与待处理文本的领域对应的信息抽取模型时,可以采用以下方式:根据预设的领域与信息抽取模型之间的对应关系,确定与待处理文本的领域对应的信息抽取模型,进而根据所确定的信息抽取模型对该待处理文本进行结构化信息的抽取。
因此,确定单元23根据预设的对应关系,确定与待处理文本的领域所对应的信息抽取模型,即所确定的信息抽取模型仅用于对预设领域的文本进行结构化信息的抽取,从而提升结构化信息抽取的准确性。另外,确定单元23也可以将各信息抽取模型进行展示,将用户从中所选择的信息抽取模型作为与待处理文本的领域对应的信息抽取模型。
抽取单元24,用于将所述待处理文本作为输入,输入到所确定的信息抽取模型中,将所确定的信息抽取模型的输出结果作为所述待处理文本的结构化信息。
抽取单元24将获取单元22所获取的待处理文本作为输入,输入到确定单元23所确定的信息抽取模型中,从而将该信息抽取模型的输出结果,作为对应待处理文本的结构化信息。
另外,抽取单元24在将待处理文本作为输入,输入到所确定的信息抽取模型之前,还可以包括以下内容:对待处理文本进行分词处理,得到该待处理文本的分词结果;将待处理文本的分词结果作为所确定的信息抽取模型的输入。
可以理解的是,若确定单元23所确定的信息抽取模型为阅读理解模型,则抽取单元24在将待处理文本作为输入,输入到所确定的阅读理解模型之前,还包括以下内容:获取用户输入的问题描述;将待处理文本以及所获取的问题描述作为输入,输入到阅读理解模型。
如图3所示,计算机系统/服务器012以通用计算设备的形式表现。计算机系统/服务器012的组件可以包括但不限于:一个或者多个处理器或者处理单元016,系统存储器028,连接不同系统组件(包括系统存储器028和处理单元016)的总线018。
总线018表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机系统/服务器012典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器012访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器028可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)030和/或高速缓存存储器032。计算机系统/服务器012可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统034可以用于读写不可移动的、非易失性磁介质(图3未显示,通常称为“硬盘驱动器”)。尽管图3中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线018相连。存储器028可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块042的程序/实用工具040,可以存储在例如存储器028中,这样的程序模块042包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块042通常执行本发明所描述的实施例中的功能和/或方法。
计算机系统/服务器012也可以与一个或多个外部设备014(例如键盘、指向设备、显示器024等)通信,在本发明中,计算机系统/服务器012与外部雷达设备进行通信,还可与一个或者多个使得用户能与该计算机系统/服务器012交互的设备通信,和/或与使得该计算机系统/服务器012能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口022进行。并且,计算机系统/服务器012还可以通过网络适配器020与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器020通过总线018与计算机系统/服务器012的其它模块通信。应当明白,尽管图中未示出,可以结合计算机系统/服务器012使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元016通过运行存储在系统存储器028中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的方法流程。
随着时间、技术的发展,介质含义越来越广泛,计算机程序的传播途径不再受限于有形介质,还可以直接从网络下载等。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
利用本发明所提供的技术方案,通过获取待处理文本的领域,进而根据待处理文本的领域来确定相应的信息抽取模型,最后根据所确定的信息抽取模型对待处理文本进行结构化信息的抽取,避免使用相同的信息抽取模型对不同领域文本进行结构化信息的抽取,从而提升了结构化信息抽取的准确性。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。
Claims (20)
1.一种抽取结构化信息的方法,其特征在于,所述方法包括:
获取用户输入的待处理文本,并确定所述待处理文本的领域;
确定与所述待处理文本的领域对应的信息抽取模型,其中所确定的信息抽取模型为阅读理解模型、序列标注模型以及序列生成模型中的一种;
将所述待处理文本作为输入,输入到所确定的信息抽取模型中,将所确定的信息抽取模型的输出结果作为所述待处理文本的结构化信息。
2.根据权利要求1所述的方法,其特征在于,所述确定所述待处理文本的领域包括:
将待处理文本输入到预先训练得到的领域识别模型中,将领域识别模型的输出结果确定为待处理文本的领域。
3.根据权利要求1所述的方法,其特征在于,所述确定所述待处理文本的领域包括:
获取领域分类模板;
将所述待处理文本与所述领域分类模板进行匹配,将匹配得到的领域分类模板所对应的领域确定为所述待处理文本的领域。
4.根据权利要求1所述的方法,其特征在于,所述确定与所述待处理文本的领域对应的信息抽取模型包括:
根据预设的领域与信息抽取模型之间的对应关系,确定与所述待处理文本的领域对应的信息抽取模型。
5.根据权利要求1所述的方法,其特征在于,所述阅读理解模型采用以下方式预先训练得到:
获取文本、与各文本对应的问题描述以及各文本中所包含的部分词语;
将各文本以及与各文本对应的问题描述作为输入,将各文本中所包含的部分词语作为输出,训练深度学习模型,从而得到阅读理解模型。
6.根据权利要求1所述的方法,其特征在于,所述序列标注模型采用以下方式预先训练得到:
获取文本以及各文本中各词语的标签;
将各文本作为输入,将各文本以及各文本中各词语的标签作为输出,训练深度学习模型,从而得到序列标注模型。
7.根据权利要求1所述的方法,其特征在于,所述序列生成模型采用以下方式预先训练得到:
获取文本以及与各文本对应的文本描述;
将各文本作为输入,将与各文本对应的文本描述作为输出,训练深度学习模型,从而得到序列生成模型。
8.根据权利要求1所述的方法,其特征在于,在将所述待处理文本作为输入,输入到所确定的信息抽取模型中之前,还包括:
对所述待处理文本进行分词处理,得到所述待处理文本的分词结果;
将所述待处理文本的分词结果作为所确定的信息抽取模型的输入。
9.根据权利要求1所述的方法,其特征在于,若所确定的信息抽取模型为阅读理解模型,在将所述待处理文本作为输入,输入到所确定的阅读理解模型中之前,还包括:
获取用户输入的问题描述;
将所述待处理文本以及所述问题描述作为所述阅读理解模型的输入。
10.一种抽取结构化信息的装置,其特征在于,所述装置包括:
获取单元,用于获取用户输入的待处理文本,并确定所述待处理文本的领域;
确定单元,用于确定与所述待处理文本的领域对应的信息抽取模型,其中所确定的信息抽取模型为阅读理解模型、序列标注模型以及序列生成模型中的一种;
抽取单元,用于将所述待处理文本作为输入,输入到所确定的信息抽取模型中,将所确定的信息抽取模型的输出结果作为所述待处理文本的结构化信息。
11.根据权利要求10所述的装置,其特征在于,所述获取单元在确定所述待处理文本的领域时,具体执行:
将待处理文本输入到预先训练得到的领域识别模型中,将领域识别模型的输出结果确定为待处理文本的领域。
12.根据权利要求10所述的装置,其特征在于,所述获取单元在确定所述待处理文本的领域时,具体执行:
获取领域分类模板;
将所述待处理文本与所述领域分类模板进行匹配,将匹配得到的领域分类模板所对应的领域确定为所述待处理文本的领域。
13.根据权利要求10所述的装置,其特征在于,所述确定单元在确定与所述待处理文本的领域对应的信息抽取模型时,具体执行:
根据预设的领域与信息抽取模型之间的对应关系,确定与所述待处理文本的领域对应的信息抽取模型。
14.根据权利要求10所述的装置,其特征在于,所述装置还包括训练单元,用于采用以下方式预先训练得到所述阅读理解模型:
获取文本、与各文本对应的问题描述以及各文本中所包含的部分词语;
将各文本以及与各文本对应的问题描述作为输入,将各文本中所包含的部分词语作为输出,训练深度学习模型,从而得到阅读理解模型。
15.根据权利要求10所述的装置,其特征在于,所述装置还包括训练单元,用于采用以下方式预先训练得到所述序列标注模型:
获取文本以及各文本中各词语的标签;
将各文本作为输入,将各文本以及各文本中各词语的标签作为输出,训练深度学习模型,从而得到序列标注模型。
16.根据权利要求1所述的装置,其特征在于,所述装置还包括训练单元,用于采用以下方式预先训练得到所述序列生成模型:
获取文本以及与各文本对应的文本描述;
将各文本作为输入,将与各文本对应的文本描述作为输出,训练深度学习模型,从而得到序列生成模型。
17.根据权利要求10所述的装置,其特征在于,所述抽取单元在将所述待处理文本作为输入,输入到所确定的信息抽取模型中之前,还执行:
对所述待处理文本进行分词处理,得到所述待处理文本的分词结果;
将所述待处理文本的分词结果作为所确定的信息抽取模型的输入。
18.根据权利要求10所述的装置,其特征在于,若所述确定单元所确定的信息抽取模型为阅读理解模型,所述抽取单元在将所述待处理文本作为输入,输入到所确定的阅读理解模型中之前,还执行:
获取用户输入的问题描述;
将所述待处理文本以及所述问题描述作为所述阅读理解模型的输入。
19.一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1~9中任一项所述的方法。
20.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1~9中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910330632.7A CN110163257A (zh) | 2019-04-23 | 2019-04-23 | 抽取结构化信息的方法、装置、设备和计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910330632.7A CN110163257A (zh) | 2019-04-23 | 2019-04-23 | 抽取结构化信息的方法、装置、设备和计算机存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110163257A true CN110163257A (zh) | 2019-08-23 |
Family
ID=67639951
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910330632.7A Pending CN110163257A (zh) | 2019-04-23 | 2019-04-23 | 抽取结构化信息的方法、装置、设备和计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110163257A (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110555440A (zh) * | 2019-09-10 | 2019-12-10 | 杭州橙鹰数据技术有限公司 | 一种事件抽取方法及装置 |
CN111191130A (zh) * | 2019-12-30 | 2020-05-22 | 泰康保险集团股份有限公司 | 信息抽取方法、装置、设备及计算机可读存储介质 |
CN111274824A (zh) * | 2020-01-20 | 2020-06-12 | 文思海辉智科科技有限公司 | 自然语言处理方法、装置、计算机设备和存储介质 |
CN111506588A (zh) * | 2020-04-10 | 2020-08-07 | 创景未来(北京)科技有限公司 | 一种提取电子文档关键信息的方法及装置 |
CN111611794A (zh) * | 2020-05-18 | 2020-09-01 | 众能联合数字技术有限公司 | 一种基于行业规则和TextCNN模型的通用工程信息提取的方法 |
CN111753546A (zh) * | 2020-06-23 | 2020-10-09 | 深圳市华云中盛科技股份有限公司 | 文书信息抽取方法、装置、计算机设备及存储介质 |
CN111767384A (zh) * | 2020-07-08 | 2020-10-13 | 上海风秩科技有限公司 | 人机对话的处理方法、装置、设备及存储介质 |
CN111783472A (zh) * | 2020-06-30 | 2020-10-16 | 鼎富智能科技有限公司 | 一种判决书内容提取方法及相关装置 |
CN112560460A (zh) * | 2020-12-08 | 2021-03-26 | 北京百度网讯科技有限公司 | 抽取结构化信息的方法、装置、电子设备和可读存储介质 |
CN112905766A (zh) * | 2021-02-09 | 2021-06-04 | 长沙冉星信息科技有限公司 | 一种在主观答题文本中抽取核心观点的方法 |
CN113157949A (zh) * | 2021-04-27 | 2021-07-23 | 中国平安人寿保险股份有限公司 | 事件信息的抽取方法、装置、计算机设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060004525A1 (en) * | 2001-07-13 | 2006-01-05 | Syngenta Participations Ag | System and method of determining proteomic differences |
CN107301166A (zh) * | 2017-02-13 | 2017-10-27 | 上海大学 | 面向跨领域进行信息抽取的多层次特征模型和特征评价方法 |
CN107403375A (zh) * | 2017-04-19 | 2017-11-28 | 北京文因互联科技有限公司 | 一种基于深度学习的上市公司公告分类及摘要生成方法 |
CN108280062A (zh) * | 2018-01-19 | 2018-07-13 | 北京邮电大学 | 基于深度学习的实体和实体关系识别方法及装置 |
CN108763368A (zh) * | 2018-05-17 | 2018-11-06 | 爱因互动科技发展(北京)有限公司 | 抽取新知识点的方法 |
CN109190594A (zh) * | 2018-09-21 | 2019-01-11 | 广东蔚海数问大数据科技有限公司 | 光学字符识别系统及信息提取方法 |
CN109299179A (zh) * | 2018-10-15 | 2019-02-01 | 西门子医疗系统有限公司 | 结构化数据提取装置、方法及存储介质 |
CN109344251A (zh) * | 2018-09-11 | 2019-02-15 | 东南大学 | 一种基于层分类器和模板匹配的特定文本信息抽取方法 |
-
2019
- 2019-04-23 CN CN201910330632.7A patent/CN110163257A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060004525A1 (en) * | 2001-07-13 | 2006-01-05 | Syngenta Participations Ag | System and method of determining proteomic differences |
CN107301166A (zh) * | 2017-02-13 | 2017-10-27 | 上海大学 | 面向跨领域进行信息抽取的多层次特征模型和特征评价方法 |
CN107403375A (zh) * | 2017-04-19 | 2017-11-28 | 北京文因互联科技有限公司 | 一种基于深度学习的上市公司公告分类及摘要生成方法 |
CN108280062A (zh) * | 2018-01-19 | 2018-07-13 | 北京邮电大学 | 基于深度学习的实体和实体关系识别方法及装置 |
CN108763368A (zh) * | 2018-05-17 | 2018-11-06 | 爱因互动科技发展(北京)有限公司 | 抽取新知识点的方法 |
CN109344251A (zh) * | 2018-09-11 | 2019-02-15 | 东南大学 | 一种基于层分类器和模板匹配的特定文本信息抽取方法 |
CN109190594A (zh) * | 2018-09-21 | 2019-01-11 | 广东蔚海数问大数据科技有限公司 | 光学字符识别系统及信息提取方法 |
CN109299179A (zh) * | 2018-10-15 | 2019-02-01 | 西门子医疗系统有限公司 | 结构化数据提取装置、方法及存储介质 |
Non-Patent Citations (1)
Title |
---|
张怀涛: "《计算机文献检索》", 31 May 2007, 沈阳出版社 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110555440B (zh) * | 2019-09-10 | 2022-03-22 | 杭州橙鹰数据技术有限公司 | 一种事件抽取方法及装置 |
CN110555440A (zh) * | 2019-09-10 | 2019-12-10 | 杭州橙鹰数据技术有限公司 | 一种事件抽取方法及装置 |
CN111191130A (zh) * | 2019-12-30 | 2020-05-22 | 泰康保险集团股份有限公司 | 信息抽取方法、装置、设备及计算机可读存储介质 |
CN111274824A (zh) * | 2020-01-20 | 2020-06-12 | 文思海辉智科科技有限公司 | 自然语言处理方法、装置、计算机设备和存储介质 |
CN111274824B (zh) * | 2020-01-20 | 2023-05-05 | 文思海辉智科科技有限公司 | 自然语言处理方法、装置、计算机设备和存储介质 |
CN111506588A (zh) * | 2020-04-10 | 2020-08-07 | 创景未来(北京)科技有限公司 | 一种提取电子文档关键信息的方法及装置 |
CN111611794A (zh) * | 2020-05-18 | 2020-09-01 | 众能联合数字技术有限公司 | 一种基于行业规则和TextCNN模型的通用工程信息提取的方法 |
CN111753546A (zh) * | 2020-06-23 | 2020-10-09 | 深圳市华云中盛科技股份有限公司 | 文书信息抽取方法、装置、计算机设备及存储介质 |
CN111753546B (zh) * | 2020-06-23 | 2024-03-26 | 深圳市华云中盛科技股份有限公司 | 文书信息抽取方法、装置、计算机设备及存储介质 |
CN111783472A (zh) * | 2020-06-30 | 2020-10-16 | 鼎富智能科技有限公司 | 一种判决书内容提取方法及相关装置 |
CN111767384A (zh) * | 2020-07-08 | 2020-10-13 | 上海风秩科技有限公司 | 人机对话的处理方法、装置、设备及存储介质 |
CN112560460A (zh) * | 2020-12-08 | 2021-03-26 | 北京百度网讯科技有限公司 | 抽取结构化信息的方法、装置、电子设备和可读存储介质 |
CN112905766A (zh) * | 2021-02-09 | 2021-06-04 | 长沙冉星信息科技有限公司 | 一种在主观答题文本中抽取核心观点的方法 |
CN113157949A (zh) * | 2021-04-27 | 2021-07-23 | 中国平安人寿保险股份有限公司 | 事件信息的抽取方法、装置、计算机设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110163257A (zh) | 抽取结构化信息的方法、装置、设备和计算机存储介质 | |
CN107492379B (zh) | 一种声纹创建与注册方法及装置 | |
CN108052577A (zh) | 一种通用文本内容挖掘方法、装置、服务器及存储介质 | |
US10817707B2 (en) | Attack sample generating method and apparatus, device and storage medium | |
CN107545241A (zh) | 神经网络模型训练及活体检测方法、装置及存储介质 | |
CN107767870A (zh) | 标点符号的添加方法、装置和计算机设备 | |
CN110175527A (zh) | 行人再识别方法及装置、计算机设备及可读介质 | |
CN109214238A (zh) | 多目标跟踪方法、装置、设备及存储介质 | |
CN109960541A (zh) | 启动小程序的方法、设备和计算机存储介质 | |
CN109543560A (zh) | 一种视频中人物的分割方法、装置、设备和计算机存储介质 | |
CN110162786A (zh) | 构建配置文件以及抽取结构化信息的方法、装置 | |
CN109599095A (zh) | 一种语音数据的标注方法、装置、设备和计算机存储介质 | |
CN110232340A (zh) | 建立视频分类模型以及视频分类的方法、装置 | |
WO2021208601A1 (zh) | 基于人工智能的图像处理方法、装置、设备及存储介质 | |
CN112507701A (zh) | 待纠错医疗数据的识别方法、装置、设备和存储介质 | |
CN112650867B (zh) | 图片匹配方法、装置、电子设备以及存储介质 | |
CN107908641A (zh) | 一种获取图片标注数据的方法和系统 | |
CN112990294B (zh) | 行为判别模型的训练方法、装置、电子设备及存储介质 | |
CN108363556A (zh) | 一种基于语音与增强现实环境交互的方法和系统 | |
CN110188303A (zh) | 页面错误识别方法和装置 | |
CN109446907A (zh) | 一种视频聊天的方法、装置、设备和计算机存储介质 | |
CN110377694A (zh) | 标注文本对逻辑关系的方法、装置、设备和计算机存储介质 | |
CN109726372A (zh) | 基于通话记录的工单的生成方法、装置及计算机可读介质 | |
CN112233700A (zh) | 基于音频的用户状态识别方法、装置及存储介质 | |
CN109408829A (zh) | 文章可读性确定方法、装置、设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190823 |
|
RJ01 | Rejection of invention patent application after publication |