CN118377881A - 智能问答方法、系统、装置、计算机设备和可读存储介质 - Google Patents
智能问答方法、系统、装置、计算机设备和可读存储介质 Download PDFInfo
- Publication number
- CN118377881A CN118377881A CN202410805923.8A CN202410805923A CN118377881A CN 118377881 A CN118377881 A CN 118377881A CN 202410805923 A CN202410805923 A CN 202410805923A CN 118377881 A CN118377881 A CN 118377881A
- Authority
- CN
- China
- Prior art keywords
- text
- vector representation
- paragraph
- question
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 239000013598 vector Substances 0.000 claims abstract description 238
- 238000012545 processing Methods 0.000 claims abstract description 43
- 238000004590 computer program Methods 0.000 claims description 27
- 230000011218 segmentation Effects 0.000 claims description 27
- 238000004458 analytical method Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 101100481876 Danio rerio pbk gene Proteins 0.000 description 4
- 101100481878 Mus musculus Pbk gene Proteins 0.000 description 4
- 238000012098 association analyses Methods 0.000 description 4
- 238000010561 standard procedure Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 239000012634 fragment Substances 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 238000011017 operating method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/186—Templates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/194—Calculation of difference between files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种智能问答方法、系统、装置、计算机设备和可读存储介质。所述方法包括:获取用户输入的问题文本;基于问题文本对应的第一向量表示与预设知识库中存在的各第二向量表示的相似度在预设知识库中进行检索,得到问题文本对应的多个候选结果;根据第一向量表示与各候选结果构建任务提示模版;基于大语言模型对任务提示模版中第一向量表示和候选结果的关联关系进行分析处理,得到问题文本对应的目标结果。采用本方法能够提高智能问答方法进行回复的准确性。
Description
技术领域
本申请涉及人工智能技术领域,特别是涉及一种智能问答方法、系统、装置、计算机设备和可读存储介质。
背景技术
随着企业中业务的发展,工厂员工在上岗前需要接受培训,以明确操作规程(SOP,Standard Operation Procedure)手册中的内容,由于操作规程手册通常较为庞大,新员工在面对具体问题时需要花费大量时间进行查找。
传统技术中,企业可以构建工厂对应领域的问答系统,采用基于规则或关键词匹配的方法,针对用户提出的问题进行检索和匹配。首先,传统的问答系统需要确定用户提出问题中包含的关键词,基于该关键词和文档管理系统中的文件名或标签等元素数据进行检索,将关键词对应的文件作为用户提出问题的解答。
然而,传统技术的问答系统中,由于基于规则或关键词的匹配方法存在局限性,使得问答系统难以确定不同用户提出问题的语义和意图,且问答系统输出的解答是文件的形式,文件中的内容较多,与用户出问题的关联性较低,导致传统技术中问答系统输出解答内容的准确性较差。
发明内容
基于此,有必要针对上述技术问题,提供一种智能问答方法、系统、装置、计算机设备和可读存储介质。
第一方面,本申请提供了一种智能问答方法,包括:
获取用户输入的问题文本;
基于所述问题文本对应的第一向量表示与预设知识库中存在的各第二向量表示的相似度在所述预设知识库中进行检索,得到所述问题文本对应的多个候选结果;
根据所述第一向量表示与各所述候选结果构建任务提示模版;
基于大语言模型对所述任务提示模版中所述第一向量表示和所述候选结果的关联关系进行分析处理,得到所述问题文本对应的目标结果。
在其中一个实施例中,所述基于所述问题文本对应的第一向量表示与预设知识库中存在的各第二向量表示的相似度在所述预设知识库中进行检索,得到所述问题文本对应的多个候选结果,包括:
根据文本向量化模型对所述问题文本进行向量化处理,得到所述问题文本对应的第一向量表示;
基于预设向量相似度算法计算所述第一向量表示与预设知识库中的各第二向量表示的相似度;
将所述相似度大于预设阈值的各第二向量表示作为所述问题文本对应的候选结果。
在其中一个实施例中,所述基于大语言模型对所述任务提示模版中所述第一向量表示和所述候选结果的关联关系进行分析处理,得到所述问题文本对应的目标结果,包括:
基于大语言模型对所述任务提示模版中的所述第一向量表示和所述候选结果分别进行语义理解,得到所述问题文本对应的第一语义信息和所述候选结果对应的第二语义信息;
基于所述大语言模型对所述第一语义信息和第二语义信息进行关联性分析,得到语义关联信息;
基于所述语义关联信息对所述候选结果进行筛选,得到目标候选结果,并根据所述目标候选结果生成目标结果。
在其中一个实施例中,所述基于所述语义关联信息对所述候选结果进行筛选,得到目标候选结果,并根据所述目标候选结果生成目标结果之后,所述方法还包括:
确定所述目标候选结果在所述预设知识库中对应的文本块标记;
根据所述文本块标记与文件路径之间的对应关系,确定所述目标候选结果的目标文件路径或链接;
将所述目标文件路径或所述链接进行反馈。
在其中一个实施例中,所述获取用户输入的问题文本之前,所述方法还包括:
获取多模态知识数据;
对所述多模态知识数据进行切片处理,得到多个段落切片;
基于文本向量化模型对各所述段落切片进行数据处理,得到每个所述段落切片对应的第二向量表示,并确定各所述第二向量表示对应的文本块标记;
根据所述第二向量表示和所述第二向量表示对应的文本块标记构建预设知识库。
在其中一个实施例中,所述对所述多模态知识数据进行切片处理,得到多个段落切片,包括:
基于多模态模型将所述多模态知识数据转换为文本数据;
基于段落标志对所述文本数据进行段落切分,得到段落切片和所述段落切片对应的文本块标记。
在其中一个实施例中,所述基于文本向量化模型对各所述段落切片进行数据处理,得到每个所述段落切片对应的第二向量表示,并确定各所述第二向量表示对应的文本块标记,包括:
针对每一所述段落切片,根据分词工具对所述段落切片进行分词处理,得到每一所述段落切片中各子词的词序列;
基于文本向量化模型对各所述段落切片包含的所述词序列进行映射处理,得到初始第二向量表示;
将每一所述段落切片中包含的各所述初始第二向量表示进行合并或加权平均,得到每一所述段落切片对应的第二向量表示。
第二方面,本申请还提供了一种智能问答系统,包括:
用户端,用于获取问题文本并将所述问题文本反馈至服务端;
服务端,用于获取用户输入的问题文本;基于所述问题文本对应的第一向量表示与预设知识库中存在的各第二向量表示的相似度在所述预设知识库中进行检索,得到所述问题文本对应的多个候选结果;根据所述第一向量表示与各所述候选结果构建任务提示模版;基于大语言模型对所述任务提示模版中所述第一向量表示和所述候选结果的关联关系进行分析处理,得到所述问题文本对应的目标结果。
第三方面,本申请还提供了一种智能问答装置,包括:
第一获取模块,用于获取用户输入的问题文本;
检索模块,用于基于所述问题文本对应的第一向量表示与预设知识库中存在的各第二向量表示的相似度在所述预设知识库中进行检索,得到所述问题文本对应的多个候选结果;
第一构建模块,用于根据所述第一向量表示与各所述候选结果构建任务提示模版;
分析模块,用于基于大语言模型对所述任务提示模版中所述第一向量表示和所述候选结果的关联关系进行分析处理,得到所述问题文本对应的目标结果。
在其中一个实施例中,所述检索模块具体用于根据文本向量化模型对所述问题文本进行向量化处理,得到所述问题文本对应的第一向量表示;
基于预设向量相似度算法计算所述第一向量表示与预设知识库中的各第二向量表示的相似度;
将所述相似度大于预设阈值的各第二向量表示作为所述问题文本对应的候选结果。
在其中一个实施例中,所述分析模块具体用于基于大语言模型对所述任务提示模版中的所述第一向量表示和所述候选结果分别进行语义理解,得到所述问题文本对应的第一语义信息和所述候选结果对应的第二语义信息;
基于所述大语言模型对所述第一语义信息和第二语义信息进行关联性分析,得到语义关联信息;
基于所述语义关联信息对所述候选结果进行筛选,得到目标候选结果,并根据所述目标候选结果生成目标结果。
在其中一个实施例中,所述装置还包括:
第一确定模块,用于确定所述目标候选结果在所述预设知识库中对应的文本块标记;
第二确定模块,用于根据所述文本块标记与文件路径之间的对应关系,确定所述目标候选结果的目标文件路径或链接;
反馈模块,用于将所述目标文件路径或所述链接进行反馈。
在其中一个实施例中,所述装置还包括:
第二获取模块,用于获取多模态知识数据;
切片模块,用于对所述多模态知识数据进行切片处理,得到多个段落切片;
向量化处理模块,用于基于文本向量化模型对各所述段落切片进行数据处理,得到每个所述段落切片对应的第二向量表示,并确定各所述第二向量表示对应的文本块标记;
第二构建模块,用于根据所述第二向量表示和所述第二向量表示对应的文本块标记构建预设知识库。
在其中一个实施例中,所述切片模块具体用于基于多模态模型将所述多模态知识数据转换为文本数据;
基于段落标志对所述文本数据进行段落切分,得到段落切片和所述段落切片对应的文本块标记。
在其中一个实施例中,所述向量化处理模块具体用于针对每一所述段落切片,根据分词工具对所述段落切片进行分词处理,得到每一所述段落切片中各子词的词序列;
基于文本向量化模型对各所述段落切片包含的所述词序列进行映射处理,得到初始第二向量表示;
将每一所述段落切片中包含的各所述初始第二向量表示进行合并或加权平均,得到每一所述段落切片对应的第二向量表示。
第四方面,本申请还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取用户输入的问题文本;
基于所述问题文本对应的第一向量表示与预设知识库中存在的各第二向量表示的相似度在所述预设知识库中进行检索,得到所述问题文本对应的多个候选结果;
根据所述第一向量表示与各所述候选结果构建任务提示模版;
基于大语言模型对所述任务提示模版中所述第一向量表示和所述候选结果的关联关系进行分析处理,得到所述问题文本对应的目标结果。
第五方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取用户输入的问题文本;
基于所述问题文本对应的第一向量表示与预设知识库中存在的各第二向量表示的相似度在所述预设知识库中进行检索,得到所述问题文本对应的多个候选结果;
根据所述第一向量表示与各所述候选结果构建任务提示模版;
基于大语言模型对所述任务提示模版中所述第一向量表示和所述候选结果的关联关系进行分析处理,得到所述问题文本对应的目标结果。
第六方面,本申请还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取用户输入的问题文本;
基于所述问题文本对应的第一向量表示与预设知识库中存在的各第二向量表示的相似度在所述预设知识库中进行检索,得到所述问题文本对应的多个候选结果;
根据所述第一向量表示与各所述候选结果构建任务提示模版;
基于大语言模型对所述任务提示模版中所述第一向量表示和所述候选结果的关联关系进行分析处理,得到所述问题文本对应的目标结果。
上述智能问答方法、系统、装置、计算机设备和可读存储介质,根据问题文本对应的第一向量表示和预设知识库中存在的各第二向量表示的相似度检索问题文本对应的候选结果,可以快速地在大量表征多模态知识数据的第二向量表示中确定与问题文本具有语义相似性的候选结果。进而,将候选结果结合问题文本构建任务提示模版,实现大语言模型可以基于问题文本和候选结果的关联关系,来明确任务提示模板中的问题文本的语义,并生成贴合问题文本的语境的目标结果。任务提示模版中的候选结果还可以限制大语言模型的输出范围,使大语言模型更专注于生成与问题文本更具相关性的内容,提供更加准确和具体的目标结果,从而避免大语言模型生成泛化的描述,提高智能问答方法进行回复的准确性。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案,下面将对本申请实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为一个实施例中智能问答方法的流程示意图;
图2为一个实施例中在预设知识库中检索候选结果的流程示意图;
图3为一个实施例中大语言模型生成目标结果的流程示意图;
图4为一个实施例中对目标结果的扩展参考内容进行反馈的流程示意图;
图5为一个实施例中构建预设知识库的流程示意图;
图6为一个具体的实施例中构建预设知识库的示意图;
图7为一个实施例中多模态知识数据进行切片处理的流程示意图;
图8为一个实施例中对多模态知识数据进行进行向量化处理的流程示意图;
图9为一个实施例中一种智能问答方法的示例的流程示意图;
图10为一个实施例中智能问答装置的结构框图;
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在一个实施例中,如图1所示,提供了一种智能问答方法,本实施例以该方法应用于服务器进行举例说明,可以理解的是,该方法也可以应用于终端,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。本实施例中,该方法包括以下步骤:
步骤102,获取用户输入的问题文本。
本申请实施例中,在企业的工厂新员工上岗前,需要接受培训,了解工业场景下操作规程(SOP)手册中的内容,以及新员工的日常工作中,在面对具体的问题时需要依据操作规程手册中的规定来解决问题。此时,工厂的员工作为用户进行提问,即向终端输入当前面临的问题或查询某些情况下的解决方案,进而服务器接收并获取用户输入的问题文本。
在一个可选的实施例中,用户也可以通过语音的方式进行提问,终端响应于用户的提问操作,接收包含用户提问内容的音频数据,将该音频数据上传至预先设置的语音识别服务中,通过语音识别服务将音频数据转换为文本数据,进而得问题文本,并将问题文本发送至服务器。其中,还可以在话筒上添加降噪功能。这意味着用户可以通过语音与系统进行交互,而无需受到现场噪音的干扰,且语音输入的交互方式提高了在作业现场的操作效率,尤其适用于手部操作不便或视线受限的场景。通过语音输入,工人可以在操作机器或携带物品时更方便地提出问题,使得信息获取更加快捷和自然。
在一个可选的实施例中,由于工厂内时效性工艺和SOP的特殊需求,预设知识库具有预先设置的失效日期,预设知识库的管理员可以在维护预设知识库的同时,灵活设置知识数据的过期时间。具体地,预设知识库中的每条知识数据包含对应的过期时间,对于超过过期时间的知识数据,服务器可以将其删除,或者,在后续进行候选结果的检索时,服务器仅对未超过过期时间的知识数据对应的第二向量表示进行检索,防止生成包含过期知识数据的目标结果,进而保证智能问答方法进行回复的准确性。
在一个可选的实施例中,根据用户的角色和权限级别,服务器对其可访问的预设知识库的内容进行明确划分。例如,工厂的操作员可能只能访问与操作流程、设备使用等相关的基础的知识数据,工程师可以访问更深层次的技术资料,管理人员则可以检索财务和运营等核心数据。
步骤104,基于问题文本对应的第一向量表示与预设知识库中存在的各第二向量表示的相似度在预设知识库中进行检索,得到问题文本对应的多个候选结果。
本申请实施例中,预设知识库中包含预先存储的知识数据对应的第二向量表示,知识数据可以是由多种数据源获取到的工业作业环境下的相关说明文档、技术文档、常见问题解答等。这些文档可能包含了各种与工业作业相关的信息,例如,操作步骤、设备说明、安全规范等。
服务器在获取到用户输入的问题文本后,为了确定与当前问题文本的内容具有一定相关性的知识数据,将与问题文本具有相关性的知识数据作为参考,终端可以根据嵌入模型对问题文本进行向量化处理,得到第一向量表示。其中,嵌入模型的模型结构可以是Word2Vec(Word to Vector一群用来产生词向量的相关模型)、GloVe(Global Vectors forWord Representation,基于全局词频统计的词表征工具)、FastText(一种快速文本分类器)等。
服务器通过对预设知识库中已存储的第二向量表示进行遍历,通过相似度算法(例如,余弦相似度算法)计算第一向量表示与每个第二向量表示之间的相似度,基于第一向量表示与第二向量表示之间的相似度可以确定出与问题文本相关的候选结果,第一向量表示与第二向量表示的相似度可以表征问题文本和预设知识库中存储的知识数据的相关性。其中,将第二向量表示确定为候选结果的依据可以是对相似度进行分析,并将相似度与预先设置的阈值进行比较,服务器可以将大于该阈值的第二向量表示作为候选结果,或者,终端还可以对相似度进行排名,得到相似度的排名结果,并将排名结果TopK个相似度对应的第二向量表示确定为候选结果。
步骤106,根据第一向量表示与各候选结果构建任务提示模版。
本申请实施例中,任务提示模版可以为结构化数据,用于引导模型生成与特定主题、内容或关注点相关的回复文本。具体地,服务器可以将第一向量表示与多个候选结果(基于第一向量表示与第二向量表示的相似度对第二向量表示筛选得到第二向量表示)进行拼接,构建任务提示模版。
在一个可选的实施例中,任务提示模版可以通过用户的问题文本动态生成,基于预先存储的模版关键词和模版片段,根据问题文本中包含的关键词或短语对模版关键词和模版片段进行匹配,按照预先设置的模版结构将关键词和模版片段结合问题文本中原本包含的关键词或短语构建任务提示模版。
步骤108,基于大语言模型对任务提示模版中第一向量表示和候选结果的关联关系进行分析处理,得到问题文本对应的目标结果。
本申请实施例中,服务器利用大型语言模型(Large Language Model,大语言模型),对任务提示模板中的文本进行语义理解,通过大语言模型理解问题文本与候选结果之间的关系,并将任务提示模版中提供的候选结果作为依据,在候选结果中提取出与问题文本最相关的信息或答案(即目标结果)。并将与问题文本最相关的信息或答案反馈至终端进行输出显示。
上述智能问答方法中,根据问题文本对应的第一向量表示和预设知识库中存在的各第二向量表示的相似度检索问题文本对应的候选结果,可以快速地在大量表征多模态知识数据的第二向量表示中确定与问题文本具有语义相似性的候选结果。进而,将候选结果结合问题文本构建任务提示模版,实现大语言模型可以基于问题文本和候选结果的关联关系,来明确任务提示模板中的问题文本的语义,并生成贴合问题文本的语境的目标结果。任务提示模版中的候选结果还可以限制大语言模型的输出范围,使大语言模型更专注于生成与问题文本更具相关性的内容,提供更加准确和具体的目标结果,从而避免大语言模型生成泛化的描述,提高智能问答方法回复的准确性。
在一个示例性的实施例中,如图2所示,步骤104包括步骤202至步骤206。其中:
步骤202,根据文本向量化模型对问题文本进行向量化处理,得到问题文本对应的第一向量表示。
本申请实施例中,服务器根据文本向量化模型对问题文本进行向量化处理,将问题文本映射为高维度的第一向量表示,其中,第一向量表示的维度数量由文本向量化模型的模型结构和参数决定,高维的第一向量表示可以包含更加丰富的语义信息,每个维度可以看作问题文本的一个特征,使用向量来表示文本,则每个维度可能对应一个词语或者是某种语言学特征,例如,特征可以是词语的出现频率、词性、上下文信息等。
步骤204,基于预设向量相似度算法计算第一向量表示与预设知识库中的各第二向量表示的相似度。
本申请实施例中,预设向量相似度算法可以为基于余弦相似度或欧氏距离的相似度计算方法,按照预设向量相似度算法,服务器可以通过第一向量表示和第二向量表示之间的点积计算第一向量表示和第二向量表示之间的相似度。相似度计算通过比较第一向量表示和第二向量表示之间的相似程度来评估问题文本和知识数据之间的关联程度,具体为通过余弦相似度或欧氏距离来度量第一向量表示和第二向量表示在语义相似度上的差异,进而得出问题文本和知识数据之间的关联程度。
步骤206,将相似度大于预设阈值的各第二向量表示作为问题文本对应的候选结果。
本申请实施例中,不同问题文本与知识库中的文档可能具有不同的语义相似度。通过设定一个相似度阈值,可以在一定程度上过滤掉与问题文本的语义关联度较低的知识数据,当计算出问题文本的第一向量表示与每个候选文本的第二向量表示的相似度后,服务器会筛选出相似度大于预设阈值的候选结果,该候选结果代表了与用户提出问题的问题文本语义相近的知识数据。
在一个可选的实施例中,服务器还可以根据历史对话记录进行语义匹配,根据历史对话记录对应的向量表示与问题文本对应的第一向量进行相似度计算,并将相似度大于预设阈值的历史对话记录对应的向量表示也作为候选结果,为大语言模型的数据分析提供参考。
本实施例中,利用包含第二向量表示的预设知识库和相似度算法,可以快速地在大量知识数据中检索出与用户输入的问题文本在语义上相似的知识数据,提高了信息检索的速度和准确性。
在一个示例性的实施例中,如图3所示,步骤108包括步骤302至步骤306。其中:
步骤302,基于大语言模型对任务提示模版中的第一向量表示和候选结果分别进行语义理解,得到问题文本对应的第一语义信息和候选结果对应的第二语义信息。
本申请实施例中,服务器将任务提示模版输入至大语言模型中,通过大语言模型对第一向量表示进语义理解,得到第一语义信息,可以更深层次地理解用户提出问题的语义和意图。以及对候选结果进行语义理解,针对候选结果进行词汇、短语以及语句级别的语义理解,得到第二语义信息。其中,第一语义信息包括对问题文本的意图、主题、以及所包含的实体或概念的理解,第一语义信息可以帮助大语言模型理解用户提出的问题是什么,以及用户期望得到的答案可能涉及的领域和范围;第二语义信息包括知识数据中涉及的实体、事件、概念,以及与问题相关的背景信息,帮助大语言模型理解候选结果中提供的可能答案或问题相关的上下文,有助于确定哪些信息对于回答问题是最重要的。
基于高维的第一向量表示和第二向量表示,大语言模型可以从第一向量表示和第二向量表示的内容上进行语义理解,还包括对第一向量表示和第二向量表示进行上下文分析,理解问题文本和候选结果在上下文中的含义,包括通过问题文本和候选结果的上下文分析,可以确定用户提出问题的背景和候选结果对应的语境,作为生成目标结果的依据,保证大语言模型输出内容的准确性。
步骤304,基于大语言模型对第一语义信息和第二语义信息进行关联性分析,得到语义关联信息。
本申请实施例中,在语义理解得到第一语义信息和第二语义信息后,服务器通过语言模型分析问题文本和候选结果之间的语义关联,包括词汇、短语或句子级别的关联,即对第一语义信息和第二语义信息进行关联性分析,分析问题文本与候选结果之间的关联程度,包括第一语义信息和第二语义信息之间的语义相似度、问题文本和候选结果之间的逻辑关系、共现关系或其他相关性指标,得到表征第一向量表示和候选结果中具有关联性特征的语义关联信息。
步骤306,基于语义关联信息对候选结果进行筛选,得到目标候选结果,并根据目标候选结果生成目标结果。
本申请实施例中,基于第一向量表示和候选结果之间的关联性分析结果的语义关联信息,大语言模型可以对候选结果进行筛选,选择与问题文本最相关的候选答案,以排除一些不相关或不合适的候选结果,从而缩小大语言模型的分析范围。具体地,大语言模型首先计算问题文本的第一向量表示与作为候选结果的每个第二向量表示之间的相似度,相似度计算包括余弦相似度、欧氏距离、皮尔逊相关系数或曼哈顿距离等。然后,大语言模型可以根据计算的相似度结果进行排序,将相似度较高的候选结果排在前面,并将相似度最高的候选结果作为依据,进行进一步处理,生成问题文本对应的目标结果。其中,根据候选结果生成目标结果的过程还包括文本排重、文本匹配、上下文分析和逻辑推理的过程,以生成语序连贯、逻辑合理且贴合问题语境的目标结果。
在一个可选的实施例中,用户可以根据返回的目标结果进行反馈,帮助完善预设知识库,用户可以针对不在预设知识库范围内的问题进行维护。维护完成后,经审核人员审核通过,即可将新内容加入到预设知识库中,供后续检索使用。
本实施例中,大语言模型分别从问题文本和候选结果中提取语义信息,并分析二者之间的语义关联,以便更好地理解问题和候选结果的关联性,使大语言模型能够更全面、准确地理解问题的背景和候选结果的语境,进而生成更加准确的目标结果,提高智能问答方法回复的准确性。
在一个示例性的实施例中,服务器生成目标结果后,还可以将生成目标结果的依据进行输出展示,如图4所示,步骤306包括步骤402至步骤406。其中:
步骤402,确定目标候选结果在预设知识库中对应的文本块标记。
本申请实施例中,在预设知识库中,每个知识数据的第二向量表示具有其对应的文本块标记,服务器根据大语言模型对候选结果的筛选得到的目标候选结果和第二向量表示与文本块标记之间的对应关系,确定目标候选结果对应的文本块标记,为后续基于目标候选结果在预设知识库中对应的具体文本块标记进行定位和检索提供基础。
步骤404,根据文本块标记与文件路径之间的对应关系,确定目标候选结果的目标文件路径或链接。
本申请实施例中,服务器根据文本块标记与文件路径之间的对应关系,确定目标候选结果所在的具体文件路径或链接,该对应关系可以是一个索引表或预设知识库中的映射关系,用来将文本块标记与相应的文件路径或链接进行对应。
步骤406,将目标文件路径或链接进行反馈。
本申请实施例中,服务器将确定的目标文件路径或链接反馈至用户终端。这样用户就可以直接通过提供的链接或文件路径访问到相关的知识库文档或信息,从而获取更详细和全面的信息支持。其中,反馈的内容可以以文本形式呈现,也可以是一个可点击的链接或文件路径,用户点击后即可跳转到相应的文档、网页或文件夹。
本实施例中,通过将目标结果的依据(即对应的预设知识库中的知识数据或信息)进行清晰的输出展示,使用户能够方便地查看和获取相关信息,有助于用户参考确认答案的真实有效性,避免了因大语言模型可能带来的幻觉问题。通过明确目标结果的依据和来源,增强了用户对目标结果的信任感和可靠性,提高目标结果的透明度和可信度,进而保证目标结果的准确性。
在一个示例性的实施例中,如图5所示,步骤102之前,该方法还包括步骤502至步骤508。其中:
步骤502,获取多模态知识数据。
本申请实施例中,多模态知识数据可以是工厂的工业作业环境下的相关说明文档、技术文档、常见问题解答等,服务器读取预先存储的多模态知识数据,以便后续对多模态知识数据进行进一步处理。
步骤504,对多模态知识数据进行切片处理,得到多个段落切片。
本申请实施例中,服务器对多模态知识数据进行段落切分,根据段落标记(例如,换行符、段落标签、分页符或预先设置的长度等)将文档切分成段落切片,每个段落切片作为切片处理的基本单位。
步骤506,基于文本向量化模型对各段落切片进行数据处理,得到每个段落切片对应的第二向量表示,并确定各第二向量表示对应的文本块标记。
本申请实施例中,以预设知识库为业务知识库进行说明,如图6所示,服务器将包含业务文本数据的文档内容、问答对、语料或知识库导入至文本向量化模型,通过文本向量化模型对每个段落切片进行向量化处理,得到每个段落切片对应的第二向量表示,得到向量形式的业务数据。在段落切片过程中,服务器可以根据切片过程预先存储切片后的段落切片对应的文本块标记,表征段落切片所属的文档,记录该文本块在原始文档中的位置信息,以便后续还原原始文档的语义结构。进而根据段落切片对应文本块标记可以确定出第二向量表示对应的文本块标记,为构建向量索引提供依据。
步骤508,根据第二向量表示和第二向量表示对应的文本块标记构建预设知识库。
本申请实施例中,服务器将向量形式的业务数据,即第二向量表示和第二向量表示对应的文本块标记进行对应存储,可以使用数据库或文件系统等方式存储向量,确保后续可以高效地检索和使用,以构建包含向量索引和知识数据对应的第二向量表示的预设知识库。
本实施例中,通过将多模态知识数据进行切片和向量化存储的方式构建预设知识库,可以提高智能问答方法中对候选结果进行检索的效率,保持与原始多模态知识数据的关联性,还能够保证多模态知识数据进行存储的完整性和准确性。
在一个示例性的实施例中,如图7所示,步骤504包括步骤702至步骤704。其中:
步骤702,基于多模态模型将多模态知识数据转换为文本数据。
本申请实施例中,多模态知识数据可以由多种格式的知识源得到,例如,Word(文字处理器应用程序)文档、TXT(一种文本格式)文档、PDF(Portable Document Format,便携式文档格式)文档或图片等,服务器可以根据针对性的文档加载器或多模态模型将不同格式的多模态知识数据进行格式转换,将其转换成大语言模型能够理解的纯文本格式的文本数据。例如,针对PDF文件格式的多模态知识数据,服务器可以使用PDF提取器提取多模态知识数据中的文本内容;对于图片格式的多模态知识数据,服务器可以使用OCR(OpticalCharacter Recognition,光学字符识别)技术识别并转换其中的文字信息,得到文本数据。
在一个可选的实施例中,服务器完成针对多模态知识数据的格式转换后,服务器可以对格式转换后的文本数据进行预处理,包括去除文本数据中的特殊字符、空白字符等,减少噪声数据。
步骤704,基于段落标志对文本数据进行段落切分,得到段落切片和段落切片对应的文本块标记。
本申请实施例中,服务器按照步骤504中对多模态知识数据进行段落切分相同的原理,对文本数据进行段落切分,得到段落切片和段落切片对应的文本块标记,对于段落切分的具体过程本实施例不再进行赘述。
本实施例中,通过对文本数据格式的多模态知识数据进行段落切分得到段落切片和段落切片对应的文本块标记,可以提高信息检索的效率和后续进行过文本定位的准确性。
在一个示例性的实施例中,如图8所示,步骤506包括步骤802至步骤806。其中:
步骤802,针对每一段落切片,根据分词工具对段落切片进行分词处理,得到每一段落切片中各子词的词序列。
本申请实施例中,分词工具可以是NLTK(Natural Language Toolkit,自然语言处理工具包)或Spacy(一种工业级自然语言处理工具)等,服务器使用分词工具对段落切片进行分词处理,将段落切片对应的文本数据拆分成单词或子词的词序列。词序列为自然语言处理中,一段文本数据经过分词处理后,将文本中的连续词语按照它们在文本中出现的顺序排列而形成的序列,每个词语在词序列中占据一个位置,位置的顺序代表了该词语在原始文本中的出现顺序。
步骤804,基于文本向量化模型对各段落切片包含的词序列进行映射处理,得到初始第二向量表示。
本申请实施例中,服务器将分词后的单词或词序列映射到文本向量化模型(例如,词嵌入模型)中,获取每个单词对应的初始第二向量表示,即词向量。若词序列不在词嵌入模型的词汇表中,可以使用特殊的处理方法(例如,随机初始化向量)进行单词向量化。
步骤806,将每一段落切片中包含的各初始第二向量表示进行合并或加权平均,得到每一段落切片对应的第二向量表示。
本申请实施例中,服务器将每个段落切片的文本数据中所有单词的第一向量表示进行合并或加权平均,得到每个段落切片完整文本数据的第二向量表示。常用的方法包括求取所有单词的平均向量或加权平均向量,并将第二向量表示存储到向量库中,得到预设知识库。其中,服务器可以使用数据库或文件系统等方式存储第二向量表示,确保后续可以高效地检索和使用。
本实施例中,通过将文本数据转换成第二向量表示,并将生成的第二向量表示存储到向量库中构建预设知识库,以便后续的文本检索、相似度计算等任务,提高了文档处理和检索的效率,还保证了信息的完整性和准确性。
在一个具体的实施例中,提供了一种智能问答方法的示例,如图9所示,包括步骤901至步骤905。其中:
步骤901,将终端用户的问题输入给文本向量化模型,得到用户问题对应的第一向量表示;
步骤902,将第一向量表示输入至业务向量数据库;
步骤903,根据第一向量表示与业务向量数据库中的业务向量的相似度检索得到TopK个检索结果,作为候选结果;
步骤904,将TopK个候选结果整合为prompt形式的任务提示模版,并输入至LLM问答模型中;
步骤905,将问答模型生成的问答结果和第一向量表示在业务向量数据库中的检索结果返回至用户终端。
在其中一个实施例中,提供了一种智能问答系统,该系统包括用户端和服务端,其中:
用户端,用于获取问题文本并将问题文本反馈至服务端;
服务端,用于获取用户输入的问题文本;基于问题文本对应的第一向量表示与预设知识库中存在的各第二向量表示的相似度在预设知识库中进行检索,得到问题文本对应的多个候选结果;根据第一向量表示与各候选结果构建任务提示模版;基于大语言模型对任务提示模版中第一向量表示和候选结果的关联关系进行分析处理,得到问题文本对应的目标结果。
可选的,服务器得到问题文本对应的目标结果后,将该目标结果反馈至终端。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的智能问答方法的智能问答装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个智能问答装置实施例中的具体限定可以参见上文中对于智能问答方法的限定,在此不再赘述。
在一个示例性的实施例中,如图10所示,提供了一种智能问答装置,包括:第一获取模块1001、检索模块1002、第一构建模块1003和分析模块1004,其中:
第一获取模块1001,用于获取用户输入的问题文本;
检索模块1002,用于基于问题文本对应的第一向量表示与预设知识库中存在的各第二向量表示的相似度在预设知识库中进行检索,得到问题文本对应的多个候选结果;
第一构建模块1003,用于根据第一向量表示与各候选结果构建任务提示模版;
分析模块1004,用于基于大语言模型对任务提示模版中第一向量表示和候选结果的关联关系进行分析处理,得到问题文本对应的目标结果。
在其中一个实施例中,检索模块1002具体用于根据文本向量化模型对问题文本进行向量化处理,得到问题文本对应的第一向量表示;
基于预设向量相似度算法计算第一向量表示与预设知识库中的各第二向量表示的相似度;
将相似度大于预设阈值的各第二向量表示作为问题文本对应的候选结果。
在其中一个实施例中,分析模块1004具体用于基于大语言模型对任务提示模版中的第一向量表示和候选结果分别进行语义理解,得到问题文本对应的第一语义信息和候选结果对应的第二语义信息;
基于大语言模型对第一语义信息和第二语义信息进行关联性分析,得到语义关联信息;
基于语义关联信息对候选结果进行筛选,得到目标候选结果,并根据目标候选结果生成目标结果。
在其中一个实施例中,该装置1000还包括:
第一确定模块,用于确定目标候选结果在预设知识库中对应的文本块标记;
第二确定模块,用于根据文本块标记与文件路径之间的对应关系,确定目标候选结果的目标文件路径或链接;
反馈模块,用于将目标文件路径或链接进行反馈。
在其中一个实施例中,该装置1000还包括:
第二获取模块,用于获取多模态知识数据;
切片模块,用于对多模态知识数据进行切片处理,得到多个段落切片;
向量化处理模块,用于基于文本向量化模型对各段落切片进行数据处理,得到每个段落切片对应的第二向量表示,并确定各第二向量表示对应的文本块标记;
第二构建模块,用于根据第二向量表示和第二向量表示对应的文本块标记构建预设知识库。
在其中一个实施例中,切片模块具体用于基于多模态模型将多模态知识数据转换为文本数据;
基于段落标志对文本数据进行段落切分,得到段落切片和段落切片对应的文本块标记。
在其中一个实施例中,向量化处理模块具体用于针对每一段落切片,根据分词工具对段落切片进行分词处理,得到每一段落切片中各子词的词序列;
基于文本向量化模型对各段落切片包含的词序列进行映射处理,得到初始第二向量表示;
将每一段落切片中包含的各初始第二向量表示进行合并或加权平均,得到每一段落切片对应的第二向量表示。
上述智能问答装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个示例性的实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图11所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储预设知识库中存在的第二向量表示。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种智能问答方法。
本领域技术人员可以理解,图11中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个示例性的实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取用户输入的问题文本;
基于所述问题文本对应的第一向量表示与预设知识库中存在的各第二向量表示的相似度在所述预设知识库中进行检索,得到所述问题文本对应的多个候选结果;
根据所述第一向量表示与各所述候选结果构建任务提示模版;
基于大语言模型对所述任务提示模版中所述第一向量表示和所述候选结果的关联关系进行分析处理,得到所述问题文本对应的目标结果。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据文本向量化模型对所述问题文本进行向量化处理,得到所述问题文本对应的第一向量表示;
基于预设向量相似度算法计算所述第一向量表示与预设知识库中的各第二向量表示的相似度;
将所述相似度大于预设阈值的各第二向量表示作为所述问题文本对应的候选结果。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
基于大语言模型对所述任务提示模版中的所述第一向量表示和所述候选结果分别进行语义理解,得到所述问题文本对应的第一语义信息和所述候选结果对应的第二语义信息;
基于所述大语言模型对所述第一语义信息和第二语义信息进行关联性分析,得到语义关联信息;
基于所述语义关联信息对所述候选结果进行筛选,得到目标候选结果,并根据所述目标候选结果生成目标结果。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
确定所述目标候选结果在所述预设知识库中对应的文本块标记;
根据所述文本块标记与文件路径之间的对应关系,确定所述目标候选结果的目标文件路径或链接;
将所述目标文件路径或所述链接进行反馈。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取多模态知识数据;
对所述多模态知识数据进行切片处理,得到多个段落切片;
基于文本向量化模型对各所述段落切片进行数据处理,得到每个所述段落切片对应的第二向量表示,并确定各所述第二向量表示对应的文本块标记;
根据所述第二向量表示和所述第二向量表示对应的文本块标记构建预设知识库。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
基于多模态模型将所述多模态知识数据转换为文本数据;
基于段落标志对所述文本数据进行段落切分,得到段落切片和所述段落切片对应的文本块标记。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
针对每一所述段落切片,根据分词工具对所述段落切片进行分词处理,得到每一所述段落切片中各子词的词序列;
基于文本向量化模型对各所述段落切片包含的所述词序列进行映射处理,得到初始第二向量表示;
将每一所述段落切片中包含的各所述初始第二向量表示进行合并或加权平均,得到每一所述段落切片对应的第二向量表示。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要符合相关规定。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性存储器和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(Resistive Random Access Memory,ReRAM)、磁变存储器(Magnetoresistive RandomAccess Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。本申请提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器、人工智能(Artificial Intelligence,AI)处理器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本申请记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (12)
1.一种智能问答方法,其特征在于,所述方法包括:
获取用户输入的问题文本;
基于所述问题文本对应的第一向量表示与预设知识库中存在的各第二向量表示的相似度在所述预设知识库中进行检索,得到所述问题文本对应的多个候选结果;
根据所述第一向量表示与各所述候选结果构建任务提示模版;
基于大语言模型对所述任务提示模版中所述第一向量表示和所述候选结果的关联关系进行分析处理,得到所述问题文本对应的目标结果。
2.根据权利要求1所述的方法,其特征在于,所述基于所述问题文本对应的第一向量表示与预设知识库中存在的各第二向量表示的相似度在所述预设知识库中进行检索,得到所述问题文本对应的多个候选结果,包括:
根据文本向量化模型对所述问题文本进行向量化处理,得到所述问题文本对应的第一向量表示;
基于预设向量相似度算法计算所述第一向量表示与预设知识库中的各第二向量表示的相似度;
将所述相似度大于预设阈值的各第二向量表示作为所述问题文本对应的候选结果。
3.根据权利要求1所述的方法,其特征在于,所述基于大语言模型对所述任务提示模版中所述第一向量表示和所述候选结果的关联关系进行分析处理,得到所述问题文本对应的目标结果,包括:
基于大语言模型对所述任务提示模版中的所述第一向量表示和所述候选结果分别进行语义理解,得到所述问题文本对应的第一语义信息和所述候选结果对应的第二语义信息;
基于所述大语言模型对所述第一语义信息和第二语义信息进行关联性分析,得到语义关联信息;
基于所述语义关联信息对所述候选结果进行筛选,得到目标候选结果,并根据所述目标候选结果生成目标结果。
4.根据权利要求3所述的方法,其特征在于,所述基于所述语义关联信息对所述候选结果进行筛选,得到目标候选结果,并根据所述目标候选结果生成目标结果之后,所述方法还包括:
确定所述目标候选结果在所述预设知识库中对应的文本块标记;
根据所述文本块标记与文件路径之间的对应关系,确定所述目标候选结果的目标文件路径或链接;
将所述目标文件路径或所述链接进行反馈。
5.根据权利要求1所述的方法,其特征在于,所述获取用户输入的问题文本之前,所述方法还包括:
获取多模态知识数据;
对所述多模态知识数据进行切片处理,得到多个段落切片;
基于文本向量化模型对各所述段落切片进行数据处理,得到每个所述段落切片对应的第二向量表示,并确定各所述第二向量表示对应的文本块标记;
根据所述第二向量表示和所述第二向量表示对应的文本块标记构建预设知识库。
6.根据权利要求5所述的方法,其特征在于,所述对所述多模态知识数据进行切片处理,得到多个段落切片,包括:
基于多模态模型将所述多模态知识数据转换为文本数据;
基于段落标志对所述文本数据进行段落切分,得到段落切片和所述段落切片对应的文本块标记。
7.根据权利要求5所述的方法,其特征在于,所述基于文本向量化模型对各所述段落切片进行数据处理,得到每个所述段落切片对应的第二向量表示,并确定各所述第二向量表示对应的文本块标记,包括:
针对每一所述段落切片,根据分词工具对所述段落切片进行分词处理,得到每一所述段落切片中各子词的词序列;
基于文本向量化模型对各所述段落切片包含的所述词序列进行映射处理,得到初始第二向量表示;
将每一所述段落切片中包含的各所述初始第二向量表示进行合并或加权平均,得到每一所述段落切片对应的第二向量表示。
8.一种智能问答系统,其特征在于,所述系统包括:
用户端,用于获取问题文本并将所述问题文本反馈至服务端;
服务端,用于获取用户输入的问题文本;基于所述问题文本对应的第一向量表示与预设知识库中存在的各第二向量表示的相似度在所述预设知识库中进行检索,得到所述问题文本对应的多个候选结果;根据所述第一向量表示与各所述候选结果构建任务提示模版;基于大语言模型对所述任务提示模版中所述第一向量表示和所述候选结果的关联关系进行分析处理,得到所述问题文本对应的目标结果。
9.一种智能问答装置,其特征在于,所述装置包括:
第一获取模块,用于获取用户输入的问题文本;
检索模块,用于基于所述问题文本对应的第一向量表示与预设知识库中存在的各第二向量表示的相似度在所述预设知识库中进行检索,得到所述问题文本对应的多个候选结果;
第一构建模块,用于根据所述第一向量表示与各所述候选结果构建任务提示模版;
分析模块,用于基于大语言模型对所述任务提示模版中所述第一向量表示和所述候选结果的关联关系进行分析处理,得到所述问题文本对应的目标结果。
10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
12.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410805923.8A CN118377881A (zh) | 2024-06-21 | 2024-06-21 | 智能问答方法、系统、装置、计算机设备和可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410805923.8A CN118377881A (zh) | 2024-06-21 | 2024-06-21 | 智能问答方法、系统、装置、计算机设备和可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118377881A true CN118377881A (zh) | 2024-07-23 |
Family
ID=91909122
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410805923.8A Pending CN118377881A (zh) | 2024-06-21 | 2024-06-21 | 智能问答方法、系统、装置、计算机设备和可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118377881A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118643054A (zh) * | 2024-08-12 | 2024-09-13 | 无锡雪浪数制科技有限公司 | 融合语义图的向量数据库问答处理方法、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117056471A (zh) * | 2023-07-11 | 2023-11-14 | 数字郑州科技有限公司 | 知识库构建方法及基于生成式大语言模型的问答对话方法和系统 |
CN117708274A (zh) * | 2023-12-28 | 2024-03-15 | 上海氪信信息技术有限公司 | 一种基于大模型的搜索问答系统及其方法和电子设备 |
CN117708309A (zh) * | 2024-02-18 | 2024-03-15 | 粤港澳大湾区数字经济研究院(福田) | 检索问答方法、系统、设备及介质 |
CN117951269A (zh) * | 2023-12-27 | 2024-04-30 | 北京易华录信息技术股份有限公司 | 一种基于大语言模型的问答系统 |
-
2024
- 2024-06-21 CN CN202410805923.8A patent/CN118377881A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117056471A (zh) * | 2023-07-11 | 2023-11-14 | 数字郑州科技有限公司 | 知识库构建方法及基于生成式大语言模型的问答对话方法和系统 |
CN117951269A (zh) * | 2023-12-27 | 2024-04-30 | 北京易华录信息技术股份有限公司 | 一种基于大语言模型的问答系统 |
CN117708274A (zh) * | 2023-12-28 | 2024-03-15 | 上海氪信信息技术有限公司 | 一种基于大模型的搜索问答系统及其方法和电子设备 |
CN117708309A (zh) * | 2024-02-18 | 2024-03-15 | 粤港澳大湾区数字经济研究院(福田) | 检索问答方法、系统、设备及介质 |
Non-Patent Citations (3)
Title |
---|
化柏林: "文本信息分析与全文检索技术", 31 August 2008, 科学技术文献出版社, pages: 197 * |
张艳: "全媒体客户中心管理", 31 August 2016, 成都时代出版社, pages: 157 - 158 * |
龙志勇等: "大模型时代", 31 May 2023, 中译出版社, pages: 262 - 269 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118643054A (zh) * | 2024-08-12 | 2024-09-13 | 无锡雪浪数制科技有限公司 | 融合语义图的向量数据库问答处理方法、设备及存储介质 |
CN118643054B (zh) * | 2024-08-12 | 2024-11-05 | 无锡雪浪数制科技有限公司 | 融合语义图的向量数据库问答处理方法、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111680173B (zh) | 统一检索跨媒体信息的cmr模型 | |
CN109885672B (zh) | 一种面向在线教育的问答式智能检索系统及方法 | |
JP5192475B2 (ja) | オブジェクト分類方法およびオブジェクト分類システム | |
US11163936B2 (en) | Interactive virtual conversation interface systems and methods | |
CN111767716B (zh) | 企业多级行业信息的确定方法、装置及计算机设备 | |
CN109947921B (zh) | 一种基于自然语言处理的智能问答系统 | |
US20050138079A1 (en) | Processing, browsing and classifying an electronic document | |
CN115470338B (zh) | 一种基于多路召回的多场景智能问答方法和系统 | |
CN117932018A (zh) | 一种基于大模型的文档智能问答方法 | |
CN114265926A (zh) | 一种基于自然语言的素材推荐方法、系统、设备及介质 | |
CN116484808A (zh) | 一种公文用可控文本生成方法及装置 | |
CN117349420A (zh) | 基于本地知识库和大型语言模型的回复方法和装置 | |
CN118377881A (zh) | 智能问答方法、系统、装置、计算机设备和可读存储介质 | |
Maoro et al. | Leveraging Semantic Search and LLMs for Domain-Adaptive Information Retrieval | |
CN111881695A (zh) | 一种审计知识的检索方法及装置 | |
CN117473054A (zh) | 基于知识图谱的通用智能问答方法及装置 | |
US20200202074A1 (en) | Semsantic parsing | |
US20140280149A1 (en) | Method and system for content aggregation utilizing contextual indexing | |
CN117931858B (zh) | 数据查询方法、装置、计算机设备和存储介质 | |
US20240362412A1 (en) | Entropy based key-phrase extraction | |
CN117786066B (zh) | 一种面向文档的知识问答方法、装置、设备及介质 | |
Landro et al. | A template-independent approach for information extraction in real estate documents. | |
Falk Maoro et al. | Check for updates Leveraging Semantic Search and LLMs for Domain-Adaptive Information Retrieval | |
Rizzi | Developing an Enterprise Chatbot using Machine Learning Models: A RAG and NLP based approach | |
CN118193681A (zh) | 一种文本信息提取方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |