发明内容
本申请实施例提供一种获取文本对应的行为信息的方法和装置,可以获取到案件文本对应的所有行为信息。
本申请实施例提供一种获取文本对应的行为信息的方法,包括:接收待识别文本;获取所述待识别文本所对应的多个语义向量,每个语义向量对应所述待识别文本经分词后得到的一个词语;根据所述多个语义向量和胶囊网络模型,得到多个行为向量,每个行为向量与一种行为信息相对应;根据所述多个行为向量,确定待识别文本所对应的至少一个行为信息。
本方案中通过胶囊网络模型对待识别文本进行学习,得到多个与行为信息对应的向量,可根据多个与行为信息对应的向量得到待识别文本所对应的一个或多个行为信息,即在待识别文本对应多个行为信息的情况下,可以获取到待识别文本所对应的多个行为信息。
在一种可能的设计中,根据所述多个语义向量和胶囊网络模型,得到多个行为向量,包括:根据所述多个语义向量和所述胶囊网络模型,得到与行为相关的多个第一待处理向量;保留每个所述第一待处理向量中数值大小位于前q的q个分量,得到所述多个行为向量,q为大于1的整数。
本方案中,保留每个所述第一待处理向量中数值大小位于前q的q个分量,得到所述多个行为向量,可以去除多个行为向量中的冗余信息,提高了根据所述多个行为向量,确定待识别文本所对应的至少一个行为信息的效率。
在一种可能的设计中,所述根据所述多个行为向量,确定待识别文本所对应的至少一个行为信息,包括:获取所述多个行为向量的模;确定模大于预设阈值的行为向量所对应的行为信息为所述待识别文本所对应的至少一个行为信息。
本方案提供了根据所述多个行为向量,确定待识别文本所对应的至少一个行为信息的一种具体实现。
在一种可能的设计中,在所述根据所述多个语义向量和胶囊网络模型,得到多个行为向量之前,还包括:获取多个训练文本;获取每个所述训练文本所对应的多个语义向量,得到多个训练样本,每个训练样本包括一个训练文本所对应的多个语义向量;获取每个所述训练样本的标签;所述标签包括多个行为预设向量和多个法条预设向量,每个行为预设向量与一种行为信息相对应,每个法条预设向量与一条法条相对应;根据每个训练样本的标签,采用胶囊网络算法对所述多个训练样本进行学习,得到所述胶囊网络模型。
本方案可得到高精度的胶囊网络模型。
在一种可能的设计中,所述根据每个训练样本的标签,采用胶囊网络算法对所述多个训练样本进行学习,得到所述胶囊网络模型,包括:对于第m次学习:采用动态路由算法,根据第m-1次学习得到的第一胶囊网络模型包括的模糊权值矩阵和第m次学习所使用的第一训练样本包括的多个语义向量,获取多个模糊语义向量;采用所述动态路由算法,根据所述多个模糊语义向量和所述第一胶囊网络模型包括的行为权值矩阵和法条权值矩阵,获取多个行为实际向量和多个法条实际向量;根据所述多个行为实际向量、所述多个法条实际向量、所述第一训练样本的标签和误差函数,更新所述第一胶囊网络模型,得到第二胶囊网络模型,所述第二胶囊网络模型为第m次学习得到的胶囊网络模型;其中,m=1,…,M,在m=M时,所述第二胶囊网络模型为所述胶囊网络模型。可选地,所述误差函数L为:L=Lc+αLa,其中,Lc为与行为相关的损失函数,La为与法条相关的误差函数。
本方案中,在得到多个行为实际向量和多个法条实际向量之前先得到多个模糊语义向量作为中间层,而不直接根据副本语义向量得到的多个行为实际向量和多个法条实际向量,可提高得到的多个行为实际向量和多个法条实际向量的与相应的训练文本的相关度,进而使得最终得到的胶囊网络模型的精度较高。
同时,训练样本的标签中不仅包括训练样本对应的多个行为预设向量还包括多个法条预设向量,且在训练过程中不仅得到了多个行为实际向量还得到了多个法条实际向量,因此,可以根据多个行为实际向量与多个行为预设向量之间的差距以及多个法条实际向量与法条预设向量之间的差距更新胶囊网络模型,即胶囊网络模型的更新过程还考虑了行为所对应的法条,可辅助对胶囊网络模型的更新,提高了胶囊网络模型的更新效率以及最终得到的胶囊网络模型的精度。
在一种可能的设计中,所述获取多个模糊语义向量,包括:获取第m次学习所使用的第一训练样本包括的多个语义向量经模糊权值矩阵映射后得到的多个副本语义向量;根据所述多个副本语义向量和初始耦合矩阵,得到多个中间向量;根据所述多个副本语义向量和所述多个中间向量更新所述初始耦合矩阵,得到中间耦合矩阵;重复执行预设次数的根据所述多个副本语义向量和当前的中间耦合矩阵得到多个新的中间向量,以及根据副本语义向量、所述多个新的中间向量更新当前的中间耦合矩阵的操作,得到目标耦合矩阵;根据所述多个副本语义向量和目标耦合矩阵,得到多个目标向量;根据激活压缩函数,对每个目标向量进行激活压缩,得到所述多个模糊语义向量。
本方案得到模糊语义向量的方法仅仅对所有迭代完成后最终得到的目标向量进行压缩激活,相对于传统的对每次迭代完成得到向量均进行压缩激活的方法,本实施例的方法可防止多次压缩造成最终得到的模糊语义向量发生变形(即不能得到能够正确表征训练文本的语义的多个模糊语义向量)的现象发生,提高了得到的模糊语义向量的精度,进而使得最终得到的胶囊网络模型的精度较高。
在一种可能的设计中,所述获取多个行为实际向量和多个法条实际向量,包括:采用所述动态路由算法,根据所述多个模糊语义向量和和所述第一胶囊网络模型包括的行为权值矩阵和法条权值矩阵,获取多个行为预选向量和多个法条预选向量;保留每个所述行为预选向量中数值大小位于前q的q个分量,得到多个行为实际向量,以及保留每个所述法条预选向量中数值大小位于前q的q个分量,得到多个法条实际向量,q为大于1的整数。
本方案可得到高精度的胶囊网络模型。
第二方面,本申请实施例提供一种获取文本对应的行为信息的装置,包括:获取模块,用于接收待识别文本;处理模块,用于获取所述待识别文本所对应的多个语义向量,每个语义向量对应所述待识别文本经分词后得到的一个词语;所述处理模块,还用于根据所述多个语义向量和胶囊网络模型,得到多个行为向量,每个行为向量与一种行为信息相对应;所述处理模块,还用于根据所述多个行为向量,确定待识别文本所对应的至少一个行为信息。
在一种可能的设计中,所述处理模块在用于根据所述多个语义向量和胶囊网络模型,得到多个行为向量时,具体用于:根据所述多个语义向量和所述胶囊网络模型,得到与行为相关的多个第一待处理向量;保留每个所述第一待处理向量中数值大小位于前q的q个分量,得到所述多个行为向量,q为大于1的整数。
在一种可能的设计中,所述处理模块在用于根据所述多个行为向量,确定待识别文本所对应的至少一个行为信息时,具体用于:获取所述多个行为向量的模;确定模大于预设阈值的行为向量所对应的行为信息为所述待识别文本所对应的至少一个行为信息。
在一种可能的设计中,在所述处理模块根据所述多个语义向量和胶囊网络模型,得到多个行为向量之前:所述获取模块还用于获取多个训练文本;所述处理模块,还用于:获取每个训练文本所对应的多个语义向量,得到多个训练样本,每个训练样本包括一个训练文本所对应的多个语义向量;所述获取模块还用于获取每个所述训练样本的标签;其中,所述标签包括多个行为预设向量和多个法条预设向量,每个行为预设向量与一种行为信息相对应,每个法条预设向量与一条法条相对应;所述处理模块,还用于:根据每个训练样本的标签,采用胶囊网络算法对所述多个训练样本进行学习,得到所述胶囊网络模型。
在一种可能的设计中,所述处理模块在用于根据每个训练样本的标签,采用胶囊网络算法对所述多个训练样本进行学习,得到所述胶囊网络模型时,具体用于:对于第m次学习:采用动态路由算法,根据第m-1次学习得到的第一胶囊网络模型包括的模糊权值矩阵和第m次学习所使用的第一训练样本包括的多个语义向量,获取多个模糊语义向量;采用所述动态路由算法,根据所述多个模糊语义向量和和所述第一胶囊网络模型包括的行为权值矩阵和法条权值矩阵,获取多个行为实际向量和多个法条实际向量;根据所述多个行为实际向量、所述多个法条实际向量、所述第一训练样本的标签和误差函数,更新所述第一胶囊网络模型,得到第二胶囊网络模型,所述第二胶囊网络模型为第m次学习得到的胶囊网络模型;其中,m=1,…,M,在m=M时,所述第二胶囊网络模型为所述胶囊网络模型。
在一种可能的设计中,所述处理模块在用于获取多个模糊语义向量时,具体用于:获取第m次学习所使用的第一训练样本包括的多个语义向量经模糊权值矩阵映射后得到的多个副本语义向量;根据所述多个副本语义向量和初始耦合矩阵,得到多个中间向量;根据所述多个副本语义向量和所述多个中间向量更新所述初始耦合矩阵,得到中间耦合矩阵;重复执行预设次数的根据所述多个副本语义向量和当前的中间耦合矩阵得到多个新的中间向量,以及根据副本语义向量、所述多个新的中间向量更新当前的中间耦合矩阵的操作,得到目标耦合矩阵;根据所述多个副本语义向量和目标耦合矩阵,得到多个目标向量;根据激活压缩函数,对每个目标向量进行激活压缩,得到所述多个模糊语义向量。
在一种可能的设计中,所述处理模块在用于获取多个行为实际向量和多个法条实际向量时,具体用于:采用所述动态路由算法,根据所述多个模糊语义向量和和所述第一胶囊网络模型包括的行为权值矩阵和法条权值矩阵,获取多个行为预选向量和多个法条预选向量;保留每个所述行为预选向量中数值大小位于前q的q个分量,得到多个行为实际向量,以及保留每个所述法条预选向量中数值大小位于前q的q个分量,得到多个法条实际向量,q为大于1的整数。
在一种可能的设计中,所述误差函数L为L=Lc+αLa,其中,Lc为与行为相关的损失函数,La为与法条相关的误差函数。
第三方面,本申请实施例提供一种电子设备,包括:处理器和存储器;所述存储器用于存储计算机可执行指令,以使所述处理器执行所述计算机可执行指令实现如第一方面以及第一方面任一可能的设计中所述的方法。
第四方面,本申请实施例提供一种计算机存储介质,包括:计算机可执行指令,当所述程序或指令在计算机上运行时,第一方面以及第一方面任一可能的设计中所述的方法被执行。
本申请通过胶囊网络模型对待识别文本进行学习,得到多个与行为信息对应的向量,可根据多个与行为信息对应的向量得到待识别文本所对应的一个或多个行为信息,即在待识别文本对应多个行为信息的情况下,可以获取到待识别文本所对应的多个行为信息。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
图1为本申请提供的应用场景图。参见图1,将一段与案件相关的文本输入至获取文本对应的行为信息的系统,可得到该文本所描述的内容涉及的一种或多种行为的信息,即可得到该文本对应的行为信息。在本申请的实施例中,行为信息可包括行为的名称。
其中,参见图2,获取文本对应的行为信息的系统可包括终端设备和服务器。一种方式中,终端设备获取文本,并将该文本发送至服务器,服务器获取到文本后,服务器根据训练得到的胶囊网络模型获取文本所对应的所有行为信息,并将文本所对应的所有行为信息发送至终端设备,终端设备显示文本所对应的所有行为信息。在另一种方式中,服务器训练得到胶囊网络模型后,将胶囊网络模型发送至终端设备;终端设备获取到文本后,并根据胶囊网络模型获取文本所对应的所有行为信息,最后显示文本所对应的所有行为信息。
下面结合具体的实施例对本申请所涉及的获取文本对应的行为信息的方法进行说明。
首先对胶囊网络模型的训练过程进行说明。
图3为本申请实施例提供的获取胶囊网络模型的流程图。参见图3,本申请实施例的方法包括:
步骤S301、获取多个训练文本。
步骤S302、获取每个训练文本所对应的多个语义向量,每个训练样本包括一个训练文本所对应的多个语义向量。
下面对获取训练文本所对应的多个语义向量的一种可实现的方法进行说明。获取训练文本所对应的多个语义向量可通过如下的a1~a4实现:
a1、对训练文本进行分词处理,得到多个词语;
a2、将得到的多个词语中的每个词语转化成数字,得到训练文本对应的数字序列。
其中,数字序列可表示为{x1,x2,…,xn},n为对训练文本进行分词后得到的词语的数量。
a3、根据训练文本对应的数字序列获取训练文本对应的词向量序列。
其中,词向量序列可表示为{y1,y2,…,yn},其中,yi为训练文本分词后的第i个词语所对应的词向量。
一种方式中,可通过Embedding技术和预训练的词向量集合将数字序列映射为词向量序列。其中,预训练的词向量集合中包括各词语所对应的词向量,词语所对应的词向量可通过Word2vec技术获得。
a4、根据训练文本对应的词向量序列,获取训练文本所对应的多个语义向量。
其中,多个语义向量可表示为h1,h2,…,hn,其中,hi为训练文本分词后的第i个词语所对应的语义向量。
比如,可将训练文本对应的词向量序列作为双向神经网络的输入,通过双向神经网络捕捉训练文本的语义信息,得到训练文本所对应的多个语义向量。其中,双向神经网络可为双向长短时记忆(Bidirectional-long short term memory,简称Bi-LSTM)神经网络。
在本实施例中可将训练样本包括的每个语义向量称为事实胶囊。
步骤S303、获取每个训练样本的标签,训练样本的标签包括多个行为预设向量和多个法条预设向量,每个行为预设向量与一种行为信息相对应,每个法条预设向量与一条法条相对应。
其中,训练样本所包括的行为预设向量的数量与行为的种类相同,每个预设行为向量与一种行为信息对应,比如,预先设置有149种行为,则训练样本所包括的行为预设向量的总数量为149;训练样本所包括的法条预设向量的数量和与各种行为相关的法条的总数量相同,每个预设法条向量与一条法条对应,比如,与149种行为相关的法条的总数量为200条,则训练样本所包括的法条预设向量的数量为200。
训练样本的标签可用于指示该训练样本所对应的训练文本描述的内容所涉及的目标行为的信息(后续简称目标行为信息)以及目标法条。因此,该训练样本的标签包括多个行为预设向量中与目标行为信息对应的行为预设向量的模值大于预设阈值,与其它行为对应的行为预设向量的模值小于预设阈值;训练样本的标签包括多个法条预设向量中与目标法条对应的行为预设向量的模值大于预设阈值,与其它法条对应的法条预设向量的模值小于预设阈值。
步骤S304、根据每个训练样本的标签,采用胶囊网络算法对多个训练样本进行训练,得到胶囊网络模型。
其中,本实施例所涉及的胶囊网络可如图4所示。参见图4,其包括事实胶囊层(输入层)、模糊胶囊层(第一隐含层)、行为和法条胶囊层(第二隐含层)以及行为和法条概率层(输出层)。
在得到胶囊网络模型的过程中,可采用图4所示的胶囊网络,通过M次学习得到最终的胶囊网络模型,每次学习过程的输入为一个训练样本所包括的多个语义向量,期望输出为该训练文本所对应的标签,每次学习后更新上次学习得到的胶囊网络模型,得到当前次学习后所得到的胶囊网络模型。下面以第m次学习为例,对该步骤进行说明,其中,m=1,…,M。
对于训练过程中的第m次学习:
b1、采用动态路由算法,根据第m-1次学习得到的第一胶囊网络模型包括的模糊权值矩阵和第m次学习所使用的第一训练样本包括的多个语义向量,获取多个模糊语义向量。
获取多个模糊语义向量的一种可能的具体实现可通过步骤b11~b14实现:
b11、获取第一训练样本包括的多个语义向量经模糊权值矩阵映射后的多个副本语义向量。
其中,模糊权值矩阵包括多个模糊连接权值。可将第m次学习所使用的第一训练样本包括的多个语义向量作为第一胶囊网络模型的输入层的输入,根据输入层的输出和模糊权值矩阵得到的第一隐含层的各胶囊神经元的输入即为多个副本语义向量,第一隐含层为与输入层相邻的隐含层,输入层包括I个胶囊神经元,第一隐含层包括J个胶囊神经元,其中,I和J可相同,也可不相同。可以理解的是,第m-1次学习结束后得到的输入层包括的各胶囊神经元与第一隐含层包括的各胶囊神经元之间的各连接权值所组成的矩阵即为第一胶囊网络模型包括的模糊权值矩阵。
其中,可通过如下公式得到第j个副本语义向量u′j|i:
u′j|i=W′iju′i
其中,u′i为第一训练样本包括的第i个语义向量输入至输入层的第i个胶囊神经元后该第i个胶囊神经元的输出,W′ij为输入层的第i个胶囊神经元与第一隐含层的第j个胶囊神经元之间的连接权值,i=1,…,I,j=1,…,J。
b12、根据各副本语义向量和初始耦合矩阵,得到多个中间向量。
在一种方式中,可通过如下公式得到第j个中间向量S′j:
其中,cij为初始耦合矩阵中的耦合系数。
b13、根据各副本语义向量和多个中间向量更新初始耦合矩阵,得到中间耦合矩阵。
在一种方式中,可根据如下公式更新初始耦合矩阵,得到中间耦合矩阵:
b′ij=b′ij+u′j|iS′j
其中,c′ij为中间耦合矩阵中的耦合系数。
b14、重复执行预设次数的根据各副本语义向量和当前的中间耦合矩阵得到多个新的中间向量,以及根据各副本语义向量、多个新的中间向量更新当前的中间耦合矩阵的操作,得到目标耦合矩阵。
可选地,预设次数可为2~4次,本实施例中并不限制。
可以理解的是,一次根据耦合矩阵得到多个中间向量的过程可称为一次迭代过程。
b15、根据各副本语义向量和目标耦合矩阵,得到多个目标向量。
在一种方式中,可通过如下公式得到第j个目标向量Sj:
其中,Cij为目标耦合矩阵中的耦合系数。
b16、根据激活压缩函数,对每个目标向量进行激活压缩,得到多个模糊语义向量。
其中,多个模糊语义向量即为第一隐含层包括的各胶囊神经元的输出。
在一种方式中,可通过如下公式得到第j个目标向量Sj被激活压缩后的第j个模糊语义向量:
上述得到模糊语义向量的方法仅仅对所有迭代完成后最终得到的目标向量进行压缩激活,相对于传统的对每次迭代完成得到向量均进行压缩激活的方法,本实施例的方法可防止多次压缩造成最终得到的模糊语义向量发生变形(即不能得到能够正确表征训练文本的语义的多个模糊语义向量)的现象发生,提高了得到的模糊语义向量的精度,进而使得最终得到的胶囊网络模型的精度较高。
b2、采用上述的动态路由算法,根据多个模糊语义向量和和第一胶囊网络模型包括的行为权值矩阵和法条权值矩阵,获取多个行为实际向量和多个法条实际向量。
其中,采用动态路由算法,根据多个模糊语义向量和和第一胶囊网络模型包括的行为权值矩阵和法条权值矩阵,获取多个行为实际向量和多个法条实际向量,包括:
b21、采用上述相同的动态路由算法,根据多个模糊语义向量和和第一胶囊网络模型包括的行为权值矩阵和法条权值矩阵,获取多个行为预选向量和多个法条预选向量。
即采用上述获取多个模糊语义向量的方法,根据多个模糊语义向量和第一胶囊网络模型包括的行为权值矩阵和法条权值矩阵,获取多个行为预选向量和多个法条预选向量。
其中,行为权值矩阵可为第m-1次学习结束后得到的第一隐含层包括的各胶囊神经元和第二隐含层包括的前P个胶囊神经元之间的连接权值所组成的权值矩阵,P即为每个训练样本的标签所包括的多个行为预设向量的总数目。法条权值矩阵可为第m-1次学习结束后得到的第一隐含层包括的各胶囊神经元和第二隐含层包括的后O个胶囊神经元之间的连接权值所组成的权值矩阵,O即为每个训练样本的标签所包括的法条预设向量的总数目。第二隐含层为与第一隐含层相邻的下一层隐含层,第二隐含层包括P+O个胶囊神经元。多个行为预选向量和多个法条预选向量即为第二隐含层的输出。
b22、保留每个行为预选向量中数值大小位于前q的q个分量,得到多个行为实际向量,以及保留每个法条预选向量中数值大小位于前q的q个分量,得到多个法条实际向量,q为大于1的整数。
行为预选向量中数值大小位于前q的q个分量是指行为预选向量中除了该q个分量以外的任一分量均小于或等于该q个分量中的任一分量。法条预选向量中数值大小位于前q的q个分量是指法条预选向量中除了该q个分量以外的任一分量均小于或等于该q个分量中的任一分量。可选地,q可为预设值。
每个行为预选向量中其它分量可置为0,也可删除,每个法条预选向量中其它分量可置为0,也可删除。每个行为预选向量中数值大小位于前q的q个分量之间的相对位置不变,每个法条预选向量中数值大小位于前q的q个分量之间的相对位置不变。
多个行为预选向量和多个法条预选向量可为输入层的输入,多个行为实际向量和多个法条实际向量可为输出层包括的各胶囊神经元在第m次学习过程中的实际输出。其中,输出层为与第二隐含层的下一层。
在得到多个行为实际向量和多个法条实际向量之前先得到多个模糊语义向量作为中间层,而不直接根据副本语义向量得到的多个行为实际向量和多个法条实际向量,可提高得到的多个行为实际向量和多个法条实际向量的与相应的训练文本的相关度,进而使得最终得到的胶囊网络模型的精度较高。
b4、根据多个行为实际向量、多个法条实际向量和误差函数,更新第一胶囊网络模型,得到第二胶囊网络模型,第二胶囊网络模型为第m次学习得到的胶囊网络模型。
可以理解的是,在m=M时,第二胶囊网络模型为最终得到的胶囊网络模型。
本实施例中的误差函数L可为:
L=Lc+αLa
其中,Lc为与行为相关的损失函数,La为与法条相关的误差函数。
可选地,与行为相关的损失函数Lc可如下所示:
其中,yp为第m次学习得到的第p个行为实际向量,y′p为第m次学习所使用的第一训练样本的标签中所包括的第p个行为预设向量。
可选地,与法条相关的误差函数La可如下所示:
其中,zo为第m次学习得到的第o个法条实际向量,z′o为第m次学习所使用的第一训练样本的标签中所包括的第o个法条预设向量。
采用本实施例中的误差函数、多个行为实际向量和多个法条实际向量更新第m-1次学习得到的模糊权值矩阵、法条权值矩阵和行为权值矩阵,得到第m次学习后的模糊权值矩阵、法条权值矩阵和行为权值矩阵(即第二胶囊网络模型所包括的模糊权值矩阵、法条权值矩阵和行为权值矩阵),以进行第m+1次的学习(在m不等于M的情况下)。
此外,训练样本的标签中不仅包括训练样本对应的多个行为预设向量还包括多个法条预设向量,且在训练过程中不仅得到了多个行为实际向量还得到了多个法条实际向量,因此,可以根据多个行为实际向量与多个行为预设向量之间的差距以及多个法条实际向量与法条预设向量之间的差距更新胶囊网络模型,即胶囊网络模型的更新过程还考虑了行为所对应的法条,可辅助对胶囊网络模型的更新,提高了胶囊网络模型的更新效率以及最终得到的胶囊网络模型的精度。
通过上述过程,便训练得到了胶囊网络模型。
在另一种方案中,训练样本的标签可不包括多个法条预设向量,相应,最终得到的胶囊网络模型也不包括法条权值矩阵。
本实施例提供的胶囊网络模型的获取方法,可高效的获取到高精度的胶囊网络模型。
下面对使用图3所示的实施例得到的胶囊网络模型获取待识别文本所对应的行为信息的方法进行说明。
图5为本申请实施例提供的获取文本对应的行为信息的流程图,本实施例的执行主体可为获取文本对应的行为信息的装置,该装置可为服务器的部分或全部,或者,该装置可为终端设备的部分或全部。如图5所示,本实施例的方法可以包括:
步骤501、接收待识别文本。
步骤502、获取待识别文本所对应的多个语义向量,每个语义向量对应待识别文本包括的一个词语。
其中,获取待识别文本所对应的多个语义向量的方法同图3所示的实施例中获取训练文本所对应的多个语义向量的方法,本实施例中不再赘述。
步骤503、根据待识别文本所对应的多个语义向量和胶囊网络模型,得到多个行为向量,每个行为向量与一种行为信息相对应。
本实施例中的胶囊网络模型为图3所示的实施例得到的胶囊网络模型。
根据多个语义向量和胶囊网络模型,得到多个行为向量,包括:
(1)根据待识别文本所对应的多个语义向量和胶囊网络模型,得到与行为信息相关的多个第一待处理向量。
根据待识别文本所对应的多个语义向量和胶囊网络模型,得到多个第一待处理向量的方法参照图3所示的实施例中第m次学习过程中得到多个行为预选向量的方法,此处不再赘述。此外,根据多个语义向量和胶囊网络模型,还会得到多个与法条相关的第二待处理向量,得到多个第二待处理向量的方法参照图3所示的实施例中第m次学习过程中得到多个法条预选向量的方法,此处不再赘述。
(2)保留每个第一待处理向量中数值大小位于前q的q个分量,得到多个行为向量。
也就是说,多个行为向量为将待识别文本所对应的多个语义向量作为胶囊网络模型的输入后,经胶囊网络算法后最终得到的与行为相关的输出。此处所使用的胶囊网络算法同训练过程中所使用的胶囊网络算法。
步骤504、根据多个行为向量,确定待识别文本所对应的至少一个行为信息。
在一种实现方式中,根据多个行为向量,确定待识别文本所对应的至少一个行为信息,包括:
(1)获取多个行为向量的模;
(2)确定模大于预设阈值的行为向量所对应的行为信息为待识别文本所对应的至少一个行为信息。
本实施例通过胶囊网络模型对待识别文本进行学习,得到多个与行为信息对应的向量,可根据多个与行为信息对应的向量得到待识别文本所对应的一个或多个行为信息,即在待识别文本对应多个行为信息的情况下,可以获取到待识别文本所对应的多个行为信息。同时由于采用的胶囊网络模型的精度较高,因此,得到的待识别文本所对应的一个或多个行为信息比较准确。
图6为本申请实施例提供的获取文本对应的行为信息的装置的示意图,如图6所示,本实施例的装置可以包括:获取模块601和处理模块602。
所述获取模块601,用于接收待识别文本;
所述处理模块602,用于获取所述待识别文本所对应的多个语义向量,每个语义向量对应所述待识别文本经分词后得到的一个词语;
所述处理模块602,还用于根据所述多个语义向量和胶囊网络模型,得到多个行为向量,每个行为向量与一种行为信息相对应;
所述处理模块602,还用于根据所述多个行为向量,确定待识别文本所对应的至少一个行为信息。
可选地,所述处理模块602在用于根据所述多个语义向量和胶囊网络模型,得到多个行为向量时,具体用于:根据所述多个语义向量和所述胶囊网络模型,得到与行为相关的多个第一待处理向量;保留每个所述第一待处理向量中数值大小位于前q的q个分量,得到所述多个行为向量,q为大于1的整数。
可选地,所述处理模块602在用于根据所述多个行为向量,确定待识别文本所对应的至少一个行为信息时,具体用于:获取所述多个行为向量的模;确定模大于预设阈值的行为向量所对应的行为信息为所述待识别文本所对应的至少一个行为信息。
可选地,在所述处理模块602根据所述多个语义向量和胶囊网络模型,得到多个行为向量之前:所述获取模块601还用于获取多个训练文本;所述处理模块602,还用于:获取每个训练文本所对应的多个语义向量,得到多个训练样本,每个训练样本包括一个训练文本所对应的多个语义向量;所述获取模块601还用于获取每个所述训练样本的标签;其中,所述标签包括多个行为预设向量和多个法条预设向量,每个行为预设向量与一种行为信息相对应,每个法条预设向量与一条法条相对应;所述处理模块602,还用于:根据每个训练样本的标签,采用胶囊网络算法对所述多个训练样本进行学习,得到所述胶囊网络模型。
可选地,所述处理模块602在用于根据每个训练样本的标签,采用胶囊网络算法对所述多个训练样本进行学习,得到所述胶囊网络模型时,具体用于:对于第m次学习:采用动态路由算法,根据第m-1次学习得到的第一胶囊网络模型包括的模糊权值矩阵和第m次学习所使用的第一训练样本包括的多个语义向量,获取多个模糊语义向量;采用所述动态路由算法,根据所述多个模糊语义向量和和所述第一胶囊网络模型包括的行为权值矩阵和法条权值矩阵,获取多个行为实际向量和多个法条实际向量;根据所述多个行为实际向量、所述多个法条实际向量、所述第一训练样本的标签和误差函数,更新所述第一胶囊网络模型,得到第二胶囊网络模型,所述第二胶囊网络模型为第m次学习得到的胶囊网络模型;其中,m=1,…,M,在m=M时,所述第二胶囊网络模型为所述胶囊网络模型。
可选地,所述处理模块602在用于获取多个模糊语义向量时,具体用于:获取第m次学习所使用的第一训练样本包括的多个语义向量经模糊权值矩阵映射后得到的多个副本语义向量;根据所述多个副本语义向量和初始耦合矩阵,得到多个中间向量;根据所述多个副本语义向量和所述多个中间向量更新所述初始耦合矩阵,得到中间耦合矩阵;重复执行预设次数的根据所述多个副本语义向量和当前的中间耦合矩阵得到多个新的中间向量,以及根据副本语义向量、所述多个新的中间向量更新当前的中间耦合矩阵的操作,得到目标耦合矩阵;根据所述多个副本语义向量和目标耦合矩阵,得到多个目标向量;根据激活压缩函数,对每个目标向量进行激活压缩,得到所述多个模糊语义向量。
可选地,所述处理模块602在用于获取多个行为实际向量和多个法条实际向量时,具体用于:采用所述动态路由算法,根据所述多个模糊语义向量和和所述第一胶囊网络模型包括的行为权值矩阵和法条权值矩阵,获取多个行为预选向量和多个法条预选向量;保留每个所述行为预选向量中数值大小位于前q的q个分量,得到多个行为实际向量,以及保留每个所述法条预选向量中数值大小位于前q的q个分量,得到多个法条实际向量。
可选地,所述误差函数L为L=Lc+αLa,其中,Lc为与行为相关的损失函数,La为与法条相关的误差函数。
本实施例的装置,可以用于执行图3和图5所示的任一方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图7为本发明实施例提供的一种电子设备的示意图。如图7所示,电子设备700可用于实现上述方法实施例中描述的方法,具体参见上述方法实施例中的说明。其中,电子设备700可为服务器或终端设备。
所述电子设备700可以包括一个或多个处理器701,所述处理器701也可以称为处理单元,控制执行上述方法实施例中的方法。所述处理器701可以是通用处理器或者专用处理器等。例如可以是基带处理器、或中央处理器。基带处理器可以用于对通信协议以及通信数据进行处理,中央处理器可以用于对通信装置进行控制,执行软件程序,处理软件程序的数据。
可选的,处理器701也可以存有指令703或者数据(例如中间数据)。其中,所述指令703可以被所述处理器运行,使得所述电子设备700执行上述方法实施例中描述的方法。
可选的,所述电子设备700中可以包括一个或多个存储器702,其上可以存有指令704,所述指令可在所述处理器上被运行,使得所述电子设备700执行上述方法实施例中描述的方法。
可选的,所述存储器中也可以是存储有数据。所述处理器501和存储器702可以单独设置,也可以集成在一起。
可选的,所述电子设备700还可以包括收发器705和/或天线706。所述收发器705可以称为收发单元、收发机、收发电路、或者收发器等,用于实现通信装置的收发功能。
本申请中描述的处理器701和收发器705可实现在集成电路(integratedcircuit,IC)、模拟IC、射频集成电路(radio frequency integrated circuit,RFIC)、混合信号IC、专用集成电路(application specific integrated circuit,ASIC)、印刷电路板(printed circuit board,PCB)、电子设备等上。该处理器和收发器也可以用各种1C工艺技术来制造,例如互补金属氧化物半导体(complementary metal oxide semiconductor,CMOS)、N型金属氧化物半导体(nMetal-oxide-semiconductor,NMOS)、P型金属氧化物半导体(positive channel metal oxide semiconductor,PMOS)、双极结型晶体管(BipolarJunction Transistor,BJT)、双极CMOS(BiCMOS)、硅锗(SiGe)、砷化镓(GaAs)等。
应理解,本申请实施例中提及的处理器可以是中央处理单元(CentralProcessing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解,本申请实施例中提及的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DR RAM)。
本申请实施例还提供一种计算机存储介质,包括:计算机可执行指令,当所述程序或指令在计算机上运行时,上述任一方法实施例中所述的方法被执行。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。