[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN112001181B - 多语言语义表示模型的训练方法、装置、设备及存储介质 - Google Patents

多语言语义表示模型的训练方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112001181B
CN112001181B CN202010691555.0A CN202010691555A CN112001181B CN 112001181 B CN112001181 B CN 112001181B CN 202010691555 A CN202010691555 A CN 202010691555A CN 112001181 B CN112001181 B CN 112001181B
Authority
CN
China
Prior art keywords
language
training
multilingual
corpus
representation model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010691555.0A
Other languages
English (en)
Other versions
CN112001181A (zh
Inventor
欧阳轩
王硕寰
孙宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010691555.0A priority Critical patent/CN112001181B/zh
Publication of CN112001181A publication Critical patent/CN112001181A/zh
Priority to US17/318,577 priority patent/US20220019743A1/en
Priority to EP21173911.5A priority patent/EP3940581A1/en
Priority to KR1020210089980A priority patent/KR102537258B1/ko
Priority to JP2021114631A priority patent/JP7242993B2/ja
Application granted granted Critical
Publication of CN112001181B publication Critical patent/CN112001181B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/263—Language identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/45—Example-based machine translation; Alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

本申请公开了一种多语言语义表示模型的训练方法、装置、电子设备及存储介质，涉及基于人工智能的自然语言处理领域。具体实现方案为：采用包含多种语言的数条训练语料，对多语言语义表示模型进行训练，使多语言语义表示模型学习各种语言的语义表示能力；对于数条训练语料中的各训练语料，生成相应的混杂语言语料，混杂语言语料中包括至少两种语言的语料；采用各混杂语言语料及对应的训练语料，对多语言语义表示模型进行训练，使多语言语义表示模型学习不同语言的语义对齐信息。本申请的技术方案，能够使得多语言语义表示模型能够学习到不用语言之间的语义对齐信息，进而能够基于该多语言语义表示模型实现不同语言之间的语义交互，实用性非常强。

Description

多语言语义表示模型的训练方法、装置、设备及存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及基于人工智能的自然语言处理领域，具体涉及一种多语言语义表示模型的训练方法、装置、设备及存储介质。
背景技术
自然语言处理(Natural Language Processing；NLP)是人工智能(ArtificialIntelligence；AI)的一个非常重要的子领域。现有的NLP任务的学习范式大多采用预训练(Pre-training)加微调(Fine-tuning)的方式。首先通过预训练任务在无监督语料中初步建模，然后在下游任务上使用任务数据进行微调。且现有的经验表明，预训练模型可以起到对模型参数的正则化的约束作用，可以极大的提升下游任务的表现能力。基于以上所述，且随着全球化的不断发展，不同语言之间的信息交换也越来越重要，为了提升多语言语义表示模型在多语言任务上的性能，多语言语义表示模型的建模显得尤为重要。
现有的多语言语义表示模型在预训练时，分别针对每一种语言进行单独训练，进而可以学习到每一种语言的语义表示能力。
但是现有的多语言语义表示模型，在预训练时无法学习到不同语言之间的语义对齐信息，导致多语言语义表示模型无法准确地实现不同语言之间的信息交互。
发明内容
为了解决上述问题，本申请提供了一种多语言语义表示模型的训练方法、装置、设备及存储介质。
根据本申请的一方面，提供了一种多语言语义表示模型的训练方法，其中，所述方法包括：
采用包含多种语言的数条训练语料，对多语言语义表示模型进行训练，使得所述多语言语义表示模型学习各种语言的语义表示能力；
对于所述数条训练语料中的各所述训练语料，生成相应的混杂语言语料，所述混杂语言语料中包括至少两种语言的语料；
采用各所述混杂语言语料及对应的所述训练语料，对所述多语言语义表示模型进行训练，使得所述多语言语义表示模型学习不同语言的语义对齐信息。
根据本申请的另一方面，提供了一种多语言语义表示模型的训练装置，其中，所述装置包括：
第一训练模块，用于采用包含多种语言的数条训练语料，对多语言语义表示模型进行训练，使得所述多语言语义表示模型学习各种语言的语义表示能力；
生成模块，用于对于所述数条训练语料中的各所述训练语料，生成相应的混杂语言语料，所述混杂语言语料中包括至少两种语言的语料；
第二训练模块，用于采用各所述混杂语言语料及对应的所述训练语料，对所述多语言语义表示模型进行训练，使得所述多语言语义表示模型学习不同语言的语义对齐信息。
根据本申请的再一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。
根据本申请的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上所述的方法。
根据本申请的技术，能够使得多语言语义表示模型能够学习到不用语言之间的语义对齐信息，进而能够基于该多语言语义表示模型实现不同语言之间的语义交互，实用性非常强。。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请第一实施例的示意图；
图2是根据本申请第二实施例的示意图；
图3是本实施例的一种训练示意图；
图4是本实施例的另一种训练示意图；
图5是根据本申请第三实施例的示意图；
图6是根据本申请第四实施例的示意图；
图7是用来实现本申请实施例的上述方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本申请第一实施例的示意图；如图1所示，本实施例提供一种多语言语义表示模型的训练方法，具体可以包括如下步骤：
S101、采用包含多种语言的数条训练语料，对多语言语义表示模型进行训练，使得多语言语义表示模型学习各种语言的语义表示能力；
本实施例的多语言语义表示模型的训练方法的执行主体为多语言语义表示模型的训练装置，该多语言语义表示模型的训练装置可以为实体电子设备如计算机之类的设备。或者也可以为采用软件集成的应用，使用时运行在计算机上，实现对多语言语义表示模型的训练。
本实施例的多语言语义表示模型能够支持对多种语言的语料进行语义表示。本实施例的多语言语义表示模型可以基于使用信息实体增强的语言表示(Enhanced LanguageRepresentation with Informative Entities；ERNIE)模型训练而成。
该步骤的训练时，可以采集每种语言的多条训练语料，采用该种语言的训练语料对该多语言语义表示模型进行训练。具体训练过程中，可以采用随机遮掩的方式对语义单元进行掩码，而由多语言语义表示模型预测掩码的语义单元。本实施例的训练过程中，掩码的语义单元可以为字、词语、实体或者短语等等，其中短语可以为包括至少两个词语、至少两个实体或者词语与实体的组合。
在训练过程中，若是训练字级别的掩码，可以随机遮掩某个字，训练该多语言语义表示模型基于该字的上下文信息来预测该字。对于词语级别和实体级别的预测，需要先采用预设的词语库以及实体库，识别训练语料中的词语及实体，然后在训练中对词语、实体或者短语进行掩码，并训练该多语言语义表示模型基于上下文信息，预测掩码的词语、实体或者短语。
对于每一种语言，均采用该语言的多条语料按照上述方式对该多语言语义表示模型进行训练，从而可以使得该多语言语义表示模型可以学习到每一种语言的语义表示能力。而且，在采用每一种语言的训练语料训练多语言语义表示模型时，需要同时或者分别进行字、词语、实体以及短语等各个粒度的语义单元的随机遮掩训练，以使得多语言语义表示模型能够充分学习到该语言下的各种粒度的语义单元的语义表示。
S102、对于数条训练语料中的各训练语料，生成相应的混杂语言语料，该混杂语言语料中包括至少两种语言的语料；
对于每一条训练语料均采用一种语言表示，例如，本实施例中将训练语料所采用的语言称为第一语言。对于每一条训练语料，可以将其中部分的语义单元采用不同于第一语言的第二语言来表示，这样得到的语料由于混杂了两种语言，可以称为混杂语言语料。需要说明的是，其中语义单元的粒度也可以为字、词语、实体或者短语。
进一步可选地，还可以在混杂语言语料中将部分语义单元采用不同于第一语言和第二语言的第三语言来表示，这样，得到的混杂语言语料中可以包括第一语言、第二语言以及第三语言的语料。以此类推，在混杂语言语料中还可以包括更多的语言。但是，为了不影响混杂语言语料的整体表达，本实施例中混杂语言语料中包括的第一语言之外的其他语言的语料的总数量不宜过多，例如，不能超过整体的预设比例阈值。其中该预设比例阈值可以根据实际需求来设置，如10％，15％或者其他比例值。
例如，本实施例中生成混杂语言语料的过程，可以参考各种语言的翻译工具来实现，例如，将第一语言表示的训练语料中某个语义单元采用翻译工具翻译的第二语言来替换，便可以生成相应的混杂语言语料。
S103、采用各混杂语言语料及对应的训练语料，对多语言语义表示模型进行训练，使得多语言语义表示模型学习不同语言的语义对齐信息。
本实施例中，在多语言语义表示模型学习到每种语言的语义表示之后，还可以采用生成的各混杂语言语料对该多语言语义表示模型进行训练，该训练过程中，可以使得多语言语义表示模型将各混杂语言语料中的第一语言之外的其他语言的语料还原为第一语言的语料，从而使得多语言语义表示模型学习到不同语言的语义对齐信息。
本实施例的语义对齐，即表示语义相近的意思。不同语言的语义对齐信息，即表示采用不同语言表示的语义相近的语料。例如英文的“please”和中文的“请”属于语义对齐的语料；英文的“seat”和中文的“坐”也属于语义对齐的语料。该步骤中，通过采用各混杂语言语料及对应的训练语料，对多语言语义表示模型进行训练，可以使得该多语言语义表示模型能够学习到不同语言的语义对齐信息，如可以学习到英文的“please”对应的中文的是“请”，中文的“坐”对应的英文是“seat”等等。采用该训练方式，可以学习到中文、英文、日文、韩文、法文、印度文、泰文等等各种语言之间的语义对齐信息。
本实施例的多语言语义表示模型的训练方法，通过采用包含多种语言的数条训练语料，对多语言语义表示模型进行训练，使得多语言语义表示模型学习各种语言的语义表示能力；对于数条训练语料中的各训练语料，生成相应的混杂语言语料，该混杂语言语料中包括至少两种语言的语料；采用各混杂语言语料及对应的训练语料，对多语言语义表示模型进行训练，能够使得多语言语义表示模型能够学习到不用语言之间的语义对齐信息，进而能够基于该多语言语义表示模型实现不同语言之间的语义交互，实用性非常强。
图2是根据本申请第二实施例的示意图；本实施例的多语言语义表示模型的训练方法，在上述图1所示实施例的技术方案的基础上，进一步更加详细地介绍本申请的技术方案。如图2所示，本实施例的多语言语义表示模型的训练方法，具体可以包括如下步骤：
S201、采用包含多种语言的数条训练语料，对多语言语义表示模型进行训练，使得多语言语义表示模型学习各种语言的语义表示能力；
具体训练时，可以先将所有语言的训练语料按照语种分为n组，其中n为语种总数，将所有语言的训练语料记做D＝{d1,d2,…dn}，对于每个语言，可以通过分离词表的方式单独训练多语言语义表示模型，训练完成后，该模型可以学习到对不同语言的语义表示向量。
例如，图3是本实施例的一种训练示意图。如图3所示，当输入的训练语料为英文时，激活英文侧的语言嵌入层(language embedding)即英文嵌入层，实现对英文的训练语料中的遮掩的token的预测。例如，图3中，若“Take a seat，please”中的“seat”作为遮掩的token，通过训练该多语言语义表示模型，使得该模型可以预测出遮掩的token为“seat”。当输入的训练语料为中文时，激活中文侧的语言嵌入层(language embedding)即中文嵌入层，实现对中文的训练语料中的遮掩的token的预测。例如，图3中，若“请坐下”中的“坐”作为遮掩的token，通过训练该多语言语义表示模型，使得该模型可以预测出遮掩的token为“坐”。图3中的英文嵌入层和中文嵌入层也属于多语言语义表示模型的部分结构，对应地，在对语言语义表示模型中存在每一种语言对应的嵌入层，图3为了明确表示独立存在每种语言的嵌入层，所以将中文嵌入层和英文嵌入层单独表示出来。
通过该步骤，可以采用每一种语言的多条训练语料对该多语言语义表示模型进行训练，使得该多语言语义模型可以学习到每一种语言的语义表示。
S202、对于数条训练语料中的各训练语料中随机指定的第一目标片段，采用多语言语义表示模型，预测第一目标片段位置处、采用不同于训练语料的第一语言的第二语言表示的第一替换片段；
S203、根据对应的训练语料、第一目标片段和第二语言表示的第一替换片段，生成相应的混杂语言语料；
该步骤S202-S203为上述图1所示实施例的步骤S102的一种实现方式。
具体地，由于上述步骤S201中，该多语言语义表示模型已经学习到了多种语言的语义表示。因此，可以利用该多语言语义表示模型的该能力，生成混杂语言语料。本实施例的混杂语言语料即表示一条语料中包括至少两种语言。例如在生成混杂语言语料时，可以将第一语言表示的训练语料，经过嵌入(embedding)表示后，输入至该多语言语义表示模型中，由于该多语言语义表示模型已经学习到各种语言的语义表示能力，此时可以由该多语言语义表示模型预测其中随机指定的第一目标片段、采用第二语言、或者第三语言等其他语言的表示的第一替换片段，然后采用第一替换片段替换该训练语料中的第一目标片段，便得到对应的混杂语言语料。
例如，图4是本实施例的另一种训练示意图。如图4的左侧所示为生成混杂语言语料的过程，按照上述原理，可以基于训练语料“Take a seat，please”，生成混杂语言语料“Take a坐，please”。
进一步地，上述是以混杂语言语料中包括两种语言的语料为例，实际应用中，可以按照相类似的方式，继续在混杂语言语料中混杂其他语言的语料，使得最终得到的混杂语言语料中可以包括两种、三种或者更多种语言的语料。但是，实际应用中，为了保证原来的训练语料语义表示的准确性，本实施例中混杂的不同于训练语料的第一语言的其他语言的语料不超过总体的预设比例阈值，如10％、15％或者其他比例。
例如，对于步骤S203得到的数条混杂语言语料，还可以进一步包括如下步骤：
(a1)在混杂语言语料中，对于随机指定的第一替换片段之外的第二目标片段，采用多语言语义表示模型，预测第二目标片段位置处、采用不同于第一语言的第三语言表示的第二替换片段；
(b1)根据混杂语言语料、第二目标片段和第三语言表示的第二替换片段，更新混杂语言语料。
该步骤(a1)-(b1)的混杂过程，与上述步骤S202-S203的混杂过程的实现原理相同，详细亦可以参考上述实施例的记载。
或者实际应用中，还可以继续按照上述步骤(a1)和(b1)继续更新混杂语言语料，直至混杂语言语料中不同于第一语言的其他语言的语料达到预设比例阈值。采用该方式，可以进一步丰富混杂语言语料的内容。
S204、对于生成的混杂语言语料及对应的训练语料，将混杂语言语料输入至多语言语义表示模型中，使得多语言语义表示模型预测混杂语言语料对应的第一语言表示的训练语料；
该步骤的训练中，向该多语言语义表示模型输入混杂语言语料时，由该多语言语义表示模型预测并输出该混杂语言语料对应的原始的训练语料，即语义语言表示的训练语料，该过程即用于将混杂语言语料进行还原。经过该训练，可以使得多语言语义表示模型学习到混杂语言语料到训练语料的不同语言之间的语义对齐信息。如图4右侧所示，将生成的混杂语言语料“Take a坐，please”，分别经过中文嵌入层和英文嵌入层后由多语言语义表示模型来还原对应的原始的训练语料“Take a seat，please”，这样，该多语言语义表示模型可以学习到“坐”与“seat”之间的语义对齐信息。按照类似的学习方式，通过对大量的混杂语言语料进行还原学习，可以使得该多语言语义表示模型可以学习到大量的不同语言之间的语义对齐信息。同理，图4中的中文嵌入层和英文嵌入层也属于多语言语义表示模型内的结构，为了显示其各自独立存在，所以将其表示出来。
S205、获取预测第一语言表示的训练语料时多语言语义表示模型对应的第一损失函数；
如图4所示，本实施例中是以多语言语义表示模型来生成混杂语言语料，同时又利用生成的混杂语言语料训练多语言语义表示模型学习不同语言之间的语义对齐信息。本实施例中，可以一边生成混杂语言语料，一边训练多语言语义表示模型。为了区分两个阶段中的多语言语义表示模型，将生成混杂语言语料阶段采用的多语言语义表示模型记为G1，而将学习不同语言之间的语义对齐信息阶段采用的多语言语义表示模型记为G2。G1网络和G2网络的所有参数都是共享的。
在训练过程中，每次采用步骤S204，将各混杂语言语料输入至多语言语义表示模型中，使得多语言语义表示模型预测混杂语言语料对应的第一语言表示的训练语料之后，都需要计算多语言语义表示模型的损失函数。如图4所示，第一损失函数可以为多语言语义表示模型G2即步骤S204阶段对应的损失函数。在反向传播更新梯度中，对于模型G2还原部分的网络参数，可以采用交叉熵对模型G2的网络参数进行更新，使之可以更好的学习语言之间的对齐关系。本实施例中，可以将G2交叉熵损失函数作为强化学习的Reward，记做R。
S206、获取生成混杂语言语料时多语言语义表示模型对应的第二损失函数；
该损失函数即对应步骤S202生成混杂语言语料阶段的损失函数。即如图4所示，多语言语义表示模型G1的损失函数。
例如，若混杂语言语料是基于训练语料、第一目标片段和第二语言表示的第一替换片段生成的，即基于步骤S202生成，此时第二损失函数获取过程可以包括：获取多语言语义表示模型预测第一替换片段的预测概率；基于第一替换片段的预测概率和第一损失函数，生成多语言语义表示模型对应的第二损失函数。
具体地，训练时，对于模型G1生成部分的网络参数，采用强化学习的方式对其参数进行更新，具体来说，可以将模型G1部分预测出的token的概率记做P，使用强化学习的第二损失函数可以表示为loss＝-log(P)*R，其中R即为第一损失函数，采用该第二损失函数更新模型G1部分的网络参数，使之可以生成更为准确的对齐语料。
再例如，而若混杂语言语料基于第二目标片段和第三语言表示的第二替换片段更新的，即在步骤S202的基础上，还采用了步骤(a1)和(b1)更新生成的。此时第二损失函数获取过程可以包括如下步骤：
(a2)获取多语言语义表示模型预测第一替换片段的预测概率和第二替换片段的预测概率；
(b2)基于第一替换片段的预测概率和第一损失函数，生成第一子损失函数；
(c2)基于第二替换片段的预测概率和第一损失函数，生成第二子损失函数；
(d2)取第一子损失函数和第二子损失函数的平均值，作为多语言语义表示模型对应的第二损失函数。
该过程是以生成混杂语言语料时掺杂了两个token为例，具体在生成第二损失函数时，需要分别计算每个token对应的子损失函数，例如，分别采用loss＝-log(P1)*R和loss＝-log(P2)*R表示，其中P1为第一处token即第一替换片段的预测概率，P2为第二处token即第二替换片段的预测概率。最后将所有token的子损失函数取平均，便得到多语言语义表示模型对应的第二损失函数。以此类推，若一条混杂语言语料中包括有n个token的时候，可以按照类似的方式，获取每一个token对应的子损失函数，最后将所有token对应的子损失函数取平均，作为对应的第二损失函数。
S207、基于第一损失函数和第二损失函数，生成总损失函数；
例如，可以将第一损失函数和第二损失函数相加，作为总损失函数。
S208、判断总损失函数是否收敛；若未收敛，执行步骤S209；若收敛；执行步骤S210；
S209、采用梯度下降法调整多语言语义表示模型的参数，并返回步骤S202继续生成混杂语言语料，并继续进行训练，直至总损失函数收敛；
S210、判断在连续的预设轮数的训练中是否一直收敛，若是，训练结束，确定多语言语义表示模型的参数，进而确定多语言语义表示模型，结束；若不是，返回步骤S202继续生成混杂语言语料，并继续进行训练。
本实施例的连续的预设轮数可以为连续100轮、200轮、或者根据实际需求设置的其他数量的轮数。
本实施例的多语言语义表示模型的训练方法，应用在多语言语义表示模型的预训练阶段，经过采用本实施例的训练方式，可以使得训练的多语言语义表示模型不仅能够准确表示各种语言的语义表示，同时还能够学习到不同语言之间的语义对齐信息，以丰富该多语言语义表示模型在不同语言之间的信息交互能力。经过本实施例训练的多语言语义表示模型后续可以使用在处理不同语言的语义任务中，使用非常广泛。
本实施例的多语言语义表示模型的训练方法，通过采用上述方式，可以采用多语言语义表示模型准确生成混杂语言语料，可以充分的利用无监督单语语料，从无监督语料中构建出大量有监督的双语对齐的任务语料，提升对多语言语义表示模型的建模效果。另外，本实施例中，还可以基于生成的混杂语言语料，使得多语言语义表示模型学习不同语言之间的语义对齐信息，能够有效地提升多语言语义表示模型的性能，进而能够基于该多语言语义表示模型实现不同语言之间的语义交互，实用性非常强。
图5是根据本申请第三实施例的示意图；如图5所示，本实施例提供一种多语言语义表示模型的训练装置500，包括：
第一训练模块501，用于采用包含多种语言的数条训练语料，对多语言语义表示模型进行训练，使得多语言语义表示模型学习各种语言的语义表示能力；
生成模块502，用于对于数条训练语料中的各训练语料，生成相应的混杂语言语料，混杂语言语料中包括至少两种语言的语料；
第二训练模块503，用于采用各混杂语言语料及对应的训练语料，对多语言语义表示模型进行训练，使得多语言语义表示模型学习不同语言的语义对齐信息。
本实施例的多语言语义表示模型的训练装置500，通过采用上述模块实现多语言语义表示模型的训练的实现原理以及技术效果与上述相关方法实施例的实现相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。
图6是根据本申请第四实施例的示意图；如图6所示，本实施例的多语言语义表示模型的训练装置500，在上述图5所示实施例的技术方法的基础上，进一步更加详细地描述本申请的技术方案。
如图6所示，本实施例的多语言语义表示模型的训练装置500中，生成模块502，包括：
预测单元5021，用于对于数条训练语料中的各训练语料中随机指定的第一目标片段，采用多语言语义表示模型，预测第一目标片段位置处、采用不同于训练语料的第一语言的第二语言表示的第一替换片段；
生成单元5022，用于根据训练语料、第一目标片段和第二语言表示的第一替换片段，生成混杂语言语料。
进一步可选地，其中，预测单元5021，还用于在混杂语言语料中，对于随机指定的第一替换片段之外的第二目标片段，采用多语言语义表示模型，预测第二目标片段位置处、采用不同于第一语言的第三语言表示的第二替换片段；
生成单元5022，还用于根据混杂语言语料、第二目标片段和第三语言表示的第二替换片段，更新混杂语言语料。
进一步可选地，如图6所示，本实施例的多语言语义表示模型的训练装置500中，第二训练模块503，包括：
预测单元5031，用于对于各混杂语言语料，将混杂语言语料输入至多语言语义表示模型中，使得多语言语义表示模型预测混杂语言语料对应的第一语言表示的训练语料；
第一获取单元5032，用于获取预测第一语言表示的训练语料时多语言语义表示模型对应的第一损失函数；
第二获取单元5033，用于获取生成混杂语言语料时多语言语义表示模型对应的第二损失函数；
生成单元5034，还用于基于第一损失函数和第二损失函数，生成总损失函数；
检测单元5035，用于判断总损失函数是否收敛；
调整单元5036，用于若未收敛，采用梯度下降法调整多语言语义表示模型的参数，并继续采用各混杂语言语料进行训练，直至总损失函数收敛。
进一步可选地，第二获取单元5033，用于：
若混杂语言语料是基于训练语料、第一目标片段和第二语言表示的第一替换片段生成的，获取多语言语义表示模型预测第一替换片段的预测概率；
基于第一替换片段的预测概率和第一损失函数，生成多语言语义表示模型对应的第二损失函数。
进一步可选地，第二获取单元5033，用于：
若混杂语言语料是基于第二目标片段和第三语言表示的第二替换片段更新的，获取多语言语义表示模型预测第一替换片段的预测概率和第二替换片段的预测概率；
基于第一替换片段的预测概率和第一损失函数，生成第一子损失函数；
基于第二替换片段的预测概率和第一损失函数，生成第二子损失函数；
取第一子损失函数和第二子损失函数的平均值，作为多语言语义表示模型对应的第二损失函数。
本实施例的多语言语义表示模型的训练装置500，通过采用上述模块实现多语言语义表示模型的训练的实现原理以及技术效果与上述相关方法实施例的实现相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图7所示，是本申请实施例的实现上述方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图7所示，该电子设备包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器701为例。
存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的多语言语义表示模型的训练方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的多语言语义表示模型的训练方法。
存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的多语言语义表示模型的训练方法对应的程序指令/模块(例如，附图4和附图5所示的相关模块)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的多语言语义表示模型的训练方法。
存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据实现多语言语义表示模型的训练方法的电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至实现多语言语义表示模型的训练方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现多语言语义表示模型的训练方法的电子设备还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图7中以通过总线连接为例。
输入装置703可接收输入的数字或字符信息，以及产生与实现多语言语义表示模型的训练方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，通过采用包含多种语言的数条训练语料，对多语言语义表示模型进行训练，使得多语言语义表示模型学习各种语言的语义表示能力；对于数条训练语料中的各训练语料，生成相应的混杂语言语料，该混杂语言语料中包括至少两种语言的语料；采用各混杂语言语料及对应的训练语料，对多语言语义表示模型进行训练，能够使得多语言语义表示模型能够学习到不用语言之间的语义对齐信息，进而能够基于该多语言语义表示模型实现不同语言之间的语义交互，实用性非常强。
根据本申请实施例的技术方案，通过采用上述方式，可以采用多语言语义表示模型准确生成混杂语言语料，可以充分的利用无监督单语语料，从无监督语料中构建出大量有监督的双语对齐的任务语料，提升对多语言语义表示模型的建模效果。另外，本实施例中，还可以基于生成的混杂语言语料，使得多语言语义表示模型学习不同语言之间的语义对齐信息，能够有效地提升多语言语义表示模型的性能，进而能够基于该多语言语义表示模型实现不同语言之间的语义交互，实用性非常强。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (10)

1.一种多语言语义表示模型的训练方法，其中，所述方法包括：
采用包含多种语言的数条训练语料，对多语言语义表示模型进行训练，使得所述多语言语义表示模型学习各种语言的语义表示能力；
对于所述数条训练语料中的各所述训练语料，生成相应的混杂语言语料，所述混杂语言语料中包括至少两种语言的语料；
采用各所述混杂语言语料及对应的所述训练语料，对所述多语言语义表示模型进行训练，使得所述多语言语义表示模型学习不同语言的语义对齐信息；
其中，对于所述数条训练语料中的各所述训练语料，生成相应的混杂语言语料，包括：
对于所述数条训练语料中的各所述训练语料中随机指定的第一目标片段，采用所述多语言语义表示模型，预测所述第一目标片段位置处、采用不同于所述训练语料的第一语言的第二语言表示的第一替换片段；
根据所述训练语料、所述第一目标片段和所述第二语言表示的第一替换片段，生成所述混杂语言语料；
其中，采用各所述混杂语言语料及对应的所述训练语料，对所述多语言语义表示模型进行训练，使得所述多语言语义表示模型学习不同语言的语义对齐信息，包括：
对于各所述混杂语言语料，将所述混杂语言语料输入至所述多语言语义表示模型中，使得所述多语言语义表示模型预测所述混杂语言语料对应的所述第一语言表示的所述训练语料；
获取预测所述第一语言表示的所述训练语料时所述多语言语义表示模型对应的第一损失函数；
获取生成所述混杂语言语料时所述多语言语义表示模型对应的第二损失函数；
基于所述第一损失函数和第二损失函数，生成总损失函数；
判断所述总损失函数是否收敛；
若未收敛，采用梯度下降法调整所述多语言语义表示模型的参数，并继续采用各所述混杂语言语料进行训练，直至所述总损失函数收敛。
2.根据权利要求1所述的方法，其中，根据所述训练语料、所述第一目标片段和所述第二语言表示的第一替换片段，生成所述混杂语言语料之后，还包括：
在所述混杂语言语料中，对于随机指定的所述第一替换片段之外的第二目标片段，采用所述多语言语义表示模型，预测所述第二目标片段位置处、采用不同于所述第一语言的第三语言表示的第二替换片段；
根据所述混杂语言语料、所述第二目标片段和所述第三语言表示的第二替换片段，更新所述混杂语言语料。
3.根据权利要求1所述的方法，其中，获取生成所述混杂语言语料时所述多语言语义表示模型对应的第二损失函数，包括：
若所述混杂语言语料是基于所述训练语料、所述第一目标片段和所述第二语言表示的第一替换片段生成的，获取所述多语言语义表示模型预测所述第一替换片段的预测概率；
基于所述第一替换片段的预测概率和所述第一损失函数，生成所述多语言语义表示模型对应的所述第二损失函数。
4.根据权利要求1所述的方法，其中，获取生成所述混杂语言语料时所述多语言语义表示模型对应的第二损失函数，包括：
若所述混杂语言语料是基于第二目标片段和第三语言表示的第二替换片段更新的，获取所述多语言语义表示模型预测所述第一替换片段的预测概率和所述第二替换片段的预测概率；
基于所述第一替换片段的预测概率和所述第一损失函数，生成第一子损失函数；
基于所述第二替换片段的预测概率和所述第一损失函数，生成第二子损失函数；
取所述第一子损失函数和所述第二子损失函数的平均值，作为所述多语言语义表示模型对应的所述第二损失函数。
5.一种多语言语义表示模型的训练装置，其中，所述装置包括：
第一训练模块，用于采用包含多种语言的数条训练语料，对多语言语义表示模型进行训练，使得所述多语言语义表示模型学习各种语言的语义表示能力；
生成模块，用于对于所述数条训练语料中的各所述训练语料，生成相应的混杂语言语料，所述混杂语言语料中包括至少两种语言的语料；
第二训练模块，用于采用各所述混杂语言语料及对应的所述训练语料，对所述多语言语义表示模型进行训练，使得所述多语言语义表示模型学习不同语言的语义对齐信息；
其中，所述生成模块，包括：
预测单元，用于对于所述数条训练语料中的各所述训练语料中随机指定的第一目标片段，采用所述多语言语义表示模型，预测所述第一目标片段位置处、采用不同于所述训练语料的第一语言的第二语言表示的第一替换片段；
生成单元，用于根据所述训练语料、所述第一目标片段和所述第二语言表示的第一替换片段，生成所述混杂语言语料；
第二训练模块，包括：
预测单元，用于对于各所述混杂语言语料，将所述混杂语言语料输入至所述多语言语义表示模型中，使得所述多语言语义表示模型预测所述混杂语言语料对应的所述第一语言表示的所述训练语料；
第一获取单元，用于获取预测所述第一语言表示的所述训练语料时所述多语言语义表示模型对应的第一损失函数；
第二获取单元，用于获取生成所述混杂语言语料时所述多语言语义表示模型对应的第二损失函数；
生成单元，还用于基于所述第一损失函数和第二损失函数，生成总损失函数；
检测单元，用于判断所述总损失函数是否收敛；
调整单元，用于若未收敛，采用梯度下降法调整所述多语言语义表示模型的参数，并继续采用各所述混杂语言语料进行训练，直至所述总损失函数收敛。
6.根据权利要求5所述的装置，其中：
所述预测单元，还用于在所述混杂语言语料中，对于随机指定的所述第一替换片段之外的第二目标片段，采用所述多语言语义表示模型，预测所述第二目标片段位置处、采用不同于所述第一语言的第三语言表示的第二替换片段；
所述生成单元，还用于根据所述混杂语言语料、所述第二目标片段和所述第三语言表示的第二替换片段，更新所述混杂语言语料。
7.根据权利要求5所述的装置，其中，所述第二获取单元，用于：
若所述混杂语言语料是基于所述训练语料、所述第一目标片段和所述第二语言表示的第一替换片段生成的，获取所述多语言语义表示模型预测所述第一替换片段的预测概率；
基于所述第一替换片段的预测概率和所述第一损失函数，生成所述多语言语义表示模型对应的所述第二损失函数。
8.根据权利要求5所述的装置，其中，所述第二获取单元，用于：
若所述混杂语言语料是基于第二目标片段和第三语言表示的第二替换片段更新的，获取所述多语言语义表示模型预测所述第一替换片段的预测概率和所述第二替换片段的预测概率；
基于所述第一替换片段的预测概率和所述第一损失函数，生成第一子损失函数；
基于所述第二替换片段的预测概率和所述第一损失函数，生成第二子损失函数；
取所述第一子损失函数和所述第二子损失函数的平均值，作为所述多语言语义表示模型对应的所述第二损失函数。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-4中任一项所述的方法。
CN202010691555.0A 2020-07-17 2020-07-17 多语言语义表示模型的训练方法、装置、设备及存储介质 Active CN112001181B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010691555.0A CN112001181B (zh) 2020-07-17 2020-07-17 多语言语义表示模型的训练方法、装置、设备及存储介质
US17/318,577 US20220019743A1 (en) 2020-07-17 2021-05-12 Method for training multilingual semantic representation model, device and storage medium
EP21173911.5A EP3940581A1 (en) 2020-07-17 2021-05-14 Method and apparatus for training multilingual semantic representation model, device and storage medium
KR1020210089980A KR102537258B1 (ko) 2020-07-17 2021-07-08 다국어 시멘틱 표현 모델의 훈련 방법, 장치, 전자 기기 및 기록 매체
JP2021114631A JP7242993B2 (ja) 2020-07-17 2021-07-09 多言語語義表現モデルの訓練方法、装置、デバイス及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010691555.0A CN112001181B (zh) 2020-07-17 2020-07-17 多语言语义表示模型的训练方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112001181A CN112001181A (zh) 2020-11-27
CN112001181B true CN112001181B (zh) 2024-02-13

Family

ID=73467149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010691555.0A Active CN112001181B (zh) 2020-07-17 2020-07-17 多语言语义表示模型的训练方法、装置、设备及存储介质

Country Status (5)

Country Link
US (1) US20220019743A1 (zh)
EP (1) EP3940581A1 (zh)
JP (1) JP7242993B2 (zh)
KR (1) KR102537258B1 (zh)
CN (1) CN112001181B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528669B (zh) 2020-12-01 2023-08-11 北京百度网讯科技有限公司 多语言模型的训练方法、装置、电子设备和可读存储介质
CN112992117B (zh) * 2021-02-26 2023-05-26 平安科技（深圳）有限公司 多语言语音模型生成方法、装置、计算机设备及存储介质
CN113553864B (zh) * 2021-06-30 2023-04-07 北京百度网讯科技有限公司 翻译模型的训练方法、装置、电子设备及存储介质
CN113743089B (zh) * 2021-09-03 2024-08-27 科大讯飞股份有限公司 一种多语种文本生成方法、装置、设备及存储介质
CN113836271B (zh) * 2021-09-28 2023-08-15 北京有竹居网络技术有限公司 自然语言处理的方法和产品
CN114417879B (zh) * 2021-12-29 2022-12-27 北京百度网讯科技有限公司 跨语言文本语义模型的生成方法、装置及电子设备
DE102022204257A1 (de) * 2022-04-29 2023-11-02 Siemens Aktiengesellschaft System zur digitalen Transformation wirtschaftlicher, organisatorischer und/oder industrieller Inhalte und/oder Prozesse, Verfahren und Computerprogrammprodukt dazu
CN115392189B (zh) * 2022-10-28 2023-04-07 北京砍石高科技有限公司 多语种混合语料的生成方法及装置、训练方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015171875A1 (en) * 2014-05-07 2015-11-12 Microsoft Technology Licensing, Llc Language model optimization for in-domain application
CN110717339A (zh) * 2019-12-12 2020-01-21 北京百度网讯科技有限公司 语义表示模型的处理方法、装置、电子设备及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9716887D0 (en) 1997-08-08 1997-10-15 British Telecomm Translation
US9633005B2 (en) 2006-10-10 2017-04-25 Abbyy Infopoisk Llc Exhaustive automatic processing of textual information
WO2018017546A1 (en) * 2016-07-18 2018-01-25 Google Llc Training machine learning models on multiple machine learning tasks
KR102532748B1 (ko) * 2017-09-08 2023-05-16 삼성전자주식회사 뉴럴 네트워크 학습 방법 및 장치
US11151334B2 (en) * 2018-09-26 2021-10-19 Huawei Technologies Co., Ltd. Systems and methods for multilingual text generation field
US11556776B2 (en) * 2018-10-18 2023-01-17 Microsoft Technology Licensing, Llc Minimization of computational demands in model agnostic cross-lingual transfer with neural task representations as weak supervision
US11003867B2 (en) * 2019-03-04 2021-05-11 Salesforce.Com, Inc. Cross-lingual regularization for multilingual generalization
US12079714B2 (en) * 2019-07-03 2024-09-03 Kpn Innovations, Llc Methods and systems for an artificial intelligence advisory system for textual analysis
DE212020000731U1 (de) * 2019-09-25 2022-09-28 Google Llc Kontrastives Vortraining für Sprachaufgaben
US11694042B2 (en) * 2020-06-16 2023-07-04 Baidu Usa Llc Cross-lingual unsupervised classification with multi-view transfer learning

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015171875A1 (en) * 2014-05-07 2015-11-12 Microsoft Technology Licensing, Llc Language model optimization for in-domain application
CN110717339A (zh) * 2019-12-12 2020-01-21 北京百度网讯科技有限公司 语义表示模型的处理方法、装置、电子设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"CoSDA-ML: Multi-Lingual Code-Switching Data Augmentation for Zero-Shot Cross-Lingual NLP";Libo Qin等;《arXiv》;全文 *
"Cross-Lingual Natural Language Generation via Pre-Training";Zewen Chi等;《arXiv》;全文 *
跨语言词向量研究综述;彭晓娅;周栋;;中文信息学报(第02期);全文 *

Also Published As

Publication number Publication date
EP3940581A1 (en) 2022-01-19
US20220019743A1 (en) 2022-01-20
JP7242993B2 (ja) 2023-03-22
KR102537258B1 (ko) 2023-05-26
JP2022019612A (ja) 2022-01-27
CN112001181A (zh) 2020-11-27
KR20220010436A (ko) 2022-01-25

Similar Documents

Publication Publication Date Title
CN112001181B (zh) 多语言语义表示模型的训练方法、装置、设备及存储介质
JP7398402B2 (ja) 実体リンキング方法、装置、電子機器、記憶媒体およびコンピュータプログラム
CN112001190B (zh) 自然语言处理模型的训练方法、装置、设备及存储介质
CN111079442B (zh) 文档的向量化表示方法、装置和计算机设备
KR20210040851A (ko) 텍스트 인식 처리 방법, 장치, 전자 기기 및 저장매체
EP3916612A1 (en) Method and apparatus for training language model based on various word vectors, device, medium and computer program product
CN110427627B (zh) 基于语义表示模型的任务处理方法和装置
US11526668B2 (en) Method and apparatus for obtaining word vectors based on language model, device and storage medium
CN112528669B (zh) 多语言模型的训练方法、装置、电子设备和可读存储介质
CN111709234B (zh) 文本处理模型的训练方法、装置及电子设备
CN111539227B (zh) 训练语义表示模型的方法、装置、设备和计算机存储介质
EP3885963A1 (en) Method and apparatus for determining causality, electronic device and storage medium
US20220092252A1 (en) Method for generating summary, electronic device and storage medium thereof
CN110023930B (zh) 利用神经网络和在线学习的语言数据预测
JP2021111323A (ja) 感情分析モデルの事前トレーニング方法、装置及び電子機器
CN111079945B (zh) 端到端模型的训练方法及装置
CN111950293B (zh) 语义表示模型的生成方法、装置、电子设备及存储介质
JP2022020006A (ja) ニューラルネットワークモデルの事前トレーニング方法、装置、電子機器及び媒体
CN113723278A (zh) 表格信息提取模型的训练方法及装置
US11562150B2 (en) Language generation method and apparatus, electronic device and storage medium
CN112001182B (zh) 多语言语义表示模型的训练方法、装置、设备及存储介质
JP7580593B2 (ja) エンドツーエンドセンシティブテキストリコールモデルのトレーニング方法、センシティブテキストリコール方法
CN115688796B (zh) 用于自然语言处理领域中预训练模型的训练方法及其装置
CN115952790A (zh) 信息抽取方法及其装置
JP2024526395A (ja) エンドツーエンドセンシティブテキストリコールモデルのトレーニング方法、センシティブテキストリコール方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant