CN111612158B - 模型部署方法、装置、设备和存储介质 - Google Patents

Abstract

本发明提供一种模型部署方法、装置、设备和存储介质，方法包括：若接收到训练请求，基于所述训练请求携带的样本数据进行训练，得到训练模型；将所述训练模型部署到指定目录；将所述训练模型的标识和所述指定目录推送给模型服务器，以使所述模型服务器根据所述训练模型的标识和所述指定目录，加载所述训练模型，实现了在不重新启动模型服务器的情况下，自动部署训练模型，并且在部署训练模型过程中，不影响模型服务器的使用。采用本发明的技术方案，能够提高模型部署效率。

Description

模型部署方法、装置、设备和存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种模型部署方法、装置、设备和存储介质。

背景技术

目前，Bert模型等机器学习模型在训练阶段和应用阶段是相互分离的状态，即在训练阶段用大量数据运算训练出需要的模型，在应用阶段则将训练的模型手动建立可执行的程序，重启模型服务器就可以加载训练的模型。例如，采用Bert训练代码去加载收集好的训练集一起跑一次模型训练，然后使用整理好的测试集进行模型验证，模型验证完成后，手动建立成可执行的程序，重启模型服务器就可以加载训练的模型，实现模型的新增、更新等。

但是，在新增、更新模型时，由于需要手动建立可执行的程序，并重新启动模型服务器，使得模型服务器无法使用，降低了模型部署效率。

发明内容

有鉴于此，本发明的目的在于提出一种模型部署方法、装置、设备和存储介质，以解决现有技术中模型部署效率较低的问题。

基于上述目的，本发明提供了一种模型部署方法，包括：

若接收到训练请求，基于所述训练请求携带的样本数据进行训练，得到训练模型；

将所述训练模型部署到指定目录；

将所述训练模型的标识和所述指定目录推送给模型服务器，以使所述模型服务器根据所述训练模型的标识和所述指定目录，加载所述训练模型。

进一步地，上述所述的模型部署方法中，所述基于所述训练请求携带的样本数据进行训练，得到训练模型，包括：

基于所述样本数据中的训练集的标识和第一存储目录，加载所述训练集；

对所述训练集进行训练，得到预训练模型；

基于所述样本数据中的测试集的标识和第二存储目录，加载所述测试集；

将所述测试集输入所述预训练模型，得到测试结果；

若所述测试结果满足预设的模型上线条件，将所述预训练模型作为所述训练模型。

进一步地，上述所述的模型部署方法中，所述指定目录设置在所述模型服务器中。

进一步地，上述所述的模型部署方法，还包括：

确定所述样本数据对应的意图信息；

基于预设的意图与训练算法的关联关系，确定所述意图信息对应的训练算法，以便利用所述训练算法进行训练。

本发明还提供一种模型部署装置，包括：

训练模块，用于若接收到训练请求，基于所述训练请求携带的样本数据进行训练，得到训练模型；

部署模块，用于将所述训练模型部署到指定目录；

推送模块，用于将所述训练模型的标识和所述指定目录推送给模型服务器，以使所述模型服务器根据所述训练模型的标识和所述指定目录，加载所述训练模型。

进一步地，上述所述的模型部署装置中，所述训练模块，具体用于：

基于所述样本数据中的训练集的标识和第一存储目录，加载所述训练集；

对所述训练集进行训练，得到预训练模型；

基于所述样本数据中的测试集的标识和第二存储目录，加载所述测试集；

将所述测试集输入所述预训练模型，得到测试结果；

若所述测试结果满足预设的模型上线条件，将所述预训练模型作为所述训练模型。

进一步地，上述所述的模型部署装置中，所述指定目录设置在所述模型服务器中。

进一步地，上述所述的模型部署装置中，所述训练模块还用于：

确定所述样本数据对应的意图信息；

基于预设的意图与训练算法的关联关系，确定所述意图信息对应的训练算法，以便利用所述训练算法进行训练。

本发明还提供一种模型部署设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任意一项所述的方法。

本发明还提供一种存储介质，所述存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述任意一项所述的方法。

从上面所述可以看出，本发明提供的模型部署方法、装置、设备和存储介质，若接收到训练请求，基于训练请求携带的样本数据进行训练，得到训练模型后，将训练模型部署到指定目录，并将训练模型的标识和指定目录推送给模型服务器，以使模型服务器根据训练模型的标识和指定目录，加载训练模型，实现了在不重新启动模型服务器的情况下，自动部署训练模型，并且在部署训练模型过程中，不影响模型服务器的使用。采用本发明的技术方案，能够提高模型部署效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的模型部署方法实施例的流程图；

图2为本发明的模型部署装置实施例的结构示意图；

图3为本发明的模型部署设备实施例的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

需要说明的是，除非另外定义，本发明实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

图1为本发明的模型部署方法实施例的流程图，如图1所示，本实施例的模型部署方法具体可以包括如下步骤：

100、若接收到训练请求，基于训练请求携带的样本数据进行训练，得到训练模型；

在一个具体实现过程中，用户可以将整理好的语料和对应的意图标签等作为样本数据导入在线训练平台，并输入训练请求，此时，若接收到训练请求，可以基于训练请求携带的样本数据进行训练，得到训练模型。

具体地，可以将样本数据进行划分，得到训练集和测试集，其中，训练集优选为80％的样本数据，测试集优选为20％的样本数据。在划分训练集和测试集时，可以采用随机划分的方法进行划分。本实施例中，当完成数据划分时，可以记录训练集的标识和第一存储目录，记录测试集的标识和第二存储目录。将训练集的标识、第一存储目录、测试集的标识和第二存储目录分别发送给在线训练平台，这样，可以基于样本数据中的训练集的标识和第一存储目录，加载训练集，并对训练集进行训练，得到预训练模型。在得到预训练模型后，可以检测到新增模型，此时，可以基于样本数据中的测试集的标识和第二存储目录，加载测试集，并将测试集输入预训练模型，得到测试结果；判断测试结果是否满足模型上线条件，若测试结果满足预设的模型上线条件，将预训练模型作为训练模型。若测试结果不满足模型上线条件，则继续训练。

例如，测试结果可以包括预训练模型的准确率和/或召回率，对应地，模型上线条件准确率大于第一预设阈值，和/或，召回率大于第二预设阈值。

本实施例中，针对测试结果而言，表示预测样本为正的样本中有多少是真正的正例样本预测有两种可能，一种就是把正类预测为正类(TP)，另一种负类预测为正类(FP)，可以得到准确率P＝TP/(TP+FP)。针对样本数据而言,表示样本中正例有多少被预测正确了也有两种可能，一种是把原先的正类预测成正类(TP)，另一种就是把原先正类预测为负类(FN)，可以得到召回率R＝TP/(TP+FN)。

本实施例中，只需要人工收集的意图分类语料和意图标签等样本数据，就能通过在线训练平台自动加载训练集和测试集，完成模型训练和评估，提高了训练模型的效率。

101、将训练模型部署到指定目录；

在得到训练模型后，可以将该训练模型部署到指定目录中，其中，该指定目录优选为设置在模型服务器中。

102、将训练模型的标识和指定目录推送给模型服务器，以使模型服务器根据训练模型的标识和指定目录，加载训练模型。

在一个具体实现过程中，在得到每个训练模型时，均会生成唯一的标识。本实施例中，在完成训练模型的部署后，可以通过HTTP接口等方式自动将训练模型的标识和指定目录推送给模型服务器，以使模型服务器就能在未重启的情况下，动态加载到对应的训练模型，这样，得到的训练模型也就可以生效了。

本实施例的模型部署方法，若接收到训练请求，基于训练请求携带的样本数据进行训练，得到训练模型后，将训练模型部署到指定目录，并将训练模型的标识和指定目录推送给模型服务器，以使模型服务器根据训练模型的标识和指定目录，加载训练模型，实现了在不重新启动模型服务器的情况下，自动部署训练模型，并且在部署训练模型过程中，不影响模型服务器的使用。采用本发明的技术方案，能够提高模型部署效率。

在实际应用中，为了适应各种训练方法，可以设置多种训练方法的调用接口，用户在输入样本数据时，可以选择所需的训练方法。但是，部分用户对训练方法不是很了解，无法准确的选择所需训练方法，因此，为了解决上述问题，本发明还提供了以下技术方案。

可以从部分样本数据中提取数据特征，以便根据提取的数据特征，确定样本数据对应的意图信息，并基于预设的意图与训练算法的关联关系，确定意图信息对应的训练算法，以便利用确定的训练算法进行训练。这样，即可在用户对训练方法不是很了解的情况下，仍能够准确的选择所需训练方法进行训练，同时，也可以避免用户忘记选择训练算法时，无法进行训练的现象。

需要说明的是，本发明实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本发明实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成的方法。

图2为本发明的模型部署装置实施例的结构示意图，如图2所示，本实施例的模型部署装置包括训练模块20、部署模块21和推送模块22。

训练模块20，用于若接收到训练请求，基于所述训练请求携带的样本数据进行训练，得到训练模型；

具体地，基于样本数据中的训练集的标识和第一存储目录，加载训练集；对训练集进行训练，得到预训练模型；基于样本数据中的测试集的标识和第二存储目录，加载测试集；将测试集输入预训练模型，得到测试结果；若测试结果满足预设的模型上线条件，将预训练模型作为训练模型。

部署模块21，用于将所述训练模型部署到指定目录；

其中，指定目录优选为设置在所述模型服务器中。

推送模块22，用于将所述训练模型的标识和所述指定目录推送给模型服务器，以使所述模型服务器根据所述训练模型的标识和所述指定目录，加载所述训练模型。

本实施例的模型部署装置，若接收到训练请求，基于训练请求携带的样本数据进行训练，得到训练模型后，将训练模型部署到指定目录，并将训练模型的标识和指定目录推送给模型服务器，以使模型服务器根据训练模型的标识和指定目录，加载训练模型，实现了在不重新启动模型服务器的情况下，自动部署训练模型，并且在部署训练模型过程中，不影响模型服务器的使用。采用本发明的技术方案，能够提高模型部署效率。

进一步地，上述实施例中，训练模块20还用于：

确定样本数据对应的意图信息；

基于预设的意图与训练算法的关联关系，确定意图信息对应的训练算法，以便利用训练算法进行训练。

上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

图3为本发明的模型部署设备实施例的结构示意图，如图3所示，本实施例的通行设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。

处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。

输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

本发明还提供一种训练系统，包括模型服务器和上述实施例的模型部署设备。

本发明还提供一种存储介质，所述存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述实施例的分布式终端的控制方法。

本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种模型部署方法，其特征在于，包括：

将整理好的语料和对应的意图标签作为样本数据导入在线训练平台，并输入训练请求，若接收到所述训练请求，基于所述训练请求携带的样本数据进行训练，得到训练模型；

将所述训练模型部署到指定目录；

将所述训练模型的标识和所述指定目录推送给模型服务器，以使所述模型服务器根据所述训练模型的标识和所述指定目录，加载所述训练模型；

其中，所述基于所述训练请求携带的样本数据进行训练，得到训练模型，包括：

将训练集的标识、第一存储目录、测试集的标识和第二存储目录分别发送给所述在线训练平台；基于所述样本数据中的所述训练集的标识和所述第一存储目录，加载所述训练集；

对所述训练集进行训练，得到预训练模型；

基于所述样本数据中的所述测试集的标识和所述第二存储目录，加载所述测试集；

将所述测试集输入所述预训练模型，得到测试结果；

若所述测试结果满足预设的模型上线条件，将所述预训练模型作为所述训练模型；

所述方法还包括：确定所述样本数据对应的意图信息；基于预设的意图与训练算法的关联关系，确定所述意图信息对应的训练算法，以便利用所述训练算法进行训练。

2.根据权利要求1所述的模型部署方法，其特征在于，所述指定目录设置在所述模型服务器中。

3.一种模型部署装置，其特征在于，包括：

训练模块，用于将整理好的语料和对应的意图标签作为样本数据导入在线训练平台，并输入训练请求，若接收到所述训练请求，基于所述训练请求携带的样本数据进行训练，得到训练模型；

部署模块，用于将所述训练模型部署到指定目录；

推送模块，用于将所述训练模型的标识和所述指定目录推送给模型服务器，以使所述模型服务器根据所述训练模型的标识和所述指定目录，加载所述训练模型；

其中，所述训练模块，具体用于：

将训练集的标识、第一存储目录、测试集的标识和第二存储目录分别发送给所述在线训练平台；基于所述样本数据中的所述训练集的标识和所述第一存储目录，加载所述训练集；

对所述训练集进行训练，得到预训练模型；

基于所述样本数据中的所述测试集的标识和所述第二存储目录，加载所述测试集；

将所述测试集输入所述预训练模型，得到测试结果；

若所述测试结果满足预设的模型上线条件，将所述预训练模型作为所述训练模型；

所述训练模块还用于：确定所述样本数据对应的意图信息；基于预设的意图与训练算法的关联关系，确定所述意图信息对应的训练算法，以便利用所述训练算法进行训练。

4.根据权利要求3所述的模型部署装置，其特征在于，所述指定目录设置在所述模型服务器中。

5.一种模型部署设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1或2所述的方法。

6.一种存储介质，其特征在于，所述存储介质存储计算机指令，所述计算机指令用于使所述计算机执行权利要求1或2所述的方法。