CN113095512A - 联邦学习建模优化方法、设备、介质及计算机程序产品 - Google Patents

Abstract

本申请公开了一种联邦学习建模优化方法、设备、介质及计算机程序产品，所述联邦学习建模优化方法应用于协调方设备，所述联邦学习建模优化方法包括：接收各参与方设备迭代训练本地预测模型生成的本地模型参数；基于对各所述参与方设备发送的训练特征表征进行聚类生成的各特征表征聚类簇，对各所述本地模型参数进行分聚类簇聚合，获得各所述特征表征聚类簇对应的聚合模型参数；将各所述聚合模型参数分别反馈至对应的参与方设备，以供所述参与方设备依据所述聚合模型参数，优化所述本地预测模型，获得联邦预测模型。本申请解决了联邦学习时计算效率低的技术问题。

Description

联邦学习建模优化方法、设备、介质及计算机程序产品

技术领域

本申请涉及金融科技(Fintech)的人工智能技术领域，尤其涉及一种联邦学习建模优化方法、设备、介质及计算机程序产品。

背景技术

随着金融科技，尤其是互联网科技金融的不断发展，越来越多的技术(如分布式、人工智能等)应用在金融领域，但金融业也对技术提出了更高的要求，如对金融业对应待办事项的分发也有更高的要求。

随着计算机技术的不断发展，人工智能的应用也越来越广泛，目前，在进行联邦学习时，通常由协调方直接聚合各参与方的本地模型，生成聚合模型，但是，由于各参与方的训练数据通常存在较大的差异性，进而将导致聚合模型与各参与方的训练数据的适配程度较低，而由于在每次聚合后，聚合模型仍然需要基于本地的训练数据继续进行迭代训练优化，进而将导致聚合模型在迭代过程中收敛较慢，联邦学习时的计算效率较低。

发明内容

本申请的主要目的在于提供一种联邦学习建模优化方法、设备、介质及计算机程序产品，旨在解决现有技术中联邦学习时计算效率低的技术问题。

为实现上述目的，本申请提供一种联邦学习建模优化方法，所述联邦学习建模优化方法应用于协调方设备，所述联邦学习建模优化方法包括：

接收各参与方设备迭代训练本地预测模型生成的本地模型参数；

基于对各所述参与方设备发送的训练特征表征进行聚类生成的各特征表征聚类簇，对各所述本地模型参数进行分聚类簇聚合，获得各所述特征表征聚类簇对应的聚合模型参数；

将各所述聚合模型参数分别反馈至对应的参与方设备，以供所述参与方设备依据所述聚合模型参数，优化所述本地预测模型，获得联邦预测模型。

本申请还提供一种联邦学习建模优化装置，所述联邦学习建模优化装置为虚拟装置，且所述联邦学习建模优化装置应用于协调方设备，所述联邦学习建模优化装置包括：

接收模块，用于接收各参与方设备迭代训练本地预测模型生成的本地模型参数；

分聚类簇聚合模块，用于基于对各所述参与方设备发送的训练特征表征进行聚类生成的各特征表征聚类簇，对各所述本地模型参数进行分聚类簇聚合，获得各所述特征表征聚类簇对应的聚合模型参数；

反馈模块，用于将各所述聚合模型参数分别反馈至对应的参与方设备，以供所述参与方设备依据所述聚合模型参数，优化所述本地预测模型，获得联邦预测模型。

为实现上述目的，本申请提供一种联邦学习建模优化方法，所述联邦学习建模优化方法应用于参与方设备，所述联邦学习建模优化方法包括：

获取本地预测模型，并迭代训练所述本地预测模型至预设迭代次数阈值，获取所述本地预测模型的本地模型参数；

将所述本地模型参数发送至协调方设备，以供所述协调方设备基于各特征表征聚类簇，对各所述参与方设备发送的本地模型参数进行分聚类簇聚合，获得各聚合模型参数；

接收所述参与方设备的所属聚类簇对应的聚合模型参数，并依据所述聚合模型参数，优化所述本地预测模型，获得联邦预测模型。

本申请还提供一种联邦学习建模优化装置，所述联邦学习建模优化装置为虚拟装置，且所述联邦学习建模优化装置应用于参与方设备，所述联邦学习建模优化装置包括：

迭代训练模块，用于获取本地预测模型，并迭代训练所述本地预测模型至预设迭代次数阈值，获取所述本地预测模型的本地模型参数；

发送模块，用于将所述本地模型参数发送至协调方设备，以供所述协调方设备基于各特征表征聚类簇，对各所述参与方设备发送的本地模型参数进行分聚类簇聚合，获得各聚合模型参数；

模型优化模块，用于接收所述参与方设备的所属聚类簇对应的聚合模型参数，并依据所述聚合模型参数，优化所述本地预测模型，获得联邦预测模型。

本申请还提供一种联邦学习建模优化设备，所述联邦学习建模优化设备为实体设备，所述联邦学习建模优化设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述联邦学习建模优化方法的程序，所述联邦学习建模优化方法的程序被处理器执行时可实现如上述的联邦学习建模优化方法的步骤。

本申请还提供一种介质，所述介质为可读存储介质，所述可读存储介质上存储有实现联邦学习建模优化方法的程序，所述联邦学习建模优化方法的程序被处理器执行时实现如上述的联邦学习建模优化方法的步骤。

本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的联邦学习建模优化方法的步骤。

本申请提供了一种联邦学习建模优化方法、设备、介质及计算机程序产品，相比于现有技术采用的由协调方直接聚合各参与方的本地模型，生成聚合模型的技术手段，本申请首先接收各参与方设备迭代训练本地预测模型生成的本地模型参数，进而基于对各所述参与方设备发送的训练特征表征进行聚类生成的各特征表征聚类簇，对各所述本地模型参数进行分聚类簇聚合，获得各所述特征表征聚类簇对应的聚合模型参数，也即，本申请在进行聚合之前，通过对各所述参与方设备发送的训练特征表征进行聚类生成的各特征表征聚类簇，实现了在各参与方设备中筛选具备数据分布相似或者相同的训练数据的参与方设备的目的，进而通过对各所述本地模型参数进行分聚类簇聚合，即可将具备数据分布相似或者相同的训练数据的参与方设备的本地模型参数分别进行聚合，使得聚合模型与其对应的训练数据具备较高的适配度，进而将各所述聚合模型参数分别反馈至对应的参与方设备，以供所述参与方设备依据所述聚合模型参数，优化所述本地预测模型，获得联邦预测模型，即可实现基于适配度较高的训练数据，更新对应的聚合模型的目的，提升了模型收敛速度，所以，克服了由于各参与方的训练数据通常存在较大的差异性，进而将导致聚合模型与各参与方的训练数据的适配程度较低，而由于在每次聚合后，聚合模型仍然需要基于本地的训练数据继续进行迭代训练优化，进而将导致聚合模型在迭代过程中收敛较慢的技术缺陷，提升联邦学习时的计算效率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请联邦学习建模优化方法第一实施例的流程示意图；

图2为本申请联邦学习建模优化方法中聚类过程涉及的硬件架构示意图；

图3为本申请联邦学习建模优化方法第二实施例的流程示意图；

图4为本申请实施例中联邦学习建模优化方法涉及的硬件运行环境的设备结构示意图。

本申请目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本申请实施例提供一种联邦学习建模优化方法，在本申请联邦学习建模优化方法的第一实施例中，参照图1，所述联邦学习建模优化方法应用于协调方设备，所述联邦学习建模优化方法包括：

步骤S10，接收各参与方设备迭代训练本地预测模型生成的本地模型参数；

在本实施例中，需要说明的是，所述参与方设备为联邦学习中的参与方，所述协调方设备为联邦学习中的协调方，所述联邦学习包括纵向联邦学习和横向联邦学习。

接收各参与方设备迭代训练本地预测模型生成的本地模型参数，具体地，参与方设备基于训练数据，迭代训练本地预测模型至预设迭代次数阈值，获取迭代训练后的本地预测模型的本地模型参数，并将所述本地模型参数发送至协调方设备，进而协调方设备接收各参与方设备发送的本地模型参数，其中，所述参与方设备的数量至少为2，所述本地模型参数至少包括网络权重参数、模型损失和模型梯度中的一种。

步骤S20，基于对各所述参与方设备发送的训练特征表征进行聚类生成的各特征表征聚类簇，对各所述本地模型参数进行分聚类簇聚合，获得各所述特征表征聚类簇对应的聚合模型参数；

在本实施例中，需要说明的是，所述训练特征表征为参与方设备对本地的训练数据进行特征提取生成的特征向量，用于表征训练数据的数据分布情况，所述特征表征聚类簇为协调方设备对各训练特征表示进行聚类生成的聚类类别，其中，属于同一特征表征聚类簇的训练特征表征之间的距离小于预设类间距离阈值，属于不同的特征表征聚类的训练特征表征之间的聚类大于预设簇间距离阈值。

基于对各所述参与方设备发送的训练特征表征进行聚类生成的各特征表征聚类簇，对各所述本地模型参数进行分聚类簇聚合，获得各所述特征表征聚类簇对应的聚合模型参数，具体地，获取各所述参与方设备发送的训练特征表征进行聚类生成的各特征表征聚类簇，进而将属于同一特征表征聚类簇的各训练特征表征对应的参与方设备发送的本地模型参数分别进行聚合，获得各所述特征表征聚类簇对应的聚合模型参数，例如，假设参与方设备A、B、和C对应特征表征聚类簇M，参与方设备C和D对应的特征表征聚类簇N，则将参与方设备A、B和C三方发送的本地模型参数进行聚合，得到聚合模型参数X，并将参与方设备C和D两方发送的本地模型参数进行聚合，得到聚合模型参数Y。

其中，所述基于对各所述参与方设备发送的训练特征表征进行聚类生成的各特征表征聚类簇，对各所述本地模型参数进行分聚类簇聚合，获得各所述特征表征聚类簇对应的聚合模型参数的步骤包括：

步骤S21，在各所述本地模型参数中选取各所述特征表征聚类簇分别对应的各待聚合模型参数；

在本实施例中，在各所述本地模型参数中选取各所述特征表征聚类簇分别对应的各待聚合模型参数，具体地，基于各特征表征聚类簇与各所述参与方设备发送的训练特征表征之间的从属关系，在各所述参与方设备发送的本地模型参数中选取各所述特征表征聚类簇分别对应的各待聚合模型参数，其中，一所述训练特征表征唯一对应一所述特征表征聚类簇，一所述特征表征聚类簇至少对应一所述训练特征表征。

步骤S22，对各所述特征表征聚类簇分别对应的各待聚合模型参数分别进行聚合，获得各所述聚合模型参数。

在本实施例中，对各所述特征表征聚类簇分别对应的各待聚合模型参数分别进行聚合，获得各所述聚合模型参数，具体地，基于预设聚合规则，对每一所述特征表征聚类簇对应的各待聚合模型参数进行聚合，获得各所述聚合模型参数，其中，所述预设聚合规则包括加权求平均以及求和等。

步骤S30，将各所述聚合模型参数分别反馈至对应的参与方设备，以供所述参与方设备依据所述聚合模型参数，优化所述本地预测模型，获得联邦预测模型。

在本实施例中，将各所述聚合模型参数分别反馈至对应的参与方设备，以供所述参与方设备依据所述聚合模型参数，优化所述本地预测模型，获得联邦预测模型，具体地，将每一所述聚合模型参数分别发送至各自对应的参与方设备，进而所述参与方设备接收所述聚合模型参数，并依据所述聚合模型参数，对所述本地预测模型的模型参数进行更新，并判断更新后的本地预测模型是否满足预设迭代训练结束条件，若满足，则将所述本地预测模型作为所述联邦预测模型，若不满足，则返回迭代所述基于训练数据，迭代训练本地预测模型至预设迭代次数阈值的步骤，其中，所述预设迭代训练结束条件包括达到最大迭代次数阈值和损失函数收敛等。

其中，在所述基于对各所述参与方设备发送的训练特征表征进行聚类生成的各特征表征聚类簇，对各所述本地模型参数进行分聚类簇聚合，获得各所述特征表征聚类簇对应的聚合模型参数的步骤之前，所述联邦学习建模优化方法还包括：

步骤A10，接收各所述参与方设备发送的训练特征表征，其中，所述训练特征表示由所述参与方设备对所述本地预测模型对应的训练数据进行特征提取生成；

在本实施例中，接收各所述参与方设备发送的训练特征表征，其中，所述训练特征表示由所述参与方设备对所述本地预测模型对应的训练数据进行特征提取生成，具体地，参与方设备获取本地预测模型对应的训练数据，并依据联邦学习构建的特征提取模型，对所述训练数据进行特征提取，以将所述训练数据映射至预设维度的向量空间，以对所述训练数据进行降维，获得所述训练特征表征，进而将所述训练特征表征发送至协调方设备，进而所述协调方设备接收各参与方设备发送的训练特征表征，其中，所述训练特征表征的数据维度小于所述训练数据的数据维度。

步骤A20，对各所述训练特征表征进行聚类，获得各所述特征表征聚类簇。

在本实施例中，对各所述训练特征表征进行聚类，获得各所述特征表征聚类簇，具体地，对各所述训练特征表征进行聚类，以将各所述训练特征表征划分为预设数量的聚类簇，使得属于同一聚类簇的各训练特征表征之间的距离小于预设簇内距离阈值，不属于同一聚类簇的各训练特征表征之间的距离大于预设簇间距离阈值，获得各所述特征表征聚类簇，其中，聚类的方式包括K-Means聚类、Mean-Shift聚类和凝聚层次聚类等，如图2所示为本申请实施例聚类过程涉及的硬件架构示意图，其中，图2中上方的单个设备为协调方设备，图2中下方的多个设备为参与方设备。

本申请实施例提供了一种联邦学习建模优化方法，相比于现有技术采用的由协调方直接聚合各参与方的本地模型，生成聚合模型的技术手段，本申请实施例首先接收各参与方设备迭代训练本地预测模型生成的本地模型参数，进而基于对各所述参与方设备发送的训练特征表征进行聚类生成的各特征表征聚类簇，对各所述本地模型参数进行分聚类簇聚合，获得各所述特征表征聚类簇对应的聚合模型参数，也即，本申请在进行聚合之前，通过对各所述参与方设备发送的训练特征表征进行聚类生成的各特征表征聚类簇，实现了在各参与方设备中筛选具备数据分布相似或者相同的训练数据的参与方设备的目的，进而通过对各所述本地模型参数进行分聚类簇聚合，即可将具备数据分布相似或者相同的训练数据的参与方设备的本地模型参数分别进行聚合，使得聚合模型与其对应的训练数据具备较高的适配度，进而将各所述聚合模型参数分别反馈至对应的参与方设备，以供所述参与方设备依据所述聚合模型参数，优化所述本地预测模型，获得联邦预测模型，即可实现基于适配度较高的训练数据，更新对应的聚合模型的目的，提升了模型收敛速度，所以，克服了由于各参与方的训练数据通常存在较大的差异性，进而将导致聚合模型与各参与方的训练数据的适配程度较低，而由于在每次聚合后，聚合模型仍然需要基于本地的训练数据继续进行迭代训练优化，进而将导致聚合模型在迭代过程中收敛较慢的技术缺陷，提升联邦学习时的计算效率。

进一步地，参照图3，在本申请的另一实施例中，所述联邦学习建模优化方法应用于参与方设备，所述联邦学习建模优化方法包括：

步骤B10，获取本地预测模型，并迭代训练所述本地预测模型至预设迭代次数阈值，获取所述本地预测模型的本地模型参数；

在本实施例中，需要说明的是，所述本地预测模型为训练好的机器学习模型，所述预设迭代次数阈值为预先设置好的迭代次数，其中，参与方设备本地每进行预设迭代次数阈值的模型迭代训练，则各参与方设备通过与协调方设备进行交互，聚合一次各本地模型参数。

获取本地预测模型，并迭代训练所述本地预测模型至预设迭代次数阈值，获取所述本地预测模型的本地模型参数，具体地，获得本地预测模型和训练数据，并基于训练数据，迭代训练所述本地预测模型，并累计迭代训练所述本地预测模型的迭代次数，进而当所述本地预测模型的迭代次数达到预设迭代次数阈值时，获取迭代训练预设迭代次数阈值后的本地预测模型的本地模型参数。

步骤B20，将所述本地模型参数发送至协调方设备，以供所述协调方设备基于各特征表征聚类簇，对各所述参与方设备发送的本地模型参数进行分聚类簇聚合，获得各聚合模型参数；

在本实施例中，将所述本地模型参数发送至协调方设备，以供所述协调方设备基于各特征表征聚类簇，对各所述参与方设备发送的本地模型参数进行分聚类簇聚合，获得各聚合模型参数，具体地，将所述本地模型参数发送至协调方设备，进而所述协调方设备接收各参与方设备发送的本地模型参数，并对应同一特征表征聚类簇的各本地模型参数分别进行聚合，获得各所述特征表征聚类簇对应的聚合模型参数，其中，所述协调方设备基于各特征表征聚类簇，对各所述参与方设备发送的本地模型参数进行分聚类簇聚合，获得各聚合模型参数具体可参照步骤S20及其细化步骤中的具体内容，在此不再赘述。

其中，在所述将所述本地模型参数发送至协调方设备，以供所述协调方设备基于各特征表征聚类簇，对各所述参与方设备发送的本地模型参数进行分聚类簇聚合，获得各聚合模型参数的步骤之前，所述联邦学习建模优化方法还包括：

步骤C10，获取所述本地预测模型对应的训练数据，并基于联邦学习构建的特征提取模型，对所述训练数据进行特征提取，获得训练特征表征；

在本实施例中，需要说明的是，所述训练数据为用于迭代训练所述本地预测模型的数据。

获取所述本地预测模型对应的训练数据，并基于联邦学习构建的特征提取模型，对所述训练数据进行特征提取，获得训练特征表征，具体地，获取用于迭代训练所述本地预测模型的训练数据，并通过将所述训练数据输入基于联邦学习构建的特征提取模型，对所述训练数据进行特征提取，以提取所述特征提取模型中的目标隐藏层的输出作为训练特征表征，其中，所述目标隐藏层为各参与方设备约定好的特征提取模型中排列在预设位置的隐藏层，例如，假设特征提取模型存在10层隐藏层，则各参与方设备可约定好将第2层隐藏层作为目标隐藏层，其中，所述训练特征表征的数据维度小于所述训练数据的数据维度。

另外地，需要说明的是，所述特征提取模型由各参与方设备基于本地的训练数据进行联邦学习构建，所述特征提取模型包括输入层、多个隐藏层和输出层，其中，任意一隐藏层的输出均可作为所述训练特征表征。

步骤C20，将所述训练特征表征发送所述协调方设备，以供所述协调方设备对各所述参与方设备发送的训练特征表征进行聚类，获得各所述特征表征聚类簇。

在本实施例中，将所述训练特征表征发送所述协调方设备，以供所述协调方设备对各所述参与方设备发送的训练特征表征进行聚类，获得各所述特征表征聚类簇，具体地，将所述训练特征表征发送所述协调方设备，进而所述协调方设备接收各参与方设备发送的训练特征表征，并通过对各所述训练特征表征进行聚类，将各所述训练特征表征划分为各特征表征聚类簇，其中，所述协调方设备对各所述参与方设备发送的训练特征表征进行聚类，获得各所述特征表征聚类簇的具体步骤可参照步骤A10至步骤A20中的具体内容，在此不再赘述。

其中，在所述将所述训练特征表征发送所述协调方设备，以供所述协调方设备对各所述参与方设备发送的训练特征表征进行聚类，获得各所述特征表征聚类簇的步骤之后，所述联邦学习建模优化方法还包括：

步骤D10，若满足预设聚类簇更新条件，则获取第二训练数据，并基于所述特征提取模型，对所述第二训练数据进行特征提取，获得第二训练特征表征；

在本实施例中，需要说明的是，所述预设聚类簇更新条件为判断各特征表征是否需要进行更新的步骤，其中，所述预设聚类簇更新条件包括参与方设备中的训练数据的数据分布发生改变以及模型迭代次数达到预设第二迭代次数阈值等。

若满足预设聚类簇更新条件，则获取第二训练数据，并基于所述特征提取模型，对所述第二训练数据进行特征提取，获得第二训练特征表征，具体地，若满足预设聚类簇更新条件，则获取当前的训练数据作为第二训练数据，并通过将所述第二训练数据输入特征提取模型，对所述第二训练数据进行特征提取，以提取所述特征提取模型中的目标隐藏层的输出作为第二训练特征表征。

步骤D20，将所述第二训练特征表征发送所述协调方设备，以供所述协调方设备通过对各所述参与方设备发送的第二训练特征表征进行聚类，更新各所述特征表征聚类簇。

在本实施例中，将所述第二训练特征表征发送所述协调方设备，以供所述协调方设备通过对各所述参与方设备发送的第二训练特征表征进行聚类，更新各所述特征表征聚类簇，具体地，将所述第二训练特征表征发送所述协调方设备，进而所述协调方设备接收各参与方设备发送的第二训练特征表征，并通过对各所述第二训练特征表征进行聚类，将各所述第二训练特征表征划分为各第二特征表征聚类簇，并将各所述特征表征聚类簇替换更新为各第二特征表征聚类簇，其中，所述协调方设备对各所述参与方设备发送的第二训练特征表征进行聚类的具体步骤可参照步骤A10至步骤A20中的具体内容，在此不再赘述。

步骤B30，接收所述参与方设备的所属聚类簇对应的聚合模型参数，并依据所述聚合模型参数，优化所述本地预测模型，获得联邦预测模型。

在本实施例中，需要说明的是，所述所属聚类簇为参与方设备生成的训练特征表征对应的特征表征聚类簇。

接收所述参与方设备的所属聚类簇对应的聚合模型参数，并依据所述聚合模型参数，优化所述本地预测模型，获得联邦预测模型，具体地，接收所述参与方设备的所属聚类簇对应的聚合模型参数，并依据所述聚合模型参数，对所述本地预测模型的模型参数进行更新，直至所述本地预测模型满足预设迭代训练结束条件，获得联邦预测模型。

其中，所述依据所述聚合模型参数，优化所述本地预测模型，获得联邦预测模型的步骤包括：

步骤B31，基于所述聚合模型参数，更新所述本地预测模型，并判断更新后的本地预测模型是否满足预设迭代训练结束条件；

在本实施例中，需要说明的是，所述聚合模型参数为本地预测模型的模型网络权重参数。

基于所述聚合模型参数，更新所述本地预测模型，并判断更新后的本地预测模型是否满足预设迭代训练结束条件，具体地，将所述本地预测模型的模型参数替换更新为所述聚合模型参数，并判断替换更新后的本地预测模型是否满足预设迭代训练结束条件，其中，判断更新后的本地预测模型是否满足预设迭代训练结束条件在所述本地预测模型的整个迭代训练过程中将持续进行，直至迭代训练完毕，所述预设迭代训练结束条件包括达到最大迭代次数阈值和损失函数收敛等。

步骤B32，若满足，则将所述本地预测模型作为所述联邦预测模型；

步骤B33，若不满足，则返回所述迭代训练所述本地预测模型至预设迭代次数阈值，获取所述本地预测模型的本地模型参数的步骤。

在本实施例中，具体地，若满足，则证明所述本地预测模型迭代训练完毕，进而将所述本地预测模型作为所述联邦预测模型，若不满足，则返回所述迭代训练所述本地预测模型至预设迭代次数阈值，获取所述本地预测模型的本地模型参数的步骤，直至更新后的本地预测模型是否满足预设迭代训练结束条件。

本申请实施例提供了一种联邦学习建模优化方法，相比于现有技术采用的由协调方直接聚合各参与方的本地模型，生成聚合模型的技术手段，本申请实施例首先获取本地预测模型，并迭代训练所述本地预测模型至预设迭代次数阈值，获取所述本地预测模型的本地模型参数，进而将所述本地模型参数发送至协调方设备，以供所述协调方设备基于各特征表征聚类簇，对各所述参与方设备发送的本地模型参数进行分聚类簇聚合，获得各聚合模型参数，

其中，由于各特征表征聚类簇是基于各参与方设备发送的训练特征表征进行聚类生成的，实现了在各参与方设备中筛选具备数据分布相似或者相同的训练数据的参与方设备，进而到达了将具备数据分布相似或者相同的训练数据的参与方设备的本地模型参数分别进行聚合目的，使得聚合模型与其对应的训练数据具备较高的适配度，进而接收所述参与方设备的所属聚类簇对应的聚合模型参数，并依据所述聚合模型参数，优化所述本地预测模型，获得联邦预测模型，即可实现基于适配度较高的训练数据，更新对应的聚合模型的目的，提升了模型收敛速度，所以，克服了由于各参与方的训练数据通常存在较大的差异性，进而将导致聚合模型与各参与方的训练数据的适配程度较低，而由于在每次聚合后，聚合模型仍然需要基于本地的训练数据继续进行迭代训练优化，进而将导致聚合模型在迭代过程中收敛较慢的技术缺陷，提升联邦学习时的计算效率。

参照图4，图4是本申请实施例方案涉及的硬件运行环境的设备结构示意图。

如图4所示，该联邦学习建模优化设备可以包括：处理器1001，例如CPU，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。

可选地，该联邦学习建模优化设备还可以包括矩形用户接口、网络接口、摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。矩形用户接口可以包括显示屏(Display)、输入子模块比如键盘(Keyboard)，可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。

本领域技术人员可以理解，图4中示出的联邦学习建模优化设备结构并不构成对联邦学习建模优化设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图4所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及联邦学习建模优化程序。操作系统是管理和控制联邦学习建模优化设备硬件和软件资源的程序，支持联邦学习建模优化程序以及其它软件和/或，程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与联邦学习建模优化系统中其它硬件和软件之间通信。

在图4所示的联邦学习建模优化设备中，处理器1001用于执行存储器1005中存储的联邦学习建模优化程序，实现上述任一项所述的联邦学习建模优化方法的步骤。

本申请联邦学习建模优化设备具体实施方式与上述联邦学习建模优化方法各实施例基本相同，在此不再赘述。

本申请实施例还提供一种联邦学习建模优化装置，所述联邦学习建模优化装置应用于协调方设备，所述联邦学习建模优化装置包括：

接收模块，用于接收各参与方设备迭代训练本地预测模型生成的本地模型参数；

分聚类簇聚合模块，用于基于对各所述参与方设备发送的训练特征表征进行聚类生成的各特征表征聚类簇，对各所述本地模型参数进行分聚类簇聚合，获得各所述特征表征聚类簇对应的聚合模型参数；

反馈模块，用于将各所述聚合模型参数分别反馈至对应的参与方设备，以供所述参与方设备依据所述聚合模型参数，优化所述本地预测模型，获得联邦预测模型。

可选地，所述分聚类簇聚合模块还用于：

在各所述本地模型参数中选取各所述特征表征聚类簇分别对应的各待聚合模型参数；

对各所述特征表征聚类簇分别对应的各待聚合模型参数分别进行聚合，获得各所述聚合模型参数。

可选地，所述联邦学习建模优化装置还用于：

接收各所述参与方设备发送的训练特征表征，其中，所述训练特征表示由所述参与方设备对所述本地预测模型对应的训练数据进行特征提取生成；

对各所述训练特征表征进行聚类，获得各所述特征表征聚类簇。

本申请联邦学习建模优化装置的具体实施方式与上述联邦学习建模优化方法各实施例基本相同，在此不再赘述。

本申请实施例还提供一种联邦学习建模优化装置，所述联邦学习建模优化装置应用于参与方设备，所述联邦学习建模优化装置包括：

迭代训练模块，用于获取本地预测模型，并迭代训练所述本地预测模型至预设迭代次数阈值，获取所述本地预测模型的本地模型参数；

发送模块，用于将所述本地模型参数发送至协调方设备，以供所述协调方设备基于各特征表征聚类簇，对各所述参与方设备发送的本地模型参数进行分聚类簇聚合，获得各聚合模型参数；

模型优化模块，用于接收所述参与方设备的所属聚类簇对应的聚合模型参数，并依据所述聚合模型参数，优化所述本地预测模型，获得联邦预测模型。

可选地，所述联邦学习建模装置还用于：

获取所述本地预测模型对应的训练数据，并基于联邦学习构建的特征提取模型，对所述训练数据进行特征提取，获得训练特征表征；

将所述训练特征表征发送所述协调方设备，以供所述协调方设备对各所述参与方设备发送的训练特征表征进行聚类，获得各所述特征表征聚类簇。

可选地，所述联邦学习建模装置还用于：

若满足预设聚类簇更新条件，则获取第二训练数据，并基于所述特征提取模型，对所述第二训练数据进行特征提取，获得第二训练特征表征；

将所述第二训练特征表征发送所述协调方设备，以供所述协调方设备通过对各所述参与方设备发送的第二训练特征表征进行聚类，更新各所述特征表征聚类簇。

可选地，所述模型优化模块还用于：

基于所述聚合模型参数，更新所述本地预测模型，并判断更新后的本地预测模型是否满足预设迭代训练结束条件；

若满足，则将所述本地预测模型作为所述联邦预测模型；

若不满足，则返回所述迭代训练所述本地预测模型至预设迭代次数阈值，获取所述本地预测模型的本地模型参数的步骤。

本申请联邦学习建模优化装置的具体实施方式与上述联邦学习建模优化方法各实施例基本相同，在此不再赘述。

本申请实施例提供了一种介质，所述介质为可读存储介质，且所述可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的联邦学习建模优化方法的步骤。

本申请可读存储介质具体实施方式与上述联邦学习建模优化方法各实施例基本相同，在此不再赘述。

本申请实施例提供了一种计算机程序产品，且所述计算机程序产品包括有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的联邦学习建模优化方法的步骤。

本申请计算机程序产品具体实施方式与上述联邦学习建模优化方法各实施例基本相同，在此不再赘述。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利处理范围内。

Claims (10)

1.一种联邦学习建模优化方法，其特征在于，所述联邦学习建模优化方法应用于协调方设备，所述联邦学习建模优化方法包括：

接收各参与方设备迭代训练本地预测模型生成的本地模型参数；

基于对各所述参与方设备发送的训练特征表征进行聚类生成的各特征表征聚类簇，对各所述本地模型参数进行分聚类簇聚合，获得各所述特征表征聚类簇对应的聚合模型参数；

将各所述聚合模型参数分别反馈至对应的参与方设备，以供所述参与方设备依据所述聚合模型参数，优化所述本地预测模型，获得联邦预测模型。

2.如权利要求1所述联邦学习建模优化方法，其特征在于，所述基于对各所述参与方设备发送的训练特征表征进行聚类生成的各特征表征聚类簇，对各所述本地模型参数进行分聚类簇聚合，获得各所述特征表征聚类簇对应的聚合模型参数的步骤包括：

在各所述本地模型参数中选取各所述特征表征聚类簇分别对应的各待聚合模型参数；

对各所述特征表征聚类簇分别对应的各待聚合模型参数分别进行聚合，获得各所述聚合模型参数。

3.如权利要求1所述联邦学习建模优化方法，其特征在于，在所述基于对各所述参与方设备发送的训练特征表征进行聚类生成的各特征表征聚类簇，对各所述本地模型参数进行分聚类簇聚合，获得各所述特征表征聚类簇对应的聚合模型参数的步骤之前，所述联邦学习建模优化方法还包括：

接收各所述参与方设备发送的训练特征表征，其中，所述训练特征表示由所述参与方设备对所述本地预测模型对应的训练数据进行特征提取生成；

对各所述训练特征表征进行聚类，获得各所述特征表征聚类簇。

4.一种联邦学习建模优化方法，其特征在于，所述联邦学习建模优化方法应用于参与方设备，所述联邦学习建模优化方法包括：

获取本地预测模型，并迭代训练所述本地预测模型至预设迭代次数阈值，获取所述本地预测模型的本地模型参数；

将所述本地模型参数发送至协调方设备，以供所述协调方设备基于各特征表征聚类簇，对各所述参与方设备发送的本地模型参数进行分聚类簇聚合，获得各聚合模型参数；

接收所述参与方设备的所属聚类簇对应的聚合模型参数，并依据所述聚合模型参数，优化所述本地预测模型，获得联邦预测模型。

5.如权利要求4所述联邦学习建模优化方法，其特征在于，在所述将所述本地模型参数发送至协调方设备，以供所述协调方设备基于各特征表征聚类簇，对各所述参与方设备发送的本地模型参数进行分聚类簇聚合，获得各聚合模型参数的步骤之前，所述联邦学习建模优化方法还包括：

获取所述本地预测模型对应的训练数据，并基于联邦学习构建的特征提取模型，对所述训练数据进行特征提取，获得训练特征表征；

将所述训练特征表征发送所述协调方设备，以供所述协调方设备对各所述参与方设备发送的训练特征表征进行聚类，获得各所述特征表征聚类簇。

6.如权利要求4所述联邦学习建模优化方法，其特征在于，在所述将所述训练特征表征发送所述协调方设备，以供所述协调方设备对各所述参与方设备发送的训练特征表征进行聚类，获得各所述特征表征聚类簇的步骤之后，所述联邦学习建模优化方法还包括：

若满足预设聚类簇更新条件，则获取第二训练数据，并基于所述特征提取模型，对所述第二训练数据进行特征提取，获得第二训练特征表征；

将所述第二训练特征表征发送所述协调方设备，以供所述协调方设备通过对各所述参与方设备发送的第二训练特征表征进行聚类，更新各所述特征表征聚类簇。

7.如权利要求4所述联邦学习建模优化方法，其特征在于，所述依据所述聚合模型参数，优化所述本地预测模型，获得联邦预测模型的步骤包括：

基于所述聚合模型参数，更新所述本地预测模型，并判断更新后的本地预测模型是否满足预设迭代训练结束条件；

若满足，则将所述本地预测模型作为所述联邦预测模型；

若不满足，则返回所述迭代训练所述本地预测模型至预设迭代次数阈值，获取所述本地预测模型的本地模型参数的步骤。

8.一种联邦学习建模优化设备，其特征在于，所述联邦学习建模优化设备包括：存储器、处理器以及存储在存储器上的用于实现所述联邦学习建模优化方法的程序，

所述存储器用于存储实现联邦学习建模优化方法的程序；

所述处理器用于执行实现所述联邦学习建模优化方法的程序，以实现如权利要求1至3或4至7中任一项所述联邦学习建模优化方法的步骤。

9.一种介质，所述介质为可读存储介质，其特征在于，所述可读存储介质上存储有实现联邦学习建模优化方法的程序，所述实现联邦学习建模优化方法的程序被处理器执行以实现如权利要求1至3或4至7中任一项所述联邦学习建模优化方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3或4至7中任一项所述联邦学习建模优化方法的步骤。

Images