KR20230094891A

KR20230094891A - A system for federated learning and a method of operation thereof

Info

Publication number: KR20230094891A
Application number: KR1020210184384A
Authority: KR
Inventors: 홍충선; 우머 마지드; 김기태; 우라 칸 라티프; 박성배
Original assignee: 경희대학교 산학협력단
Priority date: 2021-12-21
Filing date: 2021-12-21
Publication date: 2023-06-28
Also published as: WO2023120802A1

Abstract

Disclosed are a blockchain-based federated learning system supporting structured transparency and an operation method thereof. The federated learning system according to an embodiment may comprise: one or more local clients which generate local learning models by using different types of local training data; a central server which generates a federated learning model by receiving the respective local learning models from the one or more local clients; a task publisher which publishes, in a smart contract, a model structure of a federated learning task to be performed by the one or more local clients and the central server; a file system which shares and stores the local learning models and the federated learning model, and generates hashes for the local learning models and the federated learning model; and a blockchain network which stores the smart contract, the hashes for the local learning models, and the hash for the federated learning model.

Description

A system for federated learning and a method of operation thereof}

연합 학습을 위한 기술로서 특히, 구조화된 투명성을 지원하는 블록체인 기반의 연합 학습 시스템 및 그 방법에 관한 것이다.As a technology for federated learning, in particular, it relates to a blockchain-based federated learning system and method supporting structured transparency.

연합 학습은 학습에 참여하는 노드들의 로컬 학습 데이터를 직접 공유하지 않고 로컬 학습 모델들의 파라미터를 중앙 서버에서 통합하여 글로벌 모델을 생성하고 이를 다시 학습 참여 노드로 전송하는 분산 기계 학습 기법이다.Federated learning is a distributed machine learning technique that creates a global model by integrating the parameters of local learning models in a central server and transmits it to the learning participating nodes without directly sharing the local learning data of the nodes participating in learning.

구조화된 투명성(Structured Transparency)은 입력 프라이버시, 입력 검증, 출력 프라이버시, 출력 검증 및 플로우 거버넌스(Flow Governance)로 구성되어 있는 프레임워크다. 구조화된 투명성은 프라이버시와 투명성 트레이드 오프 문제를 해결하고 미리 정의된 플로우 거버넌스를 구축하여 원활한 정보의 흐름을 보장한다.Structured Transparency is a framework that consists of Input Privacy, Input Validation, Output Privacy, Output Validation and Flow Governance. Structured transparency solves the privacy-transparency trade-off problem and ensures the smooth flow of information by establishing predefined flow governance.

구조화된 투명성을 지원하는 블록체인 기반의 연합 학습 시스템 및 그 동작 방법을 제공하는데 목적이 있다.The purpose is to provide a blockchain-based federated learning system that supports structured transparency and its operation method.

일 양상에 따르면, 연합 학습 시스템은 서로 다른 로컬 학습 데이터를 이용하여 로컬 학습 모델을 생성하는 하나 이상의 로컬 클라이언트; 하나 이상의 로컬 클라이언트로부터 각각의 로컬 학습 모델을 수신하여 연합 학습 모델을 생성하는 중앙 서버; 하나 이상의 로컬 클라이언트 및 중앙 서버가 수행할 연합 학습 작업(federated learning task)의 모델 구조를 스마트 계약에 게시하는 작업 게시자; 로컬 학습 모델 및 연합 학습 모델을 공유 및 저장하며, 로컬 학습 모델 및 연합 학습 모델에 대한 해시를 생성하는 파일 시스템; 및 스마트 계약, 로컬 학습 모델에 대한 해시 및 연합 학습 모델에 대한 해시를 저장하는 블록체인 네트워크를 포함할 수 있다.According to one aspect, a federated learning system includes one or more local clients generating local learning models using different local learning data; a central server that receives each local trained model from one or more local clients and creates a federated learning model; A task publisher that publishes the model structure of a federated learning task to a smart contract to be performed by one or more local clients and a central server; a file system for sharing and storing local and federated learning models and generating hashes for the local and federated learning models; and a blockchain network that stores smart contracts, hashes for local learning models, and hashes for federated learning models.

작업 게시자는 매 에포크(epoch)마다 새로운 동형 암호화 개인 컨텍스트(context) 및 동형 암호화 공개 컨텍스트를 생성할 수 있다. A job publisher can create a new homomorphic encryption private context and a homomorphic encryption public context every epoch.

로컬 클라이언트는 작업 게시자로부터 동형 암호화 공개 컨텍스트를 수신하며, 생성한 로컬 학습 모델을 동형 암호화 공개 컨텍스트에 기초하여 암호화할 수 있다.The local client receives the homomorphic encryption public context from the job publisher, and can encrypt the created local trained model based on the homomorphic encryption public context.

중앙 서버는 동형 암호화 공개 컨텍스트에 기초하여 암호화된 로컬 학습 모델을 집계하여 암호화된 연합 학습 모델을 생성하며, 생성된 암호화된 연합 학습 모델을 파일 시스템에 전송하며, 파일 시스템은 암호화된 연합 학습 모델에 대한 해시를 스마트 계약에 기록할 수 있다.The central server aggregates the encrypted local learning model based on the homomorphic public context to generate an encrypted federated learning model, sends the generated encrypted federated learning model to the file system, and the file system sends the encrypted federated learning model to the encrypted federated learning model. The hash can be recorded in the smart contract.

연합 학습 시스템은 중앙 서버가 생성한 연합 학습 모델을 검증하는 연합 학습 검증자를 더 포함할 수 있다.The federated learning system may further include a federated learning verifier that verifies the federated learning model generated by the central server.

연합 학습 검증자는 동형 암호화 공개 컨텍스트에 기초하여 암호화된 로컬 학습 모델을 집계하여 암호화된 검증 연합 학습 모델을 생성하며, 암호화된 검증 연합 학습 모델의 해시와 중앙 서버가 생성한 암호화된 연합 학습 모델의 해시를 비교하여 중앙 서버가 생성한 암호화된 연합 학습 모델을 검증할 수 있다.The federated learning validator aggregates the encrypted local learning model based on the homomorphic public context to generate an encrypted validation federated learning model, and the hash of the encrypted validation federated learning model and the hash of the encrypted federated learning model generated by the central server. It is possible to verify the encrypted federated learning model generated by the central server by comparing

작업 게시자는 동형 암호화 개인 컨텍스트를 기초로 중앙 서버가 생성한 암호화된 연합 학습 모델을 해독하며, 해독된 연합 학습 모델을 파일 시스템에 전송하며, 파일 시스템은 해독된 연합 학습 모델에 대한 해시를 스마트 계약에 기록할 수 있다.The job publisher decrypts the encrypted federated learning model generated by the central server based on the homomorphic private context, sends the decrypted federated learning model to the file system, and the file system sends the hash of the decrypted federated learning model to the smart contract. can be recorded in

일 양상에 따르면, 연합 학습 시스템의 동작 방법은 작업 게시자가 하나 이상의 로컬 클라이언트 및 중앙 서버가 수행할 연합 학습 작업(federated learning task)의 모델 구조를 스마트 계약에 게시하는 단계; 하나 이상의 로컬 클라이언트가 서로 다른 로컬 학습 데이터를 이용하여 로컬 학습 모델을 생성하는 단계; 중앙 서버가 하나 이상의 로컬 클라이언트로부터 각각의 로컬 학습 모델을 수신하여 연합 학습 모델을 생성하는 단계; 파일 시스템이 로컬 학습 모델 및 연합 학습 모델을 공유 및 저장하며, 로컬 학습 모델 및 연합 학습 모델에 대한 해시를 생성하는 단계; 및 블록체인 네트워크가 스마트 계약, 로컬 학습 모델에 대한 해시 및 연합 학습 모델에 대한 해시를 저장하는 단계를 포함할 수 있다.According to one aspect, a method of operating a federated learning system includes the steps of a task publisher publishing a model structure of a federated learning task to be performed by one or more local clients and a central server to a smart contract; generating, by one or more local clients, a local learning model using different local training data; a central server receiving each local trained model from one or more local clients to create a federated learning model; A file system sharing and storing the local learning model and the federated learning model, and generating hashes for the local learning model and the federated learning model; and the blockchain network storing the smart contract, the hash for the local learning model, and the hash for the federated learning model.

일 실시예에 따를 경우, 구조화된 투명성을 지원하는 블록체인 기반의 연합 학습 시스템을 구현할 수 있다.According to one embodiment, a blockchain-based federated learning system supporting structured transparency can be implemented.

도 1은 일 실시예에 따른 연합 학습 시스템의 구성도이다.
도 2는 일 실시예에 따른 연합 학습 시스템을 설명하기 위한 예시도이다.
도 3은 일 실시예에 따른 연합 학습 시스템의 동작 방법을 도시한 흐름도이다.1 is a configuration diagram of a federated learning system according to an embodiment.
2 is an exemplary diagram for explaining a federated learning system according to an embodiment.
3 is a flowchart illustrating a method of operating a federated learning system according to an embodiment.

이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로, 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings. In describing the present invention, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description will be omitted. In addition, the terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of a user or operator. Therefore, the definition should be made based on the contents throughout this specification.

이하, 연합 학습 시스템 및 그 동작 방법의 실시예들을 도면들을 참고하여 자세히 설명한다.Hereinafter, embodiments of the federated learning system and its operating method will be described in detail with reference to drawings.

구조적 투명성은 프라이버시와 투명성 사이의 트레이드오프를 관리하기 위한 프레임워크(framework)이며 연합 학습 시 데이터 교환 안정성을 보장한다. 구조적 투명성에는 입력 프라이버시(Input Privacy), 입력 검증(Input Verification), 출력 프라이버시(Output Privacy), 출력 검증(Output Verification) 및 흐름 거버넌스(Flow Governance)와 같이 다섯 가지로 구성되어 있다. 입력 프라이버시는 정보의 흐름에 대해 개인 정보를 유출하지 않도록 요구된다. 입력 검증은 입력 프라이버시에 대한 검증 메커니즘이 요구된다. 출력 프라이버시는 정보 흐름의 출력이 계획된 엔티티(entity)에게만 접근을 허용하고 프라이버시 문제가 없음을 보장한다. 출력 검증은 정보 흐름의 출력이 흐름 거버넌스에 의해 정의된 정책에 따라 문제가 없음을 보장한다. 마지막으로 흐름 거버넌스는 정보 흐름을 조정하고 거버넌스 관련 문제를 처리한다.Structural transparency is a framework for managing the trade-off between privacy and transparency and guarantees data exchange stability during federated learning. Structural transparency consists of five components: Input Privacy, Input Verification, Output Privacy, Output Verification, and Flow Governance. Input privacy is required not to leak personal information about the flow of information. Input validation requires a validation mechanism for input privacy. Output privacy ensures that the output of an information flow is accessible only to the entities for which it is intended and there are no privacy concerns. Output verification ensures that the output of an information flow is trouble-free according to the policies defined by the flow governance. Finally, flow governance orchestrates information flow and handles governance-related issues.

기존의 연합 학습 체계인 바닐라 연합 학습(Vanilla Federated Learning)에서 연합 학습에 참여하는 학습 장치들은 연합 학습 모델 생성을 위해 로컬 학습 모델을 중앙 집계 서버에 전송한다. 이 경우 중앙 집계 서버에 문제가 생기는 경우 전체 연합 학습 과정이 중단될 수 있다. 또한 악의적인 공격에 취약하여 성능이 저하된 연합 학습 모델을 생성할 가능성이 있다. 또한 중앙 집계 서버는 로컬 학습 모델의 추론 공격을 통하여 학습 데이터의 프라이버시가 침해될 수 있다.In vanilla federated learning, which is an existing federated learning system, learning devices participating in federated learning transmit a local learning model to a central aggregation server to create a federated learning model. In this case, if there is a problem with the central aggregation server, the entire federated learning process may be interrupted. It is also vulnerable to malicious attacks, potentially resulting in degraded federated learning models. In addition, the central aggregation server may violate the privacy of learning data through an inference attack of a local learning model.

일 예로, 구조화된 투명성을 지원하는 블록체인 기반 연합 학습 프레임워크는 입력 프라이버시, 출력 프라이버시, 출력 검증, 흐름 거버넌스와 같이 구조화된 투명성을 보장하는 블록체인 기반 연합 학습 프레임워크일 수 있다. For example, a blockchain-based federated learning framework supporting structured transparency may be a blockchain-based federated learning framework that guarantees structured transparency such as input privacy, output privacy, output verification, and flow governance.

일 예로, 연합 학습 프로세스에서 입력 프라이버시와 출력 프라이버시는 각각 로컬 학습 모델과 연합 학습 모델에 대한 단일키 동형 암호화 체계를 통해 입력 및 출력 프라이버시를 지킬 수 있다. 또한 스마트 계약은 로컬 학습 모델 및 연합 학습 모델에 대한 무단 접근을 방지하여 입력 및 출력 개인정보를 보호할 수 있다. For example, in a federated learning process, input privacy and output privacy may be maintained through a single-key homomorphic encryption scheme for a local learning model and a federated learning model, respectively. Smart contracts can also protect input and output privacy by preventing unauthorized access to local and federated learning models.

일 예로, 암호화된 연합 학습 모델은 중앙 서버에서 해당 글로벌 에포크(Epoch)의 로컬 학습 모델들을 동형 집계하여 만들어지며 연합 학습 검증자는 출력 검증을 위하여 동형 집계 방식에 맞는지 확인한다.For example, an encrypted federated learning model is created by homomorphic aggregation of local learning models of a corresponding global epoch in a central server, and a federated learning verifier checks whether the homomorphic aggregation method is correct for output verification.

일 예로, 흐름 거버넌스를 위하여 연합 학습 작업과 관련된 작업 게시자, 스마트 계약 및 연합 학습 작업과 관련된 블록체인 오라클을 통해 연합 학습 과정이 조정될 수 있다. 연합 학습 작업용 블록체인 오라클 서비스를 통해 스마트 계약이 서비스 관리자와 상호 작용하여 현재 에포크(Epoch)를 위한 중앙 서버 및 연합 학습 검증자에 대한 정보를 확인 할 수 있다.As an example, federated learning processes may be coordinated through task publishers, smart contracts, and blockchain oracles related to federated learning tasks for flow governance. A blockchain oracle service for federated learning tasks allows smart contracts to interact with service managers to check information about central servers and federated learning validators for the current epoch.

도 1은 일 실시예에 따른 연합 학습 시스템의 구성도이다.1 is a configuration diagram of a federated learning system according to an embodiment.

일 실시예에 따르면, 연합 학습 시스템(100)은 로컬 클라이언트(110), 중앙 서버(120), 작업 게시자(130), 파일 시스템(140) 및 블록체인 네트워크(150)를 포함할 수 있다. According to one embodiment, the federated learning system 100 may include a local client 110, a central server 120, a task publisher 130, a file system 140, and a blockchain network 150.

일 예에 따르면, 연합 학습 시스템(100)은 4개의 계층으로 구성될 수 있다. 예를 들어, 클라이언트 계층(Client Layer)은 작업 게시자(130)와 로컬 클라이언트(110)가 포함될 수 있다. 각 연합 학습 작업에는 고유한 클라이언트 계층이 있을 수 있다. 분산계층(Distributed decentralized layer)은 파일 시스템(InterPlanetary File System, 140), 블록체인 네트워크, 블록체인 오라클에 해당하는 스마트 계약으로 구성될 수 있다. 연합 학습 집계 계층(aggregation layer)는 중앙 서버(120)로 구성될 수 있다. 이때,중앙 서버(120)는 하나 이상의 연합 학습 집계자를 포함할 수 있다. 이에 따라, 이후 중앙 서버에 대한 실시예는 연합 학습 집계자에 대한 실시예로 해석될 수 있다.According to one example, federated learning system 100 may consist of four layers. For example, the client layer may include the job publisher 130 and the local client 110 . Each federated learning task can have its own client tier. The distributed decentralized layer can be composed of a file system (InterPlanetary File System, 140), a blockchain network, and a smart contract corresponding to a blockchain oracle. A federated learning aggregation layer may consist of a central server 120 . In this case, the central server 120 may include one or more federated learning aggregators. Accordingly, the embodiment for the central server can then be interpreted as an embodiment for the federated learning aggregator.

연합 학습 검증 계층(verification layer)은 하나 이상의 연합 학습 검증자(210)로 구성될 수 있다.A federated learning verification layer may consist of one or more federated learning verifiers 210 .

일 실시예에 따르면, 로컬 클라이언트(110)는 서로 다른 로컬 학습 데이터를 이용하여 로컬 학습 모델을 생성할 수 있다. According to an embodiment, the local client 110 may generate a local learning model using different local training data.

일 예에 따르면, 로컬 클라이언트(110)는 각 글로벌 에포크(Epoch)에 대한 로컬 학습 모델을 이전 글로벌 에포크에서 생성된 해독된(Decrypted) 연합 학습 모델을 초기 모델로 각 로컬 데이터 세트를 사용하여 훈련할 수 있다. 각 로컬 클라이언트(110)는 단일키 동형 암호화 체계의 공개 컨텍스트를 사용하여 로컬 학습 모델을 암호화할 수 있다. 이후, 로컬 클라이언트(110)는 암호화된 로컬 학습 모델을 파일 시스템(140)에 업로드할 수 있다. 이때, 로컬 학습 모델은 트랜잭션을 통해 스마트 계약서에 기록될 수 있다.According to an example, the local client 110 trains a local training model for each global epoch using each local data set as an initial model with a decrypted federated learning model generated in a previous global epoch. can Each local client 110 may encrypt the local trained model using the public context of the single-key homomorphic encryption scheme. Then, the local client 110 can upload the encrypted local learning model to the file system 140 . At this time, the local learning model can be recorded in the smart contract through a transaction.

일 실시예에 따르면, 중앙 서버(120)는 하나 이상의 로컬 클라이언트로부터 각각의 로컬 학습 모델을 수신하여 연합 학습 모델을 생성할 수 있다. According to an embodiment, the central server 120 may receive each local learning model from one or more local clients and generate a federated learning model.

일 예에 따르면, 중앙 서버(120) 및 연합 학습 검증자(210)는 현재 글로벌 에포크에 해당하는 암호화된 로컬 학습 모델을 다운로드 할 수 있다. 중앙 서버(120)는 암호화된 로컬 학습 모델들을 암호화된 연합 학습 모델로 집계할 수 있다. 중앙 서버(120)는 암호화된 연합 학습 모델을 파일 시스템(140)에 업로드하고 획득한 파일 시스템(140) 해시를 스마트 계약에 기록할 수 있다.According to an example, the central server 120 and the federated learning validator 210 may download an encrypted local learning model corresponding to the current global epoch. The central server 120 may aggregate encrypted local learning models into an encrypted federated learning model. The central server 120 may upload the encrypted federated learning model to the file system 140 and record the obtained file system 140 hash in the smart contract.

일 실시예에 따르면, 작업 게시자(130)는 하나 이상의 로컬 클라이언트 및 중앙 서버가 수행할 연합 학습 작업(federated learning task)의 모델 구조를 스마트 계약에 게시할 수 있다.According to one embodiment, task publisher 130 may publish a model structure of a federated learning task to be performed by one or more local clients and a central server in a smart contract.

일 예에 따르면, 작업 게시자(130)와 로컬 클라이언트(110)는 연합 학습 시스템의 클라이언트 계층이 될 수 있다. 작업 게시자(130)는 연합 학습 프로세스를 조정하고 기록하기 위하여 연합 학습 작업에 대한 스마트 계약을 배포할 수 있다. 이후, 작업 게시자(130)는 로컬 학습 모델에 대한 집계 방법, 모델 구조 및 암호화되지 않은 초기 전역 가중치들을 파일 시스템(140)에 업로드할 수 있다. 이때, 파일 시스템(140)은 집계 방법, 모델 구조 및 암호화되지 않은 초기 전역 가중치에 대한 해시를 생성하여 스마트 계약에 기록할 수 있다.According to one example, task publisher 130 and local client 110 may be the client layer of a federated learning system. Job publisher 130 may deploy smart contracts for federated learning jobs to orchestrate and record the federated learning process. Job publisher 130 may then upload the aggregation method, model structure, and unencrypted initial global weights for the local trained model to file system 140 . At this time, the file system 140 may generate a hash for the aggregation method, model structure, and unencrypted initial global weight and record it in the smart contract.

일 예에 따르면, 작업 게시자(130)는 중앙 서버(120)및 연합 학습 검증자(210)가 로컬 학습 모델을 연합 학습 모델로 집계하는 방법을 스마트 계약에 게시할 수 있다.According to one example, task publisher 130 may publish in a smart contract how central server 120 and federated learning validator 210 aggregate local learning models into federated learning models.

일 예에 따르면, 작업 게시자(130)는 로컬 클라이언트(110)가 로컬 학습 모델들을 학습하고 중앙 서버(120)및 연합 학습 검증자(210)가 로컬 학습 모델을 연합 학습 모델로 집계하기 위한 연합 학습 작업의 모델 구조를 게시할 수 있다. 초기화된 연합 학습 모델의 가중치는 연합 학습 프로세스의 첫 번째 에포크(Epoch)에서 게시될 수 있다.According to one example, task publisher 130 allows local clients 110 to train local trained models and central server 120 and federated learning validator 210 to aggregate local trained models into federated learning models. You can post the model structure of your work. The weights of the initialized federated learning model may be published in the first epoch of the federated learning process.

일 예에 따르면, 작업 게시자(130)는 이더리움에서 연합 학습 작업을 위한 스마트 계약을 배포할 수 있다. 일 예로, 이더리움은 스마트 계약을 실행하고 트랜잭션을 불변의 방식으로 저장할 수 있는 탈 중앙화 컴퓨팅 플랫폼일 수 있다.According to one example, task publisher 130 may deploy a smart contract for a federated learning task on Ethereum. As an example, Ethereum could be a decentralized computing platform capable of executing smart contracts and storing transactions in an immutable way.

일 실시예에 따르면, 작업 게시자(130)는 매 에포크(epoch)마다 새로운 동형 암호화 개인 컨텍스트(context) 및 동형 암호화 공개 컨텍스트를 생성할 수 있다.According to one embodiment, task publisher 130 may create a new homomorphic encryption private context and a new homomorphic encryption public context every epoch.

일 예에 따르면, 작업 게시자(130)는 매 글로벌 에포크(Epoch)마다 새로운 단일키 동형 암호화(Single-Key Homomorphic Encryption) 개인 컨텍스트 및 공개 컨텍스트를 생성할 수 있다. 이후, 공개 컨텍스트와 개인 컨텍스트는 파일 시스템(140)에 업로드될 수 있으며, 공개 컨텍스트 및 개인 컨텍스트에 대한 해시는 스마트 계약에 기록될 수 있다. 개인 컨텍스트는 작업 게시자(130)만 접근 할 수 있으며, 그 외 다른 구성요소는 스마트 계약에 포함된 개인 정보 보호 정책에 따라 공개 컨텍스트에만 접근할 수 있다.According to one example, the task publisher 130 may create a new single-key homomorphic encryption private context and public context every global epoch. Then, the public and private contexts can be uploaded to the file system 140, and hashes for the public and private contexts can be written to the smart contract. The private context can only be accessed by the task publisher 130, and other components can only access the public context according to the privacy policy included in the smart contract.

일 실시예에 따르면, 로컬 클라이언트(110)는 작업 게시자(130)로부터 동형 암호화 공개 컨텍스트를 수신하며, 생성한 로컬 학습 모델을 동형 암호화 공개 컨텍스트에 기초하여 암호화할 수 있다.According to an embodiment, the local client 110 may receive a homomorphic encryption public context from the task publisher 130 and encrypt a generated local learning model based on the homomorphic encryption public context.

일 예에 따르면, 로컬 클라이언트(110)는 각 글로벌 에포크(Epoch)에 대하여 로컬 데이터 세트를 통해 로컬 학습 모델을 훈련시킬 수 있다. 또한, 로컬 클라이언트(110)는 동형 암호화 공개 콘텍스트에 대한 암호키를 사용하여 로컬 학습 모델을 동형적으로 암호화할 수 있다.According to an example, the local client 110 may train a local learning model through a local data set for each global epoch. In addition, the local client 110 can homomorphically encrypt the local trained model using the encryption key for the homomorphic encryption public context.

일 실시예에 따르면, 중앙 서버(120)는 동형 암호화 공개 컨텍스트에 기초하여 암호화된 로컬 학습 모델을 집계하여 암호화된 연합 학습 모델을 생성하며, 생성된 암호화된 연합 학습 모델을 파일 시스템(140)에 전송할 수 있다.According to an embodiment, the central server 120 generates an encrypted federated learning model by aggregating encrypted local learning models based on the homomorphic encryption public context, and stores the generated encrypted federated learning model in the file system 140. can transmit

일 예에 따르면, 중앙 서버(120)는 하나 이상의 연합 학습 집계자를 포함할 수 있다.According to one example, central server 120 may include one or more federated learning aggregators.

일 예에 따르면, 중앙 서버(120) 및 연합 학습 검증자(210)는 현재 글로벌 에포크에 해당하는 암호화된 로컬 학습 모델을 다운로드 할 수 있다. 중앙 서버(120)는 암호화된 로컬 학습 모델들을 암호화된 연합 학습 모델로 집계할 수 있다. According to an example, the central server 120 and the federated learning validator 210 may download an encrypted local learning model corresponding to the current global epoch. The central server 120 may aggregate encrypted local learning models into an encrypted federated learning model.

일 실시예에 따르면, 파일 시스템(140)은 암호화된 연합 학습 모델에 대한 해시를 스마트 계약에 기록할 수 있다. 일 예로, 중앙 서버(120)는 암호화된 연합 학습 모델을 파일 시스템(140)에 업로드하고 획득한 파일 시스템(140) 해시를 스마트 계약에 기록할 수 있다.According to one embodiment, file system 140 may record a hash for an encrypted federated learning model in a smart contract. For example, the central server 120 may upload an encrypted federated learning model to the file system 140 and record the obtained hash of the file system 140 in a smart contract.

일 실시예에 따르면, 작업 게시자(130)는 동형 암호화 개인 컨텍스트를 기초로 중앙 서버(120)가 생성한 암호화된 연합 학습 모델을 해독하며, 해독된 연합 학습 모델을 파일 시스템(140)에 전송할 수 있다.According to one embodiment, the job publisher 130 may decrypt the encrypted federated learning model generated by the central server 120 based on the homomorphic encrypted private context, and transmit the decrypted federated learning model to the file system 140. there is.

일 예에 따르면, 작업 게시자(130)는 현재 글로벌 에포크에 해당하는 단일 키 동형 암호화 체계의 개인 컨텍스트를 사용하여 암호화된 연합 학습 모델의 암호를 해독할 수 있다. 일 예로, 작업 게시자(130)는 해독된 연합 학습 모델의 정확성을 테스트 세트를 통해 측정하고 스마트 계약서에 기록할 수 있다. According to one example, task publisher 130 may decrypt a federated learning model encrypted using the private context of the single key homomorphic encryption scheme corresponding to the current global epoch. As an example, task publisher 130 may measure the accuracy of the decrypted federated learning model through a test set and record it in a smart contract.

일 실시예에 따르면, 파일 시스템(140)은 로컬 학습 모델 및 연합 학습 모델을 공유 및 저장하며, 로컬 학습 모델 및 연합 학습 모델에 대한 해시를 생성할 수 있다. 또한, 파일 시스템(140)은 해독된 연합 학습 모델에 대한 해시를 스마트 계약에 기록할 수 있다. 일 예로, 작업 게시자(130)는 해독된 연합 학습 모델을 파일 시스템(140)에 업로드할 수 있으며, 파일 시스템(140)은 해독된 연합 학습 모델에 대한 해시를 생성하여 스마트 계약에 기록할 수 있다.According to an embodiment, the file system 140 may share and store the local learning model and the federated learning model, and generate hashes for the local learning model and the federated learning model. Additionally, the file system 140 may write the hash for the decrypted federated learning model to the smart contract. As an example, the job publisher 130 may upload the decrypted federated learning model to the file system 140, and the file system 140 may generate a hash for the decrypted federated learning model and write it to the smart contract. .

일 예로, 파일 시스템(140)는 컨텐츠를 식별할 수 있는 컨텐츠 주소 지정 해시를 제공하는 분산형 파일 스토리지 시스템일 수 있다.As an example, the file system 140 may be a distributed file storage system that provides a content-addressing hash to identify the content.

일 실시예에 따르면, 블록체인 네트워크(150)는 스마트 계약, 로컬 학습 모델에 대한 해시 및 연합 학습 모델에 대한 해시를 저장할 수 있다.According to one embodiment, the blockchain network 150 may store hashes for smart contracts, local learning models, and hashes for federated learning models.

도 2를 참조하면, 연합 학습 시스템(100)은 중앙 서버(120)가 생성한 연합 학습 모델을 검증하는 연합 학습 검증자(210)를 더 포함할 수 있다.Referring to FIG. 2 , the federated learning system 100 may further include a federated learning verifier 210 that verifies the federated learning model generated by the central server 120 .

일 실시예에 따르면, 연합 학습 검증자(210)는 동형 암호화 공개 컨텍스트에 기초하여 암호화된 로컬 학습 모델을 집계하여 암호화된 검증 연합 학습 모델을 생성하며, 암호화된 검증 연합 학습 모델의 해시와 중앙 서버가 생성한 암호화된 연합 학습 모델의 해시를 비교하여 중앙 서버가 생성한 암호화된 연합 학습 모델을 검증할 수 있다. According to one embodiment, the federated learning validator 210 generates an encrypted verified federated learning model by aggregating the encrypted local learning model based on the homomorphic public context, and the hash of the encrypted verified federated learning model and the central server The encrypted federated learning model generated by the central server can be verified by comparing the hash of the encrypted federated learning model generated by the server.

일 예로, 연합 학습 검증자(210)는 현재 글로벌 에포크에 해당하는 암호화된 로컬 학습 모델을 다운로드할 수 있다.For example, the federated learning verifier 210 may download an encrypted local learning model corresponding to the current global epoch.

일 예에 따르면, 하나 이상의 연합 학습 검증자(210) 각각은 암호화된 로컬 학습 모델들을 암호화된 연합 학습 모델로 집계할 수 있으며, 집계된 암호화된 연합 학습 모델에 대한 파일 시스템(140) 해시를 중앙 서버(120)가 제출한 파일 시스템(140) 해시와 비교할 수 있다. 일 예로, 두 해시가 일치하는 경우, 중앙 서버(120)가 암호화된 로컬 학습 모델들을 집계 방법에 따라 암호화된 연합 학습 모델로 올바르게 집계했음을 의미한다. According to one example, each of the one or more federated learning verifiers 210 may aggregate encrypted local learning models into an encrypted federated learning model, and centralize the file system 140 hash for the aggregated encrypted federated learning model. It can be compared with the file system 140 hash submitted by the server 120. For example, if the two hashes match, it means that the central server 120 has correctly aggregated encrypted local learning models into encrypted federated learning models according to an aggregation method.

일 예에 따르면, 하나 이상의 연합 학습 검증자(210)들 각각은 스마트 계약 거래를 통해 현재 글로벌 에포크(Epoch)에 대한 연합 학습 검증자(210)의 암호화된 연합 학습 모델의 정확성에 대해 투표할 수 있다. 이때, 투표 결과가 미리 정의된 임계값을 초과하면 암호화된 연합 학습 모델이 유효한 것으로 간주할 수 있다. 반면, 투표 결과가 미리 정의된 임계값 이하이면 중앙 서버(120)에 포함된 다른 연합 학습 집계자와 다른 연합 학습 검증자(210)의 배치(Batch)를 선택할 수 있다. According to an example, each of the one or more federated learning validators 210 may vote on the correctness of the federated learning validator's 210 encrypted federated learning model for the current global epoch via a smart contract transaction. there is. At this time, if the voting result exceeds a predefined threshold, the encrypted federated learning model may be considered valid. On the other hand, if the voting result is below a predefined threshold, a batch of other federated learning aggregators and other federated learning verifiers 210 included in the central server 120 may be selected.

일 예에 따르면, 현재 글로벌 에포크(Epoch)에 대한 암호화된 연합 학습 모델이 유효한 경우, 현재 글로벌 에포크에 해당하는 단일 키 동형 암호화 체계의 개인 컨텍스트를 사용하여 작업 게시자(130)에 의해 암호화된 연합 학습 모델의 암호가 해독될 수 있다. 일 예로, 작업 게시자(130)는 해독된 연합 학습 모델의 정확성을 테스트 세트를 통해 측정하고 스마트 계약서에 기록할 수 있다.According to an example, if the encrypted federated learning model for the current global epoch is valid, federated learning encrypted by the task publisher 130 using the private context of the single key homomorphic encryption scheme corresponding to the current global epoch. The model can be decrypted. As an example, task publisher 130 may measure the accuracy of the decrypted federated learning model through a test set and record it in a smart contract.

일 예에 따르면, 연합 학습 시스템(100)은 서비스 관리자(220)를 더 포함할 수 있다.According to one example, federated learning system 100 may further include a service manager 220 .

일 예에 따르면, 서비스 관리자(220)는 연합 학습 집계 계층 및 연합 학습 검증 계층에서 현재 글로벌 에포크(Epoch)의 중앙 서버(120)에 포함된 연합 학습 집계자와 연합 학습 검증자(210)를 임의로 선택할 수 있다. 일 예로, 서비스 관리자(220)는 글로벌 에포크(epoch)당 하나의 연합 학습 집계자를 선택할 수 있다. 일 예로, 서비스 관리자(220)는 하나 이상의 연합 학습 검증자(210)를 선택할 수 있다. 예를 들어, 서비스 관리자(220)는 작업 게시자(130)가 지불한 비용에 따라 하나 이상의 연합 학습 검증자(210)를 선택할 수 있다. 이후, 선택된 중앙 서버(120)의 연합 학습 집계자와 연합 학습 검증자(210)의 주소가 블록체인 오라클의 도움을 받아 스마트 계약서에 기록될 수 있다.According to an example, the service manager 220 randomly selects the federated learning aggregator and the federated learning validator 210 included in the central server 120 of the current global epoch in the federated learning aggregation layer and the federated learning verification layer. You can choose. As an example, service manager 220 may select one federated learning aggregator per global epoch. As an example, service manager 220 may select one or more federated learning validators 210 . For example, service manager 220 may select one or more federated learning validators 210 based on the cost paid by job publisher 130 . Then, the addresses of the federated learning aggregator and federated learning validator 210 of the selected central server 120 can be recorded in the smart contract with the help of the blockchain oracle.

일 예로, 선택된 중앙 서버(120)의 연합 학습 집계자와 연합 학습 검증자(210)는 스마트 계약을 통해 집계 방법, 모델 구조, 공개 단일키 동형 암호화 컨텍스트를 다운로드 할 수 있다.For example, the federated learning aggregator and federated learning validator 210 of the selected central server 120 may download the aggregation method, model structure, and public single key homomorphic encryption context through a smart contract.

도 3은 일 실시예에 따른 연합 학습 시스템의 동작 방법을 도시한 흐름도이다.3 is a flowchart illustrating a method of operating a federated learning system according to an embodiment.

일 실시예에 따르면, 작업 게시자는 하나 이상의 로컬 클라이언트 및 중앙 서버가 수행할 연합 학습 작업(federated learning task)의 모델 구조를 스마트 계약에 게시할 수 있다(310).According to one embodiment, a task publisher may publish a model structure of a federated learning task to be performed by one or more local clients and a central server to a smart contract (310).

일 예에 따르면, 작업 게시자는 연합 학습 프로세스를 조정하고 기록하기 위하여 연합 학습 작업에 대한 스마트 계약을 배포할 수 있다. 이후, 작업 게시자는 로컬 학습 모델에 대한 집계 방법, 모델 구조 및 암호화되지 않은 초기 전역 가중치들을 파일 시스템에 업로드할 수 있다. 이때, 파일 시스템은 집계 방법, 모델 구조 및 암호화되지 않은 초기 전역 가중치에 대한 해시를 생성하여 스마트 계약에 기록할 수 있다.According to one example, a job publisher may deploy a smart contract for a federated learning job to orchestrate and record the federated learning process. The job publisher can then upload the aggregation method, model structure, and unencrypted initial global weights for the local trained model to the file system. At this time, the file system can create a hash of the aggregation method, model structure, and unencrypted initial global weight and record it in the smart contract.

일 실시예에 따르면, 하나 이상의 로컬 클라이언트는 서로 다른 로컬 학습 데이터를 이용하여 로컬 학습 모델을 생성할 수 있다(320).According to an embodiment, one or more local clients may generate a local learning model using different local training data (320).

일 예에 따르면, 로컬 클라이언트는 각 글로벌 에포크(Epoch)에 대한 로컬 학습 모델을 이전 글로벌 에포크에서 생성된 해독된 연합 학습 모델을 초기 모델로 각 로컬 데이터 세트를 사용하여 훈련할 수 있다. 각 로컬 클라이언트는 단일키 동형 암호화 체계의 공개 컨텍스트를 사용하여 로컬 학습 모델을 암호화할 수 있다. 이후, 로컬 클라이언트는 암호화된 로컬 학습 모델을 파일 시스템에 업로드할 수 있다. 이때, 로컬 학습 모델은 트랜잭션을 통해 스마트 계약서에 기록될 수 있다.According to an example, the local client may train a local learning model for each global epoch by using each local data set as an initial model with a decrypted federated learning model generated in a previous global epoch. Each local client can encrypt a local trained model using the public context of a single-key homomorphic encryption scheme. Then, the local client can upload the encrypted local trained model to the file system. At this time, the local learning model can be recorded in the smart contract through a transaction.

일 실시예에 따르면, 중앙 서버는 하나 이상의 로컬 클라이언트로부터 각각의 로컬 학습 모델을 수신하여 연합 학습 모델을 생성할 수 있다(330).According to an embodiment, the central server may generate a federated learning model by receiving respective local learning models from one or more local clients (330).

일 예에 따르면, 중앙 서버 및 연합 학습 검증자는 현재 글로벌 에포크에 해당하는 암호화된 로컬 학습 모델을 다운로드 할 수 있다. 중앙 서버는 암호화된 로컬 학습 모델들을 암호화된 연합 학습 모델로 집계할 수 있다. 중앙 서버는 암호화된 연합 학습 모델을 파일 시스템에 업로드하고 획득한 파일 시스템 해시를 스마트 계약에 기록할 수 있다.According to an example, the central server and the federated learning validator may download an encrypted local learning model corresponding to the current global epoch. A central server may aggregate encrypted local learning models into an encrypted federated learning model. The central server can upload the encrypted federated learning model to the file system and record the obtained file system hash in the smart contract.

일 실시예에 따르면, 파일 시스템은 로컬 학습 모델 및 연합 학습 모델을 공유 및 저장하며, 로컬 학습 모델 및 연합 학습 모델에 대한 해시를 생성할 수 있다(340). 또한, 파일 시스템은 해독된 연합 학습 모델에 대한 해시를 스마트 계약에 기록할 수 있다. 일 예로, 작업 게시자는 해독된 연합 학습 모델을 파일 시스템에 업로드할 수 있으며, 파일 시스템은 해독된 연합 학습 모델에 대한 해시를 생성하여 스마트 계약에 기록할 수 있다.According to an embodiment, the file system may share and store the local learning model and the federated learning model, and generate hashes for the local learning model and the federated learning model (340). Additionally, the file system can write the hash of the decrypted federated learning model to the smart contract. As an example, a job publisher can upload a decrypted federated learning model to a file system, and the file system can generate a hash of the decrypted federated learning model and write it to a smart contract.

일 실시예에 따르면, 블록체인 네트워크는 스마트 계약, 로컬 학습 모델에 대한 해시 및 연합 학습 모델에 대한 해시를 저장할 수 있다(350).According to one embodiment, the blockchain network may store hashes for smart contracts, local learning models, and hashes for federated learning models (350).

본 발명의 일 양상은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함할 수 있다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함할 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 작성되고 실행될 수 있다.An aspect of the present invention may be implemented as computer readable code on a computer readable recording medium. Codes and code segments implementing the above program can be easily inferred by a computer programmer in the art. A computer-readable recording medium may include all types of recording devices storing data that can be read by a computer system. Examples of computer-readable recording media may include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, and the like. In addition, the computer-readable recording medium may be distributed among computer systems connected through a network, and may be written and executed as computer-readable codes in a distributed manner.

이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시 예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.So far, the present invention has been looked at mainly with its preferred embodiments. Those skilled in the art to which the present invention pertains will be able to understand that the present invention can be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the scope of the present invention should be construed to include various embodiments within the scope equivalent to those described in the claims without being limited to the above-described embodiments.

100: 연합 학습 시스템
110: 로컬 클라이언트
120: 중앙 서버
130: 작업 게시자
140: 파일 시스템
150: 블록체인 네트워크
210: 연합 학습 검증자
220: 서비스 관리자100: federated learning system
110: local client
120: central server
130 Job publisher
140: file system
150: blockchain network
210: federated learning validator
220: service manager

Claims

one or more local clients generating local learning models using different local training data;
a central server receiving each local learning model from the one or more local clients and generating a federated learning model;
a task publisher publishing a model structure of a federated learning task to be performed by the one or more local clients and the central server to a smart contract;
a file system for sharing and storing the local learning model and the federated learning model, and generating hashes for the local learning model and the federated learning model; and
and a blockchain network storing the smart contract, a hash for the local learning model, and a hash for the federated learning model.

According to claim 1,
The job publisher
A federated learning system that creates a new homomorphic private context and a homomorphic public context every epoch.

According to claim 2,
the local client
Receive a homomorphic encryption public context from the job publisher;
A federated learning system that encrypts the created local learning model based on the homomorphic encryption public context.

According to claim 3,
The central server
Aggregating encrypted local learning models based on the homomorphic encryption public context to create an encrypted federated learning model;
Transmitting the generated encrypted federated learning model to the file system;
The file system is
A federated learning system that records a hash for the encrypted federated learning model in a smart contract.

According to claim 1,
The federated learning system further comprises a federated learning verifier that verifies the federated learning model generated by the central server.

According to claim 5,
The federated learning verifier is
Aggregate the encrypted local learning model based on the homomorphic public context to generate an encrypted verified federated learning model;
The federated learning system, wherein the hash of the encrypted verified federated learning model is compared with the hash of the encrypted federated learning model generated by the central server to verify the encrypted federated learning model generated by the central server.

According to claim 4,
The job publisher
Decrypting an encrypted federated learning model generated by the central server based on the homomorphic encryption personal context;
sending the decrypted federated learning model to the file system;
The file system is
A federated learning system that records a hash for the decrypted federated learning model in a smart contract.

A task publisher publishing a model structure of a federated learning task to a smart contract to be performed by one or more local clients and a central server;
generating, by the at least one local client, a local learning model using different local training data;
generating, by the central server, a federated learning model by receiving each local learning model from the one or more local clients;
sharing and storing the local learning model and the federated learning model in a file system, and generating hashes for the local learning model and the federated learning model; and
A method of operating a federated learning system comprising storing, by a blockchain network, a hash for the smart contract, the local learning model, and the hash for the federated learning model.