Contribution-based Aggregation Algorithm to Improve Global Model Performance During Federated Learning
- 31 December 2023
- journal article
- research article
- Published by Korean Institute of Information Technology in The Journal of Korean Institute of Information Technology
- Vol. 21 (12) , 59-66
Abstract
연합학습은 데이터 공유 문제의 해결책으로 떠오르고 있으나, 클라이언트의 데이터 분포가 불균형한 환경에서 특정 클라이언트가 글로벌 모델의 성능을 하락시키는 클라이언트 데이터 편향 문제가 존재한다. 본 논문에서는 이러한 글로벌 모델 학습 편향을 해결하기 위해 각 클라이언트의 기여도를 측정하고, 기여도에 비례하게 모델 파라미터를 가중 평균하여 기여도가 낮은 클라이언트(편향된 데이터를 가지고 있는 클라이언트)가 글로벌 모델에 주는 영향을 줄이는 방법을 제안한다. 실험 결과 FedAVG 대비 IID 상황에서는 동일한 성능의 글로벌 모델을 집계하였고, NON-IID 상황에서는 정확도가 1.5% 향상된 글로벌 모델을 집계하며 FedAVG 기본 성능은 유지하고 단점만을 보완한 알고리즘임을 증명하였다.Keywords
Funding Information
- Ministry of Education
- National Research Foundation of Korea (2022RIS-005)
This publication has 12 references indexed in Scilit:
- Federated Learning Study using Motion Recognition Model based on Joint DataThe Journal of Korean Institute of Information Technology, 2023
- seq2vec: Analyzing sequential data using multi-rank embedding vectorsElectronic Commerce Research and Applications, 2020
- Federated learning in medicine: facilitating multi-institutional collaborations without sharing patient dataScientific Reports, 2020
- A CNN-LSTM Approach to Human Activity Recognition2020
- Privacy-Preserving Federated Brain Tumour Segmentation2019
- Multi-institutional Deep Learning Modeling Without Sharing Patient Data: A Feasibility Study on Brain Tumor Segmentation2019
- The Theory of stable allocations and the practice of market design. The Nobel Prize in Economics 2012 for Alvin E. Roth and Lloyd S. Shapley2016
- A Study Personal Information Protection Technique for XML-based Electronic Medical RecordsThe Journal of Korean Institute of Information Technology, 2014
- Comparison of classifier methods: a case study in handwritten digit recognition2002
- Gradient-based learning applied to document recognitionProceedings of the IEEE, 1998