聯邦學習

聯邦學習是一種機器學習技術，具體來說就是人們在多個擁有本地數據樣本的分散式邊緣設備或服務器上訓練算法。這種方法與傳統的集中式機器學習技術有顯著不同，傳統的集中式機器學習技術將所有的本地數據集上傳到一個服務器上，而更經典的分散式方法則通常假設本地數據樣本都是相同分布的。聯合學習使多個參與者能夠在不共享數據的情況下建立一個共同的、強大的機器學習模型，從而可以解決數據隱私、數據安全、數據訪問權限和異構數據訪問等關鍵問題。

聯合平均（FedAvg）是 FedSGD 的泛化，允許本地節點對本地數據進行多次批量更新，並交換更新的權重而不是梯度。此外，對來自相同初始化的調整權重進行平均並不一定會損害所得平均模型的性能。儘管它很簡單，但它在現實環境中缺乏理論保證。

傳統的聯邦學習是基於每個worker設備（節點）的梯度下降：在每一輪中，每個worker通過其本地數據集在本地多次更新其梯度下降權重，然後中央節點聚合器對權重進行平均所有工人，並再次分配給工人。對多輪重複上述過程。這種方法的主要缺點是效率低。眾所周知，由於頻繁的梯度傳輸導致的高通信開銷會減慢 FL。為了減輕通信開銷，已經研究了兩種主要技術：（i）表徵通信和計算之間權衡的權重的本地更新和（ii）表徵通信和精度之間權衡的梯度壓縮。^[1].

參考文獻

引用

^ Khademi Nori Milad, Yun Sangseok, Kim Il-Min, Fast Federated Learning by Balancing Communication Trade-Offs （德文）

來源

書籍

Khademi Nori Milad, Yun Sangseok, Kim Il-Min, Fast Federated Learning by Balancing Communication Trade-Offs (2021). [1], [2] （頁面存檔備份，存於網際網路檔案館）.
Richard O. Duda, Peter E. Hart, David G. Stork (2001). 《模式分類》（第2版）, New York: Wiley. ISBN 0-471-05669-3.
MacKay, D. J. C. (2003). 《信息理論、推理和學習算法》（頁面存檔備份，存於網際網路檔案館），劍橋大學出版社. ISBN 0-521-64298-1
Mitchel.l, T. (1997). 《機器學習》, McGraw Hill. ISBN 0-07-042807-7

[1] Khademi Nori Milad, Yun Sangseok, Kim Il-Min, Fast Federated Learning by Balancing Communication Trade-Offs （德文）

[1]