©作者 | Doreen 01 聯邦學習的背景知識 近年來,隨着大量數據、更強的算力以及深度學習模型的出現,機器學習在各領域的應用中取得了較大的成功。 然而在實際操作中,為了使機器學習有更好的效果,人們不得不將大量原始數據送入模型中訓練,這使得一些敏感數據被惡意的攻擊者竊取 ...
當今的AI仍然面臨兩個主要挑戰: 一是在大多數行業中,數據以孤立的孤島形式存在。 另一個是加強數據隱私和安全性。 我們為這些挑戰提出了一種可能的解決方案:安全的聯邦學習。 聯邦學習是一種新興的機器學習方案。與傳統的集中式機器學習不同,聯邦學習通過將訓練任務下放到用戶側,僅將訓練得到的模型參數結果發送給服務端,從而使數據保持在用戶本地,保證了用戶數據的隱私。此外,通過引入更多的用戶參與,聯邦學習可以 ...
2020-04-19 20:00 4 2060 推薦指數:
©作者 | Doreen 01 聯邦學習的背景知識 近年來,隨着大量數據、更強的算力以及深度學習模型的出現,機器學習在各領域的應用中取得了較大的成功。 然而在實際操作中,為了使機器學習有更好的效果,人們不得不將大量原始數據送入模型中訓練,這使得一些敏感數據被惡意的攻擊者竊取 ...
聯邦學習綜述 三大研究方向:聯邦優化算法、通信開銷和隱私保護。 聯邦優化算法:非獨立同分布且不平衡的隱私性數據,數據集分布在不同的客戶端上且不可以直接獲取,客戶端本身特征導致數據非獨立同分布性。客戶數量的分布,在聯邦優化算法中可能需要面對成千上百的客戶端參與。 通信效率:在實際 ...
論文[1]在聯邦學習的情景下引入了多任務學習,其采用的手段是使每個client/task節點的訓練數據分布不同,從而使各任務節點學習到不同的模型,且每個任務節點以及全局(global)的模型都由多個分量模型集成。該論文最關鍵與核心的地方在於將各任務節點學習到的模型進行聚合/通信,依據模型聚合方式 ...
1 導引 聯邦學習做為一種特殊的分布式機器學習,仍然面臨着分布式機器學習中存在的問題,那就是設計分布式的優化算法。 以分布式機器學習中常采用的client-server架構(同步)為例,我們常常會將各client節點計算好的局部梯度收集到server節點進行求和,然后再根據這個總梯度進行權重 ...
在上一篇博文《聯邦學習中的模型聚合》中,我們關注了在聯邦學習中模型聚合(參數通信)的問題,但是對每一個client具體的模型架構設計和參數優化方法還沒有討論。本篇文章我們關注具體模型結構設計和參數優化。 首先,在我follow的這篇篇論文[1]中(代碼參見[2])不同的client有一個集成模型 ...
視頻:鏈接 介紹 聯邦學習是一種不需要收集各數據擁有方所有的數據,便能協作地訓練一個模型的機器學習過程 旨在建立一個基於分散數據集的聯邦機器學習模型。在模型訓練過程中,隱私數據不離開本地,各方僅交換模型相關的信息或加密的數據,已訓練好的聯邦學習模型可以置於聯邦學習系統的各參與方,也可以在多方 ...
聯邦學習(Federated Learning) from: https://blog.csdn.net/cao812755156/article/details/89598410 聯邦學習 ...
...