中文引用格式： 原野，田園，蔣七兵. 一種深度神經網絡的分布式訓練方法[J]. 電子技術應用，2023，49(3)：48-53.
英文引用格式： Yuan Ye，Tian Yuan，Jiang Qibing. Distributed training method for deep neural networks[J]. Application of Electronic Technique，2023，49(3)：48-53.
0 引言
深度神經網絡在高維數據的分類和預測中取得了巨大成功，例如圖像、視頻和音頻。但是，訓練深度神經網絡是數據密集型的任務，往往需要從多個數據源收集大規模的數據。一個深度神經網絡模型通常包含百萬級參數，需要大量數據和算力來訓練這些參數。
當訓練數據包含敏感信息時，深度神經網絡的訓練過程往往會泄露隱私。如果訓練數據中包含用戶信息、管理信息等高度敏感的信息，數據所有者通常不希望公開這些敏感數據。因此，深度神經網絡因數據隱私而在現實應用中受到限制。
為了控制深度神經網絡訓練過程中數據的隱私泄露，一種可行的解決方案是使用集中式的隱私保護深度學習方法。該方法依賴于一個可信的集中式計算環境，訓練過程使用全局差分隱私算法擾亂訓練數據，從而實現數據的隱私保護。在這種方式下，多個數據源需要信任云服務器，并將擁有的數據上傳到云服務器，而云服務器將使用各數據源上傳的數據集中訓練深度神經網絡。但是，這種方法因要求各代理共享數據而在實際使用中受到限制。
相比集中式的隱私保護深度學習方法，分布式的學習方法更適合實際應用，因為分布式的學習方法并不需要各數據源（代理）共享上傳數據，也不需要集中式的可信計算環境。聯邦學習是一種分布式的學習方法。在聯邦學習中，各數據源在不共享數據的情況下，通過參數聚合機制共同訓練卷積神經網絡。但是，該方法在訓練過程中將面臨巨大的通信開銷。
針對上述問題，本文提出了一種深度神經網絡的分布式訓練方法。該方法允許多個數據源在不共享數據的情況下，通過網絡切割，共同訓練深度神經網絡，并減少訓練過程中的通信開銷。具體地，本文主要貢獻包括以下幾點：
(1) 提出了一種深度神經網絡的分布式訓練方法，允許代理在數據不出本地的情況下，通過網絡切割，實現模型的分布式共同訓練；
(2) 分析了該方法的正確性；
(3) 通過實驗，驗證了該方法的有效性。
本文詳細內容請下載：http://www.cowatch.cn/resource/share/2000005228
作者信息：
原野1，田園1，蔣七兵2，3
（1.云南電網有限責任公司 信息中心，云南 昆明 650214；2.云南云電同方科技有限公司 云南 昆明 650214；
3.西南林業大學 大數據與智能工程學院，云南 昆明 650224）
