本申請涉及一種用于聯邦學習的處理裝置。所述處理裝置包括：模冪計算模塊，所述模冪計算模塊包括至少一個模冪計算引擎；前處理模塊，所述前處理模塊配置成提供與多個算子模式對應的運算；蒙哥馬利化模塊，所述蒙哥馬利化模塊配置成提供蒙哥馬利化運算；混淆計算模塊，所述混淆計算模塊配置成提供蒙哥馬利化域的模乘運算；去蒙哥馬利化模塊，所述去蒙哥馬利化模塊配置成提供去蒙哥馬利化運算；和控制器。所述控制器用于：根據輸入算子模式判斷是否調用所述前處理模塊，所述蒙哥馬利化模塊，所述混淆計算模塊以及所述去蒙哥馬利化模塊中的多個，從而與所述模冪計算模塊協同完成所述輸入算子模式。

技術領域

本申請涉及數據處理及隱私保護技術領域，具體涉及一種用于聯邦學習的處理裝置、加速器及方法。

背景技術

隨著大數據分析和人工智能技術的發展，對高質量標簽數據的需求越來越大。例如，對神經網絡進行訓練以及進行數據挖掘都需要用到海量帶有標簽的數據。而這些帶標簽的數據往往來源于日常生活經營活動而產生和積累的應用數據。應用數據往往分散在不同的組織和個體手上，例如交易數據分散在各個金融機構，醫療診斷數據分散在各個醫療機構。另外跨行業跨領域的應用數據往往也是分散的，例如互聯網領域的社交屬性數據和電商交易數據往往由不同實體掌控。出于保護自身商業利益的目的，也基于數據安全、用戶隱私保護以及各行業的政策法規標準不一等考量，掌握應用數據的各個組織或個體往往不愿意或者沒有合適手段進行彼此之間的合作，從而很難讓各自掌握的應用數據共同發揮作用。這種數據分享和協同合作方面的困境被稱之為數據孤島現象。為了解決跨行業跨組織的數據合作難題，尤其是關鍵的隱私保護及數據安全的問題，提出了聯邦學習的概念。聯邦學習指的是擁有數據的各個參與方，在無需共享數據資源且數據不出本地的前提下，通過加密的方式進行加密后數據的聯合訓練從而協同優化共享機器學習模型而實現多贏合作。

聯邦學習涉及兩個重要技術指標，分別是隱私安全和計算性能。關于隱私安全方面，橫向聯邦學習的秘鑰協商階段一般采用Diffie-Hellman（DH）算法實現秘鑰的安全配送，且采用同態加密技術例如Paillier加密算法對本地數據進行加密后共享?？v向聯邦學習通常采用RSA加密算法結合混淆運算實現等來獲取參與者數據的交集。在根據共享數據進行網絡模型的聯合訓練過程中，損失函數和權重等參數均通過同態加密技術處理后參與計算和更新。

為此，聯邦學習的隱私安全方面的需求引入了隱私計算，并涉及RSA加密算法、Paillier加密算法、DH算法，以及DSA算法和ElGama算法等。這些算法主要基于模冪運算，而且考慮到聯邦學習的參與者擁有的海量數據，因此聯邦學習需要用到大量的大整數模乘運算，且相關模數往往有較大的比特位寬，例如2048比特。這些給用于聯邦學習的硬件和處理裝置的計算性能提出了很大的挑戰，因此需要能高效處理復雜運算的用于聯邦學習的處理裝置、加速器及方法。

發明內容