本公開公開了一種分布式訓練方法、梯度通信方法、裝置及電子設備，涉及人工智能領域，尤其涉及深度學習領域。具體實現方案為：利用第一通信方式，與其他計算節點交換各自的有效參數，其中，有效參數為計算節點對應稀疏梯度中有效梯度的行數，有效梯度為計算節點對應稀疏梯度中有效部分的梯度數據；基于所有計算節點的有效參數，確定與其他計算節點交換各自的有效行參數和有效梯度的第二通信方式，其中，有效行參數是表示稀疏梯度與有效梯度映射關系的數組；利用第二通信方式，與其他計算節點交換各自的有效行參數和有效梯度。本公開實施例節約了通信資源，提升了深度神經網絡分布式訓練的通信性能。

技術領域

本公開涉及人工智能領域，尤其涉及深度學習技術領域。

背景技術

隨著深度神經網絡(deep?neural?networks，DNNs)的規模及訓練數據集的日趨變大，在DNNs中引入了分布式訓練框架，利用多個計算節點進行分布式訓練，以減少深度神經網絡的訓練時間。

在分布式訓練框架中，每個計算節點具有相同的模型副本，然后每次迭代讀取數據集中不同批次的數據來訓練本地的模型參數，并在每次更新模型參數之前，所有計算節點都需要進行通信，以實現不同計算節點之間的梯度同步。但是，當計算節點的梯度為稀疏梯度時，稀疏梯度中只有部分梯度數據為有效值，其余數據均為無效值，此時若依然按照稠密梯度的通信方式傳輸稀疏梯度，則會傳輸稀疏梯度中包括無效值的所有數據，從而會產生大量的無用通信，消耗了大量的通信資源，進而影響深度神經網絡分布式訓練的通信性能。

發明內容

本公開提供了一種用于深度神經網絡的分布式訓練方法、梯度通信方法、裝置、設備以及存儲介質。

根據本公開的一方面，提供了一種梯度通信方法，應用于深度神經網絡的分布式訓練框架中，所述分布式訓練框架包括多個計算節點，所述方法由每個計算節點執行，所述方法包括：利用第一通信方式，與其他計算節點交換各自的有效參數，其中，所述有效參數為所述計算節點對應稀疏梯度中有效梯度的行數，所述有效梯度為所述計算節點對應稀疏梯度中有效部分的梯度數據；基于所有計算節點的有效參數，確定與其他計算節點交換各自的有效行參數和有效梯度的第二通信方式，其中，所述有效行參數是表示所述稀疏梯度與所述有效梯度映射關系的數組；利用所述第二通信方式，與其他計算節點交換各自的有效行參數和有效梯度。

根據本公開的另一方面，提供了一種分布式訓練方法，應用于深度神經網絡的分布式訓練框架中，所述分布式訓練框架包括多個計算節點，所述方法由每個計算節點執行，所述方法包括：利用第一通信方式，與其他計算節點交換各自的有效參數，其中，所述有效參數為所述計算節點對應稀疏梯度中有效梯度的行數，所述有效梯度為所述計算節點對應稀疏梯度中有效部分的梯度數據；基于所有計算節點的有效參數，確定與其他計算節點交換各自的有效行參數和有效梯度的第二通信方式，其中，所述有效行參數是表示所述稀疏梯度與所述有效梯度映射關系的數組；利用所述第二通信方式，與其他計算節點交換各自的有效行參數和有效梯度，得到所有計算節點的有效行參數和匯聚后的有效梯度；基于所有計算節點的有效行參數和所述匯聚后的有效梯度，確定目標稀疏梯度；基于所述目標稀疏梯度對所述深度神經網絡的網絡參數進行更新。

根據本公開的另一方面，提供了一種分布式訓練裝置，包括：第一通信模塊，用于利用第一通信方式，與其他計算節點交換各自的有效參數，其中，所述有效參數為所述計算節點對應稀疏梯度中有效梯度的行數，所述有效梯度為所述計算節點對應稀疏梯度中有效部分的梯度數據；第一確定模塊，用于基于所有計算節點的有效參數，確定與其他計算節點交換各自的有效行參數和有效梯度的第二通信方式，其中，所述有效行參數是表示所述稀疏梯度與所述有效梯度映射關系的數組；第二通信模塊，用于利用所述第二通信方式，與其他計算節點交換各自的有效行參數和有效梯度，得到所有計算節點的有效行參數和匯聚后的有效梯度；第二確定模塊，用于基于所有計算節點的有效行參數和所述匯聚后的有效梯度，確定目標稀疏梯度；參數更新模塊，用于基于所述目標稀疏梯度對所述深度神經網絡的網絡參數進行更新。