[發明專利]一種多個GPU并行的DNN模型訓練方法和裝置有效
| 申請號： | 201710564223.4 | 申請日： | 2017-07-12 |
| 公開（公告）號： | CN109255439B | 公開（公告）日： | 2021-04-02 |
| 發明（設計）人： | 龔軼凡;靳江明;蘇磊 | 申請（專利權）人： | 北京圖森智途科技有限公司 |
| 主分類號： | G06N3/08 | 分類號： | G06N3/08;G06N3/04 |
| 代理公司： | 暫無信息 | 代理人： | 暫無信息 |
| 地址： | 101300 北京市順*** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 gpu 并行 dnn 模型 訓練 方法 裝置 | ||
1.一種多個圖形處理單元并行的深度神經網絡模型訓練方法，其特征在于，包括：
多個圖形處理單元GPU中的一個GPU在對分配到的數據子集進行DNN模型訓練時，在前向傳播處理過程中，接收前向歸一化BN輸入數據子集；確定全局前向BN輸入數據均值集合；根據所述全局前向BN輸入數據均值集合，對所述前向BN輸入數據子集進行前向BN處理，得到前向BN輸出數據子集；所述全局前向BN輸入數據均值集合包括：全局前向BN輸入數據的均值和平方均值；
在后向傳播處理過程中，接收后向BN輸入數據子集，所述后向BN輸入數據子集是所述前向BN輸出數據子集的梯度集合；確定全局后向BN輸入數據均值集合；根據所述全局后向BN輸入數據均值集合、所述后向BN輸入數據子集和所述全局前向BN輸入數據均值集合，對所述前向BN輸入數據子集進行后向BN處理，得到所述前向BN輸入數據子集中每個數據的梯度，所述全局后向BN輸入數據均值集合包括：全局后向BN輸入數據均值和全局前向BN梯度校正數據均值。
2.根據權利要求1所述的方法，其特征在于，確定全局前向BN輸入數據均值集合，包括：
在所述GPU為多個GPU中的主GPU的情況下，所述主GPU根據所述前向BN輸入數據子集確定所述GPU的前向BN輸入數據子集均值集合，所述前向BN輸入數據子集均值集合包括：所述前向BN輸入數據子集的均值和平方均值；
接收來自其它各從GPU的前向BN輸入數據子集均值集合；
根據所述主GPU的前向BN輸入數據子集均值集合和其它各從GPU的前向BN輸入數據子集均值集合，確定全局前向BN輸入數據均值集合；
將所述全局前向BN輸入數據均值集合發送給其它各從GPU。
3.根據權利要求2所述的方法，其特征在于，確定前向BN輸入數據子集均值集合，包括：
根據公式確定所述前向BN輸入數據子集的均值，其中，Bi＝{xi，j}(j＝1，2，...mi)，Bi為所述GPU為第i個GPU時的前向BN輸入數據子集，xi，j為所述前向BN輸入數據子集中的數據，mi為所述前向BN輸入數據子集中的數據的數量，μi為所述GPU為第i個GPU時的前向BN輸入數據子集的均值；
根據公式確定所述前向BN輸入數據子集的平方均值，其中，νi為所述GPU為第i個GPU時的前向BN輸入數據子集的平方均值。
4.根據權利要求2所述的方法，其特征在于，確定全局前向BN輸入數據均值集合，包括：
根據公式確定所述全局前向BN輸入數據的均值，其中，n為所述多個GPU的數量，μi為第i個GPU的前向BN輸入數據子集的均值，mi為第i個GPU的前向BN輸入數據子集中的數據的數量，μ為所述全局前向BN輸入數據的均值；
根據公式確定所述全局前向BN輸入數據的平方均值，其中，νi為第i個GPU的前向BN輸入數據子集的平方均值，ν為所述全局前向BN輸入數據的平方均值。
5.根據權利要求2所述的方法，其特征在于，對所述前向BN輸入數據子集進行前向BN處理，包括：
根據所述全局前向BN輸入數據的均值和平方均值，對所述前向BN輸入數據子集中的每個數據進行前向BN操作，得到前向BN后數據子集；
對所述前向BN后數據子集中每個數據進行偏移操作，得到所述前向BN輸出數據子集。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于北京圖森智途科技有限公司，未經北京圖森智途科技有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.17sss.com.cn/pat/books/201710564223.4/1.html，轉載請聲明來源鉆瓜專利網。
