[發(fā)明專利]一種類Alexnet網(wǎng)絡(luò)的模型訓(xùn)練方法和裝置在審
| 申請?zhí)枺?/td> | 201610201731.1 | 申請日: | 2016-03-31 |
| 公開(公告)號: | CN107292385A | 公開(公告)日: | 2017-10-24 |
| 發(fā)明(設(shè)計)人: | 王思宇 | 申請(專利權(quán))人: | 阿里巴巴集團控股有限公司 |
| 主分類號: | G06N3/08 | 分類號: | G06N3/08 |
| 代理公司: | 北京潤澤恒知識產(chǎn)權(quán)代理有限公司11319 | 代理人: | 趙娟 |
| 地址: | 英屬開曼群島大開*** | 國省代碼: | 暫無信息 |
| 權(quán)利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關(guān)鍵詞: | 種類 alexnet 網(wǎng)絡(luò) 模型 訓(xùn)練 方法 裝置 | ||
1.一種類Alexnet網(wǎng)絡(luò)的模型訓(xùn)練方法,其特征在于,包括:
采用第一圖形處理單元GPU計算在類Alexnet網(wǎng)絡(luò)下的第一梯度值和第二梯度值;
接收第二圖形處理單元GPU發(fā)送的在所述類Alexnet網(wǎng)絡(luò)下的第三梯度值;
依據(jù)所述第一梯度值和第三梯度值計算所述類Alexnet網(wǎng)絡(luò)的第一模型參數(shù);
接收所述第二圖形處理單元GPU發(fā)送的在所述類Alexnet網(wǎng)絡(luò)下的第四梯度值;
依據(jù)所述第二梯度值和第四梯度值計算所述類Alexnet網(wǎng)絡(luò)的第二模型參數(shù);
采用所述第一模型參數(shù)和第二模型參數(shù)訓(xùn)練所述類Alexnet網(wǎng)絡(luò)的模型。
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述類Alexnet網(wǎng)絡(luò)由全連接層和卷積層組成,所述采用第一圖形處理單元GPU計算在類Alexnet網(wǎng)絡(luò)下的第一梯度值和第二梯度值的步驟包括:
采用第一圖形處理單元GPU計算在所述全連接層下的第一梯度值和在所述卷積層下的第二梯度值。
3.根據(jù)權(quán)利要求2所述的方法,其特征在于,所述第一圖形處理單元GPU包括第一計算隊列,所述采用第一圖形處理單元GPU計算在所述全連接層下的第一梯度值和在所述卷積層下的第二梯度值的步驟包括:
采用第一計算隊列計算在所述全連接層下的第一梯度值和在所述卷積層下的第二梯度值。
4.根據(jù)權(quán)利要求3所述的方法,其特征在于,所述第一圖形處理單元GPU還包括第一通信隊列,所述第二圖形處理單元GPU包括第二通信隊列,所述接收第二圖形處理單元GPU發(fā)送的在所述類Alexnet網(wǎng)絡(luò)下的第三梯度值的步驟包括:
采用第一通信隊列接收第二通信隊列發(fā)送的第三梯度值;
所述接收所述第二圖形處理單元GPU發(fā)送的在所述類Alexnet網(wǎng)絡(luò)下的第四梯度值的步驟包括:
采用第一通信隊列接收第二通信隊列發(fā)送的第四梯度值。
5.根據(jù)權(quán)利要求4所述的方法,其特征在于,所述第二圖形處理單元還包括第二計算隊列,所述第三梯度值和所述第四梯度值分別通過如下步驟獲得:
采用第二計算隊列計算在所述全連接層下的第三梯度值;以及,
采用第二計算隊列計算在所述卷積層下的第四梯度值。
6.根據(jù)權(quán)利要求1-5任一所述的方法,其特征在于,所述依據(jù)所述第一梯度值和第三梯度值計算所述類Alexnet網(wǎng)絡(luò)的第一模型參數(shù)的步驟包括:
計算所述第一梯度值和第三梯度值的平均值,獲得所述類Alexnet網(wǎng)絡(luò)的第一模型參數(shù)。
7.根據(jù)權(quán)利要求6所述的方法,其特征在于,所述采用所述第二梯度值和第四梯度值計算所述類Alexnet網(wǎng)絡(luò)的第二模型參數(shù)的步驟包括:
計算所述第二梯度值和第四梯度值的平均值,獲得所述類Alexnet網(wǎng)絡(luò)的第二模型參數(shù)。
8.根據(jù)權(quán)利要求1或2或3或4或5或7所述的方法,其特征在于,在采用第一圖形處理單元GPU計算在類Alexnet網(wǎng)絡(luò)下的第一梯度值和第二梯度值的步驟前,還包括:
判斷網(wǎng)絡(luò)是否為類Alexnet網(wǎng)絡(luò)。
9.根據(jù)權(quán)利要求8所述的方法,其特征在于,所述網(wǎng)絡(luò)包括m個結(jié)構(gòu)層,所述判斷網(wǎng)絡(luò)是否為類Alexnet網(wǎng)絡(luò)的步驟包括:
對所述網(wǎng)絡(luò)進行預(yù)訓(xùn)練,獲得每個結(jié)構(gòu)層的計算時間和參數(shù)量;
根據(jù)所述計算時間和參數(shù)量,獲得所述網(wǎng)絡(luò)的計算總時間和總參數(shù)量;
按照預(yù)設(shè)傳輸順序,逐層累加所述m個結(jié)構(gòu)層的計算時間,分別獲得截至第n層的計算時間之和;
當所述截至第p層的計算時間之和與所述計算總時間的比值滿足第一預(yù) 設(shè)條件時,累加剩余m-p層的參數(shù)量,獲得所述剩余m-p層的參數(shù)量之和;
判斷所述剩余m-p層的參數(shù)量之和與所述總參數(shù)量的比值是否滿足第二預(yù)設(shè)條件;
若是,則將所述網(wǎng)絡(luò)劃分為類Alexnet網(wǎng)絡(luò)。
10.根據(jù)權(quán)利要求9所述的方法,其特征在于,所述將所述網(wǎng)絡(luò)劃分為類Alexnet網(wǎng)絡(luò)的步驟包括:
將所述網(wǎng)絡(luò)的前p層劃分為類Alexnet網(wǎng)絡(luò)的全連接層;
將所述剩余m-p層劃分為類Alexnet網(wǎng)絡(luò)的卷積層。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息,商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于阿里巴巴集團控股有限公司,未經(jīng)阿里巴巴集團控股有限公司許可,擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作,請聯(lián)系【客服】
本文鏈接:http://www.17sss.com.cn/pat/books/201610201731.1/1.html,轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 一種類Alexnet網(wǎng)絡(luò)的模型訓(xùn)練方法和裝置
- 一種基于改進AlexNet的燃弧識別方法
- 一種電能質(zhì)量擾動分類方法
- 一種甲狀腺锝掃圖像的識別模型構(gòu)建方法及裝置
- 一種基于改進Alexnet模型的尿液有形成分識別方法
- 一種基于特征融合Alexnet壁畫圖像分類方法
- 基于無線微波衰減特征遷移學(xué)習(xí)的濃霧監(jiān)測方法
- 基于AlexNet和遷移學(xué)習(xí)相結(jié)合的心電圖異常識別方法及系統(tǒng)
- 基于AlexNet網(wǎng)絡(luò)的長輸油氣管線沿線施工擾動及泄漏識別方法
- 復(fù)數(shù)域結(jié)構(gòu)化SAR艦船目標動態(tài)仿真與速度估計方法
- 網(wǎng)絡(luò)和網(wǎng)絡(luò)終端
- 網(wǎng)絡(luò)DNA
- 網(wǎng)絡(luò)地址自適應(yīng)系統(tǒng)和方法及應(yīng)用系統(tǒng)和方法
- 網(wǎng)絡(luò)系統(tǒng)及網(wǎng)絡(luò)至網(wǎng)絡(luò)橋接器
- 一種電力線網(wǎng)絡(luò)中根節(jié)點網(wǎng)絡(luò)協(xié)調(diào)方法和系統(tǒng)
- 一種多網(wǎng)絡(luò)定位方法、存儲介質(zhì)及移動終端
- 網(wǎng)絡(luò)裝置、網(wǎng)絡(luò)系統(tǒng)、網(wǎng)絡(luò)方法以及網(wǎng)絡(luò)程序
- 從重復(fù)網(wǎng)絡(luò)地址自動恢復(fù)的方法、網(wǎng)絡(luò)設(shè)備及其存儲介質(zhì)
- 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法、裝置及存儲介質(zhì)
- 網(wǎng)絡(luò)管理方法和裝置





