[發明專利]神經網絡的訓練方法、裝置及存儲介質在審
| 申請號： | 201911053898.8 | 申請日： | 2019-10-31 |
| 公開（公告）號： | CN110782034A | 公開（公告）日： | 2020-02-11 |
| 發明（設計）人： | 初祥祥;許瑞軍;張勃;李吉祥;李慶源;王斌 | 申請（專利權）人： | 北京小米智能科技有限公司 |
| 主分類號： | G06N3/08 | 分類號： | G06N3/08;G06N3/04 |
| 代理公司： | 11270 北京派特恩知識產權代理有限公司 | 代理人： | 王黎延;馬廣祿 |
| 地址： | 100085 北京市海淀區清河*** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 子網絡 子結構 網絡參數 備選網絡 網絡 初始化參數 目標網絡 網絡層 訓練神經網絡 存儲介質 神經網絡 訓練效率 運算量 繼承 并列 | ||
1.一種神經網絡的訓練方法，其特征在于，包括：
對超網絡進行訓練，得到所述超網絡的網絡參數，其中，所述超網絡的每個網絡層包括：并列的多個備選網絡子結構；
從所述超網絡的每個網絡層的多個備選網絡子結構中，選擇一個所述備選網絡子結構作為目標網絡子結構；
基于各層所選的所述目標網絡子結構，構成子網絡；
將從所述超網絡繼承的網絡參數作為所述子網絡的初始化參數，訓練所述子網絡得到所述子網絡的網絡參數。
2.根據權利要求1所述的方法，其特征在于，
所述超網絡包括：N個網絡層；每一個所述網絡層包括：M個備選網絡子結構，其中，N為不小于2的正整數，M為不小于2的正整數；
所述從所述超網絡的每個網絡層的多個備選網絡子結構中，選擇一個所述備選網絡子結構作為目標網絡子結構，包括：
選擇所述超網絡的第n個網絡層的第m個備選網絡子結構，作為構成所述子網絡的第n個網絡層的所述目標網絡子結構，其中，n為小于或等于N的正整數，m為小于或等于M的正整數。
3.根據權利要求1所述的方法，其特征在于，所述方法還包括：
在得到所述超網絡的網絡參數之后，對應存儲各所述備選網絡子結構的結構標識與各所述備選網絡子結構的網絡參數之間的映射關系。
4.根據權利要求3所述的方法，其特征在于，所述將從所述超網絡繼承的網絡參數作為所述子網絡的初始化參數，訓練所述子網絡得到所述子網絡的網絡參數，包括：
基于所述子網絡所包含的備選網絡子結構的結構標識，查詢所述映射關系得到對應的備選網絡子結構的網絡參數；
基于得到的所述備選網絡子結構的網絡參數，訓練所述子網絡得到所述子網絡的網絡參數。
5.根據權利要求1所述的方法，其特征在于，所述從所述超網絡的每個網絡層的多個備選網絡子結構中，選擇一個所述備選網絡子結構作為目標網絡子結構，包括：
從所述超網絡的每個網絡層的多個備選網絡子結構中，基于設定搜索算法選擇一個所述備選網絡子結構作為目標網絡子結構；
所述設定搜索算法包括以下至少之一：隨機搜索算法、貝葉斯搜索算法、進化學習算法、強化學習算法、進化和強化學習結合算法、以及基于梯度的算法。
6.根據權利要求1至5任一項所述的方法，其特征在于，所述方法還包括：
基于訓練后的子網絡，對輸入數據進行數據處理；
其中，所述輸入數據的類型包括以下至少之一：圖像數據類型、文本數據類型和音頻數據類型。
7.根據權利要求1至5任一項所述的方法，其特征在于，所述方法還包括：
基于測試數據集對訓練后的子網絡進行性能評估，得到評估結果；
其中，所述測試數據集中測試數據的類型包括以下至少之一：圖像數據類型、業務數據類型和音頻數據類型。
8.一種神經網絡的訓練裝置，其特征在于，包括：
第一訓練模塊，配置為對超網絡進行訓練，得到所述超網絡的網絡參數，其中，所述超網絡的每個網絡層包括：并列的多個備選網絡子結構；
選取模塊，配置為從所述超網絡的每個網絡層的多個備選網絡子結構中，選擇一個所述備選網絡子結構作為目標網絡子結構；
網絡構成模塊，配置為基于各層所選的所述目標網絡子結構，構成子網絡；
第二訓練模塊，配置為將從所述超網絡繼承的網絡參數作為所述子網絡的初始化參數，訓練所述子網絡得到所述子網絡的網絡參數。
9.根據權利要求8所述的裝置，其特征在于，
所述超網絡包括：N個網絡層；每一個所述網絡層包括：M個備選網絡子結構，其中，N為不小于2的正整數，M為不小于2的正整數；
所述選取模塊，具體配置為：選擇所述超網絡的第n個網絡層的第m個備選網絡子結構，作為構成所述子網絡的第n個網絡層的所述目標網絡子結構，其中，n為小于或等于N的正整數，m為小于或等于M的正整數。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于北京小米智能科技有限公司，未經北京小米智能科技有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.17sss.com.cn/pat/books/201911053898.8/1.html，轉載請聲明來源鉆瓜專利網。
