本公開(kāi)是關(guān)于一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法、裝置及存儲(chǔ)介質(zhì)，該方法可以包括：對(duì)超網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到超網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)，超網(wǎng)絡(luò)的每個(gè)網(wǎng)絡(luò)層包括：并列的多個(gè)備選網(wǎng)絡(luò)子結(jié)構(gòu)；從超網(wǎng)絡(luò)的每個(gè)網(wǎng)絡(luò)層的多個(gè)備選網(wǎng)絡(luò)子結(jié)構(gòu)中，選擇一個(gè)備選網(wǎng)絡(luò)子結(jié)構(gòu)作為目標(biāo)網(wǎng)絡(luò)子結(jié)構(gòu)；基于各層所選的目標(biāo)網(wǎng)絡(luò)子結(jié)構(gòu)，構(gòu)成子網(wǎng)絡(luò)；將從超網(wǎng)絡(luò)繼承的網(wǎng)絡(luò)參數(shù)作為子網(wǎng)絡(luò)的初始化參數(shù)，訓(xùn)練子網(wǎng)絡(luò)得到子網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)。本公開(kāi)中，將從超網(wǎng)絡(luò)繼承的網(wǎng)絡(luò)參數(shù)作為子網(wǎng)絡(luò)的初始化參數(shù)，并訓(xùn)練子網(wǎng)絡(luò)，不用針對(duì)子網(wǎng)絡(luò)從零開(kāi)始訓(xùn)練，能減少訓(xùn)練神經(jīng)網(wǎng)絡(luò)的運(yùn)算量，提高訓(xùn)練效率。

技術(shù)領(lǐng)域

本公開(kāi)涉及神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，尤其涉及一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法、裝置及存儲(chǔ)介質(zhì)。

背景技術(shù)

神經(jīng)網(wǎng)絡(luò)是一種模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型，主要依靠系統(tǒng)的復(fù)雜程度，通過(guò)調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系，從而達(dá)到處理信息的目的。其在數(shù)據(jù)處理，例如，數(shù)據(jù)分類(lèi)、語(yǔ)音分析和圖像識(shí)別等領(lǐng)域有著廣泛的應(yīng)用。在使用神經(jīng)網(wǎng)絡(luò)之前，需要對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，而目前訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方式，不僅運(yùn)算量大，且效率也很低。

發(fā)明內(nèi)容

本公開(kāi)提供一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法、裝置及存儲(chǔ)介質(zhì)。

根據(jù)本公開(kāi)實(shí)施例的第一方面，提供一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，包括：

對(duì)超網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到所述超網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)，其中，所述超網(wǎng)絡(luò)的每個(gè)網(wǎng)絡(luò)層包括：并列的多個(gè)備選網(wǎng)絡(luò)子結(jié)構(gòu)；

從所述超網(wǎng)絡(luò)的每個(gè)網(wǎng)絡(luò)層的多個(gè)備選網(wǎng)絡(luò)子結(jié)構(gòu)中，選擇一個(gè)所述備選網(wǎng)絡(luò)子結(jié)構(gòu)作為目標(biāo)網(wǎng)絡(luò)子結(jié)構(gòu)；

基于各層所選的所述目標(biāo)網(wǎng)絡(luò)子結(jié)構(gòu)，構(gòu)成子網(wǎng)絡(luò)；

將從所述超網(wǎng)絡(luò)繼承的網(wǎng)絡(luò)參數(shù)作為所述子網(wǎng)絡(luò)的初始化參數(shù)，訓(xùn)練所述子網(wǎng)絡(luò)得到所述子網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)。

可選的，所述超網(wǎng)絡(luò)包括：N個(gè)網(wǎng)絡(luò)層；每一個(gè)所述網(wǎng)絡(luò)層包括：M個(gè)備選網(wǎng)絡(luò)子結(jié)構(gòu)，其中，N為不小于2的正整數(shù)，M為不小于2的正整數(shù)；

所述從所述超網(wǎng)絡(luò)的每個(gè)網(wǎng)絡(luò)層的多個(gè)備選網(wǎng)絡(luò)子結(jié)構(gòu)中，選擇一個(gè)所述備選網(wǎng)絡(luò)子結(jié)構(gòu)作為目標(biāo)網(wǎng)絡(luò)子結(jié)構(gòu)，包括：

選擇所述超網(wǎng)絡(luò)的第n個(gè)網(wǎng)絡(luò)層的第m個(gè)備選網(wǎng)絡(luò)子結(jié)構(gòu)，作為構(gòu)成所述子網(wǎng)絡(luò)的第n個(gè)網(wǎng)絡(luò)層的所述目標(biāo)網(wǎng)絡(luò)子結(jié)構(gòu)，其中，n為小于或等于N的正整數(shù)，m為小于或等于M的正整數(shù)。

可選的，所述方法還包括：

在得到所述超網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)之后，對(duì)應(yīng)存儲(chǔ)各所述備選網(wǎng)絡(luò)子結(jié)構(gòu)的結(jié)構(gòu)標(biāo)識(shí)與各所述備選網(wǎng)絡(luò)子結(jié)構(gòu)的網(wǎng)絡(luò)參數(shù)之間的映射關(guān)系。

可選的，所述將從所述超網(wǎng)絡(luò)繼承的網(wǎng)絡(luò)參數(shù)作為所述子網(wǎng)絡(luò)的初始化參數(shù)，訓(xùn)練所述子網(wǎng)絡(luò)得到所述子網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)，包括：

基于所述子網(wǎng)絡(luò)所包含的備選網(wǎng)絡(luò)子結(jié)構(gòu)的結(jié)構(gòu)標(biāo)識(shí)，查詢(xún)所述映射關(guān)系得到對(duì)應(yīng)的備選網(wǎng)絡(luò)子結(jié)構(gòu)的網(wǎng)絡(luò)參數(shù)；

基于得到的所述備選網(wǎng)絡(luò)子結(jié)構(gòu)的網(wǎng)絡(luò)參數(shù)，訓(xùn)練所述子網(wǎng)絡(luò)得到所述子網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)。

可選的，所述從所述超網(wǎng)絡(luò)的每個(gè)網(wǎng)絡(luò)層的多個(gè)備選網(wǎng)絡(luò)子結(jié)構(gòu)中，選擇一個(gè)所述備選網(wǎng)絡(luò)子結(jié)構(gòu)作為目標(biāo)網(wǎng)絡(luò)子結(jié)構(gòu)，包括：

從所述超網(wǎng)絡(luò)的每個(gè)網(wǎng)絡(luò)層的多個(gè)備選網(wǎng)絡(luò)子結(jié)構(gòu)中，基于設(shè)定搜索算法選擇一個(gè)所述備選網(wǎng)絡(luò)子結(jié)構(gòu)作為目標(biāo)網(wǎng)絡(luò)子結(jié)構(gòu)；

所述設(shè)定搜索算法包括以下至少之一：隨機(jī)搜索算法、貝葉斯搜索算法、進(jìn)化學(xué)習(xí)算法、強(qiáng)化學(xué)習(xí)算法、進(jìn)化和強(qiáng)化學(xué)習(xí)結(jié)合算法、以及基于梯度的算法。

可選的，所述方法還包括：

基于訓(xùn)練后的子網(wǎng)絡(luò)，對(duì)輸入數(shù)據(jù)進(jìn)行數(shù)據(jù)處理；