技術(shù)領(lǐng)域

本公開涉及神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，具體地，涉及一種神經(jīng)網(wǎng)絡(luò)的處理方法及裝置、存儲介質(zhì)、電子設(shè)備。

背景技術(shù)

隨著人工神經(jīng)網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，深度學(xué)習(xí)被廣泛應(yīng)用于各種分類任務(wù)、回歸任務(wù)，例如，用于進(jìn)行語音識別、圖像識別等。通常，深度學(xué)習(xí)的效果與神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)復(fù)雜度密切相關(guān)，對于復(fù)雜任務(wù)來說，復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)往往能帶來較好的識別效果，但計(jì)算壓力也會隨之增大。

進(jìn)行前向計(jì)算時，可以利用各層網(wǎng)絡(luò)的輸入向量X、基于網(wǎng)絡(luò)訓(xùn)練得到的該層網(wǎng)絡(luò)輸入到該層網(wǎng)絡(luò)輸出的權(quán)重向量W，計(jì)算得到該層網(wǎng)絡(luò)的輸出向量Y＝X·W。面對大規(guī)模任務(wù)的神經(jīng)網(wǎng)絡(luò)，例如，做一個20000類的分類任務(wù)時，就存在20000個輸出向量Y_i以及對應(yīng)的20000個權(quán)重向量W_i，每個輸出向量Y_i都需要計(jì)算輸入向量X與權(quán)重向量W_i的乘積，計(jì)算量非常大，很容易影響基于神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的產(chǎn)品的使用效率，降低用戶體驗(yàn)。

發(fā)明內(nèi)容

本公開的主要目的是提供一種神經(jīng)網(wǎng)絡(luò)的處理方法及裝置、存儲介質(zhì)、電子設(shè)備，有助于降低神經(jīng)網(wǎng)絡(luò)的計(jì)算量，提高計(jì)算效率。

為了實(shí)現(xiàn)上述目的，本公開提供一種神經(jīng)網(wǎng)絡(luò)的處理方法，所述方法包括：

獲取網(wǎng)絡(luò)層的輸入向量和權(quán)重向量集合，所述權(quán)重向量集合包括N個原始權(quán)重向量，N為所述網(wǎng)絡(luò)層的輸出向量的個數(shù)；

從所述權(quán)重向量集合中選取至少兩個第一權(quán)重向量，并將所述至少兩個第一權(quán)重向量替換為預(yù)設(shè)權(quán)重向量，所述至少兩個第一權(quán)重向量為相似權(quán)重向量，且每個第一權(quán)重向量與所述輸入向量的相關(guān)度小于預(yù)設(shè)相關(guān)度；

利用所述輸入向量以及處理后的權(quán)重向量集合，計(jì)算得到所述網(wǎng)絡(luò)層的N個輸出向量，所述處理后的權(quán)重向量集合包括：所述權(quán)重向量集合中未被選取的原始權(quán)重向量、以及所述預(yù)設(shè)權(quán)重向量。

可選地，所述從所述權(quán)重向量集合中選取至少兩個第一權(quán)重向量，包括：

從所述N個原始權(quán)重向量中選取相似權(quán)重向量，并對所述相似權(quán)重向量進(jìn)行聚類處理，得到至少一個權(quán)重聚合類；

計(jì)算各權(quán)重聚合類的中心向量與所述輸入向量的相關(guān)度，將相關(guān)度小于所述預(yù)設(shè)相關(guān)度的權(quán)重聚合類包括的相似權(quán)重向量，確定為所述第一權(quán)重向量。

可選地，所述從所述N個原始權(quán)重向量中選取相似權(quán)重向量，包括：

計(jì)算每個原始權(quán)重向量的模、以及所述N個原始權(quán)重向量的模的均值；

根據(jù)所述模的均值確定匹配區(qū)間，若有至少兩個原始權(quán)重向量的模位于所述匹配區(qū)間內(nèi)，則將所述至少兩個原始權(quán)重向量確定為相似權(quán)重向量。

可選地，如果所述相似權(quán)重向量的個數(shù)小于預(yù)設(shè)數(shù)量，所述方法還包括：

按照預(yù)設(shè)步長擴(kuò)展所述匹配區(qū)間，以使根據(jù)擴(kuò)展后匹配區(qū)間確定出的相似權(quán)重向量的個數(shù)不小于所述預(yù)設(shè)數(shù)量為止；

所述對所述相似權(quán)重向量進(jìn)行聚類處理，得到至少一個權(quán)重聚合類，包括：將所述擴(kuò)展后匹配區(qū)間分割為至少兩個小區(qū)間，分別對每個小區(qū)間對應(yīng)的相似權(quán)重向量進(jìn)行聚類處理，得到至少一個權(quán)重聚合類。

可選地，在所述從所述權(quán)重向量集合中選取至少兩個第一權(quán)重向量之前，所述方法還包括：

判斷所述權(quán)重向量集合中的原始權(quán)重向量之間的差異度是否大于預(yù)設(shè)差異值；

如果所述權(quán)重向量集合中的原始權(quán)重向量之間的差異度不大于預(yù)設(shè)差異值，再執(zhí)行所述從所述權(quán)重向量集合中選取至少兩個第一權(quán)重向量的步驟。

本公開提供一種神經(jīng)網(wǎng)絡(luò)的處理裝置，所述裝置包括：

向量獲取模塊，用于獲取網(wǎng)絡(luò)層的輸入向量和權(quán)重向量集合，所述權(quán)重向量集合包括N個原始權(quán)重向量，N為所述網(wǎng)絡(luò)層的輸出向量的個數(shù)；

第一權(quán)重向量選取模塊，用于從所述權(quán)重向量集合中選取至少兩個第一權(quán)重向量，并將所述至少兩個第一權(quán)重向量替換為預(yù)設(shè)權(quán)重向量，所述至少兩個第一權(quán)重向量為相似權(quán)重向量，且每個第一權(quán)重向量與所述輸入向量的相關(guān)度小于預(yù)設(shè)相關(guān)度；

輸出向量計(jì)算模塊，用于利用所述輸入向量以及處理后的權(quán)重向量集合，計(jì)算得到所述網(wǎng)絡(luò)層的N個輸出向量，所述處理后的權(quán)重向量集合包括：所述權(quán)重向量集合中未被選取的原始權(quán)重向量、以及所述預(yù)設(shè)權(quán)重向量。

可選地，所述第一權(quán)重向量選取模塊包括：

相似權(quán)重向量獲取模塊，用于從所述N個原始權(quán)重向量中選取相似權(quán)重向量；

聚類處理模塊，用于對所述相似權(quán)重向量進(jìn)行聚類處理，得到至少一個權(quán)重聚合類；