本發(fā)明公開了一種神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)裁剪方法、裝置及存儲(chǔ)介質(zhì)，所述方法包括：設(shè)定裁剪率目標(biāo)、裁剪范圍、裁剪對(duì)象及裁剪階段個(gè)數(shù)；根據(jù)所述裁剪率目標(biāo)和裁剪階段個(gè)數(shù)，確定每個(gè)裁剪階段的裁剪率目標(biāo)；根據(jù)神經(jīng)網(wǎng)絡(luò)原始模型的網(wǎng)絡(luò)訓(xùn)練參數(shù)和所述裁剪階段個(gè)數(shù)，確定每個(gè)裁剪階段的網(wǎng)絡(luò)訓(xùn)練參數(shù)；基于每個(gè)裁剪階段的網(wǎng)絡(luò)訓(xùn)練參數(shù)，按裁剪階段進(jìn)行網(wǎng)絡(luò)訓(xùn)練，并在每個(gè)裁剪階段中，根據(jù)對(duì)應(yīng)裁剪階段的裁剪率目標(biāo)，對(duì)所述裁剪范圍內(nèi)的所述裁剪對(duì)象進(jìn)行裁剪。采用本發(fā)明所述方案，在能夠確保神經(jīng)網(wǎng)絡(luò)精度的同時(shí)取得較好的壓縮和加速效果，并且收斂較快，訓(xùn)練效率高。

技術(shù)領(lǐng)域

本發(fā)明涉及深度學(xué)習(xí)技術(shù)領(lǐng)域，尤其涉及一種神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)裁剪方法、裝置及存儲(chǔ)介質(zhì)。

背景技術(shù)

近年來，隨著人工智能技術(shù)的迅猛發(fā)展，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)在模式識(shí)別方面取得了巨大的成功，例如圖像分類、目標(biāo)檢測、圖像分割、語音識(shí)別以及機(jī)器翻譯等。在上述領(lǐng)域中，深度學(xué)習(xí)模型的性能遠(yuǎn)超傳統(tǒng)的淺度模型，甚至在某些方面達(dá)到了人類的水準(zhǔn)。然而，性能較好的神經(jīng)網(wǎng)絡(luò)通常具有較大的模型參數(shù)，使得其計(jì)算復(fù)雜度較高。這里，計(jì)算的復(fù)雜度同時(shí)體現(xiàn)在空間(龐大的模型存儲(chǔ)體積和運(yùn)行時(shí)的內(nèi)存占用)和時(shí)間(單次推理所需數(shù)百億次浮點(diǎn)運(yùn)算)兩方面上。因此，對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行壓縮和加速變得尤為重要，特別是對(duì)運(yùn)行在諸如嵌入式設(shè)備、集成硬件設(shè)備以及大規(guī)模數(shù)據(jù)處理中心上的應(yīng)用來說。

當(dāng)前，主流的壓縮和加速深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的方法是網(wǎng)絡(luò)裁剪，例如，Han,Song等人發(fā)表的論文“Learning both weights and connections for efficient neuralnetwork”提出了一種針對(duì)深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)逐次迭代的靜態(tài)裁剪策略，其壓縮率可觀，性能下降有限，但訓(xùn)練時(shí)間過長，效率太低；Guo,Yiwen等人發(fā)表的論文“Dynamic NetworkSurgery for Efficient DNNs”提出了一種針對(duì)深度學(xué)習(xí)網(wǎng)絡(luò)的動(dòng)態(tài)裁剪策略，其訓(xùn)練時(shí)間較短，但壓縮率不可控，性能下降較多。因此，目前的網(wǎng)絡(luò)裁剪技術(shù)效果不理想，仍然存在著訓(xùn)練時(shí)間、壓縮率與網(wǎng)絡(luò)性能不能同時(shí)兼顧的技術(shù)問題。

發(fā)明內(nèi)容

鑒于上述問題，提出了本發(fā)明以便提供一種解決上述問題的神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)裁剪方法、裝置及存儲(chǔ)介質(zhì)。

依據(jù)本發(fā)明的一個(gè)方面，提供一種神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)裁剪方法，包括：

設(shè)定裁剪率目標(biāo)、裁剪范圍、裁剪對(duì)象及裁剪階段個(gè)數(shù)；

根據(jù)所述裁剪率目標(biāo)和裁剪階段個(gè)數(shù)，確定每個(gè)裁剪階段的裁剪率目標(biāo)；

根據(jù)神經(jīng)網(wǎng)絡(luò)原始模型的網(wǎng)絡(luò)訓(xùn)練參數(shù)和所述裁剪階段個(gè)數(shù)，確定每個(gè)裁剪階段的網(wǎng)絡(luò)訓(xùn)練參數(shù)；

基于每個(gè)裁剪階段的網(wǎng)絡(luò)訓(xùn)練參數(shù)，按裁剪階段進(jìn)行網(wǎng)絡(luò)訓(xùn)練，并在每個(gè)裁剪階段中，根據(jù)對(duì)應(yīng)裁剪階段的裁剪率目標(biāo)，對(duì)所述裁剪范圍內(nèi)的所述裁剪對(duì)象進(jìn)行裁剪。

可選地，本發(fā)明所述方法中，所述裁剪對(duì)象包括如下對(duì)象之一：權(quán)重的連接、濾波器和卷積核。

可選地，本發(fā)明所述方法中，所述根據(jù)神經(jīng)網(wǎng)絡(luò)原始模型的網(wǎng)絡(luò)訓(xùn)練參數(shù)和所述裁剪階段個(gè)數(shù)，確定每個(gè)裁剪階段的網(wǎng)絡(luò)訓(xùn)練參數(shù)，包括：

根據(jù)神經(jīng)網(wǎng)絡(luò)原始模型的訓(xùn)練迭代次數(shù)以及所述裁剪階段數(shù)量，確定每個(gè)裁剪階段的訓(xùn)練迭代次數(shù)；

根據(jù)神經(jīng)網(wǎng)絡(luò)原始模型的訓(xùn)練迭代次數(shù)、訓(xùn)練參數(shù)以及每個(gè)裁剪階段前裁剪累計(jì)訓(xùn)練迭代次數(shù)，確定每個(gè)裁剪階段的初始化訓(xùn)練參數(shù)。

可選地，本發(fā)明所述方法中，確定的每個(gè)裁剪階段的訓(xùn)練迭代次數(shù)為M_i，所述M_i＝α×M/N；其中，M為原始訓(xùn)練迭代次數(shù)，N為裁剪階段的個(gè)數(shù)，α為設(shè)置的迭代次數(shù)影響因子，1≤i≤N。

可選地，本發(fā)明所述方法中，所述根據(jù)神經(jīng)網(wǎng)絡(luò)原始模型的訓(xùn)練迭代次數(shù)、訓(xùn)練參數(shù)以及每個(gè)裁剪階段前裁剪累計(jì)訓(xùn)練迭代次數(shù)，確定每個(gè)裁剪階段的初始化訓(xùn)練參數(shù)，包括：