[發明專利]一種剪枝神經網絡模型的方法和裝置在審
| 申請號: | 202010820874.7 | 申請日: | 2020-08-14 |
| 公開(公告)號: | CN112001483A | 公開(公告)日: | 2020-11-27 |
| 發明(設計)人: | 項陽 | 申請(專利權)人: | 廣州市百果園信息技術有限公司 |
| 主分類號: | G06N3/04 | 分類號: | G06N3/04;G06N3/08 |
| 代理公司: | 北京品源專利代理有限公司 11332 | 代理人: | 孟金喆 |
| 地址: | 511402 廣東省廣州市番*** | 國省代碼: | 廣東;44 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 一種 剪枝 神經網絡 模型 方法 裝置 | ||
本申請公開了一種剪枝神經網絡模型的方法和裝置,其中所述方法包括:獲取目標神經網絡模型的模型結構數據,所述模型結構數據包括多個節點的節點信息;根據所述多個節點的節點信息確定所述目標神經網絡模型中可被剪枝的卷積層信息;將所述可被剪枝的卷積層信息提供給上層的剪枝算法,以由所述剪枝算法根據所述可被剪枝的卷積層信息確定所述目標神經網絡模型中的對應卷積層的剪枝結果;獲取所述剪枝算法確定的剪枝結果,并根據所述剪枝結果對所述模型結構數據進行修改,以構建剪枝后的目標神經網絡模型,從而實現剪枝過程的全自動化,并且能夠適配不同網絡結構和不同的上層剪枝算法,消除算法和工程上的隔閡,達到工程化通用、簡便的要求。
技術領域
本申請實施例涉及深度學習技術,尤其涉及一種剪枝神經網絡模型的方法和裝置。
背景技術
在計算機視覺領域中隨著深度學習技術的不斷發展,網絡表達能力雖然逐漸增強,然而需要的資源消耗也越來越大,過大的資源消耗在邊緣移動設備等資源受限的環境下是無法滿足的,模型大小和推理速度成為了深度學習落地的重要影響因素。因此,能夠加速網絡推理速度,減少模型大小的網絡剪枝技術成為了熱點。
通常,神經網絡的剪枝技術可以包括如下四個階段:
1.找到可以被裁減的通道。
2.根據上層剪枝算法,求取剪枝結果。
3.得到裁剪后的模型。
4.對裁剪后的模型進行微調或重訓練。
鑒于深度學習的前端框架高度封裝的特性,以及不同網絡拓撲結構的限制,現有剪枝工具往往需要人工參與上述階段1和階段3的處理,比如通過超參控制模型初始化;又或者通過將被裁剪的權重置為0的方式達到模擬剪枝的效果。這樣的剪枝方式以及高度封裝的神經網絡前端框架,使得模型訓練邏輯之間有非常大的耦合,不利于剪枝方案的推廣。
發明內容
本申請提供一種剪枝神經網絡模型的方法和裝置,以解決現有的剪枝技術中高度封裝的神經網絡前端框架,使得模型訓練邏輯之間有非常大的耦合,不利于剪枝方案的推廣的問題。
第一方面,本申請實施例提供了一種剪枝神經網絡模型的方法,所述方法包括:
獲取目標神經網絡模型的模型結構數據,所述模型結構數據包括多個節點的節點信息;
根據所述多個節點的節點信息確定所述目標神經網絡模型中可被剪枝的卷積層信息;
將所述可被剪枝的卷積層信息提供給上層的剪枝算法,以由所述剪枝算法根據所述可被剪枝的卷積層信息確定所述目標神經網絡模型中的對應卷積層的剪枝結果;
獲取所述剪枝算法確定的所述剪枝結果,并根據所述剪枝結果對所述模型結構數據進行修改,以構建剪枝后的目標神經網絡模型。
第二方面,本申請實施例還提供了一種剪枝神經網絡模型的裝置,所述裝置包括:
模型結構數據獲取模塊,用于獲取目標神經網絡模型的模型結構數據,所述模型結構數據包括多個節點的節點信息;
可剪枝卷積層信息確定模塊,用于根據所述多個節點的節點信息確定所述目標神經網絡模型中可被剪枝的卷積層信息;
可剪枝卷積層信息發送模塊,用于將所述可被剪枝的卷積層信息提供給上層的剪枝算法,以由所述剪枝算法根據所述可被剪枝的卷積層信息確定所述目標神經網絡模型中的對應卷積層的剪枝結果;
模型剪枝模塊,用于獲取所述剪枝算法確定的所述剪枝結果,并根據所述剪枝結果對所述模型結構數據進行修改,以構建剪枝后的目標神經網絡模型。
第三方面,本申請實施例還提供了一種計算機設備,包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序,所述處理器執行所述程序時實現上述的方法。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于廣州市百果園信息技術有限公司,未經廣州市百果園信息技術有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.17sss.com.cn/pat/books/202010820874.7/2.html,轉載請聲明來源鉆瓜專利網。





