[發(fā)明專利]處理卷積神經(jīng)網(wǎng)絡(luò)的方法在審
| 申請?zhí)枺?/td> | 201911171097.1 | 申請日： | 2019-11-26 |
| 公開（公告）號： | CN111310888A | 公開（公告）日： | 2020-06-19 |
| 發(fā)明（設(shè)計）人： | 伍捷;馬云漢;謝必克;李湘村;蘇俊杰;劉峻誠 | 申請（專利權(quán)）人： | 耐能智慧股份有限公司 |
| 主分類號： | G06N3/04 | 分類號： | G06N3/04 |
| 代理公司： | 北京三友知識產(chǎn)權(quán)代理有限公司 11127 | 代理人： | 趙平;周永君 |
| 地址： | 中國臺*** | 國省代碼： | 臺灣;71 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 處理 卷積 神經(jīng)網(wǎng)絡(luò) 方法 | ||
1.一種處理卷積神經(jīng)網(wǎng)絡(luò)的方法，其特征在于，包含:
將輸入數(shù)據(jù)輸入至一浮點預(yù)訓(xùn)練CNN模型以產(chǎn)生所述浮點預(yù)訓(xùn)練CNN模型的每層的多個浮點特征圖；
將所述浮點特征圖輸入至一統(tǒng)計分析模擬器以產(chǎn)生所述浮點預(yù)訓(xùn)練CNN模型的所述每層的一動態(tài)量化范圍；
依據(jù)所述浮點預(yù)訓(xùn)練CNN模型的所述每層的所述動態(tài)量化范圍對所述浮點預(yù)訓(xùn)練CNN模型的所述每層的特征值進(jìn)行量化以產(chǎn)生一量化CNN模型的每層的多個特征值、所述量化CNN模型的所述每層的一純量因子、及所述量化CNN模型的一分?jǐn)?shù)位；及
將所述量化CNN模型的所述每層的所述特征值輸入至一推論引擎以使用低精度的多個定點算數(shù)操作來產(chǎn)生一定點推論CNN模型的每層的多個特征值。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包含:
將所述定點推論CNN模型的所述每層的所述特征值輸入至所述浮點預(yù)訓(xùn)練CNN模型。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，依據(jù)所述浮點預(yù)訓(xùn)練CNN模型的所述每層的所述動態(tài)量化范圍對所述浮點預(yù)訓(xùn)練CNN模型的所述每層的所述特征值進(jìn)行量化以產(chǎn)生所述量化CNN模型的所述每層的所述特征值、所述量化CNN模型的所述每層的所述純量因子、及所述量化CNN模型的所述分?jǐn)?shù)位包含:
依據(jù)所述浮點預(yù)訓(xùn)練CNN模型的所述每層的所述動態(tài)量化范圍對所述浮點預(yù)訓(xùn)練CNN模型的所述每層的所述特征值執(zhí)行一粗略至精細(xì)量化以產(chǎn)生所述量化CNN模型的所述每層的所述特征值、所述量化CNN模型的所述每層的所述純量因子、及所述量化CNN模型的所述分?jǐn)?shù)位。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，依據(jù)所述浮點預(yù)訓(xùn)練CNN模型的所述每層的所述動態(tài)量化范圍對所述浮點預(yù)訓(xùn)練CNN模型的所述每層的所述特征值執(zhí)行所述粗略至精細(xì)量化以產(chǎn)生所述量化CNN模型的所述每層的所述特征值包含:
依據(jù)所述浮點預(yù)訓(xùn)練CNN模型的所述每層的所述動態(tài)量化范圍對所述浮點預(yù)訓(xùn)練CNN模型的所述每層的所述特征值執(zhí)行一粗略量化以產(chǎn)生一粗略CNN模型；及
對所述粗略CNN模型的多個卷積層及/或多個全連接層的所有多個通道的所述每層的多個特征值執(zhí)行一精細(xì)量化以產(chǎn)生所述量化CNN模型。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，依據(jù)所述浮點預(yù)訓(xùn)練CNN模型的所述每層的所述動態(tài)量化范圍對所述浮點預(yù)訓(xùn)練CNN模型的所述每層的所述特征值執(zhí)行所述粗略量化以產(chǎn)生所述粗略CNN模型包含:
執(zhí)行一激活量化程序、一偏差量化程序及一權(quán)重量化程序以產(chǎn)生所述粗略CNN模型。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，執(zhí)行所述激活量化程序、所述偏差量化程序及所述權(quán)重量化程序以產(chǎn)生所述粗略CNN模型包含:
對所述浮點預(yù)訓(xùn)練CNN模型的所述每層的多個激活向量執(zhí)行所述激活量化程序以產(chǎn)生多個量化的激活值；
對所述浮點預(yù)訓(xùn)練CNN模型的偏差數(shù)據(jù)執(zhí)行所述偏差量化程序以產(chǎn)生多個量化的偏差值；及
對所述浮點預(yù)訓(xùn)練CNN模型的權(quán)重數(shù)據(jù)執(zhí)行所述權(quán)重量化程序以產(chǎn)生多個量化的權(quán)重。
7.根據(jù)權(quán)利要求4所述的方法，其特征在于，對所述粗略CNN模型的所述卷積層及/或所述全連接層的所有所述通道的所述每層的所述特征值執(zhí)行所述精細(xì)量化以產(chǎn)生所述量化CNN模型包含:
對所述粗略CNN模型的所述卷積層及/或所述全連接層的所有所述通道的所述每層的所述特征值執(zhí)行一每通道權(quán)重量化程序以產(chǎn)生權(quán)重所述量化CNN模型，所述量化CNN模型包含一每通道量化權(quán)重。
8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述輸入數(shù)據(jù)為多媒體數(shù)據(jù)。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于耐能智慧股份有限公司，未經(jīng)耐能智慧股份有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.17sss.com.cn/pat/books/201911171097.1/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 卷積運算處理方法及相關(guān)產(chǎn)品
- 一種卷積神經(jīng)網(wǎng)絡(luò)的計算方法及系統(tǒng)
- 卷積運算方法及系統(tǒng)
- 卷積運算方法、裝置及系統(tǒng)
- 深度神經(jīng)網(wǎng)絡(luò)裁剪方法、裝置及電子設(shè)備
- 基于卷積神經(jīng)網(wǎng)絡(luò)的圖像處理方法和圖像處理裝置
- 卷積神經(jīng)網(wǎng)絡(luò)及基于卷積神經(jīng)網(wǎng)絡(luò)的圖像處理方法
- 一種圖像處理方法、裝置以及計算機(jī)存儲介質(zhì)
- 用于卷積神經(jīng)網(wǎng)絡(luò)的卷積運算裝置
- 基于FPGA實現(xiàn)圖像識別的方法、裝置、設(shè)備及存儲介質(zhì)
- 硬件神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換方法、計算裝置、軟硬件協(xié)作系統(tǒng)
- 生成較大神經(jīng)網(wǎng)絡(luò)
- 神經(jīng)網(wǎng)絡(luò)的生成方法、生成裝置和電子設(shè)備
- 一種舌診方法、裝置、計算設(shè)備及計算機(jī)存儲介質(zhì)
- 學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
- 脈沖神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換方法及相關(guān)轉(zhuǎn)換芯片
- 圖像處理方法、裝置、可讀存儲介質(zhì)和計算機(jī)設(shè)備
- 一種適應(yīng)目標(biāo)數(shù)據(jù)集的網(wǎng)絡(luò)模型微調(diào)方法、系統(tǒng)、終端和存儲介質(zhì)
- 用于重構(gòu)人工神經(jīng)網(wǎng)絡(luò)的處理器及其操作方法、電氣設(shè)備
- 一種圖像神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化方法及裝置
