本發明提供了一種處理卷積神經網絡的方法，包含將輸入數據輸入至浮點預訓練CNN模型以產生浮點預訓練CNN模型的每層的浮點特征圖，將浮點特征圖輸入至統計分析模擬器以產生浮點預訓練CNN模型的每層的動態量化范圍，依據浮點預訓練CNN模型的每層的動態量化范圍對浮點預訓練CNN模型的每層的特征值進行量化以產生量化CNN模型的每層的特征值、量化CNN模型的每層的純量因子、及量化CNN模型的分數位，及將量化CNN模型的每層的特征值輸入至推論引擎以使用低精度的定點算數操作來產生定點推論CNN模型的每層的特征值。

技術領域

本發明關于影像處理，特別是一種節能的卷積神經網絡實現方式。

背景技術

由于在影像網(ImageNet)競賽中的卓越成功，卷積神經網絡(ConvolutionNeural Network，CNN)已成為電腦視覺處理中最受歡迎的結構。通常的預訓練CNN模型需要好幾百萬個運算、大量的存儲器空間及好幾瓦的功率來進行單一推論(inference)運作。有限的運算資源及儲存空間已成為在物聯網(Internet ofthings，IoT)或可攜裝置上執行CNN的主要障礙。

開發新的CNN加速器主要有三個挑戰：

使用有限儲存存儲器的空間數據(spatial data)傳輸：由于物聯網設備中的存儲器有限(＜320KB SRAM)，因此實時人工智能(artificial intelligence，AI)應用無法接受芯片外(off-chip)存儲器，如動態隨機存取存儲器(dynamic random access memory，DRAM)及芯片上(on-chip)存儲器，如同步隨機存儲器(synchronous random accessmemory，SRAM)之間的大量數據傳輸的延遲。

CNN的大量乘法運算及高功耗：對于實時推論CNN模型來說，大規模的乘法運算需要極高功耗用于算術計算，因此難以設計滿足IoT設備的功率要求的CNN。

重新訓練CNN模型需要大量的訓練數據集：在量化近似操作中重新訓練CNN模型過程往往需要花費數小時。

CNN需要大量算數運算，因此無法在低功耗裝置上實現。

發明內容

本發明實施例提供一種處理卷積神經網絡的方法，包含將輸入數據輸入至浮點預訓練CNN模型以產生浮點預訓練CNN模型的每層的浮點特征圖，將浮點特征圖輸入至統計分析模擬器以產生浮點預訓練CNN模型的每層的動態量化范圍，依據浮點預訓練CNN模型的每層的動態量化范圍對浮點預訓練CNN模型的每層的特征值進行量化以產生量化CNN模型的每層的特征值、量化CNN模型的每層的純量因子、及量化CNN模型的分數位，及將量化CNN模型的每層的特征值輸入至推論引擎以使用低精度的定點算數操作來產生定點推論CNN模型的每層的特征值。

附圖說明

圖1為本發明實施例的處理卷積神經網絡的方法的流程圖。

圖2顯示量化圖1中權重及激活值的方法。

符號說明：

100 方法

S102至S108 步驟

具體實施方式

圖1為本發明實施例的處理卷積神經網絡(convolution neural network，CNN)的方法100的流程圖。方法100包含下列步驟：

S102：將輸入數據輸入至浮點預訓練CNN模型以產生浮點預訓練CNN模型的每層的浮點特征圖(feature map)；

S104：將浮點特征圖輸入至統計分析模擬器以產生浮點預訓練CNN模型的每層的動態量化范圍；