本公開涉及用于對深度神經網絡的權重進行轉換的方法和系統。第二數字格式的精度低于第一數字格式的精度。該方法包括：針對多個權重中的每一個權重，確定與根據第一量化方法將權重量化為第二數字格式相關聯的量化誤差；基于多個權重的量化誤差來確定多個權重的總量化誤差；基于多個權重的總量化誤差來標識待根據第二量化方法量化為第二數字格式的多個權重的子集；以及生成表示第二數字格式的多個權重的一組量化權重，多個權重的子集中每一個權重的量化權重基于根據第二量化方法將權重量化為第二數字格式，并且多個權重中其余權重中的每一個權重的量化權重基于根據第一量化方法將權重量化為第二數字格式。

技術領域

本申請涉及用于將浮點深度神經網絡(DNN)轉換為定點DNN的方法和系統，具體涉及將浮點DNN的權重轉換為定點數格式以用于將硬件配置為實現DNN。

背景技術

DNN是人工神經網絡的一種形式，包括可用于機器學習應用程序的多個互連層。特別地，DNN可用于信號處理應用程序，包括圖像處理和計算機視覺應用程序。圖1示出了包括多個層102-1、102-2、102-3的示例性DNN 100。每一層102-1、102-2、102-3接收輸入數據，根據層處理該輸入數據以產生輸出數據。輸出數據要么作為輸入數據提供給另一層，要么作為DNN的最終輸出數據輸出。例如，在圖1的DNN 100中，第一層102-1接收到DNN 100的原始輸入數據104，并且根據第一層102-1處理輸入數據以產生輸出數據。第一層102-1的輸出數據成為第二層102-2的輸入數據，該第二層根據第二層102-2處理該輸入數據以產生輸出數據。第二層102-2的輸出數據成為第三層102-3的輸入數據，該第三層根據第三層102-3處理該輸入數據以產生輸出數據。第三層102-3的輸出數據被輸出作為DNN的輸出數據106。

對層的輸入數據執行的處理取決于層的類型。例如，DNN的每一層可以是多種不同類型中的一種。示例性DNN層類型包括但不限于卷積層、激活層、歸一化層、池化層，以及全連接層。對于本領域的技術人員將顯而易見的是，這些是示例性DNN層類型，并且這不是詳盡的列表，并且可存在其他DNN層類型。

對于卷積層，通過將輸入數據與同該層相關聯的權重進行卷積來處理輸入數據。具體地，每個卷積層與多個權重w₀…w_g相關聯，所述多個權重還可以被稱為濾波器權重或系數。權重被分組以形成或定義一個或多個濾波器，該一個或多個濾波器還可以被稱為內核，并且每個濾波器可與偏移量偏差b相關聯。

參考圖2，該圖示出了在DNN中使用的數據格式的示例性概述。如在圖2中可以看到的，在DNN中使用的數據可由多個平面形成。輸入數據可被排列為P個數據平面，其中每一個平面的尺寸為x×y。DNN可包括一個或多個卷積層，該一個或多個卷積層中的每個卷積層具有與其相關聯的多個濾波器，每個濾波器包括多個權重。每個濾波器的尺寸為m×n×P(即，每個濾波器包括一組m×n×P個權重w)，并且根據在x方向和y方向上跨步s和步t的卷積運算被應用于輸入數據，如圖2所示。濾波器的數量和每個濾波器的權重的數量可在卷積層與卷積層之間變化。卷積神經網絡(CNN)是一種有效的圖像識別和分類方法，它是DNN的一種特殊類型，一般包括多個卷積層。

通常但不一定在卷積層之后的激活層對層的輸入數據執行一個或多個激活函數。激活函數取單個數字并且對其執行某些非線性數學運算。在一些示例中，激活層可通過實現ReLU函數(即，f(x)＝max(0,x))充當整流線性單元(ReLU)，或者可通過實現PReLU函數充當參數化整流線性單元(PReLU)。

歸一化層被配置為對輸入數據執行歸一化函數，諸如局部響應歸一化(LRN)函數。通常但不一定插入連續卷積層之間的池化層執行池化函數諸如最大或均值函數，以匯總輸入數據的子集。因此，池化層的目的是減小表示的空間大小，以減少網絡中參數和計算的數量，并且因此也控制過度擬合。