本發明公開了一種可編程深度神經網絡處理器，包括程序控制單元、濾波器緩存區、特征圖緩存區，所述特征圖緩存區用于緩存多張特征圖，所述濾波器緩存區用于緩存與特征圖匹配的權值數據；還包括層處理引擎，所述層處理引擎的卷積單元部分包括依次設置的乘累加單元、卷積累加單元和特征圖累加單元，所述特征圖緩存區和濾波器緩存區與層處理引擎的輸入端連接，在特征圖緩存區和層處理引擎的輸入端之間還設有一數據整形及復用單元。本發明通過對乘累加單元的復用控制、特征圖數據讀取控制、特征圖累加控制、以及冗余數據剔除控制，實現了一種低功耗、低成本的可編程深度神經網絡處理器。

技術領域

本發明涉及一種深度神經網絡處理器，尤其涉及一種可編程深度神經網絡處理器。

背景技術

如今，基于深度神經網絡的人工智能已被證明在許多應用中能夠輔助甚至替代人類，如自動駕駛、圖像識別、醫療診斷、游戲、財務數據分析和搜索引擎等。這使得人工智能算法成為了研究熱門。然而，相關算法缺乏與之匹配的硬件(尤其是核心芯片)支持。傳統的CPU、GPU不是專門針對人工智能算法開發，在性能、功耗、硬件開銷等方面存在較大問題。近年來，已經出現了一些專用人工智能處理器，這些處理器主要基于FPGA(現場可編程門陣列)或ASIC(專用集成電路)平臺，如Google的TPU、MIT的Eyeriss、中科院的寒武紀等。處理器結構專門針對深度神經網絡設計和優化，在速度和功耗等方面比CPU和GPU都有一個較大的提升。

然而，前面提到的這些處理器主要針對高端應用，如數據中心、自動駕駛、智能手機等，這些應用主要關心性能，對功耗、成本不太敏感，所以沒有在功耗和成本上作進一步的優化。例如，為了提高性能，這些處理器都采用了大量的乘加運算單元(MAC)進行并行運算，帶來了極大的硬件開銷。另外，在內存讀寫方式和運算方式上存在很多冗余操作，如相同數據的重復讀取，數據精度冗余等，帶來了較大的功耗。

具體體現在：

第一：對于使用大型乘累加陣列的可編程深度卷積神經網絡處理器，當濾波器尺寸較小時，大部分乘加器將處于空閑狀態，因此硬件利用率變得非常低。盡管一些處理器能夠重新利用剩余的乘累加單元來計算輸出特征映射中的多個點或多個輸出特征圖，但是控制復雜度顯著增加，同樣增加了硬件開銷。

第二：卷積后，來自多個輸入特征圖的結果將在特征圖累加單元中進行再次累加，從而生成一張輸出特征圖。生成的輸出特征圖將繼續通過激活函數模塊和池化模塊從而完成一整層的操作。為了提高性能和硬件利用率，上述操作是流水線的。卷積和激活函數模塊易于流水線實現。但是，池化模塊需要在計算之前準備好一組點值。由于輸出特征映射中的點是以行為基礎進行計算的，如圖1，因此需要等待輸出特征映射中的多行完成。這使得流水操作變得困難，同時它也需要一個先入先出存儲器來存儲行中的所有點，這增加了硬件開銷。

第三，對于數據的存儲，由于在卷積運算中，對于輸出特征映射中的兩個相鄰點，輸入數據是重疊的。這些重疊數據可以被復用從而減少片上數據傳輸量(即從特征圖緩沖區到層處理引擎)。更多的重疊數據被復用，更少的數據將被傳輸。由于現有技術中正常的存儲方法是一條線路狀，按照從左到右、從上到下計算。這種方式導致每一簇數據間重疊的部分很少，數據無法實現重疊的最大化，不利于減少片上和片外的數據傳輸，從而降低功耗。

第四，卷積后，需要將不同輸入特征圖的輸出結果進行相加，生成如圖3所示的輸出特征圖。這通常是通過從不同的輸入特征圖中計算具有相同位置的點，并將它們加在一起來完成的，即圖4所示。在所提出的深度卷積神經網絡處理器中，只有一個卷積引擎。每次我們可以加載一個濾波器與一個輸入特征圖的相應部分，并進行點積運算。如果有N個輸入特征圖進行卷積以及相加操作，我們需要加載N個不同的濾波器來計算一個點。但是，當我們移動到下一個點時，我們將需要再次加載相同的濾波器。相同濾波器的重復加載會導致芯片上或芯片外的數據頻繁傳輸，產生較大的功耗。

第五：對于深度卷積神經網絡，乘累加操作產生了大部分功耗。減少數據位寬將有助于降低乘累加運算產生的功耗。