本申請?zhí)峁┝艘环N用于神經(jīng)網(wǎng)絡(luò)計算的計算設(shè)備和計算方法，該計算設(shè)備包括：第一計算單元，用于對輸入的第一矩陣執(zhí)行M次第一操作，得到第二矩陣；第二計算單元，用于對輸入的第二矩陣執(zhí)行第二操作；控制單元，用于控制第一計算單元對第一矩陣執(zhí)行M次第一操作中的第i次第一操作，得到第二矩陣的第i個數(shù)據(jù)元素；將第二矩陣的第i個數(shù)據(jù)元素存入第一存儲單元中；如果第一存儲單元當(dāng)前存儲的數(shù)據(jù)元素能夠用于執(zhí)行一次第二操作，控制第二計算單元執(zhí)行一次第二操作。本申請?zhí)峁┑挠嬎阍O(shè)備和計算方法能夠降低用于神經(jīng)網(wǎng)絡(luò)計算的計算設(shè)備的存儲開銷。

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)處理領(lǐng)域，并且更具體地，涉及一種用于神經(jīng)網(wǎng)絡(luò)計算的計算設(shè)備和計算方法。

背景技術(shù)

神經(jīng)網(wǎng)絡(luò)(如深度神經(jīng)網(wǎng)絡(luò))在計算機視覺、自然語言處理、大數(shù)據(jù)挖掘等領(lǐng)域得到廣泛應(yīng)用。神經(jīng)網(wǎng)絡(luò)計算具有如下兩個典型特點：

1)計算密集

神經(jīng)網(wǎng)絡(luò)主要進行的運算為多維矩陣乘法，其計算復(fù)雜度一般為O(N³)。例如，22層的googlenet一般需要6GFLOPS(Floating-point Operations Per Second，每秒所執(zhí)行的浮點運算)的計算量。

2)訪存密集

神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程一般需要海量的數(shù)據(jù)，訓(xùn)練過程需要大量的存儲空間用于緩存神經(jīng)元的連接權(quán)重以及各神經(jīng)網(wǎng)絡(luò)層計算得到的中間數(shù)據(jù)。

現(xiàn)有技術(shù)存在各式各樣的專門用于神經(jīng)網(wǎng)絡(luò)計算的計算設(shè)備，如基于邏輯計算電路的計算設(shè)備或基于交叉陣列的計算設(shè)備。但是，現(xiàn)有技術(shù)中的用于神經(jīng)網(wǎng)絡(luò)計算的計算設(shè)備均需要大量的存儲資源以存儲各神經(jīng)網(wǎng)絡(luò)層運算得到的中間數(shù)據(jù)，對計算設(shè)備的存儲容量要求較高，存儲開銷大。

發(fā)明內(nèi)容

本申請?zhí)峁┮环N用于神經(jīng)網(wǎng)絡(luò)計算的計算設(shè)備和計算方法，以降低用于神經(jīng)網(wǎng)絡(luò)計算的計算設(shè)備的存儲開銷。

第一方面，提供一種用于神經(jīng)網(wǎng)絡(luò)計算的計算設(shè)備，所述神經(jīng)網(wǎng)絡(luò)包括第K神經(jīng)網(wǎng)絡(luò)層和第K+1神經(jīng)網(wǎng)絡(luò)層，所述第K神經(jīng)網(wǎng)絡(luò)層執(zhí)行的操作包括第一操作，所述第K+1神經(jīng)網(wǎng)絡(luò)層執(zhí)行的操作包括第二操作，其中K為不小于1的正整數(shù)，所述計算設(shè)備包括：第一計算單元，用于對輸入的第一矩陣執(zhí)行M次所述第一操作，得到第二矩陣，M為不小于1的正整數(shù)；第二計算單元，用于對輸入的所述第二矩陣執(zhí)行所述第二操作；控制單元，用于：控制所述第一計算單元對所述第一矩陣執(zhí)行所述M次第一操作中的第i次第一操作，得到所述第二矩陣的第i個數(shù)據(jù)元素，1≤i≤M；將所述第二矩陣的第i個數(shù)據(jù)元素存入第一存儲單元中；如果所述第一存儲單元當(dāng)前存儲的數(shù)據(jù)元素能夠用于執(zhí)行一次第二操作，控制所述第二計算單元執(zhí)行一次第二操作；其中，所述第一操作為卷積操作，所述第二操作為卷積操作或池化操作，或所述第一操作為池化操作，所述第二操作為卷積操作。

現(xiàn)有技術(shù)中，在第K神經(jīng)網(wǎng)絡(luò)層完成計算之后，第K+1神經(jīng)網(wǎng)絡(luò)層才會開始計算，因此，計算設(shè)備需要存儲第K神經(jīng)網(wǎng)絡(luò)層的全部計算結(jié)果，導(dǎo)致計算設(shè)備的存儲開銷大。本方案中，在第K神經(jīng)網(wǎng)絡(luò)層還未完成對輸入矩陣的第一操作之前，如果第一存儲單元已經(jīng)存儲了足夠執(zhí)行一次第二操作所需的數(shù)據(jù)元素，則可以控制第二計算單元執(zhí)行一次第二操作。換句話說，本方案不要求第K神經(jīng)網(wǎng)絡(luò)層計算完成之后，再進行第K+1神經(jīng)網(wǎng)絡(luò)層的計算，一旦第一存儲單元存儲了能夠用于執(zhí)行一次第二操作所需的數(shù)據(jù)元素，就可以通過層間的流水控制機制，控制第K+1神經(jīng)網(wǎng)絡(luò)層執(zhí)行一次第二操作，這樣能夠提高神經(jīng)網(wǎng)絡(luò)計算的效率。

進一步地，由于本方案在第K神經(jīng)網(wǎng)絡(luò)層計算完成之前，就會觸發(fā)第K+1神經(jīng)網(wǎng)絡(luò)層進行計算，意味著第一存儲單元無需同時存儲第K神經(jīng)網(wǎng)絡(luò)層計算得到的的全部中間數(shù)據(jù)，僅需要存儲第K神經(jīng)網(wǎng)絡(luò)層和第K+1神經(jīng)網(wǎng)絡(luò)層之間的部分中間數(shù)據(jù)，可以降低數(shù)據(jù)的存儲開銷。