本發(fā)明公開(kāi)一種硬件脈沖神經(jīng)網(wǎng)絡(luò)系統(tǒng)，包括：輸入節(jié)點(diǎn)層和非監(jiān)督制學(xué)習(xí)層采用神經(jīng)元全連接方式通過(guò)突觸連接單元連接，非監(jiān)督制學(xué)習(xí)層和監(jiān)督制學(xué)習(xí)層采用神經(jīng)元全連接方式通過(guò)另一個(gè)突觸連接單元連接；輸入節(jié)點(diǎn)層實(shí)現(xiàn)不同編碼方式下的信息輸入，非監(jiān)督制學(xué)習(xí)層采用非監(jiān)督制學(xué)習(xí)方式，監(jiān)督制學(xué)習(xí)層采用監(jiān)督制學(xué)習(xí)方式；突觸連接單元由電子突觸器件實(shí)現(xiàn)，以使得突觸連接單元具備脈沖時(shí)序依賴可塑性STDP，突觸陣列單元接收來(lái)自前一層神經(jīng)元攜帶信息的刺激信號(hào)作為突觸前脈沖，結(jié)合后一層神經(jīng)元所激發(fā)的動(dòng)作電位脈沖作為突觸后脈沖，突觸前脈沖和突觸后脈沖的時(shí)間差決定突觸連接單元的突觸權(quán)重調(diào)節(jié)量。本發(fā)明提供的神經(jīng)網(wǎng)絡(luò)系統(tǒng)具有廣闊應(yīng)用價(jià)值。

技術(shù)領(lǐng)域

本發(fā)明涉及人工神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，更具體地，涉及一種硬件脈沖神經(jīng)網(wǎng)絡(luò)系統(tǒng)。

背景技術(shù)

在大數(shù)據(jù)時(shí)代背景下，傳統(tǒng)數(shù)據(jù)處理方法中存儲(chǔ)器與處理器相分離的架構(gòu)帶來(lái)了馮·諾依曼瓶頸問(wèn)題，這種處理方法已經(jīng)逐漸無(wú)法滿足人們?nèi)找嬖鲩L(zhǎng)的數(shù)據(jù)處理需求。而人腦神經(jīng)系統(tǒng)的信息活動(dòng)具有大規(guī)模并行、分布式存儲(chǔ)與處理、自組織、自適應(yīng)和自學(xué)習(xí)的特征，數(shù)據(jù)存儲(chǔ)與處理沒(méi)有明顯的界限，人工智能就是研究、開(kāi)發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)，對(duì)人的意識(shí)、思維的信息過(guò)程的模擬，在當(dāng)今時(shí)代背景下具有巨大潛力。

神經(jīng)網(wǎng)絡(luò)是人工智能極其重要的底層模型，啟發(fā)于人類中樞神經(jīng)系統(tǒng)，可以集體地、并行地計(jì)算。從二十世紀(jì)四十年代赫布型學(xué)習(xí)被提出開(kāi)始發(fā)展至今，神經(jīng)網(wǎng)絡(luò)理論已經(jīng)非常成熟。從第一代神經(jīng)網(wǎng)絡(luò)，即感知器模型，作為一個(gè)簡(jiǎn)單的神經(jīng)元模型，只能處理二進(jìn)制數(shù)據(jù)；到第二代神經(jīng)網(wǎng)絡(luò)，即目前應(yīng)用廣泛的人工神經(jīng)網(wǎng)絡(luò)，通常以全連接形式，接收連續(xù)的值，輸出連續(xù)的值，它們已經(jīng)在當(dāng)前很多領(lǐng)域?qū)崿F(xiàn)了突破，但是在生物學(xué)角度它們是不精確的，沒(méi)有準(zhǔn)確模仿大腦神經(jīng)元的運(yùn)作機(jī)制；因而第三代神經(jīng)網(wǎng)絡(luò)，即脈沖神經(jīng)網(wǎng)絡(luò)被提出，成為研究熱點(diǎn)。脈沖神經(jīng)網(wǎng)絡(luò)中模擬神經(jīng)元更加接近實(shí)際，神經(jīng)元只有在膜電位達(dá)到閾值時(shí)才會(huì)激活，不同于第二代神經(jīng)網(wǎng)絡(luò)中大部分神經(jīng)元在每一次信息傳輸中都會(huì)被激活，并且脈沖神經(jīng)網(wǎng)絡(luò)考慮脈沖產(chǎn)生時(shí)間，增強(qiáng)了處理時(shí)空數(shù)據(jù)的能力，將在二進(jìn)制編碼中丟失的信息在脈沖的時(shí)間信息里重新獲取，理論上比第二代神經(jīng)網(wǎng)絡(luò)更強(qiáng)大。但目前對(duì)于脈沖神經(jīng)網(wǎng)絡(luò)暫時(shí)并沒(méi)有找到完美的訓(xùn)練方法，還沒(méi)有第二代神經(jīng)網(wǎng)絡(luò)發(fā)展得成熟和充分。

目前，神經(jīng)網(wǎng)絡(luò)的具體實(shí)現(xiàn)包括軟件和硬件兩個(gè)方面。對(duì)于神經(jīng)網(wǎng)絡(luò)的軟件實(shí)現(xiàn)方面，由于現(xiàn)有計(jì)算機(jī)系統(tǒng)的馮·諾伊曼瓶頸問(wèn)題，即使神經(jīng)網(wǎng)絡(luò)本身具有分布式、并行式等計(jì)算特點(diǎn)，但依托于傳統(tǒng)計(jì)算機(jī)的軟件模擬在大數(shù)據(jù)計(jì)算時(shí)仍然會(huì)被限制其運(yùn)算速度，且功耗極大。因而神經(jīng)網(wǎng)絡(luò)的硬件化實(shí)現(xiàn)是當(dāng)前從根本上解決馮·諾伊曼瓶頸問(wèn)題的重要路線。如美國(guó)DARPA資助IBM、HP、HRL公司聯(lián)合密歇根大學(xué)、斯坦福大學(xué)等研究機(jī)構(gòu)開(kāi)展的“突觸計(jì)劃”(SYNAPSE Project，神經(jīng)形態(tài)可擴(kuò)展的自適應(yīng)可塑性電子系統(tǒng))等都展現(xiàn)了國(guó)際上對(duì)于神經(jīng)網(wǎng)絡(luò)硬件化實(shí)現(xiàn)的關(guān)注與投入。然而，以IBM的TrueNorth芯片為例，目前很多神經(jīng)形態(tài)芯片的出現(xiàn)都是基于傳統(tǒng)金屬-氧化物-半導(dǎo)體(Metal-Oxide-Semiconductor，CMOS)晶體管。在神經(jīng)系統(tǒng)中，突觸數(shù)量遠(yuǎn)遠(yuǎn)超過(guò)神經(jīng)元數(shù)目，大量傳統(tǒng)CMOS晶體管的突觸電路會(huì)消耗大量面積和功耗，新型電子突觸器件的研發(fā)因而成為一種迫切需求。