[發明專利]強化學習的電子突觸有效
| 申請號: | 201180063280.5 | 申請日: | 2011-10-18 |
| 公開(公告)號: | CN103282919A | 公開(公告)日: | 2013-09-04 |
| 發明(設計)人: | D·S·莫德哈;張立倫;R·K·蒙托耶 | 申請(專利權)人: | 國際商業機器公司 |
| 主分類號: | G06N3/063 | 分類號: | G06N3/063 |
| 代理公司: | 北京市中咨律師事務所 11247 | 代理人: | 于靜;張亞非 |
| 地址: | 美國*** | 國省代碼: | 美國;US |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 強化 學習 電子 突觸 | ||
1.一種系統,包含:
多個電子神經元;
交叉式數組,配置為互連所述多個電子神經元,該交叉式數組包含:
多個軸突及多個樹突,使得該軸突與該樹突彼此橫貫;以及
多個電子突觸,其中每一電子突觸位于耦合于樹突及軸突間的該交叉式數組的交叉點,每一電子突觸配置為互連前突觸電子神經元及后突觸電子神經元;
其中每一電子突觸包含:
存儲器組件,配置為存儲該電子突觸的狀態以及存儲用以更新該電子突觸的該狀態的元信息;以及
更新模塊,配置為基于該元信息更新該電子突觸的該狀態,以響應針對強化學習的更新信號。
2.如權利要求1所述的系統,其中該電子突觸能夠異步地并行操作。
3.如權利要求1或2所述的系統,其中電子突觸狀態基于延遲更新信號根據強化學習而程序化。
4.如權利要求1、2或3所述的系統,其中:
每一電子突觸的該更新模塊配置為更新該電子突觸,使得:
響應該前突觸神經元脈沖信號,該電子突觸的該狀態通過讀取信號而更新,該讀取信號經由該電子突觸而從該前突觸神經元傳送至該后突觸神經元;
響應該前突觸神經元脈沖信號以及接著響應該后突觸神經元脈沖信號,更新該電子突觸的該狀態使得該電子突觸根據學習規則而設定;以及
響應該后突觸神經元脈沖信號及接著響應該前突觸神經元脈沖信號,更新該電子突觸的該狀態,其中該電子突觸根據學習規則而重設。
5.如權利要求1、2或3所述的系統,其中:
每一電子突觸的該更新模塊配置為基于強化學習而更新該電子突觸,使得該電子突觸基于脈沖時間相依可塑性而更新以響應更新信號。
6.如任意先前權利要求所述的系統,其中每一電子突觸還包含多個軸突路徑橫貫于多個樹突路徑而形成交叉點的數組,使得該存儲器組件位于該數組的對角線的該交叉點上。
7.如任意先前權利要求所述的系統,其中每一電子突觸包含:
三個存儲器組件,配置為維持信息;以及
三個軸突路徑橫貫于三個樹突路徑而形成9個交叉點的3x3數組,使得該存儲器組件位于該數組的對角線的該交叉點上,提供R位、G位、及B位。
8.如權利要求7所述的系統,其中
該交叉式數組包含具有N2電子突觸的NxN交叉點;
每一電子突觸針對電子強化學習而配置為:
并行地讀取R行;
并行地讀取且設定G列;
并行地重設G行;
并行地讀取且設定B行;
并行地設定B列;
估計在R行及列上的一些設定位;以及
當報酬信號抵達時,提供通用值信號,且設定及重設該交叉式數組中的所有N2R位。
9.如任意先前權利要求所述的系統,其中每一電子突觸包含六端裝置,其中兩端用于讀取、兩端用于設定、以及兩端用于重設。
10.如任意先前權利要求所述的系統,其中每一電子突觸包含基于靜態隨機存取存儲器(SRAM)的存儲器組件。
11.如權利要求1至9中任意所述的系統,其中每一電子突觸包含基于動態隨機存取存儲器(DRAM)的存儲器組件。
12.如任意先前權利要求所述的系統,其中每一電子突觸配置為互連前突觸電子神經元的軸突以及后突觸電子神經元的樹突。
13.一種裝置,包含:
電子突觸,配置為互連前突觸電子神經元及后突觸電子神經元,該電子突觸包含:
存儲器組件,配置為存儲該電子突觸的狀態以及存儲用以更新該電子突觸的該狀態的元信息;以及
更新模塊,配置為基于該元信息更新該電子突觸的該狀態,以響應針對強化學習的更新信號。
14.如權利要求13所述的裝置,其中該更新模塊配置為基于該元信息更新該電子突觸的該狀態,以響應基于學習規則的針對強化學習的延遲更新信號。
15.如權利要求13或14所述的裝置,其中:
該更新模塊配置為基于電子強化學習更新該電子突觸的該狀態,使得該電子突觸基于脈沖時間相依可塑性學習規則而更新。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于國際商業機器公司,未經國際商業機器公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.17sss.com.cn/pat/books/201180063280.5/1.html,轉載請聲明來源鉆瓜專利網。





