本發(fā)明屬于突觸存儲器和神經(jīng)元狀態(tài)存儲器之間的硬件資源共享技術(shù)領(lǐng)域，涉及一種用于脈沖神經(jīng)網(wǎng)絡(luò)類腦芯片的神經(jīng)元、突觸權(quán)重和延遲實現(xiàn)架構(gòu)。

背景技術(shù)：

得益于半導(dǎo)體產(chǎn)業(yè)緊隨摩爾定律的發(fā)展，即單位芯片面積上晶體管數(shù)目每十八個月就會加倍，基于馮諾依曼體系架構(gòu)的處理芯片性能指數(shù)增長數(shù)十年。然而，集成電路發(fā)展進(jìn)入“后摩爾時代”，由于馮諾依曼體系架構(gòu)存儲與計算分離的特點，“內(nèi)存墻”與“功耗墻”效應(yīng)日趨嚴(yán)重，傳統(tǒng)以邏輯處理為主的芯片單純依靠半導(dǎo)體工藝技術(shù)進(jìn)步所提升的性能將非常有限，尋求新的架構(gòu)與方法以滿足電子產(chǎn)業(yè)對不斷提高的計算性能和極低功耗的愿景日趨強烈。

生物科學(xué)的不斷進(jìn)步特別是腦科學(xué)的發(fā)展，使科學(xué)家們發(fā)現(xiàn)人腦是一部極其高能效的計算機，且具備馮諾依曼計算體系架構(gòu)不可比擬的特征與優(yōu)勢：

1)高度的容錯性：容忍大量神經(jīng)元死亡或萎縮,即采用類腦計算芯片對導(dǎo)航數(shù)據(jù)進(jìn)行處理，在復(fù)雜環(huán)境下即使部分計算單元(神經(jīng)元)出錯，仍然可以給出準(zhǔn)確的結(jié)果。

2）模糊數(shù)據(jù)的處理能力，能夠識別高度偽裝和不同環(huán)境下的目標(biāo)。

3）高度的并行性(人腦支持1011個神經(jīng)元(neuron)并行計算)，能夠克服馮諾依曼架構(gòu)的內(nèi)存墻問題。

4）極低功耗，人腦的運算功耗才20瓦，而基于馮諾依曼體系結(jié)構(gòu)建造一個與人腦復(fù)雜程度相等的計算機，需要將近100兆瓦的能量。

5）通過與外界交互自主學(xué)習(xí)（無須顯式編程），能夠處理更加復(fù)雜模糊的不穩(wěn)定數(shù)據(jù)。

人工神經(jīng)網(wǎng)絡(luò)是一系列旨在模仿大腦結(jié)構(gòu)及其功能的信息處理系統(tǒng)。由于其并行處理、分布式信息存儲和自學(xué)習(xí)等優(yōu)秀特點，已被廣泛應(yīng)用于模式識別、自動控制、信號處理、輔助決策和人工智能等多個領(lǐng)域。脈沖神經(jīng)網(wǎng)絡(luò)(snn)被譽為第三代人工神經(jīng)網(wǎng)絡(luò)，是一種基于離散神經(jīng)脈沖處理信息的人工神經(jīng)網(wǎng)絡(luò)，其結(jié)合了脈沖延時信息，能夠更加真實的模擬生物網(wǎng)絡(luò)，而非經(jīng)典神經(jīng)網(wǎng)絡(luò)中的代數(shù)運算。當(dāng)一個突觸前（pre-synaptic）神經(jīng)元的輸入電壓達(dá)到閾值，它發(fā)出spike到軸突(axon)，并通過突觸（synapse）傳遞給突觸后（post-synaptic）神經(jīng)元的樹突(dendrite)。

類腦芯片設(shè)計的基本思想就是將脈沖神經(jīng)網(wǎng)絡(luò)(snn)應(yīng)用于計算機體系結(jié)構(gòu)設(shè)計,其具有重要的研究意義：

1)神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元既有計算功能，又有存儲功能且計算具有高并行性，在根本上解決了經(jīng)典馮諾依曼體系架構(gòu)的“內(nèi)存墻”和“能耗墻”問題，可以研制功能更加強大的應(yīng)用系統(tǒng)。

2)應(yīng)用于神經(jīng)科學(xué)研究，即在硅片上實現(xiàn)類腦計算芯片，為科學(xué)家提供更快更大規(guī)模的仿真工具，提供新的實驗手段探索大腦工作機理，用于更好地理解大腦與腦疾病，為腦神經(jīng)疾病的診斷和治療提供新方法。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的是為基于脈沖神經(jīng)網(wǎng)絡(luò)的類腦芯片實現(xiàn)提供一種高效的神經(jīng)元架構(gòu)，包括如下內(nèi)容：

本發(fā)明提出的一種脈沖神經(jīng)元實現(xiàn)架構(gòu)具體是：一個神經(jīng)元由神經(jīng)元狀態(tài)存儲器、突觸單元和計算單元三部分組成，其中計算單元可由多個神經(jīng)元共享。采用環(huán)形存儲器架構(gòu)實現(xiàn)神經(jīng)元突觸，各存儲器單元用于保存該突觸接收到的不同延時的脈沖權(quán)重之和，各存儲器單元被循環(huán)表示不同延時。

本發(fā)明還提出了一種存儲器共享機制，通過突觸環(huán)形存儲器和神經(jīng)元狀態(tài)寄存器之間存儲器資源共享，滿足不同神經(jīng)元數(shù)目和突觸延遲的需求。

所述的脈沖神經(jīng)元架構(gòu)，每一個神經(jīng)元獨立包含狀態(tài)存儲器和突觸環(huán)形存儲器，而其計算單元與其它多個神經(jīng)元共享。利用集成電路的處理頻率比生物神經(jīng)元高成百上千倍的特點，利用時分復(fù)用技術(shù)，一定數(shù)目的神經(jīng)元共享一個計算單元。在一個狀態(tài)更新周期中，計算單元按固定的順序更新各神經(jīng)元的狀態(tài)，從對應(yīng)神經(jīng)元的狀態(tài)寄存器和突觸環(huán)形存儲器中分別取出該神經(jīng)元的當(dāng)前狀態(tài)和脈沖激勵權(quán)重，計算得到新的神經(jīng)元狀態(tài)并保存回狀態(tài)寄存器，接著進(jìn)行下一個神經(jīng)元的狀態(tài)更新，直到所有共享該計算單元的神經(jīng)元完成更新。

所述的采用環(huán)形存儲器架構(gòu)實現(xiàn)神經(jīng)元突觸，環(huán)形存儲器各單元用于保存該突觸接收到的不同延遲脈沖權(quán)重之和，各存儲單元被循環(huán)表示不同脈沖延遲。在神經(jīng)計算單元對神經(jīng)元n進(jìn)行狀態(tài)更新時，神經(jīng)元n所對應(yīng)的突觸環(huán)形存儲器中所表示的延時為零的存儲單元的權(quán)值被神經(jīng)元計算取出用于神經(jīng)元狀態(tài)的更新，并將該存儲器單元中的數(shù)據(jù)清零用于保存最長延遲的脈沖權(quán)重，其余存儲器單元的延遲整體減一個時間單位。在神經(jīng)元狀態(tài)更新后，若神經(jīng)元連接權(quán)重為w1的突觸和連接權(quán)重為w2的突觸又接收到延遲分別為n和m的神經(jīng)元脈沖時，對應(yīng)延遲為n的存儲器單元中的原數(shù)據(jù)被讀回，累加脈沖權(quán)重w1后寫回原單元。對應(yīng)延遲位m的存儲器單元中的原數(shù)據(jù)被讀回，累加權(quán)重w2后寫回原單元。未收到對應(yīng)延遲的存儲器單元中的數(shù)據(jù)保持不變。這樣可以有效處理脈沖神經(jīng)網(wǎng)絡(luò)芯片中目標(biāo)神經(jīng)元同時與多個源神經(jīng)元相連時權(quán)重、延時兩種信息的處理問題。

本發(fā)明提出的一種存儲器共享機制，其通過實現(xiàn)突觸環(huán)形存儲器和神經(jīng)元狀態(tài)存儲器之間資源共享，滿足不同神經(jīng)元數(shù)目和突觸延遲的需求。每一個神經(jīng)元需要獨立的突觸存儲器和狀態(tài)存儲器，突觸環(huán)形存儲器的多少之間決定了神經(jīng)元網(wǎng)絡(luò)所能表示的延遲數(shù)目，實現(xiàn)突觸存儲器和狀態(tài)存儲器之間的共享，可以達(dá)到神經(jīng)元規(guī)模與突觸延遲粒度之間的均衡。當(dāng)一個神經(jīng)元的突觸環(huán)形存儲器為2m+1個單元的n位存儲器，狀態(tài)寄存器為一個n位存儲器，則若將一個神經(jīng)元所需的環(huán)形存儲器數(shù)目變?yōu)閙，即延遲種類變?yōu)閙以后，該神經(jīng)元可以復(fù)用為兩個神經(jīng)支持延遲位m的神經(jīng)元。

本發(fā)明的有益效果：該架構(gòu)支持神經(jīng)元狀態(tài)存儲器與突觸環(huán)形存儲器之間的分享，當(dāng)所需延遲種類較少時，突觸存儲器可以被重用為神經(jīng)元狀態(tài)存儲器，在同樣硬件資源條件下，顯著擴(kuò)大神經(jīng)元規(guī)模。

附圖說明

圖1神經(jīng)元架構(gòu)圖；

圖2（a）和圖2（b）為突觸單元的實施例；

圖3（a）和圖3（b）為突觸單元延遲存儲器與神經(jīng)元狀態(tài)存儲器共享機制。

具體實施方式

以下結(jié)合附圖和實施例對本發(fā)明作進(jìn)一步說明。

請參照圖1所示，為本發(fā)明實現(xiàn)的神經(jīng)元架構(gòu)的一個例子示意圖，該神經(jīng)元陣列由一個計算單元，256個突觸單元和256個神經(jīng)元狀態(tài)存儲器組成，用戶可以根據(jù)需求定義神經(jīng)元復(fù)用數(shù)目，最多可以實現(xiàn)256個神經(jīng)元。如圖1步驟①所示，在一個狀態(tài)更新周期中，時分復(fù)用控制單元按固定的順序給出目前更新的神經(jīng)元序號；如圖1步驟②所示，神經(jīng)計算單元從神經(jīng)元序號對應(yīng)的狀態(tài)寄存器取回前一時刻神經(jīng)元狀態(tài)；如圖1步驟③所示，神經(jīng)元從神經(jīng)元序號對應(yīng)的突觸權(quán)重存儲器中取回當(dāng)前時刻輸入該神經(jīng)元的刺激權(quán)重；如圖1步驟④所示，神經(jīng)元計算單元計算得到神經(jīng)元序號所對應(yīng)的神經(jīng)元新的狀態(tài)；如圖1步驟⑤所示，新的神經(jīng)元狀態(tài)被寫回神經(jīng)元序號所對應(yīng)的狀態(tài)存儲器。時分復(fù)用控制單元增加神經(jīng)元序號，并判斷是否更新當(dāng)前配置下的所有神經(jīng)元狀態(tài)，如果沒有重復(fù)步驟①到⑤，直到復(fù)用該神經(jīng)計算單元的所有神經(jīng)元狀態(tài)被更新。

上述實施例中一個神經(jīng)元陣列由神經(jīng)元計算單元、突觸單元和神經(jīng)元狀態(tài)寄存器組成，除了神經(jīng)計算單元由多個神經(jīng)元共享以外，每一個神經(jīng)元需要獨立的突觸單元和狀態(tài)單元。

本發(fā)明中的突出單元實現(xiàn)實施方式如圖2所示。突觸單元用于其它神經(jīng)元與當(dāng)前神經(jīng)元的連接，有兩個表示連接的重要參數(shù)是權(quán)重和時延，權(quán)重表示兩個神經(jīng)元之間的耦合程度，延遲表示前一神經(jīng)元產(chǎn)生脈沖傳到當(dāng)前神經(jīng)元的時間。如圖2（a）所示為一個能夠表示16種不同延時的突觸實現(xiàn)方式，由16個位寬為32位的存儲單元組成，每一個存儲器單元用于保存不同時延后到達(dá)神經(jīng)元的脈沖權(quán)重之和，例如位于存儲單元15的脈沖權(quán)重將在15個時間單元以后傳輸給神經(jīng)元計算單元；如果當(dāng)前時刻收到時延為k的神經(jīng)脈沖，則時延單元k中的值被讀回，并與當(dāng)前收到的脈沖的連接所對應(yīng)的權(quán)重相加以后，寫回時延k單元；當(dāng)當(dāng)前時刻結(jié)束以后，所有單元所表的時延減1。本發(fā)明突觸單元的具體實現(xiàn)方式如圖2（b）所示，采用一種環(huán)形存儲器架構(gòu)，指針?biāo)鶎?yīng)的地址表示時延為0的存儲單元，離指針越遠(yuǎn)的存儲器單元所表示的時延越大，神經(jīng)元完成當(dāng)前時刻的狀態(tài)更新，指針移動到下一個存儲單元。

本發(fā)明的神經(jīng)突觸單元存儲器和神經(jīng)元狀態(tài)寄存器共享機制的一種實施方案如圖3所示。如圖3(a)所示，一個神經(jīng)計算單元被256個神經(jīng)元共享，支持15種不同的時延，因此每一個神經(jīng)元需要15個突觸時延存儲單元和1個神經(jīng)元狀態(tài)存儲單元，整個神經(jīng)元陣列有256x16個存儲器單元，其中突觸延遲存儲器單元256x15,狀態(tài)寄存器256x1。如圖3(b),若將突觸延遲減為7個試驗單元，則該神經(jīng)元陣列可時分復(fù)用成512個神經(jīng)元，其中突觸延遲存儲器總量512x7,狀態(tài)存儲器總量512x1,兩者所消耗的存儲器總量與圖3(a)相同。

以上所述為本發(fā)明的較佳實例而已，并不用以限制本發(fā)明，凡在本發(fā)明之精神和原則之內(nèi)所做的任何修改、等同替換和改進(jìn)等、均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。