本發(fā)明涉及人工神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域,特別是涉及神經(jīng)元權(quán)重信息處理方法和系統(tǒng)。
背景技術(shù):
如今的人工神經(jīng)網(wǎng)絡(luò)研究絕大多數(shù)仍是在馮·諾依曼計算機(jī)軟件并搭配高性能GPGPU(General Purpose Graphic Processing Units通用圖形處理單元)平臺中實(shí)現(xiàn)的,整個過程的硬件開銷、能耗和信息處理速度都不容樂觀。為此,近幾年神經(jīng)形態(tài)計算領(lǐng)域迅猛發(fā)展,即采用硬件電路直接構(gòu)建神經(jīng)網(wǎng)絡(luò)從而模擬大腦的功能,試圖實(shí)現(xiàn)大規(guī)模并行、低能耗、可支撐復(fù)雜模式學(xué)習(xí)的計算平臺。
然而,傳統(tǒng)的神經(jīng)形態(tài)系統(tǒng)中,將神經(jīng)網(wǎng)絡(luò)中各神經(jīng)元之間的連接和權(quán)重信息進(jìn)行綁定時,每一個神經(jīng)元之間的連接都需要傳遞相應(yīng)的權(quán)重信息,占據(jù)了較多的硬件處理資源,硬件對于網(wǎng)絡(luò)性能的約束很大,并且權(quán)重信息降低了神經(jīng)元的處理能力,限制了神經(jīng)元的靈活性,不適合通用的神經(jīng)網(wǎng)絡(luò)的硬件框架。
技術(shù)實(shí)現(xiàn)要素:
基于此,有必要針對神經(jīng)元與權(quán)重信息一一對應(yīng)配置并傳遞,降低了神經(jīng)元信息處理能力的問題,提供一種神經(jīng)元權(quán)重信息處理方法和系統(tǒng),所述方法包括:
接收前端神經(jīng)元的神經(jīng)元輸出信息,以及與所述神經(jīng)元輸出信息對應(yīng)的權(quán)重索引;
根據(jù)所述權(quán)重索引,讀取權(quán)重索引信息對應(yīng)關(guān)系,獲取權(quán)重信息,所述權(quán)重索引信息對應(yīng)關(guān)系為權(quán)重索引和權(quán)重信息之間的對應(yīng)關(guān)系;
根據(jù)所述權(quán)重信息和所述神經(jīng)元輸出信息,獲取所述前端神經(jīng)元的輸入信息。
在其中一個實(shí)施例中,所述前端神經(jīng)元,包括人工神經(jīng)元或脈沖神經(jīng)元。
在其中一個實(shí)施例中,所述權(quán)重索引,包括與所述權(quán)重索引對應(yīng)的權(quán)重信息的存儲地址。
在其中一個實(shí)施例中,所述接收前端神經(jīng)元的神經(jīng)元輸出信息,以及與所述神經(jīng)元輸出信息對應(yīng)的權(quán)重索引,包括:
接收前端神經(jīng)元輸出的路由信息,所述路由信息包括前端神經(jīng)元輸出的神經(jīng)元輸出信息,以及與所述神經(jīng)元輸出信息對應(yīng)的權(quán)重索引;
解析所述路由信息,獲取所述神經(jīng)元輸出信息和所述權(quán)重索引。
在其中一個實(shí)施例中,所述權(quán)重信息,包括:
根據(jù)預(yù)設(shè)的權(quán)重取值范圍和初始權(quán)重信息,利用權(quán)重約化算法計算出的所述權(quán)重信息。
在其中一個實(shí)施例中,在根據(jù)所述權(quán)重信息和所述神經(jīng)元輸出信息,獲取所述前端神經(jīng)元的輸入信息的步驟之后,所述方法還包括:
根據(jù)所述前端神經(jīng)元的輸入信息和讀取的當(dāng)前神經(jīng)元信息,根據(jù)神經(jīng)元輸出算法,計算當(dāng)前神經(jīng)元輸出信息;
確定所述當(dāng)前神經(jīng)元輸出信息的目的信息,并根據(jù)所述目的信息查找目的索引對應(yīng)關(guān)系,獲取所述目的信息的權(quán)重索引,所述目的索引對應(yīng)關(guān)系包括目的信息和權(quán)重索引之間的對應(yīng)關(guān)系;
輸出所述當(dāng)前神經(jīng)元輸出信息和所述權(quán)重索引。
在其中一個實(shí)施例中,當(dāng)前神經(jīng)元接收的前端神經(jīng)元的輸出信息中,攜帶前端神經(jīng)元與當(dāng)前神經(jīng)元之間的權(quán)重信息的權(quán)重索引,當(dāng)前神經(jīng)元根據(jù)接收到的權(quán)重索引信息讀取權(quán)重信息后,根據(jù)不同的神經(jīng)元模型進(jìn)行相應(yīng)的運(yùn)算處理,獲取前端神經(jīng)元的輸入信息。神經(jīng)元之間不再將權(quán)重信息直接傳遞,而是將權(quán)重信息的索引進(jìn)行傳遞,不但節(jié)省了網(wǎng)絡(luò)之間的傳遞信息量,并且可以更加靈活的改變各個神經(jīng)元的權(quán)重信息的設(shè)置,提高了神經(jīng)元網(wǎng)絡(luò)的信息處理能力。
在其中一個實(shí)施例中,權(quán)重索引的使用,不但適用于人工神經(jīng)網(wǎng)絡(luò),也適用于脈沖神經(jīng)網(wǎng)絡(luò),提高了人工神經(jīng)網(wǎng)絡(luò)和脈沖神經(jīng)網(wǎng)絡(luò)的信息處理能力。
在其中一個實(shí)施例中,采用權(quán)重信息的存儲地址作為其索引信息,可以使接收到索引信息的神經(jīng)元直接利用存儲地址信息查詢到權(quán)重信息,提高權(quán)重信息的提取效率,進(jìn)而提高整個神經(jīng)元網(wǎng)絡(luò)的信息處理效率。
在其中一個實(shí)施例中,將權(quán)重索引和神經(jīng)元輸出信息,設(shè)置于路由信息中進(jìn)行傳送,充分利用了現(xiàn)有的路由數(shù)據(jù),提高了神經(jīng)元之間的信息使用效率。
在其中一個實(shí)施例中,根據(jù)預(yù)設(shè)的權(quán)重取值范圍,利用權(quán)重約化算法計算出的權(quán)重信息,其權(quán)重值在預(yù)設(shè)的取值范圍之內(nèi),且為預(yù)設(shè)的取值范圍的有限個離散值,減少了用于存儲權(quán)重信息的硬件的存儲空間,并且保持了權(quán)重信息的精度。
在其中一個實(shí)施例中,當(dāng)前神經(jīng)元計算出當(dāng)前神經(jīng)元的輸出信息后,根據(jù)輸出信息的目的神經(jīng)元,查找對應(yīng)的權(quán)重索引后,輸出所述當(dāng)前神經(jīng)元輸出信息和所述權(quán)重索引。當(dāng)前神經(jīng)元將權(quán)重索引發(fā)送至后端的神經(jīng)元,將權(quán)重索引信息在神經(jīng)網(wǎng)絡(luò)中進(jìn)行了完整的傳遞,提高了神經(jīng)網(wǎng)絡(luò)的信息處理能力。
本發(fā)明還提供一種神經(jīng)元權(quán)重信息處理系統(tǒng),包括:
前端神經(jīng)元輸出信息接收模塊,用于接收前端神經(jīng)元的神經(jīng)元輸出信息,以及與所述神經(jīng)元輸出信息對應(yīng)的權(quán)重索引;
權(quán)重信息獲取模塊,用于根據(jù)所述權(quán)重索引,讀取權(quán)重索引信息對應(yīng)關(guān)系,獲取權(quán)重信息,所述權(quán)重索引信息對應(yīng)關(guān)系為權(quán)重索引和權(quán)重信息之間的對應(yīng)關(guān)系;
前端神經(jīng)元輸入信息獲取模塊,用于根據(jù)所述權(quán)重信息和所述神經(jīng)元輸出信息,獲取所述前端神經(jīng)元的輸入信息。
在其中一個實(shí)施例中,所述前端神經(jīng)元,包括人工神經(jīng)元或脈沖神經(jīng)元。
在其中一個實(shí)施例中,所述權(quán)重索引,包括與所述權(quán)重索引對應(yīng)的權(quán)重信息的存儲地址。
在其中一個實(shí)施例中,所述前端神經(jīng)元輸出信息接收模塊,包括:
路由信息接收單元,用于接收前端神經(jīng)元輸出的路由信息,所述路由信息包括前端神經(jīng)元輸出的神經(jīng)元輸出信息,以及與所述神經(jīng)元輸出信息對應(yīng)的權(quán)重索引;
路由信息解析單元,用于解析所述路由信息,獲取所述神經(jīng)元輸出信息和所述權(quán)重索引。
在其中一個實(shí)施例中,所述權(quán)重信息,包括:
根據(jù)預(yù)設(shè)的權(quán)重取值范圍和初始權(quán)重信息,利用權(quán)重約化算法計算出的所述權(quán)重信息。
在其中一個實(shí)施例中,還包括:
當(dāng)前神經(jīng)元輸出信息獲取模塊,用于根據(jù)所述前端神經(jīng)元的輸入信息和讀取的當(dāng)前神經(jīng)元信息,根據(jù)神經(jīng)元輸出算法,計算當(dāng)前神經(jīng)元輸出信息;
權(quán)重索引確定模塊,用于確定所述當(dāng)前神經(jīng)元輸出信息的目的信息,并根據(jù)所述目的信息查找目的索引對應(yīng)關(guān)系,獲取所述目的信息的權(quán)重索引,所述目的索引對應(yīng)關(guān)系包括目的信息和權(quán)重索引之間的對應(yīng)關(guān)系;
權(quán)重索引發(fā)送模塊,用于輸出所述當(dāng)前神經(jīng)元輸出信息和所述權(quán)重索引。
在其中一個實(shí)施例中,當(dāng)前神經(jīng)元接收的前端神經(jīng)元的輸出信息中,攜帶前端神經(jīng)元與當(dāng)前神經(jīng)元之間的權(quán)重信息的權(quán)重索引,當(dāng)前神經(jīng)元根據(jù)接收到的權(quán)重索引信息讀取權(quán)重信息后,根據(jù)不同的神經(jīng)元模型進(jìn)行相應(yīng)的運(yùn)算處理,獲取前端神經(jīng)元的輸入信息。神經(jīng)元之間不再將權(quán)重信息直接傳遞,而是將權(quán)重信息的索引進(jìn)行傳遞,不但節(jié)省了網(wǎng)絡(luò)之間的傳遞信息量,并且可以更加靈活的改變各個神經(jīng)元的權(quán)重信息的設(shè)置,提高了神經(jīng)元網(wǎng)絡(luò)的信息處理能力。
在其中一個實(shí)施例中,權(quán)重索引的使用,不但適用于人工神經(jīng)網(wǎng)絡(luò),也適用于脈沖神經(jīng)網(wǎng)絡(luò),提高了人工神經(jīng)網(wǎng)絡(luò)和脈沖神經(jīng)網(wǎng)絡(luò)的信息處理能力。
在其中一個實(shí)施例中,采用權(quán)重信息的存儲地址作為其索引信息,可以使接收到索引信息的神經(jīng)元直接利用存儲地址信息查詢到權(quán)重信息,提高權(quán)重信息的提取效率,進(jìn)而提高整個神經(jīng)元網(wǎng)絡(luò)的信息處理效率。
在其中一個實(shí)施例中,將權(quán)重索引和神經(jīng)元輸出信息,設(shè)置于路由信息中進(jìn)行傳送,充分利用了現(xiàn)有的路由數(shù)據(jù),提高了神經(jīng)元之間的信息使用效率。
在其中一個實(shí)施例中,根據(jù)預(yù)設(shè)的權(quán)重取值范圍,利用權(quán)重約化算法計算出的權(quán)重信息,其權(quán)重值在預(yù)設(shè)的取值范圍之內(nèi),減少了用于存儲權(quán)重信息的硬件的存儲空間,并且保持了權(quán)重信息的精度。
在其中一個實(shí)施例中,當(dāng)前神經(jīng)元計算出用于輸出的當(dāng)前神經(jīng)元的輸出信息后,根據(jù)輸出信息的目的神經(jīng)元,查找對應(yīng)的權(quán)重索引后,輸出所述當(dāng)前神經(jīng)元輸出信息和所述權(quán)重索引。當(dāng)前神經(jīng)元將權(quán)重索引發(fā)送至后端的神經(jīng)元,將權(quán)重索引信息在神經(jīng)網(wǎng)絡(luò)中進(jìn)行了完整的傳遞,提高了神經(jīng)網(wǎng)絡(luò)的信息處理能力。
附圖說明
圖1為一個實(shí)施例的神經(jīng)元權(quán)重信息處理方法的流程示意圖;
圖2為另一個實(shí)施例的神經(jīng)元權(quán)重信息處理方法的流程示意圖;
圖3為一個實(shí)施例的神經(jīng)元權(quán)重信息處理系統(tǒng)的結(jié)構(gòu)示意圖;
圖4為另一個實(shí)施例的神經(jīng)元權(quán)重信息處理系統(tǒng)的結(jié)構(gòu)示意圖。
具體實(shí)施方式
為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白,以下結(jié)合附圖及實(shí)施例對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解,此處所描述的具體實(shí)施例僅用以解釋本發(fā)明,并不用于限定本發(fā)明。
圖1為一個實(shí)施例的神經(jīng)元權(quán)重信息處理方法的流程示意圖,如圖1所示的神經(jīng)元權(quán)重信息處理方法包括:
步驟S100,接收前端神經(jīng)元的神經(jīng)元輸出信息,以及與所述神經(jīng)元輸出信息對應(yīng)的權(quán)重索引。
具體的,所述前端神經(jīng)元的神經(jīng)元輸出信息,是前端神經(jīng)元計算得出的輸出信息;所述權(quán)重索引,是用于當(dāng)前神經(jīng)元檢索到與前端神經(jīng)元輸出信息對應(yīng)的權(quán)重信息的索引信息。
采用權(quán)重索引的方式,可以在信息的傳遞過程中,占用更小的信息傳遞空間,不但降低了硬件的處理需求,并且只需要改變索引信息,就能夠更加靈活的方便的對權(quán)重信息的變化進(jìn)行更新,使得神經(jīng)網(wǎng)絡(luò)中權(quán)重信息的更新更加方便。
步驟S200,根據(jù)所述權(quán)重索引,讀取權(quán)重索引信息對應(yīng)關(guān)系,獲取權(quán)重信息,所述權(quán)重索引信息對應(yīng)關(guān)系為權(quán)重索引和權(quán)重信息之間的對應(yīng)關(guān)系。
具體的,所述權(quán)重索引信息對應(yīng)關(guān)系,可以存儲在當(dāng)前神經(jīng)元本地,也可以存儲在神經(jīng)網(wǎng)絡(luò)中的其它位置,只要當(dāng)前神經(jīng)元能夠讀取到即可。
步驟S300,根據(jù)所述權(quán)重信息和所述神經(jīng)元輸出信息,獲取所述前端神經(jīng)元的輸入信息。
具體的,將所述讀取到的權(quán)重信息,根據(jù)不同的神經(jīng)元模型進(jìn)行相應(yīng)的運(yùn)算處理,獲取前端神經(jīng)元的輸入信息。
在本實(shí)施例中,當(dāng)前神經(jīng)元接收的前端神經(jīng)元的輸出信息中,攜帶前端神經(jīng)元與當(dāng)前神經(jīng)元之間的權(quán)重信息的權(quán)重索引,當(dāng)前神經(jīng)元根據(jù)接收到的權(quán)重索引信息讀取權(quán)重信息后,根據(jù)不同的神經(jīng)元模型進(jìn)行相應(yīng)的運(yùn)算處理,獲取前端神經(jīng)元的輸入信息。神經(jīng)元之間不再將權(quán)重信息直接傳遞,而是將權(quán)重信息的索引進(jìn)行傳遞,不但節(jié)省了網(wǎng)絡(luò)之間的傳遞信息量,并且可以更加靈活的改變各個神經(jīng)元的權(quán)重信息的設(shè)置,提高了神經(jīng)元網(wǎng)絡(luò)的信息處理能力。
在其中一個實(shí)施例中,所述前端神經(jīng)元,包括人工神經(jīng)元或脈沖神經(jīng)元,即,前端神經(jīng)元和當(dāng)前神經(jīng)元,可以為人工神經(jīng)元或脈沖神經(jīng)元,即人工神經(jīng)元網(wǎng)絡(luò)或脈沖神經(jīng)元網(wǎng)絡(luò),均可以在權(quán)重信息的傳遞中,采用權(quán)重索引的方式。
具體的,當(dāng)所述神經(jīng)元為人工神經(jīng)元時,所述接收前端神經(jīng)元的神經(jīng)元輸出信息,以及與所述神經(jīng)元輸出信息對應(yīng)的權(quán)重索引,包括:前端人工神經(jīng)元輸出的膜電位信息、前端人工神經(jīng)元與當(dāng)前人工神經(jīng)元的連接權(quán)重索引;所述根據(jù)所述權(quán)重索引,讀取權(quán)重索引信息對應(yīng)關(guān)系,獲取權(quán)重信息,包括:根據(jù)所述前端人工神經(jīng)元與當(dāng)前人工神經(jīng)元的連接權(quán)重索引,讀取前端人工神經(jīng)元與當(dāng)前人工神經(jīng)元的連接權(quán)重。
當(dāng)所述神經(jīng)元為脈沖神經(jīng)元時,所述接收前端神經(jīng)元的神經(jīng)元輸出信息,以及與所述神經(jīng)元輸出信息對應(yīng)的權(quán)重索引,包括:前端脈沖神經(jīng)元輸出的脈沖尖端信息、前端脈沖神經(jīng)元與當(dāng)前脈沖神經(jīng)元的連接權(quán)重索引;根據(jù)所述權(quán)重索引,讀取權(quán)重索引信息對應(yīng)關(guān)系,獲取權(quán)重信息,包括:根據(jù)所述前端脈沖神經(jīng)元與當(dāng)前脈沖神經(jīng)元的連接權(quán)重索引,讀取前端脈沖神經(jīng)元與當(dāng)前脈沖神經(jīng)元的連接權(quán)重。
在本實(shí)施例中,權(quán)重索引的使用,不但適用于人工神經(jīng)網(wǎng)絡(luò),也適用于脈沖神經(jīng)網(wǎng)絡(luò),提高了人工神經(jīng)網(wǎng)絡(luò)和脈沖神經(jīng)網(wǎng)絡(luò)的信息處理能力。
在其中一個實(shí)施例中,所述權(quán)重索引,包括與所述權(quán)重索引對應(yīng)的權(quán)重信息的存儲地址。
具體的,除權(quán)重信息的存儲地址外,也可以采用權(quán)重信息的編號等作為權(quán)重索引,或根據(jù)實(shí)際需求,采用其它方式對權(quán)重信息進(jìn)行索引信息的獲取后,用做權(quán)重信息的索引信息。
在本實(shí)施例中,采用權(quán)重信息的存儲地址作為其索引信息,可以使接收到索引信息的神經(jīng)元直接利用存儲地址信息查詢到權(quán)重信息,提高權(quán)重信息的提取效率,進(jìn)而提高整個神經(jīng)元網(wǎng)絡(luò)的信息處理效率。
在其中一個實(shí)施例中,所述接收前端神經(jīng)元的神經(jīng)元輸出信息,以及與所述神經(jīng)元輸出信息對應(yīng)的權(quán)重索引,包括:接收前端神經(jīng)元輸出的路由信息,所述路由信息包括前端神經(jīng)元輸出的神經(jīng)元輸出信息,以及與所述神經(jīng)元輸出信息對應(yīng)的權(quán)重索引;解析所述路由信息,獲取所述神經(jīng)元輸出信息和所述權(quán)重索引。
具體的,將所述權(quán)重索引設(shè)置在路由信息中,利用現(xiàn)有的神經(jīng)網(wǎng)絡(luò)中的信息傳遞數(shù)據(jù),將權(quán)重索引信息進(jìn)行傳遞。在路由信息中,利用固定長度或可變長度的信息位存儲所述索引信息即可。
在本實(shí)施例中,將權(quán)重索引和神經(jīng)元輸出信息,設(shè)置于路由信息中進(jìn)行傳送,充分利用了現(xiàn)有的路由數(shù)據(jù),提高了神經(jīng)元之間的信息使用效率。
在其中一個實(shí)施例中,根據(jù)預(yù)設(shè)的權(quán)重取值范圍和初始權(quán)重信息,利用權(quán)重約化算法計算出的所述權(quán)重信息,將權(quán)重限定在某些固定的值。
具體的,所述預(yù)設(shè)的權(quán)重取值范圍,是為網(wǎng)絡(luò)中所需的權(quán)重最大值和最小值形成的范圍;所述權(quán)重約化算法,在保證算法精度的前提下,可將權(quán)重離散化為某些固定的值,例如權(quán)重二值化、三值化算法。
在本實(shí)施例中,根據(jù)預(yù)設(shè)的權(quán)重取值范圍,利用權(quán)重約化算法計算出的權(quán)重信息,其權(quán)重值在預(yù)設(shè)的取值范圍之內(nèi)的某些固定值,減少了用于存儲權(quán)重信息的硬件的存儲空間,并且保持了權(quán)重信息的精度。
圖2為另一個實(shí)施例的神經(jīng)元權(quán)重信息處理方法的流程示意圖,如圖2所示的神經(jīng)元權(quán)重信息處理方法包括:
步驟S100,接收前端神經(jīng)元的神經(jīng)元輸出信息,以及與所述神經(jīng)元輸出信息對應(yīng)的權(quán)重索引。
步驟S200,根據(jù)所述權(quán)重索引,讀取權(quán)重索引信息對應(yīng)關(guān)系,獲取權(quán)重信息,所述權(quán)重索引信息對應(yīng)關(guān)系為權(quán)重索引和權(quán)重信息之間的對應(yīng)關(guān)系。
步驟S300,根據(jù)所述權(quán)重信息和所述神經(jīng)元輸出信息,獲取所述前端神經(jīng)元的輸入信息。
步驟S400,根據(jù)所述前端神經(jīng)元的輸入信息和讀取的當(dāng)前神經(jīng)元信息,根據(jù)神經(jīng)元輸出算法,計算當(dāng)前神經(jīng)元輸出信息。
具體的,當(dāng)所述神經(jīng)元為人工神經(jīng)元時,所述當(dāng)前人工神經(jīng)元信息包括:當(dāng)前人工神經(jīng)元偏置信息;則所述根據(jù)所述前端神經(jīng)元的輸入信息和讀取的當(dāng)前神經(jīng)元信息,根據(jù)神經(jīng)元輸出算法,計算當(dāng)前神經(jīng)元輸出信息,包括:根據(jù)所述前端人工神經(jīng)元輸出的膜電位信息、所述前端人工神經(jīng)元與當(dāng)前人工神經(jīng)元的連接權(quán)重、所述當(dāng)前人工神經(jīng)元偏置信息,通過預(yù)設(shè)的人工神經(jīng)元激活函數(shù),計算當(dāng)前人工神經(jīng)元輸出信息。
當(dāng)所述神經(jīng)元為脈沖神經(jīng)元時,所述當(dāng)前脈沖神經(jīng)元信息包括:歷史膜電位信息和膜電位泄漏信息;則所述根據(jù)所述前端神經(jīng)元的輸入信息和讀取的當(dāng)前神經(jīng)元信息,根據(jù)神經(jīng)元輸出算法,計算當(dāng)前神經(jīng)元輸出信息,包括:根據(jù)所述前端脈沖神經(jīng)元輸入信息、所述前端脈沖神經(jīng)元與當(dāng)前脈沖神經(jīng)元的連接權(quán)重、所述歷史膜電位信息、所述膜電位泄露信息,通過脈沖神經(jīng)元計算模型,計算當(dāng)前脈沖神經(jīng)元輸出信息
步驟S500,確定所述當(dāng)前神經(jīng)元輸出信息的目的信息,并根據(jù)所述目的信息查找目的索引對應(yīng)關(guān)系,獲取所述目的信息的權(quán)重索引,所述目的索引對應(yīng)關(guān)系包括目的信息和權(quán)重索引之間的對應(yīng)關(guān)系。
具體的,當(dāng)一個神經(jīng)網(wǎng)絡(luò)的任務(wù)確定后,當(dāng)前神經(jīng)元與后端神經(jīng)元的連接關(guān)系便已經(jīng)確定,當(dāng)前神經(jīng)元輸出信息的目的信息也已經(jīng)確定。根據(jù)所述當(dāng)前神經(jīng)元輸出信息的目的信息,查找目的索引對應(yīng)關(guān)系,便可以對應(yīng)的權(quán)重索引。
步驟S600,輸出所述當(dāng)前神經(jīng)元輸出信息和所述權(quán)重索引。
具體的,輸出所述當(dāng)前神經(jīng)元輸出信息和所述權(quán)重索引給后端的神經(jīng)元即可完成權(quán)重索引的整個傳遞過程。
在本實(shí)施例中,當(dāng)前神經(jīng)元計算出用于輸出的當(dāng)前神經(jīng)元的輸出信息后,根據(jù)輸出信息的目的神經(jīng)元,查找對應(yīng)的權(quán)重索引后,輸出所述當(dāng)前神經(jīng)元輸出信息和所述權(quán)重索引。當(dāng)前神經(jīng)元將權(quán)重索引發(fā)送至后端的神經(jīng)元,將權(quán)重索引信息在神經(jīng)網(wǎng)絡(luò)中進(jìn)行了完整的傳遞,提高了神經(jīng)網(wǎng)絡(luò)的信息處理能力。
圖3為一個實(shí)施例的神經(jīng)元權(quán)重信息處理系統(tǒng)的結(jié)構(gòu)示意圖,如圖3所示的神經(jīng)元權(quán)重信息處理系統(tǒng)包括:
前端神經(jīng)元輸出信息接收模塊100,用于接收前端神經(jīng)元的神經(jīng)元輸出信息,以及與所述神經(jīng)元輸出信息對應(yīng)的權(quán)重索引;所述前端神經(jīng)元,包括人工神經(jīng)元或脈沖神經(jīng)元。所述權(quán)重索引,包括與所述權(quán)重索引對應(yīng)的權(quán)重信息的存儲地址。所述前端神經(jīng)元輸出信息接收模塊,包括:路由信息接收單元,用于接收前端神經(jīng)元輸出的路由信息,所述路由信息包括前端神經(jīng)元輸出的神經(jīng)元輸出信息,以及與所述神經(jīng)元輸出信息對應(yīng)的權(quán)重索引;路由信息解析單元,用于解析所述路由信息,獲取所述神經(jīng)元輸出信息和所述權(quán)重索引。
權(quán)重信息獲取模塊200,用于根據(jù)所述權(quán)重索引,讀取權(quán)重索引信息對應(yīng)關(guān)系,獲取權(quán)重信息,所述權(quán)重索引信息對應(yīng)關(guān)系為權(quán)重索引和權(quán)重信息之間的對應(yīng)關(guān)系;所述權(quán)重信息,包括:根據(jù)預(yù)設(shè)的權(quán)重取值范圍和初始權(quán)重信息,利用權(quán)重約化算法計算出的所述權(quán)重信息。
前端神經(jīng)元輸入信息獲取模塊300,用于根據(jù)所述權(quán)重信息和所述神經(jīng)元輸出信息,獲取所述前端神經(jīng)元的輸入信息。
在本實(shí)施例中,當(dāng)前神經(jīng)元接收的前端神經(jīng)元的輸出信息中,攜帶前端神經(jīng)元與當(dāng)前神經(jīng)元之間的權(quán)重信息的權(quán)重索引,當(dāng)前神經(jīng)元根據(jù)接收到的權(quán)重索引信息讀取權(quán)重信息后,根據(jù)不同的神經(jīng)元模型進(jìn)行相應(yīng)的運(yùn)算處理,獲取前端神經(jīng)元的輸入信息。神經(jīng)元之間不再將權(quán)重信息直接傳遞,而是將權(quán)重信息的索引進(jìn)行傳遞,不但節(jié)省了網(wǎng)絡(luò)之間的傳遞信息量,并且可以更加靈活的改變各個神經(jīng)元的權(quán)重信息的設(shè)置,提高了神經(jīng)元網(wǎng)絡(luò)的信息處理能力。權(quán)重索引的使用,不但適用于人工神經(jīng)網(wǎng)絡(luò),也適用于脈沖神經(jīng)網(wǎng)絡(luò),提高了人工神經(jīng)網(wǎng)絡(luò)和脈沖神經(jīng)網(wǎng)絡(luò)的信息處理能力。采用權(quán)重信息的存儲地址作為其索引信息,可以使接收到索引信息的神經(jīng)元直接利用存儲地址信息查詢到權(quán)重信息,提高權(quán)重信息的提取效率,進(jìn)而提高整個神經(jīng)元網(wǎng)絡(luò)的信息處理效率。將權(quán)重索引和神經(jīng)元輸出信息,設(shè)置于路由信息中進(jìn)行傳送,充分利用了現(xiàn)有的路由數(shù)據(jù),提高了神經(jīng)元之間的信息使用效率。根據(jù)預(yù)設(shè)的權(quán)重取值范圍,利用權(quán)重約化算法計算出的權(quán)重信息,其權(quán)重值在預(yù)設(shè)的取值范圍之內(nèi),減少了用于存儲權(quán)重信息的硬件的存儲空間,并且保持了權(quán)重信息的精度。
圖4為另一個實(shí)施例的神經(jīng)元權(quán)重信息處理系統(tǒng)的結(jié)構(gòu)示意圖,如圖4所示的神經(jīng)元權(quán)重信息處理系統(tǒng)包括:
前端神經(jīng)元輸出信息接收模塊100,用于接收前端神經(jīng)元的神經(jīng)元輸出信息,以及與所述神經(jīng)元輸出信息對應(yīng)的權(quán)重索引。
權(quán)重信息獲取模塊200,用于根據(jù)所述權(quán)重索引,讀取權(quán)重索引信息對應(yīng)關(guān)系,獲取權(quán)重信息,所述權(quán)重索引信息對應(yīng)關(guān)系為權(quán)重索引和權(quán)重信息之間的對應(yīng)關(guān)系。
前端神經(jīng)元輸入信息獲取模塊300,用于根據(jù)所述權(quán)重信息和所述神經(jīng)元輸出信息,獲取所述前端神經(jīng)元的輸入信息。
當(dāng)前神經(jīng)元輸出信息獲取模塊400,用于根據(jù)所述前端神經(jīng)元的輸入信息和讀取的當(dāng)前神經(jīng)元信息,根據(jù)神經(jīng)元輸出算法,計算當(dāng)前神經(jīng)元輸出信息。
權(quán)重索引確定模塊500,用于確定所述當(dāng)前神經(jīng)元輸出信息的目的信息,并根據(jù)所述目的信息查找目的索引對應(yīng)關(guān)系,獲取所述目的信息的權(quán)重索引,所述目的索引對應(yīng)關(guān)系包括目的信息和權(quán)重索引之間的對應(yīng)關(guān)系。
權(quán)重索引發(fā)送模塊600,用于輸出所述當(dāng)前神經(jīng)元輸出信息和所述權(quán)重索引。
在本實(shí)施例中,當(dāng)前神經(jīng)元計算出用于輸出的當(dāng)前神經(jīng)元的輸出信息后,根據(jù)輸出信息的目的神經(jīng)元,查找對應(yīng)的權(quán)重索引后,輸出所述當(dāng)前神經(jīng)元輸出信息和所述權(quán)重索引。當(dāng)前神經(jīng)元將權(quán)重索引發(fā)送至后端的神經(jīng)元,將權(quán)重索引信息在神經(jīng)網(wǎng)絡(luò)中進(jìn)行了完整的傳遞,提高了神經(jīng)網(wǎng)絡(luò)的信息處理能力。
以上所述實(shí)施例的各技術(shù)特征可以進(jìn)行任意的組合,為使描述簡潔,未對上述實(shí)施例中的各個技術(shù)特征所有可能的組合都進(jìn)行描述,然而,只要這些技術(shù)特征的組合不存在矛盾,都應(yīng)當(dāng)認(rèn)為是本說明書記載的范圍。
以上所述實(shí)施例僅表達(dá)了本發(fā)明的幾種實(shí)施方式,其描述較為具體和詳細(xì),但并不能因此而理解為對發(fā)明專利范圍的限制。應(yīng)當(dāng)指出的是,對于本領(lǐng)域的普通技術(shù)人員來說,在不脫離本發(fā)明構(gòu)思的前提下,還可以做出若干變形和改進(jìn),這些都屬于本發(fā)明的保護(hù)范圍。因此,本發(fā)明專利的保護(hù)范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。