專利名稱：人工神經(jīng)及其使用方法
技術(shù)領(lǐng)域：
本發(fā)明與轉(zhuǎn)讓給本發(fā)明的相同受讓人的下述發(fā)明有關(guān)“神經(jīng)網(wǎng)絡(luò)及其使用方法”，與本發(fā)明同時申請的，美國專利申請序號08/076601。
因此，上述的有關(guān)發(fā)明的主題被并入到本發(fā)明的公開中作為參考。
本發(fā)明涉及人工神經(jīng)，具體涉及能采取下列形式(1)神經(jīng)電路或(2)計算機程序的人工神經(jīng)，神經(jīng)電路能用作神經(jīng)網(wǎng)絡(luò)的基本組成部件，它能以VLSI(超大規(guī)模集成)芯片實現(xiàn)，而且人工神經(jīng)利用一種不需要重復(fù)訓(xùn)練的訓(xùn)練算法，并且對于每個給定的輸入矢量組產(chǎn)生一個全局最小值。
人工神經(jīng)網(wǎng)絡(luò)已在各種各樣的計算機環(huán)境例如話音識別、過程控制、光學(xué)字符識別、信號處理和圖像處理中得到應(yīng)用。用于上述的許多計算機環(huán)境的處理機器(processing engine)可通過神經(jīng)網(wǎng)絡(luò)來實現(xiàn)，該神經(jīng)網(wǎng)絡(luò)包括多個稱為“神經(jīng)電路”的基本邏輯單元。
神經(jīng)電路(或處理單元)是神經(jīng)網(wǎng)絡(luò)的基本組成部件。一個神經(jīng)電路有多個輸入端和一個輸出端。常規(guī)的神經(jīng)電路的結(jié)構(gòu)經(jīng)常包括一個乘法器電路、一個求和電路、一個用于執(zhí)行非線性函數(shù)(例如二進制閾值或S形函數(shù))的電路，和起著突觸(synapses)或加權(quán)輸入連接功能的電路。參見

圖1，其中輸入X1-Xn由各個突觸W1-W2加權(quán)并由求和電路2累加在一起。求和電路2的輸出被饋送到非線性電路4，以便產(chǎn)生神經(jīng)電路輸出5。
圖2表示一種S形函數(shù)形式的非線性轉(zhuǎn)移函數(shù)，該函數(shù)由圖1所示的先有技術(shù)的神經(jīng)電路所使用。在所示的例子中，S形曲線6用下述公式表示輸出＝1/(1+e-NET) 公式1圖3表示另一個先有技術(shù)的神經(jīng)電路，稱為感知器(perceptron)神經(jīng)，該神經(jīng)利用二進制閾值函數(shù)。在這個例子中，感知器神經(jīng)使用二進制閾值14作為非線性函數(shù)。
綜上所述，典型的常規(guī)神經(jīng)電路要求有用于加權(quán)輸入連接的電路、一個求和電路、一個乘法器電路和用于執(zhí)行非線性函數(shù)的復(fù)雜電路。這使得能在半導(dǎo)體芯片上生產(chǎn)的常規(guī)神經(jīng)電路的數(shù)目受到嚴格地限制。
為此，現(xiàn)在非常需要一種具有最小數(shù)量元件、可簡單和廉價實施的神經(jīng)電路。
由先有技術(shù)的神經(jīng)電路構(gòu)成的常規(guī)神經(jīng)網(wǎng)絡(luò)需要很長的訓(xùn)練周期，對于輸入值的每一種可能的組合，甚至它們常常不能集中在正確的結(jié)果上。在本技術(shù)領(lǐng)域中這被稱為僅僅獲得“局部最小值”，而不是“全局解決”。
例如，1993年2月18日發(fā)行的“Electronic Design”第51頁闡述了需要約3萬億(3×1012)訓(xùn)練操作利用先有技術(shù)神經(jīng)電路來訓(xùn)練典型的神經(jīng)網(wǎng)絡(luò)。這種訓(xùn)練典型地需要幾周或甚至幾個月的計算時間，經(jīng)常使用超型計算機。
據(jù)此，現(xiàn)在還非常需要一種能構(gòu)成神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)且不需要長的訓(xùn)練周期并在一個訓(xùn)練周期內(nèi)集中在全局解決上的人工神經(jīng)。
在本發(fā)明的一個實施例中，提供一種人工神經(jīng)，它僅需要一個乘法器作為其主要處理單元。這種人工神經(jīng)可用硬件或者用軟件來實現(xiàn)。
在本發(fā)明的另一個實施例中，提供一種神經(jīng)電路，該神經(jīng)電路僅需要一個乘法器電路作為其主要處理單元。與傳統(tǒng)的神經(jīng)電路不同，包括本發(fā)明概念的神經(jīng)電路不需要利用任何非線性函數(shù)或求和電路。因此，更多的神經(jīng)電路能被集成在VLSI芯片中，這樣就大大地增加了使用一個或多個這種芯片的神經(jīng)網(wǎng)絡(luò)的計算能力。
與常規(guī)的神經(jīng)網(wǎng)絡(luò)相反，根據(jù)本發(fā)明，由多個人工神經(jīng)構(gòu)成的一個神經(jīng)網(wǎng)絡(luò)，不論是以硬件或軟件實現(xiàn)，如像在上面的相關(guān)發(fā)明中公開的那樣，在一個訓(xùn)練周期(也稱為一個信號出現(xiàn)時間或迭代[iteration]內(nèi)該神經(jīng)網(wǎng)絡(luò)集中在全局解決上，通常在個人計算機上可在不多于幾分鐘內(nèi)計算該訓(xùn)練周期。
鑒此，可以理解，本發(fā)明的包括多個人工神經(jīng)的神經(jīng)網(wǎng)絡(luò)以非常精確的結(jié)果、明顯改善的在計算時間上的減少和在造價上的明顯降低及其實施的復(fù)雜性來執(zhí)行，而不管它是在半導(dǎo)體芯片上還是以計算機程序里。
據(jù)此，本發(fā)明的一個優(yōu)點是提供一種神經(jīng)電路，該神經(jīng)電路包括最小數(shù)量的電路單元，以便一個神經(jīng)網(wǎng)絡(luò)可被構(gòu)成，包括非常大量的這種神經(jīng)電路，由于其高級的功能性和生產(chǎn)的低成本產(chǎn)生商業(yè)上競爭的產(chǎn)品。
本發(fā)明的另一個優(yōu)點是提供一種人工神經(jīng)，該人工神經(jīng)僅包括一個乘法器作為其主處理單元。
本發(fā)明的又一個優(yōu)點是提供一種人工神經(jīng)，該人工神經(jīng)可被利用作為神經(jīng)網(wǎng)絡(luò)的基本組成部件(在上述確認的相關(guān)發(fā)明中公開)，它不需要重復(fù)訓(xùn)練，并且對于每個輸入矢量的給定集產(chǎn)生全局的最小數(shù)量。
本發(fā)明的再一個優(yōu)點是提供使用本發(fā)明的人工神經(jīng)的各種方法。
根據(jù)本發(fā)明的一個方面，這里提供一種人工神經(jīng)電路，該人工神經(jīng)電路以響應(yīng)于多個選通輸入并產(chǎn)生一個輸出的乘法器電路表征，該乘法器電路的特征在于用于將多個選通輸入一起相乘產(chǎn)生一個產(chǎn)物的裝置;和用于以預(yù)定加權(quán)乘該產(chǎn)物產(chǎn)生輸出的裝置。
根據(jù)本發(fā)明的另一個方面，這里提供一種具有多個輸入Xi的神經(jīng)，其中i是正整數(shù)，產(chǎn)生一種輸出的方法，其特征在于，(a)加一個選通函數(shù)(gi)到每個輸入Xi以產(chǎn)生相應(yīng)于多個選通輸入的產(chǎn)物;(b)選通輸入一起相乘產(chǎn)生一個積;和(c)用一個預(yù)定加權(quán)W乘該積。
在所附的權(quán)利要求書中具體地指明了本發(fā)明。然而，結(jié)合以下附圖閱讀下面詳細描述將會對本發(fā)明的上述的和其它特點更加明了而且對本發(fā)明將會有最好的理解。
圖1示出先有技術(shù)的神經(jīng)電路。
圖2示出圖1所示的先有技術(shù)神經(jīng)電路所使用的以S形函數(shù)形式的非線性轉(zhuǎn)移函數(shù)。
圖3示出另一個先有技術(shù)神經(jīng)電路(稱為“感知器神經(jīng)”)，該神經(jīng)利用一個二進制閾值函數(shù)。
圖4示出本發(fā)明的優(yōu)選實施例的人工神經(jīng)的概括性方框圖。
圖5示出本發(fā)明優(yōu)選實施例的一個神經(jīng)電路的邏輯電路的實現(xiàn)。
圖6示出在本發(fā)明優(yōu)選實施例中神經(jīng)電路使用方法的流程圖。
圖7示出本發(fā)明優(yōu)選實施例中人工神經(jīng)的另一種使用方法的流程圖。
圖8示出選通函數(shù)的流程圖，該選通函數(shù)可構(gòu)成在圖6和7所示人工神經(jīng)使用方法的一部分。
本領(lǐng)域的普通技術(shù)人員明白，本發(fā)明的人工神經(jīng)可以用硬件、軟件或它們的組合來實現(xiàn)，而且使用的術(shù)語“神經(jīng)電路”和“神經(jīng)”在本說明書中可互換，正如術(shù)語“乘法器電路”或“乘法器”以及術(shù)語“求和電路”或“加法器”一樣，取決于實現(xiàn)的類型。
再者，本領(lǐng)域的普通技術(shù)的人員明白，乘法運算可用相反的除法運算來實現(xiàn)，因此這里規(guī)定的術(shù)語“乘法器電路”包括了除法器電路，和這里規(guī)定的術(shù)語“乘法器”包括了除法器。
現(xiàn)參見圖4，該圖示出本發(fā)明優(yōu)選實施例的人工神經(jīng)的概括性方框圖。用各個選通函數(shù)g1，g2…，gn選通輸入X1，X2，…，Xn，以便產(chǎn)生具有指數(shù)冪的選通輸入。例如，如果gi＝0，那么相應(yīng)于輸入Xi的選通輸入是Xi0或1;如果gi＝1，那么相應(yīng)于輸入Xi的選通輸入是Xi;如果gi＝2，那么相應(yīng)于輸入Xi1的選通輸入是Xi2，等等。
選通輸入Xg11，Xg22，…，Xgnx在乘法器22內(nèi)相乘，它們的產(chǎn)物用加權(quán)Wi相乘，Wi概念性地表示為經(jīng)導(dǎo)線24輸入的加權(quán)W。產(chǎn)生的產(chǎn)物表示經(jīng)導(dǎo)線25從乘法器22的輸出(ouT)。
正如在上面確認的相關(guān)發(fā)明中詳細說明的那樣，用多項展開式或正交函數(shù)的單獨項確定gi和Wi的合適的值，該函數(shù)被用作神經(jīng)網(wǎng)絡(luò)工作的基礎(chǔ)，該神經(jīng)網(wǎng)絡(luò)包括多個在這里描述的人工神經(jīng)。
本領(lǐng)域的普通技術(shù)人員明白，在圖4中所示的人工神經(jīng)可能以許多不同方式來實現(xiàn)，其中之一示于圖5。
現(xiàn)參見圖5，該圖示出本發(fā)明的優(yōu)選實施例的神經(jīng)電路的邏輯電路的實現(xiàn)。圖5是概念性地示出圖4中本發(fā)明的神經(jīng)電路的數(shù)字實現(xiàn)。在該實施例中，多個輸入Xi順序地加到神經(jīng)電路。
該神經(jīng)電路包括5個基本單元計數(shù)器/鎖存器20、乘法器22、復(fù)用器(MUX)26、鎖存器28、以及輸出鎖存器38。輸入鎖存器18也表示為這個電路實現(xiàn)的一部分;然而，在包括多個神經(jīng)電路的一個神經(jīng)網(wǎng)絡(luò)中，如所公開的那樣，例如，在上述的相關(guān)發(fā)明中，單個輸入鎖存器18可由多個神經(jīng)電路共用。乘法器22僅表示神經(jīng)電路的主要處理單元。
正如前面所描述的，應(yīng)當(dāng)明白，內(nèi)含除法器電路的其它裝置可以歸結(jié)在乘法器電路之中，以實現(xiàn)乘/除功能。
輸入鎖存器18例如經(jīng)8比特數(shù)據(jù)總線16接收輸入Xi，雖然本領(lǐng)域的普通技術(shù)人員明白，該數(shù)據(jù)總線的寬度可以為16比特、浮點，或任何其它希望的值。輸入鎖存器18由輸入時鐘控制。
當(dāng)計數(shù)器/鎖存器20中計數(shù)達到0時，輸入時鐘被遞增。本領(lǐng)域的普通技術(shù)人員明白，一個神經(jīng)網(wǎng)絡(luò)包括許多神經(jīng)電路，每個神經(jīng)電路可包括一個計數(shù)器/鎖存器電路，而輸入時鐘將不遞增直到所有這樣的計數(shù)器/鎖存器計數(shù)達到0為止。
輸入鎖存器18的輸出經(jīng)8比特數(shù)據(jù)總線19饋送到計數(shù)器/鎖存器20。
計數(shù)器/鎖存器20和鎖存器28都響應(yīng)內(nèi)時鐘信號(CLK)。CLK以常數(shù)速率增加。計數(shù)器/鎖存器20和鎖存器28分別經(jīng)導(dǎo)線30和32接收CLK。
為了產(chǎn)生希望的選通函數(shù)，計數(shù)器/鎖存器20用于在一個希望數(shù)量的CLK周期內(nèi)保持該輸入數(shù)據(jù)。計數(shù)器/鎖存器20響應(yīng)于一個選通輸入導(dǎo)線34，經(jīng)該輸入導(dǎo)線提供相應(yīng)于輸入值Xi的指數(shù)值gi。
正如上面關(guān)于圖4所說明的，輸入X1，X2…，Xn由各自的選通函數(shù)g1，g2，…，gn選通以產(chǎn)生具有指數(shù)冪的選通輸入。例如，如果gi＝2，那么相應(yīng)于輸入Xi的選通輸入是X2i。
計數(shù)器/鎖存器20的輸出經(jīng)8比特數(shù)據(jù)總線21提供給乘法器22。乘法器22的輸出經(jīng)8比特數(shù)據(jù)總線段23和36以及往復(fù)用器26耦合到鎖存器28的輸入。復(fù)用器26復(fù)用經(jīng)總線段36接收的乘法器22的輸出值和經(jīng)導(dǎo)線24接收的加權(quán)W到鎖存器28的輸入。
乘法器22的輸出還經(jīng)8比特數(shù)據(jù)總線段35耦合到輸出鎖存器38的輸入。加權(quán)W還經(jīng)8比特總線段37耦合到輸出鎖存器38的輸入。經(jīng)一定的計算將明白，W可旁路乘法器22直接地發(fā)送到輸出鎖存器38。
在計算周期的開始，MUX26轉(zhuǎn)換到導(dǎo)線24以接收加權(quán)W。在乘法器電路22產(chǎn)生第一個產(chǎn)物之后，MUX26轉(zhuǎn)換耦合線36到鎖存器28。
鎖存器28臨時地保持乘法器22的輸出，用于與計數(shù)器/鎖存器20的輸出相乘。
計數(shù)器/鎖存器20起著遞減計數(shù)電路的功能，即用gi值開始加載和遞減計數(shù)到gi＝0。正如下面將更詳細說明的，對于每個內(nèi)部時鐘周期、經(jīng)導(dǎo)線34加到計數(shù)器/鎖存器20并在其內(nèi)存儲的gi值被減1，而且只要gi不等于0，該輸入值Xi繼續(xù)乘以前面相乘周期的產(chǎn)物，它經(jīng)總線段23和36通過MUX26加到鎖存器28。當(dāng)gi＝0時，乘法器22停止相乘，并且在輸出鎖存器38上出現(xiàn)的乘法器22的輸出代表該神經(jīng)電路的輸出(ouT)。
圖6表示根據(jù)本發(fā)明優(yōu)選實施例使用神經(jīng)電路的方法的流程圖。在圖6中說明的那些步驟的方法涉及圖5所示的神經(jīng)電路。
如在方框40中所表示的，由神經(jīng)電路、例如，由鎖存器18(圖5)接收第一個輸入。
接著，如在方框42所表示的，每一個選通函數(shù)被加至第一個輸入以產(chǎn)生一個第一選通輸入。在下面還要討論的圖8中更詳細地表示了選通函數(shù)。
接著，如在方框43所表示的，第一個選通輸入與預(yù)定的加權(quán)W相乘以產(chǎn)生一個積。
接著，關(guān)于判決方框44，進行檢查確定是否已經(jīng)接收到所有的輸入。如果都收到了，過程以本批的輸入結(jié)束，并經(jīng)線45退出。如果沒有接收到所有輸入，過程前進到方框46。
如在方框46所表示的，由神經(jīng)電路接收另一個輸入。
接著，關(guān)于方框47，另一個選通函數(shù)被加到該輸入以產(chǎn)生另一個選通輸入。
然后，在方框48，在方框47中產(chǎn)生的選控輸入用在方框43產(chǎn)生的(或前面在方框48中產(chǎn)生的，如果這不是第一次通過方框48)產(chǎn)物相乘，以便產(chǎn)生積。
然后過程經(jīng)線49返回到判決方框44。
在過程已處理了所有輸入之后，它經(jīng)線45退出判決方框44進入方框50，在方框50最后的產(chǎn)物代表神經(jīng)電路的輸出。
圖7表示使用根據(jù)本發(fā)明的人工神經(jīng)的可替代的方法的流程圖。圖7中說明的那些步驟的方法涉及圖4所示的人工神經(jīng)。
正如方框52所表示的，由人工神經(jīng)接收多個輸入并分配到乘法器電路。
正如方框54所表示的，由于多個輸入Xi被分配到該乘法器，一個選通函數(shù)被加到它們的每一個，產(chǎn)生相應(yīng)的多個選通輸入。該選通函數(shù)更詳細地表示在下面討論的圖8中。
正如方框56所表示的，這些選通輸入一起相乘以產(chǎn)生積。然后，正如方框58所示的，該積用一個預(yù)定加權(quán)W相乘，產(chǎn)生一個代表人工神經(jīng)輸出的積。
圖8表示選通函數(shù)的流程圖，該選通函數(shù)可構(gòu)成使用圖6和7說明的人工神經(jīng)的方法的一部分。
參見圖4和8，加到該神經(jīng)電路的輸入Xi的選通函數(shù)可表示如下(a)如果選通函數(shù)g1是0，傳送1到乘法器電路22(參見圖8的方框60);(b)如果選通函數(shù)g1是1，傳送輸入Xi到乘法器電路22(參見方框62);和如果該選通函數(shù)大于1，傳送自乘到gi次冪的該輸入Xi到乘法器電路22(參見方框64)。
因此，圖4所示實施例的神經(jīng)電路產(chǎn)生形式為Xg11，Xg22…Xgnn的輸出。
現(xiàn)在參見圖5描述本發(fā)明優(yōu)選實施例的工作。在下面給出的例子中，目的是對任何輸入變量X1和X2產(chǎn)生一個6×13X22的神經(jīng)電路輸出。
這一點，參見下面表Ⅰ進一步說明。
開始用值g1＝3值對計數(shù)器/鎖存器20加載。因為gi計數(shù)不等于0，數(shù)值X1將傳送到乘法器22(根據(jù)上面有關(guān)圖8描述的選通函數(shù))與在線24上通過MUX26的W相乘。
然后計數(shù)器/鎖存器20開始遞減計數(shù)，而且，只要gi計數(shù)不等于0，X1將繼續(xù)用乘法器22的產(chǎn)物相乘。當(dāng)gi計數(shù)達到0時，那么乘法器22將停止相乘(或?qū)⒑唵蔚倪B續(xù)用1乘該產(chǎn)物，這取決于包括神經(jīng)電路的神經(jīng)網(wǎng)絡(luò)的實現(xiàn))并等待下一個輸入X2。這時神經(jīng)電路的中間輸出是6X31。
當(dāng)輸入時鐘＝2，且X2被鎖存到鎖存器18和g2＝2被加載到計數(shù)器/鎖存器20時，如上所描述的，該工作基本上繼續(xù)，直到計數(shù)器/鎖存器20遞減計數(shù)到0。這時神經(jīng)電路的最后輸出是6X31X22。
下面用表Ⅰ描述其詳細工作。
表Ⅰ輸入時鐘順序 時鐘順序 計數(shù)器/鎖存器 輸出
1 1 3 6×11 2 2 6×121 3 1 6×131 4 0 6×132 5 2 6×13X22 6 1 6×13X22 7 0 6×13X222 8 - 6×13X22在這個例子中，在計算周期的開始神經(jīng)電路的加權(quán)是相乘的，應(yīng)當(dāng)明白，在任何適當(dāng)?shù)臅r間它可以相乘。
因此，在這里已經(jīng)描述了一種概念，以及包括人工神經(jīng)的優(yōu)選實施例的一些實施例，和產(chǎn)生人工神經(jīng)輸出的方法，人工神經(jīng)僅需要一個乘法器作為它們的主要處理單元。
為此，更多的神經(jīng)能被集成在VLSI芯片中或在計算機程序中，因而大大地增加了利用多個這樣的神經(jīng)的神經(jīng)網(wǎng)絡(luò)的計算能力。
這就使得神經(jīng)網(wǎng)絡(luò)的產(chǎn)物在處理能力和速度。生產(chǎn)的成本，應(yīng)用的多用性和市場接受方面比先有技術(shù)的神經(jīng)網(wǎng)絡(luò)產(chǎn)物有重要的商業(yè)優(yōu)點。
在上述相關(guān)發(fā)明中，公開了神經(jīng)網(wǎng)絡(luò)的各種實施例，那些神經(jīng)網(wǎng)絡(luò)使用在這里公開的人工神經(jīng)作為基本的組成部件。這是因為這樣的人工神經(jīng)的唯一函數(shù)，即能夠?qū)⒍鄠€選通輸入相乘并用加權(quán)值乘產(chǎn)生的產(chǎn)物。由于這些特性，在上面確認的相關(guān)發(fā)明中公開的神經(jīng)網(wǎng)絡(luò)的各種實施例可使用在這里公開的人工神經(jīng)，以便在實現(xiàn)多項展開式或正交函數(shù)方面有大的優(yōu)點，它們構(gòu)成這種神經(jīng)網(wǎng)絡(luò)工作的基礎(chǔ)。
因此，在這里已經(jīng)描述了一個人工神經(jīng)，它可構(gòu)成神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)，這種網(wǎng)絡(luò)不需要長的訓(xùn)練周期，而且在單個訓(xùn)練周期內(nèi)集中在全局解決。
而且，本領(lǐng)域的技術(shù)人員明白，可以以各種方式對公開的發(fā)明進行修改，而且可以假設(shè)許多實施例，而不同于上面描述和具體提出的優(yōu)選實施例形式。
例如，本發(fā)明的神經(jīng)電路7可用模擬技術(shù)實現(xiàn)或用模擬和數(shù)字技術(shù)的組合實現(xiàn)。
而且，由適應(yīng)的電路是可實現(xiàn)的，其中多個輸入Xi可能是并行而不是順序地處理的。
此外，輸出鎖存器可用一個復(fù)用器替換。
鑒此，所附權(quán)利要求的意圖是，包括本發(fā)明的所有修改，所有這些修改都將不脫離本發(fā)明的真正精神和范圍。
權(quán)利要求
1.一種人工神經(jīng)電路，其特征在于一個乘法器電路(22)，響應(yīng)于多處于選通輸入并產(chǎn)生一個輸出，所述乘法器電路其特征在于用于相乘所述選通輸入產(chǎn)生一個積的裝置；和用于用一個預(yù)定加權(quán)乘以所述積產(chǎn)生所述輸出的裝置。
2.根據(jù)權(quán)利要求1的神經(jīng)電路，其特征在于用于通過順序地執(zhí)行選通函數(shù)(gi)在到所述神經(jīng)電路的多個輸入的每一個輸入產(chǎn)生所述選通輸入的裝置，從而產(chǎn)生所述選通輸入如下(a)如果所述選通函數(shù)是0，傳送1到所述乘法器電路;(b)如果所述選通函數(shù)是1，傳送所述輸入到所述乘法器電路;和(c)如果所述選通函數(shù)大于1，傳送自乘到gi冪的所述輸入到所述乘法器電路。
3.根據(jù)權(quán)利要求1的神經(jīng)電路，其特征在于所述神經(jīng)電路是制造在集成電路上的。
4.一種神經(jīng)電路，其特征在于第一鎖存器裝置(圖5的18)，響應(yīng)多個輸入Xi用于順序地存儲每個所述輸入Xi和順序地提供每一個所述存儲的輸入Xi作為其輸出，其中i是正整數(shù);計數(shù)器/鎖存器裝置(20)，響應(yīng)于所述第一鎖存器裝置的輸出并提供所述存儲輸入作為其輸出;第二鎖存器裝置(28)，用于提供一個輸出;乘法器電路(22)，具有響應(yīng)所述計數(shù)器/鎖存器裝置的輸出的第一輸入和響應(yīng)所述第二鎖存器裝置輸出的第二輸入，并產(chǎn)生一個產(chǎn)物;一個復(fù)用器(26)，用于將所述產(chǎn)物或加權(quán)值W耦合到所述第二鎖存器裝置的一個輸入;其中所述計數(shù)器/鎖存器裝置還響應(yīng)多個值gi，這里是一個值gi相應(yīng)于每個值Xi，所述計數(shù)器/鎖存器裝置用于在所述乘法器電路的gi相乘周期存儲給定的輸入Xi，在每個所述相乘周期期間，所述輸入Xi以所述產(chǎn)物相乘，在所述相乘周期的一個周期期間，所述產(chǎn)物用所述加權(quán)值相乘;從而所述神經(jīng)電路產(chǎn)生一個形式為WXg11Xg22…Xgnn的輸出。
5.根據(jù)權(quán)利要求4所述的神經(jīng)電路，其特征在于一個輸出鎖存器(38)，它具有響應(yīng)于所述產(chǎn)物的第一輸入和響應(yīng)于所述加權(quán)值W的第二輸入，并產(chǎn)生代表所述神經(jīng)電路輸出的一個輸出，從而所述加權(quán)值W能旁路所述乘法器電路。
6.根據(jù)權(quán)利要求4所述的神經(jīng)電路，其特征在于，每個所述輸入Xi包括多個比特。
7.在具有多個輸入Xi的神經(jīng)電路中(其中i是正整數(shù))一種產(chǎn)生輸出的方法，其特征在于包括如下步驟(a)接收所述多個輸入的第一個輸入;(b)將第一選通函數(shù)加到所述輸入以產(chǎn)生一個第一選通輸入;(c)用一個預(yù)定加權(quán)乘以所述第一選通輸入，以及產(chǎn)生一個產(chǎn)物;(d)確定是否已經(jīng)接收到所有的所述多個輸入;(ⅰ)如果是，指定所述產(chǎn)物作為所述神經(jīng)電路的輸出;(ⅱ)假如不是，進到步驟(e);(c)接收所述多個輸入的另一個輸入;(f)將另一個選通函數(shù)加到所述輸入以產(chǎn)生一個選通輸入;(g)用所述產(chǎn)物乘以所述選通輸入以產(chǎn)生另一個產(chǎn)物;和(h)返回到步驟(d)，直到所有的所述多個輸入已經(jīng)接收到為止。
8.根據(jù)權(quán)利要求7所述的神經(jīng)電路，其特征在于，在步驟(b)和(f)中產(chǎn)生所述相應(yīng)的選通輸入如下(ⅰ)如果所述選通函數(shù)(gi)是0，那么所述選通輸入Xi的值是1;(ⅱ)如果所述選通函數(shù)是1，那么所述選通輸入Xi的值是Xi;和(ⅲ)如果所述選通函數(shù)是1，那么所述選通輸入Xi的值是自乘以到gi次冪的Xi。
9.在一個具有多個輸入Xi的神經(jīng)中(其中i是一個正整數(shù))一種產(chǎn)生輸出的方法，其特征在于包括如下步驟(a)將一個選通函數(shù)(gi)加到每個所述輸入Xi以產(chǎn)生相應(yīng)的多個選通輸入;(b)相乘所述選通輸入，產(chǎn)生一個產(chǎn)物;和(c)用預(yù)定的加權(quán)W乘以所述產(chǎn)物。
10.根據(jù)權(quán)利要求9所述的神經(jīng)，其特征在于，在步驟(a)中，產(chǎn)生所述相應(yīng)的多個選通輸入的步驟如下(ⅰ)如果所述選通函數(shù)(gi)是0，那么所述選通輸入Xi的值是1;(ⅱ)如果所述選通函數(shù)是1，那么所述選通輸入Xi的值是Xi，和(ⅲ)如果所述選通函數(shù)大于1，那么所述選通輸入Xi的值是自乘到gi次冪的Xi。
全文摘要
一種人工神經(jīng)，它可用硬件或軟件來實現(xiàn)，它僅具有一個以乘法器(22)形式的主要處理單元。這些輸入首先通過選通函數(shù)饋送以產(chǎn)生選通輸入。然后這些選通輸入一起相乘以產(chǎn)生一個產(chǎn)物，該產(chǎn)物用加權(quán)相乘，以便產(chǎn)生神經(jīng)的輸出。
文檔編號G06F7/552GK1107598SQ9410656
公開日1995年8月30日 申請日期1994年6月10日 優(yōu)先權(quán)日1993年6月14日
發(fā)明者謝伊－平·托馬斯·王 申請人:莫托羅拉公司