專(zhuān)利名稱(chēng)：用于統(tǒng)計(jì)資料模糊分析的裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明通常涉及一種裝置和方法，其使用用于解決模型分類(lèi)和知識(shí)發(fā)現(xiàn)問(wèn)題的模糊集合和統(tǒng)計(jì)理論來(lái)執(zhí)行統(tǒng)計(jì)資料模糊分析(FASE)。FASE的若干特征類(lèi)似于人類(lèi)判斷的特征。它從數(shù)據(jù)信息中學(xué)習(xí)，將它們并入知識(shí)信念，并且它用新信息來(lái)更新信念。本發(fā)明也涉及將稱(chēng)作似真神經(jīng)網(wǎng)絡(luò)(PLANN)的東西。
背景技術(shù)：
模擬并行分布機(jī)，或神經(jīng)網(wǎng)絡(luò)，計(jì)算模糊邏輯，其包括可能性，信念和概率度量。模糊邏輯對(duì)模擬機(jī)所做的就是布爾邏輯對(duì)數(shù)字計(jì)算機(jī)所做的。使用布爾邏輯，可以用數(shù)字計(jì)算機(jī)來(lái)執(zhí)行定理證明，弈棋，或者許多其它具有精確或已知規(guī)則的應(yīng)用。類(lèi)似地，基于模糊邏輯，可以使用模擬機(jī)來(lái)執(zhí)行近似推理，似真推理和信念判斷，其中規(guī)則是固有的，不確定的或矛盾的。信念判斷由可能性及信念的度量來(lái)表示，然而布爾邏輯是特殊情況或缺省。統(tǒng)計(jì)資料模糊分析(FASE)可以由模擬并行分布機(jī)更有效地計(jì)算。而且，因?yàn)镕ASE可以提取模糊/信念規(guī)則，它也可以充當(dāng)?shù)椒植际教幚砗头?hào)處理的鏈接。
對(duì)提供更高精度和更快計(jì)算的用于模式分類(lèi)的機(jī)器學(xué)習(xí)算法有持續(xù)的研究。但是，由于可用數(shù)據(jù)資料的不一致性，由屬性提供的信息不足，以及類(lèi)邊界的模糊，機(jī)器學(xué)習(xí)算法(甚至人類(lèi)專(zhuān)家)不總是作出正確的分類(lèi)。如果在特殊實(shí)例的分類(lèi)中有不確定性，可能需要進(jìn)一步的信息來(lái)闡明它。這在醫(yī)療診斷，信用評(píng)價(jià)，和許多其它應(yīng)用中經(jīng)常出現(xiàn)。
因此，希望有一種方法，其用于用新屬性信息來(lái)更新信念而不重新訓(xùn)練數(shù)據(jù)樣品。這樣一種方法將提供增加額外資料(屬性)而不導(dǎo)致沉重計(jì)算代價(jià)的好處。
當(dāng)前分類(lèi)方法的另一問(wèn)題是名稱(chēng)Na ve貝葉斯假設(shè)的廣泛接受。貝葉斯信念更新依賴(lài)于屬性值的乘法，這需要任一新屬性不依賴(lài)于先前屬性或條件概率可以估計(jì)這一假設(shè)。這一假設(shè)并不通常是真的，導(dǎo)致新屬性對(duì)結(jié)果具有大于適當(dāng)?shù)挠绊憽?br> 發(fā)明概述為了克服這些困難，本發(fā)明提供一種分類(lèi)方法，其基于可能性度量并且使用模糊集理論的t范數(shù)函數(shù)來(lái)聚集屬性信息。該方法在這里描述，并且稱(chēng)作統(tǒng)計(jì)資料模糊分析(FASE)。機(jī)器學(xué)習(xí)的過(guò)程可以認(rèn)為是從訓(xùn)練樣品到總體的推理，這是歸納推理。如在Y.Y.Chen，柏努利試驗(yàn)從模糊測(cè)度的觀點(diǎn)，數(shù)學(xué)分析應(yīng)用雜志，vol.175，pp.392-404，1993，和Y.Y.Chen，基于可能性及信念度量的統(tǒng)計(jì)推理，美國(guó)數(shù)學(xué)協(xié)會(huì)論文集，vol.347，pp.1855-1863，1995中看到的，其在此引入作為參考，由可能性及信念度量測(cè)度歸納信念比由概率度量更有利。
FASE具有若干所希望的性質(zhì)。它是容噪聲的，并且能夠處理缺失數(shù)值，從而允許考慮大量屬性。這是重要的，因?yàn)楫?dāng)增加數(shù)據(jù)維數(shù)時(shí)許多模式變成可分離的。
除分類(lèi)之外，F(xiàn)ASE對(duì)知識(shí)發(fā)現(xiàn)也是有利的。從數(shù)據(jù)中提取的統(tǒng)計(jì)模式由知識(shí)信念來(lái)表示，其又是專(zhuān)家系統(tǒng)的命題。這些命題可以由推理規(guī)則來(lái)連接。從而，從機(jī)器學(xué)習(xí)到專(zhuān)家系統(tǒng)，F(xiàn)ASE提供從歸納推理到演繹推理的改進(jìn)的鏈接。
此外，提供似真神經(jīng)網(wǎng)絡(luò)(PLANN)，其包括基于附屬神經(jīng)元的似然函數(shù)的權(quán)連接。到神經(jīng)元的輸入根據(jù)t共同范數(shù)函數(shù)而聚集，而輸出表示可能性及信念度量。
附圖簡(jiǎn)述本發(fā)明的優(yōu)選實(shí)施方案在下面參考附圖詳細(xì)描述，其中


圖1說(shuō)明交互信息和神經(jīng)元連接之間的關(guān)系；圖2說(shuō)明多個(gè)屬性神經(jīng)元和類(lèi)神經(jīng)元的相互連接；圖3表示神經(jīng)網(wǎng)絡(luò)中的似然判斷；圖4是流程圖，其顯示兩個(gè)神經(jīng)元之間權(quán)更新的計(jì)算；圖5描繪花瓣寬度的概率分布；圖6以花瓣寬度的函數(shù)描繪分類(lèi)的確信因子曲線(xiàn)；圖7描繪大花瓣寬度的模糊從屬關(guān)系；圖8是用于執(zhí)行統(tǒng)計(jì)資料模糊分析的系統(tǒng)的功能框圖；圖9是流程圖，其顯示信念判斷的認(rèn)知過(guò)程；圖10是流程圖，其顯示監(jiān)督學(xué)習(xí)的認(rèn)知過(guò)程；圖11是流程圖，其顯示知識(shí)發(fā)現(xiàn)的認(rèn)知過(guò)程；圖12是根據(jù)本發(fā)明的兩層神經(jīng)網(wǎng)絡(luò)的圖；圖13是貝葉斯神經(jīng)網(wǎng)絡(luò)和使用中的可能性神經(jīng)網(wǎng)絡(luò)實(shí)例的圖優(yōu)選實(shí)施方案詳述1.FASE方法和性質(zhì)設(shè)C是類(lèi)變量，A1，…，An。是屬性變量并且設(shè)Pos是可能性度量?；谠赮.Y.Chen，柏努利試驗(yàn)從模糊測(cè)度的觀點(diǎn)，數(shù)學(xué)分析應(yīng)用雜志，vol.175，pp.392-404，1993中發(fā)展的統(tǒng)計(jì)推理，我們有Pos(C|A1，…，An)＝Pr(A1，…，An|C)/supCPr(A1，…，An|C)，(1)如果先驗(yàn)信念是不提供資料的。Bel(C|A1，…，An)＝1-Pos(C|A1，…，An)是實(shí)例屬于類(lèi)C的信念度量和確信因子(CF)。
等式(1)和貝葉斯公式之間的不同僅僅是歸一化常數(shù)的不同。在可能性度量中sup范數(shù)是1，而在概率度量中加法范數(shù)(積分)是1。對(duì)類(lèi)的指定，貝葉斯分類(lèi)器基于最大一個(gè)后驗(yàn)概率，其又相當(dāng)于最大可能性。
在機(jī)器學(xué)習(xí)中，由于訓(xùn)練樣品和/或大量屬性的限制，聯(lián)合概率Pr(A1，…，An|C)經(jīng)常不從數(shù)據(jù)直接估計(jì)。這一問(wèn)題類(lèi)似于維數(shù)災(zāi)難。如果分別估計(jì)條件概率Pr(Ai|C)或Pr(Ai1,...,Aik|C),]]>其中{i1，…，ik}形成{1，…，n}的分塊，那么需要適當(dāng)?shù)倪\(yùn)算將它們聯(lián)合到一起。
接下來(lái)我們給出t范數(shù)函數(shù)的定義，其經(jīng)常用于模糊集的邏輯乘。模糊邏輯乘/t范數(shù)是二進(jìn)制運(yùn)算T
×
→
，它是通信的和聯(lián)合的，并且滿(mǎn)足下面的條件(cf.[5])(i)T(a，1)＝a，對(duì)所有的a，(ii)T(a，b)≤T(c，d)，只要a≤c，b≤d。(2)下面是經(jīng)常用于文獻(xiàn)中的t范數(shù)實(shí)例最小值M(a，b)＝min(a，b)乘積∏(a，b)＝ab有限差分W(a，b)＝max(0，a+b-1)并且我們有W≤∏≤M。
基于屬性的不同關(guān)系，我們有不同的信念更新規(guī)則。通常地Pos(C|A1，A2)＝Pos(C|A1)Pos(C|A2)/supCPos(C|A1)Pos(C|A2)，(3)其中是t范數(shù)運(yùn)算。如果A1和A2是不相關(guān)的，那么是乘積∏(Y.Y.Chen，柏努利試驗(yàn)從模糊測(cè)度的觀點(diǎn)，數(shù)學(xué)分析應(yīng)用雜志，vol.175，pp.392-404，1993)。如果A1和A2是完全相關(guān)的，即Pr(A1|A2)＝1且Pr(A2|A2)＝1，那么我們有Pos(C|A1，A2)＝Pos(C|A1)^Pos(C|A2)/supCPos(C|A1)^Pos(C|A2)，(4)其中^是最小值運(yùn)算。這成立因?yàn)镻os(C|A1，A2)＝Pos(C|A1)＝Pos(C|A2)。注意到，如果A1，A2是彼此的函數(shù)，那么它們完全相關(guān)，從而使得資料冗余。
當(dāng)通常地屬性間的關(guān)系未知時(shí)，t范數(shù)可以處于∏和M之間而用于更新信念。從而，可以選擇更接近地補(bǔ)償屬性之間不同依存度的t范數(shù)，而不需要知道實(shí)際的依賴(lài)關(guān)系。為簡(jiǎn)單起見(jiàn)，我們將注意力限制在如下用共同t范數(shù)聚集所有屬性的模型Pos(C|A1，...，An)＝i＝1，...，nPos(C|Ai)/supCi＝1，...，nPos(C|Ai)，(5)其包括作為特殊情況的na ve貝葉斯分類(lèi)器，即當(dāng)等于乘積∏。如在Y.Y.Chen，基于可能性及信念度量的統(tǒng)計(jì)推理，美國(guó)數(shù)學(xué)協(xié)會(huì)論文集，vol.347，pp.1855-1863，1995中顯示的，乘積規(guī)則意味添加資料的權(quán)。如果屬性是相關(guān)的，它將過(guò)度補(bǔ)償資料的權(quán)。
下面是FASE的一些特性(a)對(duì)任何t范數(shù)，如果屬性Ai是不提供資料的，即Pos(C＝cj|Ai)＝1，j，那么Pos(C|A1，...，An)＝Pos(C|A1，...，Ai-1，Ai+1，...，An)，(6)這成立因?yàn)門(mén)(a，1)＝a。
公式(6)表明，不提供資料的屬性對(duì)總體分類(lèi)不提供任何資料，并且當(dāng)實(shí)例αi缺失或Ai是常數(shù)時(shí)發(fā)生。類(lèi)似地，如果Ai是白噪聲，那么它對(duì)分類(lèi)幾乎不提供信息，因?yàn)镻os(C＝cj|Ai)≈1，j。因此，F(xiàn)ASE是容噪聲的。
(b)對(duì)任何t范數(shù)，如果對(duì)某個(gè)i，Pos(C|Ai)＝0，那么Pos(C|A1，...，An)＝0，(7)這成立因?yàn)門(mén)(a，0)＝0。
公式(7)表明，信念更新的過(guò)程是通過(guò)基于資料去除較小似真類(lèi)/假設(shè)，即Pos(C|Ai)≈0。過(guò)程后繼續(xù)存在的成為真值。
(c)對(duì)二進(jìn)制分類(lèi)，如果Bel(C＝cj|A1)＝a，Bel(C≠ci|A2)＝b，并且0＜b≤a，那么Bel(C＝cj|A1，A2)＝(a-b)/(1-b)， (8)假設(shè)(a-b)/(1-b)≤a，公式(8)意味沖突資料將降低我們先前信念的置信度；但是，不管使用哪個(gè)t范數(shù)，計(jì)算是相同的。如果資料指向相同的方向，即Bel(C＝cj|A1)＝a，并且Bel(C＝cj|A2)＝b，0＜a，b≤1，那么我們的置信度水平將增加。對(duì)處于M(最小值)和∏(乘積)之間的t范數(shù)函數(shù)，置信度度量Bel(C＝cj|A1，A2)為max(a，b)～a+b-ab。t范數(shù)越大，它考慮的資料權(quán)就越弱。這一性質(zhì)可以稱(chēng)作t范數(shù)的強(qiáng)度。
因此，如果我們使用不同的t范數(shù)來(lái)聯(lián)合屬性，計(jì)算彼此是非常類(lèi)似的。這也解釋為什么na ve貝葉斯分類(lèi)器可以充分地執(zhí)行，即使經(jīng)常違背獨(dú)立性假定。
2.似真神經(jīng)網(wǎng)絡(luò)在人類(lèi)推理中，有兩種思想方法期望和似然。期望用來(lái)計(jì)劃或預(yù)測(cè)將來(lái)的真實(shí)狀態(tài)。似然用來(lái)判斷當(dāng)前狀態(tài)的真實(shí)性。兩種思想方法不是排他的，而是它們彼此相互作用。例如，我們需要識(shí)別我們的環(huán)境以便作決定。相互作用這兩種思想方法的統(tǒng)計(jì)推理模型在Chen(1993)中討論，它是概率和可能性度量的混合。
在機(jī)器學(xué)習(xí)和模式識(shí)別中的統(tǒng)計(jì)推理與神經(jīng)網(wǎng)絡(luò)之間的關(guān)系已經(jīng)吸引相當(dāng)多的研究關(guān)注。先前聯(lián)系依照貝葉斯推理討論(見(jiàn)例如Kononenko I.(1989)貝葉斯神經(jīng)網(wǎng)絡(luò)，生物控制論61361-370；和MacKay D.J.C.，后向傳播網(wǎng)絡(luò)的實(shí)踐貝葉斯結(jié)構(gòu)，神經(jīng)計(jì)算4，448-472，1992；或統(tǒng)計(jì)學(xué)習(xí)理論Vapnik V.，統(tǒng)計(jì)學(xué)習(xí)理論，Wiley，N.Y.，1998)。貝葉斯神經(jīng)網(wǎng)絡(luò)需要先驗(yàn)信念在網(wǎng)絡(luò)權(quán)分布上的指定。遺憾地，這使得大規(guī)模網(wǎng)絡(luò)的計(jì)算幾乎不可能。統(tǒng)計(jì)學(xué)習(xí)理論不具有推理的不確定性度量，因此它不能用新信息而不重新訓(xùn)練變量而更新。
根據(jù)本發(fā)明，對(duì)每個(gè)變量X有兩種截然不同的含義。一是P(X)，它考慮X的總體分布，而另一是Pr(X)，它是基于總體的隨機(jī)樣品。如果總體P(X)是未知的，它可以認(rèn)為是模糊變量或模糊函數(shù)(這在Chen(1993)中稱(chēng)作平穩(wěn)變量或平穩(wěn)過(guò)程)。基于樣品統(tǒng)計(jì)，我們可以有P(X)的似然估計(jì)。在總體上使用可能性度量的優(yōu)點(diǎn)是，它具有普遍的空先驗(yàn)，從而不需要如在貝葉斯推理中那樣考慮先驗(yàn)。
根據(jù)本發(fā)明，X是表示神經(jīng)元的二進(jìn)制變量。在任一給定時(shí)間，X＝1表示神經(jīng)元激發(fā)，而X＝0表示神經(jīng)元靜止。神經(jīng)元X和神經(jīng)元Y之間的權(quán)連接給定如下ω12＝log(P(X，Y)/P(X)P(Y))， (9)這是兩個(gè)神經(jīng)元之間的交互信息。
將神經(jīng)元的神經(jīng)鍵權(quán)鏈接到信息理論有若干優(yōu)點(diǎn)。首先，知識(shí)由神經(jīng)鍵權(quán)給定。并且，信息和能量是可互換的。從而，神經(jīng)學(xué)習(xí)是統(tǒng)計(jì)推理。
從統(tǒng)計(jì)推理的觀點(diǎn)，一對(duì)連接的神經(jīng)元的神經(jīng)活動(dòng)由對(duì)兩個(gè)獨(dú)立隨機(jī)變量的柏努利試驗(yàn)給定。單個(gè)隨機(jī)變量的柏努利試驗(yàn)在Chen(1993)中討論。
設(shè)P(X)＝θ1，P(Y)＝θ2，P(X，Y)＝θ12，以及g(θ1，θ2，θ12)＝log(θ12/θ1θ2)。給定數(shù)據(jù)x，y的ω12的似然函數(shù)是l(ω12|x,y)=supθ1,θ2,θ12ω12=g(θ1,θ2,θ12)log(θ12xy(θ1-θ12))x(1-y)(θ2-θ12)(1-x)y(1-θ1-θ2+θ12)]]>/(1-x)(1-y)θ1x(1-θ1)1-xθ2y(1-θ2)1-y)---(10)]]>這基于模糊集理論的擴(kuò)展規(guī)則。當(dāng)具有記錄x，y(基于權(quán)ω12)的神經(jīng)鍵接收新信息xt，yt時(shí)，權(quán)的似然函數(shù)由似然規(guī)則更新l(ω12|x,y,xt,yt)=l(ω12|xy)l(ω12|x1,y)/supω12l(ω12|x,y)l(ω12|xt,yt)---(11a)]]>本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到，等式(11a)表示Hebb規(guī)則。當(dāng)前神經(jīng)網(wǎng)絡(luò)研究使用各式各樣的近似方法。貝葉斯推理需要先驗(yàn)假設(shè)，并且概率度量在變換下不是標(biāo)量恒定的。等式(11a)可用來(lái)設(shè)計(jì)電子設(shè)備，以控制并行分布式計(jì)算機(jī)中的神經(jīng)鍵權(quán)。
對(duì)數(shù)據(jù)分析，ω12的置信度度量由α割集或1-α似然區(qū)間來(lái)表示，這在Y.Y.Chen，基于可能性及信念度量的統(tǒng)計(jì)推理，美國(guó)數(shù)學(xué)協(xié)會(huì)論文集，vol-347，pp.1855-1863，1995中描述。這只有當(dāng)訓(xùn)練樣品的規(guī)模小時(shí)才需要。如果樣品規(guī)模足夠大，ω12的最大值似然估計(jì)將是充分的，這可以從θ1，θ2和θ12的最大值似然估計(jì)來(lái)計(jì)算。因?yàn)?amp;theta;^1=Σixi/n,]]>θ^2=Σiyi/n,]]>θ^11=Σixiyi/n,]]>我們有 等式(11a)和(11b)可以用在似真神經(jīng)網(wǎng)絡(luò)(PLANN)中用于更新權(quán)。等式(11b)用于數(shù)據(jù)分析。等式(11a)可以用于并行分布機(jī)或模擬神經(jīng)網(wǎng)絡(luò)中。如在圖1中所說(shuō)明，從公式(9)我們看到ω12＞0，如果X和Y正相關(guān)，ω12＜0，如果X和Y負(fù)相關(guān)，ω12＝0，當(dāng)且僅當(dāng)X和Y統(tǒng)計(jì)不相關(guān)。
如果神經(jīng)元X和神經(jīng)元Y接近于不相關(guān)，即ω12≈0，它們的連接可以撤消，因?yàn)樗粫?huì)影響總體網(wǎng)絡(luò)計(jì)算。從而最初全連接的網(wǎng)絡(luò)可以在訓(xùn)練后變成具有一些分層結(jié)構(gòu)的稀疏連接網(wǎng)絡(luò)。這是有利的，因?yàn)樯窠?jīng)元可以釋放權(quán)連接以節(jié)省能量和為了進(jìn)一步的信息處理而生長(zhǎng)權(quán)連接。
根據(jù)本發(fā)明的似真神經(jīng)網(wǎng)絡(luò)(PLANN)是具有由交互信息給定的權(quán)連接的全連接網(wǎng)絡(luò)。這通常叫做遞歸網(wǎng)絡(luò)。
權(quán)連接的對(duì)稱(chēng)性保證網(wǎng)絡(luò)的穩(wěn)定狀態(tài)(Hopfield，J.J.，前饋和反饋網(wǎng)絡(luò)中的學(xué)習(xí)算法和概率分布，國(guó)家科學(xué)院會(huì)刊，美國(guó)，8429-8433(1985))。Xj是與神經(jīng)元Xi連接并激發(fā)到神經(jīng)元Xi的神經(jīng)元集合。Xi的激活由下式給定Xi＝s(jωijxj)，(12)信號(hào)函數(shù)可以是確定的或隨機(jī)的，傳遞函數(shù)可以是S形的或二進(jìn)制閾值。每一個(gè)表示不同種的機(jī)器。本發(fā)明集中在隨機(jī)的S形函數(shù)，因?yàn)樗^接近于生物大腦。
具有附加激活的隨機(jī)S型模型相當(dāng)于在Ackley，D.H.，Hinton，G.E.，和T.J.Sejnowski，玻爾茲曼學(xué)習(xí)算法，認(rèn)知科學(xué)9，pp.147-169(1985)中描述的玻爾茲曼機(jī)。但是本發(fā)明的PLANN學(xué)習(xí)算法遠(yuǎn)快于玻爾茲曼機(jī)，因?yàn)樯窠?jīng)元接收的每一數(shù)據(jù)信息通過(guò)公式(11a)自動(dòng)地加到神經(jīng)鍵權(quán)。從而，本發(fā)明的訓(xùn)練方法更接近地模擬生物神經(jīng)元的行為。
本發(fā)明具有執(zhí)行似真推理的能力。具有這一能力的神經(jīng)網(wǎng)絡(luò)在圖2中說(shuō)明。神經(jīng)網(wǎng)絡(luò)使用統(tǒng)計(jì)資料模糊分析(FASE)，這在上面描述。如在圖2中看到的，顯示的實(shí)施方案是單層神經(jīng)網(wǎng)絡(luò)1，其具有連接到多個(gè)類(lèi)神經(jīng)元4的多個(gè)屬性神經(jīng)元2。屬性神經(jīng)元2以權(quán)連接6連接到類(lèi)神經(jīng)元4。每一類(lèi)神經(jīng)元聚集來(lái)自屬性神經(jīng)元2的輸入。在信號(hào)變換下，t共同范數(shù)函數(shù)變成t范數(shù)，從而FASE用t范數(shù)來(lái)聚集信息。
統(tǒng)計(jì)獨(dú)立于類(lèi)神經(jīng)元的屬性神經(jīng)元不具有到類(lèi)神經(jīng)元的權(quán)連接。從而，統(tǒng)計(jì)獨(dú)立的神經(jīng)元不對(duì)特殊類(lèi)提供任何資料。例如，在圖2中沒(méi)有屬性神經(jīng)元A2和類(lèi)神經(jīng)元C1之間的連接。類(lèi)似地，沒(méi)有屬性神經(jīng)元A3和類(lèi)神經(jīng)元C2之間的連接.
發(fā)送到類(lèi)神經(jīng)元4的信號(hào)是可能性。類(lèi)神經(jīng)元4以表現(xiàn)權(quán)8相互連接。在競(jìng)爭(zhēng)性性質(zhì)中，每一類(lèi)神經(jīng)元中的能量減少其他類(lèi)神經(jīng)元的輸出?？赡苄灾g的差是信念度量。因此，如果兩個(gè)類(lèi)神經(jīng)元具有非常類(lèi)似的可能性度量，信念度量將很低。低信念能量表示特殊類(lèi)神經(jīng)元是正確輸出的低真實(shí)信念。另一方面，如果一個(gè)類(lèi)神經(jīng)元的可能性度量遠(yuǎn)高于任何其它類(lèi)神經(jīng)元，信念度量將很高，表明已選擇正確類(lèi)神經(jīng)元的較高置信度。
在圖2的實(shí)例中，沒(méi)有估計(jì)屬性神經(jīng)元間的權(quán)連接。但是，屬性之間的真實(shí)關(guān)系可以在屬性神經(jīng)元之間具有不同種的抑制和表現(xiàn)權(quán)。因此，屬性神經(jīng)元的能量將抵銷(xiāo)其他屬性神經(jīng)元的能量。平均t范數(shù)執(zhí)行得最好。
在通常使用的na ve貝葉斯中，假設(shè)所有屬性彼此獨(dú)立。從而，在屬性神經(jīng)元之間沒(méi)有連接權(quán)。在這一方案下，類(lèi)神經(jīng)元接收過(guò)載的信息/能量，并且信念很快變得接近于0或1。因?yàn)榭紤]屬性神經(jīng)元之間的權(quán)，F(xiàn)ASE更加魯棒準(zhǔn)確(robust accurate)，從而更加準(zhǔn)確地表示屬性神經(jīng)元的相互依賴(lài)。
本領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到本發(fā)明廣泛的應(yīng)用范圍。每一輸出神經(jīng)元信號(hào)可以是模糊類(lèi)，并且它的含義依賴(lài)于上下文。對(duì)分類(lèi)，輸出將意味可能性和信念。對(duì)預(yù)測(cè)，輸出將意味概率。將認(rèn)識(shí)到，給定進(jìn)一步的研究，其他含義也是可能的，并且將被發(fā)現(xiàn)。
如在上面討論的，有兩種人類(lèi)思想方法期望和似然。期望可以在前向神經(jīng)網(wǎng)絡(luò)中模擬。似然可以用后向神經(jīng)網(wǎng)絡(luò)模擬。優(yōu)選地，神經(jīng)網(wǎng)絡(luò)是全連接網(wǎng)絡(luò)，并且網(wǎng)絡(luò)后向或前向工作由事件的時(shí)間選擇決定。在前向神經(jīng)網(wǎng)絡(luò)中，能量分散，其不由數(shù)據(jù)信息加強(qiáng)，概率度量小。后向神經(jīng)網(wǎng)絡(luò)接收能量，從而可能性大。如果幾個(gè)神經(jīng)元具有近似相等的可能性，它們的表現(xiàn)連接減少它們的活動(dòng)性，只有具有較高能量水平的神經(jīng)元保持活躍。
圖3說(shuō)明用于執(zhí)行圖象識(shí)別的神經(jīng)網(wǎng)絡(luò)。網(wǎng)絡(luò)10包括第一層12和第二層14節(jié)點(diǎn)或神經(jīng)元。這一網(wǎng)絡(luò)也具有第三層16。在這個(gè)圖中，網(wǎng)絡(luò)在輸入層12接收退化的圖象信息。輸入節(jié)點(diǎn)激發(fā)到第二層神經(jīng)元14，并且祖母和祖父接收輸入的最高聚集。但是，圖象表示一個(gè)或另一個(gè)的信念非常小，因?yàn)榭赡苄灾捣浅＝咏?。因此，網(wǎng)絡(luò)知道圖象是祖母或祖父的，但是不確信它知道是哪一個(gè)。但是，這一信息進(jìn)一步聚集到表示“老人”的神經(jīng)元16的非常高的可能性和信念值。
因此，如果屬性神經(jīng)元表示到圖象識(shí)別網(wǎng)絡(luò)的輸入，退化圖像可以最終分類(lèi)為老人。這是前向網(wǎng)絡(luò)的實(shí)例。前向網(wǎng)絡(luò)可以與后向網(wǎng)絡(luò)相互作用。這樣的設(shè)計(jì)在ART(Grossberg S.，適應(yīng)的大腦，2vol。阿姆斯特丹Elsevier(1987))中討論。這一類(lèi)型的網(wǎng)絡(luò)可以解釋為概率和可能性的相互作用，并且變?yōu)樗普嫘远攘?，這在Chen(1993)中討論。
根據(jù)本發(fā)明的似真神經(jīng)網(wǎng)絡(luò)計(jì)算并更新權(quán)連接，這在圖4中說(shuō)明。數(shù)據(jù)在步驟20輸入到網(wǎng)絡(luò)中。對(duì)連接神經(jīng)元X和Y的特殊權(quán)連接，執(zhí)行三個(gè)似然計(jì)算。似然函數(shù)根據(jù)上面的等式(10)來(lái)計(jì)算。對(duì)參數(shù)θ122，參數(shù)θ224，和參數(shù)θ1226計(jì)算似然函數(shù)。接下來(lái)，權(quán)連接的似然函數(shù)通過(guò)對(duì)數(shù)變換和優(yōu)化來(lái)計(jì)算28。最后，上面描述的似然規(guī)則用來(lái)更新權(quán)連接的記錄30。
現(xiàn)在將描述神經(jīng)網(wǎng)絡(luò)中的數(shù)據(jù)編碼。設(shè)每一神經(jīng)元是表示特殊數(shù)據(jù)值存在與否的指示函數(shù)。用關(guān)于數(shù)據(jù)值之間關(guān)系的信息，許多網(wǎng)絡(luò)體系結(jié)構(gòu)可以加到神經(jīng)元連接。如果變量是離散的，具有k個(gè)分類(lèi)尺度，它可以由X＝(X1，X2，...，Xk)來(lái)表示，這是標(biāo)準(zhǔn)二進(jìn)制編碼方案。但是，如果這些分類(lèi)是互斥的，那么抑制連接指定到任一對(duì)神經(jīng)元以使它們競(jìng)爭(zhēng)。如果變量是有序尺度的，那么我們將X1，X2，...，Xk按它的正確次序排列，具有相鄰神經(jīng)元之間的弱抑制連接和遠(yuǎn)隔神經(jīng)元之間的強(qiáng)抑制。如果變量是連續(xù)的，X1，X2，...，Xk是區(qū)間或二進(jìn)制的指示函數(shù)，具有正確次序。我們可以指定鄰近神經(jīng)元之間的表現(xiàn)連接和遠(yuǎn)隔神經(jīng)元的抑制連接。一個(gè)好的選擇是Kohonen網(wǎng)絡(luò)體系結(jié)構(gòu)。因?yàn)檫B續(xù)變量只能以一定的精度度量，具有有限長(zhǎng)度的二進(jìn)制向量是充分的。這一方法也覆蓋模糊集編碼，因?yàn)槟：诸?lèi)通常是有序尺度的。
對(duì)模式分類(lèi)問(wèn)題，解決辦法是將競(jìng)爭(zhēng)的類(lèi)網(wǎng)絡(luò)連接到屬性網(wǎng)絡(luò)。依賴(lài)于在訓(xùn)練樣品的類(lèi)標(biāo)簽中提供的信息，這樣的網(wǎng)絡(luò)可以執(zhí)行監(jiān)督學(xué)習(xí)，半監(jiān)督學(xué)習(xí)，或簡(jiǎn)單的無(wú)監(jiān)督學(xué)習(xí)。可以考慮各種分類(lèi)方案。類(lèi)變量可以是連續(xù)的，并且類(lèi)分類(lèi)可以是脆的或模糊的。通過(guò)設(shè)計(jì)類(lèi)神經(jīng)元之間的權(quán)連接，類(lèi)可以排列為層次或它們可以是不相關(guān)的。
對(duì)預(yù)測(cè)問(wèn)題，例如天氣預(yù)報(bào)或預(yù)測(cè)股票市場(chǎng)，PLANN用不確定性度量來(lái)預(yù)測(cè)。因?yàn)樗?jīng)常學(xué)習(xí)，所以預(yù)測(cè)經(jīng)常更新。
認(rèn)識(shí)到神經(jīng)元學(xué)習(xí)機(jī)理是普遍的這一點(diǎn)是重要的。似真推理過(guò)程是那些表面到意認(rèn)水平的過(guò)程。對(duì)于機(jī)器人學(xué)習(xí)問(wèn)題，PLANN過(guò)程加速機(jī)器人的學(xué)習(xí)過(guò)程。
PLANN是已知的最快機(jī)器學(xué)習(xí)過(guò)程。它具有用于權(quán)更新的精確公式，并且計(jì)算只涉及第一和第二順序統(tǒng)計(jì)量。PLANN主要用于大規(guī)模數(shù)據(jù)計(jì)算。
(i)用于并行分布機(jī)的PLANN訓(xùn)練根據(jù)本發(fā)明的并行分布機(jī)可以如下構(gòu)造。并行分布機(jī)可以用許多處理部件構(gòu)造，它是如等式(11a)中描述的那樣計(jì)算權(quán)更新的設(shè)備。機(jī)器程式化以使用附加的激活函數(shù)。訓(xùn)練數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡(luò)機(jī)中。權(quán)值用每一經(jīng)過(guò)處理的數(shù)據(jù)來(lái)更新。輸入數(shù)據(jù)直到機(jī)器如期望的那樣執(zhí)行。最后，一旦機(jī)器如期望的那樣執(zhí)行，對(duì)機(jī)器凍結(jié)權(quán)值以繼續(xù)執(zhí)行特定的任務(wù)。作為選擇，對(duì)交互的學(xué)習(xí)過(guò)程可以允許權(quán)值不斷地更新。
(ii)用于模擬神經(jīng)網(wǎng)絡(luò)的PLANN訓(xùn)練模擬神經(jīng)網(wǎng)絡(luò)可以根據(jù)本發(fā)明如下構(gòu)造。設(shè)(X1，X2，...，XN)表示網(wǎng)絡(luò)中的神經(jīng)元，ωij是Xi和Yi之間的權(quán)連接。權(quán)可以隨機(jī)指定。輸入數(shù)據(jù)并計(jì)算第一和第二順序統(tǒng)計(jì)量。統(tǒng)計(jì)信息記錄在寄存器中。如果數(shù)據(jù)記錄是較高維數(shù)的，它們可以分解為較低維數(shù)的數(shù)據(jù)，這樣交互信息少。然后分別對(duì)較低維數(shù)的數(shù)據(jù)計(jì)算統(tǒng)計(jì)量。更多的數(shù)據(jù)可以輸入并存儲(chǔ)于寄存器中。權(quán)ωij通過(guò)基于等式(11)從輸入的數(shù)據(jù)計(jì)算統(tǒng)計(jì)量來(lái)周期性地更新。然后可以測(cè)試性能。
舉例來(lái)說(shuō)，考慮狗吠數(shù)據(jù)。對(duì)較慢的訓(xùn)練，狗吠數(shù)據(jù)自身可以重復(fù)地輸入而不帶權(quán)連接信息。隨著越來(lái)越多的輸入數(shù)據(jù)，權(quán)將發(fā)展。對(duì)較快的訓(xùn)練，帶有權(quán)連接的狗吠數(shù)據(jù)可以輸入到網(wǎng)絡(luò)中。對(duì)不同種的變量可以選擇適當(dāng)?shù)臄?shù)據(jù)編碼方案。輸入數(shù)據(jù)直到網(wǎng)絡(luò)如期望的那樣執(zhí)行。
(iii)用于數(shù)據(jù)分析的PLANN為了使用PLANN來(lái)分析數(shù)據(jù)，數(shù)據(jù)優(yōu)選地縮小到具有較小維數(shù)的節(jié)。然后可以對(duì)每節(jié)計(jì)算第一和第二順序統(tǒng)計(jì)量。中等強(qiáng)度的t共同范數(shù)/t范數(shù)用來(lái)聚集信息。變量之間真實(shí)的關(guān)系最終達(dá)到平衡。
本發(fā)明將統(tǒng)計(jì)推理，物理學(xué)，生物學(xué)，以及信息理論鏈接到單一結(jié)構(gòu)中。每個(gè)可以由其它來(lái)解釋。McCulloch，W.S.和Pitts，神經(jīng)元活動(dòng)中內(nèi)在思想的邏輯演算，數(shù)理生物學(xué)通報(bào)5，pp.115-133，1943顯示，神經(jīng)元可以用二進(jìn)制閾值信號(hào)函數(shù)作通用計(jì)算。本發(fā)明通過(guò)用等式(11a)中給定的權(quán)函數(shù)連接神經(jīng)元來(lái)執(zhí)行通用計(jì)算。本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到，用不同的信號(hào)函數(shù)，可以描述和構(gòu)造通用模擬計(jì)算機(jī)，通用數(shù)字計(jì)算機(jī)，和兩種機(jī)器的混合。
3.FASE計(jì)算和實(shí)驗(yàn)結(jié)果對(duì)本領(lǐng)域技術(shù)人員將是顯然的，F(xiàn)ASE同等成功地應(yīng)用于包含模糊和/或連續(xù)屬性，以及模糊和/或連續(xù)類(lèi)的分類(lèi)中。對(duì)連續(xù)屬性，對(duì)密度估計(jì)我們使用核估計(jì)量D.W.Scott，多元密度估計(jì)理論，實(shí)踐，和可視化，John Wiley & Sons，1992，第六章，pp.125。
p(x)＝1/nh∑iK((x-xi)/h)， (13)其中為簡(jiǎn)單起見(jiàn)，選擇K來(lái)統(tǒng)一。對(duì)離散屬性，我們使用最大值似然估計(jì)。從每一屬性的估計(jì)概率標(biāo)準(zhǔn)化為可能性，然后如等式(12)中的t范數(shù)聯(lián)合。
我們分析下面兩個(gè)t范數(shù)族來(lái)聚集屬性信息，因?yàn)檫@些t范數(shù)包含模糊運(yùn)算符的廣泛范圍。一個(gè)由M.J.Frank，關(guān)于F(x，y)和X+y-F(x，y)的同時(shí)結(jié)合性，不等式數(shù)學(xué)，Vol.19，pp.194-226，1979提出，如下Ts(a，b)＝logs(1+(sa-1)(sb-1)/(s-1))，對(duì)0＜s＜∞，(14)我們有Ts＝M，當(dāng)s→0；Ts＝∏，當(dāng)s→1；以及Ts＝W，當(dāng)s→∞。
t范數(shù)的另一族由B.Schweizer和A.Sklar，聯(lián)合函數(shù)和抽象半群，出版數(shù)學(xué)，德布勒森，Vol.10，pp.69-81，1963提出，如下Tp(a，b)＝(max(0，ap+bp-1))1/p，對(duì)-∞＜p＜∞，(15)我們有Tp＝M，當(dāng)p→-∞；Tp＝∏，當(dāng)p→0；Tp＝W，當(dāng)p→1。
對(duì)于二進(jìn)制分類(lèi)，如果我們對(duì)每個(gè)屬性的disciminant功率感興趣，那么可以應(yīng)用發(fā)散信息(見(jiàn)S.Kullbac，信息理論與統(tǒng)計(jì)學(xué)，多佛，紐約，第一章，pp.6，1968)，其由下式給出I(p1，p2)＝∑x(p1(x)-p2(x))log(p1(x)/p2(x))(16)FASE不需要考慮先驗(yàn)。但是，如果我們依照可能性度量，將先驗(yàn)乘以似然，那么它將對(duì)某些類(lèi)的資料打折扣。在寬松意義上，先驗(yàn)也可以認(rèn)為是一種資料。
在我們的實(shí)驗(yàn)中使用的數(shù)據(jù)集來(lái)自于UCI資料檔案庫(kù)C.L.Blake和C.J.Merz，UCI資料檔案庫(kù)的機(jī)器學(xué)習(xí)數(shù)據(jù)庫(kù)[http//www.ics.uci.edu/～mlearn/MLRository.html]，1998。為了預(yù)測(cè)準(zhǔn)確性，使用五重交叉驗(yàn)證方法(見(jiàn)R.A.Kohavi，用于準(zhǔn)確估計(jì)及模型選擇的交叉驗(yàn)證及引導(dǎo)程序的研究，第十四屆人工智能聯(lián)合會(huì)議會(huì)議錄，摩根馬Kaufmann，舊金山，pp.1137-1143，1995)。這一計(jì)算基于所有記錄，包括那些帶有缺失值的記錄。在訓(xùn)練集中，那些非缺失的值仍然對(duì)模型估計(jì)提供有用的信息。如果實(shí)例有缺失的值，其被指定為空信念，它的分類(lèi)基于較少數(shù)目的屬性。但是，我們并不經(jīng)常需要所有的屬性以作出正確的分類(lèi)。即使馬腹痛數(shù)據(jù)缺失其值的30％，F(xiàn)ASE仍然相當(dāng)好地執(zhí)行。
表格1具有共同t范數(shù)FASE模型的實(shí)驗(yàn)結(jié)果
*帶有缺失值的數(shù)據(jù)集**對(duì)數(shù)據(jù)集很好地執(zhí)行的t范數(shù)參數(shù)s-弗蘭克參數(shù)，p-Schweizer&Sklar參數(shù)強(qiáng)于乘積的t范數(shù)較少引起關(guān)注并且也不能執(zhí)行，所以不包括它們。最小值規(guī)則反映屬性中最強(qiáng)的資料。如果我們需要聚集大量不相關(guān)屬性，例如DNA數(shù)據(jù)，那么它執(zhí)行得不好。但是如果屬性彼此強(qiáng)相關(guān)，例如投票數(shù)據(jù)，那么它執(zhí)行得最好。
在某些數(shù)據(jù)集中，分類(lèi)對(duì)使用哪個(gè)t范數(shù)是不敏感的。這可由等式(2)和(3)來(lái)解釋。但是，較弱的t范數(shù)通常對(duì)置信度度量提供更合理的估計(jì)，尤其當(dāng)屬性數(shù)目大的時(shí)候。即使那些不是真實(shí)的置信度度量，較低的CF通常表明有沖突屬性。因此，它們?nèi)匀粚?duì)分類(lèi)提供基本信息。例如在crx數(shù)據(jù)中，F(xiàn)ASE分類(lèi)器，具有s＝.1，大約85％準(zhǔn)確。如果考慮那些具有較高的置信度，例如CF＞9的實(shí)例那么可以達(dá)到超過(guò)95％的準(zhǔn)確度。
4.知識(shí)發(fā)現(xiàn)和推理規(guī)則基于類(lèi)屬性的數(shù)據(jù)信息，喜愛(ài)規(guī)則的專(zhuān)家系統(tǒng)可以通過(guò)使用FASE方法被提取。我們用漁民的虹彩數(shù)據(jù)來(lái)說(shuō)明它，因?yàn)槲墨I(xiàn)中它的歷史背景和它的共通承認(rèn)。
圖5-7說(shuō)明從類(lèi)概率到類(lèi)確信因子及模糊集的變換。圖5顯示三個(gè)類(lèi)型的花瓣寬度概率分布，圖6顯示以花瓣寬度的函數(shù)顯示分類(lèi)的確信因子(CF)曲線(xiàn)，以及圖7顯示“大”花瓣寬度的模糊從屬關(guān)系。
圖5-7顯示類(lèi)概率分布和它們的到信念度量的變換，其表示為確信因子(CF)。CF假設(shè)是正的，但是通過(guò)負(fù)數(shù)表示假設(shè)不成立是方便的。
Bel(C|A)可解釋為“如果A那么C具有確信因子CF”。本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到，A可以是單值，集合，或模糊集。通常地，確信因子可以如下計(jì)算 其中 是 的模糊從屬關(guān)系。
如果我們?cè)O(shè)μ(A~(x))=Bel(C=Virginica|x)]]>為花瓣寬度的模糊集“大”，這在圖7中顯示，那么我們有類(lèi)似“如果花瓣寬度大，那么虹彩類(lèi)型為Virginica”的規(guī)則。
這一命題的確信因子與前提x∈ 的事實(shí)相符，它不需要指定。因此在FASE方法下，模糊集和模糊命題可以客觀地從數(shù)據(jù)獲得。
每一信念陳述是證明C，駁斥C，或兩者都不是的命題。如果命題的CF低，它將對(duì)聯(lián)合信念沒(méi)有太大的影響，并且可以忽略。只有那些具有高置信度的命題被提取并且用作專(zhuān)家系統(tǒng)規(guī)則。用于聯(lián)合命題確信因子的推理規(guī)則基于如等式(3)中給定的t范數(shù)。在C.L.Blake和C.J.Merz，UCI資料檔案庫(kù)的機(jī)器學(xué)習(xí)數(shù)據(jù)庫(kù)[http//www.ies.uci.edu/～mlearn/MLRository.html]，1998中已經(jīng)顯示，MYCIN CF模型可以認(rèn)為是FASE的特殊情況，并且它的聯(lián)合規(guī)則(見(jiàn)E.H.Shortliffe和B.G.Buchanan，醫(yī)學(xué)中的不精確推理模型，數(shù)學(xué)生物科學(xué)，Vol.23，pp.351-379，1975)相當(dāng)于可能性度量下的乘積規(guī)則。因此MYCIN推理無(wú)意地假定命題的獨(dú)立性。
聯(lián)合信念Bel(C|A1，A2)可以解釋為“如果A1和A2那么C具有確信因子CF”。但是，我們不經(jīng)常將這一命題作為規(guī)則，除非兩個(gè)屬性都需要以便獲得高置信度，例如XOR問(wèn)題。這需要聯(lián)合概率的估計(jì)和到可能性及信念度量的轉(zhuǎn)換。
在前面的描述中，我們已經(jīng)引入用于模式分類(lèi)和知識(shí)發(fā)現(xiàn)的FASE方法的通用結(jié)構(gòu)。對(duì)實(shí)驗(yàn)，我們將我們的研究限制到用共同t范數(shù)聚集屬性信息的簡(jiǎn)單模型。這一模型的回報(bào)是它計(jì)算快，并且它發(fā)現(xiàn)的知識(shí)易于神會(huì)。如果單個(gè)類(lèi)屬性為分類(lèi)提供判別信息，它可以很好地執(zhí)行，例如在圖5-7中所顯示。在那些情形下，精確信念模型不是非常重要。如果分類(lèi)問(wèn)題依賴(lài)于屬性的聯(lián)合關(guān)系，例如XOR問(wèn)題，這一模式將是不成功的。優(yōu)選地，希望估計(jì)所有類(lèi)屬性的聯(lián)合概率，但是由于組合影響，總是有局限性。而且，如果概率估計(jì)的維數(shù)高，提取的知識(shí)將不易理解。用屬性信息來(lái)信念更新的方法總是所希望的。
圖8是根據(jù)本發(fā)明的可以用來(lái)實(shí)現(xiàn)FASE系統(tǒng)100的框圖。系統(tǒng)100可以包括計(jì)算機(jī)，其包括用戶(hù)輸入設(shè)備102，輸出設(shè)備104，以及連接到處理器108的存儲(chǔ)器106。輸出設(shè)備104可以是可視顯示設(shè)備，例如CRT顯示器或LCD顯示器，投影儀及屏幕，打印機(jī)，或者允許用戶(hù)在視覺(jué)上觀察圖象的任何其它設(shè)備。存儲(chǔ)器106優(yōu)選地存儲(chǔ)一組指令110及待運(yùn)算的數(shù)據(jù)112。本領(lǐng)域技術(shù)人員將必然認(rèn)識(shí)到，也可以用分開(kāi)的存儲(chǔ)器存儲(chǔ)指令110和數(shù)據(jù)112。
存儲(chǔ)器106優(yōu)選地使用靜態(tài)或動(dòng)態(tài)RAM來(lái)實(shí)現(xiàn)。但是，存儲(chǔ)器也可以使用軟盤(pán)及磁盤(pán)驅(qū)動(dòng)器，可寫(xiě)光盤(pán)及磁盤(pán)驅(qū)動(dòng)器，硬盤(pán)驅(qū)動(dòng)器，閃存等等來(lái)實(shí)現(xiàn)。
用戶(hù)輸入設(shè)備102可以是鍵盤(pán)，定點(diǎn)設(shè)備例如鼠標(biāo)，觸摸屏，可視接口，音頻接口例如麥克風(fēng)及模數(shù)音頻轉(zhuǎn)換器，掃描儀，讀帶機(jī)，或者允許用戶(hù)將信息輸入到系統(tǒng)的任何其它設(shè)備。
處理器108優(yōu)選地在可編程通用計(jì)算機(jī)上實(shí)現(xiàn)。但是，如本領(lǐng)域技術(shù)人員將認(rèn)識(shí)的，處理器108也可以在專(zhuān)用計(jì)算機(jī)，可編程微處理器或微控制器及外設(shè)集成電路部件，ASIC或其它集成電路，數(shù)字信號(hào)處理器，硬布線(xiàn)電子或邏輯電路例如離散單元電路，可編程邏輯設(shè)備例如PLD，PLA，F(xiàn)PGA或PAL，等等上實(shí)現(xiàn)。通常地，能夠?qū)崿F(xiàn)圖9-11中所示步驟的任何設(shè)備可以用來(lái)實(shí)現(xiàn)處理器108。
在優(yōu)選實(shí)施方案中，用于執(zhí)行統(tǒng)計(jì)資料模糊分析的系統(tǒng)是安裝在模擬并行分布機(jī)或神經(jīng)網(wǎng)絡(luò)上的計(jì)算機(jī)軟件程序。本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到，計(jì)算機(jī)軟件程序可以安裝并運(yùn)行于許多不同種類(lèi)的計(jì)算機(jī)上，包括個(gè)人計(jì)算機(jī)，小型機(jī)，大型機(jī)，它們具有不同的處理器體系結(jié)構(gòu)，數(shù)字和模擬，包括例如，基于X86的，基于麥金托什G3摩托羅拉處理器的計(jì)算機(jī)，和基于SPARC和ULTRA-SPARC體系結(jié)構(gòu)的工作站，以及所有它們各自的兼容產(chǎn)品。處理器108也可以包括允許用戶(hù)編輯顯示在顯示設(shè)備上的圖象的圖形用戶(hù)界面編輯器。
作為選擇，用于執(zhí)行統(tǒng)計(jì)資料模糊分析的系統(tǒng)也為不需要人類(lèi)編程的新品種機(jī)器而設(shè)計(jì)。這些機(jī)器通過(guò)數(shù)據(jù)來(lái)學(xué)習(xí)，并且為將來(lái)的判斷組織知識(shí)。硬件或神經(jīng)網(wǎng)絡(luò)是具有許多互連的處理單元的集合，并且互連的強(qiáng)度可以通過(guò)學(xué)習(xí)過(guò)程來(lái)修改，就像人類(lèi)那樣。
可選的方法是使用神經(jīng)網(wǎng)絡(luò)來(lái)估計(jì)后驗(yàn)信念。大多數(shù)文獻(xiàn)(例如M.D.Richard和R.P.Lippmann，神經(jīng)網(wǎng)絡(luò)分類(lèi)器估計(jì)貝葉斯后驗(yàn)概率，神經(jīng)計(jì)算，Vol.3，pp.461-483，1991)通過(guò)概率度量來(lái)表示后驗(yàn)信念，但是它們也可以通過(guò)可能性度量來(lái)表示。試探地，可能性及信念度量更適合于對(duì)假設(shè)形成描繪神經(jīng)元活動(dòng)的競(jìng)爭(zhēng)自然。機(jī)器學(xué)習(xí)的許多其它規(guī)則，例如E-M算法，也可以由概率(期望)及可能性(最大似然)度量的相互作用來(lái)解釋。
圖9-11是流程圖，其說(shuō)明用于分析輸入到數(shù)據(jù)庫(kù)或從數(shù)據(jù)庫(kù)提取的信息的統(tǒng)計(jì)資料模糊分析?；诳赡苄约靶拍钆袛嗟膬?yōu)選分類(lèi)方法在圖9中說(shuō)明。在圖9中說(shuō)明的方法可以由如在圖8中說(shuō)明的計(jì)算機(jī)系統(tǒng)100的計(jì)算機(jī)系統(tǒng)來(lái)執(zhí)行，并且熟悉本領(lǐng)域的人將容易認(rèn)識(shí)到，其也可以由模擬分布機(jī)或神經(jīng)網(wǎng)絡(luò)來(lái)執(zhí)行。下面的描述將說(shuō)明根據(jù)本發(fā)明的使用離散屬性的方法。但是，本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到，本發(fā)明的方法可以同樣好地使用模糊屬性的連續(xù)屬性來(lái)應(yīng)用。類(lèi)似地，本發(fā)明的方法同樣好地應(yīng)用于連續(xù)或模糊類(lèi)，雖然為簡(jiǎn)單起見(jiàn)本發(fā)明實(shí)施方案使用離散類(lèi)來(lái)描述。在步驟200，對(duì)應(yīng)于待分類(lèi)項(xiàng)一個(gè)實(shí)例的數(shù)據(jù)從數(shù)據(jù)庫(kù)112取回，并傳送到處理器108而處理。這一特殊的數(shù)據(jù)實(shí)例將具有與多個(gè)屬性相關(guān)的多個(gè)值。在步驟202，對(duì)N個(gè)可能類(lèi)中的每一個(gè)處理屬性數(shù)據(jù)。將認(rèn)識(shí)到，在模擬分布機(jī)或神經(jīng)網(wǎng)絡(luò)中，每一類(lèi)的屬性數(shù)據(jù)可以同時(shí)處理，而在典型數(shù)字計(jì)算機(jī)中，對(duì)每一可能類(lèi)，屬性數(shù)據(jù)可能必須順序地處理。在步驟204，對(duì)每一類(lèi)根據(jù)選定的t范數(shù)來(lái)聚集屬性數(shù)據(jù)，t范數(shù)優(yōu)選地是上面描述的t范數(shù)中的一個(gè)。在步驟206，比較每一類(lèi)的每一聚集值得到選定的最高聚集值。在步驟208，對(duì)與選定聚集值相關(guān)的類(lèi)計(jì)算可能性及信念度量。通過(guò)用與特殊類(lèi)相關(guān)的特殊聚集值除以在步驟206選定的最高聚集值來(lái)計(jì)算可能性值。通過(guò)次最高可能性值減特殊類(lèi)的可能性值來(lái)計(jì)算信念度量。因?yàn)閷?duì)應(yīng)于在步驟206的最高聚集值的類(lèi)將總是導(dǎo)致可能性1，選定類(lèi)的信念度量減少到(1-α)，其中α是第二最高可能性值。在步驟210，特殊實(shí)例屬于由最高可能性值選擇的類(lèi)這一假設(shè)的信念或真實(shí)性是在顯示器104上的輸出。
圖10說(shuō)明根據(jù)本發(fā)明的監(jiān)督學(xué)習(xí)的優(yōu)選方法。在步驟300，訓(xùn)練數(shù)據(jù)從數(shù)據(jù)庫(kù)112接收。訓(xùn)練數(shù)據(jù)包括多個(gè)屬性值，以及每一記錄的類(lèi)標(biāo)簽。在步驟302，對(duì)訓(xùn)練數(shù)據(jù)的每一記錄執(zhí)行概率估計(jì)。在步驟304，每一記錄的屬性數(shù)據(jù)一次一個(gè)地傳遞以檢驗(yàn)特殊記錄屬于每一可能類(lèi)的假設(shè)。在步驟306，對(duì)每一類(lèi)使用選定的t范數(shù)函數(shù)來(lái)聚集屬性數(shù)據(jù)。在步驟308，聚集的屬性值轉(zhuǎn)換為可能性值。最后，在步驟310，對(duì)經(jīng)過(guò)處理的每一記錄，根據(jù)從每一屬性獲得多少在分類(lèi)中有用的信息來(lái)更新加于每一屬性的權(quán)。對(duì)訓(xùn)練數(shù)據(jù)的每一記錄，將由機(jī)器解決的分類(lèi)與可用的類(lèi)標(biāo)號(hào)比較，并且在作出正確分類(lèi)的地方增加權(quán)，而在錯(cuò)誤分類(lèi)出現(xiàn)的地方減小權(quán)。關(guān)于此事，通過(guò)適當(dāng)?shù)卣{(diào)節(jié)加于每一屬性的權(quán)，機(jī)器能夠?qū)W習(xí)而對(duì)將不具有可用類(lèi)標(biāo)簽的將來(lái)數(shù)據(jù)分類(lèi)。
圖11說(shuō)明使用本發(fā)明的知識(shí)發(fā)現(xiàn)的優(yōu)選方法。在步驟400，訓(xùn)練數(shù)據(jù)從數(shù)據(jù)庫(kù)112取回。在步驟402執(zhí)行概率估計(jì)。在步驟404，對(duì)每一類(lèi)測(cè)試每一記錄。在步驟406，對(duì)每一類(lèi)根據(jù)選定的t范數(shù)函數(shù)來(lái)聚集屬性。在步驟408，聚集的值轉(zhuǎn)換為可能性。在步驟410，信念值從產(chǎn)生于步驟408的可能性來(lái)計(jì)算。最后，在步驟412，對(duì)每個(gè)類(lèi)以具有對(duì)應(yīng)于有用知識(shí)的最高信念的每一類(lèi)顯示信念值。這樣，使用在圖11中說(shuō)明的方法，可以識(shí)別最有用的屬性。從而，在隨后的分類(lèi)中，可以通過(guò)去除處理中最沒(méi)用的屬性來(lái)減少計(jì)算過(guò)載。
圖12說(shuō)明根據(jù)本發(fā)明的神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)包括多個(gè)輸入節(jié)點(diǎn)450。輸入節(jié)點(diǎn)450通過(guò)連接器454連接到多個(gè)輸出節(jié)點(diǎn)452中的每一個(gè)。每一輸出節(jié)點(diǎn)452又產(chǎn)生由確信因子節(jié)點(diǎn)458接收的輸出456。
圖13說(shuō)明執(zhí)行概率計(jì)算的貝葉斯神經(jīng)網(wǎng)絡(luò)，并將它與根據(jù)本發(fā)明的可能性神經(jīng)網(wǎng)絡(luò)相比較。兩個(gè)神經(jīng)網(wǎng)絡(luò)都具有多個(gè)輸入節(jié)點(diǎn)500以及中間層端口502。同貝葉斯神經(jīng)網(wǎng)絡(luò)相比較，在可能性網(wǎng)絡(luò)中中間層輸出的計(jì)算不同。如在貝葉斯神經(jīng)網(wǎng)絡(luò)中顯示的，中間層節(jié)點(diǎn)502的輸出是概率，因此其和為1。但是，在可能性網(wǎng)絡(luò)中，最可能的選擇，老婦人，給定值1，而下一最高值，老人，給定比較低的值(0.8)。因此，可能性神經(jīng)網(wǎng)絡(luò)將退化的輸入圖象分類(lèi)為祖母，但是祖母分類(lèi)是正確的這一信念將相對(duì)低，因?yàn)樽娓傅纳舷拗挡幻黠@低于祖母的上限值。這也在貝葉斯神經(jīng)網(wǎng)絡(luò)中顯示。但是，如果進(jìn)一步的信息變得可用，將看到額外的屬性并入可能性神經(jīng)網(wǎng)絡(luò)將比它并入貝葉斯神經(jīng)網(wǎng)絡(luò)更容易。如果在可能性神經(jīng)網(wǎng)絡(luò)中額外的屬性變得可用，新信息簡(jiǎn)單地加到現(xiàn)有信息，導(dǎo)致更新后的可能性輸出。相反，在貝葉斯網(wǎng)絡(luò)中，為了并入新信息，每一概率輸出將必須重新計(jì)算，以使概率輸出再一次相加得1。因此，具有確信因子的附加好處及較低的計(jì)算代價(jià)，可能性網(wǎng)絡(luò)在分類(lèi)上至少與貝葉斯神經(jīng)網(wǎng)絡(luò)同樣有效。
雖然已選擇有利的實(shí)施方案來(lái)說(shuō)明本發(fā)明，但是本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到，其中可以作各種改變和調(diào)整而不違背于本發(fā)明的范疇。
權(quán)利要求
1.一種將事物分類(lèi)成為多個(gè)類(lèi)中一個(gè)或多個(gè)的成員的方法，所述事物具有多個(gè)與之相關(guān)的屬性，所述方法包括步驟(a)對(duì)所述多個(gè)類(lèi)中的每一個(gè)，基于每一所述屬性指定屬性值，每一所述屬性值表示所述事物是基于所述屬性的相關(guān)類(lèi)的成員的相對(duì)可能性，(b)對(duì)所述多個(gè)類(lèi)中的每一個(gè)，使用t范數(shù)函數(shù)來(lái)聚集所述屬性值，(c)選擇最高聚集值，(d)確定所述事物屬于與所述最高聚集值相關(guān)的類(lèi)，(e)基于所述最高聚集值和第二最高聚集值的相對(duì)值來(lái)確定確信因子。
2.權(quán)利要求1的方法進(jìn)一步包括(f)基于由每一屬性提供的相對(duì)信息來(lái)規(guī)范化所述屬性值。
3.一種訓(xùn)練機(jī)器以將事物分類(lèi)成為多個(gè)類(lèi)中一個(gè)或多個(gè)的成員的方法，該方法包括步驟(a)對(duì)所述機(jī)器提供訓(xùn)練數(shù)據(jù)，所述訓(xùn)練數(shù)據(jù)包括多個(gè)記錄，每一記錄具有與之相關(guān)的屬性，所述屬性數(shù)據(jù)包括與多個(gè)可能屬性相關(guān)的值，每一記錄進(jìn)一步具有與之相關(guān)的類(lèi)值，其指示該記錄屬于的類(lèi)，(b)對(duì)每一所述可能屬性，基于對(duì)基本上所有所述記錄中的屬性給出的值分布來(lái)規(guī)范化每一記錄的所述屬性數(shù)據(jù)，(c)對(duì)每一所述記錄，在可用的屬性數(shù)據(jù)上執(zhí)行t范數(shù)運(yùn)算，并且對(duì)每一所述可能類(lèi)產(chǎn)生可能性值，所述可能性值對(duì)應(yīng)于該記錄屬于所述特殊類(lèi)中一個(gè)的相對(duì)可能性，(d)對(duì)所述多個(gè)類(lèi)中的每一個(gè)，聚集具有與所述類(lèi)相關(guān)的類(lèi)值的基本上所有記錄，并且根據(jù)每一屬性符合所述類(lèi)正確確定的程度來(lái)產(chǎn)生每一屬性的權(quán)。
4.權(quán)利要求3的方法，進(jìn)一步包括步驟(b)對(duì)每一所述記錄，產(chǎn)生具有最高可能性值的一個(gè)或多個(gè)類(lèi)的信念值，所述信念值表示所述類(lèi)的可能性值與下一最高可能性值之間的差，(c)從與產(chǎn)生閾值之上信念值的那條記錄相關(guān)的屬性中產(chǎn)生一列提供資料的屬性。
5.適合于計(jì)算機(jī)使用的一種產(chǎn)品，包括存儲(chǔ)介質(zhì)，其上存儲(chǔ)實(shí)現(xiàn)多個(gè)函數(shù)的機(jī)器指令，這些函數(shù)對(duì)將一個(gè)項(xiàng)目分類(lèi)成為多個(gè)類(lèi)中一個(gè)或多個(gè)的成員有用，所述事物具有與之相關(guān)的多個(gè)屬性，當(dāng)機(jī)器指令由計(jì)算機(jī)執(zhí)行時(shí)，所述函數(shù)包括(a)對(duì)所述多個(gè)類(lèi)中的每一個(gè)，基于每一所述屬性指定屬性值，每一所述屬性值表示所述事物基于所述屬性是相關(guān)類(lèi)的成員的相對(duì)概率，(b)對(duì)所述多個(gè)類(lèi)中的每一個(gè)，使用t范數(shù)函數(shù)來(lái)聚集所述屬性值，(c)選擇最高聚集值，(d)確定所述事物屬于與所述最高聚集值相關(guān)的類(lèi)，(e)基于所述最高聚集值和第二最高聚集值的相對(duì)值來(lái)確定確信因子。
6.適合于計(jì)算機(jī)使用的一種產(chǎn)品，包括存儲(chǔ)介質(zhì)，其上存儲(chǔ)實(shí)現(xiàn)多個(gè)函數(shù)的機(jī)器指令，這些函數(shù)對(duì)訓(xùn)練機(jī)器以將一個(gè)事物分類(lèi)成為多個(gè)類(lèi)中一個(gè)或多個(gè)的成員有用，所述函數(shù)包括(a)對(duì)所述計(jì)算機(jī)提供訓(xùn)練數(shù)據(jù)，所述訓(xùn)練數(shù)據(jù)包括多個(gè)記錄，每一記錄具有與之相關(guān)的屬性數(shù)據(jù)，所述屬性數(shù)據(jù)包括與多個(gè)可能屬性相關(guān)的值，每一記錄進(jìn)一步具有與之相關(guān)的類(lèi)值，其指示記錄屬于的類(lèi)，(b)對(duì)每一所述可能屬性，基于對(duì)基本上所有所述記錄中的屬性給出的值分布來(lái)規(guī)范化每一記錄的所述屬性數(shù)據(jù)，(c)對(duì)每一所述記錄，在可用的屬性數(shù)據(jù)上執(zhí)行t范數(shù)運(yùn)算，并且對(duì)每一所述可能類(lèi)產(chǎn)生可能性值，所述可能性值對(duì)應(yīng)于記錄屬于所述特殊類(lèi)中一個(gè)的相對(duì)可能性，(d)對(duì)所述多個(gè)類(lèi)中的每一個(gè)，聚集具有與所述類(lèi)相關(guān)的類(lèi)值的基本上所有記錄，并且根據(jù)每一屬性符合所述類(lèi)正確確定的程度來(lái)產(chǎn)生每一屬性的權(quán)。
7.權(quán)利要求6的產(chǎn)品，所述函數(shù)進(jìn)一步包括(e)對(duì)每一所述記錄，產(chǎn)生具有最高可能性值的一個(gè)或多個(gè)類(lèi)的信念值，所述信念值表示所述類(lèi)的可能性值與下一最高可能性值之間的差，(f)從與產(chǎn)生閾值之上信念值的那條記錄相關(guān)的屬性中產(chǎn)生一列提供資料的屬性。
8.一種適合于將事物分類(lèi)成為多個(gè)類(lèi)中一個(gè)或多個(gè)的成員的裝置，所述事物具有與之相關(guān)的多個(gè)屬性，所述裝置包括輸出設(shè)備和輸入設(shè)備，處理器，以及存儲(chǔ)器，其具有用于執(zhí)行其中存儲(chǔ)的一系列函數(shù)的機(jī)器可執(zhí)行指令，并且適合于接收和存儲(chǔ)一系列數(shù)據(jù)記錄，所述函數(shù)包括(a)在所述輸入設(shè)備接收對(duì)應(yīng)于尋求分類(lèi)的所述事物的數(shù)據(jù)記錄，所述數(shù)據(jù)記錄包括對(duì)應(yīng)于所述事物屬性的屬性值，(b)對(duì)所述多個(gè)類(lèi)的每一個(gè)，通過(guò)使用t范數(shù)函數(shù)聚集所述屬性值來(lái)產(chǎn)生聚集值，(c)從所屬聚集值中選擇最高聚集值，(d)基于所述最高聚集值從多個(gè)類(lèi)中確定最可能的類(lèi)，(e)基于所述最高聚集值和第二最高聚集值的相對(duì)值來(lái)確定確信因子，(f)在所述輸出設(shè)備輸出所述最可能的類(lèi)和所述確信因子。
9.一種適合于被訓(xùn)練來(lái)將事物分類(lèi)成為多個(gè)類(lèi)中一個(gè)或多個(gè)的成員的裝置，所述事物具有與之相關(guān)的多個(gè)屬性，所述機(jī)器包括輸出設(shè)備和輸入設(shè)備，處理器，以及存儲(chǔ)器，其具有用于執(zhí)行其中存儲(chǔ)的一系列函數(shù)的機(jī)器可執(zhí)行指令，并且適合于接收和存儲(chǔ)一系列數(shù)據(jù)記錄，所述函數(shù)包括(a)在所述輸入設(shè)備接收訓(xùn)練數(shù)據(jù)，所述訓(xùn)練數(shù)據(jù)包括多個(gè)記錄，每一記錄具有與之相關(guān)的屬性，所述屬性數(shù)據(jù)包括與多個(gè)屬性相關(guān)的值，每一記錄進(jìn)一步具有與之相關(guān)的類(lèi)值，其指示記錄屬于的類(lèi)，(b)對(duì)每一所述屬性，基于對(duì)基本上所有所述記錄中的屬性給出的值分布來(lái)規(guī)范化每一記錄的所述屬性數(shù)據(jù)，(c)對(duì)每一所述記錄，在可用的屬性數(shù)據(jù)上執(zhí)行t范數(shù)運(yùn)算，并且對(duì)每一所述可能類(lèi)產(chǎn)生可能性值，所述可能性值對(duì)應(yīng)于記錄屬于所述特殊類(lèi)中一個(gè)的相對(duì)可能性，(d)對(duì)所述多個(gè)類(lèi)中的每一個(gè)，聚集具有與所述類(lèi)相關(guān)的類(lèi)值的基本上所有記錄，并且根據(jù)每一屬性符合所述類(lèi)正確確定的程度來(lái)產(chǎn)生每一屬性的權(quán)。
10.權(quán)利要求9的裝置，所述函數(shù)進(jìn)一步包括(e)對(duì)每一所述記錄，產(chǎn)生具有最高可能性值的一個(gè)或多個(gè)類(lèi)的信念值，所述信念值表示所述類(lèi)的可能性值與下一最高可能性值之間的差，(f)從與產(chǎn)生閾值之上信念值的那條記錄相關(guān)的屬性中產(chǎn)生一列提供資料的屬性。
11.權(quán)利要求10的裝置，所述函數(shù)進(jìn)一步包括(g)通過(guò)所述輸出設(shè)備輸出所述信念值和所述列。
12.一種神經(jīng)網(wǎng)絡(luò)，包括至少一個(gè)輸入層和一個(gè)輸出層，輸入層具有多個(gè)輸入節(jié)點(diǎn)，輸出層具有多個(gè)輸出節(jié)點(diǎn)，這樣每一輸出節(jié)點(diǎn)從每一輸入節(jié)點(diǎn)接收加權(quán)輸入，其表示特殊輸出節(jié)點(diǎn)代表正確輸出的可能性，其中，輸出節(jié)點(diǎn)根據(jù)t范數(shù)函數(shù)從每一輸入節(jié)點(diǎn)聚集輸入，并且產(chǎn)生表示t范數(shù)函數(shù)結(jié)果的輸出。
13.一種神經(jīng)網(wǎng)絡(luò)，包括至少一個(gè)輸入層，一個(gè)輸出層，和一個(gè)確信因子節(jié)點(diǎn)，輸入層具有多個(gè)輸入節(jié)點(diǎn)，輸出層具有多個(gè)輸出節(jié)點(diǎn)，這樣每一輸出節(jié)點(diǎn)從每一輸入節(jié)點(diǎn)接收加權(quán)輸入，其表示特殊輸出節(jié)點(diǎn)代表正確輸出的可能性，并且確信因子節(jié)點(diǎn)從每一輸出節(jié)點(diǎn)接收輸入。其中，輸出節(jié)點(diǎn)根據(jù)t范數(shù)函數(shù)從每一輸入節(jié)點(diǎn)聚集輸入，并且產(chǎn)生表示t范數(shù)函數(shù)結(jié)果的輸出，并且其中，確信因子節(jié)點(diǎn)產(chǎn)生表示來(lái)自于輸出節(jié)點(diǎn)的最高輸出和來(lái)自于輸出節(jié)點(diǎn)的第二最高輸出之間差的輸出。
14.權(quán)利要求13的神經(jīng)網(wǎng)絡(luò)，其中網(wǎng)絡(luò)包括多個(gè)確信因子節(jié)點(diǎn)，每一確信因子節(jié)點(diǎn)從每一輸出節(jié)點(diǎn)接收輸入，并且每一確信因子節(jié)點(diǎn)的輸出表示n最高輸出節(jié)點(diǎn)的輸出和來(lái)自于輸出結(jié)點(diǎn)的下一最高輸出之間的差。
15.一種通用并行分布式計(jì)算機(jī)，包括至少一個(gè)輸入層和一個(gè)輸出層，所述輸入層具有多個(gè)輸入神經(jīng)元，并且所述輸出層具有多個(gè)輸出神經(jīng)元，這樣每一所述神經(jīng)元具有到至少一個(gè)其它神經(jīng)元的權(quán)連接。其中，所述權(quán)連接表示交互信息，并且所述交互信息由權(quán)的似然函數(shù)表示。
16.權(quán)利要求15的機(jī)器，其中所述權(quán)連接的值通過(guò)將兩個(gè)相關(guān)神經(jīng)元的似然函數(shù)相乘并規(guī)范化結(jié)果來(lái)確定。
17.權(quán)利要求15的機(jī)器，其中所述機(jī)器是模擬并行分布機(jī)。
18.權(quán)利要求15的機(jī)器，其中所述機(jī)器是數(shù)字并行分布機(jī)。
19.權(quán)利要求15的機(jī)器，其中所述機(jī)器是混合數(shù)字和模擬并行分布機(jī)。
20.一種訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法，該神經(jīng)網(wǎng)絡(luò)包括具有多個(gè)輸入神經(jīng)元的輸入層和具有多個(gè)輸出神經(jīng)元的輸出層，每一所述神經(jīng)元具有到至少一個(gè)其它神經(jīng)元的權(quán)連接，所述方法包括步驟(a)對(duì)所述機(jī)器提供訓(xùn)練數(shù)據(jù)，所述訓(xùn)練數(shù)據(jù)包括多個(gè)記錄，每一記錄具有至少一個(gè)與之相關(guān)的神經(jīng)元，這樣所述記錄導(dǎo)致所述相關(guān)神經(jīng)元將信號(hào)激發(fā)到連接的神經(jīng)元，(b)使用似然規(guī)則來(lái)更新所述權(quán)連接的權(quán)，所述規(guī)則基于每一連接的激發(fā)神經(jīng)元的似然和一起激發(fā)的兩個(gè)神經(jīng)元的似然，(c)用t共同范數(shù)運(yùn)算聚集在每一所述連接的神經(jīng)元的所述信號(hào)，(d)評(píng)價(jià)所述機(jī)器的性能，以及(e)重復(fù)步驟(a)-(d)。
全文摘要
公開(kāi)一種用于執(zhí)行并行分布式處理的裝置和方法。多個(gè)節(jié)點(diǎn)用權(quán)連接來(lái)連接(圖1和12)。權(quán)連接基于相關(guān)節(jié)點(diǎn)的似然函數(shù)來(lái)更新(30),同樣,到節(jié)點(diǎn)的輸入使用t范數(shù)(306)或t共同范數(shù)函數(shù)來(lái)聚集,輸出表示可能性及信念度量(308)。
文檔編號(hào)G06K9/62GK1423781SQ01808178
公開(kāi)日2003年6月11日 申請(qǐng)日期2001年3月15日 優(yōu)先權(quán)日2000年3月16日
發(fā)明者陳垣洋 申請(qǐng)人:陳垣洋