專利名稱：一種機(jī)器翻譯自動(dòng)評(píng)測(cè)方法及其系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及自然語(yǔ)言處理領(lǐng)域，更具體地說(shuō)，本發(fā)明涉及一種機(jī)器翻譯自動(dòng)評(píng)測(cè)方法。
背景技術(shù)：
機(jī)器翻譯(Machine Translation，MT)是利用計(jì)算機(jī)把一種自然語(yǔ)言轉(zhuǎn)變成另一種自然語(yǔ)言的過(guò)程，用以完成這一過(guò)程的軟件叫做機(jī)器翻譯系統(tǒng)。對(duì)機(jī)器翻譯系統(tǒng)翻譯質(zhì)量的評(píng)測(cè)是整個(gè)自然語(yǔ)言領(lǐng)域核心和關(guān)鍵的部分。近幾年來(lái)，在自然語(yǔ)言研究領(lǐng)域中，評(píng)測(cè)問(wèn)題越來(lái)越受到廣泛的重視。機(jī)器翻譯評(píng)測(cè)對(duì)于機(jī)器翻譯的研究和發(fā)展具有重要意義機(jī)器翻譯系統(tǒng)的開發(fā)者可以通過(guò)評(píng)測(cè)得知系統(tǒng)存在的問(wèn)題而不斷改進(jìn)；系統(tǒng)集成者可以根據(jù)評(píng)測(cè)結(jié)果來(lái)選擇性能好的系統(tǒng)集成到軟件平臺(tái)之中；用戶也可以根據(jù)評(píng)測(cè)報(bào)告選擇滿足自己需求的產(chǎn)品；而對(duì)于機(jī)器翻譯的研究人員來(lái)說(shuō)，評(píng)測(cè)能夠給他們的技術(shù)發(fā)展方向提供最可靠的依據(jù)。
目前，機(jī)器翻譯評(píng)測(cè)通常采用人工評(píng)測(cè)或自動(dòng)評(píng)測(cè)。對(duì)機(jī)器翻譯系統(tǒng)進(jìn)行人工評(píng)測(cè)代價(jià)高昂，需要花費(fèi)大量的人力和時(shí)間，而且人工評(píng)測(cè)具有難以保持一致性的缺點(diǎn)。機(jī)器翻譯自動(dòng)評(píng)測(cè)技術(shù)通過(guò)使用存儲(chǔ)在計(jì)算機(jī)內(nèi)的軟件對(duì)機(jī)器翻譯系統(tǒng)進(jìn)行自動(dòng)的評(píng)價(jià)，具有迅速、反饋及時(shí)等優(yōu)點(diǎn)，并且能夠保證評(píng)價(jià)的一致性，對(duì)于機(jī)器翻譯的研究和應(yīng)用具有重要的意義。
當(dāng)前的機(jī)器翻譯自動(dòng)評(píng)測(cè)方法都是基于機(jī)器翻譯系統(tǒng)的輸出譯文與預(yù)先指定的參考譯文之間的字符串匹配的，也就是在參考譯文中查找在輸出譯文中出現(xiàn)的字符串。對(duì)于匹配到的字符串的處理方式有很多種，基于N-gram共現(xiàn)的方法是目前機(jī)器翻譯自動(dòng)評(píng)測(cè)技術(shù)中的主要方法?；贜-gram共現(xiàn)的方法主要有兩種BLEU和NIST。BLEU對(duì)于單個(gè)句子的評(píng)分常常為零，區(qū)分度較差。NIST的優(yōu)點(diǎn)是考慮了信息量，對(duì)詞的信息粒度具有區(qū)分度，缺點(diǎn)是生成的分值只具有相對(duì)意義，不能夠絕對(duì)地評(píng)判譯文質(zhì)量的優(yōu)劣。同時(shí)BLEU和NIST限制了每一個(gè)匹配子片斷的最大長(zhǎng)度(最新版本為9)。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種新的機(jī)器翻譯自動(dòng)評(píng)測(cè)方法，該方法使用熵作為機(jī)器翻譯系統(tǒng)輸出譯文的評(píng)測(cè)指標(biāo)，并且該方法能夠產(chǎn)生一個(gè)具有絕對(duì)意義的評(píng)測(cè)結(jié)果。
為了實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明提供的機(jī)器翻譯自動(dòng)評(píng)測(cè)方法，包括如下步驟1)在至少一篇參考譯文中查找所述輸出譯文的匹配子片斷，所述匹配子片斷在所述輸出譯文中為離散分布的匹配字符串；匹配子片斷的長(zhǎng)度為li，i＝1～n，其中n為所述輸出譯文中匹配子片斷的個(gè)數(shù)；2)根據(jù)匹配子片斷計(jì)算熵H=-Σi=1nliLlog2(liL),]]>其中L=Σi=1nli]]>是匹配子片段的總長(zhǎng)度；所述熵H作為所述輸出譯文的評(píng)價(jià)指標(biāo)。
作為本發(fā)明的進(jìn)一步改進(jìn)，還包括如下步驟3)計(jì)算長(zhǎng)度懲罰系數(shù)LP=2|LcanLref‾-1|,]]>其中，Lcan是所述輸出譯文的長(zhǎng)度，Lref是所述至少一篇參考譯文的平均長(zhǎng)度；4)計(jì)算匹配比例懲罰系數(shù)r=LLcan;]]>5)根據(jù)熵H、長(zhǎng)度懲罰系數(shù)LP和匹配比例懲罰系數(shù)r計(jì)算評(píng)測(cè)得分segScore＝a-H*LP*r，其中a為在1.1～1.5范圍內(nèi)取值的參數(shù)，優(yōu)選取值為1.2；所述評(píng)測(cè)得分segScore作為所述輸出譯文的評(píng)價(jià)指標(biāo)。
本發(fā)明還提供一種機(jī)器翻譯自動(dòng)評(píng)測(cè)系統(tǒng)，用于對(duì)機(jī)器翻譯系統(tǒng)的輸出譯文與設(shè)定的至少一篇參考譯文進(jìn)行處理，該系統(tǒng)包括一計(jì)算機(jī)，所述計(jì)算機(jī)包括子片斷搜索模塊，用于在所述至少一篇參考譯文內(nèi)搜索所述輸出譯文的匹配子片斷；長(zhǎng)度計(jì)算模塊，用于計(jì)算子片斷搜索模塊搜索出的匹配子片斷的長(zhǎng)度，以及計(jì)算所有匹配子片斷的總長(zhǎng)度；其中，匹配子片斷的長(zhǎng)度為li，i＝1～n，其中n為所述輸出譯文中匹配子片斷的個(gè)數(shù)；L=Σi=1nli]]>是匹配子片段的總長(zhǎng)度；熵模塊，用于根據(jù)匹配子片斷計(jì)算熵H=-Σi=1nliLlog2(liL);]]>長(zhǎng)度懲罰模塊，用于計(jì)算長(zhǎng)度懲罰系數(shù)LP=2|LcanLref‾-1|,]]>其中，Lcan是所述輸出譯文的長(zhǎng)度，Lref是所述至少一篇參考譯文的平均長(zhǎng)度；匹配比例懲罰模塊，用于計(jì)算匹配比例懲罰系數(shù)r=LLcan;]]>
評(píng)測(cè)得分計(jì)算模塊，用于根據(jù)熵H、長(zhǎng)度懲罰系數(shù)LP和匹配比例懲罰系數(shù)r計(jì)算評(píng)測(cè)得分segScore＝a-H*LP×r，其中a為在1.1～1.5范圍內(nèi)取值，優(yōu)選取值為1.2。
本發(fā)明的機(jī)器翻譯自動(dòng)評(píng)測(cè)方法和系統(tǒng)用熵來(lái)表征匹配子片斷的分布情況，直接采用熵或者采用引入懲罰措施后的一個(gè)評(píng)分作為評(píng)價(jià)系統(tǒng)輸出譯文質(zhì)量的指標(biāo)。由于熵作為一個(gè)統(tǒng)計(jì)量本身是事物不確定性的度量，將其用于機(jī)器翻譯自動(dòng)評(píng)測(cè)時(shí)，可以反映匹配子片斷的分布情況。熵值越低，說(shuō)明匹配子片斷的分布越集中，譯文與參考譯文的匹配程度就越高，譯文質(zhì)量就越好；熵值越高，說(shuō)明匹配子片斷的分布越分散，譯文與參考譯文的匹配程度越低，譯文質(zhì)量就越差。所以，用熵作為譯文質(zhì)量的評(píng)價(jià)指標(biāo)，可以較好地反映輸出譯文的質(zhì)量。本發(fā)明還針對(duì)熵引入適當(dāng)?shù)膽土P措施，以避免系統(tǒng)輸出譯文過(guò)長(zhǎng)或過(guò)短，或者匹配比例多少而導(dǎo)致評(píng)測(cè)不當(dāng)?shù)膯?wèn)題。進(jìn)一步的，采用熵或者采用引入懲罰措施后的一個(gè)評(píng)分作為評(píng)價(jià)系統(tǒng)輸出譯文質(zhì)量的指標(biāo)時(shí)，其指標(biāo)具有絕對(duì)意義。最后，本發(fā)明在計(jì)算熵時(shí)，并不限制各個(gè)匹配子片斷的長(zhǎng)度li，克服了現(xiàn)有的基于N-gram共現(xiàn)的方法需要限制匹配子片斷長(zhǎng)度的缺點(diǎn)，因此其應(yīng)用更加靈活和廣泛。


圖1是本發(fā)明的機(jī)器翻譯自動(dòng)評(píng)測(cè)方法的流程圖；圖2是本發(fā)明一個(gè)實(shí)施例中匹配片斷和匹配子片斷的示意圖。
具體實(shí)施例方式
下面結(jié)合附圖和具體實(shí)施方式
對(duì)本發(fā)明作進(jìn)一步詳細(xì)描述。
對(duì)于一個(gè)機(jī)器翻譯自動(dòng)評(píng)測(cè)系統(tǒng)，通常是用一個(gè)帶有特定程序的計(jì)算機(jī)來(lái)實(shí)現(xiàn)。對(duì)于同一篇待翻譯文章，由機(jī)器翻譯系統(tǒng)對(duì)該文章完成翻譯并輸出譯文，專業(yè)翻譯人員也對(duì)該文章完成翻譯作為參考譯文。機(jī)器翻譯系統(tǒng)提供的輸出譯文以及翻譯人員提供的參考譯文均存儲(chǔ)在前述帶有程序的計(jì)算機(jī)內(nèi)，該計(jì)算機(jī)的程序完成對(duì)機(jī)器翻譯系統(tǒng)的輸出譯文的評(píng)測(cè)。在本發(fā)明中，機(jī)器翻譯自動(dòng)評(píng)測(cè)系統(tǒng)中計(jì)算機(jī)程序的流程圖如圖1所示。
類似于大多數(shù)基于匹配的機(jī)器翻譯自動(dòng)評(píng)測(cè)方法，例如基于N-gram共現(xiàn)和基于計(jì)算調(diào)和平均數(shù)的方法，本發(fā)明的自動(dòng)評(píng)測(cè)方法也要首先分析機(jī)器翻譯系統(tǒng)的輸出譯文相對(duì)于參考譯文的匹配。如圖1所示，在本發(fā)明中，首先在步驟10中查找匹配子片斷。在本發(fā)明中，匹配片斷和匹配子片斷是指輸出譯文相對(duì)于參考譯文匹配到的字符串。在一般情況下，系統(tǒng)輸出譯文和參考譯文不是完全相同的，因此這些匹配到的字符串在系統(tǒng)輸出譯文中必然離散分布，中間被沒(méi)有匹配到的字符串隔開，將這些離散分布的匹配字符串稱之為匹配片斷。
雖然匹配片斷內(nèi)部的每個(gè)詞在位置上是前后連接的，但是對(duì)于有多個(gè)參考譯文的情況，匹配片斷可能不是作為一個(gè)整體匹配到，而是有一部分是在一個(gè)參考譯文中匹配到，另外一部分是在另一個(gè)參考譯文中匹配到。將在多參考譯文的情況下在單個(gè)參考譯文中匹配到的字符串稱之為匹配子片斷，在多個(gè)參考譯文中匹配到的字符串稱之為匹配片斷。對(duì)于匹配片斷中的子片斷，優(yōu)先保留長(zhǎng)度最長(zhǎng)的子片斷。如果兩個(gè)子片斷有交疊部分，則優(yōu)先保留較長(zhǎng)子片斷，另一個(gè)則被截去交疊部分長(zhǎng)度。這樣就保證了子片斷之間沒(méi)有交疊部分。
對(duì)于匹配片斷和匹配子片斷的含義在圖2的例子中可以理解得更清楚。如圖2所示，箭頭之上的四行表示系統(tǒng)輸出譯文和四個(gè)參考譯文分別匹配的情況。圖中帶黑點(diǎn)的空格表示匹配到的詞，而不帶黑點(diǎn)的空格表示未匹配到的詞。箭頭之下的一行表示輸出譯文和四個(gè)參考譯文最終的匹配情況。如圖2所示，在箭頭之下的一行中，由連續(xù)三個(gè)帶①的空格和一個(gè)帶②的空格組成了一個(gè)匹配片斷A，該匹配片斷A是由多個(gè)在四個(gè)參考譯文中匹配到的字片斷(即圖2中帶黑點(diǎn)的空格)組成的；并且，在該匹配片斷A中，最長(zhǎng)的子片斷a1由連續(xù)三個(gè)帶①的空格組成，它對(duì)應(yīng)著圖2中第一行中最左邊的連續(xù)三個(gè)帶黑點(diǎn)的空格，因此這三個(gè)帶①的空格作為一個(gè)匹配子片斷a1，而匹配片斷A剩下一個(gè)帶②的空格為匹配子片斷a2。同樣的，在箭頭之下的一行中，由連續(xù)四個(gè)帶③的空格和一個(gè)帶④的空格組成了一個(gè)匹配片斷B，在該匹配片斷B中，最長(zhǎng)的子片斷b1由連續(xù)四個(gè)帶③的空格組成，它對(duì)應(yīng)著圖2中第二行中從右往左數(shù)第2～5個(gè)連續(xù)四個(gè)帶黑點(diǎn)的空格，因此這四個(gè)帶③的空格作為一個(gè)匹配子片斷b1，而匹配片斷B剩下一個(gè)帶④的空格為匹配子片斷b2。總之，在圖2所示的例子中，輸出譯文和四個(gè)參考譯文的匹配包括兩個(gè)匹配片斷A和B，也可以說(shuō)包括四個(gè)匹配子片斷a1、a2、b1、和b2。在隨后的描述中可知，在本發(fā)明中計(jì)算熵時(shí)采用的是匹配子片斷。
在本發(fā)明中，對(duì)于輸出譯文相對(duì)于參考譯文的匹配子片斷的搜索是通過(guò)計(jì)算機(jī)的一個(gè)子片斷搜索模塊來(lái)實(shí)現(xiàn)的。該模塊用存儲(chǔ)在計(jì)算機(jī)中的程序來(lái)實(shí)現(xiàn)，這對(duì)于本領(lǐng)域中的技術(shù)人員來(lái)說(shuō)是很容易實(shí)現(xiàn)的。
圖1的步驟11中，本發(fā)明使用熵來(lái)表征這些匹配子片斷的分布情況。設(shè)系統(tǒng)輸出譯文相對(duì)于參考譯文共有n個(gè)匹配子片斷，每個(gè)子片斷的長(zhǎng)度為li(i＝1～n)。則匹配子片斷的總長(zhǎng)度L為L(zhǎng)=Σi=1nli]]>
熵H為H=-Σi=1nliLlog2(liL)]]>如果系統(tǒng)輸出譯文與參考譯文完全相同，那么H＝0；如果完全不相同，那么可規(guī)定H＝+∞。系統(tǒng)輸出譯文質(zhì)量越高，其對(duì)應(yīng)的H越小。根據(jù)熵H可以基本上判斷譯文的質(zhì)量。
在本發(fā)明中，匹配子片斷長(zhǎng)度li的計(jì)算和所有匹配子片斷的總長(zhǎng)度L的計(jì)算是通過(guò)計(jì)算機(jī)的一個(gè)長(zhǎng)度計(jì)算模塊來(lái)實(shí)現(xiàn)的。而熵H的計(jì)算是通過(guò)計(jì)算機(jī)的一個(gè)熵模塊來(lái)實(shí)現(xiàn)的。長(zhǎng)度計(jì)算模塊和熵模塊用存儲(chǔ)在計(jì)算機(jī)中的程序來(lái)實(shí)現(xiàn)，這對(duì)于本領(lǐng)域中的技術(shù)人員來(lái)說(shuō)是很容易實(shí)現(xiàn)的。
如果系統(tǒng)輸出譯文的長(zhǎng)度過(guò)長(zhǎng)或者過(guò)短，那么這樣計(jì)算出來(lái)的熵也許不能反映出譯文的真實(shí)質(zhì)量。因此，作為本發(fā)明的進(jìn)一步改進(jìn)，在步驟12中引入了長(zhǎng)度懲罰措施LP=2|LcanLref‾-1|,]]>其中，LP為長(zhǎng)度懲罰系數(shù)，Lcan是系統(tǒng)輸出譯文的長(zhǎng)度，Lref是參考譯文的平均長(zhǎng)度。
如果系統(tǒng)輸出譯文匹配得很少，那么也可能得到較低的H，因此在步驟13中對(duì)于匹配過(guò)少也要進(jìn)行匹配比例懲罰r=LLcan]]>其中，r為匹配比例懲罰系數(shù)。
采用長(zhǎng)度懲罰措施和匹配比例懲罰措施后，在步驟14中計(jì)算譯文質(zhì)量評(píng)分，公式如下segScore＝a-H*LP×r，其中，segScore是引入懲罰措施后的評(píng)分，a是一個(gè)經(jīng)驗(yàn)參數(shù)，其取值在1.1～1.5范圍內(nèi)調(diào)整，優(yōu)選取值為a＝1.2。引入懲罰措施后，segScore的分值在0～1之間變化，系統(tǒng)輸出譯文質(zhì)量越高，其對(duì)應(yīng)的segScore越大。
在本發(fā)明中，長(zhǎng)度懲罰系數(shù)LP、匹配比例懲罰系數(shù)r以及譯文質(zhì)量評(píng)分segScore的計(jì)算是分別通過(guò)計(jì)算機(jī)的長(zhǎng)度懲罰模塊、匹配比例懲罰模塊和評(píng)測(cè)得分計(jì)算模塊來(lái)實(shí)現(xiàn)的，這些模塊用存儲(chǔ)在計(jì)算機(jī)中的程序來(lái)實(shí)現(xiàn)，這對(duì)于本領(lǐng)域中的技術(shù)人員來(lái)說(shuō)是很容易實(shí)現(xiàn)的。
權(quán)利要求
1.一種機(jī)器翻譯自動(dòng)評(píng)測(cè)方法，用于對(duì)機(jī)器翻譯系統(tǒng)的輸出譯文進(jìn)行處理，包括如下步驟1)在至少一篇參考譯文中查找所述輸出譯文的匹配子片斷，所述匹配子片斷在所述輸出譯文中為離散分布的匹配字符串；匹配子片斷的長(zhǎng)度為li，i＝1～n，其中n為所述輸出譯文中匹配子片斷的個(gè)數(shù)；2)根據(jù)匹配子片斷計(jì)算熵H=-Σi=1nliLlog2(liL),]]>其中L=Σi=1nli]]>是匹配子片段的總長(zhǎng)度；所述熵H作為所述輸出譯文的評(píng)價(jià)指標(biāo)。
2.根據(jù)權(quán)利要求1所述的機(jī)器翻譯自動(dòng)評(píng)測(cè)方法，其特征在于，還包括步驟3)計(jì)算長(zhǎng)度懲罰系數(shù)LP=2|LcanLref‾-1|,]]>其中，Lcan是所述輸出譯文的長(zhǎng)度，Lref是所述至少一篇參考譯文的平均長(zhǎng)度；4)計(jì)算匹配比例懲罰系數(shù)r=LLcan;]]>5)根據(jù)熵H、長(zhǎng)度懲罰系數(shù)LP和匹配比例懲罰系數(shù)r計(jì)算評(píng)測(cè)得分segScore＝a-H*LP*r，其中a為在1.1～1.5范圍內(nèi)取值的參數(shù)；所述評(píng)測(cè)得分segScore作為所述輸出譯文的評(píng)價(jià)指標(biāo)。
3.根據(jù)權(quán)利要求2所述的機(jī)器翻譯自動(dòng)評(píng)測(cè)方法，其特征在于，所述參數(shù)a取值為1.2。
4.一種機(jī)器翻譯自動(dòng)評(píng)測(cè)系統(tǒng)，用于對(duì)機(jī)器翻譯系統(tǒng)的輸出譯文與設(shè)定的至少一篇參考譯文進(jìn)行處理，該系統(tǒng)包括一計(jì)算機(jī)，其特征在于，所述計(jì)算機(jī)包括子片斷搜索模塊，用于在所述至少一篇參考譯文內(nèi)搜索所述輸出譯文的匹配子片斷；長(zhǎng)度計(jì)算模塊，用于計(jì)算子片斷搜索模塊搜索出的匹配子片斷的長(zhǎng)度，以及計(jì)算所有匹配子片斷的總長(zhǎng)度；其中，匹配子片斷的長(zhǎng)度為li，i＝1～n，其中n為所述輸出譯文中匹配子片斷的個(gè)數(shù)；L=Σi=1nli]]>是匹配子片段的總長(zhǎng)度；熵模塊，用于根據(jù)匹配子片斷計(jì)算熵H=-Σi=1nliLlog2(liL).]]>
5.根據(jù)權(quán)利要求4所述的機(jī)器翻譯自動(dòng)評(píng)測(cè)系統(tǒng)，其特征在于，所述計(jì)算機(jī)還包括長(zhǎng)度懲罰模塊，用于計(jì)算長(zhǎng)度懲罰系數(shù)LP=2|LcanLref‾-1|,]]>其中，Lcan是所述輸出譯文的長(zhǎng)度，Lref是所述至少一篇參考譯文的平均長(zhǎng)度；匹配比例懲罰模塊，用于計(jì)算匹配比例懲罰系數(shù)r=LLcan;]]>評(píng)測(cè)得分計(jì)算模塊，用于根據(jù)熵H、長(zhǎng)度懲罰系數(shù)LP和匹配比例懲罰系數(shù)r計(jì)算評(píng)測(cè)得分segScore＝a-H*LP×r，其中a為在1.1～1.5范圍內(nèi)取值。
6.根據(jù)權(quán)利要求5所述的機(jī)器翻譯自動(dòng)評(píng)測(cè)系統(tǒng)，其特征在于，所述評(píng)測(cè)得分計(jì)算模塊中a的取值為1.2。
全文摘要
本發(fā)明公開了一種機(jī)器翻譯自動(dòng)評(píng)測(cè)方法及其系統(tǒng)。該方法在至少一篇參考譯文中查找機(jī)器翻譯系統(tǒng)的輸出譯文的匹配子片斷，然后根據(jù)這些匹配子片斷及其長(zhǎng)度計(jì)算熵，以及計(jì)算長(zhǎng)度懲罰系數(shù)和匹配比例懲罰系數(shù)，最后獲得一個(gè)評(píng)分作為評(píng)價(jià)指標(biāo)。本發(fā)明的機(jī)器翻譯自動(dòng)評(píng)測(cè)系統(tǒng)包括子片斷搜索模塊、長(zhǎng)度計(jì)算模塊、長(zhǎng)度懲罰模塊、匹配比例懲罰模塊和評(píng)測(cè)得分計(jì)算模塊。本發(fā)明的機(jī)器翻譯自動(dòng)評(píng)測(cè)方法及其系統(tǒng)可以準(zhǔn)確評(píng)價(jià)譯文質(zhì)量，并且能夠生成一個(gè)具有絕對(duì)意義的評(píng)價(jià)指標(biāo)，而且在進(jìn)行自動(dòng)評(píng)測(cè)時(shí)不限制匹配子片斷的長(zhǎng)度。
文檔編號(hào)G06F17/20GK1641631SQ200410000628
公開日2005年7月20日 申請(qǐng)日期2004年1月13日 優(yōu)先權(quán)日2004年1月13日
發(fā)明者劉群, 劉洋 申請(qǐng)人:中國(guó)科學(xué)院計(jì)算技術(shù)研究所