用于識(shí)別網(wǎng)絡(luò)游戲中發(fā)布消息的廣告特征的裝置和方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種用于識(shí)別網(wǎng)絡(luò)游戲中發(fā)布消息的廣告特征的裝置和方法，其中該方法包括：檢測(cè)游戲客戶端的發(fā)布消息事件；根據(jù)所述發(fā)布消息事件獲取發(fā)布消息文本；提取所述發(fā)布消息文本中包含的一個(gè)或多個(gè)特征向量；根據(jù)所述特征向量，識(shí)別待檢測(cè)的發(fā)布消息文本是否與廣告特征數(shù)據(jù)庫(kù)中的一個(gè)或多個(gè)記錄匹配；當(dāng)識(shí)別出上述匹配時(shí)，對(duì)所述發(fā)布消息事件進(jìn)行屏蔽處理。使用本發(fā)明的裝置和方法，可以由發(fā)布消息文本提取出特征向量，以及根據(jù)特征向量識(shí)別待檢測(cè)的發(fā)布消息文本是否與廣告特征數(shù)據(jù)庫(kù)中的一個(gè)或多個(gè)記錄匹配，從而能夠準(zhǔn)確識(shí)別網(wǎng)絡(luò)游戲中發(fā)布消息的廣告特征。
【專(zhuān)利說(shuō)明】用于識(shí)別網(wǎng)絡(luò)游戲中發(fā)布消息的廣告特征的裝置和方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)網(wǎng)絡(luò)領(lǐng)域，具體涉及一種用于識(shí)別網(wǎng)絡(luò)游戲中發(fā)布消息的廣告特征的裝置和方法。
【背景技術(shù)】
[0002]隨著網(wǎng)絡(luò)游戲等應(yīng)用的興起，出現(xiàn)了大量的網(wǎng)絡(luò)游戲產(chǎn)品和網(wǎng)絡(luò)游戲用戶。網(wǎng)絡(luò)游戲用戶在進(jìn)行游戲時(shí)，會(huì)通過(guò)發(fā)布消息進(jìn)行交流，然而在大量的發(fā)布信息中，存在廣告信息，給用戶帶來(lái)了諸多不便，同時(shí)也降低了網(wǎng)絡(luò)游戲的質(zhì)量。為了解決這個(gè)問(wèn)題，識(shí)別網(wǎng)絡(luò)游戲中發(fā)布消息的廣告特征的研究工作逐漸開(kāi)展起來(lái)，以期望能夠從發(fā)布信息中找出具有廣告特征的垃圾信息。

【發(fā)明內(nèi)容】

[0003]鑒于上述問(wèn)題，提出了本發(fā)明以便提供一種克服上述問(wèn)題或者至少部分地解決上述問(wèn)題的一種相似文本檢測(cè)裝置和相應(yīng)的一種相似文本檢測(cè)方法。
[0004]依據(jù)本發(fā)明的一個(gè)方面，提供了一種用于識(shí)別網(wǎng)絡(luò)游戲中發(fā)布消息的廣告特征的裝置，包括:檢測(cè)單元，適于檢測(cè)游戲客戶端的發(fā)布消息事件；文本獲取單元，適于根據(jù)所述發(fā)布消息事件獲取發(fā)布消息文本；特征向量提取單元，適于提取所述發(fā)布消息文本中包含的一個(gè)或多個(gè)特征向量；識(shí)別單元，適于根據(jù)所述特征向量，識(shí)別待檢測(cè)的發(fā)布消息文本是否與廣告特征數(shù)據(jù)庫(kù)中的一個(gè)或多個(gè)記錄匹配；屏蔽單元，適于在識(shí)別單元識(shí)別出上述匹配時(shí)，對(duì)所述發(fā)布消息事件進(jìn)行屏蔽處理。
[0005]可選地，所述檢測(cè)單元，適于在所述文本獲取單元根據(jù)所述發(fā)布消息事件獲取發(fā)布消息文本之前，檢測(cè)所述消息事件的類(lèi)型是否是廣播消息事件或組播消息事件，若否則退出流程，若是則由所述文本獲取單元根據(jù)所述發(fā)布消息事件獲取發(fā)布消息文本。
[0006]可選地，所述屏蔽單元，位于游戲服務(wù)器或執(zhí)行所述發(fā)布消息事件的游戲客戶端。
[0007]可選地，所述識(shí)別單元，適于對(duì)所述特征向量中的每個(gè)特征，檢測(cè)廣告特征數(shù)據(jù)庫(kù)中是否多次出現(xiàn)該特征；所述識(shí)別單元，適于判斷所述特征向量中的在廣告特征數(shù)據(jù)庫(kù)中多次出現(xiàn)的特征占該特征向量的全部特征的比例是否達(dá)到第一閾值，是則確定所述待檢測(cè)的發(fā)布消息文本與廣告特征數(shù)據(jù)庫(kù)中的記錄匹配，否則不匹配。
[0008]可選地，所述識(shí)別單元，適于對(duì)所述特征向量中的每個(gè)特征，從廣告特征數(shù)據(jù)庫(kù)中查找是否存在該特征，如果存在，則進(jìn)一步查看該特征的權(quán)值，如果該特征的權(quán)值大于或等于第二閾值，則廣告特征數(shù)據(jù)庫(kù)中多次出現(xiàn)該特征。
[0009]可選地，該裝置進(jìn)一步包括廣告特征數(shù)據(jù)庫(kù)更新單元，所述廣告特征數(shù)據(jù)庫(kù)更新單元，適于在確定所述待檢測(cè)的發(fā)布消息文本與廣告特征數(shù)據(jù)庫(kù)中的記錄匹配時(shí)，對(duì)于所述特征向量中的每個(gè)特征，如果檢測(cè)到廣告特征數(shù)據(jù)庫(kù)中存在該特征，則將廣告特征數(shù)據(jù)庫(kù)中該特征的權(quán)值加I。
[0010]可選地，所述識(shí)別單元，適于在對(duì)于所述特征向量中的每個(gè)特征，檢測(cè)廣告特征數(shù)據(jù)庫(kù)中是否存在該特征之前，判斷所述特征向量中的特征的數(shù)目是否小于第三閾值，是則所述待檢測(cè)的發(fā)布消息文本與廣告特征數(shù)據(jù)庫(kù)中的記錄不匹配并結(jié)束判斷操作，否則對(duì)于所述特征向量中的每個(gè)特征，檢測(cè)廣告特征數(shù)據(jù)庫(kù)中是否多次出現(xiàn)該特征。
[0011]可選地，所述特征向量提取單元包括:中文文本獲取子單元，適于對(duì)發(fā)布消息文本進(jìn)行文本處理以獲取中文文本；拼音文本獲取子單元，適于將獲取的中文文本中的漢字轉(zhuǎn)為拼音得到拼音文本；指紋獲取子單元，適于提取所述拼音文本的特征，將提取的特征形成所述拼音文本的特征向量。
[0012]可選地，所述中文文本獲取子單元，適于對(duì)發(fā)布消息文本進(jìn)行數(shù)據(jù)清洗操作，將文本中的內(nèi)容轉(zhuǎn)換為規(guī)則字符；將拼音轉(zhuǎn)化為漢字；以及將保留常用的漢字。
[0013]可選地，所述中文文本獲取子單元，適于識(shí)別并丟棄HTML標(biāo)記，將繁體字轉(zhuǎn)換為簡(jiǎn)體字，將全角字符轉(zhuǎn)換為半角字符，將大寫(xiě)英文字母轉(zhuǎn)換為小寫(xiě)英文字母，以及識(shí)別并丟棄url和標(biāo)點(diǎn)符號(hào)，以將發(fā)布消息文本中的內(nèi)容轉(zhuǎn)換為規(guī)則字符；所述中文文本獲取子單元，適于使用雙向最大匹配算法將文本中的拼音轉(zhuǎn)換為漢字，如果一個(gè)拼音對(duì)應(yīng)多個(gè)漢字，則從對(duì)應(yīng)的多個(gè)漢字中任選一個(gè)，以將文本中的拼音轉(zhuǎn)化為漢字；所述中文文本獲取子單元，適于使用GBK編碼表中的常用漢字對(duì)發(fā)布消息文本進(jìn)行過(guò)濾，丟棄所有不屬于常用漢字的字符，以保留常用的漢字。
[0014]可選地，所述拼音文本獲取子單元，適于使用拼音漢字對(duì)照表，將每個(gè)漢字轉(zhuǎn)換為對(duì)應(yīng)的拼音串，以得到拼音文本。
[0015]可選地，所述指紋獲取子單元，適于以單個(gè)漢字為切分粒度提取所述拼音文本的特征，并使用向量空間模型將提取的特征形成所述拼音文本的特征向量。
[0016]依據(jù)本發(fā)明的另一個(gè)方面，提供了一種用于識(shí)別網(wǎng)絡(luò)游戲中發(fā)布消息的廣告特征的方法，包括:檢測(cè)游戲客戶端的發(fā)布消息事件；根據(jù)所述發(fā)布消息事件獲取發(fā)布消息文本；提取所述發(fā)布消息文本中包含的一個(gè)或多個(gè)特征向量；根據(jù)所述特征向量，識(shí)別待檢測(cè)的發(fā)布消息文本是否與廣告特征數(shù)據(jù)庫(kù)中的一個(gè)或多個(gè)記錄匹配；當(dāng)識(shí)別出上述匹配時(shí)，對(duì)所述發(fā)布消息事件進(jìn)行屏蔽處理。
[0017]可選地，該方法進(jìn)一步包括:在所述根據(jù)所述發(fā)布消息事件獲取發(fā)布消息文本之前，檢測(cè)所述消息事件的類(lèi)型是否是廣播消息事件或組播消息事件，若否則退出流程，若是則根據(jù)所述發(fā)布消息事件獲取發(fā)布消息文本。
[0018]可選地，對(duì)所述發(fā)布消息事件進(jìn)行屏蔽處理是由游戲服務(wù)器或游戲客戶端執(zhí)行的。
[0019]可選地，所述根據(jù)所述特征向量，識(shí)別待檢測(cè)的發(fā)布消息文本是否與廣告特征數(shù)據(jù)庫(kù)中的一個(gè)或多個(gè)記錄匹配，具體包括:對(duì)所述特征向量中的每個(gè)特征，檢測(cè)廣告特征數(shù)據(jù)庫(kù)中是否多次出現(xiàn)該特征；判斷所述特征向量中的在廣告特征數(shù)據(jù)庫(kù)中多次出現(xiàn)的特征占該特征向量的全部特征的比例是否達(dá)到第一閾值，是則確定所述待檢測(cè)的發(fā)布消息文本與廣告特征數(shù)據(jù)庫(kù)中的記錄匹配，否則不匹配。
[0020]可選地，所述檢測(cè)廣告特征數(shù)據(jù)庫(kù)中是否多次出現(xiàn)該特征包括:從廣告特征數(shù)據(jù)庫(kù)中查找是否存在該特征，如果存在，則進(jìn)一步查看該特征的權(quán)值，如果該特征的權(quán)值大于或等于第二閾值，則廣告特征數(shù)據(jù)庫(kù)中多次出現(xiàn)該特征。
[0021]可選地，在確定所述待檢測(cè)的發(fā)布消息文本與廣告特征數(shù)據(jù)庫(kù)中的記錄匹配時(shí)，該方法進(jìn)一步包括:對(duì)于所述特征向量中的每個(gè)特征，如果檢測(cè)到廣告特征數(shù)據(jù)庫(kù)中存在該特征，則該將廣告特征數(shù)據(jù)庫(kù)中該特征的權(quán)值加I。
[0022]可選地，在對(duì)于所述特征向量中的每個(gè)特征，檢測(cè)廣告特征數(shù)據(jù)庫(kù)中是否存在該特征之前，所述判斷待檢測(cè)的發(fā)布消息文本是否與廣告特征數(shù)據(jù)庫(kù)中的記錄匹配進(jìn)一步包括:判斷所述特征向量中的特征的數(shù)目是否小于第三閾值，是則所述待檢測(cè)的發(fā)布消息文本與廣告特征數(shù)據(jù)庫(kù)中的記錄不匹配并結(jié)束判斷操作，否則對(duì)于所述特征向量中的每個(gè)特征，檢測(cè)廣告特征數(shù)據(jù)庫(kù)中是否多次出現(xiàn)該特征。
[0023]可選地，所述提取所述發(fā)布消息文本中包含的一個(gè)或多個(gè)特征向量，具體包括:對(duì)待檢測(cè)的發(fā)布消息文本進(jìn)行文本處理以獲取中文文本；將獲取的中文文本中的漢字轉(zhuǎn)為拼音得到拼音文本；提取所述拼音文本的特征，將提取的特征形成所述拼音文本的特征向量。
[0024]可選地，所述對(duì)文本進(jìn)行文本處理以獲取中文文本，具體包括:對(duì)文本進(jìn)行數(shù)據(jù)清洗操作，將發(fā)布消息文本中的內(nèi)容轉(zhuǎn)換為規(guī)則字符；將拼音轉(zhuǎn)化為漢字；保留常用的漢字。
[0025]可選地，所述對(duì)發(fā)布消息文本進(jìn)行數(shù)據(jù)清洗操作，具體包括:識(shí)別并丟棄HTML標(biāo)記，將繁體字轉(zhuǎn)換為簡(jiǎn)體字，將全角字符轉(zhuǎn)換為半角字符，將大寫(xiě)英文字母轉(zhuǎn)換為小寫(xiě)英文字母，以及識(shí)別并丟棄url和標(biāo)點(diǎn)符號(hào)；所述將文本中的拼音轉(zhuǎn)化為漢字，具體包括:使用雙向最大匹配算法將文本中的拼音轉(zhuǎn)換為漢字，如果一個(gè)拼音對(duì)應(yīng)多個(gè)漢字，則從對(duì)應(yīng)的多個(gè)漢字中任選一個(gè)；所述保留常用的漢字，具體包括:使用GBK編碼表中的常用漢字對(duì)發(fā)布消息文本進(jìn)行過(guò)濾，丟棄所有不屬于常用漢字的字符。
[0026]可選地，所述將獲取的中文文本中的漢字轉(zhuǎn)為拼音得到拼音文本，具體包括:使用拼音漢字對(duì)照表，將每個(gè)漢字轉(zhuǎn)換為對(duì)應(yīng)的拼音串，得到拼音文本。
[0027]可選地，所述提取所述拼音文本的特征，將提取的特征形成所述拼音文本的特征向量，具體包括:以單個(gè)漢字為切分粒度提取所述拼音文本的特征，并使用向量空間模型將提取的特征形成所述拼音文本的特征向量。
[0028]根據(jù)本發(fā)明的用于識(shí)別網(wǎng)絡(luò)游戲中發(fā)布消息的廣告特征的裝置和方法，可以由發(fā)布消息文本得到特征向量，進(jìn)而根據(jù)特征向量識(shí)別待檢測(cè)的發(fā)布消息文本是否與廣告特征數(shù)據(jù)庫(kù)中的一個(gè)或多個(gè)記錄匹配，以及識(shí)別出上述匹配時(shí)對(duì)所述發(fā)布消息事件進(jìn)行屏蔽處理，能夠有效地識(shí)別網(wǎng)絡(luò)游戲中發(fā)布消息的廣告特征。
[0029]上述說(shuō)明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說(shuō)明書(shū)的內(nèi)容予以實(shí)施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點(diǎn)能夠更明顯易懂，以下特舉本發(fā)明的【具體實(shí)施方式】。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0030]通過(guò)閱讀下文優(yōu)選實(shí)施方式的詳細(xì)描述，各種其他的優(yōu)點(diǎn)和益處對(duì)于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實(shí)施方式的目的，而并不認(rèn)為是對(duì)本發(fā)明的限制。而且在整個(gè)附圖中，用相同的參考符號(hào)表示相同的部件。在附圖中:
[0031]圖1示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的用于識(shí)別網(wǎng)絡(luò)游戲中發(fā)布消息的廣告特征的方法的流程圖；
[0032]圖2示出了如圖1所示的步驟S300的詳細(xì)的流程圖；
[0033]圖3示出了如圖2所示的步驟S310、步驟S320和步驟S330的詳細(xì)的流程圖；[0034]圖4示出了如圖1所示的步驟S400的詳細(xì)的流程圖；
[0035]圖5示出了根據(jù)本發(fā)明第一實(shí)施例的用于識(shí)別網(wǎng)絡(luò)游戲中發(fā)布消息的廣告特征的裝置的框圖；
[0036]圖6示出了根據(jù)本發(fā)明第一實(shí)施例的用于識(shí)別網(wǎng)絡(luò)游戲中發(fā)布消息的廣告特征的裝置的詳細(xì)的框圖；以及
[0037]圖7示出了根據(jù)本發(fā)明第二實(shí)施例的用于識(shí)別網(wǎng)絡(luò)游戲中發(fā)布消息的廣告特征的裝置的詳細(xì)的框圖。
【具體實(shí)施方式】
[0038]下面將參照附圖更詳細(xì)地描述本公開(kāi)的示例性實(shí)施例。雖然附圖中顯示了本公開(kāi)的示例性實(shí)施例，然而應(yīng)當(dāng)理解，可以以各種形式實(shí)現(xiàn)本公開(kāi)而不應(yīng)被這里闡述的實(shí)施例所限制。相反，提供這些實(shí)施例是為了能夠更透徹地理解本公開(kāi)，并且能夠?qū)⒈竟_(kāi)的范圍完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。
[0039]圖1示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的用于識(shí)別網(wǎng)絡(luò)游戲中發(fā)布消息的廣告特征的方法的流程圖。該方法包括以下的步驟S100、S200、S300、S400和S500。
[0040]SlOO、檢測(cè)游戲客戶端的發(fā)布消息事件。
[0041]具體地，當(dāng)游戲客戶端發(fā)布消息時(shí)，可以檢測(cè)到發(fā)布消息事件。進(jìn)一步地，可以通過(guò)檢測(cè)游戲服務(wù)器與游戲客戶端的通信內(nèi)容，檢測(cè)發(fā)布消息事件。
[0042]S200、根據(jù)所述發(fā)布消息事件獲取發(fā)布消息文本。本領(lǐng)域技術(shù)人員容易了解的是，通過(guò)檢測(cè)發(fā)布消息事件，可以得到發(fā)布消息文本。
[0043]S300、提取所述發(fā)布消息文本中包含的一個(gè)或多個(gè)特征向量。本實(shí)施例中，可以通過(guò)檢測(cè)斷句符號(hào)，將發(fā)布消息文本切分為多段文本，進(jìn)而得到多個(gè)特征向量；也可以不切分發(fā)布消息文本，進(jìn)而得到一個(gè)特征向量。
[0044]S400、根據(jù)所述特征向量，識(shí)別待檢測(cè)的發(fā)布消息文本是否與廣告特征數(shù)據(jù)庫(kù)中的一個(gè)或多個(gè)記錄匹配。
[0045]本實(shí)施例中，對(duì)特征向量中的每一個(gè)特征，會(huì)檢測(cè)在一個(gè)預(yù)設(shè)的廣告特征數(shù)據(jù)庫(kù)中是否多次出現(xiàn)該特征。檢測(cè)了特征向量中的所有特征之后，判斷特征向量中的在廣告特征數(shù)據(jù)庫(kù)中多次出現(xiàn)的特征占特征向量的全部特征的比例，從而判斷待檢測(cè)的文本與廣告特征數(shù)據(jù)庫(kù)中的記錄是否匹配。本實(shí)施例中預(yù)設(shè)的廣告特征數(shù)據(jù)庫(kù)使用Redis廣告特征數(shù)據(jù)庫(kù)，可以是通過(guò)對(duì)海量的網(wǎng)絡(luò)廣告文本(例如抓取收集的網(wǎng)絡(luò)廣告等垃圾信息)進(jìn)行分析得到海量的特征，并統(tǒng)計(jì)得到的各個(gè)特征的數(shù)目而得到權(quán)值，令特征(Shingle)和權(quán)值(Value)構(gòu)成廣告特征數(shù)據(jù)庫(kù)。
[0046]S500、當(dāng)識(shí)別出上述匹配時(shí)，對(duì)所述發(fā)布消息事件進(jìn)行屏蔽處理。較佳地，對(duì)所述發(fā)布消息事件進(jìn)行屏蔽處理是由游戲服務(wù)器或游戲客戶端執(zhí)行的。
[0047]進(jìn)一步地，本發(fā)明在步驟S200之中根據(jù)所述發(fā)布消息事件獲取發(fā)布消息文本之前，還包括:檢測(cè)所述消息事件的類(lèi)型是否是廣播消息事件或組播消息事件，若否則退出流程，若是則根據(jù)所述發(fā)布消息事件獲取發(fā)布消息文本。
[0048]本發(fā)明的步驟S300和步驟S400，實(shí)現(xiàn)了通過(guò)與廣告特征數(shù)據(jù)庫(kù)中的記錄進(jìn)行相似文本監(jiān)測(cè)，識(shí)別網(wǎng)絡(luò)游戲中發(fā)布消息的廣告特征。不同于本發(fā)明步驟S300和步驟S400的一種相似文本檢測(cè)方法為:首先提取文本的特征(例如對(duì)文本進(jìn)行分詞，提取實(shí)體詞)并使用各種技術(shù)對(duì)特征進(jìn)行擴(kuò)展(例如使用同義詞詞林，近義詞詞典等知識(shí)庫(kù)進(jìn)行詞匯擴(kuò)展)，并使用VSM模型來(lái)描述文本(例如使用VSM模型將一篇文本表示為一個(gè)向量)，然后使用聚類(lèi)方法對(duì)文本進(jìn)行聚類(lèi)(例如對(duì)于兩篇文本，經(jīng)過(guò)向量化表示后，計(jì)算兩個(gè)向量的余弦?jiàn)A角用于表征兩篇文本的相似性，如果相似度大于一定閾值，則認(rèn)為兩篇文本是相似的)，被聚到一起的文本是相似的。
[0049]然而，在網(wǎng)絡(luò)應(yīng)用中，存在著大量的相似文本的變種，如使用繁體字、適用拼音代替文字、用同音字代替原字、加入大量無(wú)意義的干擾字符，等等，上述技術(shù)存在以下缺點(diǎn):(一)分詞結(jié)果存在誤差；(二)同音不同字的文本無(wú)法判斷為相似；(三)無(wú)法將經(jīng)過(guò)拼音化處理的兩篇文本識(shí)別為相似文本；(四)對(duì)文本的計(jì)算復(fù)雜度太高(例如，將文本表示為向量，需要較大的運(yùn)算量)。因此，這種方法無(wú)法滿足當(dāng)前大數(shù)據(jù)量情況下的運(yùn)算實(shí)時(shí)性要求。
[0050]圖2示出了如圖1所示的步驟S300的詳細(xì)的流程圖。該方法包括以下的步驟S310、S320 和 S330。
[0051 ] S310、對(duì)待檢測(cè)的發(fā)布消息文本進(jìn)行文本處理以獲取中文文本。
[0052]通過(guò)由待檢測(cè)的發(fā)布消息文本獲取中文文本，可以消除包括有無(wú)意義的干擾字符、繁體字等相似文本的變種對(duì)本實(shí)施例的識(shí)別效果的影響。
[0053]S320、將獲取的中文文本中的漢字轉(zhuǎn)為拼音得到拼音文本。
[0054]通過(guò)將中文文本 中的漢字統(tǒng)一轉(zhuǎn)化為拼音，可以消除用拼音代替文字、用同音字代替原字等相似文本的變種對(duì)本實(shí)施例的識(shí)別效果的影響。
[0055]S330、提取所述拼音文本的特征，將提取的特征形成所述拼音文本的特征向量。
[0056]本實(shí)施例中，可以采用N元語(yǔ)言模型(N-gram)提起拼音文本的特征向量，基于步驟S310獲取的中文文本中的漢字粒度，對(duì)步驟S320獲取的拼音文本提取N-gram特征SHINGLE^ SHINGLe2,…SHINGLEm。例如，如果步驟S310獲取的中文文本為“我愛(ài)北京天安門(mén)”，漢字粒度為“我”、“愛(ài)”、“北”、“京”、“天”，“安”，“門(mén)”，步驟S320獲取的拼音文本為“wo ai bei jing tian an 111611”,那么拼音串被切分為“￥0”、“&;[”、‘<^6；[”、“」;[1^”、“1:1&11”、“an”、“men”,如果令 N=6 則步驟 S330 中，獲取的 N-gram 特征 SHINGLei 為“wo ai bei jingtian an”、SHINGLe2 為“ai bei jing tian an men”,依次類(lèi)推。并使用向量空間模型(VSM,Vector Space Model)形成特征向量 DMSHINGLEi, SHINGLE2，…，SHINGLEJ。
[0057]圖3示出了如圖2所示的步驟S310、步驟S320和步驟S330的詳細(xì)的流程圖。步驟S310具體包括:
[0058]S311、對(duì)待檢測(cè)的發(fā)布消息文本進(jìn)行數(shù)據(jù)清洗操作，將待檢測(cè)的發(fā)布消息文本中的內(nèi)容轉(zhuǎn)換為規(guī)則字符。
[0059]其中，對(duì)待檢測(cè)的發(fā)布消息文本進(jìn)行數(shù)據(jù)清洗操作，具體包括:識(shí)別并丟棄HTML標(biāo)記，將繁體字轉(zhuǎn)換為簡(jiǎn)體字，將全角字符轉(zhuǎn)換為半角字符，將大寫(xiě)英文字母轉(zhuǎn)換為小寫(xiě)英文字母，以及識(shí)別并丟棄url和標(biāo)點(diǎn)符號(hào)。
[0060]S312、將拼音轉(zhuǎn)化為漢字。
[0061]其中，將經(jīng)過(guò)步驟S311處理的文本中的拼音轉(zhuǎn)化為漢字，具體包括:使用雙向最大匹配算法將文本中的拼音轉(zhuǎn)換為漢字，如果一個(gè)拼音對(duì)應(yīng)多個(gè)漢字，則從對(duì)應(yīng)的多個(gè)漢字中任選一個(gè)。[0062]S313、保留常用的漢字。
[0063]其中，保留常用的漢字，具體包括:使用GBK編碼表中的常用漢字對(duì)文本進(jìn)行過(guò)濾，丟棄所有不屬于常用漢字的字符，即只保留漢字GBK編碼在OxBOAO~0xF7FE中的漢字。
[0064]步驟S320具體包括:使用拼音漢字對(duì)照表，將每個(gè)漢字轉(zhuǎn)換為對(duì)應(yīng)的拼音串，得到拼音文本。
[0065]通過(guò)步驟S310由待檢測(cè)的發(fā)布消息文本獲取中文文本，以及通過(guò)步驟S320將獲取的中文文本中的漢字轉(zhuǎn)為拼音得到拼音文本，可以將相似文本的不同變種，識(shí)別為相同的拼音文本。例如將如表1所示的待檢測(cè)的發(fā)布消息文本和三種變種，通過(guò)步驟S310和S320得到相同的拼音文本。
[0066]表1待檢測(cè)的發(fā)布消息文本及三種變種
[0067]
【權(quán)利要求】
1.一種用于識(shí)別網(wǎng)絡(luò)游戲中發(fā)布消息的廣告特征的裝置，包括: 檢測(cè)單元，適于檢測(cè)游戲客戶端的發(fā)布消息事件； 文本獲取單元，適于根據(jù)所述發(fā)布消息事件獲取發(fā)布消息文本； 特征向量提取單元，適于提取所述發(fā)布消息文本中包含的一個(gè)或多個(gè)特征向量； 識(shí)別單元，適于根據(jù)所述特征向量，識(shí)別待檢測(cè)的發(fā)布消息文本是否與廣告特征數(shù)據(jù)庫(kù)中的一個(gè)或多個(gè)記錄匹配； 屏蔽單元，適于在識(shí)別單元識(shí)別出上述匹配時(shí)，對(duì)所述發(fā)布消息事件進(jìn)行屏蔽處理。
2.根據(jù)權(quán)利要求1所述的裝置，其中， 所述檢測(cè)單元，適于在所述文本獲取單元根據(jù)所述發(fā)布消息事件獲取發(fā)布消息文本之前，檢測(cè)所述消息事件的類(lèi)型是否是廣播消息事件或組播消息事件，若否則退出流程，若是則由所述文本獲取單元根據(jù)所述發(fā)布消息事件獲取發(fā)布消息文本。
3.根據(jù)權(quán)利要求1或2所述的裝置，其中， 所述屏蔽單元，位于游戲服務(wù)器或執(zhí)行所述發(fā)布消息事件的游戲客戶端。
4.根據(jù)權(quán)利要求1-3任一項(xiàng)所述的裝置，其中， 所述識(shí)別單元，適于對(duì)所述特征向量中的每個(gè)特征，檢測(cè)廣告特征數(shù)據(jù)庫(kù)中是否多次出現(xiàn)該特征； 所述識(shí)別單元，適于判斷所述特征向量中的在廣告特征數(shù)據(jù)庫(kù)中多次出現(xiàn)的特征占該特征向量的全部特征的比例是否達(dá)到第一閾值，是則確定所述待檢測(cè)的發(fā)布消息文本與廣告特征數(shù)據(jù)庫(kù)中的記錄匹配，否則不匹配。
5.根據(jù)權(quán)利要求1-4任一項(xiàng)所述的裝置，其中， 所述識(shí)別單元，適于對(duì)所述特征向量中的每個(gè)特征，從廣告特征數(shù)據(jù)庫(kù)中查找是否存在該特征，如果存在，則進(jìn)一步查看該特征的權(quán)值，如果該特征的權(quán)值大于或等于第二閾值，則廣告特征數(shù)據(jù)庫(kù)中多次出現(xiàn)該特征。
6.一種用于識(shí)別網(wǎng)絡(luò)游戲中發(fā)布消息的廣告特征的方法，包括: 檢測(cè)游戲客戶端的發(fā)布消息事件； 根據(jù)所述發(fā)布消息事件獲取發(fā)布消息文本； 提取所述發(fā)布消息文本中包含的一個(gè)或多個(gè)特征向量； 根據(jù)所述特征向量，識(shí)別待檢測(cè)的發(fā)布消息文本是否與廣告特征數(shù)據(jù)庫(kù)中的一個(gè)或多個(gè)記錄匹配； 當(dāng)識(shí)別出上述匹配時(shí)，對(duì)所述發(fā)布消息事件進(jìn)行屏蔽處理。
7.根據(jù)權(quán)利要求6所述的方法，其中，該方法進(jìn)一步包括: 在所述根據(jù)所述發(fā)布消息事件獲取發(fā)布消息文本之前，檢測(cè)所述消息事件的類(lèi)型是否是廣播消息事件或組播消息事件，若否則退出流程，若是則根據(jù)所述發(fā)布消息事件獲取發(fā)布消息文本。
8.根據(jù)權(quán)利要求6或7所述的方法，其中， 對(duì)所述發(fā)布消息事件進(jìn)行屏蔽處理是由游戲服務(wù)器或游戲客戶端執(zhí)行的。
9.根據(jù)權(quán)利要求6-8任一項(xiàng)所述的方法，其中，所述根據(jù)所述特征向量，識(shí)別待檢測(cè)的發(fā)布消息文本是否與廣告特征數(shù)據(jù)庫(kù)中的一個(gè)或多個(gè)記錄匹配，具體包括: 對(duì)所述特征向量中的每個(gè)特征，檢測(cè)廣告特征數(shù)據(jù)庫(kù)中是否多次出現(xiàn)該特征；判斷所述特征向量中的在廣告特征數(shù)據(jù)庫(kù)中多次出現(xiàn)的特征占該特征向量的全部特征的比例是否達(dá)到第一閾值，是則確定所述待檢測(cè)的發(fā)布消息文本與廣告特征數(shù)據(jù)庫(kù)中的記錄匹配，否則不匹配。
10.根據(jù)權(quán)利要求6-9任一項(xiàng)所述的方法，其中，所述檢測(cè)廣告特征數(shù)據(jù)庫(kù)中是否多次出現(xiàn)該特征包括: 從廣告特征數(shù)據(jù)庫(kù)中查找是否存在該特征，如果存在，則進(jìn)一步查看該特征的權(quán)值，如果該特征的權(quán)值大于或等于第 二閾值，則廣告特征數(shù)據(jù)庫(kù)中多次出現(xiàn)該特征。
【文檔編號(hào)】G06F17/30GK103605693SQ201310537964
【公開(kāi)日】2014年2月26日 申請(qǐng)日期:2013年11月4日 優(yōu)先權(quán)日:2013年11月4日
【發(fā)明者】孫林, 陳培軍, 秦吉?jiǎng)? 申請(qǐng)人:北京奇虎科技有限公司, 奇智軟件（北京）有限公司