本發(fā)明涉及大數(shù)據(jù)文本處理技術(shù)領(lǐng)域，特別涉及一種多維度短文本特征提取方法及系統(tǒng)。

背景技術(shù)：

短文本分類如此重要，那么究竟什么是短文本呢？目前，對(duì)于短文本還沒有統(tǒng)一規(guī)范的定義，本文參考已有的研究文獻(xiàn)將短文本定義為長(zhǎng)度不超過200字的文本形式的信息。短文本的幾種常見形式有手機(jī)短信息、社交網(wǎng)絡(luò)短信息、信息檢索簡(jiǎn)介信息、BBS/論壇短信息等。一般來說，短文本包括的特點(diǎn)有：

①稀疏性。每條短文本形式信息的長(zhǎng)度都比較短，都在200字以內(nèi)，通常只有幾句話，有的甚至只有幾個(gè)詞語如微博信息、手機(jī)短信息等，因此所包含的有效信息也就非常少，造成樣本的特征非常稀疏，并且特征集的維數(shù)非常高，很難從中抽取到準(zhǔn)確而關(guān)鍵的樣本特征用于分類學(xué)習(xí)。

②實(shí)時(shí)性。在互聯(lián)網(wǎng)上出現(xiàn)的短文本形式的信息，大部分都是實(shí)時(shí)更新的，刷新速度非常快，像聊天信息、微博信息、評(píng)論信息等，都在以秒計(jì)時(shí)的速度不斷更新，難以采集，并且這部分動(dòng)態(tài)文本數(shù)量非常龐大，這就要求對(duì)短文本信息分類必須具有更高的效率。

③不規(guī)則性。短文本形式的信息用語不規(guī)范，包含流行詞匯較多，造成了噪聲特征非常多，如“94”代表“就是”，“88”代表“再見”，“童鞋”代表“同學(xué)”，“河蟹”代表“和諧”等。流行語在短文本中更是頻繁出現(xiàn)，而且更新很快，如2011年的流行詞“傷不起”、“有沒有”、“坑爹”，2012年的流行詞“屌絲”、“江南Style”、“元芳，你怎么看”等等。

特征提取是指從原始特征集中挑選出對(duì)文本分類學(xué)習(xí)貢獻(xiàn)最大的一組特征，這些特征保留了原始特征集中大部分有用的數(shù)據(jù)信息，最能反映文本分類的性能。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明提出一種能夠有效解決短文本中不規(guī)則性、稀疏性問題的多維度短文本特征提取方法及系統(tǒng)

一種多維度短文本特征提取方法，其包括如下步驟：

S1、對(duì)短文本進(jìn)行預(yù)處理；將短文本中信息劃分為表情符號(hào)信息、文本信息、語音信息；

S2、分類對(duì)短文本中各種信息進(jìn)行處理并得到統(tǒng)一的文本信息集；

S3、將統(tǒng)一的文本信息集中中文短文本采用分詞工具進(jìn)行分詞處理，然后利用正則匹配與字符串替換來過濾掉無效字符、連續(xù)空格、大小寫混用噪音信息；對(duì)于英文短文本采用詞干提取工具進(jìn)行預(yù)處理；

S4、通過向量空間模型表示文本表示模型；通過選擇算法來獲取輸入的短文本特征。

在本發(fā)明所述的多維度短文本特征提取方法中，所述步驟S2包括：

對(duì)于表情符號(hào)信息，獲取表情符號(hào)信息所對(duì)應(yīng)的感情傾向信息以及表情符號(hào)信息的中文含義；將感情傾向信息以及中文含義進(jìn)行處理獲得關(guān)鍵詞；將關(guān)鍵詞加入到統(tǒng)一的文本信息集中；

對(duì)語音信息，通過語音識(shí)別將語音信息轉(zhuǎn)換為文本信息；并通過分析語音信息中的音調(diào)獲得語音信息中的情感傾向信息；將文本信息以及情感傾向信息進(jìn)行處理獲得關(guān)鍵詞；將關(guān)鍵詞加入到統(tǒng)一的文本信息集中。

在本發(fā)明所述的多維度短文本特征提取方法中，所述步驟S3中通過ICTCLAS分詞系統(tǒng)進(jìn)行分詞。

在本發(fā)明所述的多維度短文本特征提取方法中，所述步驟S4包括：

對(duì)于經(jīng)過預(yù)處理后的文本信息集，根據(jù)短文本中的詞項(xiàng)，抽取出具有代表性的詞條作為短文本的特征，并為每個(gè)特征賦予一定的權(quán)值，將所有特征項(xiàng)構(gòu)成的向量表示該短文本，即文本空間實(shí)際上是由一組由數(shù)字描述的詞項(xiàng)所構(gòu)建的向量空間。

在本發(fā)明所述的多維度短文本特征提取方法中，

所述步驟S4還包括：

生成特征詞序號(hào)列表，根據(jù)預(yù)先設(shè)定的特征閾值，選擇相對(duì)應(yīng)的特征，通過詞頻逆文檔詞頻算法獲得特征相對(duì)應(yīng)的權(quán)值，最終得到提取后的特征向量；將得到的特征向量進(jìn)行歸一化處理得到多維向量。

在本發(fā)明所述的多維度短文本特征提取方法中，進(jìn)行情感分析時(shí)，預(yù)先設(shè)置不同情感詞相對(duì)應(yīng)的情感偏向以及正負(fù)長(zhǎng)度值；通過情感偏向以及正負(fù)長(zhǎng)度值得到整體感情傾向信息。

本發(fā)明還提供一種多維度短文本特征提取系統(tǒng)，其包括如下單元：

預(yù)處理單元，用于對(duì)短文本進(jìn)行預(yù)處理；將短文本中信息劃分為表情符號(hào)信息、文本信息、語音信息；

分類處理單元，用于分類對(duì)短文本中各種信息進(jìn)行處理并得到統(tǒng)一的文本信息集；

分詞處理單元，用于將統(tǒng)一的文本信息集中中文短文本采用分詞工具進(jìn)行分詞處理，然后利用正則匹配與字符串替換來過濾掉無效字符、連續(xù)空格、大小寫混用噪音信息；對(duì)于英文短文本采用詞干提取工具進(jìn)行預(yù)處理；

特征提取單元，用于通過向量空間模型表示文本表示模型；通過選擇算法來獲取輸入的短文本特征。

在本發(fā)明所述的多維度短文本特征提取系統(tǒng)中，所述分類處理單元包括：

對(duì)于表情符號(hào)信息，獲取表情符號(hào)信息所對(duì)應(yīng)的感情傾向信息以及表情符號(hào)信息的中文含義；將感情傾向信息以及中文含義進(jìn)行處理獲得關(guān)鍵詞；將關(guān)鍵詞加入到統(tǒng)一的文本信息集中；

對(duì)語音信息，通過語音識(shí)別將語音信息轉(zhuǎn)換為文本信息；并通過分析語音信息中的音調(diào)獲得語音信息中的情感傾向信息；將文本信息以及情感傾向信息進(jìn)行處理獲得關(guān)鍵詞；將關(guān)鍵詞加入到統(tǒng)一的文本信息集中；

所述分詞處理單元中通過ICTCLAS分詞系統(tǒng)進(jìn)行分詞；

所述特征提取單元包括：

對(duì)于經(jīng)過預(yù)處理后的文本信息集，根據(jù)短文本中的詞項(xiàng)，抽取出具有代表性的詞條作為短文本的特征，并為每個(gè)特征賦予一定的權(quán)值，將所有特征項(xiàng)構(gòu)成的向量表示該短文本，即文本空間實(shí)際上是由一組由數(shù)字描述的詞項(xiàng)所構(gòu)建的向量空間；

所述特征提取單元還包括：

生成特征詞序號(hào)列表，根據(jù)預(yù)先設(shè)定的特征閾值，選擇相對(duì)應(yīng)的特征，通過詞頻逆文檔詞頻算法獲得特征相對(duì)應(yīng)的權(quán)值，最終得到提取后的特征向量；將得到的特征向量進(jìn)行歸一化處理得到多維向量。

在本發(fā)明所述的多維度短文本特征提取系統(tǒng)中，進(jìn)行情感分析時(shí)，預(yù)先設(shè)置不同情感詞相對(duì)應(yīng)的情感偏向以及正負(fù)長(zhǎng)度值；通過情感偏向以及正負(fù)長(zhǎng)度值得到整體感情傾向信息。

實(shí)施本發(fā)明提供的多維度短文本特征提取方法及系統(tǒng)與現(xiàn)有技術(shù)相比具有以下有益效果：能夠有效解決短文本中不規(guī)則性、稀疏性問題；并且能夠根據(jù)預(yù)先設(shè)定的特征閾值，選擇相對(duì)應(yīng)的特征，通過詞頻逆文檔詞頻算法獲得特征相對(duì)應(yīng)的權(quán)值，最終得到提取后的特征向量；將得到的特征向量進(jìn)行歸一化處理得到多維向量。

附圖說明

圖1是本發(fā)明實(shí)施例的多維度短文本特征提取方法流程圖。

具體實(shí)施方式

如圖1所示，一種多維度短文本特征提取方法，其包括如下步驟：

S1、對(duì)短文本進(jìn)行預(yù)處理；將短文本中信息劃分為表情符號(hào)信息、文本信息、語音信息；

S2、分類對(duì)短文本中各種信息進(jìn)行處理并得到統(tǒng)一的文本信息集；

S3、將統(tǒng)一的文本信息集中中文短文本采用分詞工具進(jìn)行分詞處理，然后利用正則匹配與字符串替換來過濾掉無效字符、連續(xù)空格、大小寫混用噪音信息；對(duì)于英文短文本采用詞干提取工具進(jìn)行預(yù)處理；

S4、通過向量空間模型表示文本表示模型；通過選擇算法來獲取輸入的短文本特征。

在本發(fā)明所述的多維度短文本特征提取方法中，所述步驟S2包括：

對(duì)于表情符號(hào)信息，獲取表情符號(hào)信息所對(duì)應(yīng)的感情傾向信息以及表情符號(hào)信息的中文含義；將感情傾向信息以及中文含義進(jìn)行處理獲得關(guān)鍵詞；將關(guān)鍵詞加入到統(tǒng)一的文本信息集中；

對(duì)語音信息，通過語音識(shí)別將語音信息轉(zhuǎn)換為文本信息；并通過分析語音信息中的音調(diào)獲得語音信息中的情感傾向信息；將文本信息以及情感傾向信息進(jìn)行處理獲得關(guān)鍵詞；將關(guān)鍵詞加入到統(tǒng)一的文本信息集中。

在本發(fā)明實(shí)施例中，通過對(duì)短文本中的表情符號(hào)信息、語音信息進(jìn)行分類處理，并加到統(tǒng)一的文本信息集中，能夠解決現(xiàn)有技術(shù)中只注重文本信息，不注重多媒體信息的缺陷，使得短文本的特征提取更為精確和全面。

在本發(fā)明所述的多維度短文本特征提取方法中，所述步驟S3中通過ICTCLAS分詞系統(tǒng)進(jìn)行分詞。

在本發(fā)明所述的多維度短文本特征提取方法中，所述步驟S4包括：

對(duì)于經(jīng)過預(yù)處理后的文本信息集，根據(jù)短文本中的詞項(xiàng)，抽取出具有代表性的詞條作為短文本的特征，并為每個(gè)特征賦予一定的權(quán)值，將所有特征項(xiàng)構(gòu)成的向量表示該短文本，即文本空間實(shí)際上是由一組由數(shù)字描述的詞項(xiàng)所構(gòu)建的向量空間。

在本發(fā)明所述的多維度短文本特征提取方法中，

所述步驟S4還包括：

生成特征詞序號(hào)列表，根據(jù)預(yù)先設(shè)定的特征閾值，選擇相對(duì)應(yīng)的特征，通過詞頻逆文檔詞頻算法獲得特征相對(duì)應(yīng)的權(quán)值，最終得到提取后的特征向量；將得到的特征向量進(jìn)行歸一化處理得到多維向量。

在本發(fā)明所述的多維度短文本特征提取方法中，進(jìn)行情感分析時(shí)，預(yù)先設(shè)置不同情感詞相對(duì)應(yīng)的情感偏向以及正負(fù)長(zhǎng)度值；通過情感偏向以及正負(fù)長(zhǎng)度值得到整體感情傾向信息。

本發(fā)明還提供一種多維度短文本特征提取系統(tǒng)，其包括如下單元：

預(yù)處理單元，用于對(duì)短文本進(jìn)行預(yù)處理；將短文本中信息劃分為表情符號(hào)信息、文本信息、語音信息；

分類處理單元，用于分類對(duì)短文本中各種信息進(jìn)行處理并得到統(tǒng)一的文本信息集；

分詞處理單元，用于將統(tǒng)一的文本信息集中中文短文本采用分詞工具進(jìn)行分詞處理，然后利用正則匹配與字符串替換來過濾掉無效字符、連續(xù)空格、大小寫混用噪音信息；對(duì)于英文短文本采用詞干提取工具進(jìn)行預(yù)處理；

特征提取單元，用于通過向量空間模型表示文本表示模型；通過選擇算法來獲取輸入的短文本特征。

在本發(fā)明所述的多維度短文本特征提取系統(tǒng)中，所述分類處理單元包括：

對(duì)于表情符號(hào)信息，獲取表情符號(hào)信息所對(duì)應(yīng)的感情傾向信息以及表情符號(hào)信息的中文含義；將感情傾向信息以及中文含義進(jìn)行處理獲得關(guān)鍵詞；將關(guān)鍵詞加入到統(tǒng)一的文本信息集中；

對(duì)語音信息，通過語音識(shí)別將語音信息轉(zhuǎn)換為文本信息；并通過分析語音信息中的音調(diào)獲得語音信息中的情感傾向信息；將文本信息以及情感傾向信息進(jìn)行處理獲得關(guān)鍵詞；將關(guān)鍵詞加入到統(tǒng)一的文本信息集中；

所述分詞處理單元中通過ICTCLAS分詞系統(tǒng)進(jìn)行分詞；

所述特征提取單元包括：

對(duì)于經(jīng)過預(yù)處理后的文本信息集，根據(jù)短文本中的詞項(xiàng)，抽取出具有代表性的詞條作為短文本的特征，并為每個(gè)特征賦予一定的權(quán)值，將所有特征項(xiàng)構(gòu)成的向量表示該短文本，即文本空間實(shí)際上是由一組由數(shù)字描述的詞項(xiàng)所構(gòu)建的向量空間；

所述特征提取單元還包括：

生成特征詞序號(hào)列表，根據(jù)預(yù)先設(shè)定的特征閾值，選擇相對(duì)應(yīng)的特征，通過詞頻逆文檔詞頻算法獲得特征相對(duì)應(yīng)的權(quán)值，最終得到提取后的特征向量；將得到的特征向量進(jìn)行歸一化處理得到多維向量。

在本發(fā)明所述的多維度短文本特征提取系統(tǒng)中，進(jìn)行情感分析時(shí)，預(yù)先設(shè)置不同情感詞相對(duì)應(yīng)的情感偏向以及正負(fù)長(zhǎng)度值；通過情感偏向以及正負(fù)長(zhǎng)度值得到整體感情傾向信息。

實(shí)施本發(fā)明提供的多維度短文本特征提取方法及系統(tǒng)與現(xiàn)有技術(shù)相比具有以下有益效果：能夠有效解決短文本中不規(guī)則性、稀疏性問題；并且能夠根據(jù)預(yù)先設(shè)定的特征閾值，選擇相對(duì)應(yīng)的特征，通過詞頻逆文檔詞頻算法獲得特征相對(duì)應(yīng)的權(quán)值，最終得到提取后的特征向量；將得到的特征向量進(jìn)行歸一化處理得到多維向量。

可以理解的是，對(duì)于本領(lǐng)域的普通技術(shù)人員來說，可以根據(jù)本發(fā)明的技術(shù)構(gòu)思做出其它各種相應(yīng)的改變與變形，而所有這些改變與變形都應(yīng)屬于本發(fā)明權(quán)利要求的保護(hù)范圍。