两个人的电影免费视频_国产精品久久久久久久久成人_97视频在线观看播放_久久这里只有精品777_亚洲熟女少妇二三区_4438x8成人网亚洲av_内谢国产内射夫妻免费视频_人妻精品久久久久中国字幕

基于人工智能的語(yǔ)義相似度獲取方法及裝置與流程

文檔序號(hào):12465055閱讀:240來(lái)源:國(guó)知局
基于人工智能的語(yǔ)義相似度獲取方法及裝置與流程

本發(fā)明涉及信息處理技術(shù)領(lǐng)域,尤其涉及一種基于人工智能的語(yǔ)義相似度獲取方法及裝置。



背景技術(shù):

人工智能(Artificial Intelligence),英文縮寫(xiě)為AI。它是研究、開(kāi)發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新的技術(shù)科學(xué)。人工智能是計(jì)算機(jī)科學(xué)的一個(gè)分支,它企圖了解智能的實(shí)質(zhì),并生產(chǎn)出一種新的能以人類智能相似的方式做出反應(yīng)的智能機(jī)器,該領(lǐng)域的研究包括機(jī)器人、語(yǔ)音識(shí)別、圖像識(shí)別、自然語(yǔ)言處理和專家系統(tǒng)等。

基于人工智能對(duì)用戶的搜索行為進(jìn)行分析,可以得知用戶在搜索時(shí)目的是通過(guò)搜索結(jié)果能夠盡快獲取到與用戶所輸入的搜索詞相關(guān)的內(nèi)容。

根據(jù)搜索詞的語(yǔ)義進(jìn)行檢索是實(shí)現(xiàn)知識(shí)檢索的關(guān)鍵之一,而相似度計(jì)算則是語(yǔ)義檢索的基礎(chǔ)。目前語(yǔ)義相似度模型可以計(jì)算用戶搜索時(shí)所輸入的搜索詞(query)與候選搜索條目(title)之間的相似度,在獲取query與title之間的相似度之后,搜索引擎可以對(duì)獲取到的相似度進(jìn)行排序,按照排序結(jié)果返回搜索結(jié)果。圖1為現(xiàn)有的語(yǔ)義相似度模型的結(jié)構(gòu)示意圖。該語(yǔ)義相似度模型包括:底層為嵌入(embedding)層、變換(BOW)層、對(duì)比(FC)層以及頂層打分(Score)層。其中,embedding層由所有字典詞的向量化表示組成,當(dāng)用戶在搜索時(shí)輸入的一個(gè)句子后,embedding層可以將該句子映射成一個(gè)二維向量,每一個(gè)子向量為其術(shù)語(yǔ)(term)對(duì)應(yīng)的term-embedding;BOW層表示對(duì)二維向量所作的變換,將二維向量變換成一個(gè)一維向量,該層也可以被替換成卷積與pooling;FC層為全聯(lián)通層,該FC層對(duì)一維向量做線性變換,可選的可以在線性變換后增加一個(gè)激活函數(shù),通過(guò)該激活函數(shù)加上非線性轉(zhuǎn)換;Score層用于對(duì)得到的query和title之間的相似度做度量。例如,query為“百度巴西葡語(yǔ)”,而title“巴西葡語(yǔ)”,在對(duì)query和title切詞后,可得到query和title離散的詞序列,query的離散詞序列包括:百度、巴西、葡語(yǔ),而title離散的詞序列包括:巴西、葡語(yǔ)。通過(guò)圖1所示的語(yǔ)義相似度計(jì)模型計(jì)算query和title之前的相似度時(shí),將query切詞后的每個(gè)單詞作為一個(gè)粒度,然后利用query所有的單詞對(duì)query做一個(gè)單粒度向量表示,相應(yīng)地,將title切詞后的每個(gè)單詞作為一個(gè)粒度,然后利用title所有的單詞對(duì)title做一個(gè)單粒度向量表示。這種單粒度的語(yǔ)義相似度計(jì)算,獲取到相似度精度較差,導(dǎo)致搜索結(jié)果不夠理想。

為了提高搜索精度,如圖2所示,對(duì)語(yǔ)義相似模型進(jìn)行了改進(jìn),在相似度計(jì)算的過(guò)程中,對(duì)query和title進(jìn)行切詞后,利用分詞語(yǔ)料進(jìn)行特征提取,獲取到query和title的多個(gè)粒度特征,如query的基礎(chǔ)粒度特征(query-basic)query的二元特征(query-basic-bigram),title的基礎(chǔ)粒度特征(title-basic)、title的二元特征(title-basic-bigram)。如圖2所示雖然引入了多粒度來(lái)表示query和title,但是在計(jì)算query和title之間的相似度之前,語(yǔ)義相似度模型中并不對(duì)query和title的多粒度特征不進(jìn)行區(qū)分,在變換BOW層直接將query的多粒度特征相加,得到query的多粒度表示,將title的多粒度特征相加,得到title的多粒度表示。

現(xiàn)有的語(yǔ)音相似度模型由于不對(duì)多粒度特征進(jìn)行區(qū)別直接將多粒度相加,得到query和title的多粒度表示,使得搜索引擎得到的搜索結(jié)果精確性較差。



技術(shù)實(shí)現(xiàn)要素:

本發(fā)明旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問(wèn)題之一。

為此,本發(fā)明的第一個(gè)目的在于提出一種基于人工智能的語(yǔ)義相似度獲取方法,以實(shí)現(xiàn)對(duì)現(xiàn)有語(yǔ)音相似度模型進(jìn)行優(yōu)化,用于解決現(xiàn)有技術(shù)中的語(yǔ)音相似度模型由于不對(duì)多粒度特征進(jìn)行區(qū)別直接將多粒度相加,得到query和title的多粒度表示,使得搜索引擎得到的搜索結(jié)果精確性較差。

本發(fā)明的第二個(gè)目的在于提出一種基于人工智能的語(yǔ)義相似度獲取裝置。

本發(fā)明的第三個(gè)目的在于提出另一種基于人工智能的語(yǔ)義相似度獲取裝置。

本發(fā)明的第四個(gè)目的在于提出一種非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

本發(fā)明的第五個(gè)目的在于提出一種計(jì)算機(jī)程序產(chǎn)品。

為達(dá)上述目的,本發(fā)明第一方面實(shí)施例提出了一種基于人工智能的語(yǔ)義相似度獲取方法,包括:

獲取搜索詞與搜索條目的粒度特征;

基于所述搜索詞的每個(gè)粒度特征與所述搜索條目的粒度特征進(jìn)行相似度計(jì)算,得到每個(gè)粒度特征對(duì)應(yīng)的權(quán)重;

利用每個(gè)粒度特征對(duì)應(yīng)的權(quán)重對(duì)所述搜索詞和所述搜索條目進(jìn)行加權(quán)計(jì)算,得到所述搜索詞的粒度向量和所述搜索條目的粒度向量;

基于所述搜索詞的粒度向量和所述搜索條目的粒度向量,計(jì)算所述搜索詞與所述搜索條目之間的相似度。

本發(fā)明實(shí)施例的基于人工智能的語(yǔ)義相似度獲取方法,通過(guò)在得到query和title的粒度特征后,獲取每個(gè)粒度特征的權(quán)重,通過(guò)該權(quán)重可以體現(xiàn)出不同粒度的特征所具有的重要程度,然后在對(duì)query和title進(jìn)行多粒度表示時(shí),加入了每個(gè)粒度特征的權(quán)重這一因數(shù),從而在計(jì)算query和title相似度時(shí),不同粒度特征根據(jù)自己的重要性發(fā)揮不同的作用,使得相似度計(jì)算精度更高,實(shí)現(xiàn)對(duì)現(xiàn)有語(yǔ)音相似度模型的優(yōu)化,并且可以使得搜索結(jié)果精準(zhǔn),能夠更符合用戶的需求。

為達(dá)上述目的,本發(fā)明第二方面實(shí)施例提出了一種基于人工智能的語(yǔ)義相似度獲取裝置,包括:

特征獲取模塊,用于獲取搜索詞與搜索條目的粒度特征;

權(quán)重計(jì)算模塊,用于基于所述搜索詞的每個(gè)粒度特征與所述搜索條目的粒度特征進(jìn)行相似度計(jì)算,得到每個(gè)粒度特征對(duì)應(yīng)的權(quán)重;

向量獲取模塊,用于利用每個(gè)粒度特征對(duì)應(yīng)的權(quán)重對(duì)所述搜索詞和所述搜索條目進(jìn)行加權(quán)計(jì)算,得到所述搜索詞的粒度向量和所述搜索條目的粒度向量;

相似度計(jì)算模塊,用于基于所述搜索詞的粒度向量和所述搜索條目的粒度向量,計(jì)算所述搜索詞與所述搜索條目之間的相似度。

本發(fā)明實(shí)施例的基于人工智能的語(yǔ)義相似度獲取裝置,通過(guò)在得到query和title的粒度特征后,獲取每個(gè)粒度特征的權(quán)重,通過(guò)該權(quán)重可以體現(xiàn)出不同粒度的特征所具有的重要程度,然后在對(duì)query和title進(jìn)行多粒度表示時(shí),加入了每個(gè)粒度特征的權(quán)重這一因數(shù),從而在計(jì)算query和title相似度時(shí),不同粒度特征根據(jù)自己的重要性發(fā)揮不同的作用,使得相似度計(jì)算精度更高,實(shí)現(xiàn)對(duì)現(xiàn)有語(yǔ)音相似度模型的優(yōu)化,并且可以使得搜索結(jié)果精準(zhǔn),能夠更符合用戶的需求。

為達(dá)上述目的,本發(fā)明第三方面實(shí)施例提出了另一種基于人工智能的語(yǔ)義相似度獲取裝置,包括:處理器;用于存儲(chǔ)所述處理器可執(zhí)行指令的存儲(chǔ)器;其中,所述處理器被配置為:獲取搜索詞與搜索條目的粒度特征;基于所述搜索詞的每個(gè)粒度特征與所述搜索條目的粒度特征進(jìn)行相似度計(jì)算,得到每個(gè)粒度特征對(duì)應(yīng)的權(quán)重;利用每個(gè)粒度特征對(duì)應(yīng)的權(quán)重對(duì)所述搜索詞和所述搜索條目進(jìn)行加權(quán)計(jì)算,得到所述搜索詞的粒度向量和所述搜索條目的粒度向量;基于所述搜索詞的粒度向量和所述搜索條目的粒度向量,計(jì)算所述搜索詞與所述搜索條目之間的相似度。

為了實(shí)現(xiàn)上述目的,本發(fā)明第四方面實(shí)施例提出了一種非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),當(dāng)所述存儲(chǔ)介質(zhì)中的指令由服務(wù)器端的處理器被執(zhí)行時(shí),使得服務(wù)器端能夠執(zhí)行一種基于人工智能的語(yǔ)義相似度獲取方法,所述方法包括:獲取搜索詞與搜索條目的粒度特征;基于所述搜索詞的每個(gè)粒度特征與所述搜索條目的粒度特征進(jìn)行相似度計(jì)算,得到每個(gè)粒度特征對(duì)應(yīng)的權(quán)重;利用每個(gè)粒度特征對(duì)應(yīng)的權(quán)重對(duì)所述搜索詞和所述搜索條目進(jìn)行加權(quán)計(jì)算,得到所述搜索詞的粒度向量和所述搜索條目的粒度向量;基于所述搜索詞的粒度向量和所述搜索條目的粒度向量,計(jì)算所述搜索詞與所述搜索條目之間的相似度。

為了實(shí)現(xiàn)上述目的,本發(fā)明第五方面實(shí)施例提出了一種計(jì)算機(jī)程序產(chǎn)品,當(dāng)所述計(jì)算機(jī)程序產(chǎn)品中的指令處理器執(zhí)行時(shí),執(zhí)行一種基于人工智能的語(yǔ)義相似度獲取方法,所述方法包括:獲取搜索詞與搜索條目的粒度特征;基于所述搜索詞的每個(gè)粒度特征與所述搜索條目的粒度特征進(jìn)行相似度計(jì)算,得到每個(gè)粒度特征對(duì)應(yīng)的權(quán)重;利用每個(gè)粒度特征對(duì)應(yīng)的權(quán)重對(duì)所述搜索詞和所述搜索條目進(jìn)行加權(quán)計(jì)算,得到所述搜索詞的粒度向量和所述搜索條目的粒度向量;基于所述搜索詞的粒度向量和所述搜索條目的粒度向量,計(jì)算所述搜索詞與所述搜索條目之間的相似度。

本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出,部分將從下面的描述中變得明顯,或通過(guò)本發(fā)明的實(shí)踐了解到。

附圖說(shuō)明

本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解,其中:

圖1為現(xiàn)有單粒度的語(yǔ)義相似度模型的結(jié)構(gòu)示意圖;

圖2為現(xiàn)有的多粒度語(yǔ)義相似度模型的結(jié)構(gòu)示意圖;

圖3為本發(fā)明實(shí)施例所提供的一種基于人工智能的語(yǔ)義相似度獲取方法的流程示意圖;

圖4為本發(fā)明實(shí)施例所提供一種的語(yǔ)義相似度模型的結(jié)構(gòu)示意圖;

圖5為本發(fā)明實(shí)施例所提供的另一種基于人工智能的語(yǔ)義相似度獲取方法的流程示意圖;

圖6為本發(fā)明實(shí)施例所提供另一種的語(yǔ)義相似度模型的結(jié)構(gòu)示意圖;

圖7為本發(fā)明實(shí)施例所提供的一種基于人工智能的語(yǔ)義相似度獲取裝置的結(jié)構(gòu)示意圖;

圖8為本發(fā)明實(shí)施例提供的一種向量獲取模塊的結(jié)構(gòu)示意圖;

圖9為本發(fā)明實(shí)施例提供的一種相似度計(jì)算模塊的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面詳細(xì)描述本發(fā)明的實(shí)施例,所述實(shí)施例的示例在附圖中示出,其中自始至終相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過(guò)參考附圖描述的實(shí)施例是示例性的,旨在用于解釋本發(fā)明,而不能理解為對(duì)本發(fā)明的限制。

下面參考附圖描述本發(fā)明實(shí)施例的基于人工智能的語(yǔ)義相似度獲取方法和裝置。

圖3為本發(fā)明實(shí)施例所提供的一種基于人工智能的語(yǔ)義相似度獲取方法的流程示意圖。該基于人工智能的語(yǔ)義相似度獲取方法包括以下步驟:

S101、獲取搜索詞與搜索條目的粒度特征。

具體地,對(duì)搜索詞(query)和搜索條目(title)進(jìn)行切詞,得到query和title的分詞語(yǔ)料,利用神經(jīng)網(wǎng)絡(luò)對(duì)分詞語(yǔ)料進(jìn)行特征提取,得到query的粒度特征和title的粒度特征。

在通過(guò)神經(jīng)網(wǎng)絡(luò)對(duì)query和title的分詞語(yǔ)料進(jìn)行特征提取之前,首先需要利用訓(xùn)練語(yǔ)料對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,在訓(xùn)練之前對(duì)訓(xùn)練語(yǔ)料進(jìn)行切詞,然后利用切詞后的詞形成多粒度的分詞語(yǔ)料,基于分詞語(yǔ)料對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,在訓(xùn)練完成后就可以得到一個(gè)穩(wěn)定收斂的神經(jīng)網(wǎng)絡(luò)。

在輸入的query和title切詞后,就可以將query和title對(duì)應(yīng)的分詞語(yǔ)料輸入到神經(jīng)網(wǎng)絡(luò)中進(jìn)行特征提取,得到搜索詞和搜索條目的粒度特征。例如,query為“百度巴西葡語(yǔ)”,而title“巴西葡語(yǔ)”,在對(duì)query和title切詞后,可得到query和title離散的詞序列,query的離散詞序列包括:百度、巴西、葡語(yǔ),而title離散的詞序列包括:巴西、葡語(yǔ)。在獲取到query和title離散的詞序列之后,可以對(duì)分詞后的詞進(jìn)行組合,得到query和title的粒度特征。例如,query的粒度特征可以包括:query的基礎(chǔ)粒度特征(query-basic,簡(jiǎn)稱qb)、query的短語(yǔ)粒度特征(query-phrase,簡(jiǎn)稱qp)以及query的基礎(chǔ)粒度的二元粒度特征(query-basic-bigram,簡(jiǎn)稱簡(jiǎn)稱qbb)等等,相應(yīng)地,title的粒度特征可以包括:title的基礎(chǔ)粒度特征(title-basic,簡(jiǎn)稱tb)、title的短語(yǔ)粒度特征(title-phrase,變成tp)以及title的基礎(chǔ)粒度的二元特征(title-basic-bigram,簡(jiǎn)稱tbb)等等。

S102、基于搜索詞的每個(gè)粒度特征與搜索條目的粒度特征進(jìn)行相似度計(jì)算,得到每個(gè)粒度特征對(duì)應(yīng)的權(quán)重。

具體地,將query的每個(gè)粒度特征分別與title的同類型的粒度特征進(jìn)行相似計(jì)算,得到每個(gè)粒度特征對(duì)應(yīng)的權(quán)重。優(yōu)選地,將query的每個(gè)粒度特征分別與title的同類型的粒度特征進(jìn)行余弦相似度計(jì)算,得到每個(gè)粒度特征對(duì)應(yīng)的權(quán)重。例如,將query-basic與title-basic進(jìn)行余弦相似度計(jì)算,得到該basic粒度特征的權(quán)重,將query-phrase與title-phrase進(jìn)行余弦相似度計(jì)算,得到該phrase粒度特征的權(quán)重,該權(quán)重可以體現(xiàn)出不同粒度的特征所具有的重要程度。

S103、利用每個(gè)粒度特征對(duì)應(yīng)的權(quán)重對(duì)搜索詞和搜索條目進(jìn)行加權(quán)計(jì)算,得到搜索詞的粒度向量和搜索條目的粒度向量。

具體地,在獲取到每個(gè)粒度特征對(duì)應(yīng)的權(quán)重后,將query的每個(gè)粒度特征與該粒度特征所對(duì)應(yīng)的權(quán)重做乘積,將query所有粒度特征與對(duì)應(yīng)的權(quán)重做乘積得到的值進(jìn)行相加,就可以得到該query的粒度向量。

相應(yīng)地,將title的每個(gè)粒度特征與該粒度特征所對(duì)應(yīng)的權(quán)重做乘積,將title所有粒度特征與對(duì)應(yīng)的權(quán)重做乘積得到的值進(jìn)行相加,就可以得到該title的粒度向量表示。

本實(shí)施例中,在獲取query和title的粒度向量時(shí),由于加入了每個(gè)粒度特征的權(quán)重這一因數(shù),能夠根據(jù)粒度的重要程度來(lái)表示query的粒度向量和title的粒度向量,使得粒度向量表示更佳精確。

實(shí)際應(yīng)用中,需要對(duì)通過(guò)余弦相似度計(jì)算得到的每個(gè)粒度特征對(duì)應(yīng)的權(quán)重進(jìn)行歸一化處理,得到每個(gè)粒度特征的歸一化權(quán)重。優(yōu)選地,可以利用回歸函數(shù)(softmax)對(duì)每個(gè)粒度特征的權(quán)重進(jìn)行歸一化處理。

S104、基于搜索詞的粒度向量和搜索條目的粒度向量,計(jì)算搜索詞與搜索條目之間的相似度。

在獲取到query的粒度向量和title的粒度向量之后,就可以基于該query的粒度向量和title的粒度向量,計(jì)算該query和title之間的相似度。

圖4其為本實(shí)施例提供的一種語(yǔ)音相似模型的結(jié)構(gòu)示意圖。如圖4所示,該語(yǔ)義相似模型包括:粒度加權(quán)層、對(duì)比層以及評(píng)分層,在該粒度加權(quán)層實(shí)現(xiàn)對(duì)query和title的粒度向量表示。在該粒度加權(quán)層中設(shè)置有三個(gè)余弦相似度計(jì)算模塊、一個(gè)歸一化模塊和加權(quán)模塊,其中,qb與tb、qp與tp以及qbb與tbb分別通過(guò)一個(gè)余弦相似度計(jì)算模塊,得到basic粒度特征對(duì)應(yīng)的權(quán)重、phrase粒度特征對(duì)應(yīng)的權(quán)重以及basic粒度的digram特征的權(quán)重。在獲取到權(quán)重后,通過(guò)歸一化模塊對(duì)獲取到的各粒度特征的權(quán)重進(jìn)行歸一化處理,然后在加權(quán)模塊將粒度特征與所對(duì)應(yīng)的歸一化權(quán)重進(jìn)行相乘加權(quán),得到query的粒度向量(q_1)和title的粒度向量(t_1)。該語(yǔ)義相似模型可以執(zhí)行本實(shí)施例提供的基于人工智能的語(yǔ)音相識(shí)度獲取方法。

具體地,在粒度加權(quán)層獲取到query的粒度向量和title的粒度向量,然后將query的粒度向量和title的粒度向量輸入到的對(duì)比層即FC層,通過(guò)該FC層進(jìn)行線性變換或者非線性變換,得到query和title之間的相似度,然后通過(guò)語(yǔ)義相似模型中的score層對(duì)query和title的相似度進(jìn)行評(píng)分,在評(píng)分完成后,按照評(píng)分進(jìn)行排序,將排序結(jié)果反饋給用戶。

本發(fā)明實(shí)施例的基于人工智能的語(yǔ)義相似度獲取方法,通過(guò)在得到query和title的多粒度特征后,獲取每個(gè)粒度特征的權(quán)重,通過(guò)該權(quán)重可以體現(xiàn)出不同粒度的特征所具有的重要程度,然后在對(duì)query和title進(jìn)行多粒度表示時(shí),加入了每個(gè)粒度特征的權(quán)重這一因數(shù),從而在計(jì)算query和title相似度時(shí),不同粒度特征根據(jù)自己的重要性發(fā)揮不同的作用,使得相似度計(jì)算精度更高,實(shí)現(xiàn)對(duì)現(xiàn)有語(yǔ)音相似度模型的優(yōu)化,并且可以使得搜索結(jié)果精準(zhǔn),能夠更符合用戶的需求。

圖5為本發(fā)明實(shí)施例所提供的另一種基于人工智能的語(yǔ)義相似度獲取方法的流程示意圖。該基于人工智能的語(yǔ)義相似度獲取方法包括以下步驟:

S201、獲取搜索詞與搜索條目的粒度特征。

S202、基于搜索詞的每個(gè)粒度特征與搜索條目的粒度特征進(jìn)行相似度計(jì)算,得到每個(gè)粒度特征對(duì)應(yīng)的權(quán)重。

S203、利用每個(gè)粒度特征對(duì)應(yīng)的權(quán)重對(duì)搜索詞和搜索條目進(jìn)行加權(quán)計(jì)算,得到搜索詞的粒度向量和搜索條目的粒度向量。

關(guān)于S201~S203的介紹,可參加上述實(shí)施例中相關(guān)內(nèi)容的記載,此次不再贅述。

S204、對(duì)搜索詞的每個(gè)粒度特征與搜索條目的粒度向量進(jìn)行相似度計(jì)算得到第一權(quán)重,以及對(duì)搜索條目的每個(gè)粒度特征與搜索條目的粒度向量進(jìn)行相似度計(jì)算得到第二權(quán)重。

S205、將搜索詞的每個(gè)粒度特征與第一權(quán)重進(jìn)行加權(quán)計(jì)算,并將搜索條目的每個(gè)粒度特征與第二權(quán)重進(jìn)行加權(quán)計(jì)算。

具體地,對(duì)query的每個(gè)粒度特征與title的粒度向量進(jìn)行相似度計(jì)算得到第一權(quán)重,以及對(duì)title每個(gè)粒度特征與query的粒度向量相似度進(jìn)行計(jì)算得到第二權(quán)重。將query的每個(gè)粒度特征與第一權(quán)重進(jìn)行加權(quán)計(jì)算,即將query的每個(gè)粒度特征與第一權(quán)重乘積,將所有乘積相加。相應(yīng)地,將title的每個(gè)粒度特征與第一權(quán)重進(jìn)行加權(quán)計(jì)算,即將title的每個(gè)粒度特征與第二權(quán)重乘積,將所有乘積相加。

S206、利用加權(quán)計(jì)算的結(jié)果更新搜索詞的粒度向量和搜索條目的粒度向量。

在獲取到query和title的加權(quán)計(jì)算的結(jié)果后,利用query的加權(quán)計(jì)算的結(jié)果更新為query的粒度向量,利用title的加權(quán)計(jì)算的結(jié)果更新title的粒度向量。

S207、對(duì)搜索詞的粒度向量和搜索條目的粒度向量的相似度進(jìn)行計(jì)算,得到搜索詞和搜索條目之間的相似度。

在獲取到query的粒度向量和title的粒度向量之后,就可以基于該query的粒度向量和title的粒度向量,計(jì)算該query和title之間的相似度。

圖6其為本實(shí)施例提供另一種的語(yǔ)音相似模型的結(jié)構(gòu)示意圖。如圖6所示,該語(yǔ)義相似模型包括:第一粒度加權(quán)層和第二粒度加權(quán)層、對(duì)比層以及評(píng)分層,在該第一粒度加權(quán)層和第二粒度加權(quán)層實(shí)現(xiàn)對(duì)query和title的粒度向量表示。在該第一粒度加權(quán)層中設(shè)置有二個(gè)第一余弦相似度計(jì)算模塊、一個(gè)第一歸一化模塊和第一加權(quán)模塊,其中,qb與tb以及qbb與tbb分別通過(guò)一個(gè)第一余弦相似度計(jì)算模塊,得到basic粒度特征對(duì)應(yīng)的權(quán)重、basic粒度的digram特征對(duì)應(yīng)的權(quán)重。在獲取到各粒度特征對(duì)應(yīng)的權(quán)重后,通過(guò)第一歸一化模塊對(duì)各粒度特征的權(quán)重進(jìn)行歸一化處理,然后在第一加權(quán)模塊將粒度特征與所對(duì)應(yīng)的歸一化權(quán)重進(jìn)行乘積相加,得到一個(gè)query的粒度向量(q_1)和title的粒度向量(t_1)。

進(jìn)一步地,第二粒度加權(quán)層包括:四個(gè)第二余弦相似度計(jì)算模塊、兩個(gè)第二歸一化模塊以及兩個(gè)第二加權(quán)模塊。

針對(duì)query,將basic粒度特征和basic粒度的digram特征分別與第一粒度加權(quán)層得到的title的粒度向量即t_1,分別通過(guò)兩個(gè)第二余弦相似度計(jì)算模塊進(jìn)行相似度計(jì)算得到第一權(quán)重,然后通過(guò)第二歸一化模塊對(duì)第一權(quán)重進(jìn)行歸一化處理,然后在第二加權(quán)模塊將query的qb和qbb分別與所對(duì)應(yīng)的歸一化后第一權(quán)重進(jìn)行乘積相加,得到一個(gè)query的粒度向量(q_2)。

相應(yīng)地,針對(duì)title,將basic粒度特征和basic粒度的digram特征分別與第一粒度加權(quán)層得到的query的粒度向量即q_1,分別通過(guò)兩個(gè)第二余弦相似度計(jì)算模塊進(jìn)行相似度計(jì)算得到第二權(quán)重,然后通過(guò)第二歸一化模塊對(duì)第二權(quán)重進(jìn)行歸一化處理,然后在第二加權(quán)模塊將title的tb和tbb分別與歸一化后第二權(quán)重進(jìn)行乘積相加,得到一個(gè)title的粒度向量(t_2)。

在獲取到q_2和t_2輸入到的對(duì)比層即FC層,通過(guò)該FC層進(jìn)行線性變換或者非線性變換,得到query和title之間的相似度,然后通過(guò)語(yǔ)義相似模型中的score層對(duì)query和title的相似度進(jìn)行評(píng)分,在評(píng)分完成后,按照評(píng)分進(jìn)行排序,將排序結(jié)果反饋給用戶。

進(jìn)一步地,本實(shí)施例中,可以在第二粒度加權(quán)模塊進(jìn)行迭代操作,即對(duì)S206中獲取的query粒度向量和title粒度向量即利用加權(quán)計(jì)算的結(jié)果更新后的搜索詞的粒度向量和搜索條目的粒度向量進(jìn)行迭代計(jì)算,按照預(yù)設(shè)的迭代次數(shù),迭代執(zhí)行對(duì)query的每個(gè)粒度特征與title的粒度向量進(jìn)行相似度計(jì)算得到第一權(quán)重,以及對(duì)搜索條目的每個(gè)粒度特征與title的粒度向量進(jìn)行相似度計(jì)算得到第二權(quán)重,以及將query的每個(gè)粒度特征與第一權(quán)重進(jìn)行加權(quán)計(jì)算,并將title的每個(gè)粒度特征與第二權(quán)重進(jìn)行加權(quán)計(jì)算,直到迭代次數(shù)完成為止。

例如,迭代次數(shù)設(shè)置為2,即將q_2和t_2作為新的q_1和t_1,重新將qb、qbb分別與q_1進(jìn)行余弦相似度計(jì)算,以及將tb、tbb與t_1進(jìn)行余弦相似度計(jì)算以及后續(xù)操作,得到q_3和t_3,此時(shí)完成一次迭代過(guò)程,將q_3和t_3作為新的q_1和t_1,重新將qb、qbb分別與q_1進(jìn)行余弦相似度計(jì)算,以及將tb、tbb與t_1進(jìn)行余弦相似度計(jì)算以及后續(xù)操作,得到q_4和t_4,此時(shí)完成第二次迭代過(guò)程。

進(jìn)一步地將q_4和t_4作為新的q_1和t_1執(zhí)行后的query和title之間的相似度計(jì)算。

本發(fā)明實(shí)施例的基于人工智能的語(yǔ)義相似度獲取方法,通過(guò)在得到query和title的多粒度特征后,獲取每個(gè)粒度特征的權(quán)重,通過(guò)該權(quán)重可以體現(xiàn)出不同粒度的特征所具有的重要程度,然后在對(duì)query和title進(jìn)行多粒度表示時(shí),加入了每個(gè)粒度特征的權(quán)重這一因數(shù),從而在計(jì)算query和title相似度時(shí),不同粒度特征根據(jù)自己的重要性發(fā)揮不同的作用,使得相似度計(jì)算精度更高,實(shí)現(xiàn)對(duì)現(xiàn)有語(yǔ)音相似度模型的優(yōu)化,并且可以使得搜索結(jié)果精準(zhǔn),能夠更符合用戶的需求。

本實(shí)施例中,利用粒度特征的權(quán)重進(jìn)行多跳粒度加權(quán),進(jìn)一步地,提高了相似度計(jì)算的精確性,從而搜索結(jié)果更符合用戶的需求。

圖7為本發(fā)明實(shí)施例提供的一種基于人工智能的語(yǔ)義相似度獲取裝置的結(jié)構(gòu)示意圖。該基于人工智能的語(yǔ)義相似度獲取裝置包括:特征獲取模塊11、權(quán)重計(jì)算模塊12、向量獲取模塊13和相似度計(jì)算模塊14。

其中,特征獲取模塊11,用于獲取搜索詞與搜索條目的粒度特征。

特征獲取模塊11,具體用于:

對(duì)所述搜索詞和所述搜索條目進(jìn)行切詞,得到所述搜索詞和所述搜索條目的分詞語(yǔ)料。

利用神經(jīng)網(wǎng)絡(luò)對(duì)所述分詞語(yǔ)料進(jìn)行特征提取,得到所述搜索詞的粒度特征和所述搜索條目的粒度特征。

權(quán)重計(jì)算模塊12,用于基于所述搜索詞的每個(gè)粒度特征與所述搜索條目的粒度特征進(jìn)行相似度計(jì)算,得到每個(gè)粒度特征對(duì)應(yīng)的權(quán)重;

權(quán)重計(jì)算模塊12,具體用于將所述搜索詞的每個(gè)粒度特征分別與所述搜索條目的同類型的粒度特征進(jìn)行相似計(jì)算,得到每個(gè)粒度特征對(duì)應(yīng)的權(quán)重。

進(jìn)一步地,權(quán)重計(jì)算模塊12,具體用于:

將所述搜索詞的每個(gè)粒度特征分別與所述搜索條目的同類型的粒度特征進(jìn)行余弦相似度計(jì)算,得到每個(gè)粒度特征對(duì)應(yīng)的權(quán)重。

向量獲取模塊13,用于利用每個(gè)粒度特征對(duì)應(yīng)的權(quán)重對(duì)所述搜索詞和所述搜索條目進(jìn)行加權(quán)計(jì)算,得到所述搜索詞的粒度向量和所述搜索條目的粒度向量。

圖8為本實(shí)施例中向量獲取模塊一種可選的結(jié)構(gòu)示意圖。該向量獲取模塊13包括:歸一化單元131和向量獲取單元132。

歸一化單元131,用于對(duì)每個(gè)粒度特征對(duì)應(yīng)的權(quán)重進(jìn)行歸一化處理,得到每個(gè)粒度對(duì)應(yīng)的歸一化權(quán)重。

向量獲取單元132,用于針對(duì)所述搜索詞和所述搜索條目,將每個(gè)粒度特征與對(duì)應(yīng)的所述歸一化權(quán)重的乘積相加,得到所述搜索詞的粒度向量和所述搜索條目的粒度向量。

相似度計(jì)算模塊14,用于基于所述搜索詞的粒度向量和所述搜索條目的粒度向量,計(jì)算所述搜索詞與所述搜索條目之間的相似度。

圖9為本實(shí)施例中相似度計(jì)算模塊一種可選的結(jié)構(gòu)示意圖。該相似度計(jì)算模塊14包括:權(quán)重單元141、加權(quán)計(jì)算單元142、更新單元143、相似度計(jì)算單元144以及迭代單元145。

權(quán)重單元141,用于對(duì)所述搜索詞的每個(gè)粒度特征與所述搜索條目的粒度向量進(jìn)行相似度計(jì)算得到第一權(quán)重,以及對(duì)所述搜索條目的每個(gè)粒度特征與所述搜索條目的粒度向量進(jìn)行相似度計(jì)算得到第二權(quán)重。

加權(quán)計(jì)算單元142,用于將所述搜索詞的每個(gè)粒度特征與所述第一權(quán)重進(jìn)行加權(quán)計(jì)算,并將所述搜索條目的每個(gè)粒度特征與所述第二權(quán)重進(jìn)行加權(quán)計(jì)算。

更新單元143,用于利用加權(quán)計(jì)算的結(jié)果更新所述搜索詞的粒度向量和所述搜索條目的粒度向量。

相似度計(jì)算單元144,用于對(duì)所述搜索詞的粒度向量和所述搜索條目的粒度向量的相似度進(jìn)行計(jì)算,得到所述搜索詞和所述搜索條目之間的相似度。

進(jìn)一步地,迭代單元145,用于對(duì)經(jīng)過(guò)所述加權(quán)計(jì)算更新后的所述搜索詞的粒度向量和所述搜索條目的粒度向量,按照預(yù)設(shè)的迭代次數(shù)迭代執(zhí)行所述對(duì)所述搜索詞的每個(gè)粒度特征與所述搜索條目的粒度向量進(jìn)行相似度計(jì)算得到第一權(quán)重,以及對(duì)所述搜索條目的每個(gè)粒度特征與所述搜索條目的粒度向量進(jìn)行相似度計(jì)算得到第二權(quán)重,以及將所述搜索詞的每個(gè)粒度特征與所述第一權(quán)重進(jìn)行加權(quán)計(jì)算,并將所述搜索條目的每個(gè)粒度特征與所述第二權(quán)重進(jìn)行加權(quán)計(jì)算,直到所述迭代次數(shù)完成為止。

進(jìn)一步地,加權(quán)計(jì)算單元142,具體用于:

對(duì)所述第一權(quán)重和所述第二權(quán)重進(jìn)行歸一化處理;

將所述搜索詞的每個(gè)粒度特征與歸一化后的所述第一權(quán)重進(jìn)行加權(quán)計(jì)算;

將所述搜索條目的每個(gè)粒度特征與歸一化后的所述第二權(quán)重進(jìn)行加權(quán)計(jì)算。

本發(fā)明實(shí)施例的基于人工智能的語(yǔ)義相似度獲取方法,通過(guò)在得到query和title的多粒度特征后,獲取每個(gè)粒度特征的權(quán)重,通過(guò)該權(quán)重可以體現(xiàn)出不同粒度的特征所具有的重要程度,然后在對(duì)query和title進(jìn)行多粒度表示時(shí),加入了每個(gè)粒度特征的權(quán)重這一因數(shù),從而在計(jì)算query和title相似度時(shí),不同粒度特征根據(jù)自己的重要性發(fā)揮不同的作用,使得相似度計(jì)算精度更高,實(shí)現(xiàn)對(duì)現(xiàn)有語(yǔ)音相似度模型的優(yōu)化,并且可以使得搜索結(jié)果精準(zhǔn),能夠更符合用戶的需求。

本實(shí)施例中,利用粒度特征的權(quán)重進(jìn)行多跳粒度加權(quán),進(jìn)一步地,提高了相似度計(jì)算的精確性,從而搜索結(jié)果更符合用戶的需求。

為了實(shí)現(xiàn)上述實(shí)施例,本發(fā)明還提出另一種基于人工智能的語(yǔ)義相似度獲取裝置,包括:處理器,以及用于存儲(chǔ)所述處理器可執(zhí)行指令的存儲(chǔ)器。

其中,處理器被配置為:獲取搜索詞與搜索條目的粒度特征;基于所述搜索詞的每個(gè)粒度特征與所述搜索條目的粒度特征進(jìn)行相似度計(jì)算,得到每個(gè)粒度特征對(duì)應(yīng)的權(quán)重;利用每個(gè)粒度特征對(duì)應(yīng)的權(quán)重對(duì)所述搜索詞和所述搜索條目進(jìn)行加權(quán)計(jì)算,得到所述搜索詞的粒度向量和所述搜索條目的粒度向量;基于所述搜索詞的粒度向量和所述搜索條目的粒度向量,計(jì)算所述搜索詞與所述搜索條目之間的相似度。

為了實(shí)現(xiàn)上述實(shí)施例,本發(fā)明還提出一種非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),當(dāng)所述存儲(chǔ)介質(zhì)中的指令由服務(wù)器端的處理器被執(zhí)行時(shí),使得服務(wù)器端能夠執(zhí)行一種基于人工智能的語(yǔ)義相似度獲取方法,所述方法包括:獲取搜索詞與搜索條目的粒度特征;基于所述搜索詞的每個(gè)粒度特征與所述搜索條目的粒度特征進(jìn)行相似度計(jì)算,得到每個(gè)粒度特征對(duì)應(yīng)的權(quán)重;利用每個(gè)粒度特征對(duì)應(yīng)的權(quán)重對(duì)所述搜索詞和所述搜索條目進(jìn)行加權(quán)計(jì)算,得到所述搜索詞的粒度向量和所述搜索條目的粒度向量;基于所述搜索詞的粒度向量和所述搜索條目的粒度向量,計(jì)算所述搜索詞與所述搜索條目之間的相似度。

為了實(shí)現(xiàn)上述實(shí)施例,本發(fā)明還提出一種計(jì)算機(jī)程序產(chǎn)品,當(dāng)所述計(jì)算機(jī)程序產(chǎn)品中的指令處理器執(zhí)行時(shí),執(zhí)行一種基于人工智能的語(yǔ)義相似度獲取方法,所述方法包括:獲取搜索詞與搜索條目的粒度特征;基于所述搜索詞的每個(gè)粒度特征與所述搜索條目的粒度特征進(jìn)行相似度計(jì)算,得到每個(gè)粒度特征對(duì)應(yīng)的權(quán)重;利用每個(gè)粒度特征對(duì)應(yīng)的權(quán)重對(duì)所述搜索詞和所述搜索條目進(jìn)行加權(quán)計(jì)算,得到所述搜索詞的粒度向量和所述搜索條目的粒度向量;基于所述搜索詞的粒度向量和所述搜索條目的粒度向量,計(jì)算所述搜索詞與所述搜索條目之間的相似度。

在本說(shuō)明書(shū)的描述中,參考術(shù)語(yǔ)“一個(gè)實(shí)施例”、“一些實(shí)施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實(shí)施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)包含于本發(fā)明的至少一個(gè)實(shí)施例或示例中。在本說(shuō)明書(shū)中,對(duì)上述術(shù)語(yǔ)的示意性表述不必須針對(duì)的是相同的實(shí)施例或示例。而且,描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)可以在任一個(gè)或多個(gè)實(shí)施例或示例中以合適的方式結(jié)合。此外,在不相互矛盾的情況下,本領(lǐng)域的技術(shù)人員可以將本說(shuō)明書(shū)中描述的不同實(shí)施例或示例以及不同實(shí)施例或示例的特征進(jìn)行結(jié)合和組合。

此外,術(shù)語(yǔ)“第一”、“第二”僅用于描述目的,而不能理解為指示或暗示相對(duì)重要性或者隱含指明所指示的技術(shù)特征的數(shù)量。由此,限定有“第一”、“第二”的特征可以明示或者隱含地包括至少一個(gè)該特征。在本發(fā)明的描述中,“多個(gè)”的含義是至少兩個(gè),例如兩個(gè),三個(gè)等,除非另有明確具體的限定。

流程圖中或在此以其他方式描述的任何過(guò)程或方法描述可以被理解為,表示包括一個(gè)或更多個(gè)用于實(shí)現(xiàn)定制邏輯功能或過(guò)程的步驟的可執(zhí)行指令的代碼的模塊、片段或部分,并且本發(fā)明的優(yōu)選實(shí)施方式的范圍包括另外的實(shí)現(xiàn),其中可以不按所示出或討論的順序,包括根據(jù)所涉及的功能按基本同時(shí)的方式或按相反的順序,來(lái)執(zhí)行功能,這應(yīng)被本發(fā)明的實(shí)施例所屬技術(shù)領(lǐng)域的技術(shù)人員所理解。

在流程圖中表示或在此以其他方式描述的邏輯和/或步驟,例如,可以被認(rèn)為是用于實(shí)現(xiàn)邏輯功能的可執(zhí)行指令的定序列表,可以具體實(shí)現(xiàn)在任何計(jì)算機(jī)可讀介質(zhì)中,以供指令執(zhí)行系統(tǒng)、裝置或設(shè)備(如基于計(jì)算機(jī)的系統(tǒng)、包括處理器的系統(tǒng)或其他可以從指令執(zhí)行系統(tǒng)、裝置或設(shè)備取指令并執(zhí)行指令的系統(tǒng))使用,或結(jié)合這些指令執(zhí)行系統(tǒng)、裝置或設(shè)備而使用。就本說(shuō)明書(shū)而言,"計(jì)算機(jī)可讀介質(zhì)"可以是任何可以包含、存儲(chǔ)、通信、傳播或傳輸程序以供指令執(zhí)行系統(tǒng)、裝置或設(shè)備或結(jié)合這些指令執(zhí)行系統(tǒng)、裝置或設(shè)備而使用的裝置。計(jì)算機(jī)可讀介質(zhì)的更具體的示例(非窮盡性列表)包括以下:具有一個(gè)或多個(gè)布線的電連接部(電子裝置),便攜式計(jì)算機(jī)盤盒(磁裝置),隨機(jī)存取存儲(chǔ)器(RAM),只讀存儲(chǔ)器(ROM),可擦除可編輯只讀存儲(chǔ)器(EPROM或閃速存儲(chǔ)器),光纖裝置,以及便攜式光盤只讀存儲(chǔ)器(CDROM)。另外,計(jì)算機(jī)可讀介質(zhì)甚至可以是可在其上打印所述程序的紙或其他合適的介質(zhì),因?yàn)榭梢岳缤ㄟ^(guò)對(duì)紙或其他介質(zhì)進(jìn)行光學(xué)掃描,接著進(jìn)行編輯、解譯或必要時(shí)以其他合適方式進(jìn)行處理來(lái)以電子方式獲得所述程序,然后將其存儲(chǔ)在計(jì)算機(jī)存儲(chǔ)器中。

應(yīng)當(dāng)理解,本發(fā)明的各部分可以用硬件、軟件、固件或它們的組合來(lái)實(shí)現(xiàn)。在上述實(shí)施方式中,多個(gè)步驟或方法可以用存儲(chǔ)在存儲(chǔ)器中且由合適的指令執(zhí)行系統(tǒng)執(zhí)行的軟件或固件來(lái)實(shí)現(xiàn)。如,如果用硬件來(lái)實(shí)現(xiàn)和在另一實(shí)施方式中一樣,可用本領(lǐng)域公知的下列技術(shù)中的任一項(xiàng)或他們的組合來(lái)實(shí)現(xiàn):具有用于對(duì)數(shù)據(jù)信號(hào)實(shí)現(xiàn)邏輯功能的邏輯門電路的離散邏輯電路,具有合適的組合邏輯門電路的專用集成電路,可編程門陣列(PGA),現(xiàn)場(chǎng)可編程門陣列(FPGA)等。

本技術(shù)領(lǐng)域的普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法攜帶的全部或部分步驟是可以通過(guò)程序來(lái)指令相關(guān)的硬件完成,所述的程序可以存儲(chǔ)于一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中,該程序在執(zhí)行時(shí),包括方法實(shí)施例的步驟之一或其組合。

此外,在本發(fā)明各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理模塊中,也可以是各個(gè)單元單獨(dú)物理存在,也可以兩個(gè)或兩個(gè)以上單元集成在一個(gè)模塊中。上述集成的模塊既可以采用硬件的形式實(shí)現(xiàn),也可以采用軟件功能模塊的形式實(shí)現(xiàn)。所述集成的模塊如果以軟件功能模塊的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時(shí),也可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中。

上述提到的存儲(chǔ)介質(zhì)可以是只讀存儲(chǔ)器,磁盤或光盤等。盡管上面已經(jīng)示出和描述了本發(fā)明的實(shí)施例,可以理解的是,上述實(shí)施例是示例性的,不能理解為對(duì)本發(fā)明的限制,本領(lǐng)域的普通技術(shù)人員在本發(fā)明的范圍內(nèi)可以對(duì)上述實(shí)施例進(jìn)行變化、修改、替換和變型。

當(dāng)前第1頁(yè)1 2 3 
網(wǎng)友詢問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
深州市| 布尔津县| 固镇县| 潍坊市| 寻乌县| 卢氏县| 麟游县| 清镇市| 宁河县| 浦江县| 庆云县| 资源县| 武穴市| 正蓝旗| 云霄县| 巩留县| 宜城市| 卢湾区| 长兴县| 盘山县| 沙河市| 杭锦后旗| 正宁县| 南投县| 荥经县| 饶阳县| 尼勒克县| 张家口市| 普定县| 兴城市| 建平县| 大方县| 广汉市| 广宗县| 图木舒克市| 车致| 荆门市| 栾城县| 凤阳县| 巴南区| 德兴市|