本發(fā)明涉及知識(shí)圖譜、強(qiáng)化學(xué)習(xí)領(lǐng)域，具體涉及一種基于多跳轉(zhuǎn)多模態(tài)知識(shí)圖譜的服務(wù)融合方法與系統(tǒng)。

背景技術(shù)：

1、在城市化進(jìn)程的加速以及人們對(duì)生活質(zhì)量的不斷追求的背景下，智慧社區(qū)建設(shè)已成為城市發(fā)展的重要方向之一。智慧社區(qū)涉及多個(gè)領(lǐng)域，包括物業(yè)管理、社區(qū)服務(wù)、公共安全、環(huán)境監(jiān)測(cè)等，因此需要跨越多個(gè)領(lǐng)域，整合各種信息和服務(wù)資源，以實(shí)現(xiàn)智能化、高效化的社區(qū)運(yùn)營(yíng)管理。在這一背景下，構(gòu)建智慧社區(qū)知識(shí)圖譜成為一項(xiàng)重要舉措，可整合各領(lǐng)域的信息和知識(shí)，實(shí)現(xiàn)多領(lǐng)域信息的跨界整合和智能化管理。知識(shí)圖譜的應(yīng)用有助于實(shí)現(xiàn)不同領(lǐng)域之間的信息關(guān)聯(lián)和交互，促進(jìn)社區(qū)內(nèi)部各項(xiàng)服務(wù)的協(xié)同運(yùn)作和智能化決策支持。此外，智慧社區(qū)知識(shí)圖譜還可作為智能問答系統(tǒng)的知識(shí)源，為居民提供智能化的問答和交互服務(wù)，從而提升社區(qū)居民的生活品質(zhì)和城市管理的智能化水平。

2、知識(shí)圖譜研究涉及知識(shí)的表示與建模、抽取與獲取、融合與推理等多個(gè)方面，作為一種結(jié)構(gòu)化人類知識(shí)的形式，可以幫助整合這些信息，構(gòu)建一個(gè)跨領(lǐng)域的智慧社區(qū)知識(shí)圖譜，包括物業(yè)信息、居民服務(wù)、安全數(shù)據(jù)、環(huán)境監(jiān)測(cè)等。通過這樣的知識(shí)圖譜，可以實(shí)現(xiàn)對(duì)社區(qū)資源的全面理解和管理，支持智慧社區(qū)內(nèi)各項(xiàng)服務(wù)的協(xié)同運(yùn)作和智能化決策支持。例如，可以利用知識(shí)圖譜提供智能問答和交互服務(wù)，為居民提供個(gè)性化的社區(qū)服務(wù)信息；也可以通過知識(shí)圖譜進(jìn)行智能推薦，為社區(qū)管理者提供決策支持，如提前預(yù)警社區(qū)安全隱患或優(yōu)化社區(qū)資源配置。因此，知識(shí)圖譜在智慧社區(qū)建設(shè)中發(fā)揮著重要的作用，是實(shí)現(xiàn)智慧社區(qū)運(yùn)營(yíng)管理的重要技術(shù)手段之一。

3、盡管知識(shí)圖譜在多個(gè)應(yīng)用領(lǐng)域中具有廣泛的潛力，但在當(dāng)前階段仍然存在一些挑戰(zhàn)和問題。首先，跨領(lǐng)域的智慧社區(qū)知識(shí)圖譜具有不同的特點(diǎn)和表示方式，如何有效地融合和建模這些數(shù)據(jù)，以實(shí)現(xiàn)準(zhǔn)確的知識(shí)圖譜描述仍然是一個(gè)重要的研究問題。其次，當(dāng)前階段的算法主要專注于完成單跳轉(zhuǎn)知識(shí)圖譜融合的模型，然而，這些模型的推理性能相對(duì)較低，無法很好地捕捉到復(fù)雜的跨領(lǐng)域關(guān)系和語境。因此，它們很難將不同類型或不同來源的服務(wù)整合在一起，以提供更全面、更一體化的解決方案。這一局限性限制了知識(shí)圖譜在服務(wù)融合領(lǐng)域的應(yīng)用效果和發(fā)展?jié)摿?，需要進(jìn)一步的研究和改進(jìn)來克服這些挑戰(zhàn)。因此，如何提高知識(shí)圖譜融合模型的推理性能，以更好地捕捉復(fù)雜的跨領(lǐng)域關(guān)系和語境，并將不同類型或來源的服務(wù)整合在一起，成為當(dāng)前階段知識(shí)圖譜在服務(wù)融合領(lǐng)域亟待解決的問題。

4、目前的現(xiàn)有技術(shù)之一為論文“metap:meta?pattern?learning?for?one-shotknowledge?graph?completion”基于傳統(tǒng)知識(shí)圖譜的融合方法。此類技術(shù)將文本知識(shí)圖譜視為一種體現(xiàn)人類知識(shí)結(jié)構(gòu)的重要形式。這些圖譜以文本作為主要對(duì)象，通過構(gòu)建三元組來描述實(shí)體之間的關(guān)系和屬性，從而建立起豐富的語義網(wǎng)絡(luò)。在這個(gè)網(wǎng)絡(luò)中，每個(gè)實(shí)體都被賦予了語義標(biāo)簽，使得不同實(shí)體之間的關(guān)聯(lián)和語義聯(lián)系得以清晰地呈現(xiàn)，從而為知識(shí)的存儲(chǔ)、檢索和推理提供了有力支持。這種融合方法使得文本知識(shí)得以以結(jié)構(gòu)化的方式被表示和利用，實(shí)現(xiàn)對(duì)在各個(gè)領(lǐng)域中應(yīng)用潛力的拓展。該技術(shù)的缺點(diǎn)是，首先，這些方法沒有考慮多模態(tài)知識(shí)，導(dǎo)致在知識(shí)表示和推理過程中缺乏對(duì)多樣化信息的綜合考慮。其次，這些方法只專注于完成單跳推理的模型，無法很好地處理復(fù)雜的多跳推理任務(wù)，導(dǎo)致推理性能較低，難以滿足當(dāng)前對(duì)于智慧社區(qū)建設(shè)等領(lǐng)域中復(fù)雜需求。

5、目前的現(xiàn)有技術(shù)之二為論文“multimodal?data?enhanced?representationlearning?for?knowledge?graphs”基于多模態(tài)知識(shí)圖譜的融合方法。此類技術(shù)將不同類型的數(shù)據(jù)(如文本、圖像、視頻等)整合到知識(shí)圖譜中，以豐富和完善知識(shí)的表示。這種方法不僅考慮了傳統(tǒng)文本知識(shí)圖譜的構(gòu)建方式，還將多模態(tài)數(shù)據(jù)與之結(jié)合，形成跨模態(tài)的知識(shí)表示。通過將不同模態(tài)的數(shù)據(jù)進(jìn)行關(guān)聯(lián)和融合，可以更全面地表達(dá)知識(shí)，提供更豐富的語義信息。這樣的融合方法有助于更好地理解和推理跨模態(tài)的復(fù)雜知識(shí)，從而為智慧社區(qū)建設(shè)等領(lǐng)域提供更強(qiáng)大的支持和解決方案。該技術(shù)的缺點(diǎn)是，現(xiàn)階段的基于多模態(tài)知識(shí)圖譜的融合方法可能在跨模態(tài)關(guān)聯(lián)上表現(xiàn)不佳，因?yàn)樗鼉A向于將不同模態(tài)的數(shù)據(jù)獨(dú)立地整合到圖譜中，而缺乏對(duì)跨模態(tài)關(guān)聯(lián)的深入挖掘和建模。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是克服現(xiàn)有方法的不足，提出了一種基于多跳轉(zhuǎn)多模態(tài)知識(shí)圖譜的服務(wù)融合方法與系統(tǒng)。本發(fā)明解決的主要問題，是如何有效利用多模態(tài)輔助特征來完成多跳轉(zhuǎn)知識(shí)圖譜推理的問題，以及如何克服服務(wù)融合模型推理效率低下和跨模態(tài)關(guān)聯(lián)困難的問題。

2、為了解決上述問題，本發(fā)明提出了一種基于多跳轉(zhuǎn)多模態(tài)知識(shí)圖譜的服務(wù)融合方法，所述方法包括：

3、輸入多模態(tài)跨界物業(yè)服務(wù)數(shù)據(jù)知識(shí)圖譜g和服務(wù)請(qǐng)求q，利用預(yù)訓(xùn)練模型對(duì)服務(wù)請(qǐng)求q以及知識(shí)圖譜g中的多模態(tài)數(shù)據(jù)進(jìn)行編碼，提取得到服務(wù)請(qǐng)求特征q、實(shí)體特征e、關(guān)系特征r、文本描述特征td、圖像語義特征p、視頻語義特征v；

4、對(duì)所述實(shí)體特征e、文本描述特征td、圖像語義特征p、視頻語義特征v進(jìn)行矩陣相乘，從而映射到相同的語義空間，得到服務(wù)實(shí)體特征所有服務(wù)實(shí)體的服務(wù)實(shí)體特征集合記為

5、把所述服務(wù)實(shí)體特征集合輸入到transformer模型，并利用所述服務(wù)請(qǐng)求特征q對(duì)所述知識(shí)圖譜g進(jìn)行過濾，縮小服務(wù)檢索范圍，得到所述知識(shí)圖譜g的知識(shí)圖譜子集g；

6、在所述知識(shí)圖譜子集g的范圍內(nèi)構(gòu)造服務(wù)融合強(qiáng)化學(xué)習(xí)模型，針對(duì)執(zhí)行服務(wù)融合策略的智能體定義服務(wù)融合過程中強(qiáng)化學(xué)習(xí)的狀態(tài)、動(dòng)作、狀態(tài)轉(zhuǎn)移和獎(jiǎng)勵(lì)機(jī)制；

7、利用所述服務(wù)融合強(qiáng)化學(xué)習(xí)模型和所述知識(shí)圖譜g對(duì)所述智能體進(jìn)行離線訓(xùn)練，形成離線訓(xùn)練后的策略網(wǎng)絡(luò)，該策略網(wǎng)絡(luò)的輸入是由所述知識(shí)圖譜子集g和所述服務(wù)請(qǐng)求特征q所構(gòu)成的知識(shí)圖譜子集特征表達(dá)z；

8、在服務(wù)查詢的過程中在線更新所述離線訓(xùn)練后的策略網(wǎng)絡(luò)，在更新的過程中，所述智能體在所述獎(jiǎng)勵(lì)機(jī)制的引導(dǎo)下，不斷地建立起不同服務(wù)實(shí)體之間的聯(lián)系，從而補(bǔ)全所述多模態(tài)跨界物業(yè)服務(wù)數(shù)據(jù)知識(shí)圖譜g內(nèi)不同服務(wù)實(shí)體之間的關(guān)系，進(jìn)而實(shí)現(xiàn)服務(wù)融合。

9、優(yōu)選地，所述輸入多模態(tài)跨界物業(yè)服務(wù)數(shù)據(jù)知識(shí)圖譜g和服務(wù)請(qǐng)求q，利用預(yù)訓(xùn)練模型對(duì)服務(wù)請(qǐng)求q以及知識(shí)圖譜g中的多模態(tài)數(shù)據(jù)進(jìn)行編碼，提取得到服務(wù)請(qǐng)求特征q、實(shí)體特征e、關(guān)系特征r、文本描述特征td、圖像語義特征p、視頻語義特征v，具體為：

10、多模態(tài)跨界物業(yè)服務(wù)數(shù)據(jù)知識(shí)圖譜g表示為其中ε是實(shí)體的集合，是語義關(guān)系的集合，是在g中呈現(xiàn)的一組三元組；

11、使用預(yù)訓(xùn)練的bert模型對(duì)知識(shí)圖譜g中的文本數(shù)據(jù)進(jìn)行編碼，得到實(shí)體特征e、關(guān)系特征r、文本描述特征td，并對(duì)服務(wù)請(qǐng)求q進(jìn)行編碼，得到服務(wù)請(qǐng)求特征q；

12、使用預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)resnet對(duì)知識(shí)圖譜g中的圖像數(shù)據(jù)進(jìn)行編碼，得到圖像語義特征p；

13、使用預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)c3d對(duì)知識(shí)圖譜g中的視頻數(shù)據(jù)進(jìn)行編碼，得到視頻語義特征v。

14、優(yōu)選地，對(duì)所述實(shí)體特征e、文本描述特征td、圖像語義特征p、視頻語義特征v進(jìn)行矩陣相乘，從而映射到相同的語義空間，得到服務(wù)實(shí)體特征所有服務(wù)實(shí)體的服務(wù)實(shí)體特征集合記為具體為：

15、服務(wù)實(shí)體特征通過以下式子計(jì)算：

16、

17、其中是可學(xué)習(xí)權(quán)重矩陣，表示4d行和d列的實(shí)數(shù)域，d是特征維度；通過對(duì)所述實(shí)體特征e、文本描述特征td、圖像語義特征p、視頻語義特征v進(jìn)行矩陣相乘，從而映射到相同的語義空間，并最終得到服務(wù)實(shí)體特征集合其中m表示服務(wù)實(shí)體總數(shù)。

18、優(yōu)選地，把所述服務(wù)實(shí)體特征集合輸入到transformer模型，并利用所述服務(wù)請(qǐng)求特征q對(duì)所述知識(shí)圖譜g進(jìn)行過濾，縮小服務(wù)檢索范圍，得到所述知識(shí)圖譜g的知識(shí)圖譜子集g，具體為：

19、由下列式子計(jì)算得到知識(shí)圖譜子集g：

20、g＝ffn(concati∈1,....,hheadi)

21、

22、

23、

24、

25、其中分別是經(jīng)過三個(gè)可學(xué)習(xí)的矩陣線性變化后得到的原信息的變體，h＝8表示多頭注意力的頭數(shù)，ffn、concat分別表示深度網(wǎng)絡(luò)和特征連接；是在注意力機(jī)制中，特別是在transformer模型中的查詢、鍵和值，是k的特征維度，主要為了防止與ki的點(diǎn)積值過大；posq和pose是所述服務(wù)請(qǐng)求特征q和實(shí)體特征e的位置編碼。

26、優(yōu)選地，在所述知識(shí)圖譜子集g的范圍內(nèi)構(gòu)造服務(wù)融合強(qiáng)化學(xué)習(xí)模型，針對(duì)執(zhí)行服務(wù)融合策略的智能體定義服務(wù)融合過程中強(qiáng)化學(xué)習(xí)的狀態(tài)、動(dòng)作、狀態(tài)轉(zhuǎn)移和獎(jiǎng)勵(lì)機(jī)制，具體為：

27、使用s＝{s1,s2,…,st}來表示服務(wù)請(qǐng)求過程中的狀態(tài)空間，其中st＝描述服務(wù)融合過程中的狀態(tài)，t表示知識(shí)圖譜中的實(shí)體之間的關(guān)系進(jìn)行多層級(jí)跳轉(zhuǎn)的步數(shù)，et是在第t步被訪問的實(shí)體，es和rq分別是服務(wù)實(shí)體和服務(wù)關(guān)系，和εt表示et的相鄰實(shí)體和關(guān)系；

28、使用a＝{a1,a2,…,at,stop}來表示服務(wù)請(qǐng)求過程中的動(dòng)作空間，其中stop表示動(dòng)作中止，at表示與et相連的剩余實(shí)體的邊集合，并將服務(wù)路徑擴(kuò)展到下一個(gè)服務(wù)實(shí)體et+1；完整過程可以表述為下式：

29、at＝{(et+1，rt+1)|(et，t+1，et+1)∈g}

30、其表示在et與et+1存在關(guān)系rt+1時(shí)，將其作為一個(gè)動(dòng)作at；

31、為了避免服務(wù)融合與查詢過程的無限跳轉(zhuǎn)，在查詢步數(shù)t增大到最大步數(shù)t時(shí)執(zhí)行停止動(dòng)作stop；

32、使用p＝{p1,p2,…,pr}來表示服務(wù)融合與查詢過程中的狀態(tài)轉(zhuǎn)移集合，其中pr表示從當(dāng)前狀態(tài)st經(jīng)過服務(wù)關(guān)系r到達(dá)下一個(gè)狀態(tài)st+1；完整過程可以表述為下式：

33、

34、為了更好地鼓勵(lì)智能體實(shí)現(xiàn)不同類型和不同來源的服務(wù)融合，分別設(shè)計(jì)了準(zhǔn)確率獎(jiǎng)勵(lì)、距離獎(jiǎng)勵(lì)和多樣性獎(jiǎng)勵(lì)：

35、準(zhǔn)確率獎(jiǎng)勵(lì)rd是為了鼓勵(lì)智能獲取準(zhǔn)確的相關(guān)服務(wù)實(shí)體，從而實(shí)現(xiàn)不同類型和不同來源的服務(wù)融合；具體過程如下式所示：

36、

37、其中，當(dāng)尋找到準(zhǔn)確的服務(wù)實(shí)體時(shí)，獎(jiǎng)勵(lì)為1；當(dāng)服務(wù)融合錯(cuò)誤，找出了與查詢不相匹配的服務(wù)實(shí)體時(shí)，獎(jiǎng)勵(lì)為兩個(gè)服務(wù)實(shí)體et,ed語義的余弦相似度，以避免獎(jiǎng)勵(lì)過于稀疏的問題；

38、距離獎(jiǎng)勵(lì)rstep是為了鼓勵(lì)智能體在有限的跳轉(zhuǎn)步數(shù)t下完成服務(wù)融合，以避免過度的服務(wù)融合；具體過程如下式所示：

39、

40、其中k表示當(dāng)前服務(wù)融合過程中使用的跳轉(zhuǎn)步數(shù)，當(dāng)小于規(guī)定的補(bǔ)償范圍，給予獎(jiǎng)勵(lì)，當(dāng)超過時(shí)給予懲罰，以幫助模型更好的收斂；

41、多樣性獎(jiǎng)勵(lì)rdiv是為了鼓勵(lì)智能體探索更多的動(dòng)作空間，兼顧探索和利用的平衡，以確保在學(xué)習(xí)過程中能夠充分地探索知識(shí)圖譜，并利用已有的知識(shí)來最大化累積獎(jiǎng)勵(lì)，避免系統(tǒng)的局部最優(yōu)服務(wù)融合；具體過程如下式所示：

42、

43、其中l(wèi)表示已知的推理路徑數(shù)量，和表示所述服務(wù)融合與查詢過程中的狀態(tài)轉(zhuǎn)移集合p中的狀態(tài)轉(zhuǎn)移概率分布，μ2和表示狀態(tài)轉(zhuǎn)移概率分布的方差，以平衡二者的量綱；

44、最終的獎(jiǎng)勵(lì)函數(shù)如下式所示：

45、r＝rd+rstep+rdiv。

46、優(yōu)選地，利用所述服務(wù)融合強(qiáng)化學(xué)習(xí)模型和所述知識(shí)圖譜g對(duì)所述智能體進(jìn)行離線訓(xùn)練，形成離線訓(xùn)練后的策略網(wǎng)絡(luò)，該策略網(wǎng)絡(luò)的輸入是由所述知識(shí)圖譜子集g和所述服務(wù)請(qǐng)求特征q所構(gòu)成的知識(shí)圖譜子集特征表達(dá)z，具體為：

47、利用所述知識(shí)圖譜構(gòu)建缺失三元組(es,r,？)，(es,？,ed)，(？,r,ed)作為服務(wù)請(qǐng)求，其中“？”表示需要融合的服務(wù)實(shí)體或服務(wù)關(guān)系；訓(xùn)練的目標(biāo)是通過較短或等于k跳的關(guān)系路徑推斷出缺失服務(wù)實(shí)體或關(guān)系元素，其中k是不小于1的整數(shù)；

48、利用所述知識(shí)圖譜子集g和與所述服務(wù)請(qǐng)求特征q構(gòu)建知識(shí)圖譜子集特征表達(dá)z，式子為：z＝concat[g:q]，其中concat表示特征連接；

49、使用前饋神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)策略網(wǎng)絡(luò)πθ，該策略網(wǎng)絡(luò)輸入知識(shí)圖譜子集特征表達(dá)z，并以最高的可執(zhí)行概率輸出下一個(gè)動(dòng)作，實(shí)現(xiàn)知識(shí)圖譜與智能體的交互；具體如下式所示：

50、πθ(at|st)＝softmax(at(w2relu(z)))

51、其中relu表示激活函數(shù)，表示第t步集合at中的任意一個(gè)；

52、對(duì)所述策略網(wǎng)絡(luò)πθ進(jìn)行訓(xùn)練：

53、在強(qiáng)化學(xué)習(xí)的訓(xùn)練過程中，智能體與多模態(tài)跨界物業(yè)服務(wù)數(shù)據(jù)知識(shí)圖譜進(jìn)行交互，智能體觀察知識(shí)圖譜的當(dāng)前狀態(tài)，并根據(jù)當(dāng)前狀態(tài)選擇動(dòng)作執(zhí)行；智能體的行為由策略網(wǎng)絡(luò)決定，策略定義了在給定狀態(tài)下選擇動(dòng)作的規(guī)則；智能體執(zhí)行動(dòng)作后，環(huán)境根據(jù)智能體的動(dòng)作和當(dāng)前狀態(tài)獲取所述獎(jiǎng)勵(lì)機(jī)制的獎(jiǎng)勵(lì)；

54、智能體與知識(shí)圖譜的交互不斷進(jìn)行，每一步交互都包括以下過程：智能體觀察當(dāng)前狀態(tài)，根據(jù)當(dāng)前策略選擇動(dòng)作，執(zhí)行動(dòng)作后環(huán)境轉(zhuǎn)移到新的狀態(tài)并給出獎(jiǎng)勵(lì)，智能體根據(jù)獎(jiǎng)勵(lì)和新的狀態(tài)更新自己的策略和動(dòng)作集合；

55、在智能體與知識(shí)圖譜的交互過程中，智能體會(huì)收集大量的交互經(jīng)驗(yàn)，包括觀察到的狀態(tài)、執(zhí)行的動(dòng)作和得到的獎(jiǎng)勵(lì)；學(xué)習(xí)算法使用這些經(jīng)驗(yàn)來不斷更新智能體的策略和價(jià)值函數(shù)，以使智能體能夠獲得更好的性能；

56、最終以下式作為訓(xùn)練目標(biāo)，實(shí)現(xiàn)模型的累計(jì)獎(jiǎng)勵(lì)最大化，獲得最優(yōu)的策略網(wǎng)絡(luò)：

57、

58、其中e表示期望、es,r,ed是知識(shí)圖譜中的三元組，分別表示圖譜中的起始實(shí)體、關(guān)系和目標(biāo)實(shí)體；πθ是基于參數(shù)θ的策略網(wǎng)絡(luò)，它確定了在每個(gè)時(shí)間步選擇動(dòng)作的概率；a1,…,at是根據(jù)策略網(wǎng)絡(luò)πθ在每個(gè)時(shí)間步選擇的動(dòng)作序列；[r(st|es,r)]表示智能體在給定初始服務(wù)實(shí)體es，服務(wù)關(guān)系r的情況下，根據(jù)策略網(wǎng)絡(luò)πθ選擇動(dòng)作序列a1,…,at后獲得的最終狀態(tài)st的回報(bào)，j(θ)表示在圖譜中的所有可能的起始實(shí)體、關(guān)系和目標(biāo)實(shí)體三元組下，智能體根據(jù)策略網(wǎng)絡(luò)πθ在每個(gè)時(shí)間步選擇動(dòng)作的期望累積回報(bào)；最終通過最大化j(θ)，實(shí)現(xiàn)模型的累計(jì)獎(jiǎng)勵(lì)最大化，獲得最優(yōu)的策略網(wǎng)絡(luò)。

59、相應(yīng)地，本發(fā)明還提出了一種基于多跳轉(zhuǎn)多模態(tài)知識(shí)圖譜的服務(wù)融合系統(tǒng)，包括：

60、特征編碼單元，用于輸入多模態(tài)跨界物業(yè)服務(wù)數(shù)據(jù)知識(shí)圖譜g和服務(wù)請(qǐng)求q，利用預(yù)訓(xùn)練模型對(duì)服務(wù)請(qǐng)求q以及知識(shí)圖譜g中的多模態(tài)數(shù)據(jù)進(jìn)行編碼，提取得到服務(wù)請(qǐng)求特征q、實(shí)體特征e、關(guān)系特征r、文本描述特征td、圖像語義特征p、視頻語義特征v；

61、特征融合單元，用于對(duì)所述實(shí)體特征e、文本描述特征td、圖像語義特征p、視頻語義特征v進(jìn)行矩陣相乘，從而映射到相同的語義空間，得到服務(wù)實(shí)體特征所有服務(wù)實(shí)體的服務(wù)實(shí)體特征集合記為

62、特征過濾單元，用于把所述服務(wù)實(shí)體特征集合輸入到transformer模型，并利用所述服務(wù)請(qǐng)求特征q對(duì)所述知識(shí)圖譜g進(jìn)行過濾，縮小服務(wù)檢索范圍，得到所述知識(shí)圖譜g的知識(shí)圖譜子集g；

63、強(qiáng)化學(xué)習(xí)模型構(gòu)造單元，用于在所述知識(shí)圖譜子集g的范圍內(nèi)構(gòu)造服務(wù)融合強(qiáng)化學(xué)習(xí)模型，針對(duì)執(zhí)行服務(wù)融合策略的智能體定義服務(wù)融合過程中強(qiáng)化學(xué)習(xí)的狀態(tài)、動(dòng)作、狀態(tài)轉(zhuǎn)移和獎(jiǎng)勵(lì)機(jī)制；

64、離線訓(xùn)練單元，用于利用所述服務(wù)融合強(qiáng)化學(xué)習(xí)模型和所述知識(shí)圖譜g對(duì)所述智能體進(jìn)行離線訓(xùn)練，形成離線訓(xùn)練后的策略網(wǎng)絡(luò)，該策略網(wǎng)絡(luò)的輸入是由所述知識(shí)圖譜子集g和所述服務(wù)請(qǐng)求特征q所構(gòu)成的知識(shí)圖譜子集特征表達(dá)z；

65、在線訓(xùn)練與服務(wù)融合單元，用于在服務(wù)查詢的過程中在線更新所述離線訓(xùn)練后的策略網(wǎng)絡(luò)，在更新的過程中，所述智能體在所述獎(jiǎng)勵(lì)機(jī)制的引導(dǎo)下，不斷地建立起不同服務(wù)實(shí)體之間的聯(lián)系，從而補(bǔ)全所述多模態(tài)跨界物業(yè)服務(wù)數(shù)據(jù)知識(shí)圖譜g內(nèi)不同服務(wù)實(shí)體之間的關(guān)系，進(jìn)而實(shí)現(xiàn)服務(wù)融合。

66、實(shí)施本發(fā)明，具有如下有益效果：

67、本發(fā)明提出了一種有效的服務(wù)融合模型，通過對(duì)結(jié)構(gòu)數(shù)據(jù)和多模態(tài)輔助數(shù)據(jù)進(jìn)行特征提取和細(xì)粒度融合，同時(shí)采用基于注意力的表示方法來生成多模態(tài)互補(bǔ)表示，從而克服了推理效率低下和跨模態(tài)關(guān)聯(lián)困難等問題；這一整合方法有效克服了傳統(tǒng)模型在跨領(lǐng)域關(guān)系和語境捕捉方面的不足，提高了知識(shí)圖譜推理的精度和效率，從而為服務(wù)融合領(lǐng)域的應(yīng)用提供了基礎(chǔ)。