两个人的电影免费视频_国产精品久久久久久久久成人_97视频在线观看播放_久久这里只有精品777_亚洲熟女少妇二三区_4438x8成人网亚洲av_内谢国产内射夫妻免费视频_人妻精品久久久久中国字幕

智能問(wèn)答服務(wù)管理系統(tǒng)的制作方法

文檔序號(hào):40653195發(fā)布日期:2025-01-10 19:00閱讀:3來(lái)源:國(guó)知局
智能問(wèn)答服務(wù)管理系統(tǒng)的制作方法

本發(fā)明涉及智能問(wèn)答,尤其涉及一種智能問(wèn)答服務(wù)管理系統(tǒng)。


背景技術(shù):

1、大語(yǔ)言模型(large?language?model,llm)是指那些通過(guò)深度學(xué)習(xí)技術(shù),利用大量的文本數(shù)據(jù)訓(xùn)練出來(lái)的模型。這些模型能夠理解和生成自然語(yǔ)言文本,具有處理多種自然語(yǔ)言任務(wù)的能力,如文本分類、情感分析、機(jī)器翻譯、對(duì)話生成等。其中智能問(wèn)答系統(tǒng)是大語(yǔ)言模型的一個(gè)重要應(yīng)用方向,大語(yǔ)言模型能夠深入理解問(wèn)題的含義,包括識(shí)別問(wèn)題類型、提取關(guān)鍵信息等,基于對(duì)問(wèn)題的理解,大語(yǔ)言模型能夠生成連貫、準(zhǔn)確的回答。llm通常需要大量的計(jì)算資源來(lái)運(yùn)行,特別是在推理階段,在單一計(jì)算機(jī)設(shè)備上運(yùn)行l(wèi)lm難以處理大量用戶的并發(fā)請(qǐng)求,導(dǎo)致部分用戶需要等待較長(zhǎng)時(shí)間才能獲得解答,影響用戶的使用體驗(yàn)。如何在整體計(jì)算資源有限的情況下,將任務(wù)合理分配給不同的計(jì)算節(jié)點(diǎn),滿足用戶的問(wèn)答需求,實(shí)現(xiàn)計(jì)算資源的高效利用,是當(dāng)前l(fā)lm領(lǐng)域關(guān)注的熱點(diǎn)問(wèn)題之一。


技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種智能問(wèn)答服務(wù)管理系統(tǒng),基于用戶提問(wèn)生成解答任務(wù),通過(guò)分流服務(wù)器將解答任務(wù)合理分配到不同的解答服務(wù)器中進(jìn)處理,在合理分配計(jì)算資源的同時(shí)實(shí)現(xiàn)對(duì)解答任務(wù)的高效處理,提升用戶的使用體驗(yàn)。

2、為實(shí)現(xiàn)上述發(fā)明目的,本發(fā)明提供一種智能問(wèn)答服務(wù)管理系統(tǒng),所述系統(tǒng)包括:

3、用戶端,用于用戶編輯提問(wèn)內(nèi)容,將提問(wèn)內(nèi)容發(fā)送到分流服務(wù)器;

4、分流服務(wù)器,用于處理來(lái)自用戶端的提問(wèn)內(nèi)容,生成解答任務(wù),為用戶端指定解答服務(wù)器,將解答任務(wù)分配給指定的解答服務(wù)器,所述解答任務(wù)包括提問(wèn)內(nèi)容;

5、解答服務(wù)器,用于運(yùn)行大語(yǔ)言模型對(duì)提問(wèn)內(nèi)容進(jìn)行處理,獲得解答內(nèi)容,將解答內(nèi)容發(fā)送到用戶端。

6、進(jìn)一步的,分流服務(wù)器為用戶端指定解答服務(wù)器,具體為:根據(jù)解答服務(wù)器數(shù)量,建立解答服務(wù)器隊(duì)列,將所有未處理的解答任務(wù)按接收時(shí)間順序由先到后排序以建立任務(wù)隊(duì)列,對(duì)解答服務(wù)器隊(duì)列中的解答服務(wù)器按順序進(jìn)行遍歷,每次遍歷時(shí)將被遍歷到的解答服務(wù)器指定為處理任務(wù)隊(duì)列中第一項(xiàng)解答任務(wù)的解答服務(wù)器,將已指定解答服務(wù)器的解答任務(wù)從任務(wù)隊(duì)列中取出,對(duì)解答服務(wù)器隊(duì)列進(jìn)行多次遍歷,直至任務(wù)隊(duì)列為空。

7、進(jìn)一步的,分流服務(wù)器為用戶端指定解答服務(wù)器,具體包括以下操作:

8、s101、在接收到提問(wèn)內(nèi)容時(shí)生成相應(yīng)的解答任務(wù),初始化任務(wù)隊(duì)列,根據(jù)解答任務(wù)的生成時(shí)間先后順序?qū)⒔獯鹑蝿?wù)存入任務(wù)隊(duì)列;

9、s102、遍歷任務(wù)隊(duì)列,對(duì)任務(wù)隊(duì)列中每項(xiàng)解答任務(wù)完成所需的計(jì)算資源進(jìn)行分析;

10、s103、確定每臺(tái)解答服務(wù)器已經(jīng)被占用的計(jì)算資源;

11、s104、根據(jù)每臺(tái)解答服務(wù)器已經(jīng)被占用的計(jì)算資源,遍歷任務(wù)隊(duì)列,計(jì)算將解答任務(wù)分配到不同解答服務(wù)器時(shí)對(duì)用戶體驗(yàn)的影響;

12、s105、確定處理解答任務(wù)時(shí)對(duì)用戶體驗(yàn)影響最低的解答服務(wù)器,將其指定為處理用戶端的解答任務(wù)的解答服務(wù)器,直至完成對(duì)任務(wù)隊(duì)列的遍歷。

13、進(jìn)一步的,計(jì)算將解答任務(wù)分配到不同解答服務(wù)器時(shí)對(duì)用戶體驗(yàn)的影響,具體為:將用戶在解答任務(wù)分配決策集 x下查看到解答內(nèi)容的延時(shí) t x、解答內(nèi)容的準(zhǔn)確性 a x作為輸入,通過(guò)預(yù)設(shè)計(jì)算模型計(jì)算在解答任務(wù)分配決策集x下對(duì)用戶體驗(yàn)的影響,解答任務(wù)分配決策集 x為將不同解答任務(wù)分別分配到哪一解答服務(wù)器的決策指令的集合,所述預(yù)設(shè)計(jì)算模型的表達(dá)式如下:

14、

15、上式中,?、?為延時(shí)和準(zhǔn)確性的權(quán)重值。

16、進(jìn)一步的,分流服務(wù)器為用戶端指定解答服務(wù)器,具體包括以下操作:

17、s201、在接收到提問(wèn)內(nèi)容時(shí)生成相應(yīng)的解答任務(wù),分析完成解答任務(wù)所需的計(jì)算資源;

18、s202、初始化任務(wù)隊(duì)列,按照各項(xiàng)解答任務(wù)完成所需計(jì)算資源由低到高按序存入任務(wù)隊(duì)列中;

19、s203、從任務(wù)隊(duì)列隊(duì)頭開(kāi)始取出解答任務(wù),計(jì)算將該解答任務(wù)分配到不同解答服務(wù)器時(shí)對(duì)用戶體驗(yàn)的影響;

20、s204、確定處理解答任務(wù)時(shí)對(duì)用戶體驗(yàn)影響最低的解答服務(wù)器,將其指定為處理用戶端的解答任務(wù)的解答服務(wù)器,直至取出任務(wù)隊(duì)列中的所有解答任務(wù)。

21、進(jìn)一步的,分流服務(wù)器為用戶端指定解答服務(wù)器,具體包括以下操作:

22、s301、初始化各個(gè)用戶端的解答任務(wù)分配策略,所述解答任務(wù)分配策略用于表征將用戶端的解答任務(wù)分配到哪一個(gè)解答服務(wù)器;

23、s302、用戶端將解答任務(wù)分配策略發(fā)送到分流服務(wù)器,所述解答任務(wù)分配策略包括目標(biāo)解答服務(wù)器的唯一識(shí)別信息,目標(biāo)解答服務(wù)器為用戶端欲要分配解答任務(wù)的解答服務(wù)器;

24、s303、用戶端通過(guò)分流服務(wù)器獲取其他用戶端的目標(biāo)解答服務(wù)器信息,計(jì)算自身的可分配解答服務(wù)器集合并上傳到分流服務(wù)器;

25、s304、分流服務(wù)器判斷可分配解答服務(wù)器結(jié)合是否為空,若不為空,則生成token(t)信息;

26、s305、分流服務(wù)器根據(jù)各個(gè)用戶端的可分配解答服務(wù)器集合,確定目標(biāo)用戶端,將token(t)信息傳輸給目標(biāo)用戶端;

27、s306、目標(biāo)用戶端接收到token(t)信息后,從自身的可分配解答服務(wù)器集合中選擇一目標(biāo)解答服務(wù)器,根據(jù)所選擇的目標(biāo)解答服務(wù)器和token(t)信息更新解答任務(wù)分配策略;

28、s307、迭代執(zhí)行s302~s306,直至分流服務(wù)器向各個(gè)用戶端發(fā)送停止迭代信息。

29、進(jìn)一步的,解答服務(wù)器運(yùn)行大語(yǔ)言模型對(duì)提問(wèn)內(nèi)容進(jìn)行處理,獲得解答內(nèi)容,具體包括以下操作:

30、s401、提取提問(wèn)內(nèi)容中的關(guān)鍵詞,同時(shí)從知識(shí)庫(kù)中獲取多篇候選文檔;

31、s402、使用預(yù)訓(xùn)練的編碼器將提問(wèn)內(nèi)容中的關(guān)鍵詞和多篇候選文檔轉(zhuǎn)換為向量表示;

32、s403、基于關(guān)鍵詞的向量表示和多篇候選文檔的向量表示確定最相關(guān)的候選文檔;

33、s404、基于最相關(guān)的候選文檔和提問(wèn)內(nèi)容生成結(jié)構(gòu)化數(shù)據(jù);

34、s405、將結(jié)構(gòu)化數(shù)據(jù)作為經(jīng)過(guò)預(yù)訓(xùn)練的生成模型的輸入,生成模型根據(jù)結(jié)構(gòu)化數(shù)據(jù)生成解答內(nèi)容。

35、與現(xiàn)有技術(shù)相比,本發(fā)明的有益效果是:

36、本發(fā)明提供的一種智能問(wèn)答服務(wù)管理系統(tǒng),用戶通過(guò)用戶端編輯提問(wèn)內(nèi)容并發(fā)送到分流服務(wù)器,分流服務(wù)器根據(jù)用戶端的提問(wèn)內(nèi)容生成解答任務(wù),并為用戶端指定解答服務(wù)器,將解答任務(wù)分配給指定的解答服務(wù)器,解答服務(wù)器通過(guò)運(yùn)行大語(yǔ)言模型對(duì)提問(wèn)內(nèi)容進(jìn)行處理,獲得解答內(nèi)容,將解答內(nèi)容反饋給提問(wèn)內(nèi)容對(duì)應(yīng)的用戶端,所述系統(tǒng)通過(guò)將解答任務(wù)分流到不同的解答服務(wù)器,從而合理利用系統(tǒng)的全部計(jì)算資源,避免對(duì)單一服務(wù)器產(chǎn)生過(guò)高的負(fù)載,提升大語(yǔ)言模型可以調(diào)用的計(jì)算資源,進(jìn)而提升其運(yùn)算效率,使用戶可以快速獲得解答內(nèi)容,保障用戶的使用體驗(yàn)。



技術(shù)特征:

1.一種智能問(wèn)答服務(wù)管理系統(tǒng),其特征在于,所述系統(tǒng)包括:

2.根據(jù)權(quán)利要求1所述的一種智能問(wèn)答服務(wù)管理系統(tǒng),其特征在于,分流服務(wù)器為用戶端指定解答服務(wù)器,具體為:根據(jù)解答服務(wù)器數(shù)量,建立解答服務(wù)器隊(duì)列,將所有未處理的解答任務(wù)按接收時(shí)間順序由先到后排序以建立任務(wù)隊(duì)列,對(duì)解答服務(wù)器隊(duì)列中的解答服務(wù)器按順序進(jìn)行遍歷,每次遍歷時(shí)將被遍歷到的解答服務(wù)器指定為處理任務(wù)隊(duì)列中第一項(xiàng)解答任務(wù)的解答服務(wù)器,將已指定解答服務(wù)器的解答任務(wù)從任務(wù)隊(duì)列中取出,對(duì)解答服務(wù)器隊(duì)列進(jìn)行多次遍歷,直至任務(wù)隊(duì)列為空。

3.根據(jù)權(quán)利要求1所述的一種智能問(wèn)答服務(wù)管理系統(tǒng),其特征在于,分流服務(wù)器為用戶端指定解答服務(wù)器,具體包括以下操作:

4.根據(jù)權(quán)利要求1所述的一種智能問(wèn)答服務(wù)管理系統(tǒng),其特征在于,分流服務(wù)器為用戶端指定解答服務(wù)器,具體包括以下操作:

5.根據(jù)權(quán)利要求1所述的一種智能問(wèn)答服務(wù)管理系統(tǒng),其特征在于,解答服務(wù)器運(yùn)行大語(yǔ)言模型對(duì)提問(wèn)內(nèi)容進(jìn)行處理,獲得解答內(nèi)容,具體包括以下操作:


技術(shù)總結(jié)
本發(fā)明提供一種智能問(wèn)答服務(wù)管理系統(tǒng),包括用戶端、分流服務(wù)器和解答服務(wù)器,用戶端用于用戶編輯提問(wèn)內(nèi)容,將提問(wèn)內(nèi)容發(fā)送到分流服務(wù)器;分流服務(wù)器用于處理來(lái)自用戶端的提問(wèn)內(nèi)容,生成解答任務(wù),為用戶端指定解答服務(wù)器,將解答任務(wù)分配給指定的解答服務(wù)器,所述解答任務(wù)包括提問(wèn)內(nèi)容;解答服務(wù)器用于運(yùn)行大語(yǔ)言模型對(duì)提問(wèn)內(nèi)容進(jìn)行處理,獲得解答內(nèi)容,將解答內(nèi)容發(fā)送到用戶端,本發(fā)明通過(guò)將解答任務(wù)分流到不同的解答服務(wù)器,從而合理利用系統(tǒng)的全部計(jì)算資源,避免對(duì)單一服務(wù)器產(chǎn)生過(guò)高的負(fù)載,提升大語(yǔ)言模型可以調(diào)用的計(jì)算資源,進(jìn)而提升其運(yùn)算效率,使用戶可以快速獲得解答內(nèi)容,保障用戶的使用體驗(yàn)。

技術(shù)研發(fā)人員:劉雨鑫,羅方義,孫玉姣,孫鵬,鄭首昌
受保護(hù)的技術(shù)使用者:湖南德雅曼達(dá)科技有限公司
技術(shù)研發(fā)日:
技術(shù)公布日:2025/1/9
網(wǎng)友詢問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
大安市| 香港 | 马龙县| 定州市| 霍城县| 越西县| 镇坪县| 南宁市| 滦平县| 贵州省| 乌拉特中旗| 五家渠市| 广丰县| 德阳市| 黄冈市| 策勒县| 义马市| 阿克苏市| 盘山县| 新野县| 突泉县| 弋阳县| 施秉县| 府谷县| 武川县| 英山县| 夏河县| 黄山市| 博白县| 红原县| 惠水县| 林周县| 错那县| 营口市| 平阳县| 本溪市| 普宁市| 周口市| 繁昌县| 航空| 山阳县|