本發(fā)明涉及計算機，尤其涉及一種使用網(wǎng)絡搜索增強大語言模型生成的方法和系統(tǒng)。

背景技術：

1、大型語言模型(llm，large?language?model，其本質(zhì)是生成式模型)，如chatgpt(chat?generative?pre-trained?transformer，是openai機構研發(fā)的聊天機器人程序)，能夠為許多下游任務(例如面向任務的對話和問題解答)生成類似人類的流暢響應。然而，將llm應用于現(xiàn)實世界中的任務解決型應用仍然具有挑戰(zhàn)性，主要原因是它們可能會產(chǎn)生與實際不符的回復，以及無法使用外部知識作為參考進行回復的生成。例如，對于“a市現(xiàn)在天氣如何”、“b貨幣兌c貨幣匯率”以及“從c位置到d位置需要多久”等問題，在回答時都需要實時的信息，而這些實時信息(例如實時時間、實時匯率、實時路況和實時交通信息等)根本無法單純依靠llm參數(shù)中蘊含的知識來生成，均需要依賴于外部的知識才能生成出準確的結果。

2、還有大語言模型存在幻覺問題，如在學術領域?qū)τ诨卮鸬臏蚀_性要求更高，并且希望回答的內(nèi)容可以找到相關引用信息，而目前的大語言模型甚至可能會編造一些引用信息，無法適用于學術領域的問答。

技術實現(xiàn)思路

1、針對現(xiàn)有技術的不足，本發(fā)明提出一種使用網(wǎng)絡搜索增強大語言模型生成的方法和系統(tǒng)。

2、本發(fā)明的目的通過如下的技術方案來實現(xiàn)：一種使用網(wǎng)絡搜索增強大語言模型生成的方法，包括：

3、將輸入問題通過評判模型判斷是否需要進行檢索；

4、若不需要進行檢索，則大語言模型直接根據(jù)輸入問題生成答案；

5、若需要進行檢索，則判斷輸入問題是否存在緩存數(shù)據(jù)庫中；

6、若存在緩存數(shù)據(jù)庫中，通過在向量空間中計算相似度距離來搜索與輸入問題相關的緩存問題和/或信息片段；

7、若不存在緩存數(shù)據(jù)庫中，則進行網(wǎng)絡搜索；

8、將緩存數(shù)據(jù)庫搜索得到的信息片段或網(wǎng)絡搜索得到的信息片段，根據(jù)與輸入問題的關聯(lián)性進行重排序，選取排序在前n個的信息片段；

9、將輸入問題和選取的信息片段輸入到大語言模型，生成答案。

10、進一步地，所述網(wǎng)絡搜索，包括：

11、將輸入問題拆分為多個用于網(wǎng)絡搜索的子問題；對輸入問題和子問題進行網(wǎng)絡搜索。

12、進一步地，通過子問題拆分模型將輸入問題拆分為多個用于網(wǎng)絡搜索的子問題；所述子問題拆分模型為一種大語言模型。

13、進一步地，還包括：將輸入問題和網(wǎng)絡搜索得到的信息片段進行向量化得到向量數(shù)據(jù)，將輸入問題和網(wǎng)絡搜索得到的信息片段及其對應的向量數(shù)據(jù)加入緩存數(shù)據(jù)庫中。

14、進一步地，通過重排序模型，將緩存數(shù)據(jù)庫搜索得到的信息片段或網(wǎng)絡搜索得到的信息片段，根據(jù)與輸入問題的關聯(lián)性進行重排序。

15、進一步地，所述重排序模型經(jīng)過如下訓練：按學科均勻選取學術數(shù)據(jù)，根據(jù)學術數(shù)據(jù)生成問題，形成問題-答案對，即正樣本；根據(jù)生成的問題檢索獲取正樣本外最相關的文本集合作為負樣本；將正負樣本一起送入重排序模型進行訓練，其中，正樣本logits?score大于一個批次內(nèi)的負樣本。

16、進一步地，所述將輸入問題和選取的信息片段輸入到大語言模型，生成答案，還包括：

17、將輸入問題、選取的信息片段和指令提示一起組裝成提示詞送給大語言模型，確保大語言模型根據(jù)當前提供的信息并結合固有知識進行回答。

18、本發(fā)明還提供了一種使用網(wǎng)絡搜索增強大語言模型生成的系統(tǒng)，包括：

19、意圖理解模塊，用于將輸入問題通過評判模型判斷是否需要進行檢索；若需要進行檢索，則判斷輸入問題是否存在緩存數(shù)據(jù)庫中；

20、緩存查詢模塊，用于若存在緩存數(shù)據(jù)庫中，通過在向量空間中計算相似度距離來搜索與輸入問題相關的緩存問題和/或信息片段；

21、網(wǎng)絡搜索模塊，用于若不存在緩存數(shù)據(jù)庫中，則進行網(wǎng)絡搜索；

22、重排序模塊，用于將緩存數(shù)據(jù)庫搜索得到的信息片段或網(wǎng)絡搜索得到的信息片段，根據(jù)與輸入問題的關聯(lián)性進行重排序，選取排序在前n個的信息片段；

23、大語言模型生成模塊，用于若不需要進行檢索，則大語言模型直接根據(jù)輸入問題生成答案；若需要進行檢索，則將輸入問題和選取的信息片段輸入到大語言模型，生成答案。

24、本發(fā)明還提供了一種計算機設備，包括存儲器和處理器，存儲器中存儲有計算機程序，該處理器執(zhí)行計算機程序時實現(xiàn)上述的一種使用網(wǎng)絡搜索增強大語言模型生成的方法。

25、本發(fā)明還提供了一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，所述程序被處理器執(zhí)行時實現(xiàn)上述的一種使用網(wǎng)絡搜索增強大語言模型生成的方法。

26、本發(fā)明的有益效果如下：

27、傳統(tǒng)大語言模型通過使用網(wǎng)絡搜索相關內(nèi)容后向大語言模型提供相關資料，為大語言模型輸出提供更多信息，增強大模型回答的準確性，及時性。同時，使用該方法可以降低成本，節(jié)省大模型預訓練的龐大成本。該方法可以為大模型的輸出找到信息來源，有效減少大預言模型輸出“幻覺”的情況。最后，通過設計的緩存數(shù)據(jù)機制可顯著加速查詢響應時間。

技術特征：

1.一種使用網(wǎng)絡搜索增強大語言模型生成的方法，其特征在于，包括：

2.根據(jù)權利要求1所述的方法，其特征在于，所述網(wǎng)絡搜索，包括：

3.根據(jù)權利要求2所述的方法，其特征在于，通過子問題拆分模型將輸入問題拆分為多個用于網(wǎng)絡搜索的子問題；所述子問題拆分模型為一種大語言模型。

4.根據(jù)權利要求1所述的方法，其特征在于，還包括：將輸入問題和網(wǎng)絡搜索得到的信息片段進行向量化得到向量數(shù)據(jù)，將輸入問題和網(wǎng)絡搜索得到的信息片段及其對應的向量數(shù)據(jù)加入緩存數(shù)據(jù)庫中。

5.根據(jù)權利要求1所述的方法，其特征在于，通過重排序模型，將緩存數(shù)據(jù)庫搜索得到的信息片段或網(wǎng)絡搜索得到的信息片段，根據(jù)與輸入問題的關聯(lián)性進行重排序。

6.根據(jù)權利要求1所述的方法，其特征在于，所述重排序模型經(jīng)過如下訓練：按學科均勻選取學術數(shù)據(jù)，根據(jù)學術數(shù)據(jù)生成問題，形成問題-答案對，即正樣本；根據(jù)生成的問題檢索獲取正樣本外最相關的文本集合作為負樣本；將正負樣本一起送入重排序模型進行訓練，其中，正樣本logits?score大于一個批次內(nèi)的負樣本。

7.根據(jù)權利要求1所述的方法，其特征在于，所述將輸入問題和選取的信息片段輸入到大語言模型，生成答案，還包括：

8.一種使用網(wǎng)絡搜索增強大語言模型生成的系統(tǒng)，其特征在于，包括：

9.一種計算機設備，包括存儲器和處理器，存儲器中存儲有計算機程序，其特征在于，該處理器執(zhí)行計算機程序時實現(xiàn)權利要求1-7任一項所述的一種使用網(wǎng)絡搜索增強大語言模型生成的方法。

10.一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，所述程序被處理器執(zhí)行時實現(xiàn)權利要求1-7中任一項所述的一種使用網(wǎng)絡搜索增強大語言模型生成的方法。

技術總結
本發(fā)明公開了一種使用網(wǎng)絡搜索增強大語言模型生成的方法和系統(tǒng)，該方法通過使用網(wǎng)絡搜索相關內(nèi)容后向大語言模型提供相關資料，為大語言模型輸出提供更多信息，增強大模型回答的準確性，及時性。同時使用該方法可以節(jié)省大模型預訓練的龐大成本。同時使用該方法可以降低成本，節(jié)省大模型預訓練的龐大成本。該方法可以為大模型的輸出找到信息來源，有效減少大預言模型輸出“幻覺”的情況。最后，通過設計的緩存數(shù)據(jù)機制可顯著加速查詢響應時間。

技術研發(fā)人員：黃飛,張瀧,陳紅陽
受保護的技術使用者：之江實驗室
技術研發(fā)日：
技術公布日：2025/1/9