本發(fā)明涉及一種槽位提取方法、系統(tǒng)、電子設備和存儲介質,尤其涉及一種車載場景槽位提取方法、系統(tǒng)、電子設備和存儲介質。
背景技術:
1、在汽車座艙對話場景,用戶的語音指令經(jīng)常與屏幕顯示內容相關,尤其是導航、娛樂等領域。比如:用戶正在導航頁面,頁面展示了多個導航目的地,這時用戶很可能說“導航去經(jīng)開路五道口”“添加如園西南門為途經(jīng)點”之類的說法;用戶正在娛樂頁面,頁面展示了多個歌手和歌曲。這種情況下,是否能成功將實體槽位從用戶query中提取出來,對于后續(xù)語音命中十分重要。但是,因為地名、歌名數(shù)據(jù)量龐大、不可枚舉、說法繁雜,因此對于傳統(tǒng)語音槽位提取來說十分有挑戰(zhàn)性,現(xiàn)有技術不能滿足人們的要求,亟需進行改進。
技術實現(xiàn)思路
1、本發(fā)明的目的在于提供一種車載場景槽位提取方法、系統(tǒng)、電子設備和存儲介質,針對現(xiàn)有技術中語音槽位提取不能滿足車載語音場景應用的問題,解決現(xiàn)有技術存在的缺憾。
2、本發(fā)明提供了下述方案:
3、一種基于大語言模型的車載場景槽位提取方法,應用于車載場景槽位提取系統(tǒng),包括:
4、提取車載應用頁面信息,所述車載應用頁面信息包括車載屏幕信息、屏幕應用和頁面控件,將所述車載應用頁面信息封裝為先驗知識;
5、構建提示詞工程,使用lora方法對大語言模型進行微調,設置訓練集和測試集,選擇微調基座模型,進行模型訓練以及調試參數(shù);
6、加載微調后的微調基座模型,結合提示詞工程,基于大語言模型進行實體槽位提取,利用skip-gram模型計算語義相似度,對提取出的槽位分數(shù)進行加權,設置閾值進行過濾,獲得最終的槽位信息。
7、進一步的,所述提取車載應用頁面信息,所述車載應用頁面信息包括車載屏幕信息、屏幕應用和頁面控件,將所述車載應用頁面信息封裝為先驗知識,進一步包括:
8、識別車內不同位置車載屏幕的車載屏幕信息,所述車載屏幕信息包括主駕屏信息、副駕屏信息或后排屏信息;
9、確定每個屏幕的當前應用類型,所述應用類型包括導航類型、娛樂類型和通訊類型;
10、從每個屏幕的應用中提取頁面控件,所述頁面控件包括地點選擇控件、歌曲交互控件、聯(lián)系人選擇控件;
11、將車載屏幕信息、當前應用類型和頁面控件進行結構化封裝,形成基于車載場景的先驗知識庫。
12、進一步的,所述識別車內不同位置車載屏幕的車載屏幕信息,所述車載屏幕信息包括主駕屏信息、副駕屏信息或后排屏信息,進一步包括:
13、利用車載設備的操作系統(tǒng)接口,實時監(jiān)測并捕獲車載屏幕信息的顯示內容,通過圖像識別技術對車載屏幕信息進行解析,識別出車載屏幕信息和應用類型;
14、通過自然語言處理技術對應用界面中的文本信息進行語義分析,提取頁面控件,將提取的車載屏幕信息、應用類型和頁面控件,按照預定義的數(shù)據(jù)結構進行組織和存儲,形成結構化的先驗知識庫。
15、進一步的,所述構建提示詞工程,使用lora方法對大語言模型進行微調,設置訓練集和測試集,選擇微調基座模型,進行模型訓練以及調試參數(shù),進一步包括:
16、基于先驗知識構建提示詞工程,通過few-shot和/或instruct-prompt的自然語言處理技術,對大語言模型進行角色定位和任務描述;
17、利用lora方法對選定的大語言模型進行微調,所述微調的過程包括設置訓練集、測試集,根據(jù)訓練集、測試集選擇對應的微調基座模型,進行模型訓練以及調試參數(shù);
18、加載微調后的微調基座模型,輸入提示詞工程的內容,利用大語言模型進行實體摳槽,結合車載座艙對話場景,提取用戶指令中的實體槽位并輸出。
19、進一步的,所述提取用戶指令中的實體槽位并輸出,進一步包括:
20、利用skip-gram模型得到詞向量,計算余弦相似度作為語義相似度,根據(jù)語義相似度的加權結果,得到最終槽位分數(shù)。
21、進一步的,所述利用lora方法對選定的大語言模型進行微調,所述微調的過程包括設置訓練集、測試集,根據(jù)訓練集、測試集選擇對應的微調基座模型,進行模型訓練以及調試參數(shù),進一步包括:
22、對所選基座模型的權重矩陣進行秩分解,用以識別和優(yōu)化模型參數(shù)的低秩結構,定義秩分解矩陣,所述秩分解矩陣用于表示基座模型權重矩陣的低秩部分;
23、在基座模型中引入適配器層,將所述適配器層與所述秩分解矩陣結合,形成第一秩分解矩陣;
24、使用訓練集對適配器層進行訓練,并通過反向傳播算法計算適配器層的梯度,并更新秩分解矩陣,生成第二秩分解矩陣;
25、利用測試集評估微調后的基座模型的性能,并持續(xù)迭代生成第二秩分解矩陣,完成模型的微調。
26、一種基于大語言模型的車載場景槽位提取系統(tǒng),用于實現(xiàn)所述的基于大語言模型的車載場景槽位提取方法,包括:
27、先驗知識封裝模塊,用于提取車載應用頁面信息,所述車載應用頁面信息包括車載屏幕信息、屏幕應用和頁面控件,將所述車載應用頁面信息封裝為先驗知識;
28、模型訓練及參數(shù)調試模塊,用于構建提示詞工程,使用lora方法對大語言模型進行微調,設置訓練集和測試集,選擇微調基座模型,進行模型訓練以及調試參數(shù);
29、槽位信息計算模塊,用于加載微調后的微調基座模型,結合提示詞工程,基于大語言模型進行實體槽位提取,利用skip-gram模型計算語義相似度,對提取出的槽位分數(shù)進行加權,設置閾值進行過濾,獲得最終的槽位信息。
30、一種智能座艙,所述智能座艙中設置有所述的基于大語言模型的車載場景槽位提取系統(tǒng),執(zhí)行所述的基于大語言模型的車載場景槽位提取方法。
31、一種電子設備,包括:處理器、通信接口、存儲器和通信總線,其中,處理器,通信接口,存儲器通過通信總線完成相互間的通信;所述存儲器中存儲有計算機程序,當所述計算機程序被所述處理器執(zhí)行時,使得所述處理器執(zhí)行所述方法的步驟。
32、一種計算機可讀存儲介質,其存儲有可由電子設備執(zhí)行的計算機程序,當所述計算機程序在所述電子設備上運行時,使得所述電子設備執(zhí)行所述方法的步驟。
33、本發(fā)明與現(xiàn)有技術相比具有以下的優(yōu)點:
34、本發(fā)明通過將汽車場景信息作為先驗知識,封裝進大語言模型的提示詞工程中,從而顯著提升了車載場景下語義槽位的提取準確率,通過分析不同位置的屏幕頁面信息,例如主駕屏、副駕屏以及后排娛樂屏等,能夠精確捕捉到用戶可能的交互意圖和需求,通過識別車載屏幕上顯示的文本和控件,構建了一個全面的汽車場景知識庫,為后續(xù)的語言模型提供了豐富的上下文信息。
35、本發(fā)明采用了先驗封裝技術,將提取到的汽車場景信息轉化為大語言模型能夠理解和處理的格式,通過自然語言處理中的信息抽取、語義理解和知識表示等多個環(huán)節(jié),結合提示詞工程,能夠引導大語言模型更加精準地識別和提取用戶指令中的關鍵詞和槽位,不僅提高了槽位提取的準確率,也使得整個交互過程更加流暢和自然。
36、綜上所述,本發(fā)明通過提高車載場景下的語言理解能力,不僅能夠使駕駛員更加便捷地進行導航、娛樂等操作,還能夠在保證安全的前提下,提供更加個性化和智能化的服務。