本發(fā)明涉及信息交互，更具體的說，涉及一種基于生成式大模型的腦機接口交互系統(tǒng)。

背景技術(shù)：

1、腦機接口（brain-computer?interface,?bci）技術(shù)是通過直接連接大腦與外部設(shè)備，實現(xiàn)腦信號與設(shè)備之間的雙向信息傳輸。傳統(tǒng)的腦機接口主要依靠傳感器捕捉大腦電活動，通過腦電圖（eeg）等技術(shù)將大腦信號轉(zhuǎn)化為可以控制計算機或其他設(shè)備的指令。

2、現(xiàn)有技術(shù)的腦機接口系統(tǒng)在日常應(yīng)用場景中的普及時受到了以下幾個方面的限制：

3、首先，功能局限性顯著。現(xiàn)有技術(shù)的多數(shù)腦機接口系統(tǒng)主要局限于某些特定的功能，例如簡單的字母拼寫、手勢控制或輕量級的設(shè)備控制。盡管穩(wěn)態(tài)視覺誘發(fā)電位（steady-state?visual?evoked?potentials，以下均使用簡稱ssvep）技術(shù)在拼寫系統(tǒng)中表現(xiàn)良好，但對于例如智能家居控制、無人機操作或復(fù)雜任務(wù)規(guī)劃等復(fù)雜的設(shè)備控制需求時，現(xiàn)有系統(tǒng)功能顯得不足。

4、其次，范式設(shè)計存在局限性?，F(xiàn)有的ssvep范式設(shè)計大多依賴于預(yù)設(shè)的閃爍頻率與位置布局，難以動態(tài)生成個性化的控制界面，使得用戶在不同場景下需要依賴固定且有限的界面來進(jìn)行交互，降低了系統(tǒng)的靈活性和實用性。

5、再次，多語言支持不足?，F(xiàn)有的腦機接口系統(tǒng)大多局限于特定的語言，特別是非英語用戶在使用時往往缺乏完整的本地化支持?？缯Z言的支持非常有限，尤其是與自然語言理解和生成的結(jié)合較為缺乏。

6、最后，智能化水平較低。雖然現(xiàn)有技術(shù)中一些腦機接口系統(tǒng)能夠執(zhí)行較為簡單的命令，如控制電器開關(guān)或機器人移動，但系統(tǒng)無法基于復(fù)雜的語義進(jìn)行推理，自動生成適應(yīng)不同任務(wù)的界面，且缺少與智能助手或大語言模型的深度集成。

7、因此，鑒于上述挑戰(zhàn)，腦機接口技術(shù)的發(fā)展和應(yīng)用需要在多方面進(jìn)行深入研究和技術(shù)創(chuàng)新。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是提供一種基于生成式大模型的腦機接口交互系統(tǒng)，解決現(xiàn)有技術(shù)的腦機接口交互系統(tǒng)難以執(zhí)行復(fù)雜任務(wù)場景、智能化水平較低的問題。

2、為了實現(xiàn)上述目的，本發(fā)明提供了一種基于生成式大模型的腦機接口交互系統(tǒng)，包括用戶交互界面模塊，腦電圖采集模塊、數(shù)據(jù)傳輸模塊、ssvep動態(tài)界面生成模塊、大模型端以及設(shè)備控制模塊：

3、所述用戶交互界面模塊，用于利用ssvep技術(shù)獲取用戶的控制意圖，基于大模型端的反饋信息動態(tài)生成ssvep控制界面，供用戶選擇以生成相應(yīng)的設(shè)備控制指令；

4、所述腦電圖設(shè)備，用于采集用戶的腦電圖信號；

5、所述數(shù)據(jù)傳輸模塊，用于將腦電圖設(shè)備采集的腦電圖信號傳輸至數(shù)據(jù)處理分析模塊；

6、所述數(shù)據(jù)處理分析模塊，對腦電圖信號進(jìn)行信號處理與分析，進(jìn)而將解碼獲得的自然語言請求指令發(fā)送至大模型端，將解碼獲得的設(shè)備控制指令發(fā)送至設(shè)備控制模塊；

7、所述大模型端，采用生成式大模型對輸入的自然語言請求指令進(jìn)行語義理解與推理識別，根據(jù)用戶需求生成當(dāng)前任務(wù)場景的反饋信息，經(jīng)由數(shù)據(jù)處理分析模塊發(fā)送至用戶交互界面模塊；

8、所述設(shè)備控制模塊，根據(jù)用戶選擇的設(shè)備控制指令，對設(shè)備執(zhí)行相應(yīng)的控制操作。

9、在一些實施例中，所述大模型端采用文心一言大模型。

10、在一些實施例中，所述數(shù)據(jù)處理分析模塊為上位機或云端服務(wù)器。

11、在一些實施例中，所述數(shù)據(jù)處理分析模塊，采用任務(wù)判別成分分析算法對所采集的腦電圖信號進(jìn)行解碼識別，生成自然語言請求。

12、在一些實施例中，所述任務(wù)判別成分分析算法，進(jìn)一步包括以下步驟：

13、通過原始腦電圖信號和經(jīng)過時間延遲處理的腦電圖信號相結(jié)合，以構(gòu)建增強后的訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)；

14、將增強后的訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)投影到參考信號跨越的子空間；

15、對訓(xùn)練試驗執(zhí)行二維線性判別分析，以尋找投影方向來判別所有類別的試驗；

16、用fisher準(zhǔn)則推導(dǎo)投影方向；

17、利用投影矩陣的冪等性，簡化投影方向的求解過程，從而獲得最終的投影矩陣；

18、利用得到的投影矩陣，將單次試驗數(shù)據(jù)與通用濾波器生成的矩陣進(jìn)行相關(guān)系數(shù)計算，以識別信號的頻率成分；

19、通過分析相關(guān)系數(shù)的最大值確定目標(biāo)頻率，從而識別ssvep信號的刺激頻率。

20、在一些實施例中，所述用戶交互界面模塊，通過分析大模型端的反饋信息確定設(shè)備數(shù)量，基于設(shè)備數(shù)量生成相應(yīng)數(shù)量的ssvep閃爍方塊，并為每個ssvep閃爍方塊分配不同的閃爍頻率。

21、在一些實施例中，所述用戶交互界面模塊，通過大模型端的反饋信息確定設(shè)備具體控制任務(wù)，根據(jù)具體控制任務(wù)生成相應(yīng)的動態(tài)ssvep控制界面。

22、在一些實施例中，所述用戶交互界面模塊，用于生成控制設(shè)備的文字信息，并動態(tài)調(diào)整閃爍方塊的閃爍頻率、顏色以及位置布局，通過自動計算確定ssvep控制界面的最佳布局方案，使得每個閃爍方塊位于用戶視野范圍內(nèi)的最優(yōu)位置。

23、在一些實施例中，所述設(shè)備控制模塊還包括設(shè)備信息采集單元：

24、所述設(shè)備信息采集單元，用于實時獲取設(shè)備狀態(tài)信息；

25、所述設(shè)備控制模塊，與大模型端連接，將實時獲取的設(shè)備狀態(tài)信息并發(fā)送至大模型端；

26、所述大模型端，根據(jù)實時獲取的設(shè)備狀態(tài)信息形成相應(yīng)的實時反饋信息，經(jīng)由數(shù)據(jù)處理分析模塊發(fā)送至用戶交互界面模塊；

27、所述用戶交互界面模塊，基于大模型端的實時反饋信息動態(tài)調(diào)整穩(wěn)態(tài)視覺誘發(fā)電位控制界面。

28、在一些實施例中，所述大模型端支持多種語言的語音輸入控制指令。

29、在一些實施例中，所述設(shè)備控制模塊包括家居設(shè)備控制模塊：

30、所述家居設(shè)備控制模塊，用于獲取可連接家居設(shè)備的詳細(xì)信息并發(fā)送至大模型端，根據(jù)用戶選擇的設(shè)備控制指令，對家居設(shè)備執(zhí)行相應(yīng)的控制操作；

31、所述大模型端，根據(jù)設(shè)備的詳細(xì)信息以及用戶的歷史操作數(shù)據(jù)，生成與當(dāng)前任務(wù)場景相匹配的反饋信息，反饋信息包括設(shè)備名稱、設(shè)備功能和設(shè)備狀態(tài)。

32、在一些實施例中，所述設(shè)備控制模塊包括機械臂控制模塊：

33、所述機械臂控制模塊，用于獲取機械臂的詳細(xì)信息并發(fā)送至大模型端，根據(jù)用戶選擇的設(shè)備控制指令，對機械臂執(zhí)行相應(yīng)的控制操作；

34、所述大模型端，根據(jù)機械臂的詳細(xì)信息結(jié)合自然語言請求指令，生成與當(dāng)前任務(wù)場景相匹配的反饋信息，反饋信息包括移動命令、姿態(tài)調(diào)整、抓取指令和放置指令。

35、在一些實施例中，所述設(shè)備控制模塊包括無人機控制模塊：

36、所述無人機控制模塊，用于獲取無人機的詳細(xì)信息并發(fā)送至大模型端，根據(jù)用戶選擇的設(shè)備控制指令，對無人機執(zhí)行相應(yīng)的控制操作；

37、所述大模型端，根據(jù)無人機的詳細(xì)信息結(jié)合自然語言請求指令，生成與當(dāng)前任務(wù)場景相匹配的反饋信息，反饋信息包括飛行路徑規(guī)劃、速度調(diào)整和任務(wù)執(zhí)行。

38、本發(fā)明提供的基于生成式大模型的腦機接口交互系統(tǒng)，通過ssvep拼寫器與大模型的深度集成，支持動態(tài)界面生成和智能任務(wù)推理，顯著提升交互效率，可根據(jù)用戶習(xí)慣優(yōu)化交互體驗，推動腦機接口技術(shù)從簡單操作向智能化任務(wù)執(zhí)行發(fā)展，為技術(shù)普及和廣泛應(yīng)用奠定堅實基礎(chǔ)。