本技術(shù)屬于linux內(nèi)核調(diào)度器，具體涉及一種linux內(nèi)核調(diào)度器參數(shù)優(yōu)化系統(tǒng)及方法。

背景技術(shù)：

1、linux內(nèi)核調(diào)度器是操作系統(tǒng)資源管理的核心模塊，負(fù)責(zé)在多任務(wù)環(huán)境中合理分配?cpu?資源，從而平衡系統(tǒng)性能和任務(wù)響應(yīng)時(shí)間。傳統(tǒng)的?linux調(diào)度器采用固定或經(jīng)驗(yàn)性配置的參數(shù)，例如調(diào)度延遲、時(shí)間片粒度、cpu?親和性等。這些參數(shù)通過預(yù)設(shè)的規(guī)則針對(duì)通用場(chǎng)景進(jìn)行了調(diào)優(yōu)，但在不同的應(yīng)用場(chǎng)景或動(dòng)態(tài)負(fù)載下，這種靜態(tài)配置可能導(dǎo)致性能下降或資源浪費(fèi)。動(dòng)態(tài)調(diào)度策略優(yōu)化缺乏全局視角，僅能在有限規(guī)則下優(yōu)化，對(duì)復(fù)雜多任務(wù)場(chǎng)景效果較差；基于機(jī)器學(xué)習(xí)的優(yōu)化模型對(duì)歷史數(shù)據(jù)依賴較強(qiáng)，難以適應(yīng)新的工作負(fù)載模式，對(duì)于復(fù)雜任務(wù)依賴關(guān)系，預(yù)測(cè)誤差可能影響整體性能。此外訓(xùn)練過程復(fù)雜且計(jì)算開銷大，難以應(yīng)用于小規(guī)模或單機(jī)環(huán)境。

技術(shù)實(shí)現(xiàn)思路

1、基于上述問題，本技術(shù)兼容多種負(fù)載和硬件環(huán)境，能夠根據(jù)不同任務(wù)的特性動(dòng)態(tài)調(diào)整調(diào)度策略。無(wú)論是cpu密集型、io密集型還是混合型負(fù)載，本項(xiàng)目的動(dòng)態(tài)調(diào)度機(jī)制均能有效適配。其技術(shù)方案為：

2、一種linux內(nèi)核調(diào)度器參數(shù)優(yōu)化系統(tǒng)，包括數(shù)據(jù)采集模塊、大模型訓(xùn)練與優(yōu)化模塊、內(nèi)核調(diào)度器模塊、代碼生成與驗(yàn)證模塊、小模型訓(xùn)練模塊、小模型推理模塊；

3、數(shù)據(jù)采集模塊：通過內(nèi)核鉤子實(shí)時(shí)攔截系統(tǒng)運(yùn)行時(shí)的關(guān)鍵信息，并對(duì)這些攔截到的信息進(jìn)行初步的過濾和格式化；在內(nèi)核中完成數(shù)據(jù)采集后將數(shù)據(jù)傳遞到環(huán)形緩沖區(qū)，以供大模型的訓(xùn)練和小模型的優(yōu)化使用；

4、大模型訓(xùn)練與優(yōu)化模塊：利用環(huán)形緩沖區(qū)的數(shù)據(jù)，微調(diào)一個(gè)大模型，以監(jiān)控系統(tǒng)的全局行為，生成優(yōu)化調(diào)度策略以及小模型的初始權(quán)重和優(yōu)化策略；

5、代碼生成與驗(yàn)證模塊：根據(jù)大模型訓(xùn)練與優(yōu)化模塊的輸出，自動(dòng)生成完整的調(diào)度器代碼，并對(duì)生成的代碼進(jìn)行驗(yàn)證后發(fā)送至內(nèi)核調(diào)度器模塊；

6、小模型訓(xùn)練模塊：根據(jù)大模型訓(xùn)練與優(yōu)化模塊生成的初始權(quán)重和優(yōu)化策略，結(jié)合從環(huán)形緩沖區(qū)采集的運(yùn)行時(shí)數(shù)據(jù)，對(duì)小模型進(jìn)行用戶態(tài)的增量訓(xùn)練和優(yōu)化，以生成適應(yīng)當(dāng)前系統(tǒng)負(fù)載和調(diào)度需求的小模型參數(shù)；

7、小模型推理模塊：將用戶態(tài)訓(xùn)練完成的小模型部署到內(nèi)核態(tài)，實(shí)時(shí)處理從內(nèi)核鉤子獲取的運(yùn)行時(shí)信息，并為內(nèi)核調(diào)度器模塊動(dòng)態(tài)生成優(yōu)化參數(shù)；

8、內(nèi)核調(diào)度器模塊：對(duì)現(xiàn)有的調(diào)度器邏輯進(jìn)行抽象，提取出通用的功能組件，并將其重新設(shè)計(jì)為獨(dú)立、可組合的模塊化體系。

9、優(yōu)選的，數(shù)據(jù)采集模塊在內(nèi)核中完成數(shù)據(jù)采集后，通過共享內(nèi)存、系統(tǒng)調(diào)用接口或?qū)Ｓ玫恼{(diào)試文件系統(tǒng)將數(shù)據(jù)傳遞到用戶態(tài)，以供大模型的訓(xùn)練和小模型的優(yōu)化使用；

10、數(shù)據(jù)采集模塊支持流式數(shù)據(jù)輸出，用戶態(tài)程序可以基于事件監(jiān)聽或定時(shí)輪詢的方式接收數(shù)據(jù)；

11、數(shù)據(jù)采集模塊具備擴(kuò)展性，支持動(dòng)態(tài)配置捕獲的事件類型和采集頻率。

12、優(yōu)選的，大模型訓(xùn)練與優(yōu)化模塊中需要對(duì)數(shù)據(jù)分段或滑窗處理，將連續(xù)的時(shí)間段整理為固定長(zhǎng)度的輸入；采用自監(jiān)督學(xué)習(xí)方法，利用運(yùn)行時(shí)信息的內(nèi)在結(jié)構(gòu)或分布進(jìn)行學(xué)習(xí)。

13、優(yōu)選的，內(nèi)核調(diào)度器模塊的設(shè)置包括以下內(nèi)容：

14、通過將調(diào)度器分解為多個(gè)核心模塊，支持動(dòng)態(tài)組合和按需加載，以適應(yīng)多變的系統(tǒng)負(fù)載和調(diào)度需求；

15、通過代碼分析、功能拆解和運(yùn)行時(shí)監(jiān)測(cè)，明確各部分邏輯的依賴關(guān)系和功能邊界，每個(gè)功能點(diǎn)被提取為一個(gè)獨(dú)立模塊，這些模塊需具有清晰的輸入輸出接口和功能定義；

16、允許每個(gè)組件獨(dú)立實(shí)現(xiàn)并進(jìn)行優(yōu)化，同時(shí)提供標(biāo)準(zhǔn)化的接口，支持參數(shù)配置、狀態(tài)查詢和運(yùn)行時(shí)更新；支持動(dòng)態(tài)加載和卸載功能，即根據(jù)實(shí)際運(yùn)行時(shí)需求，在不重啟內(nèi)核的情況下替換某些模塊或調(diào)整其組合順序；

17、抽象一個(gè)調(diào)度器框架作為運(yùn)行時(shí)的模塊管理平臺(tái)，負(fù)責(zé)加載、初始化和協(xié)調(diào)各個(gè)功能模塊的協(xié)同工作；設(shè)置優(yōu)先級(jí)管理、并行執(zhí)行以及異?；謴?fù)；如果某個(gè)模塊發(fā)生故障或性能下降，調(diào)度器框架需能夠自動(dòng)回退到默認(rèn)實(shí)現(xiàn)，保證調(diào)度器的基本功能不會(huì)中斷；

18、設(shè)計(jì)一個(gè)配置語(yǔ)言或描述接口，通過該接口，大模型直接生成模塊的組合方案及其參數(shù)配置；大模型輸出的調(diào)度策略可以用專用語(yǔ)言描述，框架解析后直接加載對(duì)應(yīng)的模塊組合并調(diào)整參數(shù)。

19、優(yōu)選的，代碼生成與驗(yàn)證模塊包括以下內(nèi)容：

20、在生成代碼之后，使用靜態(tài)分析工具檢查代碼的語(yǔ)法正確性、內(nèi)核開發(fā)規(guī)范的符合性，以及潛在的資源泄漏或死鎖問題；通過動(dòng)態(tài)測(cè)試驗(yàn)證代碼的實(shí)際功能，包括調(diào)度器是否能正確處理任務(wù)隊(duì)列、優(yōu)先級(jí)調(diào)整是否生效、多核負(fù)載均衡是否合理；這些測(cè)試在沙箱或虛擬環(huán)境中進(jìn)行，以避免影響實(shí)際的內(nèi)核運(yùn)行；

21、代碼生成與驗(yàn)證模塊支持性能評(píng)估，生成的調(diào)度器代碼需在多種負(fù)載場(chǎng)景下進(jìn)行基準(zhǔn)測(cè)試，如果性能未達(dá)到預(yù)期，代碼生成與驗(yàn)證模塊會(huì)生成反饋信息供大模型優(yōu)化其設(shè)計(jì)邏輯；

22、代碼生成與驗(yàn)證模塊具備版本控制功能，確保每次生成的代碼都可以追蹤來(lái)源和變化歷史，并在需要時(shí)支持回滾到上一版本；

23、驗(yàn)證通過的代碼會(huì)被打包發(fā)送至內(nèi)核調(diào)度器模塊，準(zhǔn)備在目標(biāo)系統(tǒng)中部署；

24、代碼生成與驗(yàn)證模塊還需支持自動(dòng)化的代碼部署流程，包括加載模塊、更新現(xiàn)有調(diào)度器邏輯，以及在運(yùn)行時(shí)進(jìn)行模塊熱替換。

25、優(yōu)選的，還包括反饋與閉環(huán)優(yōu)化模塊：建立內(nèi)核態(tài)與用戶態(tài)之間的數(shù)據(jù)反饋通路，持續(xù)監(jiān)控調(diào)度器的運(yùn)行效果，并利用這些反饋數(shù)據(jù)優(yōu)化小模型和大模型，形成一個(gè)動(dòng)態(tài)、自適應(yīng)的閉環(huán)優(yōu)化系統(tǒng)；

26、反饋數(shù)據(jù)被用于優(yōu)化小模型和更新大模型；優(yōu)化小模型是通過增量訓(xùn)練或微調(diào)讓小模型適應(yīng)新的負(fù)載模式或系統(tǒng)環(huán)境變化；更新大模型，使其能夠從更大周期的全局?jǐn)?shù)據(jù)中提取模式，為下一輪的調(diào)度器模塊設(shè)計(jì)和小模型初始化提供更優(yōu)的策略；在大模型更新后，新生成的小模型權(quán)重和調(diào)度器原型將通過預(yù)定義的傳輸接口下發(fā)到內(nèi)核態(tài)，完成閉環(huán)優(yōu)化；

27、反饋與閉環(huán)優(yōu)化模塊包括歷史數(shù)據(jù)存儲(chǔ)和分析功能，隨著反饋數(shù)據(jù)的積累，系統(tǒng)可以識(shí)別更復(fù)雜的負(fù)載模式和長(zhǎng)期趨勢(shì)。

28、優(yōu)選的，還包括版本管理模塊，對(duì)大模型、小模型以及調(diào)度器模塊的版本進(jìn)行有效管理，確保每次更新的可靠性和可追溯性，并為系統(tǒng)提供安全保障；

29、版本管理模塊首先需要對(duì)所有相關(guān)組件建立唯一的版本標(biāo)識(shí)，每個(gè)版本包括具體的版本號(hào)、生成時(shí)間、模型參數(shù)摘要以及適用的場(chǎng)景說(shuō)明，這些信息被存儲(chǔ)在一個(gè)中心化或分布式的版本控制系統(tǒng)中，確保所有組件都能被檢索和更新；版本信息模塊不僅需要明確其來(lái)源和用途，還需記錄模型和代碼的更新歷史，以便在需要時(shí)追溯更改內(nèi)容和決策依據(jù)；

30、版本管理模塊中設(shè)計(jì)了一個(gè)版本加載和切換機(jī)制：每次更新新的小模型或調(diào)度器模塊前，系統(tǒng)需先檢查當(dāng)前運(yùn)行版本與待更新版本的兼容性，包括接口一致性、輸入輸出格式是否匹配以及依賴關(guān)系是否完整；如果存在不兼容情況，版本管理模塊需觸發(fā)告警并拒絕更新；同時(shí)，版本管理模塊需支持熱更新和回滾功能，在運(yùn)行時(shí)無(wú)中斷地加載新版本或切換回舊版本，確保系統(tǒng)穩(wěn)定性。

31、一種linux內(nèi)核調(diào)度器參數(shù)優(yōu)化方法，包括以下步驟：

32、s1.在內(nèi)核攔截程序運(yùn)行時(shí)的各種信息；

33、s2.使用攔截的各種信息對(duì)建立一個(gè)大模型和一個(gè)小模型；大模型采用一個(gè)大語(yǔ)言模型llm，以監(jiān)控系統(tǒng)的全局行為，生成優(yōu)化調(diào)度策略以及小模型的初始權(quán)重和優(yōu)化策略；小模型采用強(qiáng)化學(xué)習(xí)算法，為內(nèi)核調(diào)度器模塊動(dòng)態(tài)生成優(yōu)化參數(shù)；

34、s3.對(duì)使用的調(diào)度器進(jìn)行抽象，抽象出組件式的調(diào)度器模塊；

35、s4.由大模型選擇合適的組件及其順序生成調(diào)度器完整代碼再發(fā)往內(nèi)核態(tài)；由大模型生成或訓(xùn)練出一個(gè)負(fù)責(zé)給生成的調(diào)度器調(diào)參的小模型發(fā)往內(nèi)核態(tài)；

36、s5.小模型在不斷接受訓(xùn)練的同時(shí)，動(dòng)態(tài)自適應(yīng)的為調(diào)度器模塊提供參數(shù)。

37、優(yōu)選的，步驟s4中，通過大模型預(yù)訓(xùn)練一個(gè)強(qiáng)化學(xué)習(xí)中的q-learning算法來(lái)調(diào)整調(diào)度器的參數(shù)，假設(shè)最大化調(diào)度器在特定場(chǎng)景下的累計(jì)獎(jiǎng)勵(lì)函數(shù)，運(yùn)行時(shí)環(huán)境狀態(tài)由內(nèi)核鉤子提供的實(shí)時(shí)運(yùn)行信息定義，動(dòng)作是對(duì)調(diào)度器參數(shù)的調(diào)整決策，q-learning?模型通過迭代更新q函數(shù)來(lái)優(yōu)化調(diào)參策略，更新公式為：

38、；

39、其中，為學(xué)習(xí)率，為折扣因子，為當(dāng)前動(dòng)作的即時(shí)獎(jiǎng)勵(lì)，是執(zhí)行動(dòng)作后的下一狀態(tài)，為下一狀態(tài)中可能采取的最佳動(dòng)作的價(jià)值；

40、大模型通過模擬復(fù)雜的運(yùn)行時(shí)場(chǎng)景，評(píng)估調(diào)度器在不同配置下的性能，生成包含的高質(zhì)量訓(xùn)練數(shù)據(jù)，用于引導(dǎo)q-learning模型快速收斂。

41、優(yōu)選的，步驟s5中，在初始時(shí)，大模型生成的初值表示為：

42、?；

43、在運(yùn)行過程中，q-learning持續(xù)與調(diào)度器環(huán)境交互，按照-greedy策略選擇動(dòng)作；對(duì)當(dāng)前狀態(tài)，以概率選擇當(dāng)前q函數(shù)中q值最大的動(dòng)作，以概率隨機(jī)選擇探索動(dòng)作，執(zhí)行動(dòng)作后，內(nèi)核捕獲系統(tǒng)的實(shí)際資源利用率作為反饋，計(jì)算即時(shí)獎(jiǎng)勵(lì)；最終策略通過以下公式導(dǎo)出：

44、?；

45、此策略指示在每個(gè)狀態(tài)下如何調(diào)整參數(shù)以最大化長(zhǎng)期資源利用效率；q-learning的目標(biāo)是通過迭代更新，使收斂于最優(yōu)q值，滿足bellman最優(yōu)方程：

46、；

47、最終，q-learning模型嵌入到內(nèi)核態(tài)運(yùn)行，能夠動(dòng)態(tài)適應(yīng)運(yùn)行環(huán)境的變化，持續(xù)優(yōu)化調(diào)度器參數(shù)。

48、與現(xiàn)有技術(shù)相比，本技術(shù)有益效果如下：

49、1.?實(shí)時(shí)動(dòng)態(tài)優(yōu)化：通過小模型的內(nèi)核態(tài)部署和實(shí)時(shí)推理能力，調(diào)度器可以根據(jù)系統(tǒng)運(yùn)行時(shí)的數(shù)據(jù)動(dòng)態(tài)調(diào)整策略。結(jié)合內(nèi)核鉤子實(shí)時(shí)捕獲的上下文切換、cpu使用率等信息，小模型能夠快速響應(yīng)負(fù)載變化，實(shí)現(xiàn)高效的資源管理。

50、2.?全局與局部協(xié)同優(yōu)化：大模型負(fù)責(zé)周期性地提供全局優(yōu)化的視角，生成小模型的初始權(quán)重和調(diào)度器原型，從長(zhǎng)期積累的數(shù)據(jù)中提取規(guī)律，確保優(yōu)化策略具有全局視野。同時(shí)，小模型則作為局部適配器，實(shí)時(shí)處理內(nèi)核態(tài)的動(dòng)態(tài)調(diào)度需求。這種分層優(yōu)化機(jī)制能夠平衡短期適應(yīng)性和長(zhǎng)期性能提升。

51、3.?模塊化設(shè)計(jì)提升靈活性：調(diào)度器被抽象為組件化模塊，支持動(dòng)態(tài)組合和替換。大模型根據(jù)實(shí)際需求生成的調(diào)度器代碼可以靈活加載或更新模塊，從而快速適應(yīng)不同的負(fù)載場(chǎng)景和系統(tǒng)配置。這種模塊化設(shè)計(jì)降低了調(diào)度器開發(fā)的復(fù)雜度，增強(qiáng)了系統(tǒng)的擴(kuò)展能力。

52、4.?低內(nèi)核資源開銷：小模型的訓(xùn)練和推理分離，訓(xùn)練在用戶態(tài)進(jìn)行，推理在內(nèi)核態(tài)執(zhí)行，且小模型設(shè)計(jì)為輕量級(jí)，能夠在有限的內(nèi)核資源中高效運(yùn)行。結(jié)合cpu空閑時(shí)段進(jìn)行推理和參數(shù)更新，避免對(duì)正常任務(wù)調(diào)度產(chǎn)生干擾。

53、5.?大模型知識(shí)轉(zhuǎn)移提高性能：通過將大模型的知識(shí)遷移到小模型，將復(fù)雜的全局調(diào)度邏輯壓縮到輕量化的小模型中，不僅保留了大模型的核心知識(shí)，還顯著減少了計(jì)算資源消耗。小模型能夠繼承大模型的智能性，在內(nèi)核態(tài)高效執(zhí)行。

54、6.?閉環(huán)反饋機(jī)制：通過內(nèi)核態(tài)到用戶態(tài)的數(shù)據(jù)回傳，結(jié)合大模型的長(zhǎng)期周期優(yōu)化能力，本項(xiàng)目形成了自適應(yīng)的閉環(huán)反饋機(jī)制。調(diào)度器性能的評(píng)估結(jié)果和運(yùn)行時(shí)數(shù)據(jù)不斷傳回大模型，支持大模型進(jìn)一步優(yōu)化小模型和調(diào)度器設(shè)計(jì)，使系統(tǒng)性能持續(xù)改進(jìn)。

55、7.?適應(yīng)復(fù)雜多變的場(chǎng)景：本項(xiàng)目兼容多種負(fù)載和硬件環(huán)境，能夠根據(jù)不同任務(wù)的特性動(dòng)態(tài)調(diào)整調(diào)度策略。無(wú)論是cpu密集型、io密集型還是混合型負(fù)載，本項(xiàng)目的動(dòng)態(tài)調(diào)度機(jī)制均能有效適配。

56、8.?提升開發(fā)效率：通過利用大模型生成調(diào)度器代碼和小模型參數(shù)，開發(fā)者可以快速設(shè)計(jì)和驗(yàn)證新的調(diào)度策略，無(wú)需從頭編寫復(fù)雜的調(diào)度器代碼。這種生成式設(shè)計(jì)顯著提升了開發(fā)效率，并降低了技術(shù)門檻。

57、9.?系統(tǒng)性能全面提升：綜合以上機(jī)制，本項(xiàng)目顯著提高了調(diào)度器的靈活性和智能性，實(shí)現(xiàn)了系統(tǒng)性能的全面優(yōu)化，包括吞吐量、任務(wù)延遲和資源利用率等核心指標(biāo)。