本發(fā)明涉及人工智能和機器學習，具體為一種可組織模塊化神經架構搜索方法及系統(tǒng)。

背景技術：

1、隨著人工智能和深度學習技術的迅速發(fā)展，神經網(wǎng)絡在各種應用領域，如圖像分類、自然語言處理和時序預測中取得了顯著成果。然而，設計高效的神經網(wǎng)絡架構是一項復雜且耗時的任務，傳統(tǒng)的人工設計方法依賴于專家知識，往往需要反復試驗和調整。神經架構搜索（neural?architecture?search,?nas）作為一種自動化方法，通過算法搜索最佳網(wǎng)絡架構，極大地減輕了人工設計的負擔。

2、傳統(tǒng)的nas方法通常需要大量的計算資源，并且缺乏靈活性，無法根據(jù)具體任務自定義搜索空間。此外，這些方法在搜索過程中往往無法充分利用現(xiàn)有的優(yōu)秀網(wǎng)絡組件和結構。因此，如何在確保搜索效率的同時，靈活地組合和優(yōu)化網(wǎng)絡組件，成為當前研究的熱點和難點。

3、本發(fā)明提出的模塊化神經架構搜索方法（m-nas），通過構建一個包含多種可組合網(wǎng)絡組件的模塊化搜索空間，使得用戶可以根據(jù)具體任務需求選擇適當?shù)木W(wǎng)絡組件，并動態(tài)調整搜索策略，不僅能夠實現(xiàn)所需的網(wǎng)絡結構，還能夠根據(jù)任務類型自定義模塊化組件，最終在每種架構類型中搜索到最優(yōu)超參數(shù)。這種方法不僅提高了搜索效率，還增強了網(wǎng)絡架構設計的靈活性和適用性，為神經網(wǎng)絡優(yōu)化研究提供了新的思路和工具。

技術實現(xiàn)思路

1、鑒于上述存在的問題，提出了本發(fā)明。

2、因此，本發(fā)明解決的技術問題是：傳統(tǒng)的nas方法通常需要大量的計算資源，并且缺乏靈活性，無法根據(jù)具體任務自定義搜索空間。

3、為解決上述技術問題，本發(fā)明提供如下技術方案：一種可組織模塊化神經架構搜索方法，包括：構建模塊化搜索空間，定義任務類型和特征參數(shù)，基于規(guī)則確定任務類型，收集并定義網(wǎng)絡組件，對網(wǎng)絡組件進行驗證和整理，創(chuàng)建初始搜索空間并設置組件的超參數(shù)；動態(tài)調整搜索空間和搜索策略，根據(jù)任務需求實時優(yōu)化搜索過程；通過實時監(jiān)控與優(yōu)化策略，進行參數(shù)調整和目標函數(shù)估計。

4、作為本發(fā)明所述的可組織模塊化神經架構搜索方法的一種優(yōu)選方案，其中：所述定義任務類型和特征參數(shù)之后，還包括，從用戶提供的任務描述和樣本數(shù)據(jù)中提取數(shù)據(jù)類型、數(shù)據(jù)維度和形狀、輸出需求。

5、作為本發(fā)明所述的可組織模塊化神經架構搜索方法的一種優(yōu)選方案，其中：所述基于規(guī)則確定任務類型包括，使用預定義的規(guī)則集，根據(jù)提取的特征和參數(shù)，結合輸出的數(shù)據(jù)類型，匹配任務類型。

6、作為本發(fā)明所述的可組織模塊化神經架構搜索方法的一種優(yōu)選方案，其中：所述收集并定義網(wǎng)絡組件包括，描述每個網(wǎng)絡組件的功能，包括網(wǎng)絡組件的輸入輸出關系、計算方式以及在網(wǎng)絡中的作用，并列出每個網(wǎng)絡組件的可調超參數(shù)和范圍。

7、作為本發(fā)明所述的可組織模塊化神經架構搜索方法的一種優(yōu)選方案，其中：所述對網(wǎng)絡組件進行驗證和整理包括，對每個網(wǎng)絡組件進行功能驗證和性能測試，通過驗證網(wǎng)絡組件在特定任務中的表現(xiàn)，判斷網(wǎng)絡組件執(zhí)行預期功能的能力；將經過驗證的網(wǎng)絡組件進行模塊化，每個模塊化組件由功能描述和參數(shù)集合構成，表示為；構建系統(tǒng)化的組件庫，包含每個組件的功能描述、超參數(shù)定義、實現(xiàn)細節(jié)和驗證結果。

8、作為本發(fā)明所述的可組織模塊化神經架構搜索方法的一種優(yōu)選方案，其中：所述創(chuàng)建初始搜索空間并設置組件的超參數(shù)包括，用表示全部組件組合，并覆蓋各種網(wǎng)絡結構；初始搜索空間；根據(jù)具體任務設計和調整每個網(wǎng)絡組件的超參數(shù)，將特定組件的超參數(shù)空間h納入整體搜索空間，使。

9、作為本發(fā)明所述的可組織模塊化神經架構搜索方法的一種優(yōu)選方案，其中：所述參數(shù)調整和目標函數(shù)估計包括，通過實時監(jiān)控和優(yōu)化策略調整，使用貝葉斯優(yōu)化方法和高斯過程模型進行目標函數(shù)的估計和參數(shù)優(yōu)化。

10、一種采用本發(fā)明任一所述方法的可組織模塊化神經架構搜索系統(tǒng)，其中：搜索空間構建模塊，構建包含多種可組合網(wǎng)絡組件的搜索空間，并根據(jù)任務需求初始化組件和參數(shù)；搜索空間調整模塊，根據(jù)用戶任務需求定義任務特征和相關參數(shù)，動態(tài)調整搜索空間和搜索策略；搜索過程優(yōu)化模塊，通過實時監(jiān)控和優(yōu)化策略調整，使用貝葉斯優(yōu)化方法和高斯過程模型進行目標函數(shù)的估計和參數(shù)優(yōu)化。

11、一種計算機設備，包括：存儲器和處理器；所述存儲器存儲有計算機程序，包括：所述處理器執(zhí)行所述計算機程序時實現(xiàn)本發(fā)明中任一項所述的方法的步驟。

12、一種計算機可讀存儲介質，其上存儲有計算機程序，包括：所述計算機程序被處理器執(zhí)行時實現(xiàn)本發(fā)明中任一項所述的方法的步驟。

13、本發(fā)明的有益效果：本發(fā)明方法通過構建包含多種可組合網(wǎng)絡組件的模塊化搜索空間，實現(xiàn)了靈活且高效的神經網(wǎng)絡架構設計和優(yōu)化。通過預定義搜索空間中的模塊選擇，過濾掉不相關的組件，減少搜索空間的復雜度，提高了搜索效率，使得搜索過程集中在最有可能產生優(yōu)質結果的組件組合上。同時，允許用戶根據(jù)具體任務需求和個人經驗，自定義添加或修改模塊化組件，提升了網(wǎng)絡架構的靈活性和適應性，能夠更好地滿足不同任務的特殊需求。通過動態(tài)調整搜索策略，結合實時監(jiān)控和優(yōu)化策略調整，確保搜索過程的高效性和有效性，自動化地設計和優(yōu)化神經網(wǎng)絡架構，減輕了人工設計的負擔。此外，通過模塊化設計和超參數(shù)優(yōu)化，能夠在每種網(wǎng)絡架構類型中搜索到最優(yōu)超參數(shù)配置，提升了神經網(wǎng)絡模型的性能和穩(wěn)定性。構建的模塊化搜索空間涵蓋了各種常見的網(wǎng)絡組件和結構，如卷積層、池化層、全連接層、殘差塊、transformer層、lstm單元等，適用于圖像分類、自然語言處理、時序預測等多種任務，具有廣泛的應用前景。通過優(yōu)化搜索空間和動態(tài)調整搜索策略，減少了計算資源的浪費，提高了資源利用率，適合在計算資源有限的環(huán)境中應用。綜上所述，本發(fā)明的模塊化神經架構搜索方法（m-nas）不僅在提高搜索效率和模型性能方面具有顯著優(yōu)勢，還增強了網(wǎng)絡架構設計的靈活性和自動化水平，具有重要的實際應用價值和廣闊的應用前景。

技術特征：

1.一種可組織模塊化神經架構搜索方法，其特征在于，包括：

2.如權利要求1所述的可組織模塊化神經架構搜索方法，其特征在于：所述定義任務類型和特征參數(shù)之后，還包括，

3.如權利要求2所述的可組織模塊化神經架構搜索方法，其特征在于：所述基于規(guī)則確定任務類型包括，使用預定義的規(guī)則集，根據(jù)提取的特征和參數(shù)，結合輸出的數(shù)據(jù)類型，匹配任務類型。

4.如權利要求3所述的可組織模塊化神經架構搜索方法，其特征在于：所述收集并定義網(wǎng)絡組件包括，

5.如權利要求4所述的可組織模塊化神經架構搜索方法，其特征在于：所述對網(wǎng)絡組件進行驗證和整理包括，對每個網(wǎng)絡組件進行功能驗證和性能測試，通過驗證網(wǎng)絡組件在特定任務中的表現(xiàn)，判斷網(wǎng)絡組件執(zhí)行預期功能的能力；

6.如權利要求5所述的可組織模塊化神經架構搜索方法，其特征在于：所述創(chuàng)建初始搜索空間并設置組件的超參數(shù)包括，

7.如權利要求6所述的可組織模塊化神經架構搜索方法，其特征在于：所述參數(shù)調整和目標函數(shù)估計包括，

8.一種采用如權利要求1~7任一方法所述的可組織模塊化神經架構搜索系統(tǒng)，其特征在于，包括，

9.一種計算機設備，包括：存儲器和處理器；所述存儲器存儲有計算機程序，其特征在于：所述處理器執(zhí)行所述計算機程序時實現(xiàn)如權利要求1-7任一所述的可組織模塊化神經架構搜索方法的步驟。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于：所述計算機程序被處理器執(zhí)行時實現(xiàn)如權利要求1-7任一所述的可組織模塊化神經架構搜索方法的步驟。

技術總結
本發(fā)明涉及計算機工程技術領域，公開了一種可組織模塊化神經架構搜索方法及系統(tǒng)，包括：構建模塊化搜索空間，定義任務類型和特征參數(shù)，基于規(guī)則確定任務類型，收集并定義網(wǎng)絡組件，對網(wǎng)絡組件進行驗證和整理，創(chuàng)建初始搜索空間并設置組件的超參數(shù)；動態(tài)調整搜索空間和搜索策略，根據(jù)任務需求實時優(yōu)化搜索過程；通過實時監(jiān)控與優(yōu)化策略，進行參數(shù)調整和目標函數(shù)估計。本發(fā)明通過模塊化搜索空間，實現(xiàn)靈活高效的神經網(wǎng)絡架構設計。預定義模塊減少搜索復雜度，提升效率，并允許用戶自定義組件，增強網(wǎng)絡靈活性。動態(tài)調整搜索策略和實時監(jiān)控確保自動化設計優(yōu)化，提高模型性能和穩(wěn)定性。

技術研發(fā)人員：趙學健,彭啟天,王恩良,邰瀚文
受保護的技術使用者：南京郵電大學
技術研發(fā)日：
技術公布日：2025/1/2