本發(fā)明涉及時間序列預測，特別是一種基于transformer模型的氣候特征預測方法，通過分塊序列、位置編碼和多頭注意力機制實現(xiàn)長時間跨度的氣候數(shù)據(jù)建模與預測。

背景技術：

1、氣候特征預測對農(nóng)業(yè)生產(chǎn)、環(huán)境監(jiān)測以及氣象預警等領域至關重要?，F(xiàn)有的循環(huán)神經(jīng)網(wǎng)絡方法在長時間依賴建模上存在不足，難以有效捕捉復雜的時間序列模式。transformer模型由于其強大的多頭注意力機制，能夠在全局范圍內(nèi)處理序列依賴，但直接應用于氣候序列預測時存在計算資源占用過大的問題。因此，提出了一種分塊與transformer結合的改進方法，以減少計算復雜度，并提高預測精度。

技術實現(xiàn)思路

1、本發(fā)明目的是提供一種基于分塊和通道融合的氣象特征預測方法，能夠在處理復雜時間依賴關系和提高預測精度方面表面更佳，同時降低了計算復雜度，所述技術方案如下：

2、步驟1：設原始氣候序列包含l個時間步，每個時間步具有m個變量，表示為一個l×m的矩陣

3、步驟2：在原始氣候序列的末尾用最后一個值進行s次重復填充；

4、步驟3：按照大小為s的步幅，可重疊或不重疊，將原始氣候序列x劃分成每塊長度為p且變量數(shù)為m的分塊序列其中p×m是每個分塊的維度，為生成分塊的數(shù)量；

5、步驟4：利用線性投影矩陣和加性位置編碼將分塊序列xp變換成輸入序列xd＝wpxp+wpos，其中其中d是每個輸入token的維度；

6、步驟5：把序列xd輸入transformer編碼器，通過多頭注意力機制得到，查詢矩陣鍵矩陣和值矩陣其中和表示不同的注意頭，是每個注意頭中查詢、鍵和值向量的維度；

7、步驟6：計算多頭注意力層輸出具體公式如下：

8、

9、步驟7：在計算完注意力輸出oh后，進行一次殘差連接將注意力輸出oh與輸入xd相加，然后進行批歸一化，z1＝batchnorm(xd+oh)；

10、步驟8：經(jīng)過由兩層全連接層組成的前饋網(wǎng)絡層，z2＝ffn(z1)＝relu(w1z1+b1),z3＝w2z2+b2，其中w1,w2是前饋網(wǎng)絡的權重矩陣，b1,b2是偏置；

11、步驟9：經(jīng)過前饋網(wǎng)絡的輸出z3與前一步輸入z1再次進行殘差連接和批歸一化，得到最終輸出z＝batchnorm(z1+z3)；

12、步驟10：將輸出先經(jīng)過展平操作，再通過由一層全連接層組成的解碼器，生成未來t個時間步的預測結果

13、步驟11：使用均方誤差mse損失函數(shù)，通過以下公式計算每個通道的損失：

14、

15、其中，表示第i個時間序列的預測值，表示第i個時間序列的真實值，m表示時間序列的數(shù)量，對m個時間序列的每個通道的損失進行匯總，將匯總的損失在m個時間序列上進行平均，得到總體目標損失，并對預測結果進行評估。

16、本發(fā)明提供的技術方案帶來的有益效果是：利用基于分塊序列自注意力有效捕捉長時間序列的全局特征，并利用transformer架構提升建模能力，從而在處理復雜時間依賴關系和提高預測精度方面表現(xiàn)更佳，同時降低了計算復雜度。

技術特征：

1.一種基于分塊和通道融合的氣象特征預測方法，其特征在于包括以下步驟：

技術總結
本發(fā)明公開了一種基于分塊和通道融合的氣象特征預測方法，依次包含以下步驟：首先，構建一個多變量氣候序列輸入，并將原始氣候序列劃分為重疊或非重疊的分塊序列；然后，利用Transformer的自注意力機制對分塊后的氣候序列進行編碼，以捕捉時間塊之間的依賴關系；接著，特征向量經(jīng)過Transformer編碼器處理后再通過展平層，轉化為線性模型輸入，最后經(jīng)過線性層生成最終的預測結果。本發(fā)明為氣象特征預測提供了一種新思路，實驗結果表明本方法具有高效處理長時間序列，模型復雜度降低，需求更少計算資源，誤差率低的優(yōu)點。

技術研發(fā)人員：李川,李玉鑑,劉寶龍,霍霈霖,李根
受保護的技術使用者：桂林電子科技大學
技術研發(fā)日：
技術公布日：2025/1/2