本發(fā)明屬于水質(zhì)模擬，具體涉及一種基于cnn-transformer的大尺度流域水質(zhì)模擬方法與系統(tǒng)。

背景技術：

1、流域水質(zhì)模擬是一種通過建立數(shù)學模型，模擬流域內(nèi)水體的水文過程、污染物傳輸和轉(zhuǎn)化過程，以評估和預測水質(zhì)狀況的方法。流域水質(zhì)的指標包括溫度、溶解氧、氮素化合物和有機污染物等。流域水質(zhì)指標直接影響著水體中的生物生存和生態(tài)平衡。例如水體中溶解氧的降低會使得水生動物被迫改變呼吸模式或降低活動水平，進而導致它們的發(fā)育延緩，以及一些繁殖問題（如卵子死亡率和缺陷增加）和畸形問題等。此外，工業(yè)、農(nóng)業(yè)和城市化活動引發(fā)了大量污染物進入水體，如營養(yǎng)物質(zhì)（氮、磷）、重金屬、有機污染物等。這些污染物不僅會威脅水體的生態(tài)健康，也會給人類生存造成負面影響。流域水質(zhì)模擬能夠評估水質(zhì)健康，從而維護生態(tài)系統(tǒng)穩(wěn)定，對人類可持續(xù)發(fā)展具有重要意義。

2、常見的水質(zhì)模擬模型有qual2e，wasp，swat等。這些傳統(tǒng)的水質(zhì)模擬模型是基于一些物理化學公式以及大量的相關參數(shù)計算得到水質(zhì)指標。然而上述的這些模型存在一些問題，例如模型的數(shù)據(jù)庫依賴于特定地區(qū)流域的屬性與結(jié)構(gòu)，這可能無法很好地適應于其他地區(qū)流域的水環(huán)境模擬，造成模擬精度低等問題。此外，這些模型依賴于大量的物理化學參數(shù)，如何獲取并且處理這些參數(shù)同樣是現(xiàn)實的水環(huán)境模擬研究需要慎重考慮的問題。傳統(tǒng)方法通?；趯r間序列的統(tǒng)計分析和假設，如平穩(wěn)性、線性關系，難以處理非平穩(wěn)、非線性的水質(zhì)模擬和預測問題，也難以捕捉復雜的多元變量之間的相互依存關系。

3、近年來，基于自注意力機制的transformer模型在自然語言處理方面做到了領域頂尖水平，有研究表明其在處理時間序列問題方面也具有高效能力。卷積神經(jīng)網(wǎng)絡（cnn）在圖像識別和處理領域取得了巨大成功,其具有高效的提取特征的能力。本發(fā)明將卷積神經(jīng)網(wǎng)絡與transformer模型相結(jié)合，將其應用于流域水環(huán)境模擬領域。

技術實現(xiàn)思路

1、針對于上述現(xiàn)有技術的不足，本發(fā)明的目的在于提供一種基于cnn-transformer的大尺度流域水質(zhì)模擬方法與系統(tǒng)，以解決現(xiàn)有技術中難以同時模擬多個流域的水質(zhì)指標的問題，傳統(tǒng)模型中獲取大量參數(shù)困難和率定參數(shù)困難的問題，以及長距離水質(zhì)時間序列問題中難以捕捉多元變量之間復雜關系的問題。

2、為達到上述目的，本發(fā)明采用的技術方案如下：

3、本發(fā)明的一種基于cnn-transformer的大尺度流域水質(zhì)模擬方法，步驟如下：

4、1）獲取一定時間內(nèi)大范圍的多個流域的氣象水文驅(qū)動數(shù)據(jù)、水質(zhì)數(shù)據(jù)以及流域?qū)傩詳?shù)據(jù)；

5、2）對步驟1）中獲得的數(shù)據(jù)進行預處理，包括刪除重復的時間序列數(shù)據(jù)、刪除錯誤記錄、刪除異常值及數(shù)據(jù)標準化處理，得到預處理后的氣象水文驅(qū)動數(shù)據(jù)、水質(zhì)數(shù)據(jù)及流域?qū)傩詳?shù)據(jù)；再將數(shù)據(jù)的日期轉(zhuǎn)化為時間特征數(shù)據(jù)；將處理后得到的氣象水文驅(qū)動數(shù)據(jù)、水質(zhì)數(shù)據(jù)、流域?qū)傩詳?shù)據(jù)和時間特征數(shù)據(jù)按照一定比例劃分為訓練集和測試集；

6、3）對步驟2）中訓練集的三維時間序列數(shù)據(jù)進行數(shù)據(jù)嵌入；

7、4）將步驟3）中處理后的數(shù)據(jù)輸入到編碼器，再對經(jīng)過編碼器處理的數(shù)據(jù)進行線性變換；

8、5）根據(jù)設置的迭代次數(shù)以及相應的損失函數(shù)進行訓練，重復步驟3）和步驟4），得到初始cnn-transformer水質(zhì)模擬模型；采用不同組合的超參數(shù)進行訓練得到多個初始cnn-transformer水質(zhì)模擬模型，根據(jù)初始cnn-transformer水質(zhì)模擬模型在測試集上的評估指標，選擇在測試集上表現(xiàn)最好的cnn-transformer水質(zhì)模擬模型作為最終的cnn-transformer水質(zhì)模擬模型，將測試集中的數(shù)據(jù)輸入到最終的cnn-transformer水質(zhì)模擬模型，再對模型的輸出進行逆標準化得到流域水質(zhì)的模擬值。

9、進一步地，所述氣象水文驅(qū)動數(shù)據(jù)為時間序列數(shù)據(jù)，包括降水量、積雪水當量、地表氣壓、最高氣溫、最低氣溫、日平均氣溫以及風速分量。

10、進一步地，所述水質(zhì)數(shù)據(jù)為時間序列數(shù)據(jù)，包括溶解氧和水溫；水質(zhì)數(shù)據(jù)為非每日連續(xù)的數(shù)據(jù)，其僅在有限個日期中是存在觀測值的。

11、進一步地，所述流域?qū)傩詳?shù)據(jù)劃分為5組，包括地形、氣候、水文、土地利用和土壤；具體數(shù)據(jù)特征包括：坐標、海拔、坡度、年雪覆蓋比例、長期平均的年度和月度溫度、降水量、流量、基流指數(shù)、農(nóng)業(yè)、裸地、森林、冰川、湖泊和城市的土地利用百分比、土壤深度、沙、粉、黏土和有機碳的土壤組分百分比。

12、進一步地，所述數(shù)據(jù)標準化處理具體包括：將數(shù)據(jù)進行 z-score標準化，使數(shù)據(jù)轉(zhuǎn)換為均值為0、標準差為1的分布，且確保數(shù)據(jù)具有相似的尺度和分布；計算公式如下：

13、；

14、其中， x為原始數(shù)據(jù)，為原始數(shù)據(jù)的平均值，為原始數(shù)據(jù)的標準差，為處理后的數(shù)據(jù)。

15、進一步地，所述將數(shù)據(jù)的日期轉(zhuǎn)化為時間特征數(shù)據(jù)的具體過程為：通過判斷當前日期是一周中的具體日期，將一周中的天數(shù)映射到[-0.5,?0.5]的范圍內(nèi)，公式表達如下：

16、；

17、其中，表示將一周中的天數(shù)映射后的時間特征數(shù)據(jù)，表示一周中的具體日期，表示一周總的天數(shù)；

18、通過判斷當前日期是一個月中的具體日期，將一個月中的天數(shù)映射到[-0.5,0.5]的范圍內(nèi)，公式表達如下：

19、；

20、其中，表示將一月中的天數(shù)映射后的時間特征數(shù)據(jù)，表示一月中的具體日期，表示一月總的天數(shù)；

21、通過判斷當前日期是一年中的具體日期，將一年中的天數(shù)映射到[-0.5,?0.5]的范圍內(nèi)，公式表達如下：

22、；

23、其中，表示將一年中的天數(shù)映射后的時間特征數(shù)據(jù)，表示一年中的具體日期，表示一年總的天數(shù)。

24、進一步地，所述步驟2）中預處理后得到的氣象水文驅(qū)動數(shù)據(jù)、水質(zhì)數(shù)據(jù)、流域?qū)傩詳?shù)據(jù)以及時間特征數(shù)據(jù)均為三維時間序列數(shù)據(jù)，其中第一個維度代表不同的流域，第二個維度代表時間，第三個維度代表特征和屬性，從而能夠一次性訓練多個流域的數(shù)據(jù)，捕捉多個流域之間的協(xié)同效應。

25、進一步地，所述步驟3）中進行數(shù)據(jù)嵌入具體過程為：將輸入數(shù)據(jù)進行位置編碼、時間編碼和線性變換。

26、進一步地，所述步驟3）具體包括：

27、31）對步驟2）中處理后得到的氣象水文驅(qū)動數(shù)據(jù)和流域?qū)傩詳?shù)據(jù)進行位置編碼得到位置編碼向量，具體公式如下：

28、；

29、其中， pos表示編碼的數(shù)據(jù)在所有時間序列中的相對位置，表示時間序列向量的維度， d表示位置編碼向量的維度；

30、32）對步驟2）中處理得到的時間特征數(shù)據(jù)進行時間編碼，將時間特征數(shù)據(jù)通過一個線性變換層變成維的時間編碼向量；

31、33）將氣象水文驅(qū)動數(shù)據(jù)和流域?qū)傩詳?shù)據(jù)通過一個線性變換層轉(zhuǎn)化為 d維的向量，并將其與步驟31）和步驟32）中得到的位置編碼向量和時間編碼向量相加得到數(shù)據(jù)嵌入向量，將所述數(shù)據(jù)嵌入向量作為輸入傳遞給dropout層，隨機將一部分神經(jīng)元的輸出設置為零，以減少神經(jīng)元之間復雜的共適應關系，提高泛化能力。

32、進一步地，所述編碼器由多個編碼器層組成，每個編碼器層包括注意力層、殘差鏈接和層歸一化以及cnn層。

33、進一步地，所述步驟4）具體包括：

34、41）將步驟3）中處理后的數(shù)據(jù)輸入到編碼器的注意力層進行注意力得分計算；對數(shù)據(jù)進行投影得到查詢張量，鍵張量和值張量，計算公式如下：

35、；

36、其中， x為輸入數(shù)據(jù)，為可供模型學習的參數(shù)， i=1,2,..., h, h表示注意力頭的個數(shù)；

37、計算每個注意力頭的注意力得分 scores i，公式如下：

38、；

39、對每個注意力頭的注意力得分使用softmax?函數(shù)計算得到注意力權(quán)重 a i，公式如下：

40、?；

41、使用注意力權(quán)重加權(quán)每個值張量 v i得到每個注意力頭的輸出，公式如下：

42、；

43、其中，為每個注意力頭的輸出；

44、將所有注意力頭的輸出進行拼接，并通過線性變換得到最終的多頭注意力輸出，如下：

45、；

46、其中，為多頭注意力輸出，為拼接函數(shù)，為可供訓練的參數(shù)；

47、42）對步驟41）中得到的多頭注意力輸出進行殘差連接，再進行層歸一化；

48、43）將步驟42）中得到的數(shù)據(jù)通過cnn層捕獲特征：通過一個卷積核大小為1，輸入通道數(shù)為 d，輸出通道數(shù)為的一維卷積層進行特征提取，再將數(shù)據(jù)通過激活函數(shù)處理，使用dropout層防止數(shù)據(jù)過擬合，其中激活函數(shù)使用relu函數(shù)或gelu函數(shù)；將輸出再次通過一個卷積核大小為1，輸入通道數(shù)為，輸出通道數(shù)為 d的一維卷積層和dropout層處理，將數(shù)據(jù)從維重新映射到 d維，以捕獲序列數(shù)據(jù)中的不同尺度的特征，增強模型的表征能力；

49、44）將步驟43）中經(jīng)過兩個卷積層的輸出與步驟42）中進行層歸一化后的輸出相加，再次進行歸一化，得到最終的編碼器層輸出；

50、45）將步驟44）中得到的輸出結(jié)果傳遞到下一個編碼器層中，重復步驟41）至步驟44），重復執(zhí)行次，為編碼器層的個數(shù)，經(jīng)過個編碼器層的處理得到編碼器的輸出；

51、46）對步驟45）中編碼器的輸出進行線性變換，將其從維映射到維，其中表示需要模擬的水質(zhì)指標的數(shù)量。

52、進一步地，所述步驟5）中選取的損失函數(shù)為標準化均方誤差，計算公式為：

53、；

54、其中，表示標準化均方誤差，表示模擬值，表示觀測值，表示觀測值的標準差。

55、進一步地，根據(jù)設置的迭代次數(shù)，重復步驟3）-步驟4），最后一次迭代完成時，停止訓練，并保存模型結(jié)構(gòu)，得到初始cnn-transformer水質(zhì)模擬模型。

56、進一步地，所述超參數(shù)包括隱藏層大小、訓練集批處理大小、迭代次數(shù)、模型訓練的預熱長度；采用不同的超參數(shù)組合，重復步驟3）和步驟4）進行訓練，得到多個初始cnn-transformer水質(zhì)模擬模型。

57、進一步地，所述步驟5）中選用的評估指標為納什效率系數(shù)和均方根誤差，其公式如下：

58、；

59、其中， nse表示納什效率系數(shù)， rmse表示均方根誤差，表示溶解氧的模擬值，表示溶解氧的觀測值，表示溶解氧觀測值的數(shù)量；將測試集的數(shù)據(jù)輸入到多個初始cnn-transformer水質(zhì)模擬模型，得到溶解氧的模擬值，根據(jù)溶解氧的模擬值和觀測值計算 nse或 rmse，選擇 nse或 rmse表現(xiàn)最好的模型，保存其模型結(jié)構(gòu)，得到最終的cnn-transformer水質(zhì)模擬模型。

60、本發(fā)明還提供一種基于cnn-transformer的大尺度流域水質(zhì)模擬系統(tǒng)，包括：數(shù)據(jù)獲取模塊，數(shù)據(jù)處理模塊，數(shù)據(jù)嵌入模塊，數(shù)據(jù)編碼模塊及模擬模塊；

61、數(shù)據(jù)獲取模塊，用于獲取一定時間內(nèi)大范圍的多個流域的氣象水文驅(qū)動數(shù)據(jù)、水質(zhì)數(shù)據(jù)以及流域?qū)傩詳?shù)據(jù)；

62、數(shù)據(jù)處理模塊，用于對獲得的數(shù)據(jù)進行預處理，得到預處理后的氣象水文驅(qū)動數(shù)據(jù)、水質(zhì)數(shù)據(jù)及流域?qū)傩詳?shù)據(jù)；再將數(shù)據(jù)的日期轉(zhuǎn)化為時間特征數(shù)據(jù)；將處理后得到的氣象水文驅(qū)動數(shù)據(jù)、水質(zhì)數(shù)據(jù)、流域?qū)傩詳?shù)據(jù)和時間特征數(shù)據(jù)按照一定比例劃分為訓練集和測試集；

63、數(shù)據(jù)嵌入模塊，用于對訓練集的三維時間序列數(shù)據(jù)進行數(shù)據(jù)嵌入；

64、數(shù)據(jù)編碼模塊，用于將嵌入后的數(shù)據(jù)輸入到編碼器，再對經(jīng)過編碼器處理的數(shù)據(jù)進行線性變換；

65、模擬模塊，用于根據(jù)設置的迭代次數(shù)以及相應的損失函數(shù)進行訓練，得到初始cnn-transformer水質(zhì)模擬模型；采用不同組合的超參數(shù)進行訓練得到多個初始cnn-transformer水質(zhì)模擬模型，根據(jù)初始cnn-transformer水質(zhì)模擬模型在測試集上的評估指標，選擇在測試集上表現(xiàn)最好的cnn-transformer水質(zhì)模擬模型作為最終的cnn-transformer水質(zhì)模擬模型，將測試集中的數(shù)據(jù)輸入到最終的cnn-transformer水質(zhì)模擬模型，再對模型的輸出進行逆標準化得到流域水質(zhì)的模擬值。

66、本發(fā)明的有益效果：

67、1、本發(fā)明采用深度學習算法解決了傳統(tǒng)的水質(zhì)模擬模型需要率定大量參數(shù)的問題，提高了模擬的效率，減小了模擬的難度。

68、2、本發(fā)明的水質(zhì)模擬模型結(jié)合了tansformer模型與卷積神經(jīng)網(wǎng)絡，可以更好地處理一些非平穩(wěn)、非線性關系的水質(zhì)模擬問題，能夠更好地捕捉到多元變量之間的相互依存關系。

69、3、本發(fā)明的水質(zhì)模擬模型可以一次性輸入多個流域的數(shù)據(jù)，同時數(shù)據(jù)的時間尺度大，因此可以在大尺度上反映流域水質(zhì)的空間與時間變化，捕捉鄰近流域之間的協(xié)同效應，提升模型的模擬效果。

70、4、本發(fā)明可以同時模擬多個流域的水質(zhì)指標，并且在不同的流域中表現(xiàn)良好，具有可遷移性；本發(fā)明解決了許多傳統(tǒng)模型無法在水質(zhì)數(shù)據(jù)稀疏和缺失的地區(qū)建立可靠的水質(zhì)模擬模型的問題，對這些地區(qū)的水質(zhì)模擬研究具有較大的參考價值。