本發(fā)明屬于火燒跡地檢測(cè)，尤其涉及一種多模態(tài)火燒跡地檢測(cè)方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)：

1、目前，火燒跡地檢測(cè)主要依賴于遙感影像技術(shù)，通過(guò)對(duì)衛(wèi)星、無(wú)人機(jī)等設(shè)備獲取的圖像進(jìn)行分析。傳統(tǒng)的火燒跡地檢測(cè)技術(shù)主要使用單一模態(tài)的遙感數(shù)據(jù)，提取特定的光譜指數(shù)，紋理信息和多光譜波段信息，根據(jù)合適的閾值或使用隨機(jī)森林等機(jī)器學(xué)習(xí)方法區(qū)分燒毀和未燒毀的地區(qū)。然而，這些單一模態(tài)的方法面臨多種挑戰(zhàn)，如植被的季節(jié)性變化、云層覆蓋和光照條件的變化，這些因素都可能影響檢測(cè)的準(zhǔn)確性和及時(shí)性。

2、由于成像條件的限制，如天氣、時(shí)間、地形等因素的影響，無(wú)法保證在每次檢測(cè)時(shí)都能獲取到特定模態(tài)的影像數(shù)據(jù)，從而影響了火燒跡地檢測(cè)結(jié)果的及時(shí)性和準(zhǔn)確性。為了克服特定模態(tài)數(shù)據(jù)的局限性，需要設(shè)計(jì)一種多模態(tài)火燒跡地檢測(cè)模型，能夠處理不同模態(tài)的影像數(shù)據(jù)，如光學(xué)影像、紅外影像、雷達(dá)影像等，減少火燒跡地檢測(cè)模型對(duì)單一模態(tài)數(shù)據(jù)的依賴，提高模型的跨模態(tài)泛化能力和適用性。

3、然而，跨模態(tài)檢測(cè)模型面臨另一個(gè)具有挑戰(zhàn)的問(wèn)題，即模型可能在訓(xùn)練過(guò)程中無(wú)法一次性獲取到所有模態(tài)的數(shù)據(jù)。在現(xiàn)實(shí)問(wèn)題中，不同模態(tài)的數(shù)據(jù)可能需要逐步獲取，這要求檢測(cè)模型具備持續(xù)學(xué)習(xí)新模態(tài)知識(shí)的能力，能夠不斷學(xué)習(xí)新模態(tài)數(shù)據(jù)，及時(shí)更新和優(yōu)化檢測(cè)模型。然而，一般的機(jī)器學(xué)習(xí)模型在學(xué)習(xí)新任務(wù)的過(guò)程中會(huì)面臨“災(zāi)難性遺忘”問(wèn)題，即學(xué)習(xí)到新知識(shí)時(shí)會(huì)忘記之前已經(jīng)學(xué)到的舊知識(shí)，導(dǎo)致模型在舊任務(wù)的表現(xiàn)上性能不佳。

技術(shù)實(shí)現(xiàn)思路

1、（一）要解決的技術(shù)問(wèn)題

2、為解決現(xiàn)有技術(shù)中火燒跡地檢測(cè)中所出現(xiàn)的上述技術(shù)問(wèn)題至少之一，本發(fā)明的實(shí)施例提供了一種多模態(tài)火燒跡地檢測(cè)方法、裝置、設(shè)備及介質(zhì)，通過(guò)在語(yǔ)義分割模型中設(shè)置記憶緩沖區(qū)，以使模型能夠持續(xù)學(xué)習(xí)，根據(jù)新的模態(tài)數(shù)據(jù)自適應(yīng)更新和優(yōu)化模型，并緩解災(zāi)難性遺忘問(wèn)題。

3、（二）技術(shù)方案

4、鑒于上述問(wèn)題，本發(fā)明的實(shí)施例提供了一種多模態(tài)火燒跡地檢測(cè)方法、裝置、設(shè)備及介質(zhì)。

5、根據(jù)本發(fā)明的第一個(gè)方面，提供了一種多模態(tài)火燒跡地檢測(cè)方法，包括：獲取目標(biāo)火燒跡地遙感觀測(cè)數(shù)據(jù)；對(duì)目標(biāo)火燒跡地遙感觀測(cè)數(shù)據(jù)進(jìn)行特征提取，得到目標(biāo)多維特征數(shù)據(jù)；以及將目標(biāo)多維特征數(shù)據(jù)輸入預(yù)先訓(xùn)練的目標(biāo)語(yǔ)義分割模型中進(jìn)行火燒跡地檢測(cè)，得到目標(biāo)火燒跡地遙感觀測(cè)數(shù)據(jù)對(duì)應(yīng)的火燒跡地檢測(cè)數(shù)據(jù)，其中，目標(biāo)火燒跡地遙感觀測(cè)數(shù)據(jù)包括同一地區(qū)火災(zāi)前和火災(zāi)后的數(shù)據(jù)；目標(biāo)語(yǔ)義分割模型能夠處理多種模態(tài)的火燒跡地遙感觀測(cè)數(shù)據(jù)；以及目標(biāo)語(yǔ)義分割模型包括記憶緩沖區(qū)，以使模型能夠持續(xù)學(xué)習(xí)，根據(jù)新的模態(tài)數(shù)據(jù)自適應(yīng)更新和優(yōu)化模型，以緩解災(zāi)難性遺忘問(wèn)題。

6、在一些示例性的實(shí)施例中，預(yù)先訓(xùn)練得到目標(biāo)語(yǔ)義分割模型包括：獲取按照模態(tài)進(jìn)行分組的多組任務(wù)數(shù)據(jù)，每組任務(wù)數(shù)據(jù)作為獨(dú)立的訓(xùn)練任務(wù)；構(gòu)建初始語(yǔ)義分割模型用于火燒跡地檢測(cè)，初始語(yǔ)義分割模型包括記憶緩沖區(qū)；使用第一組任務(wù)數(shù)據(jù)對(duì)初始語(yǔ)義分割模型進(jìn)行訓(xùn)練，利用第一損失函數(shù)計(jì)算分割損失，根據(jù)分割損失更新初始語(yǔ)義分割模型中的參數(shù)，同時(shí)用當(dāng)前任務(wù)的數(shù)據(jù)更新記憶緩沖區(qū)；以及依次訓(xùn)練后續(xù)任務(wù)數(shù)據(jù)，更新上次任務(wù)數(shù)據(jù)訓(xùn)練得到的語(yǔ)義分割模型的參數(shù)，同時(shí)用當(dāng)前任務(wù)的數(shù)據(jù)更新記憶緩沖區(qū)，直至完成所有任務(wù)數(shù)據(jù)的訓(xùn)練，得到目標(biāo)語(yǔ)義分割模型，其中，第一組任務(wù)數(shù)據(jù)為多組任務(wù)數(shù)據(jù)中的任意一組。

7、在一些示例性的實(shí)施例中，獲取按照模態(tài)進(jìn)行分組的多組任務(wù)數(shù)據(jù)包括：獲取多模態(tài)火燒跡地遙感觀測(cè)數(shù)據(jù)及火燒跡地遙感觀測(cè)數(shù)據(jù)對(duì)應(yīng)的火燒跡地掩碼數(shù)據(jù)；對(duì)多模態(tài)火燒跡地遙感觀測(cè)數(shù)據(jù)和火燒跡地掩碼數(shù)據(jù)進(jìn)行特征提取，得到多維特征數(shù)據(jù)；以及將多維特征數(shù)據(jù)與掩碼數(shù)據(jù)按照模態(tài)分組，得到按照模態(tài)進(jìn)行分組的任務(wù)數(shù)據(jù)，其中，不同模態(tài)的多維特征數(shù)據(jù)具有相同的特征維數(shù)；多維特征數(shù)據(jù)包含火災(zāi)前和火災(zāi)后的信息；以及任務(wù)數(shù)據(jù)按照預(yù)設(shè)比例劃分為訓(xùn)練樣本和驗(yàn)證樣本。

8、在一些示例性的實(shí)施例中，初始語(yǔ)義分割模型使用resnet和u-net結(jié)合的深度學(xué)習(xí)語(yǔ)義分割模型，其中，resnet作為u-net的編碼器，將編碼器中的每一層與解碼器中對(duì)應(yīng)層進(jìn)行拼接，以使深度學(xué)習(xí)語(yǔ)義分割模型能夠同時(shí)學(xué)習(xí)到淺層與深層的特征。

9、在一些示例性的實(shí)施例中，記憶緩沖區(qū)用于存儲(chǔ)語(yǔ)義分割模型在之前任務(wù)訓(xùn)練過(guò)程中使用的訓(xùn)練樣本以及經(jīng)過(guò)之前任務(wù)訓(xùn)練后得到的語(yǔ)義分割模型對(duì)訓(xùn)練樣本的輸出結(jié)果，其中，若記憶緩沖區(qū)中已存儲(chǔ)的數(shù)據(jù)量小于記憶緩沖區(qū)的大小，則將正在處理的數(shù)據(jù)直接存入記憶緩沖區(qū)；若記憶緩沖區(qū)中已存儲(chǔ)的數(shù)據(jù)量等于記憶緩沖區(qū)的大小，則根據(jù)水庫(kù)抽樣方法隨機(jī)決定是否將正在處理的數(shù)據(jù)替換記憶緩沖區(qū)中已存入的任務(wù)數(shù)據(jù)。

10、在一些示例性的實(shí)施例中，依次訓(xùn)練后續(xù)任務(wù)數(shù)據(jù)，更新上次任務(wù)數(shù)據(jù)訓(xùn)練得到的語(yǔ)義分割模型的參數(shù)，同時(shí)用當(dāng)前任務(wù)的數(shù)據(jù)更新記憶緩沖區(qū)包括：基于上次任務(wù)數(shù)據(jù)訓(xùn)練得到的語(yǔ)義分割模型以及當(dāng)前任務(wù)數(shù)據(jù)，利用第一損失函數(shù)計(jì)算分割損失，得到分割損失；基于記憶緩沖區(qū)中存儲(chǔ)的任務(wù)數(shù)據(jù)，利用第二損失函數(shù)，計(jì)算均方損失作為蒸餾損失，以減少模型在當(dāng)前任務(wù)訓(xùn)練過(guò)程中對(duì)舊任務(wù)知識(shí)的遺忘；利用分割損失和蒸餾損失的加權(quán)和構(gòu)造第三損失函數(shù)，計(jì)算得到總損失；以及基于總損失更新語(yǔ)義分割模型的參數(shù)。

11、在一些示例性的實(shí)施例中，分割損失函數(shù)包括焦點(diǎn)損失函數(shù)。

12、本發(fā)明的第二方面提供了一種多模態(tài)火燒跡地檢測(cè)裝置，包括以下模塊：獲取模塊，用于獲取目標(biāo)火燒跡地遙感觀測(cè)數(shù)據(jù)；特征提取模塊，用于對(duì)目標(biāo)火燒跡地遙感觀測(cè)數(shù)據(jù)進(jìn)行特征提取，得到目標(biāo)多維特征數(shù)據(jù)；以及檢測(cè)模塊，用于將目標(biāo)多維特征數(shù)據(jù)輸入預(yù)先訓(xùn)練的目標(biāo)語(yǔ)義分割模型中進(jìn)行火燒跡地檢測(cè)，得到目標(biāo)火燒跡地遙感觀測(cè)數(shù)據(jù)對(duì)應(yīng)的火燒跡地檢測(cè)數(shù)據(jù)，其中，目標(biāo)火燒跡地遙感觀測(cè)數(shù)據(jù)包括同一地區(qū)火災(zāi)前和火災(zāi)后的數(shù)據(jù)；目標(biāo)語(yǔ)義分割模型能夠處理多模態(tài)火燒跡地遙感觀測(cè)數(shù)據(jù)；以及目標(biāo)語(yǔ)義分割模型包括記憶緩沖區(qū)，以使模型能夠持續(xù)學(xué)習(xí)，根據(jù)新的模態(tài)數(shù)據(jù)自適應(yīng)更新和優(yōu)化模型，以緩解災(zāi)難性遺忘問(wèn)題。

13、本發(fā)明的第三方面提供了一種電子設(shè)備，包括：一個(gè)或多個(gè)處理器以及存儲(chǔ)器，存儲(chǔ)器用于存儲(chǔ)一個(gè)或多個(gè)程序，其中，當(dāng)一個(gè)或多個(gè)程序被一個(gè)或多個(gè)處理器執(zhí)行時(shí)，使得一個(gè)或多個(gè)處理器執(zhí)行上述方法。

14、本發(fā)明的第四方面還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有可執(zhí)行指令，該指令被處理器執(zhí)行時(shí)使處理器執(zhí)行上述方法。

15、（三）有益效果

16、從上述技術(shù)方案可以看出，本發(fā)明的實(shí)施例提供的一種多模態(tài)火燒跡地檢測(cè)方法、裝置、設(shè)備及介質(zhì)至少具有以下有益效果其中之一：

17、（1）通過(guò)在語(yǔ)義分割模型中設(shè)置記憶緩沖區(qū)，使模型能夠持續(xù)學(xué)習(xí)，能夠根據(jù)新的模態(tài)數(shù)據(jù)自適應(yīng)更新和優(yōu)化模型，并緩解災(zāi)難性遺忘問(wèn)題。

18、（2）本發(fā)明能夠整合多模態(tài)數(shù)據(jù)，在數(shù)據(jù)可用性受限的情況下仍能保持高效的檢測(cè)性能。

19、（3）明通過(guò)劃分不同模態(tài)訓(xùn)練任務(wù)并使用記憶緩沖區(qū)，使模型保持對(duì)舊知識(shí)的記憶，并學(xué)習(xí)新任務(wù)的知識(shí)，提高了模型的跨模態(tài)泛化能力和適用性。

技術(shù)特征：

1.一種多模態(tài)火燒跡地檢測(cè)方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，預(yù)先訓(xùn)練得到所述目標(biāo)語(yǔ)義分割模型包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述獲取按照模態(tài)進(jìn)行分組的多組任務(wù)數(shù)據(jù)包括：

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述初始語(yǔ)義分割模型使用resnet和u-net結(jié)合的深度學(xué)習(xí)語(yǔ)義分割模型，其中，resnet作為u-net的編碼器，將編碼器中的每一層與解碼器中對(duì)應(yīng)層進(jìn)行拼接，以使所述深度學(xué)習(xí)語(yǔ)義分割模型能夠同時(shí)學(xué)習(xí)到淺層與深層的特征。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述記憶緩沖區(qū)用于存儲(chǔ)語(yǔ)義分割模型在之前任務(wù)訓(xùn)練過(guò)程中使用的訓(xùn)練樣本以及經(jīng)過(guò)之前任務(wù)訓(xùn)練后得到的語(yǔ)義分割模型對(duì)所述訓(xùn)練樣本的輸出結(jié)果，

6.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述依次訓(xùn)練后續(xù)任務(wù)數(shù)據(jù)，更新上次任務(wù)數(shù)據(jù)訓(xùn)練得到的語(yǔ)義分割模型的參數(shù)，同時(shí)用當(dāng)前任務(wù)的數(shù)據(jù)更新記憶緩沖區(qū)包括：

7.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述分割損失函數(shù)包括焦點(diǎn)損失函數(shù)。

8.一種多模態(tài)火燒跡地檢測(cè)裝置，其特征在于，所述裝置包括以下模塊：

9.一種電子設(shè)備，其中，包括：

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有可執(zhí)行指令，該指令被處理器執(zhí)行時(shí)使處理器執(zhí)行根據(jù)權(quán)利要求1~7中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
提供了一種多模態(tài)火燒跡地檢測(cè)方法，適用于森林/草原火燒跡地檢測(cè)技術(shù)領(lǐng)域。該方法包括：獲取目標(biāo)火燒跡地遙感觀測(cè)數(shù)據(jù)，包括同一地區(qū)火災(zāi)前和火災(zāi)后的數(shù)據(jù)；對(duì)目標(biāo)火燒跡地遙感觀測(cè)數(shù)據(jù)進(jìn)行特征提取，得到目標(biāo)多維特征數(shù)據(jù)；以及將目標(biāo)多維特征數(shù)據(jù)輸入預(yù)先訓(xùn)練的目標(biāo)語(yǔ)義分割模型中進(jìn)行火燒跡地檢測(cè)，得到火燒跡地檢測(cè)數(shù)據(jù)，其中，目標(biāo)語(yǔ)義分割模型能夠處理多種模態(tài)的火燒跡地遙感觀測(cè)數(shù)據(jù)；以及目標(biāo)語(yǔ)義分割模型包括記憶緩沖區(qū)，以使模型能夠持續(xù)學(xué)習(xí)，根據(jù)新的模態(tài)數(shù)據(jù)自適應(yīng)更新和優(yōu)化模型，以緩解災(zāi)難性遺忘問(wèn)題。本發(fā)明還提供了一種多模態(tài)火燒跡地檢測(cè)裝置、設(shè)備及介質(zhì)。

技術(shù)研發(fā)人員：周增光,袁媛,李子揚(yáng),辛淇,李雪松,舒展,董裕民
受保護(hù)的技術(shù)使用者：中國(guó)科學(xué)院空天信息創(chuàng)新研究院
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6