本技術(shù)涉及遙感圖像處理，更具體地，涉及基于多模態(tài)提示引導(dǎo)的遙感影像變化區(qū)域檢測(cè)方法及裝置。

背景技術(shù)：

1、隨著計(jì)算機(jī)視覺(jué)技術(shù)的快速發(fā)展，深度學(xué)習(xí)被廣泛應(yīng)用于遙感圖像處理的各個(gè)領(lǐng)域，如分類(lèi)、去噪、圖像生成與融合、目標(biāo)檢測(cè)等。深度學(xué)習(xí)因具有人類(lèi)推理的特征，在變化檢測(cè)中具有特征提取的天然優(yōu)勢(shì)，已成為遙感變化檢測(cè)的重要手段。基于深度學(xué)習(xí)的遙感變化檢測(cè)方法通常通過(guò)神經(jīng)網(wǎng)絡(luò)提取遙感圖像及其差異的深度特征，并在學(xué)習(xí)策略的指導(dǎo)下訓(xùn)練變化檢測(cè)模型，根據(jù)檢測(cè)方案輸出結(jié)果。這類(lèi)方法具備高精度和強(qiáng)魯棒性，已發(fā)展為當(dāng)前遙感影像變化檢測(cè)研究的主流。

2、然而，隨著航天技術(shù)的快速進(jìn)步，遙感數(shù)據(jù)獲取更加便捷，用戶(hù)對(duì)變化信息的需求也愈加多樣化，從簡(jiǎn)單的有無(wú)變化判斷擴(kuò)展到多種變化類(lèi)型的識(shí)別（如建筑增加、植被減少、水體擴(kuò)展等）。這些多元需求往往伴隨著數(shù)據(jù)分辨率、色調(diào)、場(chǎng)景等多種因素的變化。目前的解決方案通常是針對(duì)特定數(shù)據(jù)類(lèi)型和應(yīng)用場(chǎng)景設(shè)計(jì)專(zhuān)門(mén)的檢測(cè)網(wǎng)絡(luò)，并收集大量訓(xùn)練影像進(jìn)行標(biāo)注和訓(xùn)練，這種方法耗時(shí)費(fèi)力，標(biāo)注成本高且周期長(zhǎng)。因此，研究一種適用于多場(chǎng)景、泛化性強(qiáng)且高效的變化檢測(cè)方法，使其在不同場(chǎng)景下仍能保持高檢測(cè)精度并實(shí)現(xiàn)開(kāi)箱即用的能力，對(duì)于推動(dòng)生產(chǎn)應(yīng)用具有重要意義。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)的至少一個(gè)缺陷或改進(jìn)需求，本發(fā)明提供了一種基于多模態(tài)提示引導(dǎo)的遙感影像變化區(qū)域檢測(cè)方法及裝置，結(jié)合了計(jì)算機(jī)視覺(jué)領(lǐng)域的vision?transformer視覺(jué)編碼器和自然語(yǔ)言處理領(lǐng)域的大語(yǔ)言模型在特征提取和高層語(yǔ)義特征處理方面的穩(wěn)定性和泛化性，通過(guò)檢測(cè)器-指導(dǎo)器的遙感圖像變化檢測(cè)框架，將變化檢測(cè)的注意力聚焦在與提示文本對(duì)應(yīng)的感興趣區(qū)域，實(shí)現(xiàn)穩(wěn)定且通用的遙感圖像變化檢測(cè)。

2、為實(shí)現(xiàn)上述目的，按照本發(fā)明的第一個(gè)方面，提供了一種基于多模態(tài)提示引導(dǎo)的遙感影像變化區(qū)域檢測(cè)方法，該方法包括：構(gòu)建與變化檢測(cè)領(lǐng)域?qū)?yīng)的多模態(tài)遙感影像變化檢測(cè)數(shù)據(jù)集，其中，所述多模態(tài)遙感影像變化檢測(cè)數(shù)據(jù)集中包括遙感影像數(shù)據(jù)、變化標(biāo)簽范圍數(shù)據(jù)以及變化區(qū)域的語(yǔ)義類(lèi)別數(shù)據(jù)；建立基于多模態(tài)提示引導(dǎo)的初始遙感影像變化檢測(cè)網(wǎng)絡(luò)，其中，所述初始遙感影像變化檢測(cè)網(wǎng)絡(luò)為基于檢測(cè)器-引導(dǎo)器架構(gòu)建立的變化檢測(cè)網(wǎng)絡(luò)；通過(guò)所述多模態(tài)遙感影像變化檢測(cè)數(shù)據(jù)集對(duì)所述初始遙感影像變化檢測(cè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，基于獲取到的模型參數(shù)確定遙感影像變化檢測(cè)網(wǎng)絡(luò)；將多模態(tài)提示輸入至所述遙感影像變化檢測(cè)網(wǎng)絡(luò)，獲取遙感影像的感興趣類(lèi)的變化檢測(cè)結(jié)果。

3、在一個(gè)示例性實(shí)施例中，所述構(gòu)建與變化檢測(cè)領(lǐng)域?qū)?yīng)的多模態(tài)遙感影像變化檢測(cè)數(shù)據(jù)集包括：將采集到的包括所述遙感影像數(shù)據(jù)、所述變化標(biāo)簽范圍數(shù)據(jù)以及變化區(qū)域的所述語(yǔ)義類(lèi)別數(shù)據(jù)的變化檢測(cè)數(shù)據(jù)集確定為所述多模態(tài)遙感影像變化檢測(cè)數(shù)據(jù)集；根據(jù)所述多模態(tài)遙感影像變化檢測(cè)數(shù)據(jù)集對(duì)應(yīng)的變化標(biāo)簽格式類(lèi)型，將所述遙感影像數(shù)據(jù)處理為二值化圖像。

4、在一個(gè)示例性實(shí)施例中，所述建立基于多模態(tài)提示引導(dǎo)的初始遙感影像變化檢測(cè)網(wǎng)絡(luò)包括：所述初始遙感影像變化檢測(cè)網(wǎng)絡(luò)包括特征提取模塊、引導(dǎo)器模塊以及檢測(cè)器模塊；所述特征提取模塊由圖像特征提取模塊和文本特征提取模塊組成，所述特征提取模塊中的所述圖像特征提取模塊用于對(duì)輸入的雙時(shí)相圖像進(jìn)行特征提取，編碼為雙時(shí)相圖像特征，所述特征提取模塊中的所述文本特征提取模塊用于對(duì)輸入的語(yǔ)義引導(dǎo)進(jìn)行特征提取，編碼為引導(dǎo)特征；所述雙時(shí)相圖像特征分別傳入至所述引導(dǎo)器模塊和所述檢測(cè)器模塊，所述引導(dǎo)特征傳入所述引導(dǎo)器模塊。

5、在一個(gè)示例性實(shí)施例中，在所述雙時(shí)相圖像特征分別傳入至所述引導(dǎo)器模塊和所述檢測(cè)器模塊，所述引導(dǎo)特征傳入所述引導(dǎo)器模塊之后，所述方法還包括：所述引導(dǎo)器模塊包括兩層引導(dǎo)層；所述引導(dǎo)器模塊通過(guò)所述引導(dǎo)特征對(duì)所述雙時(shí)相圖像特征進(jìn)行處理，提取得到所述雙時(shí)相圖像中的感興趣區(qū)域；生成與所述感興趣區(qū)域?qū)?yīng)的注意力特征圖。

6、在一個(gè)示例性實(shí)施例中，在所述生成與所述感興趣區(qū)域?qū)?yīng)的注意力特征圖之后，所述方法還包括：將所述注意力特征圖與所述雙時(shí)相圖像特征輸入至所述檢測(cè)器模塊，提取出變化區(qū)域；結(jié)合所述感興趣區(qū)域?qū)?yīng)的注意力特征圖對(duì)所述變化區(qū)域進(jìn)行更新，保留感興趣的區(qū)域變化，得到所述感興趣類(lèi)的變化檢測(cè)結(jié)果。

7、在一個(gè)示例性實(shí)施例中，在所述通過(guò)所述多模態(tài)遙感影像變化檢測(cè)數(shù)據(jù)集對(duì)所述初始遙感影像變化檢測(cè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練之前，所述方法還包括：將所述多模態(tài)遙感影像變化檢測(cè)數(shù)據(jù)集中的所述遙感影像數(shù)據(jù)與所述變化標(biāo)簽范圍數(shù)據(jù)中的變化標(biāo)簽統(tǒng)一處理為目標(biāo)像素的圖像；生成與所述目標(biāo)像素的圖像對(duì)應(yīng)的文本提示。

8、在一個(gè)示例性實(shí)施例中，所述將多模態(tài)提示輸入至所述遙感影像變化檢測(cè)網(wǎng)絡(luò)，獲取遙感影像的感興趣類(lèi)的變化檢測(cè)結(jié)果包括：將一組所述雙時(shí)相圖像和所述文本提示輸入至所述遙感影像變化檢測(cè)網(wǎng)絡(luò)進(jìn)行檢測(cè)識(shí)別與分割提取，得到所述雙時(shí)相圖像之間的感興趣類(lèi)的二值掩膜；基于所述二值掩膜得到所述感興趣類(lèi)的所述變化檢測(cè)結(jié)果。

9、按照本發(fā)明的第二個(gè)方面，還提供了一種基于多模態(tài)提示引導(dǎo)的遙感影像變化區(qū)域檢測(cè)裝置，其包括：構(gòu)建單元，用于構(gòu)建與變化檢測(cè)領(lǐng)域?qū)?yīng)的多模態(tài)遙感影像變化檢測(cè)數(shù)據(jù)集，其中，所述多模態(tài)遙感影像變化檢測(cè)數(shù)據(jù)集中包括遙感影像數(shù)據(jù)、變化標(biāo)簽范圍數(shù)據(jù)以及變化區(qū)域的語(yǔ)義類(lèi)別數(shù)據(jù)；建立單元，用于建立基于多模態(tài)提示引導(dǎo)的初始遙感影像變化檢測(cè)網(wǎng)絡(luò)，其中，所述初始遙感影像變化檢測(cè)網(wǎng)絡(luò)為基于檢測(cè)器-引導(dǎo)器架構(gòu)建立的變化檢測(cè)網(wǎng)絡(luò)；訓(xùn)練單元，用于通過(guò)所述多模態(tài)遙感影像變化檢測(cè)數(shù)據(jù)集對(duì)所述初始遙感影像變化檢測(cè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，基于獲取到的模型參數(shù)確定遙感影像變化檢測(cè)網(wǎng)絡(luò)；檢測(cè)單元，用于將多模態(tài)提示輸入至所述遙感影像變化檢測(cè)網(wǎng)絡(luò)，獲取遙感影像的感興趣類(lèi)的變化檢測(cè)結(jié)果。

10、按照本發(fā)明的第三個(gè)方面，還提供了一種計(jì)算機(jī)可讀的存儲(chǔ)介質(zhì)，該計(jì)算機(jī)可讀的存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)程序，其中，該計(jì)算機(jī)程序被設(shè)置為運(yùn)行時(shí)執(zhí)行上述基于多模態(tài)提示引導(dǎo)的遙感影像變化區(qū)域檢測(cè)方法。

11、按照本發(fā)明的第四個(gè)方面，還提供了一種電子裝置，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其中，上述處理器通過(guò)計(jì)算機(jī)程序執(zhí)行上述的基于多模態(tài)提示引導(dǎo)的遙感影像變化區(qū)域檢測(cè)方法。

12、總體而言，通過(guò)本發(fā)明所構(gòu)思的以上技術(shù)方案與現(xiàn)有技術(shù)相比，能夠取得下列有益效果：

13、（1）本發(fā)明提供了一種基于多模態(tài)提示引導(dǎo)的遙感影像變化區(qū)域檢測(cè)方法，通過(guò)構(gòu)建大規(guī)模圖文多模態(tài)遙感影像變化檢測(cè)數(shù)據(jù)集，搭建基于多模態(tài)提示引導(dǎo)的遙感影像變化檢測(cè)網(wǎng)絡(luò)；訓(xùn)練網(wǎng)絡(luò)模型以獲得模型參數(shù)，使用多模態(tài)提示進(jìn)行特定感興趣類(lèi)的變化檢測(cè)。該方法采用檢測(cè)器-引導(dǎo)器架構(gòu)，其中，引導(dǎo)器根據(jù)用戶(hù)輸入的多模態(tài)提示生成感興趣區(qū)域注意力特征，從而引導(dǎo)檢測(cè)器的注意力聚焦于用戶(hù)感興趣的類(lèi)別區(qū)域。檢測(cè)器則負(fù)責(zé)提取雙時(shí)相遙感影像中的所有潛在變化區(qū)域，并結(jié)合引導(dǎo)器提供的引導(dǎo)信息更新特征，最后輸出變化檢測(cè)二值化結(jié)果。本方法充分利用了多模態(tài)大模型技術(shù)，無(wú)需額外的數(shù)據(jù)收集或模型微調(diào)，僅需輸入用戶(hù)感興趣的多模態(tài)提示及雙時(shí)相遙感影像，即可生成感興趣變化目標(biāo)的二值掩模，這有效減少?gòu)?fù)雜變化類(lèi)型的干擾，實(shí)現(xiàn)精確的感興趣類(lèi)變化區(qū)域檢測(cè)。

14、（2）采用本技術(shù)提供的基于多模態(tài)提示引導(dǎo)的遙感影像變化區(qū)域檢測(cè)方法，與現(xiàn)有的變化檢測(cè)方法相比，本發(fā)明在保證多場(chǎng)景下檢測(cè)精度的同時(shí)，省去了用戶(hù)收集數(shù)據(jù)進(jìn)行特征對(duì)齊和微調(diào)的步驟，具有開(kāi)箱即用、自動(dòng)化程度高、檢測(cè)效果穩(wěn)定的優(yōu)點(diǎn)，可以顯著提升生產(chǎn)效率并降低時(shí)間成本。