多機(jī)多任務(wù)并行衛(wèi)星遙感影像正射校正處理系統(tǒng)及其方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及衛(wèi)星遙感影像處理技術(shù)領(lǐng)域，特別涉及在缺少大量超高性能硬件設(shè)備的情況下開(kāi)展面向?yàn)?zāi)害應(yīng)急應(yīng)用的多機(jī)多任務(wù)并行衛(wèi)星遙感影像正射校正處理系統(tǒng)及多機(jī)多任務(wù)衛(wèi)星影像批量正射校正處理方法。
技術(shù)背景
[0002]我國(guó)是災(zāi)害發(fā)生頻率較高的國(guó)家。重特大自然災(zāi)害給人民的生命和財(cái)產(chǎn)安全帶來(lái)嚴(yán)重威脅，引起了人們對(duì)減災(zāi)救災(zāi)工作的極大重視。遙感技術(shù)的快速發(fā)展為我們提供了一種快速監(jiān)測(cè)和獲取災(zāi)害信息的可靠手段。隨著遙感及空間信息技術(shù)的發(fā)展以及傳感器成像方式的不斷改進(jìn)，一些高精度、高分辨率的衛(wèi)星不斷發(fā)射升空，極大的改變了人們獲取地面信息的方式。但是衛(wèi)星遙感影像在其成像過(guò)程中，因地形起伏和傳感器誤差的影響，導(dǎo)致影像失真，無(wú)法直接進(jìn)行后續(xù)使用。因此在衛(wèi)星遙感影像投入實(shí)際應(yīng)用之前，對(duì)衛(wèi)星遙感影像進(jìn)行正射校正是必不可少的工作。
[0003]原始衛(wèi)星遙感影像數(shù)據(jù)產(chǎn)品大多是以壓縮包格式存儲(chǔ)和傳輸?shù)模壳?，傳統(tǒng)的衛(wèi)星遙感影像正射校正方法大多是基于人工操作，首先對(duì)衛(wèi)星遙感影像標(biāo)準(zhǔn)壓縮包進(jìn)行解壓之后，再進(jìn)行正射校正處理，這樣就會(huì)耗費(fèi)大量人工交互時(shí)間和解壓文件的時(shí)間，而且這種方法只能逐個(gè)遙感影像進(jìn)行單機(jī)單任務(wù)處理，數(shù)據(jù)量越大，耗費(fèi)時(shí)間就越長(zhǎng)。而在災(zāi)害應(yīng)急應(yīng)用中，為了能及時(shí)提供減災(zāi)決策制定依據(jù)數(shù)據(jù)，為救災(zāi)贏取寶貴時(shí)間，對(duì)數(shù)據(jù)處理效率要求極高。另一方面，隨著空間分辨率、光譜分辨率、時(shí)間分辨率的提高，需要處理的數(shù)據(jù)量急劇增大。因此，這種傳統(tǒng)的單機(jī)單任務(wù)處理模式難以滿足減災(zāi)應(yīng)急的高效率需求，在面向?yàn)?zāi)害應(yīng)急應(yīng)用中，傳統(tǒng)的衛(wèi)星遙感影像正射校正技術(shù)的處理效率逐漸成為制約數(shù)據(jù)應(yīng)用與救災(zāi)及時(shí)性的瓶頸，亟待需要開(kāi)發(fā)出一種能夠高效進(jìn)行校正處理的技術(shù)。
[0004]另外，隨著計(jì)算機(jī)硬件性能的不斷提高，應(yīng)用單位可利用的配置相對(duì)較低的計(jì)算機(jī)硬件資源越來(lái)越多，傳統(tǒng)的單機(jī)單任務(wù)處理模式不僅耗時(shí)較長(zhǎng)，還造成大量已有計(jì)算機(jī)硬件資源閑置。

【發(fā)明內(nèi)容】

[0005]本發(fā)明是鑒于上述的現(xiàn)有技術(shù)中存在的問(wèn)題而做出的，其目的在于提供一種多機(jī)多任務(wù)并行衛(wèi)星遙感影像正射校正處理系統(tǒng)及方法，其可充分利用多臺(tái)計(jì)算機(jī)對(duì)衛(wèi)星遙感影像數(shù)據(jù)進(jìn)行快速正射校正處理。
[0006]用于實(shí)現(xiàn)上述發(fā)明目的的第一方案的多機(jī)多任務(wù)并行衛(wèi)星遙感影像正射校正處理系統(tǒng)，其特征在于，包括:輸入輸出終端，包括用于批量導(dǎo)入衛(wèi)星遙感影像壓縮包的衛(wèi)星遙感影像導(dǎo)入模塊；多個(gè)計(jì)算節(jié)點(diǎn)終端，各計(jì)算節(jié)點(diǎn)終端包括資源及任務(wù)管理客戶端模塊，該資源及任務(wù)管理客戶端模塊用于動(dòng)態(tài)地采集并上報(bào)計(jì)算節(jié)點(diǎn)終端的資源使用情況；以及服務(wù)器，包括資源及任務(wù)管理服務(wù)器模塊，該資源及任務(wù)管理服務(wù)器模塊根據(jù)各所述資源及任務(wù)管理客戶端模塊上報(bào)的資源使用情況，建立計(jì)算節(jié)點(diǎn)終端資源使用情況列表，并根據(jù)該計(jì)算節(jié)點(diǎn)終端資源使用情況列表，為各所述計(jì)算節(jié)點(diǎn)終端動(dòng)態(tài)地分配計(jì)算任務(wù)；所述資源及任務(wù)管理客戶端模塊，根據(jù)由資源及任務(wù)管理服務(wù)器模塊分配的任務(wù)信息，為所述計(jì)算節(jié)點(diǎn)終端啟動(dòng)被分配的正射校正任務(wù)，所述計(jì)算節(jié)點(diǎn)終端啟動(dòng)正射校正任務(wù)后，利用GDAL(Geospatial Data Abstract1n Library,開(kāi)源柵格空間數(shù)據(jù)轉(zhuǎn)換庫(kù))直接從該正射校正任務(wù)對(duì)應(yīng)的衛(wèi)星遙感影像壓縮包中提取原始衛(wèi)星遙感影像和對(duì)應(yīng)正射校正參數(shù)進(jìn)行正射校正處理。
[0007]根據(jù)上述第一方案的多機(jī)多任務(wù)并行衛(wèi)星遙感影像正射校正處理系統(tǒng)，利用資源及任務(wù)管理客戶端模塊和資源及任務(wù)管理服務(wù)器模塊實(shí)現(xiàn)了空閑計(jì)算節(jié)點(diǎn)終端的動(dòng)態(tài)統(tǒng)計(jì)及任務(wù)的動(dòng)態(tài)分配，從而實(shí)現(xiàn)多機(jī)多任務(wù)模式，充分利用了資源并有效節(jié)省運(yùn)算時(shí)間。并且，直接調(diào)用壓縮包進(jìn)行批處理，大大省去了解壓冗余文件所耗費(fèi)的時(shí)間，還能夠節(jié)省存儲(chǔ)器和處理器空間。
[0008]本發(fā)明的第二方案的多機(jī)多任務(wù)并行衛(wèi)星遙感影像正射校正處理系統(tǒng)，在第一方案的基礎(chǔ)上，所述計(jì)算節(jié)點(diǎn)終端利用GPU為衛(wèi)星遙感影像的正射校正處理進(jìn)行并行處理。所述為各計(jì)算節(jié)點(diǎn)終端動(dòng)態(tài)地分配的計(jì)算任務(wù)是正射校正任務(wù)；所述計(jì)算節(jié)點(diǎn)終端包括GPU ;所述計(jì)算節(jié)點(diǎn)終端利用GDAL直接從該正射校正任務(wù)對(duì)應(yīng)的衛(wèi)星遙感影像壓縮包中提取原始衛(wèi)星遙感影像和對(duì)應(yīng)正射校正參數(shù)之后，解析該正射校正參數(shù)并構(gòu)建RPC變換模型；之后，利用該RPC變換模型計(jì)算目標(biāo)影像坐標(biāo)范圍，并對(duì)目標(biāo)影像范圍進(jìn)行網(wǎng)格劃分之后，以每一個(gè)網(wǎng)格作為一個(gè)獨(dú)立的子任務(wù)，在GPU共享存儲(chǔ)器中保存各網(wǎng)格的XY方向變換參數(shù)，利用該XY方向變換參數(shù)，在GPU的多個(gè)線程同時(shí)對(duì)多個(gè)網(wǎng)格計(jì)算每個(gè)像元的對(duì)應(yīng)的原影像位置。
[0009]本發(fā)明的第三方案的多機(jī)多任務(wù)并行衛(wèi)星遙感影像正射校正處理系統(tǒng)，在第一方案的基礎(chǔ)上，所述計(jì)算節(jié)點(diǎn)終端利用CPU多線程模式為正射校正處理進(jìn)行并行處理。所述為各計(jì)算節(jié)點(diǎn)終端動(dòng)態(tài)地分配的計(jì)算任務(wù)是正射校正任務(wù)；所述計(jì)算節(jié)點(diǎn)終端的CPU能夠以多線程模式運(yùn)行；所述計(jì)算節(jié)點(diǎn)終端利用GDAL直接從該正射校正任務(wù)對(duì)應(yīng)的衛(wèi)星遙感影像壓縮包中提取原始衛(wèi)星遙感影像和對(duì)應(yīng)正射校正參數(shù)之后，解析該正射校正參數(shù)并構(gòu)建RPC變換模型；之后，利用該RPC變換模型計(jì)算目標(biāo)影像坐標(biāo)范圍，并對(duì)目標(biāo)影像范圍進(jìn)行網(wǎng)格劃分之后，以每一個(gè)網(wǎng)格作為一個(gè)獨(dú)立的子任務(wù)，在所述計(jì)算節(jié)點(diǎn)終端的存儲(chǔ)器中保存各網(wǎng)格的XY方向變換參數(shù)，利用該XY方向變換參數(shù)，通過(guò)CPU多線程模式同時(shí)對(duì)多個(gè)網(wǎng)格計(jì)算每個(gè)像元的對(duì)應(yīng)的原影像位置。
[0010]根據(jù)上述第二方案和第三方案的多機(jī)多任務(wù)并行衛(wèi)星遙感影像正射校正處理系統(tǒng)，通過(guò)GPU或CPU多線程模式為正射校正處理進(jìn)行并行處理，從而能夠進(jìn)一步加快正射校正處理速度。
[0011]本發(fā)明的第四方案的多機(jī)多任務(wù)并行衛(wèi)星遙感影像正射校正處理方法，包括:衛(wèi)星遙感影像導(dǎo)入步驟，批量導(dǎo)入衛(wèi)星遙感影像壓縮包；各計(jì)算節(jié)點(diǎn)終端的資源使用情況采集和上報(bào)步驟，在各計(jì)算節(jié)點(diǎn)終端設(shè)有資源及任務(wù)管理客戶端模塊，該資源及任務(wù)管理客戶端模塊動(dòng)態(tài)地采集并上報(bào)計(jì)算節(jié)點(diǎn)終端的資源使用情況；計(jì)算節(jié)點(diǎn)終端資源使用情況列表建立步驟，在服務(wù)器上設(shè)有資源及任務(wù)管理服務(wù)器模塊，該資源及任務(wù)管理服務(wù)器模塊根據(jù)各所述資源及任務(wù)管理客戶端模塊上報(bào)的資源使用情況，建立計(jì)算節(jié)點(diǎn)終端資源使用情況列表；調(diào)度步驟，所述資源及任務(wù)管理服務(wù)器模塊根據(jù)計(jì)算節(jié)點(diǎn)終端資源使用情況列表，為各所述計(jì)算節(jié)點(diǎn)終端動(dòng)態(tài)地分配計(jì)算任務(wù)；以及任務(wù)執(zhí)行步驟，所述資源及任務(wù)管理客戶端模塊根據(jù)由資源及任務(wù)管理服務(wù)器模塊分配的任務(wù)信息，為所述計(jì)算節(jié)點(diǎn)終端啟動(dòng)被分配的正射校正任務(wù)，所述計(jì)算節(jié)點(diǎn)終端啟動(dòng)正射校正任務(wù)后，利用GDAL直接從該正射校正任務(wù)對(duì)應(yīng)的衛(wèi)星遙感影像壓縮包中提取原始衛(wèi)星遙感影像和對(duì)應(yīng)正射校正參數(shù)，進(jìn)行正射校正處理。
[0012]根據(jù)上述第四方案的多機(jī)多任務(wù)并行衛(wèi)星遙感影像正射校正處理方法，利用資源及任務(wù)管理客戶端模塊和資源及任務(wù)管理服務(wù)器模塊實(shí)現(xiàn)了空閑計(jì)算節(jié)點(diǎn)終端的動(dòng)態(tài)統(tǒng)計(jì)及任務(wù)的動(dòng)態(tài)分配，從而實(shí)現(xiàn)多機(jī)多任務(wù)模式，充分利用了資源并有效節(jié)省運(yùn)算時(shí)間。并且，直接調(diào)用壓縮包進(jìn)行批處理，大大省去了解壓冗余文件所耗費(fèi)的時(shí)間，還能夠節(jié)省存儲(chǔ)器和處理器空間。
[0013]本發(fā)明的第五方案的多機(jī)多任務(wù)并行衛(wèi)星遙感影像正射校正處理方法，在第四方案的基礎(chǔ)上，在所述任務(wù)執(zhí)行步驟，所述計(jì)算節(jié)點(diǎn)終端利用CPU多線程模式為正射校正處理進(jìn)行并行處理。所述為各計(jì)算節(jié)點(diǎn)終端動(dòng)態(tài)地分配的計(jì)算任務(wù)是正射校正任務(wù)，在所述任務(wù)執(zhí)行步驟，所述計(jì)算節(jié)點(diǎn)終端利用GDAL直接從該正射校正任務(wù)對(duì)應(yīng)的衛(wèi)星遙感影像壓縮包中提取原始衛(wèi)星遙感影像和對(duì)應(yīng)正射校正參數(shù)之后，解析該正射校正參數(shù)并構(gòu)建RPC變換模型；之后，利用該RPC變換模型計(jì)算目標(biāo)影像坐標(biāo)范圍，并對(duì)目標(biāo)影像范圍進(jìn)行網(wǎng)格劃分之后，以每一個(gè)網(wǎng)格作為一個(gè)獨(dú)立的子任務(wù)，在GPU共享存儲(chǔ)器中保存各網(wǎng)格的XY方向變換參數(shù)，利用該XY方向變換參數(shù)，在GPU的多個(gè)線程同時(shí)對(duì)多個(gè)網(wǎng)格計(jì)算每個(gè)像元的對(duì)應(yīng)的原影像位置。
[0014]本發(fā)明的第六方案的多機(jī)多任務(wù)并行衛(wèi)星遙感影像正射校正處理方法，在第四方案的基礎(chǔ)上，在所述任務(wù)執(zhí)行步驟，所述計(jì)算節(jié)點(diǎn)終端利用CPU多線程模式為正射校正處理進(jìn)行并