一種陸地大氣氣溶膠反演分布式工作流依賴關系刻畫方法
【技術領域】
[0001]本發(fā)明涉及高性能地學計算領域，尤其是面向云計算的M0DIS數(shù)據(jù)陸地大氣氣溶膠反演分布式工作流依賴關系刻畫方法。
【背景技術】
[0002]M0DIS (英文 moderate-resolut1n imaging spectrorad1meter 的縮寫，全稱為中分辨率成像光譜儀)數(shù)據(jù)陸地大氣氣溶膠遙感反演需要進行大量的數(shù)據(jù)預處理和復雜的輻射傳輸方程的計算，運算量大，耗時長。這些處理過程主要包括，定標、輻射傳輸、集合校正等數(shù)據(jù)預處理，波段運算、圖像變換、數(shù)據(jù)融合等圖像處理，非線性方程組求解等反演運算以及后處理等操作。采用面向M0SDIS數(shù)據(jù)陸地大氣氣溶膠反演的分布式工作流技術可以對這些流程步驟進行分解，形成相互之間有依賴關系的子任務，并按照子任務前趨與后續(xù)、并行與串行關系在分布式的計算機環(huán)境中運行，進而可以降低整體反演處理時間，從而實現(xiàn)氣溶膠的快速反演。在對這些過程進行描述時，采用自然語言或數(shù)據(jù)流圖等方式，會引起相互沖突的陳述及對陳述不同方式的理解，幾乎不可避免地會出現(xiàn)含糊性，并且這些描述方式不完整，抽象層次混亂。因此需要采用數(shù)學形式化的方法對上述過程進行簡潔準確地描述其狀態(tài)、現(xiàn)象或動作的結果，實現(xiàn)在不同的軟件工程活動之間平滑過渡，但現(xiàn)有技術中沒有如何實現(xiàn)的方法，如何實現(xiàn)是本領域技術人員不斷探索的技術問題。

【發(fā)明內容】

[0003]本發(fā)明的目的在于克服現(xiàn)有技術的不足，提供一種陸地大氣氣溶膠反演分布式工作流依賴關系刻畫方法，實現(xiàn)在分布式的計算機環(huán)境中按照并行與串行、前趨與后續(xù)關系有序執(zhí)行，實現(xiàn)氣溶膠的快速反演。
[0004]為了達到上述目的，本發(fā)明采用的技術方案是:
一種陸地大氣氣溶膠反演分布式工作流依賴關系刻畫方法，所述方法面向M0DIS數(shù)據(jù)，包括如下步驟:
步驟1.根據(jù)有限圖DND= (S，T，I，0，N，D)規(guī)則構建的遙感反演服務流描述器對氣溶膠定量反演處理步驟進行抽象化描述，形成有依賴關系的抽象服務流；
步驟2.服務流解析器對抽象服務流按照任務、配置信息、控制信息幾個類別進行解析，分解成為服務匹配器可識別的相關參數(shù)，將抽象服務流進行資源映射；
步驟3.服務匹配器根據(jù)獲取的任務、匹配信息、控制信息，與UDDI服務注冊中心、元數(shù)據(jù)目錄、數(shù)據(jù)分塊管理、任務管理器進行通信，調度相關模塊運行；
步驟4.任務管理器根據(jù)獲取的服務地址、數(shù)據(jù)塊地址、控制信息、配置信息，驅動執(zhí)行器按序、并/串行執(zhí)行Web服務流(即網(wǎng)頁服務流)，并對執(zhí)行過程監(jiān)控，對異常報錯，并重啟執(zhí)行；
步驟5.執(zhí)行器在執(zhí)行過程中遇到氣溶膠反演處理服務調用點時，在服務注冊庫中查找到對應的Web服務發(fā)送給執(zhí)行器，進行實例執(zhí)行，并獲取處理結果； 步驟6.在執(zhí)行過程中，執(zhí)行器依次從服務注冊庫中取出氣溶膠反演處理服務來綁定調用；當一個氣溶膠反演處理服務調用失敗時，將其從服務注冊庫中刪除，并觸發(fā)異常處理器進行處理；
步驟7.重復步驟3-6，直至流程執(zhí)行至無后繼調用點，完成大氣氣溶膠的反演；
所述的DND規(guī)則通過六個要元描述一個分布在網(wǎng)絡上的有限圖，且DND= (S，T，I，0，N，D);其中S={Sl，s2..., sp}描述氣溶膠遙感反演處理算法狀態(tài)有限集合，p>0為S集的個數(shù)；Τ={?!, t2...，tj描述轉換過程這一有限集合，k>0為轉換過程的個數(shù)#={1^，n2...，nj為網(wǎng)絡數(shù)據(jù)節(jié)點IP地址集，q>0為網(wǎng)絡中數(shù)據(jù)節(jié)點個數(shù)^{山，d2...，dj為數(shù)據(jù)集及其分割集，u>0為一個MODIS HDF (HDF為Hierarchical Data Format的縮寫，可以存儲不同類型的圖像和數(shù)碼數(shù)據(jù)的文件格式)格式文件及其分割的數(shù)據(jù)塊數(shù)；1: D X S X T->Z為輸入函數(shù)，定義了被分布在不同數(shù)據(jù)節(jié)點上的HDFS (即Hadoop分布式文件系統(tǒng))數(shù)據(jù)文件在S到T的有向弧的重復數(shù)或權的集合，此處Z={0，1，...}為非負整數(shù)集；0:TXDXS->N為輸出函數(shù)，定義了氣溶膠遙感反演處理算法在不同數(shù)據(jù)節(jié)點上進行轉換，并將處理結果重映射到不同網(wǎng)絡的過程的集合。
[0005]作為本發(fā)明的較佳實施例，本發(fā)明所述S= {Si, s2...，sp}在氣溶膠遙感定量分布式服務流運行狀態(tài)刻畫中，包括如下處理步驟:
步驟S101.對經(jīng)瑋度、太陽天頂角、傳感器天頂角波段進行M0DIS數(shù)據(jù)提取；
步驟S102.對原始MODIS 1KM分辨率數(shù)據(jù)按照10KM、1KM、500M，進行經(jīng)瑋度和天頂角數(shù)據(jù)重采樣；
步驟S103.根據(jù)研究區(qū)域，根據(jù)經(jīng)瑋度對天頂角進行M0DIS影像裁剪；
步驟S104.根據(jù)太陽天頂角、傳感器天頂角進行M0DIS影像拼接；
步驟S105.根據(jù)經(jīng)瑋度對太陽天頂角、傳感器天頂角進行幾何校正；
步驟S106.從M0DIS原始文件提取云掩膜信息；
步驟S107.從原始M0DIS數(shù)據(jù)中提取Bandl，2，3，4，7的表現(xiàn)反射率；
步驟S108.根據(jù)地面觀測點經(jīng)瑋度和衛(wèi)星過境時間，提取與衛(wèi)星同步的地面臺站觀測數(shù)據(jù)；
步驟S109.計算Α0Τ (英文Advanced Oxidat1n Technologies的縮寫，中文意思為高級氧化技術)迭代反演的初始值；
步驟S110.計算Α0Τ ；
步驟S111.與地面實測比較，驗證反演結果。
[0006]作為本發(fā)明的較佳實施例，本發(fā)明所述0={山，d2...，du}包括如下數(shù)據(jù)和分割集: 步驟S201.將中分辨率成像光譜儀的一級數(shù)據(jù)產品M0D02、M0D03數(shù)據(jù)，大氣標準產品
M0D35、M0D04數(shù)據(jù)、AERNET (AErosol RObotic NETwork)數(shù)據(jù)這些待處理數(shù)據(jù)源按照時間單位天并入同一目錄，然后按照月、年形成更高一層數(shù)據(jù)目錄，以此形成輸入數(shù)據(jù)集；
步驟S202.對與合并、或合并后的遙感專用軟件產生的hdr與img格式的中間處理結果進行歸檔處理，并從T中任務管理節(jié)點集獲取歸檔節(jié)點，形成中間歸檔數(shù)據(jù)集；
步驟S203.對與分叉、或分叉后的中間處理輸入數(shù)據(jù)hdr、img進行數(shù)據(jù)分塊，并從T集中任務管理節(jié)點集獲取N集中的閑置節(jié)點，將數(shù)據(jù)映射到這些閑置節(jié)點，形成數(shù)據(jù)分塊集；步驟S203.對中間歸檔數(shù)據(jù)集和數(shù)據(jù)分塊集構建元數(shù)據(jù)管理集； 步驟S204.整個流程處理結果形成輸出處理結果集。
[0007]作為本發(fā)明的較佳實施例，本發(fā)明所述S集包括地面臺站觀測數(shù)據(jù)處理、信息提取、重采樣、裁剪、幾何校正、拼接、云信息提取、波段提取、云掩膜、Α0Τ反演初值計算、Α0Τ計算及地面實測比較驗證步驟，所述步驟通過IDL (交互式數(shù)據(jù)語言Interactive DataLanguage)、Mat lab、C++進行開發(fā)，然后編譯封裝成為web服務形式。
[0008]作為本發(fā)明的較佳實施例，本發(fā)明所述T集包括基于點積運算、領域運算、全局運算的氣溶膠遙感反演處理任務集，遙感源數(shù)據(jù)的分布式接入、數(shù)據(jù)分塊方法、數(shù)據(jù)壓縮方法、數(shù)據(jù)索引方法，氣溶膠遙感數(shù)據(jù)元數(shù)據(jù)管理、注冊、服務發(fā)現(xiàn)，氣溶膠遙感反演任務管理、映射，氣溶膠遙感數(shù)據(jù)傳輸引擎、節(jié)點狀態(tài)監(jiān)控、節(jié)點任務監(jiān)控、節(jié)點任務配置、節(jié)點任務重啟、氣溶膠遙感反演處理結果聚合。
[0009]作為本發(fā)明的較佳實施例，本發(fā)明所述D集為MOSDIS HDF數(shù)據(jù)集及其分割集，包括分布式環(huán)境下氣溶膠遙感源數(shù)據(jù)、MOSDIS HDF格式文件及其分割數(shù)據(jù)集、氣溶膠