本發(fā)明屬于計算機(jī)應(yīng)用技術(shù)領(lǐng)域，尤其涉及一種分布式文件系統(tǒng)的調(diào)度方法及系統(tǒng)。

背景技術(shù)：

分布式文件系統(tǒng)(distributedfilesystem)是指文件系統(tǒng)管理的物理存儲資源不一定直接連接在本地節(jié)點(diǎn)上，而是通過計算機(jī)網(wǎng)絡(luò)與節(jié)點(diǎn)相連。分布式文件系統(tǒng)的設(shè)計基于客戶機(jī)/服務(wù)器模式。一個典型的網(wǎng)絡(luò)可能包括多個供多用戶訪問的服務(wù)器。另外，對等特性允許一些系統(tǒng)扮演客戶機(jī)和服務(wù)器的雙重角色。

綜上所述，現(xiàn)有技術(shù)存在的問題是：現(xiàn)有的分布式文件系統(tǒng)存在存儲設(shè)備能耗較大，名字節(jié)點(diǎn)namenode的負(fù)擔(dān)、海量小文件存儲訪問效率低，分布式文件系統(tǒng)中獨(dú)立認(rèn)證模塊的開發(fā)人力和財力資源成本高。

技術(shù)實(shí)現(xiàn)要素：

針對現(xiàn)有技術(shù)存在的問題，本發(fā)明提供了一種分布式文件系統(tǒng)的調(diào)度方法及系統(tǒng)。

本發(fā)明是這樣實(shí)現(xiàn)的，一種分布式文件系統(tǒng)的調(diào)度系統(tǒng)，所述分布式文件系統(tǒng)的調(diào)度系統(tǒng)包括：

分布式文件系統(tǒng)的調(diào)度系統(tǒng)，其特征在于，所述分布式文件系統(tǒng)的調(diào)度系統(tǒng)統(tǒng)包括：

集群負(fù)載信息獲取模塊，用于按照預(yù)設(shè)的時間周期定期獲取所述分布式文件系統(tǒng)的集群負(fù)載信息；

所述集群負(fù)載信息獲取模塊對跳頻混合信號時頻域矩陣進(jìn)行預(yù)處理，具體包括如下兩步：

第一步，對進(jìn)行去低能量預(yù)處理，即在每一采樣時刻p，將幅值小于門限ε的值置0，得到門限ε的設(shè)定可根據(jù)接收信號的平均能量來確定；

第二步，找出p時刻(p＝0，1，2，…p-1)非零的時頻域數(shù)據(jù)，用表示，其中表示p時刻時頻響應(yīng)非0時對應(yīng)的頻率索引，對這些非零數(shù)據(jù)歸一化預(yù)處理，得到預(yù)處理后的向量b(p，q)＝[b1(p，q)，b2(p，q)，…，bm(p，q)]^t，其中：

確定調(diào)度策略模塊，用于根據(jù)查詢語句構(gòu)建查詢計劃樹、確定查詢種類和需要查詢的數(shù)據(jù)表，并根據(jù)查詢種類確定最終調(diào)度策略；根據(jù)所述的最終調(diào)度策略，為所述查詢計劃樹中各個結(jié)點(diǎn)選擇執(zhí)行節(jié)點(diǎn)以完成并行查詢執(zhí)行調(diào)度；

數(shù)據(jù)存儲模塊，用于將分布式文件系統(tǒng)客戶端聚類成為虛擬資源池，且建立了存儲單元與虛擬資源池的映射關(guān)系，存儲單元與其對應(yīng)的虛擬資源池中存儲相同的數(shù)據(jù)，使得在虛擬資源池上線時，由虛擬資源池為分布式文件系統(tǒng)客戶端提供服務(wù)；

小文件存儲模塊，用于通過建立相應(yīng)的本地索引和小文件處理機(jī)制，來有效地完成小文件的合并、映射、預(yù)取，在寫入或讀取文件之前，先判斷該文件是否是小文件，如果是，則先交給小文件服務(wù)器處理，否則直接交給原h(huán)dfs系統(tǒng)處理；

認(rèn)證模塊，用于在分布式文件系統(tǒng)中部署ldap服務(wù)器和cas服務(wù)器，使cas服務(wù)器和ldap服務(wù)器能夠雙向讀取和存儲數(shù)據(jù)；用戶通過web應(yīng)用服務(wù)進(jìn)程訪問分布式文件系統(tǒng)時，檢查該用戶的會話是否存在，如果不存在則重新定向到cas服務(wù)器端，檢查tgt，若tgt不存在或者tgt錯誤則需要用戶重新登錄，用戶輸入了用戶名和密碼后，在ldap服務(wù)器進(jìn)行統(tǒng)一認(rèn)證單點(diǎn)登錄；ldap認(rèn)證完成后，cas返回給用戶合法的tgt和st，根據(jù)用戶的當(dāng)前的web應(yīng)用服務(wù)進(jìn)程重新定向到分布式文件系統(tǒng)中；分布式文件系統(tǒng)接收到返回的st，還要由cas服務(wù)器認(rèn)證st的合法有效性，如果合法有效則確認(rèn)用戶可以訪問該分布式文件系統(tǒng)中資源；當(dāng)用戶獲得訪問分布式文件系統(tǒng)中一個業(yè)務(wù)系統(tǒng)的權(quán)限后，當(dāng)該用戶訪問其他業(yè)務(wù)系統(tǒng)的文件資源時，用戶訪問進(jìn)程只需提供st，被訪問的業(yè)務(wù)系統(tǒng)把接收到的st重定向到cas服務(wù)器，驗證合法性和是否過期，若st不存在或者st過期，則返回校驗tgt，如果tgt合法則cas重新授予用戶一張st；

路徑解析模塊，用于通過對元數(shù)據(jù)服務(wù)器按照一定結(jié)構(gòu)進(jìn)行組織，并利用計算機(jī)系統(tǒng)提供的向內(nèi)部存儲器核心空間裝載二進(jìn)制代碼的指令，將實(shí)現(xiàn)了新lookup操作的模塊植入內(nèi)存的核心空間中，使該分布式文件系統(tǒng)可以完成全路徑解析；

處理器，與確定調(diào)度策略模塊、數(shù)據(jù)存儲模塊、小文件存儲模塊、認(rèn)證模塊、路徑解析模塊連接，用于實(shí)現(xiàn)確定調(diào)度策略模塊、數(shù)據(jù)存儲模塊、小文件存儲模塊、認(rèn)證模塊、路徑解析模塊傳輸信息的處理；

所述處理器對m路離散時域混合信號進(jìn)行重疊加窗短時傅里葉變換，得到m個混合信號的時頻域矩陣p＝0，1，…，p-1，q＝0，1，…，nfft-1，其中p表示總的窗數(shù)，nfft表示fft變換長度；

(p，q)表示時頻索引，具體的時頻值為這里nfft表示fft變換的長度，p表示加窗次數(shù)，ts表示采樣間隔，fs表示采樣頻率，c為整數(shù)，表示短時傅里葉變換加窗間隔的采樣點(diǎn)數(shù)，c＜nfft，且kc＝nfft/c為整數(shù)，也就是說采用的是重疊加窗的短時傅里葉變換。

本發(fā)明的另一目的在于提供一種所述分布式文件系統(tǒng)的調(diào)度系統(tǒng)的分布式文件系統(tǒng)的調(diào)度方法，所述分布式文件系統(tǒng)的調(diào)度方法包括：

按照預(yù)設(shè)的時間周期定期獲取所述分布式文件系統(tǒng)的集群負(fù)載信息；根據(jù)查詢語句構(gòu)建查詢計劃樹、確定查詢種類和需要查詢的數(shù)據(jù)表，并根據(jù)查詢種類確定最終調(diào)度策略；根據(jù)所述的最終調(diào)度策略，為所述查詢計劃樹中各個結(jié)點(diǎn)選擇執(zhí)行節(jié)點(diǎn)以完成并行查詢執(zhí)行調(diào)度；

將分布式文件系統(tǒng)客戶端聚類成為虛擬資源池，且建立了存儲單元與虛擬資源池的映射關(guān)系，存儲單元與其對應(yīng)的虛擬資源池中存儲相同的數(shù)據(jù)，使得在虛擬資源池上線時；

通過建立相應(yīng)的本地索引和小文件處理機(jī)制，來有效地完成小文件的合并、映射、預(yù)取，在寫入或讀取文件之前，先判斷該文件是否是小文件，如果是，則先交給小文件服務(wù)器處理，否則直接交給原h(huán)dfs系統(tǒng)處理；

在分布式文件系統(tǒng)中部署ldap服務(wù)器和cas服務(wù)器，使cas服務(wù)器和ldap服務(wù)器能夠雙向讀取和存儲數(shù)據(jù)；用戶通過web應(yīng)用服務(wù)進(jìn)程訪問分布式文件系統(tǒng)時，檢查該用戶的會話是否存在，如果不存在則重新定向到cas服務(wù)器端，檢查tgt，若tgt不存在或者tgt錯誤則需要用戶重新登錄，用戶輸入了用戶名和密碼后，在ldap服務(wù)器進(jìn)行統(tǒng)一認(rèn)證單點(diǎn)登錄；ldap認(rèn)證完成后，cas返回給用戶合法的tgt和st，根據(jù)用戶的當(dāng)前的web應(yīng)用服務(wù)進(jìn)程重新定向到分布式文件系統(tǒng)中；分布式文件系統(tǒng)接收到返回的st，還要由cas服務(wù)器認(rèn)證st的合法有效性，如果合法有效則確認(rèn)用戶可以訪問該分布式文件系統(tǒng)中資源；當(dāng)用戶獲得訪問分布式文件系統(tǒng)中一個業(yè)務(wù)系統(tǒng)的權(quán)限后，當(dāng)該用戶訪問其他業(yè)務(wù)系統(tǒng)的文件資源時，用戶訪問進(jìn)程只需提供st，被訪問的業(yè)務(wù)系統(tǒng)把接收到的st重定向到cas服務(wù)器，驗證合法性和是否過期，若st不存在或者st過期，則返回校驗tgt，如果tgt合法則cas重新授予用戶一張st；

通過對元數(shù)據(jù)服務(wù)器按照一定結(jié)構(gòu)進(jìn)行組織，并利用計算機(jī)系統(tǒng)提供的向內(nèi)部存儲器核心空間裝載二進(jìn)制代碼的指令，將實(shí)現(xiàn)新lookup操作的模塊植入內(nèi)存的核心空間中，使該分布式文件系統(tǒng)可以完成全路徑解析。

進(jìn)一步，所述用于通過對元數(shù)據(jù)服務(wù)器按照一定結(jié)構(gòu)進(jìn)行組織，并利用計算機(jī)系統(tǒng)提供的向內(nèi)部存儲器核心空間裝載二進(jìn)制代碼的指令，將實(shí)現(xiàn)了新lookup操作的模塊植入內(nèi)存的核心空間中，使該分布式文件系統(tǒng)可以完成全路徑解析具體包括：

1)首先構(gòu)造一個全路徑名解析的二進(jìn)制模塊；

2)用計算機(jī)系統(tǒng)提供的向內(nèi)部存儲器核心空間裝載二進(jìn)制代碼的指令將具有全路徑解析功能的模塊植入客戶端計算機(jī)系統(tǒng)內(nèi)部存儲器的核心空間；

3)用該模塊中具有全路徑名解析功能的函數(shù)替換原操作系統(tǒng)中的路徑名解析函數(shù)，在全路徑名解析函數(shù)中，對于沒有提供全路徑名解析的文件系統(tǒng)，仍按原函數(shù)的流程執(zhí)行；

4)對于提供全路徑名解析的分布式文件系統(tǒng)，獲取需要解析的文件的全路徑名，作為參數(shù)提供給分布式文件系統(tǒng)的客戶端核心模塊；

5)分布式文件系統(tǒng)的客戶端核心模塊將路徑解析請求和全路徑名發(fā)給服務(wù)器進(jìn)行處理，并對服務(wù)器返回解析的結(jié)果進(jìn)行處理；

6)在分布式文件系統(tǒng)服務(wù)器端，相應(yīng)地提供全路徑名解析的函數(shù)，可以使用全路徑名查找文件并返回結(jié)果，提供本方法適用于所有基于客戶一服務(wù)器模型的分布式文件系統(tǒng)。

本發(fā)明的優(yōu)點(diǎn)及積極效果為：設(shè)置有數(shù)據(jù)存儲模塊充分利用了各個客戶端的存儲能力，且能夠達(dá)到降低存儲設(shè)備能耗的作用；設(shè)置有小文件存儲模塊達(dá)到減輕名字節(jié)點(diǎn)namenode的負(fù)擔(dān)、海量小文件存儲訪問效率高的目的，同時保證了系統(tǒng)的通用性；設(shè)置有認(rèn)證模塊，能夠?qū)崿F(xiàn)分布式文件系統(tǒng)下多業(yè)務(wù)域的統(tǒng)一權(quán)限管理，即當(dāng)用戶登錄到某一業(yè)務(wù)系統(tǒng)后，再使用其他業(yè)務(wù)系統(tǒng)的文件資源時，無需進(jìn)行再次認(rèn)證，統(tǒng)一認(rèn)證模塊的實(shí)現(xiàn)，減少分布式文件系統(tǒng)中獨(dú)立認(rèn)證模塊的開發(fā)，節(jié)省人力和財力資源；采取ldap服務(wù)器和cas服務(wù)器相結(jié)合的方式，可大大降低數(shù)據(jù)存儲的重復(fù)性和減少占用網(wǎng)絡(luò)資源；設(shè)置有路徑解析模塊通過對元數(shù)據(jù)服務(wù)器按照一定結(jié)構(gòu)進(jìn)行組織，并利用計算機(jī)系統(tǒng)提供的向內(nèi)部存儲器核心空間裝載二進(jìn)制代碼的指令，將實(shí)現(xiàn)了新lookup操作的模塊植入內(nèi)存的核心空間中，使該分布式文件系統(tǒng)可以完成全路徑解析。

附圖說明

圖1是本發(fā)明實(shí)施例提供的分布式文件系統(tǒng)的調(diào)度系統(tǒng)結(jié)構(gòu)示意圖；

圖中：1、群負(fù)載信息獲取模塊；2、確定調(diào)度策略模塊；3、數(shù)據(jù)存儲模塊；4、小文件存儲模塊；5、認(rèn)證模塊；6、路徑解析模塊；7、處理器。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合實(shí)施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

下面結(jié)合附圖對本發(fā)明的應(yīng)用原理作詳細(xì)的描述。

如圖1所示，本發(fā)明實(shí)施例提供的分布式文件系統(tǒng)的調(diào)度系統(tǒng)包括：群負(fù)載信息獲取模塊1、確定調(diào)度策略模塊2、數(shù)據(jù)存儲模塊3、小文件存儲模塊4、認(rèn)證模塊5、路徑解析模塊6、處理器7。

集群負(fù)載信息獲取模塊1，用于按照預(yù)設(shè)的時間周期定期獲取所述分布式文件系統(tǒng)的集群負(fù)載信息；

確定調(diào)度策略模塊2，用于根據(jù)查詢語句構(gòu)建查詢計劃樹、確定查詢種類和需要查詢的數(shù)據(jù)表，并根據(jù)查詢種類確定最終調(diào)度策略；根據(jù)所述的最終調(diào)度策略，為所述查詢計劃樹中各個結(jié)點(diǎn)選擇執(zhí)行節(jié)點(diǎn)以完成并行查詢執(zhí)行調(diào)度；

數(shù)據(jù)存儲模塊3，用于將分布式文件系統(tǒng)客戶端聚類成為虛擬資源池，且建立了存儲單元與虛擬資源池的映射關(guān)系，存儲單元與其對應(yīng)的虛擬資源池中存儲相同的數(shù)據(jù)，使得在虛擬資源池上線時，可以由虛擬資源池為分布式文件系統(tǒng)客戶端提供服務(wù)，僅以可以使與其對應(yīng)的存儲單元處于休眠狀態(tài)，充分利用了各個客戶端的存儲能力，且能夠達(dá)到降低存儲設(shè)備能耗的作用。

小文件存儲模塊4，用于通過建立相應(yīng)的本地索引和小文件處理機(jī)制，來有效地完成小文件的合并、映射、預(yù)取，在寫入或讀取文件之前，先判斷該文件是否是小文件，如果是，則先交給小文件服務(wù)器處理，否則直接交給原h(huán)dfs系統(tǒng)處理。達(dá)到減輕名字節(jié)點(diǎn)namenode的負(fù)擔(dān)、海量小文件存儲訪問效率高的目的，同時保證了系統(tǒng)的通用性。

認(rèn)證模塊5，用于在分布式文件系統(tǒng)中部署ldap(lightweightdirectoryaccessprotocol輕量級目錄訪問協(xié)議)服務(wù)器和cas(centralauthenticationservice中心認(rèn)證服務(wù))服務(wù)器，使cas服務(wù)器和ldap服務(wù)器能夠雙向讀取和存儲數(shù)據(jù)；用戶通過web應(yīng)用服務(wù)進(jìn)程訪問分布式文件系統(tǒng)時，檢查該用戶的會話是否存在，如果不存在則重新定向到cas服務(wù)器端，檢查tgt(ticketgrantingticket用戶身份認(rèn)證憑證票據(jù))，若tgt不存在或者tgt錯誤則需要用戶重新登錄，用戶輸入了用戶名和密碼后，在ldap服務(wù)器進(jìn)行統(tǒng)一認(rèn)證單點(diǎn)登錄；ldap認(rèn)證完成后，cas返回給用戶合法的tgt和st(serviceticket服務(wù)許可憑證票據(jù))，根據(jù)用戶的當(dāng)前的web應(yīng)用服務(wù)進(jìn)程重新定向到分布式文件系統(tǒng)中。分布式文件系統(tǒng)接收到返回的st，還要由cas服務(wù)器認(rèn)證st的合法有效性，如果合法有效則確認(rèn)用戶可以訪問該分布式文件系統(tǒng)中資源；當(dāng)用戶獲得訪問分布式文件系統(tǒng)中一個業(yè)務(wù)系統(tǒng)的權(quán)限后，當(dāng)該用戶訪問其他業(yè)務(wù)系統(tǒng)的文件資源時，用戶訪問進(jìn)程只需提供st，被訪問的業(yè)務(wù)系統(tǒng)把接收到的st重定向到cas服務(wù)器，驗證合法性和是否過期，若st不存在或者st過期，則返回校驗tgt，如果tgt合法則cas重新授予用戶一張st。

路徑解析模塊6，用于通過對元數(shù)據(jù)服務(wù)器按照一定結(jié)構(gòu)進(jìn)行組織，并利用計算機(jī)系統(tǒng)提供的向內(nèi)部存儲器核心空間裝載二進(jìn)制代碼的指令，將實(shí)現(xiàn)了新lookup操作的模塊植入內(nèi)存的核心空間中，使該分布式文件系統(tǒng)可以完成全路徑解析。

處理器7，與確定調(diào)度策略模塊2、數(shù)據(jù)存儲模塊3、小文件存儲模塊4、認(rèn)證模塊5、路徑解析模塊6連接，用于實(shí)現(xiàn)確定調(diào)度策略模塊2、數(shù)據(jù)存儲模塊3、小文件存儲模塊4、認(rèn)證模塊5、路徑解析模塊6傳輸信息的處理。

所述集群負(fù)載信息獲取模塊對跳頻混合信號時頻域矩陣進(jìn)行預(yù)處理，具體包括如下兩步：

第一步，對進(jìn)行去低能量預(yù)處理，即在每一采樣時刻p，將幅值小于門限ε的值置0，得到門限ε的設(shè)定可根據(jù)接收信號的平均能量來確定；

第二步，找出p時刻(p＝0，1，2，…p-1)非零的時頻域數(shù)據(jù)，用表示，其中表示p時刻時頻響應(yīng)非0時對應(yīng)的頻率索引，對這些非零數(shù)據(jù)歸一化預(yù)處理，得到預(yù)處理后的向量b(p，q)＝[b1(p，q)，b2(p，q)，…，bm(p，q)]^t，其中：

所述處理器對m路離散時域混合信號進(jìn)行重疊加窗短時傅里葉變換，得到m個混合信號的時頻域矩陣p＝0，1，…，p-1，q＝0，1，…，nfft-1，其中p表示總的窗數(shù)，nfft表示fft變換長度；

(p，q)表示時頻索引，具體的時頻值為這里nfft表示fft變換的長度，p表示加窗次數(shù)，ts表示采樣間隔，fs表示采樣頻率，c為整數(shù)，表示短時傅里葉變換加窗間隔的采樣點(diǎn)數(shù)，c＜nfft，且kc＝nfft/c為整數(shù)，也就是說采用的是重疊加窗的短時傅里葉變換。

路徑解析模塊6具體包括：

1)首先構(gòu)造一個全路徑名解析的二進(jìn)制模塊；

2)用計算機(jī)系統(tǒng)提供的向內(nèi)部存儲器核心空間裝載二進(jìn)制代碼的指令將具有全路徑解析功能的模塊植入客戶端計算機(jī)系統(tǒng)內(nèi)部存儲器的核心空間；

3)用該模塊中具有全路徑名解析功能的函數(shù)替換原操作系統(tǒng)中的路徑名解析函數(shù)，在全路徑名解析函數(shù)中，對于沒有提供全路徑名解析的文件系統(tǒng)，仍按原函數(shù)的流程執(zhí)行；

4)對于提供全路徑名解析的分布式文件系統(tǒng)，獲取需要解析的文件的全路徑名，作為參數(shù)提供給分布式文件系統(tǒng)的客戶端核心模塊；

5)分布式文件系統(tǒng)的客戶端核心模塊將路徑解析請求和全路徑名發(fā)給服務(wù)器進(jìn)行處理，并對服務(wù)器返回解析的結(jié)果進(jìn)行處理；

6)在分布式文件系統(tǒng)服務(wù)器端，相應(yīng)地提供全路徑名解析的函數(shù)，可以使用全路徑名查找文件并返回結(jié)果，提供本方法適用于所有基于客戶一服務(wù)器模型的分布式文件系統(tǒng)。

以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。