一種文件處理方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001 ]本申請涉及計算機(jī)存儲技術(shù)領(lǐng)域，尤其涉及一種文件處理方法及裝置。
【背景技術(shù)】
[0002] 通常，存儲服務(wù)器的功耗很大，一個存儲服務(wù)器可以達(dá)到700~800瓦，對于比較大 的分布式文件系統(tǒng)而言，其耗電量是非?？捎^的。同時，在視頻監(jiān)控等諸多應(yīng)用領(lǐng)域，用戶 進(jìn)行數(shù)據(jù)訪問通常具有以下特點:數(shù)據(jù)量非常大、需要很多存儲服務(wù)器、數(shù)據(jù)寫入后訪問頻 率非常低。對于這些應(yīng)用，如果系統(tǒng)內(nèi)所有服務(wù)器都處于運行狀態(tài)，耗電量會非常大，導(dǎo)致 不小的經(jīng)濟(jì)開銷，甚至有些機(jī)房供電可能無法滿足系統(tǒng)運行要求。
[0003] 現(xiàn)有技術(shù)不足在于：
[0004] 目前，分布式文件系統(tǒng)耗電量較大。

【發(fā)明內(nèi)容】

[0005] 本申請實施例提出了一種文件處理方法及裝置，以解決現(xiàn)有技術(shù)中分布式文件系 統(tǒng)耗電量較大的技術(shù)問題。
[0006] 本申請實施例提供了一種文件處理方法，包括如下步驟：
[0007] 將分布式文件系統(tǒng)的數(shù)據(jù)節(jié)點按照預(yù)設(shè)分區(qū)策略劃分成若干分區(qū);所述分區(qū)包括 常駐服務(wù)分區(qū)、當(dāng)前服務(wù)分區(qū)和若干處于節(jié)能狀態(tài)的關(guān)閉分區(qū)；所述常駐服務(wù)分區(qū)和所述 當(dāng)前服務(wù)分區(qū)處于運行狀態(tài)；
[0008] 所述常駐服務(wù)分區(qū)用于存放訪問頻率超過預(yù)設(shè)訪問閾值的文件;在用戶訪問所述 文件時，所述常駐服務(wù)分區(qū)提供數(shù)據(jù)訪問服務(wù)；
[0009]在接收到用戶發(fā)送的新建文件請求時，將所述新建文件存儲至所述當(dāng)前服務(wù)分 區(qū)。
[0010] 本申請實施例提供了一種文件處理裝置，包括：
[0011] 分區(qū)模塊，用于將分布式文件系統(tǒng)的數(shù)據(jù)節(jié)點按照預(yù)設(shè)分區(qū)策略劃分成若干分 區(qū);所述分區(qū)包括常駐服務(wù)分區(qū)、當(dāng)前服務(wù)分區(qū)和若干處于節(jié)能狀態(tài)的關(guān)閉分區(qū)；所述常駐 服務(wù)分區(qū)和所述當(dāng)前服務(wù)分區(qū)處于運行狀態(tài);所述常駐服務(wù)分區(qū)用于存放訪問頻率超過預(yù) 設(shè)訪問閾值的文件；
[0012] 訪問模塊，用于在用戶訪問所述文件時，由所述常駐服務(wù)分區(qū)提供數(shù)據(jù)訪問服務(wù)；
[0013] 存儲模塊，用于在接收到用戶發(fā)送的新建文件請求時，將所述新建文件存儲至所 述當(dāng)前服務(wù)分區(qū)。
[0014] 有益效果如下：
[0015]本申請實施例所提供的文件處理方法及裝置，將數(shù)據(jù)節(jié)點按照預(yù)設(shè)分區(qū)策略劃分 成若干分區(qū)，其中包括處于運行狀態(tài)的常駐服務(wù)分區(qū)、處于運行狀態(tài)的當(dāng)前服務(wù)分區(qū)和若 干處于節(jié)能狀態(tài)的關(guān)閉分區(qū)，所述常駐服務(wù)分區(qū)用于存放訪問頻率超過預(yù)設(shè)訪問閾值的文 件，在用戶訪問這些文件時所述常駐服務(wù)分區(qū)即可快速提供數(shù)據(jù)訪問服務(wù)，在接收到用戶 發(fā)送的新建文件請求時，可以將所述新建文件存儲至所述當(dāng)前服務(wù)分區(qū)，由于本申請實施 例中除常駐服務(wù)分區(qū)和當(dāng)前服務(wù)分區(qū)處于運行狀態(tài)外，其他分區(qū)處于節(jié)能狀態(tài)，可以有效 減少耗電量，在不影響用戶正常使用的前提下，達(dá)到耗電量可控的目標(biāo)。
【附圖說明】
[0016] 下面將參照附圖描述本申請的具體實施例，其中：
[0017] 圖1示出了本申請實施例中文件處理方法實施的流程示意圖；
[0018] 圖2示出了本申請實施例中分區(qū)狀態(tài)機(jī)的狀態(tài)變化示意圖；
[0019] 圖3示出了本申請實施例中系統(tǒng)框架結(jié)構(gòu)示意圖；
[0020] 圖4示出了本申請實施例中文件處理裝置的結(jié)構(gòu)示意圖。
【具體實施方式】
[0021] 為了使本申請的技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖對本申請的示例性 實施例進(jìn)行進(jìn)一步詳細(xì)的說明，顯然，所描述的實施例僅是本申請的一部分實施例，而不是 所有實施例的窮舉。并且在不沖突的情況下，本說明中的實施例及實施例中的特征可以互 相結(jié)合。
[0022] 針對現(xiàn)有技術(shù)的不足/基于此，本申請實施例提出了一種文件處理方法及裝置，下 面進(jìn)行說明。
[0023]圖1示出了本申請實施例中文件處理方法實施的流程示意圖，如圖所示，所述文件 處理方法可以包括如下步驟：
[0024] 步驟101、將分布式文件系統(tǒng)的數(shù)據(jù)節(jié)點按照預(yù)設(shè)分區(qū)策略劃分成若干分區(qū);所述 分區(qū)包括常駐服務(wù)分區(qū)、當(dāng)前服務(wù)分區(qū)和若干處于節(jié)能狀態(tài)的關(guān)閉分區(qū)；所述常駐服務(wù)分 區(qū)和所述當(dāng)前服務(wù)分區(qū)處于運行狀態(tài)；
[0025] 步驟102、所述常駐服務(wù)分區(qū)用于存放訪問頻率超過預(yù)設(shè)訪問閾值的文件;在用戶 訪問所述文件時，所述常駐服務(wù)分區(qū)提供數(shù)據(jù)訪問服務(wù)；
[0026] 步驟103、在接收到用戶發(fā)送的新建文件請求時，將所述新建文件存儲至所述當(dāng)前 服務(wù)分區(qū)。
[0027] 本申請實施例中，可以將分布式文件系統(tǒng)的數(shù)據(jù)節(jié)點按照預(yù)設(shè)分區(qū)策略劃分成若 干分區(qū)，所述分區(qū)包括常駐服務(wù)分區(qū)、當(dāng)前服務(wù)分區(qū)和若干處于節(jié)能狀態(tài)的關(guān)閉分區(qū)；所述 常駐服務(wù)分區(qū)和所述當(dāng)前服務(wù)分區(qū)處于運行狀態(tài);例如:假設(shè)分布式文件系統(tǒng)包括數(shù)據(jù)節(jié) 點1~100,其中，所述數(shù)據(jù)節(jié)點1~10可以劃分為常駐服務(wù)分區(qū)，用來存放經(jīng)常被訪問的文 件;所述數(shù)據(jù)節(jié)點11~20可以劃分為當(dāng)前服務(wù)分區(qū)，用來存放用戶新建的文件;其余數(shù)據(jù)節(jié) 點可以劃分為關(guān)閉分區(qū)，用于存儲其他文件，例如，不經(jīng)常被訪問的文件等。
[0028] 具體實施中，用戶可以根據(jù)實際使用習(xí)慣或?qū)嶋H需求設(shè)定分區(qū)策略，指定某個目 錄下的所有文件放到常駐服務(wù)分區(qū)，從而實現(xiàn)將經(jīng)常訪問的文件存放到常駐服務(wù)分區(qū)的目 的。
[0029] 由于所述常駐服務(wù)分區(qū)中存放有訪問頻率超過預(yù)設(shè)訪問閾值的文件，因此，在用 戶訪問這些文件時，所述常駐服務(wù)分區(qū)可以快速的提供數(shù)據(jù)訪問服務(wù)。系統(tǒng)在接收到用戶 發(fā)送的新建文件請求時，將所述新建文件存儲至所述當(dāng)前服務(wù)分區(qū)。
[0030] 本申請實施例所提供的文件處理方法，將分布式文件系統(tǒng)的數(shù)據(jù)節(jié)點按照預(yù)設(shè)分 區(qū)策略劃分成處于運行狀態(tài)的常駐服務(wù)分區(qū)、處于運行狀態(tài)的當(dāng)前服務(wù)分區(qū)和若干處于節(jié) 能狀態(tài)的關(guān)閉分區(qū)；由于本申請實施例中除常駐服務(wù)分區(qū)和當(dāng)前服務(wù)分區(qū)處于運行狀態(tài) 外，其他分區(qū)均可以處于節(jié)能狀態(tài)，可以有效減少耗電量，在不影響用戶正常使用的前提 下，達(dá)到耗電量可控的目標(biāo)。
[0031] 實施中，所述方法可以進(jìn)一步包括：
[0032] 在所述當(dāng)前服務(wù)分區(qū)的空間使用率超過第一閾值時，從所述關(guān)閉分區(qū)中選出等待 分區(qū)，所述等待分區(qū)為等待作為下一個當(dāng)前服務(wù)分區(qū)提供服務(wù)的分區(qū)。
[0033] 具體實施時，所述當(dāng)前服務(wù)分區(qū)所存放的數(shù)據(jù)量會越來越大，當(dāng)所述數(shù)據(jù)量超過 一定數(shù)量時，用戶的存放效率可能會有所下降。為了更好的為用戶提供服務(wù)，本申請實施例 可以在所述當(dāng)前服務(wù)分區(qū)的空間使用率超過第一閾值(假設(shè)為80%)時，從所述關(guān)閉分區(qū)中 選出一個分區(qū)作為等待分區(qū)，用于等待作為下一個當(dāng)前服務(wù)分區(qū)提供服務(wù)。
[0034] 本申請實施例為了達(dá)到對用戶訪問的無縫切換，在所述當(dāng)前服務(wù)分區(qū)的空間使用 率達(dá)到第一閾值時便從所述關(guān)閉分區(qū)中挑選等待分區(qū)來準(zhǔn)備為用戶提供服務(wù)。
[0035]實施中，所述方法可以進(jìn)一步包括：
[0036] 在所述當(dāng)前服務(wù)分區(qū)的空間使用率超過第二閾值時，將所述等待分區(qū)轉(zhuǎn)換為當(dāng)前 服務(wù)分區(qū)，將所述當(dāng)前服務(wù)分區(qū)轉(zhuǎn)換為切換分區(qū)并在所有數(shù)據(jù)安全刷回后轉(zhuǎn)換為節(jié)能狀 ??τ 〇
[0037] 具體實施中，假設(shè)預(yù)先設(shè)置當(dāng)前服務(wù)分區(qū)的切換的閾值，即第二閾值，為85%，那 么，當(dāng)所述當(dāng)前服務(wù)分區(qū)的空間使用率超過85%時，系統(tǒng)可以將所述等待分區(qū)轉(zhuǎn)換為當(dāng)前 服務(wù)分區(qū)，將所述當(dāng)前服務(wù)分區(qū)轉(zhuǎn)換為切換分區(qū)并在所有數(shù)據(jù)安全刷回后關(guān)閉節(jié)能。
[0038] 由于關(guān)閉分區(qū)處于節(jié)能狀態(tài)，可能很久不會被訪問，經(jīng)過較長時間后會導(dǎo)致數(shù)據(jù) 損壞，因此，本申請實施例還可以采用如下方式實施。
[0039]實施中，所述方法可以進(jìn)一步包括：
[0040] 從所述關(guān)閉分區(qū)中選出巡檢分區(qū)，對所述巡檢分區(qū)進(jìn)行數(shù)據(jù)檢查。
[0041] 為了防止數(shù)據(jù)靜默損壞，本申請實施例可以定期從關(guān)閉分區(qū)中選出巡檢分區(qū)，對 所述巡檢分區(qū)中的數(shù)據(jù)進(jìn)行檢查。
[0042]實施中，所述方法可以進(jìn)一步包括：
[0043]當(dāng)用戶訪問所述關(guān)閉分區(qū)上的數(shù)據(jù)時，將所述關(guān)閉分區(qū)轉(zhuǎn)換為臨時服務(wù)分區(qū)，所 述臨時服務(wù)分區(qū)為臨時從節(jié)能狀態(tài)轉(zhuǎn)為運行狀態(tài)并提供數(shù)據(jù)訪問服務(wù)的分區(qū)。
[0044] 具體實施中，雖然所述關(guān)閉分區(qū)上存儲的大多為不經(jīng)常被訪問的文件，但依然存 在被訪問的可能性。當(dāng)用戶訪問所述關(guān)閉分區(qū)上的文件時，系統(tǒng)可以將所述關(guān)閉分區(qū)啟動， 從節(jié)能狀態(tài)臨時轉(zhuǎn)換為運行狀態(tài)，為所述用戶提供數(shù)據(jù)訪問服務(wù)，在訪問服務(wù)結(jié)束后再轉(zhuǎn) 為節(jié)能狀態(tài)。
[0045] 為了便于本申請的實施，下面以實例進(jìn)行說明。
[0046] 本申請實施例將分布式文件系統(tǒng)的節(jié)點進(jìn)行分區(qū)管理，分區(qū)狀態(tài)可以包括:常駐 服務(wù)分區(qū)、當(dāng)前服務(wù)分區(qū)、切換分區(qū)、等待分區(qū)、關(guān)閉分區(qū)、巡檢分許、臨時服務(wù)分區(qū)等。
[0047] 分布式文件系統(tǒng)可以指定分區(qū)策略，將滿足一定特性的文件存放到特定分區(qū)，利 用這種方式將經(jīng)常訪問的數(shù)據(jù)鎖定到常駐服務(wù)分區(qū)，常駐服務(wù)分區(qū)可以一直處于活躍狀 態(tài);將寫入后訪問頻率較低的數(shù)據(jù)存放到系統(tǒng)其他分區(qū)；
[0048] 新創(chuàng)建文件可以存放到當(dāng)前服務(wù)分區(qū)；
[0049] 在當(dāng)前服務(wù)分區(qū)使用空間達(dá)到一定閾值時，例如達(dá)到80 %，則可以選擇一個等待 分區(qū)，等待作為下一個當(dāng)前服務(wù)分區(qū)提供服務(wù)；
[0050] 在當(dāng)前服務(wù)分區(qū)使用空間達(dá)到一定閾值時，例如達(dá)到85%，則可以將其轉(zhuǎn)換為切 換分區(qū)，等待節(jié)點上所有數(shù)據(jù)都安全刷回之后關(guān)閉節(jié)能。
[0051] 為了防止數(shù)據(jù)靜默損壞，可以定期選擇一個關(guān)閉分區(qū)進(jìn)行巡檢；當(dāng)用戶訪問關(guān)閉 分區(qū)上的數(shù)據(jù)時，可以將相應(yīng)節(jié)點啟動，分區(qū)進(jìn)入臨時服務(wù)狀態(tài)。
[0052] 圖2示出了本申請實施例中分區(qū)狀態(tài)機(jī)的狀態(tài)變化示意圖，如圖所示，所述狀態(tài)機(jī) 線上標(biāo)號代表不同的事件，具體可以為下表所示：
[0053]
[0054]下面結(jié)合圖2進(jìn)行說明狀態(tài)機(jī)的變化。
[0055] 1、當(dāng)前服務(wù)分區(qū)的使用空間達(dá)到切換比例時，轉(zhuǎn)換為切換分區(qū)；
[0056] 2、切換分區(qū)的客戶端緩存數(shù)據(jù)全部刷回、修復(fù)工作全部完成時，轉(zhuǎn)換為關(guān)閉分區(qū)， 關(guān)閉節(jié)能；
[0057] 3、服務(wù)分區(qū)使用空間達(dá)