集群文件系統(tǒng)的數(shù)據(jù)處理方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種集群文件系統(tǒng)的數(shù)據(jù)處理方法和裝置。
【背景技術(shù)】
[0002]近年來(lái)，集群文件系統(tǒng)已經(jīng)成為計(jì)算機(jī)技術(shù)發(fā)展的新趨勢(shì)。集群文件系統(tǒng)通過(guò)將多個(gè)單一獨(dú)立的主機(jī)有機(jī)的結(jié)合串聯(lián)成一個(gè)系統(tǒng)性的整體，并依托存儲(chǔ)區(qū)域網(wǎng)絡(luò)，對(duì)外提供一個(gè)大容量文件系統(tǒng)的共享存儲(chǔ)應(yīng)用，如CIFS。實(shí)現(xiàn)了存儲(chǔ)區(qū)域網(wǎng)絡(luò)內(nèi)的多并發(fā)用戶操作和大數(shù)據(jù)傳輸。
[0003]雖然如此，集群節(jié)點(diǎn)的增加同時(shí)也增加了節(jié)點(diǎn)宕機(jī)或服務(wù)故障的可能性。比如，當(dāng)客戶機(jī)在向集群中讀寫(xiě)一個(gè)較大文件時(shí)，如果受理該讀寫(xiě)請(qǐng)求的服務(wù)節(jié)點(diǎn)故障，即使服務(wù)能及時(shí)切換到其他節(jié)點(diǎn)，由于其他節(jié)點(diǎn)的內(nèi)存中并沒(méi)有數(shù)據(jù)緩存，那么客戶機(jī)的讀寫(xiě)操作還是會(huì)中斷。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的主要目的在于提供一種集群文件系統(tǒng)的數(shù)據(jù)處理方法和裝置，旨在解決由于集群服務(wù)節(jié)點(diǎn)故障，使客戶端讀寫(xiě)操作中斷的技術(shù)問(wèn)題。
[0005]為實(shí)現(xiàn)上述目的，本發(fā)明提供的一種集群文件系統(tǒng)的數(shù)據(jù)處理裝置，所述集群文件系統(tǒng)的數(shù)據(jù)處理裝置包括:
[0006]存儲(chǔ)模塊，用于在存儲(chǔ)節(jié)點(diǎn)接收到文件讀取或?qū)懭胝?qǐng)求，且所述存儲(chǔ)模塊所在的存儲(chǔ)節(jié)點(diǎn)為主存儲(chǔ)節(jié)點(diǎn)時(shí)，將所述讀取或?qū)懭胝?qǐng)求中的請(qǐng)求信息存入其緩存區(qū)；
[0007]同步模塊，用于將所述請(qǐng)求信息同步至集群文件系統(tǒng)中的從存儲(chǔ)節(jié)點(diǎn)；
[0008]數(shù)據(jù)處理模塊，用于根據(jù)所述讀取請(qǐng)求以及所述緩存區(qū)中的請(qǐng)求信息讀取其存儲(chǔ)區(qū)中的數(shù)據(jù)，或者根據(jù)所述寫(xiě)入請(qǐng)求以及所述緩存區(qū)中的請(qǐng)求信息向其存儲(chǔ)區(qū)中寫(xiě)入數(shù)據(jù)。
[0009]可選地，所述集群文件系統(tǒng)的數(shù)據(jù)處理裝置包括:
[0010]檢測(cè)模塊，用于接收服務(wù)請(qǐng)求時(shí)，檢測(cè)所述服務(wù)請(qǐng)求的類(lèi)型；
[0011]判斷模塊，用于判斷所述服務(wù)請(qǐng)求是否為讀取或?qū)懭胝?qǐng)求；
[0012]響應(yīng)模塊，用于若所述服務(wù)請(qǐng)求不是讀取或?qū)懭胝?qǐng)求，則響應(yīng)所述服務(wù)請(qǐng)求。
[0013]可選地，所述集群文件系統(tǒng)的數(shù)據(jù)處理裝置還包括:
[0014]確定模塊，用于在接收到文件讀取或?qū)懭胝?qǐng)求時(shí)，確定所述讀取或?qū)懭胝?qǐng)求對(duì)應(yīng)的數(shù)據(jù)是否需要驗(yàn)證；
[0015]獲取模塊，用于在所述讀取或?qū)懭胝?qǐng)求對(duì)應(yīng)的數(shù)據(jù)需要驗(yàn)證時(shí)，獲取用戶輸入的驗(yàn)證信息；
[0016]所述數(shù)據(jù)處理模塊，還用于在所述驗(yàn)證信息與預(yù)存的驗(yàn)證信息匹配時(shí)，根據(jù)所述讀取請(qǐng)求以及所述緩存區(qū)中的請(qǐng)求信息讀取其存儲(chǔ)區(qū)中的數(shù)據(jù)，或者根據(jù)所述寫(xiě)入請(qǐng)求以及所述緩存區(qū)中的請(qǐng)求信息向其存儲(chǔ)區(qū)中寫(xiě)入數(shù)據(jù)。
[0017]可選地，所述集群文件系統(tǒng)的數(shù)據(jù)處理裝置還包括:
[0018]所述檢測(cè)模塊，還用于檢測(cè)鏈路連接狀態(tài)和運(yùn)行狀態(tài)；
[0019]切換模塊，用于在檢測(cè)到鏈路連接故障或運(yùn)行故障時(shí)，在處于正常工作狀態(tài)的從存儲(chǔ)節(jié)點(diǎn)中選取主存儲(chǔ)節(jié)點(diǎn)，將選取的所述從存儲(chǔ)節(jié)點(diǎn)的地址標(biāo)記為主存儲(chǔ)節(jié)點(diǎn)地址；
[0020]更新模塊，用于將標(biāo)記的所述主存儲(chǔ)節(jié)點(diǎn)地址發(fā)送至控制節(jié)點(diǎn)以及選取的所述從存儲(chǔ)節(jié)點(diǎn)，其中，所述控制節(jié)點(diǎn)采用接收到的所述主存儲(chǔ)節(jié)點(diǎn)地址更新保存的所述主存儲(chǔ)節(jié)點(diǎn)地址，且選取的所述存儲(chǔ)節(jié)點(diǎn)接收到所述主存儲(chǔ)節(jié)點(diǎn)地址時(shí)，將工作狀態(tài)切換為主存儲(chǔ)節(jié)點(diǎn)狀態(tài)。
[0021 ]可選地，所述檢測(cè)模塊包括:
[0022]鏈路檢測(cè)單元，用于定時(shí)向所述控制節(jié)點(diǎn)發(fā)送第一檢測(cè)數(shù)據(jù)包以及接收所述控制節(jié)點(diǎn)基于所述檢測(cè)數(shù)據(jù)包反饋的第二響應(yīng)數(shù)據(jù)包；
[0023]讀寫(xiě)檢測(cè)單元，用于在預(yù)設(shè)時(shí)間間隔內(nèi)接收到所述響應(yīng)數(shù)據(jù)包時(shí)，判斷讀取以及寫(xiě)入是否正常；
[0024]判定單元，用于在讀取以及寫(xiě)入正常時(shí)，判定運(yùn)行正常，在讀取以及寫(xiě)入異常時(shí)，判定運(yùn)行故障，以及在預(yù)設(shè)時(shí)間間隔內(nèi)未接收到所述響應(yīng)數(shù)據(jù)包時(shí)，判定所述鏈路連接故障。
[0025]本發(fā)明進(jìn)一步提供一種集群文件系統(tǒng)的數(shù)據(jù)處理方法，所述集群文件系統(tǒng)的數(shù)據(jù)處理方法包括:
[0026]在存儲(chǔ)節(jié)點(diǎn)接收到文件讀取或?qū)懭胝?qǐng)求，且所述存儲(chǔ)節(jié)點(diǎn)為主存儲(chǔ)節(jié)點(diǎn)時(shí)，所述存儲(chǔ)節(jié)點(diǎn)根據(jù)所述讀取請(qǐng)求以及所述緩存區(qū)中的請(qǐng)求信息讀取其存儲(chǔ)區(qū)中的數(shù)據(jù)，或者根據(jù)所述寫(xiě)入請(qǐng)求以及所述緩存區(qū)中的請(qǐng)求信息向其存儲(chǔ)區(qū)中寫(xiě)入數(shù)據(jù)；
[0027]所述存儲(chǔ)節(jié)點(diǎn)將所述讀取或?qū)懭胝?qǐng)求中的請(qǐng)求信息存入其緩存區(qū)；
[0028]所述存儲(chǔ)節(jié)點(diǎn)將所述請(qǐng)求信息同步至集群文件系統(tǒng)中的從存儲(chǔ)節(jié)點(diǎn)。
[0029]可選地，所述存儲(chǔ)節(jié)點(diǎn)將所述讀取或?qū)懭胝?qǐng)求中的請(qǐng)求信息存入其緩存區(qū)的步驟之前還包括:
[0030]在所述存儲(chǔ)節(jié)點(diǎn)接收服務(wù)請(qǐng)求時(shí)，檢測(cè)所述服務(wù)請(qǐng)求的類(lèi)型；
[0031]判斷所述服務(wù)請(qǐng)求是否為讀取或?qū)懭胝?qǐng)求；
[0032]若所述服務(wù)請(qǐng)求為讀取或?qū)懭胝?qǐng)求，則執(zhí)行所述將所述讀取或?qū)懭敕?wù)請(qǐng)求中的請(qǐng)求息存入其緩存區(qū)的步驟；
[0033]所述判斷所述服務(wù)請(qǐng)求是否為讀取或?qū)懭胝?qǐng)求的步驟之后，所述集群文件系統(tǒng)的數(shù)據(jù)處理方法還包括:
[0034]若所述服務(wù)請(qǐng)求不是讀取或?qū)懭胝?qǐng)求，則響應(yīng)所述服務(wù)請(qǐng)求。
[0035]可選地，所述存儲(chǔ)節(jié)點(diǎn)根據(jù)所述讀取請(qǐng)求以及所述緩存區(qū)中的請(qǐng)求信息讀取其存儲(chǔ)區(qū)中的數(shù)據(jù)，或者根據(jù)所述寫(xiě)入請(qǐng)求以及所述緩存區(qū)中的請(qǐng)求信息向其存儲(chǔ)區(qū)中寫(xiě)入數(shù)據(jù)的步驟之前，所述集群文件系統(tǒng)的數(shù)據(jù)處理方法還包括步驟:
[0036]所述存儲(chǔ)節(jié)點(diǎn)確定所述讀取或?qū)懭胝?qǐng)求對(duì)應(yīng)的數(shù)據(jù)是否需要驗(yàn)證；
[0037]在所述讀取或?qū)懭胝?qǐng)求對(duì)應(yīng)的數(shù)據(jù)需要驗(yàn)證時(shí)，所述存儲(chǔ)節(jié)點(diǎn)獲取用戶輸入的驗(yàn)證信息；
[0038]在所述驗(yàn)證信息與預(yù)存的驗(yàn)證信息匹配時(shí)，執(zhí)行所述存儲(chǔ)節(jié)點(diǎn)根據(jù)所述讀取請(qǐng)求以及所述緩存區(qū)中的請(qǐng)求信息讀取其存儲(chǔ)區(qū)中的數(shù)據(jù)，或者根據(jù)所述寫(xiě)入請(qǐng)求以及所述緩存區(qū)中的請(qǐng)求信息向其存儲(chǔ)區(qū)中寫(xiě)入數(shù)據(jù)的步驟。
[0039]可選地，所述集群文件系統(tǒng)的數(shù)據(jù)處理方法還包括:
[0040]在所述存儲(chǔ)節(jié)點(diǎn)為主存儲(chǔ)節(jié)點(diǎn)時(shí)，所述存儲(chǔ)節(jié)點(diǎn)檢測(cè)其鏈路連接狀態(tài)和所述存儲(chǔ)節(jié)點(diǎn)的運(yùn)行狀態(tài)；
[0041 ]在所述獲取存儲(chǔ)節(jié)點(diǎn)實(shí)時(shí)檢測(cè)到其鏈路連接故障或所述存儲(chǔ)節(jié)點(diǎn)運(yùn)行故障時(shí)，所述存儲(chǔ)節(jié)點(diǎn)在處于正常工作狀態(tài)的從存儲(chǔ)節(jié)點(diǎn)中選取主存儲(chǔ)節(jié)點(diǎn)，將選取的所述從存儲(chǔ)節(jié)點(diǎn)的地址標(biāo)記為主存儲(chǔ)節(jié)點(diǎn)地址；
[0042]將標(biāo)記的所述主節(jié)點(diǎn)地址發(fā)送至控制節(jié)點(diǎn)以及選取的所述從存儲(chǔ)節(jié)點(diǎn)，其中，所述控制節(jié)點(diǎn)采用接收到的所述主節(jié)點(diǎn)地址更新保存的所述主節(jié)點(diǎn)地址，且選取的所述存儲(chǔ)節(jié)點(diǎn)接收到所述主節(jié)點(diǎn)地址時(shí)，將工作狀態(tài)切換為主存儲(chǔ)節(jié)點(diǎn)狀態(tài)。
[0043]可選地，所述存儲(chǔ)節(jié)點(diǎn)檢測(cè)其鏈路連接狀態(tài)和所述存儲(chǔ)節(jié)點(diǎn)的運(yùn)行狀態(tài)的步驟包括:
[0044]所述存儲(chǔ)節(jié)點(diǎn)定時(shí)向所述控制節(jié)點(diǎn)發(fā)送第一檢測(cè)數(shù)據(jù)包；
[0045]接收所述控制節(jié)點(diǎn)基于所述檢測(cè)數(shù)據(jù)包反饋的第二響應(yīng)數(shù)據(jù)包:
[0046]在預(yù)設(shè)時(shí)間間隔內(nèi)接收到所述響應(yīng)數(shù)據(jù)包時(shí)，判斷所述存儲(chǔ)節(jié)點(diǎn)的讀取以及寫(xiě)入是否正常；
[0047]在所述存儲(chǔ)節(jié)點(diǎn)的讀取以及寫(xiě)入正常時(shí)，判定所述存儲(chǔ)節(jié)點(diǎn)運(yùn)行正常，在所述存儲(chǔ)節(jié)點(diǎn)的讀取以及寫(xiě)入異常時(shí)，判定所述存儲(chǔ)節(jié)點(diǎn)運(yùn)行故障；
[0048]在預(yù)設(shè)時(shí)間間隔內(nèi)未接收到所述響應(yīng)數(shù)據(jù)包時(shí)，判定所述存儲(chǔ)節(jié)點(diǎn)的鏈路連接故障。
[0049]本發(fā)明提出的集群文件系統(tǒng)的數(shù)據(jù)處理方法和裝置，在存儲(chǔ)節(jié)點(diǎn)接收到文件讀取或?qū)懭胝?qǐng)求，且所述存儲(chǔ)節(jié)點(diǎn)為主存儲(chǔ)節(jié)點(diǎn)時(shí)，所述存儲(chǔ)節(jié)點(diǎn)根據(jù)所述讀取請(qǐng)求以及所述緩存區(qū)中的請(qǐng)求信息讀取其存儲(chǔ)區(qū)中的數(shù)據(jù)，或者根據(jù)所述寫(xiě)入請(qǐng)求以及所述緩存區(qū)中的請(qǐng)求信息向其存儲(chǔ)區(qū)中寫(xiě)入數(shù)據(jù)，所述存儲(chǔ)節(jié)點(diǎn)將所述讀取或?qū)懭胝?qǐng)求中的請(qǐng)求信息存入其緩存區(qū)，所述存儲(chǔ)節(jié)點(diǎn)將所述請(qǐng)求信息同步至集群文件系統(tǒng)中的從存儲(chǔ)節(jié)點(diǎn)，在主存儲(chǔ)節(jié)點(diǎn)故障后，從存儲(chǔ)節(jié)點(diǎn)可根據(jù)其緩存區(qū)內(nèi)的服務(wù)請(qǐng)求信息無(wú)間斷的接管客戶端的讀取或?qū)懭脒M(jìn)程，保證集群文件系統(tǒng)服務(wù)的穩(wěn)定性。
【附圖說(shuō)明】
[0050]圖1為本發(fā)明集群文件系統(tǒng)的數(shù)據(jù)處理裝置第一實(shí)施例的功能模塊示意圖；
[0051]圖2為本發(fā)明集群文件系統(tǒng)的數(shù)據(jù)處理裝置處理讀寫(xiě)外其他服務(wù)時(shí)的功能模塊示意圖；
[0052]圖3為本發(fā)明集群文件系統(tǒng)的數(shù)據(jù)處理裝置第二實(shí)施例的功能模塊示意圖；
[0053]圖4為圖3中檢測(cè)模塊的細(xì)化功能模塊示意圖；
[0054]圖5為本發(fā)明集群文件系統(tǒng)的數(shù)據(jù)處理裝置第三實(shí)施例的功能模塊示意圖；
[0055]圖6為本發(fā)明集群文件系統(tǒng)的數(shù)據(jù)處理方法第一實(shí)施例的流程示意圖；
[0056]圖7為本發(fā)明集群文件系統(tǒng)的數(shù)據(jù)處理方法處理數(shù)據(jù)讀寫(xiě)外其他服務(wù)時(shí)的流程示意圖；
[0057]圖8為本發(fā)明集群文件系統(tǒng)的數(shù)據(jù)處理方法第二實(shí)施例的流程示意圖；
[0058]圖9為圖8中主存儲(chǔ)節(jié)點(diǎn)檢測(cè)鏈路連接狀態(tài)和運(yùn)行狀態(tài)的細(xì)化流程示意圖；
[0059]圖10為本發(fā)明集群文件系統(tǒng)的數(shù)據(jù)處理方法第三實(shí)施例的流程示意圖。
[0060]本發(fā)明目的實(shí)現(xiàn)、功能特點(diǎn)及優(yōu)點(diǎn)將結(jié)合實(shí)施例，參照附圖做進(jìn)一步說(shuō)明。
【具體實(shí)施方式】
[0061]應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0062]本發(fā)明提供一種集群文件系統(tǒng)的數(shù)據(jù)處理裝置。
[0063]參照?qǐng)D1，圖1為本發(fā)明集群文件系統(tǒng)的數(shù)據(jù)處理裝置第一實(shí)施例的功能模塊示意圖。
[0064]需要強(qiáng)調(diào)的是，對(duì)本領(lǐng)域的技術(shù)人員來(lái)說(shuō)，圖1所示功能模塊圖僅僅是一個(gè)較佳實(shí)施例的示例圖，本領(lǐng)域的技術(shù)人員圍繞圖1所示的集群文件系統(tǒng)的數(shù)