一種云存儲客戶端及其高效數(shù)據(jù)訪問方法
【技術領域】
[0001]本申請涉及計算機存儲技術領域，具體涉及一種云存儲系統(tǒng)客戶端及其高效數(shù)據(jù)訪問方法。
【背景技術】
[0002]隨著信息化程度的不斷提高，全球數(shù)據(jù)日益膨脹。面對當前海量數(shù)據(jù)存儲需求，傳統(tǒng)的存儲系統(tǒng)在容量和性能的擴展上存在瓶頸。云存儲以其擴展性強、性價比高、容錯性好等優(yōu)勢得到了業(yè)界的廣泛認同。云存儲是通過集群應用、網(wǎng)格技術、分布式文件系統(tǒng)等，將網(wǎng)絡中大量類型各異的存儲設備整合起來，并對外提供數(shù)據(jù)存儲和業(yè)務訪問功能的系統(tǒng)。簡單來說，云存儲是對虛擬化存儲資源的管理和使用。云存儲是存儲領域一個新的概念，其目前已成為學術界和工業(yè)界的一個研宄熱點。
[0003]區(qū)別于傳統(tǒng)的存儲技術，云存儲提供了更好的可擴展性，當需增加存儲能力時，只需添加服務器即可實現(xiàn)，而不需要對存儲系統(tǒng)的結構進行重新設計；同時隨著存儲能力的增加，云存儲系統(tǒng)的性能不會下降。目前，云存儲的興起正在顛覆傳統(tǒng)的存儲系統(tǒng)架構，其正以良好的可擴展性、性價比和容錯性等優(yōu)勢得到業(yè)界的廣泛認同。
[0004]云存儲客戶端程序作為云存儲系統(tǒng)的結構模型中的訪問層，對外提供數(shù)據(jù)存儲和業(yè)務訪問功能。用戶可以將本地電腦的文件通過云存儲客戶端保存到云存儲服務器中，也可以通過客戶端提供的接口直接進行業(yè)務訪問。同時用戶隨時通過其它安裝有云存儲客戶端的電腦，快速地訪問和獲取屬于存儲于云端的文件。
[0005]在現(xiàn)有技術中，一種策略是，客戶端的每次操作請求都直接發(fā)送到服務端，這樣頻繁的對服務端的訪問會加大服務端的負擔，導致服務端響應慢。另外，對于文件的讀寫操作，一種策略是只從一臺存儲服務節(jié)點上讀取或寫數(shù)據(jù)，這樣會導致該臺存儲節(jié)點壓力過大，而其他存儲節(jié)點處于空閑中，即沒有充分利用網(wǎng)絡帶寬。

【發(fā)明內(nèi)容】

[0006]本申請?zhí)峁┝艘环N云存儲客戶端及其高效數(shù)據(jù)訪問方法，能夠提高云存儲系統(tǒng)的訪問能力，解決訪問云存儲服務端數(shù)據(jù)的響應速度慢，并發(fā)效率低，帶寬利用率低的缺陷。
[0007]本申請實施例提供的一種云存儲客戶端高效數(shù)據(jù)訪問方法，文件分為元數(shù)據(jù)和數(shù)據(jù)，其中元數(shù)據(jù)存儲在云服務端的元數(shù)據(jù)服務節(jié)點，數(shù)據(jù)存儲在云服務端的存儲服務節(jié)點，數(shù)據(jù)按照一定大小劃分為數(shù)據(jù)塊，允許同一文件不同數(shù)據(jù)塊并發(fā)訪問；該方法包括如下步驟:
[0008]A、客戶端根據(jù)用戶操作，生成文件訪問請求；
[0009]B、查詢所述文件訪問請求所要訪問文件的元數(shù)據(jù)在客戶端本地是否有相應緩存，若是，執(zhí)行步驟D，否則執(zhí)行步驟C ;
[0010]C、客戶端從云服務端元數(shù)據(jù)服務節(jié)點上下載元數(shù)據(jù)，更新客戶端本地的元數(shù)據(jù)緩存，并結束本流程；
[0011]D、從客戶端本地的元數(shù)據(jù)緩存中讀取對應的元數(shù)據(jù)信息。
[0012]較佳地，步驟D包括:將元數(shù)據(jù)操作緩存在隊列中，采用異步方式對元數(shù)據(jù)進行批量處理。
[0013]較佳地，步驟C或步驟D之后進一步包括:
[0014]判斷是否讀寫文件內(nèi)容，若是，并發(fā)向云服務端存儲服務節(jié)點讀寫數(shù)據(jù)。
[0015]較佳地，對于寫操作，根據(jù)預定的寫緩存大小緩存一定的數(shù)據(jù)，定時分塊并發(fā)傳送到相應的云服務端的存儲服務節(jié)點上。
[0016]較佳地，對于讀操作，根據(jù)預取的大小和預取的偏移量，決定到對應的云服務端存儲服務節(jié)點上預取部分數(shù)據(jù)。
[0017]本申請實施例還提供了一種云存儲客戶端，包括元數(shù)據(jù)緩存管理模塊、數(shù)據(jù)緩存及讀寫處理模塊和元數(shù)據(jù)批量處理模塊；
[0018]元數(shù)據(jù)緩存管理模塊，用于緩存元數(shù)據(jù)基本屬性信息；若客戶端請求的文件信息在元數(shù)據(jù)緩存管理模塊中時，直接從元數(shù)據(jù)緩存管理模塊中返回信息；
[0019]數(shù)據(jù)緩存及讀寫處理模塊，對于寫操作，根據(jù)預定的寫緩存大小緩存一定的數(shù)據(jù)，定時分塊并發(fā)傳送到相應的云服務端的存儲服務節(jié)點上，其中不同的數(shù)據(jù)塊可能存儲在不同的存儲服務節(jié)點也可能存儲在相同的存儲服務節(jié)點；對于讀操作，根據(jù)預取的大小和預取的偏移量決定到對應的云服務端存儲服務節(jié)點上預取部分數(shù)據(jù)到數(shù)據(jù)緩存及讀寫處理模塊中；
[0020]元數(shù)據(jù)批量處理模塊，用于將元數(shù)據(jù)操作緩存到隊列中，采用異步方式對元數(shù)據(jù)進行批量處理。
[0021]較佳地，該云存儲客戶端進一步包括:
[0022]異步和超時處理模塊，用于對于實時性要求高的數(shù)據(jù)訪問操作，采用異步和超時處理:對于讀訪問，預讀某個數(shù)據(jù)塊一旦讀超時立即重試讀另一個復制塊，達到及時取回所需的數(shù)據(jù)塊到數(shù)據(jù)緩存及讀寫處理模塊中；對于寫訪問，采取異步方式，采集到的數(shù)據(jù)塊寫入數(shù)據(jù)緩存及讀寫處理模塊后立即返回，由另一個專門的傳輸線程將數(shù)據(jù)緩存及讀寫處理模塊中的數(shù)據(jù)刷新到云服務端。
[0023]從以上技術方案可以看出，通過元數(shù)據(jù)和數(shù)據(jù)分開存儲在不同服務節(jié)點，數(shù)據(jù)分塊并發(fā)傳輸方式，提高了帶寬利用率；通過異步和超時處理機制縮短了訪問數(shù)據(jù)的響應時間；通過元數(shù)據(jù)緩存和數(shù)據(jù)緩沖區(qū)減少了網(wǎng)絡請求量，加快了數(shù)據(jù)處理；通過批量處理小文件訪問請求減少了對元數(shù)據(jù)服務器的負擔，提升了大量數(shù)據(jù)請求的性能。本申請?zhí)峁┑脑拼鎯蛻舳四軌蚋咝У貪M足企業(yè)級用戶將大量數(shù)據(jù)向云存儲服務端備份以及并發(fā)讀取的需求，并且具有高性能，低延遲，大容量，易擴展，易管理，安全可靠的特點。
【附圖說明】
[0024]圖1為本申請實施例提供的云存儲客戶端的內(nèi)部結構示意圖；
[0025]圖2為本申請實施例提供的云存儲系統(tǒng)客戶端的數(shù)據(jù)訪問流程示意圖。
【具體實施方式】
[0026]為使本申請技術方案的技術原理、特點以及技術效果更加清楚，以下結合具體實施例對本申請技術方案進行詳細闡述。
[0027]本申請?zhí)峁┑脑拼鎯蛻舳烁咝?shù)據(jù)訪問方法的基本設計思想是:將文件分為元數(shù)據(jù)和數(shù)據(jù)兩部分，數(shù)據(jù)按一定大小分塊的組織方式。該組織方式提供高效數(shù)據(jù)訪問的基礎。同一文件不同數(shù)據(jù)塊可以并發(fā)訪問。只涉及到元數(shù)據(jù)部分的操作可以批量處理。同時元數(shù)據(jù)和數(shù)據(jù)的網(wǎng)絡訪問獨立進行，互不影響，保證了傳輸數(shù)據(jù)塊時帶寬的最大利用率。對于對時間實時性要求高的應用采用讀寫緩沖，異步和超時相結合的處理機制。
[0028]所述云存儲客戶端的內(nèi)部結構如圖1所示，其包括的主要模塊有元數(shù)據(jù)緩存管理模塊101、數(shù)據(jù)緩存及讀寫處理模塊102、元數(shù)據(jù)批量處理模塊103以及異步和超時處理模塊104。其中，
[0029]元數(shù)據(jù)緩存管理模塊101，用于緩存元數(shù)據(jù)基本屬性信息，如創(chuàng)建時間，文件大小等信息。若客戶端請求的文件信息在該元數(shù)據(jù)緩存管理模塊中時，直接從元數(shù)據(jù)緩存管理模塊中返回信息，避免大量元數(shù)據(jù)訪問操作經(jīng)過網(wǎng)絡向云服務端元數(shù)據(jù)服務節(jié)點請求。
[0030]數(shù)據(jù)緩存及讀寫處理模塊102，對于寫操作，根據(jù)預定的寫緩存大小緩存一定的數(shù)據(jù)，定時分塊并發(fā)傳送到相應的云服務端的存儲服務節(jié)點上，其中不同的數(shù)據(jù)塊可能存儲在不同的存儲服務節(jié)點也可能存儲在相同的存儲服務節(jié)點；對于讀操作，根據(jù)預取的大小和預取的偏移量決定到對應的云服務端存儲服務節(jié)點上預取部分數(shù)據(jù)到數(shù)據(jù)緩存及讀寫處理模塊中。
[0031]根據(jù)本申請的另一實施例，所謂預取的偏移量即本次讀操作在所讀文件中的起始位置，預取的大小則是從起始