專利名稱：適于大數(shù)據(jù)高并發(fā)訪問的文件級分條系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明公開了一種適于大數(shù)據(jù)高并發(fā)訪問的文件級分條系統(tǒng)，尤其涉及一種并行文件系統(tǒng)中適于大數(shù)據(jù)高并發(fā)訪問的文件級分條系統(tǒng)。屬于計(jì)算機(jī)技術(shù)領(lǐng)域。
背景技術(shù)：
近年來，大數(shù)據(jù)成為學(xué)術(shù)界、工業(yè)界的研究熱點(diǎn)，一方面，互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)，以及云計(jì)算的規(guī)模和應(yīng)用的激增，大量的用戶和應(yīng)用的交互導(dǎo)致產(chǎn)生巨量的數(shù)據(jù) ’另一方面，隨著數(shù)據(jù)采集技術(shù)的進(jìn)步，諸如衛(wèi)星遙感、傳感器、GPS等，也導(dǎo)致每時(shí)每刻都在產(chǎn)生巨量的數(shù)據(jù)；最后，在科研和工業(yè)等領(lǐng)域的復(fù)雜的新技術(shù)、新儀器的使用也導(dǎo)致數(shù)據(jù)量的產(chǎn)生與日俱增，例如，歐洲核子研究中心的大型粒子對撞機(jī)(Large Hardon Collider)每年產(chǎn)生約15PB的數(shù)據(jù)。據(jù)〈〈經(jīng)濟(jì)學(xué)人 >> 雜志分析稱，全世界的數(shù)據(jù)量，在2005年約為150EB, 2010年約為1200EB，到2020年，則預(yù)期為35000EB。大數(shù)據(jù)僅是一個(gè)相對概念，所以尚沒有統(tǒng)一的定義。麥肯錫(McKinsey)將大數(shù)據(jù)定義為“規(guī)模超過典型的數(shù)據(jù)庫軟件工具的采集、存儲、管理和分析能力的數(shù)據(jù)集”。IBM則從三個(gè)維度定義了大數(shù)據(jù)的特征(V3):容量(Volume)，大數(shù)據(jù)處理要能應(yīng)付數(shù)據(jù)規(guī)模的擴(kuò)展，能處理TB級、PB級，甚至ZB級別的數(shù)據(jù)；速度(Velocity),大數(shù)據(jù)處理要能實(shí)現(xiàn)實(shí)時(shí)性(real time)、及時(shí)性(near time),批模式和流模式等處理方式；多樣性(Variety)，大數(shù)據(jù)的類型包括結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化等多種類型。IBM進(jìn)一步增加了第四個(gè)V:真實(shí)性(Veracity),指大數(shù)據(jù)的內(nèi)容必須真實(shí)可靠?？傮w看來，數(shù)據(jù)規(guī)模的飛速發(fā)展對傳統(tǒng)的數(shù)據(jù)存儲、處理、共享等方式提出了更高的要求。并行輸入/輸出(Input/Output)系統(tǒng)歷來是計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)領(lǐng)域一個(gè)熱點(diǎn)研究方向，其旨在內(nèi)存和磁盤之間創(chuàng)建多個(gè)數(shù)據(jù)通路來緩解計(jì)算機(jī)系統(tǒng)的I/o性能瓶頸問題，是突破大數(shù)據(jù)存儲瓶頸的重要途徑之一。并行文件系統(tǒng)作為并行輸入/輸出系統(tǒng)的核心軟件之一，不僅提供了文件數(shù)據(jù)并行訪問所需的語義和接口，而且能夠通過文件的分條、文件的分配和數(shù)據(jù)服務(wù)器 之間的動態(tài)負(fù)載均衡等手段來保證文件數(shù)據(jù)的聚合訪問速度?，F(xiàn)有主流的并行文件系統(tǒng)包括PVFS，Lustre和GPFS等。一般的文件數(shù)據(jù)負(fù)載均衡的完整流程可以抽象概括為三個(gè)關(guān)鍵步驟(如附

圖1所示):第一步，對進(jìn)入并行文件系統(tǒng)的文件進(jìn)行分塊(條)。第二步，執(zhí)行分條文件的分配。第三步，并行文件系統(tǒng)中I/O (I/O指輸入/輸出)月艮務(wù)器之間動態(tài)負(fù)載均衡。其中，文件分條是文件數(shù)據(jù)并行訪問的前提之一。然而目前仍然缺乏一種適于大數(shù)據(jù)高并發(fā)訪問的文件級分條系統(tǒng)，本發(fā)明即公開了一種面向高性能計(jì)算機(jī)文件系統(tǒng)中適于大數(shù)據(jù)高并發(fā)訪問的文件級分條系統(tǒng)。下面從本發(fā)明相關(guān)的學(xué)術(shù)研究及已發(fā)表論文分析、以及相關(guān)的專利分析兩方面對本專利的創(chuàng)新性進(jìn)行分析。在文件分條方法的相關(guān)研究和已發(fā)表論文分析上，隨著近年來大數(shù)據(jù)存儲相關(guān)技術(shù)的日益興起，其文件系統(tǒng)中的文件請求體現(xiàn)出了更突出的大規(guī)模、高并發(fā)，高突發(fā)等特征；在大數(shù)據(jù)應(yīng)用中，單一應(yīng)用程序內(nèi)部的計(jì)算階段和I/o階段相互交替(例如同步原語(MPI_File_sync、MPI_Barrier等);訪問多個(gè)文件的平穩(wěn)請求流也可能轉(zhuǎn)換成為訪問單一文件的突發(fā)請求流(如Server-Side coordination技術(shù))，目前迫切需要一種能夠刻畫該特征的分條模型。然而，因?yàn)槊嫦騿我坏臋z查點(diǎn)文件可以方便進(jìn)程失效之后的重啟；單一的結(jié)果文件可以使得計(jì)算結(jié)果良好的封裝，單一的共享文件也會降低元數(shù)據(jù)壓力等原因，傳統(tǒng)高性能計(jì)算機(jī)并行文件系統(tǒng)主要采用“單文件-多進(jìn)程”的方式，并且雖然上述方法已在現(xiàn)有系統(tǒng)中被廣泛采用，但目前尚缺乏一種文件級的分條粒度。此外，如表I所示，傳統(tǒng)方法利用實(shí)驗(yàn)統(tǒng)計(jì)和最優(yōu)化的數(shù)學(xué)理論等手段，針對如何確定系統(tǒng)級或者目錄級的文件分條寬度的問題已經(jīng)進(jìn)行了大量的研究。但是由于系統(tǒng)級和目錄級的文件分條沒有考慮單一文件的訪問特性，在面對大數(shù)據(jù)科學(xué)計(jì)算程序的I/O性能優(yōu)化時(shí)并不能很好刻畫文件級訪問特征，特別在面對適于大數(shù)據(jù)應(yīng)用的E級高性能計(jì)算機(jī)中面臨的大規(guī)模高并發(fā)訪問請求等挑戰(zhàn)時(shí)，現(xiàn)有的系統(tǒng)級和目錄級的文件分條方法存在難以適應(yīng)細(xì)粒度和對單一文件訪問特性等不足。與此相反，文件級別的分條方法能夠很好考慮單一文件訪問的特性，從而能夠提高該文件訪問性能。此外，現(xiàn)有的并行文件系統(tǒng)(如PVFS等)能夠提供目錄級分條和系統(tǒng)級分條支持的子系統(tǒng)，但仍然總體缺乏能支持文件級分條的系統(tǒng)。對于適于大數(shù)據(jù)應(yīng)用的高性能計(jì)算機(jī)所使用的并行文件系統(tǒng)而言，由于其需要面對大量具有突發(fā)特性的科學(xué)計(jì)算程序的I/O請求、同時(shí)也得面對更高的文件訪問并行度，可見，現(xiàn)有研究總體仍然缺乏一種能夠很好的應(yīng)用于高性能計(jì)算中數(shù)據(jù)高并發(fā)訪問的文件級分條方法和系統(tǒng)，尤其缺乏一種能夠根據(jù)每一個(gè)文件的自身的訪問特點(diǎn)和整個(gè)文件系統(tǒng)的負(fù)載情況來確定文件的分條寬度的分條系統(tǒng)，從而為高效的并行數(shù)據(jù)的訪問提供保證。
權(quán)利要求
1.一種適于大數(shù)據(jù)高并發(fā)訪問的文件級分條系統(tǒng)，主要完成對文件系統(tǒng)應(yīng)用層發(fā)起的大數(shù)據(jù)應(yīng)用文件執(zhí)行文件級分條功能，具有滿足高并發(fā)和文件級分條實(shí)現(xiàn)的需求的技術(shù)特征，其具體的特征包括: 一種適于大數(shù)據(jù)高并發(fā)訪問的文件級分條系統(tǒng)，在體系結(jié)構(gòu)上，位于并行文 件系統(tǒng)的體系結(jié)構(gòu)(自上而下為，應(yīng)用層-> 并行文件系統(tǒng)層-> 物理硬件層) 中的并行文件系統(tǒng)層，在流程上，主要實(shí)現(xiàn)面向高并發(fā)文件訪問請求的文件 級分條步驟，是進(jìn)行文件分配和負(fù)載均衡步驟的前提步驟。
2.根據(jù)權(quán)利要求1所述的適于大數(shù)據(jù)高并發(fā)訪問的文件級分條系統(tǒng)，其特征在于包括如下模塊: (O系統(tǒng)初始參數(shù)獲取模塊:主要完成系統(tǒng)初始參數(shù)獲取， (2)文件特征讀取模塊:主要完成從文件應(yīng)用層和文件系統(tǒng)支撐層讀取系統(tǒng)輸入?yún)?shù)， (3)單一文件最優(yōu)分條寬度計(jì)算模塊:主要完成計(jì)算單一文件請求的最優(yōu)分條寬度， (4)整個(gè)文件分條大小計(jì)算模塊:主要完成計(jì)算整個(gè)文件的分條大小， (5)文件級分條執(zhí)行模塊:主要完成執(zhí)行文件級分條。
3.基于權(quán)利要求1所述的適于大數(shù)據(jù)高并發(fā)訪問的文件級分條系統(tǒng)，其運(yùn)行流程包括: 第一步，系統(tǒng)初始參數(shù)獲取，由系統(tǒng)初始參數(shù)獲取模塊獲取初始系統(tǒng)參數(shù)，獲取的六個(gè)參數(shù)包括平均磁盤的尋道時(shí) 間、磁盤的平均速度、平均的網(wǎng)絡(luò)延遲、平均的文件請求大小、文件訪問的并發(fā)度和數(shù)據(jù)服務(wù)器的數(shù)量，然后，系統(tǒng)初始參數(shù)獲取模塊將文件訪問歷史和文件訪問特征日志傳遞給并行文件系統(tǒng)， 第二步，文件特征讀取。由文件特征讀取模塊從文件系統(tǒng)應(yīng)用層和文件系統(tǒng)支撐層讀入輸入?yún)?shù)。讀入的三個(gè)參數(shù)具體包括訪問該文件的文件請求的平均大小、該文件訪問的并發(fā)度、并行文件系統(tǒng)中的數(shù)據(jù)服務(wù)器的數(shù)量。
第三步，單一文件最優(yōu)分條寬度計(jì)算。由單一文件最優(yōu)分條寬度計(jì)算模塊根據(jù)第一步和第二步的結(jié)果，首先計(jì)算單一文件請求的最優(yōu)分條大小。然后，計(jì)算出單一文件請求的最優(yōu)分條寬度。
第四步，整個(gè)文件分條大小計(jì)算。由整個(gè)文件分條大小計(jì)算模塊，計(jì)算面向文件級別的高并發(fā)請求下的整個(gè)文件的最優(yōu)分條大小。
第五步，文件級分條執(zhí)行。由文件級分條執(zhí)行模塊根據(jù)分條寬度執(zhí)行文件級分條。
全文摘要
本發(fā)明針對大數(shù)據(jù)應(yīng)用挑戰(zhàn)以及當(dāng)前的并行文件系統(tǒng)中在文件數(shù)據(jù)的高并發(fā)訪問等方面存在的問題，公開了一種適于大數(shù)據(jù)高并發(fā)訪問的文件級分條系統(tǒng)，在模塊構(gòu)成上主要包括系統(tǒng)初始參數(shù)獲取模塊，文件特征讀取模塊，單一文件最優(yōu)分條寬度計(jì)算模塊，整個(gè)文件分條大小計(jì)算模塊和文件級分條執(zhí)行模塊。本發(fā)明能夠根據(jù)文件的訪問特點(diǎn)，如請求大小和文件并發(fā)訪問度等，自動設(shè)置文件的分條大小，為高性能計(jì)算機(jī)提供了適于大數(shù)據(jù)、高并發(fā)訪問特征的文件級別的分條支持，進(jìn)而為高效的并行輸入/輸出提供有力支撐。因此，本發(fā)明具有廣闊的應(yīng)用前景和可產(chǎn)生顯著的經(jīng)濟(jì)效益等特色。
文檔編號G06F9/38GK103218210SQ201310156469
公開日2013年7月24日 申請日期2013年4月28日 優(yōu)先權(quán)日2013年4月28日
發(fā)明者阮利, 董斌, 肖利民, 祝明發(fā) 申請人:北京航空航天大學(xué)