一種面向云計(jì)算平臺(tái)的科學(xué)工作流系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及面向云計(jì)算平臺(tái)的科學(xué)工作流系統(tǒng)及方法，屬于云計(jì)算領(lǐng)域，特別是 對(duì)于大規(guī)模的科學(xué)數(shù)據(jù)分析任務(wù)問題。
【背景技術(shù)】
[0002] 科學(xué)數(shù)據(jù)分析目前在多個(gè)科學(xué)研究領(lǐng)域(包括生物科學(xué)、氣象科學(xué)W及高能物理 科學(xué)等)都扮演著越來越重要的角色。每一個(gè)科學(xué)數(shù)據(jù)分析任務(wù)往往都包含多個(gè)計(jì)算步驟， 每個(gè)計(jì)算步驟代表著一個(gè)數(shù)據(jù)分析處理過程。然而小規(guī)?？蒲袌F(tuán)隊(duì)或個(gè)人由于沒有足夠的 計(jì)算機(jī)技術(shù)支持，使得他們?cè)谶M(jìn)行科學(xué)數(shù)據(jù)分析的時(shí)候遭遇到了障礙，主要體現(xiàn)在Ξ個(gè)方 面：（1)實(shí)驗(yàn)室機(jī)房計(jì)算資源的限制；（2)需要手動(dòng)安裝軟件工具來部署計(jì)算環(huán)境；（3)需要 手動(dòng)跟蹤并執(zhí)行各個(gè)計(jì)算步驟。對(duì)于大規(guī)模的科學(xué)數(shù)據(jù)分析任務(wù)，運(yùn)Ξ個(gè)受限因素將會(huì)更 加凸顯。
[0003] 目前科學(xué)工作流運(yùn)一技術(shù)路線本身并不能解決計(jì)算資源受限W及手動(dòng)部署計(jì)算 環(huán)境運(yùn)些問題，不存在工作流所需的計(jì)算環(huán)境精準(zhǔn)的定制服務(wù)，W及不存在自動(dòng)化的科學(xué) 工作流計(jì)算環(huán)境的部署過程和科學(xué)工作流的執(zhí)行過程。一些科學(xué)網(wǎng)關(guān)基于SaaS軟件交付模 式提供了面向社區(qū)的科學(xué)工作流服務(wù)框架，主要用于開發(fā)面向多租戶的科學(xué)數(shù)據(jù)分析平 臺(tái)，但是它們不能為復(fù)雜的科學(xué)數(shù)據(jù)分析流程提供更為精準(zhǔn)的定制服務(wù)。一個(gè)面向多租戶 的科學(xué)數(shù)據(jù)分析平臺(tái)時(shí)，其最大的挑戰(zhàn)是如何為科研人員在軟件工具、數(shù)據(jù)分析流程甚至 計(jì)算環(huán)境方面提供足夠的定制功能。一些基于Web Service的框架支持將數(shù)據(jù)分析應(yīng)用程 序部署在相應(yīng)的計(jì)算中屯、中，并通過將運(yùn)些應(yīng)用程序封裝為Web Service的方式供科研人 員來組裝定制科學(xué)數(shù)據(jù)分析流程。運(yùn)些軟件框架雖然簡化了定制的過程，使得能夠W流水 線化的方式來組裝科學(xué)數(shù)據(jù)分析流程。但是運(yùn)些科學(xué)網(wǎng)關(guān)無法提供同質(zhì)化的運(yùn)行時(shí)環(huán)境的 定制，不能夠?yàn)樗械目茖W(xué)數(shù)據(jù)分析流程提供同質(zhì)化的運(yùn)行時(shí)環(huán)境:相同的分布式計(jì)算資 源和軟件環(huán)境，即無法為具有多樣性的科學(xué)數(shù)據(jù)分析實(shí)驗(yàn)提供具有針對(duì)性的運(yùn)行時(shí)環(huán)境。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明技術(shù)解決問題:克服現(xiàn)有技術(shù)的不足，提供一種面向云計(jì)算平臺(tái)的科學(xué)工 作流系統(tǒng)及方法，為科研人員提供可定制、自動(dòng)化部署、自動(dòng)化執(zhí)行的科學(xué)工作流服務(wù)，科 學(xué)工作流服務(wù)能夠根據(jù)用戶所定制的工作流W及計(jì)算資源需求在云平臺(tái)中自動(dòng)部署相應(yīng) 的計(jì)算環(huán)境并進(jìn)行科學(xué)工作流。
[000引本發(fā)明的技術(shù)解決方案:一種面向云計(jì)算平臺(tái)的科學(xué)工作流系統(tǒng)，包括定制模塊、 自動(dòng)化部署模塊和執(zhí)行模塊，其中：
[0006]定制模塊:包括顯示層、工作流層、執(zhí)行層和計(jì)算環(huán)境層四個(gè)層次的定制，其中顯 示層用于定制科學(xué)軟件圖形化工具;工作流層利用圖形化工具定制科學(xué)工作流計(jì)算流程的 各個(gè)計(jì)算步驟;執(zhí)行層用于定制科學(xué)軟件的命令行執(zhí)行參數(shù);計(jì)算環(huán)境層用定制計(jì)算環(huán)境 抽象描述模板和科學(xué)軟件的自動(dòng)化配置腳本模板;通過計(jì)算環(huán)境抽象描述模板生成計(jì)算環(huán) 境抽象描述，所述計(jì)算環(huán)境抽象描述是用于描述執(zhí)行一個(gè)科學(xué)工作流計(jì)算流程所需的計(jì)算 資源W及相應(yīng)的科學(xué)軟件；當(dāng)科研人員定制完成一個(gè)科學(xué)工作流計(jì)算流程，并且選擇所需 的計(jì)算資源后（比如虛擬機(jī)個(gè)數(shù)W及虛擬機(jī)大小等），相應(yīng)的計(jì)算環(huán)境抽象描述會(huì)自動(dòng)生 成；同時(shí)利用定制的科學(xué)軟件自動(dòng)化配置腳本模板，為自定義科學(xué)軟件的安裝W及配置過 程提供依據(jù)，科研人員根據(jù)該模板來為具體的科學(xué)軟件編寫自動(dòng)化配置腳本;計(jì)算環(huán)境抽 象描述W及科學(xué)軟件的自動(dòng)化配置腳本共同奠定了計(jì)算環(huán)境自動(dòng)化部署的基礎(chǔ)；
[0007] 自動(dòng)化部署模塊:接收來自定制模塊的計(jì)算環(huán)境抽象描述，根據(jù)計(jì)算環(huán)境抽象描 述，并利用相應(yīng)的科學(xué)軟件自動(dòng)化配置腳本在指定的云計(jì)算平臺(tái)中部署相應(yīng)的云端計(jì)算環(huán) 境，云端計(jì)算環(huán)境由多個(gè)虛擬機(jī)組成的一個(gè)計(jì)算集群，并安裝配置所需的科學(xué)軟件；
[0008] 執(zhí)行模塊:在云端計(jì)算環(huán)境部署完后，調(diào)度服務(wù)和分布式資源管理服務(wù);調(diào)度服務(wù) 負(fù)責(zé)根據(jù)科研人員定制的科學(xué)工作流執(zhí)行流程來調(diào)度各個(gè)科學(xué)計(jì)算步驟的先后執(zhí)行順序， W保證科學(xué)工作流的正確執(zhí)行;分布式資源管理服務(wù)則負(fù)責(zé)管理虛擬機(jī)計(jì)算集群，將當(dāng)前 調(diào)度的計(jì)算任務(wù)分發(fā)到相應(yīng)的計(jì)算資源中并W指定的方式執(zhí)行，所述執(zhí)行模塊中的指定方 式是指串行執(zhí)行或并行執(zhí)行。
[0009] 所述定制模塊中，顯示層定制的科學(xué)軟件的圖形化工具具有多個(gè)通用的功能，包 括用于設(shè)置執(zhí)行參數(shù)的表單;科研人員通過科學(xué)軟件圖形化工具模板來定制具體的科學(xué)軟 件從而為科學(xué)工作流做定制基礎(chǔ)，使科學(xué)軟件能夠W交互友好的圖形化工具的形式呈現(xiàn)出 來。
[0010] 所述計(jì)算環(huán)境抽象描述模板包括兩部分內(nèi)容:一是計(jì)算資源（即虛擬機(jī)個(gè)數(shù)W及 每臺(tái)虛擬機(jī)的CPU核數(shù)等配置參數(shù)）；二是軟件環(huán)境(即所需的相應(yīng)的科學(xué)軟件集合）
[0011] 采用W下描述的計(jì)算環(huán)境抽象描述語言模板表示如表1所示，計(jì)算環(huán)境抽象描述 語言模板中根元素為"workspace"，代表了一個(gè)計(jì)算環(huán)境，其下有5個(gè)子元素"provider"、 vm_size 、 vm_number 、 description 才口 run_list ：
[0012] "provider":表示部署該計(jì)算環(huán)境的某一個(gè)具體的云計(jì)算平臺(tái)；
[001引 "vm_size":表示需要倉幡的虛擬機(jī)的大??；
[0014] "vmjiumber":表示該計(jì)算環(huán)境擁有的虛擬機(jī)個(gè)數(shù)；
[0015] "description":用于描述該計(jì)算環(huán)境的特征W及用途；
[0016] "run_list":表示需要安裝的科學(xué)軟件的集合，每個(gè)科學(xué)軟件用"package"元素表 示，且其下的"name"元素用于表示該科學(xué)軟件的名稱，"version"元素用于指定該科學(xué)軟件 的版本號(hào)；
[0017] "provider"、"vm_size"和"vm_numbe;r"元素共同決定了計(jì)算環(huán)境的硬件特征，而 "run_list"元素 W及其下的"package"元素集合則決定了該計(jì)算環(huán)境的軟件特征，即表明 該計(jì)算環(huán)境能夠服務(wù)的科學(xué)工作流計(jì)算流程。
[0018] 所述定制模塊中，執(zhí)行層中定制科學(xué)軟件的命令行執(zhí)行參數(shù)包含多個(gè)可控參數(shù)， 科研人員通過自定義運(yùn)些執(zhí)行參數(shù)來達(dá)到控制執(zhí)行過程的目的。
[0019] 所述定制模塊中的科學(xué)軟件的自動(dòng)化配置腳本模板的根元素為"recipe",表示一 個(gè)科學(xué)軟件安裝配置的"配方'，其下有4個(gè)子元素："name"、"version"、"dependencies"和 "actions"如表2所示：
[0020] "name":表示該科學(xué)軟件的名稱；
[0021 ] "version":表示需要安裝的版本號(hào)；
[0022] "dependencies":表示該科學(xué)軟件所依賴的其他應(yīng)用軟件，每個(gè)具體的應(yīng)用軟件 用"dependency"元素表示，同時(shí)需要指定應(yīng)用軟件的名稱和版本號(hào)；
[0023] "actions":表示安裝配置該科學(xué)軟件的具體行為動(dòng)作，包括：
[0024] "create_directory":新建目錄；
[00巧]"create_use;r":新建用戶；
[0026] "download_package":下載軟件包；
[0027] "extract_package":解壓軟件包；
[0028] "set_envi;ronment":設(shè)置環(huán)境變量；
[0029] "shell_comman(T :允許直接執(zhí)行shell命令，比如使用源碼安裝科學(xué)軟件，則可W 使用"make"命令對(duì)源碼進(jìn)行編譯；
[0030] 根據(jù)上述描述，定制模塊得到的計(jì)算環(huán)境抽象描述，W及相應(yīng)的科學(xué)軟件自動(dòng)化 配置腳本將共同指導(dǎo)計(jì)算環(huán)境的自動(dòng)化部署過程。
[0031] 所述自動(dòng)化部署模塊包括:控制模塊、云平臺(tái)集群自動(dòng)化部署管理工具化ef、^ef 的第Ξ方插件Spiceweasel、；其中控制模炔基于Chef和Spiceweasel之上，是自動(dòng)化部署模 塊的邏輯控制層，是整個(gè)核屯、；
[0032] 控制模塊:為邏輯控制層，接收來自定制模塊的計(jì)算環(huán)境抽象描述，并調(diào)用控制模 塊中的服務(wù)將計(jì)算環(huán)境抽象描述轉(zhuǎn)換成與指定云計(jì)算平臺(tái)相關(guān)的Spiceweasel文件，同時(shí) 負(fù)責(zé)與化ef Server進(jìn)行通信；
[0033] Spiceweasel:用于幫助化e巧比量管理基礎(chǔ)設(shè)施的命令行工具，化ef提供的基于編 程語言Ruby、文件格式JS0N或文件格式Y(jié)AML的描述語言能夠幫助簡化計(jì)算環(huán)境XML抽象描 述到化ef的內(nèi)置工具化ef Knife命令行程序的翻譯過程；
[0034]化ef Server:負(fù)責(zé)與云計(jì)算平臺(tái)進(jìn)行通信，根據(jù)Spiceweasel文件在指定云計(jì)算 平臺(tái)上部署相應(yīng)的計(jì)算環(huán)境，管理虛擬機(jī)的自動(dòng)化創(chuàng)建與配置過程。
[0035] 所述定制模塊中利用圖形化工具定制科學(xué)工作流計(jì)算流程的各個(gè)計(jì)算步驟的具 體實(shí)現(xiàn)過程：一個(gè)科學(xué)工作流計(jì)算流程包含多個(gè)計(jì)算步驟W及運(yùn)些計(jì)算步驟間的內(nèi)在聯(lián) 系，將科學(xué)工作流計(jì)算流程形象化為一個(gè)DAG圖（Direct A巧clic Graph,有向無環(huán)圖），每 個(gè)節(jié)點(diǎn)表示一個(gè)具體的計(jì)算步驟或科學(xué)軟件，一個(gè)工作流包含多個(gè)軟件，按照定制需求分 步驟的執(zhí)行不同的軟件，每條邊表示計(jì)算步驟間的先后執(zhí)行順序或數(shù)據(jù)流