專利名稱:一種自動化快速部署nfs共享的方法
技術(shù)領(lǐng)域:
本發(fā)明涉及Linux集群環(huán)境下,對NFS(網(wǎng)絡(luò)文件系統(tǒng))的部署。具體涉及基于shell script和expect自動應(yīng)答功能的NFS(網(wǎng)絡(luò)文件系統(tǒng))的自動化快速部署。
背景技術(shù):
高性能計算(HPC)通常使用很多處理器,在高速互聯(lián)網(wǎng)絡(luò)中,使用MPI等并行計算環(huán)境,運行并行計算軟件,加速科學(xué)運算的效率。伴隨 著HPC在高校和科研院所的普及,建立起高并行效率的大規(guī)模集群系統(tǒng),對科研、教育、國防等事業(yè)有著重要的意義。所以,快速有效的對一套集群系統(tǒng)的性能進行評估對建立起高并行效率的大規(guī)模集群系統(tǒng)的是至關(guān)重要的。衡量計算機性能的ー個重要指標(biāo)就是計算峰值,例如浮點計算峰值,它是指計算機每秒鐘能完成的浮點計算最大次數(shù)。包括理論浮點峰值和實測浮點峰值理論浮點峰值是該計算機理論上能達到的每秒鐘能完成浮點計算最大次數(shù),它主要是由CPU的主頻決定的,理論浮點峰值=CPU主頻XCPU每個時鐘周期執(zhí)行浮點運算的次數(shù)X系統(tǒng)中CPU核心數(shù)目。實測浮點峰值是指Linpack測試值,也就是說在這臺機器上運行Linpack測試程序,通過各種調(diào)優(yōu)方法得到的最優(yōu)的測試結(jié)果。實際上在實際程序運行過程中,幾乎不可能達到實測浮點峰值,更不用說達到理論浮點峰值了。這兩個值只是作為衡量機器性能的一個指標(biāo),用來表明機器處理能力的一個標(biāo)尺和潛能的度量。傳統(tǒng)LinPack測試中,有若干測試參數(shù)(例如最重要的N(problems sizes))需要根據(jù)具體集群環(huán)境來確定,理論知識不熟悉的人很容易計算出錯誤的參數(shù),導(dǎo)致整個測試失敗。同吋,當(dāng)測試出實際運算最高峰值后,根據(jù)結(jié)果評估整套系統(tǒng)的性能也相當(dāng)復(fù)雜。
發(fā)明內(nèi)容
本發(fā)明的目的是提供一種自動化快速部署NFS共享的方法。本發(fā)明的目的是按以下方式實現(xiàn)的,部署者將所有部署所需的腳本及文件放在管理節(jié)點上,將所有節(jié)點包括管理節(jié)點和計算節(jié)點的主機名寫入hostfile中,將需要共享的目錄名稱包括home, opt寫入到share_dir文件中,在管理節(jié)點上用root用戶運行install, sh,輸入root密碼后,即可完成在所有節(jié)點的網(wǎng)絡(luò)文件系統(tǒng)NFS共享部署工作,并在下次開機后仍然有效;具體工作步驟如下I)將所有部署所需文件,包括6個腳本文件和2個配置文件,放到管理節(jié)點上的同一個目錄下;2)在hostfile中寫入所有節(jié)點的主機名,先寫管理節(jié)點的,再寫入計算節(jié)點的;在share_dir中寫入需要共享的目錄名,包括opt, home ;3)使用root用戶運行install, sh文件,并按照提示輸入root密碼;
4) install, sh 腳本會自動調(diào)用 ssh_conf I. exp、ssh_conf2. exp、ssh_conf3. exp這三個基于expect的自動應(yīng)答腳本,實現(xiàn)所有節(jié)點直接ssh的信任訪問;5) install, sh腳本接著會自動調(diào)用mu_conf. exp,完成管理節(jié)點,即NFS_Server端得配置任務(wù);6) install, sh腳本接著會自動調(diào)用cu_conf. exp,完成所有計算節(jié)點,即NFSclietn端得配置工作;7)在正確完成以上所有工作后,install, sh腳本會提示集群NFS以及部署完成,此時系統(tǒng)正常使用NFS功能。本發(fā)明的有益效果是本發(fā)明使用基于Shell Script的方法,提供交互式環(huán)境,只需根據(jù)提示輸入集群配置參數(shù),即可簡單方便的得到LinPack所需的測試參數(shù)以及性能參照表,再使用Linpack得到理論浮點峰值與實際浮點峰值,并進一步確定系統(tǒng)的并行效 率,達到快速評估集群系統(tǒng)的目的。
圖I是網(wǎng)絡(luò)架構(gòu)圖;圖2是部署流程具體實施例方式參照說明書附圖對本發(fā)明的方法作以下詳細地說明。本發(fā)明的自動化快速部署NFS共享的方法,網(wǎng)絡(luò)架構(gòu)共分為2部分存儲網(wǎng)絡(luò)和計算網(wǎng)絡(luò);計算網(wǎng)絡(luò)采用Infiniband交換機,通過IB線纜搭配服務(wù)器的HCA卡連接到計算節(jié)點(dl-dn) ο采用IB over IP通訊機制,實現(xiàn)節(jié)點間的高速網(wǎng)絡(luò)通訊。存儲網(wǎng)絡(luò)使用8GB FC光纖交換機,采用FC SAN架構(gòu)的存儲設(shè)備,劃分多個LUN,直接映射到管理節(jié)點使用。a)
發(fā)明內(nèi)容
本發(fā)明的目的是全自動、快速部署集群環(huán)境下的NFS(網(wǎng)絡(luò)文件系統(tǒng))共享。部署者需要做的僅僅是將所有部署所需的腳本及文件出個腳本文件,2個配置文件)放在管理節(jié)點上,將所有節(jié)點(管理節(jié)點和計算節(jié)點)的主機名寫入hostfile中,將需要共享的目錄名稱(如/home, /opt等)寫入到share_dir文件中,在管理節(jié)點上用root用戶運行install, sh,輸入root密碼后,即可完成在所有節(jié)點的NFS (網(wǎng)絡(luò)文件系統(tǒng))共享部署エ作,并在下次開機后仍然有效。本發(fā)明的具體工作步驟如下第一歩,將所有部署所需文件出個腳本文件,2個配置文件)放到管理節(jié)點上的同一個目錄下。第二歩,在hostfile中寫入所有節(jié)點的主機名,先寫管理節(jié)點的,再寫入計算節(jié)點的;在share_dir中寫入需要共享的目錄名,如/opt, /home等。第三步,使用root用戶運行install, sh文件。并按照提示輸入root密碼。第四步,install,sh 腳本會自動調(diào)用 ssh_conf I. exp、ssh_conf2. exp、ssh_conf3. exp這三個基于expect的自動應(yīng)答腳本,實現(xiàn)所有節(jié)點直接ssh的信任訪問。第五步,install, sh腳本接著會自動調(diào)用mu_conf. exp,完成管理節(jié)點,即NFS_
Server端得配置任務(wù)。第六步,install, sh腳本接著會自動調(diào)用cu_conf. exp,完成所有計算節(jié)點,即
NFS_cIietn端得配置工作。第七步,在正確完成以上所有工作后,install, sh腳本會提示集群NFS以及部署
完成,此時可以正常使用NFS功能。
實施例硬件環(huán)境管理節(jié)點1個計算節(jié)點8個每節(jié)點內(nèi)存8GB姆節(jié)點核數(shù)12coresCPU 頻率2. 66GHz網(wǎng)絡(luò)連接InfinibandQDR在hostfile中寫入管理節(jié)點主機名和全部計算節(jié)點主機名,如下表所示
[rootimuOl NFS_Express]# cat hostfile
muOl
cuOl
cu02
cu03
cu04
cu05
cu06
cu07
cu08在share_dir中寫入需要共享的目錄,本例子共享/opt與/home,操作步驟如下[root@mu01 NFS—Express]tt· /install, sh
Installation is Starting......
Please gimme root' s password :
.111111
Conform root’ s password ;
111111
Now, Trusted一SSH configuration is in procession, Please What···· send— “111111” \r” ” send:spawn id exp6 not open while executing “send -llllll\r”
******Trusted_SSH Configuration is COMPLETE*****
Now, NFS_Server configuration is in procession , Please Wait…
****NFS__Server Configuration is COMPLETE***
Now, NFS_Clinents Configuration is in procession,Please Wait··· rc. local rc.local rc. local
*料 NFS_Clinents Configaration is COMPLETE***
Starting NFS services:
Starting NFS quotas:
Starting NFS daemon:
Starting NFS mountd:
Starting portmap: Starting portmap:
*** NFS Configaration is COMPLETE***以root身份在管理節(jié)點上運行install. sh,root密碼為111111,完成配置工作。
當(dāng)看到NFS Configuration is COMPLETE提示時,說明配置已經(jīng)全部完成。到計
算節(jié)點上查看,所有計算節(jié)點都已經(jīng)掛載指定目錄,并已保存到開機自動掛載。描述如下
[root@cu01 ]# mount
/dev/mapper/VolGroup00-L0gol00 on /type ext3(rw)
Proc on /proc type sysfs (rw)
Devpts on /sys type devpts(rw, gid=5, mode=620)
/dev/hdal on /doot type ext3(rw)· Tmpfs on /dev/shm type tmpfs(rw)
none on /proc/sys/fs/binfmt—misc type binfmt—misc(rw) sunrpc on /var/1ib/nfs/rpc_pipefs type rpc_pipefs(rw) muOl :/opt on /home type nfs(rw, addr=192. 168. I. 105)
muOl:/home on /home type nfs (rw, addr=192.168.I.105)開機自動掛載選項已被打開
[root@cu01 ]# cat /etc/rc. local
#!/bin/sh
#
#This script will be executed *after* all the other init scripts.
#You can put your own initialization stuff in here ir you don9 t U want to do the full sys V style init stuff ·
Touch /var /lock /subsys/local
Mount - t nfs muOl:/opt/opt
Mout - t nfs muOl:/home/home至此,已經(jīng)完成NFS的全部配置,可以正常使用。并保證下次開機時所有配置生效。除說明書所述的技術(shù)特征外,均為本專業(yè)技術(shù)人員的已知技術(shù)。
權(quán)利要求
1.一種自動化快速部署NFS共享的方法,其特征在于部署者將所有部署所需的腳本及文件放在管理節(jié)點上,將所有節(jié)點包括管理節(jié)點和計算節(jié)點的主機名寫入hostf iIe中,將需要共享的目錄名稱包括home, opt寫入到share_dir文件中,在管理節(jié)點上用root用戶運行install, sh,輸入root密碼后,即可完成在所有節(jié)點的網(wǎng)絡(luò)文件系統(tǒng)NFS共享部署エ作,并在下次開機后仍然有效; 具體工作步驟如下 1)將所有部署所需文件,包括6個腳本文件和2個配置文件,放到管理節(jié)點上的同一個目錄下; 2)在hostfiIe中寫入所有節(jié)點的主機名,先寫管理節(jié)點的,再寫入計算節(jié)點的;在share_dir中寫入需要共享的目錄名,包括opt, home ; 3)使用root用戶運行install,sh文件,并按照提示輸入root密碼;4)install, sh 腳本會自動調(diào)用 ssh_conf I. exp、ssh_conf2. exp、ssh_conf3. exp 這三個基于expect的自動應(yīng)答腳本,實現(xiàn)所有節(jié)點直接ssh的信任訪問; 5)install, sh腳本接著會自動調(diào)用mu_conf. exp,完成管理節(jié)點,即NFS_Server端得配置任務(wù); 6)install, sh腳本接著會自動調(diào)用cu_conf. exp,完成所有計算節(jié)點,即NFS_clietn端得配置工作; 7)在正確完成以上所有工作后,install,sh腳本會提示集群NFS以及部署完成,此時系統(tǒng)正常使用NFS功能。
全文摘要
本發(fā)明提供一種自動化快速部署NFS共享的方法,使用基于Shell Script的方法,提供交互式環(huán)境,只需根據(jù)提示輸入集群配置參數(shù),即可簡單方便的得到LinPack所需的測試參數(shù)以及性能參照表,再使用Linpack得到理論浮點峰值與實際浮點峰值,并進一步確定系統(tǒng)的并行效率,達到快速評估集群系統(tǒng)的目的,部署者需要做的僅僅是將所有部署所需的腳本及文件放在管理節(jié)點上,將所有節(jié)點(管理節(jié)點和計算節(jié)點)的主機名寫入hostfile中,將需要共享的目錄名稱寫入到share_dir文件中,在管理節(jié)點上用root用戶運行install.sh,輸入root密碼后,即可完成在所有節(jié)點的NFS(網(wǎng)絡(luò)文件系統(tǒng))共享部署工作,并在下次開機后仍然有效。
文檔編號G06F17/30GK102682078SQ20121007370
公開日2012年9月19日 申請日期2012年3月20日 優(yōu)先權(quán)日2012年3月20日
發(fā)明者鄭輝, 陳良華 申請人:浪潮電子信息產(chǎn)業(yè)股份有限公司