本發(fā)明涉及數(shù)據(jù)存儲(chǔ)技術(shù)領(lǐng)域，具體涉及一種基于NVRAM的海量存儲(chǔ)系統(tǒng)直接糾刪碼的優(yōu)化方法和系統(tǒng)。
背景技術(shù)：
在計(jì)算機(jī)技術(shù)高速發(fā)展的今天，數(shù)據(jù)呈現(xiàn)爆炸式增長(zhǎng)；海量存儲(chǔ)系統(tǒng)的數(shù)據(jù)存儲(chǔ)的速度越來(lái)越倍受關(guān)注。在海量存儲(chǔ)系統(tǒng)NVRAM直接糾刪碼中一般情況下Write隊(duì)列中的操作是串行化提交的；Write隊(duì)列中的操作根據(jù)FIFO的原則，一次提交一個(gè)操作，并等到這個(gè)操作處理完成后再繼續(xù)處理Write隊(duì)列中的下一個(gè)操作；由于提交的串行化使得海量存儲(chǔ)系統(tǒng)的后端的壓力不夠，不能充分發(fā)揮硬件的性能。
按照誤碼控制的不同功能，可分為檢錯(cuò)碼、糾錯(cuò)碼和糾刪碼等。檢錯(cuò)碼僅具備識(shí)別錯(cuò)碼功能 而無(wú)糾正錯(cuò)碼功能；糾錯(cuò)碼不僅具備識(shí)別錯(cuò)碼功能，同時(shí)具備糾正錯(cuò)碼功能；糾刪碼則不僅具備識(shí)別錯(cuò)碼和糾正錯(cuò)碼的功能，而且當(dāng)錯(cuò)碼超過(guò)糾正范圍時(shí)可把無(wú)法糾錯(cuò)的信息刪除。
技術(shù)實(shí)現(xiàn)要素：
本發(fā)明要解決的技術(shù)問(wèn)題是：本發(fā)明針對(duì)以上問(wèn)題，提供一種基于NVRAM存儲(chǔ)系統(tǒng)直接糾刪碼的優(yōu)化方法。
本發(fā)明所采用的技術(shù)方案為：
基于NVRAM存儲(chǔ)系統(tǒng)直接糾刪碼的優(yōu)化方法，所述方法針對(duì)Write隊(duì)列中的操作,先判斷該操作是否是糾刪碼條帶對(duì)齊的操作；如果是糾刪碼條帶對(duì)齊的操作,則將該操作生成相應(yīng)的事務(wù)并提交，繼續(xù)判斷提交糾刪碼對(duì)齊的事務(wù)；如果該操作不是糾刪碼條帶對(duì)齊的操作，則該操作將不會(huì)提交，等到之前的所有操作處理完成后；再讀取源數(shù)據(jù)補(bǔ)齊為糾刪碼條帶對(duì)齊的操作再提交。
該方法主要優(yōu)化待處理Write隊(duì)列中的操作提交方式；不再單純的將Write隊(duì)列中的操作進(jìn)行串行化提交，而是根據(jù)Write隊(duì)列中的操作是否為糾刪條帶對(duì)齊的操作進(jìn)行并行化提交；這樣可以避免由于串行化提交導(dǎo)致存儲(chǔ)系統(tǒng)后端IO壓力不夠，從而發(fā)揮海量存儲(chǔ)系統(tǒng)的處理IO的能力，充分發(fā)揮硬件的性能。
所述方法通過(guò)三個(gè)部分：預(yù)處理模塊、判斷模塊、提交模塊實(shí)現(xiàn)，其中：
預(yù)處理模塊:當(dāng)海量存儲(chǔ)系統(tǒng)的服務(wù)器端收到客戶端發(fā)送的操作,預(yù)處理模塊首先對(duì)這些操作進(jìn)行預(yù)處理，判斷這些操作的參數(shù)是否正確，以及計(jì)算操作影響數(shù)據(jù)的范圍等；如果不滿足條件，則直接返回給客戶端，否則直接壓入操作隊(duì)列；
判斷模塊:預(yù)處理模塊完成之后流程進(jìn)入判斷模塊，在判斷模塊中對(duì)客戶端發(fā)送的請(qǐng)求操作進(jìn)行判斷處理，根據(jù)操作對(duì)數(shù)據(jù)的影響范圍來(lái)判斷該操作是否為糾刪碼條帶對(duì)齊的操作，非對(duì)齊的操作需要讀取源數(shù)據(jù)補(bǔ)充成對(duì)齊的操作；
提交模塊:循環(huán)處理Write隊(duì)列中的操作，如果為糾刪碼條帶對(duì)齊的操作，則將該操作內(nèi)存中的數(shù)據(jù)生成相應(yīng)的事務(wù)，提交給海量存儲(chǔ)系統(tǒng)后端，并繼續(xù)處理Write隊(duì)列中的后續(xù)的操作；如果是非糾刪碼條帶對(duì)齊的操作，則該操作需要等待之前的所有操作落盤成功后，再讀取源數(shù)據(jù)補(bǔ)齊為對(duì)齊的操作并提交，直到Write隊(duì)列中的操作提交完成。
所述方法主要在軟件層面實(shí)現(xiàn)，具體流程如下：
1）客戶端發(fā)送操作請(qǐng)求；
2）預(yù)處理模塊判斷客戶端的操作是否合法；
3）判斷模塊根據(jù)這些操作影響的數(shù)據(jù)的范圍信息判斷是否為糾刪碼條帶對(duì)齊的操作；
4）提交模塊，根據(jù)判斷模塊的結(jié)果循環(huán)處理Write隊(duì)列中的操作，如果為糾刪碼條帶對(duì)齊的操作則生成相應(yīng)的事務(wù)并提交，再繼續(xù)處理后續(xù)的操作；如果為非糾刪碼條帶對(duì)齊的操作，則等待該操作之前的所有操作落盤成功后，再讀取源數(shù)據(jù)補(bǔ)齊為糾刪碼條帶對(duì)齊的操作繼續(xù)提交，直到Write隊(duì)列中所有的操作提交完成。
基于NVRAM存儲(chǔ)系統(tǒng)直接糾刪碼的優(yōu)化系統(tǒng)，所述系統(tǒng)包括三個(gè)部分：預(yù)處理模塊、判斷模塊、提交模塊，其中：
預(yù)處理模塊：當(dāng)NVRAM海量存儲(chǔ)系統(tǒng)的服務(wù)器端收到客戶端發(fā)送的操作,預(yù)處理模塊首先對(duì)這些操作進(jìn)行預(yù)處理，判斷這些操作的參數(shù)是否正確，以及計(jì)算操作影響數(shù)據(jù)的范圍；如果不滿足條件，則直接返回給客戶端，否則直接壓入操作隊(duì)列；
判斷模塊：預(yù)處理模塊完成之后流程進(jìn)入判斷模塊，在判斷模塊中對(duì)客戶端發(fā)送的請(qǐng)求操作進(jìn)行判斷處理，根據(jù)操作對(duì)數(shù)據(jù)的影響范圍來(lái)判斷該操作是否為糾刪碼條帶對(duì)齊的操作，非對(duì)齊的操作需要讀取源數(shù)據(jù)補(bǔ)充成對(duì)齊的操作；
提交模塊：循環(huán)處理Write隊(duì)列中的操作，如果為糾刪碼條帶對(duì)齊的操作，則將該操作內(nèi)存中的數(shù)據(jù)生成相應(yīng)的事務(wù)，提交給海量存儲(chǔ)系統(tǒng)后端，并繼續(xù)處理Write隊(duì)列中的后續(xù)的操作；如果是非糾刪碼條帶對(duì)齊的操作，則該操作需要等待之前的所有操作落盤成功后，再讀取源數(shù)據(jù)補(bǔ)齊為對(duì)齊的操作并提交，直到Write隊(duì)列中的操作提交完成。
本發(fā)明的有益效果為：
本發(fā)明由原來(lái)的串行化處理操作優(yōu)化成并行提交多個(gè)糾刪條帶對(duì)齊的操作；優(yōu)化方法既能夠保證客戶端操作的順序性，又能夠提高寫(xiě)入效率，可以避免由于串行化提交導(dǎo)致存儲(chǔ)系統(tǒng)后端IO壓力不夠，從而發(fā)揮海量存儲(chǔ)系統(tǒng)的處理讀寫(xiě)IO的能力。
附圖說(shuō)明
圖1為本發(fā)明方法流程圖。
具體實(shí)施方式
下面根據(jù)說(shuō)明書(shū)附圖，結(jié)合具體實(shí)施方式對(duì)本發(fā)明進(jìn)一步說(shuō)明：
實(shí)施例1
基于NVRAM存儲(chǔ)系統(tǒng)直接糾刪碼的優(yōu)化方法，所述方法針對(duì)Write隊(duì)列中的操作,先判斷該操作是否是糾刪碼條帶對(duì)齊的操作；如果是糾刪碼條帶對(duì)齊的操作,則將該操作生成相應(yīng)的事務(wù)并提交，繼續(xù)判斷提交糾刪碼對(duì)齊的事務(wù)；如果該操作不是糾刪碼條帶對(duì)齊的操作，則該操作將不會(huì)提交，等到之前的所有操作處理完成后；再讀取源數(shù)據(jù)補(bǔ)齊為糾刪碼條帶對(duì)齊的操作再提交。
該方法主要優(yōu)化待處理Write隊(duì)列中的操作提交方式；不再單純的將Write隊(duì)列中的操作進(jìn)行串行化提交，而是根據(jù)Write隊(duì)列中的操作是否為糾刪條帶對(duì)齊的操作進(jìn)行并行化提交；這樣可以避免由于串行化提交導(dǎo)致存儲(chǔ)系統(tǒng)后端IO壓力不夠，從而發(fā)揮海量存儲(chǔ)系統(tǒng)的處理IO的能力，充分發(fā)揮硬件的性能。
實(shí)施例2
在實(shí)施例1的基礎(chǔ)上，本實(shí)施例所述方法通過(guò)三個(gè)部分：預(yù)處理模塊、判斷模塊、提交模塊實(shí)現(xiàn)，其中：
預(yù)處理模塊:當(dāng)海量存儲(chǔ)系統(tǒng)的服務(wù)器端收到客戶端發(fā)送的操作,預(yù)處理模塊首先對(duì)這些操作進(jìn)行預(yù)處理，判斷這些操作的參數(shù)是否正確，以及計(jì)算操作影響數(shù)據(jù)的范圍等；如果不滿足條件，則直接返回給客戶端，否則直接壓入操作隊(duì)列；
判斷模塊:預(yù)處理模塊完成之后流程進(jìn)入判斷模塊，在判斷模塊中對(duì)客戶端發(fā)送的請(qǐng)求操作進(jìn)行判斷處理，根據(jù)操作對(duì)數(shù)據(jù)的影響范圍來(lái)判斷該操作是否為糾刪碼條帶對(duì)齊的操作，非對(duì)齊的操作需要讀取源數(shù)據(jù)補(bǔ)充成對(duì)齊的操作；
提交模塊:循環(huán)處理Write隊(duì)列中的操作，如果為糾刪碼條帶對(duì)齊的操作，則將該操作內(nèi)存中的數(shù)據(jù)生成相應(yīng)的事務(wù)，提交給海量存儲(chǔ)系統(tǒng)后端，并繼續(xù)處理Write隊(duì)列中的后續(xù)的操作；如果是非糾刪碼條帶對(duì)齊的操作，則該操作需要等待之前的所有操作落盤成功后，再讀取源數(shù)據(jù)補(bǔ)齊為對(duì)齊的操作并提交，直到Write隊(duì)列中的操作提交完成。
實(shí)施例3
如圖1所示，在實(shí)施例2的基礎(chǔ)上，本實(shí)施例所述方法主要在軟件層面實(shí)現(xiàn)，具體流程如下：
1）客戶端發(fā)送操作請(qǐng)求；
2）預(yù)處理模塊判斷客戶端的操作是否合法；
3）判斷模塊根據(jù)這些操作影響的數(shù)據(jù)的范圍信息判斷是否為糾刪碼條帶對(duì)齊的操作；
4）提交模塊，根據(jù)判斷模塊的結(jié)果循環(huán)處理Write隊(duì)列中的操作，如果為糾刪碼條帶對(duì)齊的操作則生成相應(yīng)的事務(wù)并提交，再繼續(xù)處理后續(xù)的操作；如果為非糾刪碼條帶對(duì)齊的操作，則等待該操作之前的所有操作落盤成功后，再讀取源數(shù)據(jù)補(bǔ)齊為糾刪碼條帶對(duì)齊的操作繼續(xù)提交，直到Write隊(duì)列中所有的操作提交完成。
實(shí)施例4
基于NVRAM存儲(chǔ)系統(tǒng)直接糾刪碼的優(yōu)化系統(tǒng)，所述系統(tǒng)包括三個(gè)部分：預(yù)處理模塊、判斷模塊、提交模塊，其中：
預(yù)處理模塊：當(dāng)NVRAM海量存儲(chǔ)系統(tǒng)的服務(wù)器端收到客戶端發(fā)送的操作,預(yù)處理模塊首先對(duì)這些操作進(jìn)行預(yù)處理，判斷這些操作的參數(shù)是否正確，以及計(jì)算操作影響數(shù)據(jù)的范圍；如果不滿足條件，則直接返回給客戶端，否則直接壓入操作隊(duì)列；
判斷模塊：預(yù)處理模塊完成之后流程進(jìn)入判斷模塊，在判斷模塊中對(duì)客戶端發(fā)送的請(qǐng)求操作進(jìn)行判斷處理，根據(jù)操作對(duì)數(shù)據(jù)的影響范圍來(lái)判斷該操作是否為糾刪碼條帶對(duì)齊的操作，非對(duì)齊的操作需要讀取源數(shù)據(jù)補(bǔ)充成對(duì)齊的操作；
提交模塊：循環(huán)處理Write隊(duì)列中的操作，如果為糾刪碼條帶對(duì)齊的操作，則將該操作內(nèi)存中的數(shù)據(jù)生成相應(yīng)的事務(wù)，提交給海量存儲(chǔ)系統(tǒng)后端，并繼續(xù)處理Write隊(duì)列中的后續(xù)的操作；如果是非糾刪碼條帶對(duì)齊的操作，則該操作需要等待之前的所有操作落盤成功后，再讀取源數(shù)據(jù)補(bǔ)齊為對(duì)齊的操作并提交，直到Write隊(duì)列中的操作提交完成。
實(shí)施方式僅用于說(shuō)明本發(fā)明，而并非對(duì)本發(fā)明的限制，有關(guān)技術(shù)領(lǐng)域的普通技術(shù)人員，在不脫離本發(fā)明的精神和范圍的情況下，還可以做出各種變化和變型，因此所有等同的技術(shù)方案也屬于本發(fā)明的范疇，本發(fā)明的專利保護(hù)范圍應(yīng)由權(quán)利要求限定。