專利名稱：一種數(shù)據(jù)處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及分層存儲在文件處理的應(yīng)用領(lǐng)域，尤其涉及的是，一種數(shù)據(jù)處理方法。
背景技術(shù)：
相對于較為廉價的基礎(chǔ)存儲系統(tǒng)，具備同樣存儲空間的快速存儲系統(tǒng)總是較為昂貴，例如SCSI存儲系統(tǒng)相對于IDE存儲系統(tǒng)較為昂貴，現(xiàn)在，新的固態(tài)硬盤(SSD，SolidState Disk)存儲系統(tǒng)相對于串行高級技術(shù)附件(SATA, Serial Advanced TechnologyAttachment)存儲系統(tǒng)也是如此。這是技術(shù)發(fā)展的趨勢，通常不會改變。但是，凡是涉及大型文件，例如媒體資源、三維構(gòu)圖、設(shè)計數(shù)據(jù)或者石油勘探數(shù)據(jù)等文件，通常體積較大，或稱為大小較大；例如,常常大于200兆、350兆、500MB等，或者大于I個GB，尤其是現(xiàn)在對于視頻文件清晰度要求的不斷提高，視頻文件的大小越來越大，如果一律采用快速存儲系統(tǒng)，則成本明顯偏高，性價比偏低。因此，現(xiàn)有技術(shù)存在缺陷，需要改進。

發(fā)明內(nèi)容
本發(fā)明所 要解決的技術(shù)問題是提供一種新型的在大型文件處理中應(yīng)用分層存儲技術(shù)的數(shù)據(jù)處理方法。本發(fā)明的技術(shù)方案如下:數(shù)據(jù)處理方法，其包括讀取步驟:獲得文件請求，判斷目標文件是否位于快速存儲系統(tǒng)，是則從快速存儲系統(tǒng)中將所述目標文件進行反饋傳輸，否則從基礎(chǔ)存儲系統(tǒng)中將所述目標文件進行反饋傳輸。優(yōu)選的，所述數(shù)據(jù)處理方法中，所述讀取步驟中，在從基礎(chǔ)存儲系統(tǒng)中將目標文件進行反饋傳輸時，還執(zhí)行以下存儲步驟:從基礎(chǔ)存儲系統(tǒng)中將目標文件存儲到快速存儲系統(tǒng)。優(yōu)選的，所述數(shù)據(jù)處理方法還包括管理步驟:維護文件管理表，其中存儲文件的位置信息，所述位置信息包括所述基礎(chǔ)存儲系統(tǒng)以及所述快速存儲系統(tǒng)；并且，所述讀取步驟中，根據(jù)所述文件管理表，判斷目標文件是否位于所述快速存儲系統(tǒng)。優(yōu)選的，所述數(shù)據(jù)處理方法還包括編輯步驟:獲得編輯請求，判斷目標文件是否位于快速存儲系統(tǒng)，是則在所述快速存儲系統(tǒng)中將所述目標文件進行編輯，否則在所述基礎(chǔ)存儲系統(tǒng)中將所述目標文件轉(zhuǎn)存到所述快速存儲系統(tǒng)，在所述快速存儲系統(tǒng)中將所述目標文件進行編輯。優(yōu)選的，所述數(shù)據(jù)處理方法中，所述管理步驟中，所述維護文件管理表，還存儲文件的更新信息。 優(yōu)選的，所述數(shù)據(jù)處理方法中，所述快速存儲系統(tǒng)包含固態(tài)硬盤或固態(tài)硬盤組，所述基礎(chǔ)存儲系統(tǒng)包含串行聞級技術(shù)附件或串行聞級技術(shù)附件組。優(yōu)選的，所述數(shù)據(jù)處理方法中，所述管理步驟還包括第一更新步驟:根據(jù)所述文件管理表，對于所述快速存儲系統(tǒng)的某一文件，判斷其上一次文件請求的時間是否超過一預(yù)設(shè)置閾值，是則從所述快速存儲系統(tǒng)刪除該文件，更新所述文件管理表。優(yōu)選的，所述數(shù)據(jù)處理方法中，所述第一更新步驟中，在從所述快速存儲系統(tǒng)刪除該文件之前，還執(zhí)行第一同步步驟:判斷該文件是否存在更新信息，是則將該文件從所述快速存儲系統(tǒng)傳輸?shù)剿龌A(chǔ)存儲系統(tǒng)。優(yōu)選的，所述數(shù)據(jù)處理方法中，所述管理步驟還包括第二更新步驟:根據(jù)所述文件請求，對于相同目標文件，判斷在一預(yù)設(shè)置閾值內(nèi)是否存在新發(fā)生的文件請求，否則從所述快速存儲系統(tǒng)刪除該文件，更新所述文件管理表。優(yōu)選的，所述數(shù)據(jù)處理方法中，所述第二更新步驟中，在從所述快速存儲系統(tǒng)刪除該文件之前，還執(zhí)行第二同步步驟:判斷該文件是否存在更新信息，是則將該文件從所述快速存儲系統(tǒng)傳輸?shù)剿龌A(chǔ)存儲系統(tǒng)。采用上述方案，本發(fā)明采用分層存儲的方式，有效地利用了快速存儲系統(tǒng)，提高了快速存儲系統(tǒng)的應(yīng)用效率，從而在有限快速存儲系統(tǒng)的前提下有效提升了數(shù)據(jù)處理效率，解決了在大型文件處理過程中，高頻率讀寫速率低下的問題，尤其適用于媒資制作、三維圖像處理、石油勘探數(shù)據(jù)等大型數(shù)據(jù)文件，因此具有非常廣泛的市場應(yīng)用價值。


圖1為本發(fā)明的一個實施例的應(yīng)用示意圖；圖2為本發(fā)明的一個實施例的示意圖；圖3為本發(fā)明的又一個實施例的示意圖。
具體實施例方式為了便于 理解本發(fā)明，下面結(jié)合附圖和具體實施例，對本發(fā)明進行更詳細的說明。附圖中給出了本發(fā)明的較佳的實施例。但是，本發(fā)明可以以許多不同的形式來實現(xiàn)，并不限于本說明書所描述的實施例。相反地，提供這些實施例的目的是使對本發(fā)明的公開內(nèi)容的理解更加透徹全面。需要說明的是，除非另有定義，本說明書所使用的所有的技術(shù)和科學(xué)術(shù)語與屬于本發(fā)明的技術(shù)領(lǐng)域的技術(shù)人員通常理解的含義相同。本說明書中在本發(fā)明的說明書中所使用的術(shù)語只是為了描述具體的實施例的目的，不是用于限制本發(fā)明。本說明書所使用的術(shù)語“和/或”包括一個或多個相關(guān)的所列項目的任意的和所有的組合。如圖2所示，本發(fā)明的一個實施例是，數(shù)據(jù)處理方法，其包括讀取步驟:獲得文件請求，判斷目標文件是否位于快速存儲系統(tǒng)，是則從快速存儲系統(tǒng)中將所述目標文件進行反饋傳輸，否則從基礎(chǔ)存儲系統(tǒng)中將所述目標文件進行反饋傳輸。優(yōu)選的，如圖3所示，所述讀取步驟中，在從基礎(chǔ)存儲系統(tǒng)中將目標文件進行反饋傳輸時，還執(zhí)行以下存儲步驟:從基礎(chǔ)存儲系統(tǒng)中將目標文件存儲到快速存儲系統(tǒng)。優(yōu)選的，存儲步驟之前，還執(zhí)行篩選步驟:判斷目標文件的大小大于一預(yù)設(shè)值時，則執(zhí)行存儲步驟，否則不執(zhí)行存儲步驟。例如，僅存儲大于一預(yù)設(shè)值的目標文件，例如，預(yù)設(shè)值為20MB、50MB、200MB、500MB、1GB或者2GB等。例如，預(yù)設(shè)值為60兆、200兆或800兆。這樣，對于一般的小文件，則無需采用快速存儲系統(tǒng)，從而節(jié)約優(yōu)勢資源的利用率，提高整體系統(tǒng)的效率比。又如，篩選步驟中還執(zhí)行分析步驟:對于被請求次數(shù)或被請求頻率較高的文件，則無論其大小，一律執(zhí)行存儲步驟，從基礎(chǔ)存儲系統(tǒng)中將目標文件存儲到快速存儲系統(tǒng)。例如，累計各個文件的被請求次數(shù)，判斷其是否高于一個預(yù)設(shè)次數(shù)數(shù)值，例如5次、10次、20次等等，依實際情況靈活設(shè)置并調(diào)整，或者，計算各個文件的被請求頻率，判斷其是否高于一個預(yù)設(shè)頻率數(shù)值，例如，高于2次/小時、4次/分鐘、6次/2小時、8次/3小時等等，依實際情況靈活設(shè)置并調(diào)整；對于被請求次數(shù)高于預(yù)設(shè)次數(shù)數(shù)值或被請求頻率高于預(yù)設(shè)頻率數(shù)值的文件，則無論其大小，一律執(zhí)行存儲步驟，從基礎(chǔ)存儲系統(tǒng)中將目標文件存儲到快速存儲系統(tǒng)。又如，判斷文件是否為常用，即判斷文件是否為高頻率讀寫的文件，如果為高頻率讀寫的文件也可以執(zhí)行將文件保存到SSD中的步驟；又如，對于三個小時之內(nèi)被請求了超過10次的文件，無論其大小，從基礎(chǔ)存儲系統(tǒng)中將目標文件存儲到快速存儲系統(tǒng)。優(yōu)選的，與后續(xù)相關(guān)實施例相結(jié)合，分析步驟中還執(zhí)行延時步驟:對于被請求次數(shù)或被請求頻率較高的文件，延長其預(yù)設(shè)置閾值，例如，一般文件在2小時內(nèi)沒有后續(xù)請求，則從快速存儲系統(tǒng)刪除，而對于被請求次數(shù)或被請求頻率較高的文件，則在3小時或者5小時內(nèi)沒有后續(xù)請求，才從快速存儲系統(tǒng)刪除。優(yōu)選的，與后續(xù)相關(guān)實施例相結(jié)合，還包括更新文件管理表中的文件相關(guān)信息的步驟。優(yōu)選的，判斷目標文件是否位于快速存儲系統(tǒng)之前，還執(zhí)行大型文件判斷步驟:判斷目標文件的大小是否大于一預(yù)設(shè)值，是則判斷目標文件是否位于快速存儲系統(tǒng)，否則直接從基礎(chǔ)存儲系統(tǒng)中將所述目標文件進行反饋傳輸。例如，預(yù)設(shè)值為150MB、900MB、1GB或者2GB、8GB、26GB等。例如，預(yù)設(shè)值為160兆，即160Megabyte，或預(yù)設(shè)值為400兆。本發(fā)明各實施例對該預(yù)設(shè)值不做額外限制，只需依據(jù)實際應(yīng)用情況對其進行定義即可。又如，判斷目標文件是否位于快速存儲系統(tǒng)之前，還執(zhí)行特殊格式文件判斷步驟:判斷目標文件是否為特殊格式文件，例如視頻文件、音頻文件、3D文件、大型數(shù)據(jù)存儲文件等，是則判斷目標文件是否位于快速存儲系統(tǒng)，否則直接從基礎(chǔ)存儲系統(tǒng)中將所述目標文件進行反饋傳輸。優(yōu)選的，特殊格式文件判斷步驟還包括:反饋傳輸，包括將目標文件直接從存儲系統(tǒng)，包括快速存儲系統(tǒng)和/或基礎(chǔ)存儲系統(tǒng)，傳輸給文件請求方；和/或，將目標文件從存儲系統(tǒng)傳輸?shù)轿募徽埱蠓?，然后再從文件被請求方傳輸給文件請求方。優(yōu)選的，反饋傳輸將目標文件直接從存儲系統(tǒng)直接傳輸給文件請求方。優(yōu)選的，所述數(shù)據(jù)處理方法還包括管理 步驟:維護文件管理表，其中存儲文件的位置信息，所述位置信息包括所述基礎(chǔ)存儲系統(tǒng)以及所述快速存儲系統(tǒng)；并且，所述讀取步驟中，根據(jù)所述文件管理表，判斷目標文件是否位于所述快速存儲系統(tǒng)。優(yōu)選的，所述管理步驟還包括初始化步驟:預(yù)讀基礎(chǔ)存儲系統(tǒng)以及快速存儲系統(tǒng)的文件信息，生成所述文件管理表。優(yōu)選的，所述文件管理表中的文件，僅包括大型數(shù)據(jù)文件，例如媒體資源文件等。例如，其中的視頻文件的格式包括但不限于AV1、MPG、MP4、RM、RMVB, WMV, MOV、DAT、MTV、VOB等。優(yōu)選的，所述文件管理表中僅包括大小大于一預(yù)設(shè)值的文件，例如，預(yù)設(shè)值為500MB或者IGB或者2GB等。例如，預(yù)設(shè)值為100兆或800兆。例如，文件管理表，包括以下信息中的一項或多項或全部:文件名稱、大小、類型、存儲位置、修改時間、創(chuàng)建日期、所有者、版權(quán)人、版權(quán)信息、持續(xù)時間、分辨率、幀數(shù)據(jù)等。優(yōu)選的，所述數(shù)據(jù)處理方法還包括編輯步驟:獲得編輯請求，判斷目標文件是否位于快速存儲系統(tǒng)，是則在所述快速存儲系統(tǒng)中將所述目標文件進行編輯，否則在所述基礎(chǔ)存儲系統(tǒng)中將所述目標文件轉(zhuǎn)存到所述快速存儲系統(tǒng)，在所述快速存儲系統(tǒng)中將所述目標文件進行編輯。優(yōu)選的，所述管理步驟中，所述維護文件管理表，還存儲文件的更新信息。優(yōu)選的，所述管理步驟還包括第一更新步驟:根據(jù)所述文件管理表，對于所述快速存儲系統(tǒng)的某一文件，判斷其上一次文件請求的時間是否超過一預(yù)設(shè)置閾值，是則從所述快速存儲系統(tǒng)刪除該文件，更新所述文件管理表。優(yōu)選的，所述第一更新步驟中，在從所述快速存儲系統(tǒng)刪除該文件之前，還執(zhí)行第一同步步驟:判斷該文件是否存在更新信息，是則將該文件從所述快速存儲系統(tǒng)傳輸?shù)剿龌A(chǔ)存儲系統(tǒng)?；蛘撸龉芾聿襟E還包括第二更新步驟:根據(jù)所述文件請求，對于相同目標文件，判斷在一預(yù)設(shè)置閾值內(nèi)是否存在新發(fā)生的文件請求，否則從所述快速存儲系統(tǒng)刪除該文件，更新所述文件管理表。例如，文件請求發(fā)生時，對其設(shè)置一定時器，例如5分鐘、10分鐘、60分鐘、12小時、或24小時等，在預(yù)設(shè)置閾值內(nèi)，例如，超過了 2小時，如果沒有新發(fā)生的文件請求，則從所述快速存儲系統(tǒng)刪除該文件，更新所述文件管理表。優(yōu)選的，所述第二更新步驟中，在從所述快速存儲系統(tǒng)刪除該文件之前，還執(zhí)行第二同步步驟:判斷該文件是否存在更新信息，是則將該文件從所述快速存儲系統(tǒng)傳輸?shù)剿龌A(chǔ)存儲系統(tǒng)。與上述任一實施例結(jié)合應(yīng)用，優(yōu)選的，所述快速存儲系統(tǒng)包含固態(tài)硬盤或固態(tài)硬盤組，所述基礎(chǔ)存儲系統(tǒng)包含串行高級技術(shù)附件或串行高級技術(shù)附件組。例如，所述快速存儲系統(tǒng)為一固態(tài)硬盤，所述基礎(chǔ)存儲系統(tǒng)為一串行高級技術(shù)附件；又如，所述快速存儲系統(tǒng)為多個固態(tài)硬盤的組合，所述基礎(chǔ)存儲系統(tǒng)為多個串行高級技術(shù)附件的組合；又如，所述快速存儲系統(tǒng)包含固態(tài)硬盤與SATA存儲裝置，所述基礎(chǔ)存儲系統(tǒng)包含SATA存儲裝置與IDE存儲裝置等。進一步地，本發(fā)明的實施例還包括，上述各實施例的各技術(shù)特征所組合形成可實施的數(shù)據(jù)處理方法。需要說明的是，上述各技術(shù)特征繼續(xù)相互組合，形成未在上面列舉的各種實施例，均視為本發(fā)明說明 書記載的范圍；并且，對本領(lǐng)域普通技術(shù)人員來說，可以根據(jù)上述說明加以改進或變換，而所有這些改進和變換都應(yīng)屬于本發(fā)明所附權(quán)利要求的保護范圍。
權(quán)利要求
1.一種數(shù)據(jù)處理方法，其特征在于，包括讀取步驟:獲得文件請求，判斷目標文件是否位于快速存儲系統(tǒng)，是則從快速存儲系統(tǒng)中將所述目標文件進行反饋傳輸，否則從基礎(chǔ)存儲系統(tǒng)中將所述目標文件進行反饋傳輸。
2.根據(jù)權(quán)利要求1所述數(shù)據(jù)處理方法，其特征在于，所述讀取步驟中，在從基礎(chǔ)存儲系統(tǒng)中將目標文件進行反饋傳輸時，還執(zhí)行以下存儲步驟:從基礎(chǔ)存儲系統(tǒng)中將目標文件存儲到快速存儲系統(tǒng)。
3.根據(jù)權(quán)利要求2所述數(shù)據(jù)處理方法，其特征在于，還包括管理步驟:維護文件管理表，其中存儲文件的位置信息，所述位置信息包括所述基礎(chǔ)存儲系統(tǒng)以及所述快速存儲系統(tǒng)； 并且，所述讀取步驟中，根據(jù)所述文件管理表，判斷目標文件是否位于所述快速存儲系統(tǒng)。
4.根據(jù)權(quán)利要求3所述數(shù)據(jù)處理方法，其特征在于，還包括編輯步驟:獲得編輯請求，判斷目標文件是否位于快速存儲系統(tǒng)，是則在所述快速存儲系統(tǒng)中將所述目標文件進行編輯，否則在所述基礎(chǔ)存儲系統(tǒng)中將所述目標文件轉(zhuǎn)存到所述快速存儲系統(tǒng)，在所述快速存儲系統(tǒng)中將所述目標文件進行編輯。
5.根據(jù)權(quán)利要求4所述數(shù)據(jù)處理方法，其特征在于，所述管理步驟中，所述維護文件管理表，還存儲文件的更新信息。
6.根據(jù)權(quán)利要求1至5任一所述數(shù)據(jù)處理方法，其特征在于，所述快速存儲系統(tǒng)包含固態(tài)硬盤或固態(tài)硬盤組，所述基礎(chǔ)存儲系統(tǒng)包含串行高級技術(shù)附件或串行高級技術(shù)附件組。
7.根據(jù)權(quán)利要求6所述數(shù)據(jù)處理方法，其特征在于，所述管理步驟還包括第一更新步驟:根據(jù)所述 文件管理表，對于所述快速存儲系統(tǒng)的某一文件，判斷其上一次文件請求的時間是否超過一預(yù)設(shè)置閾值，是則從所述快速存儲系統(tǒng)刪除該文件，更新所述文件管理表。
8.根據(jù)權(quán)利要求7所述數(shù)據(jù)處理方法，其特征在于，所述第一更新步驟中，在從所述快速存儲系統(tǒng)刪除該文件之前，還執(zhí)行第一同步步驟:判斷該文件是否存在更新信息，是則將該文件從所述快速存儲系統(tǒng)傳輸?shù)剿龌A(chǔ)存儲系統(tǒng)。
9.根據(jù)權(quán)利要求6所述數(shù)據(jù)處理方法，其特征在于，所述管理步驟還包括第二更新步驟:根據(jù)所述文件請求，對于相同目標文件，判斷在一預(yù)設(shè)置閾值內(nèi)是否存在新發(fā)生的文件請求，否則從所述快速存儲系統(tǒng)刪除該文件，更新所述文件管理表。
10.根據(jù)權(quán)利要求9所述數(shù)據(jù)處理方法，其特征在于，所述第二更新步驟中，在從所述快速存儲系統(tǒng)刪除該文件之前，還執(zhí)行第二同步步驟:判斷該文件是否存在更新信息，是則將該文件從所述快速存儲系統(tǒng)傳輸?shù)剿龌A(chǔ)存儲系統(tǒng)。
全文摘要
本發(fā)明公開了一種在大型文件處理中應(yīng)用分層存儲技術(shù)的數(shù)據(jù)處理方法，其包括讀取步驟獲得文件請求，判斷目標文件是否位于快速存儲系統(tǒng)，是則從快速存儲系統(tǒng)中將所述目標文件進行反饋傳輸，否則從基礎(chǔ)存儲系統(tǒng)中將所述目標文件進行反饋傳輸。采用上述方案，本發(fā)明采用分層存儲的方式，有效地利用了快速存儲系統(tǒng)，提高了快速存儲系統(tǒng)的應(yīng)用效率，從而在有限快速存儲系統(tǒng)的前提下有效提升了數(shù)據(jù)處理效率，解決了在大型文件處理過程中高頻率讀寫速率低下的問題，具有非常廣泛的市場應(yīng)用價值。
文檔編號G06F17/30GK103218462SQ20131017808
公開日2013年7月24日 申請日期2013年5月13日 優(yōu)先權(quán)日2013年5月13日
發(fā)明者羅學(xué)波 申請人:深圳市中博科創(chuàng)信息技術(shù)有限公司