一種數(shù)據(jù)處理方法及裝置的制造方法
【技術領域】
[0001]本發(fā)明涉及視頻監(jiān)控技術領域，尤其涉及一種數(shù)據(jù)處理方法及裝置。
【背景技術】
[0002]在視頻監(jiān)控應用領域，當存儲設備陣列中多塊磁盤故障時，可能會導致陣列失效，進而導致無法正常讀寫視頻數(shù)據(jù)。
[0003]針對上述問題，現(xiàn)有技術中，通常采用陣列備份或設備備份的方式，保證視頻數(shù)據(jù)讀寫的可靠性，即當陣列失效時，將該陣列的在線視頻業(yè)務備份到冗余陣列或冗余設備上。
[0004]然而實踐發(fā)現(xiàn)，現(xiàn)有陣列備份或設備備份的實現(xiàn)方式中，為了保證備份陣列或設備與原存儲設備陣列數(shù)和陣列的磁盤數(shù)一致，需要預留大量的冗余備份空間甚至冗余設備，存儲空間資源消耗過大。

【發(fā)明內(nèi)容】

[0005]本發(fā)明提供一種數(shù)據(jù)處理方法及裝置，以解決現(xiàn)有陣列備份或設備備份的實現(xiàn)方式中需要預留大量的冗余備份空間甚至冗余設備，存儲空間資源消耗過大的問題。
[0006]根據(jù)本發(fā)明實施例的第一方面，提供一種數(shù)據(jù)處理方法，包括:
[0007]當陣列重建過程中發(fā)生目標磁盤失效時，在所述陣列中加入新的磁盤，以替代所述目標磁盤響應數(shù)據(jù)讀寫，并更新所述陣列對應的條帶屬性；其中，舊的數(shù)據(jù)條帶中所述新的磁盤上的數(shù)據(jù)為無效數(shù)據(jù)，新的數(shù)據(jù)條帶中所述新的磁盤上的數(shù)據(jù)為有效數(shù)據(jù)，所述舊的數(shù)據(jù)條帶和所述新的數(shù)據(jù)條帶均為所述新的磁盤所在條帶，所述舊的數(shù)據(jù)條帶為所述新的磁盤加入前寫入的數(shù)據(jù)所在條帶，所述新的數(shù)據(jù)條帶為所述新的磁盤加入后寫入的數(shù)據(jù)所在條帶；
[0008]當接收到數(shù)據(jù)讀取請求時，根據(jù)所述陣列對應的條帶屬性進行數(shù)據(jù)讀取。
[0009]根據(jù)本發(fā)明實施例的第二方面，提供一種數(shù)據(jù)處理裝置，包括:
[0010]陣列重建單元，用于當陣列重建過程中發(fā)生目標磁盤失效時，在所述陣列中加入新的磁盤，以替代所述目標磁盤響應數(shù)據(jù)讀寫，并更新所述陣列對應的條帶屬性；其中，舊的數(shù)據(jù)條帶中所述新的磁盤上的數(shù)據(jù)為無效數(shù)據(jù)，新的數(shù)據(jù)條帶中所述新的磁盤上的數(shù)據(jù)為有效數(shù)據(jù)，所述舊的數(shù)據(jù)條帶和所述新的數(shù)據(jù)條帶均為所述新的磁盤所在條帶，所述舊的數(shù)據(jù)條帶為所述新的磁盤加入前寫入的數(shù)據(jù)所在條帶，所述新的數(shù)據(jù)條帶為所述新的磁盤加入后寫入的數(shù)據(jù)所在條帶；
[0011]數(shù)據(jù)讀取單元，用于當接收到數(shù)據(jù)讀取請求時，根據(jù)所述陣列對應的條帶屬性進行數(shù)據(jù)讀取。
[0012]應用本發(fā)明實施例，當陣列重建過程中發(fā)生目標磁盤失效時，在該陣列中加入新的磁盤，以替代該目標磁盤響應數(shù)據(jù)讀寫，保證新寫入的數(shù)據(jù)的完整性和數(shù)據(jù)一致性；同時，通過更新陣列對應的條帶屬性，當接收到數(shù)據(jù)讀取請求時，根據(jù)自身記錄的條帶屬性進行數(shù)據(jù)讀取，保證新的數(shù)據(jù)條帶中的數(shù)據(jù)正常讀取，舊的數(shù)據(jù)條帶中的數(shù)據(jù)盡可能讀取，從而，在不需要預留大量冗余備份空間或者冗余設備的情況下，實現(xiàn)了新數(shù)據(jù)的正常讀寫，以及舊數(shù)據(jù)的盡可能讀取，降低了存儲空間資源消耗。
【附圖說明】
[0013]圖1是本發(fā)明實施例提供的一種數(shù)據(jù)處理方法的流程示意圖；
[0014]圖2A?2F是本發(fā)明實施例提供的RAID5陣列中磁盤故障或離線場景示意圖；
[0015]圖3是本發(fā)明實施例提供的一種存儲設備陣列重建過程中再次發(fā)生磁盤失效時的處理流程示意圖；
[0016]圖4是本發(fā)明實施例提供的一種數(shù)據(jù)處理裝置的結構示意圖；
[0017]圖5是本發(fā)明實施例提供的另一種數(shù)據(jù)處理裝置的結構示意圖。
【具體實施方式】
[0018]為了使本技術領域的人員更好地理解本發(fā)明實施例中的技術方案，并使本發(fā)明實施例的上述目的、特征和優(yōu)點能夠更加明顯易懂，下面結合附圖對本發(fā)明實施例中技術方案作進一步詳細的說明。
[0019]請參見圖1，圖1為本發(fā)明實施例提供的一種數(shù)據(jù)處理方法的流程示意圖，如圖1所示，該數(shù)據(jù)處理方法可以包括:
[0020]步驟101、當陣列重建過程中發(fā)生目標磁盤失效時，在該陣列中加入新的磁盤，以替代目標磁盤響應數(shù)據(jù)讀寫，并更新該陣列對應的條帶屬性；其中，舊的數(shù)據(jù)條帶中該新的磁盤上的數(shù)據(jù)為無效數(shù)據(jù)，新的數(shù)據(jù)條帶中該新的磁盤上的數(shù)據(jù)為有效數(shù)據(jù)，新的數(shù)據(jù)條帶和舊的數(shù)據(jù)條帶均為該新的磁盤所在條帶，舊的數(shù)據(jù)條帶為該新的磁盤加入前寫入的數(shù)據(jù)所在的條帶，新的數(shù)據(jù)條帶為該新的磁盤加入后寫入的數(shù)據(jù)所在條帶。
[0021]本發(fā)明實施例中，上述方法可以應用于視頻監(jiān)控應用領域中的用于存儲視頻監(jiān)控數(shù)據(jù)的存儲設備，為便于描述，以下以上述方法的執(zhí)行主體為存儲設備為例進行說明。
[0022]本發(fā)明實施例中，目標磁盤并不特指某一固定的磁盤，而是可以指代任一在陣列重建過程中失效時會導致陣列失效的磁盤。
[0023]本發(fā)明實施例中，當陣列中磁盤發(fā)生故障，且該故障未導致陣列失效(如RAID (Redundant Arrays of Independent Disks，磁盤陣列)5 中發(fā)生單個磁盤故障)時，存儲設備可以根據(jù)發(fā)生故障的磁盤的故障程度確定觸發(fā)拷貝重建或檢驗重建。
[0024]例如，當磁盤故障為磁盤中某個數(shù)據(jù)塊寫錯誤時，存儲設備可以觸發(fā)陣列進行拷貝重建，即在陣列中加入拷貝重建盤，對出現(xiàn)錯誤的數(shù)據(jù)塊根據(jù)陣列的校驗屬性進行重建，該磁盤中的其它數(shù)據(jù)塊進行拷貝迀移數(shù)據(jù)到拷貝重建盤；當磁盤故障為整個磁盤故障時，存儲設備可以觸發(fā)陣列進行校驗重建，即在陣列中加入校驗重建盤，并根據(jù)陣列的校驗屬性對發(fā)生故障的磁盤進行校驗重建。
[0025]本發(fā)明實施例中，當陣列重建(包括拷貝重建或校驗重建)過程中發(fā)生目標磁盤失效時，可以在該陣列中加入新的磁盤，以替代目標磁盤響應數(shù)據(jù)讀寫，進而，對于原目標磁盤所在的條帶，當需要進行數(shù)據(jù)寫入時，可以將數(shù)據(jù)寫入到原陣列中未發(fā)生故障的磁盤以及該新的磁盤中，從而可以保證數(shù)據(jù)寫入的完整性和一致性。
[0026]與此同時，為了對數(shù)據(jù)讀取進行優(yōu)化，在本發(fā)明實施例中，當在陣列中加入新的磁盤替代目標磁盤響應數(shù)據(jù)讀寫時，需要更新該陣列對應的條帶屬性(條帶屬性記錄該條帶上哪些磁盤數(shù)據(jù)為有效數(shù)據(jù))；其中，在新的磁盤所在條帶中該新的磁盤加入前寫入的數(shù)據(jù)所在的條帶(以下稱為舊的數(shù)據(jù)條帶)中，該新的磁盤上的數(shù)據(jù)為無效數(shù)據(jù)(或稱為錯誤數(shù)據(jù))，在新的磁盤所在條帶中該新的磁盤加入后寫入的數(shù)據(jù)所在的條帶(以下稱為新的數(shù)據(jù)條帶)中，該新的磁盤上的數(shù)據(jù)為有效數(shù)據(jù)，從而，當存儲設備接收到數(shù)據(jù)讀取請求時，可以根據(jù)自身記錄的陣列對應的條帶屬性進行數(shù)據(jù)讀取。
[0027]作為一種實施方式，在本發(fā)明實施例中，若陣列重建為校驗重建，則當陣列重建過程中發(fā)生目標磁盤失效時，還可以包括:
[0028]停止校驗重建；其中，已完成校驗重建的數(shù)據(jù)條帶中校驗重建盤上的數(shù)據(jù)為有效數(shù)據(jù)，未完成校驗重建的數(shù)據(jù)條帶中該校驗重建盤上的數(shù)據(jù)為無效數(shù)據(jù)。
[0029]具體的，在該實施方式中，若陣列重建為校驗重建，則當陣列重建過程中，目標磁盤失效時，陣列中的數(shù)據(jù)將無法通過校驗重建恢復，此時，存儲設備需要停止校驗重建；其中，對于已完成校驗重建的數(shù)據(jù)條帶，該數(shù)據(jù)條帶中校驗重建盤上的數(shù)據(jù)為有效數(shù)據(jù)，而對于未完成校驗重建的數(shù)據(jù)條帶，該數(shù)據(jù)條帶中校驗重建盤上的數(shù)據(jù)為無效數(shù)據(jù)。
[0030]舉例來說，以RAID5陣列為例，假設該陣列中包括4個磁盤(磁盤I?4)，當4個磁盤中任一(如磁盤2)發(fā)生故障時，存儲設備將會對該陣列進行校驗重建，若在校驗過程中，磁盤3發(fā)生故障，此時，RAID5陣列中存在2個故障磁盤，存儲設備無法進行校驗重