两个人的电影免费视频_国产精品久久久久久久久成人_97视频在线观看播放_久久这里只有精品777_亚洲熟女少妇二三区_4438x8成人网亚洲av_内谢国产内射夫妻免费视频_人妻精品久久久久中国字幕

一種數(shù)據(jù)恢復(fù)方法和裝置與流程

文檔序號:11582428閱讀:268來源:國知局
一種數(shù)據(jù)恢復(fù)方法和裝置與流程
本發(fā)明涉及計算機技術(shù),特別涉及一種數(shù)據(jù)恢復(fù)方法和裝置。
背景技術(shù)
:實時數(shù)據(jù)處理平臺能夠用于實時處理獲取到的業(yè)務(wù)數(shù)據(jù),并且可以將處理后的業(yè)務(wù)數(shù)據(jù)提供給其他業(yè)務(wù)系統(tǒng)使用。由于實時數(shù)據(jù)處理平臺的自身原因或其他所依賴系統(tǒng)的原因,可能會出現(xiàn)平臺處理數(shù)據(jù)異常的現(xiàn)象,此時就需要進行數(shù)據(jù)恢復(fù),使得平臺恢復(fù)至獲取到正確的數(shù)據(jù)?,F(xiàn)有技術(shù)中,實時數(shù)據(jù)處理平臺的數(shù)據(jù)恢復(fù),可以采用的其中一種方法即通過消息中間件,重新由數(shù)據(jù)源處獲取數(shù)據(jù),但是目前只能是設(shè)定消息中間件由數(shù)據(jù)源拉取數(shù)據(jù)的時間,在設(shè)定時間段內(nèi)的數(shù)據(jù)都要重新獲取,這種方式的缺點是會重復(fù)處理大量的正確數(shù)據(jù),造成時間和處理資源上的浪費。技術(shù)實現(xiàn)要素:有鑒于此,本發(fā)明提供一種數(shù)據(jù)恢復(fù)方法和裝置,以快速恢復(fù)數(shù)據(jù)。具體地,本發(fā)明是通過如下技術(shù)方案實現(xiàn)的:第一方面,提供一種數(shù)據(jù)恢復(fù)方法,所述方法用于對目標(biāo)數(shù)據(jù)進行恢復(fù),所述方法包括:當(dāng)所述目標(biāo)數(shù)據(jù)異常時,向提供所述目標(biāo)數(shù)據(jù)的數(shù)據(jù)源請求對恢復(fù)配合數(shù)據(jù)進行修改,其中該恢復(fù)配合數(shù)據(jù)是為目標(biāo)數(shù)據(jù)的恢復(fù)而設(shè)置;接收由修改恢復(fù)配合數(shù)據(jù)所觸發(fā)同步的目標(biāo)數(shù)據(jù),處理所述目標(biāo)數(shù)據(jù)。第二方面,提供一種數(shù)據(jù)恢復(fù)方法,所述方法用于對目標(biāo)數(shù)據(jù)進行恢復(fù),所述方法包括:接收對恢復(fù)配合數(shù)據(jù)進行修改的請求,所述恢復(fù)配合數(shù)據(jù)是為目標(biāo)數(shù)據(jù)的恢復(fù)而設(shè)置;在根據(jù)所述請求對所述恢復(fù)配合數(shù)據(jù)修改后,將與所述恢復(fù)配合數(shù)據(jù)對應(yīng)的目標(biāo)數(shù)據(jù)執(zhí)行同步。第三方面,提供一種數(shù)據(jù)恢復(fù)裝置,所述裝置應(yīng)用于對目標(biāo)數(shù)據(jù)進行恢復(fù);所述裝置包括:訂正請求模塊,用于當(dāng)目標(biāo)數(shù)據(jù)異常時,向提供所述目標(biāo)數(shù)據(jù)的數(shù)據(jù)源請求對恢復(fù)配合數(shù)據(jù)進行修改,其中該恢復(fù)配合數(shù)據(jù)是為目標(biāo)數(shù)據(jù)的恢復(fù)而設(shè)置;數(shù)據(jù)處理模塊,用于接收由修改恢復(fù)配合數(shù)據(jù)所觸發(fā)同步的目標(biāo)數(shù)據(jù),處理所述目標(biāo)數(shù)據(jù)。第四方面,提供一種數(shù)據(jù)恢復(fù)裝置,所述裝置應(yīng)用于對目標(biāo)數(shù)據(jù)進行恢復(fù),所述裝置包括:請求接收模塊,用于接收對恢復(fù)配合數(shù)據(jù)進行修改的請求,所述恢復(fù)配合數(shù)據(jù)是為目標(biāo)數(shù)據(jù)的恢復(fù)而設(shè)置;同步處理模塊,用于在根據(jù)所述請求對所述恢復(fù)配合數(shù)據(jù)修改后,將與所述恢復(fù)配合數(shù)據(jù)對應(yīng)的目標(biāo)數(shù)據(jù)執(zhí)行同步。第五方面,提供一種數(shù)據(jù)恢復(fù)系統(tǒng),所述系統(tǒng)應(yīng)用于實時數(shù)據(jù)處理平臺;所述系統(tǒng)包括:用于在目標(biāo)數(shù)據(jù)異常時,分別通過不同的獲取方式重新獲取所述目標(biāo)數(shù)據(jù)的多個模塊;其中,所述多個模塊包括:訂正請求模塊,用于當(dāng)目標(biāo)數(shù)據(jù)異常時,向提供所述目標(biāo)數(shù)據(jù)的數(shù)據(jù)源請求對恢復(fù)配合數(shù)據(jù)進行修改,,其中該恢復(fù)配合數(shù)據(jù)是為目標(biāo)數(shù)據(jù)的恢復(fù)而設(shè)置;數(shù)據(jù)處理模塊,用于接收由修改恢復(fù)配合數(shù)據(jù)所觸發(fā)同步的目標(biāo)數(shù)據(jù),重新處理所述目標(biāo)數(shù)據(jù)。本發(fā)明實施例的數(shù)據(jù)恢復(fù)方法和裝置,通過由實時數(shù)據(jù)處理平臺修改上游業(yè)務(wù)系統(tǒng)中要同步的數(shù)據(jù)的某一字段的值,從而觸發(fā)數(shù)據(jù)同步,這種方式可以有針對性的只觸發(fā)特定數(shù)據(jù)的同步,避免了處理大量已經(jīng)正確的數(shù)據(jù),節(jié)省了處理資源和時間,提高了數(shù)據(jù)恢復(fù)的效率。附圖說明圖1為本發(fā)明實施例提供的一種實時數(shù)據(jù)處理平臺的應(yīng)用架構(gòu);圖2為本發(fā)明實施例提供的一種數(shù)據(jù)恢復(fù)方法的流程圖;圖3為本發(fā)明實施例提供的一種數(shù)據(jù)恢復(fù)系統(tǒng)的結(jié)構(gòu)示意圖;圖4為本發(fā)明實施例提供的多種數(shù)據(jù)恢復(fù)方案的使用示意圖;圖5為本發(fā)明實施例提供的一種數(shù)據(jù)恢復(fù)裝置的結(jié)構(gòu)示意圖;圖6為本發(fā)明實施例提供的另一種數(shù)據(jù)恢復(fù)裝置的結(jié)構(gòu)示意圖。具體實施方式圖1示例了一種實時數(shù)據(jù)處理平臺的應(yīng)用架構(gòu),如圖1所示,實時數(shù)據(jù)處理平臺11所處理的業(yè)務(wù)數(shù)據(jù),可以是由上游業(yè)務(wù)系統(tǒng)12得到,并且,處理后的業(yè)務(wù)數(shù)據(jù)可以存儲在實時數(shù)據(jù)處理平臺的數(shù)據(jù)庫db(database)中,以供下游業(yè)務(wù)系統(tǒng)13使用這些數(shù)據(jù)。舉例如下:以用戶在網(wǎng)上購買商品作為示例,商品購買網(wǎng)站可以作為上游業(yè)務(wù)系統(tǒng)(例如,該網(wǎng)站的客戶端app、或者該網(wǎng)站的服務(wù)端,等),能夠獲取到用戶在網(wǎng)站進行購物操作時所生成的業(yè)務(wù)數(shù)據(jù),該業(yè)務(wù)數(shù)據(jù)可以包括所購買的商品、商品數(shù)量等。實時數(shù)據(jù)處理平臺在由上游業(yè)務(wù)系統(tǒng)獲取到業(yè)務(wù)數(shù)據(jù)后,需要實時處理這些數(shù)據(jù),所述的處理包括但不限于將業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)換為預(yù)定的數(shù)據(jù)格式后存儲進平臺的db中。而下游業(yè)務(wù)系統(tǒng)可以由平臺的db中獲取到最新存儲的業(yè)務(wù)數(shù)據(jù),并使用該業(yè)務(wù)數(shù)據(jù)進行相關(guān)業(yè)務(wù),例如,下游業(yè)務(wù)系統(tǒng)可以根據(jù)用戶購買的商品,分析用戶的購買喜好,進而向用戶進行廣告推薦。由上述示例可以看到,實時數(shù)據(jù)處理平臺11可以作為一個上游業(yè)務(wù)系統(tǒng)12與下游業(yè)務(wù)系統(tǒng)13之間的橋梁,上游業(yè)務(wù)系統(tǒng)12可以是產(chǎn)生業(yè)務(wù)數(shù)據(jù)的地方,下游業(yè)務(wù)系統(tǒng)13可以是使用業(yè)務(wù)數(shù)據(jù)的地方。而實時數(shù)據(jù)處理平臺11可以匯聚多個上游業(yè)務(wù)系統(tǒng)12產(chǎn)生的業(yè)務(wù)數(shù)據(jù),并將這些數(shù)據(jù)轉(zhuǎn)換成統(tǒng)一的格式進行存儲,以方便下游業(yè)務(wù)系統(tǒng)快速的查找和使用這些數(shù)據(jù),并且,實時數(shù)據(jù)處理平臺11還可以進行更多形式的數(shù)據(jù)處理,比如,數(shù)據(jù)匯總、數(shù)據(jù)統(tǒng)計等。此外,實時數(shù)據(jù)處理平臺11對數(shù)據(jù)的實時性處理要求較高,比如,如果不能快速的將最新產(chǎn)生的業(yè)務(wù)數(shù)據(jù)存入平臺的db,可能會對下游業(yè)務(wù)系統(tǒng)對該數(shù)據(jù)的使用造成影響。因此,當(dāng)實時數(shù)據(jù)處理平臺出現(xiàn)數(shù)據(jù)處理異常(例如,該異??梢允窍騞b存儲時失敗,或者進行數(shù)據(jù)格式轉(zhuǎn)換時出現(xiàn)錯誤,等)時,需要盡快的進行數(shù)據(jù)恢復(fù),所述的數(shù)據(jù)恢復(fù)例如可以是,再次向db存儲直至成功,或者重新對業(yè)務(wù)數(shù)據(jù)進行轉(zhuǎn)換和計算等處理。那么,在數(shù)據(jù)恢復(fù)之前,就需要重新獲取到異常處理之前的正確業(yè)務(wù)數(shù)據(jù),再對該業(yè)務(wù)數(shù)據(jù)重新處理。傳統(tǒng)方式中,對于實時數(shù)據(jù)處理平臺的數(shù)據(jù)恢復(fù),可以通過設(shè)定消息中間件由數(shù)據(jù)源(即上游業(yè)務(wù)系統(tǒng))拉取數(shù)據(jù)的時間段,在該時間段內(nèi)數(shù)據(jù)源產(chǎn)生的業(yè)務(wù)數(shù)據(jù)都會拉取過來重新處理,這樣難免會重復(fù)處理一定的未出現(xiàn)異常的數(shù)據(jù),既浪費平臺的處理資源,也會降低平臺的數(shù)據(jù)恢復(fù)效率。為了解決該問題,本申請實施例提供了一種數(shù)據(jù)恢復(fù)方法,在該方法中,將在數(shù)據(jù)發(fā)生處理異常時,向提供數(shù)據(jù)的數(shù)據(jù)源請求對該數(shù)據(jù)進行修改,以通過數(shù)據(jù)的修改觸發(fā)對該數(shù)據(jù)的同步機制,這樣就可以獲取到所同步的修改后的數(shù)據(jù),既可以盡快的恢復(fù)數(shù)據(jù),也能夠有針對性的觸發(fā)特定數(shù)據(jù)的同步,避免浪費平臺資源。可以參見圖2所示的一個數(shù)據(jù)恢復(fù)方法的例子,可以包括:在步驟201中,目標(biāo)數(shù)據(jù)處理異常。例如,本例子可以將實時數(shù)據(jù)處理平臺正在處理的數(shù)據(jù)稱為目標(biāo)數(shù)據(jù),數(shù)據(jù)處理異??梢允窍騞b存儲時失敗,或者進行數(shù)據(jù)格式轉(zhuǎn)換時出現(xiàn)錯誤等。在步驟202中,實時數(shù)據(jù)處理平臺向提供所述目標(biāo)數(shù)據(jù)的上游業(yè)務(wù)系統(tǒng)發(fā)送數(shù)據(jù)庫訂正請求。drc(datareplicationcenter,數(shù)據(jù)復(fù)制中心)是一種數(shù)據(jù)庫同步模式,當(dāng)數(shù)據(jù)庫中的某一條數(shù)據(jù)中包含的其中部分字段的數(shù)值有變更時,就會將該條數(shù)據(jù)中的所有字段進行同步。基于該原理,本例子中的實時數(shù)據(jù)處理平臺可以在目標(biāo)數(shù)據(jù)處理異常時,為了重新獲取處理前的該目標(biāo)數(shù)據(jù),可以向上游業(yè)務(wù)系統(tǒng)發(fā)送數(shù)據(jù)庫訂正請求,以通過數(shù)據(jù)修改觸發(fā)對目標(biāo)數(shù)據(jù)的同步。例如,目標(biāo)數(shù)據(jù)可以是由上游業(yè)務(wù)系統(tǒng)提供給實時數(shù)據(jù)處理平臺,上游業(yè)務(wù)系統(tǒng)是該目標(biāo)數(shù)據(jù)的數(shù)據(jù)源。本例子中,上游業(yè)務(wù)系統(tǒng)可以在數(shù)據(jù)庫的數(shù)據(jù)表中存儲目標(biāo)數(shù)據(jù),例如表1的示例,目標(biāo)數(shù)據(jù)即與業(yè)務(wù)相關(guān)的業(yè)務(wù)數(shù)據(jù),例如可以包括兩個字段“用戶賬號和商品標(biāo)識”,本例子中可以在原有的目標(biāo)數(shù)據(jù)的基礎(chǔ)上額外增加一個恢復(fù)配合字段,該字段只用于數(shù)據(jù)恢復(fù)使用,與業(yè)務(wù)數(shù)據(jù)無關(guān),字段值的變更不會對業(yè)務(wù)數(shù)據(jù)帶來任何影響。增加了恢復(fù)配合字段后,該字段的數(shù)據(jù)可以稱為恢復(fù)配合數(shù)據(jù),且該恢復(fù)配合數(shù)據(jù)用于對應(yīng)的目標(biāo)數(shù)據(jù)的恢復(fù)。比如,表1中的三個字段“jjmm-aabb-0”,其中的“jjmm-aabb”可以稱為目標(biāo)數(shù)據(jù),“0”即為與上述目標(biāo)數(shù)據(jù)對應(yīng)的恢復(fù)配合數(shù)據(jù),當(dāng)要恢復(fù)上述目標(biāo)數(shù)據(jù)“jjmm-aabb”時,就可以通過修改對應(yīng)的恢復(fù)配合數(shù)據(jù)“0”觸發(fā)對該目標(biāo)數(shù)據(jù)的同步。表1示例的數(shù)據(jù)結(jié)構(gòu)用戶賬號商品標(biāo)識恢復(fù)配合字段(額外增加)jjmmaabb0qqzzccdd1正是由于恢復(fù)配合字段與業(yè)務(wù)數(shù)據(jù)無關(guān),只是用于數(shù)據(jù)恢復(fù)時使用,所以數(shù)據(jù)庫訂正請求可以請求修改恢復(fù)配合字段為任意值。該恢復(fù)配合字段數(shù)值的改變,可以觸發(fā)數(shù)據(jù)同步,即數(shù)據(jù)庫中某條數(shù)據(jù)中有一個字段的值有變更時,就會將該條數(shù)據(jù)進行同步。基于此,本步驟實時數(shù)據(jù)處理平臺通過發(fā)送所述數(shù)據(jù)訂正請求,將用于請求數(shù)據(jù)源對恢復(fù)配合數(shù)據(jù)進行修改,以觸發(fā)數(shù)據(jù)同步。比如,實時數(shù)據(jù)處理平臺在處理業(yè)務(wù)數(shù)據(jù)時,目的是將業(yè)務(wù)數(shù)據(jù)“jjmm-aabb”存儲進平臺的db,在一個例子中,當(dāng)實時數(shù)據(jù)處理平臺在對數(shù)據(jù)進行格式轉(zhuǎn)換且轉(zhuǎn)換失敗時,可以請求將與目標(biāo)數(shù)據(jù)“jjmm-aabb”對應(yīng)的恢復(fù)配合數(shù)據(jù)“0”修改為“1”。又例如,在另一個例子中,當(dāng)表1中的目標(biāo)數(shù)據(jù)“qqzz-ccdd”異常時,可以請求將與該目標(biāo)數(shù)據(jù)對應(yīng)的恢復(fù)配合數(shù)據(jù)“1”進行修改,以觸發(fā)對該目標(biāo)數(shù)據(jù)的同步。在步驟203中,上游業(yè)務(wù)系統(tǒng)根據(jù)數(shù)據(jù)庫訂正請求,對目標(biāo)數(shù)據(jù)中的恢復(fù)配合數(shù)據(jù)進行修改。例如,本步驟發(fā)送的數(shù)據(jù)庫訂正請求,可以是sql(structuredquerylanguage,結(jié)構(gòu)化查詢語言)請求,該請求中可以包括:與所述恢復(fù)配合數(shù)據(jù)對應(yīng)的目標(biāo)數(shù)據(jù)的數(shù)據(jù)標(biāo)識、以及對所述恢復(fù)配合數(shù)據(jù)的修改值;即要同步的目標(biāo)數(shù)據(jù)的標(biāo)識,用于表示對哪些目標(biāo)數(shù)據(jù)進行同步,以及用于觸發(fā)這些目標(biāo)數(shù)據(jù)同步的對應(yīng)的恢復(fù)配合數(shù)據(jù)的修改值。再舉一個數(shù)據(jù)同步的例子如下:假設(shè)時間點a到時間點b,所有業(yè)務(wù)biz1的交易數(shù)據(jù)都發(fā)生異常,沒有被實時數(shù)據(jù)處理平臺正常處理。而這些數(shù)據(jù)是存儲在上游業(yè)務(wù)系統(tǒng)的數(shù)據(jù)表t中,并且,數(shù)據(jù)表t中包括很多字段,例如,可以包括業(yè)務(wù)標(biāo)識字段biz、業(yè)務(wù)交易時間字段time等,還有其他字段,這些與業(yè)務(wù)相關(guān)的各個字段中的數(shù)據(jù)可以統(tǒng)稱為目標(biāo)數(shù)據(jù)。此外,還包括用于恢復(fù)數(shù)據(jù)使用的恢復(fù)配合字段sync,該恢復(fù)配合字段中的數(shù)據(jù)可以稱為恢復(fù)配合數(shù)據(jù)。也就是說,在數(shù)據(jù)表t中可以包括很多條數(shù)據(jù),每一條數(shù)據(jù)都包括目標(biāo)數(shù)據(jù)對應(yīng)的各個字段、以及恢復(fù)配合數(shù)據(jù)對應(yīng)的恢復(fù)配合字段。本步驟中,數(shù)據(jù)庫訂正請求中可以包括:與所述恢復(fù)配合數(shù)據(jù)對應(yīng)的所述目標(biāo)數(shù)據(jù)的數(shù)據(jù)標(biāo)識、以及對所述恢復(fù)配合數(shù)據(jù)的修改值,例如,該請求的發(fā)送可以使用一個訂正語句,如下:updatet(表示對數(shù)據(jù)表t進行更新)setsync='changevalue'(表示要將恢復(fù)配合字段的值修改)wherebiz='biz1'and(time>=aandtime<b)(通過條件語句選擇了業(yè)務(wù)標(biāo)識是biz1,且時間段從a到b的所有數(shù)據(jù))在上述語句中,where語句所表示的信息可以是目標(biāo)數(shù)據(jù)的數(shù)據(jù)標(biāo)識,通過該語句限定的條件就可以將待修改的目標(biāo)數(shù)據(jù)選擇出來;并且,set語句限定了對恢復(fù)配合字段中的恢復(fù)配合數(shù)據(jù)的修改值。這樣,時間點a到時間點b的所有biz1數(shù)據(jù)記錄的恢復(fù)配合字段都會被更改,修改值即changevalue所表示的值。而根據(jù)drc數(shù)據(jù)同步機制的原理,該批數(shù)據(jù)將被觸發(fā)drc同步,來重新被實時數(shù)據(jù)平臺消費。在步驟204中,上游業(yè)務(wù)系統(tǒng)將目標(biāo)數(shù)據(jù)同步至實時數(shù)據(jù)處理平臺。例如,drc數(shù)據(jù)庫同步模塊可以將目標(biāo)數(shù)據(jù)“jjmm-aabb”同步至實時數(shù)據(jù)處理平臺。可選的,drc數(shù)據(jù)庫同步模塊可以將目標(biāo)數(shù)據(jù),發(fā)送至消息中間件,以通過消息中間件發(fā)送至所述實時數(shù)據(jù)處理平臺。步驟205中,實時數(shù)據(jù)處理平臺在接收到目標(biāo)數(shù)據(jù)后,重新處理該數(shù)據(jù)。例如,實時數(shù)據(jù)處理平臺可以接收到“jjmm-aabb”,平臺可以重新處理該數(shù)據(jù),將該數(shù)據(jù)中的“jjmm-aabb”向db存儲。本例子的數(shù)據(jù)恢復(fù)方法,可以通過由實時數(shù)據(jù)處理平臺修改上游業(yè)務(wù)系統(tǒng)中要同步的數(shù)據(jù)的某一字段的值,從而觸發(fā)數(shù)據(jù)同步,這種方式可以有針對性的只觸發(fā)特定數(shù)據(jù)的同步,避免了處理大量已經(jīng)正確的數(shù)據(jù),節(jié)省了處理資源和時間,提高了數(shù)據(jù)恢復(fù)的效率。在另一個例子中,實時數(shù)據(jù)處理平臺還可以針對不同的數(shù)據(jù)處理異常的場景,采用不同的數(shù)據(jù)恢復(fù)方法,以盡可能采用更低的成本和代價,更快的恢復(fù)數(shù)據(jù)。例如,本申請實施例為實時數(shù)據(jù)處理平臺設(shè)計了一套數(shù)據(jù)恢復(fù)系統(tǒng),該數(shù)據(jù)恢復(fù)系統(tǒng)可以包括:用于在目標(biāo)數(shù)據(jù)異常時,分別通過不同的獲取方式重新獲取所述目標(biāo)數(shù)據(jù)的多個模塊。如圖3所示,該多個模塊可以包括:訂正請求模塊31,用于當(dāng)目標(biāo)數(shù)據(jù)異常時,向提供所述目標(biāo)數(shù)據(jù)的數(shù)據(jù)源請求對恢復(fù)配合數(shù)據(jù)進行修改,其中該恢復(fù)配合數(shù)據(jù)是為目標(biāo)數(shù)據(jù)的恢復(fù)而設(shè)置;數(shù)據(jù)處理模塊32,用于接收由修改恢復(fù)配合數(shù)據(jù)所觸發(fā)同步的目標(biāo)數(shù)據(jù),處理所述目標(biāo)數(shù)據(jù)。在另一個例子中,在上述的兩個模塊之外,該數(shù)據(jù)恢復(fù)系統(tǒng)中還可以包括如下三個模塊中的至少一個:錯誤重試模塊33,用于在目標(biāo)數(shù)據(jù)異常時,重試處理所述目標(biāo)數(shù)據(jù);接口查詢模塊34,用于在目標(biāo)數(shù)據(jù)異常時,通過所述數(shù)據(jù)源提供的通用查詢接口,查詢獲取所述目標(biāo)數(shù)據(jù);后臺修正模塊35,用于在目標(biāo)數(shù)據(jù)異常時,存儲處理后的目標(biāo)數(shù)據(jù)。后臺修正模塊可以在目標(biāo)數(shù)據(jù)處理異常時,查看并管理處理后的實時數(shù)據(jù),比如可以直接將處理后的目標(biāo)數(shù)據(jù)存儲進實時數(shù)據(jù)處理平臺的db。上述的幾個模塊可以分別表示不同的數(shù)據(jù)恢復(fù)方案,可以在不同的場景下使用;具體實施中,可選的方式是,實時數(shù)據(jù)處理平臺可以提供一個恢復(fù)方式的選擇界面,由平臺管理人員分析當(dāng)前平臺出現(xiàn)的數(shù)據(jù)處理異常屬于何種情況(比如,大面積異?;蛘呱倭慨惓?,并對應(yīng)選擇其中一種方案進行數(shù)據(jù)恢復(fù)。如下結(jié)合圖4,說明上述的用于數(shù)據(jù)恢復(fù)的幾個模塊所適用的場景以及使用方法:場景一:本場景下,實時處理處理平臺所出現(xiàn)的數(shù)據(jù)處理異常,可能是由于平臺數(shù)據(jù)庫db偶爾抖動造成的失敗,是一種偶發(fā)錯誤,這種錯誤可以通過平臺自身的穩(wěn)定性保障,進行重試處理來恢復(fù)。如圖4所示,當(dāng)出現(xiàn)偶發(fā)錯誤時,實時數(shù)據(jù)處理平臺可以重試處理,若處理次數(shù)達到最大次數(shù)仍未成功,則放棄并等待一段時間后再處理。比如,實時數(shù)據(jù)處理平臺要將“jjmm-aabb”的對應(yīng)關(guān)系信息存儲入db,發(fā)生存儲失敗,則平臺可以再進行重試存儲,直至成功。這種場景下,如果平臺自身有待處理的目標(biāo)數(shù)據(jù),直接重試處理即可,在其他例子中,如果在處理數(shù)據(jù)異常時,平臺自身不再存有原有的待處理目標(biāo)數(shù)據(jù),則平臺還需要由上游業(yè)務(wù)系統(tǒng)重新獲取該數(shù)據(jù),可以參見后續(xù)提到的幾個場景。場景二:本場景下,實時處理處理平臺所出現(xiàn)的數(shù)據(jù)處理異常,數(shù)據(jù)恢復(fù)量較小,并且所需要恢復(fù)的數(shù)據(jù)可以由上游業(yè)務(wù)系統(tǒng)查詢獲取,且查詢率qps較小,不會對上游業(yè)務(wù)系統(tǒng)造成太大影響。此時可以由平臺通過接口向上游業(yè)務(wù)系統(tǒng)查詢。例如,如圖4所示,上游業(yè)務(wù)系統(tǒng)可以協(xié)助開發(fā)一個通用的查詢接口,來供實時數(shù)據(jù)處理平臺獲取數(shù)據(jù)。實時數(shù)據(jù)處理平臺通過該通用查詢接口查詢要恢復(fù)的數(shù)據(jù),上游業(yè)務(wù)系統(tǒng)據(jù)此由上游系統(tǒng)的db中獲取數(shù)據(jù)后,通過該接口發(fā)送至實時數(shù)據(jù)處理平臺。場景三:本場景即是利用drc數(shù)據(jù)庫同步機制,該機制可以適用于實時數(shù)據(jù)處理平臺發(fā)生大面積的數(shù)據(jù)處理異常的情況。并且,如前面的例子提到,這種通過觸發(fā)數(shù)據(jù)庫同步來獲取數(shù)據(jù)的方式,可以有針對性的觸發(fā)對特定數(shù)據(jù)的同步,并且,該方法也不需要上游業(yè)務(wù)系統(tǒng)配合開查詢接口。如圖4所示,平臺的數(shù)據(jù)庫訂正單元可以向上游業(yè)務(wù)系統(tǒng)發(fā)送數(shù)據(jù)訂正請求,上游業(yè)務(wù)系統(tǒng)在審批該訂正請求通過后,對db中的恢復(fù)配合字段進行修改。而該字段的修改將觸發(fā)drc數(shù)據(jù)庫同步,將發(fā)生修改的數(shù)據(jù)同步至消息中間件,再由消息中間件將數(shù)據(jù)發(fā)送至平臺。場景四:本場景中,如果實時數(shù)據(jù)處理平臺發(fā)生的異常數(shù)據(jù)量很少,并且已經(jīng)知道處理后的正確數(shù)據(jù)時,可以進行手動改庫。例如,如圖4所示,可以在實時數(shù)據(jù)處理平臺的后臺修正單元,將處理后的目標(biāo)數(shù)據(jù)比如格式轉(zhuǎn)換后的信息輸入進db中,其中,實時數(shù)據(jù)處理平臺的后臺修正單元可以用于查詢db中的數(shù)據(jù),并可對數(shù)據(jù)進行增加、刪除、修改、查詢等操作,可以具有修正數(shù)據(jù)的功能;或者,由于實時數(shù)據(jù)處理平臺的db中的數(shù)據(jù)最終提供給下游業(yè)務(wù)系統(tǒng),也可以在下游業(yè)務(wù)系統(tǒng)的后臺直接修正下游db中的數(shù)據(jù),將其改為處理后的數(shù)據(jù),使得下游獲取到正確的數(shù)據(jù)。上述例子可以看到,通過綜合多種數(shù)據(jù)恢復(fù)方式,既可以使得實時數(shù)據(jù)處理平臺快速恢復(fù)數(shù)據(jù),而且也盡可能的降低了恢復(fù)成本,比如,偶發(fā)錯誤依據(jù)平臺自身的穩(wěn)定性保證進行重試,成本較小,也不用進行與上下游系統(tǒng)恢復(fù)機制的配合開發(fā)。因此,具有多種恢復(fù)方式的實時數(shù)據(jù)處理平臺,將使得數(shù)據(jù)恢復(fù)的方式選擇更加靈活,數(shù)據(jù)恢復(fù)的能力更高。圖5提供了一種數(shù)據(jù)恢復(fù)裝置,該裝置可以應(yīng)用于實時數(shù)據(jù)處理平臺,如圖5所示,該裝置可以包括:訂正請求模塊51和數(shù)據(jù)處理模塊52。訂正請求模塊51,用于當(dāng)目標(biāo)數(shù)據(jù)異常時,向提供所述目標(biāo)數(shù)據(jù)的數(shù)據(jù)源請求對恢復(fù)配合數(shù)據(jù)進行修改,其中該恢復(fù)配合數(shù)據(jù)是為目標(biāo)數(shù)據(jù)的恢復(fù)而設(shè)置;數(shù)據(jù)處理模塊52,用于接收由修改恢復(fù)配合數(shù)據(jù)所觸發(fā)同步的目標(biāo)數(shù)據(jù),處理所述目標(biāo)數(shù)據(jù)。在一個例子中,所述接收的目標(biāo)數(shù)據(jù)存儲數(shù)據(jù)表中,所述恢復(fù)配合數(shù)據(jù)為該數(shù)據(jù)表的恢復(fù)配合字段下的數(shù)據(jù),該恢復(fù)配合字段是為目標(biāo)數(shù)據(jù)的恢復(fù)而設(shè)置的字段。訂正請求模塊51,具體用于向所述數(shù)據(jù)源發(fā)送數(shù)據(jù)庫訂正請求,所述數(shù)據(jù)庫訂正請求中包括:與所述恢復(fù)配合數(shù)據(jù)對應(yīng)的所述目標(biāo)數(shù)據(jù)的數(shù)據(jù)標(biāo)識、以及對所述恢復(fù)配合數(shù)據(jù)的修改值。圖6提供了一種數(shù)據(jù)恢復(fù)裝置,該裝置可以應(yīng)用于向?qū)崟r數(shù)據(jù)處理平臺提供數(shù)據(jù)的系統(tǒng)中,如圖6所示,該裝置可以包括:請求接收模塊61和同步處理模塊62。請求接收模塊61,用于接收對恢復(fù)配合數(shù)據(jù)進行修改的請求,所述恢復(fù)配合數(shù)據(jù)是為目標(biāo)數(shù)據(jù)的恢復(fù)而設(shè)置;同步處理模塊62,用于在根據(jù)所述請求對所述恢復(fù)配合數(shù)據(jù)修改后,將與所述恢復(fù)配合數(shù)據(jù)對應(yīng)的目標(biāo)數(shù)據(jù)執(zhí)行同步。在一個例子中,所述目標(biāo)數(shù)據(jù)存儲在數(shù)據(jù)表中,所述恢復(fù)配合數(shù)據(jù)為所述數(shù)據(jù)表的恢復(fù)配合字段下的數(shù)據(jù),所述恢復(fù)配合字段是為目標(biāo)數(shù)據(jù)的恢復(fù)而設(shè)置的字段。在一個例子中,同步處理模塊62,具體用于將修改后的目標(biāo)數(shù)據(jù),發(fā)送至消息中間件,以通過消息中間件發(fā)送至所述實時數(shù)據(jù)處理平臺。以上所述僅為本發(fā)明的較佳實施例而已,并不用以限制本發(fā)明,凡在本發(fā)明的精神和原則之內(nèi),所做的任何修改、等同替換、改進等,均應(yīng)包含在本發(fā)明保護的范圍之內(nèi)。當(dāng)前第1頁12
當(dāng)前第1頁1 2 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1
龙山县| 崇信县| 吴旗县| 革吉县| 松滋市| 镇宁| 宁国市| 巴中市| 昔阳县| 库伦旗| 南华县| 昌图县| 潍坊市| 永靖县| 新竹市| 安达市| 泸溪县| 巴青县| 榆社县| 西安市| 紫云| 大竹县| 文山县| 洱源县| 台南市| 景东| 深水埗区| 潜江市| 南丹县| 班玛县| 无为县| 都兰县| 和政县| 信丰县| 正镶白旗| 二连浩特市| 通榆县| 芒康县| 林州市| 宁河县| 革吉县|