分布式備份數(shù)據(jù)的方法、裝置和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計算機互聯(lián)網(wǎng)領(lǐng)域，具體而言，涉及一種分布式備份數(shù)據(jù)的方法、裝置和系統(tǒng)。
【背景技術(shù)】
[0002]現(xiàn)有技術(shù)提供了一種KV (key-value)存儲模式，該KV存儲模式非常適合存儲不涉及過多數(shù)據(jù)關(guān)系的業(yè)務(wù)數(shù)據(jù)。這種KV存儲模式擁有高并發(fā)的讀寫性能，高效率存儲和訪問，高可擴展性和高可用性等特點?，F(xiàn)有的應(yīng)用架構(gòu)平臺提供一種用于存儲業(yè)務(wù)文件的業(yè)務(wù)服務(wù)器，該業(yè)務(wù)服務(wù)器可以使用KV存儲技術(shù)來存儲用戶和業(yè)務(wù)文件的索引數(shù)據(jù)，從而提供高質(zhì)量的海量服務(wù)。
[0003]基于上述KV (key-value)存儲模式，隨著應(yīng)用架構(gòu)平臺的業(yè)務(wù)規(guī)模不斷擴大，業(yè)務(wù)服務(wù)器可以以互聯(lián)網(wǎng)數(shù)據(jù)中心IDC的形式來存儲客戶端用戶所要訪問的資源，通常情況下，會將所有資源集中存儲在單個IDC中。隨著用戶對業(yè)務(wù)可用性的要求越來越高。原來將所有存儲資源集中在單個IDC的架構(gòu)有一定缺陷。比如:單個IDC網(wǎng)絡(luò)出口發(fā)生硬件故障，單個IDC發(fā)生掉電等極端情況時，或者某個省份運營商的網(wǎng)絡(luò)出口出現(xiàn)不可用，會導(dǎo)致整個業(yè)務(wù)中斷較長時間。
[0004]針對上述問題，可以采用備份該單個IDC中的資源的方法來實現(xiàn)一種容災(zāi)方案。目前業(yè)界常用的容災(zāi)方案較為復(fù)雜，對原有架構(gòu)和數(shù)據(jù)結(jié)構(gòu)沖擊較大。
[0005]由此可知，現(xiàn)有技術(shù)可以提供一種基于KV存儲的容災(zāi)方案，這種容災(zāi)方案可以根據(jù)分布式系統(tǒng)CAP原則來實現(xiàn)，這種容災(zāi)方案的基本原則是為當前的主服務(wù)器IDC提供至少三個從服務(wù)器IDC，即將KV形式的操作數(shù)據(jù)利用DHT算法分布到多個設(shè)備節(jié)點上，每一份操作數(shù)據(jù)都至少保存在三個節(jié)點上。從而使得在主服務(wù)器IDC上實現(xiàn)的寫操作可以基于時間向量算法在三個副本上進行同步。
[0006]具體的，上述方案提供的整個容災(zāi)系統(tǒng)基于NWR原則(W+R>N)，該NWR原則的具體描述如下:
[0007]N表示主服務(wù)器IDC上產(chǎn)生的一個操作數(shù)據(jù)擁有的副本數(shù)量，即該主服務(wù)器IDC的從服務(wù)器IDC的數(shù)量；W表示系統(tǒng)在寫入或者更新主服務(wù)器IDC上產(chǎn)生的一個操作數(shù)據(jù)時，需要同步等待寫入成功的副本數(shù)；R表示系統(tǒng)在讀取主服務(wù)器IDC上產(chǎn)生的一個操作數(shù)據(jù)時，需要讀取的副本數(shù)。例如:在一個分布式系統(tǒng)中，主服務(wù)器IDC上產(chǎn)生的每個操作數(shù)據(jù)有3個副本(N = 3)，如果寫一個副本(W = 1)成功就算成功的話，那么讀操作時要讀取該數(shù)據(jù)三個副本(R = 3)，才能通過比較得到最新的數(shù)據(jù)。該原則為了保持一致性在讀或?qū)懶阅苌嫌兴∩?，W或者R取值越大，則性能越低。
[0008]由此可知，基于上述NWR原則的分布式容災(zāi)系統(tǒng)，在客戶端請求主服務(wù)器的操作數(shù)據(jù)之后，操作數(shù)據(jù)需要在至少三個從服務(wù)器中備份成功，并主服務(wù)器在接收到所有從服務(wù)器返回的備份成功消息的情況下，才可以接收客戶端的新的業(yè)務(wù)請求，即只有在操作數(shù)據(jù)在所有從服務(wù)器都同步成功之后，客戶端才可以開始下一個業(yè)務(wù)請求。
[0009]針對上述現(xiàn)有技術(shù)的分布式系統(tǒng)提供的容災(zāi)方案需要保持系統(tǒng)的一致性，導(dǎo)致系統(tǒng)性能差的問題，目前尚未提出有效的解決方案。

【發(fā)明內(nèi)容】

[0010]本發(fā)明實施例提供了一種分布式備份數(shù)據(jù)的方法、裝置和系統(tǒng)，以至少解決現(xiàn)有技術(shù)的分布式系統(tǒng)提供的容災(zāi)方案需要保持系統(tǒng)的一致性，導(dǎo)致系統(tǒng)性能差的技術(shù)問題。
[0011]根據(jù)本發(fā)明實施例的一個方面，提供了一種分布式備份數(shù)據(jù)的方法，該方法包括:主服務(wù)器接收調(diào)用客戶端的操作請求，并基于操作請求生成操作數(shù)據(jù)；主服務(wù)器將操作數(shù)據(jù)保存至本地的主存儲器，并生成同步指令；主服務(wù)器根據(jù)同步指令將操作數(shù)據(jù)同步至從服務(wù)器的從存儲器中，其中，主服務(wù)器在將操作數(shù)據(jù)同步至從服務(wù)器之后，默認同步操作成功，無需等待從服務(wù)器返回同步成功的反饋信息。
[0012]根據(jù)本發(fā)明實施例的另一方面，還提供了一種分布式備份數(shù)據(jù)的裝置，該裝置包括:生成模塊，用于主服務(wù)器接收調(diào)用客戶端的操作請求，并基于操作請求生成操作數(shù)據(jù)；處理模塊，用于主服務(wù)器將操作數(shù)據(jù)保存至本地的主存儲器，并生成同步指令；同步處理模塊，用于主服務(wù)器根據(jù)同步指令將操作數(shù)據(jù)同步至從服務(wù)器的從存儲器中，其中，主服務(wù)器在將操作數(shù)據(jù)同步至從服務(wù)器之后，默認同步操作成功，無需等待從服務(wù)器返回同步成功的反饋信息。
[0013]根據(jù)本發(fā)明實施例的另一方面，還提供了一種分布式備份數(shù)據(jù)的系統(tǒng)，該系統(tǒng)包括:調(diào)用客戶端，發(fā)送操作請求；從服務(wù)器；主服務(wù)器，分別與調(diào)用客戶端和從服務(wù)器建立通信關(guān)系，用于接收調(diào)用客戶端的操作請求，并基于操作請求生成操作數(shù)據(jù)，在將操作數(shù)據(jù)保存至本地的主存儲器，并生成同步指令之后，根據(jù)同步指令將操作數(shù)據(jù)同步至從服務(wù)器的從存儲器中；其中，主服務(wù)器在將操作數(shù)據(jù)同步至從服務(wù)器之后，默認同步操作成功，無需等待從服務(wù)器返回同步成功的反饋信息。
[0014]在本發(fā)明實施例中，采用主服務(wù)器接收調(diào)用客戶端的操作請求，并基于操作請求生成操作數(shù)據(jù)；主服務(wù)器將操作數(shù)據(jù)保存至本地的主存儲器，并生成同步指令；主服務(wù)器根據(jù)同步指令將操作數(shù)據(jù)同步至從服務(wù)器的從存儲器中，其中，主服務(wù)器在將操作數(shù)據(jù)同步至從服務(wù)器之后，默認同步操作成功，無需等待從服務(wù)器返回同步成功的反饋信息的方式，通過為主服務(wù)器提供一個從服務(wù)器來實現(xiàn)主服務(wù)器上發(fā)生的操作數(shù)據(jù)都可以進行備份，實現(xiàn)整個系統(tǒng)的容災(zāi)處理。在上述操作數(shù)據(jù)的同步過程中，由于僅執(zhí)行一次同步操作，而且無需等待從服務(wù)器反饋同步成功的信息即可接收調(diào)用客戶端的新操作任務(wù)，這種方式弱化了現(xiàn)有的容災(zāi)方案的一致性要求，進而解決了現(xiàn)有技術(shù)的分布式系統(tǒng)提供的容災(zāi)方案需要保持系統(tǒng)的一致性，導(dǎo)致系統(tǒng)性能差的技術(shù)問題。
【附圖說明】
[0015]此處所說明的附圖用來提供對本發(fā)明的進一步理解，構(gòu)成本申請的一部分，本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當限定。在附圖中:
[0016]圖1是根據(jù)本發(fā)明實施例一分布式備份數(shù)據(jù)的系統(tǒng)的結(jié)構(gòu)示意圖；
[0017]圖2是根據(jù)本發(fā)明實施例的分布式備份數(shù)據(jù)的系統(tǒng)框架的流程示意圖；
[0018]圖3是根據(jù)本發(fā)明實施例一的一種可選的分布式備份數(shù)據(jù)的系統(tǒng)的詳細結(jié)構(gòu)示意圖；
[0019]圖4是本發(fā)明實施例二的一種運行分布式備份數(shù)據(jù)方法的主服務(wù)器的硬件結(jié)構(gòu)框圖；
[0020]圖5是根據(jù)本發(fā)明實施例二的分布式備份數(shù)據(jù)的方法流程圖；
[0021]圖6是根據(jù)本發(fā)明實施例二的一種分布式備份數(shù)據(jù)的方法的業(yè)務(wù)交互流程示意圖；
[0022]圖7是根據(jù)本發(fā)明實施例三的分布式備份數(shù)據(jù)的裝置的結(jié)構(gòu)示意圖；
[0023]圖8是根據(jù)本發(fā)明實施例三的一種可選的分布式備份數(shù)據(jù)的裝置的結(jié)構(gòu)示意圖；
[0024]圖9是根據(jù)本發(fā)明實施例三的一種可選的分布式備份數(shù)據(jù)的裝置的結(jié)構(gòu)示意圖。
【具體實施方式】
[0025]為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明方案，下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分的實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都應(yīng)當屬于本發(fā)明保護的范圍。
[0026]需要說明的是，本發(fā)明的說明書和權(quán)利要求書及上述附圖中的術(shù)語“第一”、“第二”等是用于區(qū)別類似的對象，而不必用于描述特定的順序或先后次序。應(yīng)該理解這樣使用的數(shù)據(jù)在適當情況下可以互換，以便這里描述的本發(fā)明的實施例能夠以除了在這里圖示或描述的那些以外的順序?qū)嵤?。此外，術(shù)語“包括”和“具有”以及他們的任何變形，意圖在于覆蓋不排他的包含，例如，包含了一系列步驟或單元的過程、方法、系統(tǒng)、產(chǎn)品或設(shè)備不必限于清楚地列出的那些步驟或單元，而是可包括沒有清楚地列出的或?qū)τ谶@些過程、方法、產(chǎn)品或設(shè)備固有的其它步驟或單元。
[0027]下面就本申請涉及到的部分名詞解釋如下:
[0028]KV存儲:NoSQL存儲的一種方式，數(shù)據(jù)按照鍵值對的形式進行組織，索引和存儲。
[0029]IDC:Internet Data Center互聯(lián)網(wǎng)數(shù)據(jù)中心(簡稱機房)。
[0030]實施例1
[0031]在描述本申請的各實施例的進一步細節(jié)之前，將參考圖1來描述可用于實現(xiàn)本申請的原理的一個合適的計算體系結(jié)構(gòu)。在以下描述中，除非另外指明，否則將參考由一個或多個計算機執(zhí)行的動作和操作的符號表示來描述本申請的各實施例。由此，可以理解，有時被稱為計算機執(zhí)行的這類動作和操作包括計算機的處理單元對以結(jié)構(gòu)化形式表示數(shù)據(jù)的電信號的操縱。這一操縱轉(zhuǎn)換了數(shù)據(jù)或在計算機的存儲器系統(tǒng)中的位置上維護它，這以本領(lǐng)域的技術(shù)人員都理解的方式重配置或改變了計算機的操作。維護數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)是具有數(shù)據(jù)的格式所定義的特定屬性的存儲器的物理位置。然而，盡管在上述上下文中描述本申請，但它并不意味著限制性的，如本領(lǐng)域的技術(shù)人員所理解的，后文所描述的動作和操作的各方面也可用硬件來實現(xiàn)。
[0032]在其最基本的配置中，圖1是根據(jù)本發(fā)明實施例一分布式備份數(shù)據(jù)的系統(tǒng)的結(jié)構(gòu)示意圖。出于描述的目的，所繪的體系結(jié)構(gòu)僅為合適環(huán)境的一個示例，并非對本申請的使用范圍或功能提出任何局限。也不應(yīng)將該計算系統(tǒng)解釋為對圖1所示的任一組件或其組合具有任何依賴或需求。
[0033]如圖1所示，該系統(tǒng)可以包括:調(diào)用客戶端10、主服務(wù)器12和從服務(wù)器14。
[0034]其中，調(diào)用客戶端10用于發(fā)送操作請求；主服務(wù)器12，分別與調(diào)用客戶端10和從服務(wù)器14建立通信關(guān)系，用于接收調(diào)用客戶端10的操作請求，并基于操作請求生成操作數(shù)據(jù)，在將操作數(shù)據(jù)保存至本地的主存儲器，并生成同步指令之后，根據(jù)同步指令將操作數(shù)據(jù)同步至從服務(wù)器的從存儲器中；其中，主服務(wù)器在將操作數(shù)據(jù)同步至從服務(wù)器之后，默認同步操作成功，無需等待從服務(wù)器返回同步成功的反饋信息。
[0035]本申請上述方案中的調(diào)用客戶端10發(fā)出的操作請求可以包括如下任意一種或多種類型的操作:寫操作、讀操作、更新操作等，同時操作請求中攜帶了使用該調(diào)用客戶端的用戶的賬戶信息。
[0036]結(jié)合圖2可知，主服務(wù)器12會通過接入層來接收調(diào)用客戶端的操作請求(例如寫操作請求)，并在邏輯層實現(xiàn)基于操作請求類型生成對應(yīng)的操作數(shù)據(jù)，例如，針對寫操作，主服務(wù)器會對寫操作來對當前賬戶信息對應(yīng)的寫操作寫入新的業(yè)務(wù)數(shù)據(jù)。
[0037]結(jié)合圖2可知，本申請上述