數(shù)據(jù)分配方法、裝置和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，特別是指一種數(shù)據(jù)分配方法、裝置和系統(tǒng)。
【背景技術(shù)】
[0002]數(shù)據(jù)處理是對數(shù)據(jù)的采集、儲(chǔ)存、檢索、加工、變換和傳輸。從大量的冗雜抽象的數(shù)據(jù)中抽取并推導(dǎo)出有某些特定價(jià)值或意義的數(shù)據(jù)。數(shù)據(jù)處理離不開軟件和服務(wù)器的支持，但是當(dāng)前軟件技術(shù)中對于大數(shù)據(jù)量處理以及高并發(fā)處理是一個(gè)技術(shù)瓶頸，所以隨著數(shù)據(jù)量日益龐大，大數(shù)據(jù)處理以及高并發(fā)要求，對服務(wù)器的處理能力提出了更高的要求。
[0003]現(xiàn)有技術(shù)中，為了方便管理，增強(qiáng)數(shù)據(jù)并行處理能力，常采用并行數(shù)據(jù)處理結(jié)構(gòu)，包括應(yīng)用服務(wù)器、管理服務(wù)器、比對服務(wù)器。管理服務(wù)器與比對服務(wù)器進(jìn)行通訊，應(yīng)用服務(wù)器與管理服務(wù)器之間進(jìn)行通訊。這種結(jié)構(gòu)極大地提高了數(shù)據(jù)的處理能力，但由于比對服務(wù)器數(shù)量較多，極易造成各個(gè)比對服務(wù)器間的數(shù)據(jù)分配不合理，進(jìn)而導(dǎo)致比對服務(wù)器超負(fù)荷運(yùn)行或者性能得不到充分發(fā)揮。因此，如何能科學(xué)合理的分配各服務(wù)器的數(shù)據(jù)量，目前還沒有較好的解決方案。

【發(fā)明內(nèi)容】

[0004]本發(fā)明要解決的技術(shù)問題是提供一種能夠?qū)崿F(xiàn)數(shù)據(jù)的合理分配并有效提高數(shù)據(jù)處理效率的數(shù)據(jù)分配方法、裝置和系統(tǒng)。
[0005]為解決上述技術(shù)問題，本發(fā)明提供的技術(shù)方案如下:
[0006]一種數(shù)據(jù)分配方法，包括:
[0007]步驟1:獲取比對服務(wù)器的處理性能信息；
[0008]步驟2:根據(jù)所述處理性能信息，計(jì)算所有比對服務(wù)器的總處理性能，以及每個(gè)比對服務(wù)器的處理性能相對于所有比對服務(wù)器的總處理性能的占比；
[0009]步驟3:根據(jù)所述占比，將所有數(shù)據(jù)分配至每個(gè)比對服務(wù)器。
[0010]一種管理服務(wù)器，包括:
[0011]獲取模塊，用于獲取比對服務(wù)器的處理性能信息；
[0012]第一計(jì)算模塊，用于根據(jù)所述處理性能信息，計(jì)算所有比對服務(wù)器的總處理性能，以及每個(gè)比對服務(wù)器的處理性能相對于所有比對服務(wù)器的總處理性能的占比；
[0013]數(shù)據(jù)分配模塊，用于根據(jù)所述占比，將所有數(shù)據(jù)分配至每個(gè)比對服務(wù)器。
[0014]一種服務(wù)器系統(tǒng)，包括應(yīng)用服務(wù)器、至少一個(gè)權(quán)利要求6所述的管理服務(wù)器、以及至少兩個(gè)比對服務(wù)器；所述應(yīng)用服務(wù)器和管理服務(wù)器通過網(wǎng)絡(luò)連接，所述管理服務(wù)器和比對服務(wù)器也通過網(wǎng)絡(luò)連接；所述應(yīng)用服務(wù)器和管理服務(wù)器為相同或不同的服務(wù)器。
[0015]本發(fā)明具有以下有益效果:
[0016]與現(xiàn)有技術(shù)相比，本發(fā)明的數(shù)據(jù)分配方法，首先根據(jù)比對服務(wù)器的處理性能信息，計(jì)算所有比對服務(wù)器的總處理性能，以及每個(gè)比對服務(wù)器的處理性能相對于所有比對服務(wù)器的總處理性能的占比，然后根據(jù)占比將所有數(shù)據(jù)分配至每個(gè)比對服務(wù)器。本發(fā)明依據(jù)比對服務(wù)器的處理性能，把數(shù)據(jù)分配到相應(yīng)的比對服務(wù)器中，避免了比對服務(wù)器超負(fù)荷運(yùn)行或者性能得不到充分發(fā)揮的情況，有效的解決了處理性能不同的多服務(wù)器協(xié)同工作的問題，使數(shù)據(jù)的分配具有合理性；本發(fā)明還有效的解決了大數(shù)據(jù)量和高并發(fā)數(shù)據(jù)的處理問題，提升了的數(shù)據(jù)處理能力，加快了數(shù)據(jù)處理速度，有效的提高了數(shù)據(jù)處理效率。
【附圖說明】
[0017]圖1為本發(fā)明的數(shù)據(jù)分配方法的流程示意圖一；
[0018]圖2為本發(fā)明的數(shù)據(jù)分配方法的流程示意圖二 ；
[0019]圖3為本發(fā)明的數(shù)據(jù)分配方法的流程示意圖三；
[0020]圖4為本發(fā)明的管理服務(wù)器的結(jié)構(gòu)示意圖一；
[0021]圖5為本發(fā)明的管理服務(wù)器的結(jié)構(gòu)示意圖二 ；
[0022]圖6為本發(fā)明的管理服務(wù)器的結(jié)構(gòu)示意圖三；
[0023]圖7為本發(fā)明的服務(wù)器系統(tǒng)的結(jié)構(gòu)示意圖；
[0024]圖8為本發(fā)明的服務(wù)器系統(tǒng)的流程示意圖。
【具體實(shí)施方式】
[0025]為使本發(fā)明要解決的技術(shù)問題、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖及具體實(shí)施例進(jìn)行詳細(xì)描述。
[0026]名詞解釋
[0027]1、識別:用給定的生物特征從一定范圍的生物模板集合中找出一定數(shù)量的相符的生物模板，并根據(jù)生物模板獲取對應(yīng)的用戶的過程，又稱1:N比對，即為生物特征與多用戶的生物特征模板比對。
[0028]2、認(rèn)證:給定生物特征和用戶的唯一標(biāo)識，用給定的生物特征和該用戶標(biāo)識所關(guān)聯(lián)的生物模板進(jìn)行比對判斷是否一致的過程；又稱1:1比對，即，生物特征與指定用戶的生物特征模板比對。
[0029]3、比對節(jié)點(diǎn)/比對服務(wù)器:一套運(yùn)行生物特征比對算法的程序，即為生物特征的比對以及數(shù)據(jù)處理的服務(wù)器。
[0030]4、動(dòng)態(tài)負(fù)載:實(shí)時(shí)動(dòng)態(tài)的計(jì)算每個(gè)比對(包括新增、刪除)服務(wù)器的數(shù)據(jù)范圍。
[0031]5、管理節(jié)點(diǎn)/管理服務(wù)器:用于數(shù)據(jù)管理以及請求分發(fā)的服務(wù)器。
[0032]6、分片:數(shù)據(jù)范圍。
[0033]7、分片號:數(shù)據(jù)范圍的標(biāo)識，比如分行號、網(wǎng)點(diǎn)號或者用戶身份證號等。
[0034]8、應(yīng)用系統(tǒng)/應(yīng)用服務(wù)器:提供系統(tǒng)對外的接口與業(yè)務(wù)邏輯的實(shí)現(xiàn)的服務(wù)器。
[0035]9、hash算法:將任意長度的二進(jìn)制值映射為較短的固定長度的二進(jìn)制值，這個(gè)小的二進(jìn)制值稱為hash值。hash值是一段數(shù)據(jù)唯一且極其緊湊的數(shù)值表示形式。
[0036]一方面，本發(fā)明提供一種數(shù)據(jù)分配方法，如圖1所示，包括:
[0037]步驟1:獲取比對服務(wù)器的處理性能信息；
[0038]本步驟中，管理服務(wù)器可以通過主動(dòng)獲取、被動(dòng)接收或者第三方檢測等方式，獲取所有比對服務(wù)器的處理性能信息。
[0039]步驟2:根據(jù)處理性能信息，計(jì)算所有比對服務(wù)器的總處理性能，以及每個(gè)比對服務(wù)器的處理性能相對于所有比對服務(wù)器的總處理性能的占比；
[0040]本步驟中，管理服務(wù)器通過計(jì)算，得出每個(gè)比對服務(wù)器的處理性能相對于總處理性能所占的比例，為后續(xù)的數(shù)據(jù)分配提供依據(jù)。
[0041]步驟3:根據(jù)上述占比，將所有數(shù)據(jù)分配至每個(gè)比對服務(wù)器。
[0042]本步驟中，管理服務(wù)器把待處理的數(shù)據(jù)分成與占比相對應(yīng)的份數(shù)，然后把分配好的數(shù)據(jù)分發(fā)給相應(yīng)的比對服務(wù)器(例如，可以將這些數(shù)據(jù)的標(biāo)識(如序號等)分發(fā)給比對服務(wù)器，由比對服務(wù)器到數(shù)據(jù)庫中讀取相應(yīng)數(shù)據(jù)即可；或者，也可以直接指示數(shù)據(jù)庫將相應(yīng)數(shù)據(jù)傳給比對服務(wù)器)，達(dá)到對數(shù)據(jù)合理分配的目的。
[0043]本發(fā)明依據(jù)比對服務(wù)器的處理性能，把數(shù)據(jù)合理的分配到相應(yīng)的比對服務(wù)器中，避免了比對服務(wù)器超負(fù)荷運(yùn)行或者性能得不到充分發(fā)揮的情況，有效的解決了大數(shù)據(jù)量和高并發(fā)數(shù)據(jù)的處理問題，同時(shí)有效的解決了處理性能不同的多服務(wù)器協(xié)同工作的問題，提升了總體的數(shù)據(jù)處理能力，也加快了數(shù)據(jù)處理速度。
[0044]上述步驟I優(yōu)選包括:接收比對服務(wù)器發(fā)送的注冊請求，其中所述注冊請求中包括比對服務(wù)器自身的處理性能信息。這樣使得管理服務(wù)器在獲取比對服務(wù)器注冊請求的同時(shí)也能獲得比對服務(wù)器的處理性能信息，管理服務(wù)器可以方便快捷的獲取比對服務(wù)器的處理性能信息，這些信息被作為管理服務(wù)器為比對服務(wù)器分配數(shù)據(jù)的依據(jù)，并可以存儲(chǔ)在管理服務(wù)器上。
[0045]當(dāng)然，步驟I中管理服務(wù)器還可以通過各種其他方式獲取比對服務(wù)器的處理性能信息，例如:人工向管理服務(wù)器輸入比對服務(wù)器的處理性能信息、管理服務(wù)器通過第三方干預(yù)獲得比對服務(wù)器的處理性能信息和比對服務(wù)器向管理服務(wù)器單獨(dú)發(fā)送比對服務(wù)器的處理性能信息等，均不影響本發(fā)明技術(shù)方案的實(shí)現(xiàn)。
[0046]本發(fā)明中，優(yōu)選的，對于每條用戶記錄，預(yù)先生成有分片號，其中每條用戶記錄中的一個(gè)或多個(gè)字段值經(jīng)過hash運(yùn)算計(jì)算得到hash值，對該hash值取靠前的一定位數(shù)得到所述分片號，所述一個(gè)或多個(gè)字段包括用戶ID字段。同時(shí)，步驟3進(jìn)一步為:根據(jù)所述占比，將所述分片號分配至每個(gè)比對服務(wù)器。
[0047]本步驟中，采用hash運(yùn)算對數(shù)據(jù)進(jìn)行處理，進(jìn)而得到分片號，由此判斷每個(gè)比對服務(wù)器的數(shù)據(jù)處理性能，為后續(xù)的數(shù)據(jù)分配提供依據(jù)。hash運(yùn)算能夠使任意長度的數(shù)據(jù)轉(zhuǎn)換成固定長度的數(shù)據(jù)，方便數(shù)據(jù)的統(tǒng)一管理和查詢，另外，分片號是通過對hash值靠前一定位數(shù)的選取得到的，之后，管理服務(wù)器按照比對服務(wù)器處理性能的占比，把分片號分成與占比相對應(yīng)的份數(shù)，然后將分配好的分片號分發(fā)給相應(yīng)比對服務(wù)器。該方法通過分片號方便了數(shù)據(jù)的分配，沒有增加比對服務(wù)