存儲計算系統(tǒng)中的請求處理方法及存儲計算系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及一種存儲計算系統(tǒng)中的請求處理方法及存儲計算系統(tǒng)。其方法包括：步驟S1，業(yè)務管理子系統(tǒng)中的當前節(jié)點根據(jù)接收到的請求的類型，確定所述類型對應的處理子系統(tǒng)；所述存儲計算系統(tǒng)包括所述業(yè)務管理子系統(tǒng)和所述處理子系統(tǒng)，所述處理子系統(tǒng)包括數(shù)據(jù)存儲子系統(tǒng)和計算子系統(tǒng)；步驟S2，所述當前節(jié)點根據(jù)所述類型對應的處理子系統(tǒng)發(fā)送所述請求；步驟S3，所述當前節(jié)點反饋處理結(jié)果。本發(fā)明實施例提供的方法及系統(tǒng)，可以支持不同類型的業(yè)務請求，提高了系統(tǒng)靈活性，降低了系統(tǒng)實現(xiàn)成本。
【專利說明】
存儲計算系統(tǒng)中的請求處理方法及存儲計算系統(tǒng)
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及請求處理技術(shù)領(lǐng)域，尤其是涉及一種存儲計算系統(tǒng)中的請求處理方法及存儲計算系統(tǒng)。
【背景技術(shù)】
[0002]目前，云計算及云存儲技術(shù)在各行各業(yè)得到了廣泛應用。例如稅務、銀行、氣象、交通、財政等應用領(lǐng)域。具體在每個應用領(lǐng)域中，會涉及到不同類型的業(yè)務，并且不同的業(yè)務類型會對應不同的業(yè)務請求類型，其處理相應業(yè)務請求類型的執(zhí)行系統(tǒng)不同。例如，交易業(yè)務的數(shù)據(jù)請求，需要相應的數(shù)據(jù)存儲系統(tǒng)支持。又例如，報表生成請求，需要相應的作業(yè)執(zhí)行系統(tǒng)支持。目前對于不同的請求類型，需要開發(fā)不同的系統(tǒng)，以支持相應的請求類型。
[0003]但是，對于同一個企業(yè)或公司而言，例如一家銀行，會同時存在各種類型的請求，如數(shù)據(jù)請求、報表生成請求等，需要采用不同的設備、運算程序或處理系統(tǒng)，則企業(yè)或公司需要開發(fā)不同的設備，其成本消耗大，資源浪費嚴重。
[0004]因此，開發(fā)一種存儲計算系統(tǒng)或請求處理方法，能夠處理不同類型的請求，是本領(lǐng)域技術(shù)人員亟需解決的問題。

【發(fā)明內(nèi)容】

[0005]本發(fā)明旨在提供一種存儲計算系統(tǒng)中的請求處理方法及存儲計算系統(tǒng)，能夠處理不同類型的請求。
[0006]第一方面，本發(fā)明提供一種存儲計算系統(tǒng)中的請求處理方法，其具體說明如下:
[0007]本發(fā)明提供一種存儲計算系統(tǒng)中的請求處理方法，具體說明如下:
[0008]步驟SI，業(yè)務管理子系統(tǒng)中的當前節(jié)點根據(jù)接收到請求的類型，確定類型對應的處理子系統(tǒng)；存儲計算系統(tǒng)包括業(yè)務管理子系統(tǒng)和處理子系統(tǒng)，處理子系統(tǒng)包括數(shù)據(jù)存儲子系統(tǒng)和計算子系統(tǒng)；
[0009]步驟S2，當前節(jié)點向該類型對應的處理子系統(tǒng)發(fā)送請求；
[0010]步驟S3，當前節(jié)點反饋處理結(jié)果。
[0011 ] 進一步地，該存儲計算系統(tǒng)中的請求處理方法在步驟SI之前，還包括當前節(jié)點判斷本節(jié)點是否支持請求的類型;若支持，則執(zhí)行步驟Si，若不支持，則將請求發(fā)送給分布式的業(yè)務管理子系統(tǒng)中的指定節(jié)點處理。
[0012]進一步地，該存儲計算系統(tǒng)中的請求處理方法，其步驟SI具體包括:確定請求的類型為數(shù)據(jù)類型；確定數(shù)據(jù)類型對應的數(shù)據(jù)存儲集群，數(shù)據(jù)存儲子系統(tǒng)為分布式的數(shù)據(jù)存儲集群。
[0013]進一步地，該存儲計算系統(tǒng)中的請求處理方法，其步驟SI具體包括:確定請求的類型為作業(yè)類型；確定作業(yè)類型對應的計算子系統(tǒng)中的目標處理節(jié)點，計算子系統(tǒng)為分布式系統(tǒng)。
[0014]進一步地，該存儲計算系統(tǒng)中的請求處理方法，其步驟SI具體包括:確定請求的類型為作業(yè)流請求;確定作業(yè)流類型對應的分布式作業(yè)流調(diào)度子系統(tǒng)，處理子系統(tǒng)包括分布式作業(yè)流調(diào)度子系統(tǒng);其步驟S2具體包括:當前節(jié)點向分布式作業(yè)流調(diào)度子系統(tǒng)發(fā)送請求；在步驟S2之后，該方法還包括:分布式作業(yè)流調(diào)度子系統(tǒng)將作業(yè)流拆分為若干作業(yè)，分別發(fā)送給計算子系統(tǒng)中的若干處理節(jié)點。
[0015]本發(fā)明提供存儲計算系統(tǒng)中的請求處理方法，能夠接收不同類型的請求，并根據(jù)具體請求的類型，確定該請求對應的處理子系統(tǒng)，再將各請求發(fā)送至相應的處理子系統(tǒng)進行處理，得到處理結(jié)果，并將處理結(jié)果反饋給用戶。本發(fā)明存儲計算系統(tǒng)中的請求處理方法能夠確定具體請求的類型，并在相應的處理子系統(tǒng)中處理各個請求，無需獨立開發(fā)多個不同的處理系統(tǒng)，采用該存儲計算系統(tǒng)及相應的請求處理方法，即可在同一系統(tǒng)處理不同類型的請求，并得到處理結(jié)果。
[0016]第二方面，本發(fā)明提供一種存儲計算系統(tǒng)，其具體說明如下:
[0017]本發(fā)明提供一種存儲計算系統(tǒng)，該系統(tǒng)包括業(yè)務管理子系統(tǒng)和處理子系統(tǒng)，業(yè)務管理子系統(tǒng)用于根據(jù)當前節(jié)點根據(jù)接收到的請求的類型，確定類型對應的處理子系統(tǒng)，并向處理子系統(tǒng)發(fā)送請求，反饋處理結(jié)果;處理子系統(tǒng)包括數(shù)據(jù)存儲子系統(tǒng)和計算子系統(tǒng)，數(shù)據(jù)存儲子系統(tǒng)用于存儲數(shù)據(jù)，計算子系統(tǒng)用于執(zhí)行作業(yè)。
[0018]進一步地，該存儲計算系統(tǒng)的業(yè)務管理子系統(tǒng)還用于:判斷本節(jié)點是否支持該請求的類型；若支持，則業(yè)務管理子系統(tǒng)根據(jù)請求的類型，確定請求對應的處理子系統(tǒng);若不支持，則業(yè)務管理子系統(tǒng)將請求發(fā)送給分布式的業(yè)務管理子系統(tǒng)中的指定節(jié)點處理。
[0019]進一步地，該存儲計算系統(tǒng)在請求的類型為數(shù)據(jù)類型時，業(yè)務管理子系統(tǒng)具體用于:確定數(shù)據(jù)類型對應的數(shù)據(jù)存儲集群，數(shù)據(jù)存儲子系統(tǒng)為分布式的數(shù)據(jù)存儲集群。
[0020]進一步地，該存儲計算系統(tǒng)在請求的類型為作業(yè)類型時，業(yè)務管理子系統(tǒng)具體用于:確定作業(yè)類型對應的計算子系統(tǒng)中的目標處理節(jié)點，計算子系統(tǒng)為分布式系統(tǒng)。
[0021]進一步地，該存儲計算系統(tǒng)在請求的類型為作業(yè)流請求時，業(yè)務管理子系統(tǒng)具體用于:確定作業(yè)流類型對應的分布式作業(yè)流調(diào)度子系統(tǒng)，處理子系統(tǒng)包括分布式作業(yè)流調(diào)度子系統(tǒng);分布式作業(yè)流調(diào)度子系統(tǒng)用于拆分作業(yè)流為若干作業(yè)，分別發(fā)送給計算子系統(tǒng)中的若干處理節(jié)點。
[0022]本發(fā)明提供的存儲計算系統(tǒng)，能夠接收不同類型的請求，針對各個請求的類型，確定該請求對應的處理子系統(tǒng)，再將各請求發(fā)送至相應的處理子系統(tǒng)進行處理，得到處理結(jié)果，并將處理結(jié)果反饋給用戶，無需獨立開發(fā)多個不同的處理系統(tǒng)，采用該存儲計算系統(tǒng)，即可在同一系統(tǒng)處理不同類型的請求，并得到處理結(jié)果。
[0023]因此，本發(fā)明提供的存儲計算系統(tǒng)中的請求處理方法及存儲計算系統(tǒng)，能夠處理不同類型的請求。
【附圖說明】
[0024]圖1是本發(fā)明提供的第一個存儲計算系統(tǒng)中的請求處理方法流程圖；
[0025]圖2是本發(fā)明提供的第二個存儲計算系統(tǒng)中的請求處理方法流程圖；
[0026]圖3是本發(fā)明提供的一個數(shù)據(jù)請求處理方法流程圖；
[0027]圖4是本發(fā)明提供的一個作業(yè)請求處理方法流程圖；
[0028]圖5是本發(fā)明提供的一個作業(yè)流請求處理方法流程圖；
[0029]圖6是本發(fā)明提供的一個存儲計算系統(tǒng)架構(gòu)示意圖；
[0030]圖7是本發(fā)明提供的另一個存儲計算系統(tǒng)架構(gòu)示意圖；
[0031 ]圖8是本發(fā)明提供的一個工作原理圖。
【具體實施方式】
[0032]下面通過具體的實施例進一步說明本發(fā)明，但是，應當理解為，這些實施例僅僅是用于更詳細具體地說明之用，而不應理解為用于以任何形式限制本發(fā)明。
[0033]第一方面，本發(fā)明提供一種存儲計算系統(tǒng)中的請求處理方法，其具體說明如下:
[0034]本實施例提供一種存儲計算系統(tǒng)中的請求處理方法，結(jié)合圖1，具體說明如下:
[0035]步驟SI，業(yè)務管理子系統(tǒng)中的當前節(jié)點根據(jù)接收到請求的類型，確定類型對應的處理子系統(tǒng)；存儲計算系統(tǒng)包括業(yè)務管理子系統(tǒng)和處理子系統(tǒng)，處理子系統(tǒng)包括數(shù)據(jù)存儲子系統(tǒng)和計算子系統(tǒng)；
[0036]步驟S2，當前節(jié)點向該類型對應的處理子系統(tǒng)發(fā)送請求；
[0037]步驟S3，當前節(jié)點反饋處理結(jié)果。
[0038]本實施例提供存儲計算系統(tǒng)中的請求處理方法，能夠接收不同類型的請求，并根據(jù)具體請求的類型，確定該請求對應的處理子系統(tǒng)，再將各請求發(fā)送至相應的處理子系統(tǒng)進行處理，得到處理結(jié)果，并將處理結(jié)果反饋給用戶。其中，當前節(jié)點是指接收到該請求的節(jié)點。本實施例存儲計算系統(tǒng)中的請求處理方法能夠確定具體請求的類型，并在相應的處理子系統(tǒng)中處理各個請求，無需獨立開發(fā)多個不同的處理系統(tǒng)，采用該存儲計算系統(tǒng)及相應的請求處理方法，即可在同一系統(tǒng)處理不同類型的請求，并得到處理結(jié)果。因此，本實施例提供的存儲計算系統(tǒng)中的請求處理方法，能夠處理不同類型的請求。
[0039]優(yōu)選地，本實施例存儲計算系統(tǒng)中的請求處理方法，能夠接收不同類型的請求，并且針對不同的類型，該存儲計算系統(tǒng)中的請求處理方法還能夠判斷本節(jié)點能否支持，結(jié)合圖2，具體說明如下:
[0040]步驟S21，判斷本節(jié)點是否支持請求的類型；
[0041 ]若本節(jié)點支持該請求的類型，則執(zhí)行:
[0042]步驟S22，業(yè)務管理子系統(tǒng)中的當前節(jié)點根據(jù)接收到請求的類型，確定該類型對應的處理子系統(tǒng)；存儲計算系統(tǒng)包括業(yè)務管理子系統(tǒng)和處理子系統(tǒng)，處理子系統(tǒng)包括數(shù)據(jù)存儲子系統(tǒng)和計算子系統(tǒng)；
[0043]步驟S23，當前節(jié)點向該類型對應的處理子系統(tǒng)發(fā)送請求；
[0044]步驟S24，當前節(jié)點反饋處理結(jié)果。
[0045]若本節(jié)點不支持該請求的類型，則執(zhí)行:
[0046]步驟S25，將該請求發(fā)送給分布式的業(yè)務管理子系統(tǒng)中的指定節(jié)點處理。
[0047]本實施例存儲計算系統(tǒng)中的請求處理方法，能夠接收不同類型的請求，其中，也會存在某些請求本地節(jié)點無法處理。該存儲計算系統(tǒng)中的請求處理方法首先判斷本節(jié)點能否支持該請求，若能夠處理，則在本地節(jié)點處理該請求，若不能處理，該存儲計算系統(tǒng)中的請求處理方法將該請求路由至指定節(jié)點的業(yè)務管理子系統(tǒng)進行處理，節(jié)省系統(tǒng)、設備等資源，并且能夠?qū)崿F(xiàn)處理不同類型的請求。
[0048]具體地，針對數(shù)據(jù)類型的請求，本實施例存儲計算系統(tǒng)中的請求處理方法，結(jié)合圖3，具體說明如下:
[0049]步驟S31，業(yè)務管理子系統(tǒng)中的當前節(jié)點根據(jù)數(shù)據(jù)類型，確定數(shù)據(jù)類型對應的數(shù)據(jù)存儲集群，數(shù)據(jù)存儲子系統(tǒng)為分布式的數(shù)據(jù)存儲集群；
[0050]步驟S32，當前節(jié)點向該數(shù)據(jù)類型對應的數(shù)據(jù)存儲集群發(fā)送請求；
[0051]步驟S33，當前節(jié)點反饋處理結(jié)果。
[0052]本實施例存儲計算系統(tǒng)中的請求處理方法，針對數(shù)據(jù)類型的請求，如小票保存請求，該存儲計算系統(tǒng)中的請求處理方法確定能夠處理該請求的數(shù)據(jù)存儲集群，在相應的數(shù)據(jù)存儲集群中，處理該數(shù)據(jù)請求，其中數(shù)據(jù)存儲子系統(tǒng)為分布式的數(shù)據(jù)存儲集群。該數(shù)據(jù)存儲子系統(tǒng)包括但不僅限于HDFS、HBase、數(shù)據(jù)庫和文件系統(tǒng)。其中，HDFS適用于超大數(shù)據(jù)的應用程序，其數(shù)據(jù)吞吐量高，時延較長，HBase的時延較低。該存儲計算系統(tǒng)中的請求處理方法，能夠針對數(shù)據(jù)類型的請求，確定能夠處理該請求的數(shù)據(jù)存儲集群，提高數(shù)據(jù)運算效率，縮短處理時間。
[0053]具體地，針對作業(yè)類型的請求，本實施例存儲計算系統(tǒng)中的請求處理方法，結(jié)合圖4，具體說明如下:
[0054]步驟S41，業(yè)務管理子系統(tǒng)中的當前節(jié)點根據(jù)作業(yè)類型，確定作業(yè)類型對應的計算子系統(tǒng)中的目標處理節(jié)點，計算子系統(tǒng)為分布式系統(tǒng)；
[0055]步驟S42，當前節(jié)點向該作業(yè)類型對應的計算子系統(tǒng)中的目標處理節(jié)點發(fā)送請求；
[0056]步驟S43，當前節(jié)點反饋處理結(jié)果。
[0057]本實施例存儲計算系統(tǒng)中的請求處理方法，針對作業(yè)類型的請求，如評價報告請求，該存儲計算系統(tǒng)中的請求處理方法，能夠確定處理該請求的計算子系統(tǒng)目標處理節(jié)點，該作業(yè)請求在該計算子系統(tǒng)得到處理，并反饋處理結(jié)果。該存儲計算系統(tǒng)中的請求處理方法針對作業(yè)請求，在相應的處理子系統(tǒng)進行處理，保障該作業(yè)請求能夠得到及時、有效地處理，提高數(shù)據(jù)運算效率，縮短請求處理時間。
[0058]具體地，針對作業(yè)流類型的請求，本實施例存儲計算系統(tǒng)中的請求處理方法，結(jié)合圖5，具體說明如下:
[0059]步驟S51，業(yè)務管理子系統(tǒng)中的當前節(jié)點根據(jù)作業(yè)流類型，確定作業(yè)流類型對應的分布式作業(yè)流調(diào)度子系統(tǒng)，處理子系統(tǒng)包括分布式作業(yè)流調(diào)度子系統(tǒng)；
[0060]步驟S52，當前節(jié)點向該作業(yè)流類型對應的分布式作業(yè)流調(diào)度子系統(tǒng)發(fā)送請求；
[0061]步驟S53，分布式作業(yè)流調(diào)度子系統(tǒng)將作業(yè)流拆分為若干作業(yè)，分別發(fā)送給計算子系統(tǒng)中的若干處理節(jié)點；
[0062]步驟S54，當前節(jié)點反饋處理結(jié)果。
[0063]本實施例存儲計算系統(tǒng)中的請求處理方法，針對作業(yè)流類型的請求，如年報生成類復雜任務，該存儲計算系統(tǒng)中的請求處理方法，將該作業(yè)流請求發(fā)送至分布式作業(yè)流調(diào)度子系統(tǒng)，拆分為若干作業(yè)，發(fā)送至計算子系統(tǒng)的若干處理節(jié)點處理該作業(yè)流請求。該存儲計算系統(tǒng)中的請求處理方法能夠及時、有效地處理作業(yè)流類型的請求，并且數(shù)據(jù)運算效率高、處理結(jié)果可靠、節(jié)省系統(tǒng)設備等資源。
[0064]第二方面，本發(fā)明提供一種存儲計算系統(tǒng)，其具體說明如下:
[0065]本實施例提供一種存儲計算系統(tǒng)，結(jié)合圖6，該系統(tǒng)包括業(yè)務管理子系統(tǒng)61和處理子系統(tǒng)62，業(yè)務管理子系統(tǒng)61用于根據(jù)當前節(jié)點根據(jù)接收到的請求的類型，確定類型對應的處理子系統(tǒng)62，并向處理子系統(tǒng)62發(fā)送請求，反饋處理結(jié)果;處理子系統(tǒng)62可以是數(shù)據(jù)存儲子系統(tǒng)621，也可以是計算子系統(tǒng)622，數(shù)據(jù)存儲子系統(tǒng)621用于存儲數(shù)據(jù)，計算子系統(tǒng)622用于執(zhí)行作業(yè)。
[0066]本實施例提供的存儲計算系統(tǒng)，能夠接收不同類型的請求，針對各個請求的類型，確定該請求對應的處理子系統(tǒng)62，再將各請求發(fā)送至相應的處理子系統(tǒng)62進行處理，得到處理結(jié)果，并將處理結(jié)果反饋給用戶，無需獨立開發(fā)多個不同的處理系統(tǒng)，采用該存儲計算系統(tǒng)，即可在同一系統(tǒng)處理不同類型的請求，并得到處理結(jié)果。因此，本實施例提供的存儲計算系統(tǒng)，能夠處理不同類型的請求。
[0067]優(yōu)選地，本實施例存儲計算系統(tǒng)，能夠接收不同類型的請求，并且針對不同的類型，該存儲計算系統(tǒng)還能夠判斷本節(jié)點能否支持該請求的類型，若支持，則業(yè)務管理子系統(tǒng)61根據(jù)請求的類型，確定請求對應的處理子系統(tǒng)62;若不支持，則業(yè)務管理子系統(tǒng)61將請求發(fā)送給分布式的業(yè)務管理子系統(tǒng)61中的指定節(jié)點處理。本實施例存儲計算系統(tǒng)的業(yè)務管理子系統(tǒng)61首先進行判斷，本節(jié)點能否支持該請求的類型，若不能處理該請求，則將該請求發(fā)送至分布式的業(yè)務管理子系統(tǒng)61中的指定節(jié)點處理，確保本節(jié)點接收的各個類型的請求均得到相應的處理，及時、有效地向用戶反饋處理結(jié)果，并提高設備資源利用率，降低設備成本。
[0068]具體地，本實施例存儲計算系統(tǒng)，在請求的類型為數(shù)據(jù)類型時，業(yè)務管理子系統(tǒng)61具體用于:確定數(shù)據(jù)類型對應的數(shù)據(jù)存儲集群，并向該數(shù)據(jù)存儲集群發(fā)送該請求，數(shù)據(jù)存儲子系統(tǒng)621為分布式的數(shù)據(jù)存儲集群。本實施例存儲計算系統(tǒng)，針對數(shù)據(jù)類型的請求，如小票保存請求，確定能夠處理該請求的數(shù)據(jù)存儲集群，在相應的數(shù)據(jù)存儲集群中，處理該數(shù)據(jù)請求，其中數(shù)據(jù)存儲子系統(tǒng)621為分布式的數(shù)據(jù)存儲集群。該數(shù)據(jù)存儲子系統(tǒng)621包括但不僅限于HDFS、HBase、數(shù)據(jù)庫和文件系統(tǒng)。其中，HDFS適用于超大數(shù)據(jù)的應用程序，其數(shù)據(jù)吞吐量高，時延較長，HBase的時延較低。該存儲計算系統(tǒng)的業(yè)務管理子系統(tǒng)61，能夠針對數(shù)據(jù)類型的請求，確定能夠處理該請求的數(shù)據(jù)存儲集群，提高數(shù)據(jù)運算效率，縮短處理時間。
[0069]具體地，本實施例存儲計算系統(tǒng)，在請求的類型為作業(yè)類型時，業(yè)務管理子系統(tǒng)61具體用于:確定作業(yè)類型對應的計算子系統(tǒng)622中的目標處理節(jié)點，計算子系統(tǒng)622為分布式系統(tǒng)。本實施例存儲計算系統(tǒng)，針對作業(yè)類型的請求，如評價報告請求，確定能夠處理該請求的計算子系統(tǒng)622中的目標處理節(jié)點，該作業(yè)請求在該計算子系統(tǒng)622得到處理，并反饋處理結(jié)果。該存儲計算系統(tǒng)的業(yè)務管理子系統(tǒng)61將作業(yè)請求發(fā)送至相應的處理子系統(tǒng)62進行處理，保障該作業(yè)請求能夠得到及時、有效地處理，提高數(shù)據(jù)運算效率，縮短請求處理時間。
[0070]具體地，本實施例存儲計算系統(tǒng)，在請求的類型為作業(yè)流類型時，業(yè)務管理子系統(tǒng)61具體用于:確定作業(yè)流類型對應的分布式作業(yè)流調(diào)度子系統(tǒng)，處理子系統(tǒng)62還可以是分布式作業(yè)流調(diào)度子系統(tǒng);分布式作業(yè)流調(diào)度子系統(tǒng)用于拆分作業(yè)流為若干作業(yè)，分別發(fā)送給計算子系統(tǒng)622中的若干處理節(jié)點。本實施例存儲計算系統(tǒng)，針對作業(yè)流類型的請求，如年報生成類復雜任務，
[0071]采用分布式作業(yè)流調(diào)度子系統(tǒng)，將作業(yè)流拆分為若干作業(yè)，在相應的計算子系統(tǒng)622的若干處理節(jié)點處理該作業(yè)流請求，能夠保證作業(yè)流請求得到及時、有效的處理，并且將復雜作業(yè)流拆分為若干作業(yè)，在計算子系統(tǒng)622的若干節(jié)點得到相應處理，提高數(shù)據(jù)運算效率。
[0072]本實施例提供另一種存儲計算系統(tǒng)，結(jié)合圖7，該系統(tǒng)包括數(shù)據(jù)服務管理單元71、數(shù)據(jù)存儲單元72、數(shù)據(jù)計算單元73和分布式作業(yè)流調(diào)度引擎，其中數(shù)據(jù)服務管理單元71為上述業(yè)務管理子系統(tǒng)，數(shù)據(jù)存儲單元72、數(shù)據(jù)計算單元73和分布式作業(yè)流調(diào)度引擎共同實現(xiàn)上述處理子系統(tǒng)的功能。該數(shù)據(jù)服務管理單元71包括數(shù)據(jù)服務管理模塊和驅(qū)動管理模塊。從邏輯上劃分，該分布式存儲計算系統(tǒng)包括若干個數(shù)據(jù)服務管理單元71、若干個數(shù)據(jù)存儲單元72、若干個數(shù)據(jù)計算單元73;從硬件上劃分，該分布式存儲計算系統(tǒng)包括若干個本地磁盤、以太網(wǎng)交換機或者IB交換機。為了充分利用資源，每個節(jié)點或本地磁盤上均布置有數(shù)據(jù)服務管理單元71、數(shù)據(jù)存儲單元72和數(shù)據(jù)計算單元73。結(jié)合圖8，每個數(shù)據(jù)服務管理模塊中包括服務注冊和發(fā)現(xiàn)子模塊、偵聽分發(fā)子模塊、任務庫子模塊、任務執(zhí)行線程池子模塊和接口服務線程池子模塊。每個驅(qū)動管理器包括各個存儲單元的驅(qū)動，如HDFS驅(qū)動、HBase驅(qū)動、JDBC驅(qū)動、Fi I e驅(qū)動等。
[0073]當偵聽分發(fā)子模塊接收到請求，對該請求進行解析，通過解析獲知該請求的類型，如數(shù)據(jù)請求、作業(yè)請求或作業(yè)流請求，并根據(jù)本節(jié)點任務庫子模塊支持的服務類型判斷是否由本節(jié)點進行后續(xù)處理;其中，任務庫子模塊存儲至少一種任務類型，如讀取任務、數(shù)據(jù)處理、數(shù)據(jù)操作、安全審計、統(tǒng)計分析、入庫任務、位置服務、迀移裝載、計算分析、并行檢索。
[0074]若判斷本節(jié)點無法執(zhí)行后續(xù)處理，與服務注冊和發(fā)現(xiàn)子模塊進行通信，由服務注冊和發(fā)現(xiàn)子模塊指定數(shù)據(jù)服務管理模塊，并返回指定的數(shù)據(jù)服務管理模塊的地址；當前節(jié)點的偵聽分發(fā)子模塊根據(jù)接收到的地址，將請求路由到指定的數(shù)據(jù)服務管理模塊的接口服務線程池。
[0075]對于數(shù)據(jù)請求，例如小票保存請求，接口服務線程池直接或通過任務執(zhí)行線程池觸發(fā)本節(jié)點的驅(qū)動管理器工作，由驅(qū)動管理器向分布式集群發(fā)送數(shù)據(jù)訪問請求。
[0076]對于作業(yè)請求，例如評價報告，接口服務線程池向數(shù)據(jù)計算單元發(fā)送作業(yè)請求。
[0077]對于作業(yè)流請求，例如年報生成，接口服務線程池將該請求發(fā)送給JSS分布式調(diào)度引擎，由JSS分布式調(diào)度引擎基于DAG圖將作業(yè)流拆分成若干作業(yè)，并分發(fā)給數(shù)據(jù)計算單元，其中JSS分布式調(diào)度引擎即分布式作業(yè)流調(diào)度引擎。
[0078]最后，數(shù)據(jù)服務管理單元將各種類型請求的處理結(jié)果反饋給請求者。
[0079]盡管本發(fā)明已進行了一定程度的描述，明顯地，在不脫離本發(fā)明的精神和范圍的條件下，可進行各個條件的適當變化?？梢岳斫?，本發(fā)明不限于實施方案，而歸于權(quán)利要求的范圍，其包括每個因素的等同替換。
【主權(quán)項】
1.一種存儲計算系統(tǒng)中的請求處理方法，其特征在于，所述方法包括: 步驟SI，業(yè)務管理子系統(tǒng)中的當前節(jié)點根據(jù)接收到的請求的類型，確定所述類型對應的處理子系統(tǒng);所述存儲計算系統(tǒng)包括所述業(yè)務管理子系統(tǒng)和所述處理子系統(tǒng)，所述處理子系統(tǒng)包括數(shù)據(jù)存儲子系統(tǒng)和計算子系統(tǒng)； 步驟S2，所述當前節(jié)點向所述類型對應的處理子系統(tǒng)發(fā)送所述請求； 步驟S3，所述當前節(jié)點反饋處理結(jié)果。2.根據(jù)權(quán)利要求1所述存儲計算系統(tǒng)中的請求處理方法，其特征在于， 步驟SI之前，該方法還包括:所述當前節(jié)點判斷本節(jié)點是否支持所述請求的類型;若支持，執(zhí)行所述步驟SI，若不支持，將所述請求發(fā)送給分布式的所述業(yè)務管理子系統(tǒng)中的指定節(jié)點處理。3.根據(jù)權(quán)利要求1所述存儲計算系統(tǒng)中的請求處理方法，其特征在于， 所述步驟SI具體包括: 確定所述請求的類型為數(shù)據(jù)類型； 確定所述數(shù)據(jù)類型對應的數(shù)據(jù)存儲集群，所述數(shù)據(jù)存儲子系統(tǒng)為分布式的數(shù)據(jù)存儲集群。4.根據(jù)權(quán)利要求1所述存儲計算系統(tǒng)中的請求處理方法，其特征在于， 所述步驟SI具體包括: 確定所述請求的類型為作業(yè)類型； 確定所述作業(yè)類型對應的所述計算子系統(tǒng)中的目標處理節(jié)點，所述計算子系統(tǒng)為分布式系統(tǒng)。5.根據(jù)權(quán)利要求1所述存儲計算系統(tǒng)中的請求處理方法，其特征在于， 所述步驟SI具體包括: 確定所述請求的類型為作業(yè)流請求； 確定所述作業(yè)流類型對應的分布式作業(yè)流調(diào)度子系統(tǒng)，所述處理子系統(tǒng)包括所述分布式作業(yè)流調(diào)度子系統(tǒng)； 步驟S2具體包括:所述當前節(jié)點向所述分布式作業(yè)流調(diào)度子系統(tǒng)發(fā)送所述請求； 所述步驟S2之后，該方法還包括:所述分布式作業(yè)流調(diào)度子系統(tǒng)將作業(yè)流拆分為若干作業(yè)，分別發(fā)送給所述計算子系統(tǒng)中的若干處理節(jié)點。6.一種存儲計算系統(tǒng)，其特征在于，所述系統(tǒng)包括: 業(yè)務管理子系統(tǒng)和處理子系統(tǒng)， 所述業(yè)務管理子系統(tǒng)用于根據(jù)當前節(jié)點根據(jù)接收到的請求的類型，確定所述類型對應的處理子系統(tǒng)，并向所述處理子系統(tǒng)發(fā)送所述請求，反饋處理結(jié)果； 所述處理子系統(tǒng)包括數(shù)據(jù)存儲子系統(tǒng)和計算子系統(tǒng)； 所述數(shù)據(jù)存儲子系統(tǒng)用于存儲數(shù)據(jù)； 所述計算子系統(tǒng)用于執(zhí)行作業(yè)。7.根據(jù)權(quán)利要求6所述的存儲計算系統(tǒng)，其特征在于， 所述業(yè)務管理子系統(tǒng)還用于判斷本節(jié)點是否支持所述請求的類型； 若支持，則所述業(yè)務管理子系統(tǒng)根據(jù)所述類型，確定所述請求對應的處理子系統(tǒng)； 若不支持，則所述業(yè)務管理子系統(tǒng)將所述請求發(fā)送給分布式的所述業(yè)務管理子系統(tǒng)中的指定節(jié)點處理。8.根據(jù)權(quán)利要求6所述的存儲計算系統(tǒng)，其特征在于， 在所述請求的類型為數(shù)據(jù)類型時，所述業(yè)務管理子系統(tǒng)具體用于: 確定所述數(shù)據(jù)類型對應的數(shù)據(jù)存儲集群，所述數(shù)據(jù)存儲子系統(tǒng)為分布式的數(shù)據(jù)存儲集群。9.根據(jù)權(quán)利要求6所述的存儲計算系統(tǒng)，其特征在于， 在所述請求的類型為作業(yè)類型時，所述業(yè)務管理子系統(tǒng)具體用于: 確定所述作業(yè)類型對應的所述計算子系統(tǒng)中的目標處理節(jié)點，所述計算子系統(tǒng)為分布式系統(tǒng)。10.根據(jù)權(quán)利要求6所述的存儲計算系統(tǒng)，其特征在于， 在所述請求的類型為作業(yè)流請求時，所述業(yè)務管理子系統(tǒng)具體用于: 確定所述作業(yè)流類型對應的分布式作業(yè)流調(diào)度子系統(tǒng)，所述處理子系統(tǒng)包括所述分布式作業(yè)流調(diào)度子系統(tǒng);所述分布式作業(yè)流調(diào)度子系統(tǒng)用于拆分作業(yè)流為若干作業(yè)，分別發(fā)送給所述計算子系統(tǒng)中的若干處理節(jié)點。
【文檔編號】G06F9/50GK105893156SQ201610248717
【公開日】2016年8月24日
【申請日】2016年4月20日
【發(fā)明人】肖華飚, 高萍
【申請人】北京云宏信達信息科技有限公司