本公開實(shí)施例涉及數(shù)據(jù)處理，尤其涉及一種分布式系統(tǒng)的多租戶流量控制方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)：

1、分布式系統(tǒng)在大規(guī)模數(shù)據(jù)處理和高并發(fā)訪問場景中有著廣泛的應(yīng)用。當(dāng)多個租戶(租戶或者租戶組)共享同一個分布式系統(tǒng)時，可以充分利租戶間負(fù)載的補(bǔ)充特性，充分利用分布式系統(tǒng)中多個機(jī)器對應(yīng)的各個維度的資源。在多個租戶共享同一個分布式系統(tǒng)(即多租戶混部)時，需要進(jìn)行多租戶隔離，以避免各租戶之間的干擾且確保各租戶的數(shù)據(jù)安全性。

2、但是，在對多租戶進(jìn)行隔離時，如果租戶隔離機(jī)制不充分時，上述多租戶部署的方式容易出現(xiàn)單個租戶的突增流量而影響所有混布的租戶請求的延時和錯誤率問題。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述技術(shù)問題，本公開實(shí)施例提供了一種分布式系統(tǒng)的多租戶流量控制方法、裝置、設(shè)備及介質(zhì)。

2、第一方面，本公開實(shí)施例提供了一種分布式系統(tǒng)的多租戶流量控制方法，該方法包括：

3、通過分布式系統(tǒng)中代理層接收多租戶中目標(biāo)租戶發(fā)送的訪問請求；所述訪問請求用于請求讀取或?qū)懭肽繕?biāo)流量；

4、根據(jù)所述訪問請求，確定所述代理層中承接所述目標(biāo)租戶的代理節(jié)點(diǎn)當(dāng)前承接的總流量是否小于所述目標(biāo)租戶的總流量配額；其中，所述分布式系統(tǒng)針對多租戶中每個租戶預(yù)先配置有對應(yīng)的總流量配額；

5、在確定所述代理層中承接所述目標(biāo)租戶的代理節(jié)點(diǎn)當(dāng)前承接的總流量小于所述目標(biāo)租戶的總流量配額時，控制所述代理層的代理節(jié)點(diǎn)基于預(yù)設(shè)的代理節(jié)點(diǎn)第一流量配額進(jìn)行訪問控制；所述代理節(jié)點(diǎn)第一流量配額是基于所述目標(biāo)租戶的總流量配額針對單個代理節(jié)點(diǎn)配置的平均流量傾斜配額；

6、控制所述代理層中目標(biāo)代理節(jié)點(diǎn)承接所述訪問請求，并確定所述目標(biāo)代理節(jié)點(diǎn)當(dāng)前承接的總流量是否小于所述代理節(jié)點(diǎn)第一流量配額；

7、在確定所述目標(biāo)代理節(jié)點(diǎn)當(dāng)前承接的總流量小于所述代理節(jié)點(diǎn)第一流量配額時，通過所述目標(biāo)代理節(jié)點(diǎn)將所述訪問請求分配至所述分布式系統(tǒng)中目標(biāo)數(shù)據(jù)節(jié)點(diǎn)，通過所述目標(biāo)數(shù)據(jù)節(jié)點(diǎn)執(zhí)行所述訪問請求。

8、第二方面，本公開實(shí)施例還提供了一種分布式系統(tǒng)的多租戶流量控制裝置，該裝置包括：

9、接收單元，用于通過分布式系統(tǒng)中代理層接收多租戶中目標(biāo)租戶發(fā)送的訪問請求；所述訪問請求用于請求讀取或?qū)懭肽繕?biāo)流量；

10、租戶流量配額比較單元，用于根據(jù)所述訪問請求，確定所述代理層中承接所述目標(biāo)租戶的代理節(jié)點(diǎn)當(dāng)前承接的總流量是否小于所述目標(biāo)租戶的總流量配額；其中，所述分布式系統(tǒng)針對多租戶中每個租戶預(yù)先配置有對應(yīng)的總流量配額；

11、控制單元，用于在確定所述代理層中承接所述目標(biāo)租戶的代理節(jié)點(diǎn)當(dāng)前承接的總流量小于所述目標(biāo)租戶的總流量配額時，控制所述代理層的代理節(jié)點(diǎn)基于預(yù)設(shè)的代理節(jié)點(diǎn)第一流量配額進(jìn)行訪問控制；所述代理節(jié)點(diǎn)第一流量配額是基于所述目標(biāo)租戶的總流量配額針對單個代理節(jié)點(diǎn)配置的平均流量傾斜配額；

12、代理節(jié)點(diǎn)流量比較單元，用于控制所述代理層中目標(biāo)代理節(jié)點(diǎn)承接所述訪問請求，并確定所述目標(biāo)代理節(jié)點(diǎn)當(dāng)前承接的總流量是否小于所述代理節(jié)點(diǎn)第一流量配額；

13、執(zhí)行單元，用于在確定所述目標(biāo)代理節(jié)點(diǎn)當(dāng)前承接的總流量小于所述代理節(jié)點(diǎn)第一流量配額時，通過所述目標(biāo)代理節(jié)點(diǎn)將所述訪問請求分配至所述分布式系統(tǒng)中目標(biāo)數(shù)據(jù)節(jié)點(diǎn)，通過所述目標(biāo)數(shù)據(jù)節(jié)點(diǎn)執(zhí)行所述訪問請求。

14、第三方面，本公開實(shí)施例還提供了一種電子設(shè)備，該電子設(shè)備包括：

15、處理器；

16、存儲器，用于存儲可執(zhí)行指令；

17、其中，處理器用于從存儲器中讀取可執(zhí)行指令，并執(zhí)行可執(zhí)行指令以實(shí)現(xiàn)本公開任意實(shí)施例所說明的分布式系統(tǒng)的多租戶流量控制方法。

18、第四方面，本公開實(shí)施例還提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，該存儲介質(zhì)存儲有計(jì)算機(jī)程序，當(dāng)計(jì)算機(jī)程序被處理器執(zhí)行時，使得處理器實(shí)現(xiàn)本公開任意實(shí)施例所說明的分布式系統(tǒng)的多租戶流量控制方法。

19、本公開實(shí)施例的分布式系統(tǒng)的多租戶流量控制的多租戶隔離方法、裝置、設(shè)備及介質(zhì)，在接收到目標(biāo)租戶發(fā)送的訪問請求之后，先利用目標(biāo)租戶的總流量配額對代理層中承接所述目標(biāo)租戶的代理節(jié)點(diǎn)當(dāng)前承接的總流量進(jìn)行整體流量的限流處理，并在目標(biāo)租戶的代理節(jié)點(diǎn)當(dāng)前承接的總流量小于目標(biāo)租戶的總流量配額的情況下，再對目標(biāo)租戶的代理節(jié)點(diǎn)采用代理節(jié)點(diǎn)第一流量配額進(jìn)行訪問控制，該代理節(jié)點(diǎn)第一流量配額是基于所述目標(biāo)租戶的總流量配額針對單個代理節(jié)點(diǎn)配置的平均流量傾斜配額，以在整體流量未超限的情況下允許每個代理節(jié)點(diǎn)之間的流量的合理傾斜，提升租戶資源的利用率；并在目標(biāo)代理節(jié)點(diǎn)當(dāng)前承接的總流量小于代理節(jié)點(diǎn)第一流量配額時，再通過目標(biāo)代理節(jié)點(diǎn)將訪問請求分配至分布式系統(tǒng)中目標(biāo)數(shù)據(jù)節(jié)點(diǎn)，進(jìn)而通過目標(biāo)數(shù)據(jù)節(jié)點(diǎn)執(zhí)行所述訪問請求。如此，在多租戶混布的分布式系統(tǒng)中進(jìn)行訪問請求的處理過程中，可對目標(biāo)租戶進(jìn)行總流量配額的整體限流和允許各代理節(jié)點(diǎn)之間的合理的流量傾斜，既能提升租戶資源的利用率，又能極大地降低目標(biāo)租戶的流量突增的發(fā)生概率，盡可能地避免因單個租戶流量突增而導(dǎo)致其他租戶請求處理延遲或處理失敗的錯誤問題，從而提升分布式系統(tǒng)的租戶請求的處理效率和系統(tǒng)穩(wěn)定性。

技術(shù)特征：

1.一種分布式系統(tǒng)的多租戶流量控制方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述方法還包括：

4.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述通過所述目標(biāo)代理節(jié)點(diǎn)將所述訪問請求分配至所述分布式系統(tǒng)中目標(biāo)數(shù)據(jù)節(jié)點(diǎn)，通過所述目標(biāo)數(shù)據(jù)節(jié)點(diǎn)執(zhí)行所述訪問請求，包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過所述目標(biāo)數(shù)據(jù)節(jié)點(diǎn)執(zhí)行所述訪問請求，包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過所述目標(biāo)數(shù)據(jù)節(jié)點(diǎn)執(zhí)行所述訪問請求，包括：

9.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過所述目標(biāo)數(shù)據(jù)節(jié)點(diǎn)執(zhí)行所述訪問請求，包括：在確定所述目標(biāo)數(shù)據(jù)節(jié)點(diǎn)中所述目標(biāo)數(shù)據(jù)分片的緩存數(shù)據(jù)中不存在所述訪問請求對應(yīng)的數(shù)據(jù)時，通過所述目標(biāo)數(shù)據(jù)分片對所述訪問請求進(jìn)行基于租戶權(quán)重和輸入輸出次數(shù)的輸入輸出資源分配，并調(diào)度所述輸入輸出資源執(zhí)行所述訪問請求。

10.一種分布式系統(tǒng)的多租戶流量控制裝置，其特征在于，包括：

11.一種電子設(shè)備，其特征在于，包括：

12.一種計(jì)算機(jī)可讀存儲介質(zhì)，其特征在于，所述存儲介質(zhì)存儲有計(jì)算機(jī)程序，當(dāng)所述計(jì)算機(jī)程序被處理器執(zhí)行時，使得處理器實(shí)現(xiàn)上述權(quán)利要求1-9中任一項(xiàng)所述的分布式系統(tǒng)的多租戶流量控制方法。

技術(shù)總結(jié)
本公開實(shí)施例涉及一種分布式系統(tǒng)的多租戶流量控制方法、裝置、設(shè)備及介質(zhì)，涉及數(shù)據(jù)處理技術(shù)領(lǐng)域；包括：根據(jù)目標(biāo)租戶發(fā)送的訪問請求，在確定代理層中承接目標(biāo)租戶的代理節(jié)點(diǎn)當(dāng)前承接的總流量小于所述目標(biāo)租戶的總流量配額時，控制代理層的代理節(jié)點(diǎn)基于預(yù)設(shè)的代理節(jié)點(diǎn)第一流量配額進(jìn)行訪問控制；在確定目標(biāo)代理節(jié)點(diǎn)當(dāng)前承接的總流量小于代理節(jié)點(diǎn)第一流量配額時，通過目標(biāo)代理節(jié)點(diǎn)將所述訪問請求分配至分布式系統(tǒng)中目標(biāo)數(shù)據(jù)節(jié)點(diǎn)，通過目標(biāo)數(shù)據(jù)節(jié)點(diǎn)執(zhí)行訪問請求。如此，通過分布式系統(tǒng)的多租戶流量控制機(jī)制的運(yùn)行，在滿足單個租戶的流量需求的同時，能夠更大程度地對每個租戶的流量進(jìn)行合理限制，提升分布式系統(tǒng)的租戶請求的處理效率和系統(tǒng)穩(wěn)定性。

技術(shù)研發(fā)人員：陳燕斌
受保護(hù)的技術(shù)使用者：北京火山引擎科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9