本發(fā)明涉及計(jì)算機(jī)，具體涉及數(shù)據(jù)庫(kù)，更具體地涉及一種數(shù)據(jù)庫(kù)存儲(chǔ)引擎的輕量掃描方法、電子設(shè)備。

背景技術(shù)：

1、在現(xiàn)代計(jì)算機(jī)技術(shù)領(lǐng)域中，隨著信息化進(jìn)程的加速，數(shù)據(jù)量呈指數(shù)級(jí)增長(zhǎng)，如何高效地存儲(chǔ)、管理和查詢海量數(shù)據(jù)成為了一個(gè)重要的課題。關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)（rdbms）作為數(shù)據(jù)管理的核心技術(shù)，廣泛應(yīng)用于各類信息系統(tǒng)中。然而，傳統(tǒng)的數(shù)據(jù)庫(kù)存儲(chǔ)和查詢方式在面對(duì)高并發(fā)、大規(guī)模數(shù)據(jù)查詢處理時(shí)，往往會(huì)出現(xiàn)性能瓶頸。隨著數(shù)據(jù)規(guī)模的不斷擴(kuò)大和并發(fā)查詢需求的增加，進(jìn)一步優(yōu)化數(shù)據(jù)庫(kù)的存儲(chǔ)和查詢效率，尤其是掃描操作的效率，顯得尤為重要。

2、在大數(shù)據(jù)處理場(chǎng)景下，掃描操作是數(shù)據(jù)庫(kù)查詢過(guò)程中最為常見和關(guān)鍵的操作之一。數(shù)據(jù)以頁(yè)為最小單位存儲(chǔ)在數(shù)據(jù)庫(kù)系統(tǒng)中，傳統(tǒng)的掃描技術(shù)通常先要將數(shù)據(jù)頁(yè)從磁盤加載進(jìn)全局緩存池中再逐頁(yè)逐行處理。在高并發(fā)場(chǎng)景下，查詢大數(shù)量表不僅會(huì)獨(dú)占全局緩存池，還會(huì)在與其他表掃描爭(zhēng)搶計(jì)算機(jī)輸入（input）/輸出（output）系統(tǒng)，也即i/o系統(tǒng)，造成大量隨機(jī)i/o讀寫，影響查詢效率。

3、因此，如何在保證數(shù)據(jù)完整性和準(zhǔn)確性的前提下，提高大數(shù)量表掃描操作的效率，成為了一個(gè)亟待解決的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明提供了一種數(shù)據(jù)庫(kù)存儲(chǔ)引擎的輕量掃描方法、電子設(shè)備。

2、本發(fā)明的一個(gè)方面提供了一種數(shù)據(jù)庫(kù)存儲(chǔ)引擎的輕量掃描方法，包括：獲取待掃描的目標(biāo)數(shù)據(jù)表的數(shù)據(jù)分布信息；根據(jù)數(shù)據(jù)分布信息和數(shù)據(jù)庫(kù)存儲(chǔ)引擎當(dāng)前的資源使用信息，確定掃描策略；在確定掃描策略為輕量掃描策略情況下，根據(jù)數(shù)據(jù)分布信息確定并行掃描的掃描線程數(shù)量和每個(gè)掃描線程的掃描任務(wù)；調(diào)用與掃描線程數(shù)量對(duì)應(yīng)的至少一個(gè)掃描線程執(zhí)行各自的掃描任務(wù)，以從數(shù)據(jù)庫(kù)中掃描得到目標(biāo)數(shù)據(jù)表，其中，數(shù)據(jù)庫(kù)通過(guò)多個(gè)數(shù)據(jù)頁(yè)存儲(chǔ)目標(biāo)數(shù)據(jù)表，每個(gè)掃描線程通過(guò)執(zhí)行掃描任務(wù)從數(shù)據(jù)庫(kù)中批量掃描得到與其對(duì)應(yīng)的多個(gè)數(shù)據(jù)頁(yè)，并將與每個(gè)掃描線程對(duì)應(yīng)的多個(gè)數(shù)據(jù)頁(yè)填充至掃描線程的私有緩存中。

3、可選地，每個(gè)掃描線程與一個(gè)私有緩存關(guān)聯(lián)，私有緩存的容量限制掃描線程從數(shù)據(jù)庫(kù)中掃描得到的數(shù)據(jù)頁(yè)的數(shù)量；其中，私有緩存的容量是動(dòng)態(tài)變化的，且私有緩存的容量與掃描任務(wù)和/或當(dāng)前的資源使用信息相關(guān)。

4、可選地，輕量掃描方法還包括：針對(duì)每個(gè)掃描線程，在掃描線程開始執(zhí)行掃描任務(wù)之前，根據(jù)掃描任務(wù)確定私有緩存的目標(biāo)容量，并將私有緩存的容量由初始容量修改為目標(biāo)容量；以及在掃描線程結(jié)束掃描任務(wù)之后，將私有緩存的容量由目標(biāo)容量恢復(fù)為初始容量。

5、可選地，輕量掃描方法還包括：針對(duì)每個(gè)掃描線程，在資源使用信息滿足預(yù)定條件的情況下，按照預(yù)設(shè)容量步長(zhǎng)將私有緩存的初始容量增加至目標(biāo)容量；在資源使用信息不滿足預(yù)定條件的情況下，將私有緩存的容量由目標(biāo)容量恢復(fù)為初始容量。

6、可選地，根據(jù)數(shù)據(jù)分布信息和數(shù)據(jù)庫(kù)存儲(chǔ)引擎當(dāng)前的資源使用信息，確定掃描策略，包括：根據(jù)數(shù)據(jù)分布信息，確定數(shù)據(jù)分布計(jì)算結(jié)果；對(duì)數(shù)據(jù)分布計(jì)算結(jié)果和資源使用信息進(jìn)行加權(quán)求和，得到綜合評(píng)分；在綜合評(píng)分大于預(yù)定閾值的情況下，確定掃描策略為輕量掃描策略。

7、可選地，數(shù)據(jù)分布信息包括以下至少其中之一：目標(biāo)數(shù)據(jù)表的行數(shù)、存儲(chǔ)目標(biāo)數(shù)據(jù)表的數(shù)據(jù)頁(yè)的頁(yè)數(shù)、物理地址；根據(jù)數(shù)據(jù)分布信息，確定數(shù)據(jù)分布計(jì)算結(jié)果包括以下至少其中之一：根據(jù)行數(shù)和/或頁(yè)數(shù)，確定目標(biāo)數(shù)據(jù)表的數(shù)據(jù)量；根據(jù)物理地址，確定連續(xù)段的分布值，其中，連續(xù)段表征物理地址相連的多個(gè)數(shù)據(jù)頁(yè)，分布值是根據(jù)連續(xù)段的容量和/或容量大于預(yù)定容量的連續(xù)段數(shù)量確定的。

8、可選地，根據(jù)數(shù)據(jù)分布信息確定并行掃描的掃描線程數(shù)量和每個(gè)掃描線程的掃描任務(wù)，包括：根據(jù)數(shù)據(jù)量，確定掃描線程數(shù)量；在已創(chuàng)建掃描線程中確定與掃描線程數(shù)量對(duì)應(yīng)的至少一個(gè)掃描線程；按照物理地址，確定每個(gè)掃描線程的掃描任務(wù)，并將每個(gè)掃描任務(wù)與每個(gè)掃描線程綁定。

9、可選地，按照物理地址，確定每個(gè)掃描線程的掃描任務(wù)，包括：按照物理地址，將處于同一連續(xù)段的多個(gè)數(shù)據(jù)頁(yè)劃分至同一掃描線程的掃描任務(wù)中，以得到每個(gè)掃描線程的掃描任務(wù)。

10、可選地，輕量掃描方法還包括：在已創(chuàng)建掃描線程的數(shù)量小于掃描線程數(shù)量的情況下，創(chuàng)建至少一個(gè)掃描線程，以確定與掃描線程數(shù)量對(duì)應(yīng)的至少一個(gè)掃描線程。

11、本發(fā)明的另一個(gè)方面提供了一種數(shù)據(jù)庫(kù)存儲(chǔ)引擎的輕量掃描裝置，該裝置包括：獲取模塊，用于獲取待掃描的目標(biāo)數(shù)據(jù)表的數(shù)據(jù)分布信息；第一確定模塊，用于根據(jù)數(shù)據(jù)分布信息和數(shù)據(jù)庫(kù)存儲(chǔ)引擎當(dāng)前的資源使用信息，確定掃描策略；第二確定模塊，用于在確定掃描策略為輕量掃描策略情況下，根據(jù)數(shù)據(jù)分布信息確定并行掃描的掃描線程數(shù)量和每個(gè)掃描線程的掃描任務(wù)；調(diào)用模塊，用于調(diào)用與掃描線程數(shù)量對(duì)應(yīng)的至少一個(gè)掃描線程執(zhí)行各自的掃描任務(wù)，以從數(shù)據(jù)庫(kù)中掃描得到目標(biāo)數(shù)據(jù)表，其中，數(shù)據(jù)庫(kù)通過(guò)多個(gè)數(shù)據(jù)頁(yè)存儲(chǔ)目標(biāo)數(shù)據(jù)表，每個(gè)掃描線程通過(guò)執(zhí)行掃描任務(wù)從數(shù)據(jù)庫(kù)中批量掃描得到與其對(duì)應(yīng)的多個(gè)數(shù)據(jù)頁(yè)，并將與每個(gè)掃描線程對(duì)應(yīng)的多個(gè)數(shù)據(jù)頁(yè)填充至掃描線程的私有緩存中。

12、本發(fā)明的另一個(gè)方面提供了一種電子設(shè)備，包括：一個(gè)或多個(gè)處理器；存儲(chǔ)器，用于存儲(chǔ)一個(gè)或多個(gè)程序，其中，當(dāng)一個(gè)或多個(gè)程序被一個(gè)或多個(gè)處理器執(zhí)行時(shí)，使得一個(gè)或多個(gè)處理器實(shí)現(xiàn)如上的方法。

13、本發(fā)明的另一方面提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令，指令在被執(zhí)行時(shí)用于實(shí)現(xiàn)如上的方法。

14、本發(fā)明的另一方面提供了一種計(jì)算機(jī)程序產(chǎn)品，計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)可執(zhí)行指令，指令在被執(zhí)行時(shí)用于實(shí)現(xiàn)如上的方法。

15、本發(fā)明提出了一種數(shù)據(jù)庫(kù)存儲(chǔ)引擎的輕量掃描方法，在高并發(fā)、大數(shù)據(jù)量處理場(chǎng)景下能夠至少實(shí)現(xiàn)以下技術(shù)效果：

16、一方面，通過(guò)調(diào)用各自具有私有緩存的至少一個(gè)掃描線程，使得每個(gè)掃描線程批量掃描得到對(duì)應(yīng)的數(shù)據(jù)頁(yè)，能夠減少i/o次數(shù)、提高掃描效率。

17、另一方面，考慮到在高并發(fā)、大數(shù)據(jù)量處理場(chǎng)景下，傳統(tǒng)的掃描操作往往依賴于全局緩存池來(lái)存儲(chǔ)數(shù)據(jù)頁(yè)，使得在查詢大數(shù)量表時(shí)會(huì)導(dǎo)致全局緩存池的獨(dú)占，嚴(yán)重影響掃描效率和系統(tǒng)性能。本發(fā)明通過(guò)為每個(gè)掃描線程預(yù)先申請(qǐng)一定數(shù)量的緩存作為私有緩存，用于存儲(chǔ)即將掃描的數(shù)據(jù)頁(yè)，能夠避免獨(dú)占全局緩存池、大數(shù)據(jù)表與其他表爭(zhēng)搶i/o的問(wèn)題，提高掃描效率和系統(tǒng)性能。

18、再一方面，通過(guò)數(shù)據(jù)分布信息和當(dāng)前的資源使用信息確定掃描策略，能夠根據(jù)具體情況智能決策掃描策略，確保在適合的場(chǎng)景下采用最優(yōu)的掃描策略，提高掃描效率和系統(tǒng)性能，滿足用戶在高并發(fā)、大數(shù)據(jù)量查詢處理場(chǎng)景下的需求。

技術(shù)特征：

1.一種數(shù)據(jù)庫(kù)存儲(chǔ)引擎的輕量掃描方法，其特征在于，所述輕量掃描方法包括：

2.根據(jù)權(quán)利要求1所述的輕量掃描方法，其特征在于，每個(gè)所述掃描線程與一個(gè)所述私有緩存關(guān)聯(lián)，所述私有緩存的容量限制所述掃描線程從所述數(shù)據(jù)庫(kù)中掃描得到的數(shù)據(jù)頁(yè)的數(shù)量；

3.根據(jù)權(quán)利要求2所述的輕量掃描方法，其特征在于，所述輕量掃描方法還包括：針對(duì)每個(gè)所述掃描線程，

4.根據(jù)權(quán)利要求2所述的輕量掃描方法，其特征在于，所述輕量掃描方法還包括：針對(duì)每個(gè)所述掃描線程，

5.根據(jù)權(quán)利要求1所述的輕量掃描方法，其特征在于，所述根據(jù)所述數(shù)據(jù)分布信息和數(shù)據(jù)庫(kù)存儲(chǔ)引擎當(dāng)前的資源使用信息，確定掃描策略，包括：

6.根據(jù)權(quán)利要求5所述的輕量掃描方法，其特征在于，所述數(shù)據(jù)分布信息包括以下至少其中之一：所述目標(biāo)數(shù)據(jù)表的行數(shù)、存儲(chǔ)所述目標(biāo)數(shù)據(jù)表的數(shù)據(jù)頁(yè)的頁(yè)數(shù)、物理地址；

7.根據(jù)權(quán)利要求6所述的輕量掃描方法，其特征在于，所述根據(jù)所述數(shù)據(jù)分布信息確定并行掃描的掃描線程數(shù)量和每個(gè)掃描線程的掃描任務(wù)，包括：

8.根據(jù)權(quán)利要求7所述的輕量掃描方法，其特征在于，所述按照所述物理地址，確定每個(gè)所述掃描線程的掃描任務(wù)，包括：

9.根據(jù)權(quán)利要求7所述的輕量掃描方法，其特征在于，所述輕量掃描方法還包括：

10.一種電子設(shè)備，包括：

技術(shù)總結(jié)
本發(fā)明提供了一種數(shù)據(jù)庫(kù)存儲(chǔ)引擎的輕量掃描方法、電子設(shè)備，可以應(yīng)用于計(jì)算機(jī)技術(shù)領(lǐng)域、數(shù)據(jù)庫(kù)技術(shù)領(lǐng)域。該輕量掃描方法包括：獲取待掃描的目標(biāo)數(shù)據(jù)表的數(shù)據(jù)分布信息；根據(jù)數(shù)據(jù)分布信息和數(shù)據(jù)庫(kù)存儲(chǔ)引擎當(dāng)前的資源使用信息確定掃描策略；在確定掃描策略為輕量掃描策略情況下，根據(jù)數(shù)據(jù)分布信息確定并行掃描的掃描線程數(shù)量和每個(gè)掃描線程的掃描任務(wù)；調(diào)用與掃描線程數(shù)量對(duì)應(yīng)的掃描線程執(zhí)行各自的掃描任務(wù)，每個(gè)掃描線程執(zhí)行掃描任務(wù)批量掃描得到與其對(duì)應(yīng)的多個(gè)數(shù)據(jù)頁(yè)，并將對(duì)應(yīng)的多個(gè)數(shù)據(jù)頁(yè)填充至掃描線程的私有緩存中。由此，本發(fā)明至少能夠解決數(shù)據(jù)表掃描效率低、系統(tǒng)性能差的技術(shù)問(wèn)題，實(shí)現(xiàn)提高掃描效率和系統(tǒng)性能的技術(shù)效果。

技術(shù)研發(fā)人員：張旭,楊蔚
受保護(hù)的技術(shù)使用者：江蘇華庫(kù)數(shù)據(jù)技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6