專利名稱：測試數(shù)據(jù)庫查詢引擎的效率和穩(wěn)定性的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及測試數(shù)據(jù)庫查詢引擎的穩(wěn)定性和效率。
背景技術(shù)：
查詢優(yōu)化器是一種試圖確定執(zhí)行查詢的最有效途徑的數(shù)據(jù)庫管理系統(tǒng)的組件。如果設(shè)計(jì)和實(shí)現(xiàn)恰當(dāng)，查詢優(yōu)化器可以明顯提高數(shù)據(jù)庫管理系統(tǒng)(DBMQ查詢處理的效率。測試任何數(shù)據(jù)庫系統(tǒng)的穩(wěn)定性和效率是有挑戰(zhàn)的，原因是由查詢優(yōu)化器所選擇的查詢執(zhí)行計(jì)劃是受包括在底層數(shù)據(jù)庫表中的數(shù)據(jù)大小、數(shù)據(jù)分布和待執(zhí)行以操縱數(shù)據(jù)的查詢類型的因素以及其它因素影響的。已經(jīng)提出測試查詢引擎的性能的不同方法。一個此類的測試方法包括選擇具有一個或多個判定的查詢，并將其提供給DBMS內(nèi)的查詢優(yōu)化器。查詢優(yōu)化器生成查詢執(zhí)行計(jì)劃 (QEP)，然后查詢基于所生成的QEP被執(zhí)行。用戶然后可以使用諸如查詢執(zhí)行時間的參數(shù)來確定查詢優(yōu)化器的性能。此測試方法的局限性之一是查詢優(yōu)化器對于給定的查詢很大可能會生成與之前為相同查詢生成的相同的QEP。如果與查詢的引用之間的查詢優(yōu)化器關(guān)聯(lián)的任何底層成本結(jié)構(gòu)沒有變化，則此局限性便會存在。結(jié)果，當(dāng)使用此方法時，與查詢優(yōu)化器關(guān)聯(lián)的查詢執(zhí)行弓I擎會被測試僅有限的代碼次數(shù)或執(zhí)行路徑次數(shù)。因此，需要全面測試數(shù)據(jù)庫查詢引擎的穩(wěn)定性和效率同時克服現(xiàn)有測試方法的局限性的系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品。

發(fā)明內(nèi)容
簡要地說，本發(fā)明包括用于測試數(shù)據(jù)庫查詢引擎的穩(wěn)定性和數(shù)據(jù)查詢優(yōu)化器的效率的系統(tǒng)、方法、計(jì)算機(jī)程序產(chǎn)品的實(shí)施例和組合和其子組合。在一個實(shí)施例中，由查詢優(yōu)化器考慮的可能的查詢執(zhí)行計(jì)劃以抽象計(jì)劃(AP)的形式被保存。隨后給每個AP提供查詢以測試堆棧跟蹤和在查詢執(zhí)行過程中可能出現(xiàn)的不正確結(jié)果。一個實(shí)施例包括通過將每個AP與由查詢優(yōu)化器選擇的查詢執(zhí)行計(jì)劃比較來確定優(yōu)化器效率指數(shù)(OEI)，并基于相對于由查詢優(yōu)化器選擇的查詢執(zhí)行計(jì)劃的性能提高或降低程度將AP分成各個性能桶(performance bucket)。在另一實(shí)施例中，為了確定優(yōu)化器效率指數(shù)，AP基于估計(jì)成本被排序，并基于查詢優(yōu)化器估計(jì)和實(shí)際的執(zhí)行行為被分成多個類。這樣，本發(fā)明的實(shí)施例提供測試由查詢優(yōu)化器考慮的可能的執(zhí)行計(jì)劃的系統(tǒng)的方式，從而廣泛地測試數(shù)據(jù)庫查詢引擎的潛在誤差。下面參照附圖詳細(xì)描述本發(fā)明的另外的實(shí)施例、特征和優(yōu)點(diǎn)以及本發(fā)明的各個實(shí)施例的結(jié)構(gòu)和操作。


被包括在此處并構(gòu)成說明書的一部分的

本發(fā)明的實(shí)施例，并與描述一起進(jìn)一步用來解釋本發(fā)明的原理，使得相關(guān)領(lǐng)域的技術(shù)人員能夠構(gòu)造并使用本發(fā)明。圖1說明根據(jù)本發(fā)明的實(shí)施例的示例的數(shù)據(jù)庫管理系統(tǒng)(DBMS)。圖2說明根據(jù)本發(fā)明的實(shí)施例的測試引擎。圖3說明本發(fā)明的實(shí)施例的示例的性能桶。圖4A是說明本發(fā)明的實(shí)施例的測試引擎的示例性操作的流程圖。圖4B是說明本發(fā)明的另一實(shí)施例的測試引擎的示例性操作的流程圖。圖5是說明本發(fā)明的一個實(shí)施例的示例的測試方法的流程圖。圖6是說明用來實(shí)現(xiàn)本發(fā)明的實(shí)施例的組件的示例的計(jì)算機(jī)。結(jié)合附圖由下文給出的詳細(xì)描述，本發(fā)明的特征和優(yōu)點(diǎn)將變得更加明顯。圖中，相似的附圖標(biāo)記一般表示相同、功能相似和/或結(jié)構(gòu)相似的元件。通常，某元件首次出現(xiàn)的圖以相應(yīng)的附圖標(biāo)記的最左邊的數(shù)字表示。
具體實(shí)施例方式本發(fā)明涉及用于測試數(shù)據(jù)庫查詢引擎的穩(wěn)定性和數(shù)據(jù)庫查詢優(yōu)化器的效率的系統(tǒng)、方法、計(jì)算機(jī)程序產(chǎn)品的實(shí)施例和其組合和子組合。在一個實(shí)施例中，由查詢優(yōu)化器考慮的可能的查詢執(zhí)行計(jì)劃以抽象計(jì)劃(AP)的形式被保存。接著給每個AP提供查詢以測試堆棧跟蹤和在查詢的執(zhí)行過程中可能出現(xiàn)的不正確結(jié)果。一個實(shí)施例包括通過比較每個AP和由查詢優(yōu)化器所選擇的查詢執(zhí)行計(jì)劃來確定優(yōu)化器效率指數(shù)(OEI)，并基于相對于由查詢優(yōu)化器所選擇的查詢執(zhí)行計(jì)劃的性能提高或降低程度將AP分成各個性能桶。在另一實(shí)施例中，為了確定優(yōu)化器效率指數(shù)，AP基于估計(jì)成本被排序，并基于查詢優(yōu)化器估計(jì)和實(shí)際的執(zhí)行行為被分成多個類。這樣，本發(fā)明的實(shí)施例提供測試由查詢優(yōu)化器所考慮的每個可能的執(zhí)行計(jì)劃的系統(tǒng)的方法，從而廣泛地測試與查詢優(yōu)化器關(guān)聯(lián)的數(shù)據(jù)庫查詢引擎的潛在誤差。盡管在本文中參照具體應(yīng)用的說明性實(shí)施例描述本發(fā)明，但應(yīng)該理解本發(fā)明不局限于此。閱讀本文提供的教導(dǎo)的本領(lǐng)域技術(shù)人員會認(rèn)識到，在本發(fā)明的范圍和本發(fā)明特別有用的附加領(lǐng)域內(nèi)，還具有許多附加修改、應(yīng)用和實(shí)施例。DBMS 概述本發(fā)明的實(shí)施例可在圖1中顯示的示例客戶機(jī)/服務(wù)器數(shù)據(jù)庫系統(tǒng)100中操作。 系統(tǒng)100包括通過網(wǎng)絡(luò)120與服務(wù)器130通信的一個或多個客戶機(jī)110。數(shù)據(jù)庫管理系統(tǒng) (DBMS) 140駐存在服務(wù)器130中。要注意的是，示例的客戶機(jī)/服務(wù)器數(shù)據(jù)庫系統(tǒng)100顯示于圖1中，這里的討論僅出于說明的目的而不是限制的目的。本發(fā)明不局限于圖1的例子。操作中，客戶機(jī)110通過向DBMS 140發(fā)出SQL語句來將數(shù)據(jù)存儲到數(shù)據(jù)庫表150 的行155中或從行155中檢索數(shù)據(jù)。從客戶機(jī)110接收的SQL語句由DBMS 140的查詢引擎 160處理。SQL是眾所周知的，在許多公眾可得的文獻(xiàn)中有描述，包括由American National Standards Institute ( __ 示}^員)[iilKW American National Standard ANSI/ IS0/IEC 9075 :1992(美國國家標(biāo)準(zhǔn) ANSI/ISO/IEC 9075 1992)"Information Technology Database languages-SQL (信息技術(shù)-數(shù)據(jù)庫語文一SQL) ”，其通過引用被全文合并于此。
在一個實(shí)施例中，查詢引擎160包括解析器161，規(guī)范器163，編輯器165，查詢優(yōu)化器166，代碼生成器167，執(zhí)行單元169和存取方法170，現(xiàn)在對它們進(jìn)行描述。從客戶機(jī)110接收的SQL語句被傳送到解析器161，解析器161將語句轉(zhuǎn)換成查詢樹，查詢樹是一種以為系統(tǒng)方便選擇的格式表示的查詢組件的二進(jìn)制樹數(shù)據(jù)結(jié)構(gòu)。在此方面，解析器161采用眾所周知的解析方法(例如，遞歸下降分析)。查詢樹被規(guī)范器163規(guī)范化。規(guī)范化包括例如去掉冗余數(shù)據(jù)。另外，規(guī)范器163 可以執(zhí)行誤差檢查，如確認(rèn)出現(xiàn)在查詢中的表名字和列名字是有效的(例如可用且合成整體)。最后，規(guī)范器163還可以查尋任何存在的參照完整性約束，并將其加入到查詢中。在規(guī)范化之后，查詢樹被傳送到編輯器165，編輯器165包括查詢優(yōu)化器166和代碼生成器167。查詢優(yōu)化器166負(fù)責(zé)優(yōu)化查詢樹。在一個實(shí)施例中，查詢優(yōu)化器166執(zhí)行基于成本的分析以制定查詢執(zhí)行計(jì)劃。查詢優(yōu)化器166例如會選擇表的結(jié)合次序，并選擇相關(guān)索引145。查詢優(yōu)化器166因此執(zhí)行查詢分析，并從多個生成的執(zhí)行計(jì)劃中確定最佳執(zhí)行計(jì)劃，這里“最佳”是根據(jù)任何規(guī)定的標(biāo)準(zhǔn)判定的，這又導(dǎo)致在由執(zhí)行單元169進(jìn)行的查詢執(zhí)行中被調(diào)用的具體存取方法170。抽象計(jì)劃抽象計(jì)劃(AP)是查詢優(yōu)化器的語言接口，通過它查詢優(yōu)化器166給出期望查詢執(zhí)行計(jì)劃的描述。通常，AP表達(dá)提供在查詢優(yōu)化器166做出決定的層面上查詢執(zhí)行計(jì)劃的描述。作為純粹的說明性例子，AP可以描述查詢執(zhí)行計(jì)劃，但允許優(yōu)化器166選擇查詢執(zhí)行計(jì)劃的合適的實(shí)現(xiàn)。AP語言還可以基于物理級關(guān)系代數(shù)被認(rèn)為是2-向用戶優(yōu)化器通信機(jī)制。AP表達(dá)既可以由查詢優(yōu)化器166使用以描述它選擇的計(jì)劃，也可以由用戶使用以指導(dǎo)查詢優(yōu)化器選擇。AP不是查詢的文本部分。示例的AP語言是SYBASE自適應(yīng)服務(wù)器企業(yè)(ASE)抽象計(jì)劃(AP)語言，其在本文中只是出于說明目的并非限制目的被提及。AP在許多公眾可以獲得的文獻(xiàn)中有詳細(xì)描述， 諸如標(biāo)題為“Database System with Methodology for Reusing Cost Based Optimization Decisions (重新使用基于成本的優(yōu)化判定方法論的數(shù)據(jù)庫系統(tǒng))”的美國專利6，618，719， 其通過引用被全文合并于此。盡管下文是根據(jù)AP描述的，但應(yīng)認(rèn)識到本發(fā)明的實(shí)施例同樣可適用于包括但不局限于AP的所有形式的查詢執(zhí)行計(jì)劃。測試策略在一個實(shí)施例中，查詢優(yōu)化器166可以被配置成對于給定查詢保存(存儲)所有可能的查詢執(zhí)行計(jì)劃，然后可以用來執(zhí)行該查詢。舉一個例子，此類操作可以通過與查詢優(yōu)化器166關(guān)聯(lián)的AP枚舉選項(xiàng)獲得。這樣，AP枚舉可有助于驗(yàn)證查詢執(zhí)行計(jì)劃的正確性。AP 枚舉還可以用來識別查詢優(yōu)化器166沒有選擇的較好性能計(jì)劃。 舉一個例子，假設(shè)有η個AP，即P1到Ρη。在一個實(shí)施例中，查詢優(yōu)化器166順序應(yīng)用這η個AP到每個查詢的執(zhí)行。這樣，由于查詢是基于每個AP (即P1到Pn)執(zhí)行的，用戶測試查詢引擎160有效地獲得好象查詢優(yōu)化器166不存在于查詢引擎160中的結(jié)果。這是因?yàn)椴樵儍?yōu)化器166會為某個查詢(例如抽象計(jì)劃pi)選擇單個的AP。但是，因?yàn)楸景l(fā)明的實(shí)施例允許查詢優(yōu)化器166考慮的所有AP被應(yīng)用于查詢的執(zhí)行，只要執(zhí)行對所有查詢不再局限于單個AP，測試引擎250的測試是獨(dú)立于查詢優(yōu)化器166進(jìn)行的。在一個實(shí)施例中， 不旨在限制本發(fā)明，AP的枚舉出現(xiàn)在查詢引擎160中，而逐個讀取AP并將其應(yīng)用到查詢的執(zhí)行的步驟是通過測試引擎250完成的。測試引擎250的操作將在下文進(jìn)一步描述。因此，使用AP枚舉選項(xiàng)，查詢優(yōu)化器166可以配置為生成并保存所有抽象計(jì)劃(P1 到Pn)或其任何子集。否則，查詢優(yōu)化器166會忽視，不考慮許多AP，而對于給定查詢的執(zhí)行只選擇一個計(jì)劃。這樣，本發(fā)明的實(shí)施例提供測試由查詢優(yōu)化器考慮的多個可能的執(zhí)行計(jì)劃的系統(tǒng)方法，從而廣泛測試與查詢優(yōu)化器關(guān)聯(lián)的數(shù)據(jù)庫查詢引擎的潛在誤差。而且，例如，測試數(shù)據(jù)庫查詢引擎160的穩(wěn)定性可進(jìn)一步包括測試解析器161、優(yōu)化器166、存取方法170和與查詢引擎160關(guān)聯(lián)的其它任何模塊的穩(wěn)定性。這是因?yàn)槎褩８檿霈F(xiàn)在這些模塊中的任何模塊，不正確的結(jié)果會由于潛在誤差出現(xiàn)在上述模塊中的任何一個中。另外，本發(fā)明的實(shí)施例除了允許測試優(yōu)化器166的穩(wěn)定性之外還允許測試優(yōu)化器166的效率。因此，穩(wěn)定性測試?yán)缈梢詰?yīng)用到與查詢引擎160關(guān)聯(lián)的所有模塊，但是效率測試是優(yōu)化器166的效率測試。如之前描述的，使用AP枚舉選項(xiàng)，查詢優(yōu)化器166可以生成并保存所有抽象計(jì)劃的方式被配置。在一個實(shí)施例中，測試引擎250可使用在將AP應(yīng)用到查詢的執(zhí)行之后獲得的兩個不同的測試方法即排序方法和性能桶方法的信息。排序方法在此實(shí)施例中，測試引擎250基于估計(jì)成本對查詢計(jì)劃(AP)排序。舉一個例子， 但不旨在限制本發(fā)明，估計(jì)成本可以基于使用AP的查詢的優(yōu)化器成本估計(jì)，查詢的資源消耗，邏輯1/0，物理I/O或其組合。同樣，這些參數(shù)是由優(yōu)化器166估計(jì)的。而且，例如，排序包括基于所選擇的參數(shù)以升序排序所有AP。測試引擎250可以將這些個別的AP分成多個類。在一個實(shí)施例中，不旨在限制本發(fā)明，測試引擎250可以將各個AP分成三類。這些示例性的類圖示于表1中。表 權(quán)利要求
1.一種測試數(shù)據(jù)庫管理系統(tǒng)(DBMQ中的查詢引擎的方法，包括a.保存由查詢優(yōu)化器考慮的所有查詢執(zhí)行計(jì)劃；b.使用所述查詢執(zhí)行計(jì)劃中的每一個查詢執(zhí)行計(jì)劃來執(zhí)行查詢；c.基于所述執(zhí)行確定所述查詢執(zhí)行計(jì)劃的性能；d.基于所述性能對所述查詢執(zhí)行計(jì)劃分類；和e.通過基于所述分類計(jì)算優(yōu)化器效率指數(shù)(OEI)來確定所述查詢優(yōu)化器的效率。
2.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括 將所述查詢執(zhí)行計(jì)劃保存為抽象計(jì)劃(AP)。
3.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括 檢查所述步驟b執(zhí)行中的不正確結(jié)果和堆棧跟蹤。
4.根據(jù)權(quán)利要求1所述的方法，其中步驟c包括將所述查詢執(zhí)行計(jì)劃的所述性能與由所述查詢優(yōu)化器選擇的默認(rèn)查詢執(zhí)行計(jì)劃進(jìn)行比較。
5.根據(jù)權(quán)利要求4所述的方法，其中步驟c進(jìn)一步包括基于關(guān)于所述默認(rèn)查詢執(zhí)行計(jì)劃的性能將所述查詢執(zhí)行計(jì)劃分成多個性能類。
6.根據(jù)權(quán)利要求5所述的方法，其中所述分類步驟包括如果所述查詢執(zhí)行計(jì)劃表現(xiàn)得比所述默認(rèn)查詢執(zhí)行計(jì)劃好，則將查詢執(zhí)行計(jì)劃分成正性能類；和如果所述查詢執(zhí)行計(jì)劃表現(xiàn)得比所述默認(rèn)查詢執(zhí)行計(jì)劃差，則將所述查詢執(zhí)行計(jì)劃分成負(fù)性能類。
7.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括 基于估計(jì)成本對所述查詢執(zhí)行計(jì)劃排序；和基于實(shí)際的執(zhí)行行為將所述查詢執(zhí)行計(jì)劃分成多個類。
8.根據(jù)權(quán)利要求7所述的方法，其中所述實(shí)際執(zhí)行行為基于與所述查詢執(zhí)行計(jì)劃關(guān)聯(lián)的執(zhí)行時間、所述查詢執(zhí)行計(jì)劃的資源消耗和與所述查詢執(zhí)行計(jì)劃關(guān)聯(lián)的邏輯I/O和物理 I/O。
9.根據(jù)權(quán)利要求7所述的方法，其中所述估計(jì)成本基于與所述查詢執(zhí)行計(jì)劃關(guān)聯(lián)的邏輯I/O和物理I/O的組合。
10.根據(jù)權(quán)利要求1所述的方法，其中步驟a包括通過存儲到一個或多個跟蹤文件作為多個抽象計(jì)劃來保存所述查詢執(zhí)行計(jì)劃。
11.一種用于測試數(shù)據(jù)庫管理系統(tǒng)(DBMS)中的查詢引擎的系統(tǒng)，包括 查詢優(yōu)化器，其被配置成保存由所述查詢優(yōu)化器考慮的所有查詢執(zhí)行計(jì)劃； 執(zhí)行引擎，其被配置成使用所述查詢執(zhí)行計(jì)劃執(zhí)行查詢；和測試引擎，其被配置成基于所述執(zhí)行確定所述查詢執(zhí)行計(jì)劃的性能。
12.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述測試引擎基于所述性能對所述查詢執(zhí)行計(jì)劃進(jìn)行分類。
13.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中所述測試引擎基于多個分類的查詢執(zhí)行計(jì)劃確定所述查詢優(yōu)化器的效率。
14.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述測試引擎檢查在所述查詢的所述執(zhí)行期間生成的不正確結(jié)果。
15.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述測試引擎將所述查詢執(zhí)行計(jì)劃的所述性能和由所述查詢優(yōu)化器選擇的默認(rèn)查詢執(zhí)行計(jì)劃進(jìn)行比較。
16.根據(jù)權(quán)利要求15所述的系統(tǒng)，其中所述測試引擎基于關(guān)于所述默認(rèn)查詢執(zhí)行計(jì)劃的性能將所述查詢執(zhí)行計(jì)劃分成多個性能類。
17.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述測試引擎基于估計(jì)成本對所述查詢執(zhí)行計(jì)劃排序，并基于所述估計(jì)成本和實(shí)際的執(zhí)行行為將所述查詢執(zhí)行計(jì)劃分成多個類。
18.根據(jù)權(quán)利要求17所述的系統(tǒng)，其中所述估計(jì)成本基于與所述查詢執(zhí)行計(jì)劃關(guān)聯(lián)的執(zhí)行時間、所述查詢執(zhí)行計(jì)劃的資源消耗和與所述查詢執(zhí)行計(jì)劃關(guān)聯(lián)的邏輯I/O和物理I/ O0
19.根據(jù)權(quán)利要求17所述的系統(tǒng)，其中所述估計(jì)成本基于與所述查詢執(zhí)行計(jì)劃關(guān)聯(lián)的邏輯I/O和物理I/O的組合。
20.一種在其中存儲有控制邏輯的計(jì)算機(jī)程序產(chǎn)品，所述控制邏輯使處理器能夠測試數(shù)據(jù)庫管理系統(tǒng)中的查詢引擎，所述控制邏輯包括用于使處理器保存多個查詢執(zhí)行計(jì)劃的第一計(jì)算機(jī)可讀程序代碼裝置； 用于使處理器能夠使用所述查詢執(zhí)行計(jì)劃執(zhí)行查詢的第二計(jì)算機(jī)可讀程序代碼裝置；用于使處理器能夠確定所述查詢執(zhí)行計(jì)劃的性能的第三計(jì)算機(jī)可讀程序代碼裝置； 用于使處理器能夠基于所述性能對所述查詢執(zhí)行計(jì)劃進(jìn)行分類的第四計(jì)算機(jī)可讀程序代碼裝置；和用于使處理器能夠通過基于所述分類計(jì)算優(yōu)化器效率指數(shù)(OEI)來確定至少所述查詢優(yōu)化器的效率的第五計(jì)算機(jī)可讀程序代碼裝置。
全文摘要
本文描述了用于測試數(shù)據(jù)庫查詢引擎的穩(wěn)定性和效率的系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品。在一個實(shí)施例中，由查詢優(yōu)化器考慮的所有可能的查詢執(zhí)行計(jì)劃以抽象計(jì)劃(AP)的形式被保存。然后給每個AP依次提供查詢以測試堆棧跟蹤和在查詢執(zhí)行的過程中可能出現(xiàn)的不正確結(jié)果。一個實(shí)施例包括通過比較每個AP和由查詢優(yōu)化器選擇的查詢執(zhí)行計(jì)劃來確定優(yōu)化器效率指數(shù)(OEI)，基于相對于由查詢優(yōu)化器選擇的查詢執(zhí)行計(jì)劃性能的提高或降低程度，將AP分成各個性能桶(performance bucket)。在另一實(shí)施例中，為了確定優(yōu)化器效率指數(shù)，AP基于估計(jì)成本被排序，并基于查詢優(yōu)化器估計(jì)和實(shí)際的執(zhí)行行為被分成多個類。
文檔編號G06F17/00GK102362276SQ201080013747
公開日2012年2月22日 申請日期2010年3月25日 優(yōu)先權(quán)日2009年4月1日
發(fā)明者桑托什·達(dá)圖·彭達(dá)普, 瑟德普托·瑞樂·喬杜里 申請人:賽貝斯股份有限公司