一種基于用戶行為分析的查詢性能優(yōu)化方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)應(yīng)用技術(shù)領(lǐng)域，具體地說(shuō)是一種實(shí)用性強(qiáng)、基于用戶行為分析的查詢性能優(yōu)化方法。
【背景技術(shù)】
[0002]查詢，在計(jì)算機(jī)領(lǐng)域是指從數(shù)據(jù)表中檢索數(shù)據(jù)的方法。在管理軟件領(lǐng)域，一般指企業(yè)出于經(jīng)營(yíng)管理需要，對(duì)應(yīng)用系統(tǒng)中的交易數(shù)據(jù)、流水?dāng)?shù)據(jù)、記帳數(shù)據(jù)、借款數(shù)據(jù)、貸款數(shù)據(jù)等業(yè)務(wù)數(shù)據(jù)進(jìn)行分類(lèi)統(tǒng)計(jì)、綜合整理，并按功能或主題以表格、圖形形式進(jìn)行結(jié)果呈現(xiàn)的方法或工具。
[0003]緩存，原指CPU架構(gòu)設(shè)計(jì)中可以進(jìn)行高速數(shù)據(jù)交換的存儲(chǔ)器，也即緩沖區(qū)(稱作Cache)ο當(dāng)某一硬件要讀取數(shù)據(jù)時(shí)，會(huì)首先從緩存中查找需要的數(shù)據(jù)，如果找到了則直接執(zhí)行，找不到的話則再?gòu)膬?nèi)存中找。由于緩存的運(yùn)行速度比內(nèi)存快得多，故緩存的作用就是幫助硬件更快地運(yùn)行，從而有效提升數(shù)據(jù)存取性能。隨著計(jì)算機(jī)技術(shù)的快速發(fā)展，緩存技術(shù)和原理也被廣泛應(yīng)用其它硬件和架構(gòu)，如:硬盤(pán)緩存、光驅(qū)緩存、系統(tǒng)緩存、數(shù)據(jù)庫(kù)緩存、網(wǎng)絡(luò)緩存等等，這些應(yīng)用對(duì)數(shù)據(jù)存取性能和用戶訪問(wèn)速度都有很大提升。
[0004]基于此，現(xiàn)提出了一種基于用戶行為分析的查詢性能優(yōu)化方法。在該方法中，我們借鑒了緩存技術(shù)的實(shí)現(xiàn)原理，通過(guò)對(duì)用戶訪問(wèn)記錄的分析，將最常訪問(wèn)的內(nèi)容、將要訪問(wèn)的內(nèi)容加以預(yù)測(cè)和推斷，并將這些數(shù)據(jù)寫(xiě)入緩存數(shù)據(jù)庫(kù)，以備用戶實(shí)際查詢時(shí)快速讀取和使用，有效優(yōu)化和改善查詢性能。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的技術(shù)任務(wù)是針對(duì)以上不足之處，提供一種實(shí)用性強(qiáng)、基于用戶行為分析的查詢性能優(yōu)化方法。
[0006]一種基于用戶行為分析的查詢性能優(yōu)化方法，其具體實(shí)現(xiàn)過(guò)程為:
設(shè)置行為記錄模塊，該行為記錄模塊用以記錄用戶對(duì)特定查詢的訪問(wèn)行為，包括:用戶身份、訪問(wèn)時(shí)間、查詢條件、停留時(shí)間、訪問(wèn)響應(yīng)時(shí)間信息，用以確定查詢?cè)L問(wèn)頻次，查詢主要訪問(wèn)時(shí)點(diǎn)，用戶對(duì)查詢的興趣程度信息；通過(guò)行為記錄模塊對(duì)用戶查詢的訪問(wèn)行為進(jìn)行記錄;
設(shè)置行為分析模塊，在記錄用戶訪問(wèn)行為后，啟動(dòng)該行為分析模塊對(duì)已記錄的用戶訪問(wèn)行為記錄進(jìn)行分析，結(jié)合數(shù)據(jù)和查詢條件的時(shí)間序列特征，建立用戶行為預(yù)測(cè)模型，進(jìn)行用戶查詢條件組合、查詢時(shí)間的預(yù)測(cè)，形成數(shù)據(jù)緩存任務(wù)列表；
運(yùn)行在服務(wù)器上的數(shù)據(jù)計(jì)算服務(wù)，定時(shí)讀取數(shù)據(jù)緩存任務(wù)列表，按不同的數(shù)據(jù)緩存條件，進(jìn)行查詢數(shù)據(jù)計(jì)算并保存到緩存數(shù)據(jù)庫(kù)；
用戶提交新的查詢請(qǐng)求時(shí)，通過(guò)查詢數(shù)據(jù)適配器對(duì)查詢條件進(jìn)行適配，或調(diào)用數(shù)據(jù)計(jì)算服務(wù)進(jìn)行緩存數(shù)據(jù)計(jì)算，然后將對(duì)應(yīng)的緩存數(shù)據(jù)作為查詢結(jié)果返回給用戶，并同時(shí)記錄和分析用戶訪問(wèn)行為。
[0007]所述行為分析模塊對(duì)用戶查詢的訪問(wèn)行為記錄進(jìn)行分析的過(guò)程為:將查詢?cè)L問(wèn)行為的預(yù)測(cè)和推斷結(jié)果，結(jié)合查詢數(shù)據(jù)與時(shí)間序列的關(guān)系，形成預(yù)測(cè)的查詢條件組合列表，再按冷熱度優(yōu)先級(jí)編排寫(xiě)入數(shù)據(jù)緩存任務(wù)列表。
[0008]所述行為分析模塊對(duì)用戶查詢的訪問(wèn)行為記錄進(jìn)行詳細(xì)分析的過(guò)程為:根據(jù)特定查詢的訪問(wèn)頻次、訪問(wèn)時(shí)段時(shí)間、停留時(shí)間進(jìn)行冷熱度計(jì)算，對(duì)不同查詢賦予不同的冷熱值；當(dāng)查詢達(dá)到一定熱度，分析查詢條件與時(shí)間序列的關(guān)系形成緩存條件，加入數(shù)據(jù)緩存任務(wù)列表，并根據(jù)熱度、訪問(wèn)時(shí)段設(shè)置優(yōu)先級(jí)和緩存計(jì)算時(shí)間。
[0009]所述數(shù)據(jù)計(jì)算服務(wù)通過(guò)調(diào)用數(shù)據(jù)服務(wù)組件讀取行為分析模塊形成的數(shù)據(jù)緩存任務(wù)列表，解析各個(gè)數(shù)據(jù)緩存條件，執(zhí)行緩存數(shù)據(jù)計(jì)算，并調(diào)用數(shù)據(jù)服務(wù)組件保存計(jì)算結(jié)果到緩存數(shù)據(jù)庫(kù)；同時(shí)接收查詢數(shù)據(jù)適配器的請(qǐng)求，執(zhí)行緩存數(shù)據(jù)計(jì)算，并調(diào)用數(shù)據(jù)服務(wù)組件保存計(jì)算結(jié)果到緩存數(shù)據(jù)庫(kù)；該數(shù)據(jù)計(jì)算服務(wù)是運(yùn)行于服務(wù)器端的計(jì)算機(jī)程序；
上述數(shù)據(jù)服務(wù)組件負(fù)責(zé)接收查詢數(shù)據(jù)適配器的請(qǐng)求，返回緩存數(shù)據(jù)；接收數(shù)據(jù)計(jì)算服務(wù)的請(qǐng)求，進(jìn)行數(shù)據(jù)庫(kù)層的數(shù)據(jù)獲取和緩存數(shù)據(jù)庫(kù)的保存。
[0010]所述查詢數(shù)據(jù)適配器接收用戶客戶端的查詢請(qǐng)求后，首先調(diào)用行為記錄模塊對(duì)用戶的查詢?cè)L問(wèn)行為進(jìn)行記錄，然后將查詢條件和已緩存數(shù)據(jù)的數(shù)據(jù)緩存條件進(jìn)行哈希值適配，適配成功時(shí)調(diào)用數(shù)據(jù)服務(wù)組件直接返回緩存數(shù)據(jù)；不成功時(shí)調(diào)用數(shù)據(jù)計(jì)算服務(wù)進(jìn)行查詢數(shù)據(jù)計(jì)算，返回查詢結(jié)果，并保存到緩存數(shù)據(jù)庫(kù)。
[0011]還包括數(shù)據(jù)緩存任務(wù)列表調(diào)整的步驟，該步驟的具體內(nèi)容為:
行為記錄模塊在用戶客戶端關(guān)閉查詢時(shí)調(diào)用數(shù)據(jù)服務(wù)組件記錄用戶對(duì)查詢?cè)L問(wèn)行為的有效停留時(shí)間，然后激活行為分析模塊對(duì)冷熱度進(jìn)行重算，調(diào)整和更新數(shù)據(jù)緩存任務(wù)列表。
[0012]本發(fā)明的一種基于用戶行為分析的查詢性能優(yōu)化方法，具有以下優(yōu)點(diǎn):
本發(fā)明提出的一種基于用戶行為分析的查詢性能優(yōu)化方法，采用數(shù)據(jù)緩存技術(shù)和原理，通過(guò)對(duì)用戶數(shù)據(jù)查詢行為的記錄和分析形成數(shù)據(jù)緩存任務(wù)列表，再通過(guò)服務(wù)器上的數(shù)據(jù)計(jì)算服務(wù)程序定期執(zhí)行數(shù)據(jù)緩存任務(wù)將數(shù)據(jù)計(jì)算結(jié)果到緩存數(shù)據(jù)庫(kù)，以方便用戶提交查詢請(qǐng)求時(shí)，能夠快速?gòu)木彺鏀?shù)據(jù)庫(kù)進(jìn)行適配并返回結(jié)果，從而提高用戶的查詢請(qǐng)求響應(yīng)速度，提升和優(yōu)化查詢性能；對(duì)于緩存冷熱度算法，可以根據(jù)應(yīng)用和特性變化，擴(kuò)展變量因子和調(diào)整算法，以優(yōu)化調(diào)整查詢的優(yōu)先計(jì)算順序；加入時(shí)點(diǎn)推斷，使緩存任務(wù)更有效更科學(xué)；數(shù)據(jù)計(jì)算服務(wù)可以調(diào)度在服務(wù)器空閑時(shí)運(yùn)行，最大限度的利用資源和減少對(duì)業(yè)務(wù)系統(tǒng)的影響；通過(guò)不斷對(duì)用戶行為進(jìn)行分析，調(diào)用查詢性能的智能自動(dòng)優(yōu)化，實(shí)用性強(qiáng)，易于推廣。
【附圖說(shuō)明】
[0013]附圖1為本發(fā)明的實(shí)現(xiàn)步驟圖。
【具體實(shí)施方式】
[0014]下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步說(shuō)明。
[0015]本發(fā)明提供一種基于用戶行為分析的查詢性能優(yōu)化方法，采用特定的冷熱度算法，結(jié)合訪問(wèn)時(shí)點(diǎn)推斷，形成數(shù)據(jù)緩存任務(wù)列表，并通過(guò)運(yùn)行于服務(wù)器端數(shù)據(jù)計(jì)算服務(wù)定時(shí)對(duì)數(shù)據(jù)緩存任務(wù)列表進(jìn)行掃描和計(jì)算，并不斷優(yōu)化緩存數(shù)據(jù)庫(kù)。如附圖1所示，其具體實(shí)現(xiàn)過(guò)程為，
首先設(shè)置以下模塊:
I)行為記錄模塊:用以記錄用戶對(duì)特定查詢的訪問(wèn)行為，包括:用戶身份、訪問(wèn)時(shí)間、查詢條件、停留時(shí)間、訪問(wèn)響應(yīng)時(shí)間等信息，用以確定查詢?cè)L問(wèn)頻次，查詢主要訪問(wèn)時(shí)點(diǎn)，用戶對(duì)查詢的興趣程度等信息。
[0016]行為記錄模塊完成記錄后，再調(diào)用行為分析模塊，對(duì)查詢的訪問(wèn)冷熱度進(jìn)行重新計(jì)算，并優(yōu)化和調(diào)整數(shù)據(jù)緩存任務(wù)列表。
[0017]2)行為分析模塊:通過(guò)對(duì)已采集的用戶行為信息進(jìn)行分析，并結(jié)合查詢數(shù)據(jù)的時(shí)間序列特征，建立用戶行為預(yù)測(cè)模型，進(jìn)行用戶查詢條件組合、查詢時(shí)間的預(yù)測(cè)，形成數(shù)據(jù)緩存任務(wù)列表。
[0018]行為分析模塊實(shí)現(xiàn)根據(jù)用戶身份、查詢?cè)L問(wèn)頻次、用戶興趣程度等變量，按照特定算法進(jìn)行冷熱度計(jì)算，并根據(jù)訪問(wèn)時(shí)間點(diǎn)的分布情況，完成查詢?cè)L問(wèn)行為的預(yù)測(cè)和推斷。
[0019]3)數(shù)據(jù)計(jì)算服務(wù):定時(shí)讀取數(shù)據(jù)緩存任務(wù)列表，針對(duì)不同的查詢條件組合，進(jìn)行查詢數(shù)據(jù)計(jì)算，并保存到緩存數(shù)據(jù)庫(kù)。
[0020]數(shù)據(jù)計(jì)算服務(wù)通過(guò)調(diào)用數(shù)據(jù)服務(wù)組件實(shí)現(xiàn)數(shù)據(jù)緩存任務(wù)列表的定時(shí)讀取，并根據(jù)緩存任務(wù)的查詢條件組合進(jìn)行數(shù)據(jù)計(jì)算，然后通過(guò)數(shù)據(jù)服務(wù)組件將數(shù)據(jù)寫(xiě)入緩存數(shù)據(jù)庫(kù)。
[0021]數(shù)據(jù)計(jì)算服務(wù)可以接受查詢數(shù)據(jù)適配器的請(qǐng)求，完成用戶查詢條件組合的解析和數(shù)據(jù)計(jì)算，并將計(jì)算結(jié)果數(shù)據(jù)寫(xiě)入緩存數(shù)據(jù)庫(kù)。
[0022]4)查詢數(shù)據(jù)適配器:接受用戶客戶端查詢請(qǐng)求，對(duì)查詢條件組合進(jìn)行適配，調(diào)用數(shù)據(jù)服務(wù)組件，返回已緩存查詢數(shù)據(jù)；未找到緩存數(shù)據(jù)時(shí)，調(diào)用數(shù)據(jù)計(jì)算服務(wù)，進(jìn)行查詢數(shù)據(jù)計(jì)算并保存到緩存數(shù)據(jù)庫(kù)。
[0023]5)數(shù)據(jù)服務(wù)組件:負(fù)責(zé)接收查詢數(shù)據(jù)適配器的請(qǐng)求，返回緩存數(shù)據(jù)；接收數(shù)據(jù)計(jì)算服務(wù)的請(qǐng)求，進(jìn)行數(shù)據(jù)庫(kù)層的數(shù)據(jù)獲取和緩存數(shù)據(jù)庫(kù)的保存。
[0024]通過(guò)行為分析模塊對(duì)用戶對(duì)查詢的訪問(wèn)行為記錄進(jìn)行分析，根據(jù)特定查詢的訪問(wèn)頻次、訪問(wèn)時(shí)段時(shí)間、停留時(shí)間等進(jìn)行冷熱度計(jì)算，對(duì)不同查詢賦予不同的冷熱值；當(dāng)查詢達(dá)到一定熱度，分析查詢條件與時(shí)間序列的關(guān)系形成緩存條件，加入數(shù)據(jù)緩存任務(wù)列表，并根據(jù)熱度、訪問(wèn)時(shí)段設(shè)置優(yōu)先級(jí)和緩存計(jì)算時(shí)間。
[0025]數(shù)據(jù)計(jì)算服務(wù)通過(guò)調(diào)用數(shù)據(jù)服務(wù)組件讀取行為分析模塊形成的數(shù)據(jù)緩存任務(wù)列表，解析各個(gè)數(shù)據(jù)緩存條件，執(zhí)行緩存數(shù)據(jù)計(jì)算，并調(diào)用數(shù)據(jù)服務(wù)組件保存計(jì)算結(jié)果到緩存數(shù)據(jù)庫(kù)；同時(shí)也接受查詢數(shù)據(jù)適配器的請(qǐng)求，執(zhí)行緩存數(shù)據(jù)計(jì)算，并調(diào)用數(shù)據(jù)服務(wù)組件保存計(jì)算結(jié)果到緩存數(shù)據(jù)庫(kù)；數(shù)據(jù)計(jì)算服務(wù)是運(yùn)行于服務(wù)器端的計(jì)算機(jī)程序。
[0026]通過(guò)查詢數(shù)據(jù)適配器接受用戶客戶端的查詢請(qǐng)求，首先調(diào)用行為記錄模塊對(duì)用戶訪問(wèn)行為進(jìn)行記錄，然后對(duì)查詢條件和已緩存數(shù)據(jù)的數(shù)據(jù)緩存條件進(jìn)行哈希值適配，適配成功調(diào)用數(shù)據(jù)服務(wù)組件直接返回緩存數(shù)據(jù)，不成功時(shí)調(diào)用數(shù)據(jù)計(jì)算服務(wù)進(jìn)行計(jì)算，返回查詢結(jié)果，并保存到緩存數(shù)據(jù)庫(kù)。
[0027]通過(guò)行為記錄模塊在用戶客戶端提交查詢請(qǐng)求時(shí)調(diào)用數(shù)據(jù)服務(wù)組件記錄用戶訪問(wèn)行為，在客戶端關(guān)閉查詢時(shí)調(diào)用數(shù)據(jù)服務(wù)組