一種優(yōu)化服務(wù)器緩存管理的方法
【技術(shù)領(lǐng)域】
[0001 ]本發(fā)明屬于數(shù)據(jù)存儲領(lǐng)域，具體涉及一種優(yōu)化服務(wù)器緩存管理的方法。
【背景技術(shù)】
[0002]隨著現(xiàn)在電子商務(wù)互聯(lián)網(wǎng)發(fā)展，大量信息數(shù)據(jù)通過互聯(lián)網(wǎng)傳播到世界的四面八方，加之人們對信息量的需求也越來越大，如何利用互聯(lián)網(wǎng)將信息數(shù)據(jù)更快更準(zhǔn)確地提供給用戶成為企業(yè)發(fā)展的關(guān)鍵。
[0003]WEB緩存是一種HTTP應(yīng)用加速技術(shù)，HTTP代理服務(wù)器將客戶機(jī)訪問的可以緩存的內(nèi)容存儲下來，當(dāng)用戶想訪問一個網(wǎng)站的URL(Uniform Resource Locator，統(tǒng)一資源定位符)，這個訪問請求經(jīng)過web反向代理服務(wù)器處理時，web反向代理服務(wù)器會檢查自身緩存中是否存在該URL所對應(yīng)的數(shù)據(jù)內(nèi)容，如果存在，直接從緩存中讀取出該數(shù)據(jù)內(nèi)容返回給用戶；如果不存在，則向web反向代理服務(wù)器后端的應(yīng)用服務(wù)器發(fā)起請求，應(yīng)用服務(wù)器接收到請求后，會把內(nèi)容返回給web反向代理服務(wù)器，web反向代理服務(wù)器在將數(shù)據(jù)內(nèi)容傳遞給用戶的過程中，也會將數(shù)據(jù)內(nèi)容存入自身的緩存中。當(dāng)用戶下次再訪問同一個URL時，web反向代理服務(wù)器直接從緩存中取出內(nèi)容返回給用戶。這種機(jī)制在很大程度上提高網(wǎng)站內(nèi)容的傳輸效率。但由于網(wǎng)站的數(shù)據(jù)不停地發(fā)生變化，我們需要在網(wǎng)站數(shù)據(jù)發(fā)生變化的時候及時清除web反向代理服務(wù)器中相應(yīng)的緩存內(nèi)容，保證緩存內(nèi)容的及時更替。目前web反向代理服務(wù)器提供如下三種常用的緩存清除機(jī)制:
[0004](I)按照url清除緩存，即通過命令或者h(yuǎn)ttp請求的方式，通知web反向代理服務(wù)器清除哪些url的緩存。比如，如果要清除www.a.jpgurl的緩存，通過瀏覽器訪問www.a.jpg/purge就可以清除該ur I在web反向代理服務(wù)器上的緩存；
[0005](2)刪除web反向服務(wù)器內(nèi)的全部緩存數(shù)據(jù)，即清除web反向代理服務(wù)器的緩存目錄；
[0006](3)人為設(shè)置緩存數(shù)據(jù)的過期時間，當(dāng)?shù)竭_(dá)過期時間時，web反向代理服務(wù)器的緩存數(shù)據(jù)自動失效并清除；
[0007]可見三種緩沖清理方式雖然能起到清除緩存數(shù)據(jù)的作用，但都存在一定的缺陷，方法一受限于只能按照url刪除，導(dǎo)致當(dāng)清除一個域名下所有url緩存時，需要執(zhí)行大量命令指令，刪除操作效率低，降低緩存管理的性能;第二種將全部緩存數(shù)據(jù)刪除，當(dāng)客戶端向web反向代理服務(wù)器發(fā)送數(shù)據(jù)請求時，那些未更新的數(shù)據(jù)因被刪除需要再次跨廣域網(wǎng)(WAN，Wide Area Network)從服務(wù)器獲取，極大降低頁面訪問速度;第三種方法只能等待緩存自動失效，數(shù)據(jù)時效性差；
[0008]在對web反向代理服務(wù)器的研究過程中也發(fā)現(xiàn)，基于web反向代理服務(wù)器的緩存存儲結(jié)構(gòu)過于單一化，都是按照URL進(jìn)行存儲區(qū)域的劃分，而每個URL占據(jù)特定的存儲區(qū)域，導(dǎo)致清除緩存的方式較為單一，其一是按照URL清除緩存;其二是依賴緩存的自動失效機(jī)制。
[0009]在這樣的技術(shù)背景之下，為了提升網(wǎng)站的性能，提高網(wǎng)站的響應(yīng)速度，本申請建立了一套網(wǎng)站數(shù)據(jù)的緩存優(yōu)化機(jī)制。

【發(fā)明內(nèi)容】

[0010]為解決上述問題，本發(fā)明目的是，提供一種優(yōu)化服務(wù)器緩存管理的方法，在網(wǎng)站數(shù)據(jù)發(fā)生變化的時候及時清除web反向代理服務(wù)器中相應(yīng)的緩存內(nèi)容，保證緩存內(nèi)容的及時更替；用以改進(jìn)現(xiàn)有web反向代理服務(wù)器的緩存管理方式，有助于提升網(wǎng)站性能，提高網(wǎng)站的響應(yīng)速度，以為用戶提供準(zhǔn)確又快捷的數(shù)據(jù)傳輸服務(wù)。
[0011 ]本發(fā)明技術(shù)方案如下:一種優(yōu)化服務(wù)器緩存管理的方法，其特征在于，通過修改web反向代理服務(wù)器中的緩存模塊及緩存的存儲結(jié)構(gòu)，構(gòu)建web反向代理服務(wù)器分層的二級緩存結(jié)構(gòu)，并配置與包括分層的二級緩存存儲結(jié)構(gòu)相匹配的緩存失效方式，保證時效數(shù)據(jù)的及時清除和更新;具體步驟如下:
[0012]步驟1:考慮到web反向代理服務(wù)器能代理多個網(wǎng)站的數(shù)據(jù)請求，將web反向代理服務(wù)器的存儲結(jié)構(gòu)修改為按照網(wǎng)站域名分開存儲，不同的網(wǎng)站域名占據(jù)不同的存儲區(qū)域；
[0013]步驟2:構(gòu)建web反向代理服務(wù)器分層的二級緩存結(jié)構(gòu)，一個網(wǎng)站域名下涵蓋多個網(wǎng)頁url，因而在基于網(wǎng)站域名緩存的存儲結(jié)構(gòu)之上，再將web反向代理服務(wù)器的存儲結(jié)構(gòu)細(xì)化分為按照網(wǎng)頁url分開存儲，不同的網(wǎng)頁url占據(jù)不同的存儲區(qū)域；
[0014]步驟3:修改web反向代理服務(wù)器緩存的管理模塊:將web反向代理服務(wù)器自帶的緩存失效方式和修改之后的二級緩存存儲結(jié)構(gòu)進(jìn)行適配，使web反向代理服務(wù)器既支持基于網(wǎng)頁URL的緩存刪除機(jī)制，又能支持基于網(wǎng)站域名的緩存刪除機(jī)制；
[0015]步驟4:為web反向代理服務(wù)器的二級緩存結(jié)構(gòu)進(jìn)行配置，并為各網(wǎng)站域名下的網(wǎng)站緩存數(shù)據(jù)設(shè)置存儲路徑，存儲路徑格式為/opt/cache/網(wǎng)站域名、/opt/cache/網(wǎng)站域/URL標(biāo)示ο
[0016]進(jìn)一步，web反向代理服務(wù)器的緩存失效方式建立在基于網(wǎng)頁URL的緩存存儲結(jié)構(gòu)之上，由于web反向代理服務(wù)器存儲結(jié)構(gòu)由原有的一級存儲結(jié)構(gòu)修改為二級存儲結(jié)構(gòu)，相應(yīng)地，web反向代理服務(wù)器自帶的緩存失效方式修改為與二級存儲結(jié)構(gòu)相匹配的模式；
[0017]網(wǎng)站域名的數(shù)據(jù)內(nèi)容隸屬于一級緩存結(jié)構(gòu)，如該數(shù)據(jù)內(nèi)容失效，清空網(wǎng)站域名對應(yīng)的一級存儲結(jié)構(gòu)及其包括的所有二級存儲結(jié)構(gòu)；
[0018]網(wǎng)頁URL的數(shù)據(jù)內(nèi)容隸屬于二級緩存結(jié)構(gòu)，如該數(shù)據(jù)內(nèi)容失效，清空網(wǎng)頁URL對應(yīng)的二級存儲結(jié)構(gòu)。
[0019]進(jìn)一步，web反向代理服務(wù)器啟動工作后，當(dāng)需更新整個域名下的緩存數(shù)據(jù)時，通過向web反向代理服務(wù)器發(fā)送“清除緩存”的指令，這個指令指明預(yù)刪除的數(shù)據(jù)是域名級別或是URL級別；
[0020]如果是域名級別的數(shù)據(jù)，則“清除緩存”的命令會清空該網(wǎng)站域名存儲區(qū)內(nèi)所有數(shù)據(jù)；
[0021 ]如果是URL級別的數(shù)據(jù)，則“清除緩存”的命令只會清除單個網(wǎng)頁URL存儲區(qū)內(nèi)的數(shù)據(jù)，而不會影響其所屬網(wǎng)站域名存儲區(qū)內(nèi)其他URL的數(shù)據(jù)內(nèi)容。
[0022]進(jìn)一步，當(dāng)一個網(wǎng)頁URL的緩存內(nèi)容超過有效期后，web反向代理服務(wù)器會先找到該網(wǎng)頁URL所屬域名占據(jù)的存儲區(qū)，然后在該域名的存儲區(qū)尋找該網(wǎng)頁URL的存儲區(qū)，并刪除緩存內(nèi)容；當(dāng)一個域名區(qū)內(nèi)所有網(wǎng)頁URL緩存內(nèi)容超過有效期，web反向代理服務(wù)器直接清空該域名的存儲區(qū)。
[0023]進(jìn)一步地，“清除緩存”指令可通過shell腳本語言、python語言、perl語言等實現(xiàn)。
[0024]本發(fā)明與現(xiàn)有技術(shù)相比，其有益效果:
[0025](I)本發(fā)明通過設(shè)計兩級存儲結(jié)構(gòu)，能夠?qū)崿F(xiàn)按需批量刪除，而無需再通過命令的方式逐條刪除，提高緩存清除的效率，有力地解決現(xiàn)有技術(shù)中所存在的刪除效率低下的問題；
[0026](2)從緩存管理的角度，本發(fā)明細(xì)化了緩存存儲結(jié)構(gòu)，使web反向代理服務(wù)不僅能按照域名管理數(shù)據(jù)，還能按照URL管理數(shù)據(jù)，包括數(shù)據(jù)的添加、維護(hù)和刪除，增加緩存數(shù)據(jù)更新和緩存數(shù)據(jù)管理的便利性；
[0027](3)本發(fā)明提供緩存自動失效方式與緩存存儲結(jié)構(gòu)的匹配機(jī)制，提供基于URL和基于網(wǎng)站域名的雙重的緩沖數(shù)據(jù)刪除方式，優(yōu)化緩存數(shù)據(jù)的管理。
【附圖說明】
[0028]圖1為本發(fā)明實施例中web反向代理服務(wù)器的緩存存儲結(jié)構(gòu)示意圖；
[0029]圖2本發(fā)明實施例中web反向代理服務(wù)器的緩存管理的工作流程圖；
[0030]圖3為本發(fā)明實施例中web反向代理服務(wù)器的緩存數(shù)據(jù)添加流程圖；
[0031]圖4為本發(fā)明實施例中web反向代理服務(wù)器的緩存數(shù)據(jù)刪除流程圖。
【具體實施方式】
[0032]為了使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面結(jié)合附圖和具體實施例對本發(fā)明進(jìn)行詳細(xì)描述。
[0033]圖1為本發(fā)明實施例中web反向代理服務(wù)器的緩存存儲結(jié)構(gòu)示意圖。web反向代理服務(wù)器的緩存存儲結(jié)構(gòu)實施分層存儲，緩存存儲結(jié)構(gòu)先依據(jù)網(wǎng)站域名w胃.a.com，WWW.b.com，WWW.c.com劃分出三個不同的存儲區(qū)域，每個網(wǎng)站域名的緩存數(shù)據(jù)占據(jù)一個存儲區(qū)域，然后域名緩存區(qū)域再依據(jù)該網(wǎng)站的URL細(xì)分為不同存儲區(qū)域，上述三個網(wǎng)站域名分別都包含兩個 URL，www.a.com 包含的URL 依次為 www.a.com/a.com 和 www.a.com/b.com，域名緩存區(qū)域根據(jù)域名所涵蓋的URL數(shù)目，為每個URL劃分相應(yīng)的存儲區(qū)域；當(dāng)web反向代理服務(wù)器接收到應(yīng)用服務(wù)器的響應(yīng)之后，會將響應(yīng)內(nèi)容根據(jù)當(dāng)前請求的域名寫入相應(yīng)目錄下的文件中；
[0034]通過上述方式，將存儲結(jié)構(gòu)劃分為二級存儲結(jié)構(gòu)，有利于更為快速地定位緩存數(shù)據(jù)文件；
[0035]進(jìn)一步地，一個網(wǎng)站內(nèi)包含有多個URL，不同URL對應(yīng)的頁面內(nèi)容存儲在不同的區(qū)域，相應(yīng)的每一個緩存區(qū)域的大