專利名稱：Url 的匹配方法、裝置及網(wǎng)關的制作方法
技術領域：
本發(fā)明涉及通信領域，具體而言，涉及一種URL的匹配方法、裝置及網(wǎng)關。
背景技術：
統(tǒng)一資源定位符(Uniform Resource Locator,簡稱為URL)也被稱為網(wǎng)頁地址，是因特網(wǎng)上標準的資源的地址。URL是用于完整地描述Internet上網(wǎng)頁和其他資源的地址的一種標識方法。Internet上的每一個網(wǎng)頁都具有一個唯一的名稱標識，通常稱之為URL地址，這種地址可以是本地磁盤，也可以是局域網(wǎng)上的某一臺計算機，更多的是Internet上的站點。簡單地說，URL就是Web地址，俗稱“網(wǎng)址”。目前針對綠色上網(wǎng)功能，大部分網(wǎng)絡設備制造商的處理方法大致分為以下兩種類型現(xiàn)有技術一內置URL庫將URL分類和排序后通過字符匹配算法來實現(xiàn)?，F(xiàn)有技術二 通過轉發(fā)流量給外部的URL過濾服務器來實現(xiàn)。采用技術一時，存在以下缺陷(I)占用設備內存量較大(每I萬條需要空間1500KB，千萬級的URL庫會占用設備1.5G內存空間)；(2)無法及時更新URL庫。采用技術二時，存在以下缺陷通過轉發(fā)流量給外部URL過濾服務器來實現(xiàn)的受限于網(wǎng)絡環(huán)境的影響較大，設備在處理網(wǎng)絡流量的同時還需要將用戶的請求進行緩存后轉發(fā)給外部的URL過濾服務器進行匹配，匹配的結果再反饋給設備并有設備進行后續(xù)處理，這樣處理的后果是響應時間成為設備能否快速處理用戶的請求的性能瓶頸。針對相關技術中…的問題，目前尚未提出有效的解決方案。針對相關技術中上述至少之一的問題，目前尚未提出有效的解決方案。

發(fā)明內容
本發(fā)明提供了一種URL的匹配方法、裝置及網(wǎng)關，以至少解決相關技術中的URL匹配方案不能滿足在節(jié)省本地空間的基礎上快速匹配的問題。根據(jù)本發(fā)明的一個方面，提供了一種URL的匹配方法，其包括確定本地是否存儲有訪問請求中攜帶的統(tǒng)一資源定位符URL ;如果沒有，則確定云端是否存儲有上述URL。優(yōu)選地，上述本地存儲的URL包括至少以下之一預先設定的一個或多個URL ;從上述云端存儲的URL中獲取的URL ;其中，上述獲取的URL包括從上述云端存儲的URL中按照使用頻率由高到低的順序取出的前第一預設數(shù)目個URL;從上述云端存儲的URL中按照使用時間優(yōu)先到后的順序取出的后第二預設數(shù)目個URL。優(yōu)選地，確定本地是否存儲有訪問請求中攜帶的統(tǒng)一資源定位符URL包括確定上述預先設定的一個或多個URL中是否包含有上述URL ;如果不包含，則確定上述獲取的URL中是否包含有上述URL，其中，上述獲取的URL按照屬性進行分類。優(yōu)選地，上述預先設定的一個或多個URL包括允許訪問的URL和不允許訪問的URL。優(yōu)選地，所示方法還包括如果確定上述云端存儲有上述URL，將上述URL存儲到上述第二預設數(shù)目個URL中；或者如果確定上述云端未存儲有上述URL，將上述URL存儲到上述云端。根據(jù)本發(fā)明的另一方面，提供了一種URL的匹配裝置，其包括第一確定模塊，用于確定本地是否存儲有訪問請求中攜帶的統(tǒng)一資源定位符URL ;第二確定模塊，用于如果上述本地未存儲有上述URL，則確定云端是否存儲有上述URL。優(yōu)選地，上述本地存儲的URL包括至少以下之一預先設定的一個或多個URL ;從上述云端存儲的URL中獲取的URL ;其中，上述獲取的URL包括從上述云端存儲的URL中 按照使用頻率由高到低的順序取出的前第一預設數(shù)目個URL ;從上述云端存儲的URL中按照使用時間優(yōu)先到后的順序取出的后第二預設數(shù)目個URL。優(yōu)選地，上述第一確定模塊包括第一確定單元，用于確定上述預先設定的一個或多個URL中是否包含有上述URL ;第二確定單元，用于如果上述預先設定的一個或多個URL中不包含有上述URL，則確定上述獲取的URL中是否包含有上述URL，其中，上述獲取的URL按照屬性進行分類。優(yōu)選地，上述URL的匹配裝置還包括存儲模塊，用于如果確定上述云端存儲有上述URL，將上述URL存儲到上述第二預設數(shù)目個URL中或者如果確定上述云端未存儲有上述URL，將上述URL存儲到上述云端。根據(jù)本發(fā)明的又一方面，提供了一種網(wǎng)關，其包括上述任一種URL的匹配裝置。在本發(fā)明中，先確定本地是否存儲有訪問請求中攜帶的URL，該本地存儲的URL可以是一部分URL，如果本地未存儲有上述URL，再確定云端是否存儲有上述URL，該遠端可以存儲大量的URL，實現(xiàn)了本地存儲部分URL，云端存儲了大量的URL，避免了將所有的URL都存儲在本地，或將URL轉發(fā)給外部的URL過濾服務器來匹配，從而在節(jié)省本地存儲空間的基礎上提高了 URL匹配的效率。


此處所說明的附圖用來提供對本發(fā)明的進一步理解，構成本申請的一部分，本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明，并不構成對本發(fā)明的不當限定。在附圖中圖I是根據(jù)本發(fā)明實施例的URL的匹配方法的流程圖；圖2是根據(jù)本發(fā)明實施例的URL的匹配裝置的結構框圖；圖3是根據(jù)本發(fā)明實施例的使用URL的匹配方法的流程圖；圖4是根據(jù)本發(fā)明實施例的另一種URL的匹配方法的流程圖。
具體實施例方式下文中將參考附圖并結合實施例來詳細說明本發(fā)明。需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互組合。本實施例提供了一種URL的匹配方法的流程圖，如圖I所示，該URL的匹配方法包括步驟S102至步驟S104。步驟S102 :確定本地是否存儲有訪問請求中攜帶的統(tǒng)一資源定位符URL。步驟S104 :如果沒有，則確定云端是否存儲有上述URL。通過上述步驟，先確定本地是否存儲有訪問請求中攜帶的URL，該本地存儲的URL可以是一部分URL，如果本地未存儲有上述URL，再確定云端是否存儲有上述URL，該遠端可以存儲大量的URL，實現(xiàn)了本地存儲部分URL，云端存儲了大量的URL，避免了將所有的URL都存儲在本地，或將URL轉發(fā)給外部的URL過濾服務器來匹配，從而在節(jié)省本地存儲空間的基礎上提高了 URL匹配的效率。為了提高URL在本地匹配的命中率，提高匹配的有效率，在本優(yōu)選實施例中，上述本地存儲的URL包括至少以下之一預先設定的一個或多個URL ;從上述云端存儲的URL中獲取的URL ;其中，上述獲取的URL包括從上述云端存儲的URL中按照使用頻率由高到低 的順序取出的前第一預設數(shù)目個URL ;從上述云端存儲的URL中按照使用時間優(yōu)先到后的順序取出的后第二預設數(shù)目個URL。即可以在本地內存劃分IOM的內存空間進行存放上述URL，在本地存儲的URL可以是云中心庫(相當于上述云端)中使用頻率按照從高到低順序的ToplOOOO (前10000)(相當于上述第一預設數(shù)目個URL)，也可以是云中心庫中最近查詢到的URL (相當于上述第二預設數(shù)目個URL)，還可以是人為預先設定的一個或多個URL，以提高URL在本地匹配的命中率，進而提高URL匹配的效率。優(yōu)選地，通過上述本地存儲一定數(shù)目使用頻率較高的URL或最近使用的URL來進行匹配，相對存儲大量的URL，可以提高匹配速度，例如，同樣的算法在查詢I萬條和1000萬條數(shù)據(jù)量的時間響應上相差是非常大的，比如一個測試URL庫的規(guī)模為10萬條時，每秒可以查找超過40萬個URL，URL庫的規(guī)模為100萬條時，每秒鐘可以查找15萬個URL ;還可以提高匹配命中率，因為本地存儲的上述URL的使用率高，可能被匹配到的幾率就會很大，進而提聞匹配命中率。優(yōu)選地，上述預先設定的一個或多個URL可以包括允許訪問的URL和不允許訪問的URL。例如，可以設定一個黑名單(black-list)，來存儲預先設定的不允許訪問的URL ;可以設定一個白名單(white-1 ist)，來存儲預先設定的允許訪問的URL。為了提高URL匹配的有效率，在本優(yōu)選實施例中，確定本地是否存儲有訪問請求中攜帶的統(tǒng)一資源定位符URL包括確定上述預先設定的一個或多個URL中是否包含有上述URL ;如果不包含，則確定上述獲取的URL中是否包含有上述URL，其中，上述獲取的URL按照屬性進行分類。為了實時地更新上述遠端存儲的URL，在本優(yōu)選實施例中，上述方法還包括如果確定上述云端存儲有上述URL，將上述URL存儲到上述第二預設數(shù)目個URL中；或者如果確定上述云端未存儲有所述URL，將上述URL存儲到所述云端。即可以實時地更新云中心庫(相當于上述云端)中的URL，將本地庫虛擬擴大了 1000倍的同時，大大提升了用戶體驗效
果O本優(yōu)選實施例提供了一種URL的匹配裝置，如圖2所示，該URL的匹配裝置包括第一確定模塊202，用于確定本地是否存儲有訪問請求中攜帶的統(tǒng)一資源定位符URL ;第二確定模塊204，連接至第一確定模塊202，用于如果上述本地未存儲有上述URL，則確定云端是否存儲有上述URL。
為了提高URL匹配的有效率，在本優(yōu)選實施例中，如圖2所示，上述第一確定模塊202包括第一確定單元2022，用于確定上述預先設定的一個或多個URL中是否包含有上述URL ;第二確定單元2024，連接至第一確定單元2022，用于如果上述預先設定的一個或多個URL中不包含有上述URL，則確定上述獲取的URL中是否包含有上述URL，其中，上述獲取的URL按照屬性進行分類。為了實時地更新上述遠端存儲的URL，在本優(yōu)選實施例中，如圖2所示，上述URL的匹配裝置還包括存儲模塊206，或者如果確定上述云端未存儲有所述URL，將上述URL存儲到所述云端。本優(yōu)選實施例提供了一種網(wǎng)關，該網(wǎng)關包括上述任一 URL的匹配裝置。以下結合附圖對上述各個優(yōu)選實施例進行詳細地描述。圖3是根據(jù)本發(fā)明實施例的使用URL的匹配方法的流程圖，如圖3所示，使用上述URL的匹配方法的處理流程包括如下步驟·S302 :接收到訪問請求數(shù)據(jù)包后，獲取該訪問請求數(shù)據(jù)包攜帶的URL，判斷該URL是否是符合安全規(guī)則，若是，則轉至步驟S304，若否，則轉至步驟S306。S304 :通過上述URL的匹配方法對上述URL進行匹配，判斷是否匹配成功，若是，則轉至步驟S308，若否，則轉至步驟S306。S3O6 :丟棄上述 URL。S308 :后續(xù)處理模塊對上述URL進行處理。圖4是根據(jù)本發(fā)明實施例的另一種URL的匹配方法的流程圖，如圖4所示，該URL的匹配方法包括如下步驟S402 :接收到訪問請求數(shù)據(jù)包后，獲取該訪問請求數(shù)據(jù)包攜帶的URL，將該URL先與本地存儲的自定義庫中的URL進行匹配，判斷是否匹配成功，若是，則轉至步驟S404，若否，則轉至步驟S408。S404 :將上述URL先與本地存儲的自定義庫中黑名單中的URL(相當于上述預先設定的不允許訪問的URL)進行匹配，判斷是否匹配成功，若否，則轉至步驟S406，若是，則丟棄該URL。S406 :將上述URL與本地存儲的自定義庫中白名單中的URL(相當于上述預先設定的允許訪問的URL)進行匹配，判斷是否匹配成功，若否，則轉至步驟S408，若是，則允許該URL的網(wǎng)頁訪問。S408 :將上述URL與本地存儲的分類庫中的URL (相當于上述從上述云端存儲的URL中獲取的URL)進行匹配，判斷是否匹配成功，若否，則轉至步驟S410，若是，則丟棄該URL。S410 :將上述URL與云中心庫(相當于上述云端)中的URL進行匹配，判斷是否匹配成功，若否，則轉至步驟S412，若是，則轉至步驟S414。S412 :云中心庫可以丟棄上述URL，并將上述URL記錄，上傳至管理中心，管理中心確認后會對云中心庫的數(shù)據(jù)量實時更新。S414 :云中心庫可以丟棄上述URL，并將上述URL下發(fā)到設備存儲在最近查詢URL的Cache中(上述第二預設數(shù)目個URL中)。從以上的描述中，可以看出，上述優(yōu)選實施例實現(xiàn)了如下技術效果先確定本地是否存儲有訪問請求中攜帶的URL，該本地存儲的URL可以是一部分URL，如果本地未存儲有上述URL，再確定云端是否存儲有上述URL，該遠端可以存儲大量的URL，實現(xiàn)了本地存儲部分URL，云端存儲了大量的URL，避免了將所有的URL都存儲在本地，或將URL轉發(fā)給外部的URL過濾服務器來匹配，從而在節(jié)省本地存儲空間的基礎上提高了 URL匹配的效率。顯然，本領域的技術人員應該明白，上述的本發(fā)明的各模塊或各步驟可以用通用的計算裝置來實現(xiàn)，它們可以集中在單個的計算裝置上，或者分布在多個計算裝置所組成的網(wǎng)絡上，可選地，它們可以用計算裝置可執(zhí)行的程序代碼來實現(xiàn)，從而，可以將它們存儲在存儲裝置中由計算裝置來執(zhí)行，并且在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟，或者將它們分別制作成各個集成電路模塊，或者將它們中的多個模塊或步驟制作成單個集成電路模塊來實現(xiàn)。這樣，本發(fā)明不限制于任何特定的硬件和軟件結合。以上所述僅為本發(fā)明的優(yōu)選實施例而已，并不用于限制本發(fā)明，對于本領域的技術人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內，所作的任何修 改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內。
權利要求
1.一種統(tǒng)一資源定位符的匹配方法，其特征在于，包括 確定本地是否存儲有訪問請求中攜帶的統(tǒng)一資源定位符URL ； 如果沒有，則確定云端是否存儲有所述URL。
2.根據(jù)權利要求I所述的方法，其特征在于，所述本地存儲的URL包括至少以下之一 預先設定的一個或多個URL ;從所述云端存儲的URL中獲取的URL ;其中， 所述獲取的URL包括從所述云端存儲的URL中按照使用頻率由高到低的順序取出的前第一預設數(shù)目個URL ;從所述云端存儲的URL中按照使用時間優(yōu)先到后的順序取出的后第二預設數(shù)目個URL。
3.根據(jù)權利要求2所述的方法，其特征在于，確定本地是否存儲有訪問請求中攜帶的統(tǒng)一資源定位符URL包括 確定所述預先設定的一個或多個URL中是否包含有所述URL ； 如果不包含，則確定所述獲取的URL中是否包含有所述URL，其中，所述獲取的URL按照屬性進行分類。
4.根據(jù)權利要求2所述的方法，其特征在于，所述預先設定的一個或多個URL包括允許訪問的URL和不允許訪問的URL。
5.根據(jù)權利要求2至4中任一項所述的方法，其特征在于，所示方法還包括 如果確定所述云端存儲有所述URL，將所述URL存儲到所述第二預設數(shù)目個URL中；或者 如果確定所述云端未存儲有所述URL，將所述URL存儲到所述云端。
6.一種統(tǒng)一資源定位符的匹配裝置，其特征在于，包括 第一確定模塊，用于確定本地是否存儲有訪問請求中攜帶的統(tǒng)一資源定位符URL ； 第二確定模塊，用于如果所述本地未存儲有所述URL，則確定云端是否存儲有所述URL。
7.根據(jù)權利要求6所述的裝置，其特征在于，所述本地存儲的URL包括至少以下之一 預先設定的一個或多個URL ;從所述云端存儲的URL中獲取的URL ;其中， 所述獲取的URL包括從所述云端存儲的URL中按照使用頻率由高到低的順序取出的前第一預設數(shù)目個URL ;從所述云端存儲的URL中按照使用時間優(yōu)先到后的順序取出的后第二預設數(shù)目個URL。
8.根據(jù)權利要求7所述的裝置，其特征在于，所述第一確定模塊包括 第一確定單元，用于確定所述預先設定的一個或多個URL中是否包含有所述URL ；第二確定單元，用于如果所述預先設定的一個或多個URL中不包含有所述URL，則確定所述獲取的URL中是否包含有所述URL，其中，所述獲取的URL按照屬性進行分類。
9.根據(jù)權利要求7或8所述的裝置，其特征在于，還包括 存儲模塊，用于如果確定所述云端存儲有所述URL，將所述URL存儲到所述第二預設數(shù)目個URL中或者如果確定所述云端未存儲有所述URL，將所述URL存儲到所述云端。
10.一種網(wǎng)關，其特征在于，包括權利要求6至9中任一項所述的統(tǒng)一資源定位符的匹配裝置。
全文摘要
本發(fā)明提供了一種URL的匹配方法、裝置及網(wǎng)關，其中，該方法包括確定本地是否存儲有訪問請求中攜帶的統(tǒng)一資源定位符URL；如果沒有，則確定云端是否存儲有上述URL。本發(fā)明解決了相關技術中的URL匹配方案不能滿足在節(jié)省本地空間的基礎上快速匹配的問題，從而在節(jié)省本地存儲空間的基礎上提高了URL匹配的效率。
文檔編號H04L29/08GK102946449SQ20121049739
公開日2013年2月27日 申請日期2012年11月28日 優(yōu)先權日2012年11月28日
發(fā)明者王瑞 申請人:網(wǎng)神信息技術(北京)股份有限公司, 網(wǎng)神科技(北京)有限公司