專利名稱：網頁檢測方法與掃描引擎的制作方法
技術領域：
本發(fā)明實施例涉及網站安全技術領域，特別是涉及一種網頁檢測方法與掃描引擎。
背景技術：
漏洞掃描通常是指基于漏洞數據庫，通過掃描等手段，對指定的遠程或者本地計算機系統(tǒng)的安全脆弱性進行檢測，發(fā)現(xiàn)可利用的漏洞的一種安全檢測行為。通過漏洞掃描，能夠及時發(fā)現(xiàn)計算機系統(tǒng)或者其他網絡設備的安全隱患和可能被黑客利用的漏洞。然而，現(xiàn)有的漏洞掃描產品在進行漏洞掃描時，常常將一些網絡錯誤頁面誤認為·是漏洞，例如，將404頁面或防火墻攔截的錯誤頁面或其它錯誤頁面誤認為是漏洞，從而產生漏洞的誤識誤報。404頁面是網站訪問比較經常出現(xiàn)的錯誤頁面，最常見的出錯提示是“404N0T FOUND”。當用戶輸入了錯誤的鏈接時，出現(xiàn)404頁面以告訴用戶其所請求的頁面不存在或鏈接錯誤，同時引導用戶使用網站其他頁面，而不是關閉窗口離開。另外，在其它一些情況下，比如，網址鏈接錯誤、或者服務器暫時無法訪問、或者防火墻攔截頁面、或者用戶訪問某些敏感網頁等，還會出現(xiàn)除404頁面之外的其它錯誤頁面，以提示用戶出現(xiàn)錯誤或將頁面跳轉到正常頁面等。造成將一些網絡錯誤頁面誤認為是漏洞的原因是，在傳統(tǒng)web漏洞掃描產品中，在做漏洞判斷的過程中不能很好地識別錯誤頁面或者404頁面，因而將這些頁面誤認為是漏洞，導致存在很高的漏洞誤報率。目前，隨著網絡技術的發(fā)展，錯誤頁面或者404頁面隨著網站數量的增加而增加，網站的自定義錯誤頁面或自定義404頁面也在急劇增加，并且，每個不同的網站都有可能設置了不同的錯誤頁面或404頁面。因此，在漏洞掃描過程中，如何準確判斷一個漏洞是真實存在的，還是一個錯誤頁面或404頁面，以減少漏洞誤識誤報，提升用戶使用漏洞掃描產品的使用體驗成為當前亟待解決的問題。

發(fā)明內容
本發(fā)明實施例提供了一種網頁檢測方法與掃描引擎，以解決現(xiàn)有技術無法準確判斷一個漏洞是真實存在的，還是一個錯誤頁面或404頁面，導致漏洞誤識誤報，降低用戶使用體驗的問題。為了解決上述問題，本發(fā)明實施例公開了一種網頁檢測方法，包括抓取目標網站的URL或內容，通過返回的結果確定是網頁，訪問所述網頁；判斷訪問的網頁是否符合以下規(guī)則至少之一通用異常頁面規(guī)則、自定義異常頁面規(guī)則、自定義異常頁面行為規(guī)則；若符合，則確定所述訪問的網頁為異常頁面；其中，所述通用異常頁面規(guī)則用于根據網頁的狀態(tài)代碼或網頁內容確定網頁是否為異常頁面，所述自定義異常頁面規(guī)則用于根據從網頁中提取的異常頁面關鍵字確定網頁是否為異常頁面，所述自定義異常頁面行為規(guī)則用于根據設定的訪問異常頁面的行為確定網頁是否為異常頁面。優(yōu)選地，所述異常頁面包括404頁面和除404頁面之外的其它錯誤頁面；所述通用異常頁面規(guī)則包括通用404頁面規(guī)則，所述自定義異常頁面規(guī)則包括自定義404頁面規(guī)則，所述自定義異常頁面行為規(guī)則包括自定義404頁面行為規(guī)則；其中，所述通用404頁面規(guī)則用于根據網頁的狀態(tài)代碼或網頁內容確定網頁是否為404頁面，所述自定義404頁面規(guī)則用于根據從網頁中提取的404關鍵字確定網頁是否為404頁面，所述自定義404頁面行為規(guī)則用于根據設定的訪問404頁面的行為確定網頁是否為404頁面。優(yōu)選地，所述自定義異常頁面規(guī)則還包括自定義錯誤頁面規(guī)則，所述自定義錯誤頁面規(guī)則用于根據從網頁中提取的錯誤網頁關鍵字確定網頁是否為除404頁面之外的其它錯誤頁面。優(yōu)選地，在所述判斷訪問的網頁是否符合以下規(guī)則至少之一通用異常頁面規(guī)則、自定義異常頁面規(guī)則、自定義異常頁面行為規(guī)則的步驟之前，還包括收集所述通用404頁面規(guī)則、所述自定義404頁面規(guī)則、所述自定義404頁面行為規(guī)則、所述自定義錯誤頁面規(guī)
則中的至少一種。優(yōu)選地,收集所述通用404頁面規(guī)則包括將網頁狀態(tài)代碼為404和/或網頁內容包括404頁面內容的頁面判斷規(guī)則收集為所述通用404頁面規(guī)則；收集所述自定義404頁面規(guī)則包括訪問網站的正常網頁，提取該正常網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部；訪問該網站不存在的網頁，提取反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部；比較該正常網頁和該反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部，獲取404關鍵字，將該404關鍵字的頁面判斷規(guī)則收集為所述自定義404頁面規(guī)則；收集所述自定義404頁面行為規(guī)則包括 訪問不存在的網頁，將反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部的頁面判斷規(guī)則收集為所述自定義404頁面行為規(guī)則；收集所述自定義錯誤頁面規(guī)則包括訪問網站的正常網頁，提取該正常網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部；訪問該網站不存在的網頁，提取反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部，其中，該反饋網頁為除404網頁之外的錯誤網頁；比較該正常網頁和該反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部，獲取錯誤網頁關鍵字，將該錯誤網頁關鍵字的頁面判斷規(guī)則收集為所述自定義錯誤頁面規(guī)則。優(yōu)選地，所述收集所述自定義404頁面規(guī)則的所述訪問該網站不存在的網頁，提取反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部的步驟包括判斷訪問該不存在的網頁時，返回的網頁的網頁狀態(tài)代碼是否為404 ;若否，則判斷該反饋網頁的網頁狀態(tài)代碼是否為重定向代碼；若為重定向代碼，則判斷是否有重定向頁面，若有，則獲取所述重定向頁面，將該重定向頁面作為所述反饋網頁，提取該重定向頁面的URL、網頁內容、網頁狀態(tài)代碼和HTTP頭部；所述收集所述自定義錯誤頁面規(guī)則的訪問該網站不存在的網頁，提取反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部的步驟包括判斷訪問該不存在的網頁時，返回的網頁的網頁狀態(tài)代碼是否為404;若否，則判斷該反饋網頁的網頁狀態(tài)代碼是否為重定向代碼；若為重定向代碼，則判斷是否有重定向頁面，若有，則獲取所述重定向頁面，將該重定向頁面作為所述反饋網頁，提取該重定向頁面的URL、網頁內容、網頁狀態(tài)代碼和HTTP頭部。優(yōu)選地，所述判斷訪問的網頁是否符合以下規(guī)則至少之一通用異常頁面規(guī)則、自定義異常頁面規(guī)則、自定義異常頁面行為規(guī)則的步驟包括提取所述訪問的網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部；判斷所述訪問的網頁的網頁內容、或者所述網頁狀態(tài)代碼、或者所述HTTP頭部是否符合以下規(guī)則至少之一通用異常頁面規(guī)則、自定義異常頁面規(guī)貝U、自定義異常頁面行為規(guī)則。優(yōu)選地，所述網頁檢測方法應用于漏洞掃描過程；在確定所述訪問的網頁為異常頁面之后，還包括不提示或不上報所述異常頁面為漏洞頁面。為了解決上述問題，本發(fā)明實施例還公開了一種掃描引擎，包括掃描規(guī)則收集模塊，用于收集以下規(guī)則至少之一通用異常頁面規(guī)則、自定義異常頁面規(guī)則、自定義異常頁面行為規(guī)則；漏洞檢測模塊，用于判斷訪問的網頁是否符合以下規(guī)則至少之一通用異常頁面規(guī)則、自定義異常頁面規(guī)則、自定義異常頁面行為規(guī)則；漏洞驗證模塊，用于若所述漏洞檢測模塊的判斷結果為符合，則確定所述訪問的網頁為異常頁面；其 中，所述通用異常頁面規(guī)則用于根據網頁的狀態(tài)代碼或網頁內容確定網頁是否為異常頁面，所述自定義異常頁面規(guī)則用于根據從網頁中提取的異常頁面關鍵字確定網頁是否為異常頁面，所述自定義異常頁面行為規(guī)則用于根據設定的訪問異常頁面的行為確定網頁是否為異常頁面。優(yōu)選地，所述異常頁面包括404頁面和除404頁面之外的其它錯誤頁面；所述通用異常頁面規(guī)則包括通用404頁面規(guī)則，所述自定義異常頁面規(guī)則包括自定義404頁面規(guī)則，所述自定義異常頁面行為規(guī)則包括自定義404頁面行為規(guī)則；其中，所述通用404頁面規(guī)則用于根據網頁的狀態(tài)代碼或網頁內容確定網頁是否為404頁面，所述自定義404頁面規(guī)則用于根據從網頁中提取的404關鍵字確定網頁是否為404頁面，所述自定義404頁面行為規(guī)則用于根據設定的訪問404頁面的行為確定網頁是否為404頁面。優(yōu)選地，所述自定義異常頁面規(guī)則還包括自定義錯誤頁面規(guī)則，所述自定義錯誤頁面規(guī)則用于根據從網頁中提取的錯誤網頁關鍵字確定網頁是否為除404頁面之外的其它錯誤頁面。優(yōu)選地，掃描規(guī)則收集模塊，用于收集所述通用404頁面規(guī)則、所述自定義404頁面規(guī)則、所述自定義404頁面行為規(guī)則、所述自定義錯誤頁面規(guī)則中的至少一種。優(yōu)選地，所述收集模塊包括以下至少之一通用404頁面規(guī)則收集模塊，用于將網頁狀態(tài)代碼為404和/或網頁內容包括404頁面內容的頁面判斷規(guī)則收集為所述通用404頁面規(guī)則；自定義404頁面規(guī)則收集模塊，用于訪問網站的正常網頁，提取該正常網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部；訪問該網站不存在的網頁，提取反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部；比較該正常網頁和該反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部，獲取404關鍵字，將該404關鍵字的頁面判斷規(guī)則收集為所述自定義404頁面規(guī)則；自定義404頁面行為規(guī)則收集模塊，用于訪問不存在的網頁，將反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部的頁面判斷規(guī)則收集為所述自定義404頁面行為規(guī)則；自定義錯誤頁面規(guī)則收集模塊，用于訪問網站的正常網頁，提取該正常網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部；訪問該網站不存在的網頁，提取反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部，其中，該反饋網頁為除404網頁之外的錯誤網頁；比較該正常網頁和該反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部，獲取錯誤網頁關鍵字，將該錯誤網頁關鍵字的頁面判斷規(guī)則收集為所述自定義錯誤頁面規(guī)則。優(yōu)選地，所述自定義404頁面規(guī)則收集模塊在訪問該網站不存在的網頁，提取反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部時，判斷訪問該不存在的網頁時，返回的網頁的網頁狀態(tài)代碼是否為404;若否，則判斷該反饋網頁的網頁狀態(tài)代碼是否為重定向代碼；若為重定向代碼，則判斷是否有重定向頁面，若有，則獲取所述重定向頁面，將該重定向頁面作為所述反饋網頁，提取該重定向頁面的URL、網頁內容、網頁狀態(tài)代碼和HTTP頭部；所述自定義錯誤頁面規(guī)則收集模塊在訪問該網站不存在的網頁，提取反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部時，判斷訪問該不存在的網頁時，返回的網頁的網頁狀態(tài)代碼是否為404 ;若否，則判斷該反饋網頁的網頁狀態(tài)代碼是否為重定向代碼；若為重定向代碼，則判斷是否有重定向頁面， 若有，則獲取所述重定向頁面，將該重定向頁面作為所述反饋網頁，提取該重定向頁面的URL、網頁內容、網頁狀態(tài)代碼和HTTP頭部。優(yōu)選地，所述掃描引擎設置于服務器端，用于所述服務器端進行漏洞掃描；所述掃描引擎還包括結果執(zhí)行模塊，用于在所述漏洞驗證模塊確定所述訪問的網頁為異常頁面之后，不提示或不上報所述異常頁面為漏洞頁面。與現(xiàn)有技術相比，本發(fā)明實施例具有以下優(yōu)點本發(fā)明實施例根據多個異常頁面檢測規(guī)則，判斷訪問的網頁是否符合多個檢測規(guī)則中的一個或多個，來確定訪問的網頁是否是異常網頁。與現(xiàn)有技術中，尤其是現(xiàn)有漏洞掃描技術中，不判斷異常頁面，直接將這些頁面作為漏洞上報相比，能夠準確地對異常頁面進行判斷。進一步地，若將該方案應用于漏洞掃描過程中，則可以有效確定這些頁面為異常頁面而非漏洞，從而有效避免漏洞的誤識誤報，提升用戶使用漏洞掃描產品的使用體驗。


圖I是根據本發(fā)明實施例一的一種網頁檢測方法的步驟流程圖；圖2是根據本發(fā)明實施例二的一種網頁檢測方法的步驟流程圖；圖3是根據本發(fā)明實施例三的一種網頁檢測方法的步驟流程圖；圖4是根據本發(fā)明實施例四的一種網頁檢測方法的步驟流程圖；圖5是根據本發(fā)明實施例五的一種掃描引擎的結構框圖。
具體實施例方式為使本發(fā)明實施例的上述目的、特征和優(yōu)點能夠更加明顯易懂，下面結合附圖和具體實施方式
對本發(fā)明實施例作進一步詳細的說明。實施例一參照圖1，示出了根據本發(fā)明實施例一的一種網頁檢測方法的步驟流程圖。本實施例的網頁檢測方法包括以下步驟步驟SlO :抓取目標網站的URL或內容，通過返回的結果確定是網頁，訪問該網頁。對目標網站的URL (統(tǒng)一資源定位符)或內容的抓取可以由蜘蛛或爬蟲技術實現(xiàn)，通過蜘蛛或爬蟲返回的結果確定是否是網站的網頁，若確定是網頁，則對該網頁進行訪問。步驟S20 :判斷訪問的網頁是否符合以下規(guī)則至少之一通用異常頁面規(guī)則、自定義異常頁面規(guī)則、自定義異常頁面行為規(guī)則；其中，通用異常頁面規(guī)則用于根據網頁的狀態(tài)代碼或網頁內容確定網頁是否為異常頁面，自定義異常頁面規(guī)則用于根據從網頁中提取的異常頁面關鍵字確定網頁是否為異常頁面，自定義異常頁面行為規(guī)則用于根據設定的訪問異常頁面的行為確定網頁是否為異常頁面。
步驟S30 :若訪問的網頁符合通用異常頁面規(guī)則、自定義異常頁面規(guī)則、自定義異常頁面行為規(guī)則中的至少一個，則確定訪問的網頁為異常頁面。本實施例根據多個異常頁面檢測規(guī)則，判斷訪問的網頁是否符合多個檢測規(guī)則中的一個或多個，來確定訪問的網頁是否是異常網頁。與現(xiàn)有技術中，尤其是現(xiàn)有漏洞掃描技術中，不判斷異常頁面，直接將這些頁面作為漏洞上報相比，提高了漏洞判斷的準確性、降低了漏洞誤報率。實施例二參照圖2，示出了根據本發(fā)明實施例二的一種網頁檢測方法的步驟流程圖。本實施例為實施例一的進一步優(yōu)選方案，本實施例中，異常頁面包括404頁面的 除404頁面之外的其它錯誤頁面，相對應地，通用異常頁面規(guī)則包括通用404頁面規(guī)則、自定義異常頁面規(guī)則包括自定義404頁面規(guī)則和自定義錯誤頁面規(guī)則、自定義異常頁面行為規(guī)則自定義404頁面行為規(guī)則。本實施例的網頁檢測方法包括以下步驟步驟S102 :訪問網頁，判斷訪問的網頁是否符合以下規(guī)則至少之一通用404頁面規(guī)則、自定義404頁面規(guī)則、自定義404頁面行為規(guī)則、自定義錯誤頁面規(guī)則。其中，通用404頁面規(guī)則用于根據網頁的狀態(tài)代碼或網頁內容確定網頁是否為404頁面；自定義404頁面規(guī)則用于根據從網頁中提取的404關鍵字確定網頁是否為404頁面；自定義404頁面行為規(guī)則用于根據設定的訪問404頁面的行為確定網頁是否為404頁面；自定義錯誤頁面規(guī)則用于根據從網頁中提取的錯誤網頁關鍵字確定網頁是否為除404頁面之外的其它錯誤頁面。步驟S104 :若訪問的網頁符合通用404頁面規(guī)則、自定義404頁面規(guī)則、自定義404頁面行為規(guī)則、自定義錯誤頁面規(guī)則中的至少一個，則確定該訪問的網頁為404頁面或為除404頁面之外的其它錯誤頁面。需要說明的是，若檢測主要針對404頁面，則自定義錯誤頁面規(guī)則為可選規(guī)則。通過本實施例，根據多個404頁面或錯誤頁面檢測規(guī)則，判斷訪問的網頁是否符合多個檢測規(guī)則中的一個或多個，來確定訪問的網頁是否是404網頁或者是除404網頁之外的其它錯誤網頁。與現(xiàn)有技術中，尤其是現(xiàn)有漏洞掃描技術中，不判斷404頁面或其它錯誤頁面，直接將這些頁面作為漏洞上報相比，能夠準確地對404頁面或其它錯誤頁面進行判斷。進一步地，若將該方案應用于漏洞掃描過程中，則可以有效確定這些頁面為非漏洞頁面，從而對這些頁面不進行漏洞提示或不進行漏洞上報，有效避免了漏洞的誤識誤報，提升了用戶的使用體驗。實施例三參照圖3，示出了根據本發(fā)明實施例三的一種網頁檢測方法的步驟流程圖。本實施例的網頁檢測方法包括以下步驟步驟S202 :收集通用404頁面規(guī)則、自定義404頁面規(guī)則、自定義404頁面行為規(guī)貝U、自定義錯誤頁面規(guī)則中的至少一種。本實施例中，可以設定收集上述全部規(guī)則，在實際應用中，也可以根據需要僅收集上述規(guī)則中的部分。在收集上述規(guī)則時，可以一次性收集設置使用，然后間隔設定時間統(tǒng)一對前次收集的規(guī)則進行更新；也可以動態(tài)收集規(guī)則，實時進行更新。
收集到的通用404頁面規(guī)則可以包括判斷網頁狀態(tài)代碼是否為404，和/或，判斷網頁內容是否包括404頁面內容，如網頁內容中有“404N0TF0UND”、“404…Error”、“Error…404”、” Page…not... found”、“File…not... found”、“Resource…not…found”、“error...request，，、“request... erro;r，，、“Unable to open，，、“Unable to find，，、“No suchfile”、“404.找不到文件”、“頁面未找到”、“資源未找到”、“不能找到該頁面”內容等。也即，在收集時，將網頁狀態(tài)代碼為404和/或網頁內容包括404頁面內容的頁面判斷規(guī)則收集為通用404頁面規(guī)則。通用404頁面規(guī)則包括了目前常用的404頁面判斷規(guī)則，有效兼容了現(xiàn)有的404頁面識別和判斷技術。收集到的自定義404頁面規(guī)則可以包括判斷網頁的網頁內容、網頁狀態(tài)代碼、HTTP (超文本傳輸協(xié)議)頭部中是否存在包括提取到的404關鍵字。若網頁的網頁內容、網頁狀態(tài)代碼、HTTP頭部中的任意一個或多個中包括404關鍵字，則認為是404頁面。其中，404關鍵字通過對訪問的網站的正常網頁和訪問該網站不存在的網頁時反饋的網頁中的網頁內容、網頁狀態(tài)代碼和HTTP頭部進行比較提取獲得，通常為正常網頁中不可能存在的文、字、圖片、或鏈接等內容。也即，在收集時，訪問網站的正常網頁，提取該正常網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部；訪問該網站不存在的網頁,提取反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部；比較該正常網頁和該反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部，獲取404關鍵字，將該404關鍵字的頁面判斷規(guī)則收集為自定義404頁面規(guī)則。對于某些網頁來說，其本質為404頁面，但卻不使用404的網頁狀態(tài)代碼，不包括404網頁內容，而表現(xiàn)為其它網頁狀態(tài)代碼或跳轉頁面的形式，這時，通過自定義404頁面規(guī)則可以有效地識別這些實質意義上的404頁面。通過比較正常頁面和反饋的錯誤頁面獲取404關鍵字，保證了自定義404規(guī)則的有效性，可以更為準確有效地識別和判斷404頁面。收集到的自定義404頁面行為規(guī)則可以包括判斷訪問某一網頁時，該網頁反饋的網頁內容、網頁狀態(tài)代碼和HTTP頭部是否與保存的網頁內容、網頁狀態(tài)代碼和HTTP頭部一致/相似，若一致/相似，則認為是404頁面。也即，在收集時，將訪問不存在的網頁時反饋的反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部的頁面判斷規(guī)則收集為自定義404頁面行為規(guī)則。通過自定義404頁面行為規(guī)則的收集，盡可能涵蓋了可能的404頁面情況，在一定程度上避免了 404頁面的漏識漏判。收集到的自定義錯誤頁面規(guī)則可以包括判斷網頁的網頁內容、網頁狀態(tài)代碼、HTTP頭部中是否存在包括提取到的錯誤網頁關鍵字。若網頁的網頁內容、網頁狀態(tài)代碼、HTTP頭部中的任意一個或多個中包括錯誤網頁關鍵字，則認為是錯誤網頁頁面。其中，錯誤網頁關鍵字通過對訪問的網站的正常網頁和訪問該網站不存在的網頁時反饋的除404網頁之外的其它錯誤網頁中的網頁內容、網頁狀態(tài)代碼和HTTP頭部進行比較提取獲得，通常為除404關鍵字外的、正常網頁中不可能存在的文字、圖片、或鏈接等內容。也即，在收集時，訪問網站的正常網頁，提取該正常網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部；訪問該網站不存在的網頁，提取反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部，其中，該反饋網頁為除404網頁之外的錯誤網頁；比較該正常網頁和該反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部，獲取錯誤網頁關鍵字，將該錯誤網頁關鍵字的頁面判斷規(guī)則收集為自定義錯誤頁面規(guī)則。對于某些網頁來說，其為不同于404頁面的錯誤頁面，這時，通過自定義錯誤頁面規(guī)則可以有效地識別這些非404錯誤頁面。通過比較正常頁面和反饋的錯誤頁面獲取錯誤網頁關鍵字，保證了自定義錯誤網頁規(guī)則的有效性，可以更為準確有效地識別和判斷除404頁面之外的其它錯誤頁面。通過收集上述規(guī)則，可以全面、有效地對404頁面或除404頁面外的其它錯誤頁面進行識別和判斷。另外，上述規(guī)則的收集方式僅為示例性說明，本領域技術人員在實際使用中還可以使用其它適當方式對規(guī)則進行收集，如根據歷史數據收集或根據實踐經驗手工輸入等。步驟S204 :保存收集到的規(guī)則并確認其有效性。規(guī)則有效性的確認可以由本領域技術人員根據實際情況采用適當方式實施，如通過使用規(guī)則測試網頁的方式實施等，本發(fā)明實施例對此不作限制。步驟S206 :判斷訪問的網頁是否符合通用404頁面規(guī)則、自定義404頁面規(guī)則、自 定義404頁面行為規(guī)則、自定義錯誤頁面規(guī)則中的至少一個。優(yōu)選地，可以提取訪問的網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部；然后，判斷提取到的所述訪問的網頁的網頁內容、或者網頁狀態(tài)代碼、或者HTTP頭部中是否存在符合通用404頁面規(guī)則、自定義404頁面規(guī)則、自定義404頁面行為規(guī)則、自定義錯誤頁面規(guī)則中的一個或多個。步驟S208 :確定訪問的網頁符合通用404頁面規(guī)則、自定義404頁面規(guī)則、自定義404頁面行為規(guī)則、自定義錯誤頁面規(guī)則中的至少一個，確認該訪問的網頁為404頁面或除404頁面之外的其它錯誤頁面。當訪問的網頁符合通用404頁面規(guī)則、自定義404頁面規(guī)則、自定義404頁面行為規(guī)則中的一個或多個時，可以確認該訪問的網頁為404頁面；當訪問的網頁符合自定義錯誤頁面規(guī)則時，可以確認該訪問的網頁為除404頁面之外的其它錯誤頁面。需要說明的是，本實施例的網頁檢測方法可以應用于漏洞掃描過程中，當確認了訪問的網頁為404頁面或其它錯誤頁面時，則漏洞掃描產品不會將該頁面誤認為是漏洞而進行提示或上報，也即，不提示或不上報該404頁面或其它錯誤頁面，從而減少了漏洞的誤識誤報。但不限于此，本領域技術人員應當明了，本實施例的網頁檢測方法同樣可應用于其它任意存在錯誤頁面檢測需求的場景。通過本實施例，有效實現(xiàn)了 404頁面和其它錯誤頁面檢測規(guī)則的收集和判斷，能夠準確地對404頁面和除404頁面外的其它錯誤頁面進行準確地識別和判斷，將其應用于漏洞掃描技術中，可以有效避免漏洞的誤識誤報，提高頁面和漏洞識別準確度，提升用戶使用體驗。實施例四參照圖4，示出了根據本發(fā)明實施例四的一種網頁檢測方法的步驟流程圖。本實施例以漏洞掃描工具在漏洞掃描過程中應用網頁檢測方法為例進行說明。現(xiàn)有技術中，隨著網站數量的增加，傳統(tǒng)的或自定義的錯誤頁面或404頁面也在急劇增加。其中，很多404頁面都是自定義后的，返回的網頁狀態(tài)代碼并不是404，通過判斷網頁狀態(tài)代碼是無法正確判斷出來這些頁面即是404頁面。另外，還有一部分錯誤頁面，如被防火墻攔截的錯誤頁面，也無法被有效識別和判斷。針對這種情況，可以使用本實施例的網頁檢測方法進行識別和判斷，以避免將404頁面或其它錯誤頁面誤識為漏洞，導致漏洞掃描工具的誤識誤報。
本實施例的網頁檢測方法包括以下步驟步驟S302 :漏洞掃描工具收集通用404頁面規(guī)則。通用404頁面規(guī)則是現(xiàn)有404頁面判斷規(guī)則的統(tǒng)稱，包括常用的404頁面判斷規(guī)貝丨J，如網頁狀態(tài)代碼為404、網頁內容包括“404N0T FOUND”、“頁面沒有找到”等。將大部分網站都采用的常規(guī)404規(guī)則或自定義404規(guī)則收集為通用404頁面規(guī)則后，保存該通用404頁面規(guī)則，優(yōu)選地，進一步確認該規(guī)則的有效性。步驟S304 :漏洞掃描工具收集網站自定義的自定義404頁面規(guī)則。對自定義404頁面規(guī)則的收集包括對網站的頁面和文件的收集。具體地，可以包括步驟al :訪問蜘蛛或爬蟲返回的網站的正常頁面，并提取網頁內容為html_ok，提·取網頁狀態(tài)代碼為http_status_ok,提取網頁的http頭部為http_head_ok。步驟bl :訪問網站的一個不存在的頁面，并提取返回的反饋頁面的網頁內容為html_errl,提取網頁狀態(tài)代碼為http_status_errl,提取反饋頁面的http頭部為http_head—errI ο其中，對網站不存在頁面的訪問可以通過在網站正常頁面后附加一個不存在的頁面，再訪問該合成頁面實現(xiàn)，如，在正常網頁地址后附加一個字符串生成新的網頁地址，而該網頁地址不屬于該網站的正常網頁地址，對該網頁地址進行訪問。當然，不限于此，本領域技術人員在實際使用中，也可以采用其它訪問不存在頁面的方式，本發(fā)明實施例對此不作限制。此外，還可以提取反饋頁面的URL (統(tǒng)一資源定位符)。步驟cl :判斷http_status_errl是否為404,如果是404,則符合通用404頁面規(guī)貝U，無需另外收集自定義404頁面規(guī)則；如果不是404，則進行步驟dl。步驟dl :判斷http_status_errl是否為重定向代碼,如為300-400之間的代碼，如果不是重定向代碼，如不為300-400之間的代碼，則進入步驟el ;如果是重定向代碼，如為300-400之間的代碼，即代表頁面開啟了跳轉功能，進而獲取重定向頁面；判斷是否獲取到重定向頁面，如果有重定向頁面，則對該重定向頁面進行處理，將重定向頁面的URL提取為404關鍵字，或者從重定向頁面的頁面內容中提取404關鍵字，保存為自定義404頁面規(guī)則；如果沒有重定向頁面，則比較頁面內容html_errl和html_ok、網頁狀態(tài)代碼http_status_ok和 http_status_errl、網頁的 http 頭部 http_head_ok和 http_head_errl,提取404關鍵字，保存為自定義404頁面規(guī)則。404關鍵字可以為文字、圖片、鏈接等中的一種或多種，提取到的404可以有多個，可以將這多個404關鍵字保存為自定義404頁面規(guī)則，也可以僅將其中的一部分，如一個，保存為自定義404頁面規(guī)則，如，選取占用空間最少的404關鍵字，或者，有多個文字形式的404關鍵字時，可以選取長度最短的404關鍵字，以提高自定義404頁面規(guī)則的收集和404頁面的識別效率。步驟el :如果不是跳轉頁面,判斷頁面內容html_errl是否符合通用404頁面規(guī)貝1J，如果是，則退出；如果不是，則比較頁面內容html_errl和html_ok、網頁狀態(tài)代碼http_status_ok和 http_status_errl、網頁的 http 頭部 http_head_ok和 http_head_errl,提取404關鍵字，保存為自定義404頁面規(guī)則。
步驟S306 :漏洞掃描工具收集網站的自定義錯誤頁面規(guī)則。對自定義錯誤頁面規(guī)則的收集包括對被防火墻攔截、崩潰、無法訪問等除404頁面外的錯誤頁面的收集。具體地，可以包括步驟a2 :訪問蜘蛛或爬蟲返回的網站的正常頁面，并提取網頁內容為html_ok，提取網頁狀態(tài)代碼為http_status_ok,提取網頁的http頭部為http_head_ok。步驟b2 :訪問網站的一個不存在文件，并提取返回的反饋頁面的網頁內容為html_errl,提取網頁狀態(tài)代碼為http_status_errl,提取反饋頁面的http頭部為http_head_errl。其中，該反饋頁面為除404頁面外的錯誤頁面。其中，對網站不存在頁面的訪問可以通過在網站正常頁面后附加一個不存在的頁面，再訪問該合成頁面實現(xiàn)，如，在正常網頁地址后附加一個字符串生成新的網頁地址，而該網頁地址不屬于該網站的正常網頁地址，對該網頁地址進行訪問。當然，不限于此，本領域技術人員在實際使用中，也可以采用其它訪問不存在頁面的方式，本發(fā)明實施例對此不作限制。此外，還可以提取反饋頁面的URL。步驟c2 :判斷http_status_errl是否為404,如果是404,則符合通用404頁面規(guī)貝U，無需另外提取自定義錯誤頁面規(guī)則；如果不是404，則進行步驟d2。步驟d2 :判斷http_status_errl是否為重定向代碼,如為300-400之間的代碼，如果不是重定向代碼，如不為300-400之間的代碼，則進入步驟e2 ;如果是重定向代碼，如為300-400之間的代碼，即代表頁面開啟了跳轉功能，進而獲取重定向頁面；判斷是否獲取到重定向頁面，如果有重定向頁面，則對該重定向頁面進行處理，提取錯誤頁面關鍵字，保存為網站自定義錯誤頁面規(guī)則；如果沒有重定向頁面，則比較頁面內容html_errI和html_ok、網頁狀態(tài)代碼 http_status_ok 和 http_status_errl、網頁的 http 頭部 http_head_ok和http_head_errl,提取錯誤網頁關鍵字,保存為網站自定義錯誤頁面規(guī)則。同404關鍵字類似，錯誤頁面關鍵字也可以為文字、圖片、鏈接等中的一種或多種，提取到的錯誤頁面關鍵字可以有多個，可以將這多個錯誤頁面關鍵字保存為自定義錯誤頁面規(guī)則，也可以僅將其中的一部分，如一個，保存為自定義錯誤頁面規(guī)則，如，選取占用空間最少的錯誤頁面關鍵字，或者，有多個文字形式的錯誤頁面關鍵字時，可以選取長度最短的錯誤頁面關鍵字，以提高自定義錯誤頁面頁面規(guī)則的收集和錯誤頁面的識別效率。步驟e2 :如果不是跳轉頁面,判斷頁面內容html_errl是否符合通用404規(guī)則，如果是，則退出；如果不是，則比較頁面內容html_errl和html_ok、網頁狀態(tài)代碼http_status_ok和 http_status_errl、網頁的 http 頭部 http_head_ok和 http_head_errl,提取錯誤頁面關鍵字，保存為網站自定義錯誤頁面規(guī)則。步驟S308 :漏洞掃描工具收集網站的自定義404頁面行為規(guī)則。即，收集網站頁面符合通用404頁面規(guī)則和/或自定義404頁面規(guī)則的行為。具體地，可以包括步驟a3 :訪問網站的一個不存在頁面，提取返回的反饋頁面的網頁內容為html_errl,提取網頁狀態(tài)代碼為http_status_errl,提取反饋頁面的http頭部為http_head_err I，并保存。
步驟b3 :判斷http_status_errl是否為404,如果是404,則符合通用404頁面規(guī)貝U，無需另外提取自定義404頁面行為規(guī)則；如果不是404，則進行步驟C3。步驟c3 :判斷http_status_errl是否為重定向代碼,如為300-400之間的代碼，如果不是重定向代碼，如不為300-400之間的代碼，則進入步驟d3 ;如果是重定向代碼，如為300-400之間的代碼，即代表頁面開啟了跳轉功能，進而獲取重定向頁面；判斷是否獲取到重定向頁面，如果有重定向頁面，則對該重定向頁面進行處理，提取網頁內容為html_err2,提取網頁狀態(tài)代碼為http_status_err2,提取反饋頁面的http頭部為http_head_err2，并保存為網站自定義404頁面行為規(guī)則；如果沒有重定向頁面，則將網頁內容html_errl,網頁狀態(tài)代碼http_status_errI,http頭部http_head_errI,保存為網站自定義404頁面行為規(guī)則。步驟d3 :如果不是跳轉頁面,判斷頁面內容html_errl是否符合通用404規(guī)則,如果是，貝1J退出；如果不是，則將網頁內容html_errl,網頁狀態(tài)代碼http_status_errl, http頭部http_head_errl,保存為網站自定義錯誤頁面規(guī)則。 需要說明的是，上述步驟S302 — S308在實際執(zhí)行過程中可以不分先后順序，也可以并行執(zhí)行。步驟S310 :當訪問一個網頁時，漏洞掃描工具判斷該網頁是否符合通用404頁面規(guī)則，如果是，則為404頁面，漏洞掃描工具不提示和/或不上報該頁面；如果不是，則繼續(xù)步驟S312。具體地，本步驟可以包括步驟a4 :訪問網站頁面，并提取網頁內容為html,網頁狀態(tài)代碼為http_status,網頁http頭部為http_head。步驟b4 :判斷http_status是否為404,如果是,則確定為404頁面,退出網頁檢測流程；如果不是，則根據http_status或網頁內容html或網頁http頭部http_head循環(huán)判斷是否滿足通用404頁面規(guī)則，若滿足，則進行步驟c4 ;若不滿足，則繼續(xù)步驟S312。步驟c4 :滿足通用404頁面規(guī)則，則表示該頁面是404頁面，退出網頁檢測流程，，漏洞掃描工具不提示和/或不上報該頁面。步驟S312 :漏洞掃描工具判斷訪問的網頁是否符合自定義404頁面規(guī)則，如果是，則為404頁面，漏洞掃描工具不提示和/或不上報該頁面；如果不是，則繼續(xù)步驟S314。由步驟S310可知，該訪問的網頁的網頁狀態(tài)代碼不為404，并且不滿足通用404頁面規(guī)則；則根據http_status或網頁內容html或http頭部http_head循環(huán)判斷是否滿足自定義404頁面規(guī)則；如果滿足自定義404頁面規(guī)則，則表示該頁面是404頁面，退出網頁檢測流程，漏洞掃描工具不提示和/或不上報該頁面；如果不是，則繼續(xù)步驟S314。步驟S314:漏洞掃描工具判斷該訪問的網頁是否符合自定義錯誤頁面規(guī)則，如果是，則為錯誤頁面，漏洞掃描工具不提示和/或不上報該頁面；如果不是，則繼續(xù)步驟S316。由步驟S312可知，該訪問的網頁的網頁狀態(tài)代碼不為404,并且不滿足通用404頁面規(guī)則，也不滿足自定義404頁面規(guī)則；則根據http_status或網頁內容html或http頭部http_head循環(huán)判斷是否滿足自定義錯誤頁頁面規(guī)則；如果滿足自定義錯誤頁頁面規(guī)貝U，則表示該頁面是除404頁面外的其它錯誤頁面，退出網頁檢測流程，漏洞掃描工具不提示和/或不上報該頁面；如果不是，則繼續(xù)步驟S316。
步驟S316 :漏洞掃描工具判斷該訪問的網頁是否符合自定義404頁面行為規(guī)則，如果是，則為404頁面，漏洞掃描工具不提示和/或不上報該頁面；如果不是，則為正常頁面。由步驟S314可知，該訪問的網頁的網頁狀態(tài)代碼不為404,并且不滿足通用404頁面規(guī)則、自定義404頁面規(guī)則和自定義錯誤頁面規(guī)則；則根據http_status或網頁內容html或http頭部http_head循環(huán)判斷是否滿足自定義404頁面行為規(guī)則(如網頁狀態(tài)代碼和網頁內容大小相似、重定向頁 面相似等);如果滿足自定義404頁面行為規(guī)則，則表示該頁面為404頁面，退出網頁檢測流程；如果不是，則表示該網頁可能為正常頁面。需要說明的是，上述判斷流程僅為示例性說明，本領域技術人員應當理解，在實際應用中，步驟S310 - S316對網頁是否符合規(guī)則的判斷可以以任意順序執(zhí)行，如首先判斷是否符合自定義錯誤頁面規(guī)則，或者，首先判斷是否符合自定義404頁面規(guī)則等。通過本實施例，實現(xiàn)了對404頁面或其它錯誤頁面的檢測規(guī)則的收集，以及對404頁面或其它錯誤頁面的準確識別和判斷，從而能夠更加準確、有效地識別網頁是404頁面，或是其它錯誤頁面，或是正確頁面，有效避免了漏洞掃描工具對漏洞的誤識誤報。實施例五參照圖5，示出了根據本發(fā)明實施例五的一種掃描引擎的結構框圖。本實施例的掃描引擎包括掃描規(guī)則收集模塊406，用于收集以下規(guī)則至少之一通用異常頁面規(guī)則、自定義異常頁面規(guī)則、自定義異常頁面行為規(guī)則；漏洞檢測模塊402，用于判斷訪問的網頁是否符合以下規(guī)則至少之一通用異常頁面規(guī)則、自定義異常頁面規(guī)貝U、自定義異常頁面行為規(guī)則，其中，通用異常頁面規(guī)則用于根據網頁的狀態(tài)代碼或網頁內容確定網頁是否為異常頁面，自定義異常頁面規(guī)則用于根據從網頁中提取的異常頁面關鍵字確定網頁是否為異常頁面，自定義異常頁面行為規(guī)則用于根據設定的訪問異常頁面的行為確定網頁是否為異常頁面；漏洞驗證模塊404，用于若漏洞檢測模塊402的判斷結果為符合，則確定訪問的網頁為異常頁面。優(yōu)選地，異常頁面包括404頁面和除404頁面之外的其它錯誤頁面；通用異常頁面規(guī)則包括通用404頁面規(guī)則，自定義異常頁面規(guī)則包括自定義404頁面規(guī)則，自定義異常頁面行為規(guī)則包括自定義404頁面行為規(guī)則；其中，通用404頁面規(guī)則用于根據網頁的狀態(tài)代碼或網頁內容確定網頁是否為404頁面，自定義404頁面規(guī)則用于根據從網頁中提取的404關鍵字確定網頁是否為404頁面，自定義404頁面行為規(guī)則用于根據設定的訪問404頁面的行為確定網頁是否為404頁面。優(yōu)選地，自定義異常頁面規(guī)則還包括自定義錯誤頁面規(guī)則，自定義錯誤頁面規(guī)則用于根據從網頁中提取的錯誤網頁關鍵字確定網頁是否為除404頁面之外的其它錯誤頁面。優(yōu)選地，本實施例的掃描規(guī)則收集模塊406，用于收集通用404頁面規(guī)則、自定義404頁面規(guī)則、自定義404頁面行為規(guī)則、自定義錯誤頁面規(guī)則中的至少一種。優(yōu)選地，掃描規(guī)則收集模塊406包括以下至少之一通用404頁面規(guī)則收集模塊4062，用于將網頁狀態(tài)代碼為404和/或網頁內容包括404頁面內容的頁面判斷規(guī)則收集為通用404頁面規(guī)則；自定義404頁面規(guī)則收集模塊4064，用于訪問網站的正常網頁，提取該正常網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部；訪問該網站不存在的網頁，提取反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部；比較該正常網頁和該反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部，獲取404關鍵字，將該404關鍵字的頁面判斷規(guī)則收集為自定義404頁面規(guī)則；自定義404頁面行為規(guī)則收集模塊4066，用于訪問不存在的網頁，將反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部的頁面判斷規(guī)則收集為自定義404頁面行為規(guī)貝U ;自定義錯誤頁面規(guī)則收集模塊4068，用于訪問網站的正常網頁，提取該正常網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部；訪問該網站不存在的網頁，提取反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部，其中，該反饋網頁為除404網頁之外的錯誤網頁；比較該正常網頁和該反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部，獲取錯誤網頁關鍵字，將該錯誤網頁關鍵字的頁面判斷規(guī)則收集為自定義錯誤頁面規(guī)則。優(yōu)選地，自定義404頁面規(guī)則收集模塊4064在訪問該網站不存在的網頁，提取反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部時，判斷訪問該不存在的網頁時，返回的網頁的網頁狀態(tài)代碼是否為404;若否，則判斷該反饋網頁的網頁狀態(tài)代碼是否為重定向代、碼；若為重定向代碼，則判斷是否有重定向頁面，若有，則獲取所述重定向頁面，將該重定向頁面作為所述反饋網頁，提取該重定向頁面的URL、網頁內容、網頁狀態(tài)代碼和HTTP頭部。優(yōu)選地，自定義錯誤頁面規(guī)則收集模塊4068在訪問該網站不存在的網頁，提取反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部時，判斷訪問該不存在的網頁時，返回的網頁的網頁狀態(tài)代碼是否為404;若否，則判斷該反饋網頁的網頁狀態(tài)代碼是否為重定向代碼；若為重定向代碼，則判斷是否有重定向頁面，若有，則獲取所述重定向頁面，將該重定向頁面作為所述反饋網頁，提取該重定向頁面的URL、網頁內容、網頁狀態(tài)代碼和HTTP頭部。優(yōu)選地，漏洞檢測模塊402，用于提取訪問的網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部；判斷訪問的網頁的網頁內容、或者網頁狀態(tài)代碼、或者HTTP頭部是否符合以下規(guī)則至少之一通用404頁面規(guī)則、自定義404頁面規(guī)則、自定義404頁面行為規(guī)則、自定義錯誤頁面規(guī)則。優(yōu)選地，本實施例的掃描引擎設置于服務器端，用于服務器端進行漏洞掃描；該掃描引擎還包括結果執(zhí)行模塊(圖中未示出)，用于在漏洞驗證模塊404確定訪問的網頁為異常頁面之后，不提示或不上報該異常頁面為漏洞頁面。優(yōu)選地，本實施例的掃描引擎可以應用于漏洞掃描服務器集群。本實施例的掃描引擎用于實現(xiàn)前述多個方法實施例中相應的網頁檢測方法，并具有相應的方法實施例的有益效果，在此不再贅述。本發(fā)明實施例提供了一種正確識別網站頁面是否是錯誤頁面或404頁面的方案，在如今講究人性化和注重用戶體驗的互聯(lián)網時代，將有越來越多的網站會采用自定義錯誤或404頁面，通過本發(fā)明實施例的方案能夠很好地判斷一個網站頁面是否為錯誤頁面或為404頁面，能夠非常準確地判斷出一個漏洞，減少誤報，提升用戶體驗。本發(fā)明實施例可以實施在任何支持圖形處理、互聯(lián)網內容擷取和渲染的裝置(或多個裝置)上。這些裝置包括但不限于個人計算機、集群服務器、移動電話、工作站、嵌入式系統(tǒng)、游戲機、電視、機頂盒，或任何其它支持計算機圖形和內容顯示的計算裝置。這些裝置可以包括但不限于擁有執(zhí)行和儲存指令的一個或多個處理器和存儲器的裝置。這些裝置可以包括軟件、固件和硬件。軟件可以包括一個或多個應用程序和操作系統(tǒng)。硬件可以包括但不限于處理器、存儲器及顯示器。
本說明書中的各個實施例均采用遞進的方式描述，每個實施例重點說明的都是與其他實施例的不同之處，各個實施例之間相同相似的部分互相參見即可。對于裝置實施例掃描引擎而言，由于其與方法實施例基本相似，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。以上對本發(fā)明所提供的一種網頁檢測方法和掃描引擎進行了詳細介紹，本文中應 用了具體個例對本發(fā)明的原理及實施方式進行了闡述，以上實施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想；同時，對于本領域的一般技術人員，依據本發(fā)明的思想，在具體實施方式
及應用范圍上均會有改變之處，綜上所述，本說明書內容不應理解為對本發(fā)明的限制。
權利要求
1.一種網頁檢測方法，其特征在于，包括 抓取目標網站的URL或內容，通過返回的結果確定是網站的網頁，訪問所述網頁； 判斷訪問的網頁是否符合以下規(guī)則至少之一通用異常頁面規(guī)則、自定義異常頁面規(guī)貝U、自定義異常頁面行為規(guī)則； 若符合，則確定所述訪問的網頁為異常頁面； 其中，所述通用異常頁面規(guī)則用于根據網頁的狀態(tài)代碼或網頁內容確定網頁是否為異常頁面，所述自定義異常頁面規(guī)則用于根據從網頁中提取的異常頁面關鍵字確定網頁是否為異常頁面，所述自定義異常頁面行為規(guī)則用于根據設定的訪問異常頁面的行為確定網頁是否為異常頁面。
2.根據權利要求I所述的方法，其特征在于，所述異常頁面包括404頁面和除404頁面之外的其它錯誤頁面； 所述通用異常頁面規(guī)則包括通用404頁面規(guī)則，所述自定義異常頁面規(guī)則包括自定義404頁面規(guī)則，所述自定義異常頁面行為規(guī)則包括自定義404頁面行為規(guī)則；其中，所述通用404頁面規(guī)則用于根據網頁的狀態(tài)代碼或網頁內容確定網頁是否為404頁面，所述自定義404頁面規(guī)則用于根據從網頁中提取的404關鍵字確定網頁是否為404頁面，所述自定義404頁面行為規(guī)則用于根據設定的訪問404頁面的行為確定網頁是否為404頁面。
3.根據權利要求2所述的方法，其特征在于，所述自定義異常頁面規(guī)則還包括自定義錯誤頁面規(guī)則，所述自定義錯誤頁面規(guī)則用于根據從網頁中提取的錯誤網頁關鍵字確定網頁是否為除404頁面之外的其它錯誤頁面。
4.根據權利要求3所述的方法，其特征在于，在所述判斷訪問的網頁是否符合以下規(guī)則至少之一通用異常頁面規(guī)則、自定義異常頁面規(guī)則、自定義異常頁面行為規(guī)則的步驟之前，還包括 收集所述通用404頁面規(guī)則、所述自定義404頁面規(guī)則、所述自定義404頁面行為規(guī)則、所述自定義錯誤頁面規(guī)則中的至少一種。
5.根據權利要求4所述的方法，其特征在于， 收集所述通用404頁面規(guī)則包括將網頁狀態(tài)代碼為404和/或網頁內容包括404頁面內容的頁面判斷規(guī)則收集為所述通用404頁面規(guī)則； 收集所述自定義404頁面規(guī)則包括訪問網站的正常網頁，提取該正常網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部；訪問該網站不存在的網頁,提取反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部；比較該正常網頁和該反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部，獲取404關鍵字，將該404關鍵字的頁面判斷規(guī)則收集為所述自定義404頁面規(guī)則； 收集所述自定義404頁面行為規(guī)則包括訪問不存在的網頁，將反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部的頁面判斷規(guī)則收集為所述自定義404頁面行為規(guī)則； 收集所述自定義錯誤頁面規(guī)則包括訪問網站的正常網頁，提取該正常網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部；訪問該網站不存在的網頁,提取反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部，其中，該反饋網頁為除404網頁之外的錯誤網頁；比較該正常網頁和該反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部，獲取錯誤網頁關鍵字，將該錯誤網頁關鍵字的頁面判斷規(guī)則收集為所述自定義錯誤頁面規(guī)則。
6.根據權利要求5所述的方法，其特征在于，所述收集所述自定義404頁面規(guī)則的所述訪問該網站不存在的網頁，提取反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部的步驟包括判斷訪問該不存在的網頁時，返回的網頁的網頁狀態(tài)代碼是否為404 ;若否，則判斷該反饋網頁的網頁狀態(tài)代碼是否為重定向代碼；若為重定向代碼，則判斷是否有重定向頁面，若有，則獲取所述重定向頁面，將該重定向頁面作為所述反饋網頁，提取該重定向頁面的URL、網頁內容、網頁狀態(tài)代碼和HTTP頭部； 所述收集所述自定義錯誤頁面規(guī)則的訪問該網站不存在的網頁，提取反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部的步驟包括判斷訪問該不存在的網頁時，返回的網頁的網頁狀態(tài)代碼是否為404 ;若否，則判斷該反饋網頁的網頁狀態(tài)代碼是否為重定向代碼；若為重定向代碼，則判斷是否有重定向頁面，若有，則獲取所述重定向頁面，將該重定向頁面作為所述反饋網頁，提取該重定向頁面的URL、網頁內容、網頁狀態(tài)代碼和HTTP頭部。
7.根據權利要求I所述的方法，其特征在于，所述判斷訪問的網頁是否符合以下規(guī)則至少之一通用異常頁面規(guī)則、自定義異常頁面規(guī)則、自定義異常頁面行為規(guī)則的步驟包括 提取所述訪問的網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部； 判斷所述訪問的網頁的網頁內容、或者所述網頁狀態(tài)代碼、或者所述HTTP頭部是否符合以下規(guī)則至少之一通用異常頁面規(guī)則、自定義異常頁面規(guī)則、自定義異常頁面行為規(guī)則。
8.根據權利要求I至7任一項所述的方法，其特征在于，所述網頁檢測方法應用于漏洞掃描過程； 在確定所述訪問的網頁為異常頁面之后，還包括不提示或不上報所述異常頁面為漏洞頁面。
9.一種掃描引擎，其特征在于，包括 掃描規(guī)則收集模塊，用于收集以下規(guī)則至少之一通用異常頁面規(guī)則、自定義異常頁面規(guī)則、自定義異常頁面行為規(guī)則； 漏洞檢測模塊，用于判斷客戶端訪問的網頁是否符合以下規(guī)則至少之一所述通用異常頁面規(guī)則、所述自定義異常頁面規(guī)則、所述自定義異常頁面行為規(guī)則； 漏洞驗證模塊，用于若所述漏洞檢測模塊的判斷結果為符合，則確定所述訪問的網頁為異常頁面； 其中，所述通用異常頁面規(guī)則用于根據網頁的狀態(tài)代碼或網頁內容確定網頁是否為異常頁面，所述自定義異常頁面規(guī)則用于根據從網頁中提取的異常頁面關鍵字確定網頁是否為異常頁面，所述自定義異常頁面行為規(guī)則用于根據設定的訪問異常頁面的行為確定網頁是否為異常頁面。
10.根據權利要求9所述的掃描引擎，其特征在于，所述異常頁面包括404頁面和除404頁面之外的其它錯誤頁面； 所述通用異常頁面規(guī)則包括通用404頁面規(guī)則，所述自定義異常頁面規(guī)則包括自定義404頁面規(guī)則，所述自定義異常頁面行為規(guī)則包括自定義404頁面行為規(guī)則；其中，所述通用404頁面規(guī)則用于根據網頁的狀態(tài)代碼或網頁內容確定網頁是否為404頁面，所述自定義404頁面規(guī)則用于根據從網頁中提取的404關鍵字確定網頁是否為404頁面，所述自定義404頁面行為規(guī)則用于根據設定的訪問404頁面的行為確定網頁是否為404頁面。
11.根據權利要求10所述的掃描引擎，其特征在于，所述自定義異常頁面規(guī)則還包括自定義錯誤頁面規(guī)則，所述自定義錯誤頁面規(guī)則用于根據從網頁中提取的錯誤網頁關鍵字確定網頁是否為除404頁面之外的其它錯誤頁面。
12.根據權利要求11所述的掃描引擎，其特征在于， 所述掃描規(guī)則收集模塊，具體用于收集所述 通用404頁面規(guī)則、所述自定義404頁面規(guī)貝U、所述自定義404頁面行為規(guī)則、所述自定義錯誤頁面規(guī)則中的至少一種。
13.根據權利要求12所述的掃描引擎，其特征在于，所述掃描規(guī)則收集模塊包括以下至少之一 通用404頁面規(guī)則收集模塊，用于將網頁狀態(tài)代碼為404和/或網頁內容包括404頁面內容的頁面判斷規(guī)則收集為所述通用404頁面規(guī)則； 自定義404頁面規(guī)則收集模塊，用于訪問網站的正常網頁，提取該正常網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部；訪問該網站不存在的網頁,提取反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部；比較該正常網頁和該反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部，獲取404關鍵字，將該404關鍵字的頁面判斷規(guī)則收集為所述自定義404頁面規(guī)則； 自定義404頁面行為規(guī)則收集模塊，用于訪問不存在的網頁，將反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部的頁面判斷規(guī)則收集為所述自定義404頁面行為規(guī)則； 自定義錯誤頁面規(guī)則收集模塊，用于訪問網站的正常網頁，提取該正常網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部；訪問該網站不存在的網頁，提取反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部，其中，該反饋網頁為除404網頁之外的錯誤網頁；比較該正常網頁和該反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部，獲取錯誤網頁關鍵字，將該錯誤網頁關鍵字的頁面判斷規(guī)則收集為所述自定義錯誤頁面規(guī)則。
14.根據權利要求13所述的掃描引擎，其特征在于， 所述自定義404頁面規(guī)則收集模塊在訪問該網站不存在的網頁，提取反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部時，判斷訪問該不存在的網頁時，返回的網頁的網頁狀態(tài)代碼是否為404 ;若否，則判斷該反饋網頁的網頁狀態(tài)代碼是否為重定向代碼；若為重定向代碼，則判斷是否有重定向頁面，若有，則獲取所述重定向頁面，將該重定向頁面作為所述反饋網頁，提取該重定向頁面的URL、網頁內容、網頁狀態(tài)代碼和HTTP頭部； 所述自定義錯誤頁面規(guī)則收集模塊在訪問該網站不存在的網頁，提取反饋網頁的網頁內容、網頁狀態(tài)代碼和HTTP頭部時，判斷訪問該不存在的網頁時，返回的網頁的網頁狀態(tài)代碼是否為404 ;若否，則判斷該反饋網頁的網頁狀態(tài)代碼是否為重定向代碼；若為重定向代碼，則判斷是否有重定向頁面，若有，則獲取所述重定向頁面，將該重定向頁面作為所述反饋網頁，提取該重定向頁面的URL、網頁內容、網頁狀態(tài)代碼和HTTP頭部。
15.根據權利要求9至14任一項所述的掃描引擎，其特征在于，所述掃描引擎設置于服務器端，用于所述服務器端進行漏洞掃描； 所述掃描引擎還包括結果執(zhí)行模塊，用于在所述漏洞驗證模塊確定所述訪問的網頁為異常頁面之后，不提示或不上報所述異常頁面為漏洞頁面。
全文摘要
本發(fā)明實施例提供了一種網頁檢測方法與掃描引擎，其中，網頁檢測方法，包括抓取目標網站的URL或內容，通過返回的結果確定是網站的網頁，訪問所述網頁；判斷訪問的網頁是否符合以下規(guī)則至少之一通用異常頁面規(guī)則、自定義異常頁面規(guī)則、自定義異常頁面行為規(guī)則；若符合，則確定所述訪問的網頁為異常頁面；其中，所述通用異常頁面規(guī)則用于根據網頁的狀態(tài)代碼或網頁內容確定網頁是否為異常頁面，所述自定義異常頁面規(guī)則用于根據從網頁中提取的異常頁面關鍵字確定網頁是否為異常頁面，所述自定義異常頁面行為規(guī)則用于根據設定的訪問異常頁面的行為確定網頁是否為異常頁面。通過本發(fā)明實施例，達到了能夠準確地對異常頁面進行判斷的效果。
文檔編號H04L29/06GK102739663SQ20121020778
公開日2012年10月17日 申請日期2012年6月18日 優(yōu)先權日2012年6月18日
發(fā)明者趙武, 龍專 申請人:奇智軟件(北京)有限公司