專利名稱：一種基于Deep Web深層動態(tài)數(shù)據(jù)的數(shù)據(jù)挖掘裝置及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)據(jù)挖掘裝置及方法，尤其涉及一種基于De印Web (暗網(wǎng))互聯(lián)網(wǎng)深 層動態(tài)數(shù)據(jù)的數(shù)據(jù)挖掘裝置及方法。
背景技術(shù)：
對于企業(yè)競爭情報領(lǐng)域，用戶需要從廣泛的互聯(lián)網(wǎng)領(lǐng)域里尋找對自己有用的或者 不利的信息，而通過普通的搜索引擎很難達(dá)到用戶的目的，原因之一是搜索引擎分散導(dǎo)致 很難獲取完整的數(shù)據(jù)，二是搜索引擎只能獲取靜態(tài)的網(wǎng)頁數(shù)據(jù)，而不能獲得動態(tài)數(shù)據(jù)，也不 能獲取通過檢索引擎等查詢接口的數(shù)據(jù)，更不能獲取企業(yè)內(nèi)部數(shù)據(jù)或者購買的商業(yè)數(shù)據(jù)， 這些數(shù)據(jù)都是De印Web數(shù)據(jù)。而且，靜態(tài)的網(wǎng)頁數(shù)據(jù)只是占了整個TOB數(shù)據(jù)的很小一部分， 遠(yuǎn)遠(yuǎn)不能滿足用戶的需求。 對于學(xué)術(shù)研究領(lǐng)域，用戶希望獲取資源的范圍越廣泛越好，越專業(yè)越好。而專業(yè)領(lǐng) 域的數(shù)據(jù)大多是屬于Deep Web數(shù)據(jù)，往往不能通過普通的搜索引擎獲取，而是通過自建數(shù) 據(jù)庫、專業(yè)的搜索引擎或者購買的商業(yè)數(shù)據(jù)庫獲取?，F(xiàn)有相關(guān)的其他技術(shù)比較少見，現(xiàn)有文獻(xiàn)中幾乎沒有同樣的技術(shù)方案，另外，大部 分方案是針對普通網(wǎng)頁WEB(即淺層網(wǎng)頁)數(shù)據(jù)的采集系統(tǒng)，和采集深層網(wǎng)頁數(shù)據(jù)的模式是 截然不同的，其WEB(即淺層網(wǎng)頁)數(shù)據(jù)的采集系統(tǒng)圖如圖1所示。

發(fā)明內(nèi)容
為解決上述中存在的問題與缺陷，本發(fā)明提供了一種基于Deep Web深層動態(tài)數(shù)據(jù) 的數(shù)據(jù)挖掘裝置及方法。所述技術(shù)方案如下一種基于De印Web深層動態(tài)數(shù)據(jù)的數(shù)據(jù)挖掘裝置，該裝置包括商用服務(wù)器、數(shù)據(jù) 存儲服務(wù)器、數(shù)據(jù)索引服務(wù)器及文件服務(wù)器，基于所述裝置的裝置系統(tǒng)包括采集模擬主題詞庫管理系統(tǒng)，用于輸入數(shù)據(jù)挖掘的檢索條件或需采集的詞庫；采集任務(wù)調(diào)度管理系統(tǒng)，用于讀取采集模擬主題詞庫管理系統(tǒng)中的詞庫數(shù)據(jù)，并 根據(jù)讀取的詞庫數(shù)據(jù)對采集任務(wù)進(jìn)行調(diào)度和管理；采集服務(wù)器，根據(jù)配置和管理生成的檢索條件，對目標(biāo)數(shù)據(jù)源進(jìn)行模擬訪問并解 析，將獲取的數(shù)據(jù)通過所述采集任務(wù)調(diào)度管理系統(tǒng)返回到采集存儲調(diào)度系統(tǒng)；采集存儲調(diào)度系統(tǒng)，用于將接收到的數(shù)據(jù)進(jìn)行存儲并根據(jù)索引設(shè)置進(jìn)行字段索引 處理，以獲得數(shù)據(jù)采集結(jié)果并發(fā)送到采集庫發(fā)布管理平臺； 采集庫發(fā)布管理平臺，將獲取的數(shù)據(jù)進(jìn)行分類管理和應(yīng)用。一種基于De印Web深層動態(tài)數(shù)據(jù)的數(shù)據(jù)挖掘方法，包括A、導(dǎo)入采集的特征詞詞典；B、創(chuàng)建數(shù)據(jù)挖掘采集任務(wù)；C、啟動數(shù)據(jù)挖掘采集任務(wù)；D、對采集的數(shù)據(jù)進(jìn)行發(fā)布與應(yīng)用。
本發(fā)明提供的技術(shù)方案的有益效果是本發(fā)明提供了一種數(shù)量大、數(shù)據(jù)質(zhì)量高、實(shí)時性強(qiáng)、易于深度分析的動態(tài)數(shù)據(jù)獲取手段，彌補(bǔ)了常規(guī)搜索引擎獲取數(shù)據(jù)的數(shù)量質(zhì)量均有限的不足；而且本發(fā)明操作簡便實(shí)用， 定制功能豐富，可擴(kuò)展性健壯性好，用于企業(yè)競爭情報領(lǐng)域和科研院所學(xué)術(shù)研究領(lǐng)域，用戶 可以根據(jù)特定或者專題性強(qiáng)的需求定制采集并重建管理數(shù)據(jù)庫，很大程度的提供了數(shù)據(jù)的 利用效率，擴(kuò)展了數(shù)據(jù)來源和信息資源。


圖1是現(xiàn)有技術(shù)提供的普通網(wǎng)頁TOB數(shù)據(jù)采集系統(tǒng)結(jié)構(gòu)圖；圖2是基于深層TOB網(wǎng)頁的數(shù)據(jù)挖掘裝置系統(tǒng)圖；圖3是分布式DEEP WEB動態(tài)數(shù)據(jù)采集系統(tǒng)圖；圖4是De印Web深層動態(tài)數(shù)據(jù)的數(shù)據(jù)挖掘方法流程圖。
具體實(shí)施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對本發(fā)明實(shí)施方 式作進(jìn)一步地詳細(xì)描述實(shí)施例1本實(shí)施例提供了一種基于De印Web (暗網(wǎng))深層動態(tài)網(wǎng)頁數(shù)據(jù)的數(shù)據(jù)挖掘裝置。 該裝置包括至少一臺商用服務(wù)器，硬件基本配置為4CPU，8G內(nèi)存，IT磁盤空間，包括預(yù)裝 Windows 2003/2000 Server操作系統(tǒng)和ASP. NET應(yīng)用服務(wù)器，虛擬操作系統(tǒng)三個并可以擴(kuò) 展，用于操作系統(tǒng)級別的分布式采集系統(tǒng)的部署；采用服務(wù)器級別的分布式采集功能，則可 以按照需要擴(kuò)展到多臺商用服務(wù)器。至少三臺數(shù)據(jù)存儲服務(wù)器，以數(shù)據(jù)存儲和集成為中心 的數(shù)據(jù)庫存儲系統(tǒng)，預(yù)裝支持海量存儲和全文索引功能的關(guān)系型數(shù)據(jù)庫系統(tǒng)，比如微軟的 SQLServer系統(tǒng)。至少一臺數(shù)據(jù)索引服務(wù)器，主要存儲采集數(shù)據(jù)的索引信息，目的是加快數(shù) 據(jù)集成、檢索速度和效率。至少一臺文件服務(wù)器，主要存儲采集的文件格式的信息，包括圖 片、網(wǎng)頁等。參見圖2，提供了基于深層TOB網(wǎng)頁的數(shù)據(jù)挖掘裝置系統(tǒng)圖，包括WEB深層數(shù)據(jù)挖 掘裝置，該WEB深層數(shù)據(jù)挖掘裝置分別通過TOB檢索引擎(如百度)、專業(yè)檢索引擎(如 Sicrus學(xué)術(shù)數(shù)據(jù)庫搜索平臺)、本地檢索引擎(如關(guān)系型數(shù)據(jù)庫、局域網(wǎng)系統(tǒng))來檢索Web 淺層網(wǎng)頁數(shù)據(jù)、Web深層網(wǎng)頁數(shù)據(jù)包括局域網(wǎng)本地自建或采購數(shù)據(jù)。參見圖3，提供了分布式DEEP WEB動態(tài)數(shù)據(jù)采集系統(tǒng)，該系統(tǒng)包括采集模擬主題 詞庫管理系統(tǒng)、采集任務(wù)調(diào)度管理系統(tǒng)、采集服務(wù)器、采集存儲調(diào)度系統(tǒng)及采集庫發(fā)布管理 平臺。其中，采集模擬主題詞庫管理系統(tǒng)，用于輸入數(shù)據(jù)挖掘的檢索條件或需采集的詞庫， 該詞庫也可以通過采集器自動創(chuàng)建，也可以通過詞典表自動導(dǎo)入導(dǎo)出。采集任務(wù)調(diào)度管理 系統(tǒng)，用于讀取采集模擬主題詞庫管理系統(tǒng)中的詞庫數(shù)據(jù)，并根據(jù)讀取的詞庫數(shù)據(jù)對采集 任務(wù)進(jìn)行調(diào)度和管理，其用戶按照預(yù)先設(shè)定的需求，通過系統(tǒng)的導(dǎo)航功能，創(chuàng)建數(shù)據(jù)挖掘采 集任務(wù)。采集服務(wù)器，系統(tǒng)在規(guī)定的時間執(zhí)行數(shù)據(jù)挖掘采集任務(wù)，自動啟動采集服務(wù)器程序 進(jìn)行采集，其采集服務(wù)器根據(jù)配置和管理生成的檢索條件，對目標(biāo)數(shù)據(jù)源進(jìn)行模擬訪問并 解析，將獲取的數(shù)據(jù)通過所述采集任務(wù)調(diào)度管理系統(tǒng)返回到采集存儲調(diào)度系統(tǒng)。采集存儲調(diào)度系統(tǒng)，接收采集服務(wù)器中獲取的數(shù)據(jù)，將獲取的數(shù)據(jù)存儲并根據(jù)索引設(shè)置進(jìn)行字段索 引處理，以獲得數(shù)據(jù)采集結(jié)果并發(fā)送到采集庫發(fā)布管理平臺。采集庫發(fā)布管理平臺，用戶可 以根據(jù)特定的需求，對獲取的數(shù)據(jù)進(jìn)行分類管理或者應(yīng)用等等，比如建設(shè)某個學(xué)科如化學(xué) 類的專家主體數(shù)據(jù)庫。上述采集庫發(fā)布管理平臺還用于創(chuàng)建采集任務(wù)和調(diào)度信息并將所述調(diào)度信息輸 出到采集任務(wù)調(diào)度管理系統(tǒng)，所述的調(diào)度信息是根據(jù)調(diào)度策略進(jìn)行的，其調(diào)度策略包括任 務(wù)優(yōu)先級、任務(wù)復(fù)雜系數(shù)及任務(wù)等待時間。所述采集服務(wù)器中還設(shè)置有分布式負(fù)載均衡調(diào) 度邏輯控制器，該負(fù)載均衡調(diào)度邏輯控制器根據(jù)接收到的任務(wù)并基于智能分析算法對采集 服務(wù)器進(jìn)行均衡調(diào)度。其采集服務(wù)器包括面向互聯(lián)網(wǎng)淺層WEB資源的采集器和面向DEEP TOB深層數(shù)據(jù)資源的采集器兩大類，所述面向DEEP Wra深層數(shù)據(jù)資源包括包括關(guān)系型數(shù)據(jù) 庫資源、協(xié)議資源等。實(shí)施例2本實(shí)施例提供了一種基于Deep Web深層動態(tài)數(shù)據(jù)的數(shù)據(jù)挖掘方法，參見圖4，該 方法包括以下步驟步驟101導(dǎo)入采集的特征詞詞典； 通過采集發(fā)布管理平臺，在采集模擬主題詞庫管理系統(tǒng)中，輸入數(shù)據(jù)挖掘的特定 檢索條件或者需要采集的詞庫。所述詞庫也可以通過采集器自動創(chuàng)建，也可以是通過詞典 表自動導(dǎo)入導(dǎo)出。步驟102創(chuàng)建數(shù)據(jù)挖掘采集任務(wù)；通過采集發(fā)布管理平臺，在采集任務(wù)調(diào)度管理系統(tǒng)中，用戶按照預(yù)先設(shè)定的需求， 通過系統(tǒng)的導(dǎo)航功能，創(chuàng)建數(shù)據(jù)挖掘采集任務(wù)，如表1，這個過程比較靈活，可個性化的選擇 數(shù)據(jù)來源、格式，參見表2，選擇執(zhí)行采集任務(wù)的時間、周期、采集策略，參見表3，選擇數(shù)據(jù) 存儲目標(biāo)地址，過濾條件等等。表 1 表2 表 3 步驟103啟動數(shù)據(jù)挖掘采集任務(wù)；系統(tǒng)在規(guī)定時間執(zhí)行數(shù)據(jù)挖掘采集任務(wù)，自動啟動采集服務(wù)器程序進(jìn)行采集。采 集過程基本流程是這樣的采集任務(wù)調(diào)度管理系統(tǒng)獲取模擬詞庫系統(tǒng)的關(guān)鍵詞，自動組合 成用于采集的檢索條件，然后，對目標(biāo)數(shù)據(jù)源進(jìn)行模擬檢索并解析返回的數(shù)據(jù)，然后根據(jù)采 集任務(wù)中用戶設(shè)定的過濾規(guī)則對數(shù)據(jù)進(jìn)行過濾，最后按照指定格式和設(shè)置進(jìn)行存儲，并根 據(jù)索引設(shè)置進(jìn)行字段索引處理，將非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行規(guī)范，并以結(jié)構(gòu)化格式存儲。采集過程中用戶可以隨時查看采集任務(wù)的進(jìn)度，暫?；蛘咧貑⒉杉淖尤蝿?wù)，或 者調(diào)整采集的時間、存儲策略，分布式均衡調(diào)度邏輯控制器基于智能分析算法進(jìn)行調(diào)度。當(dāng)采集任務(wù)執(zhí)行完成，系統(tǒng)會自動生成采集結(jié)果報告供用戶查看。步驟104采集數(shù)據(jù)的發(fā)布應(yīng)用；在數(shù)據(jù)庫發(fā)布管理平臺，用戶可以根據(jù)特定的需求，對獲取的數(shù)據(jù)進(jìn)行分類管理 或者應(yīng)用等等，比如建設(shè)某個學(xué)科如化學(xué)類的專家主題數(shù)據(jù)庫。本實(shí)施例包括了面向TOB資源的采集、針對WEB資源頁面分析技術(shù)和結(jié)果抽取、面 向協(xié)議方式訪問資源的采集、基于智能分析的分布式調(diào)度及數(shù)據(jù)索引存儲技術(shù)等。本實(shí)施例所述數(shù)據(jù)的挖掘采集任務(wù)包括按照主題的數(shù)據(jù)采集功能，用戶可以通過界面錄入或者文件導(dǎo)入的方式規(guī)定數(shù)據(jù) 采集的主題詞表，采集系統(tǒng)自動按照詞表進(jìn)行采集，并生成目標(biāo)數(shù)據(jù)庫。按照檢索條件的數(shù)據(jù)采集功能，用戶規(guī)定數(shù)據(jù)采集的條件，采集的條件可以是一 個邏輯表達(dá)式，也可以是個簡單的自然描述語句，系統(tǒng)可以自動解析輸入規(guī)則，比如需要從 數(shù)據(jù)源的全文字段中獲取包含“某產(chǎn)品名稱”的信息，而不需要包括“某公司名稱”的信息，采集系統(tǒng)自動解析并生成對應(yīng)的檢索條件如全文=“某產(chǎn)品名稱”and not全文=“某公司 名稱”，然后進(jìn)行采集，并生成目標(biāo)數(shù)據(jù)庫。自定義數(shù)據(jù)來源的數(shù)據(jù)采集功能，對于采集的數(shù)據(jù)源，系統(tǒng)在安裝過程中已經(jīng)為用戶預(yù)先配置了可以采集的數(shù)據(jù)源列表，用戶可以定制，可以在采集任務(wù)管理界面做出類 似超市購物的選擇，根據(jù)需要選擇哪些數(shù)據(jù)來源，不需要哪些數(shù)據(jù)來源；而且還可以定制采 集該數(shù)據(jù)源的哪些字段。自定義目標(biāo)數(shù)據(jù)的過濾、分類和存儲等功能，對于采集的目標(biāo)數(shù)據(jù)，用戶可以定義 一些簡單的過濾規(guī)則，可以進(jìn)行分類和存儲管理，指定索引字段、存儲方式和位置等，對文 件信息包括網(wǎng)頁和圖片，還可以存儲到指定的文件服務(wù)器中。以上所述，僅為本發(fā)明較佳的具體實(shí)施方式
，但本發(fā)明的保護(hù)范圍并不局限于此， 任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換， 都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求的保護(hù)范圍 為準(zhǔn)。
權(quán)利要求
一種基于Deep Web深層動態(tài)數(shù)據(jù)的數(shù)據(jù)挖掘裝置，該裝置包括商用服務(wù)器、數(shù)據(jù)存儲服務(wù)器、數(shù)據(jù)索引服務(wù)器及文件服務(wù)器，其特征在于，基于所述裝置的裝置系統(tǒng)包括采集模擬主題詞庫管理系統(tǒng)，用于輸入數(shù)據(jù)挖掘的檢索條件或需采集的詞庫；采集任務(wù)調(diào)度管理系統(tǒng)，用于讀取采集模擬主題詞庫管理系統(tǒng)中的詞庫數(shù)據(jù)，并根據(jù)讀取的詞庫數(shù)據(jù)對采集任務(wù)進(jìn)行調(diào)度和管理；采集服務(wù)器，根據(jù)配置和管理生成的檢索條件，對目標(biāo)數(shù)據(jù)源進(jìn)行模擬訪問并解析，將獲取的數(shù)據(jù)通過所述采集任務(wù)調(diào)度管理系統(tǒng)返回到采集存儲調(diào)度系統(tǒng)；采集存儲調(diào)度系統(tǒng)，用于將接收到的數(shù)據(jù)進(jìn)行存儲并根據(jù)索引設(shè)置進(jìn)行字段索引處理，以獲得數(shù)據(jù)采集結(jié)果并發(fā)送到采集庫發(fā)布管理平臺；采集庫發(fā)布管理平臺，將獲取的數(shù)據(jù)進(jìn)行分類管理和應(yīng)用。
2.根據(jù)權(quán)利要求1所述的基于DeepWeb深層動態(tài)數(shù)據(jù)的數(shù)據(jù)挖掘裝置，其特征在于， 采集庫發(fā)布管理平臺還用于創(chuàng)建采集任務(wù)和調(diào)度信息并將所述調(diào)度信息輸出到采集任務(wù) 調(diào)度管理系統(tǒng)；所述的調(diào)度信息是根據(jù)調(diào)度策略進(jìn)行的，其調(diào)度策略包括任務(wù)優(yōu)先級、任務(wù)復(fù)雜系數(shù) 及任務(wù)等待時間。
3.根據(jù)權(quán)利要求1所述的基于DeepWeb深層動態(tài)數(shù)據(jù)的數(shù)據(jù)挖掘裝置，其特征在于， 所述采集服務(wù)器中還設(shè)置有分布式負(fù)載均衡調(diào)度邏輯控制器，該負(fù)載均衡調(diào)度邏輯控制器 根據(jù)接收到的任務(wù)并基于智能分析算法對采集服務(wù)器進(jìn)行均衡調(diào)度。
4.根據(jù)權(quán)利要求1所述的基于DeepWeb深層動態(tài)數(shù)據(jù)的數(shù)據(jù)挖掘裝置，其特征在于， 所述采集服務(wù)器包括面向互聯(lián)網(wǎng)淺層WEB資源的采集器和面向DEEP WEB深層數(shù)據(jù)資源的 采集器，所述面向DEEP WEB深層數(shù)據(jù)資源包括關(guān)系型數(shù)據(jù)庫資源與協(xié)議資源；其采集服務(wù) 器在采集數(shù)據(jù)時還根據(jù)其過濾規(guī)則對解析后的數(shù)據(jù)源進(jìn)行過濾。
5.根據(jù)權(quán)利要求1所述的基于DeepWeb深層動態(tài)數(shù)據(jù)的數(shù)據(jù)挖掘裝置，其特征在于， 所述商用服務(wù)器至少包括一臺，數(shù)據(jù)存儲服務(wù)器至少包括三臺，數(shù)據(jù)索引服務(wù)器至少包括 一臺，文件服務(wù)器至少包括一臺。
6.一種基于Deep Web深層動態(tài)數(shù)據(jù)的數(shù)據(jù)挖掘方法，其特征在于，該方法包括A、導(dǎo)入采集的特征詞詞典；B、創(chuàng)建數(shù)據(jù)挖掘采集任務(wù)；C、啟動數(shù)據(jù)挖掘采集任務(wù)；D、對采集的數(shù)據(jù)進(jìn)行發(fā)布與應(yīng)用。
7.根據(jù)權(quán)利要求6所述的基于DeepWeb深層動態(tài)數(shù)據(jù)的數(shù)據(jù)挖掘方法，其特征在于， 所述步驟C之前還包括對采集任務(wù)進(jìn)行調(diào)度。
8.根據(jù)權(quán)利要求6所述的基于DeepWeb深層動態(tài)數(shù)據(jù)的數(shù)據(jù)挖掘方法，其特征在于， 所述步驟C具體包括對接收到的目標(biāo)數(shù)據(jù)源進(jìn)行模擬訪問并解析；根據(jù)用戶的過濾規(guī)則對數(shù)據(jù)進(jìn)行過濾，將獲取的過濾后的數(shù)據(jù)按照用戶指定格式和設(shè) 置進(jìn)行存儲。
9.根據(jù)權(quán)利要求6所述的基于DeepWeb深層動態(tài)數(shù)據(jù)的數(shù)據(jù)挖掘方法，其特征在于， 所述步驟D還包括根據(jù)需要，對獲取的數(shù)據(jù)進(jìn)行分類管理和應(yīng)用。
10.根據(jù)權(quán)利要求6所述的基于De印Web深層動態(tài)數(shù)據(jù)的數(shù)據(jù)挖掘方法，其特征在于，所述數(shù)據(jù)的挖掘采集任務(wù)包括按照主題的數(shù)據(jù)采集、按照檢索條件的數(shù)據(jù)采集、自定義數(shù) 據(jù)來源的數(shù)據(jù)采集及自定義目標(biāo)數(shù)據(jù)的過濾、分類和存儲。
全文摘要
本發(fā)明公開了一種基于Deep Web深層動態(tài)數(shù)據(jù)的數(shù)據(jù)挖掘裝置及方法，所述裝置包括商用服務(wù)器、數(shù)據(jù)存儲服務(wù)器、數(shù)據(jù)索引服務(wù)器及文件服務(wù)器，基于所述裝置的裝置系統(tǒng)包括采集模擬主題詞庫管理系統(tǒng)、采集任務(wù)調(diào)度管理系統(tǒng)、采集服務(wù)器及采集存儲調(diào)度系統(tǒng)。本發(fā)明提供了一種數(shù)量大、數(shù)據(jù)質(zhì)量高、實(shí)時性強(qiáng)、易于深度分析的動態(tài)數(shù)據(jù)獲取手段，彌補(bǔ)了常規(guī)搜索引擎獲取數(shù)據(jù)的數(shù)量質(zhì)量均有限的不足；而且本發(fā)明操作簡便實(shí)用，定制功能豐富，可擴(kuò)展性健壯性好，用戶可以根據(jù)特定或者專題性強(qiáng)的需求定制采集并重建管理數(shù)據(jù)庫，很大程度的提供了數(shù)據(jù)的利用效率，擴(kuò)展了數(shù)據(jù)來源和信息資源。
文檔編號G06F17/30GK101840432SQ20101016828
公開日2010年9月22日 申請日期2010年5月11日 優(yōu)先權(quán)日2010年5月11日
發(fā)明者張振海, 雷華平 申請人:同方知網(wǎng)(北京)技術(shù)有限公司