所有站點循環(huán)分配。
[0070]在此提供的算法和顯示不與任何特定計算機(jī)、虛擬系統(tǒng)或者其它設(shè)備固有相關(guān)。各種通用系統(tǒng)也可以與基于在此的示教一起使用。根據(jù)上面的描述，構(gòu)造這類系統(tǒng)所要求的結(jié)構(gòu)是顯而易見的。此外，本發(fā)明也不針對任何特定編程語言。應(yīng)當(dāng)明白，可以利用各種編程語言實現(xiàn)在此描述的本發(fā)明的內(nèi)容，并且上面對特定語言所做的描述是為了披露本發(fā)明的最佳實施方式。
[0071]在此處所提供的說明書中，說明了大量具體細(xì)節(jié)。然而，能夠理解，本發(fā)明的實施例可以在沒有這些具體細(xì)節(jié)的情況下實踐。在一些實例中，并未詳細(xì)示出公知的方法、結(jié)構(gòu)和技術(shù)，以便不模糊對本說明書的理解。
[0072]類似地，應(yīng)當(dāng)理解，為了精簡本公開并幫助理解各個發(fā)明方面中的一個或多個，在上面對本發(fā)明的示例性實施例的描述中，本發(fā)明的各個特征有時被一起分組到單個實施例、圖、或者對其的描述中。然而，并不應(yīng)將該公開的方法解釋成反映如下意圖:即所要求保護(hù)的本發(fā)明要求比在每個權(quán)利要求中所明確記載的特征更多的特征。更確切地說，如下面的權(quán)利要求書所反映的那樣，發(fā)明方面在于少于前面公開的單個實施例的所有特征。因此，遵循【具體實施方式】的權(quán)利要求書由此明確地并入該【具體實施方式】，其中每個權(quán)利要求本身都作為本發(fā)明的單獨實施例。
[0073]本領(lǐng)域那些技術(shù)人員可以理解，可以對實施例中的設(shè)備中的模塊進(jìn)行自適應(yīng)性地改變并且把它們設(shè)置在與該實施例不同的一個或多個設(shè)備中?？梢园褜嵤├械哪K或單元或組件組合成一個模塊或單元或組件，以及此外可以把它們分成多個子模塊或子單元或子組件。除了這樣的特征和/或過程或者單元中的至少一些是相互排斥之外，可以采用任何組合對本說明書(包括伴隨的權(quán)利要求、摘要和附圖)中公開的所有特征以及如此公開的任何方法或者設(shè)備的所有過程或單元進(jìn)行組合。除非另外明確陳述，本說明書(包括伴隨的權(quán)利要求、摘要和附圖)中公開的每個特征可以由提供相同、等同或相似目的的替代特征來代替。
[0074]此外，本領(lǐng)域的技術(shù)人員能夠理解，盡管在此所述的一些實施例包括其它實施例中所包括的某些特征而不是其它特征，但是不同實施例的特征的組合意味著處于本發(fā)明的范圍之內(nèi)并且形成不同的實施例。例如，在下面的權(quán)利要求書中，所要求保護(hù)的實施例的任意之一都可以以任意的組合方式來使用。
[0075]本發(fā)明的各個部件實施例可以以硬件實現(xiàn)，或者以在一個或者多個處理器上運行的軟件模塊實現(xiàn)，或者以它們的組合實現(xiàn)。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，可以在實踐中使用微處理器或者數(shù)字信號處理器(DSP)來實現(xiàn)根據(jù)本發(fā)明實施例的基于站點配額的均衡調(diào)度系統(tǒng)中的一些或者全部部件的一些或者全部功能。本發(fā)明還可以實現(xiàn)為用于執(zhí)行這里所描述的方法的一部分或者全部的設(shè)備或者裝置程序(例如，計算機(jī)程序和計算機(jī)程序產(chǎn)品)。這樣的實現(xiàn)本發(fā)明的程序可以存儲在計算機(jī)可讀介質(zhì)上，或者可以具有一個或者多個信號的形式。這樣的信號可以從因特網(wǎng)網(wǎng)站上下載得到，或者在載體信號上提供，或者以任何其他形式提供。
[0076]應(yīng)該注意的是上述實施例對本發(fā)明進(jìn)行說明而不是對本發(fā)明進(jìn)行限制，并且本領(lǐng)域技術(shù)人員在不脫離所附權(quán)利要求的范圍的情況下可設(shè)計出替換實施例。在權(quán)利要求中，不應(yīng)將位于括號之間的任何參考符號構(gòu)造成對權(quán)利要求的限制。單詞“包含”不排除存在未列在權(quán)利要求中的元件或步驟。位于元件之前的單詞“一”或“一個”不排除存在多個這樣的元件。本發(fā)明可以借助于包括有若干不同元件的硬件以及借助于適當(dāng)編程的計算機(jī)來實現(xiàn)。在列舉了若干裝置的單元權(quán)利要求中，這些裝置中的若干個可以是通過同一個硬件項來具體體現(xiàn)。單詞第一、第二、以及第三等的使用不表示任何順序?？蓪⑦@些單詞解釋為名稱。
【主權(quán)項】
1.一種基于站點配額的均衡調(diào)度系統(tǒng)，包括: 調(diào)度任務(wù)獲取模塊，適于獲取站點的域名隊列中的調(diào)度任務(wù)； 調(diào)度模塊，適于對所述調(diào)度任務(wù)所指定的服務(wù)器按照預(yù)配置的一次可調(diào)度頁面數(shù)從所述服務(wù)器中下載相應(yīng)數(shù)量的頁面。
2.如權(quán)利要求1所述的基于站點配額的均衡調(diào)度系統(tǒng)，其特征在于，所述調(diào)度任務(wù)獲取模塊適于按預(yù)定的任務(wù)優(yōu)先級獲取站點的域名隊列中的調(diào)度任務(wù)。
3.如權(quán)利要求1或2所述的基于站點配額的均衡調(diào)度系統(tǒng)，其特征在于，所述系統(tǒng)還包括:反饋調(diào)整模塊，適于在調(diào)度一個頁面后將所述頁面的上次調(diào)度時間更新為所述上次調(diào)度時間加上頁面超時時間。
4.如權(quán)利要求1?3中任一項所述的基于站點配額的均衡調(diào)度系統(tǒng)，其特征在于，所述系統(tǒng)還包括:反饋調(diào)整模塊，適于在下載一個頁面后將所述頁面的上次調(diào)度時間更新為所述上次調(diào)度時間減去回調(diào)時間，所述回調(diào)時間為頁面超時時間與所述頁面下載時間之差。
5.如權(quán)利要求1?4中任一項所述的基于站點配額的均衡調(diào)度系統(tǒng)，其特征在于，當(dāng)頁面實際下載時間小于預(yù)設(shè)的下載耗時，則所述頁面下載時間為所述預(yù)設(shè)的下載耗時，否則為頁面實際下載時間。
6.如權(quán)利要求1?5中任一項所述的基于站點配額的均衡調(diào)度系統(tǒng)，其特征在于，所述系統(tǒng)還包括:配額分配模塊，具體包括: 站點結(jié)構(gòu)定位模塊，適于獲取當(dāng)前服務(wù)器上的站點總數(shù)，根據(jù)站點序號，直接定位站點結(jié)構(gòu)； 域名配額分配模塊，適于從站點結(jié)構(gòu)中獲取該站點的域名總數(shù)和首尾域名序號，對站點域名按上次調(diào)度時間進(jìn)行排序，從選擇排序后的域名中選擇預(yù)定數(shù)量的域名； 域名IP定位模塊，適于對選定的域名根據(jù)其域名IP總數(shù)和域名IP首尾序號定位其域名IP地址，通過域名IP中的IP偏移定位IP結(jié)構(gòu)地址，依次選取并記錄IP的上次調(diào)度時間，選擇上次調(diào)度時間最早的IP對應(yīng)的服務(wù)器； 調(diào)度時間設(shè)置模塊，適于定位IP結(jié)構(gòu)后，比較IP結(jié)構(gòu)里的上次調(diào)度時間與當(dāng)前時間，如果上次調(diào)度時間大于或等當(dāng)前時間，不為該服務(wù)器分配所述一次可調(diào)度頁面數(shù)，如果上次調(diào)度時間小于當(dāng)前時間，為該服務(wù)器分配所述一次可調(diào)度頁面數(shù)，同時將該IP的上次調(diào)度時間置為當(dāng)前時間； 循環(huán)分配模塊，適于如果該域名中IP結(jié)構(gòu)分配完成，循環(huán)處理下一個域名，否則在剩下的IP中選擇上次調(diào)度時間最早的一個IP繼續(xù)處理，當(dāng)前站點中所有域名分配完成后，將站點序號加1，以便處理下一個站點，如果站點數(shù)達(dá)到最大值，序號重置為O，如果在所有站點都檢查過一次后沒有可分配站點，休眠預(yù)定時間后再對所有站點循環(huán)分配。
7.如權(quán)利要求1?6中任一項所述的基于站點配額的均衡調(diào)度系統(tǒng)，其特征在于，預(yù)定時間為I秒。
8.一種基于站點配額的均衡調(diào)度方法，包括以下步驟: 獲取站點的域名隊列中的調(diào)度任務(wù)； 對所述調(diào)度任務(wù)所指定的服務(wù)器按照預(yù)配置的一次可調(diào)度頁面數(shù)從所述服務(wù)器中下載相應(yīng)數(shù)量的頁面。
9.如權(quán)利要求8所述的基于站點配額的均衡調(diào)度方法，其特征在于，按預(yù)定的任務(wù)優(yōu)先級獲取站點的域名隊列中的調(diào)度任務(wù)。
10.如權(quán)利要求8或9所述的基于站點配額的均衡調(diào)度方法，其特征在于，調(diào)度一個頁面后還包括步驟:將所述頁面的上次調(diào)度時間更新為所述上次調(diào)度時間加上頁面超時時間。
【專利摘要】本發(fā)明公開了一種基于站點配額的均衡調(diào)度系統(tǒng)，涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，該系統(tǒng)包括：調(diào)度任務(wù)獲取模塊，適于獲取站點的域名隊列中的調(diào)度任務(wù)；調(diào)度模塊，適于對所述調(diào)度任務(wù)所指定的服務(wù)器按照預(yù)配置的一次可調(diào)度頁面數(shù)從所述服務(wù)器中下載相應(yīng)數(shù)量的頁面。本發(fā)明還公開了一種基于站點配額的均衡調(diào)度方法。根據(jù)本發(fā)明的基于站點配額的均衡調(diào)度系統(tǒng)將方法保證所有站點在任何情況下都能獲得一定的下載機(jī)會。同時，可以根據(jù)實際情況設(shè)置不同的配額限制，以兼顧效率與時效性，滿足不同搜索產(chǎn)品的需求。這也為全網(wǎng)搜索能與垂直搜索統(tǒng)一處理奠定了基礎(chǔ)。
【IPC分類】H04L12-865
【公開號】CN104639462
【申請?zhí)枴緾N201510090112
【發(fā)明人】盧宏林
【申請人】北京奇虎科技有限公司, 奇智軟件（北京）有限公司
【公開日】2015年5月20日
【申請日】2015年2月27日