一種內(nèi)容分發(fā)網(wǎng)絡(luò)系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及通信信息技術(shù)領(lǐng)域，具體地說是一種實用性強(qiáng)、內(nèi)容分發(fā)網(wǎng)絡(luò)系統(tǒng)及方法。
【背景技術(shù)】
[0002]對常見的視頻點播和直播的回看系統(tǒng)來說，例如城市或省區(qū)級別的視頻點播回看系統(tǒng)，其推流節(jié)點通常會具有以下幾種特點:點播用戶數(shù)量眾多、所在區(qū)域分散，中心存儲無法滿足所有用戶的點播請求的通路、或無法承受所有用戶同時點播的并發(fā)壓力；使用推流分節(jié)點時，推流節(jié)點的存儲空間希望降低成本，減少磁盤成本；中心節(jié)點與推流節(jié)點之間的骨干網(wǎng)絡(luò)帶寬有限?；诖?，現(xiàn)提供一種內(nèi)容分發(fā)網(wǎng)絡(luò)系統(tǒng)及方法，本發(fā)明實現(xiàn)了向推流節(jié)點分發(fā)熱門文件、節(jié)省推流存儲成本、降低中心與存儲節(jié)點之間的網(wǎng)絡(luò)帶寬。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的技術(shù)任務(wù)是針對以上不足之處，提供一種實用性強(qiáng)、內(nèi)容分發(fā)網(wǎng)絡(luò)系統(tǒng)及方法。
[0004]—種內(nèi)容分發(fā)網(wǎng)絡(luò)系統(tǒng)，包括:
CDN管理后臺系統(tǒng)，該系統(tǒng)提供文件預(yù)分發(fā)接口，為資源管理提供希望預(yù)分發(fā)的熱門文件；
中;1_1、存儲系統(tǒng)；
資源管理服務(wù)器，其中設(shè)置有資源管理服務(wù)和內(nèi)存數(shù)據(jù)庫；
推流服務(wù)器，在其每個推流區(qū)域中提供一套推流Web服務(wù)。
[0005]所述中心存儲系統(tǒng)為Hadoop、FTP存儲或NAS存儲中的一種。
[0006]所述資源管理服務(wù)資源管理服務(wù)提供包括負(fù)載均衡、預(yù)分發(fā)、熱點平移、冷門刪除、實時拉取、性能匯報的功能。
[0007]所述負(fù)載均衡的實現(xiàn)過程為，用戶終端的所有視頻文件請求都會訪問資源管理服務(wù)器，由資源管理通過內(nèi)存查詢來確定用戶所需的文件在當(dāng)前區(qū)域的哪一臺推流服務(wù)器上存在，并且當(dāng)文件如果同時存在于多臺推流服務(wù)器中時，資源管理查詢出哪臺服務(wù)器的負(fù)載壓力最輕，從而將用戶的文件訪問請求定位到該推流服務(wù)器中。
[0008]所述資源管理的預(yù)分發(fā)功能實現(xiàn)過程為，當(dāng)CDN管理后臺系統(tǒng)的后臺服務(wù)在出現(xiàn)新上線的視頻后，生成該視頻的預(yù)分發(fā)任務(wù)，資源管理服務(wù)器從中獲取到預(yù)分發(fā)任務(wù)，然后向當(dāng)前區(qū)域的推流服務(wù)器發(fā)送文件拉取命令，推流服務(wù)器收到拉取命令后，根據(jù)任務(wù)中指定的路徑從中心存儲中將要預(yù)分發(fā)的文件預(yù)先拉取下來。
[0009]所述熱點平移的過程為，資源管理服務(wù)器將文件均勻地分布到各個推流服務(wù)器中，當(dāng)資源管理服務(wù)器通過推流的性能匯報發(fā)現(xiàn)負(fù)載壓力明顯高于其他伙伴推流時，資源管理服務(wù)器發(fā)起熱點平移的命令，將點播熱度最高的文件從負(fù)載壓力高的推流上通過FTP傳輸?shù)截?fù)載壓力最低的服務(wù)器上，一段時間后，新連接的點播用戶會在負(fù)載均衡功能的控制下，平移到負(fù)載低的推流中。
[0010]所述冷門刪除過程為:資源管理服務(wù)器根據(jù)推流服務(wù)器匯報的性能參數(shù)來發(fā)現(xiàn)磁盤空間不足的推流，從而向該推流服務(wù)器發(fā)起文字刪除命令，刪除規(guī)則是將該推流服務(wù)器上所包含的文件按上次訪問時間進(jìn)行排序，刪除最早被訪問過的一些視頻來騰出存儲空間。
[0011]所述實時拉取過程為:當(dāng)用戶終端嘗試訪問推流服務(wù)器上不存在的視頻時，立即從中;L.、存儲拉取文件。
[0012]當(dāng)終端所請求的文件在推流服務(wù)器上不存在時，資源管理服務(wù)器短暫阻塞終端的請求，同時向指定的推流服務(wù)器發(fā)起實時拉取文件的命令，在推流服務(wù)器拉取到文件后，再響應(yīng)終端的請求，為其提供轉(zhuǎn)發(fā)或重定向的響應(yīng)，同時為了實現(xiàn)實時點播，對該點播系統(tǒng)中的所有視頻文件進(jìn)行HLS協(xié)議的切片處理。
[0013]所述性能匯報的具體過程為:每一臺推流服務(wù)器都定期向資源管理服務(wù)器發(fā)送心跳，資源管理服務(wù)器根據(jù)心跳時間與當(dāng)前時間的時間差來判斷推流服務(wù)器是否正常工作；當(dāng)資源管理服務(wù)器檢測某個推流服務(wù)器的心跳時間與當(dāng)前時間差得太多，則認(rèn)為該推流服務(wù)器已經(jīng)離線，之后再收到的用戶文件請求就不再往這臺有離線的推流服務(wù)器上重定向。
[0014]—種內(nèi)容分發(fā)方法，其具體分發(fā)過程為:
基于上述文件分發(fā)系統(tǒng)，對新上映視頻進(jìn)行預(yù)分發(fā)，根據(jù)中心存儲節(jié)點新加入的文件，選擇性地自動向推流節(jié)點分發(fā)文件，其分發(fā)采用一對多的文件分發(fā)方式；
根據(jù)用戶點播記錄，分析出視頻熱點并進(jìn)行平移，即根據(jù)推流服務(wù)器節(jié)點中所分析出來的熱門視頻文件，自動向同一地區(qū)或區(qū)域的伙伴推流服務(wù)器節(jié)點復(fù)制文件，從而提高該熱門文件的并發(fā)負(fù)載能力，其中推流服務(wù)器節(jié)點之間的文件進(jìn)行相互傳輸；
進(jìn)行冷門視頻實時拉取，被點播的冷門視頻所在區(qū)域的所有推流服務(wù)器節(jié)點上均不存在該視頻時，推流服務(wù)器一邊從中心存儲實時拉取、一邊為客戶端提供推流服務(wù)器下載，客戶端可以實時訪問下載推流服務(wù)器節(jié)點不存在的冷門文件；
進(jìn)行推流服務(wù)器節(jié)點的冷門文件清理，當(dāng)推流服務(wù)器節(jié)點的存儲空間較低時，通過定期的清理冷門文件的方式，來保持更新推流服務(wù)器節(jié)點上的文件的點播熱度；
為管理系統(tǒng)提供管理監(jiān)控，管理系統(tǒng)實時地監(jiān)控各個推流服務(wù)器節(jié)點的各項性能，這里的各項性能包括CPU使用率、內(nèi)存占用率、磁盤占用率、磁盤I/O速度、網(wǎng)絡(luò)帶寬占用率、網(wǎng)絡(luò)連接數(shù)。
[0015]本發(fā)明的一種內(nèi)容分發(fā)網(wǎng)絡(luò)系統(tǒng)及方法，具有以下優(yōu)點:
該發(fā)明的一種內(nèi)容分發(fā)網(wǎng)絡(luò)系統(tǒng)及方法該系統(tǒng)及方法可以減輕視頻點播系統(tǒng)中的中心存儲訪問壓力的、或降低推流節(jié)點存儲成本可以提供對推流節(jié)點的狀態(tài)監(jiān)控，并提供視頻推流的高可用和負(fù)載均衡功能，實用性強(qiáng)，適用范圍廣泛，易于推廣。
【附圖說明】
[0016]附圖1為本發(fā)明的內(nèi)容分發(fā)網(wǎng)絡(luò)系統(tǒng)圖。
[0017]附圖2為本發(fā)明的內(nèi)容分發(fā)方法流程圖。
【具體實施方式】
[0018]下面結(jié)合附圖和具體實施例對本發(fā)明作進(jìn)一步說明。
[0019]為提高視頻點播的并發(fā)能力并節(jié)省推流節(jié)點的存儲成本以及節(jié)省骨干網(wǎng)絡(luò)的帶寬，如附圖1所示，一種內(nèi)容分發(fā)網(wǎng)絡(luò)系統(tǒng)，包括:
CDN管理后臺系統(tǒng)，該系統(tǒng)提供文件預(yù)分發(fā)接口，為資源管理提供希望預(yù)分發(fā)的熱門文件；
中;1_1、存儲系統(tǒng)；
資源管理服務(wù)器，其中設(shè)置有資源管理服務(wù)和內(nèi)存數(shù)據(jù)庫；
推流服務(wù)器，在其每個推流區(qū)域中提供一套推流Web服務(wù)。
[0020]所述中心存儲系統(tǒng)為Hadoop、FTP存儲或NAS存儲中的一種。
[0021]所述資源管理服務(wù)資源管理服務(wù)提供包括負(fù)載均衡、預(yù)分發(fā)、熱點平移、冷門刪除、實時拉取、性能匯報的功能。
[0022]如附圖1所示，首先需要在一個推流節(jié)點區(qū)域提供多臺推流服務(wù)器，資源管理與推流服務(wù)可以共存在該推流服務(wù)器上。然后需要在這些服務(wù)器上搭建一套內(nèi)存數(shù)據(jù)庫群集，例如Redis群集。推流所需要的Web Server建議選用并發(fā)能力高的服務(wù)，例如Nginx。所需開發(fā)的程序為資源管理程序，以及推流文件的拉取程序，二者可以通過API或Web請求進(jìn)行通?目。
[0023]在圖1中還提到需要與⑶N后臺服務(wù)對接，這是需要文件預(yù)分發(fā)功能時所必需的。如果不需要預(yù)分發(fā)功能，該CDN后臺服務(wù)可以省略，這樣在推流服務(wù)器上初始化時是沒有任何文件的，只有當(dāng)用戶終端請求時，才按需進(jìn)行實時拉取。
[0024]在圖1中還提到中心存儲，該存儲可以是Hadoop群集，可以是FTP存儲，也可以是NAS網(wǎng)絡(luò)存儲系統(tǒng)等。
[0025]所述負(fù)載均衡的實現(xiàn)過程為，用戶終端的所有視頻文件請求都會訪問資源管理服務(wù)器，由資源管理通過內(nèi)存查詢來確定用戶所需的文件在當(dāng)前區(qū)域的哪一臺推流服務(wù)器上存在，并且當(dāng)文件如果同時存在于多臺推流服務(wù)器中時，資源管理查詢出哪臺服務(wù)器的負(fù)載壓力最輕，從而將用戶的文件訪問請求定位到該推流服務(wù)器中。
[0026]所述資源管理的預(yù)分發(fā)功能實現(xiàn)過程為，當(dāng)⑶N管理后臺系統(tǒng)的后臺服務(wù)在出現(xiàn)新上線的視頻后，生成該視頻的預(yù)分發(fā)任務(wù)，資源管理服務(wù)器從中獲取到預(yù)分發(fā)任務(wù)，然后向當(dāng)前區(qū)域的推流服務(wù)器發(fā)送文件拉取命令，推流服務(wù)器收到拉取命令后，根據(jù)任務(wù)中指定的路徑從中心存儲中將要預(yù)分發(fā)的文件預(yù)先拉取下來。
[0027]所述熱點平移的過程為，資源管理服務(wù)器將文件均勻地分布到各個推流服務(wù)器中，當(dāng)資源管理服務(wù)器通過推流的性能匯報發(fā)現(xiàn)負(fù)載壓力明顯高于其他伙伴推流時，資源管理服務(wù)器發(fā)起熱點平移的命令，將點播熱度最高的文件從負(fù)載壓力高的推流上通過FTP