一種基于云計(jì)算的海量數(shù)據(jù)處理系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)處理系統(tǒng)，更具體地，涉及一種基于云計(jì)算的海量數(shù)據(jù)處理系統(tǒng)。
【背景技術(shù)】
[0002]在云計(jì)算架構(gòu)中的一個(gè)重要問(wèn)題是如何設(shè)計(jì)一個(gè)高效的存儲(chǔ)層來(lái)處理云計(jì)算平臺(tái)上的海量數(shù)據(jù)。根據(jù)馬上游云平臺(tái)的設(shè)計(jì)，數(shù)據(jù)是自然的分布式管理和存儲(chǔ)，即所有的數(shù)據(jù)由一個(gè)高速局域網(wǎng)連接成一個(gè)數(shù)據(jù)群。海量的數(shù)據(jù)是通過(guò)各種在云平臺(tái)系統(tǒng)上面的應(yīng)用生成，一個(gè)可能的數(shù)據(jù)存儲(chǔ)及查詢方法是使用一個(gè)集中的，關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)(DBMS)作為底層數(shù)據(jù)存儲(chǔ)層。然而，我們看到幾個(gè)這種方法的局限性，尤其是在分布式的系統(tǒng)下。
[0003]首先，中央數(shù)據(jù)庫(kù)服務(wù)器很難實(shí)現(xiàn)系統(tǒng)中多個(gè)節(jié)點(diǎn)的負(fù)載平衡。
[0004]第二，很容易出現(xiàn)一個(gè)單點(diǎn)失敗，即容錯(cuò)問(wèn)題可能會(huì)對(duì)系統(tǒng)的功能構(gòu)成威脅。
[0005]第三，它會(huì)產(chǎn)生非常嚴(yán)重的通信負(fù)載，因?yàn)榉植荚诟鱾€(gè)節(jié)點(diǎn)的數(shù)據(jù)必須通過(guò)基礎(chǔ)網(wǎng)絡(luò)傳遞到中央服務(wù)器。最后，這個(gè)模式難以實(shí)現(xiàn)并行處理，以利用云平臺(tái)的計(jì)算優(yōu)勢(shì)架構(gòu)。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的是為了解決上述現(xiàn)有技術(shù)方案所存在的缺陷，本發(fā)明提出了一種基于云計(jì)算的海量數(shù)據(jù)處理系統(tǒng)。
[0007]本發(fā)明所采用的技術(shù)方案是:
[0008]提供可擴(kuò)展的分布式存儲(chǔ)層，采用Hadoop系統(tǒng)，保持分布式的區(qū)域小群，然后，這些集群被視為一個(gè)更大的無(wú)共享集群中的節(jié)點(diǎn)，歸Hadoop系統(tǒng)管理。每一個(gè)小簇節(jié)點(diǎn)被視為在Hadoop系統(tǒng)中的從屬節(jié)點(diǎn)，其中二個(gè)主節(jié)點(diǎn)被指定為Hadoop系統(tǒng)的協(xié)調(diào)員。我們把這種設(shè)計(jì)稱之為使用Hadoop的分布式數(shù)據(jù)倉(cāng)庫(kù)。我們把數(shù)據(jù)存儲(chǔ)在分布式文件系統(tǒng)，HadoopDistributed File System(HDFS，并且設(shè)計(jì)應(yīng)用需要的Map及Reduce功能，以適應(yīng)和減少在云計(jì)算系統(tǒng)的中用戶應(yīng)用程序的計(jì)算量和通訊量。
[0009]這種分布式數(shù)據(jù)倉(cāng)庫(kù)是特別為云計(jì)算架構(gòu)所設(shè)計(jì)的，因?yàn)樗匀坏奶峁┝藰O好的負(fù)載平衡，容錯(cuò)功能，滿足了分布式和并行處理的要求。例如，在我們的系統(tǒng)中能夠自動(dòng)處理分發(fā)計(jì)算需求到輕負(fù)載的節(jié)點(diǎn)。它利用數(shù)據(jù)重載的技術(shù)，因此，能夠把一個(gè)失敗節(jié)點(diǎn)正在執(zhí)行的任務(wù)移植到其他正常節(jié)點(diǎn)繼續(xù)計(jì)算工作。我們的系統(tǒng)的另一個(gè)吸引人的特點(diǎn)是，它可以大大減少系統(tǒng)的通信開銷。我們的主要挑戰(zhàn)是要設(shè)計(jì)好，實(shí)現(xiàn)個(gè)性化Map和Reduce的設(shè)計(jì)來(lái)減少通訊成本和整體計(jì)算成本(例如修剪不必要的節(jié)點(diǎn)訪問(wèn)和數(shù)據(jù)傳輸)。我們也整合傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)到我們的Hadoop分布式數(shù)據(jù)倉(cāng)庫(kù)，尤其是在對(duì)結(jié)構(gòu)化數(shù)據(jù)的處理。為此，我們一個(gè)有用的擴(kuò)展是利用HadoopDB技術(shù)。每個(gè)從節(jié)點(diǎn)使用一個(gè)關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)作為其在本地的存儲(chǔ)層實(shí)例，而不是僅僅依靠HDFS的。因此，它可以提供更好的效率在處理結(jié)構(gòu)化數(shù)據(jù)的情況下(例如，使用一個(gè)索引結(jié)構(gòu)在一個(gè)數(shù)據(jù)庫(kù)管理系統(tǒng)，以加快訪問(wèn)本地?cái)?shù)據(jù))。
[0010]采用HBase作為我們的數(shù)據(jù)存儲(chǔ)計(jì)算系統(tǒng)。HBase是一個(gè)開源項(xiàng)目支持隨機(jī)，實(shí)時(shí)讀/寫訪問(wèn)大數(shù)據(jù)。它的目標(biāo)是處理商用硬件集群之上的特大表-數(shù)十億行及數(shù)百萬(wàn)列。
[0011]本發(fā)明的有益效果是，
[0012]本發(fā)明基于云計(jì)算的海量數(shù)據(jù)處理系統(tǒng)，
[0013]1、提供了極好的負(fù)載平衡，容錯(cuò)功能，滿足了分布式和并行處理的要求；
[0014]2、可以大大減少系統(tǒng)的通信開銷。
[0015]下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)描述。
【附圖說(shuō)明】
[0016]圖1為本發(fā)明的基于云計(jì)算的海量數(shù)據(jù)處理系統(tǒng):數(shù)據(jù)存儲(chǔ)及處理過(guò)程。
【具體實(shí)施方式】
[0017]為了加深對(duì)本發(fā)明的理解，下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說(shuō)明。以下實(shí)施例僅用于更加清楚地說(shuō)明本發(fā)明的技術(shù)方案，而不能以此來(lái)限制本發(fā)明的保護(hù)范圍。
[0018]本發(fā)明的具體實(shí)施例是，
[0019]如圖1所示，提供可擴(kuò)展的分布式存儲(chǔ)層，采用Hadoop系統(tǒng)，保持分布式的區(qū)域小群，然后，這些集群被視為一個(gè)更大的無(wú)共享集群中的節(jié)點(diǎn)，歸Hadoop系統(tǒng)管理。每一個(gè)小簇節(jié)點(diǎn)被視為在Hadoop系統(tǒng)中的從屬節(jié)點(diǎn)，其中二個(gè)主節(jié)點(diǎn)被指定為Hadoop系統(tǒng)的協(xié)調(diào)員。我們把這種設(shè)計(jì)稱之為使用Hadoop的分布式數(shù)據(jù)倉(cāng)庫(kù)。我們把數(shù)據(jù)存儲(chǔ)在分布式文件系統(tǒng)，Hadoop Distributed File System(HDFS，并且設(shè)計(jì)應(yīng)用需要的 Map 及 Reduce 功能，以適應(yīng)和減少在云計(jì)算系統(tǒng)的中用戶應(yīng)用程序的計(jì)算量和通訊量。
[0020]這種分布式數(shù)據(jù)倉(cāng)庫(kù)是特別為云計(jì)算架構(gòu)所設(shè)計(jì)的，因?yàn)樗匀坏奶峁┝藰O好的負(fù)載平衡，容錯(cuò)功能，滿足了分布式和并行處理的要求。例如，在我們的系統(tǒng)中能夠自動(dòng)處理分發(fā)計(jì)算需求到輕負(fù)載的節(jié)點(diǎn)。它利用數(shù)據(jù)重載的技術(shù)，因此，能夠把一個(gè)失敗節(jié)點(diǎn)正在執(zhí)行的任務(wù)移植到其他正常節(jié)點(diǎn)繼續(xù)計(jì)算工作。我們的系統(tǒng)的另一個(gè)吸引人的特點(diǎn)是，它可以大大減少系統(tǒng)的通信開銷。我們的主要挑戰(zhàn)是要設(shè)計(jì)好，實(shí)現(xiàn)個(gè)性化Map和Reduce的設(shè)計(jì)來(lái)減少通訊成本和整體計(jì)算成本(例如修剪不必要的節(jié)點(diǎn)訪問(wèn)和數(shù)據(jù)傳輸)。我們也整合傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)到我們的Hadoop分布式數(shù)據(jù)倉(cāng)庫(kù)，尤其是在對(duì)結(jié)構(gòu)化數(shù)據(jù)的處理。為此，我們一個(gè)有用的擴(kuò)展是利用HadoopDB技術(shù)。每個(gè)從節(jié)點(diǎn)使用一個(gè)關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)作為其在本地的存儲(chǔ)層實(shí)例，而不是僅僅依靠HDFS的。因此，它可以提供更好的效率在處理結(jié)構(gòu)化數(shù)據(jù)的情況下(例如，使用一個(gè)索引結(jié)構(gòu)在一個(gè)數(shù)據(jù)庫(kù)管理系統(tǒng)，以加快訪問(wèn)本地?cái)?shù)據(jù))。
[0021]采用HBase作為我們的數(shù)據(jù)存儲(chǔ)計(jì)算系統(tǒng)。HBase是一個(gè)開源項(xiàng)目支持隨機(jī)，實(shí)時(shí)讀/寫訪問(wèn)大數(shù)據(jù)。它的目標(biāo)是處理商用硬件集群之上的特大表-數(shù)十億行及數(shù)百萬(wàn)列。
[0022]要說(shuō)明的是，以上所述實(shí)施例是對(duì)本發(fā)明技術(shù)方案的說(shuō)明而非限制，所屬技術(shù)領(lǐng)域普通技術(shù)人員的等同替換或者根據(jù)現(xiàn)有技術(shù)而做的其他修改，只要沒(méi)超出本發(fā)明技術(shù)方案的思路和范圍，均應(yīng)包含在本發(fā)明所要求的權(quán)利范圍之內(nèi)。
【主權(quán)項(xiàng)】
1.一種基于云計(jì)算的海量數(shù)據(jù)處理系統(tǒng)，其特征在于:包括Hadoop系統(tǒng)、分布式區(qū)域小群、主節(jié)點(diǎn)和分布式文件系統(tǒng)，分布式區(qū)域小群被視為一個(gè)更大的無(wú)共享集群中的節(jié)點(diǎn)，歸Hadoop系統(tǒng)管理，主節(jié)點(diǎn)為Hadoop系統(tǒng)的協(xié)調(diào)員，數(shù)據(jù)存儲(chǔ)于分布式文件系統(tǒng)中。2.根據(jù)權(quán)利要求1所述的基于云計(jì)算的海量數(shù)據(jù)處理系統(tǒng)，其特征在于:所述Hadoop系統(tǒng)中還包括MapReduce節(jié)點(diǎn)，以適應(yīng)和減少在云計(jì)算系統(tǒng)的中用戶應(yīng)用程序的計(jì)算量和通訊量。
【專利摘要】本發(fā)明公開了一種基于云計(jì)算的海量數(shù)據(jù)處理系統(tǒng)，包括Hadoop系統(tǒng)、分布式區(qū)域小群、主節(jié)點(diǎn)和分布式文件系統(tǒng)，分布式區(qū)域小群被視為一個(gè)更大的無(wú)共享集群中的節(jié)點(diǎn)，歸Hadoop系統(tǒng)管理，主節(jié)點(diǎn)為Hadoop系統(tǒng)的協(xié)調(diào)員，數(shù)據(jù)存儲(chǔ)于分布式文件系統(tǒng)中。本發(fā)明提供了極好的負(fù)載平衡，容錯(cuò)功能，滿足了分布式和并行處理的要求；可以大大減少系統(tǒng)的通信開銷。
【IPC分類】G06F9/50, G06F17/30
【公開號(hào)】CN104881476
【申請(qǐng)?zhí)枴緾N201510296226
【發(fā)明人】陳勇, 胡中驥
【申請(qǐng)人】江蘇馬上游科技股份有限公司
【公開日】2015年9月2日
【申請(qǐng)日】2015年6月3日