技術總結
本發(fā)明公開一種信息查詢方法及系統(tǒng),其中,該方法包括:在接收到查詢用戶發(fā)送的查詢統(tǒng)計請求后,對查詢統(tǒng)計請求進行任務分解,以得到相應的map?reduce任務;根據(jù)得到的map?reduce任務,從分布式文件系統(tǒng)中相應的分布式數(shù)據(jù)存儲節(jié)點讀取數(shù)據(jù);其中在分布式文件系統(tǒng)中的Hive數(shù)據(jù)倉庫中,數(shù)據(jù)存儲采用RcFile格式;根據(jù)各分布式數(shù)據(jù)存儲節(jié)點讀取的數(shù)據(jù)進行分布式計算;將各分布式數(shù)據(jù)存儲節(jié)點的計算結果進行合并,以得到查詢結果;將查詢結果提供給查詢用戶。本公開提供的方法與系統(tǒng),以自動資源適配的方式自動增加云資源計算節(jié)點,提升移動上網(wǎng)日志查詢和分析的效率。
技術研發(fā)人員:吳強;王福榮;王麗清;胡華偉;周裕峰
受保護的技術使用者:中國電信股份有限公司
文檔號碼:201510705372
技術研發(fā)日:2015.10.27
技術公布日:2017.05.03