技術(shù)特征:
技術(shù)總結(jié)
本發(fā)明提供一種基于Memcached的大數(shù)據(jù)緩存交互式查詢方法,該方法基于Spark?SQL提供的構(gòu)建外部數(shù)據(jù)源的方式,結(jié)合Memcached緩存的內(nèi)存讀寫特點(diǎn),對(duì)特定應(yīng)用場(chǎng)景下的大數(shù)據(jù)存儲(chǔ)介質(zhì)作了重新的定義。同時(shí)實(shí)現(xiàn)了大數(shù)據(jù)處理過(guò)程中中間計(jì)算結(jié)果在Memcached服務(wù)器中的緩存,通過(guò)Memcached良好的讀寫性能,結(jié)合Spark?SQL強(qiáng)大的交互式查詢分析能力,有效的提高了大數(shù)據(jù)緩存進(jìn)行交互式查詢的能力。
技術(shù)研發(fā)人員:沈志宏;周園春;吳章生;黎建輝;朱小杰;杜園園;徐曉偉
受保護(hù)的技術(shù)使用者:中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心
技術(shù)研發(fā)日:2017.03.17
技術(shù)公布日:2017.09.08