摘要：近年來(lái),隨著大數(shù)據(jù)場(chǎng)景的興起,RDBMS由于其自身的擴(kuò)展性和可用性限制無(wú)法滿足企業(yè)需求。No SQL數(shù)據(jù)庫(kù)的出現(xiàn)彌補(bǔ)了傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)在大數(shù)據(jù)領(lǐng)域的不足。No SQL數(shù)據(jù)庫(kù)本身具有良好的擴(kuò)展性、容錯(cuò)性以及實(shí)時(shí)訪問(wèn)、存儲(chǔ)TB級(jí)別數(shù)據(jù)的特點(diǎn)。HBase就是以HDFS和MapReduce為基礎(chǔ)的開源No SQL型分布式數(shù)據(jù)庫(kù),它不支持二級(jí)索引、事務(wù)和批量數(shù)據(jù)處理時(shí)延長(zhǎng)等[1]。本文以HBase和Spark為基礎(chǔ),增加插件使HBase支持SQL語(yǔ)句和二級(jí)索引,通過(guò)修改Spark源碼,提升對(duì)HBase數(shù)據(jù)的本地化計(jì)算級(jí)別。插件對(duì)HBase無(wú)侵入、低耦合,支持用戶輸入SQL語(yǔ)句,把輸入字段轉(zhuǎn)化為HBase的列族和列限定符,根據(jù)不同的場(chǎng)景選取不同的執(zhí)行方案。MapReduce計(jì)算框架具有計(jì)算效率低,無(wú)法利用HBase的讀寫緩存的缺陷[1],原始Spark框架不能感知HBase數(shù)據(jù)分片。本文改進(jìn)Spark能感知HBase數(shù)據(jù)分片,對(duì)HBase中數(shù)據(jù)進(jìn)行高級(jí)別本地化計(jì)算。最終,將本文設(shè)計(jì)的系統(tǒng)與業(yè)內(nèi)常用的Hive+HBase方案對(duì)比常用SQL消耗的時(shí)延[3]。通過(guò)實(shí)驗(yàn)得出,本文構(gòu)建的優(yōu)化方案在沒(méi)有缺失HBase的優(yōu)良特性的基礎(chǔ)上加強(qiáng)了部分應(yīng)用場(chǎng)景的實(shí)時(shí)性。