最近我們看到了首字母為M,A和Q的技術(shù)涌現(xiàn)出來。對于開源愛好者而言,最令他們激動的事情就是關(guān)注Hadoop生態(tài)系統(tǒng)。

如我們常??吹降模鎯π枰ヅ涫S嗟腎T堆棧。數(shù)據(jù)集本身需要高度分布。數(shù)據(jù)和大數(shù)據(jù)的運(yùn)算出現(xiàn)在種類繁多的分布式設(shè)備上。

而且,由于將運(yùn)算導(dǎo)入數(shù)據(jù)比將數(shù)據(jù)導(dǎo)入運(yùn)算要容易,所以SMAQ堆棧的存儲部分需要確保所有未結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)的安全而有效地分布到所有運(yùn)算節(jié)點(diǎn),且既可以被擴(kuò)展也可以滿足高性能的要求。這意味著大數(shù)據(jù)必須:

a) 在廣布于互聯(lián)網(wǎng)的各種商業(yè)設(shè)備上運(yùn)行

b) 為與分析相關(guān)的密集式數(shù)據(jù)處理提供性能幫助

c) 避免設(shè)計失誤,如集中式元數(shù)據(jù)存儲以及大量遺留系統(tǒng)將存儲大小限制在16TB

d) 允許在相同硬件上出現(xiàn)運(yùn)算和存儲功能。綜上所述,將運(yùn)算遷移到存儲的成本更低。不過如果存儲被鎖定那就會有些麻煩。

e) 擴(kuò)展至PB級別甚至是EB級別。

結(jié)論:專屬與整體的存儲方法不適合大數(shù)據(jù)。不過,隨著大數(shù)據(jù)SMAQ技術(shù)的不斷發(fā)展,相信大數(shù)據(jù)存儲和存儲效益方面的價值會被充分地釋放出來。

分享到

fanz

相關(guān)推薦