2014年4月10日存儲在線編譯：這是關(guān)于存儲經(jīng)濟(jì)學(xué)的系列文章中的第二篇文章。

自動分級技術(shù)給大數(shù)據(jù)出了個難題

在第一篇文章中，我們了解到自動分級技術(shù)可以如何為企業(yè)的經(jīng)營節(jié)省開支�，F(xiàn)在，我們將要探討的是，雖然自動分級技術(shù)有很多的優(yōu)勢，但是它也給大數(shù)據(jù)出了個難題。你的存儲是一個不斷變化的目標(biāo)。如果才能既享受到自動分級技術(shù)帶來的優(yōu)勢，又能夠滿足大數(shù)據(jù)的需求呢？

大數(shù)據(jù)一詞涵蓋了很多種毫不相干的信息。一方面，很多銀行會通過檢查數(shù)月來的交易模式以發(fā)現(xiàn)欺詐交易者，另一方面，很多零售商也在積極跟蹤和收集消費者的店里的行為信息，以研究消費者的購物模式。在第一個例子里，銀行信息是行為的一種長期性記錄，而在零售店的例子中，那些信息只在很短的時間里有用。然而，那些數(shù)據(jù)都可以被歸到大數(shù)據(jù)的范疇之內(nèi)。

這就自然而然地引發(fā)了大數(shù)據(jù)面臨的困境，即大數(shù)據(jù)的存儲問題。你會將某個元素保留多長的時間？保存在哪里？等等等等。IT業(yè)界將大數(shù)據(jù)看作是一組數(shù)據(jù)流，那些數(shù)據(jù)流一直在更新和流動。我們面臨的一個難題是，我們必須高效地將數(shù)據(jù)流區(qū)分出來，然后決定針對不同的數(shù)據(jù)流采取不同的行動。我們顯然不能將一切信息都保留下來，而且肯定不能將所有的信息都保存在速度超快、價格也超高的閃存設(shè)備上。

區(qū)分?jǐn)?shù)據(jù)流的目的是為了兼顧管理精度和管理效率，或者說在這兩者之間找到一個平衡點。我們可以為單一的目標(biāo)設(shè)置政策，但在那種情況下，元數(shù)據(jù)管理的成本可能就會非常高。另一方面，LUN級別的區(qū)分可以建立起一種機制，從而一次性達(dá)成所有的目標(biāo)。

首先要做的事情是為每一個數(shù)據(jù)流建立一個位置和保留政策。這將取決于那些數(shù)據(jù)被訪問的速度需要達(dá)到多快的程度，還有其他的一些因素。在上述零售店的例子中，數(shù)據(jù)一旦被創(chuàng)建出來，它的價值就在不斷流失，因為目標(biāo)也許是實時創(chuàng)建個性化店內(nèi)廣告以提升營業(yè)額。在那種情況下，數(shù)據(jù)會直接進(jìn)入內(nèi)存中（in-memory）數(shù)據(jù)庫。

其中一個難題是大數(shù)據(jù)通常都是分布在數(shù)量眾多的并聯(lián)服務(wù)器上。在并聯(lián)服務(wù)器網(wǎng)絡(luò)中，對不同的服務(wù)器實施不同的政策比在連網(wǎng)存儲中對合并數(shù)據(jù)實施不同的政策要難得多。

一旦經(jīng)過分析處理，數(shù)據(jù)就會被傳輸?shù)接谰么鎯χ小Ｓ捎趦?nèi)存內(nèi)數(shù)據(jù)庫需要非常高的帶寬，因此它必須使用閃存或是快速固態(tài)硬盤。其中一個原因是，在數(shù)據(jù)恢復(fù)過程中，利用其它技術(shù)重新加載高達(dá)TB級的數(shù)據(jù)所需的時間可能會長達(dá)數(shù)個小時。但是，當(dāng)數(shù)據(jù)流被丟棄或儲存到價格低廉、容量巨大的存儲系統(tǒng)中時，顯然是需要很多時間的。

數(shù)據(jù)分析還會從原始數(shù)據(jù)中創(chuàng)造出新的數(shù)據(jù)流，這個過程也應(yīng)該是受控的。這些數(shù)據(jù)流的價值評估和保留政策通常會因為原始數(shù)據(jù)的不同而不同。

由于并行數(shù)據(jù)流的數(shù)量太大，因此整個控制機制必須是自動化的。這就是自動分級技術(shù)進(jìn)入該領(lǐng)域的原因。這是一種在大型系統(tǒng)中有選擇性地自動移動數(shù)據(jù)的方法。

自動分級技術(shù)控制著所有的數(shù)據(jù)，對于正在使用的服務(wù)器來說它就是一個資源池。在那個資源池中，也許有純閃存陣列、固態(tài)硬盤和廉價硬盤，甚至還可以將磁帶庫也包含進(jìn)去�？梢酝ㄟ^存儲虛擬化來增加資源池的容量。數(shù)據(jù)移動則通過一系列政策來控制。

創(chuàng)建以及隨后執(zhí)行這些政策是一項實質(zhì)性努力，它需要使用LUN層級的政策而非對象層級的政策，但是在很多情況下，應(yīng)該使用的卻是對象層級的政策。政策可以由超大規(guī)模數(shù)據(jù)環(huán)境下的分析應(yīng)用來創(chuàng)建以減少人工干預(yù)和出錯的概率，或者由自動分級軟件自己去控制。

自動分級的結(jié)果應(yīng)當(dāng)是相對可預(yù)見的，而且在各個數(shù)據(jù)流之間實現(xiàn)平衡。從經(jīng)濟(jì)的角度來說，這會對安裝成本造成一定的影響。最近云市場的服務(wù)價格發(fā)生了一些變化，那些變化表明使用消費級SATA硬盤的大容量存儲服務(wù)是非常經(jīng)濟(jì)的。

硬盤價格很可能會呈現(xiàn)出分級的現(xiàn)象，每臺服務(wù)器中的PCIe 固態(tài)硬盤（每TB容量3000美元）將位于最高級，隨后是容量相對更大但速度相對較慢的多級單元SATA 固態(tài)硬盤（每TB容量500美元到1000美元），最后是容量巨大的SATA硬盤（每TB容量100美元）�，F(xiàn)在的自動分級技術(shù)或許很難將最頂級的本地固態(tài)硬盤融合到存儲資源池中，但是虛擬存儲局域網(wǎng)和軟件定義存儲已經(jīng)開始解決那個問題了。

由于物聯(lián)網(wǎng)的發(fā)展，我們已經(jīng)看到感應(yīng)器大爆炸時代即將來臨的跡象，業(yè)內(nèi)觀察員們預(yù)計，數(shù)據(jù)流將大幅增長。以自動分級和壓縮為關(guān)鍵功能的數(shù)據(jù)管理和存儲虛擬化對大數(shù)據(jù)的處理很重要。

在第三篇文章中，我們將探討用于儲存最熱數(shù)據(jù)的存儲設(shè)備價格的下降將如何改變存儲層級工藝。