什么是大數(shù)據(jù)？IDC的權(quán)威定義為：滿足4V(Variety,Velocity,Volume,Value，即種類多、流量大、容量大、價(jià)值高)指標(biāo)的數(shù)據(jù)稱為大數(shù)據(jù)。IDC對大數(shù)據(jù)技術(shù)的定位為：通過高速捕捉、發(fā)現(xiàn)和/或分析，從大容量數(shù)據(jù)中獲取價(jià)值的一種新的技術(shù)架構(gòu)。大數(shù)據(jù)主要涉及兩個(gè)不同的技術(shù)領(lǐng)域：一項(xiàng)致力于研發(fā)可以擴(kuò)展至PB甚至EB級別的大數(shù)據(jù)存儲平臺；另一項(xiàng)則是大數(shù)據(jù)分析，關(guān)注在最短時(shí)間內(nèi)處理大量不同類型的數(shù)據(jù)集。這兩個(gè)論題已經(jīng)被充分討論，這里不準(zhǔn)備再作討論，而是換個(gè)角度思考一下大數(shù)據(jù)，事實(shí)上可能與大數(shù)據(jù)存儲平臺更相關(guān)一點(diǎn)。這些需求或者思考，或源自用戶模糊的需求，或源自存儲同行的交流討論，還有一些源自存儲實(shí)踐中的感悟。

1、數(shù)據(jù)備份

信息作為現(xiàn)代企業(yè)的核心資產(chǎn)，一旦發(fā)生數(shù)據(jù)損壞或丟失，小則帶來不同程度的經(jīng)濟(jì)損失，大則關(guān)系企業(yè)生存。因此，現(xiàn)在企業(yè)對重要數(shù)據(jù)備份都不得不高度重視。在大數(shù)據(jù)之前，企業(yè)需要備份的數(shù)據(jù)量通常在GB級－數(shù)十TB級之間，上百TB的數(shù)據(jù)量的企業(yè)非常之少。這些數(shù)據(jù)往往都是Oracle/DB2/SQLServer等數(shù)據(jù)庫的結(jié)構(gòu)化數(shù)據(jù)，以及FTP/CIFS/NFS等文件共享服務(wù)的非結(jié)構(gòu)化數(shù)據(jù)，目前諸如Symantec/Falcon/CommVault/EMC/Eisoo等公司的備份系統(tǒng)都可以很好地滿足普通的備份需求。然而當(dāng)遇上大數(shù)據(jù)，它們是否仍然可以滿足備份需求呢？大數(shù)據(jù)容量很容易達(dá)到數(shù)十TB級以上，數(shù)百TB甚至PB級的案例也不再鮮見，而且這些數(shù)據(jù)種類多、流量大，都是新增數(shù)據(jù)。從備份技術(shù)角度看，全備份/增量備份/差異備份的備份窗口會(huì)很大，CDP的并發(fā)I/O捕獲和處理能力要超強(qiáng)，否則大量數(shù)據(jù)都來不及備份。從備份數(shù)據(jù)量看，備份所需要的存儲空間至少生產(chǎn)數(shù)據(jù)量的一倍以上，這個(gè)成本是巨大的。還有重點(diǎn)的一點(diǎn)是，大數(shù)據(jù)通常都是分布式采集、存儲和處理的，實(shí)現(xiàn)統(tǒng)一的數(shù)據(jù)備份對備份系統(tǒng)是個(gè)技術(shù)挑戰(zhàn)。或許，大數(shù)據(jù)天然不合適采用備份技術(shù)，而需要由存儲系統(tǒng)本身的機(jī)制來解決，諸如多版本(multi-vesion)、寫新地址(WriteAnyWhere，可實(shí)現(xiàn)自然的快照)等。

2、長期存儲

信息有生命周期，金融/商業(yè)/財(cái)務(wù)/通信/法律等很多數(shù)據(jù)都需要遵從法規(guī)保存相應(yīng)年限，一些重要的科學(xué)實(shí)驗(yàn)數(shù)據(jù)和歷史資料甚至要永久保存。大數(shù)據(jù)作為現(xiàn)代企業(yè)有重要價(jià)的資產(chǎn)，長期保存基本都是必要的，比如10－20年甚至永久。長期存儲，看似很簡單的事情，實(shí)際上有很多問題需要解決。幾百個(gè)TB或者PB級的大數(shù)據(jù)，假設(shè)是非活動(dòng)的歷史數(shù)據(jù)，采用什么介質(zhì)進(jìn)行存儲？磁盤，磁帶，還是光盤？采用離線還是近線方式？如何監(jiān)控巨大數(shù)量存儲硬件設(shè)備的狀態(tài)？采用什么方法來保證海量數(shù)據(jù)的完整性？如何發(fā)現(xiàn)長期存儲中的問題并修復(fù)？需要的時(shí)候如何簡便快速地查詢和獲取數(shù)據(jù)？另外，還需要考慮存儲所占用空間和能耗問題。面對這些問題，我們就會(huì)發(fā)現(xiàn)大數(shù)據(jù)長期存儲也是一個(gè)很大的挑戰(zhàn)，一方面需要提高存儲介質(zhì)的持久性、智能性、可靠性等，另一方面需要信息生命周期管理系統(tǒng)進(jìn)行完善的管理和監(jiān)控。

3、數(shù)據(jù)查詢

數(shù)據(jù)訪問是存儲系統(tǒng)最基本的功能之一。傳統(tǒng)的數(shù)據(jù)訪問方式，都是根據(jù)文件名來定位和訪問數(shù)據(jù)。文件名標(biāo)識具有一定的表意性，但非常不足，很難通過文件名對數(shù)據(jù)本身的內(nèi)容和特征進(jìn)行理解。這種查詢訪問語義非常差，需要用戶給出準(zhǔn)確的文件名，否則就無法進(jìn)行定位和訪問。隨著文件數(shù)量的不斷增加，它將給用戶對數(shù)據(jù)的訪問帶來很大的困難�，F(xiàn)實(shí)世界中，人們主要根據(jù)事物的特征記憶和區(qū)分不同的事物，而非簡單的名字。在實(shí)際應(yīng)用中，如果能夠提供基于文件屬性和內(nèi)容的數(shù)據(jù)訪問方式，豐富的語義將會(huì)極大地增加數(shù)據(jù)的表意性，從而大大方便用戶的使用，提高數(shù)據(jù)訪問效率。Internet中，用戶在Web搜索引擎（如Google，Baidu）中輸入內(nèi)容關(guān)鍵字就可以查詢到自己想要的數(shù)據(jù)。數(shù)據(jù)庫系統(tǒng)中，使用SQL語言查詢記錄，可以指定相關(guān)條件對查詢記錄進(jìn)行篩選。由此可見，與傳統(tǒng)的數(shù)據(jù)訪問方式相比，基于數(shù)據(jù)內(nèi)容和屬性的數(shù)據(jù)訪問方式具有很強(qiáng)的語義，能有效提高數(shù)據(jù)定位和訪問效率，可以很大程度上降低用戶的使用復(fù)雜性，適合于各種數(shù)據(jù)存儲系統(tǒng)，尤其是分布式存儲系統(tǒng)。目前，自然語言處理和WEB語義網(wǎng)絡(luò)都有了長足的發(fā)展，大數(shù)據(jù)管理中如何能實(shí)現(xiàn)基于語義的數(shù)據(jù)訪問方式，不僅可以提高了查詢效率，而且符合人們的思維模式，能夠提供更加友好的數(shù)據(jù)訪問界面。

4、綠色歸檔

由于法規(guī)遵從或長期存儲的需要，數(shù)據(jù)根據(jù)生命周期管理需要進(jìn)行歸檔處理，采用方法有磁帶歸檔、磁盤歸檔、光盤歸檔、CAS系統(tǒng)歸檔等。大數(shù)據(jù)數(shù)據(jù)量大，如果采用磁盤介質(zhì)進(jìn)行歸檔，磁盤數(shù)量會(huì)很多，正常工作下能耗也是相當(dāng)可觀。為了降低能耗實(shí)現(xiàn)綠色歸檔，同時(shí)有效延長磁盤使用壽命，需要考慮相關(guān)高效存儲技術(shù)，包括MAID、SemiRAID、數(shù)據(jù)壓縮、重復(fù)數(shù)據(jù)刪除、自動(dòng)精簡配置等。這些技術(shù)主要從兩個(gè)方面著手，一是精減數(shù)據(jù)量以減少磁盤介質(zhì)達(dá)到降低能耗的目標(biāo)，如數(shù)據(jù)壓縮、重復(fù)數(shù)據(jù)刪除、自動(dòng)精簡配置，二是控制磁盤介質(zhì)狀態(tài)(高速、低速、停止)或減少活動(dòng)磁盤數(shù)量來實(shí)現(xiàn)降低能耗和延長壽命，如MAID和SemiRAID。SNIA相關(guān)組織專門研究綠色存儲技術(shù)，包括提到的上述各種技術(shù)。

5、統(tǒng)一存儲

大數(shù)據(jù)種類多，涵蓋了結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)以及對象數(shù)據(jù)，分別采用數(shù)據(jù)塊接口、文件接口和對象接口進(jìn)行訪問。目前的大多數(shù)企業(yè)還沒有將三者統(tǒng)一起來，采用不同的存儲系統(tǒng)來管理這三類數(shù)據(jù)，在大數(shù)據(jù)快速增長的壓力下，帶來存儲利用效率低、管理復(fù)雜性高、成本不斷提升、資源整合程度低等一系列問題。在這些因素驅(qū)動(dòng)下，統(tǒng)一存儲概念得到復(fù)興，SAN/NAS統(tǒng)一存儲得到各大存儲廠商推崇并相繼推出產(chǎn)品，對象存儲也有望被一同整合到統(tǒng)一存儲中。如此一來，就可以使用統(tǒng)一的存儲來管理大數(shù)據(jù)，統(tǒng)一規(guī)劃和整合資源，提高存儲資源利用率，簡化管理和降低總體成本。

6、存儲介質(zhì)壽命管理

大數(shù)據(jù)存儲系統(tǒng)具有成千上萬塊磁盤很常見，可能包括FC、SAS、SATA磁盤，還有可能包括SSD固態(tài)硬盤和磁帶等存儲介質(zhì)。這么大數(shù)量的存儲介質(zhì)，每天壞上一兩塊盤的概率是非常的，不可控制的故障發(fā)生會(huì)影響前端大數(shù)據(jù)應(yīng)用。存儲介質(zhì)的使用年限都有標(biāo)準(zhǔn)，可以基于此進(jìn)行存儲介質(zhì)壽命管理，結(jié)合實(shí)際環(huán)境進(jìn)行適當(dāng)調(diào)整，并根據(jù)存儲介質(zhì)運(yùn)行狀態(tài)進(jìn)行分析和故障預(yù)測。當(dāng)存儲介質(zhì)使用壽命即將到達(dá)，或者預(yù)測到故障即將發(fā)生，則主動(dòng)通知管理員對存儲介質(zhì)進(jìn)行更換，之后有系統(tǒng)自動(dòng)進(jìn)行數(shù)據(jù)重建。如此，可以有效降低存儲介質(zhì)發(fā)生故障的隨機(jī)性，增強(qiáng)故障的可管理性，再結(jié)合人為的調(diào)度，就可降低或者避免故障發(fā)生對大數(shù)據(jù)應(yīng)用的影響。

7、磁帶存儲

一直都有人在預(yù)測磁帶已死，不過可惜的是，直到目前這個(gè)預(yù)測還沒有成真。

相比磁盤，磁帶具有成本、壽命、能耗等特性和優(yōu)勢，另外磁帶技術(shù)本身也在不斷發(fā)展，比如新一代LTO5的磁帶寫入速度達(dá)到180Mb/s，未壓縮容量提升至1.6TB，保證磁帶仍然是最適合做為長期的數(shù)據(jù)歸檔保存之用，這些特性是磁盤所無法取代的。關(guān)于磁帶在大數(shù)據(jù)中的使用，最為典型是做數(shù)據(jù)歸檔，比如上面談到的長期存儲和綠色歸檔，這里面的數(shù)據(jù)基本不會(huì)被訪問。另外還有一種形式是分級存儲HSM，磁帶、磁盤、SSD固態(tài)硬盤、內(nèi)存形成四級存儲，數(shù)據(jù)按照活躍程度在不同級別存儲介質(zhì)之間流動(dòng)，以實(shí)現(xiàn)較高的性價(jià)比。HSM中位于磁帶的數(shù)據(jù)會(huì)被訪問，只是頻率和概率非常低。由于磁帶自身的優(yōu)勢以及不斷發(fā)展，它可能不但不會(huì)消亡，反而會(huì)在大數(shù)據(jù)時(shí)代重獲新生。