“我們正在達(dá)到一個與以往都不同的重要轉(zhuǎn)折點。傳統(tǒng)數(shù)據(jù)流，是將主存儲幾乎都在在線存儲，拷貝和遷移到標(biāo)準(zhǔn)歸檔和備份設(shè)備上。在新型數(shù)據(jù)流下，人們把速度要求最高的數(shù)據(jù)放在高速閃存上，實現(xiàn)了對低成本近線數(shù)據(jù)的高速訪問，基于策略、低成本且具有可擴展性的永久性內(nèi)容歸檔。”

“這種轉(zhuǎn)變在技術(shù)上產(chǎn)生了對關(guān)鍵技術(shù)的新需求，我的工作就是將這些新需求變成現(xiàn)實。”Ivan Pittaluga這樣說道。

作為昆騰大數(shù)據(jù)戰(zhàn)略的代表，StorNext的核心是共享的存儲平臺，高速訪問存儲文件，再加上文件存儲管理以及不同存儲介質(zhì)之間的分級存儲。

StorNext貫穿整個數(shù)據(jù)的生命周期，從左到右是數(shù)據(jù)的產(chǎn)生、獲取、分發(fā)和歸檔

最新StorNext 5.0的設(shè)計正是也為了符合新型數(shù)據(jù)流的趨勢。它重新設(shè)計了元數(shù)據(jù)的布局和空間分配，針對固態(tài)盤對元數(shù)據(jù)日志進行優(yōu)化，提供FSM壓縮/未壓縮的兩級緩存，避免文件系統(tǒng)進程訪問磁盤，更高密度地保存元數(shù)據(jù)。

此外還有文件碎片跟蹤記錄管理功能、固態(tài)盤優(yōu)化、LTFS磁帶歸檔、InfiniBand支持和重新設(shè)計的緩沖機制。按照昆騰的說法，現(xiàn)在Stornext 5.0可以存儲50億個文件，數(shù)據(jù)規(guī)模達(dá)到數(shù)十PB。

除了可擴展性和性能之外，新型數(shù)據(jù)流還需要永久數(shù)據(jù)保留和云存儲的技術(shù)，代表產(chǎn)品就是昆騰從14財年第一季度剛剛開始出貨的Lattus對象存儲，其定位是作為高可擴展且的永久性長期磁盤歸檔。

Lattus主要用于保存海量數(shù)據(jù)，有比較強的擴展能力(100PB以上)，可以將數(shù)據(jù)分布到多個不同地理位置，帶有自我治愈和自我遷移的功能，比傳統(tǒng)RAID使用的磁盤更少，所以成本更低。“對中國客戶來說，很難回答Lattus是否會取代RAID，準(zhǔn)確的說它既可以作為RAID的替代品也是一種輔助。”

Lattus是多種技術(shù)的結(jié)合體：下一代對象存儲，扁平的命名空間，將數(shù)據(jù)切塊直接存儲各個位置，得到一個key并采用HTTP REST接口;Forward Error correction(FEC)算法把編碼數(shù)據(jù)的多個副本分布保存到多個存儲節(jié)點，這是一項已經(jīng)運用于通信行業(yè)的成熟技術(shù)。

此外，Lattus還需要一種智能機制將數(shù)據(jù)從在線存儲搬到歸檔存儲，層到層的拷貝，從二級存儲到客戶端的直接讀取，二級存儲之間的遷移，以及在線災(zāi)難恢復(fù)數(shù)據(jù)可訪問。同時，元數(shù)據(jù)可以分散到不同地理位置，這樣就可以異地更新目錄信息并直接訪問在線存儲的數(shù)據(jù)。

在大數(shù)據(jù)概念出現(xiàn)之后，昆騰的StorNext從原來注重單個數(shù)據(jù)性能開始轉(zhuǎn)向注重并發(fā)整體的數(shù)據(jù)性能要求，而且加強了高性能工作流以及Hadoop實時處理。

左邊是StorNext，右邊是Hadoop集群，上面橘色的是Lattus云存儲。Hadoop產(chǎn)生在線運算，長期不活躍的數(shù)據(jù)保存到StorNext，在根據(jù)智能策略遷移到Lattus。Hadoop只要通過API就可以直接訪問Lattus上的數(shù)據(jù)。將來，Hadoop可以將數(shù)據(jù)直接保存到StorNext主存儲或者直接存到Lattus，也可以通過這兩種路徑直接回取數(shù)據(jù)

除了硬件之外，昆騰在管理方面也做了針對大數(shù)據(jù)的設(shè)計，提出了所謂的“Mint”——Management Interface。Mint是管理StorNext和其他昆騰產(chǎn)品的統(tǒng)一界面(1.0版本的發(fā)布是面向StorNext的)，同時也是集成Lattus和Q-disk的開放平臺。

Mint的主要功能包括系統(tǒng)管理、配置、警報、通知和健康檢查;性能監(jiān)控和儀表;提供關(guān)于趨勢、成本使用率、預(yù)測和扣款的報告，是針對企業(yè)級客戶的Web服務(wù)。

總的來看，盡管最新的財報數(shù)據(jù)有些令人擔(dān)憂，但是昆騰正在通過向大數(shù)據(jù)的積極轉(zhuǎn)型，調(diào)整著發(fā)展節(jié)奏，并期待借此注入新的增長動力。“昆騰在中國也在慢慢轉(zhuǎn)型，雖然目前中國大數(shù)據(jù)業(yè)務(wù)收入占總收入的20%，但是未來三到五年，我們的投資方向和收入增長將全部放在大數(shù)據(jù)上。”

zhenglei