當(dāng)火熱的大數(shù)據(jù)碰上業(yè)內(nèi)成熟的數(shù)據(jù)保護(hù)專家昆騰公司，會(huì)產(chǎn)生怎樣的火花？答案是StorNext系列產(chǎn)品。

美國(guó)昆騰國(guó)際公司StorNext及大數(shù)據(jù)工程業(yè)務(wù)副總裁 Ivan Pittaluga,負(fù)責(zé)研發(fā)StorNext最負(fù)責(zé)的技術(shù)版本，因此StorNext技術(shù)如何在大數(shù)據(jù)風(fēng)暴中嶄露頭角， Ivan Pittaluga可以說(shuō)是最有發(fā)言權(quán)。8月份Ivan來(lái)華舉行了媒體會(huì)，解讀StorNext5.0的未來(lái)全新技術(shù)策略。

新趨勢(shì)：冷熱數(shù)據(jù)流的優(yōu)化處理

Ivan認(rèn)為傳統(tǒng)的存儲(chǔ)方式，幾乎都是在線存儲(chǔ)，加工、保留、歸檔全都是在線存儲(chǔ)。然而現(xiàn)在新的趨勢(shì)就是：一些客戶已經(jīng)采用新的數(shù)據(jù)流的方式，即把現(xiàn)在加工的數(shù)據(jù)最快的呈現(xiàn)出來(lái)。同時(shí)，把加工完的數(shù)據(jù)、不用的數(shù)據(jù)放在歸檔里面，需要用的時(shí)候就把他提取出來(lái)。并且希望歸檔存儲(chǔ)能夠永久保留。“是一個(gè)幾千年甚至幾萬(wàn)年的保留。這也是我們?cè)谧龅摹?rdquo;Ivan講到。

面對(duì)用戶對(duì)數(shù)據(jù)流新的方式，在存儲(chǔ)技術(shù)上就需要產(chǎn)生一些新的需求、新的存儲(chǔ)技術(shù)，Ivan和其團(tuán)隊(duì)的工作是把這些需求在技術(shù)上變成現(xiàn)實(shí)。昆騰的高性能文件系統(tǒng)、可拓展文件系統(tǒng)還有可拓展文件管理系統(tǒng)，這個(gè)技術(shù)就是讓我們用最快的速度把數(shù)據(jù)存取自如。

昆騰為用戶提供了獨(dú)特的價(jià)值

昆騰提供了獨(dú)特的數(shù)據(jù)管理技術(shù)，為用戶帶來(lái)更多的價(jià)值：能夠提供最高性能的流式數(shù)據(jù)；為用戶提供最低的成本和最持久的長(zhǎng)期數(shù)據(jù)存儲(chǔ)，從而實(shí)現(xiàn)用較低的成本實(shí)現(xiàn)數(shù)據(jù)的長(zhǎng)期保存；最靈活的選擇表現(xiàn)和增長(zhǎng)結(jié)合起來(lái)，這樣無(wú)論是從性能方面還是增長(zhǎng)方面，為用戶提供一個(gè)很靈活的選擇；最實(shí)用的數(shù)據(jù)保護(hù)功能。

 
如圖，從左到右數(shù)據(jù)的產(chǎn)生，獲取過程到分發(fā)給各個(gè)需要的，最后把他歸檔存儲(chǔ)起來(lái)，StorNext最核心的東西一個(gè)共享的存儲(chǔ)平臺(tái)，可以同時(shí)多路的高速的訪問存儲(chǔ)文件。StorNext產(chǎn)品本身貫穿整個(gè)大數(shù)據(jù)的生命周期。

圍繞StorNext的昆騰產(chǎn)品線
 
StorNext5.0的產(chǎn)品特點(diǎn)

StorNext5.0有哪些值得關(guān)注的技術(shù)升級(jí)？首先是更快的文件操作（創(chuàng)建/刪除/等）性能（SNFS），這是StorNext基本的文件操作，其創(chuàng)建、刪除等基本的文件性能得到極大提升。其次重新設(shè)計(jì)使用（Metadate Layout）元數(shù)據(jù)布局，重新設(shè)計(jì)使它創(chuàng)建在分配空間的時(shí)候速度有很大的提升，實(shí)現(xiàn)更多高效的元數(shù)據(jù)的磁盤使用。內(nèi)置高線程訪問（總效能）支持很多的線程同時(shí)訪問元數(shù)據(jù)。

第二，重新設(shè)計(jì)的元數(shù)據(jù)日志，元數(shù)據(jù)在這里從新做了很多設(shè)計(jì)，優(yōu)化SSD，使元數(shù)據(jù)在固態(tài)SSD的狀態(tài)下有很大的提升。

第三就是在StorNext原服務(wù)器上緩存從新設(shè)計(jì)，讓數(shù)據(jù)直接訪問緩存，不用通過磁盤。2級(jí)緩存（壓縮/非壓縮）技術(shù)，
從新設(shè)計(jì)成兩級(jí)緩存：一個(gè)是壓縮；一個(gè)是非壓縮。非壓縮比以前性能要高，所以在整體上就會(huì)提高很多。為了實(shí)現(xiàn)這個(gè)技術(shù)昆騰把很多的數(shù)據(jù)重新做了設(shè)計(jì)。

文件系統(tǒng)相關(guān)優(yōu)勢(shì)

高密度的元數(shù)據(jù)緩存在內(nèi)存中保留更多的元數(shù)據(jù)

改進(jìn)的文件擴(kuò)展跟蹤

文件擴(kuò)展塊的跟蹤連續(xù)的范圍,屬于一個(gè)特定的文件

StorNext5.0性能優(yōu)勢(shì)

更具擴(kuò)展性的分配映射跟蹤

更快的范圍查找

更快的目錄查找

文件創(chuàng)建一個(gè)托管FS，StorNext5.0比StorNext4.7快了4倍

文件刪除托管FS，5.0刪除速度相比比4.7快了大約3倍

StorNext5存儲(chǔ)的元數(shù)據(jù)和元數(shù)據(jù)的I / O操作將大大提高空間利用率

剛講了很多跟文件系統(tǒng)相關(guān)的技術(shù)細(xì)節(jié)，除此之外在StorNext5.0里面還有那些新的技能跟技術(shù)呢？

1、SSD優(yōu)化

在Infiniband數(shù)據(jù)路徑運(yùn)輸

LTFS磁帶歸檔

2、提高運(yùn)營(yíng)方面的STORNEXT產(chǎn)品的線

更快的故障恢復(fù)

在線備份元數(shù)據(jù)

DR之間文件系統(tǒng)可用

在線升級(jí)管理的文件系統(tǒng)

重新設(shè)計(jì)客戶端緩沖I / O

Lattus：萬(wàn)年存儲(chǔ)不夸張

昆騰新推出的Lattus存儲(chǔ)技術(shù)，Lattus這個(gè)產(chǎn)品或者這個(gè)技術(shù)，目的就是為了保留海量的數(shù)據(jù)。同時(shí)也要降低整個(gè)管理和存儲(chǔ)成本。

Lattus作為一款“永久磁盤歸檔產(chǎn)品”，可擴(kuò)展到數(shù)百PB級(jí)別，并將數(shù)據(jù)分散在多個(gè)站點(diǎn)之上，同時(shí)，Lattus提供自我修復(fù)和自我遷移能力，使用扁平的命名空間從而可以大規(guī)模擴(kuò)展——基于HTTP REST+文件系統(tǒng)訪問的Lattus借助昆騰StorNext在大規(guī)模文件共享系統(tǒng)上，而作為對(duì)象存儲(chǔ)平臺(tái)，Lattus還建立起一種“閃存加對(duì)象存儲(chǔ)的架構(gòu)，以閃存為主存儲(chǔ)，實(shí)現(xiàn)數(shù)據(jù)分析，長(zhǎng)期數(shù)據(jù)保護(hù)使用Lattus對(duì)象存儲(chǔ)。”

Lattus的功能，首先是支持的海量數(shù)據(jù)量，原理上擴(kuò)展能力是無(wú)限的。而且在地理分布上可以把整個(gè)系統(tǒng)分部到不同的位置。其次Lattus有自我治愈、自我遷移的功能，在一定程度上損失外盤、損失界面，數(shù)據(jù)仍然可以在線訪問。

最后Lattus使用這個(gè)技術(shù)要比原來(lái)RAID用的磁盤用的要少，耗電量、成本，占用機(jī)房空間都比較小，整個(gè)技術(shù)的成本也比RAID要低，Lattus第一個(gè)技術(shù)就是把直接把一個(gè)數(shù)據(jù)分割成塊分散存儲(chǔ)，管理員得到一個(gè)鑰匙，存到不同存儲(chǔ)節(jié)點(diǎn)、不同的磁盤上，通過不同的控制器把他存到不同的位置，在不同的位置存放很多的副本。

第二個(gè)是算法技術(shù)，實(shí)現(xiàn)遠(yuǎn)距離通訊的技術(shù)。“這個(gè)也是一個(gè)很成熟的技術(shù)，技術(shù)本身也不是一個(gè)新技術(shù)，他最早是用在太空技術(shù)上，他是一個(gè)通信技術(shù)，最早在美國(guó)一個(gè)全球合作的項(xiàng)目，發(fā)射了旅行者號(hào)探測(cè)器，他可以探索太陽(yáng)系里面任何一個(gè)行星。距離這么遠(yuǎn)跟地球之間的通訊怎么辦，就是靠這樣的一個(gè)技術(shù)來(lái)做的。”Ivan講到。

大數(shù)據(jù)發(fā)展離不開Hadoop

Hadoop跟StorNext結(jié)合是順應(yīng)大數(shù)據(jù)時(shí)代的，昆騰StorNext存儲(chǔ)技術(shù)通過Lattus的云存儲(chǔ)，實(shí)現(xiàn)Hadoop數(shù)據(jù)的獲取。未來(lái)新的版本昆騰希望Hadoop可以直接通過StorNext進(jìn)行數(shù)據(jù)管理分析提取。

 
“我們現(xiàn)在看到這部分左邊是StorNext存儲(chǔ)技術(shù)，右邊實(shí)際上是剛提到的Lattus的云存儲(chǔ)，StorNext跟Hadoop結(jié)合就是通過Hadoop，產(chǎn)生的在線運(yùn)算，把長(zhǎng)期不用不活躍的數(shù)據(jù)存到StorNext上面，StorNext通過他的智能運(yùn)算把他遷移到Lattus云存儲(chǔ)上面。Hadoop需要拿Lattus上面數(shù)據(jù)的時(shí)候，需要通過StorNext API直接到云存儲(chǔ)上面去獲取。”Ivan 講到。

“將來(lái)昆騰的新版本Hadoop直接在StorNext上，可以直接存到StorNext的主存儲(chǔ)上或者是Lattus上面，讀取的時(shí)候也是直接讀取。”

最后，我們看到昆騰StorNext5.0升級(jí)了很多技術(shù)，同時(shí)與Hadoop結(jié)合，其目的就是在不斷變革的企業(yè)級(jí)存儲(chǔ)市場(chǎng)保持強(qiáng)勁的發(fā)展力。面對(duì)大數(shù)據(jù)時(shí)代的到來(lái)，昆騰StorNext5.0以及其完整的解決方案能夠幫助用戶在大數(shù)據(jù)浪潮中閑庭信步。