圍繞StorNext的昆騰產(chǎn)品線
StorNext5.0的產(chǎn)品特點(diǎn)
StorNext5.0有哪些值得關(guān)注的技術(shù)升級(jí)?首先是更快的文件操作(創(chuàng)建/刪除/等)性能(SNFS),這是StorNext基本的文件操作,其創(chuàng)建、刪除等基本的文件性能得到極大提升。其次重新設(shè)計(jì)使用(Metadate Layout)元數(shù)據(jù)布局,重新設(shè)計(jì)使它創(chuàng)建在分配空間的時(shí)候速度有很大的提升,實(shí)現(xiàn)更多高效的元數(shù)據(jù)的磁盤使用。內(nèi)置高線程訪問(總效能)支持很多的線程同時(shí)訪問元數(shù)據(jù)。
第二,重新設(shè)計(jì)的元數(shù)據(jù)日志,元數(shù)據(jù)在這里從新做了很多設(shè)計(jì),優(yōu)化SSD,使元數(shù)據(jù)在固態(tài)SSD的狀態(tài)下有很大的提升。
第三就是在StorNext原服務(wù)器上緩存從新設(shè)計(jì),讓數(shù)據(jù)直接訪問緩存,不用通過磁盤。2級(jí)緩存(壓縮/非壓縮)技術(shù),
從新設(shè)計(jì)成兩級(jí)緩存:一個(gè)是壓縮;一個(gè)是非壓縮。非壓縮比以前性能要高,所以在整體上就會(huì)提高很多。為了實(shí)現(xiàn)這個(gè)技術(shù)昆騰把很多的數(shù)據(jù)重新做了設(shè)計(jì)。
文件系統(tǒng)相關(guān)優(yōu)勢(shì)
高密度的元數(shù)據(jù)緩存在內(nèi)存中保留更多的元數(shù)據(jù)
改進(jìn)的文件擴(kuò)展跟蹤
文件擴(kuò)展塊的跟蹤連續(xù)的范圍,屬于一個(gè)特定的文件
StorNext5.0性能優(yōu)勢(shì)
更具擴(kuò)展性的分配映射跟蹤
更快的范圍查找
更快的目錄查找
文件創(chuàng)建一個(gè)托管FS,StorNext5.0比StorNext4.7快了4倍
文件刪除托管FS,5.0刪除速度相比比4.7快了大約3倍
StorNext5存儲(chǔ)的元數(shù)據(jù)和元數(shù)據(jù)的I / O操作將大大提高空間利用率
剛講了很多跟文件系統(tǒng)相關(guān)的技術(shù)細(xì)節(jié),除此之外在StorNext5.0里面還有那些新的技能跟技術(shù)呢?
1、SSD優(yōu)化
在Infiniband數(shù)據(jù)路徑運(yùn)輸
LTFS磁帶歸檔
2、提高運(yùn)營(yíng)方面的STORNEXT產(chǎn)品的線
更快的故障恢復(fù)
在線備份元數(shù)據(jù)
DR之間文件系統(tǒng)可用
在線升級(jí)管理的文件系統(tǒng)
重新設(shè)計(jì)客戶端緩沖I / O
Lattus:萬年存儲(chǔ)不夸張
昆騰新推出的Lattus存儲(chǔ)技術(shù),Lattus這個(gè)產(chǎn)品或者這個(gè)技術(shù),目的就是為了保留海量的數(shù)據(jù)。同時(shí)也要降低整個(gè)管理和存儲(chǔ)成本。
Lattus作為一款“永久磁盤歸檔產(chǎn)品”,可擴(kuò)展到數(shù)百PB級(jí)別,并將數(shù)據(jù)分散在多個(gè)站點(diǎn)之上,同時(shí),Lattus提供自我修復(fù)和自我遷移能力,使用扁平的命名空間從而可以大規(guī)模擴(kuò)展——基于HTTP REST+文件系統(tǒng)訪問的Lattus借助昆騰StorNext在大規(guī)模文件共享系統(tǒng)上,而作為對(duì)象存儲(chǔ)平臺(tái),Lattus還建立起一種“閃存加對(duì)象存儲(chǔ)的架構(gòu),以閃存為主存儲(chǔ),實(shí)現(xiàn)數(shù)據(jù)分析,長(zhǎng)期數(shù)據(jù)保護(hù)使用Lattus對(duì)象存儲(chǔ)。”
Lattus的功能,首先是支持的海量數(shù)據(jù)量,原理上擴(kuò)展能力是無限的。而且在地理分布上可以把整個(gè)系統(tǒng)分部到不同的位置。其次Lattus有自我治愈、自我遷移的功能,在一定程度上損失外盤、損失界面,數(shù)據(jù)仍然可以在線訪問。
最后Lattus使用這個(gè)技術(shù)要比原來RAID用的磁盤用的要少,耗電量、成本,占用機(jī)房空間都比較小,整個(gè)技術(shù)的成本也比RAID要低,Lattus第一個(gè)技術(shù)就是把直接把一個(gè)數(shù)據(jù)分割成塊分散存儲(chǔ),管理員得到一個(gè)鑰匙,存到不同存儲(chǔ)節(jié)點(diǎn)、不同的磁盤上,通過不同的控制器把他存到不同的位置,在不同的位置存放很多的副本。
第二個(gè)是算法技術(shù),實(shí)現(xiàn)遠(yuǎn)距離通訊的技術(shù)。“這個(gè)也是一個(gè)很成熟的技術(shù),技術(shù)本身也不是一個(gè)新技術(shù),他最早是用在太空技術(shù)上,他是一個(gè)通信技術(shù),最早在美國(guó)一個(gè)全球合作的項(xiàng)目,發(fā)射了旅行者號(hào)探測(cè)器,他可以探索太陽系里面任何一個(gè)行星。距離這么遠(yuǎn)跟地球之間的通訊怎么辦,就是靠這樣的一個(gè)技術(shù)來做的。”Ivan講到。
大數(shù)據(jù)發(fā)展離不開Hadoop
Hadoop跟StorNext結(jié)合是順應(yīng)大數(shù)據(jù)時(shí)代的,昆騰StorNext存儲(chǔ)技術(shù)通過Lattus的云存儲(chǔ),實(shí)現(xiàn)Hadoop數(shù)據(jù)的獲取。未來新的版本昆騰希望Hadoop可以直接通過StorNext進(jìn)行數(shù)據(jù)管理分析提取。
“我們現(xiàn)在看到這部分左邊是StorNext存儲(chǔ)技術(shù),右邊實(shí)際上是剛提到的Lattus的云存儲(chǔ),StorNext跟Hadoop結(jié)合就是通過Hadoop,產(chǎn)生的在線運(yùn)算,把長(zhǎng)期不用不活躍的數(shù)據(jù)存到StorNext上面,StorNext通過他的智能運(yùn)算把他遷移到Lattus云存儲(chǔ)上面。Hadoop需要拿Lattus上面數(shù)據(jù)的時(shí)候,需要通過StorNext API直接到云存儲(chǔ)上面去獲取。”Ivan 講到。
“將來昆騰的新版本Hadoop直接在StorNext上,可以直接存到StorNext的主存儲(chǔ)上或者是Lattus上面,讀取的時(shí)候也是直接讀取。”
最后,我們看到昆騰StorNext5.0升級(jí)了很多技術(shù),同時(shí)與Hadoop結(jié)合,其目的就是在不斷變革的企業(yè)級(jí)存儲(chǔ)市場(chǎng)保持強(qiáng)勁的發(fā)展力。面對(duì)大數(shù)據(jù)時(shí)代的到來,昆騰StorNext5.0以及其完整的解決方案能夠幫助用戶在大數(shù)據(jù)浪潮中閑庭信步。