ZDNet 發(fā)表于:13年08月21日 14:43 [轉(zhuǎn)載] 至頂網(wǎng)
2013年,昆騰忙著轉(zhuǎn)型,向大數(shù)據(jù)轉(zhuǎn)型。對(duì)內(nèi),重新調(diào)整內(nèi)部結(jié)構(gòu),將覆蓋StorNext軟硬件、Lattus對(duì)象存儲(chǔ)和Scalar LTFS的大數(shù)據(jù)業(yè)務(wù)單獨(dú)劃分出來(lái);對(duì)外,昆騰宣稱自己不再是簡(jiǎn)單的數(shù)據(jù)備份和恢復(fù)產(chǎn)品提供商,未來(lái)核心的發(fā)展方向在于大數(shù)據(jù)。
昆騰StorNext工程副總裁Ivan Pittaluga用了一個(gè)形象的比喻,稱“大數(shù)據(jù)之于昆騰,就像是節(jié)奏之于音樂(lè)。”
在他看來(lái),大數(shù)據(jù)把各種技術(shù)推到了極限,例如數(shù)據(jù)獲取、數(shù)據(jù)管理和數(shù)據(jù)處理的能力,它是一個(gè)比較復(fù)雜的解決方案,需要從廣電、石油和高性能計(jì)算等有代表性的行業(yè)聽(tīng),到一些意見(jiàn)和本地需求,充分考慮到未來(lái)產(chǎn)品發(fā)展藍(lán)圖中去。
“我們正在達(dá)到一個(gè)與以往都不同的重要轉(zhuǎn)折點(diǎn)。傳統(tǒng)數(shù)據(jù)流,是將主存儲(chǔ)幾乎都在在線存儲(chǔ),拷貝和遷移到標(biāo)準(zhǔn)歸檔和備份設(shè)備上。在新型數(shù)據(jù)流下,人們把速度要求最高的數(shù)據(jù)放在高速閃存上,實(shí)現(xiàn)了對(duì)低成本近線數(shù)據(jù)的高速訪問(wèn),基于策略、低成本且具有可擴(kuò)展性的永久性內(nèi)容歸檔。”
“這種轉(zhuǎn)變?cè)诩夹g(shù)上產(chǎn)生了對(duì)關(guān)鍵技術(shù)的新需求,我的工作就是將這些新需求變成現(xiàn)實(shí)。”Ivan Pittaluga這樣說(shuō)道。
作為昆騰大數(shù)據(jù)戰(zhàn)略的代表,StorNext的核心是共享的存儲(chǔ)平臺(tái),高速訪問(wèn)存儲(chǔ)文件,再加上文件存儲(chǔ)管理以及不同存儲(chǔ)介質(zhì)之間的分級(jí)存儲(chǔ)。
StorNext貫穿整個(gè)數(shù)據(jù)的生命周期,從左到右是數(shù)據(jù)的產(chǎn)生、獲取、分發(fā)和歸檔
最新StorNext 5.0的設(shè)計(jì)正是也為了符合新型數(shù)據(jù)流的趨勢(shì)。它重新設(shè)計(jì)了元數(shù)據(jù)的布局和空間分配,針對(duì)固態(tài)盤(pán)對(duì)元數(shù)據(jù)日志進(jìn)行優(yōu)化,提供FSM壓縮/未壓縮的兩級(jí)緩存,避免文件系統(tǒng)進(jìn)程訪問(wèn)磁盤(pán),更高密度地保存元數(shù)據(jù)。
此外還有文件碎片跟蹤記錄管理功能、固態(tài)盤(pán)優(yōu)化、LTFS磁帶歸檔、InfiniBand支持和重新設(shè)計(jì)的緩沖機(jī)制。按照昆騰的說(shuō)法,現(xiàn)在Stornext 5.0可以存儲(chǔ)50億個(gè)文件,數(shù)據(jù)規(guī)模達(dá)到數(shù)十PB。
除了可擴(kuò)展性和性能之外,新型數(shù)據(jù)流還需要永久數(shù)據(jù)保留和云存儲(chǔ)的技術(shù),代表產(chǎn)品就是昆騰從14財(cái)年第一季度剛剛開(kāi)始出貨的Lattus對(duì)象存儲(chǔ),其定位是作為高可擴(kuò)展且的永久性長(zhǎng)期磁盤(pán)歸檔。
Lattus主要用于保存海量數(shù)據(jù),有比較強(qiáng)的擴(kuò)展能力(100PB以上),可以將數(shù)據(jù)分布到多個(gè)不同地理位置,帶有自我治愈和自我遷移的功能,比傳統(tǒng)RAID使用的磁盤(pán)更少,所以成本更低。“對(duì)中國(guó)客戶來(lái)說(shuō),很難回答Lattus是否會(huì)取代RAID,準(zhǔn)確的說(shuō)它既可以作為RAID的替代品也是一種輔助。”
Lattus是多種技術(shù)的結(jié)合體:下一代對(duì)象存儲(chǔ),扁平的命名空間,將數(shù)據(jù)切塊直接存儲(chǔ)各個(gè)位置,得到一個(gè)key并采用HTTP REST接口;Forward Error correction(FEC)算法把編碼數(shù)據(jù)的多個(gè)副本分布保存到多個(gè)存儲(chǔ)節(jié)點(diǎn),這是一項(xiàng)已經(jīng)運(yùn)用于通信行業(yè)的成熟技術(shù)。
此外,Lattus還需要一種智能機(jī)制將數(shù)據(jù)從在線存儲(chǔ)搬到歸檔存儲(chǔ),層到層的拷貝,從二級(jí)存儲(chǔ)到客戶端的直接讀取,二級(jí)存儲(chǔ)之間的遷移,以及在線災(zāi)難恢復(fù)數(shù)據(jù)可訪問(wèn)。同時(shí),元數(shù)據(jù)可以分散到不同地理位置,這樣就可以異地更新目錄信息并直接訪問(wèn)在線存儲(chǔ)的數(shù)據(jù)。
在大數(shù)據(jù)概念出現(xiàn)之后,昆騰的StorNext從原來(lái)注重單個(gè)數(shù)據(jù)性能開(kāi)始轉(zhuǎn)向注重并發(fā)整體的數(shù)據(jù)性能要求,而且加強(qiáng)了高性能工作流以及Hadoop實(shí)時(shí)處理。
左邊是StorNext,右邊是Hadoop集群,上面橘色的是Lattus云存儲(chǔ)。Hadoop產(chǎn)生在線運(yùn)算,長(zhǎng)期不活躍的數(shù)據(jù)保存到StorNext,在根據(jù)智能策略遷移到Lattus。Hadoop只要通過(guò)API就可以直接訪問(wèn)Lattus上的數(shù)據(jù)。將來(lái),Hadoop可以將數(shù)據(jù)直接保存到StorNext主存儲(chǔ)或者直接存到Lattus,也可以通過(guò)這兩種路徑直接回取數(shù)據(jù)
除了硬件之外,昆騰在管理方面也做了針對(duì)大數(shù)據(jù)的設(shè)計(jì),提出了所謂的“Mint”——Management Interface。Mint是管理StorNext和其他昆騰產(chǎn)品的統(tǒng)一界面(1.0版本的發(fā)布是面向StorNext的),同時(shí)也是集成Lattus和Q-disk的開(kāi)放平臺(tái)。
Mint的主要功能包括系統(tǒng)管理、配置、警報(bào)、通知和健康檢查;性能監(jiān)控和儀表;提供關(guān)于趨勢(shì)、成本使用率、預(yù)測(cè)和扣款的報(bào)告,是針對(duì)企業(yè)級(jí)客戶的Web服務(wù)。
總的來(lái)看,盡管最新的財(cái)報(bào)數(shù)據(jù)有些令人擔(dān)憂,但是昆騰正在通過(guò)向大數(shù)據(jù)的積極轉(zhuǎn)型,調(diào)整著發(fā)展節(jié)奏,并期待借此注入新的增長(zhǎng)動(dòng)力。“昆騰在中國(guó)也在慢慢轉(zhuǎn)型,雖然目前中國(guó)大數(shù)據(jù)業(yè)務(wù)收入占總收入的20%,但是未來(lái)三到五年,我們的投資方向和收入增長(zhǎng)將全部放在大數(shù)據(jù)上。”
公司簡(jiǎn)介 | 媒體優(yōu)勢(shì) | 廣告服務(wù) | 客戶寄語(yǔ) | DOIT歷程 | 誠(chéng)聘英才 | 聯(lián)系我們 | 會(huì)員注冊(cè) | 訂閱中心
Copyright © 2013 DOIT Media, All rights Reserved. 北京楚科信息技術(shù)有限公司 版權(quán)所有.