除了極少的用戶仍然在使用非LTO格式磁帶,LTO幾乎成為磁帶的“唯一格式”,LTO現(xiàn)在可能也是唯一還在繼續(xù)支持未來(lái)2~3代路線圖的磁帶技術(shù)。
前有業(yè)界對(duì)磁帶可靠性與應(yīng)用領(lǐng)域的唱衰,后有磁盤技術(shù)的圍追堵截,加之SSD對(duì)磁盤正在形成壓倒性優(yōu)勢(shì),磁盤對(duì)磁帶的進(jìn)攻必然將越發(fā)激烈,磁帶——或者說(shuō)是LTO——到底能否堅(jiān)持到LTO-8出現(xiàn)的那一天?
Bruce Master
5月31日,在2011中國(guó)SNW大會(huì)上,來(lái)自LTO聯(lián)盟的LTO項(xiàng)目高級(jí)經(jīng)理同時(shí)也是IBM旗下磁帶與存檔系統(tǒng)的負(fù)責(zé)人Bruce Master以及HP公司企業(yè)業(yè)務(wù)集團(tuán)服務(wù)器、存儲(chǔ)和網(wǎng)絡(luò)事業(yè)部存儲(chǔ)產(chǎn)品部高級(jí)業(yè)務(wù)拓展經(jīng)理張梅生女士,作為L(zhǎng)TO聯(lián)盟的代表,回答了有關(guān)磁帶發(fā)展的問(wèn)題。
磁帶:身在逆境談復(fù)興
磁盤技術(shù)的每一次發(fā)展,都像是在為磁帶吹響警鐘,從自動(dòng)精簡(jiǎn)配置到重復(fù)數(shù)據(jù)刪除,再到磁盤到磁盤的D2D備份技術(shù)——尤其是在將D2D技術(shù)和重復(fù)數(shù)據(jù)刪除技術(shù)整合之后,類似DataDomain這類的磁盤備份解決方案,將磁帶在備份市場(chǎng)的最后努力連根拔起。
磁帶經(jīng)歷過(guò)過(guò)去差不多六十年的存儲(chǔ)發(fā)展,在最開(kāi)始曾作為主存儲(chǔ)介質(zhì),但很快被IBM所發(fā)明的磁盤技術(shù)所取代,差不多在那個(gè)時(shí)候,也就是大約50年左右,就有人認(rèn)為磁帶會(huì)被磁盤所消滅,但是磁帶卻奇跡般的頑強(qiáng)的生存了下來(lái),并依次開(kāi)始進(jìn)入備份、遠(yuǎn)程災(zāi)備和離線備份市場(chǎng),到現(xiàn)在,磁帶只不過(guò)是又被從一個(gè)占據(jù)差不多30年的市場(chǎng)擠壓出來(lái)而已。磁帶并非沒(méi)有經(jīng)歷過(guò)這樣的情況。
既然在備份市場(chǎng)深陷囧境——就像是50年前被從主存儲(chǔ)系統(tǒng)趕出來(lái)一樣——磁帶開(kāi)始巡展新的能夠復(fù)興的市場(chǎng)機(jī)會(huì),而這一機(jī)會(huì)目前普遍被認(rèn)為是歸檔市場(chǎng)。關(guān)系到磁帶能否借助歸檔市場(chǎng)復(fù)蘇的核心問(wèn)題是:多少數(shù)據(jù)可以或應(yīng)該存儲(chǔ)在歸檔中?答案很可能是差不多所有數(shù)據(jù)。
LTO-6、7、8還在路線圖上,這也就意味著,LTO聯(lián)盟至少未來(lái)6~7年都還有不少事情要做。
一個(gè)粗略的估計(jì)是80%的歸檔是固定內(nèi)容數(shù)據(jù),不過(guò)這個(gè)比例很可能還偏小了。大部分?jǐn)?shù)據(jù)在創(chuàng)建的時(shí)候就是固定的,比如發(fā)送和接受的電子郵件或醫(yī)療數(shù)字圖像。考慮到大部分非結(jié)構(gòu)化數(shù)據(jù)(這種數(shù)據(jù)構(gòu)成了大多數(shù)公司中增長(zhǎng)最快的數(shù)據(jù)群)也是固定的。一個(gè)未完成的交易(結(jié)構(gòu)化數(shù)據(jù))或一個(gè)未完成的文字處理文檔(半結(jié)構(gòu)化數(shù)據(jù))不是固定內(nèi)容,但是在數(shù)據(jù)庫(kù)中的多數(shù)數(shù)據(jù)或在服務(wù)器中的多數(shù)文件不太可能再發(fā)生改變,因此,一個(gè)組織的絕大部分?jǐn)?shù)據(jù)可以放入歸檔。
第二個(gè)問(wèn)題是:為什么數(shù)據(jù)還沒(méi)有被歸檔?有許多答案。一方面,一個(gè)歸檔意味著需要良好的數(shù)據(jù)保留管理策略,對(duì)于許多企業(yè)來(lái)說(shuō)這是比較難以達(dá)到的。我們可以說(shuō)數(shù)據(jù)保留實(shí)踐是比較少的,除了那些通常在磁帶上執(zhí)行的深度歸檔。
這很符合如今的“大數(shù)據(jù)”理念:并不僅僅只是大文件數(shù)據(jù),同時(shí)包括極為龐大的數(shù)據(jù)量這一概念,因此,IBM宣布推出了一批與磁帶有關(guān)的新產(chǎn)品,包括一種新的磁帶格式和一些面向其高端磁帶庫(kù)產(chǎn)品的機(jī)械臂新產(chǎn)品——IBM將磁帶定位為數(shù)據(jù)存儲(chǔ)中的集成歸檔層。
是否繼續(xù)使用磁帶其實(shí)不是什么問(wèn)題,用戶會(huì)給出自己的選擇。
大數(shù)據(jù)是最近才被EMC等廠商熱炒起來(lái)的概念,除去浮華的泡沫,龐大的數(shù)據(jù)規(guī)模確實(shí)意味著“差不多這些數(shù)據(jù)都要被歸檔而歸檔的數(shù)據(jù)量將會(huì)是空前的龐大”,但這也并不意味著磁帶僅僅是打算盤踞在歸檔市場(chǎng)——占山為王終有被招安的一天,所以LTO聯(lián)盟為磁帶尋找了新的方向:在磁帶上做文件系統(tǒng)。這也是磁帶的復(fù)興計(jì)劃的一部分。
不過(guò),磁帶復(fù)興的關(guān)鍵問(wèn)題是:磁帶到底有哪些是磁盤無(wú)法替代的?LTO又計(jì)劃做出哪些讓磁盤無(wú)法替代的技術(shù)或是功能,作為磁帶行業(yè)最后一個(gè)建成運(yùn)營(yíng)的聯(lián)盟,IBM、HP和昆騰的聯(lián)盟,在三家供應(yīng)商都擁有豐富的磁盤備份甚至是磁盤歸檔產(chǎn)品的今天,是否仍然牢固?
LTO容量與性能線性發(fā)展的矛盾
算機(jī)所用的磁帶大概已經(jīng)存續(xù)了60年左右的時(shí)間。這項(xiàng)技術(shù)比目前大多數(shù)技術(shù)行業(yè)從業(yè)人士還要年長(zhǎng)。 由于磁帶備份市場(chǎng)的規(guī)模已經(jīng)遠(yuǎn)遠(yuǎn)小于歸檔市場(chǎng)的規(guī)模,磁帶遷移就成為磁帶行業(yè)現(xiàn)在面臨的最大問(wèn)題之一。大規(guī)模歸檔方案的數(shù)據(jù)遷移通常會(huì)是一個(gè)連續(xù)的過(guò)程。
因此,即使是計(jì)劃做歸檔,磁帶仍然有一個(gè)問(wèn)題成為軟肋:磁帶的密度每隔18個(gè)月到24個(gè)月就會(huì)增加一倍,但是同期磁帶的性能大約只能提升20%——這意味著即便磁帶驅(qū)動(dòng)器數(shù)量不再增加,遷移歸檔數(shù)據(jù)所需的時(shí)間也將越來(lái)越長(zhǎng)!
當(dāng)然,企業(yè)也可以選擇不做遷移,畢竟LTO的每代延續(xù)性是非常好的,但另一個(gè)問(wèn)題是:磁帶驅(qū)動(dòng)器的某些接口如光纖通道1Gb和2Gb已經(jīng)不再被業(yè)界支持。如果不進(jìn)行遷移,磁帶庫(kù)的數(shù)量就會(huì)增加,那必然導(dǎo)致成本的大幅上升。
從前一的角度來(lái)說(shuō),LTO-5還是慢了些,遷移一盤磁帶4個(gè)小時(shí),對(duì)于數(shù)據(jù)中心大量的數(shù)據(jù)——PB就快成為日常的數(shù)據(jù)量單位——來(lái)說(shuō),LTO-5速度確實(shí)慢了些。
于是,問(wèn)題就歸結(jié)為磁帶不斷膨脹的壓縮后可用容量增長(zhǎng)和傳輸速率的矛盾:LTO-1、2、3、4、5格式磁帶的容量分別為200GB、400GB、800GB、1.6TB和3TB,傳輸速率最低為40MB/s,相對(duì)較高的LTO-4和5為240MB/s和280MB/s,如果說(shuō)這還是在可接受范圍內(nèi)的話,LTO-6、7、8的8TB、16TB、32TB則僅僅對(duì)應(yīng)525MB/s、788MB/s和1180MB/s的速率,簡(jiǎn)單的對(duì)比能夠發(fā)現(xiàn),這兩個(gè)數(shù)值的變化并非是線性增長(zhǎng)的。
對(duì)此,Bruce Master認(rèn)為基于歸檔應(yīng)用的特點(diǎn),“LTO-5目前的傳輸速率是足夠的,對(duì)于LTO-6及以后的LTO格式,傳輸速率對(duì)于容量來(lái)說(shuō)都是匹配的。”在Bruce Master看來(lái),歸檔應(yīng)用對(duì)時(shí)效性的追求并不高,280MB/s的速度裝滿一盤3TB的磁帶所需要的時(shí)間不超過(guò)4個(gè)小時(shí),對(duì)于歸檔來(lái)說(shuō)是足夠的。與備份不同,歸檔并不需要“立等可取”的緊迫的時(shí)效性的特性。
但另外的問(wèn)題是如果用戶需要遷移磁帶——按照LTO聯(lián)盟的建議,磁帶上的數(shù)據(jù)至少在5~6年內(nèi),需要遷移到新一代的更大容量更高性能的磁帶上,不僅為了保證兼容性也是為了獲得更好的成本效益——如此大量的數(shù)據(jù)的遷移,LTO現(xiàn)有的性能是否夠用?
Bruce Master認(rèn)為,磁帶遷移是磁帶整體成本的一部分,而從整體來(lái)看,磁帶的成本和遷移的速度不會(huì)影響磁帶本身的成本。
磁帶歸檔的隱性成本:遷移
Bruce Master在現(xiàn)場(chǎng)為與會(huì)的媒體對(duì)比了虛擬磁帶庫(kù)、SATA磁盤和磁帶的長(zhǎng)期歸檔成本,其中,具有重復(fù)數(shù)據(jù)刪除功能的虛擬磁帶庫(kù)的5年備份與DR成本研究中,重復(fù)數(shù)據(jù)刪除率為15:1的虛擬磁帶庫(kù)的成本比LTO-5磁帶庫(kù)要高3~4倍;歷時(shí)12年的TCO存檔研究中,基于SATA磁盤的方案,僅其能耗成本一項(xiàng),就已經(jīng)超過(guò)基于磁帶的解決方案的整個(gè)TCO成本。
由于Bruce Master并未直接介紹在5年或12年的方案中,是否有過(guò)磁帶遷移情況出現(xiàn),有與會(huì)媒體對(duì)此提出了質(zhì)疑,認(rèn)為在更長(zhǎng)期的——如15年、20年、30年的周期內(nèi)——磁帶歸檔必然要經(jīng)過(guò)多次的遷移,這很可能導(dǎo)致磁帶歸檔成本的上升:受限于速度、磁帶的更新、耗費(fèi)的時(shí)間和能耗,磁帶遷移的成本很可能會(huì)導(dǎo)致磁帶解決方案整體成本的上升。
“5年和12年的情況下,都有遷移的成本考慮進(jìn)去。” Bruce Master表示,在兩個(gè)研究案例中,ESG和Clipper兩家分析機(jī)構(gòu)都考慮了磁帶的遷移成本,而計(jì)算進(jìn)成本的磁帶遷移仍然難以撼動(dòng)磁帶的長(zhǎng)期歸檔應(yīng)用的低成本效益。
但磁帶的遷移模式是根據(jù)歸檔數(shù)據(jù)所使用的數(shù)據(jù)使用模式的不同而不同的,歸檔支持需要多長(zhǎng)的時(shí)間?對(duì)工作時(shí)間的利用情況如何?由于歸檔經(jīng)常發(fā)生變化,因此很難判斷歸檔負(fù)載是多少。因此,企業(yè)必須準(zhǔn)備更多的磁帶驅(qū)動(dòng)器,因?yàn)槟切?qū)動(dòng)器的使用時(shí)間通常都比預(yù)期的時(shí)間更長(zhǎng)一些。這很可能導(dǎo)致少部分企業(yè)的磁帶遷移成本非常高昂。
用磁帶做歸檔層仍然比磁盤要好。
這通常會(huì)變成一個(gè)預(yù)算平衡的問(wèn)題,舊式磁帶驅(qū)動(dòng)器的成本通常很低,但新式磁帶驅(qū)動(dòng)器的成本要高得多。等待遷移的時(shí)間越長(zhǎng),磁帶驅(qū)動(dòng)器和磁帶的成本就越低,但是遷移舊式磁帶驅(qū)動(dòng)器上的所有數(shù)據(jù)所需的時(shí)間就越長(zhǎng)。 因此,很難決定最佳的成本模型。
大多數(shù)歸檔系統(tǒng)都必須先將數(shù)據(jù)從舊式磁帶上讀取出來(lái),寫入磁盤,然后再?gòu)拇疟P上讀取出來(lái),寫入新式磁帶。如果歸檔系統(tǒng)要求在遷移過(guò)程中使用磁盤,那么企業(yè)還需要輔助存儲(chǔ)空間和帶寬來(lái)支持遷移。增加的數(shù)量取決于企業(yè)有多少備用的帶寬和存儲(chǔ)空間。例如,完全讀取LTO-4磁帶的數(shù)據(jù)并將數(shù)據(jù)寫入LTO-5磁帶就需要大量的存儲(chǔ)空間和帶寬。
如果企業(yè)想一次性讀取和寫入,那么你就必須準(zhǔn)備1.5TB的存儲(chǔ)空間以及140MB/s的數(shù)據(jù)寫入帶寬和240MB/s的數(shù)據(jù)讀出帶寬。這可能會(huì)占用很大一部分RAID控制器的帶寬,大約是8Gb/s光纖通道支持帶寬的30%左右。
不過(guò),Bruce Master認(rèn)為磁帶仍然有殺手锏,那就是單位容量的低價(jià)格:“LTO-5每GB未經(jīng)壓縮的容量?jī)r(jià)格是5美分,這低于所有的磁盤。”由于LTO-6很可能在明后兩年上市,LTO-5磁帶的性價(jià)比肯定會(huì)進(jìn)一步的提升。
LTO進(jìn)步LTFS:文件系統(tǒng)的墻角不好挖
IBM還宣布推出了利用Linear Tape File System Library Edition(LTFS LE)連接特定IBM磁帶庫(kù)的文件系統(tǒng)。該系統(tǒng)是由IBM研究室研發(fā)而成,可為客戶提供一種簡(jiǎn)單且經(jīng)濟(jì)有效的訪問(wèn)和管理海量歸檔數(shù)據(jù)和數(shù)字資產(chǎn)的方法。IBM表示,LTFS客戶現(xiàn)在可以更高效地索引、搜索、檢索和共享存儲(chǔ)在開(kāi)放磁帶格式Generation 5 LTO磁帶上的數(shù)據(jù)。
LTFS是基于LTO磁帶格式設(shè)計(jì)的磁帶文件系統(tǒng),與五年前夭折的HPTFS不同,LTFS不僅是建立在LTO-5這一更大容量基礎(chǔ)上的線性磁帶文件系統(tǒng),除了自描述特性外,LTFS能夠完整保留復(fù)制來(lái)源的目錄結(jié)構(gòu),這也就保證了磁帶上的文件系統(tǒng)結(jié)構(gòu)與來(lái)自磁盤的時(shí)候“一摸一樣”。
磁帶曾經(jīng)是順序讀、順序?qū)懙拇斫橘|(zhì),如今,磁帶開(kāi)始走出這個(gè)桎梏。
LTFS格式利用了LTO-5的2個(gè)分區(qū)分別作為索引分區(qū)與數(shù)據(jù)分區(qū),數(shù)據(jù)分區(qū)中存放了所有的數(shù)據(jù)內(nèi)容與meta data,而索引分區(qū)則存放數(shù)據(jù)分區(qū)中數(shù)據(jù)的附屬子集與附加meta data。
兩個(gè)分區(qū)共同構(gòu)成LTFS Volume,每個(gè)分區(qū)的起始都是用于識(shí)別的標(biāo)簽(Label)區(qū)段,其后則是存放索引或數(shù)據(jù)內(nèi)容的區(qū)段,不同區(qū)段間則以檔案標(biāo)記(file mark)區(qū)隔。
當(dāng)LTFS Volume掛載起來(lái)后,索引區(qū)塊中的索引數(shù)據(jù)便會(huì)被讀進(jìn)計(jì)算機(jī)的主存儲(chǔ)器,接下來(lái)系統(tǒng)便可利用這些位于主存儲(chǔ)器中的索引數(shù)據(jù),去存取數(shù)據(jù)分區(qū)中的檔案。用戶在格式化磁帶時(shí),也可將索引分區(qū)中的部分區(qū)域作為快取區(qū),將符合設(shè)定條件的檔案從數(shù)據(jù)分區(qū)寫到索引分區(qū),如此當(dāng)LTFS Volume掛載時(shí),索引分區(qū)中的快取數(shù)據(jù)就會(huì)被讀進(jìn)主存儲(chǔ)器中的快取區(qū),藉以加速特定檔案的存取。
需要特別注意的是,LTFS格式并非僅能支持LTO-5磁帶,理論上只要能提供雙分割區(qū)功能的磁帶,都能應(yīng)用LTFS。如IBM便宣稱當(dāng)其專屬的3592磁帶規(guī)格在第4代產(chǎn)品中支持雙分割區(qū)功能后,也將具備使用LTFS格式的能力。不過(guò)目前唯一能提供雙分割區(qū)功能的磁帶規(guī)格只有LTO-5,這也讓當(dāng)前的LTFS成為只有LTO-5磁帶可使用的功能。
在實(shí)際應(yīng)用中,要讓LTFS格式發(fā)生效用,必須透過(guò)LTFS軟件。LTFS軟件主要有兩個(gè)作用:將磁帶機(jī)中的磁帶格式化為L(zhǎng)TFS格式,并將LTFS格式磁帶掛載到操作系統(tǒng)上,或從操作系統(tǒng)中卸除。
由于識(shí)別、存取LTFS格式磁帶牽涉到磁帶機(jī)的驅(qū)動(dòng)程序與固件,所以LTFS軟件都是由LTO磁帶機(jī)廠商所推出,且須搭配該廠商的磁帶機(jī)硬件才能使用——這也就造成了LTFS可能造成的用戶鎖定,對(duì)于目前僅有的IBM、HP和昆騰三家主流廠商的LTO聯(lián)盟來(lái)說(shuō),這并不是一個(gè)特別好的消息。
不過(guò),在介紹中,Bruce Master表示“可以直接通過(guò)任意應(yīng)用程序在磁帶上訪問(wèn)文件”,相信這句話所說(shuō)的“任意程序”,指的是操作系統(tǒng)中的應(yīng)用程序。
Bruce Master表示,LTFS的潛在應(yīng)用包括一般性的視頻負(fù)載、數(shù)字視頻監(jiān)控、醫(yī)療健康影像等,據(jù)他透露,類似《加勒比海盜4》這樣的電影制作團(tuán)隊(duì),就在使用基于LTO-5技術(shù)的LTFS系統(tǒng)平臺(tái)作為視頻文件的存儲(chǔ)后端。