能滿足上述需求比較常用的有:SANergy、Imagesan、StornextFS、BWFS、HyperFS、ASFS、等,既然是滿足類似的應(yīng)用需求,對(duì)于“卷共享軟件”和“SAN文件系統(tǒng)”之間的區(qū)別和聯(lián)系大家可能還并沒(méi)有特別的了解和關(guān)注,甚至不少存儲(chǔ)業(yè)界同仁也并不清楚其差別。讓我們一起來(lái)看一下兩者的實(shí)現(xiàn)原理:
卷共享軟件的實(shí)現(xiàn)原理與應(yīng)用價(jià)值
首先:“卷共享軟件”本身不包含文件系統(tǒng)的功能,所以沒(méi)有辦法獨(dú)立的工作,必須要依賴于傳統(tǒng)的本地文件系統(tǒng),換句話說(shuō)實(shí)際上“卷共享軟件+傳統(tǒng)的本地文件系統(tǒng)”和“SAN文件系統(tǒng)”完成類似的工作,實(shí)現(xiàn)對(duì)來(lái)自于SAN的同一個(gè)卷進(jìn)行同時(shí)讀寫操作。
以典型的“卷共享軟件”SANergy為例,看下他是如何工作的:文件系統(tǒng)層面采用本地文件系統(tǒng)進(jìn)行格式化,可以用NTFS、UFS(或者其他 SANergy支持的本地文件系統(tǒng)),SANergy將標(biāo)準(zhǔn)網(wǎng)絡(luò)文件協(xié)議(CIF或NFS)的數(shù)據(jù)I/O操作部分“劫持”從LAN重新定向到“由MDC所主導(dǎo)管理的且被所有客戶端所掛載并直接訪問(wèn)的來(lái)自于SAN的卷上的本地文件系統(tǒng)”。
這樣,如上圖所示,與傳統(tǒng)網(wǎng)絡(luò)文件協(xié)議(也就是傳統(tǒng)NAS)的訪問(wèn)方式相比較,好處是實(shí)現(xiàn)了“元數(shù)據(jù)”與“數(shù)據(jù)”的帶外傳輸,大幅度的提高了性能(例如單機(jī)FC可達(dá)到接近4Gb的速度)這種性能提升是傳統(tǒng)NAS架構(gòu)(標(biāo)準(zhǔn)CIFS協(xié)議、NFS協(xié)議)所無(wú)法企及的。
SAN文件系統(tǒng)的實(shí)現(xiàn)原理與應(yīng)用價(jià)值
“SAN文件系統(tǒng)”與“卷共享軟件+傳統(tǒng)的本地文件系統(tǒng)”方式的主要差別在于其不依賴于某一種本地文件系統(tǒng),而是采用了獨(dú)立自主的文件系統(tǒng)設(shè)計(jì)來(lái)更好的滿足網(wǎng)絡(luò)存儲(chǔ)條件下的應(yīng)用需求。
因?yàn)榉褐傅摹拔募到y(tǒng)”本身是滿足特定應(yīng)用需求而存在于發(fā)展的技術(shù)環(huán)境中的,而傳統(tǒng)的本地文件系統(tǒng)的設(shè)計(jì),大多數(shù)未能滿足需求和技術(shù)環(huán)境的發(fā)展,例如:不支持兩臺(tái)主機(jī)同時(shí)讀寫同一塊磁盤、32位條件下支持卷大小的限制、只能支持單卷或?qū)Χ嗑碇С植槐M如人意、只能支持主板總線與SAS等可靠的物理連接對(duì)于IP SAN這類半可靠連接時(shí)不時(shí)變成只讀等等。
采用“卷共享軟件+傳統(tǒng)的本地文件系統(tǒng)”只是解決了“不支持兩臺(tái)主機(jī)同時(shí)讀寫同一塊磁盤”這一個(gè)問(wèn)題,而采用獨(dú)立的文件系統(tǒng)的好處主要是更好的滿足了需求而順應(yīng)了技術(shù)環(huán)境的發(fā)展,對(duì)應(yīng)用帶來(lái)的好處主要有如下這幾點(diǎn):
1、SAN文件系統(tǒng)擺脫了本地文件系統(tǒng)的固有容量限制。
例如32 位windows操作系統(tǒng)下單個(gè)盤符2T容量的限制,在這種情況下如果32T盤就需要有16個(gè)盤符之多,使用與維護(hù)均不方便,有的項(xiàng)目中A-Z的英文字母都快被用完。有的方案中也采用某些方式加以破解容量限制,但在沒(méi)有廠商支持的情況下需要冒相當(dāng)大的風(fēng)險(xiǎn),曾經(jīng)出現(xiàn)過(guò)擴(kuò)容后不穩(wěn)定,造成數(shù)據(jù)丟失的嚴(yán)重事故。
2、SAN文件系統(tǒng)大多提供了包括高可用配置實(shí)現(xiàn)、各模塊服務(wù)、管理與監(jiān)控在內(nèi)的完整的整體解決方案。
反觀“卷共享軟件+傳統(tǒng)的本地文件系統(tǒng)”大多采用多種工具松散組合的方式,以SANergy+NTFS為例,需要用到來(lái)自不同廠商的工具與技術(shù)、服務(wù)等,包括CIFS、NTFS、MSCS等多種工具松散組合,組合完以后的功能缺失問(wèn)題、各個(gè)工具間配合問(wèn)題、大多數(shù)工具是通用工具存在的適用性等諸多問(wèn)題,這樣帶來(lái)不小維護(hù)與管理的風(fēng)險(xiǎn)。
3、SAN文件系統(tǒng)擺脫了本地文件系統(tǒng)的固有限制,實(shí)現(xiàn)真正的跨平臺(tái),支持包括64位windows、linux、Mac等多種操作系統(tǒng)的異構(gòu)共享。
由于現(xiàn)在滿足同一種業(yè)務(wù)可能同時(shí)用到2個(gè)以上的操作系統(tǒng),例如有客戶同時(shí)在使用windows和Mac并且在同一個(gè)FC SAN的環(huán)境中,windows這邊使用SANergy互相共享性能還不錯(cuò),但由于“SANergy+NTFS”無(wú)法同時(shí)支持Mac,所以windows 和Mac之間通過(guò)CIFS和AFP(需確認(rèn))在兩種操作系統(tǒng)間倒數(shù)據(jù)非常不方便和耗時(shí)(注意一個(gè)原理上的差別,不是SANergy這個(gè)“卷共享軟件”不支持Mac,而是“SANergy+NTFS”不支持Mac。)。采用了SAN文件系統(tǒng)以后就解決了這個(gè)問(wèn)題。
4、SAN文件系統(tǒng)對(duì)多卷的支持帶來(lái)很大的性能提升空間和安全保障,這也是不少?gòu)S商放棄卷共享軟件而轉(zhuǎn)向SAN文件系統(tǒng)的重要原因。
本地文件系統(tǒng)大多只支持單卷,所以性能提升空間就很有限,也限制了“卷共享軟件+傳統(tǒng)的本地文件系統(tǒng)”這種方式的應(yīng)用規(guī)模。就絕大多數(shù)的盤陣產(chǎn)品所支持的功能來(lái)看,一個(gè)卷只能來(lái)自于一個(gè)Raid組,而一個(gè)Raid組的性能提升空間是有限的(Raid組如果越大硬盤數(shù)量越多看起來(lái)性能帶寬應(yīng)該是越大才對(duì),但實(shí)際上隨著Raid組容量增大所需要承載的并發(fā)訪問(wèn)量也就越大,所面臨的就是并發(fā)訪問(wèn)量增加帶來(lái)的隨機(jī)性壓力問(wèn)題反而可能使Raid組性能下降)。
而SAN文件系統(tǒng)支持多卷,多卷可以來(lái)自多個(gè)Raid組甚至多個(gè)設(shè)備,這樣多卷磁盤輪動(dòng)效應(yīng)會(huì)帶來(lái)更大的性能提升空間,另外在線擴(kuò)容等高級(jí)功能,不支持多卷也是能難實(shí)現(xiàn)的。更重要的是從安全角度看,支持多卷多Raid以后,每個(gè)Raid組的大小就可以相對(duì)小,如果硬盤出問(wèn)題,Raid組Rebuild的時(shí)間就會(huì)明顯縮短(現(xiàn)在比較新的中端盤陣,在訪問(wèn)壓力較小的情況下,15塊1T盤Raid5的Rebuild時(shí)間大致是 16個(gè)小時(shí)左右,如果是老設(shè)備、或者訪問(wèn)壓力大、或者2T盤這種更大容量的時(shí)候Rebuild時(shí)間就會(huì)再增加很多;反而如果是做小的Raid,比如3組5 塊1T盤Raid5的Rebuild時(shí)間大致只有大Raid的1/4左右),而且即便考慮極端情況一個(gè)Raid組壞掉也只是影響部分?jǐn)?shù)據(jù)(而且高端的 SAN文件系統(tǒng)還有鏡象實(shí)時(shí)容災(zāi)解決方案),而“卷共享軟件+傳統(tǒng)的本地文件系統(tǒng)”模式下如果Raid很大Rebuild的時(shí)間長(zhǎng)數(shù)據(jù)丟失的風(fēng)險(xiǎn)就明顯大了很多,并且Raid組壞掉所有數(shù)據(jù)會(huì)全部丟失(很多數(shù)據(jù)丟失就是在Rebuild未完成之前又掉盤造成的)。
只支持單卷所帶來(lái)的“性能提升空間小和安全風(fēng)險(xiǎn)大”是“卷共享軟件+本地文件系統(tǒng)”方式為什么很少用在中高端上規(guī)模應(yīng)用中的核心原因之一,相信也是不少?gòu)S商放棄卷共享軟件而轉(zhuǎn)向SAN文件系統(tǒng)的重要原因。
采用本地文件系統(tǒng)的好處主要是配套工具相對(duì)比較成熟。
“卷共享軟件+傳統(tǒng)的本地文件系統(tǒng)”方式也有其獨(dú)特的優(yōu)勢(shì),本地文件系統(tǒng)配套工具相對(duì)比較成熟完善,例如磁盤碎片分析與整理工具,數(shù)據(jù)恢復(fù)工具等;在早期,“SAN文件系統(tǒng)”這些方面比較薄弱,現(xiàn)在大都得到了解決,成熟產(chǎn)品都提供了類似工具。
卷共享軟件和SAN文件系統(tǒng)典型產(chǎn)品的歷史與發(fā)展
1 卷共享軟件典型代表主要有IBM公司的SANergy和Rorke Data公司的Imagesan。
1.1 IBM Tivoli SANergy:
IBM的SANergy源于收購(gòu),Tivoli Systems, Inc.由Bob Fabbio, Todd Smith, Steven Marcie 和 Peter Valdes創(chuàng)建于1989年,是一家管理解決方案軟件解決方案提供商,其口號(hào)是“Intelligent management software for the on demand world.”。 IBM在1996年收購(gòu)了Tivoli Systems, Inc.。Tivoli SANergy作為Tivoli存儲(chǔ)管理產(chǎn)品線的重要組成部分也成為了IBM的產(chǎn)品。
SANergy在90年代是一款很有創(chuàng)新性的產(chǎn)品,在Tivoli和IBM的推動(dòng)下作為Tivoli存儲(chǔ)管理產(chǎn)品的基礎(chǔ)支撐平臺(tái),90年代和2000年代初在國(guó)外得到了相對(duì)廣泛的應(yīng)用;在國(guó)內(nèi)由于缺乏原廠商支持應(yīng)用相對(duì)較少,只在非編等極少數(shù)應(yīng)用領(lǐng)域盜版SANergy使用較多。到2000年代初隨著技術(shù)的發(fā)展,由于前面提到的問(wèn)題,卷共享軟件越來(lái)越滿足不了需求,IBM逐漸把重心放到新一代SAN文件系統(tǒng)IBM TotalStorage SAN File System(SFS)上來(lái),而最終放棄了SANergy,后續(xù)也不會(huì)繼續(xù)開發(fā)和維護(hù)SANergy了。
1.2 Rorke Data Imagesan
Rorke Data國(guó)內(nèi)翻譯叫柏科數(shù)據(jù)是一家具有25年歷史的數(shù)據(jù)存儲(chǔ)廠商與解決方案提供商。在2000年代初的2002年左右,Rorke Data推出了一款在當(dāng)時(shí)很有市場(chǎng)影響力的卷共享軟件產(chǎn)品Imagesan。Imagesan雖然也是需要依托并配合本地文件系統(tǒng)(支持NTFS或 HFS)才能正常工作的“卷共享軟件”,但I(xiàn)magesan比SANergy的一個(gè)優(yōu)勢(shì)就是對(duì)于客戶端來(lái)看到的是“一塊磁盤”而不是一個(gè)“網(wǎng)絡(luò)文件夾”,這樣就能夠?qū)崿F(xiàn)客戶端的二次共享功能。這樣就更加方便了用戶,增加了方案的靈活度。
據(jù)說(shuō)ImageSAN在北美做得還是不錯(cuò)的,但感覺(jué) ImageSAN在國(guó)內(nèi)做得一般、案例比較少,尤其是大型網(wǎng)絡(luò)系統(tǒng)中很少用到ImageSAN,非廣電行業(yè)對(duì)ImageSAN聽得就更少了。由于 Imagesan依然存在“卷共享軟件”所固有的技術(shù)制約,到2010年左右,Rorke Data放棄了“卷共享軟件”轉(zhuǎn)向“SAN文件系統(tǒng)”開始采用美國(guó)飛康的HyperFS,推出一款新的硬件整合型產(chǎn)品“HyperDrive”,2臺(tái) Aurora RAID配合HyperDrive能提供6GB/s的巨大帶寬,在數(shù)字媒體應(yīng)用領(lǐng)域取得了相當(dāng)大的成功。
2 SAN文件系統(tǒng)的典型代表主要有昆騰公司的StornextFS、中科藍(lán)鯨公司的BWFS、飛康公司的HyperFS、IBM公司的SFS。
2.1 昆騰SNFS(StornextFS)
昆騰(Quantum)的SNFS(StornextFS)同樣源自收購(gòu)。SNFS原來(lái)的名稱是CVFS(CentraVision File System)是MGISC(MountainGate Imaging Systems Corporation)的產(chǎn)品主要只用在Windows 和IRIX之間的文件共享交換。
在上個(gè)世紀(jì)末國(guó)內(nèi)用戶比較熟悉的ADIC(Advanced Digital Information Corporation)收購(gòu)了它并更名為現(xiàn)在的Stornext File System,還加入了Solaris、Linux、Mac等更多的操作系統(tǒng)支持,可以說(shuō)是ADIC把SNFS真正發(fā)揚(yáng)光大廣泛應(yīng)用的,更重要的是SNFS在ADIC時(shí)期由亞細(xì)亞智業(yè)(也就是現(xiàn)在的火星科技Mars)首先引入國(guó)內(nèi)并在遙感、廣電等行業(yè)得到了廣泛的應(yīng)用,到2006年8月昆騰收購(gòu)了ADIC獲得了SNFS。SNFS 最輝煌的時(shí)候占SAN文件系統(tǒng)市場(chǎng)份額,高達(dá)80%-90%,基本上處于壟斷的地位(直到出現(xiàn)后面的幾位競(jìng)爭(zhēng)對(duì)手),尤其是在國(guó)內(nèi)在當(dāng)時(shí)用戶基本沒(méi)有太多別的選擇。
現(xiàn)在StornextFS的最新版本是4.X,據(jù)說(shuō)后續(xù)還會(huì)推出基于StornextFS的SAN文件系統(tǒng)硬件整合產(chǎn)品——“SNi”,把StornextFS SAN文件系統(tǒng)集成到硬件當(dāng)中是什么效果,還是比較值得期待的。
2.2 中科藍(lán)鯨BWFS
中科藍(lán)鯨的BWFS(Blue Whale Clustered File System)是源自中國(guó)科學(xué)院計(jì)算技術(shù)研究所的科研成果,受到863、973等科研計(jì)劃的支持,是現(xiàn)在市場(chǎng)上Stornext的最主要競(jìng)爭(zhēng)對(duì)手。
1997年國(guó)家科學(xué)技術(shù)委員會(huì)組建國(guó)家高性能計(jì)算機(jī)工程技術(shù)研究中心NRCHPC,是計(jì)算機(jī)領(lǐng)域兩個(gè)國(guó)家級(jí)工程中心之一,以高性能計(jì)算和存儲(chǔ)做為主要研究方向,啟動(dòng)存儲(chǔ)研究;1999年根據(jù)中科院計(jì)算所對(duì)所內(nèi)研究中心方向的整體部署,NCIC專注高性能計(jì)算,NRCHPC研究方向作出戰(zhàn)略調(diào)整,全部精力轉(zhuǎn)移到制約高性能計(jì)算效率的高性能海量存儲(chǔ)相關(guān)技術(shù)研究上;2002年以BWFS為代表的藍(lán)鯨系列產(chǎn)品,產(chǎn)品化成功,藍(lán)鯨技術(shù)走出實(shí)驗(yàn)室,在實(shí)際生產(chǎn)中處取得成功;2005年以藍(lán)鯨存儲(chǔ)相關(guān)產(chǎn)品在市場(chǎng)上的成功為基礎(chǔ),計(jì)算所成立全資控股的藍(lán)鯨存儲(chǔ)種子孵化公司中科儲(chǔ)天公司,并把BWFS與相關(guān)的知識(shí)產(chǎn)權(quán)注入中科儲(chǔ)天公司;2007年在科學(xué)院與天津市院地合作背景下,做為院地合作二期示范項(xiàng)目,成立天津中科藍(lán)鯨公司,把BWFS藍(lán)鯨集群文件系統(tǒng)也轉(zhuǎn)入了中科藍(lán)鯨公司。
2008年BWFS以較大技術(shù)優(yōu)勢(shì)進(jìn)入數(shù)字媒體領(lǐng)域,在這個(gè)細(xì)分市場(chǎng)獲得廣泛應(yīng)用。2009年BWFS進(jìn)入國(guó)際市場(chǎng),成功應(yīng)用于北美、南美、歐洲等地諸多項(xiàng)目。
BWFS經(jīng)過(guò)近10年的磨練現(xiàn)在發(fā)展到5.X版本,獲得過(guò)國(guó)防科工和兵器工業(yè)科技進(jìn)步等獎(jiǎng)項(xiàng),除了在一些重大項(xiàng)目中起到打破國(guó)外廠商壟斷解決卡脖子問(wèn)題以外BWFS作為國(guó)家重點(diǎn)新產(chǎn)品計(jì)劃項(xiàng)目,在通用市場(chǎng)上BWFS以其創(chuàng)新的體系結(jié)構(gòu)和值得信賴的產(chǎn)品品質(zhì)已經(jīng)在媒體數(shù)據(jù)編輯與媒資管理、視頻監(jiān)控、流媒體播出、影視后期制作、勘探數(shù)據(jù)計(jì)算與分析、遙感信息處理、科學(xué)計(jì)算、電子政務(wù)等領(lǐng)域獲得廣泛應(yīng)用。
并且中科藍(lán)鯨還推出了基于BWFS的SAN文件系統(tǒng)硬件整合產(chǎn)品線藍(lán)鯨集群存儲(chǔ)BWStor,BWStor CSA整合了MDC服務(wù)器、BWStor BW系列整合了存儲(chǔ)設(shè)備,尤其在2010年BIRTV上發(fā)布的BWStor BW2000,由于BW2000整合了BWFS到雙控標(biāo)準(zhǔn)iSCSI設(shè)備中所以具有BWFS的多數(shù)優(yōu)秀特征,在解決卷共享軟件(例如SANergy)的諸多問(wèn)題方面,例如支持Win7、支持新的64位操作系統(tǒng)、解決2T容量限制、以及卷共享軟件的安全風(fēng)險(xiǎn)等方面都做得相當(dāng)不錯(cuò),很受用戶好評(píng),常被用于替代或升級(jí)卷共享軟件管理下的SAN網(wǎng)絡(luò),例如用于原有非編制作網(wǎng)SANergy升級(jí)項(xiàng)目。
2.3 飛康HyperFS
HyperFS是由美國(guó)飛康軟件2008年推出的產(chǎn)品,HyperFS雖然推出時(shí)間較短,但應(yīng)用已經(jīng)比較廣泛;已經(jīng)得到了Media and Entertainment Conglomerate等諸多重要用戶的青睞;并且前面已經(jīng)提到過(guò)Rorke Data也放棄了卷共享軟件轉(zhuǎn)而采用HyperFS這個(gè)SAN文件系統(tǒng)產(chǎn)品與其Aurora RAID配合組建HyperDrive。另外飛康還與SeaChange宣布簽署策略O(shè)EM結(jié)盟協(xié)議,SeaChange整合FalconStor HyperFS文件系統(tǒng)至新款SeaChange Universal MEdiaLibrary中。
HyperFS提供了一個(gè)高效能、高延展性的文件系統(tǒng),適用于產(chǎn)生密集大型檔案資料的相關(guān)應(yīng)用。 HyperFS 文件系統(tǒng)可以簡(jiǎn)化大型檔案的管理,透過(guò)全域儲(chǔ)存池同時(shí)提供高速、低延遲的檔案存取,滿足媒體和娛樂(lè)市場(chǎng)應(yīng)用的要求。借著HyperFS文件系統(tǒng),即使是最困難的效能和延展性挑戰(zhàn),都能夠用經(jīng)濟(jì)實(shí)惠、迅速的方式輕松解決。視訊和串流作業(yè)流程得以快速執(zhí)行,用戶可以更有效的分享資料,儲(chǔ)存管理也不再是負(fù)擔(dān)。
藉由提供單一全局命名空間(global name space),HyperFS 能夠優(yōu)化儲(chǔ)存效能,提供超過(guò)100 petabytes 易于延展的儲(chǔ)存容量,和數(shù)個(gè)gigabyte的傳輸頻寬。它支援大量的資料集(data sets),單一檔案可以大到32TB,以及異質(zhì)多使用者的同步存取。HyperFS文件系統(tǒng)可以在任何儲(chǔ)存硬體上執(zhí)行,提供儲(chǔ)存子系統(tǒng)充分的獨(dú)立性,并且支援Mac OS X、Microsoft Windows 和Linux 的用戶端。 結(jié)合卓越的技術(shù)支援和彈性的部署方式,HyperFS 文件系統(tǒng)是最理想的解決方案,滿足媒體和娛樂(lè)工業(yè)對(duì)視訊和串流相關(guān)應(yīng)用工作流程的眾多要求??赏瑫r(shí)提供數(shù)百個(gè)高畫質(zhì)(high-definition, HD)和數(shù)千個(gè)標(biāo)準(zhǔn)(standard-definition, SD)的視訊串流應(yīng)用。
2.4 IBM TotalStorage SAN File System(簡(jiǎn)稱SFS或SanFS)
TotalStorage SAN File System。在前面提到過(guò)在2000年代初隨著技術(shù)的發(fā)展,由于卷共享軟件SANergy越來(lái)越滿足不了需求,IBM逐漸把重心放到新一代SAN文件系統(tǒng)IBM TotalStorage SAN File System(簡(jiǎn)稱SFS或SanFS)上來(lái)。SFS采用了先進(jìn)的典型SAN文件系統(tǒng)架構(gòu),采用SAN作為整個(gè)文件系統(tǒng)的數(shù)據(jù)存儲(chǔ)和傳輸路徑,采用帶外 (out-of-band)結(jié)構(gòu),將文件系統(tǒng)原數(shù)據(jù)在高速以太網(wǎng)上傳輸,由專門的原數(shù)據(jù)服務(wù)器(MDS)來(lái)處理和存儲(chǔ)。
SFS采用了基于策略的文件數(shù)據(jù)位置選擇方法,能有效地利用系統(tǒng)的資源,提高性能,降低成本。SFS與SVC(IBM TotalStorage SAN Volume Controller)一道被譽(yù)為IBM隨需應(yīng)變信息戰(zhàn)略的重要基石——存儲(chǔ)虛擬化的兩大法寶。到2007年4月20日,SFS被IBM放棄掉了,止步于 2.2.3版本,取而代之的是同一時(shí)期另一條產(chǎn)品線的產(chǎn)品General Parallel File System (GPFS),GPFS也是一款優(yōu)秀的產(chǎn)品,但其并不支持FC SAN直聯(lián)客戶端這一重要功能。
隨著應(yīng)用需求的發(fā)展,大家都會(huì)遇到各種各樣的關(guān)于卷共享軟件和SAN文件系統(tǒng)方面的問(wèn)題,非常歡迎業(yè)界的朋友與筆者共同探討有關(guān)存儲(chǔ)問(wèn)題。