AWS的存儲(chǔ)服務(wù)中,對(duì)象存儲(chǔ)Amazon S3肯定是最早的,已經(jīng)十四年了。其次,Amazon EBS是跟Amazon EC2主機(jī)綁定的塊存儲(chǔ)類型,作為性能最高的存儲(chǔ)類型,還承擔(dān)著運(yùn)行數(shù)據(jù)庫(kù)的重任,也早就引入了。第三階段才是文件存儲(chǔ),EFS發(fā)布的也比較早,而FSx最早是在2018年11月有了公開(kāi)信息,在部分可用區(qū)可用,而現(xiàn)在在中國(guó)區(qū)可用了。
雖然來(lái)的稍微晚了點(diǎn),但現(xiàn)在中國(guó)用戶看見(jiàn)的版本更成熟了,過(guò)去兩年時(shí)間內(nèi),F(xiàn)Sx在不斷更新特性,與AWS各種服務(wù)的集成,最近還剛添加了對(duì)于Amazon ECS的支持。對(duì)于中國(guó)用戶來(lái)說(shuō),初見(jiàn)即更為成熟階段,有需求的可以直接用了。
EFS是常用的NFS共享文件存儲(chǔ)服務(wù),也是AWS存儲(chǔ)家族中單位容量最貴的一個(gè),以性能穩(wěn)定著稱,能被上千個(gè)實(shí)例同時(shí)訪問(wèn)而沒(méi)有性能抖動(dòng),因?yàn)樵粕嫌肔inux的更多,所以,先照顧大多數(shù)人的EFS就更早推出了。其實(shí),F(xiàn)Sx也是對(duì)EFS很好的補(bǔ)充。
Amazon FSx for Windows File Server,讓W(xué)indows負(fù)載上云
而Amazon FSx for Windows File Server主要是給企業(yè)里的Windows用戶準(zhǔn)備的,方便Windows負(fù)載上云。雖然Amazon FSx for Windows File Server名字里帶Windows,并不是說(shuō)MacOS蘋(píng)果和Linux電腦不能用,只要支持SMB協(xié)議的就都可以訪問(wèn)FSx。
大中型企業(yè)為了IT管理方便都建了自己的Active Directory(簡(jiǎn)稱AD),F(xiàn)Sx for Windows File Server可以支持企業(yè)的AD,包括在云上的AD以及用戶本地原有的AD都可以支持,本地AD可以用VPN或者AWS Direct Connect來(lái)連。
畢竟現(xiàn)在企業(yè)辦公環(huán)境里的Windows用戶是主流,所以,F(xiàn)Sx for Windows File Server還是很有實(shí)用價(jià)值的。說(shuō)來(lái)也有點(diǎn)奇怪,有數(shù)據(jù)說(shuō),有超過(guò)一半的Window Server實(shí)例都運(yùn)行在AWS上,看來(lái)AWS對(duì)于Window支持還挺好的,或者只是說(shuō)明AWS的用戶群體太大了吧。
在沒(méi)有FSx for Windows File Server之前,用戶可以繼續(xù)用原來(lái)的本地共享文件存儲(chǔ)方案,只不過(guò)就沒(méi)法享受云的便利了,而如果想上云的話,可以選擇第三方搭建的方案,但也少不了跟底層的基礎(chǔ)架構(gòu)打交道,要經(jīng)常維護(hù)更新。而現(xiàn)在AWS有了這種全托管的方案,用戶直接拿來(lái)用就可以了。
知名的企業(yè)級(jí)應(yīng)用軟件及服務(wù)供應(yīng)商Infor以前在AWS上使用第三方的文件存儲(chǔ)方案,該方案成本高昂,難以擴(kuò)展和配置,也無(wú)法與AWS集成。遷移到Amazon FSx for Windows File Server之后,Infor將應(yīng)用程序部署從3天縮短到幾分鐘,實(shí)現(xiàn)了自動(dòng)備份,簡(jiǎn)化了應(yīng)用程序維護(hù)運(yùn)營(yíng)管理。另外,存儲(chǔ)成本降低了50%,這點(diǎn),數(shù)據(jù)去重功能功不可沒(méi)。
FSx的發(fā)布也能看作是云發(fā)展更為深入的表現(xiàn),因?yàn)橛性S多Windows的工作負(fù)載要遷向云,當(dāng)企業(yè)開(kāi)始越來(lái)越多的用上公有云,這種兼容原有資產(chǎn)的方案必然會(huì)越來(lái)越多。
Amazon FSx for Lustre,幫計(jì)算密集型負(fù)載上云
Amazon FSx for Lustre,Lustre是計(jì)算密集型集群最常用的開(kāi)源分布式文件存儲(chǔ)方案之一,包括機(jī)器學(xué)習(xí)、高性能計(jì)算和視頻渲染都屬于計(jì)算密集型負(fù)載。
Amazon FSx for Lustre是服務(wù)于計(jì)算密集型負(fù)載的,所以,性能很關(guān)鍵,它可以提供100+GB/s吞吐量,亞毫秒級(jí)的延遲,百萬(wàn)級(jí)的IOPS,支持?jǐn)?shù)以萬(wàn)計(jì)的計(jì)算實(shí)例共享訪問(wèn),性能不穩(wěn)完全扛不住。
在優(yōu)化成本方面,AWS強(qiáng)調(diào)Amazon FSx for Lustre可以與S3集成,在數(shù)據(jù)要被計(jì)算前,將數(shù)據(jù)存在S3里,在計(jì)算的時(shí)候把數(shù)據(jù)從S3加載到FSx里,計(jì)算完成后,再把輸出結(jié)果返回給S3。
Lustre始于1999年,Lustre的名字是Linux和Cluster兩個(gè)詞的組合,從名字上就能感受到它的影響力,Lustre以在HPC領(lǐng)域的應(yīng)用最為人所熟知,全世界差不多60%左右的高性能計(jì)算的應(yīng)用在用Lustre。
HPC是一個(gè)比較特殊的市場(chǎng),用戶群以高校和科研機(jī)構(gòu)為主,使用模式以自建機(jī)房為主,由于Lustre過(guò)于復(fù)雜,部署Lustre便成了非常痛苦的一件事,設(shè)計(jì)之初必須要預(yù)估好未來(lái)一段時(shí)間所需要承載能力,一次性購(gòu)買(mǎi)大量硬件,經(jīng)過(guò)幾個(gè)月的部署調(diào)試后才能上線。初期就需要投入大量成本,但最終用戶還是經(jīng)常面臨資源不夠用的窘境,排隊(duì)是常態(tài)。
新的使用模式是用云上的HPC資源,云上資源原則上是無(wú)限的,不用排隊(duì),按照用量付費(fèi),優(yōu)勢(shì)很明顯,而且,有了Amazon FSx for Lustre之后,完全不用考慮部署調(diào)優(yōu)的問(wèn)題。
Conductor Technologies是一家視覺(jué)效果公司,它的問(wèn)題在于存儲(chǔ)系統(tǒng)方面,包括部署,擴(kuò)容和管理效率都有問(wèn)題,使用了Amazon FSx for Lustre之后,作業(yè)啟動(dòng)時(shí)間壓縮了30%,渲染作業(yè)效率提升了4倍,簡(jiǎn)化管理的工作量,降低了使用成本,還提升了運(yùn)營(yíng)效率。
在采訪中,顧凡多次提到EDA(電子設(shè)計(jì)自動(dòng)化)公司也在用Amazon FSx for Lustre,從介紹中能感受到,用戶對(duì)于云上HPC資源的接受程度也是越來(lái)越高。
AWS云存儲(chǔ)與傳統(tǒng)企業(yè)存儲(chǔ)的關(guān)系
這是筆者第一次聽(tīng)AWS如此詳細(xì)的講述一項(xiàng)技術(shù)產(chǎn)品的發(fā)布,足見(jiàn)其對(duì)于該產(chǎn)品的重視,存儲(chǔ)產(chǎn)品固然重要,產(chǎn)品線的齊備對(duì)于接下來(lái)的市場(chǎng)拓展自然也非常重要。
FSx是幫助更多用戶上云的服務(wù),無(wú)論企業(yè)業(yè)務(wù)負(fù)載上云,還是說(shuō)將云放到離用戶更近的地方,總少不了與原有企業(yè)IT生態(tài)的合作。
發(fā)布會(huì)上,顧凡提到AWS與眾多合作伙伴的合作關(guān)系,與做主存儲(chǔ)的公司、做備份恢復(fù)、做數(shù)據(jù)歸檔、做災(zāi)備、做數(shù)據(jù)分析以及一些企業(yè)級(jí)應(yīng)用公司都有合作。
在談到AWS的存儲(chǔ)與傳統(tǒng)企業(yè)存儲(chǔ)的關(guān)系時(shí),他表示,兩者絕對(duì)不是互斥的關(guān)系,現(xiàn)在有越來(lái)越多的傳統(tǒng)企業(yè)存儲(chǔ)廠商在加入AWS生態(tài),在中國(guó),有很多相對(duì)新的做存儲(chǔ)的公司也在加入AWS生態(tài)。從根本上來(lái)看,兩者服務(wù)的是同一撥客戶。AWS首先會(huì)把內(nèi)功練到極致,但AWS不可能把所有技術(shù)解決方案全做了,AWS是需要存儲(chǔ)合作伙伴的,專業(yè)存儲(chǔ)廠商在一些技術(shù)方面累積了大量經(jīng)驗(yàn),兩者是能相互配合的。