感謝堅持到現(xiàn)在的各位,現(xiàn)在比較晚了,還要感謝前面的嘉賓,比方說同樣是來自深圳的杉巖在時間上把控的非常好,我參加過很多會,下午五點鐘開始的議題能夠按時開始的很少。
今天我?guī)磉@個分享的題目正好和大會的題目吻合,“新存儲,贏未來”是我們公司的slogon,今天這個存儲峰會主題也是說的“新存儲,新常態(tài),新應(yīng)用”,說明現(xiàn)在確實處于一個變革的階段,變革的時期,大家都在強(qiáng)調(diào)新,而且這種變革的速度只會越來越快,就像剛才說的“嚇尿指數(shù)”,越來越短。而我們說的“贏未來”的含義是幫助我們的合作伙伴、幫助我們的客戶贏未來。
這里談到對象存儲,今天很多嘉賓包括上午的主會場還有下午的分會場,不斷有嘉賓講到對象存儲,說對象存儲是未來,說明大家都看到對象存儲的趨勢,那現(xiàn)在我們就專門把對象存儲作為一個主題來談一談,我們公司叫OStorage,大家記住英文名字就可以了,當(dāng)然能知道中文名字“奧思數(shù)據(jù)”更好,OStorage其實就是對象存儲Object Storage的縮寫,我們公司相信將來每一個機(jī)構(gòu)、每一個企業(yè)都需要對象存儲。
今天第一位嘉賓狒哥說到IDC一些預(yù)測,我們這張圖也是IDC預(yù)測,從2013年4.4ZB增長到2020年44ZB,我相信到PB這個量級大家已經(jīng)很熟悉了,44個ZB也就是說44兆PB是將來全球數(shù)據(jù)量。而其中90%的數(shù)據(jù)量增長來自于非結(jié)構(gòu)化數(shù)據(jù),我相信在座都是搞存儲,所以也不需要特別花時間講什么是非結(jié)構(gòu)化數(shù)據(jù)了,實際生產(chǎn)生活中產(chǎn)生的很多數(shù)據(jù)都,例如說文檔、照片、視頻、醫(yī)療影像,基因測序數(shù)據(jù),搖桿數(shù)據(jù)、科學(xué)觀測數(shù)據(jù)等等都是非結(jié)構(gòu)化數(shù)據(jù)。如果只是數(shù)據(jù)量增長還不足以推動對象存儲它的這個變革,還不足以達(dá)到說將來每一個公司每一個機(jī)構(gòu)每一個企業(yè)每一個政府部門都需要對象存儲,現(xiàn)在是隨著數(shù)據(jù)量增長,同時伴隨另外一種挑戰(zhàn),就是數(shù)據(jù)管理、數(shù)據(jù)訪問、數(shù)據(jù)使用方式的變化,例如整合多數(shù)據(jù)中心資源、突破地域限制分布數(shù)據(jù)、對海量數(shù)據(jù)支持高并發(fā)和高可用的訪問、安全的數(shù)據(jù)共享、支持虛擬化和Docker等新的IT技術(shù)……這些是新的需求,在這種情況下,伴隨著數(shù)據(jù)量增長,傳統(tǒng)NAS就捉襟見肘了,人們就需要轉(zhuǎn)向?qū)ο蟠鎯Α?/p>
所以后面是舉了一些例子,比如金融領(lǐng)域現(xiàn)在隨著遠(yuǎn)程辦卡、票據(jù)電子化、互聯(lián)網(wǎng)金融等新業(yè)務(wù)的開展,產(chǎn)生越來越多的圖片、影像、音頻等數(shù)據(jù),而且金融客戶都要求跨數(shù)據(jù)中心多活、雙活等,再比如交通、安防,僅北京市的交通探頭一天的視頻數(shù)據(jù)就達(dá)到了PB級,一個商業(yè)地產(chǎn)公司每天要存儲和管理來自一個地域內(nèi)分布在不同城市的停車場的圖片、視頻數(shù)據(jù),比如萬達(dá)在珠三角區(qū)域的幾十個商場,數(shù)據(jù)量大而且要分布存儲、統(tǒng)一管理,這些視頻和圖片存儲是分布在各個城市或者同一城市相距數(shù)十公里的多個地方、但是管理要統(tǒng)一。傳統(tǒng)文件系統(tǒng)設(shè)計上一個方面是層層嵌套的目錄樹,另外一方面對隨機(jī)寫特別重視POSIX文件系統(tǒng)接口,這兩方面原因?qū)е孪到y(tǒng)的Scalability(可擴(kuò)展性)沒有辦法做到特別好,對數(shù)據(jù)遠(yuǎn)程分布和共享訪問支持不能夠支持的特別好。
所以我們就想辦法,怎么解決上面的問題,首先把命名空間扁平化,然后另外提供更簡潔的數(shù)據(jù)讀寫接口,一方面便于實現(xiàn)剛才我們說的可擴(kuò)展性,另外一方面實際上讓編程變得更加容易,那現(xiàn)在當(dāng)我們思考這個問題反過來想難道以前這個人就故意設(shè)計出來這樣的復(fù)雜的編程接口嗎,傳統(tǒng)文件系統(tǒng)接口的目的是什么,傳統(tǒng)文件系統(tǒng)中這兩個比較根本的設(shè)計源于上個世紀(jì)六七十年代,是滿足那時候的需求的,所以他們并不是做得不好,其實在滿足當(dāng)年的那些需求上,他們已經(jīng)做得太好了,只是現(xiàn)在時代變了,需求變了。
而現(xiàn)在我們談?wù)摰臄?shù)據(jù)量增長、并發(fā)訪問、跨數(shù)據(jù)中心分布等需求在企業(yè)級對象存儲系統(tǒng)誕生之前,在淘寶、Facebook、Amazon等互聯(lián)網(wǎng)公司就已經(jīng)遇到了,他們提出了一些諸如TFS、HeyStack等解決方案,這些方案中都有兩個突出的特點就是我們前面提到的命名空間扁平化,和更簡潔的數(shù)據(jù)讀寫接口。今天人們基于這兩個特點,開發(fā)出了為企業(yè)級用戶提供的對象存儲系統(tǒng),有些場合也把它稱之為“類S3存儲”,這里的S3指的就是AWS S3對象存儲服務(wù),國內(nèi)有阿里云的OSS對象存儲服務(wù)等。我們做的OStorage-EOS就是企業(yè)級對象存儲系統(tǒng)。
這些存儲系統(tǒng)首先把數(shù)據(jù)存在buckets或者containers,而不是復(fù)雜的目錄樹,命名空間扁平化,并且相比一些互聯(lián)網(wǎng)公司的方案,更進(jìn)了一步,對大對象的支持,這是符合企業(yè)市場的需求的,OStorage-EOS可以以比較高的吞吐率讀寫單體GB級、最高達(dá)單個對象數(shù)百GB的數(shù)據(jù);另外,更簡潔的數(shù)據(jù)讀寫接口,也更進(jìn)了一步,不僅僅是簡潔讀寫接口,而且是服務(wù)化的接口,基于HTTP的RESTful接口,方便廣域網(wǎng)上的訪問。
我們的產(chǎn)品OStorage-EOS企業(yè)級對象存儲系統(tǒng),是基于開源軟件叫Swift打造的,中午吃飯聽到討論開源事情,現(xiàn)在用戶選擇時候到底選開源軟件還是選商用軟件,如果真是對企業(yè)級用戶來說,我覺得他肯定需要有一個靠譜的商用軟件,但是這里面包含開源是很正常的,我經(jīng)常舉例子是蘋果,所有蘋果的設(shè)備的操作系統(tǒng),iOS、Mac OS X,我想沒有人質(zhì)疑是高質(zhì)量的商用產(chǎn)品,但是它們的核心,沒有任何一個例外,都是基于Darwin內(nèi)核的,一個開源操作系統(tǒng)內(nèi)核,而我們公司定位就是基于開源軟件來打造一個商用產(chǎn)品,Swift在我們里面相當(dāng)于Darwin操作系統(tǒng),我們打造的OStorage-EOS相當(dāng)于蘋果iOS系統(tǒng),我們跟一些合作伙伴打造軟硬一體化解決方案,所以我們既可以提供純軟件解決方案,如果軟硬一體化解決方案我們希望它能夠像蘋果的手機(jī)和電腦一樣,那我們的理念這兒說的有點大,不過確實能類比一下,對象存儲有這個趨勢它非常的簡潔,簡潔的命名空間、簡潔的API,提供很好的用戶體驗,但是并不代表系統(tǒng)簡單,就像蘋果手機(jī)一樣,面板上只有一個按紐,非常簡潔,用戶體驗非常好,但并不代表系統(tǒng)簡單,我們是做了很多工作來達(dá)到這個目標(biāo)。
而我們?yōu)槭裁催x擇Swift,現(xiàn)實應(yīng)用百PB級部署案例,比較穩(wěn)定,我個人在前幾年在中科院的時候就將Swift應(yīng)用到了軍方一些系統(tǒng)里,運行的非常穩(wěn)定,加上近些年充分的測試與生產(chǎn)實踐,我們有足夠的信心。另外我們是軟件定義的存儲,我們基于傳統(tǒng)的通用的服務(wù)器和網(wǎng)絡(luò)硬件構(gòu)存儲系統(tǒng),以較低的成本構(gòu)建大規(guī)模存儲系統(tǒng)。另外我們架構(gòu)是全分布式的,無集中節(jié)點,任何一個節(jié)點的故障都不會影響到整個系統(tǒng)可靠性和可用性。我們系統(tǒng)可以近乎無限的擴(kuò)展性能隨規(guī)模提升,實際現(xiàn)在通常遇到的是網(wǎng)絡(luò)硬件瓶頸,訪問存儲的入口帶寬不足,只有萬兆或者兩萬兆,限制了性能的提升,如果客戶的網(wǎng)絡(luò)條件還可以進(jìn)一步提升,整個存儲系統(tǒng)性能也能隨之提升。
另外,我們對糾刪碼研究比較多了,可以很可靠地應(yīng)用于生產(chǎn)環(huán)境,比傳統(tǒng)分布式存儲的三副本技術(shù)進(jìn)一步節(jié)約硬件投資50%以上,特別像視頻存儲這樣的場景,節(jié)約的成本非常可觀。另外我們支持跨地域部署,比方說一個高校有多個校區(qū),一些地方在建的區(qū)域醫(yī)療影像中心有多個醫(yī)院和數(shù)據(jù)中心,還有像比方說有的機(jī)構(gòu)可能有在比方說深圳那邊有總部,在香港有分支,在美國海外還有分支機(jī)構(gòu),這樣就可以用我們存儲系統(tǒng)搭建一套跨地域的存儲集群。另外我們提供安全增強(qiáng),比方說數(shù)據(jù)加密、多因子認(rèn)證等,這些是通過企業(yè)級插件來實現(xiàn)的,還有其他一些插件,例如兼容傳統(tǒng)文件接口,而且我們?nèi)婕嫒莅⒗镌芆SS,這應(yīng)該說世界獨一份,我們可以全面兼容阿里云OSS這樣可以給用戶帶來更多選擇,比如構(gòu)建混合云存儲,一些對加密有要求的數(shù)據(jù)用我們的數(shù)據(jù)加密插件來對數(shù)據(jù)進(jìn)行加密存在本地部署的OStorage-EOS中,另外一些數(shù)據(jù)可以放到阿里云OSS上。
這是系統(tǒng)架構(gòu),在這里面Swift是Kernel的地位,前面針對企業(yè)用戶需求打造很多插件,架構(gòu)圖這樣話貌似我們的工作都在Swift外面,實際上在所有的各個服務(wù)里面我們其實也做了我們一些模塊在里面,比方說跨地域多活,用戶經(jīng)常問到跨地域復(fù)制,當(dāng)我數(shù)據(jù)中心之間的網(wǎng)絡(luò)不穩(wěn)定,斷了后來又連上了,那斷的這段時間內(nèi),到底哪些數(shù)據(jù)沒有復(fù)制到遠(yuǎn)程數(shù)據(jù)中心,后來網(wǎng)絡(luò)恢復(fù)了,數(shù)據(jù)異步同步過去,到什么時候我知道前面的數(shù)據(jù)都同步完了?這些問題Swift不會回答你,我們的OStorge-EOS能回答。這只是一個小例子,其他我們做了大量研發(fā)工作來把它做成一個企業(yè)級產(chǎn)品。
下面把我們產(chǎn)品的三個比較重要的features展開說一下,一個就是跨地域,這里邊data1三副本分布在這三個地方,一個數(shù)據(jù)中心的三個節(jié)點,大家看到data2、data3三個副本有兩個分布在主數(shù)據(jù)中心另外一個分布在異地數(shù)據(jù)中心,這說明我們除了在跨地域做數(shù)據(jù)分布以外還可以控制到底哪些數(shù)據(jù)只放在一個數(shù)據(jù)中心,哪些要跨數(shù)據(jù)中心分布,這張圖是兩個數(shù)據(jù)中心,如果是多個,我們還可以控制說哪些數(shù)據(jù)分布在哪幾個指定的數(shù)據(jù)中心里。實際上我們還可以控制寫入的優(yōu)先級,如果這邊有寫請求,希望所有數(shù)據(jù)確保在主數(shù)據(jù)中心很穩(wěn)定寫下來,可以讓寫請求發(fā)到這邊,讀的時候優(yōu)先取這邊數(shù)據(jù)副本,可以做讀寫上的優(yōu)化。
這是另外一個示意圖,這兩邊其實是一個整體存儲集群,把一個存儲集群劃成兩個Region,每個數(shù)據(jù)中心對應(yīng)一個Region,中間通過跨數(shù)據(jù)網(wǎng)絡(luò)來聯(lián)通。
這個圖曲線現(xiàn)實的是我們在客戶那兒看到一個現(xiàn)象,那么從這個時間點開始某一個數(shù)據(jù)中心里面的節(jié)點開始出現(xiàn)故障并且逐漸所有存儲節(jié)點都不可用,然后我們可以看到下面數(shù)據(jù)讀寫成功率,所有數(shù)據(jù)訪問成功率全部是100%,然后中間大家可以看到性能有衰減,不可能沒有衰減,有一半節(jié)點都已經(jīng)沒了。后來到這個時間點,實際上就是那個時間點故障修復(fù)了,性能又回來了,中間有些波動新寫出來數(shù)據(jù)后臺同步會占用一些資源,所以性能不可能一下恢復(fù)到故障前的穩(wěn)定性能。
前面是我們同城雙中心部署的,還有異地的更遠(yuǎn)400公里,這個結(jié)果發(fā)表在今年4月份美國OpenStack峰會上,我們當(dāng)時在IRC討論組里面有個老外提出想聽人講講這個問題,我們就提了一個proposal去講了一下,這個柱狀圖都是訪問延遲,綠色是優(yōu)化之后,藍(lán)色是優(yōu)化之前的,經(jīng)過優(yōu)化以后寫性能得到成倍提升,那么對于讀性能來說優(yōu)化的更加明顯,可以達(dá)到一個數(shù)量級甚至兩個數(shù)量級的提升,這個是我們在這種跨地域的存儲集群做的一些工作。
另外對跨地域來說,有客戶給我們提,我們現(xiàn)在是兩地三中心,將來擴(kuò)展到三地六中心去做有沒有方案,答案是肯定的,可以跨全國多個城市多數(shù)據(jù)中心做分布式存儲,全國范圍內(nèi)我們已經(jīng)做到了,目前我們還沒有全球范圍實踐,我們也很期待合作伙伴和客戶會給我們帶來跨全球多個數(shù)據(jù)中心實踐的機(jī)會。
另外就是糾刪碼,把一個對象切成四個數(shù)據(jù)分片,編碼生成兩個校驗片,最多可容忍任意兩個設(shè)備故障,普通硬件加上糾刪碼技術(shù),對于節(jié)省用戶存儲成本來說非??捎^。這里要提一下,現(xiàn)在很多存儲系統(tǒng)都在說要支持跨數(shù)據(jù)中心、支持糾刪碼,這些要看它是不是真的支持在生產(chǎn)系統(tǒng)里面用,要看他對這些技術(shù)到底做了多少研究,我們在前幾年在中科院的時候,就能夠把一個Hadoop集群在不停機(jī)的情況下,從一個數(shù)據(jù)中心熱遷移到另一個數(shù)據(jù)中心,這中間是有很多講究的,還有我們在2013年的時候就在研究說如何結(jié)合糾刪碼和信源編碼進(jìn)一步降低存儲成本,所以這些都是我們玩得很透的東西了,做了充分的準(zhǔn)備,才讓我們客戶去使用,絕對不是說看有人在做,立即也抓緊做,做完抓緊給客戶推,我們做存儲,靠譜最重要,用戶的數(shù)據(jù)絕對不能丟。
第三個要介紹的feature就是兼容傳統(tǒng)文件系統(tǒng),OStorge提供將對象存儲空間作為一個盤掛載到Windows和Mac上,就相當(dāng)于是可擴(kuò)展性很好的容量很大的一塊U盤,Linux服務(wù)端的傳統(tǒng)文件系統(tǒng)兼容我們也在做,還沒有ready,現(xiàn)在還沒有對外推,這個支持Windows和Mac的是ready的,可以放心去用,我們自己也在用。
對象存儲是面向未來,也是像很多友商說到未來是對象存儲的時代,我們今年主要是做OStorage-EOS產(chǎn)品,明年除了在糾刪碼和跨地域這個領(lǐng)域我們會繼續(xù)做一些更深入工作以外,還會增加讓存儲更加智能的一些東西,比方說數(shù)據(jù)預(yù)處理、對信息鑒別防止非法信息到我們的存儲系統(tǒng)里面去,例如提供公共服務(wù),防止客戶上傳淫穢圖片進(jìn)來,私有云存儲中,防止用戶把秘密文件放到了不該放的位置,還有對視頻做一些預(yù)處理,如人臉識別,對象存儲跟其他存儲比為什么說面向未來,不單單把數(shù)據(jù)存下來就完了,這個我特別贊同前面演講嘉賓紫光西部數(shù)據(jù)胡總說的觀點,就說這個存儲不是底下這一層簡單給用戶完了,面對新的需求怎么樣豐富產(chǎn)品是我們要考慮的問題。
再有比方說跟Hadoop和Spark集成,支持大數(shù)據(jù)分析;支持搜索,我們現(xiàn)在想在海量對象里面把我需要數(shù)據(jù)檢索出來怎樣做,我看前一段時間AWS一個產(chǎn)品Athena就是干這個事情,AWS的Athena就是為S3提供數(shù)據(jù)搜索服務(wù)的,我們也做了有一段時間了,“所見略同”,我們明年將正式推出這個功能。
最后我想用這張圖結(jié)束今天的分享,這個是跟前面數(shù)據(jù)量增長44ZB是同一個報告里面的,IDC把整個世界的數(shù)據(jù)市場分為兩塊,一塊成熟市場一塊新興市場,預(yù)測2017年,以中國俄羅斯印度等等這樣一些市場為代表的新興市場將超過以美國歐洲為代表的成熟市場,所以今天我們確實處在一個非常好的大環(huán)境里,“新存儲,贏未來”,幫助我們客戶贏得未來的挑戰(zhàn),以國際一流的技術(shù)水準(zhǔn)服務(wù)中國客戶,這就是我們公司OStorage。
這個是我們公司的二維碼,如果大家感興趣可以掃一下,我們會把一些技術(shù)東西在里面做一些分享,有些問題大家直接在公眾微信號留言我們也會回答,謝謝大家。
編注:中國存儲峰會是每年一度、亞洲最具規(guī)模的存儲產(chǎn)業(yè)年度大會,歷時十二載,記錄了存儲產(chǎn)業(yè)的諸多變化。每年的存儲峰會都吸引學(xué)術(shù)界、產(chǎn)業(yè)界和最終用戶代表的積極參與。存儲峰會對中國存儲行業(yè)的發(fā)展做出了許多重大貢獻(xiàn)。云計算、大數(shù)據(jù)對傳統(tǒng)IT產(chǎn)業(yè)帶來了許多變化,為IT系統(tǒng)提出了新的要求,存儲作為IT系統(tǒng)中極為重要的一環(huán)也在迎接新的挑戰(zhàn),正在舉行的2016中國存儲峰緊抓熱門需求,從技術(shù)、產(chǎn)業(yè)、產(chǎn)品角度,匯集了資深行業(yè)人士,呈現(xiàn)年度最權(quán)威的存儲盛會。