以下為演講文字整理:
各位好,感謝DOIT的邀請,我們SUSE也參加了此次活動。SUSE是做Linux開源軟件起家,從1992年成立至今已有超過25年的時間。Ceph致力于社區(qū)貢獻(xiàn),我們的理念是來源于社區(qū)、回饋于社區(qū),有社區(qū)版本也有商業(yè)化的包裝。
這個時間大家比較困,我先以一個哲學(xué)的問題開場,哲學(xué)三連問:我是誰、來自哪里、將去何方?套用到互聯(lián)網(wǎng)時代數(shù)據(jù)蓬勃發(fā)展。
我是誰?我是163ZB,不是身高163,是163ZB,1ZB等于1萬億GB,等于10億PB。電腦里存滿電影大概多少、這個量大概多少,有一個感性的認(rèn)識,我是誰?我是163ZB。
我來自哪里?我可以來自移動終端、手機(jī)、Pad、各種各樣的移動媒體,產(chǎn)生出大量的數(shù)據(jù),非常之多;也可以來源于物聯(lián)網(wǎng),物聯(lián)網(wǎng)時代所有的東西通過網(wǎng)絡(luò)有效緊密的聯(lián)合在一起,除了人可以很緊密以外,物體也是很緊密,通過物聯(lián)網(wǎng)技術(shù)產(chǎn)生大量的數(shù)據(jù);還有事務(wù)型數(shù)據(jù)、郵件,我們每天會遇到這樣的形態(tài),還有視聽影像、監(jiān)控、醫(yī)學(xué)資料,研究、刊物、資料等,這是我想說的我來自哪里。
將去何方?這是我們要考慮的,IDC做了統(tǒng)計,2017年-2018年中國外部存儲市場大概25到30億美金,全球外部存儲市場2017年-2018年大概是2000多億美金,每年的增長不是很多,如果有興趣看一下IDC,它放在最前面,增長量其實很低。
之前說的163ZB是當(dāng)前數(shù)據(jù)的10倍,2025年離現(xiàn)在還有多久?六年,時間很緊迫,但是這六年的時間是不是所有的數(shù)據(jù)可以通過傳統(tǒng)的存在承載?這之間是有巨大的空缺,這么大的空缺需要做什么?所以才需要軟件定義,需要把數(shù)據(jù)重新整合、資源重新組合,有效的存儲。
我們?yōu)槭裁葱枰狢eph?需要統(tǒng)一的接口,企業(yè)不像以前單一混合處理業(yè)務(wù)形態(tài),需要塊、需要文件、需要很有效的處理當(dāng)前所有主流的存儲形態(tài),這是企業(yè)用戶需要的。另外我們需要靈活的lT或是現(xiàn)在常講的敏捷IT,其彈性可增可減。但現(xiàn)在很少有人減,一般都是增,大量的擴(kuò)容需求,只要你用了數(shù)據(jù)。
前段時間有看了一句話,除了另一半外,數(shù)據(jù)是最專一的。它永遠(yuǎn)不會離開你,使用它的第一天,它永遠(yuǎn)會跟著你。但是需要找一個地方存儲它,所以需要Ceph,Ceph又是混合型的架構(gòu),可以對接云架構(gòu)。
之前耿航聊了Ceph很多,我從另外一個角度講講Ceph。Ceph的第一個版本是從2008年,第一個版本是V0.1,這里有一個點,2008年是小型機(jī)大行其道的時候,惠普、IBM,沒有第四家,國產(chǎn)服務(wù)器廠家還沒有起來,之后十多年的時間累計的如此多的版本,為了避免0.99的問題,經(jīng)過不懈的努力變成0.99,差不多1.0了,所以換了一個方法。
2015年開始用9版本,不再用零點幾的表述模式,9點幾后帶兩位。中間三位數(shù)字,0、1、2,0是給開荒用的,剛開始是給勇士用的,前面一堆坑;1是給測試集群用的,是給高手、高級玩家用的;2是給客戶用的,給商業(yè)公司用的,穩(wěn)定、長期的版本。一直到2009年1月M版,13.2.4,再到當(dāng)前很快要出N14.2,N版有很多的變化,還有一些新的特性,這是Ceph的小故事。
這里有一個問題需要思考,Ceph進(jìn)入中國已經(jīng)很多年的時間,經(jīng)過開源和愛好者、情懷等各種的努力,其實有很多高級玩家。軟件體系再復(fù)雜也可以很輕松的搭建社區(qū)版的穩(wěn)定集群。使用的一般都是開源、免費的操作系統(tǒng),剛好Linux也是走的開源這條路,底層的操作系統(tǒng)以及上層的Ceph應(yīng)用其實都是基于開源免費的大家都是愛好者。
任何一件事情向前走一步的動力和向前走一步的落腳點,就是商業(yè)化,在集群里不是搭出來就結(jié)束了,還要考量是不是要部署業(yè)務(wù)數(shù)據(jù),是不是要放應(yīng)用,是不是要加各種各樣的玩法,是不是要跟云做對接?這時我們?nèi)タ剂康讓?、上層是不是還有一些做變化的可能?是不是底層還需要商業(yè)支持的Linux系統(tǒng),可以幫我解決Bug的問題。上層的Ceph、原生的Ceph是不是滿足純社區(qū)版的Ceph,是不是可以滿足需求,或是社區(qū)版的Ceph跑數(shù)據(jù)業(yè)務(wù)的時候是不是可以完全支撐,所以才有我們這樣的公司出現(xiàn),我們是幫大家做后面的事情。
說個案例,我們有個客戶,也是Ceph的專家,也用經(jīng)典架構(gòu),六個節(jié)點,玩過Ceph的人都知道Ceph的組件和體系,他底層用13.04,用的H版?,F(xiàn)在要從H版變成L版,并且要把底層免費的,上層的Ceph系統(tǒng)要同樣的變化,同時數(shù)據(jù)不能丟失,這是客戶提出來的需求,需要我們幫忙做規(guī)劃。
左邊到右邊這步要做什么、需要怎么做?首先還是基于免費的開源操作系統(tǒng),H版是不能直接升級到L版,L版的組件也沒辦法管理H版,因此需要升級兩步,H版到G版,F(xiàn)ileStore不變,驗證正常再把G版升到L版,升兩次我們進(jìn)行保存到ETE的Ceph等相關(guān)的組件,全部放到別的服務(wù)器。之后再裝商業(yè)操作系統(tǒng),使用SUSE自己的操作系統(tǒng)。
裝SUSE的操作系統(tǒng)需要注意兩個問題,數(shù)據(jù)檢測系統(tǒng)不要裝到數(shù)據(jù)卷上,裝完操作系統(tǒng)以后我們要手動的安裝發(fā)布工具,所有的組件裝完再把集群重新拉起來。這個集群恢復(fù)以后其實還是FileStore的,整個過程全部做完。雖然我講得很簡單只有四步,我們做了很多事情,很多工程師一起努力,包括客戶的協(xié)助才把整個的過程做完,整個過程其實很復(fù)雜,講起來很簡單。
這個項目做得很復(fù)雜,每一步步步驚心,像電視劇一樣,每一步很緊張,我升完級以后做了備份再去裝系統(tǒng),再裝發(fā)布工具,再裝我們自己的組件,是不是可行,集群能不能起來?起來以后數(shù)據(jù)能不能重新納管過來?每一步都是很大的挑戰(zhàn)。
我們復(fù)盤的時候,很關(guān)鍵的一點在于Systemvolume,我們要從烏棒圖變成SUSE,這個過程也是非常激動人心的,他們做完也很有成就感,這件事情很復(fù)雜也很關(guān)鍵。最后好不容易完成,首先是社區(qū)版的更迭,然后再把社區(qū)版變?yōu)樯虡I(yè)版,整個體系已經(jīng)做了完美的驗證。
十年前的IT是做基礎(chǔ)架構(gòu)的,客戶反過量適應(yīng)我們的需求,客戶要適應(yīng)基礎(chǔ)架構(gòu)的需求,所有的應(yīng)用部署、所有的業(yè)務(wù)數(shù)據(jù)需要根據(jù)你用的技術(shù)邏輯,你用IBM小機(jī)還是大機(jī),還是用惠普的機(jī)器,還是用集中式的存儲,沒得選,只是這幾家。
現(xiàn)在這個時代我們回過頭看十年以后,現(xiàn)在不是底層架構(gòu)決定上層應(yīng)用,現(xiàn)在是上帝模式,要從上面看,應(yīng)用邏輯想要怎么部署?底層的架構(gòu)要滿足需求,所以開源技術(shù)比較好的一點是效率高,因為集合了全世界的牛人幫你開發(fā)一個idea,把這個idea不斷的完善,不斷的更迭,更迭比較快,Ceph就是從上面那層全站式的滿足上層應(yīng)用軟件的需求,各種各樣的操作系統(tǒng)需求,這是文件系統(tǒng)的存儲,或是在快車隊的層面要滿足虛擬化的需求,塊和文件是當(dāng)前使用場景、使用邏輯最多的情況。
對象是未來,隨著非結(jié)構(gòu)化的數(shù)據(jù)越來越多,數(shù)量一定越來越大,不像塊和文件,塊和文件都是一定的限制條件,對象的扁平化管理打破了傳統(tǒng)的局限,所以對象是未來。對象就涉及到云平臺,也可以涉及到CloudFoundry,本地到云端數(shù)據(jù)同步的問題,包括容器Docker、公有云等整個企業(yè),這就是開源技術(shù)要滿足上層客戶所有的需求,你有什么需求可以滿足。
對下面來講,盡可能多的滿足所有的硬件架構(gòu),現(xiàn)在是通用X86的時代,SDE的核心價值,初心就是要把硬件和軟件做解耦合,解耦合的關(guān)鍵是要有通用的架構(gòu),通用的架構(gòu)確實有一個可靠性、穩(wěn)定性怎么辦的問題,純粹的開源、免費、社區(qū)版對接所有的服務(wù)器廠商、X86廠商是可靠性、安全性的問題,這方面怎么解決?這方面需要底層的系統(tǒng)商業(yè)化、商業(yè)的支持。所有的這些工作兼容性、可靠性的事情是商業(yè)性的。搭成集群是一個情懷、一個技術(shù),讓這個技術(shù)一直走下去是商業(yè)行為,需要商業(yè)公司兜底,我們也是一家,我們走的是整個體系和生態(tài),這是我想去聊的東西。
我的片子不是特別多,我一開始從哲學(xué)三連問開頭,我最后額用極限運動做結(jié)尾,跳傘很刺激、很炫酷,我自己的理解,開源技術(shù)是什么?就像跳傘運動一樣,為什么?人多力量大,一跳下去速度很快,馬上腎上腺素飆到爆,速度要快,體驗?zāi)欠N過程。開源技術(shù)商業(yè)支持就是為了給你跳傘運動員一個備用傘包,之前告訴你何時開傘更安全,這是開源技術(shù)商業(yè)化的價值所在。跳下去是你的選擇,跳下去你得活下去,活著到地面這件事情才算完,我們要給你提供降落傘、方法,不能還有五米再開傘,剛跳下去就開傘是傘兵不是跳傘運動。
我想聊的核心觀點是,商業(yè)支持是給開源技術(shù)體系下的數(shù)據(jù)保駕護(hù)航,這就是我今天想分享的內(nèi)容,謝謝大家!
(文章根據(jù)現(xiàn)場速記整理,未經(jīng)本人審核)