林培峰:我們對分布式存儲的定義是能夠兼顧傳統(tǒng)存儲和軟件定義架構(gòu),傳統(tǒng)存儲大家都清楚,它的應(yīng)用包括備份、虛擬化、歸檔,我這邊沒有列出數(shù)據(jù)庫,這種交易型的應(yīng)用,為什么?因為目前分布式存儲是無法、也是不太適合去應(yīng)用在這個場景的。軟件定義存儲所有的存儲交易,所有存的信息都用軟件去做。軟件的延遲其實是比較高的,有報道稱分布式存儲軟件方面最低延遲到0.5-1毫秒,我們的場景沒有列出數(shù)據(jù)庫。軟件定義這個方面架構(gòu)包括容器、虛擬化、大數(shù)據(jù)、備份。其實和傳統(tǒng)都不太一樣,包括運維到數(shù)據(jù)的調(diào)用有很多通過API,通過S3接口,包括運維、腳本、API,所以接下來給大家分享一下我們SUSE分布式存儲的一些真正落地的場景。
分布式存儲落地場景
第一個很常見的場景,一個分布式存儲承載整個企業(yè)虛擬化和虛擬云的存儲架構(gòu),包括VMware、KVM等虛擬化都是用傳統(tǒng)存儲,現(xiàn)在更多的是用分布式存儲去成長。這里邊用到的協(xié)議塊存儲是最多的,比如ISCSI,包括Ceph自帶的RBD的協(xié)議是最多的。在這上面我們SUSE還做了跟各個廠家的虛擬化的兼容,包括 VMware、華為Fusionphere的兼容,這個兼容在我們部署里面去接特別是接華為的虛擬化,其實是用普通的ISCSI接過去是有問題的,我們還做了很多兼容性的測試和開放。這個是很常見的場景。這個就是我們在某省移動做的混合云平臺企業(yè)級的存儲解決方案。我們一個存儲就給他們承接了華為的虛擬化還有VMware虛擬化的存儲需求,基本上這里面通過ISCSI。
另外一個場景就是我們給某個銀行所做的容器云的存儲,這也是分布式存儲一個很常見的場景,一個企業(yè)上容器選擇存儲的時候,很大一部分選擇分布式存儲,其中基于基于Ceph分布式存儲,對這個K8S支持是很完美的,不管用塊存儲RBD,還是用文件存儲都是很完美支持K8S,我們這個客戶上面跑的數(shù)據(jù)分析、人工智能、機器學(xué)習(xí)的應(yīng)用都很好的承載起來,這個就是容器云的存儲。
另外一個很常見——文件存儲,文件存儲很重要的幾個協(xié)議,在里面對于我們SUSE的分布式存儲都有很好的支持,這里面我們還擴展了 CephFS ,還有我們正要做的基于Windows,對RBD的支持。如果大家對Ceph有所了解都知道RBD是塊存儲,只能用Linux,其實如果是Windows去用的話只能通過CephFS或ISCSI,RBD其實不太好用,我們下一步做這個事情,下一個版本發(fā)布出來。我們有很多客戶包括某個做汽車安全座椅的,還有某個半導(dǎo)體企業(yè)的,反正他們業(yè)務(wù)跑Linux里邊,原來用的是NFS去跑他的備份業(yè)務(wù),備份數(shù)據(jù)跑在這里面,現(xiàn)在改成CephFS,我們部署了不到三個月,存儲利用率提高了,這是實實在在文件服務(wù)器,而且舊應(yīng)用用的最多,我們都能很好地支持他們的業(yè)務(wù)。
另一個是我們給某銀行做的錄音系統(tǒng),他們錄音系統(tǒng)NAS原來用APP,現(xiàn)在改成了是用Ceph的分布式文件系統(tǒng)。我們SUSE Ceph的文件系統(tǒng)提供了,因為傳統(tǒng)就用NFS無法牽過來,我們很好提供NFS,現(xiàn)在已經(jīng)跑了有一年了。實實在在用了一年,用分布式存儲Ceph很好地替換原有的NAS存儲,特別傳統(tǒng)的存儲。
一個很大量的視頻監(jiān)控對存儲容量的要求很高。對帶寬的要求也很高,對IOPS要求不高,這一塊對視頻監(jiān)控的場景分布式存儲是很適合的。因為分布式存儲DIY,買來X86服務(wù)器插上硬盤把軟件安上就得到一個存儲,只要性能滿足上面的應(yīng)用需求就可以了。視頻監(jiān)控這種應(yīng)用對容量的要求很高,對帶寬的要求是一般高,對IOPS要求不高,所以很適合這方面的應(yīng)用。今年投資了可能100TB的容量的存儲我明年根據(jù)業(yè)務(wù)的需求再去采購X86,根據(jù)每年不同需求而橫向擴展,很好保護企業(yè)成本,而且這里邊還可以采用糾刪碼技術(shù),更好地提高存儲效率。如果用副本的話,現(xiàn)在默認(rèn)用三副本,只能30%多,所以視頻監(jiān)控領(lǐng)域,糾刪碼技術(shù)利用越來越多的。
還有一個很重要的場景就是數(shù)據(jù)備份的云存儲。在這方面我們做了很多工作,因為備份這個場合特別適合用分布式存儲,而且備份其實我們需要跟很多的備份軟件去做兼容性認(rèn)證。這個是我們SUSE所做的工作。我們覺得大家可能國內(nèi)很多廠家他們只是說這是什么備份,他們無法去拿出這種兼容性認(rèn)證,我們和國際國內(nèi)的很多備份廠家去做兼容性認(rèn)證,很好支持他們不同的接口,包括NFS,ISCSI,包括S3這個接口,而且現(xiàn)在備份存儲,備份存儲大部分的備份文件,越來越多用S3接口。通過S3接口、備份文件去重功能壓縮功能,更好地利用存儲空間。
另外一個場景是越來越多的客戶所考慮的,就是大數(shù)據(jù)分析,數(shù)據(jù)放在分布式存儲里面,大數(shù)據(jù)這個軟件包括Hadoop、Spark怎么樣很好地調(diào)用出來,我們和專門做大數(shù)據(jù)廠家的合作伙伴做了一個測試。如果用S3的接口上Spark去調(diào)用的接口和HDFS性能相比是相當(dāng)?shù)?。但是用S3接口更好的利用分布式存儲的優(yōu)勢,彈性擴展、彈性計算,而且S3接口更好的保存億級海量的文件。所以在這一塊,我們認(rèn)為分布式存儲下一個很好的場景就是大數(shù)據(jù)分析。
在數(shù)據(jù)可靠性里面我們還做了一個實實在在的案例,這個里面列了寶馬,在三棟樓宇,每棟樓宇保存一份數(shù)據(jù),三棟樓宇是利用了分布式存儲的跨園區(qū)的技術(shù)。這個是實實在在解決他們對于容災(zāi)方面的安全的需求,所以在這里邊我們把他當(dāng)成一個場景列出來,考慮多故障率安全數(shù)據(jù)中心,去保存數(shù)據(jù)需求的時候,可以想到分布式存儲有這個功能的,是適合這個場景的。
我們也有實實在在的案例來講怎樣存儲海量的小文件,如果以前用這種NAS去存海量小文件,有客戶說,一個目錄有百萬級文件的時候,查詢很慢,我們通過S3的接口通過對象存儲保存海量小文件,解決億級海量小文件訪問慢的問題。越來越多用戶存海量小文件的時候選擇對象存儲。遇到有海量小文件去保存的時候,用對象存儲是一個很好的解決方案。
這個就是我們給某省遠(yuǎn)程醫(yī)療云做省級的醫(yī)療存儲,存儲醫(yī)療產(chǎn)生的視頻、語音還有電子的病例、電子音像數(shù)據(jù)保存起來。
SUSE扛起開源大旗
說完分布式存儲一些應(yīng)用場景,SUSE是最大的獨立的開源軟件廠家,在分布式存儲這面投了很多研發(fā)和工作,現(xiàn)在發(fā)布到第八個版本,全部都基于 Ceph,Ceph測序里面前二十名最大貢獻者其中有8名來自SUSE。
怎么樣做到安全可控?我們認(rèn)為把所有的源代碼能夠完完全全開放出來,不怕別人抄襲,不怕別人查看,就是安全可控,SUSE所有軟件都是開源,任何人都可以從官方網(wǎng)站去下載、編譯。整個Ceph現(xiàn)在的管理的界面全都是SUSE貢獻出來。與2017財年相比,SUSE在2018財年的Ceph客戶數(shù)增加了一倍以上
SUSE的分布式存儲核心開發(fā)重點在四個方面:易管理性、可用性,與各種操作系統(tǒng)的互操作性,以及性能。我們會很開放的去和合作伙伴合作。SUSE所有技術(shù)都是目前業(yè)內(nèi)主流的開源技術(shù),會定期給大家去講技術(shù)課堂。
(以上內(nèi)容基于演講實錄整理,如有紕漏,敬請指正。)