以下內(nèi)容根據(jù)奧思數(shù)據(jù)解決方案總監(jiān)李鋒演講實錄整理:
各位下午好,我們是國內(nèi)一家專門做企業(yè)級對象存儲的公司,我們今天談安全的對象存儲,一個是對象存儲,一個是安全。第一部分講對象存儲的背景,第二部分講如何解決安全問題。
新一代對象存儲的概念從AWS的S3開始的,很多很多用戶有很多很多數(shù)據(jù),傳統(tǒng)的存儲技術(shù)都搞不定,只能用對象存儲解決,2006年、2007年概念出現(xiàn),之后才開始慢慢向其他的運營商互聯(lián)網(wǎng)服務(wù)發(fā)展,接下來往企業(yè)滲透,這是對象存儲的大致過程。
我們說對象存儲是一種典型的軟件定義存儲,最基本說法是用最基本的硬件構(gòu)成一個集群,各個廠家闡述都不一樣,從我這個角度來說可能有兩個地方:
第一,我為什么要用軟件定義存儲,有的說便宜,這點我不是特別同意,首先軟件定義存儲不見得就比集中存儲便宜,這里面貴的部分是硬盤,硬盤其實都是一樣的。
第二點就是軟件定義存儲的好處在于可以解除綁定,這點我非常不同意的,軟件定義存儲作為甲方用戶來說,我恨不得要綁定一個廠商,要給我們負責任,要給我們做服務(wù),不可能說不找一個廠商,所以我覺得解除綁定也是個偽需求,這個并不是真正的它的價值所在。
那軟件定義存儲的價值在哪里。在于它能提供過去存儲功能做不到的,獲得新的價值。這里面我們就以對象存儲為例,我們來看它是怎么獲得新的功能,我們舉幾個場景:
第一個百度云盤,百度云盤號稱有4億注冊用戶,它上面存的數(shù)據(jù)量巨大無比,很多人都把自己的照片、小視頻之類的傳到上面,如此規(guī)模數(shù)據(jù)量,上傳下載量,存儲如何實現(xiàn),這是一個場景。有人說這就是運營商的場景,不管是百度云盤還是阿里云也好,我企業(yè)里面用不到,不過我們有新發(fā)現(xiàn),比如說銀行,銀行原來的數(shù)據(jù)量并不大,而現(xiàn)在的銀行大量出現(xiàn)影像系統(tǒng),開戶照片,說話錄音,所有的東西都要檔案電子化,這時候銀行的數(shù)據(jù)量就極具擴展,而且文件數(shù)量是以億計的。再比如監(jiān)控,監(jiān)控系統(tǒng)現(xiàn)在搞人臉識別,實現(xiàn)方式各種各樣,有一種方式把監(jiān)控的每一秒的50幀變成50張照片然后搜索,這時候數(shù)據(jù)量急劇擴展,所以,企業(yè)數(shù)據(jù)的數(shù)量,文件的數(shù)據(jù)還是數(shù)據(jù)空間的需求量,都是開始極具的膨脹。這個時候面臨像百度云盤一樣的場景。
第二個場景,我們讀取文件的行為習(xí)慣已經(jīng)發(fā)生了改變,過去我們用復(fù)雜的結(jié)構(gòu),是為了隨機讀寫文件的一部分來做的,而這個動作我們在三四十年前定義的,那個時候處理量非常小。而現(xiàn)在我們的做法呢,因為我們現(xiàn)在性能非常大,現(xiàn)在出了一張照片不可能取一部分,文檔也是這樣,視頻也是這樣,是以一個文件進行上傳下載,這個動作就變的非常簡單,變成了普遍的要求。
第三個,對象存儲是云原生的。對象存儲的一個最根本的概念,第一沒有目錄,目錄是文件系統(tǒng)的概念,對象存儲里面對應(yīng)的是容器。第二我存取直接用API實現(xiàn)。這時候解決了很多問題,第一個問題就是可以到擴展到百PB級,在奧思數(shù)據(jù)的OStorage對象存儲系統(tǒng)中,一個容器放十億個對象的性能只比放一個對象下降不到20%。另外一個問題,HTTP沒有狀態(tài),可以不用事先建立連接,好處在于不管同時存取的人有多少,存完了我這個動作就做完了,特別適合廣域連接,是很好的跨區(qū)域存儲,國內(nèi)外都有提供對象存儲的運營商,其中也有我們的客戶,運營商會建立一個跨城市甚至全球的存儲系統(tǒng)。
講完了對象存儲,再來看一下安全性的問題。
在企業(yè)里,安全跟其他部門是分開的,安全是個獨立部門,是一個成本中心,因為安全這個東西做到多少才能夠,這是一個大問號。第一安全這個事特別復(fù)雜,特別麻煩,操作系統(tǒng)是不是安全,網(wǎng)絡(luò)是不是安全,應(yīng)用的框架是不是安全,寫的代碼是不是安全,一堆事。第二就是成本中心,需要花人力做很多事情,而且沒有產(chǎn)出,安全還特別貴。比如企業(yè)里等保的認證要比ISO9000認證貴好幾十倍。
我們做對象存儲的時候考慮安全問題,解決分成兩個層面,第一個我們叫safety,對存儲來說就是數(shù)據(jù)的可靠性和服務(wù)的可用性。第二個是security,安全性,包括你會不會受到攻擊,受到病毒的侵害。
安全方面有很多解決方案,不過已有的安全方案都是針對傳統(tǒng)架構(gòu),對象存儲要提供服務(wù)要用新安全辦法解決。針對數(shù)據(jù)的可靠性問題,這有兩種方式,現(xiàn)有的存儲集群有兩種,一種是集群里面有控制節(jié)點,奧思數(shù)據(jù)OStorage對象存儲選用的是全對等架構(gòu),這是為了達到最高的可靠性,壞掉任何一個節(jié)點都沒問題??煽啃缘膯栴}用全分布全對等的架構(gòu)解決。
第二,訪問的安全性要解決這樣幾個問題,比如說加密,在傳輸過程中走加密通道,在落盤的時候用一個加密軟件,加密的系統(tǒng)可以按照用戶要求來換的,不同的行業(yè),不同的重要性的數(shù)據(jù)用戶可以定義自己的加密模塊,奧思數(shù)據(jù)OStorage對象存儲在這里提供了插件機制,非常靈活。
病毒殺毒以前的做法是對一個文件進行殺毒,文件進來用殺毒軟件去檢查,寫到盤上掃描硬盤,對象存儲怎么殺毒呢?奧思數(shù)據(jù)的OStorage的對象存儲可以把殺病毒的引擎放在中間件里,一個文件在寫到硬盤之前,沒落盤的時候進行殺毒,殺毒之后再寫到盤上去。另外,由于對象存儲存的不是文件,而是對象,對象把文件包裹起來,沒有文件也沒有目錄,這叫做病毒免疫,即使這是一個病毒,但由于是被包裹起來了,病毒無法運作,從而防止病毒大規(guī)模破壞。
視頻網(wǎng)站有版權(quán)管理的需求,用戶請求一個視頻,視頻的數(shù)據(jù)出去的時候,對視頻打一個不可見的水印,會把請求者信息留下,如果視頻被下載了又傳給別人了,是可以被檢測到的,這是一個非常典型的版權(quán)保護方式,這在奧思數(shù)據(jù)OStorage對象存儲里面非常容易實現(xiàn),因為可以選用插件對用戶讀取的數(shù)據(jù)進行后處理。
最后分享一個銀行的場景,銀行里把大量的非結(jié)構(gòu)化的數(shù)據(jù)放到兩地三中心,或者三地六中心,數(shù)據(jù)可以在A地寫入讀出來,也可以在B地寫入讀出來,但在系統(tǒng)里面都是同步的,就是說在內(nèi)部實現(xiàn)一致性,而且是跨區(qū)域的,完全不用任何其他軟件就能實現(xiàn)銀行的兩地三中心,或者四中心,甚至五中心。
我今天就講這么多,有問題的話我們接下來討論,謝謝。