阿明 發(fā)表于:14年10月23日 22:00 [原創(chuàng)] DOIT.com.cn
首先,阿明想問各位親一個問題:你知道Kinetic是為誰而生嗎?
這個問題很嚴重,不要問我為誰而生,神馬都是浮云。
恭喜你,答對了。為云而生。
這是什么跟什么嘛?受不了鳥。
我知道你內力不錯,消受一下減減肥嘛。
為云而生,其實也是希捷這些年轉型專注云領域的一個很大的創(chuàng)新。有媒體評論到:
“自主開發(fā)的希捷Kinetic開放存儲平臺將重新定義云存儲基礎設施。”
你這不是廣告了嗎?是的,廣告之后更精彩。且聽阿明為你道來:
希捷Kinetic開放存儲平臺不僅能簡化數(shù)據(jù)管理,提高性能和可擴展性,還可以同時將一般云基礎設施的總體擁有成本(TCO)降低至50%,這是橫向擴展存儲架構向前邁出的至關重要的一步。
為什么Kinetic能如此牛叉?這其中的原因,需要回到1965年。
大家應該有所了解,文件系統(tǒng)是在1965年的時候設計的,從此以后就沒有任何變化,但是現(xiàn)在用戶的存儲方式已經有了改變。而且現(xiàn)在的存儲技術要進入到硬盤上面的一些方法已經有了變化。比如說希捷就推出了SMR或者HAMR技術,使得整個存儲需要一些編程,一定的開放, 新的變化帶來了新的機會。
1如何改善擴展存儲架構的性能?
希捷科技Kinetic開放存儲和大數(shù)據(jù)首席技術官James Hughes近期接受媒體采訪時指出了一點:
“希捷Kinetic開放存儲平臺可實現(xiàn)更廉價、且更具擴展性的對象存儲解決方案,幫助IT專業(yè)人士從不必要的軟硬件投資中解放出來,同時還為他們提供最具創(chuàng)新的存儲技術。”
James介紹說:“我們現(xiàn)在存儲需求已經有了變化,在過去我們存儲的是文件系統(tǒng),而現(xiàn)在我們存儲的是一些對象,比如說像照片,或者是電影等等,所以這個存儲的需求已經變化了。”來自用戶的需求變化,刺激了希捷,為此創(chuàng)造性地推出Kinetic開放存儲平臺。一個硬盤生產廠商,能夠為云轉身,難能可貴不?
希捷看到了這樣的新機會,“如果我們能夠從頭開始,從一張白紙開始的話,如何來設計新的一種存儲方式。假如云數(shù)據(jù)中心的數(shù)據(jù)已經不是Fibre channel或者SAS,而是采用以太網模式,那么如何更好地借助網絡。
Now,為什么不能考慮一下在存儲上面采用同樣的協(xié)議呢?“另外,不能不考慮到應用是需要存儲信息的,但這不需要它的地址,或者說也不需要在512 byte上面的數(shù)據(jù),要考慮的是這個存儲信息的名稱。”簡單地理解,那就是一個美麗的對象。在你沒有女朋友之前,有人給你說個美麗的對象,你能不機動么?
有對象是什么樣的感覺?
那絕對不是這樣的浮夸。
也不會如此地俏麗洋盤。
更不會像這樣cosplay。
定會是這樣的秀麗端莊。
言歸正傳。
James指出,現(xiàn)在的存儲系統(tǒng)要有新的變化,之前大家需要一些重要的信息來代表這個信息的名字或者是一些值來代表這個值。比如說命名可以是用戶名或者照片的名字,而值就是這張照片,F(xiàn)在需要利用一個新的技術,這個技術現(xiàn)在可在云上面實現(xiàn)了,比如說利用hash table,可以有幾千個硬盤,可以創(chuàng)造一個非常大的存儲系統(tǒng),而且可以達到一個非常好的效果。
2核心應用程序界面(API)為什么是關鍵?
為此, 需要在存儲上面有一個非常大的變化, 要有開源的核心應用程序界面(API)或者數(shù)據(jù)庫,同時利用云存儲系統(tǒng),建立互相聯(lián)系的核心應用程序界面(API)。不過,在文件系統(tǒng)方面,與希捷一起合作的包括HDFS、SAF、Scality或其他方面。
來自希捷官方的介紹指出,該平臺充分利用了希捷在硬件及軟件存儲系統(tǒng)的優(yōu)勢,將新的即將開放源代碼的核心應用程序界面(API)、以太網和希捷硬盤技術相結合。該技術專為在各種云存儲軟件?焖賹嵤┖筒渴鸲O計,可廣泛應用于各種存儲設施,幫助系統(tǒng)構建商和軟件開發(fā)商設計新的解決方案,以應對一系列的云數(shù)據(jù)中心使用案例。
該平臺通過重新定義硬件和軟件功能,使云服務提供商和獨立軟件供應商能夠簡單有效地優(yōu)化擴展文件和基于對象的存儲。利用Kinetic開放存儲平臺,應用程序現(xiàn)在可以管理具體的特性和功能,并在任何云存儲軟件?焖賹嵤┖筒渴稹T摷夹g還可以通過消除性能瓶頸,優(yōu)化集群管理、數(shù)據(jù)復制、遷移和主動歸檔性能,進而提高I/O效率。
3Kinetic帶給用戶什么新價值?
與此同時,希捷建設了developers.seagate.com開源網站,里面有很多公開的信息,并有一些開源的模擬器,而且整個功能非常完備,其中還有一些測試軟件。
既然Kinetic開放存儲平臺可以為用戶帶來這些更多的更有創(chuàng)新的功能和設置,那么到底能帶來哪些新價值呢?
James對此講到:“一旦用戶有了Kinetic存儲系統(tǒng),不僅可以提高應用之間的存儲效率,因為不需要有服務器了。而且舍棄了服務器,成本就自然降低,節(jié)約了能耗。由于Kinetic穩(wěn)定性很好,而且故障很少,在減少成本和能源消耗的同時,提高了用戶的效率和性能,F(xiàn)在希捷正在尋找中國的合作伙伴的制造商。”
4如何選擇數(shù)據(jù)存儲到硬盤的命令?
對于核心應用程序界面(API),Kinetic技術如何更好地連接?比如使用這個核心應用程序界面(API)時,經過這個接口就不知道下面是硬盤,只知道是一個對象的存儲,那么該如何來選擇什么硬盤? 比如說有一個值或者有一個命令把數(shù)據(jù)存儲到硬盤里面,誰來做這個選擇?
James表示,希捷現(xiàn)在也在從底部開始建造這些系統(tǒng),還有其他的一些供應商。希捷在為一些合作的供應商提供機會,讓這些供應商能夠在整個系統(tǒng)之外有更好的發(fā)展,希捷正在這方面不斷努力。
對于命令的選擇問題,希捷其實有分層系統(tǒng),應用是互相聯(lián)系的,利用中間層來選擇要存儲在哪里,而不是希捷選擇。實際上可以用一些連接的hash來進行,或者采取其他不同的方式來實現(xiàn)。通過中間層來選擇存儲在哪一個硬盤上面,然后進行一些配置,知道在哪里存儲這些數(shù)據(jù)。當然,也可能在中層有一些hub或master,不是讓硬盤來進行決定,而是形成一個互相關聯(lián)的系統(tǒng)。
比如說現(xiàn)在Swift有一些數(shù)據(jù)寫入到硬盤里面,希捷采取三個方式聯(lián)系的硬盤,這個Swift會看到每一個硬盤的狀態(tài),可能有一個硬盤出現(xiàn)問題,就不會把數(shù)據(jù)存儲在這里,會做一些復制。Swift可以看到應該進行什么樣的復制,然后存儲到哪個硬盤里。需要強調的是:“核心應用程序界面(API),選擇的硬盤是由核心應用程序界面(API)上面的應用來完成。”
James透露說:“未來Swift會進行一些編碼,不會去改變這個硬盤,我們會把數(shù)據(jù)放在中層。比如說分成十塊,進行計算,把五塊放到cluster里面,如果說設備出現(xiàn)一些故障,Swift會知道哪一個出現(xiàn)了故障,然后重建數(shù)據(jù)。”
當然了,到目前為止大家都不知道哪一個硬盤會堅持到最后。用戶有很多不同的設備,也會有不同的一些云系統(tǒng),現(xiàn)在很難知道誰最后會成為贏家,所以希捷只是選擇跟這些設備供應商、云系統(tǒng)開發(fā)商合作,但并不會做出最后的決定。
可見,希捷的策略很明確,就是鼓勵其他賣家,讓他們繼續(xù)銷售自己的存儲設備,希捷并不想要取代他們,而是與他們協(xié)同合作。
5如何實現(xiàn)硬盤本身處理沉默數(shù)據(jù)失效的問題?
沉默數(shù)據(jù)失效,比如說一個硬盤、一個處理器、網絡或軟件出現(xiàn)了錯誤,當寫入了一個數(shù)據(jù),但是得到的卻不是這個相關數(shù)據(jù),在寫入或者反饋的時候不知道出現(xiàn)了錯誤,這就是數(shù)據(jù)失效,根本沒有告訴出現(xiàn)了問題。
但,在Kinetic平臺中,每一個輸入硬盤的信息都會有一個點對點的“數(shù)據(jù)集成區(qū)域”。并不是由硬盤來計算和控制數(shù)據(jù)集成區(qū)域中的數(shù)據(jù),而是由應用程序來管理。硬盤可以識別卷標,可以檢測數(shù)據(jù)的完整性,當數(shù)據(jù)寫回主機時,會相應傳回帶有點對點數(shù)據(jù)集成的完整性信息,這樣應用程序就可以相應檢測,確保硬盤、電腦、網絡或其他區(qū)域沒有發(fā)生錯誤,從而確保數(shù)據(jù)在寫入或返回應用程序時不會出現(xiàn)沉默數(shù)據(jù)破壞的情況。
另外,中間層軟件控制著一個后臺操作程序。中間層軟件可以命令硬盤對數(shù)據(jù)進行每個月的點對點數(shù)據(jù)集成檢測,掃描硬盤中所有的數(shù)據(jù),目前,需要把所有的數(shù)據(jù)傳回主機,在主機中完成相關的檢測工作。如果使用Kinetic平臺,就可以在硬盤內部進行相關的檢測掃描工作,這樣用戶就可以自己掃描硬盤數(shù)據(jù),檢測是否有數(shù)據(jù)破壞的現(xiàn)象。如果發(fā)現(xiàn)有數(shù)據(jù)破壞的現(xiàn)象,就可以為主機發(fā)送損壞文件的文件名,這樣主機就可以很輕易地解決數(shù)據(jù)破壞的問題。
現(xiàn)實應用案例中,在非常大規(guī)模的數(shù)據(jù)群里,會遇到一個很大的問題,當為所有機器發(fā)出指令時,如果一個機器發(fā)生滯后反應,那么所有的機器都會產生滯后反應。所以這里有一個問題,如果需要讓硬盤來控制數(shù)據(jù)群中的指令進程,那么在這個過程中,其中的一塊硬盤可能會慢下來,以至于整個硬盤都會慢下來。大家希望中層軟件部分會給硬盤下達最佳的進程指令,這樣就可以保證100%的高效率,確保所有的硬盤都在一個快速的反應頻率上。
6閃存中如何應用Kinetic技術?
對于希捷在閃存中應用Kinetic技術的情況,James指出,Kinetic技術可以廣泛應用在目前的市場中,而且希捷認為內存中的Kinetic技術也是是非常重要的,目前的存儲系統(tǒng),有不同的核心應用程序,包括了:使用在硬盤上面的程序,或者在閃存中的應用程序以及在內存中使用的核心應用程序。
“如果要有一個程序可以管理所有的應用程序就好了。將數(shù)據(jù)從主機上調出來,然后再連接到另外一個主機上面,而希捷已經實現(xiàn)直接在硬盤里面就可以進行修改。”
另外,James也提到clusterstor,他認為,文件系統(tǒng)存儲發(fā)展的方向和Kinetic還是不一樣,是屬于兩個不同發(fā)展道路,未來都可能獲得更好的發(fā)展。(阿明根據(jù)James采訪整理)