什么樣的存儲(chǔ)設(shè)備決定怎樣的未來?
vivian 發(fā)表于:13年06月17日 10:49 [編譯] DOIT.com.cn
我一直都是這個(gè)態(tài)度,而且存儲(chǔ)發(fā)展的趨勢也很明顯:不論你使用什么應(yīng)用,使用的是云,Hadoop或文件系統(tǒng),裝備才能決定你的未來。如果你遇到存儲(chǔ)問題,至少會(huì)有一家供應(yīng)商能為你提供解決方案。
不論是在企業(yè)內(nèi)部還是面向公共云,數(shù)據(jù)中心的加固都是目前IT行業(yè)的重要部分。所以,你應(yīng)該做些什么確保以后找得到工作呢?
我的建議:設(shè)備跟上潮流。
當(dāng)公司選擇把IT架構(gòu)全部或部分外包出去時(shí),是因?yàn)橛腥丝梢詮闹蝎@利。我所聽說過的IT外包利潤高達(dá)25%。問問你自己為什么其他公司或云供應(yīng)商可以買下所需的硬件和軟件之余,公司內(nèi)部IT部門還可以獲利。從我以往的觀察來看,部分是因?yàn)楣緝?nèi)部政治通常會(huì)降低數(shù)據(jù)中心的效率。每個(gè)部門都想按照自己的方式做事。
但是設(shè)備模式不會(huì)按照人們的主觀想法來改變,它只會(huì)按照企業(yè)的結(jié)構(gòu)模式來改變。
我想通過這篇文章談?wù)勀銘?yīng)該了解的一些設(shè)備及其差異,好讓大家未雨綢繆。如果你的IT架構(gòu)像壁爐管道,沒有對存儲(chǔ),虛擬化和運(yùn)算進(jìn)行分區(qū),那么就需要在未來幾年迅速對此環(huán)境做出改變。另外,你可能正在找新工作,因?yàn)橐恍┕⿷?yīng)商們正通過外包,IT合同或轉(zhuǎn)交給云供應(yīng)商的方式將你的環(huán)境變得更為新潮。
我的觀點(diǎn)是,你需要好好計(jì)劃,充分準(zhǔn)備。我們先說說你需要熟悉的幾種設(shè)備。
Hadoop 設(shè)備
這類設(shè)備可分為三種:
1.標(biāo)準(zhǔn)Hadoop
2.共享型文件系統(tǒng)Hadoop
3.快速存儲(chǔ)Hadoop
標(biāo)準(zhǔn)Hadoop
如果是一個(gè)標(biāo)準(zhǔn)設(shè)備,你可以為Hadoop購買預(yù)加載和配置好的節(jié)點(diǎn)以及優(yōu)化過的硬件。
你可以從很多供應(yīng)商那里購買這類軟硬件。某些情況下,你還可以只是為集群購買軟件,而在其他情況下,則是從軟硬件優(yōu)化的廠商那里購買。不論何種方式,這都是具備三方復(fù)制,帶有預(yù)配置軟硬件的標(biāo)準(zhǔn)Hadoop。
共享型文件系統(tǒng)Hadoop
共享型文件系統(tǒng)設(shè)備通常具備Lustre或GPFS文件系統(tǒng),它們可以優(yōu)化Hadoop的清洗階段(Shuffle Phase)。此法之所以奏效是因?yàn)榭蓮娜虻墓?jié)點(diǎn)讀取數(shù)據(jù),而不是一定要跨網(wǎng)絡(luò)讀取或分布。所有的節(jié)點(diǎn)都依附于共享型文件系統(tǒng),可從存儲(chǔ)的地方直接讀取數(shù)據(jù),無需從服務(wù)器進(jìn)入網(wǎng)絡(luò),再返回服務(wù)器到存儲(chǔ)。
用這種方法處理某些問題,比標(biāo)準(zhǔn)的Hadoop配置方法快速。此外,還保障了RAID的可靠性和故障轉(zhuǎn)移。供應(yīng)商們的可靠性案例顯示,如果是RAID,就不需要三方復(fù)制。
快速存儲(chǔ)設(shè)備
很多供應(yīng)商都已經(jīng)具備或是正在開發(fā)用于Hadoop的SSD設(shè)備。他們的隊(duì)伍會(huì)越來越壯大。這些設(shè)備都是被優(yōu)化過的,易于管理。
哪一個(gè)最好?
當(dāng)然,答案取決于數(shù)據(jù)的數(shù)量和類型,有多少數(shù)據(jù)輸入以及正在執(zhí)行幾項(xiàng)查詢。搞清楚這些問題有利于你的選擇。
大型文件系統(tǒng)設(shè)備
目前,有兩個(gè)不同的大型共享型文件系統(tǒng)被用于大型存儲(chǔ)設(shè)備--GPFS和Lustre。很多供應(yīng)商們都在生產(chǎn)這些設(shè)備。Lustre是一項(xiàng)開源項(xiàng)目,而GPFS則由IBM出品。
這些文件系統(tǒng)的擴(kuò)展性能遠(yuǎn)超當(dāng)前NAS供應(yīng)商的產(chǎn)品。兩個(gè)文件系統(tǒng)都可以擴(kuò)展到數(shù)千客戶端,傳輸速度可達(dá)每秒幾百GB。什么樣的NAS供應(yīng)商在可擴(kuò)展的單獨(dú)域名空間中擁有30+PB呢?
問題是,從很大程度上說,這兩個(gè)文件系統(tǒng)都是按照大型數(shù)據(jù)塊的需求和用戶的連續(xù)I/O設(shè)計(jì)的。這并不是說不能對軟硬件進(jìn)行配置,使其支持更小的數(shù)據(jù)塊。我并不是說小型數(shù)據(jù)塊的性能比NAS機(jī)箱要好,但或許你想搞清楚這些問題,以顯示你的共享文件系統(tǒng)有多神奇。
1.從以下方面了解你的工作負(fù)載:
2.向供應(yīng)商詢問端到端的可靠性。
3. 詢問供應(yīng)商關(guān)于RAID重建的事情。
其他設(shè)備
現(xiàn)在市場上有很多數(shù)據(jù)分析產(chǎn)品和數(shù)據(jù)庫產(chǎn)品,可能其中有些能滿足你企業(yè)的需求。這些新設(shè)備或許能以某種方式將信息關(guān)聯(lián)起來,或是使用圖譜分析尋找關(guān)系。
這類事情都是一致的:如果你無法在本地更快速更經(jīng)濟(jì)地完成,就得把任務(wù)外包到云中。
我們的工作岌岌可危
如果CIO和公司員工不遵循計(jì)劃,那總會(huì)有人遵循。那個(gè)時(shí)候,就會(huì)有人取代你。
我在日本測試一款新設(shè)計(jì)的文件系統(tǒng)時(shí),我最好的朋友就告訴我“我們要吃壽司,不然我們就會(huì)變成壽司”。意思是你要么隨著這股潮流改變,要么等著被拍死在沙灘上。
市場上推陳出新,我們就要與時(shí)俱進(jìn)。管理也應(yīng)該納入這一進(jìn)程,這樣才能實(shí)現(xiàn)高效。
否則,就等著把工作外包到云中或是給其他企業(yè)把,F(xiàn)在有很多新技術(shù)可以解決新問題和舊問題。我們要熟悉這些技術(shù)才能生存下去。
我想,很多我們現(xiàn)在看到的存儲(chǔ)技術(shù)都將成為專用設(shè)備。雖然目前90%的數(shù)據(jù)訪問都是通過POSIX系統(tǒng)接口,另外10%則通過對象接口,但是在未來十年,這種情況會(huì)發(fā)生改變。
要做好準(zhǔn)備,還記得那時(shí)候的我們從專屬大型處理器過渡到DEC,MIPS,英特爾等廠商生產(chǎn)的微處理器嗎?這次將和上世紀(jì)90年代微處理器帶來的改變類似。
公司簡介 | 媒體優(yōu)勢 | 廣告服務(wù) | 客戶寄語 | DOIT歷程 | 誠聘英才 | 聯(lián)系我們 | 會(huì)員注冊 | 訂閱中心
Copyright © 2013 DOIT Media, All rights Reserved. 北京楚科信息技術(shù)有限公司 版權(quán)所有.