Infortrend 發(fā)表于:14年12月12日 14:41 [來(lái)稿] DOIT.com.cn
Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價(jià)值),并稱為大數(shù)據(jù)的“4V”特性。大數(shù)據(jù)時(shí)代是隨著信息化普及和數(shù)據(jù)總量遞增后必然的產(chǎn)物。正是由于計(jì)算機(jī)技術(shù)的飛躍發(fā)展,使得整個(gè)世界各行各業(yè)都與數(shù)字關(guān)聯(lián)在了一起。例如一個(gè)人平常瀏覽網(wǎng)頁(yè)所觀看過(guò)的內(nèi)容,就可以通過(guò)大數(shù)據(jù)分析來(lái)判斷這個(gè)人的年齡段、喜好、職業(yè)范圍,甚至是針對(duì)這一群體在互聯(lián)網(wǎng)上推送能夠產(chǎn)生價(jià)值的內(nèi)容。
以人為本——是大數(shù)據(jù)時(shí)代的一大特質(zhì)。這里所講的“以人為本”是指通過(guò)大數(shù)據(jù)分析,從數(shù)據(jù)本身挖掘價(jià)值,從而達(dá)到服務(wù)于人的目的。
大數(shù)據(jù)既然是信息化的產(chǎn)物,本身又是針對(duì)數(shù)據(jù)進(jìn)行采樣、分析,那么就一定要有數(shù)據(jù)的載體——存儲(chǔ)系統(tǒng)。存儲(chǔ)系統(tǒng)和大數(shù)據(jù)的關(guān)聯(lián)又是什么?
首先要先認(rèn)清存儲(chǔ)系統(tǒng)的定義。存儲(chǔ)系統(tǒng)不等于磁盤陣列,磁盤陣列是來(lái)自于英文的縮寫RAID(Redundant Arrays of Independent Disks,RAID)。如果一個(gè)設(shè)備能夠通過(guò)固定算法的校驗(yàn)方式提供磁盤冗余保護(hù),那么這個(gè)設(shè)備就可以稱為磁盤陣列,可以是軟件形態(tài),也可以是硬件形態(tài)。存儲(chǔ)系統(tǒng)是構(gòu)建在磁盤冗余保護(hù)之上,具備磁盤陣列的功能,但是存儲(chǔ)系統(tǒng)不只是單純的提供磁盤冗余保護(hù)。以虛擬機(jī)應(yīng)用場(chǎng)景舉例,外置獨(dú)立存儲(chǔ)可以讓虛擬機(jī)輕松實(shí)現(xiàn)V2V或P2P遷移,實(shí)現(xiàn)虛擬機(jī)遷移這一應(yīng)用方式需要的只是外部獨(dú)立存儲(chǔ),也就是磁盤陣列即可。但是,在部署虛擬機(jī)的時(shí)候,通常會(huì)考慮另外一個(gè)問(wèn)題:后端存儲(chǔ)可以承載多少個(gè)虛擬機(jī)?這個(gè)問(wèn)題就帶出了存儲(chǔ)系統(tǒng)的定義:存儲(chǔ)系統(tǒng)是承載前端應(yīng)用的設(shè)備。也就是說(shuō),存儲(chǔ)系統(tǒng)要有磁盤陣列的磁盤冗余保護(hù)功能,又要能夠提供性能來(lái)支撐在線應(yīng)用的正常負(fù)荷。
“穩(wěn)定”加“性能”是考量存儲(chǔ)系統(tǒng)的關(guān)鍵。采用RAID保護(hù)、冗余部件、CableLess設(shè)計(jì)等技術(shù)都可以加強(qiáng)存儲(chǔ)系統(tǒng)的穩(wěn)定性,而性能到底如何,則是各家各派的“內(nèi)功”修煉所致。
存儲(chǔ)系統(tǒng)的性能,在大數(shù)據(jù)環(huán)境下和以往的企業(yè)級(jí)環(huán)境是不同又相似的。企業(yè)級(jí)環(huán)境下的存儲(chǔ)系統(tǒng)性能因素大多只是考慮兩方面:IOPS和 Bandwidth。
說(shuō)到IOPS和Bandwidth兩種性能要求, 其實(shí)就是結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)之分。結(jié)構(gòu)化數(shù)據(jù),從字面上理解就是數(shù)據(jù)的結(jié)構(gòu)是非常標(biāo)準(zhǔn)的,每一個(gè)數(shù)據(jù)塊都是相同尺寸。結(jié)構(gòu)化數(shù)據(jù)在數(shù)據(jù)庫(kù)應(yīng)用中是最為常見的,考量性能壓力的指標(biāo)是IOPS;非結(jié)構(gòu)化數(shù)據(jù)的代表是文件、圖像、音視頻等數(shù)據(jù)結(jié)構(gòu)不相同、數(shù)據(jù)塊尺寸也不同的數(shù)據(jù),考量性能壓力的指標(biāo)是Bandwidth。SSD未被使用之前,在企業(yè)級(jí)應(yīng)用環(huán)境下,常常堆疊很多HDD來(lái)支撐IOPS的應(yīng)用壓力,這也是在企業(yè)級(jí)存儲(chǔ)HDD統(tǒng)治時(shí)代花銷的TCO最高昂的部分。SSD開始部署之后,通過(guò)不同的技術(shù)來(lái)有效利用SSD的高IOPS,也是為了緩解IOPS應(yīng)用壓力。那么Bandwidth壓力問(wèn)題是不是可以用SSD來(lái)解決呢?單顆SSD的IOPS性能是單顆HDD的一百倍,但是單顆SSD的Bandwidth性能卻只有單顆HDD的十倍。
回到大數(shù)據(jù)環(huán)境下,我們會(huì)發(fā)現(xiàn)IOPS的應(yīng)用和Bandwidth的應(yīng)用是混合形態(tài)。舉一個(gè)例子來(lái)詮釋MIX形態(tài)的應(yīng)用:2013年,某電商在雙11瘋狂之后,就公布了一個(gè)數(shù)字,1小時(shí)內(nèi)銷售女士?jī)?nèi)衣的總數(shù)量為160萬(wàn)件,疊放起來(lái)的厚度等于三個(gè)珠穆朗瑪峰高度。銷售數(shù)量是二維數(shù)組,結(jié)構(gòu)化的數(shù)據(jù)庫(kù)模型就可以做查詢、統(tǒng)計(jì),而厚度、長(zhǎng)度就也不是統(tǒng)一的二維數(shù)組,需要單獨(dú)設(shè)計(jì)不同的數(shù)據(jù)庫(kù)分析、比對(duì)模型。所以結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)會(huì)同時(shí)并存在大數(shù)據(jù)環(huán)境,并且會(huì)被同時(shí)調(diào)用。
既然大數(shù)據(jù)環(huán)境既需要IOPS又需要Bandwidth, 部署兩套存儲(chǔ)可以嗎?答案是否定的。數(shù)據(jù)要放在一起調(diào)用,同時(shí)TCO又要合理,兩個(gè)條件相加后就成了難題。Infortrend作為一家有著二十年以上歷史的存儲(chǔ)廠商,也經(jīng)歷了不同時(shí)代應(yīng)用類型、數(shù)據(jù)環(huán)境的變革期。大數(shù)據(jù)環(huán)境的到來(lái),對(duì)于存儲(chǔ)廠商一樣也是新的挑戰(zhàn)。
存儲(chǔ)系統(tǒng)是為了支撐應(yīng)用,數(shù)據(jù)在存儲(chǔ)系統(tǒng)中進(jìn)行交換,從而讓使用者獲得更多的價(jià)值。一般的觀念會(huì)把服務(wù)器、交換機(jī)等IT設(shè)備和存儲(chǔ)系統(tǒng)一起劃分為硬件設(shè)備。Infortrend對(duì)存儲(chǔ)系統(tǒng)的定義是基于穩(wěn)定的硬件,再加上高效的軟件。首先談?dòng)布糠郑鎯?chǔ)系統(tǒng)確實(shí)是由不同的硬件部件組成,包括:硬盤、CPU、內(nèi)存、通道芯片、總線芯片等。這些硬件部件并不是存儲(chǔ)廠商研發(fā)、生產(chǎn)的,而是由存儲(chǔ)廠商做硬件集成,展現(xiàn)的是存儲(chǔ)廠商在硬件集成的功力。
硬件部件會(huì)隨著技術(shù)的進(jìn)步,不斷更新?lián)Q代,例如CPU。不斷升級(jí)是硬件部件的特質(zhì),那么對(duì)于存儲(chǔ)廠商而言需要做的就是遴選適合的硬件部件。至此,如果從硬件部件規(guī)格的角度來(lái)審視,會(huì)發(fā)現(xiàn)存儲(chǔ)廠商并沒有核心價(jià)值,或者說(shuō)硬件層面的能力并不能反映出存儲(chǔ)系統(tǒng)的價(jià)值。Infortrend在存儲(chǔ)產(chǎn)業(yè)過(guò)去的二十余年間,測(cè)試過(guò)、使用過(guò)的硬件部件不少于百款,產(chǎn)品的硬件規(guī)格也是跟隨硬件部件廠商不斷提升。在這一漫長(zhǎng)的過(guò)程中,逐漸掌握了一套遴選硬件的方法和標(biāo)準(zhǔn)——選擇合適的硬件部件,同時(shí)降低硬件部件的功耗和成本。
從上文的分析可以發(fā)現(xiàn),存儲(chǔ)系統(tǒng)的核心價(jià)值不是硬件部件。計(jì)算機(jī)技術(shù)發(fā)展本身是在定義一些規(guī)范,存儲(chǔ)系統(tǒng)也是一樣——硬件加上操作系統(tǒng)(OS)才可以稱作一套完整的系統(tǒng)。存儲(chǔ)系統(tǒng)采用的OS和服務(wù)器的不同,因?yàn)榇鎯?chǔ)系統(tǒng)只需要處理和數(shù)據(jù)相關(guān)的部分,所以并不需要過(guò)于綜合、復(fù)雜的指令。Infortrend早在上世紀(jì)九十年代,就獨(dú)立撰寫了一套Infortrend自己的存儲(chǔ)OS,早期更多的是處理RAID的效率,至今第八代OS尺寸僅有11MB。Infortrend存儲(chǔ)OS完全是獨(dú)立研發(fā)的,其中不少IO處理機(jī)制的設(shè)計(jì)方法獲得了專利保護(hù),在中華人民共和國(guó)知識(shí)產(chǎn)權(quán)局擁有80條相關(guān)專利,其中大部分是存儲(chǔ)系統(tǒng)OS相關(guān)。所以,我們認(rèn)為,存儲(chǔ)系統(tǒng)的核心價(jià)值是存儲(chǔ)OS。
大數(shù)據(jù)環(huán)境下,存儲(chǔ)OS要做到怎么樣的改變才能更加適合混合形態(tài)的應(yīng)用壓力呢?SSD可以解決IOPS,Bandwidth的提升可以依賴HDD嗎?Infortrend在第八代OS的設(shè)計(jì)上,就強(qiáng)調(diào)了如何同時(shí)在HDD介質(zhì)上提升IOPS和Bandwidth。
機(jī)械硬盤HDD的性能是由馬達(dá)轉(zhuǎn)速及磁介質(zhì)密度決定,要提升固有的單顆HDD性能,特別是IOPS性能,需要從緩存命中率著手。Infortrend第八代存儲(chǔ)OS已經(jīng)完全可以同時(shí)間提升HDD的IOPS和Bandwidth。也許IOPS還可以交由SSD去解決,但是Bandwidth則需要HDD來(lái)解決,畢竟HDD單GB成本要更加合理。
最新的Infortrend EonStor DS家族產(chǎn)品已經(jīng)全部采用第八代OS。提升單顆HDD的性能,同時(shí)又不需要太高的硬件配置,特別是CPU。CPU功率越大,性能越好,可是發(fā)熱量也會(huì)線性提升。在高度集成硬件部件的存儲(chǔ)系統(tǒng)中,發(fā)熱量無(wú)疑是整機(jī)穩(wěn)定性的最大隱患。不僅于此,解決發(fā)熱量還需要配套設(shè)計(jì)散熱,這樣一來(lái)就會(huì)拉升硬件成本。所以,Infortrend作為專業(yè)的存儲(chǔ)廠商,在選擇CPU這樣核心的硬件部件時(shí),秉承了“選擇合適的硬件部件, 同時(shí)降低硬件部件的功耗和成本”的原則。
Infortrend EonStor DS 1000、1000T、2000、3000、3000T均可以提供5500MBPS的Bandwidth性能。配置不同的CPU區(qū)分不同的IOPS性能。這樣的產(chǎn)品規(guī)劃對(duì)于大數(shù)據(jù)環(huán)境的混合型應(yīng)用壓力,用戶在選擇時(shí)可以選擇最為合適的產(chǎn)品部署。即便是EonStor DS 1000系列,雖然只是采用了單核心、SoC架構(gòu)、低于10瓦功耗的CPU,依然可以提供5500MBPS的Bandwidth和380K IOPS。
在大數(shù)據(jù)環(huán)境下,如果同時(shí)需要存儲(chǔ)系統(tǒng)提供30000 IOPS和1500 MBPS Bandwidth,Infortrend的存儲(chǔ)系統(tǒng)怎么配置呢?
需 求:30000 IOPS & 1500 MBPS
配 置:RAID 5 + HotSpare
DS 1012 × 1
JB 2012 × 1
7200rpm HDD × 20
SSD × 2(單顆IOPS 15000)
SSD as Cache × 1
從以上的配置實(shí)例可以看到,SSD通過(guò)固態(tài)緩存加速功能(SSD as Cache)支撐30000 IOPS壓力,7200rpm HDD可以承擔(dān)1500 MBPS Bandwidth壓力,并且7200rpm HDD可配置2TB、3TB、4TB和6TB,實(shí)際存儲(chǔ)空間最大可超過(guò)100TB。
大數(shù)據(jù)環(huán)境對(duì)于整個(gè)信息化產(chǎn)業(yè)來(lái)說(shuō)都是改革期,以前的觀念、對(duì)產(chǎn)品的認(rèn)識(shí)、解決問(wèn)題的辦法,統(tǒng)統(tǒng)都需要改變。變革期會(huì)經(jīng)歷一段時(shí)間,而不是一瞬而過(guò)。當(dāng)然,過(guò)度到大數(shù)據(jù)環(huán)境也并非過(guò)去幾十年間信息化產(chǎn)業(yè)的唯一變革期。Infortrend過(guò)去二十余年的發(fā)展史,面對(duì)過(guò)多次技術(shù)的變革,從不同時(shí)期推出的不同產(chǎn)品就可以看出。
Infortrend公司面對(duì)大數(shù)據(jù)環(huán)境, 發(fā)布第八代存儲(chǔ)OS,以滿足混合應(yīng)用壓力;細(xì)分EonStor DS家族產(chǎn)品線,以實(shí)現(xiàn)更合理的TCO開銷;補(bǔ)充固態(tài)緩存加速、自動(dòng)存儲(chǔ)分級(jí)等存儲(chǔ)系統(tǒng)功能,以幫助使用者更靈活的存儲(chǔ)系統(tǒng)規(guī)劃。
總之,面對(duì)大數(shù)據(jù)環(huán)境,Infortrend作為一家擁有存儲(chǔ)OS研發(fā)能力的存儲(chǔ)廠商,會(huì)不斷根據(jù)技術(shù)、應(yīng)用趨勢(shì)的變化做調(diào)整,以此為使用者來(lái)帶更合理的存儲(chǔ)系統(tǒng)產(chǎn)品。
公司簡(jiǎn)介 | 媒體優(yōu)勢(shì) | 廣告服務(wù) | 客戶寄語(yǔ) | DOIT歷程 | 誠(chéng)聘英才 | 聯(lián)系我們 | 會(huì)員注冊(cè) | 訂閱中心
Copyright © 2013 DOIT Media, All rights Reserved. 北京楚科信息技術(shù)有限公司 版權(quán)所有.