糾刪碼:確保RAID失效后的存儲耐用性
IT168 發(fā)表于:11年08月19日 09:15 [轉(zhuǎn)載] IT168
糾刪碼是一種前向糾錯技術(shù),幾十年來一直以多種方式被使用,現(xiàn)在這項(xiàng)技術(shù)正逐漸興起于一種新的高容量存儲系統(tǒng)中,用以解決RAID的局限性。
RAID在保護(hù)大容量驅(qū)動中的數(shù)據(jù)時有一些后繼無力,因?yàn)镽AID技術(shù)是在1GB驅(qū)動器出現(xiàn)前發(fā)明的。其基本理念是將數(shù)據(jù)分散在這些小的驅(qū)動器上,因此單個硬盤故障不會導(dǎo)致數(shù)據(jù)丟失。
當(dāng)今的高密度磁盤驅(qū)動器讓數(shù)據(jù)保護(hù)變得更加復(fù)雜了過去的20年間,驅(qū)動器的密度增加了兩萬多倍。企業(yè)級存儲系統(tǒng)裝有的單個驅(qū)動器容量就達(dá)2TB或3TB。此外,存儲容量成本也很大程度地降低了:一個2TB的SATA驅(qū)動成本約為0。
分析:用更大的磁盤改變RAID的施展空間
這些新的高密度驅(qū)動的成本/容量使以比過去更具吸引力的價格將大量數(shù)據(jù)存儲到旋轉(zhuǎn)存儲介質(zhì)中提供了可能。那么,將大規(guī)模的數(shù)據(jù)保存到高密度驅(qū)動上,比如說P級別甚至更大量的數(shù)據(jù)會出現(xiàn)什么問題呢?
目前的1TB 和 2TB磁盤驅(qū)動器中,RAID很容易導(dǎo)致數(shù)據(jù)丟失,因?yàn)镽AID的重建過程很長,需要一天或者更長的時間來完成某些安裝啟用。.如果任務(wù)的優(yōu)先級較低,保證正常I/O性能時,重建過程甚至?xí)L。
如果磁盤驅(qū)動器密度繼續(xù)增加,重建時間會長達(dá)數(shù)周也是不足為奇的。隨著驅(qū)動器數(shù)量在可控范圍內(nèi)不斷的增加,根據(jù)磁盤驅(qū)動標(biāo)準(zhǔn)年故障率不高于3%的行業(yè)標(biāo)準(zhǔn),一些用戶將必須不斷地進(jìn)行RAID重建。
在RAID-5上增加第二層保護(hù),也就是現(xiàn)在的RAID-6,這個方法保護(hù)數(shù)據(jù)不受兩個同時發(fā)生的磁盤驅(qū)動故障而不是單個故障的影響。這是為了應(yīng)對驅(qū)動密度增加到幾萬兆字節(jié)出現(xiàn)的技術(shù)。
處理大量磁盤驅(qū)動器尤其是長時間重建的時候,第二個驅(qū)動器故障(RAID-5組中),或第三個驅(qū)動器故障(RAID-6組中)出現(xiàn)的可能性會大大增加。此外,重建RAID組的時候,如果系統(tǒng)碰到一個不可恢復(fù)的讀錯誤(URE)將導(dǎo)致數(shù)據(jù)丟失。丟失6個或以上的磁盤驅(qū)動器,并且每個上面存有1T容量或更多的數(shù)據(jù)的話,將對一些企業(yè)造成災(zāi)難性打擊。
糾刪碼工作原理解析與實(shí)現(xiàn)效果
糾刪碼能站在接受者的角度,將數(shù)據(jù)變成多個數(shù)據(jù)包,編入額外的信息,發(fā)送給接受者,然后解碼并重新組成原始數(shù)據(jù)。關(guān)鍵是接受者能重組數(shù)據(jù),即使是在某些數(shù)據(jù)包在傳送過程中丟失的情況下(也就是說,接受者有原始數(shù)據(jù)包的子集)。
糾刪碼是伴隨這CD,DVD和藍(lán)光光碟的出現(xiàn)而興起的一種數(shù)據(jù)保護(hù)方式,這些光碟即使出現(xiàn)了劃痕或者光盤表面出現(xiàn)嚴(yán)重?fù)p壞,仍然可從中讀取數(shù)據(jù)。應(yīng)用程序中最常見的糾刪碼算法就是大家所熟知的里德所羅門碼,它是上世紀(jì)60年代在麻省理工學(xué)院的林肯實(shí)驗(yàn)室開發(fā)出來的。
純糾刪碼算法的使用可以實(shí)現(xiàn)RAID-6中雙驅(qū)動器故障下的數(shù)據(jù)保護(hù)。某些安裝程序?qū)崿F(xiàn)了針對故障的多重?cái)?shù)據(jù)保護(hù),還有一小部分甚至能夠允許用戶(或存儲管理者)將保護(hù)水平細(xì)化成具體策略。
比如,管理者可以選擇數(shù)據(jù)可用度是在16個磁盤中出現(xiàn)4次故障的時候仍繼續(xù)可用呢,還是16張磁盤出現(xiàn)6次故障的時候,或是30張磁盤出現(xiàn)10次故障的時候仍可用。這就解決了傳統(tǒng)的RAID不能兩個硬盤同時出現(xiàn)故障的關(guān)鍵性問題。
存儲數(shù)據(jù)可用性可通過數(shù)據(jù)編碼和分布來實(shí)現(xiàn)。寫入的數(shù)據(jù)(例如文件、視頻或圖像數(shù)據(jù))先分解成一系列的數(shù)據(jù)塊。然后通過適用于這些數(shù)據(jù)塊的糾刪碼機(jī)制進(jìn)行改造,并生產(chǎn)較大的糾刪碼驗(yàn)證塊。
公司簡介 | 媒體優(yōu)勢 | 廣告服務(wù) | 客戶寄語 | DOIT歷程 | 誠聘英才 | 聯(lián)系我們 | 會員注冊 | 訂閱中心
Copyright © 2013 DOIT Media, All rights Reserved. 北京楚科信息技術(shù)有限公司 版權(quán)所有.