四痛:為了更好的使用重刪功能,減少對(duì)系統(tǒng)性能的影響。推出后重刪產(chǎn)品的廠商都提供了對(duì)應(yīng)的一些配置策略,以及使用須知等。這使得在使用重刪功能時(shí)變得很復(fù)雜,需要考慮的東西很多。這不符合存儲(chǔ)的發(fā)展方向:簡(jiǎn)單、易用。
后重刪有如此多的痛,而在線(xiàn)重刪就沒(méi)有了嗎? 在線(xiàn)重刪由于在寫(xiě)入數(shù)據(jù)后就已經(jīng)完成了重刪,所以可以很好的和快照兼容;在預(yù)留空間問(wèn)題上,由于是實(shí)時(shí)重刪也不存在問(wèn)題;在對(duì)設(shè)備總的IO負(fù)荷方面,由于數(shù)據(jù)經(jīng)過(guò)了重刪寫(xiě)盤(pán)數(shù)據(jù)更少,顯得優(yōu)勢(shì)更為明顯,特別是在全閃存陣列中。當(dāng)前主要的全閃存陣列廠商都是采用的在線(xiàn)重刪方案。而在易用性方面,在線(xiàn)重刪功能的配置等,簡(jiǎn)單很多,僅需開(kāi)啟關(guān)閉即可。在線(xiàn)重刪真是如此之好?那為何很多主存儲(chǔ)廠商還是選擇了后重刪?
迎難而上,華為選擇在線(xiàn)重刪:
在線(xiàn)重刪需要實(shí)時(shí)的對(duì)每一個(gè)IO進(jìn)行指紋計(jì)算、查重及數(shù)據(jù)壓縮,會(huì)占用較多的CPU及磁盤(pán)IO?;谠撛颍芏嘀鞔鎯?chǔ)廠商,退而求其次,選擇了后處理重刪。而同樣作為主存儲(chǔ)廠商的華為,則另辟蹊徑選擇了在線(xiàn)重刪。
那為什么華為會(huì)選擇在線(xiàn)重刪呢?
1、CPU方面:重刪是CPU消耗的大戶(hù)。降低重刪對(duì)CPU的消耗,是在主存儲(chǔ)重刪中引入在線(xiàn)重刪的關(guān)鍵。華為能在設(shè)備中增加重刪壓縮加速卡,將重刪壓縮過(guò)程中,大量的計(jì)算功能放到加速卡中進(jìn)行計(jì)算,從而降低CPU的消耗同時(shí)還能提升計(jì)算速度。另外,在一些性能要求不高的場(chǎng)景中,則可以去除加速卡降低成本,這樣使得華為在不同場(chǎng)景下支持重刪壓縮功能變得更加靈活、多變。
2、磁盤(pán)IO方面:數(shù)據(jù)查重的過(guò)程需要消耗較多磁盤(pán)IO,能否使得查重效率最高、速度最快,是整個(gè)重刪技術(shù)的關(guān)鍵。華為在數(shù)據(jù)查重方面完成了多個(gè)關(guān)鍵技術(shù)的優(yōu)化:
a)采用SSD Cache技術(shù)對(duì)存儲(chǔ)重刪元數(shù)據(jù)進(jìn)度加速,從而加快重刪過(guò)程中元數(shù)據(jù)的讀寫(xiě)性能;
b)基于場(chǎng)景的重刪Cache優(yōu)化,如數(shù)據(jù)的時(shí)空局部性在Cache中的應(yīng)用等;
c)基于IO特征的優(yōu)化,根據(jù)不同場(chǎng)景的IO智能選擇重刪流程等。經(jīng)過(guò)上面的優(yōu)化,在線(xiàn)重刪磁盤(pán)IO訪問(wèn)明顯下降,甚至在部分場(chǎng)景下,磁盤(pán)IO的訪問(wèn)量比沒(méi)有重刪的情況下還少。華為公司給出了VDI場(chǎng)景下的在線(xiàn)重刪壓縮性能測(cè)試情況:在線(xiàn)重刪壓縮性能影響小于10%,而數(shù)據(jù)縮減率高于3:1。
總結(jié):在線(xiàn)重刪是整個(gè)重刪技術(shù)的趨勢(shì),而在線(xiàn)重刪卻在主存儲(chǔ)場(chǎng)景中始終步履蹣跚。相信,華為5月份即將發(fā)布的新一代企業(yè)級(jí)OceanStor V3系列新品即是一個(gè)很好的契機(jī),將促使在線(xiàn)重刪技術(shù)在主存儲(chǔ)場(chǎng)景中開(kāi)出絢爛的花朵。