圖1 重復(fù)數(shù)據(jù)刪除效果示例

重復(fù)數(shù)據(jù)刪除技術(shù)按照部署位置可分為源端重復(fù)數(shù)據(jù)刪除和目標(biāo)端重復(fù)數(shù)據(jù)刪除。顧名思義，源端重復(fù)數(shù)據(jù)刪除就是先刪除重復(fù)數(shù)據(jù)，再將數(shù)據(jù)傳到備份設(shè)備；目標(biāo)端重復(fù)數(shù)據(jù)刪除是先將數(shù)據(jù)傳到備份設(shè)備，存儲(chǔ)時(shí)再刪除重復(fù)數(shù)據(jù)。按照檢查重復(fù)數(shù)據(jù)的算法不同，重復(fù)數(shù)據(jù)刪除可以分為對(duì)象（文件）級(jí)和塊級(jí)的重復(fù)數(shù)據(jù)刪除，對(duì)象級(jí)的重復(fù)數(shù)據(jù)刪除保證文件不重復(fù)；塊級(jí)重復(fù)數(shù)據(jù)刪除則將文件分成數(shù)據(jù)塊進(jìn)行比較，根據(jù)劃分?jǐn)?shù)據(jù)塊的不同方法，又可分為定長(zhǎng)塊和變長(zhǎng)塊的重復(fù)數(shù)據(jù)刪除技術(shù)。變長(zhǎng)塊的方法可以"斤斤計(jì)較"地把每一個(gè)重復(fù)的字節(jié)都刪掉，重復(fù)刪除率最高；定長(zhǎng)塊的技術(shù)只能大致地把相同的數(shù)據(jù)塊去掉，刪除率次之。

EMC能夠根據(jù)客戶的不同需求，提供三種重復(fù)數(shù)據(jù)刪除技術(shù)。一是對(duì)象級(jí)的重復(fù)數(shù)據(jù)刪除。在EMC Centera歸檔平臺(tái)中，因?yàn)橐獫M足法規(guī)遵從，EMC提供文件級(jí)（也叫對(duì)象級(jí)）的重復(fù)數(shù)據(jù)刪除，將一個(gè)文件視為一個(gè)對(duì)象，當(dāng)一個(gè)對(duì)象又被再次存儲(chǔ)時(shí)，它不會(huì)存兩份同樣的數(shù)據(jù)，只是返回一個(gè)指針，并提示這個(gè)數(shù)據(jù)已經(jīng)存在。但只有兩個(gè)文件一模一樣，它才會(huì)只存一次。如果文件哪怕有微小的變化，它就要存兩次。二是Avamar重復(fù)數(shù)據(jù)刪除技術(shù)，它是變長(zhǎng)塊的源端重復(fù)數(shù)據(jù)刪除，刪除率達(dá)到300:1，500:1，甚至更高。三是EMC虛擬磁帶庫(kù)（EMC Disk Library，EDL）。EDL跟Avamar是一個(gè)互補(bǔ)，Avamar是在源端進(jìn)行重復(fù)數(shù)據(jù)刪除，EDL是在后端（目標(biāo)端）進(jìn)行重復(fù)數(shù)據(jù)刪除。

圖2  EMC Avamar工作原理

重復(fù)數(shù)據(jù)刪除可以給用戶帶來(lái)諸多好處。一是減少了存儲(chǔ)容量；二是避免了備份窗口不足的問(wèn)題；三是可以通過(guò)廣域網(wǎng)異地備份，對(duì)分支機(jī)構(gòu)的備份可以集中管理；四是在VMware虛擬化環(huán)境中，（EMC Avamar在虛擬主機(jī)源端進(jìn)行重復(fù)數(shù)據(jù)刪除后）可以極大地減少備份程序?qū)ξ锢碇鳈C(jī)CPU和內(nèi)存資源的爭(zhēng)用。

從獨(dú)立的技術(shù)到集成的功能

作為全球信息管理解決方案的領(lǐng)導(dǎo)者，EMC很早就對(duì)重復(fù)數(shù)據(jù)刪除技術(shù)給予關(guān)注。2006年11月，EMC就收購(gòu)當(dāng)時(shí)在重復(fù)數(shù)據(jù)刪除技術(shù)的領(lǐng)先廠商Avamar，比IBM收購(gòu)Diligent早17個(gè)月。如今，重復(fù)數(shù)據(jù)刪除技術(shù)已經(jīng)成為EMC BuRA（備份恢復(fù)與歸檔）方案的基礎(chǔ)，EMC Avamar與VMware、EMC NetWorker、EMC Backup Advisor和EMC Celerra等產(chǎn)品集成。EMC磁盤庫(kù)集成了目標(biāo)端的重復(fù)數(shù)據(jù)刪除技術(shù)。EMC Centera歸檔平臺(tái)集成了對(duì)象級(jí)的重復(fù)數(shù)據(jù)刪除技術(shù)。

如果客戶需要廣域網(wǎng)環(huán)境下的遠(yuǎn)程備份，或者在VMware、大文件服務(wù)器以及其它受制于網(wǎng)絡(luò)瓶頸的環(huán)境下備份，EMC可以提供Avamar重復(fù)數(shù)據(jù)刪除技術(shù)，不僅可以減少后臺(tái)存儲(chǔ)，而且在源端就已經(jīng)把重復(fù)數(shù)據(jù)刪除了?？蛻艏瓤梢圆渴餎MC Avamar軟件，也可以購(gòu)買軟件和硬件集成的EMC Avamar Data Store系統(tǒng)。

如果客戶對(duì)現(xiàn)有的備份軟件還滿意，在把數(shù)據(jù)傳到備份設(shè)備時(shí)也沒有遇到網(wǎng)絡(luò)瓶頸。EMC可以提供具有目標(biāo)端重復(fù)數(shù)據(jù)刪除技術(shù)的虛擬磁盤庫(kù)（DL3D），包括面向中型用戶的EMC DL3D 1500和EMC DL3D 3000，面向大型用戶的EMC DL3D 4000，容量從4TB到幾個(gè)PB。DL3D可以保證后臺(tái)磁盤存儲(chǔ)的優(yōu)化利用，同時(shí)讓客戶受益于災(zāi)難復(fù)制這樣的SAN技術(shù)。

重復(fù)數(shù)據(jù)刪除技術(shù)加上歸檔技術(shù)的應(yīng)用，讓數(shù)據(jù)量極大減少，讓備份到磁盤成為可行，讓數(shù)據(jù)的可用性、可管理性、安全性得到保障，數(shù)據(jù)的介質(zhì)更新和長(zhǎng)期保存成為可能。EMC在這個(gè)領(lǐng)域先一步的行動(dòng)，也讓它成為應(yīng)對(duì)信息爆炸增長(zhǎng)的排頭先鋒，再次加強(qiáng)了它在產(chǎn)業(yè)界的領(lǐng)導(dǎo)者地位。

附：大禹治水的傳說(shuō)

禹為鯀（音ｇǔｎ）之子，又名文命，字高密。相傳生于西羌（今甘肅、寧夏、內(nèi)蒙南部一帶），后隨父遷徙于崇（今河南登封附近），堯時(shí)被封為夏伯，故又稱夏禹或伯。

堯在位的時(shí)候，黃河流域發(fā)生了很大的水災(zāi)，莊稼被淹了，房子被毀了，老百姓只好往高處搬。堯召開部落聯(lián)盟會(huì)議，商量治水的問(wèn)題。他征求四方部落首領(lǐng)的意見：派誰(shuí)去治理洪水呢？首領(lǐng)們都推薦鯀。

堯?qū)︴叢淮笮湃?。首領(lǐng)們說(shuō)："現(xiàn)在沒有比鯀更強(qiáng)的人才啦，你試一下吧！"堯才勉強(qiáng)同意。

鯀花了九年時(shí)間治水，沒有把洪水制服。因?yàn)樗欢盟畞?lái)土掩，造堤筑壩，結(jié)果洪水沖塌了堤壩，水災(zāi)反而鬧得更兇了。

舜接替堯當(dāng)部落聯(lián)盟首領(lǐng)以后，親自到治水的地方去考察。他發(fā)現(xiàn)鯀辦事不力，就把鯀殺了，又讓鯀的兒子禹去治水。

禹改變了他父親的做法，用開渠排水、疏通河道的辦法，把洪水引到大海中去。他和老百姓一起勞動(dòng)，戴著箬帽，拿著鍬子，帶頭挖土、挑土，累得磨光了小腿上的毛。

經(jīng)過(guò)十三年的努力，終于把洪水引到大海里去，地面上又可以供人種莊稼了。

多易