NetApp
NetApp在2007年推出的A-SIS,就是一種可應(yīng)用在網(wǎng)絡(luò)存儲設(shè)備的De-Dupe技術(shù)。
A-SIS可搭配NetApp的NearStore R200、FAS與V系列存儲設(shè)備使用,只要存儲設(shè)備的Data ONTAP操作系統(tǒng)版本是在7.2.5.1以上,并啟用A-SIS與NearStore授權(quán)即可。
A-SIS屬于后處理(post-processing)類型De-Dupe技術(shù),待數(shù)據(jù)寫入Volume后,再按照排程設(shè)定或以CLI或GUI介面手動啟動執(zhí)行,執(zhí)行重復(fù)刪除運(yùn)算時以固定的4KB區(qū)塊為單位(也就是WAFL檔案系統(tǒng)的區(qū)塊單位)。
A-SIS重復(fù)刪除運(yùn)算并非在存取時即時進(jìn)行,因而能避開影響前端主機(jī)存取的問題,可在離峰時間再執(zhí)行重復(fù)刪除;而且在NetApp存儲設(shè)備的WAFL檔案系統(tǒng)管理下,A-SIS處理后的數(shù)據(jù)仍可直接讀取與寫入,不像其他廠商De-Dupe后的數(shù)據(jù)必須先還原成原始狀態(tài),才能進(jìn)行存取。缺點則是只能應(yīng)用在FlexVol型的Volume,不能用在傳統(tǒng)Volume,且重復(fù)比對也僅限于該Volume。
Dell Ocarina
Dell在2010年7月藉由并購新創(chuàng)廠商Ocarina,取得了后者的內(nèi)容感知存儲最佳化技術(shù)(Content-Aware Storage Optimization),除獲得Ocarina原本的軟件與應(yīng)用服務(wù)器產(chǎn)品外,預(yù)期還會將相關(guān)技術(shù)應(yīng)用到Dell自身NAS產(chǎn)品上。
這項技術(shù)特點在于整合了壓縮與重復(fù)數(shù)據(jù)刪除兩類技術(shù),系統(tǒng)會解析檔案類型,分別使用不同運(yùn)算法進(jìn)行壓縮與重復(fù)數(shù)據(jù)刪除處理,還能讓使用者調(diào)整運(yùn)作區(qū)塊大小,適應(yīng)處理不同型態(tài)檔案。
架構(gòu)上分為Ocarina Optimizer與Ocarina Reader兩個元件,前者負(fù)責(zé)對原始數(shù)據(jù)進(jìn)行重復(fù)刪除與壓縮,后者負(fù)責(zé)將前者處理后的數(shù)據(jù)、重組為前端主機(jī)可讀取的原始檔案形式,并提供彈性的政策功能。缺點是不適用寫入密集環(huán)境,較適合讀取密集或少量寫入環(huán)境。
部署時采用類似閘道器的方式,將Ocarina的應(yīng)用服務(wù)器部署在NAS存取路徑上,充當(dāng)前端主機(jī)與后端NAS間的中介,并支援高可用性叢集架構(gòu)。Ocarina也提供純軟件與OEM的銷售形式。
EMC
透過并購,EMC先后取得了Avamar與Data Domain的De-Dupe技術(shù),兩者基本上都是定位于備份應(yīng)用,不過在這之外,EMC亦在2009年初為Celerra系列NAS的DART操作系統(tǒng)增加稱為Celerra Data deduplication的De-Dupe功能。
Celerra Data deduplication以檔案為基礎(chǔ)運(yùn)作,兼具De-Dupe與壓縮兩種功能,為避免對前端主機(jī)的存取形成沖擊,使用者可透過Celerra Manager介面,設(shè)定De-Dupe掃描周期(預(yù)設(shè)是每隔7天),可接受De-Dupe處理檔案的條件(多久沒被存取、大小),以及排除在De- Dupe外的檔案,藉此可將較不被存取的檔案納入De-Dupe、經(jīng)常被存取的檔案則不進(jìn)行De-Dupe.
若是未進(jìn)行De-Dupe的檔案,在存取方面將不會受到任何影響。若前端主機(jī)要讀取已被De-Dupe的檔案,DART操作系統(tǒng)會將檔案讀進(jìn)Celerra記憶體中還原后,再回應(yīng)給前端主機(jī),整個操作都不在磁盤上進(jìn)行,藉以提高速度。
若要對De-Dupe的檔案進(jìn)行寫入或修改,則須先在檔案系統(tǒng)中還原回原始狀態(tài),對能效有較大影響。整體來說亦是較適合讀取密集或少量寫入環(huán)境,不太適合寫入密集環(huán)境。
Permabit
Permabit是一家De-Dupe軟件廠商,由于該公司業(yè)務(wù)以O(shè)EM形式為主,主要產(chǎn)品是2010年中推出的Albireo數(shù)據(jù)最佳化軟件,設(shè)計上是以嵌入第三方廠商存儲軟件中的方式運(yùn)作,透過API為存儲軟件提供一個De-Dupe諮詢機(jī)制,確認(rèn)寫入數(shù)據(jù)是否重復(fù)(不參與讀取操作)。
依用戶要求,Albireo可采用線上處理(in-line)、后處理與平行處理等三種部署架構(gòu),并提供區(qū)塊、檔案與串流等三種形式的 API,可供整合到不同類型的存儲軟件中,其中檔案與串流兩種檔案層級的API還提供內(nèi)容感知功能,可解析寫入檔案類型、調(diào)整De-Dupe處理使用的區(qū)塊大小以達(dá)到更好的效果。
Albireo可搭配線上、備份、歸檔等不同類型存儲設(shè)備,或備份軟件使用,當(dāng)應(yīng)用在網(wǎng)絡(luò)存儲設(shè)備時,可采用對能效沖擊最小的平行處理架構(gòu),當(dāng)前端主機(jī)將數(shù)據(jù)寫入存儲設(shè)備時,Albireo會透過API同時取得一份數(shù)據(jù)復(fù)本,對其進(jìn)行De-Dupe比對,若確認(rèn)數(shù)據(jù)為重復(fù),則會驅(qū)動存儲系統(tǒng)軟件以非同步方式更新與整并重復(fù)的數(shù)據(jù)。
目前已有Bluearc、Xiotech等存儲廠商與Permabit簽約,準(zhǔn)備引進(jìn)Albireo來搭配他們的存儲設(shè)備與軟件。
Nimbus
Nimbus的HALO操作系統(tǒng)可提供整合存儲管理服務(wù),能透過存儲虛擬化技術(shù),將管理的磁盤空間透過CIFS、NFS、iSCSI等協(xié)議給前端主機(jī)存取,而且還整合了in-line型De-Dupe技術(shù)。目前已被應(yīng)用在Nimbus的S-Class企業(yè)存儲設(shè)備。