指數(shù)級(jí)的數(shù)據(jù)增長和數(shù)據(jù)可用性需求的增加給企業(yè)的 IT 部門提出了很多挑戰(zhàn)，其中包括快速備份和恢復(fù)不斷增長的數(shù)據(jù)、滿足嚴(yán)格的規(guī)章要求、在預(yù)算緊張的情況下實(shí)現(xiàn)越來越苛刻的恢復(fù)時(shí)間點(diǎn)目標(biāo)。SEPATON 的基于內(nèi)容已知技術(shù)的 DeltaStor™ 是用于 SEPATON S2100 虛擬磁帶庫的新一代重復(fù)數(shù)據(jù)刪除軟件，可以讓企業(yè)用戶以與物理磁帶相當(dāng)?shù)某杀驹诰€存儲(chǔ)更多的數(shù)據(jù)。通過改變數(shù)據(jù)存儲(chǔ)的經(jīng)濟(jì)狀況，DeltaStor 軟件使得企業(yè)得以應(yīng)付指數(shù)增長的數(shù)據(jù)，削減備份時(shí)間并顯著延長了數(shù)據(jù)的在線保存周期，使恢復(fù)更加迅速。DeltaStor 軟件采用了 SEPATON 獨(dú)有的“內(nèi)容已知”架構(gòu)，具有分析關(guān)于文件內(nèi)容和備份數(shù)據(jù)關(guān)系的智能，可以實(shí)現(xiàn)無與倫比的高速、簡捷、可擴(kuò)展性以及數(shù)據(jù)完整性。本白皮書將討論該技術(shù)的基本原理以及如何使用 DeltaStor 產(chǎn)品來節(jié)省預(yù)算、時(shí)間、并提高備份和恢復(fù)的效率。
圖 1 數(shù)據(jù)生命周期中的存儲(chǔ)容量要求
新一代技術(shù)
DeltaStor 的設(shè)計(jì)遠(yuǎn)遠(yuǎn)超越現(xiàn)有的提供冗余數(shù)據(jù)刪除的數(shù)據(jù)壓縮軟件,效率要高許多倍。
通常的壓縮技術(shù),例如 Lempel-Ziv ,使用基于流的方式減少數(shù)據(jù)存儲(chǔ)空間,這種技術(shù)創(chuàng)建一個(gè)重復(fù)數(shù)據(jù)模式字典,并在一個(gè)較小的數(shù)據(jù)窗口內(nèi)(通常為 8KB)進(jìn)行查找.該算法刪除數(shù)據(jù)窗口內(nèi)的所有的重復(fù)數(shù)據(jù)模式并以字典中的指針替代，在 8KB 數(shù)據(jù)窗處理結(jié)束時(shí),字典將被清空,然后可是下一個(gè)處理過程.因?yàn)檫@些技術(shù)只使用 8KB 的窗口作為數(shù)據(jù)參考,所以會(huì)忽略較大的重復(fù)數(shù)據(jù),因此,根據(jù)數(shù)據(jù)類型的不同,這些壓縮技術(shù)只能提供1.6:1 到 3:1 的壓縮比。
相反, SEPATON DeltaStor 技術(shù)使用 delta 冗余刪除技術(shù), 使用這種技術(shù), DeltaStor 軟件可以搜索任意數(shù)量的數(shù)據(jù)對象版本,以找出重復(fù)的數(shù)據(jù)序列,然后用一個(gè)副本的指針替代重復(fù)數(shù)據(jù).重復(fù)數(shù)據(jù)序列中只有一個(gè)實(shí)例真正存儲(chǔ)在磁盤上,所以,采用這種技術(shù), DeltaStor 可以以 25:1 的比例消除典型混合業(yè)務(wù)數(shù)據(jù)中的重復(fù)數(shù)據(jù),對于某些電子郵件應(yīng)用則可以達(dá)到 60:1。
為了實(shí)現(xiàn)更大的刪除比例,可以把 DeltaStor 軟件和基于流的軟件,比如 Lempel-Ziv 結(jié)合使用,比如,DeltaStor 按照 10:1 的比率刪除后的數(shù)據(jù)可以用 Lempel-Ziv 壓縮實(shí)現(xiàn) 1:6 -3:1 的額外壓縮,從而使整體冗余刪除比達(dá)到 16:1 到 30:1 。
新一代重復(fù)數(shù)據(jù)刪除技術(shù)的優(yōu)勢
DeltaStor 軟件使企業(yè)存儲(chǔ)管理人員使用和物理磁帶相當(dāng)?shù)某杀?，享有磁盤存儲(chǔ)的高速、靈活、效率。另外，使用比磁帶容量更少的物理磁盤空間存儲(chǔ)更多的數(shù)據(jù)，DeltaStor 軟件顯著減少了設(shè)備用電、制冷、安全以及其他操作和基礎(chǔ)架構(gòu)的成本。
即時(shí)數(shù)據(jù)恢復(fù):數(shù)據(jù)在線存儲(chǔ)，可以實(shí)現(xiàn)即時(shí)的隨機(jī)訪問。
更快速的備份:DeltaStor 軟件在主要數(shù)據(jù)傳輸路徑之外執(zhí)行重復(fù)數(shù)據(jù)刪除，使得 S2100－ES2 能以 2400MB/S 的速度執(zhí)行備份，高于磁帶 30 多倍。
高可擴(kuò)展性:足以應(yīng)對指數(shù)級(jí)的數(shù)據(jù)增長。S2100－ES2 具有強(qiáng)大的網(wǎng)格架構(gòu)，支持構(gòu)建任意規(guī)模的備份設(shè)備。另外，S2100－ES2 允許對容量和性能進(jìn)行簡便的、無縫的升級(jí)，用戶可以按需定購。單臺(tái)設(shè)備容量可以 10TB 的增量為單位，從 10TB 擴(kuò)展到超過 25PB。
減少耗時(shí)的磁帶管理工作:在磁盤上保留更多的數(shù)據(jù)減少了處理磁帶、查找磁帶故障和管理容量供應(yīng)的勞動(dòng)量。
消除數(shù)據(jù)的物理安全威脅:和物理磁帶可能會(huì)被丟失、盜竊或者損壞不同，磁盤上的數(shù)據(jù)保存在一個(gè)安全、高可用的環(huán)境中。
簡化數(shù)據(jù)管理:添加 DeltaStor 軟件只需要簡單的在 S2100－ES2 管理控制臺(tái)中選中復(fù)選框。當(dāng)重復(fù)數(shù)據(jù)刪除減少數(shù)據(jù)卷時(shí)，通過內(nèi)建功能自動(dòng)回收容量并實(shí)現(xiàn)管理。
將更多數(shù)據(jù)保留在磁盤上以滿足兼容性和恢復(fù)時(shí)間要求:例如,在 25TB 的系統(tǒng)上，每天備份 2.5TB 的數(shù)據(jù)最多只能保存 10 天。而使用 DeltaStor 軟件的 S2100－ES2可以在相同的空間內(nèi)保存相同的數(shù)據(jù) 250 天，同時(shí)提供基于磁盤數(shù)據(jù)保護(hù)的高性能以及其他優(yōu)點(diǎn)。
基本技術(shù)原理
SEPATON 內(nèi)容已知架構(gòu)是經(jīng)過全新設(shè)計(jì)的綜合數(shù)據(jù)保護(hù)平臺(tái)。SEPATON S2100－ES2 虛擬磁帶庫核心應(yīng)用包含了強(qiáng)大的軟件，比如動(dòng)態(tài)磁盤文件系統(tǒng)（DFS）和 SEPATON I/O 子系統(tǒng)（SIS），可以和 DeltaStor 軟件協(xié)同工作，建立基于網(wǎng)格的智能數(shù)據(jù)保護(hù)平臺(tái)。
DeltaStor 軟件的核心是 SEPATON 內(nèi)容已知的數(shù)據(jù)庫。在備份會(huì)話中，當(dāng)數(shù)據(jù)保存到磁盤陣列上的虛擬磁帶時(shí)，軟件模塊調(diào)用“數(shù)據(jù)讀取器”讀取數(shù)據(jù)并同時(shí)分析出元數(shù)據(jù)存入該數(shù)據(jù)庫中?！皵?shù)據(jù)讀取器”捕獲和每個(gè)獨(dú)立的備份數(shù)據(jù)組相關(guān)的元數(shù)據(jù)，同時(shí)也捕獲每個(gè)數(shù)據(jù)組中每個(gè)對象的元數(shù)據(jù)。DeltaStor 軟件使用這些元數(shù)據(jù)標(biāo)志數(shù)據(jù)對象之間的關(guān)系，并智能的做出處理決定。例如，當(dāng)對象描述元數(shù)據(jù)指示出備份會(huì)話之間存在聯(lián)系時(shí)，DeltaStor 軟件會(huì)顯著地縮小數(shù)據(jù)分析范圍，因此提高了重復(fù)數(shù)據(jù)刪除的速度。
該數(shù)據(jù)庫保存在 SEPATON 動(dòng)態(tài)文件系統(tǒng)的存儲(chǔ)陣列中，具有全冗余的配置。因此，當(dāng)數(shù)據(jù)增長時(shí)，該數(shù)據(jù)庫可以自動(dòng)調(diào)整以適應(yīng)元數(shù)據(jù)的增長。為了和 SEPATON 的高可用設(shè)計(jì)模型保持一致，該軟件可以通過簡單地掃描 S2100－ES2 的虛擬磁帶實(shí)現(xiàn)完全的元數(shù)據(jù)庫重建。
簡要過程描述
每次當(dāng)備份任務(wù)完成時(shí)（例如：當(dāng)卸載新產(chǎn)生的虛擬磁帶時(shí)），S2100-ES2 中的軟件都發(fā)送一條消息，觸發(fā)SEPATON 內(nèi)建的網(wǎng)格計(jì)算引擎啟動(dòng) DeltaStor 副本刪除過程，該過程分為 5 個(gè)階段。網(wǎng)格引擎軟件以負(fù)載均衡的方式調(diào)用系統(tǒng)內(nèi)所有的計(jì)算資源進(jìn)行任務(wù)調(diào)度和執(zhí)行。這種能力實(shí)際上使該方案具有無限的可擴(kuò)展性，因?yàn)槿蝿?wù)可以被分配到所有可用的計(jì)算資源上。另外，用戶可以有選擇的添加 DeltaStor 節(jié)點(diǎn)，以提供額外的計(jì)算能力加速重復(fù)數(shù)據(jù)刪除過程。
重復(fù)副本刪除的5 個(gè)階段如下：數(shù)據(jù)收集、數(shù)據(jù)識(shí)別和/或數(shù)據(jù)比較、數(shù)據(jù)重組、完整性檢查、空間回收。
1、數(shù)據(jù)收集
在數(shù)據(jù)收集階段，軟件通過比較進(jìn)入的備份數(shù)據(jù)和先前的備份縮小需要進(jìn)行分析數(shù)據(jù)的范圍，使用“內(nèi)容已知”數(shù)據(jù)庫辨別它們之間可能的重復(fù)和相似數(shù)據(jù)。例如，如果名為同一個(gè)客戶端中的 “
ootdocumentsabc.txt” 文件在備份中存在兩次，DeltaStor 軟件自動(dòng)決定采取何種動(dòng)作。如果進(jìn)入的數(shù)據(jù)是已存在數(shù)據(jù)的修改版本，該數(shù)據(jù)就進(jìn)入下一階段（數(shù)據(jù)識(shí)別、數(shù)據(jù)比較）的處理流程以確定數(shù)據(jù)發(fā)生的具體變化；如果進(jìn)入的數(shù)據(jù)和已存在數(shù)據(jù)完全相同，那么進(jìn)入下一階段對數(shù)據(jù)副本進(jìn)行校驗(yàn)。另外的數(shù)據(jù)收集操作包括： 標(biāo)志保存在不同位置(例如，不同的客戶端，目錄等等)的相同對象副本。軟件為數(shù)據(jù)收集階段發(fā)現(xiàn)的冗余數(shù)據(jù)對創(chuàng)建一工作列表，該表格用于數(shù)據(jù)識(shí)別和比較階段進(jìn)行進(jìn)一步分析。
2、數(shù)據(jù)識(shí)別，數(shù)據(jù)比較
在數(shù)據(jù)識(shí)別/數(shù)據(jù)比較階段，軟件以字節(jié)為單位分析數(shù)據(jù)收集階段標(biāo)志出的相似數(shù)據(jù)對象。如果數(shù)據(jù)收集階段創(chuàng)建的工作表表明需要進(jìn)行數(shù)據(jù)識(shí)別，那么軟件就會(huì)用 delta 差分算法確定備份組中的那些數(shù)據(jù)是唯一的、那些數(shù)據(jù)是重復(fù)的。
圖 2 DeltaStor 重復(fù)數(shù)據(jù)刪除五階段
該算法可以有效的以字節(jié)為單位映射發(fā)生變化的數(shù)據(jù)，并且對數(shù)據(jù)對象內(nèi)的變遷或者位置改變不敏感，所以，即使相關(guān)的對象之間發(fā)生明顯的結(jié)構(gòu)改變，該算法仍可以定位冗余的數(shù)據(jù)。
如果數(shù)據(jù)收集階段從元數(shù)據(jù)級(jí)別認(rèn)定備份組中的數(shù)據(jù)和前一個(gè)備份相同，那么在數(shù)據(jù)識(shí)別階段將以字節(jié)為單位對數(shù)據(jù)進(jìn)行比較。在該步驟中，軟件調(diào)用數(shù)據(jù)比較器識(shí)別出數(shù)據(jù)發(fā)生變化的文件，即使其元數(shù)據(jù)仍然相同。
3、數(shù)據(jù)重組
數(shù)據(jù)識(shí)別、數(shù)據(jù)比較的結(jié)果被傳遞給數(shù)據(jù)重組過程，在該過程中數(shù)據(jù)被重新組裝，放入臨時(shí)的“保留磁帶”中，新數(shù)據(jù)被保存，前一階段被標(biāo)出的重復(fù)數(shù)據(jù)被已存數(shù)據(jù)的指針替代。對備份軟件而言，保留磁帶和真正的磁帶完全相同，只是存儲(chǔ)在新磁帶中的數(shù)據(jù)要遠(yuǎn)少于真正的磁帶上存儲(chǔ)的數(shù)據(jù)。從備份軟件看來，數(shù)據(jù)是連續(xù)的并且也沒有刪除副本，SEPATON 軟件可以根據(jù)嵌入在文件系統(tǒng)中的指針讀取重復(fù)數(shù)據(jù)的唯一一份副本。該過程的最終結(jié)果是產(chǎn)生一份經(jīng)過重復(fù)數(shù)據(jù)刪除的備份組視圖。
4. 可選的完整性檢查
在實(shí)際刪除所有的重復(fù)數(shù)據(jù)前，軟件執(zhí)行一次可選的檢查，以保證數(shù)據(jù) 100％ 的完整。在本階段中，軟件通過將“保留磁帶”（代表經(jīng)過 DeltaStor 重復(fù)數(shù)據(jù)刪除的數(shù)據(jù)）和原始數(shù)據(jù)進(jìn)行比較驗(yàn)證其結(jié)構(gòu)和整個(gè)的數(shù)據(jù)內(nèi)容。
5. 空間回收
在空間回收階段，軟件從文件系統(tǒng)中刪除冗余的數(shù)據(jù)，釋放先前被占用的磁盤空間以備他用。保留磁帶和原始的、沒有經(jīng)過重復(fù)數(shù)據(jù)刪除的磁帶交換位置（比如條碼、槽位以及屬性等），然后軟件智能的釋放重復(fù)的區(qū)塊并將它們放回空閑空間池。經(jīng)過這樣的處理以后，所有其他需要存儲(chǔ)空間的數(shù)據(jù)處理過程都可以重用先前被重復(fù)數(shù)據(jù)占用的空間。
DeltaStor 軟件操作
DeltaStor 軟件要求的人工干預(yù)極少，它和 S2100-ES2 中的軟件協(xié)同工作，能夠處理所有的負(fù)載均衡、優(yōu)化并自動(dòng)執(zhí)行任務(wù)?；谝韵驴紤]，適當(dāng)?shù)呐渲檬潜匾模?/P>
每次備份增加到 VTL 的最大數(shù)據(jù)量:DeltaStor 軟件要求有足夠存儲(chǔ)兩倍于一次備份增加數(shù)據(jù)量的磁盤空間。做為一種 delta 差分技術(shù)，該軟件要求同時(shí)操作一個(gè)“基線”數(shù)據(jù)對象和一個(gè)修訂對象。
備份窗口長度:和其他增值特性相比，DeltaStor 軟件總是優(yōu)先保證主要的備份/恢復(fù)性能，只在系統(tǒng)資源空閑時(shí)才運(yùn)行。如果由于備份和恢復(fù)窗口的原因沒有足夠的時(shí)間運(yùn)行重復(fù)數(shù)據(jù)刪除過程，SEPATON 可以向網(wǎng)格引擎中增加專門的 DeltaStor 節(jié)點(diǎn)以滿足要求。
希望的數(shù)據(jù)保存時(shí)間:當(dāng)越來越多版本的相同數(shù)據(jù)保存在線時(shí)，重復(fù)數(shù)據(jù)刪除的比例會(huì)變得越來越大。在實(shí)際環(huán)境中，經(jīng)過副本刪除的數(shù)據(jù)要求的磁盤空間量由原始數(shù)據(jù)大小、存儲(chǔ)的版本數(shù)目和重復(fù)數(shù)據(jù)刪除比例共同決定。
數(shù)據(jù)性質(zhì):如果大多數(shù)增加到 VTL 的數(shù)據(jù)都是新產(chǎn)生的數(shù)據(jù)（新數(shù)據(jù)庫紀(jì)錄或者新收集的數(shù)據(jù)等等），那么就沒有多少重復(fù)數(shù)據(jù)可以讓 DeltaStor 刪除。相反，如果大多數(shù)數(shù)據(jù)是靜態(tài)的（例如，Microsoft Exchange 或者 MS Office 文檔），那么該技術(shù)就會(huì)帶來明顯的好處。
數(shù)據(jù)類型:備份到 VTL 上的數(shù)據(jù)庫和非數(shù)據(jù)庫數(shù)據(jù)對象的比例不同，所要求的計(jì)算機(jī)處理特定數(shù)據(jù)環(huán)境的能力也不同。
了解更多信息，請?jiān)L問：http://www.gensurebio.cn/portal/browse/p1968.html
