圖 1) 數(shù)據(jù)保留要求。來源:SNIA 調(diào)查
在本文中,我將解釋長期歸檔面臨的挑戰(zhàn),討論您現(xiàn)在可以使用的一些最佳實踐,以及通過我擔(dān)任主席的 SNIA 長期歸檔和法規(guī)遵從存儲計劃 (LTACSI) 談?wù)務(wù)谶M行的工作。
長期歸檔面臨的挑戰(zhàn)是什么?
圖 2) 存儲系統(tǒng)、應(yīng)用程序及物理介質(zhì)與信息保留的典型周期對比。
簡而言之,我們需要保留信息的時間(即使使用相對保守的 50 年圖)遠遠超過存儲系統(tǒng)(磁盤或磁帶)和應(yīng)用程序的典型生命周期。甚至保留期還要很久才過期,物理介質(zhì)就開始退化,變得無法讀取。
當(dāng)前的實踐是每隔 3 至 5 年遷移數(shù)據(jù)(同時在物理上和邏輯上)。物理遷移需要將信息從一個物理存儲系統(tǒng)移到另一個系統(tǒng),或從一種介質(zhì)格式移到另一種格式以維持物理可讀性、可訪問性和完整性。這種類型的遷移的推動因素包括介質(zhì)故障、介質(zhì)或存儲系統(tǒng)過時、系統(tǒng)更改及運作成本(人員、電力、空間)。
邏輯遷移需要將信息從一種邏輯格式移到另一種格式(如從應(yīng)用程序的舊版本移到新版本),以保持可讀性和可解釋性。推動因素可能包括更改應(yīng)用程序格式、過時的應(yīng)用程序及合并。這兩種遷移類型的障礙因素包括成本、復(fù)雜性、巨大的信息量以及時間和/或預(yù)算的不足。
上述 SNIA 調(diào)查表明,邏輯和物理遷移不能有效地規(guī)模化成本來滿足當(dāng)前和未來的需要。事實上,只有 30% 的被調(diào)查者每隔 3 到 5 年遷移磁盤上的數(shù)據(jù)。顯然,需要使用新的方法來滿足長期數(shù)字信息保留的法律、法規(guī)、業(yè)務(wù)、成本及可擴展性要求。
過渡解決方案
由當(dāng)前存儲系統(tǒng)和應(yīng)用程序引起的限制近期不會消除。那么,現(xiàn)在您應(yīng)采取什么措施來解決長期保留問題?當(dāng)前最佳的建議是,針對您的應(yīng)用程序、操作及數(shù)據(jù)存儲庫實施正式生命周期管理流程,以在使用壽命中解決數(shù)據(jù)管理的效率問題。最佳實踐應(yīng)包括:
所有相關(guān)人員 (IT、RIM、法律、業(yè)務(wù)、安全性) 密切協(xié)作,以確保解決所有需要
清晰地標識現(xiàn)有的所有資產(chǎn)和資源
將信息分類,以便確定保留需求
制定保留、保護、安全性、法規(guī)遵從等等的要求
滿足要求的服務(wù)實施
測評和改進
有用的實踐可能包括:
按一些常用存儲段將信息分類
設(shè)置保留期限及刪除過期的數(shù)據(jù)
控 制您針對數(shù)據(jù)保護維持的數(shù)據(jù)副本數(shù)
設(shè)置審計策略并加以執(zhí)行
使用基于標準的存儲平臺
長期保存策略應(yīng)確定業(yè)務(wù)、法律及法規(guī)遵從目標,且包括每個存儲庫遵守的最佳實踐說明(包括物理和邏輯遷移)。物理遷移的目標應(yīng)從固定期限(3 到 5 年)遷移到“所需的”策略。聯(lián)合的、基于標準的虛擬化系統(tǒng)(如運行 Data ONTAP® GX 的 NetApp® 存儲系統(tǒng))有助于最大限度地減少遷移所涉及的中斷、復(fù)雜性和人工。
對于邏輯遷移,您必須能維持真實性,即保證數(shù)據(jù)完好如初。此外,您應(yīng)僅根據(jù)需要遷移,在保留某些數(shù)據(jù)時可能要考慮其它方法:將數(shù)據(jù)轉(zhuǎn)換為標準格式 (XML、PDF等),將硬件歸檔(若適用)或使用縮微膠片。
這似乎很復(fù)雜。雖然您必須按需執(zhí)行物理和邏輯遷移,且這兩種操作不能同時進行, 但目前幾乎沒有辦法可確保保留的數(shù)據(jù)長期保持可讀性。幸運的是,可以執(zhí)行一些重要的工作來幫助解決這種情況。
標準工作
顯然,迄今為止,存儲行業(yè)還無法解決長期數(shù)據(jù)保留的問題。目前的歸檔應(yīng)用程序所使用的專有數(shù)據(jù)格式會明顯地將 您限定在解決方案中,將來可能會使遷移工作更加復(fù)雜。所有這一切即將改變。
對于長期歸檔(15 年以上),最大的挑戰(zhàn)是邏輯遷移。與專有存儲格式相反,使用有效的生命周期管理流程和當(dāng)前基于標準的存儲技術(shù)足以解決物理遷移情況。此情況應(yīng)該會得到進一 步改善,因為供應(yīng)商開始將注意力更加集中在可滿足長期存儲需求的硬件上。(見側(cè)欄的示例:協(xié)作研究長期歸檔。)
另一方面,邏輯遷移保持了應(yīng)用程序的特定性,自動化主要流程變得更困難。完整“保存”不僅需要保持數(shù)據(jù)的可讀性和可解釋性,還需要使用元數(shù)據(jù)長期保留數(shù) 據(jù),元數(shù)據(jù)包括起源、參考信息(上下文)及確保完整性和真實性的機制。
為此,SNIA LTACSI 建議 SNIA 成立長期數(shù)字信息保留和保存技術(shù)工作組來研究封裝(見側(cè)欄)。封裝定義由內(nèi)容(數(shù)據(jù))及關(guān)聯(lián)的保存元數(shù)據(jù)組成的“面向保存的”邏輯容器。可以在 OAIS AIP(歸檔信息包)上模擬封裝。圖 2 顯示了 OAIS AIP 容器的內(nèi)容。
圖 3) OAIS AIP 包括要存儲的信息內(nèi)容和描述該內(nèi)容的元數(shù)據(jù)。(來源:SNIA)
封裝意味著“自包含”,因為容器包含信息的數(shù)據(jù)、元數(shù)據(jù)、參考信息、完整性和真實性檢查、訪問控制及日志。此內(nèi)容使容器更便攜且獨立于存儲設(shè)備。它可根據(jù)您為信息制定的要求,獨立于應(yīng)用程序來管理容器。封 裝是“自描述的”,因為容器可以由不同類型的系統(tǒng)進行解釋,且可以包括閱讀器,從而獨立于應(yīng)用程序解釋內(nèi)容。對于長期保存,此功能非常重要。
封裝提供了任何應(yīng)用程序可以理解的標準格式,而且在理論上可讓許多應(yīng)用程序類型訪問歸檔的內(nèi)容,如 ECM、法律、遷移、保存等等。
圖 4) 在邏輯上,封裝會創(chuàng)建適應(yīng)于位層(物理介質(zhì))和應(yīng)用程序之間的標準數(shù)據(jù)層。(來源:SNIA)
目標是消除對頻繁的邏輯遷移的需要,以便組織在經(jīng)過長時間后根據(jù)需要繼續(xù)訪問和使用歸檔數(shù)據(jù),消除了因定期更新數(shù)據(jù)以適應(yīng)應(yīng)用程序更改而導(dǎo)致的開銷和復(fù)雜性。
NetApp和長期歸檔
從硬件角度來看,NetApp 長期以來就認識到,物理數(shù)據(jù)遷移(無論用于歸檔還是其他目的)很復(fù)雜且容易中斷。因此,NetApp 正朝支持分層存儲的擴展硬件體系結(jié)構(gòu)的方向發(fā)展(包括滿足法規(guī)遵從需求的一次寫入,多次讀取 (WORM) 卷),從而以不中斷的方式減少數(shù)據(jù)從一個層到另一個層的遷移。除現(xiàn)有的存儲設(shè)備以外,此體系結(jié)構(gòu)還允許透明地合并新的存儲構(gòu)建塊(物理介質(zhì)、存儲控制 器),極大地簡化了物理遷移流程。
為滿足歸檔和法規(guī)遵從要求,NetApp open SnapLock® 技術(shù)可在 NetApp 存儲設(shè)備上創(chuàng)建 WORM 卷來滿足公司管理和法規(guī)要求,而無需單獨的物理存儲系統(tǒng)。NetApp 與業(yè)界領(lǐng)先的歸檔合作伙伴(如 Symantec、Zantaz 和 CommVault)通力合作,提供可利用 NetApp 硬件和軟件技術(shù)的獨特功能的解決方案。NetApp 還與這些合作伙伴合作研究長期解決方案。
從邏輯遷移的角度而言,NetApp 深知解決近期歸檔問題只是解決方案的一部分。我們很早就認識到需要行業(yè)標準,且對標準化工作作出了重要貢獻。我在 NetApp 的職責(zé)中,其中一個主要職責(zé)是擔(dān)任 LTACSI 的主席,與對解決長期數(shù)字信息保留、歸檔及法規(guī)遵從相關(guān)的存儲實踐感興趣的最終用戶、IT 專業(yè)人士、供應(yīng)商、集成商及服務(wù)提供商通力合作。
您現(xiàn)在應(yīng)該做什么?
最重要的事是立即采取措施,避免陷入將 TB 數(shù)據(jù)需要物理和/或邏輯遷移的危機中。最好的方法是遵循“過渡解決方案”中所述的準則,包括盡可能地使用開放式標準。開放式標準可在開始遷移時為您提供更多選擇,有助于防止受制約。
如果您的組織尚未進行這些操作,請考慮實施數(shù)據(jù)分類以更好地了解數(shù)據(jù)及支持生命周期管理。然后,尋找可執(zhí)行策略及簡化物理遷移流程的解決方案(硬件和軟件)?,F(xiàn)在采取這些措施后,在未來幾年制定了新的長期歸檔標準時,您將可以很好地利用這些標準。