[用戶需求]
用戶提出在數(shù)據(jù)分級存儲管理系統(tǒng)建設(shè)里,需要實現(xiàn)以下功能:
1、 實現(xiàn)分級存儲管理,包括:在線存儲管理,近線存儲管理,離線存儲管理;
2、 具有遷移、歸檔、回遷等功能;
3、 具有磁盤空間釋放和磁帶整和功能;
4、 當文件遷移到磁帶(近線存儲設(shè)備)上,磁盤應(yīng)保留文件識別信息,以便查詢、檢索、回遷文件;
5、 對離線設(shè)備即脫機磁帶上的數(shù)據(jù)仍能了解它存放的內(nèi)容和數(shù)量,需要時隨時可轉(zhuǎn)為二級存儲或一級存儲設(shè)備上的資料;
6、 遷移數(shù)據(jù)的格式應(yīng)滿足通用性,提供脫離本軟件讀取歸檔數(shù)據(jù)的解決方案;
7、 能夠滿足從MB到GB大文件的歸檔和回遷能力;
8、 能夠保證遷移過程中數(shù)據(jù)直接通過SAN通路從磁盤遷移到磁帶庫上,只有命令流才通過SAN管理服務(wù)器—–即實現(xiàn)“脫離服務(wù)器的遷移和回遷”;
9、 支持主流的磁帶機和自動磁帶庫;
10、靈活的歸檔策略,可以根據(jù)訪問文件時間、文件
系統(tǒng)空間使用率、文件使用頻率、文件名、文件類型等條件進行歸檔;
11、提供與數(shù)據(jù)庫管理系統(tǒng)的接口;
12、提供集成化、圖形化的管理工具,可方便地進行安裝、配置和管理;
13、提供管理監(jiān)控的API編程接口和商用監(jiān)控管理軟件的可管理接口。
[解決方案]
針對總體規(guī)劃和具體技術(shù)要求,我們選擇美國嘉道公司的Legato DiskXtender作為存儲管理軟件。DX是應(yīng)用于UNIX平臺的企業(yè)級分級存儲管理軟件,已為十幾個國家的氣象系統(tǒng)提供了出色的分級存儲管理解決方案。
方案的實現(xiàn)由兩個部分(DiskXtender UL的兩個模塊)構(gòu)成:
1、 Storage Manager:
用來管理用戶服務(wù)器上所有的存儲設(shè)備,包括磁盤空間。磁帶,光盤等等。其主要功能是在這些外部存儲設(shè)備上創(chuàng)建文件系統(tǒng),使用戶可以透明的訪問到這些空間。
2、 Data Manager:
用來管理網(wǎng)絡(luò)用戶需要遷移的數(shù)據(jù)和文件。使用戶構(gòu)建的數(shù)字化數(shù)據(jù)存儲系統(tǒng)滿足了以下條件:
• 在保存數(shù)據(jù)的同時,仍然要保證數(shù)據(jù)的在線可以訪問的狀態(tài)。
• 由于用戶數(shù)據(jù)的增長速度,系統(tǒng)的擴容性要好,要將系統(tǒng)因擴容所造成的停機影響和成本降低到最小。
方案中,用戶原來保存在紙張上,膠片上的數(shù)據(jù),經(jīng)用戶的轉(zhuǎn)換系統(tǒng)(如:模擬-數(shù)字采樣系統(tǒng),掃描設(shè)備等),變成數(shù)字文件,先保存在硬盤陣列上。然后由系統(tǒng)管理員根據(jù)自己系統(tǒng)的需求,制定合適的數(shù)據(jù)遷移規(guī)則,當這些規(guī)則發(fā)生作用的時候,保存在Data Manager上的數(shù)據(jù)將被遷移到連接在Media Service上相應(yīng)的存儲設(shè)備上。但在數(shù)據(jù)被遷移到了這些外部存儲設(shè)備上之后,Data Manager仍然在本地的硬盤陣列中的MTF記錄中這些信息目前的所在位置,使得需要訪問這些數(shù)據(jù)的客戶端,仍可以直接對這些數(shù)據(jù)進行透明的訪問,從而滿足了用戶的第一個要求。
由于整個系統(tǒng)采用了將一級存儲設(shè)備(硬盤)和二級存儲設(shè)備(磁帶和光盤)結(jié)合使用的方式。使那些二級存儲設(shè)備將原有的方便擴容的性能帶進了這個儲空間,眾所周知,對磁帶這類設(shè)備的擴容只需要簡單的添加設(shè)備就可以實現(xiàn)大大降低了硬盤擴容的的周期,滿足了用戶對這個系統(tǒng)的第二個要求。
[用戶收益]
• 在所有主流平臺上的分級的數(shù)據(jù)存儲管理,從網(wǎng)絡(luò)各個地點上傳的數(shù)據(jù)將先保存在磁盤
陣列中緩沖區(qū)中,再通過系統(tǒng)管理員指定相應(yīng)的策略,數(shù)據(jù)將會自動的轉(zhuǎn)移到后面的大型磁帶設(shè)備中;
• 數(shù)據(jù)在遷移到了后臺的磁帶存儲介質(zhì)上以后,仍然在硬盤上保留有相應(yīng)數(shù)據(jù)的識別信息,在用戶對已經(jīng)遷移走的數(shù)據(jù)進行訪問的時候,系統(tǒng)將憑借這些信息從磁帶中找回用戶所需的文件;
• 只要用戶在硬盤上所開辟的緩沖區(qū)足夠大,那么可以保證任何容量的文件順利的遷移至磁帶庫;
• 在SAN結(jié)構(gòu)中,數(shù)據(jù)的遷移或訪問將通過,磁盤>服務(wù)器>磁帶或磁帶>服務(wù)器>磁盤的數(shù)據(jù)流動方式實現(xiàn),從而完全實現(xiàn)LAN-FREE方式,不會對用戶網(wǎng)絡(luò)造成額外的壓力;
• 集中管理.用戶可以通過一套完整的GUI用戶界面實現(xiàn)對整個分級存儲系統(tǒng)的完善管理。
[某氣象局數(shù)據(jù)遷移系統(tǒng)拓撲圖]