資料來源:IDC
不僅如此,在傳統(tǒng)的生產協(xié)作流程中,當開發(fā)和測試人員想要獲取必須的數據副本時,往往需要從提交申請,到完全準備好環(huán)境,耗時幾天甚至以月為單位(數據交付時間視數據規(guī)模,環(huán)境準備情況等而定)。
這樣的數據管理實踐并非最佳,不僅大量浪費了存儲資源,而且還帶來了數據合規(guī)和敏捷性等方面的問題,影響了用戶應用程序的快速迭代,這對于今天追求敏捷轉型和DevOps轉型的企業(yè)而言難以接受。
為了幫助企業(yè)統(tǒng)一管理海量的非關鍵性數據,尤其是冗余的數據副本,業(yè)界采用了CDM技術。什么是CDM?它的主要應用場景又是什么?Gartner對此提出:它從生產環(huán)境通過快照技術獲取有應用一致性保證的數據,在非生產存儲上生成“黃金副本”(Golden Image),這個“黃金副本”數據格式是原始的磁盤格式,可再虛擬化成多個副本直接掛載給服務器,分別用于備份恢復、容災或開發(fā)測試。
Gartner《Hype Cycle for Storage and Data Protection Technologies, 2020》報告指出,CDM技術已經度過了了早期的技術炒作期,目前處于“泡沫化的低谷期”(trough of disillusionment),這從側面說明一些客戶開始在非關鍵性業(yè)務場景集中部署這項技術,而且Gartner也預測CDM技術將在未來5-10年內進入“實質生產的高峰期”(plateau of productivity)。
聚焦到CDM技術實現的業(yè)務價值,主要體現在以下幾個方面:
第一,降低存儲成本。利用數據虛擬化技術,單個數據副本即可滿足開發(fā)、測試、備份、恢復、數據脫敏、統(tǒng)計分析等多種工作負載需求,同時利用高效的數據壓縮技術,進一步節(jié)省了存儲空間,減少企業(yè)不必要的存儲開支(以下圖上訊信息ADM產品數據拷貝方式為例)。
ADM數據拷貝方式,資料來源:上訊信息
第二,縮短數據交付周期。數據準備從原來的按天或者月為單位,縮短到分鐘級,數據分發(fā)達到秒級?;贑DM技術的數據副本的交付與管理,大大節(jié)省了數據交付的時間,為企業(yè)構建了更加敏捷的數據管理基礎架構,加速了企業(yè)的DevOps建設,縮短了業(yè)務的開發(fā)測試周期,實現了產品的快速迭代。
第三,降低人力時間投入。傳統(tǒng)方式下,數據的導入和導出無法自動完成,面對開發(fā)和測試人員的需求,需要通過人為的傳遞才能完成數據從生產環(huán)境到測試環(huán)境的遷移,而且這個過程中還可能需要持續(xù)的獲取增量數據資源。CDM技術實現了全流程的自動化配置和編排,從審批到數據的導入和導出,這個過程只需要在統(tǒng)一的管理界面上鼠標點擊操作,幾步即可自動完成,極大減輕了存儲管理員和DBA的工作負荷,降低人力時間投入。
第四,提升數據集中管控能力。過去,數據移交到使用部門之后,管控權利完全在使用部門,只能用流程來控制數據的用后銷毀,存在較高的安全管控風險。CDM融合了數據動態(tài)和靜態(tài)脫敏,權限管控,合規(guī)審計等多種數據保護策略,以集中的數據管控,防范敏感數據泄露,杜絕不當或者誤操作,以及保留事后的可追溯。交付使用的數據,可以通過CDM管控平臺實現數據的統(tǒng)一集中管控,杜絕測試數據出現數據孤島,在數據使用完之后,可以實現數據的快速回收以釋放占用資源,杜絕暗數據的出現。
備份和CDM,孰是孰非
在國內,備份和CDM容易被混淆,有不少備份廠商在其備份產品上通過增加一些CDM功能,作為備份的補充,比如用作快速拉起恢復或者備份校驗,也許從用戶肉眼可見的角度看,功能上都歸整到了統(tǒng)一的界面上,但實際上二者的后臺邏輯相差甚遠。
備份從根本上是作為數據的保底存在,一旦發(fā)生物理或邏輯故障,為用戶提供了災難恢復的手段。而CDM側重于對數據的生命周期管理,是牽涉到用戶數據獲取,數據存儲,數據使用的全流程的生產力工具。
傳統(tǒng)備份技術是將數據恢復后交付使用,恢復的過程很長,而CDM保存的是原始格式數據,可以直接交付使用。
從功能上看,備份更多是作為CDM其中的一項數據獲取手段。CDM副本數據管理基于數據虛擬化等核心技術,自動化實現了從數據獲取到數據使用再到數據歸檔,數據銷毀的全生命周期管理。其中,在數據獲取環(huán)節(jié)既可以通過用戶既有備份系統(tǒng)內獲取數據,也可以通過從生產環(huán)境實時獲取數據,又或者用戶以腳本的方式自助上傳數據等多種方式。相比備份,CDM更加關心的是數據的交付使用與管理。
全球生態(tài),風景這邊獨好
過去的十多年時間,CDM的主要玩家分布在北美。在國內,從上訊信息2016年發(fā)布了國內第一款真正意義上的CDM產品開始,近兩年CDM技術在金融和運營商這兩個行業(yè)的蓬勃發(fā)展,推動了開發(fā)測試場景的數據架構轉型,并且大有替代傳統(tǒng)備份之勢。
1、Actifio
Actifio成立于2009年。2020年,谷歌宣布收購Actifio,收購完成后,Actifio會并入Google Cloud。
Actifio的多云復制數據管理(Copy Data Management)軟件平臺虛擬化拷貝數據,允許以原生格式對數據的虛擬副本進行完整的生命周期管理。通過一套豐富的API,Actifio的軟件可以無縫地集成到任何IT服務管理工具、DevOps工具鏈或定制的腳本和應用程序中。
Actifio數據虛擬化IT架構及實現原理
2、Cohesity
Cohesity成立于2013年,公司CEO兼聯(lián)合創(chuàng)始人Mohit Aron,之前還聯(lián)合創(chuàng)立過Nutanix,目前該公司最新的市場估值達到37億美元。
對于Cohesity公司來說,在線備份只是其完整數據管理平臺的一部分,該平臺專注于解決大規(guī)模數據碎片所造成的問題。它側重于幫助企業(yè)保護和管理位于許多不同位置的二級數據。
3、Rubrik
Rubrik也是由前Nutanix的人員發(fā)起創(chuàng)立,提供跨越本地、云端和混合云環(huán)境中的企業(yè)數據管理和備份服務。
全球有2500多家企業(yè)和政府使用Rubrik公司的Cloud Data Management解決方案來管理和協(xié)調跨數據中心和云的數據。其提供一個單一的數據平臺,可以跨數據中心和云安全地提供備份,恢復,分析和合規(guī)性。承諾快速恢復,提供接近0的RTO。另外還提供SLA自動化和API優(yōu)先的架構。
4、Delphix
Delphix成立于2008年。Delphix提供了一個API優(yōu)先的數據平臺,該平臺跨越多云并支持從云原生主機到舊式大型機的所有應用程序。Delphix可自動執(zhí)行一系列關鍵的復雜數據操作,包括遵守GDPR和CCPA等隱私法規(guī)。
Delphix聲稱借助其平臺,可將數據占用空間減少10倍,將資源調配速度提高100倍。借助Delphix虛擬化,用戶可在幾分鐘內大規(guī)模配置輕量級虛擬數據庫副本,大規(guī)模地將數據從生產環(huán)境復制到非生產環(huán)境,以及使用刷新,回滾和快照功能管理虛擬數據庫等操作。
5、Catalogic
Catalogic 2013年成立,總部位于美國新澤西州。ECX是該公司提供的CDM軟件產品,大大簡化了副本數據管理,實現了數據副本的自動化和編排,可以在整個企業(yè)和云中利用該副本進行各種創(chuàng)造價值的用例。借助Catalogic ECX,將開發(fā)/測試基礎架構管理時間減少了多達99%。
ECX還可以幫助用戶將數據移動到云中,利用云中成本更低,更具彈性的計算基礎架構,借助ECX,在某些用例中利用云時,用戶的投資回報率超過300%。
6、上訊信息想訊信息
上訊信息2010年成立,2016年率先發(fā)布了國內首款CDM產品—敏捷數據管理平臺(ADM),這是一款集數據驗證恢復、數據虛擬化、數據脫敏和數據庫審計為一體的數據全生命周期管理產品。通過一個平臺,解決數據獲取,數據存儲,數據構建,數據使用,數據歸檔,數據銷毀的所有數據問題。
數據使用的全生命周期管理,資料來源:上訊信息
ADM核心技術-數據虛擬化技術,可以通過一份數據的“黃金副本”快速創(chuàng)建出多份數據副本交付使用,所交付的數據都是可讀可寫的,并且可以達到分鐘級的數據交付效率,以及實現10倍以上的存儲成本節(jié)省。目前,ADM獲得了金融和運營商行業(yè)多家頭部客戶的使用和持續(xù)復購。
CDM:我的未來不是夢
對每一家致力于數據驅動的企業(yè)和組織而言,CDM技術無疑重塑了其過去臃腫的數據架構和繁冗的數據管理流程,以敏捷的數據架構就緒企業(yè)數字化轉型,加速業(yè)務交付,提高企業(yè)的決策效率以及生產力水平。
但這并不是CDM的全部,這項令人著迷不已的技術未來又將擁有怎樣的蛻變?做一些預測:
第一,跨越本地數據中心,邊緣和多公有云的數據流動和存儲。CDM需要滿足混合多云時代用戶對數據在不同端的流動和統(tǒng)一管理的需求,支持不同位置的基礎環(huán)境,例如可利用公有云更加經濟、彈性的存儲資源,進一步降低OPEX。而無論是部署于邊緣,本地還是多公有云,都需要滿足一致性和可用性服務體驗。
第二,以數據為中心,打通數據上中下游鏈條,實現數據的全生命周期管理。從產品的角度,可以基于靈活的license授權,為用戶按需交付備份容災,備份校驗,數據虛擬化,數據脫敏,合規(guī)審計等不同功能,而從后臺邏輯來看,支持一個統(tǒng)一的數據平臺,能夠無縫連通數據的全生命周期統(tǒng)一管理。
第三,CDM技術與垂直應用場景的緊耦合,強關聯(lián)。例如,開發(fā)測試場景下,能否基于一套數據平臺,跑通所有的開發(fā)測試作業(yè),而無需額外使用第三方平臺,例如測試版本控制,以降低額外的資源消費,提高開發(fā)測試效率。
相信隨著技術的不斷完善以及生態(tài)的成熟,CDM,未來可期!