數(shù)多無策：大數(shù)據(jù)平臺(tái)保護(hù)亟需新方案

大數(shù)據(jù)平臺(tái)逐漸成為組織中的核心業(yè)務(wù)系統(tǒng)，承載著關(guān)鍵業(yè)務(wù)的運(yùn)行，如金融行業(yè)的“千人千面”、醫(yī)療行業(yè)通過大數(shù)據(jù)分析實(shí)現(xiàn)疫情的精準(zhǔn)防控等。一旦大數(shù)據(jù)平臺(tái)宕機(jī)，組織中諸多核心業(yè)務(wù)將無法開展，造成的損失巨大。因此，大數(shù)據(jù)平臺(tái)保護(hù)將成為每個(gè)行業(yè)IT建設(shè)中的重中之重。

然而，作為現(xiàn)代化的工作負(fù)載，大數(shù)據(jù)平臺(tái)由于數(shù)據(jù)量多、節(jié)點(diǎn)多、組件多等特點(diǎn)，導(dǎo)致其保護(hù)之路道阻且長(zhǎng)：

PB 級(jí)數(shù)據(jù)，如何在有限的備份窗口內(nèi)完成備份

海量大數(shù)據(jù)備份副本長(zhǎng)時(shí)間保留，如何降低成本？

如何確保備份數(shù)據(jù)的安全存儲(chǔ)與合規(guī)保留？

如何實(shí)現(xiàn)精準(zhǔn)備份和異構(gòu)版本兼容？

不止于快：AnyBackup大數(shù)據(jù)平臺(tái)保護(hù)方案

基于大數(shù)據(jù)平臺(tái)保護(hù)的各種挑戰(zhàn)，愛數(shù)AnyBackup推出了大數(shù)據(jù)平臺(tái)保護(hù)方案，憑借重復(fù)數(shù)據(jù)刪除、永久增量、多節(jié)點(diǎn)并發(fā)備份恢復(fù)、表粒度備份恢復(fù)、數(shù)據(jù)一致性保障等多種技術(shù)的加持，AnyBackup可為PB級(jí)、百節(jié)點(diǎn)集群規(guī)模的大數(shù)據(jù)平臺(tái)提供更高效、更經(jīng)濟(jì)、更安全、更全面的保護(hù)。

更高效：AnyBackup提供永久增量備份，相比于傳統(tǒng)方案，備份效率提升 96 倍以上；

更經(jīng)濟(jì)：結(jié)合重復(fù)數(shù)據(jù)刪除&永久增量備份，備份存儲(chǔ)資源可節(jié)約 90%；

更安全：憑借不可變存儲(chǔ)技術(shù)，實(shí)現(xiàn)備份數(shù)據(jù)防篡改，加固了勒索病毒的最后一道防線，在數(shù)據(jù)安全存儲(chǔ)的基礎(chǔ)上，AnyBackup還支持基于磁帶、云存儲(chǔ)等多種介質(zhì)的歸檔方式，符合合規(guī)性需求；

更全面： AnyBackup也充分考慮到大數(shù)據(jù)平臺(tái)生態(tài)的豐富性，能夠全面兼容主流大數(shù)據(jù)平臺(tái)及其組件，并支持異構(gòu)版本之間的數(shù)據(jù)恢復(fù)。

技術(shù)解碼：AnyBackup大數(shù)據(jù)平臺(tái)保護(hù)方案實(shí)現(xiàn)原理

結(jié)合IDC發(fā)布的中國大數(shù)據(jù)平臺(tái)市場(chǎng)份額報(bào)告，以及Gartner 發(fā)布的Hadoop 發(fā)行版市場(chǎng)指南中的供應(yīng)商介紹，可以發(fā)現(xiàn)，Hadoop 已經(jīng)成為當(dāng)前國內(nèi)使用最廣泛的大數(shù)據(jù)平臺(tái)。

Hadoop生態(tài)體系是以Hadoop作為平臺(tái)的應(yīng)用框架，框架中各應(yīng)用組件相互兼容，組成的一個(gè)獨(dú)立的應(yīng)用體系。其中，HDFS 和 MapReduce是其基礎(chǔ)核心，而Hive和HBase則是最重要且使用最廣泛的應(yīng)用組件。

基于此，AnyBackup大數(shù)據(jù)平臺(tái)保護(hù)方案中，最為核心的一個(gè)版塊便是面向 Hadoop的HDFS、Hive和HBase來提供數(shù)據(jù)保護(hù)。

AnyBackup HDFS數(shù)據(jù)保護(hù)方案

HDFS 作為分布式文件系統(tǒng)，承擔(dān)了存儲(chǔ)Hadoop 的海量數(shù)據(jù)的任務(wù)。由于節(jié)點(diǎn)多、數(shù)據(jù)量多、數(shù)據(jù)種類多、價(jià)值密度低等特點(diǎn)，HDFS保護(hù)往往存在備份時(shí)間長(zhǎng)、存儲(chǔ)成本高等難題。

AnyBackup提供的HDFS數(shù)據(jù)保護(hù)方案，可根據(jù)客戶需求將代理部署在HDFS集群中或集群外，從而實(shí)現(xiàn)性能保障或減少主機(jī)資源占用的目的。AnyBackup備份時(shí)可結(jié)合增量比對(duì)算法，實(shí)現(xiàn)數(shù)據(jù)的增量備份和永久增量備份。無論HDFS的副本數(shù)是多少，AnyBackup HDFS數(shù)據(jù)保護(hù)方案僅備份一個(gè)副本的數(shù)據(jù)，節(jié)約存儲(chǔ)資源占用。此外，AnyBackup HDFS數(shù)據(jù)保護(hù)方案支持文件目錄按需過濾，靈活縮減備份數(shù)據(jù)源，進(jìn)一步提升了備份效率并降低了存儲(chǔ)成本。 

 AnyBackup Hive數(shù)據(jù)保護(hù)方案

Hive作為構(gòu)建在 Hadoop平臺(tái)之上的數(shù)據(jù)倉庫工具，是Hadoop平臺(tái)最大數(shù)據(jù)量的應(yīng)用組件。然而，因自身架構(gòu)需要，Hive的元數(shù)據(jù)和數(shù)據(jù)分離存儲(chǔ)，這給備份時(shí)如何保障數(shù)據(jù)一致性提出了新挑戰(zhàn)。同時(shí)由于Hive可兼容多種關(guān)系型數(shù)據(jù)庫作為其Metastore（元數(shù)據(jù)庫），數(shù)據(jù)保護(hù)方案如何適配不同關(guān)系型數(shù)據(jù)庫也十分重要。

AnyBackup Hive數(shù)據(jù)保護(hù)方案無需停機(jī)，在線即可實(shí)現(xiàn)Hive海量數(shù)據(jù)的備份，有效解決了備份數(shù)據(jù)一致性的問題。同時(shí)，AnyBackup提供的方案可忽略具體的Metastore關(guān)系型數(shù)據(jù)庫選型，從而實(shí)現(xiàn)所有的Hive Metastore的全面適配。

AnyBackup HBase數(shù)據(jù)保護(hù)方案

HBase作為分布式存儲(chǔ)系統(tǒng)，為Hadoop平臺(tái)提供了海量數(shù)據(jù)實(shí)時(shí)訪問的能力。由于HBase 管理著海量數(shù)據(jù)，且支持基于 RegionSever 的水平擴(kuò)展和基于 HDFS 存儲(chǔ)擴(kuò)展的特性，如何高效經(jīng)濟(jì)地實(shí)現(xiàn)對(duì)HBase數(shù)據(jù)的保護(hù)，也是需要解決的難題。

AnyBackup HBase數(shù)據(jù)保護(hù)方案，支持表粒度的備份恢復(fù)，能夠精準(zhǔn)地備份恢復(fù)所需數(shù)據(jù)，在一定程度上提升了數(shù)據(jù)保護(hù)效率。值得指出的是，AnyBackup支持HBase備份副本間任意時(shí)間點(diǎn)的恢復(fù)，滿足更高的RPO要求。 

強(qiáng)強(qiáng)聯(lián)合：愛數(shù)攜手星環(huán)科技，共筑大數(shù)據(jù)平臺(tái)安全壁壘

星環(huán)科技是全球領(lǐng)先的企業(yè)級(jí)大數(shù)據(jù)基礎(chǔ)軟件平臺(tái)廠商，圍繞數(shù)據(jù)全生命周期為企業(yè)提供基礎(chǔ)軟件及支持，也是經(jīng)過工信部信通院測(cè)試大數(shù)據(jù)產(chǎn)品線最豐富的供應(yīng)商。星環(huán)科技產(chǎn)品已在政府、金融、電力、能源、制造、教育、醫(yī)療等20多個(gè)領(lǐng)域落地。

愛數(shù)與星環(huán)科技強(qiáng)強(qiáng)聯(lián)合，攜手打造AnyBackup  TDH（Transwarp Data Hub）大數(shù)據(jù)平臺(tái)保護(hù)方案，以更好地服務(wù)于各行業(yè)客戶。AnyBackup TDH大數(shù)據(jù)平臺(tái)保護(hù)方案，可實(shí)現(xiàn)數(shù)據(jù) 高效、經(jīng)濟(jì)、安全的保護(hù)。不僅如此，愛數(shù)與星環(huán)科技已完成了兼容性測(cè)試，成功通過了雙方的產(chǎn)品認(rèn)證，能很好地保障TDH大數(shù)據(jù)平臺(tái)數(shù)據(jù)安全。

AnyBackup TDH大數(shù)據(jù)平臺(tái)保護(hù)方案，是愛數(shù)與星環(huán)科技憑借雙方在各自優(yōu)勢(shì)領(lǐng)域的技術(shù)積累，聯(lián)合打造的1+1>2的解決方案。未來，雙方還將持續(xù)深入合作，以更優(yōu)質(zhì)的聯(lián)合解決方案，更好地服務(wù)于各行業(yè)客戶。

大數(shù)據(jù)與分析已成為數(shù)字化轉(zhuǎn)型戰(zhàn)略中的第一要?jiǎng)?wù)，如何在享受大數(shù)據(jù)帶來益處的同時(shí)，保障海量數(shù)據(jù)安全，也成為組織在數(shù)字化轉(zhuǎn)型過程中亟待解決的問題。AnyBackup始終以保護(hù)數(shù)據(jù)安全為使命，護(hù)航廣大行業(yè)客戶的數(shù)字化轉(zhuǎn)型之旅。這也正是AnyBackup設(shè)計(jì)大數(shù)據(jù)平臺(tái)保護(hù)方案的初心。未來，AnyBackup還將繼續(xù)努力，推出更多創(chuàng)新的技術(shù)和解決方案，加速數(shù)字化轉(zhuǎn)型之旅。

songjy