對于Hadoop,關(guān)注大數(shù)據(jù)的用戶應(yīng)該都會(huì)有所了解,它是一個(gè)大數(shù)據(jù)處理的框架,其最底部是 Hadoop Distributed File System (HDFS),負(fù)責(zé)存儲(chǔ)Hadoop 集群中所有存儲(chǔ)節(jié)點(diǎn)上的文件。HDFS的上一層是 MapReduce 引擎,該引擎由 JobTrackers 和 TaskTrackers 組成。
隨著越來越多的商業(yè)版本的誕生和Hadoop生態(tài)系統(tǒng)的不斷完善,以及越來越多的用戶逐漸意識(shí)到數(shù)據(jù)價(jià)值的重要性,Hadoop也開始在各行各業(yè)的數(shù)據(jù)分析中開始使用。筆者在現(xiàn)場就了解到,某地區(qū)的商業(yè)銀行就用到Hadoop去做一些用戶的精準(zhǔn)營銷。
然而,Hadoop在為大數(shù)據(jù)的處理和分析帶來極大便利的同時(shí),也為數(shù)據(jù)安全帶來了諸多的隱患。比如,Hadoop由于其數(shù)據(jù)是分布在不同的存儲(chǔ)節(jié)點(diǎn)上運(yùn)行,數(shù)據(jù)是不完整的,當(dāng)用于商業(yè)決策時(shí),一旦惡意篡改其中任何一個(gè)節(jié)點(diǎn)的數(shù)據(jù),就可能會(huì)造成決策的失誤,這對于企業(yè)的影響,是難以衡量的。再比如,Hadoop節(jié)點(diǎn)上的數(shù)據(jù),是沒有加密的,這對于數(shù)據(jù)安全是一個(gè)非常大的威脅,攻擊者可以通過互聯(lián)網(wǎng)進(jìn)入數(shù)據(jù)中直接竊取沒有加密的數(shù)據(jù)。Hadoop的數(shù)據(jù)加密問題,也是當(dāng)前Hadoop安全防護(hù)的一個(gè)重大的課題,Jon談道,這也是趨勢科技的研發(fā)團(tuán)隊(duì)當(dāng)前正在做的一件事情。
針對Hadoop系統(tǒng)的安全問題,趨勢科技將推出Deep Security的Hadoop版,可以支持虛擬機(jī)和物理機(jī)環(huán)境的混合環(huán)境。據(jù)Jon介紹,這款產(chǎn)品相比傳統(tǒng)的HTTP Web網(wǎng)關(guān)和防火墻的安全防護(hù)方案相比,從五個(gè)層次進(jìn)行數(shù)據(jù)安全的預(yù)防和保護(hù),包括訪問控制、預(yù)防網(wǎng)絡(luò)威脅、預(yù)防系統(tǒng)應(yīng)用威脅、數(shù)據(jù)隱私性以及數(shù)據(jù)的完整性等,
但是,這款針對Hadoop系統(tǒng)的Deep Security版本的具體發(fā)布時(shí)間目前尚未公布,Jon表示目前正在攻克一個(gè)難點(diǎn)——如何在Hadoop環(huán)境中實(shí)現(xiàn)數(shù)據(jù)加密,同時(shí)不損失數(shù)據(jù)處理的性能。他希望能夠在一年之內(nèi)將這款產(chǎn)品推向市場。