青云QingCloud Hadoop集群架構(gòu)圖
2015年8月,青云QingCloud就已推出基于Spark的大數(shù)據(jù)集群服務(wù),此次Hadoop集群服務(wù)的上線是對QingCloud大數(shù)據(jù)基礎(chǔ)平臺的有力補(bǔ)充。Hadoop和Spark各有千秋,Hadoop適用于更大規(guī)模的離線數(shù)據(jù)處理,且對系統(tǒng)故障具備天然的抵抗力;Spark更適合做快速的實時數(shù)據(jù)分析。因此,用戶可以根據(jù)應(yīng)用場景的不同,選擇靈活的大數(shù)據(jù)解決方案。
具體而言,青云QingCloud Hadoop集群服務(wù)具有以下特性:
一鍵部署:用戶只需要簡單的幾步操作就能夠在2-3分鐘內(nèi)創(chuàng)建出一個Hadoop集群,幫助用戶降低Hadoop的技術(shù)門檻和開發(fā)成本,快速地利用Hadoop展開數(shù)據(jù)分析工作。
簡化運(yùn)維:大數(shù)據(jù)平臺尤其是Hadoop的運(yùn)維非常繁瑣,QingCloud為用戶提供了便捷的運(yùn)維工具和圖形化操作,極大地簡化了Hadoop集群的運(yùn)維和管理工作。
在線伸縮:Hadoop集群服務(wù)支持橫向和縱向在線伸縮,以滿足用戶對計算能力和容量的需求。用戶可以選擇新增或者刪除節(jié)點(diǎn)進(jìn)行橫向伸縮,也可以根據(jù)節(jié)點(diǎn)的監(jiān)測數(shù)據(jù)隨時調(diào)整各個節(jié)點(diǎn)的配置。
監(jiān)控告警:QingCloud針對HDFS、YARN和MapReduce提供了豐富的監(jiān)控信息,還為每個節(jié)點(diǎn)資源提供了監(jiān)控告警服務(wù),包括CPU使用率、內(nèi)存使用率、硬盤使用率等,以幫助用戶更好地管理和維護(hù)Hadoop集群。
安全性:Hadoop集群運(yùn)行于100%二層隔離的私有網(wǎng)絡(luò)內(nèi),結(jié)合QingCloud提供的高性能硬盤,在保障高性能的同時兼顧用戶的數(shù)據(jù)安全。