容器引擎是金山云推出的Kubernetes服務產品,基于原生的Kubernetes進行開發(fā)和適配,無縫融合了金山云生態(tài)的其他基礎資源和產品服務。
目前,金山云容器引擎覆蓋主流應用的多版本Kubernetes,支持一鍵式創(chuàng)建,多可用區(qū)高可用部署,同時提供舊版本的一鍵升級功能,持續(xù)保護用戶資產;集成云平臺能力,如網(wǎng)絡方案(Flannel和Canal)、持久化存儲(塊存儲和文件存儲)、安全(多租戶隔離和主機加固)等;鏡像倉庫支持對Docker hub、gcr.io鏡像加速,高速內網(wǎng)下載鏡像,11個9的可靠性保證;在控制臺支持Kubernetes 的軟件包管理工具Helm,提供金山云官方Helm Chart,支持在線可視化部署Helm應用。
此外,金山云容器引擎大幅降低了Kubernetes的使用門檻和綜合成本,讓用戶開發(fā)團隊更專注自身業(yè)務。
統(tǒng)一管理、彈性伸縮 為用戶創(chuàng)造更多價值
由于大數(shù)據(jù)應用的復雜性,會使用多種類型的機型作為Work節(jié)點,如利用云主機應對快速的流量擴容、利用云物理服務器提供無性能損耗能力、利用云GPU服務器的大規(guī)模線程和高速計算力優(yōu)勢等等,來滿足計算的需求。
金山云容器引擎提供混合集群的統(tǒng)一管理服務,在一個集群可以實現(xiàn)多種類型節(jié)點的統(tǒng)一管理,通過Label的設置可以實現(xiàn)對整體資源的統(tǒng)一調度部署,避免了多個集群的使用,一方面大幅降低了使用成本,另一方面有效提升管理效率。
大數(shù)據(jù)業(yè)務對計算的需求是動態(tài)的,并且波動較大,金山云容器引擎支持Cluster AutoScaler實現(xiàn)集群工作節(jié)點的彈性伸縮,節(jié)省開支。目前,金山云容器引擎本身免費對外提供使用,同時提供免費的企業(yè)級容器鏡像倉庫服務,用戶僅需支付所使用資源的費用,工作節(jié)點支持預付費包年包月、按日配置付費、按小時配置計費等靈活的計費策略選擇。
整體框架圖
大數(shù)據(jù)云平臺利用容器引擎集群、云物理機集群、云服務器集群構建大數(shù)據(jù)控制平臺和共享服務資源池,為用戶提供租戶隔離、安全可靠的大數(shù)據(jù)托管服務。
大數(shù)據(jù)平臺在容器引擎的部署方案如上圖所示:
1、在endpoint容器引擎集群中部署微服務架構,如:數(shù)據(jù)管理(元數(shù)據(jù)管理、數(shù)據(jù)權限、數(shù)據(jù)質量、數(shù)據(jù)地圖等)、數(shù)據(jù)服務、數(shù)據(jù)采集,共享的組件mysql ,redis等基礎服務。
2、在online/offline容器引擎集群中部署的大數(shù)據(jù)組hive、spark、flink、hbase、kafka、zookeeper、ElasticSearch等,目前hive、hbase等用的是HDFS存儲,而zookeeper、ElasticSearch、kafka用的是NFS、KS3存儲。
目前,金山云大數(shù)據(jù)平臺已使用容器引擎平臺部署在線和離線的業(yè)務,支持海量數(shù)據(jù)處理,在整個過程雙方團隊積累了豐富的大數(shù)據(jù)使用經驗,持續(xù)在spark on kubernetes的動態(tài)資源、kube-scheduler調度策略等方面進行優(yōu)化,升級產品功能,并賦能更廣泛的大數(shù)據(jù)相關用戶,為用戶創(chuàng)造更多價值。
作為CNCF基金會黃金會員之一,金山云致力于推動基于容器技術的云原生產品方案落地實踐。目前,金山云已通過CNCF Kubernetes服務提供商認證,容器引擎已通過CNCF Kubernetes一致性認證以及可信云容器解決方案認證和可信云Kubernetes認證。此外,金山云擁有CNCF CKA、CKAD認證的高級技術專家團隊,為用戶提供專業(yè)的產品和服務支持。
欲了解更多詳細,歡迎點擊(金山云容器引擎:https://www.ksyun.com/post/product/KCE.html)