曙光助力河南移動Hadoop平臺案例
任新勃 發(fā)表于:13年05月22日 13:50 [來稿] DOIT.com.cn
項目背景
為推進全網(wǎng)數(shù)據(jù)流量的精細化經(jīng)營,提升數(shù)據(jù)流量經(jīng)營效益,河南移動與曙光公司合作進行經(jīng)分系統(tǒng)流量經(jīng)營分析工程的建設。河南移動的資源池項目是構(gòu)建內(nèi)部共享的業(yè)務支撐云,本項目建設是著眼于未來業(yè)務計算需要,實現(xiàn)根據(jù)競爭情況和客戶需求,加快實現(xiàn)流量的實時計費和提醒,優(yōu)化數(shù)據(jù)流量資費體系,降低套餐內(nèi)外的資費水平差距,提高精細化營銷能力,不斷提高客戶的滿意度和大幅度降低流量投訴。
該平臺首先用于經(jīng)分業(yè)務,基于平臺來提高數(shù)據(jù)處理速度,為公司業(yè)務開展提供數(shù)據(jù)支撐。
其次,采用該平臺處理每月賬單,以現(xiàn)有傳統(tǒng)Oracle數(shù)據(jù)庫集群 + 小型機 + 高端FC磁盤陣列的模式,暫時能夠保證每月1日按時提供用戶賬單,但以每年15%的數(shù)據(jù)增長量,用戶估計一年后就難以滿足需要,因此需要搭建一個處理能力更強,擴展性更高的平臺來替代現(xiàn)有系統(tǒng)。
方案介紹
曙光公司依據(jù)在分布式計算領(lǐng)域多年的積累和研究提出了基于IB網(wǎng)的Hadoop分布式計算平臺的方案。
本項目采用150臺A620r-G雙路服務器構(gòu)建Hadoop平臺,100臺A840r-G四路服務器構(gòu)建數(shù)據(jù)庫處理平臺,全系統(tǒng)以Infiniband網(wǎng)絡互聯(lián),系統(tǒng)平臺的IB網(wǎng)絡設計中,所有的網(wǎng)絡設備的連接均采用冗余設計。首先,每臺服務器配置兩個IB端口,IB端口通過冗余綁定方式分別與兩臺不同的匯聚交換機相連;此外通過高度冗余的三臺二層交換機將所有匯聚交換機連接為統(tǒng)一的子網(wǎng),最大限度的提高系統(tǒng)的冗余度和節(jié)點間通信帶寬限制;兩個IB網(wǎng)關(guān)設備底層各自與兩臺二層交換機相連,上層分別與一臺路由器連接,上層的兩臺路由器通過VRRP技術(shù)實現(xiàn)IB網(wǎng)關(guān)的冗余連接,保證當任意一臺網(wǎng)關(guān)或路由設備出現(xiàn)故障時,底層服務器均有鏈路連接到上層網(wǎng)絡。
方案價值
采用上述方案,該系統(tǒng)實現(xiàn)了Ethernet、Fibre channel、Infiniband三網(wǎng)融合,最大可能的滿足Hadoop集群和數(shù)據(jù)庫處理平臺的高速通訊的需要。