浪潮NF5280M4支撐德邦物流數(shù)據(jù)庫
2015年,國內(nèi)領(lǐng)先的綜合物流供應(yīng)商——德邦物流旗下的德邦快遞營業(yè)額突破19億元大關(guān)。德邦快遞于2013年11月1日正式上線,2014年上線首年?duì)I業(yè)額便達(dá)5億元,2015年德邦快遞繼續(xù)保持迅猛的發(fā)展勢(shì)頭,不到兩年即營業(yè)額突破19億元,為去年同期4倍。訂單數(shù)量的激增,讓德邦物流躋身國內(nèi)主流快遞品牌之一。
相比傳統(tǒng)物流,快遞所運(yùn)輸?shù)呢浳锔⌒突?,但是訂單量卻遠(yuǎn)超物流。為了提升配送的效率并降低配送成本,德邦快遞需要將進(jìn)出貨管理、庫存管理、財(cái)務(wù)、結(jié)算、運(yùn)輸配送管理進(jìn)行統(tǒng)一管理,也就是將所有的信息錄入數(shù)據(jù)庫,各個(gè)聯(lián)機(jī)事務(wù)處理系統(tǒng)作為數(shù)據(jù)庫的原始數(shù)據(jù)源,以文件方式提供企業(yè)在日?;顒?dòng)中收集的數(shù)據(jù)資料和報(bào)表,同時(shí)還有大量的外部信息等數(shù)據(jù),并在快遞業(yè)務(wù)的各個(gè)環(huán)節(jié)有變化時(shí)進(jìn)行實(shí)時(shí)更新和同步。
作為快遞業(yè)務(wù)的核心支撐,數(shù)據(jù)庫不允許出現(xiàn)嚴(yán)重的故障,一旦數(shù)據(jù)庫服務(wù)器出現(xiàn)宕機(jī)等問題,將會(huì)影響整個(gè)業(yè)務(wù)鏈條的運(yùn)轉(zhuǎn)。有報(bào)告顯示,在過去12個(gè)月中,企業(yè)因數(shù)據(jù)丟失和宕機(jī)造成的損失達(dá)1.7萬億美元,這一數(shù)字或相當(dāng)于近50%的德國GDP。因此,德邦快遞在數(shù)據(jù)庫服務(wù)器系統(tǒng)的選擇上十分謹(jǐn)慎。
選擇傳統(tǒng)集中式,還是用更靈活的雙路做分布式數(shù)據(jù)庫?
在搭建數(shù)據(jù)庫系統(tǒng)上,德邦面臨兩種不同的選擇,一種是采用集中式的架構(gòu),也就是單機(jī)縱向擴(kuò)展,在數(shù)據(jù)庫容量不是太大,且對(duì)于可靠性要求不是太高的情況下,企業(yè)通常會(huì)采用一臺(tái)四路服務(wù)器作為數(shù)據(jù)庫服務(wù)器的主要機(jī)型,并搭配另一臺(tái)四路作為備份以確保安全性。另一種思路是采用分布式架構(gòu),也就是多機(jī)集群擴(kuò)展,目前大部分大型互聯(lián)網(wǎng)公司都傾向于采用這種架構(gòu),比如阿里巴巴,利用分布式數(shù)據(jù)庫DRDS成功保障單日近千億的線上交易。那么這兩種選擇會(huì)有怎樣的優(yōu)劣?
首先從可靠性上來看,單臺(tái)四路的可靠性一定是高于雙路服務(wù)器,但是雙路服務(wù)器集群來支撐數(shù)據(jù)庫應(yīng)用的話,情況就大有不同了。分布式數(shù)據(jù)庫系統(tǒng)可以在集群里每臺(tái)服務(wù)器中都保留數(shù)據(jù)庫的完整拷貝副本,或者部分拷貝副本,并具有自己局部的數(shù)據(jù)庫,位于不同地點(diǎn)的許多計(jì)算機(jī)通過網(wǎng)絡(luò)互相連接,共同組成一個(gè)完整的、全局的邏輯上集中、物理上分布的大型數(shù)據(jù)庫。因此,在個(gè)別服務(wù)器或個(gè)別通信鏈路發(fā)生故障時(shí),不至于導(dǎo)致整個(gè)系統(tǒng)的崩潰,而且系統(tǒng)的局部故障不會(huì)引起全局失控。
其次,從擴(kuò)容靈活性上來看,分布式數(shù)據(jù)庫的擴(kuò)容效率更高。傳統(tǒng)集中式數(shù)據(jù)庫的應(yīng)用場(chǎng)景往往是短期內(nèi)沒有太高增長量的業(yè)務(wù)應(yīng)用。但是在互聯(lián)網(wǎng)行業(yè),用戶數(shù)很可能在短短的一個(gè)月內(nèi)爆發(fā)式增長幾千倍,數(shù)據(jù)也很可能快速地從原來的幾百GB飛速上漲到幾百個(gè)TB。由于傳統(tǒng)集中式數(shù)據(jù)庫依靠單機(jī)性能的垂直擴(kuò)展,在如此快速的變化面前,數(shù)據(jù)庫往往來不及擴(kuò)容就已飽和。而采用雙路服務(wù)器做分布式數(shù)據(jù)庫,擴(kuò)容只需要增加一臺(tái)服務(wù)器節(jié)點(diǎn)即可。
第三,從提升業(yè)務(wù)性能上看,設(shè)計(jì)優(yōu)良的分布式數(shù)據(jù)庫更能適應(yīng)高并發(fā)的數(shù)據(jù)庫操作。用四路、八路做集中式數(shù)據(jù)庫,其性能的上限是在單機(jī)的計(jì)算性能上,也就是選擇了高端的CPU+滿配的內(nèi)存后,就已經(jīng)基本確定了數(shù)據(jù)庫的極限容量和并發(fā)。而且當(dāng)數(shù)據(jù)庫容量越來越大時(shí),系統(tǒng)進(jìn)行檢索所需要的資源消耗就越大,處理效率也會(huì)相應(yīng)降低。而采用分布式數(shù)據(jù)庫則可以避免這種問題,在上層來看,系統(tǒng)中只有一個(gè)大的數(shù)據(jù)庫,但是實(shí)際上在分布式數(shù)據(jù)庫這個(gè)黑盒子中,數(shù)據(jù)庫被分割成多個(gè)小的、局部的數(shù)據(jù)庫。當(dāng)用戶對(duì)其中的數(shù)據(jù)進(jìn)行讀取或者寫入時(shí),可能是由集群內(nèi)的多臺(tái)服務(wù)器來完成操作,這樣在高并發(fā)訪問時(shí),能夠自動(dòng)進(jìn)行負(fù)載均衡,不會(huì)因任務(wù)等待造成延遲。
快遞行業(yè)與電商行業(yè)聯(lián)系緊密,每當(dāng)電商大促,快遞訂單量就在短時(shí)間內(nèi)快速增長,這就要求數(shù)據(jù)庫需要具備極佳的擴(kuò)容靈活性,因此德邦快遞選擇采用雙路服務(wù)器來搭建其數(shù)據(jù)庫系統(tǒng),在滿足系統(tǒng)需求的同時(shí),既節(jié)省了采購成本,同時(shí)靈活性和集群性能大大提升。
單機(jī)決定集群性能,德邦快遞選擇浪潮旗艦雙路服務(wù)器NF5280M4
分布式數(shù)據(jù)庫的效率取決于服務(wù)器集群的數(shù)量和每臺(tái)服務(wù)器的性能,因此德邦在選擇雙路數(shù)據(jù)庫服務(wù)器同樣嚴(yán)苛,在可靠性、性能、擴(kuò)展性和能效比上都有很高要求。經(jīng)過比較,德邦最終選擇浪潮旗艦雙路服務(wù)器NF5280M4作為其分布式數(shù)據(jù)庫的基石。
以高性能、擴(kuò)展性、可靠性、能效比著稱的NF5280M4,不僅具有業(yè)界最大的擴(kuò)展性,也具有全模塊化、免工具維護(hù)、耐高溫腐蝕等特性,為新一代信息化應(yīng)用和下一代數(shù)據(jù)中心做了大量的優(yōu)化,適合德邦快遞的數(shù)據(jù)庫業(yè)務(wù)應(yīng)用。
在可靠性方面,NF5280M4支持包括CPU、內(nèi)存、IO、總線等方面22項(xiàng)RAS級(jí)特性。對(duì)于內(nèi)存故障時(shí)最常見的服務(wù)器硬件問題,NF5280M4獨(dú)具的故障內(nèi)存隔離RAS特性,可以保障服務(wù)在內(nèi)存故障時(shí),自動(dòng)將內(nèi)存隔離并發(fā)出告警,但系統(tǒng)仍可正常運(yùn)行,保障業(yè)務(wù)的正常運(yùn)行。
為了保障分布式數(shù)據(jù)庫的性能,集群內(nèi)的單臺(tái)服務(wù)器也需要較高的計(jì)算能力。浪潮為德邦提供的NF5280M4中,搭載的是雙路Intel Xeon E5-2690v3 CPU,這是此代E5 CPU的高端配置,12核心、2.6GHz主頻、30MB三級(jí)緩存,加上單機(jī)512G的高速DDR4內(nèi)存,保障數(shù)據(jù)庫高效運(yùn)轉(zhuǎn)。
在存儲(chǔ)方面,浪潮為德邦選擇了10k轉(zhuǎn)速的SAS硬盤和高IOPS的SSD作為存儲(chǔ)介質(zhì)。中大型關(guān)系數(shù)據(jù)庫應(yīng)用,尤其在電商類網(wǎng)站購物狂歡節(jié)后的高并發(fā)訂單突發(fā)狀況下,采用SSD能有效避免加載延時(shí)、歷史數(shù)據(jù)無法正常顯示等問題。在Mysql壓力測(cè)試中,單盤足以支撐每秒上萬人的在線同時(shí)處理。在HDFS測(cè)試中,模擬離線數(shù)據(jù)分析,1.5TB數(shù)據(jù),5塊普通機(jī)械硬盤需要50分鐘才能讀取到內(nèi)存,而使用SSD可在25分鐘內(nèi)完成,采用SSD將能夠提升近一倍的處理效率。
浪潮NF5280M4具有業(yè)界最大的部件擴(kuò)展性,采用全新智能計(jì)算加速技術(shù),性能提升2倍以上,適合云計(jì)算和大數(shù)據(jù)等新型應(yīng)用。另外,該產(chǎn)品還在部署特性方面進(jìn)行了優(yōu)化,可以耐受45℃高溫環(huán)境和自然空氣中的氮化物和硫化物腐蝕,可在自然風(fēng)冷數(shù)據(jù)中心部署。目前,NF5280M4已經(jīng)廣泛部署在工商銀行、招商銀行、交通銀行、中國移動(dòng)、中國電信等大規(guī)模數(shù)據(jù)中心,深受商業(yè)客戶