以下為陳小波演講實錄整理:

英特爾(中國)有限公司存儲架構(gòu)師陳小波在會上以EMC是否為軟件定義存儲一問引題,“EMC不是軟件定義存儲,確實不是,但存儲其實都由軟件來控制?!?/p>

濟(jì)南海關(guān)工程師分享了其選擇SDS的經(jīng)驗

何為軟件定義存儲,何為對用戶最有用的軟件定義存儲?相信大家看完濟(jì)南海關(guān)高級工程師孟凡超的分享之后會有一個初步的認(rèn)識。

孟凡超首先介紹了一個今年制作的全國海關(guān)跨境貿(mào)易電子商務(wù)系統(tǒng)流程圖,為國內(nèi)貨物出口國外的基本流程。最左邊的SQL數(shù)據(jù)庫,最早之前是在存儲上,通過畫LINE的方式放置SQL數(shù)據(jù)庫。運行發(fā)現(xiàn)的問題主要集中在數(shù)據(jù)量較大——濟(jì)南海關(guān)一年報關(guān)單與抄單數(shù)為15萬份,加上它所有環(huán)節(jié)上的單量在70-80萬之間。

1

再加上現(xiàn)在還啟用了新一版的報關(guān)機制——無紙化報關(guān)。所有中間環(huán)節(jié)都以電子數(shù)據(jù)形式存儲在網(wǎng)絡(luò)上。

接下來的審單各個環(huán)節(jié)也通過讀取網(wǎng)絡(luò)上電子數(shù)據(jù)完成。這相當(dāng)于海量存儲,用戶讀取或檢索需要很高的IOPS支持。而如果一票貨物都裝在一輛車?yán)?,卡口放行時由于需要讀取所有貨物所有報關(guān)單的信息,后臺SQL數(shù)據(jù)庫性能造成了一個瓶頸,用戶讀取單量的時候,產(chǎn)生很高的延時。里面放著數(shù)十份報關(guān)單,放行的時候,車行走卡口的位置,攝像頭取得他的車牌號之后,把后面所有報關(guān)單的信息全部給同步出來,看他的信息是否符合放行標(biāo)準(zhǔn)。

這個時候經(jīng)常有一個現(xiàn)象——我這個車上到臺上去,需要等到很長時間,前面那個桿才抬起來。這個過程我們經(jīng)過排查之后發(fā)現(xiàn),確實對于我們通關(guān)來講效率低了很多,從今年開始我們也對整套系統(tǒng)進(jìn)行了一個從頭到尾的排查,終于排查出來之后主要性能落在SQL數(shù)據(jù)庫上。

下一步我們通過最早之前SQL數(shù)據(jù)庫是用的2008版,做的是Windows自己帶的故障源集群。性能大家知道基本上是平時用的話只有一臺主機用,另外一臺是待機狀態(tài)。我們今年做了一個新的,就是用了SQL2012,有一個Alwayson集群。我有三臺主機,其中有兩臺它的數(shù)據(jù)庫是處在同步的狀態(tài),這個時候它的硬件應(yīng)用率和原先2008的方式應(yīng)該是利用率提高了。下面介紹它的性能來講是中間同步的關(guān)系,第三臺機器做了SQL一個異步的同步,對我的數(shù)據(jù)庫有三個副本。

這個過程當(dāng)中,從一般傳統(tǒng)技術(shù)上來講,可能你要在主機下面掛的是存儲,今年我們采用的是本地磁盤。通過三臺主機安裝英特爾的PCIE SSD卡,做了一個數(shù)據(jù)庫整合,我把我的主數(shù)據(jù)庫都放在SSD上。我們再去測性能,發(fā)現(xiàn)延時基本被消除。這個系統(tǒng)運行一年之后,我們用NVMe和FC-SAN,性能提高5倍以上。原來半分鐘時間把數(shù)據(jù)從后臺讀到前端去,現(xiàn)在5秒左右就可以抬桿。之前計劃購買兩套FC-SAN,后來買了SSD卡把這個問題解決了。后來容災(zāi)都沒有單獨再去購買。運維成本少了兩套FC-SAN存儲,包括機柜,耗電,空調(diào),機房占用都節(jié)省掉,對人力成本也減少很多。因為我現(xiàn)在不太需要維護(hù)FC-SAN關(guān)鍵存儲,只需要維持它的正常運轉(zhuǎn)。

這個系統(tǒng)我們目前來講能夠?qū)ξ覀冋淄P(guān)多元系統(tǒng)起到很好的支撐作用,雖然說中間可能沒有什么很好的創(chuàng)新,但是我們?nèi)诤狭藥追N產(chǎn)品的優(yōu)點,能夠?qū)⑺糜谖覀冏约耗壳八龅墓ぷ鳌?/p>

我的匯報就到這。

應(yīng)用軟件是定義存儲的關(guān)鍵

陳小波:說到存儲我們看它的特征,所有存儲從硬件來說就是兩塊,一個控制器,一個和控制器相連的磁盤。從軟件應(yīng)用控制器上,軟件做什么?軟件高度抽象之后就三個作用——組織磁盤、輸出磁盤、容災(zāi)。

存儲要做什么?存儲運用數(shù)據(jù),既然是數(shù)據(jù)就是用戶最核心的IT資產(chǎn),要求存儲安全可靠,穩(wěn)定運行。存取要求什么?要求性能,IOPS,bw(帶寬,每秒的吞吐量)、lat(每次IO操作的延遲)。應(yīng)用的數(shù)據(jù),剛才濟(jì)南海關(guān)說的很清楚,誰產(chǎn)生數(shù)據(jù)?應(yīng)用產(chǎn)生數(shù)據(jù),由應(yīng)用來牽動你的軟件定義存儲或者操作各方面的存儲,使得你的應(yīng)用從用戶層面看待整個核心。

數(shù)據(jù)中心面臨的五大問題——安全,可靠性,性能,易管理性和成本

傳統(tǒng)數(shù)據(jù)中心面臨的問題。基礎(chǔ)硬件發(fā)展決定就是高效利用CPU多核,這是絕大多數(shù)用戶數(shù)據(jù)中心里面的環(huán)境,有一些單獨應(yīng)用和數(shù)據(jù)庫在物理計算。對用戶來說比較普遍的幾個問題,性能是一方面,但性能不是最絕對的一個方面。很多大型用戶性能主體不嚴(yán)重,不嚴(yán)重的前提條件是他付出了非常昂貴的成本實現(xiàn)性能無虞。如果存儲性能不夠會是什么情況?我們有一個案例,一家公司買了32位的Oracle數(shù)據(jù)庫,三套數(shù)據(jù)庫要求10萬的IOPS,存儲只能給3萬。大家知道Oracle是根據(jù)日志浪費,浪費錢不說,它的業(yè)務(wù)也受到了影響。存儲性能不夠,造成你整體應(yīng)用性能不夠,不僅僅是存儲的問題。

同時在新的數(shù)據(jù)中心逐漸走向虛擬化和云化的時候,你的存儲和虛擬化和云的結(jié)合是不是足夠的敏捷,足夠的彈性,這些是傳統(tǒng)的FC很難回答的問題。

從最終用戶角度來講,數(shù)據(jù)中心基礎(chǔ)架構(gòu)來講始終是計算、存儲、網(wǎng)絡(luò)這三塊。每次由計算推動整個發(fā)展,現(xiàn)狀就是整個計算從小機走向IE架構(gòu),也從IE架構(gòu)里面走上虛擬化和云化。技術(shù)推動這個,要求存儲和網(wǎng)絡(luò)跟上這個。存儲性能直接影響你的整體性能,大小用戶都受限于存儲性能。他們直接推動之后,形成新的平衡,以達(dá)到形成統(tǒng)一管理。

最終用戶需求是什么?他們會說,我不關(guān)心你們很多需求,我就關(guān)心第一我們的數(shù)據(jù)是不是安全的。數(shù)據(jù)安全是基本的要求。現(xiàn)在大家都知道整個超融合和SDS市場蓬勃發(fā)展,看上去都很好,誰是真正的好,誰是真正在保證我的數(shù)據(jù)安全,這是用戶的疑問。用戶填的第二個需求是簡單易用。這幾點用戶對幾個基礎(chǔ)架構(gòu)追求統(tǒng)一起來,我們換成一個公式,如果你的安全有一點瑕疵,不管你前面性能多好,界面多么炫目,得分是0。我們有各種安全保障,系統(tǒng)穩(wěn)定可靠,不會因為單點故障失效,有容災(zāi)等等,這是系數(shù)能否保證100分的算法。

傳統(tǒng)終端存儲,兩個控制器互相作用,提供SCN的接口,這是大家最熟悉的存儲形態(tài)。這種形態(tài)下,絕大部分廠家Gateway,能提供一個ISCSI,NFS和SMB協(xié)議,統(tǒng)一存儲??赡芤彩墙K端存儲的一個定義。

如果我們把控制器加多,磁盤加多,四個或者八個控制器,這是高端存儲。本質(zhì)來講它和終端存儲一樣,只是控制器更多,整體能力更強一點。傳統(tǒng)盤在傳統(tǒng)架構(gòu)不變的情況下,從機械硬盤換成SSD。各種架構(gòu)都有,絕大部分都是這樣。這里有一個問題,控制器能力,軟件定義存儲,任何存儲都是這樣。

組織磁盤、輸出磁盤,組織磁盤第一我有各種技術(shù),把盤組在一起提供,控制器這時候是瓶頸。我們把控制器拿出來盤減少,以前通過外設(shè)盤柜就放在控制器里面。用各種方式把它們連接起來,這個時候就叫分布式存儲,最早常見的分布式存儲。云存儲、對象存儲,傳統(tǒng)存儲無法提供海量數(shù)據(jù)的彈性擴(kuò)展。

大家一說分布式存儲,主要是在互聯(lián)網(wǎng)為主提供的對象存儲上,云盤上,這比較廉價,為了降低成本,不一定用服務(wù)器,甚至用i3和i5的CPU。大家在日常工作中超融合,這個地方你不要受廉價PC的誤導(dǎo),它不是干這個事的。廣義上講,所有的ServerSAN,HCI,Object都是分布式存儲。

大家都知道存儲里面的計算資源不多,如果我們再把兩個合并起來就是超融合。話是這么說。英特爾展臺有七家,外面神州云科他們展臺上有一個測試規(guī)范。其中有一項就是你用多少資源達(dá)到多少性能。有幾個指標(biāo),其中一點就是用很少的資源實現(xiàn)一個相對較高的性能。你把本該用于虛擬化的計算資源和內(nèi)存資源用于你的存儲,這被認(rèn)為是失敗的超融合。我們只計算節(jié)點里面少量計算資源和內(nèi)存資源。

大家都有一個想法,對于不同的應(yīng)用,它們對于性能、成本、可擴(kuò)展性、敏捷性的要求不一樣。比如云計算非常要求敏捷性,數(shù)據(jù)庫其實不太要求敏捷性,數(shù)據(jù)庫要求極限性。在我們分布式存儲里面它的原數(shù)據(jù)怎么設(shè)計,要求不同。大家想用一種技術(shù)去實現(xiàn)是有困難的,甚至大家強求分布式,其實有時候并不都需要分布式。剛才濟(jì)南海關(guān)孟凡超講的,單機用的就是本地的軟件保護(hù)技術(shù),軟件定義的軟件保護(hù)技術(shù)。整體兩地三中心,用的不是分布式軟件,是整體的兩地三中心全閃的數(shù)據(jù)庫解決方案。性能、成本各方面的解釋,不一定需要強求。

組織磁盤,用于云的超融合可以在更高層面。輸出,在超融合,不管數(shù)據(jù)庫超融合還是云的超融合有一點很隱含的優(yōu)勢。只輸出給本機,減少它在設(shè)計和性能上的拼接。更高層面由別的軟件進(jìn)行,不管是HAA+DR的設(shè)計。最早是數(shù)據(jù)庫要求的,原來不完善,現(xiàn)在數(shù)據(jù)可以做到。其實Oracle也可以做到。

再簡單講兩點,最核心的兩點,數(shù)據(jù)安全和性能。安全主要矛盾是軟件,硬件也有要求,有各種的容災(zāi)方案,主要矛盾是軟件。我們測試也是軟件,是一切的前提。他擔(dān)心出問題,成功案例很重要,測試方法很重要。核心來說,就是在虛擬機中跑數(shù)據(jù)庫,各種破壞性測試。通過我們這個測試,它一定沒問題。在我這測試8臺、16臺的規(guī)模,他實際是32臺,有的問題在小規(guī)模爆發(fā)不出來,大規(guī)??梢员l(fā)出來。

簡單說怎么測?兩個數(shù)據(jù)庫不停的查數(shù)據(jù),跑FIO,給它數(shù)據(jù)量。做各種破壞性測試,拔網(wǎng)線,關(guān)機等等破壞性測試。應(yīng)用不停頓,關(guān)機應(yīng)用肯定會停頓,我的所有都是好的。

性能主要矛盾是硬件,不是軟件。軟件廠家之間的區(qū)別就是一個打羅漢拳,一個打太極拳,打的好的都一樣。硬件決定你性能的基礎(chǔ),我給你100分性能,軟件決定把這個性能發(fā)揮60分還是40分。軟件設(shè)計的好與壞,40和60分的差距很大。任何性能上的投機取巧會付出數(shù)據(jù)安全的代價。傳統(tǒng)存儲上,比如EMC是靠UPS去保證內(nèi)存中的數(shù)據(jù)庫,如果說它沒有相應(yīng)的保證,我不相信誰有幾百個、上千個存儲節(jié)點的UPS。如果它沒有各種措施,任何想在性能上投機取巧,用戶一定會扶持血淋淋代價。

磁盤轉(zhuǎn)速決定你的Random性能,RPM還能磁密度上升,容量還能提高,現(xiàn)在是8T,16T,32T,你即使性能提升了,你的rebuild,在容量增加后數(shù)據(jù)安全性也會很危險。怎么選?我看可靠性。可靠性第一,數(shù)據(jù)庫大家經(jīng)常考慮性能,其余可以考慮性價比。

解決方案和結(jié)論,第一軟件,選適合你的軟件,用合適方法測試它們。這也符合二八定律,不會百分之百都落在SSD里面。

除了英特爾還有軟件,英特爾還用于OPA。大家對英特爾的OPA感興趣請聯(lián)系我們。謝謝大家。

分享到

崔歡歡

相關(guān)推薦