浪潮存儲的信心來自哪里呢?

當(dāng)今市場的用戶環(huán)境是一個多云狀況,從邊緣(Edge)到核心(數(shù)據(jù)中心)到云(Cloud),從私有云到公有云,到混合云,從一個公有云,到另一個公有云,這就是目前典型的用戶應(yīng)用的場景。根據(jù)IDC提供的數(shù)據(jù),2018年云計算基礎(chǔ)設(shè)施的規(guī)模為523億美元,未來會按照10.8%復(fù)合年增長率(CAGR)增長。

如果說,傳統(tǒng)行業(yè)企業(yè)用戶的云化還在路上,沒有那么清晰,不妨看看公有云廠商的選擇。

在公有云的世界里,軟件定義存儲早已經(jīng)一統(tǒng)江湖了!

 

公有云廠商為了應(yīng)對“雙11“的業(yè)務(wù)尖峰,唯一的辦法就彈性擴(kuò)容,短暫利用離線服務(wù)器的資源,但是傳統(tǒng)的架構(gòu)和資源配置,依靠直連存儲DAS,特別是HDD的性能瓶頸,帶來的問題顯而易見。

存儲計算分離,構(gòu)建統(tǒng)一的軟件定義存儲集群,這就是問題的答案。

傳統(tǒng)行業(yè)市場特殊嗎?

既然如此,在傳統(tǒng)行業(yè)企業(yè)市場,為什么這種現(xiàn)象沒有發(fā)生呢?

就連“軟件定義存儲“本身,也是EMC等存儲廠商最早提出的,當(dāng)時的概念,強(qiáng)調(diào)軟件、硬件的解耦,這也是軟件定義的存儲。

如此原因,還要從應(yīng)用尋找答案。

從應(yīng)用軟件現(xiàn)狀看,互聯(lián)網(wǎng)企業(yè)以云原生應(yīng)用為主,具有非常好的分布式設(shè)計,與軟件定義存儲珠聯(lián)璧合。相比傳統(tǒng)行業(yè)企業(yè),應(yīng)用以傳統(tǒng)應(yīng)用為主,不具有分布式特征,這樣的應(yīng)用可以構(gòu)建在軟件定義存儲的基礎(chǔ)上嗎?可靠性,穩(wěn)定性,安全性可以媲美傳統(tǒng)磁盤陣列嗎?

這也是傳統(tǒng)行業(yè)企業(yè)所擔(dān)心的,也是困擾他們的難題。

要么向互聯(lián)網(wǎng)企業(yè)學(xué)習(xí),對于傳統(tǒng)應(yīng)用進(jìn)行云原生改造,顯然這是一個艱巨而漫長的過程,此外,目前技術(shù)基礎(chǔ),人才積累也限制了云原生花改造的進(jìn)程。

怎么辦?

答案是:軟件定義存儲產(chǎn)品自身能力的提升。

目前市場上,軟件定義存儲產(chǎn)品眾多,有開源的方案,也有自主研發(fā)的產(chǎn)品。其中,開源產(chǎn)品也有Ceph、SheepDog、MooseFS、Swift等多種方案選擇。用戶可以選用開源社區(qū)版本,也可以購買開源商業(yè)版本。自主研發(fā)產(chǎn)品方面,VMware、浪潮、華為、聯(lián)想、新華三、紫光西部數(shù)據(jù)等也推出了自主研發(fā)的軟件定義存儲產(chǎn)品,IBM、DellEMC、NetApp、Ventara、Nutanix等也推出了相應(yīng)的產(chǎn)品方案,此外,XSKY、SmartX、華云網(wǎng)際、凱翔、南京鵬云等國內(nèi)創(chuàng)新企業(yè)也推出了各自的產(chǎn)品解決方案。

在如此眾多方案中,如何進(jìn)行選擇?

對此,首先是技術(shù)的選擇,億級IOPS、百GB帶寬、EB級海量存儲空間、千億億文件管理等硬件指標(biāo)是一個衡量的標(biāo)準(zhǔn)。

軟件定義存儲選型“硬標(biāo)準(zhǔn)”

如此優(yōu)異的產(chǎn)品真的現(xiàn)實(shí)存在嗎?

億級IOPS為例,這不是簡單的 SSD置換就能夠?qū)崿F(xiàn)的,涉及從介質(zhì)到算法優(yōu)化,從外部存儲到內(nèi)存計算的設(shè)計和優(yōu)化。借助NVMe SSD、3D XPoint SSD等固態(tài)存儲介質(zhì)技術(shù),通過全閃存軟件定義存儲內(nèi)的介質(zhì)更新,軟件算法優(yōu)化,大幅提高IOPS、時延和帶寬。

在內(nèi)存計算技術(shù)發(fā)展起來之后,在數(shù)據(jù)庫設(shè)計、應(yīng)用設(shè)計方面已經(jīng)得到改變,固態(tài)存儲介質(zhì)技術(shù)的引入,也為內(nèi)存計算增加了非易失的特性,讓計算和存儲的特性得到極大發(fā)揮。

為實(shí)現(xiàn)億級IOPS,需要從底層NAND FLASH、NVM(Non-volatile memory,非易失存儲器)、設(shè)備驅(qū)動,接口、操作系統(tǒng)、上層應(yīng)用程序等軟件協(xié)議棧進(jìn)行全面的優(yōu)化,從應(yīng)用系統(tǒng)的層面,對于NVM存儲介質(zhì)管理、控制、質(zhì)量保障、數(shù)據(jù)保護(hù)進(jìn)行通盤的考慮,這是實(shí)現(xiàn)存儲高性能的關(guān)鍵。

與此同時,一些大型的集群,IOPS并發(fā)性能要求達(dá)到了千萬級。以AI為例,它是建立在大量原始數(shù)據(jù)基礎(chǔ)上進(jìn)行的,其原始數(shù)據(jù)經(jīng)過標(biāo)記后,會變成大量的小文件,規(guī)模通常達(dá)到百億級。

以Tesla V100GPU應(yīng)用為例,每個GPU用5個容器讀取文件數(shù)據(jù),每秒鐘約產(chǎn)生5000個OPS,每個OPS按三次操作計算,如果,每臺設(shè)備有16個Tesla V100GPU, 16臺設(shè)備搭建一個集群,總計256個GPU,對存儲的IOPS性能要求,就達(dá)到了400萬。

為了應(yīng)對如此規(guī)模的應(yīng)用訪問,要求軟件定義存儲具有非常好的橫向擴(kuò)展(Scale-out)能力,以浪潮AS13000軟件定義存儲為例,不僅可以可擴(kuò)展至5120個節(jié)點(diǎn),同時,通過數(shù)據(jù)自動修復(fù)和自動運(yùn)維機(jī)制,完全可以適用于海量數(shù)據(jù)存儲場景。浪潮AS13000軟件定義存儲,一套架構(gòu)實(shí)現(xiàn)了文件、塊、對象和大數(shù)據(jù)場景的數(shù)據(jù)服務(wù)。

從實(shí)踐中來

以類似浪潮AS13000軟件定義存儲產(chǎn)品作為基礎(chǔ),對于行業(yè)企業(yè)用戶來說,完全可以像互聯(lián)網(wǎng)企業(yè)一樣,快速實(shí)現(xiàn)業(yè)務(wù)的云化,借助軟件定義存儲的橫向擴(kuò)展能力,從而滿足來自互聯(lián)網(wǎng)的用戶訪問所帶來的壓力,緩解資源彈性不足的問題。

其中,軟件定義存儲的場景化能力至關(guān)重要,也是解決傳統(tǒng)行業(yè)/企業(yè)問題的關(guān)鍵。

石油勘探為例,借助對海量地震波數(shù)據(jù)的計算、解釋和反演,從而模擬出勘測區(qū)域的地下構(gòu)造,并作為鉆井精確定位的依據(jù),重要性和經(jīng)濟(jì)效益顯而易見。如今,三維地震數(shù)據(jù)處理、解釋一體化軟件應(yīng)用對存儲空間初始需求就達(dá)到PB級別,項目平均數(shù)據(jù)增量達(dá)20TB,一般單文件大小也都在200GB左右。

以往, 54TB原始勘探數(shù)據(jù)通過4000個CPU計算集群、GB級帶寬的存儲集群處理需要50多天時間。為縮短處理時間,就需要優(yōu)化數(shù)據(jù)存儲和計算平臺,通過增加GPU來進(jìn)行加速,與此同時,要求軟件定義存儲進(jìn)行了大量場景化調(diào)優(yōu)。

浪潮軟件定義存儲AS13000通過去躁、振幅補(bǔ)償等多項作業(yè)的優(yōu)化配置,提升了批量作業(yè)的處理能力;通過目錄分片,也就是在元數(shù)據(jù)服務(wù)端將目錄分成同等地位的多個分片,由每個分片承載該目錄下的不同子文件,如此,才能夠通過提升并發(fā)能力,滿足石油勘探大目錄操作性能的需求。

如今,浪潮軟件定義存儲AS13000可支持單目錄千萬級文件、文件系統(tǒng)可達(dá)百億級,百萬文件瀏覽時間突破40s。

視頻監(jiān)控智能交通領(lǐng)域,需要對海量圖片進(jìn)行查詢,要系統(tǒng)能夠滿足“秒開”的能力。從技術(shù)上,涉及視頻監(jiān)控信息的海量存儲,要求系統(tǒng)提供海量存儲能力,以一個120個視頻監(jiān)控探頭線程13.08小時所產(chǎn)生的數(shù)據(jù),會涉及556萬個文件的寫入。在這個基礎(chǔ)之上,還需要提供“秒開”查詢的能力。

為了滿足這樣的需求,一方面需要利用多節(jié)點(diǎn)數(shù)據(jù)并發(fā)讀寫的能力;另外還要考慮元數(shù)據(jù)服務(wù)集群技術(shù),滿足百億級別文件的快速檢索需求。在成都視頻監(jiān)控智能交通的項目中,以AS13000軟件定義存儲為基礎(chǔ),浪潮成功將圖片檢索用時,從十幾秒降低到3秒以下,實(shí)現(xiàn)交通監(jiān)控圖片取證“秒開秒解”的創(chuàng)新需求。

從現(xiàn)有的行業(yè)實(shí)踐來看,軟件定義存儲并不是一個放之四海而皆準(zhǔn)的通用性技術(shù),需要產(chǎn)品服務(wù)提供商能夠根據(jù)應(yīng)用場景的特點(diǎn),對軟件定義存儲產(chǎn)品的技術(shù)功能加以組合,如此才能夠滿足產(chǎn)品的需要。

小結(jié)

毫無疑問,云計算是未來行業(yè)發(fā)展的趨勢,而軟件定義存儲的特點(diǎn)與云計算無縫銜接,是行業(yè)用戶未來的主要選擇。隨著云計算普及,軟件定義存儲超越傳統(tǒng)存儲是指日可待的事情。

應(yīng)該說,云計算的著眼點(diǎn)并不是針對某個特點(diǎn)應(yīng)用,云計算強(qiáng)調(diào)的是基礎(chǔ)設(shè)施,講求的是資源池化,追求系統(tǒng)的彈性,強(qiáng)調(diào)資源應(yīng)用的效率。但是從單一業(yè)務(wù)應(yīng)有的眼光看,除非采用公有云應(yīng)用,否則云系統(tǒng)的經(jīng)營、管理和服務(wù),還是一個復(fù)雜的事情。如果不考慮效率的問題,只從單一應(yīng)用的角度出發(fā),傳統(tǒng)存儲解決方案其實(shí)擁有最佳的案例實(shí)踐,仍然是用戶最佳的現(xiàn)實(shí)選擇。

從這個意義上說,傳統(tǒng)存儲市場仍然有所發(fā)展,但從長遠(yuǎn)的趨勢看,讓位于軟件定義存儲將是必然的趨勢。

分享到

songjy

相關(guān)推薦