云計算、大數(shù)據(jù)、AI等新技術(shù)驅(qū)動數(shù)據(jù)存儲變革

在舊數(shù)據(jù)時代,存儲面對的應(yīng)用主要是數(shù)據(jù)庫、文件和流媒體這類傳統(tǒng)應(yīng)用;而今天,在新興技術(shù)驅(qū)動下,存儲主要面對的是Cloud、Big Data和AI這些大規(guī)模數(shù)據(jù)應(yīng)用場景。傳統(tǒng)存儲在性能、安全性、可靠性上的局限性,讓他們在面對這些新興應(yīng)用時,往往表現(xiàn)出了很大的瓶頸。

首先是存儲規(guī)模。從云計算行業(yè)來看,云計算的用戶與應(yīng)用眾多,平臺隨時都在運(yùn)行成百上千、甚至成千上萬業(yè)務(wù)虛主機(jī),而且業(yè)務(wù)負(fù)載隨時在動態(tài)增長,這樣后臺就需要巨的集群規(guī)模、存儲空間、IO性能來作為支撐;從大數(shù)據(jù)或者AI來看,其數(shù)據(jù)量非常之龐大,可能擁有十億或者百億的文件,構(gòu)成一個龐大的數(shù)據(jù)鏈。這就決定了云、大數(shù)據(jù)或AI需要借助一個很大的集群,實現(xiàn)海量數(shù)量的管理和高性能數(shù)據(jù)運(yùn)算。

其次,新數(shù)據(jù)時代對存儲性能提出了很高的挑戰(zhàn)。無論是面向文件和對象的OPS的性能,還是面向云虛擬機(jī)環(huán)境下IOPS的性能,新興應(yīng)用對存儲系統(tǒng)性都提出了非常高的要求,大規(guī)模業(yè)務(wù)系統(tǒng)的高效運(yùn)行、數(shù)億網(wǎng)民手機(jī)支付的即時響應(yīng)、車票訂票高峰的訂單確認(rèn)、視頻應(yīng)用的高速訪問與下載,都要求后臺的存儲基礎(chǔ)設(shè)備,擁有百萬甚至千萬級的IOPS性能、GB級甚至TB的吞吐帶寬,以滿足前端優(yōu)質(zhì)的服務(wù)體驗。

第三,云、大數(shù)據(jù)、AI需要在設(shè)施資源和數(shù)據(jù)資源的共享基礎(chǔ)上進(jìn)行再利用,這對數(shù)據(jù)的共享與管理帶來挑戰(zhàn)?,F(xiàn)在及未來,客戶追求的是全局最大化共享,而不僅僅是局部或內(nèi)部共享。大數(shù)據(jù)或AI應(yīng)用實際上需要把一些之前扔掉的數(shù)據(jù)重新拿回來做分析,扔掉的數(shù)據(jù)反而會產(chǎn)生很大的價值。數(shù)據(jù)要實現(xiàn)共享和流動,可能牽扯到幾百個乃至更多的數(shù)據(jù)存儲節(jié)點,涉及數(shù)萬個數(shù)據(jù)卷或者數(shù)百萬個文件。這些數(shù)據(jù)資源,需要通過統(tǒng)一架構(gòu)來支撐、統(tǒng)一管理平臺來調(diào)度和組織,在共享和管理上有很多技術(shù)上的挑戰(zhàn)。

軟件定義存儲主導(dǎo)未來

據(jù)Gartner調(diào)研,目前大約40%的企業(yè)數(shù)據(jù)存儲在可橫向擴(kuò)展的企業(yè)數(shù)據(jù)中心或云數(shù)據(jù)中心,到2022年,這一比例將超過80%。

在標(biāo)準(zhǔn)通用的硬件架構(gòu)下,通過存儲軟件的設(shè)計優(yōu)化,即可打造高性能、高可靠、彈性擴(kuò)容、管理簡單的存儲系統(tǒng),甚至可以感知用戶定義的策略和需求, 并在策略的驅(qū)動下自主調(diào)整工作狀態(tài), 這就可以稱之為軟件定義存儲。軟件定義存儲把存儲服務(wù)從專用存儲設(shè)備中抽象出來, 這樣就降低了與硬件的耦合度, 可以更廣泛的選擇和使用更多配置與更高性能的通用硬件,并開發(fā)出更豐富的人工智能、云計算管理、大數(shù)據(jù)應(yīng)用接口,匹配滿足新數(shù)據(jù)時代的六大業(yè)務(wù)需求。

浪潮SDS? 多維出擊

從產(chǎn)業(yè)發(fā)展角度來看,只有跨越物理世界和數(shù)字世界的交點(即進(jìn)行新數(shù)據(jù)時代的業(yè)務(wù)轉(zhuǎn)型),才能獲得完整的產(chǎn)業(yè)機(jī)會。而IT廠商的使命,就是為各行各業(yè)的再一次轉(zhuǎn)型提供專業(yè)的數(shù)字化產(chǎn)品和方案。只有通過技術(shù)創(chuàng)新,去幫助用戶設(shè)計架構(gòu)和建設(shè)基礎(chǔ)設(shè)施,促進(jìn)用戶做出更好的業(yè)務(wù)決策或者創(chuàng)建更多的業(yè)務(wù)機(jī)會,從而幫助企業(yè)增加收入,在商業(yè)方面才有可能更加成功。

【浪潮超大規(guī)模軟件定義存儲】

首先,提升元數(shù)據(jù)管理能力,讓EB級數(shù)據(jù)存得下、取得出。

浪潮軟件定義存儲之打破了傳統(tǒng)文件系統(tǒng)的元數(shù)據(jù)集中式存儲和管理這一限制,對浪潮軟件定義存儲集群系統(tǒng)的目錄實行分而治之,讓集群中所有服務(wù)器來一起存儲和管理元數(shù)據(jù)及數(shù)據(jù),從而實現(xiàn)負(fù)荷分擔(dān)、負(fù)載均衡,實現(xiàn)10億級別的文件管理。

由于浪潮軟件定義存儲擁有更為強(qiáng)大的計算資源和存儲資源來快速索引文件,所以其容量規(guī)模、管理文件數(shù)目的能力要遠(yuǎn)遠(yuǎn)優(yōu)于傳統(tǒng)架構(gòu)存儲。另外多活元數(shù)據(jù)服務(wù)也是浪潮軟件定義存儲的顯著優(yōu)勢:多個元數(shù)據(jù)服務(wù)形成集群,共同對外提供文件索引服務(wù),并且通過元數(shù)據(jù)副本、緩存加速、熱點目錄分片、動態(tài)子樹分區(qū)等技術(shù),來實現(xiàn)負(fù)載均衡及元數(shù)據(jù)服務(wù)故障高可用等一系列功能。

目前浪潮軟件定義存儲系統(tǒng)可擴(kuò)展至數(shù)千個,可以形成EB級海量存儲空間、百億數(shù)據(jù)文件管理、億級IOPS和百GB帶寬,加上不斷進(jìn)步的數(shù)據(jù)自動修復(fù)和自動運(yùn)維機(jī)制,使之廣泛適用于海量數(shù)據(jù)存儲場景。

【浪潮參加2018中國存儲峰會,展示新數(shù)據(jù)時代的新存儲】

其次,從架構(gòu)到功能,一切皆為場景服務(wù)。

浪潮存儲很早就看到了云計算、大數(shù)據(jù)和人工智能對大規(guī)模存儲的需求,并啟動了在軟件定義存儲方面的布局與投入,并通過Scale-out架構(gòu)基礎(chǔ)上不斷進(jìn)行技術(shù)創(chuàng)新和產(chǎn)品迭代,推出了自己的軟件定義存儲產(chǎn)品AS13000,并在一套架構(gòu)下實現(xiàn)了文件、塊、對象和大數(shù)據(jù)四種數(shù)據(jù)服務(wù)。

云計算、大數(shù)據(jù)和AI是智能應(yīng)用的上層建筑,存儲與服務(wù)器、網(wǎng)絡(luò)和云平臺則構(gòu)成基礎(chǔ)設(shè)施。首先,存儲作為基礎(chǔ)設(shè)施之一,其系統(tǒng)架構(gòu)是本。架構(gòu)的一致性和歸一性會給數(shù)據(jù)中心基礎(chǔ)實施帶來互聯(lián)互通、共享統(tǒng)管方面的保證,帶來全方位的CAPEX和OPEX節(jié)省。其次,生長于架構(gòu)上的新技術(shù)、新特性、新功能,則是標(biāo),通過這些創(chuàng)新,存儲可以完美適配不同的應(yīng)用場景。

【浪潮軟件定義存儲AS13000的技術(shù)優(yōu)勢】

最后,從介質(zhì)到算法優(yōu)化,從外部到內(nèi)存,閃存化提升了浪潮SDS的性能。

對于數(shù)據(jù)訪問性能問題。關(guān)鍵應(yīng)用和虛擬機(jī)集群要求高IOPS,全閃存軟件定義存儲無疑是更好的選擇。全閃存儲使用固態(tài)存儲介質(zhì)技術(shù),比如NVMe、3D xpoint等。通過全閃存軟件定義存儲內(nèi)的介質(zhì)更新,軟件算法優(yōu)化,可以大幅提高IOPS、時延和帶寬。此外,基于固態(tài)存儲技術(shù),浪潮正在將存儲技術(shù)模塊打包,從快速存儲向內(nèi)存存儲來改變,帶動內(nèi)存計算技術(shù)的發(fā)展。在內(nèi)存計算技術(shù)發(fā)展起來之后,業(yè)界在數(shù)據(jù)庫的設(shè)計、應(yīng)用設(shè)計這些方面都要得到改變,而浪潮可以很快適應(yīng)以上變化,通過產(chǎn)品優(yōu)化轉(zhuǎn)型,繼續(xù)發(fā)揮在存儲方面的積累與技術(shù)優(yōu)勢。

 

分享到

zhangnn

相關(guān)推薦