聯(lián)想凌拓對于數(shù)據(jù)層次有自己的理解和領(lǐng)悟，首先我們的定位是一家數(shù)據(jù)管理和智能解決方案的公司。那么我們要做的目標(biāo)是以數(shù)據(jù)的價值層次來提供優(yōu)秀的產(chǎn)品和服務(wù)，幫助各行各業(yè)的客戶實現(xiàn)數(shù)據(jù)洞察和創(chuàng)新。在數(shù)據(jù)存儲領(lǐng)域，我們要實現(xiàn)靈活的數(shù)據(jù)架構(gòu)，來適合多變的需求。從數(shù)據(jù)的冗余結(jié)構(gòu)到數(shù)據(jù)的分配，以及數(shù)據(jù)維護等，我們要做的是快速、高效的數(shù)據(jù)持久化存儲。
第二層是在存儲的基礎(chǔ)上，讓數(shù)據(jù)管理更加具備智能。要根據(jù)數(shù)據(jù)的業(yè)務(wù)特點和使用方式，來幫助客戶優(yōu)化存儲管理和數(shù)字管理，來減少運維成本。
第三層是數(shù)據(jù)洞察。這也是數(shù)據(jù)變現(xiàn)、數(shù)據(jù)資產(chǎn)化的過程。這個部分?jǐn)?shù)字化轉(zhuǎn)型的關(guān)鍵，數(shù)據(jù)價值的層次與客戶現(xiàn)有數(shù)據(jù)體系是不矛盾的。應(yīng)用決定了數(shù)據(jù)存儲方式以及存儲類型、服務(wù)，采用專業(yè)化的存儲設(shè)備，能夠讓你更加專注在上層的數(shù)據(jù)洞察。聯(lián)想凌拓幫助大家解決數(shù)據(jù)存儲和數(shù)據(jù)管理的后顧之憂。
存儲技術(shù)發(fā)展趨勢是由軟件定義存儲來引領(lǐng)的。
為什么這么說呢？
數(shù)據(jù)管理的核心是存儲，這幾年其實有了非常大的變化，最顯著的當(dāng)然是軟件定義存儲，變得越來越流行了。這也是因為到了互聯(lián)網(wǎng)時代，流量和數(shù)據(jù)增長非?？欤瑪?shù)據(jù)文件的系統(tǒng)化應(yīng)用場景變了，開始需要大量的存儲空間，傳統(tǒng)集中式存儲存在的性能天花版上限沒有辦法滿足需求，惟有采用橫向擴展的軟件定義的分布式存儲架構(gòu)。軟件定義存儲無論在成本、效率上，都有大幅的提升。經(jīng)過了軟硬件解偶，存儲系統(tǒng)不再依賴于專有的硬件，而采用了通用x86服務(wù)器平臺，在PB級存儲場景，分布式存儲的優(yōu)勢就集中體現(xiàn)出來了，其成本比集中式存儲的低很多。當(dāng)分布式存儲集群越來越大的時候，需要管理的節(jié)點數(shù)量增多，情況就會變得越來越復(fù)雜。因此智能化，具有自我進化的簡化管理就成為分布式存儲的必然選擇。
分布式存儲涉及的關(guān)鍵技術(shù)，首先是標(biāo)準(zhǔn)文件接口，需要支持符合POSIX文件接口標(biāo)準(zhǔn)，保障了分布式存儲系統(tǒng)可以使用，同時用戶的遺留系統(tǒng)也無需改造。其次操作對用戶透明，用戶能夠像使用本地文件系統(tǒng)一樣進行操作，如打開、關(guān)閉或刪除修改文件。在持久化方面，要求保證數(shù)據(jù)不丟失，數(shù)據(jù)從內(nèi)存到硬盤的過程需要一定的保護措施，不會因為中斷而造成數(shù)據(jù)丟失。與此同時，存儲集群需要具備伸縮性，當(dāng)數(shù)據(jù)壓力逐漸增長，要做一些擴容的時候，需要往集群添加節(jié)點，在實際操作中，需要防止瞬時流量把新節(jié)點擠爆呢？此外，數(shù)據(jù)一致性的問題，也就是說，只要文件內(nèi)容不發(fā)生變化，讀到內(nèi)容都應(yīng)該是一樣的，這里涉及內(nèi)部數(shù)據(jù)訪問的安全性特性。
那么分布式存儲的技術(shù)趨勢有哪些呢？首先是接口的標(biāo)準(zhǔn)化，并不是所有的產(chǎn)品在接口規(guī)范上都相同，這意味著兩個人對話，時不時冒出一句方言，另外一個人就會聽得糊涂了。對于智能技術(shù)融合，存儲需要更加適應(yīng)上層業(yè)務(wù)特征，要具備自適應(yīng)上層業(yè)務(wù)應(yīng)用特點智能化特性。此外，我們知道分布式存儲多采用副本、EC糾刪碼算法進行數(shù)據(jù)保護，而這種會是一種強抑制性，如果受到一些網(wǎng)絡(luò)因素干擾，就會造成響應(yīng)緩慢，如今新的技術(shù)趨勢需要做到最終一致性，來滿足實時化業(yè)務(wù)的需求。
至于降本增效，其實很好理解，就是在大容量的情況下，更加省錢，這里需要考慮后期的運維成本。再有就是數(shù)據(jù)分級存儲，根據(jù)數(shù)據(jù)的生命周期，采用適配的存儲介質(zhì)，追求最優(yōu)的性價比。
聯(lián)想凌拓自研的ThinKSystem DXN分布式存儲有哪些特點呢？
從硬件型號上，有2U性能容量均衡型，稱為DXN2000 G2；也是2U高密集型，稱為DXN2200 G2。如此，在2U空間里面能夠提供16PB數(shù)據(jù)容量。此外，有4U高密集型，主要是用在海量存儲業(yè)務(wù)需求上，或者說高帶寬的需求上面。
DXN分布式存儲支持x86服務(wù)器，也支持國產(chǎn)服務(wù)器，再配上高速網(wǎng)絡(luò)就構(gòu)成了分布式存儲的硬件底座。借助DXN數(shù)據(jù)管理平臺核心軟件，可以將集群所有服務(wù)器節(jié)點內(nèi)部的磁盤，構(gòu)建成存儲資源池，對外提供文件和對象存儲服務(wù)。分布式存儲是軟件定義存儲的一種，核心軟件搭配國產(chǎn)化處理器芯片，如說海光、飛騰、申威等，這就符合了國產(chǎn)化信創(chuàng)的需求。DXN分布式存儲的核心存儲軟件是MCS 3.0 (MagnaScale 3.0),真正做到軟件和硬件解偶。聯(lián)想凌拓分布式存儲軟件解決方案能夠覆蓋不同行業(yè)客戶不同業(yè)務(wù)系統(tǒng)，如銀行票據(jù)影像、醫(yī)院PACS影像、學(xué)校和政府?dāng)?shù)字檔案、云盤，或者是自然資源、遙感勘測文件，制造業(yè)圖形、圖紙或者廣電媒體的媒資、影音文件等數(shù)據(jù)的存儲。MagnaScale 3.0增加了一系列業(yè)務(wù)模式，推出了MCS認(rèn)證，用于構(gòu)建分布式存儲系統(tǒng)生態(tài)，共同服務(wù)客戶。
橫向擴展是分布式最大的特點，橫向擴展前提是將數(shù)據(jù)均衡打散，性能能夠線性增長。DXN依托于MDS的AA架構(gòu)，也就是元數(shù)據(jù)的多核架構(gòu)，可以最大擴展到128個集群，并且每個集群有4096個節(jié)點。每個節(jié)點最大可以支持到1.6PB容量，總共管理超過5000萬片硬盤，真正實現(xiàn)了海量的數(shù)據(jù)存儲，數(shù)據(jù)在集群之間均衡打散，最終會達到橫向平滑擴展的目標(biāo)。
這張圖展示了如何進行高線性擴展，從最初的3節(jié)點開始，可以一個節(jié)點、一個節(jié)點擴容增加，或者是一次性擴展更多的數(shù)據(jù)節(jié)點。這么多的節(jié)點資源都是在一個統(tǒng)一命名空間下訪問的，統(tǒng)一管理，讓客戶可以輕松的管理超過1EB存儲容量。
此外，數(shù)據(jù)需要全方位安全保護。我們知道，造成數(shù)據(jù)丟失的原因很多，有硬件故障，有邏輯故障，還有人為誤刪除等原因。對數(shù)據(jù)安全保護要更加具有針對性，要做到滴水不漏。因為真正有價值的是存儲中的數(shù)據(jù)，要充分多層級的數(shù)據(jù)的防護。DXN數(shù)據(jù)保護三角，在每一層里面的保護都有明確的應(yīng)對故障風(fēng)險的方法，如本地的數(shù)據(jù)保護，聯(lián)想凌拓采用了副本和糾刪碼，防止磁盤、節(jié)點或者或者機柜的故障所導(dǎo)致的數(shù)據(jù)丟失風(fēng)險。
數(shù)據(jù)校驗與恢復(fù)是為了防范應(yīng)對靜默錯誤造成的數(shù)據(jù)不可用。
什么叫做靜默錯誤呢？
靜默錯誤就是磁盤受到電子干擾，導(dǎo)致磁盤內(nèi)的電極反轉(zhuǎn)問題。表面上文件可能是完整無損的，但是當(dāng)我打開文件的時候，就會有故障提示，無法打開。
數(shù)據(jù)快照與保護主要是應(yīng)對邏輯故障和人為的誤操作的安全技術(shù)。當(dāng)某一個重要文件莫名其妙被刪除了，可能是邏輯上的錯誤問題導(dǎo)致我的文件不可用。這是所有的副本、糾刪碼、遠程復(fù)制都無法判斷的。所以對于邏輯故障問題的時候，我們需要通過嵌套快照與WORM方式來留下數(shù)據(jù)的快照、不同版本的副本來做這樣的防護。相比業(yè)務(wù)連續(xù)性是最高級別的安全保護，需要在不同的集群之間，通過文件的數(shù)據(jù)復(fù)制來應(yīng)對各種災(zāi)害發(fā)生的場景。這對于數(shù)據(jù)安全要求比較嚴(yán)格的行業(yè)來說是必備的功能。
遠程復(fù)制是業(yè)務(wù)高可靠性的一種手段。
DXN遠程復(fù)制可以用4個關(guān)鍵詞來形容：簡單、靈活、可靠、快速。
簡單，因為是文件級的數(shù)據(jù)復(fù)制，是基于文件目錄卡片式管理復(fù)制對，每一個片對都是一張復(fù)制卡。我們在這張復(fù)制卡上可以監(jiān)控數(shù)據(jù)狀態(tài)和數(shù)據(jù)增量。在DXN中，可以設(shè)置不同的復(fù)制節(jié)點和復(fù)制節(jié)點角色，可以自己選擇，并且自由的擴展和縮減。
靈活是指它的復(fù)制策略的靈活性，按照時間周期的維度來設(shè)置，按照年月日或者是每周幾來進行復(fù)制，甚至說指定的時間段來進行復(fù)制。對于復(fù)制的網(wǎng)絡(luò)，可以選用具有業(yè)務(wù)網(wǎng)絡(luò)的復(fù)用，或者是選擇單獨的復(fù)制網(wǎng)絡(luò)，可以保證復(fù)制的質(zhì)量。
可靠是指DXN采用全對稱式的架構(gòu)，所以它的復(fù)制節(jié)點的故障也會自動切換，不會出現(xiàn)復(fù)制節(jié)點故障導(dǎo)致業(yè)務(wù)中斷的風(fēng)險。并且在恢復(fù)的時候，需要回切到接口的復(fù)制關(guān)系的時候，我們也可以選擇兩種選擇：一種是直接保留原有的災(zāi)備站點的數(shù)據(jù)，一種是不保留原有的災(zāi)備站點的數(shù)據(jù)。
快速是指最小的RPO，恢復(fù)點目標(biāo)可以設(shè)置成5分鐘，并且通過QoS的方式來限定復(fù)制流量，讓它不會對業(yè)務(wù)造成影響。對災(zāi)難發(fā)生的時候，最主要的是要用災(zāi)備站點來接管主站點用。眾所周知，文件目錄是有自己的屬主和權(quán)限的，可以通過一鍵共享的方式，文件目錄的權(quán)限和存儲自動會同步到災(zāi)備站點的復(fù)制的配對的文件目錄上來，能夠?qū)崿F(xiàn)對業(yè)務(wù)的快速的接管。
分布式存儲架構(gòu)問題會導(dǎo)致IO路徑過長、文件變大的問題。那么在進行大文件的數(shù)據(jù)訪問的時候，讀寫的時候它的性能還好。但是對于處理一些小文件，其實是有災(zāi)難般的結(jié)果。在進行分布式存儲配制的時候，一般要在存儲節(jié)點上面配制一定數(shù)量的SSD盤緩存，會把一些訪問頻率較高的隨機小文件存入到SSD中，利用其高速IO能力來提升對小文件的處理速度。
小文件寫入時，它首先會在SSD盤上進行落盤，達到一定數(shù)量的時候，數(shù)據(jù)會在SSD盤同步下發(fā)到機械盤上面。那么，當(dāng)小文件讀出的時候，它首先也會到SSD盤緩存空間上去找到這個小文件。如果緩存空間上沒有上的話，才會到、后端的機械盤上去尋找。這非常適合一些隨機的小塊數(shù)據(jù)文件或者是讀取密集型的路徑上來使用。
聯(lián)想凌拓做過一些對比，發(fā)現(xiàn)緩存能夠有效的提升小文件處理的速度。如圖右下角所示張，4K純讀IOPS能夠提升76%以上的性能。
文件智能負載均衡策略是3.0的一個功能，主要是為了防止節(jié)點訪問局部“熱點”。
什么是熱點呢？
分布式存儲往往需要面對不同應(yīng)用的特點，其定位是海量的數(shù)據(jù)存儲，有的應(yīng)用系統(tǒng)訪問存儲數(shù)量越多，有的訪問比較少，如此就可能造成某些節(jié)點會造成訪問過熱的現(xiàn)象。這個時候可以將策略調(diào)整為根據(jù)連接數(shù)、或者是CPU、內(nèi)存的綜合負載來判斷哪些是空閑節(jié)點，依此來承接新的負載。此外，當(dāng)集群規(guī)模變大的時候，其節(jié)點數(shù)量也會變得很多。要維護這么大的集群，DXN更多采用自動化的方式，通過集群的全景可視化的展示效果,每個部件使用狀況都做到了如指掌。聯(lián)想凌拓也設(shè)計了一個全新向?qū)?，可以一步步完成對存儲的管理和使用，其?jié)點故障和其他類型的故障也具備了自我修復(fù)的機制，盡量減少人工的干預(yù)。
DXN定位是一個非結(jié)構(gòu)化的數(shù)據(jù)管理平臺，也加入了S3對象存儲的能力。
對于對象存儲來說，更多的是用在云應(yīng)用、數(shù)據(jù)處理場景。在對象的使用上面，聯(lián)想凌拓具備了許多非常好的能力,可以更多的考慮針對用戶的使用習(xí)慣，來滿足他們對對象的要求，從多個維度和多個場景來入手。這里包括對象WORM、對象桶策略、對象多版本、對象生命周期和小對象聚合等等這些特性。
為什么要做對象獨立部署呢？
實際上文件和對象的訪問方式是不同的，對系統(tǒng)資源的要求也不同。文件和對象的融合需要更多的硬件資源，如更性能CPU，更多的內(nèi)核，更多的內(nèi)存、緩存盤。在使用存對象部署的時候，也可以直接使用TerraCache fof Object，也就是把一整塊SSD盤都用作為對象的緩存，包括使用小對象聚合的功能，適用一些純對象的業(yè)務(wù)場景，性能會更好。
小對象聚合主要是針對一些當(dāng)企業(yè)有大量的不同的應(yīng)用的類型，如企業(yè)云盤，存放有幾十K小文件的對象，或者是郵件文件。這些郵件的特點比較散碎，在后端存儲存放的時候，由于小對象文件太多，會導(dǎo)致空間利用率不高。而且小對象IO處理，必然會導(dǎo)致在內(nèi)部的處理會變得越來越復(fù)雜。聯(lián)想凌拓在3.0當(dāng)中也增加了小對象的聚合能力，將小于512k的小對象聚合陳一個4MB大對象這個操作是在線來完成的，會把這些隨機的處理轉(zhuǎn)化為大對象的順序處理。因此在性能上面，將近提升了4倍的提升。同時，帶寬的性能也提升了3.3倍，時延也降低了1.2倍。
對象策略管理是將更加精細化的、隔離不同的用戶對桶存儲操作。那么在使用策略管理之后，可以對桶來進行設(shè)置策略，每個策略都有三種結(jié)果，分別是顯示拒絕、或者允許、或者默認(rèn)拒絕。那么有了桶的策略設(shè)置，就可以在桶上做更多的執(zhí)行操作，如對用戶的權(quán)限管理更加細節(jié)。
DXN能夠很好的跟ES形成聯(lián)合解決方案，通過ES自定義元數(shù)據(jù)的特點，將元數(shù)據(jù)在寫入DXN的時候，就自動的同步到DXN平臺進行同步。并且通過DXN平臺去快速去查找和定位這個數(shù)據(jù)文件?？梢愿鶕?jù)用戶的特征信息來查找定位這個文件的，適合一些在大數(shù)據(jù)、AI的場景來使用。這里舉例，比如說要從一個3000萬照片的文件的桶里面找到所有“女性開車”的圖片。那么這個時候我可以通過它的自定義元數(shù)據(jù)信息，包括照片特征的描述，能夠快組的去獲取這些數(shù)據(jù)文件的信息。
MagnaScale是DXN分布式存儲的核心軟件，拿到了多個國家級實驗室的認(rèn)證，并且也申請了多項國家發(fā)明專利，申請了3項軟件著作權(quán)。作為一個本地的自研的分布式存儲項目，聯(lián)想凌拓一直在努力前進，幫助更多的用戶從數(shù)據(jù)存儲和數(shù)據(jù)管理中解放出來，更多的關(guān)注在數(shù)據(jù)洞察的層面。
（本文根據(jù)聯(lián)想凌拓產(chǎn)品營銷經(jīng)理吳靜的演講整理而成，未經(jīng)過本人審閱）
