峰會(huì)第二天，應(yīng)主辦方邀請(qǐng)，深信服楊歡EDS運(yùn)營總監(jiān)楊歡以“深信服軟件定義存儲(chǔ)EDS應(yīng)用與實(shí)踐”為題發(fā)表主題演講，回顧了深信服的存儲(chǔ)歷程，并從智能視頻監(jiān)控、數(shù)據(jù)長期保存、數(shù)據(jù)中心統(tǒng)一存儲(chǔ)和數(shù)據(jù)備份數(shù)據(jù)強(qiáng)應(yīng)用相關(guān)三個(gè)場景介紹了深信服軟件定義存儲(chǔ)EDS應(yīng)用與實(shí)踐詳細(xì)內(nèi)容。

以下內(nèi)容根據(jù)錄音整理，未經(jīng)本人審定。

深信服楊歡EDS運(yùn)營總監(jiān)楊歡

楊歡：各位專家、領(lǐng)導(dǎo)，大家上午好！我是深信服的楊歡，目前主要負(fù)責(zé)深信服軟件定義存儲(chǔ)相關(guān)的工作，今天很榮幸在這里和大家分享深信服在軟件定義部分的應(yīng)用和實(shí)踐，聊一聊深信服從安全起家，什么時(shí)候開始做存儲(chǔ)，為什么轉(zhuǎn)向存儲(chǔ)，以及目前深信服看業(yè)務(wù)系統(tǒng)和整個(gè)IT信息化建設(shè)的變化。

云計(jì)算、大數(shù)據(jù)、AI等新技術(shù)驅(qū)動(dòng)數(shù)據(jù)存儲(chǔ)變革

先看一下技術(shù)和應(yīng)用的變化。傳統(tǒng)的信息化建設(shè)應(yīng)用更多是OA、CRM、ERP業(yè)務(wù)系統(tǒng)，產(chǎn)生的更多是結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)規(guī)模并不大，數(shù)據(jù)量每年增長也就幾個(gè)TB。現(xiàn)在，新技術(shù)、新平臺(tái)得到廣泛應(yīng)用，比如云計(jì)算、大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)、人臉識(shí)別等，所以在新興的技術(shù)驅(qū)動(dòng)下，存儲(chǔ)需要面對(duì)云、大數(shù)據(jù)、Ai這類大規(guī)模應(yīng)用及數(shù)據(jù)場景。

在這個(gè)時(shí)代，數(shù)據(jù)產(chǎn)業(yè)面臨四大核心挑戰(zhàn)。

根據(jù)IDC的數(shù)據(jù)數(shù)據(jù)統(tǒng)計(jì)報(bào)告，2020年數(shù)據(jù)體量將達(dá)到44ZB，2025年數(shù)據(jù)體量將達(dá)到164ZB，而且，大數(shù)據(jù)、AI這類技術(shù)會(huì)讓原有數(shù)據(jù)產(chǎn)生新的數(shù)據(jù)，進(jìn)一步放大數(shù)據(jù)體量。因此，存儲(chǔ)系統(tǒng)必須滿足高擴(kuò)展性，可提供PB級(jí)的結(jié)構(gòu)化、非結(jié)構(gòu)化的海量數(shù)據(jù)存儲(chǔ)能力。

現(xiàn)階段云業(yè)務(wù)的快速發(fā)展，一套存儲(chǔ)平臺(tái)支撐成百上千的業(yè)務(wù)系統(tǒng)是存儲(chǔ)必須面臨的挑戰(zhàn)，存儲(chǔ)系統(tǒng)需要同時(shí)提供塊、文件、對(duì)象多種存儲(chǔ)服務(wù)，才能滿足多元化業(yè)務(wù)應(yīng)用的需求。

大規(guī)模圖像業(yè)務(wù)、視頻應(yīng)用現(xiàn)在都在往智能分析、大數(shù)據(jù)分析這個(gè)方向發(fā)展，這就要求后臺(tái)存儲(chǔ)具備有更快的數(shù)據(jù)讀寫和訪問實(shí)時(shí)性，比如提供百萬級(jí)甚至千萬級(jí)IOPS、提供GB級(jí)甚至TB級(jí)吞吐帶寬。

現(xiàn)在以及未來，數(shù)據(jù)都在追求全局最大化共享，比如大數(shù)據(jù)或AI應(yīng)用需要把一些之前扔掉的數(shù)據(jù)重新拿回來做分析，產(chǎn)生新的價(jià)值。因而，存儲(chǔ)系統(tǒng)必須提供統(tǒng)一的存儲(chǔ)資源平臺(tái)，可實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)共享以及價(jià)值挖掘。

基于以上四個(gè)層面的業(yè)務(wù)變化對(duì)于存儲(chǔ)產(chǎn)生要求，深信服早在2013年就開始了軟件定義存儲(chǔ)的布局。

深信服的存儲(chǔ)歷程

說到存儲(chǔ)，大家肯定有疑慮，深信服什么時(shí)候做存儲(chǔ)的，做得怎么樣。實(shí)際上，我們在2013年就成立了存儲(chǔ)研發(fā)部門，為各個(gè)產(chǎn)品線提供技術(shù)模塊輸出，推出了分布式塊存儲(chǔ)，在2014年先應(yīng)用于桌面云，2015年又應(yīng)用于超融合，到目前為止分布式塊存儲(chǔ)服務(wù)過的桌面終端用戶數(shù)量超過85萬個(gè)點(diǎn)交互，超融合客戶數(shù)量超過5000家，在這過程中積累了大規(guī)模實(shí)踐經(jīng)驗(yàn)。

經(jīng)過長時(shí)間驗(yàn)證和積累包括交互的經(jīng)驗(yàn)，深信服對(duì)分布式存儲(chǔ)技術(shù)積累已經(jīng)達(dá)到了非常深的層次，在很高的研發(fā)投入之后，2018年年底正式對(duì)外發(fā)布了獨(dú)立的軟件定義存儲(chǔ)，也叫EDS，目前分布式存儲(chǔ)產(chǎn)品線有專職研發(fā)人員300人，30%是碩博學(xué)歷，其中海內(nèi)外頂尖博士20多個(gè)，這些人在這幾年做了很多高端技術(shù)突破，并申請(qǐng)了技術(shù)專利，已獲得的專利有68個(gè)，申請(qǐng)中的專利有30個(gè)。

深信服正式對(duì)外發(fā)布的分布式存儲(chǔ)EDS，有企業(yè)級(jí)分布式存儲(chǔ)EDS與智能云存儲(chǔ)平臺(tái)，分別匹配小容量小性能，小容量高性能，不同場景的應(yīng)用需求，利用軟件的交互能力，可以做一些便捷的軟件交互，只要有企業(yè)標(biāo)準(zhǔn)的X86服務(wù)器就可以搭建。云存儲(chǔ)智能解決方案，通過標(biāo)準(zhǔn)的X86服務(wù)器構(gòu)建了資源池，插不同類型的硬盤資源，通過虛擬化能力，這個(gè)庫可以進(jìn)行邏輯的區(qū)分，分別匹配不同的業(yè)務(wù)系統(tǒng)，文件、對(duì)象等等，解決整個(gè)數(shù)據(jù)中心提到的四種能力。

深信服分布式存儲(chǔ)EDS服務(wù)四大場景

深信服分布式存儲(chǔ)EDS服務(wù)四大場景，分別是智能視頻監(jiān)控場景，數(shù)據(jù)長期保存場景，數(shù)據(jù)中心統(tǒng)一存儲(chǔ)，和數(shù)據(jù)備份數(shù)據(jù)強(qiáng)應(yīng)用相關(guān)的場景。

1）應(yīng)用場景之一：智能視頻監(jiān)控場景

現(xiàn)階段平安城市智慧交通智慧社區(qū)等等這一類項(xiàng)目非常多，為什么稱之為智慧，很大一部分核心原因里邊融入了AI技術(shù)，現(xiàn)在聊的最多人臉識(shí)別大數(shù)據(jù)分析等等，這種場景下區(qū)別于傳統(tǒng)的視頻安防項(xiàng)目，面臨一些全新的挑戰(zhàn)，分別有三個(gè)。

其一是容量激增，核心來源于三個(gè)，視頻攝像頭質(zhì)量越來越高，原來720P，現(xiàn)在可以看到很多高清攝像頭產(chǎn)生的數(shù)據(jù)容量越來越大，一個(gè)城市里邊攝像頭少則幾千，多則幾十萬，如何存儲(chǔ)下去？這是安防平臺(tái)建設(shè)里面最需要考慮之一，其二是海量圖片，剛才提到了AI安防智能監(jiān)控這種場景，核心就是人臉識(shí)別圖片高性能分析處理。舉個(gè)例，在一個(gè)人流高峰場景，一個(gè)攝像頭每秒拍五張圖片，城市里邊不少于三千個(gè)攝像頭，保存周期一到三個(gè)月，一年時(shí)間里面達(dá)到幾十億張，如何把這些圖片存儲(chǔ)分析處理調(diào)用，是存儲(chǔ)介質(zhì)信息化建設(shè)所要考慮的。第三是超大集群。視頻監(jiān)控保存三十天九十天，意味著所有數(shù)據(jù)要?jiǎng)h除，反復(fù)操作對(duì)硬盤、對(duì)整個(gè)集群安全可靠也帶來全新挑戰(zhàn)，故障率激增，故障情況下業(yè)務(wù)系統(tǒng)如何解決、對(duì)于業(yè)務(wù)系統(tǒng)沒有影響，也是存儲(chǔ)平臺(tái)搭建重要考量因素。

為了應(yīng)對(duì)海量數(shù)據(jù)的高速增長，深信服提供了相應(yīng)的解決方案，全對(duì)稱分布式架構(gòu)是主流選擇。深信服可以最小3節(jié)點(diǎn)起，最大可擴(kuò)展到5千節(jié)點(diǎn)，高達(dá)EB級(jí)存儲(chǔ)容量。擴(kuò)展時(shí)也很簡單，只需要將新存儲(chǔ)節(jié)點(diǎn)加入集群系統(tǒng)，不需要過多配置、也不需要人為干預(yù)，后臺(tái)會(huì)自動(dòng)做數(shù)據(jù)遷移和平衡。同時(shí)，我們增加了智能自適應(yīng)功能，在數(shù)據(jù)同步過程中能夠感知業(yè)務(wù)壓力并自動(dòng)調(diào)整遷移策略、避免對(duì)業(yè)務(wù)產(chǎn)生影響。其特點(diǎn)是高擴(kuò)展性，分布式天然就有這種高擴(kuò)展性的優(yōu)勢，我們現(xiàn)在EDS可以對(duì)外提供5000節(jié)點(diǎn)超大集群，同時(shí)可以提供EB級(jí)大容量的存儲(chǔ)空間來滿足這樣一個(gè)存儲(chǔ)需求，EB級(jí)意味著1080P攝像頭承載十幾萬攝像頭存儲(chǔ)能力，擴(kuò)展的時(shí)候擁有自動(dòng)平衡這樣一個(gè)能力，加新節(jié)點(diǎn)的時(shí)候無須人工干預(yù)，沒有額外多余的操作存在。

海量的小圖片處理是存儲(chǔ)面臨最大的挑戰(zhàn)，也算是存儲(chǔ)業(yè)界公認(rèn)的一個(gè)難題。其核心難點(diǎn)在于兩個(gè)：元數(shù)據(jù)管理和數(shù)據(jù)本身。

深信服創(chuàng)新研究院目前有60多位國內(nèi)比較頂尖的研發(fā)博士，開發(fā)的數(shù)據(jù)庫提供了四個(gè)能力，第一個(gè)高性能，因?yàn)槲覀兪紫劝堰@個(gè)數(shù)據(jù)庫灌裝到每一個(gè)節(jié)點(diǎn)SND界面，優(yōu)秀的介質(zhì)加上高性能擴(kuò)展性，實(shí)現(xiàn)用兩核的吞吐實(shí)現(xiàn)17核的吞吐性能。第二點(diǎn)強(qiáng)一致性，源數(shù)據(jù)重要性不用多說，深信服在數(shù)據(jù)庫層面將每一個(gè)源數(shù)據(jù)都以三副本的形式，通過（英）協(xié)議做成強(qiáng)一致性。第三高可靠性，分布均勻在每一個(gè)節(jié)點(diǎn)當(dāng)中，對(duì)于源數(shù)據(jù)安全可靠性不受絲毫影響。第四高擴(kuò)展性，基于分布式架構(gòu)做的設(shè)計(jì)，整個(gè)集群擴(kuò)展的時(shí)候，我的SND節(jié)點(diǎn)越多，性能越高，能夠滿足未來無限增長小數(shù)據(jù)處理。

對(duì)于數(shù)據(jù)本身的處理機(jī)制，數(shù)據(jù)小數(shù)據(jù)可能4K、8K，這一張圖片如果存到存儲(chǔ)里邊不做任何處理，一個(gè)4K數(shù)據(jù)可能占一個(gè)條帶，可能出現(xiàn)性能衰減一系列的問題，深信服利用分布式緩存的技術(shù)，將所有小數(shù)據(jù)做了一個(gè)合并有一個(gè)業(yè)務(wù)感知，上層下來的數(shù)據(jù)小于64K的數(shù)據(jù)，在緩存層面做一個(gè)累積，累積成大塊連續(xù)性數(shù)據(jù)之后，才會(huì)寫入到SSD當(dāng)中，可以充分發(fā)揮HDD連續(xù)寫的性能。上面寫的大塊數(shù)據(jù)，意味著不會(huì)放到條帶當(dāng)中，會(huì)直接刷進(jìn)HDD，緩存高性能高價(jià)值的優(yōu)秀資源，從而可以解決百億小文件的性能指標(biāo)，在百億讀寫里邊性能衰減不會(huì)超過5%，這個(gè)性能在業(yè)內(nèi)還是比較好的一個(gè)數(shù)值。

第三個(gè)問題是如何對(duì)巨大的集群高效有效管理。

深信服融入了一些AI運(yùn)維的機(jī)制，創(chuàng)新研究院開發(fā)了一個(gè)組件模塊，通過第三方的數(shù)據(jù)，包括自己本身測試數(shù)據(jù)和生產(chǎn)數(shù)據(jù)所得到的一些錯(cuò)誤，形成的錯(cuò)誤代碼（錯(cuò)誤代碼一共有1800萬樣板數(shù)據(jù)），經(jīng)過52萬小分鐘這樣一個(gè)訓(xùn)練獲得的模型，經(jīng)過不斷的調(diào)優(yōu)不斷的修整，最后應(yīng)用到整個(gè)存儲(chǔ)集群當(dāng)中，可以發(fā)揮價(jià)值。第一個(gè)就是大家常說的亞健康檢測。整個(gè)存儲(chǔ)系統(tǒng)里邊最容易壞的就是硬盤，硬盤壞之前其實(shí)有一些預(yù)兆的。管理一個(gè)超大集群視頻監(jiān)控存儲(chǔ)集群，如何快速找到一塊亞健康的硬盤，靠人工不現(xiàn)實(shí)，人工系統(tǒng)基于模塊，收集到的硬件信息，響應(yīng)延遲變高，抖動(dòng)變大等等，這樣一些數(shù)據(jù)，通過模型訓(xùn)練以后可以對(duì)某一個(gè)節(jié)點(diǎn)分析。一旦發(fā)出預(yù)警之后，存儲(chǔ)系統(tǒng)會(huì)自動(dòng)進(jìn)行甄別并且進(jìn)行相應(yīng)的處理，比如上層寫數(shù)據(jù)，不再往亞健康盤上寫數(shù)據(jù)，同時(shí)做數(shù)據(jù)遷移，將原有數(shù)據(jù)分散到其他磁盤里去，解決這樣一個(gè)亞健康盤所突發(fā)故障帶來的磁盤影響，這種稱之為主動(dòng)防御技術(shù)，按照主動(dòng)防御技術(shù)，加上大家都有一些副本冗余機(jī)制，可以提供六個(gè)9安全可靠。通過一個(gè)可視化的界面，可以便捷清晰直指損壞磁盤和損壞故障點(diǎn)位置，出具相應(yīng)的報(bào)告，提供相應(yīng)的運(yùn)維建議，幫助做這種運(yùn)維的管理。

基于以上的主動(dòng)加被動(dòng)的防御機(jī)制，在整個(gè)超大集群的管理方面可以說非常的便捷地解決了存儲(chǔ)的管理難度。

講一個(gè)簡單的案例。

珠海公安建立了人臉識(shí)別的項(xiàng)目，監(jiān)控設(shè)備有三千個(gè)攝像頭（兩年之內(nèi)會(huì)建到三萬個(gè)左右），交互的容量3.5PB，視頻通過監(jiān)控平臺(tái)到存儲(chǔ)平臺(tái)里，通過GPU解析平臺(tái)，解析出人臉圖片，傳給大數(shù)據(jù)平臺(tái)做相應(yīng)比對(duì)分析，最終返回業(yè)務(wù)系統(tǒng)進(jìn)行業(yè)務(wù)應(yīng)用，如人員追蹤、反恐這樣一些操作。目前這個(gè)平臺(tái)在客戶應(yīng)用半年左右，數(shù)據(jù)容量達(dá)到幾十億圖片存儲(chǔ)，性能沒有任何衰減，獲得了客戶一致好評(píng)。最大的優(yōu)勢就是說未來客戶擴(kuò)展的時(shí)候，存儲(chǔ)集群可以擴(kuò)展，底層所有資源池可以進(jìn)行分區(qū)，相互資源不干擾，可以實(shí)現(xiàn)統(tǒng)一運(yùn)維管理，對(duì)于整個(gè)客戶超大集群運(yùn)維使用，包括價(jià)值效率都有很高的提升。

2）應(yīng)用場景二：數(shù)據(jù)長期保存場景

分布式在場景里面有體驗(yàn)，海量數(shù)據(jù)長期保存，最大特點(diǎn)就是保存周期特別長。來源于很多因素，比如說醫(yī)療數(shù)據(jù)，電子卷宗都得益于法律法規(guī)要求，這么長的周期保存，同時(shí)還會(huì)隨機(jī)調(diào)用。如何解決這個(gè)問題，是客戶當(dāng)前考慮得一個(gè)問題。用磁帶庫，藍(lán)光光盤存下去，隨機(jī)調(diào)取卷宗的時(shí)候，要重新尋找數(shù)據(jù)，對(duì)于客戶來說效率沒有那么高。

長期保存意味著有一定靜默錯(cuò)誤的風(fēng)險(xiǎn)。

深信服EDS通過4個(gè)能力實(shí)現(xiàn)了數(shù)據(jù)的超長周期保存。

第一個(gè)有自動(dòng)數(shù)據(jù)重構(gòu)的能力，基于防范整個(gè)生命周期中磁盤故障，磁盤故障之后如何進(jìn)行快速修復(fù)，EDS存儲(chǔ)系統(tǒng)，可以在故障的時(shí)候自動(dòng)的出現(xiàn)，利用其余磁盤剩余可用空間，將損壞的數(shù)據(jù)存儲(chǔ)進(jìn)去，它的效率可以得到大大提升，可以實(shí)現(xiàn)1T30分鐘左右的效率，無需人工干預(yù)。

其二數(shù)據(jù)自動(dòng)的平衡，平衡很大的原因在于隨著集群使用周期越來越長，一定會(huì)往里加一些新的硬盤，新加的硬盤就是空白盤，空白盤的空間要充分利用，存儲(chǔ)系統(tǒng)也可以自動(dòng)甄別，將整個(gè)數(shù)據(jù)進(jìn)行重平衡，保證每一個(gè)節(jié)點(diǎn)，每一塊磁盤高效利用，避免造成單點(diǎn)故障。

第三個(gè)數(shù)據(jù)自動(dòng)遷移，更多解決老舊設(shè)備替換問題，這些問題在傳統(tǒng)上比較痛的，正常情況下一個(gè)硬件生命周期三到五年，五年以后整個(gè)存儲(chǔ)集群做一個(gè)更換。傳統(tǒng)陣列做更換的時(shí)候要做數(shù)據(jù)遷移，同廠商還好，異構(gòu)廠商還要找第三方服務(wù)等等操作，時(shí)間成本財(cái)力成本風(fēng)險(xiǎn)成本都會(huì)大大提升。這種情況下利用分布式架構(gòu)或者EDS平臺(tái)可以實(shí)現(xiàn)把某一個(gè)新節(jié)點(diǎn)插入以后存儲(chǔ)系統(tǒng)的遷移，將老節(jié)點(diǎn)抽離出來做一個(gè)單獨(dú)分區(qū)，其他的業(yè)務(wù)應(yīng)用做高可靠的保障。

最后是全生命周期迭代，要保存三十年五十年甚至更長的時(shí)間，意味著這個(gè)集群必須實(shí)現(xiàn)全生命周期無停機(jī)的迭代，磁盤硬盤迭代的時(shí)候，磁盤可以實(shí)現(xiàn)插拔的方式，對(duì)整個(gè)集群沒有太大的影響，可以實(shí)現(xiàn)生命周期的迭代，可以保障整個(gè)數(shù)據(jù)長生命周期的存儲(chǔ)需要。

大家知道，比如保險(xiǎn)行業(yè)的保單，生命周期真的是超長，可能一輩子都用不到一回，對(duì)保險(xiǎn)公司來說保單數(shù)量日益劇增，這樣數(shù)據(jù)量如何存儲(chǔ)下去，傳統(tǒng)是NAS，數(shù)量越來越龐大，當(dāng)你想找到某一個(gè)文件，時(shí)間越來越長，大大影響保險(xiǎn)行業(yè)對(duì)客戶體驗(yàn)效果，運(yùn)維管理也很復(fù)雜，如今利用這種海量小文件、小對(duì)象這樣一個(gè)能力，通過對(duì)象二層結(jié)構(gòu)，加上對(duì)象標(biāo)簽的鎖定，自定義的設(shè)計(jì)，可以實(shí)現(xiàn)毫秒級(jí)數(shù)據(jù)檢索，保障用戶隨機(jī)檢索信息，可以大大提升，雖然是長周期保存，也可以高效檢索。

不知道大家對(duì)靜默錯(cuò)誤理解有多少，可能就是基于這四個(gè)層面產(chǎn)生一些靜默錯(cuò)誤問題。靜默錯(cuò)誤對(duì)于存儲(chǔ)系統(tǒng)來說無感知的，剛才也講到數(shù)據(jù)寫入存儲(chǔ)的時(shí)候，存儲(chǔ)認(rèn)為一致的正確的沒有問題的，靜默存儲(chǔ)存進(jìn)去之后，不用這段時(shí)間發(fā)生錯(cuò)誤，發(fā)生錯(cuò)誤以后，存儲(chǔ)系統(tǒng)會(huì)發(fā)生一些故障風(fēng)險(xiǎn)，整個(gè)集群通過三級(jí)保障體系，實(shí)現(xiàn)靜默錯(cuò)誤長期無憂的保存。在數(shù)據(jù)落盤之前必須保證數(shù)據(jù)沒問題的，數(shù)據(jù)寫入存儲(chǔ)系統(tǒng)以后，會(huì)啟動(dòng)數(shù)據(jù)定期巡檢，整個(gè)集群當(dāng)中，業(yè)務(wù)壓力不大的時(shí)候，半夜某一時(shí)刻對(duì)整個(gè)存儲(chǔ)集群的一個(gè)數(shù)據(jù)進(jìn)行端到端的校驗(yàn)，校驗(yàn)?zāi)骋粋€(gè)冗余數(shù)據(jù)是否有問題，如果有問題會(huì)立即校正，如果沒問題會(huì)反饋。如果發(fā)現(xiàn)問題，存儲(chǔ)集群會(huì)告警，會(huì)自動(dòng)重建，重建以后會(huì)進(jìn)行一個(gè)提示，本次報(bào)告清單，它的大致情況是什么樣子。通過三級(jí)保障體系，可以有效保證存儲(chǔ)集群長時(shí)間保存的時(shí)候靜默錯(cuò)誤帶來的數(shù)據(jù)安全風(fēng)險(xiǎn)。

EDS通過3級(jí)保障解決數(shù)據(jù)長期保存帶來的靜默錯(cuò)誤風(fēng)險(xiǎn)。首先，靜默錯(cuò)誤最大的問題在于已經(jīng)寫入存儲(chǔ)系統(tǒng)的數(shù)據(jù)，因外界因素造成數(shù)據(jù)損壞。而此時(shí)存儲(chǔ)系統(tǒng)無感知。只有當(dāng)讀到此數(shù)據(jù)時(shí)才會(huì)發(fā)現(xiàn)數(shù)據(jù)不可用。如果存儲(chǔ)系統(tǒng)恰巧此時(shí)發(fā)生硬盤故障，且數(shù)據(jù)是損壞數(shù)據(jù)的冗余數(shù)據(jù)，那么，此數(shù)據(jù)丟失將不可恢復(fù)。

EDS通過3級(jí)逐步實(shí)現(xiàn)了數(shù)據(jù)安全保障。第一，強(qiáng)一致性落盤，所有落盤數(shù)據(jù)必須進(jìn)行一致性校驗(yàn)，保障數(shù)據(jù)無誤。第二，數(shù)據(jù)巡檢，EDS可根據(jù)策略實(shí)現(xiàn)數(shù)據(jù)巡檢功能，定期進(jìn)行數(shù)據(jù)的安全掃描，比對(duì)校驗(yàn)。確保數(shù)據(jù)安全可用。第三，自動(dòng)修復(fù)，當(dāng)EDS發(fā)現(xiàn)數(shù)據(jù)損壞時(shí)將會(huì)出發(fā)自動(dòng)修復(fù)機(jī)制，可實(shí)現(xiàn)1T/30min的修復(fù)速率，快速修復(fù)縮短數(shù)據(jù)安全風(fēng)險(xiǎn)。

對(duì)于數(shù)據(jù)長期保存的用戶來說，第一個(gè)是法院，第二個(gè)是醫(yī)療。在青島市法院，一個(gè)區(qū)縣法院一年受理五千個(gè)八千個(gè)案例，每年數(shù)據(jù)增長量在幾十TB以上，保存三十年五十年的時(shí)候，數(shù)據(jù)量無限增長，如何提供高擴(kuò)展性和高可靠性，深信服提供了三臺(tái)1210，可以滿足客戶系統(tǒng)對(duì)數(shù)據(jù)存儲(chǔ)系統(tǒng)容量的需求，未來增長的時(shí)候可以插盤插節(jié)點(diǎn)，高效滿足客戶對(duì)于未來存儲(chǔ)需求，滿足電子卷宗的同時(shí)，這套平臺(tái)可以提供塊存儲(chǔ)提供文件存儲(chǔ)，客戶未來有什么新業(yè)務(wù)上線，某個(gè)業(yè)務(wù)系統(tǒng)發(fā)生問題之后，可以無縫遷移，未來整個(gè)客戶里面一套存儲(chǔ)平臺(tái)，解決所有的數(shù)據(jù)存儲(chǔ)問題。

3) 應(yīng)用場景三：數(shù)據(jù)中心統(tǒng)一存儲(chǔ)

大家最熟悉的、可能很多人一直都在致力于進(jìn)行維護(hù)的就是數(shù)據(jù)中心，數(shù)據(jù)中心統(tǒng)一存儲(chǔ)。所謂的數(shù)據(jù)中心統(tǒng)一存儲(chǔ)更多起源于云數(shù)據(jù)中心，云數(shù)據(jù)中心計(jì)算層面實(shí)現(xiàn)資源的池化，存儲(chǔ)層面目前很多的解決方案都是一臺(tái)一臺(tái)獨(dú)立的（英）設(shè)備，意味著就是一個(gè)數(shù)據(jù)的獨(dú)立孤島，并沒有實(shí)現(xiàn)整個(gè)存儲(chǔ)層面資源池化，對(duì)于業(yè)務(wù)系統(tǒng)分析之后，發(fā)現(xiàn)了四個(gè)需求。

兼容對(duì)于數(shù)據(jù)中心統(tǒng)一存儲(chǔ)至關(guān)重要。

需求多元化，意味著上層業(yè)務(wù)系統(tǒng)變多了，對(duì)存儲(chǔ)協(xié)議要求變的越來越復(fù)雜，這邊數(shù)據(jù)要塊，這邊共享文件協(xié)同辦公需要文件，視頻監(jiān)控網(wǎng)盤需要對(duì)象等，傳統(tǒng)的方式一臺(tái)一臺(tái)獨(dú)立建，現(xiàn)在一套存儲(chǔ)解決，存儲(chǔ)平臺(tái)必須提供剛才說的這種協(xié)議。多廠商，有很多客戶建設(shè)區(qū)間不同，想進(jìn)行統(tǒng)一管理，存儲(chǔ)發(fā)現(xiàn)結(jié)合不了，因此必須兼容多虛擬化平臺(tái)，滿足客戶對(duì)多虛擬化的要求。

EDS云存儲(chǔ)平臺(tái)可實(shí)現(xiàn)主流虛擬化的全兼容。首先EDS通過標(biāo)準(zhǔn)的X86服務(wù)器構(gòu)建統(tǒng)一的存儲(chǔ)資源池，通過邏輯分區(qū)能力，可分別劃分不同的邏輯資源池，此池用于對(duì)接上層業(yè)務(wù)服務(wù)。通過協(xié)議網(wǎng)關(guān)層，EDS可分別提供iscsi、nfs、CIFS、s3等多種協(xié)議接口，滿足業(yè)務(wù)系統(tǒng)對(duì)于塊、文件、對(duì)象等多種存儲(chǔ)服務(wù)的需求。另一方面，EDS通過restful可實(shí)現(xiàn)第三方云管平臺(tái)的對(duì)接，實(shí)現(xiàn)集群的監(jiān)控運(yùn)維。真正實(shí)現(xiàn)一個(gè)數(shù)據(jù)一個(gè)界面監(jiān)控管理。

接下來我們談?wù)勑阅懿糠帧?/p>

過去，存儲(chǔ)性能主要談的是IOPS，但在云數(shù)據(jù)中心的環(huán)境下，存儲(chǔ)必須同時(shí)具備高IOPS和高吞吐，要做到這兩點(diǎn)往往成本極高。而深信服EDS可以用高性價(jià)比方案來實(shí)現(xiàn)，首先EDS是分布式架構(gòu)，通過多節(jié)點(diǎn)同時(shí)提供存儲(chǔ)服務(wù)，天然就比傳統(tǒng)存儲(chǔ)有高吞吐的優(yōu)勢。其次，為了提高IOPS，我們研發(fā)了智能分類分層數(shù)據(jù)處理機(jī)制，這個(gè)技術(shù)的核心是智能化的業(yè)務(wù)感知，業(yè)務(wù)系統(tǒng)運(yùn)行過程中，會(huì)產(chǎn)生隨機(jī)小IO、也會(huì)產(chǎn)生連續(xù)的大塊數(shù)據(jù)，深信服EDS會(huì)通過獨(dú)特的存儲(chǔ)算法，對(duì)不同讀寫要求進(jìn)行分類處理，比如隨機(jī)小IO，優(yōu)先通過內(nèi)存和SSD進(jìn)行加速，而連續(xù)大塊數(shù)據(jù)直接寫到普通硬盤上，最終通過這種IO路徑優(yōu)化方式，可以將隨機(jī)讀寫的速度提高3-5倍。上圖有個(gè)實(shí)際的例子，深信服用3節(jié)點(diǎn)的2U存儲(chǔ)設(shè)備，性能就可以媲美傳統(tǒng)中高端全閃存儲(chǔ)，建設(shè)成本至少節(jié)省一半。

傳統(tǒng)存儲(chǔ)的可靠性一般是通過冗余機(jī)制來做的，比如雙控、RAID、熱備盤等，分布式存儲(chǔ)有多副本、糾刪碼、快照復(fù)制等技術(shù)，但這還是相對(duì)被動(dòng)的保護(hù)方式。

深信服EDS除了傳統(tǒng)冗余之外，有一個(gè)主動(dòng)防御機(jī)制，在整個(gè)存儲(chǔ)集群運(yùn)行過程中進(jìn)行實(shí)時(shí)數(shù)據(jù)分析監(jiān)控，增加了主動(dòng)防御能力來保障可靠性，這里主要利用人工智能技術(shù)，實(shí)時(shí)收集各節(jié)點(diǎn)的信息進(jìn)行綜合分析，可以做到在故障發(fā)生之前就能預(yù)判軟硬件的風(fēng)險(xiǎn)點(diǎn)，及時(shí)預(yù)警并提出修復(fù)意見?？梢酝ㄟ^15天效果發(fā)現(xiàn)故障硬件，發(fā)現(xiàn)率達(dá)到98.5%，錯(cuò)誤發(fā)生概率非常低，可以保障客戶系統(tǒng)故障發(fā)生來臨之前可以進(jìn)行有效的安全防護(hù)，避免突發(fā)故障對(duì)于整個(gè)集群的穩(wěn)定可靠一個(gè)安全影響。

舉個(gè)例子，硬盤屬于易損件，在出故障前會(huì)有一段時(shí)間的亞健康狀態(tài)，處于亞健康狀態(tài)的硬盤，業(yè)務(wù)依舊可以運(yùn)行，但體驗(yàn)、性能比正常要差一些，比如頻繁抖動(dòng)、時(shí)延變高、溫度升高等，深信服EDS可以通過AI檢測系統(tǒng)盡早發(fā)現(xiàn)壽命即將完結(jié)的SSD磁盤或者出現(xiàn)慢盤的硬盤，并及時(shí)更換，從而保證整個(gè)存儲(chǔ)集群的健康狀態(tài)，防患于未然，避免突發(fā)故障造成的業(yè)務(wù)訪問中斷。

4)應(yīng)用場景四：網(wǎng)盤/備份數(shù)據(jù)存儲(chǔ)場景

網(wǎng)盤和備份在深信服歸類為于數(shù)據(jù)強(qiáng)相關(guān)的應(yīng)用場景，這就是剛才提到的第四點(diǎn)做數(shù)據(jù)價(jià)值挖掘、數(shù)據(jù)價(jià)值產(chǎn)生這么一個(gè)場景，其核心在這種場景里都是對(duì)于數(shù)據(jù)安全防護(hù)。

在數(shù)據(jù)化建設(shè)數(shù)據(jù)化轉(zhuǎn)型過程中，這一部分客戶需求變成剛需，有很多客戶說迫切上網(wǎng)盤，傳統(tǒng)的建設(shè)方式都是備份買網(wǎng)盤一體機(jī)等等設(shè)備，但這種方式會(huì)造成什么問題呢？一體機(jī)和真正主存儲(chǔ)之間又是數(shù)據(jù)孤島，無法實(shí)現(xiàn)數(shù)據(jù)全局共享，無法實(shí)現(xiàn)數(shù)據(jù)全局應(yīng)用，造成不必要的麻煩，對(duì)其他平臺(tái)會(huì)造成連續(xù)阻礙。

EDS在此利用容器技術(shù)，在分布式存儲(chǔ)資源中劃出部分X86計(jì)算資源，進(jìn)行系統(tǒng)封裝。將備份軟件、網(wǎng)盤軟件直接封裝到EDS存儲(chǔ)平臺(tái)中。假如客戶對(duì)于此類場景有需求時(shí)，只需像使用app 一樣進(jìn)行授權(quán)激活即可輕松上線。此方案，不僅可以幫助用戶輕松的建設(shè)網(wǎng)盤應(yīng)用、數(shù)據(jù)備份等，同時(shí)保障了數(shù)據(jù)的一平臺(tái)化。對(duì)于后續(xù)的數(shù)據(jù)管理、共享利用都會(huì)更加的便捷高效。深信服EDS深度融合，集成數(shù)據(jù)應(yīng)用，不僅僅發(fā)揮數(shù)據(jù)價(jià)值，同時(shí)立足存儲(chǔ)，關(guān)注數(shù)據(jù)的安全和可用。

這是我們剛才架構(gòu)圖，底下用都是標(biāo)準(zhǔn)級(jí)服務(wù)器，除了傳統(tǒng)以外，還有大量的空間還有大量的資源，基于此起了容器技術(shù)，向里面進(jìn)行封裝一些和數(shù)據(jù)強(qiáng)相關(guān)的網(wǎng)盤歸檔備份或者簡單的數(shù)據(jù)倉等相關(guān)應(yīng)用。這些應(yīng)用部署以后，客戶有需求存在的，只需要像手機(jī)APP一樣進(jìn)行激活可以實(shí)現(xiàn)安全服務(wù)數(shù)據(jù)服務(wù)，便捷幫助客戶進(jìn)行挖掘數(shù)據(jù)的使用。

網(wǎng)盤、備份提供應(yīng)用的同時(shí)，底層存儲(chǔ)依然是一個(gè)大的資源池，資源池可以保證客戶數(shù)據(jù)再一個(gè)大平臺(tái)里，可以共享可以利用。

深信服在融合應(yīng)用的時(shí)候，始終關(guān)注發(fā)掘數(shù)據(jù)價(jià)值，同時(shí)立足于存儲(chǔ)更加關(guān)注數(shù)據(jù)的安全和可靠。

我今天的演講就到這里，謝謝大家。

編后：本次2019中國數(shù)據(jù)與存儲(chǔ)峰會(huì)（DATA & STORAGE SUMMIT）為期兩天，包含主論壇、CIO高峰對(duì)話，以及大數(shù)據(jù)、閃存系統(tǒng)、分布式存儲(chǔ)、第二存儲(chǔ)與容災(zāi)備份、超融合與云存儲(chǔ)、人工智能、數(shù)據(jù)創(chuàng)新與安全可控、容器創(chuàng)新與應(yīng)用、SCM第五代存儲(chǔ)與閃存控制器等十大主題論壇，超過100場的專業(yè)知識(shí)分享。初步統(tǒng)計(jì)，本屆峰會(huì)吸引了來自政、企、產(chǎn)、學(xué)、研、媒體等各方參會(huì)者約2000人，在線直播觀看觀眾再創(chuàng)新高，超過10萬余人次。

分享到

xiesc

相關(guān)推薦