大數(shù)據(jù)分析市場的發(fā)展“觀”

網(wǎng)絡(luò)中可供分析的數(shù)據(jù)有兩類，一部分是用戶自身上傳的數(shù)據(jù)，涉及用戶隱私。另一部分是機器自身產(chǎn)生的數(shù)據(jù)，包括網(wǎng)絡(luò)流量、系統(tǒng)運行參數(shù)、配置文件、設(shè)備日志、操作系統(tǒng)日志、數(shù)據(jù)庫審計日志、應(yīng)用日志等，它無處不在，具備跨平臺、流動性、移動迅速、數(shù)量極大且變化快等特性，對整個IT系統(tǒng)的維護起到了關(guān)鍵作用。

如果能提前識別整體網(wǎng)絡(luò)流量的異常，分析預(yù)測流量變化，及時封堵相應(yīng)的流量端口，就可以及早避免病毒侵襲，因此，如何提升網(wǎng)絡(luò)智能成為業(yè)界亟待解決的問題。

以此為契機，新華三輸出數(shù)據(jù)分析決策系統(tǒng)

新華三機器數(shù)據(jù)分析決策系統(tǒng)通過對機器設(shè)備產(chǎn)生的流量、日志、配置文件等機器數(shù)據(jù)進行分析，實現(xiàn)對網(wǎng)絡(luò)服務(wù)質(zhì)量的評估、應(yīng)用的智能化保障。通過對流量趨勢的分析實現(xiàn)全網(wǎng)流量的智能調(diào)度和對機器設(shè)備的可預(yù)測性維護。

只要開放日志，機器數(shù)據(jù)分析決策系統(tǒng)可以適配主流廠商的大部分硬件環(huán)境，包括小型機、服務(wù)器、中間件等，甚至可以適配大量的安全設(shè)備。通過最初對公安、教育、政府等行業(yè)的經(jīng)驗積累，新華三機器數(shù)據(jù)分析系統(tǒng)如今已經(jīng)在2018年5月正式發(fā)布。

我們知道，企業(yè)如果只是一味保存日志，空間內(nèi)存總會處于不夠用的狀態(tài)，磁盤利用率下滑，再加上若坐擁PB級容量的日志數(shù)據(jù)，在需要時根本無法進行查詢和檢索，如同雞肋，存也不是，扔也不是。

因此，首要解決的問題是利用大數(shù)據(jù)設(shè)備進行日志存儲。然后通過系統(tǒng)進行快速檢索、關(guān)聯(lián)和分析。機器數(shù)據(jù)分析決策系統(tǒng)是基于持續(xù)歷史運維大數(shù)據(jù)的訓(xùn)練與學(xué)習(xí)，既能讓用戶通過機器數(shù)據(jù)來判定從前IT設(shè)備中出現(xiàn)的扯不清到底誰該“背鍋”的存儲、應(yīng)用、中間件或是前端網(wǎng)絡(luò)設(shè)備問題，又能對未來新業(yè)務(wù)部署進行推演，準(zhǔn)確提供新業(yè)務(wù)疊加后的業(yè)務(wù)狀態(tài)，作出提前預(yù)警。

例如系統(tǒng)幫助公安部門在其上千個應(yīng)用中查詢出從未有人訪問，更無人維護的僵尸應(yīng)用，防止黑客利用這些僵尸應(yīng)用作為跳板對IT系統(tǒng)發(fā)起突然攻擊。

我們還可以發(fā)現(xiàn)一些機器數(shù)據(jù)分析決策系統(tǒng)很好玩的應(yīng)用，比如在抖音，今日頭條上，你可以通過系統(tǒng)了解用戶在頁面的停留時間，你喜歡點擊的這些頁面，實際上就形成了整體的用戶畫像，未來在抖音或頭條不斷向你推送視頻或新聞時，會根據(jù)你的選擇去推送你想看的。因為是為你量身定制，所以才會有如今的“抖音中毒”。

開啟數(shù)據(jù)安全視角：大浪淘金or沿途賣水？

大數(shù)據(jù)分析的商業(yè)模式一般是拿所有的數(shù)據(jù)進行分析預(yù)測或是通過不觸及用戶隱私的機器數(shù)據(jù)進行數(shù)據(jù)分析，前者就像是淘金，后者則可視為沿途賣水。

新華三機器數(shù)據(jù)分析決策系統(tǒng)屬于后者。新華三大數(shù)據(jù)產(chǎn)品部部長，曹言指出，別的廠商可能是到舊金山去淘金，而我們可能是在旁邊賣水的。新華三的商業(yè)模式?jīng)Q定了我們不會去觸碰太多相關(guān)隱私的數(shù)據(jù)。

系統(tǒng)分析的日志數(shù)據(jù)包含結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，比如機器日志一般稱為之半結(jié)構(gòu)化數(shù)據(jù)的文本形態(tài)。新華三專門針對這些機器數(shù)據(jù)有一個網(wǎng)絡(luò)數(shù)據(jù)分析處理設(shè)備，經(jīng)網(wǎng)絡(luò)數(shù)據(jù)分析處理設(shè)備處理后能夠輸出一些標(biāo)準(zhǔn)格式（如源IP、目的IP、端口等）的數(shù)據(jù)，壓縮過后成為結(jié)構(gòu)化數(shù)據(jù)再進行分析處理。

在大型企業(yè)中，決策系統(tǒng)能夠?qū)τ脩粜袨檫M行分析，規(guī)模越大，日志量越多，我們越需要決策輔助和分析，這是毋庸置疑的。同時，決策系統(tǒng)也適用于中小企業(yè)，它能對高速發(fā)展的中小企業(yè)進行流量分析，用戶上網(wǎng)行為分析包括關(guān)聯(lián)分析，還能預(yù)測擴容時間，讓企業(yè)及時做準(zhǔn)備。

新華三大數(shù)據(jù)產(chǎn)品部副部長鞠達勇表示，我們在系統(tǒng)還內(nèi)置了一些通過實踐的模型算法，如果企業(yè)的數(shù)據(jù)量不多，可以先使用這些既有的模型算法，再利用企業(yè)現(xiàn)有的數(shù)據(jù)和歷史數(shù)據(jù)通過機器學(xué)習(xí)不斷修正模型算法，來使得分析更為準(zhǔn)確。

不過，新華三的這套分析系統(tǒng)主要還是專注2B業(yè)務(wù)，它是在現(xiàn)階段非常重要的產(chǎn)品，也是提升自身與其他硬件設(shè)備廠商之間差異化服務(wù)的產(chǎn)品。

因此，是時候給擁堵的網(wǎng)絡(luò)“交通”加一下buff了。

崔歡歡