HPDA(高性能數(shù)據(jù)分析)即利用高性能計算的并行處理運行強(qiáng)大分析軟件實現(xiàn)快速數(shù)據(jù)洞察的過程,目前主要是幫助用戶更好地應(yīng)對數(shù)據(jù)密集型應(yīng)用(包括大數(shù)據(jù)和AI負(fù)載)爆發(fā)帶來的挑戰(zhàn),打開數(shù)據(jù)價值新空間,不久的將來HPDA應(yīng)用創(chuàng)新將拓展至各行各業(yè)。

以自動駕駛為例,談HPDA的存儲要求

多樣化數(shù)據(jù)密集型負(fù)載為行業(yè)應(yīng)用帶來新活力,但也為HPDA的海量數(shù)據(jù)存儲和管理帶來了不小的麻煩。我們以自動駕駛為例,首先,自動駕駛汽車能夠?qū)崿F(xiàn)自主上路行駛是基于汽車不同部位的傳感器感知與其所在周邊環(huán)境的地圖繪制。

國際自動機(jī)工程師學(xué)會(簡稱SAE)將自動駕駛分為六個等級,L0是人工駕駛,然后L1-5依次是輔助駕駛、部分自動駕駛,條件自動駕駛,高度自動駕駛,完全自動駕駛。大家現(xiàn)在能等到普及的應(yīng)該至少是L3級的條件自動駕駛。但隨著自動駕駛等級的增加,汽車上安裝的傳感器數(shù)量也會成倍增加,繪制地圖越來越豐富代表,所需的3D建模越來越復(fù)雜,實景圖片越來越多,因此,自動駕駛需要分析處理的數(shù)據(jù)增長可見一斑。

在汽車傳感器中,雷達(dá)傳感器負(fù)責(zé)監(jiān)視附近車輛的位置。攝像頭負(fù)責(zé)檢測和辨別紅綠燈,標(biāo)注路標(biāo),識別其它車輛和行人。激光雷達(dá)(光檢測和測距)傳感器則是通過汽車周圍反射光脈沖來測量距離,檢測道路邊緣并識別車道標(biāo)記。

以激光雷達(dá)反射光生成的3D點云數(shù)據(jù)為例,3D點云數(shù)據(jù)可以立體呈現(xiàn)汽車周邊空間的物體位置點、RGB顏色、灰度值、深度、分割結(jié)果等信息,之后需要將這些數(shù)據(jù)進(jìn)行清洗標(biāo)注后喂進(jìn)算法模型做反復(fù)訓(xùn)練。

當(dāng)然,在自動駕駛領(lǐng)域的3D點云數(shù)據(jù)也有問題亟需解決——龐大數(shù)據(jù)量存儲和算力需求。目前常用的激光雷達(dá)掃描儀每秒均能產(chǎn)生成千上萬個點,每次掃描獲取的數(shù)據(jù)點數(shù)可達(dá)數(shù)十萬、數(shù)百萬,數(shù)據(jù)量動輒幾十至幾百G,全部存下來都是問題,何況還要通過處理分析獲取價值。

戴爾PowerScale和HPDA的適配度

為了處理指數(shù)級增長的傳感器數(shù)據(jù),作為自動駕駛汽車“決策大腦”的ADAS先進(jìn)駕駛輔助系統(tǒng)(Advanced Driving Assistance System)基礎(chǔ)架構(gòu)要求采用的存儲設(shè)備要在并發(fā)接收和流式傳輸海量數(shù)據(jù)時提供一致的性能,對不同類型數(shù)據(jù)的存儲、管理(收發(fā)訪問)都設(shè)置了高門檻。

戴爾PowerScale存儲系統(tǒng)為非結(jié)構(gòu)化數(shù)據(jù)而生,包含全閃存存儲節(jié)點、混合型存儲節(jié)點、歸檔存儲節(jié)點,滿足HPDA從高性能到大容量的需求,面對自動駕駛行業(yè)挑戰(zhàn)同樣早有準(zhǔn)備。

比如,自動駕駛應(yīng)用要收集來自傳感器的大量3D建模數(shù)據(jù)和圖片數(shù)據(jù)等,并確保對不同類型數(shù)據(jù)的快速訪問。PowerScale支持廣泛的文件傳輸協(xié)議如NFS、SMB、HDFS、S3、HTTP、FTP、NDMP、REST、SWIFT等,適用于各種類型工作負(fù)載,同一數(shù)據(jù)的訪問無需協(xié)議轉(zhuǎn)換和額外的時間開銷。

讓海量數(shù)據(jù)存儲與性能兼得,PowerScale采用橫向擴(kuò)展架構(gòu)和模塊化設(shè)計,能實現(xiàn)百PB級容量的無縫擴(kuò)展,性能隨容量線性增長。支持在線擴(kuò)容與軟件升級,海量數(shù)據(jù)無需遷移。

同時PowerScale核心軟件系統(tǒng)OneFS構(gòu)建了不同性能資源池,讓數(shù)據(jù)按既定策略進(jìn)行流動,實現(xiàn)數(shù)據(jù)智能管理。同時,PowerScale各類型節(jié)點皆支持?jǐn)?shù)據(jù)線內(nèi)縮減、重刪等功能,讓數(shù)據(jù)訪問和傳輸變得更加高效。

最后

包括自動駕駛在內(nèi)的各種HPDA應(yīng)用開啟了數(shù)據(jù)掘金之旅。如何利用海量數(shù)據(jù)做有效分析,獲取數(shù)據(jù)價值是最重要的目標(biāo)。數(shù)據(jù)“挖掘”效率即競爭力,只有在這場旅途中選擇適配度高的工具(存儲解決方案)才能快速打破數(shù)據(jù)壁壘,而戴爾PowerScale正是兼顧數(shù)據(jù)存管用的不二之選!

分享到

崔歡歡

相關(guān)推薦