數(shù)據(jù)、算法、算力和模型被認(rèn)為是人工智能落地的四大要素，其中，算法、算力和模型的話題熱度很高，而對數(shù)據(jù)本身的討論，似乎也并不是機(jī)器學(xué)習(xí)專家的分內(nèi)的事兒。

當(dāng)然，機(jī)器學(xué)習(xí)專家本身對于數(shù)據(jù)預(yù)處理還是很熟悉的，但通常并不了解數(shù)據(jù)存儲的部分，對于存儲系統(tǒng)在擴(kuò)展性、性能、穩(wěn)定性方面并不在意。

從許多實(shí)踐來看，AI技術(shù)的成功與否，在很大程度上取決于支持?jǐn)?shù)據(jù)科學(xué)流程的底層IT體系結(jié)構(gòu)。換句話說，想要順暢地訓(xùn)練、測試和部署AI模型，需要靠譜的計(jì)算和存儲系統(tǒng)。

AI對存儲提出了哪些要求？

上圖來自戴爾的一份白皮書（《適用于AI的IT體系結(jié)構(gòu)：從POC直到生產(chǎn)》），企業(yè)用的商務(wù)智能只需要少量的結(jié)構(gòu)化數(shù)據(jù)，需要的算力也比較少，而深度學(xué)習(xí)則需要PB級的數(shù)據(jù)，同時(shí)，對于計(jì)算和存儲性能也提出了更高要求。

白皮書概括了企業(yè)AI項(xiàng)目的落地流程。首先，要搞清楚具體要解決的業(yè)務(wù)問題，然后，就進(jìn)入到POC驗(yàn)證階段，需要將業(yè)務(wù)問題和數(shù)據(jù)科學(xué)問題來對應(yīng)，過程中，需要建立一套IT基礎(chǔ)架構(gòu)，IT架構(gòu)要可以重復(fù)使用、可擴(kuò)展且足夠靈活。

眾所周知，機(jī)器學(xué)習(xí)的工作過程大致分為四個(gè)階段，涵蓋數(shù)據(jù)采集、數(shù)據(jù)準(zhǔn)備（數(shù)據(jù)預(yù)處理）、模型訓(xùn)練（包含訓(xùn)練、評估、驗(yàn)證）和模型推理四個(gè)階段，每個(gè)階段對于數(shù)據(jù)存儲的要求都不盡相同。

在數(shù)據(jù)采集階段，數(shù)據(jù)可能會從不同來源聚攏并存儲起來，數(shù)據(jù)的大小和格式都存在各種差異，而且，數(shù)據(jù)類型往往是以文件存儲或者對象存儲為主，都屬于非結(jié)構(gòu)化數(shù)據(jù)。

采集過程中，首先以順序?qū)懭霝橹?，從多個(gè)數(shù)據(jù)源傳入數(shù)據(jù)，如果存儲寫性能跟不上，數(shù)據(jù)就可能會被丟棄，數(shù)據(jù)的完整度可能會影響模型的準(zhǔn)確度。采集完成后，通常還要將收集來的數(shù)據(jù)放入更大的存儲池來進(jìn)行統(tǒng)一管理，對讀性能要求也很高。

在數(shù)據(jù)準(zhǔn)備階段，需要對不同格式和尺寸的數(shù)據(jù)進(jìn)行規(guī)范化處理，處理的效率取決于計(jì)算以及存儲的性能。處理的過程中，通常會有順序讀寫、隨機(jī)讀寫等操作，在最極端的情形下，甚至可能是各占一半的讀寫混合。

而在訓(xùn)練階段，往往需要高性能的GPU或者加速器等來執(zhí)行一系列的數(shù)學(xué)運(yùn)算，對計(jì)算和存儲資源要求非常高，在做特定訓(xùn)練時(shí)，AI訓(xùn)練所需的時(shí)間取決于所部署的計(jì)算與高性能存儲的規(guī)模。

推理階段，對于存儲和計(jì)算性能的要求會比較多樣化，常見的各種邊緣場景，在機(jī)場和火車站的閘機(jī)，在手機(jī)的人臉識別系統(tǒng)中，對能耗比較敏感，而在大型模型的推理過程，對于計(jì)算和存儲性能的要求都會非常高。

總結(jié)而言，AI所需要的是非結(jié)構(gòu)化數(shù)據(jù)存儲，并且，對于存儲的擴(kuò)展性、綜合性能以及擴(kuò)展性都有比較更好的要求。同時(shí)，由于涉及的數(shù)據(jù)量會越來越多，對于數(shù)據(jù)存儲和管理的要求也會越來越高。

如果存儲無法滿足這些要求，輕則影響機(jī)器學(xué)習(xí)訓(xùn)練的周期，影響業(yè)務(wù)迭代進(jìn)度，影響企業(yè)對于AI戰(zhàn)略的信心。重則訓(xùn)練出的模型可能無法用于生產(chǎn)環(huán)境，AI計(jì)劃宣告失敗。

戴爾幫助企業(yè)將AI落地

戴爾能為企業(yè)的AI體系結(jié)構(gòu)構(gòu)建從邊緣到核心再到云的數(shù)據(jù)環(huán)境，計(jì)算部分有Precision工作站、PowerEdge服務(wù)器和NVIDIA DGX服務(wù)器，而存儲部分則有PowerScale橫向擴(kuò)展存儲和ECS對象存儲，其中，PowerScale還可在云端部署。

PowerScale非常適合存儲用于AI/ML/DL的大型數(shù)據(jù)集，服務(wù)于機(jī)器學(xué)習(xí)和數(shù)據(jù)分析場景。

PowerScale的高性能、高并發(fā)性能可滿足機(jī)器學(xué)習(xí)從數(shù)據(jù)采集、數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練和模型推理各階段對存儲性能的要求，能更快完成AI模型的訓(xùn)練和驗(yàn)證。

PowerScale的可擴(kuò)展性，使得從POC驗(yàn)證到生產(chǎn)環(huán)節(jié)的所有數(shù)據(jù)都可以存放在PowerScale上，而且可以隨著數(shù)據(jù)量的增長隨時(shí)添加節(jié)點(diǎn)來擴(kuò)容，從而可以避免費(fèi)時(shí)費(fèi)力進(jìn)行數(shù)據(jù)遷移。

PowerScale提供豐富的企業(yè)級特性，它能將數(shù)據(jù)管理、性能管理、數(shù)據(jù)保護(hù)和數(shù)據(jù)安全有機(jī)地整合，從而提高數(shù)據(jù)存儲的經(jīng)濟(jì)性，降低擁有成本并減少風(fēng)險(xiǎn)。

PowerScale還提供了高效的管理能力，借助PowerScale自帶的數(shù)據(jù)管理工具 Dell EMC DataIQ，任何人都可以輕松地在跨本地和異地部署的，文件和對象數(shù)據(jù)平臺上查找和管理數(shù)據(jù)。

PowerScale既有全閃存配置，也有混合存儲和歸檔存儲配置，滿足用戶在性能、容量和成本之間的平衡，還與谷歌云、亞馬遜云以及微軟Azure合作將數(shù)據(jù)放到云上，利用云上的彈性資源進(jìn)行機(jī)器學(xué)習(xí)的訓(xùn)練和推理，為企業(yè)提供了豐富多樣的選擇。

此外，戴爾不僅提供了種類豐富的IT基礎(chǔ)架構(gòu)，擁有多種參考體系結(jié)構(gòu)以及經(jīng)過驗(yàn)證的計(jì)算和存儲解決方案，還提供了常用的AI/ML/DL工具和框架，包括大數(shù)據(jù)分析平臺Splunk、機(jī)器學(xué)習(xí)框架Caffe2、TensorFlow、PyTorch等，讓機(jī)器學(xué)習(xí)的流程更順暢。

結(jié)束語

可以說，戴爾存儲不僅能滿足機(jī)器學(xué)習(xí)各個(gè)階段，對存儲在性能和擴(kuò)展性方面的要求。而且，還有可用于構(gòu)建服務(wù)于AI工作流的一整套IT基礎(chǔ)設(shè)施，更能將企業(yè)所需的安全、高效數(shù)據(jù)管理能力帶給企業(yè)，是企業(yè)構(gòu)建AI能力的理想之選。

zhupb