他指出,隨著技術節(jié)點和設計復雜度的增加,存儲和算力需求急劇增長。大型設計項目動輒需占用數PB級的存儲空間,而算力需求更是以每年超過20%的速度激增,配備超過50K核心的計算網絡正逐漸成為常態(tài)。這就需要最大化計算資源的利用率,即最小化CPU/GPU等待時間。

針對EDA(電子設計自動化)工作流的特定需求,鮑琨進一步指出,前端設計以高并發(fā)、小文件處理為主,元數據操作頻繁,需要存儲有著極高的IOPS;而后端設計則對高帶寬負載及長時間運行任務提出了更高要求,需要極高的吞吐量。

在此基礎上,他概括了EDA存儲特征的核心四要素:

一是,隨著并行性的持續(xù)提升,需實現無縫的性能與容量擴展;

二是,具備處理從高元數據到高帶寬等多種工作負載的I/O特性;

三是,能夠支撐大型計算集群的高效運行;

四是,能夠有效管理海量文件、高效執(zhí)行刪除操作,并維護大型命名空間。

為此,優(yōu)刻得在現代EDA場景下推出了創(chuàng)新的高效能存儲解決方案UPFS,通過前沿的存儲架構和技術優(yōu)化,實現了高性能、低成本與高效數據處理能力的完美結合,全面滿足了EDA場景下對存儲的多元化需求。

優(yōu)刻得應對EDA存儲挑戰(zhàn)的創(chuàng)新實踐回顧優(yōu)刻得在存儲領域的創(chuàng)新歷程,從云平臺的成功上線到高性能文件存儲UPFS的推出,優(yōu)刻得始終保持著領先的技術路徑和創(chuàng)新活力,并陸續(xù)推出了高IO云主機、公有云CDP系統(tǒng)等系列產品,不斷推動存儲技術的革新與發(fā)展。優(yōu)刻得于2023年推出高性能并行文件存儲UPFS。該方案不僅支持無縫的性能與容量擴展,還能靈活應對從高元數據到高帶寬的各種工作負載,輕松駕馭大型計算集群,高效處理海量文件及刪除操作,廣泛適用于EDA、大模型訓練、渲染、自動駕駛等行業(yè)應用場景。

UPFS并行文件存儲技術的核心優(yōu)勢體現在以下幾個方面:

專用客戶端接入:支持類FUSE接入和GDS接入,數據直接在客戶端和Chunk之間進行交互,縮短IO路徑,帶來了更好的時延和吞吐。

獨立元數據存儲:UPFS采用多副本架構保證系統(tǒng)可用性,其中元數據部分采用獨立的分布式元數據架構,所有元數據節(jié)點均可承接元數據訪問請求,防止元數據熱點,提高整體集群的元數據OPS,分散開之后的元數據請求能夠充分發(fā)揮每一個元數據節(jié)點的性能。

高性能數據引擎:使用用戶態(tài)文件系統(tǒng)管理裸盤,高效的存儲資源管理單元,可以充分發(fā)揮NVMe SSD的能力。

GDS提升存儲性能:支持POSIX協(xié)議的自研客戶端,能夠發(fā)揮底層資源的極限性能,例如數據路由算法采用高效的一致性哈希算法,數據直接在客戶端和CHUNK之間進行交互,規(guī)避了MDS的介入,縮短了IO路徑;同時還借助NVIDIA GPU Direct Storage(GDS)技術,減少訪問時延、提升數據帶寬,單節(jié)點的存儲讀性能接近80GB/s。UPFS并行文件存儲架構活動現場,與會嘉賓們還探討了存儲硬件和多云架構的發(fā)展趨勢,為未來的存儲技術發(fā)展提供了參考。

鮑琨表示,未來SSD容量將大幅提升,但性能并未等比提升,大容量SSD的出現將對全閃存儲架構設計提出挑戰(zhàn)。同時,受諸多因素影響,在AIGC等新興應用場景下,訓練和推理往往難以在單一數據中心內完成。若是為每個數據中心配備全量數據,不僅成本高昂且管理復雜。

因此,實現數據的按需分配與共享,推動多云架構的發(fā)展,將成為未來存儲技術的重要趨勢。半導體CAD聯盟是一個致力于建立交流與進步的半導體行業(yè)CAD工程師與IT工程師聯盟。圍繞EDA環(huán)境與工具、CAD與IT技術、信息安全等熱門話題,每周組織技術沙龍,邀請領域內的技術專家進行深入探討,以促進EDA/CAD整體水平提高,進而促進中國IC產業(yè)的整體發(fā)展。

分享到

xiesc

相關推薦