3FS充分了利用現(xiàn)代化的NVMe SSD和RDMA（一個繞過CPU和系統(tǒng)的高效內(nèi)存訪問技術(shù)）網(wǎng)絡(luò)的帶寬，這兩項技術(shù)有助于實現(xiàn)更高的數(shù)據(jù)吞吐量，帶來更低的訪問延遲，從而更好地支持大規(guī)模數(shù)據(jù)處理和深度學(xué)習(xí)任務(wù)。

從介紹中，首先就能看到，3FS能夠提供非常高的讀取吞吐量。

在做性能壓力測試時，用500多個客戶端訪問一個由180個存儲節(jié)點組成的3FS集群，達(dá)到每秒6.6 TiB的讀取速度。實測表現(xiàn)出色，這對于AI模型預(yù)訓(xùn)練前的數(shù)據(jù)準(zhǔn)備和Check point創(chuàng)建以及恢復(fù)階段都非常有幫助。

GraySort基準(zhǔn)測試常用于衡量大規(guī)模排序操作的性能，看的是給大量數(shù)據(jù)時花費的時間，時間越短性能越高。使用 smallpond 系統(tǒng)對110.5 TiB的數(shù)據(jù)進(jìn)行排序，測試了它在 25個存儲節(jié)點和 50 個計算節(jié)點上的表現(xiàn)，平均每分鐘處理3.66 TiB的數(shù)據(jù)。

KVCache（鍵值緩存）也非常有意思。在Transformer模型中，KV Cache可以用來優(yōu)化推理過程，通過把自注意力機制的鍵和值緩存下來來避免重復(fù)計算。減少重復(fù)計算也就意味著，能加快token生成速度，同時也減少了多輪對話需要更多內(nèi)存的問題。

可以說，鍵值緩存（KVCache）查找的速度影響了模型推理時的資源利用效率和性能表現(xiàn)。在做鍵值緩存查找操作時，3FS每個節(jié)點能夠提供40 GiB/s以上的峰值吞吐量，這應(yīng)該是一個比較高的水平。

推文還提到，3FS采用了一種分離式架構(gòu)，數(shù)據(jù)存儲和計算可以分開處理，從而提高了系統(tǒng)的可擴展性和靈活性，這是近年來存儲業(yè)內(nèi)比較推崇的做法。  

此外，3FS還擁有強一致性語義，在多節(jié)點并行操作的情況下保持一致性比較有挑戰(zhàn)，也說明幻方團(tuán)隊的水平比較高。

3FS的Github主頁提到，3FS構(gòu)建了一個共享存儲層，可以簡化分布式應(yīng)用程序的開發(fā)。3FS的主要功能和優(yōu)勢總結(jié)了7點：

首先，3FS利用分布式存儲架構(gòu)聚合了數(shù)千個NVMe SSD的吞吐和數(shù)百個存儲節(jié)點的網(wǎng)絡(luò)帶寬，使應(yīng)用程序能夠以不受位置影響的方式訪問存儲資源。

第二，為了保證數(shù)據(jù)一致性，系統(tǒng)使用了一種叫做鏈?zhǔn)綇?fù)制（Chain Replication）的方法，并且引入了CRAQ機制來確保數(shù)據(jù)在多個副本之間的一致性。這使得應(yīng)用程序能夠輕松理解和使用系統(tǒng)，避免了數(shù)據(jù)不同步或者沖突的情況。

第三，3FS采用了大家平時常用的文件存儲接口，用戶不需要學(xué)習(xí)新的API，只要按照常規(guī)的文件讀寫方式就可以和系統(tǒng)交互，意思是說，系統(tǒng)兼容性好。

第四個，當(dāng)我們進(jìn)行數(shù)據(jù)預(yù)處理時，通常會產(chǎn)生很多中間結(jié)果。為了避免這些結(jié)果亂七八糟，3FS系統(tǒng)會把它們整理成清晰的文件夾結(jié)構(gòu)，這使得后續(xù)的處理更容易找到需要的結(jié)果。

第五個，數(shù)據(jù)加載器。通常在深度學(xué)習(xí)訓(xùn)練中，我們需要將數(shù)據(jù)提前加載、打亂順序以提高訓(xùn)練效率。但這個過程比較麻煩且占用內(nèi)存。使用數(shù)據(jù)加載器后，我們可以隨時、隨機地訪問任何訓(xùn)練數(shù)據(jù)，而不需要提前加載或處理數(shù)據(jù)，極大地簡化了操作。

第六點，關(guān)于Check point的部分。訓(xùn)練階段需要定期保存進(jìn)度（Check point），這樣如果訓(xùn)練中斷，可以從最近保存的地方恢復(fù)。3FS系統(tǒng)支持在多個計算節(jié)點上并行保存檢查點，加快了創(chuàng)建Check point的速度，這非常有用。

第七點，關(guān)于KVCache部分。我們已經(jīng)知道，模型推理時需要緩存一些數(shù)據(jù)以提高速度。傳統(tǒng)做法是緩存到DRAM內(nèi)存里，然而，DRAM很貴。而3FS支持讓KVCache存放到存儲系統(tǒng)重，從而以更高的速度快速訪問所需的數(shù)據(jù)，當(dāng)然也減少了內(nèi)存的壓力。

此前，我有注意到國內(nèi)存儲廠商中，華為存儲就提到可以利用KVCache能緩存到存儲系統(tǒng)的特性，可以節(jié)省DRAM內(nèi)存資源，還提出了“以存代算”的叫法。

這是我看到的存儲廠商與DeepSeek比較好的結(jié)合點，DeepSeek與存儲的結(jié)合點肯定不止于此……

2025年3月27日，以“智能基石 創(chuàng)新賦能”為主題的人工智能基礎(chǔ)設(shè)施峰會即將在上海召開，大會上會有更多優(yōu)化DeepSeek部署的相關(guān)技術(shù)，歡迎您的關(guān)注和參與。

zhupb