過(guò)去十多年以來(lái)，國(guó)內(nèi)存儲(chǔ)市場(chǎng)環(huán)境發(fā)生了很大變化。一方面受政策導(dǎo)向影響，國(guó)際廠商發(fā)展受限。另一方面，國(guó)內(nèi)幾家存儲(chǔ)公司技術(shù)產(chǎn)品實(shí)力不斷提升。如果沒(méi)有特別之處，新來(lái)的國(guó)際巨頭很難在國(guó)內(nèi)市場(chǎng)上立足。

Hammerspace顯然是有備而來(lái)的

從外媒的報(bào)道中了解到，從2023年到2024年，Hammerspace的收入增長(zhǎng)了10倍。在2022年，該公司也宣布其收入相較于2021年增長(zhǎng)了200%。

在2024年，Hammerspace的客戶規(guī)模增長(zhǎng)了32%，并且總收入留存率 （GRR） 超過(guò) 95%。這表明，Hammerspace的用戶滿意度驚人地高。

不僅如此，用戶還用真金白銀為Hammerspace投票。Hammerspace的凈收入留存率 （NRR） 超過(guò) 330%，現(xiàn)有用戶為Hammerspace貢獻(xiàn)了很多收入。

在 2024 年，Hammerspace 將員工人數(shù)增加了 75%。不久前，宣布將在亞洲開(kāi)展業(yè)務(wù)，將在中國(guó)、韓國(guó)、日本、新加坡和印度市場(chǎng)發(fā)力。在中國(guó)市場(chǎng)上，將與北京驛心科技合作，提供全新的存儲(chǔ)與數(shù)據(jù)編排解決方案。

Hammerspace是一家2018年成立的公司，創(chuàng)始人是大衛(wèi)·弗林 （David Flynn），他曾是Fusion-io的創(chuàng)始人，F(xiàn)usion-io是最早將NAND閃存設(shè)備直接連接到PCIe總線的公司之一，這家公司在2014年被SanDisk（閃迪）收購(gòu)。

大衛(wèi)·弗林在做 Fusion-io CEO之前，曾是 Fusion-io 的首席技術(shù)官，是不折不扣的技術(shù)專家，他在Web瀏覽器技術(shù)、移動(dòng)設(shè)備管理、網(wǎng)絡(luò)交換和分布式存儲(chǔ)系統(tǒng)協(xié)議等領(lǐng)域擁有100多項(xiàng)專利。

Fusion-io的大膽創(chuàng)新對(duì)存儲(chǔ)行業(yè)帶來(lái)了啟發(fā)，而Hammerspace也頗具創(chuàng)新性，這次創(chuàng)新的關(guān)鍵就在于，擁有一套超強(qiáng)的數(shù)據(jù)編排和調(diào)度能力。

Hammerspace數(shù)據(jù)編排平臺(tái),堪稱魔法

Hammerspace提供的是基于并行文件系統(tǒng)pNFS打造的全區(qū)數(shù)據(jù)平臺(tái)（Global Data Platform）軟件，它可以用來(lái)編排存儲(chǔ)在本地服務(wù)器、存儲(chǔ)系統(tǒng)和云存儲(chǔ)系統(tǒng)中的非結(jié)構(gòu)化數(shù)據(jù)，將跨多個(gè)本地站點(diǎn)和多個(gè)云平臺(tái)的存儲(chǔ)呈現(xiàn)在一個(gè)全局命名空間當(dāng)中。

當(dāng)數(shù)據(jù)統(tǒng)一到這個(gè)全局?jǐn)?shù)據(jù)平臺(tái)后，通過(guò)超強(qiáng)的自動(dòng)化數(shù)據(jù)編排能力，用戶可以不用管數(shù)據(jù)在哪兒，都能更快、更高效地訪問(wèn)數(shù)據(jù)。它提高了數(shù)據(jù)的流動(dòng)性，解決了傳統(tǒng)存儲(chǔ)的數(shù)據(jù)孤島問(wèn)題，幫企業(yè)更好地管理和利用數(shù)據(jù)。

這種能力達(dá)到了一種神奇的效果。Hammerspace董事總經(jīng)理Molly Presley表示，這就像動(dòng)畫(huà)片里的人物都有一個(gè)“超維空間”，可以從“空間”隨手拿出來(lái)各種道具，“空間”所代表的就是Hammerspace，這正是公司的名字。

這也代表了Hammerspace的理念，它希望數(shù)據(jù)存儲(chǔ)能像這種“超維空間”一樣靈活。無(wú)論用戶需要什么樣的數(shù)據(jù)，無(wú)論數(shù)據(jù)在哪兒，都能立即從系統(tǒng)中獲取，實(shí)現(xiàn)數(shù)據(jù)的瞬時(shí)訪問(wèn)，就像動(dòng)畫(huà)角色隨時(shí)能從 Hammerspace 里拿出道具一樣。

Meta首席工程師認(rèn)為，“Hammerspace 能做到的，簡(jiǎn)直就是魔法”。

Hammerspace的能力可用于AI和HPC等場(chǎng)景

Molly Presley介紹稱，AI訓(xùn)練需要的是去重的數(shù)據(jù)，過(guò)去積累的數(shù)據(jù)中包含大量重復(fù)信息，Hammerspace 的元數(shù)據(jù)管理功能可以確保不會(huì)創(chuàng)建重復(fù)的數(shù)據(jù)副本，把去重后的數(shù)據(jù)給到訓(xùn)練系統(tǒng)可以提高AI訓(xùn)練的效率。

據(jù)介紹，Meta的Llama 2和LLama 3訓(xùn)練過(guò)程中就使用了Hammerspace的服務(wù)，Meta在訓(xùn)練過(guò)程中使用了至少24000塊GPU卡，還有1000個(gè)存儲(chǔ)節(jié)點(diǎn)。

Molly Presley表示，Meta在AI訓(xùn)練中對(duì)新技術(shù)的選擇非常謹(jǐn)慎，因?yàn)樗Ｍ录夹g(shù)能無(wú)縫集成到現(xiàn)有架構(gòu)。Hammerspace憑借其基于標(biāo)準(zhǔn)協(xié)議架構(gòu)，很好地滿足了Meta 的需求，沒(méi)有破壞原有的技術(shù)體系。

此外，憑借12.5TB/s的聚合吞吐帶寬，Hammerspace為Meta提供了充足的性能，確保了GPU資源的高效利用。同時(shí)，為滿足Meta的能耗要求，Hammerspace支持Meta在能源成本較低的地方進(jìn)行訓(xùn)練，而不用把所有數(shù)據(jù)都進(jìn)行遷移。

Hammerspace的技術(shù)不僅應(yīng)用于AI訓(xùn)練，還助力視覺(jué)特效行業(yè)優(yōu)化工作流程。

例如，全球知名特效公司Jellyfish Pictures依托Hammerspace的架構(gòu)，實(shí)現(xiàn)了6個(gè)全球站點(diǎn)間的數(shù)據(jù)高效協(xié)同。通過(guò)將數(shù)據(jù)智能調(diào)度至最接近計(jì)算資源的位置，Jellyfish Pictures加快了渲染與剪輯任務(wù)，同時(shí)節(jié)省了近300萬(wàn)美元的云渲染成本。

Blue Origin（藍(lán)色起源）依托Hammerspace實(shí)現(xiàn)了跨美國(guó)9個(gè)站點(diǎn)的數(shù)據(jù)實(shí)時(shí)流轉(zhuǎn)，提升了火箭研發(fā)、發(fā)射準(zhǔn)備和飛行數(shù)據(jù)分析的協(xié)同效率，整體訪問(wèn)速度提高80%，幫助工程師快速識(shí)別并優(yōu)化火箭性能。同時(shí)，其分級(jí)存儲(chǔ)策略節(jié)省了超100萬(wàn)美元。

藍(lán)色起源的案例很有意思，它的創(chuàng)始人是貝索斯，而貝索斯同時(shí)也是亞馬遜的創(chuàng)始人，亞馬遜的云服務(wù)也有很多數(shù)據(jù)存儲(chǔ)服務(wù)，即便如此，也使用了Hammerspace的數(shù)據(jù)管理服務(wù)，藍(lán)色起源看中的是Hammerspace在多站點(diǎn)分布中的數(shù)據(jù)管理能力。

Hammerspace可以提供HPC并行文件系統(tǒng)的性能，可取代Lustre。

Los Alamos國(guó)家實(shí)驗(yàn)室在高性能計(jì)算項(xiàng)目中選擇Hammerspace取代Lustre，并成功部署在1000臺(tái)NVIDIA SuperPOD集群上。Hammerspace憑借其獨(dú)特的數(shù)據(jù)管理和存儲(chǔ)優(yōu)化能力，滿足了實(shí)驗(yàn)室對(duì)高效計(jì)算和數(shù)據(jù)訪問(wèn)的需求。

Hammerspace的Tier 0，可大幅節(jié)省AI訓(xùn)練的成本

2024年11月，Hammerspace發(fā)布了一個(gè)叫Tier 0的方案，這是一個(gè)超高速的共享存儲(chǔ)層。它不僅能加速數(shù)據(jù)讀寫(xiě)、減少GPU空閑時(shí)間，還能節(jié)省存儲(chǔ)成本、能源成本以及數(shù)據(jù)中心機(jī)房空間，能大量節(jié)省訓(xùn)練AI模型的成本，好處多的數(shù)不清。

傳統(tǒng)做法中，GPU服務(wù)器的本地存儲(chǔ)的NVMe SSD很少被利用，主要依賴外部存儲(chǔ)系統(tǒng)，而Hammerspace的Tier 0方案，通過(guò)超強(qiáng)的編排調(diào)度和數(shù)據(jù)分層技術(shù)，把本地 SSD用作數(shù)據(jù)緩存層，直接為GPU提供超高速的數(shù)據(jù)訪問(wèn)。

盡管GPUDirect已經(jīng)非常高效了，但由于仍然需要涉及大量網(wǎng)絡(luò)傳輸，其效率仍不如本地NVMe SSD。

值得一提的是，Tier 0能將AI和HPC集群創(chuàng)建Checkpoint的速度提高10到100倍，這意味用戶可以提高Checkpoint的頻率，從而減少重復(fù)計(jì)算的時(shí)間。Hammerspace認(rèn)為，用戶每年可以解鎖10-15%的額外的GPU計(jì)算能力。

結(jié)束語(yǔ)

Hammerspace要打造的是一個(gè)全局?jǐn)?shù)據(jù)平臺(tái)，無(wú)論數(shù)據(jù)存儲(chǔ)在邊緣、異地?cái)?shù)據(jù)中心還是云端，都能按需流動(dòng)，實(shí)現(xiàn)實(shí)時(shí)訪問(wèn)。該平臺(tái)在AI和HPC等高性能存儲(chǔ)場(chǎng)景的應(yīng)用大有可為，也將會(huì)成為其進(jìn)入中國(guó)市場(chǎng)的重要切入點(diǎn)。

zhupb