近期,CEO Sylvain Dubois(前谷歌員工)和CTO Sebastien Couet(前比利時微電子研究所專家)創(chuàng)立的初創(chuàng)公司Vertical Compute 宣布已成功完成 2000 萬歐元的種子輪融資。此輪融資由 imec.xpand 領(lǐng)投,歐瑞澤基金(Eurazeo)、XAnge、Vector Gestion 和比利時微電子研究中心(imec)等投資者也參與其中。
這家公司是2025年從比利時微電子研究所分離出來的,旨在將比利時微電子研究所(imec)開發(fā)的MRAM技術(shù)商業(yè)化,用于運行大語言??模型,能將功耗降低 80%,并將運行速度提高 100 倍,主要適用于數(shù)據(jù)中心和邊緣計算設(shè)備(包括手機、筆記本電腦和汽車)的部署。
攻克內(nèi)存瓶頸
大語言模型和生成式人工智能的迅速發(fā)展正以前所未有的速度改變著幾乎所有行業(yè)。然而,這些大規(guī)模的人工智能模型仍嚴重依賴復(fù)雜的云基礎(chǔ)設(shè)施和高帶寬內(nèi)存,這導(dǎo)致了數(shù)據(jù)傳輸延遲、高能耗問題,并且還需將敏感數(shù)據(jù)傳輸至遠程服務(wù)器。邊緣計算可以解決這些問題,但在智能手機、個人電腦或智能家居設(shè)備上對大型人工智能模型進行推理運算,面臨著顯著的成本、功耗和可擴展性方面的限制。
最根本的問題在于 “內(nèi)存瓶頸”。 作為中央處理器(CPU)或圖形處理器(GPU)緩存集成的靜態(tài)隨機存取存儲器(SRAM)速度很快,但容量小且成本高昂。動態(tài)隨機存取存儲器(DRAM)作為計算系統(tǒng)的主內(nèi)存,容量較大,但價格昂貴且能耗高。這兩種內(nèi)存技術(shù)在密度和性能方面的提升速度都在放緩,而處理器速度和市場需求卻不斷增長,從而造成嚴重的瓶頸。
額等等,這段介紹有一點熟悉啊,存算一體也是這樣的背景下產(chǎn)生的。大規(guī)模人工智能模型與邊緣計算的融合,要求在數(shù)據(jù)處理方式上進行變革性的轉(zhuǎn)變。Vertical Compute 是要開發(fā)基于小芯片的解決方案,利用一種全新的方式在高縱橫比的垂直結(jié)構(gòu)中存儲比特位。Vertical Compute 核心專利技術(shù)背后的理念由比利時微電子研究中心(imec)前磁性項目總監(jiān)塞Sebastien Couet提出。其核心創(chuàng)新在于把MRAM和處理器(計算的核心部分)直接“疊”在一起。這樣一來,數(shù)據(jù)不需要在內(nèi)存和處理器之間跑來跑去,而是直接在“樓上樓下”傳輸,速度更快、更省電。這種技術(shù)能將數(shù)據(jù)傳輸距離從厘米級縮短至納米級,因此在密度、成本和能耗方面有望超越動態(tài)隨機存取存儲器(DRAM)。
MRAM 是一種新型的計算機存儲器技術(shù),用磁性材料而不是傳統(tǒng)的電荷來存儲數(shù)據(jù)。一直以來都是DOIT關(guān)注的新型存儲介質(zhì)之一,除此之外還有鐵電存儲和RRAM。不過Vertical Compute似乎在用捆綁的方式來使用MRAM。有點類似近內(nèi)存計算(NMC)。
近內(nèi)存計算是“捆綁”緩存+內(nèi)存來組CP,用3D封裝方式更佳,利用TSV(硅通孔技術(shù))實現(xiàn)垂直通信,但成本高,不同型號的芯片帶還要匹配大小,進行預(yù)設(shè)計和流片,搞完通用性還是問題,適用于AI,機器學(xué)習(xí)和數(shù)據(jù)中心等規(guī)模型應(yīng)用需求。另一種是2.5D封裝,主流技術(shù)是HBM(高帶寬內(nèi)存)。只不過Vertical Compute捆綁的是MRAM和處理器。