這塊長的像M.2 SSD的AI擴(kuò)容卡,除了支持對英偉達(dá)的顯卡擴(kuò)容顯存以外,也支持對天數(shù)智芯的算力方案進(jìn)行擴(kuò)容。

官方介紹提到,銓興科技通過超顯存融合技術(shù),可將單機(jī)顯存最高擴(kuò)展至8TB,成功實(shí)現(xiàn)了DeepSeek-R1 671B大模型極低成本的全參訓(xùn)練,成本相比行業(yè)平均水平降低95%。

銓興科技聯(lián)合浪潮云發(fā)布了內(nèi)置DeepSeek滿血版模型的海若一體機(jī),可為政企客戶提供大模型智能應(yīng)用落地的一體化解決方案。

DeepSeek-R1 671B的訓(xùn)練使用了2048張H800顯卡,成本約為4千萬人民幣。

而銓興科技的訓(xùn)推一體機(jī)只用16張顯卡,就能完成DeepSeek-R1 671B模型的訓(xùn)練,訓(xùn)練的硬件成本不到150萬元人民幣,較行業(yè)平均水平降低95%以上。

要做到這點(diǎn),需要兩項(xiàng)關(guān)鍵技術(shù):

自研的添翼AI擴(kuò)容卡。添翼AI擴(kuò)容卡通過顯存擴(kuò)展技術(shù),可將單機(jī)顯存容量提升至8TB,大幅超越傳統(tǒng)GPU架構(gòu)的顯存數(shù)量,顯著提升了硬件資源利用率,滿足超大規(guī)模模型的訓(xùn)練需求。

自研AI Link訓(xùn)練框架。銓興科技優(yōu)化了分布式訓(xùn)練中的通信效率和資源調(diào)度,實(shí)現(xiàn)顯卡與擴(kuò)容卡的高效協(xié)同,大幅降低硬件門檻。

銓興科技訓(xùn)推一體機(jī)推出后,顯著降低AI企業(yè)模型研發(fā)成本。在降低成本的同時(shí),仍能確保模型訓(xùn)練的完整性和性能,訓(xùn)練效果媲美傳統(tǒng)高端集群。

銓興科技訓(xùn)推一體機(jī)支持以單機(jī)完成訓(xùn)練和推理任務(wù),簡化了分布式系統(tǒng)的復(fù)雜性和運(yùn)維難度。此外,它還支持模塊化擴(kuò)容,可從小規(guī)模模型訓(xùn)練平滑過渡到萬億級參數(shù)模型的訓(xùn)練需求。

據(jù)了解,銓興科技核心自研技術(shù)已在多個(gè)領(lǐng)域?qū)崿F(xiàn)落地應(yīng)用,包括智慧政務(wù)、智慧法務(wù)、高校科研、金融風(fēng)控、高校教育、算力中心。

這種技術(shù)固然令人為之振奮,但目前關(guān)于添翼AI擴(kuò)容卡的公開資料還比較少,并不知道其具體的工作原理,也不清楚相對于純HBM(或者GDDR)顯存會(huì)有哪些性能差異。

想要了解這些信息,歡迎大家關(guān)注2025年3月27日即將舉辦的2025人工智能基礎(chǔ)設(shè)施峰會(huì),銓興科技的專家將在現(xiàn)場進(jìn)行解讀和分享。

分享到

zhupb

相關(guān)推薦