以下為AI基礎(chǔ)設(shè)施的趨勢(shì)觀察:
首先是模型層創(chuàng)新:模型層的創(chuàng)新正成為AI基礎(chǔ)設(shè)施堆棧中最動(dòng)態(tài)、競(jìng)爭(zhēng)最激烈的層次。基礎(chǔ)模型已成為新的“石油”,并且由于其戰(zhàn)略重要性,堆棧中的勝者可能會(huì)定義未來(lái)幾年的下游應(yīng)用。
因此,我們看到在模型層的活動(dòng)爆炸性增長(zhǎng),從開源到小型語(yǔ)言模型,大量資本和活動(dòng)集中在通過(guò)數(shù)據(jù)、模型并行、混合模態(tài)等方式擴(kuò)展基于transformer的模型,或是嘗試推動(dòng)這些模型在性能屬性上的提升(例如成本、延遲、部署、內(nèi)存占用、上下文窗口等)。例如,許多團(tuán)隊(duì)正在改進(jìn)生成模型的基本構(gòu)件(如注意力機(jī)制和卷積機(jī)制),以創(chuàng)造出更強(qiáng)大、高效的AI技術(shù)。
由于模型訓(xùn)練的資本密集性,這些工作大多數(shù)由風(fēng)險(xiǎn)資本支持。此外,除去訓(xùn)練成本外,創(chuàng)新這一層次還需要具備合適的研究和工程人才的高水平人力資本和專業(yè)資源。目前,很多努力也在推動(dòng)非transformer架構(gòu)的研究,探索新的可能性。
例如,DeepSeek的NSA(原生稀疏注意力)注意力機(jī)制新方法,還有狀態(tài)空間模型(SSM)和各種遞歸架構(gòu)等在拓展基礎(chǔ)模型的邊界,這些模型計(jì)算強(qiáng)度較低、延遲較小,可能為訓(xùn)練和推理提供更便宜、更快的替代品。
與此同時(shí),除了通用模型外,目前也有大量團(tuán)隊(duì)訓(xùn)練針對(duì)特定領(lǐng)域的模型,如代碼生成、生物學(xué)、視頻、圖像、語(yǔ)音、機(jī)器人、音樂、物理學(xué)、大腦波等,為模型層注入了更多的多樣性和靈活性。
然后是推理與部署優(yōu)化:在模型部署和推理領(lǐng)域,AI基礎(chǔ)設(shè)施堆棧的計(jì)算層也是最復(fù)雜的層次之一。這個(gè)層不僅直接為其他部分提供動(dòng)力,而且硬件、軟件以及商業(yè)模式的創(chuàng)新與交互也極大地影響著其發(fā)展。在硬件層面,隨著供應(yīng)鏈短缺的緩解,GPU成本有所下降,下一代GPU結(jié)合先進(jìn)的互聯(lián)技術(shù),正在推動(dòng)數(shù)據(jù)和GPU的并行擴(kuò)展。
還有多模態(tài)數(shù)據(jù)管理與AI工作流的融合:AI驅(qū)動(dòng)的數(shù)據(jù)類型日益復(fù)雜,尤其是非結(jié)構(gòu)化數(shù)據(jù)(如圖像、視頻和文本)。傳統(tǒng)的數(shù)據(jù)庫(kù)系統(tǒng)往往難以有效管理這類數(shù)據(jù),向量數(shù)據(jù)庫(kù)(如Milvus、Pinecone)和對(duì)象存儲(chǔ)(如AWS S3)因此成為AI原生應(yīng)用的標(biāo)配。此外,統(tǒng)一數(shù)據(jù)湖倉(cāng)(Lakehouse)架構(gòu)的擴(kuò)展,使得結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)得以混合分析,更加高效地支持RAG、微調(diào)等AI工作流。
存儲(chǔ)與計(jì)算協(xié)同優(yōu)化:隨著大規(guī)模AI模型的訓(xùn)練和推理需求增加,GPU與存儲(chǔ)之間的協(xié)調(diào)成為瓶頸。為此,分布式存儲(chǔ)系統(tǒng)(如Ceph、Alluxio)增強(qiáng)了與GPU算力的彈性配合,支持PB級(jí)數(shù)據(jù)并行加載,同時(shí),AI負(fù)載特征的動(dòng)態(tài)數(shù)據(jù)分層技術(shù),通過(guò)自動(dòng)調(diào)度冷熱數(shù)據(jù),優(yōu)化了存儲(chǔ)系統(tǒng)的效率,降低了成本。
最后
人工智能基礎(chǔ)設(shè)施的發(fā)展正處于一個(gè)前所未有的關(guān)鍵時(shí)期。在全球范圍內(nèi),AI技術(shù)不斷突破瓶頸,而中國(guó)作為全球AI產(chǎn)業(yè)的重鎮(zhèn),正在大力推動(dòng)自主創(chuàng)新和技術(shù)迭代。
以此為背景,2025年3月27日,以“智能基石 創(chuàng)新賦能”為主題的人工智能基礎(chǔ)設(shè)施峰會(huì)即將在上海召開,峰會(huì)匯聚眾多業(yè)內(nèi)專家學(xué)者、技術(shù)領(lǐng)袖、行業(yè)用戶等,共同探討AI基礎(chǔ)設(shè)施的最新發(fā)展趨勢(shì),分享技術(shù)突破與應(yīng)用案例,敬請(qǐng)期待!