第三期智研社-北京站活動(dòng)現(xiàn)場(chǎng)合影

「智研社-The Intelliger」由 CSDN CTO 俱樂(lè)部重磅升級(jí)而來(lái)。CSDN 高級(jí)副總裁李建忠在開場(chǎng)中為大家介紹了智研社未來(lái)發(fā)展的三個(gè)方向：

一是為技術(shù)人提供充分溝通交流的平臺(tái)；

二是提供 AGI 技術(shù)發(fā)展與應(yīng)用實(shí)踐的探討與合作空間；

三是帶領(lǐng)中國(guó) AGI 技術(shù)人走向全球，參與國(guó)際 AGI 技術(shù)交流，抓住 AI 爆發(fā)帶來(lái)的機(jī)遇。

在當(dāng)今快速發(fā)展的人工智能領(lǐng)域，大規(guī)模計(jì)算資源的管理成為了一個(gè)關(guān)鍵挑戰(zhàn)。Stability AI 機(jī)器學(xué)習(xí)運(yùn)維主管、知名 AI 開源組織 LAION 工程負(fù)責(zé)人 & 創(chuàng)始人 Richard Vencu 在現(xiàn)場(chǎng)帶來(lái)了《在 AWS 云上打造 Stability AI 超級(jí)計(jì)算機(jī)》的主題演講，深入闡述了在云環(huán)境中運(yùn)行 5000 個(gè) GPU 的經(jīng)驗(yàn)，揭示了這一規(guī)模計(jì)算所面臨的挑戰(zhàn)及其解決策略。

Richard Vencu，Stability AI 機(jī)器學(xué)習(xí)運(yùn)維主管、LAION 工程負(fù)責(zé)人 & 創(chuàng)始人

核心挑戰(zhàn)在于：

機(jī)器學(xué)習(xí)訓(xùn)練與推理的差異：Vencu 指出，機(jī)器學(xué)習(xí)訓(xùn)練本質(zhì)上不是一個(gè)網(wǎng)絡(luò)問(wèn)題，而機(jī)器學(xué)習(xí)推理則是。這種區(qū)別源于推理需要通過(guò)標(biāo)準(zhǔn)化的網(wǎng)絡(luò)通道向全球用戶提供服務(wù)。

多團(tuán)隊(duì)需求管理：不同 AI 團(tuán)隊(duì)對(duì)規(guī)模和上市時(shí)間的要求各不相同，導(dǎo)致優(yōu)先級(jí)不斷變化。這要求資源管理系統(tǒng)具有高度的靈活性。

共享環(huán)境中的信任問(wèn)題：在共享的高性能計(jì)算（HPC）集群中，用戶通常無(wú)法獲得 root 訪問(wèn)權(quán)限，這限制了系統(tǒng)的靈活性。

大規(guī)模資源管理：主要目標(biāo)是減少 GPU 的閑置時(shí)間，提高利用率，并減少因缺陷導(dǎo)致的停機(jī)時(shí)間。

使用追蹤：需要精確追蹤每個(gè)項(xiàng)目和用戶的資源使用情況，以便進(jìn)行報(bào)告、稅務(wù)處理和計(jì)費(fèi)。

作為解決方案，Vencu 推薦使用 SLURM 作為資源調(diào)度器。SLURM 是一個(gè)有20多年歷史的開源系統(tǒng)，維護(hù)良好，提供搶占和重新排隊(duì)機(jī)制（腳本需要意識(shí)到這一點(diǎn)并能夠自行恢復(fù)）、跨不同優(yōu)先級(jí)的優(yōu)先機(jī)制和公平共享機(jī)制。這些功能有效解決了最大的挑戰(zhàn)——最小化 GPU 閑置時(shí)間。

在現(xiàn)場(chǎng)，Vencu 和到場(chǎng)嘉賓進(jìn)行了互動(dòng)，為那些希望在云中部署大規(guī)模 AI 計(jì)算資源的開發(fā)者提供了寶貴的見解和實(shí)踐指導(dǎo)。云環(huán)境中管理大規(guī)模 GPU 資源是一項(xiàng)復(fù)雜的任務(wù)，涉及多個(gè)方面的挑戰(zhàn)。通過(guò)采用適當(dāng)?shù)馁Y源調(diào)度策略、嚴(yán)格的安全措施、靈活的項(xiàng)目管理以及全面的監(jiān)控系統(tǒng)，可以顯著提高資源利用率，降低成本，同時(shí)滿足不同團(tuán)隊(duì)的需求。

隨著大模型的廣泛應(yīng)用，AI 技術(shù)已經(jīng)在自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)、多模態(tài)理解等領(lǐng)域取得了顯著的突破。大模型強(qiáng)大的生成能力和理解能力，還在各種領(lǐng)域的實(shí)際應(yīng)用中展現(xiàn)了巨大的潛力。然而，大模型的訓(xùn)練和推理需要龐大的計(jì)算資源，AI 基礎(chǔ)設(shè)施（AI Infra）的建設(shè)成為了當(dāng)前技術(shù)發(fā)展的關(guān)鍵。

為了解答這一系列問(wèn)題，由 Momenta 工程質(zhì)量負(fù)責(zé)人、CSDN 《新程序員》內(nèi)容顧問(wèn)鄒欣主持，Stability AI 機(jī)器學(xué)習(xí)運(yùn)維主管、知名 AI 開源組織 LAION 工程負(fù)責(zé)人 & 創(chuàng)始人 Richard Vencu 和 CSDN 創(chuàng)始人 & 董事長(zhǎng)、中國(guó)開源軟件推進(jìn)聯(lián)盟副主席蔣濤展開圓桌對(duì)話，圍繞“2024 大模型技術(shù)演進(jìn)與 AI Infra 創(chuàng)新”的話題進(jìn)行了多個(gè)方面的探討。

以下是他們對(duì)每一方面內(nèi)容的討論焦點(diǎn)：

計(jì)算機(jī)系統(tǒng)的架構(gòu)轉(zhuǎn)變

• 當(dāng)前，我們正在從以 CPU 為中心向以 GPU 或其他 AI 加速器為中心的模式轉(zhuǎn)變。這種轉(zhuǎn)變意味著計(jì)算任務(wù)將更多地依賴于專門化的硬件，以提高處理速度和效率。
• 未來(lái)可能進(jìn)入“軟件 2.0”時(shí)代，編程將不再僅僅依靠代碼，而是利用數(shù)據(jù)和神經(jīng)網(wǎng)絡(luò)來(lái)驅(qū)動(dòng)程序的執(zhí)行。這表明軟件開發(fā)的方式將發(fā)生根本性的變化，更加依賴算法和數(shù)據(jù)處理能力。
• 多家公司正在開發(fā)專用 AI 芯片，競(jìng)爭(zhēng)格局尚未明朗。這預(yù)示著未來(lái)硬件市場(chǎng)的競(jìng)爭(zhēng)將非常激烈，且可能會(huì)出現(xiàn)新的行業(yè)標(biāo)準(zhǔn)和生態(tài)系統(tǒng)。

大模型與小模型并存發(fā)展

• 超大規(guī)模集群支持的通用大模型將繼續(xù)發(fā)展。這些模型通常需要大量的計(jì)算資源，能夠處理復(fù)雜的任務(wù)和大規(guī)模的數(shù)據(jù)分析。
• 端側(cè)小模型也很重要，用于特定場(chǎng)景和保護(hù)隱私。這意味著在設(shè)備端進(jìn)行高效且安全的數(shù)據(jù)處理將成為一個(gè)重要的研究方向，特別是在涉及敏感信息時(shí)。
• 兩種模型各有優(yōu)勢(shì)，將并行發(fā)展。這種多樣化的策略可以確保在不同的應(yīng)用場(chǎng)景中都能找到合適的解決方案。

開源 vs 閉源模型

• 結(jié)合 NVIDIA CEO 黃仁勛近日提出的“孿生地球”觀點(diǎn)，具體分析 Linux 基金會(huì)和 Apache 基金會(huì)等典型的開源項(xiàng)目案例，在場(chǎng)嘉賓討論了開源模型未來(lái)的商業(yè)化和產(chǎn)業(yè)化問(wèn)題。如今像 OpenAI 這樣的領(lǐng)先公司仍缺少“護(hù)城河”，所以長(zhǎng)期來(lái)看，開源模型可能會(huì)超過(guò)閉源模型。
• 開源促進(jìn)了模型的快速迭代和改進(jìn)，允許更多的開發(fā)者參與到項(xiàng)目中，從而加速了技術(shù)的成熟和應(yīng)用的廣泛性。
• 但在某些領(lǐng)域，閉源模型仍可能保持優(yōu)勢(shì)。閉源模型提供了更好的控制和安全性，對(duì)于某些對(duì)數(shù)據(jù)安全有極高要求的行業(yè)來(lái)說(shuō)尤為重要。

數(shù)據(jù)與訓(xùn)練挑戰(zhàn)

• 高質(zhì)量訓(xùn)練數(shù)據(jù)對(duì)模型至關(guān)重要。這意味著獲取和標(biāo)注大量高質(zhì)量的數(shù)據(jù)集將是未來(lái)發(fā)展的一個(gè)重點(diǎn)。
• 未來(lái)可能需要更多物理世界的數(shù)據(jù)。隨著技術(shù)的進(jìn)步，如何有效地收集和利用現(xiàn)實(shí)世界中的數(shù)據(jù)將成為提升模型性能的關(guān)鍵因素之一。
• 數(shù)據(jù)開源和共享可能成為一個(gè)重要話題。這不僅有助于提高數(shù)據(jù)的質(zhì)量和多樣性，還促進(jìn)了跨組織之間的合作和知識(shí)共享。

AGI 展望

• 當(dāng)前，人工智能處于早期階段，業(yè)界對(duì) AGI 實(shí)現(xiàn)的時(shí)間表和可能性存在不同看法。盡管人工智能已經(jīng)取得了顯著進(jìn)展，但要達(dá)到真正的通用人工智能水平仍然充滿挑戰(zhàn)和不確定性。這需要持續(xù)的研究和技術(shù)突破。
• 在場(chǎng)嘉賓積極提問(wèn)，就開源閉源之爭(zhēng)、具體工程實(shí)現(xiàn)、未來(lái) AI 硬件問(wèn)題和 AGI 愿景等多個(gè)角度展開精彩的交流互動(dòng)。

「智研社-The Intelliger」是由 CSDN 發(fā)起創(chuàng)立的高端技術(shù)領(lǐng)導(dǎo)者社群?！钢茄猩?The Intelliger」的前身為 CTO 俱樂(lè)部，自 2009 年由 CSDN 創(chuàng)辦以來(lái)，是極具影響力的高端技術(shù)管理者分享與交流的平臺(tái)。隨著大模型技術(shù)的迅猛發(fā)展，人工智能將成為未來(lái) 10 年最有影響力的技術(shù)力量，必將重塑行業(yè)格局并引領(lǐng)創(chuàng)新浪潮。CTO 俱樂(lè)部正式更名為「智研社 The-Intelliger」，意味著其將以全新的面貌迎接 AGI 新紀(jì)元的到來(lái)。

崔歡歡