隨著基于大語言模型的 AI 項(xiàng)目從概念驗(yàn)證階段進(jìn)入生產(chǎn)階段，企業(yè)對(duì)高能效、高安全性和高度可擴(kuò)展解決方案的需求日益迫切。摩根士丹利最近發(fā)布的一份研究報(bào)告預(yù)測，在未來幾年，生成式 AI 的電力需求將以每年 75% 的速度激增，其2026 年的能耗或?qū)⑴c西班牙 2022 年的全年能耗相當(dāng)。¹ 許多 IBM 客戶表示，支持適當(dāng)規(guī)模的基礎(chǔ)模型和針對(duì) AI 工作負(fù)載的混合架構(gòu)越來越重要。

此次IBM發(fā)布的主要?jiǎng)?chuàng)新技術(shù)包括：

• IBM Telum II 處理器：這一全新芯片將搭載于下一代?IBM Z 系列主機(jī)，與第一代 Telum 芯片相比，其頻率和內(nèi)存容量均有提升，高速緩存提升40%；集成 AI 加速器內(nèi)核和數(shù)據(jù)處理單元 (DPU) 的性能也得到改善。IBM Telum II處理器將支持大語言模型驅(qū)動(dòng)的企業(yè)計(jì)算解決方案，滿足金融等行業(yè)的復(fù)雜交易需求。
• IO 加速單元：Telum II 處理器芯片上的全新數(shù)據(jù)處理單元 (DPU) 旨在加速大型主機(jī)上用于聯(lián)網(wǎng)和數(shù)據(jù)存儲(chǔ)的復(fù)雜 IO 協(xié)議，可簡化系統(tǒng)操作，提高關(guān)鍵組件性能。
• IBM Spyre加速器：可提供額外的AI計(jì)算能力，與 Telum II 處理器相得益彰。Telum II 和 Spyre 芯片共同構(gòu)成了一個(gè)可擴(kuò)展的架構(gòu)，可支持AI集成建模方法，即將多個(gè)機(jī)器學(xué)習(xí)或深度學(xué)習(xí)的AI模型與基于編碼器的大語言模型相結(jié)合。通過利用每個(gè)模型架構(gòu)的優(yōu)勢，AI集成的方法可以生成比單個(gè)模型更準(zhǔn)確、更穩(wěn)健的結(jié)果。Spyre 加速器芯片在 Hot Chips 2024 大會(huì)期間進(jìn)行了預(yù)覽，并將作為Telum II 處理器的附加選件提供。每個(gè)加速器芯片均與IBM 研究院合作開發(fā)，通過一個(gè) 75 瓦 PCIe 適配器連接。與其他 PCIe 卡一樣，Spyre 加速器可根據(jù)客戶需求進(jìn)行擴(kuò)展。

IBM主機(jī)和LinuxONE 產(chǎn)品管理副總裁 Tina Tarquinio 表示：”得益于IBM強(qiáng)大的多代并行的開發(fā)路線圖，我們得以在保持技術(shù)領(lǐng)先的同時(shí)，滿足企業(yè)不斷升級(jí)的 AI 需求。Telum II 處理器和 Spyre 加速器旨在提供安全、節(jié)能、高性能的企業(yè)計(jì)算解決方案。這些多年研發(fā)的創(chuàng)新成果將被引入下一代 IBM Z 平臺(tái)，幫助客戶大規(guī)模利用大語言模型和生成式 AI技術(shù)。”

Telum II 處理器和 IBM Spyre 加速器將由 IBM的長期合作伙伴三星晶圓代工（Samsung Foundry）生產(chǎn)，采用其高性能、高能效的 5 納米工藝節(jié)點(diǎn)。二者將共同支持企業(yè)的先進(jìn)AI 用例，釋放業(yè)務(wù)價(jià)值，從而創(chuàng)造新的競爭優(yōu)勢。利用AI集成的方法，客戶可以更快、更準(zhǔn)確地獲得預(yù)測結(jié)果。適用的生成式 AI用例包括：

• 保險(xiǎn)理賠欺詐檢測：通過AI集成方法將大語言模型與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相結(jié)合，以提高性能和準(zhǔn)確性，增強(qiáng)對(duì)保險(xiǎn)理賠欺詐的檢測。
• 反洗錢高級(jí)監(jiān)測：對(duì)可疑金融活動(dòng)進(jìn)行高級(jí)檢測，支持遵守監(jiān)管要求并降低金融犯罪風(fēng)險(xiǎn)。
• AI 助手：加速應(yīng)用生命周期、知識(shí)和專業(yè)技能的傳授、代碼解釋和轉(zhuǎn)換等。

規(guī)格和性能指標(biāo)：

• Telum II 處理器：配備八個(gè)運(yùn)行頻率達(dá)?5.5GHz的高性能內(nèi)核，每個(gè)內(nèi)核配備 36MB二級(jí)高速緩存，片上高速緩存容量增加 40%（總?cè)萘窟_(dá) 360MB）。每個(gè)處理器抽屜的虛擬 L4 高速緩存為 2.88GB，相比上一代增加 40%。集成的 AI 加速器可實(shí)現(xiàn)低延遲、高吞吐量的交易中AI 推理，例如增強(qiáng)金融交易期間的欺詐檢測，并且每塊芯片的計(jì)算能力是上一代的四倍。
  
  Telum II 芯片中集成了最新的 I/O 加速單元 DPU。在設(shè)計(jì)上，其I/O 密度提高 50%，可大幅提高數(shù)據(jù)處理能力，進(jìn)一步提高 IBM Z 的整體效率和可擴(kuò)展性，使其成為處理大規(guī)模AI工作負(fù)載和數(shù)據(jù)密集型應(yīng)用的不二之選。
  
• Spyre 加速器：這是一款專為復(fù)雜AI模型和生成式AI用例提供可擴(kuò)展功能的企業(yè)級(jí)加速器。它有高達(dá) 1TB 的內(nèi)存，可在普通 IO 抽屜的八塊卡上串聯(lián)工作，以支持大型主機(jī)的整體AI 工作負(fù)載，同時(shí)每塊卡的功耗不超過 75W。每塊芯片由32 個(gè)計(jì)算內(nèi)核組成，支持 int4、int8、fp8 和 fp16 數(shù)據(jù)類型，適用于低延遲和高吞吐量的 AI 應(yīng)用。

產(chǎn)品時(shí)間表

作為 IBM 下一代 IBM Z 和 IBM LinuxONE 平臺(tái)的中央處理器，Telum II 處理器預(yù)計(jì)在 2025 年向 IBM Z 和 LinuxONE 客戶提供。IBM Spyre 加速器仍在技術(shù)預(yù)覽階段，預(yù)計(jì)也將于 2025 年推出。

zhupb