其中，4050億參數(shù)的Llama 3.1模型在基本常識、可操作性、數(shù)學(xué)、工具使用和多語言翻譯方面具有行業(yè)領(lǐng)先的能力。同時(shí)，該模型還為開發(fā)者解鎖了諸如合成數(shù)據(jù)生成和模型蒸餾（Model Distillation）等全新功能。

發(fā)布后不久，英特爾馬上宣布，旗下的英特爾至強(qiáng)、酷睿和銳炫顯卡都可以支持Llama 3.1，除了硬件支持以外，包括PyTorch及英特爾PyTorch擴(kuò)展包、DeepSpeed、Hugging Face Optimum庫和vLLM等，也都針對LLama 3.1做了優(yōu)化。

英特爾公布了至強(qiáng)、酷睿和銳炫顯卡運(yùn)行Llama 3.1的性能表現(xiàn)。

英特爾至強(qiáng)內(nèi)置的AMX可以提高AI場景的表現(xiàn)。根據(jù)基準(zhǔn)測試，在第五代英特爾至強(qiáng)平臺上以1K token輸入和128 token輸出運(yùn)行80億參數(shù)的Llama 3.1模型，可以達(dá)到每秒176 token的吞吐量，同時(shí)保持下一個(gè)token延遲小于50毫秒。

英特爾酷睿平臺上的NPU，以及銳炫顯卡上英特爾Xe Matrix Extensions加速等專用的AI硬件，可以讓AI PC更輕松地進(jìn)行輕量級微調(diào)和應(yīng)用定制。

英特爾打造的AI PC既要作為大模型開發(fā)者的平臺，同時(shí)也是部署大模型的平臺。開發(fā)環(huán)節(jié)，有PyTorch以及英特爾PyTorch擴(kuò)展包等配套軟件。部署環(huán)節(jié)，也有OpenVINO等工具包。

低于100毫秒的延遲這一性能指標(biāo)其實(shí)很重要，可以保證模型的響應(yīng)足夠迅速，使用戶感覺與系統(tǒng)的交互是即時(shí)的，看起來更加連貫，沒有明顯的停頓或延遲，從而使交互體驗(yàn)更加順暢。

zhupb