AMX加速前后生成速率對比

此外，針對用戶的不同需求場景，天翼云CPU主機(jī)還提供了對多個(gè)DeepSeek蒸餾版本的支持，內(nèi)置一鍵部署的云主機(jī)鏡像，并預(yù)裝了DeepSeek-R1-Distill-Qwen-7B模型、DeepSeek-R1-Distill-Qwen-14B模型、DeepSeek-R1-Distill-Qwen-1.5B模型及vLLM推理框架、開源的AI推理框架xFasterTransformer（xFT）加速庫以及Open WebUI前端可視環(huán)境。用戶只需在天翼云控制臺選擇相應(yīng)的資源池和鏡像，即可輕松開通云主機(jī)，一鍵部署DeepSeek大模型進(jìn)行業(yè)務(wù)應(yīng)用。

　　一鍵部署鏡像實(shí)現(xiàn)DeepSeek大模型開箱即用

搭載天翼云CPU系統(tǒng)”滿血而歸”， 釋放R1模型極致性能

眾所周知，作為DeepSeek的”性能之王”– DeepSeek R1 671B 滿血版模型憑以其卓越的性能，為用戶帶來了極致的效果體驗(yàn)。然而對于企業(yè)來說，部署滿血版所需的硬件購置、能耗以及維護(hù)等成本也不容小覷。為此，天翼云通過深度分析模型的算法與架構(gòu)，尋找”最佳”算力匹配方案。

DeepSeek R1模型采用稀疏注意力機(jī)制和混合專家模型（MoE）架構(gòu)，通過參數(shù)稀疏化的方式，使得在單token推理時(shí)僅需激活少量專家參數(shù)。這種特性顯著降低了推理過程中的算力要求，與CPU的計(jì)算特點(diǎn)相契合，使得模型在CPU系統(tǒng)上的運(yùn)行更加高效。

針對于此，天翼云基于全新一代X86處理器，搭配高級矩陣擴(kuò)展AMX，開展了DeepSeek-R1-671B（Q4_K_M社區(qū)量化版）的部署測試。測試結(jié)果表明，在單實(shí)例單socket（128核）模式下，DeepSeek-R1-671B在上述CPU平臺上可達(dá)到平均9.7～10 token/s的吞吐量，而在單機(jī)雙實(shí)例部署模式下，總體吞吐量可提升至14.7 token/s。這意味著單顆CPU構(gòu)建的服務(wù)吞吐性能即可達(dá)到普通用戶的日常使用需求，天翼云CPU云主機(jī)的通用計(jì)算型規(guī)格在成本和便捷性上優(yōu)勢明顯。

實(shí)踐證明，天翼云第八代彈性云主機(jī)的CPU系統(tǒng)不僅能夠充分發(fā)揮DeepSeek大模型的性能優(yōu)勢，還能有效降低部署成本，避免了對大量傳統(tǒng)GPU的依賴。

無論處理輕量化蒸餾模型還是全功能滿血模型，天翼云CPU云主機(jī)都能靈活應(yīng)對不同規(guī)模的模型需求、高效滿足用戶場景，提供低成本且高效的解決方案。隨著CPU架構(gòu)、工藝的不斷進(jìn)步，以及更大緩存、更高內(nèi)存帶寬的加持，CPU平臺將在DeepSeek的應(yīng)用之路上，為更多廠商和開發(fā)者開辟一條便捷之路。登錄天翼云官網(wǎng)-彈性云主機(jī)產(chǎn)品文檔-DeepSeek專題，還可查看更多天翼云彈性云主機(jī)實(shí)例部署DeepSeek R1″最佳實(shí)踐”。

面向海量計(jì)算需求，搭載英特爾? 至強(qiáng)? 6 處理器性能核的天翼云第九代彈性云主機(jī)也即將面世，并將在更專業(yè)的科學(xué)計(jì)算與AI應(yīng)用帶來性能提升，敬請期待！

xiesc