文字編輯｜ 宋雨涵

1

性能與成本的雙重革新

H800 GPU算力極限再破頂

據(jù)DeepSeek官方披露，F(xiàn)lashMLA專為Hopper架構(gòu)GPU（如H800 SXM5）設(shè)計，在CUDA 12.6環(huán)境下實現(xiàn)兩大核心指標突破：

內(nèi)存帶寬峰值3000GB/s

（內(nèi)存限制場景）”

通過分頁KV緩存（塊大小64）與BF16精度支持，顯存占用降低至傳統(tǒng)方案的1/10，長序列數(shù)據(jù)處理效率提升4倍以上；

計算性能580 TFLOPS

（計算約束場景）

針對可變長度序列的動態(tài)負載優(yōu)化，結(jié)合張量核指令級調(diào)優(yōu)，實現(xiàn)近乎100%的硬件利用率，推理速度較同類方案提升2.3倍。

“這相當于在H800上‘解鎖’了隱藏的算力層?！币晃粎⑴c內(nèi)測的開發(fā)者表示，F(xiàn)lashMLA通過將KV緩存壓縮至低維空間，使單卡可處理的上下文長度擴展至百萬Token級，且在生產(chǎn)環(huán)境中已穩(wěn)定支持多模態(tài)大模型實時推理。

網(wǎng)友們紛紛點贊：向工程團隊致以崇高的敬意，從Hopper的張量核中擠出了每一個FLOP。這就是我們將LLM服務(wù)推向新前沿的方式！

技術(shù)架構(gòu)：從實驗室到生產(chǎn)的“零損耗”跨越

FlashMLA通過分頁KV緩存（塊大小64）和BF16精度支持，顯著降低顯存占用。結(jié)合DeepSeek獨創(chuàng)的MLA架構(gòu)（多頭潛在注意力），其通過低秩壓縮技術(shù)將鍵值（KV）緩存量減少93.3%，使長序列處理的顯存需求降至傳統(tǒng)Transformer架構(gòu)的5%-13%，推理成本僅為同類模型的1/7至1/70。

FlashMLA的核心創(chuàng)新在于其三層優(yōu)化體系：

硬件層

深度適配Hopper架構(gòu)的TMA（Tensor Memory Accelerator）與異步拷貝技術(shù)，消除內(nèi)存帶寬瓶頸；

算法層

動態(tài)調(diào)整計算粒度，根據(jù)序列長度自動選擇最優(yōu)計算路徑，避免傳統(tǒng)方案因填充（Padding）導致的算力浪費；

工程層

首創(chuàng)“分塊-壓縮-流水線”三位一體機制，支持毫秒級熱更新模型參數(shù)，滿足在線服務(wù)的嚴苛SLA要求。

尤其值得關(guān)注的是其分頁KV緩存設(shè)計：通過將鍵值對拆分為64個Token的連續(xù)內(nèi)存塊，配合智能預(yù)取策略，顯存碎片率降低92%，這在處理超長法律文檔、基因序列分析等場景中展現(xiàn)出顯著優(yōu)勢。

2

打造開源生態(tài)

開發(fā)者社區(qū)掀起“效率革命”

DeepSeek

DeepSeek的基本架構(gòu)：MLA

MLA機制概述

MLA是一種改進的注意力機制，旨在提升Transformer模型的推理效率和內(nèi)存利用率。其核心思想是通過低秩聯(lián)合壓縮技術(shù)，將多頭注意力中的鍵（Key）和值（Value）矩陣投影到低維潛在空間，從而顯著減少鍵值緩存（KV Cache）的存儲需求。這種方法不僅降低了內(nèi)存占用，還提高了推理速度，同時保持了模型的性能。

DeepSeek系列模型的成果與影響

在V2版本中，DeepSeek系列模型通過采用MLA機制，成功將顯存占用降低至傳統(tǒng)MHA架構(gòu)的5%至13%，實現(xiàn)了成本的大幅削減。同時，其推理成本也僅為Llama 370B的七分之一和GPT-4 Turbo的七十分之一。這些顯著的成果使得DeepSeek系列模型在自然語言處理領(lǐng)域備受關(guān)注。

到了V3版本，DeepSeek系列模型在降本提速方面取得了更為顯著的成果。這一版本的模型不僅進一步降低了顯存占用和推理成本，還提升了模型的性能和穩(wěn)定性。這些優(yōu)勢使得DeepSeek在全球范圍內(nèi)備受矚目，成為自然語言處理領(lǐng)域的一顆新星。

此外，DeepSeek系列模型還積極擁抱開源社區(qū)，推動了AI技術(shù)的普及和發(fā)展。例如，DeepSeek-R1在HuggingFace平臺上已收獲超過10000個贊，從近150萬個模型中脫穎而出，成為該平臺最受歡迎的大模型之一。這一成就不僅證明了DeepSeek系列模型的優(yōu)秀性能和應(yīng)用價值，也為開源社區(qū)的發(fā)展注入了新的活力。

開源力量的驅(qū)動

開源公告發(fā)布后，全球開發(fā)者迅速展開實測。GitHub Issue區(qū)涌現(xiàn)大量驗證數(shù)據(jù)：

在32K上下文長度的文本生成任務(wù)中，F(xiàn)lashMLA的端到端延遲較vLLM降低58%；

多輪對話場景下，顯存占用僅為HuggingFace Transformers原生實現(xiàn)的7.2%；

結(jié)合DeepSeek自研的MoE（混合專家）路由算法，千億參數(shù)模型的單批次推理成本下降至0.003美元/請求。

寫在最后

業(yè)內(nèi)人士認為，F(xiàn)lashMLA的發(fā)布標志著AI算力優(yōu)化進入新階段。其開源特性或?qū)⒓铀傩袠I(yè)技術(shù)迭代，助力中小企業(yè)低成本部署大模型。DeepSeek透露，開源周后續(xù)還將公開更多工具與模型，持續(xù)推動AI生態(tài)發(fā)展。

此次技術(shù)突破不僅鞏固了DeepSeek在全球AI競賽中的領(lǐng)先地位，也為算力密集型應(yīng)用的普及鋪平道路。正如網(wǎng)友所言：“這是將LLM服務(wù)推向新前沿的關(guān)鍵一步?！?/p>

lixiangjing

算力豹主編