（DeepSeek R1模型提供從1.5b到671b多個參數(shù)量版本）

但本地部署對于硬件還是有一定要求的，尤其是GPU算力，大家都知道顯存越大、算力越高，本地推理就會越快，但是想要獲得更完整的推理效果，7B參數(shù)的大模型是不夠用的，14B、32B甚至更大的70B模型才是必選項，而大顯存的顯卡價格不菲，除卻昂貴的企業(yè)級產(chǎn)品，即使是消費(fèi)級的大顯存顯卡也是普通用戶難以承受的，以24GB顯存的RTX 4090顯卡為例，現(xiàn)在的價格也在一萬七千元左右，部署成本相當(dāng)之高。

本文將介紹如何使用一萬元的預(yù)算來實現(xiàn)32GB顯存的本地DeepSeek R1大模型部署。其中顯卡部分使用兩塊英特爾銳炫A770 16GB顯卡組成，成本不到四千元，價格相當(dāng)親民，可以有效控制預(yù)算。通過使用IPEX-LLM在Ubuntu操作系統(tǒng)下部署32B參數(shù)的DeepSeek R1大模型，實現(xiàn)高效的本地推理，實測生成階段的Avg Generation Throughput可以穩(wěn)定在26 tokens/s以上。無論是在上下文生成還是代碼生成實例中，都表現(xiàn)出了極強(qiáng)的效率，并且整套系統(tǒng)的功耗控制在800瓦以下。

我們使用讓DeepSeek模型生成貪吃蛇游戲代碼的prompt來測試整個推理效率，完全在本地運(yùn)行。

輸入Prompt為：

【請用html寫個貪吃蛇游戲的代碼，需要包含以下功能：

1. 使用鍵盤上的上下左右箭頭鍵控制蛇的移動方向

2. 蛇會自動向前移動，并在吃到紅色的食物時增長并增加得分   

3. 當(dāng)蛇碰到墻壁或自己時，游戲結(jié)束并顯示得分

4. 點擊重新開始按鈕可以重置游戲并重新開始

游戲規(guī)則：

·蛇不能碰到墻壁或自己，否則游戲結(jié)束

·每吃一個食物，得分增加10分

·食物不會出現(xiàn)在蛇的身體上】

在經(jīng)過大約15秒鐘的推理過程之后，DeepSeek模型即開始輸出代碼，全部輸出完成耗時僅1分鐘。特別是，通過使用Open WebUI圖形界面交互時，在代碼完成后，還可以出現(xiàn)一個預(yù)覽窗口，這是我們可以使用鍵盤方向鍵控制蛇的移動，吃掉食物獲得分?jǐn)?shù)，當(dāng)蛇撞到墻壁或自己時，游戲結(jié)束。所見即所得，編程從未如此簡單。

（貪吃蛇代碼調(diào)整演示）

如果代碼有哪里不滿意，我們還可以繼續(xù)通過指令讓DeepSeek進(jìn)行調(diào)整，例如第一次生成的代碼，蛇的移動速度太快，調(diào)整之后蛇的移動時間間隔增加到了200毫秒，這時玩起來就容易多了?？傊?，在離線部署的DeepSeek下，你可以隨意提出自己的要求，實現(xiàn)工作效率的提升。

我們還嘗試了文本內(nèi)容生成，在約3000漢字的文章生成測試中，后臺顯示Prefill階段的吞吐最高可以達(dá)28 .1 tokens/s,生成階段平均輸出速度約為25 tokens/s。我們以一個中文字符0.6個token算，生成速度大概為每秒鐘20個漢字，按人類平均每分鐘700字的閱讀速度來看，這套本地部署的DeepSeek R1模型生成速度已經(jīng)大幅超越正常人類閱讀速度，十分的高效。

本次部署過程使用硬件平臺配置一覽：

關(guān)于具體的軟硬件部署有一些值得注意的地方，首先是硬件部分。我們搭配了英特爾酷睿Ultra 9 285K處理器與Z890主板，作為目前Intel桌面平臺的旗艦型號，其實是用不到這么高的配置的，因為大模型完全跑在GPU上，對于處理器的負(fù)載反倒不高，如果你選擇酷睿Ultra 7處理器或者Ultra 5處理器也是沒問題的。而之所以選擇Z890主板是由于需要至少兩個PCIE顯卡插槽，并且如果想要發(fā)揮出顯卡的全部帶寬優(yōu)勢，選擇支持兩條x8通道拆分的主板會更好。同時如果你要是使用封閉機(jī)箱，還要考慮到顯卡干涉的問題。

內(nèi)存方面，最好選擇大容量高速內(nèi)存，以提升模型的加載和調(diào)用效率。我們使用的24GB*2 CUDIMM內(nèi)存效率還不錯，只不過CUDIMM內(nèi)存由于CKD原因現(xiàn)在價格較貴，并且主要針對超頻有利，因此使用普通的8000 MT/s DDR5內(nèi)存也是沒問題的。因此如果進(jìn)一步調(diào)整配置，是能做到整體硬件開銷在萬元之內(nèi)的，相比單24GB/32GB顯存顯卡的方案那可是太實惠了。

值得注意的是電源，因為需要同時接入兩塊A770顯卡（此次使用的一塊A770還是來自藍(lán)戟的超頻版本），單卡TGP約在200瓦左右，加上我們使用的是Ultra 9處理器，因此選擇了鑫谷的GM1250瓦電源，更主要的原因是其支持4個PCIe 8Pin供電接口，能夠滿足兩塊A770雙8+6pin的供電需求。

至于操作系統(tǒng)，其實在Windows系統(tǒng)下也能實現(xiàn)雙銳炫A770顯卡的部署，只不過由于操作系統(tǒng)差異和機(jī)器學(xué)習(xí)架構(gòu)的效率不同，其運(yùn)行效率不如在Linux系統(tǒng)下更快。因此我們使用Ubuntu 22.04系統(tǒng)，這個版本已經(jīng)由英特爾官方提供來了驅(qū)動適配和支持，兼容性很好。當(dāng)然，如果你使用其它版本的Linux系統(tǒng)，可以參看intel官方支持頁面進(jìn)行操作。

關(guān)于DeepSeek模型的部署，我們使用了采用Q4量化的DeepSeek R1-32B版本模型，可以在huggingface或者魔塔社區(qū)等進(jìn)行下載。同時為了方便查看后臺運(yùn)行情況，我們還使用了Open WebUI圖形界面來進(jìn)行演示和檢測。

不過值得注意的是，由于我們使用了其中一塊銳炫A770顯卡的DP接口進(jìn)行輸出，理論上會對顯卡運(yùn)行大模型的效率產(chǎn)生一點影響，如果你采用局域網(wǎng)方式訪問后端，能夠讓兩塊銳炫A770完全集中到大模型的負(fù)載上，這點需要說明。

通過這套本地部署的方式，我們將兩張英特爾A770顯卡的顯存疊加使用，實現(xiàn)了32B參數(shù)DeepSeek R1大型模型的離線運(yùn)行，并且實測運(yùn)行效率很高，可以很方便地實現(xiàn)高效的推理和豐富的功能，如果你也有類似需求可以嘗試搭建自己的大模型服務(wù)器。

songjy