大模型行業(yè)應(yīng)用落地加速，DeepSeek-R1 32B、QwQ-32B等模型中文能力見長(zhǎng)，并在理解能力和知識(shí)儲(chǔ)備上有顯著優(yōu)勢(shì)，是企業(yè)平衡性能和部署成本的頂級(jí)模型選擇。元腦CPU推理服務(wù)器僅基于通用處理器進(jìn)行軟硬協(xié)同優(yōu)化，可為企業(yè)32B模型推理與云計(jì)算、數(shù)據(jù)庫(kù)等通用關(guān)鍵業(yè)務(wù)場(chǎng)景融合提供更高效、更靈活、更穩(wěn)定的AI通用算力支撐。

大模型爆火背后的機(jī)遇與困境

春節(jié)過后，DeepSeek的爆火將AI應(yīng)用推向新高度，其7天內(nèi)活躍度突破1億，引發(fā)千行百業(yè)競(jìng)相擁抱AI。浪潮信息副總經(jīng)理趙帥表示：“DeepSeek的爆火，讓AI真正走進(jìn)了千家萬(wàn)戶，許多資深同行都主動(dòng)詢問相關(guān)信息，這在以往是難以想象的。它創(chuàng)造了大量實(shí)際落地業(yè)務(wù)價(jià)值，推動(dòng)各行業(yè)積極探索AI應(yīng)用。”

但是在DeepSeek火爆的背后是算力稀缺，尤其是好用、易用的算力獲取困難，成為制約大模型發(fā)展的關(guān)鍵因素。中小企業(yè)、教育科研用戶更是陷入兩難境地：將私有數(shù)據(jù)上云面臨安全風(fēng)險(xiǎn)；部署滿血版服務(wù)器，初始投資高昂且并發(fā)需求不匹配。

趙帥指出：“中小企業(yè)和教科研用戶對(duì)易于部署、易于管理、易于使用的入門級(jí)AI推理服務(wù)需求強(qiáng)烈，他們希望服務(wù)器更便于部署和管理，控制成本，并能將AI融入日常業(yè)務(wù)，實(shí)現(xiàn)多業(yè)務(wù)協(xié)同管理。這是市場(chǎng)的現(xiàn)實(shí)需求，也是我們發(fā)布元腦CPU推理服務(wù)器的重要出發(fā)點(diǎn)?！?/p>

元腦CPU推理服務(wù)器：軟硬協(xié)同創(chuàng)新破解應(yīng)用難題

為滿足市場(chǎng)需求，浪潮信息推出元腦CPU推理服務(wù)器，這款產(chǎn)品在技術(shù)上實(shí)現(xiàn)了一系列突破。

在硬件層面，以4路服務(wù)器為例，其單機(jī)可支持2TB以上內(nèi)存，強(qiáng)大的內(nèi)存擴(kuò)展能力為模型運(yùn)行提供充足空間。浪潮信息人工智能與高性能應(yīng)用軟件部AI架構(gòu)師Hongyan SUN解釋道：“隨著CPU技術(shù)發(fā)展，內(nèi)存帶寬不斷提升，從早期8通道發(fā)展到如今的16通道，還有MRD新型內(nèi)存技術(shù)助力。這使得CPU服務(wù)器在運(yùn)行大模型時(shí)，即便面對(duì)如671B這樣存儲(chǔ)需求大的模型，也能憑借大容量?jī)?nèi)存實(shí)現(xiàn)良好運(yùn)行效果?！?/p>

軟件優(yōu)化同樣至關(guān)重要。服務(wù)器采用先進(jìn)的張量并行策略和AI加速技術(shù)，如英特爾的AMX加速功能。浪潮信息人工智能與高性能應(yīng)用軟件部AI架構(gòu)師Owen ZHU介紹：“在32B推理中，我們運(yùn)用TP并行技術(shù)，將權(quán)重分成四份存入對(duì)應(yīng)CPU內(nèi)存，充分利用整機(jī)內(nèi)存帶寬，相比單CPU內(nèi)存帶寬使用，可提升至1.2T。同時(shí)，采用AWQ量化技術(shù)，通過逐通道測(cè)放和網(wǎng)格搜索找到最佳縮放因子，有效減少量化誤差，提升模型性能?！?/p>

軟硬協(xié)同優(yōu)化更是這款服務(wù)器的核心亮點(diǎn)。趙帥強(qiáng)調(diào)：“AI推理不是單純的硬件工作，軟硬件協(xié)同才能發(fā)揮最大性能。我們的AIStation、EPAI等軟件平臺(tái)，能讓用戶快速上手使用大模型，根據(jù)自身場(chǎng)景選擇最合適的模型，降低使用門檻，提升使用體驗(yàn)?！?/p>

差異化定位，推動(dòng)AI應(yīng)用普及

市場(chǎng)中，DeepSeek一體機(jī)已占據(jù)一席之地，元腦CPU推理服務(wù)器與之相比有何不同？

趙帥分析：“滿血版DeepSeek一體機(jī)適用于中大型企業(yè)，這些企業(yè)有較高的技術(shù)實(shí)力和成本承受能力，對(duì)模型參數(shù)數(shù)量和并發(fā)數(shù)要求較高，一般并發(fā)數(shù)在兩三百以上才能發(fā)揮其最大價(jià)值。而我們的元腦CPU推理服務(wù)器主要面向中小企業(yè)市場(chǎng)，這類企業(yè)更注重成本控制，對(duì)AI應(yīng)用處于起步階段，希望將AI融入現(xiàn)有業(yè)務(wù)。元腦CPU推理服務(wù)器穩(wěn)定性強(qiáng)、易維護(hù)、支持多種負(fù)載，既能與企業(yè)現(xiàn)有IT基礎(chǔ)設(shè)施無(wú)縫融合，也避免了專用AI硬件的局限。”

例如，在一些中小企業(yè)的日常辦公場(chǎng)景中，服務(wù)器不僅可以運(yùn)行AI推理任務(wù)，輔助員工進(jìn)行文檔撰寫、數(shù)據(jù)分析等工作，還能同時(shí)承擔(dān)數(shù)據(jù)庫(kù)管理、郵件服務(wù)等傳統(tǒng)業(yè)務(wù)，實(shí)現(xiàn)一機(jī)多用，提升企業(yè)運(yùn)營(yíng)效率。

多元應(yīng)用場(chǎng)景，解鎖無(wú)限可能

元腦CPU推理服務(wù)器的應(yīng)用場(chǎng)景十分廣泛，除了常見的大模型對(duì)話，還在RAG（檢索增強(qiáng)生成）、長(zhǎng)文本處理、多模態(tài)任務(wù)等領(lǐng)域展現(xiàn)出潛力。

在RAG業(yè)務(wù)支持上，趙帥表示：“RAG技術(shù)對(duì)企業(yè)模型的微調(diào)至關(guān)重要，但它并非由推理服務(wù)器獨(dú)立完成。浪潮信息的元腦企智EPAI大模型平臺(tái)，聯(lián)合ISV合作伙伴，幫助用戶對(duì)數(shù)據(jù)進(jìn)行微調(diào)，使模型更貼合業(yè)務(wù)需求。推理服務(wù)器則根據(jù)模型參數(shù)、并發(fā)規(guī)模和場(chǎng)景選擇，為RAG業(yè)務(wù)提供算力支撐?！?/p>

針對(duì)長(zhǎng)文本處理，Hongyan SUN表示：“在RAG場(chǎng)景下，我們預(yù)先處理和計(jì)算檢索文檔的KV值并存儲(chǔ)在硬盤，用戶加載時(shí)可直接提取，減少冷啟動(dòng)時(shí)間。同時(shí)，通用服務(wù)器大容量?jī)?nèi)存為KV Cache存儲(chǔ)提供便利，不過受限于計(jì)算能力，在長(zhǎng)文本快速輸出方面存在一定挑戰(zhàn)。我們正在研究新的KV Cache技術(shù)，預(yù)計(jì)今年下半年發(fā)布，進(jìn)一步提升長(zhǎng)文本處理能力。”

在多模態(tài)任務(wù)方面，雖然目前尚未成為服務(wù)器的主要應(yīng)用方向，但隨著技術(shù)發(fā)展，其潛力不容小覷。Owen ZHU認(rèn)為：“隨著多模態(tài)技術(shù)的成熟，我們的服務(wù)器憑借強(qiáng)大的計(jì)算能力和靈活的軟件適配性，未來(lái)有望在圖像、語(yǔ)音與文本融合的多模態(tài)應(yīng)用中發(fā)揮重要作用，為企業(yè)提供更豐富的服務(wù)?！?/p>

市場(chǎng)反饋熱烈，前景一片光明

產(chǎn)品推出后，市場(chǎng)反饋如何？趙帥透露：“目前市場(chǎng)熱度極高，已有大量客戶咨詢，涉及金融、教育、中小企業(yè)、創(chuàng)業(yè)公司、科研團(tuán)隊(duì)等多個(gè)領(lǐng)域。他們對(duì)低成本、易部署、易管理的產(chǎn)品需求迫切，我們的服務(wù)器恰好滿足這些需求。雖然出于商業(yè)保密原因不能透露具體訂單量，但可以肯定的是，這款產(chǎn)品市場(chǎng)前景廣闊?！?/p>

從實(shí)際應(yīng)用案例來(lái)看，某金融企業(yè)利用元腦CPU推理服務(wù)器結(jié)合特定大模型，實(shí)現(xiàn)智能客服升級(jí)，快速準(zhǔn)確回答客戶咨詢，提升客戶滿意度；某教育機(jī)構(gòu)借助服務(wù)器搭建智能教學(xué)輔助系統(tǒng)，為學(xué)生提供個(gè)性化學(xué)習(xí)方案，提高教學(xué)質(zhì)量。這些成功案例充分證明了產(chǎn)品的價(jià)值。

展望未來(lái)，趙帥表示：“浪潮信息將持續(xù)投入基礎(chǔ)大模型研究，深入理解算力需求，優(yōu)化系統(tǒng)架構(gòu)。我們還將不斷完善產(chǎn)品陣列，從數(shù)據(jù)中心級(jí)AI服務(wù)器到CPU服務(wù)器、邊緣服務(wù)器，滿足不同客戶場(chǎng)景需求。同時(shí)，加強(qiáng)網(wǎng)絡(luò)、存儲(chǔ)等方面布局，打造完整AI業(yè)務(wù)生態(tài)，推動(dòng)AI技術(shù)在各行業(yè)深度應(yīng)用。”

CPU推理服務(wù)器的出現(xiàn)，為大模型應(yīng)用困境提供了有效解決方案，其憑借技術(shù)創(chuàng)新、差異化定位和多元應(yīng)用場(chǎng)景，正在市場(chǎng)中嶄露頭角。隨著AI技術(shù)不斷發(fā)展，更加快速、易獲得、低投入的理想算力平臺(tái)將推動(dòng)AI應(yīng)用邁向新高度，讓更多企業(yè)在智能時(shí)代實(shí)現(xiàn)創(chuàng)新發(fā)展。

lixiangjing

算力豹主編