深入解析：DeepSeek推理技術(shù)與昇騰平臺(tái)的融合

活動(dòng)伊始，昇騰生態(tài)技術(shù)專家許濤就“DeepSeek-MoE模型技術(shù)演變分析”，深入解讀了DeepSeek系列模型技術(shù)演變。DeepSeek-MoE模型自推出以來(lái)不斷優(yōu)化，通過增加模型大小和專家數(shù)量，降低專家激活比，來(lái)提升性能，在架構(gòu)和訓(xùn)練策略上持續(xù)創(chuàng)新。在技術(shù)實(shí)現(xiàn)方面，模型采用了多種優(yōu)化方法，如在訓(xùn)練過程中，利用DualPipe雙向流水線方法減少通信開銷，根據(jù)不同的算子需求選擇合適精度計(jì)算，引入MTP方法，以多個(gè)Token作為監(jiān)督優(yōu)化模型。同時(shí)，昇騰已經(jīng)完成對(duì)Deepseek的適配，可以高效利用超節(jié)點(diǎn)內(nèi)的高速通信帶寬，有望在DeepSeek時(shí)代取得更好的發(fā)展。

（昇騰生態(tài)技術(shù)專家 許濤）

實(shí)踐分享：基于昇騰的DeepSeek全棧開源推理方案

北京大學(xué)聯(lián)合華為發(fā)布的DeepSeek全棧開源推理方案依托全棧開源組件構(gòu)建，基于北京大學(xué)自主研發(fā)的SCOW算力平臺(tái)系統(tǒng)，整合了DeepSeek、openEuler、MindSpore與vLLM/RAY等社區(qū)開源組件，通過開放協(xié)作打破技術(shù)壁壘，持續(xù)推動(dòng)技術(shù)創(chuàng)新。北京大學(xué)計(jì)算中心工程師龍汀汀在特訓(xùn)營(yíng)中詳細(xì)介紹了該方案，現(xiàn)場(chǎng)演示了系統(tǒng)如何快速適應(yīng)不同的AI框架，并展示其在多種應(yīng)用場(chǎng)景下的高效性能。

（北京大學(xué)計(jì)算中心工程師 龍汀汀）

上手實(shí)操：邊緣設(shè)備上的昇騰技術(shù)實(shí)踐

在本次特訓(xùn)營(yíng)的開發(fā)實(shí)戰(zhàn)環(huán)節(jié)，學(xué)生們基于昇思MindSpore框架，在香橙派AI Pro開發(fā)板（20TOPS）上進(jìn)行模型部署。值得一提的是，目前香橙派昇騰系列產(chǎn)品已經(jīng)率先完成了與 DeepSeek 模型的深度適配，利用開箱即用模型，讓邊緣離線部署變得輕松高效。通過實(shí)操，學(xué)生們親身感受到了昇騰無(wú)需依賴云端的強(qiáng)大算力，直接在邊緣設(shè)備上實(shí)現(xiàn)高性能計(jì)算及積木式開發(fā)，既保障了數(shù)據(jù)處理的隱私安全，又大幅提升了響應(yīng)效率。這種“端側(cè)智能”的實(shí)戰(zhàn)體驗(yàn)，不僅讓學(xué)習(xí)更直觀，更讓大家領(lǐng)略到AI落地應(yīng)用的無(wú)限可能。

（北京大學(xué)學(xué)生現(xiàn)場(chǎng)實(shí)操香橙派AI Pro開發(fā)板）

開放討論：技術(shù)專家與學(xué)者面對(duì)面答疑

在活動(dòng)的最后，學(xué)生們與華為計(jì)算戰(zhàn)略規(guī)劃專家、北京大學(xué)計(jì)算中心工程師、AI安全解決方案專家、昇騰生態(tài)技術(shù)專家們一起進(jìn)行了面對(duì)面的互動(dòng)，從鯤鵬昇騰設(shè)備使用到技術(shù)難題再到未來(lái)發(fā)展趨勢(shì)，涵蓋諸多領(lǐng)域。在算子開發(fā)與適配方面，學(xué)生們提出的問題得到了專家們細(xì)致且富有前瞻性的解答。關(guān)于自定義算子綁定復(fù)雜、編譯耗時(shí)的問題，專家們表示除了相關(guān)QA文檔資源會(huì)隨商業(yè)版本盡快發(fā)布外，也可直接咨詢?nèi)A為研發(fā)專家加速問題解決。同時(shí)歡迎高校師生將自身解決問題的過程發(fā)布為案例教程，這些無(wú)疑為學(xué)生們后續(xù)的開發(fā)工作提供了有力支持。對(duì)于開源編譯器支持的疑問，專家們?cè)敿?xì)介紹了相關(guān)接口的開源情況以及正在推進(jìn)的研發(fā)工作，讓學(xué)生們了解到未來(lái)算子開發(fā)將更加簡(jiǎn)化，這極大地激發(fā)了學(xué)生們探索新技術(shù)的熱情。

硬件性能與生態(tài)建設(shè)也是互動(dòng)的焦點(diǎn)。學(xué)生們關(guān)心的端側(cè)異構(gòu)模型部署問題，專家深入淺出地講解了華為在這方面的布局和技術(shù)優(yōu)勢(shì)。他們提到，華為在端側(cè)NPU和GPU的協(xié)同工作上有著長(zhǎng)遠(yuǎn)的規(guī)劃，并且在泛邊緣或泛端場(chǎng)景下，軟件體系的通用性為開發(fā)者提供了更為廣闊的發(fā)展空間，這讓學(xué)生們認(rèn)識(shí)到華為計(jì)算生態(tài)的潛力，也為他們未來(lái)的研究方向提供了新的思路。

（開放交流環(huán)節(jié) 專家學(xué)者與學(xué)生們互動(dòng)）

本次特訓(xùn)營(yíng)的圓滿舉辦是北京大學(xué)鯤鵬昇騰科教創(chuàng)新卓越中心在AI技術(shù)創(chuàng)新和人才培養(yǎng)方面的一次成功實(shí)踐。北京大學(xué)鯤鵬昇騰科教創(chuàng)新卓越中心自成立以來(lái)，致力于構(gòu)建基于鯤鵬昇騰技術(shù)路線的校級(jí)生態(tài)合作平臺(tái)，圍繞大學(xué)計(jì)算產(chǎn)業(yè)前沿課題研究、課程體系建設(shè)、研究人才培養(yǎng)等方面展開合作，為產(chǎn)業(yè)輸出高質(zhì)量鯤鵬昇騰創(chuàng)新人才，孵化和培育根植中國(guó)的世界級(jí)科研創(chuàng)新成果。未來(lái)，鯤鵬昇騰科教創(chuàng)新卓越中心將繼續(xù)開展一系列針對(duì)高校師生的培訓(xùn)活動(dòng)，幫助他們?cè)诳蒲袆?chuàng)新與技術(shù)應(yīng)用中取得更好的成果，推動(dòng)人工智能技術(shù)的進(jìn)步與產(chǎn)業(yè)的發(fā)展。

崔歡歡