浪潮AI服務(wù)器NF5488M5

人工智能正在由“能看、會(huì)聽”的感知智能向“能讀、會(huì)寫”的認(rèn)知智能邁進(jìn)。由于文字是信息、思想的重要載體，如果計(jì)算機(jī)能夠理解文字并能夠用文字表達(dá)，那么就具備了讀寫能力，因而NLP被認(rèn)為是認(rèn)知智能的重要突破口。目前主流的NLP模型包括Transformer, Bert, GPT, XLNet等，而Bert和GPT都基于Transformer架構(gòu)。Transformer被視為是NLP的經(jīng)典模型，2017年由谷歌提出，其利用自注意力（self-attention）機(jī)制實(shí)現(xiàn)快速并行，并且可以增加到非常深的深度，充分發(fā)掘DNN模型的特性，提升模型準(zhǔn)確率。

但是Transformer模型訓(xùn)練是一大難題，因?yàn)槠鋮?shù)規(guī)模達(dá)到數(shù)億，對(duì)計(jì)算力的需求很大。OpenAI的Transformer模型有12層、768個(gè)隱藏單元，使用8塊P100 GPU在8億詞量的數(shù)據(jù)集上訓(xùn)練40個(gè)Epoch需要一個(gè)月。背后的原因很大程度上在于GPU通信制約。Transformer Attention機(jī)制的全連接層計(jì)算時(shí)會(huì)產(chǎn)生海量參數(shù)，而更新參數(shù)梯度需要GPU間高速傳輸。同時(shí)，模型規(guī)模很大導(dǎo)致占用大量GPU顯存，而batchsize通常都很小，導(dǎo)致每次計(jì)算的時(shí)間較快，計(jì)算后更新參數(shù)梯度頻繁，這也進(jìn)一步要求更高的GPU間傳輸速度。

浪潮AI服務(wù)器NF5488M5 通過無阻塞的GPU全互連設(shè)計(jì)，突破性地實(shí)現(xiàn)了All to All 300GB/s的Peer to Peer帶寬。在當(dāng)前深度學(xué)習(xí)通信模型All Reduce性能表現(xiàn)上，NF5488M5的實(shí)際通信帶寬可以達(dá)到采用常規(guī)NVLink互聯(lián)的GPU服務(wù)器的3倍以上。正是這種特性，大大提升了Transformer模型在NF5488M5上的通信效率，從而加大了計(jì)算通信比，節(jié)約了整體運(yùn)行時(shí)間。測(cè)試結(jié)果表明，NF5488M5大幅提升了Transformer訓(xùn)練性能，GLUE基準(zhǔn)訓(xùn)練至80.4%的時(shí)間比采用PCIe互聯(lián)的8GPU服務(wù)器縮短67%，比采用常規(guī)NVLink互聯(lián)的8GPU服務(wù)器縮短31%。

Transformer訓(xùn)練性能測(cè)試結(jié)果

浪潮集團(tuán)AI&HPC總經(jīng)理劉軍認(rèn)為，當(dāng)前基于Transformer的Bert, XLNet等模型代表了NLP的發(fā)展方向，而它們的特點(diǎn)就是加速器間通信制約。測(cè)試結(jié)果充分表明浪潮AI服務(wù)器NF5488M5在GPU間通信效率上具有顯著領(lǐng)先優(yōu)勢(shì)，能夠大幅提升Transformer等大型AI工作負(fù)載的訓(xùn)練性能，降低訓(xùn)練成本，加速認(rèn)知智能研發(fā)和應(yīng)用落地。

浪潮是人工智能計(jì)算的領(lǐng)導(dǎo)品牌，AI服務(wù)器中國市場(chǎng)份額保持50%以上，并與人工智能領(lǐng)先科技公司保持在系統(tǒng)與應(yīng)用方面的深入緊密合作，幫助AI客戶在語音、語義、圖像、視頻、搜索、網(wǎng)絡(luò)等方面取得數(shù)量級(jí)的應(yīng)用性能提升。浪潮與合作伙伴共建元腦生態(tài)，共享AI計(jì)算、資源與算法三大核心平臺(tái)能力，助力行業(yè)用戶開發(fā)并部署屬于自己的“行業(yè)大腦”，加速推進(jìn)產(chǎn)業(yè)AI化落地。

zhangnn