999国产精品,综合图片亚洲网友自拍,国产精品18久久久

飛槳開源框架2.0 API參考文檔：

https://www.paddlepaddle.org.cn/documentation/docs/zh/api/index_cn.html

使用飛槳框架2.0更高效地訓(xùn)練AI模型

訓(xùn)練更大規(guī)模的模型

眾所周知，飛槳框架的英文名Paddle便是并行分布式訓(xùn)練學(xué)習(xí)的縮寫，分布式可以說是飛槳與生俱來的特性。飛槳支持包括數(shù)據(jù)并行、模型并行、流水線并行在內(nèi)的廣泛并行模式和多種加速策略。在飛槳框架2.0版本中，新增支持了混合并行模式，即數(shù)據(jù)并行、模型并行、流水線并行這三種并行模式可以相互組合使用，更高效地將模型的各網(wǎng)絡(luò)層甚至某一層的參數(shù)切分到多張GPU卡上進(jìn)行訓(xùn)練，從而實現(xiàn)支持訓(xùn)練千億參數(shù)規(guī)模的模型。

業(yè)內(nèi)首個通用異構(gòu)參數(shù)服務(wù)器架構(gòu)

飛槳框架2.0推出了業(yè)內(nèi)首個通用異構(gòu)參數(shù)服務(wù)器技術(shù)，解除了傳統(tǒng)參數(shù)服務(wù)器模式必須嚴(yán)格使用同一種硬件型號Trainer節(jié)點的枷鎖，使訓(xùn)練任務(wù)對硬件型號不敏感，即可以同時使用不同的硬件進(jìn)行混合異構(gòu)訓(xùn)練，如CPU、GPU(也包括例如V100、P40、K40的混合)、AI專用加速硬件如昆侖芯片等，同時解決了搜索推薦領(lǐng)域大規(guī)模稀疏特征模型訓(xùn)練場景下，IO占比過高導(dǎo)致的計算資源利用率過低的問題。通過異構(gòu)參數(shù)服務(wù)器架構(gòu)，用戶可以在硬件異構(gòu)集群中部署分布式訓(xùn)練任務(wù)，實現(xiàn)對不同算力的芯片高效利用，為用戶提供更高吞吐，更低資源消耗的訓(xùn)練能力。

　　圖異構(gòu)參數(shù)服務(wù)器架構(gòu)示意圖

　　通用異構(gòu)參數(shù)服務(wù)器架構(gòu)之所以被稱之為通用，主要在于其兼容支持三種訓(xùn)練模式：

　　1、可兼容全部由CPU機(jī)器組成的傳統(tǒng)參數(shù)服務(wù)器架構(gòu)所支持的訓(xùn)練任務(wù)。

　　2、可兼容全部由GPU或其他AI加速芯片對應(yīng)機(jī)器組成的參數(shù)服務(wù)器，充分利用機(jī)器內(nèi)部的異構(gòu)設(shè)備。

　　3、支持通過CPU機(jī)器和GPU或其他AI加速芯片對應(yīng)機(jī)器的混布，組成機(jī)器間異構(gòu)參數(shù)服務(wù)器架構(gòu)。

　　異構(gòu)參數(shù)服務(wù)器擁有非常高的性價比，如下圖所示，僅用兩個CPU機(jī)器加兩個GPU機(jī)器就可以達(dá)到與4個GPU機(jī)器相仿的訓(xùn)練速度，而成本至少可以節(jié)約35%。

　　分布式訓(xùn)練教程：

https://fleet-x.readthedocs.io/en/latest/paddle_fleet_rst/distributed_introduction.html

使用飛槳框架2.0更廣泛地部署AI模型到各種硬件

全面深度適配各種人工智能硬件

AI產(chǎn)業(yè)的廣泛應(yīng)用離不開各種各樣的人工智能硬件的繁榮，飛槳可以說深諳其道，持續(xù)努力打造繁榮的硬件生態(tài)。當(dāng)前包括英特爾、英偉達(dá)、ARM等諸多芯片廠商紛紛開展對飛槳的支持。飛槳還跟飛騰、海光、鯤鵬、龍芯、申威等CPU進(jìn)行深入適配，并結(jié)合麒麟、統(tǒng)信、普華操作系統(tǒng)，以及百度昆侖、海光DCU、寒武紀(jì)、比特大陸、瑞芯微、高通、英偉達(dá)等AI芯片深度融合，與浪潮、中科曙光等服務(wù)器廠商合作形成軟硬一體的全棧AI基礎(chǔ)設(shè)施。當(dāng)前飛槳已經(jīng)適配和正在適配的芯片或IP型號達(dá)到29種，處于業(yè)界領(lǐng)先地位。