近年來，超大規(guī)模預(yù)訓(xùn)練模型成為深度學(xué)習(xí)領(lǐng)域的熱點話題。從原來的“算法為王”逐漸過渡到“算力致勝”，以GPT為代表的一大批超大規(guī)模預(yù)訓(xùn)練模型接連問世，讓業(yè)界看到了人工智能產(chǎn)業(yè)應(yīng)用的更多可能性。
算力需求的旺盛不光對AI芯片等硬件帶來了挑戰(zhàn)，也對以深度學(xué)習(xí)框架為代表的AI基礎(chǔ)軟件提出了更高的要求。傳統(tǒng)的深度學(xué)習(xí)框架以“單機單卡”為基礎(chǔ)進行軟件架構(gòu)設(shè)計，在面對分布式訓(xùn)練需求時就會遇到諸如“內(nèi)存墻”之類的問題。而一流科技與之江實驗室共同研發(fā)的OneFlow新一代分布式深度學(xué)習(xí)框架則瞄準了這個世界級難題。OneFlow深度學(xué)習(xí)框架是面向大數(shù)據(jù)大模型大計算打造的人工智能計算框架，也是專為深度學(xué)習(xí)打造的異構(gòu)分布式流式系統(tǒng)，代表了深度學(xué)習(xí)框架的發(fā)展方向，是新一代的深度學(xué)習(xí)基礎(chǔ)軟件。OneFlow獨創(chuàng)了自動數(shù)據(jù)模型混合并行、靜態(tài)調(diào)度、去中心化和全鏈路異步流式執(zhí)行四大核心技術(shù)，完美地解決了大數(shù)據(jù)、大模型、大計算所帶來的異構(gòu)集群分布式擴展挑戰(zhàn)，技術(shù)水平世界領(lǐng)先。
在本次論壇上，袁進輝博士也向大家介紹了一流科技與燧原科技、之江實驗室的最新合作進展。目前，OneFlow深度學(xué)習(xí)框架正在和燧原科技的新款A(yù)I芯片進行適配，部分主流模型已經(jīng)可以在該環(huán)境下運行。據(jù)悉，該解決方案的目標是提供全國產(chǎn)化的超大規(guī)模模型訓(xùn)練能力。
