在功能方面，TePDist分為兩個部分。一是在HLO IR上進行SPMD（Data Parallel和Sharding）和Pipeline并行的策略搜索。并以此構建編譯基于Task Graph的執(zhí)行計劃。二是高效運行執(zhí)行計劃的分布式執(zhí)行引擎。同時，TePDist提供了不同優(yōu)化級別，高優(yōu)化級別更加追求分布式策略質量，低優(yōu)化級別會額外采取一些Heuristic，以較為微小策略質量犧牲，換取更快地搜索時間，以此滿足落地需求。
性能上，TePDist通過在GPT和MoE模型上SPMD+Pipeline混合策略的模型擴展性實驗，TePDist能夠使GPT和MoE分別達到峰值能力的62%和58%。同時，在自動化方面的通用性上，TePDist也通過了VGG-19，DNABert和UNet等模型實驗驗證。
一直以來，大模型在模型效果上被證明具有顯著優(yōu)勢。而ChatGPT的出現(xiàn)，證明了其在工業(yè)生產工具方面具有巨大潛力。阿里云機器學習平臺PAI也宣布將TePDist開源，與AI開發(fā)者共同打造更快更好的自動分布式系統(tǒng)，全面助力AI大模型發(fā)展！
開源地址：https://github.com/alibaba/TePDist
開源釘群：
