該評選為攻堅(jiān)算力領(lǐng)域中的熱點(diǎn)、難點(diǎn)和關(guān)鍵問題設(shè)立,秉承“開創(chuàng)性、引領(lǐng)性、權(quán)威性、公平性”原則,旨在發(fā)掘在算力或相關(guān)產(chǎn)業(yè)達(dá)到全球領(lǐng)先水平的基礎(chǔ)理論、創(chuàng)新方法、方法模式和平臺應(yīng)用的創(chuàng)新成果。評審委員會(huì)由中國科學(xué)院院士、中國工程院院士、知名高校及科研機(jī)構(gòu)專家、領(lǐng)軍企業(yè)技術(shù)帶頭人組成,集聚中國算力相關(guān)領(lǐng)域最具影響力的專家學(xué)者。
“PAI靈駿智算服務(wù)”是阿里云面向高速增長的AI計(jì)算需求打造的算力基礎(chǔ)設(shè)施服務(wù),可一站式為企業(yè)及開發(fā)者提供AI開發(fā)全流程的工程平臺和智能算力。它具有超大并行計(jì)算規(guī)模、高性能、高效率、高利用率等特點(diǎn),具備高達(dá)10萬卡量級的集群可擴(kuò)展規(guī)模,能支撐多個(gè)萬億參數(shù)大模型同時(shí)訓(xùn)練,其中單訓(xùn)練任務(wù)可達(dá)萬卡規(guī)模,千卡規(guī)模的線性擴(kuò)展效率達(dá)92%。
在此前實(shí)踐錘煉中,PAI靈駿智算服務(wù)穩(wěn)定支撐了10萬億參數(shù)多模態(tài)大模型的低能耗訓(xùn)練,在通義千問等大模型的訓(xùn)練和應(yīng)用中,將大模型訓(xùn)練效率顯著提高近 10 倍,推理效率提升2倍以上。
該評選認(rèn)為,阿里云PAI靈駿智算服務(wù)“以高性能網(wǎng)絡(luò)、高性能文件存儲、高穩(wěn)定性、極致軟硬件聯(lián)合優(yōu)化能力和serverless化服務(wù)能力,為大模型研究、AI for Science、AIGC等場景提供堅(jiān)實(shí)支撐”。
PAI靈駿智算服務(wù)在多個(gè)核心技術(shù)領(lǐng)域具備領(lǐng)先性和創(chuàng)新性。動(dòng)輒上千億參數(shù)的大模型訓(xùn)練,并非靠簡單“堆顯卡”就能完成,而是囊括底層算力、網(wǎng)絡(luò)、存儲、數(shù)據(jù)計(jì)算、AI框架等復(fù)雜技術(shù)的系統(tǒng)性工程。除了要通過精巧的設(shè)計(jì)實(shí)現(xiàn)超大計(jì)算工程落地外,還要做到“又快又省”,“榨干每一滴算力性能”。
在IaaS基礎(chǔ)設(shè)施層,阿里云打造了智能計(jì)算集群靈駿,通過端網(wǎng)一體、軟硬融合的可預(yù)期網(wǎng)絡(luò)技術(shù)對集群計(jì)算資源進(jìn)行統(tǒng)籌和優(yōu)化,實(shí)現(xiàn)芯片間微秒級穩(wěn)定互聯(lián)和高效并行計(jì)算。相關(guān)技術(shù)創(chuàng)新大幅消除了AI算力拓展性瓶頸,靈駿集群規(guī)模最大可拓展至“10萬卡級”,能為大模型的開發(fā)和應(yīng)用提供靈活多尺度的智能算力,對上層平臺應(yīng)用提供便捷的容器化服務(wù)。
在PaaS平臺服務(wù)層,阿里云機(jī)器學(xué)習(xí)平臺PAI可對龐大訓(xùn)練任務(wù)進(jìn)行自動(dòng)分拆和分配,通過硬件、網(wǎng)絡(luò)、框架一體化協(xié)同調(diào)度能力,提供速度最快、算力最省的高性能分布式訓(xùn)練方案。同時(shí),PAI配置了自動(dòng)容錯(cuò)訓(xùn)練框架AIMaster,在大語言模型動(dòng)輒數(shù)周、數(shù)月的訓(xùn)練周期中,提供極致的穩(wěn)定性保障,減少人工介入成本,可將大模型訓(xùn)練時(shí)間縮短10倍。此外,PAI提供簡單易用的RLHF強(qiáng)化學(xué)習(xí)框架,能大幅提升大語言模型效果表現(xiàn)。
PAI靈駿智算服務(wù)還推出了國內(nèi)首個(gè)serverless化智算服務(wù)模式,提供一鍵開通、按需分配、極簡運(yùn)維的用戶體驗(yàn),支持AI計(jì)算資源靈活復(fù)用,可大幅提升集群利用率,降低客戶的使用成本。
據(jù)了解,阿里云PAI靈駿智算服務(wù)已被眾多企業(yè)及科研單位應(yīng)用。阿里云與小鵬汽車合建的智算中心“扶搖”成為國內(nèi)最大的自動(dòng)駕駛智算中心,將小鵬汽車自動(dòng)駕駛模型訓(xùn)練速度提升170倍以上。阿里云與復(fù)旦大學(xué)共同打造的云上智算平臺CFFF,近期發(fā)布了45億參數(shù)量的中短期天氣預(yù)報(bào)大模型,將預(yù)測速度從原來的小時(shí)級縮短到了3秒內(nèi)。