北京大學(xué)計算與數(shù)字經(jīng)濟(jì)研究院算力網(wǎng)絡(luò)研究中心主任樊春應(yīng)邀參加本次大會第七屆高校高性能計算平臺應(yīng)用交流論壇并作《北京大學(xué)高性能計算系統(tǒng)軟件》主題演講。報告分析了目前我國算力中心在使用和管理中存在的痛點(diǎn),并提出了相應(yīng)的解決方案。會上,由樊春團(tuán)隊(duì)自主研制的開源算力中心門戶和管理平臺——SCOW(Super Computing On Web)首次公開亮相。
當(dāng)前,全球迎來新一輪科技革命和產(chǎn)業(yè)變革浪潮,算力已成為國家核心競爭力的體現(xiàn),全球主要國家和地區(qū)對于構(gòu)建和發(fā)展算力網(wǎng)絡(luò)已達(dá)成共識,并紛紛加快戰(zhàn)略布局進(jìn)程。我國“東數(shù)西算”工程的全面啟動,為全國一體化算力網(wǎng)絡(luò)建設(shè)按下了加速鍵,但同時我們?nèi)悦媾R算力中心管理運(yùn)營難、算力資源使用門檻高、算力系統(tǒng)運(yùn)維部署復(fù)雜等痛點(diǎn)。
北京大學(xué)計算與數(shù)字經(jīng)濟(jì)研究院自落戶長沙以來,緊隨時代步伐,聚焦國家戰(zhàn)略需求,成立了算力網(wǎng)絡(luò)研究中心。中心團(tuán)隊(duì)多年深入一線運(yùn)營,深刻理解用戶需求,積累了豐富的算力中心平臺運(yùn)行維護(hù)經(jīng)驗(yàn),具備先進(jìn)的互聯(lián)網(wǎng)系統(tǒng)開發(fā)技術(shù);通過十余年的研發(fā),成功打造了開源的算力中心門戶和管理平臺——SCOW。該平臺系統(tǒng)通過簡化集群軟件部署流程、統(tǒng)一平臺管理模式、提供圖形化操作界面、降低用戶使用門檻,實(shí)現(xiàn)算力中心資源易管理、易使用的目標(biāo),提高算力資源使用效率。截至目前,SCOW已完成了在北京大學(xué)超算平臺、國家天文臺超算平臺、中南大學(xué)超算平臺、中科院高能物理所超算平臺、香儂云超算平臺等多個平臺的部署。
在使用上,SCOW系統(tǒng)大幅降低算力中心用戶的使用門檻。用戶無需了解和配置SSH、VNC 等功能,便可通過SCOW的門戶平臺直接在瀏覽器上使用集群算力資源,讓Linux小白用戶也能順利提交作業(yè)。
在管理上,SCOW的管理平臺提供了一套標(biāo)準(zhǔn)化的算力中心管理模式以及用戶賬戶模型(租戶-賬戶-用戶三級模型)和計費(fèi)收費(fèi)模型,并且支持多集群管理,可以在一個系統(tǒng)內(nèi)管理算力中心的多個集群,能夠幫助新建的算力中心快速建立管理和運(yùn)營制度。
在部署上, SCOW提供了簡易的部署功能,項(xiàng)目具備了包括調(diào)度系統(tǒng)、認(rèn)證系統(tǒng)、共享存儲在內(nèi)的一體化部署能力,可以快速在新建的集群中部署上線。部署幾乎無侵入,可與其他管理平臺共存。
SCOW實(shí)現(xiàn)的一套標(biāo)準(zhǔn)的平臺接口,為實(shí)現(xiàn)跨中心的算力融合打下了基礎(chǔ)。團(tuán)隊(duì)正在SCOW實(shí)現(xiàn)的異構(gòu)平臺統(tǒng)一抽象基礎(chǔ)上,進(jìn)行一體化算力網(wǎng)絡(luò)融合平臺的研制,旨在打通算力網(wǎng)絡(luò)中各算力中心的管理、使用、結(jié)算通道,連通算力孤島,實(shí)現(xiàn)算力靈活接入、統(tǒng)一調(diào)度;解決多應(yīng)用靈活接入,復(fù)雜網(wǎng)絡(luò)環(huán)境下低延遲高性能應(yīng)用可視化技術(shù),多中心多集群文件傳輸與管理,算力中心的標(biāo)準(zhǔn)化運(yùn)營管理,多中心統(tǒng)一結(jié)算等問題。
在2022年11月26日召開的數(shù)字生態(tài)指數(shù)2022發(fā)布會上,北京大學(xué)計算與數(shù)字經(jīng)濟(jì)研究院聯(lián)合湖南省內(nèi)多家機(jī)構(gòu)成立了“湖南算力網(wǎng)絡(luò)融合協(xié)同創(chuàng)新平臺”,共同促進(jìn)一體化新型算力網(wǎng)絡(luò)體系建設(shè)。本次SCOW系統(tǒng)的發(fā)布,也標(biāo)志著創(chuàng)新平臺的工作正式啟航。接下來研究院將在國內(nèi)高校、科研機(jī)構(gòu)、國家超算、商業(yè)集群中做好SCOW的推廣部署工作,并繼續(xù)研發(fā)面向算力網(wǎng)絡(luò)的新產(chǎn)品,為優(yōu)化我國算力資源使用效率、促進(jìn)算力網(wǎng)絡(luò)體系建設(shè)貢獻(xiàn)力量。