在COVID-19智能檢測系統(tǒng)開發(fā)的初期,多種音頻文件格式以及不同深度學(xué)習(xí)平臺的交叉使用一度成為限制算法開發(fā)速度的瓶頸。經(jīng)過團(tuán)隊(duì)不懈努力,Occam平臺成功將處理時(shí)間從一周壓縮到一天以內(nèi),實(shí)現(xiàn)了倍數(shù)級飛躍。 Occam平臺秉承簡約高效的原則,為用戶提供了從數(shù)據(jù)處理、算法開發(fā)、模型訓(xùn)練、模型優(yōu)化再到模型推理的全周期AI工作流,提供包含數(shù)據(jù)標(biāo)注、數(shù)據(jù)增強(qiáng)、多元模型自動(dòng)搜索、超參優(yōu)化、模型自動(dòng)壓縮等多種特色服務(wù),支持圖像分類、圖像檢測、語音識別、文本分類等豐富的AI應(yīng)用場景。

與此同時(shí),Occam平臺從環(huán)境鏡像、預(yù)訓(xùn)練模型、GPU算力等多個(gè)角度提供了全面的資源支持,讓使用者體驗(yàn)飛一般的感覺。在本次科研中,Occam平臺結(jié)合Tensorflow,Pytorch,Sklearn等深度學(xué)習(xí)框架,并與sox,ffmpeg等多媒體處理工具相結(jié)合,在極短的時(shí)間內(nèi)處理了wav,MP3,flac,ape等多種格式的音頻文件,并從中提取到更合理的特征信息。Occam平臺提供多個(gè)任務(wù)的公開數(shù)據(jù)集以及對應(yīng)的先進(jìn)SOTA標(biāo)準(zhǔn),使用者可以快速與SOTA標(biāo)準(zhǔn)對比,從而更快地改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu),在已有任務(wù)基礎(chǔ)上進(jìn)行向上更新的方向探索。例如,在本次科研中,利用咳嗽聲檢測COVID-19是一個(gè)全新的任務(wù),我們從已有的知識出發(fā),利用多個(gè)已知任務(wù)(情感識別、語音事件分類等)的SOTA模型進(jìn)行驗(yàn)證,并從中發(fā)現(xiàn)諸如數(shù)據(jù)量較少的問題所在,接著使用Few-shot Learning的模型用來驗(yàn)證猜想。這其中展現(xiàn)了以微服務(wù)架構(gòu)為基礎(chǔ)的Occam平臺的智慧結(jié)晶。訓(xùn)練過程中,平臺擁有的上百個(gè)節(jié)點(diǎn)的GPU服務(wù)器集群為模型訓(xùn)練提供強(qiáng)大的算力支持,大幅度減少了算法開發(fā)時(shí)間。

圖 2 Occam平臺端到端一站式AI開發(fā)流程

2.“訓(xùn)練開始了嗎?”已經(jīng)出結(jié)果了。

訓(xùn)練速度慢,多機(jī)多卡無法線性加速始終是限制算法開發(fā)速度的重要因素,也是本次科研項(xiàng)目進(jìn)展過程中的另一大阻力。為了提升研發(fā)人員的工作效率,Occam平臺專注創(chuàng)新,突破性的開發(fā)出多項(xiàng)核心自研技術(shù),例如Occam平臺自主研發(fā)的AutoDL分布式深度學(xué)習(xí)框架,通過分級分布式并行體系架構(gòu),大大提升了模型訓(xùn)練速度。在本次科研工作中,COVID-19智能檢測模型借助Occam平臺的分級分布式并行體系架構(gòu),在4機(jī)16卡的訓(xùn)練中實(shí)現(xiàn)了超越一般分布式訓(xùn)練框架的線性加速,模型訓(xùn)練時(shí)間大幅縮短了87%。同時(shí),Occam平臺涵蓋了各種先進(jìn)的神經(jīng)架構(gòu)搜索算法,使用者可以根據(jù)自身需要在自定義的搜索空間中,利用強(qiáng)化學(xué)習(xí),貝葉斯等方法在最快的時(shí)間內(nèi)獲得最優(yōu)參數(shù)。此外,實(shí)際的平臺應(yīng)用中,Occam團(tuán)隊(duì)針對算法落地時(shí)產(chǎn)生的問題,進(jìn)行了大量的優(yōu)化工作,包括容器化、并行運(yùn)算、分布式存儲等,例如根據(jù)數(shù)據(jù)訪問熱度和數(shù)據(jù)流特點(diǎn)設(shè)計(jì)了數(shù)據(jù)均衡算法,有效地將壓力分配給多個(gè)備用服務(wù)器。

3、浪潮之巔:Occam平臺獲得多項(xiàng)世界第一

在過去的一年里,Occam平臺榮譽(yù)滿滿。從PASCAL VOC目標(biāo)檢測冠軍到斯坦福DAWNBench推理競賽冠軍,從WMT2019國際翻譯大賽冠軍到COCO-Text比賽冠軍,憑借過硬的技術(shù)實(shí)力,Occam平臺已經(jīng)斬獲7個(gè)國際競賽總冠軍,24篇國際學(xué)術(shù)會議論文,446項(xiàng)專利,并且榮膺8項(xiàng)金融科技獎(jiǎng)項(xiàng),猶如一顆深水炸彈引爆人工智能領(lǐng)域,全面助力產(chǎn)業(yè)發(fā)展。

平安科技聯(lián)邦學(xué)習(xí)團(tuán)隊(duì)與Occam平臺一直致力于降低AI開發(fā)的準(zhǔn)入門檻,擁抱人工智能大潮,推動(dòng)各行各業(yè)與人工智能的結(jié)合,通過為不同層級、不同需求的用戶提供個(gè)性化的定制服務(wù),實(shí)現(xiàn)真正的AI價(jià)值。例如在本次疫情中,合理使用AI技術(shù),防控疫情,盡快讓各行各業(yè)在有效防控下復(fù)工復(fù)產(chǎn),這才是AI技術(shù)真正地價(jià)值體現(xiàn)和根本目的。

領(lǐng)先團(tuán)隊(duì)錘煉打造,Occam平臺劍指AI領(lǐng)域新突破

平安科技聯(lián)邦學(xué)習(xí)技術(shù)部AutoML項(xiàng)目組,由平安集團(tuán)首席科學(xué)家肖京博士指導(dǎo),平安科技副總工程師王健宗博士帶領(lǐng),匯集了來自國內(nèi)外高等院校畢業(yè)的碩博人才,致力于推動(dòng)自動(dòng)化機(jī)器學(xué)習(xí)領(lǐng)域的生態(tài)發(fā)展。團(tuán)隊(duì)將行業(yè)應(yīng)用與前沿AI技術(shù)進(jìn)行深度、自動(dòng)化融合,打破傳統(tǒng)AI訓(xùn)練存在的“模型差”、“調(diào)參難”、“訓(xùn)練慢”等技術(shù)難點(diǎn),一鍵開啟人工智能訓(xùn)練便捷新時(shí)代。作為人工智能領(lǐng)域的前沿探索者,AutoML團(tuán)隊(duì)在構(gòu)建專業(yè)AI新未來的目標(biāo)指導(dǎo)下深耕自動(dòng)化機(jī)器學(xué)習(xí)領(lǐng)域多年,不斷挖掘人工智能高效自主賦能金融科技等領(lǐng)域的全流程解決方案,突破人工智能邊界,用更先進(jìn)、更科學(xué)的技術(shù)助力實(shí)業(yè)發(fā)展,為各領(lǐng)域的發(fā)展創(chuàng)造更大的價(jià)值。

songjy