針對無人車檢測算法開發(fā)的數(shù)據(jù)準(zhǔn)備環(huán)節(jié),參賽者首先可以使用無人車上的華為云HiLens Kit攝像頭來采集交通燈、泊車位圖片數(shù)據(jù);然后將采集好的數(shù)據(jù)上傳至OBS桶中,并在ModelArts物體檢測標(biāo)注作業(yè);接下來進(jìn)行少量的人工標(biāo)注后,可以啟動智能標(biāo)注;待智能標(biāo)注完成后再進(jìn)行人工確認(rèn)標(biāo)注結(jié)果,即完成了數(shù)據(jù)的準(zhǔn)備工作。
02 算法開發(fā)
ModelArts集成了所有主流的AI算法框架,包括TensorFlow、PyTorch、MXNet、Caffe等,同時提供友好的算法開發(fā)和調(diào)測環(huán)境Jupyter Notebook,基于以上,AI開發(fā)門檻得以降低,過程得以簡化。
由于本次大賽無人車檢測算法需要在昇騰310芯片運(yùn)行,因此參賽者需基于Caffe框架來開發(fā)交通燈、泊車位的檢測算法。為了讓參賽者快速熟悉ModelArts、熟悉基于Caffe框架的開發(fā),比賽官方提供了基于Caffe使用SSD算法開發(fā)的端到端的基礎(chǔ)示例代碼。參賽者可準(zhǔn)備好數(shù)據(jù)后,直接在示例代碼基礎(chǔ)上進(jìn)行算法的優(yōu)化,這也大大降低了參賽者的開發(fā)門檻。
ModelArts還內(nèi)置了多種預(yù)置算法,可以幫助開發(fā)者快速生成模型。通常,深度學(xué)習(xí)領(lǐng)域需要大規(guī)模的加速計算,這需要大規(guī)模GPU集群進(jìn)行分布式加速。而現(xiàn)有的開源框架需要開發(fā)者編寫大量代碼實現(xiàn)在不同硬件上的分布式訓(xùn)練,而不同框架的加速代碼又都不相同。為了解決這些痛點(diǎn),需要一種輕型的分布式框架或SDK。ModelArts的MoXing構(gòu)建于TensorFlow、MXNet等框架之上,使得這些計算引擎分布式性能更高、易用性更好。
03 模型訓(xùn)練
加速模型訓(xùn)練、簡化調(diào)參難度對于用戶來說是尤為重要的。ModelArts通過級聯(lián)式混合并行技術(shù)等各類優(yōu)化技術(shù),在同樣的模型、數(shù)據(jù)集和同等硬件資源情況下,使得模型訓(xùn)練耗時降低一半,尤其是大規(guī)模集群訓(xùn)練線性加速比達(dá)0.8。同時,ModelArts通過模型自動搜索、遷移學(xué)習(xí)、模型自動選擇、超參自動化等協(xié)同優(yōu)化來實現(xiàn)訓(xùn)練自動化。在深度學(xué)習(xí)模型訓(xùn)練方面,ModelArts將分布式加速層、自動化算法層抽象出來,形成一套通用的框架——MoXing,在自動混合精度訓(xùn)練、動態(tài)超參調(diào)整基數(shù)、模型梯度自動融合拆分等方面都進(jìn)行了優(yōu)化。
在硬件資源方面,ModelArts提供了公共資源池、專屬資源池,CPU、GPU(1*P100、1*P4、8*P100、8*V100等)多種實例規(guī)格。豐富的、大規(guī)模計算資源可滿足用戶各種訓(xùn)練作業(yè)需求。
可以說,無論是在算法優(yōu)化上,還是在硬件資源上,ModelArts都大大幫助了參賽者快速地開發(fā)出無人車檢測算法。
04 模型部署
ModelArts不僅支持云上在線推理、批量推理,還支持將模型部署到邊緣側(cè)和端側(cè),滿足大并發(fā)和分布式等多種場景需求。而本次大賽參賽者就是先在ModelArts平臺上開發(fā)的無人車檢測算法,然后部署到HiLens Kit智能攝像頭上。
05 AI開發(fā)全流程管理
借助ModelArts AI可視化全流程管理工具,參賽者可輕松管理交通燈和泊車位的數(shù)據(jù)集版本、訓(xùn)練版本、模型版本,進(jìn)而提高模型優(yōu)化的效率。
ModelArts支持?jǐn)?shù)據(jù)集、訓(xùn)練、模型版本管理,可實現(xiàn)千萬級的模型、數(shù)據(jù)集以及服務(wù)等對象管理,并且無需人工干預(yù),自動生成溯源圖,選擇任一模型都可以輕松找到對應(yīng)的數(shù)據(jù)集、訓(xùn)練、模型部署。尤其是訓(xùn)練斷點(diǎn)接續(xù)和訓(xùn)練結(jié)果比對,這些實用功能都大大受到AI開發(fā)者的好評。
目前,ModelArts已助力華為自動駕駛平臺,高效管理AI數(shù)據(jù)處理流程,包括采集、篩選、混合標(biāo)注和數(shù)據(jù)溯源,大大縮減了數(shù)據(jù)處理時間;利用分布式集群訓(xùn)練,提升了模型訓(xùn)練效率。40T原始數(shù)據(jù)處理從8000人天縮短到80人天,AI模型開發(fā)周期從數(shù)月縮短到周。
此外,值得一提的是華為云自動駕駛云服務(wù)Octopus也正是基于ModelArts,圍繞數(shù)據(jù)和模型,提供端到端的自動駕駛業(yè)務(wù),包括數(shù)據(jù)集、標(biāo)注、算法、訓(xùn)練、模型。可以預(yù)見,隨著自動駕駛領(lǐng)域的發(fā)展,華為云ModelArts將助力推動汽車產(chǎn)業(yè)智能發(fā)展。
現(xiàn)在,華為云雙十一上云普惠季正在火熱進(jìn)行中,四大促銷專場已開放,優(yōu)惠多多,快來華為云官網(wǎng)選購吧!
