其中,“發(fā)布”是一個很重要的概念。在EasyData中,數(shù)據(jù)集可以有兩個狀態(tài):已發(fā)布與未發(fā)布。數(shù)據(jù)一旦發(fā)布,其屬性將不可變,用戶不能對該版本的數(shù)據(jù)進行增刪改操作。這一動作可以幫助模型進行復現(xiàn),使用同一個已發(fā)布的數(shù)據(jù)版本,總能訓練出效果相對一致的模型。發(fā)布的版本保障了數(shù)據(jù)的穩(wěn)定性,同時也為用戶的數(shù)據(jù)回滾提供了便利。用戶也可以通過繼承發(fā)布的版本來生成新的數(shù)據(jù)集,倘若因為錯誤操作,誤刪了很多實例樣本,這時完全不用為刪除的實例樣本捶胸頓足,因為EasyData依然支持從發(fā)布版本中重新導入數(shù)據(jù)。與發(fā)布版本對應的是未發(fā)布版本,這一版本允許用戶對其進行各種修改,可以靈活地處理數(shù)據(jù),進行標注、清洗等操作。

圖片2.png
圖片3.png

數(shù)據(jù)集的發(fā)布與否,用戶可以根據(jù)自己的需求自行選擇。如果用戶希望能夠固化自己的數(shù)據(jù)集,通過已經固定的數(shù)據(jù)集獲得穩(wěn)定的訓練模型,可以選擇將數(shù)據(jù)集進行發(fā)布,此后不能對數(shù)據(jù)集進行更改。而如果用戶希望能夠不斷對現(xiàn)有數(shù)據(jù)集進行增添、刪除,或對數(shù)據(jù)進行標注、清洗等行為來達到優(yōu)化模型效果的目的,可以選擇使用未發(fā)布版本訓練模型。已發(fā)布與未發(fā)布的數(shù)據(jù)集,也都支持直接通過【去訓練】按鈕進入EasyDL平臺進行模型訓練,也均可通過EasyDL進行查看。

模型版本管理

在結束數(shù)據(jù)的管理之后,用戶可以通過EasyData中的“去訓練”按鈕跳轉到EasyDL進入模型訓練等步驟。

圖片4.png

在缺乏模型版本管理的開發(fā)流程中,任何版本相關的問題都會拖垮開發(fā)效率:算法工程師往往難以追溯歷史模型網絡結構與對應的訓練代碼和模型超參,陷入模型效果難以復現(xiàn)的尷尬境地;在特定版本模型與特定版本預測代碼引發(fā)模型推理失敗時,原因定位和排查極為困難;此外,當一個模型在多個系統(tǒng)和平臺流轉時,難以統(tǒng)一模型版本容易導致冗余的模型存儲和嚴重的業(yè)務模塊耦合。

圖片5.png

針對以上提到的問題,EasyDL模型版本管理能夠做到對模型迭代流程生命周期的一站式、全覆蓋追蹤,包括模型的效果優(yōu)化、蒸餾、量化、剪枝等各類迭代變更歷史。EasyDL對模型迭代版本統(tǒng)一管理,以可拔插的方式支持百度智能云BOS對象存儲、HDFS等多種存儲系統(tǒng);跟蹤模型生命周期的資源和元數(shù)據(jù),方便模型溯源和效果復現(xiàn);支持模型、數(shù)據(jù)、代碼的關聯(lián)關系維護,并允許自定義模型元數(shù)據(jù)信息;支持自動識別并可視化模型網絡結構,能夠有效降低算法開發(fā)成本。

代碼版本管理

對于有一定深度學習基礎,希望對模型進行代碼級修改的用戶,在缺乏代碼版本管理的開發(fā)流程中,代碼版本相關的問題同樣嚴重影響開發(fā)效率:訓練代碼需要用戶手動從外部導入,或選擇平臺有限的幾份預置代碼,靈活度不夠;代碼的改動沒有版本控制,用戶無法對代碼進行回溯、比對,從而無法記錄代碼的改動對模型訓練效果的影響。

圖片6.png

  EasyDL代碼版本管理支持用戶級的訓練代碼模板的發(fā)布、獲取、篩選等操作,方便用戶快速匹配到所需的訓練代碼并導入;在開發(fā)過程中,用戶每一次的代碼提交會生成一個代碼版本,記錄了此次代碼提交所做的修改,后續(xù)能夠查詢用戶在對應項目下的代碼歷史提交記錄,并可以對代碼進行回溯、比對;可以將特定版本的代碼關聯(lián)到特定版本的數(shù)據(jù)與模型,幫助開發(fā)者提升開發(fā)與部署效率。

  EasyDL代碼版本管理的內部存儲分別對接了GitHub、GitLab等主流代碼倉庫及公司內部的Icode,用戶無需登錄上述代碼倉庫,即可直接在平臺上對上述倉庫中的代碼進行操作;對于無需對接上述代碼倉庫的用戶,支持以DB的方式為用戶建立平臺內部代碼庫存儲,靈活度較高。

  在模型開發(fā)的全流程中,無論是數(shù)據(jù)準備、模型迭代、代碼修改,用戶會從多個角度對模型進行調整,以獲得更優(yōu)秀的模型效果。使用EasyDL平臺的開發(fā)者可以對于不同環(huán)節(jié)中產生的多個數(shù)據(jù)集、模型與代碼版本,通過進行精細化的管理,簡便地進行回溯比對與錯誤定位。靈活高效進行業(yè)務AI模型的定制與開發(fā),快速解決業(yè)務問題。

  立刻嘗試EasyDL:https://ai.baidu.com/easydl/

分享到

zhangnn

相關推薦