(注:以 2023年4月23日 PAI-EAS 公共資源組搶占型實例價格進行示例,機型為8vCPU+30GB+1*A10)
2. PAI-EAS 搶占型實例適用場景
PAI-EAS 搶占型實例(Spot Instance)適用于對價格非常敏感、但對推理服務(wù)實時性及穩(wěn)定性相對不敏感的場景,如:
● AIGC內(nèi)容生成的異步推理場景
● 圖像識別、OCR等批量后處理的圖像分析
● 視頻分割、視頻分類等批量后處理的視頻分析
● 語音分割、語音轉(zhuǎn)文字等異步推理或批量推理的的語音分析
● Stable Diffusion等AI繪畫的異步批量處理場景
當用戶不需要實時拿到推理返回的結(jié)果,而是可以接受一段時間(例如1小時內(nèi))的延遲,這些情況就適合采用搶占型實例優(yōu)化服務(wù)成本。
在實際業(yè)務(wù)場景中,您可以先購買一定量的預付費資源作為保底資源,保障服務(wù)可以順利運行;而對于彈性部分,可以根據(jù)業(yè)務(wù)場景搭配使用不同機型的搶占型實例,并通過 PAI-EAS 提供的自動彈性伸縮功能來自動擴縮搶占型實例,當因價格原因無法通過搶占型實例擴容時,PAI-EAS 也提供多規(guī)格實例選擇讓用戶使用普通按量付費實例進行擴容,從而以較低的組合成本保障服務(wù)穩(wěn)定運行。
3. 如何配置使用 PAI-EAS 搶占型實例
(1) 進入 PAI-EAS 控制臺,點擊“部署服務(wù)”,進入詳細配置界面;
(2) 在 “資源部署信息”區(qū)塊,“資源組種類”勾選“公共資源組”,“資源配置方法”切換至“高級資源配置”,即可配置模型服務(wù)部署的搶占型實例資源(spot instance);
(3) 選擇搶占型實例的保留時長:
○ 設(shè)置1小時保護期:部署成功后,默認至少可以使用1小時,即搶占成功后有1小時的保護期,保護期內(nèi)可以保障您可以使用資源。超過1小時的保護期后,如搶占式資源實例庫存充足,且您之前設(shè)置出價上限不低于當前搶占式實例市場價,您也可以繼續(xù)使用搶占式實例。
○ 無確定保護期:不保證有固定時長的保護期來保障資源使用。如搶占式資源實例庫存充足,且您設(shè)置出價上限不低于當前搶占式實例市場價,您也可以繼續(xù)使用搶占式實例。價格上也會比有1小時保護器的更便宜。
(4)選擇機器型號。可以看到當前該機型搶占型的價格和原價的對比,從而進行出價。當搶占型資源的價格低于出價且?guī)齑娉渥銜r,您可以一直保有該機型的使用。
○ 點擊“+”新增實例規(guī)格,服務(wù)上線后 PAI-EAS 會通過遍歷服務(wù)資源配置中的規(guī)格列表來拉起資源,降低因搶占型實例釋放帶來的風險。
(5) 完成其他配置后,點擊“部署”按鈕即可上線服務(wù)。
4. 參考文檔
EAS 搶占型實例 Spot Instance 概述:
https://help.aliyun.com/document_detail/52088.htm?spm=a2c4g.602227.0.0.2d1cf0b4phMgWj
高級配置:多規(guī)格實例選擇:
https://help.aliyun.com/document_detail/602247.html?spm=a2c4g.110981.0.0.6d1b3733Uu8Zfc