AWS正式推出SageMaker無服務(wù)器推理服務(wù)

AWS在re:Invent 2021大會中發(fā)布的機(jī)器學(xué)習(xí)SageMaker無服務(wù)器推理（SageMaker Serverless Inference）服務(wù)，現(xiàn)在已經(jīng)正式上線。用戶可以使用該服務(wù)快速部署機(jī)器學(xué)習(xí)模型，執(zhí)行推理工作負(fù)載，而不需要配置和管理底層基礎(chǔ)設(shè)施。

當(dāng)用戶在SageMaker部署模型時，只需要選擇無服務(wù)器選項，SageMaker就會根據(jù)推理請求的數(shù)量，自動配置、擴(kuò)展和縮減運算容量，AWS提到，用戶僅需要針對處理推理請求的運算容量，和資料量支付費用，不需要對空閑時間付費，因此很適合用于間歇性或是不可預(yù)測流量的應(yīng)用程序。

從re:Invent 2021大會發(fā)布以來，AWS持續(xù)更新SageMaker無服務(wù)器推理，加入了對Python SDK的支持，抽象模型部署來簡化開發(fā)者的工作，同時支持模型注冊表，讓開發(fā)者可以集成無服務(wù)器推理端點和MLOps工作流程。AWS也加大每個端點并行觸發(fā)的上限，從50提升到200，使得用戶可以將SageMaker無服務(wù)器推理用于高流量工作負(fù)載。