我們看到,亞馬遜云科技不僅在云的核心服務(wù)層面持續(xù)創(chuàng)新,更在從芯片到模型,再到應(yīng)用的每一個技術(shù)堆棧取得突破,讓不同層級的創(chuàng)新相互賦能、協(xié)同進(jìn)化。
如果要了解亞馬遜云科技的生成式AI布局,可以分三個層面。
第一,提供豐富的AI大模型供用戶選擇。
“乾坤未定,你我皆是黑馬”描述了一種充滿可能性的狀態(tài),非常適合描述大模型的發(fā)展現(xiàn)狀,也描繪了廣大企業(yè)在選擇大模型時的焦慮心情。
如何找出適合自己的大模型,如何能在未來用上更合適的模型,已成為許多企業(yè)在面對AI技術(shù)變革時的共同難題。
亞馬遜云科技通過Amazon Bedrock托管了多種大模型,包括已完成Serverless化的熱門通用大模型Claude和LLama,此外,Marketplace上還提供了120多個行業(yè)垂類大模型,幾乎涵蓋了各個領(lǐng)域。
為了提供更豐富的選擇,亞馬遜更是親自上發(fā)布了Amazon Nova系列大模型,包括Micro、Lite、Pro和Premier(未正式發(fā)布)四款。其中,Amazon Nova在一系列評分中,與Claude、GPT-4o等熱門模型各有千秋,達(dá)到了同一水平。
沙利文大中華區(qū)總監(jiān)李慶表示:“新發(fā)布的Amazon Nova大模型家族備受期待,這一系列的模型和亞馬遜云科技的開放選擇理念將為用戶帶來更多創(chuàng)新機(jī)會,進(jìn)一步推動AI的發(fā)展。”
Amazon Nova的能力令人矚目,而Amazon Micro和Lite也有其存在的必要。亞馬遜云科技大中華區(qū)數(shù)據(jù)分析與生成式AI的產(chǎn)品總監(jiān) 崔瑋指出,企業(yè)在選擇大模型時,需要根據(jù)延時、成本和性能的權(quán)衡來做決策。
崔瑋介紹稱,對于一些追求高準(zhǔn)確度的客戶,可以選擇最強(qiáng)的模型,它的響應(yīng)速度較慢且成本較高。而對于大流量的互聯(lián)網(wǎng)企業(yè),則傾向于選擇成本較低、性能可接受的模型。企業(yè)通常會根據(jù)具體的用例和ROI來選擇模型,以適應(yīng)多樣化的任務(wù)需求。
在多樣性選擇的基礎(chǔ)上,用戶可以通過Amazon Bedrock直接驗證和對比模型,選定模型后直接調(diào)用API即可集成到自己的業(yè)務(wù)應(yīng)用當(dāng)中。如果,未來有更強(qiáng)的,或者更合適的模型出現(xiàn),用戶可以在Bedrock的支持下輕松切換到新的模型。
如果用戶想利用自己的數(shù)據(jù)來構(gòu)建自定義的模型,可以在Amazon Bedrock中進(jìn)行微調(diào)、模型蒸餾和二次訓(xùn)練,也可以使用知識庫服務(wù),利用RAG技術(shù)將自己的私有數(shù)據(jù)交給大模型來構(gòu)建企業(yè)的知識庫。
而且,Amazon Bedrock不只是簡單地托管模型,它還通過自動推理檢查和Guardrails多模態(tài)毒性檢測,確保輸出結(jié)果的準(zhǔn)確性與安全性,助力企業(yè)構(gòu)建負(fù)責(zé)任的AI。
Amazon Bedrock不僅有豐富多樣的模型可供選擇,還提供了各種實用工具,讓用戶在云上快速構(gòu)建生成式AI應(yīng)用,同時確保了高效、靈活和負(fù)責(zé)任的AI部署,以此吸引更多用戶在云上構(gòu)建生成式AI。
第二,為開發(fā)者提供更多AI開發(fā)的便利工具。
“2024年我們看到許多客戶從思考階段進(jìn)入實踐階段,2025年,很多客戶將從原型驗證階段轉(zhuǎn)化為生產(chǎn)階段。屆時客戶需求將更加復(fù)雜,不僅是選擇模型,還需要各種技術(shù)支持?!标悤越▽τ?025年的AI技術(shù)新趨勢做出了判斷。
在re:Invent期間,亞馬遜云科技發(fā)布了多種工具,幫助開發(fā)人員更好地開發(fā)模型,構(gòu)建應(yīng)用。
首先,全新一代的Amazon SageMaker已經(jīng)整合了數(shù)據(jù)分析和AI開發(fā)的所有必要工具,成為一個統(tǒng)一的平臺。這些更新可以提升數(shù)據(jù)和AI開發(fā)的效率,幫助用戶更方便地處理和分析數(shù)據(jù),同時降低了數(shù)據(jù)處理的復(fù)雜度。
新的Amazon SageMaker AI也帶來了多項實用功能。其中,HyperPod新訓(xùn)練配方可以大大簡化了模型訓(xùn)練的入門過程。新的HyperPod靈活訓(xùn)練計劃,能根據(jù)用戶的時間和預(yù)算自動預(yù)留資源并生成訓(xùn)練計劃,幫助用戶節(jié)省數(shù)周的模型訓(xùn)練時間。
此外,HyperPod新增了任務(wù)治理功能,可以讓用戶為不同模型開發(fā)任務(wù)設(shè)定優(yōu)先級,動態(tài)調(diào)配計算資源,確保高優(yōu)先級任務(wù)及時完成。這項功能可減少最多40%的開發(fā)成本,同時優(yōu)化資源使用并減少任務(wù)等待時間。
在推理階段,Amazon Bedrock提供了延遲優(yōu)化選項提升模型的推理性能,提供了模型蒸餾功能來降低模型蒸餾的操作難度,通過GraphRAG來自動生成知識圖譜,還通過自動推理檢查功能來應(yīng)對模型幻覺的問題。
陳曉建在采訪中提到,Agent智能體是將生成式AI應(yīng)用于實際任務(wù)的重要方式,預(yù)計明年將迎來爆發(fā)。為解決應(yīng)用中的挑戰(zhàn),Amazon Bedrock推出了智能體功能,并新增加了多智能體協(xié)作功能,可以更好地處理復(fù)雜任務(wù)。
除此之外,亞馬遜還面向更廣泛的開發(fā)者群體更新了Amazon Q Developer,更新后,它可以自己進(jìn)行單元測試、自動生成文檔,自動進(jìn)行代碼審查,可以提高開發(fā)者的工作效率。
與此同時,Amazon Q Developer現(xiàn)在還支持用戶將運(yùn)行在VMware虛擬機(jī)環(huán)境IBM大型機(jī)環(huán)境,以及運(yùn)行在微軟.Net開發(fā)框架下的應(yīng)用遷移到亞馬遜的云平臺上,它可以讓整個過程變得更絲滑。
第三,提供自研的AI芯片以降低訓(xùn)練和推理成本。
生成式AI技術(shù)浪潮來襲,帶動了新一輪的數(shù)據(jù)中心建設(shè)狂潮,需要更多服務(wù)器提供更多算力來運(yùn)行推理和訓(xùn)練負(fù)載,這意味著全球范圍內(nèi)將會投入很多資源,為了提高資源的利用率,需要一系列的創(chuàng)新技術(shù)方案。
亞馬遜云科技在基礎(chǔ)計算能力方面積累頗深,自研的Nitro來提供存儲、算力、安全以及虛擬化卸載能力,它還像服務(wù)器里的服務(wù)器一樣,為構(gòu)建多樣化的Amazon EC2主機(jī)提供了非常大的便利。
與此同時,亞馬遜云科技自研的Arm服務(wù)器芯片Graviton將Arm架構(gòu)成功引入數(shù)據(jù)中心領(lǐng)域。自研Arm芯片不僅給亞馬遜構(gòu)建了面向工作負(fù)載優(yōu)化的靈活性,還給用戶提供了無法抗拒的高性價比。過去兩年,超過一半新增的云主機(jī)都選擇了Arm主機(jī)。
在生成式AI沒有爆火之前,亞馬遜云科技就推出了面向推理的Amazon Inferentia 和用于訓(xùn)練的Amazon Trainium。這兩款芯片不僅提供了更高的性價比,而且,搭配UltraCluster這樣的集群技術(shù)還可以構(gòu)建超強(qiáng)的計算能力。
在re:Invent活動期間,亞馬遜云科技發(fā)布了基于Trainium2芯片的Trn2 實例,該實例配備了16個Trainium2 芯片,提供了20.8 PetaFlops的FP8算力,可用來訓(xùn)練和部署數(shù)百億到萬億參數(shù)的模型。值得一提的是,Trn2提供比當(dāng)前一代基于GPU的EC2 P5e 和 P5en 實例提供了30-40% 的性價比。
Poolside 是一家為開發(fā)者提供智能化的編程助手的AI公司,該公司計劃在Trn2 實例上訓(xùn)練模型,預(yù)計能夠降低40%的訓(xùn)練成本。同樣,知名數(shù)據(jù)和AI公司 Databricks 希望通過 EC2 Trn2 實例為共同客戶創(chuàng)造更多價值,同時將整體成本降低 30%。
為了縮短訓(xùn)練時間,提供更強(qiáng)的算力,亞馬遜云科技還使用了NeuronLink(類似于NVLink)構(gòu)建了Trn2 UltraServer,將64個Trainium2芯片通過四個Trn2 實例連接起來,從而提供更強(qiáng)的計算、內(nèi)存和網(wǎng)絡(luò)帶寬。
有意思的是,UltraServer已有了標(biāo)桿客戶。熱門AI公司Anthropic正在與亞馬遜云科技打造名為Rainier的Trn2 UltraCluster集群,用數(shù)十萬顆Trainium2芯片來訓(xùn)練模型,其性能將是當(dāng)前使用的集群的五倍以上。
Rainier的出現(xiàn)其實是為業(yè)界提供了基于英偉達(dá)顯卡的替代方案,同時提供了更具成本效益的AI訓(xùn)練服務(wù)。亞馬遜還宣布,明年還會推出Amazon Trainium3芯片,采用3納米工藝,其性能將是Amazon Trainium2的兩倍,能效更是能直接提升40%。
結(jié)束語
在生成式AI技術(shù)浪潮面前,亞馬遜云科技通過一系列戰(zhàn)略性布局,從基礎(chǔ)設(shè)施、AI大模型以及開發(fā)工具、芯片的創(chuàng)新下手,為全球企業(yè)提供靈活、可擴(kuò)展且高效的AI解決方案,讓公有云抓住生成式AI帶來的機(jī)遇。