目前，該功能支持Anthropic的最火的Claude 3.5 Haiku，還有Llama 3.1 405B和70B兩個模型，它可以在不犧牲準確性的前提下降低延遲。

在延遲優(yōu)化推理功能的加持下，Amazon Bedrock所運行的Claude 3.5 Haiku，比在任何別的地方都快，這一說法被Anthropic所驗證。同理，在Amazon Bedrock運行405B和70B的速度也是最快的。

Anthropic是現(xiàn)在僅次于OpenAI的最受關(guān)注的大模型公司，其估值達到了約400億美元。Anthropic目前在寫代碼上的能力非常突出，在開發(fā)者群體中非常火的Cursor用的就是來自Anthropic的Claude。此外，Anthropic開放的控制電腦的功能也備受關(guān)注。

Anthropic的人向來比較低調(diào)，這次活動上Anthropic的聯(lián)合創(chuàng)始人兼首席計算官Tom Brown來到了大會現(xiàn)場，Tom Brown此前在OpenAI是負責(zé)研究工程負責(zé)人，領(lǐng)導(dǎo)了從 1.5B參數(shù)擴展到 170B參數(shù)的大規(guī)模訓(xùn)練基礎(chǔ)設(shè)施開發(fā)，是行業(yè)資深專家。

如今生成式AI的各種應(yīng)用越來越多，用戶對AI機器人的快速響應(yīng)有很高的需求，因此對于像聊天機器人和代碼助手這樣需要實時互動的場景，優(yōu)化延遲（減少響應(yīng)時間）是非常重要的，稍長的等待就可能導(dǎo)致用戶流失。為了優(yōu)化推理相應(yīng)速度，業(yè)內(nèi)一些廠商也有很多新嘗試，有機會詳談。

從亞馬遜云科技高級副總裁Peter DeSantis的介紹中了解到， Amazon Bedrock的這項新功能底層使用的是Amazon Trainium2 這樣的專用AI芯片。以這塊ASIC芯片為中心，亞馬遜云科技做了一系列創(chuàng)新，這點在隨后的文章中也會提到。

當然，想做到這么快，還得益于Amazon Bedrock 中的一系列軟件優(yōu)化技術(shù)?，F(xiàn)在，Amazon Bedrock的用戶可以獲得多種優(yōu)化推理功能，用戶無需額外的設(shè)置或模型微調(diào)，就可以直接使用這些功能，現(xiàn)有的應(yīng)用都能立馬實現(xiàn)更快的響應(yīng)速度。

最后，用戶現(xiàn)在就可以在美國東部（俄亥俄）區(qū)域使用Amazon Bedrock的低延遲推理功能。

zhupb

<center id="l9he5"></center>