這些基礎(chǔ)模型以?NVIDIA?NIM??微服務(wù)的形式提供,由全新?GeForce?RTX??50?系列?GPU?加速,提供*高可達(dá)?2375?AI?TOPS?和?32GB?顯存?；?NVIDIA?Blackwell?架構(gòu)的?RTX?50?系列?GPU是首批支持?FP4?計(jì)算精度的消費(fèi)級(jí)?GPU。與上一代產(chǎn)品相比,AI?推理性能提升?2?倍,并讓生成式?AI?模型在本地以更小的顯存占用空間運(yùn)行。

長(zhǎng)期以來,GeForce??一直是?AI?開發(fā)者的重要平臺(tái)。早在?2012?年,*由?GPU?加速的深度學(xué)習(xí)網(wǎng)絡(luò)?AlexNet?就是在GeForce?GTX?580?上進(jìn)行訓(xùn)練的。在去年發(fā)表的?AI?研究論文中,超過?30%?都提及了對(duì)?GeForce?RTX?的使用。

現(xiàn)如今,在生成式?AI?和?RTX?AI?PC?的助力下,任何人都能成為開發(fā)者。借助?AnythingLLM、?ComfyUI?和?LangFlow?等新一代低代碼和無代碼工具,發(fā)燒友能夠通過簡(jiǎn)單的圖形用戶界面?(GUI)?在復(fù)雜的工作流中使用?AI?模型。

連接到這些?GUI?的?NIM?微服務(wù)使獲取和部署*新生成式?AI?模型輕而易舉。NVIDIA?AI?Blueprint

基于?NIM?微服務(wù)構(gòu)建,旨在為數(shù)字人、內(nèi)容創(chuàng)作等應(yīng)用提供易于使用的預(yù)配置參考工作流。

為滿足?AI?開發(fā)者和發(fā)燒友日益增長(zhǎng)的需求,*?PC?制造商和系統(tǒng)集成商即將推出搭載?GeForce?RTX?50?系列?GPU?且支持?NIM?的?RTX?AI?PC。

NVIDIA?創(chuàng)始人兼首席執(zhí)行官黃仁勛表示,“AI?正在以光速發(fā)展,從感知式?AI?到生成式?AI,再到如今的代理式?AI。NIM?微服務(wù)和?AI?Blueprint?為?PC?開發(fā)者和發(fā)燒友探索?AI?提供了基礎(chǔ)模塊?！?/p>

NIM 提供迅捷 AI 體驗(yàn)

基礎(chǔ)模型,即使用海量原始數(shù)據(jù)訓(xùn)練而成的神經(jīng)網(wǎng)絡(luò),是生成式?AI?的基礎(chǔ)模塊。

NVIDIA?將發(fā)布一系列來自包括?Black?Forest?Labs、Meta、Mistral?和?Stability?AI?等頂尖模型開發(fā)者的適用于?RTX?AI?PC?的?NVIDIA?NIM?微服務(wù)。涵蓋大語言模型?(LLM)?、視覺語言模型、圖像生成、語音、檢索增強(qiáng)生成?(RAG)?的嵌入模型、PDF?提取和計(jì)算機(jī)視覺等應(yīng)用場(chǎng)景。

Black?Forest?Labs?首席執(zhí)行官?Robin?Rombach?表示,“支持?FP4?計(jì)算精度的?GeForce?RTX?50系列?GPU?將使一大批此前僅適用于大型數(shù)據(jù)中心的模型得以在?PC?上運(yùn)行。把?Flux?打造成?NVIDIA?NIM?微服務(wù),讓更多用戶以更快的速度部署和體驗(yàn)?AI,同時(shí)提供超乎想象的性能?！?/p>

NVIDIA?今天還宣布推出?Llama?Nemotron,這是一系列開放許可的基礎(chǔ)模型,能夠在各類代理式任務(wù)中提供極高的精度。Llama?Nemotron?Nano?模型將作為面向?RTX?AI?PC?和工作站的?NIM微服務(wù)提供,在指令遵循、工具調(diào)用、聊天、代碼和數(shù)學(xué)等代理式?AI?任務(wù)方面表現(xiàn)出眾。

NIM?微服務(wù)包含在?PC?上運(yùn)行?AI?所需的關(guān)鍵組件,并針對(duì)?NVIDIA?GPU?的部署進(jìn)行優(yōu)化,無論

GPU?在?RTX?PC?、工作站,還是在云端。

開發(fā)者和發(fā)燒友將能快速下載這些?NIM?微服務(wù),并可在帶有適用于?Linux?的?Windows?子系統(tǒng)

(WSL)?的?Windows?11?PC?上設(shè)置和運(yùn)行。

微軟副總裁,Windows?業(yè)務(wù)負(fù)責(zé)人?Pavan?Davuluri?表示:“AI?正在快速驅(qū)動(dòng)?Windows?11?PC?創(chuàng)新,適用于?Linux?的?Windows?子系統(tǒng)?(WSL)?和?Windows?Copilot?Runtime?為?Windows?11?上的?AI?開發(fā)提供出色的跨平臺(tái)環(huán)境。NVIDIA?NIM?微服務(wù)為?Windows?PC?提供優(yōu)化,為開發(fā)者和?發(fā)燒友提供可立即集成到其?Windows?應(yīng)用中的?AI?模型,從而進(jìn)一步加速?Windows?用戶的?AI?功能部署?！?/p>

運(yùn)行在?RTX?AI?PC?上的?NIM?微服務(wù)將兼容先進(jìn)?AI?開發(fā)和智能體框架,包括?AI?Toolkit?for?VSCode、AnythingLLM、ComfyUI、CrewAI、Flowise?AI、LangChain、LangFlow?和?LM?Studio。開發(fā)者可以通過行業(yè)標(biāo)準(zhǔn)端點(diǎn),將基于上述框架構(gòu)建的應(yīng)用和工作流連接到運(yùn)行?NIM?微服務(wù)的?AI?模型,無論在云端、數(shù)據(jù)中心、工作站還是?PC?上,都可通過統(tǒng)一的接口使用*新技?術(shù)。

發(fā)燒友還可通過即將發(fā)布的?NVIDIA?ChatRTX?技術(shù)?Demo?體驗(yàn)一系列?NIM?微服務(wù)。

讓代理式 AI 擁有擬人表情

為了向?RTX?發(fā)燒友和開發(fā)者展示使用?NIM?微服務(wù)構(gòu)建?AI?智能體和助手的方法,NVIDIA?今天首?度公開?Project?R2X。這是一款具有視覺能力的?PC?虛擬形象,它可以讓用戶需要的信息觸手可及、協(xié)助用戶使用桌面應(yīng)用、進(jìn)行視頻會(huì)議、閱讀和總結(jié)文檔等。

該虛擬形象采用全新生成式?AI?算法?NVIDIA?RTX?Neural?Faces?渲染而成,這種算法可利用完全生成的像素來增強(qiáng)傳統(tǒng)光柵化渲染。然后,面部通過基于擴(kuò)散原理的全新?NVIDIA?Audio2Face?-?3D?模型驅(qū)動(dòng)動(dòng)畫,該模型可改善唇部和舌頭動(dòng)作。R2X?可以通過?CrewAI、Flowise?AI?和?LangFlow?等開發(fā)者框架連接到?OpenAI?的?GPT?4o?或?xAI?的?Grok?等云端?AI?服務(wù),以及?NIM?微服務(wù)和?AI?Blueprint,如?PDF?檢索器或其他?LLM。注冊(cè)以關(guān)注?Project?R2X?的更新。

? AI Blueprint 即將登陸 PC

NIM?微服務(wù)還可通過?AI?Blueprint(可在?RTX?PC?上本地運(yùn)行的參考?AI?工作流)供?PC?用戶使?用。借助這些藍(lán)圖,開發(fā)者能夠基于?PDF?文檔創(chuàng)建播客、生成由?3D?場(chǎng)景引導(dǎo)的令人驚艷的圖像等。

將?PDF?轉(zhuǎn)換為播客的藍(lán)圖可從?PDF?中提取文本、圖像和表格,創(chuàng)建可供用戶編輯的播客腳本。它還能根據(jù)此腳本,使用藍(lán)圖中提供的語音或基于用戶的語音樣本生成完整的音頻錄音。此外,用戶還能與?AI?播客主持人進(jìn)行實(shí)時(shí)對(duì)話,了解有關(guān)特定主題的更多信息。

該藍(lán)圖利用像?Mistral-Nemo-12B-Instruct?這樣的?NIM?微服務(wù)來處理語言,借助?NVIDIA?Riva

進(jìn)行文本轉(zhuǎn)語音和自動(dòng)語音識(shí)別,以及使用?NeMo?Retriever?微服務(wù)集合進(jìn)行?PDF?提取。

使用由?3D?引導(dǎo)的生成式?AI?Blueprint,藝術(shù)家能對(duì)圖像生成進(jìn)行更精細(xì)的控制。雖然?AI?可以通過簡(jiǎn)單的文本提示生成令人驚嘆的圖像,但僅使用文字控制圖像的內(nèi)容極具挑戰(zhàn)。有了上述藍(lán)?圖,創(chuàng)作者可以借助使用?Blender?等?3D?渲染器布置簡(jiǎn)單的?3D?物體來引導(dǎo)?AI?圖像生成。藝術(shù)家可手動(dòng)或使用?AI?生成創(chuàng)建?3D?資產(chǎn),將其放置在場(chǎng)景中,并設(shè)置?3D?viewport?相機(jī)。由?Flux?NIM?微服務(wù)提供支持的預(yù)打包工作流將可以通過插件?(例如?Blender?中由開發(fā)者?ACGGit?開發(fā)的?ComfyUI-BlenderAI-node?)使用當(dāng)前布景生成與?3D?場(chǎng)景相匹配的高質(zhì)量圖像。

NVIDIA?NIM?微服務(wù)和?AI?Blueprint?將從?2?月起開始提供,首發(fā)支持的硬件包含?GeForce?RTX?50?系列、GeForce?RTX?4090?和?4080?以及?NVIDIA?RTX?6000?和?5000?GPU?,未來還會(huì)陸續(xù)提供對(duì)其他?GPU?的支持。宏碁、華碩、戴爾、惠普、聯(lián)想、微星、雷蛇將推出支持?NIM?的?RTX?AI?PC。

songjy