該生成式AI一站式解決方案將基于OPEA的微服務(wù)組件集成至用于部署英特爾至強處理器和Gaudi AI系統(tǒng)的、可擴展的RAG解決方案中,可通過Kubernetes、Red Hat OpenShift等經(jīng)驗證的編排框架進(jìn)行無縫擴展,并提供兼具可靠性和系統(tǒng)遙測功能的標(biāo)準(zhǔn)化API。

●以開放式軟件堆棧打破壁壘:幾乎所有大語言模型(LLM)的開發(fā)都基于高抽象框架PyTorch,該框架由英特爾至強和Gaudi及相關(guān)技術(shù)提供支持,助力在英特爾AI系統(tǒng)及平臺上實現(xiàn)輕松開發(fā)。同時,英特爾攜手OPEA開發(fā)了用于RAG和LLM部署的開放式軟件堆棧。該軟件堆棧通過生成式AI一站式解決方案進(jìn)行優(yōu)化,并基于PyTorch、Hugging Face服務(wù)庫(TGI和TEI)、LangChain以及Redis向量數(shù)據(jù)庫所構(gòu)建。

滿足開發(fā)者需求OPEA為企業(yè)提供開源、標(biāo)準(zhǔn)化、模塊化,以及異構(gòu)的RAG流水線(pipeline),并致力于為開放式模型及多種編譯器和工具鏈的開發(fā)提供支持。其加速了針對垂直領(lǐng)域用例的容器化AI集成與交付。OPEA通過創(chuàng)建細(xì)化、可組合的框架,引領(lǐng)堆棧技術(shù)前沿,解鎖AI的全新可能。

憑借生成式AI一站式解決方案與全面的企業(yè)AI堆棧,英特爾提供了完整的解決方案,以應(yīng)對企業(yè)和數(shù)據(jù)中心在部署和擴展RAG與LLM應(yīng)用時所面臨的挑戰(zhàn)。通過基于英特爾技術(shù)與產(chǎn)品的AI系統(tǒng)及平臺,以及OPEA的優(yōu)化軟件,企業(yè)可以更高效、快速地發(fā)揮并利用生成式AI的巨大潛力。

現(xiàn)階段,如何將最新的AI計算技術(shù)應(yīng)用到企業(yè)中,并推動關(guān)鍵業(yè)務(wù)成果落地,是企業(yè)亟待解決的問題。通過與廣大行業(yè)合作伙伴的戰(zhàn)略合作,英特爾正為由生成式AI和RAG解決方案驅(qū)動的AI服務(wù)創(chuàng)造更多新的可能性。

分享到

zhupb

相關(guān)推薦