當(dāng)前，智源研究院的Triton算子庫FlagGems已成功融入浪潮信息的元腦企智EPAI平臺(tái)，該平臺(tái)專注于企業(yè)大模型的開發(fā)。這一整合將極大地促進(jìn)企業(yè)在多元算力方面的適配與應(yīng)用，實(shí)現(xiàn)更迅速、廣泛且高效的算力利用。

文字編輯｜ 宋雨涵

1

元腦企智EPAI

技術(shù)特點(diǎn)

元腦企智EPAI的核心在于其深度學(xué)習(xí)算法和多模態(tài)AI技術(shù)。該平臺(tái)通過深度學(xué)習(xí)算法，能夠處理和分析海量數(shù)據(jù)，從中提取有價(jià)值的商業(yè)洞察和趨勢(shì)。此外，EPAI結(jié)合了自然語言處理（NLP）和生成對(duì)抗網(wǎng)絡(luò)（GAN）的優(yōu)勢(shì)，能夠快速生成高質(zhì)量的文本和圖像內(nèi)容，極大提升了企業(yè)的創(chuàng)作效率。

在數(shù)據(jù)處理方面，EPAI提供了高效的數(shù)據(jù)處理工具，能夠幫助企業(yè)從復(fù)雜多樣的數(shù)據(jù)中生成高質(zhì)量的微調(diào)數(shù)據(jù)和行業(yè)/企業(yè)知識(shí)庫。這些工具降低了數(shù)據(jù)篩選和處理的時(shí)間和成本，為企業(yè)大模型的落地提供了有力支持。

應(yīng)用場(chǎng)景

元腦企智EPAI在多個(gè)應(yīng)用場(chǎng)景中展現(xiàn)了其強(qiáng)大的功能。EPAI已成功應(yīng)用于智能招投標(biāo)助手場(chǎng)景，通過識(shí)別并抽取招標(biāo)關(guān)鍵信息，構(gòu)建企業(yè)知識(shí)庫，實(shí)現(xiàn)了招標(biāo)參數(shù)的自動(dòng)識(shí)別，提高了招標(biāo)參數(shù)分析的效率和準(zhǔn)確性。

此外，EPAI還支持智能客服、智能編程等應(yīng)用場(chǎng)景。在智能客服領(lǐng)域，EPAI能夠?yàn)槠髽I(yè)提供快速響應(yīng)、高效解答的客服系統(tǒng)；在智能編程方面，EPAI能夠自動(dòng)化生成和優(yōu)化代碼，提高開發(fā)人員的編程效率和質(zhì)量。

優(yōu)勢(shì)分析

元腦企智EPAI的優(yōu)勢(shì)主要體現(xiàn)在以下幾個(gè)方面：

高效性：EPAI通過深度學(xué)習(xí)算法和多模態(tài)AI技術(shù)，實(shí)現(xiàn)了快速、準(zhǔn)確的數(shù)據(jù)處理和內(nèi)容生成，提高了企業(yè)的運(yùn)營(yíng)效率。

靈活性：EPAI提供了豐富的功能模塊和靈活的交互方式，企業(yè)可以根據(jù)自身需求自由組合和定制功能模塊，以適應(yīng)不同的業(yè)務(wù)場(chǎng)景。

安全性：EPAI通過權(quán)限管理、數(shù)據(jù)加密、內(nèi)容審查等工具，確保了數(shù)據(jù)的安全性和隱私保護(hù)，構(gòu)建了一個(gè)安全可靠的數(shù)據(jù)處理環(huán)境。

易用性：EPAI的操作界面簡(jiǎn)潔易用，提供了豐富的開發(fā)文檔和教程，降低了技術(shù)門檻，使得非專業(yè)研發(fā)人員也能輕松上手。

2

FlagGems基本介紹

技術(shù)背景與特點(diǎn)

開源與統(tǒng)一：FlagGems使用Triton語言開發(fā)，為多種AI芯片提供開源、統(tǒng)一、高效的算子層生態(tài)接入方案。旨在解決AI芯片生態(tài)割裂、算子庫各自實(shí)現(xiàn)的問題，推動(dòng)基于Triton的統(tǒng)一、開源的軟硬件生態(tài)建設(shè)。

高性能與易用性：通過對(duì)PyTorch的后端aten算子進(jìn)行覆蓋重寫，默認(rèn)支持PyTorch的eager模式，實(shí)現(xiàn)算子庫的無縫替換。Triton語言為算子庫提供了更好的可讀性和易用性，且針對(duì)多種算子可以帶來良好的性能提升。

廣泛的算子支持：提供大模型算子總數(shù)超過120個(gè)，是目前提供算子數(shù)量最多、覆蓋廣度最大的Triton算子庫。支持多種類型的算子，包括基本數(shù)學(xué)運(yùn)算、線性代數(shù)、科學(xué)計(jì)算、張量處理等。

應(yīng)用場(chǎng)景與優(yōu)勢(shì)

加速模型推理與訓(xùn)練：FlagGems能夠加速大模型的推理與訓(xùn)練過程，提高計(jì)算效率。在訪存密集型算子上，有部分算子性能超越CUDA算子；在計(jì)算密集型算子上，基本追平CUDA算子；在融合算子上，全面優(yōu)于CUDA算子。

支持多元化AI芯片：已有多家芯片企業(yè)適配FlagGems，為大模型提供更多算力選擇。已在Nvidia GPU和其他非英偉達(dá)的全功能GPU上進(jìn)行了訓(xùn)練和測(cè)試，證明了其支持多元化AI芯片的能力。

降低開發(fā)門檻：開發(fā)者只需付出較低的學(xué)習(xí)成本，即可參與FlagGems的算子開發(fā)與建設(shè)。提供了豐富的開發(fā)文檔和教程，以及社區(qū)支持，幫助開發(fā)者快速上手。

深度融合 滿足開發(fā)需求

此次，智源研究院攜手浪潮信息，將FlagGems算子庫與元腦企智EPAI內(nèi)置的核心計(jì)算框架進(jìn)行深度融合，旨在確保大模型應(yīng)用開發(fā)能夠使用高性能、跨硬件、多框架兼容的算子集合，順利跨越各類硬件架構(gòu)，滿足多種開發(fā)框架的需求?，F(xiàn)在，基于元腦企智EPAI大模型開發(fā)平臺(tái)，企業(yè)可以利用針對(duì)大模型應(yīng)用開發(fā)場(chǎng)景優(yōu)化的先進(jìn)算子集合，在多種算力平臺(tái)上高效構(gòu)建、優(yōu)化和執(zhí)行復(fù)雜的行業(yè)應(yīng)用算法。在復(fù)雜的訓(xùn)練任務(wù)及實(shí)時(shí)性要求嚴(yán)苛的推理場(chǎng)景中，均能實(shí)現(xiàn)穩(wěn)定且高效的運(yùn)算性能。此外，企業(yè)也無需關(guān)心多元異構(gòu)加速卡之間的軟硬件差異，真正實(shí)現(xiàn)大模型應(yīng)用在跨算力平臺(tái)上的無縫開發(fā)與遷移。

3

開源開放

產(chǎn)業(yè)協(xié)作破解多元多模挑戰(zhàn)

在大型模型技術(shù)浪潮的推動(dòng)下，算力產(chǎn)業(yè)正經(jīng)歷著迅猛的發(fā)展。然而，硬件架構(gòu)的多樣性、指令集的不同以及算子庫的獨(dú)立構(gòu)建，卻為這一進(jìn)程設(shè)置了重重障礙，顯著提升了企業(yè)在應(yīng)用大型模型時(shí)的算力要求。因此，構(gòu)建一個(gè)開放源代碼、統(tǒng)一標(biāo)準(zhǔn)且高效運(yùn)作的多元算力系統(tǒng)生態(tài)，成為了當(dāng)前亟需解決的問題。

“我們的元腦企智EPAI平臺(tái)，能夠?yàn)槠髽I(yè)提供從底層算力到上層應(yīng)用的全方位支持。同時(shí)，智源研發(fā)的FlagGems算子庫，具備高性能、跨硬件平臺(tái)以及多框架兼容的特性。這兩者如同精密的機(jī)械部件，確保了大型模型能夠在各種硬件架構(gòu)上流暢運(yùn)行，并滿足多種開發(fā)框架的需求。無論是復(fù)雜的訓(xùn)練任務(wù)，還是需要高實(shí)時(shí)性的推理場(chǎng)景，主流大型模型都能通過我們的解決方案，跨越硬件壁壘，實(shí)現(xiàn)穩(wěn)定且高效的運(yùn)行，性能與原生模型相當(dāng)。

——林詠華，智源研究院副院長(zhǎng)兼總工程師

在多元化、多模態(tài)的產(chǎn)業(yè)背景下，AI的產(chǎn)業(yè)化關(guān)鍵在于推動(dòng)其與各行各業(yè)的深度融合。浪潮信息的元腦企智EPAI企業(yè)大模型開發(fā)平臺(tái)與智源通用算子庫FlagGems的全面對(duì)接，正是我們雙方為解決生態(tài)離散、降低大模型產(chǎn)業(yè)化過程中的算力轉(zhuǎn)化和開發(fā)復(fù)雜度等挑戰(zhàn)所采取的關(guān)鍵舉措。這將為AI應(yīng)用的創(chuàng)新提供更為強(qiáng)大且多元化的算力支持，推動(dòng)構(gòu)建一個(gè)協(xié)同、開放、共贏的多元算力系統(tǒng)生態(tài)，從而充分釋放智能生產(chǎn)的潛力?！?/p>

——浪潮信息的高級(jí)副總裁劉軍

結(jié)語

展望未來，浪潮信息與智源研究院將并肩前行，不斷深化硬件的開放與軟件的開源，通過開源開放和多元多模的策略激發(fā)創(chuàng)新活力，以多元算力系統(tǒng)生態(tài)加速創(chuàng)新的實(shí)踐步伐，共同建設(shè)一個(gè)更加高效、靈活且開放的人工智能應(yīng)用生態(tài)。

lixiangjing

算力豹主編