在大會期間，螞蟻集團(tuán)副總裁徐鵬介紹了螞蟻集團(tuán)在AIGC模型上的探索和實踐。他認(rèn)為，AIGC大模型將會發(fā)揮越來越大的作用，而螞蟻集團(tuán)作為人工智能領(lǐng)域的一個十多年的實踐者，希望通過AIGC大模型的發(fā)展，為世界帶來一些微小而美好的改變。

螞蟻集團(tuán)在AI方面有長期積累

螞蟻集團(tuán)是一家知名的金融科技公司，其金融屬性主要來自旗下的支付寶平臺?？萍紝傩苑矫妫醋栽诳萍佳邪l(fā)上的高投入。2022年，螞蟻集團(tuán)在研發(fā)上投入大約204.6億。并且，螞蟻集團(tuán)共有18,678項有授權(quán)的專利，其中，超過95%都是發(fā)明專利。

螞蟻集團(tuán)還是開源技術(shù)領(lǐng)域的重要參與者，截止到2022年底，螞蟻集團(tuán)貢獻(xiàn)了超過300多個項目，包含1,500個開源代碼庫，總的貢獻(xiàn)者數(shù)量達(dá)到了6,000左右。在開源領(lǐng)域的活躍度，不僅能展示在技術(shù)上的優(yōu)勢，也能表明一家公司在技術(shù)方面持續(xù)投入的決心。

不僅如此，我們看到螞蟻集團(tuán)在技術(shù)上的投入還在不斷加碼。2021年4月，螞蟻集團(tuán)還成立了螞蟻技術(shù)研究院。徐鵬表示，螞蟻技術(shù)研究院是為了強(qiáng)化螞蟻在技術(shù)探索和創(chuàng)新方面的一個機(jī)制，研究院致力做有用、有想象力的科研，開展前沿科技探索。

螞蟻技術(shù)研究院有一個交互智能實驗室，實驗室主要聚焦計算機(jī)視覺和自然語言基礎(chǔ)模型方向，會去開發(fā)通用人工智能算法架構(gòu)，包括內(nèi)容生成、多模態(tài)理解、數(shù)字人技術(shù)等人機(jī)交互關(guān)鍵技術(shù)，這與如今由ChatGPT掀起的生成式AI技術(shù)浪潮息息相關(guān)。

從徐鵬的介紹中了解到，由于需要降本增效并且提高使用體驗，螞蟻集團(tuán)在AI方面一直在持續(xù)投入。這是因為，螞蟻集團(tuán)在多種場景中都能用到AI，比如，有了AI之后，可以實現(xiàn)營銷服務(wù)、風(fēng)控和理財?shù)确矫娴闹悄芑?/p>

螞蟻集團(tuán)多年來深耕AI領(lǐng)域，結(jié)合螞蟻集團(tuán)自身業(yè)務(wù)特點建立了多種AI能力，包括自然語言處理、多模態(tài)學(xué)習(xí)、知識圖譜、圖機(jī)器學(xué)習(xí)以及運籌優(yōu)化等多個方面。徐鵬對于認(rèn)為這些能力對于螞蟻的業(yè)務(wù)場景有明顯價值。

2023年前后開始，隨著以ChatGPT為代表的生成式AI技術(shù)的興起，螞蟻集團(tuán)對于AI未來的發(fā)展也有了更多想法。

螞蟻集團(tuán)的AIGC模型戰(zhàn)略和基礎(chǔ)大語言模型

徐鵬提到了螞蟻集團(tuán)在AIGC模型上的整體戰(zhàn)略，核心就是要提升AIGC模型研發(fā)效能和技術(shù)先進(jìn)性，建設(shè)可持續(xù)發(fā)展的AIGC研發(fā)范式和開放共贏的應(yīng)用生態(tài)，建設(shè)一流的基礎(chǔ)模型，行業(yè)模型，實現(xiàn)toC、toB產(chǎn)品落地。

作為戰(zhàn)略當(dāng)中的核心構(gòu)成，螞蟻發(fā)布了螞蟻基礎(chǔ)大模型，大模型具體又分為語言大模型和多模態(tài)的大模型兩種能力，它面向場景衍生出了金融模型、安全模型、醫(yī)療模型等多種模型，配合螞蟻技術(shù)研究院的交互智能實驗室，將模型應(yīng)用于多個行業(yè)場景當(dāng)中。

戰(zhàn)略實施半年后，螞蟻集團(tuán)建立了AIGC模型數(shù)據(jù)體系和AIGC模型工程體系。前者負(fù)責(zé)數(shù)據(jù)的采集、加工、處理，后者負(fù)責(zé)模型訓(xùn)練、部署和調(diào)優(yōu)，將其用在業(yè)務(wù)場景中。

為了提高AIGC模型研發(fā)效能和技術(shù)先進(jìn)性，螞蟻集團(tuán)在軟硬結(jié)合方面做了很多優(yōu)化，也做了一些國產(chǎn)化適配的工作。

特別值得注意的是，為了提高訓(xùn)練效率，螞蟻集團(tuán)開發(fā)了智能分布式訓(xùn)練引擎和分布式推理引擎，利用分布式可擴(kuò)展的特點來快速對模型進(jìn)行訓(xùn)練和迭代，在下文即將提到的金融大模型訓(xùn)練中，底層算力集群達(dá)到了驚人的萬卡規(guī)模。

除了構(gòu)建準(zhǔn)備數(shù)據(jù)和訓(xùn)練模型的基礎(chǔ)平臺，螞蟻集團(tuán)也開發(fā)了基礎(chǔ)大語言模型，該模型采用了Transformer技術(shù)，使用了英偉達(dá)的顯卡加速器，采用了螞蟻自研的模型架構(gòu)，支持剛才提到的并行式的訓(xùn)練和推理引擎。

螞蟻集團(tuán)的基礎(chǔ)大語言模型經(jīng)過微調(diào)后，可以初步適應(yīng)某個應(yīng)用場景。隨后，可以利用強(qiáng)化學(xué)習(xí)讓其進(jìn)一步提升在場景上的能力。

在推理時，它還可以支持工具學(xué)習(xí)的能力，通過自然語言來調(diào)用API，這樣的能力使得模型不僅限于文本生成或理解，還能與其他軟件或服務(wù)進(jìn)行交互，從而執(zhí)行更復(fù)雜的任務(wù)。

為了減少資源浪費并加速推理性能，螞蟻集團(tuán)的基礎(chǔ)大語言模型也支持量化，將模型使用的浮點數(shù)轉(zhuǎn)為精度更低的INT8和INT4整數(shù)，也支持減枝和蒸餾等手段來減小模型的規(guī)模。

此外，螞蟻還構(gòu)建了AIGC模型安全防護(hù)體系和評價體系，在保障模型安全運行的同時，能不斷的優(yōu)化迭代模型本身。

從徐鵬的介紹中了解到，除了開發(fā)多模態(tài)模型以外，螞蟻技術(shù)研究還做了很多前沿性探索。比如，螞蟻開源的CoDeF突破了視頻生成方面的一個技術(shù)瓶頸，CoDeF可用于完成視頻風(fēng)格遷移任務(wù)，不僅細(xì)節(jié)多，產(chǎn)生的視頻整體效果更好，而且，所需的算力資源還更少。

螞蟻集團(tuán)正在考慮將AIGC模型應(yīng)用到toB的產(chǎn)業(yè)當(dāng)中，比如幫助用戶處理文檔，做視頻內(nèi)容的分析和編輯，對遙感影像進(jìn)行地塊分割、農(nóng)作物識別等任務(wù)。在面向個人用戶的toC場景上，螞蟻也在探索讓用戶以有趣的方式進(jìn)行交互。

落地：發(fā)布基于基礎(chǔ)大模型的金融大模型

在外灘大會舉辦期間，螞蟻集團(tuán)還正式發(fā)布了基于螞蟻自研基礎(chǔ)大模型的金融大模型，它針對金融產(chǎn)業(yè)深度定制，該大模型在金融專屬任務(wù)中表現(xiàn)突出，在“研判觀點提取”“金融意圖理解”“等領(lǐng)域達(dá)到行業(yè)專家水平。目前，螞蟻金融大模型已在螞蟻集團(tuán)的財富、保險平臺上全面測試。

此外，同時發(fā)布的還有基于金融大模型能力的“支小寶2.0”和“支小助”。其中，“支小寶2.0”已內(nèi)測近半年，將在完成相關(guān)備案工作后上線?！爸≈闭谂c螞蟻平臺合作機(jī)構(gòu)內(nèi)測共建，是為理財顧問、保險代理、投研、金融營銷、保險理賠等金融專家準(zhǔn)備的AI助手。

據(jù)介紹，螞蟻金融大模型在萬億量級Token的通用語料基礎(chǔ)上，注入千億量級Token金融知識，并從300+真實產(chǎn)業(yè)場景中提取了共60萬+高質(zhì)量指令數(shù)據(jù)，形成了金融專屬任務(wù)性能優(yōu)化的優(yōu)勢數(shù)據(jù)資產(chǎn)。

落地：發(fā)布基于基礎(chǔ)大模型的代碼生成模型CodeFuse

同樣是在外灘大會期間，螞蟻集團(tuán)首次開源了基于螞蟻基礎(chǔ)大模型研發(fā)的代碼大模型CodeFuse。它可以根據(jù)開發(fā)者的輸入提供智能建議和實時支持，幫助開發(fā)者自動生成代碼、自動增加注釋，自動生成測試用例，修復(fù)和優(yōu)化代碼等，以提升研發(fā)效率。

在近期代碼補(bǔ)全的HumanEval評測中，CodeFuse得分74.4%，超過GPT-4 的成績，也超過了WizardCoder-34B 73.2%的得分，在開源模型中位于國際前列。本次開源內(nèi)容包括代碼框架、模型等，現(xiàn)已上架相關(guān)平臺，模型可在HuggingFace直接下載。

基于CodeFuse的應(yīng)用場景有開發(fā)助手、IDE插件、數(shù)據(jù)分析器等，覆蓋了目前研發(fā)工作的主要需求，在螞蟻集團(tuán)內(nèi)部研發(fā)流程中陸續(xù)得到驗證。CodeFuse面向多個層次的開發(fā)者。無論是初學(xué)者還是有經(jīng)驗的開發(fā)者，CodeFuse都能夠提高編程效率和準(zhǔn)確性。

面向未來

隨著基于基礎(chǔ)大語言模型的金融大模型和CodeFuse的發(fā)布，標(biāo)志著螞蟻在AIGC方面邁出了重要一步。螞蟻集團(tuán)表示，未來將持續(xù)探索和精進(jìn)大模型的五大能力方向：

一是，建設(shè)高質(zhì)量的數(shù)據(jù)標(biāo)注團(tuán)隊，沉淀高質(zhì)量數(shù)據(jù)體系；二是，攻堅基礎(chǔ)大模型算法，以及高效綠色工程能力，提升模型邏輯推理等能力；三是，從通用語言大模型到通用多模態(tài)大模型，從一般通識走向全面專業(yè)；四是，建設(shè)高效的大模型評測標(biāo)準(zhǔn)和評測體系，加快大模型迭代速度；五是，建設(shè)大模型安全能力，保障大模型健康可持續(xù)發(fā)展。

徐鵬表示，螞蟻集團(tuán)也在積極參與一些行業(yè)標(biāo)準(zhǔn)的建設(shè)，通過一些開放的評測，通過建立評測數(shù)據(jù)集，讓整個行業(yè)都可以享受大模型發(fā)展的紅利。

具體在產(chǎn)業(yè)落地方面，螞蟻將結(jié)合自身能力優(yōu)勢和自身業(yè)務(wù)當(dāng)中涉及到的多種場景，探索大模型技技術(shù)在金融、民生、科技服務(wù)等領(lǐng)域的落地應(yīng)用。

zhupb