UCloud官網(wǎng)開源模型使用流程

以下是超對稱技術(shù)公司基于BBT-2的系列模型介紹:

1.  BBT-2-12B-Text 通用模型

BigBang Transformer[乾元]是基于GPT Decoder-only架構(gòu)的大規(guī)模預(yù)訓(xùn)練模型。繼2022年開源BBT-1-0.2B模型之后,正式開源最新系列的BBT模型:BBT-1-1B,BBT-2-12B-Text,BBT-2.5-13B-Text。預(yù)訓(xùn)練語料庫覆蓋14個高質(zhì)量數(shù)據(jù)源,覆蓋書籍、百科、論文、小說、新聞、政策文件、中文博客、社交媒體等多個數(shù)據(jù)源種類。

BBT-2-12B-Text基于中文700億tokens進行預(yù)訓(xùn)練,經(jīng)過指令微調(diào)的BBT-2基礎(chǔ)模型可以回答百科類和日常生活的問題。BBT-2.5-13B-Text基于中文+英文 2000億tokens進行預(yù)訓(xùn)練,暫時不開放基礎(chǔ)模型的問答對話接口。

模型開源后所有開發(fā)者可以:

2. BBT-2-12B-Text+Code 代碼模型

BBT-TC,是超對稱技術(shù)公司近期發(fā)布的 BBT-2 大模型系列中的代碼模型,在 百億基座模型BBT-2-12B-Text接續(xù)訓(xùn)練代碼數(shù)據(jù)集,通過有監(jiān)督指令微調(diào)(Supervised Fine-Tuning)解鎖模型的推理能力。該模型在專業(yè)評測中分數(shù)超過其他中國公司開發(fā)的同類模型,僅次于GPT-3.5。

開發(fā)者可以在超對稱公司官網(wǎng)https://www.ssymmetry.com測試BBT模型的代碼問答(僅應(yīng)用于代碼生成場景,無法回答與代碼無關(guān)的問題)

詳情可見文章《超對稱技術(shù)公司的代碼大模型CodeBBT在專業(yè)評測中位居前列,僅次于GPT-3.5》

3. BBT-2-12B-TF-001 金融模型

超對稱公司于2021年便開始針對金融投資領(lǐng)域的應(yīng)用,著手設(shè)計和訓(xùn)練了一個大規(guī)模參數(shù)預(yù)訓(xùn)練語言模型Big Bang Transformer乾元(BBT),目前發(fā)布了Base 版本2.2億參數(shù)和Large 版本10億參數(shù)以及最新的BBT2,120億參數(shù)通用模型。

BBT模型的目標(biāo)是為金融投資建立統(tǒng)一的人工智能算法框架,基于transformer構(gòu)建能融合訓(xùn)練金融投資涉及的不同模態(tài)數(shù)據(jù)的架構(gòu)。在統(tǒng)一架構(gòu)的基礎(chǔ)上訓(xùn)練大規(guī)模參數(shù)預(yù)訓(xùn)練模型,隨著模型參數(shù)和訓(xùn)練數(shù)據(jù)集繼續(xù)增大,超對稱團隊有希望開發(fā)出在金融領(lǐng)域接近人類智能水平的模型。作為金融領(lǐng)域的基石模型,BBT模型為所有金融投資,經(jīng)濟分析,商業(yè)咨詢等場景的深度學(xué)習(xí)下游任務(wù)提供微調(diào)服務(wù)。

金融投資領(lǐng)域有大量從業(yè)機構(gòu)和人員,大廠有財力雇傭算法工程師,小團隊卻用不起基本的文本抽取算法。BBT模型作為金融領(lǐng)域的算法基礎(chǔ)設(shè)施,讓所有從業(yè)者配備同級別的武器,讓全行業(yè)站在同一起跑線去競爭更優(yōu)的投資策略,從而推動金融和經(jīng)濟市場更高效的信息和要素流動。

為了更好地推進中文金融自然語言處理的發(fā)展,超對稱搜集和爬取了幾乎所有公開可以獲得的中文金融語料數(shù)據(jù):

1)過去20年所有主流媒體平臺發(fā)布的財經(jīng)政治經(jīng)濟新聞

2)所有上市公司公告和財報

3)上千萬份研究院和咨詢機構(gòu)的研究報告

4)百萬本金融經(jīng)濟政治等社會科學(xué)類書籍

5)金融社交媒體平臺用戶發(fā)帖

經(jīng)測試,BBT-TF在公告摘要任務(wù)場景超越ChatGPT:使用ChatGPT和BBT-TF對同一份公告,相同輸入,生成摘要并對比效果,發(fā)現(xiàn)BBT-TF更滿足實際運用場景。BBT-TF還可進行四舍五入的計算。在金融行業(yè)對數(shù)字高精度要求下,BBT-TF可對單位進行準(zhǔn)確的換算。

超對稱已開發(fā)了11種已落地應(yīng)用的下游任務(wù),面向?qū)I(yè)金融開發(fā)者API,已獲得中國及海外金融機構(gòu)付費。

4. BBT-2-12B-Image文生圖模型

基于BBT2大語言模型,超對稱和中國專業(yè)圖庫公司聯(lián)合開發(fā)文生圖AIGC模型BBT-Fig,目前該模型向紡織行業(yè),印刷,廣告,游戲等行業(yè)客戶提供文生圖應(yīng)用,經(jīng)過專業(yè)評測,BBT-Fig在紡織行上的應(yīng)用效果比Stable Diffusion和文心一格,明顯更優(yōu)。

BBT-Fig能夠生成非常逼真的圖像,并且具有可控的樣式和風(fēng)格。在紡織行業(yè)中,BBT-Fig可以通過對不同紡織材料的圖像進行學(xué)習(xí),生成具有紋理(可無縫拼接)、色彩(色彩亮度不會受訓(xùn)練樣本明暗影響,為標(biāo)準(zhǔn)化設(shè)計用樣式)和設(shè)計元素(可隨意組合元素)的紡織品圖案,提高紡織品設(shè)計的效率和創(chuàng)新性。該技術(shù)還可用于家裝等等需要圖案設(shè)計的行業(yè)。

· 用于生成人造大理石花紋

5. BBT-2-12B-Science 科學(xué)論文模型

馬斯克認為AGI的終極測試是模型能發(fā)現(xiàn)新的物理定律。GPT-4在醫(yī)生資格考試、律師資格考試、AP考試、GRE上獲得不錯的分數(shù),但目前還沒有證明其能有效地發(fā)現(xiàn)或輔助人類知識庫尚未存在的知識。

對于中國的大模型研發(fā)團隊,直接瞄準(zhǔn)大語言模型用于科學(xué)發(fā)現(xiàn)是超越GPT-4的一個可能路徑。在科學(xué)研究上,研究人員可以使用語言模型來自動提取和分析論文中的主題、實驗方法、結(jié)果和結(jié)論,從而發(fā)現(xiàn)新的科學(xué)發(fā)現(xiàn)和研究方向。

BBT-Science大模型是基于BBT大模型在幾千萬篇科研論文上訓(xùn)練構(gòu)建的輔助科學(xué)發(fā)現(xiàn)的大模型,應(yīng)用于物理、化學(xué)、生物、數(shù)學(xué)等不同學(xué)科的科研知識問題,可以提供三方面的能力:

1. 快速精準(zhǔn)的知識檢索。這項能力和大模型在其他領(lǐng)域的對話能力相近。

2. 針對所研究領(lǐng)域的前沿問題提供新的ideas。這種新ideas產(chǎn)生于大模型在該領(lǐng)域的海量數(shù)據(jù)檢索和重新組合,發(fā)現(xiàn)前人未發(fā)現(xiàn)的可能性。

3. 利用多學(xué)科知識訓(xùn)練出的能力提供跨學(xué)科的建議和洞見。這項能力潛力最大。

為了對科學(xué)大模型進行評測,超對稱技術(shù)公司與復(fù)旦、上海交大、浙大、南航、中山大學(xué)、北師大等多所大學(xué)合作,正在號召全球一線的科研人員共同構(gòu)建一個最大的科研問題評測數(shù)據(jù)集Research QA。該數(shù)據(jù)集覆蓋數(shù)學(xué)、物理、化學(xué)、生物、地理地質(zhì)、計算機、電子工程等主流科研領(lǐng)域。該數(shù)據(jù)集直接采集科研領(lǐng)域里前沿的研究課題作為問題,重點考察大模型回答的創(chuàng)新性??茖W(xué)大模型將成為全球科研能力的底層引擎,帶來科研生產(chǎn)力的加速。

開源下載鏈接

模型:

https://bbt.ssymmetry.com/model.html

https://github.com/ssymmetry

語料庫:

開源了接近1000億tokens的預(yù)訓(xùn)練語料,包括通用語料和金融語料,詳見:

https://bbt.ssymmetry.com/data.html

評測數(shù)據(jù)集:

開源了8個中文金融大模型的評測數(shù)據(jù)集,詳見:

https://bbt.ssymmetry.com/evaluation.html

論文鏈接:

https://arxiv.org/abs/2302.09432

分享到

zhupb

相關(guān)推薦