在訓(xùn)練過程中，喜馬拉雅珠峰AI首先將音頻數(shù)據(jù)和文本數(shù)據(jù)分別進(jìn)行預(yù)處理，將它們轉(zhuǎn)化為適合模型輸入的 token 形式，并將音頻 token 和文本 token 映射到同一空間向量表征中，使得模型能夠更好地理解和處理音頻和文本之間的關(guān)系。整體訓(xùn)練流程包括預(yù)訓(xùn)練（Pretraining）、有監(jiān)督微調(diào)（SFT）、領(lǐng)域有監(jiān)督微調(diào)（Domain SFT）、說話人有監(jiān)督微調(diào)（Speaker SFT）、強(qiáng)化學(xué)習(xí)（RL）幾個主要流程。通過這幾個流程的訓(xùn)練，使模型具備以下特點：（1）15s音色克隆能力和聲音轉(zhuǎn)換能力。（2）超擬人、多情感、對齊人類偏好的語音生成。（3）高可控風(fēng)格和副語言能力。

喜馬拉雅珠峰AI研發(fā)團(tuán)隊對訓(xùn)練好的模型進(jìn)行評估，在長音頻內(nèi)容如有聲小說的場景下，角色演繹風(fēng)格的可控性、音素表現(xiàn)的穩(wěn)定性、語流韻律停頓等的自然度上顯著高于國內(nèi)外第三代音頻生成模型。

喜馬拉雅音頻大模型踐行“產(chǎn)模結(jié)合”的范式，通過模型結(jié)合產(chǎn)業(yè)形成業(yè)務(wù)、數(shù)據(jù)、算法的正反饋循環(huán)。其在AIGC有聲書、Chat對話式交互等業(yè)務(wù)場景上廣泛使用，諸如最近爆火的有聲書《我的阿勒泰》就是由喜馬拉雅音頻大模型生成的。喜馬拉雅珠峰AI表示，音頻大模型能力已經(jīng)在珠峰AI官網(wǎng)上可以直接體驗使用了，用戶可以直接創(chuàng)作自己的音頻內(nèi)容。

（鳳凰網(wǎng)科技）

nina