其中火山語(yǔ)音憑借業(yè)內(nèi)優(yōu)勢(shì)的AI語(yǔ)音技術(shù)以及全棧語(yǔ)音產(chǎn)品解決方案能力，參與到該項(xiàng)目課題三“實(shí)時(shí)高保真孿生數(shù)字人通用開發(fā)平臺(tái)”的建設(shè)中，并與江南游戲工作室合作，通過(guò)整合交互理解、智能對(duì)話管理、智能驅(qū)動(dòng)三大模塊，構(gòu)建支持定制化并適用于多樣場(chǎng)景的數(shù)字人智能“對(duì)話”系統(tǒng)，實(shí)現(xiàn)多模態(tài)交互對(duì)話。

例如在交互理解方向，該模塊集成了多語(yǔ)種自然語(yǔ)言識(shí)別以及多模態(tài)交互意圖識(shí)別功能；在智能對(duì)話管理模塊，則集成了情境定制管理、對(duì)話工廠、意圖管理、QA問答管理、閑聊模塊等對(duì)話管理鏈路；在智能驅(qū)動(dòng)模塊，包含了情緒表情生成能力、唇型視素生成能力、肢體動(dòng)作自動(dòng)生成能力、支持“多語(yǔ)言+多音色”的語(yǔ)音合成能力，以及音樂驅(qū)動(dòng)舞蹈動(dòng)作生成能力等；智能對(duì)話系統(tǒng)最終輸出語(yǔ)音、口型、表情、動(dòng)作至云端渲染引擎，實(shí)現(xiàn)超寫實(shí)數(shù)字人的擬人化交互表達(dá)。

對(duì)此火山語(yǔ)音團(tuán)隊(duì)負(fù)責(zé)人馬澤君表示，未來(lái)通過(guò)參與這個(gè)科技項(xiàng)目研發(fā)產(chǎn)出的一系列創(chuàng)新技術(shù)將由火山語(yǔ)音加速達(dá)成實(shí)踐落地，并由火山引擎對(duì)外提供服務(wù)，不斷探索 AI 與業(yè)務(wù)場(chǎng)景的高效融合，產(chǎn)出行業(yè)標(biāo)桿案例，提升音頻理解、音頻合成、數(shù)字人驅(qū)動(dòng)、對(duì)話交互等AI語(yǔ)音技術(shù)能力的同時(shí)，以實(shí)現(xiàn)更大的產(chǎn)業(yè)價(jià)值。

xiesc