僅僅一張照片、一個(gè)音頻就可以讓靜止的形象，伴隨著音頻的跌宕起伏、抑揚(yáng)頓挫，演繹得惟妙惟肖。秦始皇帝陵博物院院長(zhǎng)李崗表示，“我們希望隨著AI技術(shù)的不斷進(jìn)步，未來(lái)的文化遺產(chǎn)保護(hù)和傳播會(huì)更加多元化、智能化，更好地弘揚(yáng)中華文化，講述中國(guó)故事。”

打開(kāi)通義APP，在主對(duì)話(huà)框搜索“EMO”，或找到“全民舞臺(tái)”頻道點(diǎn)擊產(chǎn)品頁(yè)面“全民唱演”，即可體驗(yàn)同款“兵馬俑”同唱《從軍行》。此外，用戶(hù)還可以自定義唱演，選擇喜歡的歌曲、熱梗、表情包，上傳肖像照片，EMO隨即就能合成視頻。

打開(kāi)通義APP，即可體驗(yàn)央視《2024中國(guó)?AI盛典》同款“兵馬俑”，同唱《從軍行》

據(jù)了解，EMO是通義實(shí)驗(yàn)室研發(fā)的AI模型，其背后的肖像說(shuō)話(huà)（Talking Head）技術(shù)是當(dāng)前大熱的AIGC領(lǐng)域。EMO之前的Talking Head技術(shù)都需針對(duì)人臉、人頭或者身體部分做3D建模，通義實(shí)驗(yàn)室在業(yè)界率先提出了弱控制設(shè)計(jì)，無(wú)需建模就可驅(qū)動(dòng)肖像開(kāi)口說(shuō)話(huà)，不僅降低視頻生成成本，還大幅提升了視頻生成質(zhì)量。

EMO模型在海量的人物講話(huà)視頻上進(jìn)行了訓(xùn)練，不僅能夠找到音頻中具體發(fā)音與人像口型的匹配關(guān)系，更重要的是能發(fā)現(xiàn)音頻中的語(yǔ)氣特征與人物表情的關(guān)聯(lián)性，將音頻暗含的情緒色彩反映到了人物微表情上?？梢哉f(shuō)，EMO在訓(xùn)練中慢慢學(xué)習(xí)并編碼了人類(lèi)表達(dá)情緒的能力。

通義實(shí)驗(yàn)室應(yīng)用視覺(jué)團(tuán)隊(duì)負(fù)責(zé)人薄列峰表示，“未來(lái)我們希望用AI的力量將中國(guó)傳統(tǒng)文化展現(xiàn)得更豐富，更加‘通情，達(dá)意’，讓收藏在博物館里的文物、陳列在廣闊大地上的遺產(chǎn)、書(shū)寫(xiě)在古籍里的文字都‘活’起來(lái)?！?/p>

2月底，通義實(shí)驗(yàn)室公布相關(guān)論文，EMO隨之成為繼SORA之后最受關(guān)注的AI模型之一。EMO項(xiàng)目頁(yè)此前已在Github展示，收獲Stars數(shù)迅速超6600。僅僅兩個(gè)月后，通義實(shí)驗(yàn)室就將EMO產(chǎn)品化，正式在通義APP推出，所有人都可免費(fèi)使用，讓照片開(kāi)口唱歌、說(shuō)段子。未來(lái)，EMO技術(shù)有望應(yīng)用于數(shù)字人、數(shù)字教育、影視制作、虛擬陪伴、電商直播等場(chǎng)景。

xiesc