“螞蟻呀嘿”火爆全網(wǎng),各式各樣的制作教程也隨之而來。其中,最方便的莫過于用PaddleGAN(百度飛槳的生成對抗網(wǎng)絡(luò)工具套件)來實現(xiàn)。它不僅完全免費,還省去了下載Avatarify(最新消息,該App已被下架)和加速器等多個軟件的麻煩,讓你無需下載和頻繁切換,三步就能生成自己的“螞蟻呀嘿”小視頻。

接下來就給大家介紹兩種制作方法,并揭秘背后的核心技術(shù)原理。

第一種:“小白版”教程

首先,大家可以點擊下方鏈接,進入AI Studio(人工智能學習與實訓社區(qū))中的【天下第一AI武道會-Deepfake換臉】項目,“基礎(chǔ)版”或“高級版”兩種運行環(huán)境皆可:

https://aistudio.baidu.com/aistudio/projectdetail/1189026

第二步是備好素材:一張源圖片和一個驅(qū)動視頻。源圖片就是你想讓他唱歌的照片,只保留人物脖子以上部分,尺寸要求256*256,圖片文件名改為【01. png】。驅(qū)動視頻則是單人唱著“螞蟻呀嘿”的小視頻,可以從網(wǎng)上直接搜索下載,視頻文件名改為【02. mp4】。(注意png和mp4都是小寫)

第三步上傳圖片和視頻,并點擊“運行全部”,然后靜候幾分鐘即可。待頁面左側(cè)出現(xiàn)名為“export. mp4”的文件,即為運行成功,專屬于你的“螞蟻呀嘿”就這樣出爐啦。

  (第一步:在AI Studio中搜索并運行項目)

  (第二步:備好一張源圖片和一個驅(qū)動視頻)

  (第三步:上傳素材并運行全部)

第二種:“進階版”教程

因為有些同學不只想做“螞蟻呀嘿”,還想自己錄制面部動作,生成任意題材的花樣視頻,甚至是開發(fā)Avatarify這樣的App或小程序,走上“致富之路”,而這通過飛槳也都能實現(xiàn)。

飛槳已將螞蟻呀嘿的核心技術(shù)開源于PaddleGAN套件中,在AI Studio平臺實現(xiàn)了完整的在線項目【PaddleGAN表情動作遷移進階版】,大家可以根據(jù)需要,使用AI Studio的免費算力,實現(xiàn)更多腦洞大開的動作遷移效果!

https://aistudio.baidu.com/aistudio/projectdetail/1586056

進階版制作起來同樣分為三步,并都是在AI Studio平臺上實現(xiàn),這里繼續(xù)以“螞蟻呀嘿”為例進行介紹。首先,大家可以下載PaddleGAN代碼。

  !git clone https://gitee.com/PaddlePaddle/PaddleGAN

  !pip install -r requirments.txt

  接下來,使用表情遷移命令。

  命令:

!export PYTHONPATH=$PYTHONPATH:/home/aistudio/work/PaddleGAN && python -u tools/first-order-demo.py –driving_video ~/fullbody.MP4 –source_image ~/禿頭喬哥.png –relative –adapt_scale

只需在如下命令中的driving_video參數(shù)和source_image參數(shù)分別換成自己的視頻(藍色部分)和照片路徑(黃色部分),即可運行得到“螞蟻呀嘿”小視頻。

driving_video: 驅(qū)動視頻,模型將學習視頻中人物的面部表情

source_image:源圖片,模型將驅(qū)動視頻中的人物表情遷移至源圖片的人物上

這個視頻目前還沒有配樂,所以還需要第三步,為視頻配上聲音。

運行以下命令即可生成最終的“螞蟻呀嘿”專屬視頻啦(本例中的視頻文件名為export.mp4)!

  videoclip_1 = VideoFileClip(“/home/aistudio/fullbody.MP4”)

  videoclip_2 = VideoFileClip(“./output/result.mp4”)

  audio_1 = videoclip_1.audio

  videoclip_3 = videoclip_2.set_audio(audio_1)

  videoclip_3.write_videofile(“./output/export.mp4″, audio_codec=”aac”)

  (生成效果圖)

“螞蟻呀嘿”視頻的核心技術(shù)是動作遷移算法First Order Motion,它的功能是將人物A的臉部動作搬移到人物B身上,讓人物B的臉演繹人物A的表情。

First Order Motion算法的結(jié)構(gòu)圖如下:

簡單來說,F(xiàn)irst Order Motion能夠通過自監(jiān)督的方式學習到圖像中的關(guān)鍵點。不需要提前知道目標的一些信息,比如骨架等就可以實現(xiàn)動作遷移。

PaddleGAN的表情遷移能力靈活支持各類不同表情的面部遷移,不僅是“螞蟻呀嘿”,其他魔性動作也都能制作。除此之外,PaddleGAN這個免費開源的寶藏套件還包含數(shù)十種能力,包括唇形合成(對嘴型)、視頻/照片修復(上色、超分、插幀)、人臉動漫化、照片動漫化等等。能實現(xiàn)讓“蒙娜麗莎”播新聞、修復百年前的老照片、或是將普通的風景照“二次元化”等各種神操作,一個比一個厲害!

  (唇形合成)

  (老照片修復)

  (照片動漫化)

如果你也想不下載App就能做魔性視頻,或是有更多、更大的腦洞想要實現(xiàn),指路百度AI Studio親自試試吧!

分享到

zhangnn

相關(guān)推薦