端側(cè)處理，秒速生成，慧鯉LoRA融合技術(shù)實(shí)時(shí)生成趣味視頻

作為聯(lián)發(fā)科技在生成式AI技術(shù)領(lǐng)域的重要合作伙伴，慧鯉科技結(jié)合聯(lián)發(fā)科技生成式AI模型端側(cè)“技能擴(kuò)充”技術(shù)NeuroPilot Fusion，在基礎(chǔ)模型上持續(xù)擴(kuò)展AI應(yīng)用和功能，并于移動(dòng)終端裝置成功實(shí)現(xiàn)多種風(fēng)格化視頻的實(shí)時(shí)生成能力，開辟出一系列手機(jī)AI應(yīng)用新玩法。

在風(fēng)格化基礎(chǔ)模型以及風(fēng)格LoRA模型訓(xùn)練過程中，慧鯉通過一致性蒸餾算法大幅減少了擴(kuò)散模型的運(yùn)行步數(shù)，并依托聯(lián)發(fā)科技NeuroPilot框架，以無分類器指導(dǎo)蒸餾進(jìn)一步降低擴(kuò)散模型的單步耗時(shí)。在保證輸出質(zhì)量的同時(shí)，慧鯉實(shí)現(xiàn)了手機(jī)端接近1幀/s在線風(fēng)格化生成效果，使生成體驗(yàn)更加自然流暢。

在現(xiàn)場體驗(yàn)中，用戶可以通過該功能在手機(jī)拍攝過程中精準(zhǔn)識別人物影像，并轉(zhuǎn)化為各種風(fēng)格的趣味視頻。除此之外，模型還可以將畫面中的背景、人物手持的物品等，穩(wěn)定細(xì)致地轉(zhuǎn)化為與畫風(fēng)調(diào)性相契合的背景和道具，讓整體視頻效果更自然協(xié)調(diào)。例如，用戶手持圓盤形物品拍攝視頻時(shí)，在油畫風(fēng)格的視頻中，圓盤被識別并再創(chuàng)作為調(diào)色盤，而在賽博朋克風(fēng)格中，圓盤則被定義并展示為一個(gè)盾牌。

以往在手機(jī)端的應(yīng)用中，由于LoRA和基礎(chǔ)模型綁定，切換不同藝術(shù)風(fēng)格的LoRA時(shí)需要替換整個(gè)模型才能實(shí)現(xiàn)驅(qū)動(dòng)，在實(shí)際視頻拍攝中難以實(shí)時(shí)切換及加載。當(dāng)應(yīng)用中包含多種風(fēng)格LoRA時(shí)，則需要占用大量內(nèi)存，導(dǎo)致安裝包對內(nèi)存的要求為GB級別。現(xiàn)在，慧鯉結(jié)合NeuroPilot框架的lora fusion功能，將自主訓(xùn)練的多種藝術(shù)風(fēng)格LoRA模型尺寸壓縮至10MB級別，不同LoRA配合單個(gè)基礎(chǔ)大模型使用，可以讓用戶在極短時(shí)間內(nèi)隨意切換，運(yùn)行處理速度更加快捷，充分滿足端側(cè)AI用戶的個(gè)性化體驗(yàn)需求。

激活生成式AI創(chuàng)作熱度，搶灘AI自媒體時(shí)代

近年來，生成式AI在內(nèi)容創(chuàng)作賽道的持續(xù)火熱，內(nèi)容創(chuàng)作者和消費(fèi)者都在迫切呼喚更新穎、更前沿的應(yīng)用體驗(yàn)?；埘幎藗?cè)LoRA融合的應(yīng)用成果，在“人人都是自媒體”的時(shí)代開啟了更具想象力的創(chuàng)作空間。

在抖音、小紅書等內(nèi)容社交平臺中，此前的手機(jī)拍攝創(chuàng)作玩法，主要以美顏濾鏡、添加掛件等為主。端側(cè)LoRA 融合帶來的視頻生成新玩法，為用戶的內(nèi)容靈感、拍攝風(fēng)格提供了更多新選項(xiàng)，并極大提升創(chuàng)作效率?；趯?shí)時(shí)視頻生成功能，用戶在實(shí)時(shí)拍攝中可自由選擇賽博朋克、水彩、油畫、水墨、卡通等多種畫風(fēng)，拍攝結(jié)束后視頻即時(shí)生成，元素豐富、高質(zhì)高效，體驗(yàn)感極佳。

另外，在文旅等落地場景中，手機(jī)拍攝實(shí)時(shí)生成視頻的應(yīng)用前景更為廣泛。創(chuàng)作者打卡過程中，僅需實(shí)地錄制一個(gè)畫面，即可通過該功能選項(xiàng)創(chuàng)作不同風(fēng)格作品，任意穿越各種畫風(fēng)的異次元世界，為用戶帶來更多充滿創(chuàng)意的沉浸式體驗(yàn)。

伴隨著端側(cè)生成式AI的發(fā)展，移動(dòng)端AI賽道潛力正在充分顯現(xiàn)。LoRA融合等技術(shù)的應(yīng)用升級，將進(jìn)一步挖掘AI在手機(jī)等端側(cè)設(shè)備的應(yīng)用潛力，并賦能各領(lǐng)域賽道選手加速入場，開拓更大的參與空間。作為大模型時(shí)代的探索家和建設(shè)者，慧鯉科技將繼續(xù)加碼技術(shù)賦能，為伙伴和用戶帶來更多前沿AI應(yīng)用體驗(yàn)。

zhupb