NLLB-200模型相比之前的最先進(jìn)系統(tǒng)，在翻譯質(zhì)量上取得了顯著提升。平均而言，NLLB-200模型的翻譯質(zhì)量提升了44%。這一提升在多個語言方向上均有體現(xiàn)，尤其是低資源語言

使用NLLB-200翻譯的文章具有最低的刪除率（0.13%）和最高的修改保留率（10%以下）

模型架構(gòu)

NLLB模型采用了稀疏門控專家混合（Sparsely Gated Mixture of Experts, MoE）架構(gòu)。這種架構(gòu)通過稀疏激活機(jī)制，實現(xiàn)了高效的參數(shù)利用和計算資源分配，大幅提升了模型在處理多語言任務(wù)時的性能

稀疏門控專家混合架構(gòu)

基礎(chǔ)原理： 稀疏門控專家混合架構(gòu)的核心理念是將模型的計算資源分配給不同的專家網(wǎng)絡(luò)（專家層），每個專家專注于處理特定語言或語言組。通過門控機(jī)制，模型能夠在處理不同輸入時激活相應(yīng)的專家，從而提高翻譯效果

專家網(wǎng)絡(luò)的設(shè)計： NLLB模型中的專家網(wǎng)絡(luò)是多個并行的子網(wǎng)絡(luò)，每個子網(wǎng)絡(luò)由若干層的神經(jīng)單元組成。這些子網(wǎng)絡(luò)通過共享的參數(shù)和獨立的參數(shù)相結(jié)合，在共享知識的同時，保留了對特定語言的專門優(yōu)化

門控機(jī)制： 門控機(jī)制通過動態(tài)選擇激活哪些專家網(wǎng)絡(luò)來處理輸入數(shù)據(jù)。具體來說，門控網(wǎng)絡(luò)根據(jù)輸入的語言特征和上下文信息，決定激活哪些專家網(wǎng)絡(luò)。這樣，模型能夠根據(jù)不同語言的需求，靈活調(diào)整計算資源的分配

數(shù)據(jù)挖掘與預(yù)處理

NLLB項目在數(shù)據(jù)挖掘和預(yù)處理方面也采用了創(chuàng)新的方法，以解決低資源語言的數(shù)據(jù)匱乏問題。項目團(tuán)隊利用多種數(shù)據(jù)源，包括網(wǎng)絡(luò)爬蟲、文檔庫以及社區(qū)貢獻(xiàn)，收集了大量平行語料。同時，利用先進(jìn)的數(shù)據(jù)清洗和對齊技術(shù)，確保數(shù)據(jù)的高質(zhì)量和多樣性

模型訓(xùn)練與優(yōu)化

多語言訓(xùn)練： 在模型訓(xùn)練過程中，NLLB采用了多語言聯(lián)合訓(xùn)練的方法，即在一個統(tǒng)一的模型中同時訓(xùn)練多種語言。這樣可以充分利用高資源語言的數(shù)據(jù)，提升低資源語言的翻譯性能。通過共享多語言的知識，模型能夠更好地泛化到不同語言的翻譯任務(wù)上

優(yōu)化策略： 為了進(jìn)一步提升模型的性能，NLLB團(tuán)隊采用了多種優(yōu)化策略，包括學(xué)習(xí)率調(diào)節(jié)、梯度裁剪、正則化等技術(shù)。同時，利用分布式訓(xùn)練和混合精度訓(xùn)練，顯著加快了模型的訓(xùn)練速度，并有效降低了計算資源的消耗

性能評估與測試

NLLB項目開發(fā)了一套綜合評估工具，用于測試和驗證模型在不同語言上的翻譯性能。這些工具包括：

FLORES-200：一套自動評估基準(zhǔn)，覆蓋了200種語言的測試數(shù)據(jù)，用于衡量翻譯質(zhì)量

XSTS：人工評估指標(biāo)，通過人類評審員對翻譯結(jié)果的質(zhì)量進(jìn)行主觀打分

有害內(nèi)容檢測：針對所有支持語言，模型還集成了有害內(nèi)容檢測器，以確保翻譯結(jié)果的安全性和可靠性

paper：

https://www.nature.com/articles/s41586-024-07335-x/tables/3

nina