文字編輯｜宋雨涵

1

QWENLONG-L1的核心技術(shù)亮點(diǎn) 

強(qiáng)化學(xué)習(xí)驅(qū)動(dòng)的長(zhǎng)文本推理新范式

阿里QwenLong-L1-32B是全球首個(gè)基于強(qiáng)化學(xué)習(xí)（RL）訓(xùn)練的長(zhǎng)文本推理模型，其核心創(chuàng)新點(diǎn)在于融合了GRPO（組相對(duì)策略?xún)?yōu)化）與DAPO（直接對(duì)齊策略?xún)?yōu)化）算法，并結(jié)合規(guī)則與模型混合獎(jiǎng)勵(lì)函數(shù)，顯著提升了模型在復(fù)雜長(zhǎng)文本任務(wù)中的準(zhǔn)確性和穩(wěn)定性。通過(guò)漸進(jìn)式上下文擴(kuò)展策略，模型分階段增加輸入長(zhǎng)度（最高支持13萬(wàn)Token），結(jié)合難度感知的回顧性采樣，實(shí)現(xiàn)了從短文本到長(zhǎng)文本推理能力的平滑遷移。此外，訓(xùn)練過(guò)程中采用了課程引導(dǎo)的強(qiáng)化學(xué)習(xí)和預(yù)訓(xùn)練模型蒸餾技術(shù)，確保模型在數(shù)學(xué)、邏輯推理等多領(lǐng)域的高效優(yōu)化。

2

性能表現(xiàn)

對(duì)標(biāo)國(guó)際頂尖模型

據(jù)相關(guān)介紹，QwenLong-L1-32B最為突出的優(yōu)勢(shì)在于它具備令人驚嘆的13萬(wàn)個(gè)Token的上下文長(zhǎng)度。這一特性賦予了它處理超大規(guī)模文本輸入的能力，能夠游刃有余地應(yīng)對(duì)復(fù)雜且多層次的信息整合任務(wù)。相較于傳統(tǒng)模型，QwenLong-L1-32B 在長(zhǎng)上下文處理方面，成功實(shí)現(xiàn)了從短上下文到長(zhǎng)上下文推理能力的自然、無(wú)縫銜接，充分展現(xiàn)了其卓越的泛化能力。

在七項(xiàng)長(zhǎng)上下文問(wèn)答（DocQA）基準(zhǔn)測(cè)試?yán)铮琎wenLong-L1-32B展現(xiàn)出了超凡的實(shí)力。它的性能不僅大幅超越了OpenAI 的 o3 – mini模型以及阿里巴巴自家的Qwen3 – 235B – A22B模型，甚至在表現(xiàn)上已經(jīng)十分接近Claude – 3.7 – Sonnet – Thinking模型的水平。這一成績(jī)無(wú)疑彰顯了阿里巴巴在長(zhǎng)上下文推理領(lǐng)域深厚的技術(shù)沉淀與強(qiáng)大的研發(fā)實(shí)力。

QwenLong-L1-32B是專(zhuān)門(mén)為處理高復(fù)雜度任務(wù)而設(shè)計(jì)的，適用于以下多種場(chǎng)景：

• 多段文檔綜合分析
  它能夠高效地對(duì)多篇文檔的信息進(jìn)行整合，精準(zhǔn)提取關(guān)鍵要點(diǎn)，并展開(kāi)深入細(xì)致的分析。
  
• 跨文檔跳躍推理
  
  可以在多個(gè)文檔之間進(jìn)行邏輯推理，迅速捕捉文檔之間的關(guān)聯(lián)信息，挖掘隱藏的邏輯關(guān)系。
  
• 金融、法律與科研場(chǎng)景
  
  為合同分析、財(cái)務(wù)報(bào)表解讀以及學(xué)術(shù)研究等需要高精度推理的復(fù)雜領(lǐng)域，提供了強(qiáng)有力的支持。

QwenLong-L1-32B基于強(qiáng)化學(xué)習(xí)（RL）技術(shù)進(jìn)行了優(yōu)化，通過(guò)先進(jìn)的算法設(shè)計(jì)，順利達(dá)成了從短上下文到長(zhǎng)上下文的推理能力遷移。這種創(chuàng)新性的方法不僅有效提升了模型的性能，還為其在各類(lèi)多樣化場(chǎng)景中的應(yīng)用筑牢了堅(jiān)實(shí)的基礎(chǔ)。

三、完整解決方案與開(kāi)源生態(tài)：

阿里同步發(fā)布了覆蓋模型開(kāi)發(fā)全鏈路的工具集，包括：

專(zhuān)用訓(xùn)練數(shù)據(jù)集DocQA-RL-1.6K：包含1600個(gè)涵蓋數(shù)學(xué)、邏輯及多跳推理的問(wèn)題，支持模型精細(xì)化調(diào)優(yōu)。

高效推理框架：通過(guò)稀疏注意力機(jī)制優(yōu)化，處理100萬(wàn)Token的響應(yīng)速度提升4.3倍，成本僅為GPT-4o-mini的1/3。

開(kāi)源支持：模型代碼及權(quán)重已在GitHub、Hugging Face和ModelScope平臺(tái)開(kāi)放，開(kāi)發(fā)者可快速集成至現(xiàn)有系統(tǒng)。

行業(yè)影響與戰(zhàn)略意義：

QwenLong-L1-32B的發(fā)布標(biāo)志著中國(guó)在長(zhǎng)文本AI領(lǐng)域的技術(shù)自主性突破，其開(kāi)源策略進(jìn)一步鞏固了阿里云在“模型+算力+平臺(tái)”生態(tài)中的領(lǐng)導(dǎo)地位。該模型不僅推動(dòng)金融、法律等行業(yè)的數(shù)字化轉(zhuǎn)型，更通過(guò)低成本高性能優(yōu)勢(shì)（如李飛飛團(tuán)隊(duì)基于Qwen系列僅用50美元復(fù)現(xiàn)頂尖推理模型），加速AI技術(shù)普惠化進(jìn)程。未來(lái)，隨著長(zhǎng)文本推理成為AI系統(tǒng)核心能力標(biāo)準(zhǔn)，阿里有望在全球化AI競(jìng)賽中占據(jù)更關(guān)鍵席位。

lixiangjing

算力豹主編