- +1
訓練成本大降超九成!阿里開源下一代基礎模型架構,引入混合注意力機制

阿里開源全新架構Qwen3-Next,80B參數(shù)新模型只需激活3B即可實現(xiàn)旗艦性能。
9月12日,阿里通義發(fā)布下一代基礎模型架構Qwen3-Next和基于新架構的模型Qwen3-Next-80B-A3B,包含兩個版本:更擅長理解和執(zhí)行指令的指令(Insctruct)模型,以及更擅長多步推理和深度思考的推理(Thinking)模型。
據(jù)介紹,相比Qwen3的MoE(混合專家)模型結構,Qwen3-Next進行了以下核心改進:混合注意力機制、高稀疏度MoE結構、一系列訓練穩(wěn)定友好的優(yōu)化,以及提升推理效率的多token預測機制(簡稱MTP,Multiple-Token Prediction)。
在核心技術方面,新模型采用全球首創(chuàng)混合架構,75%用Gated DeltaNet(線性注意力),25%用原創(chuàng)Gated Attention(門控注意力),總參數(shù)80B只需激活3B,就可以在性能上媲美Qwen3旗艦版235B模型,算力利用率約為3.7%,幫助用戶“極致省錢”。
在訓練成本方面,Qwen3-Next模型較今年4月發(fā)布的密集模型Qwen3-32B大降超90%,長文本推理吞吐量提升10倍以上。新模型在Qwen3預訓練數(shù)據(jù)的子集15T tokens上進行預訓練,僅需Qwen3-32B所用GPU計算資源的9.3%,便能訓練出性能更好的Qwen3-Next-Base基座模型,大幅提升了訓練效率。
阿里通義團隊指出,高稀疏MoE架構是Qwen3-Next面向下一代模型的最新探索。當前,MoE是主流大模型都采用的架構,通過激活大參數(shù)中的小部分專家完成推理任務。此前,Qwen3系列的MoE專家激活比約為1比16,而Qwen3-Next通過更精密的高稀疏MoE架構設計,實現(xiàn)了1比50的極致激活比,創(chuàng)下業(yè)界新高。
在性能表現(xiàn)方面,Qwen3-Next指令模型的性能表現(xiàn)與參數(shù)規(guī)模更大的Qwen3-235B-A22B-Instruct-2507持平,思維模型表現(xiàn)優(yōu)于谷歌閉源模型Gemini-2.5-Flash-Thinking。

Qwen3-Next-80B-A3B-Instruct指令模型性能評測圖。來源:阿里通義
目前,新模型已在魔搭社區(qū)和HuggingFace開源,開發(fā)者也可通過Qwen Chat免費體驗,或直接調(diào)用阿里云百煉平臺提供的API服務。
關于Qwen3-Next模型值得注意的創(chuàng)新點,Pine AI聯(lián)合創(chuàng)始人、首席科學家李博杰對澎湃新聞記者表示,Qwen3-Next采用了混合注意力機制和高稀疏MoE架構,從而大幅提升效率;除了這兩大創(chuàng)新點以外,Qwen3-Next還在預訓練時采用了多Token預測技術MTP(Mutiple-Token Prediction),模型推理速度大幅提升。
李博杰表示,雖然以上三種技術創(chuàng)新在學界已有研究,但阿里證明了其在工業(yè)界的實用性,同時還保持了開源:“Qwen3-Next第一次證明了這些技術能夠放在一起共同運作,并且能夠在實際的業(yè)務場景中展現(xiàn)出很好的能力表現(xiàn)。從評測結果和模型架構來看,Qwen3-Next已經(jīng)達到了谷歌Geimini 2.5 flash的水平。”
近期,阿里通義動作頻頻,包括推出超萬億參數(shù)的Qwen3-Max-Preview、文生圖及編輯模型Qwen-Image-edit、語音識別模型Qwen3-ASR-Flash等。全球AI開源社區(qū)HuggingFace的最新數(shù)據(jù)顯示,通義千問Qwen衍生模型數(shù)已超17萬,穩(wěn)坐全球第一開源模型。
9月1日,國際權威市場調(diào)研機構沙利文(Frost&Sullivan)發(fā)布了最新的《中國GenAI市場洞察:企業(yè)級大模型調(diào)用全景研究,2025》,報告顯示,中國企業(yè)級大模型調(diào)用呈爆發(fā)式增長,2025年上半年日均調(diào)用量較2024年底實現(xiàn)363%的增長,目前超10萬億Tokens。其中,阿里通義占比17.7%位列第一,是中國企業(yè)選擇最多的大模型。





- 報料熱線: 021-962866
- 報料郵箱: news@thepaper.cn
互聯(lián)網(wǎng)新聞信息服務許可證:31120170006
增值電信業(yè)務經(jīng)營許可證:滬B2-2017116
? 2014-2025 上海東方報業(yè)有限公司