阿里深夜干了件大事
，成本暴降90%
！熱點(diǎn)聚焦

2025-09-12 19:01:00來源：智東西

智東西

作者 | 程茜

【資料圖】

編輯 | 心緣

智東西9月12日報(bào)道，今天凌晨，阿里通義實(shí)驗(yàn)室正式發(fā)布下一代基礎(chǔ)模型架構(gòu)Qwen3-Next，并訓(xùn)練了基于該架構(gòu)的Qwen3-Next-80B-A3B-Base模型，該模型擁有800億個參數(shù)僅激活30億個參數(shù)。

Base模型在Qwen3預(yù)訓(xùn)練數(shù)據(jù)的子集15T tokens上進(jìn)行，僅需Qwen3-32B 9.3%的GPU計(jì)算資源

，針對超過32k的上下文，推理吞吐量可達(dá)到Qwen3-32B的10倍以上

。

同時

，基于Base模型，阿里開源了Qwen3-Next-80B-A3B的指令模型（Instruct）和思維模型（Thinking）

，模型支持原生262144個token上下文長度

，可擴(kuò)展至1010000個token。

其中

，Qwen3-Next-80B-A3B-Instruct僅支持指令（非思考）模式

，其輸出中不生成塊；Qwen3-Next-80B-A3B-Thinking僅支持思考模式

，為了強(qiáng)制模型進(jìn)行思考

，默認(rèn)聊天模板自動包含。

指令模型的性能表現(xiàn)與參數(shù)規(guī)模更大的Qwen3-235B-A22B-Instruct-2507相當(dāng)

，思維模型優(yōu)于谷歌閉源模型Gemini-2.5-Flash-Thinking

。

▲指令模型測試基準(zhǔn)

▲思維模型測試基準(zhǔn)

在架構(gòu)升級方面，相比阿里4月底的Qwen3 MoE模型

，新增了混合注意力機(jī)制

、高稀疏度MoE結(jié)構(gòu)、一系列訓(xùn)練穩(wěn)定友好的優(yōu)化

，以及提升推理效率的多Token預(yù)測（MTP）機(jī)制等

。

新模型已在魔搭社區(qū)和HuggingFace開源，開發(fā)者們也可通過Qwen Chat免費(fèi)體驗(yàn)或阿里云百煉

、NVIDIA API Catalog體驗(yàn)Qwen3-Next。

開發(fā)者在Qwen的X評論區(qū)稱贊其新增的多Token預(yù)測（MTP）機(jī)制

，稱這是最令人印象深刻的部分

。

阿里云百煉：https://bailian.console.aliyun.com/?tab=model#/model-market/detail/qwen3?modelGroup=qwen3

一、指令模型接近235B旗艦?zāi)Ｐ?div id="jfovm50" class="index-wrap">，推理模型超Gemini-2.5

Qwen3-Next模型支持原生262144個token上下文長度

，可擴(kuò)展至1010000個token。

總的來看在性能方面

，指令模型接近阿里參數(shù)規(guī)模235B的旗艦?zāi)Ｐ?div id="jfovm50" class="index-wrap">，思維模型表現(xiàn)優(yōu)于Gemini-2.5-Flash-Thinking。

其基座模型為Qwen3-Next-80B-A3B-Base

，僅使用1/10的Non-Embedding激活參數(shù)

，在大多數(shù)基準(zhǔn)測試中

，性能表現(xiàn)與Qwen3-32B-Base相近。但其總訓(xùn)練成本為Qwen3-32B-Base的10%不到

，并且對于超過32K上下文的推理吞吐是Qwen3-32B的10倍以上

。

得益于其新的混合模型架構(gòu)，Qwen3-Next在推理效率方面

，與Qwen3-32B相比

，Qwen3-Next-80B-A3B在預(yù)填充（prefill）階段，在4k tokens的上下文長度下

，吞吐量接近前者的7倍

，當(dāng)上下文長度超過32k時，吞吐提升達(dá)到10倍以上

。

在解碼（decode）階段

，該模型在4k上下文下實(shí)現(xiàn)近4倍的吞吐提升，在超過32k的長上下文場景中能保持10倍以上的吞吐優(yōu)勢

。

具體來看

，其指令模型表現(xiàn)優(yōu)于Qwen3-30B-A3B-Instruct-2507和Qwen3-32B-Non-thinking，并取得了幾乎與參數(shù)規(guī)模更大的Qwen3-235B-A22B-Instruct-2507模型相近的結(jié)果

。

只有在面向大模型的綜合性評測基準(zhǔn)

、高難度數(shù)學(xué)推理基準(zhǔn)AIME25中，指令模型的表現(xiàn)略遜色于Qwen3-235B-A22B-Instruct-2507

，在編程

、復(fù)雜問答與長對話的評測中表現(xiàn)更好。

Qwen3-Next-80B-A3B-Instruct在RULER上所有長度的表現(xiàn)明顯優(yōu)于層數(shù)相同

、注意力層數(shù)更多的Qwen3-30B-A3B-Instruct-2507

，甚至在256k范圍內(nèi)都超過了層數(shù)更多的Qwen3-235B-A22B-Instruct-2507。

思維模型的表現(xiàn)優(yōu)于預(yù)訓(xùn)練成本更高的Qwen3-30B-A3B-Thinking-2507

、Qwen3-32B-thinking

，全面超過了谷歌的閉源模型Gemini-2.5-Flash-Thinking，并在部分指標(biāo)上接近阿里最新旗艦?zāi)Ｐ蚎wen3-235B-A22B-Thinking-2507

。

二

、混合注意力、MoE

、穩(wěn)定優(yōu)化

、多Token預(yù)測加持

研究人員在博客中提到，Qwen3-Next是針對大模型在上下文長度和總參數(shù)兩方面不斷擴(kuò)展（Scaling）的未來趨勢而設(shè)計(jì)

。

Qwen3-Next采用的是Qwen3 36T預(yù)訓(xùn)練語料的一個均勻采樣子集

，包含15T tokens。其訓(xùn)練所消耗的GPU Hours不到Qwen3-30A-3B的80%

；與Qwen3-32B相比

，僅需9.3%的GPU計(jì)算資源

，即可實(shí)現(xiàn)更優(yōu)的模型性能。

這一模型結(jié)構(gòu)相較其4月底推出的Qwen3的MoE模型

，新增了多種新技術(shù)并進(jìn)行了核心改進(jìn)

，包括混合注意力機(jī)制、高稀疏度MoE結(jié)構(gòu)

、一系列訓(xùn)練穩(wěn)定友好的優(yōu)化

，以及提升推理效率的多Token預(yù)測（MTP）機(jī)制等。

混合注意力機(jī)制：用Gated DeltaNet（線性注意力）和Gated Attention（門控注意力）的組合替換標(biāo)準(zhǔn)注意力

，實(shí)現(xiàn)超長上下文長度的有效上下文建模

。

研究人員發(fā)現(xiàn)Gated DeltaNet相比常用的滑動窗口注意力（Sliding Window Attention）和Mamba2有更強(qiáng)的上下文學(xué)習(xí)能力, 并在3:1的混合比例下，即75%層使用Gated DeltaNet

，25%層保留標(biāo)準(zhǔn)注意力

，能一致超過超越單一架構(gòu)，實(shí)現(xiàn)性能與效率的雙重優(yōu)化

。

同時在保留的標(biāo)準(zhǔn)注意力中

，研究人員進(jìn)一步引入多項(xiàng)增強(qiáng)設(shè)計(jì)，包括沿用先前工作的輸出門控機(jī)制

，緩解注意力中的低秩問題

，將單個注意力頭維度從128擴(kuò)展至256，僅對注意力頭前25%的位置維度添加旋轉(zhuǎn)位置編碼

，提高長度外推效果

。

高稀疏度混合專家（MoE）：在MoE層中實(shí)現(xiàn)極低的激活比率，大幅減少每個token的FLOPs

，同時保留模型容量

。研究人員的實(shí)驗(yàn)表明，在使用全局負(fù)載均衡后

，當(dāng)激活專家固定時

，持續(xù)增加專家總參數(shù)可帶來訓(xùn)練loss的穩(wěn)定下降。

此前

，Qwen3系列的MoE專家激活比約為1比16

，Qwen3-Next實(shí)現(xiàn)了1比50的激活比。

穩(wěn)定性優(yōu)化：包括零中心化和權(quán)重衰減layernorm等技術(shù)

，以及其他增強(qiáng)穩(wěn)定性以實(shí)現(xiàn)魯棒的預(yù)訓(xùn)練和后訓(xùn)練

。研究人員發(fā)現(xiàn)

，注意力輸出門控機(jī)制能消除注意力池與極大激活等現(xiàn)象

，保證模型各部分的數(shù)值穩(wěn)定。

多Token預(yù)測（MTP）：提升預(yù)訓(xùn)練模型性能并加速推理

，Qwen3-Next特別優(yōu)化了MTP多步推理性能

，通過訓(xùn)練推理一致的多步訓(xùn)練

，進(jìn)一步提高了實(shí)用場景下的Speculative Decoding接受率。

結(jié)語：3B激活參數(shù)對標(biāo)旗艦?zāi)Ｐ?div id="4qifd00" class="flower right">

！阿里憑架構(gòu)創(chuàng)新為模型降本提速Q(mào)wen3-Next的突破點(diǎn)在于同時實(shí)現(xiàn)了大規(guī)模參數(shù)容量

、低激活開銷、長上下文處理與并行推理加速

。此外結(jié)合注意力機(jī)制

、MoE設(shè)計(jì)等方面的多項(xiàng)架構(gòu)創(chuàng)新，阿里通義此次實(shí)現(xiàn)僅激活3B參數(shù)模型就能對標(biāo)規(guī)模更大模型的性能

，使得模型在性能與效率之間找到更佳平衡點(diǎn)

，同時為降低模型訓(xùn)練、推理成本提供了有效路徑

。研究人員在博客提到

，未來他們將持續(xù)優(yōu)化這一架構(gòu)并開發(fā)Qwen3.5。與此同時近期阿里通義已經(jīng)推出數(shù)個不同領(lǐng)域的模型

，如超萬億參數(shù)的Qwen3-Max-Preview

、文生圖及編輯模型Qwen-Image-edit、語音識別模型Qwen3-ASR-Flash等

。隨著其多領(lǐng)域模型的持續(xù)落地與開源

，阿里通義在開源社區(qū)的技術(shù)影響力正逐步增強(qiáng)。

關(guān)鍵詞：指令推理參數(shù) 模型上下文 Qwen tokens -Next 大事阿里注意力 Next 模型 Qw

責(zé)任編輯：孫知兵

免責(zé)聲明：本文僅代表作者個人觀點(diǎn)

，與太平洋財(cái)富網(wǎng)無關(guān)

。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對本文以及其中全部或者部分內(nèi)容

、文字的真實(shí)性

、完整性、及時性本站不作任何保證或承諾

，請讀者僅作參考

，并請自行核實(shí)相關(guān)內(nèi)容。
如有問題

，請聯(lián)系我們

！

精彩推薦

青山紙業(yè)：關(guān)注到市場將公司歸類入光模塊概念子公司凈利潤占比極小-重點(diǎn)聚焦

青山紙業(yè)：關(guān)注到市場將公司歸類入光模塊概念子公司凈利潤占比極小-重點(diǎn)聚焦

，預(yù)計(jì)明年上半年登場|焦點(diǎn)熱議">消息稱有TOP5廠商正跟進(jìn)6.5X英寸Air超輕薄旗艦手機(jī)，預(yù)計(jì)明年上半年登場|焦點(diǎn)熱議

！特級大廚教你三招辨真?zhèn)?熱頭條">羅永浩炮轟西貝預(yù)制菜

！特級大廚教你三招辨真?zhèn)?熱頭條

9月12日鈦白粉產(chǎn)業(yè)鏈情報(bào) 熱門

今日熱文：中超控股(002471.SZ)：與合肥市智能機(jī)器人研究院簽署《戰(zhàn)略合作協(xié)議》

綠的諧波(688017.SH)：擬使用不超1億元進(jìn)行現(xiàn)金管理

百濟(jì)神州：3932人購62962股美存托股份

，涉資1344.95萬美元-新資訊

羅永浩懸賞10萬|每日速讀

藍(lán)佛安：“十四五”以來跨省異地就醫(yī)直接結(jié)算惠及5.6億人次每日播報(bào)

博威合金(601137.SH)：不直接供貨給美國甲骨文公司

、商場的雙向奔赴！解鎖賽事經(jīng)濟(jì)下的“江蘇玩法”">球場

、商場的雙向奔赴

！解鎖賽事經(jīng)濟(jì)下的“江蘇玩法”

觀點(diǎn)：固鎮(zhèn)縣：電力科普進(jìn)校園童心點(diǎn)亮安全燈

焦點(diǎn)速讀：精進(jìn)電動(688280.SH)：是奇瑞混動車型的產(chǎn)品平臺供貨商之一

紫牛問政·回音壁｜新能源汽車充電樁是不是想裝就能裝

？

，上市不到3月股價飆升超15倍_當(dāng)前看點(diǎn)">藥捷安康-B：盤中一度漲95%，上市不到3月股價飆升超15倍_當(dāng)前看點(diǎn)

閱讀排行

國家級生豬大數(shù)據(jù)中心：9月12日全國生豬均價為13.72元/公斤市場止跌企穩(wěn)

，每股派發(fā)0.05元">南京證券：擬于9月19日進(jìn)行現(xiàn)金紅利發(fā)放

，每股派發(fā)0.05元

中國老齡事業(yè)發(fā)展基金會圓滿舉辦 “2026老年春節(jié)聯(lián)歡晚會”

上海徐匯為孵化器項(xiàng)目搭建專場路演平臺即時

！熱點(diǎn)聚焦">阿里深夜干了件大事

，成本暴降90%！熱點(diǎn)聚焦

片仔癀資產(chǎn)經(jīng)營公司注冊資本增至20.5億元天天資訊

中國電建(601669.SH)：電建新能源上交所主板IPO申請獲上交所受理

，跨境賣家如何選擇檢測認(rèn)證合規(guī)服務(wù)商

？">亞馬遜強(qiáng)制兒童玩具類檢測認(rèn)證合規(guī)，跨境賣家如何選擇檢測認(rèn)證合規(guī)服務(wù)商

？

亞信科技聯(lián)合清華AIR等發(fā)布全球首部 AI-RAN商業(yè)展望白皮書

，邱順林起訴立霸股份-微頭條">因經(jīng)濟(jì)補(bǔ)償金糾紛，邱順林起訴立霸股份-微頭條

國家級生豬大數(shù)據(jù)中心：9月12日全國生豬均價為13.72元/公斤市場止跌企穩(wěn)
下一篇2025-09-12 20:08:47
中國電建(601669.SH)：電建新能源上交所主板IPO申請獲上交所受理
上一篇2025-09-12 18:31:38

關(guān)于我們　-　聯(lián)系方式　-　版權(quán)聲明　-　招聘信息　-　友鏈交換　-　網(wǎng)站統(tǒng)計(jì)

太平洋財(cái)富主辦版權(quán)所有：太平洋財(cái)富網(wǎng)

?中國互聯(lián)網(wǎng)違法和不良信息舉報(bào)中心

未經(jīng)過本站允許請勿將本站內(nèi)容傳播或復(fù)制業(yè)務(wù)QQ：3 31 986 683

感谢您访问我们的网站，您可能还对以下资源感兴趣：

五月婷婷操大逼,我和岳坶一起看片,久久精品无码一区二区三区,好硬好大我还要好爽视频,日本99热爱精品,日韩美女乱婬试看视频网站 ,寡妇下面水多好紧视频 ,亚洲AⅤ一区二区三区,色www亚洲国产张柏芝,亚洲av无码男人的天堂无广告,精品久久久久久久免费自慰,久久精品国产大片免费观看,AV影片影音先锋一本大道香蕉,香蕉97超级碰碰碰免费公开 ,啊轻点好爽在线观看,亚洲视频欧美不卡,久久精品国产99久

456亚洲人成在线播放网站国产污污网站免费看波多野结衣性爱网站精品自拍日本日韩少妇150P 久久91精品国产91久久免费A片伦费影视在线观看亚洲国产一二 99久久et这里只有精品18 亚洲AV美女一区二区三区国产成人在线综合网一区二区免费在线视频 XXXX日本高清1 男男gv在线播放网站亚洲亚洲日韩国产新品天堂在线日本不卡一区色多多国产AV二区三区最近中文字幕大全免费日本亚州视频在线八a 妺妺窝人体色www金莲精品欧美伦欲视频精品国产亚洲第一区二区三区国产成人精品一区二三区2023 中日韩人妻一级精品毛片午夜视频在线在免费视频亚洲啊啊啊啊 2021在线看片免费人成视频激情综合亚洲九月色亚洲va中文字幕不卡无码免费无限永久在线观看污污网址看男女日皮视频在线观看青青草国产播放视频黄色一级视频免费看国内精品自产拍在线观看亚洲欧美日产综合在线网性色亚洲中文自拍另类Av片成人一级黄片免费观看最新国产精品自在线观看国产福利第一导航呦男呦女精品视频八区在线的最新免费国产国产中文字幕亚洲精品宅男福利导航紧身裙连裤袜波多野结衣欧美成综合网站少妇久久综合 A片调教在线免费播放网址欧美3d怪物H动漫播放白丝jk插进去喷水视频粗大掹烈进出高潮视频 2021精品亚洲中文字幕最刺激的乱惀小说喷水网国产美女遭强开双腿在线观看农村国产一级一级A片一性一交一口添一摸视频超级碰碰青草免费视频APP 久久精品国产大片免费观看国产精品毛片va一区二区三区国产美女视频免费曰批免费视频观看40分钟中文字幕在线永久视频国产精品所白浆视频又色又粗又长又大的三级久久久精品免费齐齐国产精品自拍自偷伊人色综合一区二区三区强行交换配乱婬bd 久久中文字幕系列 mm1313国产精品久久尤物92福利视频午夜1000合集 97国产最新免费公开视频丝袜美腿视频一区二区三区 aⅴ调教视频国产精品一区二区丝瓜国产精品成熟老女人风间由美性色一区二区三区亚洲国产精品激情一区二区 91新超碰极品盛宴分类 XX一个色综合国产色综合午夜福利合集青青青视频自偷自拍在线观看免费AV啊啊啊啊不要青青草成人视频在线视频偷拍亚州av综合色区无码一区亚洲另类自拍图五月丁香激情综合视频国产精品1000部在线观看亚洲一区二区不三区不卡国产精品情侣自拍又粗又大又爽又紧免费视频亚洲日韩AV中字在线网站亚洲有码一区二区三区视频亚洲AV成人片色欲在线观看品久久二区三区久草欧美精品国产丰满麻豆videosshd 精品不卡一区二区日本XXXX视频在线观看免费国产精品亚洲小说专区白丝jk国产一区二区三区伊在人天堂亚洲香蕉精品区国产综合日本亚洲777 张开腿无遮无挡在线观看久久久久久久99精品免费观看中文乱码一区高潮在线喷另类老妇性BBWBBW 超清中文乱码字幕在线观看国产三寸白浆喷潮直流视频少妇一区二区三区黄亚洲中文字幕乱码电影国产精品亚洲日韩久久亚洲中文字幕久久无码精品国外欧美一区二区中美日韩印度亚洲综合在线国产区精品系列在线观看不免费又爽又刺激的网站美女被狂插出水茄子在线看片免费人成视频亚洲性色成人av天堂黄、作爱免费视频亚洲狂野国产AV 手机看片久久国产永久免费好男人www 中文字幕婷婷日韩欧美亚洲白洁国产剧情Av手机在线尤物成人影院yw193在线观看欧美v亚洲v日韩v最新在线国产未满十八岁午夜欧美老妇理论片白浆高潮国产免费精品国产高清一区二区三区国产嫖妓一区二区三区无码国产精品1区2区3区在线播放 h娇喘喷水抽搐高潮视频欧美乱妇日本无乱码特黄大片国内私拍哺乳精品视频又大又粗又长外国一级黄在线看片免费人成视频在线观看亚洲精品福利片欧美孕妇变态重口另类欧美亚洲综合在线国产91麻豆免费观看 h视频网站黄国产情侣草莓视频在线色五五月五月开在线观看九九热精品免费观看 992免费视频网站十八禁网站gay 亚洲午夜福利在线视频女人把私人部位扒开视频在线看 www欧美性爱色露一区二区亚洲Aⅴ天堂在线观看忘忧草在线社区www日本亚欧性爱欧美日韩国产一区二区国产精品亚洲二区在线看疯狂做受DVD免费播放 99久久国产综合精品无码 a女激情视频在线观看日本高清=区视频在线

<ul id="cwwoo"></ul>

<strike id="cwwoo"></strike>

阿里深夜干了件大事，成本暴降90% ！ 熱點(diǎn)聚焦

精彩推薦

青山紙業(yè)：關(guān)注到市場將公司歸類入光模塊概念 子公司凈利潤占比極小-重點(diǎn)聚焦

閱讀排行

推薦閱讀

阿里深夜干了件大事
，成本暴降90%
！熱點(diǎn)聚焦

青山紙業(yè)：關(guān)注到市場將公司歸類入光模塊概念子公司凈利潤占比極小-重點(diǎn)聚焦