Qwen 混合注意力模型

Qwen最新的注意力架构是其下一代模型Qwen3-Next的核心创新，它通过一种名为**混合注意力（Hybrid Attention）**的机制，旨在解决传统Transformer模型在处理长上下文时计算成本高昂的问题，同时保持甚至提升模型性能。该架构的核心特点可以总结为以下几点：

1. 混合注意力机制：Gated DeltaNet + Gated Attention

Qwen3-Next的注意力层并非单一结构，而是将两种不同的注意力机制以特定比例混合使用，实现了效率与性能的平衡。

• Gated DeltaNet (线性注意力，占75%)：这是一种基于状态空间模型（SSM）的线性注意力机制。其核心优势在于计算复杂度与序列长度呈线性关系（O(N)），而非传统注意力的二次方关系（O(N²)），这使得模型在处理超长文本时效率极高。Gated DeltaNet通过引入门控机制，能够更有效地更新和保留历史信息，在上下文学习（in-context learning）方面表现优于其他线性注意力方案（如滑动窗口注意力和Mamba2）。
• Gated Attention (标准注意力，占25%)：在保留的25%的标准注意力层中，Qwen团队也进行了优化，称为Gated Attention。它在标准注意力的输出上增加了门控机制，以缓解注意力计算中的低秩问题，保证数值稳定性。同时，这些层还进行了其他增强，如将注意力头维度从128扩展至256，并仅对前25%的位置维度添加旋转位置编码（RoPE），以提升模型在超长文本上的外推能力。

这种3:1的混合比例设计，让高效的Gated DeltaNet处理序列中的大部分内容，而强大的Gated Attention则在关键层进行深度信息交互和精细化加工，从而兼顾了长序列处理效率和复杂推理能力。

1. 高稀疏度混合专家（MoE）架构

Qwen3-Next采用了极其稀疏的MoE架构来进一步提升效率。以Qwen3-Next-80B-A3B模型为例，其总参数量高达800亿，但每次推理时仅激活约30亿参数，激活率仅为3.7%。

• 专家规模扩大：相比前代Qwen3-MoE的128个总专家，Qwen3-Next扩展到了512个总专家，并采用10个路由专家加1个共享专家的组合设计。这种设计通过增加专家总数，在不牺牲效果的前提下，最大化地提升了资源利用率。
• 极致的性价比：这种高稀疏度设计使得模型在训练成本上仅为性能相近的Qwen3-32B稠密模型的9.3%左右，实现了极致的训练和推理性价比。

1. 多令牌预测（Multi-Token Prediction, MTP）

Qwen3-Next在主干中原生地集成了多令牌预测机制。与传统的自回归模型一次只预测一个token不同，MTP允许模型在训练时同时预测后续的多个token。

• 提升训练效率：这增加了训练信号的密度，有助于提升模型主干的整体性能。
• 加速推理：MTP为推理时的”推测解码”（Speculative Decoding）技术提供了高质量的草稿模块，通过提高接受率，可以显著加快文本生成速度。

1. 训练稳定性优化

为了确保大规模、长上下文训练的稳定性，Qwen3-Next在多个层面进行了优化：

• 归一化改进：采用了零中心化的RMSNorm（Zero-Centered RMSNorm），并对归一化层的权重施加衰减，以防止权重无界增长。
• MoE路由优化：在初始化时对MoE路由器的参数进行归一化，确保每个专家在训练早期都能被无偏地选中，减小随机性对结果的扰动。

总结#

Qwen3-Next的混合注意力架构通过Gated DeltaNet和Gated Attention的协同工作，结合高稀疏度MoE和多令牌预测，在保持强大模型能力的同时，实现了训练和推理成本的大幅降低。官方数据显示，该架构在长上下文场景下的推理吞吐量相比前代模型提升了10倍以上，训练成本则降低了90%，代表了下一代大模型在追求效率与性能平衡上的重要方向。