混合架构模型跑Agent,预填充吞吐再提升3倍!FlashStates重新设计混合状态缓存
混合架构模型跑Agent,预填充吞吐再提升3倍!FlashStates重新设计混合状态缓存Kimi Delta Attention(KDA)、Gated DeltaNet(GDN)、Mamba-2 等线性注意力与状态空间层,正在成为开源大模型的常见组件。Kimi K3.1 Pro、GLM-5.3-Flash、Qwen3.8-Flash-Next、Nemotron 3 Super 都采用了「全注意力 + 线性层」的混合架构,以换取更快的解码和更小的 KV Cache。
来自主题: AI技术研报
8570 点击 2026-11-17 10:05