刚刚，Kimi K3正式开源！3万亿模型权重全球开放（附开源地址）

就在刚刚，全球首个3万亿参数级开源模型Kimi K3正式开源！

https://huggingface.co/moonshotai/Kimi-K3

https://github.com/MoonshotAI/Kimi-K3/tree/main

https://modelscope.cn/organization/moonshotai

Moonshot AI宣布，发布Kimi K3的模型权重、技术报告，并开源支撑Kimi K3模型训练的关键Infra技术：MoonEP、FlashKDA和AgentEnv。

K3不仅是一个参数量高达2.8T的原生多模态MoE巨兽，更是全球首个在长逻辑链编程、超长上下文智能体协作、复杂推理上，能够与目前最强闭源模型（Fable 5和GPT-5.6 Sol）掰手腕的开源模型！

这一里程碑式的工作，不仅展示了中国AI团队在研发上的雄厚实力，更为开源社区带来了真正意义上的前沿级智能。

K3开放权重，开启3万亿参数级开源AI时代

2026年7月27日，Moonshot AI兑现承诺，Kimi K3的完整模型权重正式面向全球开源社区发布。

这标志着，开源大模型正式进入2.8万亿参数的新纪元，Kimi K3也成为全球首个真正落地的3万亿参数级别开源模型。

此次发布的不仅是模型权重，还包括相关技术细节和报告。

Moonshot表示，他们已与多家推理合作伙伴及开源维护者紧密协作，确保K3能在主流硬件和框架中可靠运行。

这意味着——开发者可以下载完整权重进行本地部署或二次开发；研究机构能基于K3探索超大规模MoE、新型注意力机制等前沿课题；企业可构建专属的超长上下文知识系统和智能Agent集群。

开源社区将迎来新一轮的应用浪潮！

参数规模：把天花板又抬高一截

过去一年，Kimi系列几乎每个季度都在刷新开源模型的参数与能力的天花板。

K3的2.8T参数，不仅是目前已知最大的开源模型之一，更是第一个真正跨入「3T 俱乐部」的存在。

相比前代K2，K3在架构上实现了显著突破：

KDA混合线性注意力机制，专为超长序列设计；

Attention Residuals，提升深层模型的训练稳定性；

MoE大幅优化：896个专家，仅激活16个，结合Stable LatentMoE框架，在保持巨量参数的同时极大提高了计算效率。

官方数据显示，这些创新让K3的整体扩展效率较K2提升约2.5倍，真正做到了「规模」与「可用性」的平衡。

与Kimi K2.5的主要区别在于，Kimi K3的视觉编码器MoonViT-V2完全从零开始训练，仅依赖后续token预测，可直接依据语言建模目标调整编码器的表征。

在整个训练过程中，MoonViT-V2保持稳定。

值得指出的是，MoonViT-V2 在视觉评估中的表现与 SigLIP 初始化的基线模型相当。

它支持100万token超长上下文，并原生具备多模态能力。

总之，K3是架构创新与场景适配的综合进化。

官方技术博客强调：「前沿智能属于所有人」。Kimi K3的开源，正是这一理念的最新实践。

根据Moonshot官方及第三方评测，Kimi K3在编程、代码Agent、前端开发、长上下文推理等场景中表现突出。

它的整体智能水平进入全球第一梯队，仅次于少数闭源顶尖模型，在开源阵营中处于领先地位。

Kimi K3技术报告解读

这次和开源消息一起放出的，是一份47页的技术报告。

以下是技术报告的核心内容。

2.8万亿参数的开源「六边形战士」

Kimi K3告诉我们：开源模型同样可以做到极致的 Scaling与Reasoning。

Kimi K3的核心底座数据堪称豪华：

惊人的体量： 总参数量高达 2.88万亿，每个Token激活参数量为 1040亿。

百万级上下文： 原生支持高达 100万 Token 的超长上下文窗口。

原生多模态： 视觉与文本从预训练第一天起就交织在一起，没有任何后期的「缝合」对齐阶段。

推理期思考缩放（Test-Time Scaling）： 支持从 Low、High 到 Max 多种Thinking Effort级别，在复杂任务上会像人类一样「三思而后行」。

架构三大革新：扩展效率提升2.5倍

训练一个3万亿参数级别的模型，绝非简单地堆叠GPU。

Kimi K3相比上一代 Kimi K2，在整体扩展效率上实现了约2.5倍的飞跃。

这归功于其极其优雅且暴力的架构设计。

1.混合注意力机制：KDA + Gated MLA

传统的Softmax注意力机制在处理百万级上下文时，KV Cache的内存占用会瞬间撑爆显存。Kimi K3独创性地采用了 混合架构——

每一个Block包含3层Kimi Delta Attention (KDA) 和1层 Gated MLA。  

KDA（线性注意力）： 负责高效的长序列混合，将冗长的上下文压缩成固定大小的循环状态，彻底打破了上下文长度的内存诅咒。

Gated MLA（全局注意力）： 周期性地保留极致的全局信息检索能力。

这种「3:1」的搭配，既保住了长文本的命，又留住了找细节的魂。

2.注意力残差（Attention Residuals）

在极深的网络中，信息往往会在层层传递中损耗。Kimi K3引入了Attention Residuals，允许当前层「跨级」直接读取之前所有层的特征表示。这就像是给模型装上了直达电梯，信息流转不再拥堵。

3.稳如泰山的超稀疏 MoE (Stable LatentMoE)

Kimi K3 的路由专家数量暴增至896个，每个Token激活16个专家。为了在极度稀疏（极少部分参数被激活）的情况下保持训练稳定，Kimi 团队祭出了两大杀器。

SiTU-GLU激活函数完美解决了传统SwiGLU在极端规模下容易导致激活值爆炸的问题。

Quantile Balancing（分位数负载均衡） 摒弃了传统的辅助损失函数，采用动态调整偏差的方式，让896个专家「不闲着也不累坏」，实现了近乎完美的负载均衡。

百万Token的Agent进化论：K3 是如何炼成的？

大模型的强大不仅在于预训练，更在于「后训练/RL」。Kimi K3的强化学习完全是为 「100万Token 超长视距的智能体」量身定制的。

1.极度复杂的白盒沙盒训练 (AgentENV)

Kimi K3 的训练环境不再是简单的问答，而是真实的模拟器。月之暗面开发了基于微型虚拟机（microVM）的沙盒 AgentENV。

在这个环境里，Kimi K3会历经成百上千个步骤：写代码、截图、查Bug、自我修正。它甚至在模拟的Slack、Notion、Gmail环境中扮演人类员工，处理跨越「虚拟数天」的超长待机任务。

2.知识图谱引导的任务合成

为了让模型见多识广，研发团队构建了一个自我进化的知识图谱，让爬虫智能体在全网自动抓取、合成涵盖从天体物理到前端开发的各种高难度验证任务，以此来「折磨」K3。

3.多层思考的蒸馏 (MOPD)

Kimi K3交叉训练了通用、智能体、代码三大领域的专家模型，并在低、高、极限三个「思考努力」级别上进行强化学习。

最后，通过多教师在策略蒸馏（Multi-Teacher On-Policy Distillation），将这些强大的能力浓缩到了一个统一的模型中。

算力与基础设施的极限压榨

2.8T 参数、1M上下文，这不仅是对算法的考验，更是对系统工程的史诗级挑战。

Kimi Infra团队交出了一份惊艳的答卷。

MoonEP（零浪费的专家并行）：在MoE训练中，算力不均是常态。MoonEP 通过极其精妙的在线整数线性规划和「零拷贝」通信，实现了完全动态且绝对平衡的算力分配。

KDA融合Prefix Cache：针对混合架构，团队重写了底层推理引擎，让KDA的循环状态与MLA的KV Cache能够在一个内存池中完美共享与复用。这意味着，处理包含数十万字相同前缀的请求时，K3的响应速度将有指数级的提升。

实测表现：逼近甚至超越人类极客

在报告展示的全面评测中，Kimi K3在各项公开与内部基准测试中，全面超越了Claude Opus 4.8、GLM-5.2 和 GPT-5.5，并逼近目前最强的Claude Fable 5 和 GPT-5.6 Sol。

Kimi K3在真实极客任务中的表现，非常惊人。

找出Linux内核的Zero-Day漏洞（网络安全测试）

在极度硬核的网络安全评估中，Kimi K3不仅能通过已知漏洞编写Exploit（漏洞利用程序），竟然还在最新的Linux内核代码中，独立发现了多个未知的零日漏洞（Zero-Day）！

包括一个远程触发的堆越界写入和一个本地提权漏洞，这些发现已得到人类安全专家的验证。

爆改GPU编译器

Kimi K3独立开发了一个名为MiniTriton的GPU编译器，包含完整的代码生成管线，并在极高难度的大核算子（如KDA、DSA）优化中，将运行时间缩短了70%以上，逼近硬件的理论极限。

48小时内设计出一颗芯片（Nano-KPU）

作为一个早期概念验证，K3被关在沙盒里48小时，完全自主地使用开源EDA工具，从零开始设计、优化并验证了一颗基于45nm工艺的AI推理芯片，最终成功通过了时序闭合！

替代科研人员打工

为了复现天体物理学中的某个普遍关系，K3自主阅读了20多篇论文，编写了超过3000行Python代码搭建完整数值管道，找出了已发表论文公式中的矛盾点，并生成了可交互的数据面板。人类需要一到两周的工作，K3在两个小时内完成了。

极致的性价比

性能比肩最强闭源模型，那推理成本呢？

得益于量化感知训练（MXFP4权重/MXFP8激活）、投机解码（Draft Model）以及系统底层的疯狂优化，Kimi K3的性价比极其恐怖。

在第三方平台Artificial Analysis的统计中，Kimi K3在保持第一梯队性能的同时，在BrowseComp基准上单次任务的成本仅为GPT-5.6 Sol的一半，甚至比Claude Fable 5便宜了近乎一个数量级！

硅谷集体发声：支持开源！

最近，近200家硅谷创始人联合表态，反对美国政府切断美国企业获取开源大模型的渠道。

就在本周末，老黄在X上发出了人生第一推，25家企业联合署名表示：开源为什么重要。

这25家名单里，有英伟达、微软、Meta、IBM、a16z、YC等等，几乎囊括了硅谷的半壁江山。

毫无疑问，就在这个风口浪尖，K3的全面开源，更是意义重大。

在今日的Arena.ai榜单上，Kimi K3仍是全球第一

开源之光，点亮前沿智能

国产开源路线，也是面对闭源巨头的一次弯道超车的机会。

可以预计，随着K3权重的全面开放，大量社区优化版本、本地部署方案和垂直应用会蓬勃而出。

曾经Llama的开源，让Meta一举打破了闭源巨头垄断，彻底点燃了全球开源AI社区的热情，催生了无数衍生模型和应用。

如今，以K3为代表的中国开源AI的崛起，或许将彻底改变全球大模型的游戏规则。

据传，Kimi团队周五一家酒吧举行庆功活动。现场大屏写着「K3，扩容升级」「K4，给我狠狠干到极致」「冲上月球」。爆料还称，团队包下多个卡座，月之暗面联合创始人、总裁疑似现身

而就在Kimi K3开放权重几小时前，Kimi K 3.1传出将于下月发布。

「虽然在整体表现上，Kimi K3仍略微落后于最强大的闭源模型，但它已经稳稳确立了开源领域的全新边界。」

Kimi K3的横空出世，打破了「只有闭源巨头才能玩转百万级Agent和慢思考」的偏见。

当代码、权重和技术细节毫无保留地开放，属于开源AI的星辰大海，才刚刚开始。

参考资料：

https://huggingface.co/moonshotai/Kimi-K3

https://github.com/MoonshotAI/Kimi-K3/tree/main

https://modelscope.cn/organization/moonshotai

文章来自于微信公众号 “新智元”，作者 “新智元”