Claude Code到底有多费token？对比实验来了：三大框架最多差30倍

大家都说 Claude Code 浪费 Token，究竟有多费？这回终于有人算出数来了。

最近有个挺有意思的对比实验，来自 Composio 团队。他们用同一个模型 Kimi K3，分别放进三个不同的 agent 框架（harness）里跑 ——Claude Code、Hermes 和 Kimi Code—— 一共测了 28 个完全相同的任务。

结果，三个 harness 完成任务的成功率差不多：Kimi Code 是 28 个里成功 22 个，Hermes 是 21 个，Claude Code 是 20 个。差距不算大。

真正拉开差距的，是 token 消耗。同样一个任务，用不同 harness 跑下来，token 用量最多能差到 30 倍！

中位数来看，Kimi Code 大约用 6.1 万 token，Hermes 大概 6.7 万，而 Claude Code 直接飙到 34 万，差不多是 Kimi Code 的 6 倍。

按 Kimi K3 每百万输入 token 3 美元的价格算（agent 工作流里输入 token 通常占到 95% 左右），平均每个任务的成本大概是：Kimi Code 0.22 美元，Hermes 0.28 美元，Claude Code 则到了 2 美元。差距很明显。

速度方面也不一样。中位数耗时，Hermes 最快，179 秒；Kimi Code 297 秒；Claude Code 348 秒。

所以最快的是 Hermes，最省 token 的是 Kimi Code，两者并不重合。

Composio 团队由此得出一个直接的结论：如果你想降低 agent 的成本，先看看用的是哪个 harness，而不是急着换模型。他们的数据里，harness 本身就能把成本拉开 9 倍，而模型的能力表现其实差不多。

Sebastian Raschka 看到这个结果后也发了帖，说这和他之前用 Qwen3.6 做的观察类似：Claude Code 在成功率相近的情况下，token 用量往往是其他很多 harness 的 2 到 3 倍。

他提出了几个可能的原因：是没怎么优化？是有 bug？还是故意设计成这样（因为在更难的任务上可能有帮助）？他表示需要再花时间仔细查一下。

接着他补充了上个月自己写本地 coding agent 文章时的观察。当时他分析过为什么 Claude Code 用更多 token，发现差异主要出在输入 token，而不是输出 token。也就是说，Claude 并没有多写一倍的内容。日志显示，Claude 的 harness 在多轮交互中会反复把更多上下文塞回模型，包括之前的消息、工具调用、命令输出和文件内容。举个例子，某次 Claude 跑完大约用了 57.8 万输入 token，但输出只有大约 4500 token，跨了 25 轮。所以更可能的解释是，Claude 的 harness 在多步 agent 运行时，会累积或计入更大的 prompt 端历史。

这些测试结果似乎揭示了一个不容忽视的趋势：harness 的重要性已经不亚于模型本身。

最近的一篇论文（来自 Writer，一家做企业级 AI Agent 平台的公司）系统揭示了这一点：它用控制变量实验证明，换一套 harness 层比换模型更能砍成本，而且所有模型都受益。

具体来说，他们开展了一项严格的「控制变量」实验：在 22 个企业任务和 6 个基础模型（Claude Sonnet 4.6、Gemini 3.1、Gemini Flash 3.5、Qwen 3.6、GLM 5.1、Palmyra X6）固定不变的前提下，仅替换编排层 —— 将传统的生产级智能体循环替换为 Writer 自家的 Harness。

实验结果显示：每项任务的平均成本降低 41%（0.21 美元→0.12 美元），中位延迟缩短 44%（48 秒→27 秒），Token 消耗量减少 38%（14.2k→8.8k），而任务完成质量基本持平（0.78→0.81，因样本量较小可视为无显著差异）。在性价比方面，每美元成本所能获得的质量提升高达 82%，同时每百万 Token 能完成的任务数从 54.9 跃升至 92.0。

所以，在模型变成「水电煤」之后，harness 才是那个决定你电费账单的空调？换句话说：以前有人说「模型即产品」，现在是「harness即产品」？

既然 harness 如此重要，那之后的账是不是也应该算得更细一些了？

有人指出，我们有必要在现有的 benchmark 中加入「harness 税」这一项。尤其是考虑到一旦工具调用和重试进入 loop，这笔税不是线性增长。

换句话说，未来的 agent 竞赛，上半场比的是「能不能做」，下半场比的将是「做同样的事，谁更省」—— 而省钱的秘密，不在模型，在 harness。

在跑 Agent 的过程中，你有没有过类似的体验？欢迎在评论区讨论。

文章来自于微信公众号 “机器之心”，作者 “机器之心”