The Decoder· Jonathan Kemper·· 3 小时前精选AI 评分78
研究发现:复杂编码智能体框架增加成本但未提升性能
Fancy harnesses make coding agents more expensive but not better, study finds
AI 导读
最新研究指出,Claude Code 等复杂编码智能体框架相比轻量级方案显著增加了 token 消耗和成本,但在 SWE-bench Verified 基准测试中的任务通过率并无统计学意义上的优势。
推荐理由
研究通过控制变量对比发现,复杂编码智能体框架主要增加成本而非提升通过率,为评估工具效能提供了去噪视角。
来源:The Decoder · the-decoder.com