新基准 Taste-Bench 显示 AI 智能体长期决策能力不足
研究人员推出 Taste-Bench 基准,旨在评估 AI 智能体在长期任务中的决策“品味”,即选择高质量实施路径而非仅关注最终结果的能力。该基准包含 502 个问题,利用历史运行轨迹中的“决策分叉点”让模型判断哪条路径更优。
研究人员推出 Taste-Bench 基准,旨在评估 AI 智能体在长期任务中的决策“品味”,即选择高质量实施路径而非仅关注最终结果的能力。该基准包含 502 个问题,利用历史运行轨迹中的“决策分叉点”让模型判断哪条路径更优。
GitHub 发布 ReviewBench,这是一个用于评估 AI 代码审查智能体的开放基准。该基准基于对 GitHub 上 1.039 亿个真实 Pull Request 的分析构建,包含覆盖 19 种语言的 219 个代表性 PR。
推荐理由:GitHub 开源了基于亿级真实 PR 分布构建的代码审查基准 ReviewBench,提供了可复现的离线评估方法以辅助模型迭代。