Coding Agent 数据与评测版图

113 个原创任务，覆盖 91 个仓库和 5 种语言。agent 必须提交 commit，系统只提取 committed diff，再到独立、干净的 verifier container 中应用并运行测试；CTRF 逐条记录测试状态，同时清理未来 git 历史、依赖漂移和部分 flaky tests。主指标仍是 repeated Pass@1，重点是 correctness、复现和防泄漏，不直接给风格或可维护性打分。

从真实 developer-agent 交互中抽取 prompt、committed diff 和 fail-to-pass tests。它先判断任务是否可测试、测试是否与改动有因果关系，再在改动前连续执行三次：前两次 warm-up，第三次必须稳定失败；最终评分只认 executable tests，模型各跑 3 次。论文后续把 benchmark 名称改为 Harvest，arXiv 标题也从 ProdCodeBench 更新为 REAP。

150 个 maintainer-authored tasks，来自 36 个开源仓库。正确性、回归、build / lint、测试正确性和 scope 是 blocker；全部通过后，再对 readability、design 等 non-blocker 做加权评分。它还检查 agent 自写测试能否在 base commit 上失败、改动范围是否合理，并在 v1.1 加入联网防泄漏 scanner。这是目前最接近“代码能否直接合并”的综合评测。

36 个问题、196 个连续 checkpoint，agent 每一阶段都在自己上一阶段的代码上继续开发。除 hidden tests 外，它用复杂度集中度衡量 structural erosion，再用 137 条 AST-Grep 模式和 clone lines / LOC 衡量 verbosity。没有 agent 完整解决任何问题；77% 的轨迹 erosion 上升，75.5% 的轨迹 verbosity 上升。

论文正式标题是 “Can Large Language Models Generate Observability-Aware Code?”。一组任务让 agent 恢复被移除的日志、指标和 tracing，用 Position F1、KeyBag F1 计分；另一组在 Kubernetes 微服务中注入 13 类故障，用 Fault Signal Rate 判断运行时是否真的留下了可定位故障的证据。各模型的 Fault Signal Rate 只有 4.95%–13.99%，加入专项 skill 后最高约 16.53%。

给定 repo 和 issue，在有限 line budget 下返回相关代码区域排序。它把修复之前“先找对上下文”的能力单独拎出来。

用多角度 bug reproduction tests 生成运行时诊断，把测试失败从一个红叉变成可训练的中间信号。

把 software engineering agent 的评测范围，从 issue repair 扩到代码库问答、测试编写和重构。

聚焦文件、函数、行级定位，衡量 agent 在大型仓库里能不能先找对修改位置。

关注多文件、多跳依赖、架构理解和代码库问答，补上最终 patch 指标看不到的理解能力。

评估 skill 文档、microagent、工具说明是不是真的帮到了 agent，而不是只把上下文变长。

SWE-Lancer 更贴近真实付费工程任务；SWE-CI 和 SWE-EVO 则把视角推向 CI、release evolution 和长期维护。