Benchmark - 标签 - lilfry's libraryhttps://lilfry09.github.io/tags/benchmark/Benchmark - 标签 - lilfry's libraryHugo -- gohugo.iozh-CNlilfry@sjtu.edu.cn (lilfry)lilfry@sjtu.edu.cn (lilfry)All rights reserved.Thu, 06 Aug 2026 20:00:00 +0800FullStack-Agent：全栈 Coding Agent 的训练与评测数据是如何构造的https://lilfry09.github.io/ai/fullstack-agent-data-construction/Thu, 06 Aug 2026 20:00:00 +0800fryhttps://lilfry09.github.io/ai/fullstack-agent-data-construction/很多“网页生成 Agent”看起来已经能做出漂亮页面：按钮能点，表单能提交，页面还能弹出“保存成功”。但如果继续追问两步，问题就会暴露出来：数据真的写进数据库了吗？刷新页面之后还能读回来吗？后端 API 是否真的存在？

FullStack-Agent 这篇论文的核心贡献，正是把网站生成从“看起来像全栈”推进到“前端、后端和数据库都能被验证”。不过，论文里更值得仔细看的其实不只是 Agent 框架，而是它的数据构造方法：它如何把真实网站代码库转换成 Coding Agent 的训练轨迹，又如何构造能够识别假后端的评测数据？

本文只讨论这两个问题。论文原文是 FullStack-Agent: Enhancing Agentic Full-Stack Web Coding via Development-Oriented Testing and Repository Back-Translation，代码仓库见 GitHub。

]]>训练模型的长程软件工程能力：从 SWE-Marathon 到 FrontierSWE 与 SWE-Togetherhttps://lilfry09.github.io/ai/long-horizon-swe-agent-training/Mon, 20 Jul 2026 21:30:00 +0800fryhttps://lilfry09.github.io/ai/long-horizon-swe-agent-training/如果要训练模型做长程软件工程任务，最容易走错的一步，是把“长程能力”理解成“更长上下文 + 更多 token”。SWE-Marathon、FrontierSWE 和 SWE-Together 这三组工作放在一起看，会给出一个更锋利的答案：长程能力不是文本长度，而是 在一个可执行环境里，持续维护目标、状态、证据、风险和验证闭环。

SWE-bench 把真实 GitHub issue 变成了可评分 patch，这是很重要的一步。但它主要回答“模型能不能修一个相对局部的问题”。现在这三组新 benchmark 关心的是另一件事：模型能不能像一个还算可靠的工程师那样，连续几个小时推进一个项目，把中途实验、失败、回滚、测试、用户纠偏、最终提交都组织起来。

]]>SWE Agent 数据与评测版图https://lilfry09.github.io/ai/swe-agent-benchmark-data-report/Tue, 14 Jul 2026 20:20:00 +0800fryhttps://lilfry09.github.io/ai/swe-agent-benchmark-data-report/这份 HTML 汇报梳理了 SWE agent 的评测版图、现成轨迹数据、可运行/可构建 SWE 环境资产，以及 rollout factory 和数据合成改进方向。