研究地图
大模型与 Agent 如何学习、推理，并完成真实任务
这里的技术笔记围绕一个问题展开：大模型与 Agent 如何学习、推理，并完成真实任务？
如果你第一次来，不必从最新文章开始。下面按四条研究主线组织已有内容：每条线先给一个入口，再从基础概念走向具体方法和工程问题。想按时间浏览，可以回到全部文章或 AI 归档。
这份地图整理于 2026-09-22，是本站已有文章的阅读导航，不是领域的完整综述。论文版本、研究进展与实验边界以各篇正文标注为准；排列顺序表示阅读依赖，不表示方法排名。
从这里开始
| 你想回答的问题 | 主线 | 推荐第一篇 |
|---|---|---|
| Agent 的能力来自模型，还是数据、环境和框架？ | Agent：数据、环境与系统 | Coding Agent 论文与工程调研 |
| SFT、RL、偏好优化和蒸馏究竟在改变什么？ | 后训练：RL、偏好与蒸馏 | SFT、RL 与 OPD：on-policy data |
| 长上下文、循环深度和生成加速分别省了什么？ | 模型与推理效率 | 线性注意力：从注意力矩阵到可递推状态 |
| 训练信号如何变成参数更新，又怎样判断改进是否有效？ | 优化与训练基础 | 深度学习优化算法 |
主题与文章形式是两个维度。 下文用“教程、论文精读、综述、工程分析、研究思考、实验记录”说明文章的用途。例如，坐标谱优化器属于“优化与训练基础”，形式则是“实验记录”，不能把它当成已经确立的通用结论。
Agent：数据、环境与系统
核心问题：怎样让模型不只生成代码，而是在真实环境中完成可验证、可持续的任务？
这条线把任务、数据、执行环境和 runtime 放在一起看。建议先了解全貌，再分清“模型学到了什么”和“外部系统替它完成了什么”。
推荐阅读顺序
- 建立全貌 · 综述：Coding Agent 论文与工程调研。先认识模型、数据、环境、评测与 harness 之间的关系，不必第一次就读完所有参考资料。
- 明确评测对象 · 资料汇报：SWE Agent 数据与评测版图。区分 benchmark、轨迹语料与可运行环境资产；正文提供 HTML 汇报入口。
- 拆解任务构造 · 论文精读：FullStack-Agent 的训练与评测数据。观察真实仓库怎样变成训练轨迹和验证用例。
- 走向长程任务 · 多论文串讲：从 SWE-Marathon 到 FrontierSWE 与 SWE-Together。继续看阶段反馈、状态管理和长轨迹训练。
- 补齐执行条件 · 工程分析：AgentENV：可分叉的沙箱环境。理解环境启动、隔离、快照与恢复为什么会成为训练系统的一部分。
按兴趣继续
| 分支 | 文章 | 带着什么问题读 |
|---|---|---|
| 数据合成 | Coding Agent 数据合成与 Qwen 调研 · 综述 | 任务是否可执行、可验证，是否有数据泄漏风险？ |
| 框架边界 | 模型更强之后，Agent 框架如何退到 runtime · 研究思考 | 哪些能力应该由模型承担，哪些安全与执行责任不能省？ |
| 轨迹质量 | 轻一点的 harness，强一点的 runtime · 研究思考 | 成功轨迹中的关键决策究竟是谁做的？ |
| 推理时经验利用 | 让编程智能体从经验中学会思考 · 论文精读 | 更多尝试如何转化为可复用经验，而不只是重复采样？ |
这条线的检查点： 把“任务成功率”拆成模型能力、工具与框架支持、评测条件三部分。想进一步理解轨迹如何训练回模型，接着读下一条后训练主线。
后训练：RL、偏好与蒸馏
核心问题：训练数据从哪里来，反馈如何进入目标函数，更新后的模型又会改变下一批数据什么？
先理解训练信号与数据分布，再看具体算法，最后进入异步系统。这样不容易把算法名字的变化误当成训练机制的变化。
推荐阅读顺序
- 统一分布视角 · 方法分析：SFT、RL 与 OPD：on-policy data。对照外部样本、学生自身生成的数据和不同反馈来源。
- 补齐偏好基础 · 教程：Bradley-Terry 与 Plackett-Luce。从成对比较走向多候选排序，明确偏好数据表达了什么。
- 看具体目标 · 论文精读：GroupDPO。把组级偏好目标与省显存实现分开理解。
- 拓展反馈来源 · 综述：从 Self-Distillation 到 Search Distillation。比较输出、轨迹、搜索与验证信息如何进入蒸馏。
- 落到多教师方法 · 论文精读：MOPD：多教师能力合并。继续追问学生分布、教师选择与能力保留。
从目标函数走向训练系统
| 分支 | 文章 | 带着什么问题读 |
|---|---|---|
| 整体训练配方 | OLMo 3：真正重要的是训练信号 · 论文精读 | 预训练、midtraining 与后训练各自负责什么？ |
| RL 的能力边界 | Reasoning with Sampling · 论文精读 | 单次成功率与多次采样覆盖率是否在衡量同一件事？不要把标题判断外推到所有 RL。 |
| 异步执行 | 用 Policy Staleness 换掉全局 Barrier · 工程分析 | 吞吐提升换来了多大的数据陈旧性？ |
| MoE 重算一致性 | R3 与 routing replay · 机制分析 | 路由不一致和 policy staleness 为什么不是一个问题？ |
| 端到端实例 | 397B Agent RL：从 MCP trajectory 到 Fully Async GRPO · 源码分析 | 环境、token trace、reward 和 trainer 怎样串成完整数据流？ |
| 延伸到在线学习 | Oak Lab：从经验学习到实时智能 · 路线解读 | 离线训练之外，持续经验和信用分配提出了哪些新问题？ |
这条线的检查点： 每看到一个“更好”的结果，都先确认生成数据的 policy、反馈粒度、评测采样预算和训练成本是否可比。
模型与推理效率
核心问题：改变注意力、位置表示、计算深度或生成方式，分别改变了什么成本，又保留了什么能力？
这里不是把所有“加速方法”放进一个排行榜，而是区分它们处理的瓶颈。长上下文能用、显存更小、FLOPs 更少与真实延迟更低，需要分别验证。
推荐阅读顺序
- 注意力计算 · 教程：线性注意力：从注意力矩阵到可递推状态。从计算结构理解复杂度变化，以及状态压缩的边界。
- 位置与长度 · 论文精读：YaRN：别把 RoPE 拉坏了。注意它处理的是位置外推，不是线性注意力的同一个问题。
- 计算深度 · 多论文综述：Looped Transformer 与 Elastic-Depth Post-Training。区分参数共享、执行深度与可调推理预算。
再选一条生成路线
| 路线 | 文章 | 带着什么问题读 |
|---|---|---|
| 改变生成建模方式 | DLLM：从掩码扩散到大语言扩散模型 · 综述 | 并行预测如何落到提交策略、缓存和真实吞吐？ |
| 加速现有生成过程 | Qwen Bebop 与 DeepSeek DSpark · 论文串讲 | drafter、验证器和负载怎样共同决定收益？ |
这条线的检查点： 始终把参数量、实际计算量、显存、延迟和吞吐分开。跨方向比较时，还要保持输出质量、序列长度和硬件条件一致。
优化与训练基础
核心问题：损失函数产生怎样的信号，优化器怎样改变更新方向，又需要什么实验才能说明改进是真的？
这一条既放基础教程，也放自己的研究实验。两者承担不同任务：教程建立工具箱，实验记录保留假设、对照和未解决的问题。
推荐阅读顺序
- 先理解参数更新 · 教程：深度学习优化算法。回顾 SGD、AdaGrad、RMSProp 与 Adam，建立动量和自适应尺度的基本概念。
- 再理解训练信号 · 教程：Focal Loss 与类别不平衡。区分改变损失权重与改变优化器方向：它们不是同一个层面的干预。
- 最后看研究过程 · 实验记录：坐标谱优化器：PSGD 坐标与部分 Muon 谱校正。沿着公式、消融、跨 seed 验证与成本比较，区分开发集最佳配置和正式验证配置。
这条线的检查点： 同 token 数的质量改善不自动等于同 GPU 时间的优势；局部数学性质也不自动构成完整训练的收敛保证。
不按栏目读：三条跨主题路线
| 目标 | 建议顺序 | 最终应能说明 |
|---|---|---|
| 搭建可训练的 Coding Agent | Agent 主线的任务与数据 → AgentENV → 后训练主线的异步 RL → 397B 源码实例 | 一个可执行任务怎样产生轨迹，反馈又怎样进入训练 |
| 理解推理计算如何变成能力 | Looped Transformer → Reasoning with Sampling → 蒸馏地图 | 多算几步、增加采样和把经验训练回模型有哪些区别 |
| 判断一个训练改进是否值得采用 | 基础优化算法 → OLMo 3 → 坐标谱优化器实验 | 数据配方、更新规则与计算预算各自贡献了什么 |
这些顺序是阅读建议，不意味着被串联的方法已经在同一实验里联合验证。
学习笔记与生活随笔
研究主线之外，LeetCode保留算法练习，未定稿保留生活、阅读和还在形成中的想法。物理复习、建站等笔记仍可从全部文章找到。
这张地图只增加一层阅读顺序，不要求每篇文章都服从同一个研究课题。沿着问题阅读，回到证据判断；不必按发布日期把所有文章读完。