# 研究地图


这里的技术笔记围绕一个问题展开：**大模型与 Agent 如何学习、推理，并完成真实任务？**

如果你第一次来，不必从最新文章开始。下面按四条研究主线组织已有内容：每条线先给一个入口，再从基础概念走向具体方法和工程问题。想按时间浏览，可以回到[全部文章]({{< relref "/posts/_index.md" >}})或 [AI 归档]({{< relref "/AI/_index.md" >}})。

这份地图整理于 **2026-09-22**，是本站已有文章的阅读导航，不是领域的完整综述。论文版本、研究进展与实验边界以各篇正文标注为准；排列顺序表示阅读依赖，不表示方法排名。

<!--more-->

## 从这里开始

| 你想回答的问题 | 主线 | 推荐第一篇 |
| --- | --- | --- |
| Agent 的能力来自模型，还是数据、环境和框架？ | [Agent：数据、环境与系统](#agent-systems) | [Coding Agent 论文与工程调研]({{< relref "/AI/coding-agent最新论文与工程调研.md" >}}) |
| SFT、RL、偏好优化和蒸馏究竟在改变什么？ | [后训练：RL、偏好与蒸馏](#post-training) | [SFT、RL 与 OPD：on-policy data]({{< relref "/AI/读SFT、RL与OPD：后训练真正的变量是 on-policy data.md" >}}) |
| 长上下文、循环深度和生成加速分别省了什么？ | [模型与推理效率](#model-efficiency) | [线性注意力：从注意力矩阵到可递推状态]({{< relref "/AI/线性注意力从头到尾讲清楚：为什么能从二次方变成线性.md" >}}) |
| 训练信号如何变成参数更新，又怎样判断改进是否有效？ | [优化与训练基础](#optimization) | [深度学习优化算法]({{< relref "/posts/深度学习优化算法.md" >}}) |

**主题与文章形式是两个维度。** 下文用“教程、论文精读、综述、工程分析、研究思考、实验记录”说明文章的用途。例如，坐标谱优化器属于“优化与训练基础”，形式则是“实验记录”，不能把它当成已经确立的通用结论。

## Agent：数据、环境与系统 {#agent-systems}

**核心问题：怎样让模型不只生成代码，而是在真实环境中完成可验证、可持续的任务？**

这条线把任务、数据、执行环境和 runtime 放在一起看。建议先了解全貌，再分清“模型学到了什么”和“外部系统替它完成了什么”。

### 推荐阅读顺序

1. **建立全貌 · 综述**：[Coding Agent 论文与工程调研]({{< relref "/AI/coding-agent最新论文与工程调研.md" >}})。先认识模型、数据、环境、评测与 harness 之间的关系，不必第一次就读完所有参考资料。
2. **明确评测对象 · 资料汇报**：[SWE Agent 数据与评测版图]({{< relref "/AI/SWE Agent 数据与评测版图.md" >}})。区分 benchmark、轨迹语料与可运行环境资产；正文提供 HTML 汇报入口。
3. **拆解任务构造 · 论文精读**：[FullStack-Agent 的训练与评测数据]({{< relref "/AI/FullStack-Agent：全栈Coding Agent训练与评测数据是如何构造的.md" >}})。观察真实仓库怎样变成训练轨迹和验证用例。
4. **走向长程任务 · 多论文串讲**：[从 SWE-Marathon 到 FrontierSWE 与 SWE-Together]({{< relref "/AI/训练模型的长程软件工程能力：从SWE-Marathon到FrontierSWE与SWE-Together.md" >}})。继续看阶段反馈、状态管理和长轨迹训练。
5. **补齐执行条件 · 工程分析**：[AgentENV：可分叉的沙箱环境]({{< relref "/AI/AgentENV——agenticRL环境.md" >}})。理解环境启动、隔离、快照与恢复为什么会成为训练系统的一部分。

### 按兴趣继续

| 分支 | 文章 | 带着什么问题读 |
| --- | --- | --- |
| 数据合成 | [Coding Agent 数据合成与 Qwen 调研]({{< relref "/AI/coding agent数据合成-qwen调研.md" >}}) · 综述 | 任务是否可执行、可验证，是否有数据泄漏风险？ |
| 框架边界 | [模型更强之后，Agent 框架如何退到 runtime]({{< relref "/AI/模型更强之后，Agent 框架会怎样退到 runtime.md" >}}) · 研究思考 | 哪些能力应该由模型承担，哪些安全与执行责任不能省？ |
| 轨迹质量 | [轻一点的 harness，强一点的 runtime]({{< relref "/AI/轻一点的 harness，强一点的 runtime：Agent 训练轨迹里的信号问题.md" >}}) · 研究思考 | 成功轨迹中的关键决策究竟是谁做的？ |
| 推理时经验利用 | [让编程智能体从经验中学会思考]({{< relref "/AI/告别盲目堆算力：让AI编程智能体从经验中学会思考.md" >}}) · 论文精读 | 更多尝试如何转化为可复用经验，而不只是重复采样？ |

**这条线的检查点：** 把“任务成功率”拆成模型能力、工具与框架支持、评测条件三部分。想进一步理解轨迹如何训练回模型，接着读下一条后训练主线。

## 后训练：RL、偏好与蒸馏 {#post-training}

**核心问题：训练数据从哪里来，反馈如何进入目标函数，更新后的模型又会改变下一批数据什么？**

先理解训练信号与数据分布，再看具体算法，最后进入异步系统。这样不容易把算法名字的变化误当成训练机制的变化。

### 推荐阅读顺序

1. **统一分布视角 · 方法分析**：[SFT、RL 与 OPD：on-policy data]({{< relref "/AI/读SFT、RL与OPD：后训练真正的变量是 on-policy data.md" >}})。对照外部样本、学生自身生成的数据和不同反馈来源。
2. **补齐偏好基础 · 教程**：[Bradley-Terry 与 Plackett-Luce]({{< relref "/AI/面试高频：Bradley-Terry vs Plackett-Luce，奖励建模到底差在哪.md" >}})。从成对比较走向多候选排序，明确偏好数据表达了什么。
3. **看具体目标 · 论文精读**：[GroupDPO]({{< relref "/AI/GroupDPO.md" >}})。把组级偏好目标与省显存实现分开理解。
4. **拓展反馈来源 · 综述**：[从 Self-Distillation 到 Search Distillation]({{< relref "/AI/蒸馏不只是压缩：从 Self-Distillation 到 Search Distillation 的研究地图.md" >}})。比较输出、轨迹、搜索与验证信息如何进入蒸馏。
5. **落到多教师方法 · 论文精读**：[MOPD：多教师能力合并]({{< relref "/AI/读MOPD：后训练正在从单一RL走向多教师能力合并.md" >}})。继续追问学生分布、教师选择与能力保留。

### 从目标函数走向训练系统

| 分支 | 文章 | 带着什么问题读 |
| --- | --- | --- |
| 整体训练配方 | [OLMo 3：真正重要的是训练信号]({{< relref "/AI/读OLMo3：比新架构更重要的是训练信号.md" >}}) · 论文精读 | 预训练、midtraining 与后训练各自负责什么？ |
| RL 的能力边界 | [Reasoning with Sampling]({{< relref "/AI/读《Reasoning with Sampling》：RL 没让模型变聪明，它只是在重分配推理能力.md" >}}) · 论文精读 | 单次成功率与多次采样覆盖率是否在衡量同一件事？不要把标题判断外推到所有 RL。 |
| 异步执行 | [用 Policy Staleness 换掉全局 Barrier]({{< relref "/AI/异步RL：用Policy-Staleness换掉全局Barrier.md" >}}) · 工程分析 | 吞吐提升换来了多大的数据陈旧性？ |
| MoE 重算一致性 | [R3 与 routing replay]({{< relref "/AI/R3和异步RL：强异步MoE训练中的routing replay问题.md" >}}) · 机制分析 | 路由不一致和 policy staleness 为什么不是一个问题？ |
| 端到端实例 | [397B Agent RL：从 MCP trajectory 到 Fully Async GRPO]({{< relref "/AI/训练 397B 知识工作 Agent：Mercor × SkyRL 的六步 RL 配方，以及 Archipelago 到底负责什么.md" >}}) · 源码分析 | 环境、token trace、reward 和 trainer 怎样串成完整数据流？ |
| 延伸到在线学习 | [Oak Lab：从经验学习到实时智能]({{< relref "/AI/Oak Lab：从经验学习到实时智能的技术路线.md" >}}) · 路线解读 | 离线训练之外，持续经验和信用分配提出了哪些新问题？ |

**这条线的检查点：** 每看到一个“更好”的结果，都先确认生成数据的 policy、反馈粒度、评测采样预算和训练成本是否可比。

## 模型与推理效率 {#model-efficiency}

**核心问题：改变注意力、位置表示、计算深度或生成方式，分别改变了什么成本，又保留了什么能力？**

这里不是把所有“加速方法”放进一个排行榜，而是区分它们处理的瓶颈。长上下文能用、显存更小、FLOPs 更少与真实延迟更低，需要分别验证。

### 推荐阅读顺序

1. **注意力计算 · 教程**：[线性注意力：从注意力矩阵到可递推状态]({{< relref "/AI/线性注意力从头到尾讲清楚：为什么能从二次方变成线性.md" >}})。从计算结构理解复杂度变化，以及状态压缩的边界。
2. **位置与长度 · 论文精读**：[YaRN：别把 RoPE 拉坏了]({{< relref "/AI/读 YaRN：长上下文扩展，核心不是硬拉窗口，而是别把 RoPE 拉坏了.md" >}})。注意它处理的是位置外推，不是线性注意力的同一个问题。
3. **计算深度 · 多论文综述**：[Looped Transformer 与 Elastic-Depth Post-Training]({{< relref "/AI/Looped Transformer 不只是重复计算：从 LoopFormer 到 Elastic-Depth Post-Training.md" >}})。区分参数共享、执行深度与可调推理预算。

### 再选一条生成路线

| 路线 | 文章 | 带着什么问题读 |
| --- | --- | --- |
| 改变生成建模方式 | [DLLM：从掩码扩散到大语言扩散模型]({{< relref "/AI/DLLM方法综述：从掩码扩散到大语言扩散模型.md" >}}) · 综述 | 并行预测如何落到提交策略、缓存和真实吞吐？ |
| 加速现有生成过程 | [Qwen Bebop 与 DeepSeek DSpark]({{< relref "/AI/读Qwen-Bebop与DeepSeek-DSpark：Speculative Decoding正在从技巧变成系统工程.md" >}}) · 论文串讲 | drafter、验证器和负载怎样共同决定收益？ |

**这条线的检查点：** 始终把参数量、实际计算量、显存、延迟和吞吐分开。跨方向比较时，还要保持输出质量、序列长度和硬件条件一致。

## 优化与训练基础 {#optimization}

**核心问题：损失函数产生怎样的信号，优化器怎样改变更新方向，又需要什么实验才能说明改进是真的？**

这一条既放基础教程，也放自己的研究实验。两者承担不同任务：教程建立工具箱，实验记录保留假设、对照和未解决的问题。

### 推荐阅读顺序

1. **先理解参数更新 · 教程**：[深度学习优化算法]({{< relref "/posts/深度学习优化算法.md" >}})。回顾 SGD、AdaGrad、RMSProp 与 Adam，建立动量和自适应尺度的基本概念。
2. **再理解训练信号 · 教程**：[Focal Loss 与类别不平衡]({{< relref "/AI/Focal Loss 是什么？为什么它能解决类别不平衡问题？.md" >}})。区分改变损失权重与改变优化器方向：它们不是同一个层面的干预。
3. **最后看研究过程 · 实验记录**：[坐标谱优化器：PSGD 坐标与部分 Muon 谱校正]({{< relref "/AI/坐标谱优化器：用动量学习 PSGD 坐标，再做部分 Muon 谱校正.md" >}})。沿着公式、消融、跨 seed 验证与成本比较，区分开发集最佳配置和正式验证配置。

**这条线的检查点：** 同 token 数的质量改善不自动等于同 GPU 时间的优势；局部数学性质也不自动构成完整训练的收敛保证。

## 不按栏目读：三条跨主题路线

| 目标 | 建议顺序 | 最终应能说明 |
| --- | --- | --- |
| 搭建可训练的 Coding Agent | Agent 主线的任务与数据 → AgentENV → 后训练主线的异步 RL → 397B 源码实例 | 一个可执行任务怎样产生轨迹，反馈又怎样进入训练 |
| 理解推理计算如何变成能力 | Looped Transformer → Reasoning with Sampling → 蒸馏地图 | 多算几步、增加采样和把经验训练回模型有哪些区别 |
| 判断一个训练改进是否值得采用 | 基础优化算法 → OLMo 3 → 坐标谱优化器实验 | 数据配方、更新规则与计算预算各自贡献了什么 |

这些顺序是阅读建议，不意味着被串联的方法已经在同一实验里联合验证。

## 学习笔记与生活随笔

研究主线之外，[LeetCode]({{< relref "/leetcode/_index.md" >}})保留算法练习，[未定稿]({{< relref "/diary/_index.md" >}})保留生活、阅读和还在形成中的想法。物理复习、建站等笔记仍可从[全部文章]({{< relref "/posts/_index.md" >}})找到。

这张地图只增加一层阅读顺序，不要求每篇文章都服从同一个研究课题。沿着问题阅读，回到证据判断；不必按发布日期把所有文章读完。