蒸馏不只是压缩：从 Self-Distillation 到 Search Distillation 的研究地图

把 model、data、weight、verifier 和 search 放到同一张信息迁移图里

2026-08-09 约 1938 字预计阅读 4 分钟

最近我在整理蒸馏方向时，最大的感觉是：这个词被说窄了。

很多人一提 distillation，脑子里先出现的是模型压缩、logit 对齐、teacher/student 这一套老图景。但一旦把它放回后训练和推理系统里看，蒸馏真正传递的常常不是“答案”，而是搜索方式、更新方式、判断方式，甚至是数据该怎么长出来。

如果把它重新定义成“一个学习过程，把可迁移的信息结构交给另一个学习过程”，那它就不再只是压缩术，而是一张更大的信息迁移图。

先换一个定义

我更愿意把蒸馏理解成下面这件事：

Model → Model
Model → Data
Model → Weight
Model → Optimizer
Model → Verifier
Search → Model
RL → SFT
SFT → RL
Inference → Training
Teacher → Teacher
Student → Student
Model A ↔ Model B

这张图的重点不在“谁教谁”，而在“信息到底从哪条路径迁移”。只要你接受这个定义，很多原本看起来彼此无关的工作就会连起来。

一张研究地图

方向	核心问题	为什么重要
Self-Distillation	能不能自己教自己	同一模型在不同信息状态下学习
On-policy Distillation	能不能在 student 自己会走到的状态上学习	把稀疏奖励变成更密的反馈
Search Distillation	能不能把 test-time search 压回参数里	把推理时计算变成训练信号
Process Distillation	能不能蒸馏 reasoning process 而不只是答案	让模型学会“怎么想”
Weight / Update Distillation	能不能直接学 `ΔW`	逼近 optimizer learning / meta-learning
Verifier / Critic Distillation	能不能把“判对错”也独立蒸馏	让 solver 和 judge 分工
Capability Distillation	能不能只蒸馏某一项能力	更适合路由、MoE 和专家合并
Dataset Distillation	能不能连训练样本分布也一起压缩	反过来塑造课程和数据选择

我最看好的几个交叉点

1. On-policy Distillation

这个方向最像“把 RL 的缺点补上，但又不完全变成 RL”。

传统蒸馏是 teacher 先生成轨迹，student 再模仿；问题是 student 学到的往往只是 teacher distribution。On-policy distillation 更像是让 student 先自己 rollout，再由 teacher 在这些轨迹上逐步给密集信号。

它的价值在于：student 学的不是老师“平时怎么写”，而是自己真的会走到什么状态、会在哪些位置犯错、需要怎样的修正。

2. Self-Distillation + Privileged Information

这类方法更有意思的地方，是“同一个模型，两个信息状态”。

student 处在普通上下文里，teacher 或 critic 处在拥有 ground truth、更多上下文、或者更强判断力的状态里。于是 teacher 不一定直接给答案，而是给 correction、alternative trajectory、token-level preference，甚至直接指出哪一步错了。

这就很像一种 learning with privileged information，而不是传统意义上的大模型教小模型。

3. Search Distillation

这个方向我尤其看好。

假设一个 reasoning model 先生成很多条 trajectory，再经过 verifier、reranking、best-of-N、MCTS 或 tree search 找到最好的一条。部署时你当然不想真的跑那么多次搜索，所以最自然的想法就是：

把 inference-time compute 蒸馏回 model parameters。

换句话说，100x inference compute 变成 1x inference compute，中间靠的不是硬裁剪，而是把 search 的结果学进参数里。

4. Process Distillation

这比蒸馏答案更进一步。

答案只告诉你“最后对了什么”，process 则告诉你“中间是怎么对的”。如果把中间的推理步骤、隐藏状态轨迹、uncertainty、verifier state、attention pattern 也纳入蒸馏对象，蒸馏就开始接近 computation transfer，而不只是 knowledge transfer。

5. Weight / Update Distillation

weight learning 之所以迷人，是因为它让我们开始问另一个问题：

不是只看 f_{W_t}(x)，而是直接看 W_t -> W_t + ΔW_t。

如果我们能从训练轨迹里学到“什么样的数据会带来什么样的更新”，那蒸馏的对象就不再只是输出，而是更新规则本身。这已经很接近 meta-learning 和 optimizer learning 的交界了。

如果要押注 3 到 5 年

我会把优先级排成这样：

级别	方向
S	On-policy distillation
S	Search distillation
S	Self-distillation + privileged information
S	Process / latent distillation
S	Verifier / critic distillation
S	Weight / update distillation
A	Recursive self-improvement
A	Capability-specific distillation
A	Mutual / reciprocal distillation
A	Dataset distillation
A	Cross-model / cross-architecture distillation

这里的意思不是“谁更热闹”，而是“谁更像后训练里真实存在的基础设施”。

Recursive Self-Improvement 只是外壳

RSI 往往被讲得很抽象，但如果把它拆开看，真正的问题只有一个：

每一轮新增的信息从哪里来？

可能来自 search，来自 verifier，来自 environment，来自 tool，来自 ground truth，来自另一个模型，来自 privileged information，来自 synthetic curriculum，甚至来自 weight trajectory 或 self-generated hard cases。

所以我更愿意把 RSI 看成蒸馏的一种循环形式：

Model M0
  ↓
generate data
  ↓
train M1
  ↓
M1 generates better data
  ↓
train M2
  ↓
...

当这条链路跑顺了，蒸馏就不再是一次性的 teacher/student，而是一个不断自举的信息系统。

结尾

蒸馏最近很容易被狭义理解成“模型压缩”，但那只是它最老的一层皮。

如果把蒸馏看成信息迁移机制，那么真正值得研究的，就不只是“老师怎么教学生”，而是：

哪类信息值得迁移；
应该在什么阶段迁移；
是迁移输出、过程、更新，还是判断能力；
最后能不能把 search、RL、SFT、verifier 和 data 串成一条闭环。

对我来说，Search Distillation + On-policy Distillation + Weight/Update Distillation 是最有意思的交叉点。它们共同指向的不是一个更小的模型，而是一种更会搬运计算的模型。

目录