后训练的主线，可能正在从“用一个奖励函数把模型直接 RL 到更强”，转向“先训练多个能力专家，再用 on-policy distillation 把这些能力合并回一个主模型”。

如果说 SFT 是教模型模仿答案，DPO/RL 是教模型偏向更好的行为，那么 Multi-Teacher On-Policy Distillation 更像是在回答另一个问题：

当我们已经用不同数据、不同奖励、不同阶段训练出了多个强 teacher，怎样把它们稳定地压回一个 student，而不是靠简单模型融合或离线蒸馏丢掉能力？