GRPO 训练 DeepSeek-V3 的数学能力：从 rollout 到参数更新

fry — Sat, 10 Oct 2026 19:20:18 +0800

假设模型面对一道数学题，四次生成中只有一次答对。训练系统不会把标准答案当作交叉熵标签直接喂回模型，而是把四份回答放在一起比较：答对的回答得到正的相对优势，答错的回答得到负的相对优势，再通过当前模型对这些 token 的概率计算梯度。

这就是本文要复原的核心链路：

        
        
        
    
prompt
  → 旧策略采样多份回答
  → reward 函数打分
  → 组内标准化得到 advantage
  → 当前策略重新计算 log-probability
  → ratio + clip + KL 构成 loss
  → backward() 更新 actor 参数

本文只讨论可验证最终答案的数学任务，并使用教学设定解释机制。DeepSeek-V3 的完整训练还包含预训练、SFT、代码与写作等任务，以及从 DeepSeek-R1 系列蒸馏推理能力的后训练流程；下面的数学例子不是官方训练配置的逐项复现。DeepSeek-V3 技术报告，第 5 节

LLM Training - 标签 - lilfry's library

GRPO 训练 DeepSeek-V3 的数学能力：从 rollout 到参数更新