<rss xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title>DPO - 标签 - lilfry's library</title><link>https://lilfry09.github.io/tags/dpo/</link><description>DPO - 标签 - lilfry's library</description><generator>Hugo -- gohugo.io</generator><language>zh-CN</language><managingEditor>lilfry@sjtu.edu.cn (lilfry)</managingEditor><webMaster>lilfry@sjtu.edu.cn (lilfry)</webMaster><copyright>All rights reserved.</copyright><lastBuildDate>Tue, 05 May 2026 00:00:00 +0800</lastBuildDate><atom:link href="https://lilfry09.github.io/tags/dpo/" rel="self" type="application/rss+xml"/><item><title>GroupDPO: Memory efficient Group-wise Direct Preference Optimization</title><link>https://lilfry09.github.io/ai/groupdpo-group-wise-preference-optimization/</link><pubDate>Tue, 05 May 2026 00:00:00 +0800</pubDate><author>fry</author><guid>https://lilfry09.github.io/ai/groupdpo-group-wise-preference-optimization/</guid><description>GroupDPO 将 DPO 从一正一负的单对偏好扩展到多候选回答组，并通过一阶梯度等价的 surrogate loss 降低显存开销。</description></item><item><title>面试高频：Bradley-Terry vs Plackett-Luce，奖励建模到底差在哪</title><link>https://lilfry09.github.io/ai/bt-vs-pl-ranking-in-alignment/</link><pubDate>Wed, 08 Apr 2026 14:20:00 +0800</pubDate><author>fry</author><guid>https://lilfry09.github.io/ai/bt-vs-pl-ranking-in-alignment/</guid><description>一句话：BT 是 PL 在候选数 N=2 时的特例。BT 更轻、更稳、更适合现有 RLHF/DPO；PL 信息更全，但标注和训练成本显著更高。</description></item><item><title>读 OLMo 3：真正重要的不是新架构，而是训练信号</title><link>https://lilfry09.github.io/ai/olmo3-training-signals/</link><pubDate>Mon, 06 Apr 2026 19:00:00 +0800</pubDate><author>fry</author><guid>https://lilfry09.github.io/ai/olmo3-training-signals/</guid><description><![CDATA[<p>最近读 <code>OLMo 3</code>，我最大的感受不是“开源社区又做出了一个更强的模型”，而是它把一件经常被说得很模糊的事情讲清楚了：</p>
<p><strong>一个大模型最终会长成什么样，核心不是由几处架构微调决定，而是由它在每个阶段反复接收到什么训练信号决定。</strong></p>
<p>这句话听起来很朴素，但如果真把它想透，很多关于 LLM 的问题都会变得更清楚。为什么有些模型底座不差，后训练却拉不上去？为什么有些模型上下文窗口变长了，却还是不会真正利用长上下文？为什么有些 RL recipe 看起来很先进，最后却没有明显收益？答案往往不在“结构又改了什么”，而在“梯度到底从哪里来”。</p>]]></description></item></channel></rss>