<rss xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title>Pre-Training - 标签 - lilfry's library</title><link>https://lilfry09.github.io/tags/pre-training/</link><description>Pre-Training - 标签 - lilfry's library</description><generator>Hugo -- gohugo.io</generator><language>zh-CN</language><managingEditor>lilfry@sjtu.edu.cn (lilfry)</managingEditor><webMaster>lilfry@sjtu.edu.cn (lilfry)</webMaster><copyright>All rights reserved.</copyright><lastBuildDate>Thu, 29 Oct 2026 21:40:00 +0800</lastBuildDate><atom:link href="https://lilfry09.github.io/tags/pre-training/" rel="self" type="application/rss+xml"/><item><title>读 OPUS：数据选择为什么必须看优化器真正走的方向</title><link>https://lilfry09.github.io/ai/opus-optimizer-aware-data-selection/</link><pubDate>Thu, 29 Oct 2026 21:40:00 +0800</pubDate><author>fry</author><guid>https://lilfry09.github.io/ai/opus-optimizer-aware-data-selection/</guid><description><![CDATA[<p>训练大模型时，我们通常先把数据清洗好，再随机采样训练。这个流程隐含了一个假设：</p>
<p><strong>一条数据的价值在训练开始前就能确定，而且训练到哪一步都差不多。</strong></p>
<p>OPUS 质疑的正是这个假设。同一条数据对初始模型可能很有用，对已经学会相关知识的模型却可能只是在重复；更关键的是，样本的原始梯度并不等于参数最后真正走的方向。AdamW 会按坐标缩放梯度，Muon 会对矩阵梯度做更强的几何变换。若数据选择仍按原始梯度打分，评分系统和真实训练过程就没有对齐。</p>
<p>OPUS 的核心判断可以压成一句话：</p>
<blockquote>
<p>一条样本是否值得现在训练，要看它经过当前优化器处理后，能否把模型推向目标分布需要的方向，同时又不和已经选中的样本重复。</p></blockquote>]]></description></item></channel></rss>