<rss xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title>Optimizer - 标签 - lilfry's library</title><link>https://lilfry09.github.io/tags/optimizer/</link><description>Optimizer - 标签 - lilfry's library</description><generator>Hugo -- gohugo.io</generator><language>zh-CN</language><managingEditor>lilfry@sjtu.edu.cn (lilfry)</managingEditor><webMaster>lilfry@sjtu.edu.cn (lilfry)</webMaster><copyright>All rights reserved.</copyright><lastBuildDate>Thu, 29 Oct 2026 21:40:00 +0800</lastBuildDate><atom:link href="https://lilfry09.github.io/tags/optimizer/" rel="self" type="application/rss+xml"/><item><title>读 OPUS：数据选择为什么必须看优化器真正走的方向</title><link>https://lilfry09.github.io/ai/opus-optimizer-aware-data-selection/</link><pubDate>Thu, 29 Oct 2026 21:40:00 +0800</pubDate><author>fry</author><guid>https://lilfry09.github.io/ai/opus-optimizer-aware-data-selection/</guid><description><![CDATA[<p>训练大模型时，我们通常先把数据清洗好，再随机采样训练。这个流程隐含了一个假设：</p>
<p><strong>一条数据的价值在训练开始前就能确定，而且训练到哪一步都差不多。</strong></p>
<p>OPUS 质疑的正是这个假设。同一条数据对初始模型可能很有用，对已经学会相关知识的模型却可能只是在重复；更关键的是，样本的原始梯度并不等于参数最后真正走的方向。AdamW 会按坐标缩放梯度，Muon 会对矩阵梯度做更强的几何变换。若数据选择仍按原始梯度打分，评分系统和真实训练过程就没有对齐。</p>
<p>OPUS 的核心判断可以压成一句话：</p>
<blockquote>
<p>一条样本是否值得现在训练，要看它经过当前优化器处理后，能否把模型推向目标分布需要的方向，同时又不和已经选中的样本重复。</p></blockquote>]]></description></item><item><title>坐标谱优化器：用动量学习 PSGD 坐标，再做部分 Muon 谱校正</title><link>https://lilfry09.github.io/ai/coordinate-spectral-optimizer-psgd-muon/</link><pubDate>Tue, 22 Sep 2026 17:17:18 +0800</pubDate><author>fry</author><guid>https://lilfry09.github.io/ai/coordinate-spectral-optimizer-psgd-muon/</guid><description><![CDATA[<p>Muon 的核心动作是对矩阵动量做谱方向校正；PSGD-Kron 的核心动作是在线学习左右预条件因子。把二者直接相加并不能说明谁贡献了什么，因此本文记录一条更具体的组合路径：<strong>用动量 \(M_t\) 拟合 PSGD 的坐标变换，在这个坐标中把原始动量与 Newton–Schulz 谱方向做等范数混合，最后映回参数空间。</strong></p>
<p>在 51M 参数模型、100,663,296 个 FineWeb-Edu 训练 token 上，正式候选为“\(\alpha=0.5\)、用 \(M\) 拟合 \(Q\)、前 256 步每步拟合，之后每 8 步拟合一次”。它在三个全新 seed 上都取得低于 Muon 的全量验证 loss，平均差值为 \(-0.006636\)；代价是平均 wall-clock 高约 7.7%。因此正确的结论是“在这个受控设置下，用额外计算换取稳定但有限的 loss 改善”，而不是“已经普遍超过 Muon”。</p>
<p>本文信息截止到 <strong>2026-09-22</strong>。文中的实验数字来自附带的第二轮算法与 FineWeb 验证记录；它们是当前研究过程中的可复现实验证据，不是已发表论文的 benchmark 结论。</p>]]></description></item></channel></rss>