<rss xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title>优化器 - 分类 - lilfry's library</title><link>https://lilfry09.github.io/categories/%E4%BC%98%E5%8C%96%E5%99%A8/</link><description>优化器 - 分类 - lilfry's library</description><generator>Hugo -- gohugo.io</generator><language>zh-CN</language><managingEditor>lilfry@sjtu.edu.cn (lilfry)</managingEditor><webMaster>lilfry@sjtu.edu.cn (lilfry)</webMaster><copyright>All rights reserved.</copyright><lastBuildDate>Tue, 22 Sep 2026 17:17:18 +0800</lastBuildDate><atom:link href="https://lilfry09.github.io/categories/%E4%BC%98%E5%8C%96%E5%99%A8/" rel="self" type="application/rss+xml"/><item><title>坐标谱优化器：用动量学习 PSGD 坐标，再做部分 Muon 谱校正</title><link>https://lilfry09.github.io/ai/coordinate-spectral-optimizer-psgd-muon/</link><pubDate>Tue, 22 Sep 2026 17:17:18 +0800</pubDate><author>fry</author><guid>https://lilfry09.github.io/ai/coordinate-spectral-optimizer-psgd-muon/</guid><description><![CDATA[<p>Muon 的核心动作是对矩阵动量做谱方向校正；PSGD-Kron 的核心动作是在线学习左右预条件因子。把二者直接相加并不能说明谁贡献了什么，因此本文记录一条更具体的组合路径：<strong>用动量 \(M_t\) 拟合 PSGD 的坐标变换，在这个坐标中把原始动量与 Newton–Schulz 谱方向做等范数混合，最后映回参数空间。</strong></p>
<p>在 51M 参数模型、100,663,296 个 FineWeb-Edu 训练 token 上，正式候选为“\(\alpha=0.5\)、用 \(M\) 拟合 \(Q\)、前 256 步每步拟合，之后每 8 步拟合一次”。它在三个全新 seed 上都取得低于 Muon 的全量验证 loss，平均差值为 \(-0.006636\)；代价是平均 wall-clock 高约 7.7%。因此正确的结论是“在这个受控设置下，用额外计算换取稳定但有限的 loss 改善”，而不是“已经普遍超过 Muon”。</p>
<p>本文信息截止到 <strong>2026-09-22</strong>。文中的实验数字来自附带的第二轮算法与 FineWeb 验证记录；它们是当前研究过程中的可复现实验证据，不是已发表论文的 benchmark 结论。</p>]]></description></item></channel></rss>