lilfry's libraryhttps://lilfry09.github.io/记录LLM，agent，算法与leetcode，还有一些随想。Hugo -- gohugo.iozh-CNlilfry@sjtu.edu.cn (lilfry)lilfry@sjtu.edu.cn (lilfry)All rights reserved.Tue, 18 Aug 2026 13:38:45 +0800Looped Transformer 不只是重复计算：从 LoopFormer 到 Elastic-Depth Post-Traininghttps://lilfry09.github.io/ai/looped-transformer-elastic-depth-post-training/Tue, 18 Aug 2026 13:38:45 +0800fryhttps://lilfry09.github.io/ai/looped-transformer-elastic-depth-post-training/Looped Transformer 最容易被误解成一句话：把同一组 Transformer block 多跑几遍，用时间换参数。

这句话没有错，但它跳过了真正困难的部分。共享参数只回答了“循环什么”，没有回答另外三个问题：模型如何知道自己处在第几次循环？短预算为什么仍然能给出有用结果？增加循环时，hidden state 为什么不会漂移、坍缩或者干脆变差？

把近期工作放到同一张图里看，我更关心的研究命题不是再从头训练一个固定循环次数的模型，而是：

Elastic-Depth Post-Training：能否把已有的固定深度或固定循环模型，改造成计算预算可调、迭代过程稳定、并能按样本自动停止的模型？

LoopFormer 给出了全局预算和 trajectory consistency；LoopUS 展示了如何改造 pretrained LLM，并用 selective update 与 confidence exit 控制迭代；Relaxed Recursive Transformers 则提供了“共享主参数、保留深度角色”的折中。三条路线尚未被组合验证，但它们拼出了一个比“多循环几次”更完整的研究问题。

本文信息截止到 2026-08-18。文中的数值若无特别说明，均为相应论文在其模型、数据和硬件设置下的报告，不能直接外推到其他模型规模或真实部署吞吐。

]]>蒸馏不只是压缩：从 Self-Distillation 到 Search Distillation 的研究地图https://lilfry09.github.io/ai/distillation-beyond-compression-research-map/Sun, 09 Aug 2026 21:30:00 +0800fryhttps://lilfry09.github.io/ai/distillation-beyond-compression-research-map/最近我在整理蒸馏方向时，最大的感觉是：这个词被说窄了。

很多人一提 distillation，脑子里先出现的是模型压缩、logit 对齐、teacher/student 这一套老图景。但一旦把它放回后训练和推理系统里看，蒸馏真正传递的常常不是“答案”，而是搜索方式、更新方式、判断方式，甚至是数据该怎么长出来。

如果把它重新定义成“一个学习过程，把可迁移的信息结构交给另一个学习过程”，那它就不再只是压缩术，而是一张更大的信息迁移图。

]]>量子物理与量子力学 — 期末复习资料https://lilfry09.github.io/posts/quantum-physics-review/Wed, 27 May 2026 12:00:00 +0800fryhttps://lilfry09.github.io/posts/quantum-physics-review/SJTU大物3量子物理与量子力学全套期末复习资料，含19个章节的知识点梳理、公式详解和350+道练习题。时代洪流中的锚点：新一轮科技革命下人文与智能的双向赋能https://lilfry09.github.io/posts/%E6%97%B6%E4%BB%A3%E6%B4%AA%E6%B5%81%E4%B8%AD%E7%9A%84%E9%94%9A%E7%82%B9%E6%96%B0%E4%B8%80%E8%BD%AE%E7%A7%91%E6%8A%80%E9%9D%A9%E5%91%BD%E4%B8%8B%E4%BA%BA%E6%96%87%E4%B8%8E%E6%99%BA%E8%83%BD%E7%9A%84%E5%8F%8C%E5%90%91%E8%B5%8B%E8%83%BD/Mon, 13 Apr 2026 10:30:00 +0800匿名https://lilfry09.github.io/posts/%E6%97%B6%E4%BB%A3%E6%B4%AA%E6%B5%81%E4%B8%AD%E7%9A%84%E9%94%9A%E7%82%B9%E6%96%B0%E4%B8%80%E8%BD%AE%E7%A7%91%E6%8A%80%E9%9D%A9%E5%91%BD%E4%B8%8B%E4%BA%BA%E6%96%87%E4%B8%8E%E6%99%BA%E8%83%BD%E7%9A%84%E5%8F%8C%E5%90%91%E8%B5%8B%E8%83%BD/约瑟夫·亨里奇在《The Secret of Our Success》中揭示了一个深刻的道理：人类之所以超越其他生物，“统治”了地球，并非因为我们拥有更强大的个体智力，而是因为我们累积文化的能力，每一代人都站在前人肩膀上，将经验传递下去。然而，作为人工智能专业的学生，亨里奇所赞美的文化进化，如今却让我感到一种“解构后的虚无”：快递员运送包裹，是因为金钱驱动；代码运行，是因为晶体管开关 0 与 1；而我自己，这个碳基生物体，似乎也只是社会这台巨大机器中一个可替换的零件。

]]>深度学习优化算法https://lilfry09.github.io/posts/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E4%BC%98%E5%8C%96%E7%AE%97%E6%B3%95/Tue, 02 Sep 2025 13:20:08 +0800fryhttps://lilfry09.github.io/posts/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E4%BC%98%E5%8C%96%E7%AE%97%E6%B3%95/<h2 id="深度学习优化算法sgd-rmsprop-adagrad-adam-详解">深度学习优化算法：SGD, RMSProp, AdaGrad, Adam 详解</h2> <p>在深度学习的训练过程中，优化算法扮演着至关重要的角色。它们决定了模型参数如何根据损失函数的梯度进行更新，从而影响着模型的收敛速度和最终性能。本文将深入介绍几种最常用和最基础的优化算法：SGD、RMSProp、AdaGrad 和 Adam，并分析它们的公式、优缺点。</p>如何用hugo构建自己的博客https://lilfry09.github.io/posts/%E5%A6%82%E4%BD%95%E7%94%A8hugo%E6%9E%84%E5%BB%BA%E8%87%AA%E5%B7%B1%E7%9A%84%E5%8D%9A%E5%AE%A2/Mon, 31 Mar 2025 13:45:08 +0800fryhttps://lilfry09.github.io/posts/%E5%A6%82%E4%BD%95%E7%94%A8hugo%E6%9E%84%E5%BB%BA%E8%87%AA%E5%B7%B1%E7%9A%84%E5%8D%9A%E5%AE%A2/这篇写给谁

如果你也想搭一个自己的博客，而且希望：

  • 源码放在一个仓库里，方便自己慢慢写
  • 最终网站自动部署到 yourusername.github.io
  • 尽量少踩 GitHub Pages 和 Hugo 的坑

那这套流程会比较顺手。

我这里用的是两个仓库：

]]>