<rss xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title>RoPE - 标签 - lilfry's library</title><link>https://lilfry09.github.io/tags/rope/</link><description>RoPE - 标签 - lilfry's library</description><generator>Hugo -- gohugo.io</generator><language>zh-CN</language><managingEditor>lilfry@sjtu.edu.cn (lilfry)</managingEditor><webMaster>lilfry@sjtu.edu.cn (lilfry)</webMaster><copyright>All rights reserved.</copyright><lastBuildDate>Tue, 07 Apr 2026 21:12:00 +0800</lastBuildDate><atom:link href="https://lilfry09.github.io/tags/rope/" rel="self" type="application/rss+xml"/><item><title>读 YaRN：长上下文扩展，核心不是硬拉窗口，而是别把 RoPE 拉坏了</title><link>https://lilfry09.github.io/ai/yarn-context-window-extension/</link><pubDate>Tue, 07 Apr 2026 21:12:00 +0800</pubDate><author>fry</author><guid>https://lilfry09.github.io/ai/yarn-context-window-extension/</guid><description><![CDATA[<p>如果只把 <code>YaRN</code> 看成“又一个把上下文从 <code>4k</code> 拉到 <code>64k/128k</code> 的技巧”，其实有点可惜。</p>
<p>它真正碰到的，是一个比“扩窗”更本质的几何问题：</p>
<p><strong>模型原本已经习惯了一套位置相位系统。现在你强行把长度拉大，怎样才能让这套系统在更长范围内继续工作，同时尽量不丢掉近距离的位置分辨率？</strong></p>
<p>这个问题一旦说清楚，<code>YaRN</code> 的设计就会显得非常自然。</p>]]></description></item></channel></rss>