大语言模型怎样知道词语顺序?从 RoPE 看位置编码的变化
位置编码
告诉模型词语在句子中位置的数字信息。
RoPE(ro-pee)
把位置变成旋转变化并放进注意力计算的方法。
NoPE(no-pee)
不直接加入位置编码,利用结构传递位置的方法。
发生了什么
Sebastian Raschka(讲解大语言模型结构的研究者)在11月15日发表了一篇长篇教程,介绍模型怎样知道词语在句子中的位置。原文不是新模型发布,而是对几种位置方法的系统说明。文章比较了 GPT-2 学到的绝对位置、早期 Transformer 使用的正弦和余弦方法、RoPE、NoPE,以及学习得到的相对位置偏置。
Hacker News(程序员交流网站)的帖子显示,这篇文章有115 points和3 comments。这些数字只表示社区关注度,不证明原文一定正确。文章中的技术事实来自原文,热度来自Hacker News帖子。
背景:词语意思不够,还需要顺序
大语言模型先把文字切成词元,再把每个词元变成一串数字。同一个词元,不管出现在句子哪里,最开始都可能得到相同的数字表示。
可是,词语顺序会改变意思。“红狐狸跳过灰狐狸”和“灰狐狸跳过红狐狸”说的不是同一件事。如果没有位置方法,也没有因果遮罩,交换两个词语后,模型看到的表示和注意力分数可能仍然一样。
GPT式模型使用因果遮罩,只让一个词看到自己和前面的词。这会间接提供顺序信息,但它不会直接说明两个词相隔一个位置,还是相隔十个位置。因此,模型通常还需要明确的位置提示。
为什么重要:位置方法会影响模型设计
GPT-2把学到的位置向量加到词元向量上,再送进第一个 Transformer 层。原始 GPT-2 有1,024个学习得到的位置向量。如果要支持更长的文字,就要扩大这张表。Raschka估算,GPT-2 Medium在1,024个位置时,位置权重只占总权重的0.30%;如果扩大到10万个位置,就会超过22%。
原始 Transformer 使用固定的正弦和余弦函数生成位置向量。它可以计算训练范围之外的位置,但这不代表模型在那里一定表现良好。
RoPE走的是另一条路。它不在开头直接加入位置向量,而是在注意力计算中旋转 query 和 key 的数字。value 不参与这个旋转。如果所有位置一起移动相同的距离,词语之间的相对距离仍然不变。因此,RoPE能把相对位置直接放进注意力分数里。
可以确认什么:RoPE仍然常见,但出现分支
Raschka的 LLM Architecture Gallery 把模型卡片按位置方法分类。按这份图库,所有 softmax 注意力层都使用 RoPE,仍是最常见的选择。不过,2025组到2026组中,这种使用方式的比例下降了;混合 RoPE 和 NoPE 的模型变多了。
文章还给出了具体例子。MiniMax-M3在每个128维注意力头中只旋转64维,这是部分 RoPE。它能让预先计算的正弦、余弦表缩小一半,但不会让 KV 缓存变小。SmolLM3有36层,每三层使用 RoPE,第四层跳过;作者称这种安排改善了长文本表现。
文章引用的 NoPE 研究用107M参数的小模型测试复制、排序和加法等十项任务。模型在超过训练长度的测试中总体排在 RoPE之前。另一个用代码训练的1.3B模型也能处理更长输入,但在最长输入处,预测下一个词的能力变差。Inkling则把学习得到的相对位置偏置加入注意力分数。
还不知道什么:趋势没有定论
这不是覆盖整个行业的普查,而是教程和作者图库的分析。图库每张卡算一次,同一架构的不同版本可能分别占卡。很多闭源模型的内部方法也无法从外部确认。RoPE与NoPE的比较组仍然很小,所以不能断定趋势一定会延续。
NoPE和部分 RoPE 的结果也来自特定模型、任务和实验设置。它们说明了可能性,不等于所有模型都会得到相同结果。作者认为部分 RoPE的收益有限,这是他的判断,不是普遍定律。
接下来关注什么:看实测结果
以后比较模型时,应同时查看配置、长文本准确率、内存占用和速度。只看 RoPE、NoPE 这些名字,不能判断模型谁更好。Raschka预测,2027年可能出现更多类似 Inkling 的设计,但这仍然是预测。真正值得观察的是,混合位置方法能否在更多任务中保持长文本能力。
AI怎样知道词语的位置?
📰 完整报道: 大语言模型怎样知道词语顺序?从 RoPE 看位置编码的变化
AI不只要知道词语意思,还要知道它们排在哪里。
词元(cí yuán)
模型处理文字时使用的小单位。
RoPE(ro-pee)
把词语位置放进注意力计算的方法。
Hacker News
程序员交流文章和链接的网站。
💡 一句话总结
- 词语顺序一变,句子意思可能就变了。
- RoPE把词语位置放进AI的计算里。
- Hacker News的热度只表示关注,不代表结论正确。
大语言模型(LLM,会接着写文字的AI)先把句子切成词元(token)。每个词元会变成一串数字。同一个词元出现在不同地方时,最开始可能还是同一串数字。
这就会产生问题。“红狐狸跳过灰狐狸”和“灰狐狸跳过红狐狸”不一样。AI必须知道每个词元排在什么位置。因果遮罩可以帮忙,因为它不让一个词看到后面的词。但它不能直接告诉AI,两个词相隔一个位置还是十个位置。
GPT-2把位置数字加到词元数字上。它学习了一张位置表。原始 GPT-2有1,024个位置。文章说,如果把位置表扩大到10万个位置,它会占用模型中更大的空间。
RoPE使用另一种办法。它在注意力计算里面改变 query 和 key 的数字。value不会改变。两个词一起向后移动时,它们之间的距离还在,所以AI更容易学习相对位置。
文章还介绍了部分 RoPE。有些模型只改变一部分数字,可以减少位置表的大小。有些模型在部分层中跳过 RoPE。NoPE甚至不使用专门的位置编码,而是利用因果遮罩传递位置信息。
文章的图库显示,RoPE仍是开放权重模型中常见的方法。但混合方法正在增加。这个比较的组很小,所以趋势还不能确定。
Hacker News上,这篇文章显示有115 points和3 comments。这些数字表示有人关注它,不表示文章一定正确。
💬 这篇文章是在讲实现,还是在讲理论?
评论的核心问题是:介绍位置嵌入的实现方法时,是否也应该解释它背后的数学原理。
- 一位评论者认为,位置嵌入可以理解为群表示,而不只是代码中的一种技巧。
- 关于RoPE,评论把它和n维空间中的移动联系起来,并说可以把多个简单的一维表示组合成多维表示,这些表示由动量向量决定。
- 如果还要处理旋转,就需要更复杂的表示,包含动量和离散自旋;自旋可以逐步学习,也可以固定。
- 另一位评论者指出,NoPE可以通过模型结构得到类似结果,不需要显式写出群表示。双方还对标题是否暗示理论内容,以及读者是否需要抽象代数基础存在分歧。
这是评论数为3时的初期(修订1)。获取3条,并从整体抽取3条总结。内容属于HN用户自述,并非编辑部核实的事实。
AI也要知道词语站在哪里
📰 完整报道: 大语言模型怎样知道词语顺序?从 RoPE 看位置编码的变化
词语的意思和位置,都要告诉AI。
词块
AI读句子时使用的小片段。
RoPE(ro-pee)
告诉AI词块位置的小办法。
Hacker News
大家分享技术故事的网站。
词语也要有位置
大语言模型(LLM,会写句子的AI)会读句子。
它把句子切成小词块。
它知道每块的意思。
它还要知道每块的位置。
“红狐狸跳”和“狐狸红跳”不一样。
RoPE会提醒位置
Sebastian Raschka(讲AI的研究者)写了说明。
RoPE是一种告诉位置的小办法。
它给每个词块做一点数字变化。
这样AI更容易看出前后距离。
真的没有东西在转。
转动只是数学的说法。
大家关注不等于正确
Hacker News(大家分享技术故事的网站)上也有人关注。
记录里有115 points和3 comments。
这些数字表示关注。
它们不表示文章一定正确。
GPT-2(会写文字的AI)也会使用位置。
别的AI正在试别的方法。
哪种方法最好,还没有答案。
💬 AI怎样知道东西在哪里
评论者在讨论:文章是只讲做法,还是也要讲做法背后的原因。
- 有人把RoPE比作描述空间中移动的一套数学规则。把几套简单规则放在一起,就能描述n维空间。
- 如果还要理解转身,就可能需要加入动量和自旋这样的信息。另一个人说,NoPE可以依靠模型结构得到结果,不必直接写出这些规则。
- 他们还在争论标题:一方期待理论解释,另一方认为不该要求读者懂很难的抽象代数。
这是评论数为3时的初期(修订1)。获取3条,并从整体抽取3条总结。内容属于HN用户自述,并非编辑部核实的事实。
💬 位置嵌入:实现、理论与标题预期的分歧
评论主要讨论:这篇文章是在解释位置嵌入的实现方法,还是也应该解释其背后的数学理论。
这是评论数为3时的初期(修订1)。获取3条,并从整体抽取3条总结。内容属于HN用户自述,并非编辑部核实的事实。