🔥 HN 热议

大语言模型怎样知道词语顺序?从 RoPE 看位置编码的变化

约3分钟读完 Tiny Why编辑部 · 文:特派员 好奇

词语
位置编码

告诉模型词语在句子中位置的数字信息。

RoPE(ro-pee)

把位置变成旋转变化并放进注意力计算的方法。

NoPE(no-pee)

不直接加入位置编码,利用结构传递位置的方法。

发生了什么

Sebastian Raschka(讲解大语言模型结构的研究者)在11月15日发表了一篇长篇教程,介绍模型怎样知道词语在句子中的位置。原文不是新模型发布,而是对几种位置方法的系统说明。文章比较了 GPT-2 学到的绝对位置、早期 Transformer 使用的正弦和余弦方法、RoPE、NoPE,以及学习得到的相对位置偏置。

Hacker News(程序员交流网站)的帖子显示,这篇文章有115 points和3 comments。这些数字只表示社区关注度,不证明原文一定正确。文章中的技术事实来自原文,热度来自Hacker News帖子。

背景:词语意思不够,还需要顺序

大语言模型先把文字切成词元,再把每个词元变成一串数字。同一个词元,不管出现在句子哪里,最开始都可能得到相同的数字表示。

可是,词语顺序会改变意思。“红狐狸跳过灰狐狸”和“灰狐狸跳过红狐狸”说的不是同一件事。如果没有位置方法,也没有因果遮罩,交换两个词语后,模型看到的表示和注意力分数可能仍然一样。

GPT式模型使用因果遮罩,只让一个词看到自己和前面的词。这会间接提供顺序信息,但它不会直接说明两个词相隔一个位置,还是相隔十个位置。因此,模型通常还需要明确的位置提示。

为什么重要:位置方法会影响模型设计

GPT-2把学到的位置向量加到词元向量上,再送进第一个 Transformer 层。原始 GPT-2 有1,024个学习得到的位置向量。如果要支持更长的文字,就要扩大这张表。Raschka估算,GPT-2 Medium在1,024个位置时,位置权重只占总权重的0.30%;如果扩大到10万个位置,就会超过22%。

原始 Transformer 使用固定的正弦和余弦函数生成位置向量。它可以计算训练范围之外的位置,但这不代表模型在那里一定表现良好。

RoPE走的是另一条路。它不在开头直接加入位置向量,而是在注意力计算中旋转 query 和 key 的数字。value 不参与这个旋转。如果所有位置一起移动相同的距离,词语之间的相对距离仍然不变。因此,RoPE能把相对位置直接放进注意力分数里。

可以确认什么:RoPE仍然常见,但出现分支

Raschka的 LLM Architecture Gallery 把模型卡片按位置方法分类。按这份图库,所有 softmax 注意力层都使用 RoPE,仍是最常见的选择。不过,2025组到2026组中,这种使用方式的比例下降了;混合 RoPE 和 NoPE 的模型变多了。

文章还给出了具体例子。MiniMax-M3在每个128维注意力头中只旋转64维,这是部分 RoPE。它能让预先计算的正弦、余弦表缩小一半,但不会让 KV 缓存变小。SmolLM3有36层,每三层使用 RoPE,第四层跳过;作者称这种安排改善了长文本表现。

文章引用的 NoPE 研究用107M参数的小模型测试复制、排序和加法等十项任务。模型在超过训练长度的测试中总体排在 RoPE之前。另一个用代码训练的1.3B模型也能处理更长输入,但在最长输入处,预测下一个词的能力变差。Inkling则把学习得到的相对位置偏置加入注意力分数。

还不知道什么:趋势没有定论

这不是覆盖整个行业的普查,而是教程和作者图库的分析。图库每张卡算一次,同一架构的不同版本可能分别占卡。很多闭源模型的内部方法也无法从外部确认。RoPE与NoPE的比较组仍然很小,所以不能断定趋势一定会延续。

NoPE和部分 RoPE 的结果也来自特定模型、任务和实验设置。它们说明了可能性,不等于所有模型都会得到相同结果。作者认为部分 RoPE的收益有限,这是他的判断,不是普遍定律。

接下来关注什么:看实测结果

以后比较模型时,应同时查看配置、长文本准确率、内存占用和速度。只看 RoPE、NoPE 这些名字,不能判断模型谁更好。Raschka预测,2027年可能出现更多类似 Inkling 的设计,但这仍然是预测。真正值得观察的是,混合位置方法能否在更多任务中保持长文本能力。

💬 位置嵌入:实现、理论与标题预期的分歧

评论主要讨论:这篇文章是在解释位置嵌入的实现方法,还是也应该解释其背后的数学理论。

  • programjames认为,文章重点是位置嵌入的实现,没有充分覆盖深入理解它所需的理论。
  • 该评论把位置嵌入看作群表示,而不只是一个工程实现技巧。
  • 对于RoPE,评论将其描述为平移群的表示,并指出n维平移群ℝⁿ是阿贝尔群,因此其不可约表示是一维的,可写为ρₘ(x)=exp(i⟨m,x⟩)。
  • 选择多个动量向量m,可以构造多维表示,并把这些向量作为可学习参数。
  • 如果还要保持旋转性质,评论建议考虑特殊欧几里得群的表示;评论将其中四维的不可约表示联系到熟悉的粒子,并称其由动量向量和离散自旋参数化。
  • 评论还说,自旋可能需要类似退火的训练过程,也可以直接固定不变。
  • augment_me反驳说,像NoPE这样的结构性方案可以让结果从模型架构中自然产生,不必显式写出这些表示。
  • 随后双方继续争论文章定位:一方认为标题让人期待理论,另一方则质疑是否应要求读者具备研究生程度的抽象代数;回复则认为机器学习研究者应了解相关基础。

这是评论数为3时的初期(修订1)。获取3条,并从整体抽取3条总结。内容属于HN用户自述,并非编辑部核实的事实。

🔥 HN 热议

AI怎样知道词语的位置?

📰 完整报道: 大语言模型怎样知道词语顺序?从 RoPE 看位置编码的变化

AI不只要知道词语意思,还要知道它们排在哪里。

约1分钟读完 Tiny Why编辑部 · 文:特派员 好奇

词语
词元(cí yuán)

模型处理文字时使用的小单位。

RoPE(ro-pee)

把词语位置放进注意力计算的方法。

Hacker News

程序员交流文章和链接的网站。

💡 一句话总结

  • 词语顺序一变,句子意思可能就变了。
  • RoPE把词语位置放进AI的计算里。
  • Hacker News的热度只表示关注,不代表结论正确。

大语言模型(LLM,会接着写文字的AI)先把句子切成词元(token)。每个词元会变成一串数字。同一个词元出现在不同地方时,最开始可能还是同一串数字。

这就会产生问题。“红狐狸跳过灰狐狸”和“灰狐狸跳过红狐狸”不一样。AI必须知道每个词元排在什么位置。因果遮罩可以帮忙,因为它不让一个词看到后面的词。但它不能直接告诉AI,两个词相隔一个位置还是十个位置。

GPT-2把位置数字加到词元数字上。它学习了一张位置表。原始 GPT-2有1,024个位置。文章说,如果把位置表扩大到10万个位置,它会占用模型中更大的空间。

RoPE使用另一种办法。它在注意力计算里面改变 query 和 key 的数字。value不会改变。两个词一起向后移动时,它们之间的距离还在,所以AI更容易学习相对位置。

文章还介绍了部分 RoPE。有些模型只改变一部分数字,可以减少位置表的大小。有些模型在部分层中跳过 RoPE。NoPE甚至不使用专门的位置编码,而是利用因果遮罩传递位置信息。

文章的图库显示,RoPE仍是开放权重模型中常见的方法。但混合方法正在增加。这个比较的组很小,所以趋势还不能确定。

Hacker News上,这篇文章显示有115 points和3 comments。这些数字表示有人关注它,不表示文章一定正确。

💬 这篇文章是在讲实现,还是在讲理论?

评论的核心问题是:介绍位置嵌入的实现方法时,是否也应该解释它背后的数学原理。

  • 一位评论者认为,位置嵌入可以理解为群表示,而不只是代码中的一种技巧。
  • 关于RoPE,评论把它和n维空间中的移动联系起来,并说可以把多个简单的一维表示组合成多维表示,这些表示由动量向量决定。
  • 如果还要处理旋转,就需要更复杂的表示,包含动量和离散自旋;自旋可以逐步学习,也可以固定。
  • 另一位评论者指出,NoPE可以通过模型结构得到类似结果,不需要显式写出群表示。双方还对标题是否暗示理论内容,以及读者是否需要抽象代数基础存在分歧。

这是评论数为3时的初期(修订1)。获取3条,并从整体抽取3条总结。内容属于HN用户自述,并非编辑部核实的事实。

🔥 HN 热议

AI也要知道词语站在哪里

📰 完整报道: 大语言模型怎样知道词语顺序?从 RoPE 看位置编码的变化

词语的意思和位置,都要告诉AI。

约1分钟读完 Tiny Why编辑部 · 文:特派员 好奇

词语
词块

AI读句子时使用的小片段。

RoPE(ro-pee)

告诉AI词块位置的小办法。

Hacker News

大家分享技术故事的网站。

词语也要有位置

大语言模型(LLM,会写句子的AI)会读句子。

它把句子切成小词块。

它知道每块的意思。

它还要知道每块的位置。

“红狐狸跳”和“狐狸红跳”不一样。

RoPE会提醒位置

Sebastian Raschka(讲AI的研究者)写了说明。

RoPE是一种告诉位置的小办法。

它给每个词块做一点数字变化。

这样AI更容易看出前后距离。

真的没有东西在转。

转动只是数学的说法。

大家关注不等于正确

Hacker News(大家分享技术故事的网站)上也有人关注。

记录里有115 points和3 comments。

这些数字表示关注。

它们不表示文章一定正确。

GPT-2(会写文字的AI)也会使用位置。

别的AI正在试别的方法。

哪种方法最好,还没有答案。

💬 AI怎样知道东西在哪里

评论者在讨论:文章是只讲做法,还是也要讲做法背后的原因。

  • 有人把RoPE比作描述空间中移动的一套数学规则。把几套简单规则放在一起,就能描述n维空间。
  • 如果还要理解转身,就可能需要加入动量和自旋这样的信息。另一个人说,NoPE可以依靠模型结构得到结果,不必直接写出这些规则。
  • 他们还在争论标题:一方期待理论解释,另一方认为不该要求读者懂很难的抽象代数。

这是评论数为3时的初期(修订1)。获取3条,并从整体抽取3条总结。内容属于HN用户自述,并非编辑部核实的事实。

来源