🔥 HN 热议

AI能读懂另一个AI吗?Qwen 3.8 27B的实验

约3分钟读完 Tiny Why编辑部 · 文:特派员 好奇

词语
模型权重

AI学习后留下、会影响行动的大量数字。

权重空间编程

分析或修改模型权重的一种研究想法。

Hacker News

人们讨论技术新闻的网站。

发生了什么

Qwen 3.8 27B是一种能在笔记本电脑上运行的AI模型。Simon Willison在报道中介绍了一项测试。他把另一个游戏AI学习后留下的模型权重,作为一长串小数交给Qwen。Qwen只看这些数字,猜那个游戏AI学过哪一种游戏。

模型权重不是人写的说明书,而是学习后保存下来的大量数字。它们会影响模型的行动方式。Qwen猜中了Pac-Man、Pong和Breakout,却没有猜中Freeway。

这项任务不让Qwen运行代码,也不让它使用计算器或其他工具。它只能根据问题和权重,给出一次回答。

背景

这项测试来自一项名为Sparks of Weight-Space Programming的研究。研究者想知道,语言模型能不能从原始权重中推断另一个网络的行为。测试使用了四个简化的10×10方格游戏网络:Breakout、Pong、Pac-Man和Freeway。除了权重不同,四道题的提问相同。

研究还讨论了另一件事:模型能否使用代码,修改另一个模型的权重,让它表现得更好。直接读取权重,和借助工具改写权重,是两个不同的问题。Simon Willison关注的是前一个问题。

研究把这种分析或修改模型权重的想法称为权重空间编程。这个名称描述的是一种研究方向,不代表所有模型都能读懂所有其他模型。

为什么重要

大多数人无法从一长串学习数字中看出一个AI学会了什么。如果语言模型能从这些数字推断行为,研究者就多了一种检查AI系统的方法。

但这次结果仍然需要谨慎理解。Qwen可能只是找到了数字排列中的有用特征,并没有像人一样理解另一个网络。一次成功的测试,也不能证明它能理解各种模型,更不能证明它可以自己修复或改进模型。

已经确认的内容

这次使用的Qwen 3.8 27B大约有17GB。默认的8192个词元长度会报错,所以测试改用了更长的上下文。Pac-Man测试用了46分12秒,Pong用了1小时4分54秒,Breakout用了52分25秒。

三个回答显示的信心数字分别是72%、75%和88%。这些数字只是当次回答的自我判断,不是大规模准确率研究。Qwen没有答对Freeway。

这条消息在Hacker News讨论串中获得736分,并有213条评论。这说明社区很关注它,但不等于实验已经被证明正确。

还不知道什么

这项测试只有四个小型游戏。它能不能用于更大的网络,仍然不知道。其他模型能不能成功,也没有得到答案。还需要更多测试,来区分真正读懂结构和找到了表面规律。

原研究关于修改模型权重的内容,也必须单独评估。那部分使用了不同条件,不能用Qwen读懂游戏的结果来证明。研究的更大范围结论,也已经有人提出不同解释。

接下来关注什么

后续测试应在不同模型和不同大小的模型上,使用相同问题重复实验。研究者还应公开失败案例,并测试真正的大型网络,而不只是小型游戏。

最重要的问题是:模型能稳定地读取学习数字,还是只在这类题目中找到了特殊规律?公开的实验日志让其他人更容易重复检查。这是这条消息目前最有价值的地方。

💬 能读懂权重很有意思,但还不是递归式自我改进

HN评论认为,Qwen 3.8 27B似乎能够推断神经网络权重的作用,甚至可能修改它们,但大家对这种能力能否泛化意见不一。下面的实验结果和性能说法都来自评论者的自述或解读,并非独立验证。

  • 一位评论者自述:在没有告知用途的情况下,把一个小型网络的C代码和权重交给Qwen 3.8 27B后,模型逐层探测,推断出它可能是图像或放大滤镜:25个输入排成5×5,产生2×2的输出。提供的评论片段没有报告Qwen后来确实改进了这个网络。
  • 支持者解释说,原实验有一个研究者事先知道的目标修改,可以与模型的解释交叉核对,而且修改后的模型在目标任务上性能提高。就这个有限任务而言,权重解释看起来是正确的。
  • 主要质疑是范围太窄:有评论指出,评估只证明了提示词中指定的单一任务有所改善,没有用广泛的基准测试检查修改后模型的整体行为。特定任务成功不等于普遍理解。
  • 另一位用户自述,额外测试8个知名度较低的游戏后,性能很快下降。这说明原来的游戏例子可能受益于模型对常见游戏的熟悉,但它只是对泛化能力的疑问,不是失败的定论。
  • 关于递归式自我改进(RSI),谨慎观点认为必须有外部基准验证。即使随机修改权重,再挑选能提高某个任务成绩的修改,也不能证明模型改善了通用智能。
  • 实际应用方面,有人希望减少高量化Qwen 3.8 27B变体(如IQ3_XXS和IQ3_S)的重复思考循环;评论者把它们与16GB显存设备上的使用联系起来。有人提出先检测循环、找出与循环有关的权重方向,再接入LoRA训练框架,但提出者尚未完成或验证这套方法。
  • 修改权重后会不会损害其他能力或整体性能,仍然没有答案。评论中没有广泛的能力退化测试,因此还不能断定直接编辑权重通常是可靠的。

这是评论数为214时的成熟版(修订2)。获取100条,并从整体抽取100条总结。内容属于HN用户自述,并非编辑部核实的事实。

🔥 HN 热议

Qwen 3.8 27B看数字,猜另一个AI玩过什么游戏

📰 完整报道: AI能读懂另一个AI吗?Qwen 3.8 27B的实验

Qwen 3.8 27B看了另一个AI留下的数字,并猜它学过的游戏。

约1分钟读完 Tiny Why编辑部 · 文:特派员 好奇

词语
权重

会影响AI行动方式的学习数字。

Qwen 3.8 27B

这次在笔记本上运行的AI模型。

Hacker News

讨论技术新闻的网站。

💡 一句话总结

  • Qwen 3.8 27B是一种能在笔记本上运行的AI。
  • 它从另一个AI的数字中猜游戏。
  • 它猜中三种游戏,也猜错一种。

它看了什么

AI学习时,会留下许多数字。这些数字叫权重。权重会影响AI怎样行动。

Simon Willison做了这个测试。他把游戏AI的权重交给Qwen 3.8 27B。Qwen要根据数字,猜出那个AI学过哪种游戏。

Qwen不能运行代码,也不能使用计算器。它只能读问题和数字,然后回答一次。

它猜对了吗

测试用了四个小游戏。它们是Pac-Man、Pong、Breakout和Freeway。游戏都在简化的10×10方格中进行。

Qwen猜中了Pac-Man、Pong和Breakout。它没有猜中Freeway。四道题的提问相同,只有给出的权重不同。

这个Qwen模型大约有17GB。较短的设置会出错,所以测试使用了更长的文字范围。Pac-Man用了46分12秒。Pong用了1小时4分54秒。Breakout用了52分25秒。

为什么值得关注

人通常不能直接看懂AI学习后的数字。Qwen能从数字中找到一些线索。这可能帮助研究者检查AI的行为。

不过,这不是完整的证明。Qwen可能只是找到了数字排列的特点。它不一定真的像人一样理解另一个AI。这个测试也没有证明所有AI都能这样做。

原研究还谈到修改AI的权重。读取数字和改写数字不是同一件事,需要分开测试。

关注度和下一步

这条消息在Hacker News上有736分和213条评论。这说明很多人感兴趣,不说明实验一定正确。

接下来应让其他模型重复测试。研究者还要测试更大的网络,并公开答错的结果。公开的实验记录可以帮助别人复查。

💬 它也许能读懂权重,但还不能证明它会自己变聪明

这是一个有趣的能力,但证据范围还很小。有些评论者认为它在测试任务上成功,另一些人提醒它可能无法泛化。

  • 一位评论者自述,Qwen 3.8 27B看了一个5×5输入、2×2输出的图像滤镜的代码和数字,在没有说明用途时猜出了它的作用。
  • 支持者说,实验检查了一个已知的修改,而且目标任务变好了。批评者说,这仍然只是一个任务,不能代表整个模型都变好了。
  • 另一位用户自述,测试8个不太有名的游戏时,结果很快变差。这说明常见游戏的例子可能有帮助,但还不是最终结论。
  • 这还不能证明递归式自我改进。需要外部测试来确认不只是一个任务变好,并检查其他能力有没有受损。
  • 人们希望减少IQ3_XXS、IQ3_S这类高压缩模型的重复循环;评论者提到它们用于16GB显存设备。有人提出循环检测器和一种小型附加训练方法LoRA,但还没有展示可工作的结果。

这是评论数为214时的成熟版(修订2)。获取100条,并从整体抽取100条总结。内容属于HN用户自述,并非编辑部核实的事实。

🔥 HN 热议

Qwen看数字,猜AI玩过的游戏

📰 完整报道: AI能读懂另一个AI吗?Qwen 3.8 27B的实验

Qwen 3.8 27B是一种能在电脑上运行的AI。

约1分钟读完 Tiny Why编辑部 · 文:特派员 好奇

词语
Qwen 3.8 27B

能在电脑上运行的AI。

数字

帮助AI做事情的记号。

Hacker News

人们谈论技术的地方。

Simon Willison做了这个小测试。

另一个AI学过玩游戏。 它留下了许多数字。 这些数字会影响它玩游戏。

Qwen看了这些数字。 它猜游戏的名字。 它猜中Pac-Man、Pong和Breakout。 它没有猜中Freeway。

Qwen没有用别的工具。 它只看了数字。

这条消息在Hacker News上有736分。 还有213条留言。 这表示大家感兴趣。 这不表示它一定正确。

还要做更多测试。 我们还不知道别的AI能不能做到。

💬 模型可能猜出别的AI数字在做什么

这个实验很聪明,但它还是一个很小的测试。

  • 一位用户自述,Qwen看了一个小AI的数字,猜出它把5×5的小图块变成2×2的小图块。用户没有先告诉它用途。
  • 有些人说它在已知答案的测试中答对了。另一些人说它可能只会做一个任务;还有用户自述,测试8个不太有名的游戏时成绩差了很多。
  • 这还不能说明AI能让自己变得全面更聪明。人们需要外部测试,看看什么变好了、什么坏了。
  • 人们也希望16GB显存设备上的IQ3_XXS和IQ3_S这类压缩模型不要一直重复同一个想法。有人建议用找循环的工具和LoRA帮忙,但还没有报告真正运行成功。

这是评论数为214时的成熟版(修订2)。获取100条,并从整体抽取100条总结。内容属于HN用户自述,并非编辑部核实的事实。

来源