AI能读懂另一个AI吗?Qwen 3.8 27B的实验
模型权重
AI学习后留下、会影响行动的大量数字。
权重空间编程
分析或修改模型权重的一种研究想法。
Hacker News
人们讨论技术新闻的网站。
发生了什么
Qwen 3.8 27B是一种能在笔记本电脑上运行的AI模型。Simon Willison在报道中介绍了一项测试。他把另一个游戏AI学习后留下的模型权重,作为一长串小数交给Qwen。Qwen只看这些数字,猜那个游戏AI学过哪一种游戏。
模型权重不是人写的说明书,而是学习后保存下来的大量数字。它们会影响模型的行动方式。Qwen猜中了Pac-Man、Pong和Breakout,却没有猜中Freeway。
这项任务不让Qwen运行代码,也不让它使用计算器或其他工具。它只能根据问题和权重,给出一次回答。
背景
这项测试来自一项名为Sparks of Weight-Space Programming的研究。研究者想知道,语言模型能不能从原始权重中推断另一个网络的行为。测试使用了四个简化的10×10方格游戏网络:Breakout、Pong、Pac-Man和Freeway。除了权重不同,四道题的提问相同。
研究还讨论了另一件事:模型能否使用代码,修改另一个模型的权重,让它表现得更好。直接读取权重,和借助工具改写权重,是两个不同的问题。Simon Willison关注的是前一个问题。
研究把这种分析或修改模型权重的想法称为权重空间编程。这个名称描述的是一种研究方向,不代表所有模型都能读懂所有其他模型。
为什么重要
大多数人无法从一长串学习数字中看出一个AI学会了什么。如果语言模型能从这些数字推断行为,研究者就多了一种检查AI系统的方法。
但这次结果仍然需要谨慎理解。Qwen可能只是找到了数字排列中的有用特征,并没有像人一样理解另一个网络。一次成功的测试,也不能证明它能理解各种模型,更不能证明它可以自己修复或改进模型。
已经确认的内容
这次使用的Qwen 3.8 27B大约有17GB。默认的8192个词元长度会报错,所以测试改用了更长的上下文。Pac-Man测试用了46分12秒,Pong用了1小时4分54秒,Breakout用了52分25秒。
三个回答显示的信心数字分别是72%、75%和88%。这些数字只是当次回答的自我判断,不是大规模准确率研究。Qwen没有答对Freeway。
这条消息在Hacker News讨论串中获得736分,并有213条评论。这说明社区很关注它,但不等于实验已经被证明正确。
还不知道什么
这项测试只有四个小型游戏。它能不能用于更大的网络,仍然不知道。其他模型能不能成功,也没有得到答案。还需要更多测试,来区分真正读懂结构和找到了表面规律。
原研究关于修改模型权重的内容,也必须单独评估。那部分使用了不同条件,不能用Qwen读懂游戏的结果来证明。研究的更大范围结论,也已经有人提出不同解释。
接下来关注什么
后续测试应在不同模型和不同大小的模型上,使用相同问题重复实验。研究者还应公开失败案例,并测试真正的大型网络,而不只是小型游戏。
最重要的问题是:模型能稳定地读取学习数字,还是只在这类题目中找到了特殊规律?公开的实验日志让其他人更容易重复检查。这是这条消息目前最有价值的地方。
Qwen 3.8 27B看数字,猜另一个AI玩过什么游戏
📰 完整报道: AI能读懂另一个AI吗?Qwen 3.8 27B的实验
Qwen 3.8 27B看了另一个AI留下的数字,并猜它学过的游戏。
权重
会影响AI行动方式的学习数字。
Qwen 3.8 27B
这次在笔记本上运行的AI模型。
Hacker News
讨论技术新闻的网站。
💡 一句话总结
- Qwen 3.8 27B是一种能在笔记本上运行的AI。
- 它从另一个AI的数字中猜游戏。
- 它猜中三种游戏,也猜错一种。
它看了什么
AI学习时,会留下许多数字。这些数字叫权重。权重会影响AI怎样行动。
Simon Willison做了这个测试。他把游戏AI的权重交给Qwen 3.8 27B。Qwen要根据数字,猜出那个AI学过哪种游戏。
Qwen不能运行代码,也不能使用计算器。它只能读问题和数字,然后回答一次。
它猜对了吗
测试用了四个小游戏。它们是Pac-Man、Pong、Breakout和Freeway。游戏都在简化的10×10方格中进行。
Qwen猜中了Pac-Man、Pong和Breakout。它没有猜中Freeway。四道题的提问相同,只有给出的权重不同。
这个Qwen模型大约有17GB。较短的设置会出错,所以测试使用了更长的文字范围。Pac-Man用了46分12秒。Pong用了1小时4分54秒。Breakout用了52分25秒。
为什么值得关注
人通常不能直接看懂AI学习后的数字。Qwen能从数字中找到一些线索。这可能帮助研究者检查AI的行为。
不过,这不是完整的证明。Qwen可能只是找到了数字排列的特点。它不一定真的像人一样理解另一个AI。这个测试也没有证明所有AI都能这样做。
原研究还谈到修改AI的权重。读取数字和改写数字不是同一件事,需要分开测试。
关注度和下一步
这条消息在Hacker News上有736分和213条评论。这说明很多人感兴趣,不说明实验一定正确。
接下来应让其他模型重复测试。研究者还要测试更大的网络,并公开答错的结果。公开的实验记录可以帮助别人复查。
💬 它也许能读懂权重,但还不能证明它会自己变聪明
这是一个有趣的能力,但证据范围还很小。有些评论者认为它在测试任务上成功,另一些人提醒它可能无法泛化。
- 一位评论者自述,Qwen 3.8 27B看了一个5×5输入、2×2输出的图像滤镜的代码和数字,在没有说明用途时猜出了它的作用。
- 支持者说,实验检查了一个已知的修改,而且目标任务变好了。批评者说,这仍然只是一个任务,不能代表整个模型都变好了。
- 另一位用户自述,测试8个不太有名的游戏时,结果很快变差。这说明常见游戏的例子可能有帮助,但还不是最终结论。
- 这还不能证明递归式自我改进。需要外部测试来确认不只是一个任务变好,并检查其他能力有没有受损。
- 人们希望减少IQ3_XXS、IQ3_S这类高压缩模型的重复循环;评论者提到它们用于16GB显存设备。有人提出循环检测器和一种小型附加训练方法LoRA,但还没有展示可工作的结果。
这是评论数为214时的成熟版(修订2)。获取100条,并从整体抽取100条总结。内容属于HN用户自述,并非编辑部核实的事实。
Qwen看数字,猜AI玩过的游戏
📰 完整报道: AI能读懂另一个AI吗?Qwen 3.8 27B的实验
Qwen 3.8 27B是一种能在电脑上运行的AI。
Qwen 3.8 27B
能在电脑上运行的AI。
数字
帮助AI做事情的记号。
Hacker News
人们谈论技术的地方。
Simon Willison做了这个小测试。
另一个AI学过玩游戏。 它留下了许多数字。 这些数字会影响它玩游戏。
Qwen看了这些数字。 它猜游戏的名字。 它猜中Pac-Man、Pong和Breakout。 它没有猜中Freeway。
Qwen没有用别的工具。 它只看了数字。
这条消息在Hacker News上有736分。 还有213条留言。 这表示大家感兴趣。 这不表示它一定正确。
还要做更多测试。 我们还不知道别的AI能不能做到。
💬 模型可能猜出别的AI数字在做什么
这个实验很聪明,但它还是一个很小的测试。
- 一位用户自述,Qwen看了一个小AI的数字,猜出它把5×5的小图块变成2×2的小图块。用户没有先告诉它用途。
- 有些人说它在已知答案的测试中答对了。另一些人说它可能只会做一个任务;还有用户自述,测试8个不太有名的游戏时成绩差了很多。
- 这还不能说明AI能让自己变得全面更聪明。人们需要外部测试,看看什么变好了、什么坏了。
- 人们也希望16GB显存设备上的IQ3_XXS和IQ3_S这类压缩模型不要一直重复同一个想法。有人建议用找循环的工具和LoRA帮忙,但还没有报告真正运行成功。
这是评论数为214时的成熟版(修订2)。获取100条,并从整体抽取100条总结。内容属于HN用户自述,并非编辑部核实的事实。
💬 能读懂权重很有意思,但还不是递归式自我改进
HN评论认为,Qwen 3.8 27B似乎能够推断神经网络权重的作用,甚至可能修改它们,但大家对这种能力能否泛化意见不一。下面的实验结果和性能说法都来自评论者的自述或解读,并非独立验证。
这是评论数为214时的成熟版(修订2)。获取100条,并从整体抽取100条总结。内容属于HN用户自述,并非编辑部核实的事实。