人工智能能直接读写模型内部吗?Astra的“权重空间编程”实验
权重(quán zhòng)
模型内部用来影响处理方式的一组数字。
权重空间编程(quán zhòng kōng jiān biān chéng)
让语言模型直接读取和改写模型权重的方法。
梯度下降(tī dù xià jiàng)
根据错误大小逐步调整权重的训练方法。
发生了什么
11月2日,MIT CSAIL的四名研究人员发布了一项实验。GPT-6 Astra(能分析模型的人工智能)读取并改写了神经网络的权重。权重是模型内部的大量数字。它们共同影响模型如何处理输入。Astra先根据权重猜测模型的作用,再按照人类用文字提出的目标,改动其中一部分数字。研究人员把这种方法称为Weight-Space Programming,也就是“权重空间编程”。
这篇研究博客在Hacker News上获得了2252个points和724条评论。这表示社区关注度很高,但不能证明实验结果正确。原文报告的是早期结果,不是对所有模型都成立的证明。
背景是什么
过去,模型通常通过训练来改变权重。训练程序先测量错误,再逐步调整数字。梯度下降就是常见方法之一。此次实验让Astra直接处理权重。研究人员没有给它训练循环,也没有给它梯度信息。小型实验把权重写成文字交给Astra。较大的实验则提供Python工作区,并允许有限次数的前向计算。
已经看到的结果
在一项小型实验中,Astra拿到17,253个权重。四个网络的结构完全相同。它只看权重,就判断出网络学习的是Breakout、Pong、Pac-Man还是Freeway。四个答案都正确。另一项实验让Astra从零写出三个MinAtar游戏网络。它们在三个游戏中都超过了经过1亿次训练的PPO网络。
更接近真实应用的测试使用了Qwen3.5-0.8B。它是一个拥有约8亿个权重的语言模型。Astra进行了50次前向计算,直接编辑模型数字。它只改动了131,072个权重,占总量的0.016%。在原文报告的评测中,MATH-500从7.9%升到48.1%。GSM8K从13.8%升到67.1%。IFEval从21.0%升到62.3%。研究人员认为,主要原因是Astra找到了模型反复思考、迟迟不给出答案的问题。
为什么重要
如果这种结果能在更多测试中成立,人们就可能用一句话描述模型的错误,再让另一个AI检查内部数字并进行定点修改。只改少量权重,有时可以避免完整重训,也可能减少数据和计算量。理解模型内部结构和修理模型,或许会成为同一项工作。
但这不是“任何大模型都能随意改好”的证明。原文也承认,目前受到上下文长度和辅助工具效率的限制。它的价值在于,Astra不仅尝试读取权重,也尝试写入权重。
仍然不知道什么
Qwen的提升需要谨慎理解。它主要减少了重复思考,并没有证明Astra凭空增加了新的数学能力。研究人员测试的Gemma 3 270M很少出现循环,Astra没有让它获得明显且确定的提升。另一项实验中,Astra只看权重时,也无法找出一个总是迎合用户错误答案的模型。后来还需要额外查看模型运行时的注意力信息。
因此,这些实验还不能证明方法能在大型前沿模型上稳定工作。编辑之后是否会损害其他能力,也还需要更多测试。
接下来关注什么
研究人员公开了实验日志,并表示正在建立统一的测试基准和工作环境。接下来要看,其他团队能否复现这些分数,方法能否扩大到更大的模型,以及少量改动是否会带来隐藏副作用。现在看到的不是完成的自我改进系统,而是一次早期尝试:测试人工智能能否理解另一个模型内部的数字。
人工智能能读懂并修改另一个人工智能吗?
📰 完整报道: 人工智能能直接读写模型内部吗?Astra的“权重空间编程”实验
GPT-6 Astra读取了模型内部的数字,还改动了一小部分。
权重(quán zhòng)
会影响人工智能回答方式的内部数字。
前向计算(qián xiàng jì suàn)
让模型实际尝试回答一次。
MATH-500
用来测试模型数学能力的题目集合。
💡 一句话总结
- Astra读了小型人工智能里的数字。
- 它修改了一些数字,Qwen的测试成绩提高了。
- 这个实验很有意思,但还不能证明它什么都能修好。
GPT-6 Astra是一种能分析文字的人工智能。研究人员让它读取其他模型内部的数字。这些数字叫“权重”。权重会影响模型怎样处理信息。
首先,Astra研究了小型游戏模型。每个模型有17,253个权重。模型的结构都一样。Astra只看权重,就认出了四种游戏。它们是Breakout、Pong、Pac-Man和Freeway。
Astra还从零写出了小型游戏模型。这些模型在三个MinAtar游戏中,超过了训练1亿次的模型。Astra没有用通常的训练方式来写它们。
接着,研究人员测试了Qwen3.5-0.8B。它是一种较小的语言模型。Qwen有时会反复思考,却不给出答案。Astra做了50次前向计算。前向计算就是让模型试着回答一次。Astra只改了131,072个权重,占模型的0.016%。
Qwen在MATH-500上的成绩从7.9%升到48.1%。它在GSM8K上的成绩从13.8%升到67.1%。IFEval的成绩从21.0%升到62.3%。主要变化是减少了重复思考。这不等于Astra给了Qwen所有新的数学能力。
另一个模型Gemma 3 270M没有明显提高。这说明,消除一个问题,可能比增加一种新能力容易。
文章在Hacker News上获得2252个points和724条评论。这表示很多人关注它。它不能证明实验一定正确。
研究人员公开了实验记录。以后还要看其他团队能否重复结果,也要测试更大的模型。
💬 Astra真的能修改AI里面的数字吗?
文章称Astra检查并修改了小型AI模型的权重。结果很惊人,但还有不少地方没有被独立确认。
- 按文章自报的结果,Astra读懂并改写了模型权重,猜出了小网络训练过哪些游戏,还让Qwen的数学能力提高约5倍。这些数字尚未在这里得到独立验证。
- 另一项自报测试中,小模型的96个回答有85个一直循环到32,768个词元上限。Astra据称找到了第15层和第19层中的一个方向,并改动了131,072个权重。
- 评论者认为,这可能是很快的数学计算、模式寻找和机械可解释性,而不是神秘的权重直觉。人类也能做类似的事,只是慢得多。
- 这种能力来自训练资料、普通推理,还是学习中自然出现的组合,目前不清楚。也不知道OpenAI是否专门训练了它、其他模型能否做到,或是否存在看不见的内部工具。
- 目前例子主要是小模型和博客报告。它能否扩展到大模型、其他模型并稳定复现,还不知道。
- 如果它真的能推广,AI可能更容易被检查和修理,也可能帮助AI自我改进;但自我修改也会带来安全风险。
这是评论数为856时的成熟版(修订2)。获取500条,并从整体抽取120条总结。内容属于HN用户自述,并非编辑部核实的事实。
一个人工智能改了另一个人工智能的几个数字
📰 完整报道: 人工智能能直接读写模型内部吗?Astra的“权重空间编程”实验
Astra看了另一个人工智能里面的数字,还改动了一些。
权重(quán zhòng)
帮助人工智能回答问题的内部数字。
Astra
会读取和修改另一个人工智能数字的人工智能。
Qwen3.5-0.8B
这次被修改的小型语言人工智能。
人工智能里面有很多数字。这些数字叫“权重”。它们帮助人工智能回答问题。
GPT-6 Astra是另一个人工智能。研究人员让它读这些数字。Astra猜出了小型游戏人工智能会做什么。然后,它改动了一些数字。游戏人工智能变得更会做事。
Astra还改了Qwen3.5-0.8B。它是一种小型语言人工智能。Qwen有时会一直重复思考。Astra只改了0.016%的权重。它在MATH-500上的成绩从7.9%变成48.1%。
这不表示Qwen学会了所有新本领。它主要是不再一直重复。另一个人工智能没有明显变好。这个实验还在开始阶段。
文章在Hacker News上有2252个points和724条评论。这表示很多人看到了它。它不能证明实验一定正确。
💬 Astra改了AI里面的数字吗?
文章说Astra改了一个小AI里面的数字。这很惊人,但还需要更多检查。
- 文章自报说,Astra读了小AI里面的数字并把它们改了。它猜中了游戏模型学过什么,还让Qwen的数学能力提高了约5倍。
- 一次自报测试中,96个答案有85个一直重复,直到达到32,768个词元上限。Astra改了第15层和第19层里的一个模式,动了131,072个数字。
- 这可能只是非常快的数学和找规律。我们不知道它是从训练资料学会的、自己学会的,还是用了看不见的内部工具。
- 现在只有小模型的博客报告,还不知道大模型能不能做到。如果可以,AI会更容易检查和修理,但会自己改自己的AI也可能很危险。
这是评论数为856时的成熟版(修订2)。获取500条,并从整体抽取120条总结。内容属于HN用户自述,并非编辑部核实的事实。
💬 Astra直接编辑模型权重:惊人的演示与仍待验证的问题
HN评论者对Astra读取并直接修改小模型权重的报告感到震惊,但也有人认为这可能主要是数学推理、模式识别和机械可解释性的组合,而不是特殊的权重直觉。
这是评论数为856时的成熟版(修订2)。获取500条,并从整体抽取120条总结。内容属于HN用户自述,并非编辑部核实的事实。