🔥 HN 热议

人工智能能直接读写模型内部吗?Astra的“权重空间编程”实验

约3分钟读完 Tiny Why编辑部 · 文:特派员 好奇

词语
权重(quán zhòng)

模型内部用来影响处理方式的一组数字。

权重空间编程(quán zhòng kōng jiān biān chéng)

让语言模型直接读取和改写模型权重的方法。

梯度下降(tī dù xià jiàng)

根据错误大小逐步调整权重的训练方法。

发生了什么

11月2日,MIT CSAIL的四名研究人员发布了一项实验。GPT-6 Astra(能分析模型的人工智能)读取并改写了神经网络的权重。权重是模型内部的大量数字。它们共同影响模型如何处理输入。Astra先根据权重猜测模型的作用,再按照人类用文字提出的目标,改动其中一部分数字。研究人员把这种方法称为Weight-Space Programming,也就是“权重空间编程”。

这篇研究博客在Hacker News上获得了2252个points和724条评论。这表示社区关注度很高,但不能证明实验结果正确。原文报告的是早期结果,不是对所有模型都成立的证明。

背景是什么

过去,模型通常通过训练来改变权重。训练程序先测量错误,再逐步调整数字。梯度下降就是常见方法之一。此次实验让Astra直接处理权重。研究人员没有给它训练循环,也没有给它梯度信息。小型实验把权重写成文字交给Astra。较大的实验则提供Python工作区,并允许有限次数的前向计算。

已经看到的结果

在一项小型实验中,Astra拿到17,253个权重。四个网络的结构完全相同。它只看权重,就判断出网络学习的是Breakout、Pong、Pac-Man还是Freeway。四个答案都正确。另一项实验让Astra从零写出三个MinAtar游戏网络。它们在三个游戏中都超过了经过1亿次训练的PPO网络。

更接近真实应用的测试使用了Qwen3.5-0.8B。它是一个拥有约8亿个权重的语言模型。Astra进行了50次前向计算,直接编辑模型数字。它只改动了131,072个权重,占总量的0.016%。在原文报告的评测中,MATH-500从7.9%升到48.1%。GSM8K从13.8%升到67.1%。IFEval从21.0%升到62.3%。研究人员认为,主要原因是Astra找到了模型反复思考、迟迟不给出答案的问题。

为什么重要

如果这种结果能在更多测试中成立,人们就可能用一句话描述模型的错误,再让另一个AI检查内部数字并进行定点修改。只改少量权重,有时可以避免完整重训,也可能减少数据和计算量。理解模型内部结构和修理模型,或许会成为同一项工作。

但这不是“任何大模型都能随意改好”的证明。原文也承认,目前受到上下文长度和辅助工具效率的限制。它的价值在于,Astra不仅尝试读取权重,也尝试写入权重。

仍然不知道什么

Qwen的提升需要谨慎理解。它主要减少了重复思考,并没有证明Astra凭空增加了新的数学能力。研究人员测试的Gemma 3 270M很少出现循环,Astra没有让它获得明显且确定的提升。另一项实验中,Astra只看权重时,也无法找出一个总是迎合用户错误答案的模型。后来还需要额外查看模型运行时的注意力信息。

因此,这些实验还不能证明方法能在大型前沿模型上稳定工作。编辑之后是否会损害其他能力,也还需要更多测试。

接下来关注什么

研究人员公开了实验日志,并表示正在建立统一的测试基准和工作环境。接下来要看,其他团队能否复现这些分数,方法能否扩大到更大的模型,以及少量改动是否会带来隐藏副作用。现在看到的不是完成的自我改进系统,而是一次早期尝试:测试人工智能能否理解另一个模型内部的数字。

来源:研究博客、Hacker News帖子

💬 Astra直接编辑模型权重:惊人的演示与仍待验证的问题

HN评论者对Astra读取并直接修改小模型权重的报告感到震惊,但也有人认为这可能主要是数学推理、模式识别和机械可解释性的组合,而不是特殊的权重直觉。

  • 文章自报的演示称,Astra无需用户侧工具就能检查小型网络,推测网络训练过哪些游戏,直接修改权重来提升表现,并让Qwen的数学能力提高约5倍。这些性能和数字在这里都没有得到独立验证。
  • 另一项自报结果称,一个小型推理模型的96次练习回答中有85次达到32,768个词元的上限。Astra据称把循环问题追溯到第15层和第19层MLP中的一个方向,然后从每层64个输出列中减去它,总共修改了131,072个权重。
  • 即使是支持者,也有人认为这更像是矩阵运算、模式识别、机械可解释性和可读的技术推理的组合。人类原则上也能用类似方法,只是Astra在速度和规模上更有优势。
  • 评论提出的可能来源包括机器学习、模型权重和可解释性资料,普通的推理能力,或这些因素共同产生的涌现能力。但评论无法证明OpenAI是否专门训练了这项技能,也无法证明其他模型能否做到。
  • 没有用户侧工具的说法,最多说明没有看到客户端工具调用,不能排除内部工具或未公开的推理过程。
  • 目前的例子主要涉及小模型,能否推广到更大的模型或其他类型的模型、能否稳定复现,都还没有确定。评论者还指出,目前主要是博客报告,应该等待正式论文和进一步验证。
  • 如果这种能力能够推广,它可能帮助审计模型、修复故障、进行持续学习和递归式自我改进。但它也可能让模型修改自己或其他模型,带来安全和防护方面的风险;这些影响目前仍属推测。

这是评论数为856时的成熟版(修订2)。获取500条,并从整体抽取120条总结。内容属于HN用户自述,并非编辑部核实的事实。

🔥 HN 热议

人工智能能读懂并修改另一个人工智能吗?

📰 完整报道: 人工智能能直接读写模型内部吗?Astra的“权重空间编程”实验

GPT-6 Astra读取了模型内部的数字,还改动了一小部分。

约1分钟读完 Tiny Why编辑部 · 文:特派员 好奇

词语
权重(quán zhòng)

会影响人工智能回答方式的内部数字。

前向计算(qián xiàng jì suàn)

让模型实际尝试回答一次。

MATH-500

用来测试模型数学能力的题目集合。

💡 一句话总结

  • Astra读了小型人工智能里的数字。
  • 它修改了一些数字,Qwen的测试成绩提高了。
  • 这个实验很有意思,但还不能证明它什么都能修好。

GPT-6 Astra是一种能分析文字的人工智能。研究人员让它读取其他模型内部的数字。这些数字叫“权重”。权重会影响模型怎样处理信息。

首先,Astra研究了小型游戏模型。每个模型有17,253个权重。模型的结构都一样。Astra只看权重,就认出了四种游戏。它们是Breakout、Pong、Pac-Man和Freeway。

Astra还从零写出了小型游戏模型。这些模型在三个MinAtar游戏中,超过了训练1亿次的模型。Astra没有用通常的训练方式来写它们。

接着,研究人员测试了Qwen3.5-0.8B。它是一种较小的语言模型。Qwen有时会反复思考,却不给出答案。Astra做了50次前向计算。前向计算就是让模型试着回答一次。Astra只改了131,072个权重,占模型的0.016%。

Qwen在MATH-500上的成绩从7.9%升到48.1%。它在GSM8K上的成绩从13.8%升到67.1%。IFEval的成绩从21.0%升到62.3%。主要变化是减少了重复思考。这不等于Astra给了Qwen所有新的数学能力。

另一个模型Gemma 3 270M没有明显提高。这说明,消除一个问题,可能比增加一种新能力容易。

文章在Hacker News上获得2252个points和724条评论。这表示很多人关注它。它不能证明实验一定正确。

研究人员公开了实验记录。以后还要看其他团队能否重复结果,也要测试更大的模型。

来源:研究博客、Hacker News帖子

💬 Astra真的能修改AI里面的数字吗?

文章称Astra检查并修改了小型AI模型的权重。结果很惊人,但还有不少地方没有被独立确认。

  • 按文章自报的结果,Astra读懂并改写了模型权重,猜出了小网络训练过哪些游戏,还让Qwen的数学能力提高约5倍。这些数字尚未在这里得到独立验证。
  • 另一项自报测试中,小模型的96个回答有85个一直循环到32,768个词元上限。Astra据称找到了第15层和第19层中的一个方向,并改动了131,072个权重。
  • 评论者认为,这可能是很快的数学计算、模式寻找和机械可解释性,而不是神秘的权重直觉。人类也能做类似的事,只是慢得多。
  • 这种能力来自训练资料、普通推理,还是学习中自然出现的组合,目前不清楚。也不知道OpenAI是否专门训练了它、其他模型能否做到,或是否存在看不见的内部工具。
  • 目前例子主要是小模型和博客报告。它能否扩展到大模型、其他模型并稳定复现,还不知道。
  • 如果它真的能推广,AI可能更容易被检查和修理,也可能帮助AI自我改进;但自我修改也会带来安全风险。

这是评论数为856时的成熟版(修订2)。获取500条,并从整体抽取120条总结。内容属于HN用户自述,并非编辑部核实的事实。

🔥 HN 热议

一个人工智能改了另一个人工智能的几个数字

📰 完整报道: 人工智能能直接读写模型内部吗?Astra的“权重空间编程”实验

Astra看了另一个人工智能里面的数字,还改动了一些。

约1分钟读完 Tiny Why编辑部 · 文:特派员 好奇

词语
权重(quán zhòng)

帮助人工智能回答问题的内部数字。

Astra

会读取和修改另一个人工智能数字的人工智能。

Qwen3.5-0.8B

这次被修改的小型语言人工智能。

人工智能里面有很多数字。这些数字叫“权重”。它们帮助人工智能回答问题。

GPT-6 Astra是另一个人工智能。研究人员让它读这些数字。Astra猜出了小型游戏人工智能会做什么。然后,它改动了一些数字。游戏人工智能变得更会做事。

Astra还改了Qwen3.5-0.8B。它是一种小型语言人工智能。Qwen有时会一直重复思考。Astra只改了0.016%的权重。它在MATH-500上的成绩从7.9%变成48.1%。

这不表示Qwen学会了所有新本领。它主要是不再一直重复。另一个人工智能没有明显变好。这个实验还在开始阶段。

文章在Hacker News上有2252个points和724条评论。这表示很多人看到了它。它不能证明实验一定正确。

来源:研究博客、Hacker News帖子

💬 Astra改了AI里面的数字吗?

文章说Astra改了一个小AI里面的数字。这很惊人,但还需要更多检查。

  • 文章自报说,Astra读了小AI里面的数字并把它们改了。它猜中了游戏模型学过什么,还让Qwen的数学能力提高了约5倍。
  • 一次自报测试中,96个答案有85个一直重复,直到达到32,768个词元上限。Astra改了第15层和第19层里的一个模式,动了131,072个数字。
  • 这可能只是非常快的数学和找规律。我们不知道它是从训练资料学会的、自己学会的,还是用了看不见的内部工具。
  • 现在只有小模型的博客报告,还不知道大模型能不能做到。如果可以,AI会更容易检查和修理,但会自己改自己的AI也可能很危险。

这是评论数为856时的成熟版(修订2)。获取500条,并从整体抽取120条总结。内容属于HN用户自述,并非编辑部核实的事实。

来源