🔥 HN 热议

AI在内部计算,再用文字行动:Hybrid Reasoning Agents的新设计

约2分钟读完 Tiny Why编辑部 · 文:特派员 好奇

词语
潜在推理(せんざいすいり)

在模型内部的数值表示中进行计算的方法。

HybridLink

把内部信息传给下一步的小型连接部件。

预印本(よいんほん)

正式评审前公开的研究论文。

发生了什么

《Hybrid Reasoning Agents》是一篇提出新型AI代理设计的论文。AI代理是能够使用工具完成任务的软件。研究者在10月13日把这篇45页的预印本提交到arXiv(公开研究论文的站点),并介绍了试作系统HybridAgent。

现在的许多AI代理,既用文字进行中间推理,也用文字调用搜索、程序等工具。文字容易让人检查,工具也能接收文字命令。但如果每一步计算都先写成文字,就会消耗更多词元。另一种潜在推理,会在模型内部的连续数值表示中计算,不必把每一步都变成文字。这样可能更有效率,却不容易调用工具,也不容易检查。

两种模式如何连接

HybridAgent把文字模式和潜在模式放进同一个生成过程。文字模式负责写回答、发出工具请求和接收外部结果。潜在模式则把内部表示直接传给下一步,避免每一步都先解码成文字。

连接两种模式的是HybridLink(把内部信息传给下一步的小型连接部件)。系统还保存文字、潜在状态和工具结果,形成连续的工作记忆。这样,代理在多轮对话中可以继续使用此前的内容。论文还报告说,潜在模式的状态可以映射成可读的伪文字,供人检查。

怎样训练

研究者没有从零开始训练新的基础模型,而是通过后训练让已有模型学会配合HybridLink。第一阶段让系统稳定地切换两种模式,第二阶段用强化学习,让它学习什么时候留在内部计算,什么时候用文字或工具行动。这个设计的重点不是固定一种模式,而是让系统按任务选择。

实验结果说明什么

研究者在3种模型规模、11类基准测试上进行比较,测试内容包括数学、科学、医学、搜索和代理任务。论文报告说,HybridAgent的平均性能提高10.4%。使用的词元减少35.5%至54.7%,推理速度提高1.8至2.6倍,计算成本降低2.7至3.7倍。

这些数字是论文作者自己的比较结果,并不是所有AI系统都会得到的保证。它提出的分工很有意思:内部表示负责一部分重复计算,文字则保留给工具调用、重要决定和外部监测。

仍然未知的地方

这是一篇arXiv预印本,还没有经过完整的独立同行评审。基准测试、比较对象、模型规模和训练方法都会影响结果。把内部状态转换成可读的伪文字,也不等于人能看懂内部计算的全部事实。真正长时间运行的任务,才能检验它是否稳定。

Hacker News(讨论技术文章的网站)在候选集群的统计中给了这篇论文177分和109条评论。这只表示社区注意到了它,不表示论文主张已经被证明。接下来应观察其他研究者能否复现实验,换用不同模型和工具后,速度与成本优势是否仍然存在。

来源:arXiv论文。反应数据:Hacker News讨论页。

💬 潜在空间推理:更快更聪明,还是更难检查?

Hacker News 的讨论认为,让模型在潜在向量中完成中间工作很有前景,但也担心性能提升并不明确,以及安全监测会变得更困难。评论本身没有证明性能一定提高。

  • 这个方案让模型把中间推理保留为潜在向量,需要时再转回文字或工具调用。核心问题是,它是否只是减少 token 使用量和推理成本,还是也能提高准确率。
  • 有人询问基准测试在哪里;另一人指出论文第9页以后有评估,还有人分享了代码、模型与数据、以及评估链接。但评论没有给出改进幅度或独立复现结果。
  • 关于可审计性,有评论提到可以把每个潜在步骤映射到最近的 token embedding 来检查。反对者认为,一个向量可能组合了多个 token 的含义,压缩成一个最近的 token 会丢失信息;再让另一个模型解释,也可能是不完整的。
  • 主要的安全担忧是,隐藏的推理过程可能让人更难发现欺骗或危险计划。反方则指出,公开的思维链文字也未必真实反映模型的实际计算,因此能看到文字并不等于安全。
  • 更尖锐的反对意见针对的不是潜在推理本身,而是分步骤训练:如果外部评估器或强化学习根据潜在片段逐步给分,模型可能学会绕开正在被监测的表示。这是评论者的安全判断,不是已经证实的结果。
  • 支持者指出,思考并不总是语言形式;空间、视觉或蛋白质相关问题可能更适合非语言表示。他们还猜测,保留潜在想法再生成文字,可能让输出更连贯。这些仍是期待和未解决的问题。
  • 比较结果仍不明确。评论者询问它与简单循环、增加深度、Astra 的循环式 Transformer,或同时输入潜在向量和 token embedding 有何不同。讨论中没有形成确定的比较结论。
  • 作为一条用户自报,有人用 llama.cpp 运行 14B 模型时称,8 位量化和 BF16 两种模式都出现了约5分钟重复同一段文字的情况,并把要求的 CSV 做成了 Markdown 表格。该用户怀疑是 llama.cpp 的兼容性或版本问题,并没有把它当作论文基准结果。

这是评论数为109时的初期(修订1)。获取100条,并从整体抽取100条总结。内容属于HN用户自述,并非编辑部核实的事实。

🔥 HN 热议

AI在里面计算,在外面用文字和工具交流

📰 完整报道: AI在内部计算,再用文字行动:Hybrid Reasoning Agents的新设计

研究者提出了一种让AI在内部计算和文字行动之间切换的方法。

约1分钟读完 Tiny Why编辑部 · 文:特派员 好奇

词语
潜在模式(せんざいもよう)

让AI用内部数字表示进行一部分计算的方式。

HybridLink

连接两种计算方式的部件。

词元(しげん)

AI处理的一小段文字。

💡 一句话总结

  • HybridAgent(会使用工具的AI)在内部计算和文字之间切换。
  • 文字用来和工具交流,内部表示用来减少重复文字。
  • Hacker News(讨论技术文章的网站)有177分和109条评论。受关注不等于正确。

《Hybrid Reasoning Agents》是一篇研究论文。它在10月13日发布到arXiv(公开研究论文的站点)。AI代理就是会使用搜索等工具的软件。

很多AI会把每一步都写成文字。文字容易阅读,却可能很长。论文提出了潜在模式。它让AI使用内部的数字表示,不必把每一步都写出来。这样可能减少词元,也就是AI处理的一小段文字。

HybridAgent会在两种模式之间切换。文字模式负责和工具交流。潜在模式负责一部分内部计算。HybridLink负责在两种模式之间传递信息。系统还会保存之前的文字、内部状态和工具结果。

研究者用了3种模型规模和11类测试。论文报告说,平均性能提高10.4%。词元减少35.5%至54.7%。推理速度提高1.8至2.6倍。计算成本降低2.7至3.7倍。

但是,这还是arXiv预印本。数字来自论文作者自己的实验。别的研究者和别的模型,可能得到不同结果。Hacker News的分数和评论,只说明文章受到注意,不是正确证明。

来源:arXiv论文。反应数据:Hacker News讨论页。

💬 用看不见的数字来工作的 AI:期待与担忧

这个 AI 不把所有中间步骤都写成文字,而是用隐藏的数字表示来完成一部分工作。这可能提高效率,也可能让人更难检查它。

  • 它先用隐藏的数字表示完成中间工作,需要时再输出文字或执行操作。大家想知道,它只是节省 token 和时间,还是也能让答案更准确。
  • 有人指出论文后半部分有评估,也分享了代码和评估链接。但评论没有说明效果有多大,也没有给出独立复现结果。
  • 隐藏的中间步骤更难检查。把每一步换成一个相近的词,可能会丢掉组合含义;另一个模型写出的解释,也可能无法完全还原原来的计算。
  • 有人担心隐藏步骤会让坏计划更难被发现,尤其担心用分步骤反馈训练潜在状态会让模型学会避开监测。这只是担忧,不是已经证明的事实。
  • 另一边认为,思考不总是用语言进行,所以这种表示可能适合空间或视觉想法,也可能让答案更连贯。它和循环式模型的比较仍没有定论。
  • 一位用户自报,llama.cpp 的 14B 模型在 8 位和 BF16 两种模式下都重复文字约5分钟,并把 CSV 做成了表格。这可能是兼容性问题,不能据此判断模型整体性能。

这是评论数为109时的初期(修订1)。获取100条,并从整体抽取100条总结。内容属于HN用户自述,并非编辑部核实的事实。

🔥 HN 热议

AI在里面计算,在外面说话

📰 完整报道: AI在内部计算,再用文字行动:Hybrid Reasoning Agents的新设计

一篇新论文介绍了AI使用两种办法工作的设计。

约1分钟读完 Tiny Why编辑部 · 文:特派员 好奇

词语
HybridAgent

会使用工具的AI。

arXiv

分享研究论文的地方。

Hacker News

讨论技术的网站。

arXiv(分享研究的地方)有一篇新论文。 论文介绍了HybridAgent(会使用工具的AI)。

它和外面的工具说话时用文字。 它在里面也能用数字的排列来计算。 这样,有些步骤不用写成一大串文字。

论文说,人可以把一部分内部计算变成容易读的文字。 这个AI还会记住前面工具给出的结果。

这是研究中的新办法。 其他研究者还要再检查它。

Hacker News(讨论技术的网站)也看到了这篇论文。 那里有177分和109条留言。 这表示很多人注意到它。 不表示论文一定正确。

来源:arXiv论文。反应数据:Hacker News讨论页。

💬 用看不见的数字来想办法的 AI

这个 AI 做事情时,有一部分过程不用文字,而用看不见的数字。

  • 论文后面的页面有测试,人们也分享了代码和评估链接。但评论没有说明它到底好多少。
  • 看不见的过程不容易被人检查。换回一个词时,可能丢掉一些意思,也可能更难发现坏计划。不过,不是所有想法都适合用语言表示。
  • 一位用户自报,14B 模型在 8 位和 BF16 模式下都重复文字约5分钟,还把 CSV 做成了表格。也许是软件不合适,所以不能说所有人都会遇到这个问题。

这是评论数为109时的初期(修订1)。获取100条,并从整体抽取100条总结。内容属于HN用户自述,并非编辑部核实的事实。

来源