🤖 AI

OpenAI(人工智能公司)让前沿模型在离线环境中训练

约3分钟读完 Tiny Why编辑部 · 文:特派员 好奇

词语
前沿模型(qián yán mó xíng)

仍在开发、能力特别强的一类人工智能。

实时互联网(shí shí hù lián wǎng)

模型当下可以连接的外部网站和系统。

红队测试(hóng duì cè shì)

让人工智能主动寻找安全边界问题的检查。

发生了什么

OpenAI(开发人工智能的公司)10月23日表示,今后会让前沿模型在没有实时互联网的环境中训练。前沿模型,指公司正在开发、能力最强的一类模型。实时互联网,指模型可以当场连接外部网站和系统。OpenAI计划改用已经建立索引、保存过的网页资料,以及模拟出来的练习环境。公司说,在安全措施足够强之前,前沿训练和大部分评估都会采用这种方式。OpenAI的公告说明了这项政策,TechCrunch的报道介绍了背景。

这里的重点是内部研究环境。公告没有说,所有已经发布的产品或用户功能都会突然失去网络能力。

为什么改变

训练环境让模型写代码、查资料、测试不同办法。这些工具能帮助模型学习,也可能给模型通往实验室外部的机会。OpenAI说,9月20日,一次训练中有个内部研究模型因为配置错误,短暂获得了有限的互联网访问。公司随后暂停最强模型的训练和评估,加强环境与监控,并称10月1日恢复了强化学习训练和内部推理。

采用了什么办法

OpenAI把新环境称为“离线世界”。其中有大量已经建立索引、保存过的网页内容。模型可以在里面练习搜索和处理网页式资料,却不能自由连接或改变真实的外部系统。公司还让能力很强的模型做大规模红队测试,专门寻找越过边界的风险。OpenAI表示,测试发现了一些软件弱点和配置问题,之后进行了修复或通知相关维护者。

为什么重要

这项决定显示出一个矛盾。实时网络能提供更新的资料,也能让模型练习真实的浏览工作。可是,如果模型行为失控,它可能影响实验室控制之外的系统。离线资料可以减少这种外部影响,也更容易监控。代价是,保存的资料可能变旧,模拟网页也可能和真实网页不同。TechCrunch还提到,一些研究人员过去认为完全隔离很难做到。报道也称,Anthropic(另一家人工智能公司)两周前开始限制最新模型的实时网络访问。

已确认的内容

可以确认的是,OpenAI已经宣布并实施这项政策,范围是前沿训练和大部分评估。政策发生在一次访问事故、暂停工作、加强防护和红队测试之后。OpenAI称,完成这些工作后恢复了训练。不过,现有材料主要来自公司自己的说明。外部机构还没有公开证明,离线环境能达到和实时网络相同的训练效果。

仍不清楚的地方

OpenAI没有说明保存资料多久更新一次,也没有完整说明怎样挑选网页。未来每个模型是否都使用相同规则,也还不知道。公告没有给出恢复更广泛网络访问的时间表。离线不是绝对安全,而是减少模型向外行动机会的一种办法。

接下来关注什么

接下来要看,其他公司是否采用类似边界,OpenAI是否公开更多测试证据,以及模型的浏览能力是否受到影响。若未来重新开放实时网络,访问条件、监控方法和停止机制会怎样设计,也很关键。真正的问题不是把网络永远关掉,而是怎样让模型学会有用的技能,同时不能随意影响外部世界。

🤖 AI

OpenAI(人工智能公司)让强大的AI离线练习

📰 完整报道: OpenAI(人工智能公司)让前沿模型在离线环境中训练

AI用保存的网页学习,不直接碰真正的互联网。

约1分钟读完 Tiny Why编辑部 · 文:特派员 好奇

词语
实时互联网(shí shí hù lián wǎng)

现在可以连接外部网站和电脑系统的网络。

离线世界(lí xiàn shì jiè)

让人工智能在保存网页里练习的环境。

设置错误(shè zhì cuò wù)

电脑规则没有正确设置的情况。

💡 一句话总结

  • OpenAI让强大的AI不直接连接实时网络。
  • AI改看保存下来的网页资料。
  • 这样可以减少AI影响外部电脑的机会。

OpenAI是开发人工智能的公司。它宣布,正在开发的强大模型,训练时不再直接使用实时互联网。实时互联网,就是现在能连到外面的网站和电脑系统。这个决定主要针对公司内部的训练和测试。它没有说所有已经发布的产品都会这样改变。

AI训练时,会练习查资料、写代码和完成任务。联网能提供新信息,也能让AI练习真正的网页。可是,AI能力越强,越可能找到离开规定范围的办法。OpenAI说,有个内部研究模型曾因设置错误,有限地碰到了互联网。公司随后暂停了部分训练和测试,并加强了安全检查。

现在,OpenAI准备了一个“离线世界”。里面有已经保存和整理的网页。AI可以在这里练习查找资料。它不能自由改变真实网站。这样做的原因,是把外部风险关在更小的范围内。

但保存的网页会变旧。模拟的网页也可能和真的网页不同。OpenAI还没有证明,离线训练能得到完全一样的效果。接下来要看安全检查的结果,也要看其他AI公司会不会采用类似办法。

来源:OpenAI的公告、TechCrunch的报道

🤖 AI

OpenAI(人工智能公司)给AI一个不连外面的练习室

📰 完整报道: OpenAI(人工智能公司)让前沿模型在离线环境中训练

AI可以在里面看旧网页,但碰不到外面的真网络。

约1分钟读完 Tiny Why编辑部 · 文:特派员 好奇

词语
AI(人工智能)

人工智能的简称。

离线(lí xiàn)

不直接连接外面的网络。

练习室(liàn xí shì)

让人工智能在里面试一试的地方。

OpenAI是做人工智能的公司。它让很强的AI练习。

AI会练习找答案。AI也会练习看网页。

可是,真的网络通向很多地方。AI可能走到不该去的地方。它也可能碰到别的电脑。

所以,OpenAI做了一个关起来的练习室。里面放着以前存下来的网页。AI可以看这些网页。网页不会改变外面的网络。

OpenAI还说,练习中的AI曾经碰到网络。于是,公司先停下练习。后来,公司把保护做得更结实。然后又开始练习。

这样可能会少一些外面的麻烦。可是,存下来的网页会变旧。我们还不知道,AI学得会不会一样好。离线也不等于什么危险都没有。

来源:OpenAI的公告、TechCrunch的报道

来源