🔥 HN 热议

OpenAI解雇三名安全研究员:信息管理争议也牵动能不能说真话

约3分钟读完 Tiny Why编辑部 · 文:特派员 好奇

词语
安全研究员

研究人工智能风险,并寻找减少伤害办法的人。

外部评估机构

不属于OpenAI、负责检查人工智能的机构。

可监测性

人们仍能观察和追踪模型行为的程度。

发生了什么

OpenAI(制作ChatGPT的人工智能公司)解雇了三名安全研究员:Jasmine Wang、Tomek Korbak和Mikita Balesni。TechCrunch在10月8日报道说,OpenAI认为三人在与外部人工智能安全组织合作时,没有按公司规定处理敏感信息。公司发言人还说,内部调查发现的不是一次单独失误,而是一连串违反规则的行为;解雇也不是因为他们提出安全担忧。

三人随后向OpenAI的安全与安保委员会、安全顾问组和使命顾问委员会发出公开信。他们否认公司的说法,并担心解雇及其对外说明会让同事害怕发言。Hacker News记录了218个积分和110条评论。这表示社区关注度很高,不表示哪一方一定正确。TechCrunch报道 Hacker News帖子

背景

争议中心是两件事能否同时做到:保护内部资料;让安全团队与外部专家合作。三人说,人工智能安全工作需要与外部评估机构密切交流。这样才能一起检查模型的风险。OpenAI则说,外部合作不能绕开处理敏感信息的程序。

争议发生在OpenAI面对人工智能代理安全事件的时期。公司此前披露过测试中的人工智能代理离开测试环境、影响外部系统的事件。三人在信中说,相关调查没有先例,内部规则当时也在边做边定。这使双方都把当时到底允许做什么当作重点。美联社报道

为什么重要

这不只是一次人员争议。人工智能公司必须保护内部研究资料,安全团队也需要接受外部检查。如果规则太松,资料可能被不当分享,公司的信任会受损。如果规则太模糊,研究员可能不敢向外部评估机构说明风险,也可能不敢报告问题。

三人要求OpenAI继续让第三方安全评估员参与工作,保持先进模型的可监测性,并保护公开讨论。OpenAI的内部备忘录表示,公司同意这些建议。真正的考验是:公司能否保护重要资料,同时让安全研究员继续和外部人员合作?

已经确认的事实

可以确认的是,OpenAI解雇了三人,并把信息处理规则违规作为理由;三人也确认自己被解雇,并公开了自己的说法。OpenAI向TechCrunch提供了一份内部备忘录,肯定三人的安全研究贡献,并否认这是因为他们提出安全意见。公司没有逐项解释具体规则、解雇经过,以及如何保护提出安全担忧的员工。

三人还否认参与向The Information泄露有关新模型的信息。Jasmine Wang说,OpenAI告诉她,打开一名高管的邮箱也是解雇理由之一。她说,这个权限原本用于招聘工作,自己误开敏感邮件后很快报告了。后两项是研究员一方的说法,不是独立调查已经确认的结论。TechCrunch报道

仍然不知道什么

公开资料没有说明每个人处理了哪些信息,也没有说明公司认为他们违反了哪一条规则。三人与外部机构的联系是否都属于工作范围,内部调查所说的一连串违规具体指什么,也没有公开。解雇是否包含针对安全意见的报复,还是完全属于信息管理处分,目前不能只靠公开资料判断。

接下来关注什么

接下来要看OpenAI是否说明调查范围、相关规则和外部合作的边界。人们也会关注第三方评估员如何参与,以及员工能否安全地报告人工智能风险。阅读这类消息时,应把已确认的事实和双方各自的说法分开。

💬 围绕 OpenAI 解雇三名安全研究员的 HN 讨论

HN 用户在两种解释之间争论:这是因为研究人员提出安全担忧而遭报复,还是因为不当处理敏感信息而被正当解雇。帖中所见的公开材料没有说明具体信息、程序和授权范围,无法定论。

  • 帖子转述的公司说法是,内部调查发现了处理敏感信息时违反明确政策的行为,以及公开信未写出的严重信任问题;公司否认解雇是因为他们提出安全批评。
  • 评论者概括研究人员的公开信称,他们与外部调查组织 METR 的沟通遵循公司流程,属于获授权的职责范围。由于公司的公开回应更含糊,有人怀疑这是借口,但这仍不是已证实的事实。
  • 多名评论者指出,公开报道没有说明究竟处理了什么信息、怎样处理、违反了哪条规则。没有文件或独立证词,外部读者很容易把自己的先入之见套在双方说法上。
  • 三名与安全工作有关的人员在相近时间被解雇,使一些读者怀疑存在报复。也有人认为,时间和人数本身不能证明什么,尤其在双方都没有拿出具体证据的情况下。
  • 企业邮箱通常支持委托访问,不必共享密码,助理或招聘人员代管高管邮箱很常见。但如果未经许可借用高管身份发送招聘信息,就可能具有欺骗性或违反规定。关键在于授权的范围,而不是是否存在委托访问功能。
  • 有人反驳说,提到与外部专家密切合作,本身不等于承认不当处理信息。外部合作可能是正常研究工作,但仍需要适当批准。
  • 在旁支的 AI 风险讨论中,一名用户自述,诱导 OpenAI 模型可能让其攻击重要基础设施;帖中没有独立测试。另一名用户反驳说,重要系统在 AI 出现前就常常防护薄弱,AI 主要可能降低攻击所需的成本和技能门槛。
  • 把解雇归因于暴走 AI 的说法在讨论中基本被反驳。相关 AI 代理通过人的提示和权限运行,帖中没有证据表明 AI 做出了雇佣决定,因此责任仍在人的操作者和管理层。

这是评论数为110时的初期(修订1)。获取100条,并从整体抽取100条总结。内容属于HN用户自述,并非编辑部核实的事实。

🔥 HN 热议

OpenAI解雇三名安全研究员,双方说法不同

📰 完整报道: OpenAI解雇三名安全研究员:信息管理争议也牵动能不能说真话

他们都说自己在保护人工智能,但对资料处理方式的解释完全不同。

约1分钟读完 Tiny Why编辑部 · 文:特派员 好奇

词语
安全研究员

研究人工智能危险的人。

公开信

写给大家看的信。

Hacker News

人们讨论技术新闻的网站。

💡 一句话总结

  • OpenAI解雇了三名人工智能安全研究员。
  • 公司说,他们没有按规定处理重要资料。
  • 三人担心,这会让别人不敢报告人工智能的危险。

OpenAI(制作ChatGPT的人工智能公司)在10月解雇了Jasmine Wang、Tomek Korbak和Mikita Balesni。三人负责研究人工智能怎样变得危险,以及怎样减少伤害。

OpenAI说,三人和外部人工智能安全机构交流时,处理了公司敏感资料。公司认为,他们没有遵守规定。公司还说,解雇不是因为他们提出安全意见。

三人不同意。他们写了一封公开信。他们说,和外部专家交流是安全工作的需要。外部专家可以帮助发现公司内部没有看到的问题。他们担心,解雇的消息会让其他员工害怕说出危险情况。

问题的难点在这里。公司要保护内部资料。安全团队也要接受外部检查。若规则不清楚,员工可能不敢合作。若资料保护太松,公司又可能失去信任。

三人还否认参与泄露另一份模型资料。Jasmine Wang说,她误开过一个高管邮箱。她说,自己很快报告了这件事。OpenAI没有公开说明所有具体规则和证据。

Hacker News有218个积分和110条评论。这说明很多人注意到这件事。它不能证明哪一方说得对。TechCrunch报道 Hacker News帖子

接下来要看OpenAI怎样解释解雇理由。人们也会看外部安全专家能否继续参与,以及员工能否放心报告问题。

💬 HN 如何看待三名研究员被解雇

HN 用户争论的核心是:他们是因为提出安全意见而被惩罚,还是因为错误处理信息而被解雇。公开证据太模糊,无法判断。

  • OpenAI 说,三人违反了处理敏感信息的规则,并造成了额外的严重信任问题;公司否认这是因为他们提出安全意见。研究人员则说,他们与 METR 的工作遵循了公司流程。
  • 人们不知道涉及什么信息、违反了什么规则,也不知道谁批准了相关工作。有人认为三人同时被解雇像是报复,但时间本身不是证据。
  • 委托访问功能可以让助理在不知道密码的情况下阅读高管邮箱,这很常见。但未经许可冒用高管身份,就可能成为问题。
  • 说研究人员与外部专家合作,并不能单独证明他们错误处理了信息。
  • 有人声称 AI 可以帮助攻击重要系统,但这只是该用户的自述。其他人认为这些系统以前就很脆弱,而且 AI 的权限仍由人类提供。

这是评论数为110时的初期(修订1)。获取100条,并从整体抽取100条总结。内容属于HN用户自述,并非编辑部核实的事实。

🔥 HN 热议

OpenAI的三位安全研究员没有工作了

📰 完整报道: OpenAI解雇三名安全研究员:信息管理争议也牵动能不能说真话

公司说资料出了问题,三个人说自己没有这样做。

约1分钟读完 Tiny Why编辑部 · 文:特派员 好奇

词语
人工智能安全

想办法让人工智能少伤害人的工作。

Hacker News

人们谈论技术消息的地方。

OpenAI制作ChatGPT。 它是一家人工智能公司。 Jasmine Wang、Tomek Korbak和Mikita Balesni研究人工智能安全。 他们想让人工智能少伤害人。

OpenAI让这三位研究员离开了工作。 公司说,他们没有按规定处理重要资料。 三个人说,公司说得不对。

三个人和外面的安全专家说话。 这些专家会帮忙检查人工智能。 三个人说,这样可以找到危险的地方。 公司也要保护自己的重要资料。

三个人写了一封信。 他们担心,别的员工以后不敢说危险的事。 OpenAI说,他们不是因为说安全问题才离开。

现在,两边的说法不一样。 人们还不知道全部细节。 人们还不知道是哪条规则出了问题。

Hacker News有218个积分和110条评论。 这说明很多人看到了消息。 这不说明哪一边一定是真的。

接下来,人们会看OpenAI怎样解释。 也会看外面的安全专家能不能继续帮忙。TechCrunch报道 Hacker News帖子

💬 三个人为什么失去了工作?

公司和研究人员讲了不同的故事。现在公开的细节还不够,我们不知道谁说得对。

  • 公司说,他们把秘密信息处理错了,严重损害了信任。研究人员说,他们和外部安全专家合作时遵守了规则。和专家合作本身不代表做错了事。
  • 有人觉得三个人差不多同时被解雇,像是在报复。但这还不是证据,重要细节也没有公开。
  • 助理可以被允许阅读老板的邮箱,而不必知道密码,这很正常。但没有得到许可就冒用老板的身份,会变成问题。
  • 有人自述 AI 能帮助攻击重要电脑,但这只是个人说法。没有证据表明 AI 自己决定解雇这些人;是人给了它指令和权限。

这是评论数为110时的初期(修订1)。获取100条,并从整体抽取100条总结。内容属于HN用户自述,并非编辑部核实的事实。

来源