🤖 AI

AI安全不能只靠一个值得信任的老板

约2分钟读完 Tiny Why编辑部 · 文:特派员 好奇

词语
CSET(西塞特)

乔治城大学里研究新技术安全的团队。

AGI(通用人工智能)

指能处理许多不同任务的人工智能。

AI治理

决定谁来监督人工智能、怎样制定规则。

发生了什么

2026年11月14日,《The Verge》刊出了一篇海伦·托纳的访谈。海伦·托纳曾任OpenAI董事。OpenAI是开发ChatGPT的人工智能公司。她现在负责乔治城大学新兴技术与安全研究中心CSET的工作。她也是2023年参与罢免萨姆·奥特曼首席执行官职务的董事之一。

这次访谈的重点,不是说每一位人工智能公司负责人都很坏。托纳的观点是,社会不应该把人工智能的安全,押在某一个人的品格和承诺上。真正重要的是,公司有没有能被检查的制度,有没有不同的人提出问题。

背景:为什么要谈信任

人工智能公司常常谈到AGI。这个词通常指能处理许多不同任务的人工智能。但人们对它的要求并不一样。有人认为,能做很多工作的系统就算AGI。也有人认为,它必须几乎能完成所有人类工作。

托纳认为,如果大家只争论这个词,就可能忘记更具体的问题。一个系统到底会做什么?谁能使用它?发布前做过哪些检查?出错后谁负责?这些问题比争论一个模糊的标签更容易验证。

两种风险不能混为一谈

托纳把风险分成两类。第一类是人利用人工智能做坏事。这个问题和使用者规则、限制措施以及执法有关。

第二类是人工智能自己做出开发者没有预料到的行动。这是另一种挑战。如果系统要完成很长的任务,或者得到更大的操作权限,就必须先有足够的安全证据。就算是用来防守的人工智能,也可能需要很多权限。因此,人们更难确认它会不会越过预期范围。

访谈没有讲攻击方法,也没有提供技术操作细节。它讨论的是监督、责任和信任边界。

为什么一个人不够

一个值得信任的负责人也可能犯错。他可能得到的信息不完整,也可能受到速度、业绩或竞争的压力。外部社会通常无法看到公司内部的每个决定。

托纳希望有更多人和不同观点参与。董事会和外部审查者应该能够提出尖锐的问题。公司还应该提前说明,谁可以在安全证据不足时暂停训练或发布。

这就是AI治理的核心:谁来监督,谁来决定,谁能在风险太高时叫停。它把安全从个人信誉,转成了可以检查的制度。

已经确认的内容

这次访谈能确认的是托纳本人的立场。她反对把公共安全建立在某个CEO是否值得信任之上。访谈不是对OpenAI或其他公司的审计,也没有证明某位负责人一定不诚实。

她也没有断言AGI一定会很快出现。她认为,先进人工智能足够可能发生,所以不能把它当成笑话。应该认真准备,并且承认我们对未来仍然没有把握。

还不知道什么,接下来观察什么

托纳没有提出一套完整的法律或公司规则。她提到,自己过去曾怀疑暂停开发半年是否有用。现在,她认为安全研究还有很大的积压,企业需要更多时间处理这些工作。

她支持在训练或发布更强的模型前,先达到明确的安全门槛。如果风险评估和应对措施足够,就可以继续。如果还不够,就应该先花时间补足。

接下来要观察的,是谁来定这条门槛,谁来检查证据,以及董事会或外部机构能不能真的叫停高风险行动。人工智能行业越重视速度,这些监督安排就越重要。

🤖 AI

为什么AI公司不能只相信一个大老板

📰 完整报道: AI安全不能只靠一个值得信任的老板

海伦·托纳认为,AI安全需要规则和许多人的检查,不能只靠一个人的保证。

约1分钟读完 Tiny Why编辑部 · 文:特派员 好奇

词语
董事会

负责监督公司大事的一群人。

AGI(通用人工智能)

指能做许多不同工作的人工智能。

安全门槛

继续训练或发布前必须达到的安全标准。

💡 一句话总结

  • AI安全不能只靠一个负责人。
  • 人可能滥用AI,AI也可能做出意外行动。
  • 制作更强的AI前,要先通过安全检查。

2026年11月14日,《The Verge》介绍了海伦·托纳的访谈。她以前是OpenAI的董事。OpenAI是制作ChatGPT的人工智能公司。她也参加过2023年罢免萨姆·奥特曼的董事会决定。

托纳并不是说每个AI公司负责人都是坏人。她说,一个人的好承诺不能保护所有人。就算负责人认真,也可能看漏问题。公司需要让更多人查看决定,并且允许他们提出反对意见。

她把AI风险分成两种。第一种是人把AI用在坏事上。这个问题需要使用规则和法律来处理。第二种是AI做出开发者没有想到的行动。这个问题需要不同的安全测试。

她还谈到AGI。AGI是指能做许多不同工作的人工智能。人们对它的定义并不一样。有些人只要看到AI能做很多事,就会使用这个词。另一些人则要求它接近人的全部能力。

如果大家只争论名称,就可能忘记真正的问题。我们应该问,AI能做什么,谁能使用它,出错时谁负责。

托纳过去不确定暂停开发半年是否有帮助。现在她认为,安全研究还有很多事情没有完成。她主张,在训练或发布更强的AI前,先设置安全门槛。

如果检查通过,公司可以继续。如果检查不过,公司就应该等待。接下来要看的,是谁能设置门槛,谁能在危险时叫停。

🤖 AI

AI的大老板一个人说了算,好吗?

📰 完整报道: AI安全不能只靠一个值得信任的老板

海伦·托纳说,AI安全不能只听一个大老板的话。

约1分钟读完 Tiny Why编辑部 · 文:特派员 好奇

词语
OpenAI

制作ChatGPT的人工智能公司。

董事

帮助看管公司的大人。

海伦·托纳以前是OpenAI的董事。

OpenAI制作ChatGPT。

董事就是帮助看管公司的人。

她说,不能只相信一个大老板。

好人也可能看漏事情。

所以要让许多人一起检查。

人可能把AI用来做坏事。

AI也可能做出人没想到的事。

这两种担心不一样。

AI变得更强前,要先检查安全。

检查不够好时,就先等一等。

她没有说每个老板都是坏人。

她说,安全不能只靠一个人的保证。

来源