AI安全不能只靠一个值得信任的老板
CSET(西塞特)
乔治城大学里研究新技术安全的团队。
AGI(通用人工智能)
指能处理许多不同任务的人工智能。
AI治理
决定谁来监督人工智能、怎样制定规则。
发生了什么
2026年11月14日,《The Verge》刊出了一篇海伦·托纳的访谈。海伦·托纳曾任OpenAI董事。OpenAI是开发ChatGPT的人工智能公司。她现在负责乔治城大学新兴技术与安全研究中心CSET的工作。她也是2023年参与罢免萨姆·奥特曼首席执行官职务的董事之一。
这次访谈的重点,不是说每一位人工智能公司负责人都很坏。托纳的观点是,社会不应该把人工智能的安全,押在某一个人的品格和承诺上。真正重要的是,公司有没有能被检查的制度,有没有不同的人提出问题。
背景:为什么要谈信任
人工智能公司常常谈到AGI。这个词通常指能处理许多不同任务的人工智能。但人们对它的要求并不一样。有人认为,能做很多工作的系统就算AGI。也有人认为,它必须几乎能完成所有人类工作。
托纳认为,如果大家只争论这个词,就可能忘记更具体的问题。一个系统到底会做什么?谁能使用它?发布前做过哪些检查?出错后谁负责?这些问题比争论一个模糊的标签更容易验证。
两种风险不能混为一谈
托纳把风险分成两类。第一类是人利用人工智能做坏事。这个问题和使用者规则、限制措施以及执法有关。
第二类是人工智能自己做出开发者没有预料到的行动。这是另一种挑战。如果系统要完成很长的任务,或者得到更大的操作权限,就必须先有足够的安全证据。就算是用来防守的人工智能,也可能需要很多权限。因此,人们更难确认它会不会越过预期范围。
访谈没有讲攻击方法,也没有提供技术操作细节。它讨论的是监督、责任和信任边界。
为什么一个人不够
一个值得信任的负责人也可能犯错。他可能得到的信息不完整,也可能受到速度、业绩或竞争的压力。外部社会通常无法看到公司内部的每个决定。
托纳希望有更多人和不同观点参与。董事会和外部审查者应该能够提出尖锐的问题。公司还应该提前说明,谁可以在安全证据不足时暂停训练或发布。
这就是AI治理的核心:谁来监督,谁来决定,谁能在风险太高时叫停。它把安全从个人信誉,转成了可以检查的制度。
已经确认的内容
这次访谈能确认的是托纳本人的立场。她反对把公共安全建立在某个CEO是否值得信任之上。访谈不是对OpenAI或其他公司的审计,也没有证明某位负责人一定不诚实。
她也没有断言AGI一定会很快出现。她认为,先进人工智能足够可能发生,所以不能把它当成笑话。应该认真准备,并且承认我们对未来仍然没有把握。
还不知道什么,接下来观察什么
托纳没有提出一套完整的法律或公司规则。她提到,自己过去曾怀疑暂停开发半年是否有用。现在,她认为安全研究还有很大的积压,企业需要更多时间处理这些工作。
她支持在训练或发布更强的模型前,先达到明确的安全门槛。如果风险评估和应对措施足够,就可以继续。如果还不够,就应该先花时间补足。
接下来要观察的,是谁来定这条门槛,谁来检查证据,以及董事会或外部机构能不能真的叫停高风险行动。人工智能行业越重视速度,这些监督安排就越重要。
为什么AI公司不能只相信一个大老板
📰 完整报道: AI安全不能只靠一个值得信任的老板
海伦·托纳认为,AI安全需要规则和许多人的检查,不能只靠一个人的保证。
董事会
负责监督公司大事的一群人。
AGI(通用人工智能)
指能做许多不同工作的人工智能。
安全门槛
继续训练或发布前必须达到的安全标准。
💡 一句话总结
- AI安全不能只靠一个负责人。
- 人可能滥用AI,AI也可能做出意外行动。
- 制作更强的AI前,要先通过安全检查。
2026年11月14日,《The Verge》介绍了海伦·托纳的访谈。她以前是OpenAI的董事。OpenAI是制作ChatGPT的人工智能公司。她也参加过2023年罢免萨姆·奥特曼的董事会决定。
托纳并不是说每个AI公司负责人都是坏人。她说,一个人的好承诺不能保护所有人。就算负责人认真,也可能看漏问题。公司需要让更多人查看决定,并且允许他们提出反对意见。
她把AI风险分成两种。第一种是人把AI用在坏事上。这个问题需要使用规则和法律来处理。第二种是AI做出开发者没有想到的行动。这个问题需要不同的安全测试。
她还谈到AGI。AGI是指能做许多不同工作的人工智能。人们对它的定义并不一样。有些人只要看到AI能做很多事,就会使用这个词。另一些人则要求它接近人的全部能力。
如果大家只争论名称,就可能忘记真正的问题。我们应该问,AI能做什么,谁能使用它,出错时谁负责。
托纳过去不确定暂停开发半年是否有帮助。现在她认为,安全研究还有很多事情没有完成。她主张,在训练或发布更强的AI前,先设置安全门槛。
如果检查通过,公司可以继续。如果检查不过,公司就应该等待。接下来要看的,是谁能设置门槛,谁能在危险时叫停。
AI的大老板一个人说了算,好吗?
📰 完整报道: AI安全不能只靠一个值得信任的老板
海伦·托纳说,AI安全不能只听一个大老板的话。
OpenAI
制作ChatGPT的人工智能公司。
董事
帮助看管公司的大人。
海伦·托纳以前是OpenAI的董事。
OpenAI制作ChatGPT。
董事就是帮助看管公司的人。
她说,不能只相信一个大老板。
好人也可能看漏事情。
所以要让许多人一起检查。
人可能把AI用来做坏事。
AI也可能做出人没想到的事。
这两种担心不一样。
AI变得更强前,要先检查安全。
检查不够好时,就先等一等。
她没有说每个老板都是坏人。
她说,安全不能只靠一个人的保证。