Anthropic提议人工智能安全法案：只有“50多人伤亡或损失10亿美元”才可叫停模型
草案
尚未通过、正在讨论的法律文本。
独立第三方
不属于提出方案一方的评估机构。
联邦地区法院
美国联邦司法系统中审理案件的法院。
发生了什么
Anthropic（开发 Claude 的人工智能公司）正在向美国议员介绍一份人工智能安全法案草案。Tom's Hardware的报道援引Politico消息称，按照这份方案，政府只有在模型带来可预见、迫近的巨大危险时，才可以阻止模型发布。危险包括导致超过50人死亡或重伤，或者造成超过10亿美元损失。这还不是已经生效的法律，而是Anthropic正在推动的提案。
草案怎样运作
草案要求一家在美国商务部登记的独立第三方，定期检查人工智能实验室和它的模型。实验室可以支付评估费用，但付款不能影响评估者的独立性。
草案关注三类危险：制造或释放生物武器；人工智能驱动或帮助完成的网络攻击；实验室失去对模型或人工智能代理的控制。如果评估者发现其中一种危险正在逼近，就必须在72小时内把证据报告给商务部。之后，商务部要把证据提交给哥伦比亚特区联邦地区法院的法官，由法官决定是否暂停模型发布。
草案还把停止发布的权力集中给商务部。它写明，美国其他部门、机构或官员不能命令实验室停止发布模型。按这个设计，商务部会成为唯一能发出这类停止命令的政府部门。
为什么门槛重要
这份方案没有把所有人工智能伤害都列为可以叫停模型的理由，而是设定了很高、很具体的门槛。好处是，政府在危机前可以更清楚地知道何时启动程序。问题是，严重但低于门槛的伤害，可能无法触发这项特别的停止权力。低于门槛不等于安全，只表示这份草案的叫停程序可能不会启动。
这项设计还把一家公司的安全框架放进政府程序。Anthropic说，法案体现了它自己的人工智能安全框架，也说公司从6月起一直向联邦和州议员提出这些政策。这说明提案来自被监管的人工智能公司本身，并不说明国会已经接受了它。
已确认的事实与报道热度
目前可以确认的是：报道所说的是一份草案；它有超过50人伤亡或超过10亿美元损失的门槛；它安排独立评估、72小时报告和法官决定；它还把停止命令交给商务部。
相关的Hacker News帖子有158个积分和162条评论。这些数字说明社区对故事的关注度很高，但不能证明方案正确、足够安全或一定会通过。关注度和事实判断是两件事。
还不清楚什么
公开报道没有给出最终法案全文，也没有说明“可预见”和“迫近”的具体判断方法。死亡人数、重伤人数和金钱损失怎样计算，评估者怎样选出，付款怎样接受监督，目前都不清楚。议员是否会正式提出这份草案、是否修改数字、是否通过，也没有答案。
接下来关注什么
下一步应关注法案正文是否正式公开。如果公开，就要看评估者的独立性规则、商务部需要什么证据，以及法官用什么标准决定暂停发布。还要看国会是否让其他部门拥有类似权力。在此之前，这只是Anthropic支持的一条狭窄干预路径，不是一部新的安全法律。
一份想写清楚“何时停用人工智能”的法案
📰 完整报道: Anthropic提议人工智能安全法案：只有“50多人伤亡或损失10亿美元”才可叫停模型
Anthropic提出草案，想规定政府什么时候可以叫停强大的人工智能。
草案
还没有成为法律的方案。
评估者
负责检查人工智能模型的人或机构。
迫近
很快可能发生。
💡 一句话总结
- 这是一份还没有成为法律的方案。
- 只有巨大而且迫近的危险，才可能触发叫停。
- Hacker News有158个积分和162条评论。热度不等于正确。
Anthropic（开发 Claude 的人工智能公司）把这份草案介绍给了美国议员。它还不是法律，只是正在讨论的方案。
按照方案，政府可以在危险很大时阻止人工智能模型发布。危险包括超过50人死亡或重伤，也包括超过10亿美元的损失。危险还必须是可以预见的，并且很快可能发生。
草案安排了一名独立评估者。评估者要检查人工智能实验室和它的模型，并在美国商务部登记。实验室可以支付费用，但不能因此影响评估者的独立判断。
草案列出三种危险：生物武器、人工智能帮助的网络攻击，以及实验室失去对模型或人工智能代理的控制。如果危险正在逼近，评估者要在72小时内告诉商务部。之后，联邦地区法院的法官决定是否暂停模型发布。
这个设计重要，是因为它想先写清楚谁能叫停模型。草案把这项权力交给商务部。其他美国政府部门不能根据这份草案直接下令停止发布。
高门槛也会带来问题。低于50人或低于10亿美元，并不表示没有伤害。它只表示这份草案规定的特别叫停程序可能不会启动。因此，怎样计算人数和损失，会影响政府能不能行动。
目前还不知道正式条文是什么，也不知道国会会不会提出或通过它。接下来要看法案正文、评估者的监督办法和国会讨论。
Hacker News的积分和评论数只表示有人关注。它们不能证明这份方案正确。
来源：Tom's Hardware。
💬 50人死亡或10亿美元：这条线合理吗？
HN评论者讨论，这个方案是在保护安全，还是会让大公司更有优势。
- 方案要等到50人死亡，或损失达到10亿美元（$1B），特别措施才开始。批评者担心，线下的伤害会被忽略，还可能让人故意贴着这条线工作。
- 一位评论者声称，一次加密货币黑客攻击就可能达到$1B，还说Anthropic不让加密防守者访问Mythos。另一位评论者说，很多智能合约（按规则自动处理交易的小程序）可以更新，也可以用hard fork（大家一起改变规则）修复。这些都是评论者的说法，不是独立确认的事实。
- 有人担心保险和审计会让大公司占优势，也会伤害小公司和open-weight models。也有人认为，规则主要管大型frontier labs，小实验室有例外。
- 争论还在于谁负责：滥用AI的人，还是制造AI的公司？有些人把AI比作电脑，有些人把它比作需要安全设计的汽车。相关法律还没有完全定下来。
这是评论数为162时的初期（修订1）。获取100条，并从整体抽取100条总结。内容属于HN用户自述，并非编辑部核实的事实。
给很危险的人工智能定一个停下来的规则
📰 完整报道: Anthropic提议人工智能安全法案：只有“50多人伤亡或损失10亿美元”才可叫停模型
Anthropic想定一条规则，告诉大家何时停下人工智能。
法案
正在讨论的法律方案。
商务部
负责一些国家事务的政府部门。
Hacker News
一个讨论科技新闻的网站。
Anthropic（开发 Claude 的人工智能公司）想定一条规则。 这条规则还不是法律。 大家还在商量它。
如果人工智能可能让50多人死亡或重伤，政府可以处理。 如果可能造成10亿美元损失，也可以处理。 美元是钱的名字。
先由另一组人检查人工智能。 他们要在72小时内告诉商务部。 然后，法官决定要不要暂停发布。
这个计划关心三种大危险。 它们是生物武器、网络攻击和失去控制。
Hacker News上有人关注这个故事。 有158个积分和162条评论。 这表示它很受注意。 不表示它一定正确。
我们还不知道它会不会成为法律。 也不知道损失怎样计算。 下一步是看真正的法案。 还要看国会怎么决定。
来源：Tom's Hardware。
💬 安全规则什么时候开始？
这个方案要等很大的伤害出现，规则才会开始。
- 要死50个人，或损失10亿美元（$1B），特别规则才会启动。有人担心，小伤害会被忘掉。
- 一位评论者说，一次加密货币攻击可能达到$1B，还说Anthropic不给防守者使用Mythos。另一位评论者说，很多智能合约还能修好。这些只是评论者的说法。
- 有人担心，保险和审计会更帮大公司，也会伤害小公司和open-weight models。也有人说，规则只管大实验室，小实验室有例外。
- 有人说，用坏AI的人负责；有人说，造AI的公司也要负责，就像汽车要有安全设计。法律还没有说清楚。
这是评论数为162时的初期（修订1）。获取100条，并从整体抽取100条总结。内容属于HN用户自述，并非编辑部核实的事实。
💬 安全线是风险门槛，还是大公司的准入门？
文章介绍的方案规定，只有当AI造成的损害达到50人死亡或10亿美元（$1B）时，相关机制才会启动。HN评论者争论：这是否是一条可执行的安全线，还是会漏掉较小的伤害并偏袒大型实验室。
这是评论数为162时的初期（修订1）。获取100条，并从整体抽取100条总结。内容属于HN用户自述，并非编辑部核实的事实。