AI被滥用时,真正改变了什么?
Anthropic
开发Claude的AI公司。
Claude
Anthropic提供的AI助手。
非法提炼
未经允许,偷偷复制模型能力。
Anthropic(Claude的开发公司)发布了一份2026年9月的威胁情报报告。报告称,团队在2025年12月至2026年8月间,发现并阻止了一些利用Claude从事恶意活动的行动。案例涉及网络行动、监控、舆论影响、诈骗、生物风险、常规武器和非法提炼模型能力七类。需要先说明:这是Anthropic对自家服务的调查,不是独立机构的审计。
发生了什么
这份报告讲的重点,不是AI突然自己决定作恶,而是人把Claude放进了更长的工作流程。报告称,有些操作者让AI写文件、分析资料、制作软件,或让多个AI分别承担不同任务。人仍然决定目标,也会检查得到的信息。换句话说,主要变化是人的行动被AI加速,而不是出现了一个脱离人的坏AI。
背景是什么
过去,很多复杂行动需要更多时间、人员和专业技能。生成式AI可以把查资料、写文本、改软件等小步骤连起来。Anthropic用速度、规模和深度来描述这种提升。它并没有证明每个风险都由AI创造,而是指出:同一批人可能更快完成更多步骤,触及更大的范围。报告还提到假服务、监控工具、宣传内容、武器相关工程,以及把一个模型的能力偷偷学到另一个模型的活动。
为什么重要
防守方常靠已知模式拦截滥用。如果操作者可以不断改变文字、工具和流程,固定规则就更难跟上。报告的意义在于提醒人们,安全检查不能只盯着一条消息,也要观察一连串行动,以及AI连接了哪些工具。不过,报告没有证明所有行动都成功,也没有证明没有AI就一定不会发生。
已确认的内容
Anthropic说,它关闭了相关账户,向有关部门和行业伙伴分享情报,并把调查结果用于加强防护。报告称,这些案例是团队发现的最突出、最新颖的活动,不代表普通用户的日常使用。报告还说,涉及的主要是Haiku、Sonnet和Opus系列;除一宗非法提炼案例外,没有发现Fable或Mythos系列参与这些滥用案例。
还不知道什么
公开材料仍有边界。报告由Anthropic自己发现、整理和归因;有些案例被称为高度可信,但至少一个案例无法指向具体组织。外部读者也无法仅凭这份报告知道:有多少尝试没有被发现,造成了多大实际损害,以及这些行动中有多少成果真正来自AI。归因和影响评估仍需要其他证据。
接下来要看什么
接下来应看三件事:其他实验室和独立研究者能否确认相同趋势;封号和模型防护能否减少重复滥用;公司、政府和安全研究者能否更快共享可核查的证据。Hacker News上的原帖获得102分和172条评论。这个数字只说明社区关注度,不等于报告内容已经被证实。
AI被滥用时,谁来发现和阻止?
📰 完整报道: AI被滥用时,真正改变了什么?
Anthropic(Claude的开发公司)发布了9月报告。
Anthropic
开发Claude的AI公司。
Claude
Anthropic提供的AI助手。
模型复制
收集一个AI的回答,再训练另一个AI。
💡 一句话总结
- AI能让坏事做得更快。
- 人决定目标,AI帮忙完成步骤。
- Anthropic封停账户并加强防护。
Anthropic发布了9月报告。报告讲了2025年12月至2026年8月的案例。报告原文说,Anthropic发现并阻止了一些滥用Claude的行动。
这些行动涉及网络攻击、监控、诈骗、宣传、武器、生物风险和模型复制。这里的模型复制,是偷偷收集一个AI的回答,再训练另一个AI。
报告说,Claude不只是回答问题。有人让它写文件、分析资料或制作软件。有人还让多个AI分工。人先决定目标,再检查重要结果。
为什么这很重要?一件坏事常常由许多小步骤组成。人需要查资料、写内容和反复修改。AI能缩短每一步的时间。这样,人数不多的团队也可能完成更多工作。防守方如果只寻找旧的固定模式,就可能跟不上变化。
Anthropic说,它关闭了相关账户。它还把信息分享给有关部门和其他公司,并加强了发现滥用的工具。
但我们也要看到限制。这是Anthropic对自己服务的调查。不是每个说法都已经由外部机构确认。有些行动的参与者也无法确定。报告还不能告诉我们,所有行动造成了多少真实损害。
Hacker News上的原帖有102分和172条评论。它说明很多人注意到了这件事。它不能证明报告一定正确。
以后要看独立研究者能否确认这些发现。也要看封号和防护能否减少重复滥用。
💬 HN评论摘要:AI滥用,用简单的话说
这是对所给评论的简单总结。数字和失败经历来自评论者,没有在这里独立验证。
- 评论说,报告介绍了有人在马里用Claude建立大规模电话监控系统,涉及大约2500万张SIM卡和三家移动运营商。
- 讨论也门时,有人说即使服务商封锁请求,也可以改用其他国家的开放模型。有人拿旧电脑和消费级设备作比较,但这并不能证明真的能造出可用武器。
- 一些人担心AI公司详细记录用户活动。另一些人说公司已经公开说明监控,也有人建议使用本地或开放模型来保护隐私。
- 关于生物武器,人们意见不一:AI可能帮助危险的人,但实验室、材料、安全设备和专业知识仍然很难获得。超过90%的数字被指出可能来自特殊测试,不能直接推广。还有用户说早期模型给过危险的错误答案。
- 有人认为连治疗药物研究也被拦得太多;另一些人认为可能被滥用的研究需要审查。评论还争论报告是在认真谈安全,还是在为AI公司的公关和监管目标服务。
这是评论数为172时的初期(修订1)。获取100条,并从整体抽取100条总结。内容属于HN用户自述,并非编辑部核实的事实。
AI可以帮好人,也可能帮坏人
📰 完整报道: AI被滥用时,真正改变了什么?
Anthropic(做Claude的公司)讲了AI被坏人使用的事情。
Anthropic
制作Claude的公司。
Claude
Anthropic制作的电脑助手。
Hacker News
讨论电脑新闻的网站。
Anthropic发现了AI被滥用的例子。
有人用Claude帮忙做坏事。 他们让Claude写东西和查资料。 有人还让它帮忙看人和骗人。
先定目标的是人。 Claude只是帮忙做小步骤。 几台AI还可以一起分工。
Anthropic不让这些人再用Claude。 它也把消息告诉安全工作人员。 它还把检查做得更牢靠。
Claude没有自己决定全部事情。 人给它工作。 它完成一部分工作。
Hacker News是电脑新闻网站。 这条新闻有102分。 还有172条评论。 这表示很多人看到了它。 这不是正确的证明。
Anthropic查的是自己的服务。 其他人还要再查一遍。 我们也不知道全部结果。 工具可以帮好人。 也可能被坏人使用。 所以人要给工具立好规矩。
💬 HN评论摘要:AI安全,讲给小朋友听
这是把评论说得很简单。数字和错误故事是评论者说的,没有在这里检查。
- 有人说,报告讲到AI帮助建立了一个会看很多电话的系统,也帮助了也门的武器项目。评论里提到大约2500万张SIM卡和三家电话公司。
- 有些人担心AI公司会观察用户。另一些人说可以换一种AI,但有电脑不代表马上就能做出真正的武器。
- 大家对危险的生物研究意见不同:AI可能帮助坏人,但房间、工具、安全措施和知识仍然很难得到。有人说AI答错得很危险,也有人不相信超过90%的实验室这个数字。
- 有人觉得连做药的研究也被拦得太多;另一些人觉得可能被坏人利用的研究应该小心检查。
这是评论数为172时的初期(修订1)。获取100条,并从整体抽取100条总结。内容属于HN用户自述,并非编辑部核实的事实。
💬 HN评论摘要:检测和应对AI滥用
以下只总结所提供的HN评论,不独立核实原文。数字、事件和模型故障都按评论者的转述或自报处理。
这是评论数为172时的初期(修订1)。获取100条,并从整体抽取100条总结。内容属于HN用户自述,并非编辑部核实的事实。