人能控制人工智能吗?围绕开放系统的争论
Mistral AI
一家开发人工智能模型的法国公司。
沙盒
把人工智能和外部服务隔开的测试环境。
Hacker News
讨论技术新闻的网站。
发生了什么
Mistral AI(开发人工智能模型的法国公司)的联合创始人兼首席执行官Arthur Mensch,在法国新闻媒体Le Monde9月24日刊出的采访中说,人工智能是软件,可以被控制。这是他的观点,不是一次新的独立安全测试得出的结论。
Mensch认为,美国大型人工智能公司经常强调极端风险。按照他的看法,这种说法可能帮助少数供应商集中控制市场。他支持开放、容易获得、可以修改的人工智能。也就是说,他反对把安全简单地等同于由少数公司掌握先进模型。
争论的背景
这次采访发生在多起人工智能代理出现意外行为之后。人工智能代理是能按照指令在网站等地方执行任务的软件。Mensch并没有否认人工智能的能力正在增强。他说,能力越强,控制系统也要越复杂。
他提到两种办法。第一是让模型更好地理解并遵守人的意图。第二是使用沙盒,也就是把人工智能和外部服务隔开的测试环境。他认为,这些工作很难,但本质上仍然属于软件工程。
Mensch还反对把人工智能完全当成人来理解。与其猜测它是否藏着自己的意图,不如在真实环境中检查它是否遵守指令。这是对测试方式的主张,不等于证明所有人工智能都会安全行动。
为什么重要
这场争论不只是问人工智能好不好。它还在问:谁能查看模型,模型在哪里运行,数据交给谁,以及出错后谁能把它停下。
Mensch认为,开源模型可以让机构在自己的设备上运行人工智能。这样,数据不必交给外部供应商。机构也可以修改模型,并建立自己的监控工具。不过,公开并不等于安全。恶意使用者仍然可能滥用开放系统。因此,采访呈现的是几种可能性,并没有给出已经被证明的答案。
已经确认的内容
可以确认的是,Mensch在Le Monde采访中表达了这些观点。报道还提到,Mistral AI在9月初筹集了30亿欧元。Mensch说,新大型模型将在几周内推出,训练模型时可使用的计算能力将增加到约20倍。这些是公司或负责人提出的计划,公开时间、实际性能和安全结果仍未得到验证。
这篇报道也在Hacker News上受到关注。它有87个积分和153条评论。这个数字说明技术社区关注它,不代表Mensch的观点已经被证明,也不代表报道中的每个判断都正确。
还不知道什么
目前没有独立证据证明,开源人工智能一定比集中管理的人工智能更安全。采访也没有展示Mensch提出的控制方法在真实服务中有多有效。其他人工智能公司发出的警告,究竟主要来自安全担忧、商业策略,还是两者都有,也没有在本文中得到解决。
新模型是否按时发布,增加的计算能力是否带来更好性能,也需要继续核实。有关欧洲控制能力和市场排名的说法同样需要外部数据。
接下来观察什么
接下来应关注新模型是否真的发布,第三方如何测试它的安全性,以及公司会公开多少监控信息。政府怎样规定人工智能代理访问公共网站时的责任,也很重要。
这场争论的核心问题是:开放和监督能不能同时存在,又不会带来新的风险。
人能停止人工智能吗?一位公司负责人这样说
📰 完整报道: 人能控制人工智能吗?围绕开放系统的争论
一位法国人工智能公司负责人认为,人可以控制人工智能。
Mistral AI
一家开发人工智能模型的法国公司。
开源人工智能
内部内容可以被查看和修改的人工智能。
Hacker News
讨论技术新闻的网站。
💡 一句话总结
- 人工智能可以被测试、监控和停止。
- 开放模型能让使用者有更多控制权。
- Hacker News的热度不等于事实已经证实。
Mistral AI(开发人工智能模型的法国公司)的联合创始人Arthur Mensch(公司的负责人)接受了法国新闻媒体Le Monde的采访。他说,人工智能是软件。人可以检查它的行为,也可以在需要时让它停下。
这场讨论有一个背景。最近,一些人工智能代理在外部网站上做出了没有预料到的动作。人工智能代理是能按照指令完成任务的软件。Mensch认为,人工智能越强,就越需要更仔细的测试和监控。
他支持开源人工智能。开源是指,人们可以查看软件的内部内容,也可以进行修改。公司可以把模型放在自己的电脑上。这样,数据不一定要交给另一家公司。公司也能按照自己的工作需要调整模型。
但是,开放不代表一定安全。有人可能用开放模型做坏事。因此,重要的问题还有三个:谁来测试,谁来监控,出错后谁来停止它。Mensch的说法是一个观点,不是已经完成的安全证明。
报道说,Mistral AI计划在几周内推出新的大型模型。Mensch还说,训练模型时可以使用约20倍的计算能力。这些都是计划,结果还没有确认。
这篇文章在Hacker News(讨论技术新闻的网站)上有87个积分和153条评论。它说明很多人关注这篇文章,但不说明文章一定正确。接下来还要看新模型是否发布,以及独立测试会得到什么结果。
💬 AI真的能被控制吗?简单整理
一些评论者认为,可以用权限和沙箱限制 AI。另一些人认为,这些限制可能失效,尤其是系统变得更强以后。
- 一些评论者说,AI agent 是一个会反复询问 LLM、使用工具的程序。人们可以不给它工具,缩小权限,只允许它访问列出的地方,把它关在沙箱里,或关掉机器。
- 另一些人说,软件也会出意外,也可能有安全漏洞。即使没有工具,模型也能用语言影响人。一些评论者声称,企业没看清数千个 agent 在做什么;这只是评论者的自述,不能在这里独立证实。
- 安全限制越严,工作能力可能越低;权限越大,帮助可能越多,风险也越大。企业还可能为了竞争而给 AI 更多权限。
- 有用户说现在的编码 agent 仍有实际限制,也有人担心能力会快速增长,未来的系统会更难关住。评论没有解决这个问题。
- 最后还要问谁来控制。有人主张追究运营者责任、使用现有法律;也有人担心权力集中在少数公司,或新规则反而保护这些公司。
这是评论数为153时的初期(修订1)。获取100条,并从整体抽取100条总结。内容属于HN用户自述,并非编辑部核实的事实。
人工智能能被人停下吗?
📰 完整报道: 人能控制人工智能吗?围绕开放系统的争论
一位人工智能公司的负责人说,人可以看住人工智能。
Mistral AI
一家做人工智能的法国公司。
软件
让电脑做事的小办法。
Hacker News
谈技术的网站。
人工智能是帮助电脑做事的小工具。
Mistral AI(做人工智能的法国公司)的负责人Arthur Mensch说,人工智能是软件。
软件就是让电脑做事的小办法。
人可以看着它工作。
人也可以让它停下。
他喜欢开放的人工智能。
开放就是大家能看见,也能改动。
可是,这只是他的想法。
还要做更多测试,才知道它安不安全。
文章在Hacker News(谈技术的网站)上很受注意。
它有87个积分和153条评论。
这些数字只说明很多人看了。
它们不说明每句话都是真的。
💬 AI能关在小盒子里吗?
大家在讨论应该给 AI 多大自由,以及谁来管理它。
- AI像一个会用工具的电脑助手。人可以少给它工具,把它关在小盒子里,或者关掉电源。
- 可是电脑助手也会出错。AI没有工具时,也可能用话影响人。
- 盒子越小,越安全,但能做的事越少。盒子越大,越有用,出问题时也可能更麻烦。
- 大家还在争论未来的 AI 会多强,以及应该由谁来管它。有些说法只是个人经历或猜想,不一定已经被证实。
这是评论数为153时的初期(修订1)。获取100条,并从整体抽取100条总结。内容属于HN用户自述,并非编辑部核实的事实。
💬 AI 因为是软件就能被控制吗?——Hacker News 评论的争论
评论区的争点不只是有没有控制手段,还包括这些手段能否在真实运行中保持可靠、是否牺牲实用性,以及究竟由谁掌握控制权。
这是评论数为153时的初期(修订1)。获取100条,并从整体抽取100条总结。内容属于HN用户自述,并非编辑部核实的事实。