让AI说清自己怎么学:MIT研究“机器学习的语言”
可解释性
让人能够理解和检查AI行为的研究方向。
大型语言模型
从大量文字中学习并处理语言的AI系统。
神经网络
从数据中学习规律的计算系统。
发生了什么
麻省理工学院(MIT,美国的一所大学)的副教授雅各布·安德烈亚斯,正在研究一种方法:让人工智能模型用人能听懂的话,说明自己从训练数据中学到了什么。MIT News在11月17日发表的文章介绍了这项研究方向。它不是一款新产品的发布,也不是说已经有了会完整解释自己的AI。
为什么要研究这个问题
在重要场合使用AI时,人们不只想知道答案,还想知道答案为什么出现。深度学习模型内部有许多相互连接的处理节点。它们一起工作,却很难直接被人看懂。现在,研究人员常要借助模型外部的工具,逐步分析这些内部过程。
这属于AI“可解释性”研究。可解释性,就是把模型的行为变成人能理解、检查的内容。这样做的目的,是帮助研究人员更好地预测训练好的模型会怎样行动,也帮助他们判断模型是否适合某项工作。
研究方法是什么
安德烈亚斯的团队有两个主要方向。第一,他们研究大型语言模型在学习和处理信息时使用的算法。第二,他们设计新的训练方法,尝试预测某些数据集或例子会怎样影响模型的不同表现。
其中一类方法,让大型语言模型去说明另一个神经网络内部发生了什么。研究人员希望把巨大的网络拆成许多信息处理节点,再给每个节点配上一段自然语言说明。文章举了一个例子:某个节点可能负责发现图像里“动物附近的草地碎片”。
这个例子说明了研究的目标。研究人员想用词语描述模型内部的细小工作。不过,AI能说出一段通顺的话,不等于这段话一定准确。还要把说明与真实的计算过程比较,才能知道它有没有说对。
已确认的内容
MIT News介绍说,安德烈亚斯的团队同时研究模型本身和训练方法。他们希望做出更准确、更稳定、也更适合具体用途的深度学习模型。安德烈亚斯在2019年加入MIT教职队伍。他的研究经历了自然语言处理的一次重要转变:这个领域从较透明的统计公式,走向能从大量文字中自动学习复杂规律的深度学习。
文章还提到一个没有解决的科学问题:研究人员还没有一套足够好的理论,可以说明某个训练数据集会怎样改变模型。安德烈亚斯认为,AI领域变化很快,三到五年就可能出现很大的变化,所以研究问题和课程都要不断更新。
重要性、未知点与下一步
这项研究可能影响AI代理和科学研究工具。未来的模型可能接触大量研究资料,其中有些知识并没有被人明确写出来。如果模型能把这些隐藏的信息用语言说出来,研究人员或许更容易发现它学到了什么。
但目前仍不知道,模型的自我说明能否一直准确,也不知道这些方法是否已经足够用于真实部署。下一步要看的是:怎样检查说明,说明是否真的对应内部计算,以及它能否帮助人们更安全地使用先进AI。重点不只是让AI会说话,而是让人能够验证它说的话。
来源:MIT News
AI能解释自己的工作吗?MIT正在研究
📰 完整报道: 让AI说清自己怎么学:MIT研究“机器学习的语言”
研究人员希望AI用清楚的话,说明自己内部的小工作。
可解释性
让人更容易明白AI为什么这样行动。
大型语言模型
从很多文字中学习并使用语言的AI。
训练数据
用来教AI的大量例子。
💡 一句话总结
- MIT研究人员想让AI解释自己的工作。
- 他们给神经网络里的小任务配上文字说明。
- 这可能帮助人们检查重要场合中的AI。
麻省理工学院(MIT,美国的一所大学)的副教授雅各布·安德烈亚斯(研究AI的老师),正在研究AI的“可解释性”。它的意思是,让人更容易明白AI为什么这样行动。
深度学习AI会经过许多计算,再给出答案。可是,人们通常看不见答案中间的过程。安德烈亚斯的团队想用大型语言模型,去说明另一个神经网络里的工作。
比如,图像中可能有一个小节点,专门发现动物附近的草地。研究人员希望让大型语言模型用一句话描述这个工作。这样,人就能先看到模型内部可能做了什么。
这个团队还研究另一个问题。不同的训练数据,会怎样改变AI的行为?训练数据就是用来教AI的大量例子。现在,研究人员还不能完全预测这种变化。
如果研究继续发展,AI代理和科学工具可能更容易被检查。特别是当AI处理人们还没有清楚写下的知识时,内部说明会很有用。
但是,AI说得通顺,不代表一定说得正确。MIT News的文章介绍的是研究方向,不是已经完成的安全工具。接下来要检查文字说明是否真的符合AI内部的计算。
来源:MIT News
AI会说自己做了什么吗?
📰 完整报道: 让AI说清自己怎么学:MIT研究“机器学习的语言”
MIT的老师正在教AI说明自己的小工作。
MIT
美国的一所大学。
雅各布·安德烈亚斯
研究AI的老师。
雅各布·安德烈亚斯是研究AI的老师。 他在MIT工作。 MIT是美国的一所大学。
AI会回答问题。 可是,我们看不见它里面的工作。
安德烈亚斯的团队想让AI说出来。 里面的一个小地方,可能发现了动物旁边的草。 AI可以告诉我们这件事。
团队还要检查它说得对不对。 会说话,不代表一定说对了。
如果成功,人们就更容易检查AI。 这对重要的工作很有帮助。
这项研究还没有做出完美的AI。 MIT News介绍的是研究的目标。
来源:MIT News