AIに「自分の中身」を説明させる MITが探る機械学習の言葉
解釈可能性
AIの中で起きたことを、人が理解できる形にする研究分野です。
大規模言語モデル
大量の文章から学び、言葉を扱うAIです。
ニューラルネットワーク
データの特徴を見つけるAIの計算の仕組みです。
何が起きたか
MIT(マサチューセッツ工科大学)のジェイコブ・アンドレアス(AIを研究する准教授)は、AIが学習データから何を学んだかを、人が読める言葉で説明させる方法を研究しています。MIT Newsが11月17日に紹介した内容です。これは完成した製品の発表ではなく、複雑なAIを調べる研究の方向を示す記事です。
背景:AIの中は見えにくい
高い安全性が必要な場面でAIを使うなら、答えだけでなく、どうしてその答えになったかも知りたくなります。ところが深層学習のモデルは、たくさんの内部の処理ノードがつながった仕組みです。今は外から調べる道具を使い、その中で何が起きたかを読み解く必要があります。この分野は、AIの動きを人に分かる形にする「解釈可能性」と呼ばれます。
どんな方法か
アンドレアスさんの研究グループには二つの柱があります。一つは、大規模言語モデルが学び、情報を処理する仕組みを調べること。もう一つは、学習に使うデータが、モデルの行動のどの部分に影響するかを予測する新しい方法です。
その中の一群の手法では、大規模言語モデルに、別のニューラルネットワークの中身を自然な言葉で説明させます。巨大なネットワークの情報処理ノードごとに説明を付けることができ、例として、画像の中の「動物の近くの草の模様」を見つける働きが挙げられています。AIが言葉を出せるだけでなく、その説明が実際の計算を正しく表しているかを確かめることが重要です。
なぜ重要か
研究グループは、より正確で、壊れにくく、目的に合ったモデルを作ることを目指しています。特に、AIエージェントや科学研究を助けるモデルが、まだ人が言葉にしていない知識を扱うとき、内部の働きを説明できれば、研究者が予想外の動きを調べる手がかりになります。
確認できたこと
MIT Newsによれば、アンドレアスさんは2019年にMITの教員となり、現在は大規模言語モデルの仕組みと、学習方法の両方を研究しています。また、特定のデータで学習したとき、モデルがどう変わるかを予測する科学的な理論は、まだ十分ではないと説明しています。AI研究の環境は三〜五年で大きく変わるとも述べています。
まだ分からないことと次に見る点
今回の記事から、AIが自分の説明をいつでも正しくできることや、この方法が実用化したことまでは確認できません。人間向けの説明が、内部の計算そのものを正確に映しているかも残る課題です。次に見るべきなのは、説明の正しさをどう測るか、そしてその道具が重要な場面でAIを安全に使う助けになるかです。大切なのは、AIが話せることではなく、人が説明を検証できることです。
出典: MIT News
AIは、自分の中で何をしたか話せる? MITが研究
📰 しっかり版: AIに「自分の中身」を説明させる MITが探る機械学習の言葉
AIの答えだけでなく、答えを出した理由も知りたい。MITの研究者は、AIに中の働きを説明させようとしています。
解釈可能性
AIの中の判断を、人が分かる形にする考え方です。
大規模言語モデル
たくさんの文章から学び、文章を作るAIです。
ニューラルネットワーク
AIがデータの特徴を見つける計算の仕組みです。
💡 ようするに
- MITの研究者がAIに自分の働きを説明させます。
- AIの中の細かな働きを言葉にします。
- 大事な場面でAIを確かめる助けを目指します。
MIT(アメリカの大学)のジェイコブ・アンドレアス(AIを研究する准教授)は、AIの「解釈可能性」を研究しています。これは、AIの中で何が起きたかを、人が分かる形にする考え方です。
深層学習のAIは、多くの計算を重ねて答えを出します。けれども、答えまでの道は見えにくいです。そこで研究グループは、大規模言語モデルを使います。別のニューラルネットワークの中の働きを、言葉で説明させるのです。
たとえば、画像の中の「動物の近くの草の模様」を見つける働きを、説明として表せます。AIの中の細かな部分に、役割の名前を付けるイメージです。
研究には、もう一つの柱があります。どんなデータで学ぶと、AIの行動がどう変わるかを予測する方法です。今は、学習データとAIの行動の関係を、完全には説明できません。
この研究が進めば、AIが大事な仕事をするときに、研究者が中の働きを調べやすくなるかもしれません。AIエージェントや科学研究への利用にも関係します。
ただし、MIT Newsの記事は研究のねらいを紹介したものです。AIの説明がいつも正しいとは、まだ確認されていません。次は、説明の正しさをどう確かめるかが重要です。
出典: MIT News
AIに「なかで何をしたの?」と聞く研究
📰 しっかり版: AIに「自分の中身」を説明させる MITが探る機械学習の言葉
AIが、自分のしたことを話す練習をしています。
MIT
アメリカにある大学です。
ジェイコブ・アンドレアス
AIを研究しているMITの先生です。
MIT(アメリカの大学)のジェイコブ・アンドレアス(AIを研究する先生)は、AIの中を調べています。
AIは、質問に答えます。 でも、どうしてそう答えたか見えません。
そこで、AIに中の働きを話してもらいます。 たとえば、「動物のそばの草を見つけた」と話します。 これは、AIの小さな働きの説明です。
説明が本当に合っているかは、まだ調べています。 うまくいけば、大事な仕事でAIを使いやすくなります。 人が、AIの間違いを見つけやすくなるからです。
MIT Newsは、この研究のねらいを紹介しました。 完成した道具の発表ではありません。
出典: MIT News