何が起きたか

Meta（FacebookやInstagramを運営する会社）の個人向けAIアシスタント「Muse」について、macOS上の別アプリや端末の命令から、Museを乗っ取れる可能性があるゼロデイ脆弱性を、セキュリティ研究者のPatrick Wardle氏が見つけたとArs Technicaが報じました。報道では、Museのアカウントを動かす認証情報に到達し、Museが持つ広い権限を使える可能性が示されています。

Museは、予定の管理、フォーム入力、文書作成、買い物などを代わりに行う設計です。メール、カレンダー、WhatsAppなどのサービスともつなげられます。つまり、乗っ取られた場合の影響は、答えを間違えるチャットAIより大きくなり得ます。

背景

AIエージェントは、質問に答えるだけでなく、利用者の代わりに作業を実行するAIです。Museのような製品を便利にするには、アカウントや端末の機能に一定のアクセスを与える必要があります。そのアクセスが増えるほど、弱点が見つかったときに守る範囲も広がります。

Metaの公式説明では、Museは利用者ごとに分かれたクラウド環境で動き、AI本体に本物の認証情報を見せない設計です。外部サービスとの接続や通信は、別の許可システムが確認し、重要な操作では利用者に承認を求めるとしています。Metaは安全性を調べる報奨金制度も公開しています。

なぜ重要か

今回の論点は、AIが自分の意思で悪さをしたかではありません。AIに多くの仕事を任せるための設計が、別のアプリから利用されたときにも安全か、という問題です。モデルの訓練だけでなく、権限を小さく分けること、重要操作を止めて確認すること、AIの外側に独立した防御を置くことが問われます。

とくにメールやカレンダー、買い物を一つのAIにつなぐと、被害は一つの機能に閉じません。便利さを増やす連携が、同時に守るべき場所を増やすからです。

確認できたこと

Ars Technicaの記事では、Wardle氏が研究用の実証を行い、Museを通じてファイル操作やカメラ利用につながる可能性を示したとされています。ただし、この記事から確認できるのは研究者の報告で、実際に利用者の情報が盗まれた、広い攻撃が起きたという意味ではありません。

また、Amazonは記事掲載の約12時間前から、Museによる同社サイトでの買い物を止めました。第三者の購入代行AIは、サービス提供者が参加を認めるかどうかを尊重すべきだ、というのがAmazonの説明です。MetaはArs Technicaの質問に回答しませんでした。

まだ分からないこと

影響を受けるMuseの版、利用条件、修正の有無、実際の攻撃利用の有無は、報道だけでは分かりません。Metaの安全設計のどの部分が今回の弱点で回避されたのかも、公開情報は十分ではありません。Amazonとの連携が戻るかも未定です。

次に見る点

まず、Metaが弱点を認めたか、修正版や利用者向けの注意を出すかが焦点です。次に、独立した研究者が修正後の安全性を再確認できるかを見ます。AIエージェントが広がるほど、機能の多さだけでなく、権限の範囲、承認の仕組み、問題発生時の説明責任が選ばれる条件になります。

出典: Ars Technicaの報道、Metaの安全説明。