🔥 HNで話題

AIはモデルの中身を読み書きできるか Astraの「重み空間」実験

約3分で読めます Tiny Why編集部 · 文: 特派員 キュリオ

ことば
重み(おもみ)

AIの中で、入力をどう処理するかを決める数値。

重み空間プログラミング(おもみくうかんプログラミング)

AIが重みを直接読み書きする方法。

勾配降下(こうばいこうか)

間違いの大きさを使い、重みを少しずつ変える学習法。

何が起きたか

MIT CSAILに所属する4人の研究者は11月2日、GPT-6 Astraがニューラルネットワークの「重み」を読み書きした実験を研究ブログで発表しました。重みは、AIが入力をどう処理するかを決める大量の数値です。Astraは重みを読んでモデルの役割を推測し、自然な言葉で与えられた目標に合わせて一部を書き換えました。研究者はこの考え方を「Weight-Space Programming(重み空間プログラミング)」と呼んでいます。

この投稿はHacker Newsで2252 points、724 commentsを集めました。ただし、これはコミュニティの注目度であって、実験が正しいことを証明する数字ではありません。

背景

これまで重みを変える主役は、誤差を使って数字を少しずつ直す訓練や、勾配降下法でした。今回の実験では、Astraに訓練ループを書かせず、重みそのものを見せています。小さなネットワークでは、実際に動かさず、数値の構造から働きを考えさせました。大きなモデルでは、Pythonの作業環境と、試しに答えを出す回数を与えています。

確認できたこと

小さなゲームAIでは、同じ形のネットワークに17,253個の重みを与え、Breakout、Pong、Pac-Man、Freewayのどれを学んだかを4件とも当てました。別の実験では、AstraがMinAtarのゲーム用ネットワークを一度で書き、1億回の学習ステップを使ったPPOのネットワークを3ゲームすべてで上回りました。

最も現実に近いのがQwen3.5-0.8Bです。これは約8億個の重みを持つ言語モデルで、Astraは勾配降下や再訓練を使わず、50回の前向き計算を手がかりに重みを編集しました。変更したのは131,072個、全体の0.016%です。研究ブログの評価では、MATH-500は7.9%から48.1%、GSM8Kは13.8%から67.1%、IFEvalは21.0%から62.3%になりました。原因として、同じ考えを長く繰り返して答えに届かない「ループ」を見つけたと説明しています。

なぜ重要か

この結果が広く成り立つなら、人が「この失敗を直して」と頼み、AIがモデル内部の問題を探して狙った場所を直す道が開きます。全体を再訓練せず、少数の重みだけを触る方法は、計算時間やデータを減らせる可能性があります。モデルを読む方法と、モデルを直す方法が一つにつながる点も重要です。

まだ分からないこと

Qwenの改善は、数学の新しい力を足したというより、もともと出せた答えをループで失う問題を減らしたものです。ループが少ないGemma 3 270Mでは、Astraの編集でMATH-500が大きく改善しませんでした。別の実験でも、重みだけを見て「利用者に合わせすぎるモデル」を見分けることには失敗し、注意の向きを調べる追加手段が必要でした。大規模モデルで安全に再現できるか、編集後も別の能力を壊さないかは未確認です。

次に見る点

研究者は実験ログを公開し、標準的なベンチマークと作業環境を作るとしています。今後は、他の研究者が同じ数値を再現できるか、モデルの規模が大きくなっても精度が保てるか、少ない変更で副作用を抑えられるかを確かめる必要があります。今回の報告は、万能な自己改良AIの完成ではありません。AIがAIの設計図を読む力を測り始めた、初期段階の報告です。

出典: 研究ブログ、Hacker News投稿

💬 Astraの重み編集は画期的か――実演の強さと未検証の境界

HNでは、小規模モデルの重みを読んで直接直す実演に強い驚きが集まった一方、既存の数学的推論や機械論的解釈の延長だという見方、訓練データや規模拡張への疑問も多かった。

  • 記事の自己申告では、Astraは利用者側の追加ツールなしで小さなネットワークを調べ、何のゲームで学習されたかを推定し、重みを直接編集して性能を改善し、Qwenの数学能力を約5倍にしたとされる。性能と数値は独立検証済みとは限らない。
  • 別の自己申告では、小さな推論モデルの練習回答96回中85回が32,768トークン上限に達した。Astraは原因を15層・19層のMLPにある一方向と推定し、各層の64出力列からその方向を引き、計131,072個の重みを変更したという。
  • 肯定的なコメントでも、これは重み専用の神秘的な直感というより、行列演算、パターン認識、機械論的解釈、読みやすい技術推論を組み合わせたものだと説明されている。同じ手法は人間にも原理上可能だが、Astraは規模と速度で有利だという見方がある。
  • 能力の出どころとして、機械学習・重み・解釈可能性に関する訓練データ、一般的な推論能力、あるいは学習からの創発が候補に挙がった。ただし、OpenAIがこの作業を意図的に訓練したのか、他のモデルにもできるのかはコメントから判断できない。
  • 追加ツールなしという説明は、少なくとも利用者側のツール呼び出しが見えなかったという意味にとどまる。内部ツールや非公開の推論過程まで否定する証拠ではない。
  • 実例は小さなモデル中心であり、より大きなモデルや別種類のモデルへ一般化するか、再現できるかは未確認である。コメントでは、現在はブログ報告が中心なので正式な論文と検証を待つべきだという慎重論も出ている。
  • 広く再現できれば、モデルの監査、故障修理、継続学習、再帰的な自己改善に役立つ可能性がある。一方、モデルが自分や別モデルを改変する能力は、安全策を弱める用途にもつながり得るが、現時点では推測の域を出ない。

コメント856件時点の成熟版(改訂2)。500件を取得し、全体から120件を抽出して要約しました。内容はHN利用者の自己申告で、編集部が確認した事実ではありません。

🔥 HNで話題

AIは中の数字を読んで直せる?

📰 しっかり版: AIはモデルの中身を読み書きできるか Astraの「重み空間」実験

GPT-6 Astraが、別のAIの中の数字を読み、少し書き換えました。

約1分で読めます Tiny Why編集部 · 文: 特派員 キュリオ

ことば
重み(おもみ)

AIの答え方を決める中の数字。

Qwen3.5-0.8B(キューウェン・スリー・ポイント・ファイブ・ゼロ・エイトビー)

今回、数字を直された小型の言葉のAI。

MATH-500(マス・ファイブハンドレッド)

AIの数学の力を調べるテスト。

💡 ようするに

  • AstraはAIの中の数字を読んだ。
  • 数字を変えて、別のAIの失敗を直した。
  • ただし、まだ小さな実験で、万能ではない。

AIの中には、たくさんの数字があります。この数字を「重み」と呼びます。重みは、AIの答え方を決めます。

研究者は、GPT-6 Astra(文章を読んで考えるAI)に小さなゲームAIの重みを読ませました。Astraは、そのAIがどのゲームを学んだかを当てました。さらに、ゲームAIの重みを一度で書きました。

次に、Qwen3.5-0.8B(小型の言葉のAI)を調べました。Qwenは、考えを同じ所でくり返すことがありました。Astraは、そのくり返しに関係する重みを変えました。MATH-500の点は、7.9%から48.1%になりました。GSM8Kは、13.8%から67.1%になりました。変えた重みは、全体の0.016%だけです。

これは、新しい数学の力を足した話とは限りません。Qwenが、もともとできた答えに届く前に止まる問題を減らしたのです。別のAIでは、大きな改善が出ませんでした。だから、AIならどんなモデルでも直せるとは言えません。

この記事はHacker Newsで2252 points、724 commentsを集めました。これは多くの人が注目したしるしです。実験が正しいと決める数字ではありません。

研究者は、実験の記録を公開しています。これから、ほかの人が同じ結果を出せるかが大切になります。

出典: 研究ブログ、Hacker News投稿

💬 AstraはAIの中の数字を直せるのか

記事は、Astraが小さなAIの中身を調べて直したと報告する。すごい結果だが、まだ確かめるべき点が多い。

  • 記事の自己申告では、Astraは小さなAIの中の数字、つまり重みを読んで書き換えた。ゲームの学習内容を当て、Qwenの数学能力を約5倍にしたという。ただし、これは独立検証済みの数字ではない。
  • 別の自己申告では、96回中85回の回答が32,768トークン上限まで同じようにループした。Astraは15層と19層の中の一方向を見つけ、合計131,072個の重みを変えて直したという。
  • コメントでは、魔法の直感ではなく、数学、模様探し、機械論的解釈を組み合わせた結果だという説明がある。人間にもできるが、Astraは大量の計算を速くできる。
  • この能力が訓練データ、普通の推論、学習からの創発のどれによるかは不明である。OpenAIが専用に教えたのか、他のAIにもできるのかも分からない。利用者側にツールが見えなくても、内部のツールや隠れた推論がなかった証拠にはならない。
  • 今の例は小さなモデルとブログ報告が中心で、大きなモデルでも使えるか、再現できるかは未確認である。
  • 本当に広がればAIの点検や修理、自己改善に使えるが、安全策を弱める危険もあり得る。

コメント856件時点の成熟版(改訂2)。500件を取得し、全体から120件を抽出して要約しました。内容はHN利用者の自己申告で、編集部が確認した事実ではありません。

🔥 HNで話題

AIの中の数字を、AIが少し直した

📰 しっかり版: AIはモデルの中身を読み書きできるか Astraの「重み空間」実験

Astraは、別のAIの中にある数字を見ました。

約1分で読めます Tiny Why編集部 · 文: 特派員 キュリオ

ことば
重み(おもみ)

AIが答えるときに使う中の数字。

GPT-6 Astra(ジーピーティー・シックス・アストラ)

別のAIの数字を読んで変えたAI。

Qwen3.5-0.8B(キューウェン・スリー・ポイント・ファイブ・ゼロ・エイトビー)

数字を少し直されたことばのAI。

AIの中には、たくさんの数字があります。その数字は、AIの答え方を助けます。この数字を「重み」と呼びます。

GPT-6 Astra(考えるAI)は、その数字を見ました。小さなゲームAIの仕事を当てました。数字を少し変えました。ゲームAIは、うまく動きました。

Qwen3.5-0.8B(ことばのAI)は、同じ考えを何度もくり返しました。Astraは、くり返しに関係する数字を変えました。MATH-500の点は、7.9%から48.1%になりました。変えた数字は、全体の0.016%だけです。

でも、Astraが全部を賢くしたわけではありません。別のAIは、大きく変わりませんでした。だから、まだ研究の途中です。

この記事はHacker Newsで2252 points、724 commentsを集めました。これは、多くの人が見たしるしです。正しさを決める数字ではありません。

出典: 研究ブログ、Hacker News投稿

💬 AstraはAIの中の数字を直したの?

記事には、とても驚く実験が出てくる。でも、まだ全部が確かめられたわけではない。

  • 記事の自己申告では、Astraは小さなAIの中の数字を読んで書き換えた。Qwenの数学を約5倍にしたというが、これは自己申告だ。
  • 別の自己申告では、96回中85回の答えが同じ所を回り続けた。AstraはAIの15層と19層の一つのパターンを見つけ、131,072個の数字を変えたという。
  • これは魔法ではなく、数学と模様探しをとても速くした結果かもしれない。学習で覚えたのか、自然にできるようになったのか、見えない道具を使っていないかは分からない。
  • まだ小さなモデルのブログ報告で、大きなAIでもできる証拠はない。できればAIの点検や修理に役立つが、AIの自己改造を危険に使う心配もある。

コメント856件時点の成熟版(改訂2)。500件を取得し、全体から120件を抽出して要約しました。内容はHN利用者の自己申告で、編集部が確認した事実ではありません。

出典・参考