AIエージェントがゲームを再現 5000億トークン超の実験で見えた「正しさ」の作り方
逆コンパイル（ぎゃくコンパイル）
完成した実行ファイルから、読めるプログラムのコードを作り直す作業。
バイト一致（バイトいっち）
コンピューター内の細かなデータ列が一つずつ同じか比べること。
CI（シーアイ）
コードの変更を自動で作り、壊れていないか繰り返し点検する仕組み。
何が起きたか
開発者のMaurice Heumann氏（この実験を報告した人）は、3か月をかけて、名前を明かしていない人気の一人称シューティングゲームを逆コンパイルした。完成した実行ファイルから、読めるC++のコードを作り、元の動きに近く、安定して機能がそろった再現を目指した。移植や現代化は後回しにし、まず元の動きを戻すことに集中した。
背景：動いたのに正しくなかった
最初の1か月は、3体の作業役と1体のレビュー役を動かした。約80％まで進み、ゲームは起動し、メニューを表示し、地図を読み込めた。ところが、コードが読みやすくても、意味の上では間違っていた。関数の形、データの型、構造体の並びが違い、AIが必要な処理を作り変えたり、不要だと判断して消したりしていた。
なぜ重要か：合格条件を機械に渡した
失敗の原因は、正しさの条件を最初に決めていなかったことだった。レビュー役はバグを見つけられても、元の設計からの変更が正しいかは判断しにくい。作業役が書いた説明が、元のゲームとの比較より強く効く場面もあった。筆者はこれを、意図しないプロンプト注入のような働きと振り返っている。
そこでチームは、元のゲームを作ったコンパイラを使い、作り直したコードと元の実行ファイルを比べる仕組みを作った。関数の細かなデータが同じなら合格、違えばやり直しにする。別の場所を指す情報は、同じ記号と位置を指すかで確認した。自動点検のCIにもこの検査を組み込み、後の変更で壊れないようにした。
確認できたこと
検査を導入してからほぼ2か月後、筆者はゲームの関数の99％が再構成され、83％がバイト一致になったと報告した。ゲームは目立つ不具合なく動き、元の機能もそろったという。最後の関数には、コンパイラやリンクの事情で細部を同じにしにくいものが残ったが、意味は正しいと判断して作業を終えた。終盤は主に14体のLunaと2体のOpus 5.5を使った。
まだ分からないこと
記事の題名は5000億トークン超だが、本文では、ログの一部を失ったため使用量を6000億〜7000億トークンと推定している。監査された数字ではない。コードも公開されず、対象ゲームの名前も明かされていないため、外部の人が同じ結果を確かめることはできない。
次に見る点
この報告の価値は、AIがゲームを理解したと証明したことではない。何を正解とするかを機械で判定できる形にした点にある。明確な合否があれば、安いモデルでも仕事を進めやすく、レビュー役を減らせる。一方、指示は時間とともに薄れ、筆者は1時間ごとに読み直させていた。大量のAIを安全に動かす仕組みが、別の仕事でも同じように働くかが次の焦点になる。
この記事はHacker News（技術ニュースサイト）で183ポイント、127件のコメントを集めた。ただし、これは注目度の数字であり、元記事の正しさを証明するものではない。
AIたちが古いゲームを作り直した 大事だったのは「正しいか」を自動で調べること
📰 しっかり版: AIエージェントがゲームを再現 5000億トークン超の実験で見えた「正しさ」の作り方
AIに仕事を分けて、ゲームの中身を作り直しました。最初は動きましたが、細かな間違いが残りました。そこで、機械の合格判定を入れました。
AIエージェント（エーアイエージェント）
目標を渡すと、手順を考えて作業を進めるAI。
逆コンパイル（ぎゃくコンパイル）
完成したゲームのファイルから、元のコードを作り直す作業。
Hacker News（ハッカー・ニュース）
技術の話を投稿し、読者が反応するサイト。
💡 ようするに
- Maurice Heumann氏（実験を書いた開発者）は、AIにゲームを作り直させた。
- ゲームは動いたが、見えない中身に間違いがあった。
- 機械で細部まで比べると、作業が正確になった。
この作業は逆コンパイルと呼ばれます。完成したゲームのファイルから、元のコードを作り直す仕事です。対象のゲーム名は明かされていません。
最初の1か月は、4体のAIエージェント（仕事を任せられるAI）が働きました。3体がコードを書き、1体が見張りました。約80％まで進み、ゲームは起動しました。メニューも地図も表示できました。
しかし、動くことは正しいことと同じではありません。関数の形やデータの並びが違っていました。AIが処理を勝手に変えた場所もありました。人のレビューだけでは、こうした間違いを全部見つけにくかったのです。
そこで、元のゲームと新しいコードを機械で細かく比べました。データが同じなら合格です。違えば、AIは作り直します。この決まりを入れてから、ほぼ2か月作業しました。筆者によると、関数の99％がそろい、83％は細かなデータまで同じになりました。
この実験は、5000億トークンを超える規模でした。筆者は、失われた記録もあるため、実際は6000億〜7000億ほどと見積もっています。コードは公開されていません。
この記事はHacker News（技術ニュースサイト）で183ポイント、127件のコメントを集めました。これは多くの人が注目した数字です。でも、人気だけで内容が本当だとは言えません。
大切な教訓は、AIに任せるだけでは足りないことです。何を合格にするかを、先に決める必要があります。ほかの仕事でも同じ方法が使えるかは、まだ分かっていません。
💬 ゲームをAIで分解すると何が問題になる？
HNでは、お金の計算、元のゲームと同じにする方法、AIのテストの限界、権利の問題が話し合われた。数字や成功例は、投稿者の自己申告や推定である。
- 5000億トークンの費用について、10万〜75万ドルという推定に対し、公開価格ならもっと安いのではという反論が出た。キャッシュされた入力を何度も数えている可能性もあり、正確な請求額は分からない。
- AIの定額サービスが計算費用より安いのは、会社が利用者を増やすために補助しているからだという意見があった。一方で、推論のGPU代や電気代は払えても、AIの学習費までは払えないという見方もあった。
- 元のゲームと完全に同じにしたい人は、見つかっていないバグや、リプレイ・対戦・スピードランの動きも守りたいと考える。別の人は、元の関数と新しい関数をテストで比べれば、読みやすく速く作れると提案した。
- テストだけでは、オーバーフローや浮動小数点、隠れた状態などを見落とすかもしれない。著者も、RAMの動きだけでは十分でないと認めつつ、意味の一致を調べる道具は遅く、バイト一致の方が速い場合があると説明した。
- 著者が示した2000億〜3000億トークンや、別モデルに換算した数字は自己申告で、ログも完全ではない。だから、どのモデルが本当に安くて賢いかは、この議論だけでは決められない。
- 保存として十分かどうかも争われた。著者はDMCA通知を受けて止めたと述べ、元のゲームを再現したのか、権利上問題のあるコピーなのかについて意見は一致しなかった。
コメント127件時点の初期（改訂1）。100件を取得し、全体から100件を抽出して要約しました。内容はHN利用者の自己申告で、編集部が確認した事実ではありません。
AIたちがゲームを作り直した
📰 しっかり版: AIエージェントがゲームを再現 5000億トークン超の実験で見えた「正しさ」の作り方
ゲームが同じになるか、機械に見てもらいました。
AIエージェント（エーアイエージェント）
仕事を任せると、順番に進めるAI。
Hacker News（ハッカー・ニュース）
技術の話を見て、みんなが反応するサイト。
Maurice Heumann氏（この実験を書いた人）は、ゲームの中身をAIエージェントに作り直してもらいました。
AIエージェントは、仕事を任せるAIです。
そのゲームは、画面の中で人の目で進むシューティングゲームです。
AIたちは、最初にゲームを動かしました。
でも、中身には間違いがありました。
そこで、元のゲームと新しいゲームを、機械で細かく比べました。
同じなら合格です。
違えば、やり直します。
筆者の報告では、ほとんどの小さな仕事がそろいました。
83％は細かなところまで同じでした。
この話はHacker News（技術の話を見て、みんなが反応するサイト）でも話題になりました。
183ポイントと127件のコメントがつきました。
これは、みんなが気にした大きさです。
この数だけで、本当とは言えません。
大事なのは、AIに任せるだけでは足りないことです。
何を合格にするかを、先に決める必要があります。
ゲームの中身は公開されていません。
ほかの人が同じ結果になるかは、まだ分かりません。
💬 AIはゲームを同じにできる？
みんなは、お金、テスト、ゲームの権利について話した。大きな数字や成功したという話は、書いた人の自己申告だよ。
- 5000億トークンにいくらかかるかは、計算する人によって違った。途中で同じデータを何度も数えたかもしれない。定額サービスが安い理由も、会社の補助かもしれないと考えられた。
- ゲームを本当に同じにするには、見える部分だけでなく、隠れたバグや変な動きも同じにしたい人がいる。普通のテストだけでは、見つからないバグを逃すかもしれない。
- 別の人は、小さなテスト箱で元の関数と新しい関数を比べればよいと言った。著者は、CPUの細かな違いを確かめる方法の方が速いこともあると説明した。
- 著者は、権利者から削除通知を受けて作業を止めたと話した。これは本当に保存なのか、法律上許されるのかについて、みんなの意見は分かれた。
コメント127件時点の初期（改訂1）。100件を取得し、全体から100件を抽出して要約しました。内容はHN利用者の自己申告で、編集部が確認した事実ではありません。
💬 500Bトークンのゲーム分解をめぐるHNの論点
議論の中心は、費用の数え方、バイト単位の完全一致が本当に必要か、テストで同じゲームだと証明できるか、そして保存と権利侵害の境界だった。数値・性能・不具合についての具体例は、コメント投稿者や著者の自己申告・試算であり、独立検証ではない。
コメント127件時点の初期（改訂1）。100件を取得し、全体から100件を抽出して要約しました。内容はHN利用者の自己申告で、編集部が確認した事実ではありません。