何が起きたか

Strata（大きなAIをパソコンで動かすソフト）は、Qwen3.8-Flash-Next（Qwenチームが作ったAIモデル）を、WindowsやLinuxのゲーム用PCで動かします。モデルの規模は1250億パラメーター。ふつうは大きなサーバーで扱う大きさです。Strataは無料のオープンソースとして公開されています。詳しい条件はプロジェクトのREADMEにまとめられています。

なぜ動かせるのか

大きなモデルを、そのままグラフィックスカードのメモリーへ入れるのが難しさの出発点です。Strataは、仕事をパソコン全体に分けます。モデルには2万4576個の専門家のような部分があり、次の言葉を選ぶときは、そのうち約10個だけを使う設計です。よく使う部分をGPU、全体をRAM、残りの計算をCPUが受け持ち、SSDも参照表の置き場所になります。

さらに、モデルは数字を少ない容量で保存する量子化版にできます。小さい版は速く、大きい版は能力を保ちやすい一方、圧縮の仕方で答えの質が変わる可能性があります。小さな補助役が次の言葉を先に予想し、大きなモデルがまとめて確認する仕組みについて、READMEは1.6〜1.8倍速くなると説明しています。

速度の数字をどう読むか

タイトルの100T/sにあるTは、1秒に100兆という意味ではなく、token（トークン）毎秒の略です。トークンはAIが文章を処理する小さな単位で、READMEは英語なら約4分の3語に相当すると説明します。Hacker News（技術ニュースの掲示板）では、投稿者がRTX 4090、128GBのメモリー、Ryzen 7950X3Dを使い、毎秒124トークンだったと報告しました。

ただし、これは投稿者の環境での記録です。READMEの測定では、RTX 5070でモデルの版により毎秒53〜94トークン、RX 9070 XTで44〜60トークンでした。RTX 3090なら毎秒100〜140トークンほどになる、という見積もりも載っています。Hacker Newsの投稿には600点を超える評価と300件近いコメントが集まりましたが、これはコミュニティーの注目度です。速さや品質を証明する数字ではありません。投稿と反応は、測定結果とは分けて読む必要があります。

なぜ重要か

これまで大きなAIを使うには、会社のサーバーへ質問を送るのが普通でした。Strataの説明どおりにローカルで動けば、通常の使い方では会話を自分のPCの中に置けます。一方で、費用の中心がクラウド料金から、GPU、RAM、保存容量、電気、準備時間へ移ります。必要条件はGPUのメモリー12GB以上、RAM32GB以上、空き容量約80GBです。モデルのダウンロードだけで約70GBあり、初回起動ではRAMの35〜55GBを使い、1〜3分ほどPCが重くなることがあります。

確認できたことと、まだ分からないこと

確認できるのは、実際に入手できるソフトがあり、対応する機械と測定表が公開されていることです。確認できないのは、124トークン毎秒が多くのRTX 4090で再現するか、クラウドのAIと同じ品質になるか、画像や長い仕事でも同じ速度になるかです。READMEの数字は重要な手がかりですが、独立した同じ条件の比較ではありません。

次に見る点

今後は、同じ量子化版を複数のPCで測る試験、速度と回答品質を同時に比べる試験、画像入力やAIエージェントでの安定性が必要です。Strataが示したのは「1250億パラメーターなら必ず家で動く」という結論ではありません。大きなAIを、GPUだけでなくPC全体で動かす道が現実になりつつある、ということです。