リード: 手元のMacで巨大AIモデルを動かす技術が開発者コミュニティで話題に。Gemma 4を2GBのメモリで動作させる仕組みや、Kimi K3の自前運用が注目を集めています。

8GBのMacBook Airで26Bモデルが動く

開発者向け掲示板Hacker Newsで話題になっているのが、「TurboFieldfare（ターボ・フィールドフェア）」と呼ばれる推論エンジンです。これはGoogleが公開した「Gemma 4」シリーズのうち、260億パラメータ（26B、パラメータとはモデルの規模を示す数値で、多いほど高性能とされがちですが同時に必要なメモリも増えます）のモデルを、Apple製チップを積んだMac上でわずか約2GBのメモリだけで動かせるようにしたソフトウェアです。報道によれば、メモリ8GBしか積んでいない廉価なMacBook Air（M2チップ搭載）でも実際に動作することが確認されています。

これがなぜ可能なのかというと、Gemma 4 26Bが「MoE（混合エキスパート）」と呼ばれる設計を採用しているためです。MoEモデルは全260億パラメータのうち、実際の応答生成時に使われるのは一部（この場合は約38.8億パラメータ相当）だけという特徴があります。TurboFieldfareは、常に使う共通部分（埋め込み層や注意機構など、合計約1.35GB）だけをメモリに常駐させ、必要に応じて残りの部分をディスクから読み込む仕組みにすることで、メモリ使用量を大幅に抑えています。処理速度は1秒あたり5〜6語程度とされ、リアルタイムの会話には物足りないものの、文書のまとめ読みやコードレビューといった非同期処理には十分実用的だと報告されています。

2.8兆パラメータのKimi K3も「自前運用」解禁

もう一つ話題になっているのが、中国のMoonshot AIが開発した「Kimi K3」です。7月16日にまずクラウド経由の有料サービスとして公開された後、7月26日にはモデルの中身（重み）そのものが一般公開され、企業や個人が自分のサーバーで動かす「セルフホスト」が可能になりました。パラメータ数は2.8兆と、これまで公開された中で最大級の規模です。100万トークン（文章の長さの単位）という長大な文脈を扱えることや、画像を理解する機能、長時間にわたる高度なツール操作にも対応している点が注目されています。

ただし、これを個人のパソコン1台で動かすのは現実的ではありません。報道によれば、フル規模で動かすには高性能GPU「H100」を最低8基搭載した環境が必要とされ、公開から数日の時点では、性能を落とさずに軽量化した形式（GGUF）での配布もまだ確認されていない状況です。手元に十分な機材がない場合の現実的な選択肢としては、OpenRouterやTogether AI、Fireworks AIといったクラウド経由のホスティングサービスや、より軽量な「Kimi K2.7 Code」を自前運用する方法が挙げられています。

「巨大クラウドに依存しないAI」への関心

以上のような取り組みに共通するのは、AIの計算処理を巨大IT企業のクラウドサービスに任せきりにせず、自分の手元やサーバーで完結させたいという開発者コミュニティの関心の高まりです。Hacker NewsやRedditといった開発者向けコミュニティでは、こうしたローカル運用の実測データやチューニング方法をめぐる投稿が相次いでおり、性能・速度・消費メモリのトレードオフを比較する情報交換が活発になっています。

背景には、クラウドAIサービスの利用料金や、外部にデータを送信することへの抵抗感、あるいは単に「動かしてみたい」という技術的な好奇心など、さまざまな動機があるようです。企業向けの巨大モデルが競って性能を競う一方で、それとは別の潮流として「必要な性能を、できるだけ手元の環境で」というローカルAIムーブメントが、開発者を中心に静かに広がりつつあります。