🔥 HNで話題

Magnitude(AIの計算を動かす道具)が、使う機械ごとに速くなる仕組み

約3分で読めます Tiny Why編集部 · 文: 特派員 キュリオ

ことば
推論エンジン(すいろんエンジン)

AIが入力をもとに答えを作る計算ソフト。

カーネル(カーネル)

同じ計算を繰り返す小さなソフト部品。

Hacker News(ハッカー・ニュース)

技術ニュースについて話すサイト。

何が起きたか

Magnitude(AIモデルを自分のコンピューターで動かす、オープンソースの推論エンジン)が公開された。対象は、AIエージェント(目的に向けて複数の作業を進めるAI)だ。Magnitudeは、使う機械を調べ、その機械に合わせて計算の方法を整えると説明している。

公開リポジトリは、llama.cppと比べて、公開モデルを最大2倍速く動かせると主張する。この数字はMagnitude側の比較値であり、すべての機械で同じ結果になるという意味ではない。この話は、Hacker News(技術ニュースを議論するサイト)で123 points、56 commentsを集めた。これはコミュニティの注目度であって、性能の正しさを証明する数字ではない。

しくみ

多くの汎用ツールは、いろいろな機械で動くよう、あらかじめ広い範囲向けの計算コードを用意する。MagnitudeのFAQによれば、llama.cpp、Ollama、LM Studioなどはこの方式だ。Magnitudeは、モデルを動かす前に、実際の機械でカーネル(同じ計算を繰り返す小さなソフト部品)をコンパイルし、調整する。特定のチップに合わせて準備するため、機械の違いを計算に反映しやすい。

さらに、Pi、OpenCode、Hermes、Codexなどのエージェントを、デスクトップアプリからつなげられるとしている。対応しない道具も、OpenAI互換APIを通せると説明する。

なぜ重要か

AIを自分の機械で動かすときは、モデルの大きさだけでなく、チップの種類や使えるメモリも関係する。Magnitudeの説明どおりなら、機械ごとの調整で、返事を作る時間を短くしたり、同時に動かせる作業を増やしたりできる可能性がある。

リポジトリの比較では、Metal上のデコードが92%速く、CUDA上では19%速いとされる。デコードは、答えを少しずつ作る段階だ。図には、最初に入力を読み込む段階も、Metalで9%、CUDAで23%速いとある。また、エージェント1体あたりのメモリ使用量を27%減らせると説明している。

確認できたこと

Magnitudeは、macOS、Linux、Windowsに対応する。Apple Silicon、NVIDIA、AMDのGPUに加え、CPUだけの機械も対象だ。固定された最低スペックはなく、小さい機械では小さいモデルを、大きなメモリがあれば大きなモデルを使う設計になっている。

READMEは、プロンプト、ファイル、モデルが自分の機械に残り、モデルをダウンロードした後はインターネットが不要だと説明する。オープンソースで、ライセンスはApache 2.0。トークン料金なしで使えることも特徴として挙げている。

まだ分からないこと

最大2倍という数字は、どのモデルを、どの機械で、どんな設定で測ったのかを一つの数字だけでは判断できない。Metalで92%速いという結果も、すべてのApple製チップにそのまま当てはまるとは限らない。コンパイルや調整にかかる時間、温度、長時間の安定性も、利用者が確かめる必要がある。

また、対応モデルやエージェントの範囲が、今後どの速さで広がるかもまだ見えない。ローカルで動くことと、すべての作業を快適にこなせることは同じではない。

次に見る点

次は、第三者が同じ機械とモデルで測った結果に注目したい。llama.cppだけでなく、OllamaやLM Studioとの条件をそろえた比較も必要になる。対応モデルの増加、初回の調整時間、複数エージェントを動かしたときのメモリ使用量も重要だ。

Magnitudeが示したのは、AIの速さをモデルだけで競うのではなく、使う機械に合わせたソフトウェアでも競う道である。数字をそのまま一般化せず、実際の環境で確かめる段階にある。

出典: Magnitudeの公開リポジトリ / 反応: Hacker Newsの投稿

💬 MagnitudeのHN反応:ローカルAI推論を自動最適化するが、実測はまだ混在

Magnitudeは、エージェント向けの長い文脈・単一セッション推論を、端末ごとに自動調整する推論エンジン。作者の説明は意欲的だが、ベンチマークは限定的で、利用者の自己申告は機種と処理によって勝ち負けが分かれる。

  • 収益化について、作者はローカルモデルと難しい処理向けクラウドモデルを同じ作業で切り替えるハイブリッド利用を想定し、将来は推論クラウドをトークン単位で課金すると説明している。現時点はエンジン開発を優先している。
  • 新しいモデルをダウンロードするたび、対象端末向けに調整可能なGPUカーネルを約1分で一度チューニングする設計。作者は speculative decoding、KVキャッシュの8-bit keys/4-bit values、長文脈向け最適化、RULERベースの検索テストを挙げており、ベンチマークコードも公開している。
  • 引用されたllama.cpp比較は、Moby Dickを最大64Kコンテキストまで入れて最後の部分を繰り返す単純な文章反復テスト。llama.cpp側は近い設定、Flash Attention有効、投機的デコーディングなしで、8-bit/4-bit KVは速度が落ちたため16-bit KVを使った。完全なエージェント軌跡や最終的なMLX比較を示すものではない。
  • 作者側のベンチマーク報告では、主にM4 Pro/Maxを含む複数のMacでllama.cppに対してデコード速度が約2倍に近づくとしている。ただし、これは作者側の報告であり、全機種・全モデルに一般化できる実測結果とは限らない。
  • 利用者の自己申告では、Qwen 3.8 Q8のUI推定値が25Kで17、50Kで16、75Kで16、262Kで12 tok/sで、M5 Maxの実際のmtplxセッションより短い文脈では約2倍遅かった。作者はUI値は推定で投機的デコーディングを含まず、M5のMetal 4行列演算の利用不足も調べるとしている。
  • 別の利用者の自己申告は混在している。M5 MaxではRapid-MLXが175 tok/s、Magnitudeが161 tok/sで、TTFTは64対111ms、prefillは594対669msだった。一方、M5 ProのGemma 4 26BではMagnitudeのデコードが82.8対oMLXの76.5 tok/sだったが、prefillは709対1843 tok/sだった。
  • 反対意見では、llama.cpp超えだけでは基準が低く、100K〜200Kの長文脈、KVキャッシュ、ツール呼び出しを含む各ターンの遅延を見るべきだと指摘されている。また、低ビット量子化だけを速くしている可能性や、W8A16と完全精度KVを求める利用者の懸念もある。作者は共有プロンプトをprefix treeで再利用し、OpenAI互換のchat completionsを提供すると説明している。
  • 現時点では、利用者の自己申告として複数GPUの重複検出や、モデル評価画面で先に進めない問題が報告されている。作者はマルチGPU未対応を認め、評価は本来約1分で終わるとしている。今後はAMD向けVulkan、複数デバイス・複数マシンへの分散、MoEの専門家部分をRAMやディスクへ退避するexpert streamingを計画している。

コメント97件時点の成熟版(改訂2)。97件を取得し、全体から97件を抽出して要約しました。内容はHN利用者の自己申告で、編集部が確認した事実ではありません。

🔥 HNで話題

Magnitude(AIを動かす道具)が、使うコンピューターに合わせて速くなる

📰 しっかり版: Magnitude(AIの計算を動かす道具)が、使う機械ごとに速くなる仕組み

AIを自分のコンピューターで使う人向けの道具が公開されました。機械ごとに計算方法を調整します。

約2分で読めます Tiny Why編集部 · 文: 特派員 キュリオ

ことば
AIエージェント(AIエージェント)

いくつかの作業を順番に進めるAI。

カーネル(カーネル)

AIの計算を担当する小さなソフト部品。

Hacker News(ハッカー・ニュース)

技術ニュースについて話すサイト。

💡 ようするに

  • Magnitudeは、使う機械に合わせてAIの計算を調整します。
  • llama.cppより最大2倍速いと、開発者は説明しています。
  • Hacker Newsで123 points、56 commentsが集まりました。

Magnitude(AIモデルを動かすオープンソースの道具)は、AIエージェント向けです。AIエージェントは、いくつかの作業を順番に進めるAIです。

これまでの汎用ツールは、いろいろな機械で使える計算コードを用意していました。Magnitudeは、使う人の機械で、そのコードを作り直して調整します。機械に合う計算になりやすい仕組みです。

この作業で使う小さなソフト部品を、カーネルと呼びます。Magnitudeは、カーネルを実際の機械に合わせます。だから、同じAIモデルでも返事が速くなる可能性があります。

開発者の比較では、Metalで返事を作る段階が92%速くなりました。CUDAでは19%速くなりました。エージェント1体あたりのメモリ使用量は、27%少ないと説明しています。これはMagnitude側の比較です。すべての機械で同じ数字になるとは限りません。

Magnitudeは、macOS、Linux、Windowsで使えます。Apple Silicon、NVIDIA、AMDのGPUに対応します。CPUだけの機械も対象です。質問やファイルは自分の機械に残り、モデルを入れた後はインターネットなしで使えると説明しています。

この話は、Hacker Newsという技術ニュースのサイトで話題になりました。123 pointsと56 commentsは、コミュニティの注目度を示します。速さが本当だと証明する数字ではありません。

これからは、別の人が同じ条件で測った結果が大切です。どのAIモデルで速いのかも、確かめる必要があります。

出典: Magnitudeの公開リポジトリ / 反応: Hacker Newsの投稿

💬 Magnitudeは速くなるか:期待は大きいが、結果は機械次第

Magnitudeは、手元のコンピューターに合わせてAIの動かし方を自動調整する道具です。会社の説明には有望な点がありますが、利用者の自己申告では速くなる場合と遅くなる場合があります。

  • 会社は、簡単な仕事は手元のモデル、難しい仕事はクラウドモデルで行う将来像を描いています。クラウド版は将来、使ったトークンごとに課金する予定です。
  • 新しいモデルを入れると、コンピューターに合う設定を約1分で探します。過去の会話を覚えるKVキャッシュの使用量を減らし、長い会話を扱いやすくする考えです。
  • 主な比較テストは、長い文章を読ませて最後を繰り返させる簡単なテストでした。エージェントが何度も道具を使う実際の仕事や、MLXとの十分な比較を全部表すものではありません。
  • 会社はllama.cppより最大で大幅に速いと説明していますが、利用者の自己申告は一様ではありません。UIの速度予測が実際より遅かった例、生成は速いが最初の読み込みが遅かった例、Rapid-MLXより遅かった例があります。
  • 批判側は、AIの記憶、長い会話、ツール呼び出しの待ち時間が重要で、1種類の速度だけでは判断できないと指摘しています。低ビット量子化では、考える力やツール利用が悪くなる可能性も指摘されています。
  • 利用者の自己申告では、複数GPUを使えないことや、モデル評価の段階で止まる問題がありました。今後はAMD、複数の機械、RAMやディスクを使う大きなモデルへの対応を目指しています。

コメント97件時点の成熟版(改訂2)。97件を取得し、全体から97件を抽出して要約しました。内容はHN利用者の自己申告で、編集部が確認した事実ではありません。

🔥 HNで話題

Magnitude(AIの返事を作る道具)は、コンピューターに合わせて走る

📰 しっかり版: Magnitude(AIの計算を動かす道具)が、使う機械ごとに速くなる仕組み

AIを動かす新しい道具ができました。使う機械に合わせて動きます。

約1分で読めます Tiny Why編集部 · 文: 特派員 キュリオ

ことば
Magnitude(マグニチュード)

コンピューターに合わせてAIを動かす道具。

Hacker News(ハッカー・ニュース)

技術の話をするサイト。

Magnitude(AIの返事を作る道具)が公開されました。

AIは、質問を見て返事を作ります。 その仕事には、コンピューターの力を使います。

コンピューターには、いろいろな種類があります。 Magnitudeは、使う機械を見ます。 そして、その機械に合う動き方を準備します。

llama.cpp(別のAI用の道具)より、最大2倍速いと説明しています。 これは、作った人たちのくらべっこです。 すべての機械で同じ速さとは限りません。

質問やファイルは、機械の中に残ると説明しています。 モデルを入れた後は、ネットなしで使えるそうです。

Hacker News(技術の話をするサイト)でも話題になりました。 123 pointsと56 commentsがつきました。 これは、話題の大きさを表す数字です。 速さが本当だと証明する数字ではありません。

これから、いろいろな機械で試します。 本当にどれくらい速いかを調べます。

💬 MagnitudeはAIを速くする道具。でも、まだ得意不得意がある

Magnitudeは、使っているコンピューターに合わせてAIの動かし方を考える道具です。

  • 会社は、手元のAIとクラウドのAIを上手に切り替え、将来はクラウドを使った分だけお金をもらう予定です。新しいAIを入れると、約1分でその機械向けの調整をします。
  • 会社はllama.cppより速いと説明していますが、利用者の自己申告はまちまちです。ある人は文章を作る速さが上がった一方、別の人は最初の読み込みやRapid-MLXとの比較で遅いと報告しました。テストも、まだ簡単な長文テストが中心です。
  • 複数のGPUを使えなかったり、モデルを調べる画面で止まったりした利用者もいます。これからAMDや複数の機械に対応し、AIの一部をRAMやディスクに置く計画です。

コメント97件時点の成熟版(改訂2)。97件を取得し、全体から97件を抽出して要約しました。内容はHN利用者の自己申告で、編集部が確認した事実ではありません。

出典・参考