何が発表されたか

『Hybrid Reasoning Agents』は、AIエージェント（道具を使いながら課題を進めるAI）の推論を、文字だけに頼らず作る方法を提案する論文だ。スタンフォード大学などの研究者が10月13日にarXiv（研究論文を公開するサイト）へ投稿した。論文の試作エージェントをHybridAgentと呼ぶ。

現在のAIエージェントは、考える途中も、検索やプログラム実行の依頼も、ほぼ文字で表す。文字なら人が読みやすく、外の道具にも渡しやすい。しかし途中の計算を一つずつ文字にすると、トークン（AIが扱う文字の単位）が増える。別の潜在推論はモデル内部の数値表現で計算を進められるが、道具を呼びにくく、何をしているか調べにくい。論文は、この二つを一つの流れにまとめようとした。

文字で動き、内部でも計算する

HybridAgentは、文字モードと潜在モードを、同じ生成の中で切り替える。文字モードでは、答えを書いたり、検索などの道具を呼んだりする。潜在モードでは、途中の一つ一つを文字に直さず、モデル内部の表現を次の計算へ渡す。

その切り替えを支えるのがHybridLink（内部の情報を次の入力へ渡す接続部）だ。さらに、文字、内部の表現、道具からの結果を連続した作業メモリに保存し、何回かのやり取りをまたいで使う。論文は、潜在モードの状態を近い単語へ写すことで、人が読める擬似テキストとして点検できると報告している。

どう学習させたか

研究者は、既存の言語モデルを最初から作り直さず、追加学習でHybridLinkとの連携を教えた。まず安定して二つのモードを使えるようにし、その後の強化学習で、いつ内部で計算し、いつ文字で道具を使うかを学ばせる設計だ。速さだけを固定するのではなく、仕事に応じた切り替えを学習させる。

実験で何が出たか

3つのモデル規模で、数学、科学、医学、検索、AIエージェントの課題を含む11種類のベンチマークを試した。論文の比較では、HybridAgentは他の先端エージェントや関連方式より平均性能が10.4%高かった。使うトークンは35.5〜54.7%少なく、推論は1.8〜2.6倍速く、計算費用は2.7〜3.7倍節約できたと報告している。

なぜ重要か、まだ分からないこと

この設計の面白さは、内部では文字を省いて効率を狙いながら、外部とのやり取りと確認には文字を残す点にある。うまくいけば、道具を使えるAIを、少ない計算で動かせる可能性がある。一方、これはarXivに出た査読前の論文で、数字は研究者自身の実験結果だ。どの比較相手や課題を選ぶかで結果は変わりうる。実際の長い仕事で、内部の擬似テキストがいつも十分に読めるかも、別に確かめる必要がある。

Hacker News（技術記事を話し合うサイト）では、候補クラスタの集計で177ポイント、109コメントが付いた。これは注目度を示す数字であり、論文の主張が正しい証明ではない。次に見るべきなのは、第三者が同じ結果を再現できるか、別のモデルや道具でも性能と費用の差が残るか、そして内部の計算を本当に安全に監視できるかだ。

出典: arXivの論文。反応数はHacker Newsの投稿を参照。