すべてを大きなAIに任せない 小さな判定モデルの使い分け
意思決定モデル(いしけっていモデル)
決められた質問に、答えと当たりそうな度合いを返すモデル。
LLM(エルエルエム)
文章を作ったり、複雑な相談に答えたりするAI。
しきい値(しきいち)
次の処理に進めるかを分ける境目の数字。
何が起きたか
PostHog(ソフトウェア会社)は、すべての仕事をLLMに渡す必要はないと報告した。LLMは文章作りや複雑な考えが得意だ。意思決定モデルは、決められた質問に「はい・いいえ」「選択肢」「点数」と確率を返す。調整が合っていれば、確率0.8は100回中80回ほど当たる目安になる。記事はHacker News(技術ニュースサイト)で104 points、42 commentsを集めた。ただし、これは注目度であり、正しさの証明ではない。
背景
PostHogの記事では、意思決定モデルは高性能なモデルより最大444.6倍安く、193.6倍速いという。この比較はTypeSafe AI(AIモデルを比較する会社)の数字に基づき、条件の細部は記事だけでは分からない。狙いは、固定ルールでは難しいが、長い推論までは要らない仕事を切り出すことだ。
なぜ重要か
代表例は、Replay Vision(利用者の操作記録を要約する製品)の個人情報チェックだ。名前が人名か、連絡先やIDを含むかを2問で判定する。どちらかが0.4以上ならGemini(GoogleのAI)が要約を書き直す。そうでなければLLMを呼ばない。実運用では98.7%がLLMを使わずに通った。Slack(仕事の連絡サービス)のボットでは、迷惑な返答を避けるため、2つの判定がともに0.85以上の時だけ返答する。誤検出と見逃しのどちらが危険かで、しきい値を変えるわけだ。
確認できたこと
PostHogはほかにも、検索候補が質問に合うかを再判定し、20件のテストで検索の並び方が約25%よくなったと書く。データベースへの質問文と最初の3行からグラフを選ぶ機能にも使う。いずれも、判定を狭くしている点が共通する。
まだ分からないこと
これはPostHogの実践報告で、全社に同じ効果が出る証拠ではない。0.85でも1000回に約150回は間違う目安だ。実際、同じモデルでも版が変わるとしきい値が変わり、手作業の正解データで再調整したという。複数段階の判断や、コードの変更を確認する仕事では、結果が不十分だった。
次に見る点
導入時は、正答率だけでなく、見逃し、余計なLLM呼び出し、人の確認時間を測る必要がある。単純な判定には意思決定モデル、説明や複雑な推論にはLLMという分担が、今後も保てるかが焦点だ。著者自身も、この記事が2か月で古くなるかもしれないと記している。
大きなおしゃべりAIの前に、判定役を置く
📰 しっかり版: すべてを大きなAIに任せない 小さな判定モデルの使い分け
簡単な判断を別のAIに任せると、難しい仕事に力を残せます。
意思決定モデル(いしけっていモデル)
決められた質問に、答えと確率を返すAI。
LLM(エルエルエム)
文章を作ったり、難しい質問を考えたりするAI。
しきい値(しきいち)
次の処理をするか分ける境目の数字。
💡 ようするに
- PostHog(ソフトウェア会社)は、簡単な判断を意思決定モデルに任せた。
- LLM(文章を作るAI)は、難しい説明や文章を担当する。
- Hacker News(技術ニュースサイト)で104 points、42 comments。これは注目度で、正しさではない。
AIには、仕事ごとの向き不向きがある。LLMは長い文章を作るのが得意だ。複雑な質問にも答えられる。一方、意思決定モデルは、決められた質問に答える。答えと、当たりそうかを示す数字を返す。
PostHogの製品Replay Vision(利用者の操作記録を短くまとめる製品)では、個人情報を調べる。人の名前があるか、連絡先やIDがあるかを確認する。どちらかの点数が0.4以上なら、Gemini(GoogleのAI)が文章を書き直す。低ければ、LLMを呼ばずに通す。実際には98.7%が、LLMなしで通ったという。
Slack(仕事の連絡サービス)のボットでは、しきい値を0.85にした。質問かどうか、PostHogが答えられるかを調べる。両方が高い時だけ返事をする。返事をしすぎる失敗を減らすためだ。個人情報を見逃す失敗の方が重い仕事では、別のしきい値を使う。
検索でも使われている。先に候補を選び、その候補が質問に合うかを判定する。20件のテストでは、検索の並び方が約25%よくなった。けれど、何段階も考える仕事には向かない。難しい判断や文章作りは、今もLLMの方が合っている。
大切なのは、AIを一つに決めないことだ。簡単な確認は意思決定モデルに任せる。難しい仕事はLLMに任せる。その分け方が本当に安全で速いか、仕事ごとに測る必要がある。
💬 判断モデルは便利。でも、テストが先
HNでは、決められた答えだけを返す小さなモデルは役に立つという声と、テストが悪いと本番で困るという声が出ている。
- 人は複雑なことを短くまとめる。判断モデルも、答えを決められた選択肢に限るので、LLMのように予想外の答えを作りにくい。
- ただし、判断モデルは「作らないLLM」や分類器の一種ではないか、名前を変えただけではないかという疑問もある。
- 評価をうまくできない会社が安いモデルへ替えると、精度が落ちても気づけないかもしれない。利用者の自己申告では、p99という少数の顧客、合成データ、日本語・バイリンガルの顧客、特定の機器がテストから抜けていた。
- 利用者の自己申告では、照明や音楽の操作が壊れ、Samsung TVの問題が約3か月見つからず、顧客の2〜3%に影響したという。これは独立検証された結果ではない。
- 新しいモデルを選ぶ係に判断モデルを使うと、その新モデルをよく知らないかもしれない。計算機や普通のプログラムで解ける問題にはそれらを使うべきだという意見もある。
- 顧客データを使うことを監視のようだと心配する人もいる。一方で、LLMをコンピューターを使いやすくする道具と見る人もいる。
コメント42件時点の初期(改訂1)。42件を取得し、全体から42件を抽出して要約しました。内容はHN利用者の自己申告で、編集部が確認した事実ではありません。
先に、○か×かを聞くAI
📰 しっかり版: すべてを大きなAIに任せない 小さな判定モデルの使い分け
簡単な判断をするAIと、文章を作るAIを分けます。
意思決定モデル(いしけっていモデル)
○×や選ぶ答えを返すAI。
LLM(エルエルエム)
長い文章を作るAI。
PostHog(コンピューターの道具を作る会社)は、AIの仕事を分けました。
意思決定モデル(○×や選ぶ答えを返すAI)は、簡単な質問に答えます。 LLM(長い文章を作るAI)は、難しい質問を考えます。
たとえば、Replay Vision(操作の記録を短くする道具)は、先に名前や連絡先を調べます。 難しいものだけ、文章を作るAIへ渡します。 すると、文章を作るAIを毎回呼ばずにすみます。
Hacker News(技術ニュースサイト)でも話題になりました。 でも、人気だから正しいとは限りません。
簡単な質問は判定AIへ。 難しい質問はLLMへ。 これが、AIの仕事分けです。
💬 小さな選び役と、大きな言葉の機械
みんなは、簡単な仕事には小さな道具を使おうと話している。でも、その道具をよく試すことも大切だ。
- 判断モデルは、短い答えの表から選ぶ。だから、変な答えを作りにくい。でも、別の種類のLLMに名前を変えただけかもしれない。
- テストが足りないと、実際の人の中の少ないグループを見落とす。利用者の報告では、照明や音楽、テレビが動かないことがあり、Samsung TVの問題は約3か月見つからず、2〜3%の顧客に影響したという。
- 新しいモデルを選ぶ役は、そのモデルを知らないかもしれない。計算機や普通のプログラムで足りる仕事もある。顧客データを使うことを心配する人もいれば、LLMをコンピューターを使うための便利な入口と考える人もいる。
コメント42件時点の初期(改訂1)。42件を取得し、全体から42件を抽出して要約しました。内容はHN利用者の自己申告で、編集部が確認した事実ではありません。
💬 HNで論じられた、判断モデルとLLMの使い分け
コメントでは、単純な判断を専用の判断モデルに任せる考えに理解が示される一方、評価の難しさ、モデルの定義、ルーティング、新しいモデルへの追随、顧客データの扱いが問題になっている。
コメント42件時点の初期(改訂1)。42件を取得し、全体から42件を抽出して要約しました。内容はHN利用者の自己申告で、編集部が確認した事実ではありません。