🔥 HNで話題

すべてを大きなAIに任せない 小さな判定モデルの使い分け

約2分で読めます Tiny Why編集部 · 文: 特派員 キュリオ

ことば
意思決定モデル(いしけっていモデル)

決められた質問に、答えと当たりそうな度合いを返すモデル。

LLM(エルエルエム)

文章を作ったり、複雑な相談に答えたりするAI。

しきい値(しきいち)

次の処理に進めるかを分ける境目の数字。

何が起きたか

PostHog(ソフトウェア会社)は、すべての仕事をLLMに渡す必要はないと報告した。LLMは文章作りや複雑な考えが得意だ。意思決定モデルは、決められた質問に「はい・いいえ」「選択肢」「点数」と確率を返す。調整が合っていれば、確率0.8は100回中80回ほど当たる目安になる。記事はHacker News(技術ニュースサイト)で104 points、42 commentsを集めた。ただし、これは注目度であり、正しさの証明ではない。

背景

PostHogの記事では、意思決定モデルは高性能なモデルより最大444.6倍安く、193.6倍速いという。この比較はTypeSafe AI(AIモデルを比較する会社)の数字に基づき、条件の細部は記事だけでは分からない。狙いは、固定ルールでは難しいが、長い推論までは要らない仕事を切り出すことだ。

なぜ重要か

代表例は、Replay Vision(利用者の操作記録を要約する製品)の個人情報チェックだ。名前が人名か、連絡先やIDを含むかを2問で判定する。どちらかが0.4以上ならGemini(GoogleのAI)が要約を書き直す。そうでなければLLMを呼ばない。実運用では98.7%がLLMを使わずに通った。Slack(仕事の連絡サービス)のボットでは、迷惑な返答を避けるため、2つの判定がともに0.85以上の時だけ返答する。誤検出と見逃しのどちらが危険かで、しきい値を変えるわけだ。

確認できたこと

PostHogはほかにも、検索候補が質問に合うかを再判定し、20件のテストで検索の並び方が約25%よくなったと書く。データベースへの質問文と最初の3行からグラフを選ぶ機能にも使う。いずれも、判定を狭くしている点が共通する。

まだ分からないこと

これはPostHogの実践報告で、全社に同じ効果が出る証拠ではない。0.85でも1000回に約150回は間違う目安だ。実際、同じモデルでも版が変わるとしきい値が変わり、手作業の正解データで再調整したという。複数段階の判断や、コードの変更を確認する仕事では、結果が不十分だった。

次に見る点

導入時は、正答率だけでなく、見逃し、余計なLLM呼び出し、人の確認時間を測る必要がある。単純な判定には意思決定モデル、説明や複雑な推論にはLLMという分担が、今後も保てるかが焦点だ。著者自身も、この記事が2か月で古くなるかもしれないと記している。

出典:PostHogの原記事、Hacker Newsの掲載ページ。

💬 HNで論じられた、判断モデルとLLMの使い分け

コメントでは、単純な判断を専用の判断モデルに任せる考えに理解が示される一方、評価の難しさ、モデルの定義、ルーティング、新しいモデルへの追随、顧客データの扱いが問題になっている。

  • 人間が複雑な現実を短い答えに圧縮するのは、考える負担と伝える負担を減らすためだという見方がある。重要なのは答えが短いかではなく、圧縮の過程で何を捨てたかだという論点である。
  • 判断モデルは、許可された選択肢だけを返すようにできるため、生成型LLMより選択肢の外へ逸脱しにくい。この予測しやすさこそが、速度やコスト以上の利点だという意見がある。
  • 一方で、判断モデルを非生成型・判別型のLLM、または分類器とみなすコメントもある。生成部分を判断確率の出力に置き換えただけなら、「LLMではない」という呼び方は定義やマーケティングの問題にすぎないという反論である。
  • 評価を十分に設計できない組織なら、安いモデルへ置き換えるより最も高性能で高価なLLMを使うべきだという強い意見もある。小型モデルや分類器への変更で精度が落ちても、評価が悪ければ気づけないからである。
  • 利用者の自己申告では、オフライン評価にp99の顧客が含まれず本番で失敗した、合成データだけで試験して実顧客で失敗した、オンライン評価が日本語話者・バイリンガル利用者・特定のメディア機器の利用者を測れていなかった、という例が挙げられている。
  • 同じ利用者の自己申告では、用途ごとの人間の受け入れ率や警報を測らなかったため照明や音楽の操作が壊れ、Samsung TVの不具合が約3か月見逃され、影響は顧客の2〜3%だったという。独立検証された数値ではないが、モデル選択より評価運用と監視が重要だという主張を支えている。
  • 判断モデルをモデルルーターに使う場合、新しく登場したモデルの実際の能力を知らず、短い説明文だけで選ぶことになる危険がある。また、普通のアルゴリズム、正規表現、計算機で解ける問題は先にそれらを使うべきだという意見と、LLMは人間がコンピューターを使うための汎用インターフェースだという反論がある。
  • 顧客データをこの種の仕組みに使うこと自体に不快感を示し、監視に近いデータ収集だと懸念するコメントもある。これは利用実態の独立確認ではなく、コメント投稿者の評価である。

コメント42件時点の初期(改訂1)。42件を取得し、全体から42件を抽出して要約しました。内容はHN利用者の自己申告で、編集部が確認した事実ではありません。

🔥 HNで話題

大きなおしゃべりAIの前に、判定役を置く

📰 しっかり版: すべてを大きなAIに任せない 小さな判定モデルの使い分け

簡単な判断を別のAIに任せると、難しい仕事に力を残せます。

約2分で読めます Tiny Why編集部 · 文: 特派員 キュリオ

ことば
意思決定モデル(いしけっていモデル)

決められた質問に、答えと確率を返すAI。

LLM(エルエルエム)

文章を作ったり、難しい質問を考えたりするAI。

しきい値(しきいち)

次の処理をするか分ける境目の数字。

💡 ようするに

  • PostHog(ソフトウェア会社)は、簡単な判断を意思決定モデルに任せた。
  • LLM(文章を作るAI)は、難しい説明や文章を担当する。
  • Hacker News(技術ニュースサイト)で104 points、42 comments。これは注目度で、正しさではない。

AIには、仕事ごとの向き不向きがある。LLMは長い文章を作るのが得意だ。複雑な質問にも答えられる。一方、意思決定モデルは、決められた質問に答える。答えと、当たりそうかを示す数字を返す。

PostHogの製品Replay Vision(利用者の操作記録を短くまとめる製品)では、個人情報を調べる。人の名前があるか、連絡先やIDがあるかを確認する。どちらかの点数が0.4以上なら、Gemini(GoogleのAI)が文章を書き直す。低ければ、LLMを呼ばずに通す。実際には98.7%が、LLMなしで通ったという。

Slack(仕事の連絡サービス)のボットでは、しきい値を0.85にした。質問かどうか、PostHogが答えられるかを調べる。両方が高い時だけ返事をする。返事をしすぎる失敗を減らすためだ。個人情報を見逃す失敗の方が重い仕事では、別のしきい値を使う。

検索でも使われている。先に候補を選び、その候補が質問に合うかを判定する。20件のテストでは、検索の並び方が約25%よくなった。けれど、何段階も考える仕事には向かない。難しい判断や文章作りは、今もLLMの方が合っている。

大切なのは、AIを一つに決めないことだ。簡単な確認は意思決定モデルに任せる。難しい仕事はLLMに任せる。その分け方が本当に安全で速いか、仕事ごとに測る必要がある。

出典:PostHogの原記事、Hacker Newsの掲載ページ。

💬 判断モデルは便利。でも、テストが先

HNでは、決められた答えだけを返す小さなモデルは役に立つという声と、テストが悪いと本番で困るという声が出ている。

  • 人は複雑なことを短くまとめる。判断モデルも、答えを決められた選択肢に限るので、LLMのように予想外の答えを作りにくい。
  • ただし、判断モデルは「作らないLLM」や分類器の一種ではないか、名前を変えただけではないかという疑問もある。
  • 評価をうまくできない会社が安いモデルへ替えると、精度が落ちても気づけないかもしれない。利用者の自己申告では、p99という少数の顧客、合成データ、日本語・バイリンガルの顧客、特定の機器がテストから抜けていた。
  • 利用者の自己申告では、照明や音楽の操作が壊れ、Samsung TVの問題が約3か月見つからず、顧客の2〜3%に影響したという。これは独立検証された結果ではない。
  • 新しいモデルを選ぶ係に判断モデルを使うと、その新モデルをよく知らないかもしれない。計算機や普通のプログラムで解ける問題にはそれらを使うべきだという意見もある。
  • 顧客データを使うことを監視のようだと心配する人もいる。一方で、LLMをコンピューターを使いやすくする道具と見る人もいる。

コメント42件時点の初期(改訂1)。42件を取得し、全体から42件を抽出して要約しました。内容はHN利用者の自己申告で、編集部が確認した事実ではありません。

🔥 HNで話題

先に、○か×かを聞くAI

📰 しっかり版: すべてを大きなAIに任せない 小さな判定モデルの使い分け

簡単な判断をするAIと、文章を作るAIを分けます。

約1分で読めます Tiny Why編集部 · 文: 特派員 キュリオ

ことば
意思決定モデル(いしけっていモデル)

○×や選ぶ答えを返すAI。

LLM(エルエルエム)

長い文章を作るAI。

PostHog(コンピューターの道具を作る会社)は、AIの仕事を分けました。

意思決定モデル(○×や選ぶ答えを返すAI)は、簡単な質問に答えます。 LLM(長い文章を作るAI)は、難しい質問を考えます。

たとえば、Replay Vision(操作の記録を短くする道具)は、先に名前や連絡先を調べます。 難しいものだけ、文章を作るAIへ渡します。 すると、文章を作るAIを毎回呼ばずにすみます。

Hacker News(技術ニュースサイト)でも話題になりました。 でも、人気だから正しいとは限りません。

簡単な質問は判定AIへ。 難しい質問はLLMへ。 これが、AIの仕事分けです。

出典:PostHogの原記事、Hacker Newsの掲載ページ。

💬 小さな選び役と、大きな言葉の機械

みんなは、簡単な仕事には小さな道具を使おうと話している。でも、その道具をよく試すことも大切だ。

  • 判断モデルは、短い答えの表から選ぶ。だから、変な答えを作りにくい。でも、別の種類のLLMに名前を変えただけかもしれない。
  • テストが足りないと、実際の人の中の少ないグループを見落とす。利用者の報告では、照明や音楽、テレビが動かないことがあり、Samsung TVの問題は約3か月見つからず、2〜3%の顧客に影響したという。
  • 新しいモデルを選ぶ役は、そのモデルを知らないかもしれない。計算機や普通のプログラムで足りる仕事もある。顧客データを使うことを心配する人もいれば、LLMをコンピューターを使うための便利な入口と考える人もいる。

コメント42件時点の初期(改訂1)。42件を取得し、全体から42件を抽出して要約しました。内容はHN利用者の自己申告で、編集部が確認した事実ではありません。

出典・参考