何が起きたか

Mercor（この調査を公開した企業）は、AIの性能を同じ条件で比べるテスト、ベンチマークが、米国の仕事をどれだけ調べているかを地図にしました。結論は大きく、米国の働く時間の約90%が、既存のベンチマークでほとんど、またはまったく十分に調べられていない作業に費やされていると推計しています。ここでいう「調べられていない」は、AIがその仕事をできないという意味ではありません。測るための問題が少ない、という意味です。

元記事はHacker Newsで94ポイント、66コメントを集めました。ただし、この数字はコミュニティの注目度です。調査の正しさを証明する数字ではありません。

どうやって地図を作ったか

Mercorは、米国労働省のONETを使いました。ONETには、923種類の職業と、職業を形づくる18,797個の作業が整理されています。それらは22の仕事の大きな分類に分かれます。

次に、経済的な仕事に近く、まだAIが簡単に満点を取れない29個のベンチマークを選びました。LLMの判定役に、各問題がどの作業に対応するかを対応づけさせ、同じ作業に少なくとも5問がつながった場合を「カバーされた」と数えます。さらに、各作業に人がどれくらい時間を使うかの推計を組み合わせ、働く時間全体への広がりを計算しました。

なぜ重要か

AIの点数は、出題された作業への点数です。たとえばソフトウェア開発の問題を多く解けても、対面の調整、現場の判断、細かな手作業まで同じようにできるとは限りません。何を測ったかを見ないまま、点数だけをAIの「仕事力」と読むと、測っていない部分を見落とします。

地図には偏りもありました。AIによる自動化に向きそうだと分類された作業は、そうでない作業より約6倍もベンチマークに入りやすい結果でした。職業全体の給与総額が大きい仕事も、ベンチマークに多く登場します。さらに、同じ職業の中では重要度の高い作業が、低い作業より約6〜10倍入りやすいとされました。つまり、AI研究が注目する仕事や、測りやすい仕事に、テストが厚く集まっています。

確認できたこと

Mercorの集計では、923職業のうち、少なくとも1つの作業に5問以上のベンチマーク問題がある職業は208だけでした。22の仕事分類のうち、6分類には、その条件を満たす職業がありません。

具体例として、AIへの露出が高い弁護士の作業は比較的よく調べられていました。一方、同じ法律分野でも、法務秘書や裁判所書記官の作業はほとんどカバーされていません。これは、職業名だけでなく、その中の細かな作業まで見なければならないことを示します。

まだ分からないこと

この調査は、仕事の90%をAIができない、あるいは90%の職業がAIに安全だと示したものではありません。対象は最初に選んだ29個のベンチマークで、全世界のテストを集めた一覧ではありません。仕事分類ごとの数にも上限を設けています。

また、「現実の仕事らしさ」の判断には主観が入り、職業ごとの問題数も少ないため、少数の質の悪い問題が結果を動かす可能性があります。人がAIを使って仕事を助ける場合と、AIが仕事を最初から最後まで自動で行う場合も、同じ方法では測れません。身体を使う仕事を測りにくい点も残ります。

次に見る点

Mercorは、ベンチマークを増やしながら地図を更新する考えを示しています。今後は、ソフトウェアや金融のような測りやすい仕事だけでなく、現場作業、対人調整、人とAIが一緒に進める仕事も、実際の流れに近い形で測れるかが焦点になります。

この調査の要点は、AIの点数が無意味だということではありません。点数は、地図に載った場所の情報です。地図にない仕事まで分かったつもりにならないことが、次の課題です。

元記事：Mercorの調査「米国経済のベンチマーク地図」。反応：Hacker Newsの投稿。