🔥 HNで話題

AIは税金の仕事を任せられる? 50件の実務テストで合格は10.8%

約3分で読めます Tiny Why編集部 · 文: 特派員 キュリオ

ことば
DAYJOB: Tax

AIが税務の仕事をできるか調べるテスト。

pass@1

1回の挑戦で高い基準に合格した割合。

AIエージェント

資料を読み、手順を進めて仕事をするAI。

何が起きたか

Surge AI(AIを評価する会社)は10月27日、DAYJOB: Taxを公開した。これは、AIエージェントに税務専門家の仕事を最初から最後まで任せ、どこまで進められるかを調べるテストだ。計算だけでなく、記録の食い違いや、依頼者が気づいていない重要な問題も探させる。

税務の現場をどう再現したか

テストは50の環境、8分野で構成される。個人や家族の税金、小さな会社、組合、土地や投資、相続、国際税務、会社取引、税務調査や争いを扱う。資料は1,789ファイルあり、1件あたりの中央値は30ファイル、最大は123ファイルだった。PDF1,487件、表計算117件、Word38件に加え、メールや画像も含む。AIは申告書、作業記録、技術レビュー、顧客への助言を仕上げる。

数字は何を意味するか

Surge AIは、1回の挑戦で採点基準の95%以上を満たした割合をpass@1として報告した。最高はClaude Sonnet 5.5の10.8%。Claude Fable 5.1は9.6%、Claude Opus 5.5は9.2%だった。公式の一覧にあるこの数字は、答えの10.8%だけが正しかったという意味ではない。計算、根拠、重要な問題、完成した成果物をまとめて高い水準で満たした仕事の割合である。

見落としが税金を変える

記事の例では、Annaという人がマンションを売る時期を、2026年10月と2027年1月で比べるようAIに頼んだ。どちらも住んでいた期間の条件を満たし、最大25万ドルの利益を除外できるとAIは判断した。だが、2024年8月に引っ越したAnnaは、2027年8月末ごろまでに売らないと条件を失う可能性がある。Astraは5回ともこの期限を見つけず、Opusは5回とも見つけた。

別の課題では、離婚を考えるカップルの法的な結婚状態が、退職口座の分け方を左右した。記録にはテキサス州やコロラド州に関係する手がかりがあったが、Opusは5回とも未婚と決めて助言した。Astraは5回中4回、まず婚姻状態を確かめるべきだと判断した。試されているのは、知識だけでなく、先に確認すべきことを見つける判断である。

確認できたこと

Surge AIは、税務の専門家が課題、資料、正解と採点基準を作り、3段階の専門家レビューをしたと説明している。テストが単純な計算問題ではなく、複雑な資料を読んで成果物まで作る設計であることは確認できる。

まだ分からないこと

一方で、これは同社が作り、評価したテストの結果だ。現実の顧客、別の資料、別の指示でも同じ順位になるかは、この発表だけでは決められない。各課題の採点の重みや、実際の税理士との比較も十分には示されていない。

次に見る点

Hacker Newsでは、候補情報の時点で212 points、135 commentsを集めた。これはコミュニティの注目度であり、元記事の正しさを証明する数字ではない。次に必要なのは、第三者による再現、専門家との比較、正確さと費用の検証だ。この結果は、AIが税務の一部をこなせることと、重要な見落としをせず仕事を任せられることは別だと示している。

💬 AI税務エージェントは、第二の目として有用だが単独申告はまだ危険

HNの議論は、税務AIは確認や説明には役立つ一方、無監督で申告を任せる段階ではない、という論点に集中した。以下の性能・不具合・金額は利用者の自己申告、またはコメント投稿者によるベンチマーク解釈であり、独立検証ではない。

  • Sonnet 5.5がOpusやFableを上回ったように見えるという投稿に対し、別の投稿者は差は誤差範囲内だと反論し、人間ベースラインの欠如も指摘した。このスレッドだけでは、モデル順位や実務精度は確定しない。
  • 海外在住の米国人利用者の自己申告では、Claudeは誤った為替レートを見つけ、文脈不足で誤りに見える項目も区別し、曖昧な税法について議論できた。一方、予定納税の推計は大きく不正確で、指摘後も修正できなかった。
  • 別の利用者の自己申告では、GPT Solに100以上のPDF・CSVと約20億トークン分の情報を与え、複雑な申告を進めたところ、通常の税務専門家に払う約3,000〜4,000ドルより短時間で済んだ。ただし、強い誘導が必要な一例であり、一般的な性能の証明ではない。
  • 米国のIRSをめぐるコメントでは、税務専門家を使っても申告者が申告内容と税金を負うとされた。過失による罰金・利息を訴訟で取り戻せる地域はあるが、実際の税金そのものは残り、回収も容易ではない。会計士の誤りで約2万ドルの負担になったという利用者の自己申告もあった。
  • W-2中心の単純な申告は扱いやすいという意見がある一方、K-1、RSU・ESPP、房地产の減価償却や損失、海外居住・税務条約、海外法人は難しいとされた。専門家も誤るため、AIか会計士かの二択ではなく、確認工程が重要になる。
  • 財務情報をLLM企業に渡したくないという懸念があり、ローカル推論やZero Data Retentionが提案された。ただし、事業者や会計士がデータ共有や将来の漏えいを十分防げるかは議論が続いている。
  • より安全な方向として、AIに自律申告させるのではなく、IRSの様式・説明書を形式化した、検証済みの決定論的なフォーム案内ツールを作る案が出た。自作ソフトでの電子申告には承認が必要で、紙送付や入力可能な公式フォームが代替手段になる。

コメント135件時点の初期(改訂1)。100件を取得し、全体から100件を抽出して要約しました。内容はHN利用者の自己申告で、編集部が確認した事実ではありません。

🔥 HNで話題

AIの税金テスト、合格は10.8%だった

📰 しっかり版: AIは税金の仕事を任せられる? 50件の実務テストで合格は10.8%

AIは計算だけでなく、見落としを探す税金の仕事にも挑戦しました。

約1分で読めます Tiny Why編集部 · 文: 特派員 キュリオ

ことば
DAYJOB: Tax

AIの税金仕事を調べるテスト。

pass@1

1回で高い基準に合格した割合。

AIエージェント

頼まれた仕事を順番に進めるAI。

💡 ようするに

  • AIの税金仕事を50件テストした。
  • 最高の合格率は10.8%だった。
  • 計算だけでなく、見落としも調べた。

Surge AI(AIを調べる会社)は、DAYJOB: Taxを公開しました。これは、AIエージェントに税金の仕事をさせるテストです。仕事は、個人の税金から会社の税金まで8分野です。

資料は1,789ファイルありました。PDFや表計算のほか、メールや画像もあります。AIは申告書や助言を作りました。記録の食い違いも調べました。

合格には、採点基準の95%以上を満たす必要がありました。1回の挑戦の合格率はpass@1と呼ばれます。Claude Sonnet 5.5は10.8%でした。これは、答えの10.8%が正しいという意味ではありません。仕事全体を高い水準でできた割合です。

たとえば、家を売る時期を比べる仕事がありました。AIは二つの日を比べました。どちらも条件に合うと判断しました。しかし、もっと後の大事な期限を見つけませんでした。別のAIは、その期限を5回すべて見つけました。

この違いは、計算力だけでは足りないことを示します。何を先に確かめるかも大切です。Surge AIは、税務の専門家が課題を作り、3段階で見直したと説明しています。

Hacker Newsでも話題になりました。ただし、 pointsやcommentsの数は注目度です。テストが正しい証拠ではありません。重要な税金の仕事では、まだ人の確認が必要です。

💬 税務AIは便利な確認役。でも、最後まで任せるのは早い

コメントでは、AIが税金の間違いを見つける助けになるという体験談と、大事な計算を間違えたという体験談の両方が出ている。性能や金額は利用者の自己申告で、独立した証明ではない。

  • Sonnet 5.5が他のモデルより良く見えたという意見に対し、差は誤差かもしれないという反論があった。人間との比較も足りない。
  • 利用者の自己申告では、Claudeが為替の間違いを見つけた一方、予定納税の計算を大きく間違えた。GPT Solが100以上の資料を使って複雑な申告を手伝い、約3,000〜4,000ドルの専門家費用より短時間だったという報告もあるが、強い人間の誘導が必要だった。
  • 税務専門家が間違えても、税務当局への支払いは申告者がまず負う。罰金や利息を取り戻せる場合はあるが、裁判が必要なこともある。会計士のミスで約2万ドルの負担になったという自己申告もある。
  • W-2だけなら比較的簡単でも、K-1、株式報酬、不動産、海外の税金は難しくなり、専門家も間違える。だからAIは最終決定者ではなく、第二の確認役として使う方がよい。
  • 財務情報をAI会社に渡すことへの不安もある。人が確認した決定論的なフォーム案内ツールや、承認済みの電子申告・紙の申告の方が安全だという案が出ている。

コメント135件時点の初期(改訂1)。100件を取得し、全体から100件を抽出して要約しました。内容はHN利用者の自己申告で、編集部が確認した事実ではありません。

🔥 HNで話題

AIは税金の仕事で、だいじなことを見落とした

📰 しっかり版: AIは税金の仕事を任せられる? 50件の実務テストで合格は10.8%

AIはたくさんの紙を読めても、まだ一人で税金の仕事をできません。

約1分で読めます Tiny Why編集部 · 文: 特派員 キュリオ

ことば
DAYJOB: Tax

AIの税金仕事を調べるテスト。

Hacker News

技術のニュースを話すウェブサイト。

Surge AI(AIを調べる会社)は、DAYJOB: Taxというテストを作りました。AIに50個の税金の仕事をさせました。

仕事には、たくさんの記録がありました。AIは計算をしました。足りないことも探しました。

いちばん良いAIでも、合格は10.8%でした。合格には、仕事の大事な部分を95%以上できる必要がありました。

ある人は、家を売る日を相談しました。AIは二つの日を比べました。でも、別の大事な期限を見つけませんでした。その期限を過ぎると、お金の決まりが変わるかもしれません。別のAIは、その期限を5回とも見つけました。

Hacker Newsでも話題になりました。これは人気の数です。正しさの証明ではありません。

だから、大事な税金の仕事は、まだ人が確かめます。

💬 税金AIは、まだ一人で働けない

コメントでは、AIは助けになることもあるけれど、間違うこともあると言われている。数字や性能の話は、投稿者の自己申告だ。

  • テストで、あるAIが別のAIより良く見えた。でも差は小さいかもしれず、人間との比べ方も足りない。
  • AIが為替の間違いを見つけたという人がいる。でも大事な税金の計算を間違えたという人もいる。大きな申告を手伝ったという人もいたが、人がたくさん確認した。
  • 税金の答えが間違っても、申告した人が税金や罰金を払うことが多い。海外の税金や特別な投資は、とても難しい。
  • お金の書類をAI会社に渡すのが心配な人もいる。人が確認した計算道具を使い、最後は許可された仕組みか紙で申告する方が安全だ、という案がある。

コメント135件時点の初期(改訂1)。100件を取得し、全体から100件を抽出して要約しました。内容はHN利用者の自己申告で、編集部が確認した事実ではありません。

出典・参考