AI能独立做税务吗?50项实务测试中,最高合格率只有10.8%
DAYJOB: Tax
一个检查AI税务工作的测试。
pass@1
只试一次时达到高标准的比例。
AI代理
能分步骤完成任务的AI程序。
发生了什么
Surge AI(人工智能评测公司)于10月27日发布了DAYJOB: Tax。这是一个测试AI能否完成专业税务工作的项目。它要求AI代理,也就是能分步骤完成任务的AI程序,从客户请求开始,读完资料,完成申报表、工作底稿、技术审查或客户建议。
这项测试不只检查计算。AI还要发现记录之间的冲突,找出缺少的资料,并注意客户没有主动提出的重要问题。现实中的税务工作常常不是回答一道已经写好的题,而是先判断真正的问题是什么。
测试怎样接近真实工作
DAYJOB: Tax包含50个工作环境,覆盖8个税务领域。内容包括个人和家庭税务、小企业、合伙企业、财产与投资、遗产和信托、国际税务、公司交易,以及税务审查和争议。
全部资料共有1,789个文件。每项任务的文件中位数是30个,最多有123个。资料包括1,487份PDF、117个表格和38份Word文件,也有邮件、图片、CSV和其他记录。AI有时要读手写收据,有时要从跨州派工记录中找出税务线索。
分数应该怎样理解
Surge AI把一次尝试达到95%评分标准的比例记为pass@1。一次任务只有达到至少95%的要求,才算通过。要求包括计算、证据、重要问题和最终成果。
Claude Sonnet 5.5的合格率最高,为10.8%。Claude Fable 5.1为9.6%,Claude Opus 5.5为9.2%。这不是说AI只答对了10.8%的小题,而是说只有10.8%的尝试在整项工作上达到很高的标准。官方排行榜还列出了其他模型。
一个遗漏可能改变结果
其中一个案例讲到Anna卖公寓。她想比较2026年10月和2027年1月出售,哪个时间更合适。AI正确判断,这两个日期都可能满足居住年限条件,并适用最高25万美元的收益排除。
但是,Anna在2024年8月搬走。如果出售时间超过2027年8月底左右,她可能失去这项资格。Astra连续5次都没有发现这个期限,Opus连续5次都发现了。前者回答了客户明面上的问题,却没有提醒客户一个可能影响重大决定的后果。
另一个案例涉及一对准备分开生活的伴侣。他们过去在得州生活,也在科罗拉多州举行过仪式。资料因此引出了婚姻是否有效的问题。Opus连续5次把他们当作未婚,Astra有4次先判断应该核实婚姻状态。这说明税务工作需要判断下一步查什么,而不只是套公式。
已经确认的事实
Surge AI说,税务专家负责设计任务、资料、预期结果和评分标准。每项任务还经过三层专家审查。由此可以确认,发布方试图把测试做成接近专业工作的复杂任务。
Hacker News上的这篇文章在候选信息时点获得了212 points和135 comments。这表示社区关注度,不等于原文已经被证明正确。两类信息需要分开看:一类是测试报告中的结果,另一类是网站上的讨论热度。
还不知道什么
这仍然是Surge AI自己制作并评分的测试。仅凭这次发布,不能判断模型面对所有客户、资料和指令时都会得到相同结果。各任务的详细权重、外部专家的复测,以及AI和真人税务人员的直接比较,也需要更多资料。
接下来要看什么
最值得关注的是第三方能否重复测试,其他研究者能否检查任务,模型的准确率是否值得它的费用,以及真人专家在相同条件下表现如何。现阶段,DAYJOB: Tax说明了一个清楚的区别:AI能完成部分税务步骤,不代表它已经能安全地独立负责复杂税务工作。
AI做税务工作,最高合格率只有10.8%
📰 完整报道: AI能独立做税务吗?50项实务测试中,最高合格率只有10.8%
一项新测试要求AI处理复杂的真实税务工作。
DAYJOB: Tax
一个检查AI税务工作的测试。
pass@1
只试一次时通过高标准的比例。
AI代理
能一步步完成工作的AI。
💡 一句话总结
- AI接受了50项专业税务任务。
- 最高合格率只有10.8%。
- 测试还检查AI会不会发现遗漏。
Surge AI(人工智能评测公司)发布了DAYJOB: Tax。这是一个税务工作测试。AI代理要读资料、查数字,还要完成最后的文件。
测试覆盖8个税务领域。资料共有1,789个文件。里面有PDF、表格、Word文件、邮件和图片。有些任务还包括手写收据,或显示员工去过多个州的记录。
一次任务要达到95%的评分要求,才算合格。只试一次时的合格比例叫pass@1。Claude Sonnet 5.5最高,为10.8%。Claude Fable 5.1为9.6%。Claude Opus 5.5为9.2%。
10.8%不是说AI只答对了10.8%的问题。它表示,只有10.8%的尝试完成了整项工作的高标准。评分还看计算、证据、提醒和最后的成果。
一个案例中,有人要比较两个卖房日期。AI认为两个日期都可以,却漏掉了更晚的期限。另一个模型连续5次找到了这个期限。这说明,AI不只要会计算,还要知道下一步该查什么。
Surge AI说,税务专家设计并检查了这些任务。不过,测试也是Surge AI自己制作和评分的。结果还需要其他人重复检查。
Hacker News也关注了这篇文章。积分和评论数量只代表关注度,不代表结果一定正确。接下来要看第三方能否重复测试。
💬 税务AI能帮忙检查,但还不能完全代替人
评论里既有AI发现问题的经历,也有AI算错重要税务数字的经历。性能、错误、时间和费用都是用户自述,没有经过独立证明。
- 有人觉得Sonnet 5.5比其他模型好,但也有人认为差异可能只是误差,而且没有和人类比较。
- 用户自述称,Claude发现过汇率错误,却把预缴税算错得很严重。另一名用户说GPT Sol用100多份资料帮助完成复杂申报,花费时间少于约3,000至4,000美元的专业服务,但需要人不断引导。
- 即使会计师出错,纳税人通常仍要先面对税务机关。部分罚款或利息可能通过诉讼追回,但原本应缴的税仍要缴。一名用户自述会计师错误让自己损失约20,000美元。
- W-2申报可能比较简单,但K-1、股票报酬、房地产和跨境税务更难,专业人士也会出错。因此AI更适合做第二次检查。
- 人们也担心把财务资料交给AI公司。经过验证的表单引导工具、获批准的电子申报软件或纸质表格,可能比让代理独自报税更安全。
这是评论数为135时的初期(修订1)。获取100条,并从整体抽取100条总结。内容属于HN用户自述,并非编辑部核实的事实。
AI漏掉了一个重要的税务期限
📰 完整报道: AI能独立做税务吗?50项实务测试中,最高合格率只有10.8%
AI会读很多纸,但做大税务工作时还需要人帮忙。
DAYJOB: Tax
一个检查AI做税务工作的测试。
Hacker News
人们讨论科技新闻的网站。
Surge AI是一家检查AI的公司。它做了一个叫DAYJOB: Tax的小测试。
这个测试给AI 50个税务工作。AI要看很多纸。它还要找出遗漏。
最好的AI也只合格了10.8%。要合格,AI要完成95%以上的重要事情。
有一个人要卖房子。AI比较了两个日子。两个日子都符合一个规则。但是,AI漏掉了更晚的期限。另一个AI找到了这个期限5次。
这说明AI还会漏掉重要事情。Hacker News也关注了这件事。受关注不等于正确。
所以,重要的税务工作还要有人检查。
💬 税务AI还不能自己工作
评论说,AI有时能帮忙,但有时也会犯很贵的错误。数字和性能故事都是用户自己报告的。
- 测试让一个AI看起来比别的AI好。但差别可能很小,而且没有拿人来比较。
- 有人说AI找到了税务错误。也有人说AI把重要的税金算错了。有人让AI帮忙处理很大的申报,但仍需要人来指导和检查。
- 税金算错时,报税的人通常仍要自己处理税款和罚款。海外税务和特殊投资的税很难。
- 人们担心把私人财务资料交给AI公司。经过人检查的表格工具、获批准的申报系统或纸张,会比让机器人独自报税更安全。
这是评论数为135时的初期(修订1)。获取100条,并从整体抽取100条总结。内容属于HN用户自述,并非编辑部核实的事实。
💬 AI 税务代理:适合做第二双眼睛,尚不适合盲信报税
HN讨论认为,税务AI在检查和解释申报表方面有潜力,但还不适合无人监督地报税。下面关于性能、错误、时间和金额的说法,都是用户自述或评论者对基准测试的解读,并非独立验证。
这是评论数为135时的初期(修订1)。获取100条,并从整体抽取100条总结。内容属于HN用户自述,并非编辑部核实的事实。