🔥 HN 热议

AI能独立做税务吗?50项实务测试中,最高合格率只有10.8%

约3分钟读完 Tiny Why编辑部 · 文:特派员 好奇

词语
DAYJOB: Tax

一个检查AI税务工作的测试。

pass@1

只试一次时达到高标准的比例。

AI代理

能分步骤完成任务的AI程序。

发生了什么

Surge AI(人工智能评测公司)于10月27日发布了DAYJOB: Tax。这是一个测试AI能否完成专业税务工作的项目。它要求AI代理,也就是能分步骤完成任务的AI程序,从客户请求开始,读完资料,完成申报表、工作底稿、技术审查或客户建议。

这项测试不只检查计算。AI还要发现记录之间的冲突,找出缺少的资料,并注意客户没有主动提出的重要问题。现实中的税务工作常常不是回答一道已经写好的题,而是先判断真正的问题是什么。

测试怎样接近真实工作

DAYJOB: Tax包含50个工作环境,覆盖8个税务领域。内容包括个人和家庭税务、小企业、合伙企业、财产与投资、遗产和信托、国际税务、公司交易,以及税务审查和争议。

全部资料共有1,789个文件。每项任务的文件中位数是30个,最多有123个。资料包括1,487份PDF、117个表格和38份Word文件,也有邮件、图片、CSV和其他记录。AI有时要读手写收据,有时要从跨州派工记录中找出税务线索。

分数应该怎样理解

Surge AI把一次尝试达到95%评分标准的比例记为pass@1。一次任务只有达到至少95%的要求,才算通过。要求包括计算、证据、重要问题和最终成果。

Claude Sonnet 5.5的合格率最高,为10.8%。Claude Fable 5.1为9.6%,Claude Opus 5.5为9.2%。这不是说AI只答对了10.8%的小题,而是说只有10.8%的尝试在整项工作上达到很高的标准。官方排行榜还列出了其他模型。

一个遗漏可能改变结果

其中一个案例讲到Anna卖公寓。她想比较2026年10月和2027年1月出售,哪个时间更合适。AI正确判断,这两个日期都可能满足居住年限条件,并适用最高25万美元的收益排除。

但是,Anna在2024年8月搬走。如果出售时间超过2027年8月底左右,她可能失去这项资格。Astra连续5次都没有发现这个期限,Opus连续5次都发现了。前者回答了客户明面上的问题,却没有提醒客户一个可能影响重大决定的后果。

另一个案例涉及一对准备分开生活的伴侣。他们过去在得州生活,也在科罗拉多州举行过仪式。资料因此引出了婚姻是否有效的问题。Opus连续5次把他们当作未婚,Astra有4次先判断应该核实婚姻状态。这说明税务工作需要判断下一步查什么,而不只是套公式。

已经确认的事实

Surge AI说,税务专家负责设计任务、资料、预期结果和评分标准。每项任务还经过三层专家审查。由此可以确认,发布方试图把测试做成接近专业工作的复杂任务。

Hacker News上的这篇文章在候选信息时点获得了212 points和135 comments。这表示社区关注度,不等于原文已经被证明正确。两类信息需要分开看:一类是测试报告中的结果,另一类是网站上的讨论热度。

还不知道什么

这仍然是Surge AI自己制作并评分的测试。仅凭这次发布,不能判断模型面对所有客户、资料和指令时都会得到相同结果。各任务的详细权重、外部专家的复测,以及AI和真人税务人员的直接比较,也需要更多资料。

接下来要看什么

最值得关注的是第三方能否重复测试,其他研究者能否检查任务,模型的准确率是否值得它的费用,以及真人专家在相同条件下表现如何。现阶段,DAYJOB: Tax说明了一个清楚的区别:AI能完成部分税务步骤,不代表它已经能安全地独立负责复杂税务工作。

💬 AI 税务代理:适合做第二双眼睛,尚不适合盲信报税

HN讨论认为,税务AI在检查和解释申报表方面有潜力,但还不适合无人监督地报税。下面关于性能、错误、时间和金额的说法,都是用户自述或评论者对基准测试的解读,并非独立验证。

  • 有评论者认为Sonnet 5.5明显优于Opus和Fable;另一位评论者反驳说差异在基准测试的误差范围内,还有人指出讨论中没有人类基线。因此,仅凭这条评论串不能确定模型排名或实际工作准确率。
  • 一名居住海外的美国公民自述,Claude发现了错误的汇率,也能识别一些因缺少上下文而看似错误的项目,并讨论税法中的模糊处理。但同一用户称,Claude对预缴税的估算非常不准确,受到质疑后也没有修正好。
  • 另一名用户自述,他向GPT Sol提供了100多份PDF和CSV,以及约20亿个token的信息来处理复杂申报;所花时间少于平时,避免了约3,000至4,000美元的准备费用,但需要大量人工引导。这只是个案,不是普遍能力证明。
  • 围绕美国IRS的评论称,即使错误来自税务专业人士,申报人仍要对申报表和应缴税款负责。有些地区允许在善意依赖专业建议时追偿由过失造成的罚款或利息,但原本应缴的税款仍然存在,追偿可能要经过困难的诉讼。一名用户自述因会计师错误损失约20,000美元。
  • 有人认为只有W-2收入的情况相对简单,但K-1、RSU/ESPP、房地产折旧或亏损、跨境税收协定和海外公司会复杂得多。评论中也有人说专业人士会犯错,所以关键不是简单地比较AI和会计师,而是保留复核环节。
  • 一些评论者不愿把财务资料交给LLM公司,并提出本地推理或Zero Data Retention。也有人质疑服务商或会计师能否可靠地阻止共享和未来泄漏,因此隐私问题仍未解决。
  • 讨论中更稳妥的方案,是让AI帮助制作经过严格验证的确定性表单工具,按照税表和说明书引导用户,而不是让代理自行报税。自制电子申报软件仍需获得批准,纸质申报或官方可填写表格可以作为替代。

这是评论数为135时的初期(修订1)。获取100条,并从整体抽取100条总结。内容属于HN用户自述,并非编辑部核实的事实。

🔥 HN 热议

AI做税务工作,最高合格率只有10.8%

📰 完整报道: AI能独立做税务吗?50项实务测试中,最高合格率只有10.8%

一项新测试要求AI处理复杂的真实税务工作。

约1分钟读完 Tiny Why编辑部 · 文:特派员 好奇

词语
DAYJOB: Tax

一个检查AI税务工作的测试。

pass@1

只试一次时通过高标准的比例。

AI代理

能一步步完成工作的AI。

💡 一句话总结

  • AI接受了50项专业税务任务。
  • 最高合格率只有10.8%。
  • 测试还检查AI会不会发现遗漏。

Surge AI(人工智能评测公司)发布了DAYJOB: Tax。这是一个税务工作测试。AI代理要读资料、查数字,还要完成最后的文件。

测试覆盖8个税务领域。资料共有1,789个文件。里面有PDF、表格、Word文件、邮件和图片。有些任务还包括手写收据,或显示员工去过多个州的记录。

一次任务要达到95%的评分要求,才算合格。只试一次时的合格比例叫pass@1。Claude Sonnet 5.5最高,为10.8%。Claude Fable 5.1为9.6%。Claude Opus 5.5为9.2%。

10.8%不是说AI只答对了10.8%的问题。它表示,只有10.8%的尝试完成了整项工作的高标准。评分还看计算、证据、提醒和最后的成果。

一个案例中,有人要比较两个卖房日期。AI认为两个日期都可以,却漏掉了更晚的期限。另一个模型连续5次找到了这个期限。这说明,AI不只要会计算,还要知道下一步该查什么。

Surge AI说,税务专家设计并检查了这些任务。不过,测试也是Surge AI自己制作和评分的。结果还需要其他人重复检查。

Hacker News也关注了这篇文章。积分和评论数量只代表关注度,不代表结果一定正确。接下来要看第三方能否重复测试。

💬 税务AI能帮忙检查,但还不能完全代替人

评论里既有AI发现问题的经历,也有AI算错重要税务数字的经历。性能、错误、时间和费用都是用户自述,没有经过独立证明。

  • 有人觉得Sonnet 5.5比其他模型好,但也有人认为差异可能只是误差,而且没有和人类比较。
  • 用户自述称,Claude发现过汇率错误,却把预缴税算错得很严重。另一名用户说GPT Sol用100多份资料帮助完成复杂申报,花费时间少于约3,000至4,000美元的专业服务,但需要人不断引导。
  • 即使会计师出错,纳税人通常仍要先面对税务机关。部分罚款或利息可能通过诉讼追回,但原本应缴的税仍要缴。一名用户自述会计师错误让自己损失约20,000美元。
  • W-2申报可能比较简单,但K-1、股票报酬、房地产和跨境税务更难,专业人士也会出错。因此AI更适合做第二次检查。
  • 人们也担心把财务资料交给AI公司。经过验证的表单引导工具、获批准的电子申报软件或纸质表格,可能比让代理独自报税更安全。

这是评论数为135时的初期(修订1)。获取100条,并从整体抽取100条总结。内容属于HN用户自述,并非编辑部核实的事实。

🔥 HN 热议

AI漏掉了一个重要的税务期限

📰 完整报道: AI能独立做税务吗?50项实务测试中,最高合格率只有10.8%

AI会读很多纸,但做大税务工作时还需要人帮忙。

约1分钟读完 Tiny Why编辑部 · 文:特派员 好奇

词语
DAYJOB: Tax

一个检查AI做税务工作的测试。

Hacker News

人们讨论科技新闻的网站。

Surge AI是一家检查AI的公司。它做了一个叫DAYJOB: Tax的小测试。

这个测试给AI 50个税务工作。AI要看很多纸。它还要找出遗漏。

最好的AI也只合格了10.8%。要合格,AI要完成95%以上的重要事情。

有一个人要卖房子。AI比较了两个日子。两个日子都符合一个规则。但是,AI漏掉了更晚的期限。另一个AI找到了这个期限5次。

这说明AI还会漏掉重要事情。Hacker News也关注了这件事。受关注不等于正确。

所以,重要的税务工作还要有人检查。

💬 税务AI还不能自己工作

评论说,AI有时能帮忙,但有时也会犯很贵的错误。数字和性能故事都是用户自己报告的。

  • 测试让一个AI看起来比别的AI好。但差别可能很小,而且没有拿人来比较。
  • 有人说AI找到了税务错误。也有人说AI把重要的税金算错了。有人让AI帮忙处理很大的申报,但仍需要人来指导和检查。
  • 税金算错时,报税的人通常仍要自己处理税款和罚款。海外税务和特殊投资的税很难。
  • 人们担心把私人财务资料交给AI公司。经过人检查的表格工具、获批准的申报系统或纸张,会比让机器人独自报税更安全。

这是评论数为135时的初期(修订1)。获取100条,并从整体抽取100条总结。内容属于HN用户自述,并非编辑部核实的事实。

来源