不是每件事都要用大语言模型
决策模型(jué cè mó xíng)
只处理明确的小问题,并返回答案和把握程度的模型。
LLM(艾勒艾勒艾姆)
能生成文字、处理开放问题的AI模型。
阈值(yù zhí)
决定是否继续下一步的分数界线。
发生了什么
PostHog(一家做软件的公司)在一篇文章中介绍了决策模型的用法。LLM(能生成文字、处理开放问题的AI模型)擅长写长答案,也擅长处理复杂上下文。决策模型则回答结构化问题:是或否、几个选项,或者一个分数,并给出概率。经过充分测试,0.8大约表示有八成机会答对。文章在Hacker News(技术新闻社区)获得104个积分和42条评论。这只说明有人关注,不证明文章或数据一定正确。
背景
PostHog说,决策模型最多可以比高性能模型便宜444.6倍,速度快193.6倍。这个比较引用了TypeSafe AI(提供AI模型比较数据的公司),文章没有给出足够条件让读者推广这个结论。它想解决的是固定规则和完整LLM之间的问题。固定规则太死,难以处理模糊的小判断;LLM又可能太慢、太贵。决策模型正好处理范围较窄的问题。
为什么重要
Replay Vision(把用户操作记录做成摘要的产品)会先检查每份摘要中的个人信息。两个是非题分别问:里面有没有真实人名?有没有联系方式或ID?只要有一个分数达到0.4,Gemini(Google的AI模型)就会重写摘要。否则,系统跳过LLM。PostHog说,在实际运行中,98.7%的摘要都跳过了这次调用。
PostHog在Slack(工作沟通服务)的机器人上使用更高的阈值。机器人检查一条消息是否在提问,以及PostHog是否能回答。两个分数都达到0.85以上,才发送回复。多发一次回复可能只是打扰,但漏掉个人信息会更严重。因此,不同任务不能共用一个阈值。
可以确认什么
这些是PostHog提供的具体生产案例,不是覆盖很多公司的独立试验。公司还先找出一小批搜索候选,再让决策模型判断每个摘要是否符合查询。PostHog报告称,20个测试查询的排序质量提高了约25%。另一个工具会读取数据库查询和结果的前三行,再选择更合适的图表。共同点是:先准备好复杂背景,再提出一个很窄的问题。
还不知道什么
决策模型不适合需要多步推理的任务。PostHog说,过去的一项多步任务曾发送很大的请求,让模型服务器堵塞数小时。一个给代码审查结果排序的内部测试也没有得到明确结论。开放式写作和深层推理仍然更适合LLM。文章还提到,同一个模型换版本后,阈值也会变化。团队需要用人工标记的数据重新校准。即使分数是0.85,每1000次检查仍可能有约150次错误。
接下来观察什么
真正值得观察的,不是某种模型能否取代另一种模型,而是每项任务的实际结果。团队应记录误报、漏报、人工检查时间、费用和速度。范围很窄的判断可以交给决策模型;写作和复杂推理仍应交给LLM。作者还预计,这篇文章两个月后可能就会过时,因此后续证据应来自重复测量,而不是口号。
先用会判断的AI,再用会写文章的AI
📰 完整报道: 不是每件事都要用大语言模型
简单问题先筛一遍,复杂问题才交给大语言模型。
决策模型(jué cè mó xíng)
只回答一种明确问题的AI。
LLM(艾勒艾勒艾姆)
能写文字、处理难问题的AI。
阈值(yù zhí)
决定要不要继续的数字界线。
💡 一句话总结
- PostHog(一家软件公司)用决策模型处理小判断。
- LLM(能写文字的AI)继续处理复杂工作。
- Hacker News(技术新闻社区)有104个积分和42条评论。这表示有人关注,不表示内容一定正确。
决策模型不会写很长的文章。它只回答一个说得清楚的问题。答案可以是是或否,也可以是几个选项。它还会给出一个数字,表示自己有多大把握。
PostHog把它用在Replay Vision上。Replay Vision会把用户的操作记录整理成摘要。系统先检查摘要里有没有真实人名、联系方式或ID。如果检查分数达到0.4,Gemini(Google的AI)会重新写摘要。分数不够时,系统不调用LLM。PostHog说,实际运行中有98.7%的摘要走了这条更轻的路线。
Slack(工作沟通服务)的机器人使用更高的阈值。它要先判断两件事:消息是不是在提问,PostHog能不能回答。两个分数都达到0.85以上,机器人才能回复。这样可以少打扰别人。涉及个人信息的任务,则要更重视漏掉问题的风险。
搜索也可以这样做。系统先找出可能相关的记录,再让决策模型检查是否真的匹配。20个测试查询中,搜索结果的排列约提高了25%。但是,多步推理仍然太难。复杂写作和需要很多背景的工作,更适合LLM。
所以,重点不是只选一种AI。简单判断交给决策模型,复杂工作交给LLM。每项任务都要自己测试。Hacker News上的热度只能说明有人讨论,不能代替准确性检查。
💬 决策模型可能有用,但先要做好测试
HN评论者认为,小而受限制的模型适合简单选择;但他们也提醒,测试做得不好,便宜的系统可能在真实环境中出错。
- 人们会把复杂事情说得简单,以节省力气。决策模型也只从批准的选项中选择,所以比生成式 LLM 更不容易编造意外答案。
- 有人认为它仍然属于某种 LLM 或分类器,因此“不是 LLM”可能只是换了名字。
- 如果团队不会做好评测,就可能换掉强大的 LLM,却没有发现准确率下降。一位评论者说,测试漏掉了p99客户,使用了不真实的合成数据,也漏测了日本客户、双语客户和特定设备。
- 同一位评论者自述,灯光或音乐控制曾失效,Samsung TV的问题约3个月才被发现,影响2%到3%的客户。这些是用户报告,并非独立验证的结果。
- 如果决策模型负责选择其他模型,它可能不了解新出现的模型。还有评论者认为,适合时应先用普通程序、正则表达式或计算器;另一些人则认为 LLM 能让人更容易使用计算机。
- 有评论者担心把客户数据放进这类系统,认为这像是在监视客户。
这是评论数为42时的初期(修订1)。获取42条,并从整体抽取42条总结。内容属于HN用户自述,并非编辑部核实的事实。
先问会说“是”或“不是”的AI
📰 完整报道: 不是每件事都要用大语言模型
简单的小问题,不必叫来会写长文章的AI。
决策模型(jué cè mó xíng)
只回答小问题的AI。
LLM(艾勒艾勒艾姆)
会写长文章的AI。
PostHog(一家做软件的公司)把AI分工。
决策模型(只回答小问题的AI)会说“是”或“不是”。 它也可以从几个答案里选一个。
LLM(会写长文章的AI)负责难问题。 这样,它不用每次都工作。
Replay Vision(把操作记录变短的工具)会先检查记录。 只有难的记录,才交给写文章的AI。
Hacker News(技术新闻社区)讨论了这篇文章。 有人关注,不等于一定正确。
简单问题用简单的AI。 难问题用会写文章的AI。 这就是它的意思。
💬 小小的选择器和大大的语言机器
大家在讨论:简单的事情能不能交给小工具。大家也提醒,小工具要先认真测试。
- 决策模型只能从短短的答案表里选,所以比较不容易说出奇怪的答案。有人认为,它可能只是换了名字的另一种 LLM。
- 如果测试不够,真实的灯、音乐或电视可能会坏掉。有人报告过电视问题持续约3个月,影响2%到3%的客户;这个报告没有被独立检查。
- 选择器可能不认识刚出现的新模型;有时普通程序或计算器就够用了。有人担心客户的私人数据,也有人觉得 LLM 能帮助人更容易使用电脑。
这是评论数为42时的初期(修订1)。获取42条,并从整体抽取42条总结。内容属于HN用户自述,并非编辑部核实的事实。
💬 HN 对决策模型、LLM 与评测的讨论
评论者认为,在简单选择上使用受约束的决策模型有道理;但他们也担心评测质量、术语定义、模型路由、新模型能力和客户数据问题。
这是评论数为42时的初期(修订1)。获取42条,并从整体抽取42条总结。内容属于HN用户自述,并非编辑部核实的事实。