🤖 AI

GPT-6更会重复利用提示:让长时间运行的AI代理更快,也可能更省钱

约3分钟读完 Tiny Why编辑部 · 文:特派员 好奇

词语
提示缓存(tí shì huǎn cún)

把提示中重复的部分保存起来,之后再次使用。

缓存命中率(huǎn cún mìng zhòng lǜ)

所有请求中成功使用缓存的比例。

AI代理(AI dài lǐ)

可以连续完成多个步骤的AI系统。

发生了什么

OpenAI(开发GPT-6的公司)在2026年9月22日宣布,GPT-6的提示缓存有了改进。OpenAI公告说,符合条件的共同提示前缀可以在30分钟内重复使用。被缓存的输入令牌,最高可以享受九折优惠。

GPT-6面向需要长时间工作的AI代理。这些代理可以连续完成编程、研究、写文件或做演示文稿等任务。一个任务往往要发出许多次API请求。每次请求可能都带着相同的指令、工具说明和前面的对话内容。

背景:一次请求不只是一个问题

提示不只是用户刚刚问的那句话。它还可能包括工作规则、参考资料、工具说明和对话记录。如果应用每次都重新发送很长的开头,模型也可能反复处理相同内容。

提示缓存就是把这段重复的开头留下来,下一次继续使用。它不是让模型永久记住所有事情,而是在较短时间内重复利用符合条件的内容。如果只有后面的任务要求发生变化,前面的稳定内容仍然可以继续使用。这对分成许多步骤的AI代理尤其重要。

为什么重要

长时间运行的AI代理需要很多次模型请求。每次请求都会影响等待时间,也会带来新的输入处理费用。重复利用稳定内容,可以减少一部分等待和费用。它还可以让开发者更容易运行后台任务,或从同一段对话分出不同的工作。

这次更新的重点不只是更容易命中缓存。开发者还获得了查看和诊断工具。他们可以知道缓存到底用了多少,也可以查找为什么突然没有复用。

已经确认的功能

新的缓存仪表盘可以显示应用输入中有多少来自缓存。开发者可以观察命中率的变化,并比较缓存输入和没有缓存的输入。

诊断工具会把一次请求和最近的响应进行比较。它可以指出模型、工具、设置或输入发生了哪些变化,也会估算受影响的可复用令牌数量。

开发者可以放置明确的缓存断点,指定哪些提示前缀应该继续复用。GPT-6还允许开发者在不同响应之间改变推理力度,同时保留之前的缓存。做法是加入configuration_update,而不改动请求级别的推理设置。

OpenAI还建议保持工具定义、工具格式和排列顺序稳定。如果要补充新指令,可以把它们放到内容后面。开发者也可以在用户提出问题前,先准备好共同的指令和参考资料。

OpenAI介绍了几个早期结果。它说,GitHub Copilot需要重新处理的提示令牌比例,比过去的基准减少了50%以上。其他合作方也报告了命中率提高和费用下降。Manus的缓存命中率从约85%升到90%以上。Wordsmith则从83%升到91%,推理费用下降了36%。

还不知道什么

这些数字来自OpenAI和参与合作的公司,不是覆盖所有应用的独立测试。不同应用使用的提示、工具和任务长度都不同,所以结果可能差很多。

90%优惠只针对已经缓存的输入令牌。它不代表每个任务的总费用都会下降90%。如果重要内容发生变化,就可能出现缓存未命中。30分钟的限制也说明,这不是永久记忆。

接下来要看什么

开发者需要在自己的应用中测量缓存命中率、回答速度和实际账单。真正重要的问题是,这些控制功能能否让长时间运行的AI代理在日常工作中稳定地更快、更便宜。OpenAI的提示缓存指南给出了技术细节,实际效果仍要看不同应用的工作方式。

🤖 AI

GPT-6会重复利用旧提示,长任务可能更快

📰 完整报道: GPT-6更会重复利用提示:让长时间运行的AI代理更快,也可能更省钱

AI不必每次都重读同一段长说明,因此可能省下时间和输入费用。

约1分钟读完 Tiny Why编辑部 · 文:特派员 好奇

词语
提示缓存(tí shì huǎn cún)

把提示中没有变化的部分留下来再次使用。

缓存未命中(huǎn cún wèi mìng zhòng)

本来保存的提示内容这次没有成功使用。

缓存断点(huǎn cún duàn diǎn)

用来标出哪些提示内容可以继续保存的位置。

💡 一句话总结

  • OpenAI(开发GPT-6的公司)改进了提示缓存。
  • GPT-6可以重复利用提示中没有变化的部分。
  • 开发者现在能看到缓存为什么成功或失败。

提示就是发给AI的文字。里面可以有任务要求、工具说明和以前的对话。长任务需要多次请求AI。这样,同一段文字可能被重复发送很多次。

提示缓存会保存重复出现的开头。下一次内容相似时,GPT-6可以直接利用它。它不用每次都从头处理相同的文字。OpenAI说,缓存输入的费用最高可以便宜90%。这只是输入部分的优惠。整个任务不一定都会便宜90%。

缓存不是永久记忆。OpenAI说明,符合条件的内容可以在30分钟内继续使用。如果工具、设置或文字变了,缓存可能用不上。这叫缓存未命中。

开发者现在有一个查看页面。页面会显示有多少输入来自缓存。诊断工具还能说明失败原因。比如,工具顺序变了,或者请求里的文字变了。

开发者也能设置缓存断点。它表示从哪里开始保存、到哪里结束。GPT-6还可以在前后两次回答之间改变思考力度,同时尽量保留以前的缓存。

OpenAI介绍的合作案例显示,部分应用的缓存命中率提高了,费用也下降了。不过,这些不是所有应用都能得到的结果。每个应用的提示和工具都不一样。

接下来,开发者要自己测量速度、命中率和账单。这个更新主要是在减少重复劳动,不是让每个问题都变得免费。

OpenAI的说明还介绍了更多功能。

🤖 AI

GPT-6可以再用以前的小纸条

📰 完整报道: GPT-6更会重复利用提示:让长时间运行的AI代理更快,也可能更省钱

GPT-6收到同样的长说明时,可以少读一些重复的内容。

约1分钟读完 Tiny Why编辑部 · 文:特派员 好奇

词语
GPT-6(G P T six)

会读文字并回答问题的电脑系统。

提示词(tí shì cí)

告诉AI要做什么的话。

缓存(huǎn cún)

放着以前说明的小地方。

OpenAI(做GPT-6的公司)给它加了一个小帮手。公告

GPT-6(会读话和回答的电脑)常常会收到长说明。 说明就是告诉它要做什么的话。 这叫提示词。

GPT-6可以把重复的前面一段放在旁边。 这个小地方叫缓存。 缓存就像放纸条的小架子。

下一次又来同样的说明,它可以拿来用。 如果在30分钟内再来,可能更容易用上。 这样,它不用从头再读一遍。 回答可能会更快。 读入文字的钱最多可以少90%。

这不是一直记住所有东西。 说明改了,纸条可能不能用。 OpenAI还做了一个查看窗口。 它能告诉大人,纸条有没有用上。

所以,AI做长工作时,可以少做重复的事情。

来源