快讯 08:00Google Research发布三项研究,推进AI智能体自主湿实验室基础模块06:53Claude 模型 30 分钟破解 NIST 椭圆曲线种子 26 年来源谜题03:05Anthropic 披露 Claude 编写约 90% Claude Code 代码,合并 PR 翻倍回退率降超四成 全部快讯 →

每日快讯

大厂动态 · 融资事件 · 政策监管 · 前沿论文 · Agent 抓取 + 智能改写,每日 40+ 条

大厂 09-23 · 星期三 · 09-23 05:00 约 1 分钟读完

OpenAI 为 GPT-6 升级提示词缓存,复用前缀最高可享九折输入优惠

摘要

OpenAI 面向 GPT-6 系列推出改进的提示词缓存系统与配套诊断工具,默认提升缓存命中率。在 30 分钟窗口内复用的合格共享前缀,可获得最高 90% 的缓存输入 token 折扣,有望降低高频调用场景的推理成本。

OpenAI 近日针对 GPT-6 系列模型更新了提示词缓存机制,并同步上线了一套诊断工具,用于帮助开发者观察缓存的实际运作情况。与此前版本相比,新系统在默认状态下即可获得更高的缓存命中率,开发者无需额外配置即可受益。

根据官方披露的信息,此次缓存优化的核心在于对共享前缀的复用判定。当请求中包含符合条件的共享前缀,且该前缀在 30 分钟的时间窗口内被重复使用时,系统会将其识别为可缓存内容,并对其对应的缓存输入 token 提供折扣。

折扣力度是本次更新中最受关注的数字:符合条件的缓存输入 token 最高可享受 90% 的价格减免。这意味着在长系统提示词、固定上下文或高频重复调用等场景下,输入侧的成本结构可能发生明显变化。

配套推出的诊断工具则补上了可观测性这一环。开发者可借助该工具排查缓存未命中的原因,进而调整提示词结构或调用节奏,以更充分地利用这一折扣机制。对于将 GPT-6 用于生产环境的团队而言,缓存命中率的提升直接关系到单位请求的支出与响应效率。

OpenAIGPT-6提示词缓存推理成本
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
23
模型产品档案
60
企业落地案例
13
完整版提示词