场景 · 提示词缓存

提示词缓存:同样的前缀不要重复付钱

当请求开头是同一大段内容(系统提示、知识库片段、代码文件)时,命中缓存的部分按更低的缓存价计费。关键是把「不变的」放前面,「变的」放后面。

命中条件

  • 请求前缀完全相同(逐 token 一致),从第一处不同开始失效;
  • 因此系统提示、工具定义、固定知识片段要放在最前面;
  • 用户问题、时间戳、随机 ID 一律放最后,否则每次都不命中。

最常见的反例

不会命中python
messages = [
  {"role": "system", "content": f"当前时间 {now}。你是客服助手……{long_kb}"},
  {"role": "user", "content": q},
]

上面这段把时间戳放在最前面,导致每次前缀都不同,缓存永远不命中。改成:

会命中python
messages = [
  {"role": "system", "content": long_kb},          # 固定不变
  {"role": "user", "content": f"[{now}] {q}"},  # 变化的部分放后面
]

计费方式

命中缓存的部分按「缓存输入」单价计费,通常显著低于普通输入价。模型页里有单独的缓存输入列, 可对照 模型价格 确认。

什么时候没用

  • 每次请求内容都不同(一次性问答)——没有可复用的前缀;
  • 上游渠道不支持缓存——价格表里缓存列为空时说明该分组按普通输入价计费。

常见问题

提示词缓存需要额外配置吗?

不需要额外开关,按前缀匹配自动生效;要做的只是把固定内容放前面、变化内容放后面。

为什么我的缓存命中率是 0?

前缀里有时间戳、随机 ID 或每次不同的拼接内容,导致从第一处就不同,缓存无法复用。