当请求开头是同一大段内容(系统提示、知识库片段、代码文件)时,命中缓存的部分按更低的缓存价计费。关键是把「不变的」放前面,「变的」放后面。
messages = [
{"role": "system", "content": f"当前时间 {now}。你是客服助手……{long_kb}"},
{"role": "user", "content": q},
]
上面这段把时间戳放在最前面,导致每次前缀都不同,缓存永远不命中。改成:
messages = [
{"role": "system", "content": long_kb}, # 固定不变
{"role": "user", "content": f"[{now}] {q}"}, # 变化的部分放后面
]
命中缓存的部分按「缓存输入」单价计费,通常显著低于普通输入价。模型页里有单独的缓存输入列, 可对照 模型价格 确认。
不需要额外开关,按前缀匹配自动生效;要做的只是把固定内容放前面、变化内容放后面。
前缀里有时间戳、随机 ID 或每次不同的拼接内容,导致从第一处就不同,缓存无法复用。