先估算再裁剪
- 中文约 1 字符 ≈ 1 token,英文约 4 字符 ≈ 1 token;
- 图片按分辨率折算 token,高清截图很容易上千;
- 会话历史每轮都在累加,长对话必爆——这是最常见的原因。
四种处理
- 裁剪历史:只保留最近 N 轮 + 一条摘要,把早期内容压成一段话;
- 分块处理:长文档切块分别处理,再用一次调用汇总;
- 改用检索:知识库场景先检索相关片段再拼进 prompt,而不是整篇塞入;
- 换更大上下文的模型:确认该模型在你这分组里可用,且价格能接受。
顺带省钱
上下文越长,每次请求的输入 token 越多。把历史裁剪到必要范围,能同时解决报错与账单。
不同模型的单价对比见 模型价格。
客户端里的对应设置
- Cline / Roo Code:设置里的「上下文窗口」与「最大请求数」;
- LobeChat / Open WebUI:会话设置里的历史条数;
- 自己写的程序:在发请求前按 token 预算截断,而不是等报错。
常见问题
上下文超限会扣费吗?
被拒绝的请求没有产生输出,不扣费。
怎么快速知道当前请求有多大?
用 tiktoken 之类的库对 messages 做一次编码统计,或用响应里的 usage 字段反推上一轮的大小。