报错排查 · 上下文

上下文超限:不是模型不行,是塞太多

报 context_length_exceeded 或「maximum context length」时,要做的是减少 token,而不是换模型。

先估算再裁剪

  • 中文约 1 字符 ≈ 1 token,英文约 4 字符 ≈ 1 token;
  • 图片按分辨率折算 token,高清截图很容易上千;
  • 会话历史每轮都在累加,长对话必爆——这是最常见的原因。

四种处理

  1. 裁剪历史:只保留最近 N 轮 + 一条摘要,把早期内容压成一段话;
  2. 分块处理:长文档切块分别处理,再用一次调用汇总;
  3. 改用检索:知识库场景先检索相关片段再拼进 prompt,而不是整篇塞入;
  4. 换更大上下文的模型:确认该模型在你这分组里可用,且价格能接受。

顺带省钱

上下文越长,每次请求的输入 token 越多。把历史裁剪到必要范围,能同时解决报错与账单。 不同模型的单价对比见 模型价格。

客户端里的对应设置

  • Cline / Roo Code:设置里的「上下文窗口」与「最大请求数」;
  • LobeChat / Open WebUI:会话设置里的历史条数;
  • 自己写的程序:在发请求前按 token 预算截断,而不是等报错。

常见问题

上下文超限会扣费吗?

被拒绝的请求没有产生输出,不扣费。

怎么快速知道当前请求有多大?

用 tiktoken 之类的库对 messages 做一次编码统计,或用响应里的 usage 字段反推上一轮的大小。