不是所有内容都同等重要。裁剪顺序错了,答案质量会断崖式下降。
长上下文里,中间部分的内容更容易被忽略。重要资料放开头或结尾; 如果必须排在中间,在提示词里明确列一句「请重点参考第 3 段」。
1) 分块:按章节切,每块独立提取要点(Map) 2) 汇总:把各块要点合并成结构(Reduce) 3) 追问:需要细节时回到对应块再查一次
比一次性塞入全文更贵一点点,但结果稳定得多,也便于定位出处。
多轮对话的常见做法:保留最近 N 轮原文,更早的内容每 N 轮压缩成一段摘要。 摘要里必须保留:已确认的事实、用户偏好、未完成的任务。
不是。长上下文存在中间内容被忽略的问题,且输入 token 直接对应成本,仍应只放相关内容。
按章节分块提取要点再汇总(Map-Reduce),需要细节时回到原块查询,比一次性塞全文稳定。