场景 · 文档问答

文档问答:先解决检索,再谈模型

RAG 效果差,八成问题出在切块和检索,不在模型。小规模文档甚至可以不建向量库,直接全文匹配也能用。

链路

  1. 切块:按标题层级切,单块 300–800 字,保留标题作为上下文;
  2. 向量化:用 embedding 模型把块转成向量(需要分组里有 embedding 模型);
  3. 检索:问题向量化后取 Top-k,再按关键词匹配补一路(混合检索更稳);
  4. 拼接:把命中块按相关度排序放进提示词,并要求「只依据给定内容回答」;
  5. 兜底:没有命中时明确回答「文档里没有」,不要让它编。

轻量方案:不用向量库

文档总量在几百页以内时,用关键词(BM25 或简单的分词匹配)检索 + 大上下文模型,效果往往够用, 省掉向量库的运维成本。

关键提示词结构

系统提示词text
你是文档助手。只能依据【资料】回答,资料里没有的内容回答“文档中未提及”。
回答末尾附上引用的小节标题。

常见坑

  • 切块把表格切断:表格整块保留,必要时转成 Markdown;
  • Top-k 太大:无关内容会稀释注意力,k 取 3–5,配合重排序;
  • 不更新索引:文档改了要重建对应块的向量,否则答案永远是旧的。

常见问题

文档问答必须用向量数据库吗?

不一定。文档规模小(几百页内)时用关键词检索加大上下文模型即可;规模大了再引入向量检索。

RAG 答非所问是什么原因?

多数是切块过粗或检索精度不够,先把块切细、加标题上下文、改混合检索,再考虑换模型。