链路
- 切块:按标题层级切,单块 300–800 字,保留标题作为上下文;
- 向量化:用 embedding 模型把块转成向量(需要分组里有 embedding 模型);
- 检索:问题向量化后取 Top-k,再按关键词匹配补一路(混合检索更稳);
- 拼接:把命中块按相关度排序放进提示词,并要求「只依据给定内容回答」;
- 兜底:没有命中时明确回答「文档里没有」,不要让它编。
轻量方案:不用向量库
文档总量在几百页以内时,用关键词(BM25 或简单的分词匹配)检索 + 大上下文模型,效果往往够用,
省掉向量库的运维成本。
关键提示词结构
系统提示词text
你是文档助手。只能依据【资料】回答,资料里没有的内容回答“文档中未提及”。
回答末尾附上引用的小节标题。
常见坑
- 切块把表格切断:表格整块保留,必要时转成 Markdown;
- Top-k 太大:无关内容会稀释注意力,k 取 3–5,配合重排序;
- 不更新索引:文档改了要重建对应块的向量,否则答案永远是旧的。
常见问题
文档问答必须用向量数据库吗?
不一定。文档规模小(几百页内)时用关键词检索加大上下文模型即可;规模大了再引入向量检索。
RAG 答非所问是什么原因?
多数是切块过粗或检索精度不够,先把块切细、加标题上下文、改混合检索,再考虑换模型。