提示词 · 工程

提示词不上版本管理,就没法判断改动好坏

改提示词最怕的不是改坏,而是改坏之后不知道。一套固定评估集 + 版本号,能挡住大部分退步。

最小实践

  1. 版本号:classify@v3,与代码一起提交;
  2. 变更说明:改了什么、为什么改、预期改善哪个指标;
  3. 固定评估集:50–200 条真实样本 + 标注答案,不随迭代变化;
  4. 每次改动跑一遍:记录准确率、格式合规率、平均 token、平均延迟。

A/B 对比

新旧版本同时跑同一批样本,逐条比对差异,重点看旧版对、新版错的样本。 这类回归样本最有价值,应补进评估集。

灰度与回滚

  • 新版本先接 5% 流量,观察格式错误率与人工复核率;
  • 配置化:提示词存数据库或配置中心,出问题能立刻切回旧版本;
  • 日志保留版本号,线上问题才能定位到具体版本。

该看哪些指标

指标说明
格式合规率JSON 解析失败占比
任务准确率评估集上的正确率
人工修正率最贴近真实质量
平均 token / 延迟成本与体验

常见问题

提示词需要和代码一起做版本管理吗?

需要。提示词放仓库或配置中心,带版本号与变更说明,才能回滚和定位线上问题。

怎么判断新提示词是否更好?

用固定的评估集跑新旧两版,比对准确率、格式合规率与 token 消耗,重点检查旧版对新版错的回归样本。