改提示词最怕的不是改坏,而是改坏之后不知道。一套固定评估集 + 版本号,能挡住大部分退步。
classify@v3,与代码一起提交;新旧版本同时跑同一批样本,逐条比对差异,重点看旧版对、新版错的样本。 这类回归样本最有价值,应补进评估集。
| 指标 | 说明 |
|---|---|
| 格式合规率 | JSON 解析失败占比 |
| 任务准确率 | 评估集上的正确率 |
| 人工修正率 | 最贴近真实质量 |
| 平均 token / 延迟 | 成本与体验 |
需要。提示词放仓库或配置中心,带版本号与变更说明,才能回滚和定位线上问题。
用固定的评估集跑新旧两版,比对准确率、格式合规率与 token 消耗,重点检查旧版对新版错的回归样本。