标签越多,边界越模糊,人工复核成本越高。先用 6–10 个标签覆盖 90% 的流量,长尾统一进「其他」。
{
"label": "退款申请",
"confidence": 0.92,
"reason": "提到订单号与退款诉求",
"alternative": "售后咨询"
}
| 置信度 | 动作 |
|---|---|
| ≥ 0.85 | 自动路由 |
| 0.5–0.85 | 路由 + 标记复核 |
| < 0.5 | 进「其他」,人工处理 |
注意:模型自报的 confidence 不是校准概率,阈值要用真实样本调整, 不能照搬默认值。
取 200 条真实样本人工标注,算混淆矩阵;重点看「错分到高风险类别」的比例 (比如退款被分到普通咨询),这比总体准确率更重要。
先用能覆盖主要业务的 6–10 个标签,长尾进「其他」;标签越多边界越模糊,复核成本越高。
不能直接当概率用,需要用真实样本校准并调整阈值后再接入自动路由。