场景实践 · 自动分类

分类器只要 8 个标签,不要 80 个

标签越多,边界越模糊,人工复核成本越高。先用 6–10 个标签覆盖 90% 的流量,长尾统一进「其他」。

标签体系设计

  • 互斥:尽量让每个样本只有一个正确标签,多标签会让评估变复杂;
  • 可判定:标签定义要能写成一句话,并给出 2 个正例、2 个反例;
  • 有动作:每个标签对应一个处理流程,没有动作的标签没有意义。

输出结构

schemajson
{
  "label": "退款申请",
  "confidence": 0.92,
  "reason": "提到订单号与退款诉求",
  "alternative": "售后咨询"
}

阈值与兜底

置信度动作
≥ 0.85自动路由
0.5–0.85路由 + 标记复核
< 0.5进「其他」,人工处理

注意:模型自报的 confidence 不是校准概率,阈值要用真实样本调整, 不能照搬默认值。

评估方法

取 200 条真实样本人工标注,算混淆矩阵;重点看「错分到高风险类别」的比例 (比如退款被分到普通咨询),这比总体准确率更重要。

常见问题

分类标签应该设多少个?

先用能覆盖主要业务的 6–10 个标签,长尾进「其他」;标签越多边界越模糊,复核成本越高。

模型返回的置信度能直接用吗?

不能直接当概率用,需要用真实样本校准并调整阈值后再接入自动路由。