场景 · 文本分类

分类任务:标签集固定,模型越便宜越好

分类是所有任务里最不应该用旗舰模型的。标签集固定、每条输出极短,轻量档模型的准确率通常足够,单价差十几倍。

设计要点

  1. 标签集封闭:明确列出所有标签,禁止模型自创;
  2. 给边界示例:每个标签给 1–2 个易混例子,比长篇定义有效;
  3. 允许「不确定」:留一个 unknown 标签,避免强行分类;
  4. 输出极简:只输出标签字符串,减少输出 token。

提示词模板

提示词模板text
把下面的客服消息分类到【咨询 / 售后 / 投诉 / 闲聊 / unknown】之一。
只输出标签本身,不要解释。
示例:
"这个多少钱" → 咨询
"我的快递三天没动了" → 售后
"你们太差了,我要投诉" → 投诉

消息:{text}

怎么评估

  • 抽 200 条人工标注做基准,计算准确率与混淆矩阵;
  • 准确率不足时先改提示词与示例,再考虑升级模型;
  • 对 accuracy 不达标的标签,单独加规则或转人工。

成本

单条请求输入几百 token、输出几个 token,用最便宜的型号即可。十万条的量级成本通常在个位数元。 单价见 模型价格。

常见问题

分类用旗舰模型是不是更准?

标签集固定、边界清晰的分类任务,轻量档与旗舰档准确率差距很小,成本却差十几倍。先用 200 条样本验证。

模型老是自创标签怎么办?

在提示词里明确封闭标签集并给出示例,输出后做白名单校验,不在白名单内的一律记为 unknown。