同一个产品里,80% 的请求是简单任务。把这部分路由到轻量档,成本能降一个数量级,体验几乎无感。
旗舰与轻量档的单价差通常在 10–30 倍。如果所有请求走旗舰,账单里大部分钱花在「本可以用小模型解决」的任务上。
| 环节 | 档位 | 理由 |
|---|---|---|
| 意图分类 | 轻量 | 输出极短,量大 |
| 知识库问答 | 中型 | 需要理解与组织语言 |
| 复杂工单分析 | 旗舰 | 少而难 |
| 自动回复润色 | 轻量 | 改写任务,质量要求可控 |
把「模型名」从代码里挪到配置或数据库,按场景键取模型,才能在不改代码的前提下换档。 单价随时可查 模型价格。
用级联:小模型输出不满足格式或校验失败时自动升级到大模型,只有少数请求会走到昂贵档。
固定提示词模板与输出格式校验,小模型失败就升级,用户侧感知保持一致。