选型 · 分档策略

别用旗舰模型做所有事:三档模型路由

同一个产品里,80% 的请求是简单任务。把这部分路由到轻量档,成本能降一个数量级,体验几乎无感。

为什么分档

旗舰与轻量档的单价差通常在 10–30 倍。如果所有请求走旗舰,账单里大部分钱花在「本可以用小模型解决」的任务上。

分档路由的三种做法

  1. 按入口分:不同功能模块直接绑不同模型(客服问答用中型,翻译用轻量);
  2. 按长度分:短请求走轻量,长文档走旗舰;
  3. 按结果分:先小模型试,置信度低或返回格式错误时升级到旗舰(级联)。

一个业务的分档示例

环节档位理由
意图分类轻量输出极短,量大
知识库问答中型需要理解与组织语言
复杂工单分析旗舰少而难
自动回复润色轻量改写任务,质量要求可控

实现建议

把「模型名」从代码里挪到配置或数据库,按场景键取模型,才能在不改代码的前提下换档。 单价随时可查 模型价格。

常见问题

小模型效果不够怎么办?

用级联:小模型输出不满足格式或校验失败时自动升级到大模型,只有少数请求会走到昂贵档。

分档后如何保证体验一致?

固定提示词模板与输出格式校验,小模型失败就升级,用户侧感知保持一致。