场景 · 多模型路由

多模型路由:让一个模型挂了不影响业务

把模型名写死在代码里,换一次就要发版。把「场景 → 模型候选列表」做成配置,降级和换档都变成改配置。

路由表

config.yamlyaml
routes:
  classify:      [qwen-turbo, deepseek-v4-flash]
  chat:          [claude-sonnet-4-5, gpt-5.5, deepseek-v4-pro]
  code:          [claude-sonnet-4-5, gpt-5.5]
  long-doc:      [claude-sonnet-4-5, gemini-3-flash]

调用逻辑

  1. 取第一个候选,发起请求;
  2. 遇到 404 / 503 / 持续 429 → 换下一个候选;
  3. 遇到 400 / 401 / 403 → 不要换模型,是参数或权限问题;
  4. 记录实际使用的模型与耗时,用于后续调价与调序。

实现骨架

Pythonpython
def ask(scene, msgs):
    for m in ROUTES[scene]:
        try:
            return call(m, msgs)
        except Retryable as e:
            log.warning("%s 失败,换下一个:%s", m, e)
    raise AllFailed(scene)

注意

  • 不同模型的输出格式可能不同,提示词要写得更结构化;
  • 降级后成本可能变化,路由时应记录实际单价;
  • 不要把降级做成静默——至少记日志,否则质量下降无从定位。

常见问题

多模型路由会不会导致输出不一致?

会有差异。用结构化输出约束格式,并对关键字段做校验,必要时只允许同档位模型互相降级。

应该在什么错误下切换模型?

404、503 以及持续的 429 可以切换;400、401、403 是请求本身的问题,换模型无效。