场景 · 并发

并发不是越大越快:先压测,再定队列

并发超过上游承载能力后,总耗时反而上升,因为一半请求在重试。先测出拐点,再把队列压在拐点以下。

找到拐点

从并发 1 开始翻倍(1/2/4/8/16),每档跑 50 个请求,记录:成功率、平均耗时、429 比例。 429 开始明显上升的那一档,就是你的可用上限。

队列设计

  1. 固定 worker 数(不要无界 fork),队列满时背压到上游;
  2. 单请求超时设 60–120s,长任务改流式;
  3. 失败进重试队列,带指数退避与最大次数;
  4. 幂等 key 落盘,避免重复计费。

带退避的重试

Pythonpython
import time, random

def retry(fn, tries=4):
    for i in range(tries):
        try:
            return fn()
        except Exception as e:
            msg = str(e)
            if i == tries - 1 or ("429" not in msg and "503" not in msg):
                raise
            time.sleep(2 ** i + random.random())

常见坑

  • 重试不加抖动:所有 worker 同时重试会形成尖峰;
  • 流式请求占用连接:长连接会挤占并发槽位,长输出任务要单独排队;
  • 把 5xx 当不可重试:502/503/504 通常可重试,400/401/403 不要重试。

常见问题

并发开多少合适?

先压测找到 429 开始上升的拐点,把常驻并发设在该拐点以下,并保留 20% 余量。

哪些错误应该重试?

429、500、502、503、504 和网络超时;400、401、403、404 重试无意义。