并发超过上游承载能力后,总耗时反而上升,因为一半请求在重试。先测出拐点,再把队列压在拐点以下。
从并发 1 开始翻倍(1/2/4/8/16),每档跑 50 个请求,记录:成功率、平均耗时、429 比例。 429 开始明显上升的那一档,就是你的可用上限。
import time, random def retry(fn, tries=4): for i in range(tries): try: return fn() except Exception as e: msg = str(e) if i == tries - 1 or ("429" not in msg and "503" not in msg): raise time.sleep(2 ** i + random.random())
先压测找到 429 开始上升的拐点,把常驻并发设在该拐点以下,并保留 20% 余量。
429、500、502、503、504 和网络超时;400、401、403、404 重试无意义。