流式请求对链路要求更高:任何一层缓冲或超时都会让内容半截停住。
| 症状 | 原因 |
|---|---|
| 等很久后一次性刷出全部内容 | 反向代理开了 proxy_buffering |
| 内容流到一半停住,连接保持 | 客户端解析 SSE 有误,或 data: [DONE] 未处理 |
| 60 秒左右断开 | 网关读超时默认值 |
| 偶发断流且无规律 | 网络抖动 / 移动网络切换 |
proxy_buffering off; proxy_cache off; proxy_read_timeout 300s;
stream: true 后要逐块读取 chunk.choices[0].delta.content,注意首块可能没有 content;TextDecoder 的分包边界,否则中文会被截断成乱码。with client.chat.completions.create(model=m, messages=msgs, stream=True) as s: for chunk in s: delta = chunk.choices[0].delta.content if delta: print(delta, end="", flush=True)
按实际生成的 token 计费,中断前已生成的部分会计费,重发会再次计费。
说明问题在链路对长连接的处理上(缓冲或超时),非流式请求一次性返回,绕开了这些限制。