报错排查 · 流式

流式中断:内容只出来一半

流式请求对链路要求更高:任何一层缓冲或超时都会让内容半截停住。

症状对照

症状原因
等很久后一次性刷出全部内容反向代理开了 proxy_buffering
内容流到一半停住,连接保持客户端解析 SSE 有误,或 data: [DONE] 未处理
60 秒左右断开网关读超时默认值
偶发断流且无规律网络抖动 / 移动网络切换

自建反代必改的三项

nginxnginx
proxy_buffering off;
proxy_cache off;
proxy_read_timeout 300s;

客户端侧

  • OpenAI SDK 设置 stream: true 后要逐块读取 chunk.choices[0].delta.content,注意首块可能没有 content;
  • 断流后不要整段重发,记录已收到的文本按需续写;
  • 浏览器里用 fetch 读流要处理 TextDecoder 的分包边界,否则中文会被截断成乱码。
正确的流式读取(Python)python
with client.chat.completions.create(model=m, messages=msgs, stream=True) as s:
    for chunk in s:
        delta = chunk.choices[0].delta.content
        if delta:
            print(delta, end="", flush=True)

常见问题

流式输出中断会重复扣费吗?

按实际生成的 token 计费,中断前已生成的部分会计费,重发会再次计费。

为什么关闭流式就好了?

说明问题在链路对长连接的处理上(缓冲或超时),非流式请求一次性返回,绕开了这些限制。