场景实践 · 表格处理

表格批量处理:别一次性把整张表塞进去

模型适合处理「单行或单块的语义判断」,不适合做聚合计算。正确做法是:表格里加一列,逐行调用,再把结果写回。

先分块

每行数据独立处理,可以把「行 ID」一起发过去,返回时带回来做对齐:

输入结构json
{"id": "row-001", "title": "蓝牙耳机 降噪", "price": "199"}

需要跨行理解的内容(如同一订单的多条明细)再按业务主键聚合后再发。

断点续跑

batch.pypython
import json, csv, time
from openai import OpenAI

client = OpenAI(api_key=KEY, base_url="https://hardysapi.com/v1")
rows = list(csv.DictReader(open("in.csv", encoding="utf-8")))
done = {json.loads(l)["id"] for l in open("out.jsonl", encoding="utf-8")}

with open("out.jsonl", "a", encoding="utf-8") as f:
    for r in rows:
        if r["id"] in done:
            continue
        for attempt in range(3):
            try:
                resp = client.chat.completions.create(
                    model="glm-4.6", temperature=0,
                    response_format={"type": "json_object"},
                    messages=[
                        {"role": "system", "content": SYS},
                        {"role": "user", "content": json.dumps(r, ensure_ascii=False)},
                    ])
                f.write(json.dumps(json.loads(resp.choices[0].message.content), ensure_ascii=False) + "\n")
                f.flush()
                break
            except Exception as e:
                time.sleep(2 ** attempt)
        else:
            f.write(json.dumps({"id": r["id"], "error": "failed"}) + "\n")

质量三道关

  1. 格式:用 json_object 模式 + 必填字段校验,缺字段视为失败;
  2. 枚举:让模型只在给定标签里选,返回其它值就丢;
  3. 抽检:随机抽 50–100 条人工核对,估算错误率再决定要不要全量复核。
成本提示:表格任务的输出通常很短,输入长度才是成本大头。 在提示词里去掉无关列,成本可能直接减半。

常见问题

一次性把整张表发给模型行不行?

行数多时会超出上下文且难以对齐;逐行或按业务主键分块发送,返回结果带行 ID,才能可靠回写。

批量任务怎么控制成本?

只发送必要列、使用轻量档模型、用 json_object 限制输出长度,并先跑 100 行样本估算总成本。