提示词 · 参数

参数就三个,别一起乱调

temperature 和 top_p 一般只调一个;max_tokens 决定成本上限;penalty 类参数多数场景用不上。

temperature

控制随机性。0 最确定,越高越发散。

任务建议
分类、抽取、结构化输出0 – 0.2
代码生成0 – 0.3
一般对话、摘要0.3 – 0.7
创意写作、头脑风暴0.7 – 1.0

top_p

从概率最高的一批 token 里采样。默认 1;调低会收窄候选。 与 temperature 二选一调整,同时大幅调整容易得到难以复现的结果。

max_tokens

  • 它是输出上限,不是目标长度;
  • 设得太小会截断,表现为句子戛然而止;
  • 它不减少成本——成本按实际输出 token 计,但能防止失控长输出;
  • 部分推理模型的思考过程也占用输出额度,需要留足余量。

penalty 类

frequency_penalty / presence_penalty 用于减少重复, 但会干扰「必须重复固定术语」的任务(如标签、代码),多数生产场景保持默认 0。

参数不能弥补提示词缺陷:输出格式乱,先改提示词与结构化输出, 不要把 temperature 调到 0 当作万能药。

常见问题

temperature 和 top_p 要一起调吗?

不建议。一般只调 temperature,top_p 保持默认;两者同时大幅调整会让输出难以复现。

max_tokens 设小一点能省钱吗?

不能直接省钱,成本按实际输出计算;它的作用是防止失控长输出与截断保护。