开发接入 · Embedding

Embedding:一次请求一批,别一条一条发

embedding 接口支持批量输入,一次传几十条能显著降低延迟与开销。索引建好后要能增量更新,否则文档改了答案永远是旧的。

批量向量化

embed.pypython
from openai import OpenAI

client = OpenAI(api_key="sk-你的密钥", base_url="https://hardysapi.com/v1")

def embed(texts, batch=32):
    out = []
    for i in range(0, len(texts), batch):
        r = client.embeddings.create(model="text-embedding-3-small", input=texts[i:i+batch])
        out += [d.embedding for d in r.data]
    return out
search.pypython
import numpy as np

def search(q, mat, docs, k=5):
    qv = np.array(embed([q])[0])
    scores = mat @ qv / (np.linalg.norm(mat, axis=1) * np.linalg.norm(qv))
    idx = np.argsort(-scores)[:k]
    return [(docs[i], float(scores[i])) for i in idx]

索引运维

  • 把「块 ID + 文本哈希 + 向量」存库,文档变更时按哈希判断是否重算;
  • 换 embedding 模型必须全量重建,不同模型的向量不在同一空间;
  • 规模上万块后改用专业向量库(FAISS、pgvector),numpy 暴力搜索会变慢。
⚠️ 先确认你的分组里有 embedding 模型,否则 /v1/embeddings 会 404。

常见问题

embedding 一次能传多少条?

接口支持批量,建议每批 16–64 条,兼顾延迟与体积;具体上限以接口返回的错误提示为准。

换了 embedding 模型要重建索引吗?

必须重建,不同模型生成的向量不可混用,混用会导致检索结果完全错误。