开发接入 · LlamaIndex

LlamaIndex 接入:LLM 和 Embedding 是两处配置

LlamaIndex 的索引依赖 embedding,查询依赖 LLM,两个都要指向中转站,否则会有一部分请求打到官方域名。

配置

setup.pypython
from llama_index.core import Settings
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.openai import OpenAIEmbedding

Settings.llm = OpenAILike(
    model="claude-sonnet-4-5",
    api_base="https://hardysapi.com/v1",
    api_key="sk-你的密钥",
    is_chat_model=True,
)
Settings.embed_model = OpenAIEmbedding(
    model="text-embedding-3-small",
    api_base="https://hardysapi.com/v1",
    api_key="sk-你的密钥",
)

建索引与查询

rag.pypython
from llama_index.core import SimpleDirectoryReader, VectorStoreIndex

docs = SimpleDirectoryReader("./docs").load_data()
index = VectorStoreIndex.from_documents(docs)
qe = index.as_query_engine(similarity_top_k=4)
print(qe.query("退换货政策是什么?"))

常见坑

  • 只配了 LLM:建索引时报 401,因为 embedding 还指向官方域名;
  • embedding 模型不存在:先确认分组里有 embedding 模型,否则换一个支持的分组;
  • OpenAILike 与 OpenAI 混用:前者用于非官方兼容端点,后者会带一些官方专属参数。

常见问题

LlamaIndex 报 401 但 LLM 能正常对话?

说明 embedding 没配置到中转站,OpenAIEmbedding 需要单独设置 api_base 与 api_key。

用 OpenAILike 还是 OpenAI?

接中转站建议 OpenAILike,避免发送官方专属参数导致 400。