LiteLLM Proxy 中转站详情

开源 LLM 网关/代理层，可把多家模型统一成 OpenAI 风格接口，适合希望自建中转、自己掌握 Key 和日志的团队。

适合人群：适合有运维能力、希望掌握 API Key、日志、路由和权限的开发团队。

当前状态

自建

延迟参考

自建部署决定

/models 检测

自建配置

最近核验

2026-07-01

状态说明

开源代理层，实际延迟和可用性取决于部署环境与底层供应商。

价格模式

开源自建，成本来自服务器与底层模型供应商。

价格标签

高稳定性、自建

免费额度

无统一免费额度，取决于接入的供应商

通常需要在平台控制台创建 API Key，然后按文档替换 SDK 的 baseURL、模型名和鉴权信息。上线前请测试流式输出、函数调用、错误码和限流规则。

import OpenAI from "openai";

const client = new OpenAI({
  apiKey: process.env.AI_GATEWAY_API_KEY,
  baseURL: "以平台文档为准"
});

const response = await client.chat.completions.create({
  model: "gpt-4.1-mini",
  messages: [{ role: "user", content: "测试一次 AI 中转站调用。" }]
});

• 支持模型：OpenAI、Claude、Gemini、DeepSeek、Grok、Qwen、Moonshot、Doubao 等。
• 能力覆盖：兼容 OpenAI API、支持流式输出、支持函数调用、支持 Embedding、支持日志查询。
• 文档完整度：高；稳定性编辑评分 4.0 / 5。

• 自建需要承担运维、安全、限流和密钥保管责任；个人用户上手成本较高。
• 第三方中转的价格、模型和可用性可能变化，需要定期复核。

LiteLLM Proxy 是否兼容 OpenAI API？

当前条目标注为支持 OpenAI API 兼容格式，但具体 base_url、模型名和参数仍需以官方文档为准。

LiteLLM Proxy 适合生产环境吗？

需要先做小流量压测、限流测试、错误码测试和账单规则确认；重要业务建议保留备用供应商。