Groq 中转站详情

Groq 是面向高速推理的海外 API 平台，常用于 Llama、Mixtral、Gemma 等开源模型的低延迟调用。

适合人群：适合实时聊天、语音链路、低延迟原型和开源模型推理测试。

当前状态

需自测

延迟参考

自建部署决定

/models 检测

以平台文档为准

最近核验

待核验

状态说明

建议上线前自行测试文本、流式输出、错误码和限流规则。

价格模式

按模型和 token 用量计费，免费层、限流和价格以 Groq 控制台为准。

价格标签

低价、注册送额度、按量计费

免费额度

可能提供免费层，以官方后台为准

通常需要在平台控制台创建 API Key，然后按文档替换 SDK 的 baseURL、模型名和鉴权信息。上线前请测试流式输出、函数调用、错误码和限流规则。

import OpenAI from "openai";

const client = new OpenAI({
  apiKey: process.env.AI_GATEWAY_API_KEY,
  baseURL: "以平台文档为准"
});

const response = await client.chat.completions.create({
  model: "Llama",
  messages: [{ role: "user", content: "测试一次 AI 中转站调用。" }]
});

• 支持模型：Llama、Qwen。
• 能力覆盖：兼容 OpenAI API、支持流式输出、支持函数调用。
• 文档完整度：高；稳定性编辑评分 4.3 / 5。

• 模型覆盖偏开源生态；国内网络、速率限制和企业支持需要单独验证。
• 第三方中转的价格、模型和可用性可能变化，需要定期复核。

Groq 是否兼容 OpenAI API？

当前条目标注为支持 OpenAI API 兼容格式，但具体 base_url、模型名和参数仍需以官方文档为准。

Groq 适合生产环境吗？

需要先做小流量压测、限流测试、错误码测试和账单规则确认；重要业务建议保留备用供应商。