Groq | LibreChat

Groq

在 LibreChat 中将 Groq 配置为自定义 endpoint。

Groq 在其 LPU 推理硬件上运行诸如 Llama 和 Mixtral 之类的开源模型，并通过与 OpenAI 兼容的 API 提供服务，您可以将其作为自定义 endpoint 添加到 LibreChat 中。

获取 API key

在 Groq console 创建一个密钥。将其添加到你的 .env 文件中：

GROQ_API_KEY=your-api-key

配置

在你的 librechat.yaml 中，将 endpoint 添加到 endpoints.custom 下：

    - name: "groq"
      apiKey: "${GROQ_API_KEY}"
      baseURL: "https://api.groq.com/openai/v1/"
      models:
        default: [
          "llama3-70b-8192",
          "llama3-8b-8192",
          "llama2-70b-4096",
          "mixtral-8x7b-32768",
          "gemma-7b-it",
          ]
        fetch: false
      titleConvo: true
      titleModel: "mixtral-8x7b-32768"
      modelDisplayLabel: "groq"

注意事项

0 的 temperature 会被转换为 1e-8。如果遇到问题，请使用大于 0 且最大为 2 的浮点数。
Groq 是免费的，但限制为每分钟 10 次查询和每小时 100 次查询。

这篇指南怎么样？