LibreChatGroq
在 LibreChat 中将 Groq 配置为自定义 endpoint。
Groq 在其 LPU 推理硬件上运行诸如 Llama 和 Mixtral 之类的开源模型，并通过与 OpenAI 兼容的 API 提供服务，您可以将其作为自定义 endpoint 添加到 LibreChat 中。
获取 API key
在 Groq console 创建一个密钥。将其添加到你的 .env 文件中：
GROQ_API_KEY=your-api-key配置
在你的 librechat.yaml 中，将 endpoint 添加到 endpoints.custom 下：
- name: "groq"
apiKey: "${GROQ_API_KEY}"
baseURL: "https://api.groq.com/openai/v1/"
models:
default: [
"llama3-70b-8192",
"llama3-8b-8192",
"llama2-70b-4096",
"mixtral-8x7b-32768",
"gemma-7b-it",
]
fetch: false
titleConvo: true
titleModel: "mixtral-8x7b-32768"
modelDisplayLabel: "groq"注意事项
0的 temperature 会被转换为1e-8。如果遇到问题，请使用大于 0 且最大为 2 的浮点数。- Groq 是免费的，但限制为每分钟 10 次查询和每小时 100 次查询。
这篇指南怎么样？