LibreChatVultr Cloud Inference
在 LibreChat 中将 Vultr Cloud Inference 配置为自定义 endpoint。
Vultr Cloud Inference 通过兼容 OpenAI 的 API 提供开源模型。
获取 API key
从 Vultr Cloud Inference 控制台创建一个密钥。将其添加到你的 .env 文件中：
VULTRINFERENCE_TOKEN=your-api-key配置
在你的 librechat.yaml 中，将 endpoint 添加到 endpoints.custom 下：
- name: 'Vultr Cloud Inference'
apiKey: '${VULTRINFERENCE_TOKEN}'
baseURL: 'https://api.vultrinference.com/v1/chat/completions'
models:
default: [
"llama2-7b-chat-Q5_K_M.gguf",
"llama2-13b-chat-Q5_K_M.gguf",
"mistral-7b-Q5_K_M.gguf",
"zephyr-7b-beta-Q5_K_M.gguf",
]
fetch: true
titleConvo: true
titleModel: "llama2-7b-chat-Q5_K_M.gguf"
modelDisplayLabel: "Vultr Cloud Inference"注意事项
- 该示例列出了四个针对聊天进行优化的模型，最后更新于 2024 年 6 月 28 日。
- 目前仅
llama2-7b-chat-Q5_K_M.gguf支持标题生成。
这篇指南怎么样？