Vultr Cloud Inference

在 LibreChat 中将 Vultr Cloud Inference 配置为自定义 endpoint。

Vultr Cloud Inference 通过兼容 OpenAI 的 API 提供开源模型。

获取 API key

从 Vultr Cloud Inference 控制台创建一个密钥。将其添加到你的 .env 文件中：

VULTRINFERENCE_TOKEN=your-api-key

配置

在你的 librechat.yaml 中，将 endpoint 添加到 endpoints.custom 下：

    - name: 'Vultr Cloud Inference'
      apiKey: '${VULTRINFERENCE_TOKEN}'
      baseURL: 'https://api.vultrinference.com/v1/chat/completions'
      models:
        default: [
          "llama2-7b-chat-Q5_K_M.gguf",
          "llama2-13b-chat-Q5_K_M.gguf",
          "mistral-7b-Q5_K_M.gguf",
          "zephyr-7b-beta-Q5_K_M.gguf",
        ]
        fetch: true
      titleConvo: true
      titleModel: "llama2-7b-chat-Q5_K_M.gguf"
      modelDisplayLabel: "Vultr Cloud Inference"

注意事项

该示例列出了四个针对聊天进行优化的模型，最后更新于 2024 年 6 月 28 日。
目前仅 llama2-7b-chat-Q5_K_M.gguf 支持标题生成。

这篇指南怎么样？