Vultr Cloud Inference

Konfigurieren Sie Vultr Cloud Inference als benutzerdefinierten endpoint in LibreChat.

Vultr Cloud Inference stellt offene Modelle über eine OpenAI-kompatible API bereit.

Einen API-Schlüssel erhalten

Erstellen Sie einen Schlüssel über die Vultr Cloud Inference Konsole. Fügen Sie ihn Ihrer .env Datei hinzu:

VULTRINFERENCE_TOKEN=your-api-key

Konfiguration

Fügen Sie den endpoint unter endpoints.custom in Ihrer librechat.yaml hinzu:

    - name: 'Vultr Cloud Inference'
      apiKey: '${VULTRINFERENCE_TOKEN}'
      baseURL: 'https://api.vultrinference.com/v1/chat/completions'
      models:
        default: [
          "llama2-7b-chat-Q5_K_M.gguf",
          "llama2-13b-chat-Q5_K_M.gguf",
          "mistral-7b-Q5_K_M.gguf",
          "zephyr-7b-beta-Q5_K_M.gguf",
        ]
        fetch: true
      titleConvo: true
      titleModel: "llama2-7b-chat-Q5_K_M.gguf"
      modelDisplayLabel: "Vultr Cloud Inference"

Hinweise

Das Beispiel listet vier für den Chat optimierte Modelle auf, zuletzt aktualisiert am 28. Juni 2024.
Derzeit unterstützt nur llama2-7b-chat-Q5_K_M.gguf die Titelgenerierung.

Wie finden Sie diese Anleitung?