Inférence Cloud Vultr

Configurer Vultr Cloud Inference en tant qu'endpoint personnalisé dans LibreChat.

Vultr Cloud Inference propose des modèles ouverts via une API compatible avec OpenAI.

Obtenir une clé API

Créez une clé depuis la console Vultr Cloud Inference. Ajoutez-la à votre fichier .env :

VULTRINFERENCE_TOKEN=your-api-key

Configuration

Ajoutez l'endpoint sous endpoints.custom dans votre librechat.yaml :

    - name: 'Vultr Cloud Inference'
      apiKey: '${VULTRINFERENCE_TOKEN}'
      baseURL: 'https://api.vultrinference.com/v1/chat/completions'
      models:
        default: [
          "llama2-7b-chat-Q5_K_M.gguf",
          "llama2-13b-chat-Q5_K_M.gguf",
          "mistral-7b-Q5_K_M.gguf",
          "zephyr-7b-beta-Q5_K_M.gguf",
        ]
        fetch: true
      titleConvo: true
      titleModel: "llama2-7b-chat-Q5_K_M.gguf"
      modelDisplayLabel: "Vultr Cloud Inference"

Notes

L'exemple liste quatre modèles optimisés pour le chat, mis à jour pour la dernière fois le 28 juin 2024.
Seul llama2-7b-chat-Q5_K_M.gguf prend actuellement en charge la génération de titres.

Que pensez-vous de ce guide ?