Inferencia en la nube de Vultr

Configurar Vultr Cloud Inference como un endpoint personalizado en LibreChat.

Vultr Cloud Inference sirve modelos abiertos a través de una API compatible con OpenAI.

Obtener una API key

Cree una clave desde la consola de Vultr Cloud Inference. Añádala a su archivo .env:

VULTRINFERENCE_TOKEN=your-api-key

Configuración

Agregue el endpoint bajo endpoints.custom en su librechat.yaml:

    - name: 'Vultr Cloud Inference'
      apiKey: '${VULTRINFERENCE_TOKEN}'
      baseURL: 'https://api.vultrinference.com/v1/chat/completions'
      models:
        default: [
          "llama2-7b-chat-Q5_K_M.gguf",
          "llama2-13b-chat-Q5_K_M.gguf",
          "mistral-7b-Q5_K_M.gguf",
          "zephyr-7b-beta-Q5_K_M.gguf",
        ]
        fetch: true
      titleConvo: true
      titleModel: "llama2-7b-chat-Q5_K_M.gguf"
      modelDisplayLabel: "Vultr Cloud Inference"

Notas

El ejemplo enumera cuatro modelos optimizados para chat, actualizados por última vez el 28 de junio de 2024.
Solo llama2-7b-chat-Q5_K_M.gguf admite actualmente la generación de títulos.

¿Qué te parece esta guía?