LibreChat is joining ClickHouse to power the open-source Agentic Data Stack 🎉 Learn more
LibreChat
KonfiguracjaLibreChat YAMLPunkty końcowe AIVultr Cloud Inference

Vultr Cloud Inference

Skonfiguruj Vultr Cloud Inference jako niestandardowy endpoint w LibreChat.

Vultr Cloud Inference udostępnia otwarte modele poprzez API kompatybilne z OpenAI.

Uzyskaj klucz API

Utwórz klucz z konsoli Vultr Cloud Inference. Dodaj go do swojego pliku .env:

VULTRINFERENCE_TOKEN=your-api-key

Konfiguracja

Dodaj endpoint w sekcji endpoints.custom w swoim librechat.yaml:

    - name: 'Vultr Cloud Inference'
      apiKey: '${VULTRINFERENCE_TOKEN}'
      baseURL: 'https://api.vultrinference.com/v1/chat/completions'
      models:
        default: [
          "llama2-7b-chat-Q5_K_M.gguf",
          "llama2-13b-chat-Q5_K_M.gguf",
          "mistral-7b-Q5_K_M.gguf",
          "zephyr-7b-beta-Q5_K_M.gguf",
        ]
        fetch: true
      titleConvo: true
      titleModel: "llama2-7b-chat-Q5_K_M.gguf"
      modelDisplayLabel: "Vultr Cloud Inference"

Uwagi

  • Przykład zawiera listę czterech modeli zoptymalizowanych pod kątem czatu, ostatnio zaktualizowaną 28 czerwca 2024 r.
  • Obecnie tylko llama2-7b-chat-Q5_K_M.gguf obsługuje generowanie tytułów.

Jaka jest ta instrukcja?

Edytuj na GitHub

vLLM

Skonfiguruj vLLM jako niestandardowy endpoint w LibreChat.

xAI

Skonfiguruj xAI jako niestandardowy endpoint w LibreChat.

Na tej stronie

Uzyskaj klucz APIKonfiguracjaUwagi