LibreChatVultr Cloud Inference
Konfigurieren Sie Vultr Cloud Inference als benutzerdefinierten endpoint in LibreChat.
Vultr Cloud Inference stellt offene Modelle über eine OpenAI-kompatible API bereit.
Einen API-Schlüssel erhalten
Erstellen Sie einen Schlüssel über die Vultr Cloud Inference Konsole. Fügen Sie ihn Ihrer .env Datei hinzu:
VULTRINFERENCE_TOKEN=your-api-keyKonfiguration
Fügen Sie den endpoint unter endpoints.custom in Ihrer librechat.yaml hinzu:
- name: 'Vultr Cloud Inference'
apiKey: '${VULTRINFERENCE_TOKEN}'
baseURL: 'https://api.vultrinference.com/v1/chat/completions'
models:
default: [
"llama2-7b-chat-Q5_K_M.gguf",
"llama2-13b-chat-Q5_K_M.gguf",
"mistral-7b-Q5_K_M.gguf",
"zephyr-7b-beta-Q5_K_M.gguf",
]
fetch: true
titleConvo: true
titleModel: "llama2-7b-chat-Q5_K_M.gguf"
modelDisplayLabel: "Vultr Cloud Inference"Hinweise
- Das Beispiel listet vier für den Chat optimierte Modelle auf, zuletzt aktualisiert am 28. Juni 2024.
- Derzeit unterstützt nur
llama2-7b-chat-Q5_K_M.ggufdie Titelgenerierung.
Wie finden Sie diese Anleitung?