LibreChatVultr Cloud Inference
Configura Vultr Cloud Inference come endpoint personalizzato in LibreChat.
Vultr Cloud Inference fornisce modelli aperti tramite un'API compatibile con OpenAI.
Ottieni una API key
Crea una chiave dalla console di Vultr Cloud Inference. Aggiungila al tuo file .env:
VULTRINFERENCE_TOKEN=your-api-keyConfigurazione
Aggiungi l'endpoint sotto endpoints.custom nel tuo librechat.yaml:
- name: 'Vultr Cloud Inference'
apiKey: '${VULTRINFERENCE_TOKEN}'
baseURL: 'https://api.vultrinference.com/v1/chat/completions'
models:
default: [
"llama2-7b-chat-Q5_K_M.gguf",
"llama2-13b-chat-Q5_K_M.gguf",
"mistral-7b-Q5_K_M.gguf",
"zephyr-7b-beta-Q5_K_M.gguf",
]
fetch: true
titleConvo: true
titleModel: "llama2-7b-chat-Q5_K_M.gguf"
modelDisplayLabel: "Vultr Cloud Inference"Note
- L'esempio elenca quattro modelli ottimizzati per la chat, aggiornati l'ultima volta il 28 giugno 2024.
- Solo
llama2-7b-chat-Q5_K_M.ggufsupporta attualmente la generazione dei titoli.
Com’è questa guida?