LibreChatVultr Cloud Inference
Configureer Vultr Cloud Inference als een aangepast endpoint in LibreChat.
Vultr Cloud Inference bedient open modellen via een OpenAI-compatibele API.
Een API-sleutel verkrijgen
Maak een sleutel aan via de Vultr Cloud Inference console. Voeg deze toe aan je .env bestand:
VULTRINFERENCE_TOKEN=your-api-keyConfiguratie
Voeg het endpoint toe onder endpoints.custom in je librechat.yaml:
- name: 'Vultr Cloud Inference'
apiKey: '${VULTRINFERENCE_TOKEN}'
baseURL: 'https://api.vultrinference.com/v1/chat/completions'
models:
default: [
"llama2-7b-chat-Q5_K_M.gguf",
"llama2-13b-chat-Q5_K_M.gguf",
"mistral-7b-Q5_K_M.gguf",
"zephyr-7b-beta-Q5_K_M.gguf",
]
fetch: true
titleConvo: true
titleModel: "llama2-7b-chat-Q5_K_M.gguf"
modelDisplayLabel: "Vultr Cloud Inference"Opmerkingen
- Het voorbeeld bevat vier modellen die zijn geoptimaliseerd voor chat, voor het laatst bijgewerkt op 28 juni 2024.
- Alleen
llama2-7b-chat-Q5_K_M.ggufondersteunt momenteel het genereren van titels.
Hoe is deze gids?