LibreChatVultr Cloud Inference
Vultr Cloud Inference'ı LibreChat'te özel bir endpoint olarak yapılandırın.
Vultr Cloud Inference, açık modelleri OpenAI uyumlu bir API aracılığıyla sunar.
Bir API anahtarı alın
Vultr Cloud Inference konsolundan bir anahtar oluşturun. Bunu .env dosyanıza ekleyin:
VULTRINFERENCE_TOKEN=your-api-keyYapılandırma
librechat.yaml dosyanızda endpoints.custom altına endpoint'i ekleyin:
- name: 'Vultr Cloud Inference'
apiKey: '${VULTRINFERENCE_TOKEN}'
baseURL: 'https://api.vultrinference.com/v1/chat/completions'
models:
default: [
"llama2-7b-chat-Q5_K_M.gguf",
"llama2-13b-chat-Q5_K_M.gguf",
"mistral-7b-Q5_K_M.gguf",
"zephyr-7b-beta-Q5_K_M.gguf",
]
fetch: true
titleConvo: true
titleModel: "llama2-7b-chat-Q5_K_M.gguf"
modelDisplayLabel: "Vultr Cloud Inference"Notlar
- Örnek, sohbet için optimize edilmiş ve son güncellemesi 28 Haziran 2024 tarihinde yapılmış dört modeli listelemektedir.
- Şu anda yalnızca
llama2-7b-chat-Q5_K_M.ggufbaşlık oluşturmayı desteklemektedir.
Bu rehber nasıl?