LibreChatVultr Cloud Inference
Configure o Vultr Cloud Inference como um endpoint personalizado no LibreChat.
O Vultr Cloud Inference disponibiliza modelos abertos por meio de uma API compatĆvel com OpenAI.
Obtenha uma API key
Crie uma chave a partir do console do Vultr Cloud Inference. Adicione-a ao seu arquivo .env:
VULTRINFERENCE_TOKEN=your-api-keyConfiguraĆ§Ć£o
Adicione o endpoint em endpoints.custom no seu librechat.yaml:
- name: 'Vultr Cloud Inference'
apiKey: '${VULTRINFERENCE_TOKEN}'
baseURL: 'https://api.vultrinference.com/v1/chat/completions'
models:
default: [
"llama2-7b-chat-Q5_K_M.gguf",
"llama2-13b-chat-Q5_K_M.gguf",
"mistral-7b-Q5_K_M.gguf",
"zephyr-7b-beta-Q5_K_M.gguf",
]
fetch: true
titleConvo: true
titleModel: "llama2-7b-chat-Q5_K_M.gguf"
modelDisplayLabel: "Vultr Cloud Inference"Notas
- O exemplo lista quatro modelos otimizados para chat, atualizados pela Ćŗltima vez em 28 de junho de 2024.
- Apenas
llama2-7b-chat-Q5_K_M.ggufsuporta atualmente a geraĆ§Ć£o de tĆtulos.
Como estĆ” este guia?