LibreChatInferencia en la nube de Vultr
Configurar Vultr Cloud Inference como un endpoint personalizado en LibreChat.
Vultr Cloud Inference sirve modelos abiertos a través de una API compatible con OpenAI.
Obtener una API key
Cree una clave desde la consola de Vultr Cloud Inference. Añádala a su archivo .env:
VULTRINFERENCE_TOKEN=your-api-keyConfiguración
Agregue el endpoint bajo endpoints.custom en su librechat.yaml:
- name: 'Vultr Cloud Inference'
apiKey: '${VULTRINFERENCE_TOKEN}'
baseURL: 'https://api.vultrinference.com/v1/chat/completions'
models:
default: [
"llama2-7b-chat-Q5_K_M.gguf",
"llama2-13b-chat-Q5_K_M.gguf",
"mistral-7b-Q5_K_M.gguf",
"zephyr-7b-beta-Q5_K_M.gguf",
]
fetch: true
titleConvo: true
titleModel: "llama2-7b-chat-Q5_K_M.gguf"
modelDisplayLabel: "Vultr Cloud Inference"Notas
- El ejemplo enumera cuatro modelos optimizados para chat, actualizados por última vez el 28 de junio de 2024.
- Solo
llama2-7b-chat-Q5_K_M.ggufadmite actualmente la generación de tÃtulos.
¿Qué te parece esta guÃa?