LibreChatAnyscale
Configurar Anyscale como un endpoint personalizado en LibreChat.
Anyscale Endpoints ofrece modelos abiertos como Llama a través de una API compatible con OpenAI que puedes añadir a LibreChat como un endpoint personalizado.
Obtener una API key
Cree una clave desde sus Anyscale credentials. Añádala a su archivo .env:
ANYSCALE_API_KEY=your-api-keyConfiguración
Agregue el endpoint bajo endpoints.custom en su librechat.yaml:
- name: "Anyscale"
apiKey: "${ANYSCALE_API_KEY}"
baseURL: "https://api.endpoints.anyscale.com/v1"
models:
default: [
"meta-llama/Llama-2-7b-chat-hf",
]
fetch: true
titleConvo: true
titleModel: "meta-llama/Llama-2-7b-chat-hf"
summarize: false
summaryModel: "meta-llama/Llama-2-7b-chat-hf"
modelDisplayLabel: "Anyscale"Notas
- Con
fetch: true, LibreChat carga la lista de modelos disponibles desde Anyscale, por lo que la matrizdefaultes solo la selección inicial.
¿Qué te parece esta guÃa?