LibreChatAnyscale
Configura Anyscale come endpoint personalizzato in LibreChat.
Anyscale Endpoints offre modelli aperti come Llama tramite un'API compatibile con OpenAI che puoi aggiungere a LibreChat come endpoint personalizzato.
Ottieni una API key
Crea una chiave dalle tue Anyscale credentials. Aggiungila al tuo file .env:
ANYSCALE_API_KEY=your-api-keyConfigurazione
Aggiungi l'endpoint sotto endpoints.custom nel tuo librechat.yaml:
- name: "Anyscale"
apiKey: "${ANYSCALE_API_KEY}"
baseURL: "https://api.endpoints.anyscale.com/v1"
models:
default: [
"meta-llama/Llama-2-7b-chat-hf",
]
fetch: true
titleConvo: true
titleModel: "meta-llama/Llama-2-7b-chat-hf"
summarize: false
summaryModel: "meta-llama/Llama-2-7b-chat-hf"
modelDisplayLabel: "Anyscale"Note
- Con
fetch: true, LibreChat carica l'elenco dei modelli disponibili da Anyscale, quindi l'arraydefaultrappresenta solo la selezione iniziale.
Com’è questa guida?