LibreChatAnyscale
Configureer Anyscale als een aangepast endpoint in LibreChat.
Anyscale Endpoints biedt open modellen zoals Llama aan via een OpenAI-compatibele API die je als custom endpoint aan LibreChat kunt toevoegen.
Een API-sleutel verkrijgen
Maak een sleutel aan via je Anyscale credentials. Voeg deze toe aan je .env bestand:
ANYSCALE_API_KEY=your-api-keyConfiguratie
Voeg het endpoint toe onder endpoints.custom in je librechat.yaml:
- name: "Anyscale"
apiKey: "${ANYSCALE_API_KEY}"
baseURL: "https://api.endpoints.anyscale.com/v1"
models:
default: [
"meta-llama/Llama-2-7b-chat-hf",
]
fetch: true
titleConvo: true
titleModel: "meta-llama/Llama-2-7b-chat-hf"
summarize: false
summaryModel: "meta-llama/Llama-2-7b-chat-hf"
modelDisplayLabel: "Anyscale"Opmerkingen
- Met
fetch: truelaadt LibreChat de beschikbare modellijst van Anyscale, waardoor dedefaultarray alleen de initiële selectie is.
Hoe is deze gids?