LibreChatAnyscale
Skonfiguruj Anyscale jako niestandardowy endpoint w LibreChat.
Anyscale Endpoints udostępnia otwarte modele, takie jak Llama, poprzez API kompatybilne z OpenAI, które możesz dodać do LibreChat jako niestandardowy endpoint.
Uzyskaj klucz API
Utwórz klucz za pomocą swoich Anyscale credentials. Dodaj go do swojego pliku .env:
ANYSCALE_API_KEY=your-api-keyKonfiguracja
Dodaj endpoint w sekcji endpoints.custom w swoim librechat.yaml:
- name: "Anyscale"
apiKey: "${ANYSCALE_API_KEY}"
baseURL: "https://api.endpoints.anyscale.com/v1"
models:
default: [
"meta-llama/Llama-2-7b-chat-hf",
]
fetch: true
titleConvo: true
titleModel: "meta-llama/Llama-2-7b-chat-hf"
summarize: false
summaryModel: "meta-llama/Llama-2-7b-chat-hf"
modelDisplayLabel: "Anyscale"Uwagi
- Dzięki
fetch: true, LibreChat pobiera dostępną listę modeli z Anyscale, więc tablicadefaultstanowi jedynie wybór początkowy.
Jaka jest ta instrukcja?