LibreChatAnyscale
Anyscale'i LibreChat'te özel bir endpoint olarak yapılandırın.
Anyscale Endpoints, Llama gibi açık kaynaklı modelleri, LibreChat'e özel bir endpoint olarak ekleyebileceğiniz OpenAI uyumlu bir API aracılığıyla sunar.
Bir API anahtarı alın
Anyscale kimlik bilgilerinizden bir anahtar oluşturun. Bunu .env dosyanıza ekleyin:
ANYSCALE_API_KEY=your-api-keyYapılandırma
librechat.yaml dosyanızda endpoints.custom altına endpoint'i ekleyin:
- name: "Anyscale"
apiKey: "${ANYSCALE_API_KEY}"
baseURL: "https://api.endpoints.anyscale.com/v1"
models:
default: [
"meta-llama/Llama-2-7b-chat-hf",
]
fetch: true
titleConvo: true
titleModel: "meta-llama/Llama-2-7b-chat-hf"
summarize: false
summaryModel: "meta-llama/Llama-2-7b-chat-hf"
modelDisplayLabel: "Anyscale"Notlar
fetch: trueile LibreChat, mevcut model listesini Anyscale'den yükler, bu nedenledefaultdizisi yalnızca başlangıç seçimidir.
Bu rehber nasıl?