LibreChatAnyscale
Konfigurasikan Anyscale sebagai endpoint kustom di LibreChat.
Anyscale Endpoints menyediakan model terbuka seperti Llama melalui API yang kompatibel dengan OpenAI yang dapat Anda tambahkan ke LibreChat sebagai endpoint kustom.
Dapatkan API key
Buat kunci dari kredensial Anyscale Anda. Tambahkan ke file .env Anda:
ANYSCALE_API_KEY=your-api-keyKonfigurasi
Tambahkan endpoint di bawah endpoints.custom dalam librechat.yaml Anda:
- name: "Anyscale"
apiKey: "${ANYSCALE_API_KEY}"
baseURL: "https://api.endpoints.anyscale.com/v1"
models:
default: [
"meta-llama/Llama-2-7b-chat-hf",
]
fetch: true
titleConvo: true
titleModel: "meta-llama/Llama-2-7b-chat-hf"
summarize: false
summaryModel: "meta-llama/Llama-2-7b-chat-hf"
modelDisplayLabel: "Anyscale"Catatan
- Dengan
fetch: true, LibreChat memuat daftar model yang tersedia dari Anyscale, sehingga arraydefaulthanyalah pilihan awal.
Bagaimana panduan ini?