LibreChatAnyscale
Cấu hình Anyscale làm endpoint tùy chỉnh trong LibreChat.
Anyscale Endpoints cung cấp các mô hình mở như Llama thông qua một API tương thích với OpenAI mà bạn có thể thêm vào LibreChat dưới dạng một endpoint tùy chỉnh.
Nhận API key
Tạo một khóa từ thông tin xác thực Anyscale của bạn. Thêm nó vào tệp .env của bạn:
ANYSCALE_API_KEY=your-api-keyCấu hình
Thêm endpoint vào dưới endpoints.custom trong tệp librechat.yaml của bạn:
- name: "Anyscale"
apiKey: "${ANYSCALE_API_KEY}"
baseURL: "https://api.endpoints.anyscale.com/v1"
models:
default: [
"meta-llama/Llama-2-7b-chat-hf",
]
fetch: true
titleConvo: true
titleModel: "meta-llama/Llama-2-7b-chat-hf"
summarize: false
summaryModel: "meta-llama/Llama-2-7b-chat-hf"
modelDisplayLabel: "Anyscale"Ghi chú
- Với
fetch: true, LibreChat sẽ tải danh sách các model khả dụng từ Anyscale, vì vậy mảngdefaultchỉ là lựa chọn ban đầu.
Hướng dẫn này thế nào?