LibreChatHuggingface
Cấu hình Huggingface làm endpoint tùy chỉnh trong LibreChat.
Huggingface cung cấp các mô hình được lưu trữ thông qua API suy luận tương thích với OpenAI, mà bạn có thể thêm vào LibreChat dưới dạng một endpoint tùy chỉnh.
Nhận API key
Tạo một token tại huggingface.co/settings/tokens. Thêm nó vào tệp .env của bạn:
HUGGINGFACE_TOKEN=your-api-keyCấu hình
Thêm endpoint vào dưới endpoints.custom trong tệp librechat.yaml của bạn:
- name: 'HuggingFace'
apiKey: '${HUGGINGFACE_TOKEN}'
baseURL: 'https://api-inference.huggingface.co/v1'
models:
default: [
"codellama/CodeLlama-34b-Instruct-hf",
"google/gemma-1.1-2b-it",
"google/gemma-1.1-7b-it",
"HuggingFaceH4/starchat2-15b-v0.1",
"HuggingFaceH4/zephyr-7b-beta",
"meta-llama/Meta-Llama-3-8B-Instruct",
"microsoft/Phi-3-mini-4k-instruct",
"mistralai/Mistral-7B-Instruct-v0.1",
"mistralai/Mistral-7B-Instruct-v0.2",
"mistralai/Mixtral-8x7B-Instruct-v0.1",
"NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO",
]
fetch: true
titleConvo: true
titleModel: "NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO"
dropParams: ["top_p"]
modelDisplayLabel: "HuggingFace"Danh sách model ở trên được cập nhật lần cuối vào ngày 09 tháng 05 năm 2024.
Ghi chú
- Các model được liệt kê là miễn phí nhưng bị giới hạn tốc độ, và câu trả lời có thể rất ngắn ở gói miễn phí. Một số model hoạt động tốt hơn những model khác.
- Việc lấy danh sách model không được hỗ trợ, vì vậy hãy tự thiết lập mảng
default. dropParams: ["top_p"]là bắt buộc. Nếu không có nó, các yêu cầu sẽ thất bại vì Huggingface từ chối tham sốtop_p. XemdropParams.
Hướng dẫn này thế nào?