LibreChatVultr Cloud Inference
Cấu hình Vultr Cloud Inference làm endpoint tùy chỉnh trong LibreChat.
Vultr Cloud Inference phục vụ các mô hình mở thông qua API tương thích với OpenAI.
Nhận API key
Tạo một khóa từ bảng điều khiển Vultr Cloud Inference. Thêm nó vào tệp .env của bạn:
VULTRINFERENCE_TOKEN=your-api-keyCấu hình
Thêm endpoint vào dưới endpoints.custom trong tệp librechat.yaml của bạn:
- name: 'Vultr Cloud Inference'
apiKey: '${VULTRINFERENCE_TOKEN}'
baseURL: 'https://api.vultrinference.com/v1/chat/completions'
models:
default: [
"llama2-7b-chat-Q5_K_M.gguf",
"llama2-13b-chat-Q5_K_M.gguf",
"mistral-7b-Q5_K_M.gguf",
"zephyr-7b-beta-Q5_K_M.gguf",
]
fetch: true
titleConvo: true
titleModel: "llama2-7b-chat-Q5_K_M.gguf"
modelDisplayLabel: "Vultr Cloud Inference"Ghi chú
- Ví dụ này liệt kê bốn model được tối ưu hóa cho trò chuyện, cập nhật lần cuối vào ngày 28 tháng 6 năm 2024.
- Hiện tại chỉ có
llama2-7b-chat-Q5_K_M.ggufhỗ trợ tạo tiêu đề.
Hướng dẫn này thế nào?