LiteLLM

LiteLLM Proxy là một gateway tự lưu trữ giúp hiển thị các mô hình từ nhiều nhà cung cấp thông qua một endpoint duy nhất tương thích với OpenAI, vì vậy bạn có thể trỏ LibreChat vào proxy của riêng mình.

Cấu hình

Khóa API khớp với giá trị được thiết lập trong cấu hình proxy LiteLLM của bạn thay vì khóa của nhà cung cấp, vì vậy hãy sử dụng phần giữ chỗ bên dưới hoặc khóa của riêng bạn. Trỏ baseURL đến proxy đang chạy của bạn. Thêm endpoint vào dưới endpoints.custom trong tệp librechat.yaml của bạn:

    - name: "LiteLLM"
      apiKey: "sk-from-config-file"
      baseURL: "http://localhost:8000/v1"
      # if using LiteLLM example in docker-compose.override.yml.example, use "http://litellm:8000/v1"
      models:
        default: ["gpt-3.5-turbo"]
        fetch: true
      titleConvo: true
      titleModel: "gpt-3.5-turbo"
      summarize: false
      summaryModel: "gpt-3.5-turbo"
      modelDisplayLabel: "LiteLLM"

Ghi chú

• Xem Sử dụng LibreChat với LiteLLM Proxy để có hướng dẫn đầy đủ về cách thiết lập proxy.
• Với fetch: true, LibreChat sẽ tải toàn bộ danh sách các model được cấu hình trong proxy của bạn, vì vậy default chỉ là lựa chọn ban đầu.
• Nếu bạn chạy proxy đi kèm từ docker-compose.override.yml.example, hãy đặt baseURL thành http://litellm:8000/v1 để các container có thể kết nối với nhau thông qua tên dịch vụ.