TrueFoundry AI Gateway

TrueFoundry AI Gateway là một lớp proxy doanh nghiệp nằm giữa các ứng dụng của bạn và các nhà cung cấp LLM, cho phép truy cập vào hơn 1000 mô hình thông qua một giao diện thống nhất tương thích với OpenAI, đi kèm với khả năng quan sát và quản trị tích hợp sẵn.

Nhận API key

Xác thực bằng Personal Access Token. Hãy tạo một token bằng cách làm theo hướng dẫn PAT, sau đó thêm token đó cùng với URL gateway của bạn vào tệp .env:

TRUEFOUNDRY_API_KEY=your-api-key
TRUEFOUNDRY_GATEWAY_URL=your-gateway-url

Lấy URL gateway và tên các model từ đoạn mã hợp nhất trong bảng điều khiển TrueFoundry. Sử dụng chính xác các tên model mà bạn đã thêm vào gateway. Hướng dẫn bắt đầu nhanh sẽ hướng dẫn bạn qua các bước thiết lập.

Cấu hình

Thêm endpoint vào dưới endpoints.custom trong tệp librechat.yaml của bạn:

    - name: "TrueFoundry"
      apiKey: "${TRUEFOUNDRY_API_KEY}"
      baseURL: "${TRUEFOUNDRY_GATEWAY_URL}"
      models:
        default: ["openai-main/gpt-4o-mini", "openai-main/gpt-4o"]
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "TrueFoundry:OpenAI"

Ghi chú

• Tên các model được đặt theo không gian tên (namespaced) bởi tích hợp mà bạn đã cấu hình trong gateway, ví dụ như openai-main/gpt-4o. Hãy khớp chúng với các tên hiển thị trong bảng điều khiển TrueFoundry của bạn.
• Để biết thêm chi tiết, hãy xem tài liệu TrueFoundry.