Brama AI TrueFoundry

TrueFoundry AI Gateway to korporacyjna warstwa proxy między Twoimi aplikacjami a dostawcami LLM, zapewniająca dostęp do ponad 1000 modeli poprzez ujednolicony interfejs zgodny z OpenAI, z wbudowaną możliwością obserwacji i zarządzania.

Uzyskaj klucz API

Uwierzytelnij się za pomocą osobistego tokena dostępu (Personal Access Token). Wygeneruj go, postępując zgodnie z przewodnikiem PAT, a następnie dodaj go wraz z adresem URL bramy do swojego pliku .env:

TRUEFOUNDRY_API_KEY=your-api-key
TRUEFOUNDRY_GATEWAY_URL=your-gateway-url

Pobierz adres URL bramy (gateway URL) oraz nazwy modeli z ujednoliconego fragmentu kodu w konsoli TrueFoundry. Użyj tych samych nazw modeli, które zostały dodane do bramy. Przewodnik szybkiego startu przeprowadzi Cię przez proces konfiguracji.

Konfiguracja

Dodaj endpoint w sekcji endpoints.custom w swoim librechat.yaml:

    - name: "TrueFoundry"
      apiKey: "${TRUEFOUNDRY_API_KEY}"
      baseURL: "${TRUEFOUNDRY_GATEWAY_URL}"
      models:
        default: ["openai-main/gpt-4o-mini", "openai-main/gpt-4o"]
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      summarize: false
      summaryModel: "current_model"
      modelDisplayLabel: "TrueFoundry:OpenAI"

Uwagi

• Nazwy modeli są objęte przestrzenią nazw (namespaced) przez integrację skonfigurowaną w bramie, na przykład openai-main/gpt-4o. Dopasuj je do nazw widocznych w konsoli TrueFoundry.
• Aby uzyskać więcej szczegółów, zobacz dokumentację TrueFoundry.